В 1858 году сотник Борис Иванович Поздеев перевёз 250 душ крестьян на берег реки Большой Эльбузд. Первая часть названия произошла от имени основателя. Вторую часть названия объясняет легенда:
Борис Поздеев был щедрым хозяином. Каждую осень, когда собирали урожай, барин созывал всех крестьян на площади, выкатывал бочонок вина и говорил: «Гуляй, Борисовка!»