Пограничные войска появились в России в период становления и укрепления Московского княжества в XIV-XV веках. С 1512 года охрана границ русского государства именовались «пограничной службой», в 1571 году был учрежден «Боярский приговор о станичной и сторожевой службе» – первый устав пограничной стражи. В Российской империи эти подразделения назывались таможенной, с 1832 года – пограничной стражей. После Октябрьской революции 1917 года декретом Совнаркома РСФСР от 28 мая 1918 года была создана пограничная охрана, 1 февраля 1918 года переименованная в пограничные войска. С 1958 года каждый год 28 мая отмечают День пограничника.
В 1920 году советское правительство, восстанавливая охрану границы государства, возложило эту задачу на Всероссийскую чрезвычайную комиссию и ее Особый отдел. Формирование структуры войск и их руководства завершилось к 1924–1926 годам. С августа 1937 года охрана государственной границы СССР возлагалась на Пограничные войска НКВД СССР.
В годы Великой Отечественной войны 1941-1945 гг. военнослужащие пограничных войск участвовали в боях в составе действующей армии, ВМФ и ВВС. Более 17 тыс. пограничников были награждены орденами и медалями, 158 человек удостоены звания Героя Советского Союза.
С первого дня войны границы нашего государста мужественно обороняли защитники Брестской крепости. Среди защитников Брестской крепости героически погибли наши земляки Гуков Прокофий Семенович и Капинос Павел Пантелеевич.
В 1943 году в Ставрополе начал формироваться 123-й пограничный полк, в составе которого было 1800 человек из Буденновского района и города Буденновска. Если учесть, что всего в годы Великой Отечественной войны было призвано 20600 прикумчан, то почти каждый десятый был пограничником. 26 марта 1943 года 123-му погранполку было вручено боевое знамя. И первые его пограничники, одетые в форму НКВД, выступили на защиту рубежей с Румынией. Среди них – ветеран Великой Отечественной войны, ветеран пограничных войск – Иван Яковлевич Обрященко. Иван Яковлевич, служа на границе с Румынией, принимал участие в установлении пограничных столбов. Награжден Иван Яковлевич орденом Отечественной войны II степени, медалями «За оборону Кавказа», «За Победу над Германией», медалью Жукова.
С 1993 года в нашем городе базируется пограничная войсковая часть. В истории этой части много славных страниц. Из последних – июньские события 1995 года. Во время нападения террористов на Буденновск за спасение малышей детского сада пограничники отмечены правительственными наградами. Перед личным составом тогда были поставлены важные задачи: охранять завод и прикрывать отдельные направления в районе больницы. В знак признания заслуг пограничников в сквере имени Кочубея был открыт памятник пограничникам.
Вот уже 10 лет в сквере имени Кочубея еще одно историческое место, где чтут память воинов-пограничников, – это аллея, которая так и называется «Аллея памяти воинов-пограничников». 5 октября 2009 года по завершении II чемпионата России по кинологии была установлена памятная стела с барельефом Героя Советского Союза полковника пограничной службы Никиты Фёдоровича Карацупы, прославившегося своими рейдами против нарушителей границы, во время которых использовались обученные собаки.
9 мая 2010 года в день 65-летия Победы был открыт мемориал фронтовикам-пограничникам, павшим в годы Великой Отечественной войны. На памятных досках — списки имен. Доски установлены на кирпичной стене, символизирующей нерушимость государственной границы России. Рядом с памятником героям-пограничникам города Буденновска и Буденновского района сооружена стела, на которой имена наших земляков, воинов-пограничников, павших при защите рубежей Отечества: Капинос Павла Пантелеевича и Гукова Прокофия Семеновича.