Halk tarafından anlatıldığına göre; Çoban Baba Hz. İbrahim Peygamber' in çobanıymış. Sürü otlatırken bir koyun sürüden ayrılmış. O da koyunu takip ederek Malazgirte kadar gitmiş.

Malazgirt İlçe merkezinin doğusunda bulunan mezarlığın altına geldiğinde koyunu tutmuş ve şöyle demiş; "Bre hayvan! Bana acımadınsa kendine demi acımadın?" Koyun orada kaybolmuş. Koyunun kaybolduğu yerden su çıkmış. (Yöre halkınca Cuma akşamları buradan süt aktığı söylenir)

Çoban Baba da oraya yerleşmiş zenginlerden almış fakirlere dağıtmış. Diğer bir efsaneye göre de Çoban Baba, Moğollar Anadolu' yu işgal edince Hacı Bektaşi Veli tarafından Malazgirt'e gönderilmiş, "git oradaki halkı irşat et, halkın göç etmesini engelle! Bu istila bitecek, insanlar ferah olacak" demiş.

Çoban baba Malzgirt'e giderek aşevi kurmuş yoksullara yedirmiş, içirmi ,giydirmiş ve bu halka sahip çıkmış.