Türbesi Kars İli, Merkez Kaleiçi Mahallesi 50 Ada, 37 Pafta, 7 Parselde bulunan Kars Kalesinin içinde yer almaktadır. Mülkiyeti Hazineye ait olup Kars Kalesi içinde bulunan türbe Kale ile birlikte Bakanlığımız Kültür Varlıkları ve Müzeler Genel Müdürlüğüne tahsislidir.Tarihsel süreç içerisinde birçok defa yıkılıp yeniden yaptırılmıştır.           

Kars’ın Selçuklu devletinde bağlı Saltuklu Beyliği tarafından yönetildiği 13.yy başlarında  Kars‘a yapılan bir Moğol istilası sırasında şehit düşmüştür. Kars Kalesinde Saltuklu Beyliği askerlerinden birisi olduğu 1238 tarihinde Moğollar tarafından Kars Kalesi’nin  istilası sırasında Moğol askerleri ile çarpışırken kafasının koptuğu, kopan kafasını koltuğunun altına alarak çarpışmaya devam ettiği ve Kars Kalesi’nin batı giriş kapısındaki bugünkü türbesinin bulunduğu yerde şehit düştüğü rivayet edilmektir.

Türbe süreç içerisinde birçok onarım görmüş son onarımı 1995-96 tarihilerinde Kars Belediyesi tarafından yaptırılmıştır. Celal Baba’nın ahşap sandukası bu türbe içinde yer almaktadır.

Kars Kalesi içerisindeki tek katlı basit dikdörtgen yapılı türbenin dış cephesi bazalt taşı ile kaplanmış olup türbe kırma çatılıdır.