Erzurum’un en önemli kültürel miraslarından birisi olan Bağbaşı Taş Cami’nin güney girişindeki paye üzerine kazınarak yazılmış kitabesinden, Meryem Ana’ya ithafen 976-1001 yılları arasında Gürcü Bagrat Kralı III. David tarafından inşa edildiği anlaşılıyor. Orta Çağ’da önemli bir dini ve eğitim merkezi olan manastırda; 16. yüzyılın ortalarına kadar edebiyat, şiir ve felsefe alanlarında eserler üretildiği, tercümeler yapıldığı biliniyor.
Mimari açıdan yapının sahip olduğu yüksek kasnaklı kubbe ve konik külah örtü, binaya hâkim bir görünüm kazandırıyor. Kubbe, kırmızı ve lacivert sırlı kiremitlerle kaplanmış olup, bu tasarım hem estetik bir etki oluşturmuş hem de koruma sağlıyor. Kilisenin duvarlarında arslan, boğa, kartal ve grifon gibi figürlerin kabartmaları dikkat çekerken, iç mekânda freskler bulunuyor. Apsis kısmının kule şeklindeki yükseltilmiş yapısı, özgün mimarisiyle görenleri etkiliyor. 19. yüzyılda camiye dönüştürülen yapı, günümüzde Bağbaşı Taş Camii olarak bölgenin kültürel zenginliklerinin temsilcisi olarak ifade ediliyor.