Rus İşgali döneminde Rus-Ortodoks Başpiskoposluğu olarak kullanılan ve Doğu'daki Ayasofya olarak bilinen 12 Havari Kilisesi günümüzde cami olarak kullanılıyor. Kars'ın en önemli tarihi eserlerinden birisi olan 12 Havari Kilisesi, 'Kümbet Cami' kentte yurt içinden ve yurt dışından genelen misafirlerin ilk gezdikleri yer oluyor.Kars'ta gezi için geldiklerini ifade eden vatandaşlar, 'Kars burum buram tarih kokuyor. Her tarafında ayrı bir değer var. Ama ne yazık ki bazı tarihi mekanlar yıkılmış, tahrip edilmiş, bunlar bizleri üzdü. İki gündür Kars'tayız. Ani Ören Yeri, Çıldır Gölü ve Sarıkamış'ı gezdik. Ama Kars'ı gezmek bize ayrı bir tat verdi. Bütün arkadaşlarımızı Kars'ı görmeye davet ediyoruz' dediler.Kars Kalesi'nin güney kısmındaki Kale İçi Mahallesi'nde bulunan Havariler Kilisesi, 1064 yılında camiye, 1964 yılında ise müzeye çevrilmiştir. Kars ve çevresinde yapılan kazılardan elde edilen tarihi eserler burada bir dönem sergiledi. Kars Kalesi eteklerinde bulunan ve Harakani Külliyesi ile Evliya Cami'nde bulunduğu bölgede olan Kümbet Cami kentte en çok ziyaret edilen yerler arasında yerini alıyor.