Kişin alban tarixi ilə bağlı ən mühüm abidələrindən biri sözsüz ki, Kiş kilsəsidir ki, bu abidə Maflar məhəlləsində yerləşir. Kilsənin ən qədim bünövrəsi yeni eranın I-III əsrlərində daha qədim bir məbədin qalıqları üstündə tikilmişdir. Bu məbədin keçmişinin bütpərəst məbədi olması ehtimal edilir. Sadəcə xristianlığın rəsmi səviyyədə qəbulundan sonra abidə xristian abidəsinə çevrilmişdir.

Kiş məbədi daha çox dövrün mənbələrində V əsr hadisələri ilə bağlı olaraq xatırlanır.  Kiş yepiskopluq mərkəzi olmuşdur. XIX əsrin 50-60-cı illərində Qafqazdakı ruslar tərəfindən Şəkiyə köçürülmüş ermənilər Kiş kəndinin kilsəsini təmir edib memarlığını saxtalaşdırmışdılar. Kiş kəndində yerləşən Müqəddəs Yelisey kilsəsi, yəni Kiş məbədi bir nefli məbədlərə aid edilir. Nef kilsənin mərkəzi hissəsidir. Kilsəsinin mərkəzi dəhlizi və ya bir kilsənin arxa divarı ilə kəsişməsinin ən uc nöqtəsi arasında olan əsas gövdəsi və dəhlizdəki transept adlanan çarpaz belə adlanır. Kişdəki kilsə də bu tip abidələrə aid edilir.

Bu abidə barədə alban tarixçisi M.Kalankatlı yazır ki, xristianlığın təbliği üçün şərqə təyin edilən Yelisey Gisə (Kişə) gəlir, burada kilsə tikir və qansız qurban verir. Bu yer Şərqin bütün kilsələrinin bağlanğıcıdır və biz Şərqlilərə xristianlığın qəbul edilməsi mənbəyidir. Kiş kilsəsi Kiş çayının sahilində yüksəklikdə yerləşir. Marxala gedən yoldan daha yaxşı görünür. 

XX əsrin 20-ci illərində kilsədən məscid və məktəb kimi də istifadə ediblər. Kilsə ilə bağlı müxtəlif rəvayət və hekayələr də var.  Belə rəvayətlərdən birinə görə abidənin yanındakı uzunsov 5-6 metr hündürlüyündə böyük bir daş vardır ki, əhali bu daşın müxtəlif xəstəliklərə dava olmasına inanır. Yaxud da kilsə ərazisində təsərrüfat işləri vaxtı gənc qadın məzarı aşkarlanmış, lakin qorxuya düşən kəndlilər molla çağırıb qəbri yenidən torpaqlayıblar. Məbədin  şərqində yarımkürəvi apsidası (qövs və yay mənasını verir, əsasən xristianlığın dini ziyarətgahları olan kilsələrin mehrab otağını əhatə edən yarımdairəvi və ya çoxbucaqlı, nadir hallarda düzbucaqlı bir bina elementidir.) olan günbəzli kompozisiyadır. Məbədin tərtibatı alban zal kilsələrinə xas olan üslubdadır.

Azacıq uzunsov proporsiyaya malik olan ibadət zalı bir cüt pilyastrla (memarlıqda divara yapışdırılmış sütun şəklində istifadə edilən bir tikinti texnikasıdır. Binalarda bəzək elementi kimi istifadə olunur) iki hissəyə bölünüb. Məbəsin giriş qapısı qərb divardadır. Qərb, şərq və şimal divarlarında pəncərə yerləri var. Cənub divarındakı iki pəncərədən biri kərpiclə bağlanıb. Məbəd iri alt həcmdən və onun üstündə ucaldılan çadır şəklində dam örtüyünə malik hündür barabandan ibarətdir. Abidənin alt və üst hissəslərinin kəskin nisbət fərqləri burada aparılmış yenidənqurma işlərindən xəbər verir. Kilsə əhəngdaşından tikilib.

Divar yuxarıda karnizlə tamamlanır. Üstü yarımdairəvi olan giriş ikiqat tağla haşiyələnmişdir. Pəncərə yerləri isə 3 yarımvallı profilli haşiyə ilə bəzədilib. Hörgü xarakteri, dekorunun bəsitliyi və sadəliyi qədimliyindən xəbər verir. Kiş məbədi memarlığındakı gümbəzli zal tipli kilsələrə aid edilməsi onu Mamrıx və Ləkit kilsələri ilə oxşar hörgü tərzindən xəbər verir. Kiş məbədinin memarlıq üslubu ümumiyyətlə alban memarlığının IV-V əsrlər tarixi üçün xarakterikdir. 2000-ci ilin fevralında Azərbaycan-Norveç, birgə Kiş layihəsi üzrə işlər başlandı. 2000-2001-ci illərdə kilsə ərazisində arxeoloji tədqiqatlar aparıldı.

Məbədin altar (qurbangah) hissəsinin tədqiqi ilə qurbanlıq heyvanların qəbirləri aşkarlandı. Kilsə ərazisindəki qazıntılar tunc dövründən son orta əsrlərə qədər olan bir dövrü əhatə edən qəbirlərin aşkarlanmasına səbəb olmuşdur. Kilsənin giriş qapısı önündəki eramızın I əsrinə aid sərdabə nadir tapıntılardandır. Məbədin ilk tikintisi düzbucaqlı dörbucağa yaxın formada olub. Çay daşlarından tikilib. Bu təməl I-III əsrlərə aid edilir. İkinci tikinti mərhələsinin izləri kilsənin yalnız təməlində qalmışdır. Bu təməldə məbədin planı dəyişməyib. Üçüncü mərhələdə məbədin planı dəyişib xristian kilsələrinə xas kanonik quruluş verilib. Apsidasının döşməsi ibadət zalının döşməsindən 20 sm yuxarı qaldırılıb. Dördüncü mərhələdə pilyastraların kəsikdə T-şəkilli forma alması, onların üstündə atılan tağların gücləndirilməsinə dəlalət edir. Apsidanın döşəməsi daha 30 sm qaldırılır.    

      

Bu kilsə ətrafında ilk dəfə A.Qaraəhmədov qazıntı şurfu qoymuş və qərb hissədə şurf daxilində heç bir avadanlığı olmayan iki torpaq və bir daş qutu qəbir aşkarlanmışdır. Qəbir kilsə döşəməsindən 1,5 metr dərinlikdə aşkarlanmışdır. Şərq qazıntı şurfu müxtəlif dövrlərə aid keramika və kərpic nümunələri ilə zəngin olmuşdur. Bu materiallara əsaslanan tədqiqatçının kilsənin tarixini V əsrə aid etmişdir. Tədqiqatçı qeyd edir ki, abidə planda düzbucaqlı olub zalın şərq hissəsi yarımdairəvi abidə ilə tamamlanır. Daxilində müqəddəslərin əksini göstərən freska izlərinə rast gəlinmiş və altarın mərkəzində düzbucaqlı mehrab daşı qeydə alınmışdır. V.H.Kərimov tərəfindən Kiş abidəsində arxeoloji qazıntılar vaxtı məbəd daxilində 3 skelet aşkar edilmişdir. Hər 3 qəbir IV-VIII əsrlərə aid edilir. Kişdəki qəbirlərdə kub şüşə və ətir qabları, flakonlar tapılmışdır ki, bunu da xristian adətinə görə ailə üzvlərinə aid xüsusi qab kimi izah edirlər və bu xüsusi qab müqəddəs hədiyyəni əldə etmək üçün nəzərdə tutulur. Kişdə xaç da aşkar edilib. Rəşid Göyüşov xaçları Albaniya üçün 3 qrupa ayırır: qanadları olan xaçlar, uzunsov qanadlarında qoşa dairəvi qanadlar olan xaçlar və qanadları 3 lələklə tamamlanan xaçlar. R.M.Vahidov isə Mingəçevir xaçlarını təsnif edib və onları 3 qrupa bölüb: əldə tutulan xaçlar, başqa əşyalara sancılan xaçlar və boyundan asılan xaçlar. Kişdə aparılan tədqiqatlar vaxtı ağ rəngdə xaç forması verən maddi mədəniyyət nümunəsi aşkar edilmişdir. 

Kiş məbədinin arxeoloji qazıntıları nəticəsində aşkar edilmiş torpaq, daş qutu və sərdabə tipli qəbirlərin bəzilərindən insan sümüklərinin parçaları götürülmüş, radio-karbon metodu ilə analiz edilmiş və bunun əsasında həmin skeletlərin yerləşdiyi qəbirlərin 980-1060-cı illərə aid olması təsdiqlənmişdir.