Az “első szemesi templom” 1100 és 1200 között épült. Kicsi kápolnaszerű templom volt. A mai szentély külső oldalán látható vakolatlan falrész ennek a XII. századbeli templomnak a fala. Még ma is látható egy lőrésszerű kis ablak, mely román stílus jegyeit viseli, rajta az eredeti vakolattal. Közvetlen a modern vakolat széle alatt sarokra állított ill. faragott téglák jelzik az ősi templom fogas párkányának vonalát. Ez a kis templomfal az egész déli Balaton-part legrégibb, még fellelhető építészeti műemléke, amely nem rom, hanem “élő” épület szerves része. A “második szemesi templom”: az eredeti kis kápolnát a tatárjárás után pár évtizeddel megnagyobbították, megtartva a déli falát. 

Ennek a legértékesebb része a szentély, három kőkeretes ablakával. Az ablakok stílusjegyei, félkörből alig kiugró csúcsívei arra vallanak, hogy valamikor 1300 körül épült átmeneti stílusban. Emellett szól az is, hogy ezidőtájt a földbirtokos Poholcsai (Raholczai) család egész vagyonát a szemesi egyháznak adományozta. Ebből a vagyonból épült 1325-ben a falutól délre a pálos szerzetesek Mindenszentekről nevezett kolostora. Az 1335. évi pápai összeírásban Szemes plébániás egyházként szerepel, plébánosa Péter. Ez a második templom 4,6 méterrel volt rövidebb, mint a mostani. A “harmadik templom” Mátyás király egykori emberének, Gergelylaki Buzlay Mózesnek nevéhez fűződik 1500 körül.

Megtoldotta 4,6 m-rel , és elhelyezett a szentély baloldali belső falán egy reneszánsz jegyeket magán viselő epitáfiumot (egyházi dombormű; korábban mindenki, tévesen, pasztofóriumnak, szentségtartó fülkének nézte), melyhez hasonló legfeljebb tíz van az országban. A török uralom évei alatt romos állapotba került a templom. Somogy megye megbízottai a török kiűzése után, 1721-ben jegyzőkönyvben rögzítették templomunk akkori állapotát: „Kőtemplom található a faluban, de elhagyottan, romos állapotban, falai nagyrészt még megvannak…

A szentély és a sekrestye felismerhető…” Újjáépítése 1743-ban kezdődött, amikor tornyot is építettek hozzá, és két harangot helyeztek el benne. A Hunyady család birtokába került, s az ő irányításuk alatt a település arculatára a barokk stílus nyomta rá jeleit. A templom restaurálására 1964-1972 között került sor, kikerült a templomból a török időkben felgyülemlett 65 cm magas törmelékréteg, így a török idők előtti méreteiben és szép arányaiban áll előttünk a templom.