Einer Sage zufolge soll der Teufel persönlich das Geld für den Bau der Patersberger Kirche zur Verfügung gestellt haben. Da die Patersberger selbst nicht über ausreichende Mittel verfügten, wandten sie sich an ihn unter dem Vorwand, mit dem Geld ein Wirtshaus errichten zu wollen. Als der Geldgeber nun aber dieses Wirtshaus selbst besuchen wollte, erkannte er, dass er betrogen wurde. In seiner Wut schleuderte er einige Felsblöcke gegen die Kirche, aber da der Teufel einer Kirche nichts anhaben kann, musste er unverrichteter Dinge wieder abziehen. Seitdem soll er dem Ort immer wieder übel mitgespielt und Unglück gebracht haben.

Es wird überliefert, dass die evangelische Pfarrkirche im früheren Mittelalter eine Wallfahrtskirche des heiligen Pankratius war. Eine halbe Klerisei mit neun Mönchen war hier stationiert, die das Umland kirchlich versorgte. Das Bauwerk selbst gibt einige Rätsel auf; seine Entstehungszeit ist ungeklärt. Teile der Kirche könnten aus dem 10. Jahrhundert stammen.
Möglicherweise wurde um 1200 ein vorhandenes Kirchgebäude oder Kloster durch eine Chorkirche ersetzt, wobei Teile des Ursprungsgebäudes – wie Säulen – wiederverwendet wurden. Möglicherweise diente sie auch zu Verteidigungszwecken, da die Mauern fast einen Meter dick sind und der Turm mit mehreren Schießscharten versehen wurde; Patersberg war außerdem bis ins 18. Jahrhundert mit einem Wallgraben befestigt.

Die Zeit – oder der Teufel – setzten der Kirche immer wieder zu: 1584 schlug der Blitz ein; Kirche und Dorf brannten ab. 1635 wütete die Pest im Dorf und forderte 369 Tote. Viele Bewohner des Umlandes flüchteten sich vor Pest und Gewalttaten des Dreißigjährigen Krieges in die Kirche. 1890 schlug erneut der Blitz ein; diesmal brannte es nur im Turm.
Die heutige, denkmalgeschützte evangelische Pfarrkirche besteht aus einem frühgotischen West-Turm und einem romanischen Chor, die spätestens im 14. Jahrhundert entstanden, sowie einem Schiff aus dem 12. Jahrhundert. Der Turmhelm stammt aus dem 19. Jahrhundert. Das nebenliegende Pfarrhaus entstand zwischen 1860 und 1870 und steht ebenfalls unter Denkmalschutz.