Bereits vor 1200 existierte eine Burganlage auf dem Fahrenberg. Ein Angehöriger des Templerordens brachte nach der Überlieferung 1204 aus dem Heiligen Land eine Muttergottesstatue mit, die in einer Kapelle zur Verehrung aufgestellt wurde. Dies war der Beginn der Marienwallfahrt auf den Fahrenberg, die bis heute eine große Zahl an Gläubigen anzieht. Besonders in der Zeit des „kalten Krieges“ entwickelte sich der Fahrenberg zur Gebetsstätte für den Weltfrieden (1956: Rosenkranzweg und Friedensmadonna auf dem Ostgiebel der Kirche)

Wallfahrtskirche Fahrenberg – Ansicht aus dem Sulzbacher Kalender, 1856