L'ancienne chapelle du château située sur la petite colline d'Esch rappelle aujourd'hui encore le souvenir des chevaliers d'Esch. Entre le 11e et le 16e siècle, les chevaliers d'Esch comptaient parmi les familles nobles les plus importantes de la région de Wittlich. En outre, Esch est le lieu de naissance d'Eberhard von Esch, le fondateur du lieu de pèlerinage Klausen.

Après l'extinction de la famille de chevaliers d'Esch vers la fin du 16ème siècle, le petit village de l'Eifel perdit de plus en plus d'importance. Les deux châteaux, supérieur et inférieur, tombèrent en ruine. Il ne reste que la simple maison forte (Zehnthaus), qui se dresse sur une petite éminence, et l'ancien moulin banal des seigneurs d'Esch sur les rives de la Salm, au nord d'Esch.
Cette paisible localité de l'Eifel est également le lieu de naissance d'Eberhard von Esch (1393-1451), qui était journalier au service du comte Gottfried von Esch. Après que la Vierge lui soit apparue, il s'est engagé à construire un petit mémorial sur le lieu des apparitions, l'actuelle église de pèlerinage de la Visitation à Klausen. Eberhard trouva du soutien aussi bien auprès des habitants des environs que des curés de Sehlem, Rivenich et Krames. Pour la construction, des ministériels de Trèves, les seigneurs d'Esch, mirent leurs propres terres à disposition. En 1442, la construction de la petite maison de Marie était achevée, elle mesurait trois pas de long, deux pas de large et trois pas de haut. Au départ, elle était ouverte vers le nord. Le mur sud comportait une fenêtre pour une image de la Vierge qu'Eberhard avait acquise après avoir vendu ses biens à Trèves. Les premiers visiteurs y déposèrent des offrandes. Peu de temps après, Eberhard construisit, à nouveau avec l'autorisation des seigneurs d'Esch, une petite cabane à côté de la petite maison du saint, afin de pouvoir s'occuper des nombreux pèlerins et de protéger leurs dons contre les vols. Par la suite, les réponses aux prières et les miracles qui se produisaient continuèrent à se répandre, attirant toujours plus de visiteurs et de demandeurs. En 1444, la première cabane d'Eberhard fut remplacée par une chapelle plus grande. La nouvelle chapelle mesurait cinq pas en longueur et en largeur, disposait d'un autel et put être achevée en 1445. La consécration de la chapelle carrée n'eut lieu qu'après l'achèvement d'un agrandissement supplémentaire. Dans la chronique du monastère, elle était désignée comme "église" (ecclesia), dans les documents comme chapelle. D'après Dohm (2001), la nouvelle église, mesurant 26 pas sur 12, a été ajoutée à une tour à deux étages déjà existante. Le 25 mars 1449, le jour de l'Annonciation, l'archevêque Jakob von Sierck inaugura l'ensemble du complexe (26 pas de long et 12 pas de large). Le maître d'œuvre était probablement un certain Peter Lienen de Klüsserath/Moselle. En 1451, le cloîtré Eberhard mourut. Il fut probablement enterré dans la nouvelle chapelle de la Vierge Marie, construite plus tard devant l'image de la Vierge ou "in cimiterio capelle". Aujourd'hui, ses ossements se trouvent dans une niche sous la table d'autel de la Gnadenkapelle.