Les origines du culte de Notre-Dame des Tours sont fixées aux alentours de 1100-1200.
C'est en 1260 que l'évêque de Mende désigne un desservant pour la chapelle des Tours. Le sanctuaire inital aurait été construit par les mêmes compagnons bâtisseurs que le choeur de la cathédrale du Puy.
Selon la légende, Notre Dame serait apparue à des enfants gardant leur troupeau près des gorges de la Seuge, demandant qu'on lui érige une chapelle.
On y accède par la RD 589 par une route carrossable desservant La Vialle mais en approchant il reste un sentier pédestre avant d'arriver sur le site, lieu de pélerinage annuel le 1er dimanche de septembre.