L'origen del culte a aquesta Verge és molt antic. S'havia erigit un pedró en honor seu, al cap del pont, a finals del segle XI, moment en que s'esculpí una imatge que hi romangué fins l'any 1936. Al segle XII (1177) s'hi construí una petita capella. Al segle XIV, en ser destruïda l'església de Sant Pere de l'Esquerda degut a unes lluites feudals, aquest santuari es convertí en església parroquial, actual església de Sant Pere.
Al 1350 es decidí crear una nova capella en honor a aquesta Verge, al sòl del pont, solar on es troba la capella actual que es construí vers el 1729. La façana, i concretament la fornícula daten del 1786, al 1880 se li afegí el cambril i l'any 1894 es construí un nou retaule que venia a substituir-ne un del 1736 i que també fou destruït durant la profanació de l'última Guerra Civil. L'any 1943 se'n feu un de nou.