Des textes de l'an 1400 mentionnent son existence et la désignent déjà sous le titre de Notre Dame de l'Olivier. Son clocher massif est élevé en 1560.

Vers 1562, lors des guerres de religion, de même que le château et l'église Saint Félix, elle est en grande partie détruite.

A partir de 1593, elle est relevée de ses ruines et réédifiée. C'est à cette époque, vers la fin du XVIème siècle qu'elle devient église paroissiale.

Au cours des siècles suivants, elle subit quelques transformations, des aménagements. En 1852, pour recevoir l'horloge communale, le clocher est surélevé d'un étage et agrémenté d'un campanile en fer forgé.