La partie inférieure de la façade de l’église remonte au XIème siècle. Au début du XIIIème siècle, Dreux de Mello, seigneur de Loches, époux d’Ysabeau de Mayenne, fait construire la nef et les fondations du prieuré. Il accompagne Saint-Louis en croisade et meurt en 1248 sur l’île de Chypre.
La construction de ces édifices se poursuit jusqu’au XVème siècle.
Alors qu’elle est dédiée à Notre Dame, l’église porte le nom de « église Saint Gilles ».
Propriété du Roi jusqu’à la Révolution, le prieuré est saisi et vendu pour 2700 livres le 12 Messidor An IV à Jean Louis Marie Caillé, « fabriquant » à Beaulieu-lès-Loches.
Pierre Girault, garde-champêtre de la commune, en devient propriétaire en 1864. 83 ans plus tard, ses héritiers décident de s’en défaire. Léon Mathevet, alors maire de Ferrière-sur-Beaulieu, saisit l’opportunité et achète cet édifice au prix de 240 000,00 Francs. Le prieuré intègre le patrimoine communal en 1947. Pendant 40 ans, il abritera l’école primaire, en complément de la classe fonctionnant à la mairie. La cantine était installée au rez-de-chaussée.
Aujourd’hui, il accueille toujours des jeunes, mais l’été, dans le cadre du centre de loisirs.