Le château de Miremont était situé dans la partie haute du village. Le village a été fortifié, l'emplacement des fossés et des remparts est encore visible à certains endroits notamment au "Chemin de Ronde".
En 1229, Saint-Louis et le Comte de Toulouse signe un traité de paix sur lequel on retrouve la signature de Sicard de Miremont.