Ici, derrière ces murs, avait été construit au XIIIe siècle, par les Atayne, des vassaux des barons de La Tour d’Auvergne, une tour de défense le long de l’ancienne voie celtique.

A la suite d’un effondrement, cette tour fut appelée la Tour Fondue. Elle sera reconstruite au XIVe siècle par la famille Vassel, et étendue au cours des siècles par de nouveaux bâtiments et notamment au XVIIe siècle par Jean Laville qui possédait aussi à Saint-Amant les châteaux de Murols et la Barge.

Au XVIIIe siècle l’ensemble immobilier devient propriété de Gilbert de Cousin de La Tour Fondue. Les armoiries au-dessus de la porte ont été martelées à la révolution.

En 1922, le peintre Victor Charreton, chef de l’Ecole de Murols, viendra y résider dans la partie XVIIe, jusqu’à sa mort en 1936.