Situé sur une hauteur qui domine la région, à l'intérieur du bois des Bouchauds, le théâtre a longtemps alimenté la légende locale. La ruine était considérée comme un vestige de château dont personne ne connaissait l'origine, et pour cause ! Un mystère se dégageait du lieu que l'on avait baptisé le Château des fades ou domaine des fées.
C'est seulement dans la seconde partie du XVIIIIe siècle que l'on commence à faire des fouilles, peut être motivées par l'espoir d'y trouver un trésor. Cette recherche se fait tout d'abord de manière plutôt anarchique, et très vite les passions se déchaînent. Elles pousseront peut-être Jean Gautier le premier propriétaire amoureux de l'endroit, à se suicider par dépit du peu de cas que l'on semblait faire du lieu, bien que le site ait été classé un an plus tôt, en 1881.