La construction du musée est décidée en 1978, sous l’impulsion d’André Chandernagor, ancien Ministre des Affaires européennes.
Il s’agit alors de concevoir un projet culturel complet et ambitieux eu égard à la taille de la ville : réunir en un lieu unique musée, théâtre (qui deviendra «scène nationale»), médiathèque, salle audiovisuel équipée, studio son, imprimerie et café-musique.

Ouvert sans collections propres en 1982, le musée retrace aujourd'hui les six siècles de l’histoire tissée d’Aubusson-Felletin avec près de 250 tapisseries.