Jusqu’ici, tous les écrits attribuent la paternité de ce bâtiment roannais à Jacques de Flesselles, ancien prévôt de Paris… En réalité, il n’en serait rien !
La famille Goyet de Livron aurait fait construire seule ce charmant hôtel particulier avant 1752, date du passage en ville de Madame l’Infante, fille de Louis XV.
En 1771 et 1773, la bâtisse accueille les futures épouses respectives de Louis XVIII et Charles X, les deux sœurs Marie-Joséphine et Marie-Thérèse de Savoie. En l’honneur de cette dernière, un théâtre provisoire est érigé. Sous le nom de Théâtre d’Artois, il est par la suite transféré dans la cour de la maison Gambon, au 17 Rue Jean Jaurès. Il fonctionnera jusqu’à l’ouverture du Théâtre municipal.
D’autres illustres visiteurs s’y succèdent. Le pape Pie VII, parti sacrer Napoléon Ier à Paris y séjourne en novembre 1804. En 1815, Madame Royale, fille de Louis XVI et Marie-Antoinette, y fait un passage. En 1852, Louis Napoléon, prince président, fait également une halte alors qu’il se rend à Marseille.
En 1824, la famille de Livron vend le bâtiment au banquier Devillaine à l’origine du canal Roanne-Digoin. Ce dernier, en faillite, le revend en 1850 à l’Etat, qui le transforme en sous-préfecture l’année suivante.
Un beau cèdre du Liban planté en 1816 en l’honneur du Duc de Berry ombrage la cour d’honneur.