
En 1922, o arcebispado de Santiago de Compostela véndelle ao Vizconde de Santo Alberto, José Varela de Limia, o claustro do Mosteiro de San Xusto de Toxosoutos, quen o traslada e incorpora no pazo que estaba a reconstruír na Pena de Ouro.
As dependencias do mosteiro de Lousame, desde a desamortización de Mendizábal de 1835, fóranse arruinando e expoliando, ata que a decisión do arcebispado pon punto final ao deterioro. A pesar disto, o antigo claustro de Tososoutos do Pazo da Pena de Ouro, é un dos tres exemplos de claustros románicos que se conservan, xunto co da Colexiata de Santa María de Sar (Santiago de Compostela), e o de Santo Estevo de Ribas de Sil (Nogueira de Ramuín).
Na actualidade, e desde 1978, o Pazo da Pena de Ouro foi herdado polos Condes de Torrecedeira, Felipe Bárcena Varela de Limia e Rosa de Labra Morán, pasando a ser os décimo quintos propietarios. Ata ese momento, as instalacións estiveron ocupadas durante uns 20 anos polo Colexio Assumpta.