Pouco queda do que foi este magnífico pazo, polo que pedimos moita prudencia na súa visita. Tampouco se sabe moito sobre as súas orixes aínda que parecen gardar relación coa parella formada por Arturo Vázquez de Soutomaior, descendente da familia Méndez de Soutomaior, e Ana Falcón Romai Soutomaior, que fixeron testamento cara a 1585.
Parece que o morgado fundouno Gaspar Vázquez de Soutomaior, nacido en Vigo en 1566, e que emparentaría coa familia do Pazo da Touza, casando con Ana Ozores de Castro, irmán do señor da Touza, Gregorio Ozores de Castro.
Os muros que se poden contemplar na actualidade formaban parte da fachada principal do pazo e das súas dependencias interiores. Da capela consérvanse as fornelas e un amplo arco de medio punto, sobre o que se pode ler: “Esta capela é de Antonio Méndez Ozores de Sotomayor”.
Ademais destas ruínas, nos xardíns do Museo de Castrelos de Vigo consérvase un dos escudos de armas que decoraban a fachada principal deste pazo, onde están presentes as armas dos Falcón, Soutomaior, Pereira de Castro, Ozores e o brazo armado dos Lira.
A documentación histórica infórmanos de que o seu nome era o de Castelo de Santa Helena, transcrito de diferentes formas (Senlle, Santel, Santiella, Santella, Sanctenia, Santena, Sancta Helenam e Sancte Elaie) e que viña sendo o principal da Terra de Turonio que, durante o medievo, eran os dominios do bispado de Tui que estaban sometidos ao señorío laico.
O primeiro documento histórico coñecido que menciona este castelo data do ano 1106, aínda que o período álxido da súa historia coñecerao durante o s. XIV, ligado á figura do nobre Soro Iáñez de Parada. Este era o “Adiantado de Galicia e señor de Toroño” en tempos de Pedro I chamado O Cruel. Na guerra entre os partidarios do lexítimo monarca e os que apoian o seu medio irmán, Henrique de Trastámara, destaca a figura de Soro Iáñez, home de máxima confianza de Pedro I. Despois do “Crime de Montiel” (1369), no que Pedro I foi asasinado polo seu irmán Henrique, os nobres galegos fieis ao rei morto -entre os que se atopaba Soro Iáñez- bátense en retirada cara a Portugal. Desde alí contraatacan tempo despois, co apoio do duque de Lancaster, defendendo os dereitos do rei Fernando I de Portugal cara a coroa de Castela, pero con resultado negativo.
A historia do castelo estenderase ata finais do s. XV cando, ou ben foi derruído polos Irmandiños, ou ben demolido como consecuencia da Orde de 1482 dos Reis Católicos.
