Poco queda del que fue este magnífico pazo, por lo que pedimos mucha prudencia en su visita. Tampoco se sabe mucho sobre sus orígenes aunque parecen estar en relación con la pareja formada por Arturo Vázquez de Soutomaior, descendente de la familia Méndez de Soutomaior, y Ana Halcón Romai Soutomaior, que hicieron testamento hacia 1585.
Parece que el mayorazgo lo fundó Gaspar Vázquez de Soutomaior, nacido en Vigo en 1566, y que emparentaría con la familia del Pazo de la Touza casando con Ana Ozores de Castro, hermano del señor de la Touza, Gregorio Ozores de Castro.
Los muros que se pueden contemplar en la actualidad formaban parte de la fachada principal del pazo y de sus dependencias interiores. De la capilla se conservan las hornacinas y un amplio arco de medio punto, sobre lo que se puede leer: “Esta capilla es de Antonio Méndez Ozores de Sotomayor”.
Además de estas ruinas, en los jardines del Museo de Castrelos de Vigo se conserva uno de los escudos de armas que decoraban la fachada principal de este pazo, donde están presentes las armas de los Halcón, Soutomaior, Pereira de Castro, Ozores y el brazo armado de los Lira.
La documentación histórica los informan de que su nombre era lo de Castelo de Santa Helena, transcrito de diferentes formas (Senlle, Santel, Santiella, Santella, Sanctenia, Santena, Sancta Helenam y Sancte Elaie) y que venía siendo el principal de la Terra de Turonio que, durante el medievo, eran los dominios del obispado de Tui que estaban sometidos al señorío laico.
El primer documento histórico conocido que menciona este castillo fecha del año 1106, aunque el período álgido de su historia lo conocerá durante el s. XIV, ligado a la figura del noble Suero Iáñez de Parada. Este era el «Adelantado de Galicia y señor de Toroño» en tiempos de Pedro I llamado El Cruel. En la guerra entre los partidarios del legítimo monarca y los que apoyan a su hermanastro, Henrique de Trastámara, destaca la figura de Suero Iáñez, hombre de máxima confianza de Pedro I. Después del “Crimen de Montiel” (1369), en el que Pedro I fue asesinado por su hermano Henrique, los nobles gallegos fieles al rey muerto -entre los que se encontraba Suero Iáñez- se baten en retirada hacia Portugal. Desde allí contraatacan tiempo después, con el apoyo del duque de Lancaster, defendiendo los derechos del rey Fernando I de Portugal a la corona de Castilla, pero con resultado negativo.
La historia del castillo se extenderá hasta finales del s. XV, cuando, o bien fue derribado por los Irmandiños, o bien como consecuencia de la Orden de 1482 de los Reis Católicos
