Tiene su origen en el s. XIV. En el lugar se asentaba la casa de Vasco Gómez de Cadaval, militar al servicio del Obispado de Tui, que, como otros nobles gallegos, fue partidario del rey Pedro I durante la guerra con Henrique de Trastámara. Tras la victoria de este último, los dueños de la primitiva edificación tuvieron que abandonarla pasando su propiedad a la Iglesia.
En el s. XVI la propiedad de la casa vuelve a la familia Cadaval, manteniéndose hasta la actualidad.
El mayorazgo del pazo se establece en el año 1608, en la figura de Francisco de Cadaval Montenegro, hijo de Pedro de Cadaval y Valadares y Basquida García Montenegro, que recuperaran, con anterioridad, la propiedad de las tierras.
En tiempos recientes, el linaje de los Cadaval se uniría al de Urzáiz mediante el matrimonio de Adela Cadaval Muñoz con Ángel Urzáiz (1856-1926), figura política destacada durante el período de la Restauración borbónica española que ejerció diversos cargos políticos (ministro de Hacienda entre 1901 y 1902 con Mateo Sagasta; en 1905 con Eugenio Montero Ríos y, ya en el reinado de Alfonso XIII, entre 1915-1916, con el Conde de Romanones).
El pazo sufrió importantes modificaciones, entre las que destaca la incorporación de la escalinata y del patín que preside la fachada principal, que según la inscripción del dintel de la puerta de entrada, dataría de 1668. En el s. XX el pazo experimentaría nuevas modificaciones entre las que destaca la construcción de las balconadas de la fachada principal o la modificación de la fachada posterior, con la construcción de una espléndida escalinata, obra del arquitecto vigués Jenaro de la Fuente. Por todos estos motivos, el pazo fue declarado Bien de Interés Cultural en el año 2004.
En la actualidad muestra una característica planta en “O”, presidida, en su fachada principal, por una hermosa escalinata abalaustrada, precedida por un rellano de piedra, sobre el que se alzan dos pedestales finalizados en pináculos de bola. La escalinata concluye en dos pedestales, sobre los que se apoyan sendas columnas toscanas, que dan entrada a un patín cubierto en balaústre desde lo que se accede a las dependencias superiores de la casa. En los cuerpos laterales, a ambos lados de la escalinata, tenemos enfrentados por parejas los escudos familiares vinculados a la casa (Ceta, Montenegro, Oia, Figueroa, Saavedra…).
De estos cuerpos laterales también tenemos que destacar los hermosos balcones soportados por grandes ménsulas mixtilíneas.
El cuerpo principal del pazo se une por el lado derecho con otro cuerpo rectangular alargado, que podría formar parte de la casa medieval primitiva, y en medio de los dos cuerpos, una torre almenada.
El conjunto del pazo se completa con una capilla construida con anterioridad al año 1655. Se situaba delante de la fachada principal del pazo y fue trasladada a principios del siglo pasado, sufriendo algunas transformaciones. De pequeño tamaño, presenta planta rectangular; la fachada principal, enmarcada por sendas pilastras finalizadas por pináculos piramidales entre los que se abre un arco de medio punto rodeado de molduras, está coronada por una espadaña, que originalmente se situaba sobre la puerta lateral. En el interior se conserva un pequeño retablo donde destaca una Virgen del Carmen con el niño.
Otro elemento para destacar es la torre circular almenada de finalidad y cronología desconocida. Se reconstruyó en tiempos recientes a partir de dibujos antiguos. También tiene un magnífico hórreo de piedra de nueve pies.
El conjunto se completa con los majestuosos portalones de entrada. El que da a la fachada principal, seguramente de la época de la unión entre las familias Urzáiz y Cadaval, muestra un arco de medio punto, flanqueado por sendas pilastras y coronado por una abultada cornisa donde encontramos los escudos de armas de estas dos familias.
El otro portalón es una amplia puerta en dintel, sobre el que se apoya un escudo, coronado por un yelmo, con las armas de las familias Ceta, Montenegro, Oia, Figueroa, Saavedra y Cadaval.
