Ten a súa orixe no s. XIV. No lugar asentábase a casa de Vasco Gómez de Cadaval, militar ao servizo do Bispado de Tui, que, como outros nobres galegos, foi partidario do rei Pedro I durante a guerra con Henrique de Trastámara. Tras a vitoria deste último, os donos da primitiva edificación tiveron que abandonala pasando a ser propiedade da Igrexa.
No s. XVI a propiedade da casa volve á familia Cadaval, manténdose ata a actualidade.
O morgado do pazo establécese no ano 1608, na figura de Francisco de Cadaval Montenegro, fillo de Pedro de Cadaval e Valadares e Basquida García Montenegro, que recuperaron, con anterioridade, a propiedade das terras.
En tempos recentes, a liñaxe dos Cadaval uniríase á de Urzáiz mediante o matrimonio de Adela Cadaval Muñoz con Ángel Urzáiz (1856-1926), figura política destacada durante o período da Restauración borbónica española que exerceu diversos cargos políticos (ministro de Facenda entre 1901 e 1902 con Mateo Sagasta; en 1905 con Eugenio Montero Ríos e, xa no reinado de Alfonso XIII, entre 1915-1916, co Conde de Romanones).
O pazo sufriu importantes modificacións, entre as que destaca a incorporación da escalinata e do patín que preside a fachada principal, que segundo a inscrición do lintel da porta de entrada, dataría de 1668. No s. XX o pazo experimentaría novas modificacións entre as que destaca a construción das balconadas da fachada principal ou a modificación da fachada posterior, coa construción dunha espléndida escalinata, obra do arquitecto vigués Jenaro de la Fuente. Por todos estes motivos, o pazo foi declarado Ben de Interese Cultural no ano 2004.
Na actualidade mostra unha característica planta en “O”, presidida, na súa fachada principal, por unha fermosa escalinata balaustrada, precedida por un relanzo de pedra, sobre o que se alzan dous pedestais rematados en pináculos de bóla. A escalinata remata en dous pedestais, sobre os que se apoian senllas columnas toscanas, que dan entrada a un patín cuberto en balaústre desde o que se accede ás dependencias superiores da casa.
Nos corpos laterais, a ambos os dous lados da escalinata, temos enfrontados por parellas os escudos familiares vinculados á casa (Ceta, Montenegro, Oia, Figueroa, Saavedra…). Destes corpos laterais tamén temos que destacar os fermosos balcóns soportados por grandes ménsulas mixtilíneas.
O corpo principal do pazo únese polo lado dereito con outro corpo rectangular alongado, que podería formar parte da casa medieval primitiva, e no medio dos dous corpos, unha torre almenada.
O conxunto do pazo complétase cunha capela construída con anterioridade ao ano 1655. Situábase diante da fachada principal do pazo e foi trasladada a principios do século pasado, sufrindo algunhas transformacións. De pequeno tamaño, presenta planta rectangular; a fachada principal, enmarcada por senllas pilastras rematadas por pináculos piramidais entre os que se abre un arco de medio punto rodeado de molduras, está coroada por unha espadana, que orixinalmente se situaba sobre a porta lateral. No interior consérvase un pequeno retablo onde destaca unha Virxe do Carme co neno.
Outro elemento para destacar é a torre circular almeada de finalidade e cronoloxía descoñecida. Reconstruíuse en tempos recentes a partir de debuxos antigos. Tamén ten un magnífico hórreo, de pedra de nove pés.
O conxunto complétase cos maxestosos portóns de entrada. O que dá á fachada principal, seguramente da época da unión entre as familias Urzaiz e Cadaval, mostra un arco de medio punto, flanqueado por senllas pilastras e coroado por unha avultada cornixa onde atopamos os escudos de armas destas dúas familias.
O outro portón é unha ampla porta en lintel sobre o que se apoia un escudo coroado por un helmo, coas armas das familias Ceta, Montenegro, Oia, Figueroa, Saavedra e Cadaval.
