O Pazo das Portadas foi a antiga residencia de verán dos Condes de Monterrei, emparentados cos Yáñez de Lugo, familia propietaria deste palacio, que aínda conserva no seu interior dous brasóns que son testemuño do carácter fidalgo que tivo a vila de Oímbra desde 1574.