Conhecida documentalmente desde o séc. XV, a torre pertenceu aos descendentes de Pedro do Sem, chanceler do rei D. Afonso IV, passando, depois, para um ramo dos Brandões, que a venderam à Mitra do Porto. Apesar das múltiplas adulterações por que passou, a torre mantém um figurino geral medieval. Em 1919, o imóvel foi adquirido pela Diocese do Porto, que aqui instalou o seu paço episcopal.