Segundo o memorial nobiliario da casa de Camba, o Castro Candaz foi fundado polo cónsul romano Lucio Cambero, destinado en Lugo e vinculado familiarmente aos “montañeses de Galicia”, que loitaría xunto coa tribo dos aunonenses fronte a dúas lexións romanas mandadas polo emperador Traxano. Trala derrota, Lucio Cambero retírase ao castro.

Segundo Formoso Lamas, durante a segunda vaga de invasións normandas, estes superaron o Monte Faro e chegaron até Chantada, onde se erguera unha empalizada (Plantata). Tras arrasaren coa vila, os viquingos seguiron avanzando e os nobres da vila refuxiáronse en Castro Candaz, custodiado pola familia dos Erice ou Eriz. onde recibiron a axuda das tropas do rei Ramiro I de Asturias.

Durante a idade media posiblemente o castro estivo vinculado a algún tipo de porto que atravesara o Miño por esta banda.

A fortaleza foi destruída en gran parte durante a Gran guerra irmandiña. Pouco despois foi reconstruída pola familia dos Taboada, que en 1474 escriben unha carta ao bispo de Lugo pedindo permiso para construír en Castro Candaz unha ermida, para poderen asistir á misa sen afastarse da fortaleza[1].

En tempos recentes a área foi modificada para construír socalcos nas que plantar vide, modificando a arquitectura da zona.