Actualmente el castillo ha desaparecido prácticamente por completo, y únicamente pueden apreciarse escasos restos de lo que fueron sus murallas. Debió tratarse de un sencillo castillo roquero, con torre central y muralla, puesto avanzado de las más grandes fortalezas de los alrededores.

Según cuenta una vieja leyenda de Castell de Cabres se le impuso este nombre, porque en una guerra de hace muchísimos años, en el pueblo no quedaban más que abuelos, mujeres y niños, porque los hombres peleaban en el campo de batalla. Cierto día al atardecer, un viejo que estaba de vigía en el Castillo, vio que se acercaban al pueblo las tropas enemigas para saquearlo por la noche: como no disponían de medios humanos para impedirlo, hicieron subir al castillo todas las cabras que había en el pueblo y les ataron una tea encendida a cada cuerno.

El enemigo creyó que tantos puntos de luz en la oscuridad de la noche eran antorchas llevadas por soldados, por lo que, considerando que se trataba de una emboscada emprendió la retirada precipitadamente.

Con esta estratagema se ganó la batalla y se puso al pueblo el nombre de "Castell" por su castillo montano, y " de Cabres" en homenaje a aquellas cabras que ahuyentaron al enemigo.

Datos