Actualment el castell ha desaparegut pràcticament per complet, i únicament poden apreciar-se escasses restes del que van ser-ne les muralles. Segurament fou un senzill castell roquer, amb una torre central i una muralla: un lloc avançat de les més grans fortaleses dels voltants.

Segons explica una vella llegenda de Castell de Cabres, va imposar-se a la població aquest nom perquè, en una guerra de fa moltíssims anys, al poble no quedaven més que avis, dones i xiquets, perquè els homes lluitaven al camp de batalla. Un dia al capvespre, un vell que estava de vigia al castell, va veure que s'acostaven al poble les tropes enemigues per a saquejar-lo de nit. Com no hi disposaven de mitjans humans per impedir-ho, van fer pujar al castell totes les cabres que hi havia al poble i els van lligar una teia encesa a cada banya.

L'enemic va creure que tants punts de llum en la foscor de la nit eren torxes portades per soldats; per la qual cosa, considerant que es tractava d'una emboscada, va emprendre-hi la retirada precipitadament.

Amb aquesta estratagema va guanyar-se la batalla i van posar al poble el nom de "Castell", pel seu castell muntanyenc, i "de Cabres", en homenatge a aquelles cabres que van espantar a l'enemic.

Dades