Situat a la part alta de la vila, on es documenten indicis de poblament anterior (Abric del Castell), la seva utilització com a tal és d'origen andalusí, tal com es desprèn de la denominació que se li atorga al lloc en diversos documents "Beni- Hamez ". Conquistat per Jaume I en 1233 ha patit diferents reformes al llarg de la seva història, sent els seus vestigis més antics del segle XIV; moment en què el mestre de l'Orde de Montesa obliga els habitants de Vilafamés a reparar i reforçar les fortificacions del lloc (1375) alhora que es transforma en un gran castell-palau. El seu aspecte actual es va configurar al segle XIX durant les guerres carlines, moment en què es va construir la torre central circular, un dels pocs exemples d'arquitectura carlista de la Comunitat Valenciana.

Dades