Casa solariega de la familia Comí durante la Edad Media. En el siglo XVI, se reformó la fachada y el zaguán siguiendo los postulados arquitectónicos del Renacimiento. En el siglo XVIII el Palacio pasó a manos del Marquesado de Villores.

En su fachada destaca una gran portada sobre la que se ven las armas de la familia, puertas y ventanas decoradas con pequeñas columnas salomónicas, motivos vegetales y animales y una garita con una función más decorativa que defensiva

Tras su reforma, la Casa de los Comí se convirtió en la residencia más importante de Sant Mateu. En 1632, sirvió de hospedaje al rey Felipe IV, a su hermano el Infante – Cardenal Don Fernando, y a su hijo, el futuro Carlos II y en julio de 1837, durante la primera guerra carlista, al pretendiente Carlos María Isidro de Borbón y al General Cabrera, el Tigre del Maestrazgo.