Classé monument Historique Artistique en 1931, le château se situe au point le plus élevé du rocher, à 64 m au-dessus du niveau de la mer, sur un périmètre de 230 m.

Construit par les Chevaliers du Temple sur les restes d’une ancienne casbah arabe, le château a été soumis à quelques petites réformes sous Le Pape Benoît XIII qui en fit un palais des papes.

Les murs sont en pierre de taille, et toutes les pièces sont couvertes de voûtes en berceau soutenues par des sommiers très simples formés par un cordon mouluré.

Dans l’ensemble, la sobriété et la solidité de la construction sont remarquables, aussi bien dans les pièces templières que dans l’enchevêtrement stratégique des pièces pontificales.

Malgré les modifications de la forteresse introduites par le roi Philippe II, qui y inclut des pièces d’artillerie, et malgré les bombardements soufferts pendant de nombreux sièges et guerres, la disposition du château n’a pas été profondément altérée.