Entre 1151 e 1157, D. Afonso Henriques fez inúmeras tentativas para tomar o castelo tendo-o conseguido-o com o auxílio dos cavaleiros da Ordem de Sant'Iago tendo sido doado 1186, por D. Sancho I a esta mesma Ordem, tendo sido perdido novamente em 1191, para o exército almoada. Foi depois definitivamente conquistado em 1217, por Afonso II.

A partir do séc. XV, o castelo apesar de ter perdido a sua vocação militar, é frequentado pelos reis D. João II e D. Manuel I, tendo este último inclusivamente casado aqui em 1500 com a infanta D. Maria. A partir do séc. XVI o Convento Carmelita de Aracelli terá ocupado o castelo até 1834.

As muralhas e as torres em taipa, remontam talvez ao séc. XII ou mesmo a um período anterior, A Torre Albarrã ainda hoje bem visivel junto ao pano de muralha voltado a sul, be como uma torre convertida em torre sineira. Dentro ddas muralhas pode ainda ver-se as ruínas do convento de Aracelli agora transformado em Pousada, a igreja de Santa Maria do Castelo (romano-gótica, séc. XIII), vestígios da malha urbana de diferentes épocas e estruturas de habitação da Idade do Ferro, Romanas e Árabes