En 1706, à la suite du siège du roi Louis XIV, la citadelle qui occupait la colline est démantelée. En 1783, un cimetière vient occuper la partie nord. Mais en 1822, face au nombre de villégiateurs qui augmente sensiblement depuis le milieu du XVIIIe siècle, le conseil de la ville entrevoit le potentiel de ce site dominant ville et mer. La colline devient ainsi un grand parc paysager, élément essentiel de cette ville, ancienne place militaire, qui se tourne désormais vers le tourisme. Des végétaux exotiques y sont acclimatés, des cheminements romantiques avec fausses ruines sont créés, des fouilles archéologiques sont entreprises et une grande cascade avec fausse grotte en rocaille est aménagée, à la fin du XIXe siècle. Quant à l’actuelle Tour Bellanda, elle veut rappeler la tour Saint-Elme de la citadelle mais il s’agit d’une construction de 1825 érigée comme annexe de la pension Clérissi (actuel Hôtel suisse) qui recherche le meilleur emplacement et s’installe au pied de la colline à l’ouverture du parc public. La colline du Château connaît de nouveaux aménagements dans les années 1950 avec la création de calades et de décors en mosaïque aux thèmes mythologiques.