El Castillo de San Sebastián se encuentra sobre un islote en plena Caleta. Lugar importante que ha servido de vigía. Desde tiempos inmemoriales, según la sabiduría popular, un templo del Dios Kronos ocupó este lugar, probablemente en los tiempos fenicios. Este bien de interés cultural se encuentra próximo al paseo de Fernando Quiñones. Sobre la antigua atalaya se levanta el faro de la ciudad. Su nombre se debe a una ermita tributo de unos navegantes Venecianos que repostaron en el islote. La atalaya fue la edificación que sucedió a la ermita y luego el castillo, debido a la estratégica ubicación para la vigía y defensa. Hoy en día sirve de centro de exposiciones e interpretaciones culturales con un itinerario de eventos tanto en sus instalaciones como en los alrededores.