La costruzione della prima fortezza risale al I sec. a.C. ai tempi dei romani.
Verso il XIV secolo Antonio Della Scala rafforzò le difese del porto, creando una darsena fortificata e innalzò il Castello sulle rovine di una struttura preesistente. Oggi è visitabile e all’interno è stato allestito un Museo etnografico che racconta la cultura di Torri del Benaco e della zona nord del Lago. La maggiore attrazione è la serra di agrumi risalente al 1760 posta sul lato meridionale che è praticamente l’unica aperta al pubblico su tutto il lago. È possibile anche passeggiare per i camminamenti e godere di un magnifico panorama sul lago.