La Torre del caricatore (Turris marittimae Agrigenti), più nota come Torre di Carlo V, è un edificio di origine medievale presente nel centro urbano di Porto Empedocle, in prossimità dell'entrata al porto.
Costruita intorno al XIV secolo (si hanno testimonianze a partire dal 1355), aveva lo scopo di presidiare la costa agrigentina da possibili invasioni saracene.
Tra il 1549 e 1554 per ordine del viceré Juan de Vega fu restaurata assumendo le forme attuali. Essa faceva parte del sistema di avviso delle Torri costiere della Sicilia, costruite su indicazione dell'architetto fiorentino Camillo Camilliani con lo scopo di difendere le attività commerciali dagli attacchi dei pirati saraceni.
La torre è stata a lungo adibita a carcere: nel 1848 fu teatro del massacro di 114 detenuti inermi, reso noto dal celebre scrittore empedoclino Andrea Camilleri nell'opera "La strage dimenticata".
Dopo anni di oblio e abbandono, è stata adibita a centro espositivo-culturale, con il recupero di due cannoni ottocenteschi che erano stati trasferiti alla Rocca Paolina di Perugia alla fine degli anni '60 da Giuseppe Agozzino e di una lapide che era stata trasferita al Museo civico di Agrigento e riportata in situ grazie agli studi condotti da Luca Festalunga.
Oggi il complesso architettonico è di proprietà del Comune di Porto Empedocle ed è chiuso al pubblico per problemi strutturali.