Как и многие небольшие прибрежные городки, Кастильоне-делла-Пескайя ведет свое начало от поселений античного периода. Считается, что 2500 лет назад в этом районе обитали этруски. В римские времена здесь был небольшой город Салеброн (Салебро), основу экономики которого составляло рыболовство. Салебро не имел большого значения, в отличие от расположенной недалеко на возвышенности Ветулонии - достаточно известного и крупного города, являвшегося центром добычи и обработки металлов и пришедшего в упадок из-за изменения береговой линии. В хороших университетских учебниках по античной истории можно найти замечание вроде следующего:
Хотя остатки Ветулонии в современной Тоскане находятся в 12 км от моря, но в древности она была расположена на берегу бухты, глубоко врезавшейся в сушу. В римское время от отой бухты оставалось уже только мелководное озеро, а потом и оно высохло.
В начале V века все значимые поселения региона были разграблены варварами, дошедшими в итоге до Рима. Почти половину тысячелетия в данной местности не было значимых городов. Лишь в конце IX века Тосканское маркграфство начинает интенсивно развиваться, и на месте нынешнего Кастильоне появляется небольшой городок, который веком позже становится частью Пизанской республики. Пизанцы использовали порт как место дислокации военно-торговых судов. Они также возвели в районе Кастильоне небольшие укрепления на суше, а также крепостные башни, сохранившеся до наших дней.
В конце XIII века борьба Венеции, Генуи и Пизы приводит к упадку последней. В Кастильоне формируется независимая коммуна, пизанские укрепления перестраиваются в замок.
Однако развитие торговли и ремесел прерывается из-за эпидемии малярии, распространившейся, как считают, из-за заболачивания окрестностей города. Кастильоне становится частью владений Лотарингов, однако в силу убыли населения теряет всяческое значение. Позже город вновь входит в герцогство Тоскана.
Как курорт, город стал развиваться со второй половины XX века.
Отдых в Кастильоне-делла-Пескайя считается весьма престижным, однако здесь нет никакого пафоса или напускной роскоши — это провинциальное и спокойное место.
В числе основных достопримечательностей городка и его окрестностей: средневековый мост, небольшие церкви, небольшой заповедник "Дьячча Ботрона". На побережье Кастильоне - отличные пляжи.
