Строительство замка в Павии началось в 1360 г. по заказу миланского герцога Галеаццо II Висконти. Работы велись под руководством архитектора Бернардо из Венеции,
и продолжались 5 лет — достаточно быстро для столь масштабного сооружения. В оформлении интерьеров замка приняли участие Леонардо да Винчи и Браманте.
Во время битвы при Павии в 1525 году были разрушены две задние башни замка и пострадали его боковые стороны. Фасад же остался неповрежденным,
на нем до сих пор сохранились окна XIV в.
В левой башне замка располагалась библиотека, в которой работал Франческо Петрарка