Замок Пьерфон построен в 90-х годах XIV века на месте более ранних укреплений XII века, разрушен в XVII веке, восстановлен во второй половине XIX века. В XII веке замок принадлежал сеньорам Пьерфон из Кьерзи. От него сохранились лишь подвальные помещения. В конце XII века он переходит к королю Филиппу Августу и с этого момента становится королевским владением.

Герцог Людовик Орлеанский получил в 1392 году в дар от своего брата — короля Карла VI Пьерфон и герцогство Турень. В 1396 году Людовик начал постройку замка.
В марте 1617 года Пьерфон был осаждён и взят войсками, присланными кардиналом Ришельё. Кардинал приказал разрушить замок, но из-за масштабности сооружения ограничились тем, что срыли внешние укрепления и уничтожили кровлю.
В эпоху романтизма при всеобщем увлечении архитектурой Средневековья развалины замка становятся модным местом романтического отдыха. В 1813 году император Наполеон I покупает земли и замок.
Многие художники, в том числе и Коро, запечатлели замок в своих произведениях. Принц Наполеон, будущий император, интересовавшийся археологией, посетил развалины замка в 1850 году. В 1857 году он по совету Проспера Мериме решил восстановить Пьерфон и сделать его своей резиденцией.

Замок послужил съёмочной площадкой для таких фильмов, как «Двуглавый орёл» Жана Кокто, «Пришельцы», «Посланница: история Жанны д’Арк» и «Человек в железной маске», а также сериалов «Версаль », «Волшебники из Вэйверли Плэйс» и «Мерлин»( в котором он становится Камелотом.)