История замка берёт своё начало аж в III веке, когда первые поселенцы устраивают в известняковых скалах примитивные жилища и пещерную часовню. Достоинства выбранного ими места налицо — скалы дают отличную защиту от врагов, а близость Сены не только снабжает питьевой водой, но и позволяет совершать нападения на суда с ценными грузами.

Немного позже, местечко превратилось в аванпост для защиты королей династии Каролингов от норманских викингов. В 911 году был подписан договор Сен-Клер-сюр-Эпт (Saint-Clair-sur-Epte) между правителем Шарлем III (Charles III) и предводителем викингов Роллоном (Rollon). Договор разрешал викингам обосноваться в Нормандии в обмен на защиту французских владений от любых разбойничьих нападений с севера. С этого момента замок Ла Рош-Гюйон официально встал на стражу франкских границ. Стоит заметить также, что Роллон считается одним из основателей герцогства Нормандии. Он принял католическую веру и стал называться герцогом Робером.

А название Ла Рош-Гюйон происходит от фамилии владельцев замка, феодалов де Ла Рош (от слова roche — камень, скала), традиционно носивших имя Ги (Guy). Отсюда и замок Ла Рош-Гюйон (La Roche-Guyon), то есть замок Ги де Ла Рош.

Донжон на вершине построен в 1190-ых годах, а примерно к 1250 году его дополняет здание у подножья скалы. Оба сооружения соединены лестницей, выдолбленной в скале. Таким образом, захватить замок силой практически невозможно. Но в 1419 году королю Англии Генриху V удаётся взять крепость выжиданием. После шестимесячной осады, внутри остаются только вдова и дети последнего владельца Ги VI, и им приходится капитулировать. Лишь незадолго до конца Столетней войны, в 1449 году, законный наследник замка Ги VII с помощью королевских войск прогоняет англичан обратно на острова.

Потом замок переходит семье Силли (Silly) благодаря свадьбе Марии де Ла Рош (Marie de La Roche), дочери Ги VII и Бертана де Силли (Bertin de Silly). Поскольку большие войны к этому времени закончились, замок постепенно становится более удобным и элегантным. В нём гостят монархи Франсуа I и Анри II. В XVII веке появляется сад-огород, одновременно защищающий замок от разливов Сены.

В 1659 замок в результате брака отходит герцогу Франсуа де Ларошфуко, писателю и моралисту, его потомки придают замку вид, который он имеет сегодня: ворота и главный вход, конюшни, два павильона...

После французской революции 1789 года, донжон приказали разобрать, так как в нём могли обосноваться анти-революционеры. От прежней башни высотой в 38 метров осталось только 16 метров. К счастью, до конца свои разрушительные работы революционеры не довели.