Замок Дьеп был построен как оборонительное сооружение.
Первый замок был возведён на месте крепости, построенной Генрихом II Плантагенетом и Ричардом Львиное Сердце, а затем разрушен Филиппом Огюстом в 1195 году.
В 17 веке замок вновь был отстроен, как оборонительная крепость на случай войны.
Во времена революции использовался как тюрьма для контрреволюционеров.
В 1906 году город выкупил замок и там был устроен художественный музей.
Во время 2-ой мировой войны он использовался, как оборонительное сооружение и казарма для военных.
В настоящее время в замке работает музей.
Замок обладает одной из самых богатых коллекций во Франции предметов и скульптур из слоновой кости . Богатство этой коллекции объясняется тем, что на протяжении веков город Дьеп был главным центром работы по слоновой кости во Франции.