Петр I решил построить здесь в 1718 году летнюю резиденцию для царской семьи. Название парку было дано в честь супруги императора Екатерины I — Екатериненталь, что переводится с немецкого как «долина Катерины», но с течением лет название приобрело эстоноязычный оттенок и стало наименоваться как Кадриорг, то есть «долина Кадри».
Дворец в стиле барокко построен в итальянской манере по проекту итальянца Никколо Микетти. Строительными работами первое время руководил его помощник Гаэтано Кьявери, однако заканчивал строительство известный русский архитектор Михаил Земцов. Возводили дворец русские мастера, специально привезенные Петром I из Санкт-Петербурга, Пскова и Новгорода. Царь так же внес свою лепту — сам собственноручно заложил в стену будущего дворца целых три кирпича (в северо-восточном углу здания их-по прежнему видно, так как по традиции их не штукатурят). Однако увидеть в завершенном состоянии дворец ему было не суждено. Когда в 1725 году Петр I скончался, дворец все еще был окружен строительными лесами. Работы были закончены только спустя два года, однако к тому моменту и Екатерина I, которой был подарен дворец, уже тоже скончалась. Таким образом, работы были закончены за девять лет, и царской резиденцией дворец служил уже последующим поколениям российских правителей, причем всем, за исключением Павла I.