Назначенный папой Юлием III губернатором Тиволи в 1550 году, кардинал Ипполито II д’Эсте (сын Лукреции Борджиа) задумал разбить парк на крутом склоне у дворца. Проект создания парка между церковью Святого Петра и средневековыми стенами окончательно оформился к 1560. Автор проекта — архитектор и археолог Пирро Лигорио, ранее с 1550 осуществлявший раскопки на вилле Адриана, расположенной поблизости; ему помогало множество художников и ремесленников. Убранство виллы было призвано подчеркнуть её высокий престиж как очага культуры, места встречи литераторов, поэтов и музыкантов. Отделка залов, начатая в 1563, проходила под руководством Джироламо Муциано, а затем — Ливио Агрести и Федерико Дзуккаро. Стены залов были украшены фламандскими гобеленами, лепными украшениями и фресками, а также античными статуями (впоследствии коллекция статуй оказалась утраченной). Внутренняя отделка помещений была почти завершена к моменту кончины кардинала (1572). В 1605 кардинал Алессандро д’Эсте приступил к существенному обновлению парка. Работы были продолжены в 1660—1670 годах, при участии знаменитого скульптора Бернини. В XVIII веке вилла пережила длительный период запустения; в 1814 весь ансамбль перешел в наследство Франца Габсбурга. Последним владельцем виллы перед Первой мировой войной был эрцгерцог Франц Фердинанд. С началом войны вилла перешла в собственность государства. В 1920-х годах, а затем сразу после Второй мировой войны (вилла пострадала от бомбардировки) была осуществлена масштабная реставрация. В 2007 году парк получил премию «Самый красивый парк Европы».