Первая официальная королевская резиденция возникла здесь еще в середине XIII века. Это была скромная постройка в окружении крепостных стен. Настоящим дворцом он стал только в XV веке при короле Сигизмунде Люксембургском, который пригласил для строительства лучших европейских художников и мастеров. Расцвет наступил при короле Матиаше, когда дворец силами итальянских архитекторов стал прекрасным зданием в стиле ренессанс. Именно тогда, в период расцвета государства, дворец считался одним из самых роскошных в Европе. Уникальная отделка помещений, позолота, резьба, мраморные камины - все говорило о богатстве венгерских монархов. Упадок наступил уже в середине XVI века, когда город оказался под властью турок. Частично разграбленный, частично разрушенный, дворец пережил еще множество перестроек. Восстановленный в конце XIX века, он был обращен в руины во время второй мировой войны.

То здание, которое мы видим сегодня, воссоздано уже во второй половине XX столетия по сохранившимся чертежам и рисункам. Фасад его выглядит по-царственному торжественно, он поражает своими размерами и удивительно точными пропорциями. Сторона дворца, обращенная к Дунаю, где частично сохранились средневековые постройки, напоминает неприступную крепость.

В помещениях дворца разместилась национальная галерея, с уникальной коллекцией живописи, национальная библиотека Венгрии, музей истории Будапешта.