Его иногда называют главным алмазом в ожерелье замков Луары, он настолько сказочен и красив.
Название Азей происходит, возможно, от Asiacus, имени владельца этих земель. В XII веке крепость Азей принадлежала Ридо или Ридель д Азей - человеку, прославившемуся своей жестокостью и прозванному *отродьем дьявола*. Век спустя на месте старой крепости был возведен замок, который стоит и по сей день.
Замок с его необычной Г-образной формой знаменует собой переход от готики к Ренессансу, утверждая новую концепцию жилой постройки, которая перестает быть оборонительной крепостью и становится элегантной загородной резиденцией.
Бальзак, который в окрестностях Азей сочинял свой роман "Лилия в долине", так описал Азей: *Взобравшись на утес, я впервые любовался замком Азей, этим граненым алмазом, вставленным в оправу вод Эндра, возвышающимся на сваях, замаскированных цветами*.
Замок был продан в 1904 году по причине финансовых затруднений владелецем М. Арто, государству за 200000 франков, после чего он, наконец, был восстановлен, а окружающий парк и берега Эндра обрели свой первозданный вид.
Внутри замка был оборудован Музей Ренессанса, в котором хранятся мебель, гобелены, предметы быта и картины.