Замок Миланд был построен в 1489 г. Франсуа де Комоном для своей супруги, пожелавшей жить в романтическом замке, а не в феодальной крепости Кастельно. После смерти последнего из рода Комон Миланд остался бесхозным и фактически принадлежал казне вплоть до Великой Французской революции.
Затем замок сменил много хозяев и в 1900 г. его купил богатый промышленник Клавери.
В 1937 г. замок посетила Жозефина Бейкер и влюбилась в него с первого взгляда. В 1947 г. она купила его и прожила в нем много лет.
Жозефина Бейкер - знаменитая американская, а впоследствии французская певица и танцовщица, прима знаменитых в середине ХХ века ревю - жила здесь до 1969 года вместе с 12 усыновлёнными детьми девяти разных национальностей, которых она называла «радужным племенем».
Именно в этот период в замке устроили водопровод, провели электричество и центральное отопление. Жозефина устроила там авангардистский туристический комплекс, названный **Village du Mond**.
Замок внесен в список исторического наследия Франции, в нем расположена выставка, посвященная Ж. Бейкер