Замок Анси расположен на возвышенности в южной части исторического центра, практически на его окраине. Мощные башни замка эффектно возвышаются над Старым городом.
В комплекс сооружений замка входят четыре башни, старейшая из которых – башня Королевы, относится к XII веку. Она защищает южную, наиболее открытую сторону. Башни Св. Петра и Св. Павла, находящиеся на севере, построены чуть позднее – между XIII и XVI веками. Четвертая башня, обращенная к озеру, возведена в XV веке.
Первыми владельцами замка были графы Женевы. В начале XV века, восстановленный после пожара, замок перешел во владение герцогов Савойских.
В XVII веке, после нескольких пожаров, следовавших один за другим, он пришел в полное запустение и в качестве резиденции больше не использовался. В последующие века судьба цитадели складывалась так же несчастливо – здесь размещались казармы и приют для бездомных. Только в 1953 году замок стал собственностью города и превращен в музей.
Входит в список исторического наследия Франции.