Первые крепостные сооружения здесь построили византийцы в VI-VII веках. Впоследствии крепостью овладели хазары, а в X-XII веках - опять византийцы. В XIII веке Судакской крепость становится центром венецианской колонии, но постепенно генуэзцы вытеснили своих соперников из Крыма и в 1365 году, захватив Судак, постепенно освоили весь южный берег, а крепость в Судаке стала их военной базой.
В период с 1371 по 1469 годы генуэзцы создали совершенную фортификационную систему Солдайе (итальянская название Судака), которая и сохранилась до нашего времени. Крепость соорудили в лучших традициях средневековой Европы с концентрической оборонной системой (как замки Англии: Каерфилли, Бомарис). Генуэзская крепость была хорошо укреплена и практически неприступна: с востока и юга она примыкала к крутому обрыву, с запада - труднодоступна, с северо-востока подход преграждал глубокий ров.
Крепость окружена внешней цепью защитных стен, между которыми располагался город. Нижний ярус представляет собой наружную массивную стену высотой 6-8 метров и толщиной 1,5 - 2 метра. Верхний ярус - замок с башнями, соединенных стеной. За пределами крепостных стен расположена еще одна башня - Фредерико Астагверра (Портовая). Во времена генуэзцев она соединялась стеной с угловой башней крепости и с башней, стоявшей на горе Палван-Оба. Эта оборонительная линия защищала территорию старого порта Солдайи.