Первое упоминание крепости под именем Schwanstein относится к XII веку. Этот замок-крепость был построен рыцарями Швангау. Один из первых рыцарей с этой фамилией, Хитпольд фон Швангау, вошёл в летопись как известный миннезингер и был увековечен в «Гейдельбергском песеннике». В XVI веке род рыцарей Швангау закончился и крепость постепенно стала приходить в упадок. Во время войны с Наполеоном, в 1800 и 1809 годах, она была сильно повреждена. Будущий король Максимилиан II купил землю и крепость на ней из-за прекрасного ландшафта, и с 1832 по 1836 год замок был отреставрирован. Над восстановлением залов работали известные мастера романтического периода - Moritz Ludwig von Schwind и Domenico Quaglio. Moritz Ludwig von Schwind создал проект росписи внутренних помещений, повествующей о последних эпизодах жизни Карла Великого. По проектам Domenico Quaglio к 1837 году руины Schloss Hohenschwangau превратились в живописный замок в неоготическом стиле. Король Людвиг II провёл в этом замке большую часть жизни, где проводил приёмы в честь композитора Рихарда Вагнера, который, кстати, никогда не бывал в замках Нойшванштайн и Херренкимзее. Мать короля, Мария Баварская, после смерти сына прожила в замке около трёх лет до 1889 года.