С Эгерским замком связана длинная и славная история. Именно он противостоял турецкому нашествию в 1552 г., во время осады Эгера. Первый городской замок был выстроен на холме неподалёку от Эгера, но его разрушили во время монгольского вторжения в 1241 г. Епископ Эгера перебрался в результате на скалистый холм близ города. На этом холме и был построен новый замок, который начал быстро расти. В 1470 г. здесь был построен, в частности, внушительный готический дворец.
В 1552 г. турецкая армия из 35—40 тыс. воинов атаковала замок, в котором находились всего 2100—2300 защитников. Тем не менее осада провалилась, и турки понесли тяжёлые потери. Из защитников выжили всего 1700 человек. После этого турки снова осадили замок в 1596 г., и на этот раз попытка увенчалась победой.
В 1701 г. австрияки взорвали половину замка Эгер.
Археологические раскопки на этом месте начались только в 1925 г., и после них замковые постройки использовались в качестве армейских бараков вплоть до 1957 г.
Сегодня на территории замка Эгер открыто несколько музеев. В частности, это Военный музей Добо Иштвана, где можно узнать подробнее об истории крепости. Музей «Эгри Кептар» — художественная галерея, где выставлены работы австрийских и нидерландских художников 16—17 вв. и полотна 19 в. кисти немецких и австрийских мастеров. В Музей «Казаматак» выделена особо система подземелий замка; паноптикум — Музей восковых фигур и тюремная экспозиция, где можно осмотреть страшноватые предметы, которые использовались в бытность замка тюрьмой для пыток и умерщвлений. Также в крепости работает выставка древних ваз и реконструкция монетного двора, где посетители могут попробовать свои силы в чеканке монет и получить сотворённое ими на руки, в качестве сувенира.
Одна из достопримечательностей замка — могила капитана Добо Иштвана, командующего гарнизоном во время той самой памятной осады. Рядом находится могила Геза Гардони, описавшего те события в своём романе.