Замок Хельторф (нем.Schloss Heltorf) находится в северной части города в районе Ангермунд. Замок окружен рвом. Первое документальное упоминание о замке относится к 1189 году. В этом документе говорится о том, что благородный господин Арнольд фон Теферен закладывает свои вассальные владения на правом берегу Рейна за 100 марок графу Энгельберту фон Бергу.
В 1360 году замок был выкуплен семьей фон Тройсдорф и оставался в их владении в течение последующих 5-6 поколений, пока не перешел к семье фон Шпее в качестве наследства Марии фон Тройсдорф. Замок Хельторф находится во владении семьи фон Шпее и по сей день.
В течение 1800-1810 годов по обе стороны замка были пристроены два флигеля, а поскольку сам старый замок к тому моменту находился под угрозой обрушения, он был снесен в 1822 году и перестроен в классическом стиле архитектором Генрихом Теодором Фрейзе.
Внутри замка интерес представляют фрески из цикла Барбаросса, расположенные в садовом павильоне, в том числе работы Карла Штюрмера «Примирение короля Фридриха и папы римского в Венеции» (1826) и орнамент над дверью.
В библиотеке замка хранятся тысячи старинных книг. Для этой огромной библиотеки семейство фон Шпее в 1862 году специально построило псевдоготическую башню. Этот необычный проект разработал архитектор Финкенц Штац, он же достроил и Кельнский собор.
В конце 18 столетия вокруг замка был разбит английский парк площадью 54 гектара по проекту паркового дизайнера Максимилиана Вайе. Господский дом был отстроен заново в классическом стиле в начале 19 века.