Le château de Sorgenfri a été construit en 1705-1706 par l’architecte François Dieussart pour le comte Carl Ahlefeldt. En 1730 le château devint la propriété de la famille royale, et le prince héritier Frederik (Frederik V) demanda à l’architecte de la Cour, Lauritz Thrah, de construire une aile pour les gentilshommes de la Cour ainsi que des écuries.
Quand Frederik V devint roi il donna le château à sa tante la Grande-duchesse Sophie Caroline de Ost-Friesland. Elle demanda à Lauritz Thurah de remplacer le bâtiment central par un nouveau bâtiment, ce qui fut fait en 1756-1757. En 1791-94 le futur roi Frederik VI modernisa de nouveau le château.