Festetics Antal, a dégi uradalom birtokosa, 1802-ben, az ekkor még pályája elején álló Pollack Mihályt bízta meg új kastélyának kiépítésével, illetve feltehetőleg a település katolikus templomának tervezésével is. Festetics olyannyira megbízott a fiatal építészben, hogy a feltételezések szerint vele terveztette meg városi villáját, a Füvészkertben álló Festetics-villát is, majd később, a század 20-as éveiben Pollackra bízta pesti palotájának megépítését is.
A dégi kastély, amelynek parkra néző portikuszos homlokzatát a Nemzeti Múzeum előképeként szokták emlegetni, 1812-körül készült el. A korabeli leírások szerint fényűző és modern berendezésű, változatos díszítőfestéssel ellátott klasszicista kastély enteriőrjei a második világháború pusztításai következtében tejesen megsemmisültek. Az egykori klasszicista díszítőfestés töredékei az emeleti helyiségekben már korábban is ismertek voltak, nemrég azonban az épület földszinti enfilade-os helyiségsorában is előkerültek.
A 19. század elején, a kastély építésével párhuzamosan épült ki a látványos tájképi park, illetve a ma is álló melléképületek nagy része, úgy, mint a kiskastély, amelynek földszintjén istállók, emeletén a cselédség, majd később vendégek szobái voltak, továbbá a kocsiszínek, illetve a park és a település határán húzódó, dél felé egykor látványos üvegfallal megnyíló, romosan is impozáns narancsház, amelynek két korszakból származó, máig meglévő fűtésrendszerét kollégáink tárták fel.
Az épületegyüttes képén a későbbi tulajdonosok nem sokat változtattak. A 19. század végén Festetics Pál leglátványosabb beruházása a Szerpentin-tó szigetén álló Hollandi-ház megépítése volt. A „szigeti-ház” földszintes részében tehénistálló, az emeletes tömbben pedig szalon volt. A falusias jellegű épület a legenda szerint egy tüdőbeteg családtag számára épült, mivel az ammóniadús levegő belélegzését a korban gyógyító hatásúnak vélték. A Hollandi-ház e mellett egy speciális épülettípus jellegzetes példánya, arisztokrata körökben népszerű időtöltés volt ugyanis a romantikusnak hitt vidéki élet megidézése. Ennek az épülettípusnak leghíresebb példája a Marie Antoinette számára a versailles-i kastélyparkban kialakított falu együttese, a dégi Hollandi-ház ennek az épülettípusnak egy kései reprezentánsa. Berendezése sajnálatos módon teljesen megsemmisült, a 20. század elején felvett leltár arról árulkodik, hogy a kis épület egykor delfti porcelánokkal, németalföldi festményekkel és Hollandiából származó tárgyakkal volt tele.
A kastély utolsó ura, gróf Festetics Sándor az 1920-as években modernizáltatta a kastélyegyüttest, ekkor az enteriőrök nagyészt megújultak, a helyiségeket újradekorálták. A ma is meglévő vörösmárvány terazzo burkolatok, kandallók, a sasos stukkódíszek a korszak, illetve az utolsó tulajdonos esztétikáját tükrözik, a kastély homlokzatain a nap motívumok pedig az ősök szabadkőműves-múltjára tett utalásként értelmezhetőek. Festetics Sándor, felmenőivel ellentétben ugyan már nem volt semmilyen szabadkőműves társaság tagja, de a dédapja, Festetics Antal által megmentett, a Monarchia szabadkőműves társaságaira vonatkozó iratokat továbbra is hűen őrizte a kiskastélyban kialakított levéltárban.
A kastélyegyüttest a háború nem kímélte, a bútorok, az enteriőrök megsemmisültek, az egykor tekintélyes könyvtár részben szétszóródott, részben elégett, töredékét sikerült azonban azonosítani, köztük igen értékes, 16-17. századi könyveket is.
Az épület falai között a második világháború után eleinte görög gyermekek menekültotthona, majd bentlakásos gyermekotthon működött. Az épületegyüttes jelenleg felújítás alatt áll, amelyet a Nemzeti Örökségvédelmi Nonprofit Kft. koordinál. A MÉM MDK Kutatási Osztályának munkatársai a kutatásban vesznek részt, a fotókat pedig intézményünk Digitalizációs Osztályának munkatársai készítették.