A műemlékjellegű, egykori barokk, majd az évszázadok során többször átépített és megtoldott kastély községünk büszkesége. Névadója Holitscher Károly, az épület utolsó tulajdonosa, egykori országgyűlési képviselő, bankelnök, nagybirtokos. Az épület építési idejét nem ismerjük, de 1747- 49. között már említik, mint Eszterházy Imre tulajdonát, rá utalnak az épületben talált C I E monogramos téglák. Ekkor már biztosan létezik a boltíves pince és az épületnek a pincével megegyező alapterületű része. A kastély felújítása során azonban találtak még Esterházy János gróf által -1692. előtt- vettetett téglákat is. A kastély természetesen ritkán szolgált állandó lakásául az általában Bécsben és Pozsonyban tartózkodó Eszterházy grófoknak. Alkalmanként szállhattak meg az épületben, nyaralónak, vadászháznak használva azt. Az oszlopi kastély megépülte után, az 1780-as évek végén már valószínű, hogy egy rövidebb ideig nem is lakták.