1231-ben Csák Miklós, Ugrin esztergomi érsek testvére végrendeletében már említi ezt a várat, amit akkor Wdvorhelnek hívtak. Wdvorhel (Udvarhely) a Csákoktól királyi kézre kerülése után változott lassan Gerencsérré, mikor a várnép közé talán göröncsérek is idetelepültek.

Két vagy három emeletes lehetett, hossza 13 m, szélessége 8,7 m volt. Várként említik, de valójában a főúri lakótornyok egyik jeles példája. A kőből épült, nagyméretü, vastag falú torony a várúr és családja menedékéül szolgált. Katonaság is szolgált az épületben, melynek falába emeletenként külön-külön lezárható lépcsőt építettek. Két évszázadon keresztül volt királyi vadászterület. I. Lajos kedvelt vadászháza, melynek vonzerejét fokozta a halban gazdag Szépvíz-ér és Fekete-víz patak.

1330-ban nevét már Gerencher alakban írják az oklevelekben. Ekkor részben királyi lovászok, részben Csák nembeli Györke fia Pál királyi apród (aule iuvenis) birtoka volt.

1366. december 6-án Ludovicus Magnus a török ellen indítandó hadjáratról itt, tárgyalt a Velencei Köztársaság követeivel.

1440-ben a magyar Szent Korona viszontagságos történetének egy mozzanata a várhoz fűződik. Zsigmond utódja, Albert király alig 1,5 éves uralkodása után 1439. október 17-én meghalt. A magyar rendek 1440 elején III. Ulászló lengyel királyt hívták meg a trónra. A korona őrzési helyén, Visegrádon tartózkodó özvegy Luxemburgi Erzsébet magyar királyné azonban ekkor már a közelmúltban elhunyt Albert gyermekének megszülése előtt állt és a trónt gyermekének akarta biztosítani. A királyné bizalmasát Kottaner Jánosnét megbízta a korona ellopásával. A komorna csellel kicsempészte a koronát, és Erzsébet királynéval Komáromba távozott, ahol 1440. február 22-én megszületett a későbbi V. László magyar király. Komáromból elindulva az első éjszakát Tatán töltötték, majd Gerencsérre érkeztek. Kottanerné későbbi visszaemlékezésében kiemelte hogy itt a szép vadászlakban nagyon rideg szállásuk volt, ennivalót is keveset találtak.

A török hódoltság alatt még falu is tartozik a várhoz. Mára azonban a faluból nem maradt semmi, csupán az egykori vár erősen omladozó romjai láthatók.