A 13. század végén a Csák nemzetség több kővárat is emeltetett birtokai védelmére, közéjük tartozott a jelenlegi vár helyén létesített korai erődítmény is. Bár az anarchikus belháború során Károly Róbertet támogatták a trónért folytatott harcában, az uralkodó mégis félt a hatalmát veszélyeztető újabb főúri birtokkoncentrációtól, ezért 1326-ban más földekért cserébe megszerezte Gesztest.

A vár első említése 1332-ből maradt fenn. Korabeli adatok szerint 1342 körül Nagy Lajos király utasítására teljesen lebontották a Csák nemzetség várát, hogy helyébe egy kényelmesebb lakhatást biztosító vadászkastélyt emeljenek, amely a továbbiakban, a vadakban bővelkedő vértesi vadászterületet sűrűn felkereső uralkodó rezidenciájául szolgált. 1410 körül Luxemburgi Zsigmond király elzálogosította más váruradalmakkal együtt Hohenzollern Frigyes brandenburgi őrgrófnak, később a Rozgonyi család, majd az Újlakiak tulajdonába került át.

A 16. században már a török hódítók fenyegették a Dunántúl középső részét is, amelynek természetes átjáróit a hadászati fontosságú Bécs városa felé zárta le a kicsiny vértesi királyi végvárak sora. 1529-ben még sikerrel verte vissza egy martalóc lovasportya rohamát az őrsége, de 1543-ben már a vár feladására kényszerültek. Rövid idő műlva a magyarok visszafoglalták, de 1558-ban ismét török kézre jutott. Egy 1577-es zsoldlista szerint helyőrségét 134 gyalogos katona látta el (nagyrészt a törökök szolgálatába szegődött délvidéki szerbek). Utolsó katonai akcióként, az 1683 őszén Bécs városa alatti katasztrofális török vereség hatására, kardcsapás nélkül kiürítették az Oszmán Birodalom katonái.

Gazdátlan védőműveit és épületeit a lakosság kezdte lebontani, sőt gróf Esterházy József földesúr engedélyével köveiből készítették el a majki kamalduli rendház épületegyüttesét is. 1795-ben a várat már romként említették. 1877-ben Rómer Flóris - a magyar műemlékvédelem atyja - felmérési rajzokat készített romjairól, majd 1942-ben Lux Géza és Csányi Károly kutatta a várat. 1932-ben a Munka Turista Egylet turistaházat épített a vár délnyugati részén.

Az állagmegóvásra csak az 1960-as években került sor. A belső vár épülettömbjében turistaszálló és vendéglő üzemelt, míg a külső vár falai szinte az alapokig lepusztultak. Az épület 1996-ig állami tulajdonban volt, ezt követően megyei önkormányzati tulajdonba került, ahonnan 2012. január elsején az önkormányzat ismét állami tulajdonba adta, a vagyonkezelője a megyei Ingatlankezelő Központ volt. 2013. október 31-től a vagyonkezelő a Szociális és Gyermekvédelmi Főigazgatóság Komárom-Esztergom Megyei Kirendeltsége. A turistaszálló és vendéglő 2013. november 1-jén bezárt[1], mivel a vár állaga az állami támogatás teljes hiánya folytán életveszélyessé vált, azóta a vár nem látogatható. Az életveszélyes részek kárenyhítési munkálatait 2014. tavaszán tervezték elkezdeni.