Nagy Lajos király 1367-ben adott engedélyt kedvelt udvari emberének, Himfy Benedek pozsonyi ispánnak, hogy kővárat emeltethessen a döbröntei uradalmának területén. A XV. század elejére a nemesi család politikai befolyása lehanyatlott, így a környékbeli földesurak egyre nagyobb területeket ragadtak el tőlük, sőt 1401-ben az a csúfos eset is megtörtént, hogy a Rátóti Gyulaffyak fegyvereseikkel megtámadták és kifosztották az erősséget is. Mivel birtokaik bevétele erősen lecsökkent, maga a Himfy família is a rablólovagok szintjére süllyedt. Leghírhedtebb rablásuk során 1464-ben a családtagok fegyveres szolgáikkal megrohanták és kirabolták a Szent Márton-hegyi (Pannonhalma) apátságot is, jelentős értékű kegytárgytól fosztva meg a szerzeteseket. Ezt már Hunyadi Mátyás király sem tűrhette, a Himfy család birtokait elkoboztatta és Kanizsai László bárónak adományozta.

Rövidesen visszakerült a garázda Himfyek tulajdonába, akik most a családon belül perelték egymást. Így értesülünk egy 1469-es feljegyzésből, hogy az erősségből éppen kiszorult Lőrinc úr embereivel megtámadta és kifosztotta Döbröntét. 1499-ben Himfy Imre feleségül adta Orsolya nevű leányát Essegvári Ferenchez, aki egyúttal zálogba vette a döbröntei várbirtokot is. A törökkel vívott 1526-os mohácsi csata utáni belháborús időszakban urai igyekeztek megerődíteni, ekkoriban emelték a hatalmas, vastag falú rondellát, aminek lőréseiből pusztító ágyútűz alá vehették a rohamozó ellenséget. 1547-ben még a pozsonyi országgyűlés öt lovas katonát fogadott fel a kicsiny helyőrség létszámának növelésére, de továbbra sem számították a jelentősebb véghelyek közé. Nádasdy Tamás nádorispán 1555-ös jelentésében még épségben említette Döbröntét, pusztulását valószínűleg egy török portyázó csapat okozhatta, később a gazdátlan romok köveit a környékbeli lakosság elhordta. Döbrönte várromjának falait a XXI. század elején részben restaurálták, de még sok részletét a föld mélye rejti.