Za husitských válek získal šelmberské panství Albera z Těchobuze. Ten nechal roku 1431 panství přepsat na Mikuláše z Hořic, který na hradě vládnul se svým synem Mikulášem mladším z Hořic do roku 1473. Roku 1505 je jako vlastník panství uváděn Václav Předbor z Radejšína se svými bratry. Před rokem 1518 od nich koupil hrad s příslušenstvím Albrecht Cipl z Kravska.
Roku 1542 Albrecht zemřel a majetek zdědila jeho dcera Kateřina, která se provdala za Petra Mrackého z Dubé. Po jejich smrti se stal dědicem panství Karel Mracký z Dubé. V roce 1586 prodal šelmberské panství Michalu Španovskému z Lisova a na Pacově, nejvyššímu písaři království českého, který mimo jiné Mladé Vožici potvrdil mnoho městských výsad. Za jeho vlády byl sjednocen renesanční palác na Šelmberku na jeden celek. Roku 1603 prodal jeho syn Jáchym mladovožické panství se Šelmberkem Janu Bernardu Funfkirchenovi, kterému však bylo jako evangelíkovi roku 1620 zabaveno.
Podle kresby z počátku 17.století od Jana Willenberka je patrné, že horní hrad byl již zříceninou a na dolním hradě je krásně patrný dvoupatrový palác se sedlovou střechou.
Od této doby Šelmberk pravděpodobně chátrá až do roku 1678. Panství kupuje říšský hrabě František Ferdinand z Khuenburgu. Jeho rod držel hrad až do roku 1940.
Leopold Kuenburk (1741 – 1812) nechal za své vlády provést romantické úpravy. Berkfritová věž byla opatřena novým vchodem a dřevěným schodištěm. V nejvyšším poschodí nechal obnovit okrouhlou světnici s smi okny. Světnice byla ybavena sedacím nábytkem. Střecha věže nízkého jehlancového typu byla opatřená vikýři, později bylo po obvodu věže vystavěno 16 ozubů v romantickém stylu. Kolem hradu nechal hrabě Leopold zřídit velkou oboru a na bývalém předhradí jižně od hradu vybudoval klasicistní zámeček, později lesní úřad panství vožického.
V roce 1940 zřícenina hradu připadla městu Mladé Vožici.
V popisu Šelmberka od Františka Alexandra Hebera (1818 – 1849) nalézáme zmínku o dřevěném oplaňkování panské obory a upravených písčitých cestičkách s lavičkami. Rovněž se zmiňuje o klíčích od věže, které se daly zapůjčit od vrchního lesního sídlícího v budově hájovny.
V roce 1943 v prostorách hradu probíhaly záchranné práce vedené vožickým rodákem E. K. Rosolem.
V roce 1968 došlo k požáru schodiště v bergfritové věži.