築城時期は異説はあるが、享禄三(1530)年、鎌倉以来この地を治めてきた赤井氏の当主、照光により築城を開始され、翌年移り住んだという。
永禄五(1562)年、上杉謙信の関東出陣に際して城主赤井氏は戦うことなく降伏開城し、武蔵忍城に落ちた。謙信支配時は足利城の足利長尾氏が城主を勤め、謙信の関東出陣の際には厩橋（前橋）城と並ぶ駐屯地となった。
足利長尾氏の長尾景長は永禄十二（1569）年に死去、太田金山城の由良氏より養子を迎え顕長と称した。顕長は謙信に属したが、謙信死後は北条氏、武田氏などにたびたび攻められた。天正十三（1585）年に北条氏の謀略で顕長とその兄で太田金山城主・由良国繁が小田原城に監禁され、館林城・金山城・足利城は北条氏政・氏直は武蔵鉢形城の北条氏邦を総大将に、忍城・岩槻城などの軍勢2万に攻められる（金山合戦）。金山城の由良国繁は北条氏に帰服したが、顕長は和議に応ぜず抗戦、天正十六（1588）年に岩井山城に撤退した。
天正十八（1590）年の小田原の役では北条氏規の城代・南条因幡守が守っていたが、石田三成、大谷吉継らの軍勢に囲まれ、和議開城した。徳川時代は榊原康政に与えられ、その後は城主は目まぐるしく変わり、秋元氏の時代に廃藩置県を迎え廃城となった。明治七（1874）年の大火で延焼し、残っていた建物などは灰燼となった。寛文元(1661）年から延宝八(1680)年までは、のちに第五代将軍となる徳川綱吉が在城していたこともある。
