鎌倉時代末期に新田義貞が砦として整備したといわれるが、発掘調査や古文書での裏づけはない。新田氏の一族、岩松家純は関東管領上杉氏の与し、寛正二（1461）年、同族で古河公方足利成氏に与していた岩松持国を滅ぼし、二派に分流していた岩松氏の系統を統一し、文明元（1469）年、重臣の横瀬国繁に命じ、世良田長楽寺の僧、松陰軒西堂の縄張りで築城させた。岩松氏は上杉氏と古河公方への帰趨を巡って内紛が勃発し、明応四（1495）年、横瀬国繁・成繁父子はそれに付け入って実権を奪った（明応の乱）。その後、享禄元（1528）年に横瀬氏の横暴に対抗した岩松昌純は横瀬氏打倒を計画したが事前に漏れ、横瀬泰繁・横瀬（のち由良氏）成繁によって殺害され、金山城は名実ともに横瀬氏の支配下に入った（享禄の乱）。
独立領主化した。戦国期は関東管領上杉氏に従い北条氏と対峙したが、天文十五（1546）年の河越夜戦の敗北と、天文二十一（1552）年の平井城落城、上杉憲政の越後落去ののちは、一時期北条氏の傘下に入った。永禄三（1560）年に長尾景虎（上杉謙信）が関東に進出すると上杉氏に従った。横瀬成繁は永禄八（1565）年頃には「由良」と改姓した。この年、成繁は上野に侵攻した武田信玄、北条氏政らと戦い、翌永禄九（1566）年には上杉氏から離反し北条に奔った。永禄十一年（1568）の武田信玄による駿河侵攻で甲相駿三国同盟が崩れると、由良成繁は小田原城の北条氏康・氏政父子と越後春日山城の上杉謙信の間を取り持ち、相越和睦に尽力している。
北条氏康の死後、相越同盟が破棄されると、天正二（1574）年には五度に渡り上杉謙信の攻撃を受けたが、持ちこたえている。このころ、永禄十二（1569）年七月には由良成繁の三男・顕長が、足利長尾氏の養子に入り両崖山城、館林城の城主となり、天正元（1573）年三月には桐生城内の内紛につけ込んで、下野唐沢山城の佐野氏から桐生城に養子入りした佐野重綱を唐沢山城に追い、これを攻略するなど、両毛に勢力を拡げている。天正六（1578）年、成繁は隠居して桐生城に移り、国繁が跡を継いだ。
上杉謙信の死により御館の乱が勃発した際、上杉景勝に味方した武田勝頼は、景勝との盟約により東上野を領有し、由良氏と金山城は一時武田氏の配下に入ったが、天正十（1582）年の武田氏の滅亡により、厩橋城に入った織田氏武将の滝川一益の支配化に入った。しかし同年の本能寺の変で滝川一益も厩橋城を放棄し、その後は北条氏の北関東侵攻が本格化した。
天正十二（1584）年元日、唐沢山城の佐野宗綱が由良国繁・長尾顕長領を襲ったが、須花坂で狙撃され即死した（須花坂合戦）。その戦勝報告のため、重臣の久米伊賀守、横瀬勘九郎を小田原城に派遣した。北条氏政は奇計により、戦勝祝いと以後の軍法配立の相談をしたいと由良国繁・長尾顕長兄弟の小田原同行を求めた。ふたりが小田原城に到着するとまもなく、難癖をつけて幽閉、同行の一同を金山城に返された。金山城に残った横瀬勘九郎ら家臣は国繁・顕長の変換を要求したが、氏政は弟の北条氏邦・氏照ほか3500騎で金山城、館林城を包囲、同年、城下の金龍寺、足利長林寺住職らの仲介により和議が成立し、由良国繁は金山城を退去し桐生城に隠居し、金山城には北条氏直轄の清水太郎左衛門正次らが在番した（金山合戦）。天正十八（1590）年の小田原の役では国繁・顕長は小田原城に籠城、金山城へは前田利家らが攻撃を加え落城、廃城となった。なお由良氏は、国繁の母・妙印尼が秀吉本営に嫡孫貞繁、次男矢場繁勝、四男渡瀬繁詮を差し出した上で豊臣家に二心なきことを説得、改易を免れ、由良国繁は常陸牛久五千石、渡瀬繁詮は遠江横須賀城三万五千石に任じられた。
