築城者と築城時期は不明だが、秩父平氏の一族、葛西氏の城館といわれる。戦国期は関東管領上杉氏の属城として大石氏が勢力を持っていたとされる。康正二（1456）年の千葉氏の内紛では、大石石見守が千葉実胤をこの葛西城で保護した。
大永五（1525）年三月、小田原城の北条氏綱により攻略され、一時期扇谷上杉朝定軍に奪回されるが、天文七（1538）年二月に再度攻略、北条氏の下総方面への進出拠点の一つとなった。
天文七（1538）年九月、房総地方に勢を張る小弓公方・足利義明が房総諸氏を従えて関宿城攻略のため進発、太日川（江戸川、当時の利根川）沿いに北上し、下総国府台城に陣取った。事態を重く見た北条氏綱・氏康父子は十月六日江戸城を進発、葛西城には入らずに偽の旌旗を挙げさせて、北方の「猿俣」を抜けて松戸の渡しを渡河、松戸城に入った。翌七日、北条・小弓軍は国府台から相模台城周辺で激戦となり、足利義明は討ち死にし、小弓公方は滅亡した（第一次国府台合戦）。
永禄年間の初期には一時、里見氏に属する網代大炊充らが在城していたが、北条氏康の命で太田康資配下の本田氏らが葛西城を攻撃、永禄五（1562）年四月二十日に攻略した。しかし永禄六（1563）年、葛西城の守備にあたっていた太田康資が寝返りにより里見・岩槻太田側に走ったため、北条氏康が攻めて攻略、国府台に陣取る反北条軍と対峙し、永禄七（1564）年正月、天文七年以来ふたたび国府台で大合戦となり北条方が大勝、下総からの里見氏・太田氏の影響力を排除し、同時に越後から度々関東に出陣していた上杉謙信らを牽制することに成功する（第二次国府台合戦）。
天正十八（1590）年、秀吉の小田原征伐による徳川氏の江戸城入府で廃城。その後は「青戸御殿」が建てられ徳川三代将軍家光の頃まで鷹狩の宿舎として利用されたが、明暦三（1657）年頃、取り壊された。
