多分相当にマイナーな存在であろう、神余氏の居城です。居城、といっても、要害には程遠い小丘陵の一角、ほぼ単郭といっていい縄張りの城で、まあ館というか砦に毛が生えた程度のものです。場所的には館山平野と白浜を結ぶ街道上に突き出た丘陵の突端にありますので、まあ戦略的には理にかなっています。ちなみに京都在番役として上杉謙信に仕えていた神余親綱をはじめとした越後神余氏は同族とみられます。系図などはわかりませんが、越後も安房も、上杉氏、長尾氏の影響下にあった土地ですので、何らかの繋がりがあるだろうというところは納得できます。
里見氏に関する軍記物では、里見義実が入部前の安房にはこの神余氏のほか、安西・丸・東条の計四氏が分立していたとのことで、その中でも真っ先に家臣の「下剋上」によって滅んだのがこの神余氏だとのことであります。神余氏は山下氏の謀叛により殺され、その山下氏は当時安西氏の庇護下にいた里見義実と、丸氏らに攻め殺されたといわれます。さらにその神余氏旧領の分配をめぐって安西・丸氏が争うと、義実は丸氏を滅ぼし、やがて安房最大勢力で義実の庇護者でもあった安西氏との主従も逆転し、東条氏をも攻め滅ぼして瞬く間に安房統一を成し遂げた、といわれています。つまり、軍記物の記述の上では、この神余城での政変劇と、それに続く山下氏討伐が里見氏の安房統一の第一歩だったことになります。この辺は軍記物の記述で、里見氏に都合のいいようにしか書かれていないので信用するには難がありますが、他に史料もなく掴みようがないので、まあよしとしましょう。
遺構は前述の通り、ほぼ単郭といっていい曲輪と、その曲輪を囲う土塁、小規模な堀切が一条、という小さなものです。丘陵の周囲は墓地になっていて、もしかしたらこの墓地がかつての腰曲輪や帯曲輪にあたるのかもしれません。その墓地から主郭へ到達する細い道の入り口には、古い石仏や石塔があり、神余氏のものだとも言われているらしいですが、中世まで遡るようには見えませんでした。注目できるのは、この土塁には石積みが見られることで、その技法も里見氏が用いたものとはやや異なり、房総半島ではあまり類を見ない、土塁の裏込めを補強するような構造になっていることです。なお、その土塁の一角には風呂のような、あるいは砲台のような石組みも見られ、「もしかして大戦中の高射砲台か？」と思いましたが、正体は「炭窯」でした。無論、当時の神余氏が大切な居館のそばの主郭で炭を焼くわけがなく、後世のものでしょう。
