今川館が平時の居館であるの対し、賤機山城は戦時の詰めの城である。駿府周辺の城砦群の中では、最も早く築かれたと思われ、南北朝期の狩野貞長が拠った安倍城が真正面に見えることから、初代今川範国の時代に、安倍城監視のための砦を築き、今川時代の最後まで最も重視していた城である。浅間神社の背後から、尾根伝いに歩いていくと、深さ8m、幅5～8m、長さ10mの大きな空堀にぶつかる。中世の山城は、尾根続きの山上を使い、守りやすいように複数の曲輪を配置し、一番外れに大空堀を設け、尾根を遮断する。武田軍の駿府侵攻で、今川氏真は賤機山城に籠る作戦であったが、すでに武田軍が陣を張っており、氏真は建穂寺、富厚里、山家（川根街道か？）を経て朝比奈備中守泰朝が守る掛川城を目指した。
静岡平野に横たわる、東西2㎞の谷津山の東端に位置し、北麓に北街道、南麓に東海道が通り、駿府東域を抑える要衝地にあった。沓谷には今川義忠の重臣・朝比奈妙光が地頭職を安堵されたが、愛宕山城との関係は不明。
愛宕山西麓の龍雲寺（寿桂尼墓所）から愛宕神社の建つ本曲輪への参道が付けられている。城の縄張りは、南半域が今川期、北半域の4つの大型堀切は清水方面からの北街道を重視したもので、永禄12年（1569）以降の武田氏か、徳川氏による改修と考えられる。徳川家康は天正13年（1585）、五か国大名として、拠点を浜松城から駿府城に移した。その際、駿府城の鬼門除けとして、武将の信仰が厚い、勝軍地蔵を祀る京の愛宕神社を、本曲輪に勧請したと伝わっている。
文明8年（1476）今川義忠は横地・勝間田氏ら遠江在住幕府（東幕府）奉公衆らと塩買坂で戦い討ち死にした。
嫡男の龍王丸（氏親）は6歳。「6歳の子供では心もとない」と一族の小鹿範満を推す派が現れ、範満の母が上杉政憲の娘という関係から、政憲は狐ヶ崎、太田道灌は八幡山に陣を張った。これに龍王丸の母・北川殿の弟・伊勢新九郎盛時（北条早雲）も加わり、「龍王丸が成人するまでの間、小鹿範満に家督を代行してもらおう」という折衷案で両派に和議が成立。盛時は八幡山城を居城とし、範満を監視していたが、政情が安定すると上洛。ところが、龍王丸が成人しても範満は家督を戻さないため、盛時は駿府に戻り、長享元年（1487）駿府今川館を奇襲攻撃し、範満を自害に追い込んだ。
丸子城は北東の泉ヶ谷に今川氏の重臣の一人・斎藤氏の屋敷があり、眼下に東海道をのぞみ、今川館（駿府城）を真正面に見通せる位置にあり、斎藤氏の詰めの城としてあったものを、今川氏親の時代に、今川館守備の砦として手を入れたものと考えられる。しかし、現在の私たちが目にする丸子城の遺構のほとんどは、その後入った武田氏の手によるもので、北曲輪・二の曲輪・西側下の大規模な横堀形式と、大鑪曲輪の丸馬出の縄張りは、武田流極意の築城法。永禄11年（1568）今川氏真を逐った武田信玄が、絶好の地にある城であることに目を付け大掛かりな修築をしたと思われる。天正10年（1582）、武田氏滅亡時城兵は逃亡し、そのあと、徳川が改修した可能性が近年指摘されている。家康の関東移封に伴い城は使用されることはなくなったが、当時の城の遺構が非常に保存状態良く残されている。
駿河支配に乗り出した武田信玄は、旧今川水軍を接収し、味方につけるとともに、伊勢・志摩の水軍の将・小浜民部左衛門尉景隆、向井伊賀守正重らを迎えた。そして駿河・遠江支配の中心的拠点を、駿府ではなく、江尻城に置いた。江尻城は、巴川が蛇行する河岸微高地をうまく利用しており、駿河湾に近く、海を抑えるための城であった。天正3年（1575）城代が重臣の穴山信君（出家して梅雪）に代わると、本丸、二ノ丸、三の丸という大規模な城に改造し、徳川軍の来襲に備えた。武田氏滅亡の直前、信長に降伏、慶長5年（1600）廃城となった。
巴川河口部に突出した扇形の埋め立て地に築いた水軍の城・清水袋城は、美濃輪町という町名に、縄張り名人・馬場美濃守信房の名残が見られる。
久能山には平安時代以来の古刹・補陀落山久能寺があったが武田信玄は久能山の要害性に目を付け、久能寺を有度山東麓の村松に強制移転させ、寺地の坊院などを城として再利用した。久能城を築いた狙いは、駿河湾の掌握にあり、永禄12年（1569）に築城が開始された。久能城の一番高いところには現在、愛宕神社の小さな建物が建っているが、おそらく物見曲輪があったところで、駿河湾全体が一望のもとに見渡せる。久能城の麓、海に面したところには船溜まりがあったと思われる。武田氏滅亡後は駿府城の支城として徳川氏や豊臣氏の家臣が在番。
家康は亡くなる直前「遺骸は久能山に埋葬すること」を遺命として家臣に託し、久能山東照宮が造営された。
今川氏の時代には、駿府を守る支城のひとつに位置付けられていたが、武田氏の駿河侵攻によって、新たな役割が負わされた。古い絵図を見ると、駿河湾の一部が入江となって用宗城のすぐ麓まできており、現在のJR用宗駅あたりが船溜まりであったことがうかがわれる。武田水軍の拠点の城として向井伊賀守正重が守っていたが、天正7年（1579）に徳川軍の攻撃で落城。武田勝頼は城を奪還したが、天正10年（1582）の徳川軍の攻撃で城主・朝比奈駿河守信置は城を開き、久能城へ退いた。武田氏滅亡後、徳川家康は城を手に入れ持船と称し、武田水軍は徳川水軍に継承され、同城を任された向井氏は、江戸時代に入っても幕府の船手となって優遇された。