舊上海市立醫院位于長海醫院21號樓,是"大上海計劃"建筑之一.1934年動工建筑.由董大酉設計.陸根記營造廠承造。原本規劃的舊上海市立醫院是以這幢主樓為中心.以扇形建造8棟同樣大小的樓房.但是現在好像只有這幢主樓了.不清楚另外7幢樓是已經被拆除還是當時根本就沒來得及建造.只是圖紙上的設計.現為第二軍醫大學附屬長海醫院使用。
舊市立醫院外立面為淺灰色并飾有花紋.建筑為三層鋼筋混凝土結構建筑,1956年按原建筑風格加蓋一層為四層,.建筑面積4676平方米.采用鋼筋混凝土結構.首任院長由國立同濟大學校長翁之龍兼任.
抗戰爆發后.市立醫院被日軍改為陸軍醫院.勝利后由國民黨軍隊接管為陸軍聯勤總醫院,解放后也同樣是軍醫大學。