中行上海分行1912年开业，在上海汉口路50号大清银行旧址办公营业。第一次世界大战结束后，中行向政府购进接收的外滩德国总会会址，于1923年2月从汉口路迁入黄浦滩仁记路22号，从此中国银行在外商银行云集的外滩有了一席之地。

1928年中行总管理处由北京南迁上海，与上海分行同在汉口路办公，当时中行业务不断发展，此处房屋便渐渐不敷使用，加之年久失修，急需翻造。于是1930年中行买进仁记路和圆明园路地皮，并从1930起，上海分行开始在每年盈余下提取50万元作为建造行屋基金。

促使中行领导人决定在外滩租界内建造大厦的主要原因，据张嘉璈自述：“中国银行饱经风浪，未见动摇，内部组织既已革新，银行实力足与驻在上海的欧美银行相抗衡，必须有一新式建筑，方足象征中国银行之现代化，表示基础巩固，信孚中外。”

1934年4月中行董事会决定建造一座18层大厦，以供总处和上海分行办公与营业使用，预算基建费用600万元。当时附近建筑英商沙逊大厦是外滩第一高楼，英方不愿中行大厦的高度超过它，于是多次阻挠。中行大厦图样几经变更，最后决定建15层，屋顶至底层高227英尺，大门高25英尺，占地面积55000平方英尺。1936年10月10日中行董事长宋子文主持了大厦的奠基典礼。

时任中国银行董事长宋子文用英文签名的新厦奠基纪念证

1937年大厦主体工程大致完工。大楼前面的高塔中的二、三、四层是董事会和总经理的办公室；底层营业大厅，两边是黑色大理石柜台，柜台呈“中”字型，柜台里面竖着八根粗大的大理石柱子，柱子顶端雕饰“八仙过海”。大厅东西两端上面是两幅巨大的油画，画着孔子和孙中山等伟人像和渔樵耕读图，配以花格子门和宫灯，典雅古朴，尽现东方文明色彩。大楼的保管库面积约500平方米，有大小保管箱10084只，保管箱和库门均用不锈钢制成，圆形库门重达10吨，厚85公分，防火、放水、防盗警报，设备齐全，是当时远东第一，直到新中国成立时，上海也只有这一座精密、完整的库房。
上海中国银行大厦

在上海租界里，高层洋楼林立，由中国银行自己出资，中国工人自己建造的中国银行大厦在外滩屹立起来，改变了“洋人世界”的局面，体现了中国银行势与外商银行一争高低的决心和信心。