1884年8月的中法马江海战，是中国近代海军组建以来对外第一仗，却以福建水师几乎全军覆没惨告结束。
海军的惨败，才使清政府开始重视海军建设。此前，海军发展很不理想，除北洋海军外，其余南洋、福建、广东三支水师发展极其缓慢。更重要现在看来更难理解的是，全国竟然没有一个统一的海军指挥机关，各支水师皆由当地督抚管辖，本就很难协同作战，而各督抚更将水师看做是自己的私产，更难调遣。简单说，朝廷仍是用管理传统水师方法管理近代海军，根本未意识到近代海军装备技术相当复杂，必须高度统一、系统管理，远非当年水师可比。
    对此种状况的危害，李鸿章十分清楚。所以在1884年2月末，即中法马江海战半年前，他就曾向朝廷建议总理衙门设“海部”统管全国海军。然而，李鸿章的这一急迫的建议并未得到朝廷赞同。直到半年后中国海军马江惨败，朝廷这才开始再次“筹议”海防，李鸿章当然不会放过这一机会，上了长长的《设立海军衙门折》，充分展开、论述了建立全国性“海军衙门”的理由。在这个奏折中，李鸿章并不就事论事，而是详细、全面回顾了近十年来近代海军建设的艰难历程，提出了海军事业的发展蓝图。他把这些年自己的想法与苦水一倾而出，字里行间隐现出对朝廷对海军事业重视不够的不满和对今后能得到朝廷的支持的期盼。
    收到李鸿章的奏折，朝廷认为所言甚有道理，便要他来京，与中枢各位大臣一同商议其事。9月30日，朝廷谕令军机大臣、总理衙门王大臣，会同李鸿章妥议海防事宜，醇亲王奕  也一并与议。最后由总理衙门复奏，提出设立海部或海防衙门，由特派王大臣综理其事，考虑到可供海战之船不多，暂时先从北洋已有船只精练海军一支，等到以后再考虑其他舰队。10月12日，慈禧太后发布懿旨，同意成立“总理海军事务衙门”（简称“海军衙门”），由醇亲王奕  为总理，庆郡王奕诳、李鸿章为会办，曾纪泽为帮办。