在左宗棠率楚军屏蔽江南，在鄂、赣、浙一带与太平军作战时，第二次鸦片战争消息传来，圆明园付之一炬，咸丰皇帝被逼走承德，中国遭到了前所未有的耻辱和失败。左宗棠在征战行军途中，积愤忧心，常常辗转反侧，不得安眠。
堂堂中华，竟至一败如此吗？他恨透了那些只知当官拿银子，凡事都做不成的绿营官兵。当将官的莫不锦衣玉食，娼优歌舞，士兵则多抽鸦片，嫖赌成风，士气溺惰，军营糜烂。况且，那些落后的大刀长矛和土造大炮，怎抵得过洋人的洋枪洋炮？这几年，楚军和湘军用大批银子购置了一些洋枪洋炮，才在与太平军攻城掠地的战斗中略占上风。在攻打富阳时，不得不借助法国海军少尉德克碑训练的、用洋枪洋炮武装起来的常捷军，才得以拿下城池。没有德克碑的大炮把杭州城的城墙轰开一个约35英尺的关键性缺口，杭州城的收复更是无日可待。攻城时，那些洋炮都成了宝贝。西方史学家在研究清王朝在与太平军作战中获胜的原因时，认为其中之一是“西方的武器显然为叛乱的结束作出了贡献”。左宗棠一直认为，借师助剿不是一件妥事。由外国人带领中国军队很危险，弄不好就会造成喧宾夺主的后果。而且这些外国军官及其带领的中国士兵，所主要关心的是在攻占一座城镇后怎样疯狂地掳掠财物，残害百姓，官府也难以约束。左宗棠在给朝廷上奏折中表明了自己的态度：“惟是沿海各郡自五口既开之后，士民嗜利忘义，习尚日非。又自海上用兵以来，至今未睹战胜之利，于是妄自菲薄，争附洋人。其黠者且以通洋语、悉洋情猝致富贵，趋利如鹜，举国若狂。自洋将教练华兵之后，桀骛者多投入其中，挟洋人之势，横行乡井，官司莫敢诘治。近闻宁波提标兵丁之稍壮健者，且多弃伍籍而投洋将充勇丁，以图厚饷，此常胜一军所以转眼之间增至四千五百人也。若不稍加裁禁，予以限制，则客日强而主日弱，赀中士至艰之饷，而贻海疆积弱之忧，人心风俗，日就颓靡，终恐非计。”1864年，湘军拿下天京后，左宗棠就解散了常捷军。
此时，左宗堂才真正体会到他所最推崇的人物之一魏源所提出的“师夷长技以制夷”的深意。魏源是中国近代史上最早提出向西方学习口号的人之一。他提出，要学习西方的“船坚炮利”，以图“自强”。很可惜，他的呼声在当时的条件下没有得到多大的反响，也没有得到清廷的重视。
时隔几十年，魏源的话被历史的发展所证实。左宗棠到此才真正强烈地感到西方的挑战。法国人德克碑所率领的常捷军给左宗棠带来了关于西方的轮船和火药武器的感性知识，使左宗棠深切地感到：中国这一古老的帝国，闭国已久，自强已息；放眼海外，这个古老的大国已经没有强大可以依恃了。划自强之策，振中华雄风，就一直成了左宗棠朝思暮想，萦绕心头的一件大事。
左宗棠率楚军攻下杭州后，就把他的闽浙总督衙门府移到了杭州。战事稍松，他就聘请德克碑、日意格做助手，帮他试造小火轮。左宗棠曾经在长江边亲眼看到挂着英国国旗的轮船，傲首鸣笛，迎风破浪，箭一般地从下游驶往上游，将湘军水师的百条木船遥遥抛在身后，那一副耀武扬威的样子使他深受刺激。自造铁甲炮船、建立自己的海防一事就成了左宗棠的心中夙愿之一。
德克碑、日意格雇工匠仿造了3艘小火轮。在杭州西湖试航的那一天，请来左宗棠观看。只见小火轮呜呜鸣笛，不用船夫摇橹划桨，在平静的西湖水面上南来北往，鼓起的水浪拍打着湖岸，左宗棠心里十分高兴。美中不足的是，驶行不速，难以作战，还不能照此生产，于是暂时终止了这项计划。
1866年，左宗棠率部在闽、粤消灭太平军余部后，将闽浙总督衙门府移驻福州，造船计划再次提上议事日程。左宗棠让署藩司周开锡造出详细预算。经他概算，造船需选建船厂，一年需银60万两，以5年计，约需300万两才能见到第一艘船下水。所需银款之巨，实在惊人。左宗棠立即将兴办福州船政局的计划上书朝廷，奏请朝廷拨款。
一纸奏文到了京中，在满朝文武之中引发了买船、造船之争。上海《申报》的一篇报道，形象地描述了这场争论的来由和各自主张：“福建仪造大船，朝野舆论大起，誉之者：兴家爱国，匹夫有责；毁之者；忧其难于有成，议其縻费甚多。”
曾国藩的学生，靠自筹淮军、协佐曾国藩镇压太平天国起家，当时官至署两江总督的李鸿章，出于官场的派系斗争的考虑，请英国使节威妥玛和英军赫德上校出面游说慈禧太后，说轮船器械以购雇为方便。朝中的保守派也趁机借此事攻击左宗棠，坚决反对在福州建海军船坞，开办福州船政局。
左宗棠得知此事，怒从心起。自己动手造船，可以一兴百兴，发展国家的机器制造业，兴旺强盛可由此而来。花大价钱购雇洋人的船，自己始终不会制造，仍将受制于人。左宗棠深夜挥笔疾书，向朝廷陈述自己的意见：“纵横海上，彼有舰船，我尚无之，形无与格，势无与禁，将若之何？谓我之长不如外国，藉外国导其先，可也；谓我之长不如外国，让外国擅其能，不可也。天下事始有损者，终必有所益。轮船盛，则漕政兴，军政举，商民之困纾，海关之税旺，一时之赀，数世之利也。”
左宗棠的主张得到了朝廷中主张自强的两个主要倡导者恭亲王和文祥的支持，也得到京师一部分官员、包括御史和翰林的支持，终于得到朝廷的同意，得以实施。
左宗棠兴办的福州船政局，建在福州东南闽江口内的马尾港，因此又叫做“马尾船政局”、“马尾造船厂”。他聘法国人日意格为监督，雇洋人工匠，依照洋人的管理方法，制造舰船。这个厂后来成为清代最大的船舶修造厂，从1866年到1907年，共造大小船舰约40艘，同时，还制造了各种军备器械，像大炮、枪械等。
有了自己的船，就要有自己的人来操作驾驶，行船作战。有了先进的船炮，还需要大量掌握先进技术的军事人才。左宗棠事事当机立断，在筹办福州船政局的同时，开办了船政学堂。
船政学堂的招生广告在福州城里掀起了波澜，有100多名14岁以下的学生通过考试入了学堂，大多数是从没落的地方绅士家招收的。左宗棠在学堂建成伊始，把学堂命名为“求是堂”，后改为船政学堂。希望学生们经过5至7年的严格的训练之后，能够学会如何设计和监造轮船，并且希望那些向往着成为舰长、大副的年轻人能够掌握驾船航海、守卫海防的本领。
船政学堂借福州西湖荷花池旁边的一块绿茵茵的草地，举行了开学典礼。身为闽浙总督的左宗棠莅临庆典大会，作了慷慨激昂的训话，把国家自强的深切希望寄托在莘莘学子身上：
“年轻的中国人，恭贺船政学堂成立，恭贺你们成为中国的第一批海军。自强之道，以培育人才为本；求才之道，以设立学堂为先。希望你们努力学习，建好海军，保卫海疆！”
左宗棠创办的福州船政学堂，是我国最早的海军学校。第二年，左宗棠把船政学堂分为前学堂和后学堂。前学堂学习法文，学造船；后学堂学习英文，学驾驶；两个学堂都学习包括解析几何和微积分在内的数学课程和包括物理学、机械学在内的自然科学课程。
船政学堂的学生中人才济济，学堂的教学卓有成效。福州船政局和船政学堂的接任者沈葆揁在70年代上疏朝廷得以批准之后，把船政学堂最好的毕业生送到法国和英国去深造，以便使他们能够“循序而渐进”，窥西学的“精微之奥”。
船政学堂作为速成学校，为中国培养了第一代现代兵舰工程师、船舶工程师和船长，也使西方的资本主义思想通过这些学生更进一步地传入中国。在船政学堂前前后后的十几届毕业学生中，有中国近代最著名的资产阶级启蒙思想家、翻译家严复。他在船政学堂毕业后，被派到军舰上实习，后被送往英国留学。回国后，严复先后翻译了赫胥黎的《天演论》、亚当斯密的《原富》、斯宾塞尔的《群学肄言》、孟德斯鸠的《法意》等西方名著，内容包括了进化论、政治经济学、伦理学、政治学、哲学等，是把一种全新的资产阶级世界观带入中国的第一人，对当时的先进中国人起了重大的思想启蒙作用。船政学堂的毕业生中，还有中国第一个著名的铁路工程师詹天佑，亲自主持勘测、修筑了中国人自建的第一条铁路——京张铁路，为我国培养了一批铁路建筑工程师，在我国铁路史上写下了灿烂的一页。船政学堂为中国的近代海军培养了第一批高级将领，其中有代理北洋海军提督，在中日甲午海战中率北洋舰队奋勇作战，兵败自杀殉国的刘步蟾；有“致远”舰舰长邓世昌、“经远”舰舰长林永升。
左宗棠是“师夷长技以制夷”的实践者之一，并开创了中国洋务运动的先河。由于历史的局限性，使左宗棠对近代中国的落伍挨打原因的认识只囿于船不坚炮不利，因而十分强调必须学会西方的技术，而没有探求到中国落伍衰败的真正原因在于封建制度的腐朽和没落，因此，纵然左宗棠志再大，才再高，也无法挽救清王朝必然覆亡的命运。
