首战高丽失利，并没有使杨广冷静下来反思一下其中的根由，反而更激发了他不灭高丽誓不罢休的决心。在由涿郡返回洛阳的途中，他就下令将黎阳、洛口、太原等官仓的粮食继续调运至辽西望海镇屯集，以备再伐高丽之用。
十二月，也就是杨广回到东京洛阳之后三个月，对兵败萨水的将领作了处罚：
尚书右丞刘士龙擅自放走乙支文德，贻误战机，罪不可赦，斩首以谢天下。
宇文述、于仲文用兵无方，除官为民。二十四军中的一批将军、副将军也一并受到了免职的处罚。
不过，朝中群臣看得明白，于仲文未获死罪，全是沾了宇文述的光。宇文述是皇上的宠臣，儿子宇文士及又娶了皇上的南阳公主为妻，两人是儿女亲家，皇上罚罪当然要网开一面。只要宇文述罪不当死，其他人也就不会有杀身之祸了。
谁知几天之后，宇文述串通同被免官的诸将，众口一词，将兵败萨水的罪责全都推到了于仲文身上。说于仲文为邀功取宠，不听众将劝告，坚持渡过鸭绿江追击高丽军，终至惨败。杨广听后怒不可遏，不再追究别人，独将于仲文押人大牢。于仲文在牢中忧恚发病，没过几天就死了。
于仲文是北周燕国公于实之子，自幼聪明好学，倜傥有志，当时号称名公子。后任安固太守。当时益州有任、杜两家农夫各丢失了一头牛，后来找到一头牛，两家都说是自己的，诉至州郡，州郡官久不能断。于是，益州长史韩伯俊令于仲文判断。于仲文令两家赶来各自的牛群和两家争议的那头牛，牛即跑入任家的牛群中。于仲文又命人暗中将那头牛股部刺伤，任氏伤心得落泪，杜家却不再乎。于仲文依此将牛判给任家，杜家也心服口服。
杨坚任北周丞相时，于仲文在平定尉迟迥叛乱中立下战功，文帝开皇年间被授为行军元帅，曾率十二总管大破匈奴。当时的晋王杨广看中于仲文的才干，奏准文帝，要于仲文督晋王府军事。杨广继位后，升他为右翊卫大将军，一直圣眷隆盛。他万万没想到，自己戎马一生，为大隋王朝效尽犬马之力，到头来却落得一个冤死狱中的凄惨下场。
在经过了几个月的休养之后，大业九年正月，杨广又下诏征调天下兵马集结涿郡，准备二次征讨高丽。
然而这时候国内时局已不似往年那么太平了，四方义军蜂起，各霸一方，大有将乱天下之势，使杨广颇感头痛。他想出了一个主意，大张旗鼓地招募散布在民间的武勇之士，充为皇宫禁卫，称作骁果。这样既可网罗武勇之士于自己手下，以防他们铤而走险，与义军盗贼为伍，又可扩充和增强自己的禁卫力量。剩下的那些占山为王的鸡鸣狗盗之徒就不会有什么作为，迟早会剿灭干净的。
为了整训招募的骁果，杨广特意设置了折冲、果毅、武勇、雄武等郎将官职，选调了心腹武将出任，统领骁果。
如意算盘往往是一厢情愿的。大业八年的席卷全国的大旱和洪水灾害过后，疾疫流行，百姓死亡流离。太行以东受灾最重，义军声势更猛。新年伊始，杜彦冰、王润聚众攻陷平原郡，将官府财物洗劫一空。平原李德逸趁火打劫，纠集游民数万，自称“阿舅贼”，劫掠四方。在西北的灵武，白榆妄一伙号称“奴贼”揭竿而起，抢夺朝廷牧马，还与突厥勾结，横行陇右。
三月，韩进洛在济北聚义，部众数万人。
四月，孟海公在济阴举旗，拥众数万，滥杀无辜。
还有齐郡的王薄、孟证；北海郭方预，高鸡泊的窦建章、孙安祖；河间格谦，渤海孙宣雅等，各部多者十余万，少者数万人，纷纷攻掠郡县，闹得各方官吏惶惶不可终日，百姓鸡犬不宁。
天下承平日久，地方守吏不习武备，每与义军交战，大多望风败退。而齐郡丞张须陀却是众多地方官吏中的一个例外。
张须陀是弘农阕乡人，性情刚烈，有勇有谋，文帝时曾以战功授仪同，后来跟随杨素讨伐并州汉王杨谅的叛军，加授开府。在齐郡丞任上，张须陀见义军四处攻击郡县，就积极操练部下，以防万一。
大业九年四月，别号知世郎的王薄率数万人攻打齐郡，张须陀领兵抵抗。王薄见齐郡防守严密，就转而向南攻掠鲁郡。张须陀率部悄悄尾随其后，在泰山脚下追上王薄的队伍。王薄义军自恃逢战必胜，毫无防范。张须陀挑选精锐，出其不意猛冲进义军阵中。义军立时溃不成军，纷纷四下奔逃，被张须陀的部下杀死数千人。
王薄遭此挫败，不敢再攻齐郡，收合亡散万余人向北攻掠。他联合渤海孙宣雅、平原郝孝德等义军共十万人进攻章丘。张须陀得知消息，派舟师截断黄河渡口，亲率二万精锐马步军奔袭，大破义军。义军败退至黄河渡口，被守候在这里的舟师扼守退路，遭前后夹击，损失惨重。
刚刚打垮了王薄，又闻郭方预围攻北海，声势浩大，兵锋锐利，北海郡丞性命难保。
张须陀决定驰援。他对部下说：“围北海之贼自恃兵强，认为我无力相救。我要率兵突袭，定能获胜。”
于是他挑选精兵，星夜奔袭，义军果然没有设防。张须陀率兵冲入义军营中，势如破竹，杀死数万人，缴获辎重三千辆。义军落荒而逃，张须陀率部穷追不舍。
义军逃至潍水边，被河水挡住去路。无奈之下又布开阵势与张须陀部交锋。张须陀刚要策马冲上去，就听后面有一个稚嫩的声音喊道：
“将军一路辛苦，请先在此稍作休息，让我罗士信做一回先锋吧！”
话音未落，就见一个少年挺枪策马冲向敌阵。
这个罗士信只有十四岁，是历城人，已跟随张须陀经历多次仗阵，勇敢得很。张须陀见罗士信冲了上去，便勒住马头，高兴地观望。
罗士信飞马奔到义军阵前，就有几个人迎上来拼杀。只见罗士信手中的枪稍舞动几下，就有三个义军被他刺倒。他又拔出佩刀，将其中一人的头颅砍下来，抛向空中，然后用枪尖接住，高举着纵马略阵。义军将士被罗士信的举动吓呆了，没人再敢上前交手。张须陀大呼一声，乘机率兵攻击，义军溃败，罗士信跃马追杀。每杀一人，就割下鼻子揣在怀里。等还营时一数，竟有二十多个。
此役后罗士信被擢为副将，跟随张须陀左右。司隶刺史将这一系列的战绩奏报朝廷，杨广立即派了使者前来抚慰，并命使者画了张须陀、罗士信战阵冲杀图，带回去供皇上和朝中文武观赏。
宇文述又被恢复官职，加授开府仪同三司。皇上下诏说，去年征讨高丽，宇文述因兵粮不继而陷王师，是供粮军吏失职，并非宇文述之罪，所以应复其官爵。
在朝中百官心里，宇文述复职是早晚的事，谁让人家是皇上的亲家呢！与宇文述同时复职的，还有一批因去年征讨高丽失利而被免职的将军。这不仅是皇上为避任人唯亲之嫌的举动，还透露出一个消息，二征高丽的战争在即。
首战高丽失败，不能不使杨广耿耿于怀，他感到平生以来最大的耻辱，太有损于大隋国威了。在战场上失掉的面子，一定要用铁马金戈来挽回！
回到洛阳的几个月里，杨广甚至只去过西苑一次，而且仅仅住了十天，其余的时间大都呆在显仁宫里。高丽成了他的一块心病，压得他无心在十六院里留连取乐，更无意计算府库里还有多少粮食布帛，能否应付再一次宏大的征战。他的心思只有一个，那就是：征服！
显仁宫里，杨广召集文武百官于殿下，复议征伐高丽之事。他说：
“一个小小的高丽，竟敢侮慢上国，与我大隋对抗，如听之任之，天下人将耻笑朝廷懦弱无力，今后也难以威服四方。当今国势强盛，填海移山的事朕都可以办到，何况对付一个高丽小虏！朕欲再伐高丽，众卿以为如何？”
群臣缄口不语。谁都明白，既然皇上下了决心，这一仗就非打不可了。有异议，说出来也是白说，弄不好还会引火烧身。
杨广见无人回答，就决意开口点名了。他看了一眼已被授为太史令的庾质，问：“庾质，你说说看，再伐高丽，结果将会如何？”
庾质听皇上点到了自己，不敢再作沉默，想了想便躬身答道：
“陛下，臣实在愚昧，无先见之明。臣之所想还如前次所见，陛下亲率大军，实在过于辛苦，大可不必。”
见庾质开口说了话，左光禄大夫郭荣也斗胆站出来，俯首说道：
“臣之所见与太史令相同。陛下，高丽蛮族缺失藩礼，实应兴兵讨伐，不过那是臣下应尽之职。千钧之弩，不会为射杀一只小老鼠而发机。所以，陛下也不必为高丽这等小寇而屈驾亲征！”
杨广不耐烦了。这帮文武，要么缄口不语，要么开口就来劝阻御驾亲征，真是败兴！他愤然作色道：“前次讨伐高丽，朕御驾亲征都未能取胜，此次单凭你们这些人就会成功吗？”
明摆着，这话里还藏着一句：你们当中还有谁的谋略武艺高过朕不成？有了这话，谁再继续劝谏就是自找倒霉了。
杨广随即宣布，民部尚书樊子盖等一批文武官员，辅佐越王杨侗留守洛阳，其余官员随驾东征高丽。
四月，杨广离开洛阳，乘船沿运河北上涿郡。
五月，皇上的车驾又一次渡过了辽河。
这一次，杨广派宇文述与上大将军杨义臣率军直取平壤，又派左光禄大夫王仁恭出扶余道，进军新城。他对王仁恭说：“去年征讨，诸军多有不利。古人说，败军之将不可以言勇，所以诸将不能再担重任。今日朕委你统领前军，你不要辜负期望。”随后赐王仁恭十匹良马，一百两黄金。
王仁恭率军进至新城，数万高丽兵北城摆阵。王仁恭领一千精锐骑兵直冲敌阵，高丽兵竟不能招架，退入城中拒守。王仁恭将新城四面包围。
对于进攻高丽重镇辽东城，杨广作了充分准备，也吸取了上次的教训，授予诸将随机决断的权力。在渡辽河之前，他命何稠监造了大批飞楼、云梯，渡河之后，隋军便开始对辽东昼夜猛攻，不给高丽军喘息的机会。高丽军防守得极其顽强，激战二十多天，双方伤亡惨重。
辽东城久攻不下，杨广心急如焚。常言说急中生智，他在这久攻不下当中突然悟出了一些门道。辽东城难攻，难就难在它有高大坚固的城墙作为屏障，一夫当关，万夫莫开。如能越上城头，击溃高丽军就不在话下。
杨广立即诏命辽西至涿郡一带地方，火速制作征集一百万条麻布口袋运至辽东城下，将每条口袋装满沙土，直对辽东城池垒成一条三十步宽的鱼梁大道，大道与城墙等高，士兵沿大道可以直接冲入城内。又命何稠设计制造了十辆八轮楼车，在鱼梁大道两侧安放。楼车比城墙还高，车上排列弓弩手，可以俯射城内守军，掩护士兵沿鱼梁大道攻城。
这一切竟在半月之内完成了。杨广下令全军将士休息三天，第四天清晨总攻辽东。杨广之所以留出三天的空隙，不全为了让疲惫的军队得以休息，他还期待着辽东守军的投降。照理推论，经过几十天不分昼夜的攻守拼杀，高丽军一定是元气大伤。眼下隋军垒起鱼梁大道，安好八轮楼车，光凭这阵势也看得出辽东城已岌岌可危，指日能下。高丽守军已是死路一条，何不早早投降，省得再折损一批兵将？
或许辽东城内不识时务的高丽人还没有感觉到绝命的危险，漫长的一个白天静悄悄地过去了，夜幕在大业皇帝稳操胜券的期待中渐渐降临。
下弦月升上穹顶的时候，一阵急促的马蹄声打破了夏夜的寂静。从辽西风驰而来的快马驿卒，把一份十万火急的军情奏书送进了杨广的御帐：礼部尚书杨玄感于六月三日在黎阳起兵反叛，现正引兵杀向东京洛阳！朝廷的后院起火了！
大军出征，最怕两件事：前线倒戈和后方反叛。而眼下在后方反叛的这位杨玄感是杨素的儿子，他善于骑射，粗通用兵方略。更好交友，朝中许多达官子弟都与他过从甚密。这次杨广率军亲征，钦命杨玄感坐镇黎阳，督运前线所需的粮秣辎重。他一反叛，等于扼住了前线将士的脖子。
这消息犹如晴天霹雳，打得杨广手足无措，乱了方寸。他一边派内侍传诏臣将速来御前议事，一边在帐中团团转圈，连声大骂：
“逆贼！畜牲！朕对你恩宠有加，你竟这样报答皇恩！早知今日，当初就该灭你杨素九族！”
说心里话，杨广确曾有过将杨素满门抄斩的想法，但见杨素受封楚国公后并无谋逆迹象，而且又老迈体衰，疾患日重而死，也就打消了抄灭全家的念头。现在想起来真是后悔莫及呀！
随驾东征的几位文臣武将应召赶到了皇上御帐中，他们见杨广满面怒容，气急败坏的样子，一个个束手而立，大气也不敢喘一声。
杨广见臣将到来，也停止了踱步，回御座上坐下。他环视众人，一眼看见太史令庾质，猛然想起渡过辽河在向辽东城进发的路上，庾质曾跟他说过的一句话：
“黎阳有兵气！”
当时杨广听了淡淡一笑，根本没放在心上，庾质也就不再吱声。此刻，杨广想起这句话，浑身一颤，带着懊悔和叹服的口吻说：
“庾卿神机妙算，黎阳果然有兵气啊！”
庾质慌忙回答：“陛下，此事不幸被愚臣言中，而愚臣却未能洞察深邃，甚是惭愧不安！”
杨广摆了摆手，说：“不必自疚了。事端已发，朕想听听诸位臣将的高见，下一步该如何打算。逆贼杨玄感聪明机警，此次举兵会不会酿成祸患？”
纳言苏威上前一步说：“陛下，一个人若能明辨是非，判断成败才算得聪明。杨玄感生性粗心大意，思考疏略，有勇无谋，并非聪明之辈。对此陛下无需多虑。只是怕因此而演成天下大乱哪！”
这正是杨广担心的。眼下盗贼蜂起，尚未平息，杨玄感一闹，四方盗贼闻风而动，遥相呼应，那就不堪设想了。
庾质又说：“陛下，还得确保眼前无虞。臣听说，杨玄感的两个弟弟就在辽东军中。”
哎呀！杨广一惊，险些叫出声来。刚才只顾上火着急，怎么把这事给忘了。辽东城下的武贲郎将杨玄纵和鹰扬郎将杨万硕就是杨玄感的弟弟呀！他们都手握兵权，一旦听到消息，再来个率部起义，那可是前线倒戈和后方反叛都让朕给占全了！
杨广立即唤进两名禁军校尉，命他们各带一队人马，前去辽东城下营寨，将杨玄纵、杨万硕抓来。
半个时辰不到，两名禁军校尉回来禀奏说：“没有抓到杨玄纵、杨万硕。听营中士卒说，二位郎将早在十几天前就不见了。”
“什么？”杨广气得浑身发抖，大吼道：“不见了！军中将领擅离阵前，怎么没人向朕奏报？”
苏威禀奏：“陛下，他们二人属兵部侍郎斛斯政节度。”
杨广朝两名校尉一挥手：“去把斛斯政抓来，就在这御帐中斩首！”
两名校卫走了。却带回来更坏的消息：斛斯政听说皇上派人去抓杨玄纵和杨万硕，骑了一匹快马冲出营寨直奔辽东城，投降了高丽军，刚刚被接进城去。
杨广简直气疯了，他捶胸顿足地大喊：
“传朕旨令，即刻攻城。就是拼个鱼死网破，也要把斛斯政从高丽人的窝里掏出来！”
庾质上前劝道：“陛下息怒，应冷静三思，万不可意气用事。斛斯政放走杨玄纵二人，又投降高丽，无疑是杨玄感同党。这样看来，杨玄感绝非贸然起事，而是有过周密计划的，因此就更不能掉以轻心！”
苏威也说：“太史令所言极是。况且叛贼已进兵洛阳，镇守东京的越王和樊子盖的军力是否守得住，能守多久？这些都是眼下急需细细思谋的事。若不早作决断，恐怕会贻误战机。”
听了这些话，杨广终于平静下来，他咬牙切齿地说：“斛斯政，早晚有一天，朕要万箭穿死你，千刀剐了你！”然后稳定一下气息，问：
“你们有何良策？撤兵回援？”
没有人回答。好像都在思考，其实谁都明白，只有撤兵回援，才是解洛阳之危、剿灭叛贼的最好办法。
“可是，这辽东城指日可下，宇文述也挺进到了鸭绿江边，难道此次讨伐高丽就这样功亏一篑了吗？”杨广不甘心地自言自语。
半途而废确是可惜，但比起叛逆后方起兵危及东京来，征服高丽蛮族已经不是当务之急了。又经过了一天的反复斟酌，杨广决定退兵。他派出信使，火速传令宇文述立即撤退，又吩咐身边攻城将领暗中做好全体班师的准备。
六月二十八日晚二更时分，皇上的御驾和几十万大军悄悄撤离辽东城下。旷野里，到处都是隋军丢弃的兵甲排杖和军需辎重，营垒帐篷都保持着原有的样子，扔在了营地上。守城的高丽军听到隋军移动，却不敢出城，只在城头上击鼓鸣锣，给自己壮胆。直到第二天中午才派小队人马出城查看，只见隋军营地人去帐空，一片狼藉，怀疑其中有诈，又缩回城内。两天之后，见隋军确实没了踪影，就发出五千军马追赶。等追到辽河东岸，杨广的车驾御营和大队人马早已渡河走远。高丽军只杀虏了千余名病弱掉队的隋军士卒，凯旋而归。
移山填海都不在话下的大业皇帝，对这次亲征高丽抱定了必胜的信心，万没想到因为一个杨玄感的起兵反叛，一场苦心经营、声势浩大的征战，就这样草草收兵了。
渡过辽河，走在通往涿郡的路上，杨广感慨地对庾质说：
“庾卿，此前你曾极力劝谏朕不要亲征，是不是也想到了以防后方生变的这层因由？”
庾质不置可否，只是谦卑地笑笑。
杨广又问：“朕读奏报，说逆贼杨玄感举兵起事，竞一呼百应，几天工夫手下便聚起十万之众。庾卿，你说杨玄感难道还能成了大事吗？”
庾质回答说：“陛下，杨玄感虽说位高权重，但功德威望不可与其父杨素同日而语。杨玄感没有什么号召力量，虽然身边有几个贵胄弟子，也都是空有武力没有头脑的庸碌之辈。杨玄感只是利用百姓一时劳苦，企图侥幸而成。如今天下一统，国基稳固，并非他轻易而能动摇的。”
听了庾质一席话，杨广那焦虑不安的心，总算得到了一丝宽慰。
