杨玄感在黎阳城内大拉壮丁从军，取帆布为甲，扩充军队，又按照开皇时代的旧制设置属下官吏，同时移书周边郡县，以“讨伐来护儿”为名要求各地派军，集结到黎阳听候调遣。

因为沉重的徭役和兵役，以及连年征战，民不聊生，隋朝的天下已经堆满了干柴和硫黄，只要有一点火星，就会燃起熊熊大火。

杨玄感点燃了第一把火。他起兵后，喊出了“为天下解倒悬之急”的口号，极具吸引力，一时间各地从者如流，连远在余杭的江南百姓刘元进都举兵响应。杨玄感起兵还在隋朝统治集团内部导致了大分裂。大批年纪相仿的贵族官僚子弟赶到黎阳“共谋大事”，包括观王杨雄的儿子杨恭道、韩擒虎的儿子韩世谔、虞世基的儿子虞柔、来护儿的儿子来渊、裴蕴的儿子裴爽、周罗睺的儿子周仲等四十余人。光禄大夫赵元淑、兵部侍郎斛斯政等人都响应杨玄感起兵。

在众多响应的贵族中，有一个人是杨玄感的刎颈之交：李密。李密的爷爷李耀是北周的邢国公，父亲李宽是隋朝的蒲山郡公，他自己才兼文武，尤其喜欢研究兵书，平日以救世济物为己任。李密年少时，曾用蒲草做的鞍鞯骑牛，挂一卷汉书在牛角上，边骑牛边看书。牛角挂书，典出于此。杨素正巧路过看见，慢慢走到这个后生后面，问：“哪里来的书生，这么勤奋？”李密认识杨素，下牛参拜。杨素问他读什么，李密回答说是《汉书》的项羽传。杨素惊奇之余，和李密交谈，对他大为赞赏。回家后，杨素对儿子杨玄感等人说：“我看李密的风度，不是你们能比的。”杨玄感因此和李密倾心相交。

李密长大后，继承了蒲山郡公的爵位，散尽家财养客礼贤，结交各界朋友。大业初年，杨广曾授予李密亲卫大都督的职位。李密不喜欢，称病辞官回家休养去了。听说杨玄感在黎阳起兵后，李密马上冲出家门，赶来相助。黎阳城收兵纳贤，力量迅速壮大。

起兵引起这么大的回响，出乎杨玄感的意料。一开始的时候，他还用“讨伐来护儿”为号召，后来索性撕去伪装，将起兵矛头直接对准杨广。杨玄感还把死去的老皇帝杨坚给搬了出来，说：“先公杨素曾奉高祖文皇帝遗诏，曰：‘好子孙为我辅弼之，恶子孙为我屏黜之。’”因此，杨玄感有为朝廷驱逐暴君的权力和义务。而杨广即位后的所作所为，显示他就是一个暴君、昏君，所以杨玄感“上禀先旨，下顺民心，废此**昏，更立明哲”。

这样的政治宣言引起了天下一片赞誉声。

杨玄感的宣言传到前线，辽东战役正在关键时刻。杨广充分发挥隋朝人多力量大的优势，命令将士每人装土填一个布袋，然后将土袋堆到辽东城前。百万大军，每人堆一袋，很快就铺成了一条宽三十步、和城墙一样高的“鱼梁大道”。隋军真正做到了将辽东城围得水泄不通。天下头号能工巧匠宇文恺已经死了，杨广又挖掘出一个叫作何稠的高手。他为杨广建造了“六合城”，带到辽东来。这是座周围八里、高十仞的大城，城上布列甲士，刀枪如林，旗帜飘扬。此外，杨广还造了高于辽东城的楼车参与攻城。隋朝大军日夜俯射辽东城内，打得高句丽人毫无还手之力，哀号震天。

杨玄感造反后，这一切都成了无用功。中原腹心大乱了，征服一座辽东城又有什么用呢？杨广勒令全军前队变为后队，后队转为前锋，反身杀回中原，务必要将杨玄感大卸八块。

隋朝第二次讨伐高句丽的战争就这样草草收场了。高句丽守军一夜之间，发现隋朝大军消失得无影无踪了，开始还以为是杨广使诈，连出城查看消息都不敢，只在城内鼓噪，高喊“追击、追击”。高喊了两天，高句丽人见城外还是没有动静，这才派几千士兵追击，结果追上了若干老弱病残和掉队的散兵游勇。隋朝囤积如山的军需物资和攻城器械，全部成了高句丽人的战利品。