大业十二年，隋炀帝不顾臣下反对，在国家即将土崩之时，再次游幸江都。夜间，躺在楼船之内，隋炀帝隐隐约约听见外面有歌声：
“我儿征辽东，饿死青山下。今我挽龙舟，又困隋堤道。方今天下饥，路粮无些小。前去三十程，此身安可保。寒骨枕荒沙，幽魂泣烟草。悲损门内妻，望断吾家老。安得义男儿，烂此无主尸。引起孤魂回，负其白骨归。”
隋炀帝惊起，派人查询唱歌的人，根本找不到人。“帝颇彷徨，至通夕不寐。”
当时，天下糜烂，诸郡及地方将领告急求援文书不断，都被炀帝身边大臣虞世基等压下，只说是“鼠窃狗盗，不久郡县当捕灭，希望陛下不要以此介怀。”
大将杨义臣破降河北义军数十万，列表上奏，炀帝叹息道：“我开始都不知道造反人数，现在怎么连降贼都这么多啊。”虞世基忙说：“小偷小摸人众虽多，未足为虑，皇上您应担心杨义臣拥重兵在外，专权日久，恐怕生变。”炀帝信以为然。下诏杨义臣解散部下，各归乡里，“贼由是复盛”。
当时兵锋最盛的除窦建德、格谦以外，还有李密、翟让等人的瓦岗军。其中李密让祖君彦写的《讨隋炀帝檄文》为后世所传，文采飞扬，指摘中的，书列炀帝弑父、乱伦、嗜酒、劳民、滥赋、兴役、征辽、滥诛、卖官、无信等十大罪恶，并指出：
“有一于此，未或不亡。况四维不张，三灵总瘁，无小无大，愚夫愚妇，共识殷亡，咸知夏灭。罄南山之竹，书罪未穷；决东海之波，流恶难尽。……”
炀帝一直以文才自诩，估计没有机会亲览檄文，否则肯定会叹赏祖君彦之才。(这位祖君彦也是贵家子弟，其父祖珽是北齐仆射，曾杀掉北齐忠臣斛律明月，所以，当薛道衡推荐祖君彦给文帝时，杨坚说：“是那个杀斛律明月人的儿子吗，朕不会用他！”祖君彦如此文才，又是贵族世家，由此郁郁思乱。等他投靠李密后，终于有机会申斥隋廷，私仇在心，文章自然透骨犀利。王世充大败李密后，俘获这位大才子，斥道：“你替叛贼大骂国家够了吗！”祖君彦辞色不屈，王世充派人乱棒打他。过后，王世充自己也想篡隋，很后悔要杀祖君彦，派医士去给他治疗。当时祖君彦已经被打得气息奄奄，倒卧树下。偏偏一个郎将叫王拔柱的，说道“这个弄笔的穷酸死有余辜，”上前猛踢才子心窝，把祖君彦踢死。这个王拔柱真是个王八猪，千古才子，竟死于此粗人臭脚之下。)
隋炀帝自负才学，常常认为他自己的诗文天下第一，他对侍臣讲：“天下都讲朕是因为父皇余烈而有四海，假设让朕与士大夫以文章竞争，朕也应该为天子。”对于文人名士，他也心有嫉妒。大臣薛道衡被赐死后，他恨恨而言：“还能作‘空梁落燕泥’的诗句吗？”王胄被杀，炀帝又背诵这位臣下的佳句，并阴狠地嘲弄：“‘芳草无人随意绿’，王胄再也作不了吧。”
不仅民众群起反叛，连李渊、罗艺这样的勋贵大臣也巧立名目起兵，不听朝廷节制，占据重要城镇，李渊自己还攻占都城长安，迎立杨广的孙子代王杨侑（为死去的太子杨昭之子）为皇帝，改元义宁。杨侑时年十三，完全是个傀儡皇帝，遥尊杨广为“太上皇”。
公元618年，隋炀帝已在江都呆了近两年，成日与幸妃嫔妇千余人饮酒作乐，荒淫日甚。内心深处，隋炀帝也预料到天下纷乱无法收拾，无心北归，只是在宫中厚自奉养。
每当酒后阑珊，杨广幅巾短衣，策杖步游，遍历宫内舞榭歌台，汲汲顾景，惟恐不足。由此，已见其心事重重，内不自安。
一天，他边照镜子，边对萧皇后说：“这么好的头颈，会是谁来砍呢！”皇后大惊，问何以言此。炀帝苦笑，说：“贵贱苦乐，更迭为之，亦复何伤！”
由于江都周围已经摇荡不已，粮食渐渐吃完，从行的禁卫军多是关中人，人心思归，不时有兵将逃亡，斩诛多人也止不住。有宫人向炀帝告发外人谋反，炀帝大怒，立斩。而后再有人告变，连萧皇后也劝说宫人不要再冒死进言：“天下事一至于此，无可救者，何用言之，徒令帝忧耳！”多少年后，元军出征花棘子模，大胡子国王日夜忧心，也是厚赐报平安者，立斩道实情的臣下，其心情想法和杨广彼时一模一样，正所谓掩耳盗铃耳。
宇文述的两个儿子守文智及、宇文化及以及禁卫军首领司马德戡，见天下英雄并起，众叛亲离，就一起密议废掉隋炀帝。于是，他们先散布谣言，讲炀帝听闻禁卫军（骁果）想叛乱，正多酿毒酒，尽杀关东人，只留南人在身边。禁卫军大相惊骇，互相转告。
司马德戡趁机召集众人，兵士惊惧惶恐之下都讲“死生从命”，豁出去决定造反。
炀帝发觉有变，逃入西阁。其宠妃魏妃为兵士开门。炀帝忙逃入永巷躲藏，又有美人告诉兵士其所躲藏之处。
校尉令狐行达拔刀直入，炀帝隔着窗子问：“你想杀我吗？”
令狐行达说：“臣不敢，只是将士思归，欲奉迎陛下还京师。”
炀帝说：“朕也想回去，因为粮食未到，现在和你们一起回去吧。”
兵士逼迫炀帝乘马入朝堂慰劳百官，牵来一匹马，炀帝此时仍嫌马鞍弊旧，换上新的后才勉强骑上，兵士挟刃牵缰而出。
反叛兵士见到皇帝本人已在掌握之中，欢呼遍地。宇问化及望见炀帝，知道事已成功，一反当初惶恐之态，对左右说：“何用持此物出来，杀掉算了。”于是逼拥炀帝返回寝殿。
面对环立提刀的兵士，炀帝叹道：“我何罪落到这个地步？”
叛将有个名叫马文举的，善于辞令，答道：“陛下违弃宗宙，巡游不息，外勤征讨，内极奢淫，使丁壮尽于矢刃，女弱填于沟壑，四民丧业，盗贼蜂起；专任佞谀，饰非拒谏；怎能说无罪呢？”
炀帝说：“我确实有负天下百姓。至于你们这些人，荣禄兼及，怎会干出这种事来？今天之事，谁是带头人呢？”
司马德戡答道：“普天同怨，何止一人！”
宇文化及得理不饶人，又派封德彝数斥炀帝罪恶。
炀帝漠然道：“爱卿你是读书人，怎么也掺合这事？”封德彝愧然而退。
炀帝爱子杨杲是个十二岁的小孩子，一直跟在炀帝身边，看见如狼似虎的兵士亮刀弄剑，吓得嚎哭不止。隋炀帝昔日的贴身侍将裴虔通（此人是杨广为晋王时的亲信）火起，一刀砍掉小孩子的脑袋，鲜血溅满炀帝一身。
事已至此，众人一拥上前，想砍杀炀帝。
此时，杨广倒不失天子威仪，厉声说：“天子自有死法，何得加以锋刃！拿鸩酒给我”此前，炀帝内心也预感自己必不免死，身边常带一个盛有毒药的小瓶。他常对身边宠幸姬讲：“如果叛贼入宫，你们先死，然后我也服毒。”事起仓猝，左右一时逃散，炀帝一时间也没找到毒药。
马文举等人不答应，令狐行达上前一推把炀帝摔坐于地。炀帝自己解下白练巾给令狐行达，几个人嘎嘎做响地用力，练巾绞死炀帝，时年五十。
萧皇后与宫人拆掉床板，把杨广杨杲父子两人的尸体埋于西院流珠堂。贞观五年（631年），炀帝尸身移葬于雷塘。
编撰《隋书》的魏征对隋炀帝发感慨说：
“炀帝爰在弱龄，早有令闻，南平吴会，北却匈奴，昆弟之中，独著声绩。于是矫情饰貌，肆厥奸回，故得献后钟心，文皇革虑，天方肇乱，遂登储两，践峻极之崇基，承丕显之休命。地广三代，威振八纮，单于顿颡，越裳重译。赤仄之泉，流溢于都内，红腐之粟，委积于塞下。负其富强之资，思逞无厌之欲，狭殷周之制度，尚秦汉之规摹。……淫荒无度，法令滋章，教绝四维，刑参五虐，锄诛骨肉，屠剿忠良，受赏者莫见其功，为戮者不知其罪。骄怒之兵屡动，土木之功不息。频出朔方，三驾辽左，旌旗万里，征税百端，猾吏侵渔，人不堪命……自是海内骚然，无聊生矣。……上下相蒙，莫肯念乱，振蜉蝣之羽，穷长夜之乐。土崩鱼烂，贯盈恶稔，普天之下，莫匪仇雠，左右之人，皆为敌国。终然不悟，同彼望夷，遂以万乘之尊，死于一夫之手。……宇宙崩离，生灵涂炭，丧身灭国，未有若斯之甚也。《书》曰：“天作孽，犹可违，自作孽，不可逭。”……观隋室之存亡，斯言信而有征矣！”
唐人李商隐有诗叹曰：
紫泉宫殿锁烟霞，欲取芜城作帝家。
玉玺不缘归日角，锦帆应是到天涯。
于今腐草无萤火，终古垂杨有暮鸦。
地下若逢陈后主，岂宜垂问《后庭花》？
五代罗隐，也有诗哀惋：
入郭登桥出郭船，红楼日日柳年年。
君王忍把平陈业，只博雷塘数亩田。
（据中新江苏网2002年6月15日消息，江苏准备启动隋炀帝陵旅游区项目，占地2500亩，投资4亿多元，主要项目有邗沟舟游、迷楼风韵、龙舟战水等八大景区项目。假若炀帝地下有知，不知是否鄙夷不屑，嫌此规模太过小气。）