杨广此次见到李密，觉得很不舒服，立刻紧急召见军左翊卫大将军宇文述，命他即刻查清左亲侍李密家中尚有何人，平常与哪些人来往。

第二天，宇文述上奏杨广："这李密家中人丁不旺，枝叶稀少，并无兄弟，虽然袭了其父蒲山公爵号，亦无多大势力。据臣了解，李密平时少言寡语，与人来往不多，来往的人中只有一个妹夫丘君明，任雍丘县令；一个姻亲刘文静在太原，亦只是个县令。"

杨广听罢，觉得这李密没有多少能量、背景，稍感放心，说道："朕观李密，面皮奇黑，眼光贼亮，与众不同，恐非善类。何况他又在故太子宫中做事多年。今后不要让他宿卫，也不准他再入宫半步。"

李密于是被逐出宫去。不死于杨广的猜忌而跳出樊笼流落民间，就已经是他的造化了。李密虽为名门之后，怎奈父母早亡，家道中落，如今出得宫来，竟然举目无亲，无一去处，左思右想，只好去投奔在长安的故旧楚公杨玄感。其实这是炀帝的失策，他将李密逐出，结果李密先后参与瓦岗寨起义，让大隋江山风雨飘摇。

杀了李浑一族，逐出李密，杨广又想起一人令他放心不下。说起此人，与杨广还算是姨表至亲，他就是杨广表兄、唐公李渊。杨广想起这位表兄李渊出自高门望族，现又手握重兵，镇守边关，听说还颇有政绩，深得将士拥戴，这样的人最危险！杨广急忙拟诏，派专使调李渊回京，准备严加监控。李渊没有听从夫人窦氏的规劝，锋芒外露，果然遭到了炀帝的猜忌。不过李渊也是一位聪明人。他到了炀帝身边后，低眉敛目，办事勤谨恭顺，居然骗得炀帝又将他外放。但是炀帝一直都疑心李渊造反，李渊也随时提防着炀帝。

一次，杨广传诏召李渊回京述职，适逢李渊生病，卧床不起，未能及时奉诏回京。李渊有一外甥女王氏在后宫充任美人，杨广见李渊许久没有回京见驾，便问王美人："你舅舅为何迟迟不来见朕？"

王氏慌忙答道："听说舅舅病重，不能回京面圣。"

杨广冷笑着不怀好意地问："要死了吗？"

王氏吓得面无人色，不敢作答。事后急忙写密信托心腹送出，告知舅父李渊此事。

……