就在隋军开始造船准备渡江时，杨玄感却停止了催粮运输的工作，将自己的一干族人和幕僚召集到了黎阳城内自己的府邸内。以决定他如何造反。
府邸内的书房里坐着近二十人，除了杨玄感本人外、还有他的弟弟杨玄奖、杨玄挺、杨积善，长子杨峻、次子杨嵘，以及李密、柴绍、王信哲等人。
他们虽然对于造反没有意见，但对于以何种名义造反却是分成了两派意见，杨玄奖和杨玄挺主张，因大隋皇族也称出自弘农杨氏，和杨家同为一脉。所以杨玄感也算皇族远亲，有资格继承皇位。可以公开打出反叛杨广的旗帜，称其为昏君、暴君，杨玄感自立为新帝。这样便能名正言顺地推翻隋朝。
杨玄感的弟弟杨积善，儿子杨峻、杨嵘都赞同如此行事。因为这样一来，他们便成了亲王和皇子，地位尊崇。
不过，李密、柴绍和王信哲等人却是认为这样太过急功近利，让别人认为杨玄感是为了自己当皇帝，而不是解救天下黎民苍生。因此，他们主张不公开叛隋，只反对杨广，称杨广因倒行逆施，不适合当皇帝，然后立已经掌握在杨玄感手中的前太子杨勇之子为新皇。这样便能争取到一部分仍忠于隋朝的军民和大臣支持。毕竟还是有很多世家是只讨厌杨广，不反隋朝的。
两派的意见是南辕北撤，让杨玄感着实拿不定主意。
李密见杨玄感犹豫不决，方又劝道：“主公，我们起事与其他人起事不同。虽然在我们之前，也有山东王薄、河南翟让、河北窦建德等人起兵造反。但他们都是些泥腿子，成不了大事。”
“可我们却是世家造反，而主公之父还是大隋昔来第一重臣，门生部将遍及隋朝中央和地方官府。所以，杨广不可能如以前那样，把我们当成普通反贼对待，必将倾全力镇压。我们面临的压力将是非常巨大的。在这种情况下，只有尽量想办法团结一切可以团结的人，方有可能成功。如果在这个时候自立为帝，则将会成为天下之敌，请主公三思。”
李密话音刚刚一落，杨嵘便大声叫道：“李先生此言大大不妥！我们原本就是要反隋夺天下，怎么可能让父亲再称自己拥护隋朝？待起事成功之后，再篡夺皇位岂不是出尔反而的小人行径，让天下人耻笑？”
“是啊！名不正则言不顺，虽然公开叛隋会在开始要困难一些。但只要我们多打几次胜仗，相信就会有越来越多的人和我们站在一起。使那个昏君最终孤立无援，落个众叛亲离的下场。相反，如果依照李先生的想法，先称自己拥隋，立前太
…。。