炀帝去了，李渊忙碌起来。早在四年前、公元613年，李渊升为卫尉少卿时，杨广发动了对高丽的战争，李渊受命在怀远镇负责督运粮草。当时，民不堪苦，怨声载道，大贵族杨玄感利用人民的不满情绪，起兵反隋。李渊飞书奏闻，杨广命李渊镇守弘化郡（今甘肃庆阳县）兼知关右诸军事，以备抵御杨玄感。杨玄感兵败，李渊留守如故。
李渊祖籍陇西成纪，祖父李虎，是后魏左仆射，封陇西郡公，官至太尉，成为著名的八柱国之一，位极尊贵，死后被追封唐国公。李渊的父亲李昞，曾是北周时的安州总管、柱国大将军，袭封唐国公，可惜英年早逝，李渊才得以早早世袭唐国公。
进入官场的这么些年来，李渊深知权力的重要，“素怀济世之略，有经纶天下之心”，特别是近年看到炀帝荒淫、民怨四起，举义风火燃遍全国，早就有起兵代隋以取天下的想法，但有感于自己势单力薄，从不敢有半点行动，只是不动声色地广树恩德，结纳豪杰。
