隋朝末年，隋炀帝穷兵黩武骄奢淫逸。他好大喜功，先是开凿大运河，后来几次兴兵东征，大举侵略朝鲜。全国的青壮男子大多数被抽调修河、当兵，土地无人耕种，苛捐杂税年年增加，人民陷入水深火热之中，天下即将大乱。

当时正在山西马邑做地方官的李靖，对国家形势的严峻形势有着清醒的认识。李靖不希望天下大乱，他来到京城，面见执掌军政大权的越国公杨素，打算说服杨素，拿出办法，稳定政局。交谈之后，李靖深感失望，立即辞去官职，回家深入研究兵书战策。

李靖的舅父韩擒虎，是隋朝的开国名将，对《孙子兵法》很有研究，经常与李靖在一起谈论心得体会。每次畅谈之后，韩擒虎都十分慨叹，称赞李靖的看法。

不久，杨素病死，他的儿子杨玄感举兵造反。接着，全国各地农民纷纷起义。李靖来到太原，帮助唐高祖李渊统一天下。

后来唐太宗李世民即位，李靖由刑部尚书调任兵部尚书。当时西北的少数民族突厥和吐谷浑经常袭扰边境，抢劫牛马，屠杀百姓，成为唐朝的边患。唐太宗平定天下之后，立即任命李靖为行军总管，率兵北征，彻底解除西北边疆的威胁。一次，李靖仅率三千铁骑，出奇制胜，将突厥逐出境外。而后李靖为平定边患，经常统兵在外，大小百余战，立下赫赫战功，升为尚书仆射。

李靖看到天下基本平定，估计以后不会有大规模征战，觉得自己是员武将，在朝廷已经不会有太大作为，决定辞去职务，告老还乡。

一次，唐太宗派李靖到各地察访民情，李靖推辞说：“我年龄有些老了，只怕辜负陛下的信任，还是派别人去更好些。”

李靖回到家把他的想法详细写进了奏章，交给唐太宗。

唐太宗看了李靖的奏章，觉得措辞十分得体，态度非常恳切，内心很感动，立即同意了。第二天，派中书侍郎向李靖传达他的旨意，说：“我看从古至今，做了大官而能知足的人太少了，不论聪明人或庸俗的人差不多都不能自知。有些人本来没什么才能，还留恋权势，不肯辞官；还有人生病，根本不能办事，仍然占据高位。我同意你辞官，不仅成全你的志向，更重要的是想把你树为一代楷模，让人们学习。”

李靖辞官以后，把平生用兵心得写成一部《李卫公兵法》，可惜后来失传了。