在扬州之乱平定后,武则天意识到只有牢牢抓住军权才是巩固自己地位的关键,而自己恰恰忽略了这个事情,也可以说武则天还没精力去认真对待这件大事。在一切都平静后,武则天开始着手对军队进行改造。而改造的第一步就是清洗她认为不可靠的将领。当时左骁卫大将军、并检校左羽林军的程务挺成为了第一个目标。
程务挺曾靠战功屡次升迁,后仰仗裴炎的推荐当上了手握重兵的大将。在废立李显的过程中,程务挺带领羽林军帮助武则天成功实现了目标,立下了大功。在突厥势力再起后,武则天任命程务挺负责西边对突厥作战的指挥官。而与此同时,扬州之乱发生,武则天准备处决裴炎。程务挺得知此事后,立即上表武则天替裴炎求情,并以自己的身家性命为担保,保证裴炎不会谋反。这下武则天有点不放心程务挺了,害怕他也跟着造反,腾出手来就派人将程务挺赐死了。当时突厥人非常惧怕这位英勇的将军,听说程务挺被冤杀,大喜过望,认为是天助突厥,消灭了劲敌。
另外一个与程务挺曾经共患难的将领王方翼也被武则天猜忌,生怕他因为程务挺被杀而发动叛乱。为此武则天将王方翼召回长安,关押起来审查。审来审去,找不到一点儿定罪的证据。无可奈何之下,武则天只好将其流放到崖州(今属海南)。王方翼莫名其妙地遭到了这样的迫害,到达崖州不久就去世了。
接下来武则天的矛头直指平乱有功的李孝逸。李孝逸虽然平定了扬州之乱,但是武则天对他是最不放心的。她之所以让李孝逸去平乱主要是从政治角度考虑。而李孝逸平乱也有一个潜在目的,即通过平息叛乱,以期达到敦促武则天早日归政于李旦。可是武则天的目标是要当皇帝,因此两人的意见注定无法统一起来。武则天越发意识到不能让李家的人掌握军权。平乱后的第二年,武则天便授意武承嗣、武三思诬告李孝逸与李氏贵族来往过密,解除了他的军权,派往地方做刺史。而李孝逸这时候也看出了武则天的意图,只恨自己平乱太卖力气。后来武则天借口李孝逸有篡位之嫌,将其贬到儋州(今属海南),李孝逸最后郁郁而亡。