忌就已经开始跟随在李世民左右了。后来则一直跟随李世民经历“玄武门之变”登上皇位之后，受封国公之爵位，同时身居要职。
二是长孙无忌的妹妹长孙无忧正是李世民的皇后，长孙皇后可以说是一代贤后，二人之间还有十分亲密的姻亲关系，而且在李治出生之后，李世民又早早地将其立为太子，长孙无忌没有可以生二心和争权的理由。再加上李世民的用人风格也一向都是“用人不疑”，所以，自始至终李世民都应该没有对长孙无忌升起过防范之心，这从他把长孙无忌列为“二十四功臣”的第一位这件事中，便可以看出端倪。
但是李世民老了，后面的李世民也是多疑了起来，再加上李治一直都的不遗余力说着长孙无忌的坏话，最终李世民还是对着自己的这位心腹，用了一明一暗的两条制约：
一，明：许可长孙无忌清除异己的部分行动（但是对房玄龄这样的老臣还是给予保护的），肯定长孙无忌的托孤大臣身份，并且让褚遂良从旁相助，负责调解无忌和新皇李治的关系，只是褚遂良没有这么干。
很多朋友说是太宗皇帝让褚遂良护着长孙无忌，其实仔细想想是不可能的，长孙无忌是位极人臣，门生故吏遍及朝廷上下，褚遂良是秦王府十八学士褚亮的儿子，换言之是长孙无忌的小字辈，哪有力量去保护长孙无忌，他抱长孙无忌大腿得到保护才对。
如果长孙无忌知进退，褚遂良调和得当，那么高宗李治可以和这位舅舅比较和谐地相处。
二，暗：但是后来高宗年间，长孙无忌的权威却不断提升，严重影响了李治作为皇帝的权威。
这个时候李世民身前所伏下的暗线就启动了，那就是大将李绩，也就是隋唐里所说的徐茂公。长孙无忌权威日盛，但是偏偏有一块领域是他无法企及和掌控的，那就是军队，这也是李世民敢于给长孙无忌托孤的底气所在，而且李世民身前对李绩也有托孤（后来出土的李绩墓志里说起过此事），只是不像长孙无忌那样明着下诏书而已。
长孙无忌是文官，在军队没有什么权威，一旦李治祭出这张牌，而且李绩支持皇帝的话，那长孙无忌就无可奈何了。
事实证明确实如此，在废王立武的政治事件中，李绩对皇帝一句“此陛下家事何须问外人”的话算是表达了军方的态度，一举扭转乾坤，长孙无忌的权势从此日下。
长孙无忌根本就不知道，他的行为会给以后的长孙家带来什么样的灾难，李治和李明达凑在一起之后，就会将自己五哥离开的事情，全
…。。