公元655年，唐高宗永徽六年，武昭儀圣眷日隆，高宗漸生廢后之心。某日，高宗召長(zhǎng)孫無(wú)忌、李積、于志寧、褚遂良等重臣入內(nèi)殿商議廢王皇后立武昭儀之事。聰明的李積自知此事敏感，乃稱(chēng)病未去。而于志寧呢，在高宗和武昭儀的聯(lián)合威壓之下，雖明知廢后不妥，但終是噤不敢言。倒是褚遂良這個(gè)太宗遺命的顧命大臣敢于直諫，提出各種理由激烈反對(duì)高宗“廢王立武”。

一個(gè)不來(lái)，一個(gè)不言，一個(gè)反對(duì)，高宗和武昭儀顯然很需要一個(gè)支持者，這樣他們才能借坡下驢。為了做支持者的工作，兩個(gè)人也沒(méi)少操心。上一年，他們就一起到長(zhǎng)孫無(wú)忌家飲宴，名義上是一次普通的“家庭聚會(huì)”，實(shí)際上是有所宏圖。當(dāng)然，兩人上門(mén)也沒(méi)空手，高宗出手大方：不僅賞賜金寶繒錦十車(chē)，又任命長(zhǎng)孫無(wú)忌的三個(gè)庶子為朝散大夫。宴飲間，高宗以皇后無(wú)子頻頻暗示長(zhǎng)孫無(wú)忌。長(zhǎng)孫無(wú)忌卻裝聾作啞，“顧左右而言他”，弄得高宗和武昭儀很不愉快。

“家庭聚會(huì)”后，高宗和武昭儀沒(méi)有放棄，繼續(xù)做長(zhǎng)孫無(wú)忌的工作。先是派武昭儀的母親楊氏上門(mén)陳情，再是讓禮部尚書(shū)許敬宗上門(mén)勸說(shuō)，但長(zhǎng)孫無(wú)忌還是一口拒絕了。

貴為皇帝而不能如愿，這讓高宗很窩火。而前進(jìn)路上出現(xiàn)的這個(gè)絆腳石，更讓武則天暗自懷恨在心。兩人一合計(jì)，決定不給這些顧命大臣面子，軟的不行就“硬上”。于是便有了“內(nèi)殿商議”這出戲，這相當(dāng)于高宗和未來(lái)的武后的“最后通牒”。

盡管此前兩三個(gè)回合中，高宗和武則天早已經(jīng)知道了長(zhǎng)孫無(wú)忌的態(tài)度，但他們還是希望在這最后關(guān)頭，得到這個(gè)既是國(guó)舅、又是顧命大臣的重量級(jí)人物就此開(kāi)啟。如果說(shuō)“家庭聚會(huì)”時(shí)的反對(duì)尚是皇族內(nèi)部矛盾的話(huà)，那么，“內(nèi)殿商議”上的公開(kāi)反對(duì)便已是利害攸關(guān)的權(quán)力斗爭(zhēng)了。為相半生的長(zhǎng)孫無(wú)忌不會(huì)不明白這次反對(duì)的危險(xiǎn)性，但他顯然更重視唐太宗的遺命。

登上皇后寶座的武則天，是不會(huì)放過(guò)褚遂良和長(zhǎng)孫無(wú)忌的。

遭政治清算的先是褚遂良。武則天顯然還記得他反對(duì)“廢王立武”的堅(jiān)決態(tài)度，那近乎一種政治表演：他將官笏放在臺(tái)階上，同時(shí)也把官帽摘下，向高宗不停叩頭以至于流血。你既然不要命，我也不給你好命。武則天先是將褚遂良趕出朝廷，貶他到潭州任都督。不久，又調(diào)褚遂良離京師更遠(yuǎn)的桂州（今廣西桂林）去任都督。為打擊褚遂良，武則天和許敬宗、李義府一起，誣告中書(shū)令來(lái)濟(jì)、門(mén)下侍中韓瑗與在廣西的褚遂良共謀反叛。以此為借口，褚遂良很快又被貶到了更遠(yuǎn)的愛(ài)州（今越南清化）。

絕望之中，褚遂良向高宗上了一封陳情書(shū)，訴說(shuō)自己曾長(zhǎng)期為高祖與太宗效勞，是高宗繼位的堅(jiān)決支持者。他希望憑此讓高宗收回成命。但他沒(méi)有料到，武則天此時(shí)已全面參與帝國(guó)政務(wù)。即便高宗有那么一絲猶豫和反悔，他也禁不住武則天的游說(shuō)。

公元658年，褚遂良在愛(ài)州帶著遺憾離世，享年63歲。