讓江不安的是，政協主席李瑞環從來沒有發表過鎮壓法輪功的言論，如果他繼續留在十六大政治局常委會里，將構成對江的威脅，因此將不惜任何代價要將李瑞環搞下臺。對權力並不在乎的李瑞環表示同意陪江一起下臺。其後中共政治局通過了關於江澤民勸退的決議，並同意接受其親信進入政治局。這件事的嚴重性就在於，十六大政治局及常委會里江氏人馬佔了多數，江顯而易見就成了政治局的後臺老闆。

按理說，對於這樣的安排，江澤民應該表示滿意，但是江的內心依然極度恐懼，因爲在美國被法輪功學員以「羣體滅絕罪」告上法庭後，江迫切需要元首豁免資格，但是江要保留國家主席已無可能。作爲「前任國家元首」，他已沒有豁免權，所以江唯一能做的就是攥緊槍桿子，繼續保留軍委主席之職，左右胡錦濤，干涉司法公正，以逃避被審判。於是，由曾慶紅出面，找在十六大上應該退休的軍委副主席張萬年密謀江留任的問題，並告訴張，事成之後將讓他當國防部長。
2002年11月8日，中共十六大開幕，江澤民不在新的中央委員會預選名單內。這意味着江不會進入新的中央委員會，不會擔任任何黨和國家的領導工作。全國上下一片欣喜，所有的人都認爲江這次真的徹底下臺了。幾位重量級的元老，例如萬里，認爲一切都按照政治局的決議在進行。但是13日，在中共十六大主席團常委第四次會議上，張萬年突然發難，提出了由二十名主席團成員（全部爲軍人）連署的「特別動議」，建議江澤民留任新一屆中央軍委主席。

張萬年發言後，被江一筆勾銷兒子十億大案的李嵐清、還有女兒成爲江人質的劉華清立即表示：完全支持「特別動議」。接着，根本不把胡錦濤放在眼裏的張萬年又逼胡表態。

會場裏鴉雀無聲，連呼吸聲都聽的見，大家都知道胡錦濤要不同意，當時就能被軍人帶走軟禁起來。胡錦濤低聲說道：「個人完全贊成張萬年、郭伯雄、曹剛川等二十位同志的提議。」江微微笑了。接着，舉手表決。除李瑞環、尉健行、曹慶澤三人棄權外，張萬年等二十人的「特別動議」獲得通過。

這起突然襲擊，是一次有部署、有預謀的、由軍人出面、江澤民在背後策劃授意張萬年等搞的不流血的軍事政變。而江在得逞後很快把對張萬年的承諾忘到了一邊，讓張「解甲歸田」了。當時請假未到的萬里聽到此消息後氣得渾身發抖，拍案大罵江，並憤然退出主席團常委會，以示抗議。

按照事前商議的結果，中共十六大選舉了胡錦濤爲中共總書記和國家主席，溫家寶爲國務院總理，吳邦國和賈慶林分別任人大委員長及政協主席。此外，江系人馬黃菊，曾慶紅，吳官正，李長春和羅幹被選進政治局任常委。這屆中共新政權中，大部份是江系人馬，而且都是貪污受賄的重量級官員。

然而，走上前臺的胡錦濤卻並不輕鬆，因爲他面臨着兩個權力中心的矛盾。十六大後，江給9個常委定下幾個規矩，其中最重要的是9個人組成的政治局常委會爲集體領導，沒有核心，因爲江不能容忍胡錦濤取代自己成爲新核心。江的另一個重要指示是，小事情、一般事務，大家商量着辦，而關鍵問題要江拍板。這樣即使江下臺，胡錦濤也掌握不了權力。

但這種領導方式被稱爲「不三不四」，因爲既不是第三代，也不是第四代。更可笑的是黨的總書記、國家主席胡錦濤是軍委副主席，而普通黨員江澤民是軍委主席，黨領導一切就成了笑話。

胡江之間的矛盾和爭鬥在進入2003年後更趨於激烈了，但依靠中共元老的支持，胡錦濤也在暗中使勁。比如在胡江的排名問題上、在是否堅持所謂的「三個代表上」、在薩斯問題上，等等。

從2004年伊始，江開始面臨着其下臺後更多的挑戰，這些挑戰讓其心驚肉跳，讓其寢食難安。首先，江的歷史問題和生活醜聞被要求調查；其次，海外出現了「踩江」活動；其三，蔣彥永要求爲「六四」平反的公開信現身和六四光碟，這讓靠「六四」鎮壓上臺的江澤民十分着急。此外，鄧家捅破天窗凸顯對江垂廉聽政的反感，甚至好出現了老軍人闖入中南海給江送花圈的事件。而且，海外「訴江」如火如荼地展開，江澤民在多國被起訴。

胡江鬥中胡錦濤漸佔上風。他首先向江的老巢上海砍出了第一刀，將號稱「上海首富」的周正毅以操縱證券交易價格罪和虛報註冊資本罪判刑3年。其後又查辦了上海市委書記陳良宇等。

四面楚歌中的江是無可奈何花落去，但江仍不死心，希望通過出版代表其觀點的自傳來挽回一些影響，其迫切心理超過了以往。最終美國花旗銀行的執行董事羅伯特勞倫斯庫恩在獲得中共允許其在國內開展更廣闊的業務後，按照江的意圖寫了《江澤民傳》。這本僞傳肉麻的對江大唱頌歌，而對於江出賣領土、迫害基督教家庭教會、民主人士和法輪功，以及江的糜爛生活、貪污腐化等卻隻字不提。在法輪功的問題上，該書完全是江的口吻，極盡歪曲誣衊之辭。

就在這一年8月，洪學智、劉華清、楊白冰等老將軍在中央組織生活會上，突然提出江應在四中全會上辭去中央軍委主席職務的建議，得到了上屆政治局委員、中央軍委副主席遲浩田，中央軍委委員王克、王瑞林等的支持。老將軍們的看法由中辦轉至中央委員和候補中央委員。有四十多名中央委員、候補中央委員進行回應，致信政治局，認爲江全退的時候到了。

8月下旬，江在北京西山的中央組織生活會議上當面批評胡溫，指責胡溫要對宏觀調控負歷史責任，說宏觀調控嚴重影響經濟增長，還說如果再引起社會動亂，胡溫要負歷史責任。但胡這一次沒有買它的帳，反而據理力爭，同時擡出喬石和萬里等黨內元老壓制江的氣焰。這樣，西山會議成了胡溫和江攤牌的會議。
老將軍的「逼宮」和胡溫的不買賬，讓江一時無法收場。江因此在會上假惺惺的表示可以隨時退下，決不戀棧，請政治局常委會決定。江在政治局常委會安排了很多自己的人，江相信此舉沒有太大風險。果然，中央政治局常委開會研究後，決定不討論江退下的問題。這正符合江的真實意思。江知道後大爲興奮，認爲自己還是大權在握，有點飄飄然，決定把姿態做得更高一些。

9月1日，江給中央政治局發了一封信，信中強調自己經過「慎重考慮」，提出請辭中央軍委主席。江的真實想法是想做個姿態，平息別人對其貪權的指責，並不是真心想交權。江相信自己提拔的人最後會「挽留」他，然後它就可以再度上馬，名正言順的繼續垂廉聽政。但這一消息很快就被另一派人馬透露到海外。9月6日《紐約時報》就透露了江自己請辭的消息。江的處境非常被動。

9月初，江派居多數的中央政治局常委會正式討論江的請辭信，內部出現分歧。最後的決定是原則上接受江辭去中央軍委主席職務，但鑑於當前形勢需要，請江留任到2005年年底。

按照慣例，政治局常委會的意見要交政治局討論，並徵求一些離休人員和上屆政治局常委的意見。除中共十五屆政治局常委會常委朱鎔基、李嵐清「不表示意見」外；李瑞環、尉健行、李鵬均順勢表示要「尊重」江的要求，支持其退下。中共元老萬里、喬石、宋平、谷牧等也表態「尊重」江的決定。

距離四中全會還有五天，政治局連續討論江的去留問題。會上，個人利益和江緊密相連的那幾個人要求江留任至2005年，所持理由是臺海形勢險惡，江留任可以爲胡分挑擔子，云云。當中央政治局常委會把徵集來的促江下臺的元老和上屆政治局常委的意見發至中央委員、中央軍委委員時，江已無力迴天。

9月13日，中央政治局又召開了擴大會議，中央軍委委員出席參加了討論。會上，被江親手提拔起來的中央軍委委員徐才厚、梁光烈、廖錫龍、李繼耐等紛紛表態，支持江提出的「請辭」。9月14日，離四中全會還有一天時間，政治局討論江去留的會議，從下午一直開到晚上近十一時才結束，最後決定江下臺。江的軍師曾慶紅一看風頭不對，也贊成江下臺。

江在最後幾天指示說，萬一自己必須退下，應儘量讓江系人馬掌握更多實權。在9月14日的中央政治局會議上，江系人馬提議增補曾慶紅爲中央軍委副主席以及增補廣東省委書記張德江、上海市委書記陳良宇爲中央書記處書記，但兩項議案均未通過。

2004年9月19日十六大四中全會最後一天，江被宣佈下臺。9月21日，爲美國《紐約時報》工作的中國助理趙巖在上海休假時被逮捕帶回北京。曾慶紅把持的國安試圖從他打開突破口，查找軍方哪股力量在向海外透消息造輿論，使江假戲成真。

江交出軍委主席的職務，是江全面退出歷史舞臺的開始。儘管江不再頻頻出現在電視上，但是其所留下的諸多問題和犯下的罪行，不可能一筆勾銷。事實上，其統治期間對中華民族和中國社會造成的巨大危害和破壞卻依然存在。他是當今中國社會諸多亂象和災難的製造者。