咸豐十年（1860）初，清軍江南大營再被太平軍一舉擊潰，蘇、浙的形勢萬分危急，朝廷連下八道命令催促曾國藩率部救援，并授予其兩江總督實職。為配合朝廷援蘇、援浙的要求，曾國藩把湘軍大本營從安徽宿松搬到皖、浙、贛三省交界處的祁門縣，李鴻章卻大不以為然。他說，那個地方像個鍋底，兵家把這樣的地方稱為絕地，如果把大營建在這里，等于自尋死路，從戰(zhàn)略上看十分危險，必須趕緊離開。曾國藩不從，李鴻章再三陳說。受李鴻章移軍思想的影響，湘軍上下要求曾國藩移師的呼聲日漸高漲。

曾國藩執(zhí)意駐守祁門，主要由下列因素促成：

一是曾國藩認(rèn)為，祁門地連皖、浙、贛三省，皖南東部又與江蘇接壤，戰(zhàn)略地位十分重要，目前不僅可阻太平軍由浙、贛兩省進(jìn)援安慶之路，力保湘軍糧餉重地江西、湖北以及老家湖南的安全，而且將來可為進(jìn)兵蘇南張本。二是曾國藩有意做給朝廷看，以表明自己堅決執(zhí)行朝廷命令的態(tài)度。三是曾國藩認(rèn)為，當(dāng)此“軍心動搖之際”，大營一旦移動，勢將造成軍民紛亂，出現(xiàn)大潰局面，還不如暫時固守祁門，“以待事機(jī)之轉(zhuǎn)”。

也就是說，李鴻章建議移軍完全著眼于軍事，曾國藩死守祁門則是兼顧政治。在曾國藩看來，軍事當(dāng)然必須服從政治。正因如此，所以不管什么人勸他移軍，他都固執(zhí)不聽，說得多了，說不定還會被他嘲笑一頓。

受到曾國藩嘲笑還算客氣。有一次，李鴻章再勸曾國藩移軍，曾國藩居然十分氣憤地公開聲稱說：“各位要是膽小怕事，都離開好了！”

不久，李鴻章果然因為反對曾國藩彈劾李元度一事而負(fù)氣出走。

李鴻章雖然離開了曾國藩幕府，但并未割斷與曾國藩的聯(lián)系，他多次直接寫信勸說，或請胡林翼代勸曾國藩從祁門“及早移軍”。胡林翼不僅支持李鴻章的主張，而且說李“頗識時務(wù)”。

緊接著，曾國荃也從安慶前線派人送來一封“情詞懇惻，令人不忍卒讀”的信件，用近乎哀求的口氣請大哥迅速移軍東流或建德。

更讓曾國藩動心的是，在太平軍攻擊之下，祁門大營危如累卵，一日數(shù)險，有一次太平軍前鋒距祁門大營僅有十八里，形勢岌岌可危，在祁門坐以待斃的曾國藩再次遺囑后事。全軍瀕于瓦解之際，曾國藩身邊人員“凡前言祁門可屯者”，此時也“皆更請國藩亟去”。

曾國藩這才下定決心，將兩江總督衙門從祁門山區(qū)搬到長江邊上的東流（位于安徽省東至縣長江南岸），并對李鴻章高超的戰(zhàn)略眼光殊為欣賞。

“祁門移軍”之爭產(chǎn)生的裂痕尚未彌合，李鴻章與曾國藩又因李元度事件矛盾再起，可謂一波未平，一波又起。

李元度是曾國藩的老秘書。早在曾國藩奉命回鄉(xiāng)辦團(tuán)練時，在湖南做教諭的李元度就加入了曾國藩幕府，參贊軍務(wù)，患難相從。在曾國藩眾多幕僚中，除劉蓉、郭嵩燾這些老朋友外，就數(shù)李元度資歷最老了。尤其是在湘軍最初屢打敗仗，曾國藩幾次被人“打落門齒”之時，劉蓉、郭嵩燾等人都不肯出來相助，勉強(qiáng)拉出來后也很快借口離去，王闿運(yùn)《題銅官感舊圖》所寫“劉、郭蒼黃各顧家，左生（左宗棠）狂笑罵豬耶”，指的就是此事，唯有李元度忠心耿耿，不離不棄，與曾國藩同甘共苦度過了七八年艱難歲月。李元度的忠誠和支持，無疑比金子還珍貴，對事業(yè)初創(chuàng)時期的曾國藩實在太重要了。

然而，李元度擅長文筆卻缺乏軍事本領(lǐng)，曾國藩也深知其并非統(tǒng)軍之才，只因自己私情薦舉，李元度才被任命為徽寧池太廣道即皖南道道員，領(lǐng)兵駐防徽州（今安徽省歙縣）。

徽州是皖南通往浙江、江西的要道，軍事地位非常重要，是祁門大營的大門。在太平軍進(jìn)攻的時候，李元度違反曾國藩堅壁自守的指令，擅自出城迎戰(zhàn)，結(jié)果一觸即潰，徽州陷落，大門洞開，湘軍大本營祁門因此喪失防守的前哨陣地，直接暴露在太平軍的面前。