接過李輔國的奏摺，唐肅宗感到十分疲倦，眼睛有睜不開的感覺。李輔國上前扶住他的身子說道：“皇上身體不適，奏摺就不用看了。現在的重點是平叛，邊疆的事馬虎一下不要緊，攘外必須安內。”唐肅宗沒有深思，批準了李輔國的上奏，下發了聖旨。
韋倫接到聖旨，百感交集，想到自己身先士卒，在前線拼命，得來的竟是貶官。甚是不服，立即又向朝廷遞奏摺，但是得到的回覆是又降了一級。接到聖旨，他的眼淚都出來了。他十分倔強，而且不甘心，從此頻頻向朝廷遞奏摺。但他每上奏一次，便被貶一次官職，從巴州長史一直貶到務川縣尉，由從三品降至從九品。韋倫的雄心壯志被徹底的撲滅了，但他無計可施，只有忍受。但是這樣做對有才能的人打擊太大了，而那些無才的人，便拼命巴結李輔國，好得到重用。如此一來，李亨的朝堂上，好多都是李輔國推薦的。
李隆基回到長安後，一直居住在興慶宮。由於朝廷的收入減少，軍費開支巨大，宮廷內的度支費用不斷縮減，李隆基的開支也一再削減。爲他歌舞的宮女都逐步撤走了，沒有了楊貴妃，李隆基的晚年就靠歌舞音樂來沖淡寂寞。現在歌舞也沒有了，他只能與高力士等人聊天兒，談論一些存年舊事，有時接見一下朝中官員和前方的將帥。
李輔國將這事奏報唐肅宗，挑撥他們父子之間的關係。對唐肅宗說道：“啓奏皇上，上皇天帝很是繁忙，經常接見官員和將帥。其中有沒有不利於皇上的事不得而知。”唐肅宗想到了永王李磷的往事，雖然剿滅了他的反叛，並將其就地正法。但兄弟相殘，影響極壞。心中不快，對唐玄宗有些不滿，父子之間產生了隔閡。但唐玄宗並不知道，他掌握權柄四十多年，接見大臣習以爲常，沒有放在心裏。
唐肅宗繼位之初，尊唐玄宗爲上皇天帝，開始一段時間，唐玄宗還有相當的權力，將韋見素等人推薦到李亨的身邊做宰相。不久之後，李亨便罷免了這些人，就是不希望太上皇再管事。李輔國是有心之人，對出入興慶宮的官員都作有記載，暗地裏上報唐肅宗。
這一天，合該有事，早上起來陽光明媚，因爲久雨初晴，好久沒見過太陽的李隆基就想到室外去轉轉。護衛陳玄禮說道：“皇上四五年沒去勤政樓了，今天天氣這樣好，何不去那裏走走。”
唐玄宗雖然做了四十多年的皇帝，對勤政樓甚是眷戀，很想去走走。但是現在必定是唐肅宗作主，原來跟隨他的官員都放到次要位置上了。他推薦的宰相已經全部下野，知道唐肅宗不願他插手朝中事務，便說道：“我是下野之人了，去那裏還合適嗎？”
高力士說道：“就是看看，走走，又不幹涉朝政，有何不可啊？皇上這些年來寂寞得很，久子容易抑鬱成疾。到外面散散心，病災也少一些。”“說得也是，朕下野之後，從來就沒有過問朝中之事，走走也不礙事。”
在通往勤政樓的路上，唐玄宗見到來往的行人雖然很多，但遠不及昔日的熱鬧。西市也沒有了往日的繁華，生意蕭條。他對跟在車旁的陳玄禮說道：“現在戰事不斷，苦了百姓，錢都用於打仗了。這都是朕的錯啊，真是用錯了人，就壞了社稷啊。”
高力士說道：“您就不必自責了，那胡厥太會僞裝了，誰也沒有料到，整天喊着忠於皇上的安祿山會造反。他已經得到了應有的下場，被他的手下殺了，安氏一門已經絕代了，蒼天有眼啊。”
“報應，這叫報應，安祿山背叛朕，史思明背叛他，而且將他滿門操斬。可當時我就怎麼沒有看清那胡厥的本質呢？”唐玄宗對這件事極爲在意，但這時後悔，已經晚了。
到了勤政樓，樓下的市民和來往行人，見到了李隆基，他們中的許多人都認出了原來的皇帝。現在經濟蕭條，老百姓的日子過得不好，人們都在懷舊，想過天寶年間的好日子。突然見到老皇帝，都很興奮，流着歡喜的眼淚，突然有一人高呼萬歲。
有人帶頭，其他的人也跟着高呼，開始呼喊的人並不多，也不太整齊。但人越聚越多，而且有好事者領頭高呼。人們的勁頭越來越大，很快發展成有節奏的齊聲高呼，聲浪一浪蓋過一浪，響徹雲霄，驚天動地。
李隆基高興得眼淚都流出來了，當即說道：“現下大家的日子過得不好，這都是朕的罪過。朕的兒子肅宗皇帝正在平滅叛軍，你們的日子會好起來的。”
當時李亨正生病，他躺在牀上，突然聽到，“萬歲”的歡呼聲，而且人數甚衆，心裏很是犯忌。連忙尋問身邊侍候他的人：“怎麼回事？怎麼有萬歲的吹呼聲？人數還不少。輔國，快去查查，我在病牀上躺着，在外面喊萬歲，什麼意思？”
李輔國查看之後，回宮上奏：“啓奏皇上，是太上皇在勤政樓接見當地百姓，那些井市之人歡呼太上皇的。”
唐肅宗甚是不悅的說道：“上皇天帝到勤政樓去幹什麼？時局艱難，朕現在犯愁，已經焦頭爛額了。他出來奏什麼熱鬧？”
李輔國說道：“啓稟皇上，這都是高力士、陳玄禮搞的鬼，知道皇上患病，故意引太上皇到勤政樓，蠱惑一些不懂事理的百姓，在那裏助太上皇的興，內心存在着陰謀。應該給他們一些顏色看看，讓這幫人收斂一些，是不是給太上皇換一個地方居住。”
唐肅宗內心矛盾極了，他和唐玄宗表面上雖然相處得很好，但內心之中各有想法，現在他患病在身，想法更多了一些，對李輔國的上奏沒有作出任何表示，緩慢的閉上眼睛，做出要休息的樣子。
李輔國揣摩到唐肅宗的心裏，他私下裏擬了一道詔書，交給張皇後。張皇後將詔書呈給唐肅宗，對他說道：“太上皇還想插手朝政，那樣不是政出多頭嗎？現在皇上有病在身，他是想渾水摸魚啊。輔國替皇上起草了一份詔書，請太上皇去太極宮居住。”
太極宮是供奉唐朝去世皇帝靈位的地方，雖然很大，但十分冷清，並不適宜居住。唐肅宗說道：“讓上皇天帝遷到西內住，不大合適吧。”
張皇後說道：“有什麼不合適的？那裏住着大唐的先帝，是最合適太上皇住的地方。太上皇過於強勢，影響皇上。聽道士說，近期皇上身體不適，就與太上皇有關。”
注：太極宮的別稱。