民国34年初，日军从湖南、广州两路犯粤北，余汉谋无力组织抵抗，在抗战中坚持了6年多的战时省会韶关，在日军进攻下仅抵抗了两天便放弃。余率残部退往赣南、粤东。
抗战胜利后，蒋介石任命张发奎为广州行营主任，由广西回广州接受日军投降，余汉谋只分得潮汕、惠州两地的受降权。
民国35年（1946）初，第七战区和第十二集团军均被裁撤。夏，余被升为陆军二级上将，调任衢州绥靖公署主任。
民国37年5月，又升任陆军总司令，但有职无权。
翌年初，蒋介石在下野前，委余汉谋为广东绥靖公署主任。
是年8月，又任华南军政长官公署主任。
余返广东后，曾寄望于广东军人与桂系合作，支持李宗仁维持残局。
因此，他和省政府主席薛岳一道，扩编军队，充实装备，企图顽抗，但又感大势已去，难挽危局。
10月，人民解放军大军压境，余汉谋所部节节败退，从粤北直到广州，既不起义，也不抵抗，直到广州解放前夕，他才于13日从虎门坐海轮赴海口。
1950年5月海南岛解放前，余率残部去tái • wān 。其后，在tái • wān 先后任“战略顾问”，国民党中央评议委员等职。
1965年9月授陆军一级上将。1981年12月27日，因患喉癌在台北去世。