稳脚跟，就算去了，也未必还能有胜算。
而且到时候祖逖不见胡汉军来迎，又听说近在咫尺的裴该反而遇敌，哪怕一只脚已然踏进了洛阳城的废墟，也很有可能转过身来，东进夹攻，那刘乂就彻彻底底地死路一条啊——先别管刘粲的奸谋和自家的储位了，保住小命才是第一要务。
故此刘乂便将除东宫护卫外的所有骑兵都交给了刘丹，命其率先进发，去取河阳。河阳守将赵固，本是晋人，后来一度归降胡汉，与王桑一起纵横青徐，还干掉过裴该的族叔、徐州刺史裴盾。再其后流蹿河北，为刘演所破，王桑战殁，赵固狼狈东归，听说刘粲打算请旨降罪，取他的首级，便在荀组的遣使劝说下，又再返归晋朝阵营。
赵固还在胡汉军中的时候，曾经接受过刘丹的领导，对刘丹非常敬畏，因此刘丹统率七八千骑兵汹涌杀来——虽然泰半是氐、羌的杂骑——赵固当场就慌了，急忙遣使向河阴的荀组和怀县的郭默求救。可是救兵还没赶到，刘丹的劝降书信就射入了城中，宽慰赵固，说你若肯归降，不是降大单于，而是降皇太弟，有皇太弟做靠山，还怕大单于将来重提前事，对你不利吗？
赵固踌躇竟夜，最终还是开城投降了。刘丹进驻河阴后，便即派兵遣将，勘测黄河水文，寻找渡口、搜集船只，做出渡河的假象来。消息传到对岸的河阴，荀组大惊失色，赶紧整理行装，随时做好弃城而逃的打算。
他几乎每隔一刻钟就会询问部下：“胡贼渡河否？”敌军若是渡河来袭，我城小力卑，根本扛不住，祖逖还在数百里外，不及救援，那还是赶紧撒丫子跑路为好吧。问过这么十几回后，部下也都明了了太尉的心思，便即诓言道：“胡贼已登舟矣！”荀组二话不说，当即跨上马背，带着家眷、部属，就一口气逃出了河阴城，经过洛阳废墟，直接跑回老家颍川去了。
等他到了颍川，祖逖大军才至襄城，两个侄子——荀邃、荀闿——领着族人、部曲前去投奔，叔侄正好前后脚错过。于是荀组写信给侄子们，要他们
