送走了严舆与王连，太史慈找来徐岩，解说了自己的计划。
徐岩很担心。太史慈是善战，但三百人太少了。严白虎的人马都是乌合之众，而且首鼠两端，与当地世家豪强多有联系。吴郡世家已经大多依附孙策，严白虎的很可能也投降了孙策，借机来诱太史慈入彀。
徐岩这么想是有道理的，孙策要去会稽，必然经过乌程。严白虎有没有与孙策见面，谁也不知道，但他们没有交战是明摆着的，否则严舆不会只字不提。严白虎自称是严助后人，原本也是吴县的，乌程是孙坚的封邑，又是沈家的地盘，而沈家和孙策的关系非常好，沈友还代替孙策指挥了吴县之战。
各种因素综合起来，徐岩觉得严白虎不可信。太史慈不仅不能依靠他，还要防着他。一旦中伏被围，这三百人根本不是对手。而离开了太史慈，他们也不是祖郎的对手，只能放弃铜官山大寨南撤。
太史慈知道徐岩说得有理，但他还是要冒险。刘繇正在豫章做准备，孙策一旦占据会稽，很快就会西进攻击豫章。他能拖住孙策一天，刘繇就多一天准备时间。严白虎不可靠，他防着严白虎就是了，不能因此坐视孙策攻灭会稽世家。
他也试探了严舆，从严舆的反应来看，似乎严白虎还没有依附孙策。阳羡许家已经灭门了，铜官山迟早要放弃，不如趁此机会南撤。与严白虎等人并肩作战，建立联系，南撤的时候也可以避免发生冲突，挑选一些好地盘。
徐岩无法劝服太史慈，只得答应了，连夜挑选了三百多身强力壮的青壮，配齐武器，每人带十天的干粮，随太史慈赶往钱唐，剩下的人由徐岩率领，择机南撤。
第二天一早，天刚蒙蒙亮，太史慈就离开了铜官山。
太史慈的行动没能逃过祖郎的眼睛。但祖郎以为太史兹是要偷袭他，完全没想到太史慈会一直向南去了。等斥候汇报说太史慈越走越远，一去不回，他才意识到自己误判了形势。他一面派人通知孙策和郭暾，告诉他们小心太史慈，一面发起了进
