公元184年，黄巾起义爆发，刘备在涿县组织起了一支义勇军参与扑灭黄巾军的战争，张飞、关羽加入其中，随刘备辗转各地。三人情同兄弟，寝则同床，刘备出席各种宴会时，张飞和关羽终日侍立在刘备身旁。1]
公元191年（初平二年），刘备投奔公孙瓒，与青州刺史田楷一起对抗冀州袁绍，累有战功，被封为平原相，张飞与关羽在刘备手下任别部司马，分统刘备部曲。2]
张飞（画家刘志伟绘）
张飞（画家刘志伟绘）
公元194年（兴平元年），北海太守孔融被黄巾军余党管亥围困，派太史慈前来请求援助，张飞随刘备带兵前往救助。后曹操又因为自己父亲被杀发兵攻打徐州，张飞又随刘备前往徐州救援陶谦，陶谦表刘备为豫州刺史，张飞随刘备屯兵于小沛，后陶谦病死，刘备受邀以徐州为根据。
公元196年，袁术攻打刘备，争夺徐州。刘备派张飞守下邳，自己则将兵在盱眙、淮阴抵抗袁术，双方僵持了月余，互有胜负。下邳相曹豹是陶谦的旧部，与张飞不和，曹豹坚守营寨，又派人去找吕布来救。时袁术给吕布写信，劝其乘机袭下邳，答应事成后，援助吕布粮草。吕布很高兴，率军水陆并进。吕布军队抵达下邳西四十里时，刘备的中郎将丹杨人许耽派司马章诳前来迎接吕布，并向吕布透露了张飞和曹豹相争，下邳城内大乱，丹阳兵都在西白门城内等待吕布的到来，于是吕布便大举进军，早晨到达城下。天亮后，丹阳兵打开城门。吕布坐在城门上，指挥军队大破张飞的部队。吕布俘获了刘备妻小以及刘备的部曲将吏士们的家人。3]
刘备得知后，引兵还，进至下邳，兵马被吕布军队击溃了。刘备、张飞聚集战败失散的士卒，向东进取广陵，与袁术交战，又一次被战败了。4]
后来，由于形势所迫，刘备、张飞只好暂时依附吕布，驻军小沛。吕布还刘备妻小。刘备驻小沛，发展较快，不久便聚众万余人。公元198年（建安三年），吕布军
