曹操狼狈逃到了酸枣，而各路军阀却按兵不动，曹操一面斥其名为义军却不图进取，一面帮助他们出谋划策，但是军阀为保各自实力，不愿进军。无奈之下，曹操与夏侯惇远赴扬州再次招募兵士，得到4000兵力，但不久兵士发动叛乱，曹操只率领千余人进驻到河内。此时，袁绍与韩馥商议立幽州牧刘虞为帝，曹操竭力反对，说:“董卓罪大滔天，我们聚合义军共同讨伐，天下响应，这是因为我们是义军。现在皇帝年幼无助，一旦另立新君，天下哪里还能安定！”袁绍看到曹操不听他的计策，便又派人游说曹操，说:“现在只有袁绍势力强大，再加上他的两个儿子羽翼逐渐丰满，天下英雄，有谁能比？”曹操不予理会，从此越发看不起袁绍，并下决心找机会将其消灭。

七月，曹操因击破黑山义军而被任命为东郡太守，之后到次年春天几个月的时间里，又连续击败多处义军，并在内黄打败了匈奴南单于的儿子，取得节节胜利。

此后，司徒王允和吕布设计杀死了董卓，但董卓部将李傕、郭汜等人又将王允杀死，并进攻吕布，吕布败走，李傕等人执掌朝政。

曹操在这两年讨伐董卓的战斗中，表现非常英勇，决策也非常英明，尽管各路军阀为了各自的利益，没有按照曹操的意见采取主动进攻的战术，但曹操却勇往直前，尽管明知自己实力无法与敌人抗衡，很有可能会全军溃败，甚至危机个人生命安全，但是，看准了目标，就不惜代价，曹操表现出了一个年轻政治家的坚韧和军事家的睿智。也正因如此，在后来的战斗中，曹操才取得了一个又一个胜利，军事实力逐渐扩大，政治地位也不断上升。

兖州牧

兖州自古以来就是一个具有重要战略地位的地方，得到了兖州，就意味着拥有了山东半岛、河北大部等重要地方。初平二年（公元191年），黄巾义军将兖州刺史刘岱杀死。陈宫认为，如果拥有兖州，就可以利用兖州一步步夺取天下，成就霸王之业。于是在陈宫等人的努力下，曹操出任兖州牧，由此迈出了政治上更为有力的一步。

随即，曹操对黄巾军展开围剿，经过几个月的战斗，曹操大获全胜，黄巾军30万人、百姓百余万人投降曹操，曹操重新整编了这支队伍，整编后的部队起名为“青州军”。这支部队为曹操日后的发展，在军事上奠定了重要的基础。曹操就是利用这支军队纵横驰骋，败公孙瓒、破袁术、征陶谦、击吕布，所向无敌。

兴平元年（公元194年）春天，曹操为报杀父之仇，进攻徐州的陶谦。曹操的父亲曹嵩，董卓之乱时避难在泰山华县，曹操让泰山太守应劭护送父亲到兖州，陶谦则先于应劭秘密派遣数千骑兵到曹家，曹嵩以为是应劭所派军队，没有一点防备。陶谦大军先把曹操的弟弟曹德杀死，曹嵩害怕，从后墙出逃，他先让小妾翻墙，但小妾身体肥胖，好久才翻过墙去。曹嵩逃跑到厕所藏了起来，但仍然被陶谦军队发现，他与小妾先后被害，全家皆死。

关于曹操父亲被杀，历史上也有不同说法，除了上面所说是陶谦秘密派人把他们杀死之外，还有一种说法，是说曹操去迎接带着辎重百余两的父亲，陶谦派遣都尉张闿带领200骑兵护卫，但张闿在泰山华县、费县之间把曹嵩杀了，夺走了曹嵩所带财物，逃奔到淮南去了。曹操一气之下，归咎于陶谦，所以出兵攻打。这两种说法都有道理，但是，从曹操当时的情况来看，后者似乎更为有据，因为曹操借口攻打陶谦，实际目的是要占领陶谦地盘。不管怎样，曹操为了报杀父之仇，在攻打陶谦的同时，所过之处大肆杀戮，招致了后人更多的谴责。甚至有的历史学者说，正是因为曹操这次太过残暴，才导致了他以后的连续失败。

所谓的连续失败，是指如在濮阳与吕布的一次战斗中，曹操包围了濮阳，濮阳的大姓田氏作为内应，曹操顺利进入城中，田氏又放火烧掉了东门，以示绝无反叛之意。战斗中，曹操军抵敌不过，阵脚大乱，部队溃败。吕布的一位骑兵抓住曹操便问:“曹操在哪里？”曹操随口说道:“前面骑着黄马的便是。”这个骑兵放下曹操急急忙忙追赶去了。曹操来到城门，大伙仍在燃烧，曹操便冒着大火突围，但突然落马，左手掌被烧伤。司马楼异赶快将曹操扶上战马，快速逃去。曹操还未回到大营，便遇到自己的大将们因为未见到曹操而心生恐惧，曹操见状，亲自慰劳部队，同时命令部队赶快准备进攻器具，并迅速展开攻势，与吕布对峙一百余天，最后，蝗灾突起，百姓受害严重，吕布粮食也已用尽，双方各自引兵退去。

兴平二年（公元195年）夏，曹操进攻吕布大将薛兰、李封，吕布看到薛兰危险，便出兵相救，薛兰兵败被杀，吕布逃走后又与陈宫率万余人来战曹操。曹操的兵士都外出收麦去了，留在屯里的不足千人，敌人一旦发动进攻，大营难保。于是，曹操就命令屯中妇女守卫城墙，所有士兵外出迎击敌人。屯的西面有一道大堤，大堤的南面树木幽深，一眼望不到边。吕布来到之后，怀疑曹操在树林里埋有伏兵，便告诫说:“曹操诡计多端，千万不要进入他的埋伏圈中。”于是便命令军队在屯南十里驻扎。第二天，吕布再次带兵试图攻袭，曹操则将一半部队埋伏在大堤里边，另一半在大堤外等待机会。吕布进攻，让轻兵先行挑战，双方迅速交战在一起，这时，曹操伏兵迅速登上大堤，步兵、骑兵齐头并进，吕布猝不及防，大败而回。曹操夺得定陶。这年十月，献帝正式封曹操为兖州牧。

出任兖州牧、整编青州军，是曹操政治生涯中极其重要的一步，至此，他不但拥有了与其他军阀同样的政治地位，也拥有了足以与其他武装势力相抗衡的充足的军队，再加上曹操政治上的远见卓识，铲除各路军阀势力、平定北方、统一全国已不再是遥远的梦。