在元末群雄中，陈友谅确实是朱元璋最大的威胁。陈军攻陷太平后，准备挥师东下，一时形势非常紧张。朱元璋手下将士惊恐万状，有主张投降的，有主张逃到钟山去的，只有刘伯温不说话。朱元璋见状，即将刘伯温召入内室请教。刘伯温愤愤地说:凡主张投降的主张逃跑的，都应杀。朱元璋问:先生有什么好计呢?刘伯温答道:陈军小胜就已经产生了骄傲情绪，骄兵必败，我们设下伏兵待其深入，就能很容易打败他们。要成就帝王之业就在此一举了。朱元璋采用了他的计策，果然大破陈友谅军。论功行赏时，朱元璋要重奖刘伯温，但刘伯温坚决谢绝了。后来，陈友谅军攻破安庆，朱元璋率军亲征，在刘伯温的帮助下，又将陈友谅打得大败而逃。此时，镇守龙兴的陈友谅部将胡美见陈友谅大势已去，便派了自己的儿子到朱元璋军前请降，但条件是不要遣散他的队伍。正当朱元璋面现难色，不知是否该同意这一条件时，刘伯温在后面踢了一下朱元璋的座位，朱元璋一下子醒悟过来，答应了胡美的条件。胡美一降，江西各地都跟着投降。刘伯温在关键时刻为朱元璋平定江西立下大功。

在朱元璋和陈友谅最后的鄱阳湖决战中，刘伯温更是居功至伟。朱、陈两军相战于鄱阳湖，第一天便激战数十仗。朱元璋坐在船上为他专设的胡床上督战，刘伯温则侍立一旁当参谋。激战正酣，刘伯温突然大叫一声，一把拉起朱元璋跳到了另外一只船上，朱元璋还没反应过来是怎么回事，一发炮弹飞来，将他原来乘坐的船炸得粉碎。而陈友谅及其部下只见炮弹击中了朱元璋的座船，却不知朱元璋已经被刘伯温救出，因而大喜，不料换了船的朱元璋又突然出现在他们面前，一个个大惊失色。两军大战了三天三夜，一时难分胜负。刘伯温请求分兵拒守湖口，并与陈友谅军相约于金木相克的那一天决战，结果，陈友谅败死。陈友谅死后，朱元璋以摧枯拉朽之势灭掉张士诚，北取中原，终于成就帝业。而这一成就帝业的过程，全如刘伯温与朱元璋“隆中对”所献的策略。

刘伯温不仅是个谋略过人的军师，也是个铁面无私的执法官。大明王朝建立后，刘伯温与左丞相李善长共同辅佐朱元璋。朱元璋巡幸汴梁(今河南开封)，就让刘伯温和李善长留守京都。刘伯温对李善长说:宋、元二朝，就因为法纪松驰而失天下，因此，我们应整肃法纪。于是，令御史纠劾不要有什么避讳，该查谁就查谁。宿卫宦官有了过错，就上报太子然后按法处置。如此一来，无人再敢藐视法纪。有个叫李彬的人，任中书省都事，犯下了贪赃枉法之罪。此人一直追随李善长，和李善长很好，李善长就要包庇他，便与刘伯温商量，希望看在他的面子上，放李彬一马。要是放在今天，第一丞相亲自出马，不看僧面看佛面，不知能有几个清官敢于不给面子的?

刘伯温虽与李善长为朝夕相处的同事，但就是不给李善长这位第一丞相的面子。他将李彬罪行上报朱元璋，得到了朱元璋的批准。当时，京城久旱，正在筑坛祈雨，刘伯温一拿到朱元璋的批准文书，就在祭坛下将李彬斩了。这一来，刘伯温和李善长也就结下了冤家。而这个第一丞相李善长偏又是个外表谦和，内心却忌恨刻薄之人，刘伯温不给他面子，他也就处心积虑要报复刘伯温。朱元璋一回到京城，李善长就告了刘伯温一状，说刘伯温在祈雨的祭坛下杀人，是对老天爷的大不敬，加之那些因刘伯温铁面执法而损失了利益的人，也帮着李善长敲边鼓，尽说刘伯温的坏话，而求了十多天的雨，也一滴未下。朱元璋原本就是个三花脸，便对刘伯温由高度宠信转而产生了不满。刘伯温自然知道伴君如伴虎的道理，正好自己老婆身体欠佳，便以此为由请假回家了。刘伯温请假回家之时，正是朱元璋商议定都之时。朱元璋以一介平民而成帝王之业，毕竟没有多少文化，只为光宗耀祖，竟然想将其老家凤阳定为都城。刘伯温不想自己帮助朱元璋好不容易才打得的天下轻易失去，临走时，还是诚恳地劝告朱元璋，说:凤阳虽然是您的老家，但那里却不是建立都城的地方。王保保(汉人，元朝将领)还活着，不可轻视啊!果然，朱元璋平定西边的战事进展得不顺利，便又将刘伯温召回京城。这次，朱元璋要给刘伯温重赏，准备封刘伯温的祖父、父亲为永嘉郡公，提高刘伯温的爵位，但刘伯温都坚决地谢绝了。由此可见，刘伯温和那些利欲熏心之辈毕竟不同，他始终保持了头脑的高度清醒。第一丞相李善长就缺乏这种清醒的头脑，结果不仅自己不得善终，还害了自己一家70余口人。

刘伯温性格刚正，处事公允。朱元璋曾因事责怪丞相李善长，刘伯温并不落井下石，相反，他客观地向朱元璋劝道:李善长是您有功的老部下，他很能调和将领间的矛盾，是应该重用的。朱元璋听后叹道:他曾多次陷害你，你却如此帮他说话!后来李善长罢相，朱元璋准备用杨宪为相，征求刘伯温意见时，刘伯温坚决反对。刘伯温说:杨宪有丞相之才却无丞相之器量。当丞相的，应持心如水，以义理为判辨是非的标准，杨宪是做不到这些的。朱元璋又问汪广洋可否为相。刘伯温说此人比之杨宪更差。又问胡惟庸可否为相。刘伯温说:这好比让胡惟庸驾车，我担心车辕会被损坏。这个不行，那个也不行，朱元璋大约不高兴了，说道:如此说来，我的丞相就只有你才能担任吗?刘伯温答道:我疾恶如仇太过，而且也承受不了繁重的工作，若我为相，会辜负了您的恩德。天下这么大，哪里会没人才呢?希望您仔细察访。但目前这些人，确实都不适于当丞相。天下没有不透风的墙，刘伯温的评论将这些人都得罪了。刘伯温真能预知未来，那就不会说这些话，或者，会换个说法。

刘伯温被后人神化，除了他在帮助朱元璋打天下过程中的神机妙算被过分渲染以外。显然还和他超凡脱俗的性格有关。他料事准确，性格刚正，疾恶如仇。朱元璋洪武三年(1370)十一月大封功臣，授刘伯温开国翊运守正文臣、资善大夫、上护军，封诚意伯。刘伯温被封了这么高的官，却不贪恋富贵，洪武四年，便告老还乡了。刘伯温回到老家后，除了下棋喝酒之外，从不提起自己建功立业之事。当地知县几次求见，刘伯温都不答应，这位知县无奈，只得化装成老百姓去拜见他。刘伯温正在洗脚，便叫自己的儿子将化了装的县令领了进来，并准备设便饭招待。到此，县令才说明我就是某某人，刘伯温一听是知县，马上惊恐失色地站起身来自称草民，并礼送知县出门，不复再见。