刘晔，字子阳，淮南成德人，太中大夫、汉光武子阜陵王之后，刘晔历仕数朝，是曹魏的三朝元老。
刘晔七岁时，母亲去世，其母临终时说：“你父亲刘普的仆人有诬害人的秉性，我担心自己死后会出乱局，希望你和你哥哥刘涣长大后能除去此人。”刘晔十三岁时就按母亲遗命，斩杀了父亲宠信的侍者，而后又坦然向父亲请罪，刘普原先大怒，但知道刘晔的动机后，也对他十分欣赏，不作苛责。汝南许劭善于观人，当时杨州避难，称刘晔有佐世之才。
刘晔二十多岁时，天下大乱，扬州地方的豪强们，大多不愿抑强扶弱，而且狡猾残暴，扬州当地有郑宝、张多、许干等人拥兵自重，其中以郑宝最为骁勇果断，才能和力气都很突出，为当地人所忌惮。当时郑宝想掳略百姓，渡过长江到江南地区，看中了刘晔是当地的高族名人，想要强逼他倡导这个计谋。刘晔知道后很害怕，但都没有被郑宝找到，此时曹操派使者到扬州，刘晔去见使者，论及当前时势，并请使者在他那里停留数日。郑宝于是带数百人，带着牛和酒迎接使者，并等待刘晔，刘晔则在中门外设酒菜饭席给郑宝部众，自己则与郑宝在内宴饮，并暗中要人借敬酒的机会杀掉郑宝。但郑宝原来不好酒，并且很留意他们，令那人不敢下手，刘晔于是亲手用佩刀斩杀郑宝，并斩他的头下来，向他的部众恐吓：“曹公有令，敢有动者，与宝同罪。”部众见此都很震惊和害怕，跑回营舍，当时营中尚有精兵数千，刘晔为防他们作乱，即骑郑宝的马匹到郑宝的营门前，向一些首领陈说祸福利弊，最终众人叩头迎纳刘晔，刘晔入营后安抚群众，令众人归服，更推举刘晔为新首领。但刘晔见汉室衰微，自己亦是皇室宗族，不想拥兵，与是将那些部曲，都委托给庐江太守刘勋。
刘勋当时在江淮之间，有很强的兵力，受到孙策的忌惮，于是孙策派使节特以卑下的言辞，和财宝要求刘勋代为攻打上缭城，刘勋相信孙策，更因收得财宝而十分高兴，各人都祝贺，但刘晔则不感喜悦。刘勋询问，刘晔则说：“上缭虽小，城坚池深，攻难守易不可旬日而举，则兵疲于外，而国内虚，策乘虚而袭我，则后不能独守，是将进屈于敌，退无所归，若军今出，祸今至矣。”但刘勋不听，坚持出兵，而孙策果从后乘虚袭击刘勋，刘勋失败后，投奔曹操，刘晔亦跟随。
说起刘晔第一次见曹操，刘晔本传注引《傅子》中，记载了一个比较有趣的小插曲，曹操征召刘晔、蒋济、胡质等五个扬州名士，一路上，其他四人为了在见面后赢得曹操的赏识