在聊天，他们谈兴正浓，尤其是讲到神仙，孙权更是眉飞色舞，哪知虞翻从这儿过了一趟，冷眼看了他们一下，白了一句：什么神仙，都是死掉的人，世界上哪里有神仙孙权和张昭面面相觑，心里想着家伙真损，闹了半天，我们都是小孩科，就你学问大。
后来孙权做了吴王，起身给众臣劝酒，没想到虞翻却趴在地上装醉，孙权扶起他他却又倒了下去，孙权大怒，拔出剑就要杀了他，还好众臣劝告，虞翻才免于一死。虞翻后来多次言语冒失，触怒了孙权，终于被流放到了交州。到了交州，虞翻专注教学育人，又继续为各种古籍作注，当他听说公孙渊要与孙权交好，想要阻止但又不敢，于是让吕岱带传个话，但是吕岱也不肯，后来虞翻更被人中伤，被流放到了苍梧郡。知道公孙渊反叛，孙权才想起了虞翻，派人去寻找虞翻，说如果他没死就把他带来到建业，如果死了，就送到会稽，可惜的是，虞翻最终没能熬到孙权的使者到来，死在了家中，享年七十。
虞翻学问很大，就是在交州也在那里讲学，学生时常也有数百人，并且为《老子》《论语》和《国语》等书做注，他的易学造诣深厚，孙权曾称赞他“不及伏羲，可与东方朔为比矣。”，可惜因为口无遮拦，才使得他在朝廷上备受非议，甚至差一点身首异处。