孟子还了淳于髡一拳，可是淳于髡也不是好缠的人物，他听孟子这样自我标榜，就露出一点他的看家本领，滑稽挖苦的味道来了。
他说：当年你们鲁国——文化的中心——周公的后代鲁缪公的时候，公仪子做宰相，有学问，有道德，旁边还有两位贤人，子柳和孔子的孙子子思。可是鲁国一天一天衰弱下去，领土被剥削，幅员逐渐缩小。由此看来，历史证明，他们这帮书呆子，讲道德学问，理论是高，实际上对国家政治，毫无用处。
他这些话，等于说这些贤人，都是饭桶。当然，他没有直接骂孟子，他骂人是转了十七八个弯，让听话的人听了去头痛。他指的是鲁缪公的时代，可是连孟子的老师子思都骂进去了。双方的对话都很尖锐。
孟子说：这个话很难讲，百里奚是虞国的人才，而虞国的诸侯，不知道用他，结果百里奚只好放牛。秦缪公知道这个名人，就把他从楚国的俘虏中弄来做宰相，结果秦国称霸。同样一个人，能否建立功业，还要看老板好不好才行。
孟子几句话就把问题推开了。可是他们两个，不正面讨论现实问题，不明讲孟子的去留，都讲历史，借历史的故事，来辩论目前的现实问题，所谓借题发挥。这有一个好处，就是大家只在研究历史，好像两个老太婆见面，只说张家长，李家短，不说你的儿子怎样，我的女儿又如何，这样可以免得在现实问题上闹僵，下不了台，但能知道对方的意向。
曰：“昔者王豹处于淇，而河西善讴；绵驹处于高唐，而齐右善歌；华周、杞梁之妻，善哭其夫，而变国俗。有诸内，必形诸外；为其事而无其功者，髡未尝覩之也。是故无贤者也，有则髡必识之。”
淳于髡又说：从前卫国有位很懂得制乐谱、齐声合唱的王豹，当他在淇水为首长的时候，黄河以西一带的人，受他的影响，都很会齐唱。我们齐国还有一位很会吟诗的绵驹，他住在高唐的时候，我们齐国西边的人，受了他的影响，也都很会唱诗。我们齐国以前还有两位大夫华周和杞梁，他们在庄公伐莒的时候，同时战死，而他们的妻子，都哭得很哀痛。后世流传的民间故事，孟姜女哭倒万里长城，就是杞梁的妻子。此事影响后来全国的妇女，在丈夫死时，都哭得非常哀痛，改变了整个国家的风俗。这种风俗，一直流传至今，乃至于有的富贵人家，或因身体不支，或因年老体衰无能哀哀痛哭的，也要雇请善哭的女人，披麻戴孝，在死者的灵前，呼天抢地，代替她去号啕大哭，表达心中的悲痛。女性的职业哭丧，是唐朝以后才有的，这种哭丧者的风俗，自杞梁的妻子开始流传下来，也是中华文化的特点之一。
淳于髡举了这几个例子以后，说出一个道理来。他说：老先生，一个人内在有真正的本事、学问、修养，就会在外面表达出来，做得出来，是可以看见的。如果说一个人，有理想，出来做事却没有成果、功绩，对不住，我从来没有看见过这样的贤者。换言之，会吹牛的，亦要吹出一个成果来，你孟老夫子吹了半天，一声不响就卷铺盖跑掉。大概这个社会上没有一个有本领的人，如果有这样的人，我一定看得见。
淳于髡等于说，你孟子不是一个有本领的人，如果有本领，我一定看得见。他当面说孟子不是圣贤，没有本领，使孟子面子上很下不去，淳于髡这种话真厉害，讲得相当严重。
曰：“孔子为鲁司寇，不用；从而祭，燔肉不至。不税冕而行。不知者，以为为肉也；其知者，以为为无礼也。乃孔子则欲以微罪行，不欲为苟去。君子之所为，众人固不识也。”
孟子怎样答复他呢？他只有讲老实话，但还是讲当时的历史，不讲现实。他说：孔子当时在鲁国作司寇，只三个月就辞职不干了，但是还是住在国内。后来又为什么离开了鲁国？因为齐国的诸侯齐景公，认为如果鲁国再用孔子，不需要三年，鲁国将成为霸主，各国都无法与鲁国抗衡。于是和宰相晏婴商量，想办法离间鲁定公与孔子君臣的关系，送了一班女乐——漂亮的歌舞女郎到鲁国，把鲁定公迷住了。孔子当然反对，但天下最厉害的是美人计，这班美女一到，孔子再反对也没有用，而且又使鲁定公不高兴，所以孔子就要离开鲁国。
但他若在这个时候出国，在鲁国这个周公后裔的礼义之邦，就表明领导人鲁定公一定有重大的失德之处，将来历史上一定记载，孔子的去国，是鲁定公的大过错，而不是孔子的错。孔子为了这个原因，不能离开鲁国，而心里痛苦得很。刚好，此时国家举行祭祀大典，孔子也参加了祭礼，依照古礼，祭祀用过的肉，应该分送到与祭的大臣们家里。可是鲁定公被女乐们迷住了，没有把祭肉送到孔子的家里，于是孔子吩咐学生们准备行李，计划出国。他借这一件小事出去，为鲁定公保留面子，说是因为鲁定公觉得自己和学生们并不重要了，所以出去考察，周游列国，以免暴露了自己国君迷于女色的失德不仁。不知道的人，以为孔子只是为了分不到冷猪肉而出国；稍微明事理的人，也只是以为孔子是为了礼仪上的问题出国而已。
孟子把这故事说给淳于髡听，等于说，不是我老孟想离齐国，是你们齐国的国君，对我已经没有礼貌了。有我不多，无我不少，冷板凳坐不了，只好走了。
所以他最后一句话，“君子之所为，众人固不识也。”一个大人君子，他做人处世的方法，不是你们一般人所能了解的，我有当年孔子一样的处境和心情啊！
当然这是个机密，淳于髡还不知道，听了孟子这些话，只好点头说“原来如此”了。