鲁昭公心不在国事，始终没有启用孔子；季平子却捷足先登，他把孔子召到身边，给了他一个家族财会的职位。孔子出色地完成了本职工作，但是他一直被人告黑状；季平子后来又命他掌管家族畜牧事务，孔子完成的同样出色。
孔子大概在三十岁（鲁昭公十一年到二十一年）以前一直在季氏家中供职。在此期间，他真正了解到了在街头巷尾永远无法被人所知的、鲁国高层间的明争暗斗和家臣之间是如何勾心斗角的。
孔子心里批判士大夫们的“不忠”，行动上则表现为对任何家臣都敬而远之，绝不加入任何人的小圈子。
季平子家族就是个小公室，家臣就是卿大夫；孔子相当于掌管财务和畜牧业的大臣，每一分权力都能带来利益。于是职位低的人巴结他，职位高的人拉拢他，都想从中分一杯羹。孔子对这种情况是统统予以回绝的。他当了一些人的财路，那些就在季平子耳边说他的坏话。
季平子不得不免去孔子的职务，命他去管理畜牧业，又命阳越代理财务工作。孔子坚持要求对他的工作进行审查，季平子从叔孙婼那借来几位审计人员（季平子不信任自己的家臣），审了半年，结果毛儿也没审出来。
孔子证明了自己的清白，不久便辞职了。
孔子从来没有满足成为一个家臣，他当下的愿望是开办学堂，教导士人遵守周礼，以拯救这个世风日下、物欲横流的堕落社会。
在孔子辞职前的鲁昭公十七年（BC525）秋，郯国君主到曲阜访问，郯国人姓己姓，国家始建于夏代，是个充满了历史神秘感的国家。
鲁昭公设宴款待来宾。席间叔孙婼问郯子：“听说少昊氏以鸟类的名称做为官名，请问是为什么呢？”
郯子是位学识渊博的人，他对本族历史如数家珍，于是说道：“少昊氏是寡人的祖先，那些事我当然知道。从前，黄帝接受天命时天上布满祥云，因此黄帝以云纪事，所有的官职都以云命名。炎帝以火纪事，所以官职都被冠以火字。共工氏以水纪事，太昊以龙纪事。我的祖先少昊即位之时，有凤鸟在天上盘旋不离，于是以鸟纪事。
“其中凤鸟为历正，掌管历法；玄鸟为司分（春分、秋分）；伯赵为司至（夏至、冬至）；青鸟为司启（立春、立夏）；丹鸟为司闭（立秋、立冬）；祝鸠为司徒；鴡鸠为司马；鸤鸠为司空；爽鸠为司寇；鹘鸠为司事。五种鸠为司民官，五种雉尾五工正。但是从颛顼开始，君主就放弃了此种纪事方式，而改为其他名称了。”
…。。