于走得匆忙，加之两个儿子尚且年幼，他就没有带上妻子和儿子，而是打算在鲁国安定下来再接回家眷。
但是，由于叔孙豹临行前没来得及向齐灵公辞行，齐灵公一怒之下就将他的家眷扣在齐国，
与叔孙豹一同逃往齐国的人之中有个叫公孙明的，他与叔孙豹曾是亲密无间的朋友。这次他没有跟随叔孙豹回去，而是选择留在齐国。公孙明看到国姜饱受相思之苦且孤儿寡母过得十分艰辛，便主动替叔孙豹承担起做丈夫和父亲的责任。
叔孙豹大怒，他休掉了国姜，同时也抛弃了两个儿子。后来，叔孙豹多次代表鲁国出席诸侯盟会，丙和壬成年后也经常出现在齐国使团中。当时齐灵公已经去世，叔孙豹感念父子之情，就把兄弟俩召回鲁国。
但是刚刚回到父亲身边的两个年轻人无论衣着、口音还是行为举止，都是活脱脱的齐国范儿，从两人言谈举止上可以看到齐国人的一切臭毛病（尤其是傲慢）。叔孙豹看不惯两兄弟的做派，所以对他们一直不冷不热；后来叔孙豹发现两兄弟对公孙明仍然怀有很深的感情，经常与他通信，结果做父亲的就更加疏远两个儿子了。
而叔孙豹最为宠信的却是他的长子，同时也是私生子——竖牛。
当年他在流亡齐国的路上途径耿宗城附近的一个山沟野村时，遇到一个独居的年轻村妇。这个村妇从没走出过大山，更没有见过形容威严而又优雅的贵族，因此她马上就对叔孙豹生出强烈的爱慕之心。她把最好的食物拿出来，细心地服侍他。叔孙豹青春年少，又从来没有亲近过女人，两人相见如干柴遇烈火，当晚就住在一起了。
天下没有不散的一夜情。第二天清晨那，叔孙豹将要上路。妇人问起他的遭遇、问贵族都是上天青睐的贵人，为什么也要逃亡。叔孙豹就把一切遭遇都告诉她了，这个妇人就哭着把他送走了。
叔孙豹到齐国后做了一帘妖梦。他梦见黑压压的上天正塌下来要压垮自己，他举起双臂苦苦支撑却无法取胜。天越压越低，就在他感到绝望而准备放弃时猛然回首，却发现身后站着一个怪人。那人虎背熊腰，五官看不清，但是面貌似猪又似牛。叔孙豹用尽力气大喊道：“牛啊！快来救我！”那怪人“唯”了一声，快步跑过来奋力一撑，就把天推上去了。
第二天早上，他把家臣奴隶全都召集在一起，仔细查找了两遍却没发现长成那副模样的手下。叔孙豹告诉追随者们：“你们记住我刚才描述的那个人的样子，谁发现了就来报告，我会给报信者巨大的赏赐。”
…。。