改世袭制为宗法制，还有一个重要的条件，就是已经形成了君权和宰权的分离。用现代术语来比喻，就是所有权和管理权的分离，董事长和总经理的角色分离。随着社会组织的扩大，调节社会组织内部关系的任务越来越重，人们对最高领导人的角色期望，从一个能力超强的指挥者，逐渐转向一个公正的仲裁者和调解人。最高领导人的角色转换，是宗法制程序继承得以实行的基础。
但即使实行了宗法制，也还是程序继承与遗嘱继承相结合，而形式上以君主选择继承人（遗嘱继承）为最终的决定。何况在周朝一代，也只是在周王位的传承上基本实行了宗法制，诸侯国就难说了。于是，就凸现了储君制度，储君制是程序继承和遗嘱继承的结合。本来要在君主临终前才提出的继位人问题，而今在君主年富力强的时候就确定了，安排好了。储君（太子）制度，是程序继承与能力选择的折中，从正面意义说，可以在较长时间里对继位人进行培养、考察；从负面影响说，把夺位斗争的时间拉长了，也复杂化了，使君位继承成为国家政治的一个首屈一指的重大问题，耗费了执政者的大量的心思与精力，也成为政治动乱的一个重要原因。
本章就是在这样的背景下提出的。
从先秦典籍文献中看，君主的妻妾参政，就是为了自己生的儿子当继位者。所以伙同儿子，与近臣相勾结，争夺继承权。这是当时政治家非常关心的问题。
《管子·小匡》讲了这样一则故事。管仲拜相三日后，齐桓公就对管仲说：“我有三样大毛病，还能不能当好国君呢?”管仲回答说：“我没听说过，不知道。”齐桓公说：“很不幸，我非常喜欢打猎，夜里也会出去打猎，打不到飞鸟就不回家。诸侯派来的使者找不到我，行政和司法长官也无法向我汇报工作，耽误了外交内政的大事。”管仲说：“这嗜好虽然不好，但还不要紧。”齐桓公又说：“很不幸，我还特别爱喝酒，白天喝了夜里还接着喝，耽误了外交内政的大事。”管仲说：“虽然是不好，但还不要紧。”齐桓公再说：“我的行为有污点，很不幸，我非常喜欢女色，因此，亲属中美丽的姑娘也有不嫁出去，占为己有的。”管仲说：“虽然是不好，但还不是最要紧的。”齐桓公闻言板下脸来，说：“如果这三桩行为都还可以，那么，还有什么不可以做的?”
《管子·小匡》篇接着说：“（管仲）对曰：‘人君唯优与不敏为不可。优则亡众，不敏不及事。’”
照管仲的说法，对国君来说，有“优”与“不敏”这两样缺点，比“好田（猎）”、“好酒”、“好色”更危险得多。“不敏”是“不勤勉”的意思，故曰“不敏不及事”，就是“不勤勉办不成事情”。那么，“优”又是怎么回事呢?
“优”，作“优游”解时，正面的意思是和乐优闲的意思，相当于今天说的“享乐”与“休闲”。古代贵族宴游时常有人演剧、跳舞、玩杂耍等以供取乐，这类演员就称之为“优”或“倡”或“俳”。先秦时君主与贵族有养优之风，这和古希腊贵族有养同性恋的娈童差不多。但中国的“优”作为君主的亲信，在政治方面是一股重要势力，翻手为云，覆手为雨，助长君主的不良意识，怂恿君主为所欲为，所以，管子将之视为政治上的最大一大祸患。孔子在本句中所指的“小人”，应该有一大部分是指的“优”。
《韩非子》中对此有反复的论述。
特别是其中一篇《八奸》。头三条：
一曰在同床。何谓同床？曰：贵夫人，爱孺子，便（读如“蹁”）僻（通“嬖”）好色，此人主之所惑也。托于燕处之虞，乘醉饱之时，而求其所欲，此必听之术也。为人臣者内事之以金玉，使惑其主，此之谓同床。
可见这“同床”指的就是“女”。“贵夫人”是君主的妻，“爱孺子”是君主的妾。“孺子”，是指年轻的、幼小的人，现在专指儿童，如“孺子可教”、“孺子牛”等，先秦时还指妾，因为妾比妻一般要年龄小许多。后来，大夫的妻子封号叫“孺人”，“孺子”就专指儿童了。这里的“爱孺子”还是指妾。君主的妻妾，“便僻好色”，逢迎谄媚叫“便僻”，“好色”就是美好的容颜，这是能使君主目迷心惑的。在私下欢娱之时，乘酒醉饭饱的当口，提出要求，希望欲望得到满足，这是君主必定会听的。有臣子贿赂君主的妻妾，让她们迷惑君主，这就是“同床”之奸。
二曰在旁。何谓在旁？曰：优笑侏儒，左右近习，此人主未命而唯唯，未使而诺诺，先意承旨，观貌察色以先主心者也。此皆俱进俱退，皆应皆对，一辞同轨，以移主心者也。为人臣者内事之以金玉玩好，外为之行不法，使之化其主，此之谓在旁。
“在旁”就是“小人”。“优笑侏儒”，是娱乐君主的，也是供君主差遣的。君主因为他们不可能篡位夺权，就对他们放心使用，渐渐地就为他们控制，当然这是柔性的控制，就像网把人罩住。“左右近习”，“左右”，现在写作“佐佑”，帮助的意思。君主一直把“优笑侏儒”当左右手来使用，慢慢的就习惯成自然了，“近习”，接近于习惯。怎么会使君主习惯被小人“左右”呢？你看，“此人主未命而唯唯，未使而诺诺，先意承旨，观貌察色以先主心者也。”君主还没有说出口的话，小人已经领会了；君主还没有使唤，小人已经去做了。“先意承旨”，甚至在君主的意愿明确之前，小人就揣摩到了他的心思，先去筹办了，“观貌察色以先主心者也”。君主被伺候得这么舒舒服服，怎么会不甘心情愿地受其控制？而且，小人们还很团结，步调一致，“此皆俱进俱退，皆应皆对，一辞同轨以移主心者也”，这让君主感到他们是出于公心、代表民意，就更加相信自己的英明。有臣子一方面贿赂他们，另一方面帮他们在外面横行不法。让他们去使君主不知不觉地发生改变（化其主），这就是“在旁”之奸。
三曰父兄。何谓父兄？曰：侧室公子，人主之所亲爱也，大臣廷吏，人主之所与度计也，此皆尽力毕议，人主之所必听也。为人臣者事公子侧室以音声子女，收大臣廷吏以辞言，处约言事，事成则进爵益禄，以劝其心，使犯其主，此之谓父兄。
“侧室公子”，就是君主庶出的儿子，君主往往因为喜欢年轻貌美的小妾而喜欢庶出的小儿子。“大臣廷吏”，是在朝廷上有发言权的重臣，“人主之所与度计也”，君主要和他们讨论国家大事。他们的意见，君主是非常重视的。有臣子就去攀附侧室公子，送他们歌舞班子，把女儿送上门去；又去拉拢大臣廷吏，许诺他们如果能使侧室公子继位，就加官晋爵。这就是“父兄”之奸。“父兄”就是本句中所说的“子”。
韩非子还说：人主之患在于信人，信人则制于人。人臣之于其君，非有骨肉之亲也，缚于势而不得不事也。故为人臣者，窥觇其君心也无须臾之休，而人主怠傲处其上，此世所以有劫君弒主也。为人主而大信其子，则奸臣得乘于子以成其私，故李兑傅赵王而饿主父。为人主而大信其妻，则奸臣得乘于妻以成其私，故优施傅丽姬，杀申生而立奚齐。夫以妻之近与子之亲而犹不可信，则其余无可信者矣。
君主招致祸患的根源，在于太相信人了，相信人就反过来受制于人。做臣子的和他的君主并没有骨肉亲情，是因为迫于权势而不得不服侍。故而做臣下的，没有一刻不在窥探君主的心思，而君主处于高位却懈怠傲慢，这就是世上不断有劫持杀害君主的事情发生的原因。做君主的太相信自己的儿子，就有奸臣能够通过利用他的儿子来达到他个人的目的，这就是李兑帮助赵惠文王饿死他父亲赵武灵王（那时他已经让出王位，做了太上王，号称“主父”）的故事。做君主的太相信自己的妻妾，就有奸臣能够利用他的妻妾来达到他个人目的，这就是优施帮助丽姬杀害太子申生而立丽姬的儿子奚齐继承君位的故事。以妻妾这样的接近与儿子这样的亲密，尚且不可相信，其他人就没有谁是可信的了。
韩非子的话赤裸裸地揭示了春秋战国期间，为了争夺君位，父子相残，兄弟阋于墙，同床异梦的残酷现实。所以，孔子说，“唯女、子与小人为难养也”，实在是相当委婉的说法。
这里，还要解释一下“小人”的含义。
前面已经说到过“君子”。孔子对“君子”的定义是有所改造的。在《老子》中，“君子”是与“圣人”相对而言的，“君子”就是指诸侯等有封地的贵族。“君”和“子”都是尊称，所以合起来就是对贵族的尊称。从孔子开始，把“君子”的外延扩大了。一是向上拓展，把进入小康社会，实行世袭制以后的国王，像禹、汤、周文武都划到“君子”范围内，而这之前的有道的国王是称“圣人”的。二是向下扩大，“不亦君子乎？”一句话，就把安贫乐道、學而不厌、诲人不倦的民办学校教师扩大到“君子”的行列中，这样，“君子”就从一个社会身份的概念，变成了伦理价值的概念。在《论语》中，“君子”主要是与“小人”相对而言的，所以，也是一个伦理价值的概念。
“小人”所指的人的伦理水准是什么呢？
《孟子·告子上》篇中有段对话对此说得很清楚：
公都子问曰：“钧是人也，或为大人，或为小人，何也？”孟子曰：“从其大体为大人，从其小体为小人。”
“小人”就是“从其小体”，志向不高的人。综合老孔庄孟的其他论述来看，圣人修的是道德，君子重的是仁义，小人求的是功利。所以，孔子说：“君子喻于义，小人喻于利。”你对君子，晓以大义，他会激动、振奋，对小人就不行。要对他说干这件事怎么有利，他才会被鼓动。
所以，在《论语》中，说“小人”，并不是严厉的批评，更不是道德谴责。更多的是看作一种世俗常态。所以，孔子有时也谦称自己是“小人”。如《礼记·哀公问》篇中，有这样一段对话：
哀公问于孔子曰：“大礼何如？君子之言礼，何其尊也？”孔子曰：“丘也小人，不足以知礼。”
当然，这“小人”谦称里只是表示自己地位卑下，“君子”也只是指称社会地位，即贵族，所以后面有“今之君子好实无厌，淫德不倦，荒怠敖慢，固民是盛，午其众以伐有道，求得当欲不以其所”这样的话。参照王文锦《礼记译解》中的白话译解，这段话是说，今天的君子啊，贪爱囤积而不知满足，过分获取而不知厌倦，荒淫怠惰而态度傲慢，盛气凌人地倨于民众之上，违逆众心地去侵犯有道的国家，为了满足私欲，不择手段。显然，“今之君子”不是伦理价值意义上的“君子”。因为从孔子开始，对“君子”“小人”概念加以改造，所以，在孔子的话里，有时“君子”“小人”是社会身份意义上的，有时是伦理价值意义上的。两类概念，有联系也有区别，要看具体语境而定。而伦理意义上的、负有经世济民的责任的君子，不能随波逐流，放松对自己的严格要求。因为混同于小人，就担不起使命。
孔子接下来解释为什么说“唯女、子与小人为难养也”。“近之则不孙，远之则怨。”这也是委婉的说法。中国古代就有委婉修辞，把很严重的事情用很温和的形式表现出来，这样也有利于说话被对方接受。这里的“不孙”，就是“胆大妄为”的意思，“怨”就是“图谋不轨”的意思。
还需要解释的是这个“则”字。“则”，我们通常作副词“即”、“就”来理解，但根据我的考证，在《论语》成书时代，有许多字应该首先考虑从本初义来理解，因为方块汉字作为表意文字，在早期首先是以本初义来使用的。
像“则”字，本初义是等划物。“贝”代表钱财货物，“刂”代表收到钱财货物以后，用刀在木板或竹片上刻下的条纹，就是古人记的账。这个刀刻条纹就等于是钱财货物，所以，有等价物的意思。计算钱财货物的数量，以刀刻条纹为准，就引申出了“标准”“法则”的意思；从作名词的“标准”引申出作动词的“规范”的意思；从作名词的“法则”引申出作动词的“效法”的意思。从作名词的“等价物”的意思，引申出作动词的“等于”的意思，再引申出作副词的“即”的意思，再引申出作连词的“就”的意思。今天，我们一般在“就”的意义上使用“则”，只在“准则”、“法则”、“原则”等词中保留了它的本初义，但尽管还经常在使用这些词，不查词典，却不知道这些词中为什么要用“则”。而在孔子时代，一个字就是一个词，“则”应该在本初义上用得多，转义再转义的“就”的义项用得少。所以，能用本初义解释得通，甚至意思更符合当时人的说话、思维习惯的，就应该从本初义。
根据这项原则，我认为，本句中的两个“则”，应该解释为“规范”。“近之则不孙”，意思是，你亲近他们，然后去规范他们，他们可能不听教训；“远之则怨”，你和他们保持一定的距离，然后去规范他们，他们又会抱怨。
“则”作“规范”来理解，那么，按古汉语的习惯，“之”不是作代词理解，而是作连词“而”理解，则更好。这句话，如标点为“近之（而）则，不孙，远之（而）则，怨”，今人理解起来可能更容易些。
按照本来的解释，亲近了，他们会“不孙”，疏远了，他们会“怨”，近不得，远不得，那就不是“难养”，而是简直不能养。但不养又不行，不要说君主，就是一般人，没有条件养“小人”，妻子和孩子总还是要养的，那怎么办呢？所以，这句话的重点还在不起眼的“则”上。不去规范他们的行为，可能“近之”、“远之”都无所谓，“女”“子”“小人”会把君主哄得团团转、很开心，君主也察觉不到他们的“不孙”和“怨”。你要去“则”了，要去规范他们的行为了，他们就不高兴了，就给你颜色看了。君主才觉得“养”的难了。但不规范他们的行为是不行的，尤其是君主身边亲近的人，因为他们的行为会直接对政治造成影响，若产生负面作用，破坏性是很大的。所以，孔子说“唯”——只有“女”“子”“小人”这些君主亲近的人的“养”的问题“难”处理，提醒处理好这些关系是个“难”题，是个必须花心思去做好的大事。对他们的养，不仅仅是“生养”，保证他们有优裕的生活条件，更重要的是“教养”，要让他们行为规矩，品质高尚，对国家政治起到正面的有益的作用。所以，“则”得好是帮手，“则”得不好是祸患。
但韩非子说“奸”，孔子说“难养”，不只是表现了韩非子的峻急，孔子的通情达理。韩非子是站在君本的立场上，把责任全部推到“女”“子”“小人”的头上，君主完全是受害者，而之所以受害，就因为他太相信别人，包括他自己的老婆与儿子。而孔子说“难养”，其实隐含着祸起萧墙的责任，还在君主没有“养”好的意思。“难养”，非不能养，而“养”者是君主，养得好不好，责任当然还在君主。“不孙”与“怨”，原因不在“近之”“远之”，而在以前没有“则”或没有“则”好。
说“难养”还包含着一层意思，就是君主自己是不是以身作则了。你既然要去“则”人，要使人心服口服，就必须自己以身作则。否则，不管你是用亲近的办法，还是用疏远以保持威严架子的办法，只能招致“不孙”或“怨”。在这方面，君主的权威地位并不能增加他“则”人言辞的分量，反可能使他招致杀身之祸。春秋战国时期“女”“子”“小人”勾结起来篡权乱国的典型例子，仔细分析，祸根还是君主种下的。
《韩非子》中援引的李兑辅助赵惠文王饿死主父赵武灵王的故事，可以说完全是赵武灵王咎由自取。