唯女子与小人难养也，近之则不孙，远之则怨。——《论语·阳货》 
《史记·孔子世家》里，提到了孔子之前的卫国之行，孔子“居卫月馀，灵公与夫人同车，宦者雍渠参乘出，使孔子为次乘，招摇市过之。孔子曰：‘吾未见好德如好色者也。’于是丑之，去卫。” 

大致翻译一下这段话，时任全国教育劳模的孔老先生受卫国国君的邀请，来到了卫国参观学习休养。但在这期间，孔老先生突然发现自己被耍了，人家根本是拿他的身份来炫耀自己抬高自己而已，并不是真正支持他来这教化卫国民众的。尤其是那个卫灵公的老婆，为了抬高自己的身望，公开炫耀，贬低孔子。 

孔老先生很郁闷，收拾行李就离开了卫国，离开之后，心情平复了，想起卫国公老婆那种仗着得宠、骄横跋扈乱政扰民的烂事儿，就发了感慨：“唯女子与小人难养也！近之则不孙，远之则怨。” 
看看孔子的卫国之行，一切都明白了，他这话断不是发神经突然开骂起包括自己老妈在内的所有女人，而是有一个特指的对象，这个对象，就是卫灵公那位老婆南子等人。