谭延闿出生于晚清官宦世家，他的父亲妻妾众多。谭延闿的母亲李夫人，只是谭钟麟的侧室之一 ，地位远不及原配陈夫人。然而，就是这样一个通房丫头，却将一手烂牌打出了王炸的效果。
李夫人家境贫寒，为了生计，父母只能无奈将其卖进谭家，因为长相漂亮，她很快就成为通房丫头，在生下谭延闿后，她得以晋升为侍妾。
小时候，谭延闿常被人唤作 “小老三”，这一称呼让他感到困惑。随着年龄增长，他考取举人后，又被称为 “三大人”，可心中的疑惑却愈发强烈。终于，他忍不住向母亲询问缘由。
李夫人满含泪水，向他道出了真相：“我是你父亲的小老婆，人们喊你们兄弟‘小老三’‘小老五’，除了年纪小，还因你们是‘庶出’。你们一定要努力读书，将来成就一番大事业，成为大人物，为家族争光，如此我在谭家即便吃苦也心甘情愿。”
这番话让谭延闿深刻认识到自己与嫡出子女的不同地位。就拿日常用餐来说，正妻可以安然入座用餐，妾室却只能站在一旁伺候；若妾室没有生育子女，甚至只能在杂厅用餐。
谭延闿的母亲李夫人虽育有三子，却因妾室身份，长期无法与丈夫同桌吃饭。每次用餐，李夫人只能站在一旁，为家人添菜盛饭，等到所有人都吃完，她才能在一旁简单吃些残羹剩饭。这种待遇持续了长达 24 年之久。
谭延闿目睹母亲所遭受的种种不公，内心受到极大震动。
李夫人对孩子极好，即便她在家中的地位不高，却将自己的爱意都倾注到孩子们的身上。闲暇之余，李夫人会坐在窗前，为子女们缝补衣物。她的针线活极为精巧，不少人看到都称赞不停。她会一边缝补，一边给孩子们讲述一些为人处世的道理，或是古老的故事，让孩子们在潜移默化中受到熏陶。
除此之外，她还会亲自教导子女们读书识字，尽管她自己的学识有限，但她坚信知识能够改变孩子们的命运。
为了改变母亲的处境，谭延闿发奋图强，刻苦读书。1904 年，24 岁的他在科举考试中高中会元，创造了湖南 200 年来无会元的历史。
这一荣耀不仅让谭家满门生辉，也让母亲李氏的地位得到了显著提升。谭钟麟终于宣布，李氏夫人可以进入正厅就座用膳。
然而，李夫人并没有享多长时间的福。1916 年，李氏在上海病逝。当时，谭延闿正第二次担任湖南都督，政局动荡不安。
离开湖南，谭延闿的都督之位可能不保，但他还是毫不犹豫地放下一切，立即赶往上海奔丧。在他心中，母亲的离世远比权力和地位重要得多。
次年，谭延闿扶灵迎葬长沙。当灵柩运至谭氏族祠时，又遇到一个难题。按照族规，妾死后不能从族祠大门出殡，只能走侧门。这一规定让谭延闿感到无比愤怒，母亲一生受尽委屈，死后还要遭受这样的侮辱，他无论如何也无法接受。
面对族人的阻拦，谭延闿没有丝毫退缩。他怒不可遏，一气之下仰卧在棺盖上，命扛夫起灵。当灵柩抬到族祠大门口时，他大声喝道：“我谭延闿已死，抬我出殡！”。族人被他的举动震惊了，面面相觑，鸦雀无声。他们深知谭延闿的地位和影响力，最终只好让步，让扛夫抬棺从族祠大门出殡。
谭延闿不仅是一位孝子，还是一位深情的丈夫。他与发妻方夫人的感情深厚，令人动容。方夫人出身名门，与谭家乃是世交 ，两家往来频繁，情谊深厚。
1895 年 3 月 3 日，在双方父母的操办下，15 岁的谭延闿与 13 岁的方榕卿于南昌喜结连理。婚后，这对小夫妻琴瑟和鸣，感情笃深。
随着谭延闿在政坛的地位日益稳固，他的公务也愈发繁忙，与家人聚少离多。家庭的重担便全部落在了方榕卿柔弱的肩上，她不仅要悉心照料家中的老人，还要承担起抚育子女的重任。谭延闿与方榕卿共育有 6 个子女，然而在孩子们的成长过程中，谭延闿完全分身乏术，这些重担只能落在方榕卿一个人的身上。
1916 年，谭延闿第二次督湘，此时他的母亲李氏夫人病重。方榕卿为了不让丈夫分心，独自承担起照顾婆婆的责任，她衣不解带，日夜守护在婆婆的病床前，极尽孝道。直至谭母去世，方榕卿才不得已将这个噩耗告知谭延闿。
1918 年，方榕卿不幸身染重病。彼时，谭延闿正在湘南集结兵力，试图驱逐督军张继尧，第三次夺回督湘宝座。为了不让丈夫分心，方榕卿告诉家里人，千万别把自己生病的事告诉谭延闿。最后，她孤零零地在上海去世了，至死没能见到丈夫最后一面，而谭延闿这边消息闭塞，对妻子的病情和离世一无所知 。
得知妻子逝世的噩耗后，谭延闿悲痛欲绝。此后，他始终铭记着与方榕卿的夫妻情分，恪守对妻子的承诺，终生不再续娶。即使在后来，孙中山有意将宋美龄介绍给他，他也因对亡妻的深情和曾经的誓言，婉拒了这门亲事 。
谭延闿不仅在家庭中展现出深厚的情感与担当，对待身边的下人，同样充满了关怀与仁爱。在谭家，有一位姓彭的家厨，在谭家一待就是二十一年。还有一些仆人，从二十多岁起，就开始在谭延闿父亲身边做事，一干就是二十多年。等到谭延闿当家后，他们又继续在谭家服务了二十年，一直做到六十多岁。
这些仆人将自己的大半生都奉献给了谭家，而谭家也从未亏待过他们。
当这些仆人到了退休的年纪，谭家会为他们支付安家养老费，让他们能够回到家乡，安享晚年。
谭延闿的这份仁爱之心，并非偶然。他的父亲谭钟麟，同样是一位心怀大爱的人。谭钟麟曾在家乡茶陵石床村设立了 “养老谷”，这一善举，旨在帮助村里的老年人解决生活上的困难。
按照规定，凡是村里年满 60 岁的老年人，不分男女，每人每年都可以到谭家光禄公祠及 “赐书堂” 义仓会，无偿领取 36 桶稻谷用于养老，每桶稻谷重达 20 市斤 。
谭钟麟逝世后，谭延闿毫不犹豫地继承了父亲的善举。他不仅延续了 “养老谷” 的传统，还进一步降低了领取稻谷的年龄门槛，将原来的 60 岁改为从 55 岁就可以领取。
谭家的 “养老谷” 善举，一直延续到 1928 年 “赐书堂” 被人烧掉时才被迫终止。在这漫长的岁月里，“养老谷” 帮助了无数的老年人，成为了茶陵石床村的一段佳话。
