谭延闿的母亲李氏，其身世己不可考，原为晚清官员谭钟麟的丫鬟。谭钟麟是湖南茶陵高陇人，为清咸丰元年的进士，后被选入翰林院，其政绩卓著，是反外族侵略的著名义士，同时也是反对变法、因循守旧的顽固派之一。

当时，谭钟麟妻妾众多，除元配陈夫人外，还有颜夫人、李夫人等四位侧室。谭延间的母亲李太夫人是谭钟麟的小老婆，她虽然生有三个儿子，但在封建礼制下，她长期未取得与其夫同桌而食的权利，吃饭时只能站着用餐。母亲常对他说：你们兄弟要努力读书，好好做人，将来做番大事业，做个大人物，才算是争光争气，那我在谭家虽然吃苦也感到安慰了。这对年幼的谭延闿刺激很大，吃饭时往往伴母而食，对母亲李太夫人晨昏定省，十分孝敬，并发誓要勤奋学习，为母争光。