由于家里已接连生下两个男孩，父母都望女欲穿，以至于他出生后，父亲直接从前线传话：“既然又是个男娃，也没什么好回去看的。”在父亲的失望中，胡德华默默地来到人间。不仅没有出生地，他还和其他兄妹一样，一直没有大名。

“如果要按现在的说法，我父母就是典型的‘工作狂’，孩子生下来就不管了，能活就活。”胡德华和兄妹们都是被外婆拉扯大的。在他的记忆中，自己的前两个名字都不好听。第一个叫“胡利利”，和狐狸谐音。对此他一直不解，再三追问父母，才得到两个答案：一是因为父亲姓胡，母亲姓李；二是他出生后不久打了胜仗，胜利了。虽然两者都经不起推敲，但胡利利就这样稀里糊涂地被街坊四邻叫大了。

1950年春，川北地区获得解放，参加完“成都会战”的胡耀邦，被党中央任命为中共川北区委书记。于是，胡耀邦拖家带口到了四川。“那时候我们家算是聚齐了，连爷爷奶奶都去了。” 在这个全家团圆的时刻，胡耀邦的父亲看着一群都是小名没有“大号”的孙子，郑重地拿出家谱。“爷爷宣布，我爸是‘耀’字辈，我们是‘德’字辈。家中‘德’字辈出生的男孩，以后按长幼分别叫平、安、发、财。”于是，胡耀邦的长子名为德平，轮到胡利利，就是德发了。之后在北京上幼儿园，由于德发的“发”繁体字太难写，幼儿园老师自行将其改为胡德华。至于当时孩子名字叫什么，是否妥当，胡耀邦夫妇完全无暇顾及，听之任之。 1952年，胡耀邦夫妇终于在四川南充迎来小女儿的诞生。“家里人特高兴，外婆说孙儿、孙女都有了，满足了，就给小妹起名满妹。”在胡德华看来，家中这个最小又是唯一的女儿，备受宠爱。满妹直到参军时才起名李恒，随母亲的姓。

同年，胡耀邦调任中国新民主主义青年团中央书记。第二年，已经4岁的胡德华说着一口四川方言跟随母亲来到北京。在胡德华的记忆中，父母为他选择幼儿园、小学、中学的标准，只是一条——全托，能住校。而在满妹的回忆录中，她也这样写道：

“小时候，父亲对于我来说，虽然并不陌生，却也不太熟悉，至少不感到亲切。坦白地说，在我内心深处，还多少有点害怕，害怕这个从来没有跟我玩过的爸爸。母亲是共产党培养起来的典型干部，一向只顾工作不顾家。1952年她随父亲来京不久，便加入北京的棉纺行业，从此以厂为家。工人们反映说：‘一天三班倒，班班见领导。’在我记忆中，母亲只抱过我一次，可当我好奇地伸出手去摸她那亮晶晶的眼镜时，她‘啪’地给了我一巴掌，我吓得大哭起来。外婆急忙从她怀里把我夺过去，埋怨道：‘从来也没抱过孩子，就抱这么一回，怎么还打她！’母亲说：‘她要是把眼镜弄碎了，我明天怎么工作！’”