1921年，只有16岁的高岗在父母的操办下，与一个叫杨芝芳的女子结为夫妻。杨芝芳出生于一个贫苦农民家庭，她所在的杨家印村和婆家的高家沟村距离仅十几里路。

因家境贫寒，杨芝芳不仅裹了小脚，而且没能上学堂读书。与高岗接完婚后，杨芝芳就开始在高家承担起了伺候公婆、打理家务的责任。1926年，高岗投身革命，与刘志丹一起创建陕甘宁边区。杨芝芳耳濡目染，思想得到了升华。

4年后，杨芝芳也参加了革命。与此同时，她和高岗的第二个孩子出生了。次子取名为“高毅”，小名叫“小虎”。在高毅前面，还有个哥哥。高毅的哥哥小名叫“海潮”，三岁的时候病死在了延安。

当年，高岗外出搞革命，杨芝芳和儿子高毅被地主盯上了，地主想把娘俩一起卖了。幸亏高毅的舅舅出面，才把母子二人从“虎口”营救出来。高岗在根据地站稳脚跟后，便把老婆孩子一起接了过去。

因为是包办婚姻的缘故，高岗和杨芝芳后来就离婚了。事后看这件事，对于杨芝芳来说，着实是件好事。杨芝芳的前半生是和高岗绑在一起的，若非因为高岗，她可能一辈子都很难走出小县城。

参加革命后，杨芝芳不再围绕高岗生活。在她的心中，有比丈夫、小家更为重要的东西，那就是革命信仰。当红军初期，杨芝芳裹着小脚，为组织传递情报。毛主席率军来陕北，杨芝芳负责后勤工作。她工作出色，受到了毛主席的夸奖。

杨芝芳不但工作认真，而且把儿子高毅教育的很好。高毅于1939年跟随周恩来一起去了苏联，在第二国际儿童院读书。当年，周恩来因马受惊摔伤了胳膊，前往苏联治疗。与高毅一起去的，都是干部子弟。

1947年，高毅回国，被安排在哈工大预科学习。高毅9岁时去的苏联，在那边生活了8年，这段时间正值孩子们努力学习的阶段。高毅似乎适应了俄罗斯的生活，一时间融不进东北圈子。

于是，当组织考虑派20个干部子弟去苏联学习建筑时，高毅马上报名参加。可去了以后，他发现自己根本不喜欢这个科目。待了2年后，他又返回了东北，在父亲的介绍下，他进入哈尔滨工业大学学机械。

上学期间，高毅认识了同校的一个叫宋丽达的女士。两人谈得来，主要的原因之一是，宋丽达在苏联长大，高毅与她交流起来感觉更加地亲切。于是，两人结为了夫妻。

因为父亲的事，高毅和宋丽达被安排到哈尔滨120工厂工作。当时，夫妻俩在工厂并未受到什么为难，工友们对两人特别友善。有些年长的工人还专门鼓舞宋丽达，让她坚强起来，不要被轻易打倒！

高毅和宋丽达的感情很好，两人经历了风雨，始终不离不弃。两个人经常会聊起苏联的生活，除了小时候在苏联长大留下的记忆，还有就是很多苏联的同学都会到家里来做客。据宋丽达称，他们夫妻回到家里，把门一关，两人就开始用俄语交流。

和高毅当年一起出国的同学，他们大都在各领域中成长为不可或缺的领军人物。高毅和同学们相比，成就算是比较低了。“十年动荡”时期，高毅被送到了咸阳纺织器械厂，他长期没有职务，始终是个普通的技术员。

对此，高毅也很看得开。他说他算是比较幸运地那个了。2009年，高毅接受采访的时候，透露了两个女儿的情况。那时候，他的大女儿已经从北京市委科委退休，小女儿则是在外地工作。高毅晚年特别喜欢看电视，很少出门。

对此，宋丽达经常埋怨，说“电视是高毅的命”。高毅每天都会收看天气预报，特别关注两个女儿生活的城市的天气情况。遇到一些恶劣天气时，他就会提醒女儿要注意冷暖。高毅对女儿的爱，体现在很多细节的地方。这或许是高毅在弥补当年那个得不到父爱的自己。

高毅作为高干子弟，前期一直在苏联生活，没有经历战争，过得比较平淡。回国之后，高毅结了婚，原以为能家庭、事业双飞升。不料，受父亲的影响，他长期处在很困难的境遇。1979年，高毅被调回北京，最后是以一个高级工程师的身份离职休养。