张秉钧有个妹妹，在张伟谋出生之前，张家有五口人生活。当时，张孝友还在上大学，张秉钧的妹妹最初也没有工作，全家人仅仅靠张秉钧一人的60多元工资生活，平均下来，每人每月只有12元左右。所以，经济上很不宽裕。
张秉钧的工作单位离家较远，平常他不住在家里。他是个性格沉闷的人，回来也不会逗张艺谋玩，这使得父子俩一开始就缺乏交流。张艺谋才一岁，母亲便去上大学，他先是由舅妈带了一段时间，后来一直跟着奶奶生活。母亲大学毕业之后，工作很紧张，再加上二弟、三弟接连出生，母亲也极少能照顾到他。
张艺谋从小性格内向，他的两个弟弟也很闷。张艺谋接受采访时说:“我们家是只要我妈一回来，话就多了，大家都跟她说话，家里马上特别有气氛。我妈要不回来，就我爸在家，我们弟兄3个谁都不说话，闷着，什么事也不动，全都搁那儿。我妈一回来，就这儿怎
么没水了，这儿做饭了，就张罗。我妈那时候很忙，每天还要看病，回来还要管我们四个……一直到我爸去世前，我跟我爸如果是单独谈话，基本都是一问一答式的……”
进入“文革”，这个家庭所面临的压力开始空前加大，灾难不断地压迫着他们。张秉钧觉得不能再这样下去了，他和张孝友商量起了离婚的事。这完全出于对孩子未来的考虑，他希望通过离婚给孩子们一个更好的环境。尽管父母最终并未离婚，可这件事对于少年时的他打击是巨大的。
