纲丰时代
家宣是父亲纲重十九岁尚未娶正室之前，与身分低下的二十六岁侍女所生的长子。乳名为虎松丸。由于纲重有些忌惮，因此把刚出生的虎松托付给家臣新见正信，所以也曾名为新见左近。九岁的时候，由于父亲纲重没有其他儿子（排除与虎松同母的熊之助，也就是松平清武），虎松以纲重的嗣子名义回到甲府城里。不久之后虎松元服，四代将军德川家纲授与他“纲”一字，并改名为纲丰。延宝6年（1678年）父亲纲重去世，十六岁的纲丰继任藩主。而就在那时，将军家纲一直没有子嗣，也因此纲丰的祖母顺性院（祖父家光的侧室，父亲纲重的生母）一直把纲丰培育成足以继任第五代将军的人。
延宝8年（1680年）家纲在没有任何男嗣的情况下去世，享年四十岁。而继承第五代将军就有了两个人选，即是纲重的弟弟，馆林藩藩主德川纲吉和纲丰。不过因为堀田正俊提出说与家光血缘近的纲吉比较适合，也因此纲丰并没有成为第五代将军。
但是五代将军纲吉在长子德松夭折之后，也不再有子嗣，因此纲吉的女婿德川纲教（纲吉长女鹤姬的丈夫）和纲丰自然被当作是第六代将军的候选人，不过在鹤姬死后一年的宝永2年（1705年），纲教也离开了人世。既然只剩下一个候选人，纲丰就以将军养嗣子的身分接入江户城的西之丸，并且领德川将军家世代相传的“家”字，改名为家宣，此时的家宣已经四十三岁了。另外，由于家宣继承德川将军家，他所领的甲府德川家宣告断绝。