伊東四朗の私生活を支えているのが、長年連れ添ってきた一般女性の妻と家族の存在です。バラエティ番組などでは時折「恐妻家」として妻とのコミカルなエピソードを披露して笑いを誘いますが、その根底には深い信頼と感謝の念が溢れています。
3人の息子に恵まれており、三男の伊東孝明は実力派俳優として活躍しています。『おかしな刑事』シリーズでは警視庁東王子署の刑事・工藤潔役として父子共演を果たし、息の合った掛け合いが名物となりました。二世タレントという枠に甘えることなく着実にキャリアを重ねる息子の成長を、父として温かく見守り続けています。