加藤夫妻の間には、1男3女の計4人の子供が誕生している。偉大な天才棋士の父を持ちながらも、子供たちはそれぞれの個性を尊重され、伸び伸びと成長を遂げた。長男は学問の道を志して大学教授となり、娘たちもまた誠実に自身の人生を歩んでいる。中でも次女が修道女（シスター）の道を選んだエピソードは、この家族の精神的な深さを象徴している。
子供たちが幼少期の頃から、加藤は対局でどれほど疲れて帰宅しても決して愚痴をこぼさず、父親として全力で愛情を注いだ。家庭内では将棋の勝敗を持ち込まず、一撃の緊張感から解き放たれた優しい「お父さん」であり続けた。偉大な父の背中を見て育った子供たちは現在も折に触れて実家を訪れ、両親を温かく見守っている。
