小林稔侍の家族構成は、妻、長男の小林健、長女の小林千晴の4人家族です。家庭内では仕事の話を過剰に持ち込まず、家族の自主性を尊重する父親であったことが知られています。
長男の小林健は1971年生まれの俳優であり、父と同じくサスペンスドラマや刑事ドラマを中心に活躍してきました。父親の背中を追いながらも、決して過剰な親の七光りに頼ることなく地道に演技力を磨き、テレビ東京系やTBS系のドラマで確固たるキャリアを築いています。
長女の小林千晴は1973年生まれの女優で、小林稔侍の代表作である『税務調査官・窓際太郎の事件簿』や『鉄道捜査官』シリーズなどでも共演を果たしています。作中での息の合った掛け合いはファンの間でも名物となり、父娘ならではの自然な空気感が視聴者を魅了しました。
子どもたちがそれぞれ独立した現在、自宅では長年連れ添った妻と穏やかな時間を過ごしていると伝えられています。下積み時代から自身を支え続けてくれた妻への感謝は深く、メディアの取材でも折に触れて家族への敬意を語ってきました。