柴田さんの私生活を語るうえで避けて通れないのが、過去の結婚生活と家族関係の変遷です。柴田英嗣の歴代妻の経歴を整理すると、2005年に元ダンサーの一般女性と最初の結婚を果たし、長男と長女の2人の子どもをもうけましたが、2015年4月に離婚が成立しています。
その後、2016年に発覚したのが「柴田英嗣の元嫁とファンキー加藤」をめぐるW不倫騒動でした。当時、元妻が加藤氏との間に子どもを妊娠・出産したことが報じられ世間に大きな衝撃を与えましたが、柴田さんは会見や出演番組で相手を過度に責め立てることなく、冷静かつユーモアを交えながら自らの言葉で対応しました。この姿勢は当時「神対応」と称賛され、柴田さんの人間的な器の大きさを世に知らしめる結果となりました。