才賀紀左衛門さんは、あびる優さんと結婚する以前、10代の格闘家デビュー間もない時期に一般人女性と一度目の結婚を経験しています。この最初の結婚生活の中で2人の子供を授かりました。
当時の結婚生活は長くは続かず、若くして離婚。子供の親権は前妻側が持ち、前妻が女手一つで育て上げたとされています。この2人の子供に関しては一般人であるためプライバシーが厳重に守られており、詳細な生年月日や現在の近況などは公にされていません。
才賀さん本人が過去のインタビューやメディアで語った内容によると、前妻側の子供たちとは離婚後に日常的な同居や養育に関わっているわけではなく、それぞれ別の生活基盤を築いていると見られています。