小泉セツは1868年(慶応4年/明治元年)2月4日、出雲国松江城下(現在の島根県松江市)の上道庵(じょうどうあん)筋で、松江藩士・小泉湊(みなと)の次女として生を受けました。小泉家は代々、藩の重職を務める格式ある武家でしたが、直後に起こった明治維新の廃藩置県と武士階級の解体により、一家の生活は暗転します。
幼少期に親戚筋の稲垣家へ養子に出されたものの、養家もまた経済的に破綻。10代後半で実家へ戻ったセツを待っていたのは、家族全員を養うための昼夜を分かたぬ機織り(はたおり)の重労働でした。指先から血をにじませながら織機を動かし、わずかな日当で一家の糊口をしのぐ日々。さらに一度は婿養子を迎えて結婚したものの、経済的困窮から破綻し離縁を経験するという、若くして幾多の苦難を背負わされました。
転機が訪れたのは1890年(明治23年)のことです。アメリカの雑誌特派員として来日し、島根県尋常中学校(現在の松江北高校)の英語教師として松江へ赴任してきたのが、当時40歳のラフカディオ・ハーンでした。異国の地に馴染めず体調を崩しがちだったハーンの身の回りの世話役として、知人の紹介でハーン邸に入ったのが、当時22歳のセツだったのです。18歳という大きな年齢差、国籍や文化の隔たりを越え、2人は互いの孤独と誠実さに惹かれ合い、翌1891年頃より事実上の夫婦生活をスタートさせました。