ハリスの元をわずか数日で離れた後のお吉を待ち受けていたのは、救いのない転落の人生でした。当時、尊王攘夷思想が吹き荒れる日本において、外国人に仕えた女性は「唐人」と蔑まれ、人間以下の扱いを受ける対象となったのです。
かつての下田の仲間や町民たちは、お吉の姿を見るだけで唾を吐きかけ、石を投げました。奉行所から支払われた月給25両という破格の手当（当時の大工の年収を遥かに超える額）も、周囲の嫉妬を買い、孤立を一層深める原因となります。引き裂かれた元婚約者の鶴松と一時的に復縁し、横浜へ逃れて同棲生活を送るものの、世間の冷たい視線とお吉自身の心の傷は癒えず、やがて破局を迎えました。
下田に戻ったお吉は、髪結い業を営んだり、明治15年には居酒屋「安直楼」を開業して再起を図ります。しかし、どこへ行っても「唐人お吉」の悪評がつきまとい、商売は長く続きませんでした。孤独と絶望から逃れるため、彼女は次第に酒へと溺れていきます。
晩年は半身不随となり、物乞い同然の生活に身を落としました。そして明治23年（1890年）3月27日の夜、豪雨で増水した下田の稲生沢川（お吉ヶ淵）へ身を投げて自ら命を絶ちました。享年48（数え年50）。遺体は引き取り手すら現れず、死してなお「異人に仕えた穢れた女」として、市内の寺院から埋葬を拒絶されるという徹底的な差別を受けたのです。
