「good times」を使う際、特に注意すべき盲点は「表情とイントネーションの不一致」です。
英語圏では、感情をあえて抑えて語る「アンダーステートメント(控えめな表現)」が好まれる文化があります。例えば、キャンプで大雨に降られてテントが浸水したエピソードを語った後、笑顔を見せずに「Yeah, good times.」と締めくくった場合、これは100%の確率で「最悪だったよ」というユーモアです。
ここで相手が「Oh, that sounds fun!(楽しそうだね!)」と返してしまうと、コミュニケーションにズレが生じてしまいます。文字通りの意味だけでなく、話者の声のトーンや前後の文脈に耳を傾けることが肝要です。