2022.10.21

テーブル・画像・テキストの反実仮想説明の調査報告

テーブルデータの反実仮想説明は広普及されています。では、画像とテキストはどうでしょうか。なぜ、うまくいかないのか、どう解決しようとしているのか紹介します。

テーブル・画像・テキストの反実仮想説明の調査報告

こんにちは、AI製品開発グループの太田です。

AITCでは、週に一度、1時間TechTalkを実施しています。

案件の進捗共有やAzureの新機能の紹介や実装してみたことの共有など様々です。

日々の業務では、どうしても属人化がしやすい中で、コンサルチームや製品開発チームのナレッジを共有する場として利用されています。

本日の資料はそのTechTalkで発表した資料です。

反実仮想説明の基本的な考え方

テーブル・画像・テキストの反実仮想説明の調査報告

理想的な反実仮想説明に求められること

テーブル・画像・テキストの反実仮想説明の調査報告

画像の反実仮想説明はどうなっているのか

従来の方法に基づくとどうしてもノイズの変化になってしまいます。

具体的な結果は、スライド内に結果を載せています。

そこで、最新の論文では、概念ベクトルを用いる手法があります。

直感的に説明すると、画像の意味的な特徴をベクトルバンクに保存しておきます。次に、説明対象の画像に対して、予測を期待するクラスに変更する場合、ベクトルバンクの数ある特徴成分のどれがどの程度必要かを求めることで説明する手法になります。

テーブル・画像・テキストの反実仮想説明の調査報告

テキストの反実仮想説明はどう実現するのか

実はテキストは逆問題で解きません。以下のスライドのような考え方で求めます。

テーブル・画像・テキストの反実仮想説明の調査報告

テキストの場合は、より人間らしい文章を生成できることが求められ、GPT-3など生成モデルが活躍することが期待されます。

スライドではGPT-2を使ったPolyjuiceを紹介しています。

まとめ

テーブル・画像・テキストの反実仮想説明の調査報告

発表
AITC 製品開発グループ
太田 真人

次の記事

前の記事