Conformal Prediction はどんな予測手法?

こんにちは! AI製品開発グループの太田です。

このブログは技術紹介になります。

いきなり本題ですが、需要予測や医療画像の分類は、予測の精度がコストや人命に大きく関わります。 こういったタスクは分類による業務の完全の自動化ではなく、人とAIの協調が求められます。

では、いつ人が判断し、いつAIに任せればいいでしょうか。

そこで今回のConformal Predictionが役立ちます。

Conformal Predictionでは、分類に自信がないときは複数のラベル候補(Prediction Set)を返します。 分類に自信がある場合はラベルを1つだけ返します。

回帰の場合、ラベル集合を返さず、予測区間で返します。

Conformal Predictionの例。左から右にいくほど分類が困難。

人は最終的にその集合の大きさで、AIによる自動分類か人間のチェックが必要か判断を行います。

また、確信度の場合、確信度の高い上位k 件に含まれる確率は確信度の総和とはなりません。 しかし、Conformal Predictionの場合、予測集合の中に正解ラベルが含まれる確率を指定できます。 90%と指定すれば、予測集合の中に正解ラベルが含まれる確率が90%になります。 ここが確信度との違いになります。

その他の説明は資料をご覧ください。 speakerdeck.com


参考資料

AITC 製品開発グループ 太田