こんにちは! AI製品開発グループの太田です。
このブログは技術紹介になります。
いきなり本題ですが、需要予測や医療画像の分類は、予測の精度がコストや人命に大きく関わります。 こういったタスクは分類による業務の完全の自動化ではなく、人とAIの協調が求められます。
では、いつ人が判断し、いつAIに任せればいいでしょうか。
そこで今回のConformal Predictionが役立ちます。
Conformal Predictionでは、分類に自信がないときは複数のラベル候補(Prediction Set)を返します。 分類に自信がある場合はラベルを1つだけ返します。
回帰の場合、ラベル集合を返さず、予測区間で返します。
人は最終的にその集合の大きさで、AIによる自動分類か人間のチェックが必要か判断を行います。
また、確信度の場合、確信度の高い上位k 件に含まれる確率は確信度の総和とはなりません。 しかし、Conformal Predictionの場合、予測集合の中に正解ラベルが含まれる確率を指定できます。 90%と指定すれば、予測集合の中に正解ラベルが含まれる確率が90%になります。 ここが確信度との違いになります。
その他の説明は資料をご覧ください。 speakerdeck.com
参考資料
- 実装書籍:Introduction To Conformal Prediction With Python, Christoph Molnar
- 書籍:Probabilistic Machine Learning Advanced Topics, 14.3 Conformal prediction Kevin P. Murphy
- 入門論文:A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification
- 論文集リポジトリ:Awesome Conformal Prediction
- Twitter でフォローするべきアカウント:Valeriy M., PhD, MBA, CQF (@predict_addict) / Twitter
AITC 製品開発グループ 太田