モデル評価

曖昧な指示文からデータベースを操作できるか?生成AIによるText-to-SQLの変換精度を検証

こんにちは、AITC AIソリューショングループの阿田木です。 この記事では、自然言語によるデータベースの操作を可能にするText-to-SQL技術を検証します。 通常データベースを操作するには、SQLに代表されるデータベース操作言語が使用されますが、Text-to-SQ…

LLMOpsを推進!Azure Log Analyticsを活用したLLMの継続的な監視と改善

こんにちは!AIソリューショングループの太田です。 このコラムでは、Azure Log Analyticsを使ったLLMOpsの実現方法について紹介します。 昨年から大規模言語モデル(LLM)を製品やサービスに組み込む企業が増えています。 しかし、LLMサービスの品質を維持…

業務担当者がAIを育てる Expert in the Loop の試み

こんにちは、AI製品開発グループの太田です。 私は普段、製品開発と研究開発を担当しています。 さらに、データサイエンティストとしてAI関連プロジェクトのPoCも担当しています。 本コラムでは、ISIDのChatGPT製品であるKnow Narrator シリーズで実現しよう…

既存データの価値を高める!データクレンジング(データクリーニング)の重要性とは?

データやAIのビジネス活用を推し進めるにあたって、必ずと言っていいほど必要になるのが、データの品質を高めるためのデータクレンジング(データクリーニング)という作業になります。 ただ、データを用意すれば、すぐにそのデータを活用できるというわけで…

物体検出AIをビジネス適用するための手順は?4ステップでご紹介

こんにちは、AITCでデータサイエンティストをしている小川です。普段は、様々な企業様から預かったデータの統計的な分析や、AIモデル構築をする業務に携わっています。 画像認識の1つである物体検出において、AIをビジネス適用する際の流れを題材に、以下を…

Conformal Prediction はどんな予測手法?

こんにちは! AI製品開発グループの太田です。 このブログは技術紹介になります。 いきなり本題ですが、需要予測や医療画像の分類は、予測の精度がコストや人命に大きく関わります。 こういったタスクは分類による業務の完全の自動化ではなく、人とAIの協調…

DLLAB「エンタープライズAIとモダンアプリケーション開発の実践-ISID✕Microsoft-」での登壇資料公開

先日、10/19(水)と11/26(水)に、ISID AIトランスフォーメーションと日本マイクロソフトで共同企画したイベント #1 と #2にAITCメンバーが登壇いたしました。 みなさま冬も近づいて参りましたが、いかがお過ごしでしょうか。 AITC AI製品開発グループの御…

データの価値を測る予測困難度とは? vol2

C-scoreを利用して、データごとの予測困難度を定量化する方法をご紹介 概要 本記事では、データセットの各サンプルの予測困難度を定量化する技術を紹介します。 予測困難度に関するvol1の記事で紹介した手法と異なる手法を用いて実装を行っております。 isid…

データの価値を測る予測困難度とは? vol.1

最新論文を再現結果付きで紹介します。 概要 本記事では、データセットの各サンプルの予測困難度を定量化する技術を紹介します。 具体的には、予測深度(Prediction Depth)[1] を紹介します。この予測深度はNeurIPS2021に採択されているGoogle社の論文“Deep…

【JSAI2022】モデルの不確実性を考慮した外観検査の効率化手法

2022年度 人工知能学会全国大会(第36回)@京都にて、人とAIの協調として、「モデルの不確実性を考慮した外観検査の効率化」をインタラクティブセッションで報告しました PDFファイルダウンロード 製造業において,外観検査は製品の品質を保証する重要な業務…

業務適用の前に知ってほしい!AIの評価基準のこと

AIの評価指標を使い分けることで、目的にあったAIモデルを構築する 人間にとって難しいことは、AIにとっても難しい AIの民主化が進む中、実際にAIをビジネスに活用することは、できたらいいことから、できて当然のことに変わりつつあると感じています。 この…

予測の不確かさを利用したAIモデルの信頼性の定量化

ー教師なし異常検知を題材にー こんにちは、AITC 製品開発グループの太田です。 機械学習の技術を搭載した実アプリケーションが増えてきた昨今、機械学習システムはCRISP-DM、機械学習の安全性、機械学習の品質など、モデリング以外の部分が多くなっていると…