研究開発成果

年度:2025年度以降

2025年度のNEDOプロに関するもの

1-3-2
NEDO 2025年度

人間-AIチーミングシステムの制御技術の研究開発

AIシステムの評価・管理基盤技術の研究開発

リーダー
野里 博和・人工知能研究センター 人間AI協働機構研究チーム 研究チーム長
メンバー
香川 璃奈・人工知能研究センター 人間AI協働機構研究チーム 主任研究員、Kim Wonjik・人工知能研究センター 人間AI協働機構研究チーム 研究員、竹内 恵祐・人工知能研究センター 人間AI協働機構研究チーム リサーチアシスタント、上原 和樹・国立大学法人琉球大学 国際地域創造学部 准教授

概要

課題認識

人間とAIが協働する際に双方向のインタラクションを欠かすことができない。特に、人間-AIチーミング(HAT: Human-AI Teaming)システムにおいて、人間とAIの意見が食い違った場合に、意見を正しく安全に集約することは重要であり、HATシステムによるサポートが必要である。

研究の狙い

本研究では、人間とAIの協働意思決定において、人間が主観的に見積もるAIの正確性が人間とAIの協働意思決定に与える影響を明らかにし、協働成績を向上させるためのHATシステム制御技術の研究開発を実施した。また、医師とAIのチーミングにおける意見集約を想定したHATシステムの構築と検証により、評価手法や管理技術の妥当性を検証し、実用レベルでの研究開発課題の抽出を行った。

成果の概要

  1. ユーザが主観的に見積もるAIの正確性が人間-AI協働意思決定に与える影響について(JSAI2026発表予定)
    • 人間が主観的に見積もるAIの正答率である知覚精度と、タスク中に観測されるAI正答率である観察時精度との関係は強い正の相関を示した。知覚精度が高い参加者ほど、AIが誤っている試行でAI提案を採用して誤答に転じる過信傾向が増加した。不信傾向には顕著な変化がなかった。これらの知見は,知覚精度と信頼を考慮した協働性能の評価枠組み,および精度指標の必要性を示唆する。
  2. 病理診断を対象とした医師とAIのチーミングを想定したHATシステムの構築と検証
    • 病理診断のタスクを対象とした医師とAIのHATシステムを試作し、病理診断医による実際の診断を想定して検証した結果、人とAIが協働して安全な意思決定をする上で、課題は大きく分けて技術的課題(AIと医師とのドメインシフト)、心理的課題(主にAIへの信頼度)、物理的課題(インタラクションループの限界)、インターフェース(主に医師⇒AIへの意思伝達コスト)の4つが挙げられた。
図1: 対象とするHATシステムの概要

図1: 対象とするHATシステムの概要

図2: 試作した病理診断HATシステム実行画面

図2: 試作した病理診断HATシステム実行画面

図3: AIの判定結果と判断根拠情報(類似画像とそのラベル)を医師に提示

図3: AIの判定結果と判断根拠情報(類似画像とそのラベル)を医師に提示

成果物

名称 説明 種類 提供方法 評価観点
人間のAI性能認識のズレが人間-AI意思決定・協働精度に与える影響に関する報告 人間が主観的に見積もるAIの正答率である知覚精度と、タスク中に観測されるAI正答率である観察時精度との関係、および両者が協働成績に与える影響を体系的に評価することを目的に、AIと協働できる画像二値分類タスクを設計し、計420人を対象に実験を実施した評価結果のレポート。 文書 - 技術レポート - その他(事例報告) サイト内 有害情報の出力制御
偽誤情報の出力・誘導の防止
病理診断を対象とした人間-AIチーミングシステムの構築とその課題に関する報告 病理画像診断支援時の人間-AIチーミングシステムにおけるAIの説明性の影響を調査するため、構築したチーミングシステムの概要と、実際の医師を対象とした検証実験により抽出した課題についてまとめた技術レポート。 文書 - 技術レポート - その他(事例報告) サイト内 有害情報の出力制御
偽誤情報の出力・誘導の防止