特開 2023-182480 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182480

(43)【公開日】2023-12-26

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20231219BHJP

   G06Q 10/04 20230101ALI20231219BHJP

   G06N 5/022 20230101ALI20231219BHJP

【ＦＩ】

G06F16/90 100

G06Q10/04

G06N5/02 120

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022096121

(22)【出願日】2022-06-14

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】598121341

【氏名又は名称】慶應義塾

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中原 英里

(72)【発明者】

【氏名】石井 方邦

(72)【発明者】

【氏名】倉沢 央

(72)【発明者】

【氏名】大槻 知明

【テーマコード（参考）】

5B175

5L049

【Ｆターム（参考）】

5B175EA01

5L049AA04

(57)【要約】

【課題】ＡＩが出した結果をユーザに受容させることができる装置を提供する。
【解決手段】情報処理装置１００は、取得部１２１と、特徴加工部１２２と、ラベル作成部１２３と、モデル構築部１２４とを有する。取得部１２１は、質問に対する回答データを取得する。特徴加工部１２２は、取得した回答データから、特徴量を加工する。ラベル作成部１２３は、取得した回答データから、ラベルを作成する。モデル構築部１２４は、加工された特徴量と作成されたラベルとを入力データとして、アルゴリズムを用いて、ＡＩに関する信頼度を予測するモデルを学習する。
【選択図】図１

【特許請求の範囲】

【請求項1】

質問に対する回答データを取得する取得部と、
前記取得部により取得した回答データから、特徴量を加工する特徴加工部と、
前記取得部により取得した回答データから、ラベルを作成するラベル作成部と、
前記特徴加工部により加工された特徴量と前記ラベル作成部により作成されたラベルとから学習モデルを構築するモデル構築部と
を有することを特徴とする情報処理装置。

【請求項2】

前記ラベル作成部により作成されたラベルからフルセット質問のサブセットである限定質問セットを生成する限定質問生成部をさらに有する請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、少なくとも信頼の考え方を含む質問に対する回答データを取得することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

質問に対する回答データを取得する取得部と、
前記取得部により取得した回答データから、特徴量を加工する限定特徴加工部と、
前記取得部により取得した回答データから、ラベルを作成する限定ラベル作成部と、
前記限定特徴加工部により加工された特徴量と前記限定ラベル作成部により作成されたラベルとを入力データとして、ＡＩに関する信頼度を推定する推定部と
を有することを特徴とする情報処理装置。

【請求項5】

前記推定部は、前記ＡＩに関する信頼度として、ＡＩの出力結果に関する信頼度およびＡＩの出力結果に関する説明手法の信頼度を推定することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記推定部は、前記ＡＩに関する信頼度として、ＡＩ作成のためのデータ収集に協力する確率を推定することを特徴とする請求項４に記載の情報処理装置。

【請求項7】

質問に対する回答データを取得する取得工程と、
前記取得工程により取得した回答データから、特徴量を加工する特徴加工工程と、
前記取得工程により取得した回答データから、ラベルを作成するラベル作成工程と、
前記特徴加工工程により加工された特徴量と前記ラベル作成工程により作成されたラベルとを入力データとして、学習済みモデルを用いて、ＡＩに関する信頼度を推定する推定工程と
を含むことを特徴とする情報処理方法。

【請求項8】

請求項１～請求項６の何れか１項に記載の情報処理装置の各部としての機能をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

ＡＩ技術は、膨大なデータの認識および高精度の予測を得意とする。このＡＩ技術を事業に導入することにより、蓄積されたデータに基づく合理的な判断を可能とし、様々な資源を効率よく配分することができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ashoori, M. & Weisz, J. D. In AI we trust? Factors that influence trustworthiness of AI-infused decision-making processes. 2019

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、ＡＩ技術の導入障壁という問題がある。例えば、ＡＩがデータに基づく合理的な結果を示したとしても、ユーザの心理的な抵抗感が強く、受け入れられないと判断されてしまうことがある。また、ＡＩに対する心理的な抵抗感から、ＡＩが結果を出すために必要なデータの収集に協力できないと判断されてしまうことがある。このように、ＡＩをユーザに受容してもらえず、円滑にＡＩ技術を導入できないという課題が存在する。

【課題を解決するための手段】

【0005】

上述した課題を解決し目的を達成するため、請求項１に記載の情報処理装置は、質問に対する回答データを取得する取得部と、取得部より取得した回答データから特徴量を加工する特徴加工部と、取得部より取得した回答データから、ラベルを作成するラベル作成部と、特徴加工部により加工された特徴量と、ラベル作成部により作成されたラベルとから学習モデルを構築するモデル構築部とを有することを特徴とする。

【0006】

請求項４に記載の情報処理装置は、質問に対する回答データを取得する取得部と、取得部により取得した回答データから、特徴量を加工する限定特徴加工部と、取得部により取得した回答データから、ラベルを作成する限定ラベル作成部と、限定特徴加工部により加工された特徴量と限定ラベル作成部により作成されたラベルとを入力データとして、ＡＩに関する信頼度を推定する推定部とを有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、ユーザの属性情報やＡＩに対する考え方、信頼に対する考え方をといったＡＩによる提案の受容に影響する要素を考慮した上で、対象とするユーザがどの程度の確率でＡＩが出した結果を受容するかを推定し、推定結果を用いることで、円滑なＡＩ技術の導入を可能とする。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図2】図２は、実施形態に係る情報処理装置の概要を説明する図である。

【図3】図３は、実施形態に係る情報処理装置の特徴量加工処理の一例を示す図である。

【図4】図４は、実施形態に係る情報処理装置のラベル作成処理の一例を示す図である。

【図5】図５は、実施形態に係る情報処理装置のラベル作成処理の一例を示す図である。

【図6】図６は、実施形態に係る情報処理装置による推定処理の一例を示すフローチャートである。

【図7】図７は、実施形態に係る情報処理装置の概要を説明する図である。

【図8】図８は、情報処理プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して、本願に係る情報処理装置、情報処理方法および情報処理プログラムの実施形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示しており、重複する説明は、省略される。

【0010】

〔実施例１〕
〔情報処理装置の構成〕
まず、図１を用いて、情報処理装置１００の構成について説明する。図１は、実施形態に係る情報処理装置１００の構成の一例を示す図である。図１が示すように、情報処理装置１００は、通信部１１０と、制御部１２０と、記憶部１３０とを備える。なお、これらの各部は、複数の装置が分散して保持してもよい。以下にこれら各部の処理を説明する。

【0011】

通信部１１０は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部装置と制御部１２０の通信を可能とする。例えば、通信部１１０は、外部装置と制御部１２０との通信を可能とする。

【0012】

記憶部１３０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１３０が記憶する情報としては、例えば、質問、回答データ、各種機械学習アルゴリズムに関するデータ、機械学習のための訓練データ、学習済みモデルなどが含まれる。なお、記憶部１３０が記憶する情報は上記に記載したものに限定されない。

【0013】

制御部１２０は、ＣＰＵ（Central Processing Unit）やＮＰ（Network Processor）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現され、メモリに記憶された処理プログラムを実行する。図１に示すように、制御部１２０は、取得部１２１と、特徴加工部１２２と、ラベル作成部１２３と、モデル構築部１２４と、限定質問生成部１２５と、限定特徴加工部１２６と、限定ラベル作成部１２７と、推定部１２８とを有する。以下、制御部１２０が有する各部について説明する。

【0014】

取得部１２１は、質問に対する回答データを取得する。例えば、取得部１２１は、基本属性、AIに対する考え方に加えて、信頼の概念に関する質問に対する回答データを取得する。例えば、取得部１２１は、基本属性に関する質問、性格や信頼に対する考え方に関する質問、ＡＩに関する質問、職場へのＡＩ活用に関する質問、ＸＡＩ根拠図の理解・受け入れに関する質問、ＡＩへの情報提供に関する質問に対する回答のデータを取得する。例えば、基本属性は、年齢、性別、年収、業界、職種、出身地といった項目を含む。また、例えば、性格や信頼に対する考え方に関する質問は、BigFiveを用いた性格診断や、一般的な信頼に関する考え方、家族、上司、同僚、企業に対する信頼、職務肯定感に関する質問を含む。

【0015】

また、例えば、ＡＩに関する質問は、ＡＩに対する知識、ＡＩへの期待や不安、イメージに関する質問を含む。また、例えば、職場へのＡＩ活用に関する質問は、職場でＡＩを活用している職種、業務、ＡＩを業務に取り入れる意思などに関する質問を含む。また、例えば、ＸＡＩ根拠図の理解・受け入れに関する質問は、誰からＡＩによる説明を受けたら受容するか、各ＸＡＩ根拠図について理解可能か、ＡＩの提案を受け入れられるか、各ＸＡＩ根拠図に不足しているもの、各ＸＡＩ根拠図に対するイメージといった質問を含む。

【0016】

また、例えば、取得部１２１は、少なくとも信頼の考え方を含む質問に対する回答データを取得する。なお、取得部１２１は、後述する限定質問生成部１２５により生成された質問に対する回答を取得してもよい。

【0017】

ここで、ＸＡＩとは、Explainable ＡＩの略であって、モデルの出力結果について説明可能なＡＩを意味する。また、例えば、ＡＩへの情報提供に関する質問は、生活支援ＡＩ、ヘルスケアＡＩ、ビジネスＡＩ、社内ＡＩといった種々のＡＩに対して自身の情報を提供するかといった質問を含む。

【0018】

なお、これらの質問に対する回答には、どの程度質問に合意できるかを「あてはまる」からあてはまらないまで５段階または７段階で聴取するリッカート尺度や、対立する形容詞の対を用いて５段階または７段階の尺度で回答させる方法であるＳＤ法（semantic differential method）などを用いることができる。具体的な取得データとして、リッカート尺度であれば取得部１２１は、ユーザ１が、「Ｑ７：働いている会社は、私を大事にしてくれている」という質問に対して、「１：あてはまる」と回答した場合には、「ユーザ１、Ｑ７、１」といった回答データを取得する。

【0019】

特徴加工部１２２は、取得した回答データから質問の特徴に応じて、特徴量を加工する。例えば、特徴加工部１２２は、年齢、性別、年収、業界、職種、出身地いったカテゴリ変数をOne hot Encodingにより特徴量化する。また、例えば、特徴加工部１２２は、一般的信頼尺度など人の心理や意識、行動傾向といった抽象的な概念を定量化するために用いられる心理的尺度を用いた質問の回答データについて、回答の合計値を算出することで特徴量化する。また、例えば、特徴加工部１２２は、回答の合計値に対して、分散や中央値または平均値など統計的に処理し、特徴量化する。

【0020】

ラベル作成部１２３は、取得した回答データから、ラベルを作成する。例えば、ラベル作成部１２３は、モデルの正解とする質問を選択しラベルを作成する。例えば、ラベル作成部１２３は、取得した回答データのうち、ＸＡＩ根拠図の理解・受け入れに関する質問に対する回答データにラベルを付与する。具体的には、ラベル作成部１２３は、ＸＡＩ根拠図の理解・受け入れに関する質問に対して、「提案を受け入れられる」といった表現を含む回答に、ＸＡＩを受容することを意味するラベルを付与する。一方、ラベル作成部１２３は、ＸＡＩ根拠図の理解・受け入れに関する質問に対して、「提案を受け入れられない」といった表現を含む回答に、ＸＡＩを受容しないことを意味するラベルを付与する。

【0021】

ラベル作成部１２３によるラベルの作成方法は、分散や中央値または平均値など統計的に処理し、ラベルとする方法や、複数の質問の回答パターンに応じてラベルとする方法などが挙げられる。例えば、ラベル作成部１２３は、各ＸＡＩの受容ラベルまたは、非受容ラベルを集計し、回答のパターンを集計し、回答パターンに応じてＡＩ受容ラベルまたは、ＡＩ非受容ラベルを付与してもよい。また、例えば、ラベル作成部１２３は、各ＸＡＩの受容ラベルまたは、非受容ラベルを集計し、需要件数の分布を算出し、閾値に応じてＡＩ受容ラベルまたは、ＡＩ非受容ラベルを付与してもよい。なお、ラベル作成部１２３は、ＡＩ受容ラベルまたは、ＡＩ非受容ラベルを付与する閾値については適宜任意の値を設定することができる。

【0022】

モデル構築部１２４は、特徴加工部１２２により加工された特徴量と、ラベル作成部１２３により作成されたラベルとから学習モデルを構築する。例えば、モデル構築部１２４は、加工された特徴量と作成されたラベルとを入力として、アルゴリズムを用いて、ＡＩに関する信頼度を予測するモデルを学習する。ここで、モデル構築部１２４が使用するアルゴリズムは、分類モデルを構築できるものであれはどの手法でも構わない。また、例えば、モデル構築部１２４は、この学習モデルをベースに、目標精度を保ちつつ、可能な限り質問を削除し、少数の質問でＡＩに関する信頼度を出力できる最終モデルを作成する。なお、モデル構築部１２４は、特徴量として入力する質問を削除する際は、正解ラベルとの相関係数や、相互情報量、予測への寄与度を算出するＳＨＡＰ（Shapley Additive exPlanations）値などを基準に質問を選択し削除する。

【0023】

限定質問生成部１２５は、ラベル作成部１２３により作成されたラベルから、フルセット質問のサブセットである、限定質問セットを生成する。ここで、フルセット質問とは、回答データを取得するためのすべての質問を意味する。また、サブセットとは、フルセット質問に含まれる質問を意味する。また、限定質問セットとは、フルセット質問からラベルの作成に用いた質問または、モデル構築部により削除された質問を除外した質問を意味する。

【0024】

限定特徴加工部１２６は、取得部１２１により取得した回答データから、特徴量を加工する。例えば、限定特徴加工部１２６は、限定質問生成部１２５により生成された限定質問に対する回答データから、特徴量を加工する。なお、限定特徴加工部１２６は、特徴加工部１２２と同様の特徴加工処理を行ってもよい。

【0025】

限定ラベル作成部１２７は、取得部１２１により取得した回答データから、ラベルを作成する。例えば、限定ラベル作成部１２７は、限定質問生成部１２５により生成された限定質問に対する回答データから、ラベルを作成する。なお、限定ラベル作成部１２７は、ラベル作成部１２３と同様のラベル作成処理を行ってもよい。

【0026】

推定部１２８は、限定特徴加工部１２６により加工された特徴量と限定ラベル作成部１２７により作成されたラベルとを入力データとして、ＡＩに関する信頼度を推定する。例えば、推定部１２８は、加工された特徴量とラベルとを入力データとして、学習済みモデルを用いて、ＡＩに関する信頼度を推定する。また、例えば、推定部１２８は、学習済みの最終モデルを用いて、ＡＩに関する信頼度を推定する。

【0027】

つまり、推定部１２８は、最終モデル構築に使用した少数の質問を対象ユーザに聴取し、回答データから特徴量を加工して、最終モデルに入力し、推論することで、ＡＩに関する信頼度を出力する。例えば、推定部１２８は、ＡＩに関する信頼度として、ＡＩの出力結果に関する信頼度およびＡＩの出力結果に関する説明手法の信頼度およびＡＩの出力結果に関する説明手法の信頼度を推定する。

【0028】

また、例えば、推定部１２８は、ＡＩの出力結果に関する説明手法の信頼度として、ＡＩの出力結果がどの特徴量を重要としているか説明する手法、ＡＩの出力結果がどのようなルールに基づいているかを説明する手法、ＡＩの出力結果を反実仮想を用いて説明する手法、ＡＩの出力結果を例示して説明する手法、ＡＩの出力結果を統計的に説明する手法のうちいずれか１つまたは複数の手法に対する信頼度を推定する。具体的には、推定部１２８は、ユーザ１は、ＡＩに関する信頼度が８０％、ＸＡＩ根拠のうち、特徴量重要度を用いた説明に対する信頼度が７０％、ルール可視化による説明に対する信頼度が６０％、反実仮想を用いた説明に対する信頼度が８０％、例示による説明に対する信頼度が８０％、統計的な説明に対する信頼度が９０％であると推定し、その結果を出力する。

【0029】

〔情報処理装置が行う処理の概要〕
次に、図２を用いて、実施形態に係る情報処理装置１００が行う処理の一例について説明する。図２は、実施形態に係る情報処理装置１００が行う処理の概要を説明するための図である。まず、図２（１）は、回答データである。例えば、回答データは、事前に作成されたユーザの信頼やＡＩに対する考え方を聴取する質問への回答を、ユーザごとにデータ化したものである。具体的には、回答データは、ユーザ１が、「Ｑ７：働いている会社は、私を大事にしてくれている」という質問に対して、「１：あてはまる」と回答した場合、「ユーザ１、Ｑ７、１」のように表示される。

【0030】

次に、図２（２）は、情報処理装置１００である。まず、取得部１２１は、回答データを取得する。次に、特徴加工部１２２は、回答データから特徴量を加工する。詳しくは、図３（特徴量の加工）で説明する。それから、ラベル作成部１２３は、回答データからラベルの作成を行う。詳しくは、図４（ラベル作成）で説明する。それから、推定部１２８は、特徴量とラベルとを入力データとして、学習および推定を行い、結果を出力する。

【0031】

そして、図２（３）は、推定部１２８の推定結果である。推定部１２８は、ユーザごとのＡＩに関する信頼度とＸＡＩの手法に対する信頼度とを推定する。例えば、推定部１２８は、ユーザ１のＡＩに関する信頼度は８０％、特徴量重要度を用いた説明に対する信頼度は８０％、ルール可視化による説明に対する信頼度は６０％、統計的な説明に対する信頼度は９０％と推定する。

【0032】

ＡＩ導入を推進する立場の説明者は、情報処理装置１００が推定した結果を用いることで、ユーザに対するＡＩ導入に関する説明コストを削減することができる。例えば、ある職場が本発明とは異なるＡＩを導入し、当該ＡＩが営業方法の変更や人事異動などを提案した場合に、ＡＩ導入を推進する立場の説明者は、情報処理装置１００による推定結果を活用し、ＡＩに関する信頼度の高いユーザに対して、当該ユーザの信頼度の高い説明手法を用いて説明を行うことができる。

【0033】

〔特徴量加工処理〕
次に、図３を用いて、実施形態に係る特徴量加工処理の一例について説明する。図３は、実施形態に係る特徴量加工処理を説明するための図である。図３（１）は、回答データである。回答データは、基本属性、性格や信頼に対する考え方の聴取、ＡＩに関する質問、場面設定を伴うＸＡＩ根拠図の理解・受け入れに関する質問に対する回答を含む。特徴加工部１２２は、年齢、性別、年収、業界、職種、住所といった基本属性については、One hot Encodingにより特徴量化する。

【0034】

また、特徴加工部１２２は、性格や信頼に対する考え方の聴取、ＡＩに関する質問といった項目については、項目群の回答の合計値を計算し、特徴量として使用する。なお、特徴加工部１２２は、場面設定を伴うＸＡＩ根拠図の理解・受け入れに関する質問に対する回答データについては、特徴量として使用しなくてもよい。

【0035】

〔ＸＡＩモデルのラベル作成処理〕
次に、図４を用いて、実施形態に係るＸＡＩモデルのラベル作成処理の一例について説明する。図４は、実施形態に係るＸＡＩモデルのラベル作成を説明するための図である。まず、図４（１）は、ＸＡＩ根拠図である。例えば、ＸＡＩ根拠図は、特徴量重要度を示したもの、ルールを可視化したもの、反実仮想を用いたもの、例示を用いたもの、データを可視化したものを含む。

【0036】

次に、図４（２）は、ＸＡＩ根拠図の理解・受け入れに関する質問に対する回答項目である。例えば、ＸＡＩ根拠図の理解・受け入れに関する質問に対する回答項目は、「理解ができて、提案を受け入れられる」、「理解はできたが、提案を受け入れられない」、「理解できないが、提案を受け入れられる」、「一部、理解できない箇所があり、提案を受け入れられない」、「全く理解できないし、提案を受け入れられない」といったものを含む。

【0037】

そして、図４（３）は、ラベルの付与である。ラベル作成部１２３は、「提案を受け入れられる」といった表現を含む回答に対して、ＸＡＩを受容することを意味するラベルを付与する。例えば、ラベル作成部１２３は、「１．理解できて、提案を受け入れられる」という回答項目に対してラベル１を付与する。

【0038】

一方、ラベル作成部１２３は、「提案を受け入れられない」といった表現を含む回答に対して、ＸＡＩを受容しないことを意味するラベルを付与する。例えば、ラベル作成部１２３は、「５．全く理解できないし、提案を受け入れられない」という回答項目に対してラベル０を付与する。

【0039】

〔ＡＩモデルのラベル作成処理〕
次に、図５を用いて、実施形態に係るＡＩモデルのラベル作成処理の一例について説明する。図５は、実施形態に係るＡＩモデルのラベル作成を説明するための図である。ラベル作成部１２３は、ＸＡＩ受容ラベルに基づいてＡＩ受容ラベルを付与する。例えば、ラベル作成部１２３は、ＸＡＩを受容することを意味するラベルが１つ以上存在する場合には、ＡＩを受容することを意味するラベルを付与する。一方、ラベル作成部１２３は、ＸＡＩを受容することを意味するラベルが１つも存在しない場合には、ＡＩを受容しないことを意味するラベルを付与する。

【0040】

〔モデル構築処理〕
モデル構築部１２４は、既存アルゴリズムによってデータを分類する機械学習モデルを構築する。例えば、推定部１２８は、XGBoostやLightGBM等の勾配ブースティング決定木を用いた学習により、機械学習モデルを構築する。なお、機械学習モデルの構築には、機械学習モデルの新規作成のみならず、既存の機械学習モデルの更新も含まれる。

【0041】

推定部１２８は、加工された特徴量と作成されたラベルとを入力データとして、上記の機械学習モデルを用いることで、ユーザごとのＡＩに関する信頼度と、各ＸＡＩの手法に対する信頼度を推定する。

【0042】

〔フローチャート〕
次に、図６を用いて、情報処理装置１００による推定処理の流れについて説明する。図６は、本実施形態に係る推定処理の流れの一例を示すフローチャートである。

【0043】

まず、取得部１２１は、回答データを取得する（ステップＳ１１）。例えば、取得部１２１は、基本属性に関する質問、性格や信頼に対する考え方に関する質問、ＡＩに関する質問、職場へのＡＩ活用に関する質問、ＸＡＩ根拠図の理解・受け入れに関する質問、ＡＩへの情報提供に関する質問に対する回答のデータを取得する。

【0044】

次に、特徴加工部１２２は、回答データから特徴量を加工する（ステップＳ１２）。例えば、特徴加工部１２２は、年齢、性別、年収、業界、職種、出身地といったカテゴリ変数をOne hot Encodingにより特徴量化する。

【0045】

それから、ラベル作成部１２３は、回答データからラベルを作成する（ステップＳ１３）。例えば、ラベル作成部１２３は、取得した回答データのうち、ＸＡＩ根拠図の理解・受け入れに関する質問に対する回答データにラベルを付与する。

【0046】

それから、モデル構築部１２４は、特徴加工部１２２により加工された特徴量と、ラベル作成部１２３により作成されたラベルとから学習モデルを構築する（ステップＳ１４）。例えば、モデル構築部１２４は、加工された特徴量と作成されたラベルとを入力として、アルゴリズムを用いて、ＡＩに関する信頼度を予測するモデルを学習する。

【0047】

それから、限定質問生成部１２５は、ラベル作成部１２３により作成されたラベルから、フルセット質問のサブセットである、限定質問セットを生成する（ステップＳ１５）。

【0048】

それから、取得部１２１は、回答データを取得する（ステップＳ１６）。例えば、取得部１２１は、限定質問生成部１２５により生成された質問に対する回答データを取得する。

【0049】

それから、限定特徴加工部１２６は、取得部１２１により取得した回答データから、特徴量を加工する（ステップＳ１７）。例えば、限定特徴加工部１２６は、限定質問生成部１２５により生成された限定質問に対する回答データから、特徴量を加工する。

【0050】

それから、限定ラベル作成部１２７は、取得部１２１により取得した回答データから、ラベルを作成する（ステップＳ１８）。例えば、限定ラベル作成部１２７は、限定質問生成部１２５により生成された限定質問に対する回答データから、ラベルを作成する。

【0051】

そして、推定部１２８は、特徴量とラベルとを入力データとしてＡＩに関する信頼度を算出する（ステップＳ１９）。例えば、推定部１２８は、加工された特徴量とラベルとを入力データとして、学習済みモデルを用いて、ＡＩに関する信頼度を推定する。

【0052】

〔効果〕
このように、実施形態に係る情報処理装置１００は、取得部１２１と、特徴加工部１２２と、ラベル作成部１２３と、モデル構築部１２４とを有する。取得部１２１は、質問に対する回答データを取得する。特徴加工部１２２は、取得した回答データから、特徴量を加工する。ラベル作成部１２３は、取得した回答データから、ラベルを作成する。モデル構築部１２４は、モデル構築部１２４は、特徴加工部１２２により加工された特徴量と、ラベル作成部１２３により作成されたラベルとから学習モデルを構築する。

【0053】

この構成により、実施形態に係る情報処理装置１００は、回答データから加工した特徴量と回答データから作成したラベルとに基づいて、ユーザのＡＩに対する信頼度を推定し、ＡＩに対する抵抗感が少なく信頼度が高いユーザの発見を可能とする学習モデルを構築することができる。

【0054】

また、実施形態に係る情報処理装置１００は、ラベル作成部１２３により作成されたラベルからフルセット質問のサブセットである限定質問セットを生成する限定質問生成部を有する。この構成により情報処理装置１００は、推測への寄与度が低い質問を除外し、推測への寄与度が高い質問を含む質問セットを生成することができる。

【0055】

また、実施形態に係る情報処理装置１００において、取得部１２１は、少なくとも信頼の考え方を含む質問に対する回答データを取得する。この構成により情報処理装置１００は、推測への寄与度が大きい質問に対する回答データを用いて学習モデルを構築することができる。

【0056】

また、実施形態に係る情報処理装置１００は、取得部１２１と、限定特徴加工部１２６と、限定ラベル作成部１２７と、推定部１２８とを有する。取得部１２１は、質問に対する回答データを取得する。限定特徴加工部１２６は、取得した回答データから、特徴量を加工する。限定ラベル作成部１２７は、取得した回答データから、ラベルを作成する。推定部１２８は、限定特徴加工部１２６により加工された特徴量と限定ラベル作成部１２７により作成されたラベルとを入力データとして、ＡＩに関する信頼度を推定する。

【0057】

この構成により、実施形態に係る情報処理装置１００は、回答データから加工した特徴量と回答データから作成したラベルとに基づいて、ユーザのＡＩに対する信頼度を推定し、ＡＩに対する抵抗感が少なく信頼度が高いユーザを発見し、円滑なＡＩ技術の導入を可能とする。

【0058】

また、実施形態に係る情報処理装置１００において、推定部１２８は、ＡＩに関する信頼度として、ＡＩの出力結果に関する信頼度およびＡＩの出力結果に関する説明手法の信頼度を推定する。この構成により情報処理装置１００は、ＡＩの出した結果を説明する際に、どのように説明するとユーザを納得させられるかといった期待値を手法毎に示し、説明コストを削減しつつ、円滑なＡＩ技術の導入を可能とする。

【0059】

〔実施例２〕
上記実施例では、ＡＩに関する信頼度として、ＡＩの出力結果に関する信頼度およびＡＩの出力結果に関する説明手法の信頼度を推定する場合を説明した。しかし、本発明は、これに限定されるものでなく、ＡＩに関する信頼度として、ＡＩ作成のためのデータ収集に協力する確率を推定するようにしてもよい。そこで、実施例２では、ＡＩに関する信頼度として、ＡＩ作成のためのデータ収集に協力する確率を推定する場合について説明する。なお、実施例２では、主に、実施例１との相違点について説明し、実施例１と同様の構成要素については、適宜、その説明を省略する。

【0060】

〔情報処理装置の構成〕
推定部１２８は、ＡＩに関する信頼度として、ＡＩ作成のためのデータ収集に協力する確率を推定する。例えば、推定部１２８は、ターゲット集団である営業職が、ＡＩ作成のために情報提供する確率を８０％と推定する。

【0061】

〔情報処理装置が行う処理の概要〕
図７を用いて、実施形態に係る情報処理装置１００が行う処理の一例について説明する。図７は、実施形態に係る情報処理装置１００が行う処理の概要を説明するための図である。まず、図７（１）は、回答データである。例えば、回答データは、事前に作成された、ＡＩへの情報提供に関する質問に対する回答を、職種ごとにデータ化したものである。

【0062】

次に、図７（２）は、情報処理装置１００である。まず、特徴加工部１２２は、回答データから特徴量を加工する。例えば、特徴加工部１２２は、ＡＩ導入に関する質問や、情報提供に関する質問項目群の回答の合計値を分散、平均、合計値など統計的に処理して特徴量として使用する。

【0063】

次に、ラベル作成部１２３は、回答データからラベルを作成する。例えば、ラベル作成部１２３は、集団ごとに活用されるＡＩ分野のラベルを付与する。具体的には、ラベル作成部１２３は、営業職の提供情報が、人事分野、営業支援分野のＡＩへ活用されることを意味するラベルを付与する。一方、ラベル作成部１２３は、営業職の提供情報が、販売発注分野のＡＩに活用されないことを意味するラベルを付与する。

【0064】

また、例えば、ラベル作成部１２３は、質問に対して、職種ごとの回答の傾向から情報提供を受けられるかどうかのラベルを付与する。具体的には、ラベル作成部１２３は、「一般的な個人情報を提供するか」、「秘匿性の高い個人情報を提供するか」、「業務上のデータを提供するか」といった質問に対して、「情報を提供する」、「匿名化されれば、情報を提供する」という回答が多ければ、情報提供を行うことを意味するラベルを付与する。例えば、ラベル作成部１２３は、営業職に対して、「一般個人情報を提供し、秘匿性の高い個人情報を提供せず、業務上のデータを提供する」ことを意味するラベルを付与する。

【0065】

一方、ラベル作成部１２３は、「一般的な個人情報を提供するか」、「秘匿性の高い個人情報を提供するか」、「業務上のデータを提供するか」といった質問に対して、「情報を共有しない」、「どちらともいえない・判別がつかない」という回答が多ければ、「情報提供を行わない」ことを意味するラベルを付与する。

【0066】

なお、ターゲットとする集団は、目的にあわせて、業種、職種、年代といった所定の属性のグループを設定してもよい。また、ターゲットとする集団は、目的にあわせて、所定の質問に対して所定の回答を行ったグループを設定してもよい。

【0067】

そして、図７（３）は、推定部１２８の推定結果である。推定部１２８は、職種ごとのＡＩに関する信頼度とＸＡＩの手法に対する信頼度とを推定する。例えば、推定部１２８は、営業職のＡＩに関する信頼度は７０％、特徴量重要度を用いた説明に対する信頼度は７０％、ルール可視化による説明に対する信頼度は９０％、統計的な説明に対する信頼度は６０％であると推定する。

【0068】

〔効果〕
実施形態に係る情報処理装置１００において、推定部１２８は、ＡＩに関する信頼度として、ＡＩ作成のためのデータ収集に協力する確率を推定する。この構成により情報処理装置１００は、ＡＩ導入先の母集団の性質や特徴を考慮した、ＡＩ作成のためのデータ収集の難易度の試算を可能とする。例えば、情報処理装置１００は、ＡＩ作成のためのデータ収集の協力に意欲的な集団に対するデータ提供の依頼を可能とし、効率的に職場へのＡＩ導入を進めることができる。

【0069】

つまり、情報処理装置１００は、ＡＩに関する信頼度が高いと推定される集団に対して、当該集団において信頼度の高いと推定される説明手法を用いた説明を可能とし、ＡＩ作成のためのデータ収集を容易とし、ＡＩ導入にかかるコストを大幅に削減することができる。

【0070】

〔プログラム〕
上記実施形態において説明した情報処理装置１００が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0071】

図８は、情報処理プログラムを実行するコンピュータの一例を示す図である。図８に示すように、コントローラ２００は、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

【0072】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

【0073】

ここで、図８に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

【0074】

また、制御プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、ハードディスクドライブ１０９０に記憶される。具体的には、上記実施形態で説明したコントローラ２０００が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。

【0075】

また、制御プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

【0076】

なお、制御プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、制御プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0077】

〔その他〕
様々な実施形態を、図面を参照して、本明細書で詳細に説明したが、これらの複数の実施形態は例であり、本発明をこれらの複数の実施形態に限定することを意図するものではない。すなわち、本願発明は、入力として用いる特徴量とラベルとを変更することによって、種々の多値分類モデルの学習、構築、更新を行い、目的とする確率を推定することが可能である。本明細書に記載された特徴は、当業者の知識に基づく様々な変形や改良を含む、様々な方法によって実現され得る。

【0078】

また、上述した「部（module、-er接尾辞、-or接尾辞）」は、ユニット、手段、回路などに読み替えることができる。例えば、通信部（communication module）、制御部（control module）および記憶部（storage module）は、それぞれ、通信ユニット、制御ユニットおよび記憶ユニットに読み替えることができる。

【符号の説明】

【0079】

１００ 情報処理装置
１１０ 通信部
１２０ 制御部
１２１ 取得部
１２２ 特徴加工部
１２３ ラベル作成部
１２４ モデル構築部
１２５ 限定質問生成部
１２６ 限定特徴加工部
１２７ 限定ラベル作成部
１２８ 推定部
１３０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】