特開 2023-114460 専門家回答予測システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114460

(43)【公開日】2023-08-17

(54)【発明の名称】専門家回答予測システム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20230809BHJP

   G06Q 50/10 20120101ALI20230809BHJP

   G06N 20/00 20190101ALI20230809BHJP

【ＦＩ】

G06F16/90 100

G06Q50/10

G06N20/00

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023077182

(22)【出願日】2023-05-09

(62)【分割の表示】P 2021197025の分割

【原出願日】2021-12-03

(71)【出願人】

【識別番号】591101434

【氏名又は名称】株式会社ビデオリサーチ

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】藤森 省吾

(57)【要約】

【課題】特定分野の専門家から質問に対する回答を得ることを希望するユーザに対して、専門家からユーザが求める水準の回答を疑似的に出力する。
【解決手段】専門家回答予測システム１の機械学習装置１０は、個人専門家Ｅ1～ＥNのそれぞれのライフログを学習することにより、各個人専門家Ｅiが質問に対して発する回答を予測し得るように構築された学習モデルを、各個人専門家ＥiのデジタルクローンＣiとして記憶する学習モデル記憶部１１と、いずれかの個人専門家Ｅxに対する質問データを個人専門家Ｅxに対応するデジタルクローンＣxに入力する質問入力部１２と、入力された質問データに応じて、デジタルクローンＣxが個人専門家Ｅxの回答として予測した回答を出力する回答出力部１３と、機械学習装置１０で構築された複数の学習モデルとしてのデジタルクローンＣ1～ＣNを評価する学習モデル評価部１５とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

特定分野において専門性を有する専門家からの回答を予測する専門家回答予測システムであって、
複数の前記専門家の学習モデルをそれぞれ機械学習処理により構築して記憶保持する機械学習装置を備え、
前記機械学習装置は、
複数の前記専門家の発信物を学習することにより、それぞれの専門家が質問に対して発する回答を予測し得るように構築された複数の学習モデルを、複数の該専門家のデジタルクローンとして記憶する学習モデル記憶部と、
複数の前記専門家に対する質問事項を取得して、その質問事項の内容を示す質問データを前記複数の学習モデルに入力する質問入力部と、
該質問入力部から入力された質問データに対して、前記複数の学習モデルが複数の前記専門家の回答として予測した回答を出力する回答出力部と、
前記複数の学習モデルを評価する学習モデル評価部とを備えており、
前記学習モデル評価部は、
複数の前記専門家の集団を変えて、複数の該専門家のそれぞれに対して実施した質問に対する複数の該専門家のそれぞれの回答の集合である専門家側回答群と、該質問に対して前記複数の学習モデルのそれぞれが生成する回答の集合であるモデル側回答群との近似度合いの高低を評価するように構成され、該近似度合いの異なる複数の該専門家の集団を特定し、新たに実施する質問に対する回答を、特定した複数の該専門家の集団に対応した前記複数の学習モデルから取得し得るように構成されていることを特徴とする専門家回答予測システム。

【請求項2】

請求項１記載の専門家回答予測システムにおいて、
前記学習モデル評価部は、複数の前記専門家の集団に包含される複数の小集団を特定し、特定した該小集団に対して該近似度合いを再評価し、所定の閾値以上の該近似度合いを有する該小集団を組み合わせた大集団として、複数の該専門家の集団を再構成することを特徴とする専門家回答予測システム。

【請求項3】

請求項１記載の専門家回答予測システムにおいて、
前記学習モデル評価部は、複数の前記専門家の集団に包含される複数の小集団を特定し、特定した該小集団に対して該近似度合いを再評価し、所定の閾値未満の該近似度合いを有する該小集団を組み合わせた大集団として、複数の該専門家の集団を再構成することを特徴とする専門家回答予測システム。

【請求項4】

請求項１乃至３のうちいずれか１項記載の専門家回答予測システムにおいて、
前記機械学習装置は、前記質問入力部は、取得した前記質問事項の内容と該質問事項に関する質問者が要求する前記近似度合いとに応じて、複数の前記学習モデルのうちの一つの学習モデルを選定し、当該選定した学習モデルに前記質問データを入力するように構成されていることを特徴とする専門家回答予測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定分野において専門性を有する専門家からの回答を予測する専門家回答予測システムに関する。

【背景技術】

【0002】

従来、ユーザから与えられる質問事項に対して回答を出力するシステムとしては、例えば特許文献１に見られるシステムが知られている。このシステムでは、様々な質問事項に対する回答をあらかじめ用意して記憶保持しておき、ユーザから与えられる質問事項の内容に則した回答を抽出して出力するようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７７０２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、様々な分野において、ある分野に関する質問事項を有するユーザがその分野での著名な個人専門家からの回答（助言、推奨事項等を含む）を欲する場合が多々ある。

【0005】

しかるに、一般的なユーザが著名な個人専門家とコンタクトをとって、該個人専門家から回答を得ることは一般には困難である。また、前記特許文献１に見られる如きシステムでは、多くの場合、汎用的な回答しか得られず、ユーザにとって当該回答の有益性や質が乏しいものになりやすい。

【0006】

また、仮に、専門家を模した仮想的な専門家を人工知能により構築したとしても、専門家としての確からしさを検証することは困難であり、結果として、ユーザが求める水準の回答の有益性や質に乏しいものとなってしまう虞がある。

【0007】

以上の事情に鑑みて、本発明は、特定分野の専門家から質問に対する回答を得ることを希望するユーザに対して、専門家からユーザが求める水準の回答を疑似的に出力することができる専門家回答システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１発明の専門家回答予測システムは、特定分野において専門性を有する専門家からの回答を予測する専門家回答予測システムであって、
複数の前記専門家の学習モデルをそれぞれ機械学習処理により構築して記憶保持する機械学習装置を備え、
前記機械学習装置は、
複数の前記専門家のライフログを学習することにより、それぞれの専門家が質問に対して発する回答を予測し得るように構築された複数の学習モデルを、複数の該専門家のデジタルクローンとして記憶する学習モデル記憶部と、
複数の前記専門家に対する質問事項を取得して、その質問事項の内容を示す質問データを前記複数の学習モデルに入力する質問入力部と、
該質問入力部から入力された質問データに対して、前記複数の学習モデルが複数の前記専門家の回答として予測した回答を出力する回答出力部と、
前記複数の学習モデルを評価する学習モデル評価部とを備えており、
前記学習モデル評価部は、
複数の前記専門家の集団を変えて、複数の該専門家のそれぞれに対して実施した質問に対する複数の該専門家のそれぞれの回答の集合である専門家側回答群と、該質問に対して前記複数の学習モデルのそれぞれが生成する回答の集合であるモデル側回答群との近似度合いの高低を評価するように構成され、該近似度合いの異なる複数の該専門家の集団を特定し、新たに実施する質問に対する回答を、特定した複数の該専門家の集団に対応した前記複数の学習モデルから取得し得るように構成されていることを特徴とする。

【0009】

第１発明の専門家回答予測システムによれば、前記デジタルクローンは、特定分野の個人専門家の発信物（専門家が発した発言、SNS、ブログ、出版物、著書、論文等）を学習することにより構成される学習モデルであるので、該個人専門家の思考を模擬し得るものとなる。このため、該学習モデルに対して前記質問データを入力したとき、該学習モデルは、前記個人専門家が発する回答として一定の信頼性の高い回答を予測することができ、当該信頼性の高い回答を質問出力部から出力させることができる。

【0010】

ここで、学習モデルにより構築した複数の個人専門家に対して、学習モデル評価部が、複数の専門家の集団を変えて（専門家の集合を大小変えて作成し）、それぞれの専門家の集団（集合）の実際の回答群と学習モデルの回答群との近似度合いの高低を評価することで、集団（集合）としての専門家の回答の確からしさを検証することができる。

【0011】

そして、近似度（近似度合い）の異なる複数の該専門家の集団を特定し、新たに実施する質問に対する回答を、特定した複数の専門家の集団に対応した複数の学習モデルから取得し得るように構成することで、確からしさが検証された専門家集団から、ユーザが求める水準の有益性や質の回答を得ることができる。

【0012】

これにより、例えば、複数の内科医という専門家に対して、消化器内科という集団を作ると近似度が高いが、感染症内科という集団を作ると近似度が低いと判断した上で、近似度が高い消化器内科の専門家集団の学習モデルから回答を得ることができる、一方、専門家が少なくばらつきがあり近似度が低い感染症内科の専門家集団の学習モデルからも（ばらつきを承知で）回答をもらうことが可能となる。

【0013】

このように、第１発明の専門家回答予測システムによれば、特定分野の専門家から質問に対する回答を得ることを希望するユーザに対して、専門家からユーザが求める水準の回答を疑似的に出力することができる。

【0014】

第２発明の専門家回答予測システムは、第１発明において、
前記学習モデル評価部は、複数の前記専門家の集団に包含される複数の小集団を特定し、特定した該小集団に対して該近似度合いを再評価し、所定の閾値以上の該近似度合いを有する該小集団を組み合わせた大集団として、複数の該専門家の集団を再構成することを特徴とする。

【0015】

第２発明の専門家回答予測システムによれば、特に、所定の閾値以上の該近似度合いを有する小集団を組み合わせた大集団として複数の該専門家の集団を再構成することで、確からしさを担保した大集団としての専門家の集団を作ることができる。

【0016】

例えば、近似度合いを高めた集団を再構成する場合として、先の例では、消化器内科の中をさらに細分化した小集団で近似度を評価し、近似度の高い小集団のみで消化器内科を再構成することで、確からしさがより高まった消化器内科の専門家集団の学習モデルを構築することができる。

【0017】

このように、第２発明の専門家回答予測システムによれば、特定分野の専門家から質問に対する回答を得ることを希望するユーザに対して、専門家からユーザが求める高水準の回答を疑似的に出力することができる。

【0018】

第３発明の専門家回答予測システムは、第１発明において、
前記学習モデル評価部は、複数の前記専門家の集団に包含される複数の小集団を特定し、特定した該小集団に対して該近似度合いを再評価し、所定の閾値未満の該近似度合いを有する該小集団を組み合わせた大集団として、複数の該専門家の集団を再構成することを特徴とする。

【0019】

第３発明の専門家回答予測システムによれば、特に、所定の閾値未満の該近似度合いを有する小集団を組み合わせた大集団として複数の該専門家の集団を再構成することで、確からしさに欠ける大集団としての専門家の集団を作ることができる。

【0020】

すなわち、敢えて、近似度の低い専門家の学習モデルを作成することで、回答の確からしさが無い分野・領域（専門性未確立分野・領域）を特定することができる。さらに、そのような分野・領域の専門家集団の学習モデルに敢えて回答させてみることができる。

【0021】

例えば、感染症内科の中をさらに、細分化した小集団毎に近似度を評価して、近似度が極端に低い感染症内科の集団を未開拓領域として特定し、その回答を検討することができる。

【0022】

このように、第３発明の専門家回答予測システムによれば、特定分野の専門家から質問に対する回答を得ることを希望するユーザに対して、専門家からユーザが求める多次元で未知の回答を疑似的に出力することができる。

【0023】

第４発明の専門家回答予測システムは、第１～第３発明のいずれかにおいて、
前記機械学習装置は、前記質問入力部は、取得した前記質問事項の内容と該質問事項に関する質問者が要求する前記近似度合いとに応じて、複数の前記学習モデルのうちの一つの学習モデルを選定し、当該選定した学習モデルに前記質問データを入力するように構成されていることを特徴とする。

【0024】

第４発明の専門家回答予測システムによれば、本発明では、前記機械学習装置は、複数の専門家のそれぞれに対応する複数の前記学習モデルを前記学習モデル記憶部に記憶しており、前記質問入力部は、取得した前記質問事項の内容と該質問事項に関して質問者が要求する近似度合いとに応じて、前記複数の学習モデルのうちの一つの学習モデルを選定し、当該選定した学習モデルに前記質問データを入力するように構成され得る。

【0025】

これによれば、様々な分野の質問に対して、各分野の専門家からの回答として、質問者が望む信頼性の回答を質問出力部から出力させることができる。

【0026】

このように、第４発明の専門家回答予測システムによれば、特定分野の専門家から質問に対する回答を得ることを希望するユーザに対して、質問者から与えられる要求に応じて質問データを入力する学習モデルを選定して、専門家からユーザが求める水準の回答を疑似的に出力することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態の専門家回答予測システムの構成を示すブロック図。

【発明を実施するための形態】

【0028】

本発明の一実施形態を以下に図１を参照して説明する。本実施形態の専門家回答予測システム１は、複数の専門家Ｅ1，Ｅ2，…，ＥNのそれぞれのデジタルクローンＣ1，Ｃ2，…，ＣNを構成する機械学習装置１０を備える。以降、専門家Ｅ1，Ｅ2，…，ＥNのうちの任意の一人をＥiと表記し、専門家Ｅiに対応するデジタルクローンをＣiと表記する。

【0029】

各専門家Ｅiは、特定分野での専門性を有する実在の個人専門家である。該個人専門家は、例えば、特定分野において、もしくは、世間一般に、広く知られた（著名な）専門家であり得る。

【0030】

各専門家Ｅiが専門性を有する特定分野（以降、専門分野ということがある）は、その種類や広狭を問わず、任意の分野でよい。該専門分野は、例えば、物理、言語学等の学術的な分野、犬、猫、魚、虫等の特定の生物に係る分野、掃除、料理、洗濯等の日常生活に係る分野、各専門家Ｅiが自身の専門分野もしくは得意分野として自称している分野、各専門家Ｅiの専門分野もしくは得意分野として世間一般に認知されている分野等であり得る。

【0031】

なお、専門家Ｅ1～ＥNのそれぞれの専門分野は互いに異なり得るが、専門家Ｅ1～ＥNの全体もしくは一部の専門分野が互いに重複していてもよい。また、各専門家Ｅiの専門分野は、複数の分野にまたがっていてもよい。

【0032】

機械学習装置１０は、例えば、マイコン等のプロセッサ、メモリ、インターフェース回路、通信機等を含む1つ以上のコンピュータにより構成され、インターネット、電話通信網等により構成された外部ネットワークＮＷ（広域ネットワーク）と通信を行い得ると共に、利用者Ｐが使用する通信端末２０と外部ネットワークＮＷを介して通信を行い得るように構成されている。

【0033】

そして、機械学習装置１０は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）により実現される機能によって、各専門家Ｅi毎に、学習モデルとしてのデジタルクローンＣiを構築（生成）し得るように構成されていると共に、各専門家ＥiのデジタルクローンＣiを記憶保持する学習モデル記憶部１１としての機能と、利用者Ｐから通信端末２０を介して与えられる質問の内容を示す質問データを、デジタルクローンＣ1～ＣNのうちの所要のデジタルクローンＣx（＝Ｃ1、又はＣ2、又は、……、又はＣN）に入力する質問入力部１２としての機能と、該質問データに応じてデジタルクローンＣxから得られた回答を出力する回答出力部１３としての機能と、機械学習装置１０で構築された複数の学習モデルとしてのデジタルクローンＣ1～ＣNを評価する学習モデル評価部１５とを含むように構成されている。

【0034】

この場合、機械学習装置１０は、各専門家Ｅi毎に、各専門家Ｅiの少なくとも発信物（専門家が発した発言、ＳＮＳ、ブログ、出版物、著書、論文等）を含むライフログを学習データとして用いて、機械学習処理により各専門家ＥiのデジタルクローンＣiを構築する。各専門家Ｅiのライフログは、各専門家Ｅiに固有の情報、もしくは特徴的な情報を多く含む情報である。該ライフログとしては、例えば、各専門家Ｅiの属性情報（年齢、性別、所在地、専門分野、趣味等）、各専門家Ｅiが発信したＳＮＳ（Social Networking Service）情報、各専門家Ｅiの打合せ等の会合における録音データもしくは録画データ等を使用し得る。

【0035】

かかるライフログは、作業者が、随時、適宜の入力装置を介して機械学習装置１０に入力し得る。あるいは、機械学習装置１０が、各専門家Ｅi毎に、外部ネットワークＮＷのインターネット等から自動的に収集し得る。

【0036】

機械学習装置１０は、各専門家Ｅi毎に、与えられたライフログを学習データとして用いて、機械学習処理により各専門家Ｅiに対応する学習モデルを構築し、その学習モデルを各専門家ＥiのデジタルクローンＣiとして、学習モデル記憶部１１に記憶保持する。この場合、各専門家ＥiのデジタルクローンＣiとしての学習モデルは、該専門家Ｅiの思考や行動態様を模擬し得る人工知能として機能するものであり、該専門家Ｅiの専門分野等に関する質問データが与えられたとき、該専門家Ｅi本人の回答として予測される回答（応答情報）を生成し得るように構築される。

【0037】

なお、機械学習装置１０への各専門家Ｅiの新たなライフログの入力と、各専門家Ｅi毎の機械学習処理とは継続的に行われる。これに伴い各専門家ＥiのデジタルクローンＣiが、各専門家Ｅiの思考や行動態様を模擬する人工知能としての信頼性が高まっていくように更新されていく。

【0038】

機械学習装置１０は、以上の如く複数の専門家Ｅ1～ＥNのそれぞれの学習モデルとしての複数のデジタルクローンＣ1～ＣNiを構築して、学習モデル記憶部１１に記憶保持する。なお、デジタルクローンＣ1～ＣNの生成技術としては、例えば特開２０１８－１９０４５７号公報等に提案されている技術を採用し得る。

【0039】

学習モデル評価部１５は、構築されたデジタルクローンＣ1～ＣNを組み合わせた集団（集合）作成し、それぞれの専門家の集団（集合）の実際の回答群と学習モデルの回答群との近似度合いの高低を評価することで、集団（集合）としての専門家の回答の確からしさを検証することができる。

【0040】

すなわち、専門家Ｅ1～Ｅnの全体又は一部に対して過去に実施した調査における質問に対して該専門家Ｅ1～Ｅnの全体又は一部から得られた回答の集合である専門家側回答群と、該質問に対して学習モデルであるデジタルクローンＣ1～ＣNのそれぞれが生成する回答の集合であるモデル側回答群との近似度合いの高低を評価するように構成されている。

【0041】

かかる学習モデル評価部１５は、取得した専門家側回答群とモデル側回答群との近似度合いの高低を次のように評価する。なお、以降の説明では、複数の質問のうちの任意の1つの質問を質問Ｑxと表記することがある。

【0042】

すなわち、学習モデル評価部１５は、複数の質問のそれぞれ毎に、各質問Ｑxに対応する専門家側回答群と、モデル側回答群とから、該質問Ｑxに対する回答の傾向の特徴量を専門家側回答群及びモデル側回答群のそれぞれ毎に特定する。各質問Ｑxに対する回答の傾向の特徴量（以降、回答傾向特徴量という）としては、例えば、度数（回答数）が最も高い回答（第１順位の度数の回答）の内容、あるいは、第１順位の度数の回答を含む複数の順位の度数（例えば第１順位及び第２順位の度数）のそれぞれの回答内容の組等を採用し得る。

【0043】

そして、学習モデル評価部１５は、各質問Ｑx毎に、専門家側回答群における回答傾向特徴量と、モデル側回答群における回答傾向特徴量とが一致する場合に、質問Ｑxに対する専門家側回答群とモデル側回答群との近似度合いが高い判定し、それらの回答傾向特徴量が一致しない場合には、質問Ｑxに対する専門家側回答群とモデル側回答群との近似度合いが低いと判定する。

【0044】

例えば、ある質問Ｑxに対する回答内容がａ，ｂ，ｃ，ｄの４種類であり、該質問Ｑxに対する回答傾向特徴量として、第１順位の度数（最大度数）の回答内容を採用した場合を想定する。この場合、質問Ｑxに対する専門家側回答群における第１順位の度数の回答内容と、モデル側回答群における第１順位の度数の回答内容とが互いに一致する回答内容である場合（例えば、両方の回答内容がａである場合）、質問Ｑxに対する専門家側回答群とモデル側回答群との近似度合いが高いと判定される。

【0045】

一方、質問Ｑxに対する専門家側回答群における第１順位の度数の回答内容と、モデル側回答群における第１順位の度数の回答内容とが互いに異なる回答内容である場合（例えば、一方側の回答内容がａであり、他方側の回答内容がｃである場合）、質問Ｑxに対する専門家側回答群とモデル側回答群との近似度合いが低いと判定される。

【0046】

また、例えば、ある質問Ｑxに対する回答内容がａ，ｂ，ｃ，ｄの４種類であり、該質問Ｑxに対する回答傾向特徴量として、第１順位の度数（最大度数）の回答内容と、第２順位の度数（最大度数の次に大きい度数）の回答内容との組を採用した場合を想定する。この場合、質問Ｑxに対する専門家側回答群における第１順位の度数の回答内容及び第２順位の度数の回答内容の組と、モデル側回答群における第１順位の度数の回答内容及び第２順位の度数の回答内容の組とが互いに一致する場合（例えば、第１順位の度数の回答内容及び第２順位の度数の回答内容の組が、専門家側回答群とモデル側回答群との両方とも、ａ（：第１順位），ｄ（：第２順位）の組である場合）、質問Ｑxに対する専門家側回答群とモデル側回答群との近似度合いが高いと判定される。

【0047】

一方、質問Ｑxに対する専門家側回答群における第１順位の度数の回答内容及び第２順位の度数の回答内容の組と、モデル側回答群における第１順位の度数の回答内容及び第２順位の度数の回答内容の組とが互いに異なる回答内容である場合（例えば、一方側の回答内容の組がａ（：第１順位）、ｂ（：第２順位）の組であり、他方側の回答内容の組がａ（：第１順位）、ｃ（：第２順位）である場合）、質問Ｑxに対する専門家側回答群とモデル側回答群との近似度合いが低いと判定される。
補足すると、回答傾向特徴量は、複数の質問の全てに対して同一である必要はなく、質問の種類や内容に応じて異ならせてもよい。

【0048】

また、各質問Ｑxに対する回答傾向特徴量は、第１順位の度数の回答内容、あるいは、複数の順位の度数の回答内容の組に限られない。例えば、質問Ｑxに対する回答傾向特徴量は、質問Ｑxに対する第１順位の度数の回答内容に加えて、あるいは、第１順位の度数を含む複数の順位の度数のそれぞれの回答内容の組に加えて、第１順位の度数の割合等、1つ以上の順位の度数のそれぞれの割合を含み得る。ここで、第１順位の度数の割合等、任意の順位の度数の割合は、質問Ｑxに対する回答の総数（専門家側回答群及びモデル側回答群のそれぞれ毎の総数）に対する、該順位の度数の割合（比率）を意味する。

【0049】

このように質問Ｑxに対する1つ以上の順位の度数の割合を回答傾向特徴量に含める場合、質問Ｑxに対する回答傾向特徴量が対象側回答群とモデル側回答群とで一致するか否かを判定するために、回答内容（又は回答内容の組）が一致するか否かの判定結果に加えて、当該1つ以上の順位の度数の割合が対象側回答群とモデル側回答群とで一致する（ほぼ一致する場合を含む）か否かの判定結果が必要となる。

【0050】

この場合、任意の1つの順位の度数の割合が、対象側回答群とモデル側回答群とで一致するか否かは、例えば、対象側回答群での当該度数の割合と、モデル側回答群での当該度数の割合との二つの割合の差がゼロ近辺の所定の範囲内に収まっているか否かによって、あるいは、該二つの割合の比率が“１”近辺の所定の範囲内に収まっているか否かによって、判定し得る。

【0051】

学習モデル評価部１５は、上記の如く、複数の質問のそれぞれ毎に、専門家側回答群とモデル側回答群との近似度合いの高低を評価（判定）する。さらに、学習モデル評価部１５は、専門家Ｅ1～Ｅnの全体又は一部と、学習モデルであるデジタルクローンＣ1～ＣNとに対して行った複数の質問のうち、専門家側回答群とモデル側回答群との近似度合いが高いと判定した質問の総数の割合（トータルの質問数に対する割合）があらかじめ定められた所定の閾値以上である場合に、専門家側回答群の全体とモデル側回答群の全体との近似度合いが高いと判定する。また、専門家側回答群とモデル側回答群との近似度合いが高いと判定した質問の総数の割合が所定の閾値よりも低い場合には、専門家側回答群の全体とモデル側回答群の全体との近似度合いが低いと判定する。

【0052】

なお、例えば、質問の種類等に応じて、複数の質問のそれぞれに重み値（1.0、1.5、0.8等）を設定しておき、専門家側回答群とモデル側回答群との近似度合いが高いと判定した各質問の重み値を合算してなる値が所定の閾値以上であるか否かによって、専門家側回答群の全体とモデル側回答群の全体との近似度合いが高いか否かを評価することも可能である。この場合、例えば、専門家からの回答の傾向としての特徴が生じやすい種類の質問に対して、重み値を高く設定しておくことを採用し得る。

【0053】

そして、学習モデル評価部１５は、上記の学習モデル評価を、構築されたデジタルクローンＣ1～ＣNを組み合わせた集団（集合）を変えて、それぞれの専門家の集団（集合）の実際の回答群と学習モデルの回答群との近似度合いの高低を評価する。

【0054】

特に、学習モデル評価部１５は、所定の閾値以上の該近似度合いを有する小集団を組み合わせた大集団として複数の該専門家の集団（確からしさを担保した大集団）を再構成する一方、所定の閾値未満の該近似度合いを有する小集団を組み合わせた大集団（確からしさに欠ける大集団）として複数の該専門家の集団も再構成する。

【0055】

なお、小集団、大集団の組み合わせに際しては、専門家の種別の階層関係（例えば、内科⊃消化器内科⊃胃腸内科）が適宜参考にされる。

【0056】

なお、本実施形態では、評価手法の一例を示したが、これに限定されるものではなく、例えば、ｔ検定等の公知の統計的検定手法を用いてもよい。

【0057】

次に、利用者Ｐが使用する通信端末２０は、例えばスマートフォン、タブレット端末、パソコン等により構成され、液晶ディスプレイ等により構成される表示部２０ａや、スピーカ等により構成される発音部２０ｂを含む。この通信端末２０には、機械学習装置１０を利用するための所定のサービスアプリケーション（以下、単にサービスアプリという）があらかじめインストールされている。

【0058】

そして、通信端末２０は、当該サービスアプリを起動した状態で、機械学習装置１０と外部ネットワークＮＷを介して通信を行うことが可能である。この場合、通信端末２０は、利用者Ｐからの質問を受け付けて、機械学習装置１０に送信する機能や、該質問に応じた回答を機械学習装置１０から受信して、利用者Ｐに報知する機能等を有する。

【0059】

次に、本実施形態の専門家回答予測システム１の作動を説明する。利用者Ｐが、複数の専門家Ｅ1～ＥNのいずれかの専門家Ｅxから、所要の質問に対する回答を得ようとするとき、質問者である利用者Ｐは、自身が使用する通信端末２０にインストールされているサービスアプリを起動する。そして、利用者Ｐは、通信端末２０の操作部（タッチパネル、操作スイッチ、キーボード等）の操作もしくは音声入力操作によって、通信端末２０に質問事項を入力する。また、利用者Ｐは質問対象の専門家Ｅxとして、所望の専門家を指定したい場合には、質問事項と併せて、所望の専門家の識別情報（名前等）を通信端末２０に入力する。さらに、所望の専門家に代えて、専門家集団を指定することができる。

【0060】

まず、特定の専門家に質問をする場合ついて説明する。

【0061】

例えば、利用者Ｐが、掃除や整理整頓が得意な特定の専門家に、自身の部屋の片づけ方を尋ねようとする場合には、「〇〇さん（専門家の氏名）、部屋を片付けようと思いますが、どのようにしたらよいですか？」というような内容の質問事項を通信端末２０に入力する。

【0062】

また、例えば、利用者Ｐが、ドラマ評論等で著名な専門家に、特定のドラマの評価を尋ねようととする場合には、「〇〇さん（専門家の氏名）、〇〇というドラマの内容はどうですか？」というような内容の質問事項を通信端末２０に入力する。
なお、質問対象の専門家を指定しない場合には、専門家の氏名等の識別情報の入力は省略される。

【0063】

上記の如く質問事項が入力された通信端末２０は、入力された質問事項を示す質問送信データを機械学習装置１０に外部ネットワークＮＷを介して送信する。該質問送信データは、例えばテキストデータ又は音声信号データとして、機械学習装置１０に送信される。

【0064】

質問送信データを受信した機械学習装置１０では、質問入力部１２が、受信した質問送信データから、質問内容を示すテキスト形式の質問データを生成する。なお、受信した質問送信データがテキストデータである場合、該質問送信データをそのまま、質問データとして用いてもよい。

【0065】

そして、質問入力部１２は、受信した質問送信データにおいて、所望の専門家が指定されている場合には、学習モデル記憶部１１に記憶保持されているデジタルクローンＣ1～ＣNのうち、指定された専門家ＥxのデジタルクローンＣxに質問データを入力する。これにより、質問者である利用者Ｐの要求に応じて決定したデジタルクローンＣxに質問データが入力される。

【0066】

また、質問入力部１２は、受信した質問送信データにおいて、所望の専門家が指定されていない場合には、該質問送信データ又は生成した質問データから、質問内容に含まれるキーワード等に基づいて、該質問内容の分野を特定する。そして、質問入力部１２は、学習モデル記憶部１１に記憶保持されているデジタルクローンＣ1～ＣNの中から、特定した分野に該当する一人の専門家のデジタルクローンを質問対象の専門家ＥxのデジタルクローンＣxとして選定し、その選定したデジタルクローンＣxに質問データを入力する。これにより、質問内容に応じて決定したデジタルクローンＣxに質問データが入力される。

【0067】

質問データが入力されたデジタルクローンＣxは、質問データにより示される質問内容に対して専門家Ｃxが回答すると予測される回答をテキストデータ形式で生成し、その生成した回答を回答出力部１３に受け渡す。回答出力部１３は、当該回答の内容を示す回答送信データを利用者Ｐの通信端末２０に外部ネットワークＮＷを介して送信する。該回答送信データは、例えばテキストデータ又は音声信号データとして、通信端末２０に送信される。

【0068】

そして、回答送信データを受信した通信端末２０は、該回答送信データにより示される回答内容を利用者Ｐに報知する。この場合、当該回答内容は、例えば文字情報として通信端末２０の表示部２０ａで表示され、あるいは、音声情報として通信端末２０の発音部２０ｂから出力される。なお、回答内容を利用者Ｐに報知するとき、質問対象の専門家Ｅxの画像を通信端末２０の表示部２０ａで表示させるようにしてもよい。また、回答内容を音声情報として通信端末２０から出力させる場合には、専門家Ｅxが実際に発話しているように見える画像を表示部２０ａで表示させてもよい。

【0069】

次に、特定の専門家集団のデジタルクローンに質問をする場合について説明する。

【0070】

例えば、複数の内科医という専門家集団について質問をする場合には、内科医という専門家集団については、評価結果である“専門家側回答群の全体とモデル側回答群の全体との近似度合いが高いと判定されている”ことが示される。その上で、内科医という専門家集団の一部または全部から質問に対する回答を得ることができる。なお、全部から回答を得る場合には、回答の多数値を多いほうから数パターン示してもよい。

【0071】

さらに、評価結果である“専門家側回答群の全体とモデル側回答群の全体との近似度合いが特に高いと判定されている”集団として、内科の中の消化器内科や神経内科がある場合には、近似度の高い集団である消化器内科や神経内科の専門家集団から回答を得ることができるほか、感染症内科という集団を作ると近似度が低い場合には（確からしさに欠ける、ばたつきがあることを承知の上で）感染症内科の専門家集団から回答を得ることもできる。

【0072】

加えて、近似度の高い集団（小集団）を組み組み合わせた大集団から回答を得ることのほか、近似度の低い集団（小集団）を組み合わせた大集団から回答を得ることもできる。例えば、近似度の高い集団である消化器内科と神経内科とを組み合わせた近似度が高い専門家集団から回答を得ることができる。

【0073】

以上により利用者Ｐは、質問対象の専門家Ｅxに対する質問に応じた回答を該専門家Ｅxに対応するデジタルクローンＣxおよびこれらの集団である専門家集団のデジタルクローンから、ユーザが求める確からしさの水準を担保した形で得ることができる。この場合、デジタルクローンＣxは、専門家Ｅxの思考や行動態様を模擬し得るように機械学習処理により構築されているので、利用者Ｐは、専門家Ｅx本人から得られる回答と同等の回答を疑似的に得ることができる。特に、利用者Ｐが質問対象の専門家Ｅxを指定した場合には、利用者Ｐは、所望の専門家Ｅxから実際に回答が得られたような感覚で、デジタルクローンＣxからの回答を取得できる。

【0074】

なお、以上説明した実施形態では、利用者Ｐが使用する通信端末２０で質問事項を入力したり、回答内容の報知を行うようにしたが、質問の入力部や回答の出力部が機械学習装置１０に付設されていてもよい。

【0075】

また、前記実施形態では、利用者Ｐが所望の専門家を指定しない場合であっても、例えば、質問対象の専門家の性別や所在値等の属性を指定（要求）し得るようにして、質問内容の分野に応じた専門家の中から、指定された属性に則して選定した専門家および専門家集団に対応するデジタルクローンに質問データを入力するようにしてもよい。

【符号の説明】

【0076】

１…専門家回答予測システム、１０…機械学習装置、１１…学習モデル記憶部、１２…質問入力部、１３…回答出力部、１５…学習モデル評価部。

【図1】