(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024148196
(43)【公開日】2024-10-18
(54)【発明の名称】仮説推論管理装置、仮説推論管理システム及び仮説推論管理方法
(51)【国際特許分類】
G06F 40/56 20200101AFI20241010BHJP
G06N 3/0475 20230101ALI20241010BHJP
G06F 16/35 20190101ALI20241010BHJP
G06F 40/44 20200101ALI20241010BHJP
G06N 5/04 20230101ALI20241010BHJP
【FI】
G06F40/56
G06N3/0475
G06F16/35
G06F40/44
G06N5/04
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023061091
(22)【出願日】2023-04-05
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】呉 桐
【テーマコード(参考)】
5B175
【Fターム(参考)】
5B175DA01
5B175FA03
5B175HB03
(57)【要約】
【課題】学習データの作成が限られる非公開の事象に対しても、高精度の仮説推論結果の生成が可能な仮説推論管理手段を提供すること
【解決手段】仮説推論管理装置は、所定の事象に関する事実を示す前提事実情報に基づいて、前提事実情報に関連する文章を示す初期文章情報を生成する生成部と、前提事実情報と、前提事実情報に対する結論を示す結論情報に基づいて、前提事実情報及び結論情報に関連する関連情報を関連情報データベースから取得する関連情報取得部と、初期文章情報、結論情報及び関連情報に関する制約を規定するエネルギー関数を用いて、前提事実情報及び結論情報に関する説明を示す仮説を含む仮説推論結果を生成する仮説推論部とを含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
仮説推論管理装置であって、
プロセッサと、
メモリと、
所定の分野に関する関連情報を含む関連情報データベースを格納する記憶部とを備え、
前記メモリは、
所定の事象に関する事実を示す前提事実情報に基づいて、前記前提事実情報に関連する文章を示す初期文章情報を生成する生成部と、
前記前提事実情報と、前記前提事実情報に対する結論を示す結論情報に基づいて、前記前提事実情報及び前記結論情報に関連する関連情報を前記関連情報データベースから取得する関連情報取得部と、
前記初期文章情報、前記結論情報及び前記関連情報に関する制約を規定するエネルギー関数を用いて、前記前提事実情報及び前記結論情報に関する説明を示す仮説を含む仮説推論結果を生成する仮説推論部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする仮説推論管理装置。
【請求項2】
前記生成部は、
前記前提事実情報に関連する自然言語情報を自動生成するトランスフォーマーモデルを含む、
ことを特徴とする、請求項1に記載の仮説推論管理装置。
【請求項3】
前記仮説推論管理装置は、
前記関連情報データベースを構築するデータベース構築部を更に含み、
前記データベース構築部は、
複数の非公開の文章を所定の自然言語分類手法によって解析することで、前記複数の非公開の文章の内、第1の非公開文章が前記所定の分野に対する類似度基準を満たすと判定した場合、
前記第1の非公開文章をトピック毎にラベル付けし、前記関連情報データベースに格納する、
ことを特徴とする、請求項1に記載の仮説推論管理装置。
【請求項4】
前記関連情報取得部は、
前記関連情報データベースに含まれる各文章について、前記前提事実情報に対する関連度を示す第1の関連度を判定し、
前記関連情報データベースに含まれる各文章について、前記結論情報に対する関連度を示す第2の関連度を判定し、
判定した前記第1の関連度が所定の関連度基準を満たす第1の文章の中から、前記前提事実情報に関する第1の関連情報候補を抽出し、
判定した前記第2の関連度が所定の関連度基準を満たす第2の文章の中から、前記結論情報に関する第2の関連情報候補を抽出し、
前記第1の関連情報候補及び前記第2の関連情報候補を結合することで、前記関連情報を取得する、
ことを特徴とする、請求項3に記載の仮説推論管理装置。
【請求項5】
前記関連情報取得部は、
Term Frequency-Inverse Document Frequency又はDense Passage Retrievalを用いて、前記関連情報を取得する、
ことを特徴とする、請求項4に記載の仮説推論管理装置。
【請求項6】
前記仮説推論部は、
前記初期文章情報に基づいて、前記仮説推論結果の前記初期文章情報に対する語学的一貫性を定義する語学的一貫性制約を規定し、
前記結論情報に基づいて、前記仮説推論結果の前記結論情報に対する論理的一貫性を定義する結論一貫性制約を規定し、
前記関連情報に基づいて、前記仮説推論結果の前記関連情報に対する類似度を定義する関連情報制約を規定することで前記エネルギー関数を生成し、
ランジュバン動力学に基づく手法を用いて前記エネルギー関数を最適化することで、前記語学的一貫性制約、前記結論一貫性制約及び前記関連情報制約を満たす第1の仮説を判定し、前記仮説推論結果に含める、
ことを特徴とする、請求項1に記載の仮説推論管理装置。
【請求項7】
前記仮説推論部は、
前記語学的一貫性制約、前記結論一貫性制約及び前記関連情報制約に加えて、
前記前提事実情報及び前記結論情報に対する論理的一貫性を定義する始終一貫性制約を更に規定し、
ランジュバン動力学に基づく手法を用いて前記エネルギー関数を最適化ことで、前記語学的一貫性制約、前記結論一貫性制約、前記関連情報制約及び前記始終一貫性制約を満たす第2の仮説を判定し、前記仮説推論結果に含める、
ことを特徴とする、請求項6に記載の仮説推論管理装置。
【請求項8】
前記仮説推論結果は、
前記前提事実情報及び前記結論情報に関する説明を示す仮説に加えて、前記関連情報データベースから取得した前記関連情報を、前記仮説の根拠として含む、
ことを特徴とする、請求項1に記載の仮説推論管理装置。
【請求項9】
仮説推論管理装置と、
ユーザ端末とが通信ネットワークを介して接続されている仮説推論管理システムであって、
前記仮説推論管理装置は、
プロセッサと、
メモリと、
所定の分野に関する関連情報を含む関連情報データベースを格納する記憶部とを備え、
前記メモリは、
所定の事象に関する事実を示す前提事実情報に基づいて、前記前提事実情報に関連する文章を示す初期文章情報を生成する生成部と、
前記前提事実情報と、前記前提事実情報に対する結論を示す結論情報に基づいて、前記前提事実情報及び前記結論情報に関連する関連情報を前記関連情報データベースから取得する関連情報取得部と、
前記初期文章情報、前記結論情報及び前記関連情報に関する制約を規定するエネルギー関数を用いて、前記前提事実情報及び前記結論情報に関する説明を示す仮説を含む仮説推論結果を生成する仮説推論部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする仮説推論管理システム。
【請求項10】
処理命令を格納するメモリと、
プロセッサとを含むコンピュータシステムにおいて、
前記メモリに格納されている前記処理命令は、
所定の分野に関する複数の文章を所定の自然言語分類手法によって解析することで、前記複数の文章をトピック毎にラベル付けした関連情報データベースを構築する工程と、
所定の事象に関する事実を示す前提事実情報を取得する工程と、
前記前提事実情報に関連する文章を示す初期文章情報を生成する工程と、
前記前提事実情報に対する結論を示す結論情報を取得する工程と、
前記関連情報データベースに含まれる各文章について、前記前提事実情報に対する関連度を示す第1の関連度を判定する工程と、
前記関連情報データベースに含まれる各文章について、前記結論情報に対する関連度を示す第2の関連度を判定する工程と、
判定した前記第1の関連度が所定の関連度基準を満たす第1の文章の中から、前記前提事実情報に関する第1の関連情報候補を抽出する工程と、
判定した前記第2の関連度が所定の関連度基準を満たす第2の文章の中から、前記結論情報に関する第2の関連情報候補を抽出する工程と、
前記第1の関連情報候補及び前記第2の関連情報候補を結合することで、前記前提事実情報及び前記結論情報に関連する関連情報を前記関連情報データベースから取得する工程と、
前記初期文章情報に基づいて前記初期文章情報に対する語学的一貫性を定義する語学的一貫性制約を規定し、前記前提事実情報に基づいて前記前提事実情報に対する論理的一貫性を定義する前提一貫性制約を規定し、前記結論情報に基づいて前記結論情報に対する論理的一貫性を定義する結論一貫性制約を規定し、前記関連情報に基づいて前記関連情報に対する類似度を定義する関連情報制約を規定することでエネルギー関数を生成する工程と、
ランジュバン動力学に基づく手法を用いて前記エネルギー関数を最適化することで、前記語学的一貫性制約、前記結論一貫性制約、前記関連情報制約及び前記前提一貫性制約を満たす仮説を判定し、前記前提事実情報及び前記結論情報に関する説明を示す仮説推論結果とする工程と、
を前記プロセッサに実行させることを特徴とする仮説推論管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮説推論管理装置、仮説推論管理システム及び仮説推論管理方法に関する。
【背景技術】
【0002】
近年、社会経済情勢が変化する中、企業は迅速且つ正確な意思決定が求められている。この意思決定を支援するために、人工知能等のツールが使用されている。
【0003】
意思決定に役立つ人工知能手法の1つとしては、仮説推論を行う深層学習が存在する。一般に、仮説推論とは、特定の事象を最も適切に説明し得る仮説を導出する論理的推論を意味する。特に、近年では、自然言語に基づく仮説推論モデルの研究が進んでいる。
【0004】
従来、自然言語を用いる仮説推論手法に関するいくつかの提案がなされている。
例えば、Bhagavatulaら(非特許文献1)の研究では、「言語ベースの仮説推論の実行可能性を調査する最初の研究を提示する。2万件を超える常識的な物語のコンテキストと20万件の説明で構成されるチャレンジデータセットARTを紹介する。このデータセットに基づいて、2つの新しいタスクを概念化する。(i)仮説的NLI:より可能性の高い説明を選択するための多肢選択式の質問応答タスク、及び(ii)仮説的NLG:与えられた観測を自然言語で説明するための条件付き生成タスク。」が検討されている。
【0005】
また、Qinら(非特許文献2)の研究では、「本論文では、ランジュバンダイナミクスを使用したエネルギーベースの制約付きデコード(COLD)を提示する。これは、エネルギー関数を介して制約を指定し、勾配ベースのサンプリングを介して制約に対して効率的な微分可能な推論を実行するように制約付き生成を統合するデコード フレームワークである。」と開示されている。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Bhagavatula, Chandra, Ronan Le Bras, Chaitanya Malaviya, Keisuke Sakaguchi, Ari Holtzman, Hannah Rashkin, Doug Downey, Scott Wen-tau Yih, and Yejin Choi. "Abductive commonsense reasoning." arXiv preprint arXiv:1908.05739 (2019).
【非特許文献2】Qin, Lianhui, Sean Welleck, Daniel Khashabi, and Yejin Choi. "COLD decoding: Energy-based constrained text generation with langevin dynamics." arXiv preprint arXiv:2202.11705 (2022).
【発明の概要】
【発明が解決しようとする課題】
【0007】
非特許文献1には、訓練済みのトランスフォーマーモデルを用いて、所定の観察を説明する自然言語の仮説を生成する手段が記載されている。
しかし、非特許文献1に記載のトランスフォーマーモデルは、インターネット等で公開されている一般情報に基づいて訓練されているため、公然の事象について仮説形成が可能であるものの、例えば企業の経営戦略や未公開製品のマーケティング企画等の非公開の事象に関する仮説形成の精度が限定されてしまう。
【0008】
非特許文献1に記載のトランスフォーマーモデルを非公開の事象に関する学習データに基づいて訓練することが考えられるが、このような学習データのラベル付け(annotation)及びモデルのファインチューニングは、膨大な金銭的及び人的資源を要するため、負担が大きい。
【0009】
一方、非特許文献2には、仮説理論の条件をエネルギーベースの関数において規定することで、言語モデルから得られた仮説推論の結果を最適化する手法が記載されている。
しかし、非特許文献2に記載の手法では、非特許文献1に記載の手法に対してラベル付け学習データへの依存が緩和されるものの、非公開の事象に関する適切な仮説の形成に必要な関連情報の利用が検討されておらず、非特許文献2に記載の手法と同様に、非公開の事象に関する仮説形成の精度が限定されてしまう。
【0010】
そこで、本開示は、企業の経営戦略等の、学習データの作成が限られる非公開の事象に対しても、高精度の仮説推論結果の生成が可能な仮説推論管理手段を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、代表的な本発明の仮説推論管理装置は、所定の事象に関する事実を示す前提事実情報に基づいて、前記前提事実情報に関連する文章を示す初期文章情報を生成する生成部と、前記前提事実情報と、前記前提事実情報に対する結論を示す結論情報に基づいて、前記前提事実情報及び前記結論情報に関連する関連情報を関連情報データベースから取得する関連情報取得部と、前記初期文章情報、前記結論情報及び前記関連情報に関する制約を規定するエネルギー関数を用いて、前記前提事実情報及び前記結論情報に関する説明を示す仮説を含む仮説推論結果を生成する仮説推論部とを含む。
【発明の効果】
【0012】
本開示によれば、企業の経営戦略等の、学習データの作成が限られる非公開の事象に対しても、高精度の仮説推論結果の生成が可能な仮説推論管理手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、本開示の実施形態を実施するためのコンピュータシステムを示す図である。
【
図2】
図2は、本開示の実施形態に係る仮説推論管理システムの構成の一例を示す図である。
【
図3】
図3は、本開示の実施形態に係る仮説推論管理装置の論理的構成の一例を示す図である。
【
図4】
図4は、本開示の実施形態に係る仮説推論管理方法の流れの一例を示すフローチャートである。
【
図5】
図5は、本開示の実施形態に係る仮説推論管理方法の具体例を示すフローチャートである。
【
図6】
図6は、本開示の実施形態に係る関連情報取得処理の流れの一例を示すフローチャートである。
【
図7】
図7は、本開示の実施形態に係る仮説推論生成処理の流れの一例を示すフローチャートである。
【
図8】
図8は、本開示の実施形態に係る仮説推論管理インターフェースの一例を示す図である。
【
図9】
図9は、本開示の実施形態に係るESG仮説推論管理インターフェースの一例を示す図である。
【
図10】
図10は、本開示の実施形態に係る仮説推論結果表示インターフェースの一例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【0015】
また、「第1」、「第2」、「第3」等の用語は、本開示において様々な要素又は構成要素を説明するのに用いられる場合があるが、これらの要素又は構成要素はこれらの用語によって限定されるべきでないことが理解されるであろう。これらの用語は、或る要素又は構成要素を別の要素又は構成要素と区別するためにのみ用いられる。従って、以下で論述する第1の要素又は構成要素は、本発明概念の教示から逸脱することなく第2の要素又は構成要素と呼ぶこともできる。
【0016】
次に、
図1を参照して、本開示の実施形態を実施するためのコンピュータシステム100について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム100の主要コンポーネントは、1つ以上のプロセッサ102、メモリ104、端末インターフェース112、ストレージインタフェース113、I/O(入出力)デバイスインタフェース114、及びネットワークインターフェース115を含む。これらのコンポーネントは、メモリバス106、I/Oバス108、バスインターフェースユニット109、及びI/Oバスインターフェースユニット110を介して、相互的に接続されてもよい。
【0017】
コンピュータシステム100は、プロセッサ102と総称される1つ又は複数の汎用プログラマブル中央処理装置(CPU)102A及び102Bを含んでもよい。ある実施形態では、コンピュータシステム100は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム100は単一のCPUシステムであってもよい。各プロセッサ102は、メモリ104に格納された命令を実行し、オンボードキャッシュを含んでもよい。
【0018】
ある実施形態では、メモリ104は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体(揮発性又は不揮発性のいずれか)を含んでもよい。メモリ104は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ104は、仮説推論管理アプリケーション150を格納していてもよい。ある実施形態では、仮説推論管理アプリケーション150は、後述する機能をプロセッサ102上で実行する命令又は記述を含んでもよい。
【0019】
ある実施形態では、仮説推論管理アプリケーション150は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、仮説推論管理アプリケーション150は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス(図示せず)が、バスインターフェースユニット109、プロセッサ102、またはコンピュータシステム100の他のハードウェアと直接通信するように提供されてもよい。
【0020】
コンピュータシステム100は、プロセッサ102、メモリ104、表示システム124、及びI/Oバスインターフェースユニット110間の通信を行うバスインターフェースユニット109を含んでもよい。I/Oバスインターフェースユニット110は、様々なI/Oユニットとの間でデータを転送するためのI/Oバス108と連結していてもよい。I/Oバスインターフェースユニット110は、I/Oバス108を介して、I/Oプロセッサ(IOP)又はI/Oアダプタ(IOA)としても知られる複数のI/Oインタフェースユニット112,113,114、及び115と通信してもよい。
【0021】
表示システム124は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置126に提供することができる。また、コンピュータシステム100は、データを収集し、プロセッサ102に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
【0022】
例えば、コンピュータシステム100は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム124は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置126に接続されてもよい。
【0023】
I/Oインタフェースユニットは、様々なストレージ又はI/Oデバイスと通信する機能を備える。例えば、端末インタフェースユニット112は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザI/Oデバイス116の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザI/Oデバイス116及びコンピュータシステム100に対して入力データや指示を入力し、コンピュータシステム100からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザI/Oデバイス116を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
【0024】
ストレージインタフェース113は、1つ又は複数のディスクドライブや直接アクセスストレージ装置117(通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい)の取り付けが可能である。ある実施形態では、ストレージ装置117は、任意の二次記憶装置として実装されてもよい。メモリ104の内容は、ストレージ装置117に記憶され、必要に応じてストレージ装置117から読み出されてもよい。I/Oデバイスインタフェース114は、プリンタ、ファックスマシン等の他のI/Oデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース115は、コンピュータシステム100と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク130であってもよい。
【0025】
ある実施形態では、コンピュータシステム100は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム(クライアント)からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム100は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
【0026】
次に、
図2を参照して、本開示の実施形態に係る仮説推論管理システムの構成について説明する。
【0027】
図2は、本開示の実施形態に係る仮説推論管理システム200の構成の一例を示す図である。仮説推論管理システム200は、所定の事象を自然言語で説明する仮説を導出するシステムであり、
図2に示すように、仮説推論管理装置210、通信ネットワーク250及びユーザ端末260から構成されている。仮説推論管理システム200において、仮説推論管理装置210及びユーザ端末260は、通信ネットワーク250を介して通信可能に接続されている。
【0028】
仮説推論管理装置210は、所定の事象を自然言語で説明する仮説を生成するための装置であり、例えばサーバ装置等のコンピューティングデバイスであってもよい。ある実施形態では、仮説推論管理装置210は、
図1に示すコンピュータシステム100として実装されてもよい。
図2に示すように、仮説推論管理装置210は、メモリ220、記憶部230、プロセッサ244及び入出力部246を含んでもよい。
【0029】
メモリ220は、本開示の実施形態に係る仮説推論管理手段の機能を実施するための仮説推論管理アプリケーション150を格納するためのメモリであってもよい。この仮説推論管理アプリケーション150は、
図2に示すように、生成部222、データベース構築部224、関連情報取得部226及び仮説推論部228等のソフトウェアモジュールの機能を実施するための処理命令を含んでもよい。
【0030】
生成部222は、所定の事象に関する事実を示す前提事実情報に基づいて、当該前提事実情報に関連する文章を示す初期文章情報を生成する機能部である。生成部222は、例えばトランスフォーマーモデルを用いて自然言語情報を自動生成する自然言語生成(Natural Language Generation; NLG)手段であってもよい。例として、生成部222は、GPT-2(Generative Pre-trained Transformer 2)、GPT-3(Generative Pre-trained Transformer 3)、BLOOM(BigScience Large Open-science Open-access Multilanguage Language Model)であってもよいが、任意の自然言語生成手段であってもよい。
なお、生成部222の機能の詳細については後述するため、ここではその説明を省略する。
【0031】
データベース構築部224は、記憶部230に格納されている関連情報DB231を構築するための機能部である。データベース構築部224は、例えばBART MNLI等のテキスト分類モデルであってもよい。
なお、データベース構築部224の機能の詳細については後述するため、ここではその説明を省略する。
【0032】
関連情報取得部226は、前提事実情報と、前提事実情報に対する結論を示す結論情報とに基づいて、前提事実情報及び結論情報に関連する関連情報を関連情報DB231から取得するための機能部である。関連情報取得部226は、例えば知識検索(knowledge retrieval)手法やDPR(Dense Passage Retrieval)手法であってもよい。
なお、関連情報取得部226の機能の詳細については後述するため、ここではその説明を省略する。
【0033】
仮説推論部228は、生成部222によって生成される初期文章情報と、前提事実情報に対する結論を示す結論情報と、関連情報取得部226によって取得される関連情報とに関する制約を規定するエネルギー関数を用いて、初期文章情報を修正することで、前提事実情報及び結論情報に関する説明を示す仮説推論結果を生成するための機能部である。仮説推論部228は、エネルギー関数の定義が可能なEBM(Energy-Based Model)であってもよい。
なお、仮説推論部228の機能の詳細については後述するため、ここではその説明を省略する。
【0034】
記憶部230は、本開示の実施形態に係る各種情報を格納するための記憶領域であり、
図2に示すように、関連情報DB231を含んでもよい。
関連情報DB231は、所定の分野に関する数多くの文章やテキスト情報を含むデータベースであり、後述するように、前提事実情報と結論情報とに関する関連情報を取得するために用いられる。
ある実施形態では、関連情報DB231に格納される文章は、非公開の事象に関するものであってもよい。本開示において、「非公開」とは、関係者のみがアクセスでき、インターネット等で一般向けに公開されていないことを意味する。例えば、ある実施形態では、関連情報DB231は、機密の事業活動、未発表の製品、非公開の事業計画に関する文章を含んでもよい。これにより、後述するように、非公開の事象に関する仮説推論結果の生成が可能となる。
【0035】
プロセッサ270は、メモリ220によって格納される仮説推論管理アプリケーション150の各機能部の機能を規定する処理命令を実施するための処理部である。
【0036】
入出力部275は、仮説推論管理装置210に入力される情報を受け付けると共に、仮説推論管理装置210によって生成される仮説推論結果等の情報を出力するための機能部である。入出力部275は、例えばキーボード、マウス、GUI(Graphical User Interface)を表示するディスプレイ、情報の送受信を行う通信機能等を含んでもよい。入出力部275は、例えば
図8~10を参照して説明するGUIをユーザ端末260に出力してもよい。
【0037】
通信ネットワーク250は、仮説推論管理装置210及びユーザ端末260の間で情報の通信を行うためのネットワークである。通信ネットワーク250は、例えばローカルエリアネットワーク(LAN)、インターネット、ワイドエリアネットワーク(WAN)、衛星ネットワーク、ケーブルネットワーク、WiFiネットワーク、またはそれらの任意の組み合わせを含むものであってもよい。
【0038】
ユーザ端末260は、仮説推論管理装置210のユーザ(クライアント等)が利用する端末であり、例えばコンピュータ、スマートフォン、タブレット等、任意のコンピューティングデバイスであってもよい。ある実施形態では、ユーザは、ユーザ端末260を介して表示されるGUIに対して、仮説推論管理装置210によって用いられる前提事実情報や結論情報等のパラメータを入力してもよい。また、ユーザは、ユーザ端末260を介して表示されるGUIで表示される仮説推論結果を確認することができる。
【0039】
以上説明した仮説推論管理システム200によれば、企業の経営戦略等の、学習データの作成が限られる非公開の事象に対しても、高精度の仮説推論結果の生成が可能な仮説推論管理手段を提供することができる。
【0040】
次に、
図3を参照して、本開示の実施形態に係る仮説推論管理装置の論理的構成について説明する。
【0041】
図3は、本開示の実施形態に係る仮説推論管理装置210の論理的構成の一例を示す図である。上述したように、仮説推論管理装置210は、所定の事象を自然言語で説明する仮説を生成するための装置であり、
図2に示すように、生成部222、データベース構築部224(
図3では図示せず)、関連情報取得部226及び仮説推論部228を含む。
なお、本開示において、「事象」とは、任意の現象や事柄を意味する。例えば、ここでの事象は、特定の企業の経営戦略や製品の発売計画等の事業活動、患者の治療計画、技術の開発工程等を含んでもよい。
【0042】
まず、生成部222は、所定の事象に関する事実を示す前提事実情報301を入力し、当該前提事実情報301に関連する文章を示す初期文章情報303を生成する。
ここでの生成部222は、上述したように、例えばトランスフォーマーモデルを用いて自然言語情報を自動生成する自然言語生成(Natural Language Generation; NLG)手段であってもよく、例として、GPT-2、GPT-3、BLOOMであってもよい。また、生成部222は、例えばインターネットや所定のデータベースのテキスト情報に基づいて事前に訓練されてもよい。この訓練により、生成部222は、入力される任意のテキスト情報に対して、関連するテキストを生成することができるようになる。
【0043】
本開示において、「前提事実情報」301は、仮説推論における命題や、前置きとなる条件を示す情報であり、ユーザによって入力されてもよい。この前提事実情報301は、実際に観察された客観的な事実を示してもよく、理論上の命題を示してもよい。また、この前提事実情報301は、自然言語で構成されているテキストであってもよい。例えば、ある実施形態では、前提事実情報301は、「車両に取り付けられたセンサからデータを取得し、効率的な運転方法を判定し、他の運転手に共有する技術を開発した」との文章であってもよい。
【0044】
生成部222は、前提事実情報301に含まれるテキストの意味的(semantic)及び構文的(syntactic)情報に基づいて、前提事実情報301の文脈を加味した初期文章情報303を生成する。ある実施形態では、生成部222は、初期文章情報303として、前提事実情報301のテキストにおける最後の単語について、次の単語を予測する処理を繰り返すことで、前提事実情報301に続く文章を生成してもよい。例えば、生成部222は、「車両に取り付けられたセンサからデータを取得し、効率的な運転方法を判定し、他の運転手に共有する技術を開発した」との前提事実情報301に対して、「当該技術は、いくつかの都市で試用されている。」との初期文章情報303を生成してもよい。
【0045】
初期文章情報303は、前提事実情報301に対する語学的一貫性(linguistic consistency)を有する文章である。「語学的一貫性」との表現は、例えば前提事実情報301及び初期文章情報303等の複数の文章が同様の言語、書きぶり、文法、及びその他の言語的属性を有することを意味する。後述するように、この初期文章情報は、仮説推論結果315を生成する際、仮説推論結果315の前提事実情報301に対する語学的一貫性を維持するために用いられる。
【0046】
次に、関連情報取得部226は、上述した前提事実情報301と、前提事実情報301に対する結論を示す結論情報302に基づいて、前提事実情報301及び結論情報302に関連する関連情報305を関連情報データベース(関連情報DBともいう)231から取得する。
ここでの関連情報取得部226は、上述したように、例えば知識検索(knowledge retrieval)手法やDPR(Dense Passage Retrieval)手法であってもよく、事前に訓練されてもよい。この訓練により、関連情報取得部226は、前提事実情報301及び前提事実情報301と関連性が高い関連情報を取得することができるようになる。
【0047】
本開示において、「結論情報」302は、前提事実情報301に示される前提に対する結論を示す情報であり、ユーザによって入力されてもよい。この結論情報302は、前提事実情報301に示される前提について実際に観察された結果を示してもよく、理論上の結論を示してもよい。また、この結論情報302は、自然言語で構成されているテキストであってもよい。例えば、ある実施形態では、結論情報302は、「当該技術は、車両の事故や遅延を減らした」との文章であってもよい。
【0048】
関連情報取得部226は、前提事実情報301及び結論情報302のそれぞれに含まれるテキストの意味的(semantic)及び構文的(syntactic)情報に基づいて関連する関連情報を関連情報DB231において特定し、前提事実情報301及び結論情報302のそれぞれについて特定した情報を関連情報305として集約してもよい。上述したように、この関連情報DB231は、非公開の事象(機密の企業戦略等)に関する文章を含んでもよい。
一例として、関連情報取得部226は、「当社では、水素ハイブリット車両の実証実験や再生可能エネルギーの開発、火力発電所の燃料の水素燃料化の検討など、全事業所への省エネ対策の導入を進めています。」とのテキスト情報を関連情報305として取得してもよい。
なお、関連情報取得処理の詳細については後述するため、ここではその説明を省略する。
【0049】
次に、仮説推論部228は、生成部222によって生成された初期文章情報303、結論情報302及び関連情報取得部226によって関連情報DB231から取得した関連情報305に関する制約を規定するエネルギー関数を用いて、前提事実情報301及び結論情報302に関する説明を示す仮説推論結果315を生成する。
【0050】
仮説推論部228は、エネルギー関数の定義が可能なEBM(Energy-Based Model)であってもよい。ここでのEBMとは、数式1に示すようなエネルギー関数を用いて、数式2に示すようなボルツマン分布として定義される統計モデルである。
【数1】
【数2】
ここで、「y」は生成される仮説であり、正規化関数Zは以下の数式3で定義される。
【数3】
【0051】
仮説推論部228は、上述した初期文章情報303、結論情報302及び関連情報取得部226のそれぞれに関する制約をエネルギー関数において定義し、ランジュバン動力学を用いて最適化することで、初期の仮説y
nを更新した仮説y
n+1を数式4に示すように規定することができる。
【数4】
ここで、η>0はステップ数であり、ε^n∈Ν(0,σ)はガウス分布のノイズ、nは反復のステップである。この数式4を用いることで、複数の更新ステップを経て、初期文章情報303、結論情報302及び関連情報取得部226によって関連情報DB231から取得した関連情報305に関する3つの制約を満たす仮説を判定することができる。このように判定した仮説は、前提事実情報301及び結論情報302を説明する仮説推論結果315に含めてもよい。
なお、初期の仮説y
nとして、生成部222によって生成された初期文章情報303を用いてもよい。この場合、仮説推論部228は、初期文章情報303を、初期文章情報303、結論情報302及び関連情報取得部226によって関連情報DB231から取得した関連情報305に関する3つの制約を満たすように修正することで仮説y
n+1を判定してもよい。また、ステップ数nをより大きい値に設定することで、よりもっともらしい仮説を生成することができる。
制約を規定し、仮説推論結果315を生成する処理の詳細については後述するため、ここではその説明を省略する。
【0052】
仮説推論結果315を生成した後、仮説推論部228は当該仮説推論結果315をユーザ端末260にて表示されるユーザインターフェースを介してユーザに提示することができる。
【0053】
図3を参照して説明した仮説推論管理装置210によれば、前提事実情報301及び結論情報302を説明するための仮説は、関連情報DB231に格納される非公開の事象に関する文章に基づいて判定されるため、企業の経営戦略等の、学習データの作成が限られる非公開の事象に対しても、高精度の仮説推論結果の生成が可能となる。
【0054】
次に、
図4を参照して、本開示の実施形態に係る仮説推論管理方法の流れについて説明する。
【0055】
図4は、本開示の実施形態に係る仮説推論管理方法の流れの一例を示すフローチャートである。
図4に示す仮説推論管理方法400は、所定の事象を自然言語で説明する仮説を生成するための方法であり、上述した仮説推論管理装置210の生成部222、データベース構築部224、関連情報取得部226及び仮説推論部228によって実施される。
【0056】
まず、ステップS405では、生成部222は、所定の事象に関する事実を示す前提事実情報を入力する。上述したように、この前提事実情報は、仮説推論における命題や、前置きとなる条件を示す情報であり、後述するユーザインターフェースを介してユーザによって入力されてもよい。
前提事実情報を入力した後、生成部222は、前提事実情報に対する前処理を行ってもよい。この前処理は、例えば、前提事実情報に含まれるテキストを整理したり、形式を整えたり、初期文章情報を生成するために用いられる特徴を抽出したりすることを含んでもよい。
【0057】
より具体的には、生成部222は、前提事実情報を個々の単位(トークン)に分解するトークン化、助詞や助動詞などの機能語(「は」、「の」、「です」、「a」、「the」、「and」等)を除去するストップワード除去、単語を意味のある基本形やバリエーションに変換するステミング及びレマット化、各単語の品詞をラベル付けする品詞タグ付け、組織名、人名、地名等を特定する固有表現抽出など、任意の前処理を行ってもよい。
この前処理により、前提事実情報の次元(dimensionality)を削減し、より高精度の初期文章情報の生成を容易にすることができる。
【0058】
次に、ステップS410では、生成部222は、ステップS405で入力した前提事実情報に含まれるテキストの意味的(semantic)及び構文的(syntactic)情報に基づいて、前提事実情報の文脈を加味した初期文章情報を生成する。
【0059】
次に、ステップS415では、関連情報取得部226は、ステップS405で入力した前提事実情報に対する結論を示す結論情報を入力する。上述したように、この結論情報は、前提事実情報に示される前提について実際に観察された結果を示してもよく、理論上の結論を示してもよい。また、この結論情報は、後述するユーザインターフェースを介してユーザによって入力されてもよい。
結論情報を入力した後、関連情報取得部226は、ステップS405で前提事実情報に対して行った前処理と同様の処理を結論情報に対して実施してもよい。
【0060】
次に、ステップS420では、関連情報取得部226は、ステップS405で入力した前提事実情報と、ステップS415で入力した結論情報とに基づいて、前提事実情報及び結論情報に関連する関連情報を関連情報データベースから取得する。
【0061】
次に、ステップS425では、仮説推論部228は、ステップS410で生成部222によって生成された初期文章情報、ステップS415で入力した結論情報、及びステップS420で関連情報取得部226によって関連情報DBから取得した関連情報に関する制約を規定するエネルギー関数を用いて、前提事実情報及び結論情報に関する説明を示す仮説推論結果を生成する。
【0062】
図4を参照して説明した仮説推論管理方法400によれば、前提事実情報及び結論情報302を説明するための仮説は、関連情報DB231に格納される非公開の事象に関する文章に基づいて判定されるため、企業の経営戦略等の、学習データの作成が限られる非公開の事象に対しても、高精度の仮説推論結果の生成が可能となる。
【0063】
次に、
図5を参照して、本開示の実施形態に係る仮説推論管理方法の具体例について説明する。
【0064】
図5は、本開示の実施形態に係る仮説推論管理方法の具体例を示すフローチャートである。
【0065】
まず、生成部222は、前提事実情報301として「車両に取り付けられたセンサからデータを取得し、効率的な運転方法を判定し、他の運転手に共有する技術を開発した」との文章を入力する。生成部222は、ここで入力した前提事実情報301を、例えば線形レイヤ501、自己注意レイヤ502及び順伝播レイヤ503から構成されるトランスフォーマーモデルによって処理することで、この前提事実情報301に関連する初期文章情報303として、「当該技術は、いくつかの都市で試用されている。」との文章を生成してもよい。
なお、ここでは、説明の便宜上、生成部222によって生成し得る文章の1つを初期文章情報303として説明したが、実際には、生成部222は、複数の文章の候補を初期文章情報303として生成してもよい。複数の文章の候補を初期文章情報303として生成することで、より高精度の仮説推論結果の生成を容易にすることができる。
【0066】
ここで生成される初期文章情報303は、自動生成される文章であるため、この初期文章情報303に示される事柄が事実であるとは限らない。例えば、初期文章情報303は、「当該技術は、いくつかの都市で試用されている」との文章の場合、当該技術が実際にいくつかの都市で試用されているとは限らない。ただし、上述したように、この初期文章情報303は仮説推論結果315を生成する際、仮説推論結果315の前提事実情報301に対する語学的一貫性を維持するために用いられる情報であるため、初期文章情報303の内容の真偽は仮説理論結果を影響しない。
【0067】
次に、関連情報取得部226は、結論情報302として、「当該技術は、車両の事故や遅延を減らす。」との文章を入力する。関連情報取得部226は、前提事実情報301と、結論情報302とのそれぞれについて、関連性が高い関連情報305を関連情報DBから取得する。関連情報DBは、非公開の事象に関する文章を含んでいる場合、結論情報302は、これらの非公開の事象に関する文章の中から関連情報305を取得する。
一例として、関連情報取得部226は、「車両に取り付けられたセンサからデータを取得し、効率的な運転方法を判定し、他の運転手に共有する技術を開発した。」との前提事実情報301と、「当該技術は、車両の事故や遅延を減らす。」との結論情報302とに基づいて、「当社では、水素ハイブリット車両の実証実験や再生可能エネルギーの開発、火力発電所の燃料の水素燃料化の検討など、全事業所への省エネ対策の導入を進めています。」との文章を関連情報305として関連情報DBから取得してもよい。
なお、ここでは、説明の便宜上、関連情報取得部226によって取得し得る文章の1つを関連情報305として説明したが、実際には、関連情報取得部226は、複数の文章の候補を関連情報305として生成してもよい。複数の文章の候補を関連情報305として生成することで、より高精度の仮説推論結果の生成を容易にすることができる。
【0068】
次に、仮説推論部228は、初期文章情報303と、結論情報302と、関連情報305とに基づいて、前提事実情報301及び結論情報302に示される事柄を説明する仮説を含む仮説推論結果315を生成する。つまり、仮説推論部228は、「車両に取り付けられたセンサからデータを取得し、効率的な運転方法を判定し、他の運転手に共有する技術を開発した。」との前提事実情報301と、「当該技術は、車両の事故や遅延を減らす。」との結論情報302との2つの事例を論理的に説明する仮説を、「当社では、水素ハイブリット車両の実証実験や再生可能エネルギーの開発、火力発電所の燃料の水素燃料化の検討など、全事業所への省エネ対策の導入を進めています。」との関連情報305に基づいて導出する。
【0069】
一例として、仮説推論部228は、仮説推論結果315として、「当該技術を用いることで、不効率な運転方法によって発生する水素ハイブリッド車両の事故や遅延を回避することができている。」との文章を生成してもよい。このように、仮説推論部228は、効率的な運転方法を判定する技術を水素ハイブリッド車両に適用することを、前提事実情報301及び結論情報302の事例を説明する仮説として生成することができる。仮説推論部228は、このように生成した仮説と、当該仮説を生成するために用いられた関連情報305とを、仮説推論結果315としてもよい。
なお、ここでは、説明の便宜上、仮説推論部228によって生成し得る文章の1つを仮説推論結果315として説明したが、実際には、仮説推論部228は、複数の文章の候補を仮説推論結果315として生成してもよい。複数の文章の候補を仮説推論結果315として生成することで、前提事実情報301及び結論情報302の事例を説明するもっともらしい複数の仮説をユーザに提示することができる。
【0070】
次に、
図6を参照して、本開示の実施形態に係る関連情報取得処理の流れについて説明する。
【0071】
図6は、本開示の実施形態に係る関連情報取得処理600の流れの一例を示すフローチャートである。関連情報取得処理600は、上述したように、前提事実情報301及び結論情報302に関連する関連情報305を関連情報DB231から取得するための処理である。このように取得した関連情報305は、初期文章情報303及び結論情報302と共に仮説推論結果を生成するために用いられる。
【0072】
まず、関連情報取得部226は、前提事実情報301及び結論情報302を入力する。次に、関連情報取得部226は、関連情報DBに含まれる各文章について、前提事実情報301及び結論情報302に対する関連度を計算する。この関連度とは、特定の文章の、前提事実情報301及び結論情報302に対する類似度の尺度であり、後述するように、既存のKnowledge Retrievalアルゴリズムによって計算されてもよい。
【0073】
より具体的には、関連情報取得部226は、関連情報データベース231に含まれる各文章について、前提事実情報301に対する関連度を示す第1の関連度を判定すると共に、関連情報データベース231に含まれる各文章について、結論情報302に対する関連度を示す第2の関連度を判定する。次に、関連情報取得部226は、判定した第1の関連度が所定の関連度基準を満たす第1の文章の中から、前提事実情報301に関する第1の関連情報候補を抽出すると共に、判定した第2の関連度が所定の関連度基準を満たす第2の文章の中から、結論情報302に関する第2の関連情報候補を抽出する。その後、関連情報取得部226は、第1の関連情報候補及び第2の関連情報候補を結合することで、最終的な検索結果となる関連情報305を取得する。
つまり、関連情報取得部226は、前提事実情報301及び結論情報302のそれぞれについて、関連度が高い情報を取得した後、これらの情報を結合することで仮説推論部228に入力される関連情報305を取得する。また、ある実施形態では、関連情報取得部226は、キーワード抽出605を行い、関連情報DB231から取得した関連情報305におけるキーワード606を抽出してもよい。
【0074】
ある実施形態では、関連情報取得部226は、関連情報305を取得するKnowledge Retrievalアルゴリズムとして、TF-IDF(Term Frequency-Inverse Document Frequency)に基づくアルゴリズム(例えば、BM25等)を用いてもよい。この場合、当該アルゴリズムは、関連情報データベース231に含まれる各文章について、前提事実情報301及び結論情報302に含まれる単語の出現頻度や特異性(珍しさ)に基づいて、各文章の前提事実情報301及び結論情報302に対する関連度を計算してもよい。その後、関連情報取得部226は、関連度が計算された各文章を、関連度が高い順にランキングしてもよい。このランキングの中から、所定の関連度基準(例えば、関連度が最も高い文章、関連度が所定の値を達成する文章)を満たす文章を関連情報として取得してもよい。
【0075】
ある実施形態では、関連情報取得部226は、関連情報305を取得するKnowledge Retrievalアルゴリズムとして、DPR(Dense Passage Retrieval)に基づくアルゴリズムを用いてもよい。この場合、当該アルゴリズムは、関連情報データベース231に含まれる各文章において、前提事実情報301及び結論情報302に対して関連度が高い情報が密集している短い文章を特定して、関連情報305として取得してもよい。
【0076】
ここでの関連情報DB231は、
図2に示すデータベース構築部224によって事前に構築されてもよい。より具体的には、データベース構築部224は、複数の非公開の文章を所定の自然言語分類手法によって解析することで、当該複数の非公開の文章の内、所定の分野に対する類似度基準を満たす非公開文章を関連情報データベース231に格納してもよい。ここでの類似度は、例えばユークリッド距離やコサイン類似度等、既存の文章類似度計算手法によって判定してもよい。ある実施形態では、データベース構築部224は、関連情報DB231に格納すると判定した文章をトピック(話題)毎にラベル付けしてもよい。このように、例えば特定の企業の経営戦略や製品の発売計画等の事業活動、患者の治療計画、技術の開発工程等、非公開の事象に関する文章を格納する関連情報DB231を構築することができる。
【0077】
図6を参照して説明した関連情報取得処理600によれば、ユーザから入力される前提事実情報301及び結論情報302に関連する非公開の関連情報305を、前提事実情報301及び結論情報302と共通の分野に関する文章を含む関連情報DB231から取得することができる。この関連情報305は、前提事実情報301及び結論情報302を説明する仮説を生成するために用いられる。
【0078】
次に、
図7を参照して、本開示の実施形態に係る仮説推論生成処理の流れについて説明する。
【0079】
図7は、本開示の実施形態に係る仮説推論生成処理700の流れの一例を示すフローチャートである。
図7に示す仮説推論生成処理700は、生成部222によって生成される初期文章情報、関連情報取得部によって取得される関連情報、及び結論情報に関する制約を規定するエネルギー関数を用いて、前提事実情報及び結論情報に関する説明を示す仮説推論結果を生成するための処理であり、
図2に示す仮説推論部228によって実施される。
【0080】
まず、ステップS705では、仮説推論部228は、生成部222によって生成される初期文章情報303を入力し、当該初期文章情報303に関するエネルギー関数制約として、語学的一貫性制約を規定する。この語学的一貫性制約は、生成される仮説推論結果の言語、書きぶり、文法、及びその他の言語的属性を初期文章情報303に整合させるための制約である。
より具体的には、仮説推論結果を生成する際、以下の数式5に示すソフトシーケンスにおいて、言語モデルf(GPT-2)によって生成されるトークン分布は、初期文章情報303に定義される基準分布y
n(w)にマッチすることが求められる。
【数5】
ここで「τ」はユーザ等によって設定可能なハイパーパラメータである。
【0081】
従って、初期文章情報303に関する語学的一貫性制約f
1(y)は、仮説として生成される分布と初期文章情報303によって示される基準分布に対する交差エントロピー関数として、以下の数式6に示すように規定することができる。
【数6】
このように、初期文章情報303に関する語学的一貫性制約を規定することで、初期文章情報303と同様な自然言語から構成した仮説推論結果を生成することが可能となる。
【0082】
次に、ステップS710では、仮説推論部228は、ユーザに入力された結論情報302を入力し、当該結論情報302に関するエネルギー関数制約として、結論一貫性制約を規定する。この結論一貫性制約は、生成される仮説推論結果に示される事柄の理屈や道理を結論情報302に示される事柄に整合させるための制約である。
より具体的には、仮説推論部228は、結論一貫性制約f
2(y)を以下に示す数式7のように規定することができる。
【数7】
数式7において、「y」は生成される仮説の候補であり、O2は、結論情報302である。
このように、結論情報302に関する結論一貫性制約を規定することで、結論情報302に示される事柄と辻褄が合う、もっともらしい仮説を示す仮説推論結果を生成することが可能となる。
【0083】
次に、ステップS715では、仮説推論部228は、関連情報DB231から取得した関連情報305を入力し、当該関連情報305に関するエネルギー関数制約として、関連情報制約を規定する。この関連情報制約は、生成される仮説推論結果に示される事柄の、関連情報305に対する類似度を向上させるための制約である。
より具体的には、仮説推論部228は、関連情報制約f
3(y)を以下に示す数式8のように、n-gram類似度関数として規定することができる。
【数8】
数式8において、「y」は生成される仮説の候補であり、「e」は関連情報305又は関連情報305から抽出されるキーワードである。
【0084】
次に、ステップS720では、仮説推論部228は、ステップS705で規定した語学的一貫性制約f
1(y)、ステップS710で規定した結論一貫性制約f
2(y)及びステップS715で規定した関連情報制約f
3(y)に基づいて、以下に示す数式9のようなエネルギー関数を生成する。
【数9】
数式9において、w
1、w
2、w
3は、それぞれの制約に対する重み付である。
【0085】
次に、ステップS725では、仮説推論部228は、ステップS720で生成したエネルギー関数を最適化することで、語学的一貫性制約、結論一貫性制約及び関連情報制約を満たす仮説推論結果を生成する。ここで、仮説推論部228は、エネルギー関数を最適化する方法として、ランジュバン動力学に基づく手法を用いてもよい。ここで、ynにおけるステップ数「n」は、自由に設定可能なハイパーパラメータであり、nが大きければ大きい程、仮説推論結果の精度が向上するが、より多くのコンピューティング資源及び処理時間を要する。
一例として、「n」の初期値は「2000」であってもよい。
【0086】
以上では、語学的一貫性制約、結論一貫性制約及び関連情報制約の3つの制約から構成されるエネルギー関数を用いて仮説推論結果を生成する場合を一例として説明したが、本開示はこれに限定されず、他の制約の規定も可能である。
【0087】
例えば、語学的一貫性制約、結論一貫性制約及び関連情報制約の3つの制約から構成されるエネルギー関数を用いて仮説推論結果を生成する場合、語学的一貫性制約を規定するために用いられる初期文章情報は、前提事実情報に基づいて生成される情報であるため、当該初期文章情報に基づいて語学的一貫性制約をエネルギー関数において規定することで、生成される仮説推論結果に示される事柄は、前提事実情報に示される事柄と実質的に理屈が合うはずである。
しかし、ある実施形態では、仮説推論結果の前提事実情報及び結論情報に対する一貫性を更に向上させるためには、エネルギー関数における新たな制約として、始終一貫性制約f
4(y;O1、O2)を規定してもよい。この始終一貫性制約は、生成される仮説推論結果に示される事柄の理屈や道理を前提事実情報301及び結論情報302の両方に示される事柄に合わせるための制約である、数式10に示すように規定してもよい。
【数10】
数式10において、「y」は生成される仮説の候補であり、O1は前提事実情報301であり、O2は、結論情報302である。
【0088】
また、この場合、始終一貫性制約f
4(y;O1、O2)を含むエネルギー関数を以下に示す数式11のように規定してもよい。
【数11】
【0089】
このように、語学的一貫性制約、結論一貫性制約及び関連情報制約の3つの制約に加えて、仮説推論結果に示される事柄の理屈や道理を前提事実情報301及び結論情報302の両方に示される事柄に合わせるための始終一貫性制約f4(y;O1、O2)をエネルギー関数において規定することにより、語学的一貫性制約、結論一貫性制約及び関連情報制約の3つの制約のみを用いた場合に比べて、前提事実情報301及び結論情報302に示される事柄と辻褄が合う、更に信ぴょう性が滝仮説を示す仮説推論結果を生成することができる。
【0090】
図7を参照して説明した仮説推論生成処理700において、語学的一貫性制約、結論一貫性制約、関連情報制約及び始終一貫性制約等の制約をエネルギー関数において規定することにより、前提事実情報と同様な自然言語で構成され、初期文章情報及び結論情報に示される事柄に対して論理的に一貫している(つまり、理屈が合う)仮説の生成が可能となる。
【0091】
次に、
図8を参照して、本開示の実施形態に係る仮説推論管理インターフェースの一例について説明する。
【0092】
図8は、本開示の実施形態に係る仮説推論管理インターフェース800の一例を示す図である。
図8に示す仮説推論管理インターフェース800は、本開示の実施形態に係る仮説推論管理手段において用いられる情報や設定の入力を受け付けるためのインターフェース画面であり、例えば上述した入出力部246によって生成され、ユーザ端末260に表示されてもよい。
【0093】
図8に示すように、仮説推論管理インターフェース800は、モデル選択ウインドウ801、関連情報DB選択ウインドウ802、前提事実情報入力ウインドウ803、結論情報入力ウインドウ804、翻訳ボタン805、ステップ数設定ウインドウ806、及び仮説形成ボタン807を含んでもよい。
【0094】
モデル選択ウインドウ801は、上述した生成部222によって用いられる自然言語生成モデルを選択するためのメニュである。モデル選択ウインドウ801では、ユーザは、例えばGPT-2、GPT-3、BLOOM等を、初期文章情報を生成する自然言語生成モデルとして選択してもよい。
【0095】
関連情報DB選択ウインドウ802は、上述した関連情報を取得するために検索される関連情報DBを選択するためのメニュである。関連情報DB選択ウインドウ802では、ユーザは、事前に構築した複数の関連情報DBの中から、前提事実情報及び結論情報に関連する分野に対応する関連情報DBを選択することができる。
【0096】
前提事実情報入力ウインドウ803は、上述した前提事実情報を入力するための入力ウインドウである。前提事実情報入力ウインドウ803では、ユーザは、自然言語で構成した前提事実情報を入力してもよい。一例として、ユーザは、前提事実情報入力ウインドウ803を介して、「車両に取り付けられたセンサからデータを取得し、効率的な運転方法を判定し、他の運転手に共有する技術を開発した」との文章を前提事実情報として入力してもよい。
【0097】
結論情報入力ウインドウ804は、上述した結論情報を入力するための入力ウインドウである。結論情報入力ウインドウ804では、ユーザは、自然言語で構成した結論情報を入力してもよい。一例として、ユーザは、結論情報入力ウインドウ804を介して、「当該技術は、車両の事故や遅延を減らす」との文章を結論情報として入力してもよい。
【0098】
翻訳ボタン805は、前提事実情報入力ウインドウ803や結論情報入力ウインドウ804で入力された前提事実情報又は結論情報を他の言語に翻訳する処理を実施するためのボタンである。例えば、翻訳ボタン805を押すことで、ユーザは、日本語で入力した前提事実情報又は結論情報を英語に翻訳してもよい。ここで、前提事実情報又は結論情報を他の言語に翻訳する手段としては、既存の人工知能ベースの翻訳手法を用いてもよく、ここでは特に限定されない。
【0099】
ステップ数設定ウインドウ806は、本開示の実施形態に係る仮説推論部228の反復回数を設定するためのウインドウである。原則として、ステップ数を増やすほど、仮説推論結果の精度が向上するが、より多くのコンピューティング資源及び処理時間を要する。
【0100】
仮説形成ボタン807は、仮説推論管理インターフェース800に入力された情報に基づいて本開示の実施形態に係る仮説推論管理手段の処理を実行するためのボタンである。
【0101】
図8に示す仮説推論管理インターフェース800によれば、本開示の実施形態に係る仮説推論管理手段において用いられる情報や設定を入力することができる。
【0102】
ある実施形態では、本開示の実施形態に係る仮説推論管理手段は、いわゆるESG(Environment, Social, and Corporate Governmence)フレームワークに適用可能である。これにより、企業の環境、社会及びカバナンスの目標を考慮した仮説推論結果の生成が可能となる。次に、
図9を参照して、本開示の実施形態に係るESG仮説推論管理インターフェースの一例について説明する。
【0103】
図9は、本開示の実施形態に係るESG仮説推論管理インターフェース900の一例を示す図である。
図9に示すESG仮説推論管理インターフェース900は、本開示の実施形態に係る仮説推論管理手段をESGに適用した場合に用いられる情報や設定の入力を受け付けるためのインターフェース画面であり、例えば上述した入出力部246によって生成され、ユーザ端末260に表示されてもよい。
【0104】
図9に示すように、ESG仮説推論管理インターフェース900は、モデル選択ウインドウ901、関連情報DB選択ウインドウ902、影響対象選択ウインドウ903、ESG指標選択ウインドウ904、極性選択ウインドウ905、事業活動入力ウインドウ906、事業活動結果入力ウインドウ907、翻訳ボタン908、ステップ数設定ウインドウ909及び仮説形成ボタン910を含んでもよい。
なお、モデル選択ウインドウ901、関連情報DB選択ウインドウ902、翻訳ボタン908、ステップ数設定ウインドウ909及び仮説形成ボタン910は、
図8を参照して説明した仮説推論管理インターフェース800の対応要素と実質的に同様であるため、ここではその説明を省略する。
【0105】
影響対象選択ウインドウ903は、仮説推論が生成される事業活動の影響対象を選択するためのメニュである。影響対象選択ウインドウ903では、ユーザは、事業活動の影響対象として「環境」、「社会資本」、「人的資本」、ビジネスモデルとイノベーション」、「リーダーシップとガバナンス」等を選択してもよい。ここで所定の影響対象を選択することで、仮説推論管理装置210は、選択された影響対象を考慮した仮説推論結果を生成することができる。
【0106】
ESG指標選択ウインドウ904は、仮説推論が生成される事業活動のESG指標を選択するためのメニュである。ESG指標選択ウインドウ904では、ユーザは、ESG指標として、「製品の安全性」、「職場における多様性及び公平性」、「製品ライフサイクル管理」、「サプライチェーン管理」等を選択してもよい。ここで所定のESG指標を選択することで、仮説推論管理装置210は、選択されたESG指標を考慮した仮説推論結果を生成することができる。
【0107】
極性選択ウインドウ905は、仮説推論の極性を選択するためのメニュである。極性選択ウインドウ905では、ユーザは、仮説推論の極性として、「ポジティブ」又は「ネガティブ」を選択してもよい。これにより、仮説推論管理装置210は、後述する事業活動及び事業活動結果のネガティブの仮説やポジティブの仮説を考慮することができる。
【0108】
事業活動入力ウインドウ906は、前提事実情報として用いられる事業活動を入力するための入力ウインドウである。
【0109】
事業活動結果入力ウインドウ907は、事業活動入力ウインドウ906に入力した事業活動の結果を示し、結論情報として用いられる情報を入力するための入力ウインドウである。
【0110】
次に、
図10を参照して、本開示の実施形態に係る仮説推論結果表示インターフェースについて説明する。
【0111】
図10は、本開示の実施形態に係る仮説推論結果表示インターフェース1000の一例を示す図である。
図10に示す仮説推論結果表示インターフェース1000は、本開示の実施形態に係る仮説推論管理装置210によって生成される仮説推論結果を示すためのインターフェース画面であり、例えば上述した入出力部246によって生成され、ユーザ端末260に表示されてもよい。
【0112】
図10に示すように、仮説推論結果表示インターフェース1000は、仮説表示ウインドウ1010及び関連情報表示ウインドウ1020を含む。
【0113】
仮説表示ウインドウ1010は、例えば
図8に示す仮説推論管理インターフェース800に対して入力される前提事実情報及び結論情報を説明するために仮説推論部によって生成される仮説の候補を示す。
図10に示すように、仮説表示ウインドウ1010には、複数の仮説が、信ぴょう性が高い順に表示されてもよい。
【0114】
関連情報表示ウインドウ1020は、仮説表示ウインドウ1010に示される仮説を生成するために用いられ、関連情報DB231から取得された関連情報を示してもよい。
【0115】
このように、仮説推論結果表示インターフェース1000によれば、ユーザは、入力した前提事実情報及び結論情報等の2つの事例を説明する仮説や、当該仮説の根拠となる関連情報を確認することができる。
【0116】
上述したように、社会経済情勢が変化する中、企業は迅速且つ正確な意思決定が求められている。意思決定に役立つ人工知能手法の1つとしては、仮説推論を行う深層学習が存在するが、従来の仮説推論は、インターネット等で公開されている、一般的な事象に関するデータに基づいて訓練されるため、事業活動等の非公開の事象に関する仮説形成の精度が限定されてしまうという課題が存在する。非公開の事象に関する学習データに基づいて機械学習モデルを訓練することが考えられるが、このような学習データのラベル付け(annotate)及びモデルのファインチューニングは、膨大な金銭的及び人的資源を要するため、負担が大きい。
【0117】
従って、本開示の態様は、所定の事象に関する事実を示す前提事実情報に関連する文章を示す初期文章情報を生成し、前提事実情報と当該前提事実情報に対する結論を示す結論情報に基づいて関連情報を所定の関連情報データベースから取得し、この初期文章情報、結論情報及び関連情報に関する制約を規定するエネルギー関数を用いることで、前提事実情報及び結論情報に関する説明を示す仮説推論結果を生成する仮説推論手段に関する。
【0118】
本開示の実施形態に係る関連情報データベースは、非公開の情報に関する文章を含んでもよい。この関連情報データベースに格納される非公開の情報に関する文章の中から、前提事実情報及び結論情報に対して関連度が高い関連情報は、例えばTF-IDF手法やDPR手法によって取得され、エネルギー関数における制約を規定するために用いられる。これにより、この関連情報を根拠とする仮説を生成することが可能となる。
また、この関連情報データベースは、随時更新可能であるため、仮説推論の対象となる事象に関する新たな文章の追加や、無関係の文章の削除を行うことで、関連情報データベースを洗練させ、より高精度の仮説形成を促進することができる。
【0119】
また、本開示の実施形態に係る仮説推論管理手段によれば、エネルギー関数において、関連情報に基づく制約に加えて、初期文章情報に基づく制約や、結論情報に基づく制約が規定される。これらの制約を用いることで、前提事実情報と同様な自然言語で構成され、初期文章情報及び結論情報に示される事柄に対して論理的に一貫している(つまり、理屈が合う)仮説の生成が可能となる。
【0120】
このように、非公開の事象に関する関連情報に基づく制約、前提事実情報から自動生成される初期文章情報に基づく制約、及び結論情報に基づく制約を規定するエネルギー関数を用いることで、非公開の事象に関する仮説推論用の機械学習モデルを訓練することなく、自然言語で構成され、論理的に一貫しており、非公開の事象に関する仮説推論結果の生成が可能となる。
更に、この仮説推論結果は、仮説の候補に加えて、仮説推論を生成する際にそれぞれの仮説を裏付けるための根拠となった関連情報を含んでもよい。これにより、ユーザは、それぞれの仮説の根拠を把握することができ、透明性の高い仮説推論が可能となる。
【0121】
上述したように、本開示の実施形態に係る仮説推論管理手段は、以下の態様に関する。
【0122】
(態様1)
仮説推論管理装置であって、
プロセッサと、
メモリと、
所定の分野に関する関連情報を含む関連情報データベースを格納する記憶部とを備え、
前記メモリは、
所定の事象に関する事実を示す前提事実情報に基づいて、前記前提事実情報に関連する文章を示す初期文章情報を生成する生成部と、
前記前提事実情報と、前記前提事実情報に対する結論を示す結論情報に基づいて、前記前提事実情報及び前記結論情報に関連する関連情報を前記関連情報データベースから取得する関連情報取得部と、
前記初期文章情報、前記結論情報及び前記関連情報に関する制約を規定するエネルギー関数を用いて、前記前提事実情報及び前記結論情報に関する説明を示す仮説推論結果を生成する仮説推論部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする仮説推論管理装置。
【0123】
(態様2)
前記生成部は、
前記前提事実情報に関連する自然言語情報を自動生成するトランスフォーマーモデルを含む、
ことを特徴とする、態様1に記載の仮説推論管理装置。
【0124】
(態様3)
前記仮説推論管理装置は、
前記関連情報データベースを構築するデータベース構築部を更に含み、
前記データベース構築部は、
複数の非公開の文章を所定の自然言語分類手法によって解析することで、前記複数の非公開の文章の内、第1の非公開文章が前記所定の分野に対する類似度基準を満たすと判定した場合、
前記第1の非公開文章をトピック毎にラベル付けし、前記関連情報データベースに格納する、
ことを特徴とする、態様1又は2に記載の仮説推論管理装置。
【0125】
(態様4)
前記関連情報取得部は、
前記関連情報データベースに含まれる各文章について、前記前提事実情報に対する関連度を示す第1の関連度を判定し、
前記関連情報データベースに含まれる各文章について、前記結論情報に対する関連度を示す第2の関連度を判定し、
判定した前記第1の関連度が所定の関連度基準を満たす第1の文章の中から、前記前提事実情報に関する第1の関連情報を抽出し、
判定した前記第2の関連度が所定の関連度基準を満たす第2の文章の中から、前記結論情報に関する第2の関連情報を抽出し、
前記第1の関連情報及び前記第2の関連情報を結合することで、前記関連情報を取得する、
ことを特徴とする、態様3に記載の仮説推論管理装置。
【0126】
(態様5)
前記関連情報取得部は、
Term Frequency-Inverse Document Frequency又はDense Passage Retrievalを用いて、前記関連情報を取得する、
ことを特徴とする、態様4に記載の仮説推論管理装置。
【0127】
(態様6)
前記仮説推論部は、
前記初期文章情報に基づいて、前記仮説推論結果の前記初期文章情報に対する語学的一貫性を定義する語学的一貫性制約を規定し、
前記結論情報に基づいて、前記仮説推論結果の前記結論情報に対する論理的一貫性を定義する結論一貫性制約を規定し、
前記関連情報に基づいて、前記仮説推論結果の前記関連情報に対する類似度を定義する関連情報制約を規定することで前記エネルギー関数を生成し、
ランジュバン動力学に基づく手法を用いて前記エネルギー関数を最適化することで、前記語学的一貫性制約、前記結論一貫性制約及び前記関連情報制約を満たす第1の仮説を前記仮説推論結果として生成する、
ことを特徴とする、態様1乃至5に記載の仮説推論管理装置。
【0128】
(態様7)
前記仮説推論部は、
前記語学的一貫性制約、前記結論一貫性制約及び前記関連情報制約に加えて、
前記前提事実情報及び前記結論情報に対する論理的一貫性を定義する始終一貫性制約を更に規定し、
ランジュバン動力学に基づく手法を用いて前記エネルギー関数を最適化ことで、前記語学的一貫性制約、前記結論一貫性制約、前記関連情報制約及び前記始終一貫性制約を満たす第2の仮説を前記仮説推論結果として生成する、
ことを特徴とする、態様6に記載の仮説推論管理装置。
【0129】
(態様8)
前記仮説推論結果は、
前記前提事実情報及び前記結論情報に関する説明を示す仮説に加えて、前記関連情報データベースから取得した前記関連情報を、前記仮説の根拠として含む
ことを特徴とする、態様1乃至7に記載の仮説推論管理装置。
【0130】
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0131】
150 仮説推論管理アプリケーション
200 仮説推論管理システム
210 仮説推論管理装置
220 メモリ
222 生成部
224 データベース構築部
226 関連情報取得部
228 仮説推論部
230 記憶部
231 関連情報DB
244 プロセッサ
246 入出力部
250 通信ネットワーク
260 ユーザ端末