特開 2024-74279 信用できる意思決定のための反復的自己説明型人工知能システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074279

(43)【公開日】2024-05-30

(54)【発明の名称】信用できる意思決定のための反復的自己説明型人工知能システム

(51)【国際特許分類】

   G06N 3/04 20230101AFI20240523BHJP

【ＦＩ】

G06N3/04 100

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023195894

(22)【出願日】2023-11-17

(31)【優先権主張番号】63/384,235

(32)【優先日】2022-11-18

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】517451940

【氏名又は名称】エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジャオ・シュ

(72)【発明者】

【氏名】ザシャ・ザラライェフ

(72)【発明者】

【氏名】アマール・シェイカー

(57)【要約】

【課題】信用できる意思決定のための反復的自己説明型人工知能システムを提供すること。
【解決手段】人工知能(AI)システムにおいて自己説明型の決定を生成するための方法は、AIシステムにおいてタスクのためのグラフを受信または定義するステップを含み、グラフはエッジによって接続される複数のノードを含む。メッセージパッシングがグラフのノードの間で実行され、離散注意機構がメッセージパッシングの間に実装され、それにより、各ノードの特徴量は離散表現へと変換され、離散表現は、どの近隣ノードにメッセージが渡されるかに応じて変わる。自己説明型の決定は、メッセージパッシングに基づいてノードの1つのために生成される。
【選択図】図1

【特許請求の範囲】

【請求項1】

人工知能(AI)システムにおいて自己説明型の決定を生成するための方法であって、
前記AIシステムにおいてタスクのためのグラフを受信または定義するステップであって、前記グラフがエッジによって接続される複数のノードを含む、ステップと、
前記グラフの前記ノードの間でメッセージパッシングを実行するステップであって、離散注意機構が前記メッセージパッシングの間に実装され、それにより、各ノードの特徴量が離散表現へと変換され、前記離散表現が、どの近隣ノードにメッセージが渡されるかに応じて変わる、ステップと、
前記メッセージパッシングに基づいて前記ノードの1つのための前記自己説明型の決定を生成するステップとを備える、方法。

【請求項2】

前記離散注意機構が、ノードの各ペアに対して異なりノードのペアのどの特徴量が重要であるかを示す重要性ベクトルを使用することを備え、前記メッセージパッシングが、前記重要性ベクトルによって決定される前記重要な特徴量を渡すことを含み、前記自己説明型の決定が、前記ノードのいずれが、前記自己説明型の決定が行われる対象であるノードと、前記特徴量のそれぞれに関して似ているかの説明を含む、請求項1に記載の方法。

【請求項3】

モデルのパラメータが、前記メッセージパッシングおよび前記自己説明型の決定の生成のために使用される学習されたモデルを提供するために、前記ノードの一部の観測された特徴量を入力として使用する訓練手順の間に学習される、請求項2に記載の方法。

【請求項4】

反復的な説明の生成および検証を実行するステップをさらに備え、前記説明についてフィードバックが受け取られ、前記学習されたモデルを改良するために前記フィードバックが使用される、請求項3に記載の方法。

【請求項5】

反復的な説明の生成および検証の前記実行が、1つまたは複数のノードの特定された重要な特徴量の正しさ、ノードの特定された似ている近隣の正しさ、および予測経路を追跡せよとの要求のうちの少なくとも1つを含むフィードバックに基づく、請求項4に記載の方法。

【請求項6】

改良された自己説明型の決定が、前記改良された学習されたモデルを使用してさらなるメッセージパッシングを実行することによって決定される、請求項4に記載の方法。

【請求項7】

前記自己説明型の決定が行われる対象である前記ノードのための前記重要性ベクトルが、前記説明によって似ているものとして示される前記ノードの少なくとも1つを変更せよとの、および/または、前記説明によって似ているものとして示される前記ノードの少なくとも1つのための前記重要な特徴量の少なくとも1つを変更せよとの前記フィードバックに基づいて改良される、請求項4に記載の方法。

【請求項8】

前記メッセージパッシングが、前記自己説明型の決定が行われる対象である前記ノードの前記グラフの中の各近隣ノードから、前記近隣ノードの各々に対して異なり、前記自己説明型の決定が行われる対象である前記ノードに対して前記近隣ノードの異なる特徴量が重要であることを各事例において示す、重要性ベクトルによって決定される前記特徴量の1つを渡すことを備える、請求項1に記載の方法。

【請求項9】

前記近隣ノードの各々と前記自己説明型の決定が行われる対象である前記ノードとの類似性を計算するステップをさらに備え、前記自己説明型の決定が、似ていると決定された前記近隣ノードから渡された前記重要な特徴量にのみ基づく、請求項8に記載の方法。

【請求項10】

前記離散注意機構が、Gumbel近似器またはsparsemaxに基づく多層離散注意機構であり、前記多層離散注意機構の各層が、前の層から計算された隠れベクトルを使用して前記ノードの前記特徴量の近さを計算する、請求項1に記載の方法。

【請求項11】

前記自己説明型の決定が行われる対象である前記ノードのための隠れベクトルが、似ていると決定された近隣ノードからの前の層における前記メッセージパッシングによって決定され、前記近隣ノードの各々に対して異なる重要性ベクトルによって決定される異なる重要な特徴量を備える、前記特徴量を備える、請求項1に記載の方法。

【請求項12】

前記AIシステムが、自動化された医療において使用され、薬の開発および患者診断支援のためにプログラムされ、前記タスクが、患者の結果を予測すること、または有効な薬を決定することであり、前記決定が、予測された患者の結果または薬であり、人が理解可能な説明が、前記決定を行うために使用された特徴量を有する前記離散注意機構によって決定された1つまたは複数の他の似ている患者を示す、請求項1に記載の方法。

【請求項13】

前記AIシステムが、公益事業供給網の維持管理のために、スマートシティにおける自動化された決定において使用され、前記タスクが、制御または維持管理の標的を特定することであり、前記決定が、前記制御もしくは維持管理の標的の自動化された特定または関連する自動化された制御もしくは維持管理の行動であり、人が理解可能な説明が、前記決定を行うために使用された特徴量を有する前記離散注意機構によって決定された前記公益事業供給網の1つまたは複数の他の部分を示す、請求項1に記載の方法。

【請求項14】

人工知能(AI)システムにおいて自己説明型の決定を生成するためのシステムであって、前記システムが、単独でまたは組み合わせて、
前記AIシステムにおいてタスクのためのグラフを受信または定義するステップであって、前記グラフがエッジによって接続される複数のノードを含む、ステップと、
前記グラフの前記ノードの間でメッセージパッシングを実行するステップであって、離散注意機構が前記メッセージパッシングの間に実装され、それにより、各ノードの特徴量が離散表現へと変換され、前記離散表現が、どの近隣ノードにメッセージが渡されるかに応じて変わる、ステップと、
前記メッセージパッシングに基づいて前記ノードの1つのための前記自己説明型の決定を生成するステップと
の実行を実現するように構成される、1つまたは複数のハードウェアプロセッサを備える、システム。

【請求項15】

1つまたは複数のプロセッサによって実行されると、人工知能(AI)システムにおいて自己説明型の決定を生成するための方法を実行する命令を有する有形の非一時的コンピュータ可読媒体であって、前記方法が、
前記AIシステムにおいてタスクのためのグラフを受信または定義するステップであって、前記グラフがエッジによって接続される複数のノードを含む、ステップと、
前記グラフの前記ノードの間でメッセージパッシングを実行するステップであって、離散注意機構が前記メッセージパッシングの間に実装され、それにより、各ノードの特徴量が離散表現へと変換され、前記離散表現が、どの近隣ノードにメッセージが渡されるかに応じて変わる、ステップと、
前記メッセージパッシングに基づいて前記ノードの1つのための前記自己説明型の決定を生成するステップと
を備える、有形の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
2022年11月18日に出願された米国仮特許出願第63/384,235号の優先権が主張され、その開示全体が参照によって本明細書に組み込まれる。

【0002】

本発明は、人工知能(AI)および機械学習に関し、特に、AI主導の予測および決定とともに、人が理解可能な説明を反復的に学習するための、説明可能AIおよび方法、システム、ならびにコンピュータ可読媒体に関する。

【背景技術】

【0003】

欧州連合(EU) AI ActおよびGeneral Data Protection Regulation (GDPR)によれば、デジタル医療および都市の重要なインフラストラクチャなどの、特に高リスクのシステムにおけるAI技術の使用には、透明性が重要な必要条件である。これらのEU規制に基づくと、予測とともに説明を提供しなければ、いわゆる「ブラックボックス」AIシステムをEUにおいて展開することはもはや可能ではない。AIベースのシステムがどのようにある決定に達するかを解釈するために開発された説明可能AI方法はあるが、既存の説明可能AI(XAI)の手法の大半は、事後説明(post-hoc explaining)(すなわち、別のAIシステムによって行われた決定を説明すること)に焦点を置いている。たとえば、各々が参照によって本明細書に組み込まれる、Hao Yuan他、「On Explainability of Graph Neural Networks via Subgraph Explorations」、Proceedings of the 38th International Conference on Machine Learning、arXiv:2102.05152v2 (2021年5月31日)、以後「Yuan」、およびPhillip Pope他、「Explainability Methods for Graph Convolutional Neural Networks」、Proceedings of Conference on Computer Vision and Pattern Recognition、DOI:10.1109/CVPR.2019.01103 (2019年6月)、以後「Pope」を参照されたい。これらの手法は、レガシーAIシステムが規制に適合し、エンドユーザとの関わりを増やすのには役立ち得る。しかしながら、そのようなXAI方法において解決されるべき重大な制約がある。まず、事後説明はあるAIにより別のAIの挙動から学習されるので、学習された説明の忠実性が社会の重要な関心事になっている(たとえば、参照によって本明細書に組み込まれる、Chih-Kuan Yeh他、「On the (In)fidelity and Sensitivity of Explanations」、Advances in Neural Information Processing Systems、arXiv:1901.09392v4 (2019年11月3日)を参照されたい)。その上、大半の既存の説明可能AIの手法は、たとえば、あらかじめ定められたスコアを最大にするスパースなサブグラフ(Yuan参照)または観察に関するスコア関数の勾配(Pope参照)である、アルゴリズム的な説明を学習することを目的とする。そのような説明は、人間、特にAIの知識がないユーザには、理解しがたいことが多い。そのような信じがたい説明は、AIシステムへのユーザの信用を高めないだけではなく、逆に、実際にはユーザの疑いとためらいを大きくする(たとえば、参照によって本明細書に組み込まれる、Himabindu Lakkaraju他、「'How do I fool you?': Manipulating user trust via misleading black box explanations」、In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society、arXiv:1911.06473v1 (2020年11月15日)を参照されたい)。

【0004】

参照によって本明細書に組み込まれる、Zaixi Zhang他、「ProtGNN: Towards Self-Explaining Graph Neural Networks」、Association for the Advancement of Artificial Intelligence、arXiv:2112.00911v1 (2021年12月2日)は、グラフ分類問題に対処するグラフデータのための方法を説明する。この方法では、学習される説明はサブグラフに基づき、これらは依然としてアルゴリズム指向型であり(あらかじめ定められたスコアを最小にする)、学習された説明についてのフィードバックを提供するための機構がない。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】「On Explainability of Graph Neural Networks via Subgraph Explorations」、Proceedings of the 38th International Conference on Machine Learning、arXiv:2102.05152v2 (2021年5月31日)

【非特許文献2】Phillip Pope他、「Explainability Methods for Graph Convolutional Neural Networks」、Proceedings of Conference on Computer Vision and Pattern Recognition、DOI:10.1109/CVPR.2019.01103 (2019年6月)

【非特許文献3】Chih-Kuan Yeh他、「On the (In)fidelity and Sensitivity of Explanations」、Advances in Neural Information Processing Systems、arXiv:1901.09392v4 (2019年11月3日)

【非特許文献4】Himabindu Lakkaraju他、「'How do I fool you?': Manipulating user trust via misleading black box explanations」、In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society、arXiv:1911.06473v1 (2020年11月15日)

【非特許文献5】Zaixi Zhang他、「ProtGNN: Towards Self-Explaining Graph Neural Networks」、Association for the Advancement of Artificial Intelligence、arXiv:2112.00911v1 (2021年12月2日)

【発明の概要】

【課題を解決するための手段】

【0006】

ある実施形態では、本発明は、AIシステムにおいてタスクのためのグラフを受信または定義するステップであって、グラフがエッジによって接続される複数のノードを含む、ステップを含む、AIシステムにおける自己説明型の決定を生成するための方法を提供する。グラフのノードの間でメッセージパッシングが実行され、メッセージパッシングの間に離散注意機構(discrete attention mechanism)が実装され、それにより、各ノードの特徴量が離散表現へと変換され、この表現は、メッセージがどの近隣ノードに渡されるかに応じて変化する。自己説明型の決定が、メッセージパッシングに基づいてノードの1つのために生成される。

【0007】

本開示の主題は、模範的な図に基づいて以下でさらにより詳しく説明される。本明細書で説明および/または例示されるすべての特徴が、単独で使用され、または異なる組合せで組み合わせられ得る。様々な実施形態の特徴および利点は、添付の図を参照して以下の詳細な説明を読むことによってより明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】本発明のある実施形態による、自己説明型決定エンジンおよびそのワークフローを示す図である。

【図2】本発明のある実施形態による、自己説明ベースの決定エンジンの自己説明型決定学習器を示す図である。

【図3】本発明のある実施形態による、予測経路の追跡を示す図である。

【図4】本発明のある実施形態による、反復的な自己説明ベースのノード分類のための方法のステップを示すフローチャートである。

【発明を実施するための形態】

【0009】

本発明の実施形態は、透明性のある意思決定を可能にするために、AI主導の予測と決定とともに人が理解可能な説明を学習する、方法および自己説明型のグラフベースのAIシステムを提供する。本発明の実施形態は、(1)自己説明的であること、(2)ユーザ中心主義を実現すること、(3)インスタンス、属性、および/またはグラフ構造に基づいて包括的な説明を提供すること、ならびに(4)反復的な説明を実現することによって、最新のAIシステムを技術的に改善する。

【0010】

本発明の実施形態は、説明可能AIシステムを利用する様々な技術、特に高リスクの用途において、さらなる改善をもたらすためにも現実的に適用され得る。本発明の実施形態により改善され得る1つの例示的な高リスクの用途は、ある特定の患者の症状、検査、および遺伝子配列データ、ならびに疾病情報を条件として、その患者にどの薬が有効かを医師が予測するのを容易にする、Ai主導患者診断支援システムである。このシステムでは、AI主導システムが、エンドユーザ、たとえば医師に、なぜその患者に対してその薬を予測したかなどの説明なしで、候補となる薬の一覧を提供するだけである場合、医師はその結果を信用して推奨される薬を患者に処方することができない。本発明の実施形態により改善され得る高リスク用途の別の例は、水道/ガス/電気供給網の予測的維持管理システムである。AI主導システムが、どの配管が危険で修理される必要があるかを、なぜそのような予測を行ったかという説明なしで予測するだけである場合、事業者はその結果を信用して行動に移さないであろう。

【0011】

本発明の実施形態は、AI主導の予測および決定とともに人が理解可能な説明を生成する、自己説明型のグラフベースのAI方法およびシステムを提供することによってこれらの課題に対処する。医療教育の症例ベースの学習から着想を得て、本発明の実施形態は、事例ベースの説明を生成することを学習する。たとえば、患者診断支援システムでは、学習される説明は、どの患者(すなわち、患者グラフのノード)がある特徴量に関して試験患者(やはり患者グラフのノード)と似ているか、患者グラフ上のどこで患者が試験患者に接続されるかであり得る。人が理解可能な説明に基づいて、エンドユーザは、AI主導の決定を検証することができ、より高い信頼性で、システムが決定を実行することを許可するかしないかを判断することができる。

【0012】

ある実施形態では、本発明は、半教師ありの状況に対する方法を提供する。たとえば、1つの現実的な用途において、試験患者(たとえば、未知の薬)および訓練患者(たとえば、既知の薬)がバッチとして与えられる。したがって、モデルパラメータは、訓練データと試験データの両方を考慮することによって学習される。これは、試験データのデータ特性を考慮するので、半教師あり学習の利点である。新しい少数の試験患者が届く場合、メッセージパッシングおよび重要な特徴量を計算するために、すでに学習されたモデルパラメータを直接使用することが可能である。しかしながら、新しく利用可能な試験患者が多い、または以前のものとは異なる特性を示す場合、モデルは再び訓練される必要があり得る。

【0013】

第1の態様において、本発明は、AIシステムにおいて自己説明型の決定を生成するための方法を提供する。方法は、AIシステムにおいてタスクのためのグラフを受信または定義するステップを含み、グラフは、エッジによって接続される複数のノードを含む。メッセージパッシングは、グラフのノード間で実行され、離散注意機構がメッセージパッシングの間に実装され、それにより、各ノードの特徴量が離散表現へと変換され、この表現は、メッセージがどの近隣ノードに渡されるかに応じて変化する。自己説明型の決定が、メッセージパッシングに基づいてノードの1つのために生成される。

【0014】

第2の態様において、本発明は第1の態様による方法を提供し、ここで、離散注意機構は、ノードの各ペアに対して異なり、ノードのペアのどの特徴量が重要であるかを示す、重要性ベクトルを使用することを備え、メッセージパッシングは、重要性ベクトルによって決定される重要な特徴量を渡すことを含み、自己説明型の決定は、ノードのいずれが、自己説明型の決定が行われる対象であるノードと、特徴量のそれぞれに関して似ているかの説明を含む。

【0015】

第3の態様において、本発明は第1または第2の態様による方法を提供し、ここで、モデルのパラメータは、メッセージパッシングおよび自己説明型の決定の生成のために使用される学習されたモデルを提供するために、ノードの一部の観測された特徴量を入力として使用する訓練手順の間に学習される。

【0016】

第4の態様において、本発明は第1から第3の態様のいずれかによる方法を提供し、これはさらに、反復的な説明の生成および検証を実行することを備え、説明についてフィードバックが受け取られ、学習されたモデルを改良するためにフィードバックが使用される。

【0017】

第5の態様において、本発明は第1から第4の態様のいずれかによる方法を提供し、ここで、反復的な説明の生成および検証の実行は、1つまたは複数のノードの特定された重要な特徴量の正しさ、ノードの特定された似ている近隣の正しさ、および予測経路を追跡せよとの要求のうちの少なくとも1つを含むフィードバックに基づく。

【0018】

第6の態様において、本発明は第1から第5の態様のいずれかによる方法を提供し、ここで、改良された自己説明型の決定(refined self-explaining decision)は、改良された学習されたモデルを使用してさらなるメッセージパッシングを実行することによって決定される。

【0019】

第7の態様において、本発明は第1から第6の態様のいずれかによる方法を提供し、ここで、自己説明型の決定が行われる対象であるノードのための重要性ベクトルは、説明によって似ているものとして示されるノードの少なくとも1つを変更せよとの、および/または、説明によって似ているものとして示されるノードの少なくとも1つのための重要な特徴量の少なくとも1つを変更せよとのフィードバックに基づいて改良される。

【0020】

第8の態様において、本発明は第1から第7の態様のいずれかによる方法を提供し、ここで、メッセージパッシングは、自己説明型の決定が行われる対象であるノードのグラフの中の各近隣ノードから、近隣ノードの各々に対して異なり、自己説明型の決定が行われる対象であるノードに対して近隣ノードの異なる特徴量が重要であることを各事例において示す、重要性ベクトルによって決定される特徴量の1つを渡すことを備える。

【0021】

第9の態様において、本発明は第1から第8の態様のいずれかによる方法を提供し、これはさらに、近隣ノードの各々と自己説明型の決定が行われる対象であるノードとの類似性を計算することを備え、自己説明型の決定は、似ていると決定された近隣ノードから渡された重要な特徴量にのみ基づく。

【0022】

第10の態様において、本発明は第1から第9の態様のいずれかによる方法を提供し、ここで、離散注意機構は、Gumbel近似器またはsparsemaxに基づく多層離散注意機構(multi-layer discrete attention mechanism)であり、多層注意機構の各層は、前の層から計算された隠れベクトルを使用してノードの特徴量の近さを計算する。

【0023】

第11の態様において、本発明は第1から第10の態様のいずれかによる方法を提供し、ここで、自己説明型の決定が行われる対象であるノードのための隠れベクトルは、似ていると決定された近隣ノードからの前の層におけるメッセージパッシングによって決定され、近隣ノードの各々に対して異なる重要性ベクトルによって決定される異なる重要な特徴量を備える、特徴量を備える。

【0024】

第12の態様において、本発明は第1から第11の態様のいずれかによる方法を提供し、ここで、AIシステムは、自動化された医療において使用され、薬の開発および患者診断支援のためにプログラムされ、タスクは、患者の結果を予測すること、または有効な薬を決定することであり、決定は予測された患者の結果または薬であり、人が理解可能な説明は、その決定を行うために使用された特徴量を有する離散注意機構によって決定された1つまたは複数の他の似ている患者を示す。

【0025】

第13の態様において、本発明は第1から第12の態様による方法を提供し、ここで、AIシステムは、公益事業供給網の維持管理のために、スマートシティにおける自動化された決定において使用され、タスクは、制御または維持管理の標的を特定することであり、決定は、制御もしくは維持管理の標的の自動化された特定または関連する自動化された制御もしくは維持管理の行動であり、人が理解可能な説明は、その決定を行うために使用された特徴量を有する離散注意機構によって決定された公益事業供給網の1つまたは複数の他の部分を示す。

【0026】

第14の態様において、本発明は、AIシステムにおいて自己説明型の決定を生成するためのシステムを提供し、システムは、単独でまたは組み合わせて、第1から第13の態様のいずれかによる方法のステップの実行を実現するように構成される、1つまたは複数のハードウェアプロセッサを備える。

【0027】

第15の態様において、本発明は、1つまたは複数のプロセッサによって実行されると、第1から第14の態様のいずれかによるAIシステムにおいて自己説明型の決定を生成するための方法の実行を実現する命令を有する、有形の非一時的コンピュータ可読媒体を提供する。

【0028】

図1は、自動AIシステムのための自己説明型決定エンジン100およびそのワークフローを示す。入力は、グラフ構造102(ノードおよびエッジ)ならびにノードの特徴量を含む。自己説明型決定エンジン100は、反復的更新器112への入力として使用されるデバイス110からのフィードバックを受け取る。自己説明型決定学習器104および反復的更新器112は、ノード分類などのための、AIシステムにおけるタスクのための自己説明型決定エンジン100の改良された決定106を出力するために使用され得る、学習されたモデル108を提供する。この改良された決定106は、たとえば、タスクのための予測または自動化された行動であってもよく、人が理解可能な説明を伴う。

【0029】

訓練手順または訓練段階において、自己説明型決定学習器104および反復的更新器112は、学習されたモデル108のパラメータを学習する。訓練の後、学習されたモデル108のパラメータは固定される。したがって、訓練の後、学習されたモデル108は、さらなる訓練を実行する必要なく、(たとえば、患者のための薬を予測するために)新しい機械学習タスクに適用され得る。この場合、特定の患者のメッセージパッシングは、訓練の間に最適化された。

【0030】

試験手順または適用段階において、学習されたモデル108は、推論の実行とも呼ばれる決定および説明を生成するために、自己説明型決定学習器104および反復的更新器112によって呼び出される。ある数の異なる機械学習タスクに対して、単一のモデルを使用することができ、これはメッセージパッシング手順のパラメータによって特徴付けられる。メッセージパッシング手順は、本明細書で提供される模範的な式におけるパラメータによって完全に決定される。パラメータは訓練期間において学習される。次いで、各試験患者に対して、どのようにメッセージを渡すかを計算し、最終的に決定を得るために、学習されたパラメータが使用され得る。次いで、決定がユーザ、たとえば医師に提供された後、改良された決定106を提供するために、反復的更新器112を使用する反復的手順が行われ得る。そうすると、医師はどの特徴量に関してどの患者が試験患者と似ているかを見るので、医師は説明が妥当であるかどうかを判断し、それに対するフィードバックを提供することができる。入力に基づいて、本明細書の模範的な式のパラメータによって定義されるモデルが、反復的更新器112により更新され、更新された学習されたモデル108として保存される。最後に、改良された決定106を提供するために、決定および説明が、更新された学習されたモデル108を用いて再計算され得る。

【0031】

図2に示されるように、自己説明型決定学習器104は、説明学習器204および決定推定器206という2つの構成要素を含む。説明学習器204は、人が理解可能な説明を学習して出力するようにプログラムされる。具体的には、説明の形式は、どのノード(x、yなど)がどの重要な特徴量に関してノードvと似ているか、ノードx、yなどがグラフ上のどこでノードvに接続されるかである。ペア(x,y)間の重要な特徴量または重要な特徴量のセットと、ペア(y,v)間のそれらは異なり得る。決定推定器206は、似ている近隣ノードを説明する学習された説明に基づいて、AIシステムのための決定を生成して出力するようにプログラムされる。したがって、この模範的な実施形態によれば、決定推定器206は、説明学習器204からの人が理解可能な説明を伴う、ノード特性予測である決定を出力する。

【0032】

説明学習器204および決定推定器206は、近隣ノードのどの重要な特徴量が異なる決定に対して重要であるかを学習するために、メッセージパッシングを使用する。グラフのノードが患者を表すような実施形態について言及すると、説明学習器204は、どの特徴量に関してどの患者がある患者と似ているかを計算し、次いで、重要ではない特徴量を無視することができ、似ていない患者も無視される。似ている患者の重要な特徴量のメッセージのみが試験患者に渡され、最終的に決定を推論する。

【0033】

説明学習器204および決定推定器206は、多層離散注意に基づく、本発明のある実施形態による自己説明型のグラフベースのAI方法と同時に学習される。この方法によれば、ノードv_iおよびその近隣v_jの重要な特徴量を選択することが最初に学習される。特徴量x_i∈R^Dを伴うノードv_iを仮定すると、近隣v_j∈N(v_i)のセットがある。各近隣v_jは特徴量x_jを有する。特徴量のソフトな混合(soft mixture)は、特にユーザにAIの知識がない場合にはユーザを混乱させるので、ノードのペアのための重要な特徴量を特定するために、離散様(discrete-like)注意機構が使用され得る。離散様注意機構は、たとえば、Gumbel softmaxおよびsparsemaxに基づき得る。ノードv_iおよびv_jのペアの各特徴量dに対して、ノードv_iとv_jの類似性を定量化する際にそれらのノードに対して特徴量dが重要であるかどうかを指定する、変数ω_i,j,dが導入される。特徴量の重要性は、ノードペアに固有である。言い換えると、ノードの各ペアは、別個の重要性ベクトルω_i,j∈{0,1}^Dを有する。重要なベクトルω_i,jは二値ベクトル{0,1}^Dであり、Dはすべての特徴量の数である。各次元に対して、特徴量が患者iとjのペアに対して重要である場合はω_i,j,d=1であり、それ以外の場合は0である。患者の異なるペアに対して、ベクトルω_i,j,dは異なる。たとえば、患者の1つのペアに対して、年齢の特徴量が重要であるが、別のペアに対しては、血圧の特徴量が重要である。重要性ベクトルω_i,jは、2名の患者の特徴量を入力としてもつ以下の式によって計算され得る。ハード注意(hard attention）の例(D-head 2-dimentional Gumbel attention)は

【数1】

であり、記号||は2つのベクトルの連結を示す。gはx_iおよびx_jを入力としてもち、γをパラメータとしてもつ関数である。ニューラルネットワークは、理論的にはあらゆる関数を近似できるので、ニューラルネットワーク、たとえば多層パーセプトロン(MLP)が、関数gを定義して学習するために使用され得る。o_i,jは関数gの出力であり、λ_i,jはo_i,jを入力としてもつシグモイド関数の出力である。o_i,jおよびλ_i,jは、重要性ベクトルω_i,jを計算するための中間値である。シグモイド関数は、たとえば、sigmoid(x)=1/(1+e^-x)として定義され得る。ξ_i,j,dは、たとえば市販の数学パッケージを使用して、Gumbel分布からサンプリングされる。τ_Fは、出力の離散性を制御するGumbel softmaxのパラメータである。パラメータは、訓練手順の間に学習される。τ_Fはモデルパラメータの一部である。他のパラメータは、たとえばニューラルネットワークgのγを含む。訓練の間、これらのパラメータはデータ(たとえば、本明細書の例示的な式におけるすべてのパラメータ)をフィッティングするように学習される。パラメータが学習された後、メッセージパッシング手順が式において完全に定義され、試験手順または適用段階の間に任意の患者のための決定を推論するために、メッセージパッシングが使用され得る。

【0034】

ノードv_iおよびv_jのペアの重要な特徴量が与えられると、ノードのペアの間でメッセージを投影することができ、たとえば、
m_j→(i,j)=x_j〇ω_i,j・W⁽⁰⁾;m_i→(i,j)=x_i〇ω_i,j・W⁽⁰⁾
であり、記号〇は要素ごとの積を示し、W⁽⁰⁾は訓練手順の間に学習されるべきパラメータ行列である。これらのメッセージはペアv_iおよびv_jに投影される情報を表し、それは、重要性ベクトルω_i,jがノードペア固有であるからである。重要な特徴量はメッセージを構築するためにノードの各ペアに対して学習され、これは、ノイズが多い可能性のある情報を無視するようにメッセージを偏らせ、より重要なことに、この偏ったメッセージパッシングプロセスは、より人が理解可能である。

【0035】

メッセージパッシングは、ステップの以下の疑似コード/リストによっても記述され得る。
提案されるニューラルネットワークの各コンピューティング層に対して:
各ノードiに対して:
ノードiの各近隣jに対して:
1. 重要性ベクトルω_i,jを計算する。
2. ノードjの重要ではない特徴量を省略する。ω_i,j,dが0である場合、それは、特徴量dがiおよびjに対して重要ではなく、iとjの間でメッセージを受け渡すときに省略され得ることを意味する。
3. ノードjの残りの特徴量をベクトル空間に投影する。これはパッシングのためのメッセージである。
4. ノードiに対してステップ2および3を実行する。
5. たとえば以下の式を使用して、z_i,jを計算する。z_i,j=1である場合、2つのノードは似ているノードとして見なされ、jからiにメッセージが受け渡されてもよく、それ以外の場合、これらの2つのノードは似ておらず、手順はノードiの次の近隣に移る。
iの似ている近隣からのすべてのメッセージを集め、iの隠れベクトルを更新する(以下の式を参照されたい)。隠れベクトルは、次の計算層に対するiの「特徴量」である。

【0036】

次いで、メッセージに基づいて似ている近隣を特定することが学習される。z_i,jが1である場合、2つのノードは似ており、z_i,jが0である場合、似ていない。ユーザに余計な混乱をもたらすのを避けるために、すべての近隣のソフトな混合を使用するのではなく、すべての近隣(たとえば、ノードのすべての近隣)から限られた数の最も似ている近隣(ソフトな類似性)を検出するために、ハード(離散)注意の別の層が利用される。あらゆるハード注意、たとえばGumbel近似器またはsparsemaxがここで使用され得る。例(N_i-head 2-dimentional Gumbel attention)として、

【数2】

であり、fは、メッセージを入力としてもちφをパラメータとしてもつ関数である。やはり、MLPなどのニューラルネットワークが、関数を学習するために使用される。φは、ニューラルネットワークのパラメータを示す。N_iは、ノードv_iの近隣の数を示す。e_i,jは関数fの出力であり、π_i,jはe_i,jを入力としてもつシグモイド関数の出力である。e_i,jおよびπ_i,jは、z_i,jを計算するための中間値である。シグモイド関数およびGumbelサンプリングは上で論じられた通りである。τ_Zは、出力z_i,jの離散性を制御する、Gumbel softmaxのパラメータである。すべてのパラメータが訓練手順の間に学習される。

【0037】

検出された重要な近隣は、ノードv_iにそれらのメッセージを渡し、そして、次の層のためのv_iの隠れ層が、たとえば

【数3】

として計算され得る。

【0038】

すなわち、層lにおいて、ノードv_iの隠れベクトル

【数4】

は、特定された重要な近隣の集約である。

【数5】

【数6】

【0039】

ニューラルネットワークのこれらの層(l>1)に対して、ノードiおよびjの各ペアのための重要な隠れ特徴量を決定するために、異なる選択肢がある。すべての隠れ特徴量を使用することができ、これはより安定した学習手順につながる可能性があるが、中間ステップが人により理解可能ではないことを示唆する。代替として、より離散的で人が理解可能な特徴量を使用することができ、これにより、このステップは確実に人が理解可能なままになるが、より難しい学習手順につながる可能性がある。1つのさらなる可能性は、訓練の間に前者の選択肢を使用し、推論の間に後者を使用することである。最良の選択は用途に依存し、ケースバイケースで行われ得る。最後の層において、各ノードv_iの特性の確率を予測するために、softmax関数が使用される。softmax関数は、市販の数学パッケージにおいて利用可能な既知の数学的な関数である。softmax関数は、K個の実数のベクトルzを確率分布へと変換する。ノードのいくつかに対するラベルを含む訓練データを仮定すると、本発明の実施形態によるニューラルネットワークは、たとえば、交差エントロピー誤差を伴う勾配降下アルゴリズムを用いて訓練され得る。訓練手順は、予測されたラベルが観測されたラベルに近付くように、本明細書の模範的な式によって定義されるモデルのパラメータを最適化する。予測されたラベルは、本明細書の模範的な式によって定義されるメッセージパッシング手順を用いて計算される。

【0040】

したがって、ニューラルネットワークの計算層lにおいて、ノードiに対して、メッセージが、そのノードの似ている近隣の各々から渡され、ノードiの隠れベクトル

【数7】

をもたらし、これは、次の計算層l+1に対するノードiの隠れ特徴量として働く。第1の計算層において、隠れベクトル

【数8】

は、ノードiの特徴量(たとえば、患者の年齢、性別、多様な試験の結果など)である。

【0041】

ノードが患者を表す実施形態では、第1の層l=1において、入力特徴量は、ユーザにとって意味のある患者の観察結果(たとえば、年齢、性別、検査結果、遺伝子バイオメーカーなど)である。重要性ベクトルω_i,jは、どの特徴量が重要であるかを決定するために計算される。ユーザ(たとえば、医師)は次いで、学習された重要な特徴量に意味があるかどうかを決定し、それについてのフィードバックを提供することができる。しかしながら、次の層、すなわちl>1に移るとき、これらの層の入力特徴量は隠れ特徴量

【数9】

であり、これらは前の層によって計算される隠れベクトルである。

【0042】

再び図1を参照すると、反復的更新器112は、デバイス110、特に、学習された決定および説明についてのフィードバックをユーザがそれによって提供するユーザデバイスから受け取られたフィードバックに基づいて、学習された決定および説明を反復的に改訂するようにプログラムされる。試験手順または適用段階の間に、試験ノードに対して、方法は予測および説明(どのノードがどの特徴量に関して試験ノードと似ているか)を推論し、予測および説明がユーザに提示される。ユーザは次いで、たとえば、専門知識を使用して説明を訂正することによって、フィードバックを与えることができる。フィードバックに基づいて、モデル(すなわち、学習されたパラメータ)が更新される。自己説明型決定エンジン100は、タイプI:特定された重要な特徴量の正しさ、タイプII:特定された似ている近隣の正しさ、およびタイプIII:予測経路を追跡せよとの要求という、3つのタイプのフィードバックを定義する。

【0043】

試験ノードに対して、方法は重要性ベクトルω_i,jを計算し、これは二値ベクトル{0,1}^Dであり、Dは特徴量の数であり、1は特徴量が患者iおよびjのペアに対して重要であることを意味し、0はそうではないことを意味する。決定された重要な特徴量(たとえば、年齢、性別、およびいくつかの試験結果)が患者のペアについて医師に示されるので、医師は訂正の形態でフィードバックを提供し得る(たとえば、医師は、性別は重要な特徴量ではないと思う可能性があるが、データにおいて与えられているが患者のペアについて重要な特徴量として方法によって選択されていない別の試験結果が実際には重要であると考える可能性がある)。この場合、次いで値(0/1)が変更され、ユーザのフィードバックω^を提供する。

【0044】

タイプIのフィードバックが受け取られるとき、ノード(v_i,v_j)のペアの重要な特徴量は

【数10】

として訂正され、次いで、新しく観察された証拠を組み込むために、損失関数において新しい項loss_Fが加えられ、たとえば、

【数11】

である。

【0045】

試験ノードに対して、方法は類似性z_i,jを計算し、この値は、患者v_iがその近隣v_jと似ているものとして計算される場合は1であり、それ以外の場合は0である。選択された似ている患者が、タイプIIのフィードバックを提供するために医師に示される。変更された値は

【数12】

である。

【0046】

タイプIのフィードバックの取扱いと同様に、タイプIIのフィードバックが集められるとき、ノードv_iの似ている近隣が

【数13】

として訂正され、そして、損失関数に新しい項loss_Zが加えられ、たとえば

【数14】

である。

【0047】

パラメータρ_Fおよびρ_Zは係数である。新しい損失について増分的に学習した後、さらなるフィードバックおよび検証のために、決定および説明が更新される。

【0048】

タイプIIIのフィードバックが受け取られるとき、自己説明型決定エンジン100は、学習されたモデル108に基づいて予測経路を追跡する。図3は追跡手順を示す。具体的には、決定はノードvの予測されたラベルである。特定された説明は、図3の左パネル300として示される、似ている近隣ノードaおよびbである。フィードバックが、ノードaがどのように予測されるかを追跡するためのものである場合、自己説明型決定エンジン100は、図3の中央のパネル310に示されるように、疑われる近隣ノードaのための予測されるラベルと説明を生成するように、自己説明型決定学習器104に求める。予測、たとえば2次近隣ノードeをさらに追跡するために、図3の右のパネル320に示されるように、eの予測が追跡される。反復的に追跡される予測経路は、決定が自己説明型決定エンジンによってどのように行われるかを示し、AIシステムの生成された決定の包括的な理解と検証につながる。図3のノードの隣のボックスはノードの特徴量を表し、重要な特徴量は濃いボックスにより示される。図3の破線の円は、グラフの中の試験ノードvのn次の近隣を表す。ノードaおよびbは直接の近隣であり、すなわち、グラフの中のノードvとaまたはbをつなぐエッジがある。ノードc、dおよびeは、ノードvの2次の近隣である。ノードは、たとえば方法の1つの現実的な用途では患者を表す。

【0049】

したがって、タイプIIIのフィードバックは、似ているノードのための決定を推論するための方法の適用を触発する。たとえば、医師が患者vについて尋ねるとき、方法は、患者vの決定および説明(どの特徴量に関してどの患者が似ているか)を推論し、これは左のパネル300として示されている。医師は、患者aが似ているのではないかと疑うことがあり、そうすると、その患者について尋ねるので、方法は、患者aの決定および説明を推論し、これは中央のパネル310として示されている。これにより、医師は、メッセージパッシングプロセスを追跡して、AI主導の決定の疑わしいまたは誤った部分を見つけることができる。医師は、似ている患者のためにタイプIまたはIIのフィードバックも提供することができる。

【0050】

本出願のある実施形態は、自動化された医療の分野において、たとえば、薬の開発および患者診断支援(たとえば、患者結果予測)のためにプログラムされたAIシステムに現実的に適用され得る。たとえば、複雑な疾病、たとえば癌について、同じ疾病であったとしても、ある薬が一部の患者には有効であることがあるが、他の患者には有効ではないことがある。したがって、薬、たとえば癌のワクチンおよび標的療法の薬を開発するときに、感受性のある患者を特定することが重要であることが認識されている。加えて、そのような患者に有効な既存の薬を見つけることも重要であることもわかっている。助けとならない薬を処方することは、患者の治療を遅らせる。設計によって、本発明の実施形態による自己説明型決定エンジンは、医師がより正確かつ効率的に患者に有効な薬を反復的に特定するのを支援しながら、不正確なまたはよく理解されない決定により引き起こされる遅延および他の問題を避ける。そして、検証された決定が、薬を投与するためにスマート病院システムに転送される。そのような改善されたAIシステムは、単純な疾病にも使用され得る。

【0051】

この実施形態では、入力のためのデータソースは、患者、症状、検査、および遺伝子配列データならびに疾病情報を含む、電子医療記録(EHR)システムから抽出された情報を用いて確立される患者グラフである。ラベルは、薬が患者に有効であるかどうかである。本発明のある実施形態による方法を適用する自己説明型決定エンジンは、患者のための薬を予測し、予測の説明を提供する。決定は、受け取られたフィードバックからの学習を介して反復的に改良される。したがって、この実施形態における自己説明型決定エンジンの出力は、患者の有効な薬についての検証された決定である。好ましくは自動化された結果として、最終的に予測される有効な薬が医師に送られ、または自動的に提供もしくは投与される。

【0052】

別の実施形態では、本発明は、自動化された公益事業/スマートシティの分野において、たとえば、水道/ガス/電気供給網の予測的な診断および維持管理のためにプログラムされたAIシステムに現実的に適用され得る。たとえば、ここで、自己説明型決定エンジンは、水道、ガス、および電気の供給網などの都市のインフラストラクチャを維持管理して改善することについての問題を診断するための、AI主導の予測および決定を改善するために適用され得る。スマートシティのためのそのようなAIシステムは、自動化されたまたは半自動化された制御と維持管理を実現するようにプログラムされる。各供給網について、監視することができる多くの潜在的な問題がある。たとえば、水道供給網について、配管が壊れている場合、これは漏水を引き起こして水質に影響を及ぼし、最終的には市民の生命、健康および財産が危険にさらされ得る。AIシステムなしでこれを監視するには、技術者が配管を定期的に確認する必要があり、これは高価であり時間のかかる仕事である。これをより効率的にするために、スマートシティプラットフォームは、供給網全体のうちのどの配管が維持管理/修理される必要があるかをより効率的に特定できるように、予測的な維持管理のためにAI主導のシステムを使用することができる。本発明の実施形態はさらに、より信頼性が高くフィードバックを使用して反復的に改善される自己説明型の決定を実現することによって、これらのAIシステムを改善する。水道供給網では、データソースは配管のグラフである。グラフにおいて、ノードは配管であり、それは、配管の状態を予測することがこのAIのタスクにおいて望まれるからである。2つの配管が接続されている場合、それらの配管の間にエッジがある。特徴量は配管の特性、たとえば年数、位置、周辺環境、およびセンサで収集された平均水圧である。ラベルは二値であり、配管が維持管理される必要がある場合は1、それ以外の場合は0である。限られた数の配管のラベルが技術者によって提供され得る。本発明のある実施形態による方法を適用する自己説明型決定エンジンは、どの配管が危険であるかを予測し、予測の理由を説明する。技術者の知識および経験は、反復的に受け取られるフィードバックから自己説明型決定エンジンによって学習され得る。したがって、本出願における出力は、どの配管が維持管理されるべきかについての検証された決定である。結果として、維持管理の作業を調整するために、たとえば、交換される必要のある配管を特定する自動化されたメッセージとして、最終的な決定が技術者に送られ得る。本発明の実施形態は、水道供給網と同様に、ガスおよび電気の供給網に適用され得る。

【0053】

本発明の実施形態は、既存のAIシステムを超える以下の改善を可能にする。
- ここでは情報が他のノードから収集されるプロセスを指す、メッセージ集約の間に、ノードが様々な近隣と対話する。このプロセスをより透明性があり人が理解できるものにするために、本発明のある実施形態はより離散的なノード特徴量(重要性ベクトルω_i,j)を使用し、これは、ノードが現在どの近隣にメッセージを渡しているかに応じて変わる。このノード特徴量は、ユーザのフィードバックから反復的に導出される。
- 離散ノード重みとノード特徴量の重みの同時学習(joint learning)の、ニューラルネットワーク、たとえばグラフニューラルネットワーク(GNN)の学習目標への融合が実現される。これは、フィードバックを観察した後の、各ノードがその近隣の各々に払う離散的な注意の反復的な誘導を含む。したがって、この方法は、似ているノード(たとえば、患者)とそれらの重要な特徴量を同時学習しながら、どのノードがどの特徴量に関してどの他のノードと似ているかの説明を推論することも実現する。
- 事後説明に焦点を置き、したがって別のAIシステムがある結果に達した理由に近付くように学習することしかできない大半の既存の説明可能AIシステムとは対照的に、本発明の実施形態による方法は、自己を説明できる自己説明型決定エンジンを提供し、結果は説明から推論される。これは、信用を高め、説明の正確さ(忠実性)の向上をもたらす。
- 本発明の実施形態による説明はヒューマンセントリックであり、自己説明型決定学習器は人が理解可能な説明を学習する。対照的に、既存の説明可能AIシステムは、あらかじめ定められた数学的な関数を最小にすることなどのアルゴリズム的な説明に焦点を置いており、これはしばしば余計な混乱を引き起こし、したがってAIシステムに対するユーザの信用をさらに下げる。
- 信用をさらに高めてさらにより正確な説明と決定をもたらすために、デバイスからのフィードバックに基づいて説明を改良するための反復的な方法として、反復的更新器が提供される。

【0054】

図4は、本発明の実施形態による、ノード分類のための方法400を示すフローチャートを示す。方法400は、自己説明可能であり、デバイスから受け取られたフィードバックおよび検証に基づいて更新される。方法400は、目の前のタスクのためのグラフを定義する第1のステップ402を備える。第1のステップ402において定義されるグラフは、ノードの1つまたは複数の定義、1つまたは複数のノードエッジ、およびノード属性の1つまたは複数の選択などの、1つまたは複数のグラフ特徴量を含み得る。第2のステップ404において、方法400は、選択された近隣ノードの各ペアの重要な特徴量に向かってプロセスを偏らせるために、メッセージパッシングの間に多層離散注意機構を実装するステップを含む。メッセージパッシングは、グラフのノードを使用すること、ならびに具体的には、ノードおよび/または入射エッジ(incident edge)にローカルに存在するノード情報を使用することを伴い、さらに、情報を隣接するノードだけに送信することを伴う。メッセージパッシングの間に実装される離散注意機構は、ノードのすべての候補からの最も似ている近隣の数、および/または使用されるノード特徴量の数を制限し、それにより、メッセージに基づいてノードとその近隣との関係を離散化するために使用され得る。結果として、ユーザは、類似性の強さに基づいて十分に離散化されていないあまりにも多くの関係にさらされることによる混乱をより受けにくくなり得る。

【0055】

第2のステップ404における多層離散注意機構では、各ノードの特徴量はより離散的な表現へと変換され、これは、メッセージがどの近隣ノードに渡されるかに応じて変わる。これにより、メッセージはノードのペアの重要な特徴量に焦点を置くようになる。さらに、第2のステップ404において、ノードが別のノードに払う各注意は離散的である。

【0056】

第3のステップ406において、方法400は、方法400の訓練パラメータ(たとえば、本明細書の例示的な式のパラメータ)を含む。訓練の間、パラメータは、訓練データとしてノードの一部のために提供されるラベルに適合するように、本明細書の模範的な式によって学習される。方法によって使用されるモデルのパラメータが学習された後、メッセージパッシングは、完全に定義され、あらゆる試験ノード(たとえば、試験患者)のための決定を推論するために使用され得る。第4のステップ408において、方法400は、各分類が自己説明を伴うような推論を実行するステップを含む。たとえば、推論の間、試験ノードに似ているノードは、どの特徴量が各ペアに対して重要であるかに関して決定され、重要な特徴量のメッセージパッシングは、試験ノードのための予測をもたらす。第5のステップ410において、方法400は、各分類が自己説明を伴うような推論を実行するステップを含む。第6のステップ412において、方法400は、反復的な説明の生成と検証を実行するステップを含み、学習された説明についてフィードバックが受け取られ、説明の学習を改良するためにフィードバックが使用される。たとえば、どの患者が似ていると医師が考えているか、および/または、試験患者のどの特徴量が決定にとって重要であると考えられるかを訂正する医師のフィードバックが、モデルを更新するためのタイプIまたはIIのフィードバックとして使用される。次いで、更新されたモデルを使用して説明を再計算することができ、試験患者のための更新された決定を提供するために、メッセージパッシングを再び実行することができる。ステップ402～410は列挙された順序で実行される必要はなく、たとえば、方法パラメータはメッセージパッシングの前に訓練されてもよいことに留意されたい。

【0057】

本発明の実施形態は、データおよびタスクがグラフおよびGNNへの入力としてモデル化され得るようなあらゆる既存のAIシステムを改善するために適用され得る。データおよびタスクがグラフとして表されてGNNを用いて計算され得るような、多くの技術的な用途がある。しかしながら、そのようなタスクのための既存のAIシステムは、ブラックボックスであることが多い。対照的に、エンドユーザの信用を得てそれを高めるために、本発明の実施形態は、AIシステムがある予測にどのように達したかを人が理解可能な方法でエンドユーザに説明することによって、AI主導の決定の透明性を改善する。我々のシステムは、これらの要件を満たすように設計されている。データおよびタスクがグラフおよびGNNへの入力としてモデル化され得るようなAIシステムの例は、自動化された医療(たとえば、薬の開発)、自動化された公益事業またはスマートシティ(たとえば、スマートシティの自動化された制御)、自動化された公共サービス(たとえば、再雇用支援)、およびセキュリティ(たとえば、ある事例がなぜ詐欺であるかを説明するために説明が編成されるような、保険詐欺の検出)において見出され得る。

【0058】

本出願のこれらの様々な技術分野におけるいくつかの改善を可能にしながら、本発明の実施形態は、全般に説明可能なAIシステムの改善も実現する。特に、本発明の実施形態は、自己説明型の、ならびに包括的なより人が理解可能な説明を実現することによって、かつ、改善された説明と決定の反復的な学習によって、これらの説明可能AIシステムの機能を改善する。これらの高度な特徴は、エンドユーザの需要とグラフAI方法とのギャップを埋め、AIシステムに対するユーザの信用を高める。

【0059】

本発明の実施形態に従って生成される人が理解可能な説明は、インスタンス、属性、およびグラフ構造に基づき、説明に対するフィードバックから反復的に学習することによって理解可能性を高める。これは、透明性のある意思決定を実現し、人が決定を行うために学習する際の過程を模擬する。より人が理解可能な説明を実現し、フィードバックを使用してこれらの説明と決定を反復的に修正することを実現することによって、本発明の実施形態は、より正確で理解可能な説明を実現するだけではなく、AIシステムへのユーザの信用を大きく改善する。

【0060】

本開示の主題は、図面および前述の説明において詳しく例示され説明されたが、そのような例示および説明は、限定的ではなく例示的または模範的であると見なされるべきである。本発明は特許請求の範囲によって定義されるので、本発明を特徴付ける本明細書で行われるどのような陳述も、限定的ではなく例示的または模範的であると見なされるべきである。上で説明された様々な実施形態からの特徴の任意の組合せを含み得る、添付の特許請求の範囲内で、当業者により変更および修正が行われてもよいことが理解されるだろう。

【0061】

特許請求の範囲において使用される用語は、前述の説明と矛盾しない最も広い妥当な解釈を有するものと見なされるべきである。たとえば、要素を導入する際の冠詞「a」または「the」の使用は、複数の要素を排除するものと解釈されるべきではない。同様に、「または」の記述は、AとBのうちの1つだけが意図されることが文脈または前の説明から明らかでない限り、「AまたはB」の記述が「AおよびB」を排除しないように、包含的であるものと解釈されるべきである。さらに、「A、B、およびCの少なくとも1つ」の記述は、A、B、およびCからなる要素のグループの1つまたは複数として解釈されるべきであり、A、B、およびCがカテゴリとしてまたは別様に関連しているかどうかにかかわらず、列挙された要素A、B,およびCの各々の少なくとも1つを必要とするものとして解釈されるべきではない。その上、「A、Bおよび/またはC」または「A、B、またはCの少なくとも1つ」の記述は、列挙された要素からの任意の単一のエンティティ、たとえばA、列挙された要素からのあらゆるサブセット、たとえばAおよびB、または要素A、B,およびCの全体のリストを含むものとして解釈されるべきである。

【符号の説明】

【0062】

102 ノード特徴量およびグラフ構造
104 自己説明型決定学習器
106 改良された決定
108 学習されたモデル
110 デバイスからのフィードバック
112 反復的更新器
204 説明学習器
206 決定推定器

【図1】

【図2】

【図3】

【図4】

【外国語明細書】