特許 7604824 特徴の値を融和させる方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】特徴の値を融和させる方法およびシステム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241217BHJP

【ＦＩ】

G06N20/00

【請求項の数】 15

(21)【出願番号】P 2020163895

(22)【出願日】2020-09-29

(65)【公開番号】P2021057047

(43)【公開日】2021-04-08

【審査請求日】2023-06-08

(31)【優先権主張番号】19200635.1

(32)【優先日】2019-09-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】サン ミゲル ゴンザレス・ベアトリス

(72)【発明者】

【氏名】ナスィール バット・アイシャ

(72)【発明者】

【氏名】稲越 宏弥

【審査官】北川 純次

(56)【参考文献】

【文献】国際公開第２０１９／１１４９９１（ＷＯ，Ａ１）

【文献】特開２００５－０４４３３０（ＪＰ，Ａ）

【文献】特開２００３－１９８５４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００ － ２０／２０

Ｇ０６Ｎ ３／０２ － ３／１０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

特徴の値を融和させるコンピュータ実装される方法であって、各値は、異なる人工知能（AI）システムによって提供され、当該方法は：
前記異なるAIシステムからログを収集する段階であって、各ログは、前記特徴の値を含む、段階と、
前記値どうしの間の食い違いがあればそれを識別する段階と、食い違いがある場合、
前記値からグローバル情報を生成する段階であって、前記グローバル情報は、前記値のうちの一部または全部を考慮に入れ、前記グローバル情報を生成するために使用される各値が、前記値を提供したAIシステムについての信頼スコアによって修正され、前記信頼スコアは、足し合わされる複数の異なる部分信頼スコアから形成され、前記部分信頼スコアは、ヒューリスティック方法を使った部分信頼スコア、多数決投票法を使った部分信頼スコア、および最近接近傍方法を使った部分信頼スコアのうちの二つ以上を含む、段階と、前記グローバル情報が、前記AIシステムのうちの一つのAIシステムの値と異なるときは、
前記グローバル情報をそのAIシステムに送信する段階とを含む、
方法。

【請求項2】

前記グローバル情報は、そのAIシステムによって提供される値を、前記グローバル情報からの値で置き換える、請求項１に記載の方法。

【請求項3】

前記ヒューリスティック方法は、履歴データを考慮に入れて、AIシステムの、ある特徴についての部分信頼スコアを計算するものであり、
前記多数決投票法は、AIシステムの大半がある特徴について特定の値を検出するかどうかを考慮に入れて、AIシステムの、ある特徴についての部分信頼スコアを計算するものであり、
最近接近傍方法は、スケールを有する特徴または加算無限個のノルムの集まりを有する特徴についての部分信頼スコアを計算するものである、
請求項１に記載の方法。

【請求項4】

前記部分信頼スコアは、個別に重み付けされる、請求項１に記載の方法。

【請求項5】

前記信頼スコアは、AI倫理ガイドラインに基づく、請求項３または４に記載の方法。

【請求項6】

前記グローバル情報によって置き換えられる前記値を提供する前記AIシステムの部分を非アクティブ化することをさらに含む、請求項１ないし５のうちいずれか一項に記載の方法。

【請求項7】

前記値どうしの間の食い違いを識別する前に、前記ログにおける値の変化があるかどうかを検査する第1ステップをさらに含む、請求項１ないし６のうちいずれか一項に記載の方法。

【請求項8】

前記ログおよび前記グローバル情報に基づいてレポートを生成し、前記レポートを監査者に提供することをさらに含む、請求項１ないし３のうちいずれか一項に記載の方法。

【請求項9】

特徴Fについてのグローバル情報が、

【数9】

のように計算され、
mは、特徴Fに関する情報をもつAIシステムの数であり、
cs_k,Fは、特徴Fについての、ID kをもつAIシステムの、記憶されている信頼スコアであり、
valuek_Fは、特徴FについてのAIシステムkの値である、
請求項１ないし８のうちいずれか一項に記載の方法。

【請求項10】

前記AIシステムは、オブジェクトの位置を決定するか、オブジェクトを識別するものであり、前記特徴は、オブジェクトの決定された位置、またはオブジェクトの識別情報である、請求項１ないし９のうちいずれか一項に記載の方法。

【請求項11】

前記グローバル情報を受領するAIシステムは、エンティティの移動および／または位置を制御するものであり、前記グローバル情報の受領は、前記エンティティの移動および／または位置の変化をもたらす、請求項１０に記載の方法。

【請求項12】

前記特徴は、オブジェクトの位置であり、値の間で融和させることは、任意の3つのAIシステムの位置の間で形成されることができ、その三角形内に前記オブジェクトを含むすべての三角形を使用し、各三角形についての部分グローバル情報がその三角形内の3つのAIシステムから計算され、その後、全体的なグローバル情報が、各三角形についての前記部分グローバル情報を組み合わせることによって計算される、請求項１ないし１１のうちいずれか一項に記載の方法。

【請求項13】

特徴の値を融和させるシステムであって、各値は、異なる人工知能（AI）システムによって提供され、当該システムは、メモリおよびプロセッサを有し、前記プロセッサは、
異なるAIシステムからログを収集する情報収集器であって、各ログは、前記特徴の値を含む、情報収集器と；
前記値どうしの間の食い違いがあればそれを識別し、食い違いがある場合、前記値からグローバル情報を生成する矛盾監査器であって、前記グローバル情報は、前記値を考慮に入れ、前記グローバル情報を生成するために使用される各値が、前記値を提供したAIシステムについての信頼スコアによって修正され、前記信頼スコアは、足し合わされる複数の異なる部分信頼スコアから形成され、前記部分信頼スコアは、ヒューリスティック方法を使った部分信頼スコア、多数決投票法を使った部分信頼スコア、および最近接近傍方法を使った部分信頼スコアのうちの二つ以上を含む、矛盾監査器と；
前記グローバル情報が、あるAIシステムの値と異なるときは、前記グローバル情報をそのAIシステムに送信し、そのAIシステムによって提供される値を置き換えるグローバル情報アクティブ化器と
を提供するよう構成される、
システム。

【請求項14】

請求項１３に記載のシステムと、該システムにリンクされた複数の自律AIシステムとを含む、信頼できるAIネットワーク。

【請求項15】

命令を含むコンピュータ・プログラムであって、前記命令は、当該プログラムがコンピュータによって実行されるときに、前記コンピュータに請求項１ないし１２のうちいずれかに記載の方法を実行させる、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能（AI）または自律システムの使用に関する。本発明は、日常生活や産業において多くの用途をもつ。

【背景技術】

【0002】

異なるAIシステムが関与し、自律的な意思決定を行なう状況は、社会においてますます頻繁になっている。これらは、新たな課題、問題を提起し、よって、人々および社会全般の福祉を保護し促進するための新たな解決策の必要性を提起する。

【0003】

AIシステムの利用および採用の増加は、AIの倫理的配慮について社会が考えるきっかけとなった。現在までに、複数の政府、産業、学術機関が、AIにおける倫理について独自の原則、ガイドライン、枠組みを作成している。

【0004】

さらに、AIシステムにおける倫理に取り組むためのいくつかの技術的側面が調査され、公表されている。たとえば、AIシステムの開発、配備、使用の前および後に、AIシステムおよびその結果についての責任およびアカウンタビリティを確保する機構である。これは、監査可能性、負の影響の最小化および報告、トレードオフ、および是正を含む。これらは、EUの「信頼できるAIのための倫理ガイドライン」に明確に関連しており、該ガイドラインは4つの主要原則（人間の自律性の尊重、危害の防止、公平性、説明可能性）を含む。

【0005】

公平性の原則と密接に結びついているのは、アカウンタビリティの要件であり、これは、開発者が以下のことを行なえるようにするアクションの集合と見なすことができる：予期せぬ事態に備えること（予期せぬ状況を防止または制御するための行動がとられる）、エラーシナリオに備えること（エラーシナリオを防止または制御する行動）、エラーに対処すること（ソフトウェアにおけるエラーを処理する）、データセキュリティを確保すること（システムのサイバーセキュリティおよびデータの安全な取り扱いを確保する）。

【発明の概要】

【発明が解決しようとする課題】

【0006】

複数のAIシステムの使用の増加から生じる可能性のある潜在的な害を緩和することが望ましい。また、AIシステムからくる情報の矛盾を識別することは、「害」をなすものを防止することだけに限定されず、異種のAIシステムから送られるデータ（情報）のセットにおける食い違い、混乱、誤りをも含む。誤り、混乱、食い違いは、情報または設計または製造における誤りから非常に広範囲に及ぶ可能性があるが、これらの例に限定されるべきではない。

【課題を解決するための手段】

【0007】

本発明のある側面のある実施形態によれば、特徴の値を融和させるコンピュータ実装される方法が提供される。各値は、異なる人工知能（AI）システムによって提供され、本方法は、異なるAIシステムからログを収集する段階であって、各ログは、前記特徴の値を含む、段階と、前記値どうしの間の食い違いがあればそれを識別する段階と、食い違いがある場合、前記値からグローバル情報を生成する段階であって、前記グローバル情報は、前記値の一部または全部を考慮に入れる、段階と、前記グローバル情報が、前記AIシステムのうちの一つのAIシステムの値と異なるときは、前記グローバル情報をそのAIシステムに送信する段階とを含む。

【0008】

原則および倫理要件を実践することは、困難な課題である。発明の実施形態は、AIシステムのアカウンタビリティを許容するための最初の一歩を提供する。特に、実施形態は、同じコンテキスト（物理的セッティング）において提示される他のAIシステムの集合的知識を使用して検出される、AIシステム（単数または複数）におけるエラー／障害によって引き起こされる害を防止することに焦点を当てる。このためには、システムのトレーサビリティおよび矛盾する情報の融和が不可欠である。

【0009】

従来技術では、アカウンタビリティに焦点を当て、AIシステムの負の影響を回避するためにエラーを検出することが知られている。また、欠陥検出システムを作り出し、センサーを較正するために、AIまたは深層学習技術が適用されている。

【0010】

負の影響を避けるために、他の先行技術は、害を減少させるために、AI挙動体が制御不能になるのを防止する。この解決策は、AIシステムからの情報を分析して、AIが制御不能であることを検出し、ネガティブな出力および人への危害を回避することに基づいている。

【0011】

本発明の実施形態とは異なり、従来技術は、他の観点から知識を補強し、矛盾する情報の検出を改善するために、他のAIシステムの情報にアクセスすることはできない。

【0012】

実施形態は、コンテキスト（状況または環境）の分析および融和に取り組む。ここで、コンテキストにおける一つの（または一組の）の特性または特徴の異なる知覚〔認識〕／情報を有する複数のAIシステムが存在し、これらの認識が負の影響を引き起こしうる。

【0013】

本明細書中の値は、数値または分類、または他の任意の形の値を含んでいてもよい。実施形態が適用されうるコンテキストの一例は、道路（または一組の座標によって定義されるシナリオ）であり、ここで、2台以上の車両または他のオブジェクトのうちの一つがオブジェクト（車両のうちの一つ、または人、または無生物のオブジェクトなど）の誤った位置または分類を知覚するために、2台以上の車両または他のオブジェクトの間の事故が発生する可能性がある。もう一つの例は、スマートファクトリーまたは他の産業空間であり、そこでは、種々のロボットが製品を生成するために自律的な決定を行なうが、ロボットが材料を間違って分類するため、欠陥品が生成される可能性がある。

【0014】

従来技術における問題を解決するために、本発明の実施形態は、コンテキストにおいて提示されたAIシステムの追跡可能なコンテキスト情報に基づいて、矛盾するコンテキストを解決し、受け取った情報における食い違いを識別し、新たなグローバル情報（GI）を計算する解決システムを提供する。該グローバル情報は、食い違いを解決し、コンテキストにおけるネガティブ事象を回避するために使用されうる。

【0015】

特に、実施形態は、AIシステムによって知覚される矛盾するコンテキスト情報（すなわち、位置、距離、分類など）に関する食い違いの識別；AIシステムの間で食い違いがある特徴についての、グローバル情報（GI）の形での新しい値の計算；および、この食い違いをリアルタイムで解決する、よって技術的措置を通じてコンテキストにおける負の影響を回避するための、この新しいグローバル情報の使用、に取り組む。技術的措置の例は、AIコンポーネントを非アクティブ化することを含んでいてもよい。自律的な車両のコンテキストでは、他の技術的措置は、AIが制御している車両の動きを変更したり、オペレーター／管理者にアラートしたりしてもよい。たとえば、「ブレーキ」、「100メートルで停止」、「100メートル前方へ移動」などのアラートまたはアクションである。これらはすべて、前記情報／装置を無視する／度外視する効果をもつ。

【0016】

グローバル情報は、AIシステムの管理者に対して食い違いとともに提示され、そのシステムによって提供される値を調整するために使用され、あるいは他の任意の仕方で使用されることができる。いくつかの実施形態では、グローバル情報は、そのAIシステムによって提供される値を、より信頼される値であるグローバル情報からの値で置き換える。他の実施形態では、グローバル情報からの値が、そのシステムによって提供される「ローカルな」値を調整するために使用されてもよい。

【0017】

より高度な計算を与えるために、グローバル情報を作成するために使用される各値は、たとえば、その値を提供したAIシステムについての、信頼スコアによって修正されてもよい。よって、明確な単一の食い違いがない場合、すなわち、多くのAIシステムがあり、異なるタイプの矛盾する情報が受け取られる場合は、本方法は、より明確な食い違いを提供するために、前記信頼スコアを利用する結果となる。つまり、システム1とシステム2が異なる値を認識するが、1のほうが信頼度が高い場合、2は1により近い情報を使用すべきである。

【0018】

信頼スコアは、複数の異なる部分信頼スコアを足し合わせることで形成されてもよい。好ましくは、部分信頼スコアは、個別に重み付けされる。

【0019】

信頼スコアはAI倫理ガイドラインに基づいていてもよい。たとえば、あるAIシステムがそのようなガイドラインに従わないことが知られている場合には、そのAIシステムは、より低いスコアを受けてもよい。AIシステムの過去の食い違いなど、他の要因が考慮されてもよい。追加的または代替的に、ある種の値により大きな重みが与えられてもよい。たとえば、潜在的に危険な状況を示す値（たとえば、高速または異常な値）または脆弱オブジェクトの分類（車両ではなく人物）は、1よりも大きい係数で重み付けされてもよく、または他の値よりも大きい重みを与えられてもよい。

【0020】

本方法は、グローバル情報によって置き換えられる値を提供する、AIシステムの部分を、非アクティブ化することをさらに含んでいてもよい。

【0021】

ログは、データ値のストリームを提供してもよく、これは、一般に、または、時には、同じ特徴についての時間区切り値（time-separated values）であってもよい。本方法は、さらに、値どうしの間の食い違いを識別する前に、ログ内の値の変化があるかどうかを検査する第1のステップを含んでいてもよい。

【0022】

本方法は、さらに、ログおよびグローバル情報に基づいてレポートを生成し、該レポートを監査者に提供することを含んでいてもよい。

【0023】

ある実施形態では、特徴Fのグローバル情報は、

【数1】

として計算される。ここで、mは、特徴Fに関する情報をもつAIシステムの数であり、
cs_k,Fは、特徴Fについての、ID kをもつAIシステムの、記憶されている信頼スコアであり、
valuek_Fは、特徴FについてのAIシステムkの値である。

【0024】

前述したように、本方法は、財務関係であれ、他の非物理的データに関連するものであれ、物理的であれ、同じ特徴についてそれぞれ値を提供する任意のAIシステムとともに使用できる。ある実施形態では、それらのAIシステムは、オブジェクトの位置を決定するか、またはオブジェクトを識別し、特徴は、オブジェクトの決定された位置、またはオブジェクトの識別情報である。

【0025】

グローバル情報を受け取るAIシステムは、エンティティの移動および／または位置を制御してもよく、グローバル情報を受け取ることは、エンティティの移動および／または位置の変化につながりうる。たとえば、AIシステムは、車両の一部であってもよく、グローバル情報は、車線変更または車両のブレーキのようなアクションに変換されてもよい。

【0026】

このコンテキストにおいて、また上述したように、特徴は、オブジェクトの位置であってもよい。最も簡単な融和は、任意の数値属性の加算、およびAIシステムの数による除算である。たとえば、X、Y（およびZ）座標が別々に加算されてもよい。代替的な実施形態では、値の間の調整は、任意の3つのAIシステムの位置の間で形成されることができる三角形であって、三角形内に前記オブジェクトを含むすべての三角形を使ってもよく、各三角形についての部分グローバル情報がその三角形内の3つのAIシステムから計算され、次いで、全体的なグローバル情報が各三角形についての部分グローバル情報を組み合わせることによって計算される。

【0027】

本発明のさらなる側面のある実施形態によれば、特徴の値を融和させるシステムが提供される。各値は、異なる人工知能（AI）システムによって提供され、本システムは、メモリおよびプロセッサを有し、前記プロセッサは、異なるAIシステムからログを収集する情報収集器であって、各ログは、前記特徴の値を含む、情報収集器と；前記値どうしの間の食い違いがあればそれを識別し、食い違いがある場合、前記値からグローバル情報を生成する矛盾監査器であって、前記グローバル情報は、前記値を考慮に入れる、矛盾監査器と；前記グローバル情報が、あるAIシステムの値と異なるときは、前記グローバル情報をそのAIシステムに送信し、そのAIシステムによって提供される値を置き換えるグローバル情報アクティブ化器とを提供するよう構成される。

【0028】

（信頼される）AIネットワークは、上で定義した解決システムにリンクされた自律AIシステムのグループを含んでいてもよい。

【0029】

本発明のさらなる側面のある実施形態によれば、プログラムがコンピュータによって実行されると、コンピュータに上記の方法を実行させる命令を含むコンピュータ・プログラムが提供される。

【0030】

本発明の好ましい実施形態による装置またはコンピュータ・プログラムは、方法側面の任意の組み合わせを含んでいてもよい。さらなる実施形態による方法またはコンピュータ・プログラムは、処理およびメモリ機能を必要とするという点で、コンピュータ実装されるとして記載されることがある。

【0031】

好ましい実施形態による装置は、ある種の機能を実行するように構成または配置されている、または単に「実行する」ものとして記述される。この構成または配置は、ハードウェア、ミドルウェア、または任意の他の好適なシステムを使用することによって行なうことができる。好ましい実施形態では、上記の構成または配置はソフトウェアによる。

【0032】

このように、ある側面によれば、少なくとも1つのコンピュータにロードされると、そのコンピュータを、上記の装置定義のいずれかまたはそれらの任意の組み合わせに従った装置になるように構成する命令を含むプログラムが提供される。

【0033】

さらなる側面によれば、少なくとも1つのコンピュータにロードされると、該少なくとも1つのコンピュータを、上記の方法定義のいずれかまたはそれらの任意の組み合わせに従って方法ステップを実行するように構成する命令を含むプログラムが提供される。

【0034】

一般に、コンピュータは、定義された機能を提供するように構成または配置されたものとして列挙された要素を含んでいてもよい。たとえば、このコンピュータは、メモリ、処理、およびネットワーク・インターフェースを含んでいてもよい。

【0035】

本発明は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。

【0036】

本発明は、コンピュータ・プログラムまたはコンピュータ・プログラム製品、すなわち、一つまたは複数のハードウェア・モジュールによる実行のためまたはその動作を制御するために、非一時的な情報キャリア、たとえば機械読み取り可能な記憶装置において、または伝搬信号において有体に具現されたコンピュータ・プログラムとして実施するされてもよい。

【0037】

コンピュータ・プログラムは、スタンドアローン・プログラム、コンピュータ・プログラム部分または複数のコンピュータ・プログラムの形であってもよく、コンパイルまたはインタープリットされる言語を含む任意の形のプログラミング言語で書かれてもよく、スタンドアローン・プログラムとして、またはデータ処理環境での使用に好適なモジュール、コンポーネント、サブルーチン、または他のユニットとして、任意の形で配備されてもよい。コンピュータ・プログラムは、1つのモジュール上または1つのサイトにおける複数のモジュール上で実行されるか、または複数のサイトにわたって分散され、通信ネットワークによって相互接続されるように配備されうる。

【0038】

本発明の方法ステップは、入力データに対して作用し、出力を生成することによって本発明の機能を実行するために、コンピュータ・プログラムを実行する一つまたは複数のプログラマブルプロセッサによって実行されてもよい。本発明の装置は、たとえば、FPGA（フィールドプログラマブルゲートアレイ）またはASIC（特定用途向け集積回路）を含む、プログラムされたハードウェアとして、または特殊目的の論理回路として実装されてもよい。

【0039】

コンピュータ・プログラムの実行に好適なプロセッサは、たとえば、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタル・コンピュータの任意の一つまたは複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受け取る。コンピュータの本質的な要素は、命令およびデータを記憶するための一つまたは複数のメモリデバイスに結合された、命令を実行するためのプロセッサである。

【0040】

本発明は、特定の実施形態に関して記述される。他の実施形態は、後続の特許請求の範囲の範囲内である。たとえば、本発明のステップは、異なる順序で実施されて、それでも望ましい結果を達成することがありうる。複数のテスト・スクリプト・バージョンが、オブジェクト指向プログラミング技術を使用することなく、ユニットとして編集および呼び出しされてもよく、たとえば、スクリプト・オブジェクトの要素は、構造化されたデータベースまたはファイル・システム内で組織化されてもよく、スクリプト・オブジェクトによって実行されるものとして記載された動作は、テスト制御プログラムによって実行されてもよい。

【0041】

本発明の要素は、「情報収集器」、「矛盾監査器」などという用語を用いて記述されてきた。当業者は、そのような機能的な用語およびその等価物は、空間的には別個だが組み合わさって、定義された機能を果たす当該システムの諸部分を指すことがあることを理解するであろう。同様に、システムの同一の物理的な部分が、定義された機能の2つ以上を提供してもよい。

【0042】

たとえば、別々に定義された手段が、適宜、同じメモリおよび／またはプロセッサを使用して実装されてもよい。

【0043】

ここで、本発明の好ましい特徴は、添付図面を参照して、純粋に一例として、記述される。

【図面の簡単な説明】

【0044】

【図1】ある一般的な実施形態における方法のフローチャートである。

【図2】本発明の一般的な実施形態における主要システム構成要素のブロック図である。

【図3】特定の発明実施形態のブロック図である。

【図4】解決システムの概観シーケンス図である。

【図5】矛盾監査器のワークフローを示すフローチャートである。

【図6】収集された情報の表である。

【図7】例示的な出力を示す表である。

【図8】グローバル情報（GI）アクティブ化器のワークフローを示すフローチャートである。

【図9】信頼度計算器のワークフローを示すフローチャートである。

【図10】ある使用事例シナリオの俯瞰図である。

【図11】ある使用事例シナリオのグラフである。

【図12】各オブジェクトによって送信される情報のJSON例である。

【図13】矛盾監査器が受け取る情報の表である。

【図14】前記使用事例シナリオの重心座標を示すグラフである。

【図15】発明実施形態の実装のための好適なハードウェアの図である。

【発明を実施するための形態】

【0045】

AIシステムは、種々の状況において自律的な意思決定を行なうことができ、これらの決定は、負の影響（すなわち、事故、差別など、人や社会における負の影響）を喚起する可能性がある。AIシステムは、解釈、説明が困難で、その挙動を修正することが困難なブラックボックスまたは不透明なソフトウェア・ツールと考えられている。

【0046】

AIシステムの挙動を単独で分析し、修正することは、AIの安全で、有益で、公平な利用を提供するために解決を必要とする大きな技術的課題である。

【0047】

本発明者らは、異なるシステムから得られる集合的な知識が、なぜ特定の措置が取られたかを決定し、可能性のあるエラーまたは予期せぬ結果を特定し、特定の状況またはコンテキストにおけるAIの負の影響を回避するのに役立つことを認識するに至った。

【0048】

よって、本発明の実施形態によって提供される一つの改良点は、負の影響が起こりうる所与のコンテキストにある一組のAIシステムを分析する方法である。この分析は、システム／データ間の食い違いを識別するために異なるシステムからのデータを使用することに基づいており、どのシステムがエラーを有しているか、またはこれらの食い違いの原因となっているかを検出することができ、負の影響を回避するために責任を持ってこの不一致を是正することさえできる。さらに、AIシステムのペナルティ付与および是正の可能性は、同様の情報をもつ将来のコンテキストでのリスクの最小化を許容する。この意味で、是正は、欠陥のあるコンポーネントの非アクティブ化、およびシステムによって送信されたGIの使用であってもよい。ペナルティ付与は、欠陥のあるAIコンポーネントに対する信頼度に、より関連している。AIコンポーネントを非アクティブ化すると、信頼スコアが低下することがある。

【0049】

実施例では、アカウンタビリティは、2つ以上のAIシステムが存在する特定のコンテキスト（状況または認識）を分析して、このコンテキストにおける潜在的な事象（一般には、負の影響を伴う）またはインシデントの発生が誰または何の責任なのかを理解または探求し、好ましくは、害を防止し、負の影響を低減し、事象を繰り返すリスクを最小化する機構を適用することに焦点を当てる。よって、たとえば、AIシステムによって決定された誤った位置または他の特徴は、修正されうる。

【0050】

言い換えると、実施形態は、負の影響が起こりうる所与のコンテキストにある異なるAIシステムの挙動を分析し、修正する方法を開示する。それらは、異なるシステムからのデータを追跡してそれらのシステムの間の不一致を特定し、これらの不一致の源（責任）を検出し、自己統制または監査可能性のためにそのような不一致を解決するために状況を是正することに基づいている。

【0051】

是正機構は、責任あるAIコンポーネント／システムの矯正を可能にする技術的措置であり、よって、当該コンテキストにおいて負の影響のリスクを解消または最小化しうる。

【0052】

一つの主な恩恵は、AIシステムの出力を考慮することによって、コンテキストにおいて負の影響を生み出す可能性のある、誤った入力または整合しない入力を遡って追跡することができることである。このように、異なるAIシステムからの集合的な知識を追跡することにより、あるAIシステムがなぜ特定の行動をとったのかを明らかにし、可能性のあるエラーを特定し、それらを是正し、AIシステムの監査可能性のために将来の予期せぬ出力を排除または最小化することができる。

【0053】

実施形態は、2つ以上のAIシステムが存在し、システムの1つがコンテキストのある特徴を誤って解釈する可能性があるために負の影響が発生しうるコンテキストまたは状況（たとえば、物理的状況またはセッティング）から生じる矛盾する情報の分析および融和に焦点を当てる。

【0054】

図1は、異なるAIシステムからの値の折り合いがつけられる一般的な実施形態を示す。ステップS10では、それらのAIシステムからログが収集される。ここで、各AIシステムはログを繰り返し送信してもよい。各ログは、同じ特徴集合（物理的な座標または他のデータポイントなど）についての値の集合である。解決システムは、これらのログを時間的に、また特徴によって整列させてもよい。

【0055】

S20では、解決システムは、これらの異なるログから、同じ特徴の（そして同じ時点での）値の間の食い違いがあればそれを識別する。効率性のため、解決システムは、まず、値に変化があったかどうかを検査し、もしそうでなければ、方法は中断されてもよい。

【0056】

S30では、システムは値（食い違いがある場合）からグローバル情報（GI）を生成する。たとえば、4つのシステムがある値を与え、第5のシステムが同じ頻度について異なる値を与える場合、GIが生成される。GIは、それらの値の一種の平均または加重平均であってもよいし、あるいはそれらの値の一部または全部から他の仕方で計算されてもよい。たとえば、各AIシステムには信頼スコアが与えられてもよく、信頼スコアは重み（たとえば、0と1の間）を与える。

【0057】

S40では、GIは食い違いのあるAIシステムがあればそれに送られる。実は、GIはすべてのAIシステムに送られてもよく、各AIシステムは、その認識と受領されたGIとの間の差を識別するための検出器を含んでいてもよい。これらの検出器は、何らかの差異がある場合には、単に（そのAIシステムの認識よりも）GIを優先してもよい。よって、そのAIシステムではGIが採用される。

【0058】

図3は、AIシステムとともに使用する解決システムの概観と、外部要素とのその対話を示している。左側には、コンテキストにおける異なるAIシステムと監査者が示されている。右側にはシステム自体がある。

【0059】

より詳細には、図の要素は以下の通りである。

【0060】

●AIシステムから生じる矛盾するコンテキストを解決するシステム：これは、諸AIシステムがリアルタイムで情報を送信する独立したコンピュータシステムであってもよく、または諸AIシステムとすでに通信している既存のサーバーの一部をなしてもよい。
本質では、解決システムは、2つ以上のAIシステムの集合から情報（ログ）を受け取り、受け取った情報の間の食い違いを検出し、グローバル情報（GI）を計算する。グローバル情報は、当該コンテキスト（それらのAIシステムが動作する物理的セッティングなど）における負の影響を回避するために、それらのAIシステムの特定のコンポーネントをアクティブ化または非アクティブ化するために使用されてもよい。さらに、システムは、交換された情報の要約およびコンテキストにおけるネガティブな事象を回避するためにAIシステムに送られた技術的命令を含む動的レポートを生成することができる。このレポートが分析されて、監査者または外部エンティティがAIシステムにおいて行動を起こすことを許容することができる（たとえば、AIコンポーネントを設計し直す、技術的装置（すなわちセンサー）を交換するなど）。

【0061】

●AIシステム AIシステムは、定義されたコンテキストにおいて自律的な意思決定を行なう自律的なシステムである。一つのAIシステムは、スマートオブジェクト、つまり、周囲の仮想的認識を可能にする種々のタイプのセンサーを備え、プロセッサと、他のスマートオブジェクトや外部サーバーとの対話を向上させる接続性とを組み込まれたオブジェクトである。
これらのAIシステムは、AIシステムから生じる当該コンテキストの矛盾した認識を解決するために、解決システムに異なるログ（特徴の集合についての情報）を送信し、それに対して、当該コンテキストにおける負の影響を避けるための技術的アクションに翻訳されうる命令を受け取る。
考えられるAIシステムの例は、ロボット、自走ビークル（陸上であれ、水上であれ、空中であれ）、ドローン、産業用ボット、バーチャル・アシスタンス、ホーム・オートメーション・コンポーネントなどである（またはその一部をなす）。

【0062】

●監査者 任意的な外部エンティティが、解決システムによって生成されたレポートまたは情報を（手動でまたは自動的に）分析してもよい。諸AIシステムから生じるコンテキストの矛盾する認識を解決し、次バージョンまたは将来のAIシステムの特定の挙動を矯正または防止するためである。

【0063】

発明実施形態の詳細な説明
解決システム10内の3つの主要な構成要素が、以下に、より詳細に記述され、下記を含む。

【0064】

●矛盾監査器40：この構成要素は、AIシステム20からログを収集する情報収集器によって情報を供給され、履歴データも受領する。これは、食い違いを識別し、認識を推定し、諸AIシステムによって認識された情報を用いてグローバル情報（GI）を計算するための3つのモジュールを有する。

【0065】

●信頼スコア生成器60：この構成要素は、履歴データとともに、ヒューリスティックス、多数決、および最近接モジュールを使用して、マルチメソッド手法を使用して各AIシステムの信頼スコアを計算し、公表されたAI倫理ガイドラインに基づく倫理的に調和した信頼性計算など、記憶されている標準またはガイドラインに基づく信頼性計算を実行してもよい。これらは、他の標準、たとえば、標準／ガイドラインが適用される健康および安全／枢要システムに基づく信頼性計算であってもよい。
たとえば、適切なガイドラインに従い、そのようなガイドラインをシステムの本来の機能／機構に組み込むことによって、システム全体が倫理的に準拠してもよい（信頼スコア計算だけでなく）。たとえば、トレーサビリティ（すなわち、データがどこで発したかを追跡し、証跡をログ記録すること）は、キーとなる要件の一つでありうる。これはまた、欠陥のあるデータ（源）および是正能力に関してシステムのアカウンタビリティにつながる。このシステムは、遵守すべき原則の定義を含む倫理的ガイドラインの知識データベースを含んでいてもよい。

【0066】

●GIアクティブ化器50：この構成要素は、個別的なAIシステムに技術的措置または命令を送信し、コンテキストにおける矛盾を解決しようとする。

【0067】

さらに、解決システムは、システム全体のサポートのための他の要素を含む。その詳細な記述は、本稿の範囲外である：
●情報収集器30：異なるAIシステムから入力（ログ）を受け取り、受け取った情報を正規化し、標準化するために、フォーマットや丸めなどの種々のプロセスを実行することができる。
●レポートジェネレータ70：外部システムまたはユーザーが、解決システムによって受け取られ、生成され、および送信された情報をチェックできるようにする。
●履歴データ80：このローカルまたはリモートの記憶コンポーネントは、システムの種々のコンポーネントによって受け取られ、生成され、送信されるすべての情報を記憶し、追跡する。

【0068】

ある実施形態による解決システムの主なシーケンス図が図4に示される。

【0069】

シーケンス図は、コンテキストにおいて一組のAIシステムがログを送信するステップS100で開始する。ステップS110では、情報収集器は、ログを処理し、新しい情報を矛盾監査器に送る。ステップS120では、矛盾監査器は、特定の特徴に基づいて（たとえば、以前の非アクティブ化を考慮に入れて）各AIシステムの履歴信頼スコアを要求し、この情報を用いてグローバル情報（GI）を計算する。ステップS130では、GIは、履歴データとしての使用および記憶のために計算される。次いで、矛盾監査器はGIアクティブ化器（S140）および矛盾スコア生成器（S150）のプロセスをアクティブ化する。

【0070】

GIアクティブ化器は、ステップS160において、（GIとは異なる）間違った情報を有するAIシステムのAIコンポーネントを非アクティブ化するために、必要に応じてAIシステムに命令を送信する。

【0071】

信頼スコア生成器は、ヒューリスティック・データを要求し（S170）、システムの信頼スコアを更新し、潜在的には、標準／公開されたAI倫理ガイドラインのデータベースを使用し、マルチメソッド手法に基づいて、それらが倫理的に調和している（ethically aligned）ことを確かにする（S180）。次いで、この情報は、履歴データベースに記憶される。

【0072】

次に、各コンポーネントのプロセスおよび方法を詳述する。

【0073】

情報収集器30
このコンポーネントは、以下の機能のいずれかを実行するために必要とされることがある。
・異なるAIシステムから情報を受け取る、
・正規化および標準化する、
・生情報および処理された情報を記憶する、
・特定のイベントの処理された情報を矛盾監査器に再送する。イベントは、AIシステムによって所与の時間内に発生する（または認識される）ものとして定義されうる。これは、AIシステムがコンテキストにおいて観察する一組の知覚である。

【0074】

履歴データ80
このコンポーネントは、システムによって受信、送信、および処理されるすべての情報およびデータを格納するデータベースであってもよい。たとえば、履歴データは以下を含むことができる：
・AIシステムから送信されたログまたは生データ
・AIシステムから生じる矛盾するコンテキストを解決するためにシステムによって計算されたGI情報
・各特徴についての各AIシステムの倫理的に調和した（ethically-aligned）信頼スコア
・など。

【0075】

矛盾監査器40
矛盾監査器は、受け取った情報間の食い違いを検出し、食い違いのある各特徴についてグローバル情報（GI）を計算するようにプログラムされる。GIは、コンテキストにおける負の影響を避けるために使用される。

【0076】

矛盾監査器のワークフローが図5に示される。上部には、n個の特徴によって定義され、m個のシステムによって認識されるイベントを持つテーブルがある。

【0077】

このプロセスは、矛盾監査器が、情報収集器によって処理されている可能性のある諸AIシステムの情報を受け取るときに始まる。

【0078】

受領される情報は、サイズm×nの行列である。ここで、mはコンテキスト中のAIシステムの数であり、nは各AIシステムによって検出される特徴の数である。たとえば、行列は、図6に示される形を有してもよく、ここで、第1の列は、AIシステムのIDであり、値A_Bは、A番目のAIシステムのB番目の特徴である。

【0079】

次に、ワークフローのステップは、受領されたログを、履歴データ・コンポーネントによって記憶された以前のログと比較し、変更を識別する（S200）。変更がある場合（S210）、矛盾監査器は、受領された情報におけるレビューすべき各特徴（S220）について次の諸タスクを実行する。まず、矛盾監査器は、受領したすべてのログにおけるその特徴の値を比較する（S230）。異なる値が検出された場合（S240）、履歴データから信頼スコアを使用してグローバル情報が計算される（S250）。この情報は、信頼スコア生成器およびGIアクティブ化器に送られるべく、メモリに記憶され、保持される（S260）。ひとたびすべての特徴が検査されると（S220で、レビューすべき特徴なし）、プロセスは終了する。2つの出力が生成されることができる：受領された以前のログからの変更が検出されない、または認識に食い違いがないときの空のリスト、または食い違いのある特徴および当該コンポーネントによって計算された新しいグローバル情報のリストである。

【0080】

特徴1が諸AIシステムによって検出されたこの特徴の値の間に食い違いがあるときの出力例が図7に示される。

【0081】

グローバル情報（特徴1についてはGI_1）の計算は、次のように計算されてもい：

【数2】

ここで、mは特徴1に関する情報を持つAIシステムの数であり、
cs_k,1は、特徴1についての、ID kをもつAIシステムの、記憶されている信頼スコアであり、
valuek_1は、特徴1についてのAIシステムkの値である。

【0082】

したがって、この例では、より信頼性の高いAIステム（高い倫理的に調和した信頼スコア、および／またはより少数の非アクティブ化）のほうが、特定の特徴について、信頼性が低いAIシステムよりも大きな重みをもつことになる。すべてのAIシステムについてCS_R,1≠1であれば、分母はmである。そうでない場合は、CS_R,1≠1である各AIシステムについて、1からCS_R,1が減算され、その結果が足し合わされて、mから減算され、分母をなす。

【0083】

GIアクティブ化器
GIアクティブ化器は、矛盾監査器によって計算された各特徴のグローバル情報（GI）を受領し、異なるAIシステムに命令を送信し、それにより、コンテキストにおける負の影響を回避するためのワークフロー（図8に示される）を開始する。ひとたびGIアクティブ化器が矛盾監査器からデータを受け取ると、該コンポーネントは、ステップS300において、受け取ったリストに項目があるかどうかをチェックする。リスト内の項目は、特定の特徴について食い違いがあることを示す。新たなGIが計算された場合、これは食い違いが検出されたことを示す。

【0084】

もし食い違いがあれば、それぞれの特徴および関連するGIについて、GIアクティブ化器はS310においてGIを各AIシステムによって認識された情報（そのために、履歴データが検査される）と比較する。

【0085】

ステップS320においてGIと認識された情報との間に差が見出される場合、GIアクティブ化器は、グローバル情報とは異なる特徴を認識するそのAIコンポーネントを非アクティブ化するために、S330において特定のAIシステムに命令を送信する。

【0086】

たとえば：
三つのAIシステムA、B、Cがある。AとBは、オブジェクトを自動車として検出する。Cは同じオブジェクトを歩行者として検出する。矛盾監査器によって計算されたグローバル情報は、各AIシステムの信頼性を考慮して、オブジェクトが自動車であると決定する。GIアクティブ化器は、AIシステムCに、その分類コンポーネントを停止し、分類の特徴としての計算されたGI：自動車を考慮に入れるよう命令を送る。

【0087】

分類コンポーネント（またはAIシステムで不良値を生成する他の何らかのコンポーネント）を停止する命令は、任意の適切な形をとりうる。たとえば、解決システムは、AIシステムが解釈しなければならない技術的命令を原子的に（atomically）作り出すことができる。技術的命令は、「対象＋命令＋引数」というフォーマットをもつことができる。
・対象：適用すべきコンポーネント（システムのコンポーネント）。
・命令：問題のあるAIコンポーネントについての技術的結果（停止、更新、継続など）。
・引数：適用すべき値。これは、たとえば、適用すべきGI（またはGIに基づく補正）を意味する。

【0088】

GIは、各AIシステムにおけるアクション（たとえば、車線の変更、自動車のブレーキなど）に翻訳されうる技術的命令において適用されてもよい。これらのアクションは、コンテキストにおける負の影響（すなわち、事故）を回避することができる。

【0089】

問題のあるAIコンポーネントは、再較正または「自動学習」の形で、GIに基づいてその機能を更新する機構を含んでいてもよい。

【0090】

信頼スコア生成器
信頼スコア生成器は、マルチメソッド手法に基づいて、標準／公開されたAI倫理ガイドラインのデータベースを使用することによって、各特徴について各AIシステムについての倫理的に調和した信頼スコアを提供する。

【0091】

信頼スコア生成器のワークフローは、矛盾監査器がそのワークフローを終了し、グローバル情報および処理されたAIシステム情報（各AIシステムによって知覚される詳細をもつ、受信された処理されたログ）を送信するときに開始される。この情報を用いて、信頼スコア生成器は、種々の技法を用いて、一組の部分信頼スコアを計算する。

【0092】

ここでは、3つの部分信頼スコアを計算するために3つの並列プロセスが実行されてもよいが、他の技法が追加されてもよいし、1つまたは2つの技法のみが使用されてもよい。
●ヒューリスティック方法：各AIシステムの各特徴についての部分信頼スコアを計算するために、履歴データを考慮に入れる。この方法を実装するために、種々の技法を用いることができる。たとえば、AIシステムの信頼性を予測するために、履歴データを用いて、機械学習または深層学習モデルを作成することができ、各特徴の信頼性を計算するために一組のAIモデルを用いることができる。
●多数決投票法：ある特定の特徴について、他のAIシステムが検出し、認識するものを考慮に入れる。よって、もしAIシステムの大半がある特徴について特定の値を検出する場合には、その多数決投票に関連する部分スコアは増加させられる。それ以外の場合は、信頼スコアが減少させられる。
●最近傍：スケールまたは加算無限個のノルムの集まりを有する特徴において適用される。スケールは、関連性に関するスケールを有する、数値的特徴（すなわち、距離）およびカテゴリー特徴（たとえば、オブジェクトの分類において、歩行者は樹木または動物よりも重要）に適用することができる。

【0093】

3つの部分信頼スコアの計算後、信頼スコア生成器は、各特徴についての各AIシステムの最終信頼スコアを計算する。システムKについての式は、次のようになりうる：
cs_k＝a*cs_k,heuristic＋b*cs_k,majority＋c*cs_k,neighbour
ここで、
cs_kは、特定の特徴におけるAIシステムkの最終スコアであり、
cs_k,heuristicは、ヒューリスティック方法を使った部分信頼スコアであり、
cs_k,majorityは、多数決方法を使った部分信頼スコアであり、
cs_k,neighbourは、最近接近傍方法を使った部分信頼スコアであり、
a、b、cは、以前の部分スコアに対して、より大きいまたはより小さい重要性を与えるスコアである。

【0094】

まとめると、信頼スコアを計算するワークフローは図9に示される。

【0095】

ヒューリスティック方法S400、多数決方法S410および最近接近傍方法S420は、GIおよびシステム情報を用いて並列に実行される。ヒューリスティックス法は、履歴データも使用する。これらの方法についての結果はS430において組み合わされて、履歴データにおいて保存される最終信頼スコアを与える。

【0096】

作業例
この例は、輸送の使用事例に関する。

【0097】

具体的には、異なる自律的な車両（オブジェクト、オブジェクトの位置および分類等などを検出するための一組のAIコンポーネントを備えたAIシステム）が存在する道路を考える。

【0098】

位置を検出するためのいくつかの通常のAIシステムは、レーダー、GPS、LIDAR、および慣性測定ユニットに基づいている。例は、非特許文献１に見出せる。

【文献】https://en.wikipedia.org/wiki/Vehicle_tracking_system

【0099】

1台以上の車両がオブジェクト（たとえば歩行者）の誤った位置を認識したり、またはAIシステムが歩行者を誤って分類したりするため、事故が発生する可能性がある。例示的なシナリオが図10に示される。図では北が上に示されているとする。自動車（car）1は、北向きに側道から出て東西幹線道路にはいるところである。自動車2は、前記側道に向かって幹線道路を東に進んでいる。自動車3は前記側道に向かって幹線道路を西に進んでいる。自動車4は、幹線道路を西に進み、幹線道路から前記側道で南に曲がるところである。人物（person）1は、幹線道路上で前記側道および自動車4のちょうど東側にいる。

【0100】

本作業例について、図11に示されるシナリオ・グラフを考える。

【0101】

図11では、4台の自動車と人物は点として示されているオブジェクトである。矢印付きの実線はオブジェクトの方向を表わす。たとえば、先に説明したように、自動車1は北に、自動車2は東に移動する。

【0102】

破線は、人物1についての自動車の知覚（視覚）である。たとえば、自動車1と自動車2は、正しい位置に人物1を見る（破線が正しい位置で終わっている）が、自動車3と自動車4は人物1の誤った認識をもち、人物が点線の末端にいると信ずる。

【0103】

前述の情報を考慮に入れると、シナリオは以下の通りである:
・自動車1と自動車2は人物1を正しい位置に検出する、
・自動車3と自動車4は人物1を誤った位置に検出する。

【0104】

第一に、諸AIシステムから生じる矛盾する情報を解決するために、車両（またはAIシステム）は、それらが知覚した情報を情報収集器に送る。情報収集器コンポーネントは、受け取ったログを正規化および標準化して同じフォーマットにし、受け取ったログが同じコンテキストおよび時間のものであることを確認する。たとえば、自動車1は、図12に示される情報をJSONフォーマットで送信する（関連する情報のみが図12に示されている）。

【0105】

該情報は、位置(428,400)の自動車1が位置(600,200)において人物1を見るまたは検出することを示す。

【0106】

矛盾監査器は、すべての自動車からこの情報を受け取る。各機能について、食い違いがあるかどうかを検出する。自動車3は人物の位置(400,450)を検出し、自動車4は位置(600,400)を検出するため、コンポーネントは人物1についての位置における食い違いを検出する。

【0107】

X方向は、x軸に関連する自動車の（該自動車が動いている）方向である。たとえば、このテーブルでは、自動車1（car_1）はx軸において動いておらず、北に向かっている（これは図示しないy方向特徴に含まれる）。

【0108】

矛盾監査器が受け取った情報を図13に示す。

【0109】

人物1の位置のグローバル情報を計算するために、矛盾監査器は各車両（この例では自動車）の情報と、その以前の信頼スコアを考慮に入れる。

【0110】

この作業例は、車両が定義できる異なる三角形に関する人物の重心座標に触発された方法に基づいている。この方法の信頼性と精度は、すべての入力を単純に組み合わせる場合よりも高い。三角形を作成することは、各頂点によって知覚される位置をチェックする方法である。

【0111】

まず、矛盾監査器は、自動車によって定義されるどの三角形が、その中または近くに人物1を含むことをできるかを検出する（エリアの40%などのマージンを考慮）。この例では、図14に示されるように、4つの三角形が検出される：
・car_1car_3car_4→三角形1
・car_1car_3car_2→三角形2
・car_1car_4car_2→三角形3
・car_3car_4car_2→三角形4

【0112】

各三角形について、部分グローバル情報（GI）が計算される。特徴x、yおよび三角形tについての部分グローバル情報（GI）は、次の通りである：

【数3】

ここで、tは検出された特定の三角形であり、
kはAIシステムのIDであり（3つのAIシステムのみが三角形によって考慮される）、
xは特徴xであり、
yは特徴yであり、
csk,xは、特徴xについての、IDがkのAIシステムの信頼スコアであり、
csk,yは、特徴yについての、IDがkのAIシステムの信頼スコアである。

【0113】

すべての自動車が、特徴xについて0.4の信頼度をもつ自動車3を除いて、各特徴について1の信頼度をもつと考えると、各三角形についての部分グローバル情報は次のようになる：
・三角形1（car_1car_3car_4）

【数4】

・三角形2（car_1car_3car_2）

【数5】

・三角形3（car_1car_4car_2）

【数6】

・三角形4（car_3car_4car_2）

【数7】

【0114】

最後に、人物の位置についてのグローバル情報は、すべての三角形の中央値〔メジアン〕である。

【数8】

（中央値だけでなく）他の方法も可能である。たとえば、自動車3（より低い信頼スコアの自動車）が参加する三角形は考慮されなかったり、またはより低い関連性をもったりして、最終的なグローバル情報
GI_x＝600 GI_y＝450
を得ることができる。

【0115】

GIアクティブ化器は、計算されたGIを受け取り、自動車がAIシステムから受け取った情報と比較する。GIがAIシステムの受領されたログと異なるので、GIアクティブ化は、事故を回避するためにすべての自動車のAIコンポーネントを非アクティブ化してもよい。最後の計算が使用される場合、自動車3だけが、特徴xおよびyについてのAIコンポーネントを非アクティブ化する。

【0116】

図15は、本発明を具現し、AIシステム間の値の矛盾を解決する方法を実装するために使用されうる、データ記憶サーバーのようなコンピューティング装置のブロック図である。コンピューティング装置は、プロセッサ993およびメモリ994を有する。任意的に、コンピューティング装置はまた、他のコンピューティング装置、たとえば、発明実施形態の他のコンピューティング装置と通信するためのネットワーク・インターフェース997を含む。

【0117】

たとえば、ある実施形態は、そのようなコンピューティング装置のネットワークから構成されてもよい。任意的に、コンピューティング装置は、キーボードおよびマウス996のような一つまたは複数の入力機構、および一つまたは複数のモニタ995のような表示ユニットも含む。これらのコンポーネントは、バス992を介して互いに接続可能である。

【0118】

メモリ994は、コンピュータ読取可能媒体を含んでいてもよく、この用語は、コンピュータ実行可能命令を担持する、またはデータ構造を記憶しているように構成された単一の媒体または複数の媒体（たとえば、中央集中型または分散型のデータベースおよび／または関連するキャッシュおよびサーバー）を指してもよい。コンピュータ実行可能命令は、たとえば、汎用コンピュータ、特殊目的コンピュータ、または特殊目的処理装置（たとえば、一つまたは複数のプロセッサ）によってアクセス可能であり、それらに一つまたは複数の機能または動作を実行させる命令およびデータを含んでいてもよい。よって、「コンピュータ読取可能記憶媒体」という用語は、機械による実行のための命令のセットを記憶、エンコード、または担持することが可能であり、機械に本開示の方法のいずれか一つまたは複数を実行させる任意の媒体を含んでいてもよい。よって、「コンピュータ読取可能記憶媒体」という用語は、固体メモリ、光媒体および磁気媒体を含むが、これらに限定されないと解釈されうる。たとえば、限定するものではないが、そのようなコンピュータ読取可能媒体は、ランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、電気的に消去可能なプログラマブル読取り専用メモリ（EEPROM）、コンパクトディスク読取り専用メモリ（CD-ROM）、または他の光ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶装置、フラッシュ・メモリ装置を含む、非一時的なコンピュータ読取可能記憶媒体を含んでいてもよい。

【0119】

プロセッサ993は、コンピューティング装置を制御し、処理動作を実行するように構成され、たとえば、メモリに記憶されたコードを実行して、本明細書および特許請求の範囲に記載されている情報収集器、矛盾監査器、およびグローバル情報アクティブ化器のようなモジュールのさまざまな異なる機能を実装する。メモリ994は、プロセッサ993によって読まれ、書き込まれるデータを記憶する。本明細書で言及されるように、プロセッサは、マイクロプロセッサ、中央処理装置などの一つまたは複数の汎用処理装置を含んでいてもよい。プロセッサは、複雑な命令セット計算（CISC）マイクロプロセッサ、縮小命令セット計算（RISC）マイクロプロセッサ、超長命令語（VLIW）マイクロプロセッサ、または他の命令セットを実装するプロセッサもしくは命令セットの組み合わせを実装するプロセッサを含んでいてもよい。プロセッサはまた、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、デジタル信号プロセッサ（DSP）、ネットワークプロセッサなどの一つまたは複数の特殊目的の処理装置を含んでいてもよい。一つまたは複数の実施形態では、プロセッサは、本明細書で議論される動作およびステップを実行するための命令を実行するように構成される。

【0120】

表示ユニット997は、コンピューティング装置によって記憶されたデータ（たとえば、AIシステムからの値）の表現を表示することができ、また、ユーザーとコンピューティング装置に記憶されたプログラムおよびデータとの間の対話を可能にするカーソルおよびダイアログボックスおよびスクリーンをも表示することができる。入力機構996は、ユーザーが、データおよび命令をコンピューティング装置に入力することを可能にしうる。

【0121】

ネットワーク・インターフェース（ネットワークI/F）997は、インターネットのようなネットワークに接続されてもよく、該ネットワークを介して他のコンピューティング装置（たとえばAIシステム自身）に接続可能である。ネットワークI/F 997は、ネットワークを介して他の装置からの／へのデータ入力／出力を制御しうる。マイクロフォン、スピーカー、プリンター、電源ユニット、ファン、ケース、スキャナ、トラッカーボール等の他の周辺装置が、コンピューティング装置に含まれてもよい。

【0122】

情報収集器30は、メモリ994の一部に記憶された処理命令を含んでいてもよく、プロセッサ993は該処理命令を実行し、メモリ994の一部が該処理命令の実行中に値を記憶する。情報収集器の出力は、メモリ994および／または接続された記憶ユニットに記憶されてもよく、履歴データ・ストア／レポートジェネレータに送信／転送／通信されてもよい。

【0123】

矛盾監査器40は、メモリ994の一部に記憶された処理命令を含んでいてもよく、プロセッサ993は該処理命令を実行し、メモリ994の一部が該処理命令の実行中に、識別された食い違いに関連するデータを記憶する。矛盾監査器の出力は、メモリ994および／または接続された記憶ユニットに記憶されてもよく、履歴データ・ストア／レポートジェネレータに送信／転送／通信されてもよい。

【0124】

グローバル情報アクティブ化器50は、メモリ994の一部に記憶された処理命令を含んでいてもよく、プロセッサ993は該処理命令を実行し、メモリ994の一部が該処理命令の実行中に、計算結果およびGIを記憶する。グローバル情報アクティブ化器の出力は、メモリ994および／または接続された記憶ユニットに記憶されてもよく、履歴データ・ストア／レポートジェネレータに送信／転送／通信されてもよい。

【0125】

本発明を具体化する方法は、図15に示されるようなコンピューティング装置で実行されてもよい。そのようなコンピューティング装置は、図15に示すすべてのコンポーネントを有する必要はなく、これらのコンポーネントのサブセットで構成されてもよい。本発明を具現する方法は、ネットワークを介して一つまたは複数のデータ記憶サーバーと通信する単一のコンピューティング装置によって実行されてもよい。コンピューティング装置は、前記値およびGIおよび任意の中間結果を記憶するデータ記憶装置であってもよい。

【0126】

本発明を具現する方法は、互いに協働して動作する複数のコンピューティング装置によって実行されてもよい。複数のコンピューティング装置のうちの一つまたは複数は、AIシステム／解決システム・データの少なくとも一部を記憶するデータ記憶サーバーであってもよい。

【0127】

まとめ
実施形態は、既存のAIシステムにアカウンタビリティを統合するためのシステムおよび方法を提案する。前述の記述はどの分野からも独立しているので、これは2つ以上のAIシステムが参加するファイナンス、輸送、ロボット工学などの異なる事業分野に適用できる。

【0128】

AIシステムは、開発者にとってもブラックボックスと考えられる。エラーや誤った情報を理解し、探求することは、大きな技術的課題であり、負の影響を避ける必要がある。これを達成するための新しい機構を定義しなければならない。

【0129】

実施形態は、AIシステムの出力を考慮することによって、誤ったまたは矛盾した入力を遡及して追跡する機構；他のシステムの知識に基づいてAIシステムにおけるエラーを検出し、是正するためのシステムおよび方法；および、害を防止し、負の影響を低減し、有害事象を繰り返すリスクを最小化する機構を開示する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】