特表 2024-500182 説明可能なトランスデューサ・トランスフォーマ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-04

(54)【発明の名称】説明可能なトランスデューサ・トランスフォーマ

(51)【国際特許分類】

   G06N 3/0455 20230101AFI20231222BHJP

【ＦＩ】

G06N3/0455

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023561916

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-08-21

(86)【国際出願番号】 EP2021086646

(87)【国際公開番号】W WO2022129610

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/126,694

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523233271

【氏名又は名称】ウムナイ リミテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】ダリ アンジェロ

(72)【発明者】

【氏名】グレッチ マシュー

(72)【発明者】

【氏名】ピローネ マウロ

(57)【要約】

説明可能なトランスデューサ・トランスフォーマ（ＸＴＴ）は、説明可能なトランスフォーマと共に有限状態トランスデューサとすることができる。ＸＴＴの変形は、説明可能なトランスフォーマ－エンコーダおよび説明可能なトランスフォーマ－デコーダを含むことができる。例示的な説明可能なトランスデューサは、訓練済み説明可能なニューラルネットワーク（ＸＮＮ）アーキテクチャまたは論理的に等価なアーキテクチャにおける部分置換として使用され得る。説明可能なトランスフォーマは、トランスフォーマのエンコーダおよびデコーダレイヤの両方のサブレイヤにおいて、トランスフォーマのブラックボックスモデルコンポーネントをホワイトボックスモデル等価物と置換することができる。ＸＴＴは、回答、説明、およびその正当化理由の解釈を生成するために、説明を生成し、そのような説明をフィルタリングする説明および解釈生成システム（ＥＩＧＳ）を利用することができる。

【特許請求の範囲】

【請求項1】

説明可能な機械学習システムであって、
前記機械学習システムが、入力言語からのデータを第２の出力言語に翻訳、マッピング、および変換することを可能にするように構成される有限状態トランスデューサ、ＦＳＴを備え、
前記有限状態トランスデューサは、変換のために使用される１つまたは複数の入力特徴量を含むまたは前記１つまたは複数の入力特徴量を変換する前記入力言語からの前記データを受信するように適合され、前記有限状態トランスデューサは、前記１つまたは複数の入力特徴量に基づいて翻訳、マッピング、および／または変換されたデータを前記第２の出力言語として提供するようにさらに構成され、および／または、
前記入力言語からの前記データに関連して形成されたデコーダおよびエンコーダコンポーネントの組み合わせに基づくアテンションベースアーキテクチャを有する説明可能なトランスフォーマを備え、
前記有限状態トランスデューサおよび前記説明可能なトランスフォーマは、前記入力言語からの前記データを翻訳、マッピング、および／または変換するように構成される説明可能なトランスデューサ・トランスフォーマ、ＸＴＴを生成するために組み合わされるように構成される、機械学習システム。

【請求項2】

前記説明可能なトランスフォーマは、
前記入力言語からの前記データに関連付けられる入力を受信し、前記１つまたは複数の入力特徴量を識別するように構成される入力レイヤと、
条件付きネットワークであって、１つまたは複数のパーティションであって、前記１つまたは複数のパーティションのそれぞれはルールを含む、１つまたは複数のパーティションに基づいて前記１つまたは複数の入力特徴量をモデル化するように構成される条件付きレイヤ、１つまたは複数のルールを１つまたは複数の集約パーティションになるよう集約するように構成される集約レイヤ、および、前記条件付きレイヤからの前記１つまたは複数のパーティションを用いて、前記集約レイヤからの前記集約パーティションを選択的にプールするように構成されるスイッチ出力レイヤを備える、条件付きネットワークと、
予測ネットワークであって、１つまたは複数の変換を前記１つまたは複数の入力特徴量に適用するように構成される１つまたは複数の変換ニューロンを備える特徴量生成および変換ネットワーク、１つまたは複数の特徴量および１つまたは複数のパーティションの少なくとも一方に関連する１つまたは複数の係数を識別するために前記特徴量生成および変換ネットワークによって変換された特徴量を組み合わせるように構成されるフィットレイヤ、値出力レイヤであって、前記１つまたは複数の係数を解析するように構成され、前記１つまたは複数の特徴量あるいは前記１つまたは複数のパーティションの少なくとも一方に関連する値を出力するように構成される、値出力レイヤを備える、予測ネットワークとを備え、
前記デコーダおよびエンコーダコンポーネントは、前記入力をエンコードするための少なくとも１つのレイヤおよび前記入力をデコードするための少なくとも１つのレイヤを備え、前記入力から形成される説明可能なアーキテクチャを備え、
機械プログラムまたは人間の少なくとも一方によって解釈可能かつ説明可能である出力を生成するように構成される出力レイヤであって、前記パーティション全体を通る１つまたは複数の実行経路は外部プロセスによって識別可能である、出力レイヤを備える、請求項１に記載の機械学習システム。

【請求項3】

前記ＸＴＴは、説明可能なトランスフォーマ－エンコーダまたは説明可能なトランスフォーマ－デコーダとして動作するように構成され、前記システムは、前記ＸＴＴの内部係数に対する条件付き制約を任意にさらに含み、前記条件付き制約は、前記ＸＴＴの公称動作サイクル中にモニターされるように任意に構成される、請求項１または２に記載の機械学習システム。

【請求項4】

前記説明可能なトランスデューサは、前記デコーダコンポーネントおよび／または前記エンコーダコンポーネントのサブレイヤ内にホワイトボックスモデルコンポーネントを備える、請求項１～３のいずれか１項に記載の機械学習システム。

【請求項5】

説明可能なニューラルネットワーク、ＸＮＮを含む説明可能なアーキテクチャは、前記ＸＴＴ内で利用され、前記ＸＮＮは、
入力レイヤであって、
条件付きレイヤ、集約レイヤ、およびスイッチ出力レイヤを含む条件付きネットワーク、および、
特徴量生成および変換レイヤ、フィットレイヤ、および予測出力レイヤを含む予測ネットワーク
に入力されるように構成される、入力レイヤと、
ランク付けされたかまたはスコア付けされた出力を生成するために、前記スイッチ出力レイヤの出力および前記予測出力レイヤの出力を逓倍するように構成される選択およびランク付けレイヤとを任意に備え、
前記ＸＮＮは、高速重みを任意に含む、請求項１～４のいずれか１項に記載の機械学習システム。

【請求項6】

解釈可能なニューラルネットワーク、ＩＮＮを備える説明可能なアーキテクチャは、前記ＸＴＴ内で利用される、および／または、
説明可能な強化学習、ＸＲＬシステムを備える説明可能なアーキテクチャは、前記ＸＴＴ内で利用される、および／または、
前記ＸＴＴは、ワイドラーニングモデルをサポートするように構成される、請求項１～５のいずれか１項に記載の機械学習システム。

【請求項7】

前記説明可能なアーキテクチャは、
回答からなる説明可能なまたは解釈可能な出力を生成する、
前記回答のオプションのモデル説明を生成する、
前記回答および／または前記モデル説明の正当化理由を任意に生成する
ように構成される、請求項２～６のいずれか１項に記載の機械学習システム。

【請求項8】

前記ＸＴＴは、前記１つまたは複数の入力特徴量を処理するように構成されるパーティションを備え、前記パーティションは、ルールおよび／または距離類似度関数に従ってデータポイントを任意にグループ化するクラスタであり、前記パーティションは、ロック付きパーティションであって、ロック付きパーティションの値が静的値として設定されている、ロック付きパーティションであるかまたは前記ＸＴＴの各後方訓練パスについて動的に可動である可動パーティションであり、前記パーティションは、前記ＸＴＴを最初に作成する外部プロセスによって前記ＸＴＴの一部として最初に作成される、または、
前記パーティションは、パーティショニング情報を提供するリンク付きタクソノミーまたはオントロジーから事前訓練されるかまたは適切に初期化され、前記ＸＴＴは、前記パーティションが事前訓練された後に、任意に事前微調整され、前記パーティションが作成されると、前記ＸＴＴは、前記パーティションをフィットさせるかまたはさらに改良するため、勾配降下法を使用するように構成され、パーティション構造は、グラフまたはハイパーグラフ内に任意に配置され、前記システムは、グラフ－ツー－シーケンス、シーケンス－ツー－グラフ、およびグラフ－ツー－グラフ変換モードを処理するように任意に構成される、請求項１～７のいずれか１項に記載の機械学習システム。

【請求項9】

前記ＸＴＴは、前記ＸＴＴがどのようにパーティションを選択するか、マージするか、または分割するかを決定するためにランク付け関数を実施するように構成され、前記パーティションは、異なるレベルの意味論的および記号論的詳細でシンボルを示すために使用可能である階層的性質に従って任意に配置される、請求項８に記載の機械学習システム。

【請求項10】

前記パーティションは、多数目的最適化技法、遺伝的アルゴリズム、モンテカルロシミュレーション法、および／または因果的ロジックおよびシミュレーション技法のうちの１つまたは複数を使用して変更可能である、請求項８または９に記載の機械学習システム。

【請求項11】

前記パーティションは、２つ以上のオーバーラップするパーティションおよび前記オーバーラップするパーティションのうちのいずれが活性化すべきかを決定するように構成される優先度関数、２つ以上のオーバーラップしないパーティション、および／または、
複数の活性化されたパーティションからの結果を結合または分割するように構成される集約関数を備え、前記パーティションは、疎なＸＮＮまたはＩＮＮを使用して任意に実施される、請求項８～１０のいずれか１項に記載の機械学習システム。

【請求項12】

各パーティションは、線形モデルにフィットするデータ、ならびに、多項式展開、回転、次元尺度法、無次元尺度法、状態空間変換、位相空間変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、フーリエ変換、ウォルシュ関数、連続データバケット化、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１またはタイプ２ファジーロジック知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ空間、フレシェ空間、ハウスドルフ空間、またはチコノフ空間のトポロジカル変換、相違分析、正規化、標準化、および条件付き特徴量のうちの少なくとも１つが、線形モデルを前記データにフィットさせる前に、適用されたデータの一方または両方を含む、請求項８～１１のいずれか１項に記載の機械学習システム。

【請求項13】

前記パーティションは、パーティショニング関数に従って階層構造で配置され、前記パーティショニング関数は、ｋ－ｍｅａｎｓ関数、ベイズ関数、接続性ベースパーティショニング関数、重心ベースパーティショニング関数、分布ベースパーティショニング関数、グリッドベースパーティショニング関数、密度ベースパーティショニング関数、ファジーロジックベースパーティショニング関数、エントロピーベース関数、または相互情報ベース方法からの１つまたは複数を含むクラスタリングアルゴリズムを含み、パーティション関数は、任意に複数のオーバーラップするパーティションおよび／またはオーバーラップしないパーティションを生成するアンサンブル法を含む、請求項８～１２のいずれか１項に記載の機械学習システム。

【請求項14】

前記ＸＴＴは、前記パーティションのうちの１つまたは複数に対して１つまたは複数の反復最適化ステップを実行するように構成され、前記１つまたは複数の反復最適化ステップは、適した集約、分割、または最適化法を使用して前記パーティションのマージングおよび分割を任意に含む、請求項８～１３のいずれか１項に記載の機械学習システム。

【請求項15】

前記ＸＴＴは、前記パーティションに関連付けられた前記モデル説明および情報を予測するように構成されるＸＴＴ－デコーダアーキテクチャを備え、前記ＸＴＴ－デコーダアーキテクチャは、次のモデル説明を予測するために、生成されたモデル説明を使用して事前訓練され、前記ＸＴＴ－デコーダアーキテクチャは、前記モデル説明の差または変化を予測するため、次の説明勾配を予測するために説明勾配のセットに対して任意にさらに事前訓練され、前記ＸＴＴ－デコーダアーキテクチャは、訓練中に類似および対比の両方の要素を考慮するために、入力および出力データの埋め込み表現に対して任意に事前訓練され、前記埋め込み表現は、任意に、疎な埋め込みである、請求項１～１４のいずれか１項に記載の機械学習システム。

【請求項16】

前記説明可能なトランスフォーマは、外部の説明可能なモデルからのパーティショニング情報を、前記説明可能なトランスフォーマの前記エンコーダコンポーネントの入力埋め込みに、そして任意に、前記説明可能なトランスフォーマの前記デコーダコンポーネントの出力埋め込みに付加することによって訓練される、または、
前記説明可能なトランスフォーマは、前記エンコーダおよびデコーダコンポーネントに並列の２つのさらなるレイヤを含み、前記２つのさらなるレイヤは、前記説明可能なトランスフォーマの入力空間から説明可能なアーキテクチャを構築するように構成される、または、
前記説明可能なトランスフォーマは、マルチ－ヘッド－アテンションコンポーネントまたは加算－および－正規化コンポーネントを備える並列の説明可能なエンコーダレイヤを備え、前記並列の説明可能なエンコーダレイヤは、前記マルチ－ヘッド－アテンションコンポーネントの出力または前記加算－および－正規化コンポーネントの出力、および、パーティショニングまたは説明可能な情報を入力として受信するように構成され、前記説明可能なトランスフォーマは、前記並列の説明可能なエンコーダレイヤの出力を入力として受信するように構成される並列の説明可能なデコーダレイヤを任意にさらに含み、前記並列の説明可能なエンコーダレイヤは、１つまたは複数のモデル説明、前記１つまたは複数のモデル説明の１つまたは複数の勾配、あるいは１つまたは複数のパーティションに関連付けられる情報を入力として受信するように任意に構成される説明可能なアーキテクチャを任意に含み、前記並列の説明可能なデコーダは、説明可能なアーキテクチャおよび加算－および－正規化コンポーネントを任意に含み、前記並列の説明可能なエンコーダレイヤは、前記並列の説明可能なエンコーダレイヤの出力を、前記デコーダコンポーネント内のマルチヘッドアテンションレイヤに送信するように任意に構成され、前記並列の説明可能なエンコーダレイヤは、前記出力を前記デコーダコンポーネント内の前記マルチヘッドアテンションレイヤに送信する前に、前記出力を前記説明可能なトランスフォーマの前記エンコーダコンポーネントとマージするように任意に構成される、請求項１～１５のいずれか１項に記載の機械学習システム。

【請求項17】

前記説明可能なトランスフォーマの前記デコーダコンポーネントは、フィードバックループの一部として、前記ＸＴＴの出力を入力として受信するように構成される、請求項１～１６のいずれか１項に記載の機械学習システム。

【請求項18】

前記説明可能なトランスフォーマの前記エンコーダおよび／またはデコーダコンポーネントは、説明可能なオート－エンコーダ－デコーダ、ＸＡＥＤとして動作するように構成される、請求項１～１７のいずれか１項に記載の機械学習システム。

【請求項19】

前記ＸＴＴは、訓練用データセットの１つまたは複数の特徴量変換を備え、前記１つまたは複数の特徴量変換は、
多項式展開、回転変換、次元尺度法、無次元尺度法、フーリエ変換、ウォルシュ関数、状態空間変換、位相空間変換、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１ファジーロジックグラフネットワーク、タイプ２のファジーロジックグラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ空間、フレシェ空間、ハウスドルフ空間、またはチコノフ空間のトポロジカル変換、相違分析、データの正規化、データの標準化のうちの１つまたは複数を任意に含み、前記１つまたは複数の特徴量変換は、変換パイプラインとして任意に配置され、前記パイプラインは、１つまたは複数の変数の値に従って順序付けられるデータのシーケンスを分析するように構成される変換であって、データの前記シーケンスは時間的に順序付けられたデータシーケンスを任意に含む、変換、および／または、
勾配降下法および他の説明可能なアーキテクチャによって取得される変換を任意に含む、請求項１～１８のいずれか１項に記載の機械学習システム。

【請求項20】

前記ＸＴＴは、因果ＧＡＮベース生成、遺伝的エンジニアリング、モンテカルロシミュレーション、ペトリネット、強化学習技法、ホワイトボックスモデルおよび関連するグローバルモデルを使用するシミュレーション、および／または利用可能であるとすることができる任意の他の方法の中からの１つまたは複数の技法を使用して生成される前記ＸＴＴを訓練するために訓練用データセットサンプルを受信するように構成される、請求項１～１９のいずれか１項に記載の機械学習システム。

【請求項21】

前記ＸＴＴは、人間知識インジェクション、ＨＫＩ、またはシステム知識インジェクションを入力として受信するようにさらに構成され、前記ＸＴＴ内の説明可能なアーキテクチャの係数は、人間ユーザと機械学習システムとの間でより効果的な協働をもたらすため特定のルールを施行するために修正可能であり、前記ＸＴＴは、ゼロショット学習または少数ショット学習のためにＨＫＩまたはシステム知識インジェクションを使用するように任意にさらに構成される、請求項１～２０のいずれか１項に記載の機械学習システム。

【請求項22】

前記ＸＴＴは、前記ＸＴＴの適応力を高めるために帰納的、演繹的、仮説的、因果的ロジックのうちの１つまたは複数を実施するように構成され、前記ＸＴＴは、モデルなし最適化法およびモデルベース最適化法の組み合わせを利用するように任意にさらに構成される、請求項１～２１のいずれか１項に記載の機械学習システム。

【請求項23】

前記ＸＴＴは、前記ＸＴＴの出力からの説明不能な潜在的空間の完全な除去を、前記ＸＴＴの前記１つまたは複数の入力特徴量が説明可能である程度まで可能にするように構成される、請求項１～２２のいずれか１項に記載の機械学習システム。

【請求項24】

前記ＸＴＴは、前記ＸＴＴの出力に対して、フーリエ変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、ウォルシュ関数、状態空間変換、位相空間変換、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ’’関数、フラクタルベース変換、アダマール変換、ファジーロジックグラフネットワーク、カテゴリカルエンコーディング、相違分析、正規化、標準化、多次元ベジェ曲線、再帰関係、および因果作用素のうちの１つまたは複数を適用するように構成される、または、
前記ＸＴＴは、前記ＸＴＴの出力に対して、活性化関数または変換関数を適用するように構成され、前記活性化関数または変換関数は、シグモイド関数、ＳｏｆｔＭａｘ関数、階層木またはネットワーク、因果ダイヤグラム、有向グラフ、無向グラフ、ハイパーグラフ、単体的複体、マルチメディア構造、またはハイパーリンクされたグラフのセットのうちの１つまたは複数を含む、請求項１～２３のいずれか１項に記載の機械学習システム。

【請求項25】

前記ＸＴＴは、構造化データと非構造化データの両方を処理し、階層的に構造化されたデータを処理するように構成され、前記階層的に構造化されたデータは、木、グラフ、ハイパーグラフ、および／または単体的複体の形態で任意に構築される、請求項１～２４のいずれか１項に記載の機械学習システム。

【請求項26】

前記ＸＴＴは、
前記ＸＴＴの入力レイヤによって受信される前に、または、前記入力レイヤから出力された後に、複数の入力を正規化するように構成される正規化モジュールと、
前記入力レイヤによって受信される前に、または、前記入力レイヤから出力された後に、前記入力をスケーリングするように構成されるスケーリングモジュールと、
前記入力レイヤによって受信される前に、または、前記入力レイヤから出力された後に、前記入力を標準化するように構成される標準化モジュールとをさらに備える、請求項１～２５のいずれか１項に記載の機械学習システム。

【請求項27】

前記入力の前記正規化は、バイアスおよび前記バイアスのソースの適切なレポートおよび分析を作成すること、および、教師あり手段、教師なし手段、または半教師あり手段によって、バイアス低減、軽減、または排除のための方策を策定することを含む、請求項２６に記載の機械学習システム。

【請求項28】

前記ＸＴＴは、分散型の説明可能なアーキテクチャ、ＤＥＡにわたって分配され、前記ＤＥＡは、説明可能なアーキテクチャの同質または異質な混合物からなり、前記ＤＥＡは、前記ＤＥＡ内の前記説明可能なアーキテクチャのそれぞれを訓練するために、データセットをデータの複数のサブセットに分割するように構成され、前記ＤＥＡの各説明可能なアーキテクチャは、一括操作技法を任意に含む、前記ＤＥＡ内の同質なおよび異質な説明可能なモデルミックスに適用される分散型訓練技法を使用して訓練可能である、請求項１～２７のいずれか１項に記載の機械学習システム。

【請求項29】

前記ＤＥＡは、前記ＤＥＡ内の前記モデルが、説明可能な人工知能（ＸＡＩ）、解釈可能なニューラルネット（ＩＮＮ）、説明可能なニューラルネット（ＸＮＮ）、説明可能なスパイキングネット（ＸＳＮ）および説明可能なメモリネット（ＸＭＮ）、および／または説明可能な強化学習（ＸＲＬ）のミックスであるようなハイブリッドモデル、
複数の独立モデルであって、所与の独立モデルは、訓練されると、前記ＤＥＡに依存することなく独立に働くように構成可能であり、前記ＤＥＡは訓練のために最適化される、複数の独立モデル
の一方または両方を含むことができる、請求項３０に記載の機械学習システム。

【請求項30】

前記ＸＴＴは、説明および解釈生成システム、ＥＩＧＳ内で使用可能であり、入力クエリを処理し、前記入力クエリに関する適切な回答、説明、およびオプションの正当化理由を生成するためのモデルを提供するように構成され、
前記ＸＴＴは、前記ＥＩＧＳの１つまたは複数の部分を変換するように任意に構成され、前記ＥＩＧＳの１つまたは複数の部分を変換することは、提示出力を変換すること、ユーザ固有出力個人化、コンテキスト固有出力変換、目標固有出力変換、計画固有出力変換、およびアクション固有変換のうちの１つまたは複数を含み、
前記ＸＴＴは、
説明スカフォールドの適切なフィルタリングをフィルタが生成するための適したモデルを提供するために、または、
解釈フレーミング、プロトコルコンテキスト、解釈ルール、解釈手順、解釈シナリオ、および競合解決情報の組み合わせを利用して前記ＥＩＧＳの１つまたは複数の部分をフィルタリングするために、または、
前記ＥＩＧＳ内でフィルタ内および／またはフィルタ間合意プロセスを実施するために、または、
解釈者が適切な解釈を生成し、解釈スカフォールドの要素を生成するための適したモデルを提供するために、または、
ＥＩＧＳ内で解釈スカフォールドの適切な部分を変換するために、または、
フレーミング、プロトコル、解釈ルール、解釈手順、解釈テンプレート、解釈要約、シナリオモデル、ドメイン、対話型コンテキスト、および競合解決情報の組み合わせに基づいてＥＩＧＳの解釈出力を変換するために、または、
ＥＩＧＳ内で解釈者内および／または解釈者間合意プロセスを実施するために、または、
適切な選択モデルおよび選択プロセスに基づいてＥＩＧＳ解釈出力を変換するために
ＥＩＧＳ内で任意に使用可能である、請求項１～２９のいずれか１項に記載の機械学習システム。

【請求項31】

前記ＸＴＴは、複数レベルの説明であって、パーティショニング情報、前記ＸＴＴの内部係数、および前記ＸＴＴの入力空間の特徴量寄与度を任意に含む、複数レベルの説明を生成するように構成される説明可能なセルフ－アテンションメカニズムを備え、前記説明は解釈者に対する出力として使用可能である、請求項１～３０のいずれか１項に記載の機械学習システム。

【請求項32】

前記ＸＴＴは、自己教師あり技法を使用して訓練可能である、請求項１～３１のいずれか１項に記載の機械学習システム。

【請求項33】

前記ＸＴＴは、単一ベクトルにマージするために、全てのデコーダまたはエンコーダコンポーネントから、過去に学習した表現または履歴状態を使用するように構成され、前記ベクトルは前記ＸＴＴ内の任意のレイヤに対するフィードバックとして使用可能であり、前記ＸＴＴは、前記単一ベクトルにマージするために、前記ホワイトボックスモデルの任意の内部係数を使用するように任意にさらに構成され、前記ＸＴＴは、因果的にありそうにない推論を作成することまたは統計的に有効であるが因果的にありそうにないとすることができる予測経路を作成することを回避するために、前記過去に学習した表現に対して因果的制約を課すように任意にさらに構成され、前記ＸＴＴは、説明可能で因果的にかつ環境的にありそうにないフィードバックメモリを達成するため、前記過去に学習した表現に対して環境的にありそうにないさらなる制約を課すために、挙動モデルならびに関連する条件、イベント、トリガー、およびアクション状態表現を利用するように任意にさらに構成される、請求項２～３２のいずれか１項に記載の機械学習システム。

【請求項34】

システムは、
適した形式言語で書かれた既存の形式コンピュータプログラムを分析し構文解析し、ロードされると、ＸＴＴアテンションモデルを使用して前記コンピュータプログラムをさらに改良するように構成され、なお、前記ＸＴＴの説明可能なモデル内の階層的パーティション構造は、前記形式言語プログラムの前記構造を直接モデル化するために任意に使用可能であり、または、
矛盾または誤りを強調するために、コードのよりよい代替物ならびにリファクタリングおよびリライトを提案するために、難読化されたコードを難読化解除するために、そして、α変換、β簡約、およびη簡約等の機能的プログラミング言語概念を、生成されたコードに適用するために、予め規定されたスタイリスティックスタンダードに従ってコードを変換するように構成され、または、
証明済みステートメントおよび／または不完全ステートメントのスクラッチからまたは前記証明済みステートメントおよび／または不完全ステートメントの既存の集合体によって、数学的表現、ステートメント、および証拠を自動的に分析、生成、およびオートコンプリートするために、適した数学的形式言語システムと共に自動定理証明システムと併せて使用されるように構成され、または、
前記ＸＴＴによって適用される入力－出力変換の間の基礎の仮定の説明を提供しながら、ＤＮＡ遺伝子発現、タンパク質フォールディング、および他の関連する生物化学的アプリケーションにおける規制的変化を説明するために、タンパク質または他の適した分子形状と併せてＤＮＡコードを分析するように構成され、または、
任意に、スピーチオーディオ波形を対応するテキストに翻訳するために、エンド－ツー－エンド自動スピーチ認識アーキテクチャにおいて使用されるように構成され、または、
スピーチを処理するため、エンド－ツー－エンド深層学習アーキテクチャにおいて使用されるように構成され、なお、前記機械学習システムは、前記スピーチを潜在的離散的表現に変換するように構成されるＸＡＥＤエンコーダを任意にさらに備え、または、
複数オブジェクト追跡のために使用されるように構成され、または、
デジタル表面モデルまたは深度マップ生成のために、衛星の、空中の、または他のタイプの鳥観図画像を照合するように構成され、または、
単眼、複眼、およびマルチビュー入力データのイメージャリを処理するように構成され、または、
オーディオがビデオ内に存在するか否かを予測するオーディオ－ビジュアル分類タスクのために使用されるように構成され、または、
合成的に生成された多次元データの生成および検出であって、
真正画像からディープフェイク画像を検出し分類すること、または、
機械学習システムを混乱させるためにデータに付加された敵対的攻撃情報の存在を検出すること
のうちの一方または両方を含み、
前記ＸＴＴは説明可能なモデルを備える、多次元データの生成および検出のために使用されるように構成され、または、
実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、前記機械学習システムはカメラ処理システム内に実施され、または、
実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、なお、前記機械学習システムは、手術または医療画像の分析内で使用するための医療ハードウェア内に実施され、または、
実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、なお、前記機械学習システムは、機器検査プロセスおよび製造検査プロセスにおいて使用するためのエンジニアリングアプリケーション内に実施され、または、
人間可読および解釈可能フォーマットでデータを送信する医療インプラント内に実施されるように構成され、または、
生体ニューロンからの入力信号を受信し、適切にエンコードされたフォーマットで生体ニューロンに信号を出力するように構成され、なお、前記ＸＴＴは、損傷した生体神経系接続を架橋するためのまたは高度人工装具デバイスにおいて人工デバイスの埋め込みおよび接続を補助するための現実的解決策を提供するために、２つ以上の生体ニューロンを架橋する医療埋め込み式デバイスの一部として実施され、または、
異なるモダリティの関連するシーケンス順序付けおよび環境世界コンテキストに従って、適切に合成されるマルチモーダル混合出力を生成するために、前記ＸＴＴの一部としてＸＧＡＩＬシステムのシミュレータおよびデータサンプル合成を実施するように構成され、または、
前記生成されたデータサンプルを適切に修正するために使用され得る種々の学習済みスタイルを使用して、新規なデータサンプル、イメージャリ、デジタルおよびアナログ混合メディアペインティング、および３Ｄスカルプチャを作成するように構成され、なお、前記機械学習システムは、前記生成されたデータに、セキュア追跡可能デジタルコード、分散型台帳エントリ、または非代替性トークンをタグ付けするように任意にさらに構成され、または、
形式的ミュージックノーテーションおよび合成、サウンドサンプル混合、テキスト－ツー－スピーチ生成、および一般的オーディオサンプル生成の組み合わせを使用してミュージックを生成するように構成され、なお、前記機械学習システムは、異なるモダリティにおいて入力を分析するために、マルチモーダルＸＴＴを実施するように任意にさらに構成され、または、
ビデオフレームに関するアノテーションを予測するように構成され、なお、前記ＸＴＴは、エンド－ツー－エンド深層学習アーキテクチャにおけるＸＴＴエンコーダとして実施され、または、
オントロジーにおいて前もって規定される代わりに、対話の状態を追跡し、観測されないスロットを学習するように構成され、または、
入力シーケンス内でエンティティを識別するように構成され、または、
入力質問についての回答の開始位置および終了位置を識別するように構成され、または、
テキストにおけるエンティティのメンションを、知識ベース内の前記対応するエンティティにリンクさせるように構成され、または、
直前の出力に基づいて出力を予測するように構成され、または、
ワークフローシステム内に組み込まれるように、そして任意に、ロボットプロセス自動化システム、意思決定支援システム、または、データレイクシステム内に統合されるようにさらに構成され、または、
因果的説明を使用するように構成され、なお、前記因果的説明は、反事実的言語表現アーキテクチャを使用し、または、
原因－および－結果を扱う、関連付け、介入、および反事実的因果的ロジックを扱う、環境モデル入力による妥当性チェックを実施する、因果的にありそうな同型化によって訓練用データを拡張するために、因果モデル固有の機能を実施するように構成され、または、
自然言語文書からドラフト因果モデルを自動的に作成するように構成され、なお、前記ＸＴＴは因果的ＸＴＴシステムを規定し、または、
制約および予測的ロジック実施の基礎として計算および知識表現構造を使用するように構成され、なお、前記計算および知識表現構造は、リソース記述フレームワーク、ＲＤＦ、木、ＲＤＦグラフ、レビグラフ、ハイパーグラフ構造、または単体的複体を任意に含み、または、
監査ログ機能を実施するように構成され、なお、監査ログ機能を実施することは、前記ＸＴＴのフロー、相互作用、および挙動、ならびに、前記ＸＴＴの関連する条件、イベント、トリガー、およびアクション、ならびに全体ダイナミクスを示す意思決定ログおよび経路トレースを作成することを含み、
前記経路トレースは、トリガーされ実行されたルールの注釈付きシーケンスとして、エキスパートシステムおよびルールベースシステムに任意に実施され、または、
前記経路トレースは、ワークフローエンジンによって実行されたワークフローノードおよび経路の注釈付きシーケンスとしてワークフローシステムに任意に実施され、
前記経路トレースは、前記ＸＴＴの正確なシーケンスおよび挙動を示すために使用可能であり、前記システムのユーザにとっての関心経路に沿って、最近傍を表示するように任意に構成され、
前記ＸＴＴは、前記ＸＴＴ自身の監査システムログを利用し、前記ログを耐タンパー性がありかつ追跡可能な方法で格納するように任意にさらに構成され、または、
アクションの時間ロジック、抽象機械ノーテーション、ペトリネット、計算木ロジック、または、実施法であって、モーダルロジック、直感主義的ロジック、および／または関係意味論を形式的に示すことができる、実施法のうちの１つまたは複数に基づくシステムの組み合わせ上に実施され、前記組み合わせによって検証されるように構成され、または、
アンカー条項を利用するように構成され、なお、アンカー条項は、極めて重要である、ノード、エッジ、イベント、トリガー、制約、またはアクションを規定し、または、
性能を高めるために量子化法を適用するように構成され、なお、前記システムは、前記ＸＴＴの正確さに対する量子化の任意の悪影響を部分的に打ち消し、訓練中の不安定性を低減するために、不安定性低減技法を適用するように任意にさらに構成され、または、
データプライバシー保護解決策の実用的な実施を可能にするように構成され、または、
もし…ならば（ｗｈａｔ－ｉｆ）、もし…でないならば（ｗｈａｔ－ｉｆ－ｎｏｔ）、反事実的、を除いて（ｂｕｔ－ｆｏｒ）、および条件付きシナリオに基づく、生成された構造化説明を、前記シナリオを前記ＸＴＴシステム入力に適用することの結果に対応する説明付き方策およびシナリオベース説明を生成するために利用するように構成され、または、
アクションの総コストを推定するために外因性および内因性変数ならびに因果モデルを使用するように構成され、なお、前記総コストを推定することは、任意の特定の関連付け、介入、または反事実的ルールを適用することを任意に含み、また、部分的に抜けている値を有するデータについて総コストを推定することを任意に含み、
前記システムは、アプリケーションの実際の例であって、前記アプリケーションの所望のシナリオ結果または仮説的平均を有した、アプリケーションの実際の例を提供するために最近傍法を利用するように任意にさらに構成され、または、
予測および／または訓練性能を高めるために、ドット積の近似または完全排除、疎なローカルアテンションモデル、適応的アテンションウィンドウ、多次元アテンション行列近似、インテリジェント重み共有、およびインテリジェントパラメータ化のうちの１つまたは複数を利用するように構成され、または、
歩行分析、運動予測、および感情状態予測を含む人間挙動を分析するように構成され、または、
スポーツ映像および運動能力を予測し分析するように構成され、または、
病状を検出し予測するように構成され、または、
金融株トレーディングパターンを分析し、市場挙動を予測し、買い、売り、または、特定の株にショートまたはロングポジションを置くこと等の自動化アクションを、その後、実行するように構成され、または、
インダストリ４．０アプリケーション内で動作するように構成され、または、
センテンスをソース言語からターゲット言語に翻訳するように構成され、または、
提示指向型変換および説明および／または解釈出力の強化を実施するように構成され、または、
法律文書を処理し、前記法律文書に関係し前記法律文書における参考文献である、異なる機関およびエンティティに適用可能な参考文献およびテキストセクションを正しく決定するように構成され、または、
対話処理、チャットボット、コールセンター管理システム、事例管理システム、顧客サポートシステム、クライアント関係管理システム、会話システム、ならびに質問および回答システム等のアプリケーションにおいて一般に使用される対話型説明および／または解釈プロセスのフローを制御するように構成され、または、
フィードバック制御タイプのメカニズムを必要とする強化学習タイプのアプリケーションにおいて使用されるように構成される、請求項１～３３のいずれか１項に記載の機械学習システム。

【請求項35】

システムは、
柔軟アーキテクチャであって、ＦＰＧＡを任意に備える、柔軟アーキテクチャ、または、
静的アーキテクチャであって、ＡＳＩＣを任意に備える、静的アーキテクチャ、または、
ディスクリートコンポーネント、または、
スピントロニクスまたはメモリスタ、または、
スパイキングニューロンを任意に使用するニューロモーフィックアーキテクチャ、または、
量子コンピューティングハードウェア
を使用するハードウェア回路として実施され、前記量子コンピューティングハードウェアは、拡張であって、
複数の量子ビット状態、量子ビット基底状態、混合状態、アンシラビット、および、エンタングルメントおよび／またはデコヒーレンスによる他の量子効果の正しい解釈を可能にするように構成され、または、
量子ロジックゲートを任意に含む、ＸＮＮ内への量子ロジック固有演算子および／またはハードウェアロジックゲートの導入を可能にするように構成され、または、
量子効果を利用することによって、複数のアクションを実行する、または、複数の条件を評価する、または、制約の大きなシステムを評価するように構成され、
なお、前記量子コンピューティングハードウェアは、量子アルゴリズムを利用するまたはハイブリッド解決策を利用するように任意に構成され、または、
複数のモダリティおよび／またはタスクについてヒルベルト空間を規定するように構成され、なお、前記マルチモーダルまたはマルチタスクヒルベルト空間は、タスクとモダリティとの間の全ての相互作用を表すために使用され得、クロスオーバー学習の量子バージョンと共にモダリティおよび／またはタスクのサブセットについての両方の訓練を実施するために使用され得る、
拡張を任意に備える、請求項１～３４のいずれか１項に記載の機械学習システム。

【請求項36】

前記ＸＴＴは、ニューロシンボリック制約を、前記ＸＴＴに関連付けられる現在および／または過去の履歴状態の一部または全てに、および／または、前記ＸＴＴに関連付けられる活性化の過去の履歴レートにリンクさせるように構成される、請求項１～３５のいずれか１項に記載の機械学習システム。

【請求項37】

名前付き参照ラベルは、前記説明可能なアーキテクチャ内の特定のコンポーネントに割り当てられ、前記名前付き参照ラベルは、メタデータを任意に含み、シンボリック表現および／または定型表現から任意になることができ、
前記名前付き参照ラベルは、安全関連制約内で任意に使用可能であり、
前記機械学習システムは、前記システム内で起こるダイナミクスの安定した長期説明を生成するために前記名前付き参照ラベルの不変性を利用するように任意に構成される、請求項４～３６のいずれか１項に記載の機械学習システム。

【請求項38】

前記機械学習システムは、アイデンティティアセス推奨フレームワークによって少なくとも部分的に規定される、請求項１～３７のいずれか１項に記載の機械学習システム。

【請求項39】

前記機械学習システムは自動ＸＡＩシステムをさらに備え、前記システムは、シナリオベース説明を生成するように構成される、請求項１～３８のいずれか１項に記載の機械学習システム。

【請求項40】

同じパラメータを共有する複数のタスクおよび複数のモダリティを処理するために、
前記ＸＴＴは、説明可能なモデルを利用し、前記１つまたは複数の入力特徴量に関連付けられる１つまたは複数のタスクに対応する複数の入力を受信し、前記タスクのための出力に対応する複数の出力を生成するように構成され、
前記説明可能なモデルは、前記異なるタスクについて学習された異なる知識間のクロスオーバーが効率的に起こることを可能にするように構成される、複数のクロスオーバーサブシステムから任意になる階層的クロスオーバー構造によって任意に規定され、
前記階層的クロスオーバー構造は、１つまたは複数の一方向リンクノードおよび／または１つまたは複数の２方向リンクノード、そして任意に、クロスオーバーノイズノードおよび／またはクロスオーバーノード間リンクを備え、
前記説明可能なモデルは、任意に、疎な説明可能なモデルまたはＤＥＡである、請求項１～３９のいずれか１項に記載の機械学習システム。

【請求項41】

畳み込みニューラルネットワーク、ＣＮＮであって、ＣＮＮ－ＸＴＴアーキテクチャを規定するために前記ＸＴＴの前記入力に結合された、畳み込みニューラルネットワーク、ＣＮＮをさらに備え、前記ＣＮＮ－ＸＴＴは、クエリについて前記ＣＮＮ－ＸＴＴ内で活性化経路を可視化するためにバックマップを使用するように、そして任意に、正当化理由の一部としてバックマップを組み込むように構成され、前記ＣＮＮ－ＸＴＴは、カーネルラベリング法を、本来テキスチュアルでないデータフォーマットを有する関連する人間可読ラベルに統合するように任意に構成され、前記カーネルラベリング法に関連付けられるカーネルタイプは、任意に、近似カーネルであり、前記ＣＮＮは、任意に、時間的に最適化されたＣＮＮである、請求項４１に記載の機械学習システム。

【請求項42】

前記システムは、フォーマットまたはレイアウトであって、人間可読自然言語、グラフィカルまたはビジュアルフォーマット、オーディオ、スピーチ、触覚、ビデオ、時系列、マルチスペクトルデータ、階層的に順序付けられたマルチメディアコンテンツ、および３Ｄデータのうちの１つまたは複数である、フォーマットまたはレイアウトでデータを出力するように構成され、
前記出力データは、任意に、シーケンシャルフォーマットまたはレイアウトであって、２Ｄデータ、３Ｄデータ、多次元データアレイ、トランザクションデータ、時系列、デジタル化済みサンプル、センサデータ、画像データ、ハイパースペクトルデータ、自然言語テキスト、ビデオデータ、オーディオデータ、触覚データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、およびＳＯＮＡＲデータのうちの１つまたは複数である、シーケンシャルフォーマットまたはレイアウトである、請求項１～４１のいずれか１項に記載の機械学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

例示的な実施形態は機械学習システムの分野に関する。

【背景技術】

【0002】

トランスデューサは、機械学習システムが、データを入力言語から第２の出力言語に翻訳、マッピング、および変換することを可能にする基本モデルの１つである。有限状態トランスデューサ（ＦＳＴ：ｆｉｎｉｔｅ ｓｔａｔｅ ｔｒａｎｓｄｕｓｅｒ）は、２つ以上のテープに対して働く有限状態オートマトンであり、単一テープに対して働く平易な有限状態オートマタ（ＦＳＡ：ｆｉｎｉｔｅ ｓｔａｔｅ ａｕｔｏｍａｔａ）より一般的である。ＦＳＴは、ストリングのセット間の関係を規定し、したがって、２つの別個の入力および出力セットにおいて生じるストリング間の基本トランスレータまたはトランスフォーマとして扱われ得る。

【0003】

有限状態トランスデューサ（ＦＳＴ）は、図１に示すように、６タプル

【数1】

として規定され得、ここで、Κは状態の有限セットを指し、Σは入力シンボルのアルファベットを指し、

【数2】

は出力シンボルのアルファベットを指し、ｓは、ｓ∈Κであるような開始状態を指し、γは、

【数3】

であるような出力関数を指し、Δは遷移関数を指す。有限状態トランスデューサは、１つのテープを別のテープに翻訳することができる有限状態オートマトンである。形式的方法で、入力テープおよび出力テープは切り換えられ得、したがって、有限状態トランスデューサは２方向である。図１に示す例示的なＦＳＴにおいて、終端状態１２０をもたらす４つの遷移経路１００、１０５、１１０、および１１５が存在する。さらなる有限状態シンタックスは、ＦＳＴ内で強力な照合（ｍａｔｃｈｉｎｇ）および変換ルールを表現するために付加され得る（Ｋａｒｔｔｕｎｅｎ、２０００）。

【0004】

有限状態トランスデューサ（ＦＳＴ）は、入力言語を別の言語に翻訳するための基本コンポーネントとすることができる。トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）は、自然言語処理（ＮＬＰ：Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）および画像分類等の、種々の分野における現況技術の結果を提供するアテンションベースアーキテクチャを有するＦＳＴの自然進化とすることができる。トランスフォーマは、クエリ、キー、および値を同時に計算すること等の、そのコンポーネントの並列化のせいで、ＬＳＴＭアーキテクチャおよびＣＮＮアーキテクチャ等の他のアーキテクチャと比べて、著しく少ない訓練するための時間を必要とする。

【0005】

トランスフォーマアーキテクチャは、エンコーダコンポーネントおよびデコーダコンポーネントに分割され得る。

【0006】

エンコーダコンポーネントへの入力は、入力トークンの入力埋め込みおよび位置エンコーディングの合計を含むことができる。入力トークンが、順次挿入され、したがって、入力トークンの順序を保持する再帰型ニューラルネットワーク等のシーケンシャルアーキテクチャと違って、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）において、単語の順序の概念が存在しないため、位置エンコーディングが必要とされる。エンコーダレイヤのアーキテクチャは、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）アーキテクチャに示すように、２つのサブレイヤを含むことができる。第１のサブレイヤは、図２に示すように、マルチヘッドアテンションコンポーネント２１５と、それに続く加算および正規化コンポーネント２１７を含むことができる。第２のサブレイヤは、フィードフォワードニューラルネットワークコンポーネント２３０と、それに続く加算および正規化コンポーネント２３２を含むことができる。マルチヘッドアテンションコンポーネントは、スケーリングされたドット積アテンション（Ｖａｓｗａｎｉ等、２０１７）の複数のインスタンスを含むことができ、各インスタンスは、モデルの一般化を改善するためにそれ自身の重みを有する。各インスタンス｛ｚ₀、．．．、ｚ_n｝の出力行列は、重み行列Ｗ₀によって連結され乗算され、出力行列をもたらす。

【0007】

デコーダレイヤのアーキテクチャは、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）アーキテクチャに示すように、３つのサブレイヤを含むことができる。第１のサブレイヤは、マスク付きマルチヘッドアテンションコンポーネント２５０と、それに続く加算および正規化コンポーネント２５２からなる。第２のサブレイヤは、マルチヘッドアテンション（エンコーダ－デコーダ）コンポーネント２４０と、それに続く加算および正規化コンポーネント２４２からなる。第３のサブレイヤは、図２に示すように、フィードフォワードネットワークコンポーネント２７０と、それに続く加算および正規化コンポーネント２７２からなる。エンコーダ－デコーダアテンションコンポーネントは、マルチヘッドアテンションコンポーネントと同様である。しかしながら、クエリベクトルＱは、デコーダレイヤの直前のサブレイヤからのものであり、キーベクトルΚおよび値ベクトルＶは、最終エンコーダレイヤの出力から取り出される。マスク付きマルチヘッドアテンションコンポーネントは、セルフアテンションレイヤが、入力トークンのより早期の位置に対応することを許可されるだけであるような修正を有するマルチヘッドアテンションコンポーネントである。デコーダレイヤの出力は、予測されるトークンを示す出力ボキャブラリの確率２９０を生成するために、線形レイヤ２８０と、それに続くＳｏｆｔＭａｘ計算に接続され得る。デコーダコンポーネントへの入力は、出力トークン２６０のトークン埋め込みおよび位置エンコーディング２９５を含むことができる。

【0008】

トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）アーキテクチャのコアコンポーネントはアテンションコンポーネントである。トランスフォーマは、３つのタイプのアテンションメカニズム：エンコーダセルフアテンション、デコーダセルフアテンション、およびエンコーダ－デコーダセルフアテンションを有することができる。エンコーダセルフアテンションの入力は、トランスフォーマのソース入力トークンまたは直前のエンコーダレイヤの出力である。エンコーダセルフアテンションコンポーネントは、マスキングを持たず、各トークンは、他の入力トークンとのグローバル依存性を有する。デコーダセルフアテンションコンポーネントは、入力トークンとしてトランスフォーマの出力トークンをまたは直前のデコーダレイヤの出力を使用する。デコーダセルフアテンションにおいて、入力トークンは、直前の入力トークンに依存する。エンコーダ－デコーダアテンションコンポーネントにおいて、クエリはデコーダレイヤの直前のコンポーネントから取り出され、キーおよび値はエンコーダの出力から取り出される。

【0009】

セルフアテンション用の入力ｉｎｐ_q、ｉｎｐ_w、およびｉｎｐ_kは、エンコーダ－デコーダアテンションの他に、トランスフォーマにおいて同一である。トランスフォーマにおいて提示されるセルフアテンションは、式１に示すように示され得る。

【0010】

【数4】

【0011】

ここで、Ｑはクエリのセットからなる行列を指し、Ｋはキーのセットからなる行列を指し、Ｖは値のセットからなる行列を指し、ｄ_kは、キーおよびクエリの次元を指す。

【0012】

Ｔｓａｉ等（２０１９）における研究は、カーネルのレンズから、トランスフォーマにおけるアテンションメカニズムの新しい定式化を提示する。Ｔｓａｉ等（２０１９）は、カーネル定式化において、マスクメカニズムとしてフィルタリング関数Ｍを使用する。フィルタリング関数Ｍは、トランスフォーマのデコーダモジュールにおいてセルフアテンションのマスキングのために必要とされ得る。Ｔｓａｉ等（２０１９）は、カスタマイズ性を導入することによるアテンションメカニズムのよりよい理解、および、カーネル特徴量空間、カーネルの構築、位置埋め込み、価値関数（ｖａｌｕｅ ｆｕｎｃｔｉｏｎ）、およびフィルタリング関数の組み込み等のアテンションコンポーネントのよりよい理解を可能にする。

【0013】

トランスフォーマからの２方向エンコーダ表現（ＢＥＲＴ：Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒ）（Ｄｅｖｌｉｎ等、２０１８）は、自己教師ありアプローチにおいて入力トークンの２方向コンテキスト表現を構築するように設計された、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）のエンコーダコンポーネントに基づくアーキテクチャである。

【0014】

ＢＥＲＴ（Ｄｅｖｌｉｎ等、２０１８）は、マスク付き入力トークンの元のトークンを予測するため、ランダム入力トークンをランダムにマスクし、事前訓練目的を設定するためにマスク付き言語モデリングを使用する。ＢＥＲＴは、典型的に入力トークンの１５％をランダムにマスクする。ランダムにマスクされた入力トークンは、［ＭＡＳＫ］トークンによって置換される８０％可能性、別のランダムトークンによって置換される１０％可能性、不変のままである１０％可能性を有する。ＢＥＲＴ（Ｄｅｖｌｉｎ等、２０１８）は、第２の入力センテンスが第１の入力センテンスの次のセンテンスであるか否かを予測するために、事前訓練目的として次センテンス予測（ＮＳＰ：ｎｅｘｔ ｓｅｎｔｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎ）を使用することもできる。これは、質問応答予測（Ｑｕｅｓｔｉｏｎ－Ａｎｓｗｅｒｉｎｇ ｐｒｅｄｉｃｔｉｏｎ）等の複数の下流タスクについて有用である。ＮＳＰ事前訓練目的は、入力の第２のセンテンスが第１の入力センテンスに続く実際のセンテンスであるという５０％可能性、および、入力の第２のセンテンスが訓練用データセットからのランダムなセンテンスであるという５０％可能性を有することができる。

【0015】

ＢＥＲＴは、入力トークンについて単語ピース埋め込み（ＷｏｒｄＰｉｅｃｅ ｅｍｂｅｄｄｉｎｇ）（Ｗｕ等、２０１６）を使用する。入力トークンの単語ピース埋め込みは、セグメント埋め込みおよび位置埋め込みと合計（ｓｕｍ）されて、ＢＥＲＴ入力を作成する。ＢＥＲＴは、選択されたタスクの微調整済みモデルを構築するために、教師あり分類等のアプローチを使用して、下流のタスクに対して同様に微調整され得る。

【0016】

コンテキスト化オブジェクト埋め込み（ＣＯＢＥ：Ｃｏｎｔｅｘｔｕａｌｉｚｅｄ Ｏｂｊｅｃｔ Ｅｍｂｅｄｄｉｎｇ）等の埋め込みは、非テキスト情報を示すこともでき、非テキスト情報は、オブジェクトおよびその関連するナレーションのコンテキスト化単語埋め込みを予測するためにビジュアル検出器を使用するナレーション付き教育ビデオから抽出される（ＢｅｒｔａｓｉｕｓおよびＴｏｒｒｅｓａｎｉ、２０２０）。

【0017】

ＥＬＭｏ（Ｐｅｔｅｒｓ等、２０１８）は、言語的コンテキストおよび構文および意味特性を考慮する単語表現を構築する。生成される単語表現は、２方向言語モデルの内部状態から取り出される。

【0018】

生成的事前訓練済みトランスフォーマ（ＧＰＴ：Ｇｅｎｅｒａｔｉｖｅ ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ）（Ｒａｄｆｏｒｄ等、２０１８）は、ラベルなしテキストの大きいコーパス上でモデルを学習するように設計され、ラベル付きデータを用いる分類タスクに適応するために微調整用のモデルを使用する、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）の変形（Ｌｉｕ等、２０１８）のデコーダコンポーネントに基づくアーキテクチャである。ＧＰＴ事前訓練目的は、方程式２に示すように、尤度を最大にすることである。
Σ_iｌｏｇＰ（ｕ_i｜ｕ_i-k、．．．、ｕ_i-1：Θ） （２）
ここで、Ｐは、それぞれのパラメータΘを有するニューラルネットワークアーキテクチャを使用してモデル化される条件付き確率であり、ｕは、Ｕ＝｛ｕ₁、．．．、ｕ_n｝であるようなラベルなしコーパスＵ内のトークンであり、ｋは、ＧＰＴアーキテクチャの入力コンテキストウィンドウである。

【0019】

訓練済みＧＰＴアーキテクチャは、分類ラベルを予測し、方程式３に示す目的を最大にするために、線形レイヤを追加することによってスーパービジョンタスクについて微調整される。
Σ_(x,y)ｌｏｇＰ（ｙ｜ｘ₁、．．．、ｘ_m） （３）
ここで、Ｐは条件付き確率であり、ｙは分類ラベルであり、｛ｘ₁、．．．、ｘ_m｝は入力トークンである。

【0020】

Ｈｏｏｖｅｒ等（２０１９）は、ＥＸＢＥＲＴ、ＢＥＲＴアテンションメカニズムを理解するために使用される対話型ツールを提示する。ＥＸＢＥＲＴは、学習されたコンテキスト表現に関する洞察を提供することによって、潜在的帰納バイアス（ｐｏｔｅｎｔｉａｌ ｉｎｄｕｃｔｉｖｅ ｂｉａｓ）を示すことができる。入力シーケンスｉｎｐｕｔ_s（ここで、ｉｎｐｕｔ_s＝［トークン₁、トークン₂、．．．、トークン_n］）のアテンションは、ｎ×ｎ行列として規定され得る。ＥＸＢＥＲＴは、上位５０の照合を取り出すためにコサイン類似度を使用してコーパス内で特定のトークンを検索する機能、および、検索されたコーパスにおけるＰＯＳおよびＮＥＲ等の照合されたメタデータの要約の表示と共に、任意のエンコーダレイヤ、アテンションヘッド、または集約アテンション値において、入力シーケンスのアテンション関係をｎ×ｎ行列として示す。

【0021】

木トランスフォーマ（Ｗａｎｇ等、２０１９）は、木ベース階層構造に追従するために、アテンションヘッドに対する制約を有するエンコーダベーストランスフォーマアーキテクチャである。制約は、コーパスから木構造を学習するために構成アテンションモジュールを使用して実施される。木トランスフォーマレイヤは、マルチヘッドアテンションサブレイヤ、構成アテンションモジュール、およびフィードフォワードサブレイヤからなる。構成事前物（Ｃｏｎｓｔｉｔｕｅｎｔ ｐｒｉｏｒｓ）は、構成アテンションモジュールによって計算される。マルチヘッドアテンションのアテンションは、構成事前物によって誘導される。構成アテンションモジュールは、シーケンスｕ＝｛ｕ₁、ｕ₂、．．．、ｕ_n｝を生成することによって構成事前物を生成する。ｕ内の要素は、それぞれの入力トークン（例えば、ｗ₁）およびその近傍のトークン（例えば、ｗ₂）が同じ構成ブロックに属するという確率を示す。ブレイクポイントは、小さい確率値によって示され、新しい構成ブロックの構築をトリガーする。シーケンスｕは、近傍アテンションおよび階層的制約を使用して構築される。木トランスフォーマ法は、グレイボックス法として分類され得、したがって、活性化経路のトレースは、可能でないことになる。本発明者等の提案する方法は、グローバルおよびローカルな説明を生成するためにトランスフォーマベースアーキテクチャ内にホワイトボックスコンポーネントを導入する。

【0022】

ＥＱトランスフォーマ（Ｍｏｕｓａｖｉ等、２０２０）は、階層的アテンティブモデル（ｈｉｅｒａｒｃｈｉｃａｌ ａｔｔｅｎｔｉｖｅ ｍｏｄｅｌ）に基づいて、地震検出のためにエンコーダおよび３つのデコーダを使用する。エンコーダへの入力は、時間的依存性のコンテキスト表現を生成するために震動信号（ｓｅｉｓｍｉｃ ｓｈｉｇｎａｌ）を含む。デコーダは、この学習された情報を使用して、その情報を、各時点について、地震信号、Ｐ相、およびＳ相の存在に関連付けられる確率ベクトルにマッピングする。

【0023】

トランスフォーマアーキテクチャは、画像合成（Ｗｅｉｓｓｅｎｂｏｒｎ等、２０２０）、複数オブジェクト追跡（Ｚｈａｎｇ等、２０２０）、ミュージック生成（Ｈｕａｎｇ等、２０１８）、３Ｄオブジェクト検出（Ｙａｎｇ等、２０１９）、ポイントクラウド処理（Ｇｕｏ等、２０２０）、時系列予報（Ｌｉｍ等、２０２０）、ビジョン言語モデリング（Ｌｉ等、２０１９）、およびエンド－ツー－エンドオブジェクト検出（Ｚｈｕ等、２０２０）のために使用され得る。

【0024】

トランスフォーマアーキテクチャはブラックボックス機械学習モデルである。トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）、ＢＥＲＴ（Ｄｅｖｌｉｎ等、２０１８）、およびＧＰＴ（Ｒａｄｆｏｒｄ等、２０１８）におけるブラックボックスフィードフォワードニューラルネットワークコンポーネントは、生成される予測に対して説明を提供することができない。事前訓練中にトランスフォーマの内部で学習されたアテンションは、ブラックボックスのままであり、階層構造の人間直感を捕捉することができない。ＥＸＢＥＲＴは、学習されたアテンションの或る程度の事後分析を提供する、しかしながら、トランスフォーマベースアーキテクチャは、依然としてブラックボックスモデルのままである。本発明者等の提案する方法は、グローバルおよびローカルな説明を生成するためにトランスフォーマベースアーキテクチャ内にホワイトボックスコンポーネントを導入する。

【発明の概要】

【0025】

少なくとも１つの例示的な実施形態によれば、説明可能なトランスデューサおよび説明可能なトランスフォーマのための方法、システム、および装置が示され説明され得る。

【0026】

トランスデューサは、機械学習システムが、入力言語からのデータを第２の出力言語に翻訳、マッピング、および変換することを可能にすることができる。トランスデューサは、有限状態トランスデューサ（ＦＳＴ：Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｔｒａｎｓｄｕｃｅｒ）としてしばしば実施される。

【0027】

例示的なトランスフォーマは、デコーダおよびエンコーダコンポーネントの組み合わせに基づくアテンションベースアーキテクチャとすることができ、種々の機械学習アプリケーションにおける現況技術の結果を提供することができる。トランスフォーマは、アテンションベースアーキテクチャを有するＦＳＴの洗練された進化として考えられ得る。

【0028】

例示的な実施形態は、例示的な説明可能なトランスデューサ・トランスフォーマ（ＸＴＴ：Ｅｘｐｌａｉｎａｂｌｅ Ｔｒａｎｓｄｕｃｅｒ Ｔｒａｎｓｆｏｒｍｅｒ）を生成するためにＦＳＴを説明可能なトランスフォーマと組み合わせることができる。説明可能なトランスフォーマ－エンコーダおよび説明可能なトランスフォーマ－デコーダ等のＸＴＴ変形が企図され得る。

【0029】

例示的な説明可能なトランスデューサは、訓練済みの説明可能なニューラルネットワーク（ＸＮＮ：Ｅｘｐｌａｉｎａｂｌｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アーキテクチャまたは論理的に等価なアーキテクチャにおける部分置換として使用され得る。

【0030】

例示的な説明可能なトランスフォーマは、トランスフォーマのエンコーダおよびデコーダレイヤの両方のサブレイヤにおいて、トランスフォーマのブラックボックスモデルコンポーネントをホワイトボックスモデル等価物と置換する。

【0031】

ＸＴＴは、回答、説明、およびその正当化理由の解釈を生成するために、説明を生成し、説明をフィルタリングする説明および解釈生成システム（ＥＩＧＳ：Ｅｘｐｌａｎａｔｉｏｎ ａｎｄ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ Ｇｅｎｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）を利用することができる。

【0032】

第１の態様において、本開示は、説明可能な機械学習システムを提供し、説明可能な機械学習システムは、機械学習システムが、入力言語からのデータを第２の出力言語に翻訳、マッピング、および変換することを可能にするように構成される有限状態トランスデューサ、ＦＳＴを備え、有限状態トランスデューサは、変換のために使用される１つまたは複数の入力特徴量を含む入力言語からの上記データを受信するまたは上記１つまたは複数の入力特徴量を変換するように適合され、有限状態トランスデューサは、上記１つまたは複数の入力特徴量に基づいて翻訳、マッピング、および／または変換されたデータを第２の出力言語として提供するようにさらに構成され、および／または、入力言語からの上記データに関連して形成されたデコーダおよびエンコーダコンポーネントの組み合わせに基づくアテンションベースアーキテクチャを有する説明可能なトランスフォーマを備え、有限状態トランスデューサおよび説明可能なトランスフォーマは、入力言語からの上記データを翻訳、マッピング、および／または変換するように構成される説明可能なトランスデューサ・トランスフォーマ、ＸＴＴを生成するために組み合わされるように構成される。

【0033】

第２の態様において、本開示は、説明可能なトランスデューサ・トランスフォーマを提供するためのシステムを提供し、説明可能なトランスデューサ・トランスフォーマは、入力を受信し、１つまたは複数の入力特徴量を識別するように構成される入力レイヤと、条件付きネットワークであって、１つまたは複数のパーティションであって、１つまたは複数のパーティションのそれぞれはルールを含む、１つまたは複数のパーティションに基づいて入力特徴量をモデル化するように構成される条件付きレイヤ、１つまたは複数のルールを１つまたは複数の集約パーティションになるよう集約するように構成される集約レイヤ、および、条件付きレイヤからの１つまたは複数のパーティションを有する、集約レイヤからの集約パーティションを選択的にプールするように構成されるスイッチ出力レイヤを備える、条件付きネットワークと、予測ネットワークであって、１つまたは複数の変換を入力特徴量に適用するように構成される１つまたは複数の変換ニューロンを備える特徴量生成および変換ネットワーク、１つまたは複数の特徴量および１つまたは複数のパーティションの少なくとも一方に関連する１つまたは複数の係数を識別するために特徴量生成および変換ネットワークによって変換された特徴量を組み合わせるように構成されるフィットレイヤ、値出力レイヤであって、１つまたは複数の係数を解析するように構成され、１つまたは複数の特徴量あるいは１つまたは複数のパーティションの少なくとも一方に関連する値を出力するように構成される、値出力レイヤを備える、予測ネットワークと、エンコーダレイヤおよびデコーダレイヤであって、エンコーダレイヤおよびデコーダレイヤの少なくとも一方は、入力から形成される説明可能なアーキテクチャを備える、エンコーダレイヤおよびデコーダレイヤと、機械プログラムまたは人間の少なくとも一方によって解釈可能かつ説明可能である出力を生成するように構成される出力レイヤであって、パーティション全体を通る１つまたは複数の実行経路は外部プロセスによって識別可能である、出力レイヤとを備える。

【0034】

第３の態様において、本開示は、第１および／または第２の態様において説明したシステムを配備するためのコンピュータ実施方法を提供する。

【0035】

本明細書で説明する方法は、有形記憶媒体上で、機械可読形態で、例えば、コンピュータプログラムであって、プログラムがコンピュータ上で実行されると、本明細書で説明する方法のうちの任意の方法の全てのステップを実施するように適合されるコンピュータプログラムコード手段を備え、コンピュータ可読媒体上で具現化され得る、コンピュータプログラムの形態で、ソフトウェアによって実施され得る。有形の（または非一時的な）記憶媒体の例は、ディスク、サムドライブ、メモリカード等を含み、伝搬信号を含まない。ソフトウェアは、方法ステップが任意の適した順序でまたは同時に実行され得るように並列プロセッサまたはシリアルプロセッサ上での実行に適するとすることができる。

【0036】

好ましい特徴は、当業者に明らかになるように、必要に応じて組み合わされ得、本発明の態様のうちの任意の態様と組み合わされ得る。

【0037】

本発明の実施形態の利点は、本発明の例示的な実施形態の以下の詳細な説明から明らかになり、その説明は、同様の数字が同様の要素を示す添付図面と併せて考えられるべきである。

【図面の簡単な説明】

【0038】

【図1】有限状態トランスデューサ（従来技術）の例示的な実施形態の図である。

【図2】Ｖａｓｗａｎｉ等（２０１７）から採用されたトランスフォーマ（従来技術）の例示的な実施形態の図である。

【図3】例示的な説明可能なニューラルネットワーク（ＸＮＮ）アーキテクチャの図である。

【図4】例示的なＸＮＮアーキテクチャの図である。

【図5】例示的な解釈可能なニューラルネットワーク（ＩＮＮ：Ｉｎｔｅｒｐｒｅｔａｂｌｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アーキテクチャの図である。

【図6】パーティション情報を有するエンコーダおよびデコーダコンポーネントにおいて説明可能なアーキテクチャを使用する説明可能なトランスフォーマアーキテクチャの例示的な実施形態の図である。

【図7】パラレルな説明可能なエンコーダコンポーネントおよびパラレルな説明可能なデコーダコンポーネントを有する説明可能なトランスフォーマアーキテクチャの例示的な実施形態の図である。

【図8】（ａ．）トランスフォーマエンコーダ（従来技術）の例示的な実施形態および（ｂ．）説明可能なトランスフォーマエンコーダ（ＸＴＴ－エンコーダ）の例示的な実施形態の図である。

【図9】（ａ．）トランスフォーマデコーダ（従来技術）の例示的な実施形態および（ｂ．）説明可能なトランスフォーマデコーダ（ＸＴＴ－デコーダ）の例示的な実施形態の図である。

【図10】（ａ．）下流分類タスクを有するＸＴＴ－エンコーダの例示的な実施形態および（ｂ．）下流分類タスクを有するＸＴＴ－デコーダの例示的な実施形態の図である。

【図11】分散型ＸＴＴ訓練システムの例示的な実施形態の図である。

【図12】説明可能な有限状態トランスデューサの例示的な実施形態の図である。

【図13】例示的なＸＮＮ内にルールベース知識を埋め込むためのシステムの例示的な実施形態の図である。

【図14】例示的な説明および解釈プロセスを示す例示的な概略フローチャートである。

【図15】例示的な帰納法を示す例示的な概略フローチャートである。

【図16】ＣＮＮ－ＸＴＴアーキテクチャの例示的な実施形態の図である。

【図17】インバースインデキシングメカニズムを実施するＣＮＮ－ＸＴＴの例示的な実施形態の図である。

【図18】ＭＬベースシステム内の安全および保証のための例示的な挙動モデルの図である。

【図19】因果モデルを有する例示的なＸＴＴの図である。

【図20】マルチタスククロスオーバー学習構造を有する例示的な説明可能なシステムの図である。

【図21】（ａ．）一方向クロスオーバーリンクおよび（ｂ．）２方向クロスオーバーリンクを有する例示的なマルチタスククロスオーバー学習構造の図である。

【図22】識別－アセス－推奨－解決（ＩＡＲ：Ｉｄｅｎｔｉｆｙ－Ａｓｓｅｓｓ－Ｒｅｃｏｍｍｅｎｄ－Ｒｅｓｏｌｖｅ）フレームワーク内でＸＴＴを使用する文書処理のための例示的な説明構造モデル（ＥＳＭ：Ｅｘｐｌａｎａｔｉｏｎ Ｓｔｒｕｃｔｕｒｅ Ｍｏｄｅｌ）の図である。

【図23】例示的なＸＴＴシステムを使用する、文書データからの例示的な自動化ドラフト因果モデル作成の図である。

【発明を実施するための形態】

【0039】

本発明の態様は、以下の説明および本発明の特定の実施形態を対象とする関連する図面において開示される。代替の実施形態は、本発明の趣旨または範囲から逸脱することなく考案され得る。さらに、本発明の例示的な実施形態のよく知られている要素は、本発明の関連する詳細を曖昧にしないために、詳細に説明されないであろう、または、省略されるであろう。さらに、説明の理解を容易にするために、本明細書で使用される幾つかの用語の説明議論が続く。

【0040】

本明細書で使用されるように、単語「例示的な（ｅｘｅｍｐｌａｒｙ）」は、「例、事例、または例証として役立つ（ｓｅｒｖｉｎｇ ａｓ ａｎ ｅｘａｍｐｌｅ、ｉｎｓｔａｎｓｅ ｏｒ ｉｌｌｕｓｔｒａｔｉｏｎ）」を意味する。本明細書で説明する実施形態は、制限的ではなく、むしろ単に例示的である。説明される実施形態が、他の実施形態より好ましいまたは有利であると必ずしも解釈されないことが理解されるべきである。さらに、用語「本発明の実施形態（ｅｍｂｏｄｉｍｅｎｔｓ ｏｆ ｔｈｅ ｉｎｖｅｎｔｉｏｎ）」、「実施形態（ｅｍｂｏｄｉｍｅｎｔｓ）」、または「発明（ｉｎｖｅｎｔｉｏｎ）」は、本発明の全ての実施形態が、論じた特徴、利点、または動作モードを含むことを要求しない。

【0041】

さらに、本明細書で説明する実施形態の多くは、例えば、コンピューティングデバイスの要素によって実施されるアクションのシーケンスの観点で説明される。本明細書で説明するアクションの種々のシーケンスが、特定の回路（例えば、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ））によって、および／または、少なくとも１つのプロセッサによって実行されるプログラム命令によって実施され得ることが当業者によって認識されるべきである。さらに、本明細書で説明するアクションのシーケンスは、任意の形態のコンピュータ可読記憶媒体内で完全に具現化され得、それにより、アクションのシーケンスの実行は、少なくとも１つのプロセッサが本明細書で説明する機能を実施することを可能にする。さらに、本明細書で説明するアクションのシーケンスは、ハードウェアおよびソフトウェアの組み合わせで具現化され得る。そのため、本発明の種々の態様は、多数の異なる形態で具現化され得、それらの全ては、特許請求される主題の範囲内にあることが企図されている。さらに、本明細書で説明する実施形態のそれぞれについて、対応する形態のそのような任意の実施形態は、例えば、説明するアクションを実施「するように構成されるコンピュータ（ａ ｃｏｍｐｕｔｅｒ ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」として本明細書で説明され得る。

【0042】

用語、解釈可能なおよび説明可能な、は、異なる意味を有することができる。解釈可能性は、解釈者の観点で規定される必要がある場合がある特性とすることができる。解釈者は、（ｉ．）それ自身の知識および信念、（ｉｉ．）目標－アクション計画、（ｉｉｉ．）コンテキスト、および（ｉｖ．）世界環境の組み合わせを使用して、システム出力またはアーチファクトを解釈するエージェントとすることができる。例示的な解釈者は知識豊富な人間とすることができる。

【0043】

知識豊富な人間解釈者に対する代替物は、適した自動化システム、例えば、制限された範囲のアプリケーションについて、出力またはアーチファクトを解釈することができるとすることができる、狭いドメイン内のエキスパートシステムとすることができる。例えば、医療エキスパートシステム、または、エンド－ツー－エンド機械学習システム等の何らかの論理等価物は、医療アプリケーションドメインの特定のセットにおいて医療結果の有効な解釈を出力することができるとすることができる。

【0044】

非人間解釈者であって、人間解釈者の役割を部分的にまたは完全に置換するおよび／または解釈能力をより広い範囲のアプリケーションドメインに拡張することができる、非人間解釈者が将来作成され得ることが企図され得る。

【0045】

２つの別個のタイプの解釈可能性：（ｉ．）任意の形態の自動化または機械的モデルが、そのサブコンポーネント、構造、および挙動と共に、どれほど解釈可能であるかを測定するモデル解釈可能性および（ｉｉ．）任意の形態の自動化または機械的モデルからの出力がどれほど解釈可能であるかを測定する出力解釈可能性が存在するとすることができる。

【0046】

そのため、解釈可能性は、単純な２値特性ではなく、完全に解釈可能から解釈不能に及ぶ摺動スケール上で評価され得る。モデル解釈可能性は、出力を生成する基礎の実施形態、実施態様、および／またはプロセスの解釈可能性とすることができ、一方、出力解釈可能性は、出力自身またはどんなアーチファクトが検査されていようともそのアーチファクトの解釈可能性とすることができる。

【0047】

機械学習システムまたは適した代替の実施形態は、多数のモデルコンポーネントを含むことができる。モデルコンポーネントは、それらの内部挙動および機能が、解釈者によって、考えられる入力のサブセットについて、完全に理解され正しく予測され得る場合、モデル解釈可能とすることができる。一実施形態において、モデルコンポーネントの挙動および機能は、状態遷移チャート、プロセスフローチャートまたはプロセス記述、挙動モデル、あるいは何らかの他の適した方法等の種々の方法で実施され示され得る。モデルコンポーネントは、それらの出力が、解釈者によって、考えられる入力のサブセットについて、理解され正しく予測され得る場合、出力解釈可能とすることができる。

【0048】

例示的な機械学習システムまたは適した代替の実施形態は、（ｉ．）完全にモデル解釈可能である（すなわち、そのコンポーネントの全てがモデル解釈可能である）場合、グローバルに解釈可能である、または、（ｉｉ．）部分的にモデル解釈可能である（すなわち、そのコンポーネントの一部のみがモデル解釈可能である）場合、モジュラー解釈可能であるとすることができる。さらに、機械学習システムまたは適した代替の実施形態は、全てのその出力が出力解釈可能である場合、ローカルに解釈可能とすることができる。

【0049】

ブラックボックス特性とホワイトボックス特性とのハイブリッド混合であるグレイボックスは、出力に関してはホワイトボックスの特性を有することができるが、その内部挙動または機能に関してはブラックボックスの特性を有することができる。

【0050】

ホワイトボックスは、ローカルとグローバルの両方の説明可能性を達成することができる完全にモデル解釈可能でかつ出力解釈可能なシステムとすることができる。そのため、完全にホワイトボックスのシステムは、内部機能と出力の両方の観点で、完全に説明可能でかつ完全に解釈可能とすることができる。

【0051】

ブラックボックスは、出力解釈可能であるが、モデル解釈可能でないとすることができ、制限されたローカル説明可能性を達成することができ、ブラックボックスを、内部機能の観点で説明可能性能力がほとんどないかまたは全くなくかつ理解が最小である状態で、少なくとも説明可能にする。深層学習ニューラルネットワークは、出力解釈可能であるがモデル解釈不能システムとすることができる。

【0052】

グレイボックスは、部分的にモデル解釈可能でかつ出力解釈可能なシステムとすることができ、内部機能の観点で部分的に説明可能でかつ出力の観点で解釈可能とすることができる。そのため、例示的なグレイボックスは、ほぼ説明可能でかつ解釈可能（ホワイトボックス）からわずかに説明可能でかつ解釈可能（ブラックボックス）のスケール上でホワイトボックスとブラックボックスとの間にあるとすることができる。グレイボックスシステムは、或るレベルのモジュラー解釈可能性を有することができる。なぜなら、それらのコンポーネントの一部がモデル解釈可能とすることができるからである。

【0053】

説明可能なトランスフォーマＸＴＴモデルにおいて利用される説明可能なアーキテクチャは、説明可能な人工知能（ＸＡＩ：ｅＸｐｌａｉｎａｂｌｅ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル、解釈可能なニューラルネット（ＩＮＮ）、説明可能なニューラルネット（ＸＮＮ）、説明可能なスパイキングネット（ＸＳＮ：ｅＸｐｌａｉｎａｂｌｅ Ｓｐｉｋｉｎｇ Ｎｅｔ）、および説明可能なメモリネット（ＸＭＮ：ｅＸｐｌａｉｎａｂｌｅ Ｍｅｍｏｒｙ Ｎｅｔ）モデルを含むが、それに限定されない。さらなる例示的な実施形態は、説明可能な強化学習（ＸＲＬ：ｅＸｐｌａｉｎａｂｌｅ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）のホワイトボックス性質を利用することによって、バイアスをグローバルとローカルの両方で検出するための方法を提示することができる。

【0054】

幾つかの例は、これらのうちの１つまたは複数（例えば、ＸＡＩまたはＸＮＮのみ）を特に参照することができるが、本明細書で説明する実施形態のいずれの実施形態も、ＸＡＩ、ＸＮＮ、ＸＴＴ、ＸＳＮ、またはＸＭＮに交換可能に適用され得ることが企図され得る。別の例示的な実施形態は、ブラックボックスモデルとホワイトボックスモデルとの間のハイブリッドモデルとすることができる、解釈可能なニューラルネット（ＩＮＮ）および関連するグレイボックスモデルにおけるバイアス検出に関連することができる。例示的な実施形態は、グレイボックスモデルのホワイトボックス部分に完全に適用することができ、グレイボックスモデルのブラックボックス部分の少なくとも或る部分に適用することができる。本明細書で説明する実施形態のいずれの実施形態も、ＩＮＮに同様に交換可能に適用され得ることが企図され得る。

【0055】

説明可能なニューラルネット（ＸＮＮ）は、本質的に解釈可能かつ説明可能である新しいタイプの人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。ＸＮＮの背後の主要な概念は、内部ネットワーク構造が完全に解釈可能であることである。解釈可能性は、アーキテクチャ自身内に構築されるが、標準的なニューラルネットワークのように機能する。これは、ニューラルネットワークの結果を解釈するためにさらなる技法または処理を適用する必要性をなくす。ＸＮＮは、シミュレーション、反復、摂動（ｐｅｒｔｕｒｂａｔｉｏｎ）等についての必要性なしで、単一フィードフォワードステップにおいて回答とその説明の両方を計算する。ＸＮＮは、ソフトウェアにおいてだけでなくハードウェアにおいても効率的に容易に実施可能であるように同様に設計され、速度および空間のかなりの改善をもたらす。

【0056】

ＸＮＮは、複数のローカルモデルを１つのグローバルモデルになるように結合することができる。ローカルモデルは、全体検索空間内の小さいエリアを分析する。グローバルモデルは、全体的視点によってモデルをおよそ理解する。ＸＮＮは、両方を実施することができる－複数のパーティションは、各パーティションを説明するローカルゾーンおよび複数の線形モデルを示し、結合されると、それらは、グローバルモデルを構成する。ＸＮＮは、説明可能性を保持しながら、ニューラルネットワーク自身内に変換を埋め込むことによって線形データと非線形データの両方をサポートする。ＸＮＮ内の各レイヤ、ニューロン、および接続は、ブラックボックスである標準的なＡＮＮと違って、正確でよく知られており理解可能な機能を有する。そのため、ＸＮＮは、第１の今まで知られている完全にホワイトボックスのＡＮＮであり、理解可能かつ解釈可能である新しいカテゴリのニューラルネットワークをもたらす。

【0057】

ここで例示的な図１３を参照すると、図１３は、ＸＮＮに埋め込まれたルールベース知識または論理的に等価な知識を示す概略フローチャートとすることができる。第１に、パーティション条件２９０２は、多数のルールおよびエンコード済み知識を参照することができる位置特定方法を使用して選択され得る。パーティションは、オーバーラップしないかまたはオーバーラップするとすることができる。オーバーラップしないパーティションの場合、ＸＮＮは、フィードフォワードモードにおいて単一経路を採用することができる。オーバーラップするパーティションの場合、ＸＮＮは、フィードフォワードモードにおいて複数の経路を採用することができ、各経路について確率またはランク付けスコアを計算することができる。代替の実施形態において、オーバーラップするパーティションは、活性化済みパーティションからの結果を結合する集約関数（ａｇｇｒｅｇａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を利用することもできる。パーティション条件２９０２は、示されるモデルの特定のエリアにＸＮＮを集中させるものと解釈され得る。パーティション位置特定方法は、典型的には、テンプレート２９０４によって与えられる形態で実施され得、テンプレート２９０４において、種々の特徴量２９０６は、連言標準形（ＣＮＦ：ｃｏｎｊｕｎｃｔｉｖｅ ｎｏｒｍａｌ ｆｏｒｍ）または選言標準形（ＤＮＦ：ｄｉｓｊｕｎｃｔｉｖｅ ｎｏｒｍａｌ ｆｏｒｍ）等の論理等価物を使用して実数２９０８と反復的に比較される。代替の実施形態において、タイプ１またはタイプ２ファジーロジックシステム、モーダルロジック、量子ロジック、確率的ロジック、あるいは、論理のまたは同様のステートメントの表現のための他の適したタイプの論理システム等の他の非ブール論理システムが利用され得る。

【0058】

位置特定方法の値、条件、および基礎の方程式は、ＸＡＩモデル帰納法または論理的に等価な方法等の外部プロセスを使用して、選択され識別され得る。代替の実施形態において、位置特定の値、条件、および基礎の方程式は、後方伝播等の勾配降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｍｅｔｈｏｄ）を使用するエンド－ツー－エンドアプローチを使用して部分的にまたは完全に帰納され得る。選択された値は、相対的試験または提供される合成データにモデルをフィットするときに特定のレベルの正確度が得られるまで、および／または、初期ブラックボックス予測器モデルに反復的に質問することによって、反復的に試験され変動される。ＸＮＮは、条件付きネットワークの一部とすることができる位置特定または集中化モジュール内に４つの例示的なコンポーネント、すなわち、入力レイヤ２９１０、条件付きレイヤ２９１２、値レイヤ２９１４、および出力レイヤ２９１６を有することができる。

【0059】

入力レイヤ２９１０は、ＸＮＮによって処理される必要がある種々の特徴量を受信するために構築され得る。入力レイヤ２９１０は、各活性化がニューロンの群を興奮させる条件付きレイヤ２９１２を通して処理済み特徴量を給送する。条件付きレイヤは、出力に沿って通過する前に、条件が合うことを必要とする。さらに、入力は、値レイヤ２９１４によってさらに分析され得る。出力Ｘの値（整数または実数等の計算の場合）またはクラス（分類アプリケーション等の場合）Ｘは、値レイヤ２９１４によって計算される方程式Ｘ．ｅによって与えられる。Ｘ．ｅ関数結果は、出力２９１６を生成するために使用され得る。条件付きレイヤおよび値レイヤが、任意の順序でまたは同時に起こる場合があることが企図され得る。

【0060】

ここで例示的な図３を参照すると、図３は、例示的な高レベルＸＮＮアーキテクチャの概略的ダイヤグラムを示すことができる。入力レイヤ４０２は、条件付きネットワーク４１０と予測ネットワーク４２０の両方におそらくは同時に入力され得る。条件付きネットワーク４１０は、条件付きレイヤ４１２、集約レイヤ４１４、およびスイッチ出力レイヤ（条件付き値を出力する）４１６を含むことができる。予測ネットワーク４２０は、特徴量生成および変換４２２、フィットレイヤ４２４、および予測出力レイヤ（値出力）４２６を含むことができる。レイヤは、選択およびランク付けレイヤ４２８によって分析され得、選択およびランク付けレイヤ４２８は、値出力によってスイッチ出力を逓倍することができ、ランク付けされたかまたはスコア付けされた出力４３０を生成する。説明および回答は、条件付きネットワークおよび予測ネットワークによってＸＮＮによって同時に計算され得る。選択およびランク付けレイヤ４２８は、回答および説明が、出力４３０に送信される前に、正しく照合され、ランク付けされ、適切にスコア付けされることを保証することができる。

【0061】

条件付きネットワーク４１０および予測ネットワーク４２０の処理は、任意の順序であることが企図される。ＸＮＮの特定のアプリケーションに応じて、コンポーネント４１２、４１４、および４１６のような条件付きネットワーク４１０のコンポーネントの一部が、オプションであるかまたは平凡な実施態様と置換され得ることが企図され得る。ＸＮＮの特定のアプリケーションに応じて、コンポーネント４２２、４２４、および４２６等の予測ネットワーク４２０のコンポーネントの一部が、オプションであるかまたは平凡な実施態様と置換され得ることがさらに企図され得る。

【0062】

幾つかの状況において、選択およびランク付けレイヤ４１８ならびに出力４３０が、１つの統合コンポーネントになるように結合され得ることがさらに企図され得る。最適化のために、ＸＮＮは、条件付きネットワーク４１０および予測ネットワーク４２０が共に、全てのそれらのコンポーネントと共に１つのネットワークにマージされた状態で、同様に実施され得る。このマージされた条件付きネットワークおよび予測ネットワークは同様に、結合された、選択およびランク付けレイヤ４２８および出力４３０とマージされ得る。この最適化は、フィードフォワード処理についてより速いとすることができる論理的に等価なＸＮＮをやはりもたらすであろう。

【0063】

そのため、ＸＮＮは、入力レイヤ４０２ならびに条件付きネットワーク４１０および予測ネットワーク４２０の結合が存在するように実施され得、条件付きネットワーク４１０および予測ネットワーク４２０の結合は、条件付きレイヤ４１２、集約レイヤ４１４、スイッチ出力レイヤ４１６、特徴量生成および変換レイヤ４２２、フィットレイヤ４２４、予測レイヤ４２６、および出力４３０につながるランク付けレイヤ４２８を含む。この結合は、ソフトウェアとハードウェア実施態様の両方を含む、ＸＮＮの全ての実施形態および実施態様に適用することができる。ＸＮＮの変換能力は、この点に関して、柔軟性および極端なマージングがＸＮＮの論理挙動に影響を及ぼすことなく実施されることをＸＮＮのホワイトボックス性質が可能にするため、ユニークでありかつ他のニューラルネットワーク実施態様において比類がないが、これは、実用的な実施態様の種々の属性、例えば、サイズ／空間使用、性能、リソース使用、訓練可能性、および全体スループットに影響を及ぼす。

【0064】

ここで図４を参照すると、図４は、スイッチ出力レイヤからの結果と値出力レイヤとを結合する例示的なＸＮＮアーキテクチャを示すことができる。図４に示す例は、以下の例示的なルールセットに論理的に等価である：

【数5】

【0065】

ルールセットは、出力レイヤ５２０内の活性化関数に続いて見出され得る。図４の例示的なアーキテクチャは、入力４００で始まることができる。この入力４００は、図３に示すアイテム４０２等の適切な入力レイヤ内で処理され得る。入力は、その後、条件付きネットワーク４１０および予測ネットワーク４２０への入力として使用され得る。図４に示すように、予測ネットワークは、特徴量生成および変換レイヤ４２２、フィットレイヤ４２４、および値出力レイヤ４２６を含むことができる。値出力レイヤ４２６は、入力の異なる特徴量に重み付けする方程式を提供することができる。さらに、入力４００は、図３に示すように、条件付きネットワーク４１０への入力として使用され得る。再び、条件付きレイヤ４１２および集約レイヤ４１４は、スイッチ出力レイヤ４１６に示される連言ルール（ｃｏｎｊｕｎｃｔｉｖｅ ｒｕｌｅ）または他の論理的等価物またはパーティションを生成することができる。

【0066】

値出力レイヤ４２６およびスイッチ出力レイヤ４１６の出力は、図３に示す出力レイヤ４３０等の適切な出力レイヤ内で結合され得る。出力レイヤ４３０が形成されると、シグモイドまたは他の活性化関数５２０は、アプリケーションに応じて、結果５１８に適用され得る。ランク付けレイヤ５１６が、アプリケーションに応じて、出力結合の前におよび／またはその後に、結果に同様に適用され得ることがさらに企図される。

【0067】

ＸＮＮは、ＡＮＮおよび深層学習等の関連方法のパワーを依然として利用しながら、解釈可能なモデルを構築する直感的な方法を提示することができる。モデルが、後方伝播または同様の方法を通して訓練されると、結果として得られるニューラルネットワークは、予測に役立つために使用され得、ＸＮＮの内部構造は、ルールを構築するために使用され得る。

【0068】

解釈可能なニューラルネットワーク（ＩＮＮ）は、既存の深層学習技法を使用して説明を自動的に生成することができるアーキテクチャを提供する。ＩＮＮは、ニューラルネットワークのために使用される既存のソフトウェアインフラストラクチャおよびハードウェアを利用することができ、また、後方伝播訓練技法に完全に整合するままであることもできる。

【0069】

アーキテクチャは、入力を幾つかの隠れた特徴量に変換する特徴量トランスフォーマおよび隠れた特徴量を特徴量重みに変換する多数のレレバンス推定器（ｒｅｌｅｖａｎｃｅ ｅｓｔｉｍａｔｏｒ）を含むことができる。特徴量重みは、その後、変換された入力と結合されて、入力され変換された各特徴量の寄与度（ａｔｔｒｉｂｕｔｉｏｎ）を抽出する。結果として得られる特徴量寄与度は、その後、結果のために集約される。特徴量寄与度は、異なるレベルで抽出され得る。最も単純な形態では、寄与度は、元の入力と直接リンクされ得る。ＣＮＮ等の他の場合には、特徴量寄与度は、カーネルおよびフィルタにおいて典型的に見出される高レベル特徴量について同様に計算され得る。さらに、ＩＮＮは、モデルを種々のパーティションで分割することができ、したがって、ローカルのまたは区分化した説明可能性の混合を可能にすることによって、より高いレベルの柔軟性および解釈可能性を可能にする。幾つかの場合、ＩＮＮは、同様にグローバル説明可能性を提供することが可能である。

【0070】

ここで図５を参照すると、図５は、解釈可能なニューラルネットワークのための例示的なアーキテクチャを示すことができる。例示的な実施形態は、標準的なニューラルネットワークに対するアーキテクチャ制約をモデルデータに適用することができる。例示的な実施形態は、幾つかの入力ベクトルＸ６０１で始まることができる。入力は、特徴量生成および変換ネットワーク６０２ならびにｋレレバンス推定器６０４に接続することができる。変換された特徴量は、抽象または高レベル特徴量とすることができ、それらの特徴量は、ＣＮＮ等のディープニューラルネットワーク、多項式展開等の非線形数学的関数、フーリエ変換、連続データバケット化（ｂｕｃｋｅｔｉｚａｔｉｏｎ）、因果作用素、または、離散的または連続的とすることができる何らかの他の形態の生成特徴量を使用して計算された可能性がある。特徴量および変換ネットワークが、変換であって、多項式展開、回転、次元および無次元尺度法、フーリエ変換、ウォルシュ関数、状態空間および位相空間変換、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ／フレシェ／ハウスドルフ／チコノフ空間のトポロジカル変換、相違分析、およびデータの正規化／標準化を含むが、それに限定されない、変換のパイプラインとすることができることがさらに企図される。レレバンス推定器６０４は、変換された各特徴量について、少なくともローカル方法で、係数を計算することができる。

【0071】

数学的用語では、変換ネットワークは、関数Ｔ（Ｘ）として示され得る。同様に、θ_j（Ｘ）は、ｊ番目のパーティションのレレバンス関数を示す。Ｘ→Ｔ（Ｘ）が、ｚ変換済み次元を有するベクトルを返す場合、Ｘ→θ_j（Ｘ）は、ｚ係数またはレレバンス重みを有するベクトルを同様に返す。｜Ｔ（Ｘ）｜＝｜θ_j（Ｘ）｜＝ｚが仮定される。

【0072】

ＩＮＮは、種々のオプションおよび構成を通して複雑さのモデリングを可能にするのに十分に柔軟性があるとすることができる。関数Ｘ→Ｔ（Ｘ）およびＸ→θ_i（Ｘ）は、複雑な抽象特徴量をモデル化することを可能にするディープニューラルネットワークとすることができる。ネットワークは、ホワイトボックス推定器を有するためにＸＮＮとすることもできる。Ｔ（Ｘ）およびθ_j（Ｘ）の結合が、ＩＮＮアーキテクチャを用いて実施することが可能である説明可能なモデルの種々の実施形態を示すことができることが留意され得る。

【0073】

ニューラルネットワークは、条件付きネットワーク６０６を含むことができる。条件付きネットワーク６０６は、１つまたは複数のパーティションを活性化するために、ＩＦ条件の形態でルールを評価することができる。Ｃｉ（Ｘ）の出力は、２値とすることができる。パーティションが、静的または動的とすることができ、外部パーティショニングプロセスを通して、接続されたニューラルネットワークを通して、または内部プロセスを通して発見され得ることが留意され得る。ＩＮＮが、Ｘの全ての値についてＣｉ（Ｘ）が常に１である、１つのパーティションのみを用いて機能することもできることも留意され得る。これは、ゼロパーティションを有することと等価である。この場合、適したパーティションを見出すためにパーティショニング法を適用する必要性は存在しない。

【0074】

特徴量寄与度６０８は、関連するパーティションによって活性化される変換された各特徴量の寄与度を計算することができる。レレバンス寄与度は、計算された係数の結果を、変換された特徴量で乗算することができる。数学的用語では、特徴量寄与度６０８は、ｊ番目のパーティションについてθ_j（Ｘ）Ｔ（Ｘ）を計算することができる。レイヤ６０８の出力は、説明生成の基礎として役立つことができる。このレイヤからの値は、特徴量寄与度グラフ、ヒートマップ、テキスト形式説明、または他の形態の説明を生成するために使用され得る。

【0075】

集約レイヤ６１０において、ニューラルネットワークは、各パーティションについての結果（活性化されたパーティションについての予測結果）を集約する。数学的用語で、例示的な集約関数は、Ａ_j（θ_j（Ｘ）Ｔ（Ｘ））によって規定され得る。例示的な実施形態において、集約関数は、特徴量寄与度の単純な合計とすることができる。これは、線形関数と等価になり、結果Ｒ_j＝θ_j（Ｘ）₁Ｔ（Ｘ）＋…＋θ_j（Ｘ）_ZＴ（Ｘ）になるように、ローカル方法で少なくとも機能する。

【0076】

モデルが、オーバーラップするパーティションを有することができることが企図され得る。この場合、ランク付け関数は、オーバーラップするパーティションを分解するために適用され得る。Ｒがランク関数を規定し、Ｐ_jがｊ番目のパーティションの出力を規定すると、それは、一般化モデルを、
ｆ（ｘ）＝Ｒ（（Ｐ₁、Ｐ₂、．．．、Ｐ_j、．．．、Ｐ_k））に導く。

【0077】

最後に、スイッチレイヤ６２０は、活性化されたパーティションを選択する。２つ以上のパーティションが活性化される場合、何らかのランク付け関数６２５が適用される必要がある場合がある。結果は、結果レイヤ６３０を通して生成される。

【0078】

実用的な実施形態において、ＩＮＮモデルは、変換関数Ｔ（ｘ）内に、推定器θ_j（ｘ）内に、集約関数Ａ内に、ランク付け関数Ｒ内に、または何らかの他のコンポーネント内に幾つかの最適化を有することができる。ＩＮＮは、必要とされる簡単さまたは複雑さのレベルに応じて、パーティションがカスタマイズされることを可能にすることによって、より高いレベルの柔軟性を提供することができる。

【0079】

ここで図１４の例示的な実施形態を参照すると、図１４は、例示的な説明生成パイプラインを提示することができる。パイプラインは、現在検査されているデータサンプル、シナリオ、または他の質問を示す入力クエリ９０２で始まることができ、入力クエリ９０２は、その後、３つのコンポーネント：説明可能なまたは解釈可能なシステム／モデル９０４、説明器９０８、および解釈器９１２を通して処理され得る。３つの主要なコンポーネントのそれぞれは、パイプライン内の次のコンポーネントへの入力とすることができる異なる出力を生成することができる。入力クエリ９０２が、特定のデータサンプルまたはシナリオのみに限定されず、全体モデル（グローバルモデル説明）、または、解釈可能なモデルの特定のコンポーネントを扱うモジュラー説明に関連することができることが企図され得る。

【0080】

説明可能なまたは解釈可能なシステム／モデル９０４は、回答９０６１であって、その回答のオプションのモデル説明９０６２を伴う、回答９０６１、および任意に、回答の正当化理由９０６３および／またはそのモデル説明からなる説明可能なまたは解釈可能な出力９０６を生成することができる。回答の正当化理由９０６３および／またはそのモデル説明は、モデル説明の説明（すなわち、メタ説明）であり、回答および／またはモデル説明を出力するときに説明可能なまたは解釈可能なシステム／モデル９０４によって採用される仮定、プロセス、および意思決定に関するさらなる情報を与える。説明器９０８は、説明スカフォールド（Ｅｘｐｌａｎａｔｉｏｎ Ｓｃａｆｆｏｌｄｉｎｇ）９１０１およびオプションの候補説明９１０２からなる説明器出力９１０を生成することができる。例示的な実施形態において、候補説明は、説明スカフォールド（Interpretation Scaffolding）９１０１の処理の結果として生成され、教師なしまたは教師あり学習および最適化を含む何らかの形態の反復プロセスにおいて説明スカフォールドのコンテンツの評価のプロセスにおいて使用され得る。フィルタ９１１は、例えば、説明器９０８が現在ステップについて出力を生成した後で、しかし解釈器９１２が開始する前に、説明スカフォールド９１０１および解釈スカフォールド９１１１を主に変換しフィルタリングするオプションのコンポーネントである。

【0081】

解釈器９１２は、解釈スカフォールド９１１１を使用して、説明９１４１を、その説明のオプションの解釈９１４２と共に生成することができる。

【0082】

説明および／または解釈を含む説明プロセスの最終結果９１４は、人間ユーザ、別のアプリケーション、あるいは、より大きい実施形態または何らかの他の自動化システムの一部を形成する別のシステムコンポーネントに提供され得る。

【0083】

図１４が１つの例示的なパイプラインとすることができ、パイプラインが、１つまたは複数のコンポーネントを省略または結合する、および／または、それらを異なる順序およびシーケンスで実行することができる種々の代替の方法で実施され得ることに留意されたい。例えば、例示的で実用的な実施態様実施形態において、説明器９０８および解釈器９１２が共に、それらのそれぞれの出力９０８および９１４と共に省略され得ることが企図され得る。

【0084】

別の例示的な実施形態において、コンポーネント９０８および９１２は、出力９０８および９１４の結合を生成する単一コンポーネントとして結合され得る。

【0085】

別の想定される実施形態において、解釈器９１４の簡略化された実施態様は、候補説明９１０２を単に採用し、それを説明９１４１として出力する。

【0086】

グローバル（すなわち、モデルレベル）説明またはクエリが少ないアプリケーション（ｑｕｅｒｙ－ｌｅｓｓ ａｐｐｌｉｃａｔｉｏｎ）実施形態の場合、入力クエリ９０２さえも、図１４の例示的なパイプラインに対する論理的等価物を失うことなく、省略され得ることがさらに企図され得る。

【0087】

図１４の或る結合の出力は、実用的な実施形態において共に結合または省略され得ることが企図され得る。例えば、正当化理由９０６３が、幾つかのアプリケーションにおいてオプションと見なされ得、一方、解釈９１４２が、自動化システムの代わりに、人間解釈者またはエキスパートが作成するために残され得ることが想定され得る。解釈可能な機械学習システムは、完全に理解され、その機能および内部挙動（モデル解釈可能性）、解釈者によって解釈され理解される回答（出力解釈可能性）および説明を有することができる。回答を伴う最終的な説明は、それらのコア構造上でさらなる事後処理を必要としない場合があるが、統語論的および意味論的情報を付加し、説明をコンテキスト化し個人化するさらなる処理サイクルは、図１４に示すように受容され、説明９１４１は、最終ステージに達する前に、変換および強化の異なるステージを通過する。

【0088】

説明可能な強化学習（ＸＲＬ：ｅｘｐｌａｉｎａｂｌｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）は、説明および説明モデルの概念をアクションおよびＸＲＬシステムが配備される環境に導入することによって説明可能な強化学習システムを導入する。アクションは、現在の状態にポリシーを適用することによって計算された、環境に提供された入力を指すことができる。これは、離散的または連続的とすることができる。考えられる全てのアクションのセットはアクション空間と呼ばれる。

【0089】

ＲＬ／ＸＲＬエージェントは、アクション選択およびランク付け、すなわち、状態ｓ’をもたらす現在状態ｓについての何らかのアクションａを処理することができる。報酬はｒによって示される。ＲＬエージェントは、アクション選択プロセスにおいて使用される環境のシミュレーションを有することができる。モデルは、モデル自身の構造に応じてさらなる接続ポイントを有することができる。

【0090】

第１のＸＲＬ修正は、モデル／環境モデルの一部として説明ｘを導入する、すなわち、世界モデルは、状態ｓ’および報酬ｒに関する部分的または完全な説明を返すことができ、それは、ｘ_eと規定される。第２のＸＲＬ修正は、アクション空間内にあり、関連付け説明、すなわち、アクションおよびアクションの説明をそれぞれ示すａ、ｘ_aを導入する。ポリシーは、過去の経験からアクションへのマッピングを指すことができる。ＸＲＬ内のポリシーПは、П_xになり、П_xは、ここで、
П_x≒ｓ→ａ、ｘ_a
П_x≒ｓ、ｘ_s→ａ、ｘ_a
であるような説明可能なマッピングである。

【0091】

挙動ＦＳＭの用語で、各（状態、アクション）対は、状態を選択した後にアクションを行う前に、アクション中に、そしてアクションが行われた後に一定接続ポイントを有することができる。ＲＬおよびＸＲＬについて、別の接続ポイントは、ポリシーπ下でのアクションの選択前に、その最中に、そしてその後にある。これは、アクション空間および／または状態空間が離散的または連続的であるときに適用可能である。ＸＲＬ学習プロセスの一部としての説明は、よりよい安全および制御メカニズムをもたらすことができる。なぜなら、それらのメカニズムが、調整、モニタリング、および自動／手動介入を必要とすることができるシステムの内部作業のよりよい理解を可能にすることができるからである。ＸＲＬエージェントは、ＦＳＭの代わりにＦＳＴを使用して同様にモデル化され得る。

【0092】

例示的な説明可能なトランスデューサ（ＸＦＳＴ）は、訓練済みＸＮＮアーキテクチャを部分的に置換することができる。説明可能なトランスデューサ・トランスフォーマ（ＸＴＴ）実施形態は、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを使用することによって、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）のブラックボックスモデルコンポーネントをホワイトボックスコンポーネントと置換することができる。そのため、ＸＦＳＴは、ホワイトボックス機械学習アーキテクチャを示す。例示的な実施形態は、説明可能なトランスフォーマと共に有限状態トランスデューサの説明可能なバージョンを提供することができ、２つの主要な説明可能なトランスフォーマ変形、すなわち、説明可能なトランスフォーマ－エンコーダおよび説明可能なトランスフォーマ－デコーダを含むこともできる。

【0093】

例示的な実施形態は、トランスフォーマのエンコーダレイヤのサブレイヤに説明可能なモデルを導入することによって、説明可能なトランスフォーマ－エンコーダを提供することができる。

【0094】

例示的な実施形態は、トランスフォーマのデコーダレイヤのサブレイヤに説明可能なモデルを導入することによって、説明可能なトランスフォーマ－デコーダを提供することもできる。

【0095】

説明可能なトランスフォーマアーキテクチャは、解釈者に対する解釈可能性を生成するため、説明を生成し、そのような説明をフィルタリングするために説明フレームワークを利用することができる。

【0096】

説明可能なトランスフォーマアーキテクチャにおいて、入力は、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャの帰納のために、選択されたコンポーネントに従って変動する。例示的な実施形態において、説明可能なモデルコンポーネントが帰納によって選択されると、トランスフォーマについての実際の入力は、固定され、必要である場合、パッディングが、より短い長さの入力について使用され得る。

【0097】

説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャは、説明可能なトランスデューサ・トランスフォーマ（ＸＴＴ）において、図６に示すように、２つの説明可能なアーキテクチャ７００および７１０を作成するために、エンコーダレイヤのフィードフォワードネットワークコンポーネント２３０およびデコーダレイヤのフィードフォワードネットワークコンポーネント２７０を帰納することができる。

【0098】

帰納されたホワイトボックスモデル７００は、加算および正規化コンポーネント２１７の出力からブラックボックスフィードフォワードコンポーネント２３０の出力まで説明および説明可能な経路トレースを構築する。帰納されたホワイトボックスモデル７１０は、加算および正規化コンポーネント２４２の出力からブラックボックスフィードフォワードネットワークコンポーネント２７０の出力まで説明および説明可能な経路トレースを構築することができる。

【0099】

それら自身、ワイドニューラルネットワーク（ＷＮＮ：Ｗｉｄｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のクラスである、ＸＮＮ等のワイドラーニングモデルをサポートする説明可能なモデルを利用するＸＴＴは、特に、深層学習の一般化能力を、ワイドラーニングのより正確でかつ普遍的な学習能力に付加する、トランスフォーマアーキテクチャの埋め込み性質と組み合わされると、ユニークな実用的特性を示すことができる。適したパーティションを識別するために使用され得る階層的パーティショニング技法または他の論理的に等価な方法の本発明者等の使用は、ＸＴＴの説明可能性または解釈可能性に悪影響を及ぼすことなく、ＸＴＴにかなりの表現および処理パワーを付加する。ＸＴＴ説明モデルパーティションは、初期ＸＴＴを作成する外部プロセスによってＸＴＴの一部として最初に作成され得る。代替的に、ＸＴＴパーティションは、適したパーティショニング情報を提供するリンクされたタクソノミーまたはオントロジーから、同様に事前訓練されるかまたは適切に初期化され得る。作成されると、ＸＴＴ説明可能なモデルは、所望される場合にパーティションをフィットさせるかまたはさらに改良するために、勾配降下法を使用することができる。ＸＴＴパーティションは、変更することができない静的値として設定された、それらの値を有することによってロックされ得る、または、標準的な後方伝播および関連技法を使用して各後方訓練パスについて動的に可動とすることができる。階層的パーティションは、異なる抽象化レベルでデータをモデル化することができる。そのような抽象化は、説明を生成するときに必要とされ得る。例示的な実施形態において、ランク付け関数は、ＸＴＴがそのオーバーラップするまたはオーバーラップしないパーティションをどのように選択するか、マージするか、または分割するかを決定するために使用され得る。ＸＴＴパーティションの階層的性質が、異なるレベルの意味論的および記号論的詳細でシンボルおよび概念を示すために使用され得ることがさらに企図され得る。

【0100】

ＸＴＴは、その説明可能なパーティション構造および値が、多数目的最適化（ＭＯＯ：ｍｕｌｔｉｐｌｅ ｏｂｊｅｃｔｉｖｅ ｏｐｔｉｍｉｓａｔｉｏｎ）、遺伝的アルゴリズム（ＧＡ：ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ）、およびモンテカルロシミュレーション法（ＭＣＳＭ：Ｍｏｎｔｅ Ｃａｒｌｏ Ｓｉｍｕｌａｔｉｏｎ Ｍｅｔｈｏｄ）等の技法を使用して、または因果的ロジックおよびシミュレーション技法によって変更されることを可能にすることができる。ＸＴＴパーティションは、単に平坦パーティション（ｆｌａｔ ｐａｒｔｉｔｉｏｎ）ではなく階層的パーティションとすることができる。平坦パーティションは、単一レベルだけが存在する考えられる階層的パーティションのサブセットと見なされ得る。階層の利用は、良好な説明の予想される性質をより適切にモデル化するより表現力豊かな説明が生成されることを可能にする。

【0101】

説明可能なトランスフォーマは、３タプルデータセット＜Ｉ、Ｏ、Ｅ＞上で訓練され得、ここで、Ｉは入力を指すことができ、Ｏは出力を指すことができ、Ｅは入力Ｉと出力Ｏとの間の説明を指すことができる。図６に示すように、入力は、説明可能なトランスフォーマを説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを用いて訓練するために、トークン埋め込み２００、入力トークン２１０の位置情報、および任意に、パーティショニング情報１５００、１５０１または外部の説明可能なモデルからの同様の説明が生成したデータの組み合わせを含むことができる。

【0102】

説明可能なトランスフォーマは、エンコーダレイヤおよびデコーダレイヤ内の説明可能なアーキテクチャを使用することなく、かつ、パーティショニング情報１５００、１５０１または外部の説明可能なモデルからの同様の説明が生成したデータを、エンコーダの入力埋め込みに、そして任意に、デコーダ内の出力埋め込みに付加することなく、訓練され得る。

【0103】

説明可能なトランスフォーマは、図７に示すように、エンコーダレイヤおよびデコーダレイヤに並列のさらなる２つのレイヤを有することができる。２つのさらなるレイヤは、図７に示すように、入力空間から説明可能なアーキテクチャを構築することに集中され得る。

【0104】

説明可能なトランスフォーマは、２つの入力：マルチ－ヘッド－アテンションコンポーネント２１５の出力または加算および正規化コンポーネント２１７の出力および入力トークン１５０７のパーティショニングまたは説明可能な情報をとる、並列の説明可能なエンコーダレイヤ１６３０を含むことができる。

【0105】

説明可能なトランスフォーマは、並列の説明可能なエンコーダレイヤ１６３０の出力１６００をとる並列の説明可能なデコーダレイヤ７０９を含むことができる。並列の説明可能なエンコーダレイヤは、説明可能なアーキテクチャコンポーネント７０１および加算および正規化コンポーネント７０２を含むことができる。並列の説明可能なデコーダレイヤ７０９は、説明可能なアーキテクチャコンポーネント７０３および加算および正規化コンポーネント７０４を含むことができる。例示的な実施形態において、並列の説明可能なエンコーダレイヤの出力は、図７に示すようにＸＴＴのデコーダレイヤ内のマルチ－ヘッドアテンションレイヤへの入力１６３１として使用される。別の例示的な実施形態において、並列の説明可能なエンコーダレイヤの出力１６３１は、ＸＴＴのデコーダ内のマルチ－ヘッドアテンションレイヤ２４０のための入力として使用されるのに先立って、エンコーダレイヤの出力１６３２とマージされる。別の例示的な実施形態において、並列の説明可能なエンコーダレイヤの出力１６３１は、並列の説明可能なデコーダへの入力として使用されるだけである。図７に示すように、ＸＴＴは、予測出力２９０および関連説明１６２０を出力する。説明１６２０は、デコーダコンポーネントへのフィードバックループ１６１０として利用され得る。

【0106】

説明およびパーティション情報は、履歴的説明およびパーティション情報を使用するＸＴＴ－デコーダアーキテクチャを使用して予測され得る。例示的な実施形態において、説明可能なモデルは、３タプルベクトル＜ｉ、ｏ、ｅ＞によって示され、ここで、ｉは入力を指し、ｏは出力を指し、ｅは生成された説明を指す。生成された説明ｅ（ここで、ｅ＝｛ｅ₁、ｅ₂、．．．、ｅ_n｝）は、履歴的説明について現在の説明ｅ_iおよびコンテキストウィンドウｋを考慮して次の説明ｅ_(i+1)を予測するためモデルを事前訓練するためにＸＴＴ－デコーダへの入力として使用される。ＸＴＴ－デコーダは、その後、下流タスクの値を分類または予測するために説明の別個のセットに対して微調整され得る。

【0107】

説明可能なモデル内の同じコンポーネントについて、１つまたは複数の説明ｅの差または変化は、記録され、説明の次の差または変化を予測するためにＸＴＴへの入力として任意に使用され得る。例示的な実施形態において、ＸＴＴ－デコーダは、説明における次の変化を予測するために使用される。ＸＴＴ－デコーダは、履歴的説明勾配について現在の説明ｇ_iおよびコンテキストウィンドウｋを考慮して次の勾配ｇ_(i+1)を予測するために説明勾配のセットｅ_g（ここで、ｅ_g＝｛ｇ₁、ｇ₂、．．．、ｇ_m｝）に対して事前訓練される。ＸＴＴ－デコーダは、その後、下流タスクの値を分類または予測するために説明勾配の別個のセットに対して微調整され得る。ＸＴＴにおいて事前訓練することは、訓練中に類似度と対比の両方の要素を考慮するために、入力および出力データの埋め込み表現を利用することもできる。例示的な実施形態において、例えば、画像およびテキストキャプションのマルチモーダル埋め込みは、同様に関連する画像およびテキストを同時に最小にするために利用され得るが、関連しない画像とテキストとの間の対比が最大にされることを保証する。ＸＴＴ内の疎な埋め込みは、特に、疎な説明可能なモデルと併せてさらなる性能改善を与えることもできる。

【0108】

説明、説明の勾配、または説明可能なアーキテクチャｘのパーティショニング情報は、図７に示すように、ＸＴＴの並列の説明可能なエンコーダレイヤへの入力１５０７として使用され得る。例示的な実施形態において、並列の説明可能なエンコーダレイヤ１６３０の入力１５０７は、ＸＴＴアーキテクチャを訓練するために後で使用されることになる同じデータセットに対して訓練された説明可能なモデルの説明を処理する。さらなる例示的な実施形態において、並列の説明可能なエンコーダレイヤへの入力１５０７は、ＸＴＴを訓練するために使用されることになるデータセットと同様のデータセットに対して生成された説明を指す。

【0109】

説明可能なトランスフォーマ－エンコーダの入力は、トランスフォーマ（Ｖａｓｗａｎｉ等、２０１７）のエンコーダレイヤの入力と同一とすることができる。説明可能なトランスフォーマ－エンコーダは、図８（ｂ）に示すように、説明可能なアーキテクチャｘ ２０００（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを使用してブラックボックスフィードフォワードニューラルネットワーク１９００を帰納することができる。

【0110】

別の例示的な実施形態において、ＸＴＴは、位置埋め込み１９０２と結合されたトークン埋め込み１９０１からなる入力または直前のエンコーダレイヤの出力を有する全体エンコーダレイヤに対して訓練されたその説明可能なモデルを有することができる。直和（Ｄｉｒｅｃｔ－Ｓｕｍ）、ルックアップテーブル、およびプロダクトカーネルタイプ（Ｐｒｏｄｕｃｔ ｋｅｒｎｅｌ ｔｙｐｅ）の位置エンコーディング法を含むが、それに限定されない種々の異なる位置エンコーディング法がＸＴＴに関して使用され得ることがさらに企図される。

【0111】

例示的な実施形態において、説明可能なトランスフォーマ－デコーダの入力および出力は、デコーダベーストランスフォーマ（Ｌｉｕ等、２０１８）と同一とすることができる。説明可能なトランスフォーマ－デコーダの説明可能なアーキテクチャ２４００の入力は、図９（ｂ）に示すように、加算＆正規化コンポーネント２３４０の出力を含むことができる。説明可能なトランスフォーマ－デコーダの出力は、図９（ｂ）に示すように、ブラックボックスフィードフォワードニューラルネットワークコンポーネント２３２０の出力または加算および正規化コンポーネント２３３０の出力とすることができる。

【0112】

例示的な実施形態において、ＸＴＴ内の１つまたは複数のコンポーネントは、説明可能なフィードフォワードネットワーク自身の他に、説明可能なモデルによって置換され得る。さらなる例示的な実施形態において、説明可能なオート－エンコーダ－デコーダ（ＸＡＥＤ：ｅｘｐｌａｉｎａｂｌｅ Ａｕｔｏ－Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）は、トランスフォーマ－エンコーダおよび／またはトランスフォーマ－デコーダの一部または全てを置換するために利用され得る。

【0113】

代替の実施形態において、説明可能なトランスフォーマ－デコーダにおける説明可能なモデルは、位置埋め込み２３１０と結合されたトークン埋め込み２３６０からなる入力または直前のエンコーダレイヤの出力を有する全体デコーダレイヤを帰納することができる。

【0114】

説明可能なアーキテクチャＸＴＴ、ＸＴＴ－エンコーダ、およびＸＴＴ－デコーダの出力は、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャから生成された説明および解釈可能性を含むことができる。

【0115】

ＸＴＴ、ＸＴＴ－エンコーダ、およびＸＴＴ－デコーダにおける説明可能なアーキテクチャは、ブラックボックスコンポーネントを持たない訓練用データセットを入力として使用することができる。その場合、新しい説明可能なモデルが訓練される。

【0116】

ＸＴＴは、訓練用データセットの特徴量変換を含むことができる。ＸＴＴ変換関数は、多項式展開、回転変換、次元および無次元尺度法、フーリエ変換、ウォルシュ関数、状態空間および位相空間変換、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ／フレシェ／ハウスドルフ／チコノフ空間のトポロジカル変換、相違分析、およびデータの正規化／標準化を含むが、それに限定されない変換のパイプラインとすることができる。変換関数パイプラインは、時間的に順序付けられたデータシーケンスを含む１つまたは複数の変数の値に従って順序付けされるデータのシーケンスを分析する変換をさらに含むことができる。変換関数パイプラインは、勾配降下法および他の説明可能なアーキテクチャによって得られた変換をさらに含むことができる。

【0117】

説明可能なモデルデータ合成能力が、提案される説明可能なトランスフォーマアーキテクチャＸＴＴ、ＸＴＴ－エンコーダ、およびＸＴＴ－デコーダ内の説明可能なアーキテクチャに対する訓練として提示される訓練用データセットサンプルを、因果的ＧＡＮベース生成、遺伝的エンジニアリング、モンテカルロシミュレーション、ペトリネット、強化学習技法、ホワイトボックスモデルおよびそのグローバルモデルを使用するシミュレーション、および利用可能であるとすることができる他の方法等の種々の技法を使用して、生成するために使用されうることも企図される。

【0118】

人間知識インジェクション（ＨＫＩ：ｈｕｍａｎ ｋｎｏｗｌｅｄｇｅ ｉｎｊｅｃｔｉｏｎ）またはシステム知識インジェクションは、ＸＴＴ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャに対する別のタイプの入力である。ＸＴＴ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャ内の説明可能なアーキテクチャの係数は、人間ユーザとＡＩシステムとの間のよい効率的な協働をもたらすため特定のルールを施行するために修正され得る。

【0119】

人間知識インジェクション（ＨＫＩ）が、合成データの範囲をなおさらに修正し拡張するために使用され得ることがさらに企図される。合成およびＨＫＩ法は、ＸＴＴが、データ分布シフト問題を克服することを助け、ＸＴＴを、分布外（ＯＯＤ：Ｏｕｔ ｏｆ Ｄｉｓｔｒｉｂｕｔｉｏｎ）データを含む、その入力および訓練空間におけるより広い範囲の考えられる入力に対してよりよく一般化させることができる。

【0120】

ＸＴＴ内の説明可能なモデルは、ゼロショット学習または少数ショット学習解決策の実用的な実施を可能にする。少数ショット学習は、疎なデータ可用性条件に直面するときに、より迅速に適応するために階層的パーティションおよびローカルモデルを利用することができる。ゼロショット学習は、ＨＫＩによる、ルールの組み込み、したがって、説明可能なモデル内のパーティション構造の修正によって実用的な方法で達成され得る。ＨＫＩのそのような使用は、データを全く訓練することなく、ＸＴＴが、適切なルールまたはルールのセットから直接ブートストラップされることを可能にすることができる。帰納的、演繹的、および仮説的ロジックの使用がＸＴＴの適応性を高めるために利用され得ることがさらに企図される。因果的ロジックの使用が、アンダーフィッティングおよび／またはオーバーフィッティング問題を阻止するのを助けることができる妥当性およびモデルベースチェッキングの要素が存在することを保証しながら、ＸＴＴの適応性を高めるために利用され得ることがさらに企図される。

【0121】

説明可能性は、ＸＴＴならびにその変形ＸＴＴ－エンコーダおよびＸＴＴ－デコーダにおける説明可能なモデルコンポーネントのパーティション情報の抽出、および、訓練用データセットの特徴量の特徴量寄与度の構築を通して達成され得る。

【0122】

ローカルモデルの係数ｃは、特徴量入力空間に対する特徴量寄与度として使用され得る。パーティション情報および特徴量寄与度は、ＸＴＴ、ＸＴＴ－トランスデューサ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャ内の説明可能なアーキテクチャコンポーネントの出力である。

【0123】

特徴量寄与度ｃは、入力空間に対するそして各入力特徴量の重要度を示す係数とすることができる。したがって、特徴量寄与度は、入力空間を説明可能な入力空間に変換することによる説明可能性の一部である。

【0124】

ＸＴＴ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャが他の機械学習システムに接続されると、入力空間は、何らかの形態の抽象特徴量または概念を示すことができる。例えば、ＸＴＴ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャへの入力は、ＣＮＮネットワークからの出力とすることができる。説明可能性がトランスフォーマアーキテクチャのエンコーダおよびデコーダ部分内に構築された例示的な実施形態において、出力は、入力空間特徴量に対する特徴量寄与度および潜在的空間に対する特徴量寄与度である。ＸＴＴは、説明不能な潜在的空間の完全な除去を、入力特徴量自身が説明可能である程度まで可能にする。別のオプションとして、ＸＴＴ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャは、フーリエ変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、ウォルシュ関数、状態空間変換、位相空間変換、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、相違分析、正規化、標準化、多次元ベジェ曲線、再帰関係、および因果作用素の少なくとも１つを、その出力に適用するように適合され得る。

【0125】

別の例示的な実施形態において、ＸＴＴ、ＸＴＴ－エンコーダ、および／またはＸＴＴ－デコーダアーキテクチャは、予測される出力に対して適した活性化関数および／または適した変換を適用することを要求され得る。典型的な活性化関数は、シグモイドまたはＳｏｆｔＭａｘ関数あるいは適した等価物を含むことができる。典型的な変換は、（ｉ．）階層的木またはネットワーク、（ｉｉ．）因果ダイヤグラム、（ｉｉｉ．）有向および無向グラフ、ハイパーグラフ、または単体的複体（ｓｉｍｐｌｉｃｉａｌ ｃｏｍｐｌｅｘ）、（ｉｖ．）マルチメディア構造、あるいは（ｖ．）ハイパーリンクされたグラフのセット等の何らかの形態の構造、あるいは適した構造を使用する、予測出力の変換を含むことができる。

【0126】

代替の例示的な実施形態において、パーティションは、図１５に示す例示的なモデル帰納法等の帰納プロセスを用いて外部で構築され得る。そのような例示的な実施形態において、出力は、ＸＮＮアーキテクチャまたはＩＮＮアーキテクチャの特徴量寄与度を伴うそのようなシステムのパーティション情報であることになる。

【0127】

例示的なＸＡＩモデル帰納法において、モデリングシステムは、データをブラックボックスシステムに入力することができ、各入力に対応する出力を記録することができる。別の実施形態において、モデリングシステムは、入力データセットの全てまたは一部についてラベルまたは応答を返す、単純なマッピング関数のような平凡な予測器モデルを使用することができ、それは、訓練用データに対して帰納法を直接実行することと同等である。別の実施形態において、モデリングシステムは、訓練用データから直接、予測器モデルを作成するために、適した自動予測器構築法を使用することができる。帰納法への入力としてのブラックボックスまたは予測器モデルの付加は、元の入力データセットからの誤差および／またはノイズを低減または排除するのに役立つことができる。

【0128】

データポイントは、合成的に生成されるデータと任意に結合された、訓練用データの全てまたは一部から最初に得られ得る。合成的に生成されるデータは、シミュレーションシステム、世界モデル等のような外部プロセスによって生成され得る。入力データは、空集合とすることもでき、その場合、帰納法は、入力予測器モデルから得られる摂動データを使用して働くことになる。オプションのデータ品質保証関数は、帰納法を実行するのに先立って、入力データポイントのサブセットおよび／または入力データに同様に全体として適用され得る。帰納法は、ブラックボックスとすることができる入力予測器モデルにその後注入される摂動サンプルデータポイントを動的に作成することによってグローバルモデルを構築し、出力結果は、その後、書き留められ、訓練用および／または合成データからの全ての他の利用可能なデータポイントと結合される。摂動データが、元の訓練用データを使用することなくそれ自身に対して利用され得ることが企図され得る。摂動法の例示的な実施形態は、ランダムノイズ付加法、回転摂動、投影摂動、ｋ匿名化（ｋ－ａｎｏｎｙｍｉｚａｔｉｏｎ）、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、または任意の他の適した摂動法の組み合わせを利用することができる。結果として得られる結合したデータポイントは、帰納法のパーティショニング関数への入力を形成することができる。予測器モデルからのデータポイントは、連続的、離散的、またはカテゴリカル値とすることができる。分類結果を出力する予測器モデルは、（ｉ．）適切なクラスラベルを割り当てる何らかの適切な変換関数を介して、離散化出力に、または、（ｉｉ．）直接にまたは何らかの適切な変換関数を介して使用され得る確率的出力に対して、そのような分類適用器を有することができる。

【0129】

次の例示的なステップは、「パーティション（ｐａｒｔｉｔｉｏｎ）」の階層を識別することができる。各パーティションは、帰納法にとって入手可能な結合データから取り出されたデータポイントのセットまたはクラスタをカバーすることができる。各パーティションは、ゼロ、１つまたは複数のルールを規定することができ、子パーティションであって、それらのそれぞれの関連するルールを有する、子パーティションを任意に含むことができる。抽出されたパーティションは、オーバーラップするパーティションおよびオーバーラップしないパーティションを組み込むことができる。オーバーラップするパーティションの場合、何らかの優先度関数が、どのパーティションを活性化すべきかを決定するために使用され得る。代替の実施形態において、２つ以上のパーティションが活性化される場合、何らかの集約関数が、複数の活性化されたパーティションからの結果を結合または分割するために使用され得る。各パーティションが、線形モデルにフィットするのに十分なデータを有し、線形モデルがうまく働くことができないほどに複雑過ぎない限り、種々の方法が、ルールまたはルールに関するデータポイントのクラスタを見出すために実施され得る。多項式展開、回転、次元および無次元尺度法、状態空間および位相空間変換、整数／実数／複素数／クォータニオン／オクトニオン変換、フーリエ変換、ウォルシュ関数、連続データバケット化、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ／フレシェ／ハウスドルフ／チコノフ空間のトポロジカル変換、相違分析、およびデータの正規化／標準化を含むが、それに限定されない非線形変換、ならびに、条件付き特徴量は、モデル性能を高めるために、線形フィットに先立って個々のパーティションに適用され得る。

【0130】

パーティションは、何らかのルールおよび／または距離類似度関数に任意に従ってデータポイントをグループ化するクラスタとすることができる。各パーティションは、概念またはデータの弁別的カテゴリを示すことができる。正確に１つのルールによって示されるパーティションは、予測または分類の値を出力する線形モデルを有する。モデルが線形にモデル化され得るため、線形モデルの係数は、それらの重要度によって特徴量をスコア付けするために使用され得る。基礎の特徴量は、線形フィットと非線形フィットの組み合わせを示すことができる。なぜなら、帰納法が、線形および非線形データおよび／または線形および非線形予測器モデルを共に扱うからである。

【0131】

例示的な実施形態は、数学用語で示され得る。図１５の例示的な実施形態を参照すると、図１５は、例示的なモデル帰納法を示すことができる。例示的な実施形態において、Ｘは、入力データセット１５０２を示すことができ、Ｐｒｅｄｉｃｔ（ｘ）は、ｎ個の出力１５０４を有する予測器モデル関数を示すことができる。Ｘはｍ次元を有する行列とすることができる。各次元（ｍ）は、Ｘの入力特徴量を示すことができ、各出力はクラスの数（ｎ）を示すことができる。入力データセットは、訓練用データと合成生成データの結合とすることができる。さらに、例示的な実施形態において、サンプルは、Ｐｅｒｔｕｒｂａｔｅ（Ｘ）等の関数を使用して摂動され得り１５０６、Ｐｅｒｔｕｒｂａｔｅ（Ｘ）は、何らかの入力された訓練用または試験データＸであって、入力データのサブセット、入力データの何らかの近傍、入力／出力／説明データの何らかの適した埋め込みとすることができる、Ｘを考慮して、サンプル摂動データを生成する任意の摂動関数とすることができる、または、さらに普通に空集合とすることができ、その場合、摂動関数は、何らかの形態のランダムまたは非ランダムパターンを使用して予測器モデルに質問する必要がある。Ｘ_pは、摂動入力データセットおよび元の入力データセットの結合を示すことができ、Ｙは、Ｘ_p＝Ｘ∪Ｐｅｒｔｕｒｂａｔｅ（Ｘ）およびＹ＝Ｐｒｅｄｉｃｔ（Ｘ_p）であるような予測器モデル関数１５０８からの出力を示すことができる。

【0132】

パーティションの階層は、Ｐａｒｔｉｔｉｏｎ（Ｘ_p、Ｙ）＝Ｐになるような外部関数パーティション１５１０を通してＰによって示され得、ここで、Ｐ＝｛Ｐ₁、．．．、Ｐ_i、．．．、Ｐ_k｝であり、ｋは、各パーティションが正確に１つのルールによって規定される場合のルールの数に等しい。パーティショニング関数は、ｋ－ｍｅａｎｓ、ベイズ、接続性ベース、重心ベース、分布ベース、グリッドベース、密度ベース、ファジーロジックベース、エントロピーベース、相互情報（ＭＩ：ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）ベース方法、または任意の他の論理的に適した方法等のクラスタリングアルゴリズムとすることができる。パーティション関数は、多数のオーバーラップするまたはオーバーラップしないパーティションをもたらすことになるアンサンブル法を含むこともできる。オーバーラップするパーティションの場合、集約関数が、複数のパーティションからの結果を結合または分割するために使用され得る。パーティション関数は、代替的に、関連付けベースアルゴリズム、因果ベースパーティショニング、または他の論理的に適したパーティショニング実施態様を含むことができる。

【0133】

Ｒ_i（ｘ）は、ｉ番目のパーティションにおける各ルールを示すことができる。各ルール（Ｒ_i（ｘ））は、Ｒ_i（ｘ）＝Ｃ₁∧Ｃ₂∧．．．∧Ｃ_j∧．．．∧Ｃ_qになるような複数の条件を含むことができ、ここで、ｑはルール内の条件の数を示すことができ、Ｃ_jは、ｉ番目のルール（すなわち、ｉ番目パーティション）の入力行列ｘに関してｊ番目の条件とすることができる。摂動入力行列Ｘ_pは、パーティションがオーバーラップしないときに｛Ｘ_L1、Ｘ_L2、．．．、Ｘ_Li、．．．、Ｘ_Lk｝の和集合＝Ｘ_pであるように、Ｘ_Lが、｛ｘ｜ｘ∈Ｘ_p∧Ｒ_i（ｘ）＝真｝によって規定されるローカルにフィルタリングされた行列を示すように、ｋ（ここで、ｋはルールの数に等しい）行列に分割され得る。パーティションが互いにオーバーラップするとき、｛Ｘ_L1、Ｘ_L2、．．．、Ｘ_Li、．．．、Ｘ_Lk｝の和集合≠Ｘ_pである。パーティションが互いにオーバーラップするとき、ランク付け関数は、最も関連するルールを選択するために適用される、または、何らかの形態の確率重み付け結合方法において使用される必要がある。代替の実施形態において、２つ以上のパーティションが活性化される場合、何らかの集約関数が、複数のパーティションからの結果を結合するために使用される。

【0134】

次の例示的なステップは、Ｒｉによって規定される各パーティションにローカルモデルをフィットさせることを含むことができる。Ｘ_Lは、Ｘ_pとＲ_i（ｘ）の両方において見出される入力を示すことができる。換言すれば、Ｘ_Lは、ｉ番目のルールに適用する入力または特徴量データとすることができる。ローカルサンプルはフィルタリングされ得る１５１２。Ｘ_Lは、その後、摂動され得り１５１４、Ｘ_LPは、Ｘ_LとＰｅｒｔｕｒｂａｔｅ（ＸＬ）のローカルに摂動されたデータセットの結合を示すことができる。そのため、Ｙ_L＝Ｐｒｅｄｉｃｔ（Ｘ_LP）であり、摂動されたデータをローカルに予測する１５１６。最後に、Ｘ_Tは、Ｘ_T＝Ｔｒａｎｓｆｏｒｍ（Ｘ_LP）になるようなＸ_LPの変換を見出す１５１８ことによって計算され得る。変換関数は、多項式展開、回転、次元および無次元尺度法、フーリエ変換、整数／実数／複素数／クォータニオン／オクトニオン変換、ウォルシュ関数、状態空間および位相空間変換、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、相違分析、およびデータの正規化／標準化を含むが、それに限定されない変換のパイプラインとすることができる。変換関数パイプラインは、時間的に順序付けられたデータシーケンスを含む、１つまたは複数の変数の値に従って順序付けされるデータのシーケンスを分析する変換をさらに含むことができる。Ｘ_Tは、ｚが変換関数によって特徴量の総数を示すように新しい特徴量を生成することができる。

【0135】

１～ｎの範囲内の各ｊ（すなわち、出力の番号）について、システムは、線形方法でローカルモデルを計算する１５２０ことができる。Ｙ_Lは、Ｙ_Ljがｊ番目の出力ベクトルを示すような、ｎ個のベクトル（各出力について１つのベクトル）を含む行列である。線形モデルは、Ｙ_ij＝Ｆｉｔ（Ｘ_T、Ｙ_Lj）によって規定され得、ここで、Ｆｉｔは、線形回帰、ロジスティック回帰、カーネル法等のような線形モデルをフィットさせる関数である。線形モデルは、Ｙ_ij＝β₀＋β₁ｘ₁＋…＋β_iｘ_i＋…＋β_zｘ_zになるように係数のセット｛β₀．．β_z｝を規定する１５２２。線形モデルまたは線形モデルの結合は、ルールを有するＸＡＩモデルを提供する１５２４ことができる。代替の実施形態において、ローカルモデルのフィットは、並列プログラミングまたは勾配降下技法または適した等価物を使用して、１つのアトミックフィット関数において達成され得る。ｘ_iが、多項式（ｘ²等）、インターセクション（ｘｙ等）、条件付き特徴量（ｘ＞１０およびｙ＜２等）、フーリエ変換等のような被変換特徴量である可能性があることに留意されたい。β_iが、関連する被変換特徴量についてモデルに対する正または負の寄与に対応して正または負である可能性があることに留意されたい。正または負の寄与は、興奮性および抑制性影響と同様に一般に呼ばれ得る。圧縮または正則化技法は、ローカルモデルのフィットを簡略化するために同様に適用され得、それは、結果として得られる説明を間接的に同様に簡略化する。最後に、ルールは、Ｙ_ijの種々の結合から構築され得る。
Ｒｕｌｅ₁（ｘ）＝｛Ｙ₁₁、Ｙ_1,2、．．．、Ｙ_i,n｝ｉｆ Ｒ₁（ｘ）
Ｒｕｌｅ₂（ｘ）＝｛Ｙ₂₁、Ｙ_2,2、．．．、Ｙ_2,n｝ｉｆ Ｒ₂（ｘ）
Ｒｕｌｅ_i（ｘ）＝｛Ｙ_i1、Ｙ_i,2、．．．、Ｙ_i,n｝ｉｆ Ｒ_i（ｘ）
Ｒｕｌｅ_k（ｘ）＝｛Ｙ_k1、Ｙ_k,2、．．．、Ｙ_k,n｝ｉｆ Ｒ_k（ｘ）

【0136】

ｎ_p個のパーティションを有する図４に示す例示的なＸＮＮアーキテクチャは、ｎ個のローカルモデル５２５、値出力レイヤｖａｌｕｅ_layer＝｛ｒ₁、ｒ₂、．．．、ｒ_n｝４２６、スイッチ出力レイヤｓｗｉｔｃｈ_layer＝｛ｓ₁、ｓ₂、．．．、ｓ_n｝４１６、および、ｖａｌｕｅ_layer４２６とｓｗｉｔｃｈ_layer４１６を結合する連言レイヤｃｏｎｊｕｎｃｔｉｖｅ_layer＝｛ｖ₁、ｖ₂、．．．、ｖ_n｝５１６を含むことができる。Ｓｉｇｍｏｉｄ等の活性化関数５２０は、例示的なＸＮＮアーキテクチャの最終出力を生成するために出力値に対して使用され得る。疎なＸＮＮ／ＩＮＮがパーティション構造の複数の部分をエネルギー効率的な方法で実施するために利用され得ることが企図される。

【0137】

説明可能なモデル階層的パーティションは、１つまたは複数の反復的最適化ステップ１５２３を課される場合もあり、反復的最適化ステップ１５２３は、何らかの適した集約、分割、または最適化法を使用して、階層的パーティションをマージし分割することを任意に含むことができる。適した最適化法は、パーティションの全体数を最小する最適ゲージ固定を与えながら、予測器の計算データ空間内で全ての経路接続トポロジカル空間（ａｌｌ ｐａｔｈｓ ｃｏｎｅｃｔｅｄ ｔｏｐｏｌｏｇｉｃａｌ ｓｐａｓｅ）を見出そうとすることができる。

【0138】

ＸＴＴトランスデューサは、ＸＮＮアーキテクチャの複数のコンポーネントを置換するために、６タプル

【数6】

として規定され得、ここで、Κは状態の有限セット（説明モデル状態を含む）を指し、Σは入力シンボル（説明シンボルを含む）のアルファベットを指し、

【数7】

は出力シンボル（説明シンボルを含む）のアルファベットを指し、ｓは、ｓ∈Κであるような開始状態を指し、γは、

【数8】

であるような出力関数を指し、Δは遷移関数（説明に関連付けられる正当化理由の主要なコンポーネントを形成する説明関連遷移を含む）を指す。例示的な実施形態において、入力Σは、Σ＝｛ｖａｌｕｅ_layer、ｓｗｉｔｃｈ_layer｝になるようなｖａｌｕｅ_layer４２６およびｓｗｉｔｃｈ_layer４１６にセットされ得る。出力

【数9】

は、

【数10】

になるような連言レイヤｃｏｎｊｕｎｃｔｉｖｅ_layerにセットされ得る。説明可能な有限状態トランスデューサＸＴＴ_tの遷移関係Δは、ｖａｌｕｅ_layerおよびｓｗｉｔｃｈ_layer値をｃｏｎｊｕｎｃｔｉｖｅ_layer値に翻訳する。出力語彙が、連言レイヤ５１６の代わりに、活性化関数５２０の出力にセットされ得ることがさらに企図され得る。

【0139】

ＸＴＴは、訓練済み条件付きネットワークレイヤ４１０上に構築され得る。例示的な実施形態において、入力Σは、ＸＮＮアーキテクチャのパーティション境界４１２にセットされる。出力

【数11】

は、スイッチ出力レイヤ４１６にセットされる。遷移関係Δは、スイッチ出力レイヤ４１６に関連して条件付きレイヤ４１２と集約レイヤ４１４との間の遷移を含む。

【0140】

例示的な実施形態において、ＸＳＦＴスタイルＸＴＴは、ローカルモデルのインデックスおよびそれぞれの予測値を受容し、ＸＮＮアーキテクチャ内で利用されるローカルモデルのそれぞれのパーティション情報を予測値と共に出力する。テープは、図１２に示すように、開始状態ｓ２７００に挿入される。テープは、各観測について、値レイヤ要素のインデックスとそれに続くそれぞれの予測を含む。図１２に示すように、例示的なＸＴＴは２つのパーティションを含む。任意のパーティションのそれぞれのインデックスの照合は、そのようなパーティションの状態に入り、そのようなパーティションのパーティショニング情報を返し、パーティショニング情報は値レイヤのインデックスを置換する。

【0141】

別の例示的な実施形態において、説明可能な有限状態トランスデューサは、ローカルモデルのインデックスならびに関連予測値および／またはクエリ入力値を受容し、何らかの適切な出力エンコーディングにおいて共に多重化された予測値および説明を出力する。

【0142】

ＸＴＴは、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを用いて、ブラックボックスフィードフォワードニューラルネットワーク２３０、２７０および後続の加算および正規化コンポーネント２３２、２７２等の複数の接続コンポーネントを帰納することができる。

【0143】

ＸＴＴは、ホワイトボックスモデルを作成するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを用いて、デコーダレイヤの、エンコーダ－デコーダマルチヘッドアテンションコンポーネント２４０、加算および正規化コンポーネント２４２、フィードフォワードニューラルネットワークコンポーネント２７０、および／または加算および正規化コンポーネント２７２を帰納することができる。そのような説明可能なモデルは、元のコンポーネントとそれらの説明可能なモデル置換物との間のバイシミュレーション等価性（ｂｉｓｉｍｕｌａｔｉｏｎ ｅｑｕｉｖａｌｅｎｃｅ）を維持するために意図的に疎であるおよび／または圧縮され得る。

【0144】

トランスフォーマアーキテクチャを帰納するＸＴＴアーキテクチャは、図６に示すように、インラインＸＴＴアーキテクチャと呼ばれ得る。トランスフォーマアーキテクチャを帰納し、さらなる並列の説明可能なエンコーダレイヤおよび並列のデコーダレイヤを使用するＸＴＴアーキテクチャは、図７に示すように、並列のＸＴＴアーキテクチャと呼ばれ得る。

【0145】

説明可能なトランスフォーマは、３タプルデータベース＜Ｉ、Ｏ、Ｅ＞に対して訓練され得、ここで、Ｉは入力を指すことができ、Ｏは出力を指すことができ、Ｅは入力Ｉと出力Ｏとの間の説明を指すことができる。図６に示すように、入力は、図６に示すように、ＸＴＴを説明可能なモデルを用いて訓練するために、トークン埋め込み２００、トークン位置情報２１０、および任意にパーティショニング情報１５００、１５０１または外部の説明可能なモデルからの同様の説明生成データの組み合わせを含むことができる。グレイボックスＸＴＴ実施態様が、Ｖａｓｗａｎｉ等（２０１７）に示すように、代わりにブラックボックスフィードフォワードコンポーネントを使用することによって達成され得ることがさらに企図される。

【0146】

トランスフォーマは、マスク付き言語モデリング（Ｄｅｖｌｉｎ等、２０１８）等の自己教師あり学習技法を使用することによって、図８（ａ）に示すようにエンコーダ部（ｐａｒｔ）に対してのみ訓練され得る。説明可能なトランスフォーマ－エンコーダは、図８（ｂ）に示すように、説明可能なアーキテクチャｘ２０００（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャによって、エンコーダレイヤのブラックボックスフィードフォワードニューラルネットワークコンポーネント１９００を帰納することができる。ＸＴＴ－エンコーダのアーキテクチャは、入力埋め込み１９０１、位置エンコーディング１９０２、マルチヘッドアテンションコンポーネント１９２０、加算および正規化コンポーネント１９３０、説明可能なアーキテクチャ２０００、および加算および正規化コンポーネント１９１０からなることができる。

【0147】

説明可能なトランスフォーマ－エンコーダは、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを用いてフィードフォワードニューラルネットワークコンポーネント１９００および加算＆正規化レイヤ１９１０を帰納することができる。

【0148】

説明可能なトランスフォーマ－エンコーダは、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを用いて、マルチヘッドアテンション１９２０、加算および正規化コンポーネント１９３０、フィードフォワードニューラルネットワークコンポーネント１９００、および／または加算および正規化コンポーネント１９１０を帰納することができる。

【0149】

トランスフォーマは、図９（ａ）（Ｒａｄｆｏｒｄ等、２０１８）に示すように、トランスフォーマアーキテクチャのデコーダ部に対してのみ訓練され得る。ＸＴＴは、図９（ｂ）に示すように、説明可能なアーキテクチャｘ２４００（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャによって、デコーダレイヤのフィードフォワードニューラルネットワークコンポーネント２３２０を帰納することができる。

【0150】

説明可能なトランスフォーマ－デコーダは、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを用いて、フィードフォワードニューラルネットワークコンポーネント２３２０と加算および正規化コンポーネント２３３０の結合等の複数のコンポーネントを帰納することができる。

【0151】

説明可能なトランスフォーマ－デコーダは、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを有するマルチヘッドアテンション２３５０、加算および正規化コンポーネント２３４０、フィードフォワードニューラルネットワークコンポーネント２３２０、および／または加算および正規化コンポーネント２３３０を帰納することができる。

【0152】

説明可能なトランスフォーマベースアーキテクチャＸＴＴ、ＸＴＴ－エンコーダ、およびＸＴＴ－デコーダは、複数レベルの説明であって、パーティショニング情報、モデルの内部係数、および入力空間の特徴量寄与度を含むことができる、複数レベルの説明を生成することができ、そのような説明は、解釈者に対する出力とすることができる。説明は、入力次元の重要度を示すことができるテキストフォーマットまたは数値フォーマットの形態、または、入力および適切な相互作用に適用される何らかの形態の適切な変換とすることができ、そのような変換は、マルチメディア画像、ビデオ、３Ｄデータ、多次元データ、および他の適したフォーマットを含む種々の出力フォーマットで説明を出力することができる。説明は、例えば、入力次元の所与のセットにおいてバイアスを決定するために、バイアス制御スワップを利用することによって、介入および／または反事実的プロセスを適用する結果を含むこともできる。ＸＴＴによって直接検出された任意のそのようなバイアイスは、そのようなバイアス試験のためのデータセットを使用する必要でさえないとすることができる。そのような結果が、識別－アセス－推奨－解決（ＩＡＲ）フレームワーク内で、適した識別、アセスメント、推奨、ランク付け、および解決関数の適用によって一般化され得ることがさらに企図される。

【0153】

ＸＴＴは、木、グラフ、ハイパーグラフ、および単体的複体の形態の階層的に構造化されたデータを含む、構造化データと非構造化データの両方を処理することができる。木トランスフォーマ（Ｗａｎｇ等、２０１９）に関する関連する従来の研究は、入力トークンの木ベース構造を導入するために構成アテンションコンポーネントを使用して、アテンションヘッドを制約する。本発明者等が提案する方法と違って、木トランスフォーマは、ブラックボックスフィードフォワードニューラルネットワークコンポーネントを利用し、したがって、グレイボックス法として分類され得る。活性化経路トレースは、ＸＴＴの場合と違って、木トランスフォーマを使用して実施することが可能でないことになる。本発明者等が提案する方法は、グローバルおよびローカル説明を生成するためにトランスフォーマベースアーキテクチャにホワイトボックスコンポーネントを導入する。ＸＴＴ説明可能なモデル内の階層的に構造化されたパーティションシステムは、構成事前物を使用して木トランスフォーマにおいて部分的に達成されるだけである複雑な構造化データの処理に当然適する。ＸＴＴアテンションモデルは、そのような事前物の階層の等価物を、異なるレベルの詳細およびスケールで表現することが可能であり、それは、木トランスフォーマおよび関連する変形を用いて達成することが不可能である。これは、ルールベースモデル（ＸＡＩモデル）において利用可能である線形または非線形方程式、または、ＸＮＮ、ＩＮＮ、ＸＳＮ、ＸＭＮ等の論理的に等価な方法および他の適切に等価な実施方法によって可能とすることができる。線形または非線形方程式において、特徴量のリストは、その所与のモデルまたはルールのセットについて特徴量重要度を示すことができるそれらの対応する係数と共に抽出され得る。説明可能なモデルの係数行列Ｃは、Ｆ（Ｘ）によって規定されるモデルにおいてルール／パーティションについて最も重要な特徴量を抽出するために直接分析され得る。

【0154】

代替の実施形態において、Ｃ_p,iがｐ番目のパーティション／ルールのｉ番目の係数を識別するよう、Ｉ＝｛θ₀、．．．、θ_i、．．．、θ_k-1｝（ここで、

【数12】

）になるよう、ベクトルＩが、全てのｊ個のルールから各特徴量の集約された重要度を示すように、係数の行列は集約され得る。最後に、Ｉｓ＝｛Ｆ₀、．．．、Ｆ_s、．．．、Ｆ_k-1｝がＩの全ての要素を有するソートされたベクトルを示すとする。ここで、ｓは、Ｆ_s-1≧Ｆ_s≧Ｆ_s+1になるようなソートインデックスを示す。マップベクトルＭは、ソートされた係数インデックスｓを変換された特徴量インデックスｋにリンクするために同様に使用され得る。ルールベースＸＡＩモデルのホワイトボックス性質を通して、ユーザは、その後、Ｆ０およびＭ０が最も高いバイアスを有する特徴量を含む場合があるソートされた特徴量重要度ベクトルＦｓのコンテンツを検査することによって、考えられる任意のバイアスを検査することができるとすることができる。

【0155】

正規化は、結果として得られる特徴量重要度に同様に適用され得る。例示的な実施形態において、ＦおよびＭベクトルは、バイアスおよびそれらのソースの適切なレポートおよび分析を作成するために使用され得、教師あり、教師なし、または半教師あり手段によるバイアス低減、軽減、または排除のための方策を定式化するための入力とすることもできる。

【0156】

例示的な実施形態において、ＸＴＴは、多数の入力および出力モジュールを含むことができる。１つまたは複数のモジュールは、入力レイヤによって受信される前にまたは入力レイヤから出力された後に入力を正規化するように構成される正規化モジュール、入力レイヤによって受信される前にまたは入力レイヤから出力された後に上記入力をスケーリングするように構成されるスケーリングモジュール、および、入力レイヤによって受信される前にまたは入力レイヤから出力された後に上記入力を標準化するように構成される標準化モジュールを含むことができる。

【0157】

代替の例示的な実施形態において、ＦおよびＭベクトルは、特徴量発見およびモデル発見法への入力として使用され得、特徴量発見およびモデル発見法は、その方策を完全なものにするときにおよび／またはＡＩモデルに対する構造的変化を特徴量発見およびモデル発見法に提案させ任意に実行させるさらなる入力パラメータとしてこの情報を利用する。

【0158】

例えば、典型的な実施形態において、バイアス情報は、バイアスを示すＸＮＮ／ＸＳＮ／ＸＭＮの特定の部分にまたはバイアスを引き起こしている場合があるＸＡＩモデル内のルールにまたはバイアスを示すＸＴＴのアテンションモデルにまたは何らかのポリシー下でバイアスを引き起こしている場合があるＸＲＬエージェントによって採用されるアクションにＧＡまたはＭＣＳＭシステムを集中させるために使用され得る。

【0159】

ローカルバイアス検出は、特定のサンプルに適用され得る。回答は、その説明係数と共に、局所化されたバイアス検出のためのバイアスとして役立つことができる。例示的なモデルを参照すると、特定の入力サンプルは、２つの入力、この場合、ｘおよびｙを有することができる。特徴量重要度ベクトルＩは、特徴量｛ｘ、ｙ、ｘｙ、ｘ²、ｙ²｝に対応してＩ＝｛β₁、β₂＋β₁₀、β₃＋β₅、β₇、β₈｝になるようにグローバルな方法で特徴量重要度を示すことができる。ベクトルＩは、最も顕著な特徴量がベクトルの始めに配置されるように降順でソートされ得る。特定の入力ベクトル｛ｘ、ｙ｝を考慮すると、１つまたは複数のルールが関数ｆ（ｘ、ｙ）を通してトリガーすることができることが留意され得る。

【0160】

この例示的な実施形態において、ｘ≦１０とする。これは、関数Ｓｉｇｍｏｉｄ（β₀＋β₁ｘ＋β₂ｙ＋β₃ｘｙ）をトリガーすることができ、関数Ｓｉｇｍｏｉｄは、Ｅ＝｛β₁ｘ、β₂ｙ、β₃ｘｙ｝である説明候補としてバイアスにサーブする以下の局所化された特徴量重要度ベクトルをもたらす。異なる特徴量がグローバルおよびローカルレベルで異なる重要度を有することができることが留意され得る；例えば、この特定の実施形態において、グローバルに、特徴量ｘが最も重要であるとすることができる、しかしながら、関数を局所的に評価した後に、ｙが最も重要であることが留意され得る。

【0161】

ＸＴＴは、規定されたモデルの性能を上げるために、適した分散型の説明可能なアーキテクチャ（ＤＥＡ：Ｄｉｓｔｒｉｂｕｔｅｄ Ｅｘｐｌａｉｎａｂｌｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）と併せて使用され得る。分散型の説明可能なアーキテクチャＤＥＡは、ｍ＝｛ｘ₁、ｘ₂、．．．、ｘ_n｝かつｘ_i∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＴＴ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝であるような複数の説明可能なアーキテクチャＤＥＡ_mあるいは論理的に等価なまたは同様のアーキテクチャを含むことができ、そのようなアーキテクチャは、並列に処理される。説明可能な分散型フレームワーク内の説明可能なアーキテクチャ２６１０の数はＤＥＡ_nとして規定される。

【0162】

図１１は、分散型訓練システムの高レベルアーキテクチャを示し、ＤＥＡ_mはＸＴＴアーキテクチャを示し、ＤＥＡ_nは、さらに、説明可能なアーキテクチャの同質または異質混合とすることができるｎ個のモデルを含む。ＤＥＡは、説明可能なアーキテクチャＤＥＡ_mを訓練するために、データセットをデータの複数のサブセット２６００に分割する。Ａｌｌ－Ｒｅｄｕｃｅ、Ｈｏｒｏｖｏｄ、および他の適した分散型学習技法のような一括操作技法（ｃｏｌｌｅｃｔｉｖｅ ｏｐｅｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）を含むが、それに限定されない適切な分散型訓練技法がＤＥＡ内の同質および異質の説明可能なモデルミックスに適用され得ることがさらに企図される。

【0163】

分散型フレームワークＤＥＡにおいて訓練されるモデルは、並列モデルからの平均（または重み付き平均）を計算することによって訓練フェーズ中に集約される２６２０。集約モデルは、個々のモデルの結果からではなく、モデルの重みに直接基づいて形成され得る。分散型説明可能なアーキテクチャＤＥＡは、訓練用データが単一機械のＣＰＵ／ＧＰＵメモリにフィットすることができない大きいデータセットについて有用とすることができる。

【0164】

ＤＥＡは、アーキテクチャのモデルが、ｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＴＴ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャのミックスであるようなハイブリッドモデルを含むことができる。例示的な実施形態は、複数の異なるモデルを実施することができる。例えば、１つのデータ部はＸＮＮを実施することができ、一方、同じシステムの別のデータ部はＸＴＴを実施することができる。モデルは、その後、集約モデルを作成するために結合され得る。集約モデルは、ｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＴＴ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャに等しいとすることができる、または、複数の異なるモデルを実施するハイブリッドモデルとすることができる。

【0165】

ＤＥＡは、複数の独立したモデルを組み込むことができ、１つのモデルは、訓練されると、主に訓練のために最適化される完全な分散型アーキテクチャに依存する必要性なしで、独立に働くことができる。

【0166】

ＸＴＴアーキテクチャは、ＸＴＴの説明可能なアーキテクチャによって生成される出力から説明スカフォールドを構築し、解釈者に結果を示すためにそれを使用して、モデルがそのような予測にどのように到達したかを理解するのを手伝う。解釈者は、エンドユーザまたはＸＴＴアーキテクチャ内のコンポーネントとすることができる。

【0167】

説明可能なトランスフォーマアーキテクチャＸＴＴの基礎のコンポーネントは、それらの状態またはモデルの内部部分を更新するためにモデル解釈を必要とすることができる。

【0168】

３つのタイプのモデル解釈：（ｉ．）基本的解釈または回答、（ｉｉ．）説明解釈または説明、および（ｉｉｉ．）メタ説明解釈または正当化理由が存在する。

【0169】

基本的解釈または回答は、サブコンポーネントによって理解され得る予測出力ｏを指すことができる。

【0170】

説明解釈または説明は、２タプルベクトル＜ｏ、ｗ＞によって示され、サブコンポーネントによって理解され得る、そのような予測値についてのモデル説明ｗと結合された予測出力ｏを指すことができる。モデル説明は、所与の観測について入力特徴量の特徴量重要度を説明するために利用され得る、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャの係数θを含むことができる。

【0171】

メタ説明解釈または正当化理由は、３タプルベクトル＜ｏ、ｗ、ｊ＞によって示され得、予測出力ｏ、モデル説明ｗ、およびモデル説明の正当化理由ｊを含むことができる。モデル正当化理由ｊは、モデル説明を生成するために考慮された、説明システムによって採用された仮定、プロセス、および意思決定に関するさらなる情報を提供する。

【0172】

モデル説明およびメタ説明解釈は、ＸＴＴアーキテクチャ内のコンポーネントを更新するために解釈者によって利用され得る。

【0173】

例示的な実施形態において、ＸＴＴは、説明および解釈生成システム（ＥＩＧＳ）内で利用されて、入力クエリの処理のために適したモデルを提供し、上記入力クエリに関する適切な回答、説明、およびオプションの正当化理由を生成することができる。典型的なＥＩＧＳ説明および解釈パイプラインは図１４に示される。ＸＴＴが、提示出力を変換すること、ユーザ固有出力個人化、コンテキスト固有出力変換、目標固有出力変換、計画固有出力変換、およびアクション固有出力変換を含むが、それに限定されない、ＥＩＧＳ内の説明スカフォールドの適切な部分を変換するために利用され得ることがさらに企図され得る。ＸＴＴが、統計的、因果的、タクソノミカル、オントロジカル、ドメイン、および意味論的情報の結合に基づいてＥＩＧＳ出力を変換するために利用され得ることがさらに企図される。

【0174】

例示的な実施形態において、ＸＴＴは、説明および解釈生成システム（ＥＩＧＳ）内で利用されて、Ｆｉｌｔｅｒが、説明スカフォールドの適切なフィルタリングを生成するための適したモデルを提供することができる。ＸＴＴが、解釈フレーミング、プロトコルコンテキスト、解釈ルール、解釈手順、解釈シナリオ、および競合解決情報の組み合わせを利用して、ＥＩＧＳ内の説明スカフォールドの適切な部分をフィルタリングするために利用され得ることがさらに企図され得る。ＸＴＴアテンションモデルは、ＥＩＧＳ内のフィルタ内および／またはフィルタ間合意プロセスを実施するために使用され得る。

【0175】

例示的な実施形態において、ＸＴＴは、説明および解釈生成システム（ＥＩＧＳ）内で利用されて、解釈者が、適切な解釈を生成し、解釈スカフォールドの要素を生成するための適したモデルを提供することができる。ＸＴＴは、解釈出力を変換すること、解釈シナリオ固有出力変換、コンテキスト固有変換、および解釈要約固有出力変換を含むが、それに限定されない、ＥＩＧＳ内の解釈スカフォールドの適切な部分を変換するために利用され得る。ＸＴＴは、フレーミング、プロトコル、解釈ルール、解釈手順、解釈テンプレート、解釈要約、シナリオモデル、ドメイン、対話型コンテキスト、および競合解決情報の組み合わせに基づいてＥＩＧＳ解釈出力を変換するために利用され得る。ＸＴＴアテンションモデルは、ＥＩＧＳ内で解釈者内および／または解釈者間合意プロセスを実施するために使用され得る。ＸＴＴは、適切な選択モデルおよび選択プロセスに基づいてＥＩＧＳ解釈出力を変換するために利用され得る。

【0176】

ＸＴＴは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（Ｄｏｓｏｖｉｔｓｋｉｙ等、２０２０；Ｃｈｅｎ等、２０２０）を必要とすることなく画像に対して訓練され得る。トランスフォーマは、言語トークンを予測する代わりに、入力画像のピクセルを自己回帰的に予測するために、画像の２Ｄ入力構造を組み込むことなく画像データに対して訓練され得る。ｉＧＰＴ（Ｃｈｅｎ等、２０２０）は、低解像度バージョンのＩｍａｇｅＮｅｔデータセットを使用して、トランスフォーマアーキテクチャにおいて画像表現を学習するためにＧＰＴ－２アーキテクチャを訓練した。ビジョントランスフォーマ（Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ）（Ｄｏｓｏｖｉｔｓｋｉｙ等、２０２０）は、トランスフォーマアーキテクチャを訓練するために、入力画像を複数のパッチに分割し、それらを平坦化し、それらを入力トークンとして使用する。ビジョントランスフォーマ（Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ）（Ｄｏｓｏｖｉｔｓｋｉｙ等、２０２０）およびｉＧＰＴ（Ｃｈｅｎ等、２０２０）は、ブラックボックストランスフォーマとして見られ得る。なぜなら、多層パーセプトロン（ＭＬＰ：ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）等のそのコンポーネントが説明可能または解釈可能でないからである。ＸＴＴは、トランスフォーマアーキテクチャ内にホワイトボックス説明可能なコンポーネントを導入し、それらのコンポーネントは、解釈可能な内部係数、および、ビジョントランスフォーマ（Ｄｏｓｏｖｉｔｓｋｉｙ等、２０２０）またはｉＧＰＴ（Ｃｈｅｎ等、２０２０）の説明と合致され得る説明の生成を可能にする。セルフアテンションメカニズムの変形が、トランスフォーマにおいて使用され得る。

【0177】

ＥＱトランスフォーマ（ＥＱＴｒａｎｓｆｏｒｍｅｒ）（Ｍｏｕｓａｖｉ等、２０２０）は、予測される地震信号、Ｐ相出力、およびＳ相出力が説明可能または解釈可能でないためブラックボックスモデルである。ＸＴＴは、トランスフォーマアーキテクチャ内にホワイトボックス説明可能なコンポーネントを導入し、解釈可能な内部係数、および、各入力特徴量の重要度を示す、入力空間に対する特徴量寄与度等の説明の生成を可能にする。そのため、地震検出システムの例示的なＸＴＴベース実施態様は、ＥＱトランスフォーマと違ってホワイトボックス説明可能なシステムをもたらすことになる。ＸＴＴは、ＸＮＮ等のＸＴＴ内に埋め込まれた説明可能なモデルのみに頼る、ＥＱトランスフォーマの場合と同様に複数のエンコーダ－デコーダに頼る必要なしで、階層的に構造化された説明のさらなる一般化を同様に可能にする。

【0178】

セルフアテンションメカニズムまたは同様のメカニズムは、説明可能なセルフアテンションメカニズムを作成するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャによって帰納され得る。セルフアテンションメカニズムおよびブラックボックスセルフアテンションメカニズムまたは同様のメカニズムの入力トークンは、説明可能なアーキテクチャｘを帰納するために入力として必要とされ得る。説明可能なセルフアテンションメカニズムは、パーティショニング情報、モデルの内部係数、および入力空間の特徴量寄与度を含むことができる複数レベルの説明を生成することができ、そのような説明は、解釈者に対する出力とすることができる。

【0179】

ＸＴＴは、マスキング、穴埋め問題（ｃｌｏｚｅ ｄｅｌｅｔｉｏｎ）、パターン利用訓練（ＰＥＴ：Ｐａｔｔｅｒｎ－Ｅｘｐｌｏｉｔｉｎｇ－Ｔｒａｉｎｉｎｇ）、ゲーム理論アプローチ、および他の適した技法等の自己教師あり技法を使用して訓練され得る。型付け式マスクシンボルは、異なるシンボル、概念、またはオブジェクトのクラス／群を示すことができ、入力データにわたって分配されエンコードされ得る。型付け式（ｔｙｐｅｄ）マスクと入力シンボル／特徴量の残りの部分との相互作用は、ＸＴＴによって使用される一般化された訓練用データを示す。型付け式マスクは、考えられるタスクおよびモダリティのサブセットの並べ替えから選択され得る。そのため、タイプされないマスクは、考えられる全てのタスクおよびモダリティを１つのマスクシンボルになるように結合する型付け式マスクの等価物である。

【0180】

ＸＴＴは、単一ベクトルνにマージするために、全てのエンコーダまたはデコーダレイヤから過去に学習した表現または履歴状態を利用することができる。ベクトルνは、ＸＴＴの初期レイヤがより高いレベルの表現にアクセスできるように、ＸＴＴ内の任意のレイヤに対するフィードバックとして使用され得る。フィードバックトランスフォーマ（Ｆｅｅｄｂａｃｋ Ｔｒａｎｓｆｏｒｍｅｒ）（Ｆａｎ等、２０２０）等の過去の研究は、より高いレベルの表現に対応するために、セルフアテンションの修正に限定される。ＸＴＴは、ホワイトボックスモデルの性質によってより高いレベルの表現に対応するためにホワイトボックスモデルの任意の内部係数を利用することができる。因果的にありそうもない推論を作成することまたは統計的に有効であるが、因果的にありそうもないとすることができる予測経路を作成することを回避するために、そのようなＸＴＴが過去に学習した表現に因果的制約を課すこともできることがさらに企図される。ＸＴＴは、説明可能であるが同時に因果的かつ環境的なありそうなフィードバックメモリを達成するため、過去に学習した表現にさらなる環境的にありそうな制約を課すために、挙動モデルならびにそれらの条件、イベント、トリガー、およびアクション状態表現を利用することもできる。フィードバックメモリをＸＴＴに付加することは、ＸＴＴをチューリング完全（Ｔｕｒｉｎｇ Ｃｏｍｐｌｅｔｅ）にする。なぜなら、ＸＴＴが、条件付き処理を示し、チューリング機械をシミュレートすることができ、自動化コード生成、改良、および最適化等の新しいアプリケーション領域を開くからである。

【0181】

例示的な実施形態において、ＸＴＴシステムは、適した形式言語で書かれた既存の形式コンピュータプログラムを分析し構文解析し、ロードされると、ＸＴＴアテンションモデルを使用してそれをさらに改良するために使用され得る。人間ユーザは、自然言語コンテンツを生成するために使用される次のシーケンストークンに対して、同様のメカニズムを使用することによってユーザが記入する必要があるエリアを示すことができるとすることができる。形式言語の場合、説明可能なモデル内の階層的パーティション構造は、形式言語プログラムの構造またはアーチファクトを直接モデル化するために使用され得る。形式仕様言語が、形式言語プログラムを使用して解決される必要がある問題を指定するために使用され得、したがって、措定された問題について候補コード解決策をＸＴＴシステムが自動的に生成することを可能にすることがさらに企図される。別のオプションにおいて、ＸＴＴシステムは、予め規定されたスタイリスティックスタンダードに従ってコードを変換し、矛盾または誤りを強調し、コードのよりよい代替物ならびにリファクタリング（ｒｅ－ｆａｃｔｏｒｉｎｇ）およびリライト（ｒｅ－ｗｒｉｔｅ）を提案し、難読化された（ｏｂｆｕｓｃａｔｅ）コードを難読化解除し、そして、α変換、β簡約、およびη簡約等の機能的プログラミング言語概念を、生成されたコードに適用するために同様に使用され得る。別のオプションにおいて、ＸＴＴシステムは、証明済みステートメントおよび／または不完全ステートメントのスクラッチからまたはそれらの既存の集合体によって、数学的表現、ステートメント、および証拠を自動的に分析、生成、およびオートコンプリートするために、Ｍｅｔａｍａｔｈ、Ｆ^*、ＨＯＬ、Ｍｉｚａｒ、および他のもののような適した数学的形式言語システムと共に自動定理証明システム（Ａｕｔｏｍａｔｅｄ Ｔｈｅｏｒｅｍ Ｐｒｏｖｉｎｇ ｓｙｓｔｅｍ）と併せて使用され得る。別のオプションにおいて、ＸＴＴシステムは、創薬（ｄｒｕｇ ｄｉｓｃｏｖｅｒ）、医療アプリケーション、および薬物アプリケーションに関わる規制されかつ信頼できるアプリケーションのために必要である、ＸＴＴによって適用される入力－出力変換の間の基礎の仮定の説明を提供しながら、ＤＮＡ、遺伝子発現、タンパク質フォールディング（ｐｒｏｔｅｉｎ ｆｏｌｄｉｎｇ）、および他の関連する生物化学的アプリケーションにおける規制的変化を説明するため、タンパク質または他の適した分子形状と併せてＤＮＡコードを分析するために使用され得る。

【0182】

例示的実施形態において、エンド－ツー－エンド深層学習アーキテクチャは、画像およびビデオ圧縮のために使用されるＸＴＴからなる。ビデオフレームは、ＸＴＴを訓練するための入力トークンとしてその後使用されるパッチに分割される。そのようなコンテキスト化されたトークンは、最適性能のために必要とされる弁別的特徴量（ｄｉｓｔｉｎｃｔｉｖｅ ｆｅａｔｕｒｅｓ）をダウンサンプリングすることによって生成される。ＸＴＴの説明可能なアーキテクチャによって生成される説明は、バックマッププロセス中に損失なし説明経路を形成することができる。経路は、特定の分類ラベルについてフィルタリングされコンテキスト化されたトークンの重要度を示すことができる。（Ｇｏｙａｌ等、２０２０）において提示されるような冗長性最適化および適応的トークン排除技法は、ＸＴＴ性能をさらに加速するために利用され得る。

【0183】

ＸＴＴは、エンド－ツー－エンド自動スピーチ認識（ＡＳＲ：ａｕｔｏｍａｔｉｃ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）アーキテクチャにおいて使用され得る。例示的な実施形態において、ＸＴＴは、スピーチオーディオ波形を対応するテキストに翻訳するために使用される。事前訓練済みＸＴＴコンテキスチュアル表現は、出力を予測するために線形レイヤおよびＳｏｆｔＭａｘ操作に接続される。予測された出力は、その後、ビームサーチデコーダ等のデコーダに接続されて、その出力を対応するテキストに変換する。

【0184】

例示的な実施形態において、ＸＴＴは、スピーチを処理するためにエンド－ツー－エンド深層学習アーキテクチャにおいて使用される。ＸＡＥＤ－エンコーダは、スピーチを潜在的離散的表現に変換するために使用される。ＸＴＴは、直前の出力に基づいて次の出力を予測するために、ＸＡＥＤ－エンコーダの出力に接続される。ＸＡＥＤ－デコーダは、予測された出力をスピーチに変換するためにＸＴＴに接続される。例示的な実施形態の性能を測定するために、音素誤り率（ＰＥＲ：ｐｈｏｎｅｍｅ ｅｒｒｏｒ ｒａｔｅ）メトリックが、生成されたオーディオをテキストに変換するために事前訓練済みＡＳＲモデルを用いて使用される。

【0185】

例示的な実施形態において、ＸＴＴは、複数オブジェクト追跡のために使用される。ＸＴＴは、出力としてバウンディングボックスを生成するために、エンコーダおよび２つのデコーダｄ₁およびｄ₂からなる。ＸＴＴ－エンコーダのキーおよび値ならびにクエリｑ₁は、ｄ₁への入力として渡される。ｄ₁は、現在のビデオフレーム内のオブジェクトを予測することができる。ＸＴＴ－エンコーダのキーおよび値ならびにクエリｑ₂は、ｄ₂への入力として渡される。ｄ₂は、直前のフレーム内で検出されたオブジェクトを用いて現在のビデオフレーム内のオブジェクトを予測することができる。ｄ₁およびｄ₂の性能は、積集合対和集合（ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）等のメトリックを使用して測定され得る。

【0186】

ＸＴＴは、デジタル表面モデル（ＤＳＭ：ｄｉｇｉｔａｌ ｓｕｒｆａｃｅ ｍｏｄｅｌ）または深度マップ（ＤＭ：ｄｅｐｔｈ ｍａｐ）生成のため、衛星の、空中の、または他のタイプの鳥観図（ＢＥＶ：ｂｉｒｄ－ｅｙｅ－ｖｉｅｗ）画像を照合するために使用され得る。例示的な実施形態において、ＸＴＴ－エンコーダは、予測値が分類の代わりに視差回帰（ｄｉｓｐａｒｉｔｙ ｒｅｇｒｅｓｓｉｏｎ）を使用して計算される、図１０（ａ）に示すアーキテクチャと同様の例示的なアーキテクチャを利用して、衛星画像対間の視差を測定するために使用される。ＸＴＴ－エンコーダの入力トークンは、画像対を、

【数13】

として規定される平坦化された画像パッチに分割することによって生成され得る。［ＳＥＰ］シンボルは、第１の画像と第２の画像との間の分離器として使用され得る。視差は、線形レイヤあるいは説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャをＸＴＴ－エンコーダの最終レイヤにアタッチすることによって予測され得る。入力画像が、ＣＮＮ、ＣＮＮ－ＸＮＮ、ＣＮＮ－ＸＴＴ、および／またはＸＡＥＤの組み合わせを使用して、ＸＴＴ－エンコーダに先立ってエンコードされることがさらに企図される。ＸＴＴ－エンコーダのホワイトボックス説明可能なコンポーネントは、解釈可能な内部係数、ならびに、各入力特徴量の絶対的重要度および相対的寄与を示す、入力画像の入力空間に対する特徴量寄与度等の説明の生成を可能にする。ＸＴＴが、ＸＴＴ－エンコーダの直接的拡張によって、単眼、複眼、およびマルチビュー入力データのイメージャリを処理するために利用され得ることがさらに企図される。

【0187】

例示的な実施形態において、ＸＴＴは、オーディオがビデオ内に存在するか否かを予測するオーディオ－ビジュアル分類タスクのために使用される。オーディオは、スライディングウィンドウアプローチを使用してフレームに分割された抽出済みスペクトログラムを使用して示される。ビジュアルフレームは、オーディオ表現において使用されるスライディングウィンドウアプローチによってサンプリングされたフレームを使用して、ビジュアルフレーム埋め込みとしてＣＮＮ－ＸＮＮアーキテクチャの平坦化レイヤを使用して示される。ＸＴＴ－エンコーダについての入力は、オーディオ埋め込みからなることができ、デコーダへの入力は、ビジュアル埋め込みからなることができる。入力の順序は、ビジュアル埋め込みがＸＴＴ－エンコーダへの入力になり、オーディオ埋め込みがデコーダへの入力になるように反転され得る。ＸＴＴは、入力オーディオイベントクラスがビデオ埋め込み内に存在するか否かを予測するためにシグモイド層に接続される。さらなる例示的な実施形態において、ＣＮＮ－ＸＴＴアーキテクチャは、ＣＮＮ－ＸＮＮアーキテクチャの代わりに使用される。さらなる例示的な実施形態において、ＣＮＮアーキテクチャの最終フィードフォワードレイヤは、ＣＮＮ－ＸＮＮアーキテクチャの平坦化レイヤの代わりに使用される。さらなる例示的な実施形態において、ＣＮＮ－ＸＴＴアーキテクチャは、オーディオ－ビジュアル入力内のオブジェクトを含む、オーディオを除く他の入力モダリティを検出するために利用される。

【0188】

ＸＴＴは、合成的に生成された多次元データの生成および検出のために使用され得る。例示的な実施形態において、ＸＴＴ実施態様は、真正画像からディープフェイク画像を検出し分類するために、または、機械学習システムを混乱させるためにデータに付加された敵対的攻撃情報の存在を検出するために使用され得る。説明可能な敵対的生成ネットワーク（ＸＧＡＮ：Ｅｘｐｌａｉｎａｂｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）および／または説明可能な敵対的生成模倣学習（ＸＧＡＩＬ：Ｅｘｐｌａｉｎａｂｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｉｍｉｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ）モデル等の適した説明可能なモデルが、ＸＴＴの生成および検出能力を拡張するために使用され得ることが企図される。別の例示的な実施形態において、ＸＴＴは、実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され（ｌｉｔ）、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするために、カメラ処理システム内に実施され得る。そのような合成画像ブレンドシステムが、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、または同様のメタバースシステム内に実施され得ることがさらに企図される。さらなる例示的な実施形態において、ＸＴＴベースシステムは、合成画像とリアルライフイメージャリまたはメタバースイメージャリとのリアルタイムブレンディングを実施するために、ＡＲ／ＶＲ／メタバースアプリケーションのために利用されるポータブルハードウェア眼科デバイス内に実施され得る。そのようなＸＴＴベースシステムが、手術または医療画像の分析において使用するための医療ハードウェア内で、機器検査プロセスおよび製造検査プロセスにおいて使用するためのエンジニアリングアプリケーション内で、そして、電気機械インタフェース、電気化学生体インタフェース、または、生体ニューロン－人工ＡＩシステムインタフェース等の適切な生体－電気人間機械インタフェース内等、人間可読および解釈可能フォーマットでデータを送信する医療インプラント内で実施され得ることがさらに企図される。さらなる例示的な実施形態において、ＸＴＴベースシステムは、生体ニューロンからの入力信号を受信し、適切にエンコードされたフォーマットで生体ニューロンに信号を出力する、２つ以上の生体ニューロンを架橋する医療埋め込み式デバイスの一部として実施され得る。そのようなアプリケーションが、例えば、対まひ患者（ｐａｒａｐｌｅｇｉｃ ｐａｔｉｅｎｔ）において、損傷した生体神経システム接続を架橋するための現実的解決策を提供する、または、高度人口装具デバイスにおいて、カメラおよび他のセンサ等の人工デバイスの埋め込みおよび接続を補助することができることが企図される。ＸＴＴシステムの一部として実施されるＸＧＡＩＬシステムのシミュレータおよびデータサンプル合成が、異なるモダリティの関連するシーケンス順序付けおよび環境世界コンテキストに従って適切に同期される（例えば、時間的同期）マルチモーダル混合出力をＸＴＴシステムが生成することを可能にすることになることがさらに企図される。そのような例示的なＸＴＴシステム実施態様が、例えば、特定の芸術的スタイルを模すために、生成されたデータサンプルを適切に修正するために使用され得る種々の学習済みスタイルを使用して、新規なデータサンプル、イメージャリ、デジタルおよびアナログ混合メディアペインティング、および３Ｄスカルプチャを作成するために同様に使用され得ることがさらに企図される。そのような生成されたデータサンプルが、何らかのセキュア追跡可能デジタルコード、分散型台帳エントリ、または非代替性トークン（ＮＦＴ：ｎｏｎ－ｆｕｎｇｉｂｌｅ ｔｏｋｅｎ）をタグ付けされ得ることがさらに企図される。

【0189】

例示的な実施形態において、ＸＴＴ実施態様は、形式的ミュージックノーテーション（ｆｏｒｍａｌ ｍｕｓｉｃ ｎｏｔａｔｉｏｎ）および合成、サウンドサンプル混合、テキスト－ツー－スピーチ生成、および一般的オーディオサンプル生成の組み合わせを使用してミュージックを生成するために使用され得る。マルチモーダルＸＴＴ実施態様が、例えば、ミュージック用の付録ビデオを作成するビデオ生成、人間に似た動作を有する現実的な合成生成アバターを有するダンスビデオを作成するポーズ推定およびディープフェイク生成モデル、および同様なアプリケーションを使用して、異なるモダリティにおいてさらなる出力を生成するために使用され得ることがさらに企図される。マルチモーダルＸＴＴ実施態様が、例えば、仮想環境内で現実的に動き振る舞うアバターを作成するため、スピーチ、ポーズ推定、テキスト、およびジェスチャ識別を関連付けるために、異なるモダリティにおいて入力を分析するために使用され得ることがさらに企図される。

【0190】

ＸＴＴは、下流タスクの性能をさらに改善するために、事前訓練後に、さらなるステップとして事前微調整され得る。

【0191】

ＸＴＴ－エンコーダは、ビデオフレームに関するアノテーションを予測するためにエンド－ツー－エンド深層学習アーキテクチャにおいて使用され得る。例示的な実施形態において、深層学習は、ＣＮＮ－ＸＮＮコンポーネントおよびＸＴＴコンポーネントからなる。入力データセットのビデオフレームは、オブジェクト埋め込みを予測するために、ＣＮＮ－ＸＮＮアーキテクチャへの入力として使用される。ビデオフレームの対応する文字化されたテキストｉｎｐｕｔ_t（ここで、ｉｎｐｕｔ_t＝｛ｔ₁、ｔ₂、．．．、ｔ_n｝）は、コンテキスト化単語埋め込みを予測するためにＸＴＴ－エンコーダへの入力として使用される。説明可能なエンド－ツー－エンド深層学習モデルは、トークンｔ_j（ここで、ｔ_jは、ビデオフレームの文字化されたテキストにおいて識別可能な単語を指すことができる）についてコンテキスチュアル単語表現の埋め込みをＣＮＮ－ＸＮＮアーキテクチャに学習させることができるため、ＣＮＮ－ＸＮＮアーキテクチャは予測ラベルの意味論的コンテキストを学習することができる。さらなる例示的な実施形態において、ＣＮＮ－ＸＴＴアーキテクチャはＣＮＮ－ＸＮＮアーキテクチャの代わりに使用される。

【0192】

ＸＴＴ－エンコーダは、エンド－ツー－エンド深層学習アーキテクチャにおいて、対話状態追跡（ＤＳＴ：ｄｉａｌｏｇｕｅ ｓｔａｔｅ ｔｒａｃｋｉｎｇ）タスクについて、対話の状態を追跡し、オントロジーにおいて予め規定される代わりに未知スロットを学習するために使用され得る。例示的な実施形態において、ＸＴＴ－エンコーダへの入力は、［ＣＬＳ］トークン、システム対話トークン埋め込みｄ_s（ここで、ｄ_s＝｛ｓ₁、ｓ₂、．．．、ｓ_n｝）、ユーザ対話トークン埋め込みｄ_u（ここで、ｄ_u＝｛ｕ₁、ｕ₂、．．．、ｕ_m｝）、および入力空間においてｄ_uからｄ_sを分離する［ＳＥＰ］トークンを含むことができる。コンテキスト化トークン表現［ＣＬＳ］は、その後、対話のコンテキストクラスを分類するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャに接続される。入力トークンの残りの部分のコンテキスト化トークン表現は、開始出力について最大予測確率を有するトークンを選択し、終了出力について最大予測確率を有するトークンを選択することによって、スロット値の開始および終了位置を予測するために説明可能なアーキテクチャｘに接続され得る。ＸＴＴ－エンコーダの説明可能なアーキテクチャは、ブラックボックスモデルから帰納され得るまたはデータセットから直接学習され得る。

【0193】

例示的な実施形態において、ＸＴＴ－エンコーダは、所与の入力シーケンス内でエンティティを識別するために使用される。ＸＴＴ－エンコーダによって処理される入力シーケンス｛ｓ₁、ｓ₂、．．．、ｓ_n｝は、コンテキスト化表現｛ｙ₁、ｙ₂、．．．、ｙ_n｝を生成する。コンテキスト化表現｛ｙ₁、ｙ₂、．．．、ｙ_n｝は、２つの出力：エンティティの開始位置およびエンティティの終了位置を予測するために説明可能なモデルに接続され得る。開始位置について最も高い確率予測を有するコンテキスト化トークン表現は、エンティティ表現の開始位置のために選択され得る。終了位置について最も高い確率予測を有するコンテキスト化トークン表現は、エンティティ表現の終了位置のために選択され得る。

【0194】

さらなる例示的な実施形態において、ＸＴＴ－エンコーダは、入力質問について回答の開始位置および終了位置を識別するために使用される。ＸＴＴ－エンコーダへの入力は、［ＣＬＳ］トークン、質問ｉｎｐｕｔ_q（ここで、ｉｎｐｕｔ_q＝｛ｑ₁、ｑ₂、．．．、ｑ_n｝）のトークン埋め込み、回答ｉｎｐｕｔ_a（ここで、ｉｎｐｕｔ_a＝｛ａ₁、ａ₂、．．．、ａ_m｝）のトークン埋め込み、および入力空間においてｉｎｐｕｔ_aからｉｎｐｕｔ_qを分離する［ＳＥＰ］トークンを含むことができる。コンテキスト化トークン表現［ＣＬＳ］は、その後、回答がトークン埋め込みｉｎｐｕｔ_a内に存在するか否かを分類するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャに接続される。ｉｎｐｕｔ_aのコンテキスト化表現は、２つの出力：回答の開始位置および回答の終了位置を予測するために説明可能なモデルに接続され得る。開始位置について最も高い確率予測を有するコンテキスト化トークン表現は、回答の開始位置のために選択され得る。終了位置について最も高い確率予測を有するコンテキスト化トークン表現は、回答の終了位置のために選択され得る。

【0195】

例示的な実施形態において、ＸＴＴ－エンコーダは、知識ベースにおいて、テキスト内のエンティティのメンションを対応するエンティティにリンクするために使用される。ＸＴＴ－エンコーダへの入力は、入力空間の開始における［ＣＬＳ］トークンと、それに続く、コンテキストｉｎｐｕｔ_c（ここで、ｉｎｐｕｔ_c＝｛ｔ₁、ｔ₂、．．．、ｔ_n｝）のトークン埋め込み、メンションｉｎｐｕｔ_m（ここで、ｉｎｐｕｔ_m＝｛ｔ₁、ｔ₂、．．．、ｔ_m｝）のトークン埋め込み、エンティティｉｎｐｕｔ_e（ここで、ｉｎｐｕｔ_e＝｛ｔ₁、ｔ₂、．．．、ｔ_k｝）のトークン埋め込み、および入力空間においてｉｎｐｕｔ_eからｉｎｐｕｔ_mおよびｉｎｐｕｔ_cを分離する［ＳＥＰ］トークンを含むことができる。［ＣＬＳ］のコンテキスト化トークン表現は、その後、エンティティｉｎｐｕｔ_mのメンションがエンティティｉｎｐｕｔ_eにリンクされるか否かを予測するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャに接続される。ＸＴＴ－エンコーダは、ＸＴＴであって、そのエンティティリンキングタスクにおいて意味論的に意識のある、ＸＴＴを学習するために、エンティティと同様であるメンションを負の予測として割り当てることができる。

【0196】

ＸＴＴ－エンコーダは、直前の出力に基づいて出力を予測するために、ＸＴＴ－デコーダと結合され得る。例示的な実施形態において、ＸＴＴ－エンコーダは、ビデオフレーム内で次の観測アクションを予測するために、ＸＴＴ－デコーダと結合される。ＸＴＴ－エンコーダは、ｌ＝ＸＴＴ－Ｅｎｃｏｄｅｒ（Ｖ）になるように各フレームについて特徴量表現ｌを生成するために、Ｄｏｓｏｖｉｔｓｋｉｙ等（２０２０）の研究と同様のメカニズムにおいて、ビデオフレームＶ（ここで、Ｖ＝｛ν₁、ν₂、．．．、ν_n｝）をオーバーラップしない平坦化画像パッチとして処理する。ＸＴＴ－エンコーダプロセスが、説明可能なビデオコーディングおよびビデオモデリングシステムの実用的な実施態様において使用され得ることがさらに企図される。ＸＴＴ－デコーダは、図１０（ｂ）に示すのと同様の方法で、直前のビデオフレームに基づいてビデオフレーム内に存在するアクションを予測するために、時間的位置埋め込みと組み合わされた特徴量表現ｌを処理する。

【0197】

例示的な実施形態において、ＸＴＴ－エンコーダアーキテクチャは、医療イメージング観測結果を分類するために訓練されたエンコーダベーストランスフォーマを帰納するために使用され得る。入力トークン｛ｔ₁、ｔ₂、．．．、ｔ_n｝は、位置埋め込みメカニズムと組み合わされた医療イメージングデータの複数の部分を指すことができる。ＸＴＴ－エンコーダは、説明可能なモデルｘ２０００を使用してブラックボックスフィードフォワードニューラルネットワークコンポーネント１９００を帰納して、パーティショニング情報、モデルの内部係数、および直前のレイヤ１９３０の特徴量寄与度を含むことができる複数レベルの説明を、ブラックボックスフィードフォワードニューラルネットワークコンポーネントの出力に関連して構築することができる。ＸＴＴ－エンコーダは、説明可能なモデルｘを有するブラックボックスＭＨＡコンポーネント１９２０を帰納して、パーティショニング情報、モデルの内部係数、および入力トークン｛ｔ₁、ｔ₂、．．．、ｔ_n｝の特徴量寄与度を含むことができる複数レベルの説明を、ブラックボックスＭＨＡコンポーネント１９２０の出力に関連して構築することができる。モデルの内部係数および特徴量寄与度は、入力次元またはエンコーダベーストランスフォーマにおいて見出されるバイアスの重要度を示すことができる。

【0198】

ＸＴＴは、トランスフォーマアーキテクチャにおいて学習された階層的構造に対する説明を構築するために、限定はしないが構成アテンションモジュール（Ｗａｎｇ等、２０１９）からの係数等のさらなる入力を採用する説明可能なモデルｘを含むことができる。

【0199】

例示的な実施形態において、医療イメージングのためのＸＴＴシステム実施態様は、入力画像トークンシーケンスに対して分類トークンを利用することによって、胸部ｘ線画像データセットにおいて肺炎観測結果を分類するために訓練された説明可能なエンコーダベーストランスフォーマを使用することができる。説明可能なアーキテクチャｘは、限定はしないが、それぞれの画像パッチの構成事前物等のさらなる入力を採用することができる。各エンコーダレイヤにおけるリンク確率およびそれぞれの特徴量寄与度は、トップダウン貪欲構文解析アプローチによる教師なし構文解析を使用して入力胸部ｘ線画像パッチの説明可能な構文解析木を形成するために利用され得る。

【0200】

説明可能なトランスフォーマＸＴＴアーキテクチャは、パイプラインの一部としてＸＴＴを組み込む、エンド－ツー－エンド説明可能な深層学習システムまたは適した機械学習システム内のコンポーネントとすることができる。ＸＴＴアーキテクチャに対して入力トークンを引き出す基礎のアーキテクチャは、畳み込みニューラルネットワーク（ＣＮＮ）とすることができ、説明可能なトランスフォーマは、アーキテクチャの最終コンポーネントとすることができる。

【0201】

例示的な実施形態は、ハードウェア回路として直接実施され得、ハードウェア回路は、（ｉ．）ＦＰＧＡのような柔軟なアーキテクチャ、または（ｉｉ．）ＡＳＩＣ、アナログ／デジタル電子部品、光電子部品、または光プロセッサのようなより静的なアーキテクチャ、または（ｉｉｉ．）コネクショニストモデルのハードウェア実施により適するとすることができるニューロモーフィックアーキテクチャ、スピントロニクス、またはメモリスタ、または（ｉｖ．）量子コンピューティングハードウェアを使用して実施され得る。

【0202】

例示的な実施形態において、ＸＴＴは、ＦＰＧＡを使用して実施され得、ＦＰＧＡは、ソフトウェア実施態様に、通常、関連付けられる柔軟性を維持しながら、高スループットおよびハードウェア加速の利点を含むアプリケーションに有用とすることができる。

【0203】

例示的な実施形態において、ＸＴＴは、ＡＳＩＣを使用して実施され得、ＡＳＩＣは、同様の製品の大量生産を含むアプリケーションに有用とすることができる。そのような実施態様は、おそらくは低い柔軟性を有するという代償を払って高い性能およびスループットを有することができる。

【0204】

例示的な実施形態において、ＸＴＴは、小さいサイズまたはコンパクトなＸＴＴにとって有用とすることができるディスクリートコンポーネントを使用して実施され得る。コストおよび頑健性考慮事項は、例えば、ハイパワーシステムが関わるとき、または、基本制御または安全性モニタリングのために単純なＸＴＴが必要とされるときに、このタイプの実施態様を魅力的にすることができる。

【0205】

別の例示的な実施形態において、ＸＴＴは、ニューロモーフィックハードウェアを使用して実施され得る。ニューロモーフィックハードウェアは、スピントロニクスと同様の方法でメモリおよび処理を同様につなぐ。ハードウェアニューロモーフィックＸＴＴ実施態様は、汎用コンピューティングアーキテクチャを実際に必要とすることなく汎用コンピューティングアーキテクチャのそれと同様の利点および柔軟性のほとんどを有しながら非常に効率的であるとすることができる。ニューロモーフィックＸＴＴ実施態様は、例えば、ＸＮＮ条件付きネットワークのニューロシンボリックアーキテクチャを利用することによって、ＸＴＴの考えられる非ニューラルコンポーネントも効率的に実施されることを可能にしながら、ＸＮＮおよび／またはＩＮＮのような説明可能なモデルを効率的に実施することができる。ＩＮＮ等の解釈可能なモデルは、ルールおよび／またはワークフローの形態で人々に大抵はさらに提示され得るモデルを提示することによって、そのようなアーキテクチャが理解可能にされることを可能にする。この表面表現形態は、編集され、その後、ニューロモーフィックハードウェアについて必要とされるニューラルコネクショニストフォーマットに戻るようにシームレスに再変換され得る。そのような例示的な実施形態は、関連する情報を編集し、付加し、削除し、その結果、ニューロモーフィックデバイスの挙動を、制御され、信頼性があり、複製可能な方法で変更するための実用的な解決策を提供する。

【0206】

別の例示的な実施形態において、ＸＴＴは、より一般的な活性化関数ベースニューロンではなくスパイキングニューロンを使用するニューロモーフィックハードウェア上に実施され得る。スパイキングニューロンは、パワー効率および処理スループットをかなり大幅に増加させることができ、非スパイキングニューロンを用いて普通なら実行不可能であることになる幾つかの実用的な解決策を実行可能にする。

【0207】

別の例示的な実施形態において、ＸＴＴは、スピントロニクスまたはメモリスタを使用して実施され得る。スピントロニクスは、メモリおよびコンピューティングコンポーネントをつなげ、おそらくはより効率的なハードウェア実施態様をもたらす。なぜなら、動作中に、メモリ値、重み等の、もしあれば多くの転送が存在する必要がないからである。メモリスタは、同様の利点を提供し、不揮発性であるという利点を有する。スピントロニクスおよび／またはメモリスタ実施態様は、再プログラム可能である場合、ＦＰＧＡ実施態様に対して同様の特性を有することができる。再プログラム不能なスピントロニクスまたはメモリスタは、ＡＳＩＣに対して同様の特性を有することができる。ＸＴＴは、ＸＴＴアーキテクチャの任意のコネクショニストベース部分内の全ての異なるレイヤおよびニューロンを、ＸＴＴアーキテクチャの任意の状態機械またはタビュラベース部分と共に、スピントロニックまたはメモリスタ回路に変換することによって、スピントロニクスまたはメモリスタを使用して効率的に実施され得る。スピントロニクス実施態様は、スピントロニック回路において利用可能であるメモリおよび処理の混成（ｃｏｎｆｌａｔｉｏｎ）によって、実際には特に効率的とすることができる。メモリスタ実施態様は、特にパワー効率がよいとすることができる。なぜなら、それらの不揮発性重み格納が、動作中にメモリスタベースシステムの一部または全てを積極的にオフすることを可能にするからである。より高速なデータアクセスおよびデータバスを通じて計算的に費用がかかるデータ転送要求を有することの排除または低減は、そのような実施態様の性能を大幅に改善することができる。

【0208】

別の例示的な実施形態において、ＸＴＴは量子処理システムを使用して実施されうる。量子処理システム上に実施されるＸＴＴが、量子固有の拡張の付加によって、古典的なＸＴＴモデルと同様である特性を有することになることが企図される。例えば、そのような拡張は、量子アニーリング効果の仕様およびそれらの正しい解釈を可能にすることができる。別の例において、拡張は、複数の量子ビット状態、量子ビット基底状態、混合状態、アンシラビット、および、エンタングルメントおよび／またはデコヒーレンスによる他の関連する量子効果の正しい解釈を可能にすることができる。別の例において、拡張は、ＣＮＯＴ（Ｃｏｎｔｒｏｌｌｅｄ－ＮＯＴ、制御ＮＯＴ）、ＣＳＷＡＰ （Ｃｏｎｔｒｏｌｌｅｄ－Ｓｗａｐ ｏｒ Ｆｒｅｄｋｉｎ ｇａｔｅ、制御スワップまたはフレドキンゲート）、ＸＸ（Ｉｓｉｎｇ Ｃｏｕｐｌｉｎｇ Ｇａｔｅ ＸＸ、イジング結合ゲートＸＸ）、ＹＹ（Ｉｓｉｎｇ Ｃｏｕｐｌｉｎｇ Ｇａｔｅ ＹＹ、イジング結合ゲートＹＹ）、ＺＺ（Ｉｓｉｎｇ Ｃｏｕｐｌｉｎｇ Ｇａｔｅ ＺＺ、イジング結合ゲートＺＺ）ゲート、パウリ（Ｐａｕｌｉ）ゲート、アダマール（Ｈａｄａｍａｒｄ）ゲート、トフォリ（Ｔｏｆｆｏｌｉ）ゲートのような量子ロジックゲート、および、直列にまたは並列に組み合わされ得る他の関連する量子ロジック演算等、ＸＮＮ内への量子ロジック固有演算子および／またはハードウェアロジックゲートの導入を可能にすることができる。そのような量子ロジックゲート（または量子ゲート）は、多数の量子ビットに対して動作し、量子的アナロジーの古典的なロジックゲートとして働く。イジングゲートのＸＸ、ＹＹ、ＺＺ指定は、パウリＸ、Ｙ、Ｚ行列に関連し、パウリＸ、Ｙ、Ｚ行列は、粒子のスピンと外部電磁界との相互作用を記述するために使用される。これらの例をさらに進めると、そのような量子固有の拡張は、例えば、条件、イベント、トリガー、およびアクションの量子拡張バージョンを有することによって、ＸＴＴアーキテクチャの種々の部分において実施され得る。ＸＴＴのそのような量子拡張バージョンが、例えば、古典的な処理実施態様に関して可能であるより著しく少数の処理ステップで、複数のアクションを実行する、または、複数の条件を評価する、または、大きい制約のシステムを評価するために量子効果を利用することができることがさらに企図される。例示的な実施形態において、量子コンピューティングハードウェア上に実施されるＸＴＴは、量子フーリエ変換、振幅増幅、量子ウォーク等に基づくアルゴリズム等の適した量子アルゴリズムを利用することができる。量子デバイスに関する例示的なＸＴＴ実施形態において、Ｂｅｒｎｓｔｅｉｎ－Ｖａｚｉｒａｎｉ、サイモンのアルゴリズム、またはＤｅｕｔｓｃｈ－Ｊｏｚｓａアルゴリズムは、エンコーディング－デコーディング態様を同様におそらくは加速しながら、ＸＴＴアーキテクチャの境界条件を予測し改良するために利用され得る。別の例示的な量子実施形態において、ショア（Ｓｈｏｒ）のアルゴリズム、量子位相推定アルゴリズム、グローバー（Ｇｒｏｖｅｒ）のアルゴリズム、量子計数、量子ハミルトニアンＮＡＮＤ木、またはＨＨＬアルゴリズムは、挙動モデル（ＢＭ：Ｂｅｈａｖｉｏｒａｌ Ｍｏｄｅｌ）と統合されたＸＴＴアーキテクチャの制約、条件、イベント、およびトリガー部分を加速するために使用され得る。量子デバイスに関する別の例示的な実施形態において、ＱＡＯＡアルゴリズム、ＶＱＥ固有値ソルバー、ＣＱＥ固有値ソルバー、および量子行列反転等のハイブリッド解決策が利用されて、例えば、ＸＴＴモデル訓練中と環境内で通常に動作しているときの両方においてより高速な結果を与えるために、量子処理を利用するガウシアン推定プロセスまたは線形方程式系ソルバーを使用することによって、関係するプロセスの一部を加速することができる。

【0209】

ＸＴＴの量子実施態様は、マルチタスクおよびマルチモーダルアプリケーションにおいて有意の利点を提供することができるとすることもできる。例えば、ヒルベルト空間は、各モダリティおよび／またはタスク（各タスク／モダリティについての適切なバイアス上程規定を有する）について規定され得、その後、全ての個々のタスクマおよびモダリティを包含するマルチタスクおよびマルチモーダルヒルベルト空間が構成され得る。結果として得られるマルチタスクおよびマルチモーダルヒルベルト空間は、タスクとモダリティとの間の全ての相互作用を表すために使用され、クロスオーバー学習の量子バージョンと共にモダリティおよび／またはタスクのサブセットについての両方の訓練を実施するために使用され得る。クロスオーバー学習は、量子実施態様から利益を得ることもできる－なぜなら、クロスオーバー学習構造内の疎な接続および量子コンピューティングハードウェアの優れた検索性能特性の組み合わせが、より高速なアプリケーションを生成する可能性があるからである。ハイブリッド実施態様が、実用的な実施態様であって、古典的なハードウェアがＸＴＴ指向の個々のタスクまたはモダリティを実施するために使用され、量子ハードウェアがクロスオーバー学習構造を実施するために使用される、実用的な実施態様をもたらすことができることがさらに企図される。

【0210】

例示的な実施形態において、ＸＴＴは、処理データおよびイベントデータを共に含んで、それぞれＸＴＴから読み取り、ＸＴＴに戻すように書き込むワークフローシステム内に組み込まれ得る。ＸＴＴとワークフローの組み合わせが、ロボットプロセス自動化（ＲＰＡ：Ｒｏｂｏｔｉｃ Ｐｒｏｃｅｓｓ Ａｕｔｏｍａｔｉｏｎ）システム、意思決定支援システム（ＤＳＳ：Ｄｅｃｉｓｉｏｎ Ｓｕｐｐｏｒｔ Ｓｙｓｔｅｍ）、またはデータレイクシステム内にさらに統合され得ることがさらに企図される。

【0211】

ＸＴＴアクション、目的メトリック、条件、制約、アクション、トリガー、およびイベントは、因果的ロジックと併せて、仮説的、帰納的、演繹的ロジックの組み合わせを利用することができる。帰納的ロジックを使用すると、ＸＴＴは、完全に自動的に学習されたと思われる一般化ルールおよび知識に基づいて将来の挙動を予測することができる。演繹的ロジックを使用すると、ＸＴＴは、１つまたは複数の条件あるいは制約の組み合わせに従って挙動を予測することができる。仮説的ロジックを使用すると、ＸＴＴは、観測されるシナリオを、ＸＴＴ内の考えられる状態の知られているセットに組み込むことができる、または、現在観測されている挙動を合理的に許容可能な方法で説明することができるとすることができる。仮説的ロジックは、ＸＴＴベース診断システムの実用的な実施態様において有用とすることもでき、挙動モニタリングおよび予測データを使用するＡＩシステムの診断およびトラブルシューティングにおいて役立つために使用され得る。仮説的ロジックは、観測される状態にフィットするＸＴＴベースの説明的な物語の作成において有用とすることもでき、一方、帰納的および演繹的ロジックは、予測に似た物語と共にＸＴＴベースの説明的な物語の作成において一般に有用とすることができる。仮説的ロジックは、環境が部分可観測性を提供する状況において有用とすることができる。

【0212】

ＸＴＴは、反事実的言語表現アーキテクチャを使用する因果的説明のために使用され得る。例示的な実施形態において、ＸＴＴ－エンコーダは、さらなる被処理概念目的（Ｔｒｅａｔｅｄ Ｃｏｎｃｅｐｔ ｏｂｊｅｃｔｉｖｅ）（Ｆｅｄｅｒ等、２０２０）および被制御概念（Ｃｏｎｔｒｏｌｌｅｄ Ｃｏｎｃｅｐｔ）（Ｆｅｄｅｒ等、２０２０）を用いて訓練されて、考えられる交絡概念（ｃｏｎｆｏｕｎｄｉｎｇ ｃｏｎｃｅｐｔ）の存在を予測することができる。この例示的な実施形態におけるＸＴＴエンコーダの予測は、その後、出力クラスに割り当てられた予測確率間の絶対差の平均を使用して、反事実的微調整訓練を使用しなかったＸＴＴエンコーダの予測と比較される。

【0213】

ＸＴＴは、原因－および－結果を扱う、関連付け、介入、および反事実的因果的ロジックを扱う、環境モデル入力による妥当性チェック（ｐｌａｕｓｉｂｉｌｉｔｙ ｃｈｅｃｋ）を実施する、因果的にありそうな同型化（ｉｓｏｍｏｒｐｈｉｓｍ）によって訓練用データを拡張するために、因果モデル固有の機能を実施することができる。図１９に示す例示的な実施形態において、ＸＴＴは、説明可能な因果モデル機能と共に実施される。入力レイヤ４００（説明可能なシステムがＸＮＮである場合、図３の入力コンポーネント４００に対応することができる）は、適した特徴量相互作用コンポーネント４２４（説明可能なシステムがＸＮＮである場合、図３のフィットレイヤコンポーネント４２４に対応することができる）に給送し、適した特徴量相互作用コンポーネント４２４は、その後、ＸＴＴ自身および／またはその説明可能なモデルコンポーネントのうちの１つのモデルコンポーネントとすることができる説明可能なシステム３４００に給送する。入力レイヤ４００は、因果モデルコンポーネント３４１０に同様に給送する。特徴量相互作用４２４および説明可能なシステム３４００は、因果モデル３４１０に対して２方向リンクを有する。なぜなら、それらが、因果モデルに給送すると共に、入力、特徴量、および特徴量相互作用情報を因果モデルから戻して受信するからである。因果モデル３４１０は、因果的処理パイプライン４１００～４６００に入力を提供する。因果的処理パイプラインは、環境モデル４５００から環境コンテキスチュアル入力４５１０を任意に受信することもできる因果的シナリオ４１００から始める。そのような環境コンテキスト４５１０は、環境的に不可能な状態がＡＩシステムによって考慮されることを許可しない妥当性制約および適切な境界を設定するために使用され得る。因果的シナリオ４１００は、因果的選択コンポーネント４２００に給送し、因果的選択コンポーネント４２００は、パイプラインによるさらなる処理のために考慮される適切な情報を選択する。因果的変換コンポーネント４３００は、４２００からフィルタリングされた情報を受信し、関連付けベース統計的変換およびシンボリック変換を含む適した変換を適用し、介入コンポーネント４４００に給送する。介入コンポーネント４４００は、適したロジック（パールの因果ロジックを使用する場合、ｄｏ（）演算子等）を使用して因果介入を適用し、その後、反事実的条件（ｃｏｕｎｔｅｒｆａｃｔｕａｌｓ）コンポーネント４６００に給送する。反事実的条件コンポーネント４６００は、反事実的因果ロジックを、考慮されている現在のシナリオに適用する。コンポーネント４３００、４４００、４６００は、必要に応じてパイプラインの直前の任意の部分から始めて、パイプラインプロセスを反復的に繰り返すことができる。パイプラインがその処理の準備を終えると、結果は、送信され、因果的特徴量および因果的特徴量相互作用コンポーネント４７００を介して因果モデル３４１０に戻るように格納される。オプションの実施態様が、因果的におよび環境的に制約された同型化のプロセスによって例示的な実施形態が訓練用データを拡張することを可能にすることになることがさらに企図される。そのようなオプションにおいて、４７００からの出力は、同型化コンポーネント４８００に給送される。環境モデル４５００は、関連する環境制約および不変性情報４５２０を同型化コンポーネント４８００に任意に送信することもできる。コンポーネント４８００は、考えられる同型化変換を、知られているデータに適用し、その後、４７００から受信された情報に基づいて因果的制約およびフィルタリングを適用して、因果的および環境的にありそうな新しく生成されるかまたは合成されたデータサンプルのみが、拡張した因果的特徴量および相互作用コンポーネント４９００に送信されることを保証する。そのような拡張したデータサンプルは、さらなる再訓練、適応、少数ショット学習プロセス、および他の適した使用のために、因果モデル３４１０に付加され、説明可能なシステム３４００に対してアクセス可能にされる。

【0214】

例示的な実施形態を継続すると、種々の因果的発見的手法が因果的ＸＴＴの性能を改善するために利用され得ることがさらに企図される。例えば、（Ｑｉ等、２０２０）において与えられる２つの発見的手法は、履歴情報が因果的ＸＴＴによって利用されるときはいつでも組み込まれ得、履歴情報と最終回答との間に、観測されない交絡因子（ｃｏｎｆｏｕｎｄｅｒ）またはノイズ変数を本質的に常に挿入する。

【0215】

図２３は、自然言語文書からドラフト因果モデルを自動的に作成する例示的な因果的ＸＴＴシステムの実施態様を示す。ＸＴＴアテンションモデルを利用して、テキスト文書からの関連する元のテキストスニペットは、例えば、「時間内に支払うこと（ｐａｙｉｎｇ ｉｎ ｔｉｍｅ）」とその結果の「我々のイメージは依存する（ｏｕｒ ｉｍａｇｅ ｄｅｐｅｎｄｓ）」との間の前提部－結論部リンク（ａｎｔｅｃｅｄｅｎｔ－ｃｏｎｓｅｑｕｅｎｔ ｌｉｎｋ）を識別することによって（この例では、会社イメージが時間内に支払うことに依存するため）、前提部とその結論部との間の位置リンクと共に、識別される４７０１０。適切なマスキングまたは一般化プロセスまたは何らかの適した自己教師ありプロセス４７０２０を通して、元の因果的にリンクされたスニペット４７０１０は、その後、一般化ターゲット４７０３０として例示的なＸＴＴシステムに示される、文書内の異なるフレーズを照合するために一般化される。例えば、「時間内に支払うこと」が「我々のイメージは依存する」をもたらす因果的リンクについての一般化ターゲットは、「＜Ｘ＞時間内に支払う^*（ｐａｙ^*ｉｎ＜Ｘ＞ｔｉｍｅ）」が「＜Ｙ＞イメージは依存する（＜Ｙ＞ｉｍａｇｅ ｄｅｐｅｎｄｓ）」をもたらすことによって与えられ得、ここで、＜Ｘ＞および＜Ｙ＞は、２つの異なる型付け式マスクであり（すなわち、意味論的一般化）、「^*」シンボルは、文書の入力言語に依存する形態学的一般化である（すなわち、構文論的一般化）。一般化ターゲット４７０３０は、その後、適した埋め込みスキーム、例えば、「流動性（ｌｉｑｕｉｄｉｔｙ）」および「＜Ｚ＞支払者（＜Ｚ＞ｐａｙｅｒ）」に関連するフレーズを「流動性」４７１１０の因果的概念（すなわち、因果的変数）にリンクさせること、「評判（ｒｅｐｕｔａｔｉｏｎ）」に関連するフレーズを「会社認識（Ｃｏｍｐａｎｙ Ｐｅｒｃｅｐｔｉｏｎ）」４７１３０の因果的概念にリンクさせること、および「交渉（ｎｅｇｏｔｉａｔｉｏｎ）」および「取り引き（ｄｅａｌ）」に関連するフレーズを「取り引きを手に入れること（Ｂｕｙｉｎｇ Ｄｅａｌ）」４７１２０の因果的概念にリンクさせることを使用して、因果的概念になるように共にクラスタ化される。一般化ターゲット４７０３０（次に、元のテキストスニペット４７０１０から抽出された）の基礎にある因果的構造は、因果的概念間に因果的リンクの正しい方向を割り当てるために使用される。図２３に示す例において、流動性４７１１０は、取り引きを手に入れること４７１２０と会社認識４７１３０の両方の原因である。適切な因果的発見的方法が、４７１１０と４７１２０との間に交絡因子（取り引き決定の立場（ｄｅａｌｍａｋｉｎｇ ｐｏｓｉｔｉｏｎ）に固有の不確実性を示す）を挿入し、４７１１０と４７１３０との間に別の交絡因子（会社認識および他の非財政的原因に対するそのリンクに固有の不確実性を示す）を挿入するように因果的ＸＴＴを導くことができることがさらに企図される。

【0216】

例示的な実施形態において、ＸＴＴは、トリガー活性化率（ｒａｔｅ ｏｆ ｔｒｉｇｇｅｒ ａｃｔｉｖａｔｉｏｎ）を制約するために、ニューロシンボリック条件付き制約を、その現在のおよび／または直前の履歴情報、および／または、その直前の履歴活性化率の一部または全てにリンクさせることができる。ニューロシンボリック制約は、シンボリックルールまたはシンボリック表現のシステム、多項式表現、条件付きおよび条件なし確率分布、結合確率分布、状態空間および位相空間変換、整数／実数／複素数／クォータニオン／オクトニオン変換、フーリエ変換、ウォルシュ関数、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、相違分析の形態で、を含むが、それに限定されない、種々の適した例示的な実施態様で実施され得る。ニューロシンボリック条件付き制約は、説明可能なモデルならびに任意の関連するタクソノミー、オントロジー、および因果モデルにアクセス可能な異なる特徴量および変数を参照するデータ構造の形態で同様に実施され得る。ニューロシンボリック制約は、知識グラフネットワークの形態で同様に実施され得る。

【0217】

名前付き参照ラベルは、ＸＴＴアーキテクチャにおける説明可能なモデル内の特定のコンポーネントに割り当てられ得る。名前付き参照ラベルは、本来記述的とすることができ、さらなるメタデータ、ならびに、外部タクソノミー、オントロジー、およびモデルに対するリンクを含むこともできる。名前付き参照ラベルは、連言標準系（ＣＮＦ）ルールブールロジック、１次ロジック、２次ロジック、命題ロジック（ｐｒｏｐｏｓｉｔｉｏｎａｌ ｌｏｇｉｃ）、述語ロジック（ｐｒｅｄｉｃａｔｅ ｌｏｇｉｃ）、モーダルロジック、確率ロジック、多値ロジック、ファジーロジック、直感主義ロジック（ｉｎｔｕｉｔｉｏｎｉｓｔｉｃ ｌｏｇｉｃ）、非単調ロジック、無反射ロジック、量子ロジック、矛盾許容ロジック（ｐａｒａｃｏｎｓｉｓｔｅｎｔ ｌｏｇｉｃ）、または、他の適したタイプのロジカルシステムであって、経路トレースとして本発明者等が参照する、ＸＴＴ内の現在のコンポーネントの実行をもたらした意思決定のセットまたはシーケンスの説明を提供するロジカルのまたは同様のステートメントの表現のための、他の適したタイプのロジカルシステムの形態のシンボリック表現および／または定型表現（ｆｏｒｍｕｌａｓ）からなることができる。「活性化経路（ａｃｔｉｖａｔｉｏｎ ｐａｔｈ）」は、ＡＩモデルによって追従されるデータフロー経路として規定され得、特定の入力から始まり、特定の出力予測で終了する。経路トレースは、活性化経路を記述する特定のＡＩモデルのための、意思決定、ノード、遷移、または適用可能な記述構造のセットまたはシーケンスである。名前付き参照は、特に、人間アテンションスパンが重く課税されるかまたは厳しく制限され得るおそらくはクリティカルかつストレスフルな状況において、人間によるより容易でかつより信頼性の高い識別を保証するために、安全関連制約において使用され得る。

【0218】

別の例示的な実施形態において、動的プロセス下での名前付き参照ラベルの同じ不変性は、ＸＴＴによって利用されて、動的プロセスの各実行によって、知識を記録するかまたは説明法を保持する必要なしで、ＡＩモデル内で起こるダイナミクスの安定した長期説明を生成することができる。２Ｄまたは３Ｄシーン内で起こるビジュアルダイナミクスを、そのようなシーンが、直接観測されようが、合成的に生成されようが、説明するために、適切な時間的変換が適用され得ることがさらに企図される。

【0219】

例示的な実施形態において、ＸＴＴは、適した計算および知識表現構造を、その制約および予測ロジック実施態様の基礎として使用することになる。そのような適した構造は、リソース記述フレームワーク（ＲＤＦ：ｒｅｓｏｕｒｃｅ ｄｅｓｃｒｉｐｔｉｏｎ ｆｒａｍｅｗｏｒｋ）木、ＲＤＦグラフ、レビグラフ、または他の適した形態のグラフ構造とすることができる。ハイパーグラフ構造または単体的複体が実用的なＸＴＴ実施態様において使用され得ることがさらに企図される。

【0220】

例示的な実施形態において、ＸＴＴは、監査ログ機能（ａｕｄｉｔ ｌｏｇ ｈｕｎｃｔｉｏｎａｌｉｔｙ）を実施することができる。そのようなＸＴＴ監査ログ情報の例示的なアプリケーションは、ＸＴＴのフロー、相互作用、および挙動、ならびに、その条件、イベント、トリガー、およびアクション、ならびに全体ダイナミクスを明確に示す意思決定ログおよび経路トレースの作成においてである。経路トレースが、トリガーされ実行されたルールの注釈付きシーケンスとして、エキスパートシステムおよびルールベースシステムに実施され得ることが企図される。経路トレースが、ワークフローエンジンによって実行されたワークフローノードおよび経路の注釈付きシーケンスとしてワークフローシステムに実施され得ることがさらに企図される。経路トレースは、ＸＴＴの正確なシーケンスおよび挙動を示すために使用され得、ユーザにとって関心があるとすることができる経路に沿って最近傍を表示するように実施され構成され得る。ＸＴＴが、耐タンパー性がありかつ追跡可能な方法で、記録のシステム（ｓｙｓｔｅｍ ｏｆ ｒｅｃｏｒｄ）、ＤＬＴ、データベース、または何らかの他の適したシステムに格納され得る、それ自身の監査システムログを利用することができることがさらに企図される。そのような監査情報は、関連するＡＩモデルと別個である独立システムに格納され得るまたはその関連するＡＩモデルによって使用される同じ監査システムによって共有され得る。

【0221】

例示的な実施形態において、ＸＴＴは、アクションの時間ロジック（Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ ｏｆ Ａｃｔｉｏｎ）、抽象機械ノーテーション（Ａｂｓｔｒａｃｔ Ｍａｃｈｉｎｅ Ｎｏｔａｔｉｏｎ）、ペトリネット（ＰｅｔｒｉＮｅｔ）、計算木ロジック、および、他の適した実施法であって、モーダルロジック、直感主義的ロジック、ならびに／または、クリプキ意味論（Ｋｒｉｐｋｅ ｓｅｍａｎｔｉｃｓ）および／またはアレクサンドロフトポロジー（Ａｌｅｘａｎｄｒｏｖ ｔｏｐｏｌｏｇｉｅｓ）を含むが、それに限定されない関係意味論（ｒｅｌａｔｉｏｎａｌ ｓｅｍａｎｔｉｃｓ）を形式的に示すことができる、他の適した実施法のうちの１つまたは複数に基づくシステムの組み合わせ上に実施され、組み合わせによって検証され得る。

【0222】

例示的な実施形態において、ＸＴＴはアンカー条項を使用することができる。ＸＴＴ内の多数のノードおよびエッジ、ならびに、他のイベント、トリガー、制約、およびアクションは、特定のアプリケーションドメインについて重要またはクリティカルであると見なされ得る。そのような重要度は、アプリケーションまたは使用コンテキストによって、あるいは、特定の必須制約を課す、規制または法的権限または業界標準作成団体（ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ｍａｋｉｎｇ ｂｏｄｙ）等の外部の第三者によって決定され得る。これらのタイプの重要またはクリティカル制約は、それぞれ、アンカー条項、アンカー変数、アンカーノード、アンカーエッジ、アンカーイベント、アンカートリガー、アンカー制約、およびアンカーアクションと呼ばれ得る。そのようなアンカーコンポーネントは、説明構造モデル（ＥＳＭ）内のアンカー条項と類似している。アンカー条項は、名前が付けられた参照ラベルに同様に割り当てられ得る。

【0223】

例示的な実施形態において、量子化法は、特にリソースが制約されたハードウェアに関して、性能を上げ、おそらくは、実施サイズを低減するためにＸＴＴ処理中に適用され得る。Ｑｉｎ等、（２０２０）において提示されるソルバー等の常微分方程式（ＯＤＥ：Ｏｒｄｉｎａｒｙ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎ）ソルバーを使用すること等の、何らかの形態の不安定性低減技法が、ＸＴＴの正確さに対する量子化の任意の悪影響を部分的に打ち消し、訓練中の不安定性を低減するために、適用され得ることがさらに企図される。

【0224】

例示的な実施形態において、ＸＴＴは、モデルなしおよびモデルベース最適化方法の組み合わせを利用することができる。統計的関係ならびに共分散、相関、および相互情報等の適した尺度ならびに他の適した技法に頼るモデルなし方法は、モデルまたは適した従来物のセットにアクセスすることなく、ＸＴＴ内で必要な構造を生成するために使用され得る。因果的関係、シンボリック知識、または他の適した方法に頼るモデルベース方法は、モデルベース方法のより幅広い計算表現能力によって、よりリッチでかつより費用がかかる最適化ステップを付加することによってＸＴＴをさらに改良する。

【0225】

例示的な実施形態において、ＸＴＴは、実用的なデータプライバシー保護ＡＩシステム実施態様の基礎または一部として使用され得る。データプライバシーは、多数のシナリオ：（ｉ．）訓練用データセットからの個人データがＡＩモデルに意図されず組み込まれる、（ｉｉ．）個人データが、モデル回答を分析することによってそれぞれ再抽出または再作成され得る、（ｉｉｉ．）特定の一意的に識別可能な群の個人データが、より高いリスクの識別で終わる場合がある、（ｉｖ．）一意のキーまたはシグネチャによってモデルデータを関連付けることができるモデル反転およびメンバーシップ推論技法、（ｖ．）プライベート情報と組み合わされ得るパブリックデータソース等の他の情報ソースが、プライベート情報を再作成するまたはその他の方法で識別する場合がある、においてＡＩシステムによって意図してまたは意図されずに侵害され得る。ＡＩのための主要なデータプライバシー保護解決策は、４つのカテゴリ：（ｉ．）差分プライバシー（ｄｉｆｆｅｒｅｎｔｉａｌ ｐｒｉｖａｃｙ）、（ｉｉ．）秘匿マルチパーティ計算、（ｉｉｉ．）連合学習（ｆｅｄｅｒａｔｅｄ ｌｅａｒｎｉｎｇ）、（ｉｖ．）準同型暗号（ｈｏｍｏｍｏｒｐｈｉｃ ｅｎｃｒｙｐｔｉｏｎ）に分類され得る。ＸＴＴベースシステムの例示的な実施形態は、４つ全てのカテゴリ下で実用的な実施態様を可能にすることができる。

【0226】

例示的なプライバシー保護解決策（ｉ．）、差分プライバシーにおいて、訓練用データ内へのノイズの導入または何らかの他の適した難読化手段は、ＸＴＴアーキテクチャにおいて、ノイズ係数または比を通して制御可能な量のプライバシーを生成するために使用され得る。ノイズレベルは、ユーザが供給または編集することができる場合がある変数とすることができ、ノイズレベルは、制約および／または目的として実施され得る。プライバシー保護解決策（ｉｉ．）において、秘匿マルチパーティ計算（ＳＭＰＣ：ｓｅｃｕｒｅ ｍｕｌｔｉ－ｐａｒｔｙ ｃｏｍｐｕｔａｔｉｏｎ）は、データに関する部分的情報を隠蔽しながら、正しい回答を得るために使用され得、１つまたは複数のソースからのデータを使用して回答を同時に計算することができる。ＸＴＴおよび説明可能なモデルの例示的な実施形態は、回答出力の他に、説明生成に適用するためにＳＭＰＣプロトコルを拡張し得る。ＸＴＴの例示的な実施形態が、プライベート情報を全く曝露することなく、セキュリティおよび信頼構築のために形式的に分析され試験され得ることがさらに企図される。セキュアエンクレーブ（ｓｅｃｕｒｅ ｅｎｃｌａｖｅ）は、ハードウェアプロセッサ内の保護された空間内でデータを復号するために同様に使用され得、システムの他の部分が、そのようなデータに平文でアクセスできる可能性を制限する。ＸＴＴとセキュアエンクレーブとの組み合わせのエンド－ツー－エンドハードウェア実施態様は、ほとんどの形態のデータ攻撃に対してむしろ回復力がある（ｒｅｓｉｌｉｅｎｔ）とすることができる。プライバシー保護解決策（ｉｉｉ．）、連合学習において、ＸＴＴは、ローカルデータサンプルのみを保持する種々の非集中化デバイスにわたって分配され得る。ローカルデータサンプルは、他のデバイスと共有されず、したがって、関係するプライバシーリスクを、完全に排除しないが、制限し、メッセージングオプションが、メッシュネットワークにおいて等で、ネットワークトポロジーによって制限または制約されるＩｏＴまたはエッジコンピューティングアプリケーションに特に適するとすることができる。プライバシー保護解決策（ｉｖ．）において、準同型暗号化または準同型コンピューティングは、データを復号することなく、また同様に、暗号化された説明可能なモデルを任意に使用することなく、暗号化されたデータに対する計算を可能にするために使用され得る。ＣＫＫＳプロトコルを利用して、準同型的に（ｈｏｍｏｍｏｒｐｈｉｃａｌｌｙ）暗号化されたデータおよび準同型的に暗号化されたＸＮＮを使用するＸＴＴの例示的な実施形態において、シークレットキーおよびパブリックキーが生成される。パブリックキーは、暗号化のために使用され、共有され得、一方、プライベートキーは、復号のために使用され、例えば、セキュアハードウェアエンクレーブまたは同様の実施態様解決策において、秘密のままにされなければならない。

【0227】

ＸＴＴシステムは、もし…ならば（ｗｈａｔ－ｉｆ）、もし…でないならば（ｗｈａｔ－ｉｆ－ｎｏｔ）、反事実的、を除いて（ｂｕｔ－ｆｏｒ）、および条件付きシナリオに基づく、生成された構造化説明を利用して、説明付き方策およびそのようなシナリオをＸＴＴシステム入力に適用することの結果（ｏｕｔｃｏｍｅ）に対応するシナリオベース説明を生成することができ、１つまたは複数の仮説的ターゲット結果は、シナリオモデリングの一部として選択される。そのようなシナリオベース説明は、ターゲットシナリオ結果が、本来、それぞれ建設的であるか、比較的であるかに応じた、建設的説明または比較説明としても知られる。そのようなシナリオベース説明生成アプリケーションにおいて、ＸＴＴシステムが、検査されるシナリオに制約を関連付け、特徴量の困難さ／達成可能性／重大度に目的コストを関連付け、出力ターゲットとしてのアクションをドメイン固有のおよびシナリオ固有のアクションに関連付けることができることが企図される。さらなる例示的な実施形態において、ＸＴＴシステムは、ＸＲＬエージェントと共に実施されて、ポリシー、コスト、および報酬に関するさらなる情報を提供する、および／または、同様にＸＲＬエージェントについてのさらなる訓練例を提供することができる。例示的な実施形態において、ＸＴＴなどのＸＡＩモデルは、ローンアプリケーションの結果を予測するために使用され得る。ローンアプリケーションは、総収入、現在の職業、年齢、総正味財産（ｔｏｔａｌ ｎｅｔ ｗｏｒｔｈ）、および他の因子等の種々の理由で受容または拒否され得る。システムユーザは、ローンアプリケーションの結果をどのように変更するかに関する提案を欲することができる。例えば、拒否されたローンアプリケーションの場合、システムユーザは、アプリケーションのステータスが拒否から受容に変わるために、入力におけるアイテムのどの組み合わせが変更される必要があるかを知りたいと思うことができる。全ての入力変数、特徴量、および特徴量相互作用のサブセットのみが、変更される必要がある場合があることが企図され得る。１つまたは複数のコストは、各タイプのコストについての何らかの適したメトリックに対応する、各変数に関連付けられ得る。例えば、性別または人種等のバイアス保護対象クラス（ｂｉａｓ ｐｒｏｔｅｃｔｅｄ ｃｌａｓｓ）は、無条件に達することが不可能である（すなわち、不法結果状態）として関連付けられるかまたはマーク付けされる非常に高いコストを有することができる。別の例において、高コストは、非可逆的である方策アクションに関連付けられ得る。現在の収入等の他の変数は、総正味財産変数より低いコストを有することができる。アクションのコストは、線形または非線形とすることができ、総コストに影響を及ぼす従属変数または独立変数を含むことができる。抜けているデータは、それに関連付けられた特別なコストを有することもでき、ＸＴＴシステムが、是正処置によってまたは是正処置なしで、抜けているデータを適切に扱うことを可能にする。特徴量重要度または係数等の説明データは、所与のアクションについて予想報酬またはコストの正確な測定値を提供する。外因性および内因性変数ならびに因果モデルは、部分的に抜けている値を有するデータの場合を含んで、適用される必要がある、任意の特定の関連付け、介入、または反事実的ルールを含む、アクションの総コストを推定するために使用され得る。ＸＴＴシステムは、特定のコンテキストを有する所与のユーザについての提案されるアクションを学習する、すなわち、アクションの総コストを最小にしながら、結果の変化をもたらす、考えられる変数の変更を提案するために訓練され得る。所望の目標につながる提案されるアクションが、何らかの形態のシーケンスを含むことができることが同様に企図され得る。最近傍法が、そのようなシナリオベースＸＴＴシステム説明と併せて利用されて、所望のシナリオ結果（見本）またはそのようなアプリケーションの仮説的平均（プロトタイプ）を有したアプリケーションの（適切に匿名化された）実際の例を提供することがさらに企図される。そのような最近傍法は、説明可能なモデル内のパーティション階層構造を利用して、同じパーティションからまたは近傍パーティションからまたは現在のパーティションから遠く離れたパーティションから例を生成することができる。変数の考えられる変更が、何らかの適したシステムによってランク付けされ優先順位付けされ、識別－アセス－推奨－解決（ＩＡＲ）フレームワークの形態でユーザにまたは自動化プロセスに提示されることがさらに企図される。例示的な実施形態において、ＸＴＴは、ＸＲＬエージェントと共に実施されて、ＸＲＬエージェントについて、現実的な環境シミュレーションを生成する、および／または、データサンプルを学習する経験を提供することができる。そのような例示的な実施形態が、仮想現実シミュレーション、拡張現実シミュレーション、仮想協働空間、およびメタバースの作成において利用され得ることがさらに企図される。

【0228】

自動ＸＡＩシステムを有するＸＴＴシステムの例示的な実施形態において、最適化法は、多数目的最適化（ＭＯＯ：Ｍｕｌｔｉｐｌｅ Ｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ）、パレートフロント法（Ｐａｒｅｔｏ Ｆｒｏｎｔ Ｍｅｔｈｏｄ）、粒子群最適化（ＰＳＯ：Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、遺伝的アルゴリズム（ＧＡ）、ベイズ最適化、進化戦略（Ｅｖｏｌｕｔｉｏｎａｒｙ Ｓｔｒａｔｅｇｉｅｓ）、勾配降下技法、およびモンテカルロシミュレーション（ＭＣＳ：Ｍｏｎｔｅ Ｃａｒｌｏ Ｓｉｍｕｌａｔｉｏｎ）等のシナリオベース説明を生成するために同様に使用され得る。ＸＡＥＤおよび／またはＸＧＡＮシステムのためのエンコーディング－デコーディング情報が、説明構造モデル（ＥＳＭ）に格納された寄与度値および他のデータに完全にまたは部分的にリンクされることがさらに企図される。そのような例示的な自動ＸＡＩシステムが、形式的言語または何らかの他の適した手段を利用して、ＸＴＴのエンコーダおよび／またはデコーダ内のフィードフォワードネットワークのような、より動的な変化と共に、ＸＴＴアーキテクチャ内に格納された状態知識についての計算グラフを示すことができることがさらに企図される。これは、自動ＸＡＩシステムが、１つまたは複数の特定のアプリケーションドメインまたはタスクにＸＴＴシステム性能を適合させることを可能にし、ＸＴＴ内へのメタ学習システムの組み込みに対する実用的な解決策を提供し、それは、強化学習システムにおいて一般的でありながら、ＸＴＴについての自明でない使用である。そのようなメタ学習システムは、その後、自動ＸＡＩモデル発見中に改良される、人間プロセス知識の初期組み込みに対する実用的な解決策を提供することもできる。

【0229】

ＸＴＴ、ＸＴＴ－エンコーダ、またはＸＴＴ－デコーダは、同じパラメータを共有しながら、複数のタスクおよび複数のモダリティを処理することができる。マルチタスクおよびマルチモーダルＸＴＴシステムの例示的な実施形態において、説明可能なモデルは、同じパラメータを使用して、オーディオ、画像、およびビデオを処理するＸＴＴ－エンコーダまたはＸＴＴ－デコーダを含む。ＸＴＴ－エンコーダまたはＸＴＴ－デコーダの入力は、

【数14】

になるような、画像についてのトークン化入力、ビデオについてのトークン化入力、およびオーディオについてのトークン化入力を含むことができる。ＸＴＴ－エンコーダまたはＸＴＴ－デコーダは、

【数15】

になるような、各モダリティについての複数クラストークンを含むことができる。ｃｌｓ_{(XTT-エンコーダ)}は、タスクの予測出力を生成するために線形レイヤにアッタチされ得る。入力埋め込みおよび位置埋め込みは、同じＸＴＴ－エンコーダまたはＸＴＴ－デコーダに接続されても、各モダリティについて異なるとすることができる。ＸＴＴ－エンコーダまたはＸＴＴ－デコーダは、各タスクの各データセットからミニバッチをサンプリングし、勾配を計算し、相応してパラメータを更新することによって異なるタスクについて訓練され得る。複数の方策は、異なるタスクから交互にサンプリングすること、タスクごとにサンプリングすること、異なるタスクから均一にサンプリングすること、特定の重み付け基準に従ってタスクをサンプリングすること等の異なるタスクからサンプリングするために、あるいは、複数のタスクのミニバッチについての勾配を蓄積し、全てのタスクの全てのミニバッチまたは全てのタスクにわたるミニバッチの予め規定されたセットについて１回のパラメータ更新を実施するために、使用され得る。ＸＴＴ－エンコーダまたはＸＴＴ－デコーダは、所与のタスクについて一度に１つのモダリティについて訓練され得る。ＸＴＴ－エンコーダまたはＸＴＴ－デコーダは、所与のタスクについてマルチモーダル入力を使用することによって、マルチモーダルアプローチで訓練され得る。マルチモーダルＸＴＴ－エンコーダまたはＸＴＴ－デコーダは、所与のマルチモーダル入力および出力についてモデル解釈可能性を可能にするため、マルチモーダルホワイトボックスモデルで説明が生成されることを可能にする。

【0230】

さらなる例示的な実施形態において、ＸＮＮ、ＩＮＮ、またはＸＴＴ等の説明可能なモデルを利用するＸＴＴは、１つまたは複数の入力特徴量に関連付けられる１つまたは複数のタスクに対応する複数の入力を有し、それらのタスクについての出力に対応する複数の出力を有することができる。そのようなコンテキストにおけるタスクの意味論的概念（ｓｅｍａｎｔｉｃ ｎｏｔｉｏｎ）は、ＸＴＴ構造自体における変更を必要とすることなく、タスク識別子としての幾つかの入力特徴量およびタスクメタデータ入力特徴量を指定することによって実施されるだけである。木、グラフ、ハイパーグラフ、または単体的複体構造とすることができる、ＸＴＴの一部を形成する説明可能なモデル内の階層的パーティション構造は、異なるタスクについて学習された異なる知識間のクロスオーバーが効率的に起こることを可能にする。そのようなクロスオーバーは、階層的パーティション構造内の特徴量相互作用に応じるＸＴＴ予測ネットワーク内で起こる。ＸＴＴ条件付きネットワークは、タスク、その関連する入力、および関連する出力にリンクするパーティション構造を通して正しい経路トレースを、選択、調整、および多重化するために使用され得る。より密なまたは疎なＸＴＴが、パーティション構造の複数の部分をエネルギー効率のよい方法で実施するために利用され得ることが企図される。分散型ＸＴＴまたはＤＥＡが、パーティション構造の複数の部分を実用的な方法で実施するために利用され得ることがさらに企図される。

【0231】

ＸＴＴは、フィードフォワードコンポーネント、クエリ－値－キーコンポーネント、アテンションモデル、および出力関連コンポーネントを含む、そのコンポーネントの一部または全てにおいて、疎な説明可能なモデルまたは疎な説明可能なモデルを使用するＤＥＡを使用して実施され得る。そのような疎なモデルが、有意のパワー低減および性能加速をもたらすことができることが企図される。

【0232】

図２０は、説明可能なＡＩシステムのためのマルチタスクおよびマルチモーダル学習のための実用的な解決策を示す、マルチタスク（およびマルチモーダル）クロスオーバー学習を用いる例示的な説明可能なシステムを示す。説明可能なＡＩシステムのためのクロスオーバー学習のための本発明者等の新規な定式化（ｆｏｒｍｕｌａｔｉｏｎ）は、図２１により詳細に示されるクロスオーバー学習構造４５３００を利用する。図２０を継続すると、クロスオーバースイッチコントローラ４５１００は、どの説明可能なサブシステム４５２００が、サブシステム４５２００に送信される４５１５０タスク情報および入力を得るかを決定するために使用され、したがって、並列に実行される必要があるサブシステムの数を削減する。説明可能なサブシステムは、ＤＥＡあるいは何らかの他の適した同質または異質の分散型の説明可能なＡＩシステムとして実施され得る。マルチタスクおよびマルチモーダルシステムのグレイボックスバージョンが、ブラックボックスからなる１つまたは複数のサブシステムを有することによって実施され得ることが企図される。例示的な実施形態を継続すると、各説明可能なサブシステムは、クロスオーバー学習構造４５３００に対するリンクを有し、クロスオーバー学習構造４５３００は、次に、種々のクロスオーバーサブシステム４５３５０からなる。全てのサブシステムが、全ての他のサブシステムに必ずしも接続される必要はなく、クロスオーバー学習構造は、（密な完全に接続されたネットワークが依然として可能である場合があるが）疎な接続ネットワークとして実施されるように設計される。説明可能な出力４５４００は、並列に生成され、出力選択器４５５００に達するまで、おそらくはランク付けされ優先順位付けされ、出力選択器４５５００は、クロスオーバースイッチコントローラ４５１００から、制御情報４５１１０と共に暫定的な説明可能な出力４５４００を採用して、システムによって出力されることになるシステム出力４５６００を最終的に選択する。

【0233】

図２１は、図２１に示す２つの説明可能なサブシステムを、２つのサブシステムのそれぞれから採用される代表的なノード４５２１０、この場合、サブシステム１ノード１（１．１）およびサブシステム２ノード１（２．１）によってリンクする例示的なクロスオーバー構造実施態様の詳細コンポーネント（すなわち、図２０に示すクロスオーバーサブシステム４５３５０の詳細部分）を示す。オプション（ａ．）において、一方向リンクまたは有向グラフ構造は、サブシステム１ノード１をサブシステム２ノード１とリンクさせるクロスオーバーノード４５３５３およびサブシステム２ノード１をサブシステム１ノード１とリンクさせる別のクロスオーバーノード４５３５４を有することによって２つのノードをリンクさせるために利用される。オプションのクロスオーバーノイズノードは、各クロスオーバー接続ノード間に一列に挿入され得る、すなわち、ノイズノード４５３５１はサブシステム１ノード１とクロスオーバーノード４５３５３との間に、そして同様に、ノイズノード４５３５１はサブシステム２ノード１とクロスオーバーノード４５３５４との間に挿入され得る。別のオプションとして、クロスオーバーノードそれら自身は、例示的なリンク４５３５６および４５３５７によって示すように、情報を互いに送信することができる。オプション（ｂ．）において、２方向リンクまたは無向グラフ構造は、２つのノードをリンクさせるために利用され、その場合、各クロスオーバーノードは、コンポーネント４５３５５によって示すように、２方向クロスオーバーノードになる。ノイズノードおよびクロスオーバーノード間接続は、オプション（ａ．）の場合と同様の方法で、オプション（ｂ．）において同様に付加され得る。

【0234】

図２０および２１に示すクロスオーバー学習の例示的な実施形態は、ＸＴＴがマルチタスクおよびマルチモーダル学習のための実用的な解決策を提供することを可能にすることができる。種々の分散型技法は、訓練中にタスクオーダーを最適化すること、異なるモダリティのための異なる訓練スケジュールおよび最適化、ならびに、パラメータ空間を最適化するために複数のタスクおよびモダリティにわたってＸＴＴ－エンコーダを共有することを含む、性能を最適化するために使用され得る。

【0235】

例示的な実施形態において、ＸＴＴは、例示的なＣＮＮベース機械学習モデルの最終の平坦化レイヤ後のコンポーネントとして統合され得る。図１６に示すように、平坦化レイヤは、トランスフォーマ－エンコーダベースアーキテクチャへの入力として使用され得る。例示的な医療アプリケーションを示す図１６を参照すると、ＸＴＴ－エンコーダは、Ｘ線画像が、特に所見なしの正常な事例（ｎｏｒｍａｌ ｕｎｒｅｍａｒｋａｂｌｅ ｃａｓｅ）を構成するか、細菌性肺炎またはウィルス性肺炎の徴候を示すかを予測するために、最終のエンコーダレイヤの出力を分類レイヤに接続することによって微調整され得る。さらなる改良および説明が、説明可能な出力をさらに分析するために、さらなる説明可能な機械学習モデルを接続することによって達成され得ることがさらに企図される。さらなる例示的な実施形態において、ＸＴＴまたはＸＮＮは、図１６に示すシステムのＸ線予測出力に接続されて、ウィルス性肺炎が、インフルエンザウィルス、またはＣＯＶＩＤ－１９のようなコロナウィルス、アデノウィルス等のような何らかの特定のタイプのウィルス疾患によって引き起こされたか否かを判定することができる。リスク評価および推奨アクションを伴う実用的な説明が、得られた（ｒｅｓｕｌｔｉｎｇ）説明および解釈パイプラインにおいてさらに生成され得ることがさらに企図される。

【0236】

ＸＴＴアーキテクチャ内の説明可能なアーキテクチャは、分類出力のための説明を生成することができる。説明は、基本的解釈、説明的解釈、およびメタ説明的解釈を使用して解釈され得る。基本的解釈は、サブコンポーネントによって理解され得る予測出力ｏを指すことができる。説明的解釈は、２タプルベクトル＜ｏ、ｗ＞によって示され、サブコンポーネントによって理解され得る、そのような予測値についてのモデル説明ｗと結合された予測出力ｏを指す。モデル説明は、所与の観測について入力特徴量の特徴量重要度を説明するために利用され得る、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャの係数θからなることができる。メタ説明的解釈は、３タプルベクトル＜ｏ、ｗ、ｊ＞によって示され得、予測出力ｏ、モデル説明ｗ、およびモデル説明の正当化理由ｊを含む。モデル正当化理由ｊは、モデル説明を生成するために考慮された説明システムによって採用された仮定、プロセス、および意思決定に関するさらなる情報を提供する。

【0237】

ブラックボックスＣＮＮの完全に接続されたレイヤは、ホワイトボックスＣＮＮ－ＸＴＴを構築するために、図１６に示すように、ＸＴＴ３２１２と置換され得る。３２０２と３２１０との間のステップは、ブラックボックスＣＮＮアーキテクチャおよびＣＮＮ－ＸＴＴアーキテクチャについて同じままであるとすることができる。最初に、ＣＮＮレイヤは入力３２０２を受信することができる。入力３２０２は、その後、畳み込まれ３２０６、入力の異なる要素が抽出され、分類される。次に、畳み込まれたレイヤは、類似の特徴量に基づいてプールまたはグループ化される。プールされた特徴量は、再び畳み込まれプールされる可能性がある。この例示的な実施形態において、ＣＮＮレイヤは、畳み込み操作３２０６を２回およびプーリング操作３２０８を２回実施する、しかしながら、これらのレイヤのさらなる反復が、アプリケーションに応じて実施され得ることが企図され得る。ＣＮＮレイヤが畳み込みを行い、畳み込まれた特徴量をプールした後、特徴量は、次のシステムへの入力のために平坦化され得る３２１０。図１６は、フォワード訓練パス３２００中のＣＮＮ－ＸＴＴアーキテクチャを示し、フォワード訓練パス３２００は、出力３２１４を生成し、説明をさらに生成することができるＸＴＴアーキテクチャを実施する。そのようなステップの実際の構成は、特定のＣＮＮネットワークの構成に依存することができる。タビュラーデータセットと同様のＣＮＮは、データ内のパターンを学習するために、完全に接続されたレイヤを利用する。他のＣＮＮレイヤは、分類タスクに先立って起こる特徴量変換ステップに過ぎない。同様の概念は、そのようなＣＮＮ変換が汎用ＸＴＴに先立って適用され得るＣＮＮーＸＴＴに関して適用される。

【0238】

プーリングレイヤは、ＣＮＮネットワークにおいて見出される標準的なレイヤである。プーリングレイヤは、典型的には、畳み込みレイヤの後に配置され、畳み込みレイヤは、画像または何らかの形態の多次元データ内に特徴量の要約を提供する。畳み込みレイヤに関する主要な問題は、畳み込みレイヤが入力特徴量の場所に敏感であることである。これは、入力データの小さい変動が異なる特徴量マップをもたらすことになることを意味する。１つのアプローチは、データをダウンサンプリングすることであり、低解像度の同じデータがさらなる処理のために使用される。ＣＮＮネットワークにおいてダウンサンプリングするための１つの方法はプーリングと呼ばれる。プーリングは、特徴量マップのサイズを低減するために作用素を利用する。２つの一般的なプーリング方法は、最大および平均プーリングである。例えば、最大プーリングは、特徴量マップから最大値または最も大きい値を計算するために使用され得る。

【0239】

ＣＮＮ－ＸＴＴは、同様に、マスク付き学習法を十分に利用して、上記で論じた自己教師ありモデルを含む、それらの学習モデルをよりよく一般化することができる。

【0240】

リバースインデキシングメカニズム（バックマップ）は、ＣＮＮ－ＸＴＴのホワイトボックス性質によって可能であるＣＮＮ－ＸＴＴアーキテクチャに固有の何かである。全てのレイヤ（ＣＮＮレイヤを含む）が解釈可能である場合、出力から元の入力まではるばるバックトラックするために、バックマップを使用するリバースインデキシングを適用することが可能である。

【0241】

ここで図１７を参照すると、図１７は、例示的なリバースインデキシングメカニズムを示すことができる。例示的なリバースインデキシングメカニズム３２０１は、ＣＮＮ－ＸＴＴにおいて説明を生成するために使用され得る。図１７に示すリバースインデキシングプロセスは、図１６に示すフォワードパスインデキシングプロセスのステップと同じかまたは同様であるステップを実施することができる。しかしながら、そのような場合、操作は、代わりに後方に実施され得、出力で始まり、入力の特徴量で終了する。さらに、プーリング関数は、データをダウンサンプリングするフォワードパスのプーリングと対照的に、データをアップサンプリングすることができる。同様に、畳み込みレイヤは、逆畳み込み操作として算出される。

【0242】

予測ネットワークからの出力は、ＣＮＮ－ＸＴＴにおける説明を生成するための基礎として役立つことができる。予測ネットワークは、各特徴量が係数によって重み付けされる方程式を使用することによって入力特徴量に重み付けすることができる。各係数は、最終の畳み込まれた特徴量の重要度を示す。意味のある説明を作成するために、畳み込まれた特徴量は、それらの重要度と共に、元の入力に戻るようにマッピングされ得る。ＣＮＮ－ＸＴＴの中央レイヤは、ＸＮＮの完全に接続された密レイヤ（ブラックボックス）ではなく、むしろ疎に接続されたレイヤ（ホワイトボックス）であるため、畳み込まれた特徴量の出力を元の入力に戻るようにマッピングするリバースインデキシングメカニズム（バックマップ）を適用することが可能である。ＣＮＮ－ＸＴＴは、説明と、回答および処理中にＣＮＮ－ＸＴＴによって追従される正確な活性化経路との速い関連付けと共に、説明の速い出力を可能にするリバースインデキシングメカニズムの実施態様がユニークである。

【0243】

バックマップの作成は、ＣＮＮ－ＸＴＴのアーキテクチャが決定されると、１回実行される静的プロセスとして一般に実施され得る。ＣＮＮ－ＸＴＴアーキテクチャ自身（すなわち、接続、レイヤ等）が更新される場合、バックマップは、そのようなアーキテクチャル更新について１回更新される必要があることになる。考えられる実施形態は、ＣＮＮ－ＸＴＴのアーキテクチャが動的に更新される場合、バックマップの動的作成および更新を含むことができる。バックマップ作成のアーキテクチャル更新について１回（ｏｎｃｅ－ｐｅｒ－ａｒｃｈｉｔｅｃｔｕｒａｌ－ｕｐｄａｔｅ）の性質は、効率的な実施およびバックマップ自身に基づくさらなる最適化のための余地を可能にする。例えば、バックマップは、入力される多次元データにおいて起こる関心のセグメントおよび領域を効率的に識別し、シンボルおよび概念を効率的に識別し、また同様に、入力される多次元データの要約およびより低解像度サブサンプルを作成するプロセスを迅速に最適化するために使用され得る。

【0244】

バックマップは、逆関数を実施する外部プロセスとしてまたはニューラルネットワークとして処理され得る。ニューラルネットワークは、ＣＮＮ－ＸＴＴ内に埋め込まれ得る、または、インバースインデキシングメカニズムを実施するために特に設計された別個のネットワークとして維持され得る。プロセスは、ＸＴＴネットワークの係数によって決定される特徴量重要度を識別することによって開始し、ステップごとに逆に戻ることができる。出力重みは、元の入力に戻るようにマッピングされ得る。そのようなステップは、元のＣＮＮ－ＸＴＴネットワークにおいて見出されるレイヤのタイプに応じて順次適用され得る。マッピングは、元の入力に達するまで適用され得、それは、概念的特徴量重要度が元の入力に戻るようにマッピングされることを可能にすることになる。

【0245】

ＣＮＮ－ＸＴＴは、特定のクエリについてＣＮＮ－ＸＴＴ内の活性化経路を可視化するためにバックマップを使用することができ、また同様に、それを正当化理由の一部として組み込むことができるとすることができる。バックマップは、融合した画像、クエリテキスト、および回答対のマルチモーダル表現に説明の要素を付加することによって、ビジュアル質問回答（Ｍａｌｉｎｏｗｓｋｉ等、２０１６）を高めるために同様に使用され得る。

【0246】

リバースインデキシングメカニズムは、ヒートマップの形態で、または、説明を生成するときに実際の畳み込みフィルタを考慮する何らかの形態で説明を生成するために有用とすることができる。畳み込まれた特徴量は、ストローク、エッジ、またはパターンを検出するために有用とすることができ、その後、ビジュアル、テキスチャル、オーディオ等である可能性がある説明生成プロセスを加速することができる。

【0247】

ＣＮＮ－ＸＴＴアーキテクチャは、カーネルラベリング法を統合することができ、そのような方法は、人間可読ラベルを、本来テキスチャルでない画像または３Ｄスキャン等のデータフォーマットに関連付ける。カーネルラベリング法は、任意のデータフォーマットであって、パターン認識カーネルが、適したキーポイント記述関数および活性化最大化関数と共に、規定されることを可能にする、任意のデータフォーマットから、プリミティブ、パターン、シンボル、および概念の漸進的改良になるようにデータにラベル付けする。カーネルプリミティブは、分析されるそれぞれのフィルタにおいて、検索される特定の形状の行列として規定され得る。カーネルラベリング法は、第１の畳み込みレイヤを、人間規定カーネルプリミティブを使用して最初に分析することができ、ＣＮＮアーキテクチャにおいて、畳み込みおよびプーリングレイヤを通して摺動することに進むことができる。線形、非線形多項式、指数、放射基底関数（ｒａｄｉａｌ－ｂａｓｉｓ－ｆｕｎｃｔｉｏｎ）、シグモイドおよび他の適したカーネル等の異なるカーネルタイプが、ＸＴＴと併せて利用され得ることがさらに企図される。近似カーネルが、ＸＴＴと併せて利用されて、例えば、直交法（ｑｕａｄｒａｔｕｒｅ ｍｅｔｈｏｄ）（Ｎｙｓｔｒｏｍ）、特異値分解（ＳＶＤ：ｓｉｎｇｕｌａｒ－ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、ランダムフーリエ特徴量、ランダムビニング特徴量（ｒａｎｄｏｍ ｂｉｎｉｎｇ ｆｗｅａｔｕｒｅ）、および他の適した方法を通して、必要とされる計算および／またはリソースの量を低減することができることがさらに企図される。時間的畳み込みネットワーク（ＴＣＮ：Ｔｅｍｐｏｒａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）等のＣＮＮの時間的に最適化された変形がＸＴＴと併せて使用され得ることがさらに企図される。

【0248】

ＸＴＴは、予測および／または訓練性能を上げるために種々の近似技法を利用することもでき、種々の近似技法は、ドット積の近似または完全排除、疎なローカルアテンションモデル、適応的アテンションウィンドウを使用すること、多次元アテンション行列近似の使用（おそらくは、近似についての説明可能なモデルを使用する）、インテリジェント重み共有、およびインテリジェントパラメータ化を含むが、それに限定されない。

【0249】

ＸＴＴは、いろいろなアプリケーションを有することができ、入力データは、何らかの形態のトークンベースエンコーディングに対して適する種々のフォーマットにあるとすることができ、種々のフォーマットは、人間可読自然言語、グラフィカルまたはビジュアル画像データ、オーディオ、スピーチ、触覚、ビデオ、時系列、マルチスペクトルデータ、階層的に順序付けられたマルチメディアコンテンツ、３Ｄデータ、および他の適したフォーマットを含むが、それに限定されない。種々のフォーマットの組み合わせが、同様に提示され、多重化または他の形態の入力結合等の何らかの適した実施方法を使用してＸＴＴシステムによって処理され得ることが企図され得る。

【0250】

ＸＴＴ出力が、人間可読自然言語、グラフィカルまたはビジュアルフォーマット、オーディオ、スピーチ、触覚、ビデオ、時系列、マルチスペクトルデータ、階層的に順序付けられたマルチメディアコンテンツ、３Ｄデータ、および他の適したフォーマットを含むが、それに限定されない、種々の提示フォーマットおよびレイアウトを使用して、被生成説明および解釈を提示することができることが企図され得る。種々のフォーマットの組み合わせが、多重化または他の形態の出力結合等の何らかの適した実施方法を使用して、その出力においてＸＴＴシステムによって同様に使用され得る。

【0251】

例示的な実施形態において、ＸＴＴシステムは、シーケンスデータを処理するために使用され得る。シーケンスデータは、種々のシーケンシャルフォーマットで特徴量データを含む多数のデータポイントを含むことができ、種々のシーケンシャルフォーマットは、２Ｄデータ、３Ｄデータ、多次元データアレイ、トランザクションデータ、時系列、デジタル化済みサンプル、センサデータ、画像データ、ハイパースペクトルデータ、自然言語テキスト、ビデオデータ、オーディオデータ、触覚データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ等を含むが、それに限定されない。データポイントは、特定のデータポイントについての出力値または分類あるいはデータポイントの連続または非連続間隔を示すことができる１つまたは複数の関連ラベルを有することができる。データポイントシーケンスは、合成データポイント、摂動データ、サンプリング済みデータ、または変換済みデータの組み合わせを出力することができる内部および／または外部プロセスに由来するとすることができる。

【0252】

ＸＴＴは、任意の長さのデータポイント入力シーケンスが、任意の長さの任意のデータポイント出力シーケンスに、マルチモーダルおよびマルチタスク方法でマッピングされることを可能にすることもできる。これは、マップ－低減（Ｍａｐ－Ｒｅｄｕｃｅ）システムと同様の方式で行われるマッピング計算のために（説明不能な潜在的空間を使用する説明不能なトランスフォーマと違って）説明可能なモデルを利用することによって、ＸＴＴによって達成される。ＸＴＴクロスオーバー学習構造は、ドメインおよびアプリケーション独立であるマルチタスク一般化を可能にする。

【0253】

例示的な実施形態において、ＸＴＴシステムは、歩行分析（ｇａｉｔ ａｎａｌｙｓｉｓ）、運動予測、および感情状態予測を含む人間挙動を分析するために使用され得る。オプションとして、そのようなＸＴＴシステムは、スポーツ映像（ｓｐｏｒｔｓ ｆｏｏｔａｇｅ）および運動能力を予測し分析するために使用され得る。別のオプションとして、そのようなＸＴＴシステムは、特に、ＥＣＧ心拍数データ、血圧、酸素化レベル等のようなさらなるセンサデータと組み合わされると、病状を検出し予測するために使用され得る。

【0254】

例示的な実施形態において、ＸＴＴシステムは、金融株（ｆｉｎａｎｃｉａｌ ｓｔｏｃｋ）トレーディングパターンを分析し、市場挙動を予測するために因果モデルおよびマルチモーダルデータの組み合わせを利用し、その後、買い（ｂｕｙｉｎｇ）、売り（ｓｅｌｌｉｎｇ）、または、特定の株にショートまたはロングポジションを置くこと等の自動化アクションを実行することができる。

【0255】

例示的な実施形態において、ＸＴＴシステムは、挙動モデル（ＢＭ）を組み込む、インテリジェント製造、ＩｏＴ対応アプリケーション、インテリジェントなエネルギー効率的でかつ環境に優しいスマートユーティリティ分配および消費ネットワーク、および関連アプリケーション等の、インダストリ４．０アプリケーション（Ｉｎｄｕｓｔｒｙ ４．０ ａｐｐｌｉｃａｔｉｏｎ）のためのものである。４つの主要な異なるタイプの機能：（ｉ．）、受動的予測および分析（ｉｉ．）、反応的予測および分析（ｉｉｉ．）、受動的制御および介入、（ｉｖ．）反応的制御および介入は、そのような例示的な実施形態によって提供され得る。製造アプリケーションにおいて、例示的なアプリケーションは、（ｉ．）、機械類から出るオーディオを分析し、動作状態を分析し、故障モードを前もって予測する、（ｉｉ．）、エンドユーザに警告を出力することができる境界近接性条件を利用する、（ｉｉｉ．）、フィードバックベースアクションおよび介入をトリガーするためにフィードバック閾値を利用する、（ｉｖ．）安全考慮事項を含んで、プロセスをリアルタイムに制御するためにイベントの有効な推定および予測を利用するためのものであることになる。

【0256】

例示的な実施形態において、ＸＴＴモデルは、センテンスをソース言語からターゲット言語に翻訳するために使用される。説明可能なエンコーダコンポーネントの入力は、Ｓ_e＝｛ｔ₁、ｔ₂、．．．、ｔ_n｝であるようなソース言語センテンスＳ_eである。エンコーダコンポーネントは、デコーダコンポーネント用のメモリキーおよび値を生成するために入力シーケンスを処理する。メモリキーおよび値は、エンコーダ－デコーダアテンションコンポーネント内の各説明可能なデコーダレイヤに渡される。説明可能なデコーダコンポーネントは、その後、線形レイヤおよびｓｏｆｔｍａｘ関数または同様のメカニズムを使用してＳ_eの被翻訳トークンを予測する。ｓｏｆｔｍａｘレイヤの予測された出力は、さらなる予測のためにデコーダコンポーネントへの入力として使用される。さらなる例示的な実施形態において、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャは、説明可能なデコーダコンポーネントの出力を予測するために、線形レイヤの代わりに使用される。

【0257】

例示的な実施形態において、ｎレイヤＸＴＴは、文書をソース言語から別のターゲット言語に翻訳するために使用される。入力埋め込みは、位置埋め込みと結合され、説明可能なトランスフォーマＸＴＴへの入力として使用される。エンコーディングレイヤ内の説明可能なアーキテクチャは、ブラックボックスフィードフォワードニューラルネットワークコンポーネントを帰納して、グローバル説明およびローカル説明を生成しながら、ブラックボックスフィードフォワードニューラルネットワーク２３０の出力を予測する。説明は、説明フレームワークからのフィルタを使用してフィルタリングされて、デコーダのエンコーダ－デコーダマルチヘッドアテンションコンポーネントのために使用される解釈を作成することができる。ＸＴＴエンコーダ－デコーダは、動的アテンションスパンを同様に使用して、異なる状況に対する適応性を改善することができ、その際、スパンウィンドウ長は、出力説明および／または正当化理由に含まれるパラメータである。デコーダの説明アーキテクチャは、図６に示すように、フィードフォワードニューラルネットワークコンポーネント２７０を帰納し、翻訳のためのターゲット言語語彙の線形レイヤの予測のための説明を生成する。ＸＴＴ説明および／またはＸＴＴ出力は、ＥＩＧＳシステムからのフィルタまたは適した説明フレームワークを使用してフィルタリングされて、適した解釈者に次に提示される解釈を作成することができる。そのような実用的なアプリケーションパイプラインの典型的な実施態様は図１４に提示され、ＸＴＴは、典型的な説明および解釈パイプラインにおいてコンポーネント９０４、９０８、９１２、および任意に９１１の実用的な実施形態として使用され得る。ＸＴＴが、（ｉ．）人間可読説明の生成、（ｉｉ．）対話および会話出力、（ｉｉｉ．）質問回答、（ｉｖ．）質問および／解釈の分類、（ｖ．）頻繁に尋ねられる質問（ＦＡＱ：ｆｒｅｑｕｅｎｔｌｙ ａｓｋｅｄ ｑｕｅｓｔｉｏｎ）タイプの出力、（ｖｉ．）過去に知られているコンテキストに関連する回答および出力の含意（ｅｎｔａｉｌｍｅｎｔ）、（ｖｉｉ．）複数のランク付けされた選択からの出力の選択を含むが、それに限定されない、提示指向の変換および説明および／または解釈出力の強化を実施するために利用され得ることがさらに企図される。ＸＴＴが、並列化および全体スループットの観点と説明可能性の観点の両方において、ＥＬＭｏ等の非トランスフフォーマアーキテクチャに勝る有意の利点を提供することがさらに留意される。

【0258】

例示的な実施形態において、ｎレイヤＸＴＴは、電子メールのテキストコンテンツがスパムであるか、スパムでないかを検出するために使用される。トランスフォーマ－エンコーダアーキテクチャは、図１０（ａ）に示すように、電子メールがスパムであるか、スパムでないかを予測するために、最終エンコーダレイヤに接続された下流分類器１００８からなる。分類器は、特定のドメイン下流タスクのための説明を生成するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャとすることができる。さらなる例示的な実施形態において、トランスフォーマ－デコーダアーキテクチャは、図１０（ｂ）に示すテキスト分類タスクのために使用される。下流タスク分類器１００９は、ドメイン下流タスクのための説明を生成するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャとすることができる。説明可能なアーキテクチャは、フィードフォワードニューラルネットワークコンポーネント１９００から帰納される。生成されたグローバル説明およびローカル説明は、入力テキストトークンがスパムであるか、スパムでないかを分類するために、フィードフォワードニューラルネットワーク等の機械学習分類器を使用して、下流スパム検出タスクのために、ＸＴＴの出力と併せて使用される。下流タスク分類器は、特定のドメイン下流タスクのための説明を生成するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャを使用して同様に帰納され得る。

【0259】

有限状態トランスデューサ（ＦＳＴ）は、文書処理に成功裏に適用された最も早期のモデルのうちの１つであり、ＸＴＴは、それらの早期のＦＳＴの直接進化および一般化である。ＦＳＴ、そして拡張すると、ＸＴＴは、形態学的分析のような人間言語技術（ＨＬＴ：Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ）アプリケーションおよび有限状態構文解析において非常に成功した。自然言語を処理するためのＦＳＴについての早期の動機は、自然言語用のライティング文法が、実施するにはあまりにも難しくかつ骨が折れるだけであることを認識することであった。ＦＳＴの主要なアピールのうちの１つは、それらの非決定性有限オートマトン（ＮＤＦＡ：Ｎｏｎ－Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｆｉｎｉｔｅ Ａｕｔｏｍａｔｏｎ）オリジンのそれらの表現力が、複雑な入力－出力変換を処理することを可能にしながら、ルールに変換され、元通りＦＳＴ形態でコンパイルされるそれらの能力である。説明可能なモデルを使用して実施されるＸＴＴアテンションモデルは、そのようなルール抽出が、連続しているレベルの詳細近似によって行われることを可能にする。引き出されたルールに対するＸＴＴの全アテンションモデルの完全な変換は、可能であるとすることもできるが、何らかの形態の圧縮、一般化、または近似なしでは、抽出されることになるルールが非常に多いため実用的なシステムをもたらさない可能性があることになる。ＸＴＴに関する利点は、型付け式マスキング（ｔｙｐｅｄ ｍａｓｋｉｎｇ）および文法木分析のようなシンボリック法ならびに情報理論ベース圧縮および分析法が、そのようなルールの初期セットを一般化し、より管理可能なフォーマットに圧縮するために使用され得る。ＸＴＴ内の説明可能なモデルは、それらの特徴量相互作用レイヤを分析することによってＸＴＴアテンションモデルをシンボリックルールベースフォーマットに変換するために使用され得、シンボリックルールベースフォーマットは、その後、再帰関係に（再帰またはフィードバックの要素または過去に学習した表現参照が存在しても）、そしてその後最終的に、人間および機械可読フォーマットに変換され得る。

【0260】

別の例示的な実施形態において、ＸＴＴは、法律文書を処理し、上記法律文書に関係し上記法律文書における参考文献である、異なる機関およびエンティティに適用可能な参考文献およびテキストセクションを正しく決定するために使用される。ＸＴＴアテンションモデルによって抽出されるエンティティの関係、属性、および制約は、ＸＴＴによって処理されるテキスチュアル言語情報自身と共に、その後、レッドフラグ、責任問題、条項の省略、相手方当事者またはエンティティによる非常に攻撃的な要求、優先度問題、前例、凡例法参考文献、条項のリスク分類、条項のインパクト分類、および特定の条項の受容性に関する決定の組み合わせを含む種々の法律問題について、例えば、ＸＡＩモデルおよび／またはＸＮＮおよび／または別のＸＴＴにおいて、格納された所定のルールのセットに対して文書を２重チェックするために利用される。ＸＴＴが、法律文書の品質を改善するために、包含、削除、および／または軽減方策を含む考えられる編集をランク付けするために利用され得ることがさらに企図される。ＸＴＴが、どの当事者の側につくべきかに応じて、適切なコンテキストを任意に考慮して、そのような当事者の関心が、異なるユーザ指定レベルの網羅性および攻撃性に従って示されることを保証することができることがさらに企図される。

【0261】

図２２は、説明構造モデル（ＥＳＭ：Ｅｘｐｌａｎａｔｉｏｎ Ｓｔｒｕｃｔｕｒｅ Ｍｏｄｅｌ）ノーテーションを使用して、法律文書処理のために使用される例示的なＸＴＴシステム実施態様を示す。例において、ＸＴＴアテンションモデル４６１００は、責任条項識別コンポーネント４６１５０を使用して、法律文書コーパス４６１１０から、考えられる責任関連条項４６１９０を識別するために使用される。ＸＴＴは、履歴判例法情報４６２００、および、外部プロバイダによって得られた関連する司法権（ｊｕｒｉｓｄｉｃｔｉｏｎ）についての法律システムを示すルールの構造化システム４６２１０（例において「Ｌｅｘ」）に同様にアクセスできる。履歴情報４６２００、法律システムルール４６２１０、および責任関連条項４６１９０は、重大度評価コンポーネント４６２５０を使用して、各条項の重大度および結果を評価する４６２９０ために使用される。ＸＴＴは、どの側の契約当事者を採用するかに応じて、異なる責任最小化方策を推奨する４６４００責任方策推奨器コンポーネント４６３５０を使用して、重大度アセス責任条項を処理する４６２９０ことと並行して抽出された契約当事者情報４６３１０と共に、ユーザ供給シナリオ情報４６３００を同様に使用する。最後に、ＸＴＴは、説明可能なモデルからのランク付けコンポーネントを使用して、その後自動的に選択されるかまたは人間参加型（ｈｕｍａｎ－ｉｎ－ｔｈｅ－ｌｏｏｐ）タイプの承認を用いて選択され得る法律文書４６１１０に対する正確な編集４６４５０を推奨する。

【0262】

例示的な実施形態において、文書を処理しているＸＴＴシステムは、マルチモーダル文書レイアウトおよび文書理解技法を利用して、文書内のテキスト、画像、および他のマルチモーダルコンテンツを、正しくセグメント化し、処理し、リンクすることができる。

【0263】

ＸＴＴは、ＸＴＴがモデル化している動的システム内の状態変化を追跡し、そのようなシステム内で識別される動的プロセスを説明する説明を生成するために同様に使用され得る。

【0264】

例示的な実施形態において、ＸＴＴシステムは、その説明可能なモデルコンポーネントにおいて高速重み（Ｆａｓｔ Ｗｅｉｇｈｔ）を利用することができる。そのようなＸＴＴシステムは、高速ＸＴＴまたはＦ－ＸＴＴとして示され得る。高速重みは、結果として得られるＸＴＴシステムが、変化する入力データセット分布、および、元の訓練用データセットの一部でなかった過去に見られない新しい訓練用データサンプルに迅速に適応することを可能にしながら、結果として得られるＸＴＴシステムのランタイム性能に対する優れたブーストを与えることができる。Ｆ－ＸＴＴは、シーケンス入力データおよび他の同様の多次元入力データを処理するにより効率的である場合もある。当技術分野で理解されるように、高速重みは、標準的なモデル重みより迅速に変化することができる重み変数を通して、特定の過去のイベントの時間的リポジトリを提供することができ、システムのための「短期メモリ（ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）」を本質的に提供する。

【0265】

別の例示的な実施形態において、ＸＴＴは、対話型説明および／または解釈プロセスのフローを制御するために使用され、対話型説明および／または解釈プロセスは、対話処理、チャットボット、コールセンター管理システム、事例管理システム、顧客サポートシステム、クライアント関係管理（ＣＲＭ：ｃｌｉｅｎｔ ｒｅｌａｔｉｏｎｓｈｉｐ ｍａｎａｇｅｍｅｎｔ）システム、会話システム、質問および回答システム（ｑｕｅｓｔｉｏｎ ａｎｄ ａｎｓｗｅｒｉｎｇ ｓｙｓｔｅｍ）、ならびに、ユーザおよび／または別のシステムとの対話性の要素が必要とされる同様のアプリケーション等のアプリケーションにおいて一般に使用される。ＸＴＴアテンションモデルは、その回答および説明生成能力と併せて使用されて、関連する対話型出力の相互作用フローおよび生成の効率的な管理に対する実用的な解決策を提供する。説明可能なトランスフォーマ－デコーダタイプの解決策が、全ＸＴＴアーキテクチャを必要とすることなく、そのような例示的な実施形態において実用的な解決策を提供するために使用されることがさらに企図される。ＸＴＴ－エンコーダは、固有表現認識（ＮＥＲ：ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ）およびアナフォラ解決（ａｎａｐｈｏｒａ ｒｅｓｏｌｕｔｉｏｎ）のような関連タスクのために使用され得る。ＸＴＴ－エンコーダは、エンティティの開始および終了を検出するために、エンド－ツー－エンド深層学習アーキテクチャにおいて、文字および単語をエンコードするために使用され得る。例示的な実施形態において、ＸＴＴ－エンコーダは、単語レベルコンテキスチュアル埋め込みを生成するために別のＸＴＴ－エンコーダへの入力として使用される文字レベル情報をエンコードするために使用される。単語レベルＸＴＴ－エンコーダは、事前訓練済み単語埋め込みと、文字レベルＸＴＴ－エンコーダからの抽出済み文字特徴量との結合を処理することができる。条件付きランダムフィールドレイヤ（Ｙａｎ等、２０１９）は、Ｐ（ｙ｜ｓ）を最大にするために使用され得、ここで、ｓはシーケンスであり、ｙはラベルシーケンスである。文字レベルＸＴＴ－エンコーダおよび単語レベルＸＴＴ－エンコーダは、ＮＥＲタスクの性能を最適にするために、相対的な位置エンコーディングおよびスケーリングなしアテンション（Ｙａｎ等、２０１９）を使用することができる。

【0266】

ＸＴＴ－エンコーダは、下流タスクにおける、質問－回答等の２つのセンテンス間の関係を識別するために使用され得る。ＸＴＴ－エンコーダは、単一言語コーパス（ｍｏｎｏｌｉｎｇｕａｌ ｃｏｒｐｕｓ）を使用して２つのセンテンス間の関連付けを学習するために、次センテンス予測（ＮＳＰ：ｎｅｘｔ ｓｅｎｔｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎ）（Ｄｅｖｌｉｎ等、２０１８）を使用して事前訓練され得る。質問－回答下流タスクについてのＸＴＴ－エンコーダの入力トークンは、｛［ＣＬＳ］、ｑ₁、ｑ₂、．．．、ｑ_n、［ＳＥＰ］、ａ₁、ａ₂、．．．、ａ_m｝として規定され得、ここで、［ＣＬＳ］は、全ての入力の前で使用されるシンボルトークンであり、［ＳＥＰ］は、質問と回答との間の分離器トークンであり、ｑはｑ＝｛ｑ₁、ｑ₂、．．．、ｑ_n｝であるような質問のトークンを指し、ａはａ＝｛ａ₁、ａ₂、．．．、ａ_m｝であるような回答のトークンを指す。［ＣＬＳ］トークンは、回答が入力質問に対応するか否かを判定するために、分類用のエンド－ツー－エンド深層学習ネットワークにおいて、説明可能なモデルへの入力として使用される。

【0267】

ＸＴＴ－デコーダは、ＸＴＴ－デコーダを外部プロセス内のターゲットエンティティに対して訓練することによって、エンティティの知識を全く持たない入力シーケンスにおいてエンティティを検出し、エンティティ追跡を実施するために使用され得る。ＸＴＴ－デコーダは、入力シーケンスｔ_jの最後にトークンを付加し、ｔ_jのコンテキスト化トークン表現を使用して、それをエンティティ表現と組み合わせ、それを説明可能なモデルへの入力として使用し、それにより、クラス予測確率を得ることができる。ＸＴＴ－デコーダは、入力シーケンスを再構築することによって、ターゲットエンティティに向かって誘導され得る。入力シーケンスは、センテンスとターゲットエンティティ間の分離器トークン［ＳＥＰ］を使用して再構成され得る。［ＣＬＳ］トークンは、入力シーケンスの始めにまたは入力シーケンスの終わりに付加され得る。［ＣＬＳ］トークンは、クラス予測確率を得るために、説明可能なモデルｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャへの入力として使用され得る。

【0268】

ＸＴＴが、知識グラフ、ＲＤＦデータベース、キー値対テーブル、またはＸＴＴ説明可能なモデル内にシームレスにマージされ得る事実を象徴的な方法で提供する他の適したデータベースにリンクされ得ることがさらに企図される。そのような統合は、演繹的、帰納的、仮説的、および因果的ロジックの結合が、ＸＴＴのフィードフォワード予測パスにおいて利用されることを、同様に可能にし、象徴的に構築された知識をコネクショニストアプローチと結合する。

【0269】

例示的な実施形態において、説明可能なシステムは、説明可能なチャットボットシステムにおいて使用されて、予測機械学習モデルの意思決定を説明することができる。説明可能なチャットボットシステムは、ユーザが、説明を要求するために、説明可能なモデルｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャと相互作用することを可能にする。説明可能なチャットボットシステムは、クエリ意図を分類し、要求されるエンティティを抽出するために、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャからなることができる。対話（ｄｉａｌｏｇｕｅ）管理コンポーネントは、ユーザと説明可能なチャットボットシステムとの間で状態およびコンテキストを管理するために利用され得る。ＸＴＴモデルは、モデル説明をユーザ可読テキストに投影して、それをユーザに提示するために訓練され得る。説明可能なチャットシステムは、人間知識インジェクション（ＨＫＩ）またはホワイトボックスモデルにおけるバイアスの識別のために、システムの管理者との相互作用を可能にすることができる。ユーザのために生成される説明は、モデルの基本解釈、モデルの説明解釈、およびモデルのメタ説明解釈を含むことができる。説明解釈は、２タプルベクトル＜ｏ、ｗ＞によって示され、サブコンポーネントによって理解され得る、そのような予測値についてのモデル説明ｗと結合された予測出力ｏを指す。モデル説明は、所与の観測について入力特徴量の特徴量重要度を説明するために利用され得る、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャの係数θからなることができる。メタ説明解釈は、３タプルベクトル＜ｏ、ｗ、ｊ＞によって示され得、予測出力ｏ、モデル説明ｗ、およびモデル説明の正当化理由ｊを含む。モデル正当化理由ｊは、モデル説明を生成するために考慮された、説明システムによって採用された仮定、プロセス、および意思決定に関するさらなる情報を提供する。

【0270】

アテンションモデルがグラフ－アテンション（またはハイーアグラフ－アテンション）に基づくグラフ－ＸＴＴ（ＧＸＴＴ）に一般化されるグラフまたはハイパーグラフの形態の階層的パーティション構造を有し、シーケンス－ツー－シーケンス変換の標準的なＸＴＴモードの他に、グラフ－ツー－シーケンス、シーケンス－ツー－グラフ、およびグラフ－ツー－グラフ変換モードを処理することもできる、説明可能なモデルを使用するＸＴＴ。ＧＸＴＴは、有向、無向グラフ、トポロジカルネットワーク、レビグラフ、または他の適した表現フォーマットを含む、異なるグラフ、ハイパーグラフ、または単体的複体表現フォーマットを利用することができる。

【0271】

別の例示的な実施形態において、ＸＴＴは、強化学習タイプのアプリケーション、または、ロボットシステムまたは典型的な制御エンジニアリングアプリケーションにおいて等、フィードバック制御タイプのメカニズムを必要とする適したアプリケーションにおいて使用される。ＸＴＴは、アクションポリシーからのアクションの選択に対して実用的な解決策を提供するために、および／または、強化学習エージェントの一部として適切な報酬関数を実施するために使用され得る。ＸＴＴが、アクションポリシーおよび／または報酬関数自身の訓練および学習において使用され得ることがさらに企図される。ＸＴＴが、上記ＸＴＴを利用する強化学習エージェントによって実行され得る考えられるアクションを学習し発見するために利用され得ることがさらに企図される。

【0272】

ＸＴＴが、ＸＲＬと併せておよび／またはＸＲＬシステムの一部として使用されることがさらに企図される。ＸＲＬエージェントは、必要なコンテキストを提供するために、ＸＴＴを使用する介入的または反事実的要素を含む説明を生成するために使用され得る。

【0273】

説明可能なトランスフォーマアーキテクチャは、パイプラインの一部としてＸＴＴアーキテクチャを組み込むエンド－ツー－エンド説明可能なＤＬシステムを組み込むために、他の機械学習システムを組み込むことができる。例示的な実施形態において、説明可能なオートエンコーダＸＡＥＤは、言語埋め込みを低次元空間に圧縮するために使用される。圧縮された次元空間は、生成された説明およびパーティション情報ならびに位置エンコーディングと併せて、説明可能なトランスフォーマアーキテクチャへの入力として使用される。

【0274】

説明可能なトランスフォーマＸＴＴアーキテクチャは、自立システム内のエンド－ツー－エンド説明可能なシステム内のコンポーネントとすることができる。自立システムは、挙動モデル階層構造ＢＭＨ（：Ｂｅｈａｖｉｏｒａｌ Ｍｏｄｅｌ Ｈｉｅｒａｒｃｈｙ）を使用して設計され得る。ＢＭＨは、複数の挙動モデルＢＭＨ_BMを含むことができ、ここで、ＢＭＨ_BM＝｛ＢＭ₁、．．．、ＢＭ_n｝である。

【0275】

例示的な実施形態において、自立システムは、ＸＴＴまたは説明可能なトランスフォーマ－エンコーダアーキテクチャに対する条件付き制約ＢＭＨ_cを有することができ、アーキテクチャは、ｎ個のエンコーダレイヤを有するトランスフォーマ－エンコーダベースアーキテクチャであり、最終エンコーダレイヤの出力は、別の車両との衝突のリスクを予測するために出力ＳｏｆｔＭａｘに給送される。条件付き制約ｃは、説明可能なアーキテクチャ３４００ｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャの内部係数に対して課され（ｐｌａｃｅ）得る。条件ｃは、階層的形態の他の条件に基づくとすることができる。条件は、満足度モジュロ理論（ＳＭＴ：Ｓａｔｉｓｆｉａｂｉｌｉｔｙ ｍｏｄｕｌｅ ｔｈｅｏｒｉｅｓ）および競合駆動式条項学習（ＣＤＣＬ：ｃｏｎｆｌｉｃｔ－ｄｒｉｖｅｎ ｃｌａｕｓｅ ｌｅａｒｎｉｎｇ）満足度（ＳＡＴ：Ｓａｔｉｓｆｉａｂｉｌｉｔｙ）ソルバー等の形式的検証問題ソルバーに適合するために、連言標準形（ＣＮＦ）または選言標準形（ＤＮＦ）または適した１次ロジックの形態であるとすることができる。

【0276】

挙動モデルＢＭは、説明可能なシステム３４７０、イベント３４２０、トリガー３４３０、終端アクション３４４０、フィードバックアクション３４５０、およびシステムコンポーネント３４６０を含むことができる。１つまたは複数の条件ＢＭ_cは、１つまたは複数のトリガーＢＭ_t３４３０を活性化するために１つまたは複数のイベントＢＭ_e３４２０を発動させることができる。トリガーは、ＢＭＨ内の複数のＢＭの間に接続され得る。トリガーは、説明可能なトランスフォーマＸＴＴアーキテクチャへのフィードバックアクション３４５０またはシステムコンポーネント３４６０へのフィードバックを提供し得る、または、挙動モデル内の終端アクション３４４０を活性化することができる。自立システムの挙動モデル階層構造ＢＭＨは、複数の機械学習モデルＢＭＨ_x（ここで、ＢＭＨ_x＝｛ｘ₁、．．．、ｘ_n｝）を含むことができ、その際、ＸＴＴはＢＭＨ_x内のモデルのうちの１つである。この場合、挙動モデル階層構造ＢＭＨの条件は、ＢＭＨ_t内の特定のトリガーについての条件付き要件として共に融合され得る。

【0277】

説明可能なトランスフォーマＸＴＴアーキテクチャは、図１８に示すように、挙動モデルフレームワーク内の説明可能なシステム３４７０内の説明可能なアーキテクチャコンポーネント３４００とすることができる。説明可能なシステム３４７０は、因果的アーキテクチャ３４１０等の他のコンポーネントを含むことができる。挙動モデルＢＭは、説明可能なアーキテクチャｘ（ここで、ｘ∈｛ＸＡＩ、ＸＮＮ、ＸＴＴ、ＩＮＮ、ＸＲＬ、ＸＳＮ、ＸＭＮ｝）あるいは論理的に等価なまたは同様のアーキテクチャからなることができる。入力制約は、挙動モデルＢＭの説明可能なアーキテクチャの形式的検証中に含まれ得る。形式的仕様制約は、説明可能なアーキテクチャＸＴＴの解釈可能な内部係数に基づくとすることができる。形式的仕様制約は、形式的検証が説明可能なシステムにおいてバイアスを許可しないように設計され得る。形式的仕様制約は、形式的検証法がＸＴＴおよび全てのＸＴＴ変形と共に利用されることを可能にするために使用され得る。高度シミュレーションおよび挙動分析法がＸＴＴおよび全てのＸＴＴ変形と共に利用されることを形式的仕様制約が可能にすることができることがさらに企図される。

【0278】

例示的な実施形態において、ＸＴＴベースシステム（または、ＸＴＴベースシステムによって制御されるかまたはモニターされるサブシステム）は、通常動作状態およびステータスからの異常、分散、および偏差について、その通常動作サイクル中にモニターされ得る。そのようなモニタリングメカニズムが、ＸＴＴを、挙動モデル（ＢＭ）、または、条件、イベント、トリガー、およびアクションの規定および実施を可能にする同様の制御エンジニアリング解決策と組み合わせることによって達成され得ることがさらに企図される。条件、イベント、トリガー、およびアクションの基礎になる制約および表現をモニターすることは、シンボリックルールまたはシンボリック表現のシステム、多項式表現、条件付きおよび条件なし確率分布、結合確率分布、状態空間および位相空間変換、整数／実数／複素数／クォータニオン／オクトニオン変換、フーリエ変換、ウォルシュ関数、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、相違分析の形態で、を含むが、それに限定されない、種々の適した例示的な実施態様で実施され得る。制約および表現をモニターすることは、説明可能なモデルならびに任意の関連するタクソノミー、オントロジー、および因果モデルにアクセス可能な異なる特徴量および変数を参照するデータ構造の形態で同様に実施され得る。制約および表現をモニターすることは、知識グラフネットワーク、管理チャート（ｃｏｎｔｒｏｌ ｃｈａｒｔ）、ネルソンルール、ボード線図、ナイキスト線図、および、何らかの測定された挙動変数が、制御不能である－すなわち、一貫性に対する予測不可能性（ｕｎｐｒｅｄｉｃｔａｂｉｌｉｔｙ ｖｅｒｓｕｓ ｃｏｎｓｉｓｔｅｎｃｙ）の尺度を与える－か否かを判定する関連方法の形態で同様に実施され得る。

【0279】

例示的な実施形態において、ＸＴＴアーキテクチャは、自立システムの形式的検証を実施するために挙動モデルＢＭ内で使用されて、「歩行者が自立システムの近くにおり、そのような歩行者が左から来る場合、右転回を実施せよ（ｉｆ ａ ｐｅｄｅｓｔｒｉａｎ ｉｓ ｎｅａｒ ｔｈｅ ａｕｔｏｎｏｍｏｕｓ ｓｙｓｔｅｍ； ａｎｄ ｓｕｃｈ ｐｅｄｅｓｔｒｉａｎ ｉｓ ｃｏｍｉｎｇ ｆｒｏｍ ｔｈｅ ｌｅｆｔ， ｐｅｒｆｏｒｍ ａ ｒｉｇｈｔ ｔｕｒｎ）」等の制約および／またはルールを使用して、近くの歩行者が記述されることを検出することができる。自動化制約および／またはルール拡張システムは、例えば、「そのような転回が、システム速度、予測歩行者速度、および右手障害物境界によって決定される（ｗｈｅｒｅ ｓｕｃｈ ｔｕｒｎ ｉｓ ｄｅｔｅｒｍｉｎｅｄ ｂｙ ｔｈｅ ｓｙｓｔｅｍ ｓｐｅｅｄ， ｐｒｅｄｉｃｔｅｄ ｐｅｄｅｓｔｒｉａｎ ｓｐｅｅｄ ａｎｄ ｒｉｇｈｔ－ｈａｎｄ ｏｂｓｔａｃｌｅ ｂｏｕｎｄａｒｉｅｓ）」を付加することによって、世界コンテキストから採用されたさらなる背景ルールによって検証ステートメントを拡張することができる。そのような検証問題は、ｄｉｓｔ_l＜Ｄ＜ｄｉｓｔ_uと仮定した（ここで、ｄｉｓｔ_lおよびｄｉｓｔ_uは、そのような距離の下方境界および上方境界である）自立システムと歩行者との間の距離Ｄ等のパラメータを有し、また、ａｎｇ_l＜θ＜ａｎｇ_uと仮定した角度θにおいて（ここで、ａｎｇ_lおよびａｎｇ_uは、予測歩行者移動ベクトルの角度の下方境界および上方境界である）、可解な方程式系に変換され得る。形式的検証技法は、そのようなパラメータ制約によって、右転回角度についての予測出力が、境界ｏ_lower＜ｒｉｇｈｔ_turn＜ｏ_upper内である必要があることを検証するために利用され得る。例をさらに進めると、そのような形式的検証解決策は、自立システム自身上でこの場合実行される、実際の被観測挙動の観測的動的検証に基づく解決策と並列に同様に実施されうる。例を継続すると、自立システムは、「車の前を走った歩行者を回避するために、右に断固としてよけなければならなかった（Ｈａｄ ｔｏ ｓｗｅｒｖｅ ｓｔｒｏｎｇｌｙ ｔｏ ｔｈｅ ｒｉｇｈｔ ｔｏ ａｖｏｉｄ ｔｈｅ ｐｅｄｅｓｔｒｉａｎ ｗｈｏ ｒａｎ ｉｎ ｆｒｏｎｔ ｏｆ ｔｈｅ ｃａｒ）」ような、ユーザレベルの説明を出力することもできる。「断固として（ｓｔｒｏｎｇｌｙ）」等の説明内の形容詞は、何らかの適切な分類法、値ルックアップテーブル、ファジーロジックシステム、ＡＩモデル、または適切なテキスト生成実施態様によって決定され得る。自立システムは、入力画像を入力として採用する説明可能なトランスフォーマ－エンコーダベースアーキテクチャＸＴＴ_eからなることができる。入力画像は、パッチに分割され、平坦化され、それらの対応する位置エンコーディングによって入力トークンとして使用され得る。トランスフォーマ－エンコーダベースアーキテクチャＸＴＴ_eは、制御アクションを予測するために、微調整用の線形レイヤにアタッチされ得る。自立システムは、例えば、「車は、歩行者（検出オブジェクト：クラス＝歩行者、信頼度＝９５％；オブジェクトベクトル（予測）：相対次数＝９０°、相対速度デルタ＝２．２２ｍ／ｓ）衝突（予測衝突＝９１％；予測損傷リスク＝高；予測車両コンポーネント＝前ヘッドランプ）を回避するために、右に断固としてよけた（加速プロファイル：角度２０°、速度デルタ＝２．７７ｍ／ｓ）（Ｃａｒ ｓｗｅｒｖｅｄ ｓｔｒｏｎｇｌｙ ｔｏ ｔｈｅ ｒｉｇｈｔ （ａｃｃｅｌｅｒａｔｉｏｎ ｐｒｏｆｉｌｅ： ａｎｇｌｅ＝２０°， ｓｐｅｅｄ ｄｅｌｔａ＝２．７７ｍ／ｓ） ｔｏ ａｖｏｉｄ ｐｅｄｅｓｔｒｉａｎ （ｄｅｔｅｃｔｅｄ ｏｂｊｅｃｔ： ｃｌａｓｓ＝ｐｅｄｅｓｔｒｉａｎ， ｃｏｎｆｉｄｅｎｃｅ＝９５％； ｏｂｊｅｃｔ ｖｅｃｔｏｒ （ｐｒｅｄｉｃｔｅｄ）：ｒｅｌａｔｉｖｅ ｄｅｇｒｅｅ＝９０°， ｒｅｌａｔｉｖｅ ｓｐｅｅｄ ｄｅｌｔａ＝２．２２ｍ／ｓ）ｃｏｌｌｉｓｉｏｎ （ｐｒｅｄｉｃｔｅｄ ｃｏｌｌｉｓｉｏｎ＝９１％； ｐｒｅｄｉｃｔｅｄ ｉｎｊｕｒｙ ｒｉｓｋ＝ＨＩＧＨ； ｐｒｅｄｉｃｔｅｄ ｖｅｈｉｃｌｅ ｃｏｍｐｏｎｅｎｔ＝ｆｒｏｎｔ ｈｅａｄｌａｍｐ））」のような診断レベルでのより詳細な説明を出力することもできる。自立システムは、ＸＡＩ知識をエンコードし送信するための機械可読方法等の適したフォーマットでエンコードされた診断レベル説明を同様に利用して、適したダッシュボードディスプレイまたはヘッドアップディスプレイシステムまたは拡張現実ディスプレイ上に、アニメーション等のマルチメディア出力を生成することができる。そのような情報が、適切なインテリジェント輸送システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）ネットワーク、例えば、車両－ツー－車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ ｔｏ ｖｅｈｉｃｌｅ）ネットワーク、車両アドホックネットワーク（ＶＡＮＥＴ：ｖｅｈｉｑｕｌａｒ ａｄ ｈｏｃ ｎｅｔｗｏｒｋ）、ＩＥＥＥ ８０２．１１ｐ互換プロトコル等の適切な車両間通信（ＩＶＣ：ｉｎｔｅｒ－ｖｅｈｉｃｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）プロトコルを使用するモバイルアドホックネットワーク（ＭＡＮＥＴ：ｍｏｂｉｌｅ ａｄ ｈｏｃ ｎｅｔｗｏｒｋ）を通じて同様に送信され得ることがさらに企図される。

【0280】

自立車両におけるＸＴＴシステムの例示的な実施形態において、ＸＴＴは、走行車線形状を予測し、エンド－ツー－エンドオブジェクト検出および挙動予測を実施し、ポイントクラウド処理を実施し、単眼、複眼、およびマルチビュー画像データと併せて視線アテンションモデルを利用して、周囲環境の内部表現を作成し、人間乗客またはユーザにコンテキストアウェアな（ｃｏｎｔｅｘｔｕａｌ ａｗａｒｅ）説明を提供しながら、環境のダイナミクスの予測を作成するために使用され得る。

【0281】

例示的な実施形態は、説明可能であるトランスフォーマを提供することができる。例示的な実施形態は、説明可能なトランスデューサ、説明可能なトランスフォーマ、説明可能なトランスフォーマ－エンコーダ、および／または説明可能なトランスフォーマ－デコーダを含むことができる。説明可能なトランスフォーマアーキテクチャは、予測データ表現に対する入力トークンの特徴量寄与度を説明することができる。これは、トランスフォーマ内の所与のコンポーネントについての予測出力を理解するために使用され得る。トランスフォーマの説明可能なエンコーダおよび説明可能なデコーダのために基礎のアーキテクチャとしてＸＮＮ／ＩＮＮを使用すると、エンド－ツー－エンドホワイトボックス機械学習システムを構築することが可能である。ホワイトボックストランスフォーマの進歩は、以下を含む。

【0282】

説明可能なトランスフォーマアーキテクチャは、標準的なブラックボックストランスフォーマと同程度にパワフルである。

【0283】

説明可能なトランスフォーマアーキテクチャは、全ての現在の深層学習ライブラリおよびアーキテクチャを利用し、それらと完全に適合し、説明可能なトランスフォーマアーキテクチャが、深層学習システムのために利用可能な全ての性能進歩を利用することを可能にする。

【0284】

説明可能なトランスフォーマアーキテクチャは、解釈可能なモデルが柔軟な方法で作成されることを可能にする。説明可能なトランスフォーマアーキテクチャは、外部帰納ステップを有する必要性ならびにそれを複数フェーズで訓練する可能性なしで、または、モデルの複数の部分について帰納を組み込むことによって、１回反復で訓練され得る。

【0285】

説明可能なトランスフォーマアーキテクチャは、パーティショニングを通してモデルの融合を可能にする。

【0286】

説明可能なトランスフォーマアーキテクチャは、さらなる処理または摂動についての必要性なしで、単一フィードフォワードパスでエンコーディングおよび説明を計算することができる。

【0287】

説明可能なトランスフォーマは、例えば、ブラックボックスモデルから知識を転移させることによって、または、外部で訓練された既存のルールセットから知識を転移させることによって初期化され得る。転移学習（Ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）は、結果として得られる解釈可能なモデルの速度および品質を改善することができる。

【0288】

説明可能なトランスフォーマアーキテクチャは、パイプラインの一部としてＸＴＴを組み込むエンド－ツー－エンド説明可能なＤＬシステムを組み込むために、他の機械学習システムを組み込むことができる。

【0289】

説明可能なトランスフォーマアーキテクチャは、解釈可能な自動ＭＬモデルを作成するために使用され得る。

【0290】

１つの態様は、説明可能な機械学習システムであり、説明可能な機械学習システムは、機械学習システムが、入力言語からのデータを第２の出力言語に翻訳、マッピング、および変換することを可能にするように構成される有限状態トランスデューサ、ＦＳＴを備え、有限状態トランスデューサは、変換のために使用される１つまたは複数の入力特徴量を含むまたは上記１つまたは複数の入力特徴量を変換する入力言語からの上記データを受信するように適合され、有限状態トランスデューサは、上記１つまたは複数の入力特徴量に基づいて翻訳、マッピング、および／または変換されたデータを第２の出力言語として提供するようにさらに構成され、および／または、入力言語からの上記データに関連して形成されたデコーダおよびエンコーダコンポーネントの組み合わせに基づくアテンションベースアーキテクチャを有する説明可能なトランスフォーマを備え、有限状態トランスデューサおよび説明可能なトランスフォーマは、入力言語からの上記データを翻訳、マッピング、および／または変換するように構成される説明可能なトランスデューサ・トランスフォーマ、ＸＴＴを生成するために組み合わされるように構成される。

【0291】

別の態様は、説明可能なトランスデューサ・トランスフォーマを提供するためのシステムであり、説明可能なトランスデューサ・トランスフォーマは、入力を受信し、１つまたは複数の入力特徴量を識別するように構成される入力レイヤと、条件付きネットワークであって、１つまたは複数のパーティションであって、１つまたは複数のパーティションのそれぞれはルールを含む、１つまたは複数のパーティションに基づいて入力特徴量をモデル化するように構成される条件付きレイヤ、１つまたは複数のルールを１つまたは複数の集約パーティションになるよう集約するように構成される集約レイヤ、および、条件付きレイヤからの１つまたは複数のパーティションを用いて、集約レイヤからの集約パーティションを選択的にプールするように構成されるスイッチ出力レイヤを備える、条件付きネットワークと、予測ネットワークであって、１つまたは複数の変換を入力特徴量に適用するように構成される１つまたは複数の変換ニューロンを備える特徴量生成および変換ネットワーク、１つまたは複数の特徴および１つまたは複数のパーティションの少なくとも一方に関連する１つまたは複数の係数を識別するために特徴量生成および変換ネットワークによって変換された特徴を組み合わせるように構成されるフィットレイヤ、値出力レイヤであって、１つまたは複数の係数を解析するように構成され、１つまたは複数の特徴量あるいは１つまたは複数のパーティションの少なくとも一方に関連する値を出力するように構成される、値出力レイヤを備える、予測ネットワークと、エンコーダレイヤおよびデコーダレイヤであって、エンコーダレイヤおよびデコーダレイヤの少なくとも一方は、入力から形成される説明可能なアーキテクチャを備える、エンコーダレイヤおよびデコーダレイヤと、機械プログラムまたは人間の少なくとも一方によって解釈可能かつ説明可能である出力を生成するように構成される出力レイヤであって、パーティション全体を通る１つまたは複数の実行経路は外部プロセスによって識別可能である、出力レイヤとを備える。

【0292】

オプションまたは代替物として、請求項１による機械学習システムであって、説明可能なトランスフォーマは、入力言語からの上記データに関連付けられる入力を受信し、上記１つまたは複数の入力特徴量を識別するように構成される入力レイヤと、条件付きネットワークであって、１つまたは複数のパーティションであって、１つまたは複数のパーティションのそれぞれはルールを含む、１つまたは複数のパーティションに基づいて上記１つまたは複数の入力特徴量をモデル化するように構成される条件付きレイヤ、１つまたは複数のルールを１つまたは複数の集約パーティションになるよう集約するように構成される集約レイヤ、および、条件付きレイヤからの１つまたは複数のパーティションを用いて、集約レイヤからの集約パーティションを選択的にプールするように構成されるスイッチ出力レイヤを備える、条件付きネットワークと、予測ネットワークであって、１つまたは複数の変換を上記１つまたは複数の入力特徴量に適用するように構成される１つまたは複数の変換ニューロンを備える特徴量生成および変換ネットワーク、１つまたは複数の特徴量および１つまたは複数のパーティションの少なくとも一方に関連する１つまたは複数の係数を識別するために特徴量生成および変換ネットワークによって変換された特徴量を組み合わせるように構成されるフィットレイヤ、値出力レイヤであって、１つまたは複数の係数を解析するように構成され、１つまたは複数の特徴量あるいは１つまたは複数のパーティションの少なくとも一方に関連する値を出力するように構成される、値出力レイヤを備える、予測ネットワークとを備え、デコーダおよびエンコーダコンポーネントは、上記入力をエンコードするための少なくとも１つのレイヤおよび入力をデコードするための少なくとも１つのレイヤを備え、入力から形成される説明可能なアーキテクチャを備え、機械プログラムまたは人間の少なくとも一方によって解釈可能かつ説明可能である出力を生成するように構成される出力レイヤであって、パーティション全体を通る１つまたは複数の実行経路は外部プロセスによって識別可能である、出力レイヤを備える、機械学習システム。オプションとして、請求項１または請求項２による機械学習システムであって、ＸＴＴは、説明可能なトランスフォーマ－エンコーダまたは説明可能なトランスフォーマ－デコーダとして動作するように構成され、システムは、ＸＴＴの内部係数に対する条件付き制約を任意にさらに含み、条件付き制約は、ＸＴＴの公称動作サイクル中にモニターされるように任意に構成される、機械学習システム。オプションとして、説明可能なトランスデューサは、デコーダコンポーネントおよび／またはエンコーダコンポーネントのサブレイヤ内にホワイトボックスモデルコンポーネントを備える。オプションとして、説明可能なニューラルネットワーク、ＸＮＮを含む説明可能なアーキテクチャは、ＸＴＴ内で利用され、ＸＮＮは、入力レイヤであって、条件付きレイヤ、集約レイヤ、およびスイッチ出力レイヤを含む条件付きネットワーク、および、特徴量生成および変換レイヤ、フィットレイヤ、および予測出力レイヤを含む予測ネットワークに入力されるように構成される、入力レイヤと、ランク付けされたかまたはスコア付けされた出力を生成するために、スイッチ出力レイヤの出力および予測出力レイヤの出力を逓倍するように構成される選択およびランク付けレイヤとを任意に備え、ＸＮＮは、高速重みを任意に含む。オプションとして、解釈可能なニューラルネットワーク、ＩＮＮを備える説明可能なアーキテクチャは、ＸＴＴ内で利用される、および／または、説明可能な強化学習、ＸＲＬシステムを備える説明可能なアーキテクチャは、ＸＴＴ内で利用される、および／または、ＸＴＴは、ワイドラーニングモデルをサポートするように構成される。オプションとして、説明可能なアーキテクチャは、回答からなる説明可能なまたは解釈可能な出力を生成する、回答のオプションのモデル説明を生成する、回答および／またはモデル説明の正当化理由を任意に生成するように構成される。オプションとして、ＸＴＴは、上記１つまたは複数の入力特徴量を処理するように構成されるパーティションを備え、パーティションは、ルールおよび／または距離類似度関数に従ってデータポイントを任意にグループ化するクラスタであり、パーティションは、ロック付きパーティションであって、ロック付きパーティションの値が静的値として設定されている、ロック付きパーティションであるかまたはＸＴＴの各後方訓練パスについて動的に可動である可動パーティションであり、パーティションは、ＸＴＴを最初に作成する外部プロセスによってＸＴＴの一部として最初に作成される、または、パーティションは、パーティショニング情報を提供するリンク付きタクソノミーまたはオントロジーから事前訓練されるかまたは適切に初期化され、ＸＴＴは、パーティションが事前訓練された後に、任意に事前微調整され、パーティションが作成されると、ＸＴＴは、パーティションをフィットさせるかまたはさらに改良するため、勾配降下法を使用するように構成され、パーティション構造は、グラフまたはハイパーグラフ内に任意に配置され、システムは、グラフ－ツー－シーケンス、シーケンス－ツー－グラフ、およびグラフ－ツー－グラフ変換モードを処理するように任意に構成される。オプションとして、ＸＴＴは、ＸＴＴがどのようにパーティションを選択するか、マージするか、または分割するかを決定するためにランク付け関数を実施するように構成され、パーティションは、異なるレベルの意味論的および記号論的詳細でシンボルを示すために使用可能である階層的性質に従って任意に配置される。オプションとして、パーティションは、多数目的最適化技法、遺伝的アルゴリズム、モンテカルロシミュレーション法、および／または因果的ロジックおよびシミュレーション技法のうちの１つまたは複数を使用して変更可能である。オプションとして、パーティションは、２つ以上のオーバーラップするパーティションおよびオーバーラップするパーティションのうちのいずれが活性化すべきかを決定するように構成される優先度関数、２つ以上のオーバーラップしないパーティション、および／または、複数の活性化されたパーティションからの結果を結合または分割するように構成される集約関数を備え、パーティションは、疎なＸＮＮまたはＩＮＮを使用して任意に実施される。オプションとして、各パーティションは、線形モデルにフィットするデータ、ならびに、多項式展開、回転、次元尺度法、無次元尺度法、状態空間変換、位相空間変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、フーリエ変換、ウォルシュ関数、連続データバケット化、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１またはタイプ２のファジーロジック知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ空間、フレシェ空間、ハウスドルフ空間、またはチコノフ空間のトポロジカル変換、相違分析、正規化、標準化、および条件付き特徴量のうちの少なくとも１つが、線形モデルをデータにフィットさせる前に、適用されたデータの一方または両方を含む。オプションとして、パーティションは、パーティショニング関数に従って階層構造で配置され、パーティショニング関数は、ｋ－ｍｅａｎｓ関数、ベイズ関数、接続性ベースパーティショニング関数、重心ベースパーティショニング関数、分布ベースパーティショニング関数、グリッドベースパーティショニング関数、密度ベースパーティショニング関数、ファジーロジックベースパーティショニング関数、エントロピーベース関数、または相互情報ベース方法からの１つまたは複数を含むクラスタリングアルゴリズムを含み、パーティション関数は、任意に複数のオーバーラップするパーティションおよび／またはオーバーラップしないパーティションを生成するアンサンブル法を含む。オプションとして、ＸＴＴは、パーティションのうちの１つまたは複数に対して１つまたは複数の反復最適化ステップを実行するように構成され、１つまたは複数の反復最適化ステップは、適した集約、分割、または最適化法を使用してパーティションのマージングおよび分割を任意に含む。

【0293】

オプションとして、ＸＴＴは、パーティションに関連付けられたモデル説明および情報を予測するように構成されるＸＴＴ－デコーダアーキテクチャを備え、、ＸＴＴ－デコーダアーキテクチャは、次のモデル説明を予測するために、生成されたモデル説明を使用して事前訓練され、ＸＴＴ－デコーダアーキテクチャは、モデル説明の差または変化を予測するため、次の説明勾配を予測するために説明勾配のセットに対して任意にさらに事前訓練され、ＸＴＴ－デコーダアーキテクチャは、訓練中に類似および対比の両方の要素を考慮するために、入力および出力データの埋め込み表現に対して任意に事前訓練され、埋め込み表現は、任意に、疎な埋め込みである。

【0294】

オプションとして、説明可能なトランスフォーマは、外部の説明可能なモデルからのパーティショニング情報を、説明可能なトランスフォーマのエンコーダコンポーネントの入力埋め込みに、そして任意に、説明可能なトランスフォーマのデコーダコンポーネントの出力埋め込みに付加することによって訓練される、または、説明可能なトランスフォーマは、エンコーダおよびデコーダコンポーネントに並列の２つのさらなるレイヤを含み、２つのさらなるレイヤは、説明可能なトランスフォーマの入力空間から説明可能なアーキテクチャを構築するように構成される、または、説明可能なトランスフォーマは、マルチ－ヘッド－アテンションコンポーネントまたは加算－および－正規化コンポーネントを備える並列の説明可能なエンコーダレイヤを備え、並列の説明可能なエンコーダレイヤは、マルチ－ヘッド－アテンションコンポーネントの出力または加算－および－正規化コンポーネントの出力、および、パーティショニングまたは説明可能な情報を入力として受信するように構成され、説明可能なトランスフォーマは、並列の説明可能なエンコーダレイヤの出力を入力として受信するように構成される並列の説明可能なデコーダレイヤを任意にさらに含み、並列の説明可能なエンコーダレイヤは、１つまたは複数のモデル説明、１つまたは複数のモデル説明の１つまたは複数の勾配、あるいは１つまたは複数のパーティションに関連付けられる情報を入力として受信するように任意に構成される説明可能なアーキテクチャを任意に含み、並列の説明可能なデコーダは、説明可能なアーキテクチャおよび加算－および－正規化コンポーネントを任意に含み、並列の説明可能なエンコーダレイヤは、並列の説明可能なエンコーダレイヤの出力を、デコーダコンポーネント内のマルチヘッドアテンションレイヤに送信するように任意に構成され、並列の説明可能なエンコーダレイヤは、出力をデコーダコンポーネント内のマルチヘッドアテンションレイヤに送信する前に、出力を説明可能なトランスフォーマのエンコーダコンポーネントの出力とマージするように任意に構成される。

【0295】

オプションとして、説明可能なトランスフォーマのデコーダコンポーネントは、フィードバックループの一部として、ＸＴＴの出力を入力として受信するように構成される。オプションとして、説明可能なトランスフォーマのエンコーダおよび／またはデコーダコンポーネントは、説明可能なオート－エンコーダ－デコーダ、ＸＡＥＤとして動作するように構成される。オプションとして、ＸＴＴは、訓練用データセットの１つまたは複数の特徴量変換を備え、１つまたは複数の特徴量変換は、
多項式展開、回転変換、次元尺度法、無次元尺度法、フーリエ変換、ウォルシュ関数、状態空間変換、位相空間変換、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１ファジーロジックグラフネットワーク、タイプ２ファジーロジックグラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ空間、フレシェ空間、ハウスドルフ空間、またはチコノフ空間のトポロジカル変換、相違分析、データの正規化、データの標準化のうちの１つまたは複数を任意に含み、１つまたは複数の特徴量変換は、変換のパイプラインとして任意に配置され、パイプラインは、１つまたは複数の変数の値に従って順序付けられるデータのシーケンスを分析するように構成される変換であって、データのシーケンスは時間的に順序付けられたデータシーケンスを任意に含む、変換、および／または、勾配降下法および他の説明可能なアーキテクチャによって取得される変換をさらに任意に含む。オプションとして、ＸＴＴは、因果ＧＡＮベース生成、遺伝的エンジニアリング、モンテカルロシミュレーション、ペトリネット、強化学習技法、ホワイトボックスモデルおよび関連するグローバルモデルを使用するシミュレーション、および／または利用可能であるとすることができる任意の他の方法の中からの１つまたは複数の技法を使用して生成されるＸＴＴを訓練するために訓練用データセットサンプルを受信するように構成される。オプションとして、ＸＴＴは、人間知識インジェクション、ＨＫＩ、またはシステム知識インジェクションを入力として受信するようにさらに構成され、ＸＴＴ内の説明可能なアーキテクチャの係数は、人間ユーザと機械学習システムとの間でより効果的な協働をもたらすため特定のルールを施行するために修正可能であり、ＸＴＴは、ゼロショット学習または少数ショット学習のためにＨＫＩまたはシステム知識インジェクションを使用するように任意にさらに構成される。オプションとして、ＸＴＴは、ＸＴＴの適応力を高めるために帰納的、演繹的、仮説的、因果的ロジックのうちの１つまたは複数を実施するように構成され、ＸＴＴは、モデルなし最適化法およびモデルベース最適化法の組み合わせを利用するように任意にさらに構成される。オプションとして、ＸＴＴは、ＸＴＴの出力からの説明不能な潜在的空間の完全な除去を、ＸＴＴの上記１つまたは複数の入力特徴量が説明可能である程度まで可能にするように構成される。オプションとして、ＸＴＴは、ＸＴＴの出力に対して、フーリエ変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、ウォルシュ関数、状態空間変換、位相空間変換、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ’’関数、フラクタルベース変換、アダマール変換、ファジーロジックグラフネットワーク、カテゴリカルエンコーディング、相違分析、正規化、標準化、多次元ベジェ曲線、再帰関係、および因果作用素のうちの１つまたは複数を適用するように構成される、または、ＸＴＴは、ＸＴＴの出力に対して、活性化関数または変換関数を適用するように構成され、活性化関数または変換関数は、シグモイド関数、ＳｏｆｔＭａｘ関数、階層木またはネットワーク、因果ダイヤグラム、有向グラフ、無向グラフ、ハイパーグラフ、単体的複体、マルチメディア構造、またはハイパーリンクされたグラフのセットのうちの１つまたは複数を含む。オプションとして、ＸＴＴは、構造化データと非構造化データの両方を処理し、階層的に構造化されたデータを処理するように構成され、階層的に構造化されたデータは、木、グラフ、ハイパーグラフ、および／または単体的複体の形態で任意に構築される。オプションとして、ＸＴＴは、ＸＴＴの入力レイヤによって受信される前に、または、入力レイヤから出力された後に、複数の入力を正規化するように構成される正規化モジュールと、入力レイヤによって受信される前に、または、入力レイヤから出力された後に、入力をスケーリングするように構成されるスケーリングモジュールと、入力レイヤによって受信される前に、または、入力レイヤから出力された後に、入力を標準化するように構成される標準化モジュールとをさらに備える。オプションとして、入力の正規化は、バイアスおよびバイアスのソースの適切なレポートおよび分析を作成すること、および、教師あり手段、教師なし手段、または半教師あり手段によって、バイアス低減、軽減、または排除のための方策を策定することを含む。オプションとして、ＸＴＴは、分散型の説明可能なアーキテクチャ、ＤＥＡにわたって分配され、ＤＥＡは、説明可能なアーキテクチャの同質または異質な混合物からなり、ＤＥＡは、ＤＥＡ内の説明可能なアーキテクチャのそれぞれを訓練するために、データセットをデータの複数のサブセットに分割するように構成され、ＤＥＡの各説明可能なアーキテクチャは、一括操作技法を任意に含む、ＤＥＡ内の同質なおよび異質な説明可能なモデルミックスに適用される分散型訓練技法を使用して訓練可能である。オプションとして、ＤＥＡは、ＤＥＡ内のモデルが、説明可能な人工知能（ＸＡＩ）、解釈可能なニューラルネット（ＩＮＮ）、説明可能なニューラルネット（ＸＮＮ）、説明可能なスパイキングネット（ＸＳＮ）および説明可能なメモリネット（ＸＭＮ）、および／または説明可能な強化学習（ＸＲＬ）のミックスであるようなハイブリッドモデル、複数の独立モデルであって、所与の独立モデルは、訓練されると、ＤＥＡに依存することなく独立に働くように構成可能であり、ＤＥＡは訓練のために最適化される、複数の独立モデルの一方または両方を含むことができる。オプションとして、ＸＴＴは、説明および解釈生成システム、ＥＩＧＳ内で使用可能であり、入力クエリを処理し、入力クエリに関する適切な回答、説明、およびオプションの正当化理由を生成するためのモデルを提供するように構成され、ＸＴＴは、ＥＩＧＳの１つまたは複数の部分を変換するように任意に構成され、ＥＩＧＳの１つまたは複数の部分を変換することは、提示出力を変換すること、ユーザ固有出力個人化、コンテキスト固有出力変換、目標固有出力変換、計画固有出力変換、およびアクション固有変換のうちの１つまたは複数を含み、ＸＴＴは、説明スカフォールドの適切なフィルタリングをフィルタが生成するための適したモデルを提供するために、または、解釈フレーミング、プロトコルコンテキスト、解釈ルール、解釈手順、解釈シナリオ、および競合解決情報の組み合わせを利用してＥＩＧＳの１つまたは複数の部分をフィルタリングするために、または、ＥＩＧＳ内でフィルタ内および／またはフィルタ間合意プロセスを実施するために、または、解釈者が適切な解釈を生成し、解釈スカフォールドの要素を生成するための適したモデルを提供するために、または、ＥＩＧＳ内で解釈スカフォールドの適切な部分を変換するために、または、フレーミング、プロトコル、解釈ルール、解釈手順、解釈テンプレート、解釈要約、シナリオモデル、ドメイン、対話型コンテキスト、および競合解決情報の組み合わせに基づいてＥＩＧＳの解釈出力を変換するために、または、ＥＩＧＳ内で解釈者内および／または解釈者間合意プロセスを実施するために、または、適切な選択モデルおよび選択プロセスに基づいてＥＩＧＳ解釈出力を変換するためにＥＩＧＳ内で任意に使用可能である。オプションとして、ＸＴＴは、複数レベルの説明であって、パーティショニング情報、ＸＴＴの内部係数、およびＸＴＴの入力空間の特徴量寄与度を任意に含む、複数レベルの説明を生成するように構成される説明可能なセルフ－アテンションメカニズムを備え、説明は解釈者に対する出力として使用可能である。オプションとして、ＸＴＴは、自己教師あり技法を使用して訓練可能である。オプションとして、ＸＴＴは、単一ベクトルにマージするために、全てのデコーダまたはエンコーダコンポーネントから、過去に学習した表現または履歴状態を使用するように構成され、ベクトルはＸＴＴ内の任意のレイヤに対するフィードバックとして使用可能であり、ＸＴＴは、単一ベクトルにマージするために、ホワイトボックスモデルの任意の内部係数を使用するように任意にさらに構成され、ＸＴＴは、因果的にありそうにない推論を作成することまたは統計的に有効であるが因果的にありそうにないとすることができる予測経路を作成することを回避するために、過去に学習した表現に対して因果的制約を課すように任意にさらに構成され、ＸＴＴは、説明可能で因果的にかつ環境的にありそうにないフィードバックメモリを達成するため、過去に学習した表現に対して環境的にありそうにないさらなる制約を課すために、挙動モデルならびに関連する条件、イベント、トリガー、およびアクション状態表現を利用するように任意にさらに構成される。

【0296】

オプションとして、システムは、適した形式言語で書かれた既存の形式コンピュータプログラムを分析し構文解析し、ロードされると、ＸＴＴアテンションモデルを使用してそれをさらに改良するように構成され、なお、ＸＴＴの説明可能なモデル内の階層的パーティション構造は、形式言語プログラムの構造を直接モデル化するために任意に使用可能であり、または、予め規定されたスタイリスティックスタンダードに従ってコードを変換し、矛盾または誤りを強調し、コードのよりよい代替物ならびにリファクタリングおよびリライトを提案し、難読化されたコードを難読化解除し、そして、α変換、β簡約（ｂｅｔａ－ｒｅｄｕｃｔｉｏｎ）、およびη簡約等の機能的プログラミング言語概念を、生成されたコードに適用するように構成され、または、証明済みステートメントおよび／または不完全ステートメントのスクラッチからまたはそれらの既存の集合体によって、数学的表現、ステートメント、および証拠を自動的に分析、生成、およびオートコンプリートするために、適した数学的形式言語システムと共に自動定理証明システムと併せて使用されるように構成され、または、ＸＴＴによって適用される入力－出力変換の間の基礎の仮定の説明を提供しながら、ＤＮＡ遺伝子発現、タンパク質フォールディング（ｐｒｏｔｅｉｎ ｆｏｌｄｉｎｇ）、および他の関連する生物化学的アプリケーション（ｂｉｏｃｈｅｍｉｃａｌ ａｐｐｌｉｃａｔｉｏｎ）における規制的変化（ｒｅｇｕｌａｔｏｒｙ ｃｈａｎｇｅ）を説明するために、タンパク質または他の適した分子形状と併せてＤＮＡコードを分析するように構成され、または、任意に、スピーチオーディオ波形を対応するテキストに翻訳するために、エンド－ツー－エンド自動スピーチ認識アーキテクチャにおいて使用されるように構成され、または、スピーチを処理するため、エンド－ツー－エンド深層学習アーキテクチャにおいて使用されるように構成され、なお、機械学習システムは、スピーチを潜在的離散的表現に変換するように構成されるＸＡＥＤエンコーダを任意にさらに備え、または、複数オブジェクト追跡のために使用されるように構成され、または、デジタル表面モデルまたは深度マップ生成のために、衛星の、空中の、または他のタイプの鳥観図画像を照合するように構成され、または、単眼、複眼、およびマルチビュー入力データのイメージャリを処理するように構成され、または、オーディオがビデオ内に存在するか否かを予測するオーディオ－ビジュアル分類タスクのために使用されるように構成され、または、合成的に生成された多次元データの生成および検出であって、真正（ａｕｔｈｅｎｔｉｃ）画像からディープフェイク画像を検出し分類すること、または、機械学習システムを混乱させるためにデータに付加された敵対的攻撃情報（ａｄｖｅｒｓａｒｉａｌ ａｔｔａｃｋ ｉｎｆｏｒｍａｔｉｏｎ）の存在を検出することのうちの一方または両方を含み、ＸＴＴは説明可能なモデルを備える、多次元データの生成および検出のために使用されるように構成され、または、実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、または、実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、なお、機械学習システムはカメラ処理システム内に実施され、または、実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、なお、機械学習システムは、手術または医療画像の分析内で使用するための医療ハードウェア内に実施され、または、実際のイメージャリおよびコンピュータ生成式イメージャリの組み合わせ内に人々およびオブジェクトの正確に位置決めされ、フレーミングされ、スケーリングされ、照明され、レンダリングされた合成画像を自動的に生成、挿入、およびブレンドをするように構成され、なお、機械学習システムは、機器検査プロセスおよび製造検査プロセスにおいて使用するためのエンジニアリングアプリケーション内に実施され、または、人間可読および解釈可能フォーマットでデータを送信する医療インプラント内に実施されるように構成され、または、生体ニューロンからの入力信号を受信し、適切にエンコードされたフォーマットで生体ニューロンに信号を出力するように構成され、なお、ＸＴＴは、損傷した生体神経系接続を架橋するためのまたは高度人工装具デバイスにおいて人工デバイスの埋め込みおよび接続を補助するための現実的解決策を提供するために、２つ以上の生体ニューロンを架橋する医療埋め込み式デバイスの一部として実施され、または、異なるモダリティの関連するシーケンス順序付けおよび環境世界コンテキストに従って、適切に合成されるマルチモーダル混合出力を生成するために、ＸＴＴの一部としてＸＧＡＩＬシステムのシミュレータおよびデータサンプル合成を実施するように構成され、または、生成されたデータサンプルを適切に修正するために使用され得る種々の学習済みスタイルを使用して、新規なデータサンプル、イメージャリ、デジタルおよびアナログ混合メディアペインティング、および３Ｄスカルプチャを作成するように構成され、なお、機械学習システムは、生成されたデータに、セキュア追跡可能デジタルコード、分散型台帳エントリまたは非代替性トークンをタグ付けするように任意にさらに構成され、または、形式ミュージックノーテーションおよび合成、サウンドサンプル混合、テキスト－ツー－スピーチ生成、および一般的オーディオサンプル生成の組み合わせを使用してミュージックを生成するように構成され、なお、
機械学習システムは、異なるモダリティにおいて入力を分析するために、マルチモーダルＸＴＴを実施するように任意にさらに構成され、または、ビデオフレームに関するアノテーションを予測するように構成され、なお、ＸＴＴは、エンド－ツー－エンド深層学習アーキテクチャにおけるＸＴＴエンコーダとして実施され、または、オントロジーにおいて前もって規定される代わりに、対話の状態を追跡し、観測されないスロットを学習するように構成され、または、入力シーケンス内でエンティティを識別するように構成され、または、入力質問についての回答の開始位置および終了位置を識別するように構成され、または、テキストにおけるエンティティのメンションを、知識ベース内の対応するエンティティにリンクさせるように構成され、または、直前の出力に基づいて出力を予測するように構成され、または、ワークフローシステム内に組み込まれるように、そして任意にさらに、ロボットプロセス自動化システム、意思決定支援システム、または、データレイクシステム内に統合されるように構成され、または、因果的説明を使用するように構成され、なお、因果的説明は、反事実的言語表現アーキテクチャを使用し、または、原因－および－結果を扱う、関連付け、介入、および反事実的因果的ロジックを扱う、環境モデル入力による妥当性チェックを実施する、因果的にありそうな同型化によって訓練用データを拡張するために、因果モデル固有の機能を実施するように構成され、または、自然言語文書からドラフト因果モデルを自動的に作成するように構成され、なお、ＸＴＴは因果的ＸＴＴシステムを規定し、または、制約および予測的ロジック実施の基礎として計算および知識表現構造を使用するように構成され、なお、計算および知識表現構造は、リソース記述フレームワーク、ＲＤＦ、木、ＲＤＦグラフ、レビグラフ、ハイパーグラフ構造、または単体的複体を任意に含み、または、監査ログ機能を実施するように構成され、なお、監査ログ機能を実施することは、ＸＴＴのフロー、相互作用、および挙動、ならびに、ＸＴＴの関連する条件、イベント、トリガー、およびアクション、ならびに全体ダイナミクスを示す意思決定ログおよび経路トレースを作成することを含み、経路トレースは、トリガーされ実行されたルールの注釈付きシーケンスとして、エキスパートシステムおよびルールベースシステムに任意に実施され、または、経路トレースは、ワークフローエンジンによって実行されたワークフローノードおよび経路の注釈付きシーケンスとしてワークフローシステムに任意に実施され、経路トレースは、ＸＴＴの正確なシーケンスおよび挙動を示すために使用可能であり、システムのユーザにとっての関心経路に沿って、最近傍を表示するように任意に構成され、ＸＴＴは、ＸＴＴ自身の監査システムログを利用し、上記ログを耐タンパー性がありかつ追跡可能な方法で格納するように任意にさらに構成され、または、アクションの時間ロジック、抽象機械ノーテーション、ペトリネット、計算木ロジック、または、実施法であって、モーダルロジック、直感主義的ロジック、および／または関係意味論を形式的に示すことができる、実施法のうちの１つまたは複数に基づくシステムの組み合わせ上に実施され、組み合わせによって検証されるように構成され、または、アンカー条項を利用するように構成され、なお、アンカー条項は、極めて重要である、ノード、エッジ、イベント、トリガー、制約、またはアクションを規定し、または、性能を高めるために量子化法を適用するように構成され、なお、システムは、ＸＴＴの正確さに対する量子化の任意の悪影響を部分的に打ち消し、訓練中の不安定性を低減するために、不安定性低減技法を適用するように任意にさらに構成され、または、データプライバシー保護解決策の実用的な実施を可能にするように構成され、または、もし…ならば（ｗｈａｔ－ｉｆ）、もし…でないならば（ｗｈａｔ－ｉｆ－ｎｏｔ）、反事実的、を除いて（ｂｕｔ－ｆｏｒ）、および条件付きシナリオに基づく、生成された構造化説明を、そのようなシナリオをＸＴＴシステム入力に適用することの結果に対応する説明付き方策およびシナリオベース説明を生成するために利用するように構成され、または、アクションの総コストを推定するために外因性および内因性変数ならびに因果モデルを使用するように構成され、なお、総コストを推定することは、任意の特定の関連付け、介入、または反事実的ルールを適用することを任意に含み、また、部分的に抜けている値を有するデータについて総コストを推定することを任意に含み、システムは、アプリケーションの実際の例であって、アプリケーションの所望のシナリオ結果または仮定的平均を有した、アプリケーションの実際の例を提供するために最近傍法を利用するように任意にさらに構成され、または、予測および／または訓練性能を高めるために、ドット積の近似または完全排除、疎なローカルアテンションモデル、適応的アテンションウィンドウ、多次元アテンション行列近似、インテリジェント重み共有、およびインテリジェントパラメータ化のうちの１つまたは複数を利用するように構成され、または、歩行分析、運動予測、および感情状態予測を含む人間挙動を分析するように構成され、または、スポーツ映像（ｓｐｏｒｔｓ ｆｏｏｔａｇｅ）および運動能力（ａｔｈｌｅｔｉｃ ｐｅｒｆｏｒｍａｎｃｅ）を予測し分析するように構成され、または、病状を検出し予測するように構成され、または、金融株トレーディングパターンを分析し、市場挙動を予測し、買い（ｂｕｙｉｎｇ）、売り（ｓｅｌｌｉｎｇ）、または、特定の株にショートまたはロングポジションを置くこと等の自動化アクションを、その後、実行するように構成され、または、インダストリ４．０アプリケーション（Ｉｎｄｕｓｔｒｙ ４．０ ａｐｐｌｉｃａｔｉｏｎ）内で動作するように構成され、または、センテンスをソース言語からターゲット言語に翻訳するように構成され、または、提示指向型変換および説明および／または解釈出力の強化を実施するように構成され、または、法律文書を処理し、法律文書に関係し法律文書における参考文献である、異なる機関およびエンティティに適用可能な参考文献およびテキストセクションを正しく決定するように構成され、または、対話処理、チャットボット、コールセンター管理システム、事例管理システム、顧客サポートシステム、クライアント関係管理システム、会話システム、ならびに質問および回答システム等のアプリケーションにおいて一般に使用される対話型説明および／または解釈プロセスのフローを制御するように構成され、または、フィードバック制御タイプのメカニズムを必要とする強化学習タイプのアプリケーションにおいて使用されるように構成される。

【0297】

オプションとして、システムは、柔軟アーキテクチャであって、ＦＰＧＡを任意に備える、柔軟アーキテクチャ、または、静的アーキテクチャであって、ＡＳＩＣを任意に備える、静的アーキテクチャ、または、ディスクリートコンポーネント、または、スピントロニクスまたはメモリスタ、または、スパイキングニューロンを任意に使用するニューロモーフィックアーキテクチャ、または、量子コンピューティングハードウェアを使用するハードウェア回路として実施され、量子コンピューティングハードウェアは、拡張であって、複数の量子ビット状態、量子ビット基底状態、混合状態、アンシラビット、および、エンタングルメントおよび／またはデコヒーレンスによる他の量子効果の正しい解釈を可能にするように構成され、または、量子ロジックゲートを任意に含む、ＸＮＮ内への量子ロジック固有演算子および／またはハードウェアロジックゲートの導入を可能にするように構成され、または、量子効果を利用することによって、複数のアクションを実行する、または、複数の条件を評価する、または、制約の大きなシステムを評価するように構成され、なお、量子コンピューティングハードウェアは、量子アルゴリズムを利用するまたはハイブリッド解決策を利用するように任意に構成され、または、複数のモダリティおよび／またはタスクについてヒルベルト空間を規定するように構成され、なお、マルチモーダルまたはマルチタスクヒルベルト空間は、タスクとモダリティとの間の全ての相互作用を表すために使用され得、クロスオーバー学習の量子バージョンと共にモダリティおよび／またはタスクのサブセットについての両方の訓練を実施するために使用され得る、拡張を任意に備える。オプションとして、ＸＴＴは、ニューロシンボリック制約を、ＸＴＴに関連付けられる現在および／または過去の履歴状態の一部または全てに、および／または、ＸＴＴに関連付けられる活性化の過去の履歴レートにリンクさせるように構成される。オプションとして、名前付き参照ラベルは、説明可能なアーキテクチャ内の特定のコンポーネントに割り当てられ、名前付き参照ラベルは、メタデータを任意に含み、任意に、シンボリック表現および／または定型表現からなることができ、名前付き参照ラベルは、安全関連制約内で任意に使用可能であり、機械学習システムは、システム内で起こるダイナミクスの安定した長期説明を生成するために名前付き参照ラベルの不変性を利用するように任意に構成される。オプションとして、機械学習システムは、アイデンティティアセス推奨フレームワークによって少なくとも部分的に規定される。オプションとして、機械学習システムは自動ＸＡＩシステムをさらに備え、システムは、シナリオベース説明を生成するように構成される。オプションとして、同じパラメータを共有する複数のタスクおよび複数のモダリティを処理するために、ＸＴＴは、説明可能なモデルを利用し、１つまたは複数の入力特徴量に関連付けられる１つまたは複数のタスクに対応する複数の入力を受信し、タスクのための出力に対応する複数の出力を生成するように構成され、説明可能なモデルは、異なるタスクについて学習された異なる知識間のクロスオーバーが効率的に起こることを可能にするように構成される、複数のクロスオーバーサブシステムから任意になる階層的クロスオーバー構造によって任意に規定され、階層的クロスオーバー構造は、１つまたは複数の一方向リンクノードおよび／または１つまたは複数の２方向リンクノード、そして任意に、クロスオーバーノイズノードおよび／またはクロスオーバーノード間リンクを備え、説明可能なモデルは、任意に、疎な説明可能なモデルまたはＤＥＡである。オプションとして、システムは、畳み込みニューラルネットワーク、ＣＮＮであって、ＣＮＮ－ＸＴＴアーキテクチャを規定するためにＸＴＴの入力に結合された、畳み込みニューラルネットワーク、ＣＮＮをさらに備え、ＣＮＮ－ＸＴＴは、クエリについてＣＮＮ－ＸＴＴ内で活性化経路を可視化するためにバックマップを使用するように、そして任意に、正当化理由の一部としてバックマップを組み込むように構成され、ＣＮＮ－ＸＴＴは、カーネルラベリング法を、本来テキスチュアルでないデータフォーマットを有する関連する人間可読ラベルに統合するように任意に構成され、カーネルラベリング法に関連付けられるカーネルタイプは、任意に、近似カーネルであり、ＣＮＮは、任意に、時間的に最適化されたＣＮＮである。オプションとして、システムは、フォーマットまたはレイアウトであって、人間可読自然言語、グラフィカルまたはビジュアルフォーマット、オーディオ、スピーチ、触覚、ビデオ、時系列、マルチスペクトルデータ、階層的に順序付けられたマルチメディアコンテンツ、および３Ｄデータのうちの１つまたは複数である、フォーマットまたはレイアウトでデータを出力するように構成され、出力データは、任意に、シーケンシャルフォーマットまたはレイアウトであって、２Ｄデータ、３Ｄデータ、多次元データアレイ、トランザクションデータ、時系列、デジタル化済みサンプル、センサデータ、画像データ、ハイパースペクトルデータ、自然言語テキスト、ビデオデータ、オーディオデータ、触覚データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、およびＳＯＮＡＲデータのうちの１つまたは複数である、シーケンシャルフォーマットまたはレイアウトである。オプションとして、説明可能なトランスデューサ・トランスフォーマは、同じパラメータのセットを使用して複数のタスクまたはモダリティを実行するように構成され、複数の入力は、１つまたは複数の入力特徴量に関連付けられる１つまたは複数のタスクおよび各タスクに対応する複数の出力に対応し、説明可能なトランスデューサ・トランスフォーマは、階層的パーテョション構造および異なるタスクのために学習した知識をクロスオーバーするように構成されるクロスオーバー構造サブシステムをさらに備え、予測ネットワークは、階層的パーテョション構造内で１つまたは複数の特徴量相互作用を識別するように構成され、条件付きネットワークは、タスクを関連する入力および出力とリンクさせるために、階層的パーテョション構造を通して経路トレースを選択、調整、および多重化するように構成され、疎な説明可能なモデルは、条件付きネットワークおよび予測ネットワークの少なくとも一方内で実施され、クロスオーバー構造サブシステムは、一方向リンクモード、２方向リンクモード、クロスオーバーノイズノード、およびクロスオーバーノード間リンクの少なくとも１つを実施する。オプションとして、畳み込みレイヤは、１つまたは複数の畳み込みレイヤを適用するように構成され、説明を生成するためのバックマップまたはリバースインデキシングメカニズム、および、カーネル、パターン、シンボル、および概念の漸進的改良を使用して、人間可読ラベルを非テキストデータに関連付けるように構成されるカーネルラベリング法を実施するように構成され、線形関数、非線形多項式関数、指数関数、放射基底関数、またはシグモイドカーネルの少なくとも１つを含む１つまたは複数のカーネルタイプは、直交法、特異値分解、ランダムフーリエ変換、またはランダムビニング特徴量の少なくとも１つを使用して、必要とされる計算および／またはリソースの量を低減するために実施され、１つまたは複数の時間的畳み込みネットワークをさらに備える。オプションとして、説明は、説明可能なエージェントのアクションおよび意思決定に従って、説明付き方策およびシナリオベース説明を生成するために、１つまたは複数のもし…ならば（ｗｈａｔ－ｉｆ）、もし…でないならば（ｗｈａｔ－ｉｆ－ｎｏｔ）、反事実的、を除いて（ｂｕｔ－ｆｏｒ）、または条件付きシナリオに関連付けられたシナリオベース説明を含む、および／または、説明可能なエージェントは、決定結果の変化をもたらし、アクションの総コストを最小にする特定のコンテキストを有する、所与のユーザについての提案されたアクションを学習するために訓練され、総コストは、コストの各タイプについてのメトリックに基づく各変数に関連付けられた１つまたは複数のコストの結集である、および／または、シナリオベース説明は、最近傍法、識別－アセス－推奨－解決（ＩＡＲ）フレームワーク、多数目的最適化（ＭＯＯ）、パレートフロント法（Ｐａｒｅｔｏ Ｆｒｏｎｔ Ｍｅｔｈｏｄ）、粒子群最適化（ＰＳＯ）、遺伝的アルゴリズム（ＧＡ）、ベイズ最適化、進化戦略、勾配降下技法、およびモンテカルロシミュレーション（ＭＣＳ）の使用に関連する。オプションとして、エンコーダレイヤは、マルチヘッドアテンションコンポーネントの出力、加算－および－正規化コンポーネントの出力、および、入力の説明可能な情報またはパーティショニング情報の少なくとも１つを受信するように構成される並列の説明可能なエンコーダレイヤであり、デコーダレイヤは、並列の説明可能なデコーダレイヤからの出力を受信するように構成される並列の説明可能なデコーダレイヤであり、加算－および－正規化コンポーネントおよびマルチヘッドアテンションコンポーネントを備え、並列の説明可能なエンコーダレイヤの出力は、並列の説明可能なデコーダレイヤの出力とマージされる。オプションとして、現在の説明と過去に提示された説明との間の差および／または変化は、説明における後続の変化を予測するために、説明可能なトランスデューサ・トランスフォーマへの入力として使用され、デコーダは、
現在説明および履歴的説明勾配を含むコンテキストウィンドウを考慮して次の勾配を予測するために、説明勾配のセットに対して訓練され、入力および／または出力の疎な埋め込み式表現は、１つまたは複数の類似度および対比要素を識別する。オプションとして、１つまたは複数の説明、説明の勾配、または説明可能なアーキテクチャのパーティショニング情報は、エンコーダレイヤへの入力として使用され、説明可能なオートエンコーダ－デコーダは、エンコーダレイヤおよびデコーダレイヤを備え、出力は、説明可能なトランスデューサ・トランスフォーマの１つまたは複数のレイヤへの訓練用入力として使用されるように構成される１つまたは複数の訓練用データセットサンプルを含む。オプションとして、説明可能なトランスデューサ・トランスフォーマ内の１つまたは複数の説明可能なアーキテクチャの係数は、ゼロショット学習または少数ショット学習を使用する人間知識インジェクションによって修正され、説明可能なトランスデューサ・トランスフォーマの１つまたは複数のレイヤは、帰納的ロジック、演繹的ロジック、仮説的ロジック、および因果的ロジックの少なくとも１つを実施し、説明可能なトランスデューサ・トランスフォーマは、１つまたは複数の説明不能な潜在的空間を除去するように構成される。オプションとして、出力は、フーリエ変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、ウォルシュ関数、状態空間変換、位相空間変換、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、相違分析、正規化、標準化、多次元ベジェ曲線、再帰関係、および因果作用素のうちの１つまたは複数をさらに適用する。オプションとして、システムは、少なくとも１つの活性化関数および／または変換関数をさらに含み、変換関数は、階層的木、因果的ダイヤグラム、有向または無向グラフ、ハイパーグラフ、または単体的複体、マルチメディア構造およびハイパーリンクされたグラフのセットの少なくとも１つを使用して出力を変換するように構成される。オプションとして、各パーティションは、線形モデルをフィットさせ、多項式展開、回転、次元および無次元尺度法、状態空間および位相空間変換、整数／実数／複素数／クォータニオン／オクトニオン変換、フーリエ変換、ウォルシュ関数、連続データバケット化、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ／フレシェ／ハウスドルフ／チコノフ空間のトポロジカル変換、相違分析、およびデータの正規化／標準化の少なくとも１つを含む非線形変換を適用するように構成される。オプションとして、各パーティションは、ルールまたは距離類似度関数に従って、複数のデータポントをグループ化するように構成されるクラスタを含み、各パーティションはデータの概念またはカテゴリを示す。オプションとして、パーティションは、ｋ－ｍｅａｎｓ、ベイズ、接続性ベース、重心ベース、分布ベース、グリッドベース、密度ベース、ファジーロジックベース、エントロピー、または相互情報（ＭＩ：ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）ベース方法のうちの１つまたは複数を含むクラスタリングアルゴリズムに基づいて形成され、クラスタリングアルゴリズムは、複数のオーバーラップするまたはオーバーラップしないパーティション、関連付けベースアルゴリズム、または因果関係ベースパーティショニング関数をもたらすアンサンブル法をさらに含む。オプションとして、入力は、構造化データおよび非構造化データ、あるいは、１つまたは複数の木、グラフ、ハイパーグラフ、および単体的複体を含む階層的に構造化されたデータを含み、説明可能なトランスデューサ・トランスフォーマは、リソース記述フレームワーク（ＲＤＦ：ｒｅｓｏｕｒｃｅ ｄｅｓｃｒｉｐｔｉｏｎ ｆｒａｍｅｗｏｒｋ）木、ＲＤＦグラフ、またはレビグラフの少なくとも１つを含む知識表現構造をさらに含み、監査ログは、１つまたは複数の意思決定ログおよび経路トレースを識別するように構成される。オプションとして、説明可能なトランスデューサ・トランスフォーマは、原因－および－結果、関連付け、介入、および反事実的因果的ロジックを識別するように構成され、環境モデル入力を使用して妥当性チェックを実施するようにさらに構成され、因果的にありそうな同型化を使用して訓練用データを拡張するように構成される少なくとも１つの因果モデルをさらに実施し、少なくとも１つの因果モデルは、アテンションモデルを使用して自動的に生成され、一般化ターゲットに対する先行一般化と後続一般化との間の因果リンクを識別し、因果構造を抽出し、初期因果モデルを作成するように構成され、履歴的な活性化のレートであって、活性化のレートは制約され得る、履歴的な活性化のレートを識別する１つまたは複数のニューロシンボリック制約をさらに含み、説明可能なモデル内の１つまたは複数のコンポーネントまたはレイヤに割り当てられた、名前付き参照ラベルをさらに含み、名前付き各参照ラベルは、少なくとも１つの記述またはメタデータを含み、外部タクソノミー、オントロジー、および安全関連制約を提供するモデルにリンクする。オプションとして、説明可能なトランスデューサ・トランスフォーマは、入力レイヤ前にまたは入力レイヤ後に、入力を正規化するように構成される正規化モジュールと、入力レイヤ前にまたは入力レイヤ後に、入力をスケーリングするように構成されるスケーリングモジュールと、入力レイヤ前にまたは入力レイヤ後に、入力を標準化するように構成される標準化モジュールとを備える１つまたは複数の入力モジュールおよび出力モジュールをさらに備える。オプションとして、説明可能なトランスデューサ・トランスフォーマは、１つまたは複数の説明可能なレイヤまたはモデルを含む分散型の説明可能なアーキテクチャ上に実施され、１つまたは複数の独立モデルは、１つまたは複数の説明可能なレイヤまたはモデルから独立して活性化するように構成される。オプションとして、説明可能なトランスデューサ・トランスフォーマは、自己教師あり技法を使用して訓練され、アクションの時間ロジック、抽象機械ノーテーション、ペトリネット、計算木ロジック、直感主義的ロジック、および／または関係意味論のうちの１つまたは複数を使用して検証されるように構成される。オプションとして、説明可能なトランスデューサ・トランスフォーマは、既存の形式コンピュータプログラムを分析し構文解析するように構成され、コンピュータプログラムは、１つまたは複数の説明可能なモデル内の階層的パーティション構造でモデル化され、形式仕様言語は、コンピュータプログラムを使用して解決される問題を指定するために使用され、説明可能なトランスデューサ・トランスフォーマは、解決される問題について候補コード解決策を生成するように構成される、または、説明可能なトランスデューサ・トランスフォーマは、予め規定されたスタイリスティックスタンダードに従ってコードを変換し、矛盾または誤りを強調し、コードの代替物およびリファクタリングまたはリライトを提案し、難読化されたコードを難読化解除し、そして、α変換、β簡約、およびη簡約の１つまたは複数を、生成されたコードに適用するように構成される、または、説明可能なトランスデューサ・トランスフォーマは、証明済みステートメントおよび／または不完全ステートメントの既存の集合体を使用して、数学的表現、ステートメント、および証拠を自動的に分析、生成、およびオートコンプリートするために、自動定理証明システムと共に併せて実施される、または、説明可能なトランスデューサ・トランスフォーマは、スピーチオーディオ波形を対応するテキストにまたは潜在的離散的表現に翻訳するために、エンド－ツー－エンド自動スピーチ認識アーキテクチャをさらに備える、または、説明可能なトランスデューサ・トランスフォーマは、複数オブジェクト追跡のための、または、デジタル表面モデルまたは深度マップ生成のために、衛星の、空中の、または鳥観図画像を照合するための、または、単眼、複眼、およびマルチビュー入力データのイメージャリを処理するための、または、オーディオクリップがビデオ内に存在するか否かを予測するオーディオ可視化分類タスクのためのシステムをさらに備える。オプションとして、少なくとも１つのレイヤは、柔軟アーキテクチャまたはフィールドプログラマブルゲートアレイ、静的アーキテクチャまたは特定用途向け集積回路、アナログまたはデジタル電子部品、光電子部品、光プロセッサ、ニューロモーフィックアーキテクチャ、スピントロニクスまたはメモリスタ、ディスクリートコンピューティングコンポーネント、スパイキングニューロン、ロボットハードウェア、自立車両、産業用制御ハードウェア、または量子コンピューティングハードウェアの少なくとも１つを備えるハードウェア上で実施され、ハードウェア上での少なくとも１つのレイヤの実施は、ハードウェア上での量子またはハードウェア指向型圧縮技法の適用の少なくとも一方に基づき、少なくとも１つのレイヤは疎な説明可能なニューラルネットワークアーキテクチャを備え、説明可能なモデルは、１つまたは複数のワークフロー、プロセスフロー、高速重み、ロボットプロセス自動化（ＲＰＡ）、意思決定支援システム（ＤＳＳ）、データレイク、
根本原因分析（ＲＣＡ：Ｒｏｏｔ Ｃａｕｓｅ Ａｎａｌｙｓｉｓ）、目標－計画－アクション（ＧＰＡ：Ｇｏａｌ－Ｐｌａｎ－Ａｃｔｉｏｎ）システム、プロセス記述、状態遷移チャート、ペトリネットワーク、電子回路、ロジックゲート、光回路、デジタル－アナログハイブリッド回路、生体力学インタフェース、生体電気インタフェース、および量子回路を実施する。オプションとして、説明可能なトランスデューサ・トランスフォーマは、説明可能なモデルを備える説明構造モデル（ＥＳＭ）、複数の統計的関係をモデル化する統計的構造モデル、構造的因果モデル（ＣＳＭ：ｃａｕｓａｌ ｓｔｒｕｃｔｕｒａｌ ｍｏｄｅｌ）であって、複数の因果関係をモデル化する、構造的因果モデル、および、シンボリック構造モデルであって、１つまたは複数のルールおよび／またはシンボリックロジックとして形成された複数のシンボリックおよび論理関係をモデル化する、シンボリック構造モデルを形成するように構成される少なくとも１つの説明可能なモデルをさらに備え、なお、１つまたは複数の統計的、因果的、シンボリック、または論理関係は、アンカーコンポーネントとしてモデル化され、説明出力テンプレート（ＥＯＴ：ｅｘｐｌａｎａｔｉｏｎ ｏｕｔｐｕｔ ｔｅｍｐｌａｔｅ）を出力するように構成される説明解釈生成システム（ＥＩＧＳ：ｅｘｐｌａｎａｔｉｏｎ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｇｅｎｅｒａｔｉｏｎ ｓｙｓｔｅｍ）および／または説明フィルタ解釈、ならびに、パーティショニング情報、１つまたは複数の説明可能なモデルの内部係数、および入力空間の特徴量寄与度の少なくとも１つを含む、複数レベルの説明を生成するように構成される説明可能なセルフ－アテンションメカニズムを実施することをさらに備え、説明は解釈者に対する入力として使用される。オプションとして、説明は、説明可能なモデルに関してトリガー活性化のレートを制約するために、基本的解釈、説明的解釈、およびメタ説明的解釈、ならびに活性化のレートを有するニューロシンボリック条件付き制約の少なくとも１つをさらに含み、ニューロシンボリック条件付き制約は、シンボリックルールまたはシンボリック表現のシステム、多項式表現、条件付きおよび条件なし確率分布、結合確率分布、状態空間および位相空間変換、整数／実数／複素数／クォータニオン／オクトニオン変換、フーリエ変換、ウォルシュ関数、ハールおよび非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１およびタイプ２ファジーロジック、相違分析、および知識グラフネットワークの少なくとも１つとして実施される。オプションとして、説明可能なトランスデューサ・トランスフォーマは、説明スカフォールドを使用して説明を生成するためにモデル出力を受信するように構成される説明コンポーネントをさらに備え、説明スカフォールドは、説明モデルコンポーネントであって、回答、モデル説明を示すモデル出力を含む、説明モデルコンポーネントと、モデル融合およびリンクコンポーネントであって、１つまたは複数のシステムとデータベースとの間の１つまたは複数のリンクに関連付けられたメタデータおよび情報を格納するように構成される、モデル融合およびリンクコンポーネントと、仮説的および因果的コンポーネントであって、１つまたは複数の構造方程式モデル、構造因果モデル、および／または因果的有向非循環グラフ（ｃａｕｓａｌ ｄｉｒｅｃｔｅｄ ａｃｙｃｌｉｃ ｇｒａｐｈ）を形成することによって少なくとも原因－および－結果関係をモデル化するように構成される、仮定および因果コンポーネント、ならびに、シナリオ、相互作用、および提示コンポーネントを備える。オプションとして、出力は、回答、モデル説明、ならびに回答および／またはモデル説明の正当化理由を含み、正当化理由は、回答またはモデル説明に到達するときに説明可能なニューラルネットワークによって使用される、少なくとも１つの仮定、プロセス、または意思決定を示す。オプションとして、出力は、人間可読自然言語フォーマット、グラフィカルまたはビジュアルフォーマット、オーディオ、スピーチ、触覚、ビデオ、時系列、マルチスペクトルデータ、階層的に順序付けられたマルチメディアコンテンツ、および３Ｄデータの少なくとも１つを含み、説明可能なトランスデューサ・トランスフォーマは、シーケンシャルフォーマット、ならびに、出力値または分類またはデータポイントあるいはデータポイントの連続または非連続間隔を示す１つまたは複数の関連するラベルを含むシーケンスデータを処理するように構成され、入力シーケンスは、マルチモデルおよびマルチタスク方法で出力シーケンスにマッピングされる。オプションとして、少なくとも１つの説明可能なニューラルネットワークは、ワイドラーニングモデルを実施するように構成される。オプションとして、条件付きレイヤは、外部パーティション作成プロセスに基づいて１つまたは複数のパーティションを受信するように構成される。オプションとして、１つまたは複数のパーティションは、リンクされたタクソノミーまたはオントロジーから事前訓練されるかまたは初期化される。オプションとして、勾配降下法は、パーティションをさらに改良するために適用され、パーティションの１つまたは複数は、静的値でロックされる、後ろ向き訓練技法、多数目的最適化、遺伝的アルゴリズム、モンテカルロシミュレーション法、または因果的ロジックおよびシミュレーション技法を使用して動的に調整可能である、または階層的である。オプションとして、説明可能なトランスデューサ・トランスフォーマは、１つまたは複数のオーバーラップするまたはオーバーラップしないパーティションを選択するか、マージするか、または分割するように構成されるランク付け関数をさらに含み、１つまたは複数のパーティションは、少なくとも２つの異なるレベルの意味論的および記号論的詳細でシンボルおよび概念を示すように構成される。

【0298】

上記で説明した実施例のうちの任意の実施例の態様は、求められる効果を失うことなくさらなる実施例を形成するために、説明される他の実施例のうちの任意の実施例の態様および／またはオプションと組み合わされ得る。

【0299】

上記説明および添付図は、本発明の原理、好ましい実施形態、および動作モードを示す。しかしながら、本発明は、上記で論じた特定の実施形態に限定されるものと解釈されるべきでない。上記で論じた実施形態のさらなる変形は、当業者に明らかになるであろう（例えば、本発明の特定の構成に関連付けられる特徴は、代わりに、所望のように、本発明の任意の他の構成に関連付けられ得る）。

【0300】

したがって、上記で説明した実施形態は、制限的ではなく、例証的と見なされるべきである。相応して、これらの実施形態に対する変形が、添付クレームによって規定される本発明の範囲から逸脱することなく、当業者によって行われ得ることが認識されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図9a】

【図9b】

【図10a】

【図10b】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21a】

【図21b】

【図22】

【図23】

【手続補正書】

【提出日】2023-08-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

説明可能な機械学習システムであって、
前記機械学習システムが、入力言語からのデータを第２の出力言語に翻訳、マッピング、および変換することを可能にするように構成される有限状態トランスデューサ、ＦＳＴを備え、
前記有限状態トランスデューサは、変換のために使用される１つまたは複数の入力特徴量を含むまたは前記１つまたは複数の入力特徴量を変換する前記入力言語からの前記データを受信するように適合され、前記有限状態トランスデューサは、前記１つまたは複数の入力特徴量に基づいて翻訳、マッピング、および／または変換されたデータを前記第２の出力言語として提供するようにさらに構成され、および／または、
前記入力言語からの前記データに関連して形成されたデコーダおよびエンコーダコンポーネントの組み合わせに基づくアテンションベースアーキテクチャを有する説明可能なトランスフォーマを備え、
前記有限状態トランスデューサおよび前記説明可能なトランスフォーマは、前記入力言語からの前記データを翻訳、マッピング、および／または変換するように構成される説明可能なトランスデューサ・トランスフォーマ、ＸＴＴを生成するために組み合わされるように構成される、機械学習システム。

【請求項2】

前記説明可能なトランスフォーマは、
前記入力言語からの前記データに関連付けられる入力を受信し、前記１つまたは複数の入力特徴量を識別するように構成される入力レイヤと、
条件付きネットワークであって、１つまたは複数のパーティションであって、前記１つまたは複数のパーティションのそれぞれはルールを含む、１つまたは複数のパーティションに基づいて前記１つまたは複数の入力特徴量をモデル化するように構成される条件付きレイヤ、１つまたは複数のルールを１つまたは複数の集約パーティションになるよう集約するように構成される集約レイヤ、および、前記条件付きレイヤからの前記１つまたは複数のパーティションを用いて、前記集約レイヤからの前記集約パーティションを選択的にプールするように構成されるスイッチ出力レイヤを備える、条件付きネットワークと、
予測ネットワークであって、１つまたは複数の変換を前記１つまたは複数の入力特徴量に適用するように構成される１つまたは複数の変換ニューロンを備える特徴量生成および変換ネットワーク、１つまたは複数の特徴量および１つまたは複数のパーティションの少なくとも一方に関連する１つまたは複数の係数を識別するために前記特徴量生成および変換ネットワークによって変換された特徴量を組み合わせるように構成されるフィットレイヤ、値出力レイヤであって、前記１つまたは複数の係数を解析するように構成され、前記１つまたは複数の特徴量あるいは前記１つまたは複数のパーティションの少なくとも一方に関連する値を出力するように構成される、値出力レイヤを備える、予測ネットワークとを備え、
前記デコーダおよびエンコーダコンポーネントは、前記入力をエンコードするための少なくとも１つのレイヤおよび前記入力をデコードするための少なくとも１つのレイヤを備え、前記入力から形成される説明可能なアーキテクチャを備え、
機械プログラムまたは人間の少なくとも一方によって解釈可能かつ説明可能である出力を生成するように構成される出力レイヤであって、前記パーティション全体を通る１つまたは複数の実行経路は外部プロセスによって識別可能である、出力レイヤを備える、請求項１に記載の機械学習システム。

【請求項3】

前記ＸＴＴは、説明可能なトランスフォーマ－エンコーダまたは説明可能なトランスフォーマ－デコーダとして動作するように構成され、前記システムは、前記ＸＴＴの内部係数に対する条件付き制約を任意にさらに含み、前記条件付き制約は、前記ＸＴＴの公称動作サイクル中にモニターされるように任意に構成される、請求項１または２に記載の機械学習システム。

【請求項4】

前記説明可能なトランスデューサは、前記デコーダコンポーネントおよび／または前記エンコーダコンポーネントのサブレイヤ内にホワイトボックスモデルコンポーネントを備える、請求項１～３のいずれか１項に記載の機械学習システム。

【請求項5】

説明可能なニューラルネットワーク、ＸＮＮを含む説明可能なアーキテクチャは、前記ＸＴＴ内で利用され、前記ＸＮＮは、
入力レイヤであって、
条件付きレイヤ、集約レイヤ、およびスイッチ出力レイヤを含む条件付きネットワーク、および、
特徴量生成および変換レイヤ、フィットレイヤ、および予測出力レイヤを含む予測ネットワーク
に入力されるように構成される、入力レイヤと、
ランク付けされたかまたはスコア付けされた出力を生成するために、前記スイッチ出力レイヤの出力および前記予測出力レイヤの出力を逓倍するように構成される選択およびランク付けレイヤとを任意に備え、
前記ＸＮＮは、高速重みを任意に含む、請求項１～４のいずれか１項に記載の機械学習システム。

【請求項6】

解釈可能なニューラルネットワーク、ＩＮＮを備える説明可能なアーキテクチャは、前記ＸＴＴ内で利用される、および／または、
説明可能な強化学習、ＸＲＬシステムを備える説明可能なアーキテクチャは、前記ＸＴＴ内で利用される、および／または、
前記ＸＴＴは、ワイドラーニングモデルをサポートするように構成される、請求項１～５のいずれか１項に記載の機械学習システム。

【請求項7】

前記説明可能なアーキテクチャは、
回答からなる説明可能なまたは解釈可能な出力を生成する、
前記回答のオプションのモデル説明を生成する、
前記回答および／または前記モデル説明の正当化理由を任意に生成する
ように構成される、請求項２～６のいずれか１項に記載の機械学習システム。

【請求項8】

前記ＸＴＴは、前記１つまたは複数の入力特徴量を処理するように構成されるパーティションを備え、前記パーティションは、ルールおよび／または距離類似度関数に従ってデータポイントを任意にグループ化するクラスタであり、前記パーティションは、ロック付きパーティションであって、ロック付きパーティションの値が静的値として設定されている、ロック付きパーティションであるかまたは前記ＸＴＴの各後方訓練パスについて動的に可動である可動パーティションであり、前記パーティションは、前記ＸＴＴを最初に作成する外部プロセスによって前記ＸＴＴの一部として最初に作成される、または、
前記パーティションは、パーティショニング情報を提供するリンク付きタクソノミーまたはオントロジーから事前訓練されるかまたは適切に初期化され、前記ＸＴＴは、前記パーティションが事前訓練された後に、任意に事前微調整され、前記パーティションが作成されると、前記ＸＴＴは、前記パーティションをフィットさせるかまたはさらに改良するため、勾配降下法を使用するように構成され、パーティション構造は、グラフまたはハイパーグラフ内に任意に配置され、前記システムは、グラフ－ツー－シーケンス、シーケンス－ツー－グラフ、およびグラフ－ツー－グラフ変換モードを処理するように任意に構成される、請求項１～７のいずれか１項に記載の機械学習システム。

【請求項9】

前記ＸＴＴは、前記ＸＴＴがどのようにパーティションを選択するか、マージするか、または分割するかを決定するためにランク付け関数を実施するように構成され、前記パーティションは、異なるレベルの意味論的および記号論的詳細でシンボルを示すために使用可能である階層的性質に従って任意に配置される、請求項８に記載の機械学習システム。

【請求項10】

前記パーティションは、多数目的最適化技法、遺伝的アルゴリズム、モンテカルロシミュレーション法、および／または因果的ロジックおよびシミュレーション技法のうちの１つまたは複数を使用して変更可能である、請求項８または９に記載の機械学習システム。

【請求項11】

前記パーティションは、２つ以上のオーバーラップするパーティションおよび前記オーバーラップするパーティションのうちのいずれが活性化すべきかを決定するように構成される優先度関数、２つ以上のオーバーラップしないパーティション、および／または、
複数の活性化されたパーティションからの結果を結合または分割するように構成される集約関数を備え、前記パーティションは、疎なＸＮＮまたはＩＮＮを使用して任意に実施される、請求項８～１０のいずれか１項に記載の機械学習システム。

【請求項12】

各パーティションは、線形モデルにフィットするデータ、ならびに、多項式展開、回転、次元尺度法、無次元尺度法、状態空間変換、位相空間変換、整数変換、実数変換、複素数変換、クォータニオン変換、オクトニオン変換、フーリエ変換、ウォルシュ関数、連続データバケット化、ハールウエーブレット、非ハールウエーブレット、一般化Ｌ２関数、フラクタルベース変換、アダマール変換、タイプ１またはタイプ２ファジーロジック知識グラフネットワーク、カテゴリカルエンコーディング、コルモゴロフ空間、フレシェ空間、ハウスドルフ空間、またはチコノフ空間のトポロジカル変換、相違分析、正規化、標準化、および条件付き特徴量のうちの少なくとも１つが、線形モデルを前記データにフィットさせる前に、適用されたデータの一方または両方を含む、請求項８～１１のいずれか１項に記載の機械学習システム。

【請求項13】

前記パーティションは、パーティショニング関数に従って階層構造で配置され、前記パーティショニング関数は、ｋ－ｍｅａｎｓ関数、ベイズ関数、接続性ベースパーティショニング関数、重心ベースパーティショニング関数、分布ベースパーティショニング関数、グリッドベースパーティショニング関数、密度ベースパーティショニング関数、ファジーロジックベースパーティショニング関数、エントロピーベース関数、または相互情報ベース方法からの１つまたは複数を含むクラスタリングアルゴリズムを含み、パーティション関数は、任意に複数のオーバーラップするパーティションおよび／またはオーバーラップしないパーティションを生成するアンサンブル法を含む、請求項８～１２のいずれか１項に記載の機械学習システム。

【請求項14】

前記ＸＴＴは、前記パーティションのうちの１つまたは複数に対して１つまたは複数の反復最適化ステップを実行するように構成され、前記１つまたは複数の反復最適化ステップは、適した集約、分割、または最適化法を使用して前記パーティションのマージングおよび分割を任意に含む、請求項８～１３のいずれか１項に記載の機械学習システム。

【請求項15】

前記ＸＴＴは、前記パーティションに関連付けられた前記モデル説明および情報を予測するように構成されるＸＴＴ－デコーダアーキテクチャを備え、前記ＸＴＴ－デコーダアーキテクチャは、次のモデル説明を予測するために、生成されたモデル説明を使用して事前訓練され、前記ＸＴＴ－デコーダアーキテクチャは、前記モデル説明の差または変化を予測するため、次の説明勾配を予測するために説明勾配のセットに対して任意にさらに事前訓練され、前記ＸＴＴ－デコーダアーキテクチャは、訓練中に類似および対比の両方の要素を考慮するために、入力および出力データの埋め込み表現に対して任意に事前訓練され、前記埋め込み表現は、任意に、疎な埋め込みである、請求項１～１４のいずれか１項に記載の機械学習システム。

【国際調査報告】