特許 7204717 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-05

(45)【発行日】2023-01-16

(54)【発明の名称】環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。

(51)【国際特許分類】

   H03M 7/30 20060101AFI20230106BHJP

   G06F 11/34 20060101ALI20230106BHJP

【ＦＩ】

H03M7/30 Z

G06F11/34 176

G06F11/34 157

【請求項の数】 11

(21)【出願番号】P 2020163483

(22)【出願日】2020-09-29

(62)【分割の表示】P 2018522849の分割

【原出願日】2015-07-23

(65)【公開番号】P2021010175

(43)【公開日】2021-01-28

【審査請求日】2020-09-29

(73)【特許権者】

【識別番号】511312997

【氏名又は名称】トヨタ モーター ヨーロッパ

(73)【特許権者】

【識別番号】518026040

【氏名又は名称】カンリン イタリー ソチエタ レスポンサビリタ リミタータ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(72)【発明者】

【氏名】ヨーナス アンベック－マドセン

(72)【発明者】

【氏名】エメリック ラトー

(72)【発明者】

【氏名】マルチェッロ マストロレオ

(72)【発明者】

【氏名】フェデリーコ サッシ

(72)【発明者】

【氏名】ロベルト ウーゴロッティ

(72)【発明者】

【氏名】アレッサンドロ バッキーニ

(72)【発明者】

【氏名】ルカ ムッシ

(72)【発明者】

【氏名】ルカ アスカーリ

【審査官】阿部 弘

(56)【参考文献】

【文献】国際公開第２０１４／００９０３１（ＷＯ，Ａ２）

【文献】特開２００５－２１２７０９（ＪＰ，Ａ）

【文献】特開２０１２－０７９１７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００８４２３７（ＵＳ，Ａ１）

【文献】特開２０１０－２７１７９４（ＪＰ，Ａ）

【文献】特開２０１１－０１４０３８（ＪＰ，Ａ）

【文献】特開２００６－１１９９２６（ＪＰ，Ａ）

【文献】WANGMENG ZUO; ZHANG D; KUANQUAN WANG，BIDIRECTIONAL PCA WITH ASSEMBLED MATRIX DISTANCE METRIC FOR IMAGE RECOGNITION，IEEE TRANSACTIONS ON SYSTEMS, MAN AND CYBERNETICS. PART B:CYBERNETICS，米国，2006年08月，VOL:36, NR:4，PAGE(S):863 - 872，http://dx.doi.org/10.1109/TSMCB.2006.872274

【文献】REN C-X; DAI D-Q，INCREMENTAL LEARNING OF BIDIRECTIONAL PRINCIPAL COMPONENTS FOR FACE RECOGNITION，PATTERN RECOGNITION，英国，ELSEVIER，2010年01月，VOL:43, NR:1，PAGE(S):318 - 330，http://dx.doi.org/10.1016/j.patcog.2009.05.020

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０３Ｍ ７／３０

Ｇ０６Ｆ １１／３４

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

環境コンテキストにおいて人間に近い意思決定を示す信号を生成するシステムにおいて、高次元データを低次元マップに圧縮することによって、環境データの双方向圧縮を実現する、コンピューティングデバイスによって実行される方法であって、前記方法は、
１より大きな第１の次元を有する前記環境データであって、少なくとも一つのセンサによってキャプチャされ送信された前記環境データ、を受信することと、
前記環境データ又は前記環境データから得られる属性を、前記第１の次元よりも小さい第２の次元を用いて圧縮データに圧縮することと、
異なる特性を有する予め評価された既知の前記受信された環境データをどの程度良好に分離するかにより、前記圧縮データの前記マップの品質を決定することによって、前記圧縮データの前記マップを評価する学習段階と、
前記受信された前記環境データの入力パターンが、前記学習段階において記憶されたパターンと比較され、かつ、フィードフォワード（ＦＦ）出力とフィードバック（ＦＢ）出力が生成される間のノードに対する実際の操作段階である、人間に近い意思決定を示す信号を生成する推論段階と、を含み、
２つのメトリック空間Ｘ＝（ｘ、μｘ）及びＹ＝（ｙ、μｙ）であって、ｘは次元が第２空間ｙの次元より大きい又は等しい第１空間であり、μ_ｘは前記第１空間ｘの第１メトリックであり、μ_ｙは前記第２空間ｙの第２メトリックである前記２つのメトリック空間に対して、前記圧縮は、前記第１空間ｘに属する受信した前記環境データのｎ個の点の第１集合Ｐと、前記第２空間ｙに属する学習又は推論される前記圧縮データのｎ個の点の第２集合Ｑとの間に形成される点の対を双方向マッピングすることによって、前記環境データの学習動態を可視化することを助けるように実現され、ｎ個の点の前記第２集合Ｑの各点は、次式によってｎ個の点の前記第１集合Ｐの一つの点と対になり、

【数1】

（式１）

【数2】

はＰにおける点の間の第１の対称距離行列であり、

【数3】

はＱにおける点の間の第２の対称距離行列であり、ｄ（．，．）は正方行列の空間上の対称距離関数であり、Ａ１及びＡ２は次のプロパティを保持する任意の２つの関数である、
－ Ａ：Ｒ_＋－［０， １］，
－ Ａ（０）＝１，

【数4】

－ Ａ（ｚ_１）＞Ａ（ｚ_２） ｚ_１＜ｚ_２のときかつそのときに限り成立する，
ことを特徴とする、方法。

【請求項2】

前記双方向圧縮を開始する前に、少なくとも一つの環境データから属性を抽出することをさらに含む、請求項１に記載の方法。

【請求項3】

次式を求めることによって、

【数5】

（式２）
前記第１空間ｘに属する新たな点ｍを前記第２空間ｙ上に圧縮することと、
次式を求めることによって、

【数6】

（式３）
前記第２空間ｙに属する新たな点ｔを前記第１空間ｘ上に復元することと、を含み、
ここで、μｘ（Ｐ、ｍ）及びμｙ（Ｑ、ｔ）は、ＢｉＭａｐの各点と、対応する各空間における新たな点との間の距離ベクトルであり、ＢｉＭａｐは、式２及び式３によって表される第１空間ｘの点と第２空間ｙの点との間の対応関係であり、点Ｑは、式１を求めることによって点Ｐから計算される、請求項１又は２に記載の方法。

【請求項4】

前記環境データの双方向圧縮を実現するための方法を実現する前に、前記環境データを少なくとも一つのフィルタで前処理することを含み、前記環境データの双方向圧縮を実現するための前記方法は、入力データとしてフィルタリングされた環境データを受信する、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記環境データは、少なくとも一つのマイクロフォンを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記方法は、聴覚モデルによって出力された前記環境データを少なくとも一つのフィルタで前処理する前に、前記環境データを聴覚モデルに入力することをさらに含み、前記聴覚モデルは、環境データの複数の異なるバージョンを供給し、前記前処理は、前記環境データの全てのバージョンにわたって実現される、請求項１～４のいずれか一項に記載の方法。

【請求項6】

環境データをキャプチャするための少なくとも一つのセンサと、ツール及びオペレータの動的行動と相互作用するためのメモリを有するアーキテクチャとを含む、システムであって、
前記アーキテクチャは、請求項１～５のいずれか一項に記載の方法のステップを処理するように構成されていることを特徴とするシステム。

【請求項7】

前記アーキテクチャのメモリは人工的なメモリであり、前記アーキテクチャは、抽象化、一般化及び学習の構造及び機構を有する第１のニューラルネットワークであり、前記第１のニューラルネットワークの実装は、人工的階層メモリシステムを有する前記アーキテクチャを規定し、前記人工的階層メモリシステムは、（ツール上の）センサによって生成された環境データを受信するように構成された受信ポートと、前記受信ポートから受信した頻繁に生じる入力の属性及びシーケンスを学習し認識するように構成された一つ又は複数の第１ノードであって、構成要素としてのニューロンと、グラフ内において二つ以上の前記ニューロンを接続するエッジとを形成する、前記一つ又は複数の第１ノードと、前記アーキテクチャによって構築され前記行動に関連する環境データを出力するように構成された出力ポートとを備え、それによって前記一つ又は複数又は本質的に全ての前記第１ノードは、時系列解析に適しており、トポロジカルグラフ又は時間グラフ内において接続される構成要素を備える、請求項６に記載のシステム。

【請求項8】

前記少なくとも一つのセンサによってキャプチャされた前記環境データに異なるフィルタのセットを適用する前処理フィルタをさらに備える、請求項６又は７に記載のシステム。

【請求項9】

前記環境データは、ノイズセンサを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記システムは、前記環境データの複数の異なるバージョンを出力するためのフィルタリング前処理の前に、前記記録された環境データに適用されるように構成された聴覚モデルをさらに備え、前記フィルタリング前処理は、前記環境データの全てのバージョンにわたって実現される、請求項６～８のいずれか一項に記載のシステム。

【請求項10】

処理エンジン上で実行されると、ツール及びオペレータの動的行動と対話するための知覚／認知アーキテクチャに人工的なメモリを提供するコードセグメントを含むことができ、前記知覚／認知アーキテクチャは、抽象化、一般化及び任意選択で学習するための構造及び機構を有するメモリ予測フレームワーク実装に基づいており、前記メモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを含む、請求項１～５のいずれか一項に記載の方法を実現するソフトウェアを有するコンピュータプログラム。

【請求項11】

請求項６～９のいずれか一項に記載のシステムを含む電子制御ユニットを備える車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境コンテキストにおいて人間のような制御行動をシミュレーションするためのコンピュータに基づく方法に関し、特に、データの双方向圧縮を実現するためのコンピュータに基づく方法を含むそのようなシステム及び方法に関する。

【背景技術】

【0002】

今日、支援システムは、ほとんどあらゆる業界において多くの用途で使用されている。特に、自動車業界、航空業界及び計算産業において、支援システムは、ユーザにオペレーティングシステムを普及するために広く使用される。自動車産業において、よく知られたシステム、例えば、スキッド（横滑り）を検出し最小化することにより車両の安定性について安全性を向上させるＥＳＣ（エレクトロニック・スタビリティ・コントロール）、あるいは、ブレーキペダルが押下された速度及び力を解釈することにより緊急事態における最大制動力を確保するＥＢＡ（緊急ブレーキアシスト）、が広く使用されている。航空業界において、アクティブオートパイロット又はいわゆるフライ・バイ・ワイヤシステムが、現代の一般市民の間だけでなく、軍事航空機としても使用されている。

【0003】

また、車両や航空機のようなシステムに統合されたセンサ及びアクチュエータの数は、これらのシステムのほとんどありとあらゆる構成要素を電子的に監視し及び制御する目的で急速に増加している。

【0004】

センサ及びアクチュエータの数の増加に起因する一つの問題は、特定の状況又はシステムの動作状態を認識するために処理され及び／又は分析されるデータ量である。

【0005】

動的に変化する環境の中で機械を操作しているとき、堅牢で高感度かつリアルタイムに人間の意図を監視することを提供することが、近代的な支援システムの目的である。このような近代的な支援システムは、実際の人間が意図した操作に最適化された機械の効率的かつ安全な操作を可能にする。そのような機械は、人間によって操作することができるいかなる種類のシステム、例えば車両、航空機、船舶、機械等、及び、計算システム、例えばコンピュータゲーム等、であってもよい。以下において、用語「システム」は、これらのような任意の種類のものとして理解されるべきである。

【0006】

支援システムは、一般的に仮想的な開発方法を使用している。このような方法は、重要なビジネスの課題に対処する車両開発プロセスにおいての重要性が急速に増している。これらの課題は、例えば、市場投入までの時間を短縮すること、製品の品質、パフォーマンス及び値を最適化すること、生産・開発コストを削減すること、これまでよりも厳しい排出及び安全規制に対処することといった課題である。例えば、エンジン及びパワートレイン分野での特定の課題は、今後の欧州の「実際の走行排出量」（ＲＤＥ）の規制である。ＲＤＥコンプライアンスは、動作条件の広範囲にわたって自動車の排出ガスの制御を必要とする。これは、一定の走行周期に基づいた従来のエンジンキャリブレーション処理に重大な影響を与える。

【0007】

キャリブレーションプロセスの一部を仮想化することは、仮想的な運転者モデルによって操作される仮想的な走行環境上で物理的又はグレーボックス車両モデルを実行することにより、実世界の様々な走行条件下で車両及びエンジン動作を評価することができる。

【0008】

認知／知覚アーキテクチャは、人工的な（すなわち、マシン上、又はコンピュータ内又はコンピュータとして、又はツール内又はツールとして実装される）メモリシステムを有し、システムを補助するものとして使用される。これらは、人間のオペレータに応じるツールの動的行動を理解し制御すること、具体的には、動的可変環境におけるリアルタイムで実際に安全なオペレータとツールの相互作用、に特に適している。

【0009】

文献「ＷＯ ２０１４ ００９０３１」は、方法又はシステム又はアーキテクチャに関し、特に、人工的なメモリシステムを有する認知／知覚アーキテクチャに関する。この認知／知覚アーキテクチャは、
－ 少なくとも一つの第１ノードは、（例えば、長い）入力シーケンスを格納及びリコールするように適合され、例えば、（例えば、長い）入力シーケンスがイベントとしてモデル化され、
－ 少なくとも一つの第２ノードは、生データからプロトタイプを抽出し保存するように適合され、各プロトタイプは、実世界の（その環境内のツールの）操作を、類似する特徴を用いて特徴付ける、代表的なデータのまとまりである。

【0010】

この文書に開示されたアーキテクチャにおいて、第２ノードは、第１ノードに対して入力を提供する。生データは、センサ、例えば、機械又はツールのアクチュエータ又は制御要素の動作を感知するセンサ、から得られたデータである。

【0011】

人工的なメモリシステムは、一般的に複数のノードを有する。各ノードは、特定のタスクを解決する。特定のタスクは、例えば、空間プーリング、信号の量子化、一時的及び強制的な一時プーリング、イベント及び強制的なイベントプーリング、のいずれか一つのようなタスクである。システム全体の機能は、これらのノードを異なる種類の配向接続、例えば、フィードフォワード（ＦＦ）入力／出力、フィードバック（ＦＢ）の入力／出力、状態の整合性チェックなど、と接続することによって達成される。

【0012】

特定の実施形態において、この文書に記載されたメモリ予測フレームワーク（ＭＰＦ： Ｍｅｍｏｒｙ Ｐｒｅｄｉｃｔｉｏｎ Ｆｒａｍｅｗｏｒｋ）は、哺乳類の新皮質の機能から着想した「人工的なメモリリコールシステム」である。この機能は、感知されたパラメータの空間的／時間的パターンを識別し、保存し、認識することができ、現われたイベントを分類し、かつ、経時的に予測することができる。ＭＰＦネットワークは、階層的なノード集合を有する。この階層的なノード集合は、より高い階層の行動及びプロパティを発見するために、異なる空間－時間の入力を並列に分析し、かつ、その階層にわたって通信することができるニューラルガスのような適応型メモリシステムを含む。

【0013】

入力及び出力を有するノードの三つの主要な目的は、特有の入力パターンを学習し認識すること、それを外部（おそらく未知）の原因又はイベントの数と関連付けること、そして最後に次の入力パターン（複数可）を予測することである。

【0014】

これらの目的に対して、通常は二つの段階に区別される。すなわち、ノードの内部「メモリ」に影響を与え、入力パターンを学習するトレーニング段階又は学習段階と、入力パターンが記憶されたパターンと比較され、かつ、ＦＦ出力とＦＢ出力が生成される間のノードに対する実際の操作段階である、推論段階とに区別される。

【0015】

実際には、トレーニングと推論が一緒に実行される場合の「継続的な学習」のように、ノードを操作することから妨げるものではない。他の可能性は、継続的な学習段階に伴う「コールドスタート」の問題を克服するために使用される非常に短い初期トレーニング段階を含むことである。

【0016】

いずれの場合も、推論段階の目的は、現在の入力パターンを一つ又は複数の学習された原因と関連付けるためにそれを評価することである。これは、現在の入力パターンが学習された原因の一つに属する尤度を表すＦＦ出力信号の生成する。このプロセスは、通常、親ノードによって提供される現在のＦＦ出力信号の予測を表すＦＢ入力信号によっても影響される。この最後の特徴は、共通の入力パターンを異なる原因間で共有する場合にその原因間の曖昧さをなくすことをノードに可能にすることを意図する。これは、通常、「注目の焦点」（“Ｆｏｃｕｓ ｏｆ ａｔｔｅｎｔｉｏｎ”）と言われる。ＦＦ出力の生成後、ノードは、そのＦＢ出力を介して子ノードに通知されるべきその次の入力パターンに対する予測を生成する必要がある。これにより、上位ノードから下位ノードへ予測を伝搬させるために、全てのネットワークがＦＦ更新を終了するのを待つ必要がある場合がある。

【0017】

ＦＦ接続とＦＢ接続による内部ノード間の情報交換は、上記に述べた、ＷＯ２０１４００９０３１号に開示されるようなメモリ予測フレームワーク（ＭＰＦ）の主要部であることは明らかである。

【0018】

従って、ノード間の通信の効率性は、交換可能なビット数とそのノード内の計算労力との両方の観点から、システム全体に影響を与える。実際、効率性がより高くなるほど、二つのノード間でより多くのビットを交換することができ、同量のデータを処理するために必要とされる一つのノード内の計算労力が少なくなる。

【0019】

双方向マッピングは、通常の技術、例えば、主成分分析（ＰＣＡ）と一般的なマニホールド学習アルゴリズムの典型的な欠点を回避する次元削減を実行するための技術である。特に、学習されたマニホールドの形状に制約され、低い精度のマップをもたらす直線性を回避し、それらの低次元表現から元の高次元点を復元することに対する不可能性の一因となる方向性を回避する。

【0020】

Ｌａｕｒｅｎｓ ｖａｎ ｄｅｒ ＭａａｔｅｎとＧｅｏｆｆｒｅｙ Ｈｉｎｔｏｎによる「Ｖｉｓｕａｌｉｚｉｎｇ Ｄａｔａ ｕｓｉｎｇ ｔ－ＳＮＥ」と題した、Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ ジャーナル、第１巻（２００８）項１～４８に掲載された論文は、ｔ－ＳＮＥ（ｔ－Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｕｒ Ｅｍｂｅｄｄｉｎｇ）と名付けられたよく知られているコンピュータに基づく方法を開示する。

【0021】

ｔ－ＳＮＥ方法は、可視化に関していかなる可能な推論をすることなく、近似を維持する次元削減を利用して高次元データセットを可視化することができる。

【発明の概要】

【発明が解決しようとする課題】

【0022】

本発明は、高次元空間と低次元空間の間のデータ依存型双方向マッピングを可能にする内部ノードの通信に関して可逆的な次元削減を行うことにより、メモリ予測フレームワークの全体的な効率を改善することを目的とする。

【課題を解決するための手段】

【0023】

この目的は、高次元のデータを低次元マップ、例えば、２次元又は３次元マップに圧縮することにより、データの双方向圧縮を実現するためのコンピュータに基づく方法の結果、達成される。この方法は、１より大きい第１の次元を有するデータの受信、例えば、データが少なくとも一つのセンサによってキャプチャされ送信されることと、データ又はデータから得られる属性の圧縮、例えば、ＧＰＳのデータセグメント又は車両のオンボード電子制御ユニットのデータセグメントを第１の次元よりも小さい第２の次元を用いて圧縮することと、を含む。

【0024】

このコンピュータに基づく方法の一般的な特徴によれば、２つのメトリック空間Ｘ＝（ｘ、μ_ｘ）及びＹ＝（ｙ、μ_ｙ）であって、ｘは次元が第２空間ｙの次元より大きい又は等しい第１空間であり、μ_ｘは第１空間ｘの第１メトリックであり、μ_ｙは第２空間ｙの第２メトリックである前記２つのメトリック空間に対して、Ｐは第１空間ｘに属するｎ個の点の第１集合であり、一つの点は一つの空間要素であり、圧縮は、次式によって、第２空間ｙに属するｎ個の点の第２集合Ｑを求めることによって実現される。

（式１）

【0025】

ここで、ｄ（．，．）は、正方行列の空間上の対称距離関数である。一方、Ａ_１及びＡ_２は、次のプロパティを保持する任意の２つの関数であって、Ａは、Ａ_１又はＡ_２の関数である。
Ａ：Ｒ_＋→［０， １］，
Ａ（０）＝１，

Ａ（ｚ１）＞Ａ（ｚ２） ｚ１＜ｚ２のときかつそのときに限り成立する。

【0026】

Ａ１及びＡ２は、以下を含むプロパティを保持する任意の関数となりうる。

【0027】

ｎ個の点の第１集合Ｐのｎ個の点それぞれに対して、式１を解くと、ｎ個の点の２つの集合Ｐ及びＱのＢｉＭａｐ、すなわち、ＢｉＭａｐ＝（Ｐ，Ｑ）として参照される、点間の対応関係は、変換アトラスとして用いられることができ、第１空間Ｘの点を第２空間Ｙの点に変換し、後述の式２及び式３によってその逆にもまた変換することができる。

【0028】

第１空間Ｘ及び第２空間Ｙは、Ｙの次元がＸの次元よりも小さい一般的な空間である。このコンピュータに基づく方法は、Ｘ内の点とＹ内の点の間の対応関係を作成する。したがって、圧縮は、Ｘの点よりも小さい次元のＹの点を有することによって達成される。この圧縮方法は、データの圧縮のみを可能にして復元を可能にしない他のマニホールド学習アルゴリズムとは異なり、データの圧縮及び復元の両方を可能にして双方向になるように規定される。

【0029】

このコンピュータに基づく方法とｔ－ＳＮＥコンピュータに基づく方法との間の２つの主な違いは、マップ全体を再計算する必要なくマップに新たな点を追加し、かつ、その低次元点表現から高次元点を復元するように行列Ｙから行列Ｘへの逆対応関係を作成するという両方がここに与えられる可能性があることである。

【0030】

実際、ｔ－ＳＮＥは、いかなるマッピングを作成せず、あらゆる新たな点の追加は、全てのデータを再計算することを制限して新たな点を視覚化する。

【0031】

ｔ－ＳＮＥとの第二の相違点は、標準マニホールド学習コンピュータに基づく方法との主な違いでもある。この標準マニホールド学習コンピュータに基づく方法は、ＮＩＰＳ（２００７年）、第８巻、頁５１３～５２０に掲載されたＧａｓｈｌｅｒらによる「Ｉｔｅｒａｔｉｖｅ ｎｏｎ－ｌｉｎｅａｒ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ ｗｉｔｈ ｍａｎｉｆｏｌｄ ｓｃｕｌｐｔｉｎｇ」と題する論文と、Ａｐｐｌｉｅｄ ａｎｄ ｃｏｍｐｕｔａｔｉｏｎａｌ ｈａｒｍｏｎｉｃ ａｎａｌｙｓｉｓ、第２１巻、第１号、頁５～３０、２００６年７月に雑誌に掲載されたＣｏｉｆｍａｎらによる「Ｄｉｆｆｕｓｉｏｎ ｍａｐｓ」と題する論文とに開示されている。

【0032】

また、関数Ａ１及びＡ２の選択に応じて、コンピュータに基づく方法は、ＰからＱへの近接関係を正確に移すことができ、及び／又は自己クラスタリングの特徴を示すことができ、及び／又はデータに隠されたパターンを強調することを助けることができる。例えば、Ａ１及びＡ２が同じ関数である場合、次に、近接関係は、正確に移され、一方Ａ２がＡｌよりもファットなテイル（ｆａｔｔｅｒ ｔａｉｌｓ）を有するときはいつでも、ｘにそれほど近くない点がｙにわたるプロジェクション上に分散するので、近傍構造、すなわち、ｘ内の元の点のクラスタリングを強調する。

【0033】

このコンピュータに基づく方法の第一の態様では、前記双方向圧縮を開始する前に、少なくとも一つのデータから属性を抽出することをさらに含む。

【0034】

各データの属性の抽出は、将来の操作に関連すると考えられる各データの要素を前もって整理することができ、ひいては関連部分、例えば、属性を保持することのみによって、双方向圧縮のため、使用されるデータの２次元又は３次元のマップへの第１の圧縮を前もって実現する。

【0035】

さらに、このような時空間属性などの属性の抽出は、双方向マッピング圧縮を使用してコンピュータに基づくモデルのトレーニングを簡略化させる。

【0036】

このコンピュータに基づく方法の第二の態様では、前記圧縮方法は、
次式を求めることによって、

（式２）
行列ｘに属する新たな点ｍを行列ｙ上に圧縮することと、
次式を求めることによって、

（式３）
行列ｙに属する新たな点ｔを行列ｘ上に復元することと、を含み、
ここで、μｘ（Ｐ、ｍ）及びμｙ（Ｑ、ｔ）は、ＢｉＭａｐの各点と、対応する各空間における新たな点との間の距離ベクトルであり、ＢｉＭａｐは、式２（圧縮）及び式３（復元）によって与えられるｘの点とｙの点との間の対応関係である。

【0037】

さらに、新たな点ｍ又はｔをそれぞれＹ又はＸにマッピングする必要がある場合、

が使用されてマップ歪み指数（ＭＤＩ： Ｍａｐ Ｄｉｓｔｏｒｔｉｏｎ Ｉｎｄｅｘ）を評価することができる。実際、このコンピュータに基づく方法によって得られたマッピング精度は、アトラスＢｉＭａｐ＝（Ｐ、Ｑ）内の点に対する近接性に依存する。この依存性は、学習したもの、すなわち、式２又は式３の解の中から最小のアクティベーションの歪みを有している点を探索することによって表現される。ＭＤＩを評価する可能性は、より正確なアトラスを有するためのＸ空間内の点セクションスキームと、ＭＰＦ内のコンテキストのチェックをサポート又は実現する固有の異常検出機構との両方をもたらす。

【0038】

本発明の別の目的は、環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法を提供することである。この方法は、以下のステップ、
－ 少なくとも一つのセンサで環境データをキャプチャすることと、
－ 高次元の環境データを上記に規定した低次元マップに圧縮してデータの双方向圧縮を実現するためのコンピュータに基づく方法を実現することと、
－ 環境データがコンピュータに基づくモデルの学習段階の間にキャプチャされた場合、キャプチャされたデータは、予め評価されている既知の予め記録されたデータに対応し、異なる特性を有するデータをどの程度良好に分離するかによりマップの品質を決定することによって、圧縮データのマップを評価することと、
－ 環境データが前記学習段階の後にキャプチャされた場合、前記圧縮データに新たな点を追加し、オペレータの状態に対応するように使用する人間に近い意思決定を示す信号を生成することと、を含む。

【0039】

環境コンテキスト及び方法の使用に応じて、シミュレーションされた人間に近い意思決定は、いくつかの第１の種類の環境データ、例えば音、を考慮するこれらの環境に関する人の判断となりうる、あるいは、いくつかの第２の種類の環境データ、例えば、車両の位置、速度及びギヤ、を知る人間、例えば運転手がどのような行動を行うか又は人間に近い他の意思決定をとるかを予測する人間のような制御行動の制御となりうる。

【0040】

このように、メモリ予測フレームワークを含むアーキテクチャにおいて、このコンピュータに基づく方法は、三つの異なる方法で動作することができる。第一に入力データの前処理として、第二に内部ノードのフィードフォワード及びフィードバックデータ圧縮として、そして第三にノード出力分類器として動作する。

【0041】

第一の構成、すなわち、入力データの前処理において、双方向マッピングのコンピュータに基づく圧縮方法が果たす役割は、ドメインからのネットワーク処理データを小さな次元にすることであり、ひいてはメモリと計算電力の両方を節約することである。

【0042】

第二の構成、すなわち、内部ノードのフィードフォワード及びフィードバックデータ圧縮において、双方向マッピングのコンピュータに基づく圧縮方法は、最低階層のノードから出力するフィードフォワードを圧縮し、かつ、最高階層のノードから出力するフィードバックを復元するために使用される。

【0043】

第三の構成、すなわち、ノード出力分類器において、双方向マッピングのコンピュータに基づく圧縮方法は、ノード内の学習動態を可視化することを助け、ひいてはその中に格納された情報の人間の定性的解釈を助ける。この場合において、圧縮方法は、クラスタリングに基づく分類器として動作する。

【0044】

第二の構成において、学習段階の終了後に生じる推論タスクの間、ＷＯ ２０１４ ００９０３１によれば、ＭＰＦノードは、現在の入力と格納されたその全ての対応関係との間の規定されたメトリックに対して距離を計算し、ゆえに、それは既知の格納された対応関係のサンプルである入力の確率分布に関連した距離に存するフィードフォワード信号を出力する。

【0045】

ノード内の空間の対応関係は、メトリックと結合される。このメトリックは、対応関係がノードの入力空間内に自然に規定された空間的概念を有することと、参照点として対応関係を使用することによって、フィードフォワード信号が入力空間内の入力の位置に関してその入力を分類（ｃｏｄｉｆｉｃａｔｉｏｎ）したものであることとの両方を暗示する。

【0046】

換言すれば、任意の新たな入力ｍに対してＭＰＦノードＮの出力は、ベクトルＡ_Ｎ（μ_Ν（Ｃ，ｍ））であり、Ａ_Ｎ（．）はノードＮのアクティベーション関数、μ_Ν（．）はそのメトリック、及び集合Ｃはその対応関係である。

【0047】

このように、任意のノードの出力は式２の前半部であり、対称的に、フィードバック出力は式３の後半部である。

【0048】

具体的には、各ノードの出力の次元は、ノード自体のメモリサイズとともに増大する。ＭＰＦの実世界での使用の間、すなわち、推論段階の間、これは数百又は数千の可能性がある次元の出力のノードを有しうる。上位の階層のノードは下位の階層のノードの出力から学習しなければならないことから、ＭＰＦのように階層内のノードをスタックする際にこの次元削減の必要性は重要である。

【0049】

具体的には、小さい次元の入力は、全てのＭＰＦの機能を実行するために必要な計算電力の削減を意味する。

【0050】

より高い階層のノードが入力として何階層か低い階層のノードの出力を受信し、その入力空間の次元が入力ノードの対応関係の合計数に応じて増える場合、この問題はよりいっそう関係する。

【0051】

フィードバック接続における逆投影（ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ）は多くのＭＰＦの機能にとって必須であることから、その必要性は明白である。

【0052】

さらに、Ｃの次数が入力空間Ｎの次元の数より少なくとも１を超えるときは常に、ノードの入力空間内の入力ｍの位置と出力におけるフィードフォワード信号の空間との間に１対１の対応関係がある。これ以上のどのような対応関係も、この圧縮方法によって除去することができる冗長性をＡ_Ｎ（μ_Ν（Ｃ，ｍ））に追加することを意味する。

【0053】

昨今、車の音質は、例えば、新しい車を購入する際、消費者が考慮する非常に重要な側面である。音質はほとんど主観的な側面であるので、品質を客観的に評価する信頼性の高い方法はない。したがって、車の開発中の評価ステップは、しばしば異なる車間の相対的な尺度となる専門家により与えられた判断に通常は依存している。

【0054】

したがって、このコンピュータに基づく方法のこの側面は、車の音の主観的な判断を客観化することを可能にし、換言すれば、車の音を評価するプロセスを客観化することを可能にする。

【0055】

環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法の第一の態様において、データの双方向圧縮を実現するためのコンピュータに基づく方法を実現する前に、前記環境データを少なくとも一つのフィルタで前処理することを含み、データの双方向圧縮を実現する前記コンピュータに基づく方法は、入力データとしてフィルタリングされた環境データを受信する。

【0056】

この追加のステップにより、特に、カーオーディオサウンドトリートメントへの応用において、環境データが、バンドパスフィルタのような一連のフィルタを通過すること、取り扱う情報量を増やし、分散化することを助ける前処理ステップを経ることを可能にする。例えば、カーオーディオサウンド処理への応用において、前処理ステップは、ノイズ除去、畳み込み又は任意の可能なオーディオ処理を含むことができる。一般的には、あらゆる種類のデータ操作又は特徴抽出ができる。

【0057】

ＭＰＦアーキテクチャは、主に教師なし及びデータ駆動型である。そのため、データをフィルタリングすることは、より重要な特徴に重点を置くようにＭＰＦを助け、不要な又は誤解を招く情報を排除することに役立つ場合がある。

【0058】

環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法の第二の態様において、少なくとも一つのマイクロフォンを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記方法は、聴覚モデルによって出力された前記データを少なくとも一つのフィルタで前処理する前に、前記環境データを聴覚モデルに入力することをさらに含み、前記聴覚モデルは、環境データの複数の異なるバージョンを供給し、前記前処理は、前記環境データの全てのバージョンにわたって実現される。

【0059】

したがって、このコンピュータに基づく方法のこの側面は、車の音の主観的な判断を客観化することを可能にし、換言すれば、車の音を評価するプロセスを客観化することを可能にする。

【0060】

生の音は、ＣＡＮバスデータ、すなわち、コントローラ・エリア・ネットワーク、と同期された高忠実度マイクを用いて記録されることができる。

【0061】

聴覚モデルは、生体からインスパイアされた技術であって音響データを心理音響データに変換する。物理的な音の性質と人間の知覚との間の対応関係は、複雑で線形とはほど遠い。いくつかの操作は、統合、時間及び周波数マスキングとして実行される。計算の観点からは、聴覚モデルは、フィルタの集まりとして見ることができる。このフィルタのタスクは、人間の耳によって実行される操作を再現することである。このアプローチは、音声認識で広く使用されているが、自動車分野ではめったに考慮されない。

【0062】

録音した生の音は、科学文献に提示された聴覚モデルを使用して処理される。このステップの出力は、異なる聴覚モデル、例えば、周波数選択、周波数及び時間マスキングの影響を考慮して決定された周波数帯のセットにおけるエネルギー量である。

【0063】

異なる聴覚モデルのセットが使用され、後述のステップで処理される同じ生の音の複数の「心理音響バージョン」を生成する。

【0064】

本発明の別の目的は、環境コンテキストにおいて人間のような行動をシミュレーションするためのシステムを提案することである。このシステムは、環境データをキャプチャするための少なくとも一つのセンサと、ツール及びオペレータの動的行動と相互作用するための人工的なメモリを有するアーキテクチャとを含む。このアーキテクチャは、抽象化、一般化及び学習の構造及び機構を有する第１のニューラルネットワークであり、前記第１のニューラルネットワークの実装は、人工的階層メモリシステムを有し、前記人工的階層メモリシステムは、（ツール上の）センサによって生成されたデータを受信するように構成された受信ポートと、前記受信ポートから受信した頻繁に生じる入力の属性及びシーケンスを学習し認識するように構成された一つ又は複数の第１ノードであって、構成要素としてのニューロンと、グラフ内において二つ以上の前記ニューロンを接続するエッジとを形成する、前記一つ又は複数の第１ノードと、前記アーキテクチャによって構築され前記行動に関連するデータを出力するように構成された出力ポートとを備え、それによって前記一つ又は複数又は本質的に全ての前記第１ノードは、時系列解析に適しており、トポロジカルグラフ又は時間グラフ内において接続される構成要素を備える。

【0065】

環境コンテキストにおいて人間のような行動をシミュレーションするためのシステムの一般的な特徴によれば、前記アーキテクチャのノードは、上記に規定された環境コンテキストにおける人間に近い意思決定をシミュレーションするための前記コンピュータに基づく方法のステップを処理するように構成される。

【0066】

また、ＷＯ ２０１４ ００９０３１号の出願の全ての特徴は、本明細書に統合されている。

【0067】

環境コンテキストにおいて人間のような行動をシミュレーションするためのシステムの第二の態様において、このシステムは、前記少なくとも一つのセンサによってキャプチャされた前記環境データに異なるフィルタのセットを適用する前処理フィルタをさらに備える。

【0068】

環境コンテキストにおいて人間のような行動をシミュレーションするためのシステムの第二の態様において、前記環境データは、ノイズセンサを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記システムは、前記環境データの複数の異なるバージョンを出力するためにフィルタリング前処理の前に、前記記録された環境データに適用されるように構成された聴覚モデルをさらに備え、前記フィルタリング前処理は、前記環境データの全てのバージョンにわたって実現される。

【0069】

本発明の別の目的は、環境コンテキストにおける人間のような行動をシミュレーションするためのシステムを含む電子制御ユニットを備える車両を提案することである。

【発明を実施するための形態】

【0072】

本発明は、特定の実施形態に関して図面を参照しながら説明するが、本発明は特許請求の範囲のみによるもので、その特定の実施形態に限定されるものではない。記載された図面は、概略的であり非限定的である。図面において、一部の要素のサイズは、説明目的のため拡大される場合もあり、縮尺通りに描かれていない。用語「備える／含む／有する」は、本明細書及び特許請求の範囲において使用される場合、他の要素又はステップを排除するものではない。単数名詞を参照するときに不定冠詞又は定冠詞が使用される場合において、例えば「ａ」又は「ａｎ」、「ｔｈｅ」は、他に何か明確に述べられていない限り、その名詞の複数形を含む。

【0073】

特許請求の範囲で使用される用語「備える／含む／有する」は、その後に列挙される手段に限定されるものとして解釈されるべきではない。それは他の要素又はステップを排除するものではない。したがって、表現「手段Ａ及びＢを含む装置」の範囲は、構成要素Ａ及びＢのみからなる装置に限定すべきではない。これは本発明に関して、単に装置に関連する構成要素がＡ及びＢであることを意味する。

【0074】

さらに、用語「第一、第二、第三」及び類似の用語は、明細書及び特許請求の範囲において類似の要素を区別するために使用され、必ずしも逐次的又は時間的な順序を記述するために必要なものではない。そのように使用される用語は、適切な状況下で交換可能であり、本明細書に記載の本発明の実施形態は、本明細書に記載され又は例示される以外の他のシーケンスで動作可能であることが理解されるべきである。

【0075】

本発明の実施形態による環境コンテキストにおいて人間のような行動をシミュレーションするためのシステムは、環境データをキャプチャするように構成された２つのセンサを有する。本実施形態では、センサは車のコックピット内の２つの異なる位置に配置された２つの高忠実度マイクロフォンである。

【0076】

シミュレーションシステムは、ツールとオペレータの動的行動と相互作用するように構成された人工的なメモリシステムを有するアーキテクチャをさらに含む。人工的なメモリシステムを有するアーキテクチャは、抽象化、一般化及び学習の構造及び機構を有する第１ニューラルネットワークで構成される。

【0077】

第１ニューラルネットワークの実装は、マイクロフォンによって生成されたデータを受信するように構成された受信ポートと、前記受信ポートから受信した頻繁に生じる入力の属性及びシーケンスを学習し認識するように構成された一つ又は複数の第１ノードと、一つ又は複数の第２ノードとを備える人工的階層メモリシステムを有する。前記一つ又は複数の第１ノードは、構成要素としてのニューロンと、グラフ内において二つ以上の前記ニューロンを接続するエッジと、前記アーキテクチャによって構築され前記行動に関連するデータを出力するように構成された出力ポートとを有する第２ニューラルネットワークを形成する。それによって前記一つ又は複数又は本質的に全ての前記第１ノードは、時系列解析に適しており、トポロジカルグラフ又は時間グラフ内において接続される構成要素を備える。

【0078】

本発明の実施形態では、人間のオペレータは、運転者、船長、パイロット、ゲーマーとして記載されている。そのような人は、「自律」することができる。例えば、オペレータコマンドは、システムによって読み取ることができる適切な記憶媒体に記憶されたコマンド形式で、予め与えることができる。例えば、オペレータが運転者であり、ツールが自動車等の車両であれば、コマンドは、目的地、到着予定時刻、予想燃料消費量、アグレッシブに、スポーティに、落ち着いて運転するかどうか等である。実際の人間の運転者は意図的にシステムをオンにし、加速度、制動力、速度、燃料消費量等が運転者の通常の行動又は他の行動に従うように、運転者に目的地まで運転させるコマンドが提供されることができる。また、システムは、コマンドがない場合にも引き受けることができる。例えば、運転者が眠っていることを検出した場合、システムは、車両を安全に停止状態にする。運転者が眠っているかどうかは、意識チェックによって検出することができる。

【0079】

本発明の実施形態は、メモリ予測フレームワーク（ＭＰＦ）に基づいており、人工的階層メモリシステムを含む。人工的階層メモリシステムは、情景認識／「分類」及び／又は前処理段階のための向上された機能を有する拡張されたＨＴＭ（Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｅｍｐｏｒａｌ Ｍｅｍｏｒｙ）であってもよい。このシステム及び方法は、とりわけ、例えば１０～１５のサンプル数又は必要とされる任意の適切なサンプル数、例えば、サンプリング周波数に応じて１秒の半分より多く又は少ないサンプル数と、上記前処理段階とともに時間的なイベント管理の導入に起因する入力オペレータコマンドに関する予測とを提供することができるように適合される。

【0080】

図１の実施形態のアーキテクチャは、拡張された階層メモリを含むＷＯ ２０１４ ００９０３１文書に記載されたアーキテクチャに対応する。

【0081】

メモリ予測フレームワークは、優れた学習、抽象化及び一般化に必要なほぼ全ての構造と仕組み、例えば、ネットワーク内を移動するフィードフォワード及びフィードバック信号を予見する場合の基本的なモデルとして適切である。これらの信号の対応関係は、状況の理解度の測度であって、この状況の理解度はネットワークの一般化能力を評価するための前提条件である。ＭＰＦ計算アプローチとその学習アルゴリズムは、感覚固有の前処理及びチューニングが依然として必要であるが、多様な感覚チャンネルにうまく対処することが証明されている。いったんセットアップされると、つまり特定のセンサ様式に適合されると、原則的に前処理は必要とされない。しかし、有利には、例えば、前述のいわゆるプリミティブ（基本）として時折適用されてもよい。本発明の実施形態は、ＭＰＦの適切な部分のインスタンス化としても理解されてもよい。

【0082】

環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法は、シミュレーションシステムの人工的階層メモリ内のノードによって実現される。

【0083】

この例において、人間に近い意思決定は、車の運転手の行動であり、考慮される環境コンテキストは、その人の周囲の音に対応する。

【0084】

シミュレーション方法の第１のステップにおいて、ＣＡＮバスデータと同期されるいくつかの高忠実度のマイクは、車のコックピット内の生の音を記録する。記録された生の音は、高次元の構成、例えば、三次元構成である。

【0085】

シミュレーション方法の第２ステップにおいて、記録された生の音に対応する電気信号は、前記人工的なメモリシステムを有する前記アーキテクチャに送られ、聴覚モデルのセットを介して前処理され、フィルタリングステップの後に人工的なメモリシステムに入力される記録された生の音それぞれの「心理音響バージョン」を複数生成する。

【0086】

シミュレーション方法の第３ステップにおいて、記録された生の音それぞれの複数の心理音響バージョンに対応する電子信号は、バンドパスフィルタのセットを介して前処理される。

【0087】

シミュレーション方法の次のステップにおいて、フィルタリングされた音がノードに送信されて、データの双方向圧縮を実現するためのコンピュータに基づく方法を用いて前記フィルタリングされたデータを二次元マップに圧縮して処理される。

【0088】

ステップにおいて、シミュレーション方法の次のステップ及び圧縮方法の第１ステップにおいて、フィルタリングされた音が他のノード又は同じノードによって受信される。

【0089】

圧縮方法の第２ステップにおいて、ノードは、人間のような制御行動をシミュレーションするための方法に関連すると考えられる各データの要素をソートするために、フィルタリングされた生の音それぞれからの属性の抽出を操作する。

【0090】

抽出された属性は、例えば、人間のような制御行動をシミュレーションするためのコンピュータに基づく方法のトレーニングを単純化するための時空間属性である。

【0091】

圧縮方法の第３ステップにおいて、ノードは、フィルタリングされた生の音から抽出された属性の圧縮を操作する。

【0092】

圧縮は、次式のような行列ｙに属するｎ個の点の集合Ｑを求めることによって実現される。

（式１）
２つのメトリック空間Ｘ＝（ｘ、μｘ）及びＹ＝（ｙ、μｙ）であって、ｘは次元が第２空間ｙの次元より大きい又は等しい第１空間であり、μｘは空間ｘの第１メトリックであり、μｙは空間ｙの第２メトリックであり、Ｐは第１空間ｘに属するｎ個の点の第１集合であり、ｄ（．，．）は正方行列の空間上の対称距離関数であり、一方、Ａ１及びＡ２は次のプロパティを保持する任意の２つの関数である。
- Ａ：Ｒ_＋→［０， １］，すなわち、全ての正の実数値に対して規定された関数であって、０と１を含む０と１の間の値を生成する。
- Ａ（０）＝１，すなわち、Ａは値１を生成する引数０の関数である。

すなわち、Ａは引数が増加するにつれて極限０に収束する関数である。
- Ａ（ｚ１）＞Ａ（ｚ２） ｚ１＜ｚ２のときかつそのときに限り成立する。すなわち、Ａは単調減少関数である。

【0093】

式１は、ｎ個の点の第１集合Ｐのｎ個の点それぞれに対して、ＢｉＭａｐとして参照されるＮ個の点の２つの集合Ｐ及びＱの点間の対応関係、すなわち、ＢｉＭａｐ＝（Ｐ、Ｑ）を、後述する式２及び式３によって前記第１空間Ｘの点を前記第２空間ｙの点に変換し、その逆にも変換する変換アトラスとして使用することができる。

【0094】

そのようなステップを用いて、このように新たな点は、全体のマップを再計算する必要なく、マップに追加することができ、空間ｙから空間ｘへの逆の対応関係は、その低次元の表現から高次元点を復元するために作成される。

【0095】

したがって、空間ｘに属する新たな点ｍは、次式を求めることによって空間ｙに圧縮することができる。

（式２）
次式を求めることによって空間ｙに属する新たな点ｔを空間Ｘに復元することができる。

（式３）
ここで、μｘ（Ｐ、ｍ）及びμｙ（Ｑ、ｔ）は、ＢｉＭａｐの各点と、対応する各空間における新たな点との間の距離ベクトルであり、ＢｉＭａｐ（Ｐ， Ｑ）は、点の対応関係であり、式１を求める。

【0096】

ノード１４０及び／又は１５０において段階に応じて、圧縮方法は、三つの異なる方法で動作することができる。

【0097】

学習段階では、ドメインからのネットワーク処理データを入力データとして少ない次元で前処理するように動作するので、メモリと計算電力の両方を節約することができる。

【0098】

推論段階では、学習段階の後に、それは内部ノードのフィードフォワード（ＦＦ）とフィードバック（ＦＢ）データ圧縮又はノード出力分類器として動作することができる。

【0099】

内部ノードのＦＦとＦＢデータ圧縮として動作する場合、圧縮方法は、下位階層ノードから出力するＦＦを圧縮して、より高い階層から出力するフィードバックを復元するために使用される。

【0100】

ノード出力分類器として動作する場合、圧縮方式は、ノード内の学習動態を可視化することができるので、それに格納された情報の人間の定性的な解釈を助ける。この場合、圧縮方法は、クラスタリングに基づく分類器として動作する。

【0101】

アーキテクチャは、学習段階にある場合、環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法の次のステップ２４において、圧縮データのマップは、圧縮データを予め記憶された異なる参照と比較し、かつ、圧縮データのマップを参照の一つと関連付けられたラベルで圧縮データをタグ付けすることによって評価される。

【0102】

ステップ２４の代わりに、推定段階におけるアーキテクチャは、新しく記録された生の音の導出から抽出された新しい属性が、ステップ２６で圧縮データのマップに追加される。また、環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法を使用するシステムを用いて、人間の状態に対応するいずれの人間に近い意思決定を使用するかを示す信号が生成される。

【0103】

このように、推論段階の間、人間に近い意思決定をシミュレーションするための方法は、次のようないくつかの操作を実行するアーキテクチャを可能にする。例えば、
－ 学習されたメモリを変更することなく、本記載のプロセスを経ることで、新しい音を評価する。
－ ＢｉＭａｐによって実行される低次元クラスタリングを分析することによって、同様の判断を得る音の共通の特性を推論する。
－ マップ上で異常な行動を強調することで、人間の判断の信頼性を向上させる。
－ 所望の判断から音を発生させる。全てのステップが可逆的であることから、予想される判断を有する新しい音は、生成されたＢｉＭａｐ上のそれらの位置から出発して合成することができる。

【0104】

以下は、本発明の特定の態様をより詳細に説明する本発明の使用の別の例である。

【0105】

仮想的な開発方法は、すぐに重要なビジネス上の課題、例えば、市場投入までの時間の短縮、製品の品質、パフォーマンス及び値の最適化、生産・開発コストの削減、これまでより厳しい排出及び安全規制の扱い、に対処するために車両開発プロセスにおいて重要性を増している。

【0106】

エンジンやパワートレイン分野での特定の課題は、今後の欧州の実際の走行排出量「Ｒｅａｌ Ｄｒｉｖｉｎｇ Ｅｍｉｓｓｉｏｎｓ（ＲＤＥ）」の規制である。ＲＤＥコンプライアンスは、動作条件の広範囲にわたって自動車の排出ガスの制御を必要とする。これは従来、一定の走行周期に基づいたエンジンキャリブレーション処理に重大な影響を与える。

【0107】

キャリブレーションプロセスの一部の仮想化は、仮想的な走行モデルによって操作される仮想的な走行環境上の物理的又はグレーボックスの車両モデルを実行することにより、実世界の様々な走行条件下で車両及びエンジンの行動の評価を可能にする。

【0108】

本発明は、この例において新しい外部走行モデル、すなわち、人間のような方法で加速／ブレーキ、クラッチ及びギアシフトを扱う人間のような制御行動をシミュレーションするための方法を開発するために使用される。

【0109】

本発明の方法は、ＲＤＥシミュレーションに適するように、記録データからモデルを学習させ、任意の経路を介して運転者の行動を再現することを可能にする機械学習に基づいている。

【0110】

提案された方法は、アーキテクチャのノードがテストからの記録データとシミュレーション環境との関係を構築することを進める間、三つの主要な段階で構成される。

【0111】

抽出段階と言われる第一段階では、センサ１１０などのセンサによってキャプチャされたデータは、マップ属性抽出器に送信される。マップ属性抽出器は、全地球測位システム（ＧＰＳ）位置又はＧＰＳ点のみと共に記録された電子制御ユニット（ＥＣＵ）データを有することができ、入力として、それらを結ぶ経路の属性を作成する。第一の場合は、データから実際の運転者の行動を学習するために入力を準備するが、第二の場合は、新しい経路にわたって学習された行動を推定する必要がある。

【0112】

学習段階と言われる第二段階では、キャプチャされたデータがモデルに入力され、新しい経路上の行動を再現するために走行経路上の実際の運転者の行動を学習し、それを一般化する。この段階でＢｉＭａｐは、ＥＣＵとＧＰＳデータを検知することによって、環境で実際の運転者の行動を学習するために使用される。推論の段階でＢｉＭａｐは、新しい環境で予想される人間の行動を生成する。

【0113】

推論段階と言われる第３のモジュールでは、シミュレーション環境で閉ループと協働する機能モックアップユニット（ＦＭＵ）コントローラは、学習段階中に構築されたモデルを使用して車の制御（ギヤシフト及びペダル）について人間が扱いやすい方法で、動作によって運転者の長手方向の行動を実装する。

【0114】

この例では、記録された経路上の実際の運転者の行動を学習し、任意のルート上でそれを一般化する人工知能運転者を示す。運転者モデルは、車両用ペダルとギヤ選択の両方の人間に近い運転行動を示すので、排出量のシミュレーションに使用するのに適している。

【0115】

本発明は、プロセッサシステム上で実現されてもよい。処理システムは、コンピューティングデバイス、又は処理エンジン、例えばマイクロプロセッサ若しくはＦＰＧＡを含んでもよい。本発明の実施形態又は特許請求の範囲による上記の方法のいずれかは、処理システムに実装することができる。そのような処理システムは、少なくとも一つのメモリの形態、例えば、ＲＡＭ、ＲＯＭを含むメモリサブシステムに結合されたカスタマイズ可能又はプログラム可能なプロセッサを少なくとも１つ含むことができる。これは、プロセッサ（複数可）が、汎用又は特定用途のプロセッサであってもよく、デバイス、例えば、他の機能を実行する他のコンポーネントを有するチップに含まれるものであってもよいことに留意すべきである。したがって、本発明の実施形態による方法の一つ又は複数の態様は、デジタル電子回路又はコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせで実現することができる。処理システムは、ディスクドライブ及び／又はＣＤ－ＲＯＭドライブ及び／又はＤＶＤドライブを少なくとも１つ有するストレージサブシステムを含むことができる。いくつかの実装形態において、ディスプレイシステム、キーボード、ポインティングデバイスは、パラメータ値など手動で入力された情報をユーザに提供するユーザインターフェース・サブシステムの一部として含まれていてもよい。複数の要素、例えば、異なる種類の物理的センサへ接続を許可する、ネットワーク接続、種々のデバイスへのインタフェース等が含まれていてもよい。処理システムの種々の要素は、バス・サブシステム、簡単に単一のバスとして、を介して、を含めて様々な方法で結合されてもよいが、少なくとも一つのバスのシステムを含むことが当業者に理解されるべきである。このメモリサブシステムのメモリは、ある時点において、プロセッサ上で実行されるとき、本明細書に記載された本方法の実施形態のステップを実行する命令セットの一部又は全てを保持する。

【0116】

本発明はまた、コンピューティングデバイス上、例えば、上記の種類のプロセッサ上で実行されるとき、本発明によるいずれかの方法の機能を提供するコンピュータプログラム製品を含む。本発明によるソフトウェアは、処理エンジン上で実行されると、ツール及びオペレータの動的行動と相互作用する人工的なメモリを有する知覚／認知アーキテクチャを提供するコードセグメントを含むことができる。ここで、知覚／認知アーキテクチャは、抽象化、一般化及び任意選択で学習するための構造と機構を有するメモリ予測フレームワーク実装に基づいている。このメモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを備える。ソフトウェアは、前処理段階と協働するように適合されてもよい。このソフトウェアは、実行されたとき、一時的イベント管理に基づいて、入力操作コマンドに関する予測を提供し、初期の及び反復性のパターンに関して物理センサからの入力データを記述するように適合させることができる。

【0117】

本発明はまた、本発明によるソフトウェアを有するコンピュータプログラム製品を含み、それが処理エンジン上で実行されると、ツール及びオペレータの動的行動と相互作用する人工的なメモリを有する知覚／認知アーキテクチャを提供するコードセグメントを含むことができる。この知覚／認知アーキテクチャは、抽象化、一般化及び任意選択で学習するための構造及び機構を有するメモリ予測フレームワーク実装に基づいている。このメモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを含む。ソフトウェアは、前処理段階と協働するように適合されてもよい。このソフトウェアは、初期の及び反復性のパターンに関して物理センサからの入力データを記述するように適合させることができる。このソフトウェアは、フィードフォワードとフィードバック信号の移動を許可し、フィードフォワードとフィードバック信号の移動間の対応関係をコンテキストチェックの尺度として開発するように適合されていてもよい。

【0118】

本発明はまた、本発明によるソフトウェアを有するコンピュータプログラム製品を含み、それが処理エンジン上で実行されると、ツール及びオペレータの動的行動と相互作用する人工的なメモリを有する知覚／認知アーキテクチャを提供するコードセグメントを含むことができる。このアーキテクチャは、抽象化、一般化及び任意選択で学習するための構造と機構を提供するように適合可能なソフトウェアを有するメモリ予測フレームワーク実装に基づいている。このメモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを備える。ソフトウェアは、前処理段階と協働するように適合されてもよい。このソフトウェアは、初期の及び反復性のパターンに関して物理センサからの入力データを記述するように適合されてもよい。このソフトウェアは、物理センサからの入力に基づいてツール及びオペレータの行動に関する圧縮されたより高次元の情報を出力するように適合されていてもよい。

【0119】

上記のソフトウェアは、物理Ｉ／Ｏ層、拡張された階層メモリ、タイムマスター、コンテキストチェック、監視ゲーティング、システム制御ユニット及びユーザ制御Ｉ／Ｏ層での使用に適合させることができる。このソフトウェアは、情報の内容を拡張された階層メモリで管理できる形式に変更することなく、物理センサ入力を変換するために適合させることができる。このソフトウェアは、物理Ｉ／Ｏ層から受信した入力パターンのシーケンスを学習し、認識し及び予測するように適合させることができる。このソフトウェアは、物理Ｉ／Ｏ層によって受信された物理センサ入力に基づいて圧縮されたより高次元の情報を出力するように適合させることができる。

【0120】

本発明は、図面及び前述の記載において詳細に図示及び説明してきたが、そのような例示及び記載は、説明又は例示的なものであって限定されるものではないと考えられるべきである。本発明は、開示された実施形態に限定されるものではない。

【0121】

開示された実施例に対する他の変形は、当業者がクレームされた発明を実施する際に図面、開示及び添付の特許請求の範囲の検討によって理解され、行うことができる。

【0122】

例えば、単一のユニットは、特許請求の範囲に記載された複数のアイテムの機能を満たすことができる。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【0123】

例えば、本発明の実施形態のモデリングアクションは、マルコフ連鎖を使用する「パス」又は「シーケンス」とすることができることによって、そのような実施形態のＨＴＭ（複数）は、単に一つのパスに「続く」ことができる。

【0124】

本発明はさらに、メモリ予測フレームワーク（ＭＰＦ）理論に順守して開発されたアーキテクチャを提供する。特定のシステムでは、ｈＭＰＦに基づいて、特定の分類／予測の問題に対処するために開発された、その主たる処理要素として人工脳を有するアーキテクチャが提供される。

【0125】

人工頭脳は、次に、複数の層に組織化され、フィードフォワード（ＦＦ）、フィードバック（ＦＢ）及び予測信号によって互いに通信する、多数の処理ノードを備える場合がある。これらの信号は、本質的に、特定の入力パターンに対する特定の事象の結果である尤度を表す確率密度関数である。全体のシステムは、さらに、ネットワークへの出力として提供されるコンテキストチェック信号によって階層ネットワークの状態を確認する場合がある。
本明細書に開示される発明は以下の実施形態を含む。
（１）高次元データを低次元マップに圧縮することによって、データの双方向圧縮を実現するコンピュータに基づく方法であって、前記方法は、１より大きな第１の次元を有するデータであって、少なくとも一つのセンサによってキャプチャされ送信されたデータ、を受信することと、前記データ又は前記データから得られる属性を、前記第１の次元よりも小さい第２の次元を用いて圧縮データに圧縮することとを含み、
２つのメトリック空間Ｘ＝（ｘ、μｘ）及びＹ＝（ｙ、μｙ）であって、ｘは次元が第２空間ｙの次元より大きい又は等しい第１空間であり、μ_ｘは前記第１空間ｘの第１メトリックであり、μ_ｙは前記第２空間ｙの第２メトリックである前記２つのメトリック空間に対して、前記圧縮は、前記第１空間ｘに属するｎ個の点の第１集合Ｐと、前記第２空間ｙに属するｎ個の点の第２集合Ｑとの間に形成される点の対をマッピングすることによって実現され、ｎ個の点の前記第２集合Ｑの各点は、次式によってｎ個の点の前記第１集合Ｐの一つの点と対になり、

（式１）

はＰにおける点の間の第１の対称距離行列であり、

はＱにおける点の間の第２の対称距離行列であり、ｄ（．，．）は正方行列の空間上の対称距離関数であり、Ａ１及びＡ２は次のプロパティを保持する任意の２つの関数である、
- Ａ：Ｒ_＋ ^→［０， １］，
- Ａ（０）＝１，

- Ａ（ｚ_１）＞Ａ（ｚ_２） ｚ_１＜ｚ_２のときかつそのときに限り成立する，
ことを特徴とする、コンピュータに基づく方法。
（２）前記双方向圧縮を開始する前に、少なくとも一つのデータから属性を抽出することをさらに含む、上記（１）に記載のコンピュータに基づく方法。
（３）次式を求めることによって、

（式２）
前記第１空間ｘに属する新たな点ｍを前記第２空間ｙ上に圧縮することと、
次式を求めることによって、

（式３）
前記第２空間ｙに属する新たな点ｔを前記第１空間ｘ上に復元することと、を含み、
ここで、μｘ（Ｐ、ｍ）及びμｙ（Ｑ、ｔ）は、ＢｉＭａｐの各点と、対応する各空間における新たな点との間の距離ベクトルであり、ＢｉＭａｐは、式２及び式３によって表される第１空間ｘの点と第２空間ｙの点との間の対応関係であり、点Ｑは、式１を求めることによって点Ｐから計算される、上記（１）又は（２）に記載のコンピュータに基づく方法。
（４）環境コンテキストにおいて人間に近い意思決定をシミュレーションするためのコンピュータに基づく方法であって、
－ 少なくとも一つのセンサで環境データをキャプチャすることと、
－ 前記環境データを用いて、前記データを上記（１）～（３）のいずれかに記載の低次元マップに圧縮して高次元データの双方向圧縮を実現するためのコンピュータに基づく方法を実現することと、
－ 環境データがコンピュータに基づくモデルの学習段階の間にキャプチャされた場合、キャプチャされた前記データは、予め評価されている既知の予め記録されたデータに対応し、異なる特性を有するデータをどの程度良好に分離するかにより前記マップの品質を決定することによって、圧縮データの前記マップを評価することと、
－ 環境データが前記学習段階の後にキャプチャされた場合、前記圧縮データに新たな点を追加し、オペレータの状態に対応するように使用する人間に近い意思決定の状態を示す信号を生成することと、を含む、コンピュータに基づく方法。
（５）データの双方向圧縮を実現するためのコンピュータに基づく方法を実現する前に、前記環境データを少なくとも一つのフィルタで前処理することを含み、データの双方向圧縮を実現するための前記コンピュータに基づく方法は、入力データとしてフィルタリングされた環境データを受信する、上記（４）に記載のコンピュータに基づく方法。
（６）前記環境データは、少なくとも一つのマイクロフォンを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記方法は、聴覚モデルによって出力された前記データを少なくとも一つのフィルタで前処理する前に、前記環境データを聴覚モデルに入力することをさらに含み、前記聴覚モデルは、環境データの複数の異なるバージョンを供給し、前記前処理は、前記環境データの全てのバージョンにわたって実現される、上記（４）又は（５）に記載のコンピュータに基づく方法。
（７）環境データをキャプチャするための少なくとも一つのセンサと、ツール及びオペレータの動的行動と相互作用するためのメモリを有するアーキテクチャとを含む、環境コンテキストにおける人間のような行動をシミュレーションするためのシステムであって、
前記アーキテクチャは、上記（４）～（６）のいずれか一項に記載の環境コンテキストにおける人間に近い意思決定をシミュレーションするための前記コンピュータに基づく方法のステップを処理するように構成されていることを特徴とするシステム。
（８）前記アーキテクチャのメモリは人工的なメモリであり、前記アーキテクチャは、抽象化、一般化及び学習の構造及び機構を有する第１のニューラルネットワークであり、前記第１のニューラルネットワークの実装は、人工的階層メモリシステムを有する前記アーキテクチャを規定し、前記人工的階層メモリシステムは、（ツール上の）センサによって生成されたデータを受信するように構成された受信ポートと、前記受信ポートから受信した頻繁に生じる入力の属性及びシーケンスを学習し認識するように構成された一つ又は複数の第１ノードであって、構成要素としてのニューロンと、グラフ内において二つ以上の前記ニューロンを接続するエッジとを形成する、前記一つ又は複数の第１ノードと、前記アーキテクチャによって構築され前記行動に関連するデータを出力するように構成された出力ポートとを備え、それによって前記一つ又は複数又は本質的に全ての前記第１ノードは、時系列解析に適しており、トポロジカルグラフ又は時間グラフ内において接続される構成要素を備える、上記（７）に記載のシステム。
（９）前記少なくとも一つのセンサによってキャプチャされた前記環境データに異なるフィルタのセットを適用する前処理フィルタをさらに備える、上記（７）又は（８）に記載のシステム。
（１０）前記環境データは、ノイズセンサを用いて車のコックピット内に記録された生の音の少なくとも一つのサンプルを含み、前記システムは、前記環境データの複数の異なるバージョンを出力するためのフィルタリング前処理の前に、前記記録された環境データに適用されるように構成された聴覚モデルをさらに備え、前記フィルタリング前処理は、前記環境データの全てのバージョンにわたって実現される、上記（７）～（９）のいずれか一項に記載のシステム。
（１１）処理エンジン上で実行されると、ツール及びオペレータの動的行動と対話するための知覚／認知アーキテクチャに人工的なメモリを提供するコードセグメントを含むことができ、前記知覚／認知アーキテクチャは、抽象化、一般化及び任意選択で学習するための構造及び機構を有するメモリ予測フレームワーク実装に基づいており、前記メモリ予測フレームワーク実装は、拡張された人工的階層メモリシステムを含む、上記（４）～（６）のいずれか一項に記載のコンピュータに基づく方法を実現するソフトウェアを有するコンピュータプログラム製品。
（１２）上記（７）～（１０）のいずれか一項に記載の環境コンテキストにおける人間に近い意思決定をシミュレーションするためのシステムを含む電子制御ユニットを備える車両。