特開 2024-91632 深層学習を使用して車両内の機能を制御する閉ループのリアルタイムでのＳＳＶＥＰベースのヘッドアップディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024091632

(43)【公開日】2024-07-05

(54)【発明の名称】深層学習を使用して車両内の機能を制御する閉ループのリアルタイムでのＳＳＶＥＰベースのヘッドアップディスプレイ

(51)【国際特許分類】

   A61B 5/374 20210101AFI20240628BHJP

   B60W 50/08 20200101ALI20240628BHJP

   B60K 35/23 20240101ALI20240628BHJP

【ＦＩ】

A61B5/374

B60W50/08

B60K35/23

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023208250

(22)【出願日】2023-12-11

(31)【優先権主張番号】18/067,473

(32)【優先日】2022-12-16

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(71)【出願人】

【識別番号】523466411

【氏名又は名称】ユニバーシティ オブ コネチカット ヘルス センター

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】ホセイン ハミディ シシャバン

(72)【発明者】

【氏名】インス キム

(72)【発明者】

【氏名】モハマド ベザディー

(72)【発明者】

【氏名】エルカン デデ

(72)【発明者】

【氏名】ダニー ローハン

(57)【要約】

【課題】車両システムを提供すること。
【解決手段】本車両システムは、コントローラを含み、当該コントローラは、車両のＨＵＤ上に複数のアイコンを表示させ、車両の運転者からＥＥＧデータを受信し、ＥＥＧデータの高速フーリエ変換を行ってＥＥＧスペクトルを取得し、ＥＥＧスペクトルを訓練済み機械学習モデルに入力し、訓練済み機械学習モデルの出力に基づいて、複数のアイコンのうちのどれを運転者が見ているかを決定し、訓練済み機械学習モデルの出力に基づいて１つ以上の車両動作を行うようにプログラムされている。
【選択図】図１

【特許請求の範囲】

【請求項1】

コントローラを備える車両システムであって、前記コントローラは、
車両のヘッドアップディスプレイ（ＨＵＤ）上に複数のアイコンを表示させ、
前記車両の運転者から脳波記録（ＥＥＧ）データを受信し、
前記ＥＥＧデータの高速フーリエ変換（ＦＦＴ）を行ってＥＥＧスペクトルを取得し、
前記ＥＥＧスペクトルを訓練済み機械学習モデルに入力し、
前記訓練済み機械学習モデルの出力に基づいて、前記複数のアイコンのうちのどれを前記運転者が見ているかを決定し、
前記訓練済み機械学習モデルの前記出力に基づいて１つ以上の車両動作を行うようにプログラムされている、車両システム。

【請求項2】

前記複数のアイコンの各々は、異なる色を有する、請求項１に記載の車両システム。

【請求項3】

前記複数のアイコンの各々は、異なる形状を有する、請求項１に記載の車両システム。

【請求項4】

前記コントローラは更に、
バンドパスフィルタを前記ＥＥＧデータに適用して、フィルタリングされたＥＥＧデータを取得し、
前記フィルタリングされたＥＥＧデータの前記ＦＦＴを行うようにプログラムされている、請求項１に記載の車両システム。

【請求項5】

前記コントローラは更に、
前記ＥＥＧデータのデータセグメンテーションを行って、セグメント化されたＥＥＧデータを取得し、
前記セグメント化されたＥＥＧデータの前記ＦＦＴを行うようにプログラムされている、請求項１に記載の車両システム。

【請求項6】

前記訓練済み機械学習モデルは、畳み込みニューラルネットワークを備える、請求項１に記載の車両システム。

【請求項7】

前記畳み込みニューラルネットワークは、残差ニューラルネットワークアーキテクチャを備える、請求項６に記載の車両システム。

【請求項8】

前記訓練済み機械学習モデルは、１つ以上の圧搾及び励起（ＳＥ）ブロックを備える、請求項１に記載の車両システム。

【請求項9】

前記ＳＥブロックのうちの少なくとも１つは、グローバル最大プーリング層と、整流線形ユニット活性化関数を有する第１の全結合層と、シグモイド活性化関数を有する第２の全結合層と、を備える、請求項８に記載の車両システム。

【請求項10】

前記訓練済み機械学習モデルは、２つのＳＥ－Ｒｅｓブロックを備え、各ＳＥ－Ｒｅｓブロックは、
２次元畳み込み層と、
バッチ正規化層と、
活性化層と、
ＳＥブロックと、
を備える、請求項１に記載の車両システム。

【請求項11】

各ＳＥ－Ｒｅｓブロックへの入力は、前記ＳＥ－Ｒｅｓブロックの出力と合計される、請求項１０に記載の車両システム。

【請求項12】

前記訓練済み機械学習モデルは、
ドロップアウト層と、
ソフトマックス分類層と、
を更に備える、請求項１０に記載の車両システム。

【請求項13】

前記コントローラは更に、
各被験者が特定のアイコンを見ている間に複数の個々の被験者から収集されるＥＥＧデータを備える訓練データを受信し、
前記訓練データに基づいて、どのアイコンを前記個々の被験者が見ているかを予測するように機械学習モデルを訓練して、前記訓練済み機械学習モデルを実現するようにプログラムされている、請求項１に記載の車両システム。

【請求項14】

車両のヘッドアップディスプレイ（ＨＵＤ）上に複数のアイコンを表示させることと、
前記車両の運転者から脳波記録（ＥＥＧ）データを受信することと、
前記ＥＥＧデータの高速フーリエ変換（ＦＦＴ）を行ってＥＥＧスペクトルを取得することと、
前記ＥＥＧスペクトルを訓練済み機械学習モデルに入力することと、
前記訓練済み機械学習モデルの出力に基づいて、前記複数のアイコンのうちのどれを前記運転者が見ているかを決定することと、
前記訓練済み機械学習モデルの前記出力に基づいて１つ以上の車両動作を行うことと、
を含む、方法。

【請求項15】

バンドパスフィルタを前記ＥＥＧデータに適用して、フィルタリングされたＥＥＧデータを取得することと、
前記フィルタリングされたＥＥＧデータのデータセグメンテーションを行って、セグメント化されたＥＥＧデータを取得することと、
前記セグメント化されたＥＥＧデータの前記ＦＦＴを行うことと、
を更に含む、請求項１４に記載の方法。

【請求項16】

前記訓練済み機械学習モデルは、２つのＳＥ－Ｒｅｓブロックを備える畳み込みニューラルネットワークを備え、各ＳＥ－Ｒｅｓブロックは、
２次元畳み込み層と、
バッチ正規化層と、
活性化層と、
ＳＥブロックと、
を備える、請求項１４に記載の方法。

【請求項17】

前記ＳＥブロックは、グローバル最大プーリング層と、整流線形ユニット活性化関数を有する第１の全結合層と、シグモイド活性化関数を有する第２の全結合層と、を備える、請求項１６に記載の方法。

【請求項18】

前記訓練済み機械学習モデルは、
ドロップアウト層と、
ソフトマックス分類層と、
を更に備える、請求項１６に記載の方法。

【請求項19】

各被験者が特定のアイコンを見ている間に複数の個々の被験者から収集されるＥＥＧデータを備える訓練データを受信することと、
前記訓練データのＦＦＴを行ってＥＥＧスペクトルデータを取得することと、
前記ＥＥＧスペクトルデータに基づいて、どのアイコンを前記個々の被験者が見ているかを予測するように機械学習モデルを訓練することと、
を含む、方法。

【請求項20】

前記機械学習モデルは、２つのＳＥ－Ｒｅｓブロックを備え、各ＳＥ－Ｒｅｓブロックは、
２次元畳み込み層と、
バッチ正規化層と、
活性化層と、
ＳＥブロックと、
を備え、
前記ＳＥブロックは、グローバル最大プーリング層と、整流線形ユニット活性化関数を有する第１の全結合層と、シグモイド活性化関数を有する第２の全結合層と、を備える、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、車両システムに関し、より具体的には、深層学習を使用して車両内の機能を制御する閉ループのリアルタイムでのＳＳＶＥＰベースのヘッドアップディスプレイに関する。

【背景技術】

【0002】

発生する多くの車両衝突は、不注意運転に起因する。多くの場合、車両内の機能に関与しているか又は車両内の機能を動作させること（例えば、車両に不可欠な構成要素又は制御を用いること）が原因で、運転者は不注意となる。したがって、運転者を不注意にすることなく、運転者による車両内の機能の使用を容易にする技術が望ましい場合がある。

【発明の概要】

【0003】

一実施形態では、車両システムは、コントローラを含み得る。コントローラは、車両のＨＵＤ上に複数のアイコンを表示させ、車両の運転者からＥＥＧデータを受信し、ＥＥＧデータのＦＦＴを行ってＥＥＧスペクトルを取得し、ＥＥＧスペクトルを訓練済み機械学習モデルに入力し、訓練済み機械学習モデルの出力に基づいて、複数のアイコンのうちのどれを運転者が見ているかを決定し、リアルタイムで、訓練済み機械学習モデルの出力に基づいて１つ以上の車両動作を行うようにプログラムされ得る。

【0004】

別の実施形態では、方法は、車両のＨＵＤ上に複数のアイコンを表示させることと、車両の運転者からＥＥＧデータを受信することと、ＥＥＧデータのＦＦＴを行ってＥＥＧスペクトルを取得することと、ＥＥＧスペクトルを訓練済み機械学習モデルに入力することと、訓練済み機械学習モデルの出力に基づいて、複数のアイコンのうちのどれを運転者が見ているかを決定することと、訓練済み機械学習モデルの入力に基づいて１つ以上の車両動作を行うことと、を含み得る。

【0005】

別の実施形態では、方法は、各被験者が特定のアイコンを見ている間に複数の個々の被験者から収集されるＥＥＧデータを備える訓練データを受信することと、訓練データのＦＦＴを行ってＥＥＧスペクトルデータを取得することと、ＥＥＧスペクトルデータに基づいて、どのアイコンを被験者が見ているかを予測するように機械学習モデルを訓練することと、を含み得る。

【図面の簡単な説明】

【0006】

図面に記載される実施形態は、本質的に実例的で例示的なものであって、本開示を限定することを意図したものではない。以下の図面と併せて読むと、実例的な実施形態の以下の詳細な説明を理解することができ、当該図面では、同様の構造は、同様の参照番号を用いて示される。

【0007】

【図1】本明細書で示され記載される１つ以上の実施形態に係る例示的な車両内部を描写する図である。

【図2】本明細書で示され記載される１つ以上の実施形態に係る車両システムの概略図を描写する図である。

【図3】本明細書で示され記載される１つ以上の実施形態に係る、図２の車両システムに関する１つ以上のメモリモジュールの概略図を描写する図である。

【図4】本明細書で示され記載される１つ以上の実施形態に係る、図２の車両システムによって保持される例示的な機械学習モデルの概略図を描写する図である。

【図5】本明細書で示され記載される１つ以上の実施形態に係る、図４の機械学習モデルに関するＳＥブロックの概略図を描写する図である。

【図6】本明細書で示され記載される１つ以上の実施形態に係る、図４の機械学習モデルについての精度対入力サイズのプロットを描写する図である。

【図7】本明細書で示され記載される１つ以上の実施形態に係る、図４の機械学習モデル及び他の３つのモデルについての精度対信号長のプロットを描写する図である。

【図8】本明細書で示され記載される１つ以上の実施形態に係る、図４のモデルを訓練するように図２の車両システムを動作させる方法のフローチャートを描写する図である。

【図9】本明細書で示され記載される１つ以上の実施形態に係る、図４の訓練済みモデルを利用するように図２の車両システムを提供する方法のフローチャートを描写する図である。

【発明を実施するための形態】

【0008】

本明細書で開示される実施形態は、車両におけるＳＳＶＥＰ検出の深層学習についてのシステム及び方法を提供する。定常状態視覚誘発電位（ＳＳＶＥＰ）は、特定の周波数での視覚刺激に対する人間の自然な反応の信号である。個々の網膜が、約３．５Ｈｚから７５Ｈｚまでの範囲の視覚刺激によって刺激されると、個々の脳は、視覚刺激と同じ周波数又は視覚刺激の周波数の倍数の電気的活動を生成する。したがって、このことが、脳活動を監視する方法として利用され得る。

【0009】

本開示の実施形態では、一連のアイコンは、ヘッドアップディスプレイ（ＨＵＤ）を介して車両の運転者に提示される。運転者は、１つの特定のアイコンに自身の目を向けて注視し得、運転者からの脳波は、ウェアラブルヘッドセットを介して、脳波記録（ＥＥＧ）を使用して収集される。本明細書で開示されるような機械学習アルゴリズムは、ＥＥＧ信号をデコードして、運転者の脳で生成されるＳＳＶＥＰ信号に基づいて、どのアイコンを運転者が見ているかを予測するために使用される。したがって、運転者は、道路から自身の目を離すことなく単にＨＵＤ上のアイコンを見ることによって様々な車両機能（例えば、クライメイトコントロール、オーディオ、ナビゲーション、車両設定、及び／又は同種のもの）を動作させ得る。

【0010】

ここで、図を参照して、図１は、車両１００の内部を描写する。運転者１０２は、車両１００の運転座席に着座して車両１００を運転する。本明細書で開示されるように、運転者１０２の脳波を読み取るヘッドマウントデバイス１０４は、運転者１０２によって着用され得る。車両１００のフロントガラス１０６又は他の面は、ＨＵＤ１０８を表示する。実施形態では、ＨＵＤ１０８は、透明ディスプレイであって、当該透明ディスプレイは、フロントガラス１０６又は他の面から目をそらすことなく運転者１０２によって見られ得るテキスト、画像、又は他の情報を表示し、それによって、道路から自身の目を離すことを回避し得る。

【0011】

図１の例では、ＨＵＤ１０８は、アイコン１１０、１１２、１１４、及び１１６を表示する。図１の例では、４つのアイコンがＨＵＤ１０８上に表示されているが、他の例では、任意の数のアイコンが任意の向きでＨＵＤ１０８によって表示され得ることを理解されたい。アイコン１１０、１１２、１１４、１１６は各々、異なる形状及び／又は異なる色を有する。したがって、運転者１０２がアイコン１１０、１１２、１１４、１１６のうちの１つを見ると、どのアイコンを運転者１０２が見ているかに応じて運転者の脳で特定のＳＳＶＥＰ反応がトリガされる。示されている例では、緑色又は黒色及び白色のアイコンが最良の性能を示した。しかしながら、任意の色がアイコンに使用され得る。本明細書で開示されるように、生成される特定のＳＳＶＥＰ反応がヘッドマウントデバイス１０４によって検出され、それによって、どのアイコンを運転者１０２が見ているかを示し得る。

【0012】

ＨＵＤ１０８によって表示されるどのアイコンを運転者１０２が見ているかを検出することによって、運転者１０２は、道路から自身の目を離すことなく、且つ自身の手を用いて任意のボタン又はスイッチを手動で押す必要なく、車両１００の特定の機能を制御し得る。特に、運転者１０２が特定のアイコンを見ているとき、車両１００の車両システムは、どのアイコンが見られているかを認識することができ、ＨＵＤ１０８に追加のアイコン（例えば、サブメニュー）を表示させ得るか、又は特定の車両機能を動作させ得る。例えば、アイコン１１０は、オーディオオプションに関連するサブメニューにつながってもよく、アイコン１１２は、ナビゲーションオプションのサブメニューにつながってもよく、アイコン１１４は、設定のサブメニューにつながってもよく、アイコン１１６は、温度オプションのサブメニューにつながってもよい。サブメニューは、運転者１０２が見ることによって有効にし得る追加のアイコンをＨＵＤ１０８上に表示させ得る。例えば、運転者１０２がアイコン１１６を見ると、サブメニューは、車両１００の暖房又は冷房システムに対して車両温度を運転者１０２に設定させ得る追加のアイコンを表示させ得る。

【0013】

上述のように、ヘッドマウントデバイス１０４は、運転者１０２によって生成される脳波を検出し得る。実施形態では、ヘッドマウントデバイス１０４は、運転者１０２の脳によって生成される電気信号を検出する複数の電極を含み得る。実施形態では、ヘッドマウントデバイス１０４は、脳波記録（ＥＥＧ）を使用して運転者の脳内の電気的活動を測定する。しかしながら、他の例では、ヘッドマウントデバイス１０４は、他の方法で運転者１０２の脳波を検出し得る。以下で更に詳細に述べられるように、ヘッドマウントデバイス１０４によって検出される脳波は、検出脳波を車両１００の車両システムに送信し得る。一例では、ヘッドマウントデバイス１０４は、ｇ．Ｎａｕｔｉｌｕｓ（商標）ヘッドセットデバイスである。しかしながら、他の例では、ヘッドマウントデバイス１０４は、本明細書で開示される機能を行う他のデバイスを含み得る。

【0014】

図２は、図１の車両１００に含まれ得る車両システム２００を描写する。図２の例では、車両システム２００は、１つ以上のプロセッサ２０２と、通信経路２０４と、１つ以上のメモリモジュール２０６と、ネットワークインターフェースハードウェア２０８と、データストレージ構成要素２１０と、を含み、これらの詳細は、以下の段落に記載される。

【0015】

１つ以上のプロセッサ２０２の各々は、機械可読実行可能命令を実行することが可能な任意のデバイスであり得る。したがって、１つ以上のプロセッサ２０２の各々は、コントローラ、集積回路、マイクロチップ、コンピュータ、又は任意の他の計算デバイスであり得る。一部の例では、プロセッサ２０２のうちの１つ以上は、画像処理装置（ＧＰＵ）を備え得る。

【0016】

１つ以上のプロセッサ２０２は、車両システム２００の様々なモジュール間における信号の相互接続を提供する通信経路２０４に接続されている。したがって、通信経路２０４は、任意の数のプロセッサ２０２を互いに通信可能に接続して、分散された計算環境で、通信経路２０４に接続されたモジュールが動作するのを可能にし得る。具体的には、モジュールの各々は、データを送信及び／又は受信し得るノードとして動作し得る。本明細書で使用される「通信可能に接続」という用語は、接続された構成要素が互いに、データ信号、例えば、導電性媒体を介した電気信号、空気を介した電磁信号、光導波路を介した光信号、及び同種のものなどを交換することが可能であることを意味する。

【0017】

したがって、通信経路２０４は、信号を送信することが可能な任意の媒体、例えば、導電性ワイヤ、導電性トレース、光導波路、又は同種のものなどで形成され得る。一部の実施形態では、通信経路２０４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、及び同種のものなどの無線信号の送信を容易にし得る。更に、通信経路２０４は、信号を送信することが可能な媒体の組合せで形成され得る。一実施形態では、通信経路２０４は、導電性トレース、導電性ワイヤ、コネクタ、及びバスの組合せを備え、これらは、プロセッサ、メモリ、センサ、入力デバイス、出力デバイス、及び通信デバイスなどの構成要素への電気データ信号の送信を可能にするように協働する。したがって、通信経路２０４は、車両バス、例えば、ＬＩＮバス、ＣＡＮバス、ＶＡＮバス、及び同種のものなどを備え得る。更に、「信号」という用語は、媒体を通って進むことが可能な、ＤＣ、ＡＣ、正弦波、三角波、矩形波、振動、及び同種のものなどの波形（例えば、電気波形、光波形、磁気波形、機械的波形、又は電磁波形）を意味することに留意されたい。

【0018】

車両システム２００は、通信経路２０４に接続された１つ以上のメモリモジュール２０６を含む。１つ以上のメモリモジュール２０６は、機械可読実行可能命令が１つ以上のプロセッサ２０２によってアクセスされ得るように機械可読実行可能命令を記憶することが可能な、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、又は任意のデバイスを含み得る。機械可読実行可能命令は、任意の世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、又は５ＧＬ）の任意のプログラミング言語、例えば、プロセッサによって直接的に実行され得る機械言語、又は機械可読実行可能命令にコンパイル若しくはアセンブルされて１つ以上のメモリモジュール２０６上に記憶され得る、アセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、スクリプト言語、マイクロコードなどで書かれたロジック又はアルゴリズムを備え得る。代替的に、機械可読実行可能命令は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成若しくは特定用途向け集積回路（ＡＳＩＣ）又はそれらと同等のものを介して実装されるロジックなどのハードウェア記述言語（ＨＤＬ）で書かれ得る。したがって、本明細書に記載される方法は、予めプログラムされたハードウェア要素として、又はハードウェア構成要素及びソフトウェア構成要素の組合せとして、任意の慣習的なコンピュータプログラミング言語で実装され得る。

【0019】

依然、図２を参照して、車両システム２００は、車両システム２００をヘッドマウントデバイス１０４に対して通信可能に接続するネットワークインターフェースハードウェア２０８を含む。一部の例では、ネットワークインターフェースハードウェア２０８はまた、遠隔計算デバイス（例えば、クラウドサーバ若しくはエッジサーバ）又は他の車両などを含む１つ以上の他の外部デバイスに車両システム２００を接続し得る。ネットワークインターフェースハードウェア２０８は、通信経路２０４に対して通信可能に接続され得、ネットワークを介して、又はヘッドマウントデバイス１０４とのハードワイヤード接続（例えば、ケーブル接続）を介して、データを送信及び／又は受信することが可能な任意のデバイスであり得る。一部の例では、ネットワークインターフェースハードウェア２０８は、任意の有線又は無線通信を送信及び／又は受信する通信送受信機を含み得る。例えば、ネットワークインターフェースハードウェア２０８は、ヘッドマウントデバイス１０４並びに／又は他のネットワーク及び／若しくはデバイスと通信するために、アンテナ、モデム、ＬＡＮポート、Ｗｉ－Ｆｉカード、ＷｉＭａｘカード、モバイル通信ハードウェア、近距離通信ハードウェア、衛星通信ハードウェア、及び／又は任意の有線若しくは無線ハードウェアを含み得る。一実施形態では、ネットワークインターフェースハードウェア２０８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信プロトコルに従って動作するように構成されたハードウェアを含む。示されている例では、以下で更に詳細に開示されるように、車両システム２００のネットワークインターフェースハードウェア２０８は、ヘッドマウントデバイス１０４によって収集される脳波データを受信し得る。

【0020】

依然、図２を参照して、車両システム２００は、データストレージ構成要素２１０を含む。データストレージ構成要素２１０は、車両システム２００の様々な構成要素によって使用されるデータを記憶し得る。特に、データストレージ構成要素２１０は、ヘッドマウントデバイス１０４から受信される脳波データを記憶し得る。データストレージ構成要素２１０はまた、本明細書で開示されるように、ヘッドマウントデバイス１０４からの脳波データを分析するために車両システム２００によって保持されるモデルのパラメータを記憶し得る。

【0021】

ここで、図３を参照して、車両システム２００の１つ以上のメモリモジュール２０６は、訓練データ受信モジュール３００と、脳波データ受信モジュール３０２と、データフィルタモジュール３０４と、データセグメンテーションモジュール３０６と、高速フーリエ変換（ＦＦＴ）モジュール３０８と、モデル訓練モジュール３１０と、アイコン検出モジュール３１２と、車両システム動作モジュール３１４と、アイコンカラー調整モジュール３１６と、を含む。訓練データ受信モジュール３００、脳波データ受信モジュール３０２、データフィルタモジュール３０４、データセグメンテーションモジュール３０６、ＦＦＴモジュール３０８、モデル訓練モジュール３１０、アイコン検出モジュール３１２、車両システム動作モジュール３１４、及びアイコンカラー調整モジュール３１６の各々は、オペレーティングシステムの形態のプログラムモジュール、アプリケーションプログラムモジュール、及び１つ以上のメモリモジュール２０６に記憶される他のプログラムモジュールであり得る。このようなプログラムモジュールは、以下に記載されるように特定のタスクを行うか又は特定のデータタイプを実行するためにルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造、及び同種のものを含み得るが、これらに限定されない。

【0022】

一部の例では、プログラムモジュールは、車両システム２００と通信し得る遠隔ストレージデバイスに記憶され得る。一部の例では、メモリモジュール２０６のうちの１つ以上の機能は、車両システム２００に対して通信可能に接続された遠隔計算デバイス（例えば、エッジサーバ又はクラウド計算デバイス）によって行われ得る。例えば、車両システム２００は、処理のために、ヘッドマウントデバイス１０４から受信されるデータをクラウドサーバに送信し得る。

【0023】

訓練データ受信モジュール３００は、本明細書で開示されるように、車両システム２００によって保持されるモデルを訓練するために使用され得る訓練データを受信するプログラミング命令を含み得る。モデルが訓練された後、モデルは、本明細書で開示されるように、ＨＵＤ１０８上に表示されるどのアイコンを運転者１０２が見ているかを決定するようにリアルタイムで動作し得る。加えて、モデルが訓練された後、モデルは、追加の訓練データを用いて定期的に更新及び再訓練され得る。一部の例では、訓練データ受信モジュール３００は、ヘッドマウントデバイス１０４から訓練データを受信するプログラミング命令を含み得る。他の例では、訓練データ受信モジュール３００は、別のソース（例えば、訓練データを収集する計算デバイス）から訓練データを受信するプログラミング命令を含み得る。

【0024】

実施形態では、訓練データ受信モジュール３００によって受信される訓練データは、各被験者が訓練セッション中にヘッドマウントデバイス１０４を着用しながら特定のアイコンを見ている間に複数の個々の被験者から収集されるＥＥＧデータを含む。一部の例では、訓練セッションは、被験者が車両１００内にいる間に行われる。他の例では、訓練セッションは、車両１００の内部をシミュレートしたシミュレーション環境に被験者がいる間に行われ得る。

【0025】

訓練セッション中にデータを収集している間、電気的アーチファクト及び／又は動きに対する弱さを低減するためにインピーダンスを５ｋΩ未満にするように、ヘッドマウントデバイス１０４の電極と被験者の肌との間に導電性ペーストが施され得る。頭頂葉からの信号の方が、低いＳＳＶＥＰ電位を有するが、頭頂領域、及び後頭領域における視覚野からのチャネルは、ＳＳＶＥＰを記録するのに理想的な選択である。

【0026】

実施形態では、頭皮電極の場所を記載する国際１０－２０システムに基づいて、ヘッドマウントデバイス１０４の１６個の電極を、Ｆｚ、Ｃｚ、ＣＰｚ、Ｐ１、Ｐｚ、Ｐ２、ＰＯ３、ＰＯｚ、ＰＯ４、ＰＯ７、ＰＯ８、Ｏ１、Ｏｚ、Ｏ２、ＴＰ９、及びＴＰ１０に配置した。基準電極は、乳様突起に接続され、接地電極は、ＡＦｚに接続される。しかしながら、他の例では、ヘッドマウントデバイス１０４の電極は、他の場所に配置され得る。示されている例では、データは、５００Ｈｚの分解能でヘッドマウントデバイス１０４によって収集される。しかしながら、他の例では、ヘッドマウントデバイス１０４は、任意の他の分解能でデータを収集し得る。

【0027】

実施形態では、各被験者から収集される訓練データは、較正データセットを含む。すなわち、訓練セッション中に所定の間隔でＨＵＤ１０８を介して特定のセットのアイコンを被験者に提示して、訓練セッション中に所定のパターンでセット内の特定のアイコンを見るように個々に指示する。したがって、訓練セッション中の各時点でどのアイコンを個々が見ているかは分かっている。したがって、ＥＥＧデータは、訓練セッション中にヘッドマウントデバイス１０４から収集され得、訓練セッション中に被験者が見ているアイコンは、モデルを訓練するためにグラウンドトゥルース値として使用され得る。

【0028】

示されている例では、訓練セッション中に３秒間、各セットのアイコンをＨＵＤ１０８上に表示させて、当該３秒間、特定のアイコンを見るように被験者に指示する。複数の異なるセットのアイコンが、所定のパターン又はランダムパターンで被験者に表示され得る。各アイコンは、被験者による異なるＳＳＶＥＰ反応をトリガすることを意図したものである。したがって、示されている例では、訓練データは、特定のセットのアイコンが被験者に表示されている間に３秒間隔で収集される。しかしながら、他の例では、当該セットのアイコンは、３秒よりも長い時間又は短い時間で表示され得、データは、対応する時間間隔で収集され得る。訓練データ受信モジュール３００が訓練データを受信した後、訓練データは、以下で更に詳細に述べられるように、車両システム２００によって保持されるモデルを訓練するために使用され得る。

【0029】

依然、図３を参照して、脳波データ受信モジュール３０２は、本明細書で開示されるように、リアルタイムでの動作中にヘッドマウントデバイス１０４から脳波データを受信するプログラミング命令を含み得る。特に、モデルが訓練されると、ヘッドマウントデバイス１０４からの脳波データは、運転者１０２がＨＵＤ１０８上で特定のアイコンを見ている間に受信され得る。脳波データ受信モジュール３０２によって受信される脳波データは、本明細書で開示されるように、どのアイコンを運転者１０２が見ているかを決定するために訓練済みモデルに入力され得る。次いで、本明細書で開示されるように、どのアイコンを運転者１０２が見ているかに応じて、車両１００の特定の車両機能を動作させ得る。

【0030】

依然、図３を参照して、データフィルタモジュール３０４、データセグメンテーションモジュール３０６、及びＦＦＴモジュール３０８は、本明細書で開示されるように、データがモデルに入力される前にデータ前処理を行うプログラミング命令を含み得る。特に、データフィルタモジュール３０４は、訓練データ受信モジュール３００又は脳波データ受信モジュール３０２によって受信される脳波データをフィルタリングするプログラミング命令を含み得る。データフィルタモジュール３０４は、環境ノイズを除去してＳＳＶＥＰ周波数に関連するデータを維持するように受信脳波データにフィルタを適用するプログラミング命令を含み得る。示されている例では、データフィルタモジュール３０４は、３Ｈｚ～４０Ｈｚで４次のバターワースバンドパスフィルタを適用する。しかしながら、他の例では、他のタイプのフィルタが使用され得る。

【0031】

依然、図３を参照して、データセグメンテーションモジュール３０６は、訓練データ受信モジュール３００又は脳波データ受信モジュール３０２によって受信される脳波データをセグメント化するプログラミング命令を含み得る。示されている例では、データセグメンテーションモジュール３０６は、受信脳波データを０．２５秒のセグメントにセグメント化するプログラミング命令を含む。しかしながら、他の例では、他のデータセグメント長が使用され得る。

【0032】

依然、図３を参照して、ＦＦＴモジュール３０８は、データフィルタモジュール３０４によってフィルタリングされてデータセグメンテーションモジュール３０６によってセグメント化されるデータに対して高速フーリエ変換（ＦＦＴ）を行い得る。特に、ＦＦＴモジュール３０８は、データセグメンテーションモジュール３０６によって生成される各データセグメントについて複素スペクトルを取得するプログラミング命令を含む。ＦＦＴモジュール３０８によって取得される複素スペクトルは、以下のように表され得る。

【数1】

ここで、Ｒｅ｛ＦＦＴ（ｉｎｐｕｔ（入力））｝は実部であって、Ｉｍ｛ＦＦＴ（ｉｎｐｕｔ（入力））｝は時間セグメント入力の虚部である。すなわち、大きさ及び位相情報は、本明細書で開示されるように、モデルへの入力として結合及び提供される。

【0033】

示されている例では、ＦＦＴモジュール３０８は、３Ｈｚの開始周波数及び３５Ｈｚの終了周波数を使用する。しかしながら、他の例では、他の開始周波数及び終了周波数が使用され得る。ＦＦＴベクトルの長さは、以下の式を使用して取得され得る。

【数2】

【0034】

依然、図３を参照して、モデル訓練モジュール３１０は、本明細書で開示されるように、車両システム２００によって保持されるモデルを訓練するプログラミング命令を含み得る。特に、モデル訓練モジュール３１０は、上述のようにデータフィルタモジュール３０４、データセグメンテーションモジュール３０６、及びＦＦＴモジュール３０８によって前処理された訓練データを受信して、脳波データに基づいて、ＨＵＤ１０８上のどのアイコンを運転者１０２が見ているかを予測するようにモデルを訓練するプログラミング命令を含み得る。

【0035】

車両システム２００によって保持されるモデル４００の例示的なアーキテクチャは、図４に示される。図４の例では、モデル４００は、畳み込みニューラルネットワーク（ＣＮＮ）を含む。モデル４００は、エンドツーエンドシステムとして動作し、当該エンドツーエンドシステムは、マルチチャネルＥＥＧ信号を入力として受信して、運転者１０２によって見られている４つのアイコンのうちの１つを示す４つの異なるカテゴリのうちの１つに当該信号を分類する。モデル４００は、残差ニューラルネットワーク（ＲｅｓＮｅｔ）アーキテクチャと、圧搾及び励起（ＳＥ）ブロックと、を含む。ＲｅｓＮｅｔアーキテクチャは、入力データから特徴を抽出するための顕著な能力を示している。図４のモデル４００では、ＲｅｓＮｅｔアーキテクチャは、モデルの特徴抽出能力を更に増加させるためにＳＥブロックと結合されている。

【0036】

図４の例では、ＳＥブロックは、チャネル相互依存性を改善し、重大な特徴を強調することを担っている。ＳＥブロックは、特徴マップに重みを割り当てることによって特徴マップの重要性に基づいて、各特徴マップを異なるようにモデルに処理させる。ＳＥブロックは、様々なアプリケーションでモデル性能を劇的に改善することができる。

【0037】

図４の例では、モデル４００は、畳み込みブロック４０２と、第１のＳＥ－Ｒｅｓブロック４０４と、第２のＳＥ－Ｒｅｓブロック４０６と、分類器ブロック４０８と、を含む。畳み込みブロック４０２は、２次元畳み込み層４１０と、バッチ正規化層４１２と、整流化線形ユニット（ＲｅＬｕ）活性化層４１４と、を含む。第１のＳＥ－Ｒｅｓブロック４０４は、２次元畳み込み層４１６と、バッチ正規化層４１８と、ＲｅＬｕ活性化層４２０と、ＳＥブロック４２２と、を含む。第２のＳＥ－Ｒｅｓブロック４０６は、２次元畳み込み層４２４と、バッチ正規化層４２６と、ＲｅＬｕ活性化層４２８と、ＳＥブロック４３０と、を含む。分類噐ブロック４０８は、ドロップアウト層４３２と、４つのユニットを有する全結合層と、ソフトマックス分類噐４３６と、を含む。図４に示されるように、第１のＳＥ－ｒｅｓブロック４０４への入力は、第１のＳＥ－ｒｅｓブロック４０４の出力に合計される。同様に、第２のＳＥ－ｒｅｓブロック４０６への入力は、第２のＳＥ－ｒｅｓブロック４０６の出力に合計される。

【0038】

第１のＳＥ－Ｒｅｓブロック４０４のＳＥブロック４２２のアーキテクチャは、図５に示される。第２のＳＥ－Ｒｅｓブロック４０６のＳＥブロック４３０は、同様に構築される。ＳＥブロック４２２は、入力層５００と、グローバル最大プーリング層５０２と、第１の全結合層５０４と、ＲｅＬｕ活性化層５０６と、第２の全結合層５０８と、シグモイド活性化層５１０と、再構成層５１２と、を含む。第１の全結合層５０４は、入力の数の２分の１に等しいユニット数を有し、第２の全結合層５０８は、入力の数に等しいユニット数を有する。全結合層５０４及び５０８は、最終的なラベルで特徴マップの重要性に基づいて各特徴マップにスコアを与えることを担っている。次いで、スコアは、乗算によって入力特徴に適用される。

【0039】

図４に戻って参照して、ドロップアウト層４３２は、モデル４００を訓練するために使用される特定の訓練データへの過適合を防止するのに役立つ。示されている例では、０．２５のドロップアウト値が使用される。しかしながら、他の例では、他のドロップアウト値が使用され得る。図４の例では、モデル４００への入力は、形状のテンソル（Ｃ，Ｆ，１）であって、ここで、Ｃは入力チャネルであって、ＦはＦＦＴアルゴリズムの出力である。モデル４００の出力は、入力データが属するクラスを示すサイズ４のベクトルであって、これは、データが収集されたときにどのアイコンを運転者１０２が見ていたかを示す。

【0040】

示されている例では、モデル４００は、Ｋｅｒａｓフレームワークで実装される。しかしながら、他の例では、他のフレームワークが使用され得る。示されている例では、０．００１の学習率及び３２のバッチサイズが使用された。しかしながら、他の例では、他の学習率及び／又はバッチサイズが使用され得る。

【0041】

示されている例では、モデル４００の精度は、図６に示されるように０．２５秒のステップサイズで０．２５秒から３秒までの範囲の異なる入力サイズを用いてテストされた。図６で分かるように、最高の精度は、１秒の入力サイズで実現された。したがって、示されている例では、１秒の入力サイズが使用される。しかしながら、他の例では、異なる入力サイズが使用され得る。

【0042】

図３に戻って参照して、モデル訓練モジュール３１０は、車両システム２００によって保持される図４のモデル４００を訓練するプログラミング命令を含み得る。特に、モデル訓練モジュール３１０は、データがデータフィルタモジュール３０４、データセグメンテーションモジュール３０６、及びＦＦＴモジュール３０８によって前処理された後に、訓練データ受信モジュール３００によって受信される訓練データ及びグラウンドトゥルース値に基づいてモデル４００を訓練するプログラミング命令を含み得る。示されている例では、モデル訓練モジュール３１０は、早期終了法を使用して最大５０エポックで、Ａｄａｍ最適化アルゴリズム、及び損失関数としてのバイナリクロスエントロピーを用いてエンドツーエンドの方法でモデル４００を訓練するプログラミング命令を含む。しかしながら、他の例では、モデル訓練モジュール３１０は、異なる最適化アルゴリズム、異なる損失関数、及び／又は異なるエポック数を使用するプログラミング命令を含み得る。モデル訓練モジュール３１０がモデル４００を訓練した後、学習したモデルパラメータは、データストレージ構成要素２１０に記憶され得る。

【0043】

本明細書で開示されるモデル４００をテストするために、いくつかの他のモデルに対してモデル４００の精度を比較した。特に、本開示のモデル４００、並びに正準相関（ＣＣＡ）、拡張正準相関（ｅＣＣＡ）、及びユーザ非依存の複素スペクトル特徴（ＵＩ－Ｃ－ＣＮＮ）を含むいくつかの既知の方法に対して、同じ訓練データを使用した。図７は、様々な信号長に関するこれらのモデルについての各々の平均精度を示す。図７に示されるように、本開示のモデルは、任意の信号長について、これらの既知のモデルよりも優れた性能である。

【0044】

図３に戻って参照して、アイコン検出モジュール３１２は、モデル訓練モジュール３１０によって訓練された後のモデル４００を使用してリアルタイムで、ＨＵＤ１０８上で運転者１０２によって見られているアイコンを検出するプログラミング命令を含む。特に、運転者１０２がＨＵＤ１０８上のアイコンを見ている間、ヘッドマウントデバイス１０４は、運転者からＥＥＧ信号を取り込んで、当該信号を脳波データ受信モジュール３０２に送信し得る。受信信号は、データフィルタモジュール３０４、データセグメンテーションモジュール３０６、及びＦＦＴモジュール３０８によって前処理され得る。次いで、アイコン検出モジュール３１２は、前処理された信号を訓練済みモデル４００に入力し得、モデルは、入力信号に基づいて、どのアイコンを運転者１０２が見ているかに関する予測を出力し得る。

【0045】

依然、図３を参照して、車両システム動作モジュール３１４は、運転者１０２が見ていることをアイコン検出モジュール３１２が決定したアイコンに基づいて１つ以上の車両動作を行うプログラミング命令を含み得る。一例では、車両システム動作モジュール３１４は、運転者１０２によって見られているアイコンに基づいて、異なるセットのアイコン（例えば、アイコンのサブメニュー）をＨＵＤ１０８に表示させ得る。別の例では、車両システム動作モジュール３１４は、運転者１０２によって見られているアイコンに基づいて車両１００の機能を終了、開始、又は修正させ得る。

【0046】

図１の例では、運転者１０２によって見られているＨＵＤ１０８上のアイコンは、アイコンのサブメニューを車両システム動作モジュール３１４に表示させ得る。例えば、運転者１０２がアイコン１１０を見ている場合、車両システム動作モジュール３１４は、オーディオオプションに関連するサブメニューを表示させてもよく、運転者１０２がアイコン１１２を見ている場合、車両システム動作モジュール３１４は、ナビゲーションオプションに関連するサブメニューを表示させてもよく、運転者１０２がアイコン１１４を見ている場合、車両システム動作モジュール３１４は、設定に関連するサブメニューを表示させてもよく、運転者１０２がアイコン１１６を見ている場合、車両システム動作モジュール３１４は、温度オプションに関連するサブメニューを表示させてもよい。

【0047】

サブメニューは、車両に関する様々なオプション又は設定を調整するアイコンを含み得る。例えば、運転者１０２がアイコン１１６を見た後、ＨＵＤ１０８は、温度設定に関連する様々なアイコンを有するサブメニューを表示させ得る。特に、サブメニューのアイコンのうちの１つは、空調に関するものであり得、その結果、運転者１０２がこのアイコンを見ると、車両システム動作モジュール３１４は、車両１００の空調を開始させる。

【0048】

図３に戻って参照して、アイコンカラー調整モジュール３１６は、本明細書で開示されるように、ＨＵＤ１０８によって表示されるアイコンの１つ以上のカラーを調整するプログラミング命令を含み得る。研究により、一部の人が特定の色をより充分に認識できることが示されている。したがって、アイコンカラー調整モジュール３１６は、運転者１０２によってより充分に認識されるように、ＨＵＤ１０８によって表示されるアイコンの色を調整し得る。

【0049】

一例では、ＨＵＤ１０８がアイコンのサブメニューを表示させる場合、アイコンのうちの１つは、前のメニューに戻るために使用され得る。これにより、運転者１０２は、運転者１０２が間違ったメニューを不注意で選択した場合に、前のメニューに戻って異なるサブメニューを選択することが可能であり得る。運転者１０２がこの機能を頻繁に利用している場合、運転者１０２が、ＨＵＤ１０８によって表示されているアイコンの色を異なるように認識していて、これにより、間違ったアイコンを運転者１０２に選択させていることを示し得る。

【0050】

したがって、実施形態では、アイコンカラー調整モジュール３１６は、運転者１０２が前のメニューに戻るアイコンを見て選択する回数を監視するプログラミング命令を含み得る。運転者１０２が、特定の所定期間に所定の閾値回数よりも多く、これらのアイコンのうちの１つを利用していることをアイコンカラー調整モジュール３１６が決定する場合、アイコンカラー調整モジュール３１６は、アイコンをより充分に認識するように運転者１０２を支援して、間違ったアイコンを選択する運転者１０２の頻度を低減するために、ＨＵＤ１０８によって表示されているアイコンのうちの１つ以上の色を調整し得る。一部の例では、この決定が行われると、アイコンカラー調整モジュール３１６は、ＨＵＤ１０８によって表示されているアイコンの全ての色を調整し得る。他の例では、アイコンカラー調整モジュール３１６は、運転者１０２が最も頻繁に間違って選択しているアイコンの色を識別し得、そのアイコンの色のみを調整し得る。

【0051】

図８は、モデル４００を訓練するように車両システム２００を動作させる例示的な方法のフローチャートを描写する。ステップ８００で、訓練データ受信モジュール３００は、訓練データを受信する。上述のように、訓練データは、ＨＵＤ１０８上の特定のアイコンを見ている間に、ヘッドマウントデバイス１０４を着用している複数の運転者から収集されるＥＥＧデータを含み得る。訓練データは、各時間ステップの間にどのアイコンを各運転者が見ていたかを示すグラウンドトゥルース値を含み得る。

【0052】

ステップ８０２で、データフィルタモジュール３０４は、訓練データ受信モジュール３００によって受信される訓練データをフィルタリングする。示されている例では、データフィルタモジュール３０４は、３Ｈｚ～４０Ｈｚでバターワースバンドパスフィルタを適用する。しかしながら、他の例では、データフィルタモジュール３０４は、他の周波数範囲で他のタイプのフィルタを適用し得る。

【0053】

ステップ８０４で、データセグメンテーションモジュール３０６は、訓練データ受信モジュール３００によって受信される訓練データのデータセグメンテーションを行う。示されている例では、データセグメンテーションモジュール３０６は、訓練データを０．２５秒の間隔にセグメント化する。しかしながら、他の例では、データセグメンテーションモジュール３０６は、訓練データを他の長さの間隔にセグメント化し得る。

【0054】

ステップ８０６で、ＦＦＴモジュール３０８は、訓練データ受信モジュール３００によって受信される訓練データに対してＦＦＴを行う。示されている例では、ＦＦＴモジュール３０８は、３Ｈｚ及び３５Ｈｚの開始周波数及び終了周波数を使用する。しかしながら、他の例では、異なる開始周波数及び／又は終了周波数が使用され得る。

【0055】

ステップ８０８で、モデル訓練モジュール３１０は、上述の技術を使用して、訓練データ受信モジュール３００によって受信される訓練データに基づいてモデル４００を訓練する。示されている例では、モデル訓練モジュール３１０は、０．００１の学習率及び３２のバッチサイズを使用して、損失関数としてバイナリクロスエントロピーを有するＡｄａｍ最適化アルゴリズムを使用してモデル４００を訓練する。しかしながら、他の例では、モデル訓練モジュール３１０は、他の最適化アルゴリズム、損失関数、学習率、及びバッチサイズを使用し得る。モデル訓練モジュール３１０がモデル４００を訓練した後、ステップ８１０で、モデル訓練モジュール３１０は、学習したパラメータをデータストレージ構成要素２１０に記憶する。

【0056】

図９は、モデル４００が訓練された後、車両システム２００を動作させる例示的な方法のフローチャートを描写する。ステップ９００で、脳波データ受信モジュール３０２は、ＨＵＤ１０８上に表示されるアイコンのうちの１つを運転者が見ている間に、運転者１０２によって着用されるヘッドマウントデバイス１０４から脳波データ（例えば、ＥＥＧデータ）を受信する。ステップ９０２で、データフィルタモジュール３０４は、上述のように、脳波データ受信モジュール３０２によって受信される脳波データをフィルタリングする。ステップ９０４で、データセグメンテーションモジュール３０６は、上述のように、脳波データ受信モジュール３０２によって受信される脳波データのデータセグメンテーションを行う。ステップ９０６で、ＦＦＴモジュール３０８は、上述のように、脳波データ受信モジュール３０２によって受信される脳波データに対してＦＦＴを行う。

【0057】

ステップ９０８で、アイコン検出モジュール３１２は、前処理された脳波データを訓練済みモデル４００に入力する。次いで、モデル４００は、どのアイコンを運転者１０２が見ているかに関する予測を出力する。次いで、ステップ９１０で、車両システム動作モジュール３１４は、モデル４００の出力に基づいて車両システム２００の動作を行う。

【0058】

ここで、本明細書に記載される実施形態は、深層学習を使用して車両内の機能を制御する閉ループのリアルタイムでのＳＳＶＥＰベースのヘッドアップディスプレイを対象としていることを理解されたい。本明細書で開示されるように、車両システムによって保持されるモデルは、ＥＥＧデータに基づいて、ＨＵＤのどのアイコンを運転者が見ているかを予測するように訓練され得る。リアルタイムでの動作中、ＥＥＧデータは、ヘッドマウントデバイスを着用している車両運転者から受信されて、訓練済みモデルに入力され得る。訓練済みモデルは、車両のＨＵＤ上のどのアイコンを運転者が見ているかを予測し得る。次いで、車両システムは、モデルの出力に基づいて１つ以上の車両動作を行い得る。本明細書で開示される実施形態の機械学習アーキテクチャ及び訓練方法は、どのアイコンを運転者が見ているかを既知の方法よりも迅速且つ正確に予測し、それによって、車両が運転されている間のリアルタイムでの動作を可能にし得る。

【0059】

「実質的」及び「約」という用語は、任意の定量的な比較、値、測定、又は他の表現に起因し得る、内在する不確実性の程度を表すために本明細書で利用され得ることに留意されたい。これらの用語はまた、定量的な表現が、問題となる主題の基本的な機能の変化をもたらすことなく、述べられた基準から変わり得る程度を表すために本明細書で利用される。

【0060】

特定の実施形態が本明細書に示され記載されているが、様々な他の変更及び修正が、請求された主題の趣旨及び範囲から逸脱することなく行われ得ることを理解されたい。更に、請求された主題の様々な態様が本明細書に記載されているが、当該態様は、組み合わされて利用される必要はない。したがって、添付の特許請求の範囲は、請求された主題の範囲内にある全ての当該変更及び修正を包含することが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】