(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189809
(43)【公開日】2022-12-22
(54)【発明の名称】車両内において使用される機械学習モデルを再構成するための超音波システム及び方法
(51)【国際特許分類】
G01S 15/931 20200101AFI20221215BHJP
G08G 1/16 20060101ALI20221215BHJP
G06N 20/00 20190101ALI20221215BHJP
【FI】
G01S15/931
G08G1/16 C
G06N20/00
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022094188
(22)【出願日】2022-06-10
(31)【優先権主張番号】17/303,990
(32)【優先日】2021-06-11
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
【住所又は居所原語表記】Stuttgart, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】リサ マリオン ガルシア
(72)【発明者】
【氏名】アビナヤ クマール
(72)【発明者】
【氏名】ファビオ チェッキ
(72)【発明者】
【氏名】ジャヤンタ クマール ドゥッタ
(72)【発明者】
【氏名】ユルゲン シュミット
(72)【発明者】
【氏名】マーク ウィルソン
(72)【発明者】
【氏名】ミヒャエル チョルツェウスキー
(72)【発明者】
【氏名】ミヒャエル シューマン
(72)【発明者】
【氏名】ナヴィーン ラマクリシュナン
(72)【発明者】
【氏名】ラヴィ クマール サツォダ
(72)【発明者】
【氏名】ティモ プフロンマー
(72)【発明者】
【氏名】トビアス ヴィンガート
【テーマコード(参考)】
5H181
5J083
【Fターム(参考)】
5H181AA01
5H181BB12
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181FF04
5H181FF22
5H181FF27
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181LL17
5J083AA02
5J083AB13
5J083AC29
5J083AD04
5J083AE10
5J083AF10
(57)【要約】
【課題】再構成可能な機械学習モデルを作成するための方法及びシステムが開示される。
【解決手段】機械学習モデルに対するトレーニングプロセス中に取得される固定された特徴値を含むように、固定されたパラメータモデルが作成される。固定されたパラメータモデルは、固定された基礎分類器を含み得るものであり、固定された基礎分類器は、車両の近傍で超音波システムによって検出されたオブジェクトを分類するために機械学習モデルによって使用される。固定された特徴値とは異なる特徴値を含むように、構成可能なパラメータモデルを作成することができ、構成可能なパラメータモデルは、修正された基礎分類器を含む。車両コントローラは、構成可能なパラメータモデルを受信し、それにより固定されたパラメータモデルを更新することができる。機械学習モデルは、超音波システムによって検出されたオブジェクトを分類するために、構成可能なパラメータモデルを使用するように更新可能である。
【選択図】
図6
【特許請求の範囲】
【請求項1】
再構成可能な機械学習モデルを作成するための方法であって、
前記機械学習モデルに対するトレーニングプロセス中に取得される固定された特徴値を含み、かつ、車両の近傍で超音波システムによって検出されたオブジェクトを分類するために前記機械学習モデルによって使用される固定された基礎分類器も含む、固定されたパラメータモデルを作成することと、
前記固定された特徴値とは異なる構成された特徴値を含み、かつ、修正された基礎分類器を含む、構成可能なパラメータモデルを生成することことと、
前記車両内のコントローラと通信して、前記固定されたパラメータモデルを前記構成可能なパラメータモデルによって更新することであって、前記機械学習モデルは、前記超音波システムによって検出された前記オブジェクトを分類するために、前記構成可能なパラメータモデルを使用するように更新される、ことと、
を含む方法。
【請求項2】
前記固定されたパラメータモデルと、前記構成可能なパラメータモデルとは、決定木配列を使用して設計される、
請求項1に記載の方法。
【請求項3】
前記決定木配列は、前記固定された特徴値を含む、
請求項2に記載の方法。
【請求項4】
前記決定木配列は、種々のデータクラス間の1つ又は複数の分割閾値を含む、
請求項2に記載の方法。
【請求項5】
前記決定木配列は、1つ又は複数の無効値の割り当てを含む、
請求項2に記載の方法。
【請求項6】
前記決定木配列は、1つ又は複数の欠測値の割り当てを含む、
請求項2に記載の方法。
【請求項7】
前記コントローラとの通信は、無線の通信プロトコルを使用して確立される、
請求項1に記載の方法。
【請求項8】
前記コントローラとの通信は、有線の通信プロトコルを使用して確立される、
請求項1に記載の方法。
【請求項9】
前記固定されたパラメータモデルを前記構成可能なパラメータモデルによって更新する前に、前記構成可能なパラメータモデルが前記機械学習モデルによってテストされる、
請求項1に記載の方法。
【請求項10】
前記固定されたパラメータモデルは、静的な値を含み、
前記構成可能なパラメータモデルは、前記静的な値を更新するために使用される、
請求項1に記載の方法。
【請求項11】
再構成可能な機械学習モデルを作成するためのシステムであって、
当該システムは、コントローラを含み、
前記コントローラは、
前記機械学習モデルに対するトレーニングプロセス中に取得される固定された特徴値を含み、かつ、車両の近傍で超音波システムによって検出されたオブジェクトを分類するために前記機械学習モデルによって使用される固定された基礎分類器も含む、固定されたパラメータモデルを格納し、
前記固定された特徴値とは異なる構成された特徴値を含み、かつ、修正された基礎分類器を含む、構成可能なパラメータモデルを受信し、
前記固定されたパラメータモデルを前記構成可能なパラメータモデルによって更新する
ように構成されており、
前記機械学習モデルは、前記超音波システムによって検出された前記オブジェクトを分類するために、前記構成可能なパラメータモデルを使用するように更新される、
システム。
【請求項12】
前記固定されたパラメータモデルと、前記構成可能なパラメータモデルとは、決定木配列を使用して設計される、
請求項11に記載のシステム。
【請求項13】
前記決定木配列は、前記固定された特徴値を含む、
請求項12に記載のシステム。
【請求項14】
前記決定木配列は、種々のデータクラス間の1つ又は複数の分割閾値を含む、
請求項12に記載のシステム。
【請求項15】
前記決定木配列は、1つ又は複数の無効値の割り当てを含む、
請求項12に記載のシステム。
【請求項16】
前記決定木配列は、1つ又は複数の欠測値の割り当てを含む、
請求項12に記載のシステム。
【請求項17】
前記コントローラとの通信は、無線の通信プロトコルを使用して確立される、
請求項11に記載のシステム。
【請求項18】
前記固定されたパラメータモデルを前記構成可能なパラメータモデルによって更新する前に、前記構成可能なパラメータモデルが前記機械学習モデルによってテストされる、
請求項11に記載のシステム。
【請求項19】
前記固定されたパラメータモデルは、静的な値を含み、
前記構成可能なパラメータモデルは、前記静的な値を更新するために使用される、
請求項11に記載のシステム。
【請求項20】
機械学習モデルを作成するように操作可能な非一時的コンピュータ可読媒体であって、
当該非一時的コンピュータ可読媒体には、コンピュータ可読命令が格納されており、
前記コンピュータ可読命令は、以下のこと、即ち、
前記機械学習モデルに対するトレーニングプロセス中に取得される固定された特徴値を含み、かつ、車両の近傍で超音波システムによって検出されたオブジェクトを分類するために前記機械学習モデルによって使用される固定された基礎分類器も含む、固定されたパラメータモデルを格納することと、
前記固定された特徴値とは異なる構成された特徴値を含み、かつ、修正された基礎分類器を含む、構成可能なパラメータモデルを受信することと、
前記固定されたパラメータモデルを前記構成可能なパラメータモデルによって更新することであって、前記機械学習モデルは、前記超音波システムによって検出された前記オブジェクトを分類するために、前記構成可能なパラメータモデルを使用するように更新される、ことと、
を実施するために実行されるように操作可能である、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
以下は、概して、超音波センサシステムから受信したデータに基づいてオブジェクトを分類するために使用される機械学習モデルを再構成するためのシステム及び方法に関する。
【背景技術】
【0002】
背景
車両は、静止している障害物又は移動している障害物を検出するためのシステム及びセンサを含み得る。しかしながら、車両システムは、複数の異なる静止している車両同士を見分けることができない場合がある。例えば、車両システム内において超音波センサを使用して、駐車中、死角検出中又は操縦中に車両付近の障害物を検出することができる。超音波センサを使用する現在の車両システムは、検出された障害物エコーの幾何学的関係を部分的に基礎とするルールに基づく経験的な分類器を使用することができる。しかしながら、ルールに基づく分類器は、(1)弱真陽性及び偽陽性の挙動をもたらす可能性があり、(2)特定の車両変種に適合させることが困難である可能性があり、又は、(3)オブジェクトクラスの数及び種類に大きく依存する可能性がある。
【発明の概要】
【課題を解決するための手段】
【0003】
概要
再構成可能な機械学習モデルを作成するための方法及びシステムが開示される。機械学習モデルに対するトレーニングプロセス中に取得される固定された特徴値を含むように、固定されたパラメータモデルが作成される。固定されたパラメータモデルは、固定された基礎分類器を含み得るものであり、固定された基礎分類器は、車両の近傍で超音波システムによって検出されたオブジェクトを分類するために機械学習モデルによって使用される。固定された特徴値とは異なる特徴値を含むように、構成可能なパラメータモデルを作成することができ、構成可能なパラメータモデルは、修正された基礎分類器を含む。車両コントローラは、構成可能なパラメータモデルを受信し、それにより、固定されたパラメータモデルを更新することができる。機械学習モデルは、超音波システムによって検出されたオブジェクトを分類するために、構成可能なパラメータモデルを使用するように更新可能である。
【0004】
固定されたパラメータモデルと、構成可能なパラメータモデルとは、固定された特徴値、種々のデータクラス間の1つ又は複数の分割閾値、無効値の割り当て、及び、欠測値の割り当てを含む決定木配列を使用して、設計可能であることが企図される。
【0005】
コントローラは、無線の通信プロトコル(例えば、Wi-Fi、Bluetooth若しくはセルラ)を使用して、又は、有線の通信プロトコル(例えば、コントローラエリアネットワーク(CAN)若しくはローカルインタコネクトネットワーク(LIN))を介して、構成可能なパラメータモデルを受信することができる。固定されたパラメータモデルを構成可能なパラメータモデルによって更新する前に、構成可能なパラメータモデルを機械学習モデルによってテストすることができる。最後に、固定されたパラメータモデルは、静的な値を含むように設計可能であり、これらの静的な値は、構成可能なパラメータモデル内において提供される値によって更新される。
【図面の簡単な説明】
【0006】
【
図1】超音波センサシステムを有する車両の縦列駐車を示す図である。
【
図2A】運転中における超音波センサシステムを有する車両を示す図である。
【
図2B】車両のサイドミラー内の視覚的な警報システムを示す図である。
【
図3】車両内において動作可能な例示的な超音波センサシステムを示す図である。
【
図4】機械学習アルゴリズムを使用して障害物を分類するための例示的な超音波センサシステムを示す図である。
【
図5】機械学習アルゴリズムによって使用される分類器をチューニングするように動作可能な例示的な機械学習アルゴリズムを示す図である。
【
図6】超音波センサシステム内において動作可能な機械学習アルゴリズムの高さ分類についての例示的なフロー図である。
【
図7】超音波センサシステム内において動作可能な機械学習アルゴリズムの高さ分類の適合についての例示的なフロー図である。
【
図8】超音波センサシステム内において動作可能な機械学習アルゴリズムの高さ分類の再構成についての例示的なブロック図である。
【発明を実施するための形態】
【0007】
詳細な説明
必要に応じて、詳細な実施形態を本明細書に開示する。しかしながら、開示された実施形態は、単なる例示に過ぎず、種々の代替的な形態において実施されるものとしてよいことが理解されるべきである。図面は、必ずしも縮尺通りではない。即ち、いくつかの特徴は、特定のコンポーネントの詳細を示すために誇張されていたり又は最小化されていたりすることがある。従って、本明細書に開示されている特定の構造的及び機能的な詳細は、限定的に解釈されるべきではなく、単に、本実施形態を様々に利用するように当業者に教示するための代表的な基礎として解釈されるべきである。
【0008】
現在、自動車用途内において使用される超音波センサシステムは、駐車中、死角検出中又は操縦中に車両付近の障害物までの距離を検出するように動作可能であり得る。例えば、
図1は、超音波システム100を示し、この超音波システム100においては、車両106の運転者に駐車支援を提供するために複数の超音波センサ102,104を使用することができる。超音波システム100は、車両106を駐車スペース内に駐車することを試みている間に、音響的又は視覚的な警告を運転者に提供することができる。これらの警告は、車両106と所与の障害物(例えば、車両108、車両110又は縁石112)との間の距離に関して運転者に警告することができる。超音波システム100は、車両106が所定の障害物まで所定の距離内にある場合に、制動システムを適用するように動作可能でもあり得る。従って、超音波システム100は、車両の便利で安全な駐車を提供することができ、これにより、コストのかかる修理及び損傷が回避される。
【0009】
代替的に、超音波システム100を使用して、運転者に駐車支援を提供することができる。例えば、超音波システム100は、運転者が操舵ガイダンスを提供する必要なしに、車両106が自身を自動的に駐車させるような、駐車支援を提供することができる。その代わりに、運転者には、駐車手順中に加速及び制動の支援を提供することだけを要求することができる。
【0010】
図2A及び
図2Bは、死角検出のために使用することができる例示的な超音波システム200を示している。図示のように、超音波システム200は、超音波センサ202,204を含み得るものであり、これらの超音波センサ202,204は、車両206の両側で、右側及び左側のバックミラーの近傍又は内部に配置されている。超音波センサ202,204は、車両206の周りの隣接する走行車線内のスペースを監視するように動作可能であり得る。超音波システム200は、運転者の死角内の障害物を検出するために超音波センサ202,204からデータを受信することができる。例えば、第2の車両208が、車両206から所定の距離内又は範囲内に位置している場合には、超音波システム200は、聴覚的又は視覚的な警報を起動させることができる。
図2Bは、視覚的な警告標示210を示し、この視覚的な警告標示210は、超音波システム200が車両206から所定の距離内に障害物、例えば車両208を検出した場合に、バックミラー内において照明することができる。運転者が警告に気づかず、車両208に向かって車線を変更するために方向指示器を起動させた場合には、超音波システム200は、追加的な聴覚的又は視覚的な警告を起動させるように動作可能でもあり得る。又は、超音波システム200は、検出された障害物(即ち、車両208)に向かう車線変更を阻止若しくは制止することができる。システム200は、道路上若しくは道路横にある静止しているオブジェクト(例えば、ガードレール若しくは駐車車両)を検出及び/又は認識して、警告を起動させるように、又は、車両206がその静止しているオブジェクトに接近することを制止するように動作可能でもあり得る。
【0011】
駐車用途、死角検出又は操縦のために、従来の超音波センサシステムは、一般的に、検出された障害物エコーの幾何学的関係を部分的に基礎とするルールに基づく経験的な分類器を使用する。しかしながら、ルールに基づく分類器は、(1)弱真陽性及び偽陽性の挙動をもたらす可能性があり、(2)特定の車両変種に適合させることが困難である可能性があり、又は、(3)オブジェクトクラスの数及び種類に大きく依存する可能性がある。
【0012】
従って、超音波オブジェクトデータに対して機械学習方法を使用して障害物の横断可能性を分類するように動作可能な、超音波センサシステム及び方法を提供することが望ましいことであり得る。ただし、分類に関して、超音波システムの誤分類は、車両の誤警報又は誤制動につながるおそれがある。例えば、もし仮にシステム100が、縁石112までの所与の距離を誤って分類した場合、又は、道路内の岩を縁石112として分類した場合には、車両106は、駐車が完了する前にブレーキを適用する可能性がある。そのような誤分類は、車両106が駐車スペース内に駐車することを禁止する可能性があり、又は、車両106が、駐車スペース内に正しく駐車されなくなる可能性がある。
【0013】
誤分類を、超音波システム(例えば、システム100)によって、ユーザの視点から、その分類が発生する可能性のある場所からの距離に基づいてそれぞれ異なるようにランク付けし得ることも企図される。「遠方」場における誤分類は、車両に対する判断又は影響が小さい可能性があるので許容されるものとしてよい。しかしながら、「近傍」場における誤警告は、潜在的な車両衝突又は操縦中の誤制動のような望ましくない結果につながる可能性がある。例えば、
図2Aに示されている車両208が、車両206から2~3車線離隔して(即ち、車両206から50フィート以上離隔している可能性がある)位置していた場合には、車両206が車線変更を試みたとしても、誤分類(例えば、車両208の検出の失敗)が望ましくない結果をもたらすことはないかもしれない。しかしながら、車両208がすぐ隣の車線にいた場合(即ち、車両206から10フィート以内にある可能性がある)には、車両206が車両208に衝突する可能性があるので、誤分類が望ましくない結果をもたらす可能性がある。
【0014】
従って、正確に分類するための許容可能な距離が、オブジェクト依存(即ち、障害物依存)であり得ることが企図される。所与のオブジェクトの輪郭、形状又は種類は、種々異なる可能性があるので、正確な分類が必要とされる場合がある。例えば、低木であるか又は木製フェンスであるかの正確な分類は、車両(例えば、車両208)であるか又はセメント/レンガ壁であるかの正確な分類ほどには必要でない可能性がある。従って、システム200が低木であると間違って分類しても、車両206は、車両208の誤分類ほど重大には損傷を受けないかもしれない。特定の幾何形状(例えば、小さい反射断面)を有するオブジェクトの正確な分類は、物理的な検出限界を有している可能性があり、限定された近接場においてのみ検出し得ることも企図される。
【0015】
所与のユーザ(例えば、自動車の相手先商標製造会社又は“OEM”)が、障害物及び許容可能な範囲の重要度をそれぞれ異なるように評価し得ることが企図される。例えば、あるユーザは、車両206からの車両208の適当な検出を決定することができる。しかしながら、機械学習トレーニングルーチンは、それらの依存性を本質的に組み込んでいない可能性があり、その結果、機械学習分類器の性能は、所与のユーザ要求に合致しなくなる可能性がある。従って、特定の入力要求(例えば、OEMからのユーザ要求)に適合させるために機械学習分類器をチューニングするように動作可能であり得る、超音波センサシステム及び方法を提供することも望ましい。
【0016】
超音波データが、機械学習アルゴリズムを使用して分類され、かつ、ユーザ入力要求に基づいて分類されると、本提案の機械学習アルゴリズムが、複数の決定木からなる分類器を出力することが望ましい。機械学習アルゴリズムが、決定木に基づいてクラス確率を計算することも望ましい。機械学習アルゴリズムのこれらの態様は、ソフトウェアのハードコーディングされた構成部分であり得ることが企図され、これらの構成部分は、ランタイム前にコンパイルされ、車両内の制御ユニット(例えば、電子制御ユニット“ECU”又はコントローラ)に展開される。
【0017】
超音波センサシステムが、ソフトウェアフリーズの後に、駐車性能における駐車ソフトウェアの検証を必要とし得ることも望ましい。ソフトウェアフリーズの後(即ち、車両が生産段階に移行して、ソフトウェアの変更がもはや許可されない場合)における車両に対するあらゆる適合を、性能を操作するパラメータによって実施することができる。しかしながら、この検証は、ソフトウェアの完全性を変更又は劣化すべきではないことが企図される。ソフトウェアの確認及び検証における追加的な労力を軽減し得ることも企図される。車両の所定のバンドル又はクラスに対して同一のソフトウェアを使用することもできる。このことは、ユーザ又はOEMのために、それぞれ異なる部品番号を有する複数の異なるソフトウェアバージョンを管理するためのコストの削減を提供することもできる。
【0018】
最後に、新しい車両変種に関するトレーニングデータも利用可能である場合には、分類器をこの新しい車両変種に適合させることができる。ソフトウェアフリーズの前にデータが利用可能ではない場合には、ソフトウェアのハードコードされた部分又はセグメントの変更を含意することにより、ソフトウェアフリーズの後にもトレーニングを実施することが企図される。しかしながら、このような変更は、超音波センサシステムに対して追加的なコストを引き起こす可能性がある。従って、ソフトウェアフリーズの後に修正することができるパラメータを使用して、機械学習分類器を設定することが望ましい。
【0019】
図3は、本開示による、車両内において使用することができる超音波センサシステム300の例示的なブロック図を示している。例えば、システム300を車両106,206内に組み込むことができる。システム300は、電子制御ユニット(ECU)のようなコントローラ302を含み得る。本明細書においてはECUとも称されるコントローラ302は、本明細書において説明される方法及びシステムのための命令を実行するように構成されたプロセッサの形態において実現可能である。コントローラ302は、メモリ(
図3には、個別には図示せず)と、特に車両内において処理を行う、その他のコンポーネントとを含み得る。コントローラ302は、コンピュータプロセッサ、マイクロプロセッサ又は任意の他のデバイスなどの、コマンドを処理するためのクワッドコアプロセッサのような、1つ又は複数の演算装置、本明細書において論じられる演算を実行可能な一連のデバイス又はその他の機構を使用して設計可能である。コントローラ302は、命令及びコマンドを格納するように操作可能なメモリを含み得る(又はそのようなメモリと通信することができる)。命令は、ソフトウェア、ファームウェア、コンピュータコード又はそれらのいくつかの組合せの形態であり得る。メモリは、揮発性メモリ、不揮発性メモリ、電子メモリ、磁気メモリ、光学メモリ又は任意の他の形態のデータストレージデバイスのような、1つ又は複数のデータストレージデバイスを使用して設計可能である。一例においては、メモリは、2GBのDDR3と、128GBのマイクロSDカードのような他のリムーバブルメモリコンポーネントとを含み得る。
【0020】
コントローラ302は、車両の内部と車両から離隔した場所との両方にある種々のセンサ、モジュール及び車両システムと通信することができる。システム300は、種々のカメラ、光検出及び測距(LIDAR)センサ、レーダセンサ、超音波センサ、又は、例えば、他の車両、車線、ガードレール、路上のオブジェクト、建物、歩行者等を含む、車両の周囲に関する情報を検出するための他のセンサのような、そのようなセンサを含み得る。
図3に示されている例においては、システム300は、前方の超音波センサ(USS)304と、後方のUSS306と、右側のUSS308と、左側のUSS310とを含み得る。開示されているそれぞれのUSSを、1つ又は複数の個々の超音波センサから構成し得ることが企図される。例えば、USS304は、車両のフロントバンパーにわたって分布させられた複数の個々の超音波センサを含み得る。USS304~310は、それぞれプロセッサ312~318(例えば、ECU又はコントローラ)と、ECU302とは別個のメモリとを含み得ることも企図される。
【0021】
プロセッサ312~318は、上述したECU302と同様であり得る。USS304~310は、上述したようなメモリをさらに含み得る。ECU302又はプロセッサ312~318は、超音波オブジェクトデータを分類及び識別するための機械学習アルゴリズムを実行するように動作可能であり得ることが企図される。機械学習アルゴリズムをプロセッサ312~318上において動作させることにより、リソース消費を(例えば、200DMIPS未満に)削減することができ、ハードウェアアクセラレータを不要にし得ることが企図される。以下において論じられるように、障害物の横断可能性を分類する性能を、ルールに基づく分類器と比較した場合、さほど多くの介入なしに、利用可能なプロセッサ312~318に従ってチューニングすることができる。
【0022】
図3は、単なる例示的なシステム300に過ぎず、より多くの又はより少ないセンサと、種々の種類のセンサとを含み得ることが企図される。さらに、
図3は、車両の周囲に位置するものとしてよい特定の場所にある特定のセンサとともに図示されているが、システム300には、同じ種類又は異なる種類の追加的なセンサを含む追加的なセンサを、車両の内部又は周囲の種々の位置に設けることができる。
【0023】
センサ304~310を、それぞれ車両の外部及び近位に配置されたターゲットまでの距離を測定するように構成し得ることも企図される。以下においてさらに説明されるように、センサ304~310は、ターゲットを車両、縁石、路上封鎖物、建物、歩行者等として分類するように動作可能であり得る。車両の外部の種々のターゲットの分類をさらに強化するために、センサ304~310を、ECU及び他のセンサのような他の車両コンポーネントと連携させて動作させることができることが企図される。
【0024】
説明されるように、
図3は、前方のUSS304及び後方のUSS306を開示している。前方のUSS304は、車両又は車両の前方周辺のオブジェクトを分類及び特定するために使用可能である。後方のUSS306は、車両又は車両の後方周辺のオブジェクトが何であるかを分類及び特定するために使用可能である。それぞれのUSS304~306は、種々の車両安全システムを支援又は強化するためにも利用可能である。前方のUSS304は、車両の前方にオブジェクトがあることを特定するために、車両のフロントバンパーに取り付け可能又は組み込み可能である。後方のUSS306は、車両のリアバンパーの角部又は中央に取り付け可能である。しかしながら、車両の前方及び後方にあるオブジェクトを捕捉するように動作可能となるように、前方のUSS304及び後方のUSS306を車両の他の場所に位置決め又は配置し得ることが企図される。
【0025】
右側のUSS308及び左側のUSS310は、右側又は左側にある車両又はオブジェクトを分類及び特定するために使用可能である。それぞれのUSS308~310は、種々の車両安全システムを支援又は強化するためにも利用可能である。USS308~310は、車両の一方の側にあるオブジェクトを特定するために、右側又は左側のミラーアセンブリに取り付け可能又は組み込み可能である。USS308~310を車両の右側/左側のミラーに取り付けることができることが企図されるが、車両の一方の側のオブジェクトを動作可能に捕捉するために、USS308~310を車両の他の場所に位置決め又は配置し得ることも企図される。
【0026】
再び、USS304~310は、個別に又は組み合わせられて、オブジェクトが運転者の死角に位置しているかどうかを特定することができ、それと同様に、後退時に後方左右から接近する車両又はオブジェクトを検出することができる。そのような機能は、運転者が、車線を変更する際又は駐車スペースから後退する際に他の車両の周りで進路を決めることを可能にし、それと同様に、差し迫っている可能性のある衝突を回避するための自律緊急制動を支援することを可能にすることができる。
【0027】
システム300は、車両の現在の位置を検出又は特定する全地球測位システム(GPS)320も含み得る。いくつかの状況においては、GPS320を利用して、車両が移動している速度を特定することができる。システム300は、車両が移動している現在の速度を検出又は特定する車両速度センサ(図示せず)も含み得る。システム300は、車両の現在の方向を検出又は特定するコンパス又は三次元(3D)ジャイロスコープも含み得る。マップデータをメモリに格納することができる。GPS320は、マップデータを更新することができる。マップデータは、先進運転支援システム(ADAS)によって利用することができる情報を含み得る。そのようなADASマップデータ情報は、詳細な車線情報、勾配情報、道路曲率データ、車線標識の特徴等を含み得る。このようなADASマップ情報を、道路名称、道路分類、制限速度情報等のような従来のマップデータに加えて利用することができる。コントローラ302は、GPS320からのデータと、ジャイロスコープ、車両速度センサからのデータ/情報と、マップデータとを利用して、車両の場所又は現在の位置を特定することができる。
【0028】
システム100は、ヒューマンマシンインタフェース(HMI)ディスプレイ322も含み得る。HMIディスプレイ322は、車室内の任意の種類のディスプレイを含み得る。そのようなHMIディスプレイは、ダッシュボードディスプレイ、ナビゲーションディスプレイ、マルチメディアディスプレイ、ヘッドアップディスプレイ、薄膜トランジスタ液晶ディスプレイ(TFT LCD)、リアビューミラーインジケータ等を含み得る。HMIディスプレイ322を、コマンドに関連する音を出力するためのスピーカに又は車両のユーザインタフェースに接続することもできる。HMIディスプレイ322を利用して、車両内の乗員(例えば、運転者又は乗客)に種々のコマンド又は情報を出力することができる。例えば、自動制動シナリオにおいては、HMIディスプレイ322は、車両が制動の準備ができているというメッセージを表示し、このメッセージに関してユーザにフィードバックを提供することができる。HMIディスプレイ322は、乗員に対して関連情報を視覚化するために利用される任意の種類のモニタ又はディスプレイを利用することができる。
【0029】
視覚的な指示を提供することに加えて、HMIディスプレイ322は、タッチスクリーン、ユーザインタフェースボタン等を介してユーザ入力を受信するようにも構成可能である。HMIディスプレイ322は、オーディオビジュアルの制御、自律車両システムの制御、特定の車両特徴、車内温度の制御等のような種々の車両制御を指示するユーザコマンドを受信するように構成可能である。コントローラ302は、そのようなユーザ入力を受信し、今度は、このユーザ入力に従って実行するようにコンポーネントの関連する車両システムに命令することができる。
【0030】
コントローラ302は、追加的な種々の車両コンポーネント(例えば、LIDARセンサ、レーダセンサ、カメラ)から情報及びデータを受信することができる。コントローラ302は、これらのセンサから受信した追加的なデータを利用して、運転者支援又は自動運転に関連することができる車両機能を提供することができる。例えば、LIDARセンサ及びカメラによって収集されたデータを、GPSデータ及びマップデータに関連させて利用して、アダプティブクルーズコントロール、自動駐車、駐車支援、自動緊急制動(AEB)等に関する機能を提供又は強化することができる。コントローラ302は、車両の種々のシステム(例えば、エンジン、トランスミッション、ブレーキ、操舵機構、ディスプレイ、センサ、ユーザインタフェースデバイス等)と通信することができる。例えば、コントローラ302は、車両(例えば、車両1000)を減速させるための信号をブレーキに送信するように、又は、車両の経路を変更するための信号を操舵機構に送信するように、又は、車両を加速若しくは減速させるための信号をエンジン若しくはトランスミッションに送信するように構成可能である。コントローラ302は、種々の車両センサから入力信号を受信して、例えばディスプレイデバイスに出力信号を送信するように構成可能である。コントローラ302は、追加的な情報(例えば、マップ、道路情報、天候、車両情報)にアクセスするために、1つ又は複数のデータベース、メモリ、インタネット又はネットワークと通信することもできる。
【0031】
再び、それぞれのUSS304~310は、受信したオブジェクトデータに基づいて分類を実施するために個別に又は組み合わせられて動作し得ることが企図される。USS304~310は、個々の超音波センサを使用して動作することができるが、USS304~310は、受信したオブジェクトレベルデータに基づいて分類を実施するために、複数の超音波センサを含むことが好ましい。例えば、USS304は、受信したオブジェクトレベルデータに基づいて分類を実施するために、車両のフロントバンパーにわたって分布させられている4~6個の超音波センサを含み得る。
【0032】
例えば、
図4は、USS304がどのようにしてオブジェクトレベルで分類を実施することができるかについての、動作レベル402~408の例示的なブロック図である。
図4は、USS304を例示したものであるが、それぞれのUSS306~310は、それぞれ同様に設計可能及び動作可能であることが理解される。上述したように、
図4は、プロセッサ312を使用して行われる処理を企図しているが、この処理を、ECU302を使用して達成することもできる。動作レベル402~408は、単に例示を目的としているに過ぎず、オブジェクトレベルで分類を実施するために、1つ又は複数のレベルを組み合わせることができることがさらに企図される。
【0033】
オブジェクトレベルにおける分類を実施するために、USS304は、動作レベル402において開始することができ、動作レベル402において、超音波センサ410~418は、種々のトレーニングされた機械学習システムから、種々異なる種類のオブジェクトに向けて自車両を接近させることにより、種々異なる環境、動作及びシステム条件のもとでデータを収集する。動作レベルは、4つの超音波センサ410~416を例示しているが、所与の用途及び車両の内部又は周囲の位置に基づいて、これより多くの超音波センサ(センサ418によって表される)又はこれより少ないセンサを使用し得ることが企図される。
【0034】
動作レベル404において、それぞれの個々のセンサ410~418によって収集されたデータに対して信号処理アルゴリズム420~428を実施することができる。例えば、信号処理アルゴリズム420~428は、エコー前処理ステップ(例えば、振幅フィルタリング)と、エコーレベルにおける特徴の計算とを含み得る。より具体的には、アルゴリズム420~428は、個々のセンサ410~418ごとに平均振幅、有意性、エコーの相関、及び、受信したエコーの数を含む特徴を計算することができる。
【0035】
動作レベル406において、それぞれの信号処理アルゴリズム420~428の出力に対して1つ又は複数の信号処理アルゴリズム430を実施することができる。信号処理アルゴリズム430は、それぞれの信号処理アルゴリズム420~428の出力を組み合わせることができる。例えば、信号処理アルゴリズム430は、三辺測量と、形状のオブジェクト生成と、オブジェクトの種類のマッチングとを含み得る。信号処理アルゴリズム430はさらに、複数のセンサ入力に対して特徴(例えば、クロスエコー受信レート)を計算することができる。最後に、アルゴリズム430は、オブジェクトマッチングからの幾何学的関係を基礎として特徴を計算するように動作可能であり得る。
【0036】
例えば、信号処理アルゴリズム430は、センサ410~418によって提供されたデータのうちの1つ又は複数からエコーの受信率を計算することができる。信号処理アルゴリズム430によって決定されるエコーの受信率は、障害物に寄与するセンサの数、又は、クロスエコー受信レートを含み得る。アルゴリズム430は、測定された三辺測量の(例えば)平均の三辺測量横方向誤差に基づいて幾何学的関係を計算することもできる。又は、アルゴリズム430は、点状若しくは線状の反射特性に基づいて幾何学的関係を計算することができる。
【0037】
動作レベル408において、動作レベル406で計算された組み合わせられた信号処理アルゴリズム430の出力に対して1つ又は複数の信号処理アルゴリズム432を実施することができる。アルゴリズム432は、計算された特徴をオブジェクトレベルで統計的に集約するように動作可能であり得る。アルゴリズム432は、集約された特徴に基づいて横断能力を分類するように動作可能でもあり得る。
【0038】
しかしながら、運転機能及び駐車機能において運転者を支援するように動作可能であり得る先進運転支援システム(ADAS)内において使用される機械学習(ML)又は深層学習(DL)アルゴリズムの場合には、使用されるアルゴリズム又は方法を(例えば、ビデオストリームに対する分類のために)生のセンサデータに対してトレーニングし得ることがさらに企図される。このような用途のために使用されるML/DL分類器は、ニューラルネットワーク(例えば、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、人工ニューラルネットワーク(ANN))又は類似の計算フレームワークを使用することができる。しかしながら、そのようなフレームワークは、典型的には、多くのリソース消費量を必要とし、超音波システムの検定された計算リソースに適用することができない場合がある。
【0039】
従って、“XGBoost(extreme gradient boosting)”アルゴリズムを使用する、計算効率的なツリーに基づく機械学習モデルを使用し得ることが企図される。XGBoostは、一連のブースタを含むアンサンブル学習方法であり得る。ブースタは、分類出力を提供する決定木であり得る。XGBoostは、複数の決定木も含み得るものであり、全ての木からの集約された出力を計算して、最終的な分類結果を供給することができる。最後に、XGBoostは、構造化されたデータ(即ち、特徴がエンジニアリングされている)に関して高レベルの精度を提供する標準の機械学習アルゴリズムであり得るが、XGBoostは、超音波システムのための高さ分類にネイティブ形式で適用される場合には、このように高レベルの精度では動作しない場合がある。
【0040】
超音波システム(例えば、システム300)内において使用された場合における高さ分類を改善するために、ML/DLアルゴリズム(即ち、モデル)をトレーニングする前に、データ前処理モデルを使用することができる。データ前処理は、超音波システムによって捕捉された雑音の多い信号を除去するように設計可能である。雑音の多い信号を除去することに加えて、データをフィルタリングして、障害物への接近によって現れる超音波システム測定値だけがトレーニングデータセットにおいて考慮され得るということを保証することができる。
【0041】
データ前処理の後、使用された機械学習モデル(例えば、XGBoost)に対してトレーニングモデルを使用することができる。XGBoost分類器のトレーニングが、データに加えて追加的なコンポーネントを含み得ることも企図される。例えば、追加的なコンポーネントは、チューニング可能なオブジェクトクラスの重みを含み得る。他のコンポーネントは、データの個々のサンプルに対する重みを含み得る。個々の重みは、(ユーザによって割り当てることができる)オブジェクト重要度と、範囲目標と、超音波システムによって入力サンプルを収集することができる距離との関数であり得る。目的関数も、ユーザによって選択されたオブジェクト重要度と範囲目標との関数として設計可能である。追加的なコンポーネントは、自動的な特徴選択、又は、出力の最終的な分類のための計算効率的なシグモイド関数も含み得る。
【0042】
図6は、超音波システム内において使用される高さ分類のためのMLアルゴリズムについての例示的なフロー
図600をさらに示している。フロー
図600は、ステップ602において開始することができ、ステップ602において、ユーザは、複数の異なるオブジェクトクラスに対してそれぞれ異なる要求を確立することができる。ステップ604において、このユーザ要求を、重み関数モジュールへの入力として使用することができる。重み関数モデルは、ユーザ要求を、それぞれの入力サンプルに対する重みへと生成(又は変換)し得ることが企図される。
【0043】
ステップ606において、ユーザ要求に固有の重みを用いて機械学習分類器をトレーニングすることができる。換言すれば、(ユーザ要求によって重み付けされた)重み入力を使用して、重み付けされた二値交差エントロピー損失関数によってXGBoost分類器をトレーニングすることができる。ステップ608において、コスト関数に基づいて、ユーザ要求に固有の重みを用いて機械学習分類器を最適化することができる。例えば、(L2正則化のような)正則化に対応する追加的な項を含み得るフレキシブルな損失関数を使用することができる。ステップ610において、ユーザ要求を考慮する新たなメトリックを使用して、機械学習分類器を評価することができる。例えば、モデルの複雑さは、性能要求と、木の深さ、ブースタの数、又は、木のアンサンブルのような計算上の制約とに基づいて修正可能である。最後に、複数のオブジェクトクラスを分類するために、二値分類器に加えてマルチクラス分類器を使用し得ることが企図される。
【0044】
超音波システムデータの分類が完了すると、機械学習アルゴリズムが、1つ又は複数の機械学習分類器のチューニングプロセス中に適合可能である必要があり得ることが企図される。チューニングプロセス中に適合可能であるので、機械学習アルゴリズムは、真の分類と偽の分類とのトレードオフを改善することができる。チューニングプロセスは、特定のユーザ要求(例えば、OEM要求)に基づいて分類器の適合を提供するようにも設計可能であり、又は、特定の用途に適合可能であり得る。例えば、チューニングプロセスは、特定の車両変種(例えば、スポーツ・ユーティリティ・ビークル又はミニバン)のための適合可能性を提供することができる。又は、所与のOEM(例えば、フォード・モータ・カンパニー)が、自社の車両フリート全体に対して特定のチューニングプロセスを要求することができる。
【0045】
機械学習アルゴリズムが、チューニングルーチンのための個々の入力としてそれぞれのオブジェクトクラスに対する重み付けパラメータ及び範囲目標を含むように、標準の分類損失関数(例えば、交差エントロピー)を修正するように動作可能であり得ることも企図される。従って、チューニングプロセスは、それぞれのオブジェクトクラスに関連付けられたチューニング可能な重みを表しているハイパーパラメータのセットを提供することができる。チューニング可能な重みは、提供された特定の顧客要求に基づいて動作可能に取得可能である。次いで、提供された顧客入力を、チューニングプロセスの複数の段階において機械学習アルゴリズムに入力することができる。さらに、チューニング目的関数も、顧客入力を動作可能に考慮することができる。従って、データ分類の性能を改善することができる。なぜなら、最良のトレードオフを基礎とすることができ、かつ、最良のトレードオフを特定の顧客要求を使用して決定することができるからである。さらに、機械学習アルゴリズムを、要求の変化に容易に適合可能にすることができ、それにより、所定の用途を実現するための又は所定の用途に基づいた時間及びコストが削減される。
【0046】
図5は、1つ又は複数の機械学習分類器のチューニングプロセス中における適合可能性を実現するための例示的なアルゴリズム500を示している。アルゴリズム500への1つの入力は、それぞれのオブジェクトに対するオブジェクトクラス重要度及び範囲目標を含み得ることが企図される。範囲目標は、障害物からの最小距離を含み得るものであり、この最小距離を下回ると、超音波の高さ分類システムは、偽陽性を与えるべきではない。オブジェクトクラス重要度は、障害物のそれぞれのクラス(例えば、ポール、低木、樹木、縁石等)に対してユーザが提供することができる重要度値(例えば、浮動小数点値)を含み得る。重要度値は、システムの評価全体に対してその障害物がどのくらい重要であるかを示すように動作可能であり得ることが企図される。最後に、基礎分類器が選択したものを、アルゴリズム500に入力することができる。
【0047】
再び、
図6は、超音波センサシステム(例えば、システム300)内において使用することができる高さ分類のための機械学習モデルの例示的なフロー
図600を示している。上述したように、ステップ602において、複数の異なるオブジェクトクラスに対してユーザ要求を入力(即ち、設定)することができる。受信されるユーザ要求(顧客入力)は、アルゴリズム500によって例示されるような、範囲目標及びオブジェクトクラス重要度値又はオブジェクトクラスを含み得る。次いで、ステップ604において、このユーザ要求を、重み付け関数を使用して重み値に変換することができる。ステップ606において、ユーザ要求に固有の重みを用いて機械学習分類器をトレーニングすることができる。ステップ608において、コスト関数に基づいて、ユーザ要求に固有の重みを用いて機械学習分類器を最適化することができる。ステップ610において、ユーザ要求を考慮する新たなメトリックを使用して、機械学習分類器を評価することができる。
【0048】
ステップ706において、ユーザ要求に基づいてパラメータをチューニングするために範囲を確立することができる。基礎分類器を、損失関数(例えば、重み付けされた損失関数)によってトレーニングし得ることが企図され、この場合、受信した入力(即ち、顧客入力)に基づいて重みを計算することができる。ステップ708において、分類器を、チューニングパラメータと、ユーザ要求によって重み付けされた目的関数とによってトレーニングすることができる。特定のユーザ要求及び/又は入力を満たすように特別に設計された適当な目的関数(例えば、本明細書のケースにおいては、オブジェクトまでの距離(distance to object:DTO)の二乗誤差)を使用して、チューニングされた(即ち、トレーニングされた)分類器の性能が評価されることが企図される。重みを再チューニングする必要がある場合には、フロー
図700は、ステップ710に進むことができ、ステップ710において、目的関数に基づいて、ユーザ要求を有するパラメータを使用して、分類器を再チューニングすることができる。
【0049】
ステップ706において、ユーザ要求に基づいてパラメータをチューニングするために範囲を確立することができる。基礎分類器を、損失関数(例えば、重み付けされた損失関数)によってトレーニングし得ることが企図され、この場合、受信した入力(即ち、顧客入力)に基づいて重みを計算することができる。ステップ708において、分類器を、チューニングパラメータと、ユーザ要求によって重み付けされた目的関数とによってトレーニングすることができる。特定のユーザ要求及び/又は入力を満たすように特別に設計された適当な目的関数(例えば、本明細書のケースにおいては、オブジェクトまでの距離(distance to object:DTO)の二乗誤差)を使用して、チューニングされた(即ち、トレーニングされた)分類器の性能が評価されることが企図される。ステップ710において、重みを再チューニングする必要があるかどうかが決定される。ノーの場合には、フロー
図700は、ステップ706に戻ることができる。イエスの場合には、フロー図は、ステップ710に進むことができ、ステップ710において、目的関数に基づいて、ユーザ要求を有するパラメータを使用して、分類器を再チューニングすることができる。
【0050】
最後に、トレーニングされた分類器を再構成して、現実世界の用途に展開した後の再構成のために動作可能であり得る、完全にパラメータ化された機械学習モデルを達成し得ることが企図される。例えば、自動車用途においては、ソフトウェア及び格納されている値に対してこれ以上の変更の発生が許容されてはならないような時点が存在する場合がある(即ち、ソフトウェアフリーズ)。ソフトウェアフリーズは、車両のECU内に格納された(又は格納されるべき)トレーニングされた分類器を含み得る。ソフトウェアフリーズの後(例えば、車両が顧客に販売された後)に、新しい分類器値によって車両を再構築又は更新することが望ましいことがある。従って、ソフトウェアフリーズの後に、新しい車両変種又はオブジェクトクラスをトレーニングするために動作可能なパラメータのセットを含み得る、完全に適合可能な分類器を有することも望ましい。リリースされたソフトウェアに欠陥が存在する場合には、本方法及びシステムは、パラメータを変更することによって欠陥に対する性能を変更するように動作可能であり得る。このような変更は、欠陥の取扱いを簡単にすることができる。
【0051】
開示されているシステム及び方法は、固定された構造を含む所与の機械学習モデルを使用し得ることが企図される。固定された構造は、完全に入力された(fully populated)リーフを有する種々異なる数の木及び/又は深さを含み得るものであり、木の全てのノード(例えば、if/else表現)は、パラメータからなる。一例においては、“feature_value>threshold_value”として表されるノードを、(1)“feature_value”と、(2)“>”と、(3)“paramer_value”とを個別に含む3つのパラメータから構成することができる。構成プロセス中にパラメータを決定して割り当てることができることも企図される。しかしながら、本システム及び本方法は、無効な特徴値及び未入力の(non-populated)リーフの取り扱いを考慮に入れる必要があり得ることが企図される。
【0052】
図8は、超音波センサに基づく高さ分類システム(例えば、システム300)内において使用することができる再構成可能な機械学習モデルについての例示的なブロック
図800を示している。再構成可能なモデルを作成することに加えて、本開示は、所要のパラメータを再構成可能なモデルに割り当てるために使用することができるパラメータ割り当てモジュールを作成することを企図している。所要のパラメータが割り当てられると、機械学習モデルをテストすることができる。
【0053】
図8を参照すると、2種類の構成が企図されている。ブロック802において、上述したトレーニングプロセスの後、固定されたパラメータモデルを取得することができる。この固定されたパラメータモデルは、決定木の形態の特定の配列において、特徴、分割閾値、無効値及び欠測値の割り当てを含み得る。
【0054】
種々の特徴と、関連する分割閾値とを完全にパラメータ化し得ることが企図される。例えば、パラメータ化されたモデル(ブロック806)を、完全な決定木を含むように作成することができ、この場合、それぞれのノードは、それぞれのノードにおける特徴名称及び分割閾値の両方に対する変数の閾値からなる。ブロック804において、構成可能なモデルにおける変数を、固定されたパラメータモデルからの静的な値である特徴及び分割閾値に割り当てることができる。
【0055】
再構成可能な機械学習モデルは、単純な二値木ではないツリーに基づくモデルを使用して動作することができる。使用することができる特徴に応じて、無効値及び欠測値のような追加的なパラメータを使用することができる。構成可能なモデルファイルのそれぞれのノードにロジックを実装することができる。ブロック812は、固定されたモデルファイル(ブロック802)から受信した情報、実際の特徴値又は受信したランタイム測定値/データ(ブロック810)に基づいて、パラメータを割り当てることができることを示す。構成可能なモデルにおいてこのようなパラメータを割り当てるために、ブロック812をランタイム中に実行し得ることも企図される。
【0056】
本明細書に開示されているプロセス、方法又はアルゴリズムは、任意の既存のプログラミング可能な電子制御ユニット又は専用の電子制御ユニットを含み得る処理デバイス、コントローラ又はコンピュータによって配信可能/実装可能である。同様に、プロセス、方法又はアルゴリズムは、限定するものではないが、ROMデバイスのような書込不可能なストレージ媒体に永続的に格納された情報と、フレキシブルディスク、磁気テープ、CD、RAMデバイス並びに他の磁気的及び光学的な媒体のような書込可能なストレージ媒体に変更可能に格納された情報とを含む多数の形態において、コントローラ又はコンピュータによって実行可能なデータ、ロジック及び命令として格納可能である。プロセス、方法又はアルゴリズムを、ソフトウェア実行可能なオブジェクトの形態において実装することもできる。代替的に、プロセス、方法又はアルゴリズムの全部又は一部を、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ステートマシン、コントローラ又は他のハードウェアコンポーネント若しくはハードウェアデバイスのような、適当なハードウェアコンポーネントを使用して、又は、ハードウェアとソフトウェアとファームウェアコンポーネントとの組合せを使用して実現することができる。
【0057】
例示的な実施形態について上述してきたが、これらの実施形態は、本発明の全ての可能な形態を説明していることを意図するものではない。むしろ、本明細書において使用されている用語は、限定ではなく説明のための用語であり、本発明の精神及び範囲から逸脱することなく種々の変更を加えてよいことが理解される。さらに、種々の実施形態の特徴を組み合わせて、本発明のさらなる実施形態を形成することができる。
【外国語明細書】