特表 2023-549159 安価な監督機能を用いたエンドツーエンドのパラメトリックな道路レイアウト予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-22

(54)【発明の名称】安価な監督機能を用いたエンドツーエンドのパラメトリックな道路レイアウト予測

(51)【国際特許分類】

   G06V 10/82 20220101AFI20231115BHJP

   G06T 7/00 20170101ALI20231115BHJP

【ＦＩ】

G06V10/82

G06T7/00 650A

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023527802

(86)(22)【出願日】2021-11-09

(85)【翻訳文提出日】2023-05-09

(86)【国際出願番号】 US2021058615

(87)【国際公開番号】W WO2022103751

(87)【国際公開日】2022-05-19

(31)【優先権主張番号】17/521,193

(32)【優先日】2021-11-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/111,677

(32)【優先日】2020-11-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/113,945

(32)【優先日】2020-11-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】リウ、 ブユ

(72)【発明者】

【氏名】ズオン、 ビンビン

(72)【発明者】

【氏名】チャンドラカー、 マンモハン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA04

5L096DA01

5L096FA02

5L096FA06

5L096FA26

5L096FA66

5L096GA40

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

コンピュータに実装された道路レイアウトの予測方法を提供する。本方法は、第１のプロセッサベース要素によって、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するためにＲＧＢ画像をセグメント化すること（５１０）を含む。本方法は、第２のプロセッサベース要素によって、道路平面仮定を用いて、斜視図のＲＧＢ画像に対する画素レベルのセマンティックセグメンテーションの結果からＲＧＢ画像の上面図へのマッピングを学習すること（５２０）をさらに含む。本方法はまた、第３のプロセッサベース要素によって、上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成すること（５３０）を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

道路レイアウト予測のためのコンピュータに実装された方法であって、
第１のプロセッサベース要素によって、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について、前記斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するために前記ＲＧＢ画像をセグメント化すること（５１０）と、
第２のプロセッサベース要素によって、道路平面仮定を用いて、前記斜視図の前記ＲＧＢ画像に対する前記画素レベルのセマンティックセグメンテーションの結果から前記ＲＧＢ画像の上面図へのマッピングを学習すること（５２０）と、
第３のプロセッサベース要素によって、前記上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成すること（５３０）とを含む、コンピュータに実装された方法。

【請求項2】

請求項１に記載のコンピュータに実装された方法において、
前記セグメント化するステップ、学習するステップおよび生成するステップの各ステップにそれぞれの損失を注入することをさらに含み、前記それぞれの損失は、前記遮蔽認識パラメトリック道路レイアウト予測を生成するために前記各ステップで最小化される、コンピュータに実装された方法。

【請求項3】

請求項１に記載のコンピュータに実装された方法において、
前記生成するステップは、前記上面図における前記道路レイアウト関連属性についてのみ画素レベルの人間のアノテーションを受け取ることを含み、前記セグメント化するステップおよび前記学習するステップは、人間のアノテーションなしで実行される、コンピュータに実装された方法。

【請求項4】

請求項１に記載のコンピュータに実装された方法において、
前記セグメント化するステップおよび前記学習するステップは、画素レベルの監督信号を使用する、コンピュータに実装された方法。

【請求項5】

請求項１に記載のコンピュータに実装された方法において、
前記遮蔽認識パラメトリック道路レイアウト予測は、道路境界、横断歩道境界、歩道境界、および車線境界からなるグループから選択される予測境界を含み、前記グループの１つまたは複数のメンバーは、前記斜視図におけるそれぞれの前景要素によって元々遮蔽されている、コンピュータに実装された方法。

【請求項6】

請求項１に記載のコンピュータに実装された方法において、
前記画素レベルのセマンティックセグメンテーションの結果および前記ＲＧＢ画像の前記上面図は、前記ＲＧＢ画像の前記斜視図において遮蔽されたアイテムを示すために遮蔽推論されている、コンピュータに実装された方法。

【請求項7】

請求項１に記載のコンピュータに実装された方法において、
前記遮蔽認識パラメトリック道路レイアウト予測に応答して、事故回避のために車両の車両システムを制御すること（５４０）をさらに含む、コンピュータに実装された方法。

【請求項8】

請求項７に記載のコンピュータに実装された方法において、
前記車両システムは、ブレーキシステム、加速システム、安定システム、およびステアリングシステムからなる群から選択される、コンピュータに実装された方法。

【請求項9】

請求項１に記載のコンピュータに実装された方法において、
前記道路平面仮定は、道路が三次元空間の平面で表され、その平面が法線とカメラまでの距離で表されると仮定する、コンピュータに実装された方法。

【請求項10】

請求項１に記載のコンピュータに実装された方法において、
前記方法は、先進運転支援システムによって実行される、コンピュータに実装された方法。

【請求項11】

道路レイアウト予測のためのコンピュータプログラム製品であって、該コンピュータプログラム製品は、プログラム命令が具体化されている非一時的なコンピュータ可読記憶媒体を含み、該プログラム命令は、コンピュータに方法を実行させるために前記コンピュータによって実行可能であり、前記方法は、
前記コンピュータの第１のプロセッサベース要素によって、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について、前記斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するために前記ＲＧＢ画像をセグメント化すること（５１０）と、
前記コンピュータの第２のプロセッサベース要素によって、道路平面仮定を用いて、前記斜視図の前記ＲＧＢ画像に対する前記画素レベルのセマンティックセグメンテーションの結果から前記ＲＧＢ画像の上面図へのマッピングを学習すること（５２０）と、
前記コンピュータの第３のプロセッサベース要素によって、前記上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成すること（５３０）とを含む、コンピュータプログラム製品。

【請求項12】

請求項１１に記載のコンピュータプログラム製品において、
前記方法は、前記セグメント化するステップ、学習するステップおよび生成するステップの各ステップにそれぞれの損失を注入することをさらに含み、前記それぞれの損失は、前記遮蔽認識パラメトリック道路レイアウト予測を生成するために前記各ステップで最小化される、コンピュータプログラム製品。

【請求項13】

請求項１１に記載のコンピュータプログラム製品において、
前記生成するステップは、前記上面図における前記道路レイアウト関連属性についてのみ画素レベルの人間のアノテーションを受け取ることを含み、前記セグメント化するステップおよび前記学習するステップは、人間のアノテーションなしで実行される、コンピュータプログラム製品。

【請求項14】

請求項１１に記載のコンピュータプログラム製品において、
前記セグメント化するステップおよび前記学習するステップは、画素レベルの監督信号を使用する、コンピュータプログラム製品。

【請求項15】

請求項１１に記載のコンピュータプログラム製品において、
前記遮蔽認識パラメトリック道路レイアウト予測は、道路境界、横断歩道境界、歩道境界、および車線境界からなるグループから選択される予測境界を含み、前記グループの１つまたは複数のメンバーは、前記斜視図におけるそれぞれの前景要素によって元々遮蔽されている、コンピュータプログラム製品。

【請求項16】

請求項１１に記載のコンピュータプログラム製品において、さらに、
前記画素レベルのセマンティックセグメンテーションの結果および前記ＲＧＢ画像の前記上面図は、前記ＲＧＢ画像の前記斜視図において遮蔽されたアイテムを示すために遮蔽推論されている、コンピュータプログラム製品。

【請求項17】

請求項１１に記載のコンピュータプログラム製品において、
前記方法は、前記遮蔽認識パラメトリック道路レイアウト予測に応答して、事故回避のために車両の車両システムを制御すること（５４０）をさらに含む、コンピュータプログラム製品。

【請求項18】

請求項１７に記載のコンピュータプログラム製品において、
前記車両システムは、ブレーキシステム、加速システム、安定システム、およびステアリングシステムからなる群から選択される、コンピュータプログラム製品。

【請求項19】

請求項１１に記載のコンピュータに実装された方法において、
前記道路平面仮定は、道路が三次元空間の平面で表され、その平面が法線とカメラまでの距離で表されると仮定する、コンピュータプログラム製品。

【請求項20】

道路レイアウト予測ためのコンピュータ処理システムであって、
プログラムコードを記憶するためのメモリ装置（１４０）と、
前記プログラムコードを実行するためのプロセッサ装置（１１０）とを有し、前記プログラムコードは、
文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について、前記斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するために前記ＲＧＢ画像をセグメント化することと、
道路平面仮定を用いて、前記斜視図の前記ＲＧＢ画像に対する前記画素レベルのセマンティックセグメンテーションの結果から前記ＲＧＢ画像の上面図へのマッピングを学習することと、
前記上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成することとを含む、コンピュータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願情報
本出願は、２０２１年１１月８日に出願された米国特許出願第１７／５２１，１９３号、２０２０年１１月１０日に出願された米国仮特許出願第６３／１１１，６７７号および２０２０年１１月１５日に出願された米国仮特許出願第６３／１１３，９４５号の優先権を主張し、参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

本発明は、人工知能に関し、より詳細には、安価な監督機能を用いたエンドツーエンドのパラメトリックな道路レイアウト予測に関する。
関連技術の説明

【0003】

自律走行や経路計画などの実世界のアプリケーションでは、視点入力による上面図での道路レイアウトの理解が非常に重要である。最近の研究では、ＲＧＢ画像を入力とし、上面図で画素レベルのセマンティック予測を提供することが提案されている。しかし、このような方法では、通常、画素レベルのアノテーションが必要であり、非常に高価になり得る。また、それらの表現はコンパクトではなく、遮蔽関係を推論する機能もない。例えば、２つの物体が上面図では同じ位置を占めることができないが、斜視図では互いに遮蔽する可能性がある場合など、遮蔽関係が望ましい場合には、上面図の表現がより有益となることがある。そのため、上面図で道路レイアウトを理解するための改良手法が望まれている。

【発明の概要】

【0004】

本発明の側面によれば、道路レイアウト予測のためのコンピュータに実装された方法が提供される。本方法は、第１のプロセッサベース要素によって、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について、前記斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するために前記ＲＧＢ画像をセグメント化することを含む。また、本方法は、第２のプロセッサベース要素によって、道路平面仮定を用いて、前記斜視図の前記ＲＧＢ画像に対する前記画素レベルのセマンティックセグメンテーションの結果から前記ＲＧＢ画像の上面図へのマッピングを学習することを含む。さらに、本方法は、第３のプロセッサベース要素によって、前記上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成することを含む。

【0005】

本発明の他の態様によれば、道路レイアウト予測のためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、プログラム命令が具体化されている非一時的なコンピュータ可読記憶媒体を含む。プログラム命令は、コンピュータに方法を実行させるために前記コンピュータによって実行可能である。本方法は、前記コンピュータの第１のプロセッサベース要素によって、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について、前記斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するために前記ＲＧＢ画像をセグメント化することを含む。また、本方法は、前記コンピュータの第２のプロセッサベース要素によって、道路平面仮定を用いて、前記斜視図の前記ＲＧＢ画像に対する前記画素レベルのセマンティックセグメンテーションの結果から前記ＲＧＢ画像の上面図へのマッピングを学習することを含む。さらに、本方法は、前記コンピュータの第３のプロセッサベース要素によって、前記上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成することを含む。

【0006】

本発明のさらに他の態様によれば、道路レイアウト予測のためのコンピュータ処理システムが提供される。本コンピュータ処理システムは、プログラムコードを記憶するためのメモリ装置を含む。また、本ンピュータ処理システムは、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について、前記斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメンテーションの結果を出力するために前記ＲＧＢ画像をセグメント化するプログラムコードを実行するためのプロセッサ装置を含む。また、本プロセッサ装置は、道路平面仮定を用いて、前記斜視図の前記ＲＧＢ画像に対する前記画素レベルのセマンティックセグメンテーションの結果から前記ＲＧＢ画像の上面図へのマッピングを学習するプログラムコードを実行する。さらに、本プロセッサ装置は、前記上面図における道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成するプログラムコードを実行する。

【0007】

これらおよび他の特徴および利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0008】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0009】

【図1】本発明の実施形態に従った、例示的な演算装置を示すブロック図である。

【0010】

【図2】本発明の実施形態に従った、例示的なエンドツーエンドモデルを示すブロック図である。

【0011】

【図3】本発明の実施形態に従った、例示的なシステムを示すブロック図である。

【0012】

【図4】本発明の実施形態に従った、本発明を適用することができる例示的な環境を示すブロック図である。

【0013】

【図5】本発明の実施形態に従った、道路レイアウト予測方法の例示を示すフロー図である。

【発明を実施するための形態】

【0014】

本発明の実施形態は、安価な監督を用いたエンドツーエンドのパラメトリックな道路レイアウト予測に向けられている。

【0015】

本発明の実施形態は、斜視画像を入力とするエンドツーエンドの訓練可能な上面図レイアウト推定を対象とする。問題の中には、大きく２つの課題がある。まず、従来の手法であるダイレクトＲＧＢ法は、距離に関する属性や遮蔽領域では性能が発揮されない。第２に、既存のＳＯＴＡ手法は、ビデオシーケンス全体が与えられているなどの強い仮定を持ち、また、画素単位のセマンティックアノテーションや高密度な深度監視などの強い監視要件を持つ。したがって、本発明の実施形態は、上面図においてパラメトリック形式でのみ限られた人間の注釈を効果的に利用し、斜視図では画素レベルの遮蔽認識セマンティックセグメンテーション、上面図ではセマンティックといった意味のある中間表現を出力することができる新規モデルでこれら２つの上記問題に取り組むことを提案する。

【0016】

本発明の実施形態は、まず、斜視画像を入力として、上面図における道路レイアウトのコンパクトなパラメトリック予測を出力するエンドツーエンドモデルを提案する。さらに重要なのは、エンドツーエンドモデルが、斜視図と上面図との両方で、人間のアノテーションなしに画素レベルのセマンティック表現を出力できることである。実施形態では、エンドツーエンドモデルは、３つのモジュールを含む。最初のモジュールは、ＲＧＢを入力とし、斜視図におけるセマンティックセグメンテーションの結果を斜視図で出力するものである。２番目のモジュールは、最初の斜視図のセマンティクスを入力し、それを上面図にマッピングすることを学習する。最後に、第３のモジュールは、第２のモジュールからの出力を受け取り、上面図で道路レイアウト関連属性のパラメトリック予測を提供する。３つのモジュールの出力は、すべて遮蔽に対応している。本発明では、訓練プロセスをガイドするために、最後のモジュールだけでなく、第１および第２モジュールにも損失を注入するｕｎｉｔｉｚｅ ｄｅｅｐ ｓｕｐｅｒｖｉｓｉｏｎを使用する。本発明による深層監督は、人間のアノテーションが最後のステップで、または上面図でパラメトリックな形でしか必要とされないことを意味する「安い」ことに留意されたい。実験的には、１枚の画像をアノテーションするのに数秒しかかからない。興味深いことに、このような安価な監視をパラメトリックに行うことで、本発明はモジュール１およびモジュール２に対して、緻密な画素レベルの監視信号を得ることができる。さらに、人間のアノテーションは道路レイアウトのみに着目しているため、本発明では、斜視図において本来前景に遮蔽されているレイアウト関連画素、すなわち道路、横断歩道、歩道、車線の境界を無理なく自動的に復元することも可能である。

【0017】

図1は、本発明の実施形態による、例示的な演算装置１００を示すブロック図である。演算装置１００は、道路レイアウト予測を行うように構成されている。

【0018】

演算装置１００は、限定されないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイル演算装置、ウェアラブル演算装置、ネットワーク機器、ウェブ機器、分散演算システム、プロセッサベースのシステム、および／または利用者電子装置など、本書に記載される機能を実行できる任意のタイプの計算またはコンピュータ装置として具現化することができる。さらにまたは代替的に、演算装置１００は、１つまたは複数のコンピュートスレッド、メモリスレッド、または他のラック、スレッド、演算シャーシ、または物理的に分解された演算装置の他の構成要素として具現化されてもよい。図１に示すように、演算装置１００は、例示的に、プロセッサ１１０、入力／出力サブシステム１２０、メモリ１３０、データ記憶装置１４０、および通信サブシステム１５０、および／またはサーバまたは同様の演算装置に一般的に見られる他の構成要素およびデバイスを含んでいる。もちろん演算装置１００は、他の実施形態において、サーバコンピュータに一般的に見られるような他のまたは追加の構成要素（例えば、様々な入力／出力デバイス）を含んでもよい。さらに、いくつかの実施形態では、例示的な構成要素の１つ以上が、別の構成要素に組み込まれるか、さもなければ、別の構成要素の一部を形成することができる。例えば、メモリ１３０、またはその一部は、いくつかの実施形態において、プロセッサ１１０に組み込まれてもよい。

【0019】

プロセッサ１１０は、本明細書に記載された機能を実行することができる任意のタイプのプロセッサとして具現化することができる。プロセッサ１１０は、シングルプロセッサ、マルチプロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、シングルまたはマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、またはその他のプロセッサやプロセスシング／制御回路として具現化されてもよい。

【0020】

メモリ１３０は、本明細書に記載された機能を実行することができる任意のタイプの揮発性または不揮発性メモリまたははデータストレージとして具現化され得る。動作中、メモリ１３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、およびドライバなど、演算装置１００の動作中に使用される様々なデータおよびソフトウェアを格納することができる。メモリ１３０は、Ｉ／Ｏサブシステム１２０を介してプロセッサ６１０と通信可能に結合され、プロセッサ１１０メモリ１３０、および演算装置１００の他の構成要素との入出力動作を容易にするための回路および／または構成要素として具現化され得る。例えば、Ｉ／Ｏサブシステム１２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェアデバイス、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレースなど）および/または、入力/出力操作を容易にするための他の構成要素およびサブシステムとして具現化されてもよく、さもなければ、これらを含んでいても良い。いくつかの実施形態では、Ｉ／Ｏサブシステム１２０は、システムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ１１０、メモリ１３０、および演算装置１００の他の構成要素と共に、単一の集積回路チップに組み込まれてもよい。

【0021】

データ記憶装置１４０は、例えば、メモリ装置および回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置など、データの短期または長期記憶用に構成された任意のタイプの装置またはデバイスとして具現化することができる。データ記憶装置１４０は、道路レイアウト予測のためのプログラムコードを格納することができる。演算装置１００の通信サブシステム１５０は、ネットワークを介して演算装置１００と他のリモート装置との間の通信を可能にすることができる、任意のネットワークインタフェースコントローラまたは他の通信回路、装置、またはその集合体として具現されることができる。通信サブシステム１５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）および関連するプロトコル（例えば、イーサネット、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）など）を使用してそのような通信を実現するように構成され得る。

【0022】

図示のように、演算装置１００は、１つ以上の周辺装置１６０も含むことができる。周辺装置１６０は、任意の数の追加の入出力装置、インタフェース装置、および／または他の周辺装置を含んでもよい。例えば、いくつかの実施形態では、周辺装置１６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイク、ネットワークインタフェース、および／または他の入力／出力装置、インタフェース装置、および／または周辺装置を含むことができる。

【0023】

もちろん、演算装置１００は、当業者が容易に思いつくように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、様々な他の入力装置および／または出力装置は、当業者によって容易に理解されるように、同じものの特定の実装に依存して、演算装置１００に含まれることが可能である。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、プロセッサ、コントローラ、メモリなどを追加して、様々な構成で利用することも可能である。処理システム１００のこれらおよび他の変形例は、本明細書に提供される本発明の教示を考慮すれば、当業者によって容易に企図されるものである。

【0024】

本明細書で採用されるように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つまたは複数の特定のタスクを実行するために協働するプロセッサ、メモリ（ＲＡＭ、キャッシュなど）、ソフトウェア（メモリ管理ソフトウェアなど）またはそれらの組合せを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行装置など）を含み得る。１つまたは複数のデータ処理要素は、中央処理装置、画像処理装置、および／または別個のプロセッサ、または演算要素ベースのコントローラ（例えば、論理ゲートなど）に含めることができる。ハードウェアプロセッササブシステムは、１つまたは複数のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムは、オンボードまたはオフボードであり得る、またはハードウェアプロセッササブシステムによる使用のために専用であり得る１つまたは複数のメモリ（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）、など）を含むことができる。

【0025】

いくつかの実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のソフトウェア要素を含み、実行することができる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステムおよび／または１つ以上のアプリケーションおよび／または特定のコードを含むことができる。

【0026】

他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する、専用の専用回路を含むことができる。このような回路は、１つ以上のアプリケーション専用集積回路（ＡＳＩＣ）、ＦＰＧＡ、および／またはＰＬＡを含むことができる。

【0027】

ハードウェアプロセッササブシステムのこれらおよび他のバリエーションも、本発明の実施形態に従って企図されるものである。

【0028】

図２は、本発明の実施形態による、例示的なエンドツーエンドモデル２００を示すブロック図である。

【0029】

基本的に、中間出力は２１１と２４０とである。深層監督が必要なところである。モジュールは２１０，２６０（２１５，２３０），２５０の３つである。その中で、２１５と２３０とは、画素レベルの斜視表現を上面図に変換して幻覚化するために一緒になっている。

【0030】

このように、エンドツーエンドモデル２００は、３つのモジュールを含む。第１のモジュール２１０は、本明細書では略称として斜視予測モジュールまたは斜視モジュールとも呼ばれ、未視認または遮蔽領域まで含めて、各画素のセマンティッククラスを予測する。モジュール２１５および２３０から形成される第２のモジュール２６０は、本明細書では上面図セマンティクス（ＴＳ）モジュールとも呼ばれ、斜視予測を平面仮定で上面図にマッピングすることを学習する。洗練モジュール２３０は、モジュール２２０で得られた初期ｂｅｖｉｎｉｔ（ｂｉｒｄｓｅｙｅ ｖｉｅｗ ｉｎｉｔｉａｌｉｚａｔｉｏｎ）の未見領域やノイズ領域を洗練するように学習し、洗練ｂｅｖｉｎｉｔ ２４０を出力する。第３のモジュール２５０は、本明細書では略称でパラメトリック予測器モジュールまたはパラメトリックモジュールとも呼ばれ、生成された上面図マップに対するパラメトリック表現（洗練されたｂｅｖｉｎｉｔからのパラメトリック表現）を提供する。なお、人間のアノテーションは第３のモジュール２５０に対してのみ得られ、最初の２つのモジュール２１０と２６０との監督は自動的に得られる。既存の研究と比較して、エンドツーエンドモデル２００は、労力を要する曖昧な注釈を付けることなく、２つの中間表現を知的に利用する。

【0031】

それゆえ、本発明は、まず、斜視画像を入力として、上面図における道路レイアウトのコンパクトなパラメトリック予測を出力するエンドツーエンドモデルを提案する。さらに重要なことは、本発明によるエンドツーエンドモデルは、対応する人間の必要なアノテーションを必要とせずに、斜視図と上面図との両方で画素レベルのセマンティック表現を出力することができることである。

【0032】

上述したように、エンドツーエンドモデル２００は、３つのモジュールを含む。第１モジュール２１０は、ＲＧＢ２０１を入力とし、セマンティックセグメンテーション結果を斜視図で出力する。第２モジュール２６０は、初期視点セマンティクスを入力し、初期視点セマンティクスを上面図にマッピングするように学習する。最後に、第３のモジュール２５０は、第２のモジュール２６０からの出力を受け取り、上面図で道路レイアウト関連属性のパラメトリック予測を提供する。訓練プロセスをガイドするために、本発明は、第３モジュール２３０だけでなく、第１モジュール２１０と第２モジュール２６０とにも損失を注入するユニット化深層監督を提案する。本発明による深層監督は、人間のアノテーションが最後のステップで、または上面図でパラメトリックな形式でしか必要ないことを意味する安価でもあることに留意されたい。実験的には、１枚の画像にアノテーションをつけるのに数秒しかかからない。興味深いことに、このようなパラメトリック形式の安価な監督で、本発明は、第１のモジュール２１０および第２のモジュール２２０のための密な画素レベルの監督信号を得ることができる。さらに、人間のアノテーションは道路のレイアウトのみに着目しているため、本発明では、斜視図において本来前景に隠されているレイアウト関連画素、すなわち道路、横断歩道、歩道、車線の境界を最小限の労力で自動的に復元することも可能である。

【0033】

図３は、本発明の実施形態による、例示的なシステム３００を示すブロック図である。

【0034】

システム３００は、ＲＧＢ画像３０１を受信する。システム３００は、斜視モジュール３１０（第１モジュール）、特徴量変換モジュール３２０（第２モジュールの一部）、幻覚モジュール３３０（第２モジュールの一部）、およびパラメトリック予測モジュール３４０（第３モジュール）を含む。特徴量変換モジュール３２０と幻覚モジュール３３０とは、ＴＤモジュール２２０を形成する。システム３００は、（ｉ）斜視モジュール３１０から斜視図における画素レベル遮蔽認識セマンティック予測３５１を、（ｉｉ）幻覚モジュール３３０から上面図における画素レベルセマンティクス３５２を、（ｉｉｉ）パラメトリック予測モジュール３４０から上面図におけるパラメトリック属性予測３５３を出力する。これらの要素については、本明細書でさらに詳しく説明する。

【0035】

図４は、本発明の実施形態による、本発明を適用することができる例示的な環境４００を示すブロック図である。

【0036】

環境４００において、ユーザ４８８は、それぞれが独自の位置および軌道を有する複数の対象物７９９があるシーンに位置している。ユーザ４８８は、ＡＤＡＳ４７７を有する車両４７２（例えば、自動車、トラック、オートバイ等）を運転している。

【0037】

ＡＤＡＳ４７７は、遮蔽認識パラメトリック道路レイアウト予測値を算出する。

【0038】

遮蔽認識パラメトリック道路レイアウト予測に応答して、車両制御決定がなされる。そのために、ＡＤＡＳ４７７は、決定に対応する動作として、例えば、ステアリング、ブレーキ、および加速システムを制御することができるが、これらに限定されない。

【0039】

このように、ＡＤＡＳの状況において、ステアリング、加速／ブレーキ、摩擦（または摩擦の欠如）、ヨーレート、照明（ハザード、ハイビーム点滅など）、タイヤ圧、ターンシグナリングなどはすべて、本発明に従った最適化判断において効率的に利用することができる。

【0040】

本発明のシステム（例えば、システム４００）は、ユーザが操作している車両４７２の１つまたは複数のシステムを通じて、ユーザとインタフェースすることができる。例えば、本発明のシステムは、車両４７２のシステム４７２Ａ（例えば、ディスプレイシステム、スピーカシステム、および／または何らかの他のシステム）を介してユーザ情報を提供することができる。さらに、本発明のシステム（例えば、システム４００）は、車両を制御し、車両４７２に１つ以上の動作を実行させるために、車両４７２自身と（例えば、ステアリングシステム、ブレーキシステム、加速システム、ステアリングシステム、照明（ウインカー、ヘッドライト）システムなどを含むがこれらに限定されない車両４７２の１つ以上のシステムを通して）インタフェースすることができる。このようにして、ユーザまたは車両４７２自体は、これらの対象物４９９の周りをナビゲートして、その間の潜在的な衝突を回避することができる。情報の提供および／または車両の制御は、本発明の実施形態に従って決定される動作と考えることができる。

【0041】

図５は、本発明の実施形態による、道路レイアウト予測のための例示的な方法５００を示す流れ図である。

【0042】

ブロック５１０において、第１のモジュールによって、ＲＧＢ画像をセグメント化して、文脈上の手がかりに基づいて、斜視図における可視画素と遮蔽画素との両方について斜視図におけるＲＧＢ画像の画素レベルのセマンティックセグメント化結果を出力する。

【0043】

ブロック５２０において、第２のモジュールによって、道路平面仮定を使用して、斜視図のＲＧＢ画像に対する画素レベルのセマンティックセグメンテーションの結果からＲＧＢ画像の上面図へのマッピングを学習する。画素レベルのセマンティックセグメンテーションの結果は、ＲＧＢ画像の斜視図に隠されているアイテムを示すために、遮蔽推論される。ＲＧＢ画像の上面図は、ＲＧＢ画像の斜視図にて隠れているものを示す遮蔽推論がなされている。

【0044】

ブロック５３０で、第３のモジュールによって、上面図の道路レイアウト関連属性に対する遮蔽認識パラメトリック道路レイアウト予測を生成する。実施形態において、遮蔽認識パパラメトリック道路レイアウト予測は、例えば、限定されないが、道路境界、横断歩道境界、歩道境界、車線境界、衝突し得る対象物（人、他の車両、建物など）境界などの予測境界を含み、グループの１以上のメンバーは、斜視図におけるそれぞれの前景要素によって元々遮蔽されている。

【0045】

ブロック５４０において、遮蔽認識パラメトリック道路レイアウト予測に応答して、事故回避のために車両の車両システムを制御する。車両システムは、ブレーキシステム、加速システム、安定システム、ステアリングシステムなどのいずれか１つ以上とすることができる。

【0046】

次に、本発明の実施形態に基づき、本発明の枠組みについて説明する。

【0047】

このモデルには、３つのモジュールが含まれている。第１斜視セマンティクス（ＰＳ）モジュール３１０は、ＲＧＢ画像を入力し、斜視図における遮蔽推論された画素レベルのセマンティクス（ＯＳＰ）を出力する。第２の上面図セマンティクス（ＴＳ）モジュール３３０は、ＯＳＰを上面図に投影し、視界外だけでなくノイズのある領域に対して画素レベルの上面図セマンティクスを幻覚化／完成させることを学習し、これを上面図における幻覚化セマンティクス（ＨＳＴ）と称する。最後の上面図パラメトリック予測モジュール３４０は、ＨＳＴを解析し、上面図で道路レイアウト関連属性に関する予測を提供する。

【0048】

次に、本発明の実施形態に係るフルモデルに関して説明する。

【0049】

ここで、本発明はモデル構造に着目し、各モジュールに監督が用意されていることを前提とする。必要なアノテーションはパラメトリック形式のみであることが強調されている。緻密な画素レベルの監督／アノテーションがあることを前提としているが、実際には人間のアノテーションではなく、本発明の生成処理によるものである。まず、Ｎ^r個のサンプルからなるデータセット

【数1】

が存在するとする。具体的には、

【数2】

はＲＧＢの斜視画像で、ＨとＷは画像の高さと幅である。

【数3】

は、斜視図によるセマンティックセグメンテーションマップを示し、（Ｃ＋１）個のセマンティックカテゴリー（「道路」、「歩道」、「車線境界」、「横断歩道」、「前景」）を持つ。Ｃは背景のカテゴリ数を表し、実験では４に等しいが、他の数を使用することも可能である。セマンティック上面図は、空間寸法ｈ×ｗで、同じＣ＋１のセマンティックカテゴリーも含めて

【数4】

と表記する。最後に、各データサンプルについて、その対応するシーン属性をΘと表記する。

【0050】

フルモデルとは、次のように定義される。

【数5】

ここで、

【数6】

は関数合成を定義している。ｆ^ps、ｆ^ts、ｆは３つのモジュールに対応している。

【0051】

次に、本発明の実施形態に係る斜視セマンティクスモジュールについて説明する。

【0052】

斜視セマンティクスモジュール３１０の目標は、与えられたＲＧＢ上の斜視図、すなわちＯＳＰにおける画素ごとの遮蔽理由付きセマンティクスを提供することである。可視画素のみでセマンティクスを予測する従来のセマンティックセグメンテーションモデルと比較して、斜視セマンティクスモジュール３１０は、可視の背景クラスと遮蔽された背景クラスとの両方を予測することに焦点を当てることに留意されたい。そのため、目に見える情報に全面的に依存するのではなく、文脈を手がかりに意味づけを予測することをモジュールに学習させる必要がある。

【0053】

そのような望ましいグラウンドトゥルースｘ^pがデータセットで利用可能であると仮定すると、ＨＲＮｅｔＶ２－Ｗ１８の構造は、精度と効率の間の非常に良いトレードオフを達成するため、セマンティックセグメンテーションバックボーンとして従う。形式的には、

【数7】

が与えられると、ＰＳモジュールは、各画素が特定のカテゴリに属する確率を示す

【数8】

を出力する。

【0054】

ＰＳモジュール３１０は、以下のように定義される。

【数9】

【0055】

次に、本発明の実施形態に係る上面図セマンティクスモジュール２１０に関して説明する。

【0056】

第２のモジュール、すなわち上面図セマンティクスモジュール２６０は、ＯＳＰを入力し、斜視図におけるセマンティクスを上面図に明示的に投影するように学習する。形式的には、本モジュールは入力

【数10】

を受け取り、

【数11】

を出力する。ここでも、ｘは上面図における確率マップを示し、ｈとｗは上面図のマップの高さと幅を示す。カメラのパラメータがあれば、例えば深度ネットワークによる深度推定が可能であれば、投影は些細なことだと思われる。しかし、このシンプルな解決策には、主に３つの問題がある。まず、単一画像を入力とする画素単位の密な深度推定は、不正確な場合がある。グラウンドトゥルースによる監視の有無にかかわらず、遠くの領域や境界では奥行き精度が満足に得られないことがある。さらに、標準的な単一画像深度ネットワークは、一般的に、本発明による遮蔽認識投影に必要な、遮蔽領域での深度を推論しない。第２に、遠くの領域では解像度が低いため、上面図ではまばらな／ノイズの多いセマンティクスになる可能性がある。最後に、視野が狭いため、近接した領域に対する上面図のセマンティクスが不完全になることがある。

【0057】

このような課題に鑑み、本発明では、まず、道路がほぼ平面を形成していることを先行して利用し、奥行き推定を必要としない投影を容易にする。このステップは、変換モジュールと考えることができる。第２に、本発明は、上面図における遠方および近傍の領域に関するまばらな／ノイズの多いセマンティクスおよび不完全な予測に対処するために、幻覚モジュール３３０を提供する。

【0058】

具体的には、接地面に関する既知のカメラのイントリンシックおよびエクストリンシックが仮定される。これは、それらが予めキャリブレーションを介して事前に得られる可能性があるため、穏やかな仮定である。そのため、斜視図の各画素をＢＥＶ図にマッピングするホモグラフィーを計算できることはよく知られている。これで、変換モジュールが出来上がる。

【0059】

ＯＳＰを上面図にマッピングする変換モジュール３２０の後、幻覚モジュール３３０は、次に、上面図の文脈情報を用いてノイズの多いセマンティクスを回復するだけでなく、未見の遠方領域を予測するように学習する。幻覚モジュール３３０として、浅いもの、例えば５層エンコーダとデコーダとが使用される。なお、幻覚モジュール３３０の入力と出力とは同じサイズ、すなわちｈ×ｗ×（Ｃ＋１）である。

【0060】

要約すると、ＴＳモジュールは以下のように定義される。

【数12】

ここで、ｆ^hallnは変換モジュール３２０、ｆ^transは幻覚モジュール３３０をそれぞれ示す。

【0061】

次に、本発明の実施形態に係る上面図パラメトリック予測モジュール３４０に関して説明する。

【0062】

ＨＳＴ（Ｈａｌｌｕｃｉｎａｔｅｄ Ｓｅｍａｎｔｉｃｓ ｉｎ Ｔｏｐ－ｖｉｅｗ）が与えられると、次のステップはレイアウト属性を予測することである。簡単に言うと、上面図パラメトリック予測（ＴＰＰ）モジュール３４０は、ＨＳＴ ｘをシーンモデルパラメータΘにマッピングする。Θは、３つのグループ、すなわち、それぞれ、シーンモデルの１４のバイナリに対するΘ_b、２のマルチクラスに対するΘ_m、および１０の連続属性に対するΘ_cを含む。バイナリ属性には、道路が一方通行かどうかといった情報が含まれる。自車両の左側の車線数は多クラス属性の一例であり、右側の側道までの距離は連続属性の一例である可能性がある。

【0063】

ＴＴＰモジュール３４０は、以下のように定義される。

【数13】

ここで、ｈとｇはそれぞれ多層パーセプトロン（ＭＬＰ）と畳み込みニューラルネットである。具体的には、ｈはシーンモデルのパラメータ群Θ_b、Θ_m、Θ_cのそれぞれに対する３つの別々の予測値ｎ_b、ｎ_m、ｎ_cを持つマルチタスクネットワークとして実装される。

【0064】

ＴＴＰモジュール３４０は、シミュレートデータを利用することも可能である。現在の設計は、訓練中にシミュレーションデータから得られる豊富で大規模なアノテーションセットを活用するハイブリッドバージョンに簡単に拡張することができる。

【0065】

次に、本発明の実施形態に係るモデル訓練について説明する。

【0066】

各モジュールに対して、監督が全て利用可能であることを想定している。このようなデータセットを収集する方法について、パラメトリックレイアウトΘのみに対する人間のアノテーションへのアクセスが可能な場合に説明する。そして、訓練時に深層監督を利用する方法について紹介する。

【0067】

完全損失関数Ｌは、次のように定義される。

【数14】

ここで、λ、γ、βは各モジュールの重みを表す。

【0068】

次に、本発明の実施形態に係る上面図パラメトリック予測モジュールにおける損失関数について説明する。ΘとＩはすでに利用可能であるため、パラメトリック予測の損失関数は次のように定義される。

【数15】

ここで、（Ｂ）ＣＥは（２値）クロスエントロピー損失と{Θ，ｎ}，ｉはデータセットのｉ番目のサンプルを表す。回帰のために、連続変数は、Θ_cを中心とするディラック・デルタ関数と固定分散のガウスを畳み込むことによって１００バイナリに離散化される。マルチモーダル予測の助けを借りて、このモデルはグラフィカルなモデルで簡単に拡張することができる。

【0069】

次に、本発明の実施形態による、上面図セマンティクスモジュールに関して説明する。

【0070】

パラメトリック空間での直進的な設計とは異なり、第２のモジュールは、上面図での画素単位の監督を必要とする。このため、パラメトリックアノテーションから画素単位のセマンティクスを生成するレンダリング機能を利用することが提案されています。具体的には、各Θに対して、ｘマップをレンダリングする。

【0071】

次に、上面図セマンティクスモジュール上の損失関数に関して説明する。

【0072】

ＴＳモジュールの損失関数は、以下のように定義される。

【数16】

ここで、

【数17】

とｘ_iは、Ｄ^rのｉ番目のサンプルの上面図セマンティクスの予測値とレンダリングされたグラウンドトゥルースとを示す。

【0073】

次に、本発明の実施形態に係る斜視セマンティクスモジュールについて説明する。

【0074】

上面図セマンティクスｘが得られる限り、平面仮定と同様にカメラパラメータを用いて斜視図にマッピングし直すことができる。ここでも、斜視図とＢＥＶ図とのホモグラフィーを計算することで実現している。

【0075】

バックプロジェクションは、確かに遮蔽領域を回復することができ、斜視図の入力画像に関してセマンティクスをうまく整列させることができる。

【0076】

次に、本発明の実施形態に係る斜視セマンティクスモジュール上の損失関数について説明する。

【0077】

同様に、ＰＳモジュールの損失関数は、以下の通りである。

【数18】

ここで、

【数19】

と

【数20】

とは、本発明による予測値と、Ｄ^rのｉ番目のサンプルの斜視セマンティックスのバックプロジェクションによるグラウンドトゥルースとを示す。

【0078】

本発明は、統合の任意の可能な技術的詳細レベルにおけるシステム、方法、および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または媒体）を含み得る。

【0079】

コンピュータ可読記憶媒体は、命令実行装置によって使用するための命令を保持し格納することができる有形装置であり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであってもよいが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、以下のものが含まれる。携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯用コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多機能ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードやその上に記録した命令を持つ溝内の隆起構造などの機械的に符号化した装置および前述の任意の適切な組合せ。本明細書で使用するコンピュータ可読記憶媒体は、電波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を伝搬する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号などの一過性の信号そのものであると解釈してはならない。

【0080】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの演算／処理装置にダウンロードすることができ、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／または無線ネットワークを介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバーで構成されることがある。各演算／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの演算／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

【0081】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳＭＡＬＬＴＡＬＫ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語または同様のプログラミング言語などを含む１以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのどちらかであり得る。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的に、リモートコンピュータ上で部分的に、またはリモートコンピュータ若しくはサーバ上で完全に実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、接続は外部のコンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われることがある。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の側面を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人化し、コンピュータ可読プログラム命令を実行できる。

【0082】

本発明の態様は、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して、本明細書で説明される。フローチャート図および／またはブロック図の各ブロック、並びにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されるであろう。

【0083】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図のブロックまたはブロックで指定された機能／動作を実施する手段を作り出すように、機械を製造することができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能なデータ処理装置、および／または他の装置が特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に格納することもでき、コンピュータ可読記憶媒体に格納された命令が、フローチャートおよび／またはブロック図のブロックまたはブロックで指定される機能／動作の態様を実施する命令を含む製造物品を構成する、記憶された命令を持つようにすることができる。

【0084】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードして、コンピュータに実装された処理を生成するためにコンピュータ、他のプログラム可能な装置、または他の装置上で実行する一連の動作ステップを実行させることもでき、コンピュータ、他のプログラム可能な装置、または他の装置上で実行する命令が、フローチャートやブロック図のブロックまたはブロックに指定されている機能／動作を実施するようにする。

【0085】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を示すものである。この点で、フローチャートまたはブロック図の各ブロックは、命令のモジュール、セグメント、または部分を表すことがあり、これは、指定された論理機能（複数可）を実装するための1つまたは複数の実行可能命令を含んでいる。いくつかの代替的な実装では、ブロックに記された機能は、図に記された順序から外れて発生する可能性がある。例えば、連続して表示されている２つのブロックは、実際には実質的に同時に実行されることもあれば、関係する機能に応じて、ブロックが逆の順序で実行されることもある。また、ブロック図および／またはフローチャート図の各ブロック、並びにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令との組み合わせを実行する特別な目的のハードウェアベースのシステムによって実施できることに注目される。

【0086】

明細書において、本発明の「一実施形態」または「一実施形態」、およびその他の変形例への言及は、実施形態に関連して説明した特定の特徴、構造、特性などが、本発明の少なくとも一実施形態に含まれることを意味する。したがって、本明細書中の各所に現れる「一実施形態において」または「一実施形態において」という表現、および他の任意の変形は、必ずしもすべてが同じ実施形態を指すとは限らない。

【0087】

例えば「Ａ／Ｂ」の場合、「Ａおよび／またはＢ」、「ＡとＢとの少なくとも１つ」のような、以下の「／」、「および／または」、「少なくとも1つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含すると意図していると理解されよう。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または第３のリストされた選択肢（Ｃ）のみの選択、または第１および第２のリストされた選択肢（ＡおよびＢ）のみの選択、第１および第３のリストされた選択肢（ＡおよびＣ）のみの選択、第２および第３のリストされた選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択を包含すると意図されている。このことは、本技術および関連技術における通常の技術者が容易に理解できるように、記載された項目の数だけ拡張することができる。

【0088】

上記は、あらゆる点で例示的かつ例示的であるが、制限的なものではないと理解され、ここに開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈された請求項から決定されるものである。本明細書に示され説明された実施形態は、本発明の例示に過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されているとおりである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】