ホーム > 特許ランキング > トヨタ自動車株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191188
(43)【公開日】2022-12-27
(54)【発明の名称】予測システムを訓練するためのシステムと方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221220BHJP
G06T 7/50 20170101ALI20221220BHJP
G06N 3/08 20060101ALI20221220BHJP
【ＦＩ】
G06T7/00 350C
G06T7/50
G06N3/08 180
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022094548
(22)【出願日】2022-06-10
(31)【優先権主張番号】17/343,964
(32)【優先日】2021-06-10
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】ルイ グォ
(72)【発明者】
【氏名】シュウェイ チー
(72)【発明者】
【氏名】尾口 健太郎
(57)【要約】
【課題】低照度における深度認識を向上するために予測システムを訓練することに関するシステム、方法を提供すること。
【解決手段】１つの実施形態においては、本方法は、第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算することを含んでいる。本方法はまた、損失に従って、スタイルモデルと深度モデルを調整することも含んでいる。本方法はまた、第２訓練段階において、低照度画像の合成表現を使用して深度モデルを訓練することも含んでいる。本方法はまた、深度モデルを提供することも含んでいる。
【選択図】図３Ｂ
【解決手段】１つの実施形態においては、本方法は、第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算することを含んでいる。本方法はまた、損失に従って、スタイルモデルと深度モデルを調整することも含んでいる。本方法はまた、第２訓練段階において、低照度画像の合成表現を使用して深度モデルを訓練することも含んでいる。本方法はまた、深度モデルを提供することも含んでいる。
【選択図】図３Ｂ
【特許請求の範囲】
【請求項1】
深度認識のための予測システムであって、
プロセッサと、
指示を格納しているメモリであって、該指示は前記プロセッサにより実行されると前記プロセッサに、
第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算させ、
前記損失に従って、スタイルモデルと深度モデルを調整させ、
第２訓練段階において、低照度画像の合成表現を使用して前記深度モデルを訓練させ、
前記深度モデルを提供させる、
メモリと、
を具備する、予測システム。
プロセッサと、
指示を格納しているメモリであって、該指示は前記プロセッサにより実行されると前記プロセッサに、
第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算させ、
前記損失に従って、スタイルモデルと深度モデルを調整させ、
第２訓練段階において、低照度画像の合成表現を使用して前記深度モデルを訓練させ、
前記深度モデルを提供させる、
メモリと、
を具備する、予測システム。
【請求項2】
前記スタイルモデルを使用して前記合成画像を昼間表現に変換し、前記教師あり損失を決定するために、前記深度モデルを使用して、前記昼間表現から他の深度マップを出力するための指示を更に含んでいる、請求項１に記載の予測システム。
【請求項3】
前記スタイルモデルと前記深度モデルを調整するための指示は更に、前記フロー損失を使用して、前記昼間表現と前の表現との間のオブジェクトの動きを調整するための指示を含んでいる、請求項２に記載の予測システム。
【請求項4】
前記損失を計算するための指示は更に、ポーズモデルを使用して前記スタイルモデルのポーズ損失と、フローモデルを使用して前記深度モデルのフロー損失を決定するための指示を含んでいる、請求項１に記載の予測システム。
【請求項5】
前記第２訓練段階において、敵対的ネットワークを使用して、前記低照度画像を前記合成表現に変換し、前記スタイルモデルと前記深度モデルに従って、前記合成表現を使用して他の深度マップを形成するための指示を更に含んでいる、請求項１に記載の予測システム。
【請求項6】
前記深度モデルを訓練するための指示は更に、前記深度マップの半教師あり損失に従って、前記敵対的ネットワークを訓練するための指示を含んでいる、請求項５に記載の予測システム。
【請求項7】
前記第２訓練段階に対する深度予測を決定するために、前記スタイルモデルを使用して、前記合成表現を昼間表現に変換するための指示を更に含んでいる、請求項１に記載の予測システム。
【請求項8】
前記スタイルモデルと前記深度モデルを調整するための指示は更に、前記低照度シーンと関連付けられている連続合成画像に対するポーズモデルを使用して、動きに対して前記スタイルモデルを調整するための指示を含んでいる、請求項１に記載の予測システム。
【請求項9】
予測システムを訓練するための、指示を含んでいる非一時的コンピュータ可読媒体であって、該指示はプロセッサにより実行されると前記プロセッサに、
第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算させ、
前記損失に従って、スタイルモデルと深度モデルを調整させ、
第２訓練段階において、低照度画像の合成表現を使用して前記深度モデルを訓練させ、
前記深度モデルを提供させる、
非一時的コンピュータ可読媒体。
第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算させ、
前記損失に従って、スタイルモデルと深度モデルを調整させ、
第２訓練段階において、低照度画像の合成表現を使用して前記深度モデルを訓練させ、
前記深度モデルを提供させる、
非一時的コンピュータ可読媒体。
【請求項10】
前記スタイルモデルを使用して前記合成画像を昼間表現に変換し、前記教師あり損失を決定するために、前記深度モデルを使用して、前記昼間表現から他の深度マップを出力するための指示を更に含んでいる、請求項９に記載の非一時的コンピュータ可読媒体。
【請求項11】
前記スタイルモデルと前記深度モデルを調整するための指示は更に、前記フロー損失を使用して、前記昼間表現と前の表現との間のオブジェクトの動きを調整するための指示を含んでいる、請求項１０に記載の非一時的コンピュータ可読媒体。
【請求項12】
前記損失を計算するための指示は更に、ポーズモデルを使用して前記スタイルモデルのポーズ損失と、フローモデルを使用して前記深度モデルのフロー損失を決定するための指示を含んでいる、請求項９に記載の非一時的コンピュータ可読媒体。
【請求項13】
第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている、ポーズ損失、フロー損失、および教師あり損失を含む損失を計算することと、
前記損失に従って、スタイルモデルと深度モデルを調整することと、
第２訓練段階において、低照度画像の合成表現を使用して前記深度モデルを訓練することと、
前記深度モデルを提供することと、
を含んでいる、方法。
前記損失に従って、スタイルモデルと深度モデルを調整することと、
第２訓練段階において、低照度画像の合成表現を使用して前記深度モデルを訓練することと、
前記深度モデルを提供することと、
を含んでいる、方法。
【請求項14】
前記スタイルモデルを使用して前記合成画像を昼間表現に変換することと、
前記教師あり損失を決定するために、前記深度モデルを使用して、前記昼間表現から他の深度マップを出力することと、
を更に含んでいる、請求項１３に記載の方法。
前記教師あり損失を決定するために、前記深度モデルを使用して、前記昼間表現から他の深度マップを出力することと、
を更に含んでいる、請求項１３に記載の方法。
【請求項15】
前記スタイルモデルと前記深度モデルを調整することは更に、前記フロー損失を使用して、前記昼間表現と前の表現との間のオブジェクトの動きを調整することを含んでいる、請求項１４に記載の方法。
【請求項16】
前記損失を計算することは更に、ポーズモデルを使用して前記スタイルモデルの前記ポーズ損失と、フローモデルを使用して前記深度モデルの前記フロー損失を決定することを含んでいる、請求項１３に記載の方法。
【請求項17】
前記第２訓練段階において、敵対的ネットワークを使用して、前記低照度画像を前記合成表現に変換し、前記スタイルモデルと前記深度モデルに従って、前記合成表現を使用して他の深度マップを形成することを更に含んでいる、請求項１３に記載の方法。
【請求項18】
前記深度モデルを訓練することは更に、前記深度マップの半教師あり損失に従って、前記敵対的ネットワークを訓練することを含んでいる、請求項１７に記載の方法。
【請求項19】
前記第２訓練段階に対する深度予測を決定するために、前記スタイルモデルを使用して、前記合成表現を昼間表現に変換することを更に含んでいる、請求項１３に記載の方法。
【請求項20】
前記スタイルモデルと前記深度モデルを調整することは更に、前記低照度シーンと関連付けられている連続合成画像に対するポーズモデルを使用して、動きに対して前記スタイルモデルを調整することを含んでいる、請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
ここにおいて記述されている主題は、全体的には、システムを訓練することに関し、より特別には、低照度における深度認識のための予測システムを訓練することに関する。
【背景技術】
【0002】
システムは、画像内のオブジェクト(objects)の深度認識を容易にするためにセンサデータを使用できる。例えば、車両には、画像から周囲環境の他の車両、障害物、歩行者、および追加的態様の深度を推定することを容易にするセンサを装備することができる。種々の実現形態においては、車両には、光検知とライダー（ＬＩＤＡＲ）センサを装備することができ、ＬＩＤＡＲセンサは、周囲環境を走査するために光を使用し、一方、ＬＩＤＡＲと関連付けられているロジックは、オブジェクトの存在と周囲環境の他の特徴を検出することを容易にするために取得された情報を解析する。更なる例においては、カメラなどのような追加的センサを、車両または任意の計算装置のための情報がシステムにより導出される環境についての情報を取得するために実現できる。例えば、このセンサデータは、自動化運転システムなどのようなシステムが、正確に計画を立て、車両を走行させることができるように、周囲環境の認識を向上するために種々の状況において有用であり得る。
【0003】
更にシステムは、複雑性を削減するために、ＬＩＤＡＲセンサ、ステレオカメラ、または他のセンサからのデータに頼らずに画像内のオブジェクトの深度を予測することを容易にするために単眼カメラを使用できる。例えば、深度モデルは、深度マップを生成するために単眼カメラからの画像を使用できる。問題のない動作のために、システムは、異なる照明状況に対して深度モデルを訓練できる。それでも、低照度状況に対しては、特に、深度認識に対してシステムを訓練するためには計算は困難に遭遇する可能性がある。
【発明の概要】
【0004】
１つの実施形態においては、例としてのシステムと方法は、深度認識を向上するために低照度状況に対してシステムを訓練することに関する。種々の実現形態においては、深度を予測するために、単眼カメラからの画像を使用するシステムは、夜間などのような、低照度において深度マップを生成することは困難である可能性がある。更に、低照度画像に対する深度マップの明確性を増大するために、単眼カメラからの情報を他のセンサデータと組み合わせると複雑さが増大する可能性がある。従って、１つの実施形態においては、予測システムは、深度マップを生成するために、低照度環境の合成画像を部分的に使用することにより機械学習（ＭＬ）アーキテクチャを訓練できる。ここで、第１訓練段階は、低照度環境と関連付けられているシミュレートされたモデルに関する合成画像を使用できる。１つのアプローチにおいては、予測システムは、スタイルモデルを使用して、低照度環境の合成画像を、深度マップを生成するための深度モデルへの入力としての昼間表現に変換することにより訓練を実行できる。特に、深度マップの明確性は、画像フレーム間のオブジェクトの動きによる損失を、ネットワークの意味関係の一貫性を向上するために第１訓練段階に対するポーズおよびフロー損失を使用して計算することにより増大できる。例えば、予測システムは、ポーズおよびフロー損失を使用してパラメータを調整することによりスタイルおよび深度モデルを訓練できる。このようにして、予測システムは、低照度環境における深度マップ生成を、昼間における処理および、第１訓練段階の合成ドメインにおける損失に対する調整により向上する。
【0005】
更に予測システムは、実際のシーンの低照度画像を、敵対的ネットワークを使用して合成表現に変換するために第２訓練段階を使用できる。ここで、第２訓練段階は、深度を推定するための低照度環境のシミュレートされたシーンにおける合成表現を使用できる。そのため、予測システムは、第１訓練段階で訓練された、第２訓練段階が深度マップを生成するためのスタイルおよび深度モデルを使用して合成表現を処理できる。追加的に、予測システムは、実際のシーンからの低照度画像を合成昼間表現に変換し、深度マップを生成することによる損失に従って、第２段階において訓練を実行できる。このようにして、予測システムは、ポーズおよびフロー損失に対して調整することによる訓練の間の向上された意味関係から、低照度環境についての深度マップの明確性を増大することができる。向上された意味関係はまた、単眼カメラにより撮影された画像のシーケンスから予測システムにより生成された深度マップの明確性を増大でき、それにより、より高い解像度の深度マップに頼るアプリケーションに恩恵を与える。
【0006】
１つの実施形態においては、低照度における深度認識を向上するために予測システムを訓練することが開示される。予測システムは、プロセッサとメモリを含んでおり、メモリは、プロセッサにより実行されるとそのプロセッサに、第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている損失を計算させるための指示を格納しており、ここにおいて損失は、ポーズ損失、フロー損失、および教師あり損失を含んでいる。指示はまた、損失に従って、スタイルモデルと深度モデルを調整するための指示も含んでいる。指示はまた、第２訓練段階において、低照度画像の合成表現を使用して深度モデルを訓練するための指示も含んでいる。指示はまた、深度モデルを提供するための指示も含んでいる。
【0007】
１つの実施形態においては、低照度における深度認識を向上するために予測システムを訓練するための、および、プロセッサにより実行されるとそのプロセッサに１つ以上の機能を実行させる指示を含んでいる非一時的コンピュータ可読媒体が開示される。指示は、第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている損失を計算させるための指示を格納しており、ここにおいて損失は、ポーズ損失、フロー損失、および教師あり損失を含んでいる。指示はまた、損失に従って、スタイルモデルと深度モデルを調整するための指示も含んでいる。指示はまた、第２訓練段階において、低照度画像の合成表現を使用して深度モデルを訓練するための指示も含んでいる。指示はまた、深度モデルを提供するための指示も含んでいる。
【0008】
１つの実施形態においては、低照度における深度認識を向上するために予測システムを訓練するための方法が開示される。１つの実施形態においては、方法は、第１訓練段階において、低照度シーンの合成画像に対する深度マップを予測することと関連付けられている損失を計算することを含んでおり、ここにおいて損失は、ポーズ損失、フロー損失、および教師あり損失を含んでいる。方法はまた、損失に従って、スタイルモデルと深度モデルを調整することも含んでいる。方法はまた、第２訓練段階において、低照度画像の合成表現を使用して深度モデルを訓練することも含んでいる。方法はまた、深度モデルを提供することも含んでいる。
【図面の簡単な説明】
【0009】
明細書に組み込まれ、明細書の一部を構成している不随する図面は、開示の種々のシステム、方法、および他の実施形態を例示している。図面において例示されている要素の境界（例えば、ボックス、ボックスのグループ、または他の形状）は、境界の１つの実施形態を表しているということは認識されるであろう。幾つかの実施形態においては、１つの要素は複数の要素として設計でき、または、複数の要素は１つの要素として設計できる。幾つかの実施形態においては、他の要素の内部構成要素として示されている要素は、外部構成要素として実現でき、逆もまた可能である。更に、要素は一定の比率で拡大／縮小されて描かれていないこともある。
【0010】
【図1】ここにおいて開示されているシステムと方法を実現できる車両の１つの実施形態を例示している図である。
【図2】低照度環境に対して、画像内のオブジェクトの深度を推定するための予測システムの１つの実施形態を例示している図である。
【図4】予測システムと共に使用される弁別器モデルの例を示している図である。
【図5】低照度環境に対して、画像内のオブジェクトの深度を推定するエンコーダ／デコーダネットワークの１つの実施形態を例示している図である。
【図6A】２つの段階を使用して、画像内のオブジェクトの深度を推定するための予測システムを訓練することと関連付けられている方法の１つの実施形態を例示している図である。
【図6B】２つの段階を使用して、画像内のオブジェクトの深度を推定するための予測システムを訓練することと関連付けられている方法の１つの実施形態を例示している図である。
【図7】２つの段階を使用して訓練されたシステムにより生成された、低照度環境に対する深度マップの例を示している図である。
【発明を実施するための形態】
【0011】
低照度における深度認識を向上するために予測システムを訓練することと関連付けられているシステム、方法、および他の実施形態がここにおいて開示される。深度マップのための予測システムは、意味関係の一貫性に頼ることにより２つの段階を使用して訓練でき、それにより、スタイルモデルと深度モデルとの間の生成された内容の希薄化を防止する。特に、予測システムは、昼間表現と、シミュレートされたシーンに関する合成画像の対応する深度マップを生成するときに、第１訓練段階においてポーズおよびフローモデルをスーパービジョンとして使用できる。昼間表現は、低照度環境からの合成画像に関連させることができる。照明レベルに関して、低照度は、単眼カメラ、赤／緑／青（ＲＧＢ）カメラ、光学カメラ、マシンビジョンなどを使用しているシステムが、減少した色強度のために、オブジェクトの特徴を識別することが困難になる可能性のある照明環境を表すことができる。
【0012】
更に予測システムは、第１訓練段階において、カメラの動きを調整することによりスタイルモデルを強化するためにポーズモデルを使用でき、オブジェクトの動きを考慮することにより深度モデルを強化するためにフローモデルを使用できる。複雑さを削減するために、第１訓練段階は、交通シーンに対してシミュレートされた画像データを使用することにより、実際の画像、対画像などに頼ることを削減することにより、動作を簡潔化するために合成ドメインで動作できる。一方、第２訓練段階は、訓練を完了するために、実際の低照度環境において撮影された、カメラからの実際の画像を使用できる。
【0013】
第１訓練段階のアーキテクチャに関して、スタイルモデルは、色、陰影、照明条件などによるように、オブジェクトの特徴がどのように現れるかを予測することによりスタイル転送を実行できる。そのため、昼間表現は、豊富さを増大するために照明またはスタイルを変更しながら、合成画像と同じ内容を有することができる。深度モデルは、敵対的生成ネットワーク（ＧＡＮ）などのような、昼間表現から深度マップを生成するネットワークであることができる。そして、予測システムは、損失最小化を通して、第１訓練段階に対する種々の損失と教師あり損失を計算できる。例えば、ポーズ損失は、合成画像の変換が閾値に到達するときに最小化できる。一方、予測システムは、昼間表現と、関連する深度マップとの間のオブジェクトの動的動きと関連付けられているフロー損失を最小化できる。そのため、予測システムは、基準が満たされないときに、交通シーンに関する追加的合成画像を使用することによるなどのように、重さに対して基準を満たすまで、損失を使用してモデルパラメータを第１訓練段階において調整できる。
【0014】
第２訓練段階のアーキテクチャに関して、予測システムは、敵対的ネットワークを使用して、実際の画像を合成表現に変換することにより訓練を継続できる。例えば、実際の交通シーンの低照度画像を、実際の環境についてネットワークを訓練するために合成表現に変換できる。更に第２訓練段階は、第１訓練段階から重みを受け継ぐことができ、更なる訓練のための損失を計算するためにスタイルおよび深度モデルを使用して合成表現を処理できる。例えば、予測システムは、実際の画像と関連付けられている深度マップを予測するために、基準（例えば、最小損失）を満たすためにスタイル転送とスーパービジョン損失を計算できる。そのため、第２訓練段階における処理は、基準が満たされないときに、交通シーンに関する追加的な実際の画像を使用することによるなどのように、モデルパラメータが損失に対する基準を満たすまで継続することができる。このようにして、２段階システムは、段階間の画像対応または相関関係を削減することにより、低照度におけるより精度の高い深度マップのためのドメイン訓練と合成画像処理を向上する。
【0015】
図１を参照すると、車両１００の例が示されている。ここにおいて使用されているように、「車両」はモータ付き輸送装置の任意の形状である。１つ以上の実現形態においては、車両１００は自動車である。ここにおいては、配置は自動車に関して記述されているが、実施形態は自動車に制限されないということは理解されるであろう。幾つかの実施形態においては、予測システム１７０は、消費者電子機器（ＣＥ）、モバイル装置、ロボット装置、ドローンなどに対して使用できる。幾つかの実施形態においては、車両１００は、例えば、周囲環境の態様を認識するためにセンサを含み、そのため、低照度における深度認式を向上するための、予測システムの訓練と関連付けてここにおいて検討されている機能の恩恵を受ける、任意のロボット装置、または、モータ付き輸送装置の形状であってよい。
【0016】
車両１００はまた、種々の要素を含んでいる。種々の実施形態においては、車両１００は、図１において示されている要素よりも少ない数の要素を有することができるということを理解されるであろう。車両１００は、図１において示されている種々の要素の任意の組み合わせを有することができる。更に車両１００は、図１において示されている要素に対して追加的要素を有することができる。幾つかの配置においては、車両１００は、図１において示されている要素の１つ以上なしで実現できる。種々の要素は、図１においては車両１００内に位置しているように示されているが、これらの要素の１つ以上は、車両１００の外部に位置させることができるということは理解されるであろう。更に、示されている要素は、相当な距離だけ物理的に離すことができる。例えば、検討されているように、開示されている１つ以上の構成要素は車両内に実現でき、一方、システムの更なる構成要素は、車両１００から遠く離れているクラウド計算環境または他のシステム内で実現される。
【0017】
車両１００の可能な要素の幾つかが図１において示されており、後続する図と共に記述される。しかし、図１における要素の多くの記述は、この記述の簡潔性の目的のために図２～７の検討の後に提供される。追加的に、例示の簡潔性と明確性のために、適切であれば、参照番号は、対応する、または類似する要素を示すために異なる図において繰り返されているということは認識されるであろう。追加的に、検討は、ここにおいて記述されている実施形態の完全な理解を提供するために、多数の特定の詳細の要点を記述している。しかし、この技術における技量を有する者は、ここにおいて記述されている実施形態は、これらの要素の種々の組み合わせを使用して実践できるということを理解するであろう。何れにせよ、車両１００は、低照度における深度認識のための予測システムの訓練を向上することに関して、ここにおいて開示されているような方法と他の機能を実行するために実現される予測システム１７０を含んでいる。下記により詳細に検討されるように、種々の実現形態においては、予測システム１７０は、ＣＥ装置、モバイル装置、ロボット、ドローン、車両などの内部に部分的に実現でき、クラウドに基づくサービスとして実現できる。例えば、１つのアプローチにおいては、予測システム１７０の少なくとも１つのモジュールと関連付けられている機能は車両１００内で実現され、一方、更なる機能は、クラウドに基づく計算システム内で実現される。
【0018】
図２を参照すると、図１の予測システム１７０の１つの実施形態が更に例示されている。予測システム１７０は、図１の車両１００のプロセッサ１１０を含んでいるとして示されている。しかし、他の例においては、プロセッサ１１０は、ＣＥ装置、モバイル装置、ロボット、ドローンなどの一部であることができる。従って、プロセッサ１１０は、予測システム１７０の一部であることができ、予測システム１７０は、車両１００のプロセッサ１１０とは別個のプロセッサを含むことができ、または、予測システム１７０は、データバスまたは他の通信経路を通してプロセッサ１１０にアクセスできる。１つの実施形態においては、予測システム１７０は、予測モジュール２２０を格納しているメモリ２１０を含んでいる。メモリ２１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ、フラッシュメモリ、または、予測モジュール２２０を格納するための他の適切なメモリである。予測モジュール２２０は、例えば、コンピュータ可読指示であり、このコンピュータ可読指示は、プロセッサ１１０により実行されるとそのプロセッサ１１０に、ここにおいて開示されている種々の機能を実行させる。
【0019】
図２に例示されているような予測システム１７０は、一般的には、ＣＥ装置、モバイル装置、ロボット、ドローン、車両などと、クラウド計算環境との間で実現できるような予測システム１７０の抽象化された形態である。更に予測モジュール２２０は、一般的には、プロセッサ１１０を、車両１００の１つ以上のセンサからデータ入力を受信するようにプロセッサ１１０を制御するために機能する指示を含んでいる。入力は、１つの実施形態においては、車両１００に近接する環境における１つ以上のオブジェクトの観測結果、および／または、周囲についての他の態様である。
【0020】
従って、予測モジュール２２０は、１つの実施形態においては、センサデータ２４０の形状でデータ入力を提供するようにそれぞれのセンサを制御する。追加的に、予測モジュール２２０は、センサデータ２４０を提供するように種々のセンサを制御するとして検討されているが、１つ以上の実施形態においては、予測モジュール２２０は、能動的または受動的の何れかであるセンサデータ２４０を取得する他の技術を採用できる。例えば、予測モジュール２２０は、センサデータ２４０および／または無線通信リンクを介して取得されたセンサデータを提供するときに、複数のセンサからのデータを融合するために種々のアプローチを取ることができる。
【0021】
更に、１つの実施形態においては、予測システム１７０はデータ格納装置２３０を含んでいる。１つの実施形態においては、データ格納装置２３０はデータベースである。データベースは、１つの実施形態においては、メモリ２１０に格納されている電子データ構造体、または他のデータ格納装置であり、格納されたデータを解析し、格納されたデータを提供し、格納されたデータを編成するなどするためにプロセッサ１１０により実行できるルーチンで構成されている。そのため、１つの実施形態においては、データ格納装置２３０は、予測モジュール２２０が種々の機能を実行するときに使用するデータを格納する。１つの実施形態においては、データ格納装置２３０は、例えば、センサデータ２４０の種々の態様を特徴付けるメタデータと共にセンサデータ２４０を含んでいる。
【0022】
更に、種々の実施形態においては、データ格納装置２３０は更に、シミュレーションデータ２５０と画像データ２６０を含んでいる。シミュレーションデータ２５０は、車両１００の種々の運転シナリオからの環境の画像を含むことができる。環境は、建物、他の車両、歩道、街灯、ガイドレールなどを含むことができる。追加的に、データ格納装置２３０は、車両１００のカメラにより取り込まれた画像データ２６０と、画像データ２６０に関する強度と色情報を含むことができる。１つのアプローチにおいては、予測モジュール２２０は、フレーム間の変化に従う深度マップを計算するために、シーンから画像のシーケンスを取り込むことができる。
【0023】
予測モジュール２２０を訓練するために、予測システム１７０は訓練段階を利用できる。下記に記述されるように、予測システム１７０は、第１訓練段階において、夜間シーンの合成画像に対して深度マップを予測することによる損失を計算できる。１つのアプローチにおいては、全体の損失には、ポーズ損失、フロー損失、および教師あり損失を含むことができる。そして予測システム１７０は、深度モデルのパラメータを調整でき、収束するまで、または、パラメータに対する基準が満たされるまで訓練プロセスを繰り返すことができる。例えば、基準は、損失が、あるアプリケーションにおける深度マップと関連付けられている解像度に対する閾値または大きさを満たすことであることができる。第２訓練段階は、ネットワークが実際の環境において動作するために、昼間表現に変換された実際の画像を使用して訓練を完了し、改良を加える。
【0024】
ここで、図３Ａと図３Ｂを見てみると、システム３００と３０２は、図２の予測システム１７０に対する訓練段階の実施形態を例示している。３００において、第１訓練段階３１０は、予測システム１７０を訓練するために、合成画像のシーケンスを、低照度、夜間の、または、厳しい天候シーンから、増大された光に変換できる。種々の実施形態においては、サーバは、予測システム１７０をオフラインで訓練するためのデータを使用できる。下記に説明されるように、第１訓練段階３１０は、実際の画像、対画像、実際のグラウンドトゥルースなどに頼ることを削減することにより動作を簡潔化するために合成ドメインにおいて動作できる。例えば、合成ドメインにおける動作は、実際のシーンではなく合成夜間シーンにおける現在の交通シーンに対する昼間表現を利用できる。
【0025】
合成ドメインに対してシミュレートされたデータを使用することに関して、シミュレータは、現実世界の都市、郊外、主要幹線道路などの環境の合成画像を生成できる。１つのアプローチにおいては、シミュレータは訓練のために、サーバまたはネットワーク上でオフラインで動作でき、それにより、車両１００における計算リソースに頼ることを削減できる。
【0026】
照明レベルを理解するために、低照度は、単眼カメラ、ＲＧＢカメラ、光学カメラ、マシンビジョンなどを使用しているシステムが、減少した色強度のために、オブジェクトの特徴を識別することが困難になる可能性のある照明環境を表すことができる。例えば、夜間に車両１００を運転すること、または、闇の中で、室内で、薄暮においてなどで、予測システム１７０を使用することは、低照度を有している環境であり得る。増大された光は、単眼カメラ、ＲＧＢカメラ、光学カメラ、マシンビジョンなどを使用するシステムが、色強度からオブジェクトの特徴を信頼性を有して識別できる、より明るい照明条件を表すことができる。例えば、昼間に車両１００を運転すること、または、日光の中で、屋外で、朝などに予測システム１７０を使用することは、増大された光を有する環境であり得る。もちろん、照明レベルを定義するために昼間と夜間に言及することは、一般的には、天候、および照明に影響を与える他のファクタにおける変動のために主観的となり得る。ルクス（ｌｘ（照度の単位））は、１平方メートル当たりの輝度の単位として照明レベルを表すことができる。従って、昼間、増大された光、より明るい照明などは一般的には、周囲の光が、深度処理に関してオブジェクトの特徴を識別するために十分なルーメン（例えば、３０ｋルクスから１００ｋルクス）を有することができる状況のことを指している。反対に、夜間、低照度、室内などは一般的には、周囲の光が、オブジェクトの特徴を識別するための十分なルーメンを有することができない（例えば、１ルクスから６０ルクス）状況のことを指している。
【0027】
更に第１訓練段階３１０は、Ｓｔｙｌｅ Ｍｏｄｅｌ（スタイルモデル）n-d３３０を使用して、合成画像のシーケンスを、昼間表現のシーケンスに変換できる。特に、Ｓｔｙｌｅ Ｍｏｄｅｌn-d３３０は、色、影、陰影、照明条件などによるように、オブジェクトの特徴が現れる様子を予測することによりスタイルまたはドメイン転送を実行できる。そのため、昼間表現は、深度処理に対する豊富さを増大するために照明またはスタイルを変更しながら、同じ内容を有している。
【0028】
アーキテクチャに関しては、種々の実現形態においては、Ｓｔｙｌｅ Ｍｏｄｅｌn-d３３０は、低照度シーンについてのオブジェクトの特徴を識別するために色強度を予測するＧＡＮまたはニューラルネットワークであることができる。ＧＡＮは、学習のためのゼロサムゲームにおいて競合するニューラルネットワークの対を含むことができる。ＧＡＮの出力は、訓練データと類似する統計値により生成された新しいデータであることができる。ここで、ＧＡＮは、色、影、陰影、照明条件などによるように、オブジェクトの特徴が現れる様子を予測することにより、実際の、または合成画像を変換できる。
【0029】
更にＧＡＮは、適応性弁別器を通して、間接的学習を達成できる。図４は、予測システム１７０に対する弁別器モデル４００の例を示している。弁別器モデル４００は、データを分類するためのサイクリックまたは条件付きＧＡＮ（ｃＧＡＮ）と連携して動作できる。１つのアプローチにおいては、生成器Ａ２Ｂは、低照度で撮影された実際の画像Ａを、昼間表現Ｂに変換できる。弁別器Ａは、昼間表現Ｂを、サイクリック画像Ａを生成するための生成器Ｂ２Ａによる誤差逆伝播および後続の変換のために処理する。サイクリック画像Ａは、生成器Ａ２Ｂの可逆性を決定するために、実際の画像Ａの再構築された低照度画像を表現できる。そのため、弁別器Ｂは、訓練のための重みを調整するため、実際の画像Ａの損失を、サイクリック画像Ａと比較する。このアプローチにおいては、システムは、モデルが教師なしで学習するように、画像における特定のオブジェクトまでの距離を最小化する代わりに、弁別器Ｂを誤らせることによりｃＧＡＮを訓練できる。弁別器モデル４００におけるこのプロセスは、訓練を完了するためのＧＡＮの収束まで継続する。
【0030】
更に、実際の、または合成画像で訓練されたＧＡＮは、根本的な変化を有しながら、現実的な特性を有する人間には本物に見える新しい画像を生成できる。ここで、ＧＡＮは、現実的なレンダリングに対して、増大された光の制御された特質を有する新しい合成画像を生成できる。レンダリングされた画像は、予測システムが深度マップを生成するための、低照度の環境の内容と距離の意味関係を保存できる。
【0031】
合成画像のシーケンスが変換されると、予測システム１７０は、ポーズモデルを使用して、低照度の合成画像を昼間表現と比較することにより、ポーズ損失を計算できる。ポーズモデルは、画像におけるオブジェクトに対する画像センサまたはカメラの時間、位置、場所、角度などを推定するニューラルネットワークであることができる。車両１００に対しては、ポーズ損失は、道路または環境状況からのカメラの動きのために変化し得る。そのため、ポーズモデルは、合成画像と昼間表現のシーケンス間のポーズ損失に従って、カメラモデルを考慮および調整できる。１つのアプローチにおいては、ポーズモデルは、畳み込みニューラルネットワーク（ＣＮＮ）、ＰｏｓｅＮｅｔ（ポーズネット）モデルなど、合成画像内の人間または動物の姿勢を推定するものであることができる。更にポーズ損失は、Ｓｔｙｌｅ Ｍｏｄｅｌn-d３３０による合成画像の変換が、画像のシーケンスに対する閾値に到達するときに最小化できる。
【0032】
予測システム１７０が、昼間表現のシーケンスを計算すると、深度モデル３２０は、シーケンスから深度マップを予測できる。１つのアプローチにおいては、深度モデル３２０は、条件である入力画像に従って深度を予測するＧＡＮまたはｃＧＡＮであることができる。そのため、ｃＧＡＮは、入力された合成昼間表現に内容が実質的に類似している深度マップに対する画像を生成しながらノイズを規制できる。ｃＧＡＮの出力は、グレースケールにおける深度マップであることができ、各画素の強度は、オブジェクトと画像センサまたはカメラとの間の距離を表している。
【0033】
深度モデル３２０のアーキテクチャに関して、図５は、低照度の環境に対する画像内のオブジェクトの深度を推定するためのエンコーダ／デコーダネットワーク５００の１つの実施形態を例示している。１つのアプローチにおいては、エンコーダ／デコーダネットワーク５００は、合成昼間表現の元々の画素の強度空間を変換するために複数の層を使用するダイアボリック形状（円錐の頂点の上に同じ円錐を逆さにして重ねたような形状）のディープニューラルネットワーク（ＤＮＮ）であることができる。特に、エンコーダ／デコーダネットワーク５００は、元々の画素を、合成昼間表現の固有の特性を向上する他の空間に非線形に変換できる。
【0034】
更に、エンコーダ層３、６４、１２８、２５６、および５１２は、３×３二次元（２Ｄ）畳み込み層と、異なる層間で予め訓練されている正規化線形ユニットを利用できる。１つのアプローチにおいては、エンコーダ層６４、１２８、２５６、および５１２は、前の特徴マップの顕著な特徴を出力するために、層内の最大プール操作を利用できる。デコーダ側においては、デコーダ層１、６４、１２８、２５６、および５１２は、３×３二次元畳み込み層と、層内の正規化線形ユニットを利用できる。追加的に、デコーダ層３２、６４、１２８、２５６、および５１２は、二次元における畳み込み転置、２のストライド、および正規化線形ユニットを利用できる。従って、エンコーダ／デコーダネットワーク５００の出力は、深度マップを生成するための数値要素を有するマトリックスのグループを有する特徴マップであることができる。
【0035】
追加的損失に関して、予測システム１７０は、深度モデル３２０により生成された深度マップに対するフローモデルを使用して、フロー損失を計算できる。フローモデルは、深度モデルを適合させるための昼間表現と深度マップのシーケンス間のオブジェクトの動的動きのためのフロー損失を決定するニューラルネットワークであることができる。例えば、フローモデルは、オブジェクトの動的動きを識別するためにエッジまたは境界情報を使用できる。１つのアプローチにおいては、フローモデルは、ＣＮＮ、光学フローモデル、ＦｌｏｗＮｅｔ（フローネット）モデルなどのような、ネットワークにおいて、オブジェクトの動きを推定するため２つの連続して隣接している入力画像を積み重ねるものであることができる。更に深度モデル３２０は、深度マップにおけるより滑らか且つ緩慢な変化に対してフローモデルを使用して適合できる。
【0036】
上記の記述においては、ポーズおよびフローモデルは、予測システム１７０の訓練に改良を加えるための補助的タスクまたは制約であることができる。特に、ポーズおよびフロー損失を同時に調整することは、深度モデル３２０を訓練するための様々な形態に対して意味関係の一貫性を提供でき、従って、合成画像、特には、低照度画像内のオブジェクトに対する深度精度を増大することになる。意味関係は、シーン構造を完全に理解するための重要な情報を提供できる。例えば、ポーズモデルは予測システム１７０に、深度推定を向上する観測要点と原点を提供できる。同時に、光学フローは、画像のシーケンスにわたる動的オブジェクトの動きを理解するためのシーンの他の意味関係である。言い換えれば、訓練に対して意味関係の一貫性に頼っているシステムは、ポーズおよびフローモデルをスーパービジョンとして使用することにより、訓練段階のモデル間の生成された内容の希薄化を防止できる。
【0037】
深度予測のための更なる訓練に関して、予測システム１７０は、損失最小化のために第１訓練段階３１０における損失Ｌ1を計算できる。
Ｌ1＝ａ1×Ｌsup1＋ａ2×Ｌpose＋ａ3×Ｌflow＋ａ4×ＬStyle Modeln-d＋ａ5×ＬDepth Model 等式（１）
等式（１）における変数ａ1～ａ5は、第１訓練段階３１０における学習プロセスを制御するために使用されるハイパーパラメータであることができる。上述した損失に加えて、予測システム１７０は、深度モデル３２０により予測された深度マップを、ライダーシミュレーションに従って生成されたグラウンドトゥルースと比較することにより、教師あり損失Ｌsup1を計算できる。例えば、教師あり損失は、予測された深度マップとグラウンドトゥルース深度マップとの間の画素当たりの測光損失を表すことができる。
Ｌ1＝ａ1×Ｌsup1＋ａ2×Ｌpose＋ａ3×Ｌflow＋ａ4×ＬStyle Modeln-d＋ａ5×ＬDepth Model 等式（１）
等式（１）における変数ａ1～ａ5は、第１訓練段階３１０における学習プロセスを制御するために使用されるハイパーパラメータであることができる。上述した損失に加えて、予測システム１７０は、深度モデル３２０により予測された深度マップを、ライダーシミュレーションに従って生成されたグラウンドトゥルースと比較することにより、教師あり損失Ｌsup1を計算できる。例えば、教師あり損失は、予測された深度マップとグラウンドトゥルース深度マップとの間の画素当たりの測光損失を表すことができる。
【0038】
更に、等式（１）において、ＬStyle
Modeln-dとＬDepth
Modelは、深度マップを生成することからの全体の損失を計算するために、ポーズ損失Ｌposeとフロー損失Ｌflowと共に使用される、スタイルおよび深度モデルそれぞれの前方または公称損失であることができる。例えば、Ｌposeは、低照度合成画像と昼間表現との間のｘ、ｙ、ｚ座標の差であることができる。追加的に、Ｌflowは、昼間表現と深度マップとの間の画素当たりの差を表すことができる。１つのアプローチにおいては、予測システム１７０は、Ｌ1損失が、深度マップを予測するための基準を満たすまで、Ｓｔｙｌｅ Ｍｏｄｅｌn-d３３０または深度モデル３２０のパラメータ、重さ、または内部係数を調整するために誤差逆伝播を行うことができる。
【0039】
ここで第２訓練段階３５０を見てみると、予測システム１７０は、ＳｔｙｌｅＧＡＮR-S３４０により合成画像に変換された実際の画像を使用できる。例えば、ＳｔｙｌｅＧＡＮR-S３４０は、訓練データセットにおける低照度状況からの実際の画像を、内容、陰影、影などを維持しながら、合成画像に変換できる。図３Ｂは、第１訓練段階３１０と共に第２訓練段階３５０を有している２段階システム３０２を示している。第２訓練段階３５０は、実際の画像を合成昼間表現に処理することができ、深度マップを生成するために第１訓練段階３１０から重みを受け継ぐ。更に、スタイル分布のための隠れた変数のモデルもまた、深度予測を向上するために２つの段階の間で設定できる。隠れた、または潜在的変数は、観測されないが、訓練されたネットワークの一部であるデータであることができる。１つのアプローチにおいては、第２訓練段階３５０は、深度推定のために低照度環境において撮影された、車両１００の単眼カメラからの実際の画像を使用できるが、第１訓練段階３１０は、現在の交通シーンに対してシミュレートされた画像データを使用する。このようにして、２段階システム３０２は、段階間の画像対応または相関関係を削減することにより、低照度におけるより精度の高い深度マップのためのドメイン訓練と合成画像処理を向上する。
【0040】
第２訓練段階３５０に対する訓練に関して、予測システム１７０は、実際の画像と関連付けられている深度マップを予測するための基準を最小にするため、およびそれを満たすために、スタイル転送とスーパービジョン損失を計算できる。予測システム１７０は、車両１００における実際の実現形態に対して、第２訓練段階３５０における実際の画像を使用する。１つのアプローチにおいては、予測システム１７０は、予測された深度マップを、所与の夜間シーンに対するライダーシミュレーションにより生成された点群と比較できる。このようにして、第２訓練段階は、深度予測を向上するためにセミスーパービジョンを利用できる。
【0041】
第２段階損失に関して、予測システム１７０は、損失最小化のために第２訓練段階３５０における全体損失Ｌ2を下記のように計算できる。
Ｌ2＝ａ1×Ｌsup2＋ａ2×ＬStyleGANR-S 等式（２）
等式（２）における変数ａ1とａ2は、第２訓練段階３５０における学習プロセスを制御するために使用されるハイパーパラメータであることができる。ここで、Ｌsup2は、深度モデルにより予測された深度マップを、第２訓練段階３５０においてライダーシミュレーションに従って生成されたグラウンドトゥルースと比較することにより計算される教師あり損失であることができる。例えば、教師あり損失は、予測された深度マップとグラウンドトゥルース深度マップとの間の画素当たりの測光損失を表すことができる。更に損失ＬStyleGANR-Sは、実際の画像を合成画像に変換することと関連付けられている前方または公称損失を表すことができる。例えば、この損失は、低照度状況で撮影された実際の画像を合成画像に変換することにより失われた色強度、スケーリング、および他の情報を表すことができる。従って、予測システム１７０は、Ｌ2損失が、深度マップを予測するための基準を満たすまで、第２訓練段階に対する実際の画像を処理できる。
Ｌ2＝ａ1×Ｌsup2＋ａ2×ＬStyleGANR-S 等式（２）
等式（２）における変数ａ1とａ2は、第２訓練段階３５０における学習プロセスを制御するために使用されるハイパーパラメータであることができる。ここで、Ｌsup2は、深度モデルにより予測された深度マップを、第２訓練段階３５０においてライダーシミュレーションに従って生成されたグラウンドトゥルースと比較することにより計算される教師あり損失であることができる。例えば、教師あり損失は、予測された深度マップとグラウンドトゥルース深度マップとの間の画素当たりの測光損失を表すことができる。更に損失ＬStyleGANR-Sは、実際の画像を合成画像に変換することと関連付けられている前方または公称損失を表すことができる。例えば、この損失は、低照度状況で撮影された実際の画像を合成画像に変換することにより失われた色強度、スケーリング、および他の情報を表すことができる。従って、予測システム１７０は、Ｌ2損失が、深度マップを予測するための基準を満たすまで、第２訓練段階に対する実際の画像を処理できる。
【0042】
ここで図６Ａと図６Ｂを見てみると、低照度画像内のオブジェクトに対する深度の予測を向上することと関連付けられている方法６００のフローチャートが例示されている。方法６００は、図１と図２の予測システム１７０の観点から検討される。方法６００は、予測システム１７０との組み合わせにおいて検討されているが、方法６００は、予測システム１７０内で実現されることに制限されず、予測システム１７０は、方法６００を実現できるシステムの１つの例であるということは認識されるべきである。簡単な説明のために、種々の実現形態においては、方法６００は２つの訓練段階を含むことができ、第１訓練段階は、交通シーンと関連付けられている低照度状況の合成画像を、予測システム１７０を訓練するための増大された光に変換する。第１訓練段階は、実際の画像、対画像、実際のグラウンドトゥルースなどに頼ることを、交通シーンに対してシミュレートされた画像データを使用して削減することにより、動作を簡略化するために合成ドメインにおいて動作できる。更に第２訓練段階は、訓練を完了するために、訓練データセットからの、または、低照度環境において撮影された、車両１００の単眼カメラからの実際の画像を使用できる。このようにして、２段階システムは、段階間の画像対応または相関関係を削減することにより、低照度におけるより精度の高い深度マップのために、ドメイン訓練と合成画像処理を向上する。
【0043】
６１０において、予測システム１７０は、第１訓練段階におけるスタイルモデルを使用して、合成画像を昼間表現に変換する。上記で説明したように、予測システム１７０は、低照度環境からの合成画像のシーケンスを、スタイルモデルを使用して、昼間表現のシーケンスに変換できる。照明レベルに関して、低照度は、単眼カメラ、ＧＲＢカメラ、光学カメラ、マシンビジョンなどを使用しているシステムが、減少した色強度のために、オブジェクトの特徴を識別することが困難になる可能性のある照明環境を表すことができる。また、上記で説明したように、スタイルモデルは、色、影、陰影、照明条件などによるように、オブジェクトの特徴がどのように現れるかを予測することにより、スタイルまたはドメイン転送を実行するＧＡＮであることができる。そのため、昼間表現は、深度処理に対する豊富さを増大するために照明またはスタイルを変更しながら、同じ内容を有することができる。
【0044】
６２０において、予測システム１７０は、深度モデルを使用して、昼間表現の深度マップを出力する。１つのアプローチにおいては、予測システム１７０が昼間表現のシーケンスを計算すると、深度モデルは、シーケンスから深度マップを予測できる。深度マップは、各画素の強度が、オブジェクトと、画像センサまたはカメラとの間の距離を表すグレースケールであってよい。１つのアプローチにおいては、深度モデルは、条件である入力画像に従って深度を予測するＧＡＮまたはｃＧＡＮであることができる。そのため、ｃＧＡＮは、内容が実質的に合成昼間入力と類似している深度マップに対する画像を生成しながら、ノイズを規制できる。
【0045】
６３０においては、予測システム１７０は、第１訓練段階の間に、ポーズモデルを使用してスタイルモデルの損失、およびフローモデルを使用して深度モデルの損失を計算する。予測システム１７０により使用される損失関数の詳細については上記で説明している。ポーズモデルは、取り込まれた画像におけるオブジェクトに対する、画像センサまたはカメラの時間、位置、場所、角度などを推定するネットワーク（例えば、ＣＮＮ）であることができる。１つのアプローチにおいては、ポーズ損失は、スタイルモデルによる合成画像の変換が閾値に到達するときに最小化できる。更にフローモデルは、昼間表現のシーケンスと深度マップシーケンスとの間の、オブジェクトの動的動きのためのフロー損失を決定するネットワーク（例えば、ＣＮＮ）であることができる。そのため、深度モデルは、深度マップのシーケンスにおけるより滑らか且つ緩慢な変化に対してフローモデルを使用して適応でき、それにより、ネットワークの性能を向上する。
【0046】
６４０において、予測システム１７０は、損失に従って、訓練に対するパラメータを調整する。１つのアプローチにおいては、ポーズおよびフローモデルは、合成ドメインにおける訓練に改良を加えるための補助的タスクであることができる。特に、ポーズおよびフロー損失を同時に調整することは、深度モデルを訓練するための形態にわたって意味関係の一貫性を提供でき、それにより、合成画像内のオブジェクトに対する深度推定値の精度を高める。この一貫性は、オブジェクトがあまり目立たない低照度画像の処理を特に向上できる。例えば、ポーズモデルは、予測システム１７０に、深度推定を向上する観測要点と原点を提供できる。上記に説明したように、光学フローは、画像のシーケンスにわたる動的オブジェクトの移動を理解するための他の意味関係である。従って、訓練に対して、意味関係の一貫性に頼るシステムは、ポーズおよびフローモデルをスーパービジョンとして使用することにより、訓練のモデル間の生成された内容の希薄化を防止できる。
【0047】
６５０において、予測システム１７０は、深度モデルのパラメータを調整し、訓練を、モデルパラメータまたは重みに対する基準が収束または満たされるまで継続する。例えば、基準は、損失が、解像度に対する閾値または大きさを満たすことであることができる。そのため、予測システム１７０は、基準が満たされないときは交通シーンに関する追加的合成画像を使用でき、更なる訓練を実行できる。
【0048】
６６０において、予測システム１７０は、第１訓練段階を完了した後に、敵対的ネットワークを使用して実際の画像を合成表現に変換することにより第２訓練段階に進む。例えば、実際のシーンの低照度または夜間画像は、合成表現に変換できる。予測システム１７０は、車両１００における実際の実現形態のために第２訓練段階において実際の画像で訓練できる。上記に説明したように、第２訓練段階は、実際の画像を使用するネットワークの訓練に改良を加え且つ完了するために、変換に対する、第１訓練段階からの重みを受け継ぐことができる。１つのアプローチにおいては、敵対的ネットワークはＧＡＮであることができ、夜間画像は、第１訓練段階に関する交通シーンに対応する実際の画像であることができる。
【0049】
６７０において、予測システム１７０は、昼間のスタイルおよび深度モデルを使用して、合成表現を処理する。処理に関連して、予測システム１７０は、実際の画像と関連付けられている深度マップを予測するための基準を最小化し、且つ満たすためにスタイル転送およびスーパービジョン損失を計算できる。１つのアプローチにおいては、予測システム１７０は、車両１００からの実際のライダー測定値に頼ることを回避するために、予測された深度マップを、所与の夜間シーンに対してライダーシミュレーションにより生成された点群と比較できる。
【0050】
６８０において、予測システム１７０は、訓練のために実際の画像を処理することによる損失を使用する。特に、予測システム１７０は、スタイル転送と、実際の画像と関連付けられている合成昼間画像の深度マップを生成することによる教師あり損失を使用できる。６９０において、第２訓練段階における処理は、パラメータがある基準を満たすまで継続する。例えば、基準は、敵対的ネットワークからの損失と深度損失が、車両１００と関連付けられている１日の中のある時間の間に深度マップを推定するための閾値を満たすことであることができる。更に予測システム１７０は、基準が満たされないときは、交通シーンに関する追加的実際の画像を使用でき、更に第２訓練段階を実行できる。このようにして、２段階システムは、段階間の画像対応または相関関係を削減することにより、低照度におけるより精度の高い深度マップのためにドメイン訓練と合成画像処理を向上する。
【0051】
図７は、２つの段階を使用して訓練されたシステムにより生成された、低照度環境に対する深度マップの例を示している。リモートまたはサーバ上での訓練の後、車両１００は、リアルタイムナビゲーション、安全制御、自動化などに対する認識モジュールとして、予測システム１７０を電子制御ユニット上に予め搭載できる。予測システム１７０は、スタイル変換を使用して昼間表現７２０を生成するために、単眼カメラからなどのような実際のシーンの、低照度または夜間画像７１０を使用できる。１つのアプローチにおいては、予測システム１７０は、スタイル変換に対してＧＡＮを使用できる。予測システム１７０のＧＡＮまたはｃＧＡＮは、深度マップ７３０を予測するために昼間表現７２０を使用できる。続いて、予測システム１７０は、ナビゲーション、安全制御、自動化などのために車両１００の他のシステムに深度マップを提供できる。
【0052】
ここで図１を、ここにおいて開示されているシステムと方法が動作できる、例としての環境として十分詳細に検討する。しかし、種々の実現形態においては、システムと方法は、上記のように、ＣＥ装置、モバイル装置、ロボット、ドローン、車両、クラウドに基づくサービスなどのような任意の装置において動作できる。幾つかの実例においては、車両１００は、車両１００の１つ以上のモジュール／システムの指示に従って、動作／制御の異なるモード間で選択的に切り替わるように構成されている。１つのアプローチにおいては、モードは、０、自動化なし、１、運転手支援、２、部分的自動化、３、条件付き自動化、４、高度自動化、および５、完全自動化を含んでいる。１つ以上の配置においては、車両１００は、可能なモードのサブセットにおいて動作するように構成できる。
【0053】
１つ以上の実施形態においては、車両１００は、自動化または自律車両である。ここにおいて使用されているように、「自律車両」とは、自律モード（例えば、カテゴリ５、完全自動化）において動作できる車両のことである。「自動化モード」または「自律モード」とは、人間の運転手からの最小の入力、または入力なしで車両１００を制御するための１つ以上の計算システムを使用して、走行ルートに沿って車両１００を走行させる、および／または、操縦することである。１つ以上の実施形態においては、車両１００は高度に自動化され、または完全に自動化されている。１つの実施形態においては、車両１００は、１つ以上の計算システムが、走行ルートに沿っての車両の走行および／または操縦の一部を実行し、車両のオペレータ（つまり、運転手）が、走行ルートに沿っての車両１００走行および／または操縦の一部を実行するために入力を車両に提供する１つ以上の半自律動作モードで構成されている。
【0054】
車両１００は、１つ以上のプロセッサ１１０を含んでいる。１つ以上の配置においては、プロセッサ１１０は、車両１００のメインプロセッサであることができる。例えば、プロセッサ１１０は、ＥＣＵ、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサなどであることができる。車両１００は、１つ以上のタイプのデータを格納するための１つ以上のデータ格納装置１１５を含むことができる。データ格納装置１１５は、揮発性および／または不揮発性メモリを含むことができる。適切なデータ格納装置１１５の例としては、ＲＡＭ、フラッシュメモリ、ＲＯＭ、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能型プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能型プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、およびハードドライブが含まれる。データ格納装置１１５は、プロセッサ１１０の構成要素であることができ、または、データ格納装置１１５は、プロセッサ１１０による使用のためにプロセッサ１１０に機能的に接続できる。この記述を通して使用されているような「機能的に接続される」という用語は、直接物理的接触がない接続を含んで、直接または間接的な接続を含むことができる。
【0055】
１つ以上の配置においては、１つ以上のデータ格納装置１１５はマップデータ１１６を含むことができる。マップデータ１１６は、１つ以上の地理的領域のマップを含むことができる。幾つかの実例においては、マップデータ１１６は、１つ以上の地理的領域における、道路、交通制御装置、道路標識、構造、特徴、および／または目印となるものについての情報またはデータを含むことができる。マップデータ１１６は、任意の適切な形状であることができる。幾つかの実例においては、マップデータ１１６は、空から見た領域の図を含むことができる。幾つかの実例においては、マップデータ１１６は、３６０度地上図を含む、領域の地上図を含むことができる。マップデータ１１６は、マップデータ１１６に含まれている１つ以上の項目に対する、および／またはマップデータ１１６に含まれている他の項目に対する測定値、寸法、距離、および／または情報を含むことができる。マップデータ１１６は、道路の相対的位置関係についての情報を有するデジタルマップを含むことができる。
【0056】
１つ以上の配置においては、マップデータ１１６は、１つ以上の地形マップ１１７を含むことができる。地形マップ１１７は、１つ以上の地理的領域の地形、道路、地表、および／または他の特徴についての情報を含むことができる。地形マップ１１７は、１つ以上の地理的領域における高度データを含むことができる。地形マップ１１７は、舗装された道路、舗装されていない道路、土地、および地表を定義する他のものを含むことができる１つ以上の地表を定義できる。
【0057】
１つ以上の配置においては、マップデータ１１６は、１つ以上の静的障害物マップ１１８を含むことができる。静的障害物マップ１１８は、１つ以上の地理的領域内に位置している１つ以上の静的障害物についての情報を含むことができる。「静的障害物」とは、時間の経過と共に、その位置が変化しない、または実質的に変化しない、および／または、時間の経過と共に、そのサイズが変化しない、または実質的に変化しない物理的オブジェクトである。静的障害物の例としては、木々、建物、縁石、塀、垣、中央分離帯、電柱、銅像、記念碑、標識、ベンチ、家具、郵便箱、大きな石、坂などを含むことができる。静的障害物は、地面上を延伸しているオブジェクトであることができる。静的障害物マップ１１８に含まれている１つ以上の静的障害物は、位置データ、サイズデータ、寸法データ、材質データ、および／または、それと関連付けられている他のデータを有することができる。静的障害物マップ１１８は、１つ以上の静的障害物に対する測定値、寸法、距離、および／または情報を含むことができる。静的障害物マップ１１８は高品質であることができ、および／または、高度に詳細であることができる。静的障害物マップ１１８は、マップに記述されている領域内の変化を反映するために更新できる。
【0058】
１つ以上のデータ格納装置１１５はセンサデータ１１９を含むことができる。この状況においては、「センサデータ」は、そのようなセンサについての機能および他の情報を含む、車両１００が装備しているセンサについての任意の情報を意味している。下記に説明されるように、車両１００はセンサシステム１２０を含むことができる。センサデータ１１９は、センサシステム１２０の１つ以上のセンサに関することができる。例として、１つ以上の配置においては、センサデータ１１９は、センサシステム１２０の１つ以上のライダーセンサ１２４についての情報を含むことができる。
【0059】
幾つかの実例においては、マップデータ１１６および／またはセンサデータ１１９の少なくとも一部は、車両１００上に位置している１つ以上のデータ格納装置１１５に位置させることができる。代替的に、または追加的に、マップデータ１１６および／またはセンサデータ１１９の少なくとも一部は、車両１００から離れて位置している１つ以上のデータ格納装置１１５に位置させることができる。
【0060】
上記に記したように、車両１００はセンサシステム１２０を含むことができる。センサシステム１２０は１つ以上のセンサを含むことができる。「センサ」は、何かを検出および／または感知できる装置を意味している。少なくとも１つの実施形態においては、１つ以上のセンサは、リアルタイムで検出および／または感知する。ここにおいて使用されているように、「リアルタイム」という用語は、実行される特別なプロセスまたは決定に対して、ユーザまたはシステムが十分に即時であると感知する処理応答のレベル、または、プロセッサが、ある外部プロセスに対して遅れないでいることを可能にする処理応答のレベルを意味している。
【0061】
センサシステム１２０が複数のセンサを含んでいる配置においては、センサは互いに独立して機能でき、または、センサの２つ以上は、組み合わせて機能できる。センサシステム１２０および／または１つ以上のセンサは、プロセッサ１１０、データ格納装置１１５、および／または、車両１００の他の要素に機能的に接続できる。センサシステム１２０は、車両１００の環境の一部（例えば、近くの車両）についての観測結果を生成できる。
【0062】
センサシステム１２０は任意の適切なタイプのセンサを含むことができる。異なるタイプのセンサの種々の例が、ここにおいて記述される。しかし、実施形態は、記述されている特別なセンサに制限されないということは理解されるであろう。センサシステム１２０は、１つ以上の車両センサ１２１を含むことができる。車両センサ１２１は、車両１００自身についての情報を検出できる。１つ以上の配置においては、車両センサ１２１は、例えば、慣性加速度に基づいてなどのように、車両１００の位置および向きの変化を検出するように構成できる。１つ以上の配置においては、車両センサ１２１は、１つ以上の加速度計、１つ以上のジャイロスコープ、慣性測定ユニット（ＩＭＵ）、推測航法システム、全地球航法衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム１４７、および／または他の適切なセンサを含むことができる。車両センサ１２１は、車両１００の１つ以上の特性、および／または、車両１００が動作している様子を検出するように構成できる。１つ以上の配置においては、車両センサ１２１は、車両１００の現在の速度を決定する速度計を含むことができる。
【0063】
代替的に、または追加的に、センサシステム１２０は、車両１００が動作している、車両１００を取り囲んでいる環境についてのデータを取得するように構成されている１つ以上の環境センサ１２２を含むことができる。「周囲の環境データ」は、車両が位置している外部環境についての、または、その１つ以上の部分についてのデータを含んでいる。例えば、１つ以上の環境センサ１２２は、車両１００の外部環境の少なくとも一部における障害物、および／または、そのような障害物についてのデータを感知するように構成できる。そのような障害物は、静的オブジェクトおよび／または動的オブジェクトであってよい。１つ以上の環境センサ１２２は、例えば、車線標示、標識、交通信号灯、交通標識、車線の線、横断歩道、車両１００に近い縁石、道路外のオブジェクトなどのような、車両１００の外部環境における他の物を検出するように構成できる。
【0064】
センサシステム１２０のセンサの種々の例がここにおいて記述される。例としてのセンサは、１つ以上の環境センサ１２２、および／または、１つ以上の車両センサ１２１の一部であることができる。しかし、実施形態は、記述されている特別なセンサに制限されないということは理解されるであろう。
【0065】
例として、１つ以上の配置においては、センサシステム１２０は、レーダーセンサ１２３、ライダーセンサ１２４、ソナーセンサ１２５、天候センサ、触覚センサ、位置センサ、および／または、１台以上のカメラ１２６の１つ以上を含むことができる。１つ以上の配置においては、１台以上のカメラ１２６は、ハイダイナミックレンジ（ＨＤＲ）カメラ、ステレオ、または赤外線（ＩＲ）カメラであることができる。
【0066】
車両１００は入力システム１３０を含むことができる。「入力システム」は、種々のエンティティがデータをマシンに入力することを可能にする構成要素または配置またはそれらのグループを含んでいる。入力システム１３０は、車両に乗っている人からの入力を受信できる。車両１００は出力システム１３５を含むことができる。「出力システム」は、データを車両に乗っている人に提示することを容易にする１つ以上の構成要素を含んでいる。
【0067】
車両１００は１つ以上の車両システム１４０を含むことができる。１つ以上の車両システム１４０の種々の例が、図１において示されている。しかし、車両１００は、より多い、より少ない、または異なる車両システムを含むことができる。特別な車両システムが別個に定義されているが、システムの何れも、またはその一部は、車両１００内でハードウェアおよび／またはソフトウェアを介して組み合わせること、または分離することができるということは認識されるべきである。車両１００は、推進システム１４１、制動システム１４２、ステアリングシステム１４３、スロットルシステム１４４、トランシミッションシステム１４５、信号システム１４６、および／またはナビゲーションシステム１４７を含むことができる。これらのシステムの何れも、現在知られている、または後日開発される、１つ以上の装置、構成要素、および／またはそれらの組み合わせを含むことができる。
【0068】
ナビゲーションシステム１４７は、車両１００の地理的位置を決定し、および／または、車両１００に対する走行ルートを決定するように構成されている、現在知られている、または後日開発される、１つ以上の装置、アプリケーション、および／または、それらの組み合わせを含むことができる。ナビゲーションシステム１４７は、車両１００に対する走行ルートを決定する１つ以上のマッピングアプリケーションを含むことができる。ナビゲーションシステム１４７は、全地球測位システム、局所測位システム、または、ジオロケーション（geolocation）システムを含むことができる。
【0069】
プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、種々の車両システム１４０および／または、その個々の構成要素と通信するために機能的に接続できる。例えば、図１に戻ると、プロセッサ１１０および／または自律運転モジュール１６０は、車両１００の動きを制御するために、種々の車両システム１４０に情報を送り、および／または、種々の車両システム１４０から情報を受信するように通信状態であることができる。プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、車両システム１４０の幾つか、またはすべてを制御でき、そのため、米国自動車技術協会（ＳＡＥ）のレベル０から５により定義されるように、部分的、または完全に自律的であることができる。
【0070】
プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、種々の車両システム１４０および／または、その個々の構成要素と通信するために機能的に接続できる。例えば、図１に戻ると、プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、車両１００の動きを制御するために、種々の車両システム１４０に情報を送り、および／または、種々の車両システム１４０から情報を受信するように通信状態であることができる。プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、車両システム１４０の幾つか、またはすべてを制御できる。
【0071】
プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、車両システム１４０および／またはその構成要素の１つ以上を制御することにより、車両１００の走行と操縦を制御するように動作できる。例えば、自律モードで動作するときは、プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、車両１００の方向および／または速度を制御できる。プロセッサ１１０、予測システム１７０、および／または自律運転モジュール１６０は、車両１００に加速、減速、および／または方向を変えさせることができる。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な何れか方法で、ある事象または行動を起こさせる、起こすように強いる、起こすように強制する、起こすように指図する、起こすように命令する、起こすように指示する、および／または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるように、させる、強いる、強制する、指図する、命令する、指示する、および／または、なることを可能にするということを意味している。
【0072】
車両１００は、１つ以上のアクチュエータ１５０を含むことができる。アクチュエータ１５０は、プロセッサ１１０および／または自律運転モジュール１６０から信号またはたの入力を受信することに応答して、車両システム１４０またはその構成要素の１つ以上を変更するように動作できる要素、または要素の組み合わせであることができる。例えば、１つ以上のアクチュエータ１５０としては、幾つかの可能性のあるものを挙げれば、モータ、空気式アクチュエータ、油圧ピストン、リレー、ソレノイド、および／または圧電アクチュエータを含むことができる。
【0073】
車両１００は、１つ以上のモジュールを含むことができ、そのうちの少なくとも幾つかは、ここにおいて記述されている。モジュールは、コンピュータ可読プログラムコードとして実現でき、コンピュータ可読プログラムコードはプロセッサ１１０により実行されると、ここにおいて記述されている種々のプロセスの１つ以上を実現する。モジュールの１つ以上は、プロセッサ１１０の構成要素であることができ、または、モジュールの１つ以上は、プロセッサ１１０が機能的に接続されている他の処理システム上で実行でき、および／または、その処理システム間で分散できる。モジュールは、１つ以上のプロセッサ１１０により実行可能な指示（例えば、プログラムロジック）を含むことができる。代替的に、または追加的に、１つ以上のデータ格納装置１１５は、そのような指示を含むことができる。
【0074】
１つ以上の配置においては、ここにおいて記述されているモジュールの１つ以上は、人工知能要素、例えば、ニューラルネットワーク、ファジーロジック、または他のＭＬアルゴリズムを含むことができる。更に、１つ以上の配置においては、モジュールの１つ以上は、ここにおいて記述されている複数のモジュール間で分散できる。１つ以上の配置においては、ここにおいて記述されているモジュールの２つ以上は、単一のモジュールに組み合わせることができる。
【0075】
車両１００は、１つ以上の自律運転モジュール１６０を含むことができる。自律運転モジュール１６０は、車両１００および／または、車両１００の外部環境に関する情報を取り込むことができるセンサシステム１２０および／または、他のタイプのシステムからデータを受信するように構成できる。１つ以上の配置においては、自律運転モジュール１６０はそのようなデータを、１つ以上の運転シーンモデルを生成するために使用できる。自律運転モジュール１６０は、車両１００の位置と速度を決定できる。自律運転モジュール１６０は、障害物の位置、障害物、または、交通標識、木々、低木、近くの車両、歩行者などを含む他の環境の特徴を決定できる。
【0076】
自律運転モジュール１６０は、複数の衛星からの信号に基づく、または、車両１００の現在の状態を決定するために、または、マップを作成するとき、または、マップデータに関しての車両１００の位置を決定するときの何れかの使用のために、その環境に関しての車両１００の位置を決定するために使用できる任意の他のデータおよび／または信号に基づく、グローバル座標における車両位置である車両１００の位置および向きを推定するために、ここにおいて記述されているプロセッサ１１０および／またはモジュールの１つ以上による使用のために、車両１００の外部環境内の障害物に対する位置情報を受信および／または決定するように構成できる。
【0077】
自律運転モジュール１６０は、センサシステム１２０により取得されたデータ、運転シーンモデル、および／または、センサデータ２４０からの決定などのような、任意の他の適切なソースからのデータに基づいて、走行経路、車両１００に対する現在の自律運転操縦、将来の自律運転操縦および／または、現在の自律運転操縦に対する修正を決定するように、独立して、または、予測システム１７０との組み合わせにおいて構成できる。「運転操縦」とは、車両の動きに影響を与える１つ以上の動作を意味している。運転操縦の例としては、幾つかの可能なものを挙げれば、加速、減速、制動、方向転換、車両１００の側部方向への移動、走行車線の変更、走行車線への合流、および／または、後退などが含まれる。自律運転モジュール１６０は、決定された運転操縦を実現するように構成できる。自律運転モジュール１６０は、直接的に、または間接的に、そのような自律運転操縦が実現されるようにさせることができる。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な何れか方法で、ある事象または行動を起こさせる、起こすように命令する、起こすように指示する、および／または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるように、させる、命令する、指示する、および／または、なることを可能にするということを意味している。自律運転モジュール１６０は、種々の車両の機能を実行し、車両１００、またはその１つ以上のシステム（例えば、車両システム１４０の１つ以上）にデータを送信し、それらからデータを受信し、それらと相互作用し、および／または、それらを制御するように構成できる。
【0078】
詳細な実施形態がここにおいて開示されている。しかし、開示されている実施形態は例であることが意図されているということは理解されるべきである。従って、ここにおいて開示されている特定の構造および機能の詳細は、制限的として解釈されるべきではなく、請求項に対する単なる根拠として解釈され、および、この技術における技量を有する者が、実質的に任意の適切に詳述されている構造において、ここにおける態様を種々に採用するように教示するための単なる代表的な根拠として解釈されるべきである。更に、ここにおいて使用されている用語およびフレーズは、制限的であることは意図されておらず、可能な実現形態の理解可能な記述を提供することが意図されている。種々の実施形態が図１～７において示されているが、実施形態は、例示されている構造または適用に制限されない。
【0079】
図におけるフローチャートとブロック図は、種々の実施形態に係る、システム、方法、およびコンピュータプログラム製品の可能な実現形態のアーキテクチャ、機能、および動作を例示している。この点に関して、フローチャートまたはブロック図におけるブロックは、指定された論理機能を実現するための１つ以上の実行可能な指示を備えているモジュール、セグメント、またはコードの部分を表すことができる。幾つかの代替の実現形態においては、ブロックに記されている機能は、図に記されている順序とは異なる順序で起こることができるということにも留意すべきである。例えば、関与する機能によっては、連続して示されている２つのブロックは、実際には、実質的に同時に実行でき、または、ブロックは、逆の順序で実行できることもある。
【0080】
上記のシステム、構成要素、および／またはプロセスは、ハードウェア、またはハードウェアとソフトウェアの組み合わせにおいて実現でき、および、１つの処理システムにおいて集中型で実現でき、または、異なる要素が幾つかの相互接続されている処理システムにわたり広がっている分散型において実現できる。ここにおいて記述されている方法を実行するために適合されている任意の種類の処理システムまたは他の装置は適切である。ハードウェアとソフトウェアの典型的な組み合わせは、展開されて実行されると、処理システムが、ここにおいて記述されている方法を実行するように処理システムを制御する、コンピュータ使用可能プログラムコードを有する処理システムであることができる。
【0081】
システム、構成要素、および／またはプロセスはまた、機械が読み取ることが可能で、ここにおいて記述されている方法とプロセスを実行するために、その機械により実行可能な指示のプログラムを実体的に含んでいるコンピュータプログラム製品、または他のデータプログラム格納装置などのようなコンピュータ読取り可能格納装置に埋め込むことができる。これらの要素もまた、ここにおいて記述されている方法の実現形態を可能にする特徴を備え、処理システムにおいて展開されると、これらの方法を実行できるアプリケーション製品に埋め込むことができる。
【0082】
更に、ここにおいて記述されている配置は、含まれている、例えば、格納されていコンピュータ読取り可能プログラムコードを有している１つ以上のコンピュータ読取り可能媒体に含まれているコンピュータプログラム製品の形状を取ることができる。１つ以上のコンピュータ読取り可能媒体の任意の組み合わせを利用できる。コンピュータ読取り可能媒体は、コンピュータ読取り可能信号媒体、または、コンピュータ読取り可能格納媒体であることができる。「コンピュータ読取り可能格納媒体」というフレーズは、非一時的格納媒体を意味している。コンピュータ読取り可能格納媒体は、例えば、下記に制限されないが、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、または、前述の任意の適切な組み合わせであることができる。コンピュータ読取り可能格納媒体の、より具体的な例（すべてを網羅しているリストではない）としては、下記が含まれる。つまり、携帯型コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＲＯＭ、ＥＰＲＯＭまたはフラッシュメモリ、携帯型コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、光格納装置、磁気格納装置、または前述の任意の適切な組み合わせが含まれる。この文書の状況においては、コンピュータ読取り可能格納媒体は、指示実行システム、装置、またはデバイスによる使用のため、またはそれらと一緒の使用のためのプログラムを含む、または格納することができる任意の実体的な媒体であることができる。
【0083】
ここにおいて使用されているようなモジュールは一般的には、特別なタスクを実行する、または、特別なデータタイプを実現するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含んでいる。更なる態様においては、メモリは一般的には、周知のモジュールを含んでいる。モジュールと関連付けられているメモリは、プロセッサ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、または、他の適切な電子格納媒体内に埋め込まれているバッファまたはキャッシュであることができる。更なる態様においては、本開示により考察されるモジュールは、ＡＳＩＣとして、システムオンチップ（ＳｏＣ）のハードウェア構成要素として、プログラマブルロジックアレイ（ＰＬＡ）として、または、開示されている機能を実行するための定義された構成セット（例えば、指示）と共に埋め込まれている他の適切なハードウェア構成要素として実現される。
【0084】
コンピュータ読取り可能媒体に含まれているプログラムコードは、下記に制限されないが、無線、ワイヤ線、光ファイバ、ケーブル、無線周波数（ＲＦ）など、または前述の任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信できる。本配置の態様に対する動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）TM、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または類似のプログラミング言語などのような、従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせにおいて記述できる。プログラムコードは、ユーザのコンピュータ上で全体を実行でき、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で一部を実行でき、ユーザのコンピュータ上で一部、そしてリモートコンピュータ上で一部を実行でき、または、リモートコンピュータまたはサーバ上で全体を実行できる。後者のシナリオにおいては、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続でき、または、外部コンピュータへの接続を行うことができる（例えば、インタ―ネットサービスプロバイダを使用するインターネットを通して）。
【0085】
ここにおいて使用されているような「１つの」という用語は、１つまたは２つ以上として定義されている。ここにおいて使用されているような「複数の」という用語は、２つまたは３つ以上として定義されている。ここにおいて使用されているような「他の」という用語は、少なくとも第２のまたはそれ以降のものとして定義されている。ここにおいて使用されているような「含んでいる」および／または「有している」という用語は「備えている」（つまり、開かれた言語）として定義されている。ここにおいて使用されているような「～と～の少なくとも１つ」というフレーズは、関連付けられてリスト化されている項目の１つ以上の任意の、およびすべての組み合わせのことであり、それらを含んでいる。例として、「Ａ、Ｂ、およびＣの少なくとも１つ」というフレーズは、Ａ、Ｂ、Ｃ、またはそれらの任意の組み合わせ（例えば、ＡＢ、ＡＣ、ＢＣまたはＡＢＣ）を含んでいる。
【0086】
ここにおける態様は、その精神または重要な属性から逸脱することなく他の形状において具現化できる。従って、その範囲を示すものとしては、前述の明細書ではなく、下記の請求項を参照すべきである。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【外国語明細書】