知財求人 - 知財ポータルサイト「IP Force」
特開2023-133062自律システム及びアプリケーションにおける世界モデル表現のキーフレームベースの圧縮
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133062
(43)【公開日】2023-09-22
(54)【発明の名称】自律システム及びアプリケーションにおける世界モデル表現のキーフレームベースの圧縮
(51)【国際特許分類】
G08G 1/00 20060101AFI20230914BHJP
G08G 1/0968 20060101ALI20230914BHJP
G01C 21/26 20060101ALI20230914BHJP
B60W 50/00 20060101ALI20230914BHJP
B60W 60/00 20200101ALI20230914BHJP
【ＦＩ】
G08G1/00 X
G08G1/0968 B
G01C21/26 A
B60W50/00
B60W60/00
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022099329
(22)【出願日】2022-06-21
(31)【優先権主張番号】17/654,382
(32)【優先日】2022-03-10
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
２．ブルートゥース
３．ＺＩＧＢＥＥ
４．ＬｏＲａＷＡＮ
５．ＳＩＧＦＯＸ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】アカース チャンドラ シェーカー
(72)【発明者】
【氏名】マシュー アッシュマン
(72)【発明者】
【氏名】バイバブ トゥクラル
【テーマコード（参考）】
2F129
3D241
5H181
【Ｆターム（参考）】
2F129AA03
2F129AA05
2F129AA07
2F129AA11
2F129AA14
2F129BB03
2F129CC16
2F129EE52
2F129FF02
2F129FF11
2F129FF36
2F129FF37
2F129FF73
2F129FF75
2F129GG04
2F129GG05
2F129GG06
2F129GG17
2F129GG18
2F129HH02
2F129HH12
3D241BA43
3D241CC01
3D241CC08
3D241CC17
3D241CE04
3D241CE05
3D241DA05Z
3D241DA52Z
3D241DB02Z
5H181AA01
5H181AA05
5H181AA06
5H181AA07
5H181AA12
5H181AA25
5H181AA26
5H181AA27
5H181BB04
5H181BB05
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC24
5H181FF04
5H181FF05
5H181FF10
5H181FF13
5H181FF14
5H181FF22
5H181FF32
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
(57)【要約】
【課題】世界モデル・システム及びアプリケーションのキーフレームベースの圧縮を提供すること。
【解決手段】様々な実例で、方法は、現在のキーフレームを計算するステップを含み、現在のキーフレームは、マップ・データに基づいて現在時刻における自律型車両の周りのエリアを表す。方法は、現在のキーフレームの計算を完了することより前の第１の時間において先行キーフレームを自律型車両の座標フレームに変換して第１の世界モデル・フレームを生成するステップを含む。方法は、第１の時間の後、現在のキーフレームの計算の完了より前の第２の時間において先行キーフレームを自律型車両の座標フレームに変換して第２の世界モデル・フレームを生成するステップを含む。
【選択図】図１
【解決手段】様々な実例で、方法は、現在のキーフレームを計算するステップを含み、現在のキーフレームは、マップ・データに基づいて現在時刻における自律型車両の周りのエリアを表す。方法は、現在のキーフレームの計算を完了することより前の第１の時間において先行キーフレームを自律型車両の座標フレームに変換して第１の世界モデル・フレームを生成するステップを含む。方法は、第１の時間の後、現在のキーフレームの計算の完了より前の第２の時間において先行キーフレームを自律型車両の座標フレームに変換して第２の世界モデル・フレームを生成するステップを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
現在のキーフレームを計算するステップであって、前記現在のキーフレームは、マップ・データに基づいて現在時刻における自律型車両の周りのエリアを表している、ステップと、
前記現在のキーフレームの計算を完了することより前の第１の時間において先行キーフレームを前記自律型車両の座標フレームに変換して、第１の世界モデル・フレームを生成するステップと、
前記第１の時間の後、前記現在のキーフレームの計算を完了することより前の第２の時間において、前記先行キーフレームを前記自律型車両の前記座標フレームに変換して、第２の世界モデル・フレームを生成するステップと
を含む、方法。
前記現在のキーフレームの計算を完了することより前の第１の時間において先行キーフレームを前記自律型車両の座標フレームに変換して、第１の世界モデル・フレームを生成するステップと、
前記第１の時間の後、前記現在のキーフレームの計算を完了することより前の第２の時間において、前記先行キーフレームを前記自律型車両の前記座標フレームに変換して、第２の世界モデル・フレームを生成するステップと
を含む、方法。
【請求項2】
前記先行キーフレームに適用するための変換を決定するステップをさらに含み、前記先行キーフレームを前記自律型車両の前記座標フレームに変換するステップが、前記決定された変換を使用して前記先行キーフレームを前記自律型車両の前記座標フレームに変換するステップを含む、請求項１に記載の方法。
【請求項3】
前記現在のキーフレームを計算するステップが、前記現在時刻における前記自律型車両の周りの前記エリア内の１つ又は複数の車線を表す車線グラフに基づいて前記現在のキーフレームを計算するステップを含む、請求項１に記載の方法。
【請求項4】
高解像度（ＨＤ）マップの部分から前記車線グラフを生成するステップをさらに含み、前記生成するステップが、前記ＨＤマップの前記部分を使用して前記自律型車両の周りの有効な車線の収集を増分的に増大させるステップを含む、請求項３に記載の方法。
【請求項5】
前記自律型車両の周りの有効な車線の前記収集を前記増分的に増大させるステップが、複数のフレーム内の少なくとも２つの順次的フレームについて、
前記自律型車両のホライズン内に残る先行フレームからの少なくとも１つの車線を前記収集において保持するステップであって、前記ホライズンは、前記自律型車両を中心とする既定のエリアの外周として表されている、ステップと、
新しく前記ホライズン内の各車線を前記収集に追加するステップと、
前記ホライズン内にもはやない前記先行フレームに保持された又は追加された少なくとも１つの車線を前記収集から取り除くステップと
を含む、請求項４に記載の方法。
前記自律型車両のホライズン内に残る先行フレームからの少なくとも１つの車線を前記収集において保持するステップであって、前記ホライズンは、前記自律型車両を中心とする既定のエリアの外周として表されている、ステップと、
新しく前記ホライズン内の各車線を前記収集に追加するステップと、
前記ホライズン内にもはやない前記先行フレームに保持された又は追加された少なくとも１つの車線を前記収集から取り除くステップと
を含む、請求項４に記載の方法。
【請求項6】
前記有効な車線の増分的に増大した収集が、第１の有効な車線バッファを使用して記憶され、前記方法がさらに、有効な車線の現在の増分的に増大した収集を使用して第２の有効な車線バッファに投入するステップを含む、請求項４に記載の方法。
【請求項7】
前記先行キーフレームが、第１の世界モデル・バッファを使用して記憶され、前記方法がさらに、前記現在のキーフレームを使用して第２の世界モデル・バッファに投入するステップを含む、請求項１に記載の方法。
【請求項8】
前記現在のキーフレームを計算するステップの後に、前記現在のキーフレームが、新しい先行キーフレームとして前記第２の世界モデル・バッファに記憶され、前記方法がさらに、前記現在のキーフレームを計算するステップの後に、
追加のマップ・データに少なくとも部分的に基づいて前記自律型車両の周りのエリアを表す次のキーフレームを計算するステップと、
前記第１の世界モデル・バッファに前記次のキーフレームを投入するステップと、
前記次のキーフレームの計算を完了することより前の第３の時間において、前記自律型車両の前記座標フレームに、前記第２の世界モデル・バッファを使用して記憶された前記新しい先行キーフレームを変換するステップと、
前記第３の時間の後、前記次のキーフレームの計算を完了することより前の第４の時間において、前記自律型車両の前記座標フレームに、前記第２の世界モデル・バッファに記憶された前記新しい先行キーフレームを変換するステップと
を含む、請求項７に記載の方法。
追加のマップ・データに少なくとも部分的に基づいて前記自律型車両の周りのエリアを表す次のキーフレームを計算するステップと、
前記第１の世界モデル・バッファに前記次のキーフレームを投入するステップと、
前記次のキーフレームの計算を完了することより前の第３の時間において、前記自律型車両の前記座標フレームに、前記第２の世界モデル・バッファを使用して記憶された前記新しい先行キーフレームを変換するステップと、
前記第３の時間の後、前記次のキーフレームの計算を完了することより前の第４の時間において、前記自律型車両の前記座標フレームに、前記第２の世界モデル・バッファに記憶された前記新しい先行キーフレームを変換するステップと
を含む、請求項７に記載の方法。
【請求項9】
マップ・データに基づいて自律型車両の周りの１つ又は複数のエリアを表す複数のキーフレームを、第１の周波数において、計算するステップと、
複数の世界モデル・フレームが少なくとも１つの世界モデル・キーフレームから生成されるように、前記第１の周波数より大きい第２の周波数で、直近のキーフレームを前記自律型車両の前記座標フレームに変換して前記複数の世界モデル・フレームを生成するステップと
を含む、方法。
複数の世界モデル・フレームが少なくとも１つの世界モデル・キーフレームから生成されるように、前記第１の周波数より大きい第２の周波数で、直近のキーフレームを前記自律型車両の前記座標フレームに変換して前記複数の世界モデル・フレームを生成するステップと
を含む、方法。
【請求項10】
前記直近のキーフレームに適用するための１つ又は複数の変換を、経時的に及び前記第２の周波数で決定するステップをさらに含み、前記直近のキーフレームを前記自律型車両の前記座標フレームに変換するステップが、前記決定された１つ又は複数の変換に従って前記直近のキーフレームを前記自律型車両の前記座標フレームに変換するステップを含む、請求項９に記載の方法。
【請求項11】
前記マップ・データに基づいて前記複数のキーフレームを前記計算するステップが、複数の車線グラフに基づいて前記複数の世界モデル・キーフレームを計算するステップを含む、請求項９に記載の方法。
【請求項12】
高解像度（ＨＤ）マップの複数の部分から前記複数の車線グラフを生成するステップをさらに含み、前記生成するステップが、前記ＨＤマップの前記複数の部分から前記自律型車両の周りの有効な車線の収集を増分的に増大させるステップを含む、請求項１１に記載の方法。
【請求項13】
前記自律型車両の周りの有効な車線の前記収集を増分的に増大させるステップが、複数のフレーム内の少なくとも２つの順次的フレームについて、
前記自律型車両のホライズン内に残る先行フレームからの少なくとも１つの車線を前記収集において保持するステップであって、前記ホライズンは、前記自律型車両を中心とする既定のエリアの外周として表されている、ステップと、
新しく前記ホライズン内の各車線を前記収集に追加するステップと、
前記ホライズン内にもはやない前記先行フレームに保持された又は追加された少なくとも１つの車線を前記収集から取り除くステップと
を含む、請求項１２に記載の方法。
前記自律型車両のホライズン内に残る先行フレームからの少なくとも１つの車線を前記収集において保持するステップであって、前記ホライズンは、前記自律型車両を中心とする既定のエリアの外周として表されている、ステップと、
新しく前記ホライズン内の各車線を前記収集に追加するステップと、
前記ホライズン内にもはやない前記先行フレームに保持された又は追加された少なくとも１つの車線を前記収集から取り除くステップと
を含む、請求項１２に記載の方法。
【請求項14】
現在増分的に増大している有効な車線の収集を第１の有効な車線バッファ及び第２の有効な車線バッファに交互に投入するステップをさらに含み、
有効な車線の直近の増分的に増大した収集が前記第２の有効な車線バッファに記憶されるときに、前記第１の有効な車線バッファに、現在増分的に増大している前記有効な車線の収集が投入され、及び、
前記有効な車線の直近の増分的に増大した収集が前記第１の有効な車線バッファに記憶されるときに、前記第２の有効な車線バッファに、現在増分的に増大している前記有効な車線の収集が投入される
請求項１２に記載の方法。
有効な車線の直近の増分的に増大した収集が前記第２の有効な車線バッファに記憶されるときに、前記第１の有効な車線バッファに、現在増分的に増大している前記有効な車線の収集が投入され、及び、
前記有効な車線の直近の増分的に増大した収集が前記第１の有効な車線バッファに記憶されるときに、前記第２の有効な車線バッファに、現在増分的に増大している前記有効な車線の収集が投入される
請求項１２に記載の方法。
【請求項15】
前記複数のキーフレームを第１の世界モデル・バッファ及び第２の世界モデル・バッファに交互に投入するステップをさらに含み、
前記直近のキーフレームが前記第２の世界モデル・バッファに記憶されるとき、前記第１の世界モデル・バッファに、現在計算されているキーフレームが投入され、及び、
前記直近のキーフレームが前記第１の世界モデル・バッファに記憶されるとき、前記第２の世界モデル・バッファに、前記現在計算されているキーフレームが投入される、
請求項９に記載の方法。
前記直近のキーフレームが前記第２の世界モデル・バッファに記憶されるとき、前記第１の世界モデル・バッファに、現在計算されているキーフレームが投入され、及び、
前記直近のキーフレームが前記第１の世界モデル・バッファに記憶されるとき、前記第２の世界モデル・バッファに、前記現在計算されているキーフレームが投入される、
請求項９に記載の方法。
【請求項16】
前記第１の周波数対前記第２の周波数で前記複数のキーフレームを計算することの圧縮率が、前記自律型車両の速度に依存し、少なくとも１０：１である、請求項９に記載の方法。
【請求項17】
前記第１の周波数対前記第２の周波数で前記複数の世界モデル・キーフレームを計算することの圧縮率が、前記自律型車両の速度に依存し、少なくとも４０：１である、請求項９に記載の方法。
【請求項18】
第１の世界モデル・バッファと、
第２の世界モデル・バッファと、
前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファのそれぞれに連結された世界モデル・プロデューサ・ノードであって、マップ・データに基づいて第１の周波数で自律型車両の周りの１つ又は複数のエリアを表す複数のキーフレームを計算し、前記複数のキーフレームを前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファに交互に投入するための前記世界モデル・プロデューサ・ノードと、
前記第１の世界モデル・バッファ又は前記第２の世界モデル・バッファに記憶された直近のキーフレームを、前記第１の周波数より大きい第２の周波数で前記自律型車両の座標フレームに変換するための、前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファのそれぞれに連結された世界モデル・トランスフォーマ・ノードと
を実装するための１つ又は複数のプロセッサ
を備える、システム。
第２の世界モデル・バッファと、
前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファのそれぞれに連結された世界モデル・プロデューサ・ノードであって、マップ・データに基づいて第１の周波数で自律型車両の周りの１つ又は複数のエリアを表す複数のキーフレームを計算し、前記複数のキーフレームを前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファに交互に投入するための前記世界モデル・プロデューサ・ノードと、
前記第１の世界モデル・バッファ又は前記第２の世界モデル・バッファに記憶された直近のキーフレームを、前記第１の周波数より大きい第２の周波数で前記自律型車両の座標フレームに変換するための、前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファのそれぞれに連結された世界モデル・トランスフォーマ・ノードと
を実装するための１つ又は複数のプロセッサ
を備える、システム。
【請求項19】
前記１つ又は複数のプロセッサは、前記直近のキーフレームに適用する複数の変換を前記第２の周波数で決定するための、前記第１の世界モデル・バッファ及び前記第２の世界モデル・バッファのそれぞれに連結された世界モデル姿勢計算ノードをさらに実装し、前記世界モデル・トランスフォーマ・ノードが、前記世界モデル姿勢計算ノードによって決定された対応する変換に従って前記直近のキーフレームを変換する、請求項１８に記載のシステム。
【請求項20】
前記１つ又は複数のプロセッサがさらに、
前記世界モデル・プロデューサ・ノードに連結された第１の有効な車線バッファと、
前記世界モデル・プロデューサ・ノードに連結された第２の有効な車線バッファと
を実装し、
前記世界モデル・プロデューサ・ノードが、現在時刻における前記自律型車両の周りの前記エリア内の１つ又は複数の車線を表す車線グラフであって、現在有効な車線の収集を前記第１の有効な車線バッファ及び前記第２の有効な車線バッファに交互に投入することによって増分的に増大させた車線グラフに基づいて、前記複数のキーフレームを計算する、請求項１８に記載のシステム。
前記世界モデル・プロデューサ・ノードに連結された第１の有効な車線バッファと、
前記世界モデル・プロデューサ・ノードに連結された第２の有効な車線バッファと
を実装し、
前記世界モデル・プロデューサ・ノードが、現在時刻における前記自律型車両の周りの前記エリア内の１つ又は複数の車線を表す車線グラフであって、現在有効な車線の収集を前記第１の有効な車線バッファ及び前記第２の有効な車線バッファに交互に投入することによって増分的に増大させた車線グラフに基づいて、前記複数のキーフレームを計算する、請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して自律型車両の世界モデルに関し、より詳細には、キーフレームに基づく世界モデル・データの圧縮に関する。
【背景技術】
【0002】
自動運転車、運転者の要らない車、高度運転者支援車両、又はロボット車としても知られる、自律及び半自律型車両は、通常は、人間運転者が車両を連続して監視、制御、及び／又は直接操作する必要なしにソース位置から目的地位置にそれらをナビゲートすることを可能にする機能性を備える。運転の自動化は、いくつかの理由により、難しい。たとえば、自律型車両は、センサを使用して臨機応変に運転決定を行うが、車両センサは、すべてを常に観測できるとは限らない。車両センサは、コーナー、なだらかな丘、及び他の車両、眩しい光、物体、或いは道路ユーザ（歩行者、動物、自転車に乗った人など）によって見えなくなる又は閉塞される可能性がある。車両センサからの入力は、適切な決定を行うための自律計画立案又は制御機能性のために十分に早期に又は速く処理されないことがある。加えて、車線及び標識は、道路上で見つからない又は押し倒されている又は茂みに隠れていることがあり、それにより、センサによって検出不可能なことがある。さらに、先行権の道路標識は、どこから車両が来ている可能性があるかを判定するために、又は緊急時に若しくは通過されなければならない停止した障害物があるときに車線からそれる若しくは出るために容易に可視でないことがある。
【0003】
自律型車両は、センサ・データに厳密に依拠する代わりに又はそれに加えて、リアルタイムで前述の情報のうちのいくつかを決定又は確証するために必要とされる処理のうちのいくつかを軽減するために正確なマップ・データを使用することができる。たとえば、自律型車両は、マップ・データを使用して、自律型車両の座標フレームと位置合わせされた世界モデルを構築することができる。自律型車両の安全なナビゲーションのために、世界モデル・フレームは、通常は、毎秒約３０世界モデル・フレームのレートで計算される。大きなデータ・サイズの世界モデル・フレームは、自律型車両でかなりの通信、処理、及び／又はストレージ資源を消費し得る。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実施例は、世界モデル（ＷＭ：ｗｏｒｌｄ ｍｏｄｅｌ）システム及びアプリケーションのキーフレームベースの圧縮に関する。
【0005】
例示的実施例において、方法は、マップ・データに基づいて現在時刻における自律型車両の周りのエリアを表す現在のキーフレームを計算するステップを含む。方法はまた、現在のキーフレームの計算を完了する前の第１の時間において先行キーフレームを自律型車両の座標フレームに変換して第１のＷＭフレームを生成するステップを含む。方法はまた、第１の時間の後、現在のキーフレームの計算の完了より前の第２の時間において先行キーフレームを自律型車両の座標フレームに変換して第２のＷＭフレームを生成するステップを含む。
【0006】
別の例示的実施例において、方法は、マップ・データに基づいて自律型車両の周りの１つ又は複数のエリアを表す複数のキーフレームを、第１の周波数において、計算するステップを含む。方法はまた、複数のＷＭフレームが少なくとも１つのキーフレームから生成されるように、第１の周波数より大きい第２の周波数で、直近のキーフレームを自律型車両の座標フレームに変換してフレームを生成するステップを含む。
【0007】
別の例示的実施例において、システムは、第１の及び第２のＷＭバッファ、ＷＭプロデューサ・ノード、及びＷＭトランスフォーマ・ノードを実装するために、１つ又は複数のプロセッサを含む。ＷＭプロデューサ・ノードは、マップ・データに基づいて第１の周波数で自律型車両の周りの１つ又は複数のエリアを表すキーフレームを計算するために、並びにキーフレームを第１のＷＭバッファ及び第２のＷＭバッファに交互に投入するために、第１の及び第２のＷＭバッファのそれぞれに連結される。ＷＭトランスフォーマ・ノードは、自律型車両の座標フレームに、第１のＷＭバッファ又は第２のＷＭバッファに記憶された直近のキーフレームを第１の周波数より大きい第２の周波数で経時的に変換するために、第１の及び第２のＷＭバッファのそれぞれに連結される。
【0008】
ＷＭキーフレームベースの圧縮のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
【図面の簡単な説明】
【0009】
【図1】本開示の１つ又は複数の実施例による、複数の車両と相互作用し得るＨＤマップ・システムの例示的全体的システム環境を示す図である。
【図5】本開示の１つ又は複数の実施例による、ＨＤマップの例示的構成要素を示す図である。
【図6A】本開示の１つ又は複数の実施例による、ＨＤマップにおいて定義され得る例示的地理的領域を示す図である。
【図6B】本開示の１つ又は複数の実施例による、ＨＤマップにおいて定義され得る例示的地理的領域を示す図である。
【図7】本開示の１つ又は複数の実施例による、ＨＤマップにおける例示的車線表現を示す図である。
【図8A】本開示の１つ又は複数の実施例による、ＨＤマップにおける例示的車線要素及び車線要素間の関係を示す図である。
【図8B】本開示の１つ又は複数の実施例による、ＨＤマップにおける例示的車線要素及び車線要素間の関係を示す図である。
【図9A】本開示の１つ又は複数の実施例による、ＷＭフレームを計算するための例示的アーキテクチャを示す図である。
【図9C】本開示の１つ又は複数の実施例による、ＷＭフレームを生成するための方法を示す図である。
【図10】本開示の１つ又は複数の実施例による、単純なＨＤマップからの例示的ＬａｎｅＧｒａｐｈ計算を示す図である。
【図13】本開示の１つ又は複数の実施例による、ＷＭフレームを生成するための方法を示す流れ図である。
【図14】本開示の１つ又は複数の実施例による、ＷＭフレームを生成するための別の方法を示す流れ図である。
【図15A】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。
【図16】本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。
【発明を実施するための形態】
【0010】
自律型車両における大きなデータ・サイズを有するマップ・データの処理に関する、システム及び方法が、開示される。１つ又は複数の実施例において、マップ・データは、車線、交通標識及び信号、待機条件、並びに同類のものを含むことができ、自律型車両の周りの世界モデルを構築するために自律型車両において使用され得る。一般に、各マップベースの世界モデルの静的コンテンツは、比較的ゆっくりと変化する、及びそのようなものとしてあらゆるフレームについて生成される必要はない、コンテンツである。したがって、いくつかの実施例は、自律型車両のデータの生成を、より高いレイテンシを有するタスクがより低いレイテンシを有するタスクよりも少ない頻度で実行される複数のタスクへと分ける。たとえば、データの生成は、より高いレイテンシのより低い周波数の世界モデル・キーフレーム生成タスクとより低いレイテンシのより高い周波数の変換タスクとに分けられ得る。別法として又は追加で、タスクは、より低いレイテンシのより高い周波数の変換計算タスクを含み得る。これらのタスクは、時間とともに繰り返す又は反復することができる。
【0011】
例示的実施例において、自律型車両の周りの世界モデル・キーフレームは、車線グラフなどのマップ・データに基づいて経時的に及び第１の周波数で計算される。任意の所与の時間における直近の世界モデル・キーフレームは、複数の世界モデル・フレームが各世界モデル・キーフレームから生成されるように、複数の世界モデル・フレームを生成するために、自律型車両の座標フレームに経時的に及び第１の周波数より大きい第２の周波数で変換される。別の例示的実施例において、自律型車両の周りの現在の世界モデル・キーフレームは、マップ・データに基づいて計算される。先行する世界モデル・キーフレームは、第１の世界モデル・フレームを生成するために現在の世界モデル・キーフレームの計算を完了するより前に第１の時間において自律型車両の座標フレームに変換され得る。先行する世界モデル・キーフレームはまた、第２の世界モデル・フレームを生成するために、第１の時間の後の第２の時間において及び現在の世界モデル・キーフレームの計算を完了するより前に自律型車両の座標フレームに変換され得る。両方の例示的実施例において、世界モデル・キーフレームのより高いレイテンシの計算は、世界モデル・フレームのより低いレイテンシの生成より少ない周波数で実行される。
【0012】
いくつかの実施例は、世界モデル・キーフレームのための二重バッファを実装し得る。たとえば、世界モデル・キーフレームは、それらが計算されるとき、第１の世界モデル・バッファ又は第２の世界モデル・バッファにおいて交互に投入され得る。現在の世界モデル・キーフレームが、第１の又は第２の世界モデル・バッファにおいて計算及び投入されている間、第２の又は第１の世界モデル・バッファのうちの他方における先行する又は直近に計算された世界モデル・キーフレームは、世界モデル・フレームを生成するために、自律型車両の座標フレームに繰り返し変換される。本明細書に記載のいくつかの実施例の圧縮率は、自律型車両の速度に依存し得る。たとえば、圧縮率は、自律型車両が約１４４．８キロメートル（９０マイル）／時（ｍｐｈ）又は約４０メートル／秒（ｍ／ｓ）で移動しているとき、少なくとも１０：１（たとえば、１０：１、１２：１、２０：１、又は第１の数が第２の数の少なくとも１０倍である任意の他の比率）でもよい。別法として又は追加で、圧縮率は、自律型車両が約２２ｍｐｈ又は約１０ｍ／ｓで移動しているとき、少なくとも４０：１（たとえば、４０：１、４５：１、５０：１、又は第１の数が第２の数の少なくとも４０倍である任意の他の比率）でもよい。
【0013】
図１は、本開示の１つ又は複数の実施例による、複数の車両と相互作用し得るＨＤマップ・システム１００の例示的全体的システム環境を示す。ＨＤマップ・システム１００は、ＨＤマップ・システム１００の２台以上の車両１５０（たとえば、車両１５０Ａ～１５０Ｄ）と相互作用し得るオンラインＨＤマップ・システム１１０を備え得る。車両１５０は、自律型車両、半自律型車両、又は非自律型車両でもよい。車両１５０の例示的実施例は、図１５Ａ～１５Ｄに関して図解及び記述されている。本明細書に記載のこの及び他の構成は、単に実例として説明されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び位置において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
【0014】
図１を続けて参照すると、オンラインＨＤマップ・システム１１０は、車両１５０の車両センサ１０５（たとえば、１０５Ａ～１０５Ｄ）によってキャプチャされ得るセンサ・データを受信し車両１５０から受信されたデータを結合してＨＤマップを生成及び保持するように構成され得る。オンラインＨＤマップ・システム１１０は、車両１５０を運転する際に使用するために車両１５０にＨＤマップ・データを送るように構成され得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、分散型計算システム、たとえば、車両計算システム１２０（たとえば、車両計算システム１２０Ａ～１２０Ｄ）などのクライアントが情報及びサービスの要求を行うことを可能にし得るクラウドベースのサービス、として実装され得る。たとえば、車両計算システム１２０は、ルートに沿って運転するためのＨＤマップ・データの要求を行うことができ、オンラインＨＤマップ・システム１１０は、要求されたＨＤマップ・データを車両計算システム１２０に提供し得る。車両計算システム１２０は、オンラインＨＤマップ・システム１１０から受信されたＨＤマップ・データに関して世界モデル・キーフレームベースの圧縮を実装し得る。
【0015】
図１及びその他の図は、類似の参照数詞を使用して類似の要素を識別する。「１０５Ａ」などの参照数詞の後の文字は、その特定の参照数詞を有する要素をテキストが具体的に参照する、ということを示す。「１０５」などの後に続く文字を有さないテキスト内の参照数詞は、その参照数詞を有する図内の要素のいずれか又はすべてを参照する（たとえば、テキスト内の「１０５」は、図内の参照数詞「１０５Ａ」及び／又は「１０５Ｎ」を参照する）。
【0016】
オンラインＨＤマップ・システム１１０は、車両インターフェース・モジュール１６０及びＨＤマップ・ストア１６５を備え得る。オンラインＨＤマップ・システム１１０は、車両インターフェース・モジュール１６０を使用して様々な車両１５０の車両計算システム１２０と相互作用するように構成され得る。オンラインＨＤマップ・システム１１０は、ＨＤマップ・ストア１６５において様々な地理的領域のマップ情報を記憶するように構成され得る。オンラインＨＤマップ・システム１１０は、図１に示されたもの以外のモジュール、たとえば、図４に示す及び本明細書でさらに記述されるような様々な他のモジュール、を含むように構成され得る。
【0017】
本開示において、モジュールは、対応するシステム（たとえば、対応する計算システム）がそこで記述される動作のうちの１つ又は複数を実行することを可能にするように構成されたコード及びルーティンを含み得る。追加で又は別法として、任意の所与のモジュールが、任意の数のプロセッサ、マイクロプロセッサ（たとえば、１つ又は複数の動作のパフォーマンスを実行又は制御するための）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又はその２個以上の任意の適切な組合せを含むハードウェアを使用して実装され得る。別法として又は追加で、任意の所与のモジュールが、ハードウェア及びソフトウェアの組合せを使用して実装され得る。本開示において、モジュールによって実行されるものとして記述された動作は、モジュールが対応するシステムに実行するように指示し得る動作を含み得る。
【0018】
さらに、本開示において示された異なるモジュールの区別及び分離は、実行される動作の説明を助けるためであり、限定を意図されていない。たとえば、実装形態に応じて、本開示において記述されるモジュールのうちの２個以上に関して記述された動作は、同じモジュールと考えられ得るものによって、実行され得る。さらに、モジュールのうちの１つ又は複数の動作は、実装形態に応じて１つ又は複数の他のモジュール又はサブモジュールと考えられ得るものの間で分割され得る。
【0019】
オンラインＨＤマップ・システム１１０は、２台以上の車両１５０、たとえば、数百又は数千の自動車、のセンサによって収集されたセンサ・データを受信するように構成され得る。センサ・データは、ＨＤマップの生成に関連し得る車両のセンサによって取得され得る任意のデータを含み得る。たとえば、センサ・データは、ＬＩＤＡＲデータ、キャプチャされた画像などを含み得る。追加で又は別法として、センサ・データは、車両１５０の現在の状態を記述し得る情報、車両１５０の位置及び運動パラメータなどを含み得る。
【0020】
車両１５０は、様々なルートに沿って運転しながらキャプチャされ得るセンサ・データ１１５を提供するように及びオンラインＨＤマップ・システム１１０にそれを送信するように構成され得る。オンラインＨＤマップ・システム１１０は、車両１５０から受信されたセンサ・データ１１５を使用して車両１５０が運転している可能性のある領域を記述するＨＤマップを作成及び更新するように構成され得る。オンラインＨＤマップ・システム１１０は、車両１５０から受信され得る集合的センサ・データ１１５に基づいて高解像度マップを構築するように及びＨＤマップ・ストア１６５にＨＤマップ情報を記憶するように構成され得る。前述は、ＨＤマップを生成するための１つの方法を説明する。より一般的には、本明細書に記載のＨＤマップは、前述の及び／又は他の適切な方法を使用して、生成され得る。
【0021】
オンラインＨＤマップ・システム１１０は、車両１５０の要求によりＨＤマップ・データ１２５を車両１５０に送るように構成され得る。
【0022】
たとえば、特定の車両１５０がルートに沿って運転するようにスケジュールされたインスタンスで、特定の車両１５０の特定の車両計算システム１２０は、移動されているルートを記述する情報をオンラインＨＤマップ・システム１１０に提供するように構成され得る。応答して、オンラインＨＤマップ・システム１１０は、特定の車両１５０によるルートに沿ったナビゲーション及び運転を容易にし得るルートに関連する（たとえば、ルートを含むエリアを表す）ＨＤマップのＨＤマップ・データ１２５を提供するように構成され得る。
【0023】
一実施例において、送信されるデータが、より少ない帯域幅を消費し得るように、オンラインＨＤマップ・システム１１０は、圧縮フォーマットで車両１５０にＨＤマップ・データの部分を送るように構成され得る。オンラインＨＤマップ・システム１１０は、車両１５０のローカルＨＤマップ・ストア（たとえば、図２のローカルＨＤマップ・ストア２７５）に記憶され得るＨＤマップ・データを説明する情報を、様々な車両１５０から、受信するように構成され得る。
【0024】
いくつかの実施例において、オンラインＨＤマップ・システム１１０は、特定の車両１５０が、特定の車両１５０の特定の車両計算システム１２０のローカルＨＤマップ・ストアにおいてローカルに記憶されたＨＤマップ・データのある特定の部分を有さない可能性がある、と判定し得る。これらの又は他の実施例において、そのような判定に応答して、オンラインＨＤマップ・システム１１０は、車両１５０にＨＤマップ・データのある部分を送るように構成され得る。
【0025】
いくつかの実施例において、オンラインＨＤマップ・システム１１０は、特定の車両１５０が、ＨＤマップ・データの特定の部分と同じ地理的エリアに関する前に受信されたＨＤマップ・データを有し得る、と判定し得る。これらの又は他の実施例において、オンラインＨＤマップ・システム１１０は、ＨＤマップ・データの特定の部分が、特定の車両１５０が前のＨＤマップ・データを最後に受信してからオンラインＨＤマップ・システム１１０によって更新された以前受信されたＨＤマップ・データの更新バージョンであり得る、と判定し得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、特定の車両１５０に記憶され得るＨＤマップ・データのその部分の更新を送信し得る。これは、オンラインＨＤマップ・システム１１０が、車両１５０と通信され得るＨＤマップ・データの量を減らす又は最小限にすることと、さらに定期的に更新された車両においてローカルに記憶されたＨＤマップ・データを保持することとを可能にし得る。
【0026】
車両１５０は、車両センサ１０５（たとえば、車両センサ１０５Ａ～Ｄ）、車両制御装置１３０（たとえば、車両制御装置１３０Ａ～１３０Ｄ）、及び車両計算システム１２０（たとえば、車両コンピュータ・システム１２０Ａ～１２０Ｄ）を含み得る。車両センサ１０５は、車両１５０の周囲を検出するように構成され得る。これらの又は他の実施例において、車両センサ１０５は、車両１５０の現在の状態を記述する情報、たとえば、車両１５０の位置及び運動パラメータを記述する情報、を検出し得る。
【0027】
車両センサ１０５は、カメラ、光検出及び測距センサ（ＬＩＤＡＲ）、全地球的航法衛星システム（ＧＮＳＳ）受信器、たとえば、グローバル・ポジショニング・システム（ＧＰＳ）ナビゲーション・システム、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）、及びその他を備え得る。車両センサ１０５は、車両の周囲の画像をキャプチャし得る１つ又は複数のカメラを含み得る。ＬＩＤＡＲは、レーザー光パルスでその目標を照らすこと及び反射パルスを測定することによって目標までの距離を測定することによって、車両の周囲を調査し得る。ＧＰＳナビゲーション・システムは、衛星からの信号に基づいて車両１５０の位置を判定し得る。ＩＭＵは、加速度計及びジャイロスコープ又は他の測定器の組合せを使用してベロシティ、加速、運動の方向、速度、角速度などの車両１５０の運動データを測定及び報告するように構成され得る電子デバイスを含み得る。
【0028】
車両制御装置１３０は、車両１５０の物理運動、たとえば、加速、方向変更、始動、停止など、を制御するように構成され得る。車両制御装置１３０は、加速装置、ブレーキ、ハンドルなどを制御するための機械類を含み得る。車両計算システム１２０は、定期的及び／又は継続的に車両制御装置１３０に制御信号を提供することができ、車両１５０を選択されたルートに沿って運転させることができる。
【0029】
車両計算システム１２０は、センサによって収集されたデータ並びにオンラインＨＤマップ・システム１１０から受信されたマップ・データを処理することを含む様々なタスクを実行するように構成され得る。車両計算システム１２０はまた、オンラインＨＤマップ・システム１１０に送るためのデータを処理するように構成され得る。車両計算システム１２０の一実例が、図２においてさらに図解され、図２に関してさらに説明される。
【0030】
車両計算システム１２０とオンラインＨＤマップ・システム１１０との相互作用が、ネットワークを介して、たとえば、インターネットを介して、実行され得る。ネットワークは、車両計算システム１２０とオンラインＨＤマップ・システム１１０との通信を可能にするように構成され得る。いくつかの実施例において、ネットワークは、標準通信技術及び／又はプロトコルを用いるように構成され得る。ネットワークを介して交換されるデータは、ハイパテキスト・マークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）などを含む技術及び／又はフォーマットを使用して表され得る。加えて、リンクのすべて又はいくつかは、セキュア・ソケット・レイヤ（ＳＳＬ）、トランスポート・レイヤ・セキュリティ（ＴＬＳ）、仮想プライベート・ネットワーク（ＶＰＮ）、インターネット・プロトコル・セキュリティ（ＩＰｓｅｃ）などの従来の暗号技術を使用して、暗号化され得る。いくつかの実施例において、エンティティは、カスタム及び／又は専用データ通信技術を使用し得る。
【0031】
車両計算システム
図２は、本開示の１つ又は複数の実施例による、車両計算システム１２０の例示的システム・アーキテクチャを示す。車両計算システム１２０は、認知モジュール２１０、予測モジュール２１５、計画立案モジュール２２０、制御モジュール２２５、ローカルＨＤマップ・ストア２７５、ＨＤマップ・システム・インターフェース２８０、マップ矛盾モジュール２９０、及びＨＤマップ・アプリケーション・プログラミング・インターフェース（ＡＰＩ）２０５を含み得る。車両計算システム１２０の様々なモジュールが、センサ・データ２３０、ビヘイビア・モデル２３５、ルート２４０、及び物理制約２４５を含む様々なタイプのデータを処理するように構成され得る。いくつかの実施例において、車両計算システム１２０は、より多数の又はより少数のモジュールを含み得る。特定のモジュールによって実装されるものとして記述された機能性は、他のモジュールによって実装され得る。
図２は、本開示の１つ又は複数の実施例による、車両計算システム１２０の例示的システム・アーキテクチャを示す。車両計算システム１２０は、認知モジュール２１０、予測モジュール２１５、計画立案モジュール２２０、制御モジュール２２５、ローカルＨＤマップ・ストア２７５、ＨＤマップ・システム・インターフェース２８０、マップ矛盾モジュール２９０、及びＨＤマップ・アプリケーション・プログラミング・インターフェース（ＡＰＩ）２０５を含み得る。車両計算システム１２０の様々なモジュールが、センサ・データ２３０、ビヘイビア・モデル２３５、ルート２４０、及び物理制約２４５を含む様々なタイプのデータを処理するように構成され得る。いくつかの実施例において、車両計算システム１２０は、より多数の又はより少数のモジュールを含み得る。特定のモジュールによって実装されるものとして記述された機能性は、他のモジュールによって実装され得る。
【0032】
図２及び図１を参照すると、いくつかの実施例において、車両計算システム１２０は、認知モジュール２１０を含み得る。認知モジュール２１０は、車両１５０の車両センサ１０５からセンサ・データ２３０を受信するように構成され得る。センサ・データ２３０は、自動車のカメラ、ＬＩＤＡＲ、ＩＭＵ、ＧＰＳナビゲーション・システムなどによって収集されたデータを含み得る。認知モジュール２１０はまた、対応する車両１５０の周りにどんな物体があるか、対応する車両１５０が移動している道路の詳細などを判定するためにセンサ・データ２３０を使用するように構成され得る。加えて、認知モジュール２１０は、センサ・データ２３０を処理してセンサ・データ２３０を記憶するデータ構造体に投入するように及び情報又は命令を車両計算システム１２０の予測モジュール２１５に提供するように構成され得る。
【0033】
予測モジュール２１５は、物体が移動している可能性がある又は移動しそうかを判定するために認知された物体のビヘイビアモデル（２３５）を使用して認知モジュール２１０によって提供されるデータを解釈するように構成され得る。たとえば、予測モジュール２１５は、車両、人々などとして識別された物体は動いている又は動きそうであるかもしれないのに対して、道路標識を表す物体は動きそうにないかもしれないと判定し得る。予測モジュール２１５はまた、それらが動きそうかどうかを判定するために、様々なタイプの物体のビヘイビア・モデル２３５を使用するように構成され得る。加えて、予測モジュール２１５は、対応する車両１５０が次に取り得るその後のアクションを計画するために、様々な物体の予測を車両計算システム１２０の計画立案モジュール２００に提供するように構成され得る。
【0034】
計画立案モジュール２２０は、予測モジュール２１５からの対応する車両１５０の周囲について記述する情報と、車両１５０の目的地を示す又は決定する、及び目的地に到着するために車両１５０が取り得る進路を示し得る、ルート２４０とを受信するように構成され得る。
【0035】
計画立案モジュール２２０はまた、予測モジュール２１５からの情報及びルート２４０を使用して、車両１５０が短い時間間隔内、たとえば、次の数秒以内、に取り得るアクションのシーケンスを計画するように構成され得る。いくつかの実施例において、計画立案モジュール２２０は、車両１５０が次に運転して通り抜け得る近くの位置を表す１つ又は複数のポイントとしてアクションのシーケンスを指定するように構成され得る。計画立案モジュール２２０は、対応する車両１５０によって取られることになるアクションのシーケンスを含む計画の詳細を、制御モジュール２２５に、提供するように構成され得る。計画は、対応する車両１５０の１つ又は複数のその後のアクション、たとえば、対応する車両１５０が車線変更、転回、速度を増すことによる加速又は減速することなどを実行し得るかどうか、を示し得る。
【0036】
制御モジュール２２５は、計画立案モジュール２２０から受信され得る計画に基づいて対応する車両１５０の車両制御装置１３０に送られ得る制御信号を決定するように構成され得る。たとえば、対応する車両１５０が、ポイントＡに現在あり、計画が、対応する車両１５０は近くのポイントＢに次に進むべきであると指定する場合、制御モジュール２２５は、対応する車両１５０を安全でスムーズなやり方で、たとえば、ポイントＡからポイントＢまでに急な転回又はジグザグな進路を取らずに、ポイントＡからポイントＢに進ませ得る車両制御装置１３０の制御信号を決定することができる。ポイントＡからポイントＢに進むために対応する車両１５０によって取られ得る進路は、対応する車両１５０の現在の速度及び方向並びにポイントＡに対するポイントＢの位置に依存し得る。たとえば、対応する車両１５０の現在の速度が速い場合、対応する車両１５０は、ゆっくりと運転する別の車両と比較してより広い転回を行い得る。
【0037】
制御モジュール２２５はまた、入力として物理制約２４５を受信するように構成され得る。物理制約２４５は、対応する車両１５０の物理能力を含み得る。たとえば、特定の型及びモデルを有する対応する車両１５０は、異なる型及びモデルを有する別の車両は安全に行うことができないことがある加速及び転回などのある特定のタイプの車両運動を安全に行うことができ得る。加えて、制御モジュール２２５は、対応する車両１５０の車両制御装置１３０の制御信号を決定する際に物理制約２４５を組み込むように構成され得る。加えて、制御モジュール２２５は、指定されたシーケンスのアクションを車両１５０に実行させ得る及び所定のセットのアクションに従って計画されたように対応する車両１５０を移動させ得る車両制御装置１３０への制御信号を送るように構成され得る。いくつかの実施例において、前述のステップは、数秒ごとに絶えず繰り返され得、対応する車両１５０のために計画されていてもよいルートに沿って対応する車両１５０に安全に運転させ得る。
【0038】
認知モジュール２１０、予測モジュール２１５、及び計画立案モジュール２２０を含む車両計算システム１２０の様々なモジュールは、マップ情報を受信してそれのそれぞれの計算を実行するように構成され得る。対応する車両１５０は、ＨＤマップ・データをローカルＨＤマップ・ストア２７５に記憶し得る。車両計算システム１２０のモジュールは、ＨＤマップ・アプリケーション・プログラミング・インターフェース（ＡＰＩ）２０５を使用してＨＤマップ・データと相互作用し得る。
【0039】
ＨＤマップＡＰＩ２０５は、マップ情報にアクセスするためのモジュールによって呼び出され得る１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を提供し得る。ＨＤマップ・システム・インターフェース２８０は、車両計算システム１２０がネットワーク（図示せず）を介してオンラインＨＤマップ・システム１１０と相互作用することを可能にするように構成され得る。ローカルＨＤマップ・ストア２７５は、オンラインＨＤマップ・システム１１０によって指定され得るフォーマットでマップ・データを記憶し得る。ＨＤマップＡＰＩ２０５は、オンラインＨＤマップ・システム１１０によって提供されるものとしてのマップ・データ・フォーマットを処理する能力を有するように構成され得る。ＨＤマップＡＰＩ２０５は、ＨＤマップ・データと相互作用するためのインターフェースを車両計算システム１２０に提供するように構成され得る。ＨＤマップＡＰＩ２０５は、ローカリゼーションＡＰＩ２５０、ランドマーク・マップＡＰＩ２５５、ルートＡＰＩ２７０、３ＤマップＡＰＩ２６５、マップ更新ＡＰＩ２８５などを含むいくつかのＡＰＩを含み得る。
【0040】
ローカリゼーションＡＰＩ２５０は、対応する車両１５０の現在の位置、たとえば、対応する車両１５０が所与のルートに関わる場所、を判定するように構成され得る。ローカリゼーションＡＰＩ２５０は、ＨＤマップ内及び特定の精度内で対応する車両１５０の位置を判定するローカライズされたＡＰＩを含むように構成され得る。車両計算システム１２０は、他のクエリ、たとえば、特徴クエリ、ナビゲート可能な空間クエリ、及び本明細書でさらに説明される占有マップ・クエリ、を行うための正確な（たとえば、ある特定のレベルの精度内の）相対位置としてその位置を使用するように構成され得る。
【0041】
ローカリゼーションＡＰＩ２５０は、ＧＰＳによって提供される位置、ＩＭＵによって提供される車両運動データ、ＬＩＤＡＲスキャナ・データ、カメラ画像などのうちの１つ又は複数を含む入力を受信するように構成され得る。ローカリゼーションＡＰＩ２５０は、緯度及び経度座標として対応する車両１５０の正確な位置を返すように構成され得る。ローカリゼーションＡＰＩ２５０によって返され得る座標は、入力として使用されるＧＰＳ座標と比べてより正確であり得、たとえば、ローカリゼーションＡＰＩ２５０の出力は、２～３０ｃｍの精度測距を有し得る。いくつかの実施例において、車両計算システム１２０は、スキャナ・データ、たとえば、１０ヘルツ（Ｈｚ）の周波数における、を使用するＬＩＤＡＲに基づいて対応する車両１５０の位置を周期的に判定するためにローカリゼーションＡＰＩ２５０を呼び出すように構成され得る。
【0042】
車両計算システム１２０は、ＧＰＳ又はＩＭＵデータがそのレートで利用可能である場合、より高いレート（たとえば、６０Ｈｚ）で車両位置を判定するためにローカリゼーションＡＰＩ２５０を呼び出すように構成され得る。加えて、車両計算システム１２０は、その後のローカリゼーション・コールの精度を改善するために位置履歴記録を、内部状態として記憶するように構成され得る。位置履歴記録は、時間におけるポイント、対応する車両１５０がスイッチを切られた／停止したときなど、から位置の履歴を記憶し得る。ローカリゼーションＡＰＩ２５０は、ＨＤマップに基づいて車線を指定する正確な（たとえば、指定された精度内の）ルートを生成するように構成され得るルートをローカライズＡＰＩを含み得る。ルートをローカライズＡＰＩは、１つ又は複数の第三者マップを介してソースから目的地までのルートを入力として受信するように構成され得、ＨＤマップに基づいて入力ルートに沿ったナビゲート可能な車線の接続されたグラフとして表された高い精度（たとえば、指定された精度以内、たとえば３０ｃｍ以内）のルートを生成するように構成され得る。
【0043】
ランドマーク・マップＡＰＩ２５５は、対応する車両１５０の周りの世界の幾何学的及び意味論的記述、たとえば、対応する車両１５０が現在進んでいる車線の様々な部分の記述、を提供するように構成され得る。ランドマーク・マップＡＰＩ２５５は、ランドマーク・マップに基づいてクエリを可能にするように構成され得るＡＰＩ、たとえば、車線をフェッチＡＰＩ及び特徴をフェッチＡＰＩ、を含む。車線をフェッチＡＰＩは、対応する車両１５０に関連する車線情報及び特徴をフェッチＡＰＩを提供するように構成され得る。車線をフェッチＡＰＩはまた、位置、たとえば、緯度及び経度を使用して指定された対応する車両１５０の位置、を、入力として、受信するように構成され得、入力位置に関連する車線情報を返す。加えて、車線をフェッチＡＰＩは、車線情報が取得され得る入力位置に対する距離を示す距離パラメータを指定するように構成され得る。さらに、特徴をフェッチＡＰＩは、１つ又は複数の車線要素を識別する情報を受信するように及び指定された車線要素に関連するランドマーク特徴を返すように構成され得る。ランドマーク特徴は、そのタイプのランドマークに特有であり得る空間記述を、各ランドマークについて、含み得る。
【0044】
３ＤマップＡＰＩ２６５は、道路の空間３次元（３Ｄ）表現及びローカルＨＤマップ・ストア２７５に記憶されたものとしての道路の周りの様々な物理物体へのアクセスを提供するように構成され得る。３ＤマップＡＰＩ２６５は、ナビゲート可能表面をフェッチＡＰＩ及び占有グリッドをフェッチＡＰＩを含み得る。ナビゲート可能表面をフェッチＡＰＩは、１つ又は複数の車線要素の識別子を、入力として、受信するように構成され得、指定された車線要素のナビゲート可能な境界線を返す。占有グリッドをフェッチＡＰＩはまた、入力としての位置、たとえば、対応する車両１５０の緯度及び経度、を受信し、道路の表面及びその位置の近くのＨＤマップにおいて入手可能なすべての物体の占有を記述する情報を返すように構成され得る。占有を記述する情報は、ＨＤマップにおいて占有されていると考えられるいくつかの又はすべての位置の階層的体積グリッドを含み得る。占有グリッドは、たとえば、カーブ及び隆起における、ナビゲート可能なエリアの近くは高い解像度、そしてたとえば、カーブの向こうの木及び壁などの、あまり重要でないエリアでは比較的低い解像度で情報を含み得る。加えて、占有グリッドをフェッチＡＰＩは、必要に応じて、障害物を検出するために及び方向を変更するために有用であるように構成され得る。
【0045】
３ＤマップＡＰＩ２６５はまた、マップ更新ＡＰＩ、たとえば、マップ更新をダウンロードＡＰＩ及びマップ更新をアップロードＡＰＩ、を含む。マップ更新をダウンロードＡＰＩは、計画ルート識別子を入力として受信し、すべての計画ルートに関連するデータの又は特定の計画ルートのマップ更新をダウンロードするように構成され得る。マップ更新をアップロードＡＰＩは、車両計算システム１２０によって収集されたデータをオンラインＨＤマップ・システム１１０にアップロードするように構成され得る。マップ更新をアップロードＡＰＩは、様々なルートに沿って運転する車両１５０の車両センサ１０５によって観測され得るマップ・データにおける変化に基づいて更新されたオンラインＨＤマップ・システム１１０に記憶されたＨＤマップ・データをオンラインＨＤマップ・システム１１０が保持することを可能にし得る。
【0046】
ルートＡＰＩ２７０は、対応する車両１５０がルートに沿って進むときにソースと目的地との間の完全ルートとルートの部分とを含むルート情報を返すように構成され得る。３ＤマップＡＰＩ２６５は、オンラインＨＤマップ・システム１１０の又はＨＤマップのクエリを可能にするように構成され得る。ルートＡＰＩ２７０は、計画ルートを追加ＡＰＩ及び計画ルートを取得ＡＰＩを含み得る。計画ルートを追加ＡＰＩは、関連ＨＤマップを記述する情報が車両計算システム１２０によってダウンロードされ得、最新に保たれ得るように、計画ルートを記述する情報をオンラインＨＤマップ・システム１１０に提供するように構成され得る。計画ルートを追加ＡＰＩは、緯度及び経度に関して表現されたポリラインを使用して指定されたルートと、さらにその後にルートデータが削除され得る時間周期を指定する有効期間（ＴＴＬ：ｔｉｍｅ－ｔｏ－ｌｉｖｅ）パラメータとを、入力として、受信するように構成され得る。したがって、計画ルートを追加ＡＰＩは、車両１５０が自律移動として近い未来に取ることを計画しているルートを車両１５０が示すことを可能にするように構成され得る。計画ルートを追加ＡＰＩは、ルートをＨＤマップと位置合わせし、ルート及びそれのＴＴＬ値を記録し、車両計算システム１２０に記憶されたルートのＨＤマップ・データが更新される（たとえば、最新になる）ことを確実にするように構成され得る。計画ルートを取得ＡＰＩは、計画ルートのリストを返し、ルート識別子によって識別されたルートを記述する情報を提供するように構成され得る。
【0047】
マップ更新ＡＰＩ２８５は、ローカルＨＤマップ・ストア２７５の、及びオンラインＨＤマップ・システム１１０に記憶されたＨＤマップ・ストア１６５の両方の、マップ・データを更新することに関連する動作を管理するように構成され得る。したがって、車両計算システム１２０内のモジュールは、ローカルＨＤマップ・ストア２７５に記憶するために車両計算システム１２０にオンラインＨＤマップ・システム１１０からデータをダウンロードするためのマップ更新ＡＰＩ２８５を呼び出すように構成され得る。マップ更新ＡＰＩ２８５はまた、車両センサ１０５によってモニタされる情報がオンラインＨＤマップ・システム１１０によって提供されるマップ情報における矛盾を示すがどうかを車両計算システム１２０が判定することを可能にするように構成され得、他の車両１５０に提供されるＨＤマップ・ストア１６５に記憶されたマップ・データをオンラインＨＤマップ・システム１１０が更新する結果をもたらし得るオンラインＨＤマップ・システム１１０へデータをアップロードする。
【0048】
マップ矛盾モジュール２９０は、マップ更新ＡＰＩ２８５と動作させられてマップ矛盾を判定するように及びマップ矛盾情報をオンラインＨＤマップ・システム１１０に通信するように構成され得る。いくつかの態様において、マップ矛盾を判定することは、特定の位置のセンサ・データ２３０をその特定の位置のＨＤマップ・データと比較することを含む。たとえば、ＨＤマップ・データは、高速道路の車線が車両１５０によって使用可能であるはずであると示し得るが、センサ・データ２３０は、使用を閉鎖された又は他の方法でもはや利用可能でないその車線において発生している建設工事があることを示し得る。マップ矛盾モジュール２９０によってマップ矛盾を検出したとき、対応する車両１５０は、検出されたマップ矛盾に関する情報を含むオンラインＨＤマップ・システム１１０へ更新メッセージを送信する。マップ矛盾モジュール２９０は、車両識別子（ＩＤ）、１つ又は複数の時間スタンプ、移動されたルート、横断された車線要素の車線要素ＩＤ、矛盾のタイプ、矛盾のマグニチュード、二重矛盾警告メッセージを識別するのに役立つ矛盾指紋、メッセージのサイズなどを含み得る、更新メッセージを構築するように構成され得る。いくつかの実施例において、マップ矛盾モジュール２９０の１つ又は複数の動作は、以下で詳述するように図４のマップ・データ収集モジュール４６０によって少なくとも部分的に処理され得る。
【0049】
いくつかの実施例において、対応する車両１５０は、マップ矛盾を検出したときに更新メッセージをオンラインＨＤマップ・システム１１０に若しくはローカルＨＤマップ・ストア２７５に送る、及び／又は更新メッセージを周期的に送るように構成され得る。たとえば、対応する車両１５０は、矛盾を記録し、時間の間隔（たとえば、３０分）又は移動距離（たとえば、１６．０９キロメートル（１０マイル））ごとに１度、更新メッセージを介してオンラインＨＤマップ・システム１１０に矛盾を報告するように構成され得る。オンラインＨＤマップ・システム１１０は、以下でマップ・データ収集モジュール４６０を参照してさらに詳しく説明されるように、更新メッセージを管理し、更新メッセージに優先順位を付けるように構成され得る。
【0050】
いくつかの実施例において、対応する車両１５０は、高帯域幅アクセス・ポイントに到達又はドッキングしたときにのみ更新メッセージをオンラインＨＤマップ・システム１１０に送るように構成され得る。対応する車両１５０が、インターネット（たとえば、ネットワーク）に接続された後は、対応する車両１５０は、照合された更新メッセージ又は１セットの更新メッセージのいずれかを送るように構成され得る。１つ又は複数の実施例において、例示的な限定されないメッセージは、最後の高帯域幅アクセス・ポイントが到達又はドッキングされて以降に構築された更新メッセージを含み得る。高帯域幅アクセス・ポイントの使用は、大量のデータを送信するために有用であり得る。いくつかの態様において、照合された更新メッセージ又は１つ若しくは複数の更新メッセージがオンラインＨＤマップ・システム１１０によって受信されたという確認メッセージを受信したとき、対応する車両１５０は、削除するデータに印を付けてローカル削除プロセスをスケジュールする及び／又はデータを削除する。別法として、対応する車両１５０は、時間に基づいて周期的に、たとえば、１時間ごとに、オンラインＨＤマップ・システム１１０に報告し得る。
【0051】
マップ矛盾モジュール２９０は、オンラインＨＤマップ・システム１１０からのメッセージに応答して機能する及び矛盾識別に関連する動作を実行するように構成され得る。たとえば、対応する車両１５０のルートに沿った特定の位置に関するデータを要求するメッセージを受信したとき、マップ矛盾モジュール２９０は、そのデータを収集する及びマップ矛盾モジュール２９０に報告するように対応する車両１５０の１つ又は複数の車両センサ１０５に指示するように構成され得る。データを受信したとき、マップ矛盾モジュール２９０は、直ちに、周期的スケジュールの次のスケジュールされた時間に、又は次の高帯域幅アクセス・ポイントにおいてなど、データを含むメッセージを構築し、メッセージをオンラインＨＤマップ・システム１１０に送るように構成され得る。
【0052】
マップ矛盾モジュール２９０は、矛盾を有する領域を含む任意のＨＤマップへの更新に含まれることになる判定されたマップ矛盾の緊急度を決定するように構成され得る。たとえば、低い緊急性及び高い緊急性の２つの緊急度が存在し得る。オンラインＨＤマップ・システム１１０は、マップ・データ収集モジュール４６０に関して以下で詳述するように、更新メッセージ内の情報をどのように処理するかを決定するときに更新メッセージの緊急度を考慮し得る。たとえば、遠隔又は地方の裏道での単一の車線封鎖は、低い緊急性を有すると判定され得るが、百万人の都市の主要ハイウェイの完全封鎖は、高い緊急性を有すると判定され得る。いくつかのインスタンスでは、高い緊急性更新メッセージは、低い緊急性更新メッセージの前にオンラインＨＤマップ・システム１１０によって処理され得る。
【0053】
いくつかの実施例において、対応する車両１５０は、オンラインＨＤマップ・システム１１０にセンサ・データ２３０を継続的に記録し、たとえば、特定の位置の追加データの要求に応答して、メッセージの生成のためのその関連部分をエンコードするように構成され得る。一実施例において、車両１５０は、センサ・データ２３０のいずれもオンラインＨＤマップ・システム１１０によって必要とされないというオンラインＨＤマップ・システム１１０からの確認を受けて、継続的に記録されたセンサ・データ２３０を単に削除するように構成され得る。
【0054】
図３は、本開示の１つ又は複数の実施例による、車両計算システム１２０のＨＤマップＡＰＩ２０５における命令の様々な層の一実例を示す。車両の異なる製造業者は、車両センサ１０５から情報を受信するための及び車両制御装置１３０を制御するための異なる手順又は命令を有し得る。さらに、異なる販売会社は、自律運転能力、たとえば、車両センサ・データの収集及び分析、を有する異なるコンピュータ・プラットフォームを提供し得る。自律型車両のコンピュータ・プラットフォームの実例には、ＮＶＩＤＩＡ Ｃｏｒｐｏｒａｔｉｏｎ、ＱＵＡＬＣＯＭＭ、及びＩＮＴＥＬなどの販売会社によって提供されるプラットフォームが含まれる。これらのプラットフォームは、自律型車両１５０の製造において自律型車両製造業者が使用するための機能性を提供し得る。車両製造業者は、自律型車両１５０の任意の１つの又はいくつかのコンピュータ・プラットフォームを使用することができる。
【0055】
オンラインＨＤマップ・システム１１０は、車両の製造業者に特有の命令及び車両の販売会社特定のプラットフォームに特有の命令に基づいてＨＤマップを処理するためのライブラリを提供するように構成され得る。ライブラリは、ＨＤマップ・データへのアクセスを提供する及び車両１５０がオンラインＨＤマップ・システム１１０と相互作用することを可能にすることができる。
【0056】
図３に示すように、ＨＤマップＡＰＩ２０５は、車両製造業者アダプタ３１０、コンピュータ・プラットフォーム・アダプタ３２０、及び共通ＨＤマップＡＰＩ層３３０を含む、ライブラリとして実装され得る。共通ＨＤマップＡＰＩ層３３０は、２つ以上の車両計算プラットフォーム及び車両製造業者にわたって使用することができる包括的命令を含むように実装され得る。コンピュータ・プラットフォーム・アダプタ３２０は、各コンピュータ・プラットフォームに特有であり得る命令を含むように実装され得る。たとえば、共通ＨＤマップＡＰＩ層３３０は、特定のコンピュータ・プラットフォームによってサポートされるセンサからのデータを受信するためにコンピュータ・プラットフォーム・アダプタ３２０を呼び出すように実装され得る。車両製造業者アダプタ３１０は、車両製造業者に特有の命令を含むように実装され得る。たとえば、共通ＨＤマップＡＰＩ層３３０は、特定の制御命令を車両制御装置１３０に送るために車両製造業者アダプタ３１０によって提供される機能性を呼び出すように実装され得る。
【0057】
オンラインＨＤマップ・システム１１０は、２個以上のコンピュータ・プラットフォームのコンピュータ・プラットフォーム・アダプタ３２０及び２社以上の車両製造業者の車両製造業者アダプタ３１０を記憶するように実装され得る。オンラインＨＤマップ・システム１１０は、特定の自律型車両１５０の特定の車両製造業者及び特定のコンピュータ・プラットフォームを判定するように実装され得る。オンラインＨＤマップ・システム１１０は、特定の車両製造業者の車両製造業者アダプタ３１０及びその特定の車両１５０の特定のコンピュータ・プラットフォームのコンピュータ・プラットフォーム・アダプタ３２０を選択するように実装され得る。加えて、オンラインＨＤマップ・システム１１０は、選択された車両製造業者アダプタ３１０及び選択されたコンピュータ・プラットフォーム・アダプタ３２０の命令をその特定の自律型車両１５０の車両計算システム１２０に送るように実装され得る。その特定の自律型車両１５０の車両計算システム１２０は、受信された車両製造業者アダプタ３１０及び計算プラットフォーム・アダプタ３２０をインストールするように実装され得る。車両計算システム１２０は、オンラインＨＤマップ・システム１１０はインストールされた車両製造業者アダプタ３１０及び計算プラットフォーム・アダプタ３２０への更新を有するかどうかを周期的にチェック又は検証するように実装され得る。追加で、より最近の更新が、車両１５０にインストールされたバージョンと比較して入手可能な場合、車両計算システム１２０は、最新の更新を要求及び受信してそれをインストールするように実装され得る。
【0058】
ＨＤマップ・システム・アーキテクチャ
図４は、本開示の１つ又は複数の実施例による、オンラインＨＤマップ・システム１１０の例示的システム・アーキテクチャを示す。オンラインＨＤマップ・システム１１０は、マップ作成モジュール４１０、マップ更新モジュール４２０、マップ・データ・エンコーディング・モジュール４３０、負荷バランシング・モジュール４４０、マップ精度管理モジュール４５０、車両インターフェース・モジュール１６０、マップ・データ収集モジュール４６０、及びＨＤマップ・ストア１６５を含み得る。オンラインＨＤマップ・システム１１０のいくつかの実施例は、図４に示されたのよりも多数の又は少数のモジュールを含み得る。特定のモジュールによって実行されるものとして示された機能性は、他のモジュールによって実装され得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、２個以上の処理システムを含む分散型システムとして実装され得る。
図４は、本開示の１つ又は複数の実施例による、オンラインＨＤマップ・システム１１０の例示的システム・アーキテクチャを示す。オンラインＨＤマップ・システム１１０は、マップ作成モジュール４１０、マップ更新モジュール４２０、マップ・データ・エンコーディング・モジュール４３０、負荷バランシング・モジュール４４０、マップ精度管理モジュール４５０、車両インターフェース・モジュール１６０、マップ・データ収集モジュール４６０、及びＨＤマップ・ストア１６５を含み得る。オンラインＨＤマップ・システム１１０のいくつかの実施例は、図４に示されたのよりも多数の又は少数のモジュールを含み得る。特定のモジュールによって実行されるものとして示された機能性は、他のモジュールによって実装され得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、２個以上の処理システムを含む分散型システムとして実装され得る。
【0059】
マップ作成モジュール４１０は、様々なルートに沿って運転しているいくつかの車両（たとえば、１５０Ａ～１５０Ｄ）から収集されたセンサ・データからＨＤマップのＨＤマップ・データを作成するように構成され得る。マップ更新モジュール４２０は、マップ情報が変わったルートに沿って最近移動した車両１５０からより最近の情報（たとえば、センサ・データ）を受信することによって、前に計算されたＨＤマップ・データを更新するように構成され得る。たとえば、ある種の道路標識が変わった可能性があり、又は車線情報が、領域内の工事の結果として変わった可能性があり、マップ更新モジュール４２０は、ＨＤマップ及び対応するＨＤマップ・データをそれに応じて更新するように構成され得る。マップ・データ・エンコーディング・モジュール４３０は、効率的にデータを記憶する（たとえば、ＨＤマップ・データを圧縮する）並びにＨＤマップ・データを車両１５０に送ることができるようにＨＤマップ・データをエンコードするように構成され得る。車両１５０からのデータを受信する要求が、異なる車両１５０にわたり分散される（たとえば、均等に分散される）（たとえば、異なる車両１５０間の負荷配分が互いの閾値量以内である）ように、負荷バランシング・モジュール４４０は、車両１５０にわたる負荷の平衡を保つように構成され得る。個々の車両から受信される情報は同じ精度を有さない可能性があるけれども、マップ精度管理モジュール４５０は、様々な技法を使用してＨＤマップ・データの比較的高い精度を維持するように構成され得る。
【0060】
いくつかの実施例において、マップ・データ収集モジュール４６０は、車両１５０をモニタし、車両１５０からの状況更新を処理して１つ又は複数の特定の位置に関連する追加データを１つ又は複数のある種の車両１５０に要求するかどうかを決定するように構成され得る。
【0061】
図５は、本開示の１つ又は複数の実施例による、ＨＤマップ５１０の例示的構成要素を示す。ＨＤマップ５１０は、いくつかの地理的領域のマップのＨＤマップ・データを含むように構成され得る。本開示において、マップ又はＨＤマップ、たとえば、ＨＤマップ５１０、への参照は、そのようなマップに対応するマップ・データへの参照を含み得る。さらに、それぞれのマップの情報への参照はまた、そのマップのマップ・データへの参照を含み得る。
【0062】
いくつかの実施例において、地理的領域のＨＤマップ５１０は、ランドマーク・マップ（ＬＭａｐ）５２０及び占有マップ（ＯＭａｐ）５３０を含み得る。ランドマーク・マップ５２０は、運転進路（たとえば、車線、譲れの線、安全にナビゲート可能な空間、私道、未舗装の道路など）、歩行者進路（たとえば、横断歩道、歩道など）、及びランドマーク物体（たとえば、道路標識、建物など）の情報又は表現を含み得る。たとえば、ランドマーク・マップ５２０は、車線の空間位置及び各車線に関する意味論的情報を含む車線を記述する情報を含み得る。車線の空間位置は、高い精度、たとえば、３０ｃｍ以内の又はそれより優れた精度で緯度、経度、及び高度における幾何学的位置を含み得る。車線の意味論的情報は、方向、速度、車線のタイプ（たとえば、直進するための車線、左折車線、右折車線、出口車線、及び同類のもの）、左への横断に関する制約、他の車線への接続性などの制約を含む。
【0063】
いくつかの実施例において、ランドマーク・マップ５２０は、停止線、譲れの線、横断歩道の空間位置、安全にナビゲート可能な空間、スピード・バンプの空間位置、カーブ、運転制約に関連するすべてのタイプのサイネージの空間位置を含む道路標識などを記述する情報を含み得る。ＨＤマップ５１０に記述された道路標識の実例には、交通標識、停止標識、交通信号、速度制限、一方通行、進入禁止、譲れ（車両、歩行者、動物）などが含まれ得る。
【0064】
いくつかの実施例において、ランドマーク・マップ５２０に含まれる情報は、表現が正確である確率を測定する信頼性値に関連し得る。物体を記述する情報が物体の属性（たとえば、運転進路、歩行者進路、ランドマーク物体など）と一致するとき、その物体の表現は正確である。たとえば、運転進路の空間位置及び意味論的情報が、運転進路の属性（たとえば、物理測定値、制約など）と一致し得るとき、運転進路の表現は、正確であると考えられ得る。車両計算システム１２０（たとえば、計画立案モジュール２２０）は、信頼性値を使用して車両１５０を制御することができる。たとえば、ランドマーク物体の表現は、ランドマーク・マップ５２０における高い信頼性値に関連するが、車両１５０は、車両センサ１０５と車両１５０の周りの環境の対応する観測との両方に基づいてランドマーク物体を検出しない場合、車両計算システム１２０は、高い信頼性値に基づいて存在すると推定されたランドマーク物体を回避するように車両１５０を制御する、又はランドマーク物体によって課された運転制約に従うように車両１５０を制御する（たとえば、ランドマーク・マップ上の譲れの標識に基づいて車両１５０に譲らせる）ように構成され得る。
【0065】
いくつかの実施例において、占有マップ５３０は、道路及び道路の周りの物理物体の空間３Ｄ表現を含み得る。占有マップ５３０はまた、占有グリッドと本明細書で称され得る。同様に、占有マップ５３０に記憶されたデータはまた、占有グリッド・データと本明細書で称され得る。道路の３Ｄ表現及び道路の周りの物理物体は、物体がその位置に存在する可能性を示す信頼性スコアに関連し得る。占有マップ５３０は、いくつかの他のやり方で表され得る。いくつかの実施例において、占有マップ５３０は、表面を包含し得る３Ｄメッシュ・ジオメトリ（三角形の収集）として表され得る。いくつかの実施例において、占有マップ５３０は、表面を包含し得る３Ｄポイントの収集として表され得る。いくつかの実施例において、占有マップ５３０は、５～１０ｃｍ解像度でセルの３Ｄ体積グリッドを使用して表され得る。各セルは、表面がそのセルにおいて存在するか否かと、表面が存在する場合に、それに沿って表面が方向付けられ得る方位とを示すことができる。
【0066】
占有マップ５３０は、ランドマーク・マップ５２０と比較して大量の記憶領域を取り得る。たとえば、１ＧＢ／マイルのデータが、４ｘ１０１５バイト又は４ペタバイトを占める米国のマップ（６４３．７万キロメートル（４００万マイル）の道路を含む）をもたらす、占有マップ５３０によって使用され得る。したがって、オンラインＨＤマップ・システム１１０及び車両計算システム１２０は、データ圧縮技法を使用してマップ・データを記憶及び転送するように構成され得、それによってストレージ及び送信コストを減らす。したがって、本明細書で開示される技法は、自動運転動作及び能力に関してデータ記憶及び送信の効率を改善することによって、自律型車両の自動運転を改善するのに役立ち得る。
【0067】
いくつかの実施例において、ＨＤマップ５１０は、住所、道路名、住所をジオコード化する能力、及び場所名又は住所間のルートを計算する能力など、マップに通常は含まれ得るデータを使用又はそれに依存しなくてもよい。車両計算システム１２０又はオンラインＨＤマップ・システム１１０は、他のマップ・システム、たとえば（及び制限なしに）、オープン・ストリート・マップ、にアクセスしてこの情報を取得することができる。したがって、車両計算システム１２０又はオンラインＨＤマップ・システム１１０は、オープン・ストリート・マップなどのツールからマップ情報を受信することができ、ＨＤマップ５１０に基づいてルートに情報を変換することができる、又はそれがＨＤマップ５１０上で我々にとって互換性を有し得るように情報を変換することができる。
【0068】
ＨＤマップ内の地理的領域
オンラインＨＤマップ・システム１１０は、大きな物理エリアを地理的領域へと分割するように及び各地理的領域の表現を記憶するように構成され得る。各地理的領域は、幾何学的形状－たとえば（及び制限なしに）、長方形又は正方形－によって境界を示された隣接するエリアを表し得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、各地理的領域の表現を記憶するために必要とされるデータの量と無関係に類似のサイズの地理的領域へと物理エリアを分割するように構成され得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、物理エリアを異なるサイズの地理的領域へと分割することができ、そこで、各地理的領域のサイズは、地理的領域を表すために必要とされる情報の量に基づいて、決定され得る。たとえば、多数の街路を有する人口が密集したエリアを表す地理的領域は、極めて少ない街路を有する人口がまばらなエリアを表す地理的領域と比較して、より小さい物理エリアを表し得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、ＨＤマップ５１０に関連する物理エリアの様々な要素を記憶するために使用され得る情報の量の推定値に基づいて地理的領域のサイズを決定するように構成され得る。
オンラインＨＤマップ・システム１１０は、大きな物理エリアを地理的領域へと分割するように及び各地理的領域の表現を記憶するように構成され得る。各地理的領域は、幾何学的形状－たとえば（及び制限なしに）、長方形又は正方形－によって境界を示された隣接するエリアを表し得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、各地理的領域の表現を記憶するために必要とされるデータの量と無関係に類似のサイズの地理的領域へと物理エリアを分割するように構成され得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、物理エリアを異なるサイズの地理的領域へと分割することができ、そこで、各地理的領域のサイズは、地理的領域を表すために必要とされる情報の量に基づいて、決定され得る。たとえば、多数の街路を有する人口が密集したエリアを表す地理的領域は、極めて少ない街路を有する人口がまばらなエリアを表す地理的領域と比較して、より小さい物理エリアを表し得る。いくつかの実施例において、オンラインＨＤマップ・システム１１０は、ＨＤマップ５１０に関連する物理エリアの様々な要素を記憶するために使用され得る情報の量の推定値に基づいて地理的領域のサイズを決定するように構成され得る。
【0069】
一実施例において、オンラインＨＤマップ・システム１１０は、以下を含む（制限なしに）様々な属性を含み得る物体又はデータ記録を使用して地理的領域を表すことができる：地理的領域の一意の識別子、地理的領域の一意の名、たとえば、緯度及び経度座標のセットに対応する境界ボックスを使用する地理的領域の境界線の記述、並びにランドマーク特徴及び占有グリッド・データの収集。
【0070】
図６Ａ～６Ｂは、本開示の１つ又は複数の実施例による、ＨＤマップにおいて定義され得る例示的地理的領域６１０Ａ及び６１０Ｂを示す。図６Ａは、正方形の地理的領域６１０Ａを示す。図６Ｂは、２つの隣接する地理的領域６１０Ａ及び６１０Ｂを示す。オンラインＨＤマップ・システム１１０は、車両１５０が地理的領域境界線を横断して運転するとき、１つの地理的領域から別の地理的領域へのスムーズな移行を可能にし得る、地理的領域の表現でデータを記憶するように構成され得る。
【0071】
いくつかの実施例において、図６Ａ～６Ｂに示すように、各地理的領域は、それの周りの所定の幅（エリア）のバッファを含み得る。バッファは、地理的領域の１つ若しくは複数の又はすべての辺の周りの冗長マップ・データを含み得る（たとえば、地理的領域が長方形によって境界を示されている場合）。したがって、いくつかの実施例において、地理的領域が、ある特定の形状でもよい場合、地理的領域は、その形状のより大きいバージョンでもよいバッファによって境界を示され得る。実例として、図６Ａは、地理的領域６１０Ａの周りの約５０メートルのバッファの境界線６２０及び地理的領域６１０Ａの周りの１００メートルのバッファの境界線６３０を示す。
【0072】
いくつかの実施例において、車両計算システム１２０は、対応する車両１５０がバッファ内の所定の（たとえば、定義された）閾値距離を横断するとき、対応する車両１５０の現在の地理的領域を１つの地理的領域から隣接する地理的領域に切り替えるように構成され得る。たとえば、図６Ｂに示すように、対応する車両１５０は、地理的領域６１０Ａ内の位置６５０Ａにおいて開始する。対応する車両１５０は、ルートに沿って横切って位置６５０Ｂに到着し得、そこで、対応する車両１５０は、地理的領域６１０の境界線を横断するが、バッファの境界線６２０内にとどまり得る。したがって、対応する車両１５０の車両計算システム１２０は、車両１５０の現在の地理的領域として地理的領域６１０Ａを使用し続け得る。対応する車両１５０が、位置６５０Ｃにおいてバッファの境界線６２０を横断した後は、車両計算システム１２０は、対応する車両１５０の現在の地理的領域を地理的領域６１０Ａから地理的領域６１０Ｂに切り替えるように構成され得る。バッファの使用は、地理的領域の境界線を厳密に追跡し得るルートに沿って車両１５０が進むことの結果として車両１５０の現在の地理的領域の急速な切替えを減らす又は防ぐことができる。
【0073】
ＨＤマップ内の車線表現
ＨＤマップ・システム１００は、ＨＤマップ内の街路の車線情報を表し得る。記述された実施例は、街路を参照することがあるが、本技法は、車両が進むことができる、任意のハイウェイ、小道、大街路、大通り、進路などに適用可能であり得る。ＨＤマップ・システム１００は、ルーティングを目的として及び車両１５０のローカリゼーションのために基準フレームとして車線を使用することができる。ＨＤマップ・システム１００によって表される車線は、明示的に印を付けられた車線、たとえば、白及び黄色の縞模様の車線、黙示的でもよい車線、たとえば、線又はカーブを有さない田舎の道路上にもかかわらず２つの進行方向を有し得る、及び車線として機能し得る黙示的進路、たとえば、転回する車が別の車線から車線に入るときに作り得る進路、を含み得る。
ＨＤマップ・システム１００は、ＨＤマップ内の街路の車線情報を表し得る。記述された実施例は、街路を参照することがあるが、本技法は、車両が進むことができる、任意のハイウェイ、小道、大街路、大通り、進路などに適用可能であり得る。ＨＤマップ・システム１００は、ルーティングを目的として及び車両１５０のローカリゼーションのために基準フレームとして車線を使用することができる。ＨＤマップ・システム１００によって表される車線は、明示的に印を付けられた車線、たとえば、白及び黄色の縞模様の車線、黙示的でもよい車線、たとえば、線又はカーブを有さない田舎の道路上にもかかわらず２つの進行方向を有し得る、及び車線として機能し得る黙示的進路、たとえば、転回する車が別の車線から車線に入るときに作り得る進路、を含み得る。
【0074】
ＨＤマップ・システム１００は、車線に関連する情報、たとえば、車線に関連する道路標識及び交通信号などのランドマーク特徴、障害物検出のための車線に関連する占有グリッド、及び車線に関連するナビゲート可能な空間、を記憶することができるので、車両１５０が、計画されたものでない、車線から出る動きを行う緊急時に、車両１５０は、計画立案／反応することができる。したがって、ＨＤマップ・システム１００は、車両１５０がソースと目的地との間の合法の進路を計画すること及び車両１５０のリアルタイム感知及び制御のための基準のフレームを追加することを可能にするために、車線のネットワークの表現を記憶することができる。ＨＤマップ・システム１００は、情報を記憶し、車両１５０が、車両１５０がその中に現在ある車線、車線ジオメトリに関連する車両１５０の正確な位置、並びに車線及び隣接する及び接続された車線に関連する任意の及びすべての関連特徴／データを決定することを可能にし得るＡＰＩを提供する。
【0075】
図７は、本開示の１つ又は複数の実施例による、ＨＤマップ内の例示的車線表現を示す。図７は、交通交差点にある車両７１０を示す。ＨＤマップ・システム１００は、車両７１０の自律運転に関連し得るマップ・データへのアクセスを車両７１０に提供する。これは、たとえば、車線に関連し得るが車両７１０に最も近い特徴でなくてもよい特徴７２０Ａ及び７２０Ｂを含み得る。したがって、車両７１０が、車線を所与として特徴を効率的に抽出することができるように、ＨＤマップ・システム１００は、特徴との車線の関係性を表し得るデータの車線中心の表現を記憶し得る。
【0076】
ＨＤマップ・システム１００は、車線要素として車線の部分を表すＨＤマップを提供することができる。車線要素は、車線の境界線と、車両７１０が車線要素内を進むことができる合法の方向、車両が車線要素内を運転することができる速度、車線要素が左折のみ、又は右折のみに関し得るかどうかなどを含む、様々な制約とを指定することができる。いくつかの実施例において、ＨＤマップ・システム１００は、単一の車両車線の連続的幾何学的部分として車線要素を表すマップを提供することができる。ＨＤマップ・システム１００は、車線の幾何学的境界線、車線に沿った運転方向、車線内で運転するための車両制約、たとえば、速度制限、入って来る及び出て行く車線を含む接続車線との関係性、終了制約、たとえば、車線が停止線、譲れの標識、又はスピード・バンプにおいて終わるかどうか、及び自律運転に関連する道路特徴との関係性、たとえば、交通信号灯の位置、道路標識の位置など、を表す情報を含む車線要素を表し得る物体又はデータ構造体を記憶することができる。
【0077】
ＨＤマップ・システム１００のＨＤマップによって表される車線要素の実例には、たとえば及び制限なしに、以下が含まれ得る：高速道路上の１つの右車線、道路上の１つの車線、左折車線、左折車線から別の車線への転回、オンランプからの合流車線、オフランプ上の出口車線、及び私道。ＨＤマップ・システム１００は、２つの車線要素、各方向につき１つ、を使用して１つの車線道路を表すＨＤマップを含み得る。ＨＤマップ・システム１００は、１つの車線道路に類似の共用される中央の転回車線を表すことができる。
【0078】
図８Ａ及び８Ｂは、本開示の１つ又は複数の実施例による、ＨＤマップにおける例示的車線要素（たとえば、ＬａｎｅＥｌ）及び車線要素間の関係を示す。図８Ａ及び８Ｂの車線要素のそれぞれは、本明細書の他の箇所に記載の１つ又は複数のＭａｐｓＬａｎｅを含む、これに含まれる、又はこれに対応することが可能である。図８Ａは、車線８１０Ｂ（たとえば、曲線状のＬａｎｅＥｌ）を介して車線要素８１０Ｃ（たとえば、別の真っすぐなＬａｎｅＥｌ）に接続され得る及び転回車線８１０Ｄ（たとえば、別の曲線状のＬａｎｅＥｌ）を介して車線８１０Ｅ（たとえば、別の真っすぐなＬａｎｅＥｌ）に接続される車線要素８１０Ａ（たとえば、真っすぐなＬａｎｅＥｌの一実例）を示す道路におけるＴ字路の一実例を示す。図８Ｂは、車線８１０Ｈに直接接続された及び車線８１０Ｇを介して車線８１０Ｉに接続された車線８１０Ｆを有する道路におけるＹ字路の一実例を示す。ＨＤマップ・システム１００は、ソース位置から目的地位置に到着するために横切られ得る接続された車線要素のシーケンスとしてソース位置から目的地位置までのルートを決定することができる。
【0079】
自律型車両の周りのＬｏｃａｌＭａｐを構築するための例示的アーキテクチャ及び方法についてここで説明する。以下の論考において：ＭａｐｓＬａｎｅは、車線属性を有するポリラインによって定義された車線を参照し、ＬａｎｅＳｅｇｍｅｎｔは、ＭａｐｓＬａｎｅからステッチされた相互に排他的なセグメントを参照し、ＲｏａｄＳｅｇｍｅｎｔは、ＨＤマップのコア層の原子要素を参照し、ＬｏｃａｌＬａｙｏｕｔは、その中ですべてのＲｏａｄＳｅｇｍｅｎｔの相対変換がルートＲｏａｄＳｅｇｍｅｎｔを参照して計算される、ＨＤマップのセクションを参照し、ＬａｎｅＧｒａｐｈは、ＬｏｃａｌＬａｙｏｕｔにおける進路のすべての組合せの包括的リストを参照し、ＬａｎｅＧｒａｐｈ車線は、ＬｏｃａｌＬａｙｏｕｔにおける運転可能な進路を参照し、ＬａｎｅＩｎｆｏは、ＬａｎｅＧｒａｐｈ計算のために使用されるＭａｐｓＬａｎｅ中間メタデータを参照する。本明細書では、前述の及び他の特定の用語は、対応する包括的構造、概念、又は同類のものを参照するように一般化され得る。たとえば、「車線グラフ」は、ＨＤマップのセクションがＬｏｃａｌＬａｙｏｕｔと称されるかどうかに関わりなく、また原子要素がＲｏａｄＳｅｇｍｅｎｔと称されるかどうかに関わりなく、ＨＤマップのコア層のすべての原子要素の相対変換がルート原子要素を参照してその中で計算される、ＨＤマップのセクションにおける進路のすべての組合せの包括的リストを参照し得る。
【0080】
ＬｏｃａｌＭａｐは、ＬｏｃａｌＬａｙｏｕｔにおける進路のすべての組合せを有する包括的ＬａｎｅＧｒａｐｈを計算することによって達成され得る、ＨＤマップのローカル・ビューを提供することができる。ＬａｎｅＧｒａｐｈを計算するプロセスにおいて、ＷａｉｔＧｒｏｕｐｓ、ＴＳＬＯｂｊｅｃｔｓ、又は同類のものなどの、ＬｏｃａｌＬａｙｏｕｔ内の他のＨＤマップ特徴が製作され得る。
【0081】
１つ又は複数の実施例において、ＷａｉｔＧｒｏｕｐｓは、個々の待機要素の収集又はグループを含み得る。少なくとも１つの実施例において、待機要素は、どのように待機条件（潜在的譲るシナリオ）が表されるかの単数形又は原子表現を構成する。各待機要素は、エゴ－競合者ペア（たとえば、エゴ車両及び環境内の少なくとも１つの競合している障害物又は物体から成る）及び待機要素の現在の先行権を記述する待機状態で構成される。待機グループ（「ＷａｉｔＧｒｏｕｐ」）は、複数の待機要素をともに関連付ける。１つ又は複数の実施例において、待機要素は、ともにクリアされることが意図されている待機条件についてともにグループ化される。たとえば、保護されていない左を取ることは、転回の最後において横断歩道で歩行者に譲ることが義務付けられているとして示され得る。これらの２つの待機要素のグループ分けは、エゴ車両は、両方の待機要素がクリアされ得るまで、待機要素のいずれかのエゴ車線に入るのを待つべきであるということをより明確にする。
【0082】
ＴＳＬ（交通標識光：Ｔｒａｆｆｉｃ ｓｉｇｎ ｌｉｇｈｔ）物体は、交通信号灯／標識の３Ｄジオメトリをエンコードする。１つ又は複数の実施例において、待機ルールは、待機要素に適用可能な現在の待機状態を解決するために使用され得る、待機状態と光クラスとの関連付けを定義するために使用され得、たとえば、待機要素の通常の待機ルールは、青で「道を進む」、赤で「入口で停止」及び黄色で「道を進む－転換（ｔａｋｅ－ｗａｙ－ｔｒａｎｓｌａｔｅ）」のように見え得る。１つ又は複数の実施例において、ＴＳＬ物体及び待機ルールは、内部メタデータを使用して実装され得、待機要素に対応する待機状態の解像度を処理するときに使用され得る。
【0083】
ＬａｎｅＧｒａｐｈ内の各車線は、それの他の関連車線（合流、分離、交差する車線）、変更車線（左、右車線）及び他のマップ特徴（ＷａｉｔＧｒｏｕｐｓ、ＴＳＬＯｂｊｅｃｔｓなど）に気付き得る。ＬａｎｅＧｒａｐｈ及びＨＤマップ特徴は、別法として又は追加でリグ座標系又はエゴ座標系と称され得る、自律型車両の座標系内にあり得る。世界モデル定義は、これらのデータを表現するためのＬｏｃａｌＭａｐの出力として使用され得る。
【0084】
世界モデル計算
図９Ａは、本開示の１つ又は複数の実施例による、世界モデル（ＷＭ）フレームを計算するための例示的アーキテクチャ９００を示す。図示するように、アーキテクチャ９００は、車線コレクタ９０２、セグメント・グラフ・プロデューサ９０４、車線グラフ・プロデューサ９０６、及びＷＭジェネレータ９０８を含み得る。一般に、車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔにおいてＭａｐｓＬａｎｅを収集及び保持することができ、セグメント・グラフ・プロデューサ９０４は、ＭａｐｓＬａｎｅを相互に排他的なＬａｎｅＳｅｇｍｅｎｔにステッチし、粗いマップ（又はＳｅｇｍｅｎｔＧｒａｐｈ）を製作することができ、車線グラフ・プロデューサ９０６は、フレームを横断して無矛盾であり得るそれ自体の一意の追跡識別子（ＩＤ）を各車線が有し得る、ＬａｎｅＳｅｇｍｅｎｔからの車線のすべての組合せを組み立てることができ、ＷＭジェネレータ９０８は、車線、待機条件、又は同類のもののＷＭ構造体、たとえば、ＷＭキーフレームを投入することができ、計算されたＬａｎｅＧｒａｐｈをＥｇｏ座標系に変換することができ、エゴ車線を決定することができる。ＷＭジェネレータ９０８の出力は、ＷＭフレームと称され得る。車線コレクタ９０２、セグメント・グラフ・プロデューサ９０４、車線グラフ・プロデューサ９０６、及びＷＭジェネレータ９０８のそれぞれについて、以下でさらに詳しく論じる。
図９Ａは、本開示の１つ又は複数の実施例による、世界モデル（ＷＭ）フレームを計算するための例示的アーキテクチャ９００を示す。図示するように、アーキテクチャ９００は、車線コレクタ９０２、セグメント・グラフ・プロデューサ９０４、車線グラフ・プロデューサ９０６、及びＷＭジェネレータ９０８を含み得る。一般に、車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔにおいてＭａｐｓＬａｎｅを収集及び保持することができ、セグメント・グラフ・プロデューサ９０４は、ＭａｐｓＬａｎｅを相互に排他的なＬａｎｅＳｅｇｍｅｎｔにステッチし、粗いマップ（又はＳｅｇｍｅｎｔＧｒａｐｈ）を製作することができ、車線グラフ・プロデューサ９０６は、フレームを横断して無矛盾であり得るそれ自体の一意の追跡識別子（ＩＤ）を各車線が有し得る、ＬａｎｅＳｅｇｍｅｎｔからの車線のすべての組合せを組み立てることができ、ＷＭジェネレータ９０８は、車線、待機条件、又は同類のもののＷＭ構造体、たとえば、ＷＭキーフレームを投入することができ、計算されたＬａｎｅＧｒａｐｈをＥｇｏ座標系に変換することができ、エゴ車線を決定することができる。ＷＭジェネレータ９０８の出力は、ＷＭフレームと称され得る。車線コレクタ９０２、セグメント・グラフ・プロデューサ９０４、車線グラフ・プロデューサ９０６、及びＷＭジェネレータ９０８のそれぞれについて、以下でさらに詳しく論じる。
【0085】
車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔからの車線の収集を抽出し得る。ＬｏｃａｌＬａｙｏｕｔ内の各車線は、ラッパー構造体に記憶され得る。例示的実施例において、ＬｏｃａｌＬａｙｏｕｔ内の各車線のラッパー構造体は、ＬｏｃａｌＬａｙｏｕｔＬａｎｅと称される。
【0086】
車線コレクタ９０２は、それが現在のＬｏｃａｌＬａｙｏｕｔビルドのために投入する、ＬａｎｅＢｕｆｆｅｒを有し得る。
【0087】
車線コレクタ９０２は、現在のＬｏｃａｌＬａｙｏｕｔビルドにおいてすべての道路セグメントを反復することによって、車線を収集し得る。
【0088】
ＬａｎｅＧｒａｐｈ計算のためのＬｏｃａｌＬａｙｏｕｔは、自律型車両の外周に沿って通常は配置されるセンサのセンサ・スイート（「リグ」とも称される）の周囲の既定の半径について構築され得る。リグの周囲の既定の半径は、円形エリアの中心にリグを有する円形エリアを定義し得る。円形エリアは、ＬｏｃａｌＬａｙｏｕｔと称され得る、及び／又は円形エリアの境界線又は外周は、自律型車両又はリグのホライズンと称され得る。
【0089】
セグメント・グラフ・プロデューサ９０４は、ＬｏｃａｌＭａｐＳｅｇｍｅｎｔで作られた粗いマップを構築し得る。ＬｏｃａｌＬａｙｏｕｔ内のＭａｐｓＬａｎｅは、ＭａｐｓＬａｎｅが１つのみのＬｏｃａｌＭａｐＳｅｇｍｅｎｔに関連することになる任意の所与の時間に相互に排他的なＬｏｃａｌＭａｐＳｅｇｍｅｎｔの中へステッチされ得る。ＬｏｃａｌＭａｐＳｅｇｍｅｎｔは、それの他の関連ＬｏｃａｌＭａｐＳｅｇｍｅｎｔ（入って来る、出て行く、交差する、及び変更車線セグメント）を認識し得る。ＬｏｃａｌＭａｐＳｅｇｍｅｎｔは、本明細書でＳｅｇｍｅｎｔＧｒａｐｈとも称される、粗いマップの原子単位でもよい。
【0090】
ＬｏｃａｌＭａｐＳｅｇｍｅｎｔに参加するＭａｐｓＬａｎｅは、ＭａｐｓＬａｎｅ構造においてエンコードされ得る。ＭａｐｓＬａｎｅ構造は、参加するＭａｐｓＬａｎｅのＩＤ及び／又はＭａｐｓＬａｎｅのオフセットをＬｏｃａｌＭａｐＳｅｇｍｅｎｔに含み得る（この情報は、車線変更及び他の車線割り当て属性を演繹するために使用され得る）。ＭａｐｓＬａｎｅは、ＭａｐＬａｎｅＣｈａｎｇｅ構造に記憶され得る左及び／若しくは右車線変更並びに／又は他の情報を有し得る。ＭａｐＬａｎｅＣｈａｎｇｅ構造は、ＳｅｇｍｅｎｔＣｈａｎｇｅ構造を計算するために使用され得る。
【0091】
接続情報は、ＳｅｇｍｅｎｔＣｏｎｎｅｃｔｉｏｎ構造においてエンコードされ得る。
【0092】
車線変更情報は、ＳｅｇｍｅｎｔＣｈａｎｇｅ構造においてエンコードされ得る。
【0093】
交差するセグメントは、ＳｅｇｍｅｎｔＣｏｎｔｅｎｔｉｏｎｓ構造においてエンコードされ得る。
【0094】
待機条件情報は、ＳｅｇｍｅｎｔＷａｉｔＣｏｎｄｔｉｏｎ構造において記憶され得る。
【0095】
図９Ｂは、本開示のいくつかの実施例による、図９Ａのアーキテクチャ９００の車線コレクタ９０２、セグメント・グラフ・プロデューサ９０４、及び／又は他の構成要素によって実装され得る方法９１０を示す流れ図である。方法９１０及び／又は本明細書に記載の他の方法の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって提供され得る。いくつかの実装形態において、方法９１０及び／又は本明細書に記載の他の方法は、車両計算システム、たとえば、本明細書の他の箇所に記載の車両計算システム１２０、に記憶される及び／又はそのような車両計算システムによって実施される。
【0096】
一般に、方法９１０は、セグメント・グラフ・プロデューサ９０４が車線コレクタ９０２によって収集されたＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅを消費することと、それらを一意のＬｏｃａｌＭａｐＳｅｇｍｅｎｔのリストの中へステッチして粗いマップ又はＳｅｇｍｅｎｔＧｒａｐｈを製作することとを含み得る。
【0097】
さらに詳細には、方法９１０は、ブロック９１２において、シード車線を選択することを含む。例示的実装形態において、シード車線は、入って来る車線を含まない車線が識別されるまでリグのホライズン内の車線（たとえば、ＭａｐｓＬａｎｅ、ＬｏｃａｌＬａｙｏｕｔＬａｎｅ）を分析することと、識別された車線を次いでシード車線として選択することとによって、選択される。より一般的には、シード車線は、任意の適切な基準に従って、ブロック９１２において選択され得る。
【0098】
方法９１０は、ブロック９１４において、接続された車線を逆方向において収集することを含む。例示的実装形態では、ブロック９１４は、停止条件が達せられるまで逆方向においてシード車線に過渡的に接続されたリグのホライズン内で車線を収集することを含む。
【0099】
方法９１０は、ブロック９１６において、接続された車線を正方向において収集することを含む。例示的実装形態では、ブロック９１６は、停止条件が達せられるまで正方向においてシード車線に過渡的に接続されたリグのホライズン内の車線を収集することを含む。ブロック９１６における停止条件は、ブロック９１４における停止条件と同じでも異なってもよい。別法として又は追加で、逆方向及び／又は正方向における車線収集の停止条件は、以下のうちの１つ又は複数を含み得る：
－ ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅが、ジャンクション進路に参加する。ジャンクション進路は、別のＭａｐｓＬａｎｅ又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ（エゴ車線及び接続する合流車線など）との１つのＭａｐｓＬａｎｅ又はＬｏｃａｌＬａｙｏｕｔＬａｎｅのジャンクションを含み得る。ジャンクション進路に参加する各ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅは、関連ジャンクション進路のために生成された対応するＬａｎｅＳｅｇｍｅｎｔに属する。
－ ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ接続は、複数の接続する車線を有する。
－ 接続するＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ運転方向は、双方向である。
－ 車線を接続するマップは、現在のＬｏｃａｌＬａｙｏｕｔ内にない（たとえば、リグのホライズンの外にある）。
－ ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅが、ジャンクション進路に参加する。ジャンクション進路は、別のＭａｐｓＬａｎｅ又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ（エゴ車線及び接続する合流車線など）との１つのＭａｐｓＬａｎｅ又はＬｏｃａｌＬａｙｏｕｔＬａｎｅのジャンクションを含み得る。ジャンクション進路に参加する各ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅは、関連ジャンクション進路のために生成された対応するＬａｎｅＳｅｇｍｅｎｔに属する。
－ ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ接続は、複数の接続する車線を有する。
－ 接続するＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ運転方向は、双方向である。
－ 車線を接続するマップは、現在のＬｏｃａｌＬａｙｏｕｔ内にない（たとえば、リグのホライズンの外にある）。
【0100】
方法９１０は、ブロック９１８において、選択された及び収集されたＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ（たとえば、ブロック９１２において選択されたシード車線とブロック９１４及び９１６において収集された車線）をＬａｎｅＳｅｇｍｅｎｔの中へステッチすることを含む。例示的実装形態では、ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅは、以下の慣例に従ってステッチされる：
－ ジャンクション進路に参加するＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅが、ＬａｎｅＳｅｇｍｅｎｔの中へステッチされ、競合者セグメント、待機要素、及び交通ルールのようなメタデータが記録される。
－ ゼロの入って来る／出て行くＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅを有するＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅを有するＬｏｃａｌＬａｙｏｕｔ内の進路が、それぞれのＬａｎｅＳｅｇｍｅｎｔの中へステッチされる。
－ 車線バッファ内の任意の未処理のＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ左が、それぞれのＬａｎｅＳｅｇｍｅｎｔの中へステッチされる。
－ ジャンクション進路に参加するＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅが、ＬａｎｅＳｅｇｍｅｎｔの中へステッチされ、競合者セグメント、待機要素、及び交通ルールのようなメタデータが記録される。
－ ゼロの入って来る／出て行くＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅを有するＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅを有するＬｏｃａｌＬａｙｏｕｔ内の進路が、それぞれのＬａｎｅＳｅｇｍｅｎｔの中へステッチされる。
－ 車線バッファ内の任意の未処理のＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅ左が、それぞれのＬａｎｅＳｅｇｍｅｎｔの中へステッチされる。
【0101】
ＭａｐｓＬａｎｅ及び／又はＬｏｃａｌＬａｙｏｕｔＬａｎｅが、ブロック９１８でＬａｎｅＳｅｇｍｅｎｔの中にステッチされた後、セグメント関係情報、セグメント変更情報、又は同類のものなどのメタデータが、いくつかの実装形態において、収集され得る。
【0102】
少なくとも１つの実例において、セグメント・グラフ・プロデューサ９０４は、以下の機能のうちの１つ又は複数の実装形態を実装する又は容易にすることができる。ｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数は、ＳｅｇｍｅｎｔＧｒａｐｈを構築するために使用され得る、ＬｏｃａｌＬａｙｏｕｔＬａｎｅｓを収集するために車線コレクタ９０２に順番に供給され得る、有効なＬｏｃａｌＬａｙｏｕｔビルドを消費し得る。いくつかの実施例において、ｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数が、セグメント・グラフ・プロデューサ９０４のパブリックＡＰＩにおいて実装される。ｃｏｍｐｕｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数は、車線コレクタ９０２によって投入されたＬａｎｅＢｕｆｆｅｒを消費し、ＳｅｇｍｅｎｔＧｒａｐｈを構築することができる。ｃｏｍｐｕｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数は、セグメント・グラフ・プロデューサ９０４のプライベート関数でもよい及び／又はｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数からコールされ得る。ｃｏｍｐｕｔｅＳｅｇｍｅｎｔ関数は、現在のＬｏｃａｌＬａｙｏｕｔにおける新しい一意のセグメントを計算し得、入力ＬｏｃａｌＬａｙｏｕｔＬａｎｅは、シード車線として使用され得、本明細書の他の箇所で記述されるように停止条件が達せられるまで逆方向と正方向との両方において延ばされ得る。ｃｏｍｐｕｔｅＳｅｇｍｅｎｔ関数は、セグメント・グラフ・プロデューサ９０４のプライベート関数でもよい及び／又はｃｏｍｐｕｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数からコールされ得る。ｃｏｌｌｅｃｔＳｅｇｍｅｎｔＬａｎｅｓ関数は、ＭａｐｓＬａｎｅ構造に記憶された関連データを有する所与の方向におけるセグメントのＭａｐＬａｎｅ（ＳｔｉｔｃｈＤｉｒｅｃｔｉｏｎによって定義された）を収集し得、セグメントのＭａｐｓＬａｎｅは、ＬａｎｅＢｕｆｆｅｒ内のＭａｐｓＬａｎｅのプールから収集される（たとえば、車線コレクタ９０２の出力）。所与のセグメントについて、ｃｏｌｌｅｃｔＳｅｇｍｅｎｔＬａｎｅｓ関数は、逆方向と正方向との両方においてセグメントを伸ばすためにｃｏｍｐｕｔｅＳｅｇｍｅｎｔ関数から２度コールされ得る。ｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈＩｎｆｏ関数は、ＳｅｇｍｅｎｔＧｒａｐｈを計算した後にｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数からコールされ得る。ｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈＩｎｆｏ関数は、ＳｅｇｍｅｎｔＧｒａｐｈ内のすべてのセグメントにわたって反復することによってメタデータの収集を助け得る。ｇｅｔＳｅｇｍｅｎｔＣｏｎｎｅｃｔｉｏｎｓ関数は、ＳｅｇｍｅｎｔＧｒａｐｈのセグメント接続を集め得る。ｇｅｔＳｅｇｍｅｎｔＣｏｎｎｅｃｔｉｏｎｓ関数は、プライベートでもよい及び／又はｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈＩｎｆｏ関数からコールされ得る。ｇｅｔＳｅｇｍｅｎｔＣｈａｎｇｅｓ関数は、ＳｅｇｍｅｎｔＧｒａｐｈのすべてのセグメント変更を集め得る。ｇｅｔＳｅｇｍｅｎｔＣｈａｎｇｅｓ関数は、プライベートでもよい及び／又はｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈＩｎｆｏ関数からコールされ得る。
【0103】
車線グラフ・プロデューサ９０６は、ＬｏｃａｌＭａｐＳｅｇｍｅｎｔグラフで深さ優先検索を実行することによって包括的ＬａｎｅＧｒａｐｈを組み立て得る。いくつかの実装形態において、ｕｐｄａｔｅＬａｎｅＧｒａｐｈ関数は、車線グラフ・プロデューサ９０６のパブリックＡＰＩにおいて実装され得る。ｕｐｄａｔｅＬａｎｅＧｒａｐｈ関数は、ｕｐｄａｔｅＳｅｇｍｅｎｔＧｒａｐｈ関数を呼び出すこと、及び新しいＳｅｇｍｅｎｔＧｒａｐｈで深さ優先検索を行うことによって分解ＬａｎｅＧｒａｐｈ車線を計算することによって、新しいＬｏｃａｌＬａｙｏｕｔビルドでＳｅｇｍｅｎｔＧｒａｐｈを更新し得る。したがって、車線グラフ・プロデューサ９０６は、分解ＬａｎｅＧｒａｐｈ車線及び関連メタデータを含むＬａｎｅＧｒａｐｈを生成することができ、各分解ＬａｎｅＧｒａｐｈ車線は、フレーム間のＬａｎｅＧｒａｐｈ車線を追跡するための一意の、安定したＩＤを有する。分解ＬａｎｅＧｒａｐｈは、たとえばＷＭジェネレータ９０８によって、ＷＭフレームのような出力構造体を製作するために使用され得る。エゴ車線ヒントは、ＬａｎｅＧｒａｐｈジオメトリにおけるリグの位置に基づいて決定され得る。ＬａｎｅＧｒａｐｈ車線のＩＤが、安定したエゴ車線を追跡するために、位置クエリとともに使用され得る。
【0104】
分解車線のＩＤは、参加するＭａｐｓＬａｎｅに基づいて計算され得る。ＩＤマネージャは、ＬａｎｅＧｒａｐｈ車線の一意のＩＤを計算するために使用され得る。ＩＤマネージャは、鍵としてのＭａｐｓＬａｎｅ ＩＤのリスト及び対応する値としてのＬａｎｅＧｒａｐｈ車線ＩＤを有するハッシュ・テーブル（又はハッシュ・マップ）を保持し得る。したがって、分解車線に参加するＭａｐｓＬａｎｅのＩＤは、フレーム間の無矛盾ＬａｎｅＧｒａｐｈ車線ＩＤを保持するための鍵として使用され得る。
【0105】
いくつかの実施例において、ＬａｎｅＣｈｕｎｋの車線中心上のポイントについて、対応する左及び右デバイダ・ポイントが存在するように、ＷＭキーフレームは、トリプレット・ポイントの制約をＬａｎｅＣｈｕｎｋに追加する。しかしながら、これは、ＨＤマップに関する制約ではない。ＷＭキーフレーム内のステッチされた車線チャネルについて、トリプレットが、ポイントをそれらと合流するその他の２つの及び３つの方向からの各ポリラインへと投影することによって、製作され得、これは、車線チャネル内のすべての３つのポリラインのループにおいて起こり得る。
【0106】
前述と一貫して、図９Ｃは、本開示のいくつかの実施例による、ＷＭフレームを生成するための方法９２０を示す。９２２において、車両計算システム１２０は、車線グラフ・プロデューサ９０６にＬａｎｅＧｒａｐｈを要求する。９２４において、車線グラフ・プロデューサは、ＬｏｃａｌＬａｙｏｕｔを更新する。９２６において、車線グラフ・プロデューサは、セグメント・グラフ・プロデューサ９０４にＳｅｇｍｅｎｔＧｒａｐｈを要求する。９２８において、セグメント・グラフ・プロデューサ９０４は、車線コレクタ９０２にＬｏｃａｌＬａｙｏｕｔ内の車線を要求する。９３０において、車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔ内の車線を収集し、ＬａｎｅＢｕｆｆｅｒ９３２にそれらを投入する。９３４において、セグメント・グラフ・プロデューサ９０４は、ジャンクション情報をＬｏｃａｌＬａｙｏｕｔから取得する。９３６において、セグメント・グラフ・プロデューサ９０４は、ジャンクション進路をステッチする。９３８において、セグメント・グラフ・プロデューサ９０４は、収集された車線を相互に排他的なＬａｎｅＳｅｇｍｅｎｔにステッチする。９４０において、セグメント・グラフ・プロデューサ９０４は、ＬａｎｅＳｅｇｍｅｎｔのメタデータを取得する。９４２において、セグメント・グラフ・プロデューサ９０４は、ＳｅｇｍｅｎｔＧｒａｐｈ（及び関連メタデータ）を車線グラフ・プロデューサ９０６に返す。９４４において、車線グラフ・プロデューサは、分解ＬａｎｅＧｒａｐｈを計算する。９４６において、車線グラフ・プロデューサ９０６は、ＬａｎｅＧｒａｐｈにおいてＬａｎｅＧｒａｐｈ車線のメタデータを取得する。９４８において、車線グラフ・プロデューサ９０６は、ＬａｎｅＧｒａｐｈ（及び関連メタデータ）を車両計算システム１２０に返す。９５０において、車両計算システムは、ＷＭジェネレータ９０８にＷＭフレームを要求する。９５２において、ＷＭジェネレータ９０８は、ＷＭフレームを生成する。９５４において、ＷＭジェネレータ９０８は、ＷＭフレームを車両計算システム１２０に返す。
【0107】
図１０は、本開示のいくつかの実施例による、単純なＨＤマップ１００２からの例示的ＬａｎｅＧｒａｐｈ計算を示す。ＨＤマップ１００２は、ＭａｐｓＬａｎｅＡからＲを有するＲｏａｄＳｅｇｍｅｎｔを含む。車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔにおいてＭａｐｓＬａｎｅを収集する。この実例では、ＭａｐｓＬａｎｅＡからＲのそれぞれはＬｏｃａｌＬａｙｏｕｔ内にある及び車線コレクタ９０２によって収集されると想定される。
【0108】
セグメント・グラフ・プロデューサ９０４は、次いで、ＭａｐｓＬａｎｅＡからＲを相互に排他的なＬａｎｅＳｅｇｍｅｎｔＬＳ－ＡからＬＳ－Ｆにステッチし、ＳｅｇｍｅｎｔＧｒａｐｈ１００４を製作し得る。たとえば、ＭａｐｓＬａｎｅＡ、Ｂ、及びＣは、ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ａにステッチされ得、ＭａｐｓＬａｎｅＧ、Ｈ、及びＩは、ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ｂにステッチされ得る、など。ＳｅｇｍｅｎｔＧｒａｐｈ１００４及び／又は関連メタデータは、前のＬａｎｅＳｅｇｍｅｎｔ、次のＬａｎｅＳｅｇｍｅｎｔ、及び競合者ＬａｎｅＳｅｇｍｅｎｔのうちの１つ又は複数を、各ＬａｎｅＳｅｇｍｅｎｔについて、識別し得る。
【0109】
最後に、車線グラフ・プロデューサ９０６は、ＬａｎｅＳｅｇｍｅｎｔＬＳ－ＡからＬＳ－Ｆからの車線のすべての組合せを組み立てて、ＬａｎｅＧｒａｐｈ車線ＬＧＬ－ＡからＬＧＬ－ＥとしてＬａｎｅＳｅｇｍｅｎｔのすべての進路組合せを含むＬａｎｅＧｒａｐｈ１００６を生成し得る。ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ｃ、ＬＳ－Ａ、及びＬＳ－Ｄを含む第１のＬａｎｅＧｒａｐｈ車線ＬＧＬ－Ａは、短い破線として図１０に表されている。ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ｂ、ＬＳ－Ａ、及びＬＳ－Ｄを含む第２のＬａｎｅＧｒａｐｈ車線ＬＧＬ－Ｂは、一点鎖線として図１０に表されている。ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ｃ、ＬＳ－Ａ、及びＬＳ－Ｅを含む第３のＬａｎｅＧｒａｐｈ車線ＬＧＬ－Ｃは、実線として図１０に表されている。ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ｂ、ＬＳ－Ａ、及びＬＳ－Ｅを含む第４のＬａｎｅＧｒａｐｈ車線ＬＧＬ－Ｄは、長い破線として図１０に表されている。ＬａｎｅＳｅｇｍｅｎｔＬＳ－Ｆを含む第５のＬａｎｅＧｒａｐｈ車線ＬＧＬ－Ｅは、二点鎖線として図１０に表されている。重複部分を有するＬａｎｅＧｒａｐｈの図１０及び他の図において、ＬａｎｅＧｒａｐｈ車線の重複する部分は、視覚的に知覚可能であるように互いに空間的に相殺されてある。実際には、ＬａｎｅＧｒａｐｈ内のＬａｎｅＧｒａｐｈ車線の重複部分は、空間的に分離されなくてもよい。
【0110】
図１１Ａ及び１１Ｂは、本開示のいくつかの実施例による、移動する自律型車両又はリグ１１０２の図１０のＨＤマップ１００２からの例示的ＬａｎｅＧｒａｐｈ計算を示す。リグ１１０２が、ＨＤマップ１００２上の図１１Ａに示された３つの異なる位置にあるとき、図示されたＬａｎｅＧｒａｐｈ計算は、３つの異なる時間、又はフレーム、ラベルを付けられたフレーム０、フレーム１、及びフレーム２、において実行される。フレーム０において、リグ１１０２は、ＭａｐｓＬａｎｅＩからＭａｐｓＬａｎｅＧまでの方向において運転するＭａｐｓＬａｎｅＨ上に位置する。フレーム１において、リグ１１０２は、ＭａｐｓＬａｎｅＣからＭａｐｓＬａｎｅＡまでの方向において運転するＭａｐｓＬａｎｅＢ上に位置する。フレーム２において、リグ１１０２は、ＭａｐｓＬａｎｅＩからＭａｐｓＬａｎｅＧまでの方向において運転するＭａｐｓＬａｎｅＫ上に位置する。
【0111】
図示するように、リグ１１０２は、リグ１１０２が進むときに更新されるＬｏｃａｌＬａｙｏｕｔ１１０４を有する。フレーム０において、ＬｏｃａｌＬａｙｏｕｔ１１０４は、ＭａｐｓＬａｎｅＧ、Ｈ、Ｉ、Ｃ、及びＤを含む。フレーム１において、ＬｏｃａｌＬａｙｏｕｔ１１０４は、ＭａｐｓＬａｎｅＡ、Ｂ、Ｃ、Ｐ、Ｑ、及びＲを含む。フレーム２において、ＬｏｃａｌＬａｙｏｕｔ１１０４は、ＭａｐｓＬａｎｅＡ、Ｏ、Ｊ、Ｋ、及びＬを含む。
【0112】
各フレームにおいて、車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔ１１０４においてすべてのＭａｐｓＬａｎｅを収集する。いくつかの実装形態では、図１１Ａに示すように、車線コレクタ９０２は、ＬｏｃａｌＬａｙｏｕｔ１１０４内のリグ１１０２の周りの有効な車線の収集１１０６を増分的に増大させることによって、ＬｏｃａｌＬａｙｏｕｔにおいてすべてのＭａｐｓＬａｎｅを収集する。さらに詳細には、各フレームにおいて、車線コレクタ９０２は、リグ１１０２のＬｏｃａｌＬａｙｏｕｔ１１０４又はホライズン内に残る先行フレームからの各ＭａｐｓＬａｎｅを収集１１０６において保持し得、リグ１１０２のＬｏｃａｌＬａｙｏｕｔ１１０４又はホライズン内に新たにある各ＭａｐｓＬａｎｅを収集１１０６に追加し得、リグ１１０２のＬｏｃａｌＬａｙｏｕｔ１１０４又はホライズン内にもはやない先行フレームに保持された又は追加された各ＭａｐｓＬａｎｅを収集１１０６から取り除き得る。たとえば、フレーム０－先行フレームを有さない－において、ＭａｐｓＬａｎｅＧ、Ｈ、Ｉ、Ｃ、Ｄのそれぞれが、有効な車線の収集１１０６に追加される。別の実例として、フレーム１において、ＭａｐｓＬａｎｅＣは、収集１１０６において保持され、ＭａｐｓＬａｎｅＡ、Ｂ、Ｃ、Ｐ、Ｑ、及びＲは、リグ１１０２のＬｏｃａｌＬａｙｏｕｔ１１０４又はホライズン内に新たにあり、したがって、収集１１０６に追加され、前のフレーム（フレーム０）に含まれたＭａｐｓＬａｎｅＧ、Ｈ、Ｉ、及びＤは、図１１Ａに無効車線１１０８として示されて、有効な車線の収集１１０６から取り除かれる。別の実例として、フレーム２において、ＭａｐｓＬａｎｅＡは、収集１１０６において保持され、ＭａｐｓＬａｎｅＯ、Ｌ、Ｋ、及びＪは、リグ１１０２のＬｏｃａｌＬａｙｏｕｔ１１０４又はホライズン内に新たにあり、したがって、収集１１０６に追加され、そして、前のフレーム（フレーム１）に含まれたＭａｐｓＬａｎｅＢ、Ｃ、Ｐ、Ｑ、及びＲは、図１１Ａ内の無効車線１１０８として示されて、有効な車線の収集１１０６から取り除かれる。
【0113】
いくつかの実装形態において、ＬａｎｅＢｕｆｆｅｒは、有効な車線の収集の第１の有効な車線バッファ及び第２の有効な車線バッファを含む二重バッファとして実装され得る。たとえば、第１の有効な車線バッファは、有効な車線の現在の増分的に増大した収集がフレームの間に投入され得、一方、第２の有効な車線バッファに、有効な車線の先行する増分的に増大した収集を記憶する。次のフレームにおいて、第２の有効な車線バッファに、有効な車線の新しい現在の増分的に増大した収集が次のフレームの間に投入され得、一方、第１の有効な車線バッファに、有効な車線の先行する増分的に増大した収集（たとえば、有効な車線の前の現在の増分的に増大した収集）を記憶するように、第１の及び第２の有効な車線バッファの役割は、ステッチし得る。有効な車線の収集の増分的な増大及び二重の有効な車線バッファの使用は、有効な車線の現在の収集を同時に増分的に増加させながら、有効な車線の先行する増分的に増大した収集からＳｅｇｍｅｎｔＧｒａｐｈ及び／又はＬａｎｅＧｒａｐｈが生成されることを可能にし得る。
【0114】
図１１Ｂは、各フレームにおいて生成されたＳｅｇｍｅｎｔＧｒａｐｈを示す。たとえば、フレーム０において、セグメント・グラフ・プロデューサ９０４は、ＭａｐｓＬａｎｅＧ、Ｈ、及びＩをＬａｎｅＳｅｇｍｅｎｔ１１０６に、ＭａｐｓＬａｎｅＣをＬａｎｅＳｅｇｍｅｎｔ１１０８に、及びＭａｐｓＬａｎｅＤをＬａｎｅＳｅｇｍｅｎｔ１１１０にステッチして、フレーム０に示されたＳｅｇｍｅｎｔＧｒａｐｈを生成し得る。フレーム１において、セグメント・グラフ・プロデューサ９０４は、ＭａｐｓＬａｎｅＡ、Ｂ、及びＣをＬａｎｅＳｅｇｍｅｎｔ１１１２に及びＭａｐｓＬａｎｅＰ、Ｑ、及びＲをＬａｎｅＳｅｇｍｅｎｔ１１１４にステッチして、フレーム１に示されたＳｅｇｍｅｎｔＧｒａｐｈを生成し得る。フレーム２において、セグメント・グラフ・プロデューサ９０４は、ＭａｐｓＬａｎｅＡをＬａｎｅＳｅｇｍｅｎｔ１１１６に、ＭａｐｓＬａｎｅＯをＬａｎｅＳｅｇｍｅｎｔ１１１８に、そしてＭａｐｓＬａｎｅＪ、Ｋ、及びＬをＬａｎｅＳｅｇｍｅｎｔ１１２０にステッチして、フレーム２に示されたＳｅｇｍｅｎｔＧｒａｐｈを生成し得る。図１１Ｂには示されていないが、各フレームにおけるＳｅｇｍｅｎｔＧｒａｐｈ及び／又は関連メタデータは、前のＬａｎｅＳｅｇｍｅｎｔ、次のＬａｎｅＳｅｇｍｅｎｔ、及び競合者ＬａｎｅＳｅｇｍｅｎｔのうちの１つ又は複数を、各ＬａｎｅＳｅｇｍｅｎｔについて、識別し得る。
【0115】
図１１Ｂはまた、各フレームにおいて生成されたＬａｎｅＧｒａｐｈを示す。たとえば、フレーム０において、車線グラフ・プロデューサ９０６は、ＬａｎｅＳｅｇｍｅｎｔ１１０６、１１０８、及び１１１０からの車線のすべての組合せを組み立てて、ＬａｎｅＧｒａｐｈ車線１１２２及び１１２４としてＬａｎｅＳｅｇｍｅｎｔ１１０６、１１０８、及び１１１０のすべての進路組合せを含むフレーム０に示されたＬａｎｅＧｒａｐｈを生成し得る。フレーム１において、車線グラフ・プロデューサ９０６は、ＬａｎｅＳｅｇｍｅｎｔ１１１２、１１１４からの車線のすべての組合せを組み立てて、ＬａｎｅＧｒａｐｈ車線１１２６及び１１２８としてＬａｎｅＳｅｇｍｅｎｔ１１１２、１１１４のすべての進路組合せを含むフレーム１に示されたＬａｎｅＧｒａｐｈを生成し得る。フレーム２において、車線グラフ・プロデューサ９０６は、ＬａｎｅＳｅｇｍｅｎｔ１１１６、１１１８、及び１１２０からの車線のすべての組合せを組み立てて、ＬａｎｅＧｒａｐｈ車線１１３０及び１１３２としてＬａｎｅＳｅｇｍｅｎｔ１１１６、１１１８、及び１１２０のすべての進路組合せを含むフレーム２に示されたＬａｎｅＧｒａｐｈを生成し得る。
【0116】
図１１Ｂは、フレームのうちの１つ又は複数においてＬａｎｅＧｒａｐｈに含まれ得る異なるタイプのＬａｎｅＧｒａｐｈ車線を示す凡例１１３４をさらに含む。リグ１１０２に対応する車両又はマシンが現在運転しているＬａｎｅＧｒａｐｈ車線は、「エゴ車線」と称される。ＬａｎｅＧｒａｐｈ車線１１２２、１１２６、及び１１３２は、エゴ車線の実例である。エゴ車線と合流するＬａｎｅＧｒａｐｈ車線は、「合流車線」と称される。ＬａｎｅＧｒａｐｈ車線１１２４は、合流車線の一実例である。エゴ車線から分離するＬａｎｅＧｒａｐｈ車線は、「分離車線」と称される。ＬａｎｅＧｒａｐｈ車線１１３０は、分離車線の一実例である。エゴ車線と交差するＬａｎｅＧｒａｐｈ車線は、「競合者車線」と称される。ＬａｎｅＧｒａｐｈ車線１１２８は、競合者車線の一実例である。
【0117】
自律型車両の安全なナビゲーションのために、ＷＭフレームは、通常は、約３０ＷＭフレーム／秒のレートで計算される。大きなデータ・サイズのＷＭフレームは、自律型車両で有意な通信、処理、及び／又はストレージ資源を消費し得る。したがって、本明細書のいくつかの実施例は、より高いレイテンシを有するタスクはより低いレイテンシを有するタスクよりも少ない頻度で実行される、複数のタスクへと自律型車両のデータ、たとえば、ＷＭフレーム、の生成を分ける。たとえば、データの生成は、高レイテンシ低周波数ＷＭキーフレーム生成タスク及び低レイテンシ高周波数変換タスクへと分割され得る。別法として又は追加で、タスクは、低レイテンシ高周波数変換計算タスクを含み得る。これらのタスクは、経時的に繰り返す又は反復することができる。たとえば、ＷＭキーフレームは、第１の周波数で計算され得、一方、他のＷＭフレーム（たとえば、非キーフレーム）は、第１の周波数より大きい第２の周波数で計算され得る。
【0118】
この及び他の実装形態において、ＷＭジェネレータ９０８は、２つの、３つの、又は何らかの他の数のノードへと分割され得、そこで、各ノードは、対応する周波数に従ってタスクのうちの異なる１つを処理する。図１２は、本開示のいくつかの実施例による、３つのノード１２０２、１２０４、１２０６を有するＷＭジェネレータ９０８の例示的実装形態を示す。３つのノード１２０２、１２０４、１２０６は、特に、ＷＭプロデューサ１２０２、ＷＭ姿勢計算ノード１２０４、及びＷＭトランスフォーマ１２０６を含む。
【0119】
一般に、ＷＭジェネレータ９０８は、入力としてＬａｎｅＧｒａｐｈ１２０８及びローカリゼーション結果１２１０を受信し得、ＷＭフレーム１２１２を１つ又は複数のＷＭコンシューマ１２１３に出力し得る。各ローカリゼーション結果１２１０は、現在のＷＭフレーム１２１２の自律型車両の現在の位置を識別し得る。ＷＭコンシューマ１２１３は、たとえば、ＷＭフレーム１２１２を使用又は消費して対応する自律型車両１５０又はリグの動作を制御し得る、車両計算システム１２０を含み得る。別法として又は追加で、ＷＭコンシューマ１２１３は、何らかの他のシステム、デバイス、アプリケーション、又は、ＷＭフレーム１２１２を使用若しくは消費する同類のものを含み得る。
【0120】
ＷＭプロデューサ１２０２は、高レイテンシ（ノード１２０４、１２０６と比べて）、低周波数（ノード１２０４、１２０６と比べて）のノードでもよく、一方、ＷＭ姿勢計算ノード１２０４及びＷＭトランスフォーマ１２０６は、低レイテンシ（ノード１２０２と比べて）、高周波数（ノード１２０２と比べて）のノードでもよい。
【0121】
一般に、ＷＭプロデューサ１２０２は、ＬａｎｅＧｒａｐｈ１２０８からＷＭキーフレーム１２１４を計算し得る。ＷＭキーフレームの計算は、第１の周波数、たとえば、約１０Ｈｚ、でＷＭプロデューサ１２０２によって実行され得る比較的高いレイテンシの計算でもよい。いくつかの実装形態によれば、ＷＭプロデューサ１２０２は、先行する、たとえば、直ぐ前の先行する、ＷＭキーフレーム１２１４が、２つのバッファ１２１６、１２１８のうちの他方に記憶される間に、それが、２つのバッファ１２１６、１２１８のうちの１つに現在のＷＭキーフレームを交互に投入する、ＷＭキーフレーム１２１４の計算のための二重バッファを実装する。バッファ１２１６、１２１８は、本明細書に記載の他のバッファとそれらを区別するために、世界モデル・バッファと任意で称され得る。任意の所与の時間において先行ＷＭキーフレーム１２１４を記憶するバッファ１２１６、１２１８は、それぞれのタスクのパフォーマンスにおいてＷＭ姿勢計算ノード１２０４及びＷＭトランスフォーマ・ノード１２０６によって読み取られ得る。現在のＷＭキーフレームの計算が、完了したとき、現在のＷＭキーフレームは、バッファ１２１６、１２１８のうちの対応する１つにおける先行ＷＭキーフレーム１２１４になり、新しい現在のＷＭキーフレームが、２つのバッファ１２１６、１２１８のうちの他方に新しい現在のＷＭキーフレームを投入することによって、計算され得る。この方式では、バッファ１２１６、１２１８のそれぞれに、交互に先行ＷＭキーフレーム１２１４を記憶し得る又は現在のＷＭキーフレームの計算中に現在のＷＭキーフレームが投入され得る。
【0122】
ＷＭ姿勢計算ノード１２０４は、各ＷＭフレームの先行ＷＭキーフレーム１２１４の有効な変換１２２０を、第２の周波数で及びローカリゼーション結果１２１０及び先行ＷＭキーフレーム１２１４から、計算し得る。ローカリゼーション結果１２１０は、リグの現在の位置を、任意の所与の時間において及びＷＭジェネレータ９０８によって生成されている任意の所与のＷＭフレームについて、含み得る。リグの現在の位置は、先行するＷＭキーフレーム１２１４をリグの座標フレームに変換することになる対応する有効な変換１２２０（たとえば、ローカルマップからリグへの変換マトリックス）を決定するためにＷＭ姿勢計算ノード１２０４によって使用され得る。複数の有効な変換１２２０が、所与の先行ＷＭキーフレーム１２１４について順次に計算され得るように、第２の周波数は、第１の周波数よりも大きくてもよい。第１の周波数が１０Ｈｚである及び第２の周波数が３０Ｈｚである一実例において、ＷＭ姿勢計算ノード１２０４は、各先行ＷＭキーフレーム１２１４の３つの連続的な有効な変換１２２０を計算し得る。
【0123】
ＷＭトランスフォーマ１２０６は、有効な変換１２２０を使用して先行ＷＭキーフレーム１２１４をリグの座標フレームに変換し得る。たとえば、ＷＭトランスフォーマ１２０６は、順次的ＷＭフレーム１２１２を生成するために順次的な有効な変換１２２０を使用して先行ＷＭキーフレーム１２１４をリグの座標フレームに順次に変換し得る。ＷＭトランスフォーマ１２０６は、任意の所与の先行ＷＭキーフレーム１２１４が、複数の順次的ＷＭフレーム１２１２を生成するために、順次に複数回変換され得るように、第２の周波数で変換を実行し得る。
【0124】
図１３は、本開示のいくつかの実施例による、ＷＭフレームを生成するための方法１３００を示す流れ図である。方法１３００及び／又は本明細書に記載の他の方法の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。いくつかの実装形態において、方法１３００及び／又は本明細書に記載の他の方法は、車両計算システム、たとえば、本明細書の他の箇所に記載の車両計算システム１２０、に記憶される及び／又はそれによって実施される。たとえば、方法１３００は、自律型車両１５０又はリグの車両計算システム１２０でＷＭジェネレータ９０８によって、少なくとも部分的に、実施され得る。
【0125】
方法１３００は、ブロック１３０２において、マップ・データに基づいて自律型車両の周りの現在のＷＭキーフレームを計算することを含む。たとえば、ブロック１３０２は、ＷＭジェネレータ９０８のＷＭプロデューサ１２０２が現在のＬａｎｅＧｒａｐｈ１２０８から現在のＷＭキーフレームを計算することを含み得る。
【0126】
方法１３００は、ブロック１３０４において、第１のＷＭフレームを生成するために現在のＷＭキーフレームの計算を完了することより前に第１の時間において先行ＷＭキーフレームを自律型車両の座標フレームに変換することを含む。たとえば、ブロック１３０４は、ＷＭジェネレータ９０８のＷＭトランスフォーマ１２０６が、現在のＷＭキーフレームの計算の完了の間及び前の第１の時間において先行ＷＭキーフレーム１２１４を自律型車両の座標フレームに変換して第１のＷＭフレーム１２１２を生成することを含み得る。
【0127】
方法１３００は、ブロック１３０６において、第１の時間の後の第２の時間に及び現在のＷＭキーフレームの計算を完了することより前に先行ＷＭキーフレームを自律型車両の座標フレームに変換して第２のＷＭフレームを生成することを含む。たとえば、ブロック１３０６は、ＷＭジェネレータ９０８のＷＭトランスフォーマ１２０６が第１の時間の後の第２の時間に並びに現在のＷＭキーフレームの計算の完了の間及び前に同じ先行ＷＭキーフレーム１２１４を自律型車両の座標フレームに変換して第２のＷＭフレーム１２１２を生成することを含み得る。
【0128】
いくつかの実装形態において、方法１３００はさらに、先行ＷＭキーフレームに適用するための変換を決定することを含み得る。この実例において先行ＷＭキーフレームを自律型車両の座標フレームに変換することは、決定された変換に従って先行ＷＭキーフレームを自律型車両の座標フレームに変換することを含み得る。たとえば、ＷＭジェネレータ９０８のＷＭ姿勢計算ノード１２０４は、ローカリゼーション結果１２１４に基づいて先行ＷＭキーフレーム１２１４の有効な変換１２２０を決定、たとえば、計算、することができ、先行ＷＭキーフレーム１２１４は、有効な変換１２２０に従って自律型車両の座標フレームに変換され得る。
【0129】
それに基づいて現在のＷＭキーフレームが計算されるマップ・データは、たとえば、本明細書に記載のＬａｎｅＧｒａｐｈのいずれかなどの車線グラフを含み得る。したがって、マップ・データに基づいて自律型車両の周りの現在のＷＭキーフレームを計算することは、車線グラフに基づいて自律型車両の周りの現在のＷＭキーフレームを計算することを含み得る。方法１３００のいくつかの実施例はさらに、たとえば、図１１Ａ、に関して説明されるようなＨＤマップの部分からの自律型車両の周りの有効な車線の収集を増分的に増大させることを含む、ＨＤマップの一部から車線グラフを生成することを含み得る。たとえば、有効な車線の増分的に増大した収集は、第１の有効な車線バッファに記憶され得、方法１３００はさらに、第２の有効な車線バッファに有効な車線の現在の増分的に増大した収集を投入することを含み得る。
【0130】
別法として又は追加で、先行ＷＭキーフレームは、第１のＷＭバッファに記憶され得、方法１３００はさらに、現在のＷＭキーフレームが計算されるとき、第２のＷＭバッファに現在のＷＭキーフレームを投入することを含み得る。一実例として、第１のＷＭバッファは、図１２のバッファ１２１６を含み得、第２のＷＭバッファは、図１２のバッファ１２１８を含み得る。いくつかの実施例において、現在のＷＭキーフレームを計算した後、現在のＷＭキーフレームは、新しい先行ＷＭキーフレームとして第２のＷＭバッファに記憶され得、方法１３００はさらに、現在のＷＭキーフレームを計算した後、追加のマップ・データ（たとえば、更新された車線グラフ）に基づいて自律型車両の周りの次のＷＭキーフレームを計算することと、次のＷＭキーフレームが計算されるときに第１のＷＭバッファに次のＷＭキーフレームを投入することと、次のＷＭキーフレームの計算を完了するより前の第３の時間において第２のＷＭバッファに記憶された新しい先行ＷＭキーフレームを自律型車両の座標フレームに変換することと、第３の時間の後、次のＷＭキーフレームの計算を完了するより前の第４の時間において第２のＷＭバッファに記憶された新しい先行ＷＭキーフレームを自律型車両の座標フレームに変換することと含み得る。
【0131】
図１４は、本開示のいくつかの実施例による、ＷＭフレームを生成するための別の方法１４００を示す流れ図である。方法１４００及び／又は本明細書に記載の他の方法の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。いくつかの実装形態において、方法１４００及び／又は本明細書に記載の他の方法は、車両計算システム、たとえば、本明細書の他の箇所に記載の車両計算システム１２０、に記憶される及び／又はそれによって実施される。たとえば、方法１４００は、自律型車両１５０又はリグの車両計算システム１２０でＷＭジェネレータ９０８によって、少なくとも部分的に、実施され得る。
【0132】
方法１４００は、ブロック１４０２において、マップ・データに基づいて自律型車両の周りのＷＭキーフレームを経時的に及び第１の周波数で計算することを含む。たとえば、ブロック１３０２は、ＷＭジェネレータ９０８のＷＭプロデューサ１２０２が第１の周波数で現在のＬａｎｅＧｒａｐｈ１２０８のシーケンスから現在のＷＭキーフレームを順次に計算することを含み得る。
【0133】
方法１４００は、ブロック１４０４において、複数のＷＭフレームが各ＷＭキーフレームから生成されるように、経時的に及び第１の周波数より大きい第２の周波数で直近のＷＭキーフレームを自律型車両の座標フレームに変換してＷＭフレームを生成することを含む。たとえば、ブロック１４０４は、ＷＭジェネレータ９０８のＷＭトランスフォーマ１２０６が、複数のＷＭキーフレーム１２１２が各先行ＷＭキーフレーム１２１４から生成されるように、経時的に及び第２の周波数で順次的な先行する（又は直近の）ＷＭキーフレーム１２１４を自律型車両の座標フレームに変換してＷＭキーフレーム１２１２を生成することを含み得る。
【0134】
いくつかの実装形態において、方法１４００はさらに、直近のＷＭキーフレームに適用するための変換を経時的に及び第２の周波数で決定することを含み得る。この実例における直近の（又は先行する）ＷＭキーフレームを自律型車両の座標フレームに経時的に変換することは、決定された変換に従って直近のＷＭキーフレームを自律型車両の座標フレームに変換することを含み得る。たとえば、ＷＭジェネレータ９０８のＷＭ姿勢計算ノード１２０４は、ローカリゼーション結果１２１４に基づいて先行ＷＭキーフレーム１２１４の有効な変換１２２０を経時的に決定、たとえば、計算、することができ、先行ＷＭキーフレーム１２１４は、有効な変換１２２０に従って自律型車両の座標フレームに変換され得る。
【0135】
それに基づいてＷＭキーフレームが計算されるマップ・データは、たとえば、本明細書に記載のＬａｎｅＧｒａｐｈのいずれかなどの車線グラフを含み得る。したがって、マップ・データに基づいて自律型車両の周りのＷＭキーフレームを計算することは、車線グラフに基づいて自律型車両の周りのＷＭキーフレームを計算することを含み得る。方法１４００のいくつかの実施例はさらに、たとえば、図１１Ａ、に関して説明されるようなＨＤマップの部分から自律型車両の周りの有効な車線の収集を増分的に増大させることを含む、ＨＤマップの部分から車線グラフを生成することを含み得る。方法１４００のいくつかの実施例はさらに、現在増分的に増大している有効な車線の収集を第１の有効な車線バッファ及び第２の有効な車線バッファに交互に投入することを含み得る。この及び他の実施例において、第１の有効な車線バッファは、有効な車線の直近の増分的に増大した収集が第２の有効な車線バッファに記憶されるときに現在増分的に増大している有効な車線の収集が投入され得、第２の有効な車線バッファは、有効な車線の直近の増分的に増大した収集が第１の有効な車線バッファに記憶されるときに現在増分的に増大している有効な車線の収集が投入され得る。
【0136】
別法として又は追加で、方法１４００はさらに、ＷＭキーフレームを第１のＷＭバッファ及び第２の世界モデル・バッファに交互に投入することを含み得る。一実例として、第１のＷＭバッファは、図１２のバッファ１２１６を含み得、第２のＷＭバッファは、図１２のバッファ１２１８を含み得る。第１のＷＭバッファは、直近のＷＭキーフレームが第２のＷＭバッファに記憶されるときに現在計算されているＷＭキーフレームが投入され得る。第２のＷＭバッファは、直近のＷＭキーフレームが第１のＷＭバッファに記憶されるときに現在計算されているＷＭキーフレームが投入され得る。
【0137】
本明細書に記載のいくつかの実施例による圧縮パフォーマンスは、有意であり得る。各ＬａｎｅＧｒａｐｈのサイズは各変換のサイズより有意に大きいと想定され得る。この実例において、圧縮率Ｒｃは、単純に、静的ジオメトリを有するＬａｎｅＧｒａｐｈの送信間隔、又はｌａｎｅＧｒａｐｈＩｎｔｅｒｖａｌＦｒａｍｅｓでもよい。送信間隔ｌａｎｅＧｒａｐｈＩｎｔｅｒｖａｌＦｒａｍｅｓは、ＲｏａｄＳｅｇｍｅｎｔ ｒｏａｄＳｅｇｍｅｎｔＬｅｎｇｔｈのサイズ及び車両速度ｖｅｈｉｃｌｅＳｐｅｅｄに関連し得る。具体的には、送信間隔ｌａｎｅＧｒａｐｈＩｎｔｅｒｖａｌＦｒａｍｅｓは、方程式１に従って決定され得る：
２０メートルのｒｏａｄＳｅｇｍｅｎｔＬｅｎｇｔｈ及び１４４．８キロメートル（９０マイル）／時（又は約４０メートル／秒）のｖｅｈｉｃｌｅＳｐｅｅｄを想定すると、圧縮率Ｒｃは、約（２０／４０）＊２０＝１０であり得る。３５．４１キロメートル（２２マイル）／時（又は約１０メートル／秒）のｖｅｈｉｃｌｅＳｐｅｅｄ及び先行する実例にあるような他の類似の条件を想定すると、圧縮率Ｒｃは、約（２０／１０）＊２０＝４０であり得る。停止及び進む交通及び先行実例にあるような他の類似の条件を想定すると、圧縮率Ｒｃは、１００以上であり得る。
【数1】
２０メートルのｒｏａｄＳｅｇｍｅｎｔＬｅｎｇｔｈ及び１４４．８キロメートル（９０マイル）／時（又は約４０メートル／秒）のｖｅｈｉｃｌｅＳｐｅｅｄを想定すると、圧縮率Ｒｃは、約（２０／４０）＊２０＝１０であり得る。３５．４１キロメートル（２２マイル）／時（又は約１０メートル／秒）のｖｅｈｉｃｌｅＳｐｅｅｄ及び先行する実例にあるような他の類似の条件を想定すると、圧縮率Ｒｃは、約（２０／１０）＊２０＝４０であり得る。停止及び進む交通及び先行実例にあるような他の類似の条件を想定すると、圧縮率Ｒｃは、１００以上であり得る。
【0138】
したがって、方法１３００、１４００のいずれか若しくは両方又は本明細書に記載の他の方法において、第２の周波数に対する第１の周波数でＷＭキーフレームを計算することの圧縮率は、自律型車両の速度に依存し得、少なくとも１０、少なくとも４０、少なくとも１００、又は何らかの他の値でもよい。
【0139】
例示的自律型車両
図１５Ａは、本開示のいくつかの実施例による、例示的自律型車両１５００の図である。自律型車両１５００（或いは本明細書で「車両１５００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車１５００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、移動車１５００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
図１５Ａは、本開示のいくつかの実施例による、例示的自律型車両１５００の図である。自律型車両１５００（或いは本明細書で「車両１５００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車１５００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、移動車１５００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
【0140】
移動車１５００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車１５００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム１５５０を含み得る。推進システム１５５０は、移動車１５００の推進力を有効にするために、トランスミッションを含み得る、移動車１５００のドライブ・トレインに接続され得る。推進システム１５５０は、スロットル／加速装置１５５２からの信号の受信に応答して制御され得る。
【0141】
ハンドルを含み得る、ステアリング・システム１５５４は、推進システム１５５０が動作しているときに（たとえば、移動車が移動中のときに）移動車１５００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム１５５４は、ステアリング・アクチュエータ１５５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
【0142】
ブレーキ・センサ・システム１５４６は、ブレーキ・アクチュエータ１５４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。
【0143】
１つ又は複数のＣＰＵ、システム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）１５０４（図１５Ｃ）及び／又はＧＰＵを含み得る、コントローラ１５３６は、移動車１５００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ１５４８を介して移動車ブレーキを動作させるために、１つ又は複数のステアリング・アクチュエータ１５５６を介してステアリング・システム１５５４を動作させるために、及び／又は１つ又は複数のスロットル／加速装置１５５２を介して推進システム１５５０を動作させるために、信号を送ることができる。コントローラ１５３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車１５００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ１５３６は、自律運転機能のための第１のコントローラ１５３６、機能的安全性機能のための第２のコントローラ１５３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１５３６、インフォテインメント機能のための第４のコントローラ１５３６、緊急状態における冗長性のための第５のコントローラ１５３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ１５３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ１５３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
【0144】
コントローラ１５３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車１５００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ１５５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ１５６０、超音波センサ１５６２、ＬＩＤＡＲセンサ１５６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１５９６、ステレオ・カメラ１５６８、ワイドビュー・カメラ１５７０（たとえば、魚眼カメラ）、赤外線カメラ１５７２、サラウンド・カメラ１５７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ１５９８、スピード・センサ１５４４（たとえば、移動車１５００のスピードを測定するための）、振動センサ１５４２、ステアリング・センサ１５４０、ブレーキ・センサ１５４６（たとえば、ブレーキ・センサ・システム１５４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
【0145】
コントローラ１５３６のうちの１つ又は複数のコントローラは、移動車１５００の計器群１５３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１５３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車１５００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図１５ＣのＨＤマップ１５２２）、位置データ（たとえば、マップ上などの、移動車１５００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ１５３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ１５３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
【0146】
移動車１５００はさらに、１つ若しくは複数のワイヤレス・アンテナ１５２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース１５２４を含む。たとえば、ネットワーク・インターフェース１５２４は、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ１５２６はまた、ブルートゥース、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。
【0147】
図１５Ｂは、本開示のいくつかの実施例による、図１５Ａの例示的自律型車両１５００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車１５００の異なる位置に置かれ得る。
【0148】
カメラのカメラ・タイプは、移動車１５００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
【0149】
いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
【0150】
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
【0151】
移動車１５００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ１５３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ））、自律的クルーズ制御（ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ））、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
【0152】
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ１５７０でもよい。図１５Ｂにはワイドビュー・カメラは１つだけ示されているが、移動車１５００には任意の数のワイドビュー・カメラ１５７０が存在し得る。加えて、長距離カメラ１５９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ１５９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
【0153】
１つ又は複数のステレオ・カメラ１５６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ１５６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（たとえば、ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ１５６８は、２個のカメラ・レンズ（左と右に１つずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ１５６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
【0154】
移動車１５００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ１５７４（たとえば、図１５Ｂに示されるような４個のサラウンド・カメラ１５７４）は、移動車１５００の周りに位置付けられ得る。サラウンド・カメラ１５７４は、ワイドビュー・カメラ１５７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ１５７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
【0155】
移動車１５００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ１５９８、ステレオ・カメラ１５６８）、赤外線カメラ１５７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
【0156】
図１５Ｃは、本開示のいくつかの実施例による、図１５Ａの例示的自律型車両１５００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
【0157】
図１５Ｃの移動車１５００の構成要素、特徴、及びシステムのそれぞれは、バス１５０２を介して接続されるものとして図示されている。バス１５０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロントガラス・ワイパなどの作動など、移動車１５００の様々な特徴及び機能の制御を助けるために使用される移動車１５００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
【0158】
バス１５０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス１５０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス１５０２が存在し得る。いくつかの実例では、２個以上のバス１５０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス１５０２は衝突回避機能のために使用されてもよく、第２のバス１５０２は作動制御のために使用されてもよい。任意の実例において、各バス１５０２は、移動車１５００の構成要素のいずれかと通信し得、２個以上のバス１５０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ１５０４、各コントローラ１５３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車１５００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
【0159】
移動車１５００は、図１５Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ１５３６を含み得る。コントローラ１５３６は、様々な機能のために使用され得る。コントローラ１５３６は、移動車１５００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車１５００、移動車１５００の人工知能、移動車１５００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
【0160】
移動車１５００は、システム・オン・チップ（ＳｏＣ）１５０４を含み得る。ＳｏＣ１５０４は、ＣＰＵ１５０６、ＧＰＵ１５０８、プロセッサ１５１０、キャッシュ１５１２、加速装置１５１４、データ・ストア１５１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ１５０４は、様々なプラットフォーム及びシステム内の移動車１５００を制御するために使用され得る。たとえば、ＳｏＣ１５０４は、１つ又は複数のサーバ（たとえば、図１５Ｄのサーバ１５７８）からネットワーク・インターフェース１５２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ１５２２を有するシステム（たとえば、移動車１５００のシステム）において結合され得る。
【0161】
ＣＰＵ１５０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ１５０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ１５０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ１５０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ１５０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１５０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
【0162】
ＣＰＵ１５０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ１５０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
【0163】
ＧＰＵ１５０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ１５０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ１５０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ１５０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ１５０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ１５０８は、コンピュータ・ベースのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ１５０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
【0164】
ＧＰＵ１５０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ１５０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ１５０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
【0165】
ＧＰＵ１５０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
【0166】
ＧＰＵ１５０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ１５０８がＣＰＵ１５０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ１５０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ１５０６に送信され得る。応答して、ＣＰＵ１５０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ１５０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ１５０６とＧＰＵ１５０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ１５０８へのアプリケーションのＧＰＵ１５０８プログラミング及び移植を単純化する。
【0167】
加えて、ＧＰＵ１５０８は、他のプロセッサのメモリへのＧＰＵ１５０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
【0168】
ＳｏＣ１５０４は、本明細書に記載のものを含む任意の数のキャッシュ１５１２を含み得る。たとえば、キャッシュ１５１２は、ＣＰＵ１５０６とＧＰＵ１５０８との両方に利用可能な（たとえば、ＣＰＵ１５０６とＧＰＵ１５０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ１５１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
【0169】
ＳｏＣ１５０４は、車両１５００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ１５０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ１５０６及び／又はＧＰＵ１５０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
【0170】
ＳｏＣ１５０４は、１つ又は複数の加速装置１５１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ１５０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ１５０８を補完するために及びＧＰＵ１５０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ１５０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置１５１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
【0171】
加速装置１５１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
【0172】
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
【0173】
ＤＬＡは、ＧＰＵ１５０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１５０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ１５０８及び／又は他の加速装置１５１４に任せることができる。
【0174】
加速装置１５１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
【0175】
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
【0176】
ＤＭＡは、ＣＰＵ１５０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
【0177】
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
【0178】
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる２個以上のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
【0179】
加速装置１５１４（たとえば、ハードウェア加速クラスタ）は、加速装置１５１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
【0180】
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
【0181】
いくつかの実例では、ＳｏＣ１５０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
【0182】
加速装置１５１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
【0183】
たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
【0184】
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。たとえば、ＰＶＡは、次のＲＡＤＡＲパルスを発する前に処理済みのＲＡＤＡＲ信号を提供するために、未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用）ために使用され得る。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
【0185】
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１５６４又はＲＡＤＡＲセンサ１５６０）から取得された物体の移動車１５００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１５６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
【0186】
ＳｏＣ１５０４は、データ・ストア１５１６（たとえば、メモリ）を含み得る。データ・ストア１５１６は、ＳｏＣ１５０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア１５１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア１５１６は、Ｌ２又はＬ３キャッシュ１５１２を備え得る。データ・ストア１５１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置１５１４に関連するメモリの参照を含み得る。
【0187】
ＳｏＣ１５０４は、１つ又は複数のプロセッサ１５１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ１５１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ１５０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ１５０４熱及び温度センサの管理、及び／又はＳｏＣ１５０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１５０４は、リング発振器を使用してＣＰＵ１５０６、ＧＰＵ１５０８、及び／又は加速装置１５１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ１５０４をより低い電力状態に置く及び／又は移動車１５００をショーファーの安全停止モードにする（たとえば、移動車１５００を安全停止させる）ことができる。
【0188】
プロセッサ１５１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
【0189】
プロセッサ１５１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
【0190】
プロセッサ１５１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
【0191】
プロセッサ１５１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
【0192】
プロセッサ１５１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
【0193】
プロセッサ１５１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ１５７０で、サラウンド・カメラ１５７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
【0194】
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
【0195】
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ１５０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ１５０８の電源が入れられ、３Ｄレンダリングをアクティブに実行しているときでも、ビデオ画像合成器は、ＧＰＵ１５０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
【0196】
ＳｏＣ１５０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ１５０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
【0197】
ＳｏＣ１５０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ１５０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ１５６４、ＲＡＤＡＲセンサ１５６０など）、バス１５０２からのデータ（たとえば、移動車１５００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１５５８からのデータを処理するために使用され得る。ＳｏＣ１５０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ１５０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
【0198】
ＳｏＣ１５０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ１５０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置１５１４が、ＣＰＵ１５０６と結合されるとき、ＧＰＵ１５０８、及びデータ・ストア１５１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
【0199】
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
【0200】
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ１５２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
【0201】
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ１５０８上などで、同時に実行することができる。
【0202】
いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車１５００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ１５０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
【0203】
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン１５９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ１５０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ１５５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ１５６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
【0204】
移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１５０４に連結され得るＣＰＵ１５１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ１５１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ１５１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１５０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ１５３６及び／又はインフォテインメントＳｏＣ１５３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
【0205】
移動車１５００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ１５０４に連結され得るＧＰＵ１５２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ１５２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車１５００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
【0206】
移動車１５００は、１つ又は複数のワイヤレス・アンテナ１５２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース１５２４をさらに含み得る。ネットワーク・インターフェース１５２４は、インターネットを介するクラウドとの（たとえば、サーバ１５７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車１５００に近接する移動車（たとえば、移動車１５００の前の、横の、及び／又は後ろの移動車）に関する移動車１５００情報を提供することができる。この機能は、移動車１５００の共同適応クルーズ制御機能の一部でもよい。
【0207】
ネットワーク・インターフェース１５２４は、変調及び復調機能を提供する及びコントローラ１５３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース１５２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
【0208】
移動車１５００は、チップ外の（たとえば、ＳｏＣ１５０４外の）ストレージを含み得るデータ・ストア１５２８をさらに含み得る。データ・ストア１５２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
【0209】
車両１５００は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援するためにＧＮＳＳセンサ１５５８（たとえば、ＧＰＳ及び／又は支援されたＧＰＳセンサ）をさらに含み得る。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ１５５８が、使用され得る。
【0210】
移動車１５００は、ＲＡＤＡＲセンサ１５６０をさらに含み得る。ＲＡＤＡＲセンサ１５６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車１５００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ１５６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ１５６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス１５０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ１５６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
【0211】
ＲＡＤＡＲセンサ１５６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ１５６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車１５００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車１５００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。
【0212】
一実例として、中距離ＲＡＤＡＲシステムは、１５６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は１５５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
【0213】
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
【0214】
移動車１５００は、超音波センサ１５６２をさらに含み得る。移動車１５００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ１５６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ１５６２が使用され得、異なる超音波センサ１５６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ１５６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
【0215】
移動車１５００はＬＩＤＡＲセンサ１５６４を含み得る。ＬＩＤＡＲセンサ１５６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ１５６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、移動車１５００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ１５６４を含み得る。
【0216】
いくつかの実例では、ＬＩＤＡＲセンサ１５６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ１５６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、１００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ１５６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ１５６４は、移動車１５００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ１５６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ１５６４は、４５度と１３５度との間の水平視野向けに構成され得る。
【0217】
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車１５００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ１５６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
【0218】
移動車は、ＩＭＵセンサ１５６６をさらに含み得る。一部の実例では、ＩＭＵセンサ１５６６は、移動車１５００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ１５６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ１５６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ１５６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
【0219】
一部の実施例では、ＩＭＵセンサ１５６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ１５６６は、ＧＰＳからＩＭＵセンサ１５６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車１５００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ１５６６及びＧＮＳＳセンサ１５５８は、単一の統合されたユニットにおいて結合され得る。
【0220】
移動車は、移動車１５００内及び／又は周囲に置かれたマイクロフォン１５９６を含み得る。マイクロフォン１５９６は、中でも、緊急車両検出及び識別のために使用され得る。
【0221】
移動車は、ステレオ・カメラ１５６８、ワイドビュー・カメラ１５７０、赤外線カメラ１５７２、サラウンド・カメラ１５７４、長距離及び／又は中距離カメラ１５９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車１５００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車１５００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車１５００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図１５Ａ及び図１５Ｂに関連して本明細書においてさらに詳しく説明される。
【0222】
移動車１５００は、振動センサ１５４２をさらに含み得る。振動センサ１５４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ１５４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
【0223】
移動車１５００は、ＡＤＡＳシステム１５３８を含み得る。一部の実例では、ＡＤＡＳシステム１５３８は、ＳｏＣを含み得る。ＡＤＡＳシステム１５３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
【0224】
ＡＣＣシステムは、ＲＡＤＡＲセンサ１５６０、ＬＩＤＡＲセンサ１５６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車１５００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車１５００にアドバイスする。横ＡＣＣは、ＬＣ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
【0225】
ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース１５２４及び／又はワイヤレス・アンテナ１５２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車１５００と同じレーン内にある、移動車１５００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車１５００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
【0226】
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１５６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
【0227】
ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１５６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
【0228】
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車１５００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
【0229】
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車１５００が車線をはみ出し始めた場合に移動車１５００を修正するためにステアリング入力又はブレーキを提供する。
【0230】
ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動構成要素に電気的に連結された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ１５６０を使用し得る。
【0231】
ＲＣＴＷシステムは、車両１５００がバックしているときに物体が後方確認カメラの範囲の外で検出されたときに視覚、可聴、及び／又は触覚通知を提供することができる。いくつかのＲＣＴＷシステムは、車両ブレーキが衝突を回避するために適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動構成要素、に電気的に連結された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ１５６０を使用し得る。
【0232】
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両１５００では、結果が矛盾する場合には、移動車１５００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ１５３６又は第２のコントローラ１５３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム１５３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム１５３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
【0233】
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
【0234】
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼できるとき、及びそれが信頼できないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ１５０４の構成要素を備え得る、及び／又はＳｏＣ１５０４の構成要素として含まれ得る。
【0235】
他の実例において、ＡＤＡＳシステム１５３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータによって使用されるソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
【0236】
いくつかの実例では、ＡＤＡＳシステム１５３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム１５３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
【0237】
移動車１５００は、インフォテインメントＳｏＣ１５３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ１５３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車１５００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ１５３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１５３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素を含み得る。インフォテインメントＳｏＣ１５３０は、ＡＤＡＳシステム１５３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
【0238】
インフォテインメントＳｏＣ１５３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ１５３０は、バス１５０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車１５００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ１５３６（たとえば、移動車１５００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ１５３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ１５３０は、本明細書に記載のように、移動車１５００をショーファーの安全停止モードにすることができる。
【0239】
移動車１５００は、計器群１５３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群１５３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群１５３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ１５３０及び計器群１５３２の間で表示及び／又は共有され得る。言い換えれば、計器群１５３２は、インフォテインメントＳｏＣ１５３０の一部として含まれてもよく、逆もまた同様である。
【0240】
図１５Ｄは、本開示のいくつかの実施例による、図１５Ａのクラウドベースのサーバと例示的自律型車両１５００との間の通信のシステム図である。システム１５７６は、サーバ１５７８、ネットワーク１５９０、及び、移動車１５００を含む移動車を含み得る。サーバ１５７８は、２個以上のＧＰＵ１５８４（Ａ）～１５８４（Ｈ）（本明細書でＧＰＵ１５８４と総称される）、ＰＣＩｅスイッチ１５８２（Ａ）～１５８２（Ｈ）（本明細書でＰＣＩｅスイッチ１５８２と総称される）、及び／又はＣＰＵ１５８０（Ａ）～１５８０（Ｂ）（本明細書でＣＰＵ１５８０と総称される）を含み得る。ＧＰＵ１５８４、ＣＰＵ１５８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１５８８及び／又はＰＣＩｅ接続１５８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ１５８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ１５８４及びＰＣＩｅスイッチ１５８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ１５８４、２個のＣＰＵ１５８０、及び４個のＰＣＩｅスイッチ１５８２が図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ１５７８は、任意の数のＧＰＵ１５８４、ＣＰＵ１５８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ１５７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１５８４を含み得る。
【0241】
サーバ１５７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１５９０を介して、移動車から、受信することができる。サーバ１５７８は、ニューラル・ネットワーク１５９２、更新されたニューラル・ネットワーク１５９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報１５９４をネットワーク１５９０を介して移動車に送信することができる。マップ情報１５９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１５２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク１５９２、更新されたニューラル・ネットワーク１５９２、及び／又はマップ情報１５９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ１５７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
【0242】
サーバ１５７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク１５９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ１５７８によって使用され得る。
【0243】
いくつかの実例では、サーバ１５７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ１５７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１５８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ１５７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
【0244】
サーバ１５７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車１５００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車１５００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車１５００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車１５００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車１５００内のＡＩは正常に機能していないという結論を下した場合、サーバ１５７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車１５００のフェイルセーフ・コンピュータに命じる移動車１５００への信号を送信することができる。
【0245】
推論のために、サーバ１５７８は、ＧＰＵ１５８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
【0246】
例示的コンピューティングデバイス
図１６は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス１６００の一実例のブロック図である。計算デバイス１６００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム１６０２を含み得る：メモリ１６０４、１つ又は複数の中央処理装置（ＣＰＵ）１６０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）１６０８、通信インターフェース１６１０、Ｉ／Ｏポート１６１２、入力／出力構成要素１６１４、電力供給装置１６１６、１つ又は複数の提示構成要素１６１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１６２０。
図１６は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス１６００の一実例のブロック図である。計算デバイス１６００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム１６０２を含み得る：メモリ１６０４、１つ又は複数の中央処理装置（ＣＰＵ）１６０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）１６０８、通信インターフェース１６１０、Ｉ／Ｏポート１６１２、入力／出力構成要素１６１４、電力供給装置１６１６、１つ又は複数の提示構成要素１６１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１６２０。
【0247】
図１６の様々なブロックは、線で相互接続システム１６０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素１６１８は、Ｉ／Ｏ構成要素１６１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ１６０６及び／又はＧＰＵ１６０８はメモリを含み得る（たとえば、メモリ１６０４は、ＧＰＵ１６０８、ＣＰＵ１６０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図１６の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、「拡張現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図１６の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
【0248】
相互接続システム１６０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム１６０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ１６０６は、メモリ１６０４に直接接続され得る。さらに、ＣＰＵ１６０６は、ＧＰＵ１６０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム１６０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス１６００に含まれる必要はない。
【0249】
メモリ１６０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス１６００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
【0250】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ１６０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス１６００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
【0251】
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【0252】
ＣＰＵ１６０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１６００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ１６０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ１６０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス１６００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス１６００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス１６００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ１６０６を含み得る。
【0253】
ＣＰＵ１６０６に加えて又はその代わりに、ＧＰＵ１６０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１６００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ１６０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ１６０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ１６０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ１６０８のうちの１つ又は複数は、ＣＰＵ１６０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ１６０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス１６００によって使用され得る。たとえば、ＧＰＵ１６０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ１６０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ１６０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ１６０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ１６０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ１６０４の一部として含まれ得る。ＧＰＵ１６０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ１６０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
【0254】
ＣＰＵ１６０６及び／又はＧＰＵ１６０８に加えて又はその代わりに、論理ユニット１６２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１６００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ１６０６、ＧＰＵ１６０８、及び／又は論理ユニット１６２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット１６２０のうちの１つ若しくは複数は、ＣＰＵ１６０６及び／若しくはＧＰＵ１６０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット１６２０のうちの１つ若しくは複数は、ＣＰＵ１６０６及び／若しくはＧＰＵ１６０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット１６２０のうちの１つ又は複数は、ＣＰＵ１６０６のうちの１つ若しくは複数及び／又はＧＰＵ１６０８のうちの１つ若しくは複数のコプロセッサでもよい。
【0255】
論理ユニット１６２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、Ｉ／Ｏエレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
【0256】
通信インターフェース１６１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス１６００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース１６１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
【0257】
Ｉ／Ｏポート１６１２は、そのうちのいくつかは計算デバイス１６００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素１６１４、提示構成要素１６１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス１６００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素１６１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素１６１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス１６００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス１６００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス１６００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス１６００によって使用され得る。
【0258】
電力供給装置１６１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置１６１６は、計算デバイス１６００の構成要素が動作することを可能にするために計算デバイス１６００に電力を提供することができる。
【0259】
提示構成要素１６１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素１６１８は、他の構成要素（たとえば、ＧＰＵ１６０８、ＣＰＵ１６０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
【0260】
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
【0261】
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
【0262】
加えて、「基づく」という用語の使用は、「単に基づく」又は「のみに基づく」として解釈されるべきではない。そうではなくて、第１の要素が第２の要素「に基づく」ことは、第１の要素が第２の要素だけに基づく或いは第２の要素及び１つ又は複数の追加要素に基づくインスタンスを含む。
【0263】
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図16】
【外国語明細書】