知財求人 - 知財ポータルサイト「IP Force」
特許7481790強化された高ダイナミック・レンジ画像化及びトーン・マッピング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-01
(45)【発行日】2024-05-13
(54)【発明の名称】強化された高ダイナミック・レンジ画像化及びトーン・マッピング
(51)【国際特許分類】
G06T 5/90 20240101AFI20240502BHJP
H04N 23/76 20230101ALI20240502BHJP
【ＦＩ】
G06T5/90
H04N23/76
【請求項の数】
22
【外国語出願】
(21)【出願番号】P 2019216105
(22)【出願日】2019-11-29
(65)【公開番号】P2021022354
(43)【公開日】2021-02-18
【審査請求日】2022-09-22
(31)【優先権主張番号】16/526,902
(32)【優先日】2019-07-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】イーニン デン
(72)【発明者】
【氏名】エリック デュジャルダン
(72)【発明者】
【氏名】ハミドレザ ミルザエイ ドマビ
(72)【発明者】
【氏名】ソン ヒョン ファン
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】国際公開第２０１８／００９８２８（ＷＯ，Ａ１）
【文献】特開２０１６－０７６９０８（ＪＰ，Ａ）
【文献】特開２００６－１２９１１３（ＪＰ，Ａ）
【文献】佐田 歩美, 外3名，"ＨＤＲ画像のトーンマッピング処理におけるコントラスト強調の効果"，電子情報通信学会技術研究報告，一般社団法人電子情報通信学会，2017年10月05日，Vol.117, No.235，p.1-6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／９０
Ｈ０４Ｎ ２３／７０ －２３／７６
Ｈ０４Ｎ ５／２２２－ ５／２５７
(57)【特許請求の範囲】
【請求項1】
少なくとも第１の画像データによって定義された第１の画素値に基づいて複数のトーン制御ポイントを決定するステップと、前記複数のトーン制御ポイントの第１のトーン制御ポイントに少なくとも基づいて、トーン・マッピング関数の変化の割合を計算するステップと、
前記トーン・マッピング関数を第２のトーン制御ポイントにおける変化の割合を制約することに少なくとも基づいて、トーン・マッピング関数の曲線を前記複数のトーン制御ポイントの第２のトーン制御ポイントにフィッティングするステップと、
前記トーン・マッピング関数を用いて、第２の画素値を定義する第２の画像データを生成するステップと、
を含む、方法。
【請求項2】
前記変化の割合は、前記複数のトーン制御ポイントの前記第１のトーン制御ポイント及び第３の制御ポイントに対応し、前記曲線は、前記変化の割合を用いて前記第２のトーン制御ポイント及び前記第３の制御ポイントにフィッティングする、請求項１記載の方法。
【請求項3】
前記第１の画像データは高ダイナミック・レンジ（ＨＤＲ）画像データからなり、前記第２の画像データの生成は、前記トーン・マッピング関数を用いて前記ＨＤＲ画像データを低ダイナミック・レンジ画像データに変換することを含む、請求項１に記載の方法。
【請求項4】
前記トーン・マッピング関数は、第１の入力値を、前記第１のトーン制御ポイントの値とは異なる第２の出力値にマッピングする、請求項１に記載の方法。
【請求項5】
前記第１のトーン制御ポイントは、前記第１の画像データの任意の色値に対応する第２のトーン制御ポイントに少なくとも基づいて計算されることを特徴とする請求項１記載の方法。
【請求項6】
前記第１のトーン制御ポイントは、前記トーン・マッピング関数の抑制閾値を定義する、請求項１に記載の方法。
【請求項7】
前記第１のトーン制御ポイントは、前記トーン・マッピング関数のフレア抑制閾値を定義する、請求項１に記載の方法。
【請求項8】
前記曲線は、前記トーン・マッピング関数のハイライト圧縮閾値を定義する前記トーン制御ポイントの高トーン・ポイントを通過する、請求項１記載の方法。
【請求項9】
前記第１の画像データは、車両に対応する少なくとも１つのカメラ・デバイスから取得されたものであり、前記第２の画像データは、前記車両に対応する１つ以上の自律的な制御動作を実行するための入力として使用される、請求項１に記載の方法。
【請求項10】
処理を実行する１つ以上の処理ユニットを備えるシステムにおいて、前記処理は、少なくとも１つ以上の第１の画像の色情報に基づいて複数のトーン制御ポイントを決定するステップと、
少なくとも前記複数のトーン制御ポイントの第１のトーン制御ポイントに基づいてゲイン値を計算するステップと、
少なくとも前記ゲイン値を用いて第２のトーン制御点におけるトーン・マッピング関数の変化の割合を制約することに基づいて、前記複数のトーン制御ポイントの第２のトーン制御点に前記トーン・マッピング関数をフィッティングするステップと、
前記トーン・マッピング関数を用いて、１つ以上の第２の画像を表す画像データを生成するステップと、
を含む、システム。
【請求項11】
前記ゲイン値は、前記変化の割合を表す、請求項１０に記載のシステム。
【請求項12】
前記１つ以上の第１の画像は、１つ以上の高ダイナミック・レンジ（ＨＤＲ）画像を含み、前記画像データを生成するステップは、前記トーン・マッピング関数を使用して、前記１つ以上のＨＤＲ画像を１つ以上の低ダイナミック・レンジ画像に変換することを含む、請求項１０に記載のシステム。
【請求項13】
前記ゲイン値は、前記複数のトーン制御ポイントのうち、前記第１のトーン制御ポイントと第３のトーン制御ポイントとを通る直線に対応する、請求項１０に記載のシステム。
【請求項14】
前記第１のトーン制御ポイントは、前記トーン・マッピング関数のフレア抑制閾値を表す、請求項１０に記載のシステム。
【請求項15】
前記トーン・マッピング関数は、前記第１のトーン制御ポイントを通過することなく、前記複数のトーン制御ポイントを通過するように制約されたグローバル・トーン曲線を定義する、請求項１０に記載のシステム。
【請求項16】
前記システムは自律型車両に組み込まれ、当該自律型車両は、前記１つ以上の第１の画像の少なくとも１つを生成する画像センサを含み、前記画像データの少なくとも一部は、前記自律型車両を制御するために使用される出力を生成する１つ以上のニューラル・ネットワークへの入力として使用される、請求項１０に記載のシステム。
【請求項17】
１つ以上の回路を含むプロセッサであって、前記１つ以上の回路は、１つまたは複数の第１の画像の色情報によって定義されるトーン制御ポイントのセットの第１のトーン制御ポイントに少なくとも基づいて、ゲイン値を決定することと、
少なくとも、第２のトーン制御ポイントにおけるトーン・マッピング関数の傾斜をゲイン値に対応するように制約することに基づいて、前記トーン制御ポイントのセットの第２のトーン制御ポイントにトーン・マッピング関数をフィッティングすることと、
前記トーン・マッピング関数を用いて１つ以上の第２の画像を生成すること
とを含む、プロセッサ。
【請求項18】
前記１つ以上の回路は、少なくとも前記１つ以上の第１の画像における中トーン・ポイントの色の値に基づいて前記第１のトーン制御ポイントを計算する、請求項１７に記載のプロセッサ。
【請求項19】
前記第１のトーン制御ポイントは、抑制閾値のポイントを含み、前記第２のトーン制御ポイントは、中トーン制御ポイントを含み、前記トーン制御ポイントのセットは、低トーン制御ポイント及び高トーン制御ポイントを更に含み、前記傾斜は、前記低トーン制御ポイント、前記中トーン制御ポイント及び前記高トーン制御ポイントを含む曲線を定義する、請求項１７に記載のプロセッサ。
【請求項20】
前記トーン・マッピング関数の傾斜を制約することは、前記ゲイン値を用いて前記トーン制御ポイントの集合にパラメータ関数のパラメータをフィッティングすることを含む、請求項１７に記載のプロセッサ。
【請求項21】
前記ゲイン値は、前記第２のトーン制御ポイントにおける傾斜を示す、請求項１７に記載のプロセッサ。
【請求項22】
前記ゲイン値は、前記トーン制御ポイントの集合の前記第１のトーン制御ポイントと前記第２のトーン制御ポイントとを通る直線に対応し、当該直線は、前記トーン・マッピング関数とは別個である、請求項１７記載のプロセッサ。
【発明の詳細な説明】
【背景技術】
【0001】
高ダイナミック・レンジ画像化（ＨＤＲＩ：Ｈｉｇｈ－Ｄｙｎａｍｉｃ－Ｒａｎｇｅ Ｉｍａｇｉｎｇ）は、高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）の画像データを生成する技法を含む。すなわち、ＨＤＲＩは、最小可能画素値（たとえば、最小可能光度値）に対する最大可能画素値（たとえば、最大可能光度値）の比率の増加をもたらす。より小さい光度値の画素は、エンコードされた画像のより暗い（たとえば、より黒い）領域としてレンダリングされ、一方、より大きい光度値の画素は、画像のより明るい（たとえば、より白い）領域としてレンダリングされる。最小光度値に対する最大光度値の比率の向上により、また増加したダイナミック・レンジ（ＤＲ）をレンダリングするための十分な能力を有するデバイスで表示されるとき、ＨＤＲ画像は、さらなる細部及びコントラストを提供することができ、それ故に、視聴者にはより現実的で自然に見え得る。たとえば、適切にレンダリングされるとき、ＨＤＲ画像データ内にエンコードされたシーンの画像は、シーンを直接見ているときに人が実際に見るであろうものにより近く見え得る、又は他の方法でより魅力的な見た目になり得る。しかしながら、従来のディスプレイ及びプリンタなどの多数のデバイスは、ＨＤＲ画像データをレンダリングすることを可能にされていない。したがって、ＨＤＲ画像データは、ＨＤＲ画像データをより低いダイナミック・レンジ画像データに変換するようにトーン・マッピングされ得る。
【発明の概要】
【発明が解決しようとする課題】
【0002】
ＨＤＲ画像データのトーン・マッピングの従来の方法は、ＨＤＲ画像データをキャプチャするときにカメラの自動露出（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）設定は適切に構成されていると仮定し得る。この仮定は、一部の状況において失敗であることがあり、劣化したトーン・マップ画像をもたらす。さらに、ＨＤＲ画像及び／又はトーン・マッピングされたＨＤＲ画像データによってエンコードされた画像の輝度を制御するとき、いくつかの従来の方法は、デジタル・ゲイン関数をＨＤＲ画像データに適用することがある。デジタル・ゲイン関数は、「色褪せた」、より現実的でない、又は他の方法で見た目に魅力的でないように見えるようにＨＤＲ画像及び／又はトーン・マッピングされたＨＤＲ画像をレンダリングすることなどによってＨＤＲＩに関連する視覚的利益の多くを損なわせることがある。
【課題を解決するための手段】
【0003】
本開示の実施例は、高ダイナミック・レンジ（ＨＤＲ）画像データのトーン・マッピング、並びにトーン・マッピングされたＨＤＲ画像データの輝度の制御に向けられている。トーン・マッピングされたＨＤＲ画像データは、画素値の圧縮、たとえば、トーン・マッピングされたＨＤＲ画像データへのガンマ圧縮関数の適用を介して標準ダイナミック・レンジ（ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像データ又は低ダイナミック・レンジ（ＬＤＲ：Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）に変形され得る。
【0004】
ＡＥ設定及びデジタル・ゲイン関数の適切な構成に頼るのではなくて、様々な実施例は、ＨＤＲ画像データのためのトーン・マッピング関数を生成することによって、ＨＤＲ画像データの画像輝度を制御することができる。ＨＤＲ画像データに適用されるとき、トーン変形されたＨＤＲ画像データが、ＡＥ設定の適切な構成に頼らずに、画像化されたシーンの照明状態に一致する画像輝度をエンコードすることができるように、トーン・マッピング関数は、ＨＤＲ画像データのトーン（たとえば、輝度）をマップする。トーン・マッピング関数はまた、ＨＤＲ画像化による視覚的アーティファクトを最小限に抑えることができる（たとえば、ハイライトのフレア抑制及び圧縮）。トーン・マッピングされるとき、ＨＤＲ画像データは、ＨＤＲ画素値の最小有効ビット（ＬＳＢ：Ｌｅａｓｔ－Ｓｉｇｎｉｆｉｃａｎｔ－Ｂｉｔ）のフィルタリングを介してＳＤＲ又はＬＤＲ画像データに圧縮され得る。
【0005】
１個の非限定的実施例は、ソース画像データのキャプチャ及び／又は受信を含む。ソース画像データは、ＨＤＲ画像データでもよく、ソース画像を表す及び／又はエンコードすることができる。トーン制御ポイントは、ソース画像データのソース画素値に基づいて決定される。決定されたトーン制御ポイントは、低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントを含み得る。一部の実施例では、トーン制御ポイントは、フレア抑制ポイントを追加で含み得る。トーン・マッピング関数は、トーン制御ポイントの少なくとも一部に基づいて決定され得る。たとえば、トーン・マッピング関数は、曲線（たとえば、グローバル・トーン曲線）を定義するパラメータ関数でもよく、関数のパラメータは、曲線が低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントを通過する（又は含む）ように制約されるように、適合させられる。一部の実施例では、曲線はさらに、追加で決定されたポイントの少なくとも一部を通過するように制約される。
【0006】
少なくとも１個の実施例では、トーン・マッピング関数の決定はさらに、ゲイン値に基づき得る。ゲイン値は、中トーン・ポイントと、フレア抑制ポイントなどのしかしこれに限定されない、トーン制御ポイントのうちの他の少なくとも１個とに基づいて決定され得る。ゲイン値は、中トーン・ポイント及びフレア抑制ポイントを通過するゲイン線の傾斜と等しくなるように決定され得る。中トーン・ポイントの構成要素のうちの１個において評価された、関数の変化の派生的及び／又は瞬間的割合が、ゲイン値と少なくともほぼ等しいように、トーン・マッピング関数のフィッティングは、さらに制約され得る。対象画像データ（たとえば、より低いダイナミック・レンジ画像データ）は、トーン・マッピング関数の適用を介して、ソース画像をエンコードするソース画像データ、及び／又は後続のフレームをエンコードするソース画像データを変形することによって、生成され得る。対象画像データは、ソース画像データの画素値へのトーン・マッピング関数の適用によって定義される、対象画素値を含み得る。
【0007】
高ダイナミック・レンジ画像データのトーン・マッピング及び画像の輝度の制御のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
【図面の簡単な説明】
【0008】
【図1】本開示のいくつかの実施例による、高ダイナミック・レンジ画像化システムの概略図である。
【図2A】ソース画像データの画素値に対応する第１の次元の第１の基底ベクトルと、対象画像データの画素値に対応する第２の次元の第２の基底ベクトルとによって張られた２Ｄ空間に組み込まれた低トーン、中トーン、高トーン、及びフレア抑制制御ポイントを示す図である。
【図2B】様々な実施例による、トーン・マッピング関数のプロットの非限定的実施例を示す図である。
【図3】本開示のいくつかの実施例による、高ダイナミック・レンジ画像データのトーン・マッピングのための方法を示す流れ図である。
【図4】本開示のいくつかの実施例による、より高いダイナミック・レンジ画像データからより低いダイナミック・レンジ画像データを生成するための方法を示す流れ図である。
【図5】本開示のいくつかの実施例による、トーン・マッピングの動作を分散させる方法を示す流れ図である。
【図6A】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。
【図7】本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティング環境のブロック図である。
【発明を実施するための形態】
【0009】
高ダイナミック・レンジ画像化（ＨＤＲＩ）に関連するシステム及び方法が開示される。より具体的には、本明細書に記載の実施例は、高ダイナミック・レンジ（ＨＤＲ）画像データのトーン・マッピング、並びにＨＤＲ画像データによってエンコードされた画像及び／又はトーン・マッピングされた画像データによってエンコードされた画像の輝度の制御に関する。
【0010】
トーン・マッピングされたＨＤＲ画像データは、画素値の圧縮、たとえば、トーン・マッピングされたＨＤＲ画像データへのガンマ圧縮関数の適用、を介して標準ダイナミック・レンジ（ＳＤＲ）画像データ又は低ダイナミック・レンジ（ＬＤＲ）に変形され得る。１個の非限定的実施例は、ソース画像データのキャプチャ及び／又は受信を含む。ソース画像データは、ＨＤＲ画像データでもよく、ソース画像を表す及び／又はエンコードすることができる。トーン制御ポイントは、ソース画像データのソース画素値に基づいて決定される。決定されたトーン制御ポイントは、低トーン・ポイント、中トーン・ポイント、及び／又は高トーン・ポイントを含み得る。一部の実施例では、トーン制御ポイントは、フレア抑制ポイントを追加で含み得る。少なくとも１個の実施例では、追加のトーン制御ポイントが決定される。
【0011】
トーン・マッピング関数は、制御ポイントの少なくとも一部に基づいて決定され得る。たとえば、トーン・マッピング関数は、曲線（たとえば、グローバル・トーン曲線）を定義するパラメータ関数でもよい。関数のパラメータは、曲線が低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントを通過する（又は含む）ように制約されるように、適合され得る。一部の実施例では、曲線は、追加で決定されたポイントの少なくとも一部を通過するようにさらに制約される。
【0012】
少なくとも１個の実施例では、トーン・マッピング関数の決定は、ゲイン値にさらに基づき得る。ゲイン値は、中トーン・ポイントと、フレア抑制ポイントなどの、しかしこれに限定されない、トーン制御ポイントのうちの少なくとも他の１個とに基づいて、決定され得る。ゲイン値は、中トーン・ポイント及びフレア抑制ポイントを通過するゲイン線の傾斜と等しくなるように決定され得る。中トーン・ポイントの構成要素のうちの１個で評価された、関数の変化の派生的及び／又は瞬間的割合がゲイン値と少なくともほぼ等しいように、トーン・マッピング関数のフィッティングはさらに制約され得る。対象画像データは、ソース画像データへのトーン・マッピング関数の適用を介して、ソース画像データを変形することによって、生成され得る。対象画像データは、ソース画像データの画素値へのトーン・マッピング関数の適用によって定義される、対象画素値を含み得る。
【0013】
従来の手法とは対照的に、様々な実施例は、ＡＥ設定に頼らずにＨＤＲ画像データのトーン・マッピングを可能にする。以下で説明するように、トーン・マッピングされた画像は、従来の手法を介してトーン・マッピングされた画像と比べて、さらなる細部及びコントラストを有することができる。さらに、様々な実施例は、デジタル・ゲイン関数の適用なしに、ＨＤＲ画像及び／又はトーン・マッピングされた画像の全体的画像輝度の制御を可能にする。それ故に、様々な実施例によって生成された画像は、従来の生成された画像ではそうなったであろう状況において「色褪せて」見えないことが可能である。追加で、実施例は、フレア（たとえば、画像データにおける正のブラック・ポイント又は黒レベル減算におけるエラー）を上手く抑制する、並びにＨＤＲ画像データ内のハイライト（たとえば、有意の光度値を有する画素）を圧縮することができる。様々な実施例は、ＨＤＲ画像データの増加した細部及びコントラストをエンコードする必要不可欠な情報の多くを保存しつつ、ＨＤＲ画像データを標準ダイナミック・レンジ（ＳＤＲ）又は低ダイナミック・レンジ（ＬＤＲ）画像データ内に圧縮するための強化された方法を追加で提供する。
【0014】
様々な実施例のいくつかのＨＤＲＩ技法は、複数のＳＤＲ画像のうちの各画像の別個の露出設定又は期間を有する、同シーンの複数のキャプチャされたＳＤＲ画像の結合又は混合を含む。（ＨＤＲ画像データによってエンコードされた）ＨＤＲ画像は、複数のＳＤＲ画像の画素値によって生成され得る。たとえば、画像化されたシーンのより暗い領域のＨＤＲ画像の画素値の決定は、より長い露出時間を有するＳＤＲ画像の対応する画素値によって支配され得る。より長い露出時間によって生成されたが画素値の使用は、シーンのより暗い領域においてより大きな細部及びコントラストのキャプチャを可能にし得る。シーンのより明るい領域のＨＤＲ画素値の決定は、より短い露出時間でキャプチャされたＳＤＲ画像の対応する画素値によって支配され得る。より短い露出時間によって生成された画素値の使用は、シーンのより明るい又はより輝く領域での「ウォッシュアウト」又は露出過度効果を防ぐことができる。他の実施例では、ＨＤＲ画像データは、単一の画像から生成することができ、より暗い領域に対応する画像センサ（たとえば、カメラ画素）は、より長い露出期間にわたりキャプチャされ、より明るい領域に対応する画像センサは、より短い露出期間にわたりキャプチャされる。
【0015】
前述のように、従来のＨＤＲカメラ及びシステムは、ユーザが彼らのカメラのＡＥ設定を適切に構成することに依存する。そのようなＡＥ設定は、自動露出ブラケティング（ＡＥＢ： Ａｕｔｏ Ｅｘｐｏｓｕｒｅ Ｂｒａｃｋｅｔｉｎｇ）設定及び／又は様々なＡＥモード（たとえば、夜及び昼ＡＥモード）を含み得る。これらのＡＥ設定は比較的静的であり、ユーザが彼らの現在の環境に合うように設定を変更することはめったにない。さらに、ほんのわずかな予め構成されたモードが、ユーザに利用可能であることがあり（たとえば、昼モード又は夜モード）、それらがいずれも現在の環境と一致しないことがある。たとえば、従来のＨＤＲカメラは、晴れた日、曇りの日、又はそれらの間の状態のために別個のＡＥモードを提供しないことがある。
【0016】
ＡＥモードが、シーンの現在の照明状態と一致する露出設定を適切に提供しないとき、ＨＤＲ画像の全体的輝度は、シーンの照明状態を現実に反映しないことがある。たとえば、ＨＤＲ画像は、シーンの現在の照明状態が提供するように明るく照らされたシーンをレンダリングしないことがある。この照明の不一致を補完するために、従来のＨＤＲカメラ及びシステムは、しばしば、ＨＤＲ画素値の光度を調整する又は引き上げるためにデジタル・ゲイン関数を使用する。様々な照明状態及び／又はＡＥ設定の下で、画素に適用されるゲイン値はかなりになり得る。そのような大きなゲインは、しばしば、ＨＤＲ画像のより明るい領域を満たし及び／又はクリップし、レンダリングされたときにこれらの領域を色褪せて又は露出過度に見えるようにすることがある。それ故に、これらの様々なシナリオでは、従来のＨＤＲカメラ及びシステムは、ユーザがＨＤＲＩを介してキャプチャすることを意図していた増加した細部及びコントラストを達成することに失敗する。
【0017】
従来のＨＤＲカメラ及びシステムは、付加的制限と関連付けられる。たとえば、ＳＤＲデバイスが従来のＨＤＲ画像データをレンダリングするとき、従来のＨＤＲ画像データの増加した細部及びコントラストの多くは失われ得る。増加したＤＲをエンコードするために、ＨＤＲ画像データは、ＳＤＲ画像の深度よりも大きな深度の画素を含み得る。たとえば、ＳＤＲ画像データの画素深度は、２４ビット（１カラー・チャネルごとに８ビット）でもよいが、いくらかのＨＤＲ画像データの画素深度は、９６ビット（１カラー・チャネルごとに３２ビット）以上でもよい。多数の表示デバイス、データ・ストリーム、記憶デバイス、及びプリンタ（たとえば、ＳＤＲデバイス）は、そのような深度の画素を表示、ストリーミング、記憶、及び／又は印刷することができないので、ＨＤＲ画像データは、しばしば、より浅い画素深度に変形される。それを行うために、トーン・マッピングが、ＳＤＲデバイスにより適し得るＳＤＲ画素値にＨＤＲ画素値を変形（又はマップ）するために使用され得る。たとえば、トーン・マッピングは、ＨＤＲ画像データをＳＤＲの、又はさらに低いダイナミック・レンジ（ＬＤＲ）の、画像データに変形するために使用され得る。後述するように、従来のトーン・マッピングは、ＨＤＲ画像の細部及びコントラストの有意の損失をもたらし得る。
【0018】
従来のトーン・マッピングは、ＨＤＲ画像データの損失の多い圧縮をもたらすことがあり、多数のシナリオにおいて、ＨＤＲ画像と比較して、より低いダイナミック・レンジ画像又は標準ダイナミック・レンジ画像の品質を有意に下げることがある。より具体的には、従来のトーン・マッピングは、ＨＤＲ画像が視聴者に自然に及び現実的に見えることを可能にするＨＤＲ画像データの必要不可欠な情報を保存する能力において制限され得る。それ故に、従来のトーン・マッピングを介して、増加した細部及びコントラストをレンダリングする必要不可欠なＨＤＲ情報の多くが、圧縮手続きにおいて失われ得る。
【0019】
特に、前述のＡＥ設定及び／又はモードがシーンの現在の照明状態に不適切なとき、従来のトーン・マッピングは、ＨＤＲ画像データの相当量の必要不可欠な情報を保存しないことがある。たとえば、薄暗く照らされたシーンを画像化するとき、ユーザは、昼モードから夜モードに従来のＨＤＲカメラを移行するのに失敗することがある。ＨＤＲ画像データは、画像化されたシーンのより暗い領域の細部及びコントラストの多くをエンコードすることに失敗するので、ＨＤＲ画像は、露光不足に見えることがある。結果として、露光不足のＨＤＲ画像データからＳＤＲ（又はＬＤＲ）画像を生成するとき、ＳＤＲ画像の露光不足の様子は、さらに明らかになり得る。
【0020】
ＡＥ設定が現在の照明状態に適しているときでも、照明状態は、短い時間スパンにわたり動的でもよいが、ＡＥ設定はこれらの短い時間スパンにわたり一定に保持される。従来のトーン・マッピングは、フレーム・レベルで適用されるので、従来のマッピングは、動的照明状態を容易に説明することはできないことがある。たとえば、ＨＤＲビデオ画像データのキャプチャ中に、比較的明るい物体（たとえば、非常に反射する物体又は光源を含む物体）がシーンに入ることがあり、現在のＡＥ設定が、明るい物体の導入には不適切なことがある。従来のトーン・マッピングは、露出過度として、動的な明るく照らされた物体をレンダリングすることがあり、ビデオ画像データの全体的輝度は変動することがある。
【0021】
ＡＥ設定及びデジタル・ゲインの適切な構成に頼るのではなくて、様々な実施例は、ＨＤＲ画像データのためのトーン・マッピング関数を生成することによって、輝度を制御することができる。いくつかの非限定的実施例では、トーン・マッピング関数は、グローバル・トーン・マッピング（ＧＴＭ：Ｇｌｏｂａｌ Ｔｏｎｅ Ｍａｐｐｉｎｇ）関数及び／又はグローバル・トーン曲線（ＧＴＣ：Ｇｌｏｂａｌ Ｔｏｎｅ Ｃｕｒｖｅ）でもよい。トーン・マッピング関数は、ＨＤＲ画像に基づいて、動的に及び／又はグローバルに決定され得る。そのようなものとして、トーン・マッピング関数は、ＨＤＲ画像データを動的に及びグローバルにトーン・マッピングするために使用され得る。ＨＤＲ画像データに適用されるとき、トーン変形されたＨＤＲ画像データが、ＡＥ設定の適切な構成に頼らずに、画像化されたシーンの照明状態に一致する画像輝度をエンコードすることができるように、トーン・マッピング関数は、ＨＤＲ画像データのトーン（たとえば、輝度）をマップすることができる。トーン・マッピング関数はまた、ＨＤＲ画像化による視覚的アーティファクトを最小限に抑えることができる（たとえば、ハイライトのフレア抑制及び圧縮）。
【0022】
トーン・マッピングされるとき、ＨＤＲ画像データは、ＨＤＲ画素値の最小有効ビット（ＬＳＢ）のフィルタリングを介してＳＤＲ又はＬＤＲ画像データに圧縮され得る。一部の実施例では、画素深度低減の前に、トーン・マッピングされたＨＤＲ画像データは、ガンマ圧縮関数を介してカラー圧縮され得る。たとえば、ＨＤＲ画像データは、固定の（又は少なくとも比較的固定の）露出設定を介してキャプチャされ得、キャプチャされたＨＤＲ画像データは、ソース画像データと称され得る。トーン・マッピング関数は、ソース画像データの画素値の分析に基づいて動的に決定され得る。トーン・マッピング関数は、ソース画像データのソース画素値を対象画像データの対象画素値にマップする非線形関数でもよい。非線形の実施例については、非線形のトーン・マッピング関数及び／又はＧＴＭ関数が、グローバル・トーン曲線（ＧＴＣ）として２Ｄ座標内にプロットされ得る。トーン・マッピング関数が、従来のＡＥ設定及び／又はデジタル・ゲインに頼らずに、対象画像データの輝度（又はトーン）を本質的に制御するために使用され得る。
【0023】
トーン・マッピング関数を生成するために、複数の制御ポイントは、ソース画像データの動的分析に基づいて、決定され得る。制御ポイントは、ソース及び対象画素値の範囲によって張られた平面において定義され得る。一部の実施例では、制御ポイントは、ソース画像データの関心領域（ＲＯＩ：ｒｅｇｉｏｎ－ｏｆ－ｉｎｔｅｒｅｓｔ）に基づいて定義され得る。トーン・マッピング関数は、ソース画像画素の値と対象画像画素の値との間の１対１の非線形のマッピングを定義することができる。それ故に、トーン・マッピング関数は、ソース／対象平面において曲線を定義する（又は、少なくとも、その数値近似を評価する）ことができる。曲線は、曲線、たとえば、変化する傾斜を有する複数の区分的線形セグメント、の近似値でもよい。すなわち、トーン・マッピング関数は、スプライン関数でもよい。スプライン関数は、１より大きい次数の多項式を含み得る。一部の実施例では、トーン・マッピング関数は、１対１の線形マッピング関数でもよい。平面内の制御ポイントは、トーン・マッピング関数の１個又は複数の制約を定義することができる。一部の実施例では、パラメータ化されたトーン・マッピング関数は、１個又は複数の制約に基づいて、適合することができる（たとえば、トーン・マッピングを定義するパラメータが、差分又は費用関数を最小限に抑えることによって選択され得る）。より具体的には、費用関数は、１個又は複数の制約によって定義され得る。たとえば、任意の次数の多項式セグメントを有する、スプライン関数は、１個又は複数の制約に基づいて適合され得る。
【0024】
制御ポイントの少なくとも一部は、特定の及び有限の数のソース画素値及び対応する対象画素値のトーン・マッピングのための制約を示し得る。トーン・マッピング関数は、これらの特定のトーン・マッピングを少なくとも概算するために、適合され得る。フレアを抑制する及びハイライトを圧縮するために、制御ポイントのうちのいくつかは、ソース画像データのフレア抑制又はハイライト圧縮閾値を定義することができる。制御ポイントの少なくとも一部は、１又は制御ポイントで評価された、トーン・マッピング関数の導関数（又は少なくともその数値近似）を制約するために使用され得る。すなわち、制御ポイントのうちのいくつかは、１個又は複数の他の制御ポイントにおいてトーン・マッピング関数のゲイン（たとえば、ゲイン値）の傾斜を制約するために使用され得る。
【0025】
一部の実施例では、少なくとも３個の制御ポイントが、決定され得る：低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイント。低トーン・ポイントは、ソース画像データの最も低い画素値と対象画像データの最も低い画素値との間のトーン・マッピング、並びにソース画像データのフレア抑制閾値を定義することができる。同様に、高トーン・ポイントは、ソース画像データの最も高い画素値と対象画像データの最も高い画素値との間のトーン・マッピング、並びにソース画像データのハイライト圧縮閾値を定義することができる。中トーン・ポイントは、ソース画像データの中トーン値と対象画像データの中トーン値との間のトーン・マッピングを定義することができる。後述するように、中トーン・ポイントは、トーン・マッピング関数の導関数を制約するために追加で使用することができる。
【0026】
低トーン・ポイントは、ソース及び対象画像データの最も暗い又は「黒い」画素のトーン値の間のマッピングを定義することができるので、低トーン・ポイントは、マッピングの「ブラック・ポイント」（ＢＰ：ｂｌａｃｋ ｐｏｉｎｔ）になり得る。同様に、高トーン・ポイントは、ソース及び対象画像データの最も明るい又は「白い」画素のトーン値の間のマッピングを定義することができるので、高トーン・ポイントは、マッピングの「ホワイト・ポイント」（ＷＰ：ｗｈｉｔｅ ｐｏｉｎｔ）になり得る。一部の実施例では、トーン・マッピング関数を適合するとき、トーン・マッピングパラメータが、これらの制御ポイント評価する（又は少なくとも概算する）ことをトーン・マッピング関数に強制するために選択され得る。トーン・マッピング関数は、追加の制御ポイントを評価する（又は少なくとも概算する）ために制約され得る。
【0027】
少なくとも一部の実施例では、トーン・マッピング関数の導関数（又は少なくともその数値近似）は、中トーン・ポイント、又は任意の他のそのような制御ポイントにおいて制約され得る。すなわち、（トーン・マッピング関数を介して定義される）中トーン・ゲインの傾斜は、中トーン・ポイントにおいて制約及び／又は設定され得る。中トーン・ポイントにおけるトーン・マッピング関数の導関数（又はその数値近似）を制約するために、追加の制御ポイントが定義され得る。中トーン・ポイントにおいて評価された、トーン・マッピング関数の導関数は、中トーン・ポイント及び追加の制御ポイントを通過する線の傾斜（たとえば、ゲイン値）に少なくともほぼ等しくなるように制約され得る。１個のそのような実例では、追加の制御ポイントは、フレアを取り除くためにソース画素値の閾値を指定する最大フレア除去（ＭＦＲ：ｍａｘｉｍｕｍ ｆｌａｒｅ ｒｅｍｏｖａｌ）ポイントでもよい。ＭＦＲポイントは、ユーザによって設定され得る及び／又はソース画像データの統計値に基づいて動的に決定され得る。
【0028】
さらに実例として、中トーン・ゲインの傾斜は、ソース画像データの中トーンに対する対象画像データの中トーンの比率と少なくともほぼ等しくなるように制約され得る。さらなる実例として、中トーン・ゲインの傾斜は、他の方法、たとえば、ユーザ構成可能な設定、によって設定され得る。パラメータ化されたトーン・マッピング関数を適合するとき、パラメータは、これらの又は任意の他の方式で定義された、中トーン・ゲインを少なくとも概算するように、中トーン・ポイントにおいて評価された、トーン・マッピング関数の導関数に強制するように選択され得る。
【0029】
トーン・マッピング関数が決定された後は、対象画像データは、トーン・マッピング関数をソース画像データに適用することによって、生成され得る。一部の実施例では、トーン・マッピング関数の決定とトーン・マッピング関数の適用との間の１個又は複数のフレーム・オフセットが存在し得る。たとえば、トーン・マッピング関数は、第１のソース画像フレームに基づいて決定され得、次のフレームに適用され得る。前述のように、ＳＤＲ又はＬＤＲ画像データは、対象画像データから適切な数のＬＳＢをフィルタリングすることによって、対象画像データから生成され得る。画像データからＬＳＢを落とす前に、ガンマ圧縮が、画素値のカラー範囲を圧縮するために対象画像データに適用され得る。
【0030】
一部の実施例では、トーン・マッピング関数は、画像化デバイスの汎用プロセッサ（たとえば、ＣＰＵ）を介して決定することができ、一方、ソース画像データは、画像化デバイスの特殊プロセッサ（たとえば、画像信号プロセッサ、ＦＰＧＡ、又はＡＳＩＣ）の１個又は複数のパイプラインを介して対象画像データにマップされ得る。一部の実施例では、ソース画像データは、グラフィック処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、画像信号プロセッサ（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、及び／又はデジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）によって処理され得る。一部の実施例では、ソース画像データの統計的メトリックスが決定され得、制御ポイントが、統計的メトリックスから決定され得る。開示される実施例の一部は、車に搭載された画像化デバイス（たとえば、車載カメラ）において配備され得る。さらに、様々な実施例が、自律型車両アプリケーション、又は他のそのようなマシン・ビジョン・アプリケーションにおいて配備され得る。実施例は、１個又は複数のマシン及び／又はコンピュータ・ビジョン方法を使用する任意のアプリケーションにおいて配備され得る。たとえば、実施例は、自律型車両の様々なマシン・ビジョン特徴のいずれかを可能にするために配備され得る（図６Ａ～６Ｄを参照）。実施例は、製造ロボットなどの、しかしこれらに限定されない、ロボットにおいてマシン・ビジョンを可能にするために配備され得る。
【0031】
高ダイナミック・レンジ画像化及びトーン・マッピングのためのシステム
図１を参照すると、図１は、本開示のいくつかの実施例による、高ダイナミック・レンジ画像化（ＨＤＲＩ）システム１００の概略図を提供する。本明細書に記載のこの及び他の配置は単に例として記載されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行する汎用プロセッサ１２２及び／又は画像信号プロセッサ（ＩＳＰ）１２４などの、しかしこれらに限定されない、論理デバイスによって実施され得る。
図１を参照すると、図１は、本開示のいくつかの実施例による、高ダイナミック・レンジ画像化（ＨＤＲＩ）システム１００の概略図を提供する。本明細書に記載のこの及び他の配置は単に例として記載されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行する汎用プロセッサ１２２及び／又は画像信号プロセッサ（ＩＳＰ）１２４などの、しかしこれらに限定されない、論理デバイスによって実施され得る。
【0032】
ＨＤＲＩシステム１００は、特に、１個又は複数の画像センサを含む計算デバイス（たとえば、カメラ）を含み得る。そのような計算デバイスは、モバイル又は固定カメラ（たとえば、ハンドヘルド・カメラ１０２、スマートフォン、タブレットなど）、有人の又は無人の地上車（たとえば、移動車１０４）、有人の又は無人の航空機（たとえば、ドローン１０６）、或いはウェアラブル・デバイス（たとえば、スマート・グラス１０８）を含み得るが、これらに限定されない。１個又は複数の画像センサを含むそのような計算デバイスは、カメラ計算デバイス１０２～１０８と本明細書では総称され得る。
【0033】
いくつかのカメラ計算デバイスが図１に示されているが、これは限定を意図していない。いずれの実例でも、任意の数のカメラ計算デバイス及び／又は図１に明示的に示されていないカメラ計算デバイスが存在し得る。１個又は複数の画像センサ及び／又はカメラを含むほとんどの計算デバイスが、様々な実施例によるＨＤＲＩシステムに含まれ得る。
【0034】
カメラ計算デバイス１０２～１０８（又はシステム１００に含まれる他のカメラ計算デバイス）のいずれも、全体で説明されるように、高ダイナミック・レンジ（ＨＤＲ）画像データをキャプチャするために有効にされた１個又は複数の画像センサを含み得る。ＨＤＲＩシステム１００は、サーバ計算デバイス１１０などの、しかしこれらに限定されない、他の計算デバイスを含み得る。サーバ計算デバイス１１０は、画像センサを含まなくてもよい。しかしながら、他の実施例では、サーバ計算デバイス１１０は、画像センサ（たとえば、補助カメラ）を含み得る。地上車１０４及び／又は航空機１０６は、少なくとも部分的に手動で操作される移動車でもよく、及び／又は有人のときに、部分的に自律的でもよい。一部の実施例では、無人のとき、移動車１０４及び１０６は、自律的な、部分的に自律的な、及び／又は遠隔制御された移動車でもよい。そのような移動車の様々な実施例は、図６Ａ～６Ｄとともに説明される。
【0035】
計算デバイス１０２～１１０を含むがこれらに限定されない、計算デバイスの様々な実施例は、図７の計算デバイス７００とともに説明される。しかしながら、ここでは簡潔に、それぞれの計算デバイスは、１個又は複数の論理デバイスを含み得る。たとえば、カメラ１０２は、論理デバイス１２０を含むように示される。論理デバイス１２０は、汎用プロセッサ１２２（たとえば、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコントローラ、マイクロプロセッサなど）、画像信号プロセッサ（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２４、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１２６、及び／又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）１２８のうちの１個又は複数を含み得る。図１には示されていないが、一部の実施例では、論理デバイス１２０は、グラフィック・プロセッシング・ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み得る。計算デバイス１０２～１１０のいずれも、そのような論理デバイスのうちの１個又は複数を含み得る、ことに留意されたい。
【0036】
ＨＤＲＩシステム１００の様々な構成要素（たとえば、計算デバイス１０２～１１０）は、ネットワーク１１２を介して通信することができる。ネットワークは、ワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）（たとえば、インターネット、公衆交換電話網（ＰＳＴＮ：ｐｕｂｌｉｃ ｓｗｉｔｃｈｅｄ ｔｅｌｅｐｈｏｎｅ ｎｅｔｗｏｒｋ）など）、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）（たとえば、Ｗｉ－Ｆｉ、ＺｉｇＢｅｅ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）・ロー・エネルギ（ＢＬＥ：Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、イーサネット（登録商標）など）、低電力ワイド・エリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ－ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）（たとえば、ＬｏＲａＷＡＮ、Ｓｉｇｆｏｘなど）、グローバル・ナビゲーション・サテライト・システム（ＧＮＳＳ：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）ネットワーク（たとえば、グローバル・ポジショニング・システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ））、及び／又は別のネットワーク・タイプを含み得る。任意の実例において、ＨＤＲＩシステム１００のそれぞれの構成要素は、ネットワーク１１２のうちの１個又は複数を介してその他の構成要素のうちの１個又は複数と通信することができる。
【0037】
計算デバイス１０２～１１０のいずれも、デジタル自動露出高ダイナミック・レンジ（ＤＡＥ ＨＤＲ：Ｄｉｇｉｔａｌ Ａｕｔｏ Ｅｘｐｏｓｕｒｅ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）エンジン１４０の機能及び／又は動作を実装する、動作させる、又は他の方法で実行することができる。たとえば、図１では、カメラ１０２は、ＤＡＥ ＨＤＲエンジン１４０を実装して示されている。しかしながら、計算デバイス１０２～１１０のいずれも、ＤＡＥ ＨＤＲエンジン１４０を実装することを可能にされ得る。論理デバイス１２０のいずれも、ＤＡＥ ＨＤＲエンジン１４０の機能、動作、及び／又はアクションのうちの少なくとも一部を実装することができる。
【0038】
ＤＡＥ ＨＤＲエンジン１４０は、ＨＤＲ画像データのトーン・マッピング、並びにＨＤＲ画像データによってエンコードされた画像及び／又はトーン・マッピングされた画像データの輝度の制御の様々な方法を可能にすることができる。そのような機能性を実施するために、ＤＡＥ ＨＤＲエンジン１４０は、１個又は複数の構成要素、モジュール、デバイスなどを含み得る。そのような構成要素、モジュール及び／又はデバイスは、１個又は複数のＨＤＲ画像センサ１４４、ＨＤＲセンサ露出設定１４２、１個又は複数のＨＤＲ画像センサ１４４、関心領域（ＲＯＩ）ロケータ１４８、遅延ユニット１５０、統計値モジュール１５２、制御ポイント・セレクタ１５４、トーン・マップ・ジェネレータ１５６、及び／又はトーン・マップ・アプリケータ１５８を含み得るが、これらに限定されない。一部の実施例では、これらの構成要素、モジュール、及び／又はデバイスのいずれも、任意選択になり得る。たとえば、図１に示す非限定的実施例では、ＲＯＩロケータ１４８、遅延ユニット１５０、及び統計値モジュール１５２は、任意選択である。他の実施例では、他の構成要素、モジュール、及び／又はデバイスのそれぞれは、任意選択でもよい。
【0039】
図１と併せて説明されるとき、ＤＡＥ ＨＤＲエンジン１４０の構成要素、モジュール、及び／又はデバイスの列挙は、包括的であることを意図されていない。他の実施例では、ＤＡＥ ＨＤＲエンジン１４０は、より少数の又はより多数の構成要素、モジュール、及び／又はデバイスを含み得る。全体を通して説明されるように、ＤＡＥ ＨＤＲエンジン１４０は、それぞれ、図３、４、及び５の方法３００、４００、及び５００とともに説明されるプロセス、アクション、及び／又は動作の少なくとも部分を実装及び／又は実施し得る。そのようなものとして、論理デバイス１２０のうちの１個又は複数は、方法３００、４００、及び／又は５００の少なくとも部分を実装及び／又は実施し得る。
【0040】
ＨＤＲ画像センサ１４４は、ＨＤＲ画像データである画像データをキャプチャするために有効にされる。キャプチャされたＨＤＲ画像データは、ＨＤＲ画像センサ１４４によって画像化された画像又はシーンをエンコードする。ＨＤＲ画像センサ１４４によってキャプチャされた画像データは、ソース画像データと称され得る。それ故に、ソース画像データは、ＨＤＲソース画像をエンコードするＨＤＲ画像データでもよい。全体を通して説明されるように、ソース画像データをキャプチャする、ＨＤＲ画像センサ１４４は、移動車（たとえば、地上車１０４又は航空機１０６）に搭載されてもよい。移動車は、自律的は、又は少なくとも部分的に自律的な、移動車でもよい。移動車は、少なくとも部分的に、ソース画像データ及び／又は対象画像データに基づいて、制御され得る。一部の実施例では、ソース画像データのエンコードは、非線形のマッピングを欠いた線形カラー空間においてでもよい。ＨＤＲ画像センサ１４４は、１個又は複数のＨＤＲセンサ露出設定１４２を含み得る、これに影響され得る、及び／又はこれを受け得る。ＨＤＲセンサ露出設定１４２は、固定の、静的な、及び／又は一定の露出設定でもよい。他の実施例では、ＨＤＲセンサ露出設定１４２の少なくとも一部は、動的及び／又は可変でもよい。そのような実施例では、ＨＤＲセンサ露出設定１４２の値の少なくとも一部は、画像化されることになるシーンの照明状態及び／又は他の環境状態に基づいて、自動的に決定され得る。ＨＤＲセンサ露出設定１４２は、これらの要因及び、ＨＤＲ画像センサ１４４の仕様及び／又は動作などの他の要因に基づいて自動的に設定され得る。少なくとも１個の実施例では、ユーザは、ＨＤＲセンサ露出設定１４２の少なくとも一部を手動で設定することを可能にされ得る。
【0041】
ＨＤＲＩシステム１００内のいくつかの計算デバイスは、画像センサ及び／又はカメラ（たとえば、サーバ計算デバイス１１０）を含まなくてもよい。そのような実施例では、カメラ計算デバイス１０２～１０８のいずれかに含まれるＨＤＲ画像センサは、ソース画像データをキャプチャするために使用され得る。ソース画像データは、サーバ計算デバイス１１０において及び／又はサーバ計算デバイス１１０によって実装されるＤＡＥ ＨＤＲエンジンに、ネットワーク１１２を介して、提供され得る。すなわち、ソースＨＤＲ画像データは、カメラ・デバイス１０２～１０８のうちの少なくとも１個によってキャプチャされ得るが、トーン・マッピング及び画像データの輝度の制御は、サーバ計算デバイス１１０上でオフラインで実行され得る。別の形で述べれば、ＨＤＲ画像データのトーン・マッピングは、画像データをキャプチャしない、サーバ計算デバイス１１０などの、しかしこれに限定されない、別の計算デバイスにオフロードされ得る。カメラ計算デバイス１０２～１０８は、１個又は複数の有人の又は無人の移動車（たとえば、地上車１０４及び航空機１０６）を含み得るので、ソース画像データは、移動車に含まれた又は搭載されたカメラによってキャプチャされ得る。前述のように、移動車は、自律的な、又は少なくとも部分的に自律的な、移動車でもよい。様々な実施例は、地上車１０４又は航空機１０６などの、しかしこれらに限定されない、自律型車両の様々なマシン及び／又はコンピュータ・ビジョン特徴において有効にする、又は少なくとも有効化を支援することができる。実施例は、ロボットのアプリケーションなどの、しかしこれに限定されない、他のアプリケーションのマシン及び／又はコンピュータ・ビジョン特徴を有効にするために使用され得る。
【0042】
図１に示すように、ＤＡＥ ＨＤＲエンジン１４０は、矢印によって示すように、ソース画像データのための２個の並行のパイプラインを含む。より具体的には、ＤＡＥ ＨＤＲエンジン１４０は、画像データ・パイプライン１６２及び画像データ・パイプライン１６４を含み、これらの２個のパイプラインは、並行して動作させることができる。２個のパイプラインは、ＨＤＲ画像センサ１４４と任意選択のＲＯＩロケータ１４８との間で図式的に分岐する。２個の分岐したパイプラインは、トーン・マップ・アプリケータ１５８において図式的に合流する。
【0043】
画像データ・パイプライン１６２は、概して、トーン・マッピング関数（たとえば、グローバル・トーン・マッピング（ＧＴＭ）機能）の決定及び／又は生成の責任を負う。画像データ・パイプライン１６２（任意選択の遅延ユニット１５０又はトーン・マップ・ジェネレータ１５６のいずれかを介する）は、トーン・マップ・アプリケータ１５８を介して画像データ・パイプライン１６４にトーン・マッピング関数を提供する。画像データ・パイプライン１６４は、概して、対象画像データ１６０を生成するためにソース画像データにトーン・マッピング関数を適用する責任を負う。後述するように、１個又は複数のＨＤＲ画像センサ１４４は、ソース画像データをキャプチャし、ソース画像データを画像データ・パイプライン１６２及び１６４のそれぞれに提供する。図１の非限定的実施例では、パイプラインの流れの矢印を介して示されるように、ソース画像データは、任意選択のＲＯＩロケータ１４８を介して画像データ・パイプライン１６２に提供され、ソース・データは、ＨＤＲ画像データ・バッファ１４６を介して並行の画像データ・パイプライン１６４に提供される。
【0044】
ソース画像データ（たとえば、ＨＤＲビデオ実施例）の複数のフレームのキャプチャを含む実施例では、トーン・マッピング関数は、第１のフレームのソース画像データに基づいて生成され得、第２の（たとえば、次に続く）フレームのソース画像データに適用され得る。すなわち、そのような実施例では、環境（たとえば、照明）状態はフレームごとに有意に変化していないので、第１のフレームのソース画像データに基づいて生成されたトーン・マッピング関数は次のフレームのソース画像データに適用可能であり、これに適していることが想定され得る。これらの実施例では、トーン・マッピング関数がそこから生成されたソース・データとトーン・マッピング関数が適用されるソース画像データとの間に１個のフレーム・ラグが存在し得る。たとえば、トーン・マッピング関数を生成するために使用されたソース画像データのフレームは、トーン・マッピング関数が適用されたソース画像データのフレームの前の１個のフレームでもよい。そのような実施例では、トーン・マッピング関数が画像データ・パイプライン１６４のトーン・マップ・アプリケータ１５８に提供されるときに、トーン・マップが次に続くフレームのソース画像データに適用されるように、画像データ・パイプライン１６２の任意選択の遅延ユニット１５０は、１個の（又は複数の）フレームのトーン・マッピング関数をバッファリングすることができる。他の実施例では、ラグは、単一のフレームより大きくてもよく、遅延ユニット１５０は、ソース画像データの複数のフレームのトーン・マッピング関数をバッファリングすることができる。少なくとも１個の実施例では、同じトーン・マッピング関数が、複数のフレームのソース画像データに適用され得る。たとえば、同じトーン・マッピング関数が、５個の連続するフレームのソース画像データに適用され得る。そのような実施例では、画像データ・パイプライン１６２は、５フレームごとにのみトーン・マッピング関数を生成し得る。
【0045】
図１に示すように、ＤＡＥ ＨＤＲエンジン１４０は、対象画像データ１６０を出力する。全体を通して説明されるように、対象画像データ１６０は、ソース画像データによってエンコードされた画像をエンコードすることができる。しかしながら、ＨＤＲ画像センサ１４４によってキャプチャされたソース画像データの画素値ではなくて、対象画像データ１６０の画素値は、トーン・マッピング関数（画像データ・パイプライン１６２を介して決定される）をソース画像データに（画像データ・パイプライン１６４を介して）適用することによって、定義され得る。すなわち、対象画像データ１６０の画素値は、トーン・マッピングされたバージョンのソース画像データの画素値を表し得る。一部の実施例では、出力された対象画像データ１６０は、標準ダイナミック・レンジ（ＳＤＲ）画像データ又は低ダイナミック・レンジ（ＬＤＲ）画像データのいずれかでもよい。しかしながら、他の実施例では、対象画像データ１６０は、ＨＤＲ画像データでもよい。パイプラインは、少なくともいくらか並行のパイプラインであり、そして、一部の実施例では、画像データ・パイプライン１６２の動作の少なくとも一部は、第１の論理デバイス（たとえば、汎用プロセッサ１２２）によって実行され得るので、画像データ・パイプライン１６４の動作の少なくとも一部は、第２の論理デバイス（たとえば、ＩＳＰ１２４）によって実行され得る。少なくとも１個の実施例では、ＩＳＰ１２４内の１個又は複数のパイプラインが、ＤＡＥ ＨＤＲエンジン１４０の画像データ・パイプライン１６４によって使用され得る。
【0046】
図１に示すように、ソース画像データの少なくとも一部は、ＨＤＲ画像データ・バッファ１４６を介して画像データ・パイプライン１６４によって提供及び／又は受信され得る。ＨＤＲ画像データ・バッファ１４６は、ソース画像データをバッファリングする又は少なくとも一時的に記憶することができる。さらに詳しく後述するように、画像データ・パイプライン１６２は、トーン・マッピング関数を生成し、トーン・マッピング関数を画像データ・パイプライン１６４に提供する。より具体的には、図１に示すように、任意選択の表示ユニットは、少なくとも１個のフレームのトーン・マッピング関数をバッファリングし、次いで、トーン・マッピング関数を画像データ・パイプライン１６４のトーン・マップ・アプリケータ１５８に提供する。トーン・マップ・アプリケータは、ＨＤＲ画像データ・バッファ１４６からソース画像データを受信し、トーン・マッピング関数をソース画像データに適用して対象画像データ１６０を生成する。
【0047】
前述のように、トーン・マップ・アプリケータ１５８によって受信されるソース画像データは、トーン・マッピング関数を生成するために使用されたソース画像データ内のフレームと比べて、次のフレームのソース画像データでもよい。遅延ユニット１５０を含まない実施例では、ソース画像データは、トーン・マップ・ジェネレータ１５６からトーン・マップ・アプリケータ１５８に直接提供され得る。そのような実施例では、トーン・マッピング関数は、トーン・マッピング関数を生成するために使用された同じフレームのソース画像データに適用され得る。
【0048】
任意選択のＲＯＩロケータ１４８を含む実施例では、ソース画像データは、ＲＯＩロケータ１４８を介して画像データ・パイプライン１６２に提供され得る及び／又はこれによって受信され得る。ＲＯＩロケータ１４８を含まないが統計値モジュールを含む実施例では、ソース画像データは、任意選択の統計値モジュール１５２を介して画像データ・パイプライン１６２に提供される。ＲＯＩロケータ１４８及び統計値モジュール１５２の両方を欠いた実施例では、ソース画像データは、制御ポイント・セレクタ１５４を介して画像データ・パイプライン１６２に提供され得る。実施例はＲＯＩロケータ及び／又は統計値モジュール１５２を含み得るが、それらの操作性は任意選択でもよいことに留意されたい。たとえば、ユーザは、１個又は複数のソフトウェア・スイッチ及び／又はフラグを介するＲＯＩロケータ１４８及び／又は統計値モジュール１５２のうちの１個又は両方の操作性を有効にすることを選択することができる。同様に、ユーザは、１個又は複数のソフトウェア・スイッチ及び／又はフラグを介するＲＯＩロケータ１４８及び／又は統計値モジュール１５２のうちの一方又は両方の操作性を無効にすることを選択することができる。
【0049】
ＲＯＩロケータ１４８の操作性を含む及び／又は有効にする実施例では、ＲＯＩロケータ１４８は、ソース画像データ内のＲＯＩを決定することができる。たとえば、コンピュータ・ビジョン及び／又は画像処理に関連する１個又は複数の方法（たとえば、ＲＯＩは、ＲＯＩを識別するようにトレーニングされたニューラル・ネットワークの出力でもよい）は、ソース画像データによってエンコードされた画像内の関心のある領域（たとえば、画像のサブジェクト及び／又はフォーカス・ポイントを含む画像の領域）を決定するために使用され得る。本明細書では、ＲＯＩは、他の領域より多いコントラスト、細部、及び／又はより変化する画素値を含む画像内の領域でもよい。たとえば、ＲＯＩは、画像内の他の領域と比較して、画素値のダイナミック・レンジが最大化された又は少なくとも増加した、画像内の領域でもよい。
【0050】
実施例では、ＲＯＩは、画像のサブジェクト又は画像のフォーカスのポイントを含む又はこれに対応する画像の領域でもよい。一部の実施例では、ＲＯＩロケータ１４８は、決定されたＲＯＩの外部の画素を隠すフィルタ又はマスクを含み得る。それ故に、画像データが、画像データ・パイプライン１６２を下に進むとき、画像データは、ＲＯＩに対応する画素値のみを含み得る。それ故に、制御ポイントの決定及びトーン・マッピング関数の生成、並びに画像データ・パイプライン１６２の他の動作（たとえば、統計的メトリックスの決定及び／又は複数の制御ポイントの決定）は、ソース画像をエンコードするソース画像データの全体ではなくて、エンコードされたソース画像内のＲＯＩに対応するソース画像データの一部に基づき得る。
【0051】
統計値モジュール１５２の操作性を含む及び／又は有効にする実施例では、統計値モジュール１５２は、ソース画像データの画素値（又はエンコードされたソース画像のＲＯＩに対応するソース画像データの一部の画素値）に基づいて、複数の統計的メトリックスを決定及び／又は生成することができる。複数の統計的メトリックスは、ソース画像データの画素値に基づく統計的メトリックスを含み得る。統計的メトリックスは、ソース画像データから構築され得る任意の連続的又は個別の統計的分布及び／又はヒストグラムを実質的に特徴付ける１個又は複数のパラメータを含み得る。そのようなパラメータは、ソース画像データの画素値から導出された１個又は複数の統計的分布の平均値、中央値、及び／又は標準偏差を含み得る。
【0052】
ソース画像データ、ＲＯＩに対応するソース画像データの一部、及び／又は複数の統計的メトリックスが、制御ポイント・セレクタ１５４に提供され得る。制御ポイント・セレクタ１５４は、概して、ソース画像データ、ＲＯＩに対応するソース画像データの一部、及び／又は複数の統計的メトリックスに基づいて複数のトーン制御ポイントを決定する責任を負う。さらに具体的には、トーン制御ポイントの少なくとも一部は、ソース画像データの画素値、画素値から決定及び／又は導出された統計的メトリックス、或いはその組合せに基づいて決定され得る。制御ポイント・セレクタ１５４は、汎用プロセッサ１２２を使用して複数のトーン制御ポイントを決定することができる。
【0053】
複数の制御ポイントは、低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントのうちの１個又は複数を含み得る。複数の制御ポイントは、フレア抑制ポイントを含み得る。一部の実施例では、複数のトーン制御ポイントは、追加のトーン制御ポイントを含み得る。トーン制御ポイントは、他の次元は追加することができるが、２個のスカラ値（たとえば、ｘ構成要素及びｙ構成要素）を含む、２Ｄポイント及び／又は２Ｄベクトルでもよい。それ故に、トーン制御ポイントは、ベクトル表記法（ＴＣ＿ｘ、ＴＣ＿ｙ）を介して表すことができ、ＴＣ＿ｘ及びＴＣ＿ｙのそれぞれはスカラ値である。トーン制御ポイントの横座標スカラ値（たとえば、ｘ構成要素及び／又はｘ値）は、ＴＣ＿ｘとして表される。トーン制御ポイントの縦座標スカラ値（たとえば、ｙ構成要素及び／又はｙ値）は、ＴＣ＿ｙとして示される。制御ポイントが組み込まれた２Ｄ空間は、ソース画像データの画素値に対応する横座標基底ベクトル（たとえば、ｘ軸）及び対象画像データの画素値に対応する縦座標基底ベクトル（たとえば、ｙ軸）を含む正規直交基底によって張られ得る。
【0054】
低トーン、中トーン、及び高トーン制御ポイントは、対象画像データの画素値へのソース画像データの画素値の特定のマッピングを示し得る。たとえば、低トーン・ポイントは、対象画像データの最も低い画素値（たとえば、最も暗い又は黒画素に対応する画素値）にトーン・マッピングされることになるソース画像データの画素値を示し得る。同様に、高トーン・ポイントは、対象画像データの最も高い画素値（たとえば、最も明るい又は白い画素に対応する画素値）にトーン・マッピングされることになるソース画像データの画素値を示し得る。そのようなものとして、低トーン・ポイントは、ブラック・ポイント（ＢＰ）と称され得、高トーン・ポイントは、ホワイト・ポイント（ＷＰ）と称され得る。中トーン・ポイントは、対象画像データの中央画素値にトーン・マッピングされることになるソース画像データの画素値を示し得る。中ポイントの決定は、トーン・マッピングされた対象画像データによってエンコードされた対象画像の全体的中トーン輝度（又はトーン）を制御することができ、一方、低トーン・ポイントは、対象画像データ内の最も黒い（又は最も暗い）画素のトーンを制御し、そして、高トーン・ポイントは、対象画像データ内の画素のうちの最も白い（又は最も明るい）画素のトーンを制御する。
【0055】
図２Ａを参照すると、図２Ａは、ソース画像データの画素値に対応する第１の次元の第１の基底ベクトル（たとえば、ｘ軸）及び対象画像データの画素値に対応する第２の次元の第２の基底ベクトル（たとえば、ｙ軸）によって張られた２Ｄ空間に組み込まれた低トーン、中トーン、高トーン、及びフレア抑制制御ポイントを示す。図２Ａの非限定的実施例では、ソース及び対象画像データの画素値は、以下の範囲を有するように正規化されてある：［０，１］。しかしながら、他の実施例では、画素値は、他の範囲に正規化されることがある、又は正規化される必要さえないことがある。たとえば、キャプチャされた画像データの未処理の画素値は、ソース画像データとして使用され得る。他の実施例では、未処理の画素値は、ＤＡＥ ＨＤＲエンジン１４０の画像データ・パイプライン１６２及び１６４に提供される前に正規化及び／又は事前処理され得る。
【0056】
図２Ａでは、低トーン・ポイントはＬＴ＝（Ｂ＿ｓ，Ｂ＿ｔ）として示され、中トーン・ポイントはＭＴ＝（Ｍ＿ｓ，Ｍ＿ｔ）として示され、高トーン・ポイントはＨＴ＝（Ｗ＿ｓ，Ｗ＿ｔ）として示され、ｘ及びｙ構成要素は、すべて、非負のスカラ値である。より具体的には、図２Ａの非限定的実施例では、ＬＴ＝（Ｂ＿ｓ，０）及びＨＴ＝（Ｗ＿ｓ，１）であり、但し、０．０＜Ｂ＿ｓ＜Ｗ＿ｓ＜１．０である。他の実例では、Ｂ＿ｔは０．０と等しい必要はなく、Ｗ＿ｔは１と等しい必要はない。図２Ａは、ＦＳ＝（Ｆ＿ｓ，Ｆ＿ｔ）として示される別の制御ポイント、フレア抑制ポイント、を示し、Ｆ＿ｔは０．０に設定されている。フレア抑制ポイントは、以下でさらに説明される。
【0057】
中トーン・ポイントに関して、Ｍ＿ｓと等しい画素値を有するソース画像データ内の任意の画素が、トーン・マッピング関数を介して、対象画像データのＭ＿ｔの値にトーン・マッピングされ得る。Ｍ＿ｔの決定及び／又は選択は、対象画像の中トーン輝度を制御する。これ故に、Ｍ＿ｔの決定は、対象画像データの画素値の中トーン画素値に基づき得る。一部の実施例では、Ｍ＿ｔ＝０．５である。他の実施例では、Ｍ＿ｔは、他の値を有し得る。いくつかの実例では、ユーザは、Ｍ＿ｔの値を選択及び／又は設定することができる。さらなる実例では、Ｍ＿ｓは、ソース画像データの画素値の線形加重平均を介して決定され得る。追加の実例で、Ｍ＿ｓは、ソース画像データの画素値の対数平均化（たとえば、対数平均化）を介して決定され得る。対数平均化は、ほぼあらゆる基数において実行され得る。しかしながら、一部の実施例では、対数基数は基数１０である。他の実施例では、ソース画像データを対数値に変形するために使用される対数関数は、自然対数関数でもよい。画素値の対数平均値は、次いで、（対応する基数を介して）べき乗されてＭ＿ｓを決定することができる。たとえば、対数変換されたソース画像データ画素値は、ソース画像データの画素値に基づいて決定され得る。対数変換された画像データ値の平均値は、対数変換された画像データ値の線形加重和を介して決定され得る。Ｍ＿ｓは、対数変換された画像データ値の平均値のべき乗に基づいて決定され得る。
【0058】
一部の実施例では、ソース画像データの一部のみが、Ｍ＿ｓを決定するために使用される。たとえば、最も高い値及び最も低い値を有するソース画像データの画素は、分析から拒否及び／又はフィルタリングされ得る。すなわち、高トーン閾値（又はフィルタ値）は、Ｍ＿ｓの決定から高トーン画素を拒否するために使用され得る。同様に、低トーン閾値（又はフィルタ又はフィルタ値）は、Ｍ＿ｓの決定から低トーン画素を拒否するために使用され得る。Ｍ＿ｓは、低トーン・フィルタ及び高トーン・フィルタの両方を通過する画素値（たとえば、分析から閾値処理されていない画素値）の線形又は対数平均化に基づいて決定され得る。フィルタの閾値は、相対的閾値（たとえば、パーセンテージ）、又は絶対値でもよい。一部の実施例では、Ｍ＿ｓ及び／又はＭ＿ｔは、図１の統計値モジュール１５２によって生成された統計的メトリックスに少なくとも部分的に基づいて決定され得る。Ｍ＿ｓ及び／又はＭ＿ｔの決定に関する、前述の様々な方法のいずれも、Ｍ＿ｓ及び／又はＭ＿ｔを決定するために、統計的メトリックスと結合され得る。少なくとも１個の実施例では、Ｍ＿ｓ及び／又はＭ＿ｔは、図１のＨＤＲセンサ露出設定１４２に少なくとも部分的に基づいて決定され得る。Ｍ＿ｓ及び／又はＭ＿ｔの予測モデルは、多数のソース画像データ及び／又は対象画像データから統計的メトリックスを集計することによって生成された履歴、トレーニング、及び／又は学習データの分析に基づいて決定され得る。
【0059】
低トーン・ポイントに関して、Ｂ＿ｓと等しい（又はＢ＿ｓ未満の）画素値を有するソース画像データのうちの任意の画素が、対象画像データのＢ＿ｔの値にトーン・マッピングされ得る。すなわち、Ｂ＿ｓ未満のソース画像データの各画素値は、クリップすることができ、Ｂ＿ｓの画素値を有するように設定され得る。Ｂ＿ｔの決定及び／又は選択は、対象画像の低トーン輝度を制御する。これ故に、Ｂ＿ｔの決定は、対象画像データの画素値の最低画素値に基づき得る。一部の実施例では、Ｂ＿ｔ＝０である。他の実施例では、Ｂ＿ｔは、Ｍ＿ｔ未満の正値を有し得る。いくつかの実例では、ユーザは、Ｂ＿ｔの値を選択又は設定することができる。正の黒画素値は、画素のソース画像データをキャプチャした画像センサにおいて、フレア、又は他のエラー（たとえば、センサ黒レベル減算エラー）、によってもたらされ得る。それ故に、Ｂ＿ｓ未満の画素値を有するソース画像データは、クリップされ、Ｂ＿ｓに設定されるので、Ｂ＿ｓの選択は、フレア抑制を制御することができる。したがって、Ｂ＿ｓは、フレア抑制閾値と称され得る。
【0060】
実例において、Ｂ＿ｓは、最も低い画素値を有するソース画像データの画素に基づいて決定され得る。たとえば、ソース画像データの画素値の低トーン・サブセットが、低トーン・ポイント閾値に基づいて決定され得る。低トーン・サブセットに含まれたあらゆる画素値は、低トーン・ポイント閾値以下でもよい。低トーン・サブセットから除外されたあらゆる画素値は、低トーン・ポイント閾値より大きくてもよい。低トーン・ポイント閾値は、絶対閾値又は相対的閾値のいずれかでもよい。Ｂ＿ｓの値は、画素値の低トーン・サブセットに含まれた画素値に基づいて決定され得る。たとえば、Ｂ＿ｓは、低トーン・サブセット内の画素値の加重平均に設定され得る。別の実施例では、Ｂ＿ｓは、低トーン・サブセット内の画素値の所定のパーセンテージに設定され得る。一部の実施例では、Ｂ＿ｓ及び／又はＢ＿ｔは、図１の統計値モジュール１５２によって生成された統計的メトリックスに少なくとも部分的に基づいて決定され得る。Ｂ＿ｓ及び／又はＢ＿ｔの決定に関する、前述の様々な方法のいずれも、Ｂ＿ｓ及び／又はＢ＿ｔを決定するために、統計的メトリックスと結合され得る。少なくとも１個の実施例では、Ｂ＿ｓ及び／又はＢ＿ｔは、ＨＤＲセンサ露出設定１４２に少なくとも部分的に基づいて決定され得る。Ｂ＿ｓ及び／又はＢ＿ｔの予測モデルは、多数のソース画像データ及び／又は対象画像データから統計的メトリックスを集計することによって生成されたトレーニング及び／又は学習データの分析に基づいて決定され得る。
【0061】
高トーン・ポイントに関して、Ｗ＿ｓと等しい（又はＷ＿ｓより大きい）画素値を有するソース画像データ内の任意の画素が、対象画像データのＷ＿ｔの値にトーン・マッピングされ得る。すなわち、Ｗ＿ｓより大きいソース画像データの各画素値は、クリップすることができ、Ｗ＿ｓの値を有するように設定され得る。それ故に、Ｗ＿ｓより大きい画素値を有するソース画像データは、クリップされ、Ｗ＿ｓに設定されるので、Ｗ＿ｓの選択は、ハイライト（たとえば、大きい画素値を有する画素）抑制を制御することができる。したがって、Ｗ＿ｓはハイライト抑制閾値と称され得る。Ｗ＿ｔの決定及び／又は選択は、対象画像の高トーン輝度を制御する。それ故に、Ｗ＿ｔの決定は、対象画像データの画素値の最大画素値に基づき得る。一部の実施例では、Ｗ＿ｔ＝１である。他の実施例では、Ｗ＿ｔは、１より小さくてＭ＿ｔより大きい正値を有し得る。いくつかの実例では、ユーザは、Ｗ＿ｔの値を選択又は設定することができる。追加の実例において、Ｗ＿ｓは、最も高い画素値を有するソース画像データの画素に基づいて決定され得る。たとえば、ソース画像データの画素値の高トーン・サブセットは、高トーン・ポイント閾値に基づいて決定され得る。高トーン・サブセットに含まれるあらゆる画素値は、高トーン・ポイント閾値以上でもよい。高トーン・サブセットから除外されるあらゆる画素値は、高トーン・ポイント閾値未満でもよい。
【0062】
高トーン・ポイント閾値は、絶対閾値又は相対的閾値でもよい。Ｗ＿ｓの値は、画素値の高トーン・サブセットに含まれる画素値に基づいて決定され得る。たとえば、Ｗ＿ｓは、高トーン・サブセット内の画素値の加重平均に設定され得る。別の実例として、Ｗ＿ｓは、高トーン・サブセット内の画素値の所定のパーセンテージに設定され得る。一部の実施例では、Ｗ＿ｓ及び／又はＷ＿ｔは、図１の統計値モジュール１５２によって生成された統計的メトリックスに少なくとも部分的に基づいて決定され得る。Ｗ＿ｓ及び／又はＷ＿ｔの決定に関する、前述の様々な方法のいずれも、Ｗ＿ｓ及び／又はＷ＿ｔを決定するために、統計的メトリックスと結合され得る。少なくとも１個の実施例では、Ｗ＿ｓ及び／又はＷ＿ｔは、ＨＤＲセンサ露出設定１４２に少なくとも部分的に基づいて決定され得る。Ｗ＿ｓ及び／又はＷ＿ｔの予測モデルは、多数のソース画像データ及び／又は対象画像データからの統計的メトリックスを集計することによって生成されたトレーニング及び／又は学習データの分析に基づいて決定され得る。
【0063】
図２Ａはまた、以下のフレア抑制ポイントを示す：ＦＳ＝（Ｆ＿ｓ，０）。Ｆ＿ｓは、最大フレア除去閾値を示し得る。一部の実施例では、Ｆ＿ｓは、ユーザ指定及び／又は選択でもよい。他の実施例では、Ｆ＿ｓは、ソース画像データの統計的メトリックスに少なくとも部分的に基づいて決定され得る。少なくとも１個の実施例では、Ｆ＿ｓは、Ｍ＿ｓのパーセンテージ及び／又はソース画像データの最も低い画素値のパーセンテージの値に基づいて決定され得る。
【0064】
図１に戻ると、制御ポイント・セレクタ１５４は、１個又は複数の追加のトーン制御ポイントを決定することができる。追加のトーン制御ポイントは、複数の統計的メトリックスに、少なくとも部分的に、基づいて決定され得る。トーン・マップ・ジェネレータ１５６は、一般に、複数の制御ポイントに基づいてトーン・マッピング関数を決定する責任を負う。トーン・マップ・ジェネレータ１５６は、汎用プロセッサ１２２を使用してトーン・マッピング関数を決定することができる。トーン・マッピング関数を決定するために、トーン・マップ・ジェネレータ１５６は、ゲイン線を生成及び／又は決定することができる。ゲイン線の生成は、複数のトーン制御ポイントの少なくとも一部に基づき得る。ゲイン値は、ゲイン線の傾斜、導関数、及び／又は変化の割合として決定され得る。一部の実施例では、ゲイン線は、制御ポイントのうちの少なくとも２個を含む又は通過する一意の線として決定され得る。図２Ａに示す実例では、ゲイン線は、中トーン・ポイントとフレア抑制ポイントとの両方を含む線である。ゲイン値は、ゲイン線の傾斜と等しい。
【0065】
トーン・マップ・ジェネレータ１５６は、ゲイン値及び複数のトーン制御ポイントの少なくとも一部に基づいてトーン・マッピング関数を決定することができる。トーン・マッピング関数は、ソース画像データの画素値を対象画像データの画素値にマップすることができる。そのようなものとして、トーン・マッピング関数は、単一のスカラ変数のスカラ関数（たとえば、画素値）でもよく、関数の値は、関数の独立変数（又は独立した変数）であるソース画像データの画素値に対応する対象画像データの画素値である。マッピングは、非線形のマッピングでもよい。一部の実施例では、トーン・マップ・ジェネレータ１５６は、トーン制御ポイントのうちの１個又は複数へのトーン・マッピング関数の適合を実行することができる。トーン・マッピング関数は、トーン制御ポイントのうちの１個又は複数を含む或いはほぼ含むように制約され得る。たとえば、少なくとも１個の実施例では、トーン・マッピング関数は、低トーン・ポイント、中トーン・ポイント、及び／又は高トーン・ポイントを含むように制約され得る。一部の実施例では、トーン・マッピング関数は、ゲイン値によって制約され得る。（トーン制御ポイントのうちの１個又は複数で評価された）トーン・マッピング関数の導関数、又は変化の瞬間的割合、は、ゲイン値に基づいて制約され得る。たとえば、少なくとも１個の実施例では、中トーン制御ポイントにおける導関数、又は接線の変化の瞬間的割合がゲイン値と少なくともほぼ等しいように、トーン・マッピング関数のフィッティングは、制約され得る。
【0066】
図２Ｂを見ると、図２Ｂは、様々な実施例による、トーン・マッピング関数のプロットの非限定的実例を示す。図２Ｂのトーン・マッピング関数は、トーン・マッピング関数のプロットが低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントを含むように制約される。トーン・マッピング関数はさらに、中トーン制御ポイントにおける、接線の変化の導関数又は瞬間的割合がゲイン値と等しいように制約される。トーン・マッピング関数は追加のトーン制御ポイントに基づいてさらに制約され得ることに留意されたい。図２Ｂはまた、対応する低トーン・ポイント、中トーン・ポイント、高トーン・ポイント、及びゲイン線を示す。
【0067】
トーン・マッピング関数を決定するために、１個又は複数のパラメータ関数は適合され得、その適合は、複数のトーン制御ポイントの少なくとも一部によって制約される。パラメータ関数は、ほぼあらゆる次数の１個又は複数の多項式を含み得る。一部の実施例では、トーン・マッピング関数のフィッティングは、トーン・マッピング関数が少なくとも低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントを含む及び／又はこれらと交差するように、制約され得る。さらなる実施例において、トーン・マッピング関数のフィッティングは、トーン・マッピング関数が追加のトーン制御ポイントを含む及び／又はこれと交差するように、制約され得る。一部の実施例では、中トーン・ポイントのｘ構成要素において評価された、トーン・マッピング関数の導関数及び／又は変化の瞬間的割合がゲイン値と等しいように、トーン・マッピング関数のフィッティングが制約される。
【0068】
様々なスプライン方法が、トーン・マッピング関数を適合及び／又は生成するために使用され得る。トーン・マッピング関数を生成することは、直線でない曲線を生成及び／又は構築することを含み得る。直線でない曲線は、グローバル・トーン曲線（ＧＴＣ）でもよい。曲線は、複数の線形又は曲線状のセグメント（たとえば、複数のスプライン）を含み得る。曲線は、ベジエ曲線、たとえば２次又は３次ベジエ曲線、でもよい。曲線は、２次、３次、又はより高次のパラメータ方程式を介して構築され得る。様々なスプライン方法が、曲線を生成するために使用され得る。スプライン又はセグメント間の接合部は、トーン・マッピング関数の導関数が連続的であることを確実にするように構築され得る。
【0069】
図１に戻ると、任意選択の遅延ユニット１５０を含む（又は、遅延ユニット１５０の機能性が関わっている）実施例では、ＨＤＲ画像センサ１４４がソース画像データの１個又は複数の追加のフレームをキャプチャする間に、遅延ユニット１５０はトーン・マッピング関数をバッファリングすることができる。ソース画像データの１個又は複数の追加のフレームをキャプチャしたとき、遅延ユニット１５０は、トーン・マップ・アプリケータ１５８を介して、バッファリングされたトーン・マッピング関数をＤＡＥ ＨＤＲエンジン１４０の画像データ・パイプライン１６４に提供することができる。フレーム・ラグが、トーン・マッピング関数を決定するために使用されるフレームのソース画像データとトーン・マッピング関数が適用されるソース画像データのフレームとの間で使用される場合、遅延ユニット１５０は必要とされないことがある。たとえば、次の及び／又は連続するフレームのソース画像データは、トーン・マップ・ジェネレータ１５６がトーン・マッピング関数をトーン・マップ・アプリケータに提供することができる時までに、ＨＤＲ画像データ・バッファ１４６及び／又はトーン・マップ・アプリケータ１５８に提供され得る。遅延ユニット１５０が使用されない場合、トーン・マップ・ジェネレータ１５６は、トーン・マッピング関数をトーン・マップ・アプリケータ１５８に直接提供することができる。
【0070】
トーン・マップ・アプリケータ１５８は、ソース画像データ及びトーン・マッピング関数を受信することができる。トーン・マップ・アプリケータ１５８は、トーン・マッピング関数をソース画像データに適用して対象画像データ１６０を生成することができる。すなわち、トーン・マップ・アプリケータは、ソース画像データ（たとえば、トーン・マッピング関数を生成するために使用されたソース画像データのフレーム及び／又はソース画像データの１個又は複数の後続のフレーム）を変形して対象画像データ１６０を生成することができる。トーン・マップ・アプリケータ１５８は、ＩＳＰ１２４を使用してトーン・マッピング関数をソース画像データに適用することができる。一部の実施例では、ＩＳＰ１２４のパイプラインは、トーン・マッピング関数をソース画像データに適用するために使用され得る。前述のように、トーン・マッピング関数は、対象画像データ１６０の画素値へのソース画像データの画素値の非線形のマッピングを提供することができる。一部の実施例では、マッピングは、１対１のマッピングでもよい。他の実施例では、マッピングは、１対１のマッピングでなくてもよい。たとえば、低トーン・ポイントのｘ構成要素が０．０より大きい場合及び／又は高トーン・ポイントのｘ構成要素が１未満である実施例では、ソース画像データは、対応するｘ構成要素を介して、クリップされ得る。そのような実施例では、マッピングは、１対１のマッピングでなくてもよい。
【0071】
一部の実施例では、トーン・マップ・アプリケータ１５８は、トーン・マッピングされた対象画像データをＳＤＲ又はＬＤＲ対象画像データに変形することができる。そのような実施例では、ガンマ圧縮関数が、トーン・マッピングされた対象画像データに適用されて、カラー圧縮された対象画像データを生成することができる。ＳＤＲ又はＬＤＲ対象画像データのいずれかが、カラー圧縮された対象画像データに基づいてＤＡＥ ＨＤＲエンジン１４０によって出力され得る。
【0072】
高ダイナミック・レンジ画像化及びトーン・マッピングのための方法
ここで図３～５を参照すると、本明細書に記載の方法３００、４００、及び５００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行することができる計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能な命令として実施され得る。方法は、少し例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって、提供され得る。加えて、方法３００、４００及び５００は、例として、図１のＨＤＲＩシステム１００に関して説明される。たとえば、方法３００、４００、及び５００の少なくとも部分が、ＤＡＥ ＨＤＲエンジン１４０及び／又は論理デバイス１２０Ａのうちの１個又は複数によって実施され得る。しかしながら、これらの方法は、追加で又は別法として、本明細書に記載のものを含むがこれらに限定されない、任意の１個のシステム又はシステムの任意の組合せによって実施され得る。
ここで図３～５を参照すると、本明細書に記載の方法３００、４００、及び５００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行することができる計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能な命令として実施され得る。方法は、少し例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって、提供され得る。加えて、方法３００、４００及び５００は、例として、図１のＨＤＲＩシステム１００に関して説明される。たとえば、方法３００、４００、及び５００の少なくとも部分が、ＤＡＥ ＨＤＲエンジン１４０及び／又は論理デバイス１２０Ａのうちの１個又は複数によって実施され得る。しかしながら、これらの方法は、追加で又は別法として、本明細書に記載のものを含むがこれらに限定されない、任意の１個のシステム又はシステムの任意の組合せによって実施され得る。
【0073】
図３は、本開示のいくつかの実施例による、高ダイナミック・レンジ画像データのトーン・マッピングのための方法３００を示す流れ図である。方法３００はブロックＢ３０２で開始し、そこで、ソース画像データが、１個又は複数の画像センサ（たとえば、図１のＨＤＲ画像センサ１４４）によってキャプチャされる。ソース画像データは、ＨＤＲ画像データでもよい。ソース画像データは、第１のフレームのソース画像データでもよい。少なくとも一部の実施例（たとえば、ビデオ実施例）では、１個又は複数の追加の及び／又は連続するフレームのソース画像データ（たとえば、第２の連続するフレームのソース画像データ）が、第１のフレームのソース画像データに続いてキャプチャされ得る。ソース画像データは、ソース画像をエンコードすることができる。ソース画像データの追加のフレームがキャプチャされる場合、ソース画像データの追加のフレームは、１個又は複数の追加のソース画像をエンコードすることができる。それ故に、ブロックＢ３０２でソース画像データをキャプチャすることは、ソース画像データの１個又は複数のフレームをキャプチャすることを含み得る。
【0074】
ソース画像データは、有人の又は無人の地上車又は航空機（たとえば、図１の地上車１０４及び／又は航空機１０６）に搭載された少なくとも１個の画像センサ（たとえば、カメラ・デバイスの）によってキャプチャされ得る。移動車は、手動で操作される移動車、自律型車両、部分的自律型車両、及び／又は遠隔制御される移動車でもよい。移動車は、ソース画像データに基づいて操作され得る。少なくとも一部の実施例では、移動車は、ブロックＢ３１４で生成された、対象画像データに基づいて少なくとも部分的に制御され得る。しかしながら、本明細書に記載の画像センサは、ハンドヘルド又は固定カメラなど、任意の適切なデバイスの一部でもよい。少なくとも１個の実施例では、画像センサは、１個又は複数のロボットに含まれ得る。
【0075】
ブロックＢ３０２で、ソース画像データが、図１のデジタル自動露出高ダイナミック・レンジ（ＤＡＥ ＨＤＲ）エンジン１４０などの、しかしこれに限定されない、ＤＡＥ ＨＤＲエンジンで受信され得る及び／又はこれに提供され得る。少なくとも１個の実施例では、ソース画像データは、次のうちの少なくとも１個に提供され得る及び／又はこれによって受信され得る：ＨＤＲ画像データ・バッファ１４６、ＲＯＩロケータ１４８、統計値モジュール１５２、及び／又はＤＡＥ ＨＤＲエンジン１４０の制御ポイント・セレクタ１５４。
【0076】
任意選択のブロックＢ３０４で、関心領域フィルタ（ＲＯＩ）フィルタが、受信されたソース画像データに適用され得る。たとえば、図１のＲＯＩロケータ１４８は、ソース画像データのＲＯＩを決定することができる。フィルタリングされたソース画像データが、ソース画像の決定されたＲＯＩに対応する画像データのみを含むように、ＲＯＩロケータ１４８は、ソース画像のＲＯＩに対応するソース画像データ画素にフィルタ及び／又はマスクを適用することができる。ブロックＢ３０４は任意選択であり、ソース画像データはＲＯＩに基づいてフィルタリング及び／又は分析される必要はないことに留意されたい。
【0077】
任意選択のブロックＢ３０６では、１個又は複数の統計的メトリックスが、フィルタリングされた（又はフィルタリングされていない）ソース画像データから生成及び／又は決定され得る。たとえば、図１の統計値モジュール１５２は、ソース画像データの画素値（又はエンコードされたソース画像のＲＯＩに対応するソース画像データの一部の画素値）に基づいて複数の統計的メトリックスを決定及び／又は生成することができる。
【0078】
ブロックＢ３０８では、複数のトーン制御ポイントが、ソース画像データについて決定される。たとえば、ＤＡＥ ＨＤＲエンジン１４０の制御ポイント・セレクタ１５４は、ソース画像データに基づいて低トーン・ポイント、中トーン・ポイント、及び／又は高トーン・ポイントを決定及び／又は選択することができる。ソース画像データがＲＯＩに基づいてフィルタリングされた実施例では、トーン制御ポイントが、ソース画像のＲＯＩに対応するソース画像データの一部に基づいて決定され得る。複数の統計的メトリックスがブロックＢ３０６において決定された実施例では、トーン制御ポイントの少なくとも一部が、統計的メトリックスの少なくとも一部に少なくとも部分的に基づいて決定され得る。少なくとも一部の実施例では、追加の制御ポイントが、ブロックＢ３０８で決定され得る。たとえば、少なくともフレア抑制制御ポイントが、ブロックＢ３０８において、追加で決定され得る。複数の制御ポイントの決定の様々な実施例が、少なくとも図４の方法４００とともに説明される。低トーン・ポイント、中トーン・ポイント、高トーン・ポイント、及びフレア抑制ポイントの決定のさらなる実施例が、図２Ａとともに説明される。
【0079】
ブロックＢ３１０では、トーン・マッピング関数が、トーン制御ポイントに基づいて決定され得る。たとえば、図１のトーン・マップ・ジェネレータ１５６は、トーン制御ポイントに基づいてトーン・マッピング関数を決定及び／又は生成することができる。それ故に、トーン・マッピング関数は、ソース画像のＲＯＩに対応するソース画像データ及び／又はソース画像データの複数の統計的メトリックスに基づき得る。
【0080】
トーン・マッピング関数の決定の様々な実施例が、少なくとも図２Ａ～２Ｂ及び図４とともに説明されている。しかしながら、ここでは簡潔に、ゲイン線は、少なくとも中トーン・ポイント及びフレア抑制ポイントに基づいて決定され得る。ゲイン値は、ゲイン線に基づいて決定され得る。より具体的には、ゲイン値は、中トーン・ポイント及びフレア抑制ポイントの両方を含む線である、ゲイン線の傾斜と少なくともほぼ等しくなり得る。トーン・マッピング関数は、低トーン・ポイント、中トーン・ポイント、高トーン・ポイント、及びゲイン値に少なくとも基づき得る。たとえば、トーン・マッピング関数は、低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントの各々を含む及び／又は通過するように制約された適合された関数でもよい。
【0081】
少なくとも１個の実施例では、トーン・マッピング関数のフィッティングは、トーン・マッピング関数の導関数及び／又は変化の瞬間的割合が、中トーン・ポイントにおいて評価されるとき、ゲイン値と少なくともほぼ等しいように、制約される。少なくとも１個の実施例では、第１の論理デバイス（たとえば、図１の汎用プロセッサ１２２）は、トーン・マッピング関数を決定するために使用され得る。少なくとも１個の実施例では、トーン・マッピング関数を決定及び／又は生成するために使用される論理デバイスは、ソース画像データをキャプチャした画像センサに含まれるカメラ計算デバイスの汎用プロセッサでもよい。
【0082】
終始述べられているように、トーン・マッピング関数は、ソース画像データの画素値から対象画像データの画素値へのマッピングを提供する。それ故に、トーン・マッピング関数は、単一のスカラ変数、たとえば、ソース画像データの単一の画素のスカラ値、に依存する、スカラ関数でもよい。ソース画像データのスカラ画素値において評価されるものとしての、関数のスカラ値は、対応する画素の対象画像データのトーン・マッピングされたスカラ値でもよい。終始述べられているように、マッピングは、１対１の非線形のマッピングでもよい。トーン・マッピング関数は、低トーン・ポイントを含むように制約され得るので、トーン・マッピング関数は、低トーン・ポイントのｘ構成要素のスカラ値を有するソース画像の画素を低トーン・ポイントのｙ構成要素のスカラ値にマップすることができる。
【0083】
一部の実施例では、クリップされた画素の値が低トーン・ポイントのｘ構成要素に設定されるように、低トーン・ポイントのｘ構成要素より少ない値を有するソース画像データの任意の画素がクリップされ得る。少なくとも１個の実施例では、クリップされた画素の値がフレア抑制ポイントのｘ構成要素に設定されるように、フレア抑制ポイントのｘ構成要素より少ない値を有するソース画像データの任意の画素がクリップされ得る。トーン・マッピング関数は、中トーン・ポイントを含むように制約され得るので、トーン・マッピング関数は、中トーン・ポイントのｘ構成要素のスカラ値を有するソース画像の画素を中トーン・ポイントのｙ構成要素のスカラ値にマップすることができる。同様に、トーン・マッピング関数は、高トーン・ポイントを含むように制約され得るので、トーン・マッピング関数は、高トーン・ポイントのｘ構成要素のスカラ値を有するソース画像の画素を高トーン・ポイントのｙ構成要素のスカラ値にマップすることができる。一部の実施例では、高トーン・ポイントのｘ構成要素より大きい値を有するソース画像データの任意の画素は、クリップされた画素の値が高トーン・ポイントのｘ構成要素に設定されるように、クリップされ得る。非線形のトーン・マッピング関数の１個の非限定的実施例が図２Ｂに示されている。
【0084】
任意選択のブロックＢ３１２において、フレーム遅延が使用され得る。たとえば、図１の遅延ユニット１５０は、トーン・マッピング関数をバッファリングすることができ、一方、ＨＤＲ画像センサ１４４は、ソース画像データの１個又は複数の追加のフレーム（たとえば、後続の及び／又は連続する第２のフレームのソース画像データ）をキャプチャする。第２のフレームの画像データがキャプチャされている間、又は少なくとも第２のフレームの画像データがＤＡＥ ＨＤＲエンジンに提供されるまで、ブロックＢ３１２のフレーム遅延は、（ブロックＢ３１０においてトーン・マッピングを生成するために使用された）第１のフレームの画像データのバッファリングを含み得る。
【0085】
ブロック３１４において、対象画像データが、ソース画像データ及びトーン・マッピング関数に基づいて生成され得る。たとえば、トーン・マップ・アプリケータ１５８は、トーン・マッピング関数をソース画像データに適用することができる。対象画像データは対象画像をエンコードすることができ、その対象画像データの画素値は、ソース画像データにトーン・マッピング関数が適用されることによって定義される。トーン・マッピング関数をソース画像データに適用することは、トーン・マッピング関数をソース画像データの画素値に適用することを含み得る。トーン・マッピング関数をソース画像データに適用することは、非線形の及び１対１のマッピング及び／又はトーン・マッピング関数によって提供されるソース画像データと対象画像データとの対応を介する対象画像データへのソース画像データの変形及び／又はマッピングを含み得る。フレーム遅延を含む実施例において、トーン・マッピング関数は、トーン・マッピング関数を生成するために使用されたソース画像データのフレーム（たとえば、第１のフレームのソース画像データ）の後続の及び／又はこれに連続するフレームのソース画像データ（たとえば、第２のフレームのソース画像データ）に適用され得る。
【0086】
ブロックＢ３１２のフレーム遅延が使用されない実施例では、トーン・マッピング関数は、トーン・マッピング関数を決定するために使用された同じフレームのソース画像データに適用され得る。一部の実施例では、第２の論理デバイス（たとえば、図１の画像信号プロセッサ（ＩＳＰ）１２４）は、トーン・マッピング関数をソース画像データに適用して対象画像データを生成するために使用され得る。一部の実施例では、使用されるＩＳＰは、ソース画像データをキャプチャするために使用されたカメラ計算デバイスのＩＳＰでもよい。少なくとも１個の実施例では、ＩＳＰのパイプラインは、トーン・マッピング関数をソース画像データに適用するために使用され得る。
【0087】
一部の実施例では、対象画像データを生成することは、標準ダイナミック・レンジ（ＳＤＲ）又は低ダイナミック・レンジ（ＬＤＲ）対象画像データを生成することを含み得る。ＳＤＲ又はＬＤＲ対象画像データは、トーン・マッピングされた対象画像データのトーン・マッピング関数及び／又は画素値に基づき得る。たとえば、ガンマ圧縮関数は、カラー圧縮された対象画像データを生成するためにトーン・マッピングされた対象画像データに適用され得る。ＳＤＲ又はＬＤＲ対象画像データは、カラー圧縮された対象画像データに基づいて生成され得る。
【0088】
図４は、本開示のいくつかの実施例による、より高いダイナミック・レンジ画像データからより低いダイナミック・レンジ画像データを生成するための方法４００を示す流れ図である。方法４００のブロックＢ４０２～Ｂ４１０は、複数のトーン制御ポイントの選択及び／又は決定を含む。終始述べられているように、複数のトーン制御ポイントは、図１の制御ポイント・セレクタ１５４を介して選択及び／又は決定され得る。複数の制御ポイントの決定の様々な実施例が、図３の方法３００の少なくともブロックＢ３０８とともに説明される。複数の制御トーン・ポイントの決定は、ソース画像データの画素値、ソース画像内のＲＯＩに対応するソース画像データの一部の画素値、及び／又はソース画像データの画素値に基づく複数の統計的メトリックスに基づき得る。やはり終始述べられているように、複数のトーン制御ポイントは、少なくとも低トーン・ポイント、中トーン・ポイント、及び／又は高トーン・ポイントを含み得る。一部の実施例では、複数のトーン制御ポイントは、フレア抑制ポイントを追加で含み得る。そのようなトーン制御ポイントは、少なくとも図２Ａ～２Ｂに示されている。方法４００の部分が第１の論理デバイス（たとえば、図１の汎用プロセッサ１２２）によって実施され得、方法４００の他の部分が第２の論理デバイス（たとえば、図１の画像信号プロセッサ（ＩＳＰ）１２４）によって実施され得ることにも留意されたい。
【0089】
一部の実施例では、方法４００の初期化の前に、ソース画像データの画素値は、正規化されたソース画像データの画素値が［０，１］から広がるように、正規化され得る。方法４００はブロックＢ４０２で開始し、そこで、中トーン・ポイントがソース画像データに基づいて決定される。一部の実施例では、中トーン・ポイントのｘ構成要素を決定するために、ソース画像データは、フィルタリングされたソース画像データを生成するために、高トーン・フィルタ及び低トーン・フィルタによってフィルタリングされ得る。高トーン・フィルタは、高トーン閾値より大きい画素値を含むソース画像データの部分をフィルタリングで除去する。低トーン・フィルタは、低トーン閾値より小さい画素値を含むソース画像データの部分をフィルタリングで除去する。中トーン・ポイントのｘ構成要素は、高トーン及び低トーン・フィルタの適用後に残るソース画像データの部分の画素値を平均することによって、決定され得る。他の実施例では、高トーン及び低トーン・フィルタはソース画像データに適用されない。
【0090】
一部の実施例では、画素値の平均化は、画素値の対数平均化を含み得る。そのような実施例では、対数変換された画像データ画素値は、フィルタリングされた又はフィルタリングされていないソース画像データに対数関数を適用することによって生成され得る。対数関数の基数は、ソース画像データに基づいて選択され得る。１個の実施例では、対数関数の基数は、１０である。他の実施例では、対数関数は自然対数関数でもよい。対数変換された画素値の平均値が決定され得る。対数変換された画素値の平均値は、対数関数の対応する基数によってべき乗され得る。中トーン・ポイントのｘ構成要素は、対数変換されたソース画像データの画素値の平均値のべき乗に設定され得る。中トーン・ポイントのｙ構成要素は、対象画像データの指定された中トーン値に設定され得る。
【0091】
ブロックＢ４０４において、低トーン・ポイントは、ソース画像データに基づいて決定され得る。１個の非限定的実施例では、ソース画像データの画素値のサブセットが決定及び／又は生成され、サブセットに含まれる画素の各値は、サブセットから除外される画素の画素値より少ない。すなわち、フィルタリングの後に残る画素値のみが、低トーン閾値より小さい画素値を有するそれらの画素であるような、低トーン・フィルタを介して、ソース画像データがフィルタリングされ得る。低トーン・ポイントのｘ構成要素は、サブセットの画素値に基づいて決定され得る。たとえば、低トーン・フィルタリング・プロセスを生き抜く画素値は、低トーン・ポイントのｘ構成要素を決定するために、平均され得る。低トーン・ポイントのｙ構成要素は、対象画像データの最小画素値になるように決定及び／又は選択され得る。少なくとも１個の実施例では、低トーン・ポイントのｙ構成要素は、０．０に設定される。低トーン・ポイントは、ブラック・ポイントでもよい。
【0092】
ブロックＢ４０６では、高トーン・ポイントが、ソース画像データに基づいて決定され得る。１個の非限定的実施例では、ソース画像データの画素値のサブセットが決定及び／又は生成され、サブセットに含まれる画素の各値は、サブセットから除外される画素の画素値より大きい。すなわち、フィルタリングの後に残る画素値のみが、高トーン閾値より大きな画素値を有する画素であるような、高トーン・フィルタを介して、ソース画像データがフィルタリングされ得る。高トーン・ポイントのｘ構成要素は、画素値のサブセットに基づいて決定され得る。たとえば、高トーン・フィルタリング・プロセスを生き抜く画素値は、高トーン・ポイントのｘ構成要素を決定するために、平均され得る。高トーン・ポイントのｙ構成要素は、対象画像データの最大画素値になるように決定及び／又は選択され得る。少なくとも１個の実施例では、低トーン・ポイントのｙ構成要素は、１．０に設定される。高トーンは、ホワイト・ポイントでもよい。０．０への低トーン・ポイントのｙ構成要素及び高トーン構成要素のｙ構成要素を設定することによって、対象画像データは、［０，１］の範囲に正規化される。
【0093】
ブロックＢ４０８において、フレア抑制ポイントが決定され得る。フレア抑制ポイントのｘ構成要素は、トーンにおいて抑制されることになる最大フレアになることになる値に設定され得る。一部の実施例では、フレア抑制ポイントのｘ構成要素は、ユーザが選択することができる。他の実施例では、ｘ構成要素は、ソース画像の画素値及び／又はソース画像データの決定された複数の統計的メトリックスに基づいて、動的に決定され得る。たとえば、フレア抑制ポイントのｘ構成要素は、中トーン画素値又は低トーン閾値処理された画素値の値のパーセンテージに基づいて、設定され得る。様々な実施例において、フレア抑制ポイントのｘ構成要素は、低トーン・ポイントのｘ構成要素より大きいが中トーン・ポイントのｘ構成要素より小さくなるように選択され得得る。様々な非限定的実施例において、フレア抑制ポイントのｙ構成要素は０．０に設定される。他の実施例では、フレア抑制ポイントのｙ構成要素は、０．０より大きいが中トーン・ポイントのｙ構成要素より小さくなるように設定又は選択され得る。
【0094】
任意選択のブロックＢ４１０において、１個又は複数の追加の制御ポイントが、ソース画像データに基づいて決定される。ブロックＢ４１２において、ソース・データは、制御ポイントに基づいて事前処理され得る。たとえば、低トーン・ポイントのｘ構成要素より小さい画素値を有するソース画像データの画素の各々は、そのような画素の画素値が低トーン・ポイントのｘ構成要素のスカラ値に設定されるように、クリップされ得る。少なくとも１個の実施例では、フレア抑制ポイントのｘ構成要素より小さい画素値を有するソース画像データの画素の各々は、そのような画素の画素値がフレア抑制ポイントのｘ構成要素のスカラ値に設定されるように、クリップされ得る。さらに、高トーン・ポイントのｘ構成要素より大きな画素値を有するソース画像データの画素の各々は、そのような画素の画素値が高トーン・ポイントのｘ構成要素のスカラ値に設定されるように、クリップされ得る。
【0095】
ブロックＢ４１４において、ゲイン値が、中トーン・ポイント及びフレア抑制ポイントに基づいて決定され得る。たとえば、ゲイン線が、中トーン・ポイント及びフレア抑制ポイントを通して構築され得る。ゲイン値が、ゲイン値線の傾斜になるように設定され得る。様々な実施例において、傾斜は右上がりである。ゲイン値線、及び対応する傾斜の実施例が、図２Ａに示されている。
【0096】
ブロックＢ４１６において、トーン・マッピング関数が、低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントに基づいて決定される。一部の実施例では、トーン・マッピング関数の決定はさらに、ゲイン値に基づく。さらに他の実施例では、トーン・マッピング関数の決定はさらに、ブロックＢ４１０で決定された１個又は複数の追加のトーン制御ポイントに基づく。様々な実施例において、図１のトーン・マップ・ジェネレータ１５６は、トーン・マッピング関数を決定するために使用され得る。より具体的には、トーン・マップ・ジェネレータ１５６は、図１の汎用プロセッサ１２２を使用してトーン・マッピング関数を生成することができる。
【0097】
トーン・マッピング関数を決定するために、１個又は複数のパラメータ関数が適合され得、そこで、適合は、様々なトーン制御ポイントの少なくとも一部によって制約される。パラメータ関数は、ほぼあらゆる次数の、１個又は複数の多項式を含み得る。一部の実施例では、トーン・マッピング関数のフィッティングは、トーン・マッピング関数が少なくとも低トーン・ポイント、中トーン・ポイント、及び高トーン・ポイントを含む及び／又はこれらと交差するように、制約され得る。さらなる実施例において、トーン・マッピング関数のフィッティングは、トーン・マッピング関数が追加のトーン制御ポイントを含む及び／又はこれと交差するように、制約され得る。一部の実施例では、中トーン・ポイントのｘ構成要素において評価された、トーン・マッピング関数の導関数及び／又は変化の瞬間的割合がゲイン値と等しいように、トーン・マッピング関数のフィッティングが制約される。トーン・マッピング関数の実施例が図２Ｂに示されている。
【0098】
様々なスプライン方法は、トーン・マッピング関数を適合及び／又は生成するために使用され得る。トーン・マッピング関数を生成することは、直線でない曲線を生成及び／又は構築することを含み得る。直線でない曲線は、グローバル・トーン曲線（ＧＴＣ）でもよい。曲線は、複数の線形又は曲線状のセグメント（たとえば、複数のスプライン）を含み得る。曲線は、ベジエ曲線、たとえば、２次又は３次ベジエ曲線、でもよい。曲線は、２次、３次又はより高次のパラメータ方程式を介して構築され得る。様々なスプライン方法が、曲線を生成するために使用され得る。スプライン又はセグメントの間の接合部は、トーン・マッピング関数の導関数が連続的であることを確実にするために、構築され得る。
【0099】
ブロックＢ４１８において、トーン・マッピング関数は、対象画像データを生成するために適用され得る。様々な実施例において、図１のトーン・マップ・アプリケータ１５８は、トーン・マッピング関数を介して、ソース画像データを対象画像データに変形するために使用され得る。トーン・マップ・アプリケータ１５８は、ソース画像データの非線形変形を適用するために、図１のＩＳＰを使用することができる。少なくとも１個の実施例では、ＩＳＰ１２４のパイプラインは、対象画像データの変形及び生成を適用するために使用され得る。
【0100】
ブロックＢ４２０及びＢ４２２は、トーン・マッピングされた対象画像データからＳＤＲ対象画像データ又はＬＤＲ画像日付を生成するために使用され得る任意選択のブロックである。ブロックＢ４２０において、ガンマ圧縮関数は、カラー圧縮された画像データを生成するために、トーン・マッピングされた画像データに適用され得る。ブロックＢ４２２において、ＳＤＲ又はＬＤＲ対象画像データのいずれかが、カラー圧縮ソース画像データに基づいて生成され得る。
【0101】
図５は、本開示のいくつかの実施例による、トーン・マッピングの動作を分散するための方法５００を示す流れ図である。ブロックＢ５０２において、第１の論理デバイスが、トーン・マッピング関数を決定するために使用され得る。ブロックＢ５０２において、第１の論理デバイスは、汎用プロセッサ１２２、画像信号プロセッサ（ＩＳＰ）１２４、ＡＳＩＣ１２６、及び／又はＦＰＧＡ１２８などの、しかしこれらに限定されない、図１の論理デバイス１２０のいずれかでもよい。一部の実施例では、トーン・マッピング関数を決定するために使用される第１の論理デバイスは、汎用プロセッサ１２２である。少なくとも１個の実施例では、グラフィック処理ユニット（ＧＰＵ）は、トーン・マッピング関数を決定するために使用される。
【0102】
ブロックＢ５０４において、第２の論理デバイスは、トーン・マッピング関数をソース画像データに適用する及び対象画像ソース・データを生成するために、使用され得る。ブロックＢ５０４において、第２の論理デバイスは、汎用プロセッサ１２２、ＩＳＰ１２４、ＡＳＩＣ１２６、及び／又はＦＰＧＡ１２８などの、しかしこれらに限定されない、論理デバイス１２０のいずれかでもよい。一部の実施例では、トーン・マッピング関数を適用するために使用される第２の論理デバイスは、ＩＳＰ１２４である。ＩＳＰ１２４のパイプラインは、トーン・マッピング関数を適用する及びソース画像データを対象画像データに変形するために、使用され得る。少なくとも１個の実施例では、ＧＰＵは、トーン・マッピング関数を決定するために使用される。
【0103】
自律型車両の例示的実施例
図６Ａは、本開示のいくつかの実施例による、例示的自律型車両１０４のイラストレーションである。自律型車両１０４（或いは、本明細書で「移動車１０４」と称される）は、自動車、トラック、バス、及び／又は１人若しくは複数の乗客を乗せられる別のタイプの移動車など、乗用車を含み得る。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車１０４は、自律運転レベルのレベル３～レベル５のうちの１個又は複数による機能の能力を有し得る。たとえば、移動車１０４は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
図６Ａは、本開示のいくつかの実施例による、例示的自律型車両１０４のイラストレーションである。自律型車両１０４（或いは、本明細書で「移動車１０４」と称される）は、自動車、トラック、バス、及び／又は１人若しくは複数の乗客を乗せられる別のタイプの移動車など、乗用車を含み得る。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車１０４は、自律運転レベルのレベル３～レベル５のうちの１個又は複数による機能の能力を有し得る。たとえば、移動車１０４は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
【0104】
移動車１０４は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車１０４は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム６５０を含み得る。推進システム６５０は、移動車１０４の推進力を有効にするために、トランスミッションを含み得る、移動車１０４のドライブ・トレインに接続され得る。推進システム６５０は、スロットル／加速装置６５２からの信号の受信に応答して制御され得る。
【0105】
ハンドルを含み得る、ステアリング・システム６５４は、推進システム６５０が動作しているときに（たとえば、移動車が移動中のときに）移動車１０４のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム６５４は、ステアリング・アクチュエータ６５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
【0106】
ブレーキ・センサ・システム６４６は、ブレーキ・アクチュエータ６４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。
【0107】
１個又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）６０４（図６Ｃ）及び／又はＧＰＵを含み得る、コントローラ６３６は、移動車１０４の１個若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１個又は複数のブレーキ・アクチュエータ６４８を介して移動車ブレーキを動作させて、１個又は複数のステアリング・アクチュエータ６５６を介してステアリング・システム６５４を動作させて、１個又は複数のスロットル／加速装置６５２を介して推進システム６５０を動作させるために、信号を送ることができる。コントローラ６３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車１０４の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１個又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ６３６は、自律運転機能のための第１のコントローラ６３６、機能的安全性機能のための第２のコントローラ６３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ６３６、インフォテインメント機能のための第４のコントローラ６３６、緊急状態における冗長性のための第５のコントローラ６３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ６３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ６３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
【0108】
コントローラ６３６は、１個又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車１０４の１個又は複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ６５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ６６０、超音波センサ６６２、ＬＩＤＡＲセンサ６６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ６６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン６９６、ステレオ・カメラ６６８、ワイドビュー・カメラ６７０（たとえば、魚眼カメラ）、赤外線カメラ６７２、サラウンド・カメラ６７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ６９８、スピード・センサ６４４（たとえば、移動車１０４のスピードを測定するための）、振動センサ６４２、ステアリング・センサ６４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム６４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
【0109】
コントローラ６３６のうちの１個又は複数のコントローラは、移動車１０４の計器群６３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ６３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車１０４の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図６ＣのＨＤマップ６２２）、位置データ（たとえば、マップ上などの、移動車の１０４の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ６３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ６３４は、１個又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、２マイル内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
【0110】
移動車１０４はさらに、１個又は複数のワイヤレス・アンテナ６２６及び／又はモデムを使用して１個又は複数のネットワークを介して通信することができるネットワーク・インターフェース６２４を含む。たとえば、ネットワーク・インターフェース６２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ（登録商標）、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ６２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。
【0111】
図６Ｂは、本開示のいくつかの実施例による、図６Ａの例示的自律型車両１０４のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１個の例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車１０４の異なる位置に置かれ得る。
【0112】
カメラのカメラ・タイプは、移動車１０４の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、６２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
【0113】
いくつかの実例では、カメラのうちの１個又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１個又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
【0114】
カメラのうちの１個又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
【0115】
移動車１０４の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１個又は複数のコントローラ６３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
【0116】
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ６７０でもよい。図６Ｂにはワイドビュー・カメラは１個だけ示されているが、移動車１０４には任意の数のワイドビュー・カメラ６７０が存在し得る。加えて、長距離カメラ６９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ６９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
【0117】
１個又は複数のステレオ・カメラ６６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ６６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ６６８は、２個のカメラ・レンズ（左と右に１個ずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ６６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
【0118】
移動車１０４の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ６７４（たとえば、図６Ｂに示されるような４個のサラウンド・カメラ６７４）は、移動車１０４上に位置付けられ得る。サラウンド・カメラ６７４は、ワイドビュー・カメラ６７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ６７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１個又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
【0119】
移動車１０４の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ６９８、ステレオ・カメラ６６８）、赤外線カメラ６７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
【0120】
図６Ｃは、本開示のいくつかの実施例による、図６Ａの例示的自律型車両１０４の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素は共に除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
【0121】
図６Ｃの移動車１０４の構成要素、特徴、及びシステムのそれぞれは、バス６０２を介して接続されるものとして図示されている。バス６０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、移動車１０４の様々な特徴及び機能の制御を助けるために使用される移動車１０４内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。
【0122】
バス６０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス６０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１個又は複数のＣＡＮバス、１個又は複数のＦｌｅｘＲａｙバス、１個又は複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１個若しくは複数の他のタイプのバスを含み得る、任意の数のバス６０２が存在し得る。いくつかの実例では、２個以上のバス６０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス６０２は衝突回避機能のために使用されてもよく、第２のバス６０２は作動制御のために使用されてもよい。任意の実例において、各バス６０２は、移動車１０４の構成要素のいずれかと通信し得、２個以上のバス６０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ６０４、各コントローラ６３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車１０４のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
【0123】
移動車１０４は、図６Ａに関して本明細書で説明されるものなど、１個又は複数のコントローラ６３６を含み得る。コントローラ６３６は、様々な機能のために使用され得る。コントローラ６３６は、移動車１０４の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車１０４、移動車１０４の人工知能、移動車１０４のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
【0124】
移動車１０４は、システム・オン・チップ（ＳｏＣ）６０４を含み得る。ＳｏＣ６０４は、ＣＰＵ６０６、ＧＰＵ６０８、プロセッサ６１０、キャッシュ６１２、加速装置６１４、データ・ストア６１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ６０４は、様々なプラットフォーム及びシステム内の移動車１０４を制御するために使用され得る。たとえば、ＳｏＣ６０４は、１個又は複数のサーバ（たとえば、図６Ｄのサーバ６７８）からネットワーク・インターフェース６２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ６２２を有するシステム（たとえば、移動車１０４のシステム）において結合され得る。
【0125】
ＣＰＵ６０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ６０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ６０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ６０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ６０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ６０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
【0126】
ＣＰＵ６０６は、以下の特徴のうちの１個又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ６０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
【0127】
ＧＰＵ６０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ６０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ６０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ６０８は、１個又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ６０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ６０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ６０８は、１個又は複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
【0128】
ＧＰＵ６０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ６０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ６０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
【0129】
ＧＰＵ６０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
【0130】
ＧＰＵ６０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ６０８がＣＰＵ６０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ６０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ６０６に送信され得る。応答して、ＣＰＵ６０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ６０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ６０６とＧＰＵ６０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ６０８へのアプリケーションのＧＰＵ６０８プログラミング及び移植を単純化する。
【0131】
加えて、ＧＰＵ６０８は、他のプロセッサのメモリへのＧＰＵ６０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
【0132】
ＳｏＣ６０４は、本明細書に記載のものを含む任意の数のキャッシュ６１２を含み得る。たとえば、キャッシュ６１２は、ＣＰＵ６０６とＧＰＵ６０８との両方に利用可能な（たとえば、ＣＰＵ６０６とＧＰＵ６０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ６１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
【0133】
ＳｏＣ６０４は、１個又は複数の加速装置６１４（たとえば、ハードウェア加速装置、ソフトウェア加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ６０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ６０８を補完するために及びＧＰＵ６０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ６０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置６１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
【0134】
加速装置６１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１個又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
【0135】
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
【0136】
ＤＬＡは、ＧＰＵ６０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ６０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ６０８及び／又は他の加速装置６１４に任せることができる。
【0137】
加速装置６１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
【0138】
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１個又は複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリデバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
【0139】
ＤＭＡは、ＣＰＵ６０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
【0140】
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
【0141】
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。
【0142】
加速装置６１４（たとえば、ハードウェア加速クラスタ）は、加速装置６１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
【0143】
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャンネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
【0144】
いくつかの実例では、ＳｏＣ６０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。
【0145】
加速装置６１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
【0146】
たとえば、本技術の１個の実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
【0147】
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
【0148】
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ６６４又はＲＡＤＡＲセンサ６６０）から取得された物体の移動車１０４方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ６６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
【0149】
ＳｏＣ６０４は、データ・ストア６１６（たとえば、メモリ）を含み得る。データ・ストア６１６は、ＳｏＣ６０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア６１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア６１２は、Ｌ２又はＬ３キャッシュ６１２を備え得る。データ・ストア６１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置６１４に関連するメモリの参照を含み得る。
【0150】
ＳｏＣ６０４は、１個又は複数のプロセッサ６１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ６１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ６０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ６０４熱及び温度センサの管理、及び／又はＳｏＣ６０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ６０４は、リング発振器を使用してＣＰＵ６０６、ＧＰＵ６０８、及び／又は加速装置６１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ６０４をより低い電力状態に置く及び／又は移動車１０４をショーファーの安全停止モードにする（たとえば、移動車１０４を安全停止させる）ことができる。
【0151】
プロセッサ６１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャンネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
【0152】
プロセッサ６１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
【0153】
プロセッサ６１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
【0154】
プロセッサ６１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
【0155】
プロセッサ６１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
【0156】
プロセッサ６１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ６７０で、サラウンド・カメラ６７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
【0157】
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
【0158】
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ６０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ６０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ６０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
【0159】
ＳｏＣ６０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ６０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
【0160】
ＳｏＣ６０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ６０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ６６４、ＲＡＤＡＲセンサ６６０など）、バス６０２からのデータ（たとえば、移動車１０４のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ６５８からのデータを処理するために使用され得る。ＳｏＣ６０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ６０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
【0161】
ＳｏＣ６０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ６０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置６１４が、ＣＰＵ６０６と結合されるとき、ＧＰＵ６０８、及びデータ・ストア６１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
【0162】
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
【0163】
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ６２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
【0164】
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ６０８上などで、同時に実行することができる。
【0165】
いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車１０４の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ６０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
【0166】
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン６９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ６０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ６５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ６６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
【0167】
移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ６０４に連結され得るＣＰＵ６１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ６１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ６１８は、たとえば、ＡＤＡＳセンサとＳｏＣ６０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ６３６及び／又はインフォテインメントＳｏＣ６３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
【0168】
移動車１０４は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ６０４に連結され得るＧＰＵ６２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ６２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車１０４のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
【0169】
移動車１０４は、１個又は複数のワイヤレス・アンテナ６２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１個又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース６２４をさらに含み得る。ネットワーク・インターフェース６２４は、インターネットを介するクラウドとの（たとえば、サーバ６７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車１０４に近接する移動車（たとえば、移動車１０４の前の、横の、及び／又は後ろの移動車）に関する移動車１０４情報を提供することができる。この機能は、移動車１０４の共同適応クルーズ制御機能の一部でもよい。
【0170】
ネットワーク・インターフェース６２４は、変調及び復調機能を提供する及びコントローラ６３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース６２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
【0171】
移動車１０４は、チップ外の（たとえば、ＳｏＣ６０４外の）ストレージを含み得るデータ・ストア６２８をさらに含み得る。データ・ストア６２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１個又は複数の記憶素子を含み得る。
【0172】
移動車１０４は、ＧＮＳＳセンサ６５８をさらに含み得る。マッピング、知覚、占有グリッド生成、及び／又は進路計画立案機能を支援するための、ＧＮＳＳセンサ６５８（たとえば、ＧＰＳ及び／又は補助装置付きＧＰＳセンサ）。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ６５８が、使用され得る。
【0173】
移動車１０４は、ＲＡＤＡＲセンサ６６０をさらに含み得る。ＲＡＤＡＲセンサ６６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車１０４によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ６６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ６６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス６０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ６６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
【0174】
ＲＡＤＡＲセンサ６６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ６６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車１０４の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車１０４のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。
【0175】
一実例として、中距離ＲＡＤＡＲシステムは、６６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は６５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
【0176】
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
【0177】
移動車１０４は、超音波センサ６６２をさらに含み得る。移動車１０４の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ６６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ６６２が使用され得、異なる超音波センサ６６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ６６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。
【0178】
移動車１０４はＬＩＤＡＲセンサ６６４を含み得る。ＬＩＤＡＲセンサ６６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ６６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、移動車１０４は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ６６４を含み得る。
【0179】
いくつかの実例では、ＬＩＤＡＲセンサ６６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ６６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、１０４Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１０４ｍの広告された範囲を有し得る。いくつかの実例では、１個又は複数の非突出しＬＩＤＡＲセンサ６６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ６６４は、移動車１０４の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ６６４は、低反射物体についても２００ｍの範囲を有し、６２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ６６４は、４５度と１３５度との間の水平視野向けに構成され得る。
【0180】
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車１０４の各側面に１個ずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ６６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
【0181】
移動車は、ＩＭＵセンサ６６６をさらに含み得る。一部の実例では、ＩＭＵセンサ６６６は、移動車１０４の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ６６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ６６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ６６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
【0182】
一部の実施例では、ＩＭＵセンサ６６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ６６６は、ＧＰＳからＩＭＵセンサ６６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車１０４が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ６６６及びＧＮＳＳセンサ６５８は、単一の統合されたユニットにおいて結合され得る。
【0183】
移動車は、移動車１０４内及び／又は周囲に置かれたマイクロフォン６９６を含み得る。マイクロフォン６９６は、中でも、緊急車両検出及び識別のために使用され得る。
【0184】
移動車は、ステレオ・カメラ６６８、ワイドビュー・カメラ６７０、赤外線カメラ６７２、サラウンド・カメラ６７４、長距離及び／又は中距離カメラ６９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車１０４の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車１０４の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車１０４の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図６Ａ及び図６Ｂに関連して本明細書においてさらに詳しく説明される。
【0185】
移動車１０４は、振動センサ６４２をさらに含み得る。振動センサ６４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ６４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
【0186】
移動車１０４は、ＡＤＡＳシステム６３８を含み得る。一部の実例では、ＡＤＡＳシステム６３８は、ＳｏＣを含み得る。ＡＤＡＳシステム６３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
【0187】
ＡＣＣシステムは、ＲＡＤＡＲセンサ６６０、ＬＩＤＡＲセンサ６６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車１０４の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車１０４にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
【0188】
ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース６２４及び／又はワイヤレス・アンテナ６２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車１０４と同じレーン内にある、移動車１０４の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車１０４の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
【0189】
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ６６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
【0190】
ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ６６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
【0191】
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車１０４が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
【0192】
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車１０４が車線をはみ出し始めた場合に移動車１０４を修正するためにステアリング入力又はブレーキを提供する。
【0193】
ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。本システムは、運転者が方向指示器を使用するときに追加の警報を提供することができる。ＢＳＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ６６０を使用することができる。
【0194】
ＲＣＴＷシステムは、移動車１０４がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、移動車ブレーキが衝突を回避するために適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、ディスプレイ、スピーカ、及び／又は振動する構成要素など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、１個又は複数の後ろを向いたＲＡＤＡＲセンサ６６０を使用することができる。
【0195】
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両１０４では、結果が矛盾する場合には、移動車１０４自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ６３６又は第２のコントローラ６３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム６３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム６３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
【0196】
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
【0197】
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１個を含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ６０４の構成要素を備え得る、及び／又はＳｏＣ６０４の構成要素として含まれ得る。
【0198】
他の実例において、ＡＤＡＳシステム６３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
【0199】
いくつかの実例では、ＡＤＡＳシステム６３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム６３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
【0200】
移動車１０４は、インフォテインメントＳｏＣ６３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ６３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ６３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ６３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ６３０は、ＡＤＡＳシステム６３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
【0201】
インフォテインメントＳｏＣ６３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ６３０は、バス６０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車１０４の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ６３６（たとえば、移動車１０４の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ６３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ６３０は、本明細書に記載のように、移動車１０４をショーファーの安全停止モードにすることができる。
【0202】
移動車１０４は、計器群６３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群６３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群６３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ６３０及び計器群６３２の間で表示及び／又は共有され得る。言い換えれば、計器群６３２は、インフォテインメントＳｏＣ６３０の一部として含まれてもよく、逆もまた同様である。
【0203】
図６Ｄは、本開示のいくつかの実施例による、図６Ａのクラウドベースのサーバと例示的自律型車両１０４との間の通信のシステム図である。システム６７６は、サーバ６７８、ネットワーク６９０、及び、移動車１０４を含む移動車を含み得る。サーバ６７８は、複数のＧＰＵ６８４（Ａ）～６８４（Ｈ）（本明細書でＧＰＵ６８４と総称される）、ＰＣＩｅスイッチ６８２（Ａ）～６８２（Ｈ）（本明細書でＰＣＩｅスイッチ６８２と総称される）、及び／又はＣＰＵ６８０（Ａ）～６８０（Ｂ）（本明細書でＣＰＵ６８０と総称される）を含み得る。ＧＰＵ６８４、ＣＰＵ６８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬＩＮＫインターフェース６８８及び／又はＰＣＩｅ接続６８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ６８４は、ＮＶＬＩＮＫ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ６８４及びＰＣＩｅスイッチ６８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ６８４、２個のＣＰＵ６８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ６７８は、任意の数のＧＰＵ６８４、ＣＰＵ６８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ６７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ６８４を含み得る。
【0204】
サーバ６７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク６９０を介して、移動車から、受信することができる。サーバ６７８は、ニューラル・ネットワーク６９２、更新されたニューラル・ネットワーク６９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報６９４をネットワーク６９０を介して移動車に送信することができる。マップ情報６９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ６２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク６９２、更新されたニューラル・ネットワーク６９２、及び／又はマップ情報６９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ６７８及び／又は他のサーバを使用する）データセンタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
【0205】
サーバ６７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク６９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ６７８によって使用され得る。
【0206】
いくつかの実例では、サーバ６７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ６７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ６８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ６７８は、ＣＰＵ電源式データセンタのみを使用する深層学習インフラストラクチャを含み得る。
【0207】
サーバ６７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車１０４内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車１０４がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車１０４からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車１０４によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車１０４内のＡＩは正常に機能していないという結論を下した場合、サーバ６７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車１０４のフェイルセーフ・コンピュータに命じる移動車１０４への信号を送信することができる。
【0208】
推論のために、サーバ６７８は、ＧＰＵ６８４及び１個又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
【0209】
汎用計算デバイス
図７は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス７００の一実例のブロック図である。計算デバイス７００は、以下のデバイスを間接的に又は直接的につなぐバス７０２を含み得る：メモリ７０４、１個又は複数の中央処理装置（ＣＰＵ）７０６、１個又は複数のグラフィック処理ユニット（ＧＰＵ）７０８、通信インターフェース７１０、入力／出力（Ｉ／Ｏ）ポート７１２、入力／出力構成要素７１４、電力供給装置７１６、及び１個又は複数の提示構成要素７１８（たとえば、ディスプレイ）。ＣＰＵ７０６及びＧＰＵ７０８に加えて、計算デバイス７００は、画像信号プロセッサ（ＩＳＰ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡなどの、しかしこれらに限定されない、図７に示されていない追加の論理デバイスを含み得る。
図７は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス７００の一実例のブロック図である。計算デバイス７００は、以下のデバイスを間接的に又は直接的につなぐバス７０２を含み得る：メモリ７０４、１個又は複数の中央処理装置（ＣＰＵ）７０６、１個又は複数のグラフィック処理ユニット（ＧＰＵ）７０８、通信インターフェース７１０、入力／出力（Ｉ／Ｏ）ポート７１２、入力／出力構成要素７１４、電力供給装置７１６、及び１個又は複数の提示構成要素７１８（たとえば、ディスプレイ）。ＣＰＵ７０６及びＧＰＵ７０８に加えて、計算デバイス７００は、画像信号プロセッサ（ＩＳＰ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡなどの、しかしこれらに限定されない、図７に示されていない追加の論理デバイスを含み得る。
【0210】
図７の様々なブロックは、線でバス７０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素７１８は、Ｉ／Ｏ構成要素７１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ７０６及び／又はＧＰＵ７０８はメモリを含み得る（たとえば、メモリ７０４は、ＧＰＵ７０８、ＣＰＵ７０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図７の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図７の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
【0211】
バス７０２は、アドレス・バス、データ・バス、制御バス、又はその組合せなど、１個又は複数のバスを表し得る。バス７０２は、ＩＳＡ（ｉｎｄｕｓｔｒｉａｌ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｉａｌ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄ ａｓｓｏｃｉａｔｉｏｎ）バス、ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒ ｃｏｎｎｅｃｔ）バス、ＰＣＩｅ（ＰＣＩ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバスなど、１個又は複数のバス・タイプを含み得る。
【0212】
メモリ７０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス７００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
【0213】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ７０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用することができる及び計算デバイス７００によってアクセスすることができる任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
【0214】
通信媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１個又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、通信媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【0215】
ＣＰＵ７０６は、コンピュータ可読命令を実行して計算デバイス７００の１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。ＣＰＵ７０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１個又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ７０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス７００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス７００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡＲＭプロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス７００は、計算コプロセッサなど、１個又は複数のマイクロプロセッサ又は補助コプロセッサ内の１個又は複数のＣＰＵ７０６を含み得る。
【0216】
ＧＰＵ７０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングするために、計算デバイス７００によって使用され得る。ＧＰＵ７０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ７０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ７０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ７０８は、画素データを記憶するための、ディスプレイ・メモリなどの、グラフィックス・メモリを含み得る。ディスプレイ・メモリは、メモリ７０４の一部として含まれ得る。ＧＰＵ７０８は、（たとえば、リンクを介して）並行して動作する２個以上のＧＰＵを含み得る。結合されると、各ＧＰＵ７０８は、出力画像の異なる部分の又は異なる出力画像の画素データを（たとえば、第１のＧＰＵは第１の画像のために及び第２のＧＰＵは第２の画像のために）生成することができる。各ＧＰＵは、独自のメモリを含むことができ、他のＧＰＵとメモリを共用することができる。
【0217】
計算デバイス７００がＧＰＵ７０８を含まない実例において、ＣＰＵ７０６は、グラフィックスをレンダリングするために使用され得る。
【0218】
通信インターフェース７１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス７００が他の計算デバイスと通信することを可能にする、１個又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース７１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
【0219】
Ｉ／Ｏポート７１２は、そのうちのいくつかは計算デバイス７００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素７１４、提示構成要素７１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス７００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素７１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素７１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス７００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス７００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス７００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス７００によって使用され得る。
【0220】
電力供給装置７１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置７１６は、計算デバイス７００の構成要素が動作することを可能にするために計算デバイス７００に電力を提供することができる。
【0221】
提示構成要素７１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素７１８は、他の構成要素（たとえば、ＧＰＵ７０８、ＣＰＵ７０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
【0222】
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
【0223】
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１個の要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１個」は、要素Ａの少なくとも１個、要素Ｂの少なくとも１個、或いは、要素Ａの少なくとも１個及び要素Ｂの少なくとも１個を含み得る。
【0224】
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
