特表 2022-547531 センサフュージョンに基づく知覚的に向上したサラウンドビュー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-14

(54)【発明の名称】センサフュージョンに基づく知覚的に向上したサラウンドビュー

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221107BHJP

   B60R 1/27 20220101ALI20221107BHJP

【ＦＩ】

H04N7/18 J

B60R1/27

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022515621

(86)(22)【出願日】2020-09-08

(85)【翻訳文提出日】2022-05-06

(86)【国際出願番号】 US2020049639

(87)【国際公開番号】W WO2021050405

(87)【国際公開日】2021-03-18

(31)【優先権主張番号】16/690,906

(32)【優先日】2019-11-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/897,581

(32)【優先日】2019-09-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【代理人】

【識別番号】230129078

【弁護士】

【氏名又は名称】佐藤 仁

(71)【出願人】

【識別番号】390020248

【氏名又は名称】日本テキサス・インスツルメンツ合同会社

(72)【発明者】

【氏名】シャシャンク ダブラル

(72)【発明者】

【氏名】アイシュワルヤ デュベイ

(72)【発明者】

【氏名】マーティン フリッツ ミューラー

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054FD03

5C054FE18

5C054FE26

5C054GB02

5C054GB06

5C054GD09

5C054HA30

(57)【要約】

技法は、車両（４０２）の第１の位置を取得することであって、車両（４０２）が車両の周りに配設される一つ又は複数のカメラを有し、各カメラが、各カメラが車両（４０２）に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、第１の位置を取得することと、第１のエリア（４０４）の第１の画像を第１のカメラによって捕捉することと、第１の画像が捕捉されたとき車両（４０２）の第１の位置に第１の画像を関連付けることと、第１のエリア（４０４）がもはや第１のカメラの視野内にないように或る方向に車両を移動させることと、車両の第２の位置を取得することと、第１のカメラの物理的カメラ姿勢及び車両の第２の位置に基づいて、時間的カメラ姿勢を判定することと、時間的カメラ姿勢及び第１の画像に基づいて、第１のエリアのビューを表すことを含む。

【特許請求の範囲】

【請求項1】

方法であって、
車両の第１の位置を取得することであって、前記車両が前記車両の周りに配設される一つ又は複数のカメラを有し、各カメラが、各カメラが前記車両に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、前記第１の位置を取得することと、
第１のエリアの第１の画像を第１のカメラによって捕捉することと、
前記第１の画像が捕捉されたとき、前記車両の前記第１の位置に前記第１の画像を関連付けることと、
前記第１のエリアがもはや前記第１のカメラの視野内にないような方向に、前記車両を移動させることと、
前記車両の第２の位置を取得することと、
前記第１のカメラの前記物理的カメラ姿勢と前記車両の前記第２の位置とに基づいて、時間的カメラ姿勢を判定することと、
前記時間的カメラ姿勢と前記第１の画像とに基づいて、前記第１のエリアのビューを表すことと、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、前記車両を移動させることが、前記第１のエリアが前記車両の下にあるように前記方向に前記車両を移動させることを含み、前記ビューを表すことが、前記車両の下の前記第１のエリアを表すことを含む、方法。

【請求項3】

請求項１に記載の方法であって、前記第１のエリアの前記第１の画像を画像バッファ内に記憶することを更に含み、前記画像バッファ内の画像が時間順に記憶され、前記ビューを表すことが、前記画像バッファ内に記憶された前記画像に基づく、方法。

【請求項4】

請求項３に記載の方法であって、
前記第１のカメラによって、前記第１のエリアと少なくとも部分的に重複する第２のエリアの第２の画像を捕捉することと、
前記第２の画像を前記画像バッファ内に記憶することと、
を更に含む、方法。

【請求項5】

請求項４に記載の方法であって、
前記第２の画像に関連付けられる前記車両の第３の位置が、前記第１のエリアから少なくとも最小閾値距離にあり、
前記第３の位置が前記第１のエリアから少なくとも前記最小閾値距離にあるという判定に基づいて、前記第２の画像を記憶する、
方法。

【請求項6】

請求項３に記載の方法であって、前記ビューを表すことが、
前記画像バッファから候補画像を選択する工程と、
前記車両の現在の位置と、前記選択された候補画像に関連付けられる前記車両の前記位置との間の距離を判定する工程と、
前記距離が最小閾値距離よりも大きいか又は等しい場合、前記選択された候補画像を選択する工程と、
前記選択された候補画像に基づいて、前記ビューを表す工程と、
を反復することを含む、方法。

【請求項7】

請求項３に記載の方法であって、前記候補画像に関連付けられる前記車両の前記位置と前記車両の前記現在の位置とが、最大距離閾値を上回るという判定に基づいて、前記画像バッファから失効した画像を削除することを更に含む、方法。

【請求項8】

請求項１に記載の方法であって、第２のカメラによって、前記第１のエリアの第２の画像を捕捉することを更に含み、前記第１のエリアの前記ビューを表すことが、前記第１のエリアの前記第２の画像に更に基づく、方法。

【請求項9】

非一時的プログラムストレージデバイスであって、一つ又は複数のプロセッサに、
車両の第１の位置を取得することであって、前記車両が前記車両の周りに配設される一つ又は複数のカメラを有し、各カメラが、各カメラが前記車両に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、前記第１の位置を取得することと、
第１のカメラから、第１のエリアの第１の画像を受けとることと、
前記第１の画像が捕捉されたとき、前記車両の前記第１の位置に前記第１の画像を関連付けることと、
前記第１のエリアがもはや前記第１のカメラの視野内にないように或る方向に前記車両を移動させた後、前記車両の第２の位置を取得することと、
前記第１のカメラの前記物理的カメラ姿勢と前記車両の前記第２の位置とに基づいて、時間的カメラ姿勢を判定することと、
前記時間的カメラ姿勢と前記第１の画像とに基づいて、前記第１のエリアのビューを表すことと、
を行なわせるために記憶された命令を含む、非一時的プログラムストレージデバイス。

【請求項10】

請求項９に記載の非一時的プログラムストレージデバイスであって、前記第１のエリアが前記車両の下にあるように前記方向に前記車両が移動するとき、前記ビューを表すことが、前記車両の下の前記第１のエリアを表すことを含む、非一時的プログラムストレージデバイス。

【請求項11】

請求項９に記載の非一時的プログラムストレージデバイスであって、前記記憶された命令が更に、一つ又は複数のプロセッサに、前記第１のエリアの前記第１の画像を画像バッファ内に記憶することを実施させ、
前記画像バッファ内の画像が時間順に記憶され、
前記ビューを表すことが、前記画像バッファ内に記憶される前記画像に基づく、
非一時的プログラムストレージデバイス。

【請求項12】

請求項１１に記載の非一時的プログラムストレージデバイスであって、前記記憶された命令が更に、一つ又は複数のプロセッサに、
前記第１のカメラから、前記第１のエリアと少なくとも部分的に重複する第２のエリアの第２の画像を受けとることと、
前記第２の画像を前記画像バッファ内に記憶することと、
を実施させる、非一時的プログラムストレージデバイス。

【請求項13】

請求項１２に記載の非一時的プログラムストレージデバイスであって、前記記憶された命令が更に、一つ又は複数のプロセッサに、
前記第２の画像に関連付けられる前記車両の第３の位置を取得することと、
前記車両の前記第３の位置が、前記第１のエリアから少なくとも最小閾値距離にあると判定することと、
前記第３の位置が、前記第１のエリアから少なくとも前記最小閾値距離にあるという前記判定に基づいて、前記第２の画像を記憶することと、
を実施させる、非一時的プログラムストレージデバイス。

【請求項14】

請求項１１に記載の非一時的プログラムストレージデバイスであって、前記ビューを表すための前記記憶された命令が更に、一つ又は複数のプロセッサに、
前記画像バッファから候補画像を選択する工程と、
前記車両の現在の位置と、前記選択された候補画像に関連付けられる前記車両の前記位置との間の距離を判定する工程と、
前記距離が最小閾値距離よりも大きいか又は等しい場合、前記選択された候補画像を選択する工程と、
前記選択された候補画像に基づいて、前記ビューを表す工程と、
を反復させる、非一時的プログラムストレージデバイス。

【請求項15】

請求項１１に記載の非一時的プログラムストレージデバイスであって、前記記憶された命令が更に、一つ又は複数のプロセッサに、
前記候補画像に関連付けられる前記車両の前記位置と前記車両の前記現在の位置とが、最大距離閾値を上回るという判定に基づいて、前記画像バッファから失効した画像を削除することと、
を行なわせる、非一時的プログラムストレージデバイス。

【請求項16】

請求項９に記載の非一時的プログラムストレージデバイスであって、前記記憶された命令が更に、一つ又は複数のプロセッサに、
第２のカメラによって、前記第１のエリアの第２の画像を捕捉することを実施させ、
前記第１のエリアの前記ビューを表すことが、前記第１のエリアの前記第２の画像に更に基づく、
非一時的プログラムストレージデバイス。

【請求項17】

車両の周りのビューを表すためのシステムであって、前記システムが、
前記車両の周りに配設される一つ又は複数のカメラであって、各カメラが、各カメラが前記車両に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、前記一つ又は複数のカメラと、
メモリと、
前記メモリ及び前記一つ又は複数のカメラに動作可能に結合される一つ又は複数のプロセッサと、
を含み、
前記一つ又は複数のプロセッサが、
前記車両の第１の位置を取得することと、
第１のエリアの第１の画像を第１のカメラによって捕捉することと、
前記第１の画像が捕捉されたとき、前記車両の前記第１の位置に前記第１の画像を関連付けることと、
前記第１のエリアがもはや前記第１のカメラの視野内にないように或る方向に前記車両が移動した後、前記車両の第２の位置を取得することと、
前記第１のカメラの前記物理的カメラ姿勢と前記車両の前記第２の位置とに基づいて、時間的カメラ姿勢を判定することと、
前記時間的カメラ姿勢と前記第１の画像とに基づいて、前記第１のエリアのビューを表すことと、
を前記一つ又は複数のプロセッサに実施させる非一時的命令を実行するように構成される、
システム。

【請求項18】

請求項１７に記載のシステムであって、前記車両が前記第１のエリアが前記車両の下にあるように前記方向に移動するとき、前記ビューを表すことが、前記車両の下の前記第１のエリアを表すことを含む、システム。

【請求項19】

請求項１７に記載のシステムであって、前記非一時的命令が更に、前記一つ又は複数のプロセッサに、
前記第１のエリアの前記第１の画像を画像バッファ内に記憶することを実施させ、
前記画像バッファ内の画像が時間順に記憶され、前記ビューを表すことが、前記画像バッファ内に記憶される前記画像に基づく、
システム。

【請求項20】

請求項１９に記載のシステムであって、前記非一時的命令が更に、前記一つ又は複数のプロセッサに、
前記第１のカメラから、前記第１のエリアと少なくとも部分的に重複する第２のエリアの第２の画像を受けとることと、
前記第２の画像を前記画像バッファに記憶することと、
を実施させる、システム。

【発明の詳細な説明】

【技術分野】

【0001】

車、航空機、ロボットなどの車両など（vehicle）には、その車両の周りの領域の外部ビューを車両の運転者に提供するために、複数の外部カメラがより一層装備されるようになってきている。これらの外部ビューは、通常、車をバックさせるか又は駐車させるときなどに、車両を操作するのを助けるために用いられる。複数のカメラビューを繋ぎ合わせて、車両の周りの外部サラウンドビューを形成し得る。しかしながら、こうしたシステムのどのカメラの視野内にもないエリアの外部ビューは利用できない。加えて、これらのマルチカメラビューを生成するためには複数のカメラが必要であり、一つ又は複数のカメラの障害がこうしたシステムの動作を妨げる可能性がある。したがって、センサフュージョンに基づく知覚的に向上したサラウンドビューのための、改良された技法を有することが望ましい。

【発明の概要】

【0002】

本開示は或る方法に関し、この方法は、車両の第１の位置を取得することであって、車両は車両の周りに配設される一つ又は複数のカメラを有し、各カメラが、各カメラが車両に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、第１の位置を取得することと、第１のエリアの第１の画像を第１のカメラによって捕捉することと、第１の画像が捕捉されたとき車両の第１の位置に第１の画像を関連付けることと、第１のエリアがもはや第１のカメラの視野内にないように或る方向に車両を移動させることと、車両の第２の位置を取得することと、第１のカメラの物理的カメラ姿勢と車両の第２の位置とに基づいて、時間的カメラ姿勢を判定することと、時間的カメラ姿勢と第１の画像とに基づいて、第１のエリアのビューを表す（render）こととを含む。

【0003】

本開示の別の態様が、非一時的プログラムストレージデバイスに関し、非一時的プログラムストレージデバイスは、車両の第１の位置を取得することであって、車両は車両の周りに配設される一つ又は複数のカメラを有し、各カメラが、各カメラが車両に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、第１の位置を取得することと、第１のエリアの第１の画像を第１のカメラから受け取ることと、第１の画像が捕捉されたとき車両の第１の位置に第１の画像を関連付けることと、第１のエリアがもはや第１のカメラの視野内にないように或る方向に車両が移動した後、車両の第２の位置を取得することと、第１のカメラの物理的カメラ姿勢と車両の第２の位置とに基づいて、時間的カメラ姿勢を判定することと、時間的カメラ姿勢と第１の画像とに基づいて、第１のエリアのビューを表すこととを一つ又は複数のプロセッサに行なわせるために記憶された命令を含む。

【0004】

本開示の別の態様が、車両の周りのビューを表すためのシステムに関し、このシステムは、車両の周りに配設される一つ又は複数のカメラであって、各カメラが、各カメラが車両に関してどこに位置するかを示す物理的カメラ姿勢に関連付けられる、一つ又は複数のカメラと、メモリと、メモリ及び一つ又は複数のカメラに動作可能に結合される一つ又は複数のプロセッサとを含む。一つ又は複数のプロセッサは、車両の第１の位置を取得することと、第１のエリアの第１の画像を第１のカメラによって捕捉することと、第１の画像が捕捉されたとき車両の第１の位置に第１の画像を関連付けることと、第１のエリアがもはや第１のカメラの視野内にないように或る方向に車両が移動した後、車両の第２の位置を取得することと、第１のカメラの物理的カメラ姿勢と車両の第２の位置とに基づいて、時間的カメラ姿勢を判定することと、時間的カメラ姿勢と第１の画像とに基づいて、第１のエリアのビューを表すこととを一つ又は複数のプロセッサに行なわせる、非一時的命令を実行するように構成される。

【0005】

本明細書における技法は、可視光カメラとの関連において考察され、ボウル形を用いて物理的カメラ及び仮想カメラに対する姿勢を判定する一方で、本開示において、これらの技法は、こうしたセンサや姿勢を判定するための技法に限定されないことを理解されよう。むしろ、本明細書において考察される技法は、赤外線、近赤外線を含む、非可視光センサ又は電磁センサ、或いは、広範な電磁周波数にわたる画像の捕捉が可能なカメラを含む、幅広いセンサデバイスにわたって容易に適用可能である。本明細書で考察される技法は、さらに、物理的カメラ及び仮想カメラに対する姿勢を判定する他の様式にも適用可能である。

【0006】

次に、様々な例の詳細な説明のために、添付の図面を参照する。

【図面の簡単な説明】

【0007】

【図1A】本開示の態様に従った、３Ｄサラウンドビューを生成するための技法を示す図である。

【図1B】本開示の態様に従った、３Ｄサラウンドビューを生成するための技法を示す図である。

【0008】

【図2】本開示の態様に従った、サラウンドビューシステムにおいて用いるための例示の３次元（３Ｄ）ボウルメッシュの図である。

【0009】

【図3】本開示の態様に従った、仮想カメラを物理的カメラにマッピングするための光線追跡プロセスを示す。

【0010】

【図4A】本開示の態様に従った、時間的マッピングの例示的効果を示す。

【図4B】本開示の態様に従った、時間的マッピングの例示的効果を示す。

【0011】

【図5】本開示の態様に従った、向上したサラウンドビューのための技法を示すフローチャートである。

【0012】

【図6】本開示の態様に従った、車両の姿勢における例示的変化を示す。

【0013】

【図7】本開示の態様に従った、システムの一実施形態を示すブロック図である。

【0014】

【図8】本開示の態様に従った、コンピューティングデバイスの一実施形態を示すブロック図である。

【発明を実施するための形態】

【0015】

図１Ａは、本開示の態様に従った、３Ｄサラウンドビューを生成するための技法を示す図である。３Ｄサラウンドビューを生成するためのプロセスは、車両を真っ直ぐに見下ろしたときに真上に位置するように見える視点からの合成画像を生成する。実質的には、車両周囲近傍の仮想上面図が提供される。

【0016】

車両サラウンドビューシステムは、通常、車両１１０の周りに搭載された４～６台の魚眼カメラを含む。例えば、カメラセットは、車両１１０の前部に１つ、車両１１０の後部にもう１つ、及び車両１１０の両側に１つずつを含む。各カメラによって生成される画像は、各カメラからの画像データの一つ又は複数のフレームを記憶するためのメモリ回路を含む画像信号処理システム（ＩＳＰ）に提供され得る。各カメラによって捕捉される魚眼画像１１１～１１４は、例えば、車両１１０の周りに概念的に配置され得る。

【0017】

複数の魚眼レンズカメラからサラウンドビューを生成する一般的なプロセスは、２０１５年１０月の、Ｖｉｋｒａｍ Ａｐｐｉａ等による「ＴＩのＴＤＡｘ ＳｏＣに対するＡＤＡＳのためのサラウンドビューカメラシステム」に記載されており、これは参照により本明細書に組み込まれる。基本的なサラウンドビューカメラソリューションは、典型的には、幾何学的アライメントと合成ビュー統合との２つの主要アルゴリズム構成要素を含む。幾何学的アライメントは、入力ビデオフレームについての魚眼ひずみを補正し、それらを共通の鳥瞰透視図法に変換する。統合アルゴリズムは、幾何学的補正の後、合成サラウンドビューを生成する。シームレスに繋ぎ合わされたサラウンドビュー出力を生成するために、「測光アライメント」と呼ばれる別の主要アルゴリズムが必要となり得る。測光アライメントは、シームレスな繋ぎ合わせを達成するために、近接ビュー間の輝度及び色の不整合を補正する。測光補正は、例えば、２０１５年３月９日出願の米国特許出願第１４／６４２，５１０号、発明の名称「サラウンドビューカメラソリューションからのディスプレイを処理するための方法、装置、及びシステム」に詳細に説明され、参照により本明細書に組み込まれる。

【非特許文献1】“Surround view camera system for ADAS on TI's TDAx SoCs,” Vikram Appia etal, October 2015

【特許文献1】米国特許出願第１４／６４２，５１０号 “Method, Apparatus and System for Processing a Display From a Surround View Camera Solution”

【0018】

カメラシステム較正は、魚眼レンズひずみ補正（ＬＤＣ）及び透視図法変換の両方を含み得る。魚眼ひずみ補正の場合、放射ひずみモデルを用いて、放射ひずみ機能の逆変換を適用することによって、元の入力フレームから魚眼を除去し得る。ＬＤＣの後、４つの入力ＬＤＣ補正フレームを変換するために、すべての入力ビューが単一の世界座標系内に適切に登録されるように、各カメラについて１つ、４つの外因性較正マトリクスが推定され得る。チャートベース較正手法が用いられ得る。チャートのコンテンツは、アルゴリズムによる、特徴の、正確で信頼性の高い発見及び整合を促進するように設計される。チャートベース較正は、例えば、２０１６年１０月１４日出願の米国特許出願第１５／２９４，３６９号、発明の名称、「マルチカメラシステムの較正のための自動特徴ポイント検出」で詳細に考察され、参照により本明細書に組み込まれる。

【特許文献2】米国特許出願第１５／２９４，３６９号 “Automatic Feature Point Detection for Calibration of Multi-Camera Systems”

【0019】

適切な幾何学的アライメントがすでに入力フレームに適用されているものと想定すると、図１Ｂの合成サラウンドビュー１３２は、例えば、デジタル信号プロセッサ（ＤＳＰ）を用いて生成され得る。合成サラウンドビューは、カメラのセットからの４つの入力フレームすべてからのデータを用いる。重複領域は、同じ物理世界からのものであるが、２つの近接カメラによって捕捉されるフレームの部分、すなわちＯ｛ｍ，ｎ｝であり、ここで、ｍ＝１、２、３、４であり、ｎ＝（ｍ＋１）ｍｏｄ４である。Ｏ｛ｍ，ｎ｝は、ビューｍとビューｎとの間の重複領域を示し、ｎは時計回り順のビューｍの近傍ビューである。Ｏ｛ｍ，ｎ｝における各位置には、利用可能な２つのピクセル、すなわち、ビューｍからの画像データと、ビューｎからのその空間的相対物が存在する。

【0020】

較正されたカメラシステムは、４つの魚眼カメラから入力ビデオストリームを受信し、合成３Ｄサラウンドビュー１３２を作成する、サラウンドビュー統合機能を生成する。ＬＤＣモジュールが、４つの魚眼カメラの各々からの画像フレームに対し、魚眼補正、遠近法ワープ、アライメント、及び双一次／双三次補間を実施し得る。ＬＤＣモジュールは、ハードウェア加速度計（ＨＷＡ）モジュールであり得、例えば、ＤＳＰモジュール又はグラフィックス処理ユニット（ＧＰＵ）の一部として組み込まれ得る。ＤＳＰモジュールは、繋ぎ合わせも行い得、車両画像１３４などの車両の画像を最終合成出力画像１３２上に重ね合わせ得る。

【0021】

この統合は、幾何学的ＬＵＴにおいて符号化されるマッピングを用いて、繋ぎ合わされた出力画像を作り出す。２つの近接入力フレームからの画像データが必要な出力フレームの重複領域において、各出力ピクセルは２つの入力画像におけるピクセル位置にマッピングされる。重複領域において、２つの近接画像からの画像データが混合され得るか、又は、２つの画像のうちの１つからのデータを用いるための二者択一が成され得る。

【0022】

使用可能な画像データがない領域では、結果として、繋ぎ合わされた出力画像内に穴が生じ得る。例えば、車両の下の領域は、概して直接撮像されず、繋ぎ合わされた出力画像内で空白又は黒色領域として表され得る。典型的には、この空白領域は、車両画像１３４などの車両の重ね合わされた画像によって埋められる。カメラが無効になった場合、通常そのカメラによって撮像される対応する領域は、繋ぎ合わされた出力画像内で空白又は黒色領域として表され得る。

【0023】

図２は、本開示の態様に従った、サラウンドビューシステムにおいて用いるための例示の３次元（３Ｄ）ボウルメッシュ２００の図である。３Ｄ画像の場合、車両の周りの世界はボウルの形状で表され得る。シーンの完全な深さがないため、ボウルは車両の周りの世界の形状についての妥当な推定である。このボウルは、任意の平滑な変動表面とすることができる。この特定の表現では、ボウル２００が用いられ、車に近い領域では平坦部分２０１であり、車から離れると前部及び後部がそれぞれ２０２、２０３として示される湾曲部分である。この例においてボウルの両側は、２０４に示されるようにわずかに上方に湾曲し得る。他の実施形態では、他のボウル形状が用いられ得る。

【0024】

繋ぎ合わされた出力画像などの画像は、例えば、グラフィックス処理ユニット（ＧＰＵ）又は画像プロセッサによって、３Ｄボウルメッシュ２００上に重ね合わされ得、仮想視点又は仮想カメラのセットが、繋ぎ合わされた出力画像及び仮想視点を作り出すために用いられるカメラからのマッピングと共に、定義され得る。

【0025】

図３は、本開示の態様に従った、仮想カメラを物理的カメラにマッピングするための光線追跡プロセス３００を図示する。この例は、図２のボウルメッシュ２００と同様の、ボウルメッシュの一部３０２の断面図を表す。ボウルメッシュ３０２は、図２の平坦部分２０１及び隆起部分２０２と同様の平坦部分３０４及び隆起部分３０６を含み得る。上記でより詳細に説明したように、魚眼レンズ３１０を備えるカメラ３０８が実際の車両の前部に搭載され得る。出力画像に対する仮想視点３１２が、例えば、実際の車両位置の上方にあるように定義され得る。

【0026】

ボウルメッシュ３０２上に投影される場合、撮像領域における位置の、魚眼レンズ３１０を備えるカメラ３０８のピクセルへのマッピングを提供するために、カメラの初期較正が用いられ得る。このマッピングは、例えば、較正段階の間に準備され得、例えば、ルックアップテーブル内に記憶され得る。前述のように、仮想視点３１２は、ハードウェアカメラ３０８とは別の位置において定義され得る。仮想視点３１２についてのマッピングが、仮想視点画像面３１４における仮想視点３１２位置から光線を投じることによって、及び、その光線がボウルメッシュ３０２と交差する位置を識別することによって定義され得る。光線３１６、３１８は例である。例えば、光線３１６はボウルメッシュ３０２の平坦部分３０２と交差し、光線３１８はボウルメッシュ３０２の隆起部分３０６と交差する。光線投射動作は、ボウルメッシュ３０２の対応する座標を備える仮想画像面３１４上のあらゆる２Ｄ地点のマッピングを生成する。その後、カメラ３０８とボウルメッシュ３０２との間のマッピング、並びに、仮想視点３１２とボウルメッシュ３０２との間のマッピングを用いて、仮想視点３１２にとって可視の領域と、カメラ３０８によって可視の領域との間のマッピングが生成され得る。

【0027】

本考察の態様によれば、仮想視点３１２にとって可視の領域は、カメラ３０８によって可視でない領域を含み得る。このような場合、仮想視点についてのマッピングは、複数のカメラとボウルメッシュ３０２との間のマッピングに基づき得る。仮想視点は任意に配置可能であり、標準的な、車両及び周囲エリアの真上のビューに限定されないことに留意されたい。例えば、仮想視点は、より多くの３Ｄ感をビューに与えるために、車両の上及びわずかに後方であるように定義することができる。加えて場合によっては、視点は、例えばユーザによって、動的に移動され得る。このような場合、マッピングは、動的に再計算するか、又は、複数の定義された位置について再計算されたマッピングのセットに基づくかの、いずれかであり得る。場合によっては、現在車両上のいずれのカメラにとっても可視でない領域は、車両上の一つ又は複数のカメラによって以前に撮像された場合があり得る。領域の画像を提供できる時間的カメラが用いられ得る。時間的カメラは、車両上のカメラが領域を直接撮像できない場合であっても、領域の画像を表示し得る。領域のこれらの画像は、以前の時点において捕捉され得、領域の画像を提供し、仮想カメラ視点に時間次元を提供するために用いられ得る。

【0028】

図４Ａ及び図４Ｂは、本開示の態様に従った時間的マッピングの例示的効果を図示する。図４Ａは、車両の下のビューを表すための第１の例を示し、図４Ｂは、カメラが無効である場合にビューを表すための第２の例を示す。この例に示されるように、動いている車両の場合、ｔ_１などの現時点でにおいて車両上のカメラによって可視でない領域が、ｔ_０などの以前の時点において車両上のカメラに対して可視であった可能性がある。図４Ａにおいて、時間ｔ_０において、進行方向、ここでは前方、に向けられたカメラを有する車４０２Ａが、参照領域４０６を含む車４０２Ａの前の領域４０４を撮像することが可能である。時間ｔ_１において、車４０２Ｂは、車４０２Ｂが現在、以前に撮像された領域４０４及び参照領域４０６の上にあるように、十分前方に進行している。明確にするために、提供される例は、前向きのカメラを備え、前方に移動する車両に関与することに留意されたい。しかしながら、当業者であれば、後進のための後向きのカメラなど、進行方向に対応する他のカメラが用いられ得ることを理解されよう。

【0029】

図４Ｂにおいて、再び時間ｔ_０において、ここでは前方である進行方向に向けられたカメラを有する車４１０Ａは、車４１０Ｂの右側カメラの視野に対応する、参照領域４１４を含む、車４１０Ａの前の領域４１２を撮像することが可能である。時間ｔ_１において、車４１０Ｂは、領域４１２が現在、車４１０Ｂの右側カメラの視野内にあるように、十分前方に進行している。この場合、右カメラ４１６は無効であり、画像は右側カメラから受信されない。時間ｔ_１において参照領域４１４は車４１０Ｂ上のカメラによって直接撮像できないが、参照領域４１４は、ｔ_０などの以前の時点において事前に撮像された。そのため、仮想視点と一つ又は複数のカメラビューとの間として時間次元がマッピングに追加され得る。

【0030】

本開示の態様に従い、車両について位置決めされた一つ又は複数のカメラによって捕捉される画像を記憶するために、一つ又は複数の履歴バッファが提供され得る。例えば、別個の履歴バッファが各カメラに提供され得るか、或いは、中央履歴バッファがいくつか又はすべてのカメラに提供され得る。場合によっては、履歴バッファは、履歴バッファによってサポートされる、設定時間フレームについての画像、及び／又は、一つ又は複数のカメラについての距離をバッファリングするように、十分に大きくし得る。この履歴バッファを用いて、仮想カメラについてのライブカメラ画像と同様の方式で時間的カメラについての画像が提供され得る。

【0031】

図５は、本開示の態様に従った、向上したサラウンドビューのための技法を示すフローチャート５００である。工程５０２において、この方法は、車両の第１の位置を取得することによって開始され、車両は車両の周りに配設された一つ又は複数のカメラを有し、各カメラは、各カメラが車両に関してどの場所に位置するかを示す物理的カメラ姿勢に関連付けられる。一般に、車両が、車両の前部、右側、左側、及び後部におけるカメラなどの、一つ又は複数のカメラを含み、これらは、車両の周りのエリアの画像を捕捉するように構成される。各カメラは、カメラの位置及び方向を示す物理姿勢に関連付けられる。場合によっては、位置情報は、全地球測位システム（ＧＰＳ）座標を用いることなどによって、任意の既知の技法によって取得され得る。場合によっては、これらのＧＰＳ座標は、加速度計又は他の慣性センサなどの、追加のセンサによって補足され得る。工程５０４において、この方法は、第１のカメラによって第１のエリアの第１の画像を捕捉することを含む。例えば、車両の周りに配設されたカメラは、車両の周りのエリアの画像ストリームを捕捉し得る。場合によっては、これらのカメラのうちの一つ又は複数は、魚眼カメラであり得、複数のカメラからの画像が車両のサラウンドビューを生成するために共に繋ぎ合わせられ得るように、較正されている。例えば、画像は、車両のサラウンドビューを生成するために用いられる、ボウルメッシュ及び一つ又は複数の仮想カメラに投影され得る。

【0032】

工程５０６において、この方法は、第１の画像が捕捉されたとき、車両の第１の位置に第１の画像を関連付けることを含む。例えば、画像がカメラによって捕捉される際、画像は車両の現在の位置に関連付けられる。これらの捕捉された画像及び関連付けられた位置は、画像又は時間的バッファ内に記憶され得る。時間的バッファは、一つ又は複数のカメラによって共有される単一の時間的バッファであり得るか、或いは、各カメラについての時間的バッファなど、そのカメラについての複数の時間的バッファが提供され得る。複数の時間的バッファは相互接続され得る。場合によっては、時間的バッファ内の画像は時間順に記憶され得、記憶される画像は、画像に関連付けられた車両の位置と、時間的バッファ内にすでに記憶された別の画像に関連付けられた車両の位置との間の、一つ又は複数の閾値距離に基づき得る。場合によっては、時間的バッファ内に記憶される複数の画像が、表示のために単一の画像の一部を表すために用いられ得る。例えば、魚眼カメラの解像度は、或る距離にわたって相対的に迅速に低下され得る。この低下される解像度を緩和するために、複数の記憶された画像を組み合わせて、単一の画像を表すことができる。より具体的な例として、画像は位置に関連付けて記憶されるため、車両の下のビューを表示するとき、車両の下の領域の第１の３分の１などの第１の部分が、領域のその第１の３分の１までの第１の距離から捕捉された時間的画像を用いて表示され得る。領域の第２の３分の１が、第２の３分の１までの第２の距離から捕捉された第２の時間的画像を用いて表示され得、第２の距離は近接しているが、領域の第１の３分の１の直後である。領域の第３の３分の１が、第３の３分の１までの第３の距離から捕捉された第３の時間的画像を用いて同様に表示され得、第３の距離は近接しているが、領域の第２の３分の１の直後である。

【0033】

場合によっては、画像は、車両の進行方向に基づいて時間的バッファ内に記憶され得る。例えば、車両が実質的に前方向に進行している場合、前向きのカメラからの画像は時間的バッファ内に記憶され得るが、後ろ向きのカメラからの画像は記憶されない。その逆に、車両が実質的に後ろ方向に進行している場合、後ろ向きのカメラからの画像は時間的バッファ内に記憶され得るが、前向きカメラからの画像は記憶されない。場合によっては、画像は、時間的バッファ内の画像に関連付けられた車両の位置と車両の現在の位置との間の最大距離に基づいて、時間的バッファから除去され得る。

【0034】

工程５０８において、この方法は、第１のエリアがもはや第１のカメラの視野内にないような方向に、車両を移動させることを含む。第１の例において、第１のエリアが実質的に車両の下にあるように、車両を移動させ得る。第２の例において、第１のエリアが実質的に第１のカメラの視野内にないが、第２のカメラの予測される視野内にあるような方向に、車両を移動させ得る。この第２の例において、第２のカメラは無効であるか、或いは別の状況で使用不可能であり、したがって、第１のエリアは第２のカメラから見ることができない。場合によっては、第２のカメラは全体として仮想カメラで置き換えることが可能である。例えば車両が、エリアのビューを捕捉するための前部及び後部カメラと、車両の左側及び右側のビューを提供するために用いられる時間的仮想カメラとを含み得る。場合によっては、時間的カメラのビュー内のビューイング角度又はエリアが、第２のカメラの予測される視野に比較して調節され得、別のカメラの画像品質が、他のカメラによって撮像される領域の縁部において、例えば、レンズ歪み、魚眼レンズなどに起因して、一層限定され得るため、時間的仮想カメラによって提供されるビューは、低下した解像度、撮像領域、及び／又は、領域を有し得る。時間的カメラのビュー内のビューイング角度又はエリアを調節することで、撮像品質の低下の影響を低減させるのを助ける。工程５１０において、車両の第２の位置が取得される。

【0035】

工程５１２において、この方法は、第１のカメラの物理的カメラ姿勢及び車両の第２の位置に基づいて、時間的カメラ姿勢を判定することを含む。例えば、更に下記で考察するように、時間的カメラ姿勢は、第１のカメラの事前較正された物理的カメラ姿勢及び車両の姿勢における変化に基づき得る。時間的バッファに記憶される画像は、例えば、車両の現在の位置、並びに、車両の現在の位置と選択される画像に関連付けられた車両の位置との間の閾値距離に基づいて、選択され得る。

【0036】

工程５１４において、この方法は、仮想カメラ姿勢及び第１の画像に基づいて、第１のエリアのビューを表すことを含む。場合によっては、時間的バッファから選択された画像は、ボウルメッシュへと投影され得る。時間的カメラからのビューは時間的画像として判定され得、この時間的画像は、例えば、車両内のディスプレイに表され得る。場合によっては、時間的バッファから選択され、ボウルメッシュへと投影される画像は、合成時間的画像を形成するために共に繋ぎ合わされ得る。時間的カメラからのビューは、合成時間的画像に基づき得る。

【0037】

車両上のカメラによって以前に撮像された領域の統合された履歴ビューを生成するのを助けるために、時間的カメラの姿勢が判定され得る。場合によっては、車両の姿勢における変化に関する情報は、ＧＰＳ及び慣性計測ユニット（ＩＭＵ）の組み合わせを用いて取得され得る。例えば、ＧＰＳ位置情報が、拡張ＧＰＳによって提供され得、或る時間における車両の姿勢を判定するために、加速度計又は他の慣性センサによって提供される回転／平行移動情報と組み合わされ得る。この姿勢情報は、履歴バッファに記憶された画像と関連付けられ得る。

【0038】

図６は、本開示の態様に従った、車両の姿勢における例示の変化６００を示す。一般に、姿勢は、座標系に関する実際のオブジェクト又は仮想オブジェクトのポジション及び向きを指し、Ｍマトリクスの形態で記述される。この例において、時間ｔ_０において第１の姿勢を有する車両６０２Ａが、時間ｔ_１において第２の姿勢へと移動し、ここで車両６０２Ｂは、第１の姿勢とは多次元において異なる第２の姿勢を有する。車両の姿勢における変化を取り扱うために、時間的カメラの姿勢は、以前の時間に関する車両の姿勢における変化に基づき得る。車両の姿勢におけるこの変化は、ΔＭによって記述され得、車両の位置、回転、及び／又は平行移動における変化に基づき得る。したがって、時間的カメラの姿勢は、^{ＦＣ（ｔ０）}Ｍ_{Ｗ（ｔ１）}＝^{ＦＣ（ｔ０）}Ｍ_{ＦＣ（ｔ１）}×^{ＦＣ（ｔ1）}Ｍ_{Ｗ（ｔ１）}によって記述され得、上式で、ＦＣは前部カメラの姿勢を表し、Ｗは特定の時点におけるボウルメッシュの座標などの世界座標系を表し、^{ＦＣ（ｔ０）}Ｍ_{ＦＣ（ｔ１）}はΔＭによって提供され、^{ＦＣ（ｔ1）}Ｍ_{Ｗ（ｔ１）}はカメラ較正によって提供される。時間的カメラの相対的姿勢が判定されると、相対的姿勢は、履歴バッファに記憶された対応する画像を用いて、仮想カメラについての姿勢として用いられ得る。

【0039】

履歴バッファからの画像の一貫性のない選択は、時間的一貫性、ちらつき、又は他のアーチファクトに関する問題を生じさせる可能性がある。時間的カメラに用いるために履歴バッファから正しい画像を判定するのを助けるために、距離閾値が用いられ得る。場合によっては、時間的カメラについてのカメラからの閾値距離が定義され得る。例えば、時間的カメラで用いるために、車両の前部カメラの位置から５メートル離れた閾値距離が定義され得る。場合によっては、履歴バッファ内の画像は時間順に配置され得る。履歴バッファから画像を選択するとき、画像が閾値距離よりも大きな距離から撮られたかどうかを判定するために、各画像の姿勢の平行移動成分が最も早いものから検査され得る。画像が閾値距離よりも大きな距離から撮られていない場合、閾値距離よりも大きな距離を有する第１の画像が見つかるまで、次の画像が検査される。閾値距離よりも大きな距離を有する第１の画像は、時間的カメラで用いるための画像として選択され得る。

【0040】

画像の一貫性を維持するのを助けるために、場合によっては、時間的バッファ内に記憶された画像は車両の方向変化に基づいて除去され得る。例えば、後ろ方向に進行する車両が停止した後、前方向への移動を開始した場合、後ろ向きカメラについて時間的バッファ内に記憶された画像が除去され得、前向きカメラからの新しい画像が時間的バッファ内に記憶され得る。これは、車両が他の方向に移動した間にオブジェクトの位置がシフトした可能性があるため、時間的バッファ内に記憶される画像を現在のものにしておくことを助ける。同様に、車両が或る閾値時間量の間、静止したままである場合、オブジェクトがシフトした可能性があるため、時間的バッファはクリアされ得る。これを車両運転者に伝えるために、時間的バッファが無効化される際にモデルをより不透明にするように、図１の車両画像１３４などのモデルの透明性が低減され得る。時間的カメラによって撮像される領域のビューを生成するために、画像が時間的バッファ内に記憶される際にモデルを不透明でなくするように、モデルの透明性が増加され得る。

【0041】

本開示の態様に従って、履歴バッファに記憶される画像の数を制限するためにバッファ最適化方式が用いられ得る。例えば、車両がゆっくりと進行しており、履歴バッファを急速に満たし得る場合、あらゆる可能な画像フレームを履歴バッファに記憶することは必要でない可能性がある。記憶する必要のある画像の数を減少させるのを助けるために、カメラからの画像は、離散距離周波数閾値において履歴内に記憶され得る。例えば、距離周波数閾値が１０センチメートルに設定されるとき、画像に関連付けられた平行移動が最も新しく記憶された画像から１０センチメートルより大きい場合、カメラからの画像は履歴バッファ内にのみ記憶され得る。

【0042】

場合によっては、画像を記憶するための最大距離も設定され得る。例えば、画像バッファは、最小閾値距離を超えて５メートルなどの、最大閾値距離について画像を記憶するように構成され得る。次いで、画像バッファによってサポートされるカメラ当たりの最大画像数が算出され得、画像バッファは適切にサイズが判定され得る。例えば、画像バッファが、５メートルの最大閾値距離、及び１０センチメートルの画像間の最小閾値距離に関連付けられた画像を記憶するように構成される場合、履歴バッファ内に記憶可能なカメラ当たりの最大画像数は５０画像である。

【0043】

図７は、本開示の態様に従った、システム７００の一実施形態を示すブロック図である。この例示のシステム７００は、車両の周囲に配置され、捕捉ブロック７１０に結合される、カメラ７０２～７０８などの複数のカメラを含む。ブロック７１２は、必要であれば、既知又は今後開発される画像処理方法を用いて、色補正動作（ベイヤーフォーマットからＹＵＶ４２０フォーマットへの変換、色調マッピング、ノイズフィルタ、ガンマ補正など）を行ない得る。ブロック７１４は、既知又は今後開発される技法を用いて最適な画像品質を達成するために、ビデオセンサの自動露光制御、及びホワイトバランスを行ない得る。ブロック７１６は、センサから捕捉される各フレームが同じ時間期間内にあることを保証するために、すべてのカメラ７００～７０８を同期させる。場合によっては、位置サブシステム７２６によって提供される位置情報が、カメラによって捕捉された同期されたフレームに関連付けられ得る。位置サブシステムは、例えばＧＰＳセンサ、並びに慣性又は加速度センサなどの他のセンサを含み得る。同期されたフレームは時間的バッファ７３２内に記憶され得る。バッファマネージャ７３６が、或る画像を記憶するかどうかを判定するために閾値化を行なうこと、車両の進行の距離及び方向、静止の時間量などに基づいて画像を除去すること、並びに、どのカメラ画像が時間的バッファ７３２内に記憶されるかを管理することなどによって、時間的バッファ７３２内に記憶される画像を管理し得る。場合によっては、時間的バッファは、前部及び後ろ向きカメラからの画像のみを記憶するように最適化され得る。

【0044】

カメラ７０２～７０８によって直接提供される入力ビデオフレーム、並びに、仮想及び時間的カメラに基づいて時間的バッファ７３２内に記憶される画像をワープするために、較正器７２４によって生成されるマッピングルックアップテーブルがワープモジュール７２８によって用いられ得る。したがって、魚眼ひずみ補正及び視点ワープが、どちらも、所定の視点マッピングを用いる単一動作において行なわれ得る。

【0045】

シンセサイザモジュール７３０は、各ビデオチャネルからの１つのフレームを含む合成ビデオフレームの生成の責務を負う。合成パラメータは、仮想視点に依存して変更可能である。このモジュールは、図１に関して上記で説明した統合ブロックと同様である。魚眼入力画像の代わりに、シンセサイザモジュール７３０は、ワープモジュール７２８から各カメラ画像についてワープ修正された出力を受けとる。

【0046】

シンセサイザモジュール７３０は、近接カメラ及び時間的カメラに対応する画像を繋ぎ合わせ及び混合し得る。混合位置は、仮想ビューの位置に基づいて変動し、この情報は、発生するワールドビューメッシュをオフラインで符号化することもできる。

【0047】

ディスプレイサブシステム７３４が、シンセサイザ７３０から出力されるビデオストリームを受信し得、同じのものを、車両の運転者による閲覧のため、接続されたＬＣＤ、モニタ、ＴＶなどのディスプレイユニット上に表示し得る。このシステムは、検出されるオブジェクト、歩行者、警告などのメタデータも表示するように構成され得る。

【0048】

本明細書で説明する特定の実装では、４台のカメラが用いられる。本明細書で開示される同じ原理は、他の実施形態ではＮ台のカメラまで拡張され得、Ｎは４よりも大きくても又は小さくてもよい。

【0049】

カメラ較正マッピングデータ７１８は、ワールドビューメッシュとの組み合わせで較正手順によって生成され得、３Ｄボウルメッシュテーブル７２０内に記憶され得る。上記でより詳細に説明したように、ワールドビューメッシュ７２０は、オフライン７２２で生成され得、較正器モジュール７２４による今後の使用のために記憶され得る。

【0050】

事前に定義された各仮想視点について、較正器モジュール７２４は、関連する３Ｄボウルメッシュテーブル７２０を読み取り、カメラ較正パラメータ７１８を補償し、４つのチャネル各々について２Ｄメッシュルックアップテーブルを生成する。これは典型的にはワンタイム動作であり、例えば、組み立てプロセスの間にシステムが車両内に置かれるときなど、システムが開始されたときに行われる。このプロセスは、車両上に搭載されるカメラのうちの１つについてポジション変更が感知されたときに必ず反復され得る。したがって、車両が移動するにつれて時間的カメラの較正が各フレームを変化させるため、３Ｄボウルメッシュテーブル７２０は時間的カメラの各フレームについて生成され得る。いくつかの実施形態において、較正プロセスは、例えば、車両が始動されるごとに反復され得る。

【0051】

場合によっては、カメラからの捕捉画像データは、時間的バッファと関連して用いるには有効でない可能性がある。例えば、車などの車両が混雑した往来を進行している場合、カメラからの捕捉画像は他の車両の画像を含み得る。こうした画像は、一例として、車両の下の領域の画像を表示する時間的カメラと共に用いるには不適切である。こうした場合、時間的カメラは、例えば、捕捉画像が時間的カメラのための使用を無効にするオブジェクトを含むとき、車両のモデルを不透明にすることによって、無効化され得る。画像が、捕捉され、こうしたオブジェクトを含まない時間的バッファ内に記憶されると、モデルをより不透明でなくするように、モデルの透明性が増加され得る。捕捉画像内のオブジェクトが、任意の既知の技法を用いて検出及び識別され得る。

【0052】

図８に示されるように、デバイス８００は、一つ又は複数のハードウェアプロセッサを含むプロセッサ８０５などの処理要素を含み、各ハードウェアプロセッサは単一又は複数のプロセッサコアを有し得る。プロセッサの例は、限定されないが、中央処理ユニット（ＣＰＵ）又はマイクロプロセッサを含む。図８には示されていないが、プロセッサ８０５を構成する処理要素は、グラフィックス処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）などの、一つ又は複数の他のタイプのハードウェア処理構成要素も含み得る。場合によっては、プロセッサ８０５は、図７のモジュール７１０～７１６、７２４～７３０と関連して説明するタスクを実行するように構成され得る。

【0053】

図８は、プロセッサ８０５に動作可能及び通信可能に結合され得るメモリ８１０を示す。メモリ８１０は、様々なタイプのデータを記憶するように構成される、非一時的コンピュータ可読記憶媒体であり得る。例えば、メモリ８１０は、ランダムアクセスメモリ（ＲＡＭ）などの一つ又は複数の揮発性デバイスを含み得る。場合によっては、図７の時間的バッファ７３０はメモリ８１０の一部であり得る。不揮発性ストレージデバイス８２０は、一つ又は複数のディスクドライブ、光学ドライブ、ソリッドステートドライブ（ＳＳＤ）、タップドライブ、フラッシュメモリ、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、及び／又は、停電又はシャットダウン動作の後、或る持続時間の間データを維持するように設計された任意の他のタイプのメモリを含み得る。不揮発性ストレージデバイス８２０は、こうしたプログラムを実行したときにＲＡＭにロードされるプログラムを記憶するためにも用いられ得る。

【0054】

当業者であれば、ソフトウェアプログラムが、様々なソフトウェアプラットフォーム及び／又はオペレーティングシステムのための様々なコンピューティング言語で開発、符号化、及びコンパイルされ得ること、及びその後、プロセッサ８０５によってロード及び実行され得ることを承知されよう。一実施形態において、ソフトウェアプログラムのコンパイルプロセスは、プロセッサ８０５がプログラミングコードを実行できるように、プログラミング言語で作成されたプログラムコードを別のコンピュータ言語に変換し得る。例えば、ソフトウェアプログラムのコンパイルプロセスは、具体的な、非汎用の、特定のコンピューティング機能を達成するために、プロセッサ８０５のための符号化された命令（例えば、機械コード命令）を提供する実行可能プログラムを生成し得る。

【0055】

コンパイルプロセスの後、符号化された命令は、コンピュータ実行可能命令又はプロセス工程として、ストレージ８２０から、メモリ８１０から、プロセッサ８０５にロードされ得、及び／又は、（例えば、キャッシュ又はオンボードＲＯＭを介して）プロセッサ８０５内に埋め込まれ得る。プロセッサ８０５は、コンピューティングデバイスを、非汎用の、特定の、特別にプログラミングされた、機械又は装置に変換するように、命令又はプロセス工程を実施するために、記憶された命令又はプロセス工程を実行するように構成され得る。記憶されたデータ、例えば、ストレージデバイス８２０によって記憶されたデータには、コンピュータ実行可能命令又はプロセス工程の実行中、コンピューティングデバイス８００内の一つ又は複数の構成要素に命令するために、プロセッサ８０５によってアクセスされ得る。ストレージ８２０は、異なるソフトウェアプログラムによってアクセスされ得る複数のセクションに区分又は分割され得る。例えば、ストレージ８２０は、コンピューティングデバイス８００のソフトウェアを更新するためのプログラム命令又はデータを記憶することなどの、特定の目的に指定されたセクションを含み得る。一実施形態において、更新されるべきソフトウェアは、コンピューティングデバイスのＲＯＭ又はファームウェアを含む。場合によっては、コンピューティングデバイス８００は複数のオペレーティングシステムを含み得る。例えば、コンピューティングデバイス８００は、通常動作に利用される汎用オペレーティングシステムを含み得る。コンピューティングデバイス８００は、汎用オペレーティングシステムをアップグレード及び回復させることなどの特定のタスクを実行するため、及び、一般的には汎用オペレーティングシステムを介して使用できないレベルでのコンピューティングデバイス８００へのアクセスを可能にするために、ブートローダなどの別のオペレーティングシステムも含み得る。汎用オペレーティングシステム及び別のオペレーティングシステムのどちらも、特定の目的に指定されたストレージ８２０のセクションにアクセスし得る。

【0056】

一つ又は複数の通信インターフェースは、一つ又は複数の無線通信デバイスとのインターフェースのための無線通信インターフェースを含み得る。場合によっては、プロセッサに結合される要素は、プロセッサと共有されるハードウェア上に含まれ得る。例えば、通信インターフェース８２５、ストレージ８２０、及びメモリ８１０は、デジタル無線などの他の要素と共に、システムオンチップ(ＳＯＣ)内などの単一チップ又はパッケージ内に含められ得る。コンピューティングデバイスは、図示されていないが、入力及び／又は出力デバイスも含み得、その例は、センサやカメラ、マウス、キーボード、タッチスクリーンなどの人間入力デバイス、モニタ、ディスプレイスクリーン、触覚又は運動発生器、スピーカ、光源などを含む。例えば、レーダデバイス８３０からの処理された入力が、コンピューティングデバイス８００から通信インターフェース８２５を介して一つ又は複数の他のデバイスへと出力され得る。

【0057】

上記の考察は、本開示の原理及び様々な実装の例示であることが意図される。当業者であれば、上記の開示が完全に理解されると、多数の変形及び改変が明らかとなろう。下記の特許請求の範囲は、こうしたすべての変形及び改変を包含するものと解釈されることが意図される。

【0058】

本明細書において、乗車運転者を伴う従来の車両について説明してきたが、他の実施形態が、遠隔サイトから制御され得る自律走行車などの、「運転者」が車両から遠く離れた車両において実装され得る。

【0059】

本明細書で用いられる際、「車両」という用語は、リアルタイムで仮想視点を形成するために、複数のカメラからの低コストで低電力の画像処理が有利である、ロボット、工業用デバイス、医療用デバイスなどの、他のタイプのデバイスにも適用され得る。

【0060】

本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。ソフトウェアにおいて実装される場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）などの、一つ又は複数のプロセッサにおいて実行され得る。こういった技法を実行するソフトウェアは、コンパクトディスク（ＣＤ）、ディスケット、テープ、ファイル、メモリ、又は任意の他のコンピュータ可読記憶デバイスなどの、コンピュータ可読媒体内に初期に記憶され得、その後、プロセッサにロードされ実行され得る。いくつかの場合には、ソフトウェアは、コンピュータ可読媒体、及びコンピュータ可読媒体用のパッケージング材料を含む、コンピュータプログラム製品において販売もされ得る。いくつかの場合には、ソフトウェア命令は、取り外し可能コンピュータ可読媒体（例えば、フロッピーディスク、光ディスク、フラッシュメモリ、ＵＳＢキー）を介する、別のデジタルシステム上のコンピュータ可読媒体からの伝送経路を介するなどによって、配布され得る。

【0061】

本明細書において、「結合する」という用語は、間接的又は直接的な有線又は無線接続のいずれかを意味する。したがって、第１のデバイスが第２のデバイスに結合する場合、その接続は、直接接続を介するか、又は、他のデバイス及び接続を介した間接的接続を介することができる。

【0062】

特許請求の範囲において、説明した実施形態における改変は可能であり、また他の実施形態は可能である。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】