特許 7123207 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-12

(45)【発行日】2022-08-22

(54)【発明の名称】車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220815BHJP

   G06T 1/00 20060101ALI20220815BHJP

   G06T 19/00 20110101ALI20220815BHJP

   B60R 1/00 20220101ALI20220815BHJP

   G08G 1/16 20060101ALI20220815BHJP

【ＦＩ】

H04N7/18 J

G06T1/00 330Z

G06T19/00 A

B60R1/00

G08G1/16 C

【請求項の数】 18

【外国語出願】

(21)【出願番号】P 2021063921

(22)【出願日】2021-04-05

(62)【分割の表示】P 2019527814の分割

【原出願日】2017-11-17

(65)【公開番号】P2021108470

(43)【公開日】2021-07-29

【審査請求日】2021-04-16

(31)【優先権主張番号】15/364,914

(32)【優先日】2016-11-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】パテル，ニルマル

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開平１０－８９９８８（ＪＰ，Ａ）

【文献】特開２０１５－１０８５１９（ＪＰ，Ａ）

【文献】特表２０１５－５０７３８６（ＪＰ，Ａ）

【文献】特開２０１０－２４７８２９（ＪＰ，Ａ）

【文献】独国特許出願公開第１０２００９００６４７５（ＤＥ，Ａ１）

【文献】米国特許出願公開第２００８／０３００７３３（ＵＳ，Ａ１）

【文献】国際公開第２０１５／１７９７６０（ＷＯ，Ａ１）

【文献】特開平７－２１８２８０（ＪＰ，Ａ）

【文献】特開平１０－８９９７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００－１９／２０

Ｂ６０Ｒ １／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータ実施方法であって、
自律モードで動作する車両の１つまたは複数のコンピューティングデバイスによって、前記車両の予測軌跡を決定するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記車両の予測軌跡と前記車両の位置とに基づいて、前記車両が行うことを予定している間もなく行われる方向転換の予想角度を決定するステップと、
前記１つまたは複数のコンピューティングデバイスによって、バーチャルカメラをカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記バーチャルカメラの更新された向きに対応する映像を表示のために生成するステップであって、前記映像は、前記車両が前記自律モードで動作しながら前記車両内の乗客に提示するように構成される、生成するステップと
を含む、方法。

【請求項2】

前記１つまたは複数のコンピューティングデバイスによって、間もなく行われる方向転換までの距離を所定距離と比較するステップをさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項3】

前記１つまたは複数のコンピューティングデバイスが、前記間もなく行われる方向転換が前記所定距離に位置するか、または所定距離未満であることを決定すると、前記間もなく行われる方向転換の予測角度のセットに対応する一連のカメラ回転角度を介して前記バーチャルカメラを回転させ始める、請求項２に記載のコンピュータ実施方法。

【請求項4】

前記所定距離は、前記車両の現在の速度と、前記間もなく行われる方向転換からの前記車両の現在の距離とに基づいている、請求項３に記載のコンピュータ実施方法。

【請求項5】

前記車両がより速い速度で走行している場合、前記所定距離は、前記車両がより遅い速度で走行している場合より長くなる、請求項４に記載のコンピュータ実施方法。

【請求項6】

前記間もなく行われる方向転換の１つまたは複数の角度を前記カメラ回転角度にマッピングすることをさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項7】

前記マッピングは、１：１対応ではない、請求項６に記載のコンピュータ実施方法。

【請求項8】

前記方向転換の所与の角度が９０°であった場合、前記所与の角度は、４５°のカメラ回転角度にマッピングされる、請求項７に記載のコンピュータ実施方法。

【請求項9】

前記車両が前記方向転換を進めるにつれて、前記カメラ回転角度は継続的に更新される、請求項１に記載のコンピュータ実施方法。

【請求項10】

前記車両が停止しているか、または停止することが予測されている場合、前記バーチャルカメラの回転を一時的に停止することをさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項11】

前記方向転換が完了すると、前記バーチャルカメラを初期位置に戻すことをさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項12】

前記バーチャルカメラの高さおよびピッチは、前記自律モードにおける駆動動作中の前記車両の環境をほぼ取り込むように調整される、請求項１に記載のコンピュータ実施方法。

【請求項13】

自律駆動モードで動作するように構成された車両であって、前記車両は、
操舵システムと、
加速システムと、
減速システムと、
前記車両の外部の環境における物体を検出するように構成された１つまたは複数のセンサを含む知覚システムと、
１つまたは複数のプロセッサを含む自律駆動システムであって、前記自律駆動システムは、前記自律駆動モードにおける前記車両の駆動を制御するために前記操舵システムと、前記加速システムと、前記減速システムと、前記知覚システムとに動作可能に結合される、自律駆動システムと、
１つまたは複数のプロセッサを有するバーチャルカメラシステムであって、前記バーチャルカメラシステムは、バーチャルカメラを回転させて、非優先の方向転換における対向交通に対応する画像を生成し、前記バーチャルカメラのカメラ回転角度は、前記非優先の方向転換に対してあらかじめ決定される、バーチャルカメラシステムと
を備える、車両。

【請求項14】

前記カメラ回転角度は、４５°以下である、請求項１３に記載の車両。

【請求項15】

前記非優先の方向転換は、交通が流れている道路上で前記車両が方向転換を行っている方向転換、または前記車両が方向転換を行っている道路が他の車両が交差点で停止する必要がない方向転換のいずれかである、請求項１３に記載の車両。

【請求項16】

車両の方向転換時のバーチャルカメラの向きを調整するためのコンピュータ実施方法であって、
１つまたは複数のコンピューティングデバイスによって、前記車両の方向転換に入る前の元の進行方向と前記車両の予測軌跡とを受信するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記車両の元の進行方向と前記車両の予測軌跡とに基づいて、前記車両が行うことが予想される方向転換の複数の角度を決定するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記車両が行うことが予想される前記方向転換の前記複数の角度に基づいて、複数のカメラ回転角度を決定するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記バーチャルカメラを前記複数のカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整するステップであって、前記車両が方向転換を行う前に所定距離で開始される、ステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記車両が前記方向転換する前に、前記バーチャルカメラの調整された向きに対応する映像を生成して表示するステップと
を含む、方法。

【請求項17】

車両の方向転換時のバーチャルカメラの向きを調整するためのシステムであって、前記システムは、メモリおよび前記メモリと通信する１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサは、
前記車両の方向転換に入る前の元の進行方向と前記車両の予測軌跡とを受信し、
前記車両の元の進行方向と前記車両の予測軌跡とに基づいて、前記車両が行うことが予想される方向転換の複数の角度を決定し、
前記車両が行うことが予想される前記方向転換の前記複数の角度に基づいて、複数のカメラ回転角度を決定し、
前記バーチャルカメラを前記複数のカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整し、前記調整は、前記車両が方向転換を行う前に所定距離で開始され、
前記車両が方向転換する前に、前記バーチャルカメラの調整された向きに対応する映像を生成して表示する
ように構成される、前記システム。

【請求項18】

命令が記憶される非一時的なコンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、車両の方向転換時のバーチャルカメラの向きを調整する方法を実行させ、前記方法は、
前記車両の方向転換に入る前の元の進行方向と前記車両の予測軌跡とを受信するステップと、
前記車両の元の進行方向と前記車両の予測軌跡とに基づいて、前記車両が行うことが予想される前記方向転換の複数の角度を決定するステップと、
前記車両が行うことが予想される前記方向転換の前記複数の角度に基づいて、複数のカメラ回転角度を決定するステップと、
前記バーチャルカメラを前記複数のカメラ回転角度を介して回転させることによって前記車両に対する前記バーチャルカメラの向きを初期の向きから更新された向きに調整するステップであって、前記車両が前記方向転換を行う前に所定距離で開始される、ステップと、
前記車両が前記方向転換する前に、前記バーチャルカメラの調整された向きに対応する映像を生成して表示するステップと
を含む、前記非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
［0001］本願は、２０１６年１１月３０日に出願された米国特許出願第１５／３６４，９１４号の出願日の利益を主張するものであり、この開示内容を参照によって本願明細書に引用したものとする。

【背景技術】

【0002】

［0002］人間の運転手を必要としない自動車のような自律走行車は、ある場所から別の場所への乗客または物品の輸送を支援するのに使用され得る。該車両は、乗客または遠隔のオペレータがピックアップ位置または目的位置のような何らかの初期入力を行い得、車両がその位置まで自身を誘導する完全自律式に動作し得る。

【0003】

［0003］該車両は、典型的には、環境の物体を検出するために、様々なタイプのセンサが装備されている。例えば、自律走行車は、車両の環境からのデータを走査して記録するレーザ、ソーナ、レーダ、カメラ、および他のデバイスを含み得る。これらのデバイスのうちの１つまたは複数からのセンサデータは、物体およびその個々の特性（位置、形状、進行方向、速度など）を検出するのに使用され得る。個々の特性は、車両の乗員に対して、車両の近くで検出された物体の視覚的表示、およびこれらの物体がこの先の短い時間の間にどんな振る舞いをしそうであるかを提供するのに使用され得る。

【0004】

［0004］ 車両の乗員に車両の環境に関する情報を提供するために、車両内のディスプレイは、初期位置で車両に対して固定されたバーチャルカメラの視点からバーチャルカメラシステムによって生成された映像を提示し得る。映像は、車両の環境の一部および車両の予測軌跡を含むバーチャルカメラの位置に対応する設定視野内の画像を含み得る。車両の方向転換時に、バーチャルカメラは依然として初期位置のままであり、そのため映像は設定視野内の位置の画像を提供し続けることになる。

【0005】

［0005］ それと同時に、このような情報は、これらの物体を避けるために、または衝突が避けられない場合に損傷を最小限に抑えるために車両を制御するのに使用され得る。したがって、検出、識別、および予測は、自律走行車の安全な動作にとって重要な機能である。

【発明の概要】

【0006】

［0006］ この技術は、全般的には、車両の方向転換時のバーチャルカメラの向きの調整に関する。１つまたは複数のコンピューティングデバイスは、車両の方向転換前の元の進行方向と車両の現在の進行方向とを受信し得る。１つまたは複数のコンピューティングデバイスは、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定し得る。１つまたは複数のコンピューティングデバイスは、カメラ回転角度を決定し、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整し得る。バーチャルカメラの更新された向きに対応する映像は、１つまたは複数のコンピューティングデバイスによって生成され、ディスプレイ上に表示され得る。

【0007】

［0007］ 車両の元の進行方向および車両の現在の進行方向は、車両の測位システムから受信され得る。

【0008】

［0008］ 方向転換角度の決定は、車両の元の進行方向と車両の現在の進行方向との差を計算することによって決定され得る。

【0009】

［0009］ カメラ回転角度は、方向転換角度に基づき得、方向転換角度をスカッシング関数に入力して、カメラ回転角度である出力角度を受信することによって計算される。

【0010】

［0010］ 車両が方向転換を行っている間にバーチャルカメラの向きが調整され、映像が表示され得る。

【0011】

［0011］ 車両の現在の進行方向は、予測進行方向であり得、バーチャルカメラの向きは、車両が方向転換をする前に更新され得る。

【0012】

［0012］ カメラ回転角度は、方向転換角度をスカッシング関数に入力して、カメラ回転角度である出力角度を受信することによって計算され得る。

【0013】

［0013］ カメラ回転角度は、各々の方向転換角度に対する所定のカメラ回転角度を含むテーブルにアクセスすることによって決定され得る。

【0014】

［0014］ 車両の方向転換時のバーチャルカメラの向きを調整するためのシステムは、方向転換前の車両の元の進行方向と車両の現在の進行方向とを受信し、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定するように構成された１つまたは複数のプロセッサを備え得る。１つまたは複数のプロセッサはさらに、カメラ回転角度を決定し、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整し、バーチャルカメラの更新された向きに対応する映像を生成して、映像を表示するように構成され得る。

【0015】

［0015］ 命令が記憶される非一時的なコンピュータ可読媒体であって、命令は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、車両の方向転換時にバーチャルカメラの向きを調整する方法を実行させ得る。上記方法は、方向転換前の車両の元の進行方向と車両の現在の進行方向とを受信するステップと、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定するステップと、カメラ回転角度を決定するステップと、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整するステップと、バーチャルカメラの更新された向きに対応する映像を生成するステップと、ディスプレイ上に映像を表示するステップとを含み得る。

【図面の簡単な説明】

【0016】

［0016］

【図1】本開示の態様に従う車両の一例の機能図である。［0017］

【図2A】本開示の態様に従う車両の外観図の一例である。［0017］

【図2B】本開示の態様に従う車両の外観図の一例である。［0017］

【図2C】本開示の態様に従う車両の外観図の一例である。［0017］

【図2D】本開示の態様に従う車両の外観図の一例である。［0018］

【図3】本開示の態様に従うシステムの絵図である。［0019］

【図4】本開示の態様に従う図３のシステムの機能図である。［0020］

【図5A】本開示の態様に従う、初期位置に位置決めされたバーチャルカメラを示す図である。［0020］

【図5B】本開示の態様に従う、初期位置に位置決めされたバーチャルカメラを示す図である。［0021］

【図6】本開示の態様に従う、バーチャルカメラの視野を示す図である。［0022］

【図7】本開示の態様に従って回転するバーチャルカメラの視野を示す図である。［0023］

【図8】本開示の態様に従う、車両の予測軌跡に基づくバーチャルカメラの視野を示す図である。［0024］

【図9】本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。［0024］

【図10】本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。［0024］

【図11】本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。［0024］

【図12】本開示の態様に従う、車両が方向転換を進めるにつれて変化するバーチャルカメラの視野を示す図である。［0025］

【図13】本開示の態様に従う、スカッシング関数の入力および出力を示すグラフである。［0026］

【図14】本開示の態様に従う、車両が方向転換することが予測される方向とは反対方向に回転するバーチャルカメラの視野を示す図である。［0026］

【図15】本開示の態様に従う、車両が方向転換することが予測される方向とは反対方向に回転するバーチャルカメラの視野を示す図である。［0027］

【図16】本開示の態様に従う、車両の上方に位置決めされたバーチャルカメラの視野を示す図である。［0028］

【図17】本開示の態様に従うフロー図である。

【発明を実施するための形態】

【0017】

概要
［0029］ 上記技術は、全般的には、車両の環境に関する情報を乗客に提供することに関する。この技術は、例えば、車両の方向転換時のバーチャルカメラの位置および向きの調整を含み得る。例えば、車両が方向転換するにつれて、車両の予測進行方向に対応する調整視野内の映像を提示するために、バーチャルカメラの位置は車両の周囲を回転し得る。この点に関して、車両内のコンピューティングデバイスは、車両の環境および位置に対応する情報をバーチャルカメラシステムに伝送し得る。受信した情報に基づいて、バーチャルカメラシステムは、受信データを使用してバーチャルカメラの視点からの映像を生成し得る。映像は、車両が走行しているルートに対応するマップ上で車両の予測軌跡と検出された物体とを重ね合わせることによって生成され得る。

【0018】

［0030］ バーチャルカメラが車両の周囲を回転する距離は、車両が行っている方向転換の角度に基づき得る。バーチャルカメラシステムは、車両が方向転換前に走行していた進行方向に対する車両が行っている方向転換の角度を回転テーブルに入力し、バーチャルカメラが回転し得るカメラの対応回転角度を出力し得る。バーチャルカメラシステムは、車両が方向転換を進めるにつれて、継続的にカメラ回転角度を更新し得る。

【0019】

［0031］ バーチャルカメラシステムは、車両の予測軌跡に基づいて間もなく行われる車両の予想方向転換角度決定し、車両が方向転換する前に所定距離でバーチャルカメラを回転させ始め得る。 例えば、バーチャルカメラシステムは、間もなく行われる方向転換から車両までの距離、および車両が行う予定の予想方向転換角度を決定し得る。バーチャルカメラシステムは、予測される方向転換が所定距離にある、または所定距離未満であることを決定すると、予想方向転換角度に対応するカメラ回転角度だけバーチャルカメラを回転させ始め得る。

【0020】

［0032］ バーチャルカメラは、車両が停止している、または停止することが予測される場合には固定された状態のまま維持され得る。例えば、バーチャルカメラは、車両の予測軌跡が車両が停止信号を通過することを予想していることを決定し得る。したがって、バーチャルカメラは、車両が停止信号を通過するまで回転することができない。

【0021】

［0033］ 小さなオーバーステア補正によって引き起こされるような小さなカメラの回転を最小限に抑えるために、また大きなカメラの回転を円滑にするために、バーチャルカメラシステムはスカッシング関数を使用し得る。例えば、車両が行っている方向転換の角度がスカッシング関数に入力され、方向転換角度と同じまたは方向転換角度より緩やかなカメラの回転角度が出力され得る。

【0022】

［0034］ 非優先の方向転換では、バーチャルカメラシステムは、非優先の方向転換における対向交通に対応する画像を生成するためにバーチャルカメラを回転させ得る。例えば、バーチャルカメラは、車両が方向転換しようとしている道路上を走行している他の車両に対応する画像を生成するために、車両の予測軌跡の反対方向に回転し得る。

【0023】

［0035］ さらに、多かれ少なかれ車両の環境を撮影するために、バーチャルカメラの高さおよびピッチが調整され得る。例えば、車両が交差点で停止したときに、バーチャルカメラは、車両の上方に位置決めされ、バーチャルカメラのピッチは、バーチャルカメラが車両を真っ直ぐ見下ろすように調整され得る。バーチャルカメラは、次に、車両の四方の車両の環境の画像を含む映像を生成し得る。

【0024】

［0036］ 本明細書に記載されている特徴により、自律走行車のような車両は、車両の乗客に車両の軌跡および環境の映像を提供することができる。バーチャルカメラを回転させて映像を生成することにより、車両の予測軌跡、または予測軌跡にさらに沿って位置し、手動で車両を運転していた場合に予想される環境と一致する環境に関する情報が乗客に提供される。また、車両の軌跡および環境の映像は、車両の外側に位置する個人またはシステムに提供され、車両を遠隔で監視および／または制御するために映像が提供され得る。
システム例

【0025】

［0037］ 図１に示されているように、本開示の一態様の車両１００は、さまざまなコンポーネントを含む。本開示の特定の態様は、車両の特定のタイプに関して特に有用であるが、車両は、これらに限定されないが、自動車、トラック、オートバイ、バス、ＲＶ車などを含む車両いずれかのタイプであり得る。車両は、１つまたは複数のプロセッサ１２０、メモリ１３０、および典型的に汎用コンピューティングデバイスに存在する他のコンポーネントを含むコンピューティングデバイス１１０のような１つまたは複数のコンピューティングデバイスを有し得る。

【0026】

［0038］ メモリ１３０は、１つまたは複数のプロセッサ１２０によって実行され得る、またはそれ以外の形で使用され得る命令１３２およびデータ１３４を含む、１つまたは複数のプロセッサ１２０によってアクセス可能な情報を記憶する。メモリ１３０は、コンピューティングデバイス可読媒体、または電子デバイスを用いて読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリ、例えば、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤもしくは他の光学ディスク、および他の書き込み可能かつ読み込み可能なメモリであり得る。システムおよび方法は、上述の様々な組み合わせを含み得るので、命令およびデータの様々な部分が様々なタイプの媒体上に記憶される。

【0027】

［0039］ 命令１３２は、プロセッサによって直接実行される命令セット（例えば、機械コード）または間接的に実行される命令セット（例えば、スクリプト）の任意の命令セットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティング・デバイス・コードとして記憶され得る。この点に関して、用語「命令」および「プログラム」は、本明細書において区別なく使用され得る。命令は、プロセッサによって直接処理するためにオブジェクトコード形式で記憶され得るか、要求に応じて解釈されるもしくは予めコンパイルされた独立したソース・コード・モジュールのスクリプトもしくは集合を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについて、以下でさらに詳細に説明する。

【0028】

［0040］ データ１３４は、命令１３２に従って、プロセッサ１２０よって取り込まれ、記憶され、または修正され得る。例えば、請求される主題は任意の特定のデータ構造によって制限されないが、データは、コンピューティング・デバイス・レジスタ内に、複数の異なるフィールドおよびレコードを有するテーブル、ＸＭＬ文書またはフラットファイルとして関係データベースで記憶され得る。データはさらに、任意のコンピューティングデバイス可読フォーマットでフォーマットされ得る。

【0029】

［0041］ １つまたは複数のプロセッサ１２０は、市販のＣＰＵのような任意の従来のプロセッサであり得る。あるいは、１つまたは複数のプロセッサは、ＡＳＩＣもしくは他のハードウェアベースのプロセッサのような専用のデバイスであり得る。図１は、プロセッサ、メモリ、および同一ブロック内にあるようなコンピューティングデバイス１１０の他の要素の機能図であるが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同一の物理的筐体内に収容される、もしくは収容され得ない複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることは当業者によって理解されるであろう。例えば、メモリは、コンピューティングデバイス１１０とは異なる筐体内に配置されたハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、同時に動作し得る、または同時に動作し得ないプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むことが理解されるであろう。

【0030】

［0042］ コンピューティングデバイス１１０は、上述のプロセッサおよびメモリ、さらにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイク）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタまたは情報を表示するように動作可能な電気デバイス）のように、通常はコンピューティングデバイスと共に使用されるコンポーネントの全てを含み得る。この実施例では、車両は、情報または視聴覚体験を提供するために車内電子ディスプレイ１５２および１つまたは複数のスピーカ１５４を含む。この点に関して、車内電子ディスプレイ１５２は、車両１００の車室内に配置され得、車両１００内の乗客に情報を提供するためにコンピューティングデバイス１１０によって使用され得る。

【0031】

［0043］ コンピューティングデバイス１１０はさらに、以下で詳細に説明するクライアント・コンピューティング・デバイスおよびサーバ・コンピューティング・デバイスのような他のコンピューティングデバイスとの通信を容易にするために１つまたは複数の無線ネットワーク接続１５６を含み得る。無線ネットワーク接続は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ（ＬＥ）、セルラー接続、および様々な構成のような近距離通信プロトコル、およびＩｎｔｅｒｎｅｔ、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、１つまたは複数の会社専用の通信プロトコルを使用するプライベートネットワーク、Ｅｔｈｅｒｎｅｔ、ＷｉＦｉおよびＨＴＴＰを含むプロトコル、およびこれらの様々な組み合わせを含み得る。

【0032】

［0044］ 一実施例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律駆動コンピューティングシステムであり得る。自律駆動コンピューティングシステムは、車両の様々なコンポーネントと通信可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３２に従って車両１００の移動、加速、速度、動作などを制御するために、減速システム１６０、加速システム１６２、操舵システム１６４、シグナリングシステム１６６、ナビゲーションシステム１６８、測位システム１７０、知覚システム１７２、バーチャルカメラシステム１７６のような車両１００の様々なシステムと通信状態であり得る。さらに、これらのシステムはコンピューティングデバイス１１０の外部のシステムとして図示されているが、車両１００を制御するための自律駆動コンピューティングシステムのように、コンピューティングデバイス１１０に組み込まれてもよい。

【0033】

［0045］ 一実施例として、コンピューティングデバイス１１０は、車両の速度および加速を制御するために、減速システム１６０および加速システム１６２と相互作用し得る。例えば、加速システム１６２は、特定の割合で加速するために、エンジン１７４に信号を供給し得る。同様に、操舵システム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が自動車またはトラックのように路上で使用するように構成されている場合、操舵システムは、車両の方向を変えるために車輪の角度を制御するためのコンポーネントを含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

【0034】

［0046］ 操舵システム１６８は、ある位置までのルートを決定して、そのルートをたどるために、コンピューティングデバイス１１０によって使用され得る。この点に関して、ナビゲーションシステム１６８および／またはデータ１３４は、詳細なマップ情報（例えば、道路の形状および高度、車線境界線、交差点、横断歩道、制限速度、信号機、建物、標識、リアルタイムの交通情報、植生、または他のこのような物体ならびに情報を識別する非常に詳細なマップ）を記憶し得る。すなわち、この詳細なマップ情報は、道路およびこれらの道路の速度制限（法定最高速度）を含む車両の想定される環境の形状を画定し得る。

【0035】

［0047］ 測位システム１７０は、マップ上もしくは地球上の車両の相対的もしくは絶対的な位置を決定するために、コンピューティングデバイス１１０によって使用され得る。例えば、測位システム１７０は、デバイスの緯度、経度、および／または海抜位置を決定するために、ＧＰＳ受信機を含み得る。レーザベースの位置決めシステム、慣性援用ＧＰＳ、またはカメラベースの位置決めシステムのような他の位置測定システムも車両の位置を特定するのに使用され得る。車両の位置は、緯度、経度、および海抜のような絶対的地理位置、さらにすぐ周囲の他の自動車に対する位置のような相対的位置情報を含み得、相対的位置情報は、絶対的地理位置よりも少ないノイズで決定され得ることが多い。

【0036】

［0048］ 測位システム１７０はさらに、加速度計、ジャイロスコープまたは車両の方向および速度またはその変化を決定するための別の方向／速度検出デバイスのようなコンピューティングデバイス１１０と通信する他のデバイスを含み得る。単なる一例として、加速装置は、重力の向きまたは加速装置に垂直な平面に対するピッチ、ヨー、ロール（またはその変化）を決定し得る。該装置はさらに、速度上昇または低下およびそのような変化の向きを追跡し得る。本明細書で述べた該装置の位置および向きのデータの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイスおよびこれらの組み合わせに対して自動的に行われ得る。

【0037】

［0049］ 知覚システム１７２はさらに、他の車両、道路の障害物、信号機、標識、樹木などのような車両の外側の物体を検出するための１つまたは複数のコンポーネントを含み得る。例えば、知覚システム１７２は、コンピューティングデバイス１１０によって処理され得るレーザ、ソーナ、レーダ、カメラおよび／または他の検出デバイスを含み得る。車両が自動車のような小型の乗用車である場合、自動車は、屋根または他の都合の良い場所に取りつけられたレーザまたは他のセンサを含み得る。例えば、車両の知覚システムは、物体およびその特性（例えば、位置、向き、サイズ、形状、種類、移動の方向および速度など）を検出するために、ＬＩＤＡＲ、ソーナ、レーダ、カメラなどのような様々なセンサを使用し得る。センサからの生データおよび／または上記の特性は、コンピューティングデバイス１１０によって処理するために、記述関数またはベクトルに定量化され得る、またはまとめられ得る。以下でさらに詳細に説明するように、コンピューティングデバイス１１０は、車両の位置を決定するために測位システム１７０を使用し、その位置に安全に到達するのに必要な場合に物体を検出して物体に反応するために知覚システム１７２を使用し得る。

【0038】

［0050］ バーチャルカメラシステム１７６は、車両のシステムからのデータを集約して、車両内での表示のために車両の環境の映像を生成し得る。映像は、車両の環境の一部および車両の予測軌跡を含むバーチャルカメラの位置に対応する設定視野内の画像を含み得る。例えば、バーチャルカメラシステムは、特定の範囲内の車両の外側の物体のような車両の知覚システム１７２からのデータ、車両の現在位置のような測位システム１７０からのデータ、および車両の予測軌跡のようなナビゲーションシステム１６８からのデータを集約し得る。バーチャルカメラシステムは、このような情報を取得して、車両が走行しているルートに対応するマップ上で車両の予測軌跡と検出された物体とを重ね合わせることによって映像を生成し得る。バーチャルカメラシステム１７６によって生成された映像は、例えば、車両内のディスプレイ上で、車両の乗客、他の個人に提示され得る、または今後の閲覧のために記録され得る。バーチャルカメラシステムは、プロセッサ１２０、メモリ１３０、データ１３４、命令１３２、および無線ネットワーク接続１５６のような本明細書に記載されているコンピューティングデバイス１１０のいくつかまたは全てのコンポーネントを含み得る。同様に、本明細書に記載されているバーチャルカメラシステムの機能に加えて、またはその代替として、バーチャルカメラシステムは、コンピューティングデバイス１１０の機能を実行し得る。この点に関して、バーチャルカメラシステムは、システム１６０～１７４のような車両の各々のシステムと通信し得る。

【0039】

［0051］ 図２Ａ～図２Ｄは、車両１００の外観図の例である。図示されているように、車両１００は、ヘッドライト２０２、フロントガラス２０３、テールランプ／方向指示器２０４、リヤウィンドウ２０５、ドア２０６、サイドミラー２０８、タイヤ・ホイール２１０、方向指示器／駐車灯２１２のような典型的な車両の多くの特徴を含む。ヘッドライト２０２、テールランプ／方向指示器２０４、および方向指示器／駐車灯２１２は、シグナリングシステム１６６に関連付けられ得る。さらに、ライトバー２０７もシグナリングシステム１６６に関連付けられ得る。

【0040】

［0052］ 車両１００はさらに、知覚システム１７２のセンサを含む。例えば、ハウジング２１４は、３６０度またはそれより狭い視野を有するための１つまたは複数のレーザ素子、および１つまたは複数のカメラ装置を含み得る。ハウジング２１６、２１８は、例えば、１つまたは複数のレーダおよび／またはソーナ装置を含み得る。さらに、知覚システム１７２の装置は、テールランプ／方向指示器２０４および／またはサイドミラー２０８のような典型的な車両コンポーネントに組み込まれ得る。これらのレーダ装置、カメラ装置、およびレーザ装置は、知覚システム１７２の一部としてこれらの装置からのデータを処理し、コンピューティングデバイス１１０にセンサデータを提供する処理コンポーネントに関連付けられ得る。

【0041】

［0053］ コンピューティングデバイス１１０は、様々なコンポーネントを制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス１１０は、詳細なマップ情報およびナビゲーションシステム１６８からのデータを使用して、完全に自律的に車両を目的位置までナビゲートし得る。車両を操作するために、コンピューティングデバイス１１０は、車両に、（例えば、加速システム１６２によってエンジンに供給される燃料または他のエネルギーを増加させることによって）加速させ、（例えば、減速システム１６０によって、エンジンに供給される燃料を減少させることによって、ギアチェンジすることによって、および／またはブレーキをかけることによって）減速させ、（例えば、操舵システム１６４によって車両１００の前輪または後輪の方向を変えることによって）方向転換させ、（例えば、シグナリングシステム１６６の方向指示器を点灯させることによって）この方向転換を伝えさせ得る。したがって、加速システム１６２および減速システム１６０は、車両の動力系１７４（例えば、ガソリンもしくは電気エンジン）と車両の車輪との間の様々なコンポーネントを含むドライブトレインの一部であり得る。さらに、これらのシステムを制御することによって、コンピューティングデバイス１１０はさらに、車両を自律的に操作するために、車両のドライブトレインを制御し得る。

【0042】

［0054］ 車両１００の１つまたは複数のコンピューティングデバイス１１０はさらに、他のコンピューティングデバイスから情報を受信し、他のコンピューティングデバイスに情報を送信し得る。図３および図４はそれぞれ、ネットワーク３６０を介して接続された複数のコンピューティングデバイス３１０、３２０、３３０およびストレージシステム３５０を含むシステム例３００の絵図および機能図である。システム３００はさらに、車両１００および車両１００と同様に構成され得る車両１００Ａを含む。簡単にするためにほんの数台の車両およびコンピューティングデバイスしか示されていないが、典型的なシステムは、それよりもはるかに多いコンピューティングデバイス、車両、およびストレージシステムを含み得る。

【0043】

［0055］ 図３に示されているように、コンピューティングデバイス３１０、３２０、３３０の各々は、１つまたは複数のプロセッサ、メモリ、データ、および命令を含み得る。このようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス１１０の１つまたは複数のプロセッサ１２０、メモリ１３０、データ１３４、および命令１３２と同様に構成され得る。

【0044】

［0056］ ネットワーク３６０および介在ノードは、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥのような近距離通信プロトコル、Ｉｎｔｅｒｎｅｔ、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、１つまたは複数の会社専用の通信プロトコルを使用するプライベートネットワーク、Ｅｔｈｅｒｎｅｔ、ＷｉＦｉならびにＨＴＴＰおよびこれらの様々な組み合わせを含む様々な構成およびプロトコルを含み得る。このような通信は、モデムおよび無線インターフェースのように、他のコンピューティングデバイスに対してデータを送信することができる任意のデバイスによって促進され得る。

【0045】

［0057］ 一実施例では、１つまたは複数のコンピューティングデバイス３１０は、他のコンピューティングデバイスからデータを受信し、他のコンピューティングデバイスからのデータを処理し、他のコンピューティングデバイスにデータを送信するために、ネットワークの異なるノードと情報を交換する複数のコンピューティングデバイスを有するサーバ（例えば、負荷分散サーバファーム）を含み得る。例えば、１つまたは複数のコンピューティングデバイス３１０は、ネットワーク３６０を介して、車両１００の１つまたは複数のコンピューティングデバイス１１０または車両１００Ａの同様のコンピューティングデバイス、さらにクライアント・コンピューティング・デバイス３２０、３３０と通信することができる１つまたは複数のサーバ・コンピューティング・デバイスを含み得る。例えば、車両１００、１００Ａは、サーバ・コンピューティング・デバイスによって監視され、様々な位置へ配車され得る車両群の一部であり得る。この点に関して、車両群の車両は、サーバ・コンピューティング・デバイスに、車両の個々の測位システムによって提供された位置情報を周期的に送信し得、１つまたは複数のサーバ・コンピューティング・デバイスは、車両の位置を追跡し得る。さらに、車両のコンピューティングデバイス１１０は、記憶および／または今後の閲覧のためにバーチャルカメラシステムからの映像を１つまたは複数のサーバ・コンピューティング・デバイスに提供し得る。

【0046】

［0058］ さらに、サーバ・コンピューティング・デバイス３１０は、ネットワーク３６０を使用して、ユーザ３２２、３３２のようなユーザに情報を送信して、コンピューティングデバイス３２０、３３０のディスプレイ３２４、３３４のようなディスプレイ上に提示し得る。この点に関して、コンピューティングデバイス３２０、３３０はクライアント・コンピューティング・デバイスと見なされ得る。

【0047】

［0059］ 図４に示されているように、各々のクライアント・コンピューティング・デバイス３２０、３３０は、ユーザ３２２、３３２によって使用されることを目的としたパーソナル・コンピューティング・デバイスであり得、１つまたは複数のプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、データならびに命令を記憶するメモリ（例えば、ＲＡＭならびに内蔵ハードドライブ）、ディスプレイ３２４、３３４、３４４のようなディスプレイ（例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するために動作可能な他のデバイス）、およびユーザ入力装置４２６、４３６、４４６（例えば、マウス、キーボード、タッチスクリーンもしくはマイク）を含む、通常はパーソナル・コンピューティング・デバイスと共に使用されるコンポーネントの全てを有し得る。クライアント・コンピューティング・デバイスはさらに、ビデオストリームを記録するためのカメラ、スピーカ、ネットワーク・インターフェース・デバイス、およびこれらの要素を互いに接続するのに使用されるコンポーネントの全てを含み得る。

【0048】

［0060］ クライアント・コンピューティング・デバイス３２０、３３０はそれぞれ、フルサイズのパーソナル・コンピューティング・デバイスを備え得るが、代替形態として、Ｉｎｔｅｒｎｅｔのようなネットワークを介して、サーバと無線でデータを交換することができるモバイル・コンピューティング・デバイスを備え得る。ほんの例として、クライアント・コンピューティング・デバイス３２０は、携帯電話、またはＩｎｔｅｒｎｅｔもしくは他のネットワークを介して情報を取得することができる無線機器対応ＰＤＡ、タブレットＰＣ、ウェアラブル・コンピューティング・デバイスもしくはシステム、ラップトップ、またはネットブックのようなデバイスであり得る。別の実施例では、クライアント・コンピューティング・デバイス３３０は、「スマートウォッチ」のようなウェアラブル・コンピューティング・デバイスであり得る。一実施例として、ユーザは、キーボード、キーパッド、マルチファクション入力ボタン、マイク、カメラまたは他のセンサによる可視信号（例えば、手または他のジェスチャ）、タッチスクリーンなどを使用して情報を入力し得る。

【0049】

［0061］ ストレージシステム３５０は、バーチャルカメラシステム１７６によって生成された映像のような様々なタイプの情報およびデータを記憶し得る。この情報は、本明細書に記載されている特徴のいくつかまたは全てを実行するために、１つまたは複数のサーバ・コンピューティング・デバイス３１０のようなサーバ・コンピューティング・デバイスまたはクライアント・コンピューティング・デバイス３２０、３３０によって検索され、またはそれ以外の方法でアクセスされ得る。例えば、情報は、１つまたは複数のサーバ・コンピューティング・デバイスに対するユーザを識別するために使用され得る認証情報（例えば、単一要素認証の場合のユーザ名およびパスワード、およびランダムな識別子、生体認証などのような多要素認証で一般に使用される他のタイプの認証情報）のようなユーザアカウント情報を含み得る。ユーザアカウント情報はさらに、ユーザの氏名、連絡先情報、ユーザのクライアント・コンピューティング・デバイス（または複数のデバイスが同一のユーザアカウントで使用される場合には、複数のデバイス）の識別情報、およびユーザ用の１つまたは複数の固有信号のような個人情報を含み得る。

【0050】

［0062］ メモリ１３０と同様に、ストレージシステム３５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、読み取り専用メモリのようなサーバ・コンピューティング・デバイス３１０によってアクセス可能な情報を記憶することができる任意のタイプのコンピュータ化ストレージであり得る。さらに、ストレージシステム３５０は、物理的に同一または異なる地理的位置に配置され得る複数の異なるストレージデバイス上にデータが記憶される分散ストレージシステムを含み得る。ストレージシステム３５０は、図４に示されているようにネットワーク３６０を介してコンピューティングデバイスに接続され得、および／またはコンピューティングデバイス３１０、３２０、３３０などのいずれかに直接接続され得る、もしくは組み込まれ得る。
方法例

【0051】

［0063］ 図面に示されている上述の動作に加えて、様々な動作について説明する。以下の動作は以下で説明する正確な順序で実行される必要はないことを理解されたい。むしろ、様々なステップが、異なる順序で、もしくは同時に処理され得、さらにステップが追加され得る、または省略され得る。

【0052】

［0064］ 車両内のバーチャルカメラシステムは、映像を生成し得る。この点に関して、コンピューティングデバイスは、車両のナビゲーションシステム、測位システム、および知覚システムからデータを受信し得る。これらのシステムから受信されたデータは、車両の予測軌跡および車両付近の他の車両のような物体を示すデータを含み得る。例えば、予測軌跡情報は車両のナビゲーションシステム１６８および測位システム１７０によって提供され、物体データは知覚システム１７２によって提供され得る。コンピューティングデバイスは、このデータをバーチャルカメラシステムに渡し得る。

【0053】

［0065］ 映像は、バーチャルカメラシステムによって受信されたデータに基づいて、車両の乗客が閲覧するために車両内のディスプレイ上に表示するように生成され得る。この点に関して、バーチャルカメラシステムは、受信データを使用して、車両が走行しているルートに対応するマップ上で車両の予測軌跡と検出された物体とを重ね合わせることによって、バーチャルカメラの視点から映像を生成し得る。例えば、図６は、車両の後上方に位置決めされたバーチャルカメラの視点からバーチャルカメラシステムによって生成された映像の１つのフレームを示す。映像は、バーチャルカメラの設定視野５０３内に示されたマップ６０１を含む。映像はさらに、車両の予測軌跡６２０と共に、マップ６０１上に重ね合わされた車両１００と車両の環境６１０の仮想表現を含む。映像は、動画、図、実写、および／または一般に映像内に見られる他のコンテンツを含み得る。

【0054】

［0066］ バーチャルカメラの視点は、初期位置の車両に対して固定され得る。例えば、固定位置のバーチャルカメラ５０１のこの初期位置は、図５Ａおよび図５Ｂに示されているように、車両１００の後上方であり、第１の進行方向５０５に向けられ得る。映像は、第１の進行方向５０５および固定位置のバーチャルカメラ５０１の位置に対応する設定視野５０３内の画像を含み得る。

【0055】

［0067］ 車両の方向転換時に、固定位置のバーチャルカメラ５０１は依然として車両に対して初期位置のままであり得、そのため映像は、図６の映像例に示されているように、第１の進行方向５０５で撮影され、設定視野５０３内に位置する車両の環境６１０および車両の予測軌跡６２０を提供し続けることになる。

【0056】

［0068］ 車両が方向転換するにつれて、車両の予測進行方向に対応する調整視野内の映像を提示するために、バーチャルカメラの位置は車両の周囲を回転し得る。この点に関して、バーチャルカメラは、車両が方向転換するにつれて、初期位置から、車両の周囲を所定距離で回転し得る。例えば、車両１００が第１の道路から第２の道路へと第１の方向７１０に方向転換するとき、図７に示されているように、バーチャルカメラ７０１は、新しい進行方向７０５に向けられるように、固定位置から反時計回りに回転し得る。 その結果、バーチャルカメラの視野は、更新された視野７０３に対応し得る。

【0057】

［0069］ 更新視野７０３は、図８に示されているように、映像が車両１００が方向転換している第２の道路８１２の画像を含むように調整され得る。上記の実施例は、車両１００が第１の道路８１１から第２の道路へと方向転換する様子を示しているが、後述するように、バーチャルカメラの回転は、道路のカーブを曲がる、または駐車場に入るような車両が何らかの方向転換動作を行うときに発生し得る。

【0058】

［0070］ バーチャルカメラ７０１が車両の周囲を回転する距離は、車両が行っている方向転換の角度に基づき得る。車両が行っている方向転換の角度は、図８に詳細に示されているように、車両が方向転換する前に最初に取っていた元の進行方向７０５と、車両が現在取っている現在の進行方向８１５との角度差を測定することによって決定され得る。元の進行方向７０５と現在の進行方向は、車両のナビゲーションシステム１６８および測位システム１７０によって提供され得る。

【0059】

［0071］ バーチャルカメラシステムは、車両が行っている方向転換の角度を回転テーブルに入力し得る。回転テーブルは、方向転換角度をカメラの回転角度にマッピングし得る。例えば、回転テーブルに入力される方向転換角度は９０°であり得、回転テーブルは、９０°の角度を４５°のカメラの回転にマッピングし得る。バーチャルカメラシステムは、次に、カメラ回転角度だけバーチャルカメラ７０１を回転させることにより、バーチャルカメラ７０１の視野もカメラ回転角度だけ回転させ得る。

【0060】

［0072］ バーチャルカメラシステムは、車両が方向転換を進めるにつれて、継続的にカメラ回転角度を更新し得る。例えば、図９～図１２に示されているように、方向転換を完了させるために、車両は、０°～９０°またはおよそ０°～９０°のような一連の角度で進む。

【0061】

［0073］ バーチャルカメラシステムは、車両が方向転換に入る前に走行していた進行方向に対する車両が現在行っている方向転換の角度に基づいて、カメラ回転角度を継続的に調整し得る。この点に関して、バーチャルカメラシステムは、方向転換角度に基づいてカメラ回転角度を継続的に計算することによって、実質的にリアルタイムでカメラ回転角度を更新し得る。 例えば、車両は、初期の進行方向９０３で予測軌跡９０１に沿って走行しており、バーチャルカメラ７０１は、第１の視野９２０の初期位置に位置決めされ得る。

【0062】

［0074］ 図１０に示されているように、車両１００が方向転換し始めると、車両の進行方向は新しい進行方向１００３に更新され得る。初期進行方向と新しい進行方向との差は、回転テーブルに入力され、カメラ回転角度が出力され得る。バーチャルカメラシステムは、次に、図１０に詳細に示されているように、出力されたカメラ回転角度だけバーチャルカメラ７０１を回転させることにより、第２の視野１０２０を示すためにバーチャルカメラ７０１の視野もカメラ回転角度だけ回転させ得る。

【0063】

［0075］ 同様に、図１１に示されているように、車両１００が方向転換に沿って進むにつれて、初期進行方向９０３と最新の進行方向１１０１との差が回転テーブルに入力され、カメラ回転角度が出力され得る。バーチャルカメラシステムは、次に、図１１に詳細に示されているように、出力されたカメラ回転角度だけバーチャルカメラ７０１を回転させることにより、第３の視野１１２０を示すためにバーチャルカメラ７０１の視野もカメラ回転角度だけ回転させ得る。初期進行方向９０３と最新の進行方向１１０１との差の決定は、０．０１秒ごと、またはおよそ０．０１秒ごとに発生し得る。車両１００による方向転換が完了すると、図１２に示されているように、バーチャルカメラ７０１は、初期位置に戻って、視野１２２０を撮影し得る。

【0064】

［0076］ バーチャルカメラシステムは、車両が方向転換する前に所定距離でバーチャルカメラを回転させ始め得る。この点に関して、バーチャルカメラシステムは、車両の予測軌跡に基づいて車両が間もなく行う予想方向転換角度を決定し得る。例えば、バーチャルカメラシステムは、車両の予測軌跡および車両の位置を監視して、間もなく行われる方向転換から車両までの距離、および車両が行う予定の予想方向転換角度を決定し得る。バーチャルカメラシステムは、予測される方向転換までの距離を所定距離と比較し得る。バーチャルカメラシステムは、予測される方向転換が所定距離にある、または所定距離未満であることを決定すると、予想方向転換角度に対応するカメラ回転角度だけバーチャルカメラを回転させ始め得る。

【0065】

［0077］ 所定距離は、車両の速度と、方向転換から車両までの距離とに基づき得る。この点に関して、車両が速い速度で走行している場合、所定距離は、車両が遅い速度で走行している場合より長くなり得る。このことにより、バーチャルカメラの円滑で、より緩やかな回転が可能になり得る。

【0066】

［0078］ いくつかの実施形態では、バーチャルカメラの回転は、車両が停止している、または停止することが予測される場合には、一時的に停止し得る。例えば、バーチャルカメラは、車両の予測軌跡を受信し、車両が左折しようとしているが最初に停止信号を通過することを決定し得る。したがって、バーチャルカメラは、車両が停止信号を通過するまで回転することができない。

【0067】

［0079］ 小さなオーバーステア補正によって引き起こされるような小さなカメラの回転を最小限に抑えるために、また大きなカメラの回転を円滑にするために、スカッシング関数が使用され得る。この点に関して、スカッシング関数は、生成された映像が、絶えず位置を切り替える、または動きが速過ぎるように見える画像を含むのを防止し得る。例えば、２つのスカッシング結果の例１３１０、１３０２がさらに図１３に示されている。スカッシング結果を求めるために、図１３のＸ軸で示されているように、車両が行っている方向転換の角度がスカッシング関数に入力され得る。スカッシング関数は、Ｙ軸に示されているように、対応するカメラ回転角度を計算して出力し得る。Ｙ軸上に示されている出力カメラ回転値は、Ｘ軸上に示されている方向転換角度より大体緩やかであり得る。

【0068】

［0080］ 一例として、バーチャルカメラシステムは、非優先の方向転換点における対向交通に対応する画像を生成するためにバーチャルカメラを回転させ得る。この点に関して、図１４および図１５に示されているように、バーチャルカメラは、車両が方向転換１４２０しようとしている道路上を走行している他の車両１５０１に対応する画像を生成するために車両の予測軌跡１４３０の反対方向に回転し得る。カメラ回転角度は、例えば、４５°またはおよそ４５°のように、非優先の方向転換に対して予め決定され得る。このようにして、生成された映像は、乗客が車両を運転していれば見ることができたであろう場面と同様の画像を乗客に提供し得る。 非優先の方向転換は、例えば、自動車が方向転換している道路で他の車両が停止する必要がないような交差点における赤信号での右折または停止標識での右折のように、流れている道路上で車両が行っている方向転換を含む。

【0069】

［0081］ さらに、多かれ少なかれ車両の環境を撮影するために、バーチャルカメラの高さおよびピッチが調整され得る。例えば、図１６に示されているように、車両が交差点１６００で停止したとき、バーチャルカメラ７１０は、車両１００の上方に位置決めされ、バーチャルカメラのピッチは、バーチャルカメラが車両を真っ直ぐ見下ろすように調整され得る。バーチャルカメラ７１０は、車両１００を真っ直ぐ見下ろし得る。バーチャルカメラ７１０は、次に、図１６にさらに詳細に示されているように、車両の四方からの画像を含む映像を生成し得る。

【0070】

［0082］ 図１７は、車両の方向転換時のバーチャルカメラの向きを調整するために車両１００コンピューティングデバイス１１０のような車両の１つまたは複数のコンピューティングデバイスによって実行され得るフロー図１７００の一例である。この実施例では、１つまたは複数のコンピューティングデバイスは、ブロック１７１０に示されているように、車両の方向転換前の元の進行方向と車両の現在の進行方向とを受信し得る。ブロック１７２０に示されているように、１つまたは複数のコンピューティングデバイスは、車両の元の進行方向と車両の現在の進行方向とに基づいて、車両が行っている方向転換の角度を決定し得る。ブロック１７３０に示されているように、１つまたは複数のコンピューティングデバイスは、カメラ回転角度を決定し、ブロック１７４０に示されているように、バーチャルカメラをカメラ回転角度だけ回転させることによって車両に対するバーチャルカメラの向きを更新された向きに調整し得る。ブロック１７５０に示されているように、１つまたは複数のコンピューティングデバイスは、バーチャルカメラの更新された向きに対応する映像を生成し、ブロック１７６０に示されているように、ディスプレイ上に映像を表示し得る。

【0071】

［0083］ 特に明記しない限り、上述の代替の実施例は互いに排他的でなく、固有の利点を達成するために様々な組み合わせで実施され得る。上述した特徴の上記および他の変形形態および組み合わせは、請求項によって定義された主題から逸脱せずに利用され得、実施形態の上記説明は、請求項によって定義された主題を制限するものではなく、単なる例であると解釈すべきである。さらに、本明細書に記載されている実施例および「～のような」、「～を含む」などのような表現の節の提示は、請求項の主題を特定の実施例に制限するものであると解釈すべきでなく、むしろ、実施例は、多くの可能な実施形態のうちの単なる１つの実施形態を例示するものである。また、異なる図面内の同一の参照番号は、同一または同様の要素を特定し得る。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】