特表 2024-538007 車両のためのインタラクティブマルチディスプレイサラウンドビューシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-18

(54)【発明の名称】車両のためのインタラクティブマルチディスプレイサラウンドビューシステム

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20241010BHJP

   G09F 9/00 20060101ALI20241010BHJP

   G09G 5/00 20060101ALI20241010BHJP

   G09G 5/377 20060101ALI20241010BHJP

   G09G 5/373 20060101ALI20241010BHJP

   G09G 5/34 20060101ALI20241010BHJP

   G06F 3/04815 20220101ALI20241010BHJP

   G06T 19/00 20110101ALI20241010BHJP

【ＦＩ】

G06F3/04845

G09F9/00 366G

G09F9/00 366A

G09G5/00 510Z

G09G5/00 550C

G09G5/377

G09G5/00 510H

G09G5/00 510V

G09G5/373

G09G5/34 A

G06F3/04815

G06T19/00 600

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024520632

(86)(22)【出願日】2022-10-10

(85)【翻訳文提出日】2024-05-21

(86)【国際出願番号】 US2022077837

(87)【国際公開番号】W WO2023064723

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】63/262,380

(32)【優先日】2021-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515301041

【氏名又は名称】アティエヴァ、インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ゴヴィンダラジャン、ニキレシュ

(72)【発明者】

【氏名】ユアン、シュオ

(72)【発明者】

【氏名】ジョンソン、ウィリアム エム．

【テーマコード（参考）】

5B050

5C182

5E555

5G435

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050BA13

5B050CA07

5B050DA01

5B050EA07

5B050EA12

5B050EA19

5B050EA26

5B050FA02

5B050FA10

5B050FA12

5B050FA13

5B050FA14

5C182AA02

5C182AA03

5C182AB15

5C182AB26

5C182AC03

5C182BA06

5C182BA14

5C182BA65

5C182BA66

5C182BB02

5C182BB12

5C182CB13

5C182CB52

5C182CC17

5E555AA03

5E555AA26

5E555AA27

5E555AA63

5E555BA23

5E555BB23

5E555BC07

5E555BC13

5E555BC17

5E555BC18

5E555BE10

5E555BE16

5E555BE17

5E555CA12

5E555CA32

5E555CA42

5E555CB45

5E555DA05

5E555DB57

5E555DC75

5E555FA00

5G435AA00

5G435BB04

5G435BB06

5G435BB12

5G435EE49

5G435LL17

(57)【要約】

インタラクティブマルチディスプレイサラウンドビューシステムにおけるカメラ出力を管理することは、前記車両の少なくとも４つのカメラからの出力を受け取る段階；前記出力をともにスティッチングして、車両の周囲の俯瞰ビューの第１の画像にする段階；前記車両の周囲に基づいて、前記第１の画像に前記車両の３次元（３Ｄ）モデルを追加して、第１の強化画像を生成する段階；及び（ｉ）前記車両の第１のディスプレイデバイス上に前記第１の強化画像、前記第１のディスプレイデバイスは、前記第１の強化画像の第１の態様のための第１のタッチスクリーン入力コントロールを提供する、及び（ｉｉ）前記車両の第２のディスプレイデバイス上に第２の画像、前記第２の画像は、前記出力のうちの１つを含み、前記第２のディスプレイデバイスは、前記第２の画像の第２の態様のための第２のタッチスクリーン入力コントロールを提供する、を同時に提示する段階、ここで、前記第１及び第２のタッチスクリーン入力コントロールは、入力を互いに同時に及び非同時に受け入れる、を備える。

【特許請求の範囲】

【請求項1】

インタラクティブマルチディスプレイサラウンドビューシステムにおけるカメラ出力を管理するコンピュータベース方法であって、前記方法は、
車両のインタラクティブマルチディスプレイサラウンドビューシステムにおいて、前記車両の少なくとも４つのカメラからの出力を受け取る段階；
前記出力をともにスティッチングして、車両の周囲の俯瞰ビューを示す第１の画像にする段階；
前記車両の周囲に基づいて、前記第１の画像に前記車両の３次元（３Ｄ）モデルを追加して、第１の強化画像を生成する段階；及び
（ｉ）前記車両の第１のディスプレイデバイス上に前記第１の強化画像、前記第１のディスプレイデバイスは、前記第１の強化画像の第１の態様のための第１のタッチスクリーン入力コントロールを提供する、及び（ｉｉ）前記車両の第２のディスプレイデバイス上に第２の画像、前記第２の画像は、前記出力のうちの１つを含み、前記第２のディスプレイデバイスは、前記第２の画像の第２の態様のための第２のタッチスクリーン入力コントロールを提供する、を同時に提示する段階、ここで、前記第１のタッチスクリーン入力コントロール及び前記第２のタッチスクリーン入力コントロールは、入力を互いに同時に及び非同時に受け入れる、
を備える、コンピュータベース方法。

【請求項2】

前記第１のタッチスクリーン入力コントロールを用いて行われる第１の入力を受け取り、それに応答して、前記第１の強化画像を前記俯瞰ビューから前記車両の周囲及び前記車両の前記３Ｄモデルの斜視ビューに変更する段階を更に備える、請求項１に記載のコンピュータベース方法。

【請求項3】

前記第１の入力は、前記第１のタッチスクリーン入力コントロールによって検出されるスイープジェスチャを使用して行われる、請求項２に記載のコンピュータベース方法。

【請求項4】

前記第１の強化画像は、複数のビュープリセットを提示し、前記第１の入力は、前記第１のタッチスクリーン入力コントロールが前記複数のビュープリセットのうちの１つの上のタップを検出することを伴う、請求項２に記載のコンピュータベース方法。

【請求項5】

前記俯瞰ビューは、前記インタラクティブマルチディスプレイサラウンドビューシステムにおける前記第１の強化画像のデフォルトビューであり、前記方法は、前記第１のタッチスクリーン入力コントロールを用いて行われる第２の入力を受け取り、それに応答して、前記第１のディスプレイデバイス上に前記デフォルトビューを再度提示する段階を更に備える、請求項２に記載のコンピュータベース方法。

【請求項6】

前記第２の入力は、前記第１のタッチスクリーン入力コントロールによって検出される５本指のピンチを含む、請求項５に記載のコンピュータベース方法。

【請求項7】

前記第１のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、前記第１の強化画像のズームレベルを変更する段階を更に備える、請求項１から６のいずれか一項に記載のコンピュータベース方法。

【請求項8】

前記入力は、前記第１のタッチスクリーン入力コントロールによって検出されるダブルタップを含む、請求項７に記載のコンピュータベース方法。

【請求項9】

前記入力は、前記第１のタッチスクリーン入力コントロールによって検出されるピンチジェスチャを含む、請求項７に記載のコンピュータベース方法。

【請求項10】

前記第２のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、代わりに前記出力のうちの別の１つを含むように前記第２の画像を変更する段階を更に備える、請求項１から６のいずれか一項に記載のコンピュータベース方法。

【請求項11】

前記インタラクティブマルチディスプレイサラウンドビューシステムにおいて、前記車両の周囲における障害物の存在に関するセンサ出力を受け取り、それに応答して、（ｉ）前記第１の強化画像に第１の拡張現実（ＡＲ）オブジェクトを追加するとともに、（ｉｉ）前記第２の画像に第２のＡＲオブジェクトを追加する段階、前記第１のＡＲオブジェクト及び前記第２のＡＲオブジェクトの各々は、前記障害物を表し、前記障害物への距離を示す、を更に備える、請求項１から６のいずれか一項に記載のコンピュータベース方法。

【請求項12】

前記第１のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、前記第１の強化画像における前記第１のＡＲオブジェクトを修正することを含む、前記俯瞰ビューを、前記車両の周囲及び前記車両の前記３Ｄモデルの斜視ビューに回転させる段階を更に備える、請求項１１に記載のコンピュータベース方法。

【請求項13】

前記第２のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、前記第２の画像における前記第２のＡＲオブジェクトを修正することを含む、代わりに前記出力のうちの別の１つを含むように前記第２の画像を変更する段階を更に備える、請求項１１に記載のコンピュータベース方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０２１年１０月１１日に提出され、「ＩＮＴＥＲＡＣＴＩＶＥ ＭＵＬＴＩ－ＤＩＳＰＬＡＹ ＳＵＲＲＯＵＮＤＩＮＧ－ＶＩＥＷ ＳＹＳＴＥＭ ＦＯＲ ＶＥＨＩＣＬＥ」という名称の米国特許出願第６３／２６２，３８０号に対する優先権を主張し、この開示は、その全体が本明細書において参照によって組み込まれる。

【0002】

本文書は、車両のためのインタラクティブマルチディスプレイサラウンドビューシステムに関する。

【背景技術】

【0003】

近年、より多くの車両で、運転を支援するためにカメラが標準装備になってきている。まず、信号カメラが、典型的には車両の後部にマウントされ、逆進するときに運転者を支援するために後ろ向きに配向された。より最近のシステムは、複数のカメラを使用しており、上方からの車両の人工ビューを生成することが可能になっている場合がある。しかしながら、そのようなシステムは、典型的には、特定のインタラクティビティを欠いており、同様にマルチディスプレイ車両における使用のために柔軟ではない場合がある。

【発明の概要】

【0004】

一態様では、インタラクティブマルチディスプレイサラウンドビューシステムにおけるカメラ出力を管理するコンピュータベース方法は、車両のインタラクティブマルチディスプレイサラウンドビューシステムにおいて、前記車両の少なくとも４つのカメラからの出力を受け取る段階；前記出力をともにスティッチングして、車両の周囲の俯瞰ビューを示す第１の画像にする段階；前記車両の周囲に基づいて、前記第１の画像に前記車両の３次元（３Ｄ）モデルを追加して、第１の強化画像を生成する段階；及び（ｉ）前記車両の第１のディスプレイデバイス上に前記第１の強化画像、前記第１のディスプレイデバイスは、前記第１の強化画像の第１の態様のための第１のタッチスクリーン入力コントロールを提供する、及び（ｉｉ）前記車両の第２のディスプレイデバイス上に第２の画像、前記第２の画像は、前記出力のうちの１つを含み、前記第２のディスプレイデバイスは、前記第２の画像の第２の態様のための第２のタッチスクリーン入力コントロールを提供する、を同時に提示する段階、ここで、前記第１及び第２のタッチスクリーン入力コントロールは、入力を互いに同時に及び非同時に受け入れる、を備える。

【0005】

実装は、以下の特徴のうちのいずれか又は全てを含むことができる。コンピュータベース方法は、前記第１のタッチスクリーン入力コントロールを用いて行われる第１の入力を受け取り、それに応答して、前記第１の強化画像を前記俯瞰ビューから前記車両の周囲及び前記車両の前記３Ｄモデルの斜視ビューに変更する段階を更に備える。前記第１の入力は、前記第１のタッチスクリーン入力コントロールによって検出されるスイープジェスチャを使用して行われる。前記第１の強化画像は、複数のビュープリセットを提示し、前記第１の入力は、前記第１のタッチスクリーン入力コントロールが前記複数のビュープリセットのうちの１つの上のタップを検出することを伴う。前記俯瞰ビューは、前記インタラクティブマルチディスプレイサラウンドビューシステムにおける前記第１の強化画像のデフォルトビューであり、前記方法は、前記第１のタッチスクリーン入力コントロールを用いて行われる第２の入力を受け取り、それに応答して、前記第１のディスプレイデバイス上に前記デフォルトビューを再度提示する段階を更に備える。前記第２の入力は、前記第１のタッチスクリーン入力コントロールによって検出される５本指のピンチを含む。前記コンピュータベース方法は、前記第１のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、前記第１の強化画像のズームレベルを変更する段階を更に備える。前記入力は、前記第１のタッチスクリーン入力コントロールによって検出されるダブルタップを含む。前記入力は、前記第１のタッチスクリーン入力コントロールによって検出されるピンチジェスチャを含む。前記コンピュータベース方法は、前記第２のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、代わりに前記出力のうちの別の１つを含むように前記第２の画像を変更する段階を更に備える。前記コンピュータベース方法は、前記インタラクティブマルチディスプレイサラウンドビューシステムにおいて、前記車両の周囲における障害物の存在に関するセンサ出力を受け取り、それに応答して、（ｉ）前記第１の強化画像に第１の拡張現実（ＡＲ）オブジェクトを追加するとともに、（ｉｉ）前記第２の画像に第２のＡＲオブジェクトを追加する段階、前記第１及び第２のＡＲオブジェクトの各々は、前記障害物を表し、前記障害物への距離を示す、を更に備える。前記コンピュータベース方法は、前記第１のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、前記第１の強化画像における前記第１のＡＲオブジェクトを修正することを含む、前記俯瞰ビューを、前記車両の周囲及び前記車両の前記３Ｄモデルの斜視ビューに回転させる段階を更に備える。前記コンピュータベース方法は、前記第２のタッチスクリーン入力コントロールを用いて行われる入力を受け取り、それに応答して、前記第２の画像における前記第２のＡＲオブジェクトを修正することを含む、代わりに前記出力のうちの別の１つを含むように前記第２の画像を変更する段階を更に備える。

【図面の簡単な説明】

【0006】

【図1A】車両の計器パネルの一例を示す図である。

【0007】

【図1B】車両とともに使用することができるインタラクティブマルチディスプレイサラウンドビューシステムのブロック図である。

【0008】

【図2A】インタラクティブマルチディスプレイサラウンドビューシステムに関する一例を示す図である。

【図2B】インタラクティブマルチディスプレイサラウンドビューシステムに関する一例を示す図である。

【0009】

【図3A】カメラビューを移動させるためにスクリーンをパンニングすることに関する一例を示す図である。

【図3B】カメラビューを移動させるためにスクリーンをパンニングすることに関する一例を示す図である。

【図3C】カメラビューを移動させるためにスクリーンをパンニングすることに関する一例を示す図である。

【0010】

【図4A】インタラクティブマルチディスプレイサラウンドビューシステムのスクリーンをズームすることに関する一例を示す図である。

【図4B】インタラクティブマルチディスプレイサラウンドビューシステムのスクリーンをズームすることに関する一例を示す図である。

【0011】

【図5A】インタラクティブマルチディスプレイサラウンドビューシステムをデフォルトビューに復帰するジェスチャを実行することに関する一例を示す図である。

【図5B】インタラクティブマルチディスプレイサラウンドビューシステムをデフォルトビューに復帰するジェスチャを実行することに関する一例を示す図である。

【0012】

【図6A】インタラクティブマルチディスプレイサラウンドビューシステムのビューを拡張することに関する一例を示す図である。

【図6B】インタラクティブマルチディスプレイサラウンドビューシステムのビューを拡張することに関する一例を示す図である。

【図6C】インタラクティブマルチディスプレイサラウンドビューシステムのビューを拡張することに関する一例を示す図である。

【図6D】インタラクティブマルチディスプレイサラウンドビューシステムのビューを拡張することに関する一例を示す図である。

【0013】

【図7】コンピュータシステムの例示のアーキテクチャを示す図である。

【0014】

様々な図面における同様の参照符号は、同様の要素を示す。

【発明を実施するための形態】

【0015】

本文書は、インタラクティブマルチディスプレイサラウンドビューシステムにおけるカメラ出力を管理するシステム及び技法の例を説明する。

【0016】

本明細書において説明される例は、車両を参照する。本明細書において使用される場合、車両は、乗員又は貨物、又はその両方を輸送する機械である。車両は、少なくとも１つのタイプの燃料又は他のエネルギー源（例えば、電気）を使用する１つ又は複数のモータを有することができる。車両の例としては、車、トラック、及びバスが挙げられるが、これらに限定されない。車輪の数は、車両のタイプ間で異なり得、車輪のうちの１つ又は複数（例えば、全て）は、車両の推進のために使用され得る。車両は、１人又は複数人の人物を収容する乗員コンパートメントを含むことができる。車両は、１つ又は複数のタイプの動力源によって駆動することができる。幾つかの実装では、車両は、ほんの数例を挙げると、電気によってのみ駆動されるか、又は電気に加えて１つ又は複数の他のエネルギー源を使用することもできる。

【0017】

本明細書における例は、ディスプレイデバイスを参照する。ディスプレイデバイスは、１つ又は複数のコンピュータデバイスのためのグラフィカルユーザインターフェースを視覚的に出力する。ディスプレイデバイスは、コンピュータベース情報を提示するために使用される複数のディスプレイ技術のうちのいずれかに従って動作することができる。ディスプレイデバイスは、ほんの数例を挙げると、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及び／又はプラズマディスプレイを含むことができる。ディスプレイデバイスは、コンピュータデバイスのための入力を受け取るように構成することができる。幾つかの実装では、ディスプレイデバイスは、ユーザの手又はスタイラス等の道具によって、スクリーンに接触したこと又は近接したことを検出するための１つ又は複数のタイプの技術を備えることができる。ディスプレイデバイスは、複数のタッチ検出、又はジェスチャ認識技術のうちのいずれかに従って動作することができる。ディスプレイデバイスは、ほんの数例を挙げると、抵抗式タッチスクリーン、静電容量式タッチスクリーン、及び／又は光学イメージングに基づくタッチスクリーンを含むことができる。ディスプレイデバイスは、複数の形状のうちのいずれかを有することができる。幾つかの実装では、ディスプレイデバイスは、ほんの数例を挙げると、四辺形の形状（例えば、矩形）、又は非多角形状を有する。ディスプレイデバイスは、実質的に平坦のフォームファクタ（例えば、スクリーンは、本質的に平面である）、又は非平坦のフォームファクタ（例えば、スクリーンは、１つ又は複数の半径に従って湾曲している）を有することができる。２つ又はそれよりも多くのディスプレイデバイスを、互いに対する複数の空間的関係のうちのいずれかに従って位置決めすることができる。あるディスプレイデバイスを、鉛直方向において別のディスプレイデバイスの実質的に上方に配置することができる。あるディスプレイデバイスを、水平方向において別のディスプレイデバイスの実質的に横に配置することができる。あるディスプレイデバイスを、任意の方向において別のディスプレイデバイスから斜めに配置することができる。２つ又はそれよりも多くのディスプレイデバイスを、共通の方向を向くように位置決めすることができる。２つ又はそれよりも多くのディスプレイデバイスを、互いに異なる方向を向くように位置決めすることができる。

【0018】

本明細書における例は、センサを参照する。センサは、その環境の１つ又は複数の態様を検出し、この検出を反映した信号を出力するように構成されている。検出された態様は、検出時点において静的又は動的とすることができる。単に例示的な例として、センサは、センサ及び物体の間の距離、センサを保持する車両の速度、車両の軌道、又は車両の加速度のうちの１つ又は複数を示すことができる。センサは、何らかのものを用いて周囲をプローブすることなく出力を生成することもできるし（例えば、電磁放射をキャプチャする画像センサのようなパッシブ検知）、又はセンサは、周囲をプローブし（例えば、電磁放射及び／又は音波を送信することによるアクティブ検知）、プローブへの応答を検出することもできる。１つ又は複数の実施形態とともに使用することができるセンサの例としては、光センサ（例えば、カメラ）；光ベース検知システム（例えば、ＬｉＤＡＲ）；無線ベースセンサ（例えば、レーダ）；又は音響センサ（例えば、超音波デバイス及び／又はマイクロフォン）が挙げられるが、これらに限定されない。

【0019】

図１Ａは、車両１０２の計器パネル１００の一例を示している。車両１０２は、簡潔性のために本例示ではほとんど省略されている。車両１０２は、計器パネル１００において利用可能な１つ又は複数のコントロール又は機能と関連して、又はこれらから独立して、使用することができるハンドル１０４（ここでは、明確性のために仮想線において示されている）を含む。幾つかの実装では、ハンドル１０４は、１つ又は複数のボタン、スクロールホイール、又は他のコントロールを含むことができ、それらによって、運転者は、少なくとも１つの入力を行うことができる。計器パネル１００は、本明細書における他の箇所で説明される１つ又は複数の他の例と組み合わせて使用することができる。

【0020】

計器パネル１００は、ここではハンドル１０４の幾分か左に位置決めされたディスプレイデバイス１０６を含む。計器パネル１００は、ここでは本質的にハンドル１０４の背後に位置決めされたディスプレイデバイス１０８を含む。計器パネル１００は、ここではハンドル１０４の幾分か右に位置決めされたディスプレイデバイス１１０を含む。ディスプレイデバイス１１０は、車両１０２における計器群と水平方向に位置合わせすることができる。例えば、計器群は、少なくともディスプレイデバイス１０８を含むことができる。計器パネル１００は、ここではディスプレイデバイス１１０よりも低く（例えば、本質的に鉛直方向下方に）位置決めされたディスプレイデバイス１１２を含む。ディスプレイデバイス１１２は、計器パネル１００内に位置決めされているとみなされる。例えば、ディスプレイデバイス１１２は、ディスプレイデバイス１０６、１０８、及び１１０がマウントされているのと同じ物理的ハウジング内でより低く位置決めすることができる。別の例として、ディスプレイデバイス１１２は、運転者（及び任意選択で最前列の乗員）から届くように、車両１０２における最前列の座席の間に位置決めされた中央コンソールにマウントすることができる。ディスプレイデバイス１０６、１０８、１１０、及び１１２の各々は、任意のタイプのコンテンツを出力することができる。例えば、拡張済みであるか、処理済みであるか、又は未変換であるかを問わず、車両１０２の１つ又は複数のカメラからの画像出力は、ディスプレイデバイス１０６、１０８、１１０、及び１１２のうちのいずれか又は全ての上で出力することができる。

【0021】

図１Ｂは、車両とともに使用することができるインタラクティブマルチディスプレイサラウンドビューシステム１２０のブロック図を示している。システム１２０は、インタラクティブであり、複数のディスプレイを含み、少なくとも車両のサラウンドビューを提供する。システム１２０は、本明細書における他の箇所で説明される１つ又は複数の他の例と組み合わせて使用することができる。

【0022】

システム１２０は、センサ１２２を含むことができる。センサ１２２は、複数のカメラ１２４を含むことができる。カメラ１２４は、車両上で又は車両内で位置決めされ得、内部及び／又は外部ビューをキャプチャすることができる。幾つかの実装では、４つ又はそれよりも多くのカメラ１２４が、車両の周囲（例えば、車両からの少なくとも４つの方向において地面及び付近のエリア）をキャプチャするように向けられている。センサ１２２は、１つ又は複数の他のセンサ１２６を含むことができる。幾つかの実装では、当該他のセンサ１２６は、車両の周囲における障害物の存在に関するセンサ出力を生成することができる。例えば、センサ出力は、障害物から車両（例えば、車両の最も近い部分）までの距離を反映した情報を含むことができる。

【0023】

システム１２０は、少なくともカメラ１２４からの出力を受け取る画像処理コンポーネント１２８を含む。幾つかの実装では、画像処理コンポーネント１２８は、カメラ１２４のうちの複数のカメラからの出力を（例えば、デジタル画像操作によって）ともにスティッチングして１つのコヒーレント画像にすることができる。例えば、そのようなスティッチングは、少なくとも車両の周囲のサラウンドビューを生成することができる。

【0024】

システム１２０は、複数のディスプレイデバイス１３２及び複数の入力デバイス１３４を含むことができるユーザインターフェース１３０を含む。ディスプレイデバイス１３２は、ディスプレイデバイス１０６、１０８、１１０、及び１１２（図１Ａ）のうちの幾つか又は全てに対応することができる。入力デバイス１３４は、ディスプレイデバイス１３２のうちの１つ又は複数に関連付けることができ、及び／又はこれらとは別個とすることができる。幾つかの実装では、入力デバイス１３４は、ディスプレイデバイス１３２の少なくとも幾つかのためのタッチスクリーン入力コントロールを含む。

【0025】

システム１２０は、カメラ１２４からの画像に１つ又は複数の拡張現実（ＡＲ）オブジェクトを生成することができるＡＲコンポーネント１３６を含む。幾つかの実装では、ＡＲコンポーネント１３６は、障害物に関する他のセンサ１２６のうちの１つ又は複数からの入力を受け取る。例えば、ＡＲコンポーネント１３６は、障害物を表すとともに、それへの距離を示すＡＲオブジェクトを生成する。

【0026】

図２Ａ～図２Ｂは、インタラクティブマルチディスプレイサラウンドビューシステムに関する例を示している。これらの例は、ディスプレイデバイス２００（例えば、図１Ａにおけるディスプレイデバイス１１０）及びディスプレイデバイス２０２（例えば、図１Ａにおけるディスプレイデバイス１１２）を伴う。ディスプレイデバイス２００又は２０２の各々は、１つ又は複数の画像を提示することができる。ここでは、ディスプレイデバイス２００は、画像２０６を提示し、ディスプレイデバイス２０２は、画像２０８を提示する。

【0027】

インタラクティブマルチディスプレイサラウンドビューシステム（例えば、図１Ｂにおけるシステム１２０）は、（例えば、車両からそれぞれの異なる方向に向けられた）少なくとも４つのカメラからの出力を受け取ることができる。画像処理コンポーネント１２８（図１Ｂ）は、これらの出力をともにスティッチングして１つの画像にすることができる。ここでは、ディスプレイデバイス２０２における画像２０８は、右側２１０Ａ、リア側２１０Ｂ、左側２１０Ｃ、及びフロント側２１０Ｄを含む車両の周囲の俯瞰ビューを示している。画像処理コンポーネント１２８は、車両の３次元（３Ｄ）モデル２１２を画像２０８に追加することができる。俯瞰ビューでは、３Ｄモデル２１２が上方から示されている。

【0028】

その上、ディスプレイデバイス２００における画像２０６は、画像２０８がともにスティッチングされた元の出力のうちの１つを含む。幾つかの実装では、ディスプレイデバイス２００は、タッチスクリーン入力コントロール２１４を提示する。タッチスクリーン入力コントロール２１４は、カメラからの出力の中から選択するために（例えば、これらの間で切り替えるために）使用することができる。例えば、画像２０６は、現在、車両のリアビューを提示している。

【0029】

インタラクティブマルチディスプレイサラウンドビューシステムは、車両内で画像２０６及び２０８を同時に提示する。例えば、画像２０６は、画像２０８がディスプレイデバイス１１２（図１Ａ）において提示されるのと同時にディスプレイデバイス１１０（図１Ａ）において提示される。これは、運転者に、サラウンドビュー（例えば、構築された又は合成表現）及びダイレクトビュー（例えば、車両のカメラのうちの１つからの未変換出力）の両方を同時に視認することが可能であるという利点を提供することができる。

【0030】

少なくともそれぞれの画像からスティッチングされたこと及び３Ｄモデル２１２を含むことに起因して強化画像と称され得るとともに画像２０８は、１つ又は複数のタッチスクリーンコントロールを含むことができる。ここでは、画像２０８は、複数のビュープリセット２１６を含む。ビュープリセット２１６のうちの１つを作動させることは、矢印２１８によって概略的に示されているように、画像２０８を変更するようにインタラクティブマルチディスプレイサラウンドビューシステムをトリガすることができる。

【0031】

画像２０８は、図２Ｂにおいて示されているように画像２０８'に変更することができる。画像２０８'は、車両の周囲及び車両の３Ｄモデル２１２の斜視ビューである。車両の周囲は、ここで、車両の右側２１０Ａ'、リア側２１０Ｂ'、左側２１０Ｃ'、及びフロント側２１０Ｄ'を反映することができる。３Ｄモデル２１２は、斜視ビューに回転されている。

【0032】

ディスプレイデバイス２００における画像２０６は、画像２０８'への変更による影響を受けないものとすることができる。これは、例えば駐車操縦を実行するときに、車両の周囲に対する運転者の意識の向上を可能にすることができる。

【0033】

画像２０８'は、コントロール２１９を含むことができる。幾つかの実装では、コントロール２１９は、ユーザが図２Ａにおいて示されたような画像２０８に戻ることを可能にすることができる。例えば、コントロール２１９は、一般的な「実行取り消し（ｕｎｄｏ）」コントロールとすることもできるし、又はデフォルトビューを呼び出すように構成されることもできる。

【0034】

図３Ａ～図３Ｃは、カメラビューを移動させるためにスクリーンをパンニングすることに関する一例を示している。ここでは、ディスプレイデバイス２０２における画像２０８は、シンボル２２０によって概略的に示されているように、１本の指（又はスタイラス）を用いて行われるスイープジェスチャを検出することができるタッチスクリーン入力コントロールを含む。シンボル２２０は、ディスプレイデバイス２０２上で可視ではない場合があり、ここでは例示の目的で使用される。

【0035】

スイープジェスチャを認識すると、インタラクティブマルチディスプレイサラウンドビューシステムは、図３Ｂに示されているように、画像２０８'を生成することができる。シンボル２２０は、ここでは、ユーザが画像２０８'において追加のスイープを実行することができることを示している。幾つかの実装では、ユーザは、斜視ビューを異なる斜視ビューに変更するように３Ｄにおいて画像２０８'を回転させることができる。図３Ｃは、提示させることができる画像２０８''を示している。例えば、画像２０８''において、車両の周囲、及び３Ｄモデル２１２は、スイープジェスチャによって更に回転している。

【0036】

図４Ａ～図４Ｂは、インタラクティブマルチディスプレイサラウンドビューシステムのスクリーンをズームすることに関する例を示している。図４Ａは、図２Ｂにおいてそれが提示された様子と類似の画像２０８を示している。ズームレベルを変更するために１つ又は複数の動作を実行することができる。図４Ｂは、画像２０８'のズームインバージョンである画像４００が提示されることを示している。幾つかの実装では、タッチスクリーン入力コントロール上でタップすることが、画像２０８'及び４００の間で変更するようにインタラクティブマルチディスプレイサラウンドビューシステムをトリガすることができる。例えば、ダブルタップが、ズームイン動作をトリガすることができる。幾つかの実装では、ピンチジェスチャが、画像２０８'及び４００の間で変更するようにインタラクティブマルチディスプレイサラウンドビューシステムをトリガすることができる。例えば、２本の指をともにピンチすることが、ズームイン動作をトリガすることができ、逆もまた然りである。

【0037】

図５Ａ～図５Ｂは、インタラクティブマルチディスプレイサラウンドビューシステムをデフォルトビューに復帰するジェスチャを実行することに関する一例を示している。図５Ａは、図４Ｂにおいてそれが提示された様子と類似の画像４００を示している。ディスプレイデバイス上の提示を変更するために１つ又は複数の動作を実行することができる。ここでは、画像４００は、シンボル５００によって概略的に示されているように、５本の指を用いて行われるスイープジェスチャを検出することができるタッチスクリーン入力コントロールを含む。シンボル５００は、ディスプレイデバイス２０２上で可視ではない場合があり、ここでは例示の目的で使用される。
５本指のピンチを認識すると、インタラクティブマルチディスプレイサラウンドビューシステムは、図５Ｂに示されているように、画像２０８を生成することができる。

【0038】

図６Ａ～図６Ｄは、インタラクティブマルチディスプレイサラウンドビューシステムのビューを拡張することに関する例を示している。システムは、車両の周囲における障害物の存在に関するセンサ出力を受け取ることができる。これに応答して、システムは、ディスプレイデバイス２００又は２０２のうちの少なくとも１つにＡＲオブジェクトを追加することができる。ここでは、システムは、ディスプレイデバイス２００の画像にＡＲオブジェクト６００を追加するとともに、ディスプレイデバイス２０２の画像にＡＲオブジェクト６０２を追加する。ＡＲオブジェクト６００及び／又は６０２の各々は、検出された障害物を表し、検出された障害物に依存して異なる形状を有することができる。例えば、ＡＲオブジェクト６００は、センサによって検出された車両６０４を表すことができる。別の例として、ＡＲオブジェクト６０２は、センサによって検出された車両６０６及び６０８を表すことができる。ＡＲオブジェクト６０２及び車両の３Ｄモデル２１２の間の間隔は、障害物への距離を示すことができる。ＡＲオブジェクトは、車両の３Ｄモデル２１２の１つ又は複数の側に配置することができる。

【0039】

ＡＲオブジェクト６００及び／又は６０２は、複数の変更されたビューのいずれかにおいて示すことができる。図６Ｃは、ユーザが（例えば、上記で例示された作動のいずれかによって）俯瞰ビューを斜視ビューに変更していることを示している。ディスプレイデバイス２０２は、その後、車両のリアに対する障害物の存在を示すＡＲオブジェクト６１０を提示することができる。図６Ｄは、ユーザが車両のフロントを代わりに提示するためにビューを回転させていることを示しており、ＡＲオブジェクト６０２'は、その後、ＡＲオブジェクト６０２（図６Ｂ）の修正に対応することができる。

【0040】

ディスプレイデバイス１３２の入力デバイス１３４（図１Ｂ）は、入力を互いに同時に及び非同時に受け入れる。幾つかの実装では、あるタッチスクリーン入力コントロール（例えば、本明細書において説明される機能的オンスクリーン特徴のいずれか）を、別のタッチスクリーン入力コントロールと同時に使用することもできるし、又はこれらのタッチスクリーン入力コントロールのどちらかを他方を伴わずに使用することもできる。例えば、ディスプレイデバイス１０６、１０８、１１０又は１１２（図１Ａ）のうちの２つ又はそれよりも多くに対して同時のユーザ入力を行って、それらのそれぞれの出力を同時に変更させることができる。これは、車両の周囲をモニタリングすることを望む運転者に強力でかつ柔軟なツールを提供することができる。

【0041】

図７は、本明細書において説明されるシステム、装置、及び／又は技法のうちのいずれか、又は様々な可能な実施形態において利用され得る他の任意のシステム、装置、及び／又は技法を含む本開示の態様を実装するために使用することができるコンピューティングデバイス７００の例示のアーキテクチャを示している。

【0042】

図７に示されているコンピューティングデバイスは、本明細書において説明されるオペレーティングシステム、アプリケーションプログラム、及び／又は（ソフトウェアエンジンを含む）ソフトウェアモジュールを実行するのに使用することができる。

【0043】

コンピューティングデバイス７００は、幾つかの実施形態では、中央処理ユニット（ＣＰＵ）等の少なくとも１つの処理デバイス７０２（例えば、プロセッサ）を含む。様々な製造業者、例えば、Ｉｎｔｅｌ社又はＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ社から、様々な処理デバイスが入手可能である。この例では、コンピューティングデバイス７００は、システムメモリ７０４、及びシステムメモリ７０４を含む様々なシステムコンポーネントを処理デバイス７０２に結合するシステムバス７０６も含む。システムバス７０６は、限定されるものではないが、様々なバスアーキテクチャのうちのいずれかを使用する、メモリバス、又はメモリコントローラ；周辺バス；及びローカルバスを含む、使用することができる任意の数のタイプのバス構造のうちの１つである。

【0044】

コンピューティングデバイス７００を使用して実装することができるコンピューティングデバイスの例としては、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、（スマートフォン、タッチパッドモバイルデジタルデバイス、又は他のモバイルデバイス等の）モバイルコンピューティングデバイス、又はデジタル命令を処理するように構成された他のデバイスが挙げられる。

【0045】

システムメモリ７０４は、リードオンリメモリ７０８及びランダムアクセスメモリ７１０を含む。起動中等にコンピューティングデバイス７００内で情報を転送するように機能する基本ルーチンを含む基本入力／出力システム７１２を、リードオンリメモリ７０８に記憶することができる。

【0046】

コンピューティングデバイス７００は、幾つかの実施形態では、デジタルデータを記憶するための、ハードディスクドライブ等の二次記憶デバイス７１４も含む。二次記憶デバイス７１４は、二次記憶インターフェース７１６によってシステムバス７０６に接続される。二次記憶デバイス７１４、及びその関連付けられたコンピュータ可読媒体は、コンピューティングデバイス７００のための（アプリケーションプログラム及びプログラムモジュールを含む）コンピュータ可読命令、データ構造、及び他のデータの不揮発性でかつ非一時的なストレージを提供する。

【0047】

本明細書において説明される例示の環境は、二次記憶デバイスとしてハードディスクドライブを採用しているが、他の実施形態では他のタイプのコンピュータ可読記憶媒体が使用される。これらの他のタイプのコンピュータ可読記憶媒体の例としては、磁気カセット、フラッシュメモリカード、ソリッドステートドライブ（ＳＳＤ）、デジタルビデオディスク、ベルヌーイカートリッジ、コンパクトディスクリードオンリメモリ、デジタル多用途ディスクリードオンリメモリ、ランダムアクセスメモリ、又はリードオンリメモリが挙げられる。幾つかの実施形態は、非一時的媒体を含む。例えば、コンピュータプログラム製品は、非一時的記憶媒体に有形に具現化することができる。加えて、そのようなコンピュータ可読記憶媒体は、ローカルストレージ又はクラウドベースストレージを含むことができる。

【0048】

複数のプログラムモジュールを、二次記憶デバイス７１４、及び／又はオペレーティングシステム７１８、１つ又は複数のアプリケーションプログラム７２０、（本明細書において説明されたソフトウェアエンジン等の）他のプログラムモジュール７２２、及びプログラムデータ７２４を含むシステムメモリ７０４に記憶することができる。コンピューティングデバイス７００は、任意の適したオペレーティングシステムを利用することができる。

【0049】

幾つかの実施形態では、ユーザは、１つ又は複数の入力デバイス７２６を介してコンピューティングデバイス７００に入力を提供する。入力デバイス７２６の例としては、キーボード７２８、マウス７３０、（例えば、音声及び／又は他のオーディオ入力のための）マイクロフォン７３２、（タッチパッド又はタッチ感応ディスプレイ等の）タッチセンサ７３４、及び（例えば、ジェスチャ入力のための）ジェスチャセンサ７３５を含む。幾つかの実装では、入力デバイス７２６は、存在、近接、及び／又は運動に基づく検出を提供する。他の実施形態は、他の入力デバイス７２６を含む。入力デバイスは、システムバス７０６に結合されている入力／出力インターフェース７３６を介して処理デバイス７０２に接続することができる。これらの入力デバイス７２６は、パラレルポート、シリアルポート、ゲームポート、又はユニバーサルシリアルバス等の任意の数の入力／出力インターフェースによって接続することができる。入力デバイス７２６及び入力／出力インターフェース７３６の間のワイヤレス通信も可能であり、幾つかの可能な実施形態では、ほんの数例を挙げると、赤外線、ＢＬＵＥＴＯＯＴＨ（登録商標）ワイヤレス技術、８０２．１１ａ／ｂ／ｇ／ｎ、セルラ、超広帯域（ＵＷＢ）、ＺｉｇＢｅｅ（登録商標）、又は他の無線周波数通信システムを含む。

【0050】

この例示の実施形態では、モニタ、液晶ディスプレイデバイス、発光ダイオードディスプレイデバイス、プロジェクタ、又はタッチ感応ディスプレイデバイス等のディスプレイデバイス７３８も、ビデオアダプタ７４０等のインターフェースを介してシステムバス７０６に接続される。ディスプレイデバイス７３８に加えて、コンピューティングデバイス７００は、スピーカ又はプリンタ等の様々な他の周辺デバイス（図示せず）を含むことができる。

【0051】

コンピューティングデバイス７００は、ネットワークインターフェース７４２を介して１つ又は複数のネットワークに接続することができる。ネットワークインターフェース７４２は、有線及び／又はワイヤレス通信を提供することができる。幾つかの実装では、ネットワークインターフェース７４２は、ワイヤレス信号を送信及び／又は受信するための１つ又は複数のアンテナを含むことができる。ローカルエリアネットワーキング環境又は（インターネット等の）ワイドエリアネットワーキング環境において使用される場合、ネットワークインターフェース７４２は、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェースを含むことができる。他の可能な実施形態は、他の通信デバイスを使用する。例えば、コンピューティングデバイス７００の幾つかの実施形態は、ネットワークにわたって通信するためのモデムを含む。

【0052】

コンピューティングデバイス７００は、少なくとも何らかの形態のコンピュータ可読媒体を含むことができる。コンピュータ可読媒体は、コンピューティングデバイス７００によってアクセスされ得る任意の利用可能な媒体を含む。例として、コンピュータ可読媒体は、コンピュータ可読記憶媒体及びコンピュータ可読通信媒体を含む。

【0053】

コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するように構成された任意のデバイスにおいて実装される揮発性及び不揮発性であり、取り外し可能及び取り外し不能な媒体を含む。コンピュータ可読記憶媒体は、ランダムアクセスメモリ、リードオンリメモリ、電気的消去可能プログラマブルリードオンリメモリ、フラッシュメモリ又は他のメモリ技術、コンパクトディスクリードオンリメモリ、デジタル多用途ディスク又は他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気記憶デバイス、又は所望の情報を記憶するのに使用することができ、かつコンピューティングデバイス７００によってアクセスすることができる他の任意の媒体を含むが、これらに限定されない。

【0054】

コンピュータ可読通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを搬送波又は他の伝送メカニズム等の被変調データ信号において具現化し、任意の情報伝達媒体を含む。「被変調データ信号」という用語は、信号において情報をエンコードするように設定又は変更されたその特性のうちの１つ又は複数を有する信号を指す。例として、コンピュータ可読通信媒体は、有線ネットワーク又は直接有線接続等の有線媒体、及び音響、無線周波数、赤外線、及び他のワイヤレス媒体等のワイヤレス媒体を含む。上記のものの任意の組み合わせも、コンピュータ可読媒体の範囲内に含まれる。

【0055】

図７に示されているコンピューティングデバイスは、１つ又は複数のそのようなコンピューティングデバイスを含み得るプログラマブル電子機器の一例でもあり、複数のコンピューティングデバイスが含まれる場合、そのようなコンピューティングデバイスは、本明細書において開示される様々な機能、方法、又は動作を集合的に実行するように適したデータ通信ネットワークとともに結合することができる。

【0056】

幾つかの実装では、コンピューティングデバイス７００は、ＡＤＡＳコンピュータとして特徴付けることができる。例えば、コンピューティングデバイス７００は、人工知能（ＡＩ）の分野で生じるタスクを処理するために時として使用される１つ又は複数のコンポーネントを含むことができる。コンピューティングデバイス７００は、その場合、ＡＤＡＳ又はＡＩ全般の需要のために十分な処理パワー及び十分なサポートアーキテクチャを含む。例えば、処理デバイス７０２は、マルチコアアーキテクチャを含むことができる。別の例として、コンピューティングデバイス７００は、処理デバイス７０２に加えて、又はその一部として、１つ又は複数のコプロセッサを含むことができる。幾つかの実装では、少なくとも１つのハードウェアアクセラレータをシステムバス７０６に結合することができる。例えば、グラフィックス処理ユニットを使用することができる。幾つかの実装では、コンピューティングデバイス７００は、１つ又は複数のＡＤＡＳタスクをハンドリングするためにニューラルネットワーク固有ハードウェアを実装することができる。

【0057】

本明細書全体を通して使用される「実質的に」及び「約」という用語は、処理におけるばらつきに起因するもの等の小さい変動を説明及び考慮するために使用される。例えば、それらは、±５％よりも小さいか又はそれに等しいこと、例えば±２％よりも小さいか又はそれに等しいこと、例えば±１％よりも小さいか又はそれに等しいこと、例えば±０．５％よりも小さいか又はそれに等しいこと、例えば±０．２％よりも小さいか又はそれに等しいこと、例えば±０．１％よりも小さいか又はそれに等しいこと、例えば±０．０５％よりも小さいか又はそれに等しいことを指し得る。また、本明細書において使用される場合、「ａ」又は「ａｎ」等の不定冠詞は「少なくとも１つ」を意味する。

【0058】

前述の概念及び以下でより詳細に論述される追加の概念の全ての組み合わせが（そのような概念が相互に矛盾しないことを条件として）、本明細書において開示される本発明の主題の一部であると企図されることを理解されたい。特に、本開示の最後に記載される特許請求される主題の全ての組み合わせが、本明細書において開示される本発明の主題の一部であると企図される。

【0059】

複数の実装が説明された。それにもかかわらず、本明細書の趣旨及び範囲から逸脱することなく、様々な修正が行われ得ることが理解されるであろう。

【0060】

加えて、図に示されている論理フローは、望ましい結果を達成するために、示されている特定の順序、又は連続した順序を要求しない。加えて、他のプロセスが提供されてもよいし、又は説明されたフローからプロセスが排除されてもよく、説明されたシステムに他のコンポーネントが追加されてもよいし、又は説明されたシステムから他のコンポーネントが除去されてもよい。したがって、他の実装が以下の特許請求の範囲に記載の範囲内に含まれる。

【0061】

説明された実装の特定の特徴が、本明細書において説明されたように例示されてきたが、今や多くの修正、置換、変更、及び均等物が当業者に想起されるであろう。したがって、添付の特許請求の範囲は、これらの実装の範囲に含まれる全てのそのような修正及び変更を包含するように意図されていることが理解されるべきである。それらは限定ではなく単なる例として提示されており、形態及び詳細の様々な変更が行われてよいことが理解されるべきである。相互に排他的な組み合わせを除き、本明細書において説明された装置及び／又は方法の任意の部分が任意の組み合わせで組み合わされてよい。本明細書において説明された実装は、説明された異なる実装の機能、コンポーネント及び／又は特徴の様々な組み合わせ及び／又は部分組み合わせを含むことができる。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【国際調査報告】