特表 2022-542481 運転支援のための高度なディスプレイおよび制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-03

(54)【発明の名称】運転支援のための高度なディスプレイおよび制御システム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20220926BHJP

   G08G 1/16 20060101ALI20220926BHJP

   G06T 19/00 20110101ALI20220926BHJP

【ＦＩ】

G06T15/20 500

G08G1/16 C

G06T19/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022506686

(86)(22)【出願日】2019-08-03

(85)【翻訳文提出日】2022-03-18

(86)【国際出願番号】 IB2019056626

(87)【国際公開番号】W WO2021024017

(87)【国際公開日】2021-02-11

(81)【指定国・地域】

(71)【出願人】

【識別番号】522042717

【氏名又は名称】ザン，チュアンルイ

【氏名又は名称原語表記】ＺＨＡＮＧ， Ｃｈｕａｎｒｕｉ

【住所又は居所原語表記】Ｎｏ．３０ ｂａｉｄｉ ｒｏａｄ，ｎａｎｋａｉ ｄｉｓｔｒｉｃｔ，ｔｉａｎｊｉｎ Ｔｉａｎｊｉｎ， Ｔｉａｎｊｉｎ （ＣＮ）

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】ザン，チュアンルイ

【テーマコード（参考）】

5B050

5B080

5H181

【Ｆターム（参考）】

5B050BA09

5B050BA11

5B050CA07

5B050DA04

5B050DA05

5B050EA07

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050GA08

5B080AA19

5B080BA02

5B080BA04

5B080CA01

5B080DA06

5B080FA02

5B080GA00

5H181AA01

5H181CC04

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181LL09

5H181LL14

5H181LL15

(57)【要約】

車両を運転するための新規なディスプレイおよび制御システムが提供される。ビデオゲームをプレイするのと同様のリアルタイムの車両からの「第三者の」視点を表示することにより、運転手はより簡単かつ快適に道路の状況を認識し得る。ゲームパッドまたは類似の入力装置を用いて車両を制御することにより、運転手を車両内の所定の位置に滞在することから自由にし得る。狭い通りを運転中に衝突を回避するための「スナップ」モードがさらに導入される。

【特許請求の範囲】

【請求項1】

車両のルーフ上に設置された複数のサポートを有する１または複数のカメラと、
画像処理ユニットと、
運転手のための表示端末と、
を有する、運転支援のための表示システム。

【請求項2】

請求項１に記載の１または複数のカメラは、オムニカメラ、３６０度カメラ、産業用カメラ、または類似のカメラであり、道路の景色を捕捉し得る。

【請求項3】

請求項１に記載の前記画像処理ユニットは、請求項１に記載の前記複数のカメラが捕捉した画像を用いてリアルタイムの前記車両からの「第三者の」視点を生成し、この視点を前記表示端末に表示させて運転手に対して表示する。

【請求項4】

請求項１に記載の前記表示端末は、携帯電話、タブレット、ＶＲヘッドセット、または類似の表示装置であり得る。

【請求項5】

車両の両側および／または車両の頂部に設置された複数のカメラと、
画像処理ユニットと、
運転手のための表示端末と、
を有する、運転支援のための表示システム。

【請求項6】

請求項５に記載の前記画像処理ユニットは、請求項５に記載の前記複数のカメラが捕捉した画像を用いてリアルタイムの前記車両からの「第三者の」視点を生成し、この視点を前記表示端末に表示させて運転手に対して表示する。

【請求項7】

請求項５に記載の前記１または複数のカメラは、オムニカメラ、３６０度カメラ、産業用カメラ、または類似のカメラであり、道路の景色を捕捉し得る。

【請求項8】

請求項５に記載の前記表示端末は、携帯電話、タブレット、ＶＲヘッドセット、または類似の表示装置であり得る。

【請求項9】

対話型入力装置と、
操作処理ユニットと、
を有する、運転支援のための制御システム。

【請求項10】

請求項９に記載の前記対話型入力装置は、ゲームパッド、タブレット、携帯電話、または類似の制御装置であり得る。

【請求項11】

請求項９に前記操作処理ユニットは、入力操作をコマンドに変換し、前記コマンドにより車両を操作する。

【請求項12】

請求項９に記載の前記操作処理ユニットは、狭い道路／通りを運転中のための「スナップ」モードを含み、前記操作処理ユニットは、自動で他の車両または物体に対する最小の距離を維持し、これにより運転中に何かを擦ることを回避する。

【請求項13】

請求項１に記載の運転支援のための表示システムと、請求項９に記載の制御システムを備える、車両。

【請求項14】

請求項５に記載の運転支援のための表示システムと、請求項９に記載の制御システムを備える、車両。

【発明の詳細な説明】

【技術分野】

【0001】

「第三者の」視点はコンピュータビデオゲーム用語であり、プレーヤーのキャラクターの後方および僅かに上方の所定の距離から見た景色を変換したグラフィック遠景をさす。本発明における「第三者の」視点は、所定の距離からの、かつ車両の僅か上方から捕捉した仮想のカメラ画像を意味する。

【背景技術】

【0002】

人間は、物体の認識および分類においては、コンピュータよりも優れている。よって、運転中に「第三者の」視点をより有意義な方法で運転中の運転手に対して表示することにより、運転がより簡単かつ快適になる。ほとんどの車両において、運転手の位置は所定の位置に限定されており、これにより運転手が運転中に位置を変更することはほとんど不可能となっている。操舵ハンドル、ブレーキ、アクセルペダルは機械式制御装置であるため、初心者がこれらの連携操作を習得するのは難しい。さらに、初心者が車両の安全運転を習得するためには時間がかかる。本発明は、このプロセスをより簡単にし、表示および車両の制御の新しい方法を提供するのみでなく、ビデオゲームをプレイするのと同程度に簡単にする。

【発明の概要】

【0003】

運転中に、ビデオゲームの第三者の視点と同様の「第三者の」視点を運転手に対して表示することにより、運転者がより直観的かつより快適に道路の状況を見る助けとなり得る。

【0004】

この目的を達成するために、本発明は基本的に二つの方法を提供する。一つ目の方法は、車両のルーフ上に、端部に１または複数のカメラを有する棒状部材を設置して道路の状況を捕捉し、この視点を運転手にリアルタイムで表示する。もう一つの方法は、複数のカメラを、ルーフ上方に高く突出する棒状部材を用いずに車両の両側または車両の頂部に設置し、画像処理ユニットを用いてリアルタイムの仮想の第三者の視点を生成し、この視点を表示端末に表示する。

【0005】

運転手は、夜間、雨、雪、または霧の日の運転中は道路上の物体や車両を認識しにくい。本発明はまた、晴れの日の運転における車外の景色の影を除去することで向上した道路の状況の視点を導入した。視点に高精度三次元マップからのワイヤーフレームを追加することにより、運転手が道路をより明瞭に確認する助けとなり得る。画像処理ユニットはまた、高精度三次元マップを用いて視点の推定深度を生成し、道路上の他の車両および物体の深度オクルージョン補正を提供し得る。

【0006】

通常、従来の車両は操舵ハンドル、ブレーキ、およびアクセルペダルといった機械式制御装置を備え、人間がこれらの連携操作を習得するのに多くの時間を必要とする。熟練した運転手であっても、これらを常に正しく操作するという保証はできない。一方本発明は、習得しやすくするために、ゲームパッド、タブレット、携帯電話等の新しい制御装置、またはその他の類似の専用の制御装置等を導入する。よって、車両の運転は、ビデオゲームをプレイするのと同程度に簡単である。

【0007】

人間の直接の視覚の代わりに、表示端末は、タブレット、ＶＲヘッドセット、携帯電話、またはこれらに類似の専用表示装置であってもよく、従来の車両では運転手の位置は所定の位置に限定されているが、表示装置により運転手を自由にし、運転手は車両内の任意の位置に留まることができる。表示端末および制御装置により、緊急事態時に簡単に他の者が運転を交代することができる。

【0008】

本明細書に開示の一実施形態によると、運転支援のための表示システムが提供される。表示システムは、車両のルーフ上に設置された、端部に１または複数のカメラを有する棒状部材と、画像処理ユニットと、「第三者の」視点である道路の状況を運転手に対して表示する表示端末と、を備える。

【0009】

本明細書に開示の一実施形態によると、運転支援のための表示システムが提供される。表示システムは、車両のルーフ上方に高く突出する棒状部材を用いずに、車両の両側および車両の頂部に設置された複数のカメラと、画像処理ユニットと、「第三者の」視点である道路の状況を運転手に対して表示する表示端末と、を備える。

【0010】

本明細書に開示の一実施形態によると、運転支援のための制御システムが提供される。この制御システムは、対話型入力装置と、車両を操作するための操作処理ユニットと、を備える。

【0011】

本明細書に開示の一実施形態によると、運転支援のための表示システムおよび制御システムを備える車両が提供される。表示システムは、車両のルーフ上に設置された、端部に１または複数のカメラを有する棒状部材と、画像処理ユニットと、「第三者の」視点である道路の状況を運転手に対して表示する表示端末と、を備える。運転支援のための制御システムが提供される。この制御システムは、対話型入力装置と、車両を操作するための操作処理ユニットと、を備える。

【0012】

本明細書に開示の一実施形態によると、運転支援のための表示システムおよび制御システムを備える車両が提供される。表示システムは、車両のルーフ上方に高く突出する棒状部材を用いずに、車両の両側および車両の頂部に設置された複数のカメラと、画像処理ユニットと、「第三者の」視点である道路の状況を運転手に対して表示する表示端末と、を備える。運転支援のための制御システムが提供される。この制御システムは、対話型入力装置と、車両を操作するための操作処理ユニットと、を備える。

【0013】

本明細書に開示の一実施形態によると、操作処理ユニットは、狭い通りの運転中に車両が他の物体と衝突することを防ぐ特別な「スナップ」モードを含む。

【図面の簡単な説明】

【0014】

【図1】本技術の一実施形態による、車両の頂部に設置された棒状部材と、棒状部材の端部に取り付けられた複数のカメラと、を有する車両の側面図である。

【図2】本技術の一実施形態による、車両の両側に設置された複数のカメラを有する車両の側面図である。

【図3】本技術の一実施形態による、画像処理ユニットが生成する晴れの日の日中におけるリアルタイムの「第三者の」視点である。

【図4】本技術の一実施形態による、画像処理ユニットが生成する夜間／雨／雪／霧の日におけるリアルタイムの「第三者の」視点である。

【図5】本技術の一実施形態による、タブレット、ＶＲヘッドセットとしての表示端末の一例およびゲームパッドとしての入力装置の一例を示す図である。

【発明を実施するための形態】

【0015】

今日、コンピュータビジョンは多くの進歩を遂げてきたが、特に車両の運転手が運転中に道路の状況を把握するために重要である物体の認識および分類に関しては、依然として人間の方が幾分有利である。特別な車両の「第三者の」視点を表示することにより、運転手により有意義な道路の状況の表示を提供する。これにより、運転手は車両をより直感的な方法で運転する。

【0016】

この目的を達成するための一つの方法は、車両のルーフ上に、端部に１または複数のカメラを有する棒状部材を設置することである。

【0017】

図１は、車両のルーフ上に設置された棒状部材１０２と、棒状部材１０２の端部に取り付けられた複数のカメラ１０１と、を有する車両の側面図である。

【0018】

カメラ１０１が捕捉した画像からリアルタイムの車両の「第三者の」視点を生成する画像処理ユニットを有する。

【0019】

運転中にカメラ１０１に振れが生じる可能性があるため、画像処理ユニットはまた、フレーム間（ｆｒａｍｅ ｔｏ ｆｒａｍｅ）の画像を登録し、生じ得るモーションブラーを除去するイメージスタビライザを有する。

【0020】

棒状部材１０２は、トンネルの中を運転する際または車両高さに制限がある際に、自動で折りたたむ。この間、画像処理ユニットは運転手が車両を操作できるように変換モードの視点を生成する。この変換モードは、コンピュータビジョンアルゴリズムを用いて、運転手がコンバーチブルカーを運転するかのように車両の前部における位置に仮想カメラを生成する。

【0021】

図２は、同じ目的を達成するための別の方法を示す。この方法では、ルーフ上方に高く突出する棒状部材を用いず、カメラ２０１とカメラ２０２のみを用いる。

【0022】

画像処理ユニットは、コンピュータビジョンアルゴリズムを用いて、リアルタイムで車両の「第三者の」視点を生成する。

【0023】

このコンピュータビジョンアルゴリズムが本発明の技術の要である。テスラ等の自動車メーカーのほとんどは、車両を表示するために単純な記号を用いているが、本発明は、ＳＦ映画の特殊効果のような、実際の画像から合成される「第三者の」視点を生成する。「第三者の」視点における路側の景色および車両は、実際の画像から生成される。画像処理ユニットが生成する仮想の視点は、実際のカメラが捕捉したリアルタイムの全体の景色さながらである。これらの機能はすべて、高度なコンピュータビジョンアルゴリズムに依存して行われる。

【0024】

画像処理ユニットは、リアルタイムで車両の「第三者の」視点を生成して表示端末にこの視点を送信し、運転手に対して表示する。表示端末は、携帯電話、タブレット、ＶＲヘッドセット、または類似の表示装置であり得る。

【0025】

晴れの日の運転において、画像処理ユニットは、「第三者の」視点を生成する際に車外の景色の影を除去し得る。

【0026】

図３は、画像処理ユニットが生成する晴れの日におけるリアルタイムの視点である。生成された視点は高精度三次元マップに登録される。車線、ナビゲーションガイド情報、道路わきの建物のヒント情報、さらには広告情報等の追加の情報を任意に視点に表示させることができる。画像処理ユニットはまた視点の推定深度を生成し、この深度画像は、深度オクルージョン補正をする際の追加の情報を表示する際に用いることができる。これらの情報はすべて、運転手とは別の車両の乗員に対しても表示することができる、またはさらにはインターネット接続を介して伝送してリモート表示や遠隔制御運転にも使用し得る。

【0027】

運転手は、夜間、雨、雪、または霧の日の運転中は道路上の物体を認識しにくい。上記のような条件下で運転をするとき、画像処理ユニットは、景色の赤外線（ＩＲ）画像を用いて向上した車両の「第三者の」視点を生成し得る。

【0028】

「第三者の」視点に高精度三次元マップからのワイヤーフレームを追加することにより、運転手が道路上の物体および車両をより明瞭に確認する助けとなり得る。

【0029】

図４は、夜間、雨、雪、または霧の日における、画像処理ユニットが生成する車両の「第三者の」視点である。任意で、図３と同様の他の情報を含む視点に対して、この視点から区別可能な色のワイヤーフレームを追加して表示することができる。

【0030】

通常、従来の車両は操舵ハンドル、ブレーキ、およびアクセルペダルといった機械式制御装置を備え、人間がこれらの連携操作を習得するのに多くの時間を必要とする。熟練した運転手であっても、これらを常に正しく操作するという保証はできない。一方本発明は、習得しやすくするために、ゲームパッド、タブレット、携帯電話等の新しい制御装置、またはその他の類似の専用の制御装置等を導入する。よって、車両の運転は、ビデオゲームをプレイするのと同程度に簡単である。

【0031】

人間の直接の視覚の代わりに、表示端末は、タブレット、ＶＲヘッドセット、携帯電話、またはこれらに類似の専用表示装置であってもよく、従来の車両では運転手の位置は所定の位置に限定されているが、表示装置により運転手を自由にし、運転手は車両内の任意の位置に留まることができる。表示端末および制御装置により、緊急事態時に簡単に他の者が運転を交代することができる。

【0032】

図５は、表示端末の一例であるタブレット、ＶＲヘッドセットを示す。制御システムは、対話型入力装置と、操作処理ユニットとを有する。対話型入力装置は、ゲームパッド、タブレット、携帯電話、または類似の入力装置であり得る。操作処理ユニットは、入力操作をコマンドに変換する。これらのコマンドは、車両を制御して運転手の操作を実行する。

【0033】

操作処理ユニットはまた、狭い道路または狭い通りを運転中の車両のための「スナップ」モードを含む。操作処理ユニットは、自動で他の車両または物体に対して最小の距離を維持するよう機能する。車両は、何かを擦る心配をすることなく通りを抜ける。

【0034】

上記に記載の主題は、例示のみによって提供されており、様々な変形を制限すると解釈されるべきではなく、また本発明が包含する、本開示の真の精神および範囲から逸脱することなく例示の実施形態および用途によらない変更を、本明細書に記載の主題に対して行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】