IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニムの特許一覧 ▶ カトリーケ ユニベルシテイト ルーベン,カー.ユー.ルーベン エルアンドデーの特許一覧

<>
  • 特表-画像正規化のためのシステムと方法 図1
  • 特表-画像正規化のためのシステムと方法 図2A
  • 特表-画像正規化のためのシステムと方法 図2B
  • 特表-画像正規化のためのシステムと方法 図3A
  • 特表-画像正規化のためのシステムと方法 図3B
  • 特表-画像正規化のためのシステムと方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-20
(54)【発明の名称】画像正規化のためのシステムと方法
(51)【国際特許分類】
   G06T 3/00 20060101AFI20220413BHJP
   G06T 1/00 20060101ALI20220413BHJP
   G08G 1/16 20060101ALI20220413BHJP
【FI】
G06T3/00 720
G06T1/00 330Z
G08G1/16 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021547530
(86)(22)【出願日】2019-02-15
(85)【翻訳文提出日】2021-10-12
(86)【国際出願番号】 EP2019053885
(87)【国際公開番号】W WO2020164744
(87)【国際公開日】2020-08-20
(81)【指定国・地域】
(71)【出願人】
【識別番号】511312997
【氏名又は名称】トヨタ モーター ヨーロッパ
(71)【出願人】
【識別番号】512278191
【氏名又は名称】カトリーケ ユニベルシテイト ルーベン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】田村 一樹
(72)【発明者】
【氏名】清水 宏明
(72)【発明者】
【氏名】マルク プロースマンス
(72)【発明者】
【氏名】フランク フェルビースト
(72)【発明者】
【氏名】ルク ファン ホール
【テーマコード(参考)】
5B057
5H181
【Fターム(参考)】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CA20
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD02
5B057CD03
5B057CD05
5B057CD12
5B057CE08
5H181AA01
5H181CC04
5H181FF04
5H181FF27
5H181FF33
5H181FF35
5H181LL08
5H181LL09
(57)【要約】
車両の仮想画像視界を生成するためのシステムが提供される。システムは、車両の近くで画像データを取り込むように構成された1つ又は複数の画像取込手段であって、画像データは、第1の視点パラメータによって少なくとも部分的に規定され、1つ又は複数の画像取込手段は、1つ又は複数の画像取込手段のそれぞれを識別する識別子を提供するように構成される、1つ又は複数の画像取込手段と、仮想化された視点及び複数の画像取込手段に関連する変換情報を含む複数の仮想化記録を保存するように構成された記憶手段と、処理手段と、を備える。処理手段は、取り込まれた画像データを受信し、取り込まれた画像データの第1の視点パラメータを、記憶手段によって保存された仮想化記録に関連付けられた変換情報に基づいて、仮想視点パラメータに変換して、仮想画像視界をもたらし、仮想化記録は識別子に少なくとも基づいて識別され、仮想画像視界に基づいて、少なくとも1つの運転支援及び/又は自動運転機能を実行する、ように構成される。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の仮想画像視界を生成するためのシステムであって、
前記車両に近接した画像データを取り込むように構成された1つ又は複数の画像取込手段であって、前記画像データは、第1の視点パラメータによって少なくとも部分的に規定され、前記1つ又は複数の画像取込手段は、前記1つ又は複数の画像取込手段のそれぞれを識別する識別子を提供するように構成される、1つ又は複数の画像取込手段と、
仮想化された視点及び複数の画像取込手段に関連する変換情報を含む複数の仮想化記録を保存するように構成された記憶手段と、
処理手段であって、
前記取り込まれた画像データを受信し、
前記取り込まれた画像データの前記第1の視点パラメータを、前記記憶手段によって保存された仮想化記録に関連付けられた前記変換情報に基づいて、仮想視点パラメータに変換して、前記仮想画像視界をもたらし、前記仮想化記録は前記識別子に少なくとも基づいて識別され、
前記仮想画像視界に基づいて、少なくとも1つの運転支援及び/又は自動運転機能を実行する、ように構成された、処理手段と、
を具備する、車両の仮想画像視界を生成するためのシステム。
【請求項2】
前記変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも1つを含む、請求項1に記載の車両の仮想画像視界を生成するためのシステム。
【請求項3】
仮想化された各視点が、解像度及び視野のうちの少なくとも1つと、
ピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも1つと、によって規定される、請求項1~2のいずれか1項に記載の仮想画像視界を生成するためのシステム。
【請求項4】
前記記憶手段は、仮想画像視界に結合された処理アプリケーションを識別するための手段を具備する、請求項1~3のいずれか1項に記載の仮想画像視界を生成するためのシステム。
【請求項5】
前記記憶手段は、前記処理アプリケーションが必要とする前記仮想画像視界を生成するための変換情報にカメラ識別子を結合するルックアップテーブルを具備する、請求項4に記載の仮想画像視界を生成するためのシステム。
【請求項6】
前記変換情報は、識別された画像取込手段のための較正パラメータを含み、前記処理手段は、前記1つ又は複数の画像取込手段のそれぞれのための前記較正パラメータを検証するように構成される、請求項1~5のいずれか1項に記載の仮想画像視界を生成するためのシステム。
【請求項7】
前記処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも1つを含む、請求項5~6のいずれか1項に記載の仮想画像視界を生成するためのシステム。
【請求項8】
請求項1~7のいずれか1項に記載のシステムを含む車両。
【請求項9】
車両の仮想画像視界を生成するための方法であって、
前記車両の周囲から少なくとも1つの画像取込手段によって取り込まれた画像データを受信することであって、前記画像データは、第1の視点パラメータによって少なくとも部分的に規定される、ことと、
画像データを提供する1つ又は複数の画像取込手段を識別する識別子を受信することと、
仮想化された視点及び複数の画像取込手段に関連する変換情報を含む仮想化記録を判定することであって、前記仮想化記録は、前記識別子に少なくとも基づいて判定される、ことと、
前記取り込まれた画像データの前記第1の視点パラメータを、前記判定された仮想化記録に関連付けられた前記変換情報に基づいて仮想視点パラメータに変換して、前記仮想画像視界をもたらすことと、
前記仮想画像視界に基づいて、少なくとも1つの運転支援及び/又は自動運転機能を実行することと、
を含む、車両の仮想画像視界を生成するための方法。
【請求項10】
前記変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも1つを含む、請求項9に記載の車両の仮想画像視界を生成するための方法。
【請求項11】
仮想化された各視点は、解像度及び視野のうちの少なくとも1つと、
ピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも1つと、によって規定される、請求項9~10のいずれか1項に記載の仮想画像視界を生成するための方法。
【請求項12】
前記判定することは、仮想画像視界に結合された処理アプリケーションを識別することを含む、請求項9~11のいずれか1項に記載の仮想画像視界を生成するための方法。
【請求項13】
前記判定することは、ルックアップテーブルを検索することを含み、前記ルックアップテーブルは、前記処理アプリケーションが必要とする前記仮想画像視界を生成するための変換情報にカメラ識別子を結合する情報を含む、請求項12に記載の仮想画像視界を生成するための方法。
【請求項14】
前記変換情報は、識別された画像取込手段のための較正パラメータを含み、前記方法は、前記1つ又は複数の画像取込手段のそれぞれのための較正パラメータを検証することをさらに含む、請求項9~14のいずれか1項に記載の仮想画像視界を生成するための方法。
【請求項15】
前記処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも1つを含む、請求項13~14のいずれか1項に記載の仮想画像視界を生成するための方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動車の運転者支援のためのシステム及び方法、さらに具体的には、設置された車両カメラから取得された1つ又は複数の画像の仮想化に関する。
【背景技術】
【0002】
近年、1つ又は複数のカメラを搭載した車両が一般的になっている。このようなカメラは、視覚的フィードバック、駐車支援、衝突回避、交通誘導などのさまざまな理由で導入され、自律運転及び自動運転支援の重要な入力様式になっている。
【0003】
このようなカメラは、例えば、ピンホールレンズモデル及び魚眼レンズモデルによって説明されるさまざまな特性(例えば、光学特性)のほか、特定の車両へのさまざまな設置場所を概ね提示する。
【0004】
自動車又は自動化の用途に対して設計され開発されたソフトウェアでは、典型的には、車両に取り付けられた1つ又は複数のカメラに対して想定される所定の視点からの画像を予期しており、1つ又は複数のカメラによって提供される視点が想定仕様範囲外のものである場合、性能が低下するか、停止することもある。
【0005】
一部の既存のシステムには、認識の精度と堅牢性を向上させるためにカメラ装置が実装される。車両の製造業者は、前面に取り付けられたカメラ装置と、車両の運転状態に関連するデータと信号を組み合わせるため手段とを使用している。さらにまた、画像信号をナビゲーション装置出力と組み合わせるための手段も実装されている。
【0006】
米国特許出願公開第2016/360104号は、魚眼カメラから複合視界を生成するためのシステム及び方法を開示する。
【発明の概要】
【0007】
本発明者らは、複数の車両モデルの大量生産の場合、特定の異なる車両タイプごとのカメラ設定での視野角に差があると、配置が異なるため、多くの問題が生じることを認識している。これにより、製造工程中の取り付けの制約及び/又は制限のために、視点の差も生じる可能性がある。
【0008】
このような問題が処理システムに及ぼす影響は、従来のカメラ設定(例えば、ピンホール)では複雑になる可能性があるが、魚眼カメラではさらに大きくなる可能性がある。
【0009】
本開示の実施形態によれば、車両の仮想画像視界を生成するためのシステムが提供される。システムは、車両の近くで画像データを取り込むように構成された1つ又は複数の画像取込手段であって、画像データは、少なくとも部分的に第1の視点パラメータによって規定され、1つ又は複数の画像取込手段は、1つ又は複数の画像取込手段のそれぞれを識別する識別子を提供するように構成された、画像取込手段と、仮想化された視点及び複数の画像取込手段に関連する変換情報を含む複数の仮想化記録を保存するように構成された記憶手段と、処理手段と、を備える。処理手段は、取り込まれた画像データを受信し、記憶手段によって保存された仮想化記録に関連する変換情報に基づいて、取り込まれた画像データの第1の視点パラメータを仮想視点パラメータに変換し、仮想画像視界をもたらすように構成される。ここで、仮想化記録は、少なくとも識別子に基づいて識別される。処理手段は、仮想画像視界に基づいて少なくとも1つの運転者支援及び/又は自動運転機能を実施するように構成される。
【0010】
そのようなシステムを提供することにより、車両を取り囲む1つ又は複数の取り込まれた画像及び/又は光景に関連するデータを仮想化し、特定の処理アプリケーションが所望する視界に正規化してもよい。例えば、魚眼カメラが第1の車両モデルの側面に提供され、ピンホールカメラが第2の車両モデルの側面に提供される場合、第1及び第2の車両の両方に設置された単一の処理アプリケーションが、カメラの種類、カメラの設置角度、カメラの場所などの違いにもかかわらず、ほぼ同一の仮想化視界を受信する可能性がある。このため、1つの処理アプリケーションを大量生産されたモデルの車両全体に実装する可能性がある。
【0011】
さらに、カメラ間に固体差が存在する可能性があるため、このような差は、視点パラメータの仮想化によって、処理アプリケーションにとって事実上識別することができないようになる可能性がある。
【0012】
変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも1つを含む場合がある。
【0013】
仮想化された各視点は、解像度及び視野のうちの少なくとも1つ並びにピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも1つによって規定される場合がある。
【0014】
記憶手段は、仮想画像視界に結合された処理アプリケーションを識別するための手段を含む場合がある。
【0015】
記憶手段は、処理アプリケーションが必要とする仮想画像視界の生成のための変換情報を有するカメラ識別子と結合するルックアップテーブルを含む場合がある。
【0016】
変換情報は、識別された画像取込手段の較正パラメータを含み、処理手段は、1つ又は複数の画像取込手段のそれぞれのための較正パラメータを検証するように構成される場合がある。
【0017】
処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも1つを含む場合がある。
【0018】
別の実施形態によれば、上記のシステムを備える車両が提供される。
【0019】
さらに別の実施形態によれば、車両の仮想画像視界を生成するための方法が提供される。この方法は、少なくとも1つの画像取込手段によって車両の周囲から取り込まれた画像データを受信することであって、画像データは、第1の視点パラメータによって少なくとも部分的に規定される、ことと、画像データを提供する1つ又は複数の画像取込手段を識別する識別子を受信することと、仮想化された視点及び複数の画像取込手段に関連する変換情報を含む仮想化記録を判定することであって、仮想化記録は、少なくとも識別子に基づいて判定される、ことと、取り込まれた画像データの第1の視点パラメータを、判定された仮想化記録に関連付けられた変換情報に基づいて仮想視点パラメータに変換して、仮想画像視界がもたらされることと、仮想画像視界に基づいて少なくとも1つの運転者支援及び/又は自動運転機能を実施することと、を含む。
【0020】
変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも1つを含む場合がある。
【0021】
仮想化された各視点は、解像度及び視野のうちの少なくとも1つ並びにピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも1つによって規定される場合がある。
【0022】
判定することは、仮想画像視界に結合された処理アプリケーションを識別することを含む場合がある。
【0023】
判定することは、ルックアップテーブルを検索することであって、ルックアップテーブルは、処理アプリケーションが必要とする仮想画像視界の生成のために、カメラ識別子を変換情報と結合する情報を含む、ことを含む場合がある。
【0024】
変換情報は、識別された画像取込手段のための較正パラメータを含む場合がある。この方法は、1つ又は複数の画像取込手段のそれぞれのための較正パラメータを検証することをさらに含む。
【0025】
処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも1つを含む場合がある。
【0026】
上記の要素と明細書内の要素との組み合わせが、他の点で矛盾する場合を除いて、実施され得ることが意図されている。
【0027】
前述の一般的な説明及び以下の詳細な説明の両方は、例示的かつ説明的なものにすぎず、特許請求しているように、開示を限定するものではないことを理解されたい。
【0028】
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の実施形態を図示し、記載とともに、その原理を説明するのに役立つ。
【図面の簡単な説明】
【0029】
図1】本開示の実施形態による、車両の例示的な画像仮想化システムの概略図である。
図2A】車両に設置された第1のカメラから取り込まれた例示的な画像を示す図である。
図2B】本開示の実施形態に従って正規化された取込画像を示す図である。
図3A】1つ又は複数のカメラ設定及び関連データに関連する情報の論理的グループ化を示す図である。
図3B】変換情報及び処理アプリケーションに関連する例示的なデータ図を示す図である。
図4】本開示の実施形態による例示的な処理方法を強調するフローチャートである。
【発明を実施するための形態】
【0030】
ここで、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、同一又は類似の部品を参照するために、図面全体で同じ参照番号を使用する。
【0031】
図1は、車両の例示的な画像正規化システムの概略図を示す。運転支援システム1は、とりわけ、電子制御ユニット(ECU)10、1つ又は複数のカメラ15、1つ又は複数のセンサ20、システムコントローラ32及びディスプレイ25などの処理手段を含んでもよい。
【0032】
このほか、位置提供手段に対応する全地球測位システム(GPS)17が、車両の場所に関する地図データ(例えば、座標などの位置情報)と、車両の近くの特徴(例えば、規制表示器、信号機、出口車線など)に関する特徴情報と、を提供するために提供される。
【0033】
画像取込手段15は、例えば、車両の周囲の領域(例えば、車両の前部、側部及び後部)から光学データを取得するように構成された1つ又は複数のカメラ及び/又は他の適切な装置を含んでもよい。画像取込手段15は、車両の周囲から取得された光学データを処理し、データを送信する信号を出力するように構成されてもよい。そのような画像取込手段15は当技術分野では既知であり、当業者は、そのような画像取込手段15のいずれかが本開示の範囲から逸脱することなく本システムに実装され得ることを理解するであろう。例えば、画像取込手段15は、ピンホールカメラ、魚眼カメラ、円筒形カメラ、球形カメラなどを含んでもよい。
【0034】
画像取込手段15は、車両の周囲の十分な視野4(例えば、車両の周囲360度までを覆う正面視界及び側面視界)を提供するように、車両上のさまざまな位置に配置されてもよい。例えば、1つ又は複数の画像取込手段15は、現在運転している高速道路上に存在する他の車両を含む、周囲の物体の視野4を提供するように、フロントガラスの背後、フロントバンパー、サイドミラー、バックミラー、後部ウィンドウ、後部バンパー及び/又は車両上の任意の他の適切な取り付け場所に配置されてもよい。
【0035】
いくつかの実施形態によれば、美的理由から、車両上の画像取込手段15の可視性を最小化することが望ましい場合があり、当業者は、車両を取り囲む十分な視野を提供しながら、この目標を達成するのに適した取り付け位置を見つけることが、合理的な考慮事項であることを理解するであろう。さらに、当業者は、車両の設計に応じて、画像取込手段15の配置がモデル間で異なり、各画像取込手段15の配置に応じて、出力データが、例えば、回転、歪み、屈折などの異なる初期パラメータを有し得ることを認識するであろう。
【0036】
本明細書で使用する視野に言及するときの「十分な」という用語は、自律的運転シナリオでの画像取込手段15の視野内の物体をはじめとする特徴(例えば、車線210、車両250、道路状態200など)の存在に応答するのに十分な時間をEUC10に提供するのに十分に大きい距離にて画像データを提供する能力を、画像取込手段15に提供する視野を意味するものとする。例えば、車両の右又は左への「十分な」視野には、車両のすぐ隣の車線又は車両から離れた2つ以上の車線と、そのような車線を移動する任意の他の車両/そのような車線に属する車線マーカーとの視界が含まれるであろう。
【0037】
画像取込手段15は、ECU10による画像取込手段15の識別を可能にする識別子に加えて、車両の周囲に関するデータをECU10に提供するように構成されてもよい。画像取込手段15は、有線接続、無線接続、あるいはデータをECU10に転送するための他の適切な方法を介して、そのようなデータをECU10に提供してもよい。例えば、画像取込手段15は、EUC10及び/又は画像取込手段15からのデータを使用し得る他の装置にデータを送信するための無線通信手段(例えば、IEEE 802.11準拠のWi-Fiハードウェア、Bluetooth(登録商標)など)を含んでもよい。
【0038】
これとは別に、あるいはこれに加えて、例えば、安全目的のために、有線接続が提供されてもよい。そのような有線接続は、例えば、干渉又はトランシーバの異常のために無線接続が機能しなくなった場合にフェイルセーフを提供するために提供されてもよい。
【0039】
画像取込手段15の識別子には、例えば、1つ又は複数の数字、番号及び/又は文字が含まれてもよい。識別子は、例えば、画像取込手段に固有のものであってもよい。これとは別に、識別子が、さらに一般的には、カメラの位置及びタイプを識別するのに役立ってもよい。例えば、識別子の1つ又は複数の数字が、カメラのタイプ(例えば、魚眼、円筒形など)を示し/対応してもよく、一方、1つ又は複数の数字が、車両上の設置場所及び/又はカメラが設置される車両モデルを示してもよい。当業者は、識別子のためにさまざまな構想が実施されてもよく、そのような構想はいずれも本開示の範囲内に入ることが意図されていることを理解するであろう。
【0040】
上記のように、車両に設置された/取り付けられたさまざまな画像取込手段15は、タイプ及び設置位置だけでなく、例えば、回転、解像度、歪み、投影モデル、視野などのさまざまな視点パラメータによっても変化してもよい。このため、各画像取込手段15の視点パラメータが、表に保存され、例えば、識別子によって参照されてもよい。例えば、特定の画像取込手段15が、1024×768ピクセルの解像度で画像データを取り込むのに対し、他の画像取込手段が、フル1080p(即ち、1900×1080ピクセル)で取り込んでもよい。処理アプリケーションでは、800×600ピクセルの画像解像度が予期される場合がある。このため、各画像取込手段15の各データセットを、その特定の処理アプリケーションのために800×600の解像度に変換し得ることが望ましい。
【0041】
図2A及び図2Bはそれぞれ、車両に設置された第1のカメラから取り込まれた例示的な画像及び本開示の実施形態に従って正規化された取込画像を示す。図3A及び図3Bは、1つ又は複数のカメラ設定及び関連データ(例えば、視点パラメータ)に関連する情報の論理的グループ化並びに本開示の実施形態による変換情報及び処理アプリケーションに関連する例示的なデータ図を強調する。
【0042】
図示のように、多数のカメラ設定161~16iが、任意の特定の車両モデルに存在するほか、車両モデル間で変化してもよい。このため、表80が、カメラ設定/識別子16をその固有の視点パラメータと結合し、続いて、そのようなカメラ設定16xの変換パラメータを処理アプリケーション90と結合するために提供されてもよく、それにより、処理アプリケーションが予期する視点パラメータへの画像取込手段15の画像出力データの変換を可能にする。
【0043】
例えば、図2Aに示すように、設置された画像取込手段が、例えば、回転及び(例えば、魚眼レンズによって引き起こされる)レンズ歪みを含む第1の視点パラメータを有する「非仮想化」視界を出力する。物体又は車線検出アプリケーションが、画像取込手段からの視界を要求してもよい。このため、ECU10は、アプリケーションに基づいて、画像取込手段の識別子に基づいてルックアップテーブルを確認してもよい。
【0044】
カメラのための識別子に基づいて、第1の視点パラメータ及びカメラ設定16を採用すると、第1の視点パラメータを仮想視点パラメータに変換するための変換情報をデータベースから取得してもよい。そのような変換情報は、例えば、図2Bに示す仮想化された視界をもたらす代償的な回転及び歪みの値を示してもよい。次に、この仮想化された視界は、物体検出アプリケーションによって、所望の目的に対して使用することができる。
【0045】
図2A及び図2Bに示す例によれば、図2Aの画像データ(例えば、魚眼投影モデル)のための第1の視点パラメータは、以下の4つの表によって規定されてもよい。
【表1】
【表2】
【表3】
【表4】
【0046】
次に、上記の第1の視点パラメータは、本開示の実施形態によれば、例えば、物体検出を容易にするために、直線状の円筒形の仮想視点パラメータに(図2Bに示すように)変換されてもよい。仮想視点パラメータ仮想化画像への変換は、処理アプリケーション90及びカメラ識別子に基づくルックアップテーブル80からの変換情報を使用して実施されてもよい。結果として生じる変換された仮想視点パラメータを、次の4つの表に示す。
【表5】
【表6】
【表7】
【表8】
上記の表をさらに説明するために、ピンホールカメラが、車両に取り付けられた元来の投影モデルカメラであると仮定する。ピンホールカメラモデルの場合、光景内の3D点Mを、式(1)のように画像内のその投影mに関連付けることができる。
【数1】
ここで、
M=(X Y Z)Tは光景の3D点M、m=(x y)Tはカメラ画像でのその投影であり、数2はゼロ以外のスカラー倍までの等式を表す。
【数2】
Kは3×3較正行列、Rはカメラの向きを表す3×3回転行列、tはカメラの位置を表す並進ベクトルt=(tx ty tz)Tである。

この実施形態では、アスペクト比が1であり、スキューが0であると仮定する場合がある。
較正行列Kは、式(2)(数3)のように表すことができる。
【数3】
ここで、fは焦点距離(ピクセル単位)、p=(pxy)Tはカメラの主点である。点Mに対応するがカメラに取り付けられた座標フレーム(カメラ座標フレーム)にて表される点Q=RT(M-t)を考慮する。qは点Q,数4の「正規化された」投影である。
【数4】
次に、
【数5】
魚眼カメラの場合、画像投影は、正規化された座標ではなく角度で定式化される。
【数6】
カメラモデルに径方向歪みを導入するには、式(3)を式(4)のように書き直してもよい。
【数7】
歪み関数D()は、正規化された投影を、画像座標に変換する前に径方向に移動させる。
【数8】
ここで、k1、k2、k3 …は、カメラの画像の径方向の歪みを規定するパラメータである。この特定の例では、上記の最初の3つの表には、径方向歪みを説明する3つのパラメータが含まれているが、定式化は3つのパラメータに限定されないことに留意されたい。

仮想カメラの場合、モデル投影は、はるかに単純になるように選択することができ(例えば、径方向歪みが排除される)、所与のコンピュータ視覚アルゴリズムに対して、いっそう直感的な画像表現を規定することができる。上記の次の3つの表では、データは、例示的な正距円筒図法モデルによって使用される。式(3)が適用される。ここで、qは次のように規定される。
【数9】
【0047】
いくつかの実施形態によれば、第1の視点パラメータ及び出力画像データは、関連する画像取込手段15の較正が正しいかどうかに関する判定を容易にしてもよい。
【0048】
例えば、較正を、車両の周囲構造の事前に知られている情報、例えば、1)形状及び/又は輪郭と、2)周囲の光景に関する情報(例えば、道路構造、平行線、地図情報)とに基づいて、単一の画像を使用して確認してもよい。このため、画像データ出力の投影制約は、第1の視点パラメータ(即ち、カメラ15が提供すると予期されるもの)と比較されて、実際のデータ及びパラメータが対応するかどうか、それによりカメラ15が較正されるかどうかを判定することができる。
【0049】
これとは別に、あるいはこれに加えて、一連の画像にわたる特徴追跡がこのほか、動作からの構造の文脈での3次元構造に関する情報を与えることができる。このような3次元構造を使用して、上記とほぼ同じ方法で較正を確認することができる。
【0050】
別の例によれば、車両には、典型的には、複数の画像取込手段15(例えば、2つ、4つ、6つ、8つのカメラなど)が設置されているため、さまざまな画像取込手段15間の任意の重複を、周囲の3D構造を確認するための(上記のように、SfMを使用した)特徴対応追跡及び/又は三角測量の観点から、さらに利用することができる。このため、較正は、重複するカメラ視界にわたる実際のパラメータと比較された、予期される第1の視点パラメータに基づいて確認することができる。
【0051】
いくつかの実施形態によれば、画像取込手段15から仮想画像視界を生成するためのシステムは、画像取込手段15及びその関連する出力画像データが正しく較正されていると仮定してもよい。このため、自動較正確認が実施されなくてもよく、画像データは、本明細書に記載の技術に従って仮想化/正規化される。
【0052】
1つ又は複数のセンサ20が、車両の状態に関連する状態情報をECU10に送信するように構成されてもよい。例えば、車両の状態には、車両が走行している速度、車両が走行している方向、車両の方向の進行中の変化及び/又は車両の方向の完了した変化、ハンドルの位置、車両の走行距離などが含まれてもよい。
【0053】
このため、1つ又は複数のセンサ20には、例えば、とりわけ、ハンドル位置センサ、車速センサ、ヨーレートセンサが含まれてもよい。そのようなセンサは、画像取込手段15と同じように、そのような状態情報を無線及び/又は有線でECU10に提供するように構成されてもよく、さらに持続時間情報を含んでもよい。状態情報に関連する持続時間情報は、ECU10によって追跡されてもよい。
【0054】
ECU10は、本開示の実施形態を実施するために、データを操作し、計算を実施し、意思決定のためのコードを実行し、車両の操作者に情報を表示させたり、及び/又はシステムコントローラ32の制御が1つ又は複数のシステム(例えば、車両の操縦、制動など)にて実施されたりするように構成された任意の適切な装置を含んでもよい。例えば、ECU10には、さまざまなアナログ回路及び/又はデジタル回路が含まれてもよく、RISCプロセッサ、i386プロセッサ、ASICプロセッサなどのような集積回路が含まれてもよい。典型的には、現代の車両の搭載コンピュータがそのようなプロセッサを含んでもよく、当業者は、現在のECU10がそのような搭載コンピュータによって構成されても、別個に提供されてもよいことを理解するであろう。当業者はこのほか、本明細書に記載の例示的な回路及びプロセッサが限定することを意図したものではなく、任意の適切な装置を実装し得ることを理解するであろう。
【0055】
ECU10は、オブジェクトの検出及び認識など、車両機能(例えば、視点パラメータ変換テーブル、処理アプリケーション、カメラ識別子など)の処理中に利用され得る車両関連データのほか、数値の保存を可能にするために、車両に関連する1つ又は複数のデータベース及び/又は他のメモリ(例えば、RAM、ROMなど)に結合されてもよい。当業者は、任意のそのようなデータベース及び/又はメモリに関して本明細書で考察された情報が、限定することを意図するものではないことを認識するであろう。
【0056】
ECU10は、本開示に関連する機能を提供するために、画像取込手段15からデータを受信するように構成されてもよい。例えば、ECU10は、1つ又は複数の画像取込手段15及び1つ又は複数のセンサから同時に第1の視点パラメータを有する画像データ(例えば、ストリーミングデータ)を受信してもよい。
【0057】
ECU10は、GPS17からデータを受信するようにさらに構成されてもよい。データには、車両の場所に近接する特徴に関連する位置情報及び地図情報が含まれる。位置情報には、例えば、地図上の車両の位置の固定/判定を可能にするグローバル座標、車両が現在移動しているリンク(即ち、現在のリンク)及び可能性のある将来の移動経路(即ち、次のリンク)を示す現在及び次のリンク情報のほか、このような現在及び次のリンクに関する情報(例えば、とりわけ、アクセス制御された高速道路、市街地)などが含まれてもよい。
【0058】
地図情報に含まれる特徴には、例えば、車線210、出口車線、条件付き表示器(例えば、起動時間、禁止時間、気象条件、季節など)、地形などが含まれてもよい。当業者は、必要に応じて、これより多くの特徴又はこれより少ない特徴が地図情報に存在してもよく、詳細さの度合いは、とりわけ、例えば、地図情報提供者に依存することを認識するであろう。当業者は、GPS17がECU10の一部を形成しても、ECU10から分離されても、あるいはGPS17とECU10との間の任意の組み合わせの度合いが本開示の範囲から逸脱することなく実施されてもよいことをさらに認識するであろう。
【0059】
ECU10は、1つ又は複数のインターフェース、例えば、ネットワークインターフェースに結合されてもよい。このようなインターフェースは、とりわけ、画像取込手段15、GPS17、センサ20によって提供されたデータ及び情報を無線及び/又は有線で受信するように構成されてもよい。さらに、GPS17は車両上に存在すると説明されているが、当業者は、車線210、出口車線などの特徴を含む特定の地図データが遠隔で保存され、例えば、4Gを介してGPS17及び/又はECU10に送信されてもよく、その結果、最新の情報を利用することができることを理解するであろう。
【0060】
いくつかの実施形態によれば、車両が1つ又は複数のシステムコントローラ32を備えてもよい。システムコントローラは、ECU10から情報及び/又はコマンドを受信し、そのようなコマンドを実行して、さまざまな車両システム(例えば、操縦、制動、アクセルなど)を制御するように構成されてもよい。そのような装置は、例えば、操縦システム、制動システム、加速システムなどを操作するために、車両の制御システム32を能動的に操作するように構成されてもよい。
【0061】
そのような装置には、車両の1つ又は複数のシステム、例えば、ECU10から命令を受信し得る1つ又は複数のサーボモータ、アクチュエータなどが含まれてもよい。このような指示に基づいて、車両を、操作者、システム制御32と組み合わせたECU10、あるいはその両方によって同時に制御してもよい(例えば、パニック停止状況での操縦及び制動補助を提供するシステムコントローラ32)。
【0062】
ディスプレイ25は、ECU10が車両の運転者に提供する情報を表示するように構成されてもよい。図2は、車両の運転者が興味を持ち得る情報を提供する例示的なディスプレイ25を示す。図2に示すように、有効な制限速度が、ディスプレイ25上で現在運転者に表示されている情報の1つである。
【0063】
ディスプレイ25は、車両の運転者に可視情報及び/又は可聴情報を提供するための任意の適切な装置であってもよい。例えば、ディスプレイ25には、(例えば、運転者の前のフロントガラス上の)ヘッドアップディスプレイ)、モニタ、ダッシュボード内ディスプレイなどが含まれてもよい。
【0064】
図4は、本開示の実施形態による例示的な処理方法を強調するフローチャート400である。ECU10は、1つ又は複数の画像取込手段15のほか、画像データを提供する画像取込手段15に関連付けられた識別子から画像データを受信してもよい(ステップ405)。そのような画像データは、車両の周囲、例えば、車線210、道路状況200及び他の車両250を含んでもよい。画像データは、動画、静止画又はハイブリッド形式の形態であってもよい。例えば、動画の1つ又は複数のフレームが、例えば、特定の交通光景が複雑になる場合に、定期的な静止写真と併せて提供されてもよい。
【0065】
ECU10は、画像データを受信すると、画像データを確認して、データ発信源の画像取込手段15が適切に較正されているかどうかを判断することができる(ステップ415)。上記のように、そのような較正確認は任意選択であってもよく、いくつかの実施形態によれば、そのような較正確認は実施されることがなくてもよい。
【0066】
そのような較正確認が実施され、較正問題が存在する可能性があるとECU10が判定した場合(ステップ415:いいえ)、車両の操作者には、画像取込手段15のうちの1つ又は複数に較正問題が存在することが(例えば、ディスプレイ25を介して)通知されてもよい(ステップ415)。カメラ識別子に基づいて、画像取込手段15のうちのいずれが較正問題を有しているかを操作者に示すことが可能であってもよく、このため、較正問題の修正/修復が容易になってもよい。
【0067】
いくつかの実施形態によれば、画像取込手段15及び/又はECU10が、例えば、製造業者認定の修理施設での較正問題の診断及び修正を支援するためのインターフェース(例えば、ディスプレイ25)を介した較正に関連する診断などに関する追加情報を提供することが可能であってもよい。
【0068】
較正の検証(実施される場合)に続いて、ECU10は、次に、画像データを提供する画像取込手段15がステップ405で提供するカメラ識別子を使用して、関連する画像取込手段15から送られる画像データの第1の視点パラメータ(即ち、初期設定出力パラメータ)のほか、仮想化されたセットに第1の視点パラメータを変換するための仮想化された視点パラメータを判定してもよい(ステップ415)。例えば、図2A及び図2Bを例として使用すると、カメラが図2Aに従って第1の視点パラメータ(例えば、魚眼レンズ、20度回転、周辺歪み)を提供するものとして識別された時点で、特定の視点パラメータを有する視界を利用/予期する処理アプリケーション(例えば、車線追跡アプリケーション)が識別される。データベース/ルックアップテーブルに保存された対応に基づいて、識別されたカメラの生の出力画像を処理アプリケーションの予期される視点パラメータに変換するための仮想化パラメータが識別され、ECU10に提供されてもよい。
【0069】
識別されたカメラ15及び処理アプリケーションに関連する変換情報の識別に続いて、画像データ(即ち、カメラ15の生の出力)は、変換情報をカメラ15から出力された画像データに適用することによって(例えば、図2Bに示すように)仮想化された視点に変換されてもよい(ステップ425)。
【0070】
当業者は、変換情報のカメラ出力画像データへの適用が充分に理解されており、詳細に説明する必要がないことを理解するであろう。しかし、例の目的のために、例えば、第1の視点パラメータが30度の回転パラメータを含む場合、変換情報は、例えば、-30度又は390度の回転が出力画像データに適用されて、仮想視点をもたらすことを示し得ることに留意されたい。そのような変換の一例が、図2A及び図2B並びに表1~表8に関連する説明に関して上記で見ることができる。
【0071】
いくつかの実施形態によれば、ルックアップテーブル80内の追加の変換情報には、以前に処理された画像の投影モデルを、処理アプリケーション90が予測した別の投影モデルに変換するための変換情報が含まれてもよい。例えば、直線円筒図法の投影モデルを有する画像が受信されたが、処理アプリケーション90が正投影モデルを予期する場合(例えば、鳥瞰図法検出アプリケーションの場合)、ルックアップテーブル80には、上記で考察したように、他の変換の中でも、直線円筒図法モデルから正投影モデルへ変換するように構成された変換情報が含まれてもよい。言い換えれば、画像がカメラによって直接提供されなかった場合(例えば、ソフトウェア処理中のどこかで、画像が変換され、その後、その変換された形式で提供された場合)でも、画像は、その現在の投影から所望の投影モデルにさらに変換されてもよい。
【0072】
同じように、カメラから直接送られるピンホール、魚眼などの投影モデルを有する画像が受信されるが、処理アプリケーション90が正投影を予期する場合、ルックアップテーブル80は、所望の変換を実施するための変換情報を提供してもよい。
【0073】
いくつかの例によるそのような変換情報、回転ベクトルは、直線状の画像情報に適用されて、直線状の円筒形の「正規化された」画像をもたらすように構成されてもよい。
【0074】
画像データへの変換情報の適用によって仮想視点が達成された時点で、仮想視点は、処理及び最終的な制御操作のために処理アプリケーションに提供されてもよい(ステップ430)。例えば、図2Bの仮想視点が考慮される場合、ECU10は、センサ20からの入力を評価し、例えば、システムコントローラ32を使用して、識別された車線210内に車両を維持するために、さまざまな操縦制御の操作を引き起こしてもよい。当業者は、例えば、加速器、ブレーキなどの他の制御がこのほか、車両の移動の変更を引き起こすためのECU10からのコマンドの結果として、システムコントローラ32によって操作され得ることを認識するであろう。
【0075】
本開示の実施形態に基づいて、複数の車両設計にわたって処理アプリケーションを実装することが可能になり、車両設計は、さまざまな場所に設置されたさまざまな画像取込手段を有し、車両の周囲のさまざまな生画像データ視界を提供する。これは、少なくとも、生画像データ視界の第1の視点パラメータが、任意の車両、任意の設置位置及び任意のタイプのカメラから、処理アプリケーションが予期する特性パラメータを有する仮想視点に変換され得るという理由によるものである。このため、車両の設計及びカメラの配置ごとに処理アプリケーション90を再開発する必要がなくなる。
【0076】
特許請求の範囲を含む説明全体を通して、「1つの~を含む」という用語は、特に明記しない限り、「少なくとも1つの~を含む」と同義であると理解されたい。さらに、特許請求の範囲を含む、説明に記載されている任意の範囲は、特に明記しない限り、その最終値を含むものとして理解されたい。記載された要素の特定の値は、当業者に既知の認められた製造上の許容範囲内又は業界の許容範囲内であると理解されたい。「実質的に」及び/又は「ほぼ」及び/又は「概ね」という用語の使用は、そのような許容範囲内に収まることを意味すると理解されたい。
【0077】
国内標準化団体、国際標準化団体又はその他の標準化団体の基準(例えば、ISO)が参照されている場合、そのような参照は、本明細書の優先日時点で国内標準化団体又は国際標準化団体によって規定されている基準を参照することを目的とするものである。そのような基準に対するその後の実質的な変更はいずれも、本開示及び/又は特許請求の範囲及び/又は規定を変更することを意図するものではない。
【0078】
本明細書の本開示を、特定の実施形態を参照して説明してきたが、このような実施形態は、本開示の原理及び用途の単なる例示であることを理解されたい。
【0079】
本明細書及び実施例は例示としてのみ考慮されることが意図されており、本開示の真の範囲は以下の特許請求の範囲によって示されている。
図1
図2A
図2B
図3A
図3B
図4
【手続補正書】
【提出日】2021-12-16
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0073
【補正方法】変更
【補正の内容】
【0073】
いくつかの例によるそのような変換情報は、直線状の画像情報に適用されて、直線状の円筒形の「正規化された」画像をもたらすように構成された回転ベクトルを含んでもよい。
【国際調査報告】