特許 7316620 画像正規化のためのシステムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-20

(45)【発行日】2023-07-28

(54)【発明の名称】画像正規化のためのシステムと方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20230721BHJP

   G06T 1/00 20060101ALI20230721BHJP

   G08G 1/16 20060101ALI20230721BHJP

【ＦＩ】

G06T3/00 720

G06T1/00 330Z

G08G1/16 C

【請求項の数】 13

(21)【出願番号】P 2021547530

(86)(22)【出願日】2019-02-15

(65)【公表番号】

(43)【公表日】2022-04-20

(86)【国際出願番号】 EP2019053885

(87)【国際公開番号】W WO2020164744

(87)【国際公開日】2020-08-20

【審査請求日】2021-12-16

(73)【特許権者】

【識別番号】511312997

【氏名又は名称】トヨタ モーター ヨーロッパ

(73)【特許権者】

【識別番号】512278191

【氏名又は名称】カトリーケ ユニベルシテイト ルーベン

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】田村 一樹

(72)【発明者】

【氏名】清水 宏明

(72)【発明者】

【氏名】マルク プロースマンス

(72)【発明者】

【氏名】フランク フェルビースト

(72)【発明者】

【氏名】ルク ファン ホール

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１７－２０８６９０（ＪＰ，Ａ）

【文献】特表２０１８－５３３０９８（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１７４１１（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１２２５５２（ＷＯ，Ａ１）

【文献】特開２００９－２８８８８５（ＪＰ，Ａ）

【文献】特表２０１７－５１３４３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の仮想画像視界を生成するためのシステムであって、
前記車両に近接した画像データを取り込むように構成された、異なるタイプのカメラが含まれる複数の画像取込手段であって、前記画像データは、第１の視点パラメータによって少なくとも部分的に規定され、前記複数の画像取込手段は、前記複数の画像取込手段のそれぞれを識別する識別子を提供するように構成される、複数の画像取込手段と、
仮想化された視点及び複数の画像取込手段に関連する変換情報を含む複数の仮想化記録を保存するように構成された記憶手段と、
処理手段であって、
前記取り込まれた画像データを受信し、
前記取り込まれた画像データの前記第１の視点パラメータを、前記記憶手段によって保存された仮想化記録に関連付けられた前記変換情報に基づいて、仮想視点パラメータに変換して、前記仮想画像視界をもたらし、前記仮想化記録は前記識別子に少なくとも基づいて識別され、
前記仮想画像視界に基づいて、少なくとも１つの運転支援及び／又は自動運転機能を実行する、ように構成された、処理手段と、
を具備し、
前記変換情報は、識別された画像取込手段のための較正パラメータを含み、前記処理手段は、前記複数の画像取込手段のそれぞれのための前記較正パラメータを検証するように構成される、
車両の仮想画像視界を生成するためのシステム。

【請求項2】

前記変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも１つを含む、請求項１に記載の車両の仮想画像視界を生成するためのシステム。

【請求項3】

仮想化された各視点は、
視点パラメータであって、解像度及び視野のうちの少なくとも１つと、ピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも１つと、を含む視点パラメータを有する、請求項１～２のいずれか１項に記載の仮想画像視界を生成するためのシステム。

【請求項4】

前記記憶手段は、仮想画像視界に結合された処理アプリケーションを識別するための手段を具備する、請求項１～３のいずれか１項に記載の仮想画像視界を生成するためのシステム。

【請求項5】

前記記憶手段は、前記処理アプリケーションが必要とする前記仮想画像視界を生成するための変換情報にカメラ識別子を結合するルックアップテーブルを具備する、請求項４に記載の仮想画像視界を生成するためのシステム。

【請求項6】

前記処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも１つを含む、請求項５に記載の仮想画像視界を生成するためのシステム。

【請求項7】

請求項１～６のいずれか１項に記載のシステムを含む車両。

【請求項8】

車両の仮想画像視界を生成するための方法であって、
前記車両の周囲から、異なるタイプのカメラが含まれる複数の画像取込手段によって取り込まれた画像データを受信することであって、前記画像データは、第１の視点パラメータによって少なくとも部分的に規定される、ことと、
画像データを提供する前記複数の画像取込手段を識別する識別子を受信することと、
仮想化された視点及び複数の画像取込手段に関連する変換情報を含む仮想化記録を判定することであって、前記仮想化記録は、前記識別子に少なくとも基づいて判定される、ことと、
前記取り込まれた画像データの前記第１の視点パラメータを、前記判定された仮想化記録に関連付けられた前記変換情報に基づいて仮想視点パラメータに変換して、前記仮想画像視界をもたらすことと、
前記仮想画像視界に基づいて、少なくとも１つの運転支援及び／又は自動運転機能を実行することと、
を含み、
前記変換情報は、識別された画像取込手段のための較正パラメータを含み、前記方法は、前記複数の画像取込手段のそれぞれのための較正パラメータを検証することをさらに含む、
車両の仮想画像視界を生成するための方法。

【請求項9】

前記変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも１つを含む、請求項８に記載の車両の仮想画像視界を生成するための方法。

【請求項10】

仮想化された各視点は、
視点パラメータであって、解像度及び視野のうちの少なくとも１つと、ピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも１つと、を含む視点パラメータを有する、請求項８～９のいずれか１項に記載の仮想画像視界を生成するための方法。

【請求項11】

前記判定することは、仮想画像視界に結合された処理アプリケーションを識別することを含む、請求項８～１０のいずれか１項に記載の仮想画像視界を生成するための方法。

【請求項12】

前記判定することは、ルックアップテーブルを検索することを含み、前記ルックアップテーブルは、前記処理アプリケーションが必要とする前記仮想画像視界を生成するための変換情報にカメラ識別子を結合する情報を含む、請求項１１に記載の仮想画像視界を生成するための方法。

【請求項13】

前記処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも１つを含む、請求項１２に記載の仮想画像視界を生成するための方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自動車の運転者支援のためのシステム及び方法、さらに具体的には、設置された車両カメラから取得された１つ又は複数の画像の仮想化に関する。

【背景技術】

【0002】

近年、１つ又は複数のカメラを搭載した車両が一般的になっている。このようなカメラは、視覚的フィードバック、駐車支援、衝突回避、交通誘導などのさまざまな理由で導入され、自律運転及び自動運転支援の重要な入力様式になっている。

【0003】

このようなカメラは、例えば、ピンホールレンズモデル及び魚眼レンズモデルによって説明されるさまざまな特性（例えば、光学特性）のほか、特定の車両へのさまざまな設置場所を概ね提示する。

【0004】

自動車又は自動化の用途に対して設計され開発されたソフトウェアでは、典型的には、車両に取り付けられた１つ又は複数のカメラに対して想定される所定の視点からの画像を予期しており、１つ又は複数のカメラによって提供される視点が想定仕様範囲外のものである場合、性能が低下するか、停止することもある。

【0005】

一部の既存のシステムには、認識の精度と堅牢性を向上させるためにカメラ装置が実装される。車両の製造業者は、前面に取り付けられたカメラ装置と、車両の運転状態に関連するデータと信号を組み合わせるため手段とを使用している。さらにまた、画像信号をナビゲーション装置出力と組み合わせるための手段も実装されている。

【0006】

米国特許出願公開第２０１６／３６０１０４号は、魚眼カメラから複合視界を生成するためのシステム及び方法を開示する。

【発明の概要】

【0007】

本発明者らは、複数の車両モデルの大量生産の場合、特定の異なる車両タイプごとのカメラ設定での視野角に差があると、配置が異なるため、多くの問題が生じることを認識している。これにより、製造工程中の取り付けの制約及び／又は制限のために、視点の差も生じる可能性がある。

【0008】

このような問題が処理システムに及ぼす影響は、従来のカメラ設定（例えば、ピンホール）では複雑になる可能性があるが、魚眼カメラではさらに大きくなる可能性がある。

【0009】

本開示の実施形態によれば、車両の仮想画像視界を生成するためのシステムが提供される。システムは、車両の近くで画像データを取り込むように構成された１つ又は複数の画像取込手段であって、画像データは、少なくとも部分的に第１の視点パラメータによって規定され、１つ又は複数の画像取込手段は、１つ又は複数の画像取込手段のそれぞれを識別する識別子を提供するように構成された、画像取込手段と、仮想化された視点及び複数の画像取込手段に関連する変換情報を含む複数の仮想化記録を保存するように構成された記憶手段と、処理手段と、を備える。処理手段は、取り込まれた画像データを受信し、記憶手段によって保存された仮想化記録に関連する変換情報に基づいて、取り込まれた画像データの第１の視点パラメータを仮想視点パラメータに変換し、仮想画像視界をもたらすように構成される。ここで、仮想化記録は、少なくとも識別子に基づいて識別される。処理手段は、仮想画像視界に基づいて少なくとも１つの運転者支援及び／又は自動運転機能を実施するように構成される。

【0010】

そのようなシステムを提供することにより、車両を取り囲む１つ又は複数の取り込まれた画像及び／又は光景に関連するデータを仮想化し、特定の処理アプリケーションが所望する視界に正規化してもよい。例えば、魚眼カメラが第１の車両モデルの側面に提供され、ピンホールカメラが第２の車両モデルの側面に提供される場合、第１及び第２の車両の両方に設置された単一の処理アプリケーションが、カメラの種類、カメラの設置角度、カメラの場所などの違いにもかかわらず、ほぼ同一の仮想化視界を受信する可能性がある。このため、１つの処理アプリケーションを大量生産されたモデルの車両全体に実装する可能性がある。

【0011】

さらに、カメラ間に固体差が存在する可能性があるため、このような差は、視点パラメータの仮想化によって、処理アプリケーションにとって事実上識別することができないようになる可能性がある。

【0012】

変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも１つを含む場合がある。

【0013】

仮想化された各視点は、解像度及び視野のうちの少なくとも１つ並びにピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも１つによって規定される場合がある。

【0014】

記憶手段は、仮想画像視界に結合された処理アプリケーションを識別するための手段を含む場合がある。

【0015】

記憶手段は、処理アプリケーションが必要とする仮想画像視界の生成のための変換情報を有するカメラ識別子と結合するルックアップテーブルを含む場合がある。

【0016】

変換情報は、識別された画像取込手段の較正パラメータを含み、処理手段は、１つ又は複数の画像取込手段のそれぞれのための較正パラメータを検証するように構成される場合がある。

【0017】

処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも１つを含む場合がある。

【0018】

別の実施形態によれば、上記のシステムを備える車両が提供される。

【0019】

さらに別の実施形態によれば、車両の仮想画像視界を生成するための方法が提供される。この方法は、少なくとも１つの画像取込手段によって車両の周囲から取り込まれた画像データを受信することであって、画像データは、第１の視点パラメータによって少なくとも部分的に規定される、ことと、画像データを提供する１つ又は複数の画像取込手段を識別する識別子を受信することと、仮想化された視点及び複数の画像取込手段に関連する変換情報を含む仮想化記録を判定することであって、仮想化記録は、少なくとも識別子に基づいて判定される、ことと、取り込まれた画像データの第１の視点パラメータを、判定された仮想化記録に関連付けられた変換情報に基づいて仮想視点パラメータに変換して、仮想画像視界がもたらされることと、仮想画像視界に基づいて少なくとも１つの運転者支援及び／又は自動運転機能を実施することと、を含む。

【0020】

変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも１つを含む場合がある。

【0021】

仮想化された各視点は、解像度及び視野のうちの少なくとも１つ並びにピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも１つによって規定される場合がある。

【0022】

判定することは、仮想画像視界に結合された処理アプリケーションを識別することを含む場合がある。

【0023】

判定することは、ルックアップテーブルを検索することであって、ルックアップテーブルは、処理アプリケーションが必要とする仮想画像視界の生成のために、カメラ識別子を変換情報と結合する情報を含む、ことを含む場合がある。

【0024】

変換情報は、識別された画像取込手段のための較正パラメータを含む場合がある。この方法は、１つ又は複数の画像取込手段のそれぞれのための較正パラメータを検証することをさらに含む。

【0025】

処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも１つを含む場合がある。

【0026】

上記の要素と明細書内の要素との組み合わせが、他の点で矛盾する場合を除いて、実施され得ることが意図されている。

【0027】

前述の一般的な説明及び以下の詳細な説明の両方は、例示的かつ説明的なものにすぎず、特許請求しているように、開示を限定するものではないことを理解されたい。

【0028】

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の実施形態を図示し、記載とともに、その原理を説明するのに役立つ。

【図面の簡単な説明】

【0029】

【図1】本開示の実施形態による、車両の例示的な画像仮想化システムの概略図である。

【図2A】車両に設置された第１のカメラから取り込まれた例示的な画像を示す図である。

【図2B】本開示の実施形態に従って正規化された取込画像を示す図である。

【図3A】１つ又は複数のカメラ設定及び関連データに関連する情報の論理的グループ化を示す図である。

【図3B】変換情報及び処理アプリケーションに関連する例示的なデータ図を示す図である。

【図4】本開示の実施形態による例示的な処理方法を強調するフローチャートである。

【発明を実施するための形態】

【0030】

ここで、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、同一又は類似の部品を参照するために、図面全体で同じ参照番号を使用する。

【0031】

図１は、車両の例示的な画像正規化システムの概略図を示す。運転支援システム１は、とりわけ、電子制御ユニット（ＥＣＵ）１０、１つ又は複数のカメラ１５、１つ又は複数のセンサ２０、システムコントローラ３２及びディスプレイ２５などの処理手段を含んでもよい。

【0032】

このほか、位置提供手段に対応する全地球測位システム（ＧＰＳ）１７が、車両の場所に関する地図データ（例えば、座標などの位置情報）と、車両の近くの特徴（例えば、規制表示器、信号機、出口車線など）に関する特徴情報と、を提供するために提供される。

【0033】

画像取込手段１５は、例えば、車両の周囲の領域（例えば、車両の前部、側部及び後部）から光学データを取得するように構成された１つ又は複数のカメラ及び／又は他の適切な装置を含んでもよい。画像取込手段１５は、車両の周囲から取得された光学データを処理し、データを送信する信号を出力するように構成されてもよい。そのような画像取込手段１５は当技術分野では既知であり、当業者は、そのような画像取込手段１５のいずれかが本開示の範囲から逸脱することなく本システムに実装され得ることを理解するであろう。例えば、画像取込手段１５は、ピンホールカメラ、魚眼カメラ、円筒形カメラ、球形カメラなどを含んでもよい。

【0034】

画像取込手段１５は、車両の周囲の十分な視野４（例えば、車両の周囲３６０度までを覆う正面視界及び側面視界）を提供するように、車両上のさまざまな位置に配置されてもよい。例えば、１つ又は複数の画像取込手段１５は、現在運転している高速道路上に存在する他の車両を含む、周囲の物体の視野４を提供するように、フロントガラスの背後、フロントバンパー、サイドミラー、バックミラー、後部ウィンドウ、後部バンパー及び／又は車両上の任意の他の適切な取り付け場所に配置されてもよい。

【0035】

いくつかの実施形態によれば、美的理由から、車両上の画像取込手段１５の可視性を最小化することが望ましい場合があり、当業者は、車両を取り囲む十分な視野を提供しながら、この目標を達成するのに適した取り付け位置を見つけることが、合理的な考慮事項であることを理解するであろう。さらに、当業者は、車両の設計に応じて、画像取込手段１５の配置がモデル間で異なり、各画像取込手段１５の配置に応じて、出力データが、例えば、回転、歪み、屈折などの異なる初期パラメータを有し得ることを認識するであろう。

【0036】

本明細書で使用する視野に言及するときの「十分な」という用語は、自律的運転シナリオでの画像取込手段１５の視野内の物体をはじめとする特徴（例えば、車線２１０、車両２５０、道路状態２００など）の存在に応答するのに十分な時間をＥＵＣ１０に提供するのに十分に大きい距離にて画像データを提供する能力を、画像取込手段１５に提供する視野を意味するものとする。例えば、車両の右又は左への「十分な」視野には、車両のすぐ隣の車線又は車両から離れた２つ以上の車線と、そのような車線を移動する任意の他の車両／そのような車線に属する車線マーカーとの視界が含まれるであろう。

【0037】

画像取込手段１５は、ＥＣＵ１０による画像取込手段１５の識別を可能にする識別子に加えて、車両の周囲に関するデータをＥＣＵ１０に提供するように構成されてもよい。画像取込手段１５は、有線接続、無線接続、あるいはデータをＥＣＵ１０に転送するための他の適切な方法を介して、そのようなデータをＥＣＵ１０に提供してもよい。例えば、画像取込手段１５は、ＥＵＣ１０及び／又は画像取込手段１５からのデータを使用し得る他の装置にデータを送信するための無線通信手段（例えば、ＩＥＥＥ ８０２．１１準拠のＷｉ-Ｆｉハードウェア、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を含んでもよい。

【0038】

これとは別に、あるいはこれに加えて、例えば、安全目的のために、有線接続が提供されてもよい。そのような有線接続は、例えば、干渉又はトランシーバの異常のために無線接続が機能しなくなった場合にフェイルセーフを提供するために提供されてもよい。

【0039】

画像取込手段１５の識別子には、例えば、１つ又は複数の数字、番号及び／又は文字が含まれてもよい。識別子は、例えば、画像取込手段に固有のものであってもよい。これとは別に、識別子が、さらに一般的には、カメラの位置及びタイプを識別するのに役立ってもよい。例えば、識別子の１つ又は複数の数字が、カメラのタイプ（例えば、魚眼、円筒形など）を示し／対応してもよく、一方、１つ又は複数の数字が、車両上の設置場所及び／又はカメラが設置される車両モデルを示してもよい。当業者は、識別子のためにさまざまな構想が実施されてもよく、そのような構想はいずれも本開示の範囲内に入ることが意図されていることを理解するであろう。

【0040】

上記のように、車両に設置された／取り付けられたさまざまな画像取込手段１５は、タイプ及び設置位置だけでなく、例えば、回転、解像度、歪み、投影モデル、視野などのさまざまな視点パラメータによっても変化してもよい。このため、各画像取込手段１５の視点パラメータが、表に保存され、例えば、識別子によって参照されてもよい。例えば、特定の画像取込手段１５が、１０２４×７６８ピクセルの解像度で画像データを取り込むのに対し、他の画像取込手段が、フル１０８０ｐ（即ち、１９００×１０８０ピクセル）で取り込んでもよい。処理アプリケーションでは、８００×６００ピクセルの画像解像度が予期される場合がある。このため、各画像取込手段１５の各データセットを、その特定の処理アプリケーションのために８００×６００の解像度に変換し得ることが望ましい。

【0041】

図２Ａ及び図２Ｂはそれぞれ、車両に設置された第１のカメラから取り込まれた例示的な画像及び本開示の実施形態に従って正規化された取込画像を示す。図３Ａ及び図３Ｂは、１つ又は複数のカメラ設定及び関連データ（例えば、視点パラメータ）に関連する情報の論理的グループ化並びに本開示の実施形態による変換情報及び処理アプリケーションに関連する例示的なデータ図を強調する。

【0042】

図示のように、多数のカメラ設定１６_1~１６_iが、任意の特定の車両モデルに存在するほか、車両モデル間で変化してもよい。このため、表８０が、カメラ設定／識別子１６をその固有の視点パラメータと結合し、続いて、そのようなカメラ設定１６_xの変換パラメータを処理アプリケーション９０と結合するために提供されてもよく、それにより、処理アプリケーションが予期する視点パラメータへの画像取込手段１５の画像出力データの変換を可能にする。

【0043】

例えば、図２Ａに示すように、設置された画像取込手段が、例えば、回転及び（例えば、魚眼レンズによって引き起こされる）レンズ歪みを含む第１の視点パラメータを有する「非仮想化」視界を出力する。物体又は車線検出アプリケーションが、画像取込手段からの視界を要求してもよい。このため、ＥＣＵ１０は、アプリケーションに基づいて、画像取込手段の識別子に基づいてルックアップテーブルを確認してもよい。

【0044】

カメラのための識別子に基づいて、第１の視点パラメータ及びカメラ設定１６を採用すると、第１の視点パラメータを仮想視点パラメータに変換するための変換情報をデータベースから取得してもよい。そのような変換情報は、例えば、図２Ｂに示す仮想化された視界をもたらす代償的な回転及び歪みの値を示してもよい。次に、この仮想化された視界は、物体検出アプリケーションによって、所望の目的に対して使用することができる。

【0045】

図２Ａ及び図２Ｂに示す例によれば、図２Ａの画像データ（例えば、魚眼投影モデル）のための第１の視点パラメータは、以下の４つの表によって規定されてもよい。

【表1】

【表2】

【表3】

【表4】

【0046】

次に、上記の第１の視点パラメータは、本開示の実施形態によれば、例えば、物体検出を容易にするために、直線状の円筒形の仮想視点パラメータに（図２Ｂに示すように）変換されてもよい。仮想視点パラメータ仮想化画像への変換は、処理アプリケーション９０及びカメラ識別子に基づくルックアップテーブル８０からの変換情報を使用して実施されてもよい。結果として生じる変換された仮想視点パラメータを、次の４つの表に示す。

【表5】

【表6】

【表7】

【表8】

上記の表をさらに説明するために、ピンホールカメラが、車両に取り付けられた元来の投影モデルカメラであると仮定する。ピンホールカメラモデルの場合、光景内の３Ｄ点Ｍを、式（１）のように画像内のその投影ｍに関連付けることができる。

【数1】

ここで、
Ｍ＝（Ｘ Ｙ Ｚ）Ｔは光景の３Ｄ点Ｍ、ｍ＝（ｘ ｙ）Ｔはカメラ画像でのその投影であり、数2はゼロ以外のスカラー倍までの等式を表す。

【数2】

Ｋは３×３較正行列、Ｒはカメラの向きを表す３×３回転行列、ｔはカメラの位置を表す並進ベクトルｔ＝（ｔｘ ｔｙ ｔｚ）Ｔである。

この実施形態では、アスペクト比が１であり、スキューが０であると仮定する場合がある。
較正行列Ｋは、式（２）（数３）のように表すことができる。

【数3】

ここで、ｆは焦点距離（ピクセル単位）、ｐ＝（ｐ_x ｐ_y）Ｔはカメラの主点である。点Ｍに対応するがカメラに取り付けられた座標フレーム（カメラ座標フレーム）にて表される点Ｑ＝Ｒ^T（Ｍ-ｔ）を考慮する。ｑは点Ｑ，数４の「正規化された」投影である。

【数4】

次に、

【数5】

魚眼カメラの場合、画像投影は、正規化された座標ではなく角度で定式化される。

【数6】

カメラモデルに径方向歪みを導入するには、式（３）を式（４）のように書き直してもよい。

【数7】

歪み関数Ｄ（）は、正規化された投影を、画像座標に変換する前に径方向に移動させる。

【数8】

ここで、k₁、ｋ₂、ｋ₃ …は、カメラの画像の径方向の歪みを規定するパラメータである。この特定の例では、上記の最初の３つの表には、径方向歪みを説明する３つのパラメータが含まれているが、定式化は３つのパラメータに限定されないことに留意されたい。

仮想カメラの場合、モデル投影は、はるかに単純になるように選択することができ（例えば、径方向歪みが排除される）、所与のコンピュータ視覚アルゴリズムに対して、いっそう直感的な画像表現を規定することができる。上記の次の３つの表では、データは、例示的な正距円筒図法モデルによって使用される。式（３）が適用される。ここで、ｑは次のように規定される。

【数9】

【0047】

いくつかの実施形態によれば、第１の視点パラメータ及び出力画像データは、関連する画像取込手段１５の較正が正しいかどうかに関する判定を容易にしてもよい。

【0048】

例えば、較正を、車両の周囲構造の事前に知られている情報、例えば、１）形状及び／又は輪郭と、２）周囲の光景に関する情報（例えば、道路構造、平行線、地図情報）とに基づいて、単一の画像を使用して確認してもよい。このため、画像データ出力の投影制約は、第１の視点パラメータ（即ち、カメラ１５が提供すると予期されるもの）と比較されて、実際のデータ及びパラメータが対応するかどうか、それによりカメラ１５が較正されるかどうかを判定することができる。

【0049】

これとは別に、あるいはこれに加えて、一連の画像にわたる特徴追跡がこのほか、動作からの構造の文脈での３次元構造に関する情報を与えることができる。このような３次元構造を使用して、上記とほぼ同じ方法で較正を確認することができる。

【0050】

別の例によれば、車両には、典型的には、複数の画像取込手段１５（例えば、２つ、４つ、６つ、８つのカメラなど）が設置されているため、さまざまな画像取込手段１５間の任意の重複を、周囲の３Ｄ構造を確認するための（上記のように、ＳｆＭを使用した）特徴対応追跡及び／又は三角測量の観点から、さらに利用することができる。このため、較正は、重複するカメラ視界にわたる実際のパラメータと比較された、予期される第１の視点パラメータに基づいて確認することができる。

【0051】

いくつかの実施形態によれば、画像取込手段１５から仮想画像視界を生成するためのシステムは、画像取込手段１５及びその関連する出力画像データが正しく較正されていると仮定してもよい。このため、自動較正確認が実施されなくてもよく、画像データは、本明細書に記載の技術に従って仮想化／正規化される。

【0052】

１つ又は複数のセンサ２０が、車両の状態に関連する状態情報をＥＣＵ１０に送信するように構成されてもよい。例えば、車両の状態には、車両が走行している速度、車両が走行している方向、車両の方向の進行中の変化及び／又は車両の方向の完了した変化、ハンドルの位置、車両の走行距離などが含まれてもよい。

【0053】

このため、１つ又は複数のセンサ２０には、例えば、とりわけ、ハンドル位置センサ、車速センサ、ヨーレートセンサが含まれてもよい。そのようなセンサは、画像取込手段１５と同じように、そのような状態情報を無線及び／又は有線でＥＣＵ１０に提供するように構成されてもよく、さらに持続時間情報を含んでもよい。状態情報に関連する持続時間情報は、ＥＣＵ１０によって追跡されてもよい。

【0054】

ＥＣＵ１０は、本開示の実施形態を実施するために、データを操作し、計算を実施し、意思決定のためのコードを実行し、車両の操作者に情報を表示させたり、及び／又はシステムコントローラ３２の制御が１つ又は複数のシステム（例えば、車両の操縦、制動など）にて実施されたりするように構成された任意の適切な装置を含んでもよい。例えば、ＥＣＵ１０には、さまざまなアナログ回路及び／又はデジタル回路が含まれてもよく、ＲＩＳＣプロセッサ、ｉ３８６プロセッサ、ＡＳＩＣプロセッサなどのような集積回路が含まれてもよい。典型的には、現代の車両の搭載コンピュータがそのようなプロセッサを含んでもよく、当業者は、現在のＥＣＵ１０がそのような搭載コンピュータによって構成されても、別個に提供されてもよいことを理解するであろう。当業者はこのほか、本明細書に記載の例示的な回路及びプロセッサが限定することを意図したものではなく、任意の適切な装置を実装し得ることを理解するであろう。

【0055】

ＥＣＵ１０は、オブジェクトの検出及び認識など、車両機能（例えば、視点パラメータ変換テーブル、処理アプリケーション、カメラ識別子など）の処理中に利用され得る車両関連データのほか、数値の保存を可能にするために、車両に関連する１つ又は複数のデータベース及び／又は他のメモリ（例えば、ＲＡＭ、ＲＯＭなど）に結合されてもよい。当業者は、任意のそのようなデータベース及び／又はメモリに関して本明細書で考察された情報が、限定することを意図するものではないことを認識するであろう。

【0056】

ＥＣＵ１０は、本開示に関連する機能を提供するために、画像取込手段１５からデータを受信するように構成されてもよい。例えば、ＥＣＵ１０は、１つ又は複数の画像取込手段１５及び１つ又は複数のセンサから同時に第１の視点パラメータを有する画像データ（例えば、ストリーミングデータ）を受信してもよい。

【0057】

ＥＣＵ１０は、ＧＰS１７からデータを受信するようにさらに構成されてもよい。データには、車両の場所に近接する特徴に関連する位置情報及び地図情報が含まれる。位置情報には、例えば、地図上の車両の位置の固定／判定を可能にするグローバル座標、車両が現在移動しているリンク（即ち、現在のリンク）及び可能性のある将来の移動経路（即ち、次のリンク）を示す現在及び次のリンク情報のほか、このような現在及び次のリンクに関する情報（例えば、とりわけ、アクセス制御された高速道路、市街地）などが含まれてもよい。

【0058】

地図情報に含まれる特徴には、例えば、車線２１０、出口車線、条件付き表示器（例えば、起動時間、禁止時間、気象条件、季節など）、地形などが含まれてもよい。当業者は、必要に応じて、これより多くの特徴又はこれより少ない特徴が地図情報に存在してもよく、詳細さの度合いは、とりわけ、例えば、地図情報提供者に依存することを認識するであろう。当業者は、ＧＰＳ１７がＥＣＵ１０の一部を形成しても、ＥＣＵ１０から分離されても、あるいはＧＰＳ１７とＥＣＵ１０との間の任意の組み合わせの度合いが本開示の範囲から逸脱することなく実施されてもよいことをさらに認識するであろう。

【0059】

ＥＣＵ１０は、１つ又は複数のインターフェース、例えば、ネットワークインターフェースに結合されてもよい。このようなインターフェースは、とりわけ、画像取込手段１５、ＧＰＳ１７、センサ２０によって提供されたデータ及び情報を無線及び／又は有線で受信するように構成されてもよい。さらに、ＧＰＳ１７は車両上に存在すると説明されているが、当業者は、車線２１０、出口車線などの特徴を含む特定の地図データが遠隔で保存され、例えば、４Ｇを介してＧＰＳ１７及び／又はＥＣＵ１０に送信されてもよく、その結果、最新の情報を利用することができることを理解するであろう。

【0060】

いくつかの実施形態によれば、車両が１つ又は複数のシステムコントローラ３２を備えてもよい。システムコントローラは、ＥＣＵ１０から情報及び／又はコマンドを受信し、そのようなコマンドを実行して、さまざまな車両システム（例えば、操縦、制動、アクセルなど）を制御するように構成されてもよい。そのような装置は、例えば、操縦システム、制動システム、加速システムなどを操作するために、車両の制御システム３２を能動的に操作するように構成されてもよい。

【0061】

そのような装置には、車両の１つ又は複数のシステム、例えば、ＥＣＵ１０から命令を受信し得る１つ又は複数のサーボモータ、アクチュエータなどが含まれてもよい。このような指示に基づいて、車両を、操作者、システム制御３２と組み合わせたＥＣＵ１０、あるいはその両方によって同時に制御してもよい（例えば、パニック停止状況での操縦及び制動補助を提供するシステムコントローラ３２）。

【0062】

ディスプレイ２５は、ＥＣＵ１０が車両の運転者に提供する情報を表示するように構成されてもよい。図２は、車両の運転者が興味を持ち得る情報を提供する例示的なディスプレイ２５を示す。図２に示すように、有効な制限速度が、ディスプレイ２５上で現在運転者に表示されている情報の１つである。

【0063】

ディスプレイ２５は、車両の運転者に可視情報及び／又は可聴情報を提供するための任意の適切な装置であってもよい。例えば、ディスプレイ２５には、（例えば、運転者の前のフロントガラス上の）ヘッドアップディスプレイ）、モニタ、ダッシュボード内ディスプレイなどが含まれてもよい。

【0064】

図４は、本開示の実施形態による例示的な処理方法を強調するフローチャート４００である。ＥＣＵ１０は、１つ又は複数の画像取込手段１５のほか、画像データを提供する画像取込手段１５に関連付けられた識別子から画像データを受信してもよい（ステップ４０５）。そのような画像データは、車両の周囲、例えば、車線２１０、道路状況２００及び他の車両２５０を含んでもよい。画像データは、動画、静止画又はハイブリッド形式の形態であってもよい。例えば、動画の１つ又は複数のフレームが、例えば、特定の交通光景が複雑になる場合に、定期的な静止写真と併せて提供されてもよい。

【0065】

ＥＣＵ１０は、画像データを受信すると、画像データを確認して、データ発信源の画像取込手段１５が適切に較正されているかどうかを判断することができる（ステップ４１５）。上記のように、そのような較正確認は任意選択であってもよく、いくつかの実施形態によれば、そのような較正確認は実施されることがなくてもよい。

【0066】

そのような較正確認が実施され、較正問題が存在する可能性があるとＥＣＵ１０が判定した場合（ステップ４１５：いいえ）、車両の操作者には、画像取込手段１５のうちの１つ又は複数に較正問題が存在することが（例えば、ディスプレイ２５を介して）通知されてもよい（ステップ４１５）。カメラ識別子に基づいて、画像取込手段１５のうちのいずれが較正問題を有しているかを操作者に示すことが可能であってもよく、このため、較正問題の修正／修復が容易になってもよい。

【0067】

いくつかの実施形態によれば、画像取込手段１５及び／又はＥＣＵ１０が、例えば、製造業者認定の修理施設での較正問題の診断及び修正を支援するためのインターフェース（例えば、ディスプレイ２５）を介した較正に関連する診断などに関する追加情報を提供することが可能であってもよい。

【0068】

較正の検証（実施される場合）に続いて、ＥＣＵ１０は、次に、画像データを提供する画像取込手段１５がステップ４０５で提供するカメラ識別子を使用して、関連する画像取込手段１５から送られる画像データの第１の視点パラメータ（即ち、初期設定出力パラメータ）のほか、仮想化されたセットに第１の視点パラメータを変換するための仮想化された視点パラメータを判定してもよい（ステップ４１５）。例えば、図２Ａ及び図２Ｂを例として使用すると、カメラが図２Ａに従って第１の視点パラメータ（例えば、魚眼レンズ、２０度回転、周辺歪み）を提供するものとして識別された時点で、特定の視点パラメータを有する視界を利用／予期する処理アプリケーション（例えば、車線追跡アプリケーション）が識別される。データベース／ルックアップテーブルに保存された対応に基づいて、識別されたカメラの生の出力画像を処理アプリケーションの予期される視点パラメータに変換するための仮想化パラメータが識別され、ＥＣＵ１０に提供されてもよい。

【0069】

識別されたカメラ１５及び処理アプリケーションに関連する変換情報の識別に続いて、画像データ（即ち、カメラ１５の生の出力）は、変換情報をカメラ１５から出力された画像データに適用することによって（例えば、図２Ｂに示すように）仮想化された視点に変換されてもよい（ステップ４２５）。

【0070】

当業者は、変換情報のカメラ出力画像データへの適用が充分に理解されており、詳細に説明する必要がないことを理解するであろう。しかし、例の目的のために、例えば、第１の視点パラメータが３０度の回転パラメータを含む場合、変換情報は、例えば、-３０度又は３９０度の回転が出力画像データに適用されて、仮想視点をもたらすことを示し得ることに留意されたい。そのような変換の一例が、図２Ａ及び図２Ｂ並びに表１～表８に関連する説明に関して上記で見ることができる。

【0071】

いくつかの実施形態によれば、ルックアップテーブル８０内の追加の変換情報には、以前に処理された画像の投影モデルを、処理アプリケーション９０が予測した別の投影モデルに変換するための変換情報が含まれてもよい。例えば、直線円筒図法の投影モデルを有する画像が受信されたが、処理アプリケーション９０が正投影モデルを予期する場合（例えば、鳥瞰図法検出アプリケーションの場合）、ルックアップテーブル８０には、上記で考察したように、他の変換の中でも、直線円筒図法モデルから正投影モデルへ変換するように構成された変換情報が含まれてもよい。言い換えれば、画像がカメラによって直接提供されなかった場合（例えば、ソフトウェア処理中のどこかで、画像が変換され、その後、その変換された形式で提供された場合）でも、画像は、その現在の投影から所望の投影モデルにさらに変換されてもよい。

【0072】

同じように、カメラから直接送られるピンホール、魚眼などの投影モデルを有する画像が受信されるが、処理アプリケーション９０が正投影を予期する場合、ルックアップテーブル８０は、所望の変換を実施するための変換情報を提供してもよい。

【0073】

いくつかの例によるそのような変換情報は、直線状の画像情報に適用されて、直線状の円筒形の「正規化された」画像をもたらすように構成された回転ベクトルを含んでもよい。

【0074】

画像データへの変換情報の適用によって仮想視点が達成された時点で、仮想視点は、処理及び最終的な制御操作のために処理アプリケーションに提供されてもよい（ステップ４３０）。例えば、図２Ｂの仮想視点が考慮される場合、ＥＣＵ１０は、センサ２０からの入力を評価し、例えば、システムコントローラ３２を使用して、識別された車線２１０内に車両を維持するために、さまざまな操縦制御の操作を引き起こしてもよい。当業者は、例えば、加速器、ブレーキなどの他の制御がこのほか、車両の移動の変更を引き起こすためのＥＣＵ１０からのコマンドの結果として、システムコントローラ３２によって操作され得ることを認識するであろう。

【0075】

本開示の実施形態に基づいて、複数の車両設計にわたって処理アプリケーションを実装することが可能になり、車両設計は、さまざまな場所に設置されたさまざまな画像取込手段を有し、車両の周囲のさまざまな生画像データ視界を提供する。これは、少なくとも、生画像データ視界の第１の視点パラメータが、任意の車両、任意の設置位置及び任意のタイプのカメラから、処理アプリケーションが予期する特性パラメータを有する仮想視点に変換され得るという理由によるものである。このため、車両の設計及びカメラの配置ごとに処理アプリケーション９０を再開発する必要がなくなる。

【0076】

特許請求の範囲を含む説明全体を通して、「１つの～を含む」という用語は、特に明記しない限り、「少なくとも１つの～を含む」と同義であると理解されたい。さらに、特許請求の範囲を含む、説明に記載されている任意の範囲は、特に明記しない限り、その最終値を含むものとして理解されたい。記載された要素の特定の値は、当業者に既知の認められた製造上の許容範囲内又は業界の許容範囲内であると理解されたい。「実質的に」及び／又は「ほぼ」及び／又は「概ね」という用語の使用は、そのような許容範囲内に収まることを意味すると理解されたい。

【0077】

国内標準化団体、国際標準化団体又はその他の標準化団体の基準（例えば、ＩＳＯ）が参照されている場合、そのような参照は、本明細書の優先日時点で国内標準化団体又は国際標準化団体によって規定されている基準を参照することを目的とするものである。そのような基準に対するその後の実質的な変更はいずれも、本開示及び／又は特許請求の範囲及び／又は規定を変更することを意図するものではない。

【0078】

本明細書の本開示を、特定の実施形態を参照して説明してきたが、このような実施形態は、本開示の原理及び用途の単なる例示であることを理解されたい。

【0079】

本明細書及び実施例は例示としてのみ考慮されることが意図されており、本開示の真の範囲は以下の特許請求の範囲によって示されている。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
車両の仮想画像視界を生成するためのシステムであって、
前記車両に近接した画像データを取り込むように構成された１つ又は複数の画像取込手段であって、前記画像データは、第１の視点パラメータによって少なくとも部分的に規定され、前記１つ又は複数の画像取込手段は、前記１つ又は複数の画像取込手段のそれぞれを識別する識別子を提供するように構成される、１つ又は複数の画像取込手段と、
仮想化された視点及び複数の画像取込手段に関連する変換情報を含む複数の仮想化記録を保存するように構成された記憶手段と、
処理手段であって、
前記取り込まれた画像データを受信し、
前記取り込まれた画像データの前記第１の視点パラメータを、前記記憶手段によって保存された仮想化記録に関連付けられた前記変換情報に基づいて、仮想視点パラメータに変換して、前記仮想画像視界をもたらし、前記仮想化記録は前記識別子に少なくとも基づいて識別され、
前記仮想画像視界に基づいて、少なくとも１つの運転支援及び／又は自動運転機能を実行する、ように構成された、処理手段と、
を具備する、車両の仮想画像視界を生成するためのシステム。
〔態様２〕
前記変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも１つを含む、態様１に記載の車両の仮想画像視界を生成するためのシステム。
〔態様３〕
仮想化された各視点が、解像度及び視野のうちの少なくとも１つと、
ピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも１つと、によって規定される、態様１～２のいずれか１態様に記載の仮想画像視界を生成するためのシステム。
〔態様４〕
前記記憶手段は、仮想画像視界に結合された処理アプリケーションを識別するための手段を具備する、態様１～３のいずれか１態様に記載の仮想画像視界を生成するためのシステム。
〔態様５〕
前記記憶手段は、前記処理アプリケーションが必要とする前記仮想画像視界を生成するための変換情報にカメラ識別子を結合するルックアップテーブルを具備する、態様４に記載の仮想画像視界を生成するためのシステム。
〔態様６〕
前記変換情報は、識別された画像取込手段のための較正パラメータを含み、前記処理手段は、前記１つ又は複数の画像取込手段のそれぞれのための前記較正パラメータを検証するように構成される、態様１～５のいずれか１態様に記載の仮想画像視界を生成するためのシステム。
〔態様７〕
前記処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも１つを含む、態様５～６のいずれか１態様に記載の仮想画像視界を生成するためのシステム。
〔態様８〕
態様１～７のいずれか１態様に記載のシステムを含む車両。
〔態様９〕
車両の仮想画像視界を生成するための方法であって、
前記車両の周囲から少なくとも１つの画像取込手段によって取り込まれた画像データを受信することであって、前記画像データは、第１の視点パラメータによって少なくとも部分的に規定される、ことと、
画像データを提供する１つ又は複数の画像取込手段を識別する識別子を受信することと、
仮想化された視点及び複数の画像取込手段に関連する変換情報を含む仮想化記録を判定することであって、前記仮想化記録は、前記識別子に少なくとも基づいて判定される、ことと、
前記取り込まれた画像データの前記第１の視点パラメータを、前記判定された仮想化記録に関連付けられた前記変換情報に基づいて仮想視点パラメータに変換して、前記仮想画像視界をもたらすことと、
前記仮想画像視界に基づいて、少なくとも１つの運転支援及び／又は自動運転機能を実行することと、
を含む、車両の仮想画像視界を生成するための方法。
〔態様１０〕
前記変換情報は、歪み補償情報、画像修正情報、画像屈折情報及び回転情報のうちの少なくとも１つを含む、態様９に記載の車両の仮想画像視界を生成するための方法。
〔態様１１〕
仮想化された各視点は、解像度及び視野のうちの少なくとも１つと、
ピンホールモデル、魚眼モデル、円筒形モデル、球形モデル及び直線モデルのうちの少なくとも１つと、によって規定される、態様９～１０のいずれか１態様に記載の仮想画像視界を生成するための方法。
〔態様１２〕
前記判定することは、仮想画像視界に結合された処理アプリケーションを識別することを含む、態様９～１１のいずれか１態様に記載の仮想画像視界を生成するための方法。
〔態様１３〕
前記判定することは、ルックアップテーブルを検索することを含み、前記ルックアップテーブルは、前記処理アプリケーションが必要とする前記仮想画像視界を生成するための変換情報にカメラ識別子を結合する情報を含む、態様１２に記載の仮想画像視界を生成するための方法。
〔態様１４〕
前記変換情報は、識別された画像取込手段のための較正パラメータを含み、前記方法は、前記１つ又は複数の画像取込手段のそれぞれのための較正パラメータを検証することをさらに含む、態様９～１４のいずれか１態様に記載の仮想画像視界を生成するための方法。
〔態様１５〕
前記処理アプリケーションは、物体検出及び追跡アプリケーション及び車線識別子アプリケーションのうちの少なくとも１つを含む、態様１３～１４のいずれか１態様に記載の仮想画像視界を生成するための方法。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】