IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社明電舎の特許一覧 ▶ 独立行政法人自動車技術総合機構の特許一覧 ▶ ITD Lab株式会社の特許一覧

特開2024-4926VRテストシステム及びVRテスト方法
<>
  • 特開-VRテストシステム及びVRテスト方法 図1
  • 特開-VRテストシステム及びVRテスト方法 図2
  • 特開-VRテストシステム及びVRテスト方法 図3
  • 特開-VRテストシステム及びVRテスト方法 図4
  • 特開-VRテストシステム及びVRテスト方法 図5
  • 特開-VRテストシステム及びVRテスト方法 図6
  • 特開-VRテストシステム及びVRテスト方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004926
(43)【公開日】2024-01-17
(54)【発明の名称】VRテストシステム及びVRテスト方法
(51)【国際特許分類】
   H04N 17/00 20060101AFI20240110BHJP
   H04N 13/246 20180101ALI20240110BHJP
   H04N 23/45 20230101ALI20240110BHJP
   H04N 23/55 20230101ALI20240110BHJP
   H04N 23/60 20230101ALI20240110BHJP
   G01M 17/007 20060101ALI20240110BHJP
   H04N 13/239 20180101ALI20240110BHJP
【FI】
H04N17/00 200
H04N13/246
H04N5/225 800
H04N5/225 400
H04N5/232 290
G01M17/007 K
H04N17/00 G
H04N13/239
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022104832
(22)【出願日】2022-06-29
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 集会名:2022年度精密工学会春季大会学術講演会、主催者名:公益社団法人 精密工学会、開催日:2022年3月17日、予稿集公開日:2022年3月2日。
(71)【出願人】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(71)【出願人】
【識別番号】317005022
【氏名又は名称】独立行政法人自動車技術総合機構
(71)【出願人】
【識別番号】517451951
【氏名又は名称】ITD Lab株式会社
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】高橋 利道
(72)【発明者】
【氏名】中川 正夫
(72)【発明者】
【氏名】實吉 敬二
【テーマコード(参考)】
5C061
5C122
【Fターム(参考)】
5C061AA01
5C061AB24
5C061BB02
5C061BB07
5C061CC01
5C122EA01
5C122EA31
5C122FA04
5C122FA18
5C122FB10
5C122FH06
5C122GE23
5C122HA88
5C122HB01
5C122HB05
5C122HB09
5C122HB10
(57)【要約】
【課題】ステレオカメラの撮影対象である左右画像に任意の視差を与えること。
【解決手段】センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置10と、左右画像の各々を表示する表示装置201と、表示装置201とともに暗室内に設置されたステレオカメラ202と、表示装置201とステレオカメラ202の間に配置されたコンバージョンレンズ203と、を備え、ステレオカメラ202は表示装置201に表示された左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立にコンバージョンレンズ203を通して撮影する左右カメラを有し、運転環境シミュレーション装置10は、画像処理部101を備え、画像処理部101は、等価的な画角を有するように互いに独立した左右画像を生成する、ステレオカメラ202のVRテストシステムとする。
【選択図】図1
【特許請求の範囲】
【請求項1】
センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置と、
前記左右画像の各々を表示する表示装置と、
前記表示装置とともに暗室内に設置されたステレオカメラと、
前記表示装置と前記ステレオカメラの間に配置されたコンバージョンレンズと、を備え、
前記ステレオカメラは前記表示装置に表示された前記左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立に前記コンバージョンレンズを通して撮影する左右カメラを有し、
前記運転環境シミュレーション装置は、画像処理部を備え、
前記画像処理部は、等価的な画角を有するように互いに独立した前記左右画像を生成する、ステレオカメラのVRテストシステム。
【請求項2】
前記センサモデルに仮想画角が用いられることで、前記左右画像が等価的な視差を有する、請求項1のVRテストシステム。
【請求項3】
前記左右画像は、前記表示装置上の画像座標から任意の等価的な視差を有するように生成される、請求項1のVRテストシステム。
【請求項4】
センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置と、
前記左右画像の各々を表示する表示装置と、
前記表示装置とともに暗室内に設置されたステレオカメラと、
前記表示装置と前記ステレオカメラの間に配置されたコンバージョンレンズと、を備え、
前記ステレオカメラは前記表示装置に表示された前記左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立に前記コンバージョンレンズを通して撮影する左右カメラを有し、
前記運転環境シミュレーション装置は、画像処理部を備え、
前記画像処理部は、等価的な画角を有するように互いに独立した前記左右画像を生成し、
さらに、前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出する逆歪み補正関数導出装置を備える、ステレオカメラのVRテストシステム。
【請求項5】
前記センサモデルに仮想画角が用いられることで、前記左右画像が等価的な視差を有する、請求項4のVRテストシステム。
【請求項6】
前記左右画像は、前記表示装置上の画像座標から任意の等価的な視差を有するように生成される、請求項4のVRテストシステム。
【請求項7】
センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置と、
前記左右画像の各々を表示する表示装置と、
前記表示装置とともに暗室内に設置されたステレオカメラと、
前記表示装置と前記ステレオカメラの間に配置されたコンバージョンレンズと、を備え、
前記ステレオカメラは前記表示装置に表示された前記左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立に前記コンバージョンレンズを通して撮影する左右カメラを有し、
前記運転環境シミュレーション装置は、画像処理部を備え、
前記画像処理部は、等価的な画角を有するように互いに独立した前記左右画像を生成し、
さらに、前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出する逆歪み補正関数導出装置を備え、
前記運転環境シミュレーション装置は、算出した逆歪み補正関数を用いて前記センサモデルの映像を補正する、ステレオカメラのVRテストシステム。
【請求項8】
前記センサモデルに仮想画角が用いられることで、前記左右画像が等価的な視差を有する、請求項7のVRテストシステム。
【請求項9】
前記左右画像は、前記表示装置上の画像座標から任意の等価的な視差を有するように生成される、請求項7のVRテストシステム。
【請求項10】
センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、
前記左右画像の各々を表示すること、
前記表示された前記左右画像のうち左画像をステレオカメラの左カメラを用いて、右画像を前記ステレオカメラの右カメラを用いて、左右独立にコンバージョンレンズを通して撮影すること、を含み、
前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法。
【請求項11】
センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、
前記左右画像の各々を表示すること、
前記表示された前記左右画像のうち左画像をステレオカメラの左カメラを用いて、右画像を前記ステレオカメラの右カメラを用いて、左右独立にコンバージョンレンズを通して撮影すること、
前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出すること、を含み、
前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法。
【請求項12】
センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、
前記左右画像の各々を表示すること、
前記表示された前記左右画像のうち左画像をステレオカメラの左カメラを用いて、右画像を前記ステレオカメラの右カメラを用いて、左右独立にコンバージョンレンズを通して撮影すること、
前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出すること、
算出した逆歪み補正関数を用いて前記センサモデルの映像を補正すること、を含み、
前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、VRテストシステム及びVRテスト方法に関する。
【背景技術】
【0002】
従来、台上試験機において、シミュレーション装置により表示された様々な運転環境の表示画面を自動運転車のカメラの撮影対象として、自動運転車の評価が行われている。
【0003】
従来技術の一例である特許文献1には、2つの単眼カメラで検出される所定方向の外部環境の情報に基づいて走行制御を行う車両を検査する車両検査システムが開示されている。
従来技術の一例である特許文献2には、一対の撮像素子を有する車載のステレオカメラ画像処理装置において、一対の撮像画像の差分に基づいて視差画像を生成する視差画像生成部に対して、診断用視差画像と予め設定されている基準視差画像とを比較して診断を行う画像処理装置が開示されている。
特許文献2では、表示側ではなく、計測側において処理が行われている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2020/059472号
【特許文献2】特許第6742423号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ステレオカメラは両眼立体視を行うため、左右画像の視差が重要である。
しかしながら、上記従来の技術では、任意の視差を与えた左右画像を表示させることができない。
【0006】
本発明は、上記に鑑みてなされたものであって、ステレオカメラの撮影対象である左右画像に任意の視差を与えることを目的とする。
【課題を解決するための手段】
【0007】
上述の課題を解決して目的を達成する本発明の一態様は、センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置と、前記左右画像の各々を表示する表示装置と、前記表示装置とともに暗室内に設置されたステレオカメラと、前記表示装置と前記ステレオカメラの間に配置されたコンバージョンレンズと、を備え、前記ステレオカメラは前記表示装置に表示された前記左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立に前記コンバージョンレンズを通して撮影する左右カメラを有し、前記運転環境シミュレーション装置は、画像処理部を備え、前記画像処理部は、等価的な画角を有するように互いに独立した前記左右画像を生成する、ステレオカメラのVRテストシステムである。
【0008】
本発明の一態様では、前記センサモデルに仮想画角が用いられることで、前記左右画像が等価的な視差を有する。
【0009】
本発明の一態様では、前記左右画像は、前記表示装置上の画像座標から任意の等価的な視差を有するように生成される。
【0010】
本発明の一態様では、センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置と、前記左右画像の各々を表示する表示装置と、前記表示装置とともに暗室内に設置されたステレオカメラと、前記表示装置と前記ステレオカメラの間に配置されたコンバージョンレンズと、を備え、前記ステレオカメラは前記表示装置に表示された前記左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立に前記コンバージョンレンズを通して撮影する左右カメラを有し、前記運転環境シミュレーション装置は、画像処理部を備え、前記画像処理部は、等価的な画角を有するように互いに独立した前記左右画像を生成し、さらに、前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出する逆歪み補正関数導出装置を備える、ステレオカメラのVRテストシステムである。
【0011】
本発明の一態様では、センサモデルの映像を互いに独立した左右画像として出力する運転環境シミュレーション装置と、前記左右画像の各々を表示する表示装置と、前記表示装置とともに暗室内に設置されたステレオカメラと、前記表示装置と前記ステレオカメラの間に配置されたコンバージョンレンズと、を備え、前記ステレオカメラは前記表示装置に表示された前記左右画像のうち左画像を左カメラにより、右画像を右カメラにより、左右独立に前記コンバージョンレンズを通して撮影する左右カメラを有し、前記運転環境シミュレーション装置は、画像処理部を備え、前記画像処理部は、等価的な画角を有するように互いに独立した前記左右画像を生成し、さらに、前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出する逆歪み補正関数導出装置を備え、前記運転環境シミュレーション装置は、算出した逆歪み補正関数を用いて前記センサモデルの映像を補正する、ステレオカメラのVRテストシステムである。
【0012】
又は、上述の課題を解決して目的を達成する本発明の一態様は、センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、前記左右画像の各々を表示すること、前記表示された前記左右画像のうち左画像をステレオカメラの左カメラを用いて、右画像を前記ステレオカメラの右カメラを用いて、左右独立にコンバージョンレンズを通して撮影すること、を含み、前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法である。
【0013】
本発明の一態様では、センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、前記左右画像の各々を表示すること、前記表示された前記左右画像のうち左画像をステレオカメラの左カメラを用いて、右画像を前記ステレオカメラの右カメラを用いて、左右独立にコンバージョンレンズを通して撮影すること、前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出すること、を含み、前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法である。
【0014】
本発明の一態様では、センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、前記左右画像の各々を表示すること、前記表示された前記左右画像のうち左画像をステレオカメラの左カメラを用いて、右画像を前記ステレオカメラの右カメラを用いて、左右独立にコンバージョンレンズを通して撮影すること、前記コンバージョンレンズにより生じた前記左右画像の歪みを補正する逆歪み補正関数を算出すること、算出した逆歪み補正関数を用いて前記センサモデルの映像を補正すること、を含み、前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法である。
【発明の効果】
【0015】
本発明によれば、ステレオカメラの撮影対象である左右画像に任意の視差を与えることができる。
さらに、本発明によれば、コンバージョンレンズの歪みを抑制した撮影が可能となる。
【図面の簡単な説明】
【0016】
図1図1は、実施形態1におけるVR(virtual reality)テストシステムを示す図である。
図2図2は、ステレオカメラが、コンバージョンレンズを通さずに撮影した格子画像とコンバージョンレンズを通して撮影した格子画像を比較した図である。
図3図3は、表示装置に表示する左右画像を示す図である。
図4図4は、実施形態4におけるVR(virtual reality)テストシステムを示す図である。
図5図5は、実施形態4に係る逆歪み補正関数導出装置を用いた、コンバージョンレンズによる歪みを補正する逆歪み補正関数の算出方法を示すフローチャートである。
図6図6は、実施形態5におけるVR(virtual reality)テストシステムを示す図である。
図7図7は、実施形態5に係る画像の歪みを補正する方法を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、添付図面を参照して、本発明を実施するための形態について説明する。
ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。
【0018】
(実施形態1)
図1は、実施形態1におけるVR(virtual reality)テストシステム1を示す図である。
図1に示すVRテストシステム1は、運転環境シミュレーション装置10と、センサシミュレーションシステム20と、を備える。
【0019】
運転環境シミュレーション装置10は、シナリオ、車両モデル、ドライバモデル及びセンサモデル等を有するシミュレーションソフトを含み、センサモデルの映像を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
ここで、左右画像の生成に用いるシミュレータとしては、センサモデル(カメラモデル)を有しているシミュレーションソフトウェアであればよい。
また、運転環境シミュレーション装置10は、画像処理部101を備える。
画像処理部101は、後述するように、ステレオカメラの撮影対象である左右画像に任意の視差を与える処理を行う。
運転環境シミュレーション装置10から表示装置201に出力される左右画像は、画像処理部101によって任意の視差が与えられた左右画像である。
【0020】
センサシミュレーションシステム20は、暗室200と、表示装置201と、ステレオカメラ202と、コンバージョンレンズ203と、を備える。
【0021】
暗室200は、外乱である周辺の構造物等が表示装置201に映り込まないように設けられた箱状の構造物である。
車載された評価対象のステレオカメラ202を想定すると、ディスプレイである表示装置201の配置可能な大きさ及び配置する距離を考慮する必要がある。
このような試験は、室内において行われることが多いため、コンパクトに設置することが求められる。
また、このような試験では、外乱による映り込みを除去すべきである。
そこで、表示装置201、ステレオカメラ202、及びコンバージョンレンズ203は、暗室200内に設置される。
【0022】
表示装置201は、運転環境シミュレーション装置10から出力されたセンサモデルの映像であって、任意の視差が与えられた左右画像を表示する。
なお、表示装置201としては、4Kディスプレイを例示することができる。
ここで、表示装置201に表示される左右画像は、互いに独立した左右画像を含む。
【0023】
ステレオカメラ202は、左カメラ202L及び右カメラ202Rを有し、左右画像を左右独立に撮影する。
ここで、左カメラ202Lは左右画像のうち左画像を撮影し、右カメラ202Rは左右画像のうち右画像を撮影する。
ステレオカメラ202は、センサシミュレーションシステム20の外部から制御され、センサシミュレーションシステム20の外部に撮影により取得した画像を送る。
【0024】
運転環境シミュレーション装置10は、画像処理部101によって処理された画像を表示装置201に出力する。
運転環境シミュレーション装置10から表示装置201に出力される左右画像は、任意の視差が与えられ、互いに独立した左右画像である。
ステレオカメラ202は、表示装置201に表示された、コンバージョンレンズ203を通して左右画像を撮影する。
【0025】
コンバージョンレンズ203は、表示装置201とステレオカメラ202の間の任意の位置に配置や調整が可能であり、ステレオカメラ202の焦点距離を表示装置201との距離に合わせるよう配置する。
図2は、ステレオカメラが、コンバージョンレンズを通さずに撮影した格子画像とコンバージョンレンズを通して撮影した格子画像を比較した図である。
図2を見ると、コンバージョンレンズを通すことにより、画像が鮮明になることがわかる。
これにより、映像がボケない任意の視差を与えることが可能となる。
【0026】
ステレオカメラ202に正確な視差を与えるための、表示装置201の画面における左右画像の配置及びその生成について、以下に説明する。
表示装置201の表示画面の左右の画角の範囲は、ステレオカメラ202の諸元(基線長、画角及び解像度等)及びステレオカメラ202と表示装置201との距離等から、計算されて特定される。
表示装置201の画面に表示される左右画像は、左右画角の交差範囲を避けるように計算されて生成される。
【0027】
図3は、表示装置201に表示する左右画像を示す図である。
図3に示すように、表示装置201上に独立した左右画像を表示するために必要な座標計算について以下に説明する。
表示装置201及びステレオカメラ202に関するパラメータの例は、表1に示す通りである。
【0028】
【表1】
【0029】
ここで、図3に示すように表示装置201及びステレオカメラ202の各々の原点及びy軸,z軸は一致し、ステレオカメラ202は表示装置201に対して正対しているものとする。
また、座標計算における各パラメータは、図3に示されている。
ここで、ステレオカメラ202の左右カメラの撮影範囲は、表示装置201とステレオカメラ202との関係から算出される。
そして、表示する画像の位置及び大きさと、その画角とは、以下のように決定される。
【0030】
【数1】
【0031】
【数2】
【0032】
ここで、上記の式(1),(2)における各パラメータは、下記の通りである。
H:撮影範囲の幅
L:表示装置201とステレオカメラ202との距離
θ:視野(Field of view)の画角
V:撮影範囲の高さ
:垂直方向画素数(Vertical pixels)
:水平方向画素数(Horizontal pixels)
【0033】
撮影範囲の幅Hは、ステレオカメラ202から表示装置201までの距離L及び視野の画角θから上記の式(1)により算出される。
また、撮影範囲の高さVは、撮影範囲の幅H及びピクセル比(P/P)から上記の式(2)により算出される。
次に、生成画像の幅Dwidth及び生成画像の高さDheightは、これらの値から下記の式(3),(4),(5)により算出される。
【0034】
【数3】
【0035】
【数4】
【0036】
【数5】
【0037】
ここで、上記の式(3),(4),(5)における各パラメータは、下記の通りである。
:原点から右画像までの距離
:原点から左画像までの距離
B:左カメラと右カメラとの距離(ステレオカメラの基線長)
【0038】
上記の式(3)により、左右の撮影範囲が交錯する範囲を考慮することで、式(4),(5)により、生成する左右画像のサイズが算出される。
このとき、上述したように、表示装置201及びステレオカメラ202の各々の原点及びy軸,z軸が一致していることから、左右画像のサイズが決まれば、表示装置201上の座標及びピクセル数等が決定される。
【0039】
以上説明した本実施形態によれば、ステレオカメラの撮影対象である左右画像に任意の視差を与えることができる。
【0040】
(実施形態2)
本実施形態では、実施形態1の結果から仮想FOV(Virtual Fields of View)である仮想画角θCGを計算し、運転環境シミュレーション装置10のセンサモデル(カメラモデル)に仮想画角θCGを用いることで、等価的な視差を有する左右画像を生成する形態について説明する。
本実施形態では、運転環境シミュレーション装置10において、ディスプレイである表示装置201へ出力するセンサモデル(カメラモデル)の仮想画角を実施形態1の結果を用いて計算し、運転環境シミュレーション装置10のセンサモデル(カメラモデル)に導かれた仮想画角を用いて、等価的な視差を有する左右画像を生成してディスプレイである表示装置201へ出力する。
【0041】
ステレオカメラ202の左右カメラの各々に独立して表示装置201上の左右画像を撮影させるためには、左右の撮影範囲が交錯する範囲を避けるべきである。
そのため、図3に示すように表示する画像は小さくなり、下記の式(6)のセンサモデル(カメラモデル)の仮想画角θCGを画像生成に用いる。
【0042】
【数6】
【0043】
ここで、atanは逆三角関数である。
【0044】
本実施形態によれば、仮想画角θCGを用いることで、物体認識及び測距の精度を実施形態1よりも向上させることができる。
【0045】
(実施形態3)
本実施形態では、運転環境シミュレーション装置10のセンサモデル(カメラモデル)に、モニタである表示装置201上の画像座標から任意の等価的な視差を有する左右画像を生成する形態について説明する。
撮影させるべき視差Dは、撮影させたい距離Zから下記の式(7)によって算出される。
【0046】
【数7】
【0047】
ここで、上記の式(7)における各パラメータは、下記の通りである。
BF:基線長(B)と焦点距離(F)との積
D∞:無限遠における視差
【0048】
上記の式(7)において、BF及びD∞はステレオカメラ固有のパラメータである。
撮影させたい距離Zから撮影させるべき視差Dが算出される。
このとき、ステレオカメラ202が取得する左右画像間における視差の計算は、SAD(Sum of Absolute Difference)により行われ、各画角の左上y0,z0を基準に算出される。
表示される左右画像の各々は、画角の基準点から等しい距離にあるため、ステレオカメラ202は、上記の式(7)で算出される視差Dを調整することなく撮影すればよい。
【0049】
等価的視差を調整することで、運転環境シミュレーション装置10と実機のステレオカメラ202との調整(合わせ込み)が可能となり、物体認識及び測距の精度を実施形態1よりも向上させることができる。
【0050】
(実施形態4)
本実施形態では、実施形態1~3でコンバージョンレンズにより画像に歪みが生じた際の補正手段として、逆歪み補正関数導出装置を用いる形態について説明する。
なお、実施形態4においては、実施形態1~3と共通する構成については図中に同符号を付してその説明を省略する。
【0051】
図4は、実施形態4におけるVR(virtual reality)テストシステムを示す図である。
図4に示すVRテストシステム300は、運転環境シミュレーション装置30と、センサシミュレーションシステム20と、逆歪み補正関数導出装置304を備える。
【0052】
運転環境シミュレーション装置30は、シナリオ、車両モデル、ドライバモデル及びセンサモデル等を有するシミュレーションソフトを含み、センサモデルの映像を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
さらに、運転環境シミュレーション装置30は、校正用画像(格子画像やチェッカーボード画像など)を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
さらに、運転環境シミュレーション装置30は、逆歪み補正関数導出装置304から送信された逆歪み補正関数を基に校正用画像を補正し、補正した校正用画像を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
また、運転環境シミュレーション装置30は、画像処理部101を備える。
【0053】
センサシミュレーションシステム20は、暗室200と、表示装置201と、ステレオカメラ202と、コンバージョンレンズ203と、を備える。
【0054】
コンバージョンレンズ203を用いると表示装置201上に画像の焦点が合う一方で、撮影した画像に歪みが発生して視差に影響を与える場合がある。
このような問題に対応するため、逆歪み補正関数導出装置304は、コンバージョンレンズ203により生じた画像の歪みを補正する逆歪み補正関数を算出する。
【0055】
具体的には、逆歪み補正関数導出装置304は、歪んでいない校正用画像(格子画像やチェッカーボード画像など)と、コンバージョンレンズ203を通してステレオカメラ202が撮影した歪んだ校正用画像とから各格子の歪み関数を求め、その逆関数として逆歪み補正関数を生成する。
さらに、逆歪み補正関数導出装置304は、歪んでいない校正用画像と、生成した逆歪み補正関数を基に運転環境シミュレーション装置30が補正した校正用画像を再度コンバージョンレンズ203を通してステレオカメラ202が撮影した補正した校正用画像と、から再度各格子の歪み関数を求め、その逆関数として逆歪み補正関数を生成する。
これらの工程を繰り返し、逆歪み補正関数導出装置304は、補正した校正用画像に歪みはないと判断すると、直近に生成した逆歪み補正関数が最適化された逆歪み補正関数となる。
【0056】
(逆歪み補正関数の算出方法)
次に、本実施形態に係る逆歪み補正関数導出装置304を用いた、コンバージョンレンズ203による歪みを補正する逆歪み補正関数の算出方法について説明する。
図5は、実施形態4に係る逆歪み補正関数導出装置304を用いた、コンバージョンレンズ203による歪みを補正する逆歪み補正関数の算出方法を示すフローチャートである。
【0057】
初めに、画像処理部101は、格子画像やチェッカーボード画像などの校正用画像に対して、任意の視差が与えられ、互いに独立した左右画像を作成し、表示装置201へ当該左右画像を表示する(ステップS101)。
【0058】
次に、ステレオカメラ202は、表示装置201に表示された当該左右画像を、コンバージョンレンズ203を通して撮影する(ステップS102)。
【0059】
次に、逆歪み補正関数導出装置304は、元の校正用画像と、コンバージョンレンズ203を通してステレオカメラ202が撮影した校正用画像とを比較し、画像に歪みがないかを判断する(ステップS103)。
具体的な判断方法は多数考えられるが、例えば、元の校正用画像が格子画像の場合、元の格子画像の交点と、撮影後の格子画像の交点が全て一致した場合に画像に歪みがないと判断することが可能である。
その場合、逆歪み補正関数導出装置304には、例えば、元の校正用画像があらかじめ保存されているか、元の校正用画像が運転環境シミュレーション装置30から送信される。
【0060】
補正した校正用画像に歪みがあると判断した場合(ステップS103:No)、逆歪み補正関数導出装置304は、元の校正用画像と、コンバージョンレンズ203を通してステレオカメラ202が撮影した歪んだ校正用画像から各格子の歪み関数を求め、その逆関数として逆歪み補正関数を生成する(ステップS104)。生成した逆歪み補正関数は、運転環境シミュレーション装置30へ送信される。
【0061】
次に、運転環境シミュレーション装置30は、逆歪み補正関数を基に校正用画像を補正し、補正した校正用画像に対して、任意の視差が与えられ、互いに独立した左右画像を作成し、表示装置201へ当該左右画像を表示する(ステップS105)。
【0062】
再び、ステップS102へ戻り、ステレオカメラ202は、表示装置201に表示された当該左右画像を、コンバージョンレンズ203を通して撮影し、ステップS103で、逆歪み補正関数導出装置304は、元の校正用画像と、コンバージョンレンズ203を通してステレオカメラ202が撮影した補正した校正用画像とを比較し、画像に歪みがないかを判断する。
【0063】
補正した校正用画像に歪みがないと判断した場合(ステップS103:Yes)、直近に生成した逆歪み補正関数が最適化された逆歪み補正関数となり、逆歪み補正関数の算出が完了する(ステップS106)。
【0064】
このように、校正用画像を撮影して求めた画像から逆歪み関数を算出し、コンバージョンレンズを通して逆歪み関数を適用した補正画像を撮影することにより、ステレオカメラ本体を調整(補正)しなくても、コンバージョンレンズの歪みを抑制した撮影が可能となる。
【0065】
(実施形態5)
本実施形態では、実施形態4で算出した逆歪み補正関数を用いて補正したセンサモデルの画像を用いて、表示装置が任意の視差が与えられた左右画像を表示する。
なお、実施形態5においては、実施形態4と共通する構成については図中に同符号を付してその説明を省略する。
【0066】
図6は、実施形態5におけるVR(virtual reality)テストシステムを示す図である。
図6に示すVRテストシステム400は、運転環境シミュレーション装置40と、センサシミュレーションシステム20と、逆歪み補正関数導出装置304を備える。
【0067】
運転環境シミュレーション装置40は、シナリオ、車両モデル、ドライバモデル及びセンサモデル等を有するシミュレーションソフトを含み、センサモデルの映像を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
さらに、運転環境シミュレーション装置40は、校正用画像(格子画像やチェッカーボード画像など)を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
さらに、運転環境シミュレーション装置40は、逆歪み補正関数導出装置304から送信された逆歪み補正関数を基に校正用画像を補正し、補正した校正用画像を左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
【0068】
さらに、運転環境シミュレーション装置40は、逆歪み補正関数導出装置304が算出した逆歪み補正関数を用いてセンサモデルの映像を補正した上で、左右画像(左画像及び右画像)としてセンサシミュレーションシステム20の表示装置201に出力する。
また、運転環境シミュレーション装置40は、画像処理部101を備える。
【0069】
センサシミュレーションシステム20は、暗室200と、表示装置201と、ステレオカメラ202と、コンバージョンカメラ203と、を備える。
【0070】
逆歪み補正関数導出装置304は、コンバージョンレンズ203により生じた画像の歪みを補正する逆歪み補正関数を算出する。
【0071】
(画像の歪みの補正方法)
次に、本実施形態に係る算出した逆歪み補正関数を用いて画像の歪みを補正する方法について説明する。
なお、画像の歪みを補正する方法は、(1)逆歪み補正関数の算出と、(2)算出した逆歪み補正関数を用いた補正画像の出力、とから構成される。
図7は、実施形態5に係る画像の歪みを補正する方法を示すフローチャートである。
【0072】
(1)逆歪み補正関数の算出
初めに、画像処理部101は、格子画像やチェッカーボード画像などの校正用画像に対して、任意の視差が与えられ、互いに独立した左右画像を作成し、表示装置201へ当該左右画像を表示する(ステップS201)。
【0073】
次に、ステレオカメラ202は、表示装置201に表示された当該左右画像を、コンバージョンレンズ203を通して撮影する(ステップS202)。
【0074】
次に、逆歪み補正関数導出装置304は、元の校正用画像と、コンバージョンレンズ203を通してステレオカメラ202が撮影した校正用画像とを比較し、画像に歪みがないかを判断する(ステップS203)。
具体的な判断方法は多数考えられるが、例えば、元の校正用画像が格子画像の場合、元の格子画像の交点と、撮影後の格子画像の交点が全て一致した場合に画像に歪みがないと判断することが可能である。
その場合、逆歪み補正関数導出装置304には、例えば、元の校正用画像があらかじめ保存されているか、元の校正用画像が運転環境シミュレーション装置40から送信される。
【0075】
補正した校正用画像に歪みがあると判断した場合(ステップS203:No)、逆歪み補正関数導出装置304は、元の校正用画像と、コンバージョンレンズ203を通してステレオカメラ202が撮影した歪んだ校正用画像から各格子の歪み関数を求め、その逆関数として逆歪み補正関数を生成する(ステップS204)。生成した逆歪み補正関数は、運転環境シミュレーション装置30へ送信される。
【0076】
次に、運転環境シミュレーション装置40は、逆歪み補正関数を基に校正用画像を補正し、補正した校正用画像に対して、任意の視差が与えられ、互いに独立した左右画像を作成し、表示装置201へ当該左右画像を表示する(ステップS205)。
【0077】
再び、ステップS202へ戻り、ステレオカメラ202は、表示装置201に表示された当該左右画像を、コンバージョンレンズ203を通して撮影し、ステップS203で、逆歪み補正関数導出装置304は、元の校正用画像と、コンバージョンレンズ203を通してステレオカメラ202が撮影した補正した校正用画像とを比較し、画像に歪みがないかを判断する。
【0078】
補正した校正用画像に歪みがないと判断した場合(ステップS203:Yes)、直近に生成した逆歪み補正関数が最適化された逆歪み補正関数となり、逆歪み補正関数の算出が完了する(ステップS206)。
なお、ステップS201~ステップS206は、実施形態4で説明した逆歪み補正関数の算出方法のステップS101~ステップS106と同じである。
【0079】
(2)算出した逆歪み補正関数を用いた補正画像の出力
次に、運転環境シミュレーション装置40は、逆歪み補正関数導出装置304が算出した逆歪み補正関数を装置のモデルに組み込み、補正したセンサモデルの映像を作成する(ステップS207)。
【0080】
次に、画像処理部101は、補正したセンサモデルの映像に対して、任意の視差が与えられ、互いに独立した左右画像を作成し、表示装置201へ当該左右画像を表示する(ステップS208)。
【0081】
次に、ステレオカメラ202は、表示装置201に表示された当該左右画像を、コンバージョンレンズ203を通して撮影する(ステップS209)。
そして、ステレオカメラ202により撮影された画像は、センサシミュレーションシステム20の外部へ送られる。
【0082】
このように、コンバージョンレンズを用いると表示装置上に焦点が合う一方,撮影した画像に歪みが発生して視差に影響を与えるが、校正用画像を撮影して求めた画像から逆歪み関数を算出し、運転仮想シミュレーション装置のモデルへ逆歪み関数が組込まれた補正画像をコンバージョンレンズに通して撮影することにより、ステレオカメラ本体を調整(補正)しなくても運転仮想シミュレーション装置のステレオカメラ視点による映像の歪みを抑制することが可能となる。
【0083】
なお、実施形態1~5では、左右画像が同一の表示画面に表示される形態について説明したが、本発明は、これに限定されるものではない。
左画像が表示される表示画面と右画像が表示される表示画面とが異なっていてもよい。
【0084】
なお、実施形態1~5では、VRテストシステムについて説明したが、本発明は、これに限定されるものではない。
すなわち、センサモデルの映像を互いに独立した左右画像として出力することで運転環境をシミュレーションすること、前記左右画像の各々を表示すること、前記表示された前記左右画像の各々をステレオカメラの左右カメラで撮影すること、前記表示された前記左右画像の物体認識及び測距を行うこと、を含み、前記運転環境のシミュレーションでは、等価的な画角を有するように互いに独立した前記左右画像が生成される、前記ステレオカメラのVRテスト方法も本発明に含まれるものである。
【0085】
なお、実施形態4および5では、逆歪み補正関数導出装置が独立して存在する形態について説明したが、本発明は、これに限定されるものではない。
逆歪み補正関数導出装置が有する機能が、運転環境シミュレーション装置、又は、ステレオカメラ内に備えられてもよい。
【0086】
なお、本発明は、上述の実施形態に限定されるものではなく、上述の構成に対して、構成要素の付加、削除又は転換を行った様々な変形例も含むものとする。
【符号の説明】
【0087】
1、300、400 VRテストシステム
10、30、40 運転環境シミュレーション装置
101 画像処理部
20 センサシミュレーションシステム
200 暗室
201 表示装置
202 ステレオカメラ
202L 左カメラ
202R 右カメラ
203 コンバージョンレンズ
304 逆歪み補正関数導出装置

図1
図2
図3
図4
図5
図6
図7