特許第5836774号(P5836774)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧
特許5836774俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置
<>
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000005
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000006
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000007
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000008
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000009
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000010
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000011
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000012
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000013
  • 特許5836774-俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5836774
(24)【登録日】2015年11月13日
(45)【発行日】2015年12月24日
(54)【発明の名称】俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20151203BHJP
   B60R 1/00 20060101ALI20151203BHJP
   G06T 1/00 20060101ALI20151203BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   G06T1/00 330A
【請求項の数】12
【全頁数】17
(21)【出願番号】特願2011-259062(P2011-259062)
(22)【出願日】2011年11月28日
(65)【公開番号】特開2013-115559(P2013-115559A)
(43)【公開日】2013年6月10日
【審査請求日】2014年3月19日
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100123434
【弁理士】
【氏名又は名称】田澤 英昭
(74)【代理人】
【識別番号】100101133
【弁理士】
【氏名又は名称】濱田 初音
(74)【代理人】
【識別番号】100173934
【弁理士】
【氏名又は名称】久米 輝代
(74)【代理人】
【識別番号】100156351
【弁理士】
【氏名又は名称】河村 秀央
(72)【発明者】
【氏名】竹原 成晃
(72)【発明者】
【氏名】羽下 哲司
【審査官】 瀧内 健夫
(56)【参考文献】
【文献】 特開2008−182652(JP,A)
【文献】 特開2008−011174(JP,A)
【文献】 特開2007−257242(JP,A)
【文献】 特開2003−216949(JP,A)
【文献】 特開2007−228448(JP,A)
【文献】 特開2011−192071(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部と、
前記パラメータ記憶部から読み出した前記変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換部と、
前記俯瞰変換部によって等間隔のパターンの標示が撮像された撮像画像が変換された俯瞰画像を取得し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出部と、
前記間隔指標算出部によって算出された間隔指標値に基づいて、前記俯瞰画像上で前記標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、前記パラメータ記憶部に記憶するパラメータ算出部とを備える俯瞰映像生成装置。
【請求項2】
前記等間隔のパターンの標示が撮像された撮像画像を取得する画像取得部と、
前記画像取得部により取得された撮像画像を記憶する画像記憶部とを備え、
前記俯瞰変換部は、前記画像記憶部から読み出した撮像画像を俯瞰画像に変換し、
前記間隔指標算出部は、前記俯瞰変換部によって変換された俯瞰画像を取得し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出することを特徴とする請求項1記載の俯瞰映像生成装置。
【請求項3】
前記等間隔のパターンの標示が撮像された撮像画像の俯瞰画像を2値化変換する2値化変換部を備え、
前記間隔指標算出部は、前記2値化変換部が2値化した前記標示のパターンを用いて、前記間隔指標値を算出することを特徴とする請求項1または請求項2記載の俯瞰映像生成装置。
【請求項4】
前記間隔指標算出部は、2値化変換された前記標示のパターンの画素数のヒストグラムを作成し、このヒストグラムに基づいて判別した前記パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出することを特徴とする請求項3記載の俯瞰映像生成装置。
【請求項5】
前記等間隔のパターンの標示が撮像された撮像画像の俯瞰画像上のエッジを抽出するエッジ抽出処理部を備え、
前記間隔指標算出部は、前記エッジ抽出処理部が抽出した前記標示のエッジを用いて、前記間隔指標値を算出することを特徴とする請求項1または請求項2記載の俯瞰映像生成装置。
【請求項6】
前記間隔指標算出部は、前記エッジ抽出処理部により抽出された前記標示のパターンのエッジと前記俯瞰画像上の原点との距離に基づいて、前記パターンの幅と隣り合うパターンの間隔を求め、前記パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出することを特徴とする請求項5記載の俯瞰映像生成装置。
【請求項7】
前記画像取得部は、前記撮像部により撮像された撮像画像に対して画像認識を行って、等間隔のパターンの標示が撮像された撮像画像を取得することを特徴とする請求項2記載の俯瞰映像生成装置。
【請求項8】
外部からの操作を受け付ける操作部を備え、
前記画像取得部は、前記操作部を用いて指定されたタイミングで前記撮像部により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得することを特徴とする請求項2記載の俯瞰映像生成装置。
【請求項9】
前記撮像部は、移動体に搭載されてその周囲を撮像し、
前記画像取得部は、現在位置と地図データに基づいて、等間隔のパターンの標示が存在する地点に前記移動体が到達したと判別されたタイミングで前記撮像部により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得することを特徴とする請求項2記載の俯瞰映像生成装置。
【請求項10】
俯瞰変換部が、画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部から読み出した前記変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換ステップと、
間隔指標算出部が、前記俯瞰変換ステップで等間隔のパターンの標示が撮像された撮像画像を変換した俯瞰画像を入力し、この俯瞰画像上で前記標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出ステップと、
パラメータ算出部が、前記間隔指標算出ステップで算出された間隔指標値に基づいて、前記俯瞰画像上で前記標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、前記パラメータ記憶部に記憶するパラメータ算出ステップとを備える俯瞰映像生成方法。
【請求項11】
移動体の周囲の俯瞰画像を表示する映像表示システムにおいて、
前記移動体の周囲を撮像する撮像部と、
請求項1から請求項9のうちのいずれか1項記載の俯瞰映像生成装置と、
前記俯瞰映像生成装置で生成された俯瞰画像を表示する表示部とを備えることを特徴とする映像表示システム。
【請求項12】
請求項1から請求項9のうちのいずれか1項記載の俯瞰映像生成装置を備えたナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両などの移動体に搭載され、移動体周辺が撮像された画像を俯瞰画像に変換して利用者に提示する俯瞰映像生成装置、俯瞰映像生成方法、これを用いた映像表示システムおよびナビゲーション装置に関する。
【背景技術】
【0002】
従来、車両に搭載したカメラの撮影画像を俯瞰変換して利用者に提示する画像処理装置が知られている。このような装置では、カメラを設定した際に、その姿勢状態を示す姿勢パラメータを記憶しておき、その姿勢状態でカメラが設置されていることを前提として、カメラ画像を姿勢パラメータを基に俯瞰変換していた。
【0003】
車両にカメラを適切に設置するための従来の技術として、例えば特許文献1に開示される方法がある。この方法では、車両から離れた位置に指標となるテストパターン(基準パターン、テストチャート)を設け、カメラで撮像したテストパターンの撮像状態を基に、姿勢パターンが示す姿勢状態でカメラが設置されているかどうかを点検する。
【0004】
また、特許文献2には、地面に描かれた白線などの平行線やこの平行線から求められる無限遠を基準として、カメラの取り付け状態を調整する画像処理装置が提案されている。この装置では、カメラの撮像方向を調整する調整機構を備えており、カメラを車両に取り付けた後にその撮像方向がずれても、撮像方向を調整可能である。
【0005】
非特許文献1には、姿勢パラメータ自体を推定する方法が開示されている。この方法では、専用のテストパターンをカメラで撮像し、テストパターンの撮像状態から姿勢パラメータを推定する。
また、特許文献3および特許文献4には、地面に描かれた白線などの平行線やこの平行線から求められる無限遠を基準として、カメラの姿勢パラメータを推定する方法が提案されている。
さらに、特許文献5には、地面に描かれた平行線の撮像画像を適当な姿勢パラメータに基づいて俯瞰変換し、その平行線の平行度を算出することで、姿勢パラメータを推定する姿勢パラメータ推定装置が提案されている。この装置では、平行線のみで姿勢パラメータを推定することが可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−91984号公報
【特許文献2】特開2000−142221号公報
【特許文献3】特開平7−77431号公報
【特許文献4】特開平7−147000号公報
【特許文献5】特開2008−182652号公報
【非特許文献】
【0007】
【非特許文献1】R.Y.Tsai,“A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses”,Transactions on Pattern Analysis and Machine Intelligence 22(11),IEEE,1987,p.323-344.
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1,2に代表される従来の技術は、姿勢パラメータが示す姿勢にカメラが設置されていなかった場合、カメラ姿勢を調整する必要があるため、一時的な姿勢のずれに柔軟に対応することができないという課題があった。
例えば、車両に搭載されたカメラでは、乗員や荷物の積載により車両が傾くと、カメラ姿勢がずれた状態となる。この場合、乗員の数や荷物の重さなどが変われば、カメラ姿勢も変化する可能性があり、その都度カメラ姿勢を推定し直す必要がある。
また、上記従来の技術は、専用のテストパターンを用意する必要がある。したがって、テストパターンなどの保管場所とカメラ姿勢の調整を実施する場所が必要であり、テストパターンを用意するコストがかかる。このため、カメラの姿勢推定を簡易に実施することができないという課題があった。
【0009】
また、特許文献3,4に代表される従来の技術では、カメラの姿勢推定に平行線から求められる無限遠が必要となる。このため、白線を撮像する道路がカーブしていたり、車両やビルなどの障害物が存在していたりすると、無限遠を求めることができず(または困難となり)、カメラの姿勢推定が容易でないという課題があった。
【0010】
さらに、特許文献5に代表される従来の技術では、走行車線の平行線を用いてカメラの姿勢を推定していることから、車両横に取り付けるサイドカメラでは、走行車線の平行な白線の一方しか撮像することができず、サイドカメラの姿勢推定に容易に適用できない。また、特許文献5では、姿勢パラメータの推定にカメラの取り付け高さや焦点距離を用いることから、これらの値をあらかじめ測定して姿勢パラメータ推定装置に入力する必要がある。
【0011】
さらに、非特許文献1および上記特許文献1〜5では、姿勢パラメータによる視点変換によってカメラ姿勢を調整することから、仮想視点などの設定やこれに基づく変換処理が複雑であり、簡易なパラメータ調整を行うことができない。
【0012】
この発明は、上記のような課題を解決するためになされたもので、撮像画像を俯瞰画像に変換する変換パラメータを簡易に調整できる俯瞰映像生成装置、俯瞰映像生成方法、これを用いて俯瞰変換した映像を表示する映像表示システムおよびこれを用いて俯瞰変換した画像を表示できるナビゲーション装置を得ることを目的とする。
【課題を解決するための手段】
【0013】
この発明に係る俯瞰映像生成装置は、画像を射影変換により俯瞰画像に変換する変換パラメータを記憶するパラメータ記憶部と、パラメータ記憶部から読み出した変換パラメータを用いて、撮像部により撮像された撮像画像を俯瞰画像に変換する俯瞰変換部と、俯瞰変換部によって等間隔のパターンの標示が撮像された撮像画像が変換された俯瞰画像を取得し、この俯瞰画像上で標示のパターンの間隔が揃う度合を示す間隔指標値を算出する間隔指標算出部と、間隔指標算出部によって算出された間隔指標値に基づいて、俯瞰画像上で標示のパターンの間隔が所定の範囲内で揃う変換パラメータを算出して、パラメータ記憶部に記憶するパラメータ算出部とを備える。
【発明の効果】
【0014】
この発明によれば、撮像画像を俯瞰画像に変換する変換パラメータを簡易に調整できるという効果がある。
【図面の簡単な説明】
【0015】
図1】この発明の実施の形態1に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図である。
図2】実施の形態1に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。
図3】標示撮像データ取得部の構成例を示すブロック図である。
図4】実施の形態1に係る俯瞰映像生成装置の動作を示すフローチャートである。
図5】実施の形態1に係る俯瞰変換を示す図である。
図6】実施の形態1に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。
図7】この発明の実施の形態2に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図である。
図8】実施の形態2に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。
図9】実施の形態2に係る俯瞰映像生成装置の動作を示すフローチャートである。
図10】実施の形態2に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。
【発明を実施するための形態】
【0016】
実施の形態1.
図1は、この発明の実施の形態1に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図であり、本発明に係る俯瞰映像生成装置を搭載した車両の車両周囲表示システムを示している。図1において、実施の形態1に係る車両周囲表示システム1は、カメラ10、俯瞰映像生成装置20、モニタ30および操作部40を備える。
カメラ10は、車両の車体に設置されて車両周囲を撮像する撮像部である。俯瞰映像生成装置20は、カメラ10で撮像された撮像データの画像を真上から見たような俯瞰画像に変換する装置である。モニタ30は、俯瞰映像生成装置20が生成した俯瞰画像を表示する表示部である。車両の運転者は、モニタ30に表示した俯瞰画像を視認することで、車両周囲を真上から眺めたような画像で障害物などを認識できる。
操作部40は、外部からの操作入力を受け付ける操作部であって、キーボードやボタンなどのハードウェアに加えて、タッチパネルで入力を行うモニタ30の画面上に表示したソフトウェアキーやボタンであってもよい。
【0017】
また、俯瞰映像生成装置20は、カメラ10が撮像した画像を俯瞰変換するための俯瞰パラメータを推定する機能を有する。俯瞰パラメータは、2次元の射影変換に基づいて、カメラ10が撮像した画像の座標系を、カメラ10で同じ撮像対象の真上から眺めた俯瞰画像の座標系へ変換する変換パラメータである。
なお、俯瞰映像生成装置20では、地面(道路面)を基準面として俯瞰画像を生成するため、道路に描かれた横断歩道などは、歪みなどが少なく実際に車両を真上側から眺めたように精度よく表示される。
【0018】
俯瞰映像生成装置20は、図1に示すように、その機能ブロックとして標示撮像データ取得部21、撮像データ記憶部22、俯瞰変換部23、俯瞰パラメータ推定部24および俯瞰パラメータ記憶部25を備える。
標示撮像データ取得部21は、カメラ10により撮像された撮像データの中から、所定の標示が撮像されている撮像データを取得する画像取得部である。ここで、所定の標示とは、基準面(例えば、地面)に描かれた等間隔のパターンの標示であって、例えば白線のパターンが等間隔に描かれた横断歩道やゼブラパターンなどが挙げられる。
【0019】
また、標示撮像データ取得部21は、操作部40を用いてユーザから指定されたタイミングでカメラ10により撮像された撮像画像を、所定の標示が撮像された撮像画像として取得する。つまり、横断歩道などの所定の標示が描かれた道路を自車が走行するか、停車したときに、ユーザが、操作部40を用いて取り込み指示を行うことにより、所定の標示が撮像された撮像画像を取得することができる。
【0020】
撮像データ記憶部22は、標示撮像データ取得部21が取得した所定の標示が撮像された撮像データを記憶する画像記憶部である。
俯瞰変換部23は、カメラ10が撮像した撮像画像を2次元の射影変換により俯瞰画像に変換するための変換パラメータである俯瞰パラメータを用いて、撮像画像を俯瞰画像に変換する。また、モニタ30は、俯瞰変換部23で生成された俯瞰画像を取得して表示する表示部である。
【0021】
俯瞰パラメータ推定部24は、カメラ10が撮像した撮像データの画像を俯瞰変換するための俯瞰パラメータを推定する。俯瞰パラメータ記憶部25は、俯瞰パラメータ推定部24により算出された俯瞰パラメータを記憶するパラメータ記憶部である。
また、俯瞰パラメータ推定部24は、その機能ブロックとして、2値化変換部24a、間隔指標算出部24bおよび俯瞰パラメータ算出部24cを備える。
【0022】
2値化変換部24aは、俯瞰変換部23が生成した俯瞰画像中の画素値と、当該画素に関する所定の閾値とを大小比較して、最大輝度(白)と最小輝度(黒)の画像に変換することにより、当該画像を2値化する。なお、2値化により間隔指標値の算出における演算量が低減されるが、本発明では、2値化変換が必須の処理ではない。すなわち、パターンマッチングなどの画像認識で俯瞰画像から直接所定の標示を抽出してもかまわない。
間隔指標算出部24bは、2値化変換部24aが生成した2値化画像中の所定の標示に基づいて、当該画像上で標示を構成するパターンの間隔が揃っている度合を示す間隔指標を算出する。例えば、等間隔の白線パターンの標示であれば、隣り合う白線パターンの間隔の分散が間隔指標となる。
【0023】
俯瞰パラメータ算出部24cは、間隔指標算出部24bが算出した間隔指標の値に基づいて、適切な俯瞰画像へ変換する俯瞰パラメータを算出するパラメータ算出部である。
本発明では、地面などの基準面に描かれた等間隔のパターンから構成される標示(横断歩道など)を対象としており、この標示が撮像された画像を俯瞰変換すれば、俯瞰画像においてもパターンが等間隔に表現されるべきことを前提としている。
すなわち、俯瞰パラメータが適切でない場合、これを用いて生成された俯瞰画像では、本来等しくあるべきパターンの間隔が乱れる可能性がある。
そこで、俯瞰パラメータ算出部24cは、間隔指標算出部24bが算出した間隔指標の値に基づいて、俯瞰画像中の標示のパターンが等間隔になるように俯瞰パラメータを算出する。
【0024】
図2は、実施の形態1に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。図2において、ナビゲーション装置2は、移動体(例えば、車両)に搭載される移動体用のナビゲーション装置であり、カメラ10で撮像した画像を俯瞰画像に変換してモニタ30に出力する俯瞰映像生成装置20と、ナビゲーション処理部3、地図データベース(地図DB)4、位置情報取得部5および位置計算部6を備える。
【0025】
ナビゲーション処理部3は、位置計算部6が算出した自車位置と、地図DB4の地図データに基づいて、経路探索、経路誘導および地図表示といったナビゲーション処理を実行する。地図DB4は、ナビゲーション処理部3が利用する地図データが登録されたデータベースである。地図データには、地形図データ、住宅地図データ、道路ネットワークなどがある。経路誘導や地図表示おける画像情報は、ナビゲーション処理部3から表示制御部23aに送られ、モニタ30に表示される。
【0026】
位置情報取得部5は、現在位置に関する位置情報を取得する位置情報取得部であって、例えばGPS衛星から受信したGPS信号に含まれる衛星位置および時間情報から位置情報を取得する。この位置情報は、位置情報取得部5から位置計算部6に出力される。
位置計算部6は、位置情報取得部5から取得した位置情報に基づいて自車両の現在位置を算出する。
【0027】
表示制御部23aは、モニタ30の表示処理を制御する制御部であって、図1で示した俯瞰変換部23を備える。ナビゲーション処理部3からの画像情報は、表示制御部23aの俯瞰変換部23により俯瞰画像に変換してモニタ30に表示することができる。
【0028】
また、標示撮像データ取得部21は、位置計算部6が算出した自車位置と地図DB4の地図データに基づいて、所定の標示がある地点を自車が走行している、または、その地点で停車していると判別されると、当該標示をカメラ10が撮像していると判断して、この時点でカメラ10により撮像された撮像データを取得して、撮像データ記憶部22に記憶する。所定の標示がある地点は、交差点やカーブなど、横断歩道やゼブラパターンが道路に描かれている地点であり、例えば道路ネットワークにあらかじめ設定しておく。
【0029】
さらに、自車位置と当該地図データから自車の走行車線情報を特定できる場合は、上記地点の情報を道路の車線情報に対応付けて地図データに登録しておけば、所定の標示が撮像された画像を正確に取得することができる。
なお、図2では図示を省略したが、標示撮像データ取得部21は、図1と同様に、操作部40を用いてユーザが指定したタイミングでカメラ10に撮像された撮像データを取得して撮像データ記憶部22に記憶するようにしてもよい。
【0030】
また、標示撮像データ取得部21を下記のように構成し、自車の車両状況や画像認識を用いて、カメラ10が撮像した撮像データの中から、所定の標示が撮像されている可能性が高い撮像データを取得してもよい。
図3は、標示撮像データ取得部の構成例を示すブロック図である。図3(a)に示した標示撮像データ取得部21は、自車の車両制御部7から取得した車両データに基づいて、カメラ10の撮像データを取得すべきか否かを判断している。
すなわち、操作部40を用いてユーザが指定したタイミング、あるいは自車位置と地図データに基づく位置タイミングで、カメラ10により撮像された撮像データを取り込むにあたり、車両制御部7から取得した車両データに基づいて、撮像データの取り込み可否を判断する。
【0031】
車両データには、例えば車速情報、舵角情報などが挙げられる。標示撮像データ取得部21は、カメラ10が撮像した撮像データを取り込む際に、車速情報が示す自車の速度が所定の閾値を超える場合、自車が高速でカメラ10が所定の標示を精度よく撮像できないと判断し、ユーザ指定タイミングや位置タイミングであってもカメラ10から撮像データを取得しないようにする。
【0032】
また、所定の標示は、自車の進行方向とカメラ10の撮像視野との関係により撮像画像で斜めに撮像される場合がある。この場合、カメラ10による撮像時の自車の舵角情報に基づいて、撮像画像を回転させて標示を所定の方向に変換する回転角を決定してもよい。
このように、車両データを利用することにより、所定の標示が撮像された撮像データの取得精度を向上できる。
【0033】
また、図3(b)に示す標示撮像データ取得部21は画像認識部21aを備える。画像認識部21aは、カメラ10が撮像した撮像データの画像認識処理を行って所定の標示の画像を検出する。標示撮像データ取得部21は、画像認識部21aによる画像認識処理で所定の標示が検出されると、その撮像データを撮像データ記憶部22に記憶する。
なお、画像認識部21aが画像認識処理を行うタイミングは、操作部40を用いたユーザ指定タイミングや、自車位置と地図データに基づく位置タイミングであってもよい。
このように構成することにより、所定の標示が撮像された撮像データの取得精度をさらに向上できる。
【0034】
また、標示撮像データ取得部21は、自車に搭載された通信装置を介して取得した天気情報や時刻情報に基づいて、カメラ10の撮像時の天気が雨や雪、霧であったり、撮像時が夜間であると判断した場合、ユーザ指定タイミングや位置タイミングであってもカメラ10から撮像データを取得しないようにする。このようにすることで、間隔指標値を算出できない状態で標示が撮像されたデータが保存されることを防止できる。
【0035】
次に動作について説明する。
図4は、実施の形態1に係る俯瞰映像生成装置の動作を示すフローチャートである。
通常時の俯瞰映像生成装置20では、俯瞰変換部23が、カメラ10からの撮像データを取得して俯瞰画像を生成し、モニタ30に出力している。このとき、標示撮像データ取得部21がステップST1からステップST3までの処理を実施し、俯瞰パラメータ推定部24が俯瞰パラメータを推定する場合に、ステップST4からステップST12までの処理を行う。
【0036】
まず、標示撮像データ取得部21が、カメラ10が撮像した撮像データを取得する(ステップST1)。次に、標示撮像データ取得部21は、取得した撮像データが撮像データ記憶部22に取り込む条件に合致するか否かを判定する(ステップST2)。このとき、カメラ10から取得した撮像データが、例えば操作部40を用いてユーザから指定されたタイミング、または、自車位置と地図データに基づく位置タイミング(所定の標示が存在する地点)で撮像された撮像データであるか、あるいは、画像認識処理により所定の標示が抽出された撮像データであるか、などの条件が判断される。
【0037】
取り込み条件に合致する撮像データである場合(ステップST2;YES)、標示撮像データ取得部21は、カメラ10から取得した撮像データを撮像データ記憶部22に保存する(ステップST3)。
また、取り込み条件に合致しなければ(ステップST2;NO)、標示撮像データ取得部21は、カメラ10から取得した撮像データを、撮像データ記憶部22に保存しないで破棄する。この後、ステップST4の処理へ移行する。
【0038】
上述したように、俯瞰パラメータの推定に使用する撮像画像を撮像データ記憶部22に一時的に記憶することで、俯瞰映像生成装置20を備えた車両周囲表示システム1またはナビゲーション装置2における処理の負荷が少ない合間を選んで、ステップST4以降の俯瞰パラメータの推定処理を行うことができる。例えば、車両周囲表示システム1またはナビゲーション装置2の演算処理を実施するCPUの稼働率に閾値を設けておき、CPUの稼働率が閾値より低い場合に俯瞰パラメータの推定処理を開始する。
【0039】
俯瞰変換部23が、撮像データ記憶部22にデータがあるか否かを判定する(ステップST4)。ここで、撮像データ記憶部22にデータがなければ(ステップST4;NO)、ステップST1の処理へ戻る。撮像データ記憶部22にデータが記憶されている場合(ステップST4;YES)、俯瞰変換部23は、俯瞰パラメータ記憶部25から現在の俯瞰パラメータを読み出し、当該俯瞰パラメータを用いて、撮像データ記憶部22から読み出したデータの画像を俯瞰変換する(ステップST5)。具体的には、俯瞰パラメータA〜Hを用いて、下記式(1)の変換式にしたがって俯瞰画像の座標へ座標変換する。
【0040】
【0041】

上記式(1)の俯瞰パラメータA〜Hは画像平面内の4頂点の座標から決定される定数である。入力画像の4頂点、a(x1,y1),b(x2,y2),c(x3,y3),d(x4,y4)と対応する出力画像(俯瞰画像)の4頂点をe(X1,Y1),f(X2,Y2),g(X3,Y3),h(X4,Y4)とすると、俯瞰パラメータA〜Hは、下記式(2)の行列から導くことができる。
【0042】
【0043】

図5は、実施の形態1に係る俯瞰変換を示す図であり、自車が交差点を走行したときにサイドカメラで横断歩道を撮影した画像を上記射影変換で俯瞰画像に変換した場合を示している。図5の上段に記載した入力画像の4頂点の座標をa(0,0),b(1,0),c(1,1),d(0,1)として、入力画像の4頂点にそれぞれ対応する頂点の座標に対し上記式(2)の射影変換を施すと、出力画像(俯瞰画像)の4頂点の座標は、下段に示すように、e(−0.5,0),f(1.5,0),g(1,1),h(0,1)となる。
【0044】
2値化変換部24aは、俯瞰変換部23が生成した俯瞰画像を取得し、この俯瞰画像に対して2値化変換を行う(ステップST6)。これにより、俯瞰画像から、地面に描かれていた横断歩道などの所定の標示が抽出される。この後、間隔指標算出部24bが、俯瞰画像上の標示、すなわち2値化により抽出された標示のパターン間隔が揃っている度合を示す間隔指標を算出する(ステップST7)。
【0045】
図6は、実施の形態1に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。図6に示すように、俯瞰変換部23は、ステップST5で使用した俯瞰パラメータを所定量ごとに変化させ、変化後の俯瞰パラメータを用いた俯瞰変換をそれぞれ実行する。図6の例では、上から下へ向かって俯瞰変換量が増加するように変換している。
2値化変換部24aは、俯瞰変換部23が変換した各俯瞰画像を2値化変換する。これにより、図6の(a)、(c)、(e)、(g)に示す画像が得られる。なお、2値化変換には、例えばトップハットフィルタと組み合わせた単純2値化を用いる。
【0046】
この後、間隔指標算出部24bは、上述の2値化変換された各画像について、縦方向を基準に白画素数を、図6の(b)、(d)、(f)、(h)に示すようにヒストグラム化する。次に、間隔指標算出部24bは、上述したヒストグラムに対してある一定の閾値を設けて、閾値以上の白画素数を持つ部分と、それ以外の部分とに分離する。これにより、画像上の白線の部分と、白線でない部分(隣り合う白線の間隔に相当する部分)とが判別される。間隔指標算出部24bは、白線の幅と白線でない部分の幅を算出する。
なお、画像上端と画像下端の幅については、正確に幅が得られないため考慮しない。
【0047】
間隔指標算出部24bは、白線の幅と、白線でない部分の幅について、それぞれの分散を算出する。分散は、N本の白線の各幅xiと、N本の白線の幅の平均値μとを用いて、下記式(3)により算出することができる。また、N本の白線でない部分の各幅についても同様に分散を算出する。
【0048】
【0049】

次に、間隔指標算出部24bは、白線の幅の分散と白線でない部分の幅の分散の平均値を算出して間隔指標値とする。この場合、間隔指標値が低いほど、すなわち、全ての幅が同じ幅に近づくほど、等間隔であることを示している。
【0050】
図4の説明に戻る。上述のようにして間隔指標値が算出されると、俯瞰パラメータ算出部24cは、例えば俯瞰パラメータの値をインクリメントまたはデクリメントする、あるいは、各俯瞰パラメータの値に所定値を加減算するなどして、俯瞰パラメータの値を更新する。この後、俯瞰パラメータ算出部24cは、現時点において、N個の俯瞰パラメータに基づいて間隔指標値を算出したか否かを判定する(ステップST8)。
【0051】
現時点では、1個の俯瞰パラメータに基づいた間隔指標値を算出している。このため、俯瞰パラメータ算出部24cは、N個の俯瞰パラメータに基づいた間隔指標値を算出していないと判定する(ステップST8;NO)。次いで、俯瞰パラメータ算出部24cは、次の俯瞰パラメータに変更する(ステップST12)。図5の場合、俯瞰パラメータ算出部24cは、例えば出力画像の頂点e,fのx座標を0.1だけ変化させ、この値に射影変換するための俯瞰パラメータに変更する。
【0052】
この後、ステップST5の処理に戻り、変更後の俯瞰パラメータを用いて、上述の処理を繰り返す。この間に、例えば図6の(e)に示すような俯瞰画像が得られ、2値化画像の白画素数がヒストグラム化され、図6の(f)に示すようなヒストグラムが得られる。図6の(f)に示すヒストグラムでは、白線と白線でない部分の全ての幅が一定となっている。このとき、間隔指標算出部24bは、これらの幅の分散の平均値=“0”を間隔指標値として算出する。
【0053】
N個の俯瞰パラメータに基づいて間隔指標値を算出した場合(ステップST8;YES)、俯瞰パラメータ算出部24cは、間隔指標値(幅の分散の平均値)が最も低いときの俯瞰パラメータを適切なパラメータであると推定して、俯瞰パラメータ記憶部25に記憶する(ステップST9)。
【0054】
次に、俯瞰変換部23は、撮像データ記憶部22に記憶した撮像データのうち、俯瞰パラメータ推定部24による俯瞰パラメータの推定を終えた撮像データを削除する(ステップST10)。この後、俯瞰変換部23は、俯瞰パラメータ記憶部25から適正化された俯瞰パラメータを読み出し、これに基づき俯瞰画像を生成してモニタ30に表示する(ステップST11)。これにより、図4の処理が終了する。
【0055】
以上のように、この実施の形態1によれば、俯瞰変換部23が、画像を射影変換により俯瞰画像に変換する俯瞰パラメータを記憶する俯瞰パラメータ記憶部25から読み出した俯瞰パラメータを用いて、カメラ10により撮像された撮像画像を俯瞰画像に変換し、間隔指標算出部24bが、等間隔のパターンの標示が撮像された撮像画像を変換した俯瞰画像上で標示のパターンの間隔が揃う度合を示す間隔指標値を算出し、俯瞰パラメータ算出部24cが、算出された間隔指標値に基づいて、俯瞰画像上で標示のパターンの間隔が所定の範囲内で揃う俯瞰パラメータを算出して俯瞰パラメータ記憶部25に記憶する。
このように、従来のカメラ姿勢パラメータによる視点変換ではなく、射影変換を用いるために俯瞰変換を簡易な演算で実施できる。さらに等間隔のパターンの標示が撮像された俯瞰画像から標示のパターンの間隔指標値を算出して、これに基づいて俯瞰パラメータを簡易に調整できる。
【0056】
地面などの基準面に描かれた等間隔のパターンの標示は、俯瞰画像においても等間隔のパターンで表現されるはずであるが、俯瞰パラメータが適正でない場合には、俯瞰画像上で標示のパターンの間隔に乱れが生じる。
そこで、本発明では、俯瞰画像に撮像されている等間隔のパターンの間隔指標値を算出し、これに基づきパターンの間隔が揃うように俯瞰パラメータを調整することで、適正な俯瞰パラメータを簡易に調整することができる。
また、俯瞰画像から俯瞰パラメータを求めるので、あらかじめテストパターン等を用意する必要がなく、かつ無限遠を求める必要がないため、適正な俯瞰パラメータを推定する困難さを軽減できる。さらに、車両左右のカメラであっても、俯瞰パラメータを推定することができる。
【0057】
また、この実施の形態1によれば、等間隔のパターンの標示が撮像された撮像画像を取得する標示撮像データ取得部21と、標示撮像データ取得部21により取得された撮像画像を記憶する撮像データ記憶部22とを備え、俯瞰変換部23が、撮像データ記憶部22から読み出した撮像画像を俯瞰画像に変換し、間隔指標算出部24bが、俯瞰変換部23によって変換された俯瞰画像を取得し、この俯瞰画像上で標示のパターンの間隔が揃う度合を示す間隔指標値を算出する。
このように構成することにより、撮像画像を撮像データ記憶部22に一時的に記憶することが可能であり、処理負荷が少ない合間を選んで俯瞰パラメータの推定処理を行うことができる。
【0058】
さらに、この実施の形態1によれば、等間隔のパターンの標示が撮像された撮像画像の俯瞰画像を2値化変換する2値化変換部24aを備え、間隔指標算出部24bが、2値化変換部24aが2値化した標示のパターンを用いて、間隔指標値を算出する。このとき、間隔指標算出部24bが、2値化変換された標示のパターンの画素数のヒストグラムを作成し、このヒストグラムに基づいて判別したパターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出する。このように、2値化変換などの画像処理技術を用いて、間隔指標値を簡易に演算することができる。
【0059】
さらに、この実施の形態1によれば、標示撮像データ取得部21が、カメラ10により撮像された撮像画像に対して画像認識を行って等間隔のパターンの標示が撮像された撮像画像を取得するので、地面などの基準面に描かれた標示が撮像された画像を精度よく取得することができる。
【0060】
さらに、この実施の形態1によれば、外部からの操作を受け付ける操作部40を備え、標示撮像データ取得部21が、操作部40を用いて指定されたタイミングでカメラ10により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得するので、地面などの基準面に描かれた標示が撮像された画像を精度よく取得することができる。
【0061】
さらに、この実施の形態1によれば、カメラ10が車両に搭載されて、その周囲を撮像し、標示撮像データ取得部21が、現在位置と地図データに基づいて、等間隔のパターンの標示が存在する地点に自車が到達したと判別されたタイミングでカメラ10により撮像された撮像画像を、等間隔のパターンの標示が撮像された撮像画像として取得するので、地面などの基準面に描かれた標示が撮像された画像を精度よく取得することができる。
【0062】
さらに、この実施の形態1によれば、ナビゲーション装置2が、上述した俯瞰映像生成装置20を備えるので、ナビゲーション処理で生じた画像情報を、適正な俯瞰パラメータを用いて俯瞰画像に変換して提示することができる。また、撮像画像を撮像データ記憶部22に一時的に記憶することで、ナビゲーション処理の合間を選んで俯瞰パラメータの推定処理を行うことができる。
【0063】
なお、上記実施の形態1において、間隔指標算出部24bが、N個の俯瞰パラメータに基づいて、白線と白線でない部分の幅の分散の平均値を間隔指標値として算出し、俯瞰パラメータ算出部24cが、間隔指標値が最も低い(幅の分散の平均値が最も低い)ときの俯瞰パラメータを最も精度が高いパラメータであると推定する場合を示したが、本発明に係る俯瞰パラメータの推定は、これに限定されるものではない。
例えば、カメラ10の撮像上の誤差を考慮して、俯瞰画像上で標示のパターンの間隔が所定の誤差範囲内で揃う、すなわち間隔指標値が所定の閾値よりも高い範囲(幅の分散の平均値が所定の閾値よりも低い範囲)である場合は、俯瞰パラメータの精度が高いと判断してもよい。
さらに、俯瞰パラメータ記憶部25に俯瞰パラメータを上書きするのではなく、事前に算出していた俯瞰パラメータを加味して更新してもよい。
【0064】
実施の形態2.
図7は、この発明の実施の形態2に係る俯瞰映像生成装置を備えた映像表示システムの構成を示すブロック図であり、図1と同様に、本発明に係る俯瞰映像生成装置を搭載した車両の車両周囲表示システムを示している。図7において、実施の形態2に係る車両周囲表示システム1Aは、カメラ10、俯瞰映像生成装置20Aおよびモニタ30を備える。
俯瞰映像生成装置20Aは、図7に示すように、標示撮像データ取得部21、撮像データ記憶部22、俯瞰変換部23、俯瞰パラメータ推定部24Aおよび俯瞰パラメータ記憶部25を備える。
【0065】
俯瞰パラメータ推定部24Aには、図1で示した構成にエッジ抽出処理部24dが追加されている。エッジ抽出処理部24dは、2値化画像上のエッジを抽出するエッジ抽出部であり、エッジ抽出処理により俯瞰画像(2値化画像)上の線を特定する。
なお、2値化によりエッジ抽出処理や間隔指標値の算出処理の演算量が低減されるが、元の俯瞰画像からエッジ抽出処理によって所定の標示が特定可能であれば、2値化変換を省略、すなわち2値化変換部24aを省略してもよい。
【0066】
間隔指標算出部24bは、俯瞰画像データが示す俯瞰画像上のパターンの間隔指標値を算出する。この俯瞰画像上のパターンは、エッジ抽出処理部24dが抽出したエッジで特定される線である。すなわち、間隔指標算出部24bは、エッジ抽出処理部24dが抽出したエッジを、俯瞰画像上の線と判断して間隔指標値を算出する。
【0067】
図8は、実施の形態2に係る俯瞰映像生成装置を備えたナビゲーション装置の構成を示すブロック図である。図8において、ナビゲーション装置2Aは、移動体(例えば車両)に搭載される移動体用のナビゲーション装置であって、実施の形態2に係る俯瞰映像生成装置20Aと、ナビゲーション処理部3、地図DB4、位置情報取得部5および位置計算部6を備える。なお、ナビゲーション装置2Aにおいて、図7で示した俯瞰映像生成装置20A以外の構成は、図2を用いて説明した構成と同様である。
【0068】
次に動作について説明する。
図9は、実施の形態2に係る俯瞰映像生成装置の動作を示すフローチャートである。図9において、標示撮像データ取得部21が実施するステップST1からステップST3までの処理、俯瞰パラメータ推定部24が実施するステップST4からステップST5までの処理、ステップST8からステップST12までの処理は、図4と同様である。
したがって、実施の形態1と異なる処理であるステップST6−1およびステップST7aの処理について説明する。
【0069】
ステップST6−1において、エッジ抽出処理部24dは、2値化変換部24aが2値化変換した俯瞰画像(所定の標示が撮像されているもの)上のエッジを抽出する。
次に、間隔指標算出部24bは、エッジ抽出処理部24dにより抽出されたエッジを、俯瞰画像上の線として標示の間隔指標値を算出する(ステップST7a)。
【0070】
図10は、実施の形態2に係る間隔指標に基づく俯瞰パラメータの推定処理を示す図である。まず、エッジ抽出処理部24dは、2値化変換部24aが2値化した画像のエッジを抽出する。これにより、図10の(a)に示す画像が得られる。なお、このエッジ抽出処理には、例えば画像値の1次微分によってエッジを抽出するSobel filterを用いる。
【0071】
続いて、間隔指標算出部24bは、エッジ抽出処理部24dが抽出したエッジを対象に直線を抽出する。例えば、Hough変換を用いて直線を抽出する。Hough変換は、画像上の座標(x,y)を原点からの距離ρと角度θに変換する処理である。Hough変換を用いることで、図10の(b)に示すように、各直線の角度をヒストグラム化することができる。また、各直線の原点からの距離をρで表すことができる。
【0072】
間隔指標算出部24bは、角度θのヒストグラムの結果に適当な閾値を設けることで、一定の角度θの直線のみを抽出することができる。図10の(c)は、上記閾値との比較処理によって横線のみを抽出した結果である。
各直線と原点との距離はρで表されるので、距離ρを用いて各直線の幅を算出できる。間隔指標算出部24bは、各直線の幅を上記実施の形態1と同様に処理して、幅の分散の平均値を間隔指標値として算出する。俯瞰パラメータ算出部24cは、この間隔指標値を用いて、上記実施の形態1と同様に、適正化した俯瞰パラメータを算出する。
【0073】
以上のように、この実施の形態2によれば、等間隔のパターンの標示が撮像された撮像画像の俯瞰画像上のエッジを抽出するエッジ抽出処理部24dを備え、間隔指標算出部24bが、エッジ抽出処理部24dが抽出した標示のエッジを用いて、間隔指標値を算出する。このとき、間隔指標算出部24bが、エッジ抽出処理部24dにより抽出された標示のパターンのエッジと俯瞰画像上の原点との距離に基づいて、パターンの幅と隣り合うパターンの間隔を求め、パターンの幅と隣り合うパターンの間隔を用いて間隔指標値を算出する。このようにすることで、間隔指標値を簡易に演算することができる。また、等間隔のパターンの標示が撮像画像上で斜めに撮像されていても、エッジと俯瞰画像上の原点との距離から、パターンの幅と隣り合うパターンの間隔を求めることができる。
【0074】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0075】
1,1A 車両周囲表示システム、2,2A ナビゲーション装置、3 ナビゲーション処理部、4 地図データベース(地図DB)、5 位置情報取得部、6 位置計算部、7 車両制御部、10 カメラ、20,20A 俯瞰映像生成装置、21 標示撮像データ取得部、21a 画像認識部、22 撮像データ記憶部、23 俯瞰変換部、23a 表示制御部、24,24A 俯瞰パラメータ推定部、24a 2値化変換部、24b 間隔指標算出部、24c 俯瞰パラメータ算出部、24d エッジ抽出処理部、25 俯瞰パラメータ記憶部、30 モニタ、40 操作部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10