特開 2015-186085 移動量導出装置、及び、移動量導出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-186085(P2015-186085A)

(43)【公開日】2015年10月22日

(54)【発明の名称】移動量導出装置、及び、移動量導出方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20150925BHJP

   G08G 1/16 20060101ALI20150925BHJP

   B60R 21/00 20060101ALI20150925BHJP

   G06T 7/20 20060101ALI20150925BHJP

【ＦＩ】

   H04N7/18 J

   G08G1/16 C

   B60R21/00 621C

   G06T7/20 B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】19

(21)【出願番号】特願2014-61656(P2014-61656)

(22)【出願日】2014年3月25日

(71)【出願人】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(72)【発明者】

【氏名】三野 敦

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】垣田 直士

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054FC13

5C054FC16

5C054HA30

5H181AA01

5H181CC04

5H181FF07

5H181FF27

5H181FF33

5H181LL17

5L096BA04

5L096CA04

5L096FA35

5L096HA04

(57)【要約】

【課題】専用のセンサを設けることなく、自車両の移動量を導出することが可能な技術を提供する。
【解決手段】自装置の移動量を導出する移動量導出装置であって、撮影装置から撮影画像を取得する画像取得手段と、前記取得した撮影画像のうち、異なる時点で撮影された複数の撮影画像を用いて、被写体の移動ベクトルを導出する移動ベクトル導出手段と、前記移動ベクトルに基づいて移動量を導出する移動量導出手段と、を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

自装置の移動量を導出する移動量導出装置であって、
撮影装置から撮影画像を取得する画像取得手段と、
前記取得した撮影画像のうち、異なる時点で撮影された複数の撮影画像を用いて、被写体の移動ベクトルを導出する移動ベクトル導出手段と、
前記移動ベクトルに基づいて移動量を導出する移動量導出手段と、
を備えていることを特徴とする移動量導出装置。

【請求項2】

請求項１に記載の移動量導出装置において、
前記撮影画像に対応する俯瞰画像を生成する俯瞰画像生成手段をさらに備え、
前記移動ベクトル導出手段は、前記異なる時点で撮影された複数の撮影画像に対応する各俯瞰画像に基づいて、移動ベクトルを導出することを特徴とする移動量導出装置。

【請求項3】

請求項１に記載の移動量導出装置において、
前記移動ベクトル導出手段は、前記撮影画像に基づいて導出された移動ベクトルに対応する路面上の移動ベクトルを導出することを特徴とする移動量導出装置。

【請求項4】

請求項３に記載の移動量導出装置において、
前記移動ベクトル導出手段は、前記撮影画像に基づいて導出された移動ベクトルを路面に投影することにより、路面上の移動ベクトルを導出することを特徴とする移動量導出装置。

【請求項5】

請求項１ないし４のいずれか１項に記載の移動量導出装置において、
前記移動量導出手段は、前記導出した移動ベクトルの中から、路面の移動ベクトルを抽出することを特徴とする移動量導出装置。

【請求項6】

請求項５に記載の移動量導出装置において、
前記移動量導出手段は、前記導出した移動ベクトルについて、大きさに関するヒストグラムを作成し、移動ベクトルの数が最も多い大きさの移動ベクトルを路面の移動ベクトルとして抽出することを特徴とする移動量導出装置。

【請求項7】

請求項５又は６に記載の移動量導出装置において、
前記移動量導出手段は、前記導出した移動ベクトルについて、方向に関するヒストグラムを作成し、移動ベクトルの数が最も多い方向の移動ベクトルを路面の移動ベクトルとして抽出することを特徴とする移動量導出装置。

【請求項8】

自装置の移動量を導出する移動量導出方法であって、
（ａ）撮影装置から撮影画像を取得する工程と、
（ｂ）前記取得した撮影画像のうち、異なる時点で撮影された複数の撮影画像を用いて、被写体の移動ベクトルを導出する工程と、
（ｃ）前記移動ベクトルに基づいて移動量を導出する工程と、
を備えていることを特徴とする移動量導出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の移動量を導出する技術に関する。

【背景技術】

【0002】

従来より、自車両の移動量を導出し、導出した移動量を用いた種々の車両制御が行われている。例えば、駐車支援の一例として、導出した移動量から自車両の今後の移動経路を推定し、バックカメラで撮像した画像にガイド線を重畳表示するものがある。また、自車両の移動量を用いて、カメラで撮像した画像から立体物を検出するものもある。このような自車両の移動量は、例えば、車速センサや蛇角センサなどの各種センサで取得した情報に基づいて導出される（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2013-020458号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の技術では、自車両の移動量を導出するための車速センサや蛇角センサといった専用のセンサを設ける必要があった。このため、コストがかかると共に、センサの取り付けスペースも必要になり、小型化及び低価格化を実現することが困難であった。

【0005】

本発明は、上記課題に鑑みてなされたものであり、移動量を導出するための専用のセンサを設けることなく、自車両の移動量を導出することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、請求項１の発明は、自装置の移動量を導出する移動量導出装置であって、撮影装置から撮影画像を取得する画像取得手段と、前記取得した撮影画像のうち、異なる時点で撮影された複数の撮影画像を用いて、被写体の移動ベクトルを導出する移動ベクトル導出手段と、前記移動ベクトルに基づいて移動量を導出する移動量導出手段と、を備えている移動量導出装置である。

【0007】

また、請求項２の発明は、請求項１に記載の移動量導出装置において、前記撮影画像に対応する俯瞰画像を生成する俯瞰画像生成手段をさらに備え、前記移動ベクトル導出手段は、前記異なる時点で撮影された複数の撮影画像に対応する各俯瞰画像に基づいて、移動ベクトルを導出する。

【0008】

また、請求項３の発明は、請求項１に記載の移動量導出装置において、前記移動ベクトル導出手段は、前記撮影画像に基づいて導出された移動ベクトルに対応する路面上の移動ベクトルを導出する。

【0009】

また、請求項４の発明は、請求項３に記載の移動量導出装置において、前記移動ベクトル導出手段は、前記撮影画像に基づいて導出された移動ベクトルを路面に投影することにより、路面上の移動ベクトルを導出する。

【0010】

また、請求項５の発明は、請求項１ないし４のいずれか１項に記載の移動量導出装置において、前記移動量導出手段は、前記導出した移動ベクトルの中から、路面の移動ベクトルを抽出する。

【0011】

また、請求項６の発明は、請求項５に記載の移動量導出装置において、前記移動量導出手段は、前記導出した移動ベクトルについて、大きさに関するヒストグラムを作成し、移動ベクトルの数が最も多い大きさの移動ベクトルを路面の移動ベクトルとして抽出する。

【0012】

また、請求項７の発明は、請求項５又は６に記載の移動量導出装置において、前記移動量導出手段は、前記導出した移動ベクトルについて、方向に関するヒストグラムを作成し、移動ベクトルの数が最も多い方向の移動ベクトルを路面の移動ベクトルとして抽出する。

【0013】

また、請求項８の発明は、自装置の移動量を導出する移動量導出方法であって、（ａ）撮影装置から撮影画像を取得する工程と、（ｂ）前記取得した撮影画像のうち、異なる時点で撮影された複数の撮影画像を用いて、被写体の移動ベクトルを導出する工程と、（ｃ）前記移動ベクトルに基づいて移動量を導出する工程と、を備えている移動量導出方法である。

【発明の効果】

【0014】

請求項１ないし８の発明によれば、撮影画像を用いて導出した移動ベクトルに基づいて移動量を導出しているため、移動量を導出するための専用のセンサを設けることなく移動量を導出することが可能となる。

【0015】

また、特に請求項２の発明によれば、撮影画像に対応する俯瞰画像に基づいて移動ベクトルを導出していることから、実空間の移動量に近い大きさの移動ベクトルを導出することが可能となる。

【0016】

また、特に請求項３及び４の発明によれば、撮影画像に基づいて導出された移動ベクトルに対応する路面上の移動ベクトルを導出することから、実空間の移動量に近い大きさの移動ベクトルを導出することが可能になる。

【0017】

また、特に請求項５ないし７の発明によれば、移動ベクトルの中から路面の移動ベクトルを抽出するので、移動量を高精度に導出することが可能になる。

【図面の簡単な説明】

【0018】

【図1】図１は、移動量導出システムのブロック図である。

【図2】図２は、カメラの撮影方向を示す図である。

【図3】図３は、移動量導出システムの利用場面を示す図である。

【図4】図４は、自車両後方の撮影画像を示す図である。

【図5】図５は、移動量導出システムの処理を示すフローチャートである。

【図6】図６は、撮影画像及び俯瞰画像を示す図である。

【図7】図７は、撮影画像及び俯瞰画像を示す図である。

【図8】図８は、移動ベクトルの導出手法を説明する図である。

【図9】図９は、移動ベクトルのヒストグラムを示す図である。

【図10】図１０は、移動量導出システムのブロック図である。

【図11】図１１は、移動量導出システムの処理を示すフローチャートである。

【図12】図１２は、移動ベクトルの導出手法を説明する図である。

【図13】図１３は、移動ベクトルの導出手法を説明する図である。

【図14】図１４は、移動ベクトルの導出手法を説明する図である。

【図15】図１５は、移動ベクトルのヒストグラムを示す図である。

【図16】図１６は、移動ベクトルのヒストグラムを示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0020】

＜１．第１の実施の形態＞
＜１−１．システムの構成＞
まず、本実施の形態の移動量導出システム１０の構成について説明する。図１は、移動量導出システム１０の概略構成を示すブロック図である。移動量導出システム１０は、カメラ１と、移動量導出装置２と、表示装置３とを備えている。この移動量導出システム１０は、自動車などの車両に搭載されて当該車両の移動量を導出する機能を有している。また、移動量導出システム１０は、導出した移動量を用いて、例えば駐車支援としてのガイド線を表示する等の機能を有していてもよい。以下では、移動量導出システム１０が搭載される車両を「自車両」という。

【0021】

カメラ１は、自車両の周辺を撮影して撮影画像を得るものである。このカメラ１は、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。カメラ１は、所定の周期（例えば、１／３０秒周期）で繰り返し撮影画像を取得する。なお、カメラ１は、例えば、自車両の後部に設けられ、車両後方を撮影するバックカメラとして用いられる。ただし、これに限定されるものではなく、他の方向を撮影するカメラであっても適用可能であるし、複数のカメラを用いる構成とすることもできる。

【0022】

図２は、カメラ１をバックカメラとして用いた場合に、カメラ１が撮影する方向を示す図である。図２に示すように、カメラ１は、自車両の後端の背面ドア９２に設けられ、その光軸１５は自車両の前後方向に沿って後方に向けられる。したがって、カメラ１は、自車両の後方を撮影して、自車両の後方の様子を示す撮影画像を取得する。また、このカメラ１のレンズには魚眼レンズが採用されており、カメラ１は、略１３５度の画角を有している。このため、カメラ１は、自車両の後方に広がる左右方向に略１３５度程度の領域を撮影することが可能である。

【0023】

移動量導出システム１０は、このカメラ１で得られた撮影画像を用いて自車両の移動量を導出する。そして、移動量導出システム１０は、導出した過去の移動量も用いて将来の移動経路を推定し、撮影画像上にガイド線として移動経路を重畳表示した画像を表示装置３にて表示する。これにより、ユーザは、自車両がこれから移動すると予想される経路を容易に把握することができる。

【0024】

図３は、移動量導出システム１０が利用される場面の一例を示す図である。図３においては、自車両を駐車場に駐車させようとしている場面を示している。図３は、駐車場への駐車動作の途中の状態を示しており、この場合のカメラ１で撮影した自車両後方の撮影画像は例えば図４のようになる。

【0025】

図１に戻り、移動量導出装置２は、カメラ１で取得した撮影画像に基づいて自車両の移動量を導出するものである。この移動量導出装置２は、画像取得部２１、画像処理部２２、画像出力部２３、メモリ２４、及び、制御部２５を備えている。

【0026】

画像取得部２１は、カメラ１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、画像取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１が処理した撮影画像の１つが、映像信号の１つのフレームとなる。

【0027】

画像処理部２２は、画像取得部２１が取得した撮影画像に対して所定の処理を実行する。画像処理部２２としては、例えば、そのような所定の処理が実行可能なＡＳＩＣやＦＰＧＡなどのハードウェア回路を用いることができる。画像処理部２２は、俯瞰画像生成部２２ａと、移動ベクトル導出部２２ｂと、移動量導出部２２ｃとを備えている。

【0028】

俯瞰画像生成部２２ａは、画像取得部２１が取得した撮影画像から俯瞰画像を生成する機能を有している。例えば、俯瞰画像生成部２２ａは、画像取得部２１が取得した撮影画像の視点位置を自車両上方に変換し、再描画することで俯瞰画像を生成するようになっている。俯瞰画像生成部２２ａによって生成された俯瞰画像は、メモリ２４に記憶される。

【0029】

移動ベクトル導出部２２ｂは、俯瞰画像生成部２２ａにて生成した俯瞰画像を用いて自車両の移動ベクトルを導出する機能を有している。例えば、移動ベクトル導出部２２ｂは、時間的に前後する撮影画像から生成された各俯瞰画像において、同じ被写体を表示している部分を抽出し、各表示位置の関係に基づいて移動ベクトルを導出する。

【0030】

移動量導出部２２ｃは、移動ベクトル導出部２２ｂが導出した移動ベクトルを用いて自車両の移動量を導出する機能を有している。移動ベクトル導出部２２ｂが導出した移動ベクトルには、路面の移動ベクトルと立体物の移動ベクトルとが含まれている。路面の移動ベクトルとは、路面部分が移動した大きさや方向を示すベクトルである。自車両の移動量は、路面の移動ベクトルに対応しているので、移動量導出部２２ｃは、導出された移動ベクトルの中から路面の移動ベクトルを抽出し、その路面の移動ベクトルに基づいて自車両の移動量を導出する。

【0031】

なお、これら俯瞰画像生成部２２ａによる俯瞰画像の生成処理と、移動ベクトル導出部２２ｂによる移動ベクトルの導出処理と、移動量導出部２２ｃによる移動量の導出処理の詳細については後述する。

【0032】

画像出力部２３は、導出した移動量を用いて実行した各種処理の結果に関する情報を撮影画像に含ませた表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。例えば、移動量を用いて将来の移動経路を推定した場合には、推定した移動経路を示すガイド線を撮影画像に重畳した表示画像を生成して、表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。

【0033】

メモリ２４は、俯瞰画像生成部２２ａにて生成された俯瞰画像を記憶する。本実施の形態では、移動ベクトル導出部２２ｂが、撮影タイミングの異なる複数の俯瞰画像を用いて移動ベクトルを導出するようになっている。このため、メモリ２４には、最新の俯瞰画像の他に、過去の俯瞰画像も記憶されている。つまり、メモリ２４には、移動ベクトルの導出に必要な俯瞰画像が記憶されている。なお、メモリ２４としては、揮発性の半導体メモリや不揮発性の半導体メモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成してもよい。

【0034】

制御部２５は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理部２２を含む移動量導出装置２の各部を制御する。制御部２５の各種の機能は、ソフトウェアで実現される。すなわち、制御部２５の機能は、ＲＯＭなどに記憶されたプログラムに従ったＣＰＵの演算処理（プログラムの実行）によって実現される。

【0035】

表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能や、ユーザの操作を受け付けるタッチパネル機能を備えていてもよい。

【0036】

＜１−２．システムの処理＞
次に、移動量導出システム１０の処理について説明する。図５は、移動量導出システム１０の処理を示すフローチャートである。

【0037】

移動量導出システム１０は、開始指示の入力があった場合や、自車両のギアがＲ（リバース）に入った場合などの所定の条件が成立すると、画像取得部２１がカメラ１による撮影画像を取得して、画像処理部２２に出力する。そして、画像処理部２２が俯瞰画像生成処理を実行する（ステップＳ１０１）。

【0038】

具体的には、まず、俯瞰画像生成部２２ａが、画像取得部２１から撮影画像のデータを取得する。撮影画像はカメラ１の光軸が視点方向となっているため、俯瞰画像生成部２２ａは、視点方向を変換して、撮影画像を上方から見た俯瞰画像を生成する。なお、カメラの撮影画像から俯瞰画像を生成する方法は、既存の方法を用いることができる。

【0039】

俯瞰画像生成部２２ａは、画像取得部２１が取得した各撮影画像に対応する俯瞰画像を生成する。つまり、俯瞰画像生成部２２ａは、フレーム毎に撮影画像から俯瞰画像を生成する。そして、俯瞰画像生成部２２ａは、生成した俯瞰画像をメモリ２４に記憶させる。

【0040】

ここで、図を用いて説明する。図６及び図７に示す画像は、時間的に異なるタイミングで撮影された画像であり、図６（ａ）及び図７（ａ）は、カメラ１による撮影画像を示し、図６（ｂ）及び図７（ｂ）は、これらの撮影画像から生成された俯瞰画像を示している。俯瞰画像生成部２２ａは、図６（ａ）に示すような撮影画像を画像取得部２１から取得すると、この撮影画像の視点を変換して図６（ｂ）に示すような俯瞰画像を生成する。また、俯瞰画像生成部２２ａは、図７（ａ）に示すような撮影画像を取得すると、この撮影画像の視点を変換して図７（ｂ）に示すような俯瞰画像を生成する。このように、俯瞰画像生成部２２ａは、異なるフレームの撮影画像毎に俯瞰画像を生成する。

【0041】

図５に戻り、次に、画像処理部２２は、移動ベクトル導出処理を実行する（ステップＳ１０２）。これは、移動ベクトル導出部２２ｂが、俯瞰画像生成部２２ａにて生成された俯瞰画像を用いて移動ベクトルを導出する処理である。

【0042】

具体的には、移動ベクトル導出部２２ｂは、俯瞰画像生成部２２ａが生成した現フレームの俯瞰画像を取得すると共に、メモリ２４に記憶されている前フレームの俯瞰画像を取得する。そして、移動ベクトル導出部２２ｂは、これら前後フレームの各俯瞰画像を比較して、各俯瞰画像から同一の被写体を表示している画素を抽出する。そして、移動ベクトル導出部２２ｂは、前フレームで抽出した画素の位置（座標）と、後フレームで抽出した画素の位置（座標）とを結ぶことで移動ベクトルを導出する。つまり、同一の被写体が俯瞰画像上で移動した前後の点を結ぶベクトルが移動ベクトルとなる。

【0043】

同一の被写体を表示している画素を抽出する方法としては、例えば、テンプレートマッチング手法を用いることができる。テンプレートマッチング手法とは、画像の中から、予め指定したテンプレート画像と似ている位置を探す手法である。本実施の形態で用いる場合には、例えば、前フレームの俯瞰画像の一部分の画像をテンプレートとして、後フレームの俯瞰画像と比較するといった処理を画像全体に渡って実行すればよい。このようなテンプレートマッチング手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の手法を用いることができる。

【0044】

また、テンプレートマッチング手法以外にも特徴点方式を用いることもできる。特徴点方式とは、いわゆる、オプティカルフローを用いた方式である。つまり、互いに異なる時点に取得された複数の撮影画像から生成された各俯瞰画像のそれぞれから特徴点を抽出し、複数の俯瞰画像間での特徴点の動きを示すオプティカルフローを導出する。特徴点とは、際立って検出できる点であり、例えば、物体のコーナー（エッジの交点）などの点である。そして、特徴点方式では、直近の俯瞰画像から抽出した特徴点と、過去の俯瞰画像から抽出した特徴点とを対応づけ、この対応付けられた各特徴点の位置に基づいて移動ベクトルを導出する。

【0045】

ここで、移動ベクトルを導出する方法について図を用いて説明する。図８は、特徴点方式を用いて移動ベクトルを導出する手法を説明する図である。図８（ａ）及び（ｂ）は、各々前フレームの俯瞰画像及び後フレームの俯瞰画像を示している。これらは、図６及び図７で示す撮影画像から生成した俯瞰画像と同じである。

【0046】

図８（ａ）及び（ｂ）に示すように、前後フレームの各俯瞰画像中には、例としての特徴点（黒丸）が示されている。また、図８（ｂ）には、前フレームの位置から後フレームの位置までに特徴点が移動した経路も示されている。移動ベクトル導出部２２ｂは、この特徴点が移動した方向及び向きを移動ベクトルとして導出する。

【0047】

図５に戻り、次に、画像処理部２２は、移動量導出処理を実行する（ステップＳ１０３）。これは、移動量導出部２２ｃが、移動ベクトル導出部２２ｂにて導出された移動ベクトルを用いて自車両の実際の移動量を導出する処理である。

【0048】

カメラ１で車両周辺を撮影した画像には、路面を表示する部分と、自動車等の立体物を表示する部分との双方が含まれていることが多い。路面は、平面であり移動物ではないため、路面の移動ベクトルは、全て略同じ方向及び略同じ大きさの移動ベクトルになる。一方、立体物の移動ベクトルは、その立体物の移動方向や高さなどに応じて、方向及び大きさの異なる移動ベクトルとなる。

【0049】

このため、立体物の移動ベクトルは、自車両の移動量を正確に反映したものではなく、路面の移動ベクトルが自車両の移動量を正確に反映したものとなる。したがって、移動ベクトル導出部２２ｂが導出した移動ベクトルには、種々の方向及び大きさの移動ベクトルが含まれていることになるが、自車両の移動量を正確に導出するためには、その中から路面の移動ベクトルを抽出する必要がある。

【0050】

一般的には、車両周辺を撮影した画像には、路面を表示する部分が最も多く含まれているため、通常は、路面に関する移動ベクトルが最も多い。そこで、本実施の形態では、全ての移動ベクトルについて大きさに関するヒストグラムを生成し、数が最も多い部分の移動ベクトルを、路面の移動ベクトルとして抽出する。そして、移動量導出部２２ｃは、抽出した路面の移動ベクトルの大きさを自車両の移動量として導出する。

【0051】

ここで、具体的に図を用いて説明する。図９は、全移動ベクトルについての大きさに関するヒストグラムを示す図である。図９に示すヒストグラムは、移動ベクトルの大きさをＬ１〜Ｌ９の長さ範囲に分け、全移動ベクトルを各々の大きさに応じて分類分けし、その数を積算したものである。図９に示すように、移動ベクトルの数が最も多い大きさはＬ５に含まれる移動ベクトルである。このため、移動量導出部２２ｃは、路面の移動ベクトルが、このＬ５に含まれていると判定する。すなわち、移動量導出部２２ｃは、路面の移動ベクトルを抽出することができる。

【0052】

そして、移動量導出部２２ｃは、抽出した路面の移動ベクトルの大きさを自車両の移動量として導出する。つまり、図９の場合には、Ｌ５が自車両の移動量として導出されることになる。

【0053】

図５に戻り、次に、移動量導出システム１０は、導出した移動量を用いて所定の表示処理を行う（ステップＳ１０４）。移動量を用いた表示処理の例としては、例えば、将来の移動経路をガイド線で表示するものがある。この場合、制御部２５が、移動量導出部２２ｃにて導出された移動量に基づいて、将来の自車両の移動経路を推定する。この推定は、数フレーム分の俯瞰画像から導出された移動量から将来の移動経路を予測することにより行われる。

【0054】

次いで、画像出力部２３が、推定された移動経路を表示するガイド線を撮影画像に重畳した表示画像を生成し、表示装置３に出力する。そして、表示装置３が、入力した表示画像を表示する。これにより、所定の表示処理が実行される。

【0055】

以上のように、本実施の形態では、カメラ１で撮影した画像を俯瞰画像に変換することで、路面の移動ベクトルを導出することが可能になるため、自車両の移動量を導出することができる。また、専用のセンサを設けることなく、他の用途で設置されているカメラを用いて移動量を導出することが可能となるため、小型化及び低価格化を実現することができる。

【0056】

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、異なる時点で撮影された画像から生成した複数の俯瞰画像を用いて路面の移動ベクトルを導出する構成について説明したが、これに限定されるものではない。例えば、カメラの撮影画像から画像上での移動ベクトルを導出し、これを路面に投影することで路面の移動ベクトルを導出する構成としてもよい。そこで、第２の実施の形態では、この構成について説明する。

【0057】

第１の実施の形態では、路面の移動ベクトルを導出するために、フレーム毎に撮影画像から俯瞰画像を生成する必要があった。これに対して、第２の実施の形態では、撮影画像から俯瞰画像を生成することなく路面の移動ベクトルの導出が可能となるため、処理負荷を低減することが可能になる。

【0058】

また、撮影画像から俯瞰画像を生成すると、画質が劣化してしまうため、移動ベクトルの導出精度も低下してしまうことがあったものの、第２の実施の形態では、俯瞰画像への変換処理がないため、移動ベクトルを導出する際の精度低下も回避することが可能になる。以下、具体的に説明する。

【0059】

＜２−１．システムの構成＞
まず、本実施の形態の移動量導出システム１１の構成について説明する。図１０は、移動量導出システム１１の概略構成を示すブロック図である。移動量導出システム１１は、カメラ１と、移動量導出装置２と、表示装置３とを備えている。この移動量導出システム１１は、自動車などの車両に搭載されて当該車両の移動量を導出する機能を有している。また、移動量導出システム１１は、導出した移動量を用いて、例えば駐車支援としてのガイド線を表示する等の機能を有していてもよい。以下では、移動量導出システム１１が搭載される車両を「自車両」という。

【0060】

カメラ１は、自車両の周辺を撮影して撮影画像を得るものであり、第１の実施の形態のカメラ１と同様の構成を有している。また、移動量導出システム１１は、このカメラ１で得られた撮影画像を用いて自車両の移動量を導出し、導出した移動量を利用する例なども第１の実施の形態と同様である。

【0061】

移動量導出装置２は、カメラ１で取得した撮影画像に基づいて自車両の移動量を導出するものである。この移動量導出装置２は、画像取得部２１、画像出力部２３、制御部２５、画像処理部２６、及び、メモリ２７を備えている。

【0062】

画像取得部２１、画像出力部２３、及び、制御部２５は、第１の実施の形態の各構成と同様の構成である。このため、本実施の形態では、その説明を省略し、画像処理部２６及びメモリ２７の構成について説明する。

【0063】

画像処理部２６は、画像取得部２１が取得した撮影画像に対して所定の処理を実行する。画像処理部２６としては、例えば、そのような所定の処理が実行可能なＡＳＩＣやＦＰＧＡなどのハードウェア回路を用いることができる。画像処理部２６は、移動ベクトル導出部２６ａと、路面投影部２６ｂと、移動量導出部２６ｃとを備えている。

【0064】

移動ベクトル導出部２６ａは、画像取得部２１が取得した撮影画像を用いて移動ベクトルを導出する機能を有している。例えば、移動ベクトル導出部２６ａは、異なる時点で撮影した複数の撮影画像において、同じ被写体を表示している部分を抽出し、各表示位置に基づいて移動ベクトルを導出する。

【0065】

路面投影部２６ｂは、移動ベクトル導出部２６ａにて導出された移動ベクトルを路面上（ワールド座標上）に投影し、路面上の移動ベクトルを導出する機能を有している。移動ベクトル導出部２６ａにて導出した移動ベクトルは、撮影画像上の移動量を示すものであるため、路面投影部２６ｂがその移動ベクトルを路面上に投影して路面上の移動ベクトルを導出することで実際の移動量に変換する。なお、路面上の移動ベクトルとは、画像上の移動ベクトルを路面上に投影したことによって生じるベクトルを示すものであり、路面の移動ベクトル及び立体物の移動ベクトルの双方を含む概念である。

【0066】

移動量導出部２６ｃは、路面投影部２６ｂが導出した路面上の移動ベクトルを用いて自車両の移動量を導出する機能を有している。上述のように、路面投影部２６ｂが導出した路面上の移動ベクトルには、路面の移動ベクトルと立体物の移動ベクトルとが含まれている。自車両の移動量は、路面の移動ベクトルに対応しているので、移動量導出部２６ｃは、路面上の移動ベクトルの中から路面の移動ベクトルを抽出し、その路面の移動ベクトルに基づいて自車両の移動量を導出する。

【0067】

なお、これら移動ベクトル導出部２６ａによる移動ベクトルの導出処理と、路面投影部２６ｂによる移動ベクトルの路面上への投影処理と、移動量導出部２６ｃによる移動量の導出処理の詳細については後述する。

【0068】

メモリ２７は、カメラ１で撮影された撮影画像を記憶する。本実施の形態では、移動ベクトル導出部２６ａが、異なる時点で撮影した複数の撮影画像を用いて移動ベクトルを導出するようになっている。このため、メモリ２７には、最新の撮影画像の他に、過去の撮影画像も記憶されている。つまり、メモリ２７には、移動ベクトルの導出に必要な撮影画像が記憶されている。なお、メモリ２７としては、揮発性の半導体メモリや不揮発性の半導体メモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成してもよい。

【0069】

表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知するものであり、第１の実施の形態の表示装置３と同様の構成を有している。

【0070】

＜２−２．システムの処理＞
次に、移動量導出システム１１の処理について説明する。図１１は、移動量導出システム１１の処理を示すフローチャートである。

【0071】

移動量導出システム１１は、開始指示の入力があった場合や、自車両のギアがＲ（リバース）に入った場合などの所定の条件が成立すると、画像取得部２１がカメラ１による撮影画像を取得して、画像処理部２６に出力する。そして、画像処理部２６が移動ベクトル導出処理を実行する（ステップＳ２０１）。これは、移動ベクトル導出部２６ａが、撮影画像を用いて移動ベクトルを導出する処理である。

【0072】

具体的には、移動ベクトル導出部２６ａは、画像取得部２１が取得した現フレームの撮影画像を取得すると共に、メモリ２４に記憶されている前フレームの撮影画像を取得する。そして、移動ベクトル導出部２６ａは、これら前後フレームの各撮影画像を比較して、各撮影画像から同一の被写体を表示している画素を抽出する。そして、移動ベクトル導出部２６ａは、前フレームで抽出した画素の位置（座標）と、後フレームで抽出した画素の位置（座標）とを結ぶことで移動ベクトルを導出する。つまり、同一の被写体が撮影画像上で移動した前後の点を結ぶベクトルが画像上の移動ベクトルとなる。

【0073】

同一の被写体を表示している画素を抽出する方法としては、例えば、テンプレートマッチング手法を用いることができる。これは第１の実施の形態と同様である。本実施の形態で用いる場合には、例えば、前フレームの撮影画像の一部分の画像をテンプレートとして、後フレームの撮影画像と比較するといった処理を画像全体に渡って実行すればよい。また、テンプレートマッチング手法以外にも特徴点方式を用いることができる。これも第１の実施の形態と同様である。

【0074】

ここで、本実施の形態において、移動ベクトルを導出する方法について図を用いて説明する。図１２は、特徴点方式を用いて移動ベクトルを導出する手法を説明する図である。図１２（ａ）及び（ｂ）は、各々前フレームの撮影画像及び後フレームの撮影画像を示している。

【0075】

図１２に示すように、異なる時点で撮影した画像中の特徴点同士を対応付けることにより、特徴点が移動する前の位置と、移動した後の位置とを導出することができる。図１３（ｂ）では、この特徴点が移動した経路を表示している。つまり、移動ベクトル導出部２６ａは、この特徴点の移動経路の方向及び大きさを示すベクトルを画像上の移動ベクトルとして導出する。

【0076】

図１１に戻り、次に、画像処理部２６は、路面投影処理を実行する（ステップＳ２０２）。これは、路面投影部２６ｂが、移動ベクトル導出部２６ａにて導出した移動ベクトルを路面上（ワールド座標上）に投影し、路面上の移動ベクトルを導出する処理である。

【0077】

上述のように、移動ベクトル導出部２６ａが導出した移動ベクトルは、画像上の移動ベクトルであり、そのままの移動ベクトルを自車両の移動量とすることはできない。このため、画像上の移動ベクトルを実際の路面上の移動ベクトルに変換する必要がある。すなわち、路面投影部２６ｂは、画像上の各移動ベクトルに対応する実際の移動量を導出するために、画像上の移動ベクトルを路面上に投影することで路面上の移動ベクトルを導出している。

【0078】

ここで、移動ベクトルを路面上に投影する処理について図を用いて具体的に説明する。図１３は、撮影画像上の移動ベクトルを路面上の移動ベクトルに変換する処理の概念を説明する図である。

【0079】

図１３に示すように、カメラ１の撮影画像Ｉ上の移動ベクトルＢ１は、路面Ｒに投影されることで路面Ｒ上の移動ベクトルＢ２に変換される。具体的には、カメラ１の視点から撮影画像Ｉ上の移動ベクトルＢ１の始点を結ぶ線を延長し、路面Ｒと交差する点が路面上の移動ベクトルＢ２の始点となる。同様に、カメラ１の視点から撮影画像上の移動ベクトルＢ１の終点を結ぶ線を延長し、路面Ｒと交差する点が路面上の移動ベクトルＢ２の終点となる。なお、図１３において、撮影画像Ｉは、画像上の移動ベクトルＢ１を路面上の移動ベクトルＢ２に変換する際に用いられる概念図であり、実空間上に存在する画像面を示すものではない。

【0080】

路面上の移動ベクトルＢ２の始点及び終点は、路面ＲをＸＹ平面とし、カメラ１の位置を基点とした場合における、ＸＹ座標から導出することができる。このＸＹ座標を導出する方法について具体的に図を用いて説明する。図１４は、路面上の移動ベクトルの座標を導出する方法を説明する図である。

【0081】

図１４は、撮影画像Ｉ上の移動ベクトルＢ１を路面上Ｒに投影している様子をＹＺ平面で見た図である。つまり、Ｘ軸方向から見た図である。また、図１４中のｆｍｍは、カメラ１の焦点距離を示し、Ｚｗは、カメラ１の視点位置と路面ＲとのＺ軸方向の距離（高さ）を示す。また、Ｙｃ及びＺｃは、各々カメラ１の視点位置と移動ベクトルＢ１の位置との距離を示し、各々Ｙ軸方向の距離及びＺ軸方向の距離を示している。これらの各値は、カメラ１の仕様（レンズモデルや焦点距離等）や、カメラ１の地面に対する取り付け位置・取り付け角度に基づいて定まる値である。

【0082】

そして、投影された路面上の移動ベクトルＢ２のＹ座標（Ｙｗ）は、
Ｙｗ＝Ｚｗ／Ｚｃ×Ｙｃ
により導出することができる。また、同様にしてＸ座標（Ｘｗ）は、
Ｘｗ＝Ｚｗ／Ｚｃ×Ｘｃ
により導出することができる。なお、Ｘｃは、カメラ１の視点位置と移動ベクトルＢ１との距離のうちの、Ｘ軸方向の距離を示す。

【0083】

これにより、路面上に投影された移動ベクトルＢ２のＸＹ座標が定まるので、移動ベクトルＢ２の始点及び終点の座標を導出することで、路面上の移動ベクトルＢ２を導出することができる。

【0084】

図１１に戻り、次に、画像処理部２６は、移動量導出処理を実行する（ステップＳ２０３）。これは、移動量導出部２６ｃが、路面投影部２６ｂにて導出された路面上の移動ベクトルを用いて自車両の実際の移動量を導出する処理である。

【0085】

カメラ１で車両周辺を撮影した画像には、路面を表示する部分と、自動車等の立体物を表示する部分とが含まれていることが多い。路面は、平面であり移動物ではないため、路面の移動ベクトルは、全て略同じ方向及び略同じ大きさの移動ベクトルになる。一方、立体物の移動ベクトルは、その立体物の移動方向や高さなどに応じて、方向及び大きさの異なる移動ベクトルとなる。このため、第１の実施の形態と同様に、自車両の移動量を正確に導出するためには、その中から路面の移動ベクトルを抽出する必要がある。

【0086】

また、導出された移動ベクトルの中では、路面に関する移動ベクトルが最も多く含まれているため、本実施の形態においても、第１の実施の形態と同様に、全ての移動ベクトルについて大きさに関するヒストグラムを生成し、数が最も多い部分の移動ベクトルを路面の移動ベクトルとして抽出する。そして、移動量導出部２６ｃは、抽出した路面の移動ベクトルの大きさを自車両の移動量として導出する。ヒストグラムを用いて路面の移動ベクトルを導出する方法は、第１の実施の形態にて、図９を用いて説明した方法と同様の方法を用いることができる。

【0087】

図１１に戻り、次に、移動量導出システム１１は、導出した移動量を用いて所定の表示処理を行う（ステップＳ２０４）。移動量を用いた表示処理の例としては、例えば、将来の移動経路を推定して、ガイド線で表示するものがある。この表示処理についても、第１の実施の形態と同様にして行うことができる。

【0088】

以上のように、本実施の形態では、カメラ１で撮影した画像上の移動ベクトルを導出し、それを路面上の移動ベクトルに変換することで、俯瞰画像を生成せずに撮影画像のみで自車両の移動量を導出することが可能になる。このため、本実施の形態では、小型化及び低価格化を実現することができるだけでなく、処理負荷を小さくすることができるとともに、高精度に移動ベクトルを導出することも可能になる。

【0089】

＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記各実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0090】

上記各実施の形態では、路面の移動ベクトルを導出する際に、大きさに関するヒストグラムを用いていたが、これに限定されるものではない。例えば、方向に関するヒストグラムを用いて路面の移動ベクトルを導出してもよい。

【0091】

すなわち、車両周辺を撮影した画像には、路面の移動ベクトルが最も多く含まれているが、路面の移動ベクトルは全てが略同じ方向を向いている。したがって、方向に関するヒストグラムを用いることでも、路面の移動ベクトルを抽出することが可能である。

【0092】

具体的に図１５を用いて説明する。図１５は、全移動ベクトルについての方向に関するヒストグラムである。図１５は、移動ベクトルの方向をＤ１〜Ｄ９の角度範囲に分け、全移動ベクトルを各々の方向に応じて分類分けし、その数を積算したものである。図１５に示すように、移動ベクトルの数が最も多い方向は、Ｄ５に含まれる移動ベクトルである。したがって、このＤ５に含まれている移動ベクトルを路面の移動ベクトルとして抽出することができる。

【0093】

また、方向に関するヒストグラムと、大きさに関するヒストグラムとの双方を用いて路面の移動ベクトルを導出してもよい。具体的に図１６を用いて説明する。図１６（ａ）は、全移動ベクトルについての方向に関するヒストグラムを示す図であり、図１５と同様の図である。すなわち、まず、図１５の場合と同様にして、路面の移動ベクトルとしてＤ５に含まれている移動ベクトルを抽出する。これにより、方向が同じ移動ベクトルが抽出される。

【0094】

ただし、方向が同じ移動ベクトルの中には、路面の移動ベクトルと同じ方向の立体物の移動ベクトルが含まれている場合もあり得る。このため、Ｄ５に含まれる移動ベクトルに対して、大きさに関するヒストグラムを用いて路面の移動ベクトルを抽出する。図１６（ｂ）は、移動ベクトルの大きさに関するヒストグラムであり、大きさをＬ１〜Ｌ９の長さ範囲に分け、Ｄ５に含まれる移動ベクトルを各々大きさに応じて分類分けし、その数を積算したものである。図１６（ｂ）に示すように、移動ベクトルの数が最も多い大きさは、Ｌ５に含まれる移動ベクトルである。したがって、このＬ５に含まれている移動ベクトルを路面の移動ベクトルとして抽出することができる。

【0095】

このように、方向のヒストグラムと大きさのヒストグラムとの両方を用いることで、方向及び大きさの双方共に最多の移動ベクトルを抽出することができる。つまり、路面の移動ベクトルを高精度に抽出することが可能になる。

【0096】

また、上記各実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0097】

１ カメラ
２ 物体検出装置
３ 表示装置
１０・１１ 物体検出システム
２１ 画像取得部
２２・２６ 画像処理部
２３ 画像出力部
２４・２７ メモリ
２５ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】