特許 7007649 オプティカルフロー推定装置、オプティカルフロー推定方法、オプティカルフロー推定システム、及びオプティカルフロー推定プログラム、並びにヨーレート推定装置、ヨーレート推定方法、ヨーレート推定システム、及びヨーレート推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-12

(45)【発行日】2022-02-10

(54)【発明の名称】オプティカルフロー推定装置、オプティカルフロー推定方法、オプティカルフロー推定システム、及びオプティカルフロー推定プログラム、並びにヨーレート推定装置、ヨーレート推定方法、ヨーレート推定システム、及びヨーレート推定プログラム

(51)【国際特許分類】

   G06T 7/254 20170101AFI20220203BHJP

   G08G 1/16 20060101ALI20220203BHJP

   G06T 7/00 20170101ALI20220203BHJP

【ＦＩ】

G06T7/254 A

G08G1/16 C

G06T7/00 650B

【請求項の数】 16

(21)【出願番号】P 2018100265

(22)【出願日】2018-05-25

(65)【公開番号】P2019204390

(43)【公開日】2019-11-28

【審査請求日】2020-12-09

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(73)【特許権者】

【識別番号】899000079

【氏名又は名称】学校法人慶應義塾

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】230121430

【弁護士】

【氏名又は名称】安井 友章

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】原 孝介

(72)【発明者】

【氏名】青木 義満

(72)【発明者】

【氏名】長田 惇

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０００－１６８４４２（ＪＰ，Ａ）

【文献】特開２００２－１９７４４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、オプティカルフロー推定装置。

【請求項2】

前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて前記修正を行う、請求項１に記載のオプティカルフロー推定装置。

【請求項3】

前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて第２のオプティカルフローを求めることにより前記修正を行い、さらに前記第２のオプティカルフローに前記回転成分を戻す、請求項２に記載のオプティカルフロー推定装置。

【請求項4】

前記カメラはイベントカメラであり、前記データはイベントデータである、請求項１～３のいずれかに記載のオプティカルフロー推定装置。

【請求項5】

前記回転パラメータ推定部は、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する、請求項１～４のいずれかに記載のオプティカルフロー推定装置。

【請求項6】

前記オプティカルフロー正則化部は、オプティカルフローの向きをＦＯＥに従って修正する、請求項１～５のいずれかに記載のオプティカルフロー推定装置。

【請求項7】

前記回転パラメータ推定部は、前記カメラの視野の上部分のイベントデータを用いて前記回転パラメータを推定する、請求項１～６のいずれかに記載のオプティカルフロー推定装置。

【請求項8】

前記回転パラメータ推定部は、ヨーレートに車両の運動モデルを適用して前記回転パラメータを推定する、請求項５に記載のオプティカルフロー推定装置。

【請求項9】

前記回転パラメータ推定部は、ヨーレートをカルマンフィルタ又はパーティクルフィルタにかけることで前記運動モデルを適用する、請求項８に記載のオプティカルフロー推定装置。

【請求項10】

移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定方法であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定ステップと、
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップと、
を備えた、オプティカルフロー推定方法。

【請求項11】

移動体に固定され、データを出力するカメラと、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、オプティカルフロー推定システム。

【請求項12】

移動体に固定されたカメラからのデータが入力される装置にて実行されるオプティカルフロー推定プログラムであって、前記装置を、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、
初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部、及び
初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部、
として機能させる、オプティカルフロー推定プログラム。

【請求項13】

移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定装置であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、ヨーレート推定装置。

【請求項14】

移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定方法であって、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定ステップと、
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップと、
を含む、ヨーレート推定方法。

【請求項15】

移動体に固定され、データを出力するカメラと、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部と、
を備えた、ヨーレート推定システム。

【請求項16】

移動体に固定されたカメラからのデータが入力される装置にて実行されるヨーレート推定プログラムであって、前記装置を、
前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、
初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部、及び
初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部、
として機能させる、ヨーレート推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置、オプティカルフロー推定方法、オプティカルフロー推定システム、及びオプティカルフロー推定プログラム、並びにそれらを用いたーレート推定装置、ヨーレート推定方法、ヨーレート推定システム、及びヨーレート推定プログラムに関する。

【背景技術】

【0002】

車両の自動運転や運転支援をするシステムでは、車両前方の移動体の検知や自車両の進路推定を行う。このために、システムは、車載カメラの画像から、画素値の移動ベクトルであるオプティカルフローを推定する。車載カメラの画像における静止物体のオプティカルフローを推定することで自車両の進路推定が可能となり、移動物体のオプティカルフローを推定することで移動物体の自車両に対する相対的な移動ベクトルを推定できる。

【0003】

しかしながら、特に、移動体や静止物体が相対的に速い速度で移動する場合や、車載カメラに入射する光量が足りない場合（例えば、暗闇で運転している場合）や、逆に車載カメラに入射する光量が大きすぎる場合（例えば、逆光で運転している場合）には、オプティカルフローを有効に算出できる画像が得られないことがある。

【0004】

上記の問題に鑑みて、車載カメラとして、イベントカメラを採用することが提案されている。従来のカメラが輝度をフレームで取得するのに対して、イベントカメラは、人間の知覚システムを模倣したカメラであり、輝度の変化のみを捉える。イベントカメラの出力は、輝度が所定の閾値以上に変化した場合の時刻、画素の位置、極性（輝度が小さくなったか大きくなったか）を表す非同期のデータ列である。

【0005】

よって、イベントカメラの出力は、従来のカメラの出力と比較して、空間的に非常にスパース（疎）であり、データ量が非常に少ない。また、イベントカメラは、従来のカメラと比較して、時間解像度が非常に高く（例えば、マイクロミリ秒オーダ）、ダイナミックレンジが高いという特性がある。すなわち、イベントカメラは、従来のカメラと比較して、少データ量、高時間解像度、ハイダイナミックレンジ（ＨＤＲ）という特性を有している。これらの特性は、瞬時ないしリアルタイムに画像処理をして移動体を検知する必要がある車載カメラにとって非常に重要である。

【0006】

非特許文献１には、イベントカメラの出力（イベントデータ）からオプティカルフローを推定する方法が開示されている。非特許文献１の方法では、イベントデータに関するコスト関数を定義して、当該コスト関数を最適化することでオプティカルフローを推定する。

【0007】

この方法では、ある一定の時間幅内のイベントデータのみから輝度とオプティカルフローを同時に推定する。コスト関数は、輝度とオプティカルフローに対してイベントカメラの仕組み、オプティカルフローと輝度との整合性、空間的及び時間的な滑らかさに関する項で構成されている。

【0008】

非特許文献１の方法によって、移動体の動きが速く、かつ、ダイナミックレンジが高いシーンにおいても、瞬時ないしリアルタイムに、輝度の復元及びオプティカルフローの推定が可能となる。

【先行技術文献】

【非特許文献】

【0009】

【文献】P. Bardow, A. J. Davison, and S. Leutenegger. Simultaneous Optical Flow and Intensity Estimation From an Event Camera. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 884-892, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、非特許文献１の方法では、スパースなイベントデータから輝度を復元し、その輝度を用いてオプティカルフローを計算するため、正確なオプティカルフローを得ることは難しく、ノイズも多くなる。輝度は主にイベントが発生した個所において復元され、他の個所は滑らかにすることによって復元されることから、オプティカルフローは正確に正しい方向を向いていないことが多く、より正しい向きを示すオプティカルフローを得るためには改善の余地がある。

【0011】

本発明は、移動体に固定されたカメラで得られたデータに基づくオプティカルフローの推定の精度を向上すること目的とする。

【課題を解決するための手段】

【0012】

本発明の一態様は、移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置であって、このオプティカルフロー推定装置は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。

【0013】

この構成により、従来の方法によって初期推定されたオプティカルフローがＦＯＥに従うように正則化されるので、オプティカルフロー推定の精度を向上できる。

【0014】

上記のオプティカルフロー推定装置において、前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて前記修正を行ってよい。

【0015】

上記のオプティカルフロー推定装置において、前記オプティカルフロー正則化部は、初期推定された前記オプティカルフローから前記回転パラメータの回転成分を除いたオプティカルフローとＦＯＥから放射状に延びるオプティカルフローとに基づいて第２のオプティカルフローを求めることにより前記修正を行い、さらに前記第２のオプティカルフローに前記回転成分を戻してよい。

【0016】

上記のオプティカルフロー推定装置において、前記カメラはイベントカメラであってよく、前記データはイベントデータであってよい。

【0017】

上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定してよい。

【0018】

上記のオプティカルフロー推定装置において、前記オプティカルフロー正則化部は、オプティカルフローの向きをＦＯＥに従って修正してよい。

【0019】

従来の方法によるオプティカルフローの初期推定では、向きについて誤差が生じやすいところ、この構成によれば、ＦＯＥに従ってオプティカルフローの向きが修正されるので、オプティカルフロー推定の精度を向上できる。

【0020】

上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、前記カメラの視野の上部分のイベントデータを用いて前記回転パラメータを推定してよい。

【0021】

この構成により、ヨーレートの変化が大きい上部分を用いてヨーレートが推定されるので、ヨーレートの推定の精度を向上できる。

【0022】

上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、ヨーレートに車両の運動モデルを適用して前記回転パラメータを推定してよい。

【0023】

この構成により、車両としてあり得ないヨーレートの変化等を排除することができ、ヨーレートの推定精度を向上できる。

【0024】

上記のオプティカルフロー推定装置において、前記回転パラメータ推定部は、ヨーレートをカルマンフィルタ又はパーティクルフィルタにかけることで前記運動モデルを適用してよい。

【0025】

本発明の他の態様は、移動体に固定されたカメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定方法であって、このオプティカルフロー推定方法は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定ステップと、初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップとを備えた構成を有している。

【0026】

本発明のさらに他の態様は、オプティカルフロー推定システムであって、移動体に固定され、データを出力するカメラと、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部と、初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。

【0027】

本発明のさらに他の態様は、移動体に固定されたカメラからのデータが入力される装置にて実行されるオプティカルフロー推定プログラムであって、オプティカルフロー推定プログラムは、前記装置を、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、初期推定された前記オプティカルフローに基づいて回転パラメータを推定する回転パラメータ推定部、及び初期推定された前記回転パラメータに基づいて、初期推定された前記オプティカルフローをＦＯＥに従うように修正することにより、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部として機能させる構成を有している。

【0028】

本発明のさらに他の態様は、移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定装置であって、このヨーレート推定装置は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。

【0029】

本発明のさらに他の態様は、移動体に固定されたカメラからのデータに基づいて前記車両のヨーレートを推定するヨーレート推定方法であって、このヨーレート推定方法は、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定ステップと、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定ステップと、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化ステップとを含む構成を有している。

【0030】

本発明のさらに他の態様は、ヨーレート推定システムであって、このヨーレート推定システムは、移動体に固定され、データを出力するカメラと、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部と、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部と、初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部とを備えた構成を有している。

【0031】

本発明のさらに他の態様は、移動体に固定されたカメラからのデータが入力される装置にて実行されるヨーレート推定プログラムであって、このヨーレート推定プログラムは、前記装置を、前記データに基づいてオプティカルフローの初期推定を行うオプティカルフロー初期推定部、初期推定された前記オプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する回転パラメータ推定部、及び初期推定された前記オプティカルフローを正則化するオプティカルフロー正則化部として機能させる構成を有している。

【発明の効果】

【0032】

本発明によれば、従来の方法によって初期推定されたオプティカルフローがＦＯＥに従うように正則化されるので、オプティカルフロー推定の精度を向上できる。

【図面の簡単な説明】

【0033】

【図1】図１は、本発明の実施の形態のオプティカルフロー推定システムの構成を示す図である。

【図2】図２は、タイムウィンドウを示す図である。

【図3】図３は、コスト関数を項ごとに図解した図である。

【図4】図４は、ＦＯＥの定義を説明する図である。

【図5】図５は、車載カメラの運動モデルを示す図である。

【図6】図６は、ＦＯＥの性質を説明する図である。

【図7】図７は、視野内においてイベントが発生した個所の例を示す図である。

【図8】図８は、回転運動と並進運動を説明する図である。

【図9】図９は、ＦＯＥによる正則化を説明する図である。

【図10】図１０は、本発明の実施の形態のオプティカルフロー推定方法のフローチャートである。

【発明を実施するための形態】

【0034】

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

【0035】

本実施の形態のオプティカルフロー推定システムは、イベントカメラで得られたイベントデータに基づいてオプティカルフローを推定するにあたって、イベントデータに基づくオプティカルフロー推定の不完全さを補うために、車載カメラの運動の特徴と、ＦＯＥ（Focus Of Expansion：拡張焦点）の性質を利用した新規な正則化を行う。従来の方法では、イベントデータから一様な方向を向くオプティカルフローや明らかに誤った方向を向いているオプティカルフローが推定され得るが、本実施の形態のオプティカルフロー推定システムは、オプティカルフローからカメラの回転パラメータを推定し、オプティカルフローの回転成分を考慮してＦＯＥの性質を利用した正則化を行うことで、正しい向きを持つオプティカルフローを推定する。

【0036】

図１は、本発明の実施の形態のオプティカルフロー推定システムの構成を示す図である。オプティカルフロー推定システム１００は、イベントカメラ１０と、オプティカルフロー推定装置２０とを備えている。オプティカルフロー推定装置２０は、オプティカルフローを正則化するために回転パラメータであるヨーレートを推定するので、ヨーレート推定装置としても機能し、オプティカルフロー推定システム１００はヨーレート推定システムとしても機能する。

【0037】

イベントカメラ１０は、その光軸が車両の進行方向に向くように、車両に固定される車載カメラである。イベントカメラ１０は、矩形の視野内に車両の直前の路面から遠方の風景までが含まれるように、車両に固定される。なお、車両の直前の路面（車両の前方部分を含んでもよい）は視野の下部分で捉えられ、遠方の物体や高い物体は視野の上部分で捉えられる。

【0038】

イベントカメラ１０は、二次元配列された画素ごとに輝度の変化を検知する。すなわち、イベントカメラ１０は、生体から発想を得たカメラであって、標準的なフレームベースのカメラとは全く異なるカメラである。フレームベースのカメラでは、ある一定の時間間隔（例えば、約３０ｍ秒間隔）で全画素の輝度値をフレーム画像として出力する。

【0039】

これに対して、イベントカメラ１０は、フレームという概念を持たず、輝度値が所定の閾値以上に変化したときに、その変化した時刻のタイムスタンプ、変化した画素の位置、変化の極性（正負のいずれに変化したか）の情報を出力する。すなわち、イベントカメラ１０の出力は、非同期のデータ列である。

【0040】

イベントカメラ１０のタイムスタンプはマイクロ秒のオーダであり、検出可能なイベントの最小時間間隔は１２μｓ程度である。このように、イベントカメラ１０は、時間解像度が極めて高いという特性を有している。また、イベントカメラ１０では、変化がない時刻及び変化がない画素についてはイベントを発生しないので、イベントデータには冗長なデータがなく、イベントデータのデータ量は小さく抑えられる。

【0041】

さらに、イベントカメラ１０は、ｌｏｇのオーダで輝度の変化を捉えるため、ダイナミックレンジが非常に大きいという特性を有する。標準的なフレームベースのカメラのダイナミックレンジが５０ｄＢ程度であるのに対して、イベントカメラのダイナミックレンジは１２０ｄＢ程度である。

【0042】

このように、イベントカメラ１０は、標準的なフレームベースのカメラと比較して、時間解像度が高く、データ量が少なく、ダイナミックレンジが大きいという特性を有している。これらの特性は、車載カメラとして用いられる場合に極めて有効である。しかしながら、イベントカメラ１０の出力は、フレームベースのカメラとは出力の形が大きく異なっているため、イベントカメラ１０の出力を従来のコンピュータビジョンのアルゴリズムをそのまま適用することはできない。本実施の形態では、イベントカメラの出力からオプティカルフローを推定するが、この場合にもフレームベースのカメラの出力からオプティカルフローを推定する場合とは異なった工夫が必要である。

【0043】

オプティカルフロー推定装置２０は、オプティカルフロー初期推定部２１と、回転パラメータ推定部２２と、オプティカルフロー正則化部２３とを備えている。これらの各構成要素は、１つまたは複数のプロセッサが本実施の形態のオプティカルフロー推定プログラムを実行することで実現される。このために、オプティカルフロー推定装置２０は、情報処理装置として、１つまたは複数のプロセッサを備える。オプティカルフロー推定プログラムは、オプティカルフロー推定装置２０の記憶装置に記憶され、プロセッサによって読み出されて実行されてもよいし、可搬型の記憶媒体に記憶されてプロセッサによって読み出されて実行されてもよい。

【0044】

オプティカルフロー初期推定部２１は、非特許文献１の方法に従って、イベントカメラ１０の出力に基づいてオプティカルフローを推定する。ここでのオプティカルフローの推定は初期推定であって、後述するように、最終的にはオプティカルフロー正則化部２３による正則化によってオプティカルフローが推定される。

【0045】

オプティカルフロー初期推定部２１は、所定の時間幅のタイムウィンドウを定義して、タイムウィンドウ内で、輝度とオプティカルフローとイベントとの関係について設計されたコスト関数を最適化することで、イベントデータのみから輝度とオプティカルフローとを同時に推定する。

【0046】

この方法により、イベントカメラが車両に搭載される場合のような、イベントカメラと対象物の両方が動いている複雑な環境において、リアルタイムでオプティカルフローを推定することができる。

【0047】

図２は、本発明の実施の形態のタイムウィンドウを示す図である。タイムウィンドウの空間的なサイズをＩとし、全時間幅をＴとし、全時間幅Ｔを、δ_ｔの幅をもつＫ個のセルに分ける。コスト関数は式（１）のように定義される。

【数1】

【0048】

ここで、Ｌは輝度であり、ｕはオプティカルフローであり、添え字ｘは空間微分を表しており、添え字ｔは時間微分を表している。また、ｔ_ｐは前回イベントが発生した時刻であり、φ（ｘ）は位置ｘでのタイムウィンドウ内のイベントの数であり、ｉは各イベントのインデクスを表している。さらに、θはイベントカメラ１０でイベントを発生させるための輝度変化の閾値であり、ρ_ｉはインデクスｉのイベントの極性を表している。

【0049】

第５項の関数ｈ_θは、式（２）で定義される。

【数2】

第５項以外の項はすべてＬ１ノルムが使用されており、エッジを保存して最適化を行うことができる。

【0050】

図３は、本発明の実施の形態のコスト関数を項ごとに図解した図である。図３に示すように、第１項は、オプティカルフローの空間微分のＬ１ノルムであり、微分が大きい箇所（即ち、変化が激しい箇所）のコストが大きくなる。したがって、第１項は、推定したオプティカルフローの空間的な滑らかさを評価する項である。

【0051】

第２項は、オプティカルフローの時間微分のＬ１ノルムであり、微分が大きい時刻（即ち、変化が激しい時刻）のコストが大きくなる。したがって、第２項は、推定したオプティカルフローの時間的な滑らかさを評価する項である。第３項は、画像の空間微分のＬ１ノルムであり、推定した輝度画像の空間的な滑らかさを評価する項である。

【0052】

第４項について説明する前に、オプティカルフローの定義を説明する。オプティカルフローは、フレーム間の画素の移動ベクトルとして定義される。いま、時刻ｔにおける位置（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ，ｔ）とし、その画素がΔｔという微小時間経過した後にΔｘ，Δｙだけ移動するとする。このとき、移動する前と移動した後とでは輝度値が同じになることから、下式（３）の定義式が得られる。

【数3】

【0053】

この式（３）の左辺をテイラー展開して、２次以降の項を切り捨てると、下式（４）が得られる。

【数4】

【0054】

式（４）が成り立つためには、右辺の第２項以降が０になる必要がある。よって、下式（５）のオプティカルフローの拘束式が得られる。なお、このとき、両辺をΔｔで割っている。

【数5】

【0055】

また、画素の単位時間あたりの移動量がオプティカルフローになることから、ｕ＝Δｘ／Δｔ、ｖ＝Δｙ／Δｔとおき、Ｉ_ｘ＝∂Ｉ／∂ｘ、Ｉ_ｙ＝∂Ｉ／∂ｙ、∂Ｉ／∂ｔ＝Ｉ_ｔとおくと、拘束式は下式（６）のように表される。

【数6】

【0056】

また、ｕ＝（ｕ，ｖ）、Ｉ_ｘ＝（Ｉ_ｘ，Ｉ_ｙ）として、内積の形で表すと、拘束式は下式（７）となり、式（１）のコスト関数の第４項の表記と同様になる。

【数7】

【0057】

第４項は、式（７）の左辺のＬ１ノルムとなっており、輝度とオプティカルフローが整合していれば０に近づく。よって、この第４項は、輝度とオプティカルフローとの整合性を評価する項である。

【0058】

第５項及び第６項は、イベントカメラに関するデータ項である。イベントが発生する仕組みに基づいて、タイムウィンドウ内のイベントがあった箇所の輝度値の整合性とイベントがない箇所の輝度の不変性という２つ性質に関して、以下に説明するようにコストを設計することで、輝度画像が再構成される。

【0059】

第５項は、輝度値にθ以上の変化があったときに、その超えた分をコストとし、輝度値にθ以上の変化がなかったときに、コストを０とする項である。すなわち、イベントが発生した場合には、輝度値にθ以上の変化があったときであり、同じ画素でイベントが発生した場合には、前のイベントが発生したときの輝度値からθを超えて離れている分がこの第５項のコストとなる。前にイベントが変化してから次にイベントが発生するまでは閾値θ以上の変化はないので、この間は第５項は０となり何もコストに加えられない。

【0060】

オプティカルフロー初期推定部２１は、このコスト関数（式（１））をタイムウィンドウ内で最適化することで、輝度とオプティカルフローを推定する。オプティカルフロー初期推定部２１は、１フレーム分の最適化を終えると、タイムウィンドウを１セル分スライドさせて、タイムウィンドウをオーバーラップさせながら最適化を行うことで、輝度とオプティカルフローを推定していく。

【0061】

回転パラメータ推定部２２及びオプティカルフロー正則化部２３の説明に先立って、ＦＯＥの概念と、車載カメラとしてのイベントカメラ１０のＦＯＥの特性を利用した運動解析とを説明する。

【0062】

図４は、ＦＯＥの定義を説明する図である。一般に、カメラが並進運動のみを行う場合には、図４に示すように、ＦＯＥは、カメラの微小時間における移動ベクトルの向きの並進軸と画像平面との交点と定義される。

【0063】

ここで、図４の大文字のＸ，Ｙ，Ｚはカメラ座標系、小文字のｘ，ｙは画像座標系を表している。ＦＯＥの画像座標系における位置を（ｘ_０，ｙ_０）とし、並進ベクトルをＴとすると、単純にカメラ座標系と画像座標系の関係から焦点距離ｆを使って下式（８）を導くことができる。

【数8】

【0064】

よって、この式（８）から、ＦＯＥの座標は下式（９）で表される。

【数9】

【0065】

車載カメラとしてのイベントカメラ１０には、イベントカメラ１０が車両に固定されているという特徴と、横方向の並進運動成分が進行方向の並進運動成分に比べて非常に小さい、即ち、Ｔ_ｘ＜＜Ｔ_ｚ、Ｔ_ｙ＜＜Ｔ_ｚであるという特徴がある。したがって、車載カメラとしてのイベントカメラ１０には、ＦＯＥが一定であり、その位置がほぼ視野の中心になるという性質がある。イベントカメラ１０の光軸と車の進行方向とが完全に一致していればＦＯＥは視野の中心になるが、ずれていれば進行方向以外の並進運動が生じるため、ＦＯＥは視野の中心ではなくなる。

【0066】

このイベントカメラ１０が車載カメラであることによるＦＯＥの特性を用いることで、オプティカルフローの推定、イベントカメラ１０の回転パラメータの推定を容易に行うことができる。

【0067】

図５は、車載カメラの運動モデルを示す図である。図５に示すように、イベントカメラ１０が並進運動Ｔ＝（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）^Ｔ、回転運動Ω＝（Ω_ｘ，Ω_ｙ，Ω_ｚ）^Ｔで表される運動をしたときのカメラ座標系における点Ｐ（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）から点Ｐ´（Ｘ_ｎ＋１，Ｙ_ｎ＋１，Ｚ_ｎ＋１）への移動を考える。

【0068】

このとき、点Ｐのイベントカメラ１０に対する相対移動ベクトルはＴ´＝－Ｔ、Ω´＝－Ωとなることから、点Ｐと点Ｐ´との関係は、下式（１０）で表現される。

【数10】

【0069】

このとき、Ｒは点Ｐの相対回転行列であり、回転角が小さい場合には、正弦及び余弦のテイラー展開の２次以上の項を省略できるため、各軸の回転パラメータを用いて下式（１１）のように表される。

【数11】

【0070】

式（１１）を式（１０）に代入すると、下式（１２）が導かれる。

【数12】

【0071】

各方向の変化量は下式（１３）で表される。

【数13】

【0072】

次に、点Ｐから点Ｐ´に移動する場合の画像上の点ｐ（ｘ_ｎ，ｙ_ｎ）から点ｐ´（ｘ_ｎ＋１，ｙ_ｎ＋１）への移動を考える。画像上の点ｐ（ｘ_ｎ，ｙ_ｎ）は投影変換式から、カメラ座標系の点Ｐ（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）を用いて下式（１４）で表現される。

【数14】

【0073】

画面上の点ｐの移動速度をｖ＝（ｖ_ｘ，ｖ_ｙ）とすると、式（１４）を微分することで下式（１５）が導かれる。

【数15】

【0074】

ここで、サンプリング間隔が十分に小さい場合は、フレーム間の画像上の対応点の関係は下式（１６）のようになる。

【数16】

【0075】

式（１６）に自車両の運動を考慮した式（１３）とＦＯＥを定義した式（９）を代入し、Ｔ_Ｚ／Ｚ_ｎ≠０を仮定して整理することで、下式（１７）が得られる。

【数17】

【0076】

この式（１７）は、ＦＯＥの座標と、対応点の座標と、回転パラメータの３つの要素で構成されている。すなわち、ＦＯＥをあらかじめ求めておき、対応点を見つけることで回転パラメータを推定することができる。

【0077】

本実施の形態の回転パラメータ推定部２２は、さらに、得られたヨーレートに車両の運動モデルを適用することで最終的なヨーレートを推定する。本実施の形態で得られるイベントデータは、車載のイベントカメラ１０によって得られるものであるので、極端にヨー角が変化することはないと想定できる。よって、そのような極端なヨー角の変化を排除するように、フィルタリングを行うことで、推定するヨーレートの精度を向上できる。具体的には、回転パラメータ推定部２２は、ヨーレートをカルマンフィルタ又はパーティクルフィルタにかけることで最終的な推定ヨーレートを得る。

【0078】

図６は、ＦＯＥの性質を説明する図である。対応点の移動ベクトルはオプティカルフローそのものであり、Ωを含む項はオプティカルフローの回転成分である。図６に示すように、オプティカルフローから回転による成分を除くことで、オプティカルフローはＦＯＥから放射状に延びることになる。

【0079】

本実施の形態では、このようなＦＯＥの性質を利用して正則化を行う。イベントカメラ１０を用いて推定されたオプティカルフローは、イベントデータというスパースなデータから推定されていることから、不完全なものであり、特に正確な向きが得られないことがある。そこで、本実施の形態では、ＦＯＥを用いた正則化を加えることで向きの推定精度を向上する。

【0080】

回転パラメータ推定部２２は、初期推定されたオプティカルフローに基づいて、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定する。すなわち、回転パラメータ推定部２２は、イベントカメラ１０が車両に搭載されることを踏まえて、カーブにおいて発生するハンドル操作によるＹ軸周りの回転（ヨーレート）Ω_Ｙのみを考え、Ｘ軸周りの回転（ピッチレート）Ω_Ｘ及びＺ軸周りの回転（ロールレート）Ω_Ｚはないものとする。Ω_Ｘ＝Ω_Ｚ＝０を式（１７）に代入すると下式（１８）が得られる。

【数18】

【0081】

自車両の運動により仮定した画像上の点ｐと点ｐ´を、推定した輝度画像から決める対応点ｐ＝（ｘ，ｙ）と点ｐ´＝（ｘ´，ｙ´）に置き換えて整理をすると下式（１９）が得られる。

【数19】

【0082】

よって、１つの対応点ｐ（ｘ，ｙ）とｐ´（ｘ´，ｙ´）が分かれば、対応点とＦＯＥの座標から回転パラメータΩ_Ｙを算出できる。ここで、対応点とは、フレーム間の画素の移動を考えたときの同一画素を示す点の組のことであり、上述のオプティカルフローと同義である。本実施の形態では、全画素分の密なオプティカルフローを推定しているので、式（１９）は、初期推定したオプティカルフローｕ＝（ｕ_ｘ，ｕ_ｙ）を用いて下式（２０）のように書き直すことができる。

【数20】

【0083】

この式（２０）から全画素分のΩ_Ｙを求めることができる。このなかから推定値Ω＾_Ｙを求めるために、イベントを利用した投票を行う。図７は、視野内においてイベントが発生した個所の例を示す図である。式（２０）によって全画素のΩ_Ｙを求めた後に、Δの幅で離散化して、図７に示す視野（全画素）の上部分におけるイベント発生個所での最頻値をΩ＾_Ｙとする。イベントが発生した個所のみで投票を行う理由は、輝度復元とオプティカルフローの仕組みにある。

【0084】

すなわち、オプティカルフローはコスト関数の第４項のオプティカルフローに関する項によって、復元された輝度に整合するように推定される。この輝度値は、コスト関数の第６項のイベントカメラに関する項によって、イベントが発生したときのイベントと輝度とが整合するように推定される。すなわち、入力であるイベントデータが最も反映されるイベント発生個所は信頼度が高いといえる。

【0085】

これに対して、イベント発生個所以外の個所は、コスト関数の第１項から第３項までの滑らかさの項によって周りの値から推定されるので信頼性は低いといえる。したがって、視野の上部分のみで投票ことで、回転成分を正確に捉えることができる。なお、上部分は、例えば視野を中央の高さで分けた上半分の部分として定義してよい。

【0086】

図８は、回転運動と並進運動を説明する図である。図８の例では、車両は左にカーブしている。視野の下部分はイベントカメラ１０に近い部分であり、白線や道路脇の塀などの個所のオプティカルフローは、イベントカメラ１０の並進運動による影響が比較的大きくなり、回転による成分が顕著には現れない。

【0087】

これに対して、視野の上部分はイベントカメラ１０から遠い部分であり、ビルなどの個所のオプティカルフローは、イベントカメラ１０の回転運動による影響が比較的大きくなり、回転による成分が顕著に現れる。このように、回転パラメータを正確に求めるためには視野の上部分を用いることが有効であり、よって、回転パラメータ推定部２２は、視野の上部分に限定して投票を行う。

【0088】

オプティカルフロー正則化部２３は、回転パラメータ推定部２２と同様に、式（１８）において対応点をオプティカルフローｕに置き換える。また、式（１８）の回転パラメータΩ_Ｙを含む項は、オプティカルフローの回転成分を表している。オプティカルフローの回転成分を下式（２１）のようにｕ^Ω＝（ｕ_ｘ ^Ω，ｕ_ｙ ^Ω）と置くと、下式（２２）が得られる。

【数21】

【数22】

【0089】

式（２２）では、上述のＦＯＥの性質が簡潔に表されている。回転を除いたフローｕ´を下式（２３）で表す。

【数23】

【0090】

ここで、ＦＯＥから放射状に各座標に延ばした矢印をｕ_ｆｏｅとし、下式（２４）のようにｕ´と長さを同じにしたものをｕ´_ｆｏｅとする。

【数24】

【0091】

このｕ´_ｆｏｅとｕ´に対して、αで表される比で下式（２５）のようにｕ＾´を決定する。

【数25】

【0092】

オプティカルフロー正則化部２３は、このｕ´_ｆｏｅとｕ´の２乗誤差を目的関数として最適化を行うことで、回転成分を除いたオプティカルフローをＦＯＥに従うように修正（正則化）する。この最適化後に、オプティカルフロー正則化部２３は、下式（２６）のようにｕ＾´に回転成分ｕ^Ωを戻して、ｕ＾を得る。

【数26】

【0093】

図９は、ＦＯＥによる正則化を説明する図である。オプティカルフロー正則化部２３による正則化により、図９に示すようにオプティカルフローはＦＯＥに従うように修正され、よりよいものになると考えられる。このように、オプティカルフローの初期推定、及びその後の回転パラメータの推定及び正則化を、タイムウィンドウをスライドさせて繰り返すことで、より正しい向きにオプティカルフローを正則することができ、それに伴って推定する回転パラメータΩ＾_Ｙの精度も向上する。

【0094】

図１０は、本発明の実施の形態のオプティカルフロー推定方法のフローチャートである。オプティカルフロー推定方法は、オプティカルフロー推定装置２０において実行される。まず、オプティカルフロー初期推定部２１は、指定されたタイムウィンドウについて、オプティカルフローの初期推定を行う（ステップＳ１０１）。次に、回転パラメータ推定部２２が、初期推定されたオプティカルフローに基づいて、イベントカメラ１０（即ち、車両）の回転パラメータ（ヨーレート）を推定する（ステップＳ１０２）。

【0095】

オプティカルフロー正則化部２３は、初期推定されたオプティカルフローをＦＯＥを用いて正則化する（ステップＳ１０３）。オプティカルフロー推定装置２０は、処理すべきタイムウィンドウをスライドさせ（ステップＳ１０４）、ステップＳ１０１～ステップＳ１０３を繰り返す。

【0096】

以上のように、本実施の形態のオプティカルフロー推定システム１００によれば、イベントカメラが車両の進行方向を向いて固定される場合にはヨーレートで補正したＦＯＥが固定であるという性質を利用して、イベントデータに基づいて初期推定したオプティカルフローを正則化して最終的なオプティカルフローを推定する。すなわち、まず、ＦＯＥによる正則なしの問題（凸問題）を解いた（初期推定）後に、それを初期値として正則化ありの問題（非凸問題）を解く（最終推定）という構成によって、オプティカルフローの推定精度を向上させる。

【0097】

また、初期推定されたオプティカルフローをＦＯＥに従って修正する際に、オプティカルフローの向きを用いる構成を採用している。これにより、ノイズの影響を受けやすい向きの推定の精度を向上できる。

【0098】

さらに、全画素について得られたヨーレートの最頻値を採用することでヨーレートを推定するが、その際には、イベントカメラ１０の視野の上部分のみで投票を行う。これにより、ヨーレートが反映されたオプティカルフローが出現しやすい部分のみを用いてヨーレートを推定するので、ヨーレート推定の精度を向上できる。

【0099】

なお、上記の実施の形態では、車両に搭載されたイベントカメラにてイベントデータが生成され、当該イベントデータからオプティカルフローを推定するオプティカルフロー推定装置を説明したが、本発明のオプティカルフロー推定装置は、これに限られない。すなわち、オプティカルフローの推定に用いるデータはイベントデータに限られず、通常のカメラで得られた通常の画像データであってもよい。このように通常のカメラで得られる画像データの場合にも、初期推定された回転パラメータに基づいて初期推定されたオプティカルフローをＦＯＥに従うように修正を行って、初期推定されたオプティカルフローを正則化することで、オプティカルフローの推定の精度を向上できる。

【0100】

また、カメラは車両に搭載されるものに限られず、車両以外の移動体に備えられるものであってよい。さらに、上記の実施の形態では、カメラが車両に搭載されることを前提として、回転パラメータ推定部２２が、ピッチレート及びロールレートを０とすることで、回転パラメータとしてヨーレートを推定するオプティカルフロー推定装置を説明したが、移動体の種類によっては、回転パラメータ推定部２２は、回転パラメータとして、ピッチレート又はロールレートを推定してもよい。

【産業上の利用可能性】

【0101】

本発明は、オプティカルフロー推定の精度を向上でき、カメラからのデータに基づいてオプティカルフローを推定するオプティカルフロー推定装置等として有用である。

【符号の説明】

【0102】

１０ イベントカメラ
２０ オプティカルフロー推定装置（ヨーレート推定装置）
２１ オプティカルフロー初期推定部
２２ 回転パラメータ推定部
２３ オプティカルフロー正則化部
１００ オプティカルフロー推定システム（ヨーレート推定システム）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】