特許 7169894 画像処理方法、画像処理装置及び物体認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-02

(45)【発行日】2022-11-11

(54)【発明の名称】画像処理方法、画像処理装置及び物体認識方法

(51)【国際特許分類】

   G06T 5/50 20060101AFI20221104BHJP

   G06T 7/20 20170101ALI20221104BHJP

【ＦＩ】

G06T5/50

G06T7/20 300Z

【請求項の数】 16

(21)【出願番号】P 2019016869

(22)【出願日】2019-02-01

(65)【公開番号】P2020126306

(43)【公開日】2020-08-20

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】チョ ヒョンソン

(72)【発明者】

【氏名】西内 秀和

(72)【発明者】

【氏名】佐藤 宏

【審査官】西谷 憲人

(56)【参考文献】

【文献】特開２０１６－０４６６６６（ＪＰ，Ａ）

【文献】国際公開第２００９／１３９２０６（ＷＯ，Ａ１）

【文献】特開２００２－０６３５７９（ＪＰ，Ａ）

【文献】特開２０１７－０９４００６（ＪＰ，Ａ）

【文献】特開２０１０－０９３４５１（ＪＰ，Ａ）

【文献】特開２０１０－１５８２７５（ＪＰ，Ａ）

【文献】特開２０１８－１７３９１４（ＪＰ，Ａ）

【文献】矢口 陽一 他，超解像処理のための複数モーションに対応したロバストかつ高精度な位置合せ手法，電子情報通信学会論文誌 （Ｊ９２－Ｄ），第１１号，社団法人電子情報通信学会，2009年11月01日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

経時的に連続して撮影した複数の撮影フレームにより構成される画像データを処理する画像処理方法において、
前記画像データの画像中の複数の計測点について動きを計測し、
前記計測点のそれぞれについて前記計測した動きに周期性があるか否かを判断し、
前記計測した動きに周期性があると判断された前記計測点のうちの１つを注目計測点に選択して前記注目計測点の動きの周期である動作周期の位相の１つを基準位相に設定し、
前記撮影フレームのそれぞれについて、前記基準位相に相当する時刻に撮影された基準位相フレームであるか否か判断し、
前記動作周期で動く他の前記計測点を有する観測対象が含まれるように前記注目計測点の周囲の画像領域を前記基準位相フレームから切り取り、
複数の前記基準位相フレームの前記画像領域を加算処理して合成画像を生成する
ことを特徴とする画像処理方法。

【請求項2】

前記動作周期について複数の前記基準位相を設定し、
前記撮影フレームのそれぞれについて、複数の前記基準位相のいずれかに相当する時刻に撮影された前記基準位相フレームであるか否かを判断し、
前記基準位相ごとに前記基準位相フレームの前記画像領域を加算処理して複数の前記合成画像を生成する
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記動作周期が同一である複数の前記注目計測点を選択し、
複数の前記注目計測点について互いに異なる位相をそれぞれの前記基準位相に設定し、
前記撮影フレームのそれぞれについて、複数の前記注目計測点の前記基準位相のいずれかに相当する時刻に撮影された前記基準位相フレームであるか否かを判断し、
前記注目計測点ごとに前記基準位相フレームの前記画像領域を加算処理して複数の前記合成画像を生成する
ことを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記注目計測点の動きの履歴に基づいて算出された前記観測対象の位置変化量に応じて前記画像領域の画像を移動させながら、前記画像領域の加算処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。

【請求項5】

前記画像領域の加算処理において前記画像データを高階調化した前記合成画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。

【請求項6】

前記計測点の垂直方向の動きも若しくは水平方向の動きを用いて、前記計測点の動きに周期性があるか否かを判断することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。

【請求項7】

前記注目計測点の前記動作周期の逓倍の周期で動く前記計測点を含むように前記画像領域を設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。

【請求項8】

前記注目計測点の動きの速度が最大の時刻または最小の時刻を前記基準位相とすることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。

【請求項9】

前記注目計測点の動きの速度がゼロから変化する時刻を前記基準位相とすることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。

【請求項10】

前記注目計測点の動きの速度が前記動作周期において２回目の極大値になる時刻を前記基準位相とすることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。

【請求項11】

撮影時間の順序で１つおきに前記基準位相フレームの前記画像領域を加算処理して前記合成画像を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。

【請求項12】

前記画像領域に含まれる前記動作周期の前記計測点の個数が設定値よりも少ない場合に、前記動作周期の２倍の周期について１つの前記基準位相を設定し直して、前記撮影フレームのそれぞれについて前記基準位相フレームであるか否か判断することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。

【請求項13】

先に撮影された前記基準位相フレームから切り取られた前記画像領域の画像と、後に撮影された前記基準位相フレームから切り取られた前記画像領域の画像との相関を取り、相関値が所定の閾値以下の場合は、後に撮影された前記基準位相フレームから切り取られた前記画像領域を前記合成画像の生成に使用せず、
前記合成画像の生成に使用しない前記画像領域が２回以上続いた場合には、前記注目計測点及び前記基準位相を画像合成に使用する対象から除外する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理方法。

【請求項14】

請求項１乃至１３のいずれか１項に記載の画像処理方法の処理結果を表示し、
前記観測対象の様々な形状が格納された学習データベースを用いて、前記処理結果から前記観測対象の物体認識を実行する
ことを特徴とする物体認識方法。

【請求項15】

前記観測対象が歩行中の人間であることを特徴とする請求項１４に記載の物体認識方法。

【請求項16】

経時的に連続して撮影した複数の撮影フレームにより構成される画像データを処理する画像処理装置であって、前記画像処理装置は、
前記画像データの画像中の複数の計測点について動きを計測し、
前記計測点のそれぞれについて前記計測した動きに周期性があるか否かを判断し、
前記計測した動きに周期性があると判断された前記計測点のうちの１つを注目計測点に選択して前記注目計測点の動きの周期である動作周期の位相の１つを基準位相に設定し、
前記撮影フレームのそれぞれについて、前記基準位相に相当する時刻に撮影された基準位相フレームであるか否か判断し、
前記動作周期で動く他の前記計測点を有する観測対象が含まれるように前記注目計測点の周囲の画像領域を前記基準位相フレームから切り取り、
複数の前記基準位相フレームの前記画像領域を加算処理して合成画像を生成する
ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置及び物体認識方法に関する。

【背景技術】

【0002】

連続的に撮影された複数の撮影フレームにより構成される画像データを高画質化するために、複数の撮影フレームを合成する画像処理方法が用いられている。例えば、特許文献１では、被合成画像の変化量に基づいて合成画像を生成する際に、画像のサイズに応じて被合成画像の枚数を設定する。画像のサイズが大きければ被合成画像の枚数を少なくすることにより、合成画像を生成するリソースを小さくできる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－９２４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮影フレームを単純に重ねて合成画像を生成化した場合、歩行中の人間のように動いていることにより形状が連続的に変化する観測対象は、動きのない部分のみが高画質化し、動いている部分はぼやけてしまう。

【0005】

本発明は、動いている観測対象の全体を高画質化する画像処理方法、画像処理装置及び画像処理の結果を用いた物体認識方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る画像処理方法、画像処理装置及び物体認識方法は、画像データの画像中の複数の計測点について動きを計測することによって観測対象が同じ形状である撮影フレームを選択し、これらを加算処理して合成画像を生成することを要旨とする。

【発明の効果】

【0007】

本発明によれば、動いている観測対象の全体を高画質化する画像処理方法、画像処理装置及び画像処理の結果を用いた物体認識方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の第１の実施形態に係る画像処理装置の構成を示す模式図である。

【図2】歩行中の人間のオプティカルフローを示すグラフである。

【図3】歩行中の人間の足の水平方向のオプティカルフローを示すグラフである。

【図4】歩行中の人間の足の垂直方向のオプティカルフローを示すグラフである。

【図5】歩行中の人間の膝の水平方向のオプティカルフローを示すグラフである。

【図6】歩行中の人間の手の水平方向のオプティカルフローを示すグラフである。

【図7】歩行中の人間の頭部の垂直方向のオプティカルフローを示すグラフである。

【図8】比較例の合成画像を示す模式図である。

【図9】本発明の第１の実施形態に係る画像処理方法を説明するためのフローチャートである。

【図10】本発明の第１の実施形態に係る画像処理方法におけるオプティカルフローの計測方法を説明するための模式図である（その１）。

【図11】本発明の第１の実施形態に係る画像処理方法におけるオプティカルフローの計測方法を説明するための模式図である（その２）。

【図12】本発明の第１の実施形態に係る画像処理方法の処理結果の例を示す模式図である。

【図13】本発明の第２の実施形態に係る画像処理装置の構成を示す模式図である。

【図14】本発明の第３の実施形態に係る画像処理装置の構成を示す模式図である。

【発明を実施するための形態】

【0009】

以下に、図面を参照して実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

（第１の実施形態）
図１に示す本発明の第１の実施形態に係る画像処理装置２０は、撮像装置１０により観測対象を時間的に（経時的に）連続して撮影した複数の撮影フレームにより構成される画像データについて画像処理を行う。撮像装置１０は、例えば自動車に搭載されたカメラや防犯カメラなどである。撮像装置１０によって撮影された画像データは、画像処理装置２０に送信される。

【0011】

画像処理装置２０は、計測部２１、周期性判断部２２、位相判断部２３、画像格納部２４、画像合成部２５を備える。画像処理装置２０は、計測結果記録装置２６１、画像記録装置２６２を有する記録装置２６を更に備える。なお、図１には、撮像装置１０、画像処理装置２０、画像表示装置３０及び物体認識装置４０を備える画像データ処理システムを記載している。

【0012】

計測部２１は、画像データの画像中に設定した複数の計測点について経時的な動きを計測する。例えば、時間的に連続して撮影された撮影フレームの相互間の画像を比較して、計測点の動きを計測する。計測結果は、計測結果記録装置２６１に格納される。例えば、計測部２１は、画像データの画像の各部分の動きを示すオプティカルフローを計測する。

【0013】

周期性判断部２２は、計測点のそれぞれについて動きに周期性があるか否かを判断する。周期性判断部２２による判断の結果は、位相判断部２３に出力される。

【0014】

位相判断部２３は、動きに周期性があると判断された計測点（以下において「周期計測点」という。）のうちの１つを注目計測点Ｐｓに選択し、注目計測点Ｐｓの動きの周期である動作周期の位相の１つを基準位相Ｔｓに設定する。更に、位相判断部２３は、画像データを構成する撮影フレームのそれぞれについて、基準位相Ｔｓに相当する時刻に撮影された基準位相フレームであるか否か判断し、複数の基準位相フレームを抽出する。

【0015】

画像格納部２４は、注目計測点Ｐｓの周囲の画像領域を、複数の基準位相フレームそれぞれから切り取る。複数の基準位相フレームから切り取った画像領域の画像は、画像記録装置２６２に格納される。

【0016】

画像合成部２５は、画像記録装置２６２に格納された複数の基準位相フレームの画像領域を加算処理して、合成画像を生成する。

【0017】

なお、基準位相フレームから切り取る画像領域は、注目計測点Ｐｓが含まれる一定の範囲である。これにより、画像領域は動作周期で動く部分を有する観測対象が含まれるように基準位相フレームから切り取られる。この画像領域の範囲は、撮像装置１０から注目計測点Ｐｓまでの距離及び観測対象の大きさに応じて設定される。例えば観測対象として人間を想定する場合は、撮像装置１０からの距離を用いて人間の大きさを認定し、観測対象の全体が含まれるように画像領域の範囲を設定する。

【0018】

以下では、計測部２１がオプティカルフローを計測する場合を例示的に説明する。歩行中の人間の足、手、膝、頭の動きは周期性を有する。このため、例えば図２に示すオプティカルフローように、足の位置の計測点Ｐ１、膝の位置の計測点Ｐ２、手の位置の計測点Ｐ３、頭部の位置の計測点Ｐ４は周期計測点である。図２の横軸は時刻であり、縦軸は計測点の速度（フロー速度）である。図３～図７に、計測点Ｐ１～Ｐ４のオプティカルフローの例を示す。

【0019】

図３に足の計測点Ｐ１の画像の水平方向のオプティカルフローの例を示し、図４に計測点Ｐ１の画像の垂直方向のオプティカルフローの例を示した。着地した状態で足は地面にしばらく留まり、その後、上方に移動する。したがって、足が着地した瞬間の速度はゼロである。計測点Ｐ１の速度は、足が地面についた瞬間に最大であり、足が地面につく前の瞬間が最小である。

【0020】

図５に、膝の計測点Ｐ２の水平方向のオプティカルフローの例を示した。計測点Ｐ２のオプティカルフローには、足と連結する膝が動くときの最大速度の瞬間である１回目の極大値Ｖ１と、反対の足が動くときの２回目の極大値Ｖ２がある。

【0021】

図６に、手の計測点Ｐ３の水平方向のオプティカルフローの例を示した。手が最下点を通過する瞬間に速度が最大となる。

【0022】

図７に、頭部の計測点Ｐ４の垂直方向のオプティカルフローの例を示した。膝を伸ばす瞬間が最大速度であり、膝を曲げる瞬間が最小速度である。なお、歩行中の人間の頭部や胴体は、手足の左右の動きに対して同じ動きをする。このため、手や足の動きの周期は、頭部の動きの周期の２倍である。

【0023】

歩行中の人間の画像を単純に加算処理して合成画像を生成すると、例えば図８に示す比較例のように、動いていない部分については高解像度の画像が得られるが、動いている部分はぼやけてしまう。これに対し、第１の実施形態に係る画像処理方法によれば、動いている部分も含めて高解像度の画像が得られる。

【0024】

以下に、図９に示したフローチャートを参照して、図１に示した画像処理装置２０による画像処理方法を説明する。なお、以下では、歩行中の人間を観測対象とする場合を例示的に説明する。

【0025】

図９のステップＳ１０において、撮像装置１０が撮影した処理対象の画像データが画像処理装置２０に送信される。その後、ステップＳ２０において画像データについて画像処理が行われる。

【0026】

ステップＳ２１において、計測部２１が、撮像装置１０から送られてくる複数の撮影フレームを用いて、画像データの複数の計測点について動きを計測する。例えば、計測部２１は、撮影フレームの画像の各部分の動きを示すオプティカルフローを計測する。オプティカルフローの計測は、例えば撮影フレームに含まれる画像の角や点などの追跡が容易な特徴点をオプティカルフローの計測点として抽出し、複数の撮影フレームにわたって計測点の移動を追跡して行う。

【0027】

ある撮影フレーム（以下、「元の撮影フレーム」という。）と、元の撮影フレームの次に撮影された撮影フレーム（以下、「次の撮影フレーム」という。）との間の計測点の追跡は、例えば以下のようにして行う。まず、計測部２１は、計測点を中心にして、所定の画素数を含む大きさの画像範囲を元の撮影フレームから切り取る。そして、計測部２１は、次の撮影フレームにおいて、元の撮影フレームの計測点の位置を中心として所定の探索範囲に含まれる複数の画素をそれぞれ中心に、元の撮影フレームの画像範囲と同じ大きさの画像範囲を切り取る。次に、計測部２１は、次の撮影フレームから切り取られた複数の画像範囲のそれぞれと元の撮影フレームから切り取られた画像範囲について相関を取り、最も相関の大きい画像範囲の中心を次の撮影フレームでの計測点の座標とする。このようにして得られる撮影フレーム間での計測点の移動をオプティカルフローとする。

【0028】

例えば、図１０に示すように、計測部２１は、計測点Ｐが中心の画素Ｓに位置するように、画像範囲Ａを元の撮影フレームから切り取る。そして、計測部２１は、次の撮影フレームにおいて、図１１に示すように、画素Ｓ及び画素Ｓに隣接する画素からなる９つの画素を探索範囲Ｂとして設定する。次に、計測部２１は、探索範囲Ｂに含まれるそれぞれの画素を中心とし、画像範囲Ａと同じ大きさの９つの画像範囲を、次の撮影フレームから切り取る。そして、計測部２１は、次の撮影フレームから切り取られた９つの画像範囲の中から画像範囲Ａとの相関が最も大きい画像範囲を選択し、選択した画像範囲の中心を次の撮影フレームでの計測点の座標とする。

【0029】

計測部２１は、画像処理を開始した時点から設定された過去までの計測点のオプティカルフローの履歴を、周期性判断部２２に出力する。設定された過去までの期間は任意であるが、少なくとも想定される観測対象の動きの周期性を確認できる程度の期間を設定する。

【0030】

ステップＳ２２において、周期性判断部２２は、オプティカルフローの履歴から、すべての計測点の動きについて周期性を判断し、周期性のある計測点を選択する。例えば観測対象を歩行中の人間とする場合には、人間は左右の手足を交互に動かして歩行するため、その動きは周期的で連続的に変形する。このため、自動車などの剛性が高くて変形しない被写体と人間とは、その動きによって区別できる。周期性の有無の判断は、例えば以下のようにして行われる。

【0031】

周期性判断部２２は、計測点について計測部２１から入力された水平方向若しくは垂直方向のオプティカルフローの履歴をフーリエ変換する。そして、直流成分を除いて最大の出力の周波数について、その出力が所定の閾値以上であれば、その計測点を周期計測点であると判断し、その周波数を周期計測点の基準周波数と定義する。周期性判断部２２は、周期計測点とその基準周波数を位相判断部２３に出力する。なお、周期計測点であると判断するための出力の閾値は、想定される観測対象の動きから設定しておくことが可能である。

【0032】

ステップＳ２３において、位相判断部２３が、周期性判断部２２によって周期性があると判断された周期計測点の１つを、注目計測点Ｐｓとして選択する。更に、位相判断部２３は、注目計測点Ｐｓの動きの周期である動作周期における位相の１つを基準位相Ｔｓに設定する。そして、ステップＳ２４において、位相判断部２３は、画像データを構成する撮影フレームのそれぞれについて、基準位相Ｔｓに相当する時刻に撮影された撮影フレームか否かを判断する。以下において、基準位相Ｔｓに撮影された撮影フレームを「基準位相フレーム」とし、基準位相フレームの集合を「基準位相フレーム群Ｆｓ」という。即ち、基準位相フレーム群Ｆｓは、動作周期を単位として画像データを構成する撮影フレームを複数のサイクルに区切ったときに、各サイクルにおける基準位相Ｔｓに相当する時刻に撮影された撮影フレームの集合である。

【0033】

周期計測点を一部とする観測対象の動きは反復されるため、動作周期の同じ位相では、周期計測点は同じ位置であり、観測対象はすべて同じ形状である。つまり、基準位相フレーム群Ｆｓは、観測対象の形状が同じ撮影フレームの集合である。

【0034】

例えば、位相判断部２３は、動作周期に対応する周波数を基準周波数とする周期計測点の中から、画像の中央に一番近い計測点を注目計測点Ｐｓとして選択する。観測対象が歩行中の人間である場合、基準周波数は２～３Ｈｚ程度である。そして、位相判断部２３は、注目計測点Ｐｓのオプティカルフローの時間的変化から、例えばオプティカルフローの履歴における最新の動作周期である１回目の動作周期において基準位相Ｔｓを設定する。基準位相Ｔｓとして、例えば、注目計測点Ｐｓの水平方向の速度の大きさが最大である時刻に相当する位相が設定される。そして、位相判断部２３は、オプティカルフローの履歴における２回目以降の動作周期において、撮影フレームのそれぞれについて撮影された時刻に相当する位相が基準位相Ｔｓと同じであるか否かを判断する。位相判断部２３は、撮影された時刻に相当する位相が基準位相Ｔｓと同じであると判断された基準位相フレームを、画像格納部２４に出力する。

【0035】

ステップＳ２５において、画像格納部２４が、注目計測点Ｐｓの周囲の画像領域を、動作周期で動く他の計測点を有する観測対象が含まれるように基準位相フレームから切り取り、この画像領域の画像を画像記録装置２６２に格納する。例えば、注目計測点Ｐｓから所定の距離以内にあり、且つ注目計測点Ｐｓと同じ基準周波数の周期計測点が全て含まれる領域を含む画像領域の画像が、画像記録装置２６２に格納される。画像領域の大きさは、撮像装置１０から注目計測点Ｐｓまでの距離や想定される観測対象の大きさに対応する。

【0036】

ステップＳ２６において、画像合成部２５が、画像記録装置２６２に格納された複数の基準位相フレームの画像領域を加算処理して、合成画像を生成する。観測対象の形状が同じ画像を加算処理することにより、高画質の合成画像が得られる。画像処理装置によって生成された高画質の合成画像を用いることにより、例えば、観測対象についての物体認識の精度を向上させることができる。物体認識のために、所定の倍数に合成画像を拡大してもよい。なお、画像を加算処理として、加算平均処理をおこなってもよい。

【0037】

なお、画像記録装置２６２に格納する画像領域に、注目計測点Ｐｓの基準周波数の２倍の基準周波数の周期計測点も含まれるようにしてもよい。例えば、歩行中の人間の頭部の動きの周期は、手や足の動きの周期の半分である。このため、注目計測点Ｐｓが人間の手や足である場合に、基準周波数の２倍の周期計測点を含めることにより、頭部も画像領域に含めることができる。

【0038】

また、画像領域に観測対象の全体を確実に含ませるために、以下のように画像領域の範囲にマージンをもたせてもよい。即ち、対象の周期計測点が全て含まれる最小の領域の外側に一定の長さを上下左右に広げた画像領域の画像を、画像記録装置２６２に格納するようにしてもよい。

【0039】

なお、画像合成の画質を低下させる画像を画像合成の対象から除外するようにしてもよい。例えば、先に撮影された基準位相フレームから切り取られた画像領域の画像と、後に撮影された基準位相フレームから切り取られた画像領域の画像との相関を取る。つまり、先に画像記録装置２６２に格納された基準位相フレームの画像と、その後に格納しようとする基準位相フレームの画像との相関を取る。この画像の相関は、２つの画像における注目計測点Ｐｓの位置を合わせ、重複する部分に対して実行する。そして、画像の相関値が所定の閾値以下であれば、格納しようとする基準位相フレームの画像を画像記録装置２６２に格納せず、その画像を画像合成に使用しない。例えば、１回目の動作周期の基準位相フレームの画像を画像記録装置２６２に格納した場合、画像記録装置２６２に格納した画像と２回目以降の動作周期の基準位相フレームの画像との相関を取る。

【0040】

相関値が閾値以下であるのは観測対象の形状が大きく変形した場合であり、画像間で観測対象の形状が大きく変化した場合には合成画像の画質が低下する。画像の相関値が所定の閾値以下である画像を画像記録装置２６２に格納しないことにより、観測対象の画像を合成した画像の画質が悪化するのを防ぐことができる。このため、画像記録装置２６２に格納された画像を初期化する。

【0041】

なお、画像合成に使用しない画像領域が２回以上続いた場合には、その画像領域に対応する注目計測点Ｐｓや基準位相Ｔｓを画像合成に使用する対象から除外してもよい。これにより、画質の悪い合成画像が生成されることを防止できる。

【0042】

ところで、画像を単純に加算処理して拡大するのみでは、画素の中に埋もれたサブピクセル単位の情報が、生成された合成画像で再現されにくい。このため、１回目の基準位相Ｔｓの拡大された画像に２回目以降の画像を加算処理するために、注目計測点Ｐｓの動きの履歴、即ちオプティカルフローの履歴から、観測対象の位置変化量を算出する。そして、その位置変化量だけ２回目以降の基準位相Ｔｓの画像の位置を順次移動させて、画像を加算処理する。このように観測対象の位置変化量を補正した画像の加算処理によって、画像記録装置２６２に格納された画像を拡大し且つサブピクセル単位の情報が再現された高画質の合成画像が観測対象について生成される。画像合成部２５は、生成した合成画像を、画像表示装置３０や物体認識装置４０に出力する。

【0043】

ステップＳ３０及びステップＳ４０において、上記の画像処理方法による処理結果を用いた物体認識が行われる。

【0044】

ステップＳ３０において、画像表示装置３０が、画像合成部２５から出力された高画質の合成画像を表示する。画像表示装置３０は、例えば高解像度モニターなどである。画像表示装置３０には、例えば所定の倍数に拡大された合成画像を表示してもよい。

【0045】

ステップＳ４０において、物体認識装置４０が、画像合成部２５から出力された高画質の合成画像を入力とし、合成画像に含まれる観測対象の物体認識を行う。物体認識装置４０は、例えば機械学習によって学習された人工知能を使用して、観測対象についての種々な形状データが格納された学習データベースを参照して、観測対象の物体認識を行う。

【0046】

以上に説明したように、第１の実施形態に係る画像処理方法では、撮影フレーム間での計測点の移動を示すオプティカルフローについて、周期性のある周期計測点を抽出する。そして、周期計測点から選択した注目計測点Ｐｓの動作周期の１つの時刻を基準位相Ｔｓとし、基準位相Ｔｓに相当する時刻に撮影された撮影フレームを抽出する。これにより、観測対象が同じ形状である基準位相フレーム群Ｆｓが得られる。図１２に示すように、基準位相フレーム群Ｆｓの画像領域について加算処理することにより、高画質の合成画像が生成される。

【0047】

したがって、第１の実施形態に係る画像処理方法によれば、動きのある観測対象についても高画質の画像が得られる。この高画質の合成画像を使用することにより、画像処理をしていない画像を使用する場合よりも、観測対象の物体認識が容易であり、精度が向上する。合成画像を拡大した場合の観測対象の形状の輪郭は明確である。

【0048】

観測対象は任意に選択可能である。例えば、歩行中の人間を観測対象にする場合には、垂直方向若しくは水平方向の動きが周期性を有し、基準周波数が２～３Ｈｚ程度の周期計測点を注目計測点Ｐｓとして選択する。なお、基準周波数は観測対象に応じて適宜変更可能であり、例えば走行中の人間を観測対象とする場合は、歩行中の人間を観測対象とする場合の基準周波数よりも高い基準周波数の周期計測点を注目計測点Ｐｓとして選択する。このとき、注目計測点Ｐｓの動作周期の逓倍の周期で動く周期計測点も観測対象に含まれる計測点としてもよい。これにより、全ての周期計測点の基準周波数が同一ではない観測対象に関して、多数の周期計測点を画像領域に含ませることができる。例えば、人間を想定した観測対象において、手や足を注目計測点Ｐｓにした場合に、手や足の動きの周期の２倍の周期で動く頭部を画像領域に含ませるようにできる。

【0049】

なお、計測点の動きの速度が最大の時刻や最小の時刻を、歩行中の人間の周期的な動きが現われる注目計測点Ｐｓの基準位相Ｔｓとしてもよい。或いは、注目計測点Ｐｓの動きがゼロから変化する時刻、即ち注目計測点Ｐｓが静止状態から動き始める時刻を基準位相Ｔｓとしてもよい。これにより、計測されたオプティカルフローから抽出することが容易な時刻が基準位相Ｔｓになり、観測対象が同じ形状になる位相を容易に選択することができる。また、歩行中の人間の膝を注目計測点Ｐｓとする場合には、動作周期において速度が２回目の極大値になる時刻を基準位相Ｔｓとしてもよい。

【0050】

ところで、撮像装置１０の遠方の人間については、手足の動きよりも頭部の動きの方が観測されやすい。このため、頭部が注目計測点Ｐｓとして選択される可能性も高い。人間の頭部や胴体のように手足の左の動きと右の動きに対して同じ動きをする部分の周期は、手や足の動きの周期の半分である。したがって、頭部を注目計測点Ｐｓとした選択した場合には、注目計測点Ｐｓの動作周期の２倍の周期の間に１つの撮影フレームを選択することにより、観測対象が同じ形状になる撮影フレームを抽出できる。このため、撮影時間の順序で１つおきに基準位相フレームの画像領域を加算処理することにより、高画質の合成画像を生成できる。例えば、偶数回目または奇数回目の基準位相Ｔｓについての基準位相フレームのみの画像領域を加算処理する。これは、動作周期の２倍の周期を１周期として基準位相Ｔｓを設定し直すことに等価である。これにより、観測対象の動きの実際の周期の半分の周期の周期計測点を注目計測点Ｐｓに選択した場合に、高画質の合成画像を生成できる。

【0051】

例えば、撮像装置１０からの距離が長い遠方では、画像データには人間の形状の特徴が殆ど見られない。このため、周期計測点が少なく検出されたときは、注目計測点Ｐｓが頭部や胴体である可能性が高い。したがって、画像領域に含まれる動作周期の計測点の個数が所定の設定値よりも少ない場合に、注目計測点Ｐｓが頭部や胴体であるとして、動作周期の２倍の周期について１つの基準位相を設定し直して、撮影フレームのそれぞれについて基準位相フレームであるか否かを判断する。この設定値は任意に設定可能であるが、周期計測点が１－２点程度であれば頭部や胴体である可能性が高いと推定される。したがって、例えば設定値を２－３としてもよい。

【0052】

第１の実施形態に係る画像処理方法や物体認識方法は、例えば車載カメラなどの移動体に搭載された撮像装置１０により撮影された画像や、防犯カメラなどの固定された撮像装置１０により撮影された画像などの画像処理に使用することができる。

【0053】

（第２の実施形態）
図１３に示す第２の実施形態に係る画像処理装置２０では、位相判断部２３が、１つの注目計測点Ｐｓの動作周期について複数の基準位相Ｔｓを設定する。そして、位相判断部２３は、複数の基準位相Ｔｓのそれぞれに関して、撮影フレームのそれぞれが基準位相Ｔｓに相当する時刻に撮影されたか否かを判断する。つまり、１つの注目計測点Ｐｓに対して複数の基準位相Ｔｓが設定されることが、１つの注目計測点Ｐｓについて１つの基準位相Ｔｓが設定される第１の実施形態と異なる点である。

【0054】

例えば、位相判断部２３は、１回目の動作周期におけるオプティカルフローから複数の基準位相Ｔｓを設定する。以下に、３つの基準位相Ｔｓが設定される場合を例示的に説明する。例えば、注目計測点Ｐｓの水平方向の動きの速度が最小である時刻の位相を基準位相Ｔｓ１とする。更に、動きの速度が最大である時刻の位相を基準位相Ｔｓ２とし、動きの速度がゼロから変化する時刻の位相を基準位相Ｔｓ３とする。

【0055】

位相判断部２３は、撮影フレームのそれぞれについて、設定された基準位相Ｔｓ１、Ｔｓ２、Ｔｓ３のいずれかに相当する時刻に撮影されたか否か判断する。そして、位相判断部２３は、基準位相Ｔｓ１に相当する時刻に設営された第１基準位相フレーム群Ｆｔ１、基準位相Ｔｓ２に相当する時刻に撮影された第２基準位相フレーム群Ｆｔ２、及び、基準位相Ｔｓ３に相当する時刻に撮影された第３基準位相フレーム群Ｆｔ３を画像格納部２４に出力する。

【0056】

このとき、位相判断部２３は、第１基準位相フレーム群Ｆｔ１、第２基準位相フレーム群Ｆｔ２、第３基準位相フレーム群Ｆｔ３に関するフレーム情報を、それぞれの基準位相フレーム群が判断された基準位相Ｔｓと対応付けて画像格納部２４に出力する。フレーム情報は、それぞれの撮影フレームが画像データのどの時刻に撮影されたかを示す情報であり、例えば撮影フレームに付与されたフレーム番号が記録されたタグなどである。

【0057】

画像格納部２４は、第１基準位相フレーム群Ｆｔ１、第２基準位相フレーム群Ｆｔ２、第３基準位相フレーム群Ｆｔ３の画像を、図１３に示した画像処理装置２０の第１位相画像記録装置２６２＿Ｔ１、第２位相画像記録装置２６２＿Ｔ２、第３位相画像記録装置２６２＿Ｔ３にそれぞれ格納する。なお、画像記録装置に格納する画像の選択方法及び相関を使った判定は第１の実施形態と同様である。例えば、前後の基準位相フレームの画像の相関値が閾値以下である場合は、画像記録装置に格納された画像を初期化する。

【0058】

画像合成部２５は、第１の実施形態と同様に、画像記録装置に格納された画像を合成し、合成画像を生成する。このとき、基準位相Ｔｓごとに基準位相フレーム群の画像領域を加算処理して、複数の合成画像を生成する。つまり、第１位相画像記録装置２６２＿Ｔ１、第２位相画像記録装置２６２＿Ｔ２、第３位相画像記録装置２６２＿Ｔ３ごとに、格納されている画像を第１の実施形態と同様に合成して、基準位相Ｔｓごとの合成画像を生成する。その結果、観測対象の形状が異なる３つの合成画像が生成される。

【0059】

第２の実施形態に係る画像処理方法では、１つの注目計測点Ｐｓについて設定された複数の基準位相Ｔｓのそれぞれについて高画質の合成画像を生成する。このため、１つの注目計測点Ｐｓについて１つの基準位相Ｔｓを設定する場合に比べて、合成画像が生成される間隔が短くなる。

【0060】

したがって、第２の実施形態に係る画像処理方法は、特に、観測対象の動きの周期が長い場合、若しくは物体認識をより短い間隔で行う場合に効果的である。例えば、撮像装置１０の撮影レートに比べて人間の歩行周期がゆっくりである場合に、１つの基準位相Ｔｓのみに基づいて画像合成を行うと、物体認識装置４０には撮影レートよりも短い間隔でしか合成画像が入力しない。その結果、物体認識を行う間隔が長くなる。このため、例えば自動車の制御に物体認識の結果を反映させるには時間的余裕が十分ではない可能性がある。これに対し、第２の実施形態においては、注目計測点Ｐｓについて複数の基準位相Ｔｓを設定することによって、物体認識を行う時間間隔を短くできる。

【0061】

以上に説明したように、第２の実施形態に係る画像処理方法によれば、第１の実施形態と同様に、動きのある観測対象について高画質の合成画像を生成できる。更に、第２の実施形態によれば、複数の基準位相Ｔｓのそれぞれについて高画質の合成画像を生成するため、注目計測点Ｐｓの動作周期よりも短い時間間隔で合成画像を生成できる。短い時間間隔で生成した合成画像を用いて物体認識を行うことにより、高い頻度で遠方の物体情報を取得することも可能である。他は、第１の実施形態と実質的に同様であり、重複した説明を省略する。

【0062】

（第３の実施形態）
図１４に示す第３の実施形態に係る画像処理装置２０では、位相判断部２３が、動作周期が同一である複数の注目計測点Ｐｓを選択する。これにより、観測対象について周期性のある部分が複数選択される。そして、位相判断部２３は、複数の注目計測点Ｐｓについて互いに異なる位相をそれぞれの基準位相Ｔｓに設定する。基準位相Ｔｓが互いに異なるため、それぞれの基準位相Ｔｓに相当する時刻における観測対象の形状は異なる。複数の注目計測点Ｐｓを選択し、それぞれの注目計測点Ｐｓについて基準位相Ｔｓが設定されることが、１つの注目計測点Ｐｓについて１つの基準位相Ｔｓが設定される第１の実施形態と異なる点である。

【0063】

位相判断部２３は、例えば想定する観測対象が人間である場合、人間が歩行するときの手足の動きの周期である２～３Ｈｚ程度の基準周波数の周期計測点から、複数の注目計測点Ｐｓを選択する。以下に、３つの注目計測点Ｐｓが選択される場合を例示的に説明する。例えば、位相判断部２３は、画像の中央付近に最も近い周期計測点を第１注目計測点Ｐｓ１として選択する。更に、位相判断部２３は、第１注目計測点Ｐｓ１からある程度離れた第２注目計測点Ｐｓ２、第３注目計測点Ｐｓ３を選択する。第１注目計測点Ｐｓ１、第２注目計測点Ｐｓ２及び第３注目計測点Ｐｓ３の相互の距離は、観測対象が含まれる画像の範囲によって設定される。つまり、撮像装置１０から観測対象までの距離や想定される観測対象の大きさに応じて、選択される複数の注目計測点Ｐｓの相互の距離の範囲が設定される。

【0064】

位相判断部２３は、１回目の動作周期におけるオプティカルフローから、第１注目計測点Ｐｓ１、第２注目計測点Ｐｓ２及び第３注目計測点Ｐｓ３のそれぞれの基準位相Ｔｐ１、Ｔｐ２、Ｔｐ３を設定する。例えば、水平方向の動きの速度が最小である時刻の位相を、基準位相Ｔｐ１、Ｔｐ２、Ｔｐ３とする。更に、位相判断部２３は、撮影フレームのそれぞれについて、基準位相Ｔｐ１、Ｔｐ２、Ｔｐ３のいずれかに相当する時刻に撮影されたか否かを判断する。そして、位相判断部２３は、基準位相Ｔｐ１、Ｔｐ２、Ｔｐ３のそれぞれに相当する時刻に撮影された第１基準位相フレーム群Ｆｐ１、第２基準位相フレーム群Ｆｐ２、第３基準位相フレーム群Ｆｐ３を、フレーム情報及び注目計測点Ｐｓの情報と対応付けて画像格納部２４に出力する。

【0065】

画像格納部２４は、第１基準位相フレーム群Ｆｐ１の画像、第２基準位相フレーム群Ｆｐ２の画像、第３基準位相フレーム群Ｆｐ３の画像を、図１４に示した画像処理装置２０の第１計測点画像記録装置２６２＿Ｐ１、第２計測点画像記録装置２６２＿Ｐ２、第３計測点画像記録装置２６２＿Ｐ３にそれぞれ格納する。なお、画像記録装置に格納する画像の選択方法及び相関を使った判定は第１の実施形態と同様である。

【0066】

画像合成部２５は、注目計測点Ｐｓごとに基準位相フレーム群Ｆｓの画像領域を加算処理して、複数の合成画像を生成する。つまり、画像合成部２５は、第１計測点画像記録装置２６２＿Ｐ１、第２計測点画像記録装置２６２＿Ｐ２、第３計測点画像記録装置２６２＿Ｐ３ごとに、格納されている画像を第１の実施形態と同様に合成して、合成画像を生成する。注目計測点Ｐｓごとに異なる基準位相Ｔｓを設定しているため、観測対象の形状が異なる複数の合成画像が生成される。

【0067】

第３の実施形態に係る画像処理方法によれば、第１の実施形態と同様に、動きのある観測対象について高画質の合成画像を生成できる。更に、第３の実施形態に係る画像処理方法では、複数の注目計測点Ｐｓのそれぞれについて高画質の合成画像を生成する。このため、１つの注目計測点Ｐｓについて１つの基準位相Ｔｓを設定する場合に比べて、合成画像が生成される間隔が短くなる。つまり、短い時間間隔で生成される高画質の合成画像を用いて物体認識を行うことにより、高い頻度で遠方の物体情報を取得することが可能である。

【0068】

したがって、第３の実施形態に係る画像処理方法は、特に、観測対象の動きの周期が長い場合や物体認識をより短い間隔で行う場合に効果的である。他は、第１及び第２の実施形態と実質的に同様であり、重複した説明を省略する。

【0069】

（第４の実施形態）
上記に説明した画像処理方法によれば、基準位相フレーム群Ｆｓの画像領域を加算処理することにより、高解像度の合成画像を生成することができる。また、基準位相フレーム群Ｆｓの画像領域を加算処理することにより、高階調度の合成画像を生成することも可能である。

【0070】

即ち、撮影した画像を撮像装置１０がアナログデジタル（ＡＤ）変換によりデジタル化した画像データを、画像合成部２５によって高階調化することができる。例えば、画像合成部２５は画像記録装置２６２に格納されている画像を用い、１回目の動作周期の画像の注目計測点Ｐｓの位置と２回目以降の動作周期の注目計測点Ｐｓの位置を合わせるように画像の位置をずらしながら、画像領域の加算処理を行う。画像の位置のずらし量は、例えば、注目計測点Ｐｓのオプティカルフローの履歴から算出される観測対象の位置変化量を用いる。画像記録装置２６２に格納された画像のずれを補正して加算処理することにより、高階調画像を取得することができる。例えば、撮像装置１０がＡＤ変換による８ビットのデータを各画素について出力していた場合に、１６ビットまで復元した合成画像を生成する。これにより、反復的な動きをしている観測対象について合成画像のコントラストが上がり、ノイズを減らすことができる。

【0071】

第４の実施形態に係る画像処理装置は、特に、画像のコントラストが小さく、撮像装置１０のＡＤ変換によって画素間の輝度差が埋もれているときに効果がある。例えば、周囲が暗い夕方には観測対象とその周辺とのコントラストが小さく、観測対象が鮮明に見えないために物体認識が難しくなる可能性がある。この点、第４の実施形態に係る画像処理装置によれば、高階調画像を生成することにより観測対象の物体とその周辺とのコントラストの差を明確にし、観測対象が鮮明に見えるようにすることができる。

【0072】

（その他の実施形態）
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

【0073】

例えば、上記では歩行中の人間を観測対象に想定した場合について説明したが、観測対象はこれに限定されるものではなく、観測対象は自転車で走行中の人間であったり、人間以外の動物であったりしもよい。

【0074】

また、観測対象の周期的な動きのある部分の周期が、注目計測点Ｐｓの周期の２倍である場合だけでなく、３倍以上の場合もある。このため、２倍だけでなく逓倍の周期で動く周期計測点を含むように画像領域を設定してもよい。

【符号の説明】

【0075】

１０…撮像装置
２０…画像処理装置
２１…計測部
２２…周期性判断部
２３…位相判断部
２４…画像格納部
２５…画像合成部
２６…記録装置
３０…画像表示装置
４０…物体認識装置
２６１…計測結果記録装置
２６２…画像記録装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】