特開 2024-122032 静止画生成装置及び静止画生成用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122032

(43)【公開日】2024-09-09

(54)【発明の名称】静止画生成装置及び静止画生成用プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240902BHJP

   G03B 15/00 20210101ALI20240902BHJP

【ＦＩ】

H04N23/60 500

G03B15/00 G

G03B15/00 W

G03B15/00 V

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023029338

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】304014143

【氏名又は名称】サクサ株式会社

(71)【出願人】

【識別番号】501084031

【氏名又は名称】株式会社システム・ケイ

(74)【代理人】

【識別番号】100091546

【弁理士】

【氏名又は名称】佐藤 正美

(74)【代理人】

【識別番号】100206379

【弁理士】

【氏名又は名称】丸山 正

(72)【発明者】

【氏名】柴田 裕介

(72)【発明者】

【氏名】高倉 裕介

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA33

5C122EA61

5C122FB06

5C122FH04

5C122FH06

5C122FH11

5C122FH20

5C122HB01

(57)【要約】

【課題】魚眼レンズを用いて撮影するカメラからの撮影画像情報から、カメラに対して相対的に移動する被写体物体の静止画を、速度センサを用いることなく生成する。
【解決手段】魚眼レンズを用いて撮影するカメラで撮影位置に対して相対的に移動する被写体物体を撮影する。画像処理装置は、カメラからの撮影画像情報を、フレーム単位でデワープする補正部と、補正したフレーム単位の画像から特徴点を検出する特徴点検出部と、特徴点検出部で検出された特徴点について前後のフレーム間におけるマッチングを行うマッチング部と、マッチング部でのマッチング結果に基づいて、前後のフレームの特徴点の移動量を算出する移動量算出部と、移動量算出部で算出された移動量に基づいて、フレーム単位の画像についての結合用画像を生成する結合用画像生成部と、結合用画像生成部で生成された結合用画像を被写体物体の相対的な移動方向に結合する結合部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影位置に対して相対的に移動する被写体物体を、魚眼レンズを用いて撮影するカメラと、前記カメラからの撮影画像情報から、前記被写体物体の全体像の静止画を生成する画像処理装置とを備え、
前記画像処理装置は、
前記カメラからの前記撮影画像情報を、フレーム単位でデワープする補正部と、
前記補正部で補正した前記フレーム単位の画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部で検出された前記特徴点について前後のフレーム間におけるマッチングを行うマッチング部と、
前記マッチング部でのマッチング結果に基づいて、前記前後のフレームの前記特徴点の移動量を算出する移動量算出部と、
前記移動量算出部で算出された前記移動量に基づいて、前記フレーム単位の画像についての結合用画像を生成する結合用画像生成部と、
前記結合用画像生成部で生成された前記結合用画像を前記被写体物体の前記相対的な移動方向に結合する結合部と、
を備えることを特徴とする静止画生成装置。

【請求項2】

前記補正部で補正した前記フレーム単位の画像から、前記被写体物体の前記相対的な移動方向の中央部を切り出す切り出し部を備え、
前記特徴点検出部は、前記フレーム単位の画像の前記相対的な移動方向の前記中央部の画像において特徴点を検出する
ことを特徴とする請求項１に記載の静止画生成装置。

【請求項3】

前記移動量算出部は、前記マッチング部でのマッチング結果に基づいて、前記前後のフレームの前記特徴点の移動方向をも算出し、
前記特徴点の移動方向が前記フレームの縦方向あるいは横方向に対して斜め方向の場合に、前記フレームの画像を、算出された前記特徴点の移動方向に応じて回転補正する回転補正部を備える
ことを特徴とする請求項１又は請求項２に記載の静止画生成装置。

【請求項4】

前記移動量算出部で算出された前記移動量に、前記フレームの画像の縦方向又は横方向のうち、前記被写体物体の相対的な移動方向と交差する方向における中央部分と両端部分との間に所定以上の差がある場合には、前記移動量算出部で算出された前記移動量に基づいて画像の湾曲を補正した前記結合用画像を得る
ことを特徴とする請求項１又は請求項２に記載の静止画生成装置。

【請求項5】

前記移動量算出部で算出された前記移動量の中から、外れ値を検出して除外すると共に、前記結合用画像生成部は、前記外れ値を除外した前記移動量の平均値に基づいて、前記フレーム単位の画像から結合用画像を生成する
ことを特徴とする請求項１又は請求項２に記載の静止画生成装置。

【請求項6】

前記画像処理装置は、
前記カメラからの前記撮影画像情報から前記被写体物体の出現を検出すると共に、前記カメラからの前記撮影画像情報から前記被写体物体が消失したことを検出する被写体物体出現・消失検出部を備え、
前記被写体物体出現・消失検出部で前記被写体物体の出現を検出してから前記被写体物体が消失するまでの間における前記カメラからの撮影画像情報から前記静止画を生成する処理を行う
ことを特徴とする請求項１又は請求項２に記載の静止画生成装置。

【請求項7】

撮影位置に対して相対的に移動する被写体物体を、魚眼レンズを用いて撮影するカメラからの撮影画像情報から、前記被写体物体の全体像の静止画を生成する画像処理装置が備えるコンピュータを、
前記カメラからの前記撮影画像情報を、フレーム単位でデワープする補正部、
前記補正部で補正した前記フレーム単位の画像から特徴点を検出する特徴点検出部、
前記特徴点検出部で検出された前記特徴点について前後のフレーム間におけるマッチングを行うマッチング部、
前記マッチング部でのマッチング結果に基づいて、前記前後のフレームの前記特徴点の移動量を算出する移動量算出部、
前記移動量算出部で算出された前記移動量に基づいて、前記フレーム単位の画像についての結合用画像を生成する結合用画像生成部、
前記結合用画像生成部で生成された前記結合用画像を前記被写体物体の前記相対的な移動方向に結合する結合部、
として機能させるための静止画生成用プログラム。

【請求項8】

前記コンピュータを、さらに、
前記カメラの撮影画像中に、前記被写体物体の画像が出現したか否かを検出する被写体物体出現検出部、
前記カメラの撮影画像中から、前記被写体物体の画像が消失したか否かを検出する被写体物体消失検出部、
として機能させるための請求項７に記載の静止画生成用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、移動体を撮影するカメラからの撮影画像情報から、静止画を生成する静止画生成装置及び静止画生成用プログラムに関する。

【背景技術】

【0002】

移動体を撮影した撮影画像情報から、静止画を生成する技術として、特許文献１（特許第４８７１６７８号公報）が知られている。この特許文献１では、移動体は車両とされ、当該車両の底面が、路面の近傍に配設されたカメラで撮影され、その撮影画像から、当該車両の底面の全面の静止画が生成されるように構成されている。

【0003】

特許文献１では、車両底面とカメラとの間の距離が短いため、広角レンズを用いても車両の底面の全部を視野に入れることが困難であることから、魚眼レンズを用いて車両の底面の全部を視野に入れるようにしている。そして、特許文献１では、車両の走行速度を検出する車速センサを設け、その車速センサで検出された走行速度に基づいて、予め定められた距離を走行するのに要する時間を算出し、その算出した時間ごとにカメラに対して撮影指令を与えるようにしている。さらに、特許文献１では、カメラで撮影された複数枚の画像のそれぞれを、魚眼レンズによる球面収差を補正した後、結合することで、車両底面の全体の静止画を生成するようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４８７１６７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の特許文献１の静止画生成装置では、魚眼レンズのカメラのほかに、車速センサを必要としており、その分、コスト高となると共に、その設置スペースが必要になる。また、撮影対象である移動体が車両以外のものの場合には、その移動体ごとに異なるセンサを用意する必要が生じることもあるという問題があった。

【0006】

また、特許文献１では、車速センサで検出された走行速度に基づいて、予め定められた距離を走行するに要する時間を算出し、その算出した時間ごとにカメラに対して撮影指令を与えるようにしているので、予め定められた距離を走行するときには、等速であることを前提としており、速度変化があったときには、それに対応することが困難であるという問題もある。

【0007】

この発明は、以上の問題点を解決することができるようにした静止画生成装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、請求項１の発明は、
撮影位置に対して相対的に移動する被写体物体を、魚眼レンズを用いて撮影するカメラと、前記カメラからの撮影画像情報から、前記被写体物体の全体像の静止画を生成する画像処理装置とを備え、
前記画像処理装置は、
前記カメラからの前記撮影画像情報を、フレーム単位でデワープする補正部と、
前記補正部で補正した前記フレーム単位の画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部で検出された前記特徴点について前後のフレーム間におけるマッチングを行うマッチング部と、
前記マッチング部でのマッチング結果に基づいて、前記前後のフレームの前記特徴点の移動量を算出する移動量算出部と、
前記移動量算出部で算出された前記移動量に基づいて、前記フレーム単位の画像についての結合用画像を生成する結合用画像生成部と、
前記結合用画像生成部で生成された前記結合用画像を前記被写体物体の前記相対的な移動方向に結合する結合部と、
を備えることを特徴とする静止画生成装置を提供する。

【0009】

上述の構成の請求項１の発明による静止画生成装置においては、魚眼レンズを用いて撮影した撮影画像情報をデワープして補正したフレーム単位の画像から特徴点を抽出して、その特徴点についてマッチング部で前後のフレーム間におけるマッチング処理をする。そして、そのマッチング結果に基づいて、前後のフレーム間における特徴点の移動量を算出する。その算出した移動量に基づいて、フレーム単位の画像についての結合用画像を生成し、その生成した結合用画像を被写体物体の相対的な移動方向に結合することで、静止画を生成する。

【0010】

したがって、上述の構成の請求項１の発明による静止画生成装置によれば、車速センサなどのセンサを用いる必要がないので、コスト的に有利となると共に、その設置スペースが不要になる。また、前後のフレーム間における特徴点の移動量に基づいて、フレーム単位の画像についての結合用画像を生成し、その生成した結合用画像を被写体物体の相対的な移動方向に結合するので、被写体物体の相対的な移動の速度が変化したとしても、それに対応した結合用画像が得られ、良好な静止画を生成することができる。

【発明の効果】

【0011】

この発明によれば、車速センサなどのセンサを用いる必要がないので、コスト的に有利となると共に、その設置スペースが不要になる。また、被写体物体の相対的な移動の速度が変化したとしても、それに対応した結合用画像が得られ、良好な静止画を生成することができる。

【図面の簡単な説明】

【0012】

【図1】この発明による静止画生成装置の実施形態の構成例を示す図である。

【図2】この発明による静止画生成装置の実施形態における被写体物体出現・消失検出部を説明するための図である。

【図3】この発明による静止画生成装置の実施形態におけるデワープ補正部を説明するために用いる図である。

【図4】この発明による静止画生成装置の実施形態における中央部分切り出し部を説明するために用いる図である。

【図5】この発明による静止画生成装置の実施形態における特徴点検出部及びマッチング部を説明するために用いる図である。

【図6】この発明による静止画生成装置の実施形態における移動量算出部を説明するために用いる図である。

【図7】この発明による静止画生成装置の実施形態における結合用画像生成部を説明するために用いる図である。

【図8】この発明による静止画生成装置の実施形態における結合用画像生成部を説明するために用いる図である。

【図9】この発明による静止画生成装置の実施形態における結合部を説明するために用いる図である。

【図10】この発明による静止画生成装置の実施形態における画像処理装置の動作の流れの例を示すフローチャートの一部を示す図である。

【図11】この発明による静止画生成装置の実施形態における画像処理装置の動作の流れの例を示すフローチャートの一部を示す図である。

【図12】この発明による静止画生成装置の実施形態における画像処理装置の動作の流れの例を示すフローチャートの一部を示す図である。

【発明を実施するための形態】

【0013】

以下、この発明による静止画生成装置の実施形態を、図を参照しながら説明する。

【0014】

図１は、この発明による静止画生成装置の実施形態の構成例を示す図である。この図１の例の実施形態の静止画生成装置は、被写体物体が、走行移動する自動車ＭＶであって、その車体の底面を撮影するカメラ２と、当該カメラ２の撮影画像情報から、自動車ＭＶの車体の底面の静止画を生成する画像処理装置１とで構成されている。

【0015】

カメラ２は、自動車ＭＶが走行移動する走行路面の下方において、自動車ＭＶの車体の底面とカメラ２との間の距離が短い状態で設けられる。カメラ２は、自動車ＭＶの車体の底面とカメラ２との間の距離が短い状態でも、車体の底面の全部を視野に入れることができるようにするため、撮影レンズとして魚眼レンズ２Ｌを用いている。この例では、図１に示すように、カメラ２による撮影位置は、照明装置３により撮影に適した明るさとなるように照明される。

【0016】

カメラ２は、この実施形態では、走行移動する自動車ＭＶの車体の底面を、動画撮影し、その撮影画像情報を画像処理装置１に供給する。カメラ２から画像処理装置への撮影画像情報の供給方法は、ケーブルを通じて行ってもよいし、無線通信で行ってもよい。また、静止画を生成する処理をリアルタイムで行う必要がない場合には、カメラ２にカード型メモリなどの記憶媒体を装填しておき、その記憶媒体に撮影画像情報を記憶し、画像処理装置１では、その記憶媒体から撮影画像情報を読み出して、静止画を生成する処理を行うようにしてもよい。

【0017】

画像処理装置１では、魚眼レンズ２Ｌを使用することによる撮影画像の特有の歪みをデワープして軽減した後、被写体物体である自動車ＭＶの走行移動方向の中央部のみの画像を切り出し、その切り出した画像を、走行移動方向において結合することで、走行移動する自動車ＭＶの車体の底面全体の静止画を生成するようにする。

【0018】

この例では、被写体物体である自動車ＭＶの走行移動方向が真っすぐな走行方向である場合には、カメラ２からの撮影画像情報から取得されるフレームの画像の縦方向に平行な方向が、自動車ＭＶの走行移動方向と一致するようにしている。このように、被写体物体である自動車ＭＶの走行移動方向が真っすぐであって、フレームの画像の縦方向に平行であれば、結合用に切り出す画像は、フレーム画像の縦方向の中央部とすればよい。

【0019】

しかし、自動車ＭＶの走行移動方向は、常に真っすぐな方向となるとは限らず、真っすぐな方向に対して斜めの方向となる場合もある。このように、自動車ＭＶの走行移動方向が斜めの場合には、後述するように、フレーム画像を回転させて、走行移動方向と結合方向とを一致させるようにした後、結合用画像を切り出して結合するようにする。

【0020】

画像処理装置１は、制御部１０に対して、フレーム単位画像取得部１１と、被写体物体出現・消失検出部１２と、デワープ補正部１３と、中央部分切り出し部１４、特徴点検出部１５と、マッチング部１６と、移動量算出部１７と、結合用画像生成部１８と、結合部１９とが接続されて構成されている。

【0021】

制御部１０は、この例では、コンピュータで構成されており、これに接続されている各部の処理の制御を行う。フレーム単位画像取得部１１、被写体物体出現・消失検出部１２、デワープ補正部１３、中央部分切り出し部１４、特徴点検出部１５、マッチング部１６、移動量算出部１７、結合用画像生成部１８及び結合部１９の各部は、それぞれハードウエアの構成とすることもできるし、ソフトウェアプログラムにより実行される機能ブロックの構成とすることもできる。

【0022】

フレーム単位画像取得部１１は、カメラ２からの、この例では動画の撮影画像情報をフレーム単位の画像情報を取得する。この場合に、取得するフレームは、動画の撮影画像情報の全てのフレームであってもよいし、１～複数フレームおきのフレームであってもよい。要は、フレーム単位画像取得部１１は、静止画を生成するために必要なフレームを取得すればよい。

【0023】

被写体物体出現・消失検出部１２は、フレーム単位画像取得部１１で取得されたフレームの画像中に、この例の被写体物体である自動車ＭＶの車体の底面の画像が出現したか否か、また、フレームの画像中から、情報出現していた自動車ＭＶの車体の底面の画像が消失したか否かを検出する。被写体物体出現・消失検出部１２における検出は、この例では、過去に学習した自動車ＭＶの車体の底面の画像を用いたＡＩ（Artificial Intelligence）による処理とされている。

【0024】

この実施形態では、後述するように、より高精度で静止画生成処理を行うようにするために、フレームの画像において、被写体物体である自動車の真っすぐな走行移動方向に対応する縦方向の中央部の画像のみを用いて処理を行うようにしている。このため、被写体物体出現・消失検出部１２では、図２（Ａ）に示すような魚眼レンズ２Ｌの画枠内に被写体物体が出現し始めた状態は、被写体物体が出現したとは検出せず、図２（Ｂ）に示すように、被写体物体が、魚眼レンズ２Ｌの画枠内の中央付近にまで現れたときに、被写体物体が魚眼レンズ２Ｌの画枠内に出現したと検出する。また、被写体物体出現・消失検出部１２は、魚眼レンズ２Ｌの画枠内の中央付近から被写体物体が消失する状態になったときには、被写体物体が魚眼レンズ２Ｌの画枠内から消失したと検出する。

【0025】

制御部１０は、被写体物体出現・消失検出部１２の検出結果を受け、被写体物体が出現したと検出されたときには、後述するような画像結合による静止画生成処理を開始し、また、被写体物体が消失したと検出されたときには、静止画生成処理を終了する。また、この実施形態では、制御部１０は、静止画生成処理を開始するとした場合には、その後の画像処理についての、この実施形態の情報処理装置１のパフォーマンスを考慮して、フレーム単位の画像情報について、解像度を低くするなどのリサイズを行う。

【0026】

デワープ補正部１３は、図３（Ａ）に示すような丸く歪んで表示されてしまう魚眼レンズからのフレームの画像（魚眼画像）をデワープして、図３（Ｂ）に示すような、歪みの少ない平面画像（正面から撮影したような画像）に補正する。

【0027】

中央部分切り出し部１４は、デワープ補正部１３でデワープされて補正されたフレームの画像２０１（図４（Ａ）参照）のうち、被写体物体である自動車ＭＶの移動方向、この例ではフレームの画像の縦方向の中央部分のみを切り出して、図４（Ｂ）に示すような中央部分画像２０２を取得する。ここで、フレームの画像の縦方向の中央部分画像とは、図４（Ａ）に示すように、フレームの縦方向の中心位置を中心とした所定の縦幅Ｗの範囲の画像を意味している。

【0028】

このように中央部分画像２０２を切り出すのは、後述する特徴点検出部１５において特徴点を検出し易くするためであると共に、後述するように、被写体物体の移動方向に結合用画像を結合してゆく際に、被写体物体である車体の底面の画像における、撮影レンズである魚眼レンズ２Ｌからの遠近差による画像の歪みが大きい画像部分を排除することができるようにするためである。

【0029】

なお、この実施形態では、特徴点検出部１５，マッチング部１６，移動量算出部１７，結合用画像生成部１８においては、処理対象として、この中央部分切り出し部１４で切り出された中央部分画像２０２が用いられる。

【0030】

特徴点検出部１５は、中央部分切り出し部１４で切り出された中央部分画像２０２内における特徴点を検出する。この特徴点検出部１５における特徴点検出処理は、画像処理において一般的である公知の特徴点検出処理のアルゴリズムが用いられる。ここではその詳細は省略する。

【0031】

マッチング部１６は、特徴点検出部１５で特徴点が検出された前後の２フレームにおいて、同一の特徴点をマッチングする。このマッチング部１６におけるマッチング処理も、一般的である公知のマッチング処理のアルゴリズムが用いられる。ここではその詳細は省略する。

【0032】

図５について、このマッチング部１６で行われる、前後の２フレームにおける同一の特徴点のマッチングについて説明する。すなわち、図５（Ａ）は前フレームの画像（中央部分画像）２０２ａの例を示し、図５（Ｂ）は後フレームの画像（中央部分画像）２０２ｂの例を示している。この図５の例では、図５（Ａ）の前フレームの画像２０２ａにおいて検出された特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６と同一の特徴点は、図５（Ｂ）の後フレームの画像２０２ｂでは、特徴点Ｐ１´，Ｐ２´，Ｐ３´，Ｐ４´，Ｐ５´，Ｐ６´として検出された場合を示している。同一の特徴点を分かりやすく示すために、図５では、前後のフレームにおいて、同一の特徴点を一点鎖線で結んで示している。

【0033】

移動量算出部１７は、マッチング部１６でマッチングした同一の特徴点の間の移動量を算出する。すなわち、移動量算出部１７は、前フレームの画像２０２ａにおいて検出された特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６の、当該前フレームにおけるそれぞれの位置座標と、後フレームの画像２０２ｂにおいて検出された特徴点Ｐ１´，Ｐ２´，Ｐ３´，Ｐ４´，Ｐ５´，Ｐ６´の当該後フレームにおけるそれぞれの位置座標との差として移動量を検出する。この場合に、移動量算出部１７では、移動量は、位置座標の差として検出するので、移動方向をも加えたベクトルとして検出される。

【0034】

図６（Ａ）に、後フレームにおいて検出された特徴点Ｐ１´，Ｐ２´，Ｐ３´，Ｐ４´，Ｐ５´，Ｐ６´の、前フレームの特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６に対する移動量の例を、ベクトルの矢印で示す。例えば、なお。図６（Ａ）では、被写体物体である自動車ＭＶの移動方向がフレームの縦方向に沿った真っすぐの方向であった場合として示してある。

【0035】

また、この実施形態では、移動量算出部１７では、特徴点検出部１５での特徴点の検出誤りや、誤認識などに基づく移動量の外れ値（例えば、図６（Ｂ）において破線の矢印Ｅｒ１，Ｅｒ２で示す移動量参照）を見つけ出して除外する処理も行う。この外れ値の検出及び除去の方法は、移動量が大きく異なることや移動方向が異なることなどを用いることができる。この外れ値除去の処理には、周知の一般的なアルゴリズムが利用できるので、ここではその詳細は省略する。

【0036】

そして、この実施形態では、移動量算出部１７は、外れ値除去を行った上で、算出した移動量の平均値を求めて、その移動量の平均値を算出結果として出力する。移動量算出部１７は、外れ値除去処理をすることで、移動量の算出精度を向上させることができる。

【0037】

結合用画像生成部１８は、移動量算出部１７で算出された移動量の平均値に応じて結合する画像範囲を決定する。そして、結合用画像生成部１８は、この実施形態では、図７（Ａ）及び（Ｂ）に示すように、中央部分切り出し部１４で切り出した中央部分画像２０２（図７（Ａ）参照）から、決定した画像範囲の結合用画像２０３（図７（Ｂ）参照）を、結合方向（この例ではフレームの縦方向）の一部分の画像として切り出して生成する。

【0038】

なお、自動車ＭＶの走行移動方向がフレームの縦方向に対して傾いた斜めの方向となっている、つまり自動車ＭＶの走行移動方向が真っすぐとなっていない場合には、上述したように、画像の結合方向と、自動車ＭＶの走行移動方向とが一致するように、中央部分画像２０２を回転補正し、その回転補正した中央部分画像２０２から、結合方向の一部分として切り出して結合用画像２０３を生成する。

【0039】

なお、例えばデワープによる補正が正常に機能していない等の理由で、移動量算出部１７で、算出した移動量に、図８（Ａ）の中央部分画像において矢印Ｖｃ１，Ｖｃ２，Ｖｃ３で示すように、結合方向に直交する方向において、中央部分と左右両端部分とで一定の開きがある場合がある。

【0040】

このような場合には、結合用画像生成部１８では、中央部分と左右両端部分とにおいて算出された移動量に基づいて、図８（Ｂ）に示すように、湾曲補正した画像２０３を生成した後、この湾曲補正した画像２０３から図８（Ｃ）に示すような結合用画像２０４を生成する。これにより、結合用画像２０４を、より正面から撮影した画像に近づけることができる。

【0041】

なお、結合用画像生成部１８では、この実施形態では、中央部分画像から結合用画像を切り出して生成するようにしたが、デワープして補正したフレームの画像から結合用画像を切り出して生成するようにしてもよい。

【0042】

結合部１９は、図９に示すように、以上のようにして生成された結合用画像２０３を、被写体物体である自動車ＭＶの移動方向に順次に結合する。この場合に、結合部１９は、結合部においては一部の画像が重なるようにすると共に、結合部が滑らかになるようにする画像補正も行う。なお、図９において、下側の画像は、それまでに結合用画像が結合された結合画像２０５である。

【0043】

［画像処理装置１での静止画生成処理動作の流れについて］
以上のように構成されている情報処理装置１における静止画を生成処理動作の流れの一例を、図１０～図１２のフローチャートを参照しながら説明する。なお、以下の説明は、フレーム単位画像取得部１１、被写体物体出現・消失検出部１２、デワープ補正部１３、中央部分切り出し部１４、特徴点検出部１５、マッチング部１６、移動量算出部１７、結合用画像生成部１８及び結合部１９の各部が、制御部１０が備えるソフトウェアプログラムによる機能ブロックとして構成されるものとした場合である。したがって、図１０～図１２に示すフローチャートの各ステップの処理は、制御部１０が実行するものとして説明する。

【0044】

制御部１０は、カメラ２からの撮影画像情報を取得し（ステップＳ１０１）、その取得した撮影画像情報からフレーム単位の画像情報を取得する（ステップＳ１０２）。次に、制御部１０は、取得したフレーム単位の画像情報を監視して、フレーム内における被写体物体を検出したか否かを判別する（ステップＳ１０３）。図２を用いて説明したように、この実施形態では、フレームの画像情報のうち、被写体物体の移動方向、この例ではフレームの縦方向の中央部分の画像を用いて結合処理を行うため、被写体物体がフレームの縦方向の中央付近まで現れたときには、被写体物体の出現を検出したと判別し、被写体物体がフレームの縦方向の半分よりも小さい範囲しか検出できなくなったときには、被写体物体が消失したと判別する。

【0045】

ステップＳ１０３で、被写体物体の出現を検出したと判別したときには、制御部１０は、図３を用いて説明したように、魚眼画像であるフレーム画像をデワープして平面画像に補正する（ステップＳ１０６）。次に、制御部１０は、図４に示したように、デワープして補正したフレーム画像２０１の、この例では縦方向の中央部分を切り出して、中央部分画像２０２を得る（ステップＳ１０７）。

【0046】

次に、制御部１０は、図５を用いて説明したように、中央部分画像について特徴点の検出を行う（ステップＳ１０８）。そして、制御部１０は、前フレームの画像について検出した特徴点と同一の特徴点が、処理中のフレーム（上述の後フレーム）に存在しているか否か判別する（図１１のステップＳ１１１）。

【0047】

ステップＳ１１１で、前フレームの画像について検出した特徴点と同一の特徴点が、処理中のフレームには存在しないと判別したときには、制御部１０は、検出した特徴点を前フレームの特徴点として保持し（ステップＳ１１２）、その後、処理をステップＳ１０２に戻して、このステップＳ１０２以降の処理を繰り返す。

【0048】

また、ステップＳ１１１で、前フレームの画像について検出した特徴点と同一の特徴点が、処理中のフレームには存在すると判別したときには、制御部１０は、処理中のフレームにおいて検出した特徴点と前フレームの特徴点とをマッチングさせる（ステップＳ１１３）。次に、制御部１０は、マッチングした特徴点の前後フレームにおける座標差から、それぞれの特徴点についての移動量を移動方向と共に算出する（ステップＳ１１４）。

【0049】

次に、制御部１０は、特徴点についての前後のフレーム間での移動量及び移動方向について、外れ値を除去する処理を行う（ステップＳ１１５）。そして、制御部１０は、外れ値を除去した後においても移動量が存在するか否か判別し（ステップＳ１１６）、移動量が存在しない、つまり、移動量がゼロであるときには、ステップＳ１１２と同様にして、
検出した特徴点を前フレームの特徴点として保持し（ステップＳ１１７）、その後、処理をステップＳ１０２に戻して、このステップＳ１０２以降の処理を繰り返す。

【0050】

また、ステップＳ１１６で、外れ値を除去した後においても移動量が存在すると判別したときには、制御部１０は、外れ値を除外後の移動方向は、真っすぐで結合方向と一致しているか否か判別する（図１２のステップＳ１２１）。このステップＳ１２１で、外れ値を除外後の移動方向は、真っすぐではなく、結合方向に対して斜めとなっていると判別したときには、制御部１０は、外れ値を除外後の移動方向が結合方向と一致するように、画像を回転補正する（ステップＳ１２２）。

【0051】

ステップＳ１２１で、外れ値を除外後の移動方向は、真っすぐで結合方向と一致していると判別したとき、また、ステップＳ１２２の次には、制御部１０は、この例では中央部分画像から、検出した移動量に基づいて定めた移動方向に沿った方向の中央部分を切り抜いて、結合用画像を生成する（ステップＳ１２３）。

【0052】

次に、制御部１０は、バッファメモリに結合画像（結合用画像を結合したもの）が記憶されているか否か判別し（ステップＳ１２４）、バッファメモリに結合画像が記憶されていないと判別したときには、ステップＳ１２３で生成した結合用画像をバッファメモリに保持する（ステップＳ１２５）。そして、バッファメモリに結合画像が記憶されていると判別したときには、制御部１０は、ステップＳ１２３で生成した結合用画像を、結合画像と結合してバッファメモリに保持する（ステップＳ１２６）。

【0053】

ステップＳ１２５、また、ステップＳ１２６の次には、制御部１０は、ステップＳ１０８で検出した特徴点を、前フレームの特徴点としてバッファメモリに保持する（ステップＳ１２７）。このステップＳ１２７の次には、制御部１０は、処理をステップＳ１０２に戻して、このステップＳ１０２以降の処理を繰り返す。

【0054】

そして、図１０のステップＳ１０３で、被写体物体を検出しなくなって、被写体物体が消失したと判別したときには、制御部１０は、バッファメモリに結合画像が記憶されているか否か判別し（ステップＳ１０４）、結合画像が記憶されていなければ、処理をステップＳ１０２に戻して、このステップＳ１０２以降の処理を繰り返す。また、ステップＳ１０４で、バッファメモリに結合画像が記憶されていると判別したときには、制御部１０は、結合画像を静止画ファイルとして保存する（ステップＳ１０５）。静止画ファイルは、撮影画像情報から生成された被写体物体の静止画であり、バッファメモリから読み出して表示するなどすることができる。このステップＳ１０５の後は、制御部１０は、処理をステップＳ１０２に戻して、このステップＳ１０２以降の処理を繰り返す。

【0055】

［実施形態の静止画生成装置の効果］
上述した静止画生成装置の実施形態によれば、被写体物体の走行移動を検知するためのセンサは不要であり、コスト的に有利となると共に、その設置スペースが不要になる。

【0056】

また、上述した静止画生成装置の実施形態においては、魚眼レンズを用いたカメラの撮影画像情報をデワープにより補正した平面画像のうち、歪みの少ない画像部分である被写体物体の移動方向の中央部のみを用いて画像を結合して、被写体物体の静止画を生成するようにしているので、比較的精度の良い良好な静止画を得ることができる。

【0057】

また、上述した静止画生成装置の実施形態においては、フレーム単位の画像の特徴点を検出し、その特徴点の前後フレームにおける移動量に基づいて結合用画像を生成し、その結合用画像を移動方向に結合することにより静止画を生成するので、被写体物体の移動速度の変化に対応することができるという顕著な効果を奏する。

【0058】

また、上述した静止画生成装置の実施形態においては、特徴点の前後フレーム間の移動方向が、結合方向と異なるときには、移動方向に応じて画像を回転補正して結合方向と移動方向とを一致させるようにするので、被写体物体が真っすぐではなく、斜めに走行移動するような場合にも対応して良好な静止画を生成することができる。

【0059】

また、上述した静止画生成装置の実施形態においては、カメラ２からの魚眼画像に対するデワープが正常に機能せずに、中央部分と両端部分との間で特徴点の移動量に差が生じているときには、その移動量に応じて画像を湾曲補正して正面から撮影した平面画像に近づけるようにしているので、結合用画像を結合する場合に、より綺麗に結合することができる。

【0060】

さらに、上述した静止画生成装置の実施形態においては、特徴点の前後フレーム間の移動量及び移動方向について外れ値を除去しているので、静止画を生成するために用いる結合用画像を得るための移動量及び移動方向として精度を上げることができ、生成された静止画が良好なものとなる。

【0061】

［他の実施形態又は変形例］
なお、上述の例では、動画の撮影画像情報から静止画を生成する場合について説明したが、この発明は、動画に限らず、魚眼レンズのカメラで連射撮影した複数枚のフレーム画像情報から、１枚の静止画を生成する場合にも適用可能である。

【0062】

また、撮影対象としての被写体物体は、上述の例の自動車の車体の底面に限られるものではなく、魚眼レンズのカメラで撮影し、その撮影画像情報から静止画を得ることができる物体であれば、どのような被写体物体であってもよい。

【0063】

また、上述の実施形態では、固定されたカメラ位置に対して移動する被写体物体をカメラで撮影する場合としたが、被写体物体は固定位置に置かれ、カメラ側が移動するようにして撮影する場合にも、同様にこの発明は適用できる。

【0064】

また、カメラは、相対的に移動する被写体物体の底面側を撮影する場合に限られるものではなく、被写体物体の側面、上面、正面、後面などを撮影する場合であっても、この発明は適用できる。

【0065】

また、上述の実施形態では、撮影画像のフレームの縦方向に平行な方向を、被写体物体の相対的な移動方向（結合方向）としたが、この発明は、フレームの横方向に平行な方向を真っすぐな方向として被写体物体が相対的に移動する場合にも、画像の結合方向を当該横方向とすることで、同様にして結合処理を行うことで静止画を生成することができる。

【符号の説明】

【0066】

１…画像処理装置、２…カメラ、２Ｌ…魚眼レンズ、３…照明装置、１０…制御部、１１…フレーム単位画像取得部、１２…被写体物体出現・消失検出部、１３…デワープ補正部、１４…中央部分切り出し部、１５…特徴点検出部、１６…マッチング部、１７…移動量算出部、１８…結合用画像生成部、１９…結合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】