特開 2024-114025 車両下部画像取得装置、カメラユニット、および、車両下部画像取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114025

(43)【公開日】2024-08-23

(54)【発明の名称】車両下部画像取得装置、カメラユニット、および、車両下部画像取得方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240816BHJP

   G06T 1/00 20060101ALI20240816BHJP

   G06T 3/04 20240101ALI20240816BHJP

   G06T 7/246 20170101ALI20240816BHJP

   G06T 7/00 20170101ALI20240816BHJP

【ＦＩ】

H04N7/18 D

G06T1/00 330B

G06T3/00 705

G06T7/246

G06T7/00 650B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023019383

(22)【出願日】2023-02-10

(71)【出願人】

【識別番号】000153421

【氏名又は名称】株式会社日立アドバンストシステムズ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】岡村 栄二

(72)【発明者】

【氏名】小市 良祐

(72)【発明者】

【氏名】亀山 尚

(72)【発明者】

【氏名】井上 裕文

【テーマコード（参考）】

5B057

5C054

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057BA13

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CD05

5B057CD12

5B057CE10

5B057DB02

5B057DB09

5B057DC05

5C054CA04

5C054CC02

5C054CE02

5C054FC12

5C054HA19

5L096AA06

5L096BA04

5L096CA16

5L096DA01

5L096EA03

5L096EA35

5L096FA09

5L096MA03

(57)【要約】      （修正有）

【課題】車両下部画像の取得に際し、車両の移動速度が変動する場合であっても、歪みを適切に抑制した画像を取得する車両下部画像取得装置、カメラユニット及び車両下部画像取得方法を提供する。
【解決手段】車両下部画像取得装置１１は、通過する車両の下部を撮影するカメラユニット１２と、カメラユニット１２からデータを取得する情報処理装置１３と、を備える。カメラユニット１２は、車両進行方向に対して略直交する方向で走査する第１走査部１６と、第１走査部の車両進行方向前方または後方の位置で、車両進行方向に対して略直交する方向で走査する第２走査部１７と、を備える。情報処理装置は、第１走査部１６と第２走査部１７を用いて取得する車両の下部の画像それぞれの特徴点を抽出し、画像内の特徴点のマッチング位置の差に基づいて、カメラユニットが取得する画像の補正に用いるパラメータを算出し、前記パラメータに基づいて画像の歪みを補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

地面に設置され、通過する車両の下部を撮影するカメラユニットと、
前記カメラユニットに接続され、前記カメラユニットからデータを取得する情報処理装置と、
を備え、
前記カメラユニットは、
車両進行方向に対して略直交する方向で走査する第１走査部と、
前記第１走査部の車両進行方向前方または後方の位置で、車両進行方向に対して略直交する方向で走査する第２走査部と、を備え、
前記情報処理装置は、
前記第１走査部を用いて取得される車両の下部の画像、および、前記第２走査部を用いて取得される前記車両の下部の画像の特徴点を抽出し、
前記第１走査部を用いて取得される画像内の特徴点と、前記第２走査部を用いて取得される画像内の特徴点と、のマッチング位置の差に基づいて、前記カメラユニットを用いて取得する画像の補正に用いるパラメータを算出し、
前記パラメータに基づいて前記画像の歪みを補正する、
ことを特徴とする車両下部画像取得装置。

【請求項2】

請求項１に記載の車両下部画像取得装置であって、
前記情報処理装置は、
サイズが変更された画像、または、サイズが変更されていない画像を用いて特徴点を抽出する、
ことを特徴とする車両下部画像取得装置。

【請求項3】

請求項１に記載の車両下部画像取得装置であって、
前記情報処理装置は、
車両進行方向で分割された分割画像、または、分割されていない画像を用いて特徴点を抽出する、
ことを特徴とする車両下部画像取得装置。

【請求項4】

請求項１に記載の車両下部画像取得装置であって、
前記情報処理装置は、
前記第１走査部および前記第２走査部を用いて取得される画像から抽出した特徴点のうちで、ズレ量が所定量以上であるマッチング結果を除外し、そうでないマッチング結果に基づく特徴点の位置を保存し、
保存した特徴点の位置を用いて、前記マッチング位置の差を算出し、
前記マッチング位置の差を用いて、マッチングした特徴点の速度を算出し、
算出した特徴点の速度を用いて、前記パラメータとして、基準速度に対する比率である速度比率を算出する、
ことを特徴とする車両下部画像取得装置。

【請求項5】

請求項４に記載の車両下部画像取得装置であって、
前記情報処理装置は、
マッチング位置ごとに前記特徴点の速度を算出し、
算出した特徴点の速度が正常範囲内であるデータに基づいて前記速度比率を算出して保存する、
ことを特徴とする車両下部画像取得装置。

【請求項6】

請求項５に記載の車両下部画像取得装置であって、
前記情報処理装置は、
マッチング位置と保存した前記速度比率の関係を示す近似式を生成し、
前記近似式を用いて画像の補正を行う、
ことを特徴とする車両下部画像取得装置。

【請求項7】

請求項６に記載の車両下部画像取得装置であって、
前記情報処理装置は、
前記第１走査部または前記第２走査部を用いて取得される画像を車両進行方向で分割することで分割画像を生成し、分割画像ごとに前記近似式に基づく画像の伸縮を行い、それぞれの分割画像を結合することで、画像の補正を行う、
ことを特徴とする車両下部画像取得装置。

【請求項8】

通過する車両の下部の撮影に用いるカメラユニットであって、
本体部と、
前記本体部に形成され、一方向に沿って走査する第１走査部と、
前記一方向と直交する方向に前記第１走査部からずれた位置で前記本体部に形成され、前記一方向に沿って走査する第２走査部と、
を備えることを特徴とするカメラユニット。

【請求項9】

第１および第２のラインカメラを含むカメラユニットと、プロセッサと、を用いて行う車両下部画像取得方法であって、
車両が前記カメラユニットを通過する際に、前記第１のラインカメラが車両進行方向に対して略直交する方向で車両の下部を走査することで取得するデータと、前記第２のラインカメラが前記第１のラインカメラの車両進行方向前方または後方の位置で車両進行方向に対して略直交する方向で車両の下部を走査することで取得するデータと、用いて、前記プロセッサが、第１および第２のラインカメラに基づく画像を読み込む画像読み込みステップと、
前記プロセッサが、読み込んだ前記の第１および第２のラインカメラに基づく画像の特徴点を算出する特徴点算出ステップと、
前記プロセッサが、算出した特徴点のマッチング処理を行う特徴点マッチングステップと、
前記プロセッサが、マッチングした特徴点のズレ量に基づいて、第１または第２のラインカメラに基づく画像を補正するパラメータを算出するパラメータ算出ステップと、
前記プロセッサが、前記パラメータに基づいて画像を補正する画像補正ステップと、を備える、
ことを特徴とする車両下部画像取得方法。

【請求項10】

請求項９に記載の車両下部画像取得方法であって、
前記特徴点マッチングステップにおいて、前記プロセッサは、前記特徴点算出ステップで算出した特徴点のうちで、ズレ量が所定量以上であるマッチング結果を除外し、
前記パラメータ算出ステップにおいて、前記プロセッサは、画像間におけるマッチング位置の差を算出し、算出したマッチング位置の差を用いて、マッチングした特徴点の速度を算出し、算出した特徴点の速度を用いて、前記パラメータとして、基準速度に対する比率である速度比率を算出する、
ことを特徴とする車両下部画像取得方法。

【請求項11】

請求項１０に記載の車両下部画像取得方法であって、
前記パラメータ算出ステップにおいて、前記プロセッサは、マッチング位置ごとに前記特徴点の速度を算出し、算出した特徴点の速度が正常範囲内であるデータに基づいて前記速度比率を算出する、
ことを特徴とする車両下部画像取得方法。

【請求項12】

請求項１１に記載の車両下部画像取得方法であって、
画像補正ステップにおいて、前記プロセッサは、マッチング位置と前記速度比率の関係を示す近似式を生成し、前記近似式を用いて画像の補正を行う、
ことを特徴とする車両下部画像取得装置。

【請求項13】

請求項１２に記載の車両下部画像取得方法であって、
前記画像補正ステップにおいて、前記プロセッサは、第１または第２のラインカメラに基づく画像を車両進行方向で分割することで分割画像を生成し、分割画像ごとに前記近似式に基づく画像の伸縮を行い、それぞれの分割画像を結合することで、画像の補正を行う、
ことを特徴とする車両下部画像取得方法。

【請求項14】

請求項９の車両下部画像取得方法をプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両下部画像取得装置、カメラユニット、および、車両下部画像取得方法に関する。

【背景技術】

【0002】

地面に設置され、その上を通過する車両の下部をカメラで撮像することにより通過物体を監視する装置が知られている。特許文献１は、「車両が当該装置上を通過するのを検知する検知手段と、当該装置上を通過する車両の底面を所定のタイミングで撮像する撮像手段と、前記撮像された画像を加工する画像加工手段と、前記加工された撮像画像を合成する画像合成手段と、前記合成された画像を当該装置外部に対して送受信をするための通信手段と、前記合成された画像を表示する表示手段と、を備え、前記撮像手段は、複数のセンサを車両進行方向に対してほぼ直交する方向に一列に配置してなるラインカメラを有しており、前記画像合成手段は、前記加工された撮像画像を順に繋ぎ合わせて車両底面の２次元画像に合成する編集機能を有しており、前記表示手段は、合成された２次元画像を拡大縮小表示する機能を備えていることを特徴とする車両底面監視装置。」を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１０９０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ラインカメラを用いて車両の下部を撮影する場合、装置を通過する際の車両の移動速度が変動することで、取得する撮影画像に歪みが生じてしまう。そこで、撮影開始時と終了時の速度を測定し、その間の速度変化を推定して補正するなどの手法が考えられるが、その間の速度変化が一定とは限らないため十分な補正をすることができない。従って、車両の移動速度が変動する場合であっても、歪みを適切に抑制した画像の取得に関する技術を提供することに課題がある。

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、下記の車両下部画像取得装置が提供される。この車両下部画像取得装置は、カメラユニットと、情報処理装置と、を備える。カメラユニットは、地面に設置され、通過する車両の下部を撮影する。情報処理装置は、カメラユニットに接続され、カメラユニットからデータを取得する。また、カメラユニットは、車両進行方向に対して略直交する方向で走査する第１走査部と、第１走査部の車両進行方向前方または後方の位置で、車両進行方向に対して略直交する方向で走査する第２走査部と、を備える。そして、情報処理装置は、第１走査部を用いて取得される車両の下部の画像、および、第２走査部を用いて取得される車両の下部の画像の特徴点を抽出し、第１走査部を用いて取得される画像内の特徴点と、第２走査部を用いて取得される画像内の特徴点と、のマッチング位置の差に基づいて、カメラユニットを用いて取得する画像の補正に用いるパラメータを算出し、前記パラメータに基づいて画像の歪みを補正する。

【0006】

本発明の第２の態様によれば、下記のカメラユニットが提供される。このカメラユニットは、通過する車両の下部の撮影に用いる。このカメラユニットは、本体部と、第１走査部と、第２走査部と、を備える。第１走査部は、本体部に形成され、一方向に沿って走査する。第２走査部は、前記一方向と直交する方向に第１走査部からずれた位置で本体部に形成され、前記一方向に沿って走査する。

【0007】

本発明の第３の態様によれば、下記の車両下部画像取得方法が提供される。この車両下部画像取得方法は、第１および第２のラインカメラを含むカメラユニットと、プロセッサと、を用いて行う方法である。この方法は、画像読み込みステップと、特徴点算出ステップと、特徴点マッチングステップと、パラメータ算出ステップと、画像補正ステップと、を備える。画像読み込みステップでは、車両がカメラユニットを通過する際に、第１のラインカメラが車両進行方向に対して略直交する方向で車両の下部を走査することで取得するデータと、第２のラインカメラが第１のラインカメラの車両進行方向前方または後方の位置で車両進行方向に対して略直交する方向で車両の下部を走査することで取得するデータと、用いて、プロセッサが、第１および第２のラインカメラに基づく画像を読み込む。特徴点算出ステップでは、プロセッサが、読み込んだ第１および第２のラインカメラに基づく画像の特徴点を算出する。特徴点マッチングステップでは、プロセッサが、算出した特徴点のマッチング処理を行う。パラメータ算出ステップでは、プロセッサが、マッチングした特徴点のズレ量に基づいて、第１または第２のラインカメラに基づく画像を補正するパラメータを算出する。画像補正ステップでは、プロセッサが、前記パラメータに基づいて画像を補正する。

【発明の効果】

【0008】

本発明によれば、車両の移動速度が変動する場合であっても、歪みを適切に抑制した画像を取得する車両下部画像取得装置、歪みを適切に抑制した画像を取得可能にするためのカメラユニット、および、歪みを適切に抑制した画像を取得する車両下部画像取得方法が提供される。なお、上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】車両下部画像取得装置の一例を示す図。

【図2】カメラユニットの構造の一例を示す図。

【図3】情報処理装置のハードウェア構成の一例を示すブロック図。

【図4】車両の通過速度の変化による歪みを補正する情報処理装置の処理の一例を示すフローチャート。

【図5】マッチングに関する処理例を詳しく説明するためのフローチャート。

【図6】速度比率算出に関する処理例を詳しく説明するためのフローチャート。

【図7】画像の補正に関する処理例を詳しく説明するためのフローチャート。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態を説明する。実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
実施形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。
プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0011】

実施形態では、車両の下部の画像を取得する車両下部画像取得装置について説明する。先ず、図１を参照しながら、全体の構成の一例について説明する。図１に示すように、車両下部画像取得装置１１は、カメラユニット１２と、情報処理装置１３と、を備える。カメラユニット１２は、車両の下部の撮影に用いられ、車両が通過する位置に配置される。情報処理装置１３は、カメラユニット１２に接続され、カメラユニット１２から取得するデータを用いて処理を行うことで、歪みを適切に抑制した車両の下部の画像を取得する。

【0012】

次に、図１および図２を参照しながら、カメラユニットの具体的な構成例について説明する。図１および図２に示すように、カメラユニット１２は略板状の本体部２１を有しており、この本体部２１上には、第１走査部１６および第２走査部１７が形成されている。

【0013】

第１走査部１６および第２走査部１７は、一方向（通過する車両の車幅方向）に沿って車両の下部を走査する構成であり、本実施形態では、ミラー（２２ａ、２２ｂ）およびラインカメラ（２３ａ、２３ｂ）を用いて構成されている。また、ラインカメラ（２３ａ、２３ｂ）による撮影環境を良好にすることに用いるライン照明部２４が形成されている。本実施形態では、ライン照明部２４は、ミラー（２２ａ、２２ｂ）の背面側に配置され、ＬＥＤ等の光源を用いて適宜に構成することができる。

【0014】

ミラー（２２ａ、２２ｂ）は、通過する車両の下部で反射する光をラインカメラ（２３ａ、２３ｂ）に入射させ、ラインカメラ（２３ａ、２３ｂ）に反射光を受光させる構成である。すなわち、ミラー２２ａはラインカメラ２３ａに反射光を受光させ、ミラー２２ｂはラインカメラ２３ｂに反射光を受光させる。ミラー（２２ａ、２２ｂ）は、一方向に延びており、ラインカメラ（２３ａ、２３ｂ）の向きに対して概ね４５°となるように設けられる。ラインカメラ（２３ａ、２３ｂ）は、前記一方向で走査が可能な構成であり、受光素子を含む構成とすることができる。ここで、受光素子は、前記一方向に沿って複数配列する。また、受光素子とミラーの間にはレンズが設けられてもよい。

【0015】

なお、ラインスキャンを行うことができればよく、第１走査部１６および第２走査部１７の構造や位置は適宜に変更してもよい。上記の説明では、その一例として、ミラー（２２ａ、２２ｂ）越しに走査をする構成例が説明されたが、ミラー（２２ａ、２２ｂ）が省略され、それぞれのラインカメラ（２３ａ、２３ｂ）の撮影向きが上向きである構成であってもよい。また、第１走査部１６および第２走査部１７は、例えば、ラインカメラの向きを逆に変更し、ラインカメラの正面側にミラーを配置する構成とされてもよい。ライン照明部２４は、撮影環境を良好にする観点から、第１走査部１６および第２走査部１７の構造や位置の変更に応じて、適宜に変更してもよい。

【0016】

車両検知センサ２５は車両の検知に用いるセンサであり、光電センサ等の適宜のセンサを用いて構成することができる。また、カメラユニット１２の本体部２１上には、エリアカメラ（２７ａ、２７ｂ、２７ｃ）が配置されており、エリアカメラ（２７ａ、２７ｂ、２７ｃ）による撮影環境を良好にすることに用いるエリア照明部２８が形成されている。ただし、ラインカメラ（２３ａ、２３ｂ）による画像を取得することができればよく、エリアカメラ（２７ａ、２７ｂ、２７ｃ）およびエリア照明部２８は省略されてもよい。

【0017】

次に、図１および図３を参照しながら、情報処理装置の具体的な構成例について説明する。図１および図３に示すように、情報処理装置１３は、一例として、コンピュータ（図１ではメインＰＣ）であって、プロセッサ３１と、記憶装置３２と、通信インタフェース３３と、入出力インタフェース３４と、を備える。

【0018】

プロセッサ３１は、所定の処理を実行する主体となり、一例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とすることができる。ただし、プロセッサ３１は、他の半導体デバイスを用いた構成であってもよい。記憶装置３２は、処理に用いるデータ（例えば、本実施形態で説明する情報処理に用いるプログラムなど）を不揮発的に保存する補助記憶装置と、プロセッサ３１が処理時にデータを展開する主記憶装置と、を備える構成とすることができる。なお、主記憶装置は、一例として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とすることができる。補助記憶装置は、一例として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を用いた構成とすることができる。また、補助記憶装置は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を用いた構成とされてもよい。通信インタフェース３３は、外部の適宜の装置とのデータの通信に用いるインタフェースである。なお、情報処理装置１３には、通信インタフェース３３を介して、有線接続により外部の適宜の装置が接続されてもよいし、無線接続により外部の適宜の装置が接続されてもよい。入出力インタフェース３４は、外部の適宜の装置とのデータの入出力に用いるインタフェースである。情報処理装置１３には、一例として、入出力インタフェース３４を介して、キーボードなどのユーザの操作装置、処理結果などの適宜の情報を提示する表示装置が接続される。

【0019】

情報処理装置１３には、例えば、可搬性の補助記憶装置（例えばＵＳＢメモリ、外付けＨＤＤ）が接続されてもよい。また、補助記憶装置には、処理結果のデータベース（ＤＢ）が構築されてもよく、情報処理装置１３は、適宜の補助記憶装置に処理結果のデータを格納してもよい。ここで、処理結果には、例えば、補正した撮影画像、撮影日時、後述する車両情報が挙げられる。また、可搬性の補助記憶装置に処理に用いるプログラムが格納されてもよい。

【0020】

本実施形態では、情報処理装置１３は、通信インタフェース３３や入出力インタフェース３４を用いて、カメラユニット１２に接続され、カメラユニット１２からのデータを取得することができる。なお、カメラユニット１２と適切に接続されればよく、情報処理装置１３は、インタフェースボード（Ｉ／Ｆボード）を介してカメラユニット１２に接続されてもよい。

【0021】

車両検知センサ２５によって車両が検知された場合、カメラユニット１２は所定の撮影サイクルでの自動撮影を開始し、情報処理装置１３は、カメラユニット１２からのデータに基づいて車両の下部の画像を取得することができる。

【0022】

ところで、カメラユニット１２を車両が通過する際に、車両の移動速度が変動することで、取得する画像に歪みが発生する。具体的に説明すると、ラインスキャンカメラ（ラインカメラ２３ａ、２３ｂ）は、１ラインだけを撮影するカメラであり、連続で撮影したラインを連接することで１つの画像が生成される。ここで、撮影サイクルを一定とした場合、被写体が等速移動しているときは被写体の撮影間隔も一定となり歪みが生じない。しかし、例えば、通過時に被写体が加速している場合、被写体の後方に向かうに従って撮影間隔での移動距離が大きくなり、その結果として、被写体の後方側が縮んだ画像が生成されてしまう。その逆に、通過時に被写体が減速している場合、被写体の後方に向かうに従って撮影間隔での移動距離が小さくなり、その結果として、被写体の後方側が伸びた画像が生成されてしまう。そこで、図４を参照しながら、本実施形態に関する車両の通過速度の変化による歪みを補正する方法を説明する。

【0023】

この方法（車両下部画像取得方法）は、先ず、位置をずらした２つのラインカメラ（２３ａ、２３ｂ）を用いて車両の下部を撮影する。なお、この例では、これらのラインカメラの撮影サイクルは同一である。そして、Ｓ４１において、情報処理装置１３（詳細には、プロセッサ３１）が、それぞれのラインカメラ（２３ａ、２３ｂ）の画像を読み込む（画像読み込みステップ）。そして、Ｓ４２において、情報処理装置１３が、特徴点算出アルゴリズムを用いてそれぞれの画像から特徴点を算出し（特徴点算出ステップ）、算出した特徴点のマッチング処理を行う（特徴点マッチングステップ）。

【0024】

ここで、特徴点マッチングステップでは、情報処理装置１３は、位置の合致度が低い特徴点を除外する。すなわち、情報処理装置１３は、マッチングにおけるそれぞれの画像の特徴点のペアのうちで、位置のズレが所定以上のデータ（言い換えれば、特徴点間に所定以上の距離があるデータ）を除外する。その結果として、特徴点マッチングステップでは、それぞれの画像から被写体の同一部分と判断してもよいポイント（特徴点）が抽出される。

【0025】

次に、Ｓ４３において、情報処理装置１３は、各ポイントのズレ量に基づいて、速度比率（パラメータ）を算出する（速度比率算出ステップ）。Ｓ４３の速度比率算出ステップはパラメータ算出ステップと呼ぶことがある。なお、「速度比率」は、算出した特徴点の速度を、基準となる速度（基準速度）に対する比率に変換した値である。そして、Ｓ４４において、情報処理装置１３は、速度比率に基づいて、ラインカメラを用いて取得する被写体の画像を補正する（画像補正ステップ）。情報処理装置１３は、車両の通過速度の変化による歪みを補正した被写体の画像のデータを出力することができ、例えば、入出力インタフェース３４を介して画像のデータを表示装置に出力することができる。

【0026】

次に、図５－図７を参照しながら、Ｓ４２～Ｓ４４の処理例について詳しく説明する。先ず、マッチング処理（Ｓ４２）の詳細について説明する。

【0027】

図５に示すように、情報処理装置１３（詳細には、プロセッサ３１）は、撮影方向が互いに反対であるラインカメラ（２３ａ、２３ｂ）により取得する画像を一致させるために、片方のラインカメラの画像を反転する（Ｓ５１）。なお、Ｓ５１は、それぞれの画像を一致させるための処理であり、例えば、それぞれのラインカメラの撮影方向が同じであって画像が一致する場合、Ｓ５１は省略されてもよい。

【0028】

次に、情報処理装置１３は、それぞれのラインカメラ（２３ａ、２３ｂ）の画像のサイズを縮小し（Ｓ５２）、それぞれの縮小画像を被写体の進行方向で分割し、進行方向で分割した分割画像を生成する（Ｓ５３）。ここで、Ｓ５２では、情報処理装置１３は、例えば、１／４程度に縮小する。また、Ｓ５３において、画像を分割するラインであって、進行方向に直交するラインの数であるＮは、任意の数とすることができる。なお、Ｓ５３では、情報処理装置１３は、それぞれのラインカメラ（２３ａ、２３ｂ）の画像について一定区間ごとに分割し、所定のサイズの画像を複数生成することができるが、座標関係が対応した分割画像をラインカメラ（２３ａ、２３ｂ）の画像から生成すればよく、分割する間隔が、一定間隔からランダムな間隔に変更され、座標関係が対応した分割画像が取得されてもよい。

【0029】

次に、情報処理装置１３は、ラインカメラの分割画像ごとにマッチングを行う。情報処理装置１３は、２枚の分割画像内から（すなわち、それぞれのラインカメラの画像間で座標関係が対応した分割画像内から）特徴点を算出し（Ｓ５４）、これらの分割画像の特徴点をマッチングする（Ｓ５５）。そして、近似度が一定値以下のマッチング結果（すなわち、ズレ量が所定量以上であるマッチング結果）を除外し（Ｓ５６）、マッチング結果の座標（すなわち、マッチング位置）を保存する（Ｓ５７）。情報処理装置１３は、全ての分割画像について処理をした後に、マッチング処理を終了する。

【0030】

なお、特徴点は、画像のエッジ等のマッチングに利用できるポイントであり、この例では、情報処理装置１３は、ＯｐｅｎＣＶに含まれるアルゴリズムの一つであるＡｋａｚｅを利用して特徴点を抽出する。また、適切なマッチング処理を行うことができればよく、情報処理装置１３は、他の公知のアルゴリズムを用いて処理を行ってもよい。

【0031】

次に、速度比率の算出（Ｓ４３）について詳しく説明する。図６に示すように、情報処理装置１３は、マッチングしたポイント（特徴点）ごとに速度比率を算出する。先ず、情報処理装置１３は、分割画像間における特徴点のマッチング位置の差を算出する（Ｓ６１）。そして、２台のラインカメラ（２３ａ、２３ｂ）の撮影位置、撮影サイクル、および、マッチング位置の差に基づいて、Ｓ６１で対象とした特徴点の速度を算出する（Ｓ６２）。

【0032】

情報処理装置１３は、Ｓ６２で算出した特徴点の速度が正常な範囲内であるかを判定し（Ｓ６３）、正常であると判定した場合（Ｓ６３－Ｙｅｓ）、基準速度に対する速度比率を算出して保存する（Ｓ６４）。その一方で、正常でないと判定した場合（Ｓ６３－Ｎо）、異常値であるとして、この特徴点に関するデータを破棄する（Ｓ６５）。情報処理装置１３は、全てのマッチングしたポイント（特徴点）について処理を行った後、処理を終了する。

【0033】

次に、画像補正（Ｓ４４）について詳しく説明する。図７に示すように、情報処理装置１３は、それぞれの特徴点の座標位置（マッチング位置）と速度比率を２次式で近似し、特徴点の座標位置と速度比率の関係性を示す近似式を計算する（Ｓ７１）。なお、本実施形態では、情報処理装置１３は、ｙ＝ａｘ^２＋ｂｘ＋ｃ（ｙ＝速度比率、ａ＝係数、ｂ＝係数、ｃ＝定数、ｘ＝被写体の進行方向での特徴点の座標位置）に基づく２次式を求めるが、特徴点の座標位置と速度比率の関係性を適切に示す近似式を求めることができればよく、２次式とは異なる近似式（例えば、１次式等の次数が異なる近似式）を求めてもよい。

【0034】

情報処理装置１３は、片方のラインカメラの画像を進行方向に分割する（Ｓ７２）。Ｓ７２において画像を分割するライン数Ｎは任意の数とすることができる。なお、Ｓ７２では、情報処理装置１３は、ラインカメラの画像について一定区間ごとに分割し、所定のサイズの画像を複数生成することができるが、分割する間隔が、一定間隔からランダムな間隔に変更されてもよい。

【0035】

次に、情報処理装置１３は、分割画像ごとに歪みの補正を行う。情報処理装置１３は、Ｓ７１で生成した近似式を参照し、分割画像における座標位置の速度比率に基づいて分割画像を進行方向に伸縮させ、分割画像を調整する（Ｓ７３）。そして、情報処理装置１３は、全ての分割画像について調整した後に、分割画像を順番に結合し（Ｓ７４）、結合結果の画像を保存する（Ｓ７５）。

【0036】

上記のマッチング処理では、Ｓ５２およびＳ５３を行うことで、画像を用いた処理における計算負荷を軽減することができる。ただし、情報処理装置１３が適切な処理を行うことができればよく、計算負荷を考慮した上で、Ｓ５２やＳ５３は省略されてもよい。Ｓ５３による分割を省略する場合、情報処理装置１３は、それぞれのラインカメラ（２３ａ、２３ｂ）の画像に対してＳ５４～Ｓ５７と同様の処理を行う。

【0037】

また、上記の補正処理におけるＳ７２は、計算負荷を考慮した上で省略してもよい。この場合、Ｓ７３では、情報処理装置１３は、片方のラインカメラの画像を用いて、座標位置の速度比率に基づいて伸縮する処理を行う。そして、Ｓ７４は省略され、Ｓ７５において、情報処理装置１３はＳ７３で処理を行った結果の画像を保存する。

【0038】

実施形態で説明した技術を用いることで、一例として、重要施設等の入門における車両下部の不審物の確認や監視を行うことができ、社会的な観点で貢献することができる。ここで、重要施設には、イベント会場、空港、セキュリティ施設、工場、発電所などが挙げられる。また、この技術を用いて、車両下部の点検や整備、記録として活用するニーズに答えることができる。

【0039】

カメラユニット１２の動作が情報処理装置１３によって制御されてもよい。また、カメラユニット１２に制御ユニットが設けられ、制御ユニットがカメラユニット１２の動作を制御してもよい。制御ユニットは、適宜に構成され、例えばＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）を用いて構成されてもよい。また、車両検知センサ２５側から車両が侵入するように、カメラユニット１２は設置される。そして、車両検知センサ２５の検知に応じて、カメラユニット１２は撮影を開始する。

【0040】

カメラユニット１２は、電源として不図示のバッテリーを備える構成であってもよいが、外部から電力が供給される構成であってもよい。カメラユニット１２は、例えば、ＰｏＥ（Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）による電力供給が可能な構成であってもよい。

【0041】

撮影における撮影サイクルは、予め適切な値（例えば、ラインレート＝３ｋＨｚ）を設定しておくことができる。基準速度は、カメラユニット１２を車両が通過する基準となる速度となり、例えば２０ｋｍ／ｈである。

【0042】

以上、実施形態について説明されたが、本発明は前述した実施形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、実施形態の構成の一部について、他の構成の追加、削除、置換をしてもよい。

【0043】

車両下部画像取得装置は、情報処理装置１３に接続され、通過する車両の車両情報を取得するカメラ（シーンカメラと呼ぶことがある）を備える構成であってもよい。ここで、シーンカメラは、道路脇等の車両の走行を妨げない位置に設置され、車両通過のシーンを撮影することで、通過する車両の車種やナンバーを含む車両情報の画像を取得する。そして、情報処理装置１３は、シーンカメラが取得する画像に基づいて、車両情報のデータベースを構築してもよい。

【0044】

車両下部画像取得装置は、機器間の通信制御に用いる制御装置を備え、それぞれの機器（カメラユニット１２、情報処理装置１３、シーンカメラ）が制御装置に接続される構成であってもよい。シーンカメラは、電源として、バッテリーを備える構成としてもよい。ただし、制御装置がカメラユニット１２およびシーンカメラに電力を供給してもよく、例えば、ＰｏＥ（Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）により電力の供給を行ってもよい。

【0045】

カメラユニット１２の本体部２１の形状は適宜に変更してもよい。本体部２１は、例えば収容構造とされ、ラインカメラ（２３ａ、２３ｂ）とミラー（２２ａ、２２ｂ）とライン照明部２４とエリアカメラ（２７ａ、２７ｂ、２７ｃ）とエリア照明部２８を収容してもよい。ここで、それぞれの構成は、図２に示すレイアウトと同様に、本体部の下部に配置されてもよい。そして、車両検知センサ２５が本体部の上部に設けられてもよい。本体部の上部には、第１走査部１６および第２走査部１７の走査において光が通過する開口部が形成され、この開口部には透光性のカバーが設けられてもよい。例えば、ミラー（２２ａ、２２ｂ）およびライン照明部２４の上方の位置に開口部が形成され、この開口部に透光性のカバーが設けられてもよい。ラインカメラ（２３ａ、２３ｂ）を上方に向けて配置し、ミラー（２２ａ、２２ｂ）を省略する場合、ラインカメラ（２３ａ、２３ｂ）の上方の位置に開口部が形成されてもよい。

【符号の説明】

【0046】

１１ 車両下部画像取得装置
１２ カメラユニット
１３ 情報処理装置
１６ 第１走査部
１７ 第２走査部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】