(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022099545
(43)【公開日】2022-07-05
(54)【発明の名称】画像処理装置及び点検システム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220628BHJP
H04N 7/18 20060101ALI20220628BHJP
G03B 15/00 20210101ALI20220628BHJP
【ＦＩ】
H04N5/232 290
H04N5/232 300
H04N7/18 D
G03B15/00 T
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2020213355
(22)【出願日】2020-12-23
(71)【出願人】
【識別番号】000004651
【氏名又は名称】日本信号株式会社
(74)【代理人】
【識別番号】100109221
【弁理士】
【氏名又は名称】福田 充広
(74)【代理人】
【識別番号】100181146
【弁理士】
【氏名又は名称】山川 啓
(72)【発明者】
【氏名】岩上 顕夫
【テーマコード（参考）】
5C054
5C122
【Ｆターム（参考）】
5C054CA04
5C054CA05
5C054CC02
5C054EA01
5C054EA03
5C054EA07
5C054FC01
5C054FC03
5C054FC12
5C054FC15
5C054FD07
5C054FF03
5C054GB01
5C054GB05
5C054GB15
5C054HA26
5C122DA12
5C122DA14
5C122EA42
5C122FA18
5C122FG05
5C122FH11
5C122FH18
5C122GA34
5C122HA01
5C122HA88
5C122HB01
(57)【要約】
【課題】距離が離れた位置から個別に撮像して取得した画像データであっても、これらの間での時間差を補正できる画像処理装置及びこれを備える点検システムを提供すること。
【解決手段】画像処理装置５０は、異なる位置を撮像した画像データＧＤに時刻情報ＴＩを加えた画像情報ＧＩを複数取得する画像情報取得部６０と、撮影環境の状態を示す指標ＩＸに基づいて、画像情報ＧＩの間での相関関数ＣＦから時刻ずれを補正する時刻補正部７２とを備える。
【選択図】図３
【解決手段】画像処理装置５０は、異なる位置を撮像した画像データＧＤに時刻情報ＴＩを加えた画像情報ＧＩを複数取得する画像情報取得部６０と、撮影環境の状態を示す指標ＩＸに基づいて、画像情報ＧＩの間での相関関数ＣＦから時刻ずれを補正する時刻補正部７２とを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
異なる位置を撮像した画像データに時刻情報を加えた画像情報を複数取得する画像情報取得部と、
撮影環境の状態を示す指標に基づいて、前記画像情報の間での相関関数から時刻ずれを補正する時刻補正部と
を備える画像処理装置。
撮影環境の状態を示す指標に基づいて、前記画像情報の間での相関関数から時刻ずれを補正する時刻補正部と
を備える画像処理装置。
【請求項2】
前記撮影環境の状態を示す指標として、連続撮像された画像間について規定した距離が含まれる、請求項１に記載の画像処理装置。
【請求項3】
前記撮影環境の状態を示す指標として、画像の輝度が含まれる、請求項１及び２のいずれか一項に記載の画像処理装置。
【請求項4】
前記相関関数は、前記撮影環境の状態を示す指標に対して予め設けた閾値から定まる時刻の変化点について、前記画像情報に関する前記時刻の変化点の間での相関関係を示す関数である、請求項１～３のいずれか一項に記載の画像処理装置。
【請求項5】
前記時刻の変化点は、前記閾値に基づく前記画像情報についての２値化データであり、
前記相関関数は、前記２値化データから算出される、請求項４に記載の画像処理装置。
前記相関関数は、前記２値化データから算出される、請求項４に記載の画像処理装置。
【請求項6】
請求項１～５のいずれか一項に記載の画像処理装置を備える点検システムであって、
点検対象設備を異なる位置から撮像して得た前記画像データに前記時刻情報を加えて前記画像情報を生成する複数の撮像部と、
前記複数の撮像部により複数生成された前記画像情報を、前記画像処理装置に対して出力する画像情報出力部と
を備える点検システム。
点検対象設備を異なる位置から撮像して得た前記画像データに前記時刻情報を加えて前記画像情報を生成する複数の撮像部と、
前記複数の撮像部により複数生成された前記画像情報を、前記画像処理装置に対して出力する画像情報出力部と
を備える点検システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば点検対象を撮像した画像について解析処理をするための画像処理装置及びこれを備える点検システムに関する。
【背景技術】
【0002】
例えば、画像処理に関する技術として、複数のカメラで共通の制御部を用意するもの（特許文献１参照）や、複数のカメラで同一の被写体を撮影するもの（特許文献２参照）等が知られている。
【0003】
しかしながら、例えば、上記特許文献１のような態様では、距離が離れた位置にあるカメラを独立に制御したい、といった場合に適切に対応できない可能性がある。また、上記特許文献２のような態様では、各カメラで撮像範囲が異なるようにしたい、といった場合に適切に対応できない可能性がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－２１６７３６号公報
【特許文献2】特許第３９５８６３８号公報
【発明の概要】
【0005】
本発明は上記した点に鑑みてなされたものであり、距離が離れた位置から個別に撮像して取得した画像データであっても、これらの間での時間差を補正できる画像処理装置及びこれを備える点検システムを提供することを目的とする。
【0006】
上記目的を達成するための画像処理装置は、異なる位置を撮像した画像データに時刻情報を加えた画像情報を複数取得する画像情報取得部と、撮影環境の状態を示す指標に基づいて、画像情報の間での相関関数から時刻ずれを補正する時刻補正部とを備える。
【0007】
上記画像処理装置では、画像情報取得部において、異なる位置を別個独立に撮像した画像データの取得が可能であり、時刻補正部において、撮影環境の状態を示す指標に基づいて、画像データに時刻情報を付加した画像情報の間での相関関数から時刻ずれ（時間差）を補正できる。つまり、取得した複数の画像データの間での撮影時の時刻同期に相当する処理を事後的に行える。
【0008】
本発明の具体的な側面では、撮影環境の状態を示す指標として、連続撮像された画像間について規定した距離が含まれる。この場合、例えば画像間について規定した距離の変化について相関関数を利用した比較をすることで、画像情報の間での時刻ずれ（時間差）を補正できる。
【0009】
本発明の別の側面では、撮影環境の状態を示す指標として、画像の輝度が含まれる。この場合、例えば画像の輝度の変化について相関関数を利用した比較をすることで、画像情報の間での時刻ずれ（時間差）を補正できる。
【0010】
本発明のさらに別の側面では、相関関数は、撮影環境の状態を示す指標に対して予め設けた閾値から定まる時刻の変化点について、画像情報に関する時刻の変化点の間での相関関係を示す関数である。この場合、指標に対応した時刻の変化点に基づく相関関数により、迅速かつ的確な時刻ずれ（時間差）の算出が可能になる。
【0011】
本発明のさらに別の側面では、時刻の変化点は、閾値に基づく画像情報についての２値化データであり、相関関数は、２値化データから算出される。この場合、２値化データにより簡易で迅速な処理が可能となる。
【0012】
上記目的を達成するための点検システムは、上記画像処理装置を備える点検システムであって、点検対象設備を異なる位置から撮像して得た画像データに時刻情報を加えて画像情報を生成する複数の撮像部と、複数の撮像部により複数生成された画像情報を、画像処理装置に対して出力する画像情報出力部とを備える。
【0013】
上記点検システムでは、複数の撮像部により複数生成され、画像情報出力部により上記画像処理装置に対して出力された画像情報について、画像処理装置において時刻ずれ（時間差）を補正できる。
【図面の簡単な説明】
【0014】
【図1】（Ａ）は、一実施形態に係る点検システムの利用態様について説明するための斜視図であり、（Ｂ）は、点検システムを構成する撮像部による画像データを概念的に示す画像図であり、（Ｃ）は、画像の合成結果を示す図である。
【図2】一実施形態に係る画像処理装置を含む点検システムの一構成例を示すブロック図である。
【図3】画像処理装置における処理内容について説明するための図である。
【図4】点検システムについての一構成例を説明するためのブロック図である。
【図5】画像処理装置における処理についてのフローチャートである。
【図6】画像処理装置における処理のうち、指標の算出について一例を説明するためのフローチャートである。
【図7】ハッシュ値の算出について一例を説明する図である。
【図8】（Ａ）は、画像間の距離の変化の様子を示すグラフであり、（Ｂ）は、画像における平均輝度の変化の様子を示すグラフである。
【図9】画像処理装置における処理のうち、カメラ間の時刻ずれ算出について一例を説明するためのフローチャートである。
【図10】データの２値化について一例を説明するためのグラフである。
【図11】相関関数について一例を示すグラフである。
【発明を実施するための形態】
【0015】
以下、図１等を参照して、一実施形態に係る画像処理装置及びこれを備える点検システムについて一例を説明する。図１（Ａ）～図１（Ｃ）は、本実施形態に係る点検システム１００について説明するための前提として、点検システム１００の利用態様について一例を示す図である。例えば、図１（Ａ）は、点検システム１００における点検対象ＣＯの一例を、列車設備ＴＥとした場合の様子について示す斜視図となっている。また、図１（Ｂ）は、図１（Ａ）の例示のような点検システム１００を構成する撮像部としての複数のカメラ１０（カメラ１，２，…）により連続して撮像される画像Ｇ（動画）を概念的に示す画像図であり、図１（Ｃ）は、画像の合成結果としての合成画像ＳＧを示す図である。
【0016】
【0017】
まず、図１（Ａ）に示す一例では、点検システム１００を構成する複数のカメラ１０は、列車ＴＲの屋根上において、予め定められた箇所に取付固定されており、列車ＴＲの進行方向Ｄ１に存在する点検対象ＣＯを撮像する。点検システム１００は、撮像された画像に基づき、点検対象ＣＯの異常の有無を判断する。一方、図示の一例における点検対象ＣＯとしての列車設備ＴＥは、鉄柱が線路を跨ぐように設けられた部材となっており、複数のカメラ１０で異なる位置から列車設備ＴＥの全体を撮像し、その撮像結果を、図１（Ｃ）に例示するように貼り合わせる（合成する）ことで、点検対象ＣＯたる列車設備ＴＥを捉えるものとなっている。すなわち、点検システム１００は、上記のようにして合成された画像に基づいて、列車設備ＴＥに異常がないか等の各種確認を行う。
【0018】
以上のように、図１（Ａ）～図１（Ｃ）の示す一例の利用態様では、列車ＴＲに搭載された各カメラ１０により、１つの列車設備ＴＥを異なる位置から移動しつつ連続撮像することで、図１（Ｂ）に示すような複数の画像Ｇが取得され、取得された画像Ｇから適切なものすなわち列車設備ＴＥを画像中に含むもの（例えば、部分画像ＴＥ１ｉ，ＴＥ２ｉを含むもの）を選択して合成することで、図１（Ｃ）に例示するような列車設備ＴＥを示す部分画像ＴＥｉを含んだ合成画像ＳＧを形成することが可能になる。
【0019】
ここで、点検システム１００が、上記のような利用態様となる場合、各カメラ１０間での撮像タイミングが同期していることが望ましい。すなわち、撮像した時刻を示す時刻情報が各カメラ１０の間で共通するように、例えば１つの制御部（共通の制御部）で、複数のカメラ１０の動作制御を統括的に行う、といった態様とすることが望ましい。しかしながら、上記一例のような列車ＴＲに複数のカメラ１０を搭載して撮像を行う、といった場合のように、各カメラ１０間の距離が大きくなると、かかる態様とすることは困難であり、各カメラ１０において独立に制御がなされることになる。
【0020】
本実施形態に係る点検システム１００あるいはこれを構成する画像処理装置５０（図２参照）では、点検システム１００を構成する複数のカメラ１０が独立して制御され（撮像動作をし）、各カメラ１０の間で時刻のずれ（時間差）が生じ得る場合であっても、これを補正可能としている。これにより、目的とする点検対象ＣＯを的確に捉えることができる。
【0021】
以下、図２を参照して、画像処理装置５０を含む点検システム１００について一構成例を説明する。図示のように、点検システム１００は、複数のカメラ１０を含む画像情報生成装置４０と、画像処理装置５０とを備える。図示の例では、画像情報生成装置４０は、列車ＴＲに搭載される車上側の設備であり、列車ＴＲの屋根上（屋外）に設けられる列車屋根上機器４０Ａと、屋内に設けられる列車内機器４０Ｂとで構成される。列車屋根上機器４０Ａとしては、カメラ１０のほか、照明（ストロボ）１１が設けられている。列車内機器４０Ｂとしては、制御部２０のほか、操作部２１、外部記憶媒体２２、画像情報出力部３０等が設けられる。また、図示の例では、１つの列車屋根上機器４０Ａとこれに対応する１つの列車内機器４０Ｂとが一組の構成となっており、かかる組合せが複数存在して画像情報生成装置４０が構成されているが、以下では、説明を簡略化するため、一組の列車屋根上機器４０Ａと列車内機器４０Ｂとに着目して説明する。
【0022】
カメラ１０は、既述のように、所定の位置や姿勢で固定されて設けられ、カメラ１０での撮像により生成される画像データＧＤが、制御部２０に出力される。なお、１つの画像データＧＤは、図１（Ｂ）に例示した１つの画像Ｇに相当する。また、ここでの一例では、カメラ１０は、近赤外カメラとし、照明１１は、カメラ１０に応じて近赤外光を照射する。目には見えない近赤外光を利用することで、撮影時に周囲への影響を抑制できる。具体的には、例えば夜中に線路上の設備点検のために撮像を行う、といった場合であっても、照明１１によって光量の大きい光を照射しても、近隣への光害となる可能性を抑えられる。なお、カメラ１０及び照明１１は、制御部２０からの指令信号に従って動作する。
【0023】
制御部２０は、例えばＣＰＵあるいは各種回路等で構成され、各部と接続されて、撮像に関する各種動作を制御する。例えば、制御部２０は、入力装置としての操作部２１に接続されており、ユーザーによる操作部２１の操作に基づく各種指令信号を受け付け、これに応じた種々の動作を行う。なお、図示の一例では、１つのカメラ１０を制御する場合を例示しているが、複数のカメラ１０を制御する場合も考えられる。これについては、図４を参照して、バリエーションの態様について後述する。
【0024】
以上のように、制御部２０は、カメラ１０や照明１１の動作制御を行うが、この際、特に、カメラ１０からの画像データＧＤに対して、時刻付与を行う。すなわち、制御部２０は、カメラ１０から順次出力される画像データＧＤに、時刻情報ＴＩを都度加えていく時刻付与部ＴＡとして機能する。以下、画像データＧＤに時刻情報ＴＩが加えられた情報を、画像情報ＧＩとする。制御部２０は、順次生成した画像情報ＧＩを、外部記憶媒体２２に記憶させる。
【0025】
外部記憶媒体２２は、各種ストレージデバイス等で構成され、各種動作に必要なプログラム等を格納するとともに、上記により取得した画像に関する各種情報、特に、複数の画像データＧＤと時刻情報ＴＩとで構成される複数の画像情報ＧＩを格納する。
【0026】
画像情報出力部３０は、複数の撮像部であるカメラ１０により複数生成された画像情報ＧＩを、画像処理装置５０に対して出力する。
【0027】
また、この場合、複数組の列車屋根上機器４０Ａ及び列車内機器４０Ｂで構成される画像情報生成装置４０には、複数の画像情報出力部３０が存在することから、画像処理装置５０は、複数の画像情報出力部３０から、それぞれ連続した画像データＧＤを含む画像情報ＧＩを受け付けるものとなっている。
【0028】
画像処理装置５０は、受け付けた画像情報ＧＩについて、各種画像処理を行うため、画像情報取得部６０と、主制御部７０と、記憶部８０とを備える。
【0029】
画像情報取得部６０は、各画像情報出力部３０から出力される各種情報、特に、複数の画像情報ＧＩを受け付けるインターフェース部である。
【0030】
主制御部７０は、例えばＣＰＵあるいは各種回路等で構成され、各種画像処理を行う画像処理装置５０の本体部分であるとともに、データ処理を行う。このため、本実施形態では、主制御部７０は、画像解析部７１と、時刻補正部７２とを備える、あるいは、これらとして機能する。画像解析部７１は、画像情報ＧＩに対する各種画像処理を施し、特に、ここでは、異なる画像情報出力部３０から送信される画像情報ＧＩ間での時刻ずれを算出可能とするために、各画像情報ＧＩ（画像データＧＤ）における撮影環境の状態を示す指標の算出を行う。より具体的には、撮影環境の状態を示す指標の１つである、画像情報ＧＩのうち連続撮像された画像間について規定した距離や、画像の輝度について、算出を行う。また、時刻補正部７２は、画像解析部７１において算定された撮影環境の状態を示す指標、すなわち上記距離や輝度に基づいて、画像情報ＧＩ間での時刻ずれを補正する。
【0031】
記憶部８０は、各種ストレージデバイス等で構成され、主制御部７０からの指令に従って、例えば画像情報取得部６０で受け付けた画像情報ＧＩを格納するほか、主制御部７０での各種処理結果としての各種データを格納する。
【0032】
以下、図３として示す概念図を参照して、画像処理装置５０における処理内容について説明する。図２等を参照して説明した構成において、画像データＧＤ等の各種データの流れについては、図３に示すようなものとなる。具体的に説明すると、図中において画像データ１，２，３，…で示す複数の画像データＧＤが種々の位置から撮像が行われた結果として取得され、これらに時刻情報ＴＩがそれぞれ付与されたものが、画像処理装置５０の画像情報取得部６０において、画像情報ＧＩとして受け付けられる。すなわち、画像処理装置５０側には、図中において画像情報１，２，３，…として示す複数の画像情報ＧＩが取り込まれており、各画像情報１，２，３，…は、画像データ１，２，３，…と、これに対応する時刻情報１，２，３，…とで構成されている。
【0033】
なお、各画像情報１，２，３，…は、連続した画像で構成されており、一部拡大して破線で囲って示すように、例えば画像情報１であれば、複数（多数）の画像情報１－１，１－２，１－３，…で構成されている。なお、他の画像情報２等についても、同様である。つまり、見方を変えると、各画像情報ＧＩは、複数（多数）の画像情報で構成される画像情報群となっているとも言える。
【0034】
ただし、これらの画像情報ＧＩの間（例えば画像情報１と画像情報２との間）では、時刻付与に際して必ずしも同期がなされておらず、時刻ずれが発生している可能性がある。例えば、撮像に使用するカメラ１０（図２等参照）ごとの制御機器のクロック周波数の誤差等がその要因となる場合がある。
【0035】
これに対して、画像処理装置５０は、時刻補正部７２において、撮影環境の状態を示す指標ＩＸに基づいて、画像情報ＧＩの間での相関関数ＣＦから時刻ずれを補正する態様となっている。ここでは、カメラ１０（図２等参照）間で撮影環境の状態を示す指標ＩＸとして、画像間の距離及び輝度に着目し、特に、複数（多数）の画像情報１－１，１－２，１－３，…からそれらの変化を捉え、当該変化に関する相関関数ＣＦを利用することで、時刻ずれの度合を算定している。なお、このような指標ＩＸや相関関数ＣＦについての具体的一例は、図５等を参照して後述する。
【0036】
また、以上のような処理を行う画像処理装置５０の設置等に関しては、種々の態様が考えられる。例えば、上記したカメラ１０（図２等参照）等による画像情報ＧＩの生成動作とは、別個独立に画像処理を行うべく、画像処理装置５０は、カメラ１０側と画像処理装置５０側とを離隔して単独で存在する態様とすることが考えられる。ただし、カメラ１０側と画像処理装置５０側とを離隔して配置した態様であっても、画像情報ＧＩの取得に関しては、例えば無線通信等を利用することで、画像情報ＧＩの生成とこれの画像解析等の処理とを同時並行的に行える態様としてもよい。一方、画像処理装置５０を列車内機器４０Ｂ（図２参照）とともに車載の構成とし画像処理装置５０と各部とが接続されて、同時並行的に一括して処理を行う態様としてもよい。
【0037】
以下、図４として示すブロック図の点検システム１００を参照して、上記態様の変形例について示す。
【0038】
まず、上記一例のうち、列車屋根上機器４０Ａや列車内機器４０Ｂについては、１つのカメラ１０に対して、１つの照明、１つの制御部２０等で構成しているものとしたが、これに限らず、種々の組合せが考えられる。例えば、図４においてカメラ１等で示すように、列車屋根上機器４０Ａにおいて照明を有しない構成とすることもできる。むろん、カメラ２等で示すように、あるいは上記した一態様のように、列車屋根上機器４０Ａにおいて、１つのカメラ１０（図示の例ではカメラ２）と１つの照明１１（図示の例では照明１）とを備える構成としてもよい。この他にも、例えば２つのカメラ３，４に対して、列車内機器４０Ｂ側に設けた１つの制御部３で制御を行う構成とすることも考えられる。さらに、２つのカメラ５，６にそれぞれ対応する照明２，３を設け、これらに対して、１つの制御部４で制御を行う構成とすることも考えられる。
【0039】
また、画像処理装置５０については、図４の一例では、各種データ管理を行う中央サーバＣＶが画像処理装置５０としての機能を含んでいる。具体的には、中央サーバＣＶは、例えば、列車内機器４０Ｂに設けた上記各態様の外部記憶媒体１等に対応して、これらからの画像情報ＧＩを含む各種情報を格納する外部記憶媒体１Ａ等で構成される記憶部ＭＥを備えるとともに、全体を制御する制御部ＭＰや、画像処理部ＧＰ、さらには、操作部（入力装置）ＯＵや、表示部（出力装置）ＤＳ等を備える。中央サーバＣＶでは、制御部ＭＰからの各種指令信号に従って、記憶部ＭＥの外部記憶媒体１Ａ等に格納された各種情報を、例えば画像処理部ＧＰにおいて解析処理し、その結果を、ディスプレイ等で構成される表示部ＤＳに表示させる。また、制御部ＭＰは、操作部ＯＵを介して、オペレーターからの各種操作信号を受け付け、これに応じた各種処理を行う。以上により、中央サーバＣＶは、画像処理装置５０としても機能する。
【0040】
以下、図５等を参照して、本実施形態に係る画像処理を利用した時刻ずれ補正の一例について、詳細を説明する。
【0041】
まず、図５のフローチャートに示すように、本実施形態では、画像処理装置５０における処理は、大きく分けて、指標の算出（ステップＳ１）と、カメラ間の時刻ずれ補正（ステップＳ２）との２つの処理で構成されている。
【0042】
【0043】
【0044】
画像解析部７１としての主制御部７０は、まず、複数のカメラ１０のうち、対象となるカメラ１０を指定する（ステップＳ１０１）。すなわち、どのカメラ１０からの画像情報ＧＩを処理対象とするかを決定する。なお、この場合において、選択された画像情報ＧＩは、図３において画像情報１に関して例示したように、複数（多数）の画像情報１－１等で構成されているものとする。
【0045】
次に、主制御部７０は、画像情報ＧＩのうちから１枚の画像（例えば、図３の画像情報１－１を構成する画像データ１－１）の情報を入力し（ステップＳ１０２）、当該画像情報（１枚の画像データ）についてのハッシュ値を算出し（ステップＳ１０３）、さらに、主制御部７０は、ステップＳ１０３で算出されたハッシュ値を利用して、指標の１つである画像間の距離を算出する（ステップＳ１０４）。なお、ハッシュ値の算出やこれに基づく画像間の距離の算出に関する具体的一例については、図７等を参照して後述する。
【0046】
次に、主制御部７０は、ステップＳ１０２で入力された画像情報（１枚の画像データ）について、もう１つ別の指標としての平均輝度を算出する（ステップＳ１０５）。なお、平均輝度の算出方法の詳しい一例については、後述する。また、平均輝度の算出については、ステップＳ１０３及びステップＳ１０４の処理と同時並行的になされてもよい。
【0047】
主制御部７０は、ステップＳ１０２からステップＳ１０５までの処理を終えると、ステップＳ１０１で選択された画像情報ＧＩを構成する全ての画像情報（画像データ）について処理を完了したか否かを確認し（ステップＳ１０６）、完了していなければ（ステップＳ１０６：Ｎｏ）、主制御部７０は、画像情報ＧＩのうちから新たな１枚の画像（例えば、図３の画像情報１－２を構成する画像データ１－２）の情報を入力し（ステップＳ１０２）、同様の処理を行う。
【0048】
一方、ステップＳ１０６において、対象となっている画像情報ＧＩに含まれる全ての画像情報（画像データ）について処理を完了したことが確認されると（ステップＳ１０６：Ｙｅｓ）、主制御部７０は、ステップＳ１０１で選択された画像情報ＧＩ（例えば、図２の画像情報１）に関して算出した画像間の距離及び平均輝度について、記憶部８０に保存する（ステップＳ１０７）。
【0049】
主制御部７０は、ステップＳ１０７でのデータ保存の処理を終えると、複数のカメラ１０の全てについて処理を完了したか否か、すなわち全ての画像情報ＧＩについて処理を完了したか否か、を確認し（ステップＳ１０８）、完了していなければ（ステップＳ１０８：Ｎｏ）、主制御部７０は、複数のカメラ１０のうちから新たなカメラ１０を指定し（ステップＳ１０１）、すなわち当該カメラ１０に対応する画像情報ＧＩ（例えば画像情報２）を入力し、同様の処理を行う。
【0050】
一方、ステップＳ１０８において、対象となっている全てのカメラ１０について、処理を完了したことが確認されると（ステップＳ１０８：Ｙｅｓ）、主制御部７０は、画像解析部７１としての動作を終了する。
【0051】
なお、以上のようにして得られる画像間の距離及び平均輝度が、図５のステップＳ２に示すカメラ間の時刻ずれ補正を行うための指標として、利用される。
【0052】
以下、図７を参照して、上述したハッシュ値の算出について、具体的一例を説明する。まず、図示のように、連続画像による画像群を含む画像情報ＧＩについて、これを構成する連続する画像の一部を、画像Ｇ１，Ｇ２，Ｇ３とする。これらについて、それぞれ以下の動作手順（１）～（５）により、図示のような８×８行列のハッシュ値を算出する。
（１） 画像Ｇ１，Ｇ２，Ｇ３を縮小する。
（２） 画像Ｇ１，Ｇ２，Ｇ３がカラーの場合、グレースケールに変換する。
（３） 離散コサイン変換処理により、画像の周期成分を算出する。
（４） 周期成分のうち、低周期成分を抽出する。
（５） 低周期成分が平均より大きいか否かで２値化する。
（１） 画像Ｇ１，Ｇ２，Ｇ３を縮小する。
（２） 画像Ｇ１，Ｇ２，Ｇ３がカラーの場合、グレースケールに変換する。
（３） 離散コサイン変換処理により、画像の周期成分を算出する。
（４） 周期成分のうち、低周期成分を抽出する。
（５） 低周期成分が平均より大きいか否かで２値化する。
【0053】
以上により、図示のように、例えば８×８の行列となるハッシュ値を得ることができる。これをベクトル化することで、６４次元ベクトルになる。なお、上記態様の場合、２値化していることで、当該ベクトルを構成する各要素の値は、０か１となっている。また、この場合、上記のようにして求めたハッシュ値は、元の画像が似ているもの同士である場合には、ハッシュ値も似たものとなる（０，１の配置が近似する）。したがって、ハッシュ値についての画像間の差異を距離として規定することで、画像の変化の様子を捉えることが可能になる。
【0054】
次に、上記のようにして得られたハッシュ値を利用した画像間の距離の算出について説明する。図示の例では、連続する３つの画像Ｇ１，Ｇ２，Ｇ３を示しており、この場合、時間的に隣接する２つの画像の間での距離、すなわち、画像Ｇ１と画像Ｇ２との間での距離、画像Ｇ２と画像Ｇ３との間での距離を取得する。さらい言い換えると、入力画像と１つ前の入力画像との距離を算出する。入力画像のハッシュ値をｘ＝（ｘ１，ｘ２，…，ｘ６４）とし、１つ前の入力画像のハッシュ値をｙ＝（ｙ１，ｙ２，…，ｙ６４）とすると、画像間の距離ｄ（ｘ，ｙ）は、例えば
と規定できる。上記３つの画像Ｇ１，Ｇ２，Ｇ３についてであれば、画像Ｇ１と画像Ｇ２とについて、図中においてこれらに対応する８×８行列で示される０または１のハッシュ値を、上式に当てはめて計算すると、その間の距離は、１０であり、同様に、画像Ｇ２と画像Ｇ３との間での距離は、３０である。既述のように、画像が類似するほど、距離が小さくなるため、上記の場合、画像Ｇ１と画像Ｇ２とは相対的に類似した画像であるのに対して、画像Ｇ２と画像Ｇ３とは相対的に異なる画像である、ということが分かる。以上のように、上記では、撮影環境の状態を示す指標として、連続撮像された画像間について規定した距離を含められることになる。
【0055】
なお、図６のフローチャートにおいて、最初の１枚の画像についての処理では、１つ前の入力画像が存在しない。この場合、例えば予め定めたデフォルト値（例えば６４個全ての要素の値を０としたもの）との比較から距離を算出してもよい。あるいは、最初の１枚に対しては距離を算出しないものとしてもよい。
【0056】
上記のような距離ｄ（ｘ，ｙ）の特性について考える。例えば、カメラ１０を搭載した列車ＴＲ（図１等参照）が停止している場合には、撮像環境が変化しないあるいはほとんど変化しないため、連続画像間の距離も小さいあるいはほぼゼロに近くなると考えられる。一方、列車ＴＲが走り出した瞬間に、距離の値に大きな変化が生じると考えられ、かつ、かかる変化は、列車ＴＲに搭載されたカメラ１０全てに同時に生じると考えらえる。したがって、この変化を捉え、時刻の基準とすることで、各カメラ１０間における時刻ずれを補正することができる。すなわち、カメラ１０が停止していることがある、といった場合において、上記距離ｄ（ｘ，ｙ）を、撮影環境の状態を示す指標として採用できる。
【0057】
なお、上記距離ｄ（ｘ，ｙ）は、距離を示す指標としての一例であり、距離については、ハッシュ値の差異に応じた大小関係を示すことが可能であれば、上記以外にも種々の定義を採用することが可能である。また、ハッシュ値についても、上記以外の種々の手法を採用することができる。
【0058】
次に、平均輝度の算出について、すなわち画像全体の輝度の平均値の算出について説明する。例えば、上記３つの画像Ｇ１，Ｇ２，Ｇ３等に示すような各画像において、画像の幅をＷとし、高さをＨとし、座標（ｘ，ｙ）の画素の輝度をＩ（ｘ，ｙ）とし、平均輝度をｍとすると、平均輝度ｍは、
で表される。この場合、撮影環境が変化するすなわち周りの明るさが変化するような場合に、平均輝度ｍは、大きく変化すると考えられる。
【0059】
上記のような平均輝度ｍの特性について考える。例えば、カメラ１０を搭載した列車ＴＲ（図１等参照）がトンネルに出入りする場合には、明るさに関する変化が激しくなると考えられる。これは、例えば夜間であっても、近赤外光を発する照明１１（図２等参照）を使用する場合には、同様であると考えられる。また、かかる変化は、列車ＴＲに搭載されたカメラ１０全てに同時あるいはほぼ同時に生じると考えらえる。したがって、この変化を捉え、時刻の基準とすることで、各カメラ１０間における時刻ずれを補正することができる。すなわち、明るさについて瞬間的な変化が生じる、といった場合において、上記平均輝度ｍを、撮影環境の状態を示す指標として採用できる。複数のカメラ１０が例えば列車ＴＲの先端側と後端側とに存在する場合のように進行方向について差のある位置に配置されている場合には、多少の時間差が生じるが、この場合、例えば各カメラの配置やトンネルに入る際の列車ＴＲの速度まで加味して補正をすることが考えられる。
【0060】
なお、上記平均輝度ｍは、輝度を示す指標としての一例であり、輝度については、この変化を的確に示すことが可能であれば、上記以外にも種々の定義を採用することが可能であり、例えば、１つの画像中における輝度の最小値と最大値との差を指標として採用するといったことも考えられる。
【0061】
図８（Ａ）は、指標の１つとしての画像間の距離ｄの変化の様子を示すグラフであり、図中において、横軸は、時刻を示しており、縦軸は、画像間の距離ｄの値を示している。ここでは、複数のカメラ１０を搭載した列車ＴＲが、走行状態から一旦停止して、また、走行を開始するまでの間に、２つのカメラ１０（例えばカメラ１，２）でそれぞれ撮像された画像情報ＧＩ（画像情報１，２）について、解析を行った結果を示している。なお、カメラ１とカメラ２とでは、時刻に関する同期がなされておらず、時刻については、各画像情報ＧＩに含まれる時刻情報ＴＩに基づいている。また、実線で示す曲線Ｐ１は、一のカメラ１０（カメラ１）における画像間の距離を示しており、破線で示す曲線Ｐ２は、他のカメラ１０（カメラ２）における画像間の距離を示している。
【0062】
列車ＴＲが停止している間、カメラ１，２の映像は変化しないので、画像間の距離は、どちらについても小さくなる。つまり、カメラ１及びカメラ２のいずれも、グラフ上の一定区間で画像間の距離が小さいままの状態が続いている。しかしながら、図８（Ａ）の例では、カメラ２のほうが、カメラ１より距離が０の状態あるいはこれに近い状態となる区間が、左寄りになっている。この差が、両者間での時刻のずれに相当する。
【0063】
図８（Ｂ）は、指標の１つとして別の一態様である画像における平均輝度ｍについて、その変化の様子を示すグラフであり、図中において、横軸は、時刻を示しており、縦軸は、平均輝度ｍの値を示している。ここでは、複数のカメラ１０を搭載した列車ＴＲが、トンネルに入り、その後トンネルを出るまでの間に、２つのカメラ（例えばカメラ３，４）でそれぞれ撮像された画像情報ＧＩ（画像情報３，４）について、解析を行った結果を示している。なお、カメラ３とカメラ４とでは、時刻に関する同期がなされておらず、時刻については、各画像情報ＧＩに含まれる時刻情報ＴＩに基づいている。また、実線で示す曲線Ｑ１は、一のカメラ１０（カメラ３）における平均輝度を示しており、破線で示す曲線Ｑ２は、他のカメラ１０（カメラ４）における平均輝度を示している。
【0064】
列車ＴＲがトンネルに入ってからトンネルを出る前までの間、カメラ１，２の映像の平均輝度は、小さくなっている。しかしながら、図８（Ｂ）の例では、カメラ４のほうが、カメラ３より輝度が０の状態あるいはこれに近い状態となる区間が、右寄りになっている。この差が、両者間での時刻のずれに相当する。
【0065】
以上のような距離や輝度を、撮影環境の状態を示す指標として採用することで、各カメラ１０の間に生じる時刻ずれ（時間差）について、的確な補正ができる。
【0066】
【0067】
また、ここでは、一例として、対象となる複数のカメラ１０のうちの一のカメラ１０（例えばカメラ１）における時刻情報を基準として、カメラ１に対して他のカメラ１０（カメラ２等）における時刻情報のずれ度合を計算するものとする。
【0068】
時刻補正部７２としての主制御部７０は、まず、複数のカメラ１０のうち、２つのカメラについて選択し、これらの間での相対的な時刻ずれを補正すべく、指標の読込みを行う（ステップＳ２０１）。すなわち、一のカメラ１０（カメラ１）と他のカメラ１０（例えばカメラ２）とを選択し、これらについての画像情報（画像情報１，２）に関する指標（距離ｄ、平均輝度ｍ）のデータを記憶部８０から抽出して読み込む。より具体的には、図８（Ａ）のグラフに例示したようなデータを読み込む。
【0069】
次に、主制御部７０は、ステップＳ２０１において読み込んだデータ中の変化点を読み取るべく、２値化の処理を行う（ステップＳ２０２）。すなわち、主制御部７０は、図８（Ａ）に例示したような値の著しい変化があった箇所を特定した２値化データの作成を行う。なお、これについて詳しくは、図１０を参照して一例を後述する。
【0070】
次に、主制御部７０は、ステップＳ２０２での２値化データに基づく相関関数の算出を行う（ステップＳ２０３）。さらに、主制御部７０は、算出された相関関数のピーク位置を算出し（ステップＳ２０４）、これを出力する（ステップＳ２０５）。この出力結果が、求めるべき時刻情報のずれ度合、すなわち時刻ずれに対する補正量に相当する。なお、２値化データを利用した相関関数の算出や、相関関数のピーク位置の抽出については、図１１を参照して一例を後述する。
【0071】
主制御部７０は、ステップＳ２０１からステップＳ２０５までの処理を終えると、全てのカメラ１０の組合せについての処理が完了したか否か、つまり上記のようにカメラ１を基準とした場合、カメラ１と他のカメラとの組合せについての処理がすべて完了したかを確認し（ステップＳ２０６）、完了していなければ（ステップＳ２０６：Ｎｏ）、主制御部７０は、新たな組合せについて、同様の処理を行う。
【0072】
一方、ステップＳ２０６において、対象となっている全ての組合せについて、処理を完了したことが確認されると（ステップＳ２０６：Ｙｅｓ）、主制御部７０は、時刻補正部７２としての動作を終了する。
【0073】
以下、図１０のグラフを参照して、データの２値化について、すなわち上述した２値化データの作成について、一例を説明する。図示のうち、上段αは、図８（Ａ）に例示したグラフ、すなわち２つのカメラ１０（例えばカメラ１，２）についての画像間の距離ｄの変化を示しており、下段βは、上段αについて２値化した一例について示している。なお、下段βにおいて、横軸は、上段αと同様、時刻となっており、縦軸は、２値化したものすなわち０か１かで表される値となっている。また、下段βにおいて実線で示す曲線Ｒ１は、上段αに示す曲線Ｐ１に対応し、下段βにおいて破線で示す曲線Ｒ２は、曲線Ｐ２に対応する。
【0074】
ここでは、図示のうち、上段αに示すように、指標としての画像間の距離における変化点を定めるものとして、予め閾値を設けておき、当該閾値を超える時刻を変化点とする。下段βに示す２値化データは、当該閾値を下回る場合に値が１となり、それ以外では０となっている。
【0075】
上記のようにして、２つのカメラ１０（カメラ１，２）に対して算出した２値化データに対し、図１１に例示するような相関関数を算出する。具体的には、図１０に例示した２値化データにおける曲線Ｒ１，Ｒ２に対応するデータを、ｐ１（ｔ），ｐ２（ｔ）とした場合において、相関関数Ｒ（ｓ）を、
と規定すると、相関関数Ｒ（ｓ）は、図１１に例示するようなグラフとなる。この相関関数Ｒ（ｓ）は、２つのカメラ１，２の間での時刻のずれになるところで、最大値を取る。つまり、図中において、相関関数Ｒ（ｓ）がピークを示す時のｓの値Ｔが、求めるべき時刻のずれとなる。
【0076】
以上では、相関関数Ｒ（ｓ）が、撮影環境の状態を示す指標である画像間の距離に対して予め設けた閾値から定まる時刻の変化点について、２つのカメラ１，２からの画像情報ＧＩに関する時刻の変化点の間での相関関係を示す関数となっている。また、上記の場合、その時刻の変化点は、閾値に基づく画像情報についての２値化データ（２値化データの変化点）で示されており、相関関数Ｒ（ｓ）は、２値化データから算出されるものとなっている。これにより、簡易で迅速、かつ、的確な処理が可能となっている。
【0077】
既述のように、基準とするカメラ１と他のカメラとの全ての組合せについて、同様に、上記のような相関関数に基づく時刻のずれの算出を行うことで、基準とするカメラ１に対する他のカメラでの時刻のずれ度合が算定でき、これに基づく補正ができ、延いては、取得した画像情報全体についての時間的同期が確立できる。
【0078】
また、もう１つの指標である平均輝度ｍについても、例示した図８（Ｂ）のグラフに関して、同様の２値化処理及び相関関数に基づく算出を行うことで、時刻のずれに関する算定が可能となる。
【0079】
また、時刻のずれの算出に関しては、画像間の距離ｄと平均輝度ｍとの双方を共に使用する態様としてもよいが、例えば、列車ＴＲの走行区間等を考慮して、最適なものを都度選択する、という態様とすることも考えられる。
【0080】
以上のように、本実施形態に係る画像処理装置５０は、異なる位置を撮像した画像データＧＤに時刻情報ＴＩを加えた画像情報ＧＩを複数取得する画像情報取得部６０と、撮影環境の状態を示す指標ＩＸに基づいて、画像情報ＧＩの間での相関関数ＣＦから時刻ずれを補正する時刻補正部７２とを備える。上記のような構成の画像処理装置５０では、画像情報取得部６０において、異なる位置を別個独立に撮像した画像データＧＤの取得が可能であり、時刻補正部７２において、撮影環境の状態を示す指標ＩＸに基づいて、画像データＧＤに時刻情報ＴＩを付加した画像情報ＧＩの間での相関関数ＣＦから時刻ずれ（時間差）を補正できる。つまり、取得した複数の画像データＧＤの間での撮影時の時刻同期に相当する処理を事後的に行える。
【0081】
また、本実施形態に係る点検システム１００は、画像処理装置５０を備えるものであって、点検対象設備（例えば点検対象ＣＯとしての列車設備ＴＥ）を異なる位置から撮像して得た画像データＧＤに時刻情報ＴＩを加えて画像情報ＧＩを生成する複数の撮像部としてのカメラ１０と、複数のカメラ１０により複数生成された画像情報ＧＩを、画像処理装置５０に対して出力する画像情報出力部３０とを備える。この場合、複数のカメラ１０により複数生成され、画像情報出力部３０により画像処理装置５０に対して出力された画像情報ＧＩについて、画像処理装置５０において時刻ずれ（時間差）を補正できる。
【0082】
〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【0083】
まず、上述した一例では、１つのカメラ１０（例えばカメラ１）を基準として、他のカメラの時刻のずれ度合を算出しているが、これに限らず、例えば基準を定めずに全てのカメラの組合せについて相関関数による算定をして、これらの結果に基づき時刻のずれを補正してもよい。
【0084】
また、上記では、指標として、画像間の距離に関するものと画像の輝度に関するものとの２つを採用しているが、どちらか一方のみを指標とする態様とすることも可能である。
【0085】
また、上記では、２値化データから相関関数を算出しているが、２値化していないデータ（例えば図８に示す曲線Ｐ１，Ｐ２のままのデータ）について相関関数を算出する場合も考えられる。
【0086】
また、上記では、カメラ１０や、照明１１において、近赤外光を利用するするものとしているが、これに限らず、例えば可視光を利用する態様とすることも考えられる。
【0087】
また、上記では、列車ＴＲ上に搭載する態様としているが、これに限らず他の移動体に搭載する態様とすることも考えられ、例えば、単数または複数の車両にカメラを搭載し、道路設備に関する点検を行うことも考えられる。
【符号の説明】
【0088】
１０…カメラ、１１…照明、１２…画像情報、２０…制御部、２１…操作部、２２…外部記憶媒体、３０…画像情報出力部、４０…画像情報生成装置、４０Ａ…列車屋根上機器、４０Ｂ…列車内機器、５０…画像処理装置、６０…画像情報取得部、７０…主制御部、７１…画像解析部、７２…時刻補正部、８０…記憶部、１００…点検システム、ＣＦ…相関関数、ＣＯ…点検対象、ＣＶ…中央サーバ、Ｄ１…進行方向、ＤＳ…表示部、Ｇ，Ｇ１，Ｇ２，Ｇ３…画像、ＧＤ…画像データ、ＧＩ…画像情報、ＧＰ…画像処理部、ＩＸ…指標、ＭＥ…記憶部、ＭＰ…制御部、ＯＵ…操作部、Ｐ１，Ｐ２，Ｑ１，Ｑ２，Ｒ１，Ｒ２…曲線、Ｒ（ｓ）…相関関数、ＳＧ…合成画像、Ｔ…値、ＴＡ…時刻付与部、ＴＥ…列車設備、ＴＩ…時刻情報、ＴＲ…列車、ｄ…距離（指標）、ｍ…平均輝度（指標）、α…上段、β…下段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】