特許 7399729 設備診断システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-08

(45)【発行日】2023-12-18

(54)【発明の名称】設備診断システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231211BHJP

   H04N 19/85 20140101ALI20231211BHJP

   H04N 7/18 20060101ALI20231211BHJP

   B61L 25/06 20060101ALI20231211BHJP

   B60L 15/40 20060101ALI20231211BHJP

【ＦＩ】

G06T7/00 300E

H04N19/85

G06T7/00 650

H04N7/18 K

B61L25/06 Z

B60L15/40 Z

【請求項の数】 9

(21)【出願番号】P 2020015402

(22)【出願日】2020-01-31

(65)【公開番号】P2021124751

(43)【公開日】2021-08-30

【審査請求日】2022-12-12

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100213654

【弁理士】

【氏名又は名称】成瀬 晃樹

(72)【発明者】

【氏名】瀬戸 直人

(72)【発明者】

【氏名】小林 広幸

(72)【発明者】

【氏名】高橋 雄介

(72)【発明者】

【氏名】山崎 世支明

(72)【発明者】

【氏名】堀江 勝大

(72)【発明者】

【氏名】二神 拓也

(72)【発明者】

【氏名】服部 陽平

(72)【発明者】

【氏名】伊藤 博章

(72)【発明者】

【氏名】加藤 紀康

(72)【発明者】

【氏名】堀口 和俊

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１９－１９１９６１（ＪＰ，Ａ）

【文献】特開２０１４－０９２８７５（ＪＰ，Ａ）

【文献】特開２００７－１２４０８８（ＪＰ，Ａ）

【文献】特開２０１０－０６３２６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ １９／８５

Ｈ０４Ｎ ７／１８

Ｂ６１Ｌ ２５／０６

Ｂ６０Ｌ １５／４０

(57)【特許請求の範囲】

【請求項1】

鉄道車両に設けられ、前記鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する撮像部と、
走行中の前記鉄道車両の車両位置を計測する位置計測部と、
前記撮像部が撮像した動画と前記車両位置とを関連付けるとともに、前記動画を符号化する符号化部と、
符号化された前記動画のうち、診断対象の前記鉄道設備の第１動画を復号化する第１動画復号化部と、
前記第１動画に関連付けられる第１車両位置に基づいて、前記車両位置と関連付けて動画記憶部に予め記憶される符号化された前記動画から、診断対象の前記鉄道設備の選択画像を選択する画像選択部と、
前記選択画像に対応する、診断対象の前記鉄道設備の第２動画を復号化する第２動画復号化部と、
復号化された前記第１動画に含まれる第１画像と、復号化された前記第２動画に含まれる第２画像と、の間の動きベクトルを算出し、前記動きベクトルに基づいて、前記鉄道設備の異常を診断する画像比較部と、を備え、
前記画像比較部は、前記動きベクトルの絶対値が所定期間継続して所定値以上である場合、診断対象の前記鉄道設備が異常であると判定する、設備診断システム。

【請求項2】

前記画像比較部は、前記第１画像に関連付けられる前記車両位置と、前記第２画像に関連付けられる前記車両位置と、を対応させるように前記動きベクトルを算出する、請求項１に記載の設備診断システム。

【請求項3】

前記画像比較部は、
前記第１画像および前記第２画像内の所定領域を分割する複数のブロック毎に前記動きベクトルを算出し、
複数の前記ブロック毎の前記絶対値の和が前記所定期間継続して前記所定値以上である場合、診断対象の前記鉄道設備が異常であると判定する、請求項１または請求項２に記載の設備診断システム。

【請求項4】

前記画像比較部は、前記鉄道車両が前記鉄道設備に近づくにつれて大きくなる前記絶対値が前記所定期間継続して前記所定値以上である場合、診断対象の前記鉄道設備が異常であると判定する、請求項１から請求項３のいずれか一項に記載の設備診断システム。

【請求項5】

異常であると判定された前記鉄道設備に対応する前記車両位置を記憶するように診断結果記憶部を制御する結果記憶制御部をさらに備える、請求項１から請求項４のいずれか一項に記載の設備診断システム。

【請求項6】

前記画像選択部は、前記第１車両位置に最も近い位置に関連付けられる前記選択画像を選択する、請求項１から請求項５のいずれか一項に記載の設備診断システム。

【請求項7】

前記画像比較部は、
前記第１車両位置から所定範囲内の位置に関連付けられる複数の抽出画像を前記第２画像から抽出し、
前記第１画像と、複数の前記抽出画像と、の類似度を算出し、
前記第１画像と、前記類似度が最も高い前記抽出画像と、の間の前記動きベクトルを算出する、請求項１から請求項６のいずれか一項に記載の設備診断システム。

【請求項8】

前記類似度は、正規化相互相関である、請求項７に記載の設備診断システム。

【請求項9】

前記符号化部は、前記動画と、前記車両位置、および、前記走行経路上の或る位置を基準として前記鉄道設備の位置を示すキロ程情報と、を関連付け、
前記画像選択部は、前記第１車両位置および前記第１動画に関連付けられる第１キロ程情報に基づいて、前記車両位置および前記キロ程情報と関連付けて前記動画記憶部に予め記憶される符号化された前記動画から、前記選択画像を選択する、請求項１から請求項８のいずれか一項に記載の設備診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明による実施形態は、設備診断システムに関する。

【背景技術】

【0002】

鉄道管理者は、地上に設置してある鉄道設備に異常がある場合、その異常を速やかに知る必要がある。そのために、例えば、鉄道車両において前方に向けて設置されたカメラによって鉄道設備を含む動画を撮影して記憶し、監視員がその動画を見ることで鉄道設備の異常を調べる手法がある。

【0003】

しかし、上述の手法では、監視員が動画を見て鉄道設備の異常を調べるため、手間がかかるという問題がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－２１７９３７号公報

【文献】特開平３－２５０１０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

鉄道設備の異常をより効率的に検知することができる設備診断システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本実施形態による設備診断システムは、撮像部と、位置計測部と、符号化部と、第１動画復号化部と、画像選択部と、第２動画復号化部と、画像比較部と、を備える。撮像部は、鉄道車両に設けられ、鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する。位置計測部は、走行中の鉄道車両の車両位置を計測する。符号化部は、撮像部が撮像した動画と車両位置とを関連付けるとともに、動画を符号化する。第１動画復号化部は、符号化された動画のうち、診断対象の鉄道設備の第１動画を復号化する。画像選択部は、第１動画に関連付けられた第１車両位置に基づいて、車両位置と関連付けて動画記憶部に予め記憶される符号化された動画から、診断対象の鉄道設備の選択画像を選択する。第２動画復号化部は、選択画像に対応する、診断対象の鉄道設備の第２動画を復号化する。画像比較部は、復号化された第１動画に含まれる第１画像と、復号化された第２動画に含まれる第２画像と、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態による設備診断システムの構成を示すブロック図。

【図2】第１実施形態による符号化装置の構成を示すブロック図。

【図3】第１実施形態による符号化装置の動作を示すフロー図。

【図4】第１実施形態による地上診断装置の構成を示すブロック図。

【図5】動きベクトルの算出の一例を示す図。

【図6】異常判定の方法の一例を示す図。

【図7】第１実施形態による監視動画読出し部、基準動画読出し部および復号画像判定部の動作を示すフロー図。

【図8】第１実施形態による画像比較部および結果記憶制御部の動作を示すフロー図。

【図9】第２実施形態による監視動画読出し部、基準動画読出し部および復号画像判定部の動作を示すフロー図。

【図10】第３実施形態による符号化装置の構成を示すブロック図。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明に係る実施形態を説明する。本実施形態は、本発明を限定するものではない。図面は模式的または概念的なものであり、各部分の比率などは、必ずしも現実のものと同一とは限らない。明細書と図面において、既出の図面に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0009】

（第１実施形態）
図１は、第１実施形態による設備診断システム１００の構成を示すブロック図である。設備診断システム１００は、鉄道設備の状態を診断する。鉄道設備は、例えば、鉄道標識等である。尚、設備診断システム１００は、鉄道に限られず、例えば、バスや路面電車等の他の車両システムにおける設備を診断してもよい。

【0010】

設備診断システム１００は、鉄道車両ＲＶに搭載された車上診断装置１００ａと、地上診断装置１００ｂと、を備える。

【0011】

鉄道車両ＲＶは、線路Ｒ上を走行する。また、鉄道車両ＲＶは、無線通信等により、地上診断装置１００ｂとの間でデータの送受信をすることができる。

【0012】

車上診断装置１００ａは、カメラ１０と、符号化装置２０と、位置計測装置３０と、記憶装置４０と、通信制御部５０と、を備える。

【0013】

撮像部としてのカメラ１０は、鉄道車両ＲＶに設けられる。カメラ１０は、例えば、鉄道車両ＲＶの進行方向（前方）に向けて設置される。また、カメラ１０は、鉄道車両ＲＶの走行経路（線路Ｒ）に沿って設けられる鉄道設備を撮像する。カメラ１０は、例えば、鉄道車両ＲＶが線路Ｒ上を走行する際に、地上に設置される鉄道設備を含む動画を撮影する。尚、カメラの種別は限定されない。また、カメラ１０は、高解像度で撮影できることが好ましい。また、カメラ１０は、撮影した動画を符号化装置２０に送信する。

【0014】

位置計測部としての位置計測装置３０は、走行中の鉄道車両ＲＶの車両位置（位置情報）を計測する。位置計測装置３０は、例えば、鉄道車両ＲＶの位置情報を計測し、計測した位置情報を符号化装置２０に送信する。位置計測装置３０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）装置である。ＧＮＳＳ装置は、アンテナによって複数の人工衛星から電波を受信して、鉄道車両ＲＶの位置情報を計測する。尚、鉄道車両ＲＶがトンネルに入っているとき等の場合、ＧＮＳＳ装置は人工衛星から電波を受信できない。そこで、位置計測装置３０は、鉄道車両ＲＶの車軸に設けられる速度発電機（タコジェネレータ）の出力に基づいて鉄道車両ＲＶの車両位置（位置情報）を計測する装置を併用してもよい。これにより、トンネル内走行中の位置情報を補間することができる。

【0015】

また、位置計測装置３０は、加速度センサやジャイロセンサを用いて鉄道車両ＲＶの進行方向の加速度を検出し、加速度を二階積分して位置を算出することで鉄道車両ＲＶの車両位置（位置情報）を計測する装置を有し併用してもよく、または、該装置に代用されてもよい。

【0016】

符号化装置２０は、例えば、カメラ１０が撮影した鉄道車両ＲＶの前方映像（監視動画）を画像フレーム単位で符号化することで符号化画像フレームを生成し、更にこの符号化画像フレームに対して位置計測装置３０で計測した位置情報を付加することで監視動画データを生成する。また、符号化装置２０は、後で説明するように、時間情報および天候情報の少なくとも１つをさらに情報として監視動画データに付加してもよい。符号化装置２０は、例えば、位置計測装置３０から時間情報を取得すればよい。符号化装置２０は、例えば、コンピュータ装置である。尚、符号化装置２０の詳細については、図２を参照して、後で説明する。

【0017】

記憶装置４０は、符号化装置２０により符号化された監視動画を含む監視動画データを記憶する。

【0018】

地上診断装置１００ｂは、鉄道設備の正常または異常等の状態を診断する。地上診断装置１００ｂは、例えば、予め保存される基準動画データと、カメラ１０が撮像した監視動画と、を同時に再生しながら比較することで、地上設備を診断する。地上診断装置１００ｂの詳細については、図４を参照して、後で説明する。

【0019】

次に、符号化装置２０の詳細について説明する。

【0020】

図２は、第１実施形態による符号化装置２０の構成を示すブロック図である。

【0021】

符号化装置２０は、位置情報取得部２０２と、監視動画取得部２０３と、符号化部２０１と、動画記憶制御部２０５と、記憶部２０４と、を備える。

【0022】

尚、符号化部２０１、位置情報取得部２０２、監視動画取得部２０３、そして動画記憶制御部２０５のうちの一部または全部は、鉄道車両ＲＶが有するＣＰＵ（Central Processing Unit）等のプロセッサが記憶部２０４に記憶されるソフトウェアを実行することによって実現される。また、符号化部２０１、位置情報取得部２０２、監視動画取得部２０３、そして動画記憶制御部２０５のうちの一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路基板であるハードウェアによって実現されてもよい。

【0023】

位置情報取得部２０２は、位置計測装置３０から、走行している鉄道車両ＲＶの位置情報を取得する。

【0024】

監視動画取得部２０３は、鉄道車両ＲＶの走行時にカメラ１０によって撮影された動画を、監視動画として取得する。

【0025】

符号化部２０１はカメラ１０が撮像した監視動画と、位置情報とを関連付ける。また、符号化部２０１は、監視動画を符号化する。符号化部２０１は、例えば、フレーム間予測や量子化等により、動画を圧縮する。動画圧縮形式は、例えば、Ｈ．２６４やＨ．２６５等である。

【0026】

動画記憶制御部２０５は、監視動画データを記憶装置４０に記憶させる。また、通信制御部５０は、記憶装置４０に記憶されている監視動画データを読み出し、無線通信部５０１を介して車両外に設置された地上診断装置１００ｂに送信する。なお、通信制御部５０は、記憶装置４０から監視動画データを読み出すのではなく、符号化部２０１から、直接、監視動画データを受け取るようにしてもよい。

【0027】

記憶部２０４は、車上診断装置１００ａが有するプロセッサが実行するプログラム等の各種情報を記憶する。記憶部２０４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等により実現される。

【0028】

図３は、第１実施形態による符号化装置２０の動作を示すフロー図である。

【0029】

まず、ステップＳ１１０において、監視動画取得部２０３および位置情報取得部２０２は、それぞれ、カメラ１０から監視動画を取得し、位置計測装置３０から位置情報を取得する。次に、ステップＳ１２０において、符号化部２０１は、監視動画を画像フレーム毎に符号化することで符号化画像フレームを生成する。次に、ステップＳ１３０において、符号化部２０１は、各符号化画像フレームに位置情報を対応付けて監視動画データを生成する。そして、符号化部２０１は、この生成した監視動画データを予め用意したデータフォーマットに格納する。その後、監視動画データは、動画記憶制御部２０５によって記憶装置４０に記憶される。なお、記憶装置４０に保存した監視動画データはメモリカードや外付けＨＤＤ（Hard Disk Drive）等の外部記録媒体に保存され、地上診断装置１００ｂへデータをコピーすることもできる。

【0030】

次に、ステップＳ１４０において、通信制御部５０は、監視動画データを記憶装置４０から読出し、無線通信部５０１から携帯電話網などの無線通信網を介して地上診断装置１００ｂへ送信する。ステップＳ１４０の後、再びステップＳ１１０が実行される。

【0031】

次に、地上診断装置１００ｂの詳細について説明する。

【0032】

図４は、第１実施形態による地上診断装置１００ｂの構成を示すブロック図である。

【0033】

地上診断装置１００ｂは、データ記憶部６０１と、基準動画読出し部６０２と、監視動画読出し部６０３と、復号画像判定部６０４と、監視動画復号化部６０５と、基準動画復号化部６０６と、画像比較部６０７と、結果記憶制御部６０８と、診断結果記憶部６０８ａと、記憶部６０９と、を備える。

【0034】

尚、データ記憶部６０１、基準動画読出し部６０２、監視動画読出し部６０３、復号画像判定部６０４、監視動画復号化部６０５、基準動画復号化部６０６、画像比較部６０７、そして結果記憶制御部６０８のうちの一部または全部は、地上診断装置１００ｂが有するＣＰＵ等のプロセッサが記憶部６０９に記憶されるソフトウェアを実行することによって実現される。また、データ記憶部６０１、基準動画読出し部６０２、監視動画読出し部６０３、復号画像判定部６０４、監視動画復号化部６０５、基準動画復号化部６０６、画像比較部６０７、そして結果記憶制御部６０８のうちの一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等の回路基板であるハードウェアによって実現されてもよい。

【0035】

データ記憶部６０１は、車上診断装置１００ａから受信した監視動画データ、および、予め、鉄道車両ＲＶにおいて前方に向けて設置されたカメラ１０によって撮影された地上に設置してある鉄道設備を含み、走行区間や走行時間が異なる複数の基準動画データを記憶する。

【0036】

監視動画読出し部６０３は、データ記憶部６０１から監視動画データを読み出す。より詳細には、監視動画読出し部６０３は、平常運転時に撮影した、ある走行区間、ある走行時間の監視動画データを読み出す。監視動画読出し部６０３は、読み出した監視動画データから符号化画像フレームに付加されている位置情報を抽出し、この位置情報を含む走行区間の基準動画データをデータ記憶部６０１から読み出して基準動画読出し部６０２に送信する。また、監視動画読出し部６０３は、監視動画データから抽出した位置情報を復号画像判定部６０４に送信する。復号画像判定部６０４は監視動画読出し部６０３から受信した位置情報を基に、基準動画データの再生箇所を決定し、監視動画符号化データと基準動画データの復号地点の位置が等しくなるように調整する。

【0037】

第１動画復号化部としての監視動画復号化部６０５は、監視動画読出し部６０３から受信した監視動画符号化データを復号化する。すなわち、監視動画復号化部６０５は、符号化された監視動画のうち、診断対象の鉄道設備の監視動画を複合化する。また、監視動画復号化部６０５は、復号化した複数の監視画像（画像フレーム）を取得する。また、監視動画復号化部６０５は、監視画像（画像フレーム）を画像比較部６０７に送信する。

【0038】

基準動画読出し部６０２は、データ記憶部６０１から基準動画を読み出す。

【0039】

画像選択部としての復号画像判定部６０４は、監視動画から求めた符号化画像フレームに関連付けられる位置情報（第１位置情報）に基づいて、基準動画データのどの位置から復号化すべきか判定する。これにより、画像比較部６０７による監視動画符号化データを復号化した複数のフレームと基準動画データを復号化した複数のフレーム同士の比較位置が決定される。例えば、復号画像判定部６０４が或る駅を再生の開始位置とすれば、ある駅を基準に監視動画符号化データと基準動画データとはそれぞれ復号化される。画像比較部６０７は、復号化された画像フレーム同士を比較することで、鉄道設備の変化を検出する。すなわち、復号画像判定部６０４は、第１位置情報に基づいて、動画記憶部（データ記憶部６０１）に予め記憶される符号化された基準動画から、診断対象の鉄道設備の選択画像を選択する。選択画像は、画像比較部６０７による比較の基準になる画像である。

【0040】

第２動画復号化部としての基準動画復号化部６０６は、選択画像に対応する、診断対象の鉄道設備の第２動画（基準動画）を復号化する。基準動画復号化部６０６は、例えば、基準動画データを復号化する。また、基準動画復号化部６０６は、復号化した複数の基準画像（画像フレーム）を取得する。また、基準動画復号化部６０６は、基準画像を画像比較部６０７に送信する。

【0041】

画像比較部６０７は、復号化された監視動画に含まれる第１画像フレーム（監視画像）と、復号化された基準動画に含まれる第２画像フレーム（基準画像）と、の間の動きベクトルを算出する。動きベクトルは、基準となるフレームからの動き（変位量）を示す。また、画像比較部６０７は、動きベクトルに基づいて、鉄道設備の異常を診断する。これにより、鉄道設備の異常をより効率的に検知することができる。

【0042】

また、より詳細には、画像比較部６０７は、監視画像に関連付けられる車両位置と、基準画像に関連付けられる車両位置と、を対応させるように動きベクトルを算出する。画像比較部６０７は、例えば、第１画像フレーム（監視動画）および第２画像フレーム（基準動画）を並べるように再生し、画像フレーム同士を比較しながら動きベクトルを算出する。尚、監視動画と基準動画とで、鉄道車両ＲＶの走行速度が必ずしも同じとは限らないことから、画像フレームを適切に比較することができない場合がある。そこで、画像比較部６０７は、それぞれの車両位置が互いに近い位置になるように、再生速度を調整する。これにより、画像フレーム同士をより適切に比較することがきる。尚、画像比較部６０７による鉄道設備の診断の詳細については、図５および図６を参照して、後で説明する。

【0043】

結果記憶制御部６０８は、異常であると判定された鉄道設備に対応する車両位置を診断結果記憶部６０８ａに記憶する。これにより、ユーザは、位置情報を基に、異常と判定された鉄道設備の動画を見ることができる。この結果、ユーザは、鉄道設備の異常を容易に認識し、現場に直行することができる。尚、結果記憶制御部６０８は、画像比較部６０７の診断結果を診断結果記憶部６０８ａに記憶するようにしてもよい。診断結果は、例えば、異常または正常等の情報を含む。また、図４に示す例では、診断結果記憶部６０８ａは、地上診断装置１００ｂ内に設けられるが、地上診断装置１００ｂの外部に設けられていてもよい。

【0044】

記憶部６０９は、地上診断装置１００ｂが有するプロセッサが実行するプログラム等の各種情報を記憶する。記憶部６０９は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等により実現される。

【0045】

次に、動きベクトルによる異常判定の詳細について説明する。

【0046】

図５は、動きベクトルの算出の一例を示す図である。ＲＦ１およびＲＦ２は、鉄道設備を示す。より詳細には、ＲＦ１およびＲＦ２は、標識である。ＲＧは、監視領域を示す。監視領域ＲＧは、予め設定される、画像内で固定された領域である。また、監視領域ＲＧは、画像内において鉄道設備が表示される位置に、予め設定される。Ｂは、ブロックを示す。ブロックＢは、監視領域ＲＧを分割する。また、格子状に配列されたブロックＢは、例えば、８×８画素単位や、１６×１６画素単位等の矩形ブロック（マクロブロック）である。

【0047】

図５の上段には、比較対象である第１画像フレームと第２画像フレームとの組を示す。図５に示す例では、複数の組のうちの或る組が示されている。図５の下段右側は、第１画像フレームと第２画像フレームとを重ね合わせた図を示す。尚、動きベクトルＭＶも示されている。図５の下段左側は、下段右側の図から動きベクトルＭＶを抜き出した図を示す。

【0048】

画像比較部６０７は、例えば、フレーム間予測に用いられるブロックマッチング法により動きベクトルを算出する。画像比較部６０７は、分割されたブロックＢ毎に、第１画像フレームと第２画像フレームとの間で類似するブロックを探索する。画像比較部６０７は、例えば、輝度の誤差が最小となるブロックを探索する。画像比較部６０７は、類似するそれぞれのブロックＢ間の変位を動きベクトルとして算出する。

【0049】

図５に示す例では、第２画像フレーム内の標識ＲＦ１は、正常である。しかし、第１画像フレーム内の標識ＲＦ１は、曲がっている。従って、有限の動きベクトルＭＶが算出される。一方、第１画像フレーム内の標識ＲＦ２は、第２画像フレームからほとんど変化がなく、正常のままである。従って、動きベクトルＭＶは、ほとんどゼロである。

【0050】

画像比較部６０７は、第１画像フレームおよび第２画像フレーム内の監視領域ＲＧを分割する複数のブロックＢ毎に動きベクトルを算出する。監視領域ＲＧは、画像フレーム内に鉄道設備が表示されてから鉄道車両ＲＶが鉄道設備を通り過ぎるまでの間に、画像フレーム内において鉄道設備が表示される領域である。監視領域ＲＧは、予め設定される領域である。ブロックＢは、監視領域ＲＧ内において、複数の画素ごとに設定される領域である。また、画像比較部６０７は、監視領域ＲＧの向きのずれ等を補正してもよい。

【0051】

図５において、画像比較部６０７は、格子状に表示された領域を監視領域ＲＧと定義し、監視領域ＲＧ内の全ブロックＢ（マクロブロック）の動きベクトルを算出する。例えば、監視領域ＲＧに変化がある場合、動きベクトルが発生するが、変化がない場合、動きベクトルは発生しない（または、動きベクトルの絶対値は微小な値となる）。画像フレーム内には、実際に監視したい対象物以外にも背景画像が存在する。しかし、背景画像は、第１画像フレームと第２画像フレームとにほぼ等しく含まれる情報である。従って、画像比較部６０７は、例えば、それらの差分値を閾値に設定し、閾値との比較により監視領域ＲＧ内に変化が発生したか否かを判定する。

【0052】

図６は、異常判定の方法の一例を示す図である。図６に示すグラフは、図５における差分変化量を時系列で示す。差分変化量は、ブロックＢ毎の動きベクトルの絶対値の総和である。グラフの縦軸は、差分変化量を示す。グラフの横軸は、時刻を示す。尚、グラフの横軸は、車両位置や、比較される画像フレームの組の数等であってもよい。Ｌ１は、第１画像フレームと第２画像フレームとの間の差分変化量の一例を示す。Ｌ２は、差分変化量の所定値（閾値）を示す。尚、Ｌ１は時系列データであり、Ｌ２は、時間に依存しない一定値である。

【0053】

図６に示すｔ１では、画像フレーム内に標識ＲＦ１、ＲＦ２がまだ入っていないため、差分変化量Ｌ１は低い。ｔ２では、第１画像フレーム内の標識ＲＦ１が第２画像フレーム内の標識ＲＦ１に対して曲がっているため、差分変化量Ｌ１は上昇する。ｔ３では、鉄道車両ＲＶが標識ＲＦ１、ＲＦ２に近づく。この場合、監視領域ＲＧ中で標識ＲＦ１、ＲＦ２が拡大される。従って、動きベクトルおよび差分変化量がさらに上昇する。ｔ４では、鉄道車両ＲＶが標識ＲＦ１、ＲＦ２を通り過ぎる。監視領域ＲＧ中から標識ＲＦ１、ＲＦ２が出るため、差分変化量Ｌ１が減少する。画像比較部６０７は、この差分変化量Ｌ１と所定値Ｌ２との比較により、標識ＲＦ１、ＲＦ２の異常を診断する。

【0054】

画像比較部６０７は、動きベクトルの絶対値が所定期間継続して所定値Ｌ２以上である場合、診断対象の鉄道設備が異常であると判定する。所定期間の設定により、ノイズや、線路Ｒ付近で動く物体の影響を除外して、異常判定を行うことができる。所定期間は、例えば、１秒である。尚、所定期間は、走行速度や動画のフレームレート等によって変更されてもよい。例えば、所定期間が短すぎる場合、ノイズによって異常と判定されてしまう場合がある。一方、所定期間が長すぎる場合、異常と判定する前に鉄道車両ＲＶが鉄道設備を通り過ぎてしまう場合がある。また、所定値Ｌ２は、背景部分の動きベクトルの絶対値である背景差分量に基づいて設定される。所定値Ｌ２は、例えば、或る値に背景差分量を加算した値である。画像比較部６０７は、監視領域ＲＧ内の鉄道設備以外の背景部分で発生する差分量を算出する。これにより、背景部分の変化と区別して鉄道設備の変化を認識することができる。また、鉄道設備をより適切に診断することができる。尚、所定期間は、比較する画像フレーム同士の組の数でもあってもよい。また、所定期間および所定値Ｌ２は、予め設定される。

【0055】

より詳細には、画像比較部６０７は、複数のブロックＢ毎の絶対値の和が所定期間継続して所定値Ｌ２以上である場合、診断対象の鉄道設備が異常であると判定する。

【0056】

また、より詳細には、画像比較部６０７は、鉄道車両ＲＶが鉄道設備に近づくにつれて大きくなる絶対値が所定期間継続して所定値Ｌ２以上である場合、診断対象の鉄道設備が異常であると判定する。

【0057】

図７は、第１実施形態による監視動画読出し部６０３、基準動画読出し部６０２および復号画像判定部６０４の動作を示すフロー図である。

【0058】

まず、ステップＳ２１０において、監視動画読出し部６０３は、監視動画データを読み出す。次に、ステップＳ２２０において、監視動画読出し部６０３は、監視動画データを構成する符号化画像フレーム（第１符号化画像フレーム）個々の位置情報を復号画像判定部６０４に送信する。次に、ステップＳ２３０において、監視動画読出し部６０３は、基準動画データを読み出す。次に、ステップＳ２４０において、復号画像判定部６０４は、第１符号化画像フレームに対応する位置情報に最も近い位置（一致する位置）に対応する符号化画像フレーム（第２符号化画像フレーム）を基準動画データから選択する。選択した符号化画像フレームは、選択画像に対応する。選択した第２符号化画像フレームを復号化して得た第２画像フレームが、復号化して得られる第１画像フレームと比較される画像となる。

【0059】

図８は、第１実施形態による画像比較部６０７および結果記憶制御部６０８の動作を示すフロー図である。

【0060】

まず、ステップＳ３１０において、画像比較部６０７は、第１符号化画像フレームを復号化した任意の第１画像フレームと、復号画像判定部６０４で選択した第２符号化画像フレームを復号化して得た第２画像フレームを用いて、予め設定した監視領域ＲＧ内の全ブロックＢ（マクロブロック）に対する動きベクトル量を算出する。次に、ステップＳ３２０において、画像比較部６０７は、算出した動きベクトルの監視領域ＲＧ全体の絶対値を算出し、差分変化量と定義する。

【0061】

次に、ステップＳ３３０において、画像比較部６０７は、所定期間、監視領域ＲＧ内の差分変化量が閾値（所定値Ｌ２）を超えた否かを判定する。差分変化量が所定期間継続して設定した閾値（所定値Ｌ２）を超える場合（Ｓ３３０のＹＥＳ）、画像比較部６０７は監視領域ＲＧ内に存在する鉄道設備に異常が発生したと判定する。その後、ステップＳ３４０が実行される。一方、差分変化量が所定期間継続して設定された閾値（所定値Ｌ２）を超えない場合（Ｓ３３０のＮＯ）、ステップＳ３１０が再び実行される。ステップＳ３４０において、結果記憶制御部６０８は、異常が発生したと判定した第１画像フレームの位置情報を診断結果記憶部６０８ａに保存する。尚、ステップＳ３３０において、画像比較部６０７は、比較される画像フレームの組の数が所定回数連続して、差分変化量が所定値Ｌ２以上であるか否かを判定してもよい。

【0062】

以上のように、第１実施形態によれば、復号画像判定部６０４は、第１符号化画像データに対応付けられた位置情報に基づいて、データ記憶部６０１に予め記憶される符号化された基準動画データから、第２符号化画像フレームを選択する。また、画像比較部６０７は、復号化された第１画像フレームに含まれる監視領域ＲＧと、復号化された第２画像フレームに含まれる監視領域ＲＧと、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。これにより、鉄道設備の異常をより効率的に検知することができる。

【0063】

また、符号化部２０１は、カメラ１０が撮像した監視動画と位置情報とを関連付けるとともに、監視動画を構成する画像フレーム毎に符号化する。

【0064】

尚、地上診断装置１００ｂは、鉄道車両ＲＶ外に限られず、車上診断装置１００ａ内に設けられてもよい。この場合、車上診断装置１００ａは、リアルタイムに鉄道設備の診断を行うことが可能となる。

【0065】

また、画像比較部６０７の診断結果、および、異常であると判定された鉄道設備の位置情報の少なくとも１つを表示するように表示部を制御する表示制御部をさらに備えていてもよい。これにより、ユーザは、保守作業等を実行するよう現場に人員を送ることができる。

【0066】

また、位置情報だけでなく、時間情報や環境情報も、第１符号化画像フレームや第２符号化画像フレームに関連付けられてもよい。時間情報は、例えば、１日のうちの時刻を示す情報である。時間情報は、第１画像フレームと第２画像フレームを比較する際の補助情報として用いられる。例えば 、監視動画が日中の動画で、基準動画が夜の動画であれば、撮影対象物が同一でも輝度の違いが大きいが、時間情報を用いることで監視動画と時間帯の近い基準動画を選択することができるため、両動画の撮影時間帯の違いを把握し除外することで、対応することができる。また、環境情報は、例えば、撮影時の天候（晴れ、曇り、雨、雪等）等の情報を含む。図２に示すように、例えば、位置計測装置３０は時間情報を計測する。一方、環境情報は、無線通信部５０１を介して外部から入手すればよい。位置情報取得部２０２は時間情報や環境情報を取得する。また、符号化部２０１は、例えば、位置情報、時間情報および環境情報を第１符号化フレームに関連付ける。また、基準動画データには、時間、天候といった環境条件の異なる複数の動画データが含まれている。

【0067】

また、画像比較部６０７は、監視動画と基準動画が同じ時間帯で撮影された動画である場合、動画同士の輝度変化を、動きベクトルと組み合わせて鉄道設備の異常を診断してもよい。具体的には、鉄道設備の存在する領域の輝度差を算出する。第１画像フレームと第２画像フレームが同一時刻に撮影された画像フレームの場合、天候等の違いがあっても輝度差が十分に小さい。従って、輝度差が大きい場合、監視動画において鉄道設備の一部または全部が無くなった場合や、鉄道設備に異物が付着した場合、鉄道設備に樹木が接近した場合等を検知でき、さらに動きベクトル量の変化量を用いれば、より適切に異常を検知することができる。

【0068】

（第２実施形態）
図９は、第２実施形態による監視動画読出し部６０３、基準動画読出し部６０２、復号画像判定部６０４および画像比較部６０７の動作を示すフロー図である。第２実施形態は、画像比較の際に、パターンマッチングによって類似度のより高い画像同士の比較が行われる点で、第１実施形態と異なる。

【0069】

復号画像判定部６０４は、監視動画符号化データから得られる鉄道車両ＲＶの車両位置（位置情報）を基に、基準動画の復号化位置を決定する。画像比較部６０７は、例えば、位置情報の前後の位置において、５枚の第２復号化画像フレームを抽出する。すなわち、画像比較部６０７は、第１車両位置から所定範囲内の位置に関連付けられる複数の抽出画像を第２複合化画像フレームから抽出する。また、画像比較部６０７は、監視動画データ中の或る第１復号化画像フレームと複数の第２復号化画像フレーム（抽出画像）とを用いて類似度を算出する。また、画像比較部６０７は、或る第１復号化画像フレームと類似度が最も高い抽出画像を選択する。すなわち、画像比較部６０７は、画像同士のパターンマッチングにより、或る第１復号化画像フレームと似ている抽出画像を選択する。また、画像比較部６０７は、或る第１復号化画像フレームと選択した抽出画像との間の動きベクトルを算出する。尚、画像比較部６０７は、監視領域ＲＧ内に限られず、画像全体で類似度を算出する。従って、例えば、画像内の特徴的な建物等により、パターンマッチングを行うことができる。また、より詳細には、類似度は、正規化相互相関（ＮＣＣ（Normalized Cross Correlation））である。正規化相互相関は、－１．０から１．０の値で示され、１．０が最も類似していることを示す。類似度が高い第１復号化画像フレームと第２復号化画像フレームに対して、動きベクトルによる設備診断をすることでより判定精度を高めることができる。

【0070】

第２実施形態による設備診断システム１００のその他の構成は、第１実施形態による設備診断システム１００の対応する構成と同様であるため、その詳細な説明を省略する。

【0071】

図９に示すフロー図において、ステップＳ２１０～Ｓ２３０は、図７と同様である。

【0072】

ステップＳ２３０の後、ステップＳ２４１において、復号画像判定部６０４は、監視動画符号化データの撮影開始位置に最も近い、基準動画の復号化位置を決定する。次に、監視動画復号化部６０５は、監視動画の復号化を行い、第１復号化画像フレームを生成する。同じタイミングで、基準動画復号化部６０６は、基準動画の復号化を行い、第２復号化画像フレームを生成する。第１復号化画像フレーム、第２復号化画像フレームは画像比較部６０７に送信される。ステップＳ２５１において、画像比較部６０７は或る第１復号化画像フレームに対して複数の第２復号化画像フレームを選択し、選択した画像との類似度を判定し、最も類似する画像を選択する。

【0073】

第１実施形態において説明したように、画像比較部６０７は、再生速度を調整しながら動きベクトルを算出する。しかし、再生速度調整が行われても、画像フレームが合わない場合がある。これは、例えば、第１実施形態において説明した基準動画と監視動画との間の計測される車両位置の違いや、カメラ１０と位置計測装置３０との間のサンプリングレートの違いのためである。サンプリングレートの違いに関して、例えば、カメラ１０は１秒間に３０枚の画像フレームを取得し、位置計測装置３０は１秒間に１５データを取得する。この場合、２枚の画像フレームに同じ位置情報が関連付けられてしまう。従って、実際とは異なる位置情報が画像フレームに関連付けられてしまう。監視動画および基準動画の両方の鉄道車両ＲＶの走行速度が高いほど、計測される車両位置の間隔が大きくなるため、上記のサンプリングレートの違いや計測される車両位置の違いの影響がさらに大きくなってしまう。

【0074】

第２実施形態では、複数の画像から類似度が最大の画像を選択することにより、監視動画と基準動画とのマッチングの精度を向上させることができる。この結果、鉄道設備の異常診断の精度を向上させることができる。また、画像比較部６０７は、正規化相互相関を算出する際に、動画をベクトルとして計算する。これにより、類似判定において環境の輝度による誤差（影響）を受けづらくすることができる。

【0075】

第２実施形態による設備診断システム１００は、第１実施形態と同様の効果を得ることができる。

【0076】

（第３実施形態）
図１０は、第３実施形態による符号化装置２０の構成を示すブロック図である。第３実施形態は、鉄道設備の位置を把握するためにキロ程情報が用いられる点で、第１実施形態と異なる。

【0077】

符号化装置２０は、キロ程情報記憶部２０６をさらに備える。

【0078】

キロ程情報記憶部２０６は、予め各鉄道設備のキロ程情報を記憶する。キロ程情報は、鉄道管理者が所有する情報であり、走行経路（線路Ｒ）上の或る位置を基準として鉄道設備の位置を示す。或る位置は、例えば、駅等である。この場合、キロ程情報は、或る駅からの或る鉄道設備の距離を示す。

【0079】

符号化部２０１は、動画と、車両位置およびキロ程情報と、を関連付ける。

【0080】

復号画像判定部６０４は、第１車両位置および監視動画に関連付けられる第１キロ程情報に基づいて、車両位置およびキロ程情報と関連付けてデータ記憶部６０１に予め記憶される符号化された動画から、選択画像を選択する。

【0081】

第３実施形態による設備診断システム１００のその他の構成は、第１実施形態による設備診断システム１００の対応する構成と同様であるため、その詳細な説明を省略する。

【0082】

位置情報に加えてキロ程情報を用いることにより、鉄道設備の位置把握の精度を向上させることができる。これにより、基準動画から選択画像をより適切に選択することができる。また、画像比較部６０７による動画再生における再生位置の頭出しをより容易にすることができる。

【0083】

また、結果記憶制御部６０８は、異常であると判定された鉄道設備に対応するキロ程情報を記憶するように診断結果記憶部６０８ａを制御してもよい。これにより、異常のある鉄道設備の確認をより容易に行うことができる。

【0084】

また、空転によって車両位置とキロ程とがずれることを用いて、空転検知を行うこともできる。

【0085】

第３実施形態による設備診断システム１００は、第１実施形態と同様の効果を得ることができる。また、第３実施形態による設備診断システム１００に第２実施形態を組み合わせてもよい。

【0086】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0087】

１００ 設備診断システム、１００ａ 車上診断装置、１００ｂ 地上診断装置、ＲＶ 鉄道車両、Ｒ 線路、１０ カメラ、２０ 符号化装置、３０ 位置計測装置、４０ 記憶装置、５０ 通信制御部、２０１ 符号化部、６０１ データ記憶部、６０４ 復号画像判定部、６０５ 監視動画復号化部、６０６ 基準動画復号化部、６０７ 画像比較部、６０８ 結果記憶制御部、Ｂ ブロック、ＲＧ 監視領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】