(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126526
(43)【公開日】2024-09-20
(54)【発明の名称】状態判定装置及び状態判定方法
(51)【国際特許分類】
G06V 10/82 20220101AFI20240912BHJP
G06T 7/00 20170101ALI20240912BHJP
G06V 10/764 20220101ALI20240912BHJP
G06V 10/22 20220101ALI20240912BHJP
B61L 25/06 20060101ALI20240912BHJP
B61L 23/00 20060101ALI20240912BHJP
H04N 7/18 20060101ALI20240912BHJP
【FI】
G06V10/82
G06T7/00 350C
G06V10/764
G06V10/22
B61L25/06 Z
B61L23/00 Z
H04N7/18 D
H04N7/18 K
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023034935
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】喜多村 章悟
(72)【発明者】
【氏名】廣木 桂一
【テーマコード(参考)】
5C054
5H161
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054EA05
5C054FC12
5C054HA26
5H161AA01
5H161MM01
5H161MM12
5H161NN10
5L096CA02
5L096DA03
5L096EA35
5L096FA64
5L096FA69
5L096GA51
5L096HA07
5L096HA11
5L096KA04
(57)【要約】
【課題】対象物の撮影画像を用い、対象物に生じている異常を検知するとともに、異常と影等の誤検知要因を識別可能な状態判定装置及び方法の提供を目的とする。
【解決手段】移動体に搭載され、走行空間の撮影画像を取得するカメラと、前記撮影画像において状態判定の対象物を含む小領域の対象画像を抽出する対象画像抽出部と、前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する判定部と、を具備することを特徴とする状態判定装置を用いる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体に搭載され、走行空間の撮影画像を取得するカメラと、
前記撮影画像において状態判定の対象物を含む小領域の対象画像を抽出する対象画像抽出部と、
前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する判定部と、
を具備することを特徴とする状態判定装置。
【請求項2】
請求項1に記載の状態判定装置であって、
前記判定部は、1又は複数の誤検知要因について判定を行い、いずれかの誤検知要因が有るとの誤検知要因判定結果を得た場合には、対象物に異常が有るとの状態判定結果の出力を抑制すること
を特徴とする状態判定装置。
【請求項3】
請求項1に記載の状態判定装置であって、
前記誤検知要因が影である場合であり、
前記判定部は、
前記対象画像が入力され、画像処理によって前記対象物の正常状態からの逸脱度を示す異常スコアを算出する異常スコア算出部と、
前記対象画像が入力され、画像処理によって前記対象物に生じる影の程度を示す影スコアを算出する影スコア算出部と、
前記影スコアが所定の影スコア閾値より大きい場合に影有とする影判定結果を出力すると共に、前記異常スコアが所定の異常スコア閾値より大きく前記影判定結果が影有でない場合に異常とする状態判定結果を出力する統合判定部と、を具備すること
を特徴とする状態判定装置。
【請求項4】
請求項1に記載の状態判定装置であって、
前記誤検知要因が影である場合であり、
前記移動体の現在の位置情報を取得する位置情報取得部をさらに具備し、
前記判定部は、
前記位置情報と前記異常スコア算出部が出力する異常スコアを関連付けて異常スコア記録部に記録させると共に、前記位置情報に基づいて当該対象物に関する過去の所定の第一の期間の異常スコア履歴を前記異常スコア記録部から取得し、
前記判定部は、
前記異常スコア履歴が所定の第二の期間に渡ってオフセット成分を有する場合に異常とする状態判定結果を出力すると共に、現在の異常スコアから前記オフセット成分を引いた差分が所定の閾値を上回る場合に影有とする影判定結果を出力する異常スコア履歴解析部をさらに具備すること
を特徴とする状態判定装置。
【請求項5】
請求項3乃至4に記載の状態判定装置であって、
前記影スコアを算出する画像処理の学習を目的として、前記影判定結果を用い、前記対象画像に教師情報を付与する学習データ生成部と、
前記学習データを記録する学習データ記録部と、を具備すること
を特徴とする状態判定装置。
【請求項6】
請求項1に記載の状態判定装置であって、
前記移動体の現在の位置情報を取得する位置情報取得部と、
対象物の設置状態を判定する設置状態判定部と、
をさらに具備し、
前記対象画像抽出部は、撮影画像から対象物を含む小領域の対象画像を抽出する際、対象画像と併せて、対象画像の抽出成否情報及び抽出した場合は撮影画像中の抽出した座標情報とを含む抽出情報を出力し、
前記設置状態判定部は、対象物の設置位置及び/又は高さを含む設置状態に関する情報をデータベースとして備え、位置情報取得部が出力した位置情報と前記データベースに基づいて撮影画像における対象物の出現領域を算出し、前記出現領域と前記抽出情報とを比較して、撮影画像の出現領域内から対象物を抽出した場合に正常、対象物が出現するはずにも関わらず撮影画像から対象画像を抽出できないあるいは抽出した座標情報が出現領域から離れている場合に異常、とする設置状態判定結果を出力すること
を特徴とする状態判定装置。
【請求項7】
移動体は鉄道車両であることを特徴とする、請求項1に記載の状態判定装置。
【請求項8】
状態判定の対象物は標識あるいは信号機であることを特徴とする、請求項1に記載の状態判定装置。
【請求項9】
状態判定装置が、
移動体の走行空間の映像フレームを取得する映像フレーム取得ステップと、
前記映像フレームにおいて状態判定の対象物を含む小領域の対象画像を抽出する対象画像抽出ステップと、
前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する判定ステップと、
を具備することを特徴とする状態判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、状態判定装置及び状態判定方法に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特開2021-124751(特許文献1)がある。該公報には、「撮像部は、鉄道車両に設けられ、鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する。~中略~ 撮像部が撮像した動画と車両位置とを関連付けるとともに、動画を符号化する。~中略~ 復号化された第1動画に含まれる第1画像と、復号化された第2動画に含まれる第2画像と、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
状態判定装置及び状態判定方法の主な用途として、例えば、鉄道の運転支援や無人運転の実現に向け、沿線設備の状態判定(正常/異常)を自動で行うことを目的とした、沿線設備点検システムがある。沿線設備点検システムは、鉄道車両にカメラを搭載し、移動体内もしくは移動体外における解析装置を用いて、撮影画像から状態判定を行う手法が有用である。
【0005】
前記特許文献1は、「撮像部は、鉄道車両に設けられ、鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する。~中略~ 撮像部が撮像した動画と車両位置とを関連付けるとともに、動画を符号化する。~中略~ 復号化された第1動画に含まれる第1画像と、復号化された第2動画に含まれる第2画像と、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。」と記載されている。しかしながら、設備表面の汚れといった、動きベクトルに表れない異常の検知は困難であり、改善の余地がある。特に、設備表面に生じた影等と異常とをいかに識別するかは重要な点の一つである。例えば、設備表面に生じた影と汚れとを識別できず、影を異常と判定すると、不要な保守作業が発生してしまう。また、不要なアラートが頻発すると、アラートに対する信頼の低下を引き起こす。
本発明は、対象物の撮影画像を用い、対象物に生じている異常を検知するとともに、異常と影等の誤検知要因を識別可能な状態判定装置及び状態判定方法の提供を目的とする。
【課題を解決するための手段】
【0006】
上記目的を解決するために、代表的な本発明の状態判定装置の一つは、移動体に搭載され、走行空間の撮影画像を取得するカメラと、前記撮影画像において状態判定の対象物を含む小領域の対象画像を抽出する対象画像抽出部と、前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する判定部と、を具備することを特徴とする。
また、代表的な本発明の状態判定方法の一つは、状態判定装置が、移動体の走行空間の映像フレームを取得する映像フレーム取得ステップと、前記映像フレームにおいて状態判定の対象物を含む小領域の対象画像を抽出する対象画像抽出ステップと、前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する判定ステップと、を具備することを特徴とする。
【発明の効果】
【0007】
本発明によれば、本発明によれば、対象物の撮影画像を用い、対象物に生じている異常を検知するとともに、異常と影等の誤検知要因を識別することが可能な状態判定装置及び方法を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の第1の実施形態の沿線設備点検システムの全体構成を説明する図である。
【
図2A】鉄道車両の前方の撮影画像の一例を示す模式図である。
【
図2C】鉄道車両の前方の撮影画像の一例を示す模式図である。
【
図3】本発明の第1の実施形態の沿線設備点検システムにおける判定部の内部構成を説明する図である。
【
図4】本発明の第1の実施形態の沿線設備点検システムにおける統合判定部の内部動作の一例を示す表である。
【
図5】本発明の第1の実施形態の沿線設備点検システムにおける内部処理の一例を説明するフローチャートである。
【
図6】本発明の第1の実施形態の沿線設備点検システムにおける判定ステップの内部処理の一例を説明するフローチャートである。
【
図7】本発明の第2の実施形態の沿線設備点検システムの全体構成を説明する図である。
【
図8】本発明の第2の実施形態の沿線設備点検システムにおける判定部の内部構成を説明する図である。
【
図9A】対象物の状態が正常である場合の異常スコア履歴の一例を示す模式図である。
【
図9B】対象物の状態が異常である場合の異常スコア履歴の一例を示す模式図である。
【
図10】本発明の第3の実施形態の沿線設備点検システムの全体構成を説明する図である。
【
図11】本発明の第4の実施形態の沿線設備点検システムの全体構成を説明する図である。
【
図12A】鉄道車両の前方の撮影画像の一例を示す模式図である。
【
図12B】鉄道車両の前方の撮影画像の一例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態の例を、図面を用いて説明する。
【実施例0010】
本実施例では、本発明の状態判定装置及び方法の主な用途である沿線設備点検システムについて説明する。沿線設備点検システムは、鉄道車両の前方の撮影映像を用いて、沿線設備に異常が生じているか否かを判定し、設備管理や補修計画に役立てることを目的とする。
【0011】
図1は本発明の一実施例である沿線設備点検システムの全体構成を説明する図である。本実施例は、対象物の撮影画像を用い、対象物に生じている異常を検知するとともに、異常と影等の誤検知要因を識別可能な沿線設備点検システムを提供することを目的とする。
【0012】
[システム構成]
本発明の一実施例である沿線設備点検システムの構成と動作について説明する。本実施例の沿線設備点検システムは
図1に示す通り、カメラ1、対象画像抽出部2、判定部3から構成されている。
沿線設備点検システムの動作ついて、
図1を用いて説明する。カメラ1は、移動体である鉄道車両に搭載され、鉄道車両の前方を主とした走行空間の撮影画像を取得する。対象画像抽出部2は、対象物にフォーカスして点検を行うために、撮影画像から対象物を含む小領域の対象画像を抽出する。判定部3は、前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する。
【0013】
沿線設備点検システムの対象物は、例えば、標識、信号機、地上子などである。検知対象の異常は、例えば、汚れ、欠損、錆、塗装剥がれ、草木による隠れなどである。
前記カメラ1の搭載位置は、例えば鉄道車両の運転台付近の車内、車外、さらには屋根上等に搭載することで、鉄道車両の前方全体を撮影し、広範の設備を対象物とすることが可能である。あるいは、車両側面に搭載することで、対象物により近い位置から精細に撮影することが可能となる。あるいは、鉄道車両の前方に限らず、後方を撮影するカメラを搭載することで、対向線路の沿線設備を対象物とすることが可能である。
【0014】
前記カメラ1は、使用するレンズを望遠にしたり、高解像度のイメージセンサを使用したりすることで、遠距離にある対象物を点検することが可能である。特に、鉄道車両の運転中に本システムを動作させており、運転に支障し得る異常を早期に検知したい場合、遠距離から対象物を点検できることが望ましい。
【0015】
前記対象画像抽出部2は、例えば対象物が速度標識のように所定の文字を有する場合、Optical Character Recognition(OCR)を用いて文字を認識することで、対象画像を抽出しても良い。あるいは、Deep Neural Network(DNN)をはじめとする画像処理技術を用いて、撮影画像から対象物の位置及び大きさの情報を出力したり、セマンティックセグメンテーションによって対象物が存在する画素を検出したりすることで、対象画像を抽出しても良い。
【0016】
誤検知要因は、例えば、撮影時刻が昼間であれば、太陽光と周囲の構造物に起因する影、太陽光の反射、雨、雪などがあり、撮影時刻が夜間であれば、沿線を走る自動車のヘッドライトと周囲の構造物に起因する影、前記ヘッドライトの反射などがある。以降は、太陽光と周囲の構造物に起因する影を誤検知要因として記載するが、本発明は同様の構成及び方法で他の誤検知要因に対しても適用可能である。
【0017】
図2Aは、鉄道車両の前方の撮影画像の一例である。カメラ1が取得した撮影画像F201には、標識F202が写っている。標識F202には、汚れF203が生じている。対象画像抽出部2は、撮影画像F201から標識F202を検出し、
図2Bに示す対象画像F204を出力する。判定部3は、前記対象画像F204から汚れF203を検知し、異常有りとする状態判定結果を出力する。
【0018】
図2Cは、鉄道車両の前方の撮影画像の一例である。標識F202には、付近の電線に起因する影F205が生じている。影F205の存在は対象物にとって異常ではないが、異常の誤検知要因となり得る。そこで判定部3は、
図2Dに示す対象画像F204から影F205を異常と判断し得る場合も、別途の処理によって影の存在を認め、これらの結果から統合判断して状態判定結果は正常として出力する。
【0019】
図3は、判定部3の内部構成の一例を示す図である。判定部3は、異常スコア算出部301、影スコア算出部302、統合判定部303から構成されている。
異常スコア算出部301は、画像処理によって対象物の正常状態からの逸脱度を示す異常スコアを算出する。影スコア算出部302は、画像処理によって対象物に生じる影の程度を示す影スコアを算出する。統合判定部303は、前記異常スコアと前記影スコアを用い、影に起因する異常スコアの上昇を考慮した上で、状態判定結果及び影判定結果を出力する。
【0020】
異常スコア算出部301を設けない場合は、例えば、対象物の抽出の信頼度が低い場合は異常が生じていると見なし、前記対象画像抽出部2におけるDNNの信頼度の逆数を異常スコアとしても良い。
異常スコア算出部301を設ける場合、異常スコア算出部301が用いる画像処理は、一般に異常な画像の大量収集が困難なことから、正常な画像のみを学習に用い、正常状態からの逸脱度を異常スコアとして出力可能なDNNを用いる手法が考えられる。例えば、正常な画像の再構成を学習させたAutoencoder(AE)やGenerative Adversarial Network(GAN)を用い、再構成誤差に基づき異常スコアを出力しても良い。しかしながら、これらの手法においては、対象物の設置場所、周囲の構造物、撮影時間等の条件が合致した際に生じる影を異常と誤検知する可能性がある。
影スコア算出部302は、例えば入力画像が影有りか影無しかの二値識別を行うDNNを用い、影有りらしさの信頼度を影スコアとしても良い。
【0021】
図4は、統合判定部303の内部動作の一例を示す表である。異常スコアは、所定の異常スコア閾値との大小に基づき、2カテゴリーに分類する。同様にして、影スコアは、所定の影スコア閾値との大小に基づき、2カテゴリーに分類する。したがって、異常スコアと影スコアの出力は、2×2=4パターンに分類される。このうち、異常スコアと影スコアのいずれも大きいパターンは、異常スコアの上昇は影に起因していると判断し、対象物の状態は正常とする。一方で、異常スコアは大きいものの影スコアは小さいパターンは、異常スコアの上昇は影ではなく真の異常要因に起因していると判断し、対象物の状態は異常とする。異常スコアが小さいパターンは、対象物の状態は正常とする。統合判定部303は、これらの状態パターンを状態判定結果として出力する。また、影スコアの分類結果を影判定結果として出力する。
【0022】
図4に示す統合判定部303の内部動作の一例は、本システムを運転支援目的で使用するか保守支援目的で使用するかによって、内部動作を適宜調整しても良い。例えば、運転支援においては、通常運転への支障を減らすべく、多少の未検知は許容しつつ、誤検知の低減を優先するものとする。一方で保守支援においては、補修すべき異常の見逃しは望ましくないため、多少の誤検知は許容しつつ、未検知の低減を優先するものとする。これらの場合、運転支援と比べて保守支援においては異常スコア閾値を低めに設定する。さらには影スコア閾値を高めに設定するまたは無効化することにより、前述の傾向となるように調整することが可能である。
【0023】
都心部、平野部、山間部等、地形や周囲の構造物の条件によっては、影の生じ方に差異が生じ得る。具体的には、ほぼ常時影が発生する場合や、反対に影がほぼ生じない場合も想定される。このような条件に合わせ、影スコア閾値は適宜調整しても良い。
図4に示す統合判定部303の内部動作の一例は、異常スコアと影スコアの出力を2×2=4パターンに分類しているが、パターン数はこれに限定することはなく、例えば3×3=9パターンの分類を用いても良い。
図4では、統合判定部303において状態判定結果及び影判定結果はいずれも二値の形式で出力する例について説明したが、これらは連続値の形式で出力しても良い。例えば、異常スコアに影スコアの逆数を乗算することで、正常状態からの逸脱が大きいかつ影の程度が小さいほど高くなるように異常スコアを補正し、これを状態判定結果として出力しても良い。また、連続値の影スコアを影判定結果として出力しても良い。
影以外の要因(太陽光の反射、雨、雪等)については、要因別にDNNを設けてもよい。この場合、いずれかの要因が該当すれば、異常スコアが高くても正常と判定する。また、複数要因を統合したDNNを設けてもよい。
【0024】
[動作シーケンス]
本実施例の処理フローの一例を
図5に示す。起動後、処理ループ内に移行し、システム動作継続確認ステップS1では処理ループ内において本実施例の沿線設備点検システムの動作終了命令の有無を監視する。動作を継続する場合は、映像フレーム取得ステップS2において、カメラが撮影した映像フレームを取得する。そして、対象画像抽出ステップS3では、対象物にフォーカスして点検を行うために、映像フレームから対象物を含む小領域の対象画像を抽出する。そして、判定ステップS4では、前記対象画像に対して画像処理を行い、対象物の異常の有無を示す状態判定結果と誤検知要因の有無を示す誤検知要因判定結果を出力する。
【0025】
図6は判定ステップS4の内部処理を示す処理フローの一例である。異常スコア算出ステップS401では、画像処理によって対象物の正常状態からの逸脱度を示す異常スコアを算出する。そして、影スコア算出ステップS402では、画像処理によって対象物に生じる影の程度を示す影スコアを算出する。そして、影スコア比較ステップS403では、前記影スコアと所定の影スコア閾値とを比較し、影スコアが影スコア閾値を上回る場合、影判定結果(影有り)設定ステップS404において影判定結果の値を影有りにする。反対に、影スコアが影スコア閾値以下の場合、影判定結果(影無し)設定ステップS405において影判定結果の値を影無しにする。そして、異常スコア比較ステップS406では、前記異常スコアと所定の異常スコア閾値とを比較し、異常スコアが異常スコア閾値を上回る場合、影判定結果確認ステップS407において影判定結果を確認する。影判定結果が影無しの場合、異常スコアの上昇は影ではなく真の異常要因に起因していると判断し、状態判定結果(異常)設定ステップS408において状態判定結果の値を異常とする。異常スコア比較ステップS406において異常スコアが異常スコア閾値以下の場合、対象物の状態は正常と見なし、状態判定結果(正常)設定ステップS409において状態判定結果の値を正常とする。あるいは、影判定結果確認ステップS407において影判定結果が影有りの場合、異常スコアの上昇は影に起因していると判断し、対象物の状態は正常として、同じく状態判定結果(正常)設定ステップS409において状態判定結果の値を正常とする。
【0026】
以上説明したように、本発明では対象物の撮影画像を用い、対象物に生じている異常を検知するとともに、異常と影等の誤検知要因を識別可能な沿線設備点検システムを実現可能である。
異常スコア履歴解析部304は、異常スコア記録部5が出力した異常スコア履歴を解析する。具体的には、前記異常スコア履歴が所定の第二の期間に渡ってオフセット成分を有する場合に異常とする状態判定結果を出力すると共に、現在の異常スコアから前記オフセット成分を引いた差分が所定の閾値を上回る場合に誤検知要因有りとする誤検知要因判定結果を出力する。
言い換えると、本実施例で用いるカメラ1は移動カメラであるものの、あたかも対象物を固定カメラで定点観測するかのように、影等の誤検知要因と真の異常を識別し、対象物の状態を判定することが可能である。
本実施例の構成では、所定の期間の異常スコア履歴を用いて状態判定を行うため、異常発生時の即時検知は困難である。一方で、例えば異常スコアが太陽運動の周期性等から予測可能な場合、現在の時刻で生じ得る影等の誤検知要因に起因する異常スコアを予測し、現在の時刻の異常スコアと前記予測した異常スコアとの差分を計算することで、異常発生時の即時検知が可能である。前記予測は、天気や季節などに応じて予測値を補正することで、より高精度に行うことが可能である。
本実施例の構成では、所定の期間の異常スコア履歴を用いて状態判定を行うため、時間軸において高頻度に満遍なく異常スコアを蓄積することが望ましい。そのためには、異常スコア記録部5は複数の移動体間で共有する構成とし、複数の移動体で取得した異常スコアを統合利用することが有用である。
以上説明したように、本発明では対象物に関する同一視点の撮影画像から求めた異常スコアを蓄積し、蓄積した異常スコア履歴を解析することで、異常と影等の誤検知要因を識別可能な沿線設備点検システムを実現可能である。
ここでは、影を誤検知要因として識別する場合を例示したが、例えば雨や雪を誤検知要因として識別する場合にも適用できる。雨や雪に起因する異常スコアの上昇は、時間経過により雨や雪がやむことで解消する。したがって、時間経過により一時的な異常スコアの上昇が解消してもオフセットがあれば、このオフセット分が異常を示していると判定可能である。