特開 2024-244 列車屋根上診断システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000244

(43)【公開日】2024-01-05

(54)【発明の名称】列車屋根上診断システム

(51)【国際特許分類】

   G01M 17/08 20060101AFI20231225BHJP

   B61D 17/12 20060101ALI20231225BHJP

【ＦＩ】

G01M17/08

B61D17/12

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022098922

(22)【出願日】2022-06-20

(71)【出願人】

【識別番号】000196587

【氏名又は名称】西日本旅客鉄道株式会社

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】松田 篤史

(72)【発明者】

【氏名】兒玉 庸平

(72)【発明者】

【氏名】田中 浩平

(57)【要約】

【課題】鉄道車両の屋根上の状態を診断する列車屋根上診断システムを提供する。
【解決手段】列車屋根上診断システム１は、鉄道車両２の車体２Ａの屋根上３を撮像した撮像画像Ｇを取得する撮像画像取得部１１と、屋根上３に存在しえない異常物体を予め撮像した物体参照画像ＯＧと鉄道車両２の走行状態において異常でない状態の屋根上３を予め撮像した屋根上参照画像ＥＧとが記憶されている参照画像記憶部１２と、物体参照画像ＯＧに基づいて、撮像画像Ｇから異常物体が屋根上３に存在する第１状態を検出し、屋根上参照画像ＥＧに基づいて、撮像画像Ｇから屋根上参照画像ＥＧに含まれる状態とは異なる状態の第２状態を検出する検出部１３と、検出部１３による第１状態の検出結果と第２状態の検出結果とに基づいて屋根上３の状況が異常であるか否かを判定する判定部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

鉄道車両の車体の屋根上を撮像した撮像画像を取得する撮像画像取得部と、
前記屋根上に存在しえない異常物体を予め撮像した物体参照画像と前記鉄道車両の走行状態において異常でない状態の前記屋根上を予め撮像した屋根上参照画像とが記憶されている参照画像記憶部と、
前記物体参照画像に基づいて、前記撮像画像から前記異常物体が前記屋根上に存在する第１状態を検出し、前記屋根上参照画像に基づいて、前記撮像画像から前記屋根上参照画像に含まれる状態とは異なる状態の第２状態を検出する検出部と、
前記検出部による前記第１状態の検出結果と前記第２状態の検出結果とに基づいて前記屋根上の状況が異常であるか否かを判定する判定部と、
を備える列車屋根上診断システム。

【請求項2】

前記検出部は、前記異常物体が予め撮像された前記物体参照画像を教師データとして機械学習させた異常物体学習データに基づいて、前記撮像画像に含まれる前記第１状態を検出する請求項１に記載の列車屋根上診断システム。

【請求項3】

前記屋根上参照画像に含まれる前記屋根上の特徴を示す特徴量および前記撮像画像に含まれる前記屋根上の特徴を示す特徴量を算定する特徴量算定部を更に備え、
前記検出部は、前記屋根上参照画像に含まれる前記屋根上の前記特徴量と前記撮像画像に含まれる前記屋根上の前記特徴量とに基づいて、前記第２状態を検出する請求項１又は２に記載の列車屋根上診断システム。

【請求項4】

前記検出部は、前記屋根上が異常でない状態を予め撮像した前記屋根上参照画像を教師データとして機械学習させた屋根上学習データに基づいて、前記撮像画像に含まれる前記第２状態を検出する請求項３に記載の列車屋根上診断システム。

【請求項5】

前記屋根上参照画像に含まれる前記屋根上の前記特徴量と前記撮像画像に含まれる前記屋根上の前記特徴量とが乖離する度合いを示す乖離度を算定する乖離度算定部を更に備え、
前記判定部は、前記乖離度が予め設定された値以上である場合に、異常であると判定する請求項３に記載の列車屋根上診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鉄道車両の車体の屋根上の状況を診断する列車屋根上診断システムに関する。

【背景技術】

【0002】

従来、鉄道車両は定期的に検査が行われている。このような検査は、検査者の作業負担を軽減することを目的として自動化が行われてきた。このような検査に関する技術として、例えば下記に出典を示す特許文献１に記載のものがある。

【0003】

特許文献１には、車両検査システムが記載されている。この車両検査システムは、識別手段が車両の種類を識別し、画像認識手段が、識別手段による識別結果に応じて取得した車両の種類に基づく検査対象物に関する情報に応じて、撮影画像に含まれる検査対象物の画像を認識する。判定手段は、認識された検査対象物の画像に基づいて、当該検査対象物に異常があるか否かを判定し、判定手段により異常があると判定された場合には、報知手段が報知する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－５３５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の車両検査システムは、予め車両の種類毎に検査対象物に関する情報が設定されており、この情報に基づいて検査対象物の画像を認識する。このため、特許文献１に記載の車両検査システムは、予め設定された検査対象物しか検査することができない。また、撮影位置や光の具合等の環境変化や、設備の個体差によっては、検査対象物に関する情報と差異が生じ、実際には異常でないにもかかわらず、異常であると判定する可能もある。このように、特許文献１に記載の技術は、検査対象物の状態が適切であるか否かを正確に判定することができない。

【0006】

そこで、走行中の鉄道車両の車体の屋根上の状態が適切であるか否かを正確に判定することが可能な列車屋根上診断システムが求められる。

【課題を解決するための手段】

【0007】

本発明に係る列車屋根上診断システムの特徴構成は、鉄道車両の車体の屋根上を撮像した撮像画像を取得する撮像画像取得部と、前記屋根上に存在しえない異常物体を予め撮像した物体参照画像と前記鉄道車両の走行状態において異常でない状態の前記屋根上を予め撮像した屋根上参照画像とが記憶されている参照画像記憶部と、前記物体参照画像に基づいて、前記撮像画像から前記異常物体が前記屋根上に存在する第１状態を検出し、前記屋根上参照画像に基づいて、前記撮像画像から前記屋根上参照画像に含まれる状態とは異なる状態の第２状態を検出する検出部と、前記検出部による前記第１状態の検出結果と前記第２状態の検出結果とに基づいて前記屋根上の状況が異常であるか否かを判定する判定部と、を備えている点にある。

【0008】

このような構成とすれば、撮像画像と物体参照画像とに基づいて、走行中の鉄道車両の車体の屋根上に存在しえない異常物体の有無を検出し、撮像画像と屋根上参照画像とに基づいて、鉄道車両の走行状態において異常である状態を検出することが可能となる。また、物体参照画像と屋根上参照画像とを用意するにあたっては、様々な環境条件や設備の個体差を考慮した画像を用意することで、環境条件や設備の個体差に起因した差異を誤って異常状態と判定することを防止できる。このように、列車屋根上診断システムによれば、走行中の鉄道車両の屋根上の状況が異常でないか否かを適切に診断することが可能となる。

【0009】

また、前記検出部は、前記異常物体が予め撮像された前記物体参照画像を教師データとして機械学習させた異常物体学習データに基づいて、前記撮像画像に含まれる前記第１状態を検出すると好適である。

【0010】

このような構成とすれば、異常物体学習データにある異常を判定することが可能となる。例えば、異常物体の撮像画像や異常状態の設備の撮像画像を教師データとして学習させた異常物体学習データを用いて第１状態を検出することで、屋根上の異常物体や異常状態の設備の検出を効率よく行うことが可能となる。

【0011】

また、前記列車屋根上診断システムは、前記屋根上参照画像に含まれる前記屋根上の特徴を示す特徴量および前記撮像画像に含まれる前記屋根上の特徴を示す特徴量を算定する特徴量算定部を更に備え、前記検出部は、前記屋根上参照画像に含まれる前記屋根上の前記特徴量と前記撮像画像に含まれる前記屋根上の前記特徴量とに基づいて、前記第２状態を検出すると好適である。

【0012】

このような構成とすれば、鉄道車両の走行状態において異常でない状態の屋根上の特徴と走行時に撮像された屋根上の状態の特徴とに基づいて、第２状態を検出することができる。したがって、鉄道車両の屋根上の状況が異常であるか否かを適切に判定することが可能となる。特に、鉄道車両の屋根上の状況は、実際に屋根に上がって目視確認する必要があるため、画像処理で屋根上の状況を検出すれば効率的である。

【0013】

また、前記検出部は、前記屋根上が異常でない状態を予め撮像した前記屋根上参照画像を教師データとして機械学習させた屋根上学習データに基づいて、前記撮像画像に含まれる前記第２状態を検出すると好適である。

【0014】

このような構成とすれば、屋根上学習データに基づいて、異常物体学習データを用いて検出できない異常を判定することが可能となる。このような屋根上学習データを用いて第２状態を検出することで、屋根上の状況の判定を効率よく行うことが可能となる。

【0015】

また、前記列車屋根上診断システムは、前記屋根上参照画像に含まれる前記屋根上の前記特徴量と前記撮像画像に含まれる前記屋根上の前記特徴量とが乖離する度合いを示す乖離度を算定する乖離度算定部を更に備え、前記判定部は、前記乖離度が予め設定された値以上である場合に、異常であると判定すると好適である。

【0016】

このような構成とすれば、正常画像に対する乖離傾向から異常を判定することが可能である。これにより、鉄道車両の屋根上の状況を適切に診断することが可能となる。

【図面の簡単な説明】

【0017】

【図1】列車屋根上診断システムの構成を示すブロック図である。

【図2】物体参照画像の一例を示す図である。

【図3】屋根上参照画像の一例を示す図である。

【図4】異常物体の一例である。

【図5】第２状態として検出される屋根上の状態の一例である。

【図6】第１状態及び第２状態の検出についての説明図である。

【図7】乖離度算定部による乖離度の算定例について示す図である。

【図8】列車屋根上診断システムを用いた列車の診断についての処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

本発明に係る列車屋根上診断システムは、列車の車体の屋根上の状態が異常であるか否かを判定することができるように構成される。以下、本実施形態の列車屋根上診断システム１について説明する。

【0019】

図１は、列車屋根上診断システム１の構成を模式的に示したブロック図である。図１に示されるように、列車屋根上診断システム１は、撮像画像取得部１１、参照画像記憶部１２、検出部１３、特徴量算定部１４、判定部１５、及び乖離度算定部１６の各機能部を備えて構成されている。これら各機能部は、列車（「鉄道車両」の一例）２の屋根の上（以下「屋根上３」とする）の状態の判定に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。

【0020】

撮像画像取得部１１は、列車２の車体２Ａの屋根上３の状況を撮像した撮像画像Ｇを取得する。本実施形態では、軌道４の上方における所定の設置個所１０にカメラ５が設けられており、カメラ５は当該カメラ５の下を列車２が通過する際に、列車２の屋根上３を上方から撮像するように構成されている。また、図１の例では、カメラ５は設置個所１０を通過する前の列車２の屋根上３を撮像するように設けられると共に、設置個所１０を通過した後の列車２の屋根上３を撮像するように設けられている。これにより、カメラ５が、列車２の屋根上３の状況を、列車２の進行方向前側と進行方向後側との２方向から撮像することが可能となる。撮像画像取得部１１は、このようなカメラ５により撮像された撮像画像Ｇを、ネットワークを介して取得する。なお、図１に示されるカメラ５の設置形態は例示であって、図１とは異なる設置形態でカメラ５を設けてもよい。すなわち、カメラ５の数は３台以上であってもよいし、１台であってもよい。また、設置個所１０は、カメラ５を設置するための専用の構造物であってもよいし、他の目的によって、既に軌道４に近接して設置されている既存の構造物であってもよい。撮像画像取得部１１が取得した撮像画像Ｇは、後述する検出部１３及び特徴量算定部１４に伝達される。

【0021】

参照画像記憶部１２には、物体参照画像ＯＧと屋根上参照画像ＥＧとが記憶されている。物体参照画像ＯＧとは、屋根上３に存在しえない異常物体を予め撮像した撮像画像である。屋根上３に存在しえない異常物体とは、列車２の機能を実現するために、屋根上３に設けられたものとは異なる他の物体が相当する。具体的には、列車２の整備や修繕、保守点検（以下「整備等」）を行う際に使用される工具や備品、更には列車２に向かって飛来してきた飛来物等が相当する。工具とは、例えばレンチ、ボルト、トルクレンチ等であって、備品とは、例えば紐、ウエス等である。また、飛来物とは、例えばビニールや、木の枝等である。このような整備等において使用される工具及び備品や、飛来物は、走行中の列車２の屋根上３に存在していると異常であることから、列車屋根上診断システム１において異常物体として扱われる。物体参照画像ＯＧは、このような工具や備品等を予めカメラで撮像した撮像画像が相当する。図２の（Ａ）には、屋根上３に置かれたレンチ２１を撮像した物体参照画像ＯＧが示され、図２の（Ｂ）には、屋根上３に置かれたボルト２２を撮像した物体参照画像ＯＧが示される。また、図２の（Ｃ）には、屋根上３に置かれたウエス２３を撮像した物体参照画像ＯＧが示され、図２の（Ｄ）には、屋根上３に飛来した木の枝２４を撮像した物体参照画像ＯＧが示される。参照画像記憶部１２には、このような物体参照画像ＯＧが予め記憶されている。

【0022】

屋根上参照画像ＥＧとは、列車２の走行状態において異常でない状態の屋根上３を予め撮像した撮像画像である。列車２の走行状態において異常でない状態とは、列車２の走行時に、通常、想定される状態を意味し、具体的には正常と判断可能な状態にあたる。ここで、列車２の屋根上３には、列車２の機能を実現するため筐体や機器等の各種設備が設けられる。具体的には、筐体とは、例えば車両本体や屋根の枠組み等であって、機器とは、例えばＢＦ箱（ヒューズボックス）、避雷器、主ばね蓋（パンタグラフをトロリ線に付勢するバネを収容するボックスの蓋）、コーベル（集電装置）等である。屋根上参照画像ＥＧには、このような筐体や機器等が含まれる屋根上３を予めカメラで撮像した撮像画像や、このような筐体や機器等が含まない屋根上３を予めカメラで撮像した撮像画像が含まれる。図３の（Ａ）には、列車２の屋根上３に設けられたＢＦ箱３３の正常な状態（列車２の走行状態での状態）を撮像した屋根上参照画像ＥＧが示される。参照画像記憶部１２には、このような屋根上参照画像ＥＧが記憶されている。なお、ＢＦ箱３３の異常な状態の一例として、図３の（Ｂ）には、本来、設けられていなければいけないＢＦ箱３３の蓋３１が外れた状態を撮像した撮像画像Ｇが示され、図３の（Ｃ）には、本来、閉じられていなければいけないＢＦ箱３３のフック３２（２つのフック３２のうちの一方）が外れた状態を撮像した撮像画像Ｇが示される。

【0023】

図１に戻り、検出部１３は、物体参照画像ＯＧに基づいて、撮像画像Ｇから異常物体が屋根上３に存在する第１状態を検出する。物体参照画像ＯＧは、上述した参照画像記憶部１２に記憶されており、検出部１３は参照画像記憶部１２に記憶されている物体参照画像ＯＧを利用する。撮像画像Ｇは、上述した撮像画像取得部１１から伝達される。異常物体が屋根上３に存在する第１状態とは、屋根上３を撮像した撮像画像Ｇに、物体参照画像ＯＧに含まれる異常物体と同じ物体が含まれている状態である。

【0024】

図４には、異常物体の例が示される。異常物体は、屋根上３に置き忘れたものと、飛来物とに分類できる。置き忘れたものとしては、屋根上３に置かれた状態の「レンチ（Ｎｏ．１）」、屋根上３に置かれた状態の「ボルト（Ｎｏ．２）」、屋根上３に置かれた状態の「トルクレンチ（Ｎｏ．３）」、屋根上３やパンタグラフに引っかかった状態の「紐（Ｎｏ．４）」、及び屋根上３やパンタグラフに引っかかった状態の「ウエス（Ｎｏ．５）」が挙げられる。また、飛来物としては、屋根上３やパンタグラフに引っかかった状態の「ビニール（Ｎｏ．６）」や、屋根上３やパンタグラフに引っかかった状態の「木の枝（Ｎｏ．７）」が挙げられる。

【0025】

本実施形態では、検出部１３は、異常物体が予め撮像された物体参照画像ＯＧを教師データとして機械学習させた異常物体学習データに基づいて、撮像画像Ｇに含まれる第１状態を検出する。異常物体が予め撮像された物体参照画像ＯＧを教師データとして機械学習させた異常物体学習データとは、異常物体が含まれる物体参照画像ＯＧを検出部１３に入力した場合に、検出部１３が物体参照画像ＯＧに異常物体が含まれているとする出力を行うように学習（機械学習）させたデータである。このような異常物体学習データを利用することで、検出部１３は、撮像画像Ｇに異常物体が含まれている場合には、屋根上３の状態が第１状態であると検出し、撮像画像Ｇに異常物体が含まれていない場合には、屋根上３の状態が第１状態であると検出しないようにすることが可能となる。なお、第１状態の検出では、このような教師データが利用されることから、図４では「教師データの有無」について、「あり」と示されている。第１状態を検出する検出部１３は、Mask R-CNN等の公知の物体検出手法を用いることができる。

【0026】

また、検出部１３は、屋根上参照画像ＥＧに基づいて、撮像画像Ｇから屋根上参照画像ＥＧに含まれる状態とは異なる状態の第２状態を検出する。屋根上参照画像ＥＧは、上述した参照画像記憶部１２に記憶されており、検出部１３は参照画像記憶部１２に記憶されている屋根上参照画像ＥＧを利用する。撮像画像Ｇは、上述した撮像画像取得部１１から伝達される。屋根上参照画像ＥＧに含まれる状態とは、列車２の走行中に維持されるべき、屋根上３の状態をいう。したがって、屋根上参照画像ＥＧに含まれる状態とは異なる状態とは、屋根上３の状態が、列車２の走行中に維持されるべき状態ではない状態をいう。このような列車２の走行中に維持されるべき状態ではない状態とは、上述したＢＦ箱３３の場合、図３の（Ｂ）の撮像画像Ｇで示されるような蓋３１が外れた状態や、図３の（Ｃ）の撮像画像Ｇで示されるようなフック３２が外れた状態が相当する。また、列車２の走行中に維持されるべき状態ではない状態には、参照画像記憶部１２に記憶されている物体参照画像ＯＧに含まれる異常物体とは異なる、屋根上３に存在しえない物体が屋根上３に存在している状態も含まれる。検出部１３は、撮像画像Ｇにより示される屋根上３の特徴を示す特徴量と屋根上参照画像ＥＧにより示される屋根上３の特徴を示す特徴量とに基づいて、撮像画像Ｇに含まれる屋根上３の状態が、屋根上参照画像ＥＧに含まれる状態とは異なる状態であることを検出した場合に、屋根上３の状態が第２状態であると検出する。

【0027】

この場合、特徴量算定部１４が、屋根上参照画像ＥＧに含まれる屋根上３の特徴を示す特徴量および撮像画像Ｇに含まれる屋根上３の特徴を示す特徴量を算定するとよい。屋根上参照画像ＥＧに含まれる屋根上３とは、屋根上３に存在する設備だけでなく、屋根そのものが含まれる。また、撮像画像Ｇに含まれる屋根上３には、屋根上３に存在する設備だけでなく、屋根そのものや、置き忘れた物や、飛来物が含まれる。特徴量とは、画像（本実施形態では、撮像画像Ｇや屋根上参照画像ＥＧ）に含まれる形状、長さ（大きさ）、色等に基づいて画像を所定のサイズで区分けした領域（例えば画素）毎に特徴を数値化したものである。特徴量算定部１４による算定結果は、検出部１３に伝達される。

【0028】

検出部１３は、屋根上参照画像ＥＧに含まれる屋根上３の特徴量と撮像画像Ｇに含まれる屋根上３の特徴量とに基づいて、第２状態を検出する。検出部１３は、上記のように屋根上参照画像ＥＧにおいて所定の領域毎に特徴を数値化した特徴量の分布（分布傾向）と、撮像画像Ｇにおいて所定の領域毎に特徴を数値化した特徴量の分布（分布傾向）とが一致する度合い（一致度）が、予め設定された値以上であるか否かにより第２状態を検出するとよい。予め設定された値とは、撮像画像Ｇに含まれる屋根上３の状態が屋根上参照画像ＥＧに含まれる屋根上３の状態と一致するか否かを判定する判定しきい値に相当する。検出部１３は、この度合いが予め設定された値以上である場合に、撮像画像Ｇに含まれる屋根上３の状態が屋根上参照画像ＥＧに含まれる屋根上３の状態とは異なる第２状態として検出し、この度合いが予め設定された値未満である場合に、撮像画像Ｇに含まれる屋根上３の状態が屋根上参照画像ＥＧに含まれる屋根上３の状況とは異なる第２状態として検出しない。

【0029】

本実施形態では、検出部１３は、屋根上３が異常でない状態を予め撮像した屋根上参照画像ＥＧを教師データとして機械学習させた屋根上学習データに基づいて、撮像画像Ｇに含まれる第２状態を検出する。屋根上３が異常でない状態を予め撮像した屋根上参照画像ＥＧを教師データとして機械学習させた屋根上学習データとは、屋根上３が異常でない状態を予め撮像した屋根上参照画像ＥＧを検出部１３に入力した場合に、検出部１３が屋根上３の状態が第２状態でないとする出力を行うように学習（機械学習）させたデータである。このような屋根上学習データを利用することで、検出部１３は、撮像画像Ｇに含まれる屋根上３の状態が屋根上参照画像ＥＧに含まれる屋根上３の状況と異なっている場合には屋根上３の状況が第２状態であると検出し、撮像画像Ｇの状態が屋根上参照画像ＥＧに含まれる屋根うえ３の状態と異なっていない場合には第２状態として検出しないようにすることが可能となる。

【0030】

図５には、第２状態として検出される屋根上３の状態の例が示される。図５の例では、第２状態は、車体本体に起因するものと、枠組みに起因するものと、ＢＦ箱に起因するものと、避雷器に起因するものと、主ばね蓋に起因するものと、コーベルに起因するものとに分類される。車両本体に起因するものとしては、車両本体の設備の異常や第１状態として検出されなかったものであって、車両本体における飛来物や置き忘れられたもの等の「車両本体とその他の異常（Ｎｏ．１）」が挙げられる。枠組みに起因するものとしては、枠組みの設備の異常や第１状態として検出されなかったものであって、枠組みにおける飛来物や置き忘れられたもの等の「枠組みその他の異常（Ｎｏ．２）」が挙げられる。

【0031】

ＢＦ箱に起因するものとしては、「蓋が外れたＢＦ箱本体（Ｎｏ．３）」や、「ＢＦ箱から外れたカバー（Ｎｏ．４）」や、「ＢＦ箱その他の異常（Ｎｏ．５）」が挙げられる。避雷器に起因するものとしては、「カバーが開いている避雷器本体（Ｎｏ．６）」や、「フックが外れている避雷器本体（Ｎｏ．７）」や、「ボルトがない（外れている）避雷器本体（Ｎｏ．８）」や、「避雷器その他異常（Ｎｏ．９）」が挙げられる。主ばね蓋に起因するものとしては、「主ばねの蓋は閉まっているが、フックが外れた状態（Ｎｏ．１０）」や、「カバーがない主ばね蓋（Ｎｏ．１１）」や、「主ばね蓋その他異常（Ｎｏ．１２）」が挙げられる。コーベルに起因するものとしては、「コーベルの外れた状態（Ｎｏ．１３）」や、「コーベルその他異常（Ｎｏ．１４）」が挙げられる。なお、図５には、検出するにあたり教師データがあるか否かが示されている。

【0032】

図６には、上述した検出部１３による第１状態及び第２状態の検出についてのまとめが示される。検出部１３による検出は、物体参照画像ＯＧに含まれる異常物体が屋根上３に存在している第１状態を検出する「フェーズ１」と、撮像画像Ｇに含まれる屋根上３の状態が屋根上参照画像ＥＧに含まれる状態と異なる第２状態を検出する「フェーズ２」との２つの検出工程に分類される。「フェーズ１」では、例えば、工具の置き忘れや、飛来物がある状態が第１状態として検出される。これらの検出は、上述したように、異常物体を、予め撮像した物体参照画像ＯＧを教師データとして機械学習させた異常物体学習データが利用される。これにより、「フェーズ１」では、教師データ（異常物体学習データ）にある異常のみが検出される。

【0033】

一方、「フェーズ２」では、第２状態として、物体参照画像ＯＧを用いて検出できなかった屋根上３の異常が検出される。この検出は、上述したように、屋根上３の状況を、予め撮像した屋根上参照画像ＥＧを教師データとして機械学習させた屋根上学習データが利用される。これにより、「フェーズ２」では、教師データ（屋根上学習データ）にない異常が検出される。また、この「フェーズ２」で利用する屋根上学習データとして、屋根上３の異常な状態を撮像した画像を用いて屋根上３の状態の異常を検出するように構成することも可能である。この場合には、「フェーズ２」では、教師データ（屋根上学習データ）にある異常が検出され、Mask R-CNN等の公知の物体検出手法を用いてもよい。

【0034】

図１に戻り、判定部１５は、検出部１３による第１状態の検出結果と第２状態の検出結果とに基づいて屋根上３の状況が異常であるか否かを判定する。検出部１３による第１状態の検出結果とは、本実施形態では、異常物体学習データに基づいて検出部１３が撮像画像Ｇに含まれる第１状態を検出した結果である。検出部１３が異常物体学習データに基づいて撮像画像Ｇに含まれる第１状態を検出したことを示す検出結果が判定部１５に伝達された場合には、屋根上３に異常物体が存在していることから、判定部１５は屋根上３の状況が異常であると判定する。一方、検出部１３が異常物体学習データに基づいて撮像画像Ｇに含まれる第１状態を検出したことを示す検出結果が判定部１５に伝達されていない場合には、屋根上３に異常物体が存在していないことから、判定部１５は屋根上３の状況が異常でないと判定する。

【0035】

第２状態の検出結果とは、本実施形態では、屋根上学習データに基づいて検出部１３が撮像画像Ｇに含まれる屋根上３の状態が異常である第２状態を検出した結果である。判定部１５は、第２状態の特徴量に基づいて屋根上３の状況が異常であるか否かを判定する。したがって、本実施形態における第２状態の検出結果とは、第２状態の特徴量が相当する。ここで、第２状態とは、上述したように、撮像画像Ｇに含まれる屋根上３の状態であって、検出部１３により屋根上参照画像ＥＧに含まれる屋根上３の状態とは異なると判定された状態が相当する。したがって、第２状態の特徴量は、屋根上参照画像ＥＧに含まれる状態であると判定するために特徴量算定部１４により算定された物体の特徴量が相当する。

【0036】

このような判定を行う場合には、乖離度算定部１６が、屋根上参照画像ＥＧに含まれる屋根上３の特徴量と撮像画像Ｇに含まれる屋根上３の特徴量とが乖離する度合いを示す乖離度を算定するとよい。屋根上参照画像ＥＧに含まれる屋根上３の特徴量とは、屋根上参照画像ＥＧに含まれる物体の形状、長さ（大きさ）、色等に基づいて、屋根上参照画像ＥＧに含まれる物体の画像を所定のサイズで区分けした領域（例えば画素）毎に特徴を数値化したものである。撮像画像Ｇに含まれる屋根上３の特徴量とは、撮像画像Ｇに含まれる物体の形状、長さ（大きさ）、色等に基づいて物体の画像を所定のサイズで区分けした領域（例えば画素）毎に特徴を数値化したものである。これらの特徴量は、上述した特徴量算定部１４により既に算定されており、乖離度算定部１６は検出部１３を介して取得するとよい。

【0037】

乖離度算定部１６は、例えばディープニューラルネットワークを用いて、これら２つの特徴量の間の類似性が高い程、距離が短くなり、類似性が低い程、距離が長くなるように特徴量空間に夫々の特徴量に応じたプロットを付してマッピングし、この距離の長さを乖離度として算定するとよい。乖離度算定部１６が、このようなディープニューラルネットワークを使って、適切に２つの特徴量の乖離度を算定するために、予め、類似性が高い２つの特徴量を入力した場合には、特徴量空間においてこれら２つの特徴量に応じた２つのプロットの間の距離が短くなり、類似性が低い２つの特徴量を入力した場合には、特徴量空間においてこれら２つの特徴量に応じた２つのプロットの間の距離が長くなるように、公知のディープメトリックラーニング等により乖離度算定部１６を機械学習させておくとよい。

【0038】

図７には、図３の（Ａ）に示したような正常な状態のＢＦ箱３３を撮像した複数の屋根上参照画像ＥＧと、図３の（Ｂ）に示したような蓋３１が外れた状態のＢＦ箱３３を撮像した複数の撮像画像Ｇと、図３の（Ｃ）に示したような蓋３１のフック３２が外れた状態のＢＦ箱３３を撮像した複数の撮像画像Ｇとを用いて、特徴量空間にプロットした結果が示される。図７に示されるように、正常な状態のＢＦ箱３３に係るプロットは所定の範囲内の点群からなるグループＡを形成し、蓋３１が外れた状態のＢＦ箱３３に係るプロットは所定の範囲内の点群からなるグループＢを形成し、蓋３１のフック３２が外れた状態のＢＦ箱３３に係るプロットは所定の範囲内の点群からなるグループＣを形成している。このように、正常な状態のＢＦ箱３３、蓋３１が外れた状態のＢＦ箱３３、及び蓋３１のフック３２が外れた状態のＢＦ箱３３の夫々について、特徴量に応じて分類できている（グルーピングされている）ことがわかる。そこで、乖離度算定部１６は、特徴量空間に、物体の特徴量に応じてプロットして物体（物体の状態）を分類し、乖離度を算定する。乖離度は、特徴量空間において、例えば点ａ、点ｂ、及び点ｃがプロットされた場合、点ａと点ｂとの間の距離Ｘや、点ａと点ｃとの間の距離Ｙが相当する。乖離度算定部１６が算定した乖離度は、判定部１５に伝達される。

【0039】

判定部１５は、乖離度が予め設定された値以上である場合に、異常であると判定することが可能となる。乖離度算定部１６により算定された特徴量空間における２つの特徴量に応じた２つのプロットの間の距離が予め設定された値未満以下である場合には、撮像画像Ｇに含まれる屋根上３の状況が異常でないと判定するよい。一方、乖離度算定部１６により算定された特徴量空間における２つの特徴量に応じた２つのプロットの間の距離が予め設定された値以上である場合には、撮像画像Ｇに含まれる屋根上３の状況が異常であると判定するよい。これにより、図３の（Ａ）に示したような正常な状態のＢＦ箱３３に対して、図３の（Ｂ）に示したような蓋３１が外れた状態のＢＦ箱３３や、図３の（Ｃ）に示したような蓋３１のフック３２が外れた状態のＢＦ箱３３は、異常であると判定される。また、教師データ（屋根上学習データ）にない異常（車両本体における飛来物等といった未知の異常）についても、乖離度が予め設定された値以上である場合に異常であると判定することができる。

【0040】

判定部１５の判定結果は、図１に示されるように、表示装置１７に表示してもよいし、列車２の整備を行う作業者６が有する携帯端末６Ａに表示するようにしてもよい。

【0041】

次に、列車屋根上診断システム１を用いた列車２の診断についての処理について説明する。図８は、列車屋根上診断システム１を用いた列車２の診断についての処理を示すフローチャートである。

【0042】

カメラ５が、当該カメラ５の下を通過する列車２の屋根上３を上方から撮像する（ステップ＃１）。カメラ５により撮像された撮像画像Ｇは、撮像画像取得部１１により取得される。

【0043】

検出部１３が、撮像画像Ｇから、参照画像記憶部１２に記憶されている物体参照画像ＯＧに基づいて第１状態を検出する（ステップ＃２）。また、検出部１３は、撮像画像Ｇから、参照画像記憶部１２に記憶されている屋根上参照画像ＥＧに基づいて第２状態を検出する（ステップ＃２）。

【0044】

判定部１５は、検出部１３による第１状態の検出結果に基づいて屋根上３が異常であるか否かを判定する（ステップ＃３）。また、判定部１５は、検出部１３による第２状態の検出結果に基づいて屋根上３が異常であるか否かを判定する（ステップ＃３）。

【0045】

判定部１５は、検出部１３による第１状態の検出結果が、撮像画像Ｇに、物体参照画像ＯＧに含まれる物体が含まれていないことを示すものである場合であって、検出部１３による第２状態の検出結果が、撮像画像Ｇに含まれている屋根上３状態が、屋根上参照画像ＥＧに含まれる状態と同じであることを示すものである場合には、「異常なし」と判定する（ステップ＃４：Ｙｅｓ）。この場合、列車屋根上診断システム１は、表示装置１７や携帯端末６Ａに対して、「異常なし」とする判定結果を出力させる（ステップ＃５）。

【0046】

一方、判定部１５は、検出部１３による第１状態の検出結果が、撮像画像Ｇに、物体参照画像ＯＧに含まれる物体が含まれていることを示すものである場合には、「異常あり」と判定する（ステップ＃４：Ｎｏ）。或いは、検出部１３による第２状態の検出結果が、撮像画像Ｇに含まれている屋根上３の状態が、屋根上参照画像ＥＧに含まれる屋根上３の正常状態と同じでないことを示すものである場合には、「異常あり」と判定する（ステップ＃４：Ｎｏ）。この場合、列車屋根上診断システム１は、表示装置１７や携帯端末６Ａに対して、「異常あり」とする判定結果を出力させる（ステップ＃６）。これにより、作業者６が、列車２の検査や修繕を行うことが可能となる（ステップ＃７）。

【0047】

〔その他の実施形態〕
上記実施形態では、検出部１３は、異常物体が予め撮像された物体参照画像ＯＧを教師データとして機械学習させた異常物体学習データに基づいて、撮像画像Ｇに含まれる第１状態を検出するとして説明した。しかしながら、例えば、検出部１３は、撮像画像Ｇに含まれる物体の特徴を示す特徴量と、物体参照画像ＯＧに含まれる物体の特徴を示す特徴量とを算定し、これら２つの特徴量が互いに等しい場合、或いは、所定の一致度を有する場合に、屋根上３を撮像した撮像画像Ｇに含まれる物体を、物体参照画像ＯＧに含まれる異常物体と同じ物体である第１状態として検出することが可能である。或いは、検出部１３は、撮像画像Ｇに含まれるエッジと、物体参照画像ＯＧに含まれるエッジとを検出し、これら２つのエッジが互いに等しい場合、或いは、所定の一致度を有する場合に、屋根上３を撮像した撮像画像Ｇに含まれる物体を、物体参照画像ＯＧに含まれる異常物体と同じ物体である第１状態として検出することも可能である。もちろん、検出部１３は、上述した特徴量やエッジに基づく第１状態の検出に代えて、他の方法で第１状態を検出するように構成することも可能である。

【0048】

上記実施形態では、検出部１３は、屋根上参照画像ＥＧに含まれる屋根上３の特徴量と撮像画像Ｇに含まれる屋根上３の特徴量とに基づいて、第２状態を検出するとして説明した。しかしながら、例えば、検出部１３は、撮像画像Ｇに含まれるエッジと、屋根上参照画像ＥＧに含まれるエッジとを検出し、これら２つのエッジが互いに等しくない場合、或いは、所定の一致度を有しない場合に、撮像画像Ｇに含まれる屋根上３が第２状態であるとして検出することも可能である。もちろん、検出部１３は、このようなエッジに基づく第２状態の検出に代えて、他の方法で第２状態を検出するように構成することも可能である。

【0049】

上記実施形態では、検出部１３は、屋根上３が異常でない状態を予め撮像した屋根上参照画像ＥＧを教師データとして機械学習させた屋根上学習データに基づいて、撮像画像Ｇに含まれる第２状態を検出するとして説明した。しかしながら、例えば、検出部１３は、撮像画像Ｇに含まれる屋根上３に存在する物体の特徴を示す特徴量と、屋根上参照画像ＥＧに含まれる屋根上３に存在する物体の特徴を示す特徴量とを算定し、これら２つの特徴量が互いに等しい場合、或いは、所定の一致度を有する場合に、屋根上３を撮像した撮像画像Ｇに含まれる屋根上３の状態が第２状態であるとして検出することが可能である。或いは、検出部１３は、撮像画像Ｇに含まれるエッジと、屋根上参照画像ＥＧに含まれるエッジとを検出し、これら２つのエッジが互いに等しい場合、或いは、所定の一致度を有する場合に、屋根上３を撮像した撮像画像Ｇに含まれる屋根上３の状態が第２状態であるとして検出することも可能である。もちろん、検出部１３は、上述した特徴量やエッジに基づく第２状態の検出に代えて、他の方法で第２状態を検出するように構成することも可能である。

【0050】

上記実施形態では、判定部１５は、乖離度が予め設定された値以上である場合に、異常であると判定するとして説明した。しかしながら、例えば、判定部１５は、屋根上参照画像ＥＧに含まれる物体の特徴量と撮像画像Ｇに含まれる物体の特徴量とが乖離する度合いを示す乖離度に関わらず、屋根上参照画像ＥＧに含まれる物体の特徴量と撮像画像Ｇに含まれる物体の特徴量とに差異がある場合に、異常であると判定するように構成することも可能である。また、判定部１５は、屋根上参照画像ＥＧを複数の画像領域に分割して異常判定を行ってもよい。この場合、サイズの小さい未知の異常も検出することができる。

【産業上の利用可能性】

【0051】

本発明は、鉄道車両の車体の屋根上の状況を診断する列車屋根上診断システムに用いることが可能である。

【符号の説明】

【0052】

１ ：列車屋根上診断システム
２ ：列車（鉄道車両）
２Ａ：車体
３ ：屋根上
１１：撮像画像取得部
１２：参照画像記憶部
１３：検出部
１４：特徴量算定部
１５：判定部
１６：乖離度算定部
ＥＧ：屋根上参照画像
Ｇ ：撮像画像
ＯＧ：物体参照画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】