特開 2023-131956 状態判定装置、状態判定方法および移動体支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131956

(43)【公開日】2023-09-22

(54)【発明の名称】状態判定装置、状態判定方法および移動体支援システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230914BHJP

   B61L 23/00 20060101ALI20230914BHJP

【ＦＩ】

G06T7/00 350B

B61L23/00 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022036985

(22)【出願日】2022-03-10

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】喜多村 章悟

(72)【発明者】

【氏名】廣木 桂一

【テーマコード（参考）】

5H161

5L096

【Ｆターム（参考）】

5H161AA01

5H161MM05

5H161MM12

5H161NN10

5H161NN11

5L096DA03

5L096FA33

5L096GA30

5L096HA02

5L096HA07

5L096KA04

(57)【要約】

【課題】発生し得る未知の異常を検知することができる状態判定装置の提供。
【解決手段】状態判定装置１００は、相対移動する判定対象である軌道を撮影するカメラ１と、カメラ１の撮影画像から判定対象情報である軌道情報を検出し、検出した軌道情報および検出の不確実度を出力する軌道検出部２と、不確実度が所定閾値より大きい場合に、軌道の状態を異常と判定する判定部３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

相対移動する判定対象を撮像する撮像装置と、
前記撮像装置の撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力する判定対象検出部と、
前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する対象判定部と、を備える状態判定装置。

【請求項2】

請求項１に記載の状態判定装置において、
前記判定対象検出部は、直近の複数フレーム分の前記撮像画像から検出された複数フレーム分の前記判定対象情報の分散に基づいて、前記不確実度を算出する、状態判定装置。

【請求項3】

請求項１に記載の状態判定装置において、
前記判定対象検出部は、
セマンティックセグメンテーションによって前記撮像画像から画素単位の前記判定対象情報を検出し、
前記画素単位の判定対象情報に対応する判定対象の事前知識を、前記撮像画像の対応する画素または対応する画素を含む近傍領域にあてはめ、前記事前知識との乖離を計算し、
前記乖離に基づいて前記不確実度を算出する、状態判定装置。

【請求項4】

請求項１に記載の状態判定装置において、
異常発生箇所を特定して発生可能性の高い異常事象を推定する異常事象推定部をさらに備え、
前記判定対象検出部は、前記撮像画像から画素単位の前記判定対象情報を検出して、検出した前記判定対象情報および画素単位の前記検出の不確実度を出力し、
前記対象判定部は、前記画素単位の前記不確実度に基づき画素単位の判定結果を出力し、
前記異常事象推定部は、前記画素単位の判定対象情報と前記画素単位の判定結果とに基づいて前記異常発生箇所を特定し、発生可能性の高い異常事象を推定する、状態判定装置。

【請求項5】

請求項１に記載の状態判定装置において、
前記撮像装置の異常を判定する撮像装置判定部をさらに備え、
前記判定対象検出部は、直近の複数フレーム分の前記撮像画像からそれぞれ前記判定対象情報を検出し、前記直近の複数フレーム分の前記不確実度を出力し、
前記対象判定部は、前記直近の複数フレーム分の前記判定対象情報に関する複数の判定結果を出力し、
前記撮像装置判定部は、前記複数の判定結果に含まれる異常判定の数が所定数を上回る場合に前記撮像装置が異常であると判定する、状態判定装置。

【請求項6】

請求項１に記載の状態判定装置において、
前記撮像画像における画素単位あるいは小領域単位の動き成分情報を検出する動き成分検出部と、
前記撮像装置の異常を判定する撮像装置判定部と、をさらに備え、
前記判定対象検出部は、前記撮像画像から画素単位の前記判定対象情報を検出して、検出した前記判定対象情報および画素単位の前記検出の不確実度を出力し、
前記対象判定部は、前記画素単位の前記不確実度に基づき画素単位の判定結果を出力し、
前記撮像装置判定部は、前記動き成分情報に基づいて、前記対象判定部により異常と判定された画素に対応する前記撮像画像の画素位置の動き成分を抽出し、抽出した動き成分が所定の閾値を下回る場合には前記撮像装置が異常であると判定する、状態判定装置。

【請求項7】

請求項１に記載の状態判定装置において、
前記撮像装置は移動体に搭載され、
前記撮像装置は、前記移動体の移動領域であって前記判定対象が含まれる前記移動領域を撮像する、状態判定装置。

【請求項8】

請求項７に記載の状態判定装置において、
前記移動体の速度情報を取得する速度情報取得部をさらに備え、
前記判定対象検出部は、
直近の複数フレーム分の前記撮像画像のそれぞれに関して、セマンティックセグメンテーションにより撮像画像から画素単位の前記判定対象情報をそれぞれ検出し、
前記速度情報に基づいて同一地点を示す画素を連続フレーム間で追跡して、同一地点を示す画素の判定対象情報の分散を算出し、
前記分散に基づいて検出の不確実度を画素単位で算出する、状態判定装置。

【請求項9】

請求項７に記載の状態判定装置において、
前記判定対象検出部で検出された前記判定対象情報と前記対象判定部の判定結果とに基づいて、前記移動体の速度の制御を行う移動体制御部をさらに備える、状態判定装置。

【請求項10】

請求項７に記載の状態判定装置において、
前記移動体は鉄道車両である、状態判定装置。

【請求項11】

請求項１に記載の状態判定装置を搭載する移動体を支援する移動体支援システムであって、
前記移動体とは別に独立して設けられた情報制御部と、
前記移動体に搭載され、該移動体の現在時刻および現在位置を取得する位置情報取得部と、
前記移動体に搭載され、前記現在時刻および前記現在位置と前記判定対象検出部が検出した前記判定対象情報とを紐づけした参照情報を前記情報制御部に送信する情報送受信部と、を備え、
前記情報制御部は、
前記移動体支援システムが支援する複数の移動体から受信した前記参照情報を格納する情報記憶部を備えて、
前記情報送受信部から送信された前記参照情報を受信すると、前記情報記憶部に格納されている複数の参照情報から、受信時から遡った所定時間以内の時刻と前記現在位置とが紐づけされた参照情報を検索して、検索された参照情報を前記情報送受信部に送信し、
前記判定対象検出部は、前記検索された参照情報を前記情報送受信部が受信すると、検出した前記判定対象情報と前記検索された参照情報とに基づいて前記不確実度を算出する、移動体支援システム。

【請求項12】

撮像装置に対して相対移動する判定対象の撮像画像に基づいて、前記判定対象の状態を判定する状態判定方法であって、
前記撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力し、
前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する、状態判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、状態判定装置、状態判定方法および移動体支援システムに関する。

【背景技術】

【0002】

従来の状態判定装置としては、例えば、特許文献１に開示されているような線状体の異常検出装置が知られている。状態判定装置の主な用途としては、例えば、走行中の鉄道車両において前方の軌道状態の目視確認業務を支援する鉄道運転支援システムがある。目視確認業務の支援においては、乗務員の目視による正常または異常の状態判定の一部または全部を機械に代替するために、鉄道車両にカメラを搭載し、移動体内もしくは移動体外における解析装置を用いて状態判定を行う手法が有用である。

【0003】

特許文献１には、「線状体に関する学習画像と、当該学習画像内の各画素に対する、当該画素が異常に該当するか否かの正解値とを、学習データとして深層学習された学習モデル４３を備え、当該学習モデル４３に対し、前記画像を入力画像として入力し、当該入力画像内の各画素に対して、当該画素が異常に該当するか否かを推論する」と記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１２８８７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述のような運転支援システムに特許文献１に記載の手法を用いた場合、学習データとして事前に定義した既知の異常状態しか検知することができないため、未知の異常状態の検知においては改善の余地がある。

【課題を解決するための手段】

【0006】

本発明の態様による状態判定装置は、相対移動する判定対象を撮像する撮像装置と、前記撮像装置の撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力する判定対象検出部と、前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する対象判定部と、を備える。
本発明の態様による移動体支援システムは、前記移動体とは別に独立して設けられた情報制御部と、前記移動体に搭載され、該移動体の現在時刻および現在位置を取得する位置情報取得部と、前記移動体に搭載され、前記現在時刻および前記現在位置と前記判定対象検出部が検出した前記判定対象情報とを紐づけした参照情報を前記情報制御部に送信する情報送受信部と、を備え、前記情報制御部は、前記移動体支援システムが支援する複数の移動体から受信した前記参照情報を格納する情報記憶部を備えて、前記情報送受信部から送信された前記参照情報を受信すると、前記情報記憶部に格納されている複数の参照情報から、受信時から遡った所定時間以内の時刻と前記現在位置とが紐づけされた参照情報を検索して、検索された参照情報を前記情報送受信部に送信し、前記判定対象検出部は、前記検索された参照情報を前記情報送受信部が受信すると、検出した前記判定対象情報と前記検索された参照情報とに基づいて前記不確実度を算出する。
本発明の態様による状態判定方法は、撮像装置に対して相対移動する判定対象の撮像画像に基づいて、前記判定対象の状態を判定する状態判定方法であって、前記撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力し、前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する。

【発明の効果】

【0007】

本発明によれば、発生し得る未知の異常を検知することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施の形態における状態判定装置の構成を示すブロック図である。

【図2】図２は、第１の実施の形態における状態判定処理の一例を示すフローチャートである。

【図3】図３は、第２の実施の形態における軌道検出部の内部構造を示す図である。

【図4】図４は、軌道パラメータの状況を説明する模式図である。

【図5】図５は、図２のステップＳ２０３の内部処理フローの一例を示すフローチャートである。

【図6】図６は、第３の実施の形態の状態判定装置の構成を示す図である。

【図7】図７は、第３の実施の形態の不確実度の算出を説明する模式図である。

【図8】図８は、第４の実施の形態における軌道検出部を示す図である。

【図9】図９は、第５の実施の形態の状態判定装置の構成を示す図である。

【図10】図１０は、異常発生パターンの一例を示す図である。

【図11】図１１は、第６の実施の形態の状態判定装置の構成を示す図である。

【図12】図１２は、第７の実施の形態の状態判定装置の構成を示す図である。

【図13】図１３は、第８の実施の形態における鉄道運転支援システムの概略構成を示す図である。

【図14】図１４は、第９の実施の形態の状態判定装置の構成を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明に係る状態判定装置の実施の形態について説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。また、以下の説明では、同一または類似の要素および処理には同一の符号を付し、重複説明を省略する場合がある。なお、以下に記載する内容はあくまでも本発明の実施の形態の一例を示すものであって、本発明は下記の実施の形態に限定されるものではなく、他の種々の形態でも実施する事が可能である。

【0010】

（第１の実施の形態）
本実施の形態では、本発明の状態判定装置及び状態判定方法の主な用途である鉄道運転支援システムを例に説明する。図１は、状態判定装置１００の一例を示すブロック図である。状態判定装置１００は鉄道運転支援システムの一部を構成する。状態判定装置１００は、カメラ１で撮影された鉄道車両前方の撮影映像を用いて、鉄道車両の走行に支障となる状態異常を検知する。鉄道運転支援システムは、状態判定装置１００により状態異常が検知されると、乗務員へのアラート発報等を行う。本実施の形態では、撮影画像内の軌道の検出を通じて獲得した軌道に関する知識を活用し、軌道内で発生し得る未知の異常を検知するようにした。

【0011】

図１に示すように、状態判定装置１００は、カメラ１、軌道検出部２および判定部３を備えている。状態判定装置１００は鉄道車両Ｔに搭載されている。カメラ１はＣＭＯＳイメージセンサ等の撮像素子を備え、鉄道車両Ｔの前方を主とした走行空間の撮影画像を取得する。カメラ１の撮影画像である撮像データは、軌道検出部２に入力される。

【0012】

なお、状態判定装置１００は、マイコン、プロセッサおよびこれらに類する演算装置と、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ、メモリカード、光ディスク及びこれらに類する記憶装置とを備え、記憶装置に格納されるプログラムを実行することにより軌道検出部２および判定部３の機能を実現している。

【0013】

カメラ１からの撮像データは、軌道検出部２に入力される。軌道検出部２は、撮像データに対して判定対象の情報である軌道情報を検出するための画像処理を適用し、検出された軌道情報を出力する。ここでの判定対象は、軌道の構成要素であるレール、枕木、バラスト等である。出力する軌道情報としては、例えば、軌道検出にセマンティックセグメンテーションを用い、撮影画像の各画素について、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報があげられる。なお、正常画像による軌道検出の学習を予めさせておく。

【0014】

軌道検出部２は、撮影画像から軌道情報を検出し、検出した軌道情報および軌道情報検出の不確実度を出力する。軌道検出にセマンティックセグメンテーションを用いる場合、レール、枕木、バラストというクラス（軌道情報）と、クラスに関する予測スコアが得られる。そのため、この予測スコアと負の相関となる量を導入して、それを不確実度としても良い。例えば、０～１という予測スコアが定義されていて、バラストが０．８で、枕木が０．１で、レールが０．１のような状態では、バラストというクラスと、０．８という予測スコアがセマンティックセグメンテーションにより得られる。この場合、「１－予測スコア」や「１－（予測スコア）^２」という量を不確実度とすれば良い。これらの値が大きくなるほど、不確実度が高くなる。

【0015】

判定部３は、軌道検出部２から入力された不確実度に基づき、軌道（レール、枕木、バラスト等）の状態を判定する。具体的には、上述した不確実度の値が予め設定した閾値より大きい場合に軌道の状態を異常と判定し、その判定結果を出力する。ここで、閾値の設定方法としては、例えば、様々な正常な軌道の撮影画像に対して軌道検出を行い、不確実度の分布を求める。そして、得られた分布の上限を上回る値を、閾値として設定する。

【0016】

［動作シーケンス］
図２は、状態判定装置１００で実行される状態判定処理の一例を示すフローチャートである。状態判定装置１００が起動されると、図２の処理動作が開始される。ステップＳ２０１では、状態判定処理を終了する動作終了命令の有無を判定する。動作終了命令を受信した場合には、図２の状態判定処理動作を終了する。一方、動作終了命令を受信しない場合には、ステップＳ２０１からステップＳ２０２へ進む。

【0017】

ステップＳ２０２では、カメラ１が撮影した映像フレームを取得して軌道検出部２に入力する。次いで、ステップＳ２０３では、軌道検出部２において、取得した映像フレームから軌道を検出すると同時に検出の不確実度を算出する。軌道検出部２は、軌道検出結果である軌道情報および不確実度を出力する。

【0018】

ステップＳ２０４では、判定部３において、上述した閾値と得られた不確実度とを比較し、不確実度が閾値以上であるか否かを判定する。ステップＳ２０４で不確実度が閾値以上であると判定されると、ステップＳ２０５に進んで軌道に異常があるという異常判定結果を出力し、その後、ステップＳ２０１へ戻る。一方、ステップＳ２０４で不確実度が閾値よりも小さいと判定されると、ステップＳ２０１へ戻る。

【0019】

上述のように、本実施の形態では、撮影画像内の軌道情報の検出に伴って得られる不確実度を利用することで、判定対象である軌道の状態異常に関する事前知識や学習用データがなくても、軌道内で発生し得る未知の異常を検知することが可能となる。また、上述の不確実度は軌道情報の検出の際に得られるので、軌道情報の検出と状態判定に用いる状態情報の検出とを個別に行う場合に比べ、演算量の低減を図ることができる。

【0020】

なお、上述した実施の形態では、状態判定装置１００の全体を移動体に搭載する構成とした。しかしながら、カメラ１のみを移動体である鉄道車両Ｔに搭載し、軌道検出部２および判定部３の処理については、移動体以外に設けられた処理部、例えば、クラウドサーバ等のサーバに行わせるようにしても良い。

【0021】

（第２の実施の形態）
図３～５を参照して第２の実施の形態を説明する。第２の実施の形態では、連続する撮影画像から検出した一連の軌道情報の分散に基づいて、軌道検出の不確実度を出力するような構成とした。本実施の形態では、図１に示した構成の内、カメラ１および判定部３については上述した構成と同じであるが、軌道検出部２の内部構造は図３に示すような構成となっている。以下では、同一構成であるカメラ１，判定部３の説明は省略し、主に軌道検出部２について説明する。

【0022】

図３に示すように、軌道検出部２は、検出部２１、軌道情報バッファ２２および不確実度算出部２３を備えている。検出部２１は、例えば、ＢＮＮ（Bayesian neural network）を備え、カメラ１からの撮影画像に対して、軌道領域を検出するためのＢＮＮを適用し、検出結果である軌道情報を出力する。ここで、出力する軌道情報としては、例えば、軌道の進行方向を示す曲率等の軌道パラメータがある。また、撮影画像に対して検出される軌道パラメータは一つまたは複数のいずれであっても良い。複数の軌道パラメータの場合、それらを一種類の軌道パラメータ（例えば、曲率）で構成せず、複数の種類の軌道パラメータで構成しても良い。以下では、一つの軌道パラメータが出力される場合を例に説明する。

【0023】

検出部２１から出力された軌道情報は、軌道検出部２から出力されると共に、軌道情報バッファ２２に格納される。軌道情報バッファ２２は、最新の軌道情報を含む過去Ｍ（１＜Ｍ）フレーム分の軌道情報を格納する性能を有する。すなわち、Ｍフレーム分の軌道情報を格納した状態で、新たに軌道検出が行われた場合は、最も古い軌道情報を棄却した上で、最新の軌道情報を格納する。

【0024】

不確実度算出部２３は、軌道情報バッファ２２から最新の、すなわち、直近のＮ（１＜Ｎ≦Ｍ）フレーム分の軌道情報を取り出し、それらＮフレーム分の軌道情報の分散に基づいて検出の不確実度を算出する。算出される不確実度としては、例えば、分散自体を不確実度としても良いし、また、分散に対してバイアスの加減算や、重みづけの乗算等を行っても良い。

【0025】

一般に、ＢＮＮは内部のモデルパラメータが確率分布として定義され、推論時に使用するモデルパラメータはその確率分布からサンプリングされる。そのため、出力される軌道パラメータは推論毎に異なる値となる。したがって、同一の撮影画像に対してＮ回の推論を行うことで出力される一連の軌道パラメータに関し、期待値と分散を定義することができる。

【0026】

ＢＮＮの学習は、異常を有さない正常な軌道の撮影画像を用い、出力する軌道パラメータの期待値が真値に近づくように行われる。結果として、正常な軌道の撮影画像に対して出力される軌道パラメータの分散は小さくなる。一方で、学習時に見たことのない未知の異常が生じた軌道の撮影画像に対しては、出力される軌道パラメータの分散は大きくなる。

【0027】

ところで、ＢＮＮが出力する軌道パラメータに対して期待値と分散を定義するためには、本来は同一の撮影画像に対してＮ回の推論を行う必要があるため、撮影から判定までのスループットが低下してしまう。しかしながら、鉄道の軌道は急激な変化がなく、連続撮影画像間の画像情報の類似性が高いという性質がある。本実施の形態では、この性質を利用し、最新の連続するＮフレーム分の軌道パラメータから分散を算出し、その分散に基づいて検出の不確実度を算出することで、撮影から判定までのスループットの向上を図るようにした。

【0028】

図４は、検出部２１で検出される軌道パラメータの状況を説明する模式図である。撮影画像Ｆ４０１にはレールＦ４０２が写っており、検出部２１は、レールＦ４０２の進行方向を示す曲率等の軌道パラメータＦ４０４を検出することで、鉄道車両の走行空間を特定する。図４に示す例では、軌道パラメータＦ４０４はレールＦ４０２の曲率であり、レールＦ４０２は、時間の経過に伴い左カーブから徐々に直線に近づく。その左カーブから直線に近づく途中において、異常Ｆ４０３（軌道上の障害物）が生じている。

【0029】

前述したように、軌道パラメータＦ４０４に関しては、最新のＮフレーム分の値を用いて分散Ｆ４０５が算出される。図４では、実線で示す軌道パラメータＦ４０４を挟むように描かれた２つの破線が分散Ｆ４０５を示している。異常Ｆ４０３の発生前後の正常な軌道においては、撮影画像Ｆ４０１内のレールＦ４０２の変化に伴って出力される軌道パラメータＦ４０４の値も変化し、その際の分散Ｆ４０５は小さい値を維持する。一方、異常Ｆ４０３が発生すると、軌道パラメータＦ４０４は安定せず分散Ｆ４０５が増加する。したがって、分散Ｆ４０５に基づいて検出の不確実度を算出し、その不確実度に基づいて軌道の状態を判定することが可能となる。

【0030】

［動作シーケンス］
状態判定装置１００の状態判定処理に関する基本的なフローは図２に示したフローチャートと同様であるが、上述した軌道検出部２の動作に対応して、ステップＳ２０３の処理内容が異なる。本実施の形態では、図２のステップＳ２０３の内部処理は図５に示す一連の処理で置き換える。図５は、図２のステップＳ２０３の内部処理フローの一例を示すフローチャートである。

【0031】

図５のステップＳ２０３１では、検出部２１において撮影画像から軌道を検出し、軌道情報を出力する。ステップＳ２０３２では、軌道情報を軌道情報バッファ２２に格納する。ステップＳ２０３３では、軌道情報バッファ２２に格納された軌道情報の数がＮ以上であるかどうか判定し、Ｎ以上の場合にはステップＳ２０３４へ進む。ステップＳ２０３４では、不確実度算出部２３において、最新のＮフレーム分の軌道情報から軌道検出の不確実度を算出する。一方、ステップＳ２０３３において軌道情報の数がＮよりも少ないと判定された場合には、一連の処理を終了する。図５の一連の処理が終了すると、すなわち、図２のステップＳ２０３の処理が終了すると、図２のステップＳ２０４へ進む。

【0032】

上述のように、本実施の形態では、連続する撮影画像から検出した一連の軌道情報の分散に基づき軌道検出の不確実度を出力するので、その確実度に基づいて軌道の状態を判定することができる。さらに、一般的なＢＮＮでは同一画像に対してＮ回の推論を行いＮ個の軌道パラメータを取得しているが、本実施の形態では、類似性の高い連続Ｎフレームの画像を用いることで、Ｎ回の推論の場合と同様のＮ個の軌道パラメータを取得するようにしている。そして、１フレーム撮影ごとに、すなわち撮影のサイクルタイムごとに、軌道情報バッファ２２から読みだしたＮフレーム分の軌道情報の分散に基づく不確実度が算出されるので、１フレーム画像にＮ回の推論を行う場合に比べて、撮影から判定までの時間短縮を図ることができる。

【0033】

（第３の実施の形態）
図６，７を参照して第３の実施の形態を説明する。第３の実施の形態では、連続する撮影画像及び鉄道車両の速度情報を用い、撮影画像の画素単位で、軌道検出の不確実度の算出および軌道の状態の判定を行うようにした。

【0034】

本実施の形態は、図６に示すように、図３に示す構成において状態判定装置１００に速度情報取得部４を追加した構成になっている。速度情報取得部４は、例えば、鉄道車両に搭載した速度計の検出値を取得しても良いし、ＧＰＳ（Global Positioning System）が取得する位置情報を時間微分することで速度を算出する構成でも良い。図６に示す以外の構成については、上述した第１の実施の形態と同様であり、以下では説明を省略する。

【0035】

軌道検出部２の詳細構成について、図６を用いて説明する。検出部２１は、例えばセマンティックセグメンテーションを行うＢＮＮを備える。検出部２１は、カメラ１からの撮影画像に対して軌道領域を検出するためのＢＮＮを適用し、画素単位の軌道情報を出力する。ここで、出力する軌道情報は、例えば、撮影画像の各画素について、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報であっても良い。

【0036】

検出部２１で検出された画素単位の軌道情報は、軌道検出部２から出力されると共に軌道情報バッファ２２に格納される。軌道情報バッファ２２は、最新の画素単位の軌道情報を含む過去Ｍ（１＜Ｍ）フレーム分の画素単位の軌道情報を格納する性能を有する。速度情報取得部４は、現在の鉄道車両の速度を計測し、速度情報を不確実度算出部２３へ出力する。

【0037】

不確実度算出部２３は、軌道情報バッファ２２から最新のＮ（１＜Ｎ≦Ｍ）フレーム分の画素単位の軌道情報を取り出し、速度情報取得部４からの速度情報に基づいて同一地点を示す画素を連続フレーム間で追跡する。そして、不確実度算出部２３は、同一地点を示す画素の軌道情報の分散を算出し、算出した分散に基づいて検出の不確実度を画素単位で算出する。

【0038】

図７は、検出の不確実度の画素単位の算出を示す模式図である。図７は時刻ｔ１に撮影された撮影画像Ｆ４０１（ｔ１）と、時刻ｔ２＝ｔ１＋Δｔに撮影された撮影画像Ｆ４０１（ｔ２）とを示す図である。撮影画像Ｆ４０１には、レールＦ４０２の領域に沿って複数の画素集合Ｆ７０１が設定される。撮影画像Ｆ４０１（ｔ１），Ｆ４０１（ｔ２）に示す画素集合Ｆ７０１ａ，Ｆ７０１ｂは、複数の画素集合Ｆ７０１の内の一つを示したものであり、同一の画素集合を示している。すなわち、所定時間Δｔが経過する間に、同一画素集合が、撮影画像Ｆ４０１内において画素集合Ｆ７０１ａの位置から画素集合Ｆ７０１ｂの位置へ移動する。

【0039】

このように、鉄道車両の速度情報に基づいて、同一地点を示す画素を連続フレーム間で追跡すると、正常あるいは異常の同一地点を追跡し続けることが可能になる。そして、同一地点の軌道の状態が正常であれば、同一地点を示す画素の軌道情報の分散は小さくなる。一方で、図７に示すように同一地点の軌道の状態が異常であれば、同一地点を示す画素の軌道情報の分散は大きくなる。したがって、画素単位の軌道情報の分散に基づき、軌道検出の不確実度を画素単位で算出し、軌道の状態を画素単位で判定することが可能となる。以上のように、本実施の形態では、連続する撮影画像および移動体の速度情報を用い、撮影画像の画素単位で、軌道検出の不確実度の算出および軌道の状態の判定を行うことができる。

【0040】

（第４の実施の形態）
図８を参照して第４の実施の形態を説明する。第４の実施の形態では、軌道に関する事前知識を活用し、事前知識との乖離に基づいて不確実度を算出するようにした。図８は、本実施の形態における軌道検出部２を示す図である。その他の構成については、図１に示した第１の実施の形態と同様であり、以下では説明を省略する。

【0041】

図８に示すように、軌道検出部２は、検出部２１、不確実度算出部２３を備えている。検出部２１は、例えば、セマンティックセグメンテーションを行うＤＮＮ（Deep Neural Network）を備える。検出部２１は、カメラ１からの撮影画像に対して、軌道領域を検出するためのＤＮＮを適用し、画素単位の軌道情報を出力する。ここで、出力する軌道情報としては、例えば、撮影画像の各画素について、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報が一例として挙げられる。

【0042】

不確実度算出部２３には、撮影画像と、検出部２１から出力された画素単位の軌道情報とが入力される。不確実度算出部２３は、画素単位の軌道情報に対応する軌道の事前知識を、撮影画像の当該画素または当該画素近傍を含む小領域にあてはめる。軌道の事前知識とは、例えば、「レールは遠方に延びる」、「枕木は一定間隔に存在する」といった知識である。

【0043】

不確実度算出部２３は、事前知識に関する所定の計算を行い、その計算結果と事前知識との乖離に基づいて不確実度を算出する。例えば、検出部２１が好適に軌道を検出できている場合、検出部２１がレールに該当すると判断した画素の近傍を含む小領域に対してエッジ検出を行うと、進行方向に延びるエッジが検出されるはずである。一方で、レールに破損や支障物といった異常が生じている場合、小領域におけるエッジ検出の結果、進行方向のエッジが検出できなかったり、進行方向とは異なる方向のエッジが検出されたりする。

【0044】

したがって、検出されたエッジの方向と進行方向の角度の差分を算出することで、レールは遠方に延びるという軌道の事前知識との乖離を評価することができる。そして、乖離に基づいて不確実度を算出することで、軌道の状態を判定することが可能となる。なお、乖離の評価においては、エッジの方向だけでなく、エッジの強度も考慮して算出しても良い。また、画像のテクスチャや周波数成分など、エッジ以外の画像情報を使用しても良い。また、乖離に基づいて不確実度を算出するにあたり、例えば、乖離自体を不確実度としても良い。または、乖離に対してバイアスの加減算や、重みづけの乗算等を行っても良い。

【0045】

（第５の実施の形態）
図９，１０を参照して第５の実施の形態を説明する。第５の実施の形態では、異常発生パターンに基づき、発生している可能性の高い異常事象を推定するようにした。図９は、第５の実施の形態における状態判定装置１００の構成を示す図である。図９に示す構成は、図１に示す構成に異常事象推定部５を加えたものである。

【0046】

軌道検出部２は、例えば、軌道検出にセマンティックセグメンテーションを用い、画素単位の軌道情報と、画素単位の不確実度とを出力する。ここで、出力する画素単位の軌道情報は、例えば、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報が一例として挙げられる。

【0047】

判定部３は、軌道検出部２から入力された画素単位の不確実度に基づき、画素単位の判定結果を出力する。異常事象推定部５は、軌道検出部２からの画素単位の軌道情報と判定部３からの画素単位の判定結果とを照合し、異常が発生している構成要素、すなわち異常発生箇所を特定する。そして、異常事象推定部５は、異常発生箇所における異常発生パターンに基づき、発生している可能性の高い異常事象を推定する。

【0048】

図１０は、異常発生箇所Ｆ１００１、異常事象Ｆ１００２および異常発生パターンＦ１００３の一例を示す図である。図１０に示す例では、画素単位の軌道情報は、各画素がレール、枕木、バラストのどれに該当するか、あるいは該当しないかを示す情報とする。そして、画素単位の軌道情報と画素単位の判定結果とを照合することで特定する異常発生箇所Ｆ１００１は、レール、枕木、バラストの３種類とする。また、推定する異常事象Ｆ１００２は、レールの破損、枕木の破損、バラストの陥没、雑草の繁茂、土砂崩れの５種類とする。

【0049】

異常発生パターンＦ１００３は、異常発生箇所と異常事象を関連付けるものであり、予め定義しておく。例えば、レールや枕木に異常が発生せず、バラストのみに異常が発生している場合、バラストの陥没が発生している可能性が考えられる。あるいは、レール、枕木、バラストのいずれにも異常が発生している場合、土砂崩れのような軌道全体に関わる大きな異常が発生している可能性がある。

【0050】

このように、第５の実施の形態では、異常発生パターンに基づき、発生している可能性の高い異常事象を推定することが可能となる。なお、図１０に示す異常発生箇所Ｆ１００１、異常事象Ｆ１００２、異常発生パターンＦ１００３は、あくまで一例であり、各項目を増減したり、パターン自体を変更したりしても良い。

【0051】

（第６の実施の形態）
図１１を参照して第６の実施の形態を説明する。第６の実施の形態では、異常の滞留時間に基づくことで、異常が軌道ではなくカメラに発生していることが判定可能になるようにした。図１１は、第６の実施の形態における状態判定装置１００の構成を示す図である。図１１に示す構成は、図１に示す構成に判定結果バッファ６およびカメラ状態判定部７を加えたものである。

【0052】

判定結果バッファ６は、判定部３が出力した最新の判定結果を含む過去Ｌ（１＜Ｌ）フレーム分の判定結果を格納する性能を有する。Ｌフレーム分の判定結果を格納した状態で、新たに判定を行った場合は、最も古い判定結果を棄却した上で、最新の判定結果を格納する。

【0053】

カメラ状態判定部７は、判定結果バッファ６が格納している一連の判定結果を確認し、異常と判定された判定結果が予め定義した滞留時間分のフレーム数を超えている場合には、異常が軌道ではなくカメラ１に発生していると判定する。そして、その判定結果を、カメラ状態判定結果として出力する。なお、判定結果が画素単位である場合には、画素単位で滞留時間の判定を行っても良い。あるいは、所定の画素数以上で異常が発生している場合に、画像単位で異常有りと見なし、画像単位で滞留時間の判定を行っても良い。

【0054】

カメラ１に発生する異常としては、例えば、レンズに付着する汚れや雪などがある。鉄道車両は走行しているため、異常が軌道に発生している場合には、異常はやがてカメラ１の画角から外れ、長時間に渡って異常が滞留することはない。一方、異常がカメラ１に発生している場合は、汚れや雪であれば、これらがレンズに付着している限り、異常の判定結果を出力し続け得る。

【0055】

したがって、異常の滞留時間に基づき、異常が軌道ではなくカメラ１に発生していることが判定可能となる。このように、本実施の形態では、異常の滞留時間に基づき、異常が軌道ではなくカメラに発生していることを判定することができる。

【0056】

（第７の実施の形態）
図１２を参照して第７の実施の形態を説明する。第７の実施の形態では、異常の動き成分に基づき、異常が軌道ではなくカメラに発生していることを判定するようにした。図１２は、第７の実施の形態における状態判定装置１００の構成を示す図である。図１２に示す構成は、図１に示す構成に動き成分検出部８およびカメラ状態判定部７を加えたものである。

【0057】

動き成分検出部８は、例えば、撮影画像からオプティカルフローを算出することで、撮影画像における画素単位あるいは小領域単位の動き成分を検出する。検出された動き成分情報はカメラ状態判定部７へ出力される。

【0058】

カメラ状態判定部７は、例えば、判定部３が出力する判定結果が画素単位である場合には、動き成分情報に基づいて異常が発生している画素位置の動き成分を確認する。動き成分が所定の閾値を下回り、静止していると見なせる場合、カメラ状態判定部７は、異常が軌道ではなくカメラ１に発生していると判定し、これをカメラ状態判定結果として出力する。

【0059】

カメラ１に発生する異常としては、例えば、レンズに付着する汚れや雪などがある。鉄道車両は走行しているため、異常が軌道に発生している場合は、異常は鉄道車両の走行に伴い、撮影画像内で移動する。一方、異常がカメラ１に発生している場合は、汚れや雪であれば、これらがレンズに付着している限り、撮影画像内で移動することはない。したがって、異常の動き成分に基づき、異常が軌道ではなくカメラ１に発生していることを判定することができる。

【0060】

（第８の実施の形態）
図１３を参照して第８の実施の形態を説明する。第８の実施の形態では、複数編成で検出した軌道情報を統合利用することで、不確実度の算出に使用する軌道情報のサンプル数を増強し、不確実度の算出および状態判定の精度を向上させるようにした。図１３は、第８の実施の形態における鉄道運転支援システム１０００の概略構成を示す図である。鉄道運転支援システム１０００は、複数の鉄道車両Ｔ１，Ｔ２，・・・のそれぞれに搭載された各状態判定装置１００と、複数の鉄道車両Ｔ１，Ｔ２，・・・とは別の場所に設けられたサーバ２００とを備える。以下では、鉄道車両Ｔ１を例に処理動作を説明するが、他の鉄道車両Ｔ２，・・・に関しても同様の処理が行われる。

【0061】

状態判定装置１００は、カメラ１、軌道検出部２、判定部３および位置情報取得部９を備えている。軌道検出部２は、図３に示した軌道検出部２の検出部２１および不確実度算出部２３を備えている。軌道検出部２は、さらに、軌道情報送受信部２４を備えている。サーバ２００は、軌道情報送受信部１０、軌道情報制御部１１および軌道情報バッファ１２を備えている。

【0062】

位置情報取得部９は、鉄道車両Ｔ１の現在時刻および現在位置に関する情報を取得し、時刻・位置情報を出力する。現在位置の取得方法としては、例えば、鉄道車両Ｔ１に搭載したＧＰＳを用いても良い。または、鉄道車両Ｔ１が備える速度計から速度情報を取得し、速度を時間積分することで位置を算出しても良い。軌道情報送受信部２４は、位置情報取得部９が出力した時刻・位置情報と検出部２１が出力した軌道情報とを紐づけて時刻・位置・軌道情報とし、その時刻・位置・軌道情報をサーバ２００に送信する。なお、図１３に示すように、サーバ２００には、鉄道車両Ｔ１だけでなく状態判定装置１００を備える他の鉄道車両Ｔ２，・・・からも時刻・位置・軌道情報が送信される。

【0063】

サーバ２００の軌道情報送受信部１０が鉄道車両Ｔ１からの時刻・位置・軌道情報を受信すると、軌道情報制御部１１は、受信した時刻・位置・軌道情報を軌道情報バッファ１２に格納する。さらに、軌道情報制御部１１は、時刻・位置・軌道情報に含まれる位置情報が示す当該位置に関して、受信時から所定時間以内の過去に走行した他の鉄道車両Ｔ２，・・・から受信した時刻・位置・軌道情報群を検索する。そして、軌道情報制御部１１は、検索により抽出した時刻・位置・軌道情報群を鉄道車両Ｔ１に送信する。

【0064】

当該位置を走行中の鉄道車両Ｔ１の軌道情報送受信部２４は、サーバ２００からの時刻・位置・軌道情報群を受信し、受信した時刻・位置・軌道情報群と検出部２１が出力した最新の軌道情報と併せて不確実度算出部２３に出力する。不確実度算出部２３は、時刻・位置・軌道情報群および最新の軌道情報を用いて不確実度を算出する。

【0065】

鉄道車両は敷設された軌道上のみを走行するため、同一位置を走行する他の複数の鉄道車両からの撮影画像は、類似性が高いという性質がある。この性質を利用し、現在から所定時間以内の過去に走行した他の鉄道車両から受信した時刻・位置・軌道情報群を用いることで、軌道情報の分散の算出に用いるサンプル数を増強し、不確実度の算出および状態判定の精度向上を図ることができる。

【0066】

なお、図１３に示す構成では、軌道情報バッファ１２はサーバ２００のみに備えられ、複数の鉄道車両で検出された時刻・位置・軌道情報を集中管理する方式としたが、例えば、鉄道車両にも軌道情報バッファを搭載し、これらを併用する方式としても良い。

【0067】

（第９の実施の形態）
図１４を参照して第９の実施の形態を説明する。第９の実施の形態では、撮影画像に対して軌道の検出と状態の判定を行い、得られた軌道情報と判定結果に基づいて鉄道車両の速度の制御を行うようにした。図１４は、第９の実施の形態における状態判定装置１００の概略構成を示す図である。

【0068】

図１４に示す状態判定装置１００の構成は、図１に示す構成に移動体制御部１４を加えた構成である。移動体制御部１４は、軌道検出部２が出力した軌道情報と、判定部３が出力した判定結果に基づき、移動体である鉄道車両Ｔの速度の制御を行う。軌道検出部２から出力される軌道情報は、軌道の形状を示すものである。そのため、例えば、直線の軌道と比べて、曲線の軌道では鉄道車両Ｔの速度を下げるといった制御が可能である。

【0069】

また、判定部３の判定結果は、軌道における異常の有無を示す。そのため、例えば、軌道に異常が発生している場合は、直ちにブレーキをかけるといった制御が可能である。これらの制御により、鉄道車両Ｔの運行の安全性を維持しつつ、運行の半自動化や自動化が可能となる。

【0070】

（第１０の実施の形態）
上述した第１～９の実施の形態では、状態判定装置１００を備える鉄道運転支援システム１０００を例に説明した。一方、第１０の実施の形態では、状態判定装置１００を生産ライン検査システムに適用した例について説明する。本実施の形態の生産ライン検査システムでは、ベルトコンベア等の生産ラインや生産ライン上を移動する物品の撮影画像を用いて、生産ラインや物品の状態異常を検知し、作業員へのアラート発報等を行う。

【0071】

本実施の形態の生産ライン検査システムにおける状態判定装置１００は、第１の実施の形態の図１に示す構成と同一であり、図１を参照して説明する。ただし、各処理部は、鉄道車両Ｔのような移動体ではなく生産ライン付近に定置される。カメラ１は、生産ライン付近に搭載され、ベルトコンベア等の生産ライン乃至生産ライン上を移動する物品の撮影画像を取得する。軌道検出部２は、撮影画像から生産ラインの移動空間を特定するために、撮影画像に対して生産ライン領域を検出するための画像処理を適用し、判定対象の情報である軌道情報を出力する。ここで、出力する軌道情報は、例えば、軌道検出にセマンティックセグメンテーションを用い、撮影画像の各画素について、ベルト、駆動ローラー等の生産ラインの構成要素のどれに該当するか、あるいは該当しないかを示す情報であっても良い。

【0072】

軌道検出部２は、生産ライン領域を検出して軌道情報を出力すると同時に、検出の不確実度を出力する。第１の実施の形態の場合と同様に、不確実度には、例えば、軌道検出にセマンティックセグメンテーションを用いる場合、出力したクラスに関する予測スコアと負の相関となる値を求め、これを不確実度としても良い。

【0073】

判定部３は、軌道検出部２から出力された不確実度に基づき、生産ラインの判定対象の状態を判定する。具体的には、不確実度が、所定の閾値より大きい場合に、判定対象の状態を異常と判定し、判定結果を出力する。閾値の決定方法は、例えば、様々な正常な生産ラインの撮影画像に対して軌道検出を行い、不確実度の分布を求め、その分布の上限を上回る値を閾値と設定しても良い。

【0074】

上述した第１の実施の形態から第９の実施の形態までで説明した鉄道運転支援システムは、各処理部を移動体に搭載した構成であり、本実施の形態の生産ライン検査システムは、各処理部を移動体ではなく生産ライン付近に定置する構成であるが、いずれの構成の場合も、カメラ１に対して判定対象が相対移動するという点で共通している。したがって、撮影画像内で判定対象が移動する条件下であれば、本発明を適用可能である。

【0075】

以上説明したように、本実施の形態では、撮影画像から生産ライン領域を検出して軌道情報を出力すると同時に検出の不確実度を出力し、不確実度が大きい場合に生産ライン乃至物品の状態を異常と判定する構成とすることで、生産ライン検査システムを実現可能である。

【0076】

また、上述した実施の形態では、主に本発明を鉄道車両の走行を支障し得る状態異常を検知し、乗務員へのアラート発報等を行うための鉄道運転支援システムに適用した場合について説明したが、他の用途に適用しても良い。例えば、高速道路を走行する自動車、滑走路を走行する航空機、電線沿いを飛行するドローンなどを対象とした運転支援システム、あるいは保守支援システム等に適用しても良い。

【0077】

以上説明した本発明の実施形態によれば、以下の作用効果を奏する。

【0078】

（Ｃ１）図１に示すように、状態判定装置１００は、相対移動する判定対象である軌道を撮像する撮像装置としてのカメラ１と、カメラ１の撮影画像から判定対象情報である軌道情報を検出し、検出した軌道情報および検出の不確実度を出力する判定対象検出部としての軌道検出部２と、不確実度が所定閾値より大きい場合に、軌道の状態を異常と判定する判定部３と、を備える。このように、撮影画像内の軌道情報の検出に伴って得られる不確実度を利用することで、軌道の状態異常に関する事前知識や学習用データがなくても、軌道内で発生し得る未知の異常を検知することが可能となる。

【0079】

（Ｃ２）上記（Ｃ１）において、図３，４に示すように、軌道検出部２は、直近の複数フレーム分の撮影画像から検出された複数フレーム分の軌道情報から、例えば、軌道情報バッファ２２にから最新のＮフレーム分の軌道情報から読み込み、Ｎフレーム分の軌道情報の分散に基づいて検出の不確実度を算出する。このように、連続する撮影画像から検出した一連の軌道情報の分散に基づき軌道検出の不確実度を算出することができ、１フレーム画像にＮ回の推論を行う場合に比べて、撮影から判定までの時間短縮を図ることができる。

【0080】

（Ｃ３）上記（Ｃ１）において、図８に示すように、軌道検出部２は、セマンティックセグメンテーションによって撮影画像から画素単位の軌道情報を検出し、画素単位の軌道情報に対応する判定対象である軌道の事前知識を、撮影画像の対応する画素または対応する画素を含む近傍領域にあてはめ、事前知識との乖離を計算し、乖離に基づいて検出の不確実度を算出する。このように算出された不確実度により、軌道の状態を判定することが可能になる。

【0081】

（Ｃ４）上記（Ｃ１）において、図９，１０に示すように、状態判定装置１００は、異常発生箇所を特定して発生可能性の高い異常事象を推定する異常事象推定部５をさらに備え、軌道検出部２は、撮影画像から画素単位の軌道情報を検出して、検出した軌道情報および画素単位の検出の不確実度を出力し、判定部３は、画素単位の不確実度に基づき画素単位の判定結果を出力する。異常事象推定部５は、図１０に示すように、画素単位の軌道情報と画素単位の判定結果とに基づいて異常発生箇所Ｆ１００１を特定し、発生可能性の高い異常事象を推定する。例えば、レールや枕木に異常が発生せず、バラストのみに異常が発生している場合、バラストの陥没が発生している可能性が考えられる。

【0082】

（Ｃ５）上記（Ｃ１）において、図１１に示すように、状態判定装置１００は、カメラ１の異常を判定するカメラ状態判定部７をさらに備え、軌道検出部２は、直近の複数フレーム分の撮像画像からそれぞれ象軌道情報を検出し、直近の複数フレーム分の不確実度を出力し、判定部３は、直近の複数フレーム分の軌道情報に関する複数の判定結果を出力する。カメラ状態判定部７は、複数の判定結果に含まれる異常判定の数が所定数（予め定義した滞留時間分のフレーム数）を上回る場合に、カメラ１が異常であると判定する。このように、異常が軌道に起因するものか、カメラに起因するものか、を判定することができる。

【0083】

（Ｃ６）上記（Ｃ１）において、図１２に示すように、状態判定装置１００は、撮影画像における画素単位あるいは小領域単位の動き成分情報を検出する動き成分検出部８と、カメラ１の異常を判定するカメラ状態判定部７と、をさらに備える。軌道検出部２は、撮影画像から画素単位の軌道情報を検出して、検出した軌道情報および画素単位の検出の不確実度を出力し、判定部３は、画素単位の不確実度に基づき画素単位の判定結果を出力する。そして、カメラ状態判定部７は、動き成分情報に基づいて、判定部３により異常と判定された画素に対応する撮影画像の画素位置の動き成分を抽出し、抽出した動き成分が所定の閾値を下回る場合にはカメラ１が異常であると判定する。

【0084】

（Ｃ７）上記（Ｃ１）において、図１に示すように、カメラ１は移動体である鉄道車両Ｔに搭載され、カメラ１は、鉄道車両Ｔの移動領域であって軌道が含まれる移動領域を撮像するように構成しても良い。

【0085】

（Ｃ８）上記（Ｃ７）において、図６，７に示すように、状態判定装置１００は、鉄道車両Ｔの速度情報を取得する速度情報取得部４をさらに備える。軌道検出部２は、直近の複数フレーム分の撮影画像のそれぞれに関して、セマンティックセグメンテーションにより撮影画像から画素単位の軌道情報をそれぞれ検出し、速度情報取得部４で取得した速度情報に基づいて同一地点を示す画素を連続フレーム間で追跡して、同一地点を示す画素の判定対象情報の分散を算出し、分散に基づいて検出の不確実度を画素単位で算出する。このように、鉄道車両Ｔの速度情報に基づいて、同一地点を示す画素を連続フレーム間で追跡することで、正常あるいは異常の同一地点を追跡し続けることが可能になる。

【0086】

（Ｃ９）上記（Ｃ７）において、図１４に示すように、状態判定装置１００は、軌道検出部で検出された軌道情報と判定部３の判定結果とに基づいて、移動体である鉄道車両Ｔの速度の制御を行う移動体制御部１４をさらに備える。このような移動体制御部１４を備えることで、鉄道車両Ｔの運行の安全性を維持しつつ、運行の半自動化や自動化が可能となる。

【0087】

（Ｃ１０）上記（Ｃ７）において、図１に示すように、移動体は鉄道車両Ｔであっても良い。

【0088】

（Ｃ１１）図１３に示すように、鉄道運転支援システム１０００は、上記（Ｃ１）に記載の状態判定装置１００を搭載する鉄道車両Ｔ１，Ｔ２，・・・を支援する移動体支援システムである。鉄道運転支援システム１０００は、鉄道車両Ｔ１，Ｔ２，・・・とは別に独立してサーバ２００に設けられた軌道情報制御部１１と、鉄道車両Ｔ１，Ｔ２，・・・に搭載され、鉄道車両Ｔ１，Ｔ２，・・・の現在位置および現在時刻を取得する位置情報取得部９と、鉄道車両Ｔ１，Ｔ２，・・・に搭載され、現在時刻および現在位置と軌道検出部２が検出した軌道情報とを紐づけした時刻・位置・対象情報（参照情報）を軌道情報制御部１１に送信する軌道情報送受信部２４と、を備える。軌道情報制御部１１は、鉄道運転支援システム１０００が支援する複数の移動体Ｔ１，Ｔ２，・・・から受信した時刻・位置・対象情報を格納する軌道情報バッファ１２を備えて、軌道情報送受信部２４から送信された時刻・位置・対象情報を受信すると、軌道情報バッファ１２に格納されている複数の時刻・位置・対象情報から、受信時から遡った所定時間以内の時刻と現在位置とが紐づけされた時刻・位置・対象情報を検索して、検索された時刻・位置・対象情報を軌道情報送受信部２４に送信する。そして、軌道検出部２は、検索された時刻・位置・対象情報を軌道情報送受信部２４が受信すると、検出した軌道情報と検索された時刻・位置・対象情報とに基づいて不確実度を算出する。このように、軌道情報バッファ１２に格納されている時刻・位置・対象情報を用いることで、軌道情報の分散の算出に用いるサンプル数を増強し、不確実度の算出および状態判定の精度向上を図ることができる。

【0089】

（Ｃ１２）図１に示すように、カメラ１に対して相対移動する判定対象である軌道の撮像画像に基づいて、軌道の状態を判定する状態判定方法であって、撮像画像から軌道情報を検出し、検出した軌道情報および検出の不確実度を出力し、不確実度が所定閾値より大きい場合に、軌道の状態を異常と判定する。撮像画像から軌道を検出したときの検出の不確実度を用いることにより、判定対象である軌道の状態異常に関する事前知識や学習用データがなくても、軌道内で発生し得る未知の異常を検知することが可能となる。

【0090】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0091】

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0092】

１…カメラ、２…軌道検出部、３…判定部、４…速度情報取得部、５…異常事象推定部、６…判定結果バッファ、７…カメラ状態判定部、８…動き成分検出部、９…位置情報取得部、１０，２４…軌道情報送受信部、１１…軌道情報制御部、１２，２２…軌道情報バッファ、１４…移動体制御部、２１…検出部、２３…不確実度算出部、１００…状態判定装置、１０００…鉄道運転支援システム、Ｔ，Ｔ１，Ｔ２…鉄道車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】