特許 7550640 沿線監視装置および沿線監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-05

(45)【発行日】2024-09-13

(54)【発明の名称】沿線監視装置および沿線監視システム

(51)【国際特許分類】

   B61L 23/00 20060101AFI20240906BHJP

   H04N 7/18 20060101ALI20240906BHJP

   G08B 25/00 20060101ALI20240906BHJP

【ＦＩ】

B61L23/00 A

B61L23/00 E

H04N7/18 D

G08B25/00 510M

【請求項の数】 9

(21)【出願番号】P 2020217189

(22)【出願日】2020-12-25

(65)【公開番号】P2022102454

(43)【公開日】2022-07-07

【審査請求日】2023-08-23

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和２年８月５日、ウェブサイト上で令和２年度土木学会全国大会の公演予稿集により公開

(73)【特許権者】

【識別番号】000221616

【氏名又は名称】東日本旅客鉄道株式会社

(73)【特許権者】

【識別番号】313005318

【氏名又は名称】パナソニックコネクト株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】秋山 保行

(72)【発明者】

【氏名】神谷 弘志

(72)【発明者】

【氏名】滝澤 彰宏

(72)【発明者】

【氏名】渡邊 偉志

【審査官】清水 康

(56)【参考文献】

【文献】特開平０９－１９３８０３（ＪＰ，Ａ）

【文献】特開２０２０－０３５１９９（ＪＰ，Ａ）

【文献】特開２０２０－０３６１６４（ＪＰ，Ａ）

【文献】国際公開第２０２０／０３９８９７（ＷＯ，Ａ１）

【文献】特開２０１８－０９３２６６（ＪＰ，Ａ）

【文献】特開２０１８－１６７５９４（ＪＰ，Ａ）

【文献】特開２０１６－０６５７２１（ＪＰ，Ａ）

【文献】特表２００８－５０２５３８（ＪＰ，Ａ）

【文献】特開２０１９－１６６９９６（ＪＰ，Ａ）

【文献】特開２００４－２９１９３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２８４０８２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００６／００９８８４３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６１Ｌ １／００ － ９９／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

鉄道沿線に設置されたカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理をプロセッサにより実行する沿線監視装置であって、
前記プロセッサは、
ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、
前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、
さらに、前記異常検知処理に先だって、
リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、
前記対象エリアの異常が検知されると、その異常の発生を監視者に報知するための報知情報を出力する一方、
前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力することを特徴とする沿線監視装置。

【請求項2】

前記プロセッサは、
前記異常検知処理として、予め異常状態の前記カメラ画像および正常状態の前記カメラ画像により学習が行われた識別器を用いて、前記対象エリアの異常を検知することを特徴とする請求項１に記載の沿線監視装置。

【請求項3】

前記プロセッサは、
前記除外判定処理として、前記カメラ画像に基づいて被写体の動き情報を取得して、その動き情報に基づいて、当該カメラ画像に関して異常検知処理の対象から除外するか否かを判定することを特徴とする請求項１に記載の沿線監視装置。

【請求項4】

前記プロセッサは、
前記カメラ画像に関して異常検知処理の対象から除外する判定結果が得られた除外状態が所定時間以上継続した場合に、連続除外状態に設定して、その旨を表す前記報知情報を出力することを特徴とする請求項１に記載の沿線監視装置。

【請求項5】

前記プロセッサは、
前記カメラ画像に関して異常検知処理の対象から除外しない判定結果が得られて前記連続除外状態が解除された場合に、その旨を表す前記報知情報を出力することを特徴とする請求項４に記載の沿線監視装置。

【請求項6】

鉄道沿線に設置されたカメラにより撮影されたカメラ画像に基づいて、軌道周辺の異常を検知する異常検知処理をプロセッサにより実行する沿線監視装置であって、
前記プロセッサは、
ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、
前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、
さらに、前記異常検知処理に先だって、
リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、
前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力することを特徴とする沿線監視装置。

【請求項7】

前記プロセッサは、
前記状態画像として、前記対象エリアを示す枠画像の表示形態を変更することを特徴とする請求項６に記載の沿線監視装置。

【請求項8】

鉄道沿線に設置されたカメラと、このカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理を実行する情報処理装置とを備えた沿線監視システムであって、
前記情報処理装置は、
ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、
前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、
さらに、前記異常検知処理に先だって、
リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、
前記対象エリアの異常が検知されると、その異常の発生を監視者に報知するための報知情報を出力する一方、
前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力することを特徴とする沿線監視システム。

【請求項9】

鉄道沿線に設置されたカメラと、このカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理を実行する情報処理装置とを備えた沿線監視システムであって、
前記情報処理装置は、
ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、
前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、
さらに、前記異常検知処理に先だって、
リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、
前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力することを特徴とする沿線監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鉄道沿線に設置されたカメラから出力されるカメラ画像に基づいて軌道周辺の異常を検知する処理をプロセッサにより実行する沿線監視装置および沿線監視システムに関するものである。

【背景技術】

【0002】

鉄道では、軌道周辺の異常、例えば落石、土砂流入、雪崩などのように軌道上の支障物により列車の安全な通行に支障が出る状態が発生することがある。このため、軌道周辺の異常に迅速に対応するため、鉄道沿線に設置されたカメラで軌道周辺を撮影することで、軌道周辺の異常を遠隔監視できるようにした沿線監視システムが普及している。

【0003】

このような沿線監視システムでは、監視員が、カメラ画像を閲覧することで、軌道周辺の異常を目視で確認できるが、軌道周辺の異常を検知する監視装置を設けて、軌道周辺の異常が検知されると、監視者に対して注意喚起のための報知を行うようにすると、監視員の負担を軽減することができる。

【0004】

このような軌道周辺の異常を検知する監視装置として、従来、監視エリアを撮影したリアルタイムのカメラ画像を正常状態のカメラ画像と比較して、リアルタイムのカメラ画像に現れる大きな変化により異常を検知する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００４－２９１９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

さて、軌道周辺の異常、すなわち、落石、土砂流入、雪崩などのように軌道上の支障物により列車の安全な通行に支障がある状態でない場合でも、カメラ画像に大きな変化が現れる事象が多数存在する。例えば、カメラが旋回やＰＴＺ動作（パン、チルト、ズーム）を行っている場合や、軌道上を列車が通過している場合や、激しい降雨や降雪の場合や、列車や自動車のライトの光がカメラに照射されている場合や、カメラのレンズの近傍を昆虫などの物体が浮遊している場合には、カメラ画像に大きな変化が現れる。

【0007】

しかしながら、従来の技術のような異常検知の手法では、前記のような事象が発生してカメラ画像に大きな変化が現れると、誤検知が発生してしまい、監視者に対して誤報が出され、この誤報が頻発すると、確認作業が監視員にとって大きな負担となるという問題があった。

【0008】

そこで、本発明は、異常検知処理において誤検知の可能性が高いカメラ画像を、予め異常検知処理の対象から除外することで、異常検知処理での誤検知を抑制することができる沿線監視装置および沿線監視システムを提供することを主な目的とする。

【課題を解決するための手段】

【0009】

本発明の沿線監視装置は、鉄道沿線に設置されたカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理をプロセッサにより実行する沿線監視装置であって、前記プロセッサは、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記対象エリアの異常が検知されると、その異常の発生を監視者に報知するための報知情報を出力する一方、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0010】

また、本発明の沿線監視装置は、鉄道沿線に設置されたカメラにより撮影されたカメラ画像に基づいて、軌道周辺の異常を検知する異常検知処理をプロセッサにより実行する沿線監視装置であって、前記プロセッサは、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0011】

また、本発明の沿線監視システムは、鉄道沿線に設置されたカメラと、このカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理を実行する情報処理装置とを備えた沿線監視システムであって、前記情報処理装置は、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記対象エリアの異常が検知されると、その異常の発生を監視者に報知するための報知情報を出力する一方、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0012】

また、本発明の沿線監視システムは、鉄道沿線に設置されたカメラと、このカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理を実行する情報処理装置とを備えた沿線監視システムであって、前記情報処理装置は、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【発明の効果】

【0013】

本発明によれば、異常検知処理の検知結果および除外判定処理の判定結果に応じて、対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像が出力されるため、監視者が、異常検知の検知結果および除外判定の判定結果を即座に把握することができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態に係る沿線監視システムの全体構成図

【図2】監視端末４に表示される監視画面を示す説明図

【図3】監視サーバ２の概略構成を示すブロック図

【図4】監視サーバ２で行われる処理の概要を示す説明図

【図5】監視サーバ２で行われる異常検知処理の検知結果および除外判定処理の判定結果に応じた表示処理および報知処理のタイミングを示す説明図

【図6】監視サーバ２の表示部に表示されるエリア設定画面を示す説明図

【図7】監視サーバ２で行われる除外判定処理の概要を示す説明図

【図8】監視サーバ２で行われる異常検知処理の概要を示す説明図

【図9】監視サーバ２の動作手順を示すフロー図

【発明を実施するための形態】

【0015】

前記課題を解決するためになされた第１の発明は、鉄道沿線に設置されたカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理をプロセッサにより実行する沿線監視装置であって、前記プロセッサは、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記対象エリアの異常が検知されると、その異常の発生を監視者に報知するための報知情報を出力する一方、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0016】

これによると、異常検知処理の検知結果および除外判定処理の判定結果に応じて、対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像が出力されるため、監視者が、異常検知の検知結果および除外判定の判定結果を即座に把握するができる。

【0017】

また、第２の発明は、前記プロセッサは、前記異常検知処理として、予め異常状態の前記カメラ画像および正常状態の前記カメラ画像により学習が行われた識別器を用いて、前記対象エリアの異常を検知する構成とする。

【0018】

これによると、異常検知処理を精度よく行うことができる。

【0019】

また、第３の発明は、前記プロセッサは、前記除外判定処理として、前記カメラ画像に基づいて被写体の動き情報を取得して、その動き情報に基づいて、当該カメラ画像に関して異常検知処理の対象から除外するか否かを判定する構成とする。

【0020】

これによると、異常検知処理において誤検知が発生する可能性が高い状態のカメラ画像を、異常検知処理の対象から除外することができる。なお、例えば、カメラが旋回やＰＴＺ動作を行っている場合や、軌道上を列車が通過している場合や、激しい降雨や降雪による画像不良が発生している場合や、列車や自動車のライトの光が照射されることによる画像不良が発生している場合や、カメラの近傍を昆虫などの物体が浮遊することによる画像不良が発生している場合に、誤検知が発生し、このような事象が撮影されたカメラ画像を異常検知処理の対象から除外することができる。

【0021】

また、第４の発明は、前記プロセッサは、前記カメラ画像に関して異常検知処理の対象から除外する判定結果が得られた除外状態が所定時間以上継続した場合に、連続除外状態に設定して、その旨を表す前記報知情報を出力する構成とする。

【0022】

これによると、監視者が、除外状態、すなわち、異常検知処理が実施されない状態が長期間継続していることを把握することができる。

【0023】

また、第５の発明は、前記プロセッサは、前記カメラ画像に関して異常検知処理の対象から除外しない判定結果が得られて前記連続除外状態が解除された場合に、その旨を表す前記報知情報を出力する構成とする。

【0024】

これによると、監視者が、除外状態が解除されて、異常検知処理が実施される状態に復帰したことを把握することができる。

【0025】

また、第６の発明は、鉄道沿線に設置されたカメラにより撮影されたカメラ画像に基づいて、軌道周辺の異常を検知する異常検知処理をプロセッサにより実行する沿線監視装置であって、前記プロセッサは、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0026】

これによると、異常検知処理の検知結果および除外判定処理の判定結果に応じて、対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像が出力されるため、監視者が、異常検知の検知結果および除外判定の判定結果を即座に把握することができる。

【0027】

また、第７の発明は、前記プロセッサは、前記状態画像として、前記対象エリアを示す枠画像の表示形態を変更する構成とする。

【0028】

これによると、監視者が、カメラ画像に重畳された枠画像の表示形態に基づいて、異常検知処理の検知結果および除外判定処理の判定結果を即座に把握することができる。

【0029】

また、第８の発明は、鉄道沿線に設置されたカメラと、このカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理を実行する情報処理装置とを備えた沿線監視システムであって、前記情報処理装置は、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記対象エリアの異常が検知されると、その異常の発生を監視者に報知するための報知情報を出力する一方、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0030】

これによると、第１の発明と同様に、監視者が、異常検知の検知結果および除外判定の判定結果を即座に把握することができる。

【0031】

また、第９の発明は、鉄道沿線に設置されたカメラと、このカメラにより撮影されたカメラ画像に基づいて軌道周辺の異常を検知する異常検知処理を実行する情報処理装置とを備えた沿線監視システムであって、前記情報処理装置は、ユーザの操作入力に基づいて、前記異常検知処理の対象エリアを前記カメラ画像上に設定し、前記カメラから出力されるリアルタイムの前記カメラ画像に基づいて、前記対象エリアの異常を検知する前記異常検知処理を行い、さらに、前記異常検知処理に先だって、リアルタイムの前記カメラ画像に関して前記異常検知処理の対象から除外するか否かを判定する除外判定処理を行い、前記異常検知処理の検知結果および前記除外判定処理の判定結果に応じて、前記カメラ画像に対して、前記対象エリアの状態として通常状態、異常状態、除外状態のいずれかの状態を表す状態画像が重畳された監視用カメラ画像を生成して出力する構成とする。

【0032】

これによると、第１の発明と同様に、監視者が、異常検知の検知結果および除外判定の判定結果を即座に把握することができる。

【0033】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0034】

（第１実施形態）
図１は、本実施形態に係る沿線監視システムの全体構成図である。

【0035】

この沿線監視システムは、カメラ１と、監視サーバ２（沿線監視装置、情報処理装置）と、レコーダ３（カメラ画像蓄積装置）と、監視端末４（カメラ画像閲覧装置）と、警告灯５（報知装置）と、ユーザ端末６と、を備えている。カメラ１、監視サーバ２、レコーダ３、監視端末４、警告灯５、およびユーザ端末６はネットワークを介して接続されている。

【0036】

カメラ１は、鉄道沿線に設置され、軌道周辺の監視エリアを撮影する。また、カメラ１は、カメラ画像を監視サーバ２に送信する。

【0037】

監視サーバ２は、監視エリアを撮影したカメラ画像に対する画像解析により、軌道周辺の異常、すなわち、落石、土砂流入、雪崩などのように軌道上の支障物により列車の安全な通行に支障がある状態を検知する（異常検知処理）。また、監視サーバ２は、異常検知処理に先だって、カメラ画像に対する画像解析により、カメラ画像を異常検知処理の対象から除外するか否かを判定する（除外判定処理）。

【0038】

また、監視サーバ２は、軌道周辺の異常を検知すると、その旨を監視者に報知するための報知情報を生成して出力する。本実施形態では、報知情報として、異常検知のメッセージを含む電子メールをユーザ端末６に送信する。ここで、報知情報は、電子メールに限らず、プッシュ機能を用いて、予め指定したユーザ端末６へ通知するようにしてもよい。また、報知情報として、警告灯５に報知動作（点灯や点滅）を行うように指示する制御情報を警告灯５に送信する。

【0039】

また、監視サーバ２は、管理者（ユーザ）の指定操作に応じて、監視エリアを撮影したカメラ画像上に対象エリアを設定する。そして、監視サーバ２は、カメラ画像に対象エリアの枠線を合成した監視用カメラ画像を生成してレコーダ３に送信する。このとき、対象エリアの枠線は、異常検知処理の検知結果および除外判定処理の判定結果に応じた表示形態で描画される。また、監視サーバ２は、発報情報として、発報時刻やカメラ１の識別情報などをレコーダ３に送信する。

【0040】

レコーダ３は、監視サーバ２から受信した監視用カメラ画像を蓄積する。また、レコーダ３は、監視サーバ２から受信した発報情報（発報時刻、カメラ１の識別情報など）を監視用カメラ画像に対応付けて蓄積する。なお、上記例では、カメラ画像を監視サーバ２からレコーダ３に取得する構成としたが、カメラ画像は、カメラ１から直接レコーダ３に蓄積するようにしてもよい。

【0041】

監視端末４は、監視室に設置される。この監視端末４では、レコーダ３から取得した監視用カメラ画像が監視画面に表示される。これにより、監視者が監視エリアの状態を具体的に確認することができる。このとき、監視端末４が、監視サーバ２で生成したリアルタイムの監視用カメラ画像をレコーダ３経由で取得することで、監視者がリアルタイムの監視用カメラ画像を閲覧することができる。また、監視端末４が、レコーダ３に蓄積された過去の監視用カメラ画像をレコーダ３から取得することで、監視者が過去の監視用カメラ画像を閲覧することができる。

【0042】

警告灯５は、監視室に設置される。この警告灯５は、監視サーバ２から送信される制御情報に基づいて所定の報知動作（点灯や点滅）を行う。これにより、監視室にいる監視者が、監視エリアの軌道周辺で異常が検知されたことを認識することができる。なお、警告灯５と共にあるいは警告灯５の代わりに、軌道周辺の異常を通知する音声を出力する報知装置を用いてもよい。

【0043】

ユーザ端末６は、監視者が携帯するタブレットやスマートフォンなどで構成される。このユーザ端末６は、監視サーバ２から送信される電子メールを受信する。これにより、監視者が、監視室にいない場合でも、電子メールに含まれる異常検知のメッセージを閲覧することで、軌道周辺の異常が検知されたことを認識することができる。また、監視者は、異常検知のメッセージを閲覧した後、監視端末４で監視用カメラ画像を閲覧することで、異常の具体的な状況を確認することができる。

【0044】

なお、発報時の監視用カメラ画像を電子メールに添付するようにしてもよい。また、レコーダ３から監視用カメラ画像を取得するためのリンク情報を電子メールに添付するようにしてもよい。これにより、監視者が、ユーザ端末６で監視用カメラ画像を閲覧することができる。

【0045】

次に、監視端末４に表示される監視画面について説明する。図２は、監視画面を示す説明図である。なお、監視者が複数のカメラ１を指定すると、指定された複数のカメラ１に対応するカメラ画像が監視画面に並べて表示される。

【0046】

図２（Ａ）は、カメラ画像内の対象エリアで異常が検知されていない状態（通常状態）の監視画面である。図２（Ｂ）は、カメラ画像内の対象エリアで異常が検知されている状態（異常状態）の監視画面である。図２（Ｃ）は、カメラ画像が異常検知処理の対象から除外された状態（除外状態）の監視画面である。

【0047】

図２（Ａ）に示すように、カメラ画像内の対象エリアで異常が検知されていない状態では、対象エリアを表す枠線（枠画像）が黒色で描画される。

【0048】

一方、図２（Ｂ）に示すように、カメラ画像内の対象エリアで異常が検知されると、対象エリアの枠線が強調表示され、具体的には、対象エリアの枠線が黒色から赤色に変化する。また、発報時、すなわち異常検知のメッセージおよび警告灯５の制御情報（報知情報）を出力したタイミングから所定時間だけ、枠線が太く描画される。なお、図２（Ｂ）に示す例では、対象エリア内の軌道上に支障物（落石など）が存在するため、異常が検知される。

【0049】

また、図２（Ｃ）に示すように、カメラ画像が異常検知処理の対象から除外されると、対象エリアを表す枠線が黒色から灰色に変化する。なお、図２（Ｃ）に示す例では、除外対象事象として、対象エリアを列車が通過しているため、カメラ画像が異常検知処理の対象から除外される。

【0050】

このように本実施形態では、異常検知処理の検知結果および除外判定処理の判定結果に応じて、対象エリアを表す枠線が異なる色（黒色、赤色、灰色）で描画される。このため、監視者が、異常検知の検知結果および除外判定の判定結果を即座に把握することができる。

【0051】

なお、本実施形態では、枠線（枠画像）の表示形態を変更する一例として枠線の色を変更するものとしたが、その他の表示形態、例えば、枠線の太さや種別（点線など）を変更するものとしてもよく、また、枠線を点滅表示するものとしてもよい。

【0052】

さらに、異常検知処理の検知結果および除外判定処理の判定結果を表す表示情報は、本実施形態のような枠線（枠画像）に限定されない。すなわち、その他の形態の表示情報、例えば、カメラ画像の表示枠や、バルーン（吹き出し）などにより、異常検知処理の検知結果および除外判定処理の判定結果を表すようにしてもよい。

【0053】

また、図２（Ｂ）に示す例では、軌道上に支障物（落石など）が存在する場合を、軌道周辺の異常として検知するようにしたが、架線などの他の設備を、異常検知処理での検知対象としてもよい。

【0054】

次に、監視サーバ２の概略構成について説明する。図３は、監視サーバ２の概略構成を示すブロック図である。図４は、監視サーバ２で行われる処理の概要を示す説明図である。図５は、監視サーバ２で行われる異常検知処理の検知結果および除外判定処理の判定結果に応じた表示処理および報知処理のタイミングを示す説明図である。

【0055】

図３に示すように、監視サーバ２は、通信部２１と、表示部２２と、操作入力部２３と、メモリ２４と、プロセッサ２５と、を備えている。

【0056】

通信部２１は、ネットワークを介して、カメラ１、レコーダ３、監視端末４、警告灯５、およびユーザ端末６との間で通信を行う。具体的には、通信部２１が、カメラ１から送信されるカメラ画像を受信する。また、通信部２１が、監視端末４に監視画面の表示情報を送信し、監視端末４からの操作情報を受信する。また、通信部２１が、制御情報を警告灯５に送信する。また、通信部２１が、ユーザ端末６に電子メールを送信する。

【0057】

表示部２２は、自装置の動作条件などに関する操作画面を表示する。

【0058】

操作入力部２３は、管理者が表示部２２に表示された画面の操作を行うものである。

【0059】

メモリ２４は、プロセッサ２５で実行されるプログラムなどを記憶する。また、メモリ２４は、カメラ１から取得したカメラ画像を一時的に記憶する。

【0060】

プロセッサ２５は、メモリ２４に記憶されたプログラムを実行することで沿線監視に係る各種の処理を行う。本実施形態では、プロセッサ２５が、エリア設定処理、除外判定処理、異常検知処理、表示処理、および報知処理などを行う。

【0061】

エリア設定処理では、プロセッサ２５が、管理者の操作入力に基づいて、異常検知処理の対象エリアをカメラ画像上に設定する。本実施形態では、エリア設定画面（図６参照）において管理者が対象エリアの範囲を指定する操作を行うことで、対象エリアの範囲が設定される。

【0062】

除外判定処理では、プロセッサ２５が、リアルタイムのカメラ画像を異常検知処理の対象から除外するか否かを判定する。具体的には、カメラ１から順次出力される各時刻のカメラ画像（フレーム）を比較することで被写体の動きを検出して、その被写体の動きに関する動き情報を取得し、その動き情報に基づいて、当該カメラ画像を異常検知処理の対象から除外するか否かを判定する。

【0063】

異常検知処理では、プロセッサ２５が、リアルタイムのカメラ画像に基づいて、対象エリアの異常を検知する。具体的には、機械学習（例えばディープラーニング）により生成された識別器（機械学習モデル）を用いて、対象エリアの異常を検知する。この異常検知処理により、軌道周辺の異常、すなわち、落石、土砂流入、雪崩などにより発生した軌道上の支障物により列車の安全な通行に支障がある状態を検知することができる。

【0064】

表示処理では、プロセッサ２５が、カメラ画像に対象エリアの枠線（枠画像）を合成した監視用カメラ画像（表示情報）を生成して、その監視用カメラ画像をレコーダ３に出力する（図４参照）。これにより、監視端末４やユーザ端末６がレコーダ３にアクセスすることで監視用カメラ画像を表示させることができる。この表示処理では、対象エリアの枠線が、異常検知処理の検知結果および除外判定処理の判定結果に応じた表示形態（黒色、赤色、灰色）で描画される。

【0065】

本実施形態では、除外判定処理でカメラ画像を異常検知処理の対象から除外しない判定がなされ、かつ、異常検知処理で対象エリアの異常が検知されない通常状態では、対象エリアの枠線が黒色で描画される（図２（Ａ），図５（Ａ），（Ｂ）参照）。一方、異常検知処理で対象エリアの異常が検知されて異常状態に遷移すると、対象エリアの枠線が赤色に変化する（図２（Ｂ），図５（Ａ）参照）。また、除外判定処理でカメラ画像を異常検知処理の対象から除外する判定がなされて除外状態に遷移すると、対象エリアの枠線が灰色に変化する（図２（Ｃ），図５（Ｂ）参照）。

【0066】

報知処理では、プロセッサ２５が、異常検知処理で対象エリアの異常が検知されると、異常が検知されたことを監視者に報知するための報知情報を生成して出力する。この報知情報は、所定の発報条件が満たされた場合に出力される。本実施形態では、発報条件として、順次入力されるカメラ画像に関して異常が検知された状態（異常状態）が所定時間以上継続した場合に、報知情報を出力する。なお、報知情報には、発報時刻や、カメラ１の識別情報などが含まれる。

【0067】

また、本実施形態では、異常を検知したことを監視者に報知するための報知情報として、異常検知のメッセージを含む電子メールがユーザ端末６に送信される（図４，図５（Ａ）参照）。また、報知情報として、警告灯５に報知動作（点灯や点滅）を行うように指示する制御情報が警告灯５に送信される（図４，図５（Ａ）参照）。

【0068】

また、報知処理では、プロセッサ２５が、除外判定処理でカメラ画像を異常検知処理の対象から除外する判定がなされ、さらに、その状態が所定時間以上継続した場合に、除外状態、すなわち、異常検知が実施されない状態が長時間継続していることを監視者に報知するための報知情報として、連続除外状態のメッセージを含む電子メールがユーザ端末６に送信される（図４，図５（Ｂ）参照）。

【0069】

また、本実施形態では、連続除外状態に遷移した後に、除外判定処理でカメラ画像を異常検知処理の対象から除外しない判定がなされると、連続除外状態が解除されたこと、すなわち、異常検知が実施される状態に復帰したことを監視者に報知するための報知情報として、連続除外状態解除のメッセージを含む電子メールがユーザ端末６に送信される（図４，図５（Ｂ）参照）。

【0070】

このように本実施形態では、カメラ画像を異常検知処理の対象から除外する状態（除外状態）が所定時間以上継続した場合に、監視者に対する報知が行われる。これにより、監視者が、除外状態、すなわち、異常検知処理が実施されていないことを把握することができる。また、降雨や降雪の場合のように長時間継続する除外対象事象の場合には、監視者に対する報知が行われるが、列車の通過の場合のように報知が不要で短時間に解消される除外対象事象の場合には、監視者に対する報知が行われないため、無用な報知を抑制することができる。

【0071】

なお、本実施形態では、監視サーバ２が、カメラ画像に対象エリアの枠線を合成した監視用カメラ画像を生成してレコーダ３に送信するものとしたが、カメラ画像と、そのカメラ画像上での対象エリアの位置情報と、対象エリアの枠線の表示形態（色など）に関する情報とを、表示情報としてレコーダ３に送信するものとしてもよい。この場合、監視端末４やユーザ端末６において、レコーダ３に蓄積された表示情報に基づいて、カメラ画像に対象エリアの枠線を合成する処理を行うことで、監視用カメラ画像が表示される。

【0072】

次に、監視サーバ２の表示部２２に表示されるエリア設定画面について説明する。図６は、エリア設定画面を示す説明図である。

【0073】

監視サーバ２では、自装置の動作条件などに関する操作画面が表示部２２に表示される。本実施形態では、操作画面の１つとして、異常検知処理の対象エリアを設定するためのエリア設定画面が表示部２２に表示される。

【0074】

このエリア設定画面では、カメラ１により監視エリアを撮影したカメラ画像が表示され、管理者が、カメラ画像上で対象エリアの範囲を指定することができる。図６に示す例では、対象エリアの範囲を表す多角形の頂点の位置を入力することで、対象エリアの範囲が指定される。これにより、カメラ画像上に対象エリアの範囲を表す枠線（枠画像）が重畳表示される。なお、カメラ１がＰＴＺ機能により、複数の監視エリアを撮影する場合には、そのＰＴＺ動作後の各監視エリアに対して、異常検知処理の対象エリアをそれぞれ設定することができる。

【0075】

ここで、異常検知処理では、軌道周辺の異常、すなわち、落石、土砂流入、雪崩などにより発生した軌道上の支障物により列車の安全な通行に支障がある状態を検知するため、異常検知処理の対象エリアは、所要の範囲の軌道（レール）を取り囲むように設定される。

【0076】

なお、本実施形態では、管理者が監視サーバ２を直接操作して対象エリアの範囲を指定するものとしたが、管理端末（図示せず）が監視サーバ２にアクセスして、管理者が管理端末を操作して対象エリアの範囲を指定するものとしてもよい。

【0077】

次に、監視サーバ２で行われる除外判定処理について説明する。図７は、除外判定処理の概要を示す説明図である。

【0078】

監視サーバ２では、カメラ１から送信されたリアルタイムのカメラ画像に対する画像解析により、リアルタイムのカメラ画像を異常検知処理の対象から除外するか否かを判定する除外判定処理が行われる。この除外判定処理では、リアルタイムのカメラ画像とその直前のカメラ画像とを比較することで被写体の動きを検出して、その被写体の動きに関する動き情報を取得し、その動き情報に基づいて、リアルタイムのカメラ画像を異常検知処理の対象から除外するか否かを判定する。なお、この除外判定処理には、例えば、ブロックマッチングを用いた手法を用いることができる。また、除外判定処理では、動き情報として取得した動き（ベクトル）の方向および大きさに基づいて判定を行うことができる。

【0079】

このような除外判定処理により、リアルタイムのカメラ画像に、異常検知処理での誤検知の原因となる事象として、異常検知処理の対象から除外すべき事象（除外対象事象）が発生している場合に、そのカメラ画像を異常検知処理の対象から除外することができる。

【0080】

ここで、以下のような除外対象事象が発生しているカメラ画像を、除外判定処理により異常検知処理の対象から除外することができる。なお、本実施形態では、除外対象の各事象は識別していないが、各事象の学習データが搭載された識別器等を用いて、各事象の種別を識別できるようにしてもよい。

【0081】

まず、除外対象事象の第１の例は、図７（Ａ）に示すように、カメラ１が旋回やＰＴＺ動作（パン、チルト、ズーム）を行っている場合である。鉄道沿線に設置されたカメラ１は、設置地点より上り側の軌道と下り側の軌道との両方を監視エリアとする場合があり、この場合、監視エリアを切り替えるためにカメラ１が定期的に自動で旋回する。また、通常の監視エリアとは異なるエリアの状況を確認するために、監視者が手動でカメラ１を操作する場合があり、この場合、監視者の操作に応じてカメラ１がＰＴＺ動作を行う。このようなカメラ１が旋回やＰＴＺ動作を行う最中のカメラ画像では、画像が全体的に激しく変化するため、異常検知処理で誤検知が発生する可能性が高い。

【0082】

除外対象事象の第２の例は、図７（Ｂ）に示すように、軌道上を列車が通過している場合である。この場合、列車の車体が軌道を覆うため、軌道周辺の異常を検知することができない。また、列車が通常通りに通過していることから、異常はないものと想定される。

【0083】

除外対象事象の第３の例は、図７（Ｃ）に示すように、激しい降雨や降雪による画像不良が発生している場合である。降雨や降雪が顕著であると、カメラ画像内が、大量の雨滴や雪粒に覆われることで、カメラ画像内の軌道周辺の状態が不鮮明になり、適切な異常検知が難しくなる。

【0084】

除外対象事象の第４の例は、図７（Ｄ）に示すように、列車や自動車のライト（前照灯）の光が照射されることによる画像不良が発生している場合である。カメラ１には、軌道を走行する列車のライトの光が照射され、また、沿道を走行する自動車のライトの光が照射される。このような列車や自動車のライトの光がカメラ１に入射すると、カメラ画像に列車や自動車の移動に伴う顕著な白飛びが発生し、カメラ画像内の軌道周辺の適切な異常検知が難しくなる。なお、列車や自動車が停車している場合は、除外対象事象とはならず、異常検知処理が行われる。

【0085】

除外対象事象の第５の例は、図７（Ｅ）に示すように、カメラ１のレンズの近傍を昆虫などの物体が浮遊することによる画像不良が発生している場合である。カメラ１のレンズの近傍を、昆虫などの動物が飛翔したり、風で舞い上がったポリ袋が通過したりすることがある。この場合、これらの浮遊物が大きく映り込むことで、カメラ画像内の軌道周辺の状態が不鮮明になり、適切な異常検知が難しくなる。なお、昆虫などの浮遊物がカメラ１のレンズに付着した状態は、除外対象事象とはならず、異常検知処理が行われる。

【0086】

なお、本実施形態では、カメラ画像に基づいて除外判定処理を行うものとしたが、カメラ１の旋回やＰＴＺ動作に関する動作情報をカメラ１から取得して、その動作情報に基づいて除外判定処理を行うものとしてもよい。これにより、カメラ１の旋回やＰＴＺ動作の最中に撮影されたカメラ画像を異常検知処理の対象から除外することができる（図７（Ａ）参照）。

【0087】

ところで、これらの除外対象事象は一時的に発生して自然に解消されるものである。一方、軌道周辺の異常、すなわち、落石、土砂流入、雪崩などのように軌道上の支障物により列車の安全な通行に支障が出る状態は、一時的なものではなく、一旦発生すると、作業者が復旧作業を完了するまで継続する。

【0088】

次に、監視サーバ２で行われる異常検知処理について説明する。図８は、異常検知処理の概要を示す説明図である。図８（Ａ）は、学習時の状況を示し、図８（Ｂ）は、運用時の状況を示す。

【0089】

監視サーバ２では、図８（Ｂ）に示すように、入力されたリアルタイムのカメラ画像に基づいて、対象エリアにおける軌道周辺の異常を検知する異常検知処理が行われる。本実施形態では、機械学習（例えばディープラーニング）により生成された識別器（機械学習モデル）を用いて異常検知処理を行う。この異常検知処理により、軌道周辺の異常、すなわち、落石、土砂流入、雪崩などにより発生した軌道上の支障物により列車の安全な通行に支障がある状態を検知することができる。

【0090】

ここで、識別器は、図８（Ａ）に示すように、予め異常状態のカメラ画像および正常状態のカメラ画像を用いて学習が行われる。これにより、図８（Ｂ）に示すように、リアルタイムのカメラ画像が識別器に入力されると、リアルタイムのカメラ画像で異常が検知されたか否かの検知結果が識別器から出力される。なお、実際の異常状態のカメラ画像を取得することは難しいため、正常状態のカメラ画像から擬似的な異常状態のカメラ画像を生成するようにしてもよい。

【0091】

次に、監視サーバ２の動作手順について説明する。図９は、監視サーバ２の動作手順を示すフロー図である。なお、監視サーバ２では、各時刻のカメラ画像（フレーム）がカメラ１から順次入力される。

【0092】

監視サーバ２では、まず、プロセッサ２５が、カメラ１から入力されるリアルタイムのカメラ画像を取得する（ＳＴ１０１）。次に、プロセッサ２５が、入力されたリアルタイムのカメラ画像を異常検知処理の対象から除外するか否かを判定する除外判定処理を行う（ＳＴ１０２）。

【0093】

ここで、リアルタイムのカメラ画像を異常検知処理の対象から除外しない場合には（ＳＴ１０３でＮｏ）、次に、プロセッサ２５が、リアルタイムのカメラ画像に基づいて対象エリアの異常を検知する異常検知処理を行う（ＳＴ１０４）。

【0094】

ここで、対象エリアの異常を検知すると（ＳＴ１０５でＹｅｓ）、次に、プロセッサ２５が、異常が検知された状態（異常状態）が所定時間以上継続したか否かを判定する（ＳＴ１０６）。

【0095】

ここで、異常状態が所定時間以上継続した場合には（ＳＴ１０６でＹｅｓ）、プロセッサ２５が、異常を検知したことを監視者に報知するための報知情報として、異常検知のメッセージを含む電子メールをユーザ端末６に送信する（ＳＴ１０７）。また、プロセッサ２５が、報知情報として、報知動作を行うように指示する制御情報（報知情報）を警告灯５に送信する（ＳＴ１０８）。

【0096】

次に、プロセッサ２５が、カメラ１からのカメラ画像の入力が終了したか否かを判定する（ＳＴ１１５）。ここで、カメラ１からのカメラ画像の入力が終了していない場合には（ＳＴ１１５でＮｏ）、ＳＴ１０１に戻り、次のカメラ画像（フレーム）の処理に進む。

【0097】

また、リアルタイムのカメラ画像を異常検知処理の対象から除外する場合には（ＳＴ１０３でＹｅｓ）、次に、プロセッサ２５が、カメラ画像が異常検知処理の対象から除外された状態（除外状態）が所定時間以上継続したか否かを判定する（ＳＴ１０９）。

【0098】

ここで、除外状態が所定時間以上継続した場合には（ＳＴ１０９でＹｅｓ）、プロセッサ２５が、連続除外状態に設定する（ＳＴ１１０）。次に、プロセッサ２５が、除外状態が長時間継続していることを監視者に報知するための報知情報として、除外状態、すなわち、異常検知が実施されない状態が長時間継続している旨の連続除外状態のメッセージを含む電子メールをユーザ端末６に送信する（ＳＴ１１１）。そして、ＳＴ１１５に進む。

【0099】

また、対象エリアの異常が検知されない場合には（ＳＴ１０５でＮｏ）、次に、プロセッサ２５が、連続除外状態が設定されているか否かを判定する（ＳＴ１１２）。

【0100】

ここで、連続除外状態が設定されている場合には（ＳＴ１１２でＹｅｓ）、プロセッサ２５が、連続除外状態を解除する（ＳＴ１１３）。次に、プロセッサ２５が、連続除外状態が解除されたことを監視者に報知するための報知情報として、連続除外状態が解除されたこと、すなわち、異常検知処理が実施される状態に復帰した旨の連続除外状態解除のメッセージを含む電子メールをユーザ端末６に送信する（ＳＴ１１４）。そして、ＳＴ１１５に進む。

【0101】

なお、本実施形態では、除外状態が所定時間以上継続した場合に、除外状態が長時間継続している旨の連続除外状態のメッセージを含む電子メールをユーザ端末６に送信するものとしたが（ＳＴ１１１）、このとき、監視端末４に表示される監視用カメラ画像において、対象エリアの枠線が、除外状態の表示形態（灰色の線）とは異なる表示形態（例えば灰色の太線）で描画されるようにしてもよい。

【0102】

また、除外状態が所定時間以上継続したか否かの判定（ＳＴ１０９）の際のしきい値となる時間は、監視サーバ２の操作画面で管理者が適宜な時間（例えば数分間、数十分間、１時間など）に指定できるようにするとよい。

【0103】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0104】

本発明に係る沿線監視装置および沿線監視システムは、異常検知処理において誤検知の可能性が高いカメラ画像を、予め異常検知処理の対象から除外することで、異常検知処理での誤検知を抑制することができる効果を有し、鉄道沿線に設置されたカメラから出力されるカメラ画像に基づいて軌道周辺の異常を検知する処理をプロセッサにより実行する沿線監視装置および沿線監視システムなどとして有用である。

【符号の説明】

【0105】

１ カメラ
２ 監視サーバ（沿線監視装置、情報処理装置）
３ レコーダ
４ 監視端末
５ 警告灯
６ ユーザ端末
２１ 通信部
２２ 表示部
２３ 操作入力部
２４ メモリ
２５ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】