IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士電機株式会社の特許一覧

特開2024-137377監視装置、監視システム、監視方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137377
(43)【公開日】2024-10-07
(54)【発明の名称】監視装置、監視システム、監視方法、及びプログラム
(51)【国際特許分類】
   B61L 23/00 20060101AFI20240927BHJP
   B61B 1/02 20060101ALI20240927BHJP
   H04N 7/18 20060101ALI20240927BHJP
【FI】
B61L23/00 Z
B61B1/02
H04N7/18 D
H04N7/18 K
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023048876
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】鈴木 崇大
(72)【発明者】
【氏名】石河 範明
(72)【発明者】
【氏名】野間 拓耶
(72)【発明者】
【氏名】植草 秀明
【テーマコード(参考)】
3D101
5C054
5H161
【Fターム(参考)】
3D101AA03
3D101AA05
3D101AA12
3D101AA26
3D101AB11
3D101AD11
5C054CA04
5C054CC02
5C054FC12
5C054FE18
5C054FE28
5C054HA19
5C054HA26
5H161AA01
5H161MM01
5H161MM15
5H161NN10
(57)【要約】
【課題】監視装置の誤検出を抑制する。
【解決手段】監視装置2は、駅プラットホーム6に停車している鉄道車両5と、鉄道車両5の周辺環境7とが撮像された撮像画像31に存在する鉄道車両5の停止位置Pを取得する停止位置取得部11と、鉄道車両5の停止位置Pに基づいて撮像画像31に監視領域42を動的に設定する監視領域制御部13と、を備え、鉄道車両5の停止位置Pは撮像画像31に存在する先頭車両5aの先端及び最後尾車両5bの後端のいずれかである。
【選択図】図2
【特許請求の範囲】
【請求項1】
駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境とが撮像された撮像画像に存在する前記鉄道車両の停止位置を取得する停止位置取得部と、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定する監視領域制御部と、
を備え、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、監視装置。
【請求項2】
前記停止位置取得部は、画像処理技術を用いて、基準となる参照画像と、前記鉄道車両が存在する前記撮像画像との比較により前記停止位置を取得する、請求項1に記載の監視装置。
【請求項3】
前記停止位置取得部は、画像処理技術及び深層学習技術のいずれかを用いて、前記鉄道車両が存在する前記撮像画像から前記鉄道車両の車側灯を検出し、検出された情報に基づいて前記鉄道車両の前記停止位置を取得する、請求項1に記載の監視装置。
【請求項4】
前記停止位置取得部は、画像処理技術及び深層学習技術のいずれかを用いて、前記鉄道車両が存在する前記撮像画像からホームドアの開扉状態を検出し、検出された情報に基づいて前記鉄道車両の前記停止位置を取得する、請求項1に記載の監視装置。
【請求項5】
前記停止位置取得部は、画像処理技術及び深層学習技術のいずれかを用いて、前記鉄道車両が存在する前記撮像画像から前記鉄道車両の車両番号及び編成番号のいずれかを検出し、検出された情報に基づいて前記鉄道車両の前記停止位置を取得する、請求項1に記載の監視装置。
【請求項6】
前記監視領域制御部は、前記鉄道車両の前記停止位置に基づいて前記撮像画像における前記駅プラットホームを除く前記周辺環境の領域を非監視領域に設定する、請求項1に記載の監視装置。
【請求項7】
請求項1から6のいずれか一項に記載の監視装置と、
前記駅プラットホームと、前記駅プラットホームを除く前記周辺環境とを撮像する複数の撮像装置と、
を備え、
複数の前記撮像装置は前記駅プラットホームの先頭から最後尾にかけて配置されており、
前記監視装置は、画像処理技術、深層学習技術、及び前記鉄道車両の運行情報のいずれかを用いて、前記監視領域の設定が必要な前記撮像装置を決定する撮像装置決定部を備える、監視システム。
【請求項8】
監視装置により実行される監視方法であって、
駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境とが撮像された撮像画像に存在する前記鉄道車両の停止位置を取得するステップと、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定するステップと、
を含み、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、監視方法。
【請求項9】
監視装置のコンピュータで読み取り可能なプログラムであって、
駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境とが撮像された撮像画像に存在する前記鉄道車両の停止位置を取得するステップと、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定するステップと、
を前記コンピュータに実行させ、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視装置、監視システム、監視方法、及びプログラムに関する。
【背景技術】
【0002】
従来から、監視対象を監視する監視装置が知られている(例えば特許文献1)。
【0003】
特許文献1には、駅プラットホーム上の監視対象者のホーム内の動きを追跡し、監視対象者がホーム上の危険領域に侵入した場合に監視対象者が危険領域に侵入した事を通知することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003-224844号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
先頭車両及び最後尾車両を撮像するカメラには駅プラットホーム上の監視対象者以外に、駅プラットホームを除く周辺環境にいる人(例えば踏切を渡る人又は道路を歩行する人等)が映り込む。特許文献1に記載の技術では、駅プラットホームを除く周辺環境にいる人の映り込みにより、駅プラットホーム上の危険領域に人が侵入したと誤検出する可能性がある。
【0006】
そこで、本開示の技術は、上記課題に鑑み、監視装置の誤検出を抑制することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本開示の一態様によれば、
駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境と、が撮像された撮像画像に存在する前記鉄道車両の停止位置を取得する停止位置取得部と、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定する監視領域制御部と、
を備え、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、監視装置が提供される。
【発明の効果】
【0008】
本開示の一態様によれば、監視装置の誤検出を抑制することができる。
【図面の簡単な説明】
【0009】
図1】第1実施形態に係る監視システムの構成図である。
図2】第1実施形態に係る監視装置の機能構成図である。
図3】第1実施形態に係る撮像画像を示す図(a)~(c)である。
図4】第1実施形態に係る監視装置のメインフローチャートである。
図5A】実施例1及び2に係る監視装置のサブフローチャート(a)~(b)である。
図5B】実施例3及び4に係る監視装置のサブフローチャート(c)~(d)である。
図5C】実施例5に係る監視装置のサブフローチャート(e)である。
図6】実施例1に係る参照画像を示す図(a)~(b)である。
図7】実施例1に係る鉄道車両検出画像を示す図(a)~(b)である。
図8】実施例1に係る監視領域設定画像を示す図(a)~(c)である。
図9】実施例1に係る認識画像を示す図(a)~(b)である。
図10】実施例2に係る車側灯検出画像及び鉄道車両検出画像を示す図(a)~(b)である。
図11】実施例4に係る車両番号又は編成番号検出画像を示す図である(a)~(b)である。
図12】第2実施形態に係る深層学習技術を用いた監視領域設定方法の一例を示す図である(a)~(c)である。
図13A】実施例6及び7に係る監視装置のサブフローチャート(a)~(b)である。
図13B】実施例8及び9に係る監視装置のサブフローチャート(c)~(d)である。
図13C】実施例10に係る監視装置のサブフローチャート(e)である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本開示の実施形態について説明する。各図面において、同一構成要素には同一符号を付与し、重複した説明を適宜省略する。
【0011】
<用語の定義>
まず、本開示の用語の定義について説明する。
【0012】
「車側灯」とは、鉄道車両のドアの開閉状態又は機器の動作の確認のため、鉄道車両の側面に設置される灯火である。車側灯は、鉄道車両のドアが開いている間、例えば赤色灯に点灯し続ける。
【0013】
「ホームドア」とは、駅プラットホームからの転落事故又は鉄道車両との接触事故等を防止するため、駅プラットホームの線路に面する部分に設置される可動式の開口部を持つ仕切りである。一般にホームドアは駅プラットホームに複数設置されるが、鉄道車両の編成数又は種類に応じて、開扉するホームドアと、開扉しないホームドアとが存在する。
【0014】
「鉄道車両の編成数」とは、鉄道車両の台数である。「鉄道車両の種類」とは、例えば、普通、快速、又は特急等の鉄道車両の種別である。
【0015】
「車両番号」とは、鉄道車両の1両ごとに付与される固有の記号番号であり、車番又は車号と略されることもある。車両番号は主に保守整備に使用される。車両番号は例えば鉄道車両の前面又は側面に表示される。
【0016】
「編成番号」とは、鉄道車両の編成を表す記号番号である。編成番号は例えば鉄道車両の前面又は側面に表示される。
【0017】
「鉄道車両の停止位置」とは、駅プラットホームに停車している先頭車両の先端及び最後尾車両の後端のいずれかである。1両編成の場合、鉄道車両の先端及び後端のいずれかである。鉄道車両の停止位置は、例えば監視カメラによって撮像された撮像画像の画像座標によって表される。
【0018】
「運行情報」とは、鉄道車両の時刻表情報又はダイヤ情報(ダイヤグラム情報)である。運行情報には、例えば、列車番号、列車種別、駅名、出発時刻、及び到着時刻等が含まれる。列車番号とは、個々の列車に付与される数字及び記号である。列車番号は主に運行管理に使用される。
【0019】
「乗務員」とは、鉄道車両の運転士又は車掌である。「駅係員」とは、駅の改札、窓口、又は駅プラットホーム等で旅客サービスに従事する駅員である。
【0020】
「監視カメラ」とは、駅プラットホーム上にいる監視対象者を監視するカメラであり、撮像装置の一例である。
【0021】
「監視領域設定カメラ」とは、駅プラットホームを除く周辺環境にいる人を駅プラットホーム上にいる人と誤って検出することを防止するため、監視領域の設定が必要な監視カメラである。駅プラットホームの先頭側又は最後尾側に設置される監視カメラが監視領域設定カメラの候補となるが、駅プラットホームに到着している鉄道車両が映らない監視カメラは、監視領域の設定を必要としないため、監視領域設定カメラでなくてもよい。
【0022】
「鉄道車両の周辺環境」とは、鉄道車両の周囲にある環境である。鉄道車両の周辺環境には、駅プラットホーム、及び、駅プラットホームを除く周辺環境が含まれる。駅プラットホームを除く周辺環境には、駅プラットホームの付近にある、例えば、踏切、道路、又は線路等が含まれる。
【0023】
「監視領域を動的に設定」とは、駅プラットホームに到着してくる鉄道車両の停止位置に応じて撮像画像内の監視領域を動的に変更可能であることを意味する。
【0024】
「駅プラットホーム上にいる人」には、鉄道車両に乗り降りする乗降客、鉄道車両を待つ待機客、又は乗降客を見送る見送客等の駅プラットホーム上にいる人の全てが含まれる。
【0025】
「駅プラットホームを除く周辺環境にいる人」には、例えば、踏切を渡る人、道路を歩行する人、又は線路で作業する作業員等が含まれる。
【0026】
「監視対象者」とは、乗務員又は駅係員による監視が必要な人である。監視対象者としては、例えば、乗降客、車椅子客、又は白杖客等が挙げられる。
【0027】
「参照画像」とは、画像処理で使用される基準画像である。参照画像には、例えば、背景差分法では鉄道車両が存在しない背景画像、又はテンプレートマッチングではテンプレート画像等が含まれる。
【0028】
「撮像画像」とは、例えば監視カメラによって撮影された映像におけるフレーム画像である。
【0029】
「監視対象者の位置」とは、撮像画像に存在する監視対象者の位置である。監視対象者の位置は、例えば人を囲む矩形枠の左上角の画像座標によって表される。
【0030】
「監視対象者の属性」とは、撮像画像に存在する監視対象者の種別である。監視対象者の属性には、例えば、乗降客、車椅子客、又は白杖客等が含まれる。監視対象者の属性は、鉄道車両のドアの開閉操作、車椅子客の介助サービス、又は白杖客の見守りサービス等に使用される。
【0031】
<第1実施形態>
以下、第1実施形態に係る監視システムについて詳述する。
【0032】
(監視システムの構成例)
図1は第1実施形態に係る監視システム1の構成図であり、図2は第1実施形態に係る監視装置2の機能構成図である。図2には、駅プラットホーム6と、駅プラットホーム6に停車している鉄道車両5とが示されている。
【0033】
監視システム1は、鉄道車両5の乗務員又は駅係員が駅プラットホーム6上にいる監視対象者を監視するための映像表示システムである。
【0034】
図1に示すように、監視システム1は、監視装置2と、監視カメラ3と、監視モニタ4と、を主体に構成される。本例では、5台の監視カメラ3が例示されているが、監視カメラ3の台数に制限はなく、監視カメラ3は1台であってもよい。監視装置2、監視カメラ3、及び監視モニタ4は、有線又は無線を介して通信可能に接続される。
【0035】
監視カメラ3は、例えばネットワーク通信回路を内蔵したネットワークカメラであるが、アナログカメラであってもよい。監視カメラ3は、駅プラットホーム6の上方に設置される。監視カメラ3は、駅プラットホーム6と、駅プラットホーム6の周辺環境と、を撮像した撮像画像を出力する。監視カメラ3は、有線又は無線を通じて撮像画像を監視装置2へ送信する。
【0036】
監視装置2はコンピュータを主体に構成される。監視装置2は、例えば、CPU20(Central Processing Unit)、ROM21(Read Only Memory)、及びRAM22(Random Access Memory)等をバス24に接続して構成される。
【0037】
監視装置2は、CPU20の代わりに又はCPU20に加えて、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等の他のプロセッサを備えていてもよい。
【0038】
監視装置2はバス24に接続した通信機23を備えていてもよい。また、通信機23は監視装置2の外部に配置されてもよい。また、監視装置2は、ROM21又はRAM22等のメモリに加えて、HDD(Hard Disk Drive)又はSSD(Solid State Drive)等のストレージを備えていてもよい。
【0039】
CPU20は、ROM21等に記憶されているプログラムをRAM22にロードし、プログラムを実行することで各種処理を実行する。
【0040】
通信機23は、LAN(Local Area Network)、WAN(Wide Area Network)、又は移動体通信網等のネットワークを介して通信可能なネットワーク通信回路を備える。通信機23は、ネットワークを通じて監視カメラ3によって撮像された撮像画像を受信する。
【0041】
CPU20は、通信機23で受信した撮像画像をRAM22に読み出し、撮像画像を画像処理又は深層学習を行うことで駅プラットホーム6上にいる人を認識する。CPU20は、撮像画像から検出した監視対象者の位置及び属性の少なくとも一方を特定した映像信号を生成して監視モニタ4に出力する。
【0042】
監視モニタ4は、監視装置2から映像信号を受信して映像信号を表示するディスプレイである。監視モニタ4は複数の監視カメラ3の映像を分割して表示するが、複数の監視モニタ4を用意し、対応する監視カメラ3の映像を表示させてもよい。
【0043】
監視モニタ4は、例えば駅プラットホーム6の先頭6a又は最後尾6bに設置され、監視モニタ4の映像が乗務員又は駅係員によって確認される。ワンマン運転の場合は、監視モニタ4を鉄道車両5内の乗務員室に設置し、運転士のみが監視モニタ4の映像を確認することもある。また、監視モニタ4を運転指令所内に設置し、駅係員が監視モニタ4の映像を確認してもよい。
【0044】
監視モニタ4が監視対象者の位置及び属性の少なくとも一方を表示することで、駅プラットホーム6上にいる、乗降客、車椅子客、又は白杖客等の監視対象者の存在を乗務員又は駅係員に通知することができる。
【0045】
乗務員又は駅係員は、監視モニタ4に表示される乗降客を確認しながら鉄道車両5のドアの安全な開閉操作を行う。また、乗務員又は駅係員は、監視モニタ4に表示される車椅子客の介助サービス又は白杖客の見守りサービス等を行う。
【0046】
図2に示すように、本例では4両編成の鉄道車両5が駅プラットホーム6に停車している。鉄道車両5は、先頭車両5a、最後尾車両5b、及び中間車両5cのいずれかである。
【0047】
また本例では、5台の監視カメラ3が駅プラットホーム6の先頭6aから最後尾6bにかけて順に設置されている。5台の監視カメラ3の撮像方向は、いずれも鉄道車両5の進行方向とは反対側に向けられているが、鉄道車両5の進行方向に向けられてもよい。
【0048】
或いは、駅プラットホーム6の先頭6a側に設置される監視カメラ3の撮像方向を鉄道車両5の進行方向に向け、駅プラットホーム6の最後尾6b側に設置される監視カメラ3の撮像方向を鉄道車両5の進行方向とは反対側に向けてもよい。
【0049】
本例では、第1監視カメラ3a及び第2監視カメラ3bが駅プラットホーム6の最後尾6b側に配置され、第4監視カメラ3d及び第5監視カメラ3eが駅プラットホーム6の先頭6a側に配置される。また第3監視カメラ3cは駅プラットホーム6の中央6c側に配置される。
【0050】
本例では、第1監視カメラ3aの第1撮像範囲30aには、鉄道車両5が映らないが、鉄道車両5の編成数又は種類に応じて、最後尾車両5bが映る場合がある。例えば5両編成又は普通列車では、第1監視カメラ3aの第1撮像範囲30aに最後尾車両5bが映る。
【0051】
また、第2監視カメラ3bの第2撮像範囲30bには、最後尾車両5bが映るが、鉄道車両5の編成数又は種類に応じて、最後尾車両5b及び中間車両5cが映る場合がある。例えば5両編成又は普通列車では、第2監視カメラ3bの第2撮像範囲30bに最後尾車両5b及び中間車両5cが映る。
【0052】
以上のように監視システム1では、監視装置2が監視カメラ3の映像を解析して駅プラットホーム6上にいる人を認識し、監視モニタ4が監視対象者の位置及び属性の少なくとも一方を表示した映像を表示することで乗降客の存在を乗務員又は駅係員に通知する。
【0053】
しかしながら、鉄道車両5の編成数が4両から5両に変わったり、又は鉄道車両5の種類が快速から普通に変わったり等、駅プラットホーム6に到着する鉄道車両5の違いに依って鉄道車両5の停止位置が変わる。
【0054】
図3は第1実施形態に係る撮像画像31の一例を示す図(a)~(c)である。撮像画像31は、例えば第2監視カメラ3bによって撮像された画像である。図3(a)に示すように撮像画像31では、鉄道車両5の停止位置Pが奥側に映り、図3(b)に示す撮像画像31では、鉄道車両5の停止位置Pが手前側に映る。また図3(a)及び図3(b)には駅プラットホーム6を除く周辺環境7である踏切7aが映り込んでいる。
【0055】
例えば鉄道車両5の停止位置Pが手前側に映る場合、図3(c)に示すように踏切にいる人8が監視カメラ3の撮像範囲30に映り込む。踏切にいる人8が映り込むと、監視装置2は踏切にいる人8を監視対象者として誤検出し、乗務員又は駅係員に誤った通知を行う可能性がある。
【0056】
そこで、監視装置2は、撮像画像31から鉄道車両5の停止位置Pを検出し、停止位置Pに基づいて撮像画像31に監視領域を動的に設定することで、駅プラットホーム6を除く周辺環境7にいる人の誤検出を抑制する。
【0057】
(監視装置の機能構成例)
以下、第1実施形態に係る監視装置2の機能構成について詳述する。図2を再び参照すると、監視装置2は、撮像装置決定部10、停止位置取得部11、車両判別部12、監視領域制御部13、人認識部14、及び表示部15を備える。
【0058】
これらの機能部は、監視装置2のコンピュータによって読み取り可能なプログラムとして構成されてもよいし、又は監視装置2を構成する処理回路として構成されてもよい。
【0059】
また、これらの機能部の一部は、監視装置2とは異なる外部サーバ等が担当してもよい。また、本開示において、撮像装置決定部10及び車両判別部12は必ずしも必須の構成要素ではない。
【0060】
撮像装置決定部10は、監視領域の設定が必要な監視領域設定カメラを決定する。監視領域設定カメラは、駅プラットホーム6の先頭6a側又は最後尾6b側に設置される監視カメラ3が候補となる。しかしながら、駅プラットホーム6に停車している鉄道車両5が映らない監視カメラ3は、監視領域の設定を必要としないため、監視領域設定カメラでなくてもよい。
【0061】
そこで、撮像装置決定部10は、画像処理技術を用いて又は鉄道車両5の運行情報を用いて駅プラットホーム6に停車している鉄道車両5を認識することで、監視領域設定カメラを決定する。図2に示す例では、第1監視カメラ3aには駅プラットホーム6に停車している鉄道車両5が映らないため、撮像装置決定部10は第1監視カメラ3aを監視領域設定カメラに決定しない。一方、第2監視カメラ3bには駅プラットホーム6に停車している鉄道車両5が映るため、撮像装置決定部10は第2監視カメラ3bを監視領域設定カメラに決定する。
【0062】
停止位置取得部11は、画像処理技術を用いて又は鉄道車両5の運行情報を用いて、駅プラットホーム6に停車している鉄道車両5の停止位置Pを取得する。鉄道車両5の停止位置Pは、駅プラットホーム6に停車している先頭車両5aの先端又は最後尾車両5bの後端である。鉄道車両の停止位置Pは、監視カメラ3によって撮像された撮像画像31の画像座標によって表される。
【0063】
車両判別部12は、鉄道車両5の停止位置Pに基づいて鉄道車両5の編成数又は種類を判別する。
【0064】
監視領域制御部13は、鉄道車両5の停止位置Pに基づいて撮像画像31に監視領域を動的に設定する。
【0065】
人認識部14は、画像処理技術を用いて又は深層学習技術を用いて、監視領域の中から駅プラットホーム6上にいる人を認識する。また人認識部14は、画像処理技術を用いて又は深層学習技術を用いて、認識した人のうち監視対象者の位置及び属性の少なくとも一方を特定した認識画像を生成する。
【0066】
表示部15は、認識画像を映像信号として監視モニタ4に出力することで、監視映像を監視モニタ4に表示させる。
【0067】
(監視装置の動作例)
以下、第1実施形態に係る監視装置2の主要動作について詳述する。図4は第1実施形態に係る監視装置2のメインフローチャートである。
【0068】
メインフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0069】
また、メインフローチャートのステップの一部は、監視装置2とは異なる外部サーバ等の他の情報処理装置が担当してもよい。
【0070】
監視装置2は、駅プラットホーム6への鉄道車両5の到着信号を受領すると、以下の処理を開始する。
【0071】
<ステップS10>
監視装置2は、監視カメラ3から撮像画像31を取得する。
【0072】
<ステップS11>
監視装置2は、監視領域の設定が既に有るかを判定する。監視領域の設定が既に有ると判定された場合(ステップS11のYES)、監視領域の設定が不要であるため、監視装置2はステップS14に進む。監視領域の設定が無いと判定された場合(ステップS11のNO)、監視領域を設定するため、監視装置2はステップS12に進む。
【0073】
<ステップS12>
監視装置2は、撮像画像31を画像処理することで、又は駅プラットホーム6に停車している鉄道車両5の運行情報を取得することで、鉄道車両5の停止位置Pを取得する。
【0074】
<ステップS13>
監視装置2は、鉄道車両5の停止位置Pに基づいて撮像画像31に監視領域を設定する。監視装置2は、駅プラットホーム6を除く周辺環境7を非監視領域に設定することで監視領域を設定する。或いは、監視装置2は、鉄道車両5と駅プラットホーム6を監視領域に設定する。
【0075】
<ステップS14>
監視装置2は、画像処理技術を用いて又は深層学習技術を用いて、監視領域の中から駅プラットホーム6上にいる人を認識する。また監視装置2は、画像処理技術を用いて又は深層学習技術を用いて、認識した人のうち監視対象者の位置及び属性の少なくとも一方を特定した認識画像を生成する。人認識技術は、公知のものを利用することができる。
【0076】
<ステップS15>
監視装置2は、検出された人の確認が必要であるかを判定する。確認が必要な人とは、監視対象者を意味する。検出された人が監視対象者でないと判定された場合(ステップS15のNO)、監視装置2はステップS17に進む。検出された人が監視対象者であると判定された場合(ステップS15のYES)、監視装置2はステップS16に進む。
【0077】
<ステップS16>
監視装置2は、監視対象者の位置及び属性の少なくとも一方を特定した認識結果(すなわち、認識画像)を監視モニタ4に出力することで、監視対象者の位置及び属性の少なくとも一方を乗務員又は駅係員に通知する。
【0078】
<ステップS17>
監視装置2は、鉄道車両5の出発信号を受領したかを判定する。鉄道車両5の出発信号を受領したと判定された場合(ステップS17のYES)、監視装置2はステップS18に進む。鉄道車両5の出発信号を受領していないと判定された場合(ステップS17のNO)、監視装置2はステップS10に戻り、次の撮像画像31を取得する。
【0079】
<ステップS18>
鉄道車両5の出発信号を受領したと判定された場合、監視装置2は監視領域の設定を消去する。そして鉄道車両5が出発し、監視装置2は処理を終了する。
【0080】
監視装置2は、駅プラットホーム6への鉄道車両5の到着信号を受領すると、再びステップS10~ステップS18までの処理を繰り返すことで、鉄道車両5の停止位置Pに応じて監視領域を動的に設定する(動的に変更する)。
【0081】
なお、ステップS10とステップS11との間で、又はステップS10の前に、監視装置2は監視領域設定カメラの決定処理を行ってもよい。監視領域設定カメラの決定処理については第3実施形態で詳述する。
【0082】
以下では、ステップS12(停止位置の取得処理)、ステップS13(監視領域の設定処理)、及びステップS14(人認識処理)の実施例を具体的に説明するが、本開示の技術は以下の実施例により限定されるものではない。例えば、以下の実施例では、駅プラットホーム6に停車している鉄道車両5の停止位置Pが最後尾車両5bの後端としているが、先頭車両5aの先端であってもよい。
【0083】
(実施例1:撮像画像(鉄道車両)に基づく監視領域設定)
実施例1では、画像処理の一つである背景差分法を用いて撮像画像31から鉄道車両5の停止位置Pを検出することで監視領域を設定する。
【0084】
図5A(a)には実施例1に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0085】
<ステップS12>
図5A(a)に示すように、実施例1に係るメインフローチャートのステップS12(停止位置の検出処理)はステップS20及びステップS21により構成される。
【0086】
<<ステップS20>>
監視装置2は、基準となる参照画像32として鉄道車両5が存在しない背景画像を予め用意しておく。図6(a)には参照画像32が示されている。そして、監視装置2は参照画像32のうち鉄道車両5の停車領域を除く特定領域40をマスク処理する。図6(b)にはマスク処理した参照画像32が示されている。なお、監視装置2はマスク処理した参照画像32を予め用意しておいてもよい。
【0087】
監視装置2は、鉄道車両5の停車領域を除く特定領域40をマスク処理した参照画像32を生成することで、駅プラットホーム6上にいる人又は外乱の影響による鉄道車両5の誤検出を抑制することができる。
【0088】
<<ステップS21>>
監視装置2は、鉄道車両5の停車領域を除く特定領域40をマスク処理した参照画像32と、図3(a)又は図3(b)に示す撮像画像31と、を差分することで、鉄道車両5を検出する。図7(a)又は図7(b)には鉄道車両検出画像33が示されている。
【0089】
そして監視装置2は、検出した最後尾車両5bの後端を鉄道車両5の停止位置Pとして検出する。鉄道車両5の停止位置Pは、例えば鉄道車両検出画像33に存在する鉄道車両5の領域の左上角の画像座標(X座標のみでもよい)である。
【0090】
<ステップS13>
監視装置2は、鉄道車両5の停止位置Pに基づいて駅プラットホーム6を除く周辺環境の領域40aを非監視領域に設定する。例えば図7(a)又は図7(b)に示すように、監視装置2は、鉄道車両5の停止位置Pを表す停止線40bと、鉄道車両5の領域の下辺を延ばした傾斜延長線40cとにより囲まれる周辺環境の領域40aを非監視領域に設定する。図8(a)又は図8(b)には非監視領域41が示されている。
【0091】
監視装置2は、撮像画像31の非監視領域41をマスク処理し、非監視領域41を除く領域を監視領域に設定する。図8(a)又は図8(b)にはマスク処理した非監視領域41を除く監視領域に設定した監視領域設定画像34が示されている。
【0092】
或いは、監視装置2は、鉄道車両5の停止位置Pを表す停止線40bと、鉄道車両5の領域の左下角からX方向に延びる水平延長線40dとにより囲まれる、鉄道車両5及び駅プラットホーム6の一部を含む領域を監視領域に設定してもよい。図8(c)には監視領域42が示されている。
【0093】
図8(c)には鉄道車両5及び駅プラットホーム6の一部を含む領域を監視領域42に設定した監視領域設定画像34が示されている。
【0094】
<ステップS14>
次いで監視装置2は、画像処理技術を用いて又は深層学習技術を用いて、非監視領域41を除く監視領域の中から駅プラットホーム上にいる人9の位置及び属性の少なくとも一方を認識する。図9(a)又は図9(b)には駅プラットホーム上にいる人9のうち監視対象者の位置及び属性を認識した認識画像39が示されている。
【0095】
監視装置2は、図9(a)又は図9(b)に示すように、駅プラットホーム上にいる人9を囲んだ矩形枠43を表示することで駅プラットホーム上にいる人9のうち監視対象者の位置を特定する。また、監視装置2は、図9(a)又は図9(b)に示すように、乗降客9a又は車椅子客9bを示す属性文字44を表示することで駅プラットホーム上にいる人9の属性を特定する。
【0096】
以上のように実施例1では、画像処理の一つである背景差分法を用いて鉄道車両5を検出したが、鉄道車両5のテンプレート画像を参照画像32として予め用意し、テンプレートマッチング技術を用いて鉄道車両5を検出してもよい。
【0097】
また実施例1では、鉄道車両5の停止位置Pに基づき監視領域を設定したが、鉄道車両5の停止位置Pに基づき鉄道車両5の編成数又は種類を判別し、編成数又は種類と監視領域とを対応付けたデータベースに基づいて監視領域を設定してもよい。
【0098】
実施例1によれば、鉄道車両5の停止位置Pを検出するセンサ又は監視カメラ3を増設することなく、既存の監視カメラ3で撮像した撮像画像に基づいて監視領域を適切に設定することができる。監視領域を適切に設定することで映像を解析する必要がない領域を除外できるため、駅プラットホーム6を除く周辺環境7にいる人の誤検出を抑制することができる。
【0099】
(実施例2:撮像画像(車側灯)に基づく監視領域設定)
実施例2では、画像処理の一つであるテンプレートマッチング技術を用いて撮像画像31から車側灯5dを検出することで、車側灯5dから鉄道車両5の停止位置Pを取得して監視領域を設定する。以下では、実施例1と異なる箇所についてのみ説明する。
【0100】
図5A(b)には実施例2に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0101】
<ステップS12>
図5A(b)に示すように、実施例2に係るメインフローチャートのステップS12(停止位置の検出処理)はステップS22及びステップS23により構成される。
【0102】
<<ステップS22>>
監視装置2は、基準となる参照画像32として車側灯5dのテンプレート画像を予め用意しておく。図10(a)には車側灯5dの参照画像32が示されている。そして監視装置2は、テンプレートマッチングの類似度に基づいて撮像画像31から車側灯5dを検出する。図10(a)には車側灯5dが検出された車側灯検出画像35が示されている。車側灯検出画像35には、車側灯5dの位置情報45が画像座標として表示されている。
【0103】
また、監視カメラ3に車側灯5dが映らない場合があるため、監視装置2は、基準となる参照画像32として鉄道車両5のテンプレート画像を予め用意し、撮像画像31から鉄道車両5も検出することが好ましい。図10(a)には、車側灯5dに加えて、鉄道車両5が検出された車側灯検出画像35が示されている。また、図10(b)には、鉄道車両5のみが検出された鉄道車両検出画像33が示されている。車側灯検出画像35及び鉄道車両検出画像33には、鉄道車両5の位置情報45が画像座標として表示されている。
【0104】
<<ステップS23>>
図10(a)に示すように鉄道車両5及び車側灯5dの双方が検出された場合、監視装置2は、最後尾車両5bの後端を鉄道車両5の停止位置Pとして取得するか、又は車側灯5dの位置及び個数のいずれかに基づいて鉄道車両5の停止位置Pを取得する。
【0105】
図10(b)に示すように車側灯5dが検出されなかった場合、監視装置2は、最後尾車両5bの後端を鉄道車両5の停止位置Pとして取得する。
【0106】
車側灯5dの位置及び個数のいずれかに基づいて鉄道車両5の停止位置Pを取得する場合、監視装置2は、車側灯5dの位置及び個数のいずれかと、鉄道車両5の停止位置Pとを対応付けたデータベースに基づいて鉄道車両5の停止位置Pを取得する。
【0107】
以下の表1は、車側灯5dの位置と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例であり、表2は、車側灯5dの個数と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例である。
【0108】
【表1】
【0109】
【表2】
【0110】
なお、車側灯5dが撮像画像31から複数検出された場合、表1における車側灯5dの位置とは、例えば最後尾車両5bの後端側にある車側灯5dの中心位置を表す画像座標である。また、表1又は表2における鉄道車両の停止位置Pとは、撮像画像31における最後尾車両5bの後端を示す画像座標(X座標のみでもよい)である。
【0111】
ステップS13の監視領域設定処理、及びステップS14の人認識処理は、実施例1と同じであるため説明を省略する。
【0112】
実施例2によれば、鉄道車両5のドアが開いている間は、例えば赤色灯に点灯し続ける車側灯5dを撮像画像31から精度良く検出することができる。従って、鉄道車両5の停止位置Pの取得精度を高めることができ、ひいては監視領域を適切に設定することができる。監視領域を適切に設定することで映像を解析する必要がない領域を除外できるため、駅プラットホーム6を除く周辺環境7にいる人の誤検出を良好に抑制することができる。
【0113】
(実施例3:撮像画像(ホームドア開扉状態)に基づく監視領域設定)
実施例3では、画像処理の一つであるテンプレートマッチング技術を用いて撮像画像31からホームドアの開扉状態を検出することで、ホームドアの開扉状態から鉄道車両5の停止位置Pを取得して監視領域を設定する。以下では、実施例1と異なる箇所についてのみ説明する。
【0114】
図5B(c)には実施例3に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0115】
<ステップS12>
図5B(c)に示すように、実施例3に係るメインフローチャートのステップS12(停止位置の検出処理)はステップS24及びステップS25により構成される。
【0116】
<<ステップS24>>
監視装置2は、基準となる参照画像32としてホームドアの開扉状態のテンプレート画像を予め用意しておく。図8(a)~図8(c)には開扉状態のホームドア6dが示されている。そして監視装置2は、テンプレートマッチングの類似度に基づいて撮像画像31からホームドア6dの開扉状態を検出する。
【0117】
一般にホームドア6dは駅プラットホーム6に複数設置されるが、監視装置2は、駅プラットホーム6の最後尾6b側からホームドア6dの開扉状態を検出することで、鉄道車両5の停止位置Pを取得することが好ましい。
【0118】
<<ステップS25>>
監視装置2は、検出された開扉状態のホームドア6dの位置及び個数のいずれかと、鉄道車両5の停止位置Pとを対応付けたデータベースに基づいて鉄道車両5の停止位置Pを取得する。
【0119】
以下の表3は、開扉状態のホームドア6dの位置と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例であり、表4は、開扉状態のホームドア6dの個数と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例である。
【0120】
【表3】
【0121】
【表4】
【0122】
なお、開扉状態のホームドア6dが撮像画像31から複数検出された場合、表3における開扉状態のホームドア6dの位置とは、例えば駅プラットホーム6の最後尾6b側にあるホームドア6dの中心位置を表す画像座標である。また、表3又は表4における鉄道車両の停止位置Pとは、撮像画像31における最後尾車両5bの後端を示す画像座標(X座標のみでもよい)である。
【0123】
ステップS13の監視領域設定処理、及びステップS14の人認識処理は、実施例1と同じであるため説明を省略する。
【0124】
以上のように実施例3では、画像処理の一つであるテンプレートマッチング技術を用いてホームドア6dの開扉状態を検出したが、直線検出又は矩形検出等の他の画像処理技術を用いてホームドア6dの開扉状態を検出してもよい。
【0125】
実施例3によれば、鉄道車両5の停止位置Pに相関するホームドア6dの開扉状態を検出することで鉄道車両5の停止位置Pの取得精度を高めることができ、ひいては監視領域を適切に設定することができる。監視領域を適切に設定することで映像を解析する必要がない領域を除外できるため、駅プラットホーム6を除く周辺環境7にいる人の誤検出を良好に抑制することができる。
【0126】
(実施例4:撮像画像(車両番号又は編成番号)に基づく監視領域設定)
実施例4では、画像処理の一つであるOCR(Optical Character Recognition:光学文字認識)技術を用いる。すなわち、実施例4では、OCR技術を用いて撮像画像31から鉄道車両5の車両番号又は編成番号を検出することで、車両番号又は編成番号から鉄道車両5の停止位置Pを取得して監視領域を設定する。以下では、実施例1と異なる箇所についてのみ説明する。
【0127】
図5B(d)には実施例4に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0128】
<ステップS12>
図5B(d)に示すように、実施例4に係るメインフローチャートのステップS12(停止位置の検出処理)はステップS26及びステップS27により構成される。
【0129】
<<ステップS26>>
監視装置2は、OCR技術を用いて、鉄道車両5の前面又は側面に表示されている車両番号又は編成番号を検出する。図11(a)には鉄道車両5の前面に表示されている編成番号5fが示されている。また図11(b)には鉄道車両5の側面に表示されている車両番号5eが示されている。
【0130】
<<ステップS27>>
監視装置2は、検出された車両番号5e又は編成番号5fと、鉄道車両5の停止位置Pとを対応付けたデータベースに基づいて鉄道車両5の停止位置Pを取得する。
【0131】
以下の表5は、鉄道車両5の車両番号と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例であり、表6は、鉄道車両5の編成番号と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例である。
【0132】
【表5】
【0133】
【表6】
【0134】
なお、車両番号5eが撮像画像31から複数検出された場合、表5における車両番号5eとは、最後尾車両5bに表示されている車両番号5eである。すなわち表5における車両番号5e(例えばクハE234)は、最後尾車両5b(制御車両)を意味する記号番号である。また、表5又は表6における鉄道車両の停止位置Pとは、撮像画像31における最後尾車両5bの後端を示す画像座標(X座標のみでもよい)である。
【0135】
ステップS13の監視領域設定処理、及びステップS14の人認識処理は、実施例1と同じであるため説明を省略する。
【0136】
実施例4によれば、撮像画像31から車両番号5e又は編成番号5fを検出することで鉄道車両5の停止位置Pの取得精度を高めることができ、ひいては監視領域を適切に設定することができる。監視領域を適切に設定することで映像を解析する必要がない領域を除外できるため、駅プラットホーム6を除く周辺環境7にいる人の誤検出を良好に抑制することができる。
【0137】
(実施例5:運行情報に基づく監視領域設定)
実施例5では、鉄道車両5の運行情報を用いて鉄道車両5の停止位置Pを検出することで監視領域を設定する。
【0138】
図5C(e)には実施例5に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0139】
<ステップS12>
図5C(e)に示すように、実施例5に係るメインフローチャートのステップS12(停止位置の検出処理)はステップS28~ステップS30により構成される。
【0140】
<<ステップS28>>
監視装置2は、例えば運転指令所に設置された外部サーバ等から鉄道車両5の運行情報を取得する。鉄道車両5の運行情報には、例えば、列車番号、列車種別、出発時刻、及び到着時刻等が含まれる。
【0141】
<<ステップS29>>
監視装置2は、取得した鉄道車両5の運行情報(例えば出発時刻又は到着時刻)と、現在時刻とに基づいて駅プラットホーム6に停車している鉄道車両5(例えば列車番号)を認識する。
【0142】
<<ステップS30>>
監視装置2は、認識した鉄道車両5の運行情報(例えば列車番号)と、鉄道車両5の停止位置Pとを対応付けたデータベースに基づいて鉄道車両5の停止位置Pを取得する。
【0143】
以下の表7は、鉄道車両5の運行情報と、鉄道車両5の停止位置Pとを対応付けたデータベースの一例である。
【0144】
【表7】
【0145】
なお、表7には列車番号及び出発時刻の双方が含まれているが、列車番号のみが含まれていてもよい。また、表7における鉄道車両の停止位置Pとは、撮像画像31における最後尾車両5bの後端を示す画像座標(X座標のみでもよい)である。
【0146】
ステップS13の監視領域設定処理、及びステップS14の人認識処理は、実施例1と同じであるため説明を省略する。
【0147】
実施例5によれば、時刻情報を含む鉄道車両5の運行情報に基づいて鉄道車両5の停止位置Pの取得精度を高めることができ、ひいては監視領域を適切に設定することができる。監視領域を適切に設定することで映像を解析する必要がない領域を除外できるため、鉄道車両5の停止位置Pの取得精度を高めることができる。ひいては駅プラットホーム6を除く周辺環境7にいる人の誤検出を良好に抑制することができる。
【0148】
(第1実施形態の作用効果)
第1実施形態に係る監視装置2によれば、画像処理技術を用いて又は運行情報を用いて、駅プラットホーム6に停車している鉄道車両5の停止位置Pを取得し、鉄道車両5の停止位置Pが変化しても監視領域を適切に設定できる。ひいては監視装置2の誤検出を抑制することができる。
【0149】
<第2実施形態>
次に第2実施形態に係る監視システム1について詳述する。以下では、第1実施形態に係る監視システム1と異なる箇所についてのみ説明する。
【0150】
第2実施形態では、深層学習技術を用いて、鉄道車両5、車側灯5d、ホームドア6dの開扉状態、或いは車両番号5e又は編成番号5fを検出することで鉄道車両5の停止位置Pを取得し、鉄道車両5の停止位置Pに基づいて監視領域42を動的に設定する。
【0151】
図12は第2実施形態に係る深層学習技術を用いた監視領域設定方法の一例を示す図である(a)~(c)である。本例では、ニューラルネットワークの一つであるオートエンコーダ50を用いて鉄道車両5を検出する例を例示する。
【0152】
オートエンコーダ50は畳み込みオートエンコーダである。オートエンコーダ50は、入力画像37を入力するエンコーダ51と、出力画像38を出力するデコーダ52と、を備える。
【0153】
エンコーダ51は次元削減及び特徴抽出の機能を有する。エンコーダ51は、入力画像37の次元を削減し、入力画像37の特徴量(エッジ又はテクスチャ等)を含む低次元画像を出力する。低次元画像とは、例えば7×7画素の画像である。
【0154】
デコーダ52は低次元の特徴量から入力画像37と同一又は類似の出力画像38を復元する画像生成の機能を有する。デコーダ52は、特徴量を含む低次元画像から入力画像37と同じ次元の出力画像38を出力する。
【0155】
エンコーダ51及びデコーダ52はいずれも、1以上のノードを有する複数の層と、各層のノードを結び付けるエッジと、を備え、各エッジには固有の重みが設けられている。
【0156】
オートエンコーダ50は、入力画像37と出力画像38との差分が小さくなるように、エンコーダ51及びデコーダ52における各エッジの重みを調整していく(すなわち、深層学習を行う)。重みの調整にはバックプロパゲーション(誤差逆伝播法)を用いることができる。
【0157】
オートエンコーダ50は、コンピュータで読み取り可能なプログラムとして構成されるが、FPGA(Field Programmable Gate Array)等の処理回路として構成されてもよい。
【0158】
(オートエンコーダの学習時)
オートエンコーダ50の学習処理は、監視装置2のコンピュータで実行されてもよいが、外部サーバに搭載されるGPU等のプロセッサで実行されることが好ましい。オートエンコーダ50の学習処理と、学習済オートエンコーダ53の推論処理と、を分散処理させることにより、監視装置2の負荷を軽減させることができる。
【0159】
オートエンコーダ50の学習時の処理は、例えば次の通りである。まず、監視装置2が監視カメラ3から基準となる参照画像32を予め取得し、図6(b)に示すように鉄道車両5の停車領域を除く特定領域40をマスク処理した参照画像32を生成する。監視装置2は、通信機23を介してマスク処理した参照画像32を外部サーバへ送信させる。
【0160】
外部サーバは、マスク処理した参照画像32を入力画像37としてオートエンコーダ50に入力させる。外部サーバは、入力画像37と出力画像38との差分が小さくなるようにオートエンコーダ50の各エッジの重みを調整する(深層学習を行う)。
【0161】
以上により、学習済オートエンコーダ53が生成される。学習済オートエンコーダ53はコンピュータで読み取り可能なプログラムとして構成されるが、FPGA等の処理回路として構成されてもよい。外部サーバは、学習済オートエンコーダ53を監視装置2へ送信する。なお、監視装置2が学習済オートエンコーダ53を生成してもよい。
【0162】
(オートエンコーダの推論持)
学習済オートエンコーダ53は、各エッジの重みが調整され、学習が収束又は完了した学習済モデルである。
【0163】
学習済オートエンコーダ53は、鉄道車両5の停車領域を除く特定領域40をマスク処理した撮像画像31を入力画像37として入力すると、マスク処理した参照画像32と同一又は類似の出力画像38を出力する。従って、例えば図12(b)に示すように入力画像37に鉄道車両5が映り込んでいても、学習済オートエンコーダ53は鉄道車両5を特徴量として抽出しないため、出力画像38には鉄道車両5が復元されない。
【0164】
すなわち、学習済オートエンコーダ53は、出力画像38として、特定領域40をマスク処理した参照画像32と同一又は類似の出力画像38を常に出力する。
【0165】
(鉄道車両の検出処理)
監視装置2は、鉄道車両5の停車領域を除く特定領域40をマスク処理した撮像画像31である入力画像37と、学習済オートエンコーダ53で出力された出力画像38と、を差分することで、鉄道車両5を検出する。図12(c)には鉄道車両5が検出された鉄道車両検出画像33が示されている。
【0166】
そして監視装置2は最後尾車両5bの後端を鉄道車両5の停止位置Pとして検出する。監視装置2は、図7(b)及び図8(b)を参照して説明した方法により、非監視領域41を除く領域を監視領域に設定する。或いは、監視装置2は、図7(b)及び図8(c)を参照して説明した方法により、監視領域42を設定する。
【0167】
なお、学習済オートエンコーダ53は、鉄道車両5の検出だけではなく、車側灯5d、ホームドア6dの開扉状態、或いは車両番号5e又は編成番号5fの検出にも利用することができる。
【0168】
また、本例ではオートエンコーダを用いた深層学習技術を例示したが、入力画像37を入力し、鉄道車両5の編成数(例えば4両又は5両)又は種類(例えば普通又は快速)を出力する、学習済ニューラルネットワークを用いてもよい。監視装置2は、鉄道車両5の編成数又は種類に基づいて鉄道車両5の停止位置Pを取得し、監視領域を適切に設定することができる。
【0169】
(第2実施形態の作用効果)
第2実施形態に係る監視装置2によれば、深層学習技術を用いるため、鉄道車両5の停止位置Pの取得精度を高めることができ、ひいては監視領域を適切に設定することができる。監視領域を適切に設定することで映像を解析する必要がない領域を除外できるため、駅プラットホーム6を除く周辺環境7にいる人の誤検出を良好に抑制することができる。
【0170】
<第3実施形態>
次に第3実施形態に係る監視システム1について詳述する。以下では、第1実施形態に係る監視システム1と異なる箇所についてのみ説明する。
【0171】
第3実施形態では、画像処理技術を用いて又は運行情報を用いて、監視領域設定カメラを決定する。
【0172】
以下では、監視領域設定カメラの決定処理の実施例を具体的に説明するが、本開示の技術は以下の実施例により限定されるものではない。例えば、以下の実施例では、最後尾車両5bの後端が鉄道車両5の停止位置Pであるが、先頭車両5aの先端が鉄道車両5の停止位置Pであってもよい。
【0173】
(実施例6:撮像画像(鉄道車両)に基づく監視領域設定カメラの決定)
実施例6では、画像処理の一つである背景差分法を用いて撮像画像31から鉄道車両5を検出することで監視領域設定カメラを決定する。
【0174】
図13A(a)には実施例6に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0175】
図13A(a)に示すように、実施例6に係る監視領域設定カメラの決定処理は、メインフローチャートのステップS10とステップS11との間においてステップS31及びステップS32により構成される。
【0176】
<<ステップS31>>
監視装置2は、特定領域40をマスク処理した参照画像32と、図3(a)又は図3(b)に示す撮像画像31と、を差分することで、鉄道車両5を検出する。図7(a)又は図7(b)には鉄道車両検出画像33が示されている。監視装置2は、鉄道車両5を検出できた場合(ステップS31のYES)、撮像画像31を撮像した監視カメラ3を監視領域設定カメラに決定し、ステップS11に進む。
【0177】
<<ステップS32>>
鉄道車両5を検出できない場合(ステップS31のNO)、監視装置2は、監視領域設定カメラを、駅プラットホーム6の中央6c側の隣りの監視カメラ3に切替え、ステップS10に戻る。監視装置2は、隣りの監視カメラ3で撮像された撮像画像31を取得し、ステップS31で撮像画像31に鉄道車両5が有るかを判定することで監視領域設定カメラを決定する。
【0178】
以上のように実施例6では、画像処理の一つである背景差分法を用いて鉄道車両5を検出したが、鉄道車両5のテンプレート画像を参照画像32として予め用意し、テンプレートマッチング技術を用いて鉄道車両5を検出してもよい。或いは、第2実施形態のように深層学習技術を用いて鉄道車両5を検出してもよい。
【0179】
実施例6によれば、駅プラットホーム6に鉄道車両5が停車していても、監視カメラ3に鉄道車両5が映らない場合は監視領域を設定する必要がないため、監視領域設定処理を無駄に行ってしまう事態を回避することができる。
【0180】
(実施例7:撮像画像(車側灯)に基づく監視領域設定カメラの決定)
実施例7では、画像処理の一つであるテンプレートマッチング技術を用いて撮像画像31から車側灯5dを検出することで監視領域設定カメラを決定する。
【0181】
図13A(b)には実施例7に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0182】
図13A(b)に示すように、実施例7に係る監視領域設定カメラの決定処理は、メインフローチャートのステップS10とステップS11との間においてステップS33及びステップS34により構成される。
【0183】
<<ステップS33>>
監視装置2は、基準となる参照画像32として車側灯5d及び鉄道車両5の少なくとも一方のテンプレート画像を予め用意し、テンプレートマッチングの類似度に基づいて撮像画像31から車側灯5d及び鉄道車両5のいずれかを検出する。図10(a)には車側灯5d及び鉄道車両5が検出された車側灯検出画像35が示されており、図10(b)には鉄道車両5のみが検出された鉄道車両検出画像33が示されている。監視装置2は、車側灯5d及び鉄道車両5のいずれかを検出できた場合(ステップS33のYES)、撮像画像31を撮像した監視カメラ3を監視領域設定カメラに決定し、ステップS11に進む。
【0184】
<<ステップS34>>
車側灯5d及び鉄道車両5のいずれかを検出できない場合(ステップS33のNO)、監視装置2は、監視領域設定カメラを、駅プラットホーム6の中央6c側の隣りの監視カメラ3に切替え、ステップS10に戻る。監視装置2は、隣りの監視カメラ3で撮像された撮像画像31を取得し、ステップS33で撮像画像31に車側灯5d及び鉄道車両5のいずれかが有るかを判定することで監視領域設定カメラを決定する。
【0185】
以上のように実施例7では、画像処理の一つであるテンプレートマッチング技術を用いて車側灯5d及び鉄道車両5のいずれかを検出したが、第2実施形態のように深層学習技術を用いて車側灯5d及び鉄道車両5のいずれかを検出してもよい。
【0186】
実施例7によれば、駅プラットホーム6に鉄道車両5が停車していても、監視カメラ3に車側灯5d及び鉄道車両5のいずれかが映らない場合は監視領域を設定する必要がないため、監視領域設定処理を無駄に行ってしまう事態を回避することができる。
【0187】
(実施例8:撮像画像(ホームドア開扉状態)に基づく監視領域設定カメラの決定)
実施例8では、画像処理の一つであるテンプレートマッチング技術を用いて撮像画像31からホームドア6dの開扉状態を検出することで監視領域設定カメラを決定する。
【0188】
図13B(c)には実施例8に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0189】
図13B(c)に示すように、実施例8に係る監視領域設定カメラの決定処理は、メインフローチャートのステップS10とステップS11との間においてステップS35及びステップS36により構成される。
【0190】
<<ステップS35>>
監視装置2は、基準となる参照画像32として図8(a)~図8(c)に示すようなホームドア6dの開扉状態のテンプレート画像を予め用意し、テンプレートマッチングの類似度に基づいて撮像画像31からホームドア6dの開扉状態を検出する。監視装置2は、ホームドア6dの開扉状態を検出できた場合(ステップS35のYES)、撮像画像31を撮像した監視カメラ3を監視領域設定カメラに決定し、ステップS11に進む。
【0191】
<<ステップS36>>
ホームドア6dの開扉状態を検出できない場合(ステップS35のNO)、監視装置2は、監視領域設定カメラを、駅プラットホーム6の中央6c側の隣りの監視カメラ3に切替え、ステップS10に戻る。監視装置2は、隣りの監視カメラ3で撮像された撮像画像31を取得し、ステップS35で撮像画像31に開扉状態のホームドア6dが有るかを判定することで監視領域設定カメラを決定する。
【0192】
以上のように実施例8では、画像処理の一つであるテンプレートマッチング技術を用いてホームドア6dの開扉状態を検出したが、直線検出又は矩形検出等の他の画像処理技術を用いてホームドア6dの開扉状態を検出してもよい。或いは、第2実施形態のように深層学習技術を用いて開扉状態のホームドア6dを検出してもよい。
【0193】
実施例8によれば、駅プラットホーム6に鉄道車両5が停車していても、監視カメラ3に開扉状態のホームドア6dが映らない場合は監視領域を設定する必要がないため、監視領域設定処理を無駄に行ってしまう事態を回避することができる。
【0194】
(実施例9:撮像画像(車両番号又は編成番号)に基づく監視領域設定カメラの決定)
実施例9では、画像処理の一つであるOCR技術を用いて撮像画像31から鉄道車両5の車両番号又は編成番号を検出することで監視領域設定カメラを決定する。
【0195】
図13B(d)には実施例9に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0196】
図13B(d)に示すように、実施例9に係る監視領域設定カメラの決定処理は、メインフローチャートのステップS10とステップS11との間においてステップS37及びステップS38により構成される。
【0197】
<<ステップS37>>
監視装置2は、OCR技術を用いて、撮像画像31から鉄道車両5の前面又は側面に表示されている車両番号5e又は編成番号5fを検出する。図11(a)には鉄道車両5の前面に表示されている編成番号5fが示されており、図11(b)には鉄道車両5の側面に表示されている車両番号5eが示されている。監視装置2は、車両番号5e又は編成番号5fを検出できた場合(ステップS37のYES)、撮像画像31を撮像した監視カメラ3を監視領域設定カメラに決定し、ステップS11に進む。
【0198】
<<ステップS38>>
車両番号5e又は編成番号5fを検出できない場合(ステップS37のNO)、監視装置2は、監視領域設定カメラを、駅プラットホーム6の中央6c側の隣りの監視カメラ3に切替え、ステップS10に戻る。監視装置2は、隣りの監視カメラ3で撮像された撮像画像31を取得し、ステップS37で撮像画像31に車両番号5e又は編成番号5fが有るかを判定する。
【0199】
以上のように実施例9では、画像処理の一つであるOCR技術を用いて車両番号5e又は編成番号5fを検出したが、第2実施形態のように深層学習技術を用いて車両番号5e又は編成番号5fを検出してもよい。
【0200】
実施例9によれば、駅プラットホーム6に鉄道車両5が停車していても、監視カメラ3の画角に車両番号5e又は編成番号5fが映らない場合は監視領域を設定する必要がないため、監視領域設定処理を無駄に行ってしまう事態を回避することができる。
【0201】
(実施例10:運行情報に基づく監視領域設定カメラの決定)
実施例10では、鉄道車両5の運行情報を用いて鉄道車両5の停止位置Pを検出することで監視領域設定カメラを決定する。
【0202】
図13C(e)には実施例10に係る監視装置2のサブフローチャートが示されている。サブフローチャートは、監視装置2のコンピュータで読み取り可能なプログラムによって実現されるか、又は監視装置2の処理回路によって実現される。
【0203】
図13C(e)に示すように、実施例10に係る監視領域設定カメラの決定処理は、メインフローチャートのステップS10の前においてステップS39~ステップS41により構成される。
【0204】
<<ステップS39>>
監視装置2は、例えば運転指令所に設置された外部サーバ等から鉄道車両5の運行情報を取得する。鉄道車両5の運行情報には、例えば、列車番号、列車種別、出発時刻、及び到着時刻等が含まれる。
【0205】
<<ステップS40>>
監視装置2は、取得した鉄道車両5の運行情報(例えば出発時刻又は到着時刻)と、現在時刻とに基づいて駅プラットホーム6に停車している鉄道車両5(例えば列車番号)を認識する。
【0206】
<<ステップS41>>
監視装置2は、認識した鉄道車両5の運行情報(例えば列車番号)と、鉄道車両5の停止位置Pとを対応付けたデータベースに基づいて鉄道車両5の停止位置Pを取得する。
【0207】
例えば、前述の表7に示すデータベースにおいて、認識した鉄道車両5の列車番号が842Fである場合、監視カメラNo.が1番の第1監視カメラ3aの撮像画像31には鉄道車両5の停止位置Pが存在しない。
【0208】
従って、監視装置2は、鉄道車両5の停止位置Pが存在しない第1監視カメラ3aを監視領域設定カメラに決定せず、鉄道車両5の停止位置Pが存在する第2監視カメラ3bを監視領域設定カメラに決定する。
【0209】
なお、表7における鉄道車両の停止位置Pとは、撮像画像31における最後尾車両5bの後端を示す画像座標(X座標のみでもよい)である。
【0210】
実施例10によれば、駅プラットホーム6に鉄道車両5が停車していても、表7に示すデータベースに鉄道車両5の停止位置Pが存在しない場合は、監視領域を設定する必要がないため、監視領域設定処理を無駄に行ってしまう事態を回避することができる。
【0211】
(第3実施形態の作用効果)
第3実施形態に係る監視装置2によれば、監視領域を設定する必要がない監視カメラ3に監視領域設定処理を無駄に行ってしまう事態を回避することができる。
【0212】
以上の実施形態に示す各種機能部は、一つまたは複数の処理回路によって実現することが可能である。処理回路としては、各種機能を実行するように設計されたASIC(Application Specific Integrated Circuit)又はFPGA等を挙げられる。
【0213】
またプログラムは、CD-ROM(Compact Disk Read Only Memory)等の非一時的(non-transitory)記録媒体に記録された形態で提供されてもよい。さらに、プログラムは、ネットワークを通じてサーバ等の外部装置からダウンロードされる形態で提供されてもよい。
【0214】
以上の実施形態において各要素の個数、数量、単位、及び範囲等に言及した場合、特に明示した場合又は原理的に特定される場合を除いて、言及したものに限定されない。また、実施形態において説明する構造等は、特に明示した場合又は原理的に特定される場合を除いて、必ずしも必須ではない。
【0215】
以下、本開示の態様は、例えば以下の通りである。
【0216】
<1> 駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境とが撮像された撮像画像に存在する前記鉄道車両の停止位置を取得する停止位置取得部と、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定する監視領域制御部と、
を備え、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、監視装置。
【0217】
<2> 前記停止位置取得部は、画像処理技術を用いて、基準となる参照画像と、前記鉄道車両が存在する前記撮像画像との比較により前記停止位置を取得する、前記<1>に記載の監視装置。
【0218】
<3> 前記停止位置取得部は、画像処理技術及び深層学習技術のいずれかを用いて、前記鉄道車両が存在する前記撮像画像から前記鉄道車両の車側灯を検出し、検出された情報に基づいて前記鉄道車両の前記停止位置を取得する、前記<1>に記載の監視装置。
【0219】
<4> 前記停止位置取得部は、画像処理技術及び深層学習技術のいずれかを用いて、前記鉄道車両が存在する前記撮像画像からホームドアの開扉状態を検出し、検出された情報に基づいて前記鉄道車両の前記停止位置を取得する、前記<1>に記載の監視装置。
【0220】
<5> 前記停止位置取得部は、画像処理技術及び深層学習技術のいずれかを用いて、前記鉄道車両が存在する前記撮像画像から前記鉄道車両の車両番号及び編成番号のいずれかを検出し、検出された情報に基づいて前記鉄道車両の停止位置を取得する、前記<1>に記載の監視装置。
【0221】
<6> 前記監視領域制御部は、前記鉄道車両の前記停止位置に基づいて前記撮像画像における前記駅プラットホームを除く前記周辺環境の領域を非監視領域に設定する、前記<1>から<5>のいずれか一項に記載の監視装置。
【0222】
<7> 前記<1>から<6>のいずれか一項に記載の監視装置と、
前記駅プラットホームと、前記駅プラットホームを除く前記周辺環境とを撮像する複数の撮像装置と、
を備え、
複数の前記撮像装置は前記駅プラットホームの先頭から最後尾にかけて配置されており、
前記監視装置は、画像処理技術、深層学習技術、及び前記鉄道車両の運行情報のいずれかを用いて、前記監視領域の設定が必要な前記撮像装置を決定する撮像装置決定部を備える、監視システム。
【0223】
<8> 監視装置により実行される監視方法であって、
駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境とが撮像された撮像画像に存在する前記鉄道車両の停止位置を取得するステップと、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定するステップと、
を含み、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、監視方法。
【0224】
<9> 監視装置のコンピュータで読み取り可能なプログラムであって、
駅プラットホームに停車している鉄道車両と、前記鉄道車両の周辺環境とが撮像された撮像画像に存在する前記鉄道車両の停止位置を取得するステップと、
前記鉄道車両の前記停止位置に基づいて前記撮像画像に監視領域を動的に設定するステップと、
を前記コンピュータに実行させ、
前記鉄道車両の前記停止位置は前記撮像画像に存在する先頭車両の先端及び最後尾車両の後端のいずれかである、プログラム。
【符号の説明】
【0225】
1 監視システム
2 監視装置
3 監視カメラ
4 監視モニタ
5 鉄道車両
5a 先頭車両
5b 最後尾車両
5c 中間車両
5d 車側灯
5e 車両番号
5f 編成番号
6 駅プラットホーム
6a 先頭
6b 最後尾
6c 中央
6d ホームドア
7 周辺環境
7a 踏切
8 踏切にいる人
9 駅プラットホーム上にいる人
10 撮像装置決定部
11 停止位置取得部
12 車両判別部
13 監視領域制御部
14 人認識部
15 表示部
20 CPU
21 ROM
22 RAM
23 通信機
24 バス
30 撮像範囲
31 撮像画像
32 参照画像
33 鉄道車両検出画像
34 監視領域設定画像
37 入力画像
38 出力画像
39 認識画像
40 特定領域
41 非監視領域
42 監視領域
43 矩形枠
44 属性文字
50 オートエンコーダ
51 エンコーダ
52 デコーダ
53 学習済オートエンコーダ
P 停止位置
図1
図2
図3
図4
図5A
図5B
図5C
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C