IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7513186サーバ装置、画像処理方法およびプログラム
<>
  • 特許-サーバ装置、画像処理方法およびプログラム 図1
  • 特許-サーバ装置、画像処理方法およびプログラム 図2
  • 特許-サーバ装置、画像処理方法およびプログラム 図3
  • 特許-サーバ装置、画像処理方法およびプログラム 図4
  • 特許-サーバ装置、画像処理方法およびプログラム 図5
  • 特許-サーバ装置、画像処理方法およびプログラム 図6
  • 特許-サーバ装置、画像処理方法およびプログラム 図7
  • 特許-サーバ装置、画像処理方法およびプログラム 図8
  • 特許-サーバ装置、画像処理方法およびプログラム 図9
  • 特許-サーバ装置、画像処理方法およびプログラム 図10
  • 特許-サーバ装置、画像処理方法およびプログラム 図11
  • 特許-サーバ装置、画像処理方法およびプログラム 図12
  • 特許-サーバ装置、画像処理方法およびプログラム 図13
  • 特許-サーバ装置、画像処理方法およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-01
(45)【発行日】2024-07-09
(54)【発明の名称】サーバ装置、画像処理方法およびプログラム
(51)【国際特許分類】
   B61L 25/02 20060101AFI20240702BHJP
   B61B 1/02 20060101ALI20240702BHJP
   H04N 7/18 20060101ALI20240702BHJP
   G08B 21/02 20060101ALI20240702BHJP
   G08B 25/00 20060101ALI20240702BHJP
【FI】
B61L25/02 Z
B61B1/02
H04N7/18 D
G08B21/02
G08B25/00 510M
【請求項の数】 11
(21)【出願番号】P 2023500596
(86)(22)【出願日】2021-12-27
(86)【国際出願番号】 JP2021048532
(87)【国際公開番号】W WO2022176402
(87)【国際公開日】2022-08-25
【審査請求日】2023-08-09
(31)【優先権主張番号】P 2021024954
(32)【優先日】2021-02-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】林 政裕
【審査官】清水 康
(56)【参考文献】
【文献】国際公開第2018/180311(WO,A1)
【文献】国際公開第2011/104983(WO,A1)
【文献】国際公開第2019/102935(WO,A1)
【文献】特開2011-240846(JP,A)
【文献】特開2014-040221(JP,A)
【文献】特開平11-152034(JP,A)
【文献】特開2014-148300(JP,A)
【文献】特開2018-082281(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B61L 1/00 - 99/00
B61B 1/00 - 15/00
G08B 19/00 - 21/24
G08B 23/00 - 31/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段と、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段と、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段と、
を備え
前記表示処理手段は、前記プラットホームに列車が存在しているか否かの判定結果に基づいて、前記画像処理後の画像の送信先を変更して、当該画像処理後の画像を当該送信先の前記ディスプレイに表示させる、サーバ装置。
【請求項2】
前記画像解析手段は、前記送信先に応じて、前記画像の前記領域および検出する前記注意事象の種類を変更する、請求項1に記載のサーバ装置。
【請求項3】
前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
請求項1または2に記載のサーバ装置。
【請求項4】
前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
請求項1から3のいずれか1項に記載のサーバ装置。
【請求項5】
前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
請求項1からのいずれか1項に記載のサーバ装置。
【請求項6】
前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
請求項に記載のサーバ装置。
【請求項7】
前記画像解析手段は、
前記プラットホームに列車が存在するか否かを判定し、
前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
請求項1からのいずれか1項に記載のサーバ装置。
【請求項8】
前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
請求項1からのいずれか1項に記載のサーバ装置。
【請求項9】
前記画像解析手段は、
前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
前記表示処理手段は、
決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
請求項1からのいずれか1項に記載のサーバ装置。
【請求項10】
コンピュータによって実行される画像処理方法であって、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出し、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させ、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とし、
前記プラットホームに列車が存在しているか否かの判定結果に基づいて、前記画像処理後の画像の送信先を変更して、当該画像処理後の画像を当該送信先の前記ディスプレイに表示させる、
ことを含む画像処理方法。
【請求項11】
コンピュータを、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段、
として機能させ
前記表示処理手段は、前記プラットホームに列車が存在しているか否かの判定結果に基づいて、前記画像処理後の画像の送信先を変更して、当該画像処理後の画像を当該送信先の前記ディスプレイに表示させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、公共交通機関のプラットホームにおける映像監視技術に関する。
【背景技術】
【0002】
鉄道駅などのプラットホームにおいて、安全を確保するために、監視カメラの映像を用いた監視が行われている。プラットホームにおける映像監視技術の一例が、例えば、下記特許文献1乃至3に開示されている。
【0003】
特許文献1には、画像の差分比較に基づいて車両ドアにおける挟み込みを検知した場合、モニタに出力されている映像上に赤枠を描画する技術が開示されている。特許文献2には、プラットホームに設けられた監視カメラの映像から要支援者を検出した場合に、当該要支援者の映像とその他の監視カメラの映像とを並べて合成し、合成した映像をミリ波通信によって列車側表示モニタに送信する技術が開示されている。特許文献3には、3次元ステレオカメラによって取得された画像情報を解析することによって、接車の危険性があるエリアに人が侵入したか否かを判定し、その危険性がある場合に警報を作動させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】再表WO2018/180311号
【文献】特開2020-050116号公報
【文献】特開2015-198317号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1乃至3に開示される技術のように、映像を用いてプラットホームを監視する場合において、プラットホームでの安全性を確保するためには、公共交通機関の従業員がプラットホームの状況について正確かつ迅速に把握する必要がある。
【0006】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、プラットホームの映像を確認する公共交通機関の従業員がプラットホームの状況を正確かつ迅速に把握することを支援する技術を提供することである。
【課題を解決するための手段】
【0007】
本開示におけるサーバ装置は、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段と、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段と、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段と、
を備える。
【0008】
本開示における画像処理方法は、コンピュータによって実行される。
当該画像処理方法は、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出し、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させ、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする、
ことを含む。
【0009】
本開示におけるプログラムは、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段、
として機能させる。
【発明の効果】
【0010】
本発明によれば、公共交通機関の従業員がプラットホームの映像から現在の状況を正確かつ迅速に把握することが可能となる。
【図面の簡単な説明】
【0011】
図1】第1実施形態における画像処理システムの構成を例示する図である。
図2】サーバ装置のハードウエア構成を例示する図である。
図3】第1実施形態のサーバ装置により実行される処理の流れを例示するフローチャートである。
図4】第2実施形態のサーバ装置により実行される処理の流れを例示するフローチャートである。
図5】第3実施形態における画像処理システムの構成を例示する図である。
図6】プラットホームに列車が存在する場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。
図7】プラットホームに列車が存在しない場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。
図8】第3実施形態のサーバ装置によって実行される処理の流れを例示するフローチャートである。
図9】第3実施形態の第1の変形例のサーバ装置によって実行される処理の流れを例示するフローチャートである。
図10】第3実施形態の第2の変形例のサーバ装置によって実行される処理の流れを例示するフローチャートである。
図11】第5実施形態における画像処理システムの構成を例示する図である。
図12】第6実施形態の表示処理部によってディスプレイ装置に出力される画像の一例を示す図である。
図13】第1実施形態の表示処理部120によってディスプレイ装置上に表示される、画像処理後の画像の一例を示す図である。
図14】第1実施形態の表示処理部120によってディスプレイ装置上に表示される、画像処理後の画像の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中に矢印がある場合、その矢印の向きは、情報の流れを分かり易く示すためのものに過ぎず、特に説明のない限り通信の方向(一方向/双方向)を限定しない。
【0013】
[第1実施形態]
図1は、第1実施形態における画像処理システムの構成を例示する図である。図1に例示される画像処理システム1は、サーバ装置10、撮像装置20、送信機30、受信機40、乗務員用モニタ50を含んで構成されている。
【0014】
サーバ装置10は、撮像装置20から取得される画像(プラットホームの映像)を処理し、列車Tの乗務員用のディスプレイ装置(乗務員用モニタ50)または駅構内で勤務している駅員用のディスプレイ装置(駅員用モニタ60)に処理後の画像を表示させる。本実施形態に係るサーバ装置10の機能については後述する。
【0015】
撮像装置20は、図示されていないが、駅のプラットホームの様々な場所に設けられており、当該プラットホームの少なくとも一部を含む領域の画像(映像)を生成する。撮像装置20により生成された画像(映像)は、サーバ装置10によって解析される。
【0016】
送信機30は、サーバ装置10により処理された画像を、例えばミリ波周波数帯の電波(搬送波)を使って、外部に送信する。受信機40は、列車T毎に備えられており、送信機30から送信された電波を受信する。受信機40は、図示しない内部の電子回路を介して、受信した電波から画像データを取り出す。取り出された画像データは、乗務員用モニタ50に送信される。これにより、乗務員用モニタ50に、サーバ装置10によって処理された画像が表示される。乗務員用モニタ50は、例えば、列車Tに組み込まれる据え置き型のモニタ装置であってもよいし、乗務員が使用するスマートフォンやタブレット端末といった、携帯型のモニタ装置であってもよい。
【0017】
駅員用モニタ60は、例えば、駅構内の駅員室に設けられている。駅員用モニタ60は、例えば、図示しないネットワークを介して、サーバ装置10と通信可能に接続されている。このネットワークを介して、サーバ装置10によって処理された画像が、駅員用モニタ60に送信される。そして、サーバ装置10によって処理された画像が、駅員用モニタ60に表示される。
【0018】
<サーバ装置10の機能構成例>
図1に例示されるように、本実施形態のサーバ装置10は、画像解析部110、表示処理部120、および表示内容設定部130を備える。
【0019】
画像解析部110は、駅のプラットホームの少なくとも一部を含む領域の画像を処理し、当該領域における注意事象を検出する。ここで、「注意事象」とは、駅のプラットホームに存在する人の安全を脅かすまたは脅かし得る様々な事象、換言すると、列車Tの乗務員や駅構内で勤務している駅員が必要に応じて適切な措置を取らなければならない様々な事象を指す。
【0020】
「注意事象」の例としては、プラットホームに設けられたホームドアに人が寄りかかっていること、ホームドアまたは列車のドアに異物(人または持ち物)が挟み込まれること、プラットホームに存在する列車へ人が駆け込んできていること、プラットホームが混雑している(所定の閾値以上の人数が存在している)こと、プラットホームにベビーカーや車いすが存在していること、プラットホームに白杖使用者が存在していること、喧嘩や言い争いが発生していること、人が倒れこんだ/倒れこんでいること、および、犯罪行為または犯罪に関連する行為(例:不審者のうろつきなど)が発生していること、などが挙げられる。画像解析部110は、撮像装置20によって生成された画像を解析して、ここで挙げた例の少なくとも1つを「注意事象」として検出する。なお、画像解析部110は、例えば、既知の機械学習アルゴリズムを用いて上述の「注意事象」の少なくとも1つを検出可能に学習された機械学習モデルを用いることで、入力された画像から注意事象を検出することができる。
【0021】
表示処理部120は、画像解析部110によって画像から何らかの注意事象が検出された場合、注意事象の存在を知らせる表示(以下、「注意表示」とも表記)を当該画像に付与する画像処理を実行する。表示処理部120は、例えば、画像の外縁部を強調する表示および注意事象が検出された画像内の領域を強調する表示の少なくとも一方を、上述の注意表示として画像に付与する。また、表示処理部120は、画像処理後の画像(注意表示を含む画像)をディスプレイ装置に表示させる。例えば、表示処理部120は、画像処理後の画像を、列車Tの乗務員が使用する乗務員用モニタ50、または、駅構内で勤務する駅員が使用する駅員用モニタ60に送信し、乗務員用モニタ50または駅員用モニタ60上に表示させる。乗務員や駅員は、画像に付与された注意表示によって、注意事象の存在(注意事象が発生しているか否か)を容易に判断できる。
【0022】
図13および図14は、第1実施形態の表示処理部120によってディスプレイ装置上に表示される、画像処理後の画像の一例を示す図である。図13の例では、表示処理部120は、画像の外縁部を強調する表示D1を、処理対象の画像に付与している。図14の例では、表示処理部120は、注意事象が検出された画像内の領域を強調する表示D2(ヒートマップ)を、処理対象の画像に付与している。表示処理部120は、複数の撮像装置20から得られる複数の画像をそれぞれ処理した後、これら複数の画像処理後の画像を結合して1つの画像を生成するように構成されていてもよい。この場合、例えば、表示処理部120は、複数の撮像装置20によって略同時刻に生成された複数の画像の各々について、画像解析部110による注意事象の検出結果に基づいて、注意表示を付与する画像処理を実行するか否かを決定する。そして、表示処理部120は、それぞれの画像を所定の出力用レイアウトに従って配置することによって、1枚の画像を生成することができる。この場合において、出力用レイアウトを定義するデータは、例えば、サーバ装置10に備えられるメモリやストレージデバイスなどの記憶領域に予め記憶されている。
【0023】
表示内容設定部130は、表示処理部120の画像処理によって画像に付与される注意表示の内容を、設定に応じて変更可能とする。注意表示の設定を示す情報は、例えば、表示処理部120が処理の中で参照する所定の設定ファイルに登録されている。表示内容設定部130は、ユーザからの入力に基づいて、当該設定ファイルに情報を新たに登録する機能および当該設定ファイルの既存の情報を更新する機能を有する。例えば、設定ファイルには、路線単位または鉄道会社単位といった所定の単位で注意表示の設定が登録される。また、表示内容設定部130は、例えば、乗務員や駅員が使用する従業員端末(図示せず)からの入力に応じて、設定ファイルの登録内容を任意のタイミングで変更することができる。表示内容設定部130によって設定が変更されると、表示処理部120は、画像処理において画像に対して付与する注意表示の種類を、変更後の設定に対応する種類に切り替える。
【0024】
<ハードウエア構成例>
サーバ装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、サーバ装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0025】
図2は、サーバ装置10のハードウエア構成を例示する図である。図2に例示されるサーバ装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
【0026】
バス1010は、各ハードウエア構成要素の間でデータを送受信するためのデータ伝送路である。ただし、サーバ装置10の各ハードウエア構成要素を接続する方法は、バス接続に限定されない。
【0027】
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
【0028】
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
【0029】
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は、サーバ装置10の各機能(画像解析部110、表示処理部120、表示内容設定部130など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれらのプログラムモジュールをそれぞれメモリ1030上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
【0030】
入出力インタフェース1050は、サーバ装置10と各種入出力機器とを接続するためのインタフェースである。図2の例では、入出力インタフェース1050には、キーボード、マウス、タッチパネル、ディスプレイ、スピーカーといった入出力機器(図示せず)が接続され得る。
【0031】
ネットワークインタフェース1060は、サーバ装置10をネットワークに接続するためのインタフェースである。ネットワークインタフェース1060は、有線または無線によって、サーバ装置10をネットワークに接続する。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。サーバ装置10は、ネットワークインタフェース1060を介して、ネットワーク上の他の装置と通信して様々なデータを送受信することができる。例えば、サーバ装置10は、ネットワークインタフェース1060を介して撮像装置20と通信し、撮像装置20により撮像された映像(画像)を取得することができる。また、サーバ装置10は、ネットワークインタフェース1060を介して送信機30と通信し、乗務員用モニタ50に表示させる画像(表示処理部120により処理された画像を含む)を送信機30に送信することができる。また、サーバ装置10は、ネットワークインタフェース1060を介して駅員用モニタ60と通信し、画像(表示処理部120により処理された画像を含む)を駅員用モニタ60に送信することができる。
【0032】
なお、図2の構成はあくまで一例であり、本発明は図2に示される内容に限定されない。例えば、サーバ装置10の各機能の少なくとも一部が、サーバ装置10と通信可能に接続された別のサーバ装置(図示せず)に備えられていてもよい。また、複数の撮像装置20がそれぞれプラットホームの様々な位置に設置されている場合に、複数の撮像装置20それぞれによって生成される各映像(各画像)を、乗務員用モニタ50に送信する映像(画像)と、そうでない映像(画像)とに分配する他のサーバ装置が更に設けられていてもよい。また、そのような分配を行う機能は、サーバ装置10が備えていてもよい。また、図2の例では、サーバ装置10が送信機30および受信機40間の情報のやり取りを制御しているが、送信機30および受信機40間の情報のやり取りを制御する他のサーバ装置が、ネットワークを介してサーバ装置10と接続されていてもよい。この場合、サーバ装置10は、送信機30から送信すべき映像(画像)のデータを当該他のサーバ装置に渡し、当該他のサーバ装置が送信機30を制御して映像(画像)を受信機40に送信する。
【0033】
<処理の流れ>
図3は、第1実施形態のサーバ装置10により実行される処理の流れを例示するフローチャートである。
【0034】
画像解析部110は、撮像装置20により生成された画像を解析し、注意事象を検出する(S102)。画像解析部110は、例えば、入力画像を受け付けて注意事象の検出結果を出力するように構築された機械学習モデルに撮像装置20から取得した画像を入力する。画像解析部110は、機械学習モデルからの出力に基づいて、注意事象が発生しているか否か、および、発生している場合にはその注意事象の種類を判定することができる。
【0035】
撮像装置20により生成された画像から注意事象が検出された場合(S104:YES)、表示処理部120は、当該画像に注意表示を付与する画像処理を実行する。表示処理部120は、まず、注意表示に関する設定(画像に付与すべき注意表示の種類)を取得する(S106)。例えば、表示処理部120は、ストレージデバイス1040などに保存されている設定ファイルを読み出し、当該設定ファイルに格納されている情報に基づいて、画像に付与すべき注意表示の種類を特定する。そして、表示処理部120は、S106の処理で取得した設定に従って、注意表示を画像に付与する画像処理を実行する(S108)。そして、表示処理部120は、注意表示を付与した画像を、対象のディスプレイに表示させる(S110)。例えば、表示処理部120は、送信機30を制御して、注意表示を付与した画像のデータを搬送する電波を送信機30から送信させる。送信機30から送信された電波は受信機40によって受信される。乗務員用モニタ50は、受信機40によって電波から取り出しされる画像データを、表示領域上に表示する。また例えば、表示処理部120は、ネットワークを介して接続された駅員用モニタ60に、注意表示を付与した画像のデータを送信する。駅員用モニタ60は、ネットワークを介して取得した画像データに基づいて、表示領域に画像を表示する。
【0036】
一方、撮像装置20により生成された画像から注意事象が検出されなかった場合(S104:NO)、表示処理部120は、注意表示を付与する画像処理を実行しない。この場合、注意表示のない画像が対象のディスプレイに表示される(S110)。
【0037】
また、表示内容設定部130は、注意表示の設定を変更するためのユーザ入力がないかどうかを監視している(S112)。ここで、注意表示の設定を変更するためのユーザ入力を検出した場合(S112:YES)、表示内容設定部130は、そのユーザ入力に基づいて、注意表示の設定を更新する(S114)。例えば、表示内容設定部130は、ストレージデバイス1040など保存されている設定ファイルの情報を、ユーザ入力に従って更新する。このように設定ファイルが更新された後、表示処理部120による画像処理の内容(画像に付与される注意表示の種類)も変更されることになる。
【0038】
上述の処理は、画像の出力が終了するまで繰り返し実行される(S116)。例えば、列車Tが出発してプラットホームから離れたことを各種センサ(図示せず)で検知した場合に、乗務員用モニタ50に対して画像を出力する処理が終了する。また例えば、駅員の使用する端末(図示せず)上で画像の出力を停止させる入力が実行された場合に、駅員用モニタ60に対して画像を出力する処理が終了する。
【0039】
本実施形態で説明したように、画像上に注意事象の存在を知らせる表示(注意表示)を付与することにより、乗務員や駅員が、撮像装置20の映像(画像)から注意事象が発生していることを容易に認識できる。また、本実施形態で説明したように注意表示の種類を変更可能とすることで、乗務員や駅員が、プラットホームで発生した注意事象に対して、正確かつ迅速に対処することができるようになる。例えば、画像に付与された注意表示は、その表示の種類によっては、発生している事象の状況を画像上で分かりにくくする可能性もある。ここで、本実施形態で説明したように、表示内容設定部130によって注意表示の種類を変更することができれば、乗務員や駅員が、画像を見辛くする要素を排除して、画像上で状況をより的確に把握できるようになる。例えば、乗務員や駅員が、注意表示の種類を、注意事象が発生している画像領域に所定の表示要素(ヒートマップなど)を重畳させるようなタイプのものから、画面の枠外を強調するタイプのものへと変更することで、画像の視認性を向上させることができる。また、乗務員や駅員が注意表示を視認して注意事象の発生に気づいた場合、注意表示を出力することによる目的は既に達成されているため、その後に注意表示を画像上に付与し続けなくてもよい。この場合、乗務員や駅員が、注意表示を付与しないように設定を適宜変更することで、画像の視認性を更に向上させることができる。このように注意表示の種類を適宜変更可能とすることによって、乗務員や駅員が注意事象の状況(注意事象の内容や発生場所など)を正確かつ迅速に把握できるようになる。そして、プラットホーム上で注意事象が発生した場合に乗務員や駅員が適切かつ迅速に動くことによって、プラットホームの安全性が確保される。
【0040】
[第2実施形態]
本実施形態の画像処理システム1およびサーバ装置10は、以下で説明する点を除き、第1実施形態と同様の構成(例:図1)を有する。
【0041】
本実施形態において、表示処理部120は、画像解析部110により注意事象が検出された場合、その注意事象が検出された場所を示す文字情報を画像に付与する処理を更に実行する。一例として、表示処理部120は、注意事象が検出された画像を撮影したカメラを示す文字情報を画像に付与する。表示処理部120は、例えば、画像に付加されたメタデータを参照することで、その画像を撮影したカメラの識別情報(シリアル番号など)を取得することができる。この場合、表示処理部120は、取得したカメラの識別情報を文字情報として画像に付与してもよい。また、カメラの識別情報とカメラの設置場所または撮影場所とを対応付けて記憶するデータベースなどが用意されている場合、表示処理部120は、当該データベースから、取得したカメラの識別情報に対応付けられているカメラの設置場所または撮影場所の情報を取得することができる。この場合、表示処理部120は、カメラの識別情報に基づいて取得したカメラの設置場所または撮影場所を、文字情報として画像に付与してもよい。また、カメラの撮影場所を示す情報が取得できた場合、表示処理部120は、当該画像の撮影場所に対応する車両の番号を特定し、当該車両の番号を示す文字情報を画像に付与するように構成されていてもよい。
【0042】
また、表示処理部120は、注意事象が検出された場所を示す文字情報に加えて(あるいは代えて)、注意事象の種類を示す文字情報を表示するように構成されていてもよい。例えば、画像解析部110が「ホームドアまたは列車のドアに異物(人または持ち物)が挟み込まれる」という注意事象を画像から検出したとする。この場合、表示処理部120は、検出された注意事象の種別を示す文字情報(例:「挟み込みを検知!」といった所定のメッセージ)を、当該画像に付与してもよい。この場合、例えば、画像解析部110により検出された注意事象の種別を示す情報と、出力すべき文字情報との対応関係を定義する定義情報が、メモリ1030やストレージデバイス1040などの所定の記憶領域に予め記憶される。表示処理部120は、画像解析部110により検出された注意事象の種別の情報を用いて、当該定義情報の中から出力すべき文字情報を取得することができる。
【0043】
<処理の流れ>
図4は、第2実施形態のサーバ装置10により実行される処理の流れを例示するフローチャートである。図4のフローチャートは、S202の工程を更に含んでいる点を除き、図3のフローチャートと同様である。以下では、図3と同様の処理については説明を適宜省略する。
【0044】
撮像装置20から取得した画像を解析した結果、注意事象が検出された場合(S104:YES)、表示処理部120は、設定に従って注意表示を画像に付与する(S106、S108)。本実施形態では、表示処理部120は、更に、注意事象の発生場所を示す文字情報を画像に付与する(S202)。例えば、表示処理部120は、画像のメタデータから、当該画像を撮像したカメラ(撮像装置20)の識別情報を取得し、当該カメラの識別情報を文字情報として画像に付与する。また、表示処理部120は、カメラの設置場所や撮影場所を示す情報がカメラの識別情報に対応付けられている場合、取得したカメラの識別情報に対応付けられている設置場所や撮影場所を示す情報を取得して、画像に付与してもよい。また、表示処理部120は、カメラの識別情報または撮影場所と列車の車両(車両番号)との対応関係を記憶するデータベースなどが準備されている場合、当該データベースを参照して取得される列車の車両番号を示す文字情報を、画像に付与してもよい。
【0045】
本実施形態で画像に付与される文字情報に基づいて、乗務員や駅員は、注意事象が発生した場所(乗務員や駅員が向かうべき場所または目線を向けるべき場所)を即座に判断することができる。その結果として、乗務員や駅員が注意事象に対して早期に措置を取ることができ、プラットホームでの安全性を高める効果が期待できる。
【0046】
[第3実施形態]
図5は、第3実施形態における画像処理システムの構成を例示する図である。図4に例示される画像処理システム1は、第1実施形態の構成に加えて、信号設備70を更に備えている。
【0047】
信号設備70は、プラットホーム内に列車が存在しているか否かを検知し、その結果をサーバ装置10に提供する。例えば、信号設備70は、プラットホームに到着した列車の車軸によって生じる短絡を検出し、その検出結果に応じて出力する信号を切り替えるように構成される。この場合、信号設備70は、短絡が検出されている間は、プラットホームに列車が存在することを示す信号をサーバ装置10に提供する。一方、信号設備70は、短絡が検出されていない間は、プラットホームに列車が存在しないことを示す信号をサーバ装置10に提供する。また、信号設備70は、図示しないプラットホーム近傍の線路を撮像範囲に含むカメラ(図示せず)の映像を解析して、プラットホームに進入する列車の存在を検知するように構成されていてもよい。また、信号設備70は、プラットホームの手前に設置されたセンサ類からの出力に基づいて、プラットホームに進入する列車の存在を検知するように構成されていてもよい。
【0048】
本実施形態のサーバ装置10は、以下で説明する点を除き、第1または第2の実施形態と同様の構成を有する。
【0049】
本実施形態において、画像解析部110は、注意事象の検出に関する画像解析を行う前に、プラットホームに列車が存在するか否かを判定する。一例として、画像解析部110は、列車の存在を検知する外部装置(例:信号設備70)からの信号を用いて、プラットホームに列車が存在するか否かを判定することができる。また、画像解析部110は、注意事象を検出する処理を対象の画像に対して行う前に、列車が存在するか否かを判定する処理を実行してもよい。この場合、画像解析部110は既知のオブジェクト認識技術を用いて、画像内に列車が存在するか否かを判定することができる。またこの場合、画像解析部110は、信号設備70の信号を取得または使用しなくてもよい。そして、画像解析部110は、プラットホームに列車が存在するか否かの判定結果に応じて、画像の解析対象領域(注意事象の検出処理が行われる画像領域)を変更する。
【0050】
一例として、プラットホームに列車が存在することを示す判定結果が得られた場合、画像解析部110は、撮像装置20により生成された画像の解析対象領域を、プラットホームに列車が存在していない場合よりも狭くする。具体的な例を、図6および図7を用いて説明する。図6は、プラットホームに列車が存在する場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。図7は、プラットホームに列車が存在しない場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。図6および図7に例示される画像は、同一のカメラによって異なるタイミングで撮影されたものである。ここで、図6および図7において、画像の解析対象領域として設定される領域が斜線で表されている。図示されるように、図6における画像の解析対象領域は、図7における画像の解析対象領域よりも狭くなっている。
【0051】
<処理の流れ>
図8は、第3実施形態のサーバ装置10によって実行される処理の流れを例示するフローチャートである。図8のフローチャートで示される処理は、図3および図4のフローチャートで示される処理の前に実行される。
【0052】
画像解析部110は、プラットホームに列車が存在するか否かを判定する(S302)。例えば、画像解析部110は、信号設備70から提供される列車の在線状態を示す信号に基づいて、プラットホームに列車が存在するか否かを判別することができる、また例えば、画像解析部110は、撮像装置20から取得した映像(画像)に、列車と推定される領域があるか否かを判定し、その判定結果に基づいてプラットホームに列車が存在するか否かを判別することができる。この場合、画像解析部110は、例えば、既知のオブジェクト認識技術を用いて、画像の中から列車の領域を抽出することができる。
【0053】
プラットホームに列車が存在していると判定された場合(S302:YES)、画像解析部110は、プラットホームに列車が存在していない場合よりも狭い画像領域を、解析対象領域(第1の解析対象領域)として設定する(S304)。一方、プラットホームに列車が存在していると判定された場合(S302:YES)、画像解析部110は、第1の解析対象領域よりも広い画像領域を、解析対象領域(第2の解析対象領域)として設定する(S306)。第1の解析対象領域および第2の解析対象領域を決定するアルゴリズムは、例えば、ストレージデバイス1040に記憶されている。画像解析部110は、このアルゴリズムに基づいて、注意事象を検出する処理が行われる画像領域(解析対象領域)を決定することができる。
【0054】
列車の出発に関与しない注意事象が過剰に検出および通知された場合、乗務員の業務効率が低下する虞がある。本実施形態では、上述のとおり、プラットホームに列車が存在する場合に、列車の出発に関与する可能性が高い領域(例えば、列車またはホームドアの周辺領域)に画像の解析対象領域を絞り込んでいる。このようにすることで、列車の出発に関与する可能性の低い、プラットホーム中央部分での注意事象について乗務員に通知されなくなり、列車の出発について安全を確保しながら、乗務員の業務効率を維持することができる。
【0055】
<第1の変形例>
本実施形態において、画像解析部110は、先に説明した処理に加えて、プラットホームに列車が存在するか否かに応じて、注意事象として検出する事象の種類を変更するように構成されていてもよい。
【0056】
例えば、画像解析部110は、プラットホームに列車が存在する場合、様々な注意事象のうち、列車の出発に関係のある種類の注意事象に絞って検出するように構成される。ここで、「列車の出発に関係のある種類の注意事象」の具体例としては、プラットホームに設けられたホームドアに人が寄りかかっていること、ホームドアに異物(人または持ち物)が挟み込まれること、プラットホームに存在する列車へ人が駆け込んできていること、プラットホームが混雑している(所定の閾値以上の人数が存在している)こと、プラットホームにベビーカーや車いすが存在していること、プラットホームに白杖使用者が存在していること、などが挙げられる。
【0057】
一方、画像解析部110は、プラットホームに列車が存在していない場合、プラットホームに列車が存在する場合に検出する注意事象に加えて、プラットホーム上での安全を確保するために検出すべき他の事象を検出するように構成される。例えば、プラットホームに列車が存在していない場合、画像解析部110は、喧嘩や言い争いが発生していること、人が倒れこんだこと、および、犯罪行為または犯罪に関連する行為(例:不審者のうろつきなど)が発生していることなどを、更に検出する。
【0058】
図9は、第3実施形態の第1の変形例のサーバ装置10によって実行される処理の流れを例示するフローチャートである。図9のフローチャートは、S308およびS310の処理を更に有している点で、図8のフローチャートと相違している。
【0059】
第1の変形例において、画像解析部110は、プラットホームに列車が存在するか否かの判定結果に応じて、画像から検出すべき注意事象の種類を選択する(S308、S310)。例えば、注意事象の種類別に学習モデルが準備されている場合、プラットホームに列車が存在しているときに使用する学習モデルと、プラットホームに列車が存在していないときに使用する学習モデルとをそれぞれ指定する情報が、所定の記憶領域(例:ストレージデバイス1040)に格納される。画像解析部110は、この情報に基づいて、それぞれのケースにおいて使用する学習モデルを選択することができる。これにより、画像解析部110は、それぞれのケースにおいて検出すべき注意事象の種別を選別することができる。
【0060】
<第2の変形例>
また、表示処理部120は、プラットホームに列車が存在しているか否かの判定結果に基づいて、画像処理後の画像の送信先を変更してもよい。具体的には、表示処理部120は、プラットホームに列車が存在している場合には、乗務員用モニタ50に対して画像処理後の画像を送信し、プラットホームに列車が存在していない場合には、駅員用モニタ60に対して画像処理後の画像を送信する。
【0061】
図10は、第3実施形態の第2の変形例のサーバ装置10によって実行される処理の流れを例示するフローチャートである。図10のフローチャートは、S312およびS314の処理を更に有している点で、図8および図9のフローチャートと相違している。また、図示されるように、本変形例のサーバ装置10は、第1の変形例の処理(S308、S310の処理)を更に実行するように構成されていてもよい。
【0062】
本変形例において、表示処理部120は、プラットホームに列車が存在するか否かの判定結果に応じて、画像解析部110によって処理された画像の送信先を選択する(S312、S314)。例えば、プラットホームに列車が存在している場合における画像の送信先(乗務員用モニタ50)を示す情報と、プラットホームに列車が存在していない場合における画像の送信先(駅員用モニタ60)を示す情報が、所定の記憶領域(例:ストレージデバイス1040)に格納される。表示処理部120は、この情報に基づいて、それぞれのケースにおける画像の送信先を特定することができる。なお、表示処理部120は、S312およびS314の処理を、S110の処理の前の任意のタイミングで実行すればよい。
【0063】
このようにすることで、画像解析部110がプラットホームに列車が存在するか否かによって注意事象として検出する事象の種類が変わる場合において、画像処理後の画像を適切な人物に提示することができる。
【0064】
[第4実施形態]
第3実施形態のサーバ装置10は、プラットホームに列車が存在しているか否かに応じて、画像の解析対象領域、検出すべき注視事象の種類、または、処理後の画像の送信先を変更するように構成されている。本実施形態では、第3実施形態とは異なり、画像の送信先に応じて、画像の解析対象領域および検出すべき注視事象の種類が変更されるケースについて説明する。
【0065】
本実施形態のサーバ装置10は、以下で説明する点を除き、第3実施形態と同様の構成(例:図5)を有する。
【0066】
第3実施形態で説明したように、列車がプラットホームに存在しているときに、列車の出発に関与しない注意事象が過剰に検出されて通知されると、乗務員の業務効率が低下し得る。そのため、第3実施形態のサーバ装置10は、列車の出発に関与する可能性の低い注意事象(例:プラットホームの中央付近で発生する注意事象)を検出しないよう、画像の解析対象領域が調節するように構成された。一方で、列車がプラットホームに存在しているときに、サーバ装置10がプラットホームの中央部分などで発生する注意事象を検出しないと、その注意事象への対処が遅れてしまう可能性もある。
【0067】
そこで、本実施形態のサーバ装置10は、例えば以下のように構成される。まず、画像解析部110は、列車がプラットホームに存在している場合に、乗務員用モニタ50に送る画像(乗務員用画像)と、駅員用モニタ60に送る画像(駅員用画像)とで、画像の解析対象領域および検出する注意事象の種類に関する設定を取得する。乗務員用画像および駅員用画像の設定に関する情報は、例えば、メモリ1030やストレージデバイス1040に予め記憶される。そして、画像解析部110は、乗務員用画像および駅員用画像の各々の設定に基づいて、撮像装置20により生成された画像に画像処理を実行する。そして、表示処理部120は、乗務員用画像の設定に基づく画像解析部110の画像処理結果に基づいて注意表示を付与した乗務員用画像と、駅員用画像の設定に基づく画像解析部110の画像処理結果に基づいて注意表示を付与した駅員用画像とを生成する。そして、表示処理部120は、乗務員用画像を送信機30から送信する。送信機30から送信された乗務員用画像は、受信機40を介して乗務員用モニタ50に送られ、乗務員用モニタ50に表示される。また、表示処理部120は、駅員用画像を、ネットワークを介して駅員用モニタ60に送信する。送信された駅員用画像は、駅員用モニタ60に表示される。
【0068】
本実施形態によれば、乗務員および駅員それぞれの業務に合わせてカスタマイズされた画像が、それぞれのモニタに表示される。例えば、第3実施形態の構成と同様に、乗務員用モニタ50上では、列車の出発に関与する注意事象のみが通知される。一方で、乗務員用モニタ50では通知されない、プラットホーム中央付近で発生した注意事象は、駅員用画像の生成時に検出され、駅員用モニタ60上に表示される。このようにすることで、プラットホームの安全性の確保と、業務効率の維持とを、より高い精度で実現できる。
【0069】
[第5実施形態]
図11は、第5実施形態における画像処理システムの構成を例示する図である。本実施形態のサーバ装置10は、他の実施形態で説明した構成に加え、ホームドア制御部140を更に備える。なお、図11に例示されているサーバ装置10は、第1の実施形態の構成をベースとして、ホームドア制御部140を更に備えている。
【0070】
ホームドア制御部140は、プラットホームに設けられたホームドア(複数のホームドアユニット80)の開閉状態を制御する。本実施形態のホームドア制御部140は、画像解析部110による注意事象の検出結果に応じて、複数のホームドアユニット80を一括制御する第1の制御モードと、複数のホームドアユニット80の各々を個別に制御する第2の制御モードとを切り替える。具体的には、ホームドア制御部140は、画像解析部110により注意事象が検出されていない場合、第1の制御モードで複数のホームドアユニット80を制御する。一方、ホームドア制御部140は、画像解析部110により注意事象が検出された場合、第2の制御モードで複数のホームドアユニット80を制御する。
【0071】
第1の制御モードが設定されている場合、ホームドア制御部140は、例えば乗務員の操作によってサーバ装置10に送信される信号(ドアの開閉を要求する信号)の受信に応じて、全てのホームドアユニット80を一括して開閉するように動作する。
【0072】
第2の制御モードが設定されている場合、ホームドア制御部140は、例えば乗務員の操作によってサーバ装置10に送信される信号(ドアの開閉を要求する信号)の受信に応じて、安全が確認されたホームドアユニット80のみを開閉するように動作する。例えば、ホームドア制御部140は、プラットホーム上で注意事象が検出された場所に対応するホームドアユニット80を特定し、当該ホームドアユニット80の識別情報をメモリ1030やストレージデバイス1040などの記憶領域に一時的に記憶する。このようにして、ホームドア制御部140によって特定されたホームドアユニット80は、ドア開閉動作の対象外のホームドアユニット80として認識される。その後、ホームドア制御部140は、ドアの開閉を要求する信号を受信すると、ドア開閉動作の対象外とされたホームドアユニット80を除く、全てのホームドアユニット80を開閉する。なお、後の時点において注意事象が解消された場合には、ホームドア制御部140は、記憶領域に一時的に記憶した情報を削除する。これによって、ホームドア制御部140は、ドア開閉動作の対象外とされていたホームドアユニット80を開閉できるようになる。
【0073】
本実施形態では、注意事象が検出されている場合には各々のホームドアユニット80が個別に制御され、安全が確認できたホームドアユニット80から開閉動作が実行される。これにより、プラットホームに設置されたホームドア近辺での安全性を向上させることができる。
【0074】
[第6実施形態]
プラットホームには、通常、複数の撮像装置(監視カメラ)が設けられる。乗務員や駅員が、ディスプレイ装置上でこれら複数の撮像装置の映像(画像)の全てを一度に確認することは困難である。また、送信機30および受信機40がミリ波周波数帯の電波を用いる場合に、一度に送受信できる画像データの数が制限されることもある。本実施形態のサーバ装置10は、上述の問題に対する更なる機能を備える点で、他の実施形態と異なる。本実施形態のサーバ装置10は、基本的には、以下で説明する点を除き、上述の他の実施形態のいずれかと同様の構成(例:図1図5図11)を有する。
【0075】
本実施形態において、画像解析部110は、プラットホームに備えられた複数の撮像装置から取得された複数の画像の各々の優先度を決定するように構成される。一例として、画像解析部110は、プラットホームに設けられた複数の撮像装置20から取得された複数の画像それぞれについて、画像に写っている人物の数を算出する。例えば、画像解析部110は、既知のオブジェクト認識技術を用いて、画像内の個々の人物の領域を検出し、検出された領域の数を人物の数として算出することができる。そして、画像解析部110は、複数の画像それぞれについて算出された人物の数に基づいて、複数の画像それぞれの優先度を決定する。例えば、画像解析部110は、画像に写っている人物の数が多いほど、その画像の優先度を高く設定することができる。
【0076】
また、本実施形態において、表示処理部120は、画像解析部110により決定された優先度に基づいて、ディスプレイ装置に表示させる画像を複数の画像の中から選択するように構成される。例えば、表示処理部120は、優先度の高い順に予め決められた数の画像を選択する。一度に送信することができる画像の数に上限がある場合、表示処理部120は、その上限数に達するまで、優先度の高い順に画像を選択する。そして、表示処理部120は、選択した画像を対象のディスプレイ装置に表示させる(例:図12)。
【0077】
図12は、第6実施形態の表示処理部120によってディスプレイ装置に出力される画像の一例を示す図である。図12の例では、表示領域が4つのサブ領域に分割されている。また、図12の例では、表示処理部120によって選択された4つの画像はそれぞれ対応するサブ領域に割り当てられ、1つの合成画像としてディスプレイ装置に出力されている。図12の例では、左下のサブ領域の画像と、右上のサブ領域の画像において注意事象が検出されている。表示処理部120は、左下のサブ領域の画像に対しては、画像の外枠部を強調する表示を付与する処理を実行している。また、表示処理部120は、右上のサブ領域の画像に対しては、注意事象が検知された画像領域を強調する表示(ヒートマップ)を付与する処理を実行している。図示していないが、表示処理部120は、第2実施形態で説明したように、注意事象が検出された場所を示す文字情報を更に付与してもよい。
【0078】
表示処理部120は、ディスプレイ装置に表示させる画像が優先度に基づいて選択されるまでは、複数の撮像装置20の中で予め定められた特定の撮像装置20(以下、「特定撮像装置」とも表記)によって撮影された画像を、ディスプレイ装置に表示させる画像として選択する。ここで、プラットホームの構造上、人が集まりやすい場所、危険度が高いと推測される場所、または乗務員が視認しにくい場所を撮像範囲に含む撮像装置20が特定撮像装置として設定され得る。「プラットホームの構造上、人が集まりやすい場所」とは、例えば、階段、エスカレータ、またはエレベータが設置されている場所の周辺などである。「プラットホームの構造上、危険度が高いと推測される場所」とは、例えば、プラットホームが湾曲しており、停車時にプラットホームと車両との間に比較的大きな隙間が生じる場所などである。「プラットホームの構造上、乗務員が視認しにくい場所」とは、例えば、プラットホームが湾曲しており、停車中の車両によって乗務員の視界から遮られる可能性のある場所などである。
【0079】
なお、本実施形態において、画像解析部110によって決定された優先度に関係なく、撮影した画像がディスプレイ装置に常に表示される撮像装置が、予め設定されていてもよい。表示処理部120は、そのような撮像装置によって撮影された画像を、ディスプレイ装置に表示する画像として常に選択する。この場合、例えば、常に画像を選択することを示すフラグ情報が、該当する撮像装置の情報に関連付けて所定の記憶領域(例えば、ストレージデバイス1040)に予め登録される。表示処理部120は、そのようなフラグ情報の有無に基づいて、画像解析部110により決定された優先度にかかわらず、常に選択すべき画像を識別することができる。また、画像解析部110は、このようなフラグ情報が付与されている撮像装置の画像について、人物の数を検出する処理をスキップするように構成されていてもよい。このようにすることで、全体的な画像処理量を削減することができる。
【0080】
以上、本実施形態によれば、プラットホームに設けられた複数の撮像装置20によって撮影された複数の画像それぞれについて、画像から検出される人物の数に基づいて優先度が決定される。そして、決定された優先度に基づいて、所定の数の画像がディスプレイ装置に表示される画像として選択される。そして、多くの人が写っており注意事象が発生する可能性の高い画像が、従業員や駅員の確認するモニタ上に優先的に表示される。これにより、一度に伝送できる映像(画像)の数に何らかの制約が課されている場合であっても、映像に基づいてプラットホームの安全性を効率的に確認することができる。
【0081】
以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。また、実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。
【0082】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0083】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段と、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段と、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段と、
を備えるサーバ装置。
2.
前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
1.に記載のサーバ装置。
3.
前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
1.または2.に記載のサーバ装置。
4.
前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
1.から3.のいずれか1つに記載のサーバ装置。
5.
前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
4.に記載のサーバ装置。
6.
前記画像解析手段は、
前記プラットホームに列車が存在するか否かを判定し、
前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
1.から5.のいずれか1つに記載のサーバ装置。
7.
前記画像解析手段は、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
6.に記載のサーバ装置。
8.
前記画像解析手段は、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
6.または7.に記載のサーバ装置。
9.
前記表示処理手段は、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
6.から8.のいずれか1つに記載のサーバ装置。
10.
前記画像解析手段は、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
6.から9.のいずれか1つに記載のサーバ装置。
11.
前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
1.から10.のいずれか1つに記載のサーバ装置。
12.
前記画像解析手段は、
前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
前記表示処理手段は、
決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
1.から11.のいずれか1つに記載のサーバ装置。
13.
前記表示処理手段は、
前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
12.に記載のサーバ装置。
14.
コンピュータによって実行される画像処理方法であって、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出し、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させ、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする、
ことを含む画像処理方法。
15.
前記コンピュータが、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
ことを含む14.に記載の画像処理方法。
16.
前記コンピュータが、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
ことを含む14.または15.に記載の画像処理方法。
17.
前記コンピュータが、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
ことを含む14.から16.のいずれか1つに記載の画像処理方法。
18.
前記コンピュータが、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
ことを含む17.に記載の画像処理方法。
19.
前記コンピュータが
前記プラットホームに列車が存在するか否かを判定し、
前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
ことを含む14.から18.のいずれか1つに記載の画像処理方法。
20.
前記コンピュータが、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
ことを含む19.に記載の画像処理方法。
21.
前記コンピュータが、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
ことを含む19.または20.に記載の画像処理方法。
22.
前記コンピュータが、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
ことを含む19.から21.のいずれか1つに記載の画像処理方法。
23.
前記コンピュータが、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
ことを含む19.から22.のいずれか1つに記載の画像処理方法。
24.
前記コンピュータが、
前記プラットホームに設けられた複数のホームドアの開閉状態を制御し、
前記ホームドアの開閉状態の制御において、前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
ことを含む14.から23.のいずれか1つに記載の画像処理方法。
25.
前記コンピュータが、
前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
ことを含む14.から24.のいずれか1つに記載の画像処理方法。
26.
前記コンピュータが、
前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
ことを含む25.に記載の画像処理方法。
27.
コンピュータを、
駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段、
前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段、
前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段、
として機能させるためのプログラム。
28.
前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
27.に記載のプログラム。
29.
前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
27.または28.に記載のプログラム。
30.
前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
27.から29.のいずれか1つに記載のプログラム。
31.
前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
30.に記載のプログラム。
32.
前記画像解析手段は、
前記プラットホームに列車が存在するか否かを判定し、
前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
27.から31.のいずれか1つに記載のプログラム。
33.
前記画像解析手段は、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
32.に記載のプログラム。
34.
前記画像解析手段は、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
32.または33.に記載のプログラム。
35.
前記表示処理手段は、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
32.から34.のいずれか1つに記載のプログラム。
36.
前記画像解析手段は、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
32.から35.のいずれか1つに記載のプログラム。
37.
前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
27.から36.のいずれか1つに記載のプログラム。
38.
前記画像解析手段は、
前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
前記表示処理手段は、
決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
27.から37.のいずれか1つに記載のプログラム。
39.
前記表示処理手段は、
前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
38.に記載のプログラム。
【0084】
この出願は、2021年2月19日に出願された日本出願特願2021-024954号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0085】
1 画像処理システム
10 サーバ装置
110 画像解析部
120 表示処理部
130 表示内容設定部
140 ホームドア制御部
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース
20 撮像装置
30 送信機
40 受信機
50 乗務員用モニタ
60 駅員用モニタ
70 信号設備
80 ホームドアユニット
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14