特許 7553749 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240910BHJP

   G06T 7/00 20170101ALI20240910BHJP

   G06V 20/54 20220101ALI20240910BHJP

   G08B 25/04 20060101ALI20240910BHJP

   G08B 25/00 20060101ALI20240910BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T7/00 300F

G06V20/54

G08B25/04 C

G08B25/00 510M

【請求項の数】 5

(21)【出願番号】P 2024505904

(86)(22)【出願日】2022-12-13

(86)【国際出願番号】 JP2022045759

(87)【国際公開番号】W WO2023171068

(87)【国際公開日】2023-09-14

【審査請求日】2024-03-15

(31)【優先権主張番号】P 2022034071

(32)【優先日】2022-03-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】長谷川 圭吾

(72)【発明者】

【氏名】生内 友輔

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１５－１８２５５６（ＪＰ，Ａ）

【文献】特開２０１０－１８１６１４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０８４１９１（ＷＯ，Ａ１）

【文献】特開２００６－１１１１７７（ＪＰ，Ａ）

【文献】特開２００６－１１８９１４（ＪＰ，Ａ）

【文献】特開２０１５－７０４０１（ＪＰ，Ａ）

【文献】特開２０２１－６４３９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５４

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

撮像装置と、解析装置とを備え、
前記解析装置は、状態解析制御部と、状態解析部とを有し、
前記状態解析制御部は、前記撮像装置が取得した映像の解析または状態通知部から通知された情報によって列車が接近していることを検知すると前記状態解析部に対して踏切内の映像解析の開始を指示し、
前記状態解析部は、前記撮像装置が取得した映像を用いて踏切内の移動物体の検知と追跡を行い、少なくとも前記移動物体の現在移動速度を用いて踏切の遮断完了までに検知対象が設定した仮想線まで到達できないと判定した場合に危険事象が発生していると判定して発報処理を行い、
前記状態解析部は、種別に応じて前記移動物体の現在の位置と速度から前記仮想線までの到達時間を予想し、予想した到達時間が踏切の遮断完了時間よりも長い場合は、危険事象が発生していると判定することを特徴とする監視システム。

【請求項2】

請求項１に記載の監視システムにおいて、
前記状態解析部は、検知対象を識別するＩＤと、検知対象の種別を画像解析により特定して種別を識別するＩＤを、検知対象ごとに紐づけて追跡し、
前記種別には少なくとも人物、自動車、自転車、車いす、ベビーカー、杖、白杖を含むことを特徴とする監視システム。

【請求項3】

請求項１に記載の監視システムにおいて、
前記状態解析部は、前記移動物体の現在の移動速度と、前記移動物体の現在の位置から前記仮想線までの距離から、前記移動物体が前記仮想線まで到達する時間を算出し、この時間が踏切の遮断完了までの残り時間よりも多い場合は危険事象が発生していると判定することを特徴とする監視システム。

【請求項4】

請求項１に記載の監視システムにおいて、
前記状態解析部は、前記移動物体が踏切内に存在し、かつ、前記移動物体の現在の時間の移動量が所定の閾値以下であり、かつ、踏切の遮断完了までの時間が所定の閾値以内の場合、危険事象が発生していると判定する監視システム。

【請求項5】

請求項１に記載の監視システムにおいて、
表示装置を備え、前記表示装置は、複数の前記撮像装置からの映像を並べて表示し、前記状態解析部で危険事象が発生していると判定した前記撮像装置の映像を強調または拡大して表示することを特徴とする監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システムに関し、特に、画像中の検知対象を検知し追跡した結果に基づき、危険事象を検知する監視システムに関する。

【背景技術】

【0002】

例えば、踏切では自動踏切警報器や交通信号機などを設置し、歩行者、自動車、列車を分離して通行することで交通安全を実現している。しかしながら、踏切内に人や自動車、車椅子などが取り残されて、列車と衝突する事故が発生している。このため、安全向上のため踏切内に残存する歩行者や自動車等を検知するためのレーザセンサを設置することが一般的に行われている。

【0003】

一方、特許文献１には、横断路へ車両が接近していると判断された場合には、検出された物体が移動中である移動物体であるか否かを判断し、物体が移動物体であると判断された場合には、その移動物体の位置変化を予測し、予測された移動物体の位置変化に基づき、移動物体が車両の走行を妨げるおそれがあるか否かを予測する移動物体検知装置が開示されている。

【0004】

また、特許文献２には、通行人の位置及び通行速度を踏切情報と照合することで、通行人が踏切を通行可能であるか判断し、判断の結果を通行人に通知する踏切通過可否判断支援システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－１１１１７７号公報

【文献】特開２０１６－１５５４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、レーザセンサによる方法は遮断桿が降りた後の危険事象の検知であることから、検知から発報し列車が停止するまでの時間猶予が短い。また、踏切内を監視する監視カメラを設置して映像を目視で確認することも考えられるが、映像監視による方法は多数の踏切を監視員が同時に監視するため大きな負担となる。

【0007】

一方、特許文献１ではレーザ照射式のセンサの使用を前提としている。この場合、レーザで照射して検知できる範囲が限定されるとともに、レーザから得られる情報も限られた情報となる。また、レーザ照射式のセンサはカメラに比べて高価である。さらに、踏切内の状況を監視員が目視で確認するためにはカメラを別に設ける必要がある。

【0008】

また、特許文献２では、通行人が携帯端末を保持していることにより通行人の位置を取得することを前提としている。このため、通行人が対応する携帯端末を保持していない場合は通行人を検知することができない。

【0009】

本発明は、上記課題に鑑みて、踏切内の危険事象をより的確に検知できる監視システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、代表的な本発明の監視システムの一つは、撮像装置と、解析装置とを備え、前記解析装置は、状態解析制御部と、状態解析部とを有し、前記状態解析制御部は、前記撮像装置が取得した映像の解析または状態通知部から通知された情報によって列車が接近していることを検知すると前記状態解析部に対して踏切内の映像解析の開始を指示し、前記状態解析部は、前記撮像装置が取得した映像を用いて踏切内の移動物体の検知と追跡を行い、少なくとも前記移動物体の現在移動速度を用いて踏切の遮断完了までに検知対象が設定した仮想線まで到達できないと判定した場合に危険事象が発生していると判定して発報処理を行う。

【発明の効果】

【0011】

本発明によれば、監視システムにおいて、踏切内の危険事象をより的確に検知できる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示の実施形態による態様を実施するためのコンピュータシステムのブロック図である。

【図2】図２は、本発明の監視システムの構成例を示すブロック図である。

【図3】図３は、本発明の監視システムの適用例を示す概念図である。

【図4】図４は、本発明の監視システムの処理のフローチャートの一例を示す。

【図5】図５は、本発明の監視システムの判定方法を説明するための図である。

【図6】図６は、本発明の監視システムにおける第１の表示例を示す図である。

【図7】図７は、本発明の監視システムにおける第２の表示例を示す図である。

【発明を実施するための形態】

【0013】

本発明を実施するための形態を説明する。

【0014】

＜実施形態による態様を実施するためのコンピュータシステム＞
図１は、本開示の実施形態による態様を実施するためのコンピュータシステム１のブロック図である。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１の主要コンポーネントは、１つ以上のプロセッサ２、メモリ４、端末インターフェース１２、ストレージインターフェース１４、Ｉ／Ｏ（入出力）デバイスインターフェース１６、及びネットワークインターフェース１８を含む。これらのコンポーネントは、メモリバス６、Ｉ／Ｏバス８、バスインターフェースユニット９、及びＩ／Ｏバスインターフェースユニット１０を介して、相互的に接続されてもよい。

【0015】

コンピュータシステム１は、プロセッサ２と総称される１つ又は複数の処理装置２Ａ及び２Ｂを含んでもよい。各プロセッサ２は、メモリ４に格納された命令を実行し、オンボードキャッシュを含んでもよい。ある実施形態では、コンピュータシステム１は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム１は単一の処理装置によるシステムであってもよい。処理装置としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を適用できる。

【0016】

ある実施形態では、メモリ４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。ある実施形態では、メモリ４は、コンピュータシステム１の仮想メモリ全体を表しており、ネットワークを介してコンピュータシステム１に接続された他のコンピュータシステムの仮想メモリを含んでもよい。メモリ４は、概念的には単一のものとみなされてもよいが、他の実施形態では、このメモリ４は、キャッシュおよび他のメモリデバイスの階層など、より複雑な構成となる場合がある。例えば、メモリは複数のレベルのキャッシュとして存在し、これらのキャッシュは機能毎に分割されてもよい。その結果、１つのキャッシュは命令を保持し、他のキャッシュはプロセッサによって使用される非命令データを保持する構成であってもよい。メモリは、いわゆるＮＵＭＡ（Ｎｏｎ－Ｕｎｉｆｏｒｍ
Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コンピュータアーキテクチャのように、分散され、種々の異なる処理装置に関連付けられてもよい。

【0017】

メモリ４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ４は、潜在因子特定アプリケーション５０を格納していてもよい。ある実施形態では、潜在因子特定アプリケーション５０は、後述する機能をプロセッサ２上で実行する命令又は記述を含んでもよく、あるいは別の命令又は記述によって解釈される命令又は記述を含んでもよい。ある実施形態では、潜在因子特定アプリケーション５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および／または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、潜在因子特定アプリケーション５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット９、プロセッサ２、またはコンピュータシステム１の他のハードウェアと直接通信するように提供されてもよい。このような構成では、プロセッサ２がメモリ４及び潜在因子識別アプリケーションにアクセスする必要性が低減する可能性がある。

【0018】

コンピュータシステム１は、プロセッサ２、メモリ４、表示システム２４、及びＩ／Ｏバスインターフェースユニット１０間の通信を行うバスインターフェースユニット９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１０は、Ｉ／Ｏバス８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインターフェースユニット１２、１４、１６、及び１８と通信してもよい。表示システム２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置２６に提供することができる。また、コンピュータシステム１は、データを収集し、プロセッサ２に当該データを提供するように構成された１つまたは複数のセンサ等のデバイスを含んでもよい。例えば、コンピュータシステム１は、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示メモリは、ビデオデータをバッファするための専用メモリであってもよい。表示システム２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置２６に接続されてもよい。ある実施形態では、表示装置２６は、オーディオをレンダリングするためスピーカを含んでもよい。あるいは、オーディオをレンダリングするためのスピーカは、Ｉ／Ｏインターフェースユニットと接続されてもよい。他の実施形態では、表示システム２４が提供する機能は、プロセッサ２を含む集積回路によって実現されてもよい。同様に、バスインターフェースユニット９が提供する機能は、プロセッサ２を含む集積回路によって実現されてもよい。

【0019】

Ｉ／Ｏインターフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インターフェースユニット１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス２０及びコンピュータシステム１に対して入力データや指示を入力し、コンピュータシステム１からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

【0020】

ストレージインターフェース１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置２２は、任意の二次記憶装置として実装されてもよい。メモリ４の内容は、ストレージ装置２２に記憶され、必要に応じてストレージ装置２２から読み出されてもよい。ネットワークインターフェース１８は、コンピュータシステム１と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３０であってもよい。

【0021】

図１に示されるコンピュータシステム１は、プロセッサ２、メモリ４、バスインタフェース９、表示システム２４、及びＩ／Ｏバスインターフェースユニット１０の間の直接通信経路を提供するバス構造を備えているが、他の実施形態では、コンピュータシステム１は、階層構成、スター構成、又はウェブ構成のポイントツーポイントリンク、複数の階層バス、平行又は冗長の通信経路を含んでもよい。さらに、Ｉ／Ｏバスインターフェースユニット１０及びＩ／Ｏバス８が単一のユニットとして示されているが、実際には、コンピュータシステム１は複数のＩ／Ｏバスインターフェースユニット１０又は複数のＩ／Ｏバス８を備えてもよい。また、Ｉ／Ｏバス８を様々なＩ／Ｏデバイスに繋がる各種通信経路から分離するための複数のＩ／Ｏインターフェースユニットが示されているが、他の実施形態では、Ｉ／Ｏデバイスの一部または全部が、１つのシステムＩ／Ｏバスに直接接続されてもよい。

【0022】

ある実施形態では、コンピュータシステム１は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム１は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

【0023】

＜監視システムのブロック図＞
図２は、本発明の監視システムの構成例を示すブロック図である。

【0024】

図２で示される監視システム１００は、撮像装置１０１、解析装置１０２、警報装置１０３、表示装置１０４、状態通知部１０５を備えている。

【0025】

撮像装置１０１は、例えばネットワークカメラによって構成され、踏切等の監視エリアの映像取得に用いられる。撮像装置１０１は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等があげられる。撮像装置１０１は、映像として、例えば、１秒間に３フレーム（３ｆｐｓ）以上等で撮影して、その情報は、解析装置１０２へ送られる。撮像装置１０１は、状況に応じて複数設置可能である。カメラとしては、可視光や赤外線等のカメラを用いることができる。

【0026】

解析装置１０２は、状態解析制御部１０６と状態解析部１０７を備える。解析装置１０２は、例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰなどのプロセッサを搭載したコンピュータによって実現され、例えば、図１のコンピュータシステム１を適用できる。状態解析制御部１０６は、撮像装置１０１によって得られた映像や状態通知部１０５から通知された列車の接近情報に基づき、状態解析部１０７による危険事象の検知開始を制御する。状態解析部１０７は、撮像装置１０１によって得た映像を解析し、人物や自動車などの移動物体が踏切内で取り残される等の危険事象が発生するかどうかの予測を行う。具体的な判定方法については後述する。

【0027】

警報装置１０３は、例えば、スピーカなどで構成され、状態解析部１０７が危険事象を検知すると、音声によって踏切周囲に危険を知らせる。また、その他の態様として、防護無線装置によって構成され、状態解析部１０７が危険事象を検知した際に非常停止信号の発信を該当する列車等へ行う。

【0028】

表示装置１０４は、撮像装置１０１で撮影された監視映像を表示できる表示装置である。このとき、状態解析部１０７で検知した危険事象の内容等の表示を行うことができる。表示装置１０４は、例えば、液晶ディスプレイや有機ＥＬ（ＯＬＥＤ）ディスプレイ等で構成することができる。また、スイッチャーやキーボードやマウスなどの操作手段を付属していてもよい。表示装置１０４は、各撮像装置１０１による映像を監視センターなどに集約してもよい。表示装置１０４は、解析装置１０２と同じ場所に構成してもよいし、別の場所に構成してもよい。表示装置１０４は、図１の例ならば表示装置２６として適用できる。

【0029】

状態通知部１０５は、踏切制御子やＡＴＳ（Ａｕｔｏｍａｔｉｃ Ｔｒａｉｎ Ｓｔｏｐ）などを用いて構成される。状態通知部１０５は、該当する踏切への列車の接近を検知し、状態解析制御部１０６に接近情報を通知する。この接近情報は、例えば、該当する踏切までの列車の位置や該当する踏切に到達するまでの予想時間が所定の値以内に達したか否か等で判定することができる。

【0030】

＜監視システムの適用例＞
図３は、本発明の監視システムの適用例を示す概念図である。

【0031】

図３では、踏切１５０の横断エリア１６０を渡る車椅子で例示された移動物体１３０が示されている。横断エリア１６０は、前方と後方の遮断桿１５１の間のエリアであり、線路１７０を横切る。移動物体１３０は前方の境界線１６１を超えると横断エリア１６０を抜けて安全なエリアに到達することができる。横断エリア１６０の境界線１６１は前方の遮断桿１５１付近の境界線である。

【0032】

撮像装置１０１は、踏切警報機１５２等に設置することができ、横断エリア１６０全体を撮影することができるように設置される。このため、ある程度以上高い位置に設置するとよい。例えば、人の高さより高い２ｍ以上などである。また、撮像装置１０１は、一台だけでなく対角などに複数設置して、横断エリア１６０を含む踏切１５０全体を多角的に撮影するようにしてもよい。

【0033】

警報装置１０３は、踏切１５０近傍に設置され、踏切１５０や踏切１５０近傍にいる人に警報を発することができる。図３の例では、踏切警報機１５２に設置されている。

【0034】

解析装置１０２は、踏切１５０とは別の場所に設置することが可能である。また、状態解析部１０７は、踏切１５０近傍に設置されてもよいし、解析装置１０２と一体に設置されてもよい。

【0035】

表示装置１０４は、踏切１５０とは別の場所に設置することが可能である。例えば、監視センターなどに他の踏切における撮像装置１０１の情報とあわせて集約させることが可能である。

【0036】

図３は、移動物体１３０が踏切１５０の横断エリア１６０に取り残されそうな危険事象が発生する場合を示す。この場合は、撮像装置１０１で撮影された映像に基づき解析装置１０２でその情報が解析され危険事象と判定される。それに基づき警報装置１０３で所定の発報がなされる。また、表示装置１０４では監視員が危険事象と判定された映像を確認できる。

【0037】

＜フローチャート＞図４は、本発明の監視システムの処理のフローチャートの一例を示す。図４を使って、監視システム１００の処理の流れを説明する。

【0038】

まず、ステップＳ２０１では、状態解析制御部１０６が列車の接近を検知する。ここでの検知は踏切１５０の予鈴開始や遮断開始を検知する方法があげられる。また、撮像装置１０１は、状態解析制御部１０６に踏切監視映像を常時送信している。このため、状態解析制御部１０６は画像解析によって遮断開始を検知することができる。監視映像によって遮断開始を検知する方法としては、例えば踏切警報機１５２の踏切警報等の点滅を色・輝度の変化から検知する方法や、遮断桿１５１の動きを検知する方法がある。また、このほか、列車の接近の検知は状態通知部１０５が踏切制御子やＡＴＳなどからの情報を取得することにより列車の接近を検知してもよい。列車の接近を検知すると状態解析制御部１０６は、状態解析部１０７に踏切状態の解析開始を指示する。

【0039】

次に、ステップＳ２０２では、状態解析部１０７が踏切１５０内の人物、自動車、自転車、バイク、車いす、ベビーカー、杖、白杖等の移動物体１３０を検知して追跡する。ここでの検知や追跡は、撮像装置１０１で撮影された映像に基づき、機械学習技術やパターンマッチングなどを組み合わせることによって実現できる。機械学習技術は、ＡＩ（人工知能）を用いて、ディープラーニングを用いる等して画像解析により行うことが可能である。パターンマッチングは、例えば、テンプレート画像と照合する等して画像解析により行うことが可能である。移動物体１３０を一回検知すると、画面上ではフレームごとに移行していく。このとき、検知した移動物体１３０と同じ物であるかどうかを、機械学習やパターンマッチングを使用して移動してきた履歴を追跡できる。また、移動物体１３０の検知や追跡は、機械学習やパターンマッチング以外のアルゴリズムを利用してもよい。

【0040】

このとき、各移動物体に対して検知対象を識別する識別ＩＤを付す処理を行うとよい。さらに、各移動物体に対して人物、自動車、自転車、バイク、車いす、ベビーカー、杖、白杖等の種別を特定する検知対象種別ＩＤを付してもよい。このようにＩＤと検知対象を紐付けすることで後述する判別や後の危険事象の解析に役立てることができる。

【0041】

次に、ステップＳ２０３では、移動物体１３０の速度を推定する。速度の推定は状態解析部１０７において撮像装置１０１で撮影された映像の画像解析で行う。速度の推定方法の具体例は、後述する判定方法で説明する。

【0042】

次に、ステップＳ２０４では、移動物体１３０が踏切１５０を横断できるか否かを判定する。ここでの判定は、状態解析部１０７で、ステップＳ２０３で推定した速度を用いるなどして行うことができる。移動物体１３０が踏切１５０を横断したか否かは、例えば、遮断完了までに横断エリア１６０を通過できるか否か等で判定できる。判定方法の具体例は後述する。ステップＳ２０４で、移動物体１３０が踏切１５０を横断できる場合は処理が終了する。横断不可（真）の場合はステップＳ２０５へ進む。この場合、状態解析部１０７は危険事象の発生の情報を送信する。

【0043】

ステップＳ２０５では、発報処理を行う。例えば、警報装置１０３により音声等によって踏切１５０周辺に危険を知らせる。この他、表示装置１０４が危険事象の発生を警告表示する等してもよい。これらは、状態解析部１０７からの危険事象の発生の情報を受信し、それに基づき行うことができる。

【0044】

＜第１の判定方法＞
図５は、本発明の監視システムの判定方法を説明するための図である。図５を用いて第１の判定方法について説明する。

【0045】

図５は、移動物体１３０（図５では車いすを例示）が踏切１５０を横断している途中の状態を示している。踏切１５０の横断エリア１６０の横断方向の後方の境界付近には仮想線３０１、前方の境界付近には仮想線３０２が決められる。これらは画像解析により判別可能である。移動物体１３０は、横断エリア１６０に存在し、現在の時刻はｔ_ｎ、現在の位置はＰ_ｎ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））である。

【0046】

第１の判定方法は、移動物体１３０が踏切１５０を渡り切るまでの時間が、踏切１５０の遮断桿１５１が閉まるまでの残り時間よりも長いと予測される場合に、横断不可（真）とする判定方法である。

【0047】

移動物体１３０が、前方の仮想線３０２に達する到達地点をＰ_Ｇ（ｘ_Ｇ，ｙ_Ｇ）とすると、現在ｔ_ｎの位置Ｐ_ｎ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））から到達地点Ｐ_Ｇ（ｘ_Ｇ，ｙ_Ｇ）までの距離ｄ（ｔ_ｎ）は以下の式１で示される。

【数1】

ここで、到達地点Ｐ_Ｇ（ｘ_Ｇ，ｙ_Ｇ）は、例えば、現在の位置Ｐ_ｎ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））から、前方の一番距離が短い仮想線３０２の位置を到達地点Ｐ_Ｇとすることができる。このほか、直前の位置から移動により直近の移動方向が算出できるため、これから算出される移動ベクトルの延長線上の仮想線３０２との交点を到達地点Ｐ_Ｇとしてもよい。

【0048】

次に、現在の移動速度ｖ（ｔ_ｎ）は次の式２で示される。

【数2】

ここでは、直前の時刻ｔ_ｎ－１における位置Ｐ_ｎ－１（ｘ（ｔ_ｎ－１），ｙ（ｔ_ｎ－１））から、現在の時刻ｔ_ｎの位置Ｐ_ｎ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））までの移動距離と時間差により求めることができる。直前の時刻ｔ_ｎ－１は、現在の時刻ｔ_ｎに対して所定時間前であり、例えば、１フレーム前や数フレーム前との差等の所定のフレーム間隔としてもよい。

【0049】

次の式３は判定条件である。

【数3】

ここでは、式１で求めた距離ｄ（ｔ_ｎ）と上記式２で求めた移動速度ｖ（ｔ_ｎ）を用いて、式３が真か偽か判定する。ここでτは現在の時刻ｔ_ｎから踏切１５０の遮断完了までの残り時間である。このτは、踏切の遮断開始から遮断完了までの時間はあらかじめ決まっているため、当該踏切の情報に基づき状態解析部１０７で算出することが可能である。

【0050】

上記の式３の条件を満たすと、踏切１５０の遮断完了までに移動物体１３０が仮想線３０１までに達しないことになる。このため、この条件に合致すれば真となり移動物体１３０が踏切１５０を渡り切ることができないため、危険事象が発生していると判定できる。

【0051】

なお、上記の例は、移動物体１３０の移動方向前方にある仮想線３０２に対してのみ判定を行う例を示したが、移動物体１３０の移動方向後方にある仮想線３０１に対して判定を行ってもよい。また、これ以外にも、仮想線までの距離ｄ（ｔ_ｎ）は後方の仮想線３０１と前方の仮想線３０２の両方に適用して、両方とも真となった場合には横断不可と判定しても良い。これは、移動物体１３０が引き返せる可能性も考慮したものである。

【0052】

＜第２の判定方法＞
第２の判定方法は、検知物体（移動物体１３０）のある時間の移動量が所定条件の下、閾値以下であるかを判定する。この場合、引き返す動き、うろつき、低速状態にあると想定できるため、このような場合は横断不可（真）と判定する方法である。具体的には次の式４で表すことができる。

【数4】

【0053】

上記の式４のうち、以下に示す最初の条件である式４－１について説明する。

【数5】

ここで、ｖ（ｔ_ｎ）は上記式２で求めた現在時刻の速度である。Ｖ_ｔｈは時刻ｔ＝ｔ_ｍからｔ＝ｔ_ｎまでの移動量の閾値である。時刻ｔ_ｍは現在の時刻ｔ_ｎよりも前の時刻で、例えば２秒前、さらには５秒前、さらには１０秒前等である。すなわち１秒前から１０秒前ぐらいの間の値とすることができる。式４－１では、前の時刻ｔ_ｍから現在の時刻ｔ_ｎまでの移動量の合計があらかじめ定めた移動量の閾値以下であることを示す。これにより所定時間内の移動量が所定以下の場合は、この式に合致する。式４－１は簡単のため移動量の合計を用いているが、移動方向を考慮した速度ベクトルを用いてもよい。この場合は、合成ベクトルが時刻ｔ＝ｔ_ｍにおける位置Ｐ_ｍ（ｘ（ｔ_ｍ），ｙ（ｔ_ｍ））とｔ＝ｔ_ｎにおける位置Ｐ_ｎ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））の移動方向と移動距離を表すので、移動距離が短い場合は位置Ｐ_ｍ付近に滞留しているとみなせる。

【0054】

上記の式４のうち、以下に示す次の条件である式４－２について説明する。

【数6】

ここでτは、現在の時刻ｔ_ｎから踏切１５０の遮断完了までの時間である。Ｔ_ｔｈ１は遮断完了残り時間の閾値である。すなわち、踏切１５０の遮断完了までの残り時間が少ない場合には危険な状態であるため、この式の条件を満たす。

【0055】

上記の式４のうち、以下に示す最後の条件である式４－３について説明する。

【数7】

ここで、Ｍ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））は、現在の時刻に検知対象の位置が検知領域であるか否かを示している。検知領域Ｍは、例えば、横断エリア１６０が想定され、図５で示した仮想線３０１と仮想線３０２の間の領域が想定される。ここで、検知領域Ｍ（ｘ，ｙ）であれば「１」となり、それ以外の領域であれば「０」となる。式４－３では、検知対象（移動物体１３０）が検知領域Ｍ内にいる場合は１となり、この式の条件を満たす。なお、検知領域Ｍ（ｘ，ｙ）は踏切内の所定のエリアに設定しても良いが、踏切外の線路領域などの侵入禁止エリアも含めて設定しても良い。

【0056】

上記の式４は、上記の式４－１、式４－２、式４－３をすべて満たす場合に真と判定され、危険事象が発生していると判定できる。しかし、これらの３つの式の一部を満たした場合に段階的に危険度を示しても良い。例えば、式４－１と式４－３を満たす場合などは危険の前段階として、式４－２をさらに満たす場合に危険事象が発生していると判定する等である。

【0057】

＜第３の判定方法＞
第３の判定方法は、追跡の消失が発生した場合に何らかの異常が発生したとして横断不可（真）と判定する方法である。例えば、検知対象である移動物体１３０が、踏切１５０の横断エリア１６０外の線路への侵入によって検知エリア外に移動した場合や、フェンス、電柱などの建造物の陰に隠れた場合等が相当する。この場合、撮像装置１０１で検知対象を捉えることができないため、追跡が消失する場合がある。このとき、最後に検知対象を検知した位置から検知対象が動かなかったものとみなし、ｖ＝０として取り扱う。そして、ｖ＝０の状態が所定の時間Ｔ_ｔｈ２継続した場合に横断不可（真）と判定し、危険事象が発生していると判定する。所定の時間Ｔ_ｔｈ２はあらかじめ定めておくことができる。

【0058】

なお、追跡が消失したことをｖ＝０と取り扱う方法は第１の判定方法、第２の判定方法に適用することも可能である。第１の判定方法であれば、例えば、式３において、ｖ（ｔ_ｎ）＝０とすれば、式の左辺の値は無限大となり、式３の条件を満たす。これにより、危険事象が発生していると判定できる。第２の判定方法であれば、例えば、式４において、ｖ（ｔ_ｎ）＝０とすれば、式４－１の部分の式の左辺は０となり、式４の条件を満たす。これにより、危険事象が発生していると判定できる。

【0059】

＜第４の判定方法＞
第４の判定方法は、ステップＳ２０２で説明した、検知対象種別を利用した判定である。検知対象種別の判別は、ＡＩ（人工知能）を用いて、ディープラーニングを用いる等して画像解析により行うことが可能である。このとき、検知対象種別に応じた判定を行う。検知対象種別としては、例えば、人物（大人、子供、高齢者）、自動車、自転車、バイク、車いす、ベビーカー、杖、白杖等の種別があげられる。例えば、第２、第３の判定方法で用いた閾値（Ｖ_ｔｈ、Ｔ_ｔｈ１、Ｔ_ｔｈ２）を検知対象種別ごとに変更してあらかじめ設定しておいてもよい。

【0060】

さらに、検知対象種別ごとに、現在の移動速度ｖ（ｔ_ｎ）と位置Ｐ_ｎ（ｘ（ｔ_ｎ），ｙ（ｔ_ｎ））から、機械学習に基づき仮想線３０１又は仮想線３０２までの到達時間を予想する。そして、その予想到達時間が、踏切１５０の遮断完了時間よりも長い（遅い）場合、もしくは、長く（遅く）なる確率が所定以上の場合は、危険事象が発生していると判定してもよい。この場合は、過去の当該踏切におけるデータや他の踏切におけるデータを用いることでその種別における到達時間を予測することができる。

【0061】

また、検知対象種別ごとに特定の事象が発生した場合は、危険事象が発生していると判定してもよい。例えば、自動車であるならば、自動車が踏切内に所定時間停留している場合は、前の自動車が渋滞で詰まって動けないか、自動車の故障等のトラブルで動けないことが考えられる。例えば、車いすであるならば、車いすが線路の溝付近や横断ゾーンの線路方向の際で止まっている場合、脱輪により動けなくなっている可能性が考えられる。例えば、所定以上の小さい子供であるならば、子供単独で踏切内にいる場合は、自己の判断で踏切を渡り切れない可能性が考えられる。このような場合は、第１から第３の判定方法にかかわらず、危険事象と判定するか、危険事象になる可能性が高い状態と判定してもよい。

【0062】

＜表示例＞
図６は、本発明の監視システムにおける第１の画面による表示例を示す図である。図７は、本発明の監視システムにおける第２の画面による表示例を示す図である。

【0063】

図６に示す第１の画面と図７に示す第２の画面は、表示装置１０４によって表示される。これらは、表示する複数の監視映像の中から注目すべき映像を強調または拡大して表示する例を示している。任意の表示方法が可能であるが、監視員が危険に気付くための構成として以下に示す。

【0064】

第１の表示方法は、図６に示される方法である。図６の表示画面４００では、左側に撮像装置１０１ごとの複数の映像がタイル状に並んだメイン表示４１０が表示されている。すなわち異なる踏切の映像が並んで表示されている。図６のメイン表示４１０は、横３列と縦３列の９個の映像が表示される例を示している。また、メイン表示４１０の右側にはサムネイル表示４２０を有している。サムネイル表示４２０は、メイン表示４１０よりも小さい範囲で表示され、１つ１つの映像表示もメイン表示４１０よりも小さい。サムネイル表示４２０では、メイン表示４１０に表示しきれない撮像装置１０１からの映像を例えば拡大表示している。図６のサムネイル表示４２０では、縦に３つの映像が並んで表示されている例を示している。

【0065】

表示の段階としては２つの段階が考えられる。１つは、図４のステップＳ２０１で列車の接近を検知した段階である。これは、遮断開始としてもよい。もう１つは、図４のステップＳ２０４において、危険事象と判定された段階である。通常の段階に対して、列車の接近の段階と、危険事象と判定された段階とをそれぞれ異なる強調表示を行うことができる。例えば、列車の接近を検知した段階で該当する撮像装置１０１からの映像を何らかのハイライト表示で強調してもよい。この場合、該当する映像を図６のサムネイル表示４２０からメイン表示４１０に移動してもよい。そして、危険事象と判定された段階で、特定のハイライト表示４１１を行う。ハイライト表示４１１は、例えば列車の接近は黄色枠、危険事象は赤色枠として色を分けて、異なる色による色枠で警告表示する。

【0066】

また、メイン表示４１０で表示しきれない映像については同様にサムネイル表示４２０にハイライト表示４１１と同様にハイライトして表示してもよい。また、列車の接近と危険事象の状態にある映像を、それ以外の映像よりも上位に表示されるように並べて表示してもよい。例えば、このような映像をメイン表示４１０の上段の左側から並べていく等である。この場合、危険事象の映像の優先度を列車の接近状態の映像よりも上位に表示させてもよい。

【0067】

第２の表示方法では、図６の様に列車が接近している映像のハイライト表示４１１を第１の表示方法と同様に行う。しかし、危険事象と判定したときは、図７のような第２の表示画面５００に遷移する。ここでは、危険事象と判定した映像を図７の様にメイン表示５１０に拡大表示５１１として表示する。拡大表示５１１は、例えば、図７に示すように通常の映像の表示スペース４つ分を使い１つの映像を拡大表示する。また、図７において右側のサムネイル表示４２０は、図６と同様の表示が行われる。

【0068】

なお、上記の第１の表示方法、第２の表示方法で、危険事象を検知した後に、危険事象の強調又は拡大表示を解除する機能を備えていてもよい。これは、監視員などにより安全が確認された場合などを想定したものである。この解除の操作のためのインターフェースを表示装置１０４に備えていてもよい。この場合、一度強調又は拡大表示を開始すると手動による解除が行われるまで強調又は拡大表示を継続するようにしてもよい。

【0069】

また、上記第１の表示方法と第２の表示方法において、遮断開始中の映像や危険事象の映像を優先的にメイン表示４１０、５１０に表示し、その他の状態の映像をサムネイル表示４２０として表示してもよい。このことで特に注目すべき映像をメイン表示４１０、５１０に表示する。また、メイン表示４１０、５１０は遮断開始中の映像、その他の状態の映像を各タイル状の表示部分に専用で割り当ててもよい。また、各タイル状の表示部分は、巡回表示用に割り当ることも可能である。

【0070】

＜効果＞
以上の実施形態により、踏切の危険事象を撮像装置の映像を画像解析することにより的確に検知することができる。このとき、列車の接近を検知することで、踏切の遮断が完了する前に検知することができる。また、移動物体が踏切を渡りきれるかを検知することで的確な検知が可能となる。さらに、撮像装置を用いるため、踏切内全体の状態を検知することが可能となる。さらに、レーザ照射式のセンサなど他のセンサを用いなくても実現することが可能となり、コストを抑えることが可能となる。さらに、撮像装置からの映像は監視員がそのまま目視で状況を確認できる。また、表示装置において、監視映像の中から注目すべき映像を強調または拡大して表示することで、監視員がその映像にいち早く気づきやすい表示とすることができる。

【0071】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0072】

例えば、上記実施形態は踏切について示したが、これ以外の仮想線までの到達予測時間を用いる状況についても適用可能である。例えば交差点における信号制御、自動ドアの開閉制御、エレベータのドア開閉制御などにも適用可能である。

【0073】

さらに、上記実施形態は検知対象をカメラによる映像によって追跡する例を示したが、ＬｉＤＡＲ（ライダー）やミリ波レーダなど各種センサを検知や追跡に追加で用いて、検知の精度を上げる構成としてもよい。

【符号の説明】

【0074】

１…コンピュータシステム、２…プロセッサ、２Ａ、２Ｂ…処理装置、４…メモリ、６…メモリバス、８…Ｉ／Ｏバス、９…バスインターフェースユニット、１０…Ｉ／Ｏバスインターフェースユニット、１２…端末インターフェースユニット、１４…ストレージインターフェース、１６…Ｉ／Ｏデバイスインターフェース、１８…ネットワークインターフェース、２０…ユーザＩ／Ｏデバイス、２２…ストレージ装置、２４…表示システム、２６…表示装置、３０…ネットワーク、５０…潜在因子特定アプリケーション、１００…監視システム、１０１…撮像装置、１０２…解析装置、１０３…警報装置、１０４…表示装置、１０５…状態通知部、１０６…状態解析制御部、１０７…状態解析部、１３０…移動物体、１５０…踏切、１５１…遮断桿、１５２…踏切警報機、１６０…横断エリア、１６１…境界線、１７０…線路、３０１、３０２…仮想線、４００…表示画面、４１０…メイン表示、４１１…ハイライト表示、４２０…サムネイル表示、５００…第２の表示画面、５１０…メイン表示、５１１…拡大表示

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】