特許 7478970 事故予兆検知システムおよび事故予兆検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-25

(45)【発行日】2024-05-08

(54)【発明の名称】事故予兆検知システムおよび事故予兆検知方法

(51)【国際特許分類】

   G08B 25/00 20060101AFI20240426BHJP

   G08B 25/04 20060101ALI20240426BHJP

   G08B 21/02 20060101ALI20240426BHJP

   H04N 7/18 20060101ALI20240426BHJP

【ＦＩ】

G08B25/00 510M

G08B25/04 K

G08B21/02

H04N7/18 D

【請求項の数】 6

(21)【出願番号】P 2020070541

(22)【出願日】2020-04-09

(65)【公開番号】P2021168015

(43)【公開日】2021-10-21

【審査請求日】2023-04-05

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】中嶋 研生

【審査官】石井 則之

(56)【参考文献】

【文献】特開２０１７－０２８３６４（ＪＰ，Ａ）

【文献】特開２００５－１２８９６７（ＪＰ，Ａ）

【文献】特開２００４－００９９９３（ＪＰ，Ａ）

【文献】特開２０１９－０８７８２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２５／０４

Ｇ０８Ｂ ２１／０２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムであって、
前記監視エリアを撮影する複数のカメラと、
これらのカメラの撮影画像に基づいて、前記監視エリア内の人物を検出すると共に、その人物に関して、事故の予兆となる特定事象を検知して、その特定事象の発生状況に応じて、前記アラートの発報を制御する情報処理装置と、を備え、
前記情報処理装置は、
前記監視エリアとして、前記特定事象の検知に用いる第１のエリアの範囲と、その第１のエリア内に含まれた前記発報の制御に用いる第２のエリアの範囲とを複数の前記カメラの前記撮影画像上に一致させて設定し、
複数の前記カメラごとの前記撮影画像に基づいて、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別し、少なくとも人物画像、前記特定事象の種類、人物の位置情報を人物データベースに登録し、
更に、前記人物データベースへの登録対象となる人物が前記第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って前記人物データベースを更新して統合し、
前記人物データベースに登録された前記人物の位置情報に基づいて、前記第２のエリアに人物が存在すると判定された場合、前記特定事象の種別に応じて前記アラートの発報を制御することを特徴とする事故予兆検知システム。

【請求項2】

複数の前記カメラは、
前記監視エリアに進入した人物を逆方向から撮影するように設置されていることを特徴とする請求項１に記載の事故予兆検知システム。

【請求項3】

前記情報処理装置は、
前記特定事象の種類に応じた発報内容に関する設定情報を記憶することを特徴とする請求項１に記載の事故予兆検知システム。

【請求項4】

前記情報処理装置は、
前記設定情報に関する画面を管理者装置に表示して、管理者の画面操作に応じて、前記設定情報を更新することを特徴とする請求項３に記載の事故予兆検知システム。

【請求項5】

前記情報処理装置は、
前記カメラで撮影された各時刻の前記撮影画像に基づいて検出された人物同士を紐付けると共に、複数の前記カメラごとの前記撮影画像に基づいて検出された人物同士を紐付けて、前記監視エリアに進入した人物を追跡することを特徴とする請求項１に記載の事故予兆検知システム。

【請求項6】

施設内の所定の監視エリアを複数のカメラを用いて撮影した撮影画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する処理を情報処理装置に行わせる事故予兆検知方法であって、
前記監視エリアとして、事故の予兆となる特定事象の検知に用いる第１のエリアの範囲と、その第１のエリア内に含まれた前記発報の制御に用いる第２のエリアの範囲とを複数の前記カメラの前記撮影画像上に一致させて設定し、
複数の前記カメラごとの前記撮影画像に基づいて、前記第１のエリア内の物体を認識し、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別し、少なくとも人物画像、前記特定事象の種類、人物の位置情報を人物データベースに登録し、
更に、前記人物データベースへの登録対象となる人物が前記第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って前記人物データベースを更新して統合し、
前記人物データベースに登録された前記人物の位置情報に基づいて、前記第２のエリアに人物が存在すると判定された場合、前記特定事象の種別に応じて前記アラートの発報を制御することを特徴とする事故予兆検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムおよび事故予兆検知方法に関するものである。

【背景技術】

【0002】

ショッピングモールなどの商業施設や、テーマパークなどのレジャー施設や、空港などの公共交通機関の施設などには、エスカレータや階段のように、利用者の転倒などの事故が発生する可能性がある場所があり、このような場所での利用者の事故を防止する技術が望まれる。

【0003】

このような各種の施設内での事故を防止する技術として、従来、事故が発生する可能性がある場所（マンコンベア）を監視エリアとして、その監視エリアをカメラで撮影して、その撮影画像に対する画像解析により、利用者の異常状態（転倒、逆送、乗り出し、座り込み、混雑など）を検知すると、利用者の安全を確保するための措置として、警告のアナウンスを行ったり、運転制御（減速、停止）を行ったりする技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－１９５２８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、利用者の異常状態を検知するには、カメラの撮影画像に基づいて、監視エリア内の人物を検出すると共に、その人物の周囲の物体を認識することが望ましいが、対象となる人物やその周囲の物体が、別の人物やその他の物体に隠蔽されることで、対象となる人物を適切に検出できなくなったり、対象となる人物の周囲の物体を適切に認識できなくなったりする場合がある。この場合、一時的に人物を検出できなくなったり、人物を検出できても異常状態を検知できなくなったりする。

【0006】

一方、従来の技術では、事故が発生する可能性がある場所に既に進入している人物、具体的には、エスカレータ（マンコンベア）に既に搭乗している人物を対象にした制御が行われる。このため、人物の隠蔽が発生して、人物の検出や異常状態の検知が一時的にできなくなると、利用者の安全を確保するための措置が間に合わずに手遅れになるという問題があった。

【0007】

そこで、本発明は、各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止することができる事故予兆検知システムおよび事故予兆検知方法を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本発明の事故予兆検知システムは、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムであって、前記監視エリアを撮影する複数のカメラと、これらのカメラの撮影画像に基づいて、前記監視エリア内の人物を検出すると共に、その人物に関して、事故の予兆となる特定事象を検知して、その特定事象の発生状況に応じて、前記アラートの発報を制御する情報処理装置と、を備え、前記情報処理装置は、前記監視エリアとして、前記特定事象の検知に用いる第１のエリアの範囲と、その第１のエリア内に含まれた前記発報の制御に用いる第２のエリアの範囲とを複数の前記カメラの前記撮影画像上に一致させて設定し、複数の前記カメラごとの前記撮影画像に基づいて、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別し、少なくとも人物画像、前記特定事象の種類、人物の位置情報を人物データベースに登録し、更に、前記人物データベースへの登録対象となる人物が前記第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って前記人物データベースを更新して統合し、前記人物データベースに登録された前記人物の位置情報に基づいて、前記第２のエリアに人物が存在すると判定された場合、前記特定事象の種別に応じて前記アラートの発報を制御する構成とする。

【0009】

また、本発明の事故予兆検知方法は、施設内の所定の監視エリアを複数のカメラを用いて撮影した撮影画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する処理を情報処理装置に行わせる事故予兆検知方法であって、前記監視エリアとして、事故の予兆となる特定事象の検知に用いる第１のエリアの範囲と、その第１のエリア内に含まれた前記発報の制御に用いる第２のエリアの範囲とを複数の前記カメラの前記撮影画像上に一致させて設定し、複数の前記カメラごとの前記撮影画像に基づいて、前記第１のエリア内の物体を認識し、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別し、少なくとも人物画像、前記特定事象の種類、人物の位置情報を人物データベースに登録し、更に、前記人物データベースへの登録対象となる人物が前記第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って前記人物データベースを更新して統合し、前記人物データベースに登録された前記人物の位置情報に基づいて、前記第２のエリアに人物が存在すると判定された場合、前記特定事象の種別に応じて前記アラートの発報を制御する構成とする。

【発明の効果】

【0010】

本発明によれば、複数のカメラごとの撮影画像に基づいて、少なくとも人物画像、特定事象の種類、人物の位置情報を人物データベースに登録し、更に、人物データベースへの登録対象となる人物が第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って人物データベースを更新して統合し、人物データベースに登録された人物の位置情報に基づいて、第２のエリアに人物が存在すると判定された場合、特定事象の種別に応じてアラートの発報を制御する。これにより、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うことができ、事故の発生を未然に防止することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る事故予兆検知システムの全体構成図

【図2】カメラ１の設置状況および監視エリアの設定状況を示す説明図

【図3】監視サーバ２の概略構成を示すブロック図

【図4】監視サーバ２で行われる処理の概要を示す説明図

【図5】管理者端末４に表示されるエリア設定画面を示す説明図

【図6】監視サーバ２で用いられる危険度設定情報の内容を示す説明図

【図7】管理者端末４に表示される発報内容設定画面を示す説明図

【図8】監視サーバ２で管理される人物データベースの登録内容を示す説明図

【図9】監視サーバ２で行われる画像解析処理の手順を示すフロー図

【図10】監視サーバ２で行われる発報に関する処理の手順を示すフロー図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムであって、前記監視エリアを撮影する複数のカメラと、これらのカメラの撮影画像に基づいて、前記監視エリア内の人物を検出すると共に、その人物に関して、事故の予兆となる特定事象を検知して、その特定事象の発生状況に応じて、前記アラートの発報を制御する情報処理装置と、を備え、前記情報処理装置は、前記監視エリアとして、前記特定事象の検知に用いる第１のエリアの範囲と、その第１のエリア内に含まれた前記発報の制御に用いる第２のエリアの範囲とを複数の前記カメラの前記撮影画像上に一致させて設定し、複数の前記カメラごとの前記撮影画像に基づいて、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別し、少なくとも人物画像、前記特定事象の種類、人物の位置情報を人物データベースに登録し、更に、前記人物データベースへの登録対象となる人物が前記第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って前記人物データベースを更新して統合し、前記人物データベースに登録された前記人物の位置情報に基づいて、前記第２のエリアに人物が存在すると判定された場合、前記特定事象の種別に応じて前記アラートの発報を制御する構成とする。

【0013】

これによると、複数のカメラごとの撮影画像に基づいて、少なくとも人物画像、特定事象の種類、人物の位置情報を人物データベースに登録し、更に、人物データベースへの登録対象となる人物が第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って人物データベースを更新して統合し、人物データベースに登録された人物の位置情報に基づいて、第２のエリアに人物が存在すると判定された場合、特定事象の種別に応じてアラートの発報を制御する。これにより、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うことができ、事故の発生を未然に防止することができる。

【0014】

また、第２の発明は、複数の前記カメラは、前記監視エリアに進入した人物を逆方向から撮影するように設置されている構成とする。

【0015】

これによると、１つのカメラで人物の隠蔽が発生しても、別のカメラで人物を適切に撮影することができる。このため、人物の検出漏れや特定事象の検知漏れを抑制することができる。

【0018】

また、第３の発明は、前記情報処理装置は、前記特定事象の種類に応じた発報内容に関する設定情報を記憶する構成とする。

【0019】

これによると、特定事象の種類に応じて異なる発報内容でアラートの発報を行うことができる。

【0020】

また、第４の発明は、前記情報処理装置は、前記設定情報に関する画面を管理者装置に表示して、管理者の画面操作に応じて、前記設定情報を更新する構成とする。

【0021】

これによると、特定事象の種類に応じた発報内容を管理者が適宜に変更することができる。

【0024】

また、第５の発明は、前記情報処理装置は、前記カメラで撮影された各時刻の前記撮影画像に基づいて検出された人物同士を紐付けると共に、複数の前記カメラごとの前記撮影画像に基づいて検出された人物同士を紐付けて、前記監視エリアに進入した人物を追跡する構成とする。

【0025】

これによると、人物の隠蔽が発生して、人物の検出や特定事象の検知が一時的にできなくなっても、人物を追跡することで、対象とする人物に関する特定事象の検知結果が引き継がれるため、特定事象に該当する人物が第２のエリアに進入したことを確実に検知することができる。

【0026】

また、第６の発明は、施設内の所定の監視エリアを複数のカメラを用いて撮影した撮影画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する処理を情報処理装置に行わせる事故予兆検知方法であって、前記監視エリアとして、事故の予兆となる特定事象の検知に用いる第１のエリアの範囲と、その第１のエリア内に含まれた前記発報の制御に用いる第２のエリアの範囲とを複数の前記カメラの前記撮影画像上に一致させて設定し、複数の前記カメラごとの前記撮影画像に基づいて、前記第１のエリア内の物体を認識し、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別し、少なくとも人物画像、前記特定事象の種類、人物の位置情報を人物データベースに登録し、更に、前記人物データベースへの登録対象となる人物が前記第１のエリア内で新たに検出された場合、既に登録された人物と同一人物であるか否かを判定する人物照合を行って前記人物データベースを更新して統合し、前記人物データベースに登録された前記人物の位置情報に基づいて、前記第２のエリアに人物が存在すると判定された場合、前記特定事象の種別に応じて前記アラートの発報を制御する構成とする。

【0027】

これによると、第１の発明と同様に、各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止することができる。

【0028】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0029】

図１は、本実施形態に係る事故予兆検知システムの全体構成図である。

【0030】

この事故予兆検知システムは、ショッピングモールなどの商業施設や、テーマパークなどのレジャー施設や、空港などの公共交通機関の施設などにおいて、事故の予兆となる特定事象を検知して、その特定事象に応じたアラートの発報を行うものであり、複数のカメラ１と、監視サーバ２（情報処理装置）と、スピーカー３（報知装置）と、管理者端末４（管理者装置）と、を備えている。カメラ１、スピーカー３、および管理者端末４はネットワークを介して監視サーバ２と接続されている。

【0031】

カメラ１は、施設内に設定された監視エリアを撮影する。本実施形態では、事故が発生する危険性がある場所（危険地点）への進入口の周辺、例えばエスカレータや階段の入口の周辺が監視エリアに設定される。

【0032】

監視サーバ２は、ＰＣで構成され、カメラ１の撮影画像に基づいて、事故の予兆となる特定事象、すなわち、転倒などの事故が発生する可能性がある状態を検知して、その検知結果に基づいてスピーカー３を利用してアラートの発報を行う。本実施形態では、特定事象として、車椅子に乗る人物や、ベビーカーを押す人物や、ショッピングカートを押す人物や、大型の荷物（スーツケースなど）を所持する人物などが検知される。

【0033】

この監視サーバ２は、施設内の適所、例えば監視室に設置される。なお、監視サーバ２は、クラウドコンピュータとして、インターネットなどの広域ネットワークを介して、施設内のカメラ１およびスピーカー３と接続されていてもよい。

【0034】

スピーカー３は、アラートの音声を出力する。このスピーカー３は複数設置され、利用者用のスピーカー３では、利用者を対象にしたアラートの音声が出力され、係員用のスピーカー３では、係員を対象にしたアラートの音声が出力される。

【0035】

管理者端末４では、管理者が、監視サーバ２の処理条件などに関する設定操作を行う。

【0036】

なお、本実施形態では、アラートの発報に係る報知装置として、スピーカー３を設置して、そのスピーカー３でアラートの音声が出力されるようにしたが、警光灯が点灯されるようにしてもよい。この場合、検知された特定事象の危険度の高さに応じて点灯色を切り替えるようにしてもよい。また、監視者端末のディスプレイにアラート画面が表示されるようにしてもよい。

【0037】

次に、カメラ１の設置状況および監視エリアの設定状況について説明する。図２は、カメラ１の設置状況および監視エリアの設定状況を示す説明図である。

【0038】

本実施形態では、監視エリアとして、エスカレータの乗り口（危険地点への進入口）の周辺に検知エリア（第１のエリア）が設定されると共に、その検知エリアよりエスカレータの乗り口に近接する位置に発報エリア（第２のエリア）が設定される。図２に示す例では、発報エリアにおけるエスカレータの乗り口に面した１辺を除く３辺を取り囲むように検知エリアが設定されている。

【0039】

検知エリアは、事故の予兆となる特定事象を検知するためのエリアである。人物が検知エリアに進入すると、カメラ１の撮影画像から人物が検出され、さらに、その人物が特定事象に該当するか否かが判定される。発報エリアは、アラートの発報の要否を判定するためのエリアである。検知エリアで特定事象に該当するか否かを判定された人物が発報エリアに進入すると、その人物に関する特定事象の発生状況に応じたアラートの発報が行われる。

【0040】

また、本実施形態では、監視エリア（検知エリアおよび発報エリア）を撮影するように複数のカメラ１が設置されている。この複数のカメラ１は、監視エリア（検知エリアおよび発報エリア）に進入した人物を、逆方向から撮影するように設置されている。図２に示す例では、４台のカメラ１が設置されている。これらのカメラ１は、矩形に設定された監視エリア（検知エリアおよび発報エリア）の対角方向に向かい合わせに設置されている。

【0041】

このため、あるカメラ１の撮影画像では人物の隠蔽が発生しているために人物の検出や特定事象の検知が失敗した場合でも、別のカメラ１の撮影画像では人物の検出や特定事象の検知が成功する。したがって、複数のカメラ１のいずれかの撮影画像に基づいて、人物の検出と特定事象の検知とが漏れなく行われる。このため、特定事象が現れた場合に、アラートを確実に発報することができる。

【0042】

また、本実施形態では、エスカレータの乗り口の近傍に発報エリアが設定され、その発報エリアの周囲に検知エリアが設定されている。したがって、利用者は、通常、検知エリアと発報エリアとを順に通過してエスカレータに搭乗する。このため、利用者が検知エリアに進入した段階で、すなわち、利用者が発報エリアに進入する前に、利用者が、特定事象に該当するか否かが判定される。これにより、特定事象に該当する人物、例えば、エスカレータの乗り口で転倒する可能性の高い人物を、早期に見つけ出すことができる。

【0043】

また、本実施形態では、複数のカメラ１から定期的に入力される各時刻の撮影画像（フレーム）に基づいて、人物の検出と特定事象の検知とが行われる。そして、カメラ１から入力される各時刻の撮影画像に基づいて検出された人物同士を紐付けると共に、複数のカメラ１ごとの撮影画像に基づいて検出された人物同士を紐付けることで、監視エリアに進入した人物を追跡する。

【0044】

これにより、人物やその周辺の物体の隠蔽が発生して、人物の検出や特定事象の検知が一時的にできなくなっても、人物を追跡することで、対象とする人物に関する特定事象の検知結果が引き継がれる。すなわち、人物が発報エリアに進入したところで、あるカメラ１では隠蔽により、当該人物に関する特定事象を検知できない状態であっても、当該人物に関する特定事象の発生状況を特定することができる。このため、アラートの発報を適切なタイミングで確実に行うことができ、アラートの発報が手遅れになることを避けることができる。

【0045】

なお、検知エリアに進入した人物が、検知エリアを素通りして発報エリアに進入しなかった場合、すなわち、エスカレータに搭乗しようとしなかった場合には、アラートの発報は行われない。

【0046】

また、本実施形態では、発報エリア内に人物が進入した後も、人物の検出と特定事象の検知とが継続される。このため、人物追跡が失敗した場合に、発報エリア内で新規に人物が検出されて、その人物が特定事象に該当する場合には、アラートの発報が行われる。

【0047】

また、本実施形態では、監視エリア（検知エリアおよび発報エリア）の近傍に、利用者用のスピーカー３が設置される。この利用者用のスピーカー３では、利用者を対象にしたアラートの音声が出力される。また、係員室に、係員用のスピーカー３が設置される。この係員用のスピーカー３では、係員を対象にしたアラートの音声が出力される。

【0048】

なお、本実施形態では、事故が発生する可能性がある場所（危険地点）として、エスカレータの乗り口の周辺を監視するようにしたが、監視する場所はこれに限定されるものではなく、例えば、階段の入口の周辺を監視するようにしてもよい。

【0049】

また、図２に示す例では、発報エリアの周囲に検知エリアが設定されているが、発報エリアから離して検知エリアが設定されていてもよい。また、検知エリア、発報エリアは矩形に限らず、半円状などの形状としてもよい。

【0050】

次に、監視サーバ２の概略構成について説明する。図３は、監視サーバ２の概略構成を示すブロック図である。図４は、監視サーバ２で行われる処理の概要を示す説明図である。

【0051】

監視サーバ２は、通信部１１と、記憶部１２と、プロセッサ１３と、を備えている。

【0052】

通信部１１は、ネットワークを介してカメラ１、スピーカー３、および管理者端末４と通信を行う。

【0053】

記憶部１２は、プロセッサ１３で実行されるプログラムなどを記憶する。また、記憶部１２は、エリア設定情報と、危険度設定情報（図６参照）とを記憶する。エリア設定情報は、検知エリアおよび発報エリアの各範囲を表す情報である。危険度設定情報は、特定事象の発生状況に基づく危険度レベルに応じた発報内容を規定した情報である。また、記憶部１２は、人物データベースの登録情報（図８参照）を記憶する。この人物データベースは、カメラ１の撮影画像に対する画像解析処理で取得した人物に関する情報が登録される。

【0054】

プロセッサ１３は、記憶部１２に記憶されたプログラムを実行することで情報収集に係る各種の処理を行う。本実施形態では、プロセッサ１３が、画像解析処理、人物追跡処理、発報判定処理、および発報制御処理などを行う。

【0055】

画像解析処理では、プロセッサ１３が、カメラ１の撮影画像（フレーム）に対して画像解析を行う。この画像解析処理には、人物検出処理と物体認識処理と危険度取得処理とが含まれる。この画像解析処理は、複数のカメラ１ごとに行われる。また、この画像解析処理は、カメラ１からの撮影画像（フレーム）が入力される度に行われる。

【0056】

人物検出処理では、プロセッサ１３が、カメラ１の撮影画像と、記憶部１２のエリア設定情報とに基づいて、検知エリア内の人物を検出する。

【0057】

物体認識処理では、プロセッサ１３が、カメラ１の撮影画像と、記憶部１２のエリア設定情報とに基づいて、検知エリア内の物体を認識する。具体的には、事故の予兆となる特定事象に関係する物体、すなわち、車椅子、杖、荷物（スーツケースなど）、スマートフォン、ベビーカー、ショッピングカートなどを認識する。

【0058】

危険度取得処理（事象検知処理）では、プロセッサ１３が、検知エリア内において検出された対象となる人物と、その近傍で認識された物体とを紐付ける。また、対象となる人物と、その近傍で検出された介護者となる人物とを紐付ける。そして、記憶部１２の危険度設定情報に基づいて、人物が特定事象に該当するか否かを判定して、その判定結果に基づいて、危険度レベルを取得する。このとき、特定事象の種類を判別して、その特定事象の種類に応じた危険度レベルを取得する。

【0059】

人物追跡処理では、プロセッサ１３が、人物検出処理で検出された人物（対象人物）が、人物データベースに登録された人物（登録人物）と同一人物であるか否かを判定する人物照合（同定）を行い、その照合結果に基づいて、対象人物と登録人物とを紐付ける。

【0060】

人物照合は、ディープラーニングなどによる機械学習モデルを用いて行われる。具体的には、登録人物の人物画像と対象人物の人物画像とを機械学習モデルに入力することで、同一人物である可能性の高さを表す人物照合スコアが出力され、この人物照合スコアを所定のしきい値と比較することで、同一人物であるか否かの判定結果が得られる。なお、人物画像から抽出された特徴情報を比較して人物照合を行うようにしてもよい。

【0061】

発報判定処理では、プロセッサ１３が、人物データベースに登録された人物ごとの位置情報と、記憶部１２のエリア設定情報とに基づいて、発報エリア内に人物が存在するか否か、すなわち、検知エリアで検出された人物が発報エリアに進入したか否かを判定する。

【0062】

発報制御処理では、プロセッサ１３が、発報判定処理で発報エリアに進入したものと判定された人物に関する特定事象の発生状況に応じて、当該人物に対するアラートの発報を制御する。すなわち、記憶部１２の危険度設定情報に基づいて、発報エリアに進入した人物の危険度レベルを取得して、当該人物の危険度レベル（特定事象の種類）に応じた発報内容でアラートを発報する。具体的には、利用者用のスピーカー３で、利用者を対象にしたアラートの音声が、危険度レベルに応じた内容で出力される。また、危険度レベルが高い場合には、係員用のスピーカー３で、係員を対象にしたアラートの音声が出力される。

【0063】

次に、管理者端末４に表示されるエリア設定画面について説明する。図５は、エリア設定画面を示す説明図である。

【0064】

管理者端末４では、監視サーバ２にアクセスして設定メニューを管理者が選択することで、エリア設定画面が表示される。

【0065】

このエリア設定画面には、カメラ選択タブ３１が設けられている。このカメラ選択タブ３１を管理者が操作することで、設定対象となるカメラ１が選択される。

【0066】

また、エリア設定画面には、モード選択ボタン３２が設けられている。このモード選択ボタン３２を管理者が操作することで、検知エリアの入力モードと発報エリアの入力モードとを切り替えることができる。

【0067】

また、エリア設定画面には、撮影画像表示部３３が設けられている。この撮影画像表示部３３には、対象となるカメラ１の撮影画像３４が表示される。

【0068】

また、検知エリアの入力モードでは、撮影画像表示部３３において、撮影画像３４上に検知エリアの範囲を管理者が指定することができ、撮影画像３４上に検知エリアの範囲を表すエリア画像３５が描画される。また、発報エリアの入力モードでは、撮影画像３４上に発報エリアの範囲を管理者が指定することができ、撮影画像３４上に発報エリアの範囲を表すエリア画像３６が描画される。検知エリアおよび発報エリアは多角形で指定することができる。

【0069】

具体的には、検知エリアの入力モードにおいて、撮影画像３４上で、管理者が所定の操作を行うことで、検知エリアの範囲を表す多角形の頂点を追加したり、頂点の位置を調整したり、頂点を削除したりすることができる。また、発報エリアの入力モードの操作も検知エリアの入力モードと同様である。

【0070】

なお、検知エリアの入力モードと発報エリアの入力モードとのいずれでも、撮影画像表示部３３の撮影画像３４上に、入力済みの検知エリアの範囲を表すエリア画像３５と発報エリアの範囲を表すエリア画像３６とが異なる色で表示される。

【0071】

また、検知エリアおよび発報エリアを設定する際には、予め床面に矩形の各頂点の位置を表す４点のマーカー（例えば粘着テープ）を設置しておくとよい。検知エリア用のマーカーを基準にして撮影画像上に検知エリアの範囲を指定すると、複数のカメラ１の撮影画像上に設定された検知エリアの範囲を一致させることができる。また、発報エリア用のマーカーを基準にして撮影画像上に発報エリアの範囲を指定すると、複数のカメラ１の撮影画像上に設定された発報エリアの範囲を一致させることができる。

【0072】

次に、監視サーバ２で用いられる危険度設定情報について説明する。図６は、危険度設定情報の内容を示す説明図である。

【0073】

この危険度設定情報には、危険度レベルごとに、その危険度レベルに該当する特定事象の種類と、その特定事象の種類に対応した発報内容とが登録されている。危険度レベルは、転倒などの事故が発生する可能性の高さを表す指標であり、値が大きいほど危険度が高い。図６に示す例では、危険度レベルが「０」から「８」の９段階に設定されている。

【0074】

また、発報内容、すなわち、利用者に対するアナウンスの内容は、危険度レベル、すなわち、検知された特定事象の種類に応じて異なる。具体的には、特定事象の危険度が高い場合には、エスカレータへの搭乗（危険エリアへの進入）を防ぐ誘導のアナウンスが行われ、特定事象の危険度が低い場合には、注意喚起のアナウンスが行われる。また、特定事象の危険度が高い場合には、利用者に対するアナウンスに加えて、係員に対する通知も行われる。

【0075】

具体的には、検知された特定事象が、介護者がいない状態で車椅子に乗っている人物である場合や、白杖を使用している人物である場合は、危険度が「８」となる。また、介護者がいる状態で車椅子に乗っている人物である場合は、危険度が「７」となる。このように危険度が「８」または「７」となる場合、利用者に対するアラートとして、エレベータ誘導のアナウンス、すなわち、エスカレータの利用はやめてエレベータの利用を促すアナウンスの音声が、利用者用のスピーカー３から出力される。さらに、係員に対するアラートとして、事故の危険性が高い人物がエスカレータに搭乗しようとしている旨の係員に対する通知の音声が、係員用のスピーカー３から出力される。

【0076】

また、検知された特定事象が、ベビーカーを押している人物である場合は、危険度が「６」となる。また、ショッピングカートを押している人物である場合は、危険度が「５」となる。また、３辺（縦、横、高さ）の合計が１６０ｃｍ以上となる大型の荷物を所持した人物である場合は、危険度が「４」となる。また、３辺の合計が１００ｃｍ以上となる中型の荷物を両手に２個所持した人物である場合は、危険度が「３」となる。このように危険度が「６」から「３」となる場合、利用者に対するアラートとして、エレベータ誘導のアナウンスの音声が、利用者用のスピーカー３から出力される。

【0077】

また、検知された特定事象が、荷物で両手が塞がっている人物である場合は、危険度が「２」となる。この場合、気を付けてエスカレータに乗るように促す注意喚起のアナウンスの音声が、利用者用のスピーカー３から出力される。

【0078】

また、検知された特定事象が、歩きスマホ（歩行中にスマートフォンの画面を閲覧する行為）を行う人物である場合は、危険度が「１」となる。この場合、歩きスマホをやめるように促すアナウンスの音声が、利用者用のスピーカー３から出力される。

【0079】

また、上記以外の人物、すなわち、特定事象のいずれにも該当しない人物である場合は、危険度が「０」となる。この場合、手すりにつかまるように促すアナウンスの音声が、利用者用のスピーカー３から出力される。

【0080】

次に、管理者端末４に表示される発報内容設定画面について説明する。図７は、発報内容設定画面を示す説明図である。

【0081】

管理者端末４では、監視サーバ２にアクセスして設定メニューを管理者が選択した上で、発報内容設定ボタン４１を操作することで、発報内容設定画面が表示される。この発報内容設定画面では、管理者が、特定事象（人物の状態）ごとの発報内容を指定する画面操作を行うことができる。

【0082】

具体的には、発報内容設定画面に、特定事象ごとの発報内容選択部４２が設けられている。図７に示す例では、発報内容が、図６に示した特定事象の危険度レベルに対応したデフォルトの発報内容が表示されている。なお、この発報内容は、実際の現場での運用を考慮し、プルダウンメニューを管理者が操作することで、発報内容を選択して、カスタマイズ（更新）することができる。

【0083】

次に、監視サーバ２で管理される人物データベースについて説明する。図８は、人物データベースの登録内容を示す説明図である。

【0084】

この人物データベースには、カメラ１の撮影画像（フレーム）に対する画像解析処理（人物検出処理、危険度取得処理）の結果が登録される。具体的には、検出された人物ごとに、人物ＩＤと人物画像と危険度レベルと位置情報とが人物データベースに登録される。なお、各カメラの位置情報はマーカー位置に基づき共通化されている。

【0085】

人物ＩＤは、人物検出処理で新たに人物が検出された場合に、その人物に対して付与される。

【0086】

人物画像は、人物検出処理で人物が検出された際に、カメラ１の撮影画像から人物の画像領域を切り出したものである。この人物画像は、人物追跡処理で行われる人物照合に用いられ、今回検出された人物が前回検出された人物と同一人物であるか否かが判定される。

【0087】

危険度レベルは、危険度取得処理（事象検知処理）において、検知された特定事象に基づいて設定されたものである。この危険度レベルは、発報制御処理に用いられ、危険度レベルに基づいて発報内容が決定される。

【0088】

位置情報は、人物検出処理で人物が検出された際に、カメラ１の撮影画像上の人物の位置から取得したものである。この位置情報は、発報判定処理に用いられ、位置情報に基づいて、人物が発報エリアに入ったか否かが判定される。

【0089】

なお、人物データベースに登録された人物ごとの情報は、その人物を検知してから所定時間が経過すると、破棄される。また、人物画像に加えて、または人物画像の代わりに、人物画像から抽出された特徴情報が登録されるようにしてもよい。

【0090】

この人物データベースは、カメラ１の撮影画像（フレーム）に対する画像解析処理（人物検出処理、危険度取得処理）に応じて、逐次更新される。すなわち、人物検出処理で人物が新たに検出されて、危険度取得処理で危険度レベルが決定されると、その人物に関する人物ＩＤ、人物画像、危険度レベル、および位置情報が、新規に人物データベースに追加される。また、人物追跡処理で人物が同定されると、その人物に関する人物画像、および位置情報が、人物データベースの該当する人物の情報に追加される。

【0091】

また、人物データベースには、画像解析処理（人物検出処理、危険度取得処理）がフレームごとに実施される度に、その画像解析処理の結果が登録される。また、人物データベースには、カメラ１の撮影画像に対する画像解析処理が、複数のカメラ１ごとに実施される度に、その画像解析処理の結果が登録される。これにより、複数のカメラ１の撮影画像から個別に取得したカメラ１ごとの情報が人物データベースで統合して管理される。

【0092】

次に、監視サーバ２で行われる画像解析処理の手順について説明する。図９は、画像解析処理の手順を示すフロー図である。なお、この画像解析処理は、複数のカメラ１ごとに実施される。また、この画像解析処理は、カメラ１からの撮影画像（フレーム）が入力される度に実施される。

【0093】

監視サーバ２では、まず、カメラ１から撮影画像（フレーム）が入力されると（ＳＴ１０１でＹｅｓ）、プロセッサ１３が、撮影画像に基づいて、検知エリア内の人物を検出する（人物検出処理）（ＳＴ１０２）。また、プロセッサ１３が、撮影画像に基づいて、検知エリア内の物体を認識する（物体認識処理）（ＳＴ１０３）。

【0094】

次に、プロセッサ１３が、検知エリア内において検出された人物と、認識された物体とを紐付ける（ＳＴ１０４）。次に、プロセッサ１３が、危険度設定情報に基づいて、人物が特定事象に該当する否かを判定して、その判定結果に基づいて、危険度レベルを取得する（危険度取得処理）（ＳＴ１０５）。

【0095】

次に、プロセッサ１３が、対象とする人物が、人物データベースに登録された人物と同一人物であるか否かを判定する人物照合（同定）を行い、その照合結果に基づいて、対象とする人物と登録された人物とを紐付ける（人物追跡処理）（ＳＴ１０６）。

【0096】

次に、プロセッサ１３が、対象とする人物に関する情報（人物画像、危険度レベル、位置情報）を人物データベースに登録する（ＳＴ１０７）。このとき、新規に検出された人物であれば、新たな人物ＩＤを付与して、その人物に関する情報が登録される。また、既に検出された人物であれば、人物データベース内の該当する人物ＩＤの登録情報が更新される。

【0097】

次に、監視サーバ２で行われる発報に関する処理の手順について説明する。図１０は、監視サーバ２で行われる発報に関する処理の手順を示すフロー図である。

【0098】

監視サーバ２では、まず、人物データベースが更新されると（ＳＴ２０１でＹｅｓ）、プロセッサ１３が、人物データベースに登録された人物ごとの位置情報と、エリア設定情報とに基づいて、発報エリア内に人物が存在するか否かを判定する（発報判定処理）（ＳＴ２０２）。

【0099】

ここで、発報エリア内に人物が存在する場合には（ＳＴ２０２でＹｅｓ）、プロセッサ１３が、危険度設定情報に基づいて、発報エリア内に存在する人物の危険度レベルに応じた発報内容でアラートの発報を制御する（発報制御処理）（ＳＴ２０３）。

【0100】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0101】

本発明に係る事故予兆検知システムおよび事故予兆検知方法は、各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止することができる効果を有し、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムおよび事故予兆検知方法などとして有用である。

【符号の説明】

【0102】

１ カメラ
２ 監視サーバ（情報処理装置）
３ スピーカー（報知装置）
４ 管理者端末（管理者装置）
１１ 通信部
１２ 記憶部
１３ プロセッサ
３１ タブ
３２ モード選択ボタン
３３ 撮影画像表示部
３４ 撮影画像
３５，３６ エリア画像
４１ 発報内容選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】