特開 2024-94253 ＡＩを基盤とする危険状況予測方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094253

(43)【公開日】2024-07-09

(54)【発明の名称】ＡＩを基盤とする危険状況予測方法及びそのシステム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20240702BHJP

   G08B 25/00 20060101ALI20240702BHJP

   G08B 21/02 20060101ALI20240702BHJP

   G06T 7/00 20170101ALI20240702BHJP

   G06V 10/82 20220101ALI20240702BHJP

【ＦＩ】

G08B25/04 K

G08B25/00 510M

G08B21/02

G06T7/00 350C

G06T7/00 660B

G06V10/82

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023199528

(22)【出願日】2023-11-27

(31)【優先権主張番号】10-2022-0185816

(32)【優先日】2022-12-27

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2023-0084776

(32)【優先日】2023-06-30

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】511098530

【氏名又は名称】ベストデジタル カンパニーリミテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【氏名又は名称】石井 裕充

(72)【発明者】

【氏名】ハン ジュファン

(72)【発明者】

【氏名】チョイ ビョンジン

(72)【発明者】

【氏名】ミュン スンウォン

【テーマコード（参考）】

5C086

5C087

5L096

【Ｆターム（参考）】

5C086AA22

5C086AA26

5C086CA28

5C086CB36

5C086DA08

5C087AA02

5C087AA03

5C087BB74

5C087DD03

5C087DD05

5C087EE08

5C087EE18

5C087FF01

5C087FF04

5C087GG02

5C087GG08

5C087GG09

5C087GG70

5C087GG83

5L096BA02

5L096CA05

5L096DA02

5L096HA05

5L096HA11

5L096KA04

(57)【要約】

【課題】ＡＩを基盤とする危険状況予測方法及びそのシステムを提供する。
【解決手段】本発明は、ＡＩを基盤とする危険状況予測方法及びそのシステムに関するものである。本発明の実施形態によれば、ＡＩを基盤とする危険状況予測システムを利用した危険状況予測方法において、監視地域に設けられたカメラから映像を入力される段階；入力された映像から１つ以上の客体を認識する段階；認識された客体の移動情報または動き情報を抽出する段階；客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する段階；監視地域についての客体密集度情報、気象情報及び環境情報を獲得する段階；客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する段階；第１学習モデルから予測された危険状況発生確率と臨界値とを比較して危険状況発生を判断する段階；そして、予測された危険状況発生確率が臨界値よりも高い場合、アラーム信号を発生させる段階；を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

ＡＩを基盤とする危険状況予測システムを利用した危険状況予測方法において、
監視地域に設けられたカメラから映像を入力される段階と、
前記入力された映像から１つ以上の客体を認識する段階と、
前記認識された客体の移動情報または動き情報を抽出する段階と、
前記客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する段階と、
前記監視地域についての客体密集度情報、気象情報及び環境情報を獲得する段階と、
前記客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する段階と、
前記第１学習モデルから予測された危険状況発生確率と前記臨界値とを比較して危険状況発生を判断する段階と、
前記危険状況発生確率が前記臨界値よりも高い場合、アラーム信号を発生させる段階と、
を含む、危険状況予測方法。

【請求項2】

前記客体の移動情報及び動き情報を入力データとして設定し、部外者の侵入、拉致、徘徊、倒れ、喧嘩、放火及び溺水のうちから少なくとも１つを含む危険状況を出力データとして設定して、前記第１学習モデルを学習させる段階をさらに含む、請求項１に記載の危険状況予測方法。

【請求項3】

前記監視地域についての客体密集度情報、気象情報及び環境情報を獲得する段階は、
前記映像から通行量情報及び検出された客体密集度を含む客体密集度情報を獲得する段階と、
日出及び日没時間、最低気温及び最高気温の差、天気及び風速を含む気象情報を獲得する段階と、
照度情報、時間、カメラの設置位置を含む環境情報を獲得する段階と、
を含む、請求項１に記載の危険状況予測方法。

【請求項4】

前記獲得された客体密集度情報、気象情報及び環境情報を入力データとして設定し、危険状況等級を出力データとして設定して、前記第２学習モデルを学習させる段階をさらに含む、請求項１に記載の危険状況予測方法。

【請求項5】

前記第２学習モデルを学習させる段階は、
前記客体密集度が低いほど、日没時間に近いほど、気温差が大きいほど、気象状態が悪天候であるほど、風速が大きいほど、照度が低いほど、カメラの設置位置が周辺部に位置するほど、夜に近いほど、アラーム信号を発生のための臨界値を低くなるように学習する、請求項４に記載の危険状況予測方法。

【請求項6】

ＡＩを基盤とする危険状況予測システムにおいて、
監視地域に設けられたカメラから映像を入力される映像獲得部と、
前記入力された映像から１つ以上の客体を認識する客体認識部と、
前記認識された客体の移動情報または動き情報を抽出する前処理部と、
前記客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する学習部と、
前記監視地域についての客体密集度情報、気象情報及び環境情報を獲得する情報獲得部と、
前記客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する制御部と、
前記第１学習モデルから予測された危険状況発生確率と前記臨界値とを比較して危険状況発生を判断する判断部と、
前記危険状況発生確率が前記臨界値よりも高い場合、アラーム信号を発生させるアラーム部と、
を含む、危険状況予測システム。

【請求項7】

前記学習部は、
前記客体の移動情報及び動き情報を入力データとして設定し、部外者の侵入、拉致、徘徊、倒れ、喧嘩、放火及び溺水のうちから少なくとも１つを含む危険状況を出力データとして設定して、前記第１学習モデルを学習させる、請求項６に記載の危険状況予測システム。

【請求項8】

前記情報獲得部は、
前記映像から通行量情報及び検出された客体密集度を含む客体密集度情報を獲得し、
日出及び日没時間、最低気温及び最高気温の差、天気及び風速を含む気象情報を獲得し、
照度情報、時間、カメラの設置位置を含む環境情報を獲得する、請求項６に記載の危険状況予測システム。

【請求項9】

前記制御部は、
前記獲得された客体密集度情報、気象情報及び環境情報を入力データとして設定し、危険状況等級を出力データとして設定して、前記第２学習モデルを学習させる、請求項６に記載の危険状況予測システム。

【請求項10】

前記第２学習モデルは、
前記客体密集度が低いほど、日没時間に近いほど、気温差が大きいほど、気象状態が悪天候であるほど、風速が大きいほど、照度が低いほど、カメラの設置位置が周辺部に位置するほど、夜に近いほど、アラーム信号を発生のための臨界値を低くなるようにさらに学習する、請求項９に記載の危険状況予測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＩを基盤とする危険状況予測方法及びそのシステムに係り、より詳細には、周辺状況に応じて臨界値を決定して危険状況発生確率を予測する危険状況予測方法及びそのシステムに関する。

【背景技術】

【0002】

犯罪事故だけではなく、安全事故が増加するにつれて、犯罪事故及び安全事故を事前予防するか、迅速な対応のために、多様な場所でＣＣＴＶが設けられている。

【0003】

現在、犯罪の事前予防と対応とにおいて、ＣＣＴＶの活用は、危険状況が発生した以後に、当該現場を撮影したＣＣＴＶ映像（サーバや特定保存空間に保存される）を検索し、危険状況が発生した区間を確認していることが一般的である。

【0004】

したがって、現在の方式としては、ＣＣＴＶ映像を用いて危険状況の発生をリアルタイムで把握することができないという限界がある。

【0005】

それだけではなく、ＣＣＴＶ映像を一定期間保管するために、ＣＣＴＶ映像自体をサーバに伝送するために、相対的に高い帯域幅（Ｂａｎｄｗｉｄｔｈ）を占め、サーバも、高い演算量を必要とする。

【0006】

また、ＣＣＴＶ映像がサーバにそのまま保存されるので、ＣＣＴＶ映像を確認時に、個人の身上情報（顔など）などがそのまま露出されて、プライバシーが侵害される問題が発生する。

【0007】

これにより、ＣＣＴＶのリアルタイム映像を用いて危険状況の発生をリアルタイムで把握するが、個人情報の保護だけではなく、データ伝送と保存とにおいても、負担が少ない新たな方案が要求されている。

【0008】

また、ＣＣＴＶが設けられた環境によって、適応的に危険状況発生を知らせる技術方案が必要である。

【0009】

本発明の背景となる技術は、大韓民国登録特許公報第１０－２４９００６２号（２０２３．０１．１２．公告）に開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、映像から情報を抽出し、情報を用いて危険状況発生確率を予測し、リアルタイムで獲得した情報を用いて危険状況を認識し、判断することができる臨界値を決定して危険状況を予測するためのＡＩを基盤とする危険状況予測方法及びシステムを提供するところにその目的がある。

【課題を解決するための手段】

【0011】

このような技術的課題を果たすための本発明の実施形態によれば、ＡＩを基盤とする危険状況予測システムを利用した危険状況予測方法において、監視地域に設けられたカメラから映像を入力される段階；前記入力された映像から１つ以上の客体を認識する段階；前記認識された客体の移動情報または動き情報を抽出する段階；前記客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する段階；前記監視地域についての客体密集度情報、気象情報及び環境情報を獲得する段階；前記客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する段階；前記第１学習モデルから予測された危険状況発生確率と前記臨界値とを比較して危険状況発生を判断する段階；そして、前記危険状況発生確率が前記臨界値よりも高い場合、アラーム信号を発生させる段階；を含む。

【0012】

前記客体の移動情報及び動き情報を入力データとして設定し、部外者の侵入、拉致、徘徊、倒れ、喧嘩、放火及び溺水のうちから少なくとも１つを含む危険状況を出力データとして設定して、前記第１学習モデルを学習させる段階をさらに含みうる。

【0013】

前記監視地域についての客体密集度情報、気象情報及び環境情報を獲得する段階は、前記映像から通行量情報及び検出された客体密集度を含む客体密集度情報を獲得する段階；日出及び日没時間、最低気温及び最高気温の差、天気及び風速を含む気象情報を獲得する段階；そして、照度情報、時間、カメラの設置位置を含む環境情報を獲得する段階；を含みうる。

【0014】

前記獲得された客体密集度情報、気象情報及び環境情報を入力データとして設定し、危険状況等級を出力データとして設定して、前記第２学習モデルを学習させる段階をさらに含みうる。

【0015】

前記第２学習モデルを学習させる段階は、前記客体密集度が低いほど、日没時間に近いほど、気温差が大きいほど、気象状態が悪天候であるほど、風速が大きいほど、照度が低いほど、カメラの設置位置が周辺部に位置するほど、夜に近いほど、アラーム信号を発生のための臨界値を低くなるように学習することができる。

【0016】

本発明の他の実施形態によれば、ＡＩを基盤とする危険状況予測システムにおいて、監視地域に設けられたカメラから映像を入力される映像獲得部；前記入力された映像から１つ以上の客体を認識する客体認識部；前記認識された客体の移動情報または動き情報を抽出する前処理部；前記客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する学習部；前記監視地域についての客体密集度情報、気象情報及び環境情報を獲得する情報獲得部；前記客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する制御部；前記第１学習モデルから予測された危険状況発生確率と前記臨界値とを比較して危険状況発生を判断する判断部；そして、前記危険状況発生確率が前記臨界値よりも高い場合、アラーム信号を発生させるアラーム部；を含む。

【発明の効果】

【0017】

このように、本発明によれば、周辺状況に応じて臨界値が決定され、危険状況を認識してアラームを提供することにより、アラームの誤警報を減少させることができ、緊急状況に対して迅速に対応することができる。

【0018】

また、ＣＣＴＶ映像と多様なセンサーとを通じて受信される多様な情報の確率的エラーを最小化しながら、社会の多様な業種及び多様な階層のユーザの現在の危険状況及び未来の危険状況を予測してあらかじめ予防することにより、ユーザの身近保護を確実に保証することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態によるＡＩを基盤とする危険状況予測システムの構成図である。

【0020】

【図2】本発明の実施形態による危険状況予測システムを利用したＡＩを基盤とする危険状況予測方法のフローチャートである。

【発明を実施するための形態】

【0021】

以下、添付した図面を参照して、本発明の実施形態について当業者が容易に実施できるように詳しく説明する。しかし、本発明は、さまざまな異なる形態として具現され、ここで説明する実施形態に限定されるものではない。そして、図面で本発明を明確に説明するために、説明と関係のない部分は省略し、明細書の全体を通じて類似した部分については、類似した図面符号を付する。

【0022】

明細書の全体において、ある部分が、他の部分と「連結」されているとする時、これは、「直接連結」されている場合だけではなく、その中間に他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分が、ある構成要素を「含む」とする時、これは、特に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができることを意味する。

【0023】

以下、添付した図面を参照して、本発明の実施形態について当業者が容易に実施できるように詳しく説明する。

【0024】

以下、図１を通じて本発明の実施形態による危険状況予測システムについて説明する。

【0025】

図１は、本発明の実施形態によるＡＩを基盤とする危険状況予測システムの構成図である。

【0026】

図１から見るように、本発明の実施形態による危険状況予測システム１００は、映像獲得部１１０、客体認識部１２０、前処理部１３０、学習部１４０、情報獲得部１５０、制御部１６０、判断部１７０及びアラーム部１８０を含む。

【0027】

まず、映像獲得部１１０は、監視地域に設けられたカメラからリアルタイムで映像を入力される。

【0028】

この際、映像獲得部１１０は、リアルタイムで２次元のＲＧＢ映像を獲得することができる。

【0029】

そして、客体認識部１２０は、入力された映像から１つ以上の客体を認識する。

【0030】

客体認識部１２０は、映像獲得部１１０を通じて入力された映像から人物の領域と当該人物が所持している個体の領域とを認識して分離することができる。

【0031】

すなわち、客体認識部１２０は、人物と個体とに対する認識を通じて抽出される特徴情報の正確度を向上させて、人物と個体とを正確に区分することができる。

【0032】

そして、前処理部１３０は、認識された客体の移動情報または動き情報を抽出する。

【0033】

前処理部１３０は、映像から客体の移動経路を含む客体の移動情報（徘徊、出入りなど）を抽出し、人物または動物の行動認識情報（歩行、走行、倒れなど）を含む動き情報を抽出する。

【0034】

そして、学習部１４０は、客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する。

【0035】

学習部１４０は、認識された客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する。

【0036】

この際、第１学習モデルは、客体の移動情報及び動き情報を入力データとして設定し、部外者の侵入、拉致、徘徊、倒れ、喧嘩、放火及び溺水のうちから少なくとも１つを含む危険状況を出力データとして設定して学習される。

【0037】

そして、情報獲得部１５０は、監視地域についての客体密集度情報、気象情報及び環境情報を獲得する。

【0038】

情報獲得部１５０は、気象庁サーバ、カメラ、複数のセンサー及びユーザ端末機から客体密集度情報、気象情報及び環境情報をリアルタイムで獲得することができる。

【0039】

そして、制御部１６０は、客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する。

【0040】

すなわち、制御部１６０は、リアルタイムで獲得された監視地域の情報を考慮して適応する臨界値を決定する。

【0041】

そして、判断部１７０は、第１学習モデルから予測された危険状況発生確率と臨界値とを比較して危険状況の発生有無を判断する。

【0042】

アラーム部１８０は、危険状況発生確率が臨界値よりも高い場合、アラーム信号を発生させる。

【0043】

アラーム部１８０は、アラーム信号を発生させてユーザ端末機を通じてユーザに危険を知らせることができる。

【0044】

ユーザ端末機は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｎｏｔｅｂｏｏｋ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）のようにネットワーク連結可能な端末機を含む。

【0045】

以下、図２を通じて本発明の実施形態によるＡＩを基盤とする危険状況予測システムを利用した危険状況予測方法について説明する。

【0046】

図２は、本発明の実施形態によるＡＩを基盤とする危険状況予測方法のフローチャートである。

【0047】

まず、図２から見るように、映像獲得部１１０は、監視地域に設けられたカメラから映像を入力される（ステップＳ２１０）。

【0048】

そして、客体認識部１２０は、入力された映像から１つ以上の客体を認識する（ステップＳ２２０）。

【0049】

客体認識部１２０は、ディープラーニングを利用した学習時に、意味論的領域分割（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）及び意味論的関心領域分割（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を用いて人物領域及び個体領域をそれぞれ分割することができる。

【0050】

そして、前処理部１３０は、客体認識部１２０から認識された客体の移動情報または動き情報を抽出する（ステップＳ２３０）。

【0051】

例えば、客体認識部１２０は、登山路に設けられた監視カメラから映像を入力されれば、登山路背景（木、石など）と人物とを認識することができる。そして、前処理部１３０は、移動情報としては人物の移動方向と速度情報とを抽出することができ、動き情報（座り、歩行、走行、倒れなど）を抽出することができる。

【0052】

そして、学習部１４０は、前処理部１３０から抽出された客体の移動情報または動き情報を既学習された第１学習モデルに適用して危険状況発生確率を予測する（ステップＳ２４０）。

【0053】

そして、情報獲得部１５０は、客体密集度情報、気象情報及び環境情報を獲得する（ステップＳ２５０）。

【0054】

情報獲得部１５０は、カメラ、複数のセンサー及びユーザ端末機のうちから少なくとも１つ以上から通行量情報、客体密集度情報、照度情報、時間、カメラの設置位置（住宅街、繁華街、公園など）を含む環境情報を獲得することができる。

【0055】

情報獲得部１５０は、日出時間及び日没時間、最低気温及び最高気温の差、天気（晴れ、曇り、雨、雪など）及び風速を含む気象情報を気象庁サーバから獲得することができる。

【0056】

そして、制御部１６０は、監視地域についての客体密集度情報、気象情報及び環境情報を既学習された第２学習モデルに適用して臨界値を決定する（ステップＳ２６０）。

【0057】

制御部１６０は、客体密集度情報、気象情報及び環境情報を入力データとして設定し、危険状況等級を出力データとして設定して、第２学習モデルを学習させる。

【0058】

第２学習モデルは、客体密集度が低いほど、日没時間に近いほど、気温差が大きいほど、気象状態が悪天候であるほど、風速が大きいほど、照度が低いほど、カメラの設置位置が周辺部に位置するほど、夜に近いほど、アラーム信号を発生のための臨界値を低く決定するように学習される。

【0059】

そして、判断部１７０は、危険状況発生確率と前記臨界値とを比較して危険状況の発生有無を判断する（ステップＳ２７０）。

【0060】

判断部１７０は、危険状況発生確率が臨界値よりも高い場合には、危険状況が発生したと判断し、危険状況発生確率が臨界値よりも低い場合には、危険状況が発生しなかったと判断することができる。

【0061】

判断部１７０で危険状況が発生しなかったと判断した場合には、Ｓ２１０段階を繰り返して危険状況の発生有無を判断する。

【0062】

そして、アラーム部１８０は、判断部１７０から監視地域で危険状況が発生したと判断されれば、アラーム信号を発生させる（ステップＳ２８０）。

【0063】

アラーム部１８０は、アラーム信号を発生させてユーザ端末機を通じてユーザに危険状況の発生有無を知らせることができる。

【0064】

このように、本発明によれば、周辺状況に応じて臨界値が決定され、危険状況を認識してアラームを提供することにより、アラームの誤警報を減少させることができ、緊急状況に対して迅速に対応することができる。

【0065】

また、ＣＣＴＶ映像と多様なセンサーとを通じて受信される多様な情報の確率的エラーを最小化しながら、社会の多様な業種及び多様な階層のユーザの現在の危険状況及び未来の危険状況を予測してあらかじめ予防することにより、ユーザの身近保護を確実に保証することができる。

【0066】

本発明は、図面に示された実施形態を参考にして説明されたが、これは、例示的なものに過ぎず、当業者ならば、これにより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。

【符号の説明】

【0067】

１００：危険状況予測システム
１１０：映像獲得部
１２０：客体認識部
１３０：前処理部
１４０：学習部
１５０：情報獲得部
１６０：制御部
１７０：判断部
１８０：アラーム部

【図1】

【図2】