特表 2024-546570 人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241219BHJP

   G06V 10/82 20220101ALI20241219BHJP

   G06T 7/20 20170101ALI20241219BHJP

   H04N 7/18 20060101ALI20241219BHJP

   G08B 25/00 20060101ALI20241219BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06T7/20 300Z

H04N7/18 D

G08B25/00 510M

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525215

(86)(22)【出願日】2023-10-26

(85)【翻訳文提出日】2024-04-19

(86)【国際出願番号】 KR2023016700

(87)【国際公開番号】W WO2024101726

(87)【国際公開日】2024-05-16

(31)【優先権主張番号】10-2022-0147778

(32)【優先日】2022-11-08

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】524153477

【氏名又は名称】ヨンシン カンパニー リミテッド

【氏名又は名称原語表記】ＹＯＵＮＧＳＨＩＮＥ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１１５－１ ｈｏ，Ｅ－ｄｏｎｇ，２５ Ｍｉｓａｇａｎｇｂｙｅｏｎｊｕｎｇａｎｇ－ｒｏ ７ｂｅｏｎａｎ－ｇｉｌ，Ｈａｎａｍ－ｓｉ Ｇｙｅｏｎｇｇｉ－ｄｏ １２９３９，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(71)【出願人】

【識別番号】524153488

【氏名又は名称】キョンウ システック インコーポレイテッド

【氏名又は名称原語表記】ＫＹＵＮＧＷＯＯ ＳＹＳＴＥＣＨ ＩＮＣ．

【住所又は居所原語表記】４０１－ｈｏ，６８ Ｄｉｇｉｔａｌ－ｒｏ ９－ｇｉｌ，Ｇｅｕｍｃｈｅｏｎ－ｇｕ Ｓｅｏｕｌ ０８５１２，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】カン、イル ヒョン

(72)【発明者】

【氏名】チェ、ピョン ホ

(72)【発明者】

【氏名】キム、ド グン

(72)【発明者】

【氏名】ノ、ドン ウォン

(72)【発明者】

【氏名】ユ、ジェ ゴン

(72)【発明者】

【氏名】チャン、ヨン ジュン

(72)【発明者】

【氏名】イ、ジョン ウク

【テーマコード（参考）】

5C054

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC03

5C054FC12

5C054FE17

5C054HA19

5C087AA11

5C087AA31

5C087FF01

5C087FF02

5C087GG02

5C087GG08

5C087GG09

5C087GG10

5C087GG17

5C087GG66

5C087GG84

5L096AA06

5L096BA02

5L096BA18

5L096CA02

5L096DA03

5L096FA16

5L096FA62

5L096FA66

5L096FA69

5L096GA19

5L096GA30

5L096HA05

5L096HA11

5L096KA04

(57)【要約】

本発明は、人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームに関し、より詳細には、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成される人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームに関する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮ（畳み込みニューラルネットワーク）ベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成されることを特徴とする人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項2】

前記ＣＮＮベースの客体認識部における前記重装備周辺を含む予め設定された危険半径及び状況は、前記映像データ受信部から受信された映像撮影データに仮想境界線又は仮想区域を設定し、前記仮想境界線又は仮想区域内で出現、出入り、転倒することを含むことを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項3】

前記再学習データセットは、前記誤探知又は未探知分類別に映像撮影データにオートラベリングツール（Ａｕｔｏ－Ｌａｂｅｌｉｎｇ Ｔｏｏｌ）でラベリングした後、該当の映像撮影データと共に記憶され、オンラインリアルタイムでアップロードされることを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項4】

前記ＬＴＥ通信部と通信される外部装置には、装備稼動時間、移動位置トラッキング、装備ダウンタイム（Ｄｏｗｎ－Ｔｉｍｅ）を含む装備フリート管理システムがさらに含まれ、装備フリート管理システムが前記ＣＮＮベースの客体認識部と連動し、前記重装備周辺を含む予め設定された危険半径及び状況にアップデート反映されることを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項5】

前記ＬＴＥ通信部と通信される外部装置には、前記ＣＮＮベースの客体認識部から探知されたイベント情報を収集し、危険ゾーンを地図に表示する現場危険地図ディスプレイ部がさらに含まれることを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項6】

前記ＬＴＥ通信部と通信される外部装置には、前記ＣＮＮベースの客体認識部から探知されたイベント情報に基づいて装備作業経路及び作業者の動線を追跡するための装備別及び作業者別の危険イベントモニタリングディスプレイ部がさらに含まれることを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項7】

前記ＬＴＥ通信部には、装備又は作業者の位置把握及び追跡のためにＧＰＳが付着することを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項8】

前記外部サーバー又は管理者端末機は、前記ＣＮＮベースの客体認識部から探知された危険半径内に勤労者が接近したとき、イベントイメージ又はクリップ映像を含むイベント情報をリアルタイムで受け取ってアップロードされることを特徴とする、請求項１に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【請求項9】

前記人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームは、客体探知正確度が８８％以上（人、Ｆ１ Ｓｃｏｒｅ基準）、最大認識距離が７ｍ以上、範囲が３６０度、高温信頼性が６０℃、危険要因認識速度が０．５ｓ以下であることを特徴とする、請求項１乃至８のいずれか１項に記載の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォーム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームに関し、より詳細には、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮ（畳み込みニューラルネットワーク、Convolutional Neural Network）ベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成される人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームに関する。

【背景技術】

【0002】

韓国建設産業研究院で２０２０年９月に発刊したＯＥＣＤ国家産災死亡事故実態の比較・分析報告書によると、２０１７年を基準にして韓国の労働者１０万人のうち約３．６１人の産災死亡者が発生していることが確認された。

【0003】

特に、ＯＥＣＤ会員国の平均産災死亡率は、１０万人を基準にして２．４３人であり、韓国（３．６１）は、カナダ（５．８４）、トルコ（５．１７、２０１６年基準）、チリ（４．０４）、ルクセンブルク（３．６９）に次いで５番目に高いだけでなく、人口が５千万人以上でありながら１人当たりの国民所得が３万ドルを超える「３０５０クラブ」の産業災害事故死亡者数は、韓国（３．６１）、日本（１．５０）、米国（３．３６）、イギリス（０．８８）、フランス（２．１８）、ドイツ（１．０３）、イタリア（２．１０）であって、韓国が１位を占めており、全体的に産災死亡率が減少する趨勢にあるが、韓国は、他の国家に比べて産災死亡率が高い実情にある。

【0004】

また、２０２０年に雇用労働部で発表した産業災害発生現況によると、発生件数が９２，３８３件であることが確認された。また、業種別の災害者を検討すると、その他の事業を除いては、建設業で最も高い２４，６１７件（全体の２６．６％）を示し、製造業で２３，１２７件（全体の２５．０％）を示しており、これらが全体の産業現場で５１．６％を占めている。

【0005】

死亡者は、建設業（５６７人、２７．５％）と製造業（４６９人、２２．７％）で最も多く発生し、特に、５～４９である製造業（２４９人）と建設事業場（２２５人）で最も多く発生していることが確認された。

【0006】

また、上記のような全体の産業災害のうち５１％以上が在来型災害（落下／転倒／挟まれ）であり、基本的な安全守則及び安全作業方法の未遵守によって発生していることが確認された。

【0007】

参考までに、前記災害類型別の死亡事故発生現況のうち、産業現場での建設機械衝突及び挟まれ事故事例は、掘削機、ダンプトラック、フォークリフト、コンテナなどの重装備との衝突及び挟まれが代表的である。

【0008】

併せて、上記のような産業災害による直接損失額（産災補償金の支給額）は、２０２１年を基準にして５，９９６，８１９百万ウォンであり、前年に比べて８．４５％増加した。また、直間接損失を含む経済的損失推定額は２９，９８４，０９５百万ウォンであり、前年に比べて８．４５％増加したが、これは、２０２１年度の京畿道の全体予算（２８兆７，９２５億ウォン）より高いレベルであり、国家ＧＤＰの１．５％レベルに達している。

【0009】

上記のように、持続的に発生する産業災害安全事故を予防するために政府でも多様な政策を施行しているが、「危険の外注化」防止を始めとして、産業現場の安全規制を大幅に強化した産業安全保健法（産安法）の改訂法が２０２２年１月２７日施行されており、勤労者が死亡したり事故に遭ったとき、経営陣を懲役刑に処するようにし、懲罰的損害賠償制度も導入し、事業主と法人などが故意に又は重大な過失で安全及び保健確保義務に違反したために重大災害を発生したり、損害を負わせた場合、損害額の５倍まで賠償責任を負うようにする重大災害処罰法が２０２２年１月２７日に施行されている。

【0010】

しかし、建設及び産業現場では、各種建設機械が多く使用されるので、至る所に災害発生要素が潜在しており、建設現場では、数多くの工程が互いに連携して行われるので、前段階の工程が不十分であると、次の工程に即時に影響を及ぼし、潜在的な各危険要素の複合によって大規模の災害が一時に起こるという特徴を有しており、建設現場での産業災害を減少させることは非常に難しい実情にある。

【0011】

特に、産業現場では、資材の移動、掘削などの作業の容易性及び生産性を向上させるために、多様な建設機械、すなわち、フォークリフト、掘削機、ダンプトラックなどが多様な産業現場と建設現場に使用されているが、これらの建設装備が作業者達と共に運用される協力作業が多いために、装備運用の未熟、不注意又は死角地帯の未認知による人命事故が頻繁に発生するので、建設機械装備の安全システム開発によって事故防止のための技術を開発する必要がある。

【0012】

これによって、現在の韓国産業現場には、［図１］のように、建設装備に後方カメラ及び衝突防止棒を付着させ、信号手を配置することによって衝突及び挟まれ事故を予防するように努力しているが、重装備周辺で作業者と信号手が同時に作業するために常に危険に露出しており、ほとんどの場合、信号手や測量員が衝突や挟まれ事故に遭うことが依然として発生している。

【0013】

したがって、最近は、産業現場での重装備による作業者の衝突安全事故の危険を防止するための多様な接近警報装置が開発されて使用されているが、これらは、各種センサーを用いるタグベースと非タグベースの技術に大きく区分され、多様な技術が反映された製品が開発、商用化及び販売されている。

【0014】

前記タグベースの技術は、重装備と作業者との間の距離を測定するために、車両と作業者が、直接電波送受信が可能なセンサータグを保有する方式であり、タグの電波送受信方式によって単方向タグ及び両方向タグ方式に区分され、両方向タグ方式で主に使用されるセンサーとしては、ＲＦ、ＵＷＢなどが代表的であり、センサーに受信される電波強度（ＲＳＳＩ）及び電波到達時間（ＴＯＡ）を測定し、これを距離に換算する方式が使用されている。主にＲＦ方式の接近警報製品が主流をなしているが、測定距離の正確度及び均一度の面でより優れた性能を有するＵＷＢ方式の製品が開発されて商用化されている。

【0015】

また、前記単方向タグ方式には、ＲＦＩＤタグを用いるＰＡＳＳＩＶＥ方式の製品があるが、車両側にはＲＦＩＤ ＲＥＡＤＥＲを設置し、歩行者用タグとしては指向性のＰＡＳＳＩＶＥ型ＲＦＩＤタグを所持する方式であり、この方式の製品は、両方向タグ方式に比べて距離認識誤差が大きいので、製品の信頼性が低下するという問題を有する。

【0016】

これに比べて、前記非タグベースの接近警報には、非タグベースのカメラ、超音波などの単純なセンサーが使用されており、非タグベースのセンサー自体の特性と運用の面での制限的機能の限界により、無線電波信号を用いるレーダー及び光学技術を用いたレーダー製品が開発されており、最近は、ＡＩ技術の発展に伴い、カメラを用いた客体映像認識製品も開発されている。

【0017】

特に、前記ＡＩ映像認識システムをベースにして建設装備と作業者の危険状況を管理して制御するための従来技術を検討すると、韓国登録特許１０－１８０８５８７（登録日：２０１７年１２月０７日）には、３６０度回転が可能であり、上下左右及びズーム機能が内蔵されたＰＴＺ（Ｐａｎ／Ｔｉｌｔ／Ｚｏｏｍ）カメラ又は固定型カメラを含んで構成される映像入力部と、前記映像入力部から撮影された映像が予め設定された異常状況アルゴリズムによって侵入、群集、徘徊、遺棄、出現、出入り、越墻、ピープルカウント、転倒、逆走行、及び番号認識から選ばれる一つの異常状況に該当するかどうかを感知する異常状況感知部と、前記異常状況感知部から異常状況であると感知される場合、映像前処理過程、客体抽出映像生成過程、及び客体分析過程を通じて客体認識を行い、前記客体分析過程は、前記客体抽出映像生成過程で抽出された客体に対して異常状況によってＨａａｒアルゴリズム、ＨＯＧアルゴリズム又はＳＵＲＦアルゴリズムを用いてエッジパターン抽出を行い、ディープラーニングアルゴリズムを通じて累積・記憶される学習されたデータとのパターンマッチングを通じて客体認識判別を行う客体認識部と、前記客体認識部から客体認識が行われた客体の座標の変化を分析し、前記撮影された映像内の該当の客体の移動経路又は移動方向を予測したり、該当の客体が前記撮影された映像のセンターに位置するように追跡を行う客体追跡部と、前記映像入力部から撮影された映像をディスプレイ及びモニタリングすると同時に、前記映像入力部、異常状況感知部、客体認識部及び客体追跡部を設定して制御する統合管制部とを含んで構成されることを特徴とする客体認識、追跡監視及び異常状況感知技術を用いた知能型統合監視管制システムが開発されたことがある。

【0018】

また、韓国登録特許１０－２１８５８５９（登録日：２０２０年１１月２６日）には、映像データから人の客体を認識し、該当の人の客体をフレーム単位で追跡するディープラーニングを通じた客体追跡装置において、カメラモジュールから前記映像データを受信する映像データ受信部；受信された前記映像データをリサイジングし、光の影響を減少させる前処理部；ディープラーニングベースの客体認識学習を通じて前処理が完了した映像データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化する客体認識部；映像データにおいて第１フレーム部分でボックス化された人の客体と、前記第１フレームに後続する第２フレーム部分でボックス化された人の客体のデータの一致有無を演算し、設定された一致度以上の一致度を示すボックスを同一の人の客体として認識する演算部；前記演算部で同一の人の客体として認識されたボックスの前記第１フレームでの位置と前記第２フレームでの位置に基づいて、該当のボックスの人の客体の移動方向を測定する移動方向測定部；前記移動方向測定部から測定された人の客体の移動方向を累積・収集し、該当の人の客体の移動経路を抽出し、抽出された移動経路を介して道の形状に対する座標情報を記憶する座標情報生成部；管理者端末から移動人口を測定しようとする座標情報を受信する座標情報受信部；及び前記座標情報受信部から受信された座標情報が前記道に対する座標情報に含まれない場合は、移動人口を０として算出し、前記座標情報受信部から受信された座標情報が前記道に対する座標情報に含まれる場合は、該当の座標を通過し、該当の座標での前記道の延長方向と垂直な直線を設定し、設定された直線を通過する各ボックスに基づいて移動人口を算出する移動人口算出部；を含み、前記ディープラーニングベースの客体認識学習は、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで行われることを特徴とする客体追跡装置が開発されている。

【0019】

また、韓国登録特許１０－２２０６６６２（登録日：２０２１年０１月１８日）には、港湾コンテナターミナルで港湾ゲート（Ｇａｔｅ）、ヤード／ブロック（Ｙａｒｄ／Ｂｌｏｃｋ）、ブロックエントランス（Ｂｌｏｃｋ Ｅｎｔｒａｎｃｅ）、ＡＲＭＧＣ、ＱＣの各地域に設置された多数のカメラ；及び前記多数のカメラ映像データを受け取り、ディープラーニングモジュールによって学習データに従ってカメラ映像内の各客体を検出し、文字を認識し、車線認識、車両番号認識、コンテナ番号（ＩＳＯコード）の文字認識、コンテナダメージ認識、ブロック進入口の進入車両認識、危険地域進入車両と作業者、逆走行車両、ヤード作業者の安全保護具／安全ベストの着用有無検出、ロード・アンロード装備の位置を検出し、学習された客体抽出イベント（ｔｅｘｔ）と四角ボックスでマーキングされた客体抽出映像データをミドルウェアで伝送するＦＰＧＡベースのエンベデッドビジョンシステム（ＴＬＥＭ）；を含み、前記ＦＰＧＡベースのエンベデッドビジョンシステム（ＴＬＥＭ）は、Ｎｏｎ－ＧＰＵベースの映像の各客体を検出し、車両番号とコンテナ番号（ＩＳＯコード）の文字を認識するディープラーニングモジュールを備える、港湾コンテナターミナルで車両出入り管理と客体認識を行うビジョンカメラシステムが開発されている。

【0020】

また、韓国登録特許１０－２２６３５１２（登録日：２０２１年０６月０４日）には、映像データと非映像データとを統合して分析するＩｏＴ統合知能型映像分析プラットフォームシステムにおいて、少なくとも一つの映像データを取得する映像データ取得部；少なくとも一つの非映像データを取得する非映像データ取得部；前記映像データを分析する映像データ処理部；前記非映像データを分析する非映像データ処理部；及び前記映像データ処理部又は前記非映像データ処理部で前記映像データ又は前記非映像データから非正常状況であると判断する場合、前記非正常状況を最終的に判断する統合データ判断部；を含み、前記映像データ処理部は、取得された前記映像データから客体を認識し、客体の状態を推定したり、客体の真偽を推定したり、客体の行為イベントを推定し、前記非映像データ処理部は、前記非映像データを分析するにおいて、前記非映像データの測定値が正常状況のデータ範囲を逸脱する場合を非正常イベントとして定義し、前記非正常イベントの発生有無、発生時間、既に定義された単位時間当たりの発生カウント数を考慮した上で、非正常状況を判断し、前記映像データ処理部は、前記取得された映像データから客体を認識する機能を処理する客体処理部；及びユーザーが映像データのマシンラーニングと関連した機能を提供するユーザー学習設定部；をさらに含み、前記客体処理部は、前記映像データから客体を抽出し、偽造有無を判断する客体真偽識別部；前記映像データから客体の状態を推定する客体状態認識部；及び前記映像データから客体の行為イベントを推定する客体行為認識部；をさらに含み、前記客体真偽識別部は、前記映像データからイメージを抽出し、前記抽出されたイメージを構成する各ピクセルの色相を分析し、前記分析された各色相から所望の色相を抽出した後、正品判断アルゴリズムを通じて、前記客体が正品である確率を導出し、Ｋ－平均法（Ｋ－ｍｅａｎ Ｃｌｕｓｔｅｒｉｎｇ）アルゴリズムを通じた色相比率を抽出するために、データ間の類似度ベースの群集化（ｃｌｕｓｔｅｒｉｎｇ）アルゴリズムで群集（ｃｌｕｓｔｅｒ）間の分散を最小化し、群集化された色相で品目内の色相比率を識別し、ＯｐｅｎＣＶを通じて色相比率を抽出することができ、正品に対する色相倍率を学習させ、その結果として抽出された色相比率によって正品と模造品イメージの差を区分することができ、ＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）アルゴリズムを用いて複製品イメージを生成し、表面材質の差を用いて正品モデルと模造品モデルの相互間のフィードバック及び学習を通じて正品判読のための学習モデルに該当する不法複製品判読アルゴリズムを適用することによって、客体が正品である確率を導出することを特徴とするスマート客体認識が可能なＩｏＴ統合知能型映像分析プラットフォームシステムが開発されている。

【0021】

しかし、上記の従来の各技術は、映像データから客体認識及び追跡を通じた車両出入り管理及び作業者安全管理の面では肯定的であるが、産業現場の特性上の多様な物体（柱）による誤認識問題、及び建設現場の特性上の厳しい外部環境要因による客体に対する未探知又は誤探知の発生、多様な環境での自動学習データセット収集及びアップデートの難しさなどの問題によって客体探知正確度が不足するという致命的な問題を有していた。

【0022】

これによって、本発明者等は、既存の映像認識接近警報システム（Ｐｒｏｘｉｍｉｔｙ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）の限界を克服し、建設装備操縦員の可視性を向上させ、装備周辺の死角地帯をリアルタイムで正確にモニタリングできるように産業現場に適した耐久性を確保し、リアルタイム性と正確性を確保しながら全方位探知が可能な人工知能ベースの映像客体探知、危険状況及び装備フリート（Ｆｌｅｅｔ）管理が可能な通信、人工知能学習データセット構築が可能な人工知能ベースの映像認識プラットフォームを開発し、本発明を完成するに至った。

【先行技術文献】

【特許文献】

【0023】

【特許文献1】大韓民国登録特許１０－１８０８５８７（登録日：２０１７年１２月０７日）

【特許文献2】大韓民国登録特許１０－２１８５８５９（登録日：２０２０年１１月２６日）

【特許文献3】大韓民国登録特許１０－２２０６６６２（登録日：２０２１年０１月１８日）

【特許文献4】大韓民国登録特許１０－２２６３５１２（登録日：２０２１年０６月０４日）

【発明の概要】

【発明が解決しようとする課題】

【0024】

本発明は、前記従来の各問題を解決するためのものであって、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成される人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームを提供することを技術的課題とする。

【課題を解決するための手段】

【0025】

本発明は、前記技術的課題を解決するために、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成される人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームを技術的解決方法とする。

【0026】

前記ＣＮＮベースの客体認識部における前記重装備周辺を含む予め設定された危険半径及び状況は、前記映像データ受信部から受信された映像撮影データに仮想境界線又は仮想区域を設定し、前記仮想境界線又は仮想区域内で出現、出入り、転倒することを含む。

【0027】

前記再学習データセットは、前記誤探知又は未探知分類別に映像撮影データにオートラベリングツール（Ａｕｔｏ－Ｌａｂｅｌｉｎｇ Ｔｏｏｌ）でラベリングした後、該当の映像撮影データと共に記憶され、オンラインリアルタイムでアップロードされるものである。

【0028】

前記ＬＴＥ通信部と通信される外部装置には、装備稼動時間、移動位置トラッキング（Ｔｒａｃｋｉｎｇ）、装備ダウンタイム（Ｄｏｗｎ－Ｔｉｍｅ）を含む装備フリート管理システムがさらに含まれ、装備フリート管理システムが前記ＣＮＮベースの客体認識部と連動し、前記重装備周辺を含む予め設定された危険半径及び状況にアップデート反映される。

【0029】

前記ＬＴＥ通信部と通信される外部装置には、前記ＣＮＮベースの客体認識部から探知されたイベント情報を収集し、危険ゾーン（Ｚｏｎｅ）を地図に表示する現場危険地図ディスプレイ部がさらに含まれる。

【0030】

前記ＬＴＥ通信部と通信される外部装置には、前記ＣＮＮベースの客体認識部から探知されたイベント情報に基づいて装備作業経路及び作業者の動線を追跡するための装備別及び作業者別の危険イベントモニタリングディスプレイ部がさらに含まれる。

【0031】

前記ＬＴＥ通信部は、装備又は作業者の位置把握及び追跡のためにＧＰＳが付着するものである。

【0032】

前記外部サーバー又は管理者端末機は、前記ＣＮＮベースの客体認識部から探知された危険半径内に勤労者が接近したとき、イベントイメージ又はクリップ映像を含むイベント情報をリアルタイムで受け取ってアップロードされるものである。

【0033】

前記人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームは、客体探知正確度が８８％以上（人、Ｆ１ Ｓｃｏｒｅ基準）、最大認識距離が７ｍ以上、範囲が３６０度、高温信頼性が６０℃、危険要因認識速度が０．５ｓ以下である。

【発明の効果】

【0034】

本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームは、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成され、産業又は建設現場の多様な環境で客体認識正確度の確保、危険状況イベント信頼性の向上、及び持続可能な学習データ収集及び再学習を通じて衝突及び挟まれ事故の予防に画期的な効果を有する。

【図面の簡単な説明】

【0035】

【図1】建設装備の衝突及び挟まれ事故の予防事例である。

【図2】本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームの全体模式図である。

【図3】本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームの全体模式詳細図である。

【図4】本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームの全体フローチャートである。

【図5】本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームの再学習部のプロセス図である。

【図6】本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームの再学習部の構成図である。

【図7】本発明の正探知、誤探知又は未探知分類の事例図である。

【図8】映像撮影データオートラベリングツール（Ａｕｔｏ－Ｌａｂｅｌｉｎｇ Ｔｏｏｌ）による再学習データセットの事例図である。

【図9】ＹＯＬＯの構造を示したものである。

【図10】本発明に追加される装備フリート管理システムの事例図である。

【図11】装備別及び作業者別の危険イベントモニタリングの事例図である。

【図12】本発明の映像認識安全統合管制プラットフォームのテスト及び性能規格図である。

【発明を実施するための形態】

【0036】

以下では、本発明の属する技術分野で通常の知識を有する者が容易に実施できるように、本発明の実施例及び／又は図面を通じて詳細に説明する。しかし、本発明は、様々な異なる形態で具現可能であり、ここで説明する実施例及び／又は図面に限定されない。

【0037】

まず、［図２］乃至［図３］に示したように、本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームは、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部１０１と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システム１０２と；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォーム１０３と；を含んで構成される。

【0038】

このとき、前記ＣＮＮベースの客体認識部における前記重装備周辺を含む予め設定された危険半径及び状況は、前記映像データ受信部１０１から受信された映像撮影データに仮想境界線又は仮想区域を設定し、前記仮想境界線又は仮想区域内で出現、出入り、転倒することを含むことができ、前記仮想境界線又は仮想区域の設定は、前記ＣＮＮベースの客体認識部で随時に変更又は設定することができる。

【0039】

より具体的には、本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームの作動フローチャートを見ると、［図２］乃至［図４］に示したように、１）前記映像データ受信部１０１から受信された映像撮影データで２）ＣＮＮベースの客体認識部によって人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知し、３）探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システム１０２に加えて、警光灯又は警告アラームを発生する前に、前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類し、前記誤探知・未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習した後で前記イベント情報発生部に送信し、より正確な映像認識によるイベント情報を探知できるようになる。

【0040】

特に、前記ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習するプロセスは、［図５］乃至［図６］に示したように、前記映像データ受信部１０１から受信された映像撮影データをイメージリサイジングして前処理する段階（Ｓ１１）と；前記前処理段階（Ｓ１１）でリサイジングされたイメージをＹＯＬＯ４及びＴｅｎｓｏｒＲＴによって個体認識し、Ｂｂｏｘを生成して追跡する客体探知段階（Ｓ１２）と；前記客体探知段階（Ｓ１２）で探知された客体が危険状況に該当するかどうかを推論する１次客体認識段階（Ｓ１３）と；前記１次客体認識段階（Ｓ１３）で推論された客体が危険状況に該当する場合、イベント情報発生部でイベント情報を発生させる段階（Ｓ１４）と；前記１次客体認識段階（Ｓ１３）で推論された客体が危険状況に該当しない場合、イベント情報ではないと推論する２次客体認識段階（Ｓ１５）と；を経て再学習するようになる。

【0041】

一方、前記再学習データセットは、前記誤探知又は未探知分類別に映像撮影データにオートラベリングツール（Ａｕｔｏ－Ｌａｂｅｌｉｎｇ Ｔｏｏｌ）でラベリングした後、該当の映像撮影データと共に記憶され、オンラインリアルタイムでアップロードされる。

【0042】

すなわち、［図７］乃至［図８］に示したように、前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットを前記誤探知又は未探知分類別に映像撮影データにオートラベリングツール（Ａｕｔｏ－Ｌａｂｅｌｉｎｇ Ｔｏｏｌ）でラベリングした後、該当の映像撮影データと共に記憶され、オンラインリアルタイムでアップロードする。

【0043】

ここで、ＹＯＬＯは、客体検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）のためのディープラーニングベースの地図学習であるアルゴリズムの一つである。Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅの略語であり、ただ１回だけ見ることを意味し、イメージの単一回帰で物体の分類と位置を判断する。ＹＯＬＯは、ＣＮＮ構造をベースにし、ネットワーク構造（ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ）は、ＧｏｏｇＬｅＮｅｔモデルをベースにして２４個の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒｓ）及び２個の全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒｓ）を含んで構成されている。

【0044】

［図９］は、ＹＯＬＯの構造を示したものである。ＹＯＬＯでイメージを処理する方法は、入力イメージのサイズを調整し、イメージで畳み込みネットワークを実行し、モデルの信頼度によって結果探知を臨界値化する。バウンディングボックスは、ｘ、ｙ、ｗ、ｈ及び信頼点数（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）までの５個の要素で構成される。（ｘ，ｙ）は、グリッドセルの境界を基準にしたバウンディングボックスの中心座標である。（ｗ，ｈ）は、バウンディングボックスの幅及び高さを意味する。信頼点数（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）は、予測したバウンディングボックスと全ての正答バウンディングボックスとの間のＩＯＵを示す。また、各グリッドセルは、Ｃ条件付きクラス確率、Ｐｒ（Ｃｌａｓｓｉ｜Ｏｂｊｅｃｔ）を予測する。このような確率は、客体が含まれたグリッドセルで条件化される。バウンディングボックスＢの数とは関係なく、１グリッドセル当たりにクラス確率の一セットのみを予測する。テスト時間には、各箱に対するクラス別の信頼点数を提供する条件付きクラス確率を掛け算する。

【0045】

［図９］において、点数は、該当のクラスが箱に現れる確率と予測箱が個体にどれほど適しているのかをエンコードする。ＹＯＬＯのシステムは、探知を回帰問題でモデリングする。イメージをＳ×Ｓグリッドに分けて、各グリッドセルに対してＢ境界箱、該当の箱に対する信頼度及びＣクラス確率を予測する。このような予測は、Ｓ×Ｓ×（Ｂ≦５＋Ｃ）テンソルでエンコードされる。

【0046】

本発明では、ＹＯＬＯの４番目のバージョンであるＹＯＬＯｖ４を用いるが、これは、速度が速く、且つリアルタイム検出が可能であり、正確度が多く改善され、性能にも優れるという長所を有する。

【0047】

併せて、前記ＬＴＥ通信部と通信される外部装置には、［図１０］に示したように、装備稼動時間、移動位置トラッキング、及び装備ダウンタイム（Ｄｏｗｎ－Ｔｉｍｅ）を含む装備フリート管理システムがさらに含まれ、装備フリート管理システムが前記ＣＮＮベースの客体認識部と連動し、前記重装備周辺を含む予め設定された危険半径及び状況にアップデート反映され得る。

【0048】

また、前記ＬＴＥ通信部と通信される外部装置には、［図１１］に示したように、前記ＣＮＮベースの客体認識部から探知されたイベント情報に基づいて装備作業経路及び作業者の動線を追跡するための装備別及び作業者別の危険イベントモニタリングディスプレイ部がさらに含まれ得る。

【0049】

さらに、前記ＬＴＥ通信部には、装備又は作業者の位置把握及び追跡のためにＧＰＳが付着する。

【0050】

また、前記外部サーバー又は管理者端末機は、前記ＣＮＮベースの客体認識部から探知された危険半径内に勤労者が接近したとき、イベントイメージ又はクリップ映像を含むイベント情報をリアルタイムで受け取り、これをアップロードするように構成することもできる。

【0051】

特に、本発明に係る前記人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームは、［図１２］に示したように、客体探知正確度を８８％以上（人、Ｆ１ Ｓｃｏｒｅ基準）、最大認識距離を７ｍ以上、範囲を３６０度、高温信頼性を６０℃、危険要因認識速度を０．５ｓ以下にする。

【産業上の利用可能性】

【0052】

本発明の人工知能ベースの映像認識システムを含むエンベデッド映像認識安全統合管制プラットフォームは、カメラモジュールから建設又は産業現場周辺の映像撮影データを受信する映像データ受信部と；前記映像データ受信部から受信された映像撮影データで人の客体を認識し、認識された人の客体のデータに対応して該当の認識された人の客体をボックス化して探知するＣＮＮベースの客体認識部、及び前記ＣＮＮベースの客体認識部から探知された人の客体が重装備周辺を含む予め設定された危険半径及び状況に露出する場合、警光灯又は警告アラームを発生するイベント情報発生部を含む映像認識システムと；前記ＣＮＮベースの客体認識部から探知されたイベント情報を受信し、正探知、誤探知又は未探知に分類する誤探知・未探知分類部、前記誤探知・未探知分類部から受信された誤探知又は未探知分類をディープラーニングベースの客体認識学習アルゴリズムであるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を通じてリアルタイムで再学習させる再学習部、前記再学習部から生成された再学習データセットをオンラインリアルタイムで前記ＣＮＮベースの客体認識部にアップロードさせる学習モデルアップデート部、及び前記映像認識システムと外部サーバー又は管理者端末機を含む外部装置との通信のためのＬＴＥ通信部を含むＡＩ映像認識プラットフォームと；を含んで構成され、産業又は建設現場の多様な環境で客体認識正確度の確保、危険状況イベント信頼性の向上及び持続可能な学習データの収集及び再学習を通じて衝突及び挟まれ事故の予防に画期的な効果を有するので、産業上の利用可能性がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】