特許 7541182 ディープラーニングベースのリアルタイム工程監視システム及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】ディープラーニングベースのリアルタイム工程監視システム及びその方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240820BHJP

   G06T 7/00 20170101ALI20240820BHJP

   G06V 10/82 20220101ALI20240820BHJP

   G06V 20/52 20220101ALI20240820BHJP

   G05B 19/418 20060101ALI20240820BHJP

【ＦＩ】

H04N7/18 D

G06T7/00 350C

G06T7/00 610

G06V10/82

G06V20/52

G05B19/418 Z

【請求項の数】 18

(21)【出願番号】P 2023504076

(86)(22)【出願日】2021-08-20

(65)【公表番号】

(43)【公表日】2023-09-27

(86)【国際出願番号】 KR2021011162

(87)【国際公開番号】W WO2022039575

(87)【国際公開日】2022-02-24

【審査請求日】2023-02-21

(31)【優先権主張番号】63/068,387

(32)【優先日】2020-08-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】10-2021-0110188

(32)【優先日】2021-08-20

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】523020017

【氏名又は名称】リアルタイムテック カンパニー，リミテッド

【氏名又は名称原語表記】ＲＥＡＬＴＩＭＥＴＥＣＨ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】２ｎｄ Ｆｌｏｏｒ， ２８３， Ｂａｅｕｌ １－ｒｏ， Ｙｕｓｅｏｎｇ－ｇｕ， Ｄａｅｊｅｏｎ ３４０３６ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002251

【氏名又は名称】弁理士法人眞久特許事務所

(72)【発明者】

【氏名】パーク，ジョンファン

(72)【発明者】

【氏名】ジン，ホンソク

(72)【発明者】

【氏名】ジン，ソンイル

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０２０／１７８９４５（ＷＯ，Ａ１）

【文献】特開２０１９－２０４１５５（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０６０９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

工程中に認識する客体を移動客体、状態客体及びベクター客体に区分して登録し、ディープラーニングベースで学習する学習装置；及び
前記学習装置によって学習されたモデルに基づいた工程の進行中に獲得されたリアルタイム映像から、前記移動客体、前記状態客体及び前記ベクター客体に対するフィーチャーを検出し、抽出される各フィーチャーの集合から設定されたリアルタイムフィーチャーパターンを既に格納された工程フィーチャーパターンと比較することによって工程を分類し、前記工程及び前記客体に対する異常を検出し、前記工程の進行状態を監視する監視装置；を含み、
前記監視装置は、
工程を進行する装備に設置される複数のカメラを含む映像獲得部；
前記工程に含まれた客体を前記移動客体、前記状態客体及び前記ベクター客体に区分し、リアルタイム映像から客体のフィーチャーを検出する客体検出部；
検出された前記客体のフィーチャーをフレーム単位で分析することによって前記リアルタイムフィーチャーパターンを検出し、これを前記工程フィーチャーパターンと比較し、類似度によって工程を分類する工程分類部；及び
前記リアルタイムフィーチャーパターンと前記客体のフィーチャーから異常を検出する異常検出部；を含む、工程監視システム。

【請求項2】

前記客体検出部は、前記移動客体に対して、映像をフレーム単位で分析することによって第１時間のフレームと第２時間のフレームとの差を獲得し、各フレームに含まれた前記客体の変化を検出し、膨張及び増殖演算を通じて後処理することを特徴とする、請求項１に記載の工程監視システム。

【請求項3】

前記客体検出部は、後処理されたフレームに対して外郭線検出及びグルーピング（Ｇｒｏｕｐｉｎｇ）を行い、グルーピングを通じて生成された各ボックス（Ｂｏｘ）に対して重複したボックスを削除又は統合し、ボックスを拡張する過程を行い、各イメージの形状をＡＩイメージ分類神経網を用いて判断し、前記移動客体に対するフィーチャーを抽出することを特徴とする、請求項２に記載の工程監視システム。

【請求項4】

前記工程分類部は、前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとを比較することによって類似度を分析し、類似度が最も高い工程フィーチャーパターンで工程を分類することを特徴とする、請求項１に記載の工程監視システム。

【請求項5】

前記工程分類部は、前記工程フィーチャーパターンと前記リアルタイムフィーチャーパターンに対して、分岐（Ｂｒａｎｃｈ）方式でパターンを分析することによってマッチング作業を行うことを特徴とする、請求項４に記載の工程監視システム。

【請求項6】

前記工程分類部は、工程の分類中に、複数の工程フィーチャーパターンを予めスライディングさせて並列処理し、各フレームごとに抽出される前記リアルタイムフィーチャーパターンを前記複数の工程フィーチャーパターンと全て比較することを特徴とする、請求項４に記載の工程監視システム。

【請求項7】

前記工程分類部は、タイムスタンプｔでのフレームからフィーチャーを検出した前記移動客体、前記状態客体、及びベクター客体に対するそれぞれのフィーチャーセットを設定し、既に設定された工程フィーチャーセットと、リアルタイムで獲得されるリアルタイムフィーチャーセットとを比較することによって損失関数を演算し、
複数のフレームに対する各フレームのフィーチャーセットの比較によって得られる損失関数を通じて損失値を算出し、前記複数のフレームに対するタイムスタンプの数による時系列損失関数を通じて損失値を算出することを特徴とする、請求項１に記載の工程監視システム。

【請求項8】

前記工程分類部は、前記映像の各フレーム別に新しい分岐を設定し、各分岐の前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとを比較することによって損失値を演算し、損失値によって類似度を判断することを特徴とする、請求項１に記載の工程監視システム。

【請求項9】

前記工程分類部は、第１時間乃至第２時間の範囲で、第１リアルタイムフィーチャーパターンと第１工程フィーチャーパターンとを比較することによって演算される損失値が、既に設定されたしきい値より低い場合、前記第１時間乃至前記第２時間の分岐で前記第１リアルタイムフィーチャーパターンと前記第１工程フィーチャーパターンとが類似すると判断することを特徴とする、請求項１に記載の工程監視システム。

【請求項10】

前記工程分類部は、工程の開始と終了時点に対するデータに基づいて、前記工程フィーチャーパターンに対する開始検査区間と終了検査区間を設定し、リアルタイム映像の分岐別の前記リアルタイムフィーチャーパターンと損失検査を行い、
前記開始検査区間又は前記終了検査区間に対する各フィーチャーセットと、前記リアルタイムフィーチャーパターンのフィーチャーセットとの間で演算される損失値が第２しきい値より小さい場合、工程が開始又は終了すると判断することを特徴とする、請求項１に記載の工程監視システム。

【請求項11】

前記異常検出部は、工程の分類時、前記工程フィーチャーパターンと前記リアルタイムフィーチャーパターンに対して損失関数を通じて算出される損失値に基づいて工程の異常を検出することを特徴とする、請求項１に記載の工程監視システム。

【請求項12】

前記異常検出部は、複数の客体に対応して抽出された複数のフィーチャーを既に格納されたデータと比較することによって損失値を算出し、前記複数の客体に対する損失値の大きさと時間による変化、前記損失値が一定値以上の状態に維持される時間によっていずれか一つの客体に対する異常を検出することを特徴とする、請求項１に記載の工程監視システム。

【請求項13】

前記異常検出部は、複数の客体のうちいずれか一つに異常があると判断された場合にも、前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとの類似度が一定値以下である場合は、異常判断から除外することを特徴とする、請求項１２に記載の工程監視システム。

【請求項14】

工程の試験運営を通じて、工程中に認識する客体を移動客体、状態客体及びベクター客体に区分して登録し、ディープラーニングベースで学習する段階；
学習されたデータに基づいて、工程の進行中に獲得されたリアルタイム映像から前記移動客体、前記状態客体及び前記ベクター客体に対するフィーチャーを検出する段階；
抽出される各フィーチャーの集合から設定されたリアルタイムフィーチャーパターンを既に格納された工程フィーチャーパターンと比較し、工程を分類する段階；
前記客体に対する前記フィーチャーと工程の進行状態を判断し、異常を検出する段階；及び
前記工程の進行状態に対するデータを格納する段階；を含み、
前記工程を分類する段階は、
前記リアルタイムフィーチャーパターンと、前記工程フィーチャーパターンとを比較することによって類似度を分析し、類似度が最も高い工程フィーチャーパターンで工程を分類することを特徴とする、工程監視システムの動作方法。

【請求項15】

前記フィーチャーを検出する段階は、
前記リアルタイム映像のフレーム間の客体探知結果をトラッキング（Ｔｒａｃｋｉｎｇ）を通じてマッピングし、前記移動客体を追跡及び探知する段階；
前記リアルタイム映像をフレーム単位で分析し、第１時間のフレームと第２時間のフレームとの差を獲得し、各フレームに含まれた前記客体の変化を検出し、膨張及び増殖演算を通じて後処理する段階；
後処理されたフレームに対して外郭線検出及びグルーピング（Ｇｒｏｕｐｉｎｇ）を行う段階；
グルーピングを通じて生成された各ボックス（Ｂｏｘ）に対して重複したボックスを削除又は統合し、ボックスを拡張する段階；及び
前記ボックスの各イメージの形状をＡＩイメージ分類神経網を用いて判断し、前記移動客体に対するフィーチャーを抽出する段階；をさらに含む、請求項１４に記載の工程監視システムの動作方法。

【請求項16】

前記工程を分類する段階は、
前記リアルタイム映像のタイムスタンプｔでのフレームからフィーチャーを検出した前記移動客体、前記状態客体、及びベクター客体に対するそれぞれのフィーチャーセットを設定する段階；
既に設定された工程フィーチャーセットと、リアルタイムで獲得されるフィーチャーセットとを比較することによって損失関数を演算する段階；及び
複数のフレームに対して各フレームのフィーチャーセットの比較によって得られる損失関数と、前記複数のフレームに対するタイムスタンプの数による時系列損失関数を演算する段階；をさらに含む、請求項１４に記載の工程監視システムの動作方法。

【請求項17】

前記工程を分類する段階は、工程の開始と終了時点に対するデータに基づいて、前記工程フィーチャーパターンに対する開始検査区間と終了検査区間を設定する段階；
前記リアルタイム映像の分岐別の前記リアルタイムフィーチャーパターンと損失検査を行う段階；及び
前記開始検査区間又は前記終了検査区間に対する各フィーチャーセットと、前記リアルタイムフィーチャーパターンのフィーチャーセットとの間で演算される損失値が第２しきい値より小さい場合、工程が開始又は終了すると判断する段階；をさらに含む、請求項１４に記載の工程監視システムの動作方法。

【請求項18】

前記異常を検出する段階は、
複数の客体に対応して抽出された複数のフィーチャーを既に格納されたデータと比較することによって各損失値を算出し、前記複数の客体に対する損失値の大きさと時間による変化、前記損失値が一定値以上の状態に維持される時間によっていずれか一つの客体に対する異常を検出する段階；及び
複数の客体のうちいずれか一つに異常があると判断された場合にも、前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとの類似度が一定値以下である場合は、異常判断から除外する段階；をさらに含む、請求項１４に記載の工程監視システムの動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生産工程の進行過程を映像を通じてリアルタイムで監視することによって、客体の検出を通じて進行状態を確認し、異常を検出するディープラーニングベースのリアルタイム工程監視システム及びその方法に関する。

【背景技術】

【0002】

映像を用いて特定の地域や特定の対象を監視する技術は、保安システムのみならず、道路状況の確認又は生産設備などの多様な分野に適用されており、生産工程に導入されることによって工程の進行過程をモニタリングし、工程進行中の対象物の状態を確認するのに活用されている。

【0003】

大韓民国登録特許１０－２２７７１６２号は、産業ロボット監視装置及びその装置の駆動方法に関するものであって、産業ロボットの指定された作業を行うにおいて、カメラを通じてロボットを撮影し、撮影された映像を分析することによって、ロボットの動きに対する異常を検出する。

【0004】

しかし、このような方式は、ロボットの動きが異なる場合、それに対する異常を検出することはできるが、工程の段階を分類するのではないので、工程内で同一の作業が繰り返される場合、該当の映像がどの工程に該当するのかを確認できないという問題を有する。

【0005】

また、工程全般を監視し、各工程を区分するためには、大規模の映像ストリームをリアルタイムで処理しなければならないが、映像処理に多くのリソースが消耗されるので適用に困難がある。

【0006】

それによって、固定されたカメラを通じて持続的に獲得される映像を用いて工程過程を監視するにおいて、ストリーミング映像に対する処理性能及び正確度を改善し、工程を効果的に監視する方案が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記のような必要性によって創出されたものであって、映像認識技術を用いて工程の進行をリアルタイムで監視し、映像から抽出される客体の状態を用いて異常を検出するディープラーニングベースのリアルタイム工程監視システム及びその方法を提供することを目的とする。

【0008】

また、本発明は、抽出される客体のパターンを用いて工程を分類することによって、進行中の工程に対する誤差推移と異常発生を感知するディープラーニングベースのリアルタイム工程監視システム及びその方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の目的を達成するために、本発明に係るディープラーニングベースのリアルタイム工程監視システムは、工程中に認識する客体を移動客体、状態客体及びベクター客体に区分して登録し、ディープラーニングベースで学習する学習装置；及び前記学習装置によって学習されたモデルに基づいた工程の進行中に獲得されたリアルタイム映像から、前記移動客体、前記状態客体及び前記ベクター客体に対するフィーチャーを検出し、抽出される各フィーチャーの集合から設定されたリアルタイムフィーチャーパターンを、既に格納された工程フィーチャーパターンと比較することによって工程を分類し、前記工程及び前記客体に対する異常を検出することによって前記工程の進行状態を監視する監視装置；を含む。

【0010】

前記監視装置は、工程を進行する装備に設置される複数のカメラを含む映像獲得部；前記工程に含まれた客体を前記移動客体、前記状態客体及び前記ベクター客体に区分し、リアルタイム映像から客体のフィーチャーを検出する客体検出部；検出された前記客体のフィーチャーをフレーム単位で分析することによって前記リアルタイムフィーチャーパターンを検出し、これを前記工程フィーチャーパターンと比較し、類似度によって工程を分類する工程分類部；及び前記リアルタイムフィーチャーパターンと前記客体のフィーチャーから異常を検出する異常検出部；を含む。

【0011】

前記客体検出部は、前記移動客体に対して、映像をフレーム単位で分析することによって第１時間のフレームと第２時間のフレームとの差を獲得し、各フレームに含まれた前記客体の変化を検出し、膨張及び増殖演算を通じて後処理することを特徴とする。

【0012】

前記客体検出部は、後処理されたフレームに対して外郭線検出及びグルーピング（Ｇｒｏｕｐｉｎｇ）を行い、グルーピングを通じて生成された各ボックス（Ｂｏｘ）に対して重複したボックスを削除又は統合し、ボックスを拡張する過程を行い、各イメージの形状をＡＩイメージ分類神経網を用いて判断し、前記移動客体に対するフィーチャーを抽出することを特徴とする。

【0013】

前記工程分類部は、前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとを比較することによって類似度を分析し、類似度が最も高い工程フィーチャーパターンで工程を分類することを特徴とする。

【0014】

前記工程分類部は、前記工程フィーチャーパターンと前記リアルタイムフィーチャーパターンに対して、分岐（Ｂｒａｎｃｈ）方式でパターンを分析することによってマッチング作業を行い、工程の分類中に、複数の工程フィーチャーパターンを予めスライディングさせて並列処理し、各フレームごとに抽出される前記リアルタイムフィーチャーパターンを前記複数の工程フィーチャーパターンと全て比較することを特徴とする。

【0015】

前記工程分類部は、タイムスタンプｔでのフレームからフィーチャーを検出した前記移動客体、前記状態客体、及びベクター客体に対するそれぞれのフィーチャーセットを設定し、既に設定された工程フィーチャーセットと、リアルタイムで獲得されるリアルタイムフィーチャーセットとを比較することによって損失関数を演算し、複数のフレームに対する各フレームのフィーチャーセットの比較によって得られた損失関数を通じて損失値を算出し、前記複数のフレームに対するタイムスタンプの数による時系列損失関数を通じて損失値を算出することを特徴とする。

【0016】

前記工程分類部は、工程の開始と終了時点に対するデータに基づいて、前記工程フィーチャーパターンに対する開始検査区間と終了検査区間を設定し、リアルタイム映像の分岐別の前記リアルタイムフィーチャーパターンと損失検査を行い、前記開始検査区間又は前記終了検査区間に対する各フィーチャーセットと、前記リアルタイムフィーチャーパターンのフィーチャーセットとの間で演算される損失値が第２しきい値より小さい場合、工程が開始又は終了すると判断することを特徴とする。

【0017】

前記異常検出部は、複数の客体に対応して抽出された複数のフィーチャーを既に格納されたデータと比較することによって損失値を算出し、前記複数の客体に対する損失値の大きさと時間による変化、及び前記損失値が一定値以上の状態に維持される時間によって、いずれか一つの客体に対する異常を検出することを特徴とする。

【0018】

前記異常検出部は、複数の客体のうちいずれか一つに異常があると判断された場合にも、前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとの類似度が一定値以下である場合は、異常判断から除外することを特徴とする。

【0019】

本発明のディープラーニングベースのリアルタイム工程監視システムの動作方法は、工程の試験運営を通じて、工程中に認識する客体を移動客体、状態客体及びベクター客体に区分して登録し、ディープラーニングベースで学習する段階；学習されたデータに基づいて、工程の進行中に獲得されたリアルタイム映像から前記移動客体、前記状態客体及び前記ベクター客体に対するフィーチャーを検出する段階；抽出される各フィーチャーの集合から設定されたリアルタイムフィーチャーパターンを既に格納された工程フィーチャーパターンと比較し、工程を分類する段階；前記客体に対する前記フィーチャーと工程の進行状態を判断し、異常を検出する段階；及び前記工程の進行状態に対するデータを格納する段階；を含む。

【0020】

前記フィーチャーを検出する段階は、前記リアルタイム映像のフレーム間の客体探知結果をトラッキング（Ｔｒａｃｋｉｎｇ）を通じてマッピングし、前記移動客体を追跡及び探知する段階；前記リアルタイム映像をフレーム単位で分析することによって第１時間のフレームと第２時間のフレームとの差を獲得し、各フレームに含まれた前記客体の変化を検出し、膨張及び増殖演算を通じて後処理する段階；後処理されたフレームに対して外郭線検出及びグルーピング（Ｇｒｏｕｐｉｎｇ）を行う段階；グルーピングを通じて生成された各ボックス（Ｂｏｘ）に対して重複したボックスを削除又は統合し、ボックスを拡張する段階；及び前記ボックスの各イメージの形状をＡＩイメージ分類神経網を用いて判断し、前記移動客体に対するフィーチャーを抽出する段階；をさらに含む。

【0021】

前記工程を分類する段階は、前記リアルタイム映像のタイムスタンプｔでのフレームからフィーチャーを検出した前記移動客体、前記状態客体、及びベクター客体に対するそれぞれのフィーチャーセットを設定する段階；既に設定された工程フィーチャーセットと、リアルタイムで獲得されるフィーチャーセットとを比較することによって損失関数を演算する段階；及び複数のフレームに対する各フレームのフィーチャーセットの比較によって得られた損失関数と、前記複数のフレームに対するタイムスタンプの数による時系列損失関数を演算する段階；をさらに含む。

【0022】

前記工程を分類する段階は、工程の開始と終了時点に対するデータに基づいて、前記工程フィーチャーパターンに対する開始検査区間と終了検査区間を設定する段階；前記リアルタイム映像の分岐別の前記リアルタイムフィーチャーパターンと損失検査を行う段階；及び前記開始検査区間又は前記終了検査区間に対する各フィーチャーセットと、前記リアルタイムフィーチャーパターンのフィーチャーセットとの間で演算される損失値が第２しきい値より小さい場合、工程が開始又は終了すると判断する段階；をさらに含む。

【0023】

前記異常を検出する段階は、複数の客体に対応して抽出された複数のフィーチャーを既に格納されたデータと比較することによって各損失値を算出し、前記複数の客体に対する損失値の大きさと時間による変化、及び前記損失値が一定値以上の状態に維持される時間によっていずれか一つの客体に対する異常を検出する段階；及び複数の客体のうちいずれか一つに異常があると判断された場合にも、前記リアルタイムフィーチャーパターンと前記工程フィーチャーパターンとの類似度が一定値以下である場合は、異常判断から除外する段階；をさらに含む。

【発明の効果】

【0024】

一側面によると、本発明に係るディープラーニングベースのリアルタイム工程監視システム及びその方法は、リアルタイム映像を分析することによって客体を検出し、検出される客体の時系列的変化のパターンを抽出し、類似度分析を通じて実際に進行される工程を分類し、工程の異常を検出し、工程の変化推移を確認することができる。

【0025】

本発明は、工程の進行を制御する装備と通信しない場合にも、カメラを通じて獲得される映像に基づいて工程を分類し、異常を検出することができる。

【0026】

本発明は、工程別の客体の状態を分析し、客体の異常を容易に検出することができる。

【0027】

本発明は、少ないリソースを用いてリアルタイムで映像を処理することによって工程を監視することができ、監視及び異常感知による性能を向上させるという効果を有する。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの構成を簡略に示した図である。

【図2】図１の工程監視装置の構成を簡略に示した図である。

【図3】本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの動作方法を示したフローチャートである。

【図4】本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの客体検出を説明するための参照図である。

【図5】本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの工程分類過程を説明するための参照図である。

【図6】図５の工程分類過程でのフィーチャーセットの損失関数を説明するための参照図である。

【図7】図５の工程分類過程でフレーム単位で映像を処理する方法を説明するための参照図である。

【図8】図５の工程分類過程でパターンをマッチングする方法を説明するための参照図である。

【図9】本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの工程の開始と終了を判断する方法を説明するための参照図である。

【図10】本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの時間による客体別の損失値の変化を示したグラフである。

【発明を実施するための形態】

【0029】

以下、添付の各図面を参照して本発明を説明する。

【0030】

この過程で図面に示した各線の厚さや構成要素の大きさなどは、説明の明瞭性と便宜上、誇張して図示する場合がある。また、後述する各用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザー及び運用者の意図又は慣例によって変わり得る。そのため、これらの用語は、本明細書全般にわたった内容に基づいて定義すべきであろう。

【0031】

図１は、本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの構成を簡略に示した図である。

【0032】

図１に示したように、本発明の工程監視システム１００は、監視装置３０、学習装置２０、及びデータベース（ＤＢ）４０を含む。

【0033】

工程監視システム１００は、工程設備などに設置される複数のカメラ５０を通じて製造又は生産工程の進行状況を撮影し、これを監視装置３０又は学習装置２０に伝送する。

【0034】

工程監視システム１００は、製造又は生産工程を制御する工程制御装置（図示せず）と連結されない場合にも、映像を通じて工程の進行過程を確認することができ、撮影した映像を分析することによって工程の進行状態をモニタリングし、客体の異常又は工程進行による異常を検出する。

【0035】

学習装置２０、監視装置３０及びデータベース（ＤＢ）４０は、相互通信しながら工程に対するデータを共有し、データをデータベース（ＤＢ）４０に格納して管理する。

【0036】

工程監視システム１００は、学習装置２０、監視装置３０及びデータベース（ＤＢ）４０が一つの装置として統合されてもよく、又は一つの装置が複数に分離されてもよい。

【0037】

学習装置２０は、工程の進行中に検出する客体を事前登録し、装備の工程映像を通じて客体を認識できるように客体の検出のための学習データを生成し、ディープラーニングベースで学習を行い、学習結果である学習モデルをデータベース（ＤＢ）４０に格納する。

【0038】

学習装置２０は、工程中に客体の位置と工程別の客体の状態に対する情報を登録し、複数の映像を通じてこれを学習する。また、学習装置２０は、工程に対する映像に基づいて、工程別に客体に対するパターンを抽出し、これをデータベース（ＤＢ）４０に格納する。

【0039】

客体は、工程中に認識する対象として、例えば、ノズル、バルブ、ゲートなどであって、生産又は製造される対象によって変更され得る。

【0040】

学習装置２０は、フィーチャーを抽出する対象である客体を移動客体、状態客体、及びベクター客体に区分して登録する。

【0041】

移動客体は、ノズル、ロボットアームのように動く客体で、状態客体は、ゲート、信号灯、バルブのように状態が変わる客体で、ベクター客体は、液体流、レーザー、客体の枠などである。

【0042】

学習装置２０は、工程を構成する多くの客体を上記のように３つの種類に区分し、各客体を区分するための識別ＩＤ、基本位置（識別位置）などの各基本情報を登録する。

【0043】

学習装置２０は、移動客体に対して客体の位置と大きさを入力し、状態客体に対して最初のフレームの客体の位置と大きさを入力し、客体による状態の種類を入力する。また、学習装置２０は、ベクター客体に対して、開始点と終了点に対する情報を入力する。

【0044】

学習装置２０は、学習のために装備が試験稼働されると、試験稼働中に獲得される映像を記録し、映像から登録された客体に対してデータ生成とモデル学習を進行する。

【0045】

学習装置２０は、工程に対する映像から、時間によって変化する客体の動作に基づいて工程別に工程フィーチャーパターンを検出して登録する。

【0046】

学習装置２０は、一つの装備で行われる複数の工程に対するパターンを登録することができ、また、複数の装備で連携して動作する工程の段階に対するパターンを登録することができる。

【0047】

学習装置２０は、移動客体、状態客体、及びベクター客体に対してそれぞれ異なる人工知能学習モデルを適用することができる。

【0048】

監視装置３０は、学習装置２０を通じてデータベース（ＤＢ）４０に格納されたデータに基づいて、工程の進行中に撮影される映像から客体に対するフィーチャーを検出することによって工程を分類し、工程が正常に進行されるかどうかを判断する。

【0049】

監視装置３０は、工程に対するパターンを抽出し、これを既に登録されたパターンと比較し、工程フィーチャーパターンと、リアルタイムで感知されるリアルタイムフィーチャーパターンとの類似度を分析することによって現在進行中の工程がどの工程であるのかを確認し、工程を分類し、工程の進行状態を判断する。

【0050】

監視装置３０は、類似度の分析結果によって最も高い類似度でマッチングされる工程として現在進行中の工程を分類する。

【0051】

監視装置３０は、抽出された情報と既に登録されたデータとを比較し、客体の異常を検出する。

【0052】

監視装置３０は、客体に対するフィーチャーを抽出し、これを既に登録されたデータと比較することによって客体の状態を判断し、リアルタイムフィーチャーパターンと客体の形状、大きさ、位置、客体の状態などに基づいて異常を検出する。

【0053】

監視装置３０は、類似度と損失の程度を比較し、損失値に対応して異常を検出する。

【0054】

また、監視装置３０は、工程中に検出された客体に対する、フィーチャー情報と類似度の分析結果に基づいて工程や客体に対する変化推移を記録し、異常発生の有無に対するデータを生成し、これをデータベース（ＤＢ）４０に格納する。

【0055】

学習装置２０及び監視装置３０は、少なくとも一つのプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含み、データを格納するメモリ又は格納手段を備える。

【0056】

データベース（ＤＢ）４０は、学習装置２０によって登録される客体に対する情報を客体の種類によって移動客体データ、状態客体データ、及びベクター客体データに区分して格納し、それぞれの学習モデルを格納する。

【0057】

データベース（ＤＢ）４０は、各工程の進行過程に対する工程フィーチャーパターンを格納する。

【0058】

データベース（ＤＢ）４０は、工程の開始から終了までのデータ、工程又は客体に対する異常検出データ、及び工程の変化に対する分析データを格納する。

【0059】

また、データベース（ＤＢ）４０は、大容量格納手段を含み、大容量格納手段に格納されるデータに対するインデックスを生成し、データを管理するためのプロセッサと、学習装置２０及び監視装置３０とデータを送受信するための通信手段とを備える。

【0060】

工程監視システム１００は、監視装置３０の工程監視結果に対するレポートを生成し、これを外部のサーバー（図示せず）又は登録された端末（図示せず）に伝送することができる。また、工程監視システム１００は、異常の検出時に警告を出力し、異常検出によるアラームを端末に伝送することができる。

【0061】

図２は、図１の工程監視装置の構成を簡略に示した図である。

【0062】

図２に示したように、監視装置３０は、映像獲得部１７０、映像処理部１２０、客体検出部１３０、工程分類部１４０、異常検出部１５０、記録管理部１６０、データ部１８３、通信部１８２、入出力部１８１、及び動作の全般を制御する制御部１１０を含む。

【0063】

映像獲得部１７０は、複数のカメラ１７１、１７２を含む。

【0064】

映像獲得部１７０は、第１カメラ１７１及び第２カメラ１７２を含み、カメラの数は、図面に示されたものに限定されなく、カメラが設置される装備の数によって増加し得る。映像獲得部１７０の複数のカメラは、装備又は工程単位でそれぞれ設置されてもよく、指定位置に固定されて設置される。

【0065】

第１カメラ１７１は、ＲＧＢ映像を撮影するカメラであって、場合によって、第２カメラ１７２としては、熱画像カメラ又は赤外線カメラが使用されてもよい。

【0066】

映像処理部１２０は、映像獲得部１７０から入力される映像を一定のフォーマットに変換する。映像処理部１２０は、映像に含まれたノイズを除去し、映像を前処理する。映像処理部１２０は、映像をフレーム単位に分離して処理する。

【0067】

客体検出部１３０は、フレーム単位で映像に含まれた客体のフィーチャーを検出する。客体検出部１３０は、データベース（ＤＢ）４０に格納された学習モデルと客体情報に基づいて移動客体、状態客体、及びベクター客体に対して客体のフィーチャーを抽出し、これを客体別に区分する。

【0068】

工程分類部１４０は、客体検出部１３０によって抽出された客体のフィーチャーに基づいて、複数のフレームでのフィーチャーの変化に対するパターンを抽出する。

【0069】

工程分類部１４０は、既に登録されたパターンと抽出されたパターンとを比較することによって類似度を算出し、これに基づいて現在進行中の工程がどの工程であるのかを判断することによって工程を分類する。また、工程分類部１４０は、工程の開始と終了を区分する。

【0070】

異常検出部１５０は、パターンの類似度に基づいて判断された工程の段階が正常に行われるかどうかを判断し、工程の異常を検出する。

【0071】

また、異常検出部１５０は、検出された客体のフィーチャーを登録されたデータと比較し、フィーチャーの類似度と損失値によって客体の異常を検出する。

【0072】

異常検出部１５０は、異常の検出時、制御部１１０に異常感知信号を印加する。

【0073】

記録管理部１６０は、工程の開始から終了までの進行過程に対するデータを格納し、異常検出部１５０によって異常を検出するとき、別途に異常検出データを格納する。

【0074】

制御部１１０は、通信部１８２を通じて学習装置２０及びデータベース（ＤＢ）４０とデータを共有する。制御部１１０は、入出力部１８１を介して入力されるデータを登録し、工程の進行状態を入出力部１８１を介して出力する。

【0075】

制御部１１０は、異常検出信号に対応して入出力部１８１を介して警告を出力し、通信部１８２を介して指定された端末又はサーバーに異常検出に対するデータを伝送する。

【0076】

入出力部１８１は、ボタン、スイッチ、タッチパッドなどの入力手段と、ディスプレイ、スピーカー、及びランプのうち少なくとも一つで構成される出力手段とを含む。

【0077】

データ部１８３には、通信部１８２を介して送受信されるデータが格納され、入出力部１８１を介して入力及び出力されるデータが格納される。

【0078】

データ部１８３は、映像獲得部１７０を介して入力される映像データ、検出された客体のフィーチャー、及び工程フィーチャーパターンに対するデータを格納し、異常の検出時に検出された異常、及び異常が発生した工程又は客体に対するデータを格納する。

【0079】

データ部１８３は、データを格納する格納手段であって、フラッシュメモリ、ＨＤＤ、ＳＳＤなどの格納手段を含むことができ、移動式メモリ装置に連結されてもよい。

【0080】

通信部１８２は、複数の通信モジュールを含み、有線又は無線でデータを送受信する。

【0081】

通信部１８２は、制御部１１０の制御命令に対応してデータベース（ＤＢ）４０から受信されるデータをデータ部１８３に格納し、記録管理部によって生成されたデータをデータベース（ＤＢ）４０に伝送する。

【0082】

図３は、本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの動作方法を示したフローチャートである。

【0083】

図３に示したように、工程監視システムは、工程の試験稼働中に学習装置２０を通じて工程の客体を登録して学習し、監視装置３０を通じて実際に運営される工程を映像に基づいて監視し、進行状態と異常を検出する。

【0084】

学習装置２０は、工程で認識する客体を種類によって区分して登録する（Ｓ３１０）。

【0085】

学習装置２０は、認識する客体の種類によってそれぞれ異なる方式で学習モデルを生成して学習する（Ｓ３２０）。

【0086】

学習装置２０は、学習データと学習モデルをデータベース（ＤＢ）４０に格納する。

【0087】

監視装置３０は、工程が開始されると（Ｓ３３０）、複数のカメラ５０、１７０を通じて工程進行に対する映像を撮影する（Ｓ３４０）。

【0088】

監視装置３０は、学習モデルを用いてリアルタイム映像から客体のフィーチャーを検出する（Ｓ３５０）。監視装置３０は、映像に含まれた客体を移動客体、状態客体、及びベクター客体に区分し、フィーチャーを検出する。

【0089】

監視装置３０は、映像をフレーム単位で分析し、フレーム別に抽出されるフィーチャーに対するフィーチャーセットを設定し、リアルタイムフィーチャーパターンを検出する（Ｓ３６０）。

【0090】

監視装置３０は、リアルタイム映像のリアルタイムフィーチャーパターンと既に分類された工程フィーチャーパターンとを比較し、類似度を分析する（Ｓ３７０）。

【0091】

監視装置３０は、リアルタイムフィーチャーパターンと工程フィーチャーパターンをフレーム単位で相互マッチングし、類似度と損失程度によって現在遂行中の工程を判断し、工程を分類する（Ｓ３８０）。

【0092】

監視装置３０は、映像から検出された客体のフィーチャーを既に登録されたデータと比較することによって異常を検出し、また、リアルタイムフィーチャーパターンと工程フィーチャーパターンとを比較し、その差の趨勢によって工程の進行に対する異常を検出する（Ｓ３９０）。

【0093】

監視装置３０は、異常の検出時、異常検出に対するデータを生成して格納し、異常検出に対する警告を出力する（Ｓ４００）。

【0094】

監視装置３０は、工程が正常に終了した場合、工程の変化推移を分析して記録し（Ｓ４１０）、工程に対するデータをデータベース（ＤＢ）４０に格納する（Ｓ４２０）。

【0095】

図４は、本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの客体検出を説明するための参照図である。

【0096】

客体検出部１３０は、映像処理部１２０によって前処理されたデータから客体に対するフィーチャーを検出する。

【0097】

客体検出部１３０は、移動客体、状態客体、及びベクター客体をそれぞれ検出する。客体検出部１３０は、映像を処理し、客体を検出する処理性能及び正確度を改善するために客体によって異なる方式を使用することができる。

【0098】

客体検出部１３０は、検出された移動客体のフィーチャーに対して、その位置と形状の種類を移動客体の移動開始位置と形状の種類が含まれた基本データと比較し、探知された客体がどの移動客体であるのかをマッピングする。

【0099】

また、客体検出部１３０は、映像のフレーム間の客体探知結果をトラッキング（Ｔｒａｃｋｉｎｇ）を通じてマッピングし、移動客体を追跡及び探知する。

【0100】

客体検出部１３０は、検出対象フレームｆｎに対して変化基準時間ｍ以前のフレームｆ（ｎ－ｍ）に対してそれぞれノイズ除去及び正規化過程を行う。

【0101】

客体検出部１３０は、前処理されたｎ時間のフレームｐｒｅ（ｆｎ）とｍ以前のフレームｐｒｅ（ｆ（ｎ－ｍ））の二つのフレームの差を獲得し、その差（ｃ_ｎ）を二進化する。客体検出部１３０は、ｐｒｅ（ｆｎ）からｐｒｅ（ｆ（ｎ－ｍ））を減算した値が設定値より大きい場合は１、その他の場合は０に差（ｃ_ｎ）を二進化する。

【0102】

客体検出部１３０は、フレーム間の差（ｃ_ｎ）に対する膨張及び増殖演算を通じて後処理する。

【0103】

図４の（ａ）に示したように、客体検出部１３０は、後処理されたフレームｐｏｓｔ（ｃ_ｎ）に対して外郭線検出及びグルーピング（Ｇｒｏｕｐｉｎｇ）を行い、グルーピングを通じて生成された各ボックス（Ｂｏｘ）に対して重複したボックスを削除又は統合し、ボックスを拡張する過程を行う。例えば、ＮＭＳ（Ｎｏｎ Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）及びパディング（Ｐａｄｄｉｎｇ）過程を行うことができる。

【0104】

図４の（ｂ）に示したように、客体検出部１３０は、各ボックス（Ｂｏｘ）ｂ０、ｂ１、ｂ２を用いて原本イメージをクロップ（Ｃｒｏｐ）し、各イメージの形状をＡＩイメージ分類神経網を用いて判断した後、結果を導出する。例えば、ノズル、アーム、ディスペンサーなどに対する形状を区分して判断する。

【0105】

客体検出部１３０は、ＡＩイメージ分類（Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）神経網に基づいて生成されたボックスから移動客体に対するフィーチャーを抽出する。

【0106】

ＡＩイメージ分類（Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）神経網は、客体探知（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）神経網より処理性能が速く、イメージ分類正確度も高く、学習データも比較的少なく要求されるので、処理負荷が減少する。

【0107】

また、客体検出部１３０は、ＡＩイメージ分類神経網を用いて状態客体を検出する。

【0108】

客体検出部１３０は、ＡＩ線分感知神経網を用いてベクター客体を検出する。ベクター客体を検出するために、客体検出部１３０は、コンピュータービジョンを用いたノイズ抑制前処理及び二進外郭線検出を通じて線分化する。

【0109】

図５は、本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの工程分類過程を説明するための参照図である。

【0110】

図５に示したように、工程分類部１４０は、映像に基づいて自動的に工程を分類する。

【0111】

工程分類部１４０は、映像の毎フレームごとにフィーチャー検出過程をリアルタイムで行い、検出過程を通じて獲得したリアルタイムフィーチャーパターンと既に分類された工程の工程フィーチャーパターンとを比較し、類似度を分析する。

【0112】

工程分類部１４０は、フィーチャーパターンに対して、分岐（Ｂｒａｎｃｈ）方式でパターンを分析し、マッチング作業を行う。

【0113】

工程分類部１４０は、抽出されたリアルタイムフィーチャーパターンに対する分析の結果、類似度が最も高い工程フィーチャーパターンで工程を分類する。

【0114】

工程分類部１４０は、工程分類過程で、毎フレームごとに分類されていた工程の全てのパターンを対象にして比較し、既に分類された各パターンを予めスライディングさせて並列処理する。

【0115】

それによって、工程分類部１４０は、多くのリソースが要求される工程分類過程で並列処理を通じてリソースを処理することによって性能を改善する。

【0116】

工程分類部１４０は、既に分類された各工程の開始と終了を基準にして工程分類を自動的に行うことができる。

【0117】

図６は、図５の工程分類過程でフィーチャーセットの損失関数を説明するための参照図である。

【0118】

図６に示したように、工程分類部１４０は、客体に対するフィーチャーを抽出し、工程を分類する。

【0119】

例えば、工程分類部１４０は、客体検出部１３０によって工程中に客体を移動したり、客体を加工するロボットアーム、回転体などの移動客体のフィーチャーが抽出されると、フィーチャーセット又はリアルタイムフィーチャーパターンを検出し、類似度によって工程を分類する。

【0120】

工程分類部１４０は、映像から抽出された複数のフィーチャーのうち、移動客体（Ｍｏｖｉｎｇ Ｏｂｊｅｃｔ）に対する各フィーチャーを一つの集合として構成し、移動客体フィーチャーセット（ＭＯ ｓｅｔ）を設定する。

【0121】

また、工程分類部１４０は、映像から抽出された複数のフィーチャーのうち、状態客体（Ｓｔａｔｕｓ Ｏｂｊｅｃｔ）とベクター客体（Ｖｅｃｔｏｒ Ｏｂｊｅｃｔ）に対する各フィーチャーで構成される状態客体フィーチャーセット（ＳＯ ｓｅｔ）とベクター客体フィーチャーセット（ＶＯ ｓｅｔ）をそれぞれ設定する。

【0122】

工程分類部１４０は、細部因子であって、各移動客体（ＭＯ）に対するバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）の座標（Ｃｏｏｒｄｉｎａｔｅ）、幅（Ｗｉｄｔｈ）、及び高さ（Ｈｅｉｇｈｔ）をフィーチャーとして使用する。

【0123】

移動客体（ＭＯ）の状態（Ｓｔａｔｅ）が定義された集合は、次の数式１の通りである。

【0124】

【数1】

【0125】

但し、（ｘ，ｙ）は、ターゲットバウンディングボックスの左側上端の基準座標で、ｗは、ターゲットバウンディングボックスの幅で、ｈは高さである。

【0126】

工程分類部１４０は、状態客体（Ｓｔａｔｕｓ Ｏｂｊｅｃｔ、ＳＯ）に対して状態客体が有し得る状態（Ｓｔａｔｅ）に対して定義し、その個数をｋとし、次の数式２のように状態客体（ＳＯ）を定義する集合を設定することができる。

【0127】

【数2】

【0128】

ｋは、上述したように、一つの状態客体が有し得る値の個数であって、例えば、ゲートの場合、ｋは、「開放」、「閉鎖」、「未知」などの３として定義することができる。

【0129】

また、工程分類部１４０は、ベクター客体（Ｖｅｃｔｏｒ Ｏｂｊｅｃｔ、ＶＯ）に対して、水流、レーザーなどの方向を有する線形の客体として定義することができる。

【0130】

工程分類部１４０は、客体が保有し得る点の係数（Ｃｏｅｆｆｉｃｉｅｎｔ）をＶとし、開始点と到着点を含むＶ＋２個の均等な中間点を定め、これをフィーチャーとして使用する。

【0131】

その結果、ベクター客体（ＶＯ）の状態（Ｓｔａｔｅ）が定義された集合は、次の数式３の通りである。

【0132】

【数3】

【0133】

このように定義された移動客体の集合、状態客体の集合、及びベクター客体の集合を損失関数に用いて客体間の差を算出することができる。

【0134】

工程分類部１４０は、第１客体と第２客体を損失関数を用いて比較することができ、また、第１客体の第１データと第１客体の第２データを損失関数を用いて比較することができる。

【0135】

工程分類部１４０は、上述した移動客体の状態（ＭＯＳｔａｔｅ）に対して、損失関数を次の数式４のように定義することができる。

【0136】

【数4】

【0137】

但し、ε_{ｃｏｏｒｄ}とε_{ｓｈａｐｅ}は、各フィーチャーに対するペナルティを付与する定数で、Ｂは、移動客体の数で、ハット（ｈａｔ、^）が表示された属性は、既に分類され、データベース（ＤＢ）に格納されたデータを示す。

【0138】

上記の数式４において、ｗ、ｈの場合、同一の客体であるにもかかわらず、観察される角度によって客体のバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）が変わり得るので、位置に対するペナルティより少ないペナルティを課すために平方根を適用する。

【0139】

状態客体の状態（ＳＯＳｔａｔｅ）の場合、損失関数を次の数式５のように定義することができる。

【0140】

【数5】

【0141】

但し、Ｓは、状態客体（ＳＯ）の数である。

【0142】

ベクター客体の状態（ＶＯＳｔａｔｅ）の場合、損失関数を次の数式６のように定義することができる。

【0143】

【数6】

【0144】

ベクター客体の各点のうち開始点と到着点に対する正確度を強調するために、開始点と到着点に対するペナルティを他の点の２倍に設定する。

【0145】

工程分類部１４０は、工程の進行中に、映像獲得部１７０を通じてリアルタイムで獲得される映像をモニタリングする過程で、リアルタイムモニタリング状況に対する損失関数を定義する。

【0146】

例えば、工程分類部１４０は、タイムスタンプｔでデータベースに格納された第１移動客体に対する第１移動客体フィーチャーセット（ＭＯ ｓｅｔ）８１ａと、リアルタイムで抽出された第１移動客体に対する第２移動客体フィーチャーセット（ＭＯ ｓｅｔ）９１ａとを損失関数を用いて比較し、比較の結果を工程分類の基準として用いる。

【0147】

このとき、異常検出部１５０は、損失関数の結果値を通じて移動客体に対する差を算出し、工程の異常を検出する。

【0148】

データベース（ＤＢ）４０は、各工程別のタイムスタンプｔでのフレームからフィーチャーを検出した移動客体フィーチャー、状態客体フィーチャー、及びベクター客体フィーチャーを格納している。

【0149】

データベース（ＤＢ）４０は、このような各移動客体フィーチャーの集合として設定された移動客体フィーチャーセット、各状態客体フィーチャーの集合として設定された状態客体フィーチャーセット、及び各ベクター客体フィーチャーの集合として設定されたベクター客体フィーチャーセットを格納する。

【0150】

また、データベース（ＤＢ）４０は、タイムスタンプ別に移動客体フィーチャーセット、状態客体フィーチャーセット、及びベクター客体フィーチャーセットを含む工程フィーチャーセットを格納する。

【0151】

工程分類部１４０は、リアルタイムモニタリングでタイムスタンプｔでのフレームからフィーチャーを検出する場合、客体別に移動客体フィーチャー、状態客体フィーチャー、及びベクター客体フィーチャーを獲得し、各フィーチャーの集合として移動客体フィーチャーセット、状態客体フィーチャーセット、及びベクター客体フィーチャーセットをそれぞれ設定する。

【0152】

また、工程分類部１４０は、タイムスタンプ別にリアルタイムで設定される移動客体フィーチャーセット、状態客体フィーチャーセット、及びベクター客体フィーチャーセットを含み、リアルタイムフィーチャーセットを設定する。

【0153】

工程分類部１４０は、タイムスタンプｔでのＭＯ ｓｅｔ ８１ａ、ＳＯ ｓｅｔ、及びＶＯ ｓｅｔを含む第１工程フィーチャーセット８１と、タイムスタンプｔでのＭＯ ｓｅｔ ９１ａ、ＳＯ ｓｅｔ、及びＶＯ ｓｅｔを含む第１リアルタイムフィーチャーセット９１との間の損失値を算出する。

【0154】

工程分類部１４０は、タイムスタンプｔでのＭＯ ｓｅｔ ８１ａ、ＳＯ ｓｅｔ、及びＶＯ ｓｅｔを含む第１工程フィーチャーセット８１と、タイムスタンプｔでのＭＯ ｓｅｔ ９１ａ、ＳＯ ｓｅｔ、及びＶＯ ｓｅｔを含む第１リアルタイムフィーチャーセット９１との間の損失値を算出する。

【0155】

また、工程分類部１４０は、タイムスタンプｔ＋１での第２工程フィーチャーセット８２と第２リアルタイムフィーチャーセット９２との間の損失値を算出し、タイムスタンプｔ＋２での第３工程フィーチャーセット８３と第３リアルタイムフィーチャーセット９３との間の損失値を算出する。タイムスタンプｔでの工程フィーチャーセットと、リアルタイムフレームから抽出されたリアルタイムフィーチャーセットとの間の損失値は、次の数式７のように定義することができる。

【0156】

【数7】

【0157】

但し、ε_ＭＯ、ε_ＳＯ、ε_ＶＯは、移動客体（ＭＯ）、状態個体（ＳＯ）、及びベクター客体（ＶＯ）の影響を均等化するのに使用される係数である。

【0158】

工程分類部１４０は、リアルタイムモニタリング時、ｔフレームから抽出されたリアルタイムフィーチャーセット８１と工程フィーチャーセット９１との間の損失関数ＬＯＳＳ_{ｆｒａｍｅ}（ｔ）を計算し、これを、ｔフレームがｔ時点での特定工程のフレームと類似するかどうかに対する尺度として活用することができる。

【0159】

また、工程分類部１４０は、タイムスタンプｓからｅまでの（ｅ－ｓ）個のタイムスタンプに対して、各リアルタイムフレームの各リアルタイムフィーチャーセット９０と、データベース（ＤＢ）４０に格納されている各工程フィーチャーセット８０との間の損失値を演算し、これらを全て合算した後、タイムスタンプの数で割る過程を、次の数式８のように時系列損失関数として定義することができる。

【0160】

【数8】

【0161】

工程分類部１４０は、時系列損失関数を用いたリアルタイムモニタリング時、特定の範囲（ｓ～ｅ）がどの工程及び範囲と最も類似するのかを判断することができる。

【0162】

工程分類部１４０は、タイムスタンプｓからｅまでの（ｅ－ｓ）個のタイムスタンプに対して、各リアルタイムフレームの各リアルタイムフィーチャーセット９０からリアルタイムフィーチャーパターンを設定し、これを、データベース（ＤＢ）４０に格納されている各工程フィーチャーセット８０で構成される工程フィーチャーパターンと比較する。

【0163】

図７は、図５の工程分類過程でフレーム単位で映像を処理する方法を説明するための参照図である。

【0164】

図７に示したように、工程分類部１４０は、工程フィーチャーパターンＰｎを、リアルタイム映像フレームから抽出されたリアルタイムフィーチャーパターンと比較するパターンマッチングに使用する。

【0165】

工程分類部１４０は、既存に分類されていた各工程フィーチャーパターンＰｎと、リアルタイム映像内から抽出された各リアルタイムフィーチャーパターンとの間のパターンマッチング作業を進行する。このとき、リアルタイム映像の各フレームＦｎ別に新しい分岐Ｂｎが開始され、該当の開始フレーム以降に入ってくる各フレームＦｎ、Ｆｎ＋１、…、Ｆｎ＋ｍは、一つの分岐を構成する。

【0166】

工程分類部１４０は、上記のような方法で構成される各分岐Ｂｎを、既存に分類された各工程フィーチャーパターンＰｎのそれぞれと比較し、損失値の算出によって類似度を演算し、工程を分類する。

【0167】

図８は、図５の工程分類過程でパターンをマッチングする方法を説明するための参照図である。

【0168】

図８に示したように、工程分類部１４０は、上述したフレーム別の各分岐のリアルタイムフィーチャーパターンを各工程フィーチャーパターンと比較し、マッチング作業を行う。

【0169】

工程分類部１４０は、各分岐のフレーム別のリアルタイムフィーチャーセットと、タイムスタンプを基準にして該当する工程フィーチャーパターンの工程フィーチャーセットとの間の損失値の計算を通じて類似度の比較を行い、損失値は、ＬＯＳＳ_{ｆｒａｍｅ}（ｔ，ｐ，ｂ）で算出することができる。

【0170】

ＬＯＳＳ_{ｆｒａｍｅ}（ｔ）結果値は、工程（ｐ）に対する分岐（Ｂｒａｎｃｈ）ｂの各フィーチャーセットと、上述した数式７のフィーチャーセットとの間の損失関数の定義として決定される。

【0171】

工程分類部１４０は、分岐別の時系列損失関数を次の数式９によって算出することができる。

【0172】

【数9】

【0173】

数式９のＬＯＳＳ_ｔｉｍｅ（ｓ，ｅ，ｐ，ｂ）は、分岐ｂの時間ｓから時間ｅまでの範囲に対する分岐別の時系列損失関数である。

【0174】

工程分類部１４０は、損失計算の結果がしきい値（Ｔｈｒｅｓｈｏｌｄ）より小さいと、タイムスタンプ［ｓ，ｅ］区間に該当する工程ｐの工程フィーチャーパターンと、タイムスタンプｔ（ｓ≦ｔ≦ｅ）までの分岐ｂのリアルタイムフィーチャーパターンとが類似すると判断する。

【0175】

図９は、本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの工程の開始と終了を判断する方法を説明するための参照図である。

【0176】

図９に示したように、工程分類部１４０は、工程の開始と終了を判断する。

【0177】

工程分類部１４０は、工程フィーチャーパターンで開始検査区間（ＳＲ）と終了検査区間（ＥＲ）を選択し、リアルタイム映像の分岐別のリアルタイムフィーチャーパターンと損失検査を進行する。

【0178】

工程分類部１４０は、工程開始及び終了検査時、工程Ｐ１の開始検査区間又は終了検査区間に該当する各フィーチャーセット（ＦＴ１－ＦＴ３）（ＦＴ９、ＦＴ１０）と、リアルタイムフレームから検出された各フィーチャーセットとの損失値を演算し、損失値がＴ（しきい値）より小さくなる時点を工程開始又は終了として判断する。

【0179】

開始検査と終了検査に用いられる［ｓ，ｅ］と［ｓ'，ｅ'］は、次の数式１０のように計算する。

【0180】

【数10】

【0181】

ＳＲ（Ｓｔａｒｔ Ｒａｎｇｅ）は、工程開始検査区間で、ＳＲＰ（Ｓｔａｒｔ Ｒａｎｇｅ Ｐｒｏｐｏｒｔｉｏｎ）は、工程時間に対する開始検査区間の比率（ＳＲ＝ｔ（Ｐｎ）＊ＳＲＰ）で、ＥＲ（Ｅｎｄ Ｒａｎｇｅ）は、工程終了検査区間で、ＥＲＰ（Ｅｎｄ Ｒａｎｇｅ Ｐｒｏｐｏｒｔｉｏｎ）は、工程時間に対する終了検査区間の比率（ＥＲ＝ｔ（Ｐｎ）＊ＥＲＰ）で、ｔは、タイムスタンプを求める時間関数で、ｔ（Ｐｎ）は、ｎ番目の分類工程（Ｐｎ）の全体の工程時間である。

【0182】

工程分類部１４０は、該当の分岐の損失値が特定のしきい値（ｔｈｒｅｓｈｏｌｄ）を逸脱すると、データベースに格納された各工程と合わないと見なし、該当の時点の分岐を削除し、リソース及び性能の効率性のためにマッチング作業が追加的に進行されないようにする。

【0183】

また、工程分類部１４０は、正確な工程開始と終了時点を判断するために、損失値の計算時、しきい値（Ｔｈｒｅｓｈｏｌｄ）比較のみならず、損失値が最小になる時点を探す作業を追加的に行う。工程分類部１４０は、しきい値より小さい損失値を有する時点を探したとしても、直ぐ工程の開始と終了と判断するのではなく、その後の損失値が最小になる地域最小値（Ｌｏｃａｌ Ｍｉｎｉｍｕｍ）を探す方法で進めることができる。

【0184】

早い時点に工程開始時点を設定する場合、フレームでの類似度の比較結果の誤差が大きくなるという問題が発生し得るが、工程分類部１４０は、このような過程を通じて工程の開始時点と終了時点を設定することによって、類似度の比較結果の誤差が大きくなるという問題を解消することができる。

【0185】

図１０は、本発明の一実施例に係るディープラーニングベースのリアルタイム工程監視システムの時間による客体別の損失値の変化を示したグラフである。

【0186】

図１０に示したように、異常検出部１５０は、上述した工程分類部１４０の工程分類過程で該当の工程が正常に行われるかどうかを判断する。

【0187】

異常検出部１５０は、工程の分類時、工程フィーチャーパターンとリアルタイムフィーチャーパターンとを比較し、損失関数を通じて算出される損失値に基づいて異常を検出する。

【0188】

また、異常検出部１５０は、客体検出部１３０の客体に対するフィーチャーの検出時、検出された客体のフィーチャーが工程の客体状態に対応するかどうかを損失関数の結果値によって判断し、異常を検出する。

【0189】

異常検出部１５０は、複数の客体に対する損失値に基づいて、特定の客体の異常を判断することができる。

【0190】

異常検出部１５０は、一つの客体の損失値が一定値以上高く表れる場合、損失値が高く表れる時間によって異常を判断する。

【0191】

異常検出部１５０は、客体の損失値が一定値以上高く表れたとき、損失値が高く表れる時間が設定時間以上である場合は、異常であると判断する。異常検出部１５０は、客体の損失値が一定値以上高く表れたときにも、設定時間内に一定値以下に減少すると、異常判断から除外する。

【0192】

異常検出部１５０は、一つの客体の損失値が高く表れた場合にも、他の客体の損失値が類似する値として表れる場合、異常判断から除外する。また、異常検出部１５０は、一つの客体の損失値が大きく表れたときにも、比較する工程フィーチャーパターンとの類似度が一定値以下に低い場合は、異常判断から除外する。

【0193】

例えば、平均損失に対するしきい値が０．４である場合、異常検出部１５０は、第２客体Ｌ２のように、他の客体の平均損失値の変化と異なる形態に変化し、ｔ２からｔ４とｔ５との間の時間までしきい値以上の状態が維持されると、異常であると検出する。

【0194】

このとき、異常検出部１５０は、現在比較する工程との類似度が所定値以下に低い場合は、異常判断から除外する。

【0195】

記録管理部１６０は、検出された異常を視覚的に確認できるようにデータを提供する。

【0196】

記録管理部１６０は、工程分類過程を通じて一つの工程が終了すると、全ての単一の客体から出たフィーチャーの損失値を格納し、全体の工程での変化する推移を分析し、そのデータを視覚化する。

【0197】

記録管理部１６０は、工程の進行過程に対するデータを格納し、客体検出部１３０のフィーチャーパターン、工程分類部１４０の分類工程、及び異常検出部１５０の異常検出データをデータ部１８３に格納し、時間の経過による変化推移を分析し、データを格納する。

【0198】

また、記録管理部１６０は、データベース４０から既に設定されたデータ、既に測定されたデータを呼び出してリアルタイムデータと比較し、工程が完了すると、完了した工程に対するデータがデータベース（ＤＢ）４０に格納されるようにする。

【0199】

制御部１１０は、生成されたデータを入出力部１８１を介して出力することができる。また、制御部１１０は、通信部１８２を介して外部のサーバー又は指定された端末に工程監視による結果データを伝送することができる。

【産業上の利用可能性】

【0200】

したがって、本発明は、リアルタイム映像を通じて工程の進行状態を感知しながら工程の進行が正常であるかどうかを判断し、客体の異常有無を検出することができる。

【0201】

本発明は、図面に示した実施例を参考にして説明したが、これは、例示的なものに過ぎなく、当該技術の属する技術分野で通常の知識を有する者であれば、これから多様な変形及び均等な他の実施例が可能であるという点を理解するだろう。よって、本発明の真の技術的保護範囲は、下記の特許請求の範囲によって定められるべきであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】