特開 2024-83278 マシンラーニングモデルを用いた工程不良リアルタイム検知自動化システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024083278

(43)【公開日】2024-06-20

(54)【発明の名称】マシンラーニングモデルを用いた工程不良リアルタイム検知自動化システム及び方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240613BHJP

   G06Q 10/04 20230101ALI20240613BHJP

   G06T 7/00 20170101ALI20240613BHJP

【ＦＩ】

G06V10/82

G06Q10/04

G06T7/00 610B

G06T7/00 350C

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023205677

(22)【出願日】2023-12-05

(31)【優先権主張番号】10-2022-0171756

(32)【優先日】2022-12-09

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523459516

【氏名又は名称】クレフル インコーポレーテッド

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】ソ、ウン ソク

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA67

5L096FA69

5L096HA11

5L096JA03

(57)【要約】

【課題】作業指示書通りに作業が行われたかを判定できる人工知能ベースの工程不良検知方法及びシステムを提供すること。
【解決手段】対象物に対して行われる工程を撮影して画像データを収集する撮影モジュール；上記画像データで上記対象物を認識して読み取った結果である作業データを生成するマシンラーニングモデル；製品生産に最適化された対象物に対する工程について記録された指示データが入力され、上記作業データと上記指示データとを比較して不良情報を生成する検知モジュールを含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物に対して行われる工程を撮影して画像データを収集する撮影モジュール；
前記画像データで前記対象物を認識して読み取った結果である作業データを生成するマシンラーニングモデル；及び、
製品生産に最適化された対象物に対する工程について記録された指示データが入力され、前記作業データと前記指示データとを比較して正常又は不良の有無を検知し、不良の場合は不良情報を生成する検知モジュールを含む
ことを特徴とする人工知能ベースの工程不良検知システム。

【請求項2】

前記行われる工程が一連の順序を持つ単位工程からなり、
前記マシンラーニングモデルは、
各単位工程が進むにつれ対象物が変更されることを認識して前記工程の進行順序を読み取った順序情報を含む作業データを生成し、
前記検知モジュールは、
前記作業データと前記指示データの順序情報が一致した場合は正常と検知し、異なる場合は順序不良と検知して不良情報を生成することを特徴とする
請求項１に記載の人工知能ベースの工程不良検知システム。

【請求項3】

前記指示データの順序情報は、
単位工程の順序が異なる複数の施行の中から最小時間で施行された単位工程の進行順序である
請求項２に記載の人工知能ベースの工程不良検知システム。

【請求項4】

前記マシンラーニングモデルは、
前記工程が進むにつれ変形される対象物の外形を認識して工程の作業状態を読み取った状態情報を含む作業データを生成し、
前記検知モジュールは、
前記作業データと前記指示データの状態情報を予め設定された誤差基準を用いて類似していると判断した場合は正常と検知し、異なる場合は状態不良と検知して不良情報を生成する
請求項１に記載の人工知能ベースの工程不良検知システム。

【請求項5】

前記状態情報は、対象物の組み立て程度及び組み立て方向の状態に関する情報である
請求項４に記載の人工知能ベースの工程不良検知システム。

【請求項6】

前記マシンラーニングモデルは、
前記対象物の工程が行われる作業の領域を検出して位置情報を含む作業データを生成し、
前記検知モジュールは、
生成された不良情報に該当する位置情報を作業データから検索する
請求項１に記載の人工知能ベースの工程不良検知システム。

【請求項7】

前記検知モジュールは、
前記工程が行われる作業の領域に位置する出力モジュールが出力するように前記不良情報を前記位置情報を用いて伝達する
請求項６に記載の人工知能ベースの工程不良検知システム。

【請求項8】

前記マシンラーニングモデルは、
工程が進むにつれ対象物が変更されることを認識して前記工程の所要時間を読み取った結果である時間情報を含む作業データを生成し、
前記検知モジュールは、
前記作業データと前記指示データの時間情報とが異なる場合は時間不良であると不良情報を生成する
請求項１に記載の人工知能ベースの工程不良検知システム。

【請求項9】

対象物の進行工程を撮影モジュールが撮影して生成した画像データをマシンラーニングモデルに入力させるステップ；
前記マシンラーニングモデルが前記画像データで前記対象物を認識して読み取った結果である進行工程の作業データを生成して前記検知モジュールに伝達するステップ；及び、
前記検知モジュールが対象物に工程を進めて生産される製品の最適化工程が記録された指示データと前記作業データとを比較して正常又は不良の有無を検知するステップを含む
ことを特徴とする人工知能ベースの工程不良検知方法。

【請求項10】

前記行われる工程が一連の順序を持つ単位工程からなり、
前記対象物の工程が行われる作業領域が位置する作業モジュールをさらに含み、
前記マシンラーニングモデルは、
前記作業モジュールの作業領域を検出して前記作業モジュールの位置情報を含む作業データを生成し、
各単位工程が進むにつれ対象物が変更されることを認識して前記工程の順序を読み取った順序情報を含む作業データを生成し、
前記工程が進むにつれ変形される対象物の外形を認識して工程の作業状態を読み取った状態情報を含む作業データを生成し、
前記検知モジュールは、
前記作業データと前記指示データとを比較して前記作業状態、進行順序及び作業領域を含む不良情報を生成する
請求項９に記載の人工知能ベースの工程不良検知方法。

【請求項11】

前記マシンラーニングモデルは、
前記対象物に対して既に収集済みの正常画像データに基づいて前記画像データとの類似度を測定し、予め設定された類似度基準を用いて前記画像データ上の前記単位工程の作業状態を読み取った状態情報を含む作業データを生成し、
前記対象物に対して既に収集済みの正常画像データが存在しない場合、前記対象物と関連付けられた対象物を検索する検索モジュールを含み、
前記検索モジュールが検索した前記対象物と関連付けられた対象物に対して既に収集済みの正常画像データを用いて前記画像データとの類似度を測定し、
前記検知モジュールは、
前記作業データと前記指示データの状態情報を予め設定された誤差基準を用いて類似していると判断した場合は正常と検知し、異なる場合は状態不良と検知して不良情報を生成する
請求項９に記載の人工知能ベースの工程不良検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マシンラーニングモデルを用いた工程不良リアルタイム検知自動化システム及び方法に関する。

【背景技術】

【0002】

１つの製品を製造するためのいくつかの単位工程からなるステップの工程は、機械的、物理的、化学的に材料を処理し、構造や特性、外形を変化させて完成品又は中間製品を生産する。このような工程が複雑化するとともに、設計過程でエンジニアによって提案された作業指示書がかなり多くの項目を含むようになり、実際の現場の検査、製造装置と連動しない誤り、不良が頻繁に起こった。

【0003】

これにより、エンジニアではなく実際の作業者のノウハウを作業指示書に反映させることはさらに難しくなった。例えば、熟練した作業者のノウハウによって作業指示書と異なる工程順序がより効率的であることが判明する場合もあるが、これを直ちに作業指示書に適用するにはコストや責任面で現実的に難しくマニュアル化しない場合が多い。

【0004】

よって、工程効率化を高めて企業の生産性を高めるための様々な試み（特許文献１、特許文献２など）があるが、これらは理論的に回帰モデルを利用する方式などで適合した工程順序を提案しているのみで、これを直ちに作業現場に適用することは難しい限界があった。

【0005】

仮にそのような作業指示書を構築したとしても、作業現場で作業指示書にしたがって不良が最小化された最適化工程が行われたか否かを判断するためには、作業がすべて行われた後にサンプリングして検収したり、作業を中断した後、作業者が一々検査装置から手動で内部データを収集し、作業者の知識に基づいて不良の原因を把握するしかなかった。結局、工程の途中に不良が生じても不良原因の分析は製品が完成した後になってからしかできないため、原因の分析も難しく、不良品の量産を防ぐことができなかった。

【0006】

そのため、作業現場の中断なしにリアルタイムで最適化された作業指示書を導出し、それを遵守させるシステムが必要となった。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】大韓民国登録特許第１０－１４４１２３０号

【特許文献2】大韓民国公開特許公報第１０－２００３－００６８６７６号

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、作業指示書通りに作業が行われたかを判定できる人工知能ベースの工程不良検知方法及びシステムを提供することにある。

【0009】

ただし、本実施形態が成し遂げようとする技術的課題は、上述した技術的課題に限定されるものではなく、他の技術的課題が存在する場合もある。

【課題を解決するための手段】

【0010】

本発明の一実施形態による人工知能ベースの工程不良検知システムは、対象物に対して行われる工程を撮影して画像データを収集する撮影モジュール；上記画像データで上記対象物を認識して読み取った結果である作業データを生成するマシンラーニングモデル；製品生産に最適化された対象物に対する工程について記録された指示データが入力され、上記作業データと上記指示データとを比較して正常又は不良の有無を検知し、不良の場合は不良情報を生成する検知モジュールを含むことができる。

【0011】

上記行われる工程が一連の順序を持つ単位工程からなり、上記マシンラーニングモデルは、各単位工程が進むにつれ対象物が変更されることを認識して上記工程の進行順序を読み取った順序情報を含む作業データを生成し、上記検知モジュールは、上記作業データと上記指示データの順序情報が異なる場合は順序不良であると不良情報を生成できる。

【0012】

上記指示データの順序情報は、単位工程の順序が異なる複数の施行の中から最小時間で施行された単位工程の進行順序であり得る。

【0013】

上記マシンラーニングモデルは、上記工程が進むにつれ変形される対象物の外形を認識して工程の作業状態を読み取った状態情報を含む作業データを生成し、上記検知モジュールは、上記作業データと上記指示データの状態情報を予め設定された誤差基準を用いて類似していると判断した場合は正常と検知し、異なる場合は状態不良と検知して不良情報を生成できる。

【0014】

上記状態情報は、対象物の組み立て程度及び組み立て方向の状態に関するものであり得る。

【0015】

上記マシンラーニングモデルは、上記対象物の工程が行われる作業の領域を検出して位置情報を含む作業データを生成し、上記検知モジュールは、生成された不良情報に該当する位置情報を作業データから検索できる。

【0016】

上記検知モジュールは、上記工程が行われる作業の領域に位置する出力モジュールが出力するように上記不良情報を上記位置情報を用いて伝達できる。

【0017】

上記マシンラーニングモデルは、工程が進むにつれ対象物が変更されることを認識して上記工程の所用時間を読み取った結果である時間情報を含む作業データを生成し、上記検知モジュールは、上記作業データと上記指示データの時間情報とが異なる場合は時間不良であると不良情報を生成できる。

【0018】

本発明の一実施形態による人工知能ベースの工程不良検知方法は、対象物に工程を進めて生産される製品の最適化工程が記録された指示データが検知モジュールに入力されるステップ；対象物の進行工程を撮影モジュールが撮影して生成した画像データをマシンラーニングモデルに入力させるステップ；上記マシンラーニングモデルが上記画像データで上記対象物を認識して読み取った結果である進行工程の作業データを生成して上記検知モジュールに伝達するステップ；及び上記検知モジュールが上記作業データと上記指示データとを比較して正常又は不良の有無を検知するステップを含むことができる。

【0019】

上記行われる工程が一連の順序を持つ単位工程からなり、上記対象物の工程が行われる作業領域が位置する作業モジュールをさらに含み、上記マシンラーニングモデルは、上記作業モジュールの作業領域を検出して上記作業モジュールの位置情報を含む作業データを生成し、各単位工程が進むにつれ対象物が変更されることを認識して上記工程の順序を読み取った順序情報を含む作業データを生成し、上記工程が進むにつれ変形される対象物の外形を認識して工程の作業状態を読み取った状態情報を含む作業データを生成し、上記検知モジュールは、上記作業データと上記指示データとを比較して上記作業状態、進行順序及び作業領域を含む不良情報を生成できる。

【0020】

上記マシンラーニングモデルは、上記対象物に対して既に収集済みの正常画像データに基づいて上記画像データとの類似度を測定し、予め設定された類似度基準を用いて上記画像データ上の上記単位工程の作業状態を読み取った状態情報を含む作業データを生成し、上記対象物に対して既に収集済みの正常画像データが存在しない場合、上記対象物と関連付けられた対象物を検索する検索モジュールを含み、上記検索モジュールが検索した上記対象物と関連付けられた対象物に対して既に収集済みの正常画像データを用いて上記画像データとの類似度を測定し、上記検知モジュールは、上記作業データと上記指示データの状態情報を予め設定された誤差基準を用いて類似していると判断した場合は正常と検知し、異なる場合は状態不良と検知して不良情報を生成できる。

【発明の効果】

【0021】

本発明によれば、次のような効果がある。

【0022】

第一に、自動的に工程の進行をモニタリングして評価することで、互いに依存性のない単位工程の間でも作業者の現場経験によって最適の工程順序を判定できる。

【0023】

第二に、別途シミュレーションなしで工程を自然と進めながら最適の工程順序を守って作業しているかを判定できる。

【0024】

第三に、全体工程の一部である単位工程ごとにデータを収集して不良を検知するため、不良が生じた単位工程を容易に把握することができる。

【0025】

ただし、本発明の効果が上述した効果に限定されるものではなく、言及されていない効果も本明細書及び添付図面から本発明が属する技術分野における通常の知識を有する者には明確に理解され得る。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態による人工知能ベースの工程最適化システムの関係図である。

【図2】本発明の一実施形態による人工知能ベースの工程最適化方法のフローチャートである。

【図3】本発明の一実施形態による人工知能ベースの工程最適化システムが実装される過程を示す図である。

【発明を実施するための形態】

【0027】

本発明の一実施形態による人工知能ベースの工程最適化管理システムは、単位工程の順序が異なる複数の工程シナリオの中から最適の工程シナリオを判定できる工程最適化システムを提供しようとする。

【0028】

具体的には、本発明の一実施形態による人工知能ベースの工程最適化管理システムは、製品を製造するための全体工程が一連の順序で行われる１つ以上の単位工程からなり、上記単位工程が順序を変えて施行されるとき、各単位工程の進行順序を変えて行った複数の施行の中から最適の施行を判定する。

【0029】

最適の施行を導出する過程や最適の施行が導出された後も記録されたデータに基づいて現在進行中の工程がうまく行われているか否かを検知できるようにデータを記録し、プロセッサによって読み取ることで最適の施行とどの程度ズレているかについて検知できる。

【0030】

読み取りモジュール１００は、製品製造のために設けられた対象物に行われる工程に関する画像データを収集し、これを読み取ることができる。

【0031】

ここで、対象物とは、製造工程を通じて製品を作るための材料、部品を意味することができる。

【0032】

すなわち、読み取りモジュール１００は、既存の指示データに合わせて現在進行中の工程の画像データを読み取って作業データを生成できる。

【0033】

読み取りモジュール１００は、撮影モジュール１１０及びマシンラーニングモデル１２０を含むことができる。

【0034】

撮影モジュール１１０は、対象物の進行工程を撮影して画像データを生成できる。撮影モジュール１１０は、工程ラインに複数個設置されるカメラを含むことができ、該当カメラの撮像画像データをマシンラーニングモデル１２０に伝送できる。

【0035】

撮影モジュール１１０が用いるカメラは、赤外線、可視光線、Ｘ線、ガンマ線、電磁波、超音波など様々な電波を介して対象物の進行工程をセンシングできる。画像データは、二次元画像、三次元画像、前処理されたＲＯＩ画像、クロップされた画像などであり得る。

【0036】

マシンラーニングモデル１２０は、画像データで対象物を認識し読み取って進行工程の作業データを生成できる。

【0037】

マシンラーニングモデル１２０は、各単位工程が行われながら対象物が変更されることを認識して工程の進行順序を読み取ることができ、このような進行順序に関する順序情報を含む作業データを生成できる。

【0038】

マシンラーニングモデル１２０は、単位工程が一連で行われる間に単位工程を撮影して生成された画像データを通じて該当単位工程の対象物を認識することができ、これによって単位工程の種類が特定され得る。もし、対象物が完全に変わった場合、単位工程も異なるように特定されるため、先行の単位工程が完了した後、次の単位工程が行われたと読み取ることができる。マシンラーニングモデル１２０は、上記の方法で全ての単位工程が行われるまでの順序を把握して、全体がどの工程の施行であるかの工程施行の種類を特定し、該当工程施行の順序情報を含む作業データを生成できる。

【0039】

同様に、マシンラーニングモデル１２０は、工程が進むにつれ変形される対象物の外形を認識して工程の作業状態を読み取ることができ、このような作業状態に関する状態情報を含む作業データを生成できる。

【0040】

すなわち、マシンラーニングモデル１２０は、対象物が特定されると、該当単位工程の進行前後の画像データを通じて認識された対象物の外形が変形した度合いを通じて単位工程の作業状態を読み取ることができる。外形には、形状だけでなく、色相、表面、内部などを含むことができる。

【0041】

例えば、工程が部品を対象物とする組み立て作業の場合、対象物である第１部品に対する第１単位工程が行われた結果を部品の外形が組み立て作業の結果、変形した度合いを通じて読み取ることができるであろう。マシンラーニングモデル１２０が画像データを通じてオブジェクトを認識した後、第１部品が組み立てられた方向又は組み立て強度である作業状態について数値で測定し、これを記録した状態情報で作業データを生成できるであろう。

【0042】

または、マシンラーニングモデル１２０が、対象物に関する画像データと既に収集済みの正常組み立て画像データとを比較して類似度を測定した数値を記録したものを状態情報として作業データを生成することができるであろう。

【0043】

また、マシンラーニングモデル１２０は、対象物に対して既に収集済みの正常画像データが存在しない場合、対象物と関連付けられた対象物を検索する検索モジュールを用いて、検索モジュールが検索した上記対象物と関連付けられた対象物に対して既に収集済みの正常画像データを用いて画像データとの類似度を測定できる。

【0044】

そして、マシンラーニングモデル１２０は、対象物の工程が行われる作業の領域を検出して位置情報を含む作業データを生成できる。

【0045】

ここで、作業の領域とは、一種の作業ラインのうちの特定の単位工程が行われる場所を意味する場合もあり、工程が行われる設備内の一部の領域を意味する場合もある。

【0046】

無論、マシンラーニングモデル１２０に含まれ得るＧＰＳモジュールで位置を獲得して位置情報を含む作業データを生成できる。

【0047】

これにより、以前生成したものが存在し得る不良情報は位置情報とマッチングされて作業データとして記憶している場合があり、位置情報から該当作業の領域で生じた不良に関する不良情報を検索できるようになる。

【0048】

また、マシンラーニングモデル１２０は、工程が行われながら対象物が変更されることを認識して工程の所要時間を読み取ることができ、所要時間である時間情報を指示データ上の時間情報と比較して最適工程施行の所要時間との誤差を測定できる。以後、検知モジュール２００によって、該当誤差は、該当作業の領域の温度、湿度などの環境因子を除いて、作業者に対する熟練度として評価され得る。

【0049】

一方、読み取りモジュール１００は、センシングモジュールを用いて品質因子又は外部因子に該当するセンシングデータを収集し、予め設定された基準に基づいて対象物の工程について読み取ることができる。

【0050】

センシングモジュールは、マイク、近接センサ、超音波センサ、ジャイロセンサ、振動センサ、温湿度センサ、圧力センサ、衝撃センサ、ガスセンサなど様々な一般的なセンサを介して外部からのセンシングデータを収集できる。

【0051】

そして、品質因子は、対象物に加わる圧力、対象物の移動速度、振動、温度、湿度、対象物の比重、収縮、強度、天気環境、照明環境、装備寿命、装備情報、作業者の熟練度、素材特性、サイクル数などであり得る。

【0052】

読み取りモジュール１００は、一般的な工程最適化のためのセンシングデータを収集し、設定された品質変数のうち収集されたセンシングデータに影響を受ける品質変数間の関係を解明するために回帰分析又はマシンラーニングを利用できる。

【0053】

品質因子と品質変数との間の関数関係が成立している場合、最適化アルゴリズムを用いて品質変数である出力変数が所望の値となる品質因子を入力変数として求めることができ、最適の施行に対する入力変数値の場合はこれを指示データに反映できる。

【0054】

検知モジュール２００は、該作業データを読み取りモジュール１００から伝達されて指示データと比較して工程に対して正常又は不良の有無を判断し、不良の場合は不良情報を生成できる。

【0055】

ここで、不良情報は、不良の類型として進行順序に対する不良、作業状態に対する不良、所要時間に対する不良などがあり得る。

【0056】

検知モジュール２００は、作業データと指示データとを比較して不良の類型のうちのいずれか１つ以上を比較して順序不良、作業状態が不良の場合は状態不良、所要時間が不良の場合は時間不良であると不良情報を生成できる。

【0057】

好ましくは、作業状態については、正常の場合と不良の場合とを区別する作業のための予め設定された誤差範囲や類似度基準があり得る。

【0058】

検知モジュール２００は、作業データ上の状態情報と指示データ上の状態情報の数値とを比較して、予め設定されたレベルの誤差範囲内と判断した場合は正常と検知し、誤差範囲外と判断した場合は状態不良であると不良情報を生成できる。

【0059】

検知モジュール２００は、不良が生じた単位工程に対するセンシングデータを分析し、指示データ上の最適の施行による品質因子と比較して不良の原因となる品質因子の種類を見つけて記録することができ、不良情報とともに記憶しておくことができる。

【0060】

出力モジュール３００は、検知モジュール２００が生成した不良情報を出力できる。

【0061】

出力モジュール３００は、工程が行われる間に不良情報が生成されると、リアルタイムで作業データから検索された位置情報を入力され得る。すなわち、作業データには、不良が生じた該当単位工程の位置情報上の作業領域に不良情報に対するシグナルが出力され得る。

【0062】

ここで、シグナルは視覚的、聴覚的、触覚的な信号などであり得るが、特に限定されない。

【0063】

例えば、出力モジュール３００は、工程の中で不良情報が生成された単位工程の位置情報から特定された作業の領域に設置され、作業者に視覚的に不良が生じたことを知らせるシグナルを出力するディスプレイ、音で警報する音響モジュール、及び作業者に取り付けられ振動を出力する振動モジュールを含むことができる。

【0064】

出力モジュール３００は、必要に応じて入力モジュールを具備することができ、作業者から非定型の不良の発生に関する情報を入力され得る。

【0065】

また、出力モジュール３００は、工程の中で不良情報が生成された単位工程の位置情報から特定された作業の領域の周辺で作業していると予め設定されているか、又はシステムによって感知できる作業者端末を含むことができる。

【0066】

出力モジュール３００は、不良情報と共に不良の原因と推定される品質因子を出力できる。

【0067】

例えば、組み立て工程の場合、２番目の単位工程で部品の組み立て締結強度が弱くなるように行われ、読み取りモジュール１００で組み立て締結強度を測定した数値である状態情報が含まれた作業データが生成されると、検知モジュール２００が作業データと指示データとを比較して作業状態不良と検知し、これに関する不良情報が生成され得る。出力モジュール３００は、該当不良が生じた作業の領域に不良情報を出力することができ、必要な場合は不良の原因と推定される品質因子を共に出力できる。

【0068】

一方、読み取りモジュール１００は、上記指示データを生成できる。

【0069】

一例として、複数の製品に対する工程が複数の単位工程に分けられることができ、該当単位工程を好ましくは順序を変えて複数回工程を施行する間に獲得した作業データを分析し、所要時間が最小である施行の作業データを該当製品の最適化された工程の順序であると判定できる。

【0070】

読み取りモジュール１００は、このような製品ごとの最適の施行に対する指示データをデータベースに格納するように伝達できる。

【0071】

以下、読み取りモジュール１００が指示データを生成する方法について詳細に説明する。

【0072】

読み取りモジュール１００は、判定モジュール１３０をさらに含むことができる。

【0073】

判定モジュール１３０は、施行データに基づいて、上記判定モジュールが単位工程の順序を変えて行った複数の施行の中から判定した最適の施行に対する施行データで指示データを生成できる。

【0074】

単位工程が一連で行われる間に、評価基準にしたがって各単位工程ごとに評価しながら、単位工程の順に累積して評価して施行データを収集できる。

【0075】

ここで、上述した作業データと施行データは、同じ範ちゅうによって生成された情報であり得るが、指示データを生成する方法では、読み取りモジュール１００が生成するデータと区別するために施行データと記載する。

【0076】

例えば、単位工程は、１つの製品を作るための複数のステップの部品組み立て工程のうちの１つを意味することができる。

【0077】

ここで、評価基準は、所要時間や不良率など工程の収率、品質などに影響を与える要因であって、必要に応じて設定され得る。

【0078】

読み取りモジュール１００は、単位工程が一連で行われる間に単位工程から収集された情報を通じて単位工程の種類を特定し、単位工程の進行順序を把握してどの工程施行であるかについて工程施行の種類を特定できる。

【0079】

ここで、工程施行とは、単位工程の順序を変えて試みた一種のシナリオを意味する。同じ単位工程であっても順番が異なることで工程シナリオは異なり、本発明では、単位工程の進行順序が異なる工程施行の中から最適の工程施行を判定するために対象物から情報を収集して単位工程を特定し順序を把握して各工程施行に対する施行データとマッピングできる。

【0080】

例えば、単位工程を進めながら、所要時間は対象物を判定して単位工程を特定した時点から該当単位工程が完了するまでを評価できる。これと同時に又は異なる時点に単位工程の完了状態を把握して不良有無を評価できる。

【0081】

その後、次の単位工程が行われると、同様に所要時間と不良有無を評価できる。これと同時に又は異なる時点に、全体工程の開始から現在までの所要時間及び不良有無を累積して評価して施行データを収集できる。

【0082】

ここで、単位工程の完了状態は、対象物が変更されると該当単位工程が完了したと評価することができ、組み立てられた部品の締結程度、締結方向、離脱などに関するデータに基づいても把握され得る。

【0083】

より適切には、対象物を用いて製造される製品に対する全体工程リスト又は一覧が存在することができ、読み取りモジュール１００は、これを入力されて１つの対象物の単位工程が完了する度に評価して全体工程リストの単位工程を全て評価した場合、全体工程乃至１つの施行が完了したと判断し、収集された施行データを判定モジュール１３０に入力しながら収集を終了できる。

【0084】

また、読み取りモジュールが含む検索モジュールは、様々な種類の全体工程リストが収集されているデータベースで上記マシンラーニングモデルが最初に認識した対象物を含むリストを検索してマシンラーニングモデル１２０に入力させることができる。

【0085】

ここで、マシンラーニングモデル１２０を用いて単位工程から収集した情報に基づいて対象物を判定し、該当単位工程の完了有無、不良有無乃至単位工程の種類を特定できる。

【0086】

この時、マシンラーニングモデル１２０は、搭載されたアプリケーションを介してビジョンフィッティング（ｆｉｔｔｉｎｇ）、エッジ（ｅｄｇｅ）、カラー（ｃｏｌｏｒ）、及び位置（ｌｏｃａｔｉｏｎ）のうちのいずれか１つ以上のオブジェクト検知（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）アルゴリズムを用いて継続的に対象物に関する画像を学習して改善され、単位工程の種類を特定したり、対象物の組み立て、欠落状態を認知して該当単位工程の不良乃至完了の有無を判定できる。

【0087】

具体的には、マシンラーニングモデル１２０は、該当画像データの特徴を自ら分類又は学習するアルゴリズム人工知能技術であるディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）又はマシンラーニング（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を利用して対象物の形状、色相などが表現された画像を学習して改善され、対象物を分類及び検知して単位工程の種類を特定できる。

【0088】

マシンラーニングモデル１２０は、プロセッサによってデータを処理することができ、対象物を検知するにあたり対象物の画像データを前処理して学習データを生成できる。

【0089】

ここで、学習データには、前処理された画像データとともに、対象物に対する組み立て状態、不良状態、単位工程種類情報がラベル付けされている場合がある。

【0090】

ラベル付けされる対象物に関する情報は、作業者のフィードバックによって収集されてもよい。すなわち、対象物の不良ケースが初期に多数見つからない場合、入力インターフェースを用いて対象物の部品情報を入力して該当画像データとラベル付けするか、組み立て完了有無、不良有無などを入力してラベル付けすることができる。

【0091】

ラベル付きデータを使用して分類器モデルを学習させてマシンラーニングモデル１２０に適用できる。

【0092】

そして、単位工程が行われる間にカメラを介して収集された画像データを前処理した後、分類器モデルを用いて対象物及び対象物の不良有無、組み立て完了有無などを検知できる。

【0093】

一方、本発明の一実施形態は、対象物に対する単位工程が不良なく正常に行われたときに収集された正常画像データを予め収集しておくことができる。

【0094】

マシンラーニングモデル１２０は、上記正常画像データに基づいて新しく収集される画像データとの類似度を測定し、予め設定された類似度基準を用いて画像データを正常画像データであると読み取り、新しい正常画像を試行データとして収集できる。

【0095】

必要に応じて収集された正常画像データに対して特徴を抽出して、マシンラーニングモデル１２０に正常画像データのみを学習させることができる。

【0096】

この時、製品が改善されるか、又は新規に発売された場合、製品に用いられる対象物である部品や工程の一部又は全部が既存の製品と異なる場合があり、したがって、対象物について既に収集済みの画像データが存在しない場合がある。

【0097】

読み取りモジュール１００は、改善された新規製品の工程を画像データを収集することなく直ちに判定するためにマシンラーニングモデル１２０が以前のバージョンの製品に対して収集された正常画像データを用いて改善された製品の対象物を撮影した画像データとの類似度を測定して、改善された新規製品工程に対する正常画像データを収集できる。

【0098】

上記の説明に加えて、マシンラーニングモデル１２０は、一般的なディープラーニングビジョン又はマシンビジョン（ＭＶ、ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）を利用し、産業体の工場自動化工程においてウェハ、ディスプレイ製品の表面欠陥検査、ＰＣＢ欠陥検査、ＬＥＤチップパッケージ、その他製品の検査に用いられるハードウェア、ソフトウェア乃至インタフェースを備える場合がある。

【0099】

上記読み取りモジュール１００による試行データの収集過程は、全ての単位工程の進行が完了するまで繰り返すことができる。

【0100】

判定モジュール１３０は、収集された施行データに基づいて複数の工程施行の中から最適の工程施行を判定する。

【0101】

具体的には、読み取りモジュール１００によって特定された工程施行に対する施行データと複数の工程施行の各々の施行データを読み取りモジュール１００で収集すると、これを利用して、判定モジュール１３０は、特定された工程施行が最適の工程施行であるか否かを判定できる。

【0102】

本発明の一実施形態によれば、最適の工程施行のうちのいずれか１つは、総単位工程所要時間の合計が最小の場合であり得る。

【0103】

すなわち、読み取りモジュール１００のマシンラーニングモデル１２０を用いて各単位工程の所要時間及び不良率である評価基準に対して測定された施行データを各単位工程が行われる度に収集することができ、施行データ上、判定モジュール１３０が任意の工程施行上の単位工程の所要時間の合計が最小時間である場合、該当工程施行を最適の工程施行と判定できる。

【0104】

また、上述したマシンラーニングモデル１２０によって工程による作業状態を共に確認して不良率を計算し、これを評価に反映できる。

【0105】

一方、読み取りモジュール１００から収集された施行データを各工程施行とラベル付けして格納して工程施行に対するビッグデータデータベースを構築できる。ビッグデータデータベースは、工程施行の所要時間、不良率などを含む施行データを履歴管理して構築されるものであり得る。

【0106】

上記ビッグデータデータベースには、該当工程施行が行われる間に担当作業者情報が施行データと共にラベル付けされてして格納され得る。

【0107】

その後、判定モジュール１３０は、最適の工程施行に対する施行データで指示データを生成できる。具体的には、既存の作業指示書フォーマットをＭＥＳ（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍ、生産管理）システムから確保し、最適の工程施行を該当フォーマットにマージして、新しい作業指示書で指示データを生成できる。新しい作業指示書は、該当工程が行われる作業テーブルの表示などの出力モジュール３００を介して出力され得る。

【0108】

もし作業者を変えて行った工程施行について施行データに作業者情報を反映して収集した場合、作業者の熟練度の差による工程施行の所要時間や不良率に対する誤差を減らして、最適の工程施行が反映された作業指示書の再現率を高めることができるであろう。

【0109】

換言すれば、施行データに作業者の熟練度などに関する情報が反映されると、熟練した作業者の工程施行の施行データと未熟練の作業者の工程施行の施行データとを区別して判定モジュール１３０が熟練度ごとに最適の工程施行を判定できる。

【0110】

好ましくは、作業者個人ごとに異なるように施行データを区別管理することによって、作業者ごとに最適の工程施行が提案され得るであろう。

【0111】

図３は、本発明の一実施形態による人工知能ベースの工程最適化管理システムが実装される過程を示す。

【0112】

以下、図３を参照して、人工知能ベースの工程最適化システムの一実施形態を説明する。

【0113】

図３には、部品Ａに部品Ｂが組み立てられる工程が行われる間に撮影モジュール１１０で収集された映像データが読み取りモジュール１００のマシンラーニングモデル１２０によって施行データが生成されて収集される過程が示されている。

【0114】

図３に示すように、上述した人工知能ベースの工程最適化管理システムは、マシンラーニングモデル１２０がまずは対象物である部品Ａを検知しながら単位工程種類Ａを特定し、読み取りモジュール１００は、特定された単位工程Ａの対象物が含まれた製品の部品全体のリスト（Ａ、Ｂ、Ｃ、Ｄ）を検索できる。

【0115】

そして、マシンラーニングモデル１２０を介して特定された単位工程Ａに対する完了有無を確認する。

【0116】

読み取りモジュール１００は、特定された単位工程Ａが完了するまでの所要時間と不良有無をリアルタイムで評価して単位工程Ａの施行データを収集できる。

【0117】

次の単位工程Ｂが行われると、これをマシンラーニングモデル１２０を介して対象物が変更されたことを検知して認識できる。すなわち、マシンラーニングモデル１２０は、対象物の変更有無を対象物に新しい部品Ｂが追加されて形状や色相などが変更されたことを画像を介して把握して判定できる。

【0118】

同様に、読み取りモジュール１００は、変更された対象物で特定される単位工程Ｂに対する完了有無、所要時間、不良有無をリアルタイムで評価して施行データを収集できる。

【0119】

また、読み取りモジュール１００は、単位工程Ａから単位工程Ｂの順に行われたことを記録して記憶できる。

【0120】

読み取りモジュール１００は、単位工程Ｂが完了すると、最初から現在までの所要時間、不良有無などをリアルタイムで累積して評価して施行データを収集できる。

【0121】

上記の過程は、一連の単位工程の進行が製品の部品全体（Ａ、Ｂ、Ｃ、Ｄ）が組み立てられて終了するまで行われ得る。

【0122】

ここで、複数の工程施行は単位工程順列であってもよく、部品全体リストがＡ、Ｂ、Ｃ、Ｄであれば、その順にＡ－Ｂ－Ｃ－Ｄ、Ａ－Ｂ－Ｄ－Ｃ、Ａ－Ｃ－Ｂ－Ｄ、Ａ－Ｃ－Ｄ－Ｂ、Ａ－Ｄ－Ｂ－Ｃ、Ａ－Ｄ－Ｃ－Ｂ、Ｂ－Ａ－Ｃ－Ｄ、Ｂ－Ａ－Ｄ－Ｃ、…、 Ｄ－Ｃ－Ｂ－Ａと４！個数の種類の工程施行がある。

【0123】

各工程施行は、上述の過程を通じて評価されて施行データが収集されている場合があり、一種の施行が繰り返し行われると、該当工程施行に対する所要時間又は不良有無は累積して収集されて記憶され得る。

【0124】

無論、すべての工程施行が評価される必要はなく、進行が不可能であるか、又は作業者の選択によっていくつかの種類の工程が評価されない場合がある。

【0125】

判定モジュール１３０は、マシンラーニングモデル１２０によって十分に施行データが蓄積されると、収集した施行データを基に評価された工程施行の中から最適の工程施行を判定できる。

【0126】

例えば、下記表１のように判定モジュール１３０は、Ａ－Ｂ－Ｃ－Ｄ工程施行が３０回行われ、平均所要時間１分２０秒、誤差平均が１０秒、不良率５％で、Ｂ－Ｃ－Ａ－Ｄ工程施行が２５回行われ、平均所要時間１分４０秒、誤差平均が３０秒、不良率７％の場合、予め設定された条件が最小所要時間を優先する場合は、最小所要時間であるＡ－Ｂ－Ｃ－Ｄを最適の工程施行と判定できる。

【0127】

【表1】

【0128】

本発明の一実施形態による人工知能ベースの工程最適化システムは、自動的に工程の進行をモニタリングして評価することで、互いに依存性のない単位工程の間でも作業者の現場経験によって最適の工程順序を判定することができ、別途シミュレーションなしで工程を自然と進めながら最適の工程施行を判定できる。

【0129】

図２は、本発明の一実施形態による人工知能ベースの工程最適化管理方法のフローチャートを示す。

【0130】

本発明の一実施形態による人工知能ベースの工程最適化管理方法は、読み取りモジュールが単位工程の順序を変えて行った複数の施行の中から判定された最適の施行について記録された指示データを入力されるステップ；上記読み取りモジュールが対象物に対して行われる工程に関する画像データを生成し、上記画像データを読み取った結果である作業データを上記指示データに対応するように生成するステップ；検知モジュールが上記作業データを伝達されて上記指示データと比較して上記工程に関する不良情報を生成するステップ；及び出力モジュールが上記不良情報を伝達されて出力するステップを含むことができる。

【0131】

本明細書にわたり、マシンラーニングモデル、ディープラーニングに基づくモデル、演算モデル、ニューラルネットワーク、ネットワーク関数、深層ニューラルネットワーク、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は同じ意味として使用され得る。

【0132】

ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、深層ニューラルネットワーク）は、入力層と出力層の以外にも複数の隠れ層を含むニューラルネットワークを意味することができる。ディープニューラルネットワークを利用すると、データの潜在的な構造（ｌａｔｅｎｔ ｓｔｒｕｃｔｕｒｅｓ）を把握できる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造（例えば、どのような物体が写真にあるか、文章の内容と感情は何であるか、音声の内容と感情は何であるかなど）を把握できる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、リカレントニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、オートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、深層信念ネットワーク（ＤＢＮ：ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑネットワーク、Ｕネットワーク、シャムネットワーク、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などを含むことができる。前述のディープニューラルネットワークの記載は例示に過ぎず、本開示はこれに限定されない。

【0133】

本開示の一実施形態では、ネットワーク関数はオートエンコーダ（ａｕｔｏｅｎｃｏｄｅｒ）を含むこともできる。オートエンコーダは、入力データと類似した出力データを出力するための人工ニューラルネットワークの一種であり得る。オートエンコーダは、少なくとも１つの隠れ層を含むことができ、奇数の隠れ層が入出力層の間に配置され得る。各々のレイヤのノードの数は、入力層のノードの数からボトルネック層（エンコーディング）という中間層に縮小してから、ボトルネック層から出力層（入力層と対称）に縮小とは対称的に拡張されることもできる。オートエンコーダは非線形次元減少を行うこともできる。入力層及び出力層の数は、入力データの前処理後に次元と対応できる。オートエンコーダ構造内のエンコーダに含まれた隠れ層のノードの数は、入力層から離れるほど減少する構造を有することができる。ボトルネック層（エンコーダとデコーダとの間に位置する最も少ないノードを有するレイヤ）のノード数が小さすぎると、十分な量の情報が伝達されない可能性があるため、特定の数以上（例えば、入力層の半分以上など）に維持されることもできる。

【0134】

ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ） 、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、又は強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）のうちの少なくとも１つの方法で学習され得る。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに適用する工程であり得る。

【0135】

ニューラルネットワークは、出力の誤りを最小限に抑える方向に学習され得る。ニューラルネットワークの学習で繰り返し学習データをニューラルネットワークに入力させ、学習データに対するニューラルネットワークの出力とターゲットの誤りを計算し、誤りを減らすための方向にニューラルネットワークのエラーをニューラルネットワークの出力層から入力層の方向にバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、ニューラルネットワークの各ノードの重みをアップデートする過程である。教師あり学習の場合、各々の学習データに正解ラベル付き学習データを使用し（すなわち、ラベル付き学習データ）、教師なし学習の場合は、各々の学習データに正解がラベル付けされていない場合がある。すなわち、例えば、データ分類に関する教師あり学習の場合の学習データは、学習データの各々にカテゴリがラベル付けされたデータであり得る。ラベル付き学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリ）と学習データのラベルとを比較することによって誤り（ｅｒｒｏｒ）が計算され得る。別の例として、データ分類に関する教師なし学習の場合、入力である学習データがニューラルネットワーク出力と比較されることによって誤りが計算され得る。計算された誤りは、ニューラルネットワークで逆方向（すなわち、出力層から入力層への方向）にバックプロパゲーションされ、バックプロパゲーションによってニューラルネットワークの各レイヤの各ノードの接続重みがアップデートされ得る。アップデートされる各ノードの接続重みは、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）によって変化量が決定され得る。入力データに対するニューラルネットワークの計算と誤りのバックプロパゲーションは学習サイクル（ｅｐｏｃｈ）を構成できる。学習率は、ニューラルネットワークの学習サイクルの繰り返し回数によって異なるように適用され得る。例えば、ニューラルネットワークの学習初期には、高い学習率を使用してニューラルネットワークが速やかに所定のレベルの性能を確保するようにして効率性を高め、学習後期には低い学習率を使用して正確さを高めることができる。

【0136】

ニューラルネットワークの学習で、一般に、学習データは、実際のデータ（すなわち、学習されたニューラルネットワークを利用して処理しようとするデータ）のサブセットである場合があり、したがって、学習データの誤りは減少するが、実際のデータに対しては誤りが増加する学習サイクルが存在する場合がある。過適合（ｏｖｅｒｆｉｔｔｉｎｇ）は、このように学習データに過度に学習して実際のデータに対する誤りが増加する現象である。例えば、黄色い猫を見せて猫を学習したニューラルネットワークが、黄色以外の猫を見ても猫であることを認識できない現象が過適合の一種であり得る。過適合は、マシンラーニングアルゴリズムの誤りを増加させる原因として作用し得る。このような過適合を防ぐために様々な最適化方法が使用され得る。過適合を防ぐためには、学習データを増加させるか、レギュライゼーション（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）、学習の過程でネットワークのノードの一部を非活性化するドロップアウト（ｄｒｏｐｏｕｔ）、バッチ正規化レイヤ（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ）の活用などの方法が適用され得る。

【0137】

本開示は、一般にコンピューティング装置によって実装され得るものとして述べられたが、当業者であれば、本開示が１つ以上のコンピュータ上で実行され得るコンピュータ実行可能命令及び／又は他のプログラムモジュールと結合して及び／又はハードウェアとソフトウェアの組み合わせで実装され得ることを理解できるであろう。

【0138】

一般に、プログラムモジュールは、特定のタスクを行うか、又は特定の抽象データ類型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。また、当業者であれば、本開示の方法がシングルプロセッサ又はマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータは無論、パーソナルコンピュータ、ハンドヘルド（ｈａｎｄｈｅｌｄ）コンピューティング装置、マイクロプロセッサベース又はプログラム可能な家電製品など（これらの各々は１つ以上の関連付けられた装置と接続されて動作できる）をはじめとする他のコンピュータシステム構成で実施され得ることを理解できるであろう。

【0139】

本開示の説明された実施形態は、また、任意のタスクが通信ネットワークを介して接続されている遠隔処理装置によって行われる分散コンピューティング環境でも実施され得る。分散コンピューティング環境で、プログラムモジュールはローカル及びリモートメモリ記憶装置の両方に位置することができる。

【0140】

コンピュータは、通常、様々なコンピュータ可読媒体を含む。コンピュータによってアクセス可能な媒体は、どのようなものであってもコンピュータ可読媒体であることができ、かかるコンピュータ可読媒体は、揮発性及び不揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）及び非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）媒体、リムーバブル及び非リムーバブル媒体を含む。限定ではなく例として、コンピュータ可読媒体は、コンピュータ可読記憶媒体及びコンピュータ可読伝送媒体を含むことができる。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶する任意の方法又は技術で実装される揮発性及び不揮発性媒体、一時的及び非一時的媒体、リムーバブル及び非リムーバブル媒体を含む。コンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）又は他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又はコンピュータによってアクセス可能な所望の情報を記憶するために使用され得る任意の他の媒体を含むが、これらに限定されない。

【0141】

ここで提示された様々な実施形態は、方法、装置、又は標準プログラミング及び／又はエンジニアリング技術を使用した製造品（ａｒｔｉｃｌｅ）として具現化され得る。用語「製造品」は、任意のコンピュータ可読記憶装置からアクセス可能なコンピュータプログラム、キャリア、又は媒体（ｍｅｄｉａ）を含む。例えば、コンピュータ可読記憶媒体は、磁気記憶装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップなど）、光学ディスク（例えば、ＣＤ、ＤＶＤなど）、スマートカード、及びフラッシュメモリ装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブなど）を含むが、これらに限定されない。さらに、ここで提示される様々な記憶媒体は、情報を記憶するための１つ以上の装置及び／又は他の機械可読媒体を含む。

【0142】

提示されたプロセスにあるステップの特定の順序又は階層構造は、例示的なアプローチの一例であることを理解するべきである。設計の優先順位に基づいて、本開示の範囲内でプロセスにあるステップの特定の順序又は階層構造が再配列され得る。添付の方法請求項は、サンプルの順序で多様なステップの要素を提供するが、提示された特定の順序又は階層構造に限定されることを意味するものではない。

【0143】

提示された実施形態に対する説明は、任意の本開示の技術分野における通常の知識を有する者が本開示を利用又は実施できるように提供される。これらの実施形態に対する多様な変形は、本開示の技術分野における通常の知識を有する者にとって自明であり、ここで定義された一般的な原理は、本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、ここに提示された実施形態に限定されるものではなく、ここに提示された原理及び新規の特徴と一貫した最も広い範囲で解釈される。

【符号の説明】

【0144】

１００ 読み取りモジュール
１１０ 撮影モジュール
１２０ マシンラーニングモデル
１３０ 判定モジュール
２００ 検知モジュール
３００ 出力モジュール

【図1】

【図2】

【図3】