特表 2024-533483 移動物体の光学検査システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】移動物体の光学検査システム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240905BHJP

   G01N 21/89 20060101ALI20240905BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350B

G01N21/89 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024516363

(86)(22)【出願日】2022-09-09

(85)【翻訳文提出日】2024-05-09

(86)【国際出願番号】 US2022043105

(87)【国際公開番号】W WO2023039189

(87)【国際公開日】2023-03-16

(31)【優先権主張番号】63/243,371

(32)【優先日】2021-09-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/682,756

(32)【優先日】2022-02-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524094387

【氏名又は名称】ボルデ， インク．

【氏名又は名称原語表記】ＢＯＲＤＥ， ＩＮＣ．

(74)【代理人】

【識別番号】100107364

【弁理士】

【氏名又は名称】斉藤 達也

(72)【発明者】

【氏名】ブラゴハイン，サミトラ

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA02

2G051AA04

2G051AB02

2G051CA03

2G051CA04

2G051CA07

2G051EC01

5L096BA03

5L096CA05

5L096DA02

5L096EA03

5L096EA35

5L096FA18

5L096FA69

5L096FA77

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

本開示は、移動物体の光学検査システム及び方法のための技術を提供する。幾つかの実施形態では、光学検査システムは、動いている物体の画像を取得するように構成された第１及び第２の画像キャプチャ装置と、第１及び第２の第１段階ストレージシステムと、第１及び第２の第２段階プロセッサと、第２段階ストレージシステムと、第３段階プロセッサと、第３段階ストレージシステムとを含む。幾つかの実施形態では、光学検査システムは、第１及び第２の画像キャプチャ装置と、第１及び第２の揮発性メモリシステムと、第１及び第２の第２段階プロセッサと、第３の第２段階プロセッサと、第３段階ストレージシステムとを含む。第１及び第２の第２段階プロセッサは、画像キャプチャ装置からの画像を解析するように構成されてよい。第３段階プロセッサ又は第３の第２段階プロセッサは、プロセッサ及び／又はストレージシステムからの情報を処理してレポートを生成するように構成されてよい。

【特許請求の範囲】

【請求項1】

動いている物体の画像を取得するように構成された第１の画像キャプチャ装置と、
前記第１の画像キャプチャ装置と結合されて、前記第１の画像キャプチャ装置からの画像を記憶するように構成された第１の第１段階ストレージシステムと、
前記第１の第１段階ストレージシステムと結合されて、前記第１の画像キャプチャ装置からの前記画像を解析するように構成された第１の第２段階プロセッサと、
動いている前記物体の画像を取得するように構成された第２の画像キャプチャ装置と、
前記第２の画像キャプチャ装置と結合されて、前記第２の画像キャプチャ装置からの画像を記憶するように構成された第２の第１段階ストレージシステムと、
前記第２の第１段階ストレージシステムと結合されて、前記第２の画像キャプチャ装置からの前記画像を解析するように構成された第２の第２段階プロセッサと、
前記第１及び第２の第２段階プロセッサと結合されて、前記第１及び第２の第２段階プロセッサからの画像及び情報を記憶するように構成された第２段階ストレージシステムと、
前記第２段階ストレージシステムと結合されて、前記第１及び第２の第２段階プロセッサ及び前記第２段階ストレージシステムからの情報を処理してレポートを生成するように構成された第３段階プロセッサと、
前記第３段階プロセッサと結合されて、前記第３段階プロセッサからの画像及び情報を記憶するように構成された第３段階ストレージシステムと、
を含む光学検査システム。

【請求項2】

前記第１の画像キャプチャ装置は更に、前記物体の第１の側から画像を取得するように構成されており、前記第２の画像キャプチャ装置は更に、前記物体の第２の側から画像を取得するように構成されている、請求項１に記載の光学検査システム。

【請求項3】

前記第１及び前記第２の第１段階ストレージシステムは、ソリッドステートドライブ（ＳＳＤ）又は他のタイプの低遅延永続メモリである、請求項１に記載の光学検査システム。

【請求項4】

前記第１及び前記第２の第１段階ストレージシステムとそれぞれ結合されている第１及び第２の第１段階プロセッサを更に含み、前記第１及び前記第２の画像キャプチャ装置からの前記画像は、前記第１及び前記第２の第１段階プロセッサにより、サイズ縮小され、圧縮はされない、即ち、非圧縮状態に保たれる、請求項３に記載の光学検査システム。

【請求項5】

前記第１及び前記第２の第２段階プロセッサは、グラフィックス処理ユニット（ＧＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である、請求項１に記載の光学検査システム。

【請求項6】

前記第１及び前記第２の第２段階プロセッサは、前記第１及び第２の画像キャプチャ装置からの前記画像を、人工知能モデルを使用して解析するように構成されている、請求項１に記載の光学検査システム。

【請求項7】

前記第１及び前記第２の第２段階プロセッサは、前記人工知能モデルを使用して前記画像を解析して、前記画像に境界ボックスを追加し、前記画像を所定のクラスに従ってクラス分けする、請求項６に記載の光学検査システム。

【請求項8】

前記人工知能モデルは、フォトグラメトリを使用して生成された合成データを使用してトレーニングされる、請求項６に記載の光学検査システム。

【請求項9】

前記レポート内の情報が手動で修正されて修正済みレポートが生成され、前記修正済みレポートは、能動的学習を用いて前記人工知能モデルを再トレーニングすることに使用される、請求項６に記載の光学検査システム。

【請求項10】

前記第２段階ストレージシステムは、書き込み最適化疑似データベース、又は埋め込み可能キー値ストアデータベースを含む、請求項１に記載の光学検査システム。

【請求項11】

前記第３段階プロセッサは、中央処理ユニット（ＣＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である、請求項１に記載の光学検査システム。

【請求項12】

前記第３段階ストレージシステムは、ＤＲＡＭシステム、ＳＳＤシステム、又は他のタイプの永続メモリシステムを含む、請求項１に記載の光学検査システム。

【請求項13】

前記第３段階ストレージシステムはリレーショナルデータベースを含む、請求項１に記載の光学検査システム。

【請求項14】

動いている物体の画像を取得するように構成された第１の画像キャプチャ装置と、
前記第１の画像キャプチャ装置と結合されて、前記第１の画像キャプチャ装置からの画像を記憶するように構成された第１の揮発性メモリシステムと、
前記第１の揮発性メモリシステムと結合されて、前記第１の画像キャプチャ装置からの前記画像を解析するように構成された第１の第２段階プロセッサと、
動いている前記物体の画像を取得するように構成された第２の画像キャプチャ装置と、
前記第２の画像キャプチャ装置と結合されて、前記第２の画像キャプチャ装置からの画像を記憶するように構成された第２の揮発性メモリシステムと、
前記第２の揮発性メモリシステムと結合されて、前記第２の画像キャプチャ装置からの前記画像を解析するように構成された第２の第２段階プロセッサと、
前記第１及び第２の第２段階プロセッサと結合されて、前記第１及び第２の第２段階プロセッサからの情報を処理するように構成された第３の第２段階プロセッサと、
前記第３の第２段階プロセッサと結合されて、前記第３の第２段階プロセッサからの画像及び情報を記憶するように構成された第３段階ストレージシステムと、
を含み、
前記第３の第２段階プロセッサは、前記第３段階ストレージシステムに記憶されている画像及び情報を使用してレポートを生成するように構成されている、
光学検査システム。

【請求項15】

前記第１の画像キャプチャ装置は更に、前記物体の第１の側から画像を取得するように構成されており、前記第２の画像キャプチャ装置は更に、前記物体の第２の側から画像を取得するように構成されている、請求項１４に記載の光学検査システム。

【請求項16】

前記第１及び前記第２の揮発性メモリシステムとそれぞれ結合されている第１及び第２の第１段階プロセッサを更に含み、前記第１及び前記第２の画像キャプチャ装置からの前記画像は、前記第１及び前記第２の第１段階プロセッサにより、サイズ縮小され、圧縮はされない、請求項１５に記載の光学検査システム。

【請求項17】

前記第１及び前記第２の揮発性メモリシステムはＤＲＡＭシステム又はＳＲＡＭシステムである、請求項１４に記載の光学検査システム。

【請求項18】

前記第１及び前記第２の第２段階プロセッサは、グラフィックス処理ユニット（ＧＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である、請求項１４に記載の光学検査システム。

【請求項19】

前記第１及び前記第２の第２段階プロセッサは、前記第１及び第２の画像キャプチャ装置からの前記画像を、人工知能モデルを使用して解析するように構成されている、請求項１４に記載の光学検査システム。

【請求項20】

前記第１及び前記第２の第２段階プロセッサは、前記人工知能モデルを使用して前記画像を解析して、前記画像に境界ボックスを追加し、前記画像を所定のクラスに従ってクラス分けする、請求項１９に記載の光学検査システム。

【請求項21】

前記人工知能モデルは、フォトグラメトリを使用して生成された合成データを使用してトレーニングされる、請求項１９に記載の光学検査システム。

【請求項22】

前記レポート内の情報が手動で修正されて修正済みレポートが生成され、前記修正済みレポートは、能動的学習を用いて前記人工知能モデルを再トレーニングすることに使用される、請求項１９に記載の光学検査システム。

【請求項23】

前記第３の第２段階プロセッサは、中央処理ユニット（ＣＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である、請求項１４に記載の光学検査システム。

【請求項24】

前記第３段階ストレージシステムは、ＤＲＡＭシステム、ＳＳＤシステム、又は他のタイプの永続メモリシステムを含む、請求項１４に記載の光学検査システム。

【請求項25】

前記第３の第２段階プロセッサと結合されて、前記物体に欠陥があることを前記第３の第２段階プロセッサが示したときに前記物体を排出又は除去するように構成されたイジェクタ又はロボットアームを更に含む、請求項１４に記載の光学検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、あらゆる目的のために参照により本明細書に含まれている、２０２１年９月１３日に出願された米国特許仮出願第６３／２４３，３７１号、件名「移動物体の光学検査システム及び方法（Ｏｐｔｉｃａｌ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ）」、並びに、２０２２年２月２８日に出願された米国特許非仮出願第１７／６８２，７５６号、件名「移動物体の光学検査システム及び方法（Ｏｐｔｉｃａｌ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ）」の利益を主張するものである。

【背景技術】

【0002】

光学検査システムは、１台以上のカメラを使用して物体の画像を取得、処理、及び解析して物体からデータを抽出することにより、数値的情報又は象徴的情報を生成することが可能である。光学検査システムは様々な用途で使用可能であり、そのような用途として、生産（製造）工程をサポートする品質管理（ＱＣ）又は品質保証（ＱＡ）、並びにリサイクルのための物体の検査及び分別が挙げられる。場合によっては、光学検査システムは、取得画像の解析に人工知能、コンピュータビジョン、及び／又は機械学習を使用することが可能である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、上記従来の技術における課題を解決するためになされたものである。

【課題を解決するための手段】

【0004】

本開示は、移動物体の光学検査システム及び方法のための技術を提供する。幾つかの実施形態では、光学検査システムは、動いている物体の画像を取得するように構成された第１の画像キャプチャ装置と、第１の画像キャプチャ装置と結合されて、第１の画像キャプチャ装置からの画像を記憶するように構成された第１の第１段階ストレージシステムと、第１の第１段階ストレージシステムと結合されて、第１の画像キャプチャ装置からの画像を解析するように構成された第１の第２段階プロセッサと、動いているその物体の画像を取得するように構成された第２の画像キャプチャ装置と、第２の画像キャプチャ装置と結合されて、第２の画像キャプチャ装置からの画像を記憶するように構成された第２の第１段階ストレージシステムと、第２の第１段階ストレージシステムと結合されて、第２の画像キャプチャ装置からの画像を解析するように構成された第２の第２段階プロセッサと、第１及び第２の第２段階プロセッサと結合されて、第１及び第２の第２段階プロセッサからの画像及び情報を記憶するように構成された第２段階ストレージシステムと、第２段階ストレージシステムと結合されて、第２段階プロセッサ及び第２段階ストレージシステムからの情報を処理してレポートを生成するように構成された第３段階プロセッサと、第３段階プロセッサと結合されて、第３段階プロセッサからの画像及び情報を記憶するように構成された第３段階ストレージシステムと、を含む。

【0005】

幾つかの実施形態では、光学検査システムは、動いている物体の画像を取得するように構成された第１の画像キャプチャ装置と、第１の画像キャプチャ装置と結合されて、第１の画像キャプチャ装置からの画像を記憶するように構成された第１の揮発性メモリシステムと、第１の揮発性メモリシステムと結合されて、第１の画像キャプチャ装置からの画像を解析するように構成された第１の第２段階プロセッサと、動いているその物体の画像を取得するように構成された第２の画像キャプチャ装置と、第２の画像キャプチャ装置と結合されて、第２の画像キャプチャ装置からの画像を記憶するように構成された第２の揮発性メモリシステムと、第２の揮発性メモリシステムと結合されて、第２の画像キャプチャ装置からの画像を解析するように構成された第２の第２段階プロセッサと、第１及び第２の第２段階プロセッサと結合されて、第１及び第２の第２段階プロセッサからの情報を処理するように構成された第３の第２段階プロセッサと、第３の第２段階プロセッサと結合されて、第３の第２段階プロセッサからの画像及び情報を記憶するように構成された第３段階ストレージシステムと、を含み、第３の第２段階プロセッサは、第３段階ストレージシステムに記憶されている画像及び情報を使用してレポートを生成するように構成されている。

【図面の簡単な説明】

【0006】

【図1】幾つかの実施形態による、光学検査システムの一例を示す。

【図2】幾つかの実施形態による、光学検査システムの一例を示す。

【図3】幾つかの実施形態による、光学検査システムの一例を示す。

【図4】幾つかの実施形態による、光学検査システムの一例を示す。

【図5】幾つかの実施形態による、光学検査システムの一例を示す。

【図6A】幾つかの実施形態による、多数の様々な角度から取得された画像からフォトグラメトリで作成された、物体（この例ではアーモンド）の３Ｄモデルの一例を示す。

【図6B】幾つかの実施形態による、様々な角度からの様々な物体（この例ではアーモンド）の合成画像を示す。

【図7A】幾つかの実施形態による、物体（この例ではアーモンド）の検査、解析、及び／又はグレード付けのためのＡＩモデルのトレーニングの一例を示しており、トレーニングの反復数（又はステップ数）（ｘ軸）に対してＡＩモデルの平均平均適合率（ｍＡＰ）（ｙ軸）をプロットしたチャートを示している。

【図7B】幾つかの実施形態による、光学検査システムで取得された、物体（この例ではアーモンド）の実画像の一例を示す。

【図8A】乃至

【図8B】幾つかの実施形態による、カメラのペアからの画像を処理することの一例を示しており、一方のカメラは、物体の一方の側の画像を取得するように配置されており、ペアの他方のカメラは、物体の他方の側の画像を取得するように配置されている。

【発明を実施するための形態】

【0007】

本明細書では、移動物体、自由落下物体、及び／又は高速移動物体（「高速移動物体」）を検査する光学検査システム及び方法について説明する。

【0008】

「高速移動物体」は、約１ｍ／秒より速く、又は約１ｍ／秒～約１０ｍ／秒、又は約２ｍ／秒～約６ｍ／秒、又は約０．１ｍ／秒～約１０ｍ／秒の速度で移動できる。本明細書に記載の光学検査システムにより、時間間隔当たり多数の物体（例えば、高速移動物体）の検査が可能になる。例えば、本明細書に記載の光学検査システムにより、検査が可能になるのは、約１８ｍｓ～約２０ｍｓより短い時間帯で１個の物体、又は約１８ｍｓ～約２０ｍｓより短い時間帯で約１０個の物体、又は約１８ｍｓ～約２０ｍｓより短い時間帯で最大約１００個の物体、又は約１時間当たり最大約４０，０００ポンドの物体、又は約１時間当たり約２０メートルトンの物体、又は約１秒当たり約５０００個の物体である。本明細書に記載の光学検査システムは様々な用途で適用可能であり、そのような用途として、食品（例えば、ナッツ）、廃棄物及び／又はリサイクル可能物、マイニング及びミネラル、並びに医薬製品及び栄養補助食品の識別及び／又は分別が挙げられ、これらに限定されない。場合によっては、光学検査システムは、例えば、光学検査システムの一構成要素から出力された結果（例えば、クラス、又はグレード）に基づいて物体を異なる場所に物体を送る機構（例えば、イジェクタやロボットアーム）を使用して物体の分別を行うことも可能である。

【0009】

本明細書に記載の光学検査システム及び方法は、（高速移動）物体の画像を取得し、任意選択で画像を前処理し、画像を解析して物体のクラス決定、カテゴリ分け、及び／又はグレード付けを行い、解析から生成された画像及び／又は情報を保存し、任意選択で、解析から生成された情報に基づいてレポートを生成することが可能である。本明細書に記載の光学検査システム及び方法で使用可能な分類（又はクラス、又はカテゴリ、又はグレード）の幾つかの例は、品質（例えば、欠陥のある、欠陥のない）、カテゴリ（例えば、タイプＡ、タイプＢ）、サイズ（例えば、小さい、大きい）、形状（例えば、丸い、四角い）、色（例えば、白い、黒い、均一である、不均一である）、又は他の任意の、物体の視覚的特徴に関連するものである。

【0010】

場合によっては、本明細書に記載の光学検査システム及び方法は、画像の取得にデジタルカメラを使用する。場合によっては、取得画像は、インメモリとソリッドステートドライブ（ＳＳＤ）とによるハイブリッドストレージシステムを使用して記憶され、このストレージシステムは、本発明のシステムが画像の取得及び解析を高速で実施することを可能にする。場合によっては、解析は、人工知能（ＡＩ）（例えば、ＡＩベースの物体検出）を使用して行われる。グレード付けに関して記録すること及び／又はレポートを書くことも、実施された解析及び／又はグレード付けに基づいて、本明細書に記載の光学検査システム及び方法によって行われてよい。解析及び／又はグレード付けは、画像内の各物体の周囲に境界ボックスを追加することと、画像内又は画像セット内の各物体のクラス及び／又はグレードを決定することと、を含んでよい。

【0011】

場合によっては、本明細書に記載の光学検査システム及び方法は、画像（及び任意選択の画像データ）をメモリ（ストレージシステム）に書き込むためにオフロードすることと、処理（例えば、解析及び／又はグレード付け）のためにグラフィックス処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）にオフロードすることと、を含む。そのようなシステムは、リアルタイムの物体解析（例えば、物体のクラス分け及び／又はグレード付けを約１８ｍｓ未満又は約２０ｍｓ未満で行うこと）に遅れないように十分高速であることが可能である。

【0012】

場合によっては、本明細書に記載の光学検査システム及び方法は、高速移動物体の両面の３Ｄグレード付けを含む。

【0013】

場合によっては、本明細書に記載の光学検査システム及び方法は、ＡＩ生成（又は画像キャプチャ、又は解析、又は画像処理）の自動化された開始及び停止を含む。例えば、ＡＩ生成（又は画像キャプチャ、又は解析、又は画像処理）の開始及び／又は停止のトリガが与えられてよい。

【0014】

場合によっては、ＡＩ物体検出は常にオンであり、外部のトリガ又はセンサを使用しない。「ポーリング期間」は、画像をキャプチャすること、及び／又はキャプチャ画像を解析することのインスタンス間の期間である。例えば、（ＡＩ処理を使用する）本システムは、１台以上のカメラから頻繁にキャプチャされる画像の中の（高速移動）物体を（例えば、高速「ポーリング期間」（例えば、約２０ｍｓ）で）検査することが可能である。ある期間（例えば「スローダウンウィンドウ」、例えば約１分）にわたるキャプチャ画像の中で物体が検出されない場合には、「ポーリング期間」を長くしてよい（例えば、２倍又は４倍にしてよい。或いは約２０ｍｓから約４０ｍｓに増やしてよい）。この処理は、所定の最長「ポーリング期間」（例えば、約１０００ｍｓ）に達するまで続いてよく、その後、本システムは、約１０００ｍｓ（１秒）おきにポーリングを続けてよい。「ポーリング期間」に単一の（高速移動）物体が検出された場合、本システムは、（高速移動）物体の画像のキャプチャ及び／又は解析を再開できるように、（例えば、約２０ｍｓの）標準「ポーリング期間」まで自動的に加速してよい。場合によっては、「ポーリング期間」が所定の最長閾値（例えば、約１００ｍｓ、又は約５００ｍｓ、又は約１０００ｍｓ）に達した後にＡＩレポート生成が一時停止されてよく、その後、（高速移動）物体が検出されたら、ＡＩは画像のキャプチャ及び／又は解析を再開してよく、ＡＩレポート生成も再開されてよい。

【0015】

場合によっては、本明細書に記載の光学検査システム及び方法のＡＩ物体検出は又、外部センサからの情報（信号、又はトリガ）を使用して、画像のキャプチャ、画像の解析、及び／又はＡＩレポートの生成をいつ行うかを決定する。例えば、運動センサ及び／又は光電センサを、上述の方法と一緒に相補的に使用してよく、その場合は、センサからの入力、並びにＡＩエンジンからの物体検出を使用して、「ポーリング期間」、画像のキャプチャ及び／又は解析、及び／又はＡＩレポートの生成をいつ行うかが精緻化される。

【0016】

本明細書に記載の光学検査システム及び方法は、（例えば、単一装置内で構成要素が並列接続されている）２台以上（例えば、２～１０台、又は６台）の画像キャプチャ装置、プロセッサ、及び／又はストレージ装置を含む複数の論理検査ラインの形で使用されてよい。複数の検査ラインを有するそのようなシステムでは、各ラインがそれぞれのカメラ、照明、及び／又はマウント用キットでそれぞれにレポート生成及びグレード付けを行ってよく、それらのカメラ、照明、及び／又はマウント用キットは全て、情報（例えば、キャプチャ画像、処理画像、及び／又は画像に関する情報）を論理的にグループ分け及び／又は解析することが可能な単一装置に接続されている。例えば、各論理検査ラインは、それぞれが画像のキャプチャ（取得）及び処理を行ってよく、２つ以上の論理検査ラインがプロセッサ（例えば、ＦＰＧＡ、ＣＰＵ、及び／又はＧＰＵ）及びストレージシステム（例えば、ＤＲＡＭ及び／又はＳＳＤ）を共用してよい。そのようなシステムは、システムの総コストを減らせるという点で有利であることが可能であり、所与の時間間隔当たりでより多くの物体の検査を可能にできる。例えば、物体の複数のラインを、単位時間当たりの物体数がより多い１つのラインに合流させるプロセスでは、複数の検査ライン（例えば、各ラインがそれぞれのカメラ、照明、及び／又はマウント用キットでそれぞれにレポート生成及びグレード付けを行う複数の検査ライン）が（合流前の）物体の複数のラインに対して配置されることで、それらの物体の全てが検査されることを可能にできる。これは、単位時間当たりにより多くの物体がシステムを通過する合流ラインに１つの光学検査システムが設置される場合には不可能なことであろう。

【0017】

本明細書に記載の光学検査システム及び方法は、自由落下する（例えば、排出シュートから落ちる）（高速移動）物体の検査、又は水平コンベヤベルト上の物体の検査を行うように構成されてよい。例えば、カメラは、自由落下中の物体の画像をキャプチャするために（例えば、ほぼ水平方向を向いて）配置されてよく、或いは、コンベヤベルトに載って移動する物体の画像をキャプチャするために（例えば、ほぼ下向きに）配置されてよい。物体の自由落下ライン（又はストリーム）が複数ある場合には、物体の複数の自由落下ラインのそれぞれに対して論理検査ラインがあってよく、各ラインは、上述のようにプロセッサ及び／又はストレージシステムを共用する。同様に、物体が複数のコンベヤベルトに載って移動するライン（又は（又はストリーム）が複数ある場合には、物体のその複数のラインのそれぞれに対して論理検査ラインがあってよく、各ラインは、上述のようにプロセッサ及び／又はストレージシステムを共用する。

【0018】

場合によっては、ＡＩモデルは深層学習モデルを含む。場合によっては、ＡＩモデルは、ＣＯＣＯ（ｃｏｍｍｏｎ ｏｂｊｅｃｔｓ ｉｎ ｃｏｎｔｅｘｔ）データセットに関して事前にトレーニングされた、物体の検出及び追跡のアーキテクチャ及びモデルのファミリのうちの１つ以上を含んでよい。場合によっては、ＡＩモデルは、深層学習物体検出モデル（例えば、高速領域ベースの畳み込みニューラルネットワーク（Ｆａｓｔ Ｒ－ＣＮＮ）又はＦａｓｔｅｒ Ｒ－ＣＮＮ）や回帰ベースの物体検出器（例えば、シングルショット検出器やＹＯＬＯ（一度見るだけで良い（Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）））を含む。

【0019】

図１は、物体（例えば、高速移動物体）の品質検査用の光学検査システムの一例１０００を示しており、これは、第１の画像キャプチャ装置（又は第１の画像キャプチャ装置セット）１０１０ａ及び第２の画像キャプチャ装置（又は第２の画像キャプチャ装置セット）１０１０ｂ、ストレージシステム１０２０、並びにプロセッサ１０３０を含む。物体（例えば、高速移動物体）の画像は、画像キャプチャ装置（のセット）１０１０ａ及び１０１０ｂ（例えば、デジタルカメラ又はＣＣＤカメラ）で取得される。取得画像は、（例えば、ＤＲＡＭ、永続メモリ、及び／又はＳＳＤを含む）ストレージシステム１０２０に送られて保存されるか、プロセッサ１０３０（例えば、グラフィックス処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））に送られて処理される。ストレージシステム１０２０及びプロセッサ１０３０は、画像の解析、画像の保存、画像のグレード付け、グレード付け結果及びグレード付けされた画像の保存、及び／又は解析結果のレポート生成に使用されてよい。

【0020】

例えば、場合によっては、画像キャプチャ装置（のセット）１０１０ａ及び１０１０ｂからの画像は、画像の前処理を実施するために、プロセッサ１０３０（又は別のプロセッサ（図示せず））に送られる。前処理は、画像のトリミング、及び／又は画像のサイズ縮小を含んでよい。場合によっては、前処理後に、前処理画像がストレージシステム１０２０に記憶される。場合によっては、記憶後に、プロセッサ１０３０は、記憶されている前処理画像を更に解析し（及び任意選択で、記憶されている前処理画像に基づいて物体のグレードを決定し）、この更に解析された画像（及び任意選択で、物体のグレード又は品質情報）はストレージシステム１０２０に記憶される。プロセッサ１０３０は、ＡＩを使用して画像を解析する。解析は、画像内の物体の周囲に境界ボックスを追加すること、画像内の物体をクラス分けすること、及び／又は画像内の物体をグレード付けすることを含んでよい。

【0021】

画像キャプチャ装置からは、非圧縮の高解像度データがキャプチャされる場合がある。その場合は、記憶スペース及び処理時間を節約するために、キャプチャ画像のサイズを縮小してよく（これは、例えば、レターボックス等のアプローチを用いること、又は、２４４８×７８４画素の画像を（例えば、ＪＰＥＧフォーマットに）圧縮せずに６４０×２２４画素の画像に縮小することによって行われる）、サイズ縮小画像は永続ストレージシステムに記憶される。このアプローチは、時間のかかる（例えば、ＪＰＥＧへの）画像圧縮を避けること、並びに高価なメモリの必要量を減らすことに役立ちうる。場合によっては、ＡＩエンジンは、完全非圧縮の（例えば、２４４８×７８４画素の）画像を解析してよい。しかしながら、場合によっては、そうすることでＡＩ処理時間が長くなり、システムの処理速度が低下する可能性がある。そこで、場合によっては、システムの性能を高めるために、サイズ縮小画像（例えば、６４０×２２４画素の画像）がストレージシステムから読み出されて、ＡＩ処理エンジンで解析される。場合によっては、サイズ縮小画像がＡＩエンジンで解析されて、対応する境界ボックスを有する、検出された物体のリストが生成された後、後処理段階で画像が圧縮されて記憶される。後処理段階では、画像及び／又はデータが（例えば、メタデータを含む）表形式のレポートフォーマットに変換されてよく、これにより、画像が解析結果（例えば、グレード付けレポート）とともに（例えば、操作者に対して）表示されることが可能になる。

【0022】

別の例では、場合によっては、画像キャプチャ装置（のセット）１０１０ａ及び１０１０ｂからの画像は、プロセッサ１０３０に送られて画像の前処理が実施され、その後、プロセッサ１０３０は、前処理画像を解析し（及び任意選択で、記憶されている前処理画像に基づいて物体のグレードを決定し）、解析された画像（及び任意選択で、物体のグレード又は品質情報）はストレージシステム１０２０に記憶される。

【0023】

場合によっては、ストレージシステム１０２０に記憶されている情報から１つ以上のレポートが生成されてよい。

【0024】

図２及び３は、物体（例えば、高速移動物体）の品質検査のための光学検査システムの例２０００及び３０００を示す。図１のシステム１０００の構成要素の幾つかは、図２及び３のシステム２０００及び３０００の構成要素の幾つかと同一又は同様である。

【0025】

図２は、物体（例えば、高速移動物体）の品質検査のための光学検査システムの例２０００を示しており、これは、第１段階２００１、第２段階２００２、及び第３段階２００３を有する。光学検査システム２０００は、（図１に示したような）第１の画像キャプチャ装置（又は第１の画像キャプチャ装置セット）１０１０ａ及び第２の画像キャプチャ装置（又は第２の画像キャプチャ装置セット）１０１０ｂと、２つの第１段階ストレージシステム（又は装置）２０２２ａ及び２０２２ｂ（例えば、ＤＲＡＭ、永続メモリ、及び／又はＳＳＤ）と、２つの第１段階プロセッサ２０３２ａ及び２０３２ｂ（例えば、ＣＰＵ、ＣＰＵのコア、又はＦＰＧＡ）と、２つの第２段階プロセッサ２０３４ａ及び２０３４ｂ（例えば、ＧＰＵ及び／又はＦＰＧＡ）と、第２段階ストレージシステム２０２４（例えば、ＤＲＡＭ、永続メモリ、ＳＳＤ、及び／又は書き込み最適化疑似データベース）と、第３段階プロセッサ２０３０（例えば、ＣＰＵ又はＦＰＧＡ）と、第３段階ストレージシステム２０２６（例えば、ＤＲＡＭ、永続メモリ、ＳＳＤ、及び／又はリレーショナルデータベース）と、を含む。

【0026】

光学検査システム２０００の第１段階では、並びに、対応する、システム２０００の使用方法の第１段階では、画像が、画像キャプチャ装置１０１０ａ及び１０１０ｂによってキャプチャされ、第１段階ストレージシステム２０２２ａ及び２０２２ｂに記憶される。第１段階２００１では、画像は、第１段階プロセッサ２０３２ａ及び２０３２ｂにより前処理（例えば、トリミング、サイズ縮小）される。第２段階では、第２段階プロセッサ２０３４ａ及び２０３４ｂが前処理画像を解析して、画像に関する情報（例えば、境界ボックスのサイズ及び位置、物体のクラス、及び／又は物体のグレード）を生成する。その後、第２段階プロセッサ２０３４ａ及び２０３４ｂからの画像及び／又は情報は、第２段階ストレージシステム２０２４により保存される。第３の段階２００３では、（解析結果から生成されて）保存された画像及び情報が、第３段階プロセッサ２０３０により更に処理されて、例えば、データが表形式に変換され、（例えば、画像、境界ボックス、及び物体のカテゴリ又はグレードに関する情報を有する）レポートが生成され、且つ／又は、表形式データがデータベースに保存される。そして第３段階プロセッサ２０３０からの情報は、第３段階ストレージシステム２０２４に保存されてよい。場合によっては、画像はグレード付けされてよく（例えば、米国農務省（ＵＳＤＡ）のグレード付けが行われてよく）、且つ／又は、プロセッサ（例えば、第３段階プロセッサ２０３０、又は任意選択の第４段階の第４段階プロセッサ（図示せず））によりレポートが生成されてよい。

【0027】

図２のプロセッサ２０３２ａ～ｂ、２０３４ａ～ｂ、及び／又は２０３０は、別々のＣＰＵ、別々のＦＰＧＡ、又は１つ以上の共用ＣＰＵの別々のコアであってよい。場合によっては、第１段階プロセッサ２０３２ａ及び２０３２ｂは、１つのＣＰＵの各コアであり、そのＣＰＵの他の１つ以上のコアも、システム内の他の１つ以上のプロセッサで使用される。例えば、プロセッサ２０３２ａ、２０３２ｂ、及び２０３０は全て、同じ共用ＣＰＵのコアを含んでよい。場合によっては、プロセッサ２０３０は、第３段階のアクションを実施する幾つかのコアと、第４段階のアクションを実施する他のコアと、を有するＣＰＵである。異なるコア（又はコアのグループ）が異なる段階の専用である、複数のコアを有する１つのＣＰＵ（又は複数のコアを有する２つ以上のＣＰＵ）を使用することにより、異なる段階のアクションが並行して行われることが可能になって、システムの速度（例えば、画像の取得、前処理、解析、記憶、グレード付け、及び／又はレポート生成が行われる速度）を高めることが可能である。例えば、第１のデータセット（又はレポート）が第４段階で処理されている場合、これと並行して、第２のデータセット（又はレポート）が第３段階で処理されることが可能であり、第４段階での第１のデータセットの処理によって、第３段階での第２のデータセットの処理が妨げられることはない。場合によっては、プロセッサ２０３２ａ～ｂ、２０３４ａ～ｂ、及び／又は２０３０はＦＰＧＡであってよい。場合によっては、第４段階プロセッサ（図示せず）がＦＰＧＡであり、これは（やはりＦＰＧＡであってよい）第３段階プロセッサとは別のＦＰＧＡである。

【0028】

図３は、物体（例えば、高速移動物体）の品質検査のための光学検査システムの例３０００を示しており、光学検査システム３０００は、（図１に示したような）第１の画像キャプチャ装置（又は第１の画像キャプチャ装置セット）１０１０ａ及び第２の画像キャプチャ装置（又は第２の画像キャプチャ装置セット）１０１０ｂと、２つの第１段階揮発性メモリシステム（又は装置）３０２２ａ及び３０２２ｂ（例えば、ＤＲＡＭ及び／又はＳＲＡＭ）と、２つの第１段階プロセッサ３０３２ａ及び３０３２ｂ（例えば、ＣＰＵ、ＣＰＵのコア、又はＦＰＧＡ）と、２つの第２段階プロセッサ（例えば、ＧＰＵ及び／又はＦＰＧＡ）３０３４ａ及び３０３４ｂと、追加の第２段階プロセッサ３０３０（例えば、ＣＰＵ又はＦＰＧＡ）と、ストレージシステム３０２４（例えば、ＤＲＡＭ、永続メモリ、ＳＳＤ、及び／又はリージョナルデータベース）と、を含む。

【0029】

システム３０００の第１段階３００１では、並びに、対応する、システム３０００の使用方法の第１段階３００１では、画像が、画像キャプチャ装置１０１０ａ及び１０１０ｂによってキャプチャされ、取得画像は、２つの第１段階揮発性メモリシステム（又は装置）３０２２ａ及び３０２２ｂに記憶される。第１段階３００１では、画像は、第１段階プロセッサ３０３２ａ及び３０３２ｂにより前処理（例えば、トリミング、サイズ縮小）される。第２段階３００２では、画像は、第２段階プロセッサ３０３４ａ及び３０３４ｂにより解析される（例えば、境界ボックスを追加される、並びに物体がクラス分け及び／又はグレード付けされる）。（解析結果から生成された）第２段階プロセッサ３０３４ａ及び３０３４ｂからの処理画像及び情報は、その後、追加の第２段階プロセッサ３０３０により、更に処理される。第３段階では、更に処理された画像（及びその画像に関する情報（例えば、グレード））が、第３段階ストレージシステム２０２４により保存される。場合によっては、画像はグレード付けされてよく（例えば、米国農務省（ＵＳＤＡ）のグレード付けが行われてよく）、且つ／又は、任意選択の第４段階で、プロセッサ（例えば、第２段階プロセッサ３０３０、又は第４段階プロセッサ（図示せず））によりレポートが生成されてよい。

【0030】

図３のプロセッサ３０３２ａ～ｂ、３０３４ａ～ｂ、及び／又は３０３０は、別々のＣＰＵ、別々のＦＰＧＡ、又は１つ以上の共用ＣＰＵの別々のコアであってよい。場合によっては、第１段階プロセッサ３０３２ａ及び３０３２ｂは、１つのＣＰＵの各コアであり、そのＣＰＵの他の１つ以上のコアも、システム内の他の１つ以上のプロセッサで使用される。例えば、プロセッサ３０３２ａ、３０３２ｂ、及び３０３０は全て、同じ共用ＣＰＵのコアを含んでよい。場合によっては、プロセッサ３０３０は、第３段階のアクションを実施する幾つかのコアと、第４段階のアクションを実施する他のコアと、を有するＣＰＵである。異なるコア（又はコアのグループ）が異なる段階の専用である、複数のコアを有する１つのＣＰＵ（又は複数のコアを有する２つ以上のＣＰＵ）を使用することにより、異なる段階のアクションが並行して行われることが可能になって、システムの速度（例えば、画像の取得、前処理、解析、記憶、グレード付け、及び／又はレポート生成が行われる速度）を高めることが可能である。例えば、第１のデータセット（又はレポート）が第４段階で処理されている場合、これと並行して、第２のデータセット（又はレポート）が第３段階で処理されることが可能であり、第４段階での第１のデータセットの処理によって、第３段階での第２のデータセットの処理が妨げられることはない。場合によっては、プロセッサ３０３２ａ～ｂ、３０３４ａ～ｂ、及び／又は３０３０はＦＰＧＡであってよい。場合によっては、第４段階プロセッサ（図示せず）がＦＰＧＡであり、これは（やはりＦＰＧＡであってよい）第３段階プロセッサとは別のＦＰＧＡである。

【0031】

図１～３では、第１の画像キャプチャ装置１０１０ａは、単一の画像キャプチャ装置、又は画像キャプチャ装置のセットであってよく、第２の画像キャプチャ装置１０１０ｂは、単一の画像キャプチャ装置、又は画像キャプチャ装置のセットであってよい。場合によっては、画像キャプチャ装置（のセット）１０１０ａ及び１０１０ｂは、（例えば、物体の両面の画像をキャプチャするために）互いに向かい合って配置されている。場合によっては、本明細書に記載の光学検査システムは、画像キャプチャ装置１０１０ａ及び１０１０ｂのペアを１つ以上有してよく、各ペアの装置は互いに向かい合って配置されている。１つ以上の運動センサが第１及び第２の画像キャプチャ装置１０１０ａ及び１０１０ｂと通信していてよく、これは、例えば、運動センサが物体を検出したときに装置が物体の画像をキャプチャ（取得）することをトリガするためである。第１及び第２の画像キャプチャ装置は、それぞれの前を高速移動物体が移動したときにリアルタイム画像をキャプチャすることが可能である。本明細書に記載の光学検査システムには、他の画像キャプチャ装置及び／又は運動センサも含まれてよい。画像キャプチャ装置の様々な構成が可能であり、例えば、２～１０ペア、又は３ペア、又は６ペアのカメラ（例えば、各ペアは、物体の正面及び背面の両方の画像を取得するように構成されている）の構成や、カメラが片側にのみ配置された構成が可能である。

【0032】

図１～３では、ストレージシステム１０２０、２０２２ａ～ｂ、２０２４、２０２６、及び／又は３０２４は、ブロックキャッシュ用の動的ランダムアクセスメモリ（ＤＲＡＭ）システム、永続メモリシステム（３Ｄ ＸＰｏｉｎｔ等）、及び／又は、データ（例えば、カメラからのローフォーマットデータ、画像、及び／又は前処理画像）を記憶するための４層セル又は３層セルのソリッドステートドライブ（ＳＳＤ）システムを含んでよい。ストレージシステム１０２０、２０２２ａ～ｂ、２０２４、２０２６、３０２２ａ～ｂ、及び／又は３０２４は、（書き込みが頻繁に行われても）高書き込みスループット及び長寿命であるように構成されてよい。ストレージシステム１０２０、２０２２ａ～ｂ、２０２４、２０２６、３０２２ａ～ｂ、及び／又は３０２４は、カメラからのデータを全て記憶してよく、或いは、（例えば、前処理されたデータのみ、欠陥のある物体に対応するデータのみ、のように）データを選択的に記憶してよい。ストレージシステム１０２０、２０２２ａ～ｂ、２０２４、２０２６、３０２２ａ～ｂ、及び／又は３０２４は、ローデータ、サイズ縮小データ、及び／又は圧縮データを記憶してよい。記憶されるデータは、ホットデータ（即ち、取得されてからリアルタイム又は近リアルタイムで解析されるデータ）、コールドデータ（即ち、記憶されてから、リアルタイム又は近リアルタイムではない、より遅いタイミングでアクセスされるデータ、及び／又は、将来の監査に使用可能な、ローフォーマットデータから選択されたデータ）であってよい。場合によっては、本明細書に記載のシステム及び方法は、（例えば、ホットデータ及びコールドデータを有する）層構造のストレージを利用してよい。例えば、取得されて前処理（例えば、サイズ変更）されたデータは、第２段階での使用に備えて、（例えば、十分な寿命及び書き込みスループットを有する）永続メモリに記憶されてよい。そして、第２段階の出力は、圧縮されてコールドストレージシステム（例えば、４層ＳＳＤ）に記憶されてよい（それらは必要な性能を程々のコストで提供する）。場合によっては、インメモリ処理を用いるシステムにおいて、データを永続メモリ又はＳＳＤに記憶する前にＤＲＡＭ記憶層が利用されてよい。

【0033】

図１～３では、プロセッサ１０３０、２０３０、２０３２ａ～ｂ、２０３４ａ～ｂ、３０３０、３０３２ａ～ｂ、及び／又は３０３４ａ～ｂは、２つの動作モード、即ち、データコレクションモード（Ｄａｔａ Ｃｏｌｌｅｃｔｉｏｎ Ｍｏｄｅ）及びプロダクションモード（Ｐｒｏｄｕｃｔｉｏｎ Ｍｏｄｅ）を可能にするように構成されてよい。データコレクションモードでは、全ての画像が永続メモリシステム及びＳＳＤシステムにキャプチャされ、プロダクションモードでは、一部の画像（例えば、選択された、重大な欠陥のある物体の画像）だけがキャプチャされる。他の動作モードも可能であり、例えば、画像のサブセットが永続メモリシステム及びＳＳＤシステムにキャプチャされるモードが可能である。プロセッサ１０３０、２０３０、２０３２ａ～ｂ、２０３４ａ～ｂ、３０３０、３０３２ａ～ｂ、及び／又は３０３４ａ～ｂは又、１つ以上の画像キャプチャ装置から（例えば、第１及び第２の画像キャプチャ装置の１つ又は複数のセットから）キャプチャ画像を受け取るように、且つ／又は、画像の前処理、及び／又は画像の解析、及び／又は画像に基づくレポートの生成を行うように構成されてよい。

【0034】

図１～３では、プロセッサ１０３０、２０３０、２０３２ａ～ｂ、２０３４ａ～ｂ、３０３０、３０３２ａ～ｂ、及び／又は３０３４ａ～ｂは、受け取ったキャプチャ画像を処理（又は前処理）するように構成されてよい。例えば、プロセッサ１０３０、２０３２ａ～ｂ、２０３４ａ～ｂ、３０３２ａ～ｂ、及び／又は３０３４ａ～ｂは、キャプチャ画像ごとに、画像の前処理（例えば、画像のサイズ変更（又はサイズ縮小））、及び／又は、画像の処理（例えば、特徴抽出）を実施して、キャプチャ画像内の少なくとも１つの高速移動物体を識別してよい。プロセッサは又、キャプチャ画像のうちの、１つ以上の物体（例えば、高速移動物体）の画像を含む少なくとも一部分（「サブ画像」と呼ぶ）を選択（又はトリミング）する、キャプチャ画像の前処理を行ってよい。

【0035】

図１～３では、プロセッサ１０３０、２０３０、２０３２ａ～ｂ、２０３４ａ～ｂ、３０３０、３０３２ａ～ｂ、及び／又は３０３４ａ～ｂは、プロセッサによって識別されたサブ画像のグループ分けを、各グループの画像が同じ高速移動物体を含むように実施するように構成されてよい。例えば、第１のグループのサブ画像が、第１の透視図にある第１の高速移動物体の、第１の画像キャプチャ装置からの第１の画像と、第２の透視図にある同じ第１の高速移動物体の、第２の画像キャプチャ装置からの第２の画像と、を含んでよい（但し、第１の透視図は、少なくとも一部分又は全体が第２の透視図と異なる）。場合によっては、識別されたサブ画像のグループ分けは、とりわけ、識別された各サブ画像のタイムスタンプ比較、識別されたサブ画像の中の識別された各高速移動物体の外形及び／又はサイズ、識別されたサブ画像の中の識別された高速移動物体の向き、識別されたサブ画像の中の識別された高速移動物体の位置、識別されたサブ画像の中の（識別された高速移動物体以外の）他の物体及び／又は特徴の位置、及び／又は、識別されたサブ画像の中の識別された高速移動物体の（又はそれに関係する）表面テクスチャ／粗度、色、サイズ、形状、及び／又は他の特徴に基づいて行われてよい。

【0036】

場合によっては、プロセッサは更に、各グループのサブ画像のうちの識別されたサブ画像ごとに、識別されたサブ画像の中の識別された高速移動物体に欠陥があればこれを識別し、且つ／又は、識別されたサブ画像の中の識別された高速移動物体ごとに欠陥スコアを生成するように構成されてよい。場合によっては、プロセッサは、同じ高速移動物体を表している、サブ画像のグループごとに、最終欠陥スコアを生成するように構成されてよい。場合によっては、プロセッサは、識別された高速移動物体ごとに、１つ以上の閾値スコアに基づいて、高速移動物体の欠陥の最終的なクラス分け及び／又はカテゴリ分けを行うように構成されてよい。例えば、場合によっては、画像内の各物体が、特定のタイプ（又はクラス）に属するものとして、物体のクラス分けの信頼度の尺度である信頼スコアとともに検出（又はクラス分け）される。場合によっては、信頼スコアが最高であるクラス分けタイプだけが選択される。２台以上のカメラを使用して物体を２つ以上の角度から画像化する場合には、異なるカメラアングルからの画像の物体のタイプ（又はクラス）が比較され、最悪のグレード（又はクラス）のものが選択される。別の例では、最終欠陥スコアが第１閾値スコアを超えた場合に、識別された高速移動物体が、大きな欠陥のある高速移動物体としてクラス分けされてよい。同様に、最終欠陥スコアが第１閾値スコアを超えないが第２閾値スコアを越えた場合に、識別された高速移動物体が、小さな欠陥のある高速移動物体としてクラス分けされてよい。高速移動物体の更なる（又は他の）クラス分けが行われてよく、例えば、追加の検出（又はクラス分け）処理を含めることによって行われてよい。

【0037】

場合によっては、上述の処理のうちの１つ以上の処理が、部分的又は全体的に、能動的学習フレームワークを含む人工知能（ＡＩ）エンジン、モデル、及び／又はシステムにより実施されてよい（例えば、新しいデータ点に所望出力のラベルを付けるためにシステムが操作者（又は他の何らかの情報源）にインタラクティブにクエリすることが可能な場合）。場合によっては、ＡＩエンジン／システムのトレーニングは、実トレーニングデータ及び合成（又はシミュレーション）トレーニングデータを生成及び／又は適用することを含んでよい。そのような合成（又はシミュレーション）トレーニングデータの生成は、実トレーニングデータのより小さいセットに基づいてよく、又は由来してよい。

【0038】

場合によっては、本明細書に記載の光学検査システム及び方法のプロセッサは、画像の処理、グループ分け、スコア付け、及び／又はクラス分け／カテゴリ分けの前、途中、及び／又は後に、以下の処理のうちの１つ以上の処理を実施するように構成されてよい。プロセッサは、キャプチャ画像、識別されたサブ画像、及び／又は識別されたサブ画像の１つ以上のサブ部分（例えば、識別された高速移動物体、識別されたサブ画像の中の他の物体、周囲状況、識別された高速移動物体上の影になっている部分、及び／又は、識別された高速移動物体上の照明された部分）の解析を実施して、画像のキャプチャ中に使用される照明条件を調節する必要があるかどうかを評価するように構成されてよい。プロセッサは、その解析結果に基づいて照明条件を調節するように構成されてよく、照明条件の調節は、１つ以上の光源の強度を高めること、及び／又は、１つ以上の光源の色、周波数、及び／又は波長を変更することを含んでよい。プロセッサは、キャプチャ画像、識別されたサブ画像、及び／又は識別されたサブ画像の１つ以上のサブ部分を編集するように構成されてよい。編集は、画像の輝度、コントラスト、色相、色、及び／又は鮮明度の調節を含んでよく、これは、例えば、物体の画像処理、グループ分け、及び／又はスコア付け、及び／又はクラス分け、及び／又はカテゴリ分けを改善することを支援するために行われる。

【0039】

識別されたサブ画像の１つ以上のサブ部分の上述の解析、照明条件の調節、及び／又は、キャプチャ画像、識別されたサブ画像、及び／又は識別されたサブ画像のサブ部分の編集は、部分的又は全体的に、能動的学習フレームワークを含むＡＩエンジン／システムにより実施されてよい。

【0040】

図４は、図２のシステム２０００と同様の光学検査システムの一例４０００を示す。図４のシステムは、６台（以上）の画像キャプチャ装置（「カメラ１」～「カメラＮ」）を含み、それらは、第１段階で画像をキャプチャし、そのキャプチャ画像を２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）に送る。カメラは、一定の時間間隔で、又は同期トリガ（例えば、運動センサ等の外部センサ、プログラマブルロジックコントローラ（ＰＬＣ）、又は操作者からのトリガを使用する同期トリガ）に基づいて画像をキャプチャするように構成されている。画像は、第１段階プロセッサ（「Ｐ１」～「ＰＮ」）によって前処理（例えば、トリミング及び／又はサイズ縮小）されてよい。第１段階プロセッサは、図２のシステムに関して述べたように、スタンドアロンプロセッサ、ＣＰＵである第３段階プロセッサのコア、又はＦＰＧＡであってよい。図４に示した例では、各カメラ（１～Ｎ）にプロセッサが結合されている。別の実施形態では、第１段階プロセッサはカメラより少なくてよく、２台以上のカメラからの画像が第１段階プロセッサによって前処理されてよい。例えば、１台、又は２台、又は３台、又は４台、又は５台、又は６台のカメラからの画像が第１段階プロセッサによって前処理されてよい。例えば、１台、又は２台、又は３台、又は４台、又は５台、又は６台、又は１０台、又は２０台、又は１～２０台、又は１～１０台の画像キャプチャ装置があってよく（例えば、図４の「カメラ１」～「カメラＮ」）、１台、又は２台、又は３台、又は４台、又は５台、又は６台、又は１０台、又は２０台、又は１～２０台、又は１～１０台の第１段階プロセッサがあってよい（例えば、図４の「Ｐ１」～「ＰＮ」）。場合によっては、必要な処理時間を短くするために、画像は第１段階プロセッサによって圧縮されず（即ち、非圧縮状態に保たれ）、これは、（例えば、リアルタイム又は近リアルタイムの動作を実現するために）システムが画像取得の速度に遅れないことに役立ちうる。

【0041】

場合によっては、光学検査システム４０００の第１段階（「段階１ 画像取得」）において、画像は、取得された後、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）に送られる前に、第１段階ストレージシステム又は装置（「Ｓ１」～「ＳＮ」）（例えば、高耐久性ＳＳＤ又は他のタイプの低遅延永続メモリ）に記憶される。場合によっては、第１段階ストレージシステム又は装置（「Ｓ１」～「ＳＮ」）は、第１段階の全ての画像キャプチャ装置と結合されていて、第２段階プロセッサと結合されている単一装置である。又、場合によっては、「Ｓ１」～「ＳＮ」は複数の第１段階ストレージシステム又は装置であってよく、第１段階ストレージシステム又は装置（「Ｓ１」～「ＳＮ」）は、１台以上の画像キャプチャ装置と結合されている。例えば、各画像キャプチャ装置（「カメラ１」～「カメラＮ」）は、別個の第１段階ストレージシステム又は装置と結合されてよい。別の例では、３台の画像キャプチャ装置（「カメラ１」～「カメラ３」）は、第１の第１段階ストレージシステム又は装置、並びに第１の第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」）と結合されてよく、３台の画像キャプチャ装置（「カメラ４」～「カメラ６」）は、第２の第１段階ストレージシステム又は装置、並びに第２の第２段階プロセッサ（「ＧＰＵ＃２又はＦＰＧＡ」）と結合されてよい。

【0042】

カメラのサブセット（例えば、カメラ＃１～＃３）からの画像は、第１の第１段階ストレージシステム又は装置（例えば、「Ｐ１」～「Ｐ３」が１つのメモリ装置である場合）に送られてよく、カメラの別のサブセット（例えば、カメラ＃４～＃６）からの画像は、第２の第１段階ストレージシステム又は装置（例えば、「Ｐ４」～「Ｐ６」が１つのメモリ装置である場合）に送られてよい。この例では６台のカメラが示されているが、別の例では、６台より多い又は少ないカメラが使用されてもよい。例えば、「カメラＮ」は、２つの第２段階プロセッサ（ＧＰＵ＃１及び＃２、又はＦＰＧＡ）のいずれか一方と結合されてよく、又は、別の第２段階プロセッサ（図示せず）と結合されてよい。場合によっては、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）は、カメラからの画像の保存に使用される第１及び第２の第１段階ストレージシステム又は装置と結合されてよい。

【0043】

光学検査システム４０００の第２段階（「段階２ 近リアルタイム検査」）では、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）は、ＡＩモデルを使用してキャプチャ画像を解析する。３台のカメラからの画像が、光学検査システム４０００の各第２段階プロセッサによって処理される。又、場合によっては、３台より多い又は少ない（例えば、１～１０台の）カメラからの画像が、各第２段階プロセッサによって処理されてよい。例えば、ＡＩモデルを使用して、各カメラからの各画像の中の物体を検出し、各画像の中の各物体に対して境界ボックスを追加（又は境界ボックスを適用、又は境界ボックスを描画、又は境界ボックスのサイズ及び位置を決定）してよい。そしてＡＩモデルは、各画像の中の物体ごとに品質（又はクラス、又はカテゴリ）を示す又は決定する出力を行ってよい。例えば、ＡＩモデルを使用して、物体に欠陥があるか（即ち、物体が「不良」又は「エラー」カテゴリにクラス分けされるか）、欠陥がないか（即ち、物体が「良」又は「エラー無し」カテゴリにクラス分けされるか）を決定してよい。場合によっては、欠陥のある物体（又はアイテム）がある画像だけが圧縮されて、第２段階ストレージシステム又は装置（「書き込み最適化疑似データベース又はキー値ストア」）（例えば、ＤＲＡＭ、ＳＳＤ、又は他の永続メモリ）に保存される。第２段階ストレージシステム（「書き込み最適化疑似データベース又はキー値ストア」）は、書き込み最適化疑似データベース（例えば、埋め込み可能キー値ストア）であってよい。場合によっては、第２段階ストレージシステム又は装置（「書き込み最適化疑似データベース又はキー値ストア」）は、画像が非常に迅速に保存されることを可能にするように構成されており、それによって、第２段階での画像保存は、リアルタイム（又は近リアルタイム）で（例えば、画像取得の速度に遅れないように）行われることが可能である。場合によっては、保存の時間及びスペースを節約するために、欠陥のある物体がない画像（即ち、良カテゴリにクラス分けされた物体だけがある画像）は、第２段階ストレージシステム又は装置（「書き込み最適化疑似データベース又はキー値ストア」）に保存されなくてよい。エラーカテゴリの画像は、顧客（又は操作者）が品質測定基準（又はＱＡ、又はＱＣ）として使用してよく、或いは、（本システムが能動的学習を採用する場合の）更なるＡＩトレーニングに使用されてよい。第２段階プロセッサは又、（例えば、全てのカメラから、又は主要なカメラだけから（例えば、物体の一方の側に位置するカメラだけから））取得された画像の枚数を算出し、その枚数をリアルタイム又は近リアルタイムでレポートに表示してよい。そのような枚数は、例えば、ＱＡ、ＱＣ、及び他のタイプの（例えば、電子メール経由の）追跡及びアラートに使用されてよい。

【0044】

光学検査システム４０００の第２段階には、欠陥のある物体（又は不良としてクラス分けされた物体）を排出又は除去する任意選択のイジェクタ又はロボット（例えば、ロボットアーム）があってもよい。例えば、イジェクタは、欠陥のある物体（又はアイテム）を生産ライン（又は選別ライン）から排出するように構成されたエアジェット（又はエアストリーム）を含んでよい。第２段階で行われた解析及びグレード付けの結果が、（上述のように）欠陥のある物体を識別することに使用されてよく、それにより、欠陥のある物体を生産ライン（又は選別ライン）からリアルタイムで排出するための信号（「アクショントリガ」）がイジェクタに送られてよい。ロボットは、欠陥のある物体（又はアイテム）を処理ラインから除去するように構成されたロボットアーム（例えば、メカニカルアーム）であってよい。このように、本明細書に記載のシステム及び方法は、物体（例えば、高速移動物体、自由落下物体、又はコンベヤベルト上の物体）を検査すること、並びに、欠陥のある物体を生産ライン（又は選別ライン）からリアルタイムで排出又は除去することを可能にする。

【0045】

光学検査システム４０００の第３段階（「段階３ レポート生成」）では、第３段階プロセッサ（図４の第３段階の「ＣＰＵ又はＦＰＧＡ」）（例えば、ＣＰＵ又はＦＰＧＡ）が、第２段階ストレージシステム（「書き込み最適化疑似データベース又はキー値ストア」）に保存されている（第２段階での解析結果から生成された）画像及び情報を更に解析してよい。例えば、第３段階プロセッサ（「ＣＰＵ又はＦＰＧＡ」）は、保存されている画像の全て又はサブセットについて各物体の境界ボックスを読み取り、その情報を、リレーショナルデータベースを含む第３段階ストレージシステム又は装置に保存してよい。そして、画像及び対応する情報（例えば、境界ボックス及び／又はカテゴリ）を有するレポートが、第３段階プロセッサ（「ＣＰＵ又はＦＰＧＡ」）を使用して（例えば、ＳＱＬインタフェースを使用して）生成されてよい。

【0046】

光学検査システム４０００の第４段階（「段階４ ３Ｄグレード付け」）では、第４段階プロセッサ（図４の第４段階の「ＣＰＵ又はＦＰＧＡ」）（例えば、ＣＰＵ又はＦＰＧＡ）を使用して、３Ｄグレード付け及び／又はＵＳＤＡグレード付けが行われてよい。第４段階プロセッサ（「ＣＰＵ又はＦＰＧＡ」）（例えば、ＣＰＵ、ＣＰＵの１つ以上のコア、又はＦＰＧＡ）は、（例えば、物体の２つ以上の面を示している）全てのカメラからのデータを、（第３段階及び第４段階の両方で使用されてよい）リレーショナルデータベースから収集し、その後、リレーショナルデータベースに再書き込みしてよい。場合によっては、第３段階プロセッサと第４段階プロセッサは同じプロセッサであってよい。場合によっては、カメラは、物体（又はアイテム）（例えば、自由落下物体）の両面の画像をキャプチャするために、ペアで配置されている。各ペアのカメラは合わせ鏡状であってよく、一方のカメラはプライマリカメラとして指定されてよく、ペアの他方のカメラはセカンダリカメラとして指定されてよい。セカンダリカメラからの各画像は左右反転画像であってよい（即ち、左側にあった境界ボックスが右側に見えることになる）。左右反転後、セカンダリカメラからの画像の右端の境界ボックスが、プライマリカメラからの画像の右端の境界ボックスと重なり合ったとすれば、それは、境界ボックス内の物体が同じ物体の両面であることを示している。そのような場合、第４段階のグレード付けにおいては、１つのグレードだけがその物体に割り当てられる（例えば、最も深刻な（又は良くない、又は欠陥のある）グレード又はカテゴリが採用される）。第４段階では、境界ボックス及び／又は境界ボックス内の物体のサイズも特定可能であり（例えば、画素サイズから実サイズ（例えば、ミリメートル単位）へのマッピングに基づいて特定可能であり）、各物体のサイズが特定可能である。ＵＳＤＡグレード付けは、物体の重量に基づいて行われてよい。場合によっては、バッチ内の全ての物体が同じ密度を有するという仮定が用いられるため、第４段階で特定されたサイズが、ＵＳＤＡ重量グレード付けを決定する際に代用として使用可能である。場合によっては、それによってＵＳＤＡレポートが生成されてよい。

【0047】

光学検査システム４０００の第２、第３、及び第４段階で生成されたレポートは、操作者が読むことが可能である。そして、場合によっては、操作者は、（例えば、能動的学習を用いるシステムにおいて）生成されたレポートに基づいて、より多くのトレーニングデータを追加することにより、ＡＩモデルを改善することが可能である。例えば、操作者は、画像内の物体を手動でクラス分けして、その情報をＡＩモデルに与えることにより、ＡＩモデルを更にトレーニングすることが可能である。場合によっては、生成されたレポートは、（例えば、アマゾンウェブサービス（Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ）、マイクロソフトアジュール（Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ）、又は私有のデータセンタを使用して）クラウドにアーカイブされ、操作者が改訂したクラス分けに基づいて（例えば、自律型機械学習フレームワークを使用して）自動ＡＩトレーニングが開始される。そして、新しくトレーニングされたＡＩモデルが自動的にデプロイされてよい。そのようなシステムは、有利なことに、データサイエンスの専門知識がない操作者でもＡＩをトレーニングすることを可能にできる。

【0048】

図５は、図３のシステム３０００と同様の光学検査システムの一例５０００を示す。図５のシステムは、６台（以上）のカメラを含み、それらは、第１段階で画像をキャプチャし、そのキャプチャ画像を２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）に送る。カメラは、一定の時間間隔で、又は（例えば、外部センサを使用する）同期トリガに基づいて画像をキャプチャするように構成されている。画像は、第１段階プロセッサ（「Ｐ１」～「ＰＮ」）によってサイズ縮小されてよい。第１段階プロセッサは、図３のシステムに関して述べたように、スタンドアロンプロセッサ、ＣＰＵである第３段階プロセッサのコア、又はＦＰＧＡであってよい。図５に示した例では、各カメラ（１～Ｎ）にプロセッサが結合されている。別の実施形態では、第１段階プロセッサはカメラより少なくてよく、２台以上のカメラからの画像が第１段階プロセッサによって前処理されてよい。例えば、１台、又は２台、又は３台、又は４台、又は５台、又は６台のカメラからの画像が第１段階プロセッサによって前処理されてよい。例えば、１台、又は２台、又は３台、又は４台、又は５台、又は６台、又は１０台、又は２０台、又は１～２０台、又は１～１０台の画像キャプチャ装置があってよく（例えば、図４の「カメラ１」～「カメラＮ」）、１台、又は２台、又は３台、又は４台、又は５台、又は６台、又は１０台、又は２０台、又は１～２０台、又は１～１０台の第１段階プロセッサがあってよい（例えば、図５の「Ｐ１」～「ＰＮ」）。場合によっては、必要な処理時間を短くするために、画像は圧縮されず、即ち、非圧縮状態に保たれ、これは、システムが画像取得の速度に遅れないことに役立ちうる。

【0049】

場合によっては、光学検査システム５０００の第１段階（「段階１ 画像取得」）において、画像は、取得された後、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）に送られる前に、揮発性メモリ（「Ｖ１」～「ＶＮ」）（例えば、ＤＲＡＭ又はＳＲＡＭ）に記憶される。場合によっては、揮発性メモリ（「Ｖ１」～「ＶＮ」）は、第１段階の全ての画像キャプチャ装置と結合されていて、全ての第２段階プロセッサと結合されている単一の揮発性メモリシステム又は装置である。又、場合によっては、「Ｖ１」～「ＶＮ」は複数の揮発性メモリシステム又は装置であってよく、各揮発性メモリシステム又は装置は、１台以上の画像キャプチャ装置と結合されている。例えば、各画像キャプチャ装置（「カメラ１」～「カメラＮ」）は、別個の揮発性メモリシステム又は装置と結合されてよい。別の例では、３台の画像キャプチャ装置（「カメラ１」～「カメラ３」）は、第１の揮発性メモリシステム又は装置、並びに第１の第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」）と結合されてよく、３台の画像キャプチャ装置（「カメラ４」～「カメラ６」）は、第２の揮発性メモリシステム又は装置、並びに第２の第２段階プロセッサ（「ＧＰＵ＃２又はＦＰＧＡ」）と結合されてよい。

【0050】

カメラのサブセット（例えば、カメラ＃１～＃３）からの画像は、第１の揮発性メモリシステム又は装置（例えば、「Ｖ１」～「Ｖ３」が１つの揮発性メモリ装置である場合）に送られてよく、カメラの別のサブセット（例えば、カメラ＃４～＃６）からの画像は、第２の揮発性メモリシステム又は装置（例えば、「Ｖ４」～「Ｖ６」が１つの揮発性メモリ装置である場合）に送られてよい。２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）は、カメラからの画像の保存に使用される第１及び第２の揮発性メモリシステム又は装置と結合されてよい。３台のカメラからの画像が、光学検査システム５０００の各第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）によって処理される。又、場合によっては、３台より多い又は少ない（例えば、１～１０台の）カメラからの画像が、各第２段階プロセッサによって処理されてよい。例えば、「カメラＮ」は、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）のいずれか一方と結合されてよく、又は、別の第２段階プロセッサ（図示せず）と結合されてよい。

【0051】

光学検査システム５０００の第２段階（「段階２ インメモリ処理」）では、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）は、ＡＩモデルを使用してキャプチャ画像を解析する。例えば、ＡＩモデルを使用して、各カメラからの各画像の中の物体を検出し、各画像の中の各物体に対して境界ボックスを追加（又は境界ボックスを適用、又は境界ボックスを描画、又は境界ボックスのサイズ及び位置を決定）してよい。そしてＡＩモデルは、各画像の中の物体ごとに品質（又はクラス、又はカテゴリ）を示す又は決定する出力を行ってよい。例えば、ＡＩモデルを使用して、物体に欠陥があるか（即ち、物体が「不良」又は「エラー」カテゴリにクラス分けされるか）、欠陥がないか（即ち、物体が「良」又は「エラー無し」カテゴリにクラス分けされるか）を決定してよい。エラーカテゴリの画像は、顧客（又は操作者）が品質測定基準（又はＱＡ、又はＱＣ）として使用してよく、或いは、（本システムが能動的学習を採用する場合の）更なるＡＩトレーニングに使用されてよい。第２段階プロセッサは又、（例えば、全てのカメラから、又は（例えば、物体の一方の側に位置する）主要なカメラだけから）取得された画像の枚数を算出し、その枚数を（例えば、レポートに、又はコンピューティング装置のディスプレイに）リアルタイム又は近リアルタイムで表示してよい。そのような枚数は、例えば、ＱＡ、ＱＣ、及び他のタイプの追跡及び電子メールアラートに使用されてよい。

【0052】

光学検査システム５０００の第２段階では又、追加の第２段階プロセッサ（「３Ｄグレード付けＣＰＵ又はＦＰＧＡ」）（例えば、ＣＰＵ又はＦＰＧＡ）を使用して、３Ｄグレード付け及び／又はＵＳＤＡグレード付けが行われてよく、これにより、２つの第２段階プロセッサ（「ＧＰＵ＃１又はＦＰＧＡ」及び「ＧＰＵ＃２又はＦＰＧＡ」）からの（解析結果から生成された）画像及び情報が更に解析される。場合によっては、カメラは、物体（又はアイテム）（例えば、自由落下物体）の両面の画像をキャプチャするために、ペアで配置されている。各ペアのカメラは合わせ鏡状であってよく、一方のカメラはプライマリカメラとして指定されてよく、ペアの他方のカメラはセカンダリカメラとして指定されてよい。セカンダリカメラからの各画像は左右反転画像であってよい（即ち、左側にあった境界ボックスが右側に見えることになる）。左右反転後、セカンダリカメラからの画像の右端の境界ボックスが、プライマリカメラからの画像の右端の境界ボックスと重なり合ったとすれば、それは、境界ボックス内の物体が同じ物体の両面であることを示している。そのような場合、第２段階のグレード付けにおいては、１つのグレードだけがその物体に割り当てられる（例えば、最も深刻なカテゴリが採用される）。第２段階では、境界ボックスのサイズも特定可能であり（例えば、画素サイズから実サイズ（例えば、ミリメートル単位）へのマッピングに基づいて特定可能であり）、各物体のサイズが特定可能である。ＵＳＤＡグレード付けは、物体の重量に基づいて行われてよい。場合によっては、バッチ内の全ての物体が同じ密度を有するという仮定が用いられるため、第２段階で特定されたサイズが、ＵＳＤＡ重量グレード付けを決定する際に代用として使用可能である。場合によっては、それによってＵＳＤＡレポートが生成されてよい。

【0053】

光学検査システム５０００の第２段階には、欠陥のある物体（又は不良としてクラス分けされた物体）を排出又は除去する任意選択のイジェクタ又はロボット（例えば、ロボットアーム）があってもよい。例えば、イジェクタは、欠陥のある物体（又はアイテム）を生産ライン（又は選別ライン）から排出するように構成されたエアジェット（又はエアストリーム）を含んでよい。第２段階で行われた解析及びグレード付けの結果が、（上述のように）欠陥のある物体を識別することに使用されてよく、それにより、追加の第２段階プロセッサ（「３Ｄグレード付けＣＰＵ又はＦＰＧＡ」）が、欠陥のある物体を生産ライン（又は選別ライン）からリアルタイムで排出するための信号（「アクショントリガ」）がイジェクタに送ってよい。このように、本明細書に記載のシステム及び方法は、物体（例えば、高速移動物体、自由落下物体、又はコンベヤベルト上の物体）を検査すること、並びに、欠陥のある物体を生産ライン（又は選別ライン）からリアルタイムで排出又は除去することを可能にする。ロボットは、欠陥のある物体（又はアイテム）を処理ラインから除去するように構成されたロボットアーム（例えば、メカニカルアーム）であってよく、又はそのようなロボットアームを含んでよい。

【0054】

場合によっては、第２段階で実施される動作の１つ、幾つか、又は全てが低遅延動作である。

【0055】

光学検査システム５０００の第３段階（「段階３ 永続処理」）では、追加の第２段階プロセッサ（「３Ｄグレード付けＣＰＵ又はＦＰＧＡ」）からの画像及び／又は情報が、第３段階ストレージシステム又は装置（「書き込み最適化又はインメモリデータベース」）（例えば、ＤＲＡＭ、ＳＳＤ、又は他の永続メモリ）に保存されてよい。例えば、追加の第２段階プロセッサ（「３Ｄグレード付けＣＰＵ又はＦＰＧＡ」）からの画像及び／又は情報が、書き込み最適化又はインメモリデータベースに保存されてよい。

【0056】

場合によっては、第２段階でＡＩモデルを使用して画像が処理された後、それらの画像も第２段階で保存される。場合によっては、画像は、第２段階において、表形式構造を持たずに保存される（例えば、ＳＱＬクエリで処理できる構造を持たずに保存される）。場合によっては、第２段階で保存されるデータは、表形式構造を持たず、（例えば、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｅｌ、又はサードパーティ顧客データベースを使用する）データベースとインタフェースすることができず、且つ／又は、レポートに変換されることができない。場合によっては、第３段階のプロセッサは、（例えば、境界ボックスを含む）構造化されていない画像及び／又はデータを、第２段階書き込み最適化疑似データベースから取得し、それらの画像、画像のメタデータ、及び／又は関連データを表形式で記憶し、それによって、データの可視化、又はデータ生成、又はエンドユーザ操作者の消費に備えての画像及び／又はデータ及び／又はメタデータの保存が可能になりうる。

【0057】

場合によっては、光学検査システム５０００では、欠陥のある物体（又はアイテム）がある画像だけが、（インメモリストレージシステム（例えば、ＳＳＤ、又は他のタイプの永続メモリ）であってよい）第３段階ストレージシステム又は装置（「書き込み最適化又はインメモリデータベース」）に保存される。場合によっては、第２段階及び／又は第３段階ストレージシステム又は装置（「書き込み最適化又はインメモリデータベース」）は、画像及び／又はメタデータが非常に迅速に保存されることを可能にするように構成されており、それによって、第２段階での画像保存、及び／又は第３段階でのメタデータ保存は、リアルタイム（又は近リアルタイム）で（即ち、画像取得の速度に遅れないように）行われることが可能である。場合によっては、保存の時間及びスペースを節約するために、欠陥のある物体がない画像（良カテゴリにクラス分けされた物体だけがある画像）は、第２段階及び／又は第３段階ストレージシステム又は装置（「書き込み最適化又はインメモリデータベース」）に保存されなくてよい。場合によっては、画像の取得、処理、解析、及び保存に必要な処理時間を短くするために、画像は圧縮されない（即ち、非圧縮状態に保たれる）。

【0058】

光学検査システム５０００の第２及び／又は第３段階では、レポート等の出力が生成されてもよい。レポートとしては、例えば、ＱＣレポートがあってよく、これは、ユーザインタフェースに表示されるか、プラントデータベース（例えば、ＳＡＰ、マイクロソフトアクセス（Ｍｉｃｒｏｓｏｆｔ Ａｃｃｅｓｓ）、又はプリンタ（Ｐｒｉｎｔｅｒ））に書き込まれる。第３段階で生成されるレポートは、操作者が読むことが可能である。そして、本明細書に記載のように、場合によっては、操作者は、能動的学習を用いて生成されたレポートに基づいて、より多くのトレーニングデータを追加することにより、ＡＩモデルを改善することが可能である。

【0059】

場合によっては、システム４０００及び／又は５０００の第１及び第２段階、又は第１、第２、及び第３段階、又は第１、第２、第３、及び第４段階は、画像に対するそれぞれの機能をリアルタイム又は近リアルタイムで、約１８ｍｓ未満、又は約１９ｍｓ未満、又は約２０ｍｓ未満、又は約３０ｍｓ未満の時間以内に実施することが可能である。例えば、自由落下物体は、本明細書に記載のシステムを約１８ｍｓ～約１９ｍｓで通過しうる。従って、リアルタイムで検査、グレード付け、及び／又は排出を行うシステム、及び／又はリアルタイムで動作するロボットシステムは、画像の取得、画像の解析、物体の品質の特定結果の出力、物体に関する画像及び／又は情報の保存、及び／又はクラス分け及び／又はグレード付けのレポート出力を約１８ｍｓ～約１９ｍｓ未満で行うことが可能であることになる。

【0060】

ＡＩモデルのトレーニング

【0061】

場合によっては、本明細書に記載のシステム及び方法で使用されるＡＩモデルは、合成データを使用してトレーニングされる。場合によっては、合成データは、１）代表的な物体を収集し、２）それらの代表的な物体の、様々な角度からの画像を取得し、３）各画像をマスキング及び／又はトリミングし、４）それらの画像の３Ｄモデルをフォトグラメトリで作成し、５）それらの３Ｄモデルからトレーニングデータ画像のセットを作成することによって得られる。

【0062】

場合によっては、１０～５００個、２０～１００個、又は５０～６０個の代表的な物体が収集され、これらから合成データが生成される。代表的な物体は、システムが使用する様々な分類（又はクラス、又はカテゴリ、又はグレード）のそれぞれからの複数（例えば、約１０個、又は約２０個、又は１０～３０個、又は１０～５０個、又は１０～１００個）の物体を含んでよい。分類（又はクラス、又はカテゴリ、又はグレード）の幾つかの例は、品質（例えば、欠陥のある、欠陥のない）、カテゴリ（例えば、タイプＡ、タイプＢ）、サイズ（例えば、小さい、大きい）、形状（例えば、丸い、四角い）、及び色（例えば、白い、黒い、均一である、不均一である）に関連するものである。

【0063】

様々な角度からの画像はデジタルカメラで取得されてよく、場合によっては、本明細書に記載の実際の光学検査システムで使用されるものと同じカメラで取得されてよい。場合によっては、画像は、物体の軸の周囲３６０度を網羅する約２０個（又は約１０個、又は約５０個、又は約１０個～約１００個）の異なる角度から取得される。場合によっては、第１の画像セットが、物体の第１の軸の周囲３６０度を網羅する約２０個（又は約１０個、又は約５０個、又は約１０個～約５０個）の異なる角度から取得され、第２の画像セットが、物体の第２の軸の周囲３６０度を網羅する約２０個（又は約１０個、又は約５０個、又は約１０個～約５０個）の異なる角度から取得される。第１の軸は第２の軸に垂直であってよく、或いは、第１の軸及び第２の軸は、それらの間に角度を有してよく、例えば、４５度の角度、又は０度～９０度の角度を有してよい。場合によっては、第１の画像セットが、物体を取り巻く第１のループにある約２０個（又は約１０個、又は約５０個、又は約１０個～約５０個）の異なる角度から取得され（即ち、これは、カメラが物体とほぼ同じ高さにある場合である）、第２の画像セットが、物体の上方に位置する第２のループにある約２０個（又は約１０個、又は約５０個、又は約１０個～約５０個）の異なる角度から取得される（即ち、これは、カメラが物体の上方にあって、上方の様々な角度から物体の画像をキャプチャするように方向付けられている場合である）。

【0064】

場合によっては、トレーニングデータ用画像を生成するために、実際の光学検査システムで使用されるものと同じ背景条件及び照明条件が使用される。例えば、光学検査システムによる実データ収集及びＡＩモデル推論の間の照明の色（又は波長）が昼白色であれば、合成データ作成中は同じ昼白色のＬＥＤ照明を使用することが望ましい。場合によっては、物体の片面又は両面に使用される実際の照明条件（例えば、反射光、物体を照らしている複数の照明）をシミュレートするために、２つ以上の照明（複数の照明）が使用される。

【0065】

場合によっては、その後、画像は、マスキング及び／又はトリミングされて、背景の一部又は全部が除去される。例えば、画像をマスキング及び／又はトリミングするために画像編集プログラム（例えば、アドビフォトショップ（登録商標）（Ａｄｏｂｅ ｐｈｏｔｏｓｈｏｐ））が使用されてよい。場合によっては、背景の一部（又は全部）が除去されて、画像内の疑わしい物体が残される。マスキング及び／又はトリミングにより、次のステップで作成される３Ｄモデルの品質を向上させることが可能である。

【0066】

場合によっては、その後、様々な角度からの物体の画像から各物体の３Ｄモデルが、フォトグラメトリで（例えば、アギソフトメタシェイプ（Ａｇｉｓｏｆｔ Ｍｅｔａｓｈａｐｅ）ソフトウェアを使用して）作成される。フォトグラメトリは、様々な角度で取得された一連の画像から仮想３Ｄモデルを作成できるツールである。

【0067】

３Ｄモデルが作成された後、トレーニングデータ用の合成画像が３Ｄモデルから作成されてよい（これは、例えば、３Ｄソフトウェアを使用して、且つ／又はビデオゲーム用に開発された３Ｄソフトウェアを使用して、且つ／又はブレンダ（Ｂｌｅｎｄｅｒ）ソフトウェアを使用して行われる）。例えば、物体の３Ｄモデルを使用して、約１００個、約５００個、又は約５０個～約１０００個の合成画像が各３Ｄモデルから作成されてよい。合成画像は、動作中の実際の光学検査システムで取得される画像に見られるような、多数の異なる角度からの物体の画像でありうる。

【0068】

図６Ａは、多数の様々な角度から取得された画像からフォトグラメトリで作成された、物体（この例ではアーモンド）の３Ｄモデルの一例を示す。そしてこの３Ｄモデルを使用して、様々な角度からの物体の合成画像が作成された。図６Ｂは、フォトグラメトリで生成された３Ｄモデルから、３Ｄゲーミングソフトウェア（例えば、ブレンダ（Ｂｌｅｎｄｅｒ）又はユニティ（Ｕｎｉｔｙ））を使用して生成された、様々な角度からの様々な物体（この例ではアーモンド）の合成画像を示す。そして、ＣＯＣＯツールを使用して、これらの合成画像から（３Ｄゲーミングソフトウェアから）ＡＩトレーニングデータが作成されてよい。作成されたＡＩトレーニングデータは、ＡＩトレーニングモジュールが理解できる、画像に対応するラベル及び境界ボックス情報を含んでよく、これにより、注釈付けに費やされる数十人日を節約できる。

【0069】

場合によっては、本明細書に記載のシステム及び方法で使用されるＡＩモデルは、（例えば、上述のように生成された）合成データを使用してトレーニングされる。ＡＩモデルのトレーニングは、１）合成データを使用してＡＩモデルをトレーニングし、２）本明細書に記載の光学検査システムを使用して（例えば、実際の動作時に）実データを収集し、幾らかの追加出力データを手動でクラス分けし、３）その手動でクラス分けされた追加出力データを使用して（即ち、能動的学習を用いて）ＡＩモデルを強化することによって行われてよい。

【0070】

図７Ａは、物体（この例ではアーモンド）の検査、解析、及び／又はグレード付けを行うための、ＡＩモデル由来のトレーニングデータの一例を示す。図７Ａは、トレーニングの反復数（又はステップ数）（ｘ軸）に対してＡＩモデルの平均平均適合率（ｍＡＰ）（ｙ軸）をプロットしたチャートを示す。このＡＩモデルは、（図７Ａに示すように）約３００～３５０回の反復（又はステップ）の後に０．９２８ｍＡＰのスコアを達成する。一連の解析済み物体の平均をとったときに、ｍＡＰが高いほど正確に、ＡＩモデルが物体を検出できることになる。例えば、ｍＡＰ＠［０．５：０．９５］は、ユニオン交差（ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）（ＩｏＵ）スコア（ＩｏＵスコアについては後で詳述）が０．５～０．９５の場合の一連の解析済み物体の平均スコア適合率を示す。

【0071】

合成データを使用してＡＩモデルがトレーニングされた後、能動的学習を用いてＡＩモデルの再トレーニング及び／又は妥当性検査を行うための追加画像セットが実際のシステムにより生成されてよい。この追加で収集された画像は手動でクラス分け（及び／又は注釈付け）されてよく、この手動でクラス分けされた追加画像を使用して、ＡＩモデルを再トレーニングして適合率を（例えば、９０％超まで、又は約９５％まで）高めることが可能である。場合によっては、全部で約１０，０００個～約１００，０００個（又は約５０，０００個）のトレーニング画像があってよく、それらのトレーニング画像のうちの約１０％（又は約５％～約２０％）が、能動的学習で使用されるために、又はＡＩモデルの妥当性検査及び／又は再トレーニングを行うために手動で注釈付けされたトレーニング画像である。

【0072】

図７Ｂは、本明細書に記載のように、実際の光学検査システムで取得された、物体（この例ではアーモンド）の実画像の一例を示す。図７Ｂの各画像は、合成データだけを使用してトレーニングされたモデルの出力の妥当性検査又は訂正を行うために操作者が手動で注釈付けしたものである。この方式の利点として、合成データを使用してトレーニングされたＡＩモデルは、境界ボックス及び（例えば、物体のクラス、グレード、又はタイプを示す）ラベルを描画することが可能である。これにより、時間のかかる、境界ボックスの手動描画が不要になり、この段階で必要とされるのは、ラベルの妥当性検査又はラベルの誤りの訂正だけである（例えば、合成データだけを使用してトレーニングされたＡＩモデルに由来する誤りの約３０％～４０％がラベルの誤りである）。この能動的学習プロセスは何らかの手動の注釈付けに確かに依存しているが、このプロセスの一部（例えば、境界ボックス描画及び初期ラベル付け）は既に済んでいるので、本方法を用い、合成データを活用してＡＩモデルをトレーニングすることに必要な合計人時は、一連のトレーニング画像を生成するための完全に手動の注釈付けプロセスの場合の合計人時に比べてかなり少なくなる。本明細書に記載のＡＩモデルをトレーニングすることに合成データを使用することにより、全てのトレーニング画像のクラス分けを手動で決定する場合に比べてかなりの時間を節約できる。例えば、２０，０００～５０，０００個のトレーニング画像を手動でクラス分けするための注釈付け作業には２０～３０人日かかりうるが、（例えば、上述の方法を用いて生成された）合成データを使用して、クラス分けされたトレーニング画像を生成する場合は所要リソースをかなり少なくできる（例えば、約３～約１０人日、又は約３～約５人日、又は約５人日、又は約１０人日かかりうる）。

【0073】

本明細書に記載の光学検査システムは、ＡＩモデルを使用して画像を解析し、画像内の物体のクラス分け及び／又はグレード付けの情報を含むレポートを生成することが可能である。場合によっては、能動的学習（又は漸次的学習）を用いてＡＩモデルの再トレーニングが行われ、この場合は、レポート内の情報が（例えば、操作者によって）手動で修正され、修正されたデータがＡＩモデルに送られて、ＡＩモデルの再トレーニングが行われる。レポート内の情報を手動で修正することは、例えば、情報を再編成すること、及び／又は、画像又は物体に関連付けられた１つ以上のラベルを変更することのために行われてよい。場合によっては、そのような能動的学習方法は、ストレージシステム及び／又はプロセッサがクラウドにあるシステムにおいて実施される。例えば、修正された情報は、クラウドにあるストレージシステムに保存されてよく、クラウドにあるプロセッサがＡＩモデルを再トレーニングするように構成されてよく、その再トレーニングされたＡＩモデルが光学検査システムの１つ以上のプロセッサに与えられて、画像の解析に使用されてよい。

【0074】

向かい合うカメラのペアからの画像の処理

【0075】

図８Ａ及び８Ｂは、カメラのペアからの画像を処理することの一例を示しており、一方のカメラは、物体の一方の側の画像を取得するように配置されており、ペアの他方のカメラは、物体の他方の側の画像を取得するように配置されている。このプロセスは、本明細書に記載の光学検査システム及び方法において、例えば、図１～５のシステムに関して説明されたように用いられてよい。図８Ａは、（物体の第１の側からの画像をキャプチャするように方向付けられた）第１のカメラ（「カメラ＃１」）からの画像を示しており、３つの物体が識別されて境界ボックスに包囲されている。図８Ａは又、（物体の第１の側の反対側の第２の側からの画像をキャプチャするように方向付けられた）第２のカメラ（「カメラ＃２」）からの画像を示しており、３つの物体が識別されて境界ボックスに包囲されている。一例では、検出された物体の一方の側が「良」のクラス又はグレードであり、他方の側が欠陥のあるクラス又はグレードである。従って、（第１のカメラからの）物体の正面の画像と（第２のカメラからの）物体の背面の画像とが互いに関連付けられてよく、これらのうちの一方の側に欠陥があれば、物体は欠陥があるものとしてグレード付けされてよい。異なる２つの画像にある検出された物体を互いに関連付けるために、図８Ａ（「カメラ＃２：境界ボックスが再構築されている」）に示されるように、第２の側からの画像の境界ボックスの鏡像が取得されてよい。

【0076】

図８Ａは、第２のカメラから取得された画像が鏡像化された（即ち、水平方向に反転された）例を示している。第２のカメラからの画像の境界ボックスが（図８Ａに示されたように）鏡像反転された後、第１のカメラからの画像と、第２のカメラからの画像の鏡像とが重ね合わされてよく、第１及び第２（又はプライマリ及びセカンダリ）の両方のカメラ画像において境界ボックス同士をペアにする（関連付ける）ためにアルゴリズム（例えば、ハンガリアンアルゴリズム（クーン・ムンクレス（Ｋｕｈｎ－Ｍｕｎｋｒｅｓ）アルゴリズムとも呼ばれる））が適用されてよい。このアルゴリズムは、どの画像ペアが同じ物体の２つの側を表しているかを特定することが可能である。画像同士がペアにされた（関連付けられた）後、最終的なグレードが各物体に割り当てられてよい。

【0077】

図８Ｂは、第２のカメラからの画像から鏡像が取得されて、第１のカメラからの画像と重ね合わされた後に、物体の境界ボックスがどのように重なり合いうるかについて、幾つかの例を示している。アルゴリズムは、ユニオン交差（ＩｏＵ）値を算出してよい。ＩｏＵ値が高いこと（例えば、０より大きいこと、或いは０．５より大きいこと）は、境界ボックスが別の境界ボックスと重なり合っている度合いが高いことを示しており、これは、それらの境界ボックスが同じ物体を包囲している可能性が高いことを示している。ＩｏＵ値が低いこと（例えば、０．５より小さいこと、或いはほぼ０であること）は、境界ボックスが別の境界ボックスと重なり合っている度合いが低いことを示しており、これは、それらの境界ボックスが同じ物体を包囲している可能性が低いことを示している。この、ＩｏＵに基づく方式の利点は、画像処理が不要であること、並びに、比較的シンプルなＩｏＵ算出アルゴリズムで正確な結果が得られることである。同様のＩｏＵ方式が、自律走行車によって検出される物体に用いられているが、自動運転車が遭遇する状況では境界ボックスが、異なるタイムスタンプにおける同じ物体のものであることとは異なり、本明細書に記載の、向かい合うカメラを有する光学検査システムの場合には、各境界ボックスペアの物体の外観が異なる可能性がある。これは、解析されている画像が、同じ物体の両側から取得されているためである。従って、ＩｏＵ方式は、本発明のシステム及び方法に比類なく適している。これは、境界ボックス領域の高度な画像処理を用いて類似性を比較する他の方式では、同じ物体の異なる面を検出する際に信頼性が低い場合があるためである。

【0078】

クラウドストレージ

【0079】

場合によっては、本明細書に記載のシステムの１つ以上から既に生成されたレポート及び／又はデータは、クラウドにあるストレージシステムに自動的にアーカイブされる。例えば、１人の顧客（又は操作者、又は所有者）のシステムからの全てのレポート及びデータ（例えば、画像、境界ボックス位置、及び／又はグレード）が、クラウドストレージ（例えば、マイクロソフトのクラウドストレージシステム、又はアマゾンウェブサービス）に一元的に保管されてよい。場合によっては、操作者が、クラウドにあるレポート及び／又はデータにアクセスして、関連する品質グレード付け又は検査指標を取得してよい。そのようなシステム及び方法を用いることで、操作者は、データサイエンスのスキル、或いは他のソフトウェア（例えば、ジュパイター（Ｊｕｐｙｔｅｒ））の知識が全くなくても、（例えば、ＱＣに関する）操作者にとって有用な情報を得ることができる。場合によっては、操作者は、自分の領域の知識を用いて、レポート内のグレード及び／又はクラウド内のデータを精査して（迅速且つ容易に）追加、削除、及び／又は編集することが可能である。場合によっては、能動的学習に使用される更新されたレポート及び／又はデータ（これは、例えば、操作者によって追加、削除、又は編集された、改訂されたグレード及び／又は他のラベル情報を含む）が自動的に一元化クラウドデータベースに保管されてよい。そしてその新しい情報が、顧客（又は操作者、又は所有者）のシステムの１つ以上に対する新しいＡＩモデルトレーニングをトリガすることが可能である。又、クラウドにアーカイブされているデータを使用して、（例えば、数時間、数日、数か月、又は数年の）時間に対する履歴トレンドを示すことが可能である。場合によっては、クラウドにあるレポート及び／又はデータから集計レポートが作成されてよく、例えば、複数の光学検査システム（及び／又はライン、及び／又は設備）からのデータをまとめた集計レポート、或いは、（例えば、システム、場所等で）フィルタリングされたデータを含む集計レポートが作成されてよい。

【0080】

光学検査方法

【0081】

本開示全体にわたって、移動物体用の光学検査システムに関するシステム及び方法について述べている。本明細書に記載の光学検査システム（例えば、図１～５に示したシステム）は、移動物体の光学検査の方法を実施することに使用されてよい。

【0082】

幾つかの実施形態では、移動物体の光学検査の方法は以下のステップを含む。例えば、以下の方法は、図１、２、及び／又は４に示したシステムを使用して実施されてよい。第１の画像キャプチャ装置が、動いている物体の画像を取得してよい。第１の画像キャプチャ装置と結合された第１の第１段階ストレージシステムが、第１の画像キャプチャ装置からの画像を記憶してよい。第１の第１段階ストレージシステムと結合された第１の第２段階プロセッサが、第１の画像キャプチャ装置からの画像を解析してよい。第２の画像キャプチャ装置が、その動いている物体の画像を取得してよい。第２の画像キャプチャ装置と結合された第２の第１段階ストレージシステムが、第２の画像キャプチャ装置からの画像を記憶してよい。第２の第１段階ストレージシステムと結合された第２の第２段階プロセッサが、第２の画像キャプチャ装置からの画像を解析してよい。第１及び第２の第２段階プロセッサと結合された第２段階ストレージシステムが、第１及び第２の第２段階プロセッサからの画像及び／又は情報を記憶してよい。第２段階ストレージシステムと結合された第３段階プロセッサが、第２段階プロセッサ及び第２段階ストレージシステムからの情報を処理してレポートを生成してよい。第３段階プロセッサと結合された第３段階ストレージシステムが、第３段階プロセッサからの画像及び情報を記憶してよい。

【0083】

幾つかの実施形態では、移動物体の光学検査の方法は以下のステップを含む。例えば、以下の方法は、図１、3、及び／又は5に示したシステムを使用して実施されてよい。第１の画像キャプチャ装置が、動いている物体の画像を取得してよい。第１の画像キャプチャ装置と結合された第１の揮発性メモリシステムが、第１の画像キャプチャ装置からの画像を記憶してよい。第１の揮発性メモリシステムと結合された第１の第２段階プロセッサが、第１の画像キャプチャ装置からの画像を解析してよい。第２の画像キャプチャ装置が、その動いている物体の画像を取得してよい。第２の画像キャプチャ装置と結合された第２の揮発性メモリシステムが、第２の画像キャプチャ装置からの画像を記憶してよい。第２の揮発性メモリシステムと結合された第２の第２段階プロセッサが、第２の画像キャプチャ装置からの画像を解析してよい。第１及び第２の第２段階プロセッサと結合された第３の第２段階プロセッサが、第１及び第２の第２段階プロセッサからの情報を処理してよい。第３の第２段階プロセッサと結合された第３段階ストレージシステムが、第３の第２段階プロセッサからの画像及び情報を記憶してよい。第３の第２段階プロセッサは、第３段階ストレージシステムに記憶されている画像及び情報を使用してレポートを生成してよい。

【0084】

本明細書に記載の光学検査システムの実施形態及び構成要素（例えば、図１～５に示したシステムに関連する実施形態及び構成要素）は、上述の、移動物体の光学検査の方法のうちの１つ以上を実施することに使用されてよい。

【0085】

本開示の発明の実施形態を詳細に参照してきた。又、本開示の発明の１つ以上の実施例を添付図面に示してきた。本明細書に記載の実施形態及び実施例のそれぞれを示してきたのは、本発明の技術を限定するためではなく説明するためである。更に、本発明の特定の実施形態を詳細に説明してきたが、当然のことながら、当業者であれば、上述の内容が理解されれば、それらの実施形態の変更、変形、及び均等物が容易に考案されよう。例えば、１つの実施形態に関して図示又は説明された特徴が別の実施形態で使用されて、更なる実施形態が得られることがあってよい。本発明対象は、添付の特許請求項及びそれらの均等物の範囲内にあるそのような修正形態及び変形形態を全て包含するものとする。当業者であれば、添付の特許請求項においてより具体的に記載されている本発明の範囲から逸脱しない限り、本発明のそれら及び他の修正形態及び変形形態を実施されよう。更に、当業者であれば理解されるように、上述の説明はあくまで例であり、本発明の限定を意図するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【国際調査報告】