特表 2023-551198 ニューラルネットワーク訓練が搭載された目視検査用人工知能カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-07

(54)【発明の名称】ニューラルネットワーク訓練が搭載された目視検査用人工知能カメラ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231130BHJP

   G01N 21/88 20060101ALI20231130BHJP

【ＦＩ】

G06T7/00 610Z

G06T7/00 350C

G01N21/88 J

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023530617

(86)(22)【出願日】2021-11-18

(85)【翻訳文提出日】2023-05-18

(86)【国際出願番号】 US2021059974

(87)【国際公開番号】W WO2022115314

(87)【国際公開日】2022-06-02

(31)【優先権主張番号】63/118,607

(32)【優先日】2020-11-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523184995

【氏名又は名称】ディープビュー コープ．

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】デービス，エリヤフ

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051EB05

5L096BA03

5L096CA02

5L096DA02

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

本明細書には、目視部品検査を実行するためのシステム及び方法が記載されている。システムは、撮像デバイスを少なくとも１つの画像認識ニューラルネットワークと併せて使用して、部品の画像によって部品の特性を識別し、部品検査中に、又は非部品検査中に、のいずれかでシステムを訓練して、これらの特性をよりよく認識する。
【選択図】図１

【特許請求の範囲】

【請求項1】

製造プロセス、エンジニアリングプロセス、物流プロセス、及び産業プロセスのうちの１つの一環で部品の目視検査を実行するためのシステムであって、
撮像デバイスと、
前記撮像デバイスと通信するコンピュータハードウェアと、
前記コンピュータハードウェアによって実行されるコンピュータソフトウェアと、
少なくとも１つの画像認識ニューラルネットワークであって、前記少なくとも１つの画像認識ニューラルネットワークは、前記コンピュータハードウェアに搭載されて訓練するように構成されている、少なくとも１つの画像認識ニューラルネットワークと、を備える、システム。

【請求項2】

前記システムは、少なくとも１つの画像、及び少なくとも１つの画像ラベルを格納する、請求項１に記載のシステム。

【請求項3】

ユーザインターフェースを更に備える、請求項２に記載のシステム。

【請求項4】

デジタル通信デバイスを更に備え、前記デジタル通信デバイスは、プログラマブルロジックコントローラ（ＰＬＣ）、ローカルサーバ、及びインターネットサーバのうちの少なくとも１つである、請求項３に記載のシステム。

【請求項5】

前記ユーザインターフェースは、前記少なくとも１つの画像及び前記少なくとも１つの画像ラベルの操作を可能にする、請求項３に記載のシステム。

【請求項6】

前記少なくとも１つの画像認識ニューラルネットワークは、部品検査中及び非部品検査中のうちの少なくとも１つで訓練され得る、請求項１に記載のシステム。

【請求項7】

前記少なくとも１つの画像、前記少なくとも１つの画像認識ニューラルネットワーク、及び前記少なくとも１つのラベルは、前記コンピュータハードウェアに搭載格納されている、請求項２に記載のシステム。

【請求項8】

ユーザが、前記少なくとも１つの画像を検査し、前記少なくとも１つの画像に関する判定を行い得る、請求項２に記載のシステム。

【請求項9】

前記システムは、前記ユーザからのフィードバックを使用して、前記少なくとも１つの画像認識ニューラルネットワークを前記少なくとも１つの画像で訓練する、請求項８に記載のシステム。

【請求項10】

部品検査中に画像認識ニューラルネットワークを訓練するための方法であって、
撮像デバイスで少なくとも１つの画像をキャプチャすることと、
少なくとも１つの画像認識ニューラルネットワークで前記少なくとも１つの画像を検査することと、
ユーザインターフェースに検査結果を報告することと、
前記ユーザインターフェースを介して、前記少なくとも１つの画像の内容及び検査結果のうちの少なくとも１つに基づくユーザフィードバックを要請することと、
前記ユーザフィードバックを受信することと、
前記ユーザフィードバックに基づいて、前記少なくとも１つの画像認識ニューラルネットワークの内部重みを更新すること（すなわち、前記ユーザのフィードバックから受信された前記データから直接前記ネットワークを訓練すること）と、
任意選択で、前記システムの要請及びユーザフィードバックの受信のうちの少なくとも１つに基づいて行われる画像認識ニューラルネットワーク重み更新をレビュー及び検証することと、を含む、方法。

【請求項11】

システムに搭載された画像認識ニューラルネットワークを訓練するための方法であって、
少なくとも１つの画像であって、前記少なくとも１つの画像をアップロードすることと、ユーザインターフェースを介して、システムに搭載格納された画像のグループから前記少なくとも１つの画像を選択することと、のうちの少なくとも１つによって前記画像認識ニューラルネットワークを訓練するために使用される少なくとも１つの画像を選択することと、
任意選択で、前記少なくとも１つの画像内の関心の領域を識別することと、
ユーザに、前記ユーザインターフェースを介して、前記少なくとも１つの画像に少なくとも１つのラベルを適用するように要請することと、
前記少なくとも１つの画像及び前記少なくとも１つのラベルを、画像及び画像ラベルで構成された訓練サブセットと、画像及び画像ラベルで構成されたテストサブセットと、のうちの少なくとも１つに分割することと、
前記ユーザインターフェースを介して、前記ユーザからのニューラルネットワーク訓練パラメータを要請することと、
前記ユーザによって提供された前記少なくとも１つの画像と、前記訓練サブセット及びニューラルネットワーク訓練設定を含む前記少なくとも１つのラベルと、から、前記訓練サブセットの内容に基づくニューラルネットワーク重みを更新することと、
前記ユーザインターフェースを介して、前記ユーザがニューラルネットワーク訓練の進行状況を監視することを可能にし、前記ユーザインターフェース上に関連する訓練統計を表示することであって、前記訓練統計は、前記画像認識ニューラルネットワークが前記テストサブセットに対してどれだけうまく機能を果たしているかを反映したものである、表示することと、
前記ニューラルネットワーク訓練に続いて、前記ユーザインターフェースを介して、画像及びラベルの前記テストサブセットでの前記ニューラルネットワーク訓練の結果を表示し、０～１００％の範囲の信頼度スコアを含む、前記テストサブセットの前記画像認識ニューラルネットワークの前記ユーザ予測に対して表示することと、を含む、方法。

【請求項12】

前記方法は、検査プロセスの一部である、請求項１０に記載の方法。

【請求項13】

前記少なくとも１つの画像の前記内容は、欠陥、不適合、バーコード、及びデータマトリクスのうちの少なくとも１つである、請求項１０に記載の方法。

【請求項14】

前記少なくとも１つの画像に前記少なくとも１つの画像の前記内容のニューラルネットワーク予測がマッピングされ、前記ニューラルネットワーク予測は、二次元ボックス、三次元ボックス、及び前記ニューラルネットワーク予測を強調する半透明色、のうちの少なくとも１つとして視覚化される、請求項１３に記載の方法。

【請求項15】

前記少なくとも１つの画像は、無限スクロールを有するユーザインターフェース上で可視である、請求項１０に記載の方法。

【請求項16】

前記画像認識ニューラルネットワークの訓練中に、前記ユーザインターフェース上に、訓練誤差対時間のグラフが表示される、請求項１５に記載の方法。

【請求項17】

前記ユーザインターフェース上で、前記少なくとも１つの画像の履歴が検索可能である、請求項１５に記載の方法。

【請求項18】

前記少なくとも１つの画像の前記内容に関する判定を行うための信頼度閾値がユーザ変更可能である、請求項１０に記載の方法。

【請求項19】

前記画像認識ニューラルネットワークは、前記少なくとも１つの画像の前記内容を識別することと、前記少なくとも１つの画像の前記内容に基づく判定を行うことと、のうちの少なくとも１つのために訓練された少なくとも１つの畳み込みニューラルネットワークを含む、請求項１０に記載の方法。

【請求項20】

前記撮像デバイスは、前記システムから分離されており、前記撮像デバイスは、Ｇｉｇ－Ｅカメラを含み、前記Ｇｉｇ－Ｅカメラは、有線接続を介して前記システムに接続されている、請求項１に記載のシステム。

【請求項21】

前記撮像デバイスは、少なくとも１つの画像を並列に処理する複数の撮像デバイスを含み得る、請求項１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、米国仮出願第６３／１１８，６０７号の優先権を主張し、これは、参照によりその全体が本明細書に組み込まれる。

【0002】

連邦政府支援の研究又は開発に関する声明
該当なし。

【0003】

コンパクトディスクで提出された資料の参照による組み込み
該当なし。

【0004】

本教示は、製造環境、エンジニアリング環境、産業環境、又は物流環境に由来する部品を検査するためのシステム及び方法に関する。

【背景技術】

【0005】

ニューラルネットワークを訓練するために必要なコンピュータハードウェアは、歴史的に最終製品（例えば、撮像デバイス）に展開するにはサイズが大きすぎる。これは、ニューラルネットワークが訓練された後にニューラルネットワークを実行するよりも、ニューラルネットワークを訓練するのにははるかに多くの計算能力を要するからである。

【0006】

しかしながら、十分なコンピュータハードウェア及び適正なソフトウェアを使用すると、ニューラルネットワークを１つの最終製品又はデバイス上で直接訓練することが可能である。更に、ニューラルネットワークがニューラルネットワークの環境とインタラクトしているときに、ニューラルネットワークをリアルタイムで訓練することができる。

【0007】

部品検査中又はリアルタイムで、適当及び不適当な部品を認識及び検査するようにニューラルネットワークを訓練しながら部品の画像をキャプチャすることができるシステムを有する部品に特定すれば、最終製品上で行われることの全てが大いに有益となろう。加えて、部品検査中に（リアルタイムで）、及び非部品検査中に（非リアルタイムで）、画像認識ニューラルネットワークを訓練する柔軟性を有するシステムが有用である。

【発明の概要】

【0008】

本教示は、製造プロセス、エンジニアリングプロセス、物流プロセス、及び産業プロセスのうちの１つの一環で部品の目視検査を実行するためのシステムを含み、システムは、撮像デバイスと、撮像デバイスと通信するコンピュータハードウェアと、コンピュータハードウェアによって実行されるコンピュータソフトウェアとびコンピュータハードウェアに搭載されて訓練するように構成された少なくとも１つの画像認識ニューラルネットワークと、を備える。部品検査は、製造環境、エンジニアリング環境、産業環境、又は物流環境のうちの１つで行われ得る。ハードウェアは、撮像デバイスと論理的に通信し、ソフトウェアは、ハードウェアによって実行される。少なくとも１つの画像認識ニューラルネットワークは、部品を検査する目的でコンピュータハードウェアに搭載されて訓練するように構成されている。一実施形態では、少なくとも１つの画像認識ニューラルネットワークは、コンピュータハードウェアに搭載されては訓練しないように構成されている。別の実施形態では、システムを使用して、全てが単一の製造生産ライン上にある複数の様々な部品を検査し得る。別の実施形態では、システムは、複数の生産ライン上の様々な部品を検査し得る。別の実施形態では、システムは、様々な部品を、部品上の異なる関心の領域について検査し得る。例えば、システムは、単一の生産ライン上の鋼及びアルミの両方を検査し得る。

【0009】

更なる態様によれば、システムは、少なくとも１つの画像及び少なくとも１つの画像ラベルを格納する。ユーザは、全てがコンピュータハードウェアに搭載された、全ての画像、画像ラベル、及び画像認識ニューラルネットワークの格納リポジトリ又はデータベースにアクセスし得る。

【0010】

また別の態様によれば、システムは、ユーザインターフェースを備える。一実施形態では、ユーザインターフェースは、ウェブブラウザを介してアクセス可能である。別の実施形態では、ユーザインターフェースは、仮想現実デバイス上で視覚化される。別の実施形態では、ユーザインターフェースは、２Ｄスクリーン上で可視である。別の実施形態では、ユーザインターフェースは、ホログラフィックディスプレイ上で視覚化される。別の実施形態では、ユーザインターフェースは、混合現実デバイスを介して視覚化される。ユーザインターフェースは、コンピュータハードウェアに搭載された全ての画像、画像ラベル、及び画像認識ニューラルネットワークにアクセスするためにユーザアクセス可能である。一実施形態では、ユーザインターフェース及びシステムは、１つのコンポーネントに統合されている。別の実施形態では、ユーザインターフェース及びシステムは、別個のエンティティである。

【0011】

更に別の態様によれば、システムは、画像をキャプチャする要求をシステムに送信し、かつシステムが検査結果を報告するデジタル通信デバイスに対する通信インターフェースを更に備える。一実施形態では、デジタルデバイスは、製造生産ライン上のプログラマブルロジックコントローラ（ＰＬＣ）である。別の実施形態では、デバイスは、ローカルサーバである。別の実施形態では、デバイスは、インターネットサーバである。

【0012】

更に別の態様によれば、ユーザインターフェースは、ユーザが少なくとも１つの画像及び少なくとも１つの画像ラベルを操作することを可能にする。

【0013】

また別の態様によれば、少なくとも１つの画像認識ニューラルネットワークは、部品検査中に、及び非部品検査中に、訓練され得る。本質的に、少なくとも１つの画像認識ニューラルネットワークは、リアルタイムで、及び非リアルタイムで、訓練され得る。リアルタイムでの訓練のために、システムは、システムのハードウェアに搭載された少なくとも１つの画像認識ニューラルネットワークを、製造又は部品検査中に訓練し得る。一例として、ユーザは、部品の画像の内容を検査した後、画像を合格又は不合格（適当又は不適当）としてマークし得、この画像を使用して、画像認識ニューラルネットワークを訓練する。非リアルタイムでの訓練について、システムに不可欠なコンピュータハードウェアは、ニューラルネットワーク訓練サーバが従来果たす役割で機能し得る。従前のアプローチでは、ニューラルネットワーク訓練サーバは、部品検査システムから分離されており、画像認識ニューラルネットワークを訓練するコンピュータハードウェア要件が、典型的には、画像認識ニューラルネットワークが画像を認識するように訓練された後に同じニューラルネットワークを実行するコンピュータハードウェア要件よりも桁違いに大きいため、ニューラルネットワーク訓練サーバは、従来では分離されている。対照的に、このシステムは、ニューラルネットワーク訓練サーバが従来果たした役割を果たすことができるコンピュータハードウェアで指定される。本質的に、ニューラルネットワーク訓練及びニューラルネットワーク推論（この事例では、部品検査）は、これまで試みられていなかった方途で単一のシステムに統合されている。生産中に発生しない訓練について、少なくとも１つの画像認識ニューラルネットワークは、生産が完了すると訓練する。

【0014】

更に別の態様によれば、少なくとも１つの画像、少なくとも１つの画像認識ニューラルネットワーク、及び少なくとも１つの画像ラベルは、システムのコンピュータハードウェア上に格納されている。

【0015】

更に別の態様によれば、ユーザは、少なくとも１つの画像を検査して、少なくとも１つの画像に関する判定を行い得る。一実施形態では、ユーザは、少なくとも１つの画像の内容を検査し得る。別の実施形態では、ユーザは、少なくとも１つの画像の関心の領域を検査し得る。

【0016】

更に別の態様によれば、システムは、ユーザからのフィードバックを使用して、少なくとも１つの画像認識ニューラルネットワークを少なくとも１つの画像で訓練する。一実施形態では、少なくとも１つの画像認識ニューラルネットワークは、少なくとも１つの画像内の関心の領域をよりよく認識するように訓練される。別の実施形態では、少なくとも１つの画像認識ニューラルネットワークは、少なくとも１つの画像の内容をよりよく認識するように訓練される。

【0017】

本教示はまた、部品検査のための画像認識ニューラルネットワークを訓練するための方法であって、撮像デバイスで少なくとも１つの画像をキャプチャすることと、少なくとも１つの画像認識ニューラルネットワークで少なくとも１つの画像を検査することと、ユーザインターフェースに検査結果を報告することと、ユーザインターフェースを介して、少なくとも１つの画像の内容及び検査結果のうちの少なくとも１つに基づくユーザフィードバックを要請することと、ユーザフィードバックを受信することと、ユーザフィードバックに基づいて、少なくとも１つの画像認識ニューラルネットワークの内部重みを更新すること（すなわち、ユーザのフィードバックから受信されたデータから直接ネットワークを訓練すること）と、任意選択で、システムの要請及びユーザフィードバックの受信のうちの少なくとも１つに基づいて行われる画像認識ニューラルネットワーク重み更新をレビュー及び検証することと、を含む、方法を含む。

【0018】

本教示はまた、画像認識ニューラルネットワークを訓練するための方法を含み、この方法は、少なくとも１つの画像であって、少なくとも１つの画像をアップロードすることと、ユーザインターフェースを介して、システムに搭載格納された画像のグループから少なくとも１つの画像を選択することと、のうちの少なくとも１つによって画像認識ニューラルネットワークを訓練するために使用される少なくとも１つの画像を選択することと、任意選択で、少なくとも１つの画像内の関心の領域を識別することと、ユーザに、ユーザインターフェースを介して、少なくとも１つの画像に少なくとも１つのラベルを適用するように要請することと、少なくとも１つの画像及び少なくとも１つのラベルを、画像及び画像ラベルで構成された訓練サブセットと、画像及び画像ラベルで構成されたテストサブセットと、のうちの少なくとも１つに分割することと、ユーザインターフェースを介して、ユーザからのニューラルネットワーク訓練パラメータを要請することと、ユーザによって提供された少なくとも１つの画像と、訓練サブセット及びニューラルネットワーク訓練設定を含む少なくとも１つのラベルと、から、画像認識ニューラルネットワークをインスタンス化し、その結果、訓練サブセットの内容に基づくニューラルネットワーク重みを更新することと、ユーザインターフェースを介して、ユーザがニューラルネットワーク訓練の進行状況を監視することを可能にし、ユーザインターフェース上に関連する訓練統計を表示することであって、訓練統計は、画像認識ニューラルネットワークがテストサブセットに対してどれだけうまく機能を果たしているかを反映したものである、表示することと、ニューラルネットワーク訓練に続いて、ユーザインターフェースを介して、画像及びラベルのテストサブセットでのニューラルネットワーク訓練の結果を表示し、０～１００％の範囲の信頼度スコアを含む、テストサブセットの画像認識ニューラルネットワークのユーザ予測に対して表示することと、を含む。これらの信頼度スコアは、ニューラルネットワークの予測の正解率に関するニューラルネットワークの確信度の表現である。システムは、画像認識ニューラルネットワークがテストサブセットに対してどれだけうまく機能を果たすかに基づいて同じ画像認識ニューラルネットワークを定期的に評価しながら、画像認識ニューラルネットワークを画像及びラベルの訓練サブセットで訓練する。テストサブセットは、訓練には使用されず、テストサブセットは、評価にのみ使用される。ユーザは、システムにフィードバックを提供するとともに、少なくとも１つの画像認識ニューラルネットワークをレビュー及び検証する。少なくとも１つの画像認識ニューラルネットワークの訓練中、画像の内容を正確に識別する画像認識ニューラルネットワークの能力は、インターニューロン伝達信号強度を増強又は減弱するニューラルネットワークの重みの調整によって制御される。一実施形態では、撮像デバイスによってキャプチャされた画像は、３Ｄマトリクスの画素値に変換される。一実施形態では、画像は、１２８０×９６０画像であり、この場合に、３Ｄマトリクスは、１２８０×９６０×３、第１の次元は、画像の幅、第２の次元は、画像の高さ、第３の次元は、赤、緑、青のカラーチャネルの各々のものとなろう。別の実施形態では、画像は、グレースケール画像であり、グレースケールは、単一のチャネルがグレースケールの画素値である１２８０×９６０×１の３Ｄ行列、代替的に、便宜的に、３つのカラーチャネルが全て同一のグレースケールの画素値である、カラーに使用される１２８０×９６０×３の３Ｄ行列と同じ３Ｄ行列によって表され得る。後者のアプローチは、グレースケールとカラー画像認識ネットワークとの間のより大きな共通性を可能にする。少なくとも１つの画像認識ニューラルネットワークは、各ネットワーク重み更新のための複数の画像で訓練され得る。ユーザに報告された検査結果は、全ての画像が画像認識ニューラルネットワークによって訓練され、偽陽性及び偽陰性を含み得る訓練統計を生成したときであり得る。訓練に続いて、ユーザインターフェース上に、信頼度閾値を有する画像が表示される。少なくとも１つの画像認識ニューラルネットワークは、より正確な判定に到達するように調整され得る。

【0019】

更なる態様によれば、方法は、検査プロセスの一部である。

【0020】

また別の態様によれば、少なくとも１つの画像の内容は、変動する。一実施形態では、少なくとも１つの画像の内容は、部品の不完全性であり得る。別の実施形態では、内容は、不適合であり得る。別の実施形態では、内容は、バーコードであり得る。別の実施形態では、内容は、データマトリクスであり得る。ユーザが検査したい少なくとも１つの画像の任意の特徴は、内容であり得る。

【0021】

更に別の態様によれば、少なくとも１つのニューラルネットワークの予測は、少なくとも１つの画像にマッピングされる。一実施形態では、ニューラルネットワーク予測の画像の領域の周りに２Ｄボックスが描画される。別の実施形態では、ニューラルネットワーク予測の画像の領域の周りに３Ｄボックスが描画される。別の実施形態では、ニューラルネットワーク予測の画像の領域は、赤又は緑などの半透明色で強調され、それを通して、ニューラルネットワークの予測を含む画像の領域（例えば、部品の特徴の有無）を、半透明画像の強調を通して依然として見ることができる。

【0022】

更に別の態様によれば、少なくとも１つの画像は、無限スクロールを有するユーザインターフェース上で可視である。一実施形態では、この構成では、ユーザインターフェースは、撮像デバイスと通信するコンピュータハードウェアと通信する。別の実施形態では、ユーザインターフェースは、少なくとも１つの画像を有するデジタル記憶媒体と通信し、この場合に、デジタル記憶媒体は、システムのコンピュータハードウェアと不可分である。

【0023】

更に別の態様によれば、訓練誤差対時間のグラフは、少なくとも１つの画像認識ニューラルネットワークの訓練中にユーザインターフェース上に表示可能である。

【0024】

更に別の態様によれば、少なくとも１つの画像の履歴は、ユーザインターフェース上で検索可能である。検索可能であるパラメータは、時間、部品、及びＡＩ信頼度を含み得る。

【0025】

更に別の態様によれば、システムが少なくとも１つの画像の内容に関して判定を行うとき、判定が正しいという信頼度閾値は、ユーザによって変更可能である。

【0026】

更に別の態様によれば、少なくとも１つの画像認識ニューラルネットワークは、少なくとも１つの画像の内容を識別するように訓練された少なくとも１つの畳み込みニューラルネットワークを含む。畳み込みニューラルネットワークは、画像を表す画素値の２Ｄマトリクスを入力として取り、ネットワークが画像認識を実行する際に、この２Ｄ次元性が保存される。少なくとも１つのニューラルネットワークへの入力は、画像画素値のデータ構造であり、少なくとも１つのニューラルネットワークの出力は、画像の内容に基づいて行われた判定、例えば関心の領域の認識、を表すデータを有するデータ構造である。アップロードされた画像は、ニューラルネットワークの入力に変換され、出力は、正しい画像ラベルと対比される。ニューラルネットワークの出力が正しい画像ラベルとは異なる場合、ニューラルネットワークは、後続の画像に対してよりよく機能を果たすように更新される。

【0027】

一実施形態では、システムは、鋼の表面の傷及びバリを検査するために使用され得る。別の実施形態では、システムは、鋳造金属部品の欠陥を検査するために使用され得る。別の実施形態では、システムは、レーザ溶接の溶接不適合を検査するために使用され得る。別の実施形態では、システムは、プリント回路基板（ＰＣＢ）アセンブリがその全ての部品を有することを確実にするために使用され得る。別の実施形態では、システムは、歯車が正しく機械加工されていることを確実にするために使用され得る。別の実施形態では、システムは、航空機エンジンを検査するために使用され得る。別の実施形態では、システムは、自動エンジンを検査するために使用され得る。別の実施形態では、システムは、バーコード検査及びデータマトリクス検査に使用され得る。別の実施形態では、システムは、部品識別、バーコード識別、及びデータマトリクス識別に使用され得る。別の実施形態では、システムは、部品を分類するために使用され得る。本質的に、システムは、任意の製造プロセス、エンジニアリングプロセス、産業プロセス、及び物流検査プロセスに使用され得る。

【0028】

撮像デバイスは、いくつかのデバイスから選択され得、この場合に、撮像デバイスは、システム全体から分離され得る。一実施形態では、システムは、ローカル有線ネットワークを介して撮像デバイスに接続されている。別の実施形態では、撮像デバイスは、Ｇｉｇ－Ｅカメラであり得る。別の実施形態では、撮像デバイスは、複数のＧｉｇ－Ｅカメラ、すなわち、２つ以上のＧｉｇ－Ｅカメラを含み得る。別の実施形態では、撮像デバイスは、カメラである。別の実施形態では、撮像デバイスは、拡張現実デバイスである。別の実施形態では、撮像デバイスは、イメージデバイスからのイメージデバイス視野内の物体の距離を表す３Ｄ点群を報告する。別の実施形態では、撮像デバイスは、仮想現実デバイスである。別の実施形態では、撮像デバイスは、内蔵カメラを有するコンピュータである。別の実施形態では、撮像デバイスは、外部カメラに接続されたコンピュータである。別の実施形態では、撮像デバイスは、内蔵カメラを有するスマートフォンである。

【0029】

システムは、複数の撮像デバイスに対して並列に動作し得る。一実施形態は、システムに接続された複数のＧｉｇ－Ｅカメラである。別の実施形態は、システムに接続された複数のカメラである。

【0030】

少なくとも１つの画像は、ワンクリックでシステムにアップロードされ得る。一実施形態では、クリックは、コンピュータのマウスであり得る。別の実施形態では、クリックは、カメラ上のボタンであり得る。別の実施形態では、クリックは、スマートフォン上のボタンであり得る。別の実施形態では、クリックは、拡張現実デバイス上のボタンであり得る。別の実施形態では、クリックは、仮想現実デバイス上のボタンであり得る。

【0031】

本教示のこれら及び他の特徴、態様、及び利点は、以下の説明、実施例、及び添付の特許請求の範囲を参照してよりよく理解されるであろう。

【図面の簡単な説明】

【0032】

当業者は、本明細書に記載される図面が、例示のみを目的としていることを理解するであろう。それらの図面は、本教示の範囲を、いかなる方途でも限定することを意図されていない。

【0033】

【図1】システムのフローチャート。

【0034】

【図2】システムが部品検査プロセスに関連する際のシステムのフローチャート。

【0035】

【図3】部品検査中のシステムのフローチャート。

【0036】

【図4】非部品検査中のシステムのフローチャート。

【発明を実施するための形態】

【0037】

略語及び定義

【0038】

本発明の理解を容易にするために、本明細書で使用されるいくつかの用語及び略語は、以下のように定義される：

【0039】

部品：本明細書で使用される場合、「部品」という用語は、製造プロセス、エンジニアリングプロセス、産業プロセス、又は物流プロセスの一環で検査されている任意の物体、例えば、車両コンポーネント、家庭用電化製品、出荷ボックス、及び電子製品を指し、これらの全ては、製造プロセス、エンジニアリングプロセス、産業プロセス、又は物流プロセスの一環で検査され得る。

【0040】

撮像デバイス：本明細書で使用される場合、「撮像デバイス」という用語は、視覚画像を記録、記憶、又は伝送することができる任意の機械的な、デジタル式の、又は電子的な観視機器を指す。これらの画像は、部品の二次元（２Ｄ）又は三次元（３Ｄ）画像であり得る。２Ｄは、撮像デバイスの視野の幅及び高さに基づく視覚表現を指す。３Ｄは、撮像デバイスの視野の幅及び高さに基づく視覚表現を指し、第３の次元は、イメージセンサから物体までの距離を表す。本明細書で参照される２Ｄ画像及び３Ｄ画像は、２Ｄ画像又は３Ｄ画像がモノクローム又はマルチクローム（赤、緑、及び青）、のうちの１つで表現される色次元を追加的に有し得る。２Ｄ画像及び３Ｄ画像は、受動的光子受信、又は後続の光子受信を伴う能動的光子生成、のうちの１つを介してキャプチャされ得る。能動的光子生成がなく３Ｄに変換された２Ｄ画像の場合、画像後処理は、深度寸法を推測することができる。

【0041】

搭載：本明細書で使用される場合、「搭載」という用語は、システムのハードウェアに組み込まれた機能又は特徴を表すこと、又はそれから制御されることを指す。

【0042】

画像：本明細書で使用される場合、「画像」という用語は、撮像デバイスからの一部の２Ｄ表現、又は撮像デバイスからの一部の３Ｄ表現のいずれかを指し得、この場合に、第３の次元は、画像センサからの物体距離である。

【0043】

ニューラルネットワーク：本明細書で使用される場合、「ニューラルネットワーク」という用語は、学習可能な重みを有するデジタルデータ構造を指し、この場合に、コンピュータの表現は、明示的にプログラムされるのではなく、学習される。学習アルゴリズムの詳細及びデータ構造アーキテクチャの詳細は、変動し得る。ニューラルネットワークの例としては、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、トランスフォーマ、又は他のニューラルネットワークアーキテクチャを挙げることができ、学習アルゴリズムは、教師あり学習、教師なし学習、又は強化学習のうちの１つを伴い得る。

【0044】

訓練された：本明細書で使用される場合、「訓練された」という用語は、一定の期間にわたる実践及び命令を通じて特定のスキル又はタイプの行動を教えられたことを指す。

【0045】

リアルタイムで：本明細書で使用される場合、「リアルタイムで」という用語は、入力データがフィードバックとして事実上即座に利用可能であるように、入力データがミリ秒内で処理されることを指す。

【0046】

無限スクロール：本明細書で使用される場合、「無限スクロール」という用語は、ユーザがページをスクロールするにつれてコンテンツを継続的にロードし、ページネーションの必要性を排除する技法を指す。

【0047】

部品を検査するためのシステム及び方法

【0048】

本発明は、いくつかのサブシステムを備えるシステム１００を対象とする。サブシステム＃１ １０５は、画像光学素子１２２、又は撮像デバイスのレンズを備える。この実施形態では、撮像デバイスは、カメラであるが、撮像デバイスは、画像をキャプチャすることができる他のデバイスであり得る。カメラハードウェアは、サブシステム＃２ １１０、並びにサブシステム＃３及び＃４ １１５を備える。サブシステム＃２ １１０は、光を画像に変換することによって、システム１００によってキャプチャされている画像を検出するイメージセンサ１２４を備える。サブシステム＃３及び＃４ １１５は、撮像デバイスが使用するハードウェア及びソフトウェアを含む。センサインターフェース電子装置１２６及びＡＩチップ１２８は、コンピュータハードウェアを含み、入出力通信１３０は、コンピュータソフトウェアを含む。センサインターフェース電子装置１２６は、コンピュータハードウェアにデジタル入力を提供する一方、ＡＩチップ１２８は、画像認識ニューラルネットワークを実行するハードウェアとして機能する。別の実施形態では、ＡＩチップ１２８は、２つ以上の画像認識ニューラルネットワークを実行し得る。サブシステム＃５ １２０は、プログラマブルロジックコントローラ（ＰＬＣ）１３２に対するインターフェースを備え、これは、システム１００と、例えば、部品検査のためにシステム１００に部品を提示する生産ラインと、の間の接続部として機能する。

【0049】

図２は、生産ライン２０５、撮像デバイス２１０（本実施形態ではカメラ）、及びユーザインターフェース２１５（本実施形態ではウェブブラウザ）を特徴とする製造部品検査プロセス２００を示す。生産ライン２０５は、デジタル通信デバイス２７２（本実施形態ではＰＬＣ）と連携して作動する種々のプロセス２７０を含む。種々のプロセス２７０は、部品検査には関係せず、しかも、デジタル通信デバイス２７２（本実施形態ではＰＬＣ）によって制御される動作を指す。デジタル通信デバイス２７２は、検査要求２８６をトリガし得、これにより、撮像デバイス２１０は、撮像デバイスのハードウェア及びソフトウェア２７６を用いて画像を取得し２７４、かつ画像を検査し２８０、検査結果は、システムのコンピュータハードウェア２８２によって処理され、システムに搭載されたデータベース２８４に格納される。次いで、検査結果は、デジタル通信デバイス２７２に転送される。検査結果は、任意選択で、ユーザインターフェース２１５上に示されてもよい。追加的に、システムは、ＰＬＣ以外のデバイスから検査要求を受信し、結果をＰＬＣ以外のデバイスに報告してもよい。例えば、カメラは、コンピュータからローカルネットワークを介して、検査要求を受信し、検査結果を報告してもよい。ユーザインターフェース２１５上に現れる検査結果は、撮像デバイス２１０からの有線又は無線ネットワークを介して供され得る。システム１００のいくつかのパラメータ又は特徴が、ユーザインターフェース２１５上に示され得る。それらのうちの１つは、検査プロセス中に実行するための新しい画像認識ニューラルネットワークの選択である。この選択は、システム上に格納されたニューラルネットワークのリストから行われ得る。ユーザはまた、システム上に格納された利用可能なニューラルネットワークのリストに追加するか、又はリストから削除してもよい。システム上に格納されたニューラルネットワークの数は、少なくとも８つであり得る。追加的に、デジタル通信デバイス２７２は、例えば異なる検査プロセスを実行するために、ネットワークのリストからアクティブなニューラルネットワークを変更する要求をシステムに送信してもよい。別のパラメータは、検査結果のライブビュー２３０であり、ニューラルネットワーク検査予測が画像に直ちにマッピングされる２３５。部品検査履歴２４０は、ユーザインターフェース２１５での観視に利用可能な別の特徴である。履歴は、時間、部品、及び信頼度によって検索可能２４５であり得る。カメラ設定２５０はまた、変更され得るカメラ露出、カメラゲイン、及びネットワーク通信設定例２５５の設定を用いて、ユーザインターフェース２１５上で観視可能及び変更可能であってもよい。信頼度設定２６０はまた、より正確な予測を行うことが可能な検査報告のための信頼度設定閾値の調整２６５を伴って、ユーザインターフェース２１５上に示されてもよく、ユーザは、例えば、閾値未満の信頼度で行われた任意のニューラルネットワーク予測が検査プロセスに不合格であるとして報告され得る、信頼度閾値を設定することが可能であり得る。

【0050】

図３は、リアルタイムでの部品検査プロセスを示すフローチャート３００である。画像キャプチャ３０５の後に、画像の検査３１０が続く。次に、ユーザインターフェースに検査結果が報告され３１５、その後に、ユーザは、システムにフィードバックを提供する３２０。システムは、ユーザフィードバックを受信し３２５、その後に、ユーザフィードバックに基づくニューラルネットワーク訓練更新３３０が続き、ニューラルネットワーク訓練更新のユーザレビュー及び検証のオプション３３５を伴う。

【0051】

図４は、非リアルタイムでの部品検査プロセスのフローチャート４００を示す。撮像デバイス４０５（この実施形態ではカメラ）と不可分のコンピュータハードウェアに搭載されたサーバが、ユーザインターフェース４１０と通信する。撮像デバイスによって画像データセット４１５が撮影され、撮像デバイスは、全ての変更を自動的に保存する４２０。次は、画像をアップロードするか、又はセキュアに格納された画像、画像ラベル、及びメタデータ４３０を有する、撮像デバイス４２５と統合されたコンピュータハードウェアに搭載された画像を選択することである。画像にラベル付けすること４３５は、次のものである：画像の無限スクロール４４０及びギャラリービューで選択可能な画像４４５を有する。一実施形態では、画像にラベル付けすること４３５は、ｇｏ／ｎｏ ｇｏ判断をもたらし得る。別の実施形態では、画像にラベル付けすること４３５は、合格／不合格判断をもたらし得る。別の実施形態では、画像にラベル付けすること４３５は、欠陥又は不適合のうちの１つの識別をもたらし得る。別の実施形態では、画像にラベル付けすること４３５は、バーコード又はデータマトリクスの識別をもたらし得る。次は、画像認識ニューラルネットワークを訓練し４５０、システムが画像ラベルに基づいて区別することを学習する４５５ことである。次いで、プロセスは、画像認識ニューラルネットワークの予測をレビューし４６０、正しい予測及び誤った予測のレビューが伴う４６５。このステップではまた、画像データセットの検証が実行されてもよい。画像認識ニューラルネットワーク４６０の予測をレビューすることの後に、画像認識ニューラルネットワークをシステムのコンピュータハードウェア上に展開し、画像認識ニューラルネットワークを任意選択でセキュアに暗号化すること４７５が続く。

【0052】

他の実施形態

【0053】

上述の詳細な説明は、本発明の実施において当業者を補助するために提供されている。しかしながら、本明細書に記載及び特許請求された本発明は、本明細書に開示された特定の実施形態によって範囲が限定されるものではなく、それは、これらの実施形態が、本発明のいくつかの態様の例示として意図されているからである。任意の同等の実施形態が、本発明の範囲内であることが意図されている。実際、本明細書に示され、かつ記載されるものに加えて、本発明の多様な修正が、本発明の趣旨又は範囲から逸脱しない前述の説明から当業者に明らかとなるであろう。そのような修正はまた、添付の特許請求の範囲内に該当することが意図される。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】