(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-25
(54)【発明の名称】反射する物体を撮像するためのシステムおよび方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20230518BHJP
G01N 21/84 20060101ALI20230518BHJP
【FI】
G01N21/88 Z
G01N21/84 D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022547904
(86)(22)【出願日】2021-02-07
(85)【翻訳文提出日】2022-10-03
(86)【国際出願番号】 IL2021050143
(87)【国際公開番号】W WO2021156873
(87)【国際公開日】2021-08-12
(32)【優先日】2020-02-06
(33)【優先権主張国・地域又は機関】IL
(32)【優先日】2020-02-06
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-09-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】520228267
【氏名又は名称】インスペクト,エー.エム.ブイ リミテッド
(74)【代理人】
【識別番号】100114775
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ハイアット,ヨナタン
(72)【発明者】
【氏名】ギンスバーグ,ラン
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA01
2G051AB02
2G051BA20
2G051BB20
2G051BC02
2G051CA04
2G051CD06
(57)【要約】
物体の自動目視検査のための方法およびシステムは、照明の異なるパターンを使用することを含み、各パターンは、照明の一定の周波数のパルスを含む。照明の各異なるパターンのパルスは、1つのまたは別の照明パターンによって照らされる画像を取得することを可能にするように時間的にオフセットされる。画像は、本質的にグレアのない物体の完全な画像を生成するために、物体の最細部が利用可能である異なる画像の異なる部分を使用して合成される。一定の周波数のパルスの使用によって、異なるパターンの照明画像を取得できるようになり、作業者にちらつきのない検査環境を提供しながら、物体のグレアのない画像を作成することができるようになる。
【選択図】
図2B
【特許請求の範囲】
【請求項1】
検査ライン上の物体の自動目視検査プロセスのための方法であって、
第1のパターン照明のパルスで前記検査ライン上の前記物体を照らすことであって、前記パルスが一定の周波数である、照らすことと、
第2のパターン照明のパルスで前記検査ライン上の前記物体を照らすことであって、前記パルスが一定の周波数であり、前記第1のパターンおよび第2のパターンの前記パルスが、互いに時間的にオフセットされる、照らすことと、
前記第1のパターンからのパルスと一致するが、前記第2のパターンからのパルスとは一致しない時間に第1の画像を取得することと、
前記第2のパターンからのパルスと一致するが、前記第1のパターンからのパルスとは一致しない時間に第2の画像を取得することと、
前記第1の画像および第2の画像のうちの少なくとも一方を使用して、前記物体の目視検査を行うことと
を含む方法。
【請求項2】
前記第1の画像と第2の画像とを合成して、合成画像を提供することと、
前記合成画像を使用して、前記物体の目視検査を行うことと
を含む請求項1に記載の方法。
【請求項3】
前記第1のパターンのパルスと前記第2のパターンのパルスとの間の重複と一致する時間に第3の画像を取得することと、
前記第3の画像を使用して、前記物体の目視検査を行うことと
を含む請求項1に記載の方法。
【請求項4】
前記第3の画像を前記第1の画像または前記第2の画像と合成して、合成画像を取得することと、
前記合成画像を使用して、前記物体の目視検査を行うことと
を含む請求項3に記載の方法。
【請求項5】
前記合成画像をユーザに表示することを含む請求項2~4に記載の方法。
【請求項6】
画像を合成して、合成画像を取得することが、前記第1、第2、および/または第3の画像における対応する画素の値の統計に基づいて、前記合成画像の画素を作成することを含む、請求項2~4に記載の方法。
【請求項7】
前記合成画像の画素の値が、前記第1、第2、および/または第3の画像における前記対応する画素の値の加重平均に基づく、請求項6に記載の方法。
【請求項8】
前記自動目視検査プロセスが、物体が検査される検査段階の前のセットアップ段階を含み、
前記セットアップ段階中に、合成されると、前記第1の物体の最細部を示す第1の物体の合成画像を提供するように、最小数の画像およびそれらの対応する照明パターンを決定することと、
前記検査段階中に、前記セットアップ段階中に決定された前記対応する照明パターンを有する、第2の同じタイプの物体の前記最小数の画像を取得することと、
前記第2の同じタイプの物体の前記画像を合成して、前記第2の同じタイプの物体の目視検査を行うための合成画像を提供することと
を含む請求項2に記載の方法。
【請求項9】
前記第1の物体が、欠陥のない物体であり、前記第2の同じタイプの物体が、欠陥がないか、または欠陥があるかのいずれかである、請求項8に記載の方法。
【請求項10】
前記検査段階中に、前記第1の物体の配向に対する前記第2の物体の配向に基づく照明パターンを有する前記第2の物体の前記最小数の画像を取得することを含む請求項8に記載の方法。
【請求項11】
前記物体が、検査ライン上の品物または前記品物内の関心領域である、請求項1に記載の方法。
【請求項12】
前記物体の前記第1および第2の画像を取得する前に、前記検査ライン上の前記物体のHDR画像を取得することと、
前記HDR画像が高反射率の領域を含む場合、前記物体の前記第1および第2の画像を取得することと
を含む請求項1に記載の方法。
【請求項13】
自動目視検査のためのシステムであって、
検査ライン上の物体の画像をキャプチャするように構成されたカメラと、
一定の周波数で光パルスを生成するための光源であって、前記光パルスが、時間的にオフセットされ、照明の第1のパターンおよび照明の第2のパターンで前記カメラの視野(FOV)を照らす、光源と、
前記カメラおよび光源と通信しているプロセッサであって、前記光源を制御して、前記カメラのFOVを差動的に照らし、前記照明の第1のパターンまたは照明の第2のパターンのうちの一方からのパルスと一致するが、パルス間の重複のパルスとは一致しない時間に、前記カメラの露光イベントを同期させて、異なる照明パターン画像を生成するプロセッサと
を備えるシステム。
【請求項14】
前記プロセッサが、完全に照らされた画像を取得するために、パルス間の重複と一致する時間に、前記カメラの露光イベントを同期させるように構成されている、請求項13に記載のシステム。
【請求項15】
前記プロセッサが、前記カメラによって取得された画像を合成して、合成画像を提供し、前記合成画像を使用して、前記物体の目視検査を行うためのものである、請求項13~14に記載のシステム。
【請求項16】
前記プロセッサが、前記画像内の前記物体の配向に基づいて、前記カメラのFOVを差動的に照らすように、前記光源を制御するためのものである、請求項13に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、目視検査プロセス、例えば、生産ライン上の品物の検査に関する。
【背景技術】
【0002】
生産プロセス中の検査は、欠陥を識別し、その検出に応じて、例えば、欠陥を修理するか、または欠陥部分を廃棄することによって、製品の品質を制御するのに役立ち、したがって、生産性を向上させ、欠陥率を低減し、手直しおよび無駄を低減するのに有用である。
【0003】
自動目視検査方法は、生産ラインにおいて、製造された部品の完全性に機能的または審美的な影響を及ぼし得る視覚的に検出可能な異常を識別するために使用される。カメラを使用した、生産ラインのための既存の目視検査ソリューションは、カスタムメイドの自動目視検査システムに依存し、これは、典型的には、非常に高価であり、ハードウェアおよびソフトウェアコンポーネントの専門家による統合、ならびに検査ソリューションおよび生産ラインの耐用期間におけるこれらの専門家によるメンテナンスを必要とする。
【0004】
自動目視検査を使用するとき、画像品質は、検査のためのアルゴリズムを実行するプロセッサが、欠陥検出、品質保証(QA)、ソートおよび/またはカウント、ゲーティングなどの検査タスクを確実に実行する能力に影響を及ぼす。
【0005】
例えば、光沢のあるまたは反射する品物(透明なプラスチック包装内の錠剤など)は、通常、多くの方向に光を拡散して反射するつや消しの物体とは対照的に、光を鏡面(鏡のような)方向に反射する表面を有する。光沢に影響を及ぼし得る他の要因には、材料の屈折率、入射光の角度、および表面トポグラフィなどがある。光沢のある物体は鏡面反射するために、光沢のある物体の画像は、典型的には、グレアを含み、撮像された物体の細部が不明瞭になり得る。したがって、光沢のある物体の画像は、目視検査タスクには適していない。
【発明の概要】
【0006】
本発明の実施形態は、最小限のセットアップで、任意のタイプの品物について、目視検査プロセス中に、実質的にグレアのない品物の画像を取得するためのシステムおよび方法を提供する。
【0007】
物体ごとに収集された情報を最大化することを可能にし、物体タイプごとに実質的にグレアのない画像を取得することを可能にする照明/露光パターンを決定するために、検査プロセスのセットアップ段階中に、異なる照明および場合によっては異なる露光パターンを自動的にテストすることができる。
【0008】
次いで、セットアップ段階中に決定された照明/露光パターンを使用して、検査段階中に同じタイプの物体の画像を取得することができる。さらに、照明パターンは、画像内の物体の配向に基づいて自動的に調整される場合があり、その結果、検査段階に、物体がセットアップ段階中とは異なるように配向されたとしても、セットアップ段階中に収集された情報を依然として使用して、検査段階中にどの照明パターンを使用すべきかを決定することができる。
【0009】
セットアップ段階中に異なる照明/露光パターンをテストすることによって、物体の最大の情報を取得するために必要な最小の異なる照明/露光パターンのセットを決定することが可能になる。各照明/露光パターンの追加によって、別の画像をキャプチャすることが必要となり、これによって、全体的な検査時間が長くなり、必要とされる最小数の照明/露光パターンを決定することによって、全体的な検査時間がより短くなる。
【0010】
本発明の実施形態による自動目視検査のためのシステムは、検査ライン上の物体の画像をキャプチャするように構成されたカメラと、カメラの視野(FOV)の少なくとも一部を照らすための光源と、カメラおよび光源と通信しているプロセッサとを含む。
【0011】
いくつかの実施形態では、光源は光パルスを生成する。プロセッサは、光源を制御してカメラのFOVを差動的に照らし、カメラの露光イベントが光パルスと同期することを確実にして、各々が異なる照明パターンでキャプチャされる複数の異なる画像を生成する。
【0012】
一実施形態では、プロセッサは、光源の1つのセグメントを、パルスの第1のパターンで照らすように制御し、第2のセグメントを、パルスの第2のパターンで照らすように制御する。典型的には、第1のパターンおよび第2のパターンのパルスは各々、一定の周波数である。第1のパターンおよび第2のパターンのパルスは、パルスが重複する時間および重複しない時間が存在するように、互いにオフセットされてもよい。プロセッサは、第1のパターンと第2のパターンとの間でパルスの重複がない時間と一致するようにカメラの露光イベントを制御し得る。この露光時間中にキャプチャされた画像は、画像内の物体を検出するために使用されてもよく、および/または、目視検査のための合成画像を提供するために合成された複数の異なる照明パターン画像のうちの1つとして使用されてもよい。
【0013】
いくつかの実施形態では、プロセッサは、第1のパターンと第2のパターンの両方のパルスが重複する時間と一致するようにカメラの第1の露光イベントを制御し、第1のパターンおよび第2のパターンのパルスが重複しない時間と一致するように第2の露光イベントを制御し得る。第1の露光イベント中にキャプチャされた画像は、画像内の物体を検出するために使用されてもよく、および/または、目視検査のための合成画像を提供するために合成された異なる照明パターン画像のうちの1つとして使用されてもよい。
【0014】
次いで、プロセッサは、複数の画像のうちのどれが、合成されたときに、物体の最細部を示す物体の合成画像を提供するかを決定し得る。次いで、決定された画像を合成して、実質的にグレアのない画像である合成画像を提供し得る。合成画像に対して目視検査を行うことができる。
【0015】
「目視検査」という用語は、画像をユーザに表示すること、および/または画像に目視検査アルゴリズムを適用することを含み得る。本明細書でさらに詳述するように、「目視検査アルゴリズム」は、検査ライン上の物体を画像から検出し、検査プロセスの要件に基づいて物体を分類するように設計された、自動的に実行される一連のステップを指す。例えば、検査プロセスの要件は、物体の欠陥を検出すること、および/またはQA、ソートおよび/またはカウント、ゲーティングなどの他の検査タスクを実行することであり得る。本発明の実施形態による目視検査アルゴリズムは、典型的には、コンピュータビジョン技術を使用することを含む。
【図面の簡単な説明】
【0016】
次に、本発明は、より完全に理解され得るように、以下の例示的な図面を参照して、いくつかの例および実施形態に関連して説明される。
【0017】
【
図1A】本発明の実施形態による、セットアップ段階および検査段階を概略的に示す図である。
【
図1B】本発明の実施形態による、セットアップ段階および検査段階を概略的に示す図である。
【
図1C】本発明の実施形態による、自動目視検査のためのシステムを概略的に示す図である。
【
図2A】本発明の実施形態による、異なる照明パターンおよびカメラ露光タイミングを概略的に示す図である。
【
図2B】本発明の実施形態による、異なる照明パターンおよびカメラ露光タイミングを概略的に示す図である。
【
図3】本発明の実施形態による、目視検査のために実質的にグレアのない画像を取得するための方法を概略的に示す図である。
【
図4】本発明の実施形態による、複数の画像のうちのどれが物体の最細部を示す物体の合成画像を提供するかを決定するための方法を概略的に示す図である。
【
図5A】本発明の実施形態による、セットアップ段階における処理に基づいて、検査段階における目視検査のために実質的にグレアのない画像を取得するための方法を概略的に示す図である。
【
図5B】本発明の実施形態による、セットアップ段階における処理に基づいて、検査段階における目視検査のために実質的にグレアのない画像を取得するための方法を概略的に示す図である。
【
図6】本発明の別の実施形態による、目視検査のために実質的にグレアのない画像を取得するための方法を概略的に示す図である。
【
図7】本発明の一実施形態による、グレアのないHDR画像を取得することを含む、目視検査プロセスのタイムラインを概略的に示す図である。
【発明を実施するための形態】
【0018】
以下の説明では、本発明の様々な態様について説明する。説明の目的で、本発明の完全な理解を提供するために、特定の構成および詳細が記載される。しかし、本発明は、本明細書に提示される特定の詳細なしに実施され得ることも、当業者には明らかであろう。さらに、本発明を不明瞭にしないために、周知の特徴が省略または簡略化されることがある。
【0019】
別段に明記されていない限り、以下の説明から明らかなように、本明細書全体を通して、「分析する」、「処理する」、「計算する」、「計算する」、「決定する」、「検出する」、「識別する」、「作成する」、「生成する」、「取得する」、「適用する」などの用語を利用する説明は、コンピュータまたはコンピューティングシステム、または、コンピューティングシステムのレジスタおよび/またはメモリ内の電子などの物理量として表されるデータを、コンピューティングシステムのメモリ、レジスタ、または他のそのような情報記憶、送信、または表示デバイス内の物理量として同様に表される他のデータに操作および/または変換する同様の電子コンピューティングデバイスのアクションおよび/またはプロセスを指すことを理解されたい。別段に明記されていない限り、これらの用語は、オペレータのいかなるアクションとも無関係であり、いかなるアクションも伴わない、プロセッサの自動アクションを指す。
【0020】
「品物」および「物体」という用語は、互換的に使用することができ、同じことを説明することを意味する。
【0021】
「同じタイプの品物」または「同じタイプの物体」という用語は、同じ物理的構成のものであり、形状および寸法、ならびに場合によっては色および他の物理的特徴が互いに類似している品物または物体を指す。典型的には、単一の生産バッチもしくはシリーズの品物、または生産ライン上の同じ段階における品物のバッチは、「同じタイプの品物」であり得る。例えば、検査される品物が衛生製品である場合、同じバッチの異なるシンクボウルは、同じタイプの品物である。同じタイプの品物でも、許容差内で互いに異なることがある。
【0022】
欠陥は、例えば、品物の表面上の目に見える傷、品物または品物の一部の望ましくないサイズ、品物または品物の一部の望ましくない形状または色、品物の部品の望ましくない数、品物のインターフェースの誤ったまたは欠落したアセンブリ、破損したまたは焼けた部品、および品物または品物の一部の誤った位置合わせ、誤ったまたは欠陥のあるバーコード、および一般に、欠陥のないサンプルと検査済みの品物との間の任意の差異を含み得、これは、画像からユーザ、すなわち検査官に明らかになる。いくつかの実施形態では、欠陥は、拡大画像または高解像度画像、例えば、顕微鏡または他の専用カメラによって取得される画像においてのみ可視である欠陥を含み得る。
【0023】
典型的には、目視検査プロセスは、ユーザによって確認された品物の画像を、同じタイプの品物の未確認の画像が比較される参照として、未確認の画像内の品物の欠陥を検出し、またはQA、ソート、ゲーティング、カウントなど他の検査タスクのために使用する。ユーザ確認画像(「参照画像」とも呼ばれる)は、通常、検査段階の前のセットアップ段階中に取得される。
【0024】
図1Aおよび
図1Bは、本発明の実施形態による、セットアップ段階および検査段階を対応して概略的に示す。
【0025】
セットアップ段階では、同じタイプの製造品物の2つ以上のサンプル(いくつかの実施形態では、サンプルは欠陥のない品物である)、例えば、欠陥のないサンプル品2および2’が(1つ以上の)カメラ3の視野(FOV)3’内に連続して配置される。例えば、欠陥のないサンプル品2および2’は、コンベヤベルト9の移動により、最初に品物2がFOV3’に、次いで品物2’がFOV3’に入れるように、コンベヤベルト9を含む検査ライン上に配置され得る。カメラ3によってキャプチャされた画像は、ユーザインターフェースデバイス6上に表示され得る。
【0026】
各欠陥のないサンプル品2および2’は、光源5によって照らされ、カメラ3によって撮像される。これらの画像は、セットアップ画像または参照画像と呼ばれ得、例えば、各フレームにおいて、異なる照明パターンおよび/またはカメラ3の異なる撮像パラメータ、例えば、異なる焦点および露光時間を使用することによって、以下に説明するように、異なる条件下で取得され得る。プロセッサは、異なる条件下で取得された同じタイプの品物の異なる画像間の関係を分析し得る。セットアップ段階中のこの分析は、次の検査段階中の最小の処理時間で、照明および撮像パラメータを連続的に最適化することを可能にする。
【0027】
一実施形態では、セットアップ画像の分析を使用して、品物(例えば、品物2および2’)が、別の同じタイプの品物と並んだときに有意な遠近歪みを示さない空間範囲を決定する。異なる画像内の品物間の遠近歪みのレベルは、例えば、セットアップ画像間に対応する特徴を有さない品物内の領域を検出することによって、品物の境界または品物上のマークされた関心領域間の交差位置および角度を分析することなどによって分析することができる。空間範囲の境界は、2つ(またはそれ以上)のセットアップ画像(品物が異なるように配置および/または配向されてもよい)を比較し、どの画像が遠近歪みを示し、どの画像が遠近歪みを示さないかを決定することによって計算され得る。
【0028】
次いで、計算された範囲を使用して、参照画像と比較したときの歪みを回避するように、検査される品物を検査ライン上のどこに、および/またはどの配向、スケール、または他の配置で配置するかの境界を決定することができる。加えて、セットアップ画像のセットを互いの参照として使用することによって、プロセッサは、類似の空間分解を有する画像を検出することができ、次いで、この画像のセットを分析して、検査ライン上での品物の可能なごとに、登録、欠陥検出、および他の分析を可能にするのに十分な類似のセットアップ画像があるかどうかを確認することができる。
【0029】
セットアップ画像の分析は、品物の特性、品物の可能な2D形状および3D特性(例えば、検査ライン上の回転)に関する情報を収集するために、または、セットアップ画像間で保存される品物の一意に識別可能な特徴、およびこれらの一意の特徴間の空間的関係を見つけるために実行されてもよい。また、品物のタイプの完全な表現は、この品物に特徴的な形状許容差の範囲と、この品物に特徴的な表面変化がすべて、セットアップ画像のセットに現れるときに達成される。
【0030】
セットアップ画像から収集された情報に基づいて、プロセッサは、第2の品物がプロセッサによって以前に学習されていなくても、同じタイプの第2の品物を検出し、検査タスクを実行することができる。これにより、プロセッサは、(同じタイプの)新しい品物が撮像されたときを検出し、次いで、例えば、検査済みの品物における欠陥を検索するために、例えば、新しい品物の画像を同じタイプの品物の参照画像と比較して、参照画像と新しい品物画像との間の差を識別することを典型的に含む目視検査アルゴリズムを実行することができる。目視検査アルゴリズムによって実行される他のタスクは、生産ライン上の異なる物体間のソート、コードのデコード(DMC、QRコードなど)、生産ライン上に現在ある物体の数のカウントなどを含み得る。
【0031】
カメラおよび/または照明パラメータの調整に関するユーザへの指示は、ユーザインターフェースデバイス6を介してユーザに表示することができる。参照画像の分析に基づいて、品物に関する十分な情報が取得されたと決定されると、セットアップ段階が終了され得、ユーザインターフェースデバイス6を介して、コンベヤベルト9上へのサンプル(サンプル品2および2’)の配置を停止するように、および/またはコンベヤベルト9上に検査済みの品物4、4’および4’’(
図1Bに示されるように)を配置するように、通知が表示されるか、さもなければユーザに提示される。
【0032】
初期セットアップ段階に続く検査段階(
図1Bに概略的に示されている)では、サンプル品2および2’と同じタイプのものであり、欠陥を有し得るまたは有していない検査済みの品物4、4’および4’’が、カメラ3によって連続して撮像される。検査画像と呼ばれ得るこれらの画像は、コンピュータビジョン技術(例えば、機械学習プロセスを含む)を使用して、品物4、4’、および4’’に対して検査タスク(欠陥検出、QA、ソート、および/またはカウントなど)を実行することを可能にすることを含む、目視検査アルゴリズムを使用して分析される。
図1Bに示す例では、品物4’は欠陥7を含み、品物4および4’’は欠陥がない。本発明の実施形態では、検査画像は、セットアップ段階中に決定されたパターンで光源5によって照らされる。
【0033】
セットアッププロセスは、検査段階の前および検査段階中に実行され得る。いくつかの実施形態では、参照画像は、必ずしも初期セットアップ段階中だけでなく、検査プロセス全体にわたって(例えば、上述のように)分析されてもよく、その一例が
図1Aに示されている。例えば、検査段階中にユーザおよび/または目視検査アルゴリズムによって(例えば、欠陥があるか欠陥がないかのいずれかとして)ラベル付けされた検査画像は、次いで、分析され、場合によっては、初期セットアップ段階中に収集された情報を更新するために、新しい参照画像として(例えば、後述するように、参照画像データベースに)保存されてもよい。
【0034】
本明細書では、目視検査プロセスのセットアップおよび検査段階の特定の例について説明するが、本発明の実施形態は、目視検査プロセスの他のセットアップおよび検査手順で実施されてもよいことを理解されたい。
【0035】
本発明の実施形態による、検査ライン上の品物の自動目視検査のために使用され得る例示的なシステムが、
図1Cに概略的に示される。一実施形態では、システムは、1つ以上のカメラ103および1つ以上の光源105と通信するプロセッサ102を含む。プロセッサ102はまた、ユーザインターフェースデバイス106などのデバイスおよび/または記憶デバイス108などの他のデバイスとも通信し得る。
【0036】
システムの構成要素は、有線通信であっても無線通信であってもよく、適切なポートおよび/またはネットワークハブを含んでもよい。いくつかの実施形態では、プロセッサ102は、例えば、データ処理、記憶および処理能力、ならびに通信能力のために、製造プロセスで典型的に使用される、プログラマブル論理コントローラ(PLC)などのコントローラを介して、記憶デバイス108および/またはユーザインターフェースデバイス106などのデバイスと通信し得る。コントローラは、USB、Ethernet、適切なケーブリングなどを介して、プロセッサ102、記憶装置108、ユーザインターフェースデバイス106、および/またはシステムの他の構成要素(カメラ103および光源105など)と通信し得る。
【0037】
プロセッサ102は、例えば、1つ以上のプロセッサを含み得、中央処理装置(CPU)、グラフィックス処理装置(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、集積回路(IC)、または任意の他の適切な多目的または特定のプロセッサまたはコントローラとすることができる。プロセッサ102は、ローカルに埋め込まれていてもよく、クラウドベースなどリモートであってもよい。
【0038】
ユーザインターフェースデバイス106は、(例えば、モニタ上に表示されるテキストまたは他のコンテンツを介して)画像、命令、および/または通知をユーザに表示するための、モニタまたは画面などのディスプレイを含み得る。ユーザインターフェースデバイス106はまた、ユーザから入力を受信するように設計されてもよい。例えば、ユーザインターフェースデバイス106は、ユーザがフィードバックを入力することを可能にするために、モニタおよびキーボードおよび/またはマウスおよび/またはタッチスクリーンを含み得る。
【0039】
記憶装置108は、例えば、ハードディスクドライブ(HDD)またはソリッドステートドライブ(SSD)などの揮発性および/または不揮発性記憶媒体を含むサーバであってもよい。記憶装置108は、ローカル接続されてもよく、例えばクラウドなど、リモート接続されてもよい。いくつかの実施形態では、記憶装置108は、参照画像に関連する画像データを受信し、管理するためのソフトウェアを含み得る。参照画像データベースは、記憶装置108または別の場所に配置されてもよい。
【0040】
検査ライン109上の物体130の画像を取得するように構成されたカメラ103は、検査ライン上に置かれた品物がカメラ103のFOV103’内にあるように、典型的には、検査ライン109(例えば、コンベヤベルト、ロボットアームなどを含み得る)に関連して置かれ、場合によっては固定される。
【0041】
典型的には、検査ライン109は、例えば、矢印19の方向に移動し、それによって、検査ライン109上の品物を移動させる。各品物130は、本明細書では「検査ウィンドウ」と呼ばれるある時間の間、カメラ103の視野103’内にあり、次いで、カメラFOV103’の外に移動される。他の実施形態では、検査ラインを移動させる必要はなく、その視野103’内の品物130の各々をキャプチャするように、カメラ103を移動させてもよい。
【0042】
検査ラインは、典型的には、検査ウィンドウを繰り返し実行するように動作する。検査ウィンドウは、数秒続き得、これは、カメラ103のフレームキャプチャレートに応じて、各品物130のいくつかの画像が各検査ウィンドウでキャプチャされ得ることを意味する。一実施形態では、カメラ103は、30フレーム/秒(fps)以下、例えば20fpsのレートで画像をキャプチャし、ビデオを取得する。他の実施形態では、カメラ103は、30fpsを超えるフレームレートで動作し、例えば、いくつかの実施形態では、カメラ103は、60fps以上で動作する。
【0043】
カメラ103は、CCD、CMOS、または他の適切な画像センサを含み得る。カメラ103は、2Dカメラであってもよく、3Dカメラであってもよい。いくつかの実施形態では、カメラ103は、例えば、スマートフォンまたはタブレットなどのモバイルデバイスを備えた標準カメラを含み得る。他の実施形態では、カメラ103は、専用カメラ、例えば、高解像度画像を取得するためのカメラである。いくつかの実施形態では、カメラ103は、IRまたは近IR波長で撮像するように設計されてもよい。例えば、カメラ103は、適切なフィルタを含み得る。
【0044】
このシステムはまた、カメラ103の視野103’の少なくとも一部を照らすための光源105も含む。一実施形態(
図1Cに概略的に示されている)では、光源105がカメラ103を囲んでいる。光源105は、セグメントを含み得、各セグメントは、他のセグメントから独立して照らすことができ、各セグメントは、他のセグメントから独立して制御することができる。例えば、光源105は、独立してオン/オフすることができる別個のLEDまたはLEDのグループを含み得る。光源105の異なるセグメントは、例えば、セグメント間に配置された不透明なバリアによって物理的に分離されてもよい。
【0045】
場合によっては、例えば、「スイッチオン遅延」を引き起こす変圧器を有する光源(例えば、LED)を使用するとき、遅延を回避するために、光源105をオン/オフにすることは、「オン」時に光源の光強度を増加させ、光源を完全に電源切断するのではなく、「オフ」時に強度を大幅に低下させること(光が無視できる点まで)を含む。
【0046】
各別個のセグメントのうちの1つ以上は、拡散した均一な照明を提供するための拡散器(例えば、半透明材料のフィルム)を含み得る。一実施形態では、光源105は、異なる波長のLEDを含み、例えば、LEDの一部は、近IRで照らし、LEDの一部は、白色光で照らし得る。各別個のLEDをオン/オフにすることによって、光源105が異なる波長で照らされる。他の実施形態では、各セグメント(例えば、各LEDまたはLEDの各グループ)は、異なる強度で照らすように制御することができる。
【0047】
プロセッサ102は、検査ライン上の物体(光源105によって照らされる)の画像データ(反射光の強度を表す画素値などのデータ、ならびに部分的なまたは完全な画像またはビデオを含み得る)を1つ以上のカメラ103から受信し、本発明の実施形態によるプロセスを実行する。
【0048】
プロセッサ102は、典型的に、1つ以上のメモリユニット112と通信する。メモリユニット112は、カメラ103から受信された画像データの少なくとも一部を記憶し得る。
【0049】
メモリユニット112は、例えば、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリユニット、長期メモリユニット、または他の適切なメモリユニットもしくは記憶ユニットを含み得る。
【0050】
いくつかの実施形態では、メモリユニット112は、本明細書で説明するように、プロセッサ102によって実行されると、プロセッサ102の動作の実行を容易にする実行可能命令を記憶する。
【0051】
一実施形態では、プロセッサ102は、カメラ103および光源105と通信し、カメラ103の露光イベントと同期してFOV103’の異なる部分を照らすように光源105を制御する。このようにして、物体130の複数の異なる照明パターン画像が取得される。各異なる照明パターン画像において、物体の異なる領域は、異なるように照らされてもよい。
【0052】
例えば、
図2Aに概略的に示すように、光源105は、6つの異なるセグメントA、B、C、D、E、およびFを含んでもよい。例えば、光源105は、異なって制御される6つのセグメントを有するフラットドームライト(ディフューザおよびディフューザ上の穴テンプレートを含む)を含み得る。あるいは、光源105は、6つ(または別の数)の周囲スポット光を含んでもよく、各スポット光は、カメラのFOV103’の一部を照らし、6つのスポット光すべてが、カメラ103のFOV103’全体を一緒に照らす。光源の他の数のセグメントおよびセグメント化オプションを、本発明の実施形態に従って使用することができる。例えば、4つの異なる照明セグメントは、カメラを囲み、異なる照明パターン画像を提供するように異なるように制御され得る。
【0053】
一例では、プロセッサ102は、1つのセグメントを照明し、別のセグメントを遮断するように同時に制御し得る。他の例では、プロセッサ102は、異なる強度で同時に照らすように異なるセグメントを制御することができる。例えば、1つまたはいくつかのセグメントを高強度で照らすように制御し、別のセグメントを低強度で照らすように制御することができる。
【0054】
一例では、以下でさらに例示するように、パルス持続時間変調(PDM)を使用して、光源105から異なる強度を提供することができる。
【0055】
プロセッサ102は、典型的にはカメラ103の露光イベントと同期して、異なる照明パターンを照らすように光源105を制御する。
【0056】
光源105は、各物体130のいくつかの短露光画像を取得することを可能にするために光の高周波パルスを照らし得、それにより、全体的な撮像時間をより短くすることができ、他の利点の中でもとりわけ、移動している物体がまだ単一の検査ウィンドウ内にある間のより速いサンプリングが可能になる。いくつかの実施形態では、光パルスの一部は、品物130の明るく照らされた画像をキャプチャすることを可能にするために高強度であり、他のパルスは、光源の急速な焼損を防止するために、より低い強度である。高強度パルスは、物体がまだ検査ウィンドウ内にあり、物体が(例えば、検査ラインの移動のために)あまり移動しないうちに、物体のいくつかの画像をキャプチャすることを可能にし、動きの影響によるブレがない、同じ視点からの物体の画像をキャプチャすることを可能にするように、具体的にタイミングを合わせることができる(または、カメラ露光イベントは、具体的にタイミングを合わせることができる)。
【0057】
高フレームレート(例えば、60fps以上など、30fps以上)で動作するカメラと組み合わせて高強度光の高周波数パルスを使用することによって、短期間内に物体のいくつかの画像(異なる照明パターンを有する各画像)をキャプチャすることが可能になり、それにより、移動している物体を撮像することによって生じる問題(上述のように、ブレや視点の変化など)が低減される。
【0058】
図2Aは、例示的な差分照明スケジュールを示す。第1のフェーズIにおいて、カメラ103は、ビデオモードで画像(例えば、画像21)をキャプチャし、光源105のすべてのセグメントは、典型的には低強度で点灯される(これは、エネルギー節約を可能にし、光源ハードウェアによってサポートされる電力消費を超えない)。例えば、光源105は、6つの12W LEDを含み得る。12W LEDは、50%のデューティサイクルで動作することができ(すなわち、時間の50%をオンにし、時間の50%をオフに(または非常に低く)して、中強度または低強度の照明を提供することができる。物体130は、画像21で可視であるが、照明が物体から反射されるために、および/または照明の強度が低いために、物体のすべての細部が明瞭であるわけではない(破線によって示されるように)。
【0059】
物体130が低強度照明画像21において検出されると(および、場合によっては、上述のように、検査ライン上のあらかじめ定められた空間範囲内にあると決定されると)、プロセッサ102は、フェーズIIに移行するように光源105を制御し、物体の明るく照らされた画像22を得ることを可能にするために、光源105のすべてのセグメントが高強度で照らされる。例えば、6つの12W LEDのすべては、フェーズII中、95%のデューティサイクル(すなわち、時間の95%でオン、時間の5%でオフ(または非常に低い))で動作され得る。しかしながら、物体130が反射面を有する場合(例えば、物体130がコーティングされたPCBまたはプラスチックまたはガラスの物体である場合)、画像22は反射(グレア)を示すことがあり、それによって、物体130の細部の一部を不明瞭にする。この場合、プロセッサ102は、フェーズIII~VIなどのいくつかの異なる部分パターンで照明するように光源105を制御する。
【0060】
フェーズIIIでは、セグメントBのみが、例えば50%以上のデューティサイクルでオンであり、セグメントA、C、D、EおよびFはオフ(または非常に低い)である。あるいは、セグメントBは、例えば95%のデューティサイクルで、高強度光を照らし、一方、セグメントA、C、D、E、およびFのうちの1つ以上は、画像の特定の部分におけるグレアを回避するために、例えば50%以下のデューティサイクルで低強度光を照らしている。
【0061】
同様に、フェーズIVにおいて、セグメントDはオンであり、セグメントA、B、C、EおよびFはオフである。あるいは、セグメントDは、高強度光を照らし、一方、セグメントA、B、C、E、およびFのうちの1つ以上は、低強度光を照らしてもよい。同様に、フェーズVでは、セグメントFはオンであり、セグメントA、B、C、DおよびEはオフである。あるいは、セグメントFは、高強度光を照らし、一方、セグメントA、B、C、D、およびEのうちの1つ以上は、低強度光を照らしてもよい。
【0062】
フェーズVIでは、セグメントAおよびCはオンであるが、他のセグメントはオフである。フェーズVIでは、セグメントAおよびCの各々は、異なる強度および/または異なる波長で照らし得る。
【0063】
各フェーズにおいて、オンであるセグメントは、典型的には高周波数の短い照明パルスでオンにされてもよい。
【0064】
照明パルスは、典型的には、
図2Aに例示される場合に、異なる照明パターン画像21、22、23、24、25および26の各々がカメラ103の露光イベント中に取得されるように、カメラ103のシャッタと同期される。他の実施形態では、例えば、
図2Bに記載されるように、異なる照明パターンは、カメラ103の露光イベントがいくつかの異なる照明パターンを同時にキャプチャし得るように、少なくとも部分的に時間的に重複してもよい。
【0065】
画像21~26の各々では、物体130の異なる細部が可視であるが、他の細部は、画像の異なる部分からのグレアのために不明瞭である。画像21~26が合成される場合、各画像は、その可視の細部に「貢献」し、合成画像は、欠陥検出などの検査タスクを可能にするために、その詳細のすべてまたは最大(すなわち、十分な量または大部分)が可視である、物体130のよく照らされた画像であることになる。
【0066】
カメラ103によってキャプチャされたビデオにおける可視のちらつき、および/または工場作業者を刺激する可能性があるちらつきを回避するために、高周波の光パルスが使用され得る。例えば、プロセッサ102は、人間の目のサンプリング周波数よりも高い周波数の光パルスを照らすように光源105を制御してもよく、これは、目のサンプリング周波数よりも高い周波数のパルスは、典型的に人間によって気付かれないからである。加えて、照明パルスが一貫した周波数である限り、(例えば、照明強度の変化による)ちらつきは、人間によって気づかれない。
【0067】
一実施形態では、プロセッサ102は、光源105の第1のセグメントを、パルスの第1のパターンで照らすように制御し、光源105の第2のセグメントを、パルスの第2のパターンで照らすように制御する。各照明パターンのパルスは、一定の不変の周波数である。
【0068】
一実施形態では、第1のパターンおよび第2のパターンのパルスは、互いにオフセットされる。この実施形態では、プロセッサ102は、第1のパターンと第2のパターンの両方のパルスが重複する時間と一致するように、カメラ103の第1の露光イベントを制御し、第1のパターンまたは第2のパターンのいずれかのパルスの時間であるが、第1のパターンおよび第2のパターンのパルスの重複は存在しない時間と一致するように、カメラ103の第2の露光イベントを制御し得る。
【0069】
第1の露光イベント中にキャプチャされた物体130の画像は、物体130を検出するために使用することができ、一方、(パルスの重複がないとき)第1のパターンまたは第2のパターンのいずれかのパルスの時間と一致する露光イベント中にキャプチャされた物体130の画像の一部を使用して(場合によっては、第1の露光イベント中にキャプチャされた画像の少なくとも一部と一緒に)、物体130の検査を提供するために検査アルゴリズムを適用する合成画像を提供することができる。
【0070】
図2Bに概略的に示される一実施形態では、照明パターンおよびカメラ露光イベントは、作業者にちらつきのない検査環境を提供するように、光パルスの一貫した周波数を維持しながら、すべての光セグメント(例えば、画像21または22)によって照らされた画像ならびに部分的に照らされた画像(例えば、画像23、24、25または26)がキャプチャされ得るように同期される。例えば、照明の第1のパターン(1)は、右側セグメント(例えば、セグメントA、C、およびE)のみがオンであることを含み、照明の第2のパターン(2)は、左側セグメント(例えば、セグメントB、D、およびF)のみがオンであることを含む。各パターンは、一定の不変の周波数で繰り返される光パルス(Pu)を含むが、照明の第1のパターンのパルスは、照明の第2のパターンのパルスに対して時間的にオフセットされる。パルスのこのオフセットは、1つのカメラ露光イベント(E1)が、第1のパターンからの光パルス(Pu1)の一部と、第2のパターンからの光パルス(Pu2)の一部とによって同時に照らされた画像をキャプチャすることを可能にし、したがって、すべてのセグメント(右側と左側の両側のセグメント)によって照らされた画像が取得される。
【0071】
第2のカメラ露光イベント(E2)の時点では、第1のパターンの照明はオンであるが、第2のパターンの照明はオフである。したがって、E2中にキャプチャされた画像は、第1のパターンからのパルス(またはパルスの一部)のみによって照らされ、すなわち右側のセグメントによって照らされる。第3のカメラ露光イベント(E3)の時点では、第1のパターンの照明はオフであるが、第2のパターンの照明はオンである。したがって、E3中にキャプチャされた画像は、第2のパターンからのパルス(またはパルスの一部)のみによって照らされ、すなわち左側のセグメントによって照らされる。
【0072】
露光イベントE1中にキャプチャされた画像は、検査ライン上の物体(例えば、物体130)を検出するために使用され得る。露光イベントE2およびE3中にキャプチャされた画像は、異なる照明パターン画像を提供し、これらの画像は、(場合によっては、E1中に取得された画像の一部と一緒に)合成されて、物体の最大細部画像を作成し得る。
【0073】
場合によっては、例えば、移動している物体を検査するときにブレおよび視点の変化を回避するために、物体当たりの画像の数を最小にすることが望ましい場合がある。そのような実施形態では、カメラは、例えば、イベントE2およびE3のみなど、より少ない露光イベントに設定されてもよい。露光イベントE2中にキャプチャされた画像は、物体を検出し、第1の照明パターン画像を提供するために使用されてもよく、露光イベントE3中にキャプチャされた画像は、第2の照明パターン画像を提供する。したがって、物体のより少ない画像を使用して、物体の最大細部画像を生成することができる。
【0074】
図3に概略的に示されるように、プロセッサ102は、ステップ302において、物体の複数の異なる照明パターン画像(例えば、物体130の画像21~26)を受信し、合成されると、物体の最細部を示す物体の合成画像を提供するように、複数の画像のうちのどれが特定の照明パターンを有する画像であるかを決定する(ステップ304)。このステップは、画像または画像の画素を互いに比較することによって実行することができる。いくつかの実施形態では、プロセッサ102は、合成画像を達成するために必要な最小数の画像を検索する。典型的には、情報の尺度は、画像の各々について決定することができ、以下でさらに詳細に説明するように、画像を合成する際に使用され得る。
【0075】
次いで、プロセッサ102は、決定された画像を合成して合成画像を提供し(ステップ306)、合成画像上でコンピュータビジョン技術を使用して、物体103の目視検査を行い(ステップ308)、欠陥検出、QA、ソート、および/またはカウントなどの検査タスクを行うことを可能にする。いくつかの実施形態では、プロセッサ102は、合成画像をユーザインターフェースデバイス106上に表示させる。
【0076】
一実施形態では、この方法は、ステップ302で取得された複数の画像のうちの第1の画像、例えば、画像21または22において、物体を検出することを含む。次いで、第1の画像において検出された物体の空間パラメータを使用することなどによって、第1の画像において検出された物体の特性を使用して、合成画像において物体が検出され得る。
【0077】
物体は、物体全体および/または物体上の関心領域であり得る。いくつかの実施形態では、関心領域(ROI)は、例えば、画像分析技術を使用することによって、プロセッサによって自動的に検出されてもよい。検出された物体(またはROI)に関連付けられた画素は、セグメンテーションなどの画像分析アルゴリズムを使用することによって決定され得る。いくつかの実施形態では、プロセッサは、ユーザから物体の輪郭(例えば、境界)の指示を受信し、場合によってはセグメンテーションを使用して、物体の境界に基づいて、どの画素が物体に関連付けられるかを決定する。
【0078】
例えば、検査ライン上の品物の画像上のROIのユーザ入力に基づいて、プロセッサは、ROIを囲む輪郭または他の指示を作成し得る。ユーザによって入力されたROIの指示は、座標を含み得、かつ/または、線、例えば、着色線、破線もしくは他の様式の線、または関心領域を囲む多角形もしくは他の形状を含み得る。
【0079】
ROIは、欠陥検出に関連付けられた物体上の領域であり得る。例えば、ROIは、ユーザが欠陥検出を必要とする物体上の領域、またはユーザが欠陥検出を必要としない物体上の領域であり得る。したがって、目視検査アルゴリズム(例えば、品物における欠陥を検出するプロセス)を、ROIに基づいて条件付きで適用してもよい。加えて、同じタイプの物体は、欠陥ではない許容差を有し得る。例えば、物体には、物体表面上にテクスチャ、パターン、または色差、または可動部分がある場合があり、これらは欠陥であるとは見なされない。いくつかの実施形態では、許容される差のこれらの領域は、目視検査アルゴリズムが適用されないROIとして定義され得、したがって欠陥の誤検出が回避される。
【0080】
いくつかの実施形態では、グレアを許容することができないROIである、特定の制限された領域が画像内に定義されてもよい。プロセッサ102は、ROIの決定に基づいて画像を差動的に照らすように光源105を制御し得る。例えば、物体の右下隅(例えば、セグメントDおよびFによって覆われた領域)にROIが決定される場合、物体の右下隅にグレアのない画像を提供することができる光源105の関連するセグメントをオンにし、一方、ROIにグレアを作成する光源105の他のセグメントはオンにしなくてもよい。
【0081】
いくつかの実施形態では、セットアップ段階中の物体の検出に基づいて、物体の異なる照明パターン画像を取得する前に、またはそれと並行して、検査段階中に、画像において同じタイプの物体を容易に検出することができる。加えて、合成画像を作成するために使用される画像のうちの少なくとも1つにおける物体の検出に基づいて、合成画像において物体が容易に検出され得る。例えば、物体の空間的特性および一意に表される特徴または属性は、物体の第1の画像において検出され得、次いで、合成画像において同じタイプの物体の目視検査を行うときに利用可能であってもよく、それによって、合成画像においてこれらの特徴を検出する必要性を回避することによって時間を節約する。
【0082】
図4は、上記のステップ304において、プロセッサ102が、複数の画像のうちのどれが、物体の最細部を示す物体の合成画像を提供するかを決定する方法の一例を概略的に示す。
【0083】
この例では、プロセッサ102は、複数の異なる照明パターン画像から第1および第2の画像(例えば、画像21~26)を受信する(ステップ402)。プロセッサ102は、第1の画像および第2の画像内の物体に関連付けられた画素の情報の尺度を決定し、第1の画像および第2の画像内の各画素についての情報尺度を比較する。
【0084】
一実施形態では、情報の尺度は、第1の画像および第2の画像内の物体に関連付けられた画素のローカルコントラスト値を含む。この例では、プロセッサ102は、第1の画像および第2の画像内の物体に関連付けられた画素のローカルコントラスト値を決定し(ステップ404)、第1の画像および第2の画像内の各画素のローカルコントラスト値を比較して、例えば、より高いローカルコントラスト値を有する画素を決定する。第1の画像内の物体からの画素が、第2の画像内の同じ画素よりも高いローカルコントラスト値を有する場合(決定点406)、第1の画像からの画素を使用して(ステップ407)、合成画像を作成する(ステップ410)。第1の画像からの画素が、第2の画像内の同じ画素よりも低いローカルコントラスト値を有する場合(決定点406)、第2の画像からの画素を使用して(ステップ408)、合成画像を作成する(ステップ410)。このプロセスは、物体に関連付けられたすべての画素について繰り返すことができる。上記で説明したように、物体に関連付けられた画素は、セグメンテーションなどの画像分析アルゴリズムを使用することによって決定され得る。
【0085】
いくつかの実施形態では、合成画像を取得するために画像を合成することは、第1および第2の画像における対応する画素の値の統計に基づいて、合成画像の画素を作成することを含む。典型的には、例えば、第1および第2の画像における画素のローカルコントラスト値、最小または中央チャネル値など、情報の尺度を提供する統計(統計のうちの1つまたは組み合わせ)が使用される。いくつかの実施形態では、合成画像の画素の値は、第1および第2の画像における対応する画素の値の加重平均に基づき得る。例えば、第1の画像における特定の画素または領域(複数の画素を含む)は、画素値I1および情報尺度V1を有する。第2の画像におけるその対応する画素または領域は、I2の画素値および情報尺度V2を有し、第3の画像におけるその対応する画素または領域は、画素値I3および情報尺度V3を有する。3つの画像の各々の、合成画像内の対応する画素または領域への貢献は、部分的であり、合成画像を作成するために使用される画像の各々における画素の情報尺度に依存する。したがって、合成画像(Ic)は、以下のように3つの画像の加重平均とすることができる。
Ic=(I1xV1+I2xV2+I3xV3)/(V1+V2+V3)
【0086】
画素情報の他の測定値を使用してもよく、他の統計的計算を使用して、合成画像を提供してもよい。
【0087】
いくつかの実施形態では、その例が
図5Aおよび
図5Bに概略的に示されており、セットアップ段階中に、照明のパターン、および物体の最細部を提供するために合成され得る異なる照明パターン画像の数が決定され、次いで、検査段階中に自動的に使用されて、物体の目視検査のために物体の実質的にグレアのない合成画像が取得される。
【0088】
図5Aに例示される一実施形態では、プロセッサ102は、セットアップ段階中に、第1の物体の複数の異なる照明パターン参照画像を受信する(ステップ51)。プロセッサは、合成されると、物体の最細部を示す物体の合成画像を提供するように、セットアップ段階中に、どの参照画像が特定の照明パターンを有するかを決定する(ステップ53)。これは、例えば、上述したように、より高いローカルコントラスト値を有する画素を検出することによって行うことができる。
【0089】
次いで、検査段階では、プロセッサ102は、ステップ53で、セットアップ段階中に決定された特定の照明パターンを有する検査された物体(第2の同じタイプの物体である)の同数の画像を取得し(ステップ54)、第2の同じタイプの物体の画像を合成して、第2の同じタイプの物体の目視検査のための合成画像を提供する(ステップ56)。これは、例えば、第2の物体の目視検査のために第2の物体の合成画像を取得するために、第1の物体のセットアップ画像において(それらの情報尺度に基づいて)検出された画像の同じ画素または領域を使用することによって行われてもよい。
【0090】
いくつかの実施形態では、検査ライン上の品物は、互いに対して回転するように配置または配向されてもよい。例えば、検査される品物(
図1Bの品物4など)は、参照画像内の品物(例えば、
図1Aの品物2および/または2’)に対して90°または他の角度で検査ライン上に置かれ得る。この場合、照明パターンの対応する回転を計算し、検査段階中に実行することができる。例えば、
図2Aに示される光源105を使用して、合成されると、実質的にグレアのない画像を提供する品物2の画像を提供するために(セットアップ段階中に)決定される照明パターンは、光源のすべてのセグメントが照らす第1の照明フェーズと、左側セグメントのみが照らす第2の照明フェーズと、右側セグメントのみが照らす第3の照明フェーズとを含む。検査段階中、品物4は、品物2の位置および配向に対して右に90°回転されるように決定される。この場合、品物4で使用される照明パターンは、光源のすべてのセグメントが照らす第1の照明フェーズと、最上のセグメントのみが照らす第2の照明フェーズと、最下のセグメントのみが照らす第3の照明フェーズとを含む。
【0091】
したがって、セットアップ段階中、参照画像を分析するプロセッサは、合成されると、第1の物体の実質的にグレアのない画像を提供する、第1の物体のいくつかの異なる照明パターンセットアップ画像を決定する。検査段階中、セットアップ段階に決定された照明パターンに基づく照明パターンを有する第2の同じタイプの物体の同じ数の画像が取得され、合成されて、第2の物体の目視検査のための合成画像を提供する。
【0092】
異なる照明/露光パターンでキャプチャされた画像間の画素の情報尺度を比較することにより、物体の最も多くの情報を有する合成画像を取得するのに必要な最小数の異なる画像を(セットアップ段階中に)見つけることが可能になる。
【0093】
物体の実質的にグレアのない画像を取得するために必要な最小数の画像は、異なる最適化技術およびアルゴリズムを使用することによって(セットアップ段階中に)決定することができる。一例では、最小数の画像が、自然数(ゼロを含む)とすることができるペナルティ係数を利用してペナルティスコアを使用して計算される。例えば、第1のペナルティ係数は、合成画像を作成するために使用される画像の数に割り当てられてもよく、一方、第2のペナルティ係数(これは、第1のペナルティ係数と同じであっても異なっていてもよく、典型的には、第1のペナルティ係数に対して負の符号を有する数であってもよい)は、合成画像においてより高い情報値を有する各画素に割り当てられ得る。最小数の画像は、画像のすべての置換グループに対するペナルティスコアを計算することによって、および/または最適化技術およびアルゴリズムを使用することによって決定されてもよい。典型的には、第1のペナルティ係数は、合成画像を作成するために使用される可能な限り少ない数の画像を課すことを試み、一方、第2のペナルティ係数は、撮像された物体の最細部を示す合成画像を課すことを試みる。
【0094】
このプロセスは、セットアップ段階において、物体の実質的にグレアのない画像を取得するために必要とされる最小数の画像を決定することを可能にする。次いで、この最小数の画像が検査段階中に使用される。検査中に各品物の可能な限り少ない数の画像を取得することは、迅速で、したがって効率的な検査プロセスを可能にする。
【0095】
いくつかの実施形態では、(セットアップ段階中に撮像された)第1の物体は、欠陥のない物体であり、(検査段階中に撮像された)第2の同じタイプの物体は、欠陥がないか、または欠陥がある。
【0096】
図5Bに概略的に示される例では、プロセッサ102は、光源からの照明を制御して、いくつかのパターンを含む光のパルスのセットを照らし(ステップ501)、セットアップ段階において、カメラが複数の異なる照明パターン画像をキャプチャすることを可能にする。プロセッサは、上述したように、セットアップ段階中に、照明パターンのどのサブセット(ステップ501で使用される照明パターンの一部、好ましくは最小サブセット)が、物体の最細部を示す物体の合成画像を可能にするかを決定する(ステップ503)。
【0097】
検査段階では、プロセッサ102は、ステップ503で決定された照明パターンのサブセットを照らすように光源を制御し(ステップ504)、照明中に取得された画像を合成して、第2の同じタイプの物体の目視検査のための合成画像を提供する(ステップ506)。
【0098】
図6に概略的に示されるように、本発明の実施形態は、典型的にはセットアップ段階において、検査ライン上の物体の初期画像を取得すること(ステップ602)を含むことができ、初期画像は、典型的には光源のすべてのセグメントの照明(画像22など)を含むパターンである、第1の特定の照明パターンで取得される。初期画像は、複数の異なる照明パターン画像を取得する前に取得され、初期画像が高反射率またはグレアの領域を含むかどうかがチェックされる。
【0099】
画像が高反射率の領域を含むかどうかの決定は、ユーザ入力に基づいて、および/または画像に画像処理アルゴリズムを適用して、例えば、密接に関連する飽和画素の数(例えば、閾値を超える)を検出することによって行うことができる。例えば、カメラのFOVを照らしている間に、画素または隣接する画素に飽和レベルのバーストがある場合、これは、この照明パターンを使用すると、物体上に飽和領域が生じることを示すことができる。別の例では、照明強度が上昇する間に情報レベルが低下する画素または隣接画素がある場合、これは、グレアまたは飽和を示すことができる。
【0100】
初期画像が高反射率の領域を含まない場合(決定点604)、初期画像を取得するために使用される特定の照明パターンが、検査段階中に使用され、同じタイプの物体の目視検査を行う(ステップ614)ための同じタイプの物体の画像が取得される(ステップ605)。初期画像が高反射率の領域を含む場合(決定点604)、依然としてセットアップ段階中に、物体の複数の異なる照明パターン画像が取得され(ステップ606)、例えば、本明細書で説明するように処理されて、複数の画像のサブセット(典型的には、最小サブセット)を生成する照明パターンが決定され(ステップ608)、サブセットは、合成されると、物体の最細部を示す物体の合成画像を提供する画像を含む。次いで、ステップ608で決定された特定の照明パターンが、検査段階中に使用されて、同じタイプの物体の画像が取得される(ステップ610)。画像は、合成されて、同じタイプの物体の目視検査を行う(ステップ614)ための合成画像が提供される(ステップ612)。
【0101】
いくつかの実施形態では、画質の向上のために、物体の高精細解像度(HDR)画像が取得される。HDR画像は、異なる露光値を各々有する、物体の複数の画像をキャプチャすることによって取得することができる。取得された画像の画素値は、これらの画像をキャプチャするために使用されるカメラのダイナミックレンジと比較される。この比較に基づいて、最小数の最適画像を決定することができる。次いで、これらの最適画像を合成して、物体のHDR画像が取得される。
【0102】
最適な画像は、画像の画素の値とダイナミックレンジの中間値との間の差に基づいて決定されてもよい。例えば、最適な画像は、均等に分布した画素値を有する画像、露光過多および/または露光不足の領域がない(または露光過多および/または露光不足の領域が最も小さい)画像などであり得る。
【0103】
2つ(またはそれ以上)の画像を使用してHDR画像を作成するために、2つ(またはそれ以上)の最適画像のセットは、上述したように、ダイナミックレンジの中央に最も近い画素を共に有する、および/または他の条件を満たす画像を含み得る。例えば、HDR画像は、その値がカメラのダイナミックレンジの中央に近い画素を2つ(またはそれ以上)の画像から取ることによって作成することができる。
【0104】
典型的には、最小数の最適画像およびそれらがキャプチャされた露光レベルは両方とも、セットアップ段階中に決定される。検査段階中、セットアップ段階中に決定されたのと同じ露光レベルでの同じ数の画像が、目視検査のための物体のHDR画像を取得するために使用される。一実施形態では、(物体の複数の異なる照明パターン画像を取得する前に)検査ライン上の物体のHDR画像が取得され、HDR画像が高反射率の領域を含む場合、本明細書で説明するように物体の複数の異なる照明パターン画像が取得される。
【0105】
一実施形態では、複数の異なる照明パターン画像は、HDR画像を構成することができる複数の画像としても機能し得る。したがって、セットアップ段階中に、プロセッサ102は、いくつかの照明パターンで照らすように、光源105を制御し、同時に、異なる露光レベルで画像をキャプチャするように、カメラ103を制御し得る。次いで、プロセッサ102は、異なる露光レベルで取得された異なる照明パターン画像を処理して、検査段階中にどの露光レベルおよび/またはどの照明パターンを使用して、目視検査のための高品質でグレアのない画像を取得するかを決定することができる。
【0106】
図7に例示されるタイムラインでは、本発明の実施形態による方法は、目視検査のための高品質画像を取得する時間効率のよいプロセスを可能にする。
【0107】
第1の品物(品物1)は、典型的には検査段階中に検査ライン上に置かれる。次いで、品物1は、セットアップ段階においてあらかじめ定められたように、品物を検出することを可能にする照明パターンP1(例えば、照明デバイスのすべてのセグメントがオンである照明パターン)で照らされる。画像は、これらの照明状態において、第1の露光レベルE1(セットアップ段階中に決定された)でキャプチャされる。
【0108】
E1および照明パターンP1でキャプチャされた画像は、カメラおよび/または品物の動きおよび振動(例えば、コンベヤベルトおよび/または他の機械の動きによる)が停止している間に、画像内の品物を検出するために使用することができる。加えて、カメラは、カメラおよび/または品物の動きおよび振動が停止している間に、露光レベルE2に移行することができる。光源は、第2の照明パターンP2(例えば、照明デバイスの左側セグメントまたは最上のセグメントのみがオンである照明パターン)で照らすように制御され、品物の画像は、露光レベルE2および照明パターンP2でキャプチャされる。カメラパラメータが露光レベルE2に設定されている間、照明デバイスは、別の異なる照明パターンP3(例えば、照明デバイスの右側セグメントまたは最下のセグメントのみがオンである照明パターン)で照らすように制御される。次いで、プロセッサは、E1および照明パターンP1でキャプチャされた画像と、露光レベルE2ならびに照明パターンP2およびP3でキャプチャされた2つの画像とを合成して、実質的にグレアのないHDR画像を提供する。
【0109】
物体がすでに検出されているので、プロセッサは、目視検査(例えば、画像を表示すること、および/または画像上で目視検査アルゴリズムを実行すること)のために、グレアのないHDR画像を直ちに使用し得る。並行して、カメラは、露光レベルE1および照明パターンP1に戻り、次の物体(品物2)の画像を取得する。したがって、いくつかの実施形態では、プロセッサ102は、合成されたグレアのない画像に目視検査アルゴリズムを適用しながら、第1の照明パターンから第2の照明パターンへの移行を制御する。
【0110】
品物2は、露光レベルE1および照明パターンP1で取得された画像において検出される。上述のように、品物2は、露光レベルおよび照明パターンが決定される間、セットアッププロセス中に使用される同じタイプの品物とは異なるように配向されてもよい。配向の変化がある場合、それは、露光レベルE1でキャプチャされた画像において検出される。配向の変化が検出されると、品物の配向の検出された変化に従って、露光レベルE2中に使用される第2の照明パターンが回転され、その結果、第2の照明パターンP2’が、照明パターンP2と比較して回転される。同様に、品物2を撮像するために使用される第3の照明P3’パターンが、照明パターンP3と比較して回転される。例えば、等しいセグメントに分割された正方形を含む照明デバイスの場合、照明パターンP2で、照明デバイスの左側セグメントのみがオンである場合、品物1と比較して(およびセットアップ段階中に撮像された品物の配向と比較して)垂直な配向にある品物2について、照明パターンP2’は、最上のセグメントのみがオンであることを含む。同様に、照明パターンP3が、照明デバイスの右側セグメントのみがオンであることを含む場合、照明パターンP3’は、最下のセグメントのみがオンであることを含む。
【0111】
本明細書に記載される実施形態は、効率的な検査プロセスにおける目視検査のために、物体の高品質で不明瞭でない画像を提供する、最小限のユーザ関与しか必要としない、自動目視検査プロセスを可能にする。
【手続補正書】
【提出日】2022-10-21
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0101
【補正方法】変更
【補正の内容】
【0101】
いくつかの実施形態では、画質の向上のために、物体の高ダイナミックレンジ(HDR)画像が取得される。HDR画像は、異なる露光値を各々有する、物体の複数の画像をキャプチャすることによって取得することができる。取得された画像の画素値は、これらの画像をキャプチャするために使用されるカメラのダイナミックレンジと比較される。この比較に基づいて、最小数の最適画像を決定することができる。次いで、これらの最適画像を合成して、物体のHDR画像が取得される。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
検査ライン上の物体の自動目視検査プロセスのための方法であって、
前記方法が、
第1のパターン照明のパルスで前記検査ライン上
の物体を照らすことであって、前記パルスが一定の周波数
にあ
ることと、
第2のパターン照明のパルスで前記検査ライン上
の物体を照らすことであって、前記パルスが一定の周波数
にあり、前記第1のパターンおよび第2のパターン
のパルスが、互いに時間的にオフセットされ
ることと、
前記第1のパターンからのパルスと一致するが、前記第2のパターンからのパルスとは一致しない時間に第1の画像を取得することと、
前記第2のパターンからのパルスと一致するが、前記第1のパターンからのパルスとは一致しない時間に第2の画像を取得することと、
前記第1の画像および第2の画像のうちの少なくとも一方を使用して、前記物体の目視検査を行うことと
、
を含む
、方法。
【請求項2】
前記第1の画像と第2の画像とを合成して、合成画像を提供することと、
前記合成画像を使用して、前記物体の目視検査を行うことと
、
を含む
、請求項1に記載の方法。
【請求項3】
前記第1のパターンのパルスと前記第2のパターンのパルスとの間の重複と一致する時間に第3の画像を取得することと、
前記第3の画像を使用して、前記物体の目視検査を行うことと
、
を含む
、請求項1に記載の方法。
【請求項4】
前記第3の画像を前記第1の画像または前記第2の画像と合成して、合成画像を取得することと、
前記合成画像を使用して、前記物体の目視検査を行うことと
、
を含む
、請求項3に記載の方法。
【請求項5】
前記合成画像をユーザに表示することを含む
、請求項2~4
のいずれか一項に記載の方法。
【請求項6】
画像を合成して、合成画像を取得することが
、第1、第2、および/または第3の画像における対応する画素の値の統計に基づいて、前記合成画像の画素を作成することを含む、請求項2~4
のいずれか一項に記載の方法。
【請求項7】
前記合成画像の画素の値が、前記第1、第2、および/または第3の画像におけ
る対応する画素の値の加重平均に基づく、請求項6に記載の方法。
【請求項8】
前記自動目視検査プロセスが、物体が検査される検査段階の前のセットアップ段階を含み、
前記方法が、
前記セットアップ段階中に、合成されると、前記第1の物体の最細部を示す第1の物体の合成画像を提供するように、最小数の画像およびそれらの対応する照明パターンを決定することと、
前記検査段階中に、前記セットアップ段階中に決定された前記対応する照明パターンを有する、第2の同じタイプの物体
の最小数の画像を取得することと、
前記第2の同じタイプの物体
の画像を合成して、前記第2の同じタイプの物体の目視検査を行うための合成画像を提供することと
、
を含む
、請求項2に記載の方法。
【請求項9】
前記第1の物体が、欠陥のない物体であり、前記第2の同じタイプの物体が、欠陥がないか、または欠陥があるかのいずれかである、請求項8に記載の方法。
【請求項10】
前記検査段階中に、前記第1の物体の配向に対する前記第2の
同じタイプの物体の配向に基づく照明パターンを有する前記第2の
同じタイプの物体
の最小数の画像を取得することを含む
、請求項8に記載の方法。
【請求項11】
前記物体が、検査ライン上の品物または前記品物内の関心領域である、請求項1に記載の方法。
【請求項12】
前記物体
の第1および第2の画像を取得する前に、前記検査ライン上
の物体の
高ダイナミックレンジ(HDR
)画像を取得することと、
前記HDR画像が高反射率の領域を含む場合、前記物体
の第1および第2の画像を取得することと
、
を含む
、請求項1に記載の方法。
【請求項13】
自動目視検査のためのシステムであって、
前記方法が、
検査ライン上の物体の画像をキャプチャするように構成されたカメラと、
一定の周波数で光パルスを生成するための光源であって、前記光パルスが、時間的にオフセットされ、照明の第1のパターンおよび照明の第2のパターンで前記カメラの視野(FOV)を照らす、光源と、
前記カメラおよび光源と通信しているプロセッサであって、
前記プロセッサが、前記光源を制御して、前記カメラのFOVを差動的に照らし、前記照明の第1のパターンまたは照明の第2のパターンのうちの一方からのパルスと一致するが、パルス間の重複のパルスとは一致しない時間に、前記カメラの露光イベントを同期させて、異なる照明パターン画像を生成する
ように構成されている、プロセッサと
、
を備える
、システム。
【請求項14】
前記プロセッサが、完全に照らされた画像を取得するために、パルス間の重複と一致する時間に、前記カメラの露光イベントを同期させるように構成されている、請求項13に記載のシステム。
【請求項15】
前記プロセッサが、前記カメラによって取得された画像を合成して、合成画像を提供し、前記合成画像を使用して、前記物体の目視検査を行う
ように構成されている、請求項13
または14に記載のシステム。
【請求項16】
前記プロセッサが、前記画像内
の物体の配向に基づいて、前記カメラのFOVを差動的に照らすように、前記光源を制御する
ように構成されている、請求項13に記載のシステム。
【国際調査報告】