特表 2024-512339 処理装置、光学検査のための検査装置および対応する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】処理装置、光学検査のための検査装置および対応する方法

(51)【国際特許分類】

   G02B 21/00 20060101AFI20240312BHJP

   G01N 21/17 20060101ALI20240312BHJP

【ＦＩ】

G02B21/00

G01N21/17 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023553665

(86)(22)【出願日】2021-03-01

(85)【翻訳文提出日】2023-10-12

(86)【国際出願番号】 CN2021078530

(87)【国際公開番号】W WO2022183340

(87)【国際公開日】2022-09-09

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】523333272

【氏名又は名称】ライカ マイクロシステムズ （スジョウ） テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ （Ｓｕｚｈｏｕ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ ５０３， Ｂｕｉｌｄｉｎｇ Ｂ２， Ｇｅｎｗａｙ Ｉ－Ｐａｒｋ， ８８ Ｄｏｎｇｃｈａｎｇ Ｒｏａｄ， Ｓｕｚｈｏｕ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ， Ｓｕｚｈｏｕ， Ｊｉａｎｇｓｕ ２１５０２４， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】リンチー ジアオ

(72)【発明者】

【氏名】チュンシン ヤン

(72)【発明者】

【氏名】フェイ チャン

(72)【発明者】

【氏名】ユアンピン チョウ

(72)【発明者】

【氏名】ミンクアン リー

(72)【発明者】

【氏名】ウェイ チャオ

(72)【発明者】

【氏名】シェンウェイ フェン

【テーマコード（参考）】

2G059

2H052

【Ｆターム（参考）】

2G059AA05

2G059AA06

2G059BB08

2G059DD13

2G059EE02

2G059FF01

2G059FF03

2G059FF04

2G059KK04

2G059MM09

2G059MM10

2G059PP04

2H052AF02

2H052AF21

(57)【要約】

検査システムおよび対応する方法を提供する。検査システムは、試料（１６０）の光学検査のための検査装置（１００）において使用される処理装置（１３０）を備え、処理装置（１３０）は、光学検査手段（１１０）のカメラ（１１６）に結合され、表示手段（１２２）を含むユーザインタフェース手段（１２０）に結合され、ユーザインタフェース手段（１２０）および／またはカメラ（１１６）から入力データを受信し、ユーザインタフェース手段（１２０）に出力データを供給し、ストレージ手段（１８０）に結合されて、データを記憶するためおよび取り出すためにストレージ手段（１８０）にアクセスする、ように構成されており、処理装置（１３０）は、ストレージ手段（１８０）に記憶された指示データ（１９０）にアクセスすることによって、ユーザインタフェース手段（１２０）を介して、ユーザ（１５０）によって実行される試料（１６０）の光学的品質検査のための指示（１９２）を提供し、当該指示（１９２）を出力データとしてユーザインタフェース手段（１２０）に供給するように構成されており、指示（１９２）は、どの試料（１６０）に対してどの種類の光学的品質検査を実行するかに関するユーザ（１５０）のための所定の指示を含み、処理装置（１３０）は、ユーザインタフェース手段（１２０）を介して、光学的品質検査からの品質報告データ（１９６）および／またはカメラ（１１６）によって取得された画像の画像データを入力データとして受信し、品質報告データ（１９６）および／または画像データをストレージ手段（１８０）に記憶するように構成されている。

【特許請求の範囲】

【請求項1】

試料（１６０）の光学検査のための検査装置（１００）において使用される処理装置（１３０）であって、前記処理装置（１３０）は、
・光学検査手段（１１０）のカメラ（１１６）に通信可能に結合され、
・表示手段（１２２）を含むユーザインタフェース手段（１２０）に通信可能に結合され、
・前記ユーザインタフェース手段（１２０）および／または前記カメラ（１１６）から入力データを受信し、
・前記ユーザインタフェース手段（１２０）に出力データを供給し、
・ストレージ手段（１８０）に通信可能に結合されて、データを記憶するためおよび取り出すために前記ストレージ手段（１８０）にアクセスする、
ように構成されており、
前記処理装置（１３０）は、前記ストレージ手段（１８０）に記憶された指示データ（１９０）にアクセスすることによって、前記ユーザインタフェース手段（１２０）を介して、ユーザ（１５０）によって実行される試料（１６０）の光学的品質検査のための指示（１９２）を提供し、前記指示（１９２）を出力データとして前記ユーザインタフェース手段（１２０）に供給するようにさらに構成されており、
前記指示（１９２）は、どの試料（１６０）に対してどの種類の光学的品質検査を実行するかに関する前記ユーザ（１５０）のための所定の指示を含み、
前記処理装置（１３０）は、前記ユーザインタフェース手段（１２０）を介して、光学的品質検査からの品質報告データ（１９６）および／または前記カメラ（１１６）によって取得された画像の画像データを入力データとして受信し、前記品質報告データ（１９６）および／または前記画像データを前記ストレージ手段（１８０）に記憶するようにさらに構成されている、
処理装置（１３０）。

【請求項2】

前記指示（１９２）は、前記表示手段（１２２）によって表示される少なくとも１つの所定のオーバーレイ（５３０）をさらに含み、これにより、前記オーバーレイ（５３０）が前記光学検査手段（１１０）によってかつ／または前記表示手段（１２２）を介してその時点で観察されている試料（１６０）に仮想的にオーバーレイされ、
前記オーバーレイ（５３０）は、前記試料（１６０）に対して特定の光学的品質検査を実行するために前記ユーザ（１５０）によって使用される、
請求項１記載の処理装置（１３０）。

【請求項3】

前記処理装置（１３０）は、
その時点で観察されている試料のライブ画像（５００，６００）を取得するように前記カメラ（１１６）を制御し、
前記オーバーレイ（５３０）が前記ライブ画像（５００）に仮想的にオーバーレイされるように前記ライブ画像（５００）と前記オーバーレイ（５３０）とを表示すべく、前記表示手段（１２２）を制御する、
ようにさらに構成されている、
請求項２記載の処理装置（１３０）。

【請求項4】

前記処理装置（１３０）は、その時点で観察されている試料のライブ画像（５００）と前記オーバーレイ（５３０）とを整合させ、特に、前記オーバーレイ（５３０）の対応するジオメトリ尺度と前記試料のライブ画像（５００）との差に基づいて品質特性を決定するようにさらに構成されている、
請求項３記載の処理装置（１３０）。

【請求項5】

試料（１６０）の光学検査のための検査装置（１００）であって、前記検査装置（１００）は、
カメラ（１１６）を含む光学検査手段（１１０）と、表示手段（１２２）を含むユーザインタフェース手段（１２０）と、前記ユーザインタフェース手段（１２０）および前記カメラ（１１６）に通信可能に結合された、請求項１から４までのいずれか１項記載の処理装置（１３０）と、を備える、
検査装置（１００）。

【請求項6】

請求項５記載の検査装置（１００）を使用して試料（１６０）の光学的品質検査を実行する方法であって、前記方法は、
光学検査手段（１１０）を用いて試料（１６０）を観察するステップと、
表示手段（１２２）に表示された指示（１９２）に従って前記試料（１６０）の光学的品質検査を実行するステップと、
実行された光学的品質検査に関する品質報告（１９４）を作成して前記品質報告（１９４）をストレージ手段（１８０）に記憶するステップおよび／または前記カメラを用いて画像を取得して前記画像をストレージ手段（１８０）に記憶するステップと、
を含む方法。

【請求項7】

前記方法は、前記カメラ（１１６）および前記表示手段（１２２）を用いて前記試料（１６０）を観察するステップを含み、
前記指示（１９２）に従って前記試料（１６０）の光学的品質検査を実行するステップは、
前記表示手段（１２２）に表示されるオーバーレイ（５３０）を、観察されている前記試料と整合させるステップと、
前記オーバーレイ（５３０）の対応するジオメトリ尺度と前記試料もしくは前記試料のライブ画像（５００）との差に基づいて品質特性を決定するステップと、
を含む、
請求項６記載の方法。

【請求項8】

前記品質報告（１９４）は、前記品質特性に基づいて判定された合格もしくは不合格の記録を含む、
請求項７記載の方法。

【請求項9】

カメラ（１１６）を含む光学検査手段（１１０）、表示手段（１２２）を含むユーザインタフェース手段（１２０）、処理装置（１３０）およびストレージ手段（１８０）を用意して、試料（１６０）の光学検査のための検査装置（１００）をセットアップする方法であって、前記方法は、
前記処理装置（１３０）を前記ユーザインタフェース手段（１２０）および前記カメラ（１１６）に通信可能に結合するステップ（３００）と、
前記処理装置（１３０）を前記ストレージ手段（１８０）に通信可能に結合するステップ（３０５）と、
前記処理装置（１３０）がデータを記憶するためおよび取り出すために前記ストレージ手段（１８０）にアクセスするように前記処理装置（１３０）を構成するステップ（３１０）と、
ユーザ（１５０）によって実行される試料（１６０）の光学的品質検査のための指示（１９２）を含む指示データ（１９０）を作成するステップ（３３０）および前記指示データ（１９０）を前記ストレージ手段（１８０）に記憶するステップであって、前記指示データ（１９０）を作成するステップ（３３０）は、どの試料（１６０）に対してどの種類の品質検査を実行するか、どのような品質報告を作成するかおよびどのような画像を前記試料（１６０）から取得するかに関する前記ユーザ（１５０）のための指示（１９２）を定義することを含むステップと、
前記処理装置（１３０）を、要求に応じてユーザ（１５０）に前記指示（１９２）を提供するように構成するステップ（３１５）と、
前記処理装置（１３０）を、前記指示（１９２）の提供中に要求に応じて品質報告データ（１９６）および画像データを記憶するように構成するステップ（３２０）と、
を含む方法。

【請求項10】

前記指示データを作成するステップは、
前記光学検査手段（１１０）によってその時点で検査されているかつ／または前記表示手段（１２２）を介して観察されている試料（１６０）にオーバーレイ（５３０）が仮想的にオーバーレイされ、前記試料（１６０）に対して特定の品質検査を実行するために前記オーバーレイ（５３０）が前記ユーザ（１５０）によって使用されるように、前記表示手段（１２２）によって表示される少なくとも１つのオーバーレイ（５３０）を定義することをさらに含む、
請求項９記載の方法。

【請求項11】

前記光学検査手段（１１０）は、顕微鏡（１１２）をさらに備え、かつ／または
前記ユーザインタフェース手段（１２０）は、前記表示手段（１２２）としてのタッチディスプレイおよび／または前記表示手段（１２２）とは別個に設けられる入力手段（１２４，１２６）をさらに含む、
請求項９または１０記載の方法。

【請求項12】

前記ストレージ手段（１８０）は、フォルダベースのデータストレージおよび／またはデータベース用サーバを備える、
請求項９から１１までのいずれか１項記載の方法。

【請求項13】

請求項１から４までのいずれか１項記載の処理装置（１３０）が前記処理装置として使用される、請求項９から１２までのいずれか１項記載の方法。

【請求項14】

試料（１６０）を光学検査するための検査装置（１００）において使用される処理装置（１３０）を動作させる方法、特に請求項１から４までのいずれか１項記載の処理装置（１３０）を動作させる方法であって、前記処理装置（１３０）は、
・光学検査手段（１１０）のカメラ（１１６）に通信可能に結合され、
・表示手段（１２２）を含むユーザインタフェース手段（１２０）に通信可能に結合され、
・前記ユーザインタフェース手段（１２０）および／または前記カメラ（１１６）から入力データを受信し、
・前記ユーザインタフェース手段（１２０）に出力データを供給し、
・ストレージ手段（１８０）に通信可能に結合され、データを記憶するためおよび取り出すために前記ストレージ手段（１８０）にアクセスする、
ように構成されており、
前記方法は、
前記処理装置（１３０）により、前記ストレージ手段（１８０）に記憶された指示データ（１９０）にアクセスすることによって、前記ユーザインタフェース手段（１２０）を介して、ユーザ（１５０）によって実行される試料（１６０）の光学的品質検査のための指示を提供し、前記指示（１９２）を出力データとして前記ユーザインタフェース手段（１２０）に供給することであって、前記指示（１９２）は、どの試料（１６０）に対してどの種類の品質検査を実行するかに関する前記ユーザ（１５０）のための所定の指示を含むステップと、
前記処理装置（１３０）により、前記ユーザインタフェース手段（１２０）を介しての前記光学的品質検査からの品質報告データ（１９６）および／または前記カメラ（１１６）によって取得された画像の画像データを入力データとして受信し、前記品質報告データ（１９６）および／または前記画像データを前記ストレージ手段（１８０）に記憶するステップと、
を含む方法。

【請求項15】

前記指示は、前記表示手段（１２２）によって表示される少なくとも１つの所定のオーバーレイ（５３０）をさらに含み、これにより、前記オーバーレイ（５３０）は、前記光学検査手段（１１０）によってかつ／または前記表示手段（１２２）を介してその時点で観察されている試料（１６０）に仮想的にオーバーレイされ、前記オーバーレイ（５３０）は、前記試料（１６０）に対して特定の品質検査を実行するために前記ユーザ（１５０）によって使用され、
前記方法は、
前記処理装置（１３０）により、前記カメラ（１１６）を制御して、その時点で観察されている前記試料（１６０）のライブ画像を取得するステップと、
前記表示手段（１２２）を制御して、前記オーバーレイ（５３０）が前記ライブ画像（５００）に仮想的にオーバーレイされるように、前記ライブ画像（５００）および前記オーバーレイ（５３０）を表示させるステップと、
をさらに含む、
請求項１４記載の方法。

【請求項16】

処理装置（１３０）上、特に請求項１から４までのいずれか１項記載の処理装置上で実行される際に、請求項１４または１５記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実質的に、試料の光学検査のための検査装置において使用される処理装置、検査装置、試料の光学的品質検査を実行する方法、検査装置をセットアップする方法および処理装置を動作させる方法に関する。

【背景技術】

【0002】

種々の技術分野において、被験体または試料の光学検査が必要とされている。例えば、医療技術では、ステントのようなコンポーネントにつき、最終的な使用の前に特定の品質要件が検査されなければならない。このような品質検査は、目視によってまたは顕微鏡のような拡大機器を使用することによって実行可能である。合格もしくは不合格等の何らかの検査結果は、手動で、または例えば単純なデジタルシートとして記録することができる。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明によれば、独立請求項の特徴を有する、処理装置、検査装置、光学的品質検査を実行する方法、検査装置をセットアップする方法、処理装置を動作させる方法および対応するコンピュータプログラムが提案される。有利なさらなる発展形態は、各従属請求項および後続の説明の主題を形成する。

【0004】

本発明は、試料の光学検査（特に光学的品質検査）のための検査装置、当該装置と共にもしくは当該装置において使用される処理装置、さらに、試料の光学的品質検査を実行する方法、当該検査装置をセットアップする方法および当該処理装置を動作させる方法に関する。特に、ここでの試料は、医療用コンポーネントまたは医療用部品、例えばステント、医療用ねじ等を含みうる。ただしもちろん、種々の種類の試料が検査されうる。ここでの検査装置は、光学検査手段（または光学検査装置）と、ユーザインタフェース手段もしくはユーザインタフェースデバイスと、処理装置と、を備える。光学検査手段は、カメラ（すなわち画像取得手段）を含み、好ましくはさらに、試料の詳細検査および拡大のためにユーザが使用可能な顕微鏡も含む。ユーザインタフェース手段は、モニタ（ディスプレイ）のような表示手段を備え、好ましくはさらにキーボードおよび／またはコンピュータマウスのようなユーザ入力手段もしくはユーザ入力デバイスも備える。また、ユーザインタフェース手段は、この場合、表示手段とユーザ入力手段との組み合わせの形態を成すタッチディスプレイを備えていてもよい。

【0005】

カメラは、顕微鏡と組み合わされていてよく、さらにユーザインタフェース手段もしくはその少なくとも一部と組み合わされていてもよい。例えば、顕微鏡を介した試料の（ライブ）撮像を可能にするために、カメラを顕微鏡に取り付けることができる。さらに、表示手段上で視覚化される内容が顕微鏡の光路に結合されるよう、表示手段を顕微鏡に組み込むこともできる（すなわち、この場合、ユーザインタフェース手段の一部である表示手段は、光学検査手段の一部でもある）。

【0006】

処理装置は、ユーザインタフェース手段（表示手段を含む）と通信可能に、またさらにカメラと通信可能に結合される計算ユニットである。これにより、ユーザインタフェース手段およびカメラから入力データを受信し、ユーザインタフェース手段、特に表示手段に出力データを供給することができる。このようにして、処理装置により、動作を制御することができる。なお、処理装置は対応するコンポーネントのそれぞれを接続するための個別の通信インタフェースを含むことができるが、複数のコンポーネントを処理装置の共通のインタフェースに接続することもできる。例えば、カメラ用、キーボード用およびコンピュータマウス用の個別のＵＳＢインタフェースを設けることができる（もちろん、キーボードおよびコンピュータマウスを共通のＵＳＢインタフェースに接続することもできる）。ディスプレイ用としてはＨＤＭＩインタフェースを設けることができる。

【0007】

好ましくは、光学的品質検査を実行するユーザのための指示等のデータを記憶することのできるストレージ手段が設けられている。また、こうした光学的品質検査において取得されたデータ（品質報告データ）も当該ストレージ手段に記憶することができる。こうしたストレージ手段は、例えばインタフェースを介して処理装置に接続することができ、または通信可能に結合することができる。一般的に、フォルダベースのデータストレージおよび／またはデータベース用サーバのような種々の種類のストレージ手段を使用することができる。

【0008】

したがって、処理装置は、光学検査手段のカメラに通信可能に結合（接続）され、表示手段を含むユーザインタフェース手段に通信可能に結合され、ユーザインタフェース手段および／またはカメラから入力データを受信し、ユーザインタフェース手段に出力データを供給し、ストレージ手段に通信可能に結合されて、データを記憶するためおよび取り出すためにストレージ手段にアクセスするように構成される。

【0009】

試料の光学検査を可能にし、試料の十分な品質を保証するために、特に試料につき実行される検査の種々のステップを有する一種のワークフローを含む、ユーザのための特定の指示を提供することができる。このことを達成するために、本発明は、ユーザにより実行される試料の光学的品質検査に関するこうした指示を含む指示データをストレージ手段上もしくはストレージ手段内に記憶することを提案する。この場合、処理装置はこれらの指示データにアクセスし、実行される試料の光学的品質検査に関する指示を、ユーザインタフェース手段を介して提供し、これにより、指示が出力データとしてユーザインタフェース手段に提供される。これらの指示には、どの試料に対してどの種類の光学的品質検査を実行するかに関するユーザのための所定の指示が含まれる。上述したように、それぞれ異なる指示を伴うワークフロー内にそれぞれ異なるステップが存在しうる。こうした指令の詳細については、図および相応の説明を参照されたい。

【0010】

次いで、試料の光学的品質検査を実行するユーザは、（特に指示に従って）試料に関する種々のデータ、例えば尺度、欠陥等を取得しなければならず、また、特に光学検査手段のカメラを用いた試料の画像取得が必要となることもある。したがって、ユーザは、一種の品質報告を形成しなければならない。このような品質報告を参照するデータは、以下では品質報告データとも称され、この場合にはユーザインタフェース手段を使用してユーザが作成したものであって、ストレージ手段での記憶のために処理装置へ送信される。よって、処理装置は、ユーザインタフェースを介して、光学的品質検査からの品質報告データを受け取る。また、処理装置は、カメラにより取得された画像の画像データを入力データとして受け取ることができる。次いで、処理装置は、品質報告データおよび／または画像データをストレージ手段に記憶する。

【0011】

これにより、ユーザは、例えば中央のストレージ手段に記憶されていた所定の指示に厳密に従って、試料の光学的品質検査を実行することができる。当該指示の定義については、後に詳しく説明する。また、すべての品質報告または品質報告データは、同じ場所に記憶されるので、すべての品質報告への中央からのアクセスが可能となる。特に、これらの検査装置のうちの複数の検査装置（または対応する処理装置）は、同じストレージ手段に接続可能であり、したがってすべての処理装置に同じ指示が供給され、すべての品質報告を同じ場所に記憶することが可能となる。

【0012】

好ましくは、指示はさらに、表示手段によって表示される少なくとも１つの所定のオーバーレイを含み、これにより、オーバーレイは、光学検査手段によりかつ／または表示手段を介してその時点で観察されている試料に（例えば、顕微鏡の接眼レンズによってオーバーレイを光路内へ結合させた状態で直接に、またはカメラによって捕捉されてモニタに提示される試料のライブ画像と共にモニタに提示されるオーバーレイとして間接的に）仮想的にオーバーレイされる。当該オーバーレイは、試料に対して特定の光学的品質検査を実行するためにユーザによって使用されるべきものである。このようなオーバーレイは、例えば、試料が有していなくてはならない形状または内部に試料の形状を有するべき領域を含むことができる。特に、カメラが処理装置によって制御されて、その時点で観察されている試料のライブ画像が取得され、表示手段が制御されて、オーバーレイがライブ画像に仮想的にオーバーレイされるように、ライブ画像とオーバーレイとが表示される。

【0013】

好ましくは、その時点で観察されている試料のライブ画像とオーバーレイとが整合される。これにより特に、オーバーレイの対応するジオメトリ尺度と試料のライブ画像との差に基づいて品質特性を決定することができる。この場合、品質報告が特に、品質特性に基づいて判定された合格もしくは不合格の記録を含むことができる。こうしたオーバーレイの使用により、試料の高速かつ効率的な光学的品質検査が可能となる。なぜなら、試料が満たすべき（自動的な）表示要件（尺度比、形状等）によって、検査を実行するユーザまたはオペレータが支援されるからである。オーバーレイと試料との整合は、ユーザにより（例えばオーバーレイに対して試料を位置決めすることによって）実行可能であるが、こうした整合を、処理装置を用いて自動的に実行することもできる。これは、例えば、ライブ画像内の試料のエッジの検出を含む、試料のライブ画像の画像分析と、相応のオーバーレイの方向付けと、を含むことができる。

【0014】

上述したように、本発明は、このような検査装置をセットアップする方法にも関する。前述したように、処理装置を、対応するコンポーネントおよび手段に結合もしくは接続し、これに従って構成することに加え、ここでのセットアップには、ユーザによって実行される試料の光学的品質検査のための指示を含む指示データを作成し、この指示データをストレージ手段に記憶することも含まれる。ここでの作成は、どの試料に対してどの種類の品質検査を実行するか、どのような品質報告を作成するかおよびどのような画像を試料から取得するかに関する、ユーザのための指示を定義することを含む。

【0015】

好ましくは、指示データおよびこの指示データに含まれる指示は、光学的品質検査を実行するユーザまたはオペレータによって定義されるのではなく、こうした品質検査中に特定の試料または特定の試料種類から必須のものとして取得されるすべてのデータを認識している（品質）管理者のような別の人員によって定義される。さらに、複数の試料の品質報告は、例えば（品質）管理者がストレージ手段から取得して検査可能かつ／または承認可能であり、その後、バッチ報告を作成することもできる。このような光学的品質検査手順のさらなる概要は図に示されている。

【0016】

さらに、処理装置のそれぞれは、デジタル顕微鏡カメラおよび試料の撮像を可能にするこのようなカメラを備えた顕微鏡を記載した文献である国際公開第２０２０／１８２０８８号に開示されているカメラ（一種のスマートカメラまたはインテリジェントカメラ）が統合された処理手段によって提供されるタスクの一部もしくは全部を実行できるように構成可能であることに留意されたい。このようなスマートカメラとは対照的に、本発明において提案する処理装置は、カメラとは別個に設けられる装置であり、したがってユーザまたは顧客の必要に応じて種々のカメラと組み合わせて使用することができる。

【0017】

本発明のさらなる利点および実施形態は、説明および添付の図から明らかとなる。

【0018】

前述した特徴および以下でさらに説明する特徴は、本発明の範囲から逸脱することなく、それぞれ示されている組み合わせのみならず別の組み合わせにおいてもまたは単独でも使用可能であることに留意されたい。

【図面の簡単な説明】

【0019】

【図1】好ましい実施形態における、本発明による検査装置を示す概略図である。

【図2】図１の検査装置の一部である処理装置を示す詳細図である。

【図3】好ましい実施形態における、本発明による方法を説明するフロースキーマを概略的に示す図である。

【図4】好ましい実施形態における、本発明による光学的品質検査でのステップを概略的に示す図である。

【図5】別の好ましい実施形態における、本発明による光学的品質検査でのステップを概略的に示す図である。

【発明を実施するための形態】

【0020】

図１には、好ましい実施形態における、本発明による検査装置１００の概略図が示されている。検査装置１００は、光学検査手段１１０、ユーザインタフェース手段１２０および処理装置１３０を備える。光学検査手段１１０は、対物レンズ１１２および接眼レンズ１１４を有する顕微鏡１１２と、カメラ１１６と、を含む。例えば、カメラ１１６は、接眼レンズ１１４とは別個に顕微鏡１１２に結合されており、これにより、ユーザまたはオペレータ１５０が接眼レンズ１１４を介して試料１６０を観察するもしくは光学検査することができると同時に、カメラ１１６によって試料１６０のライブ画像を取得することができる。カメラ１１６は、処理装置１３０に通信可能に結合されている。処理装置１３０は、必要に応じて、取り付けブラケットによって顕微鏡に取り付け可能である。

【0021】

ユーザインタフェース手段１２０は、モニタまたはディスプレイの形態の表示手段１２２と、入力手段としてのキーボード１２４およびコンピュータマウス１２６と、を含む。これらのコンポーネント、すなわち表示手段１２２、キーボード１２４およびコンピュータマウス１２６のそれぞれは、処理装置１３０に接続されている（通信可能に結合されている）。これにより、ユーザは、表示手段を介して試料を観察するもしくは光学検査することができる。また、別個の接眼レンズは省略することもできる。

【0022】

さらに、ストレージ手段１８０は、例えばイーサネットまたはインターネットを介して処理装置１３０に接続されている。ストレージ手段には、指示データ１９０、品質報告データ１９６、前述のおよび以下で詳細に説明する画像を記憶するためのフォルダベースのデータストレージを設けることができる。もちろん、データベースを実行するサーバのような他のもしくは付加的なストレージ手段も使用可能であり、処理装置１３０に接続可能である。例えば、表示手段１２２上には、指示１９２および品質報告１９４が表示される。

【0023】

図２には、図１の処理装置１３０の詳細図、特に背面図が示されている。処理装置１３０は、プロセッサ（ＣＰＵ）２３１および複数の（通信）インタフェースもしくはポートを備えている。例えば、ここでのインタフェースは、イーサネットインタフェース２３２と、４つのＵＳＢインタフェース２３３（これらは異なる種類のもの、例えばＵＳＢ３．０および／またはＵＳＢ２．０であってよい）と、ＨＤＭＩインタフェース２３４と、を含む。さらに、電源ソケット２３５も設けられている。イーサネットインタフェース２３２を使用して、処理装置１３０をネットワークに接続することができ、ＵＳＢインタフェース２３３を使用して、処理装置１３０をカメラ１１６、キーボード１２４およびコンピュータマウス１２６に接続することができる。ＨＤＭＩインタフェース２３４は、処理装置１３０を表示手段１２２に接続するために使用可能である。さらに、別のネットワーク接続を提供するために、ＵＳＢインタフェース２３３のうちの１つに接続可能なＷＩＦＩドングル２３６も示されている。必要に応じて、バーコードスキャナおよび／または（ユーザインタフェース手段とみなすことのできる）フットスイッチのような別のコンポーネントを接続することもできる。また、別の（モバイル）ストレージデバイスも接続可能である。なお、これらのインタフェースおよび接続のためのその使用は例示の目的で挙げているにすぎないことに留意されたい。

【0024】

ネットワークを介して、処理装置１３０は、ストレージ手段（上記も参照）および／または他の検査装置の他の処理装置に接続することができる。

【0025】

図３には、指示および品質報告に特に焦点を当てた本発明における方法として提案される、検査装置のセットアップを含む光学的品質検査手順が示されている。ステップ３００～３２０は、検査装置、すなわち試料の検査に使用される装置のセットアップに関する。これらのステップは、処理装置をユーザインタフェース手段およびカメラに通信可能に結合すること（ステップ３００）、処理装置をストレージ手段に通信可能に結合すること（ステップ３０５）、データを記憶するためおよび取り出すためにストレージ手段にアクセスできるように処理装置を構成すること（ステップ３１０）、要求に応じてユーザに指示が提供されるように処理装置を構成すること（ステップ３１５）、ならびに指示の提供中、要求に応じて品質報告データおよび画像データを記憶するように処理装置を構成すること（ステップ３２０）を含む。

【0026】

これらのステップは、基本的に、品質検査を開始する前に実行される準備ステップである。なお、各ステップの順序は必ずしも図示および説明した順序でなくてよいことに留意されたい。上述したように、指示を含む指示データは、検査前に作成されてストレージ手段に記憶されていなければならない。ここでの作成は、ステップ３３０～３６０に即して説明する以下の手順において実行することができる。

【0027】

ステップ３３０において、特定の試料または特定の試料種類、例えば特定のステント等につき実行されるべき指示が作成される。ここでの指示は、ユーザまたはオペレータが当該試料の光学的品質検査中に実行しなければならないワークフローもしくはステップシーケンスの種類であるかまたはこれを含むことができる。当該指示は、例えば、手順全体を管理する管理者によって定義される。

【0028】

ステップ３３５では、当該指示が、例えば管理者によって、一般的には品質管理を担当する品質管理者によって、提出される。ステップ３４０では、品質管理者は、例えば品質に関連する態様に関する指示を検査する。指示が要件を満たす場合、品質管理者がこの指示を承認する。満たさない場合には指示は改訂可能であり、すなわち、ステップ３３０が再び実行される。承認された指示は、指示データの形式で、または指示データ内に含まれた状態で、ストレージ手段に記憶される。なお、ステップ３３０において指示をストレージ手段に記憶することもでき、また、品質管理者がステップ３４０において指示データを検査するためかつ／または承認するために指示データにアクセスすることもできることに留意されたい。例えば、承認された指示のみがユーザによるアクセスに対してイネーブルにされる。指示を作成するかつ／または検査するかつ／または承認するために、検査装置を使用することができる。なお、（例えばネットワークを介して）ストレージ手段に接続された別のコンピュータを使用することもできる。

【0029】

ステップ３４５では、以前に定義された指示による光学的品質検査が、ユーザまたはオペレータにより、検査装置を使用して、１つもしくは複数の試料につき実行される。当該ステップでは、指示は、上述したように表示手段を介してユーザに提供される。ここでの指示がどのように見えるかについてのさらなる詳細を以下に示す。ステップ３５０では、ユーザが品質検査報告を提出し、次いでこの品質検査報告が品質報告データの形式でストレージ手段に記憶される。なお、こうした品質報告またはデータの作成のしかたに関しては種々の方式が考えられることに留意されたい。例えば、ワークフローに従った各検査ステップの後、ユーザがユーザインタフェースを介して対応する検査ステップの結果を提出し、特定の試料についてのワークフローの完了後にこの報告を完了としてマークすることができる。これは、品質報告データがワークフロー中に繰り返し更新されることを意味する。ステップ３４５およびステップ３５０は、検査される試料ごとに繰り返される。

【0030】

なお、複数のユーザのために設けられた複数の検査装置を用いて別の品質報告を作成し、ストレージ手段に記憶することができることに留意されたい。なお、すべてのユーザが同じ種類の試料を検査するのであれば、各ユーザは同じ指示データにアクセスすることができる。もちろん、（例えばそれぞれ異なる名称を有する）それぞれ異なる指示またはワークフローをそれぞれ異なる試料に提供することができる。

【0031】

ステップ３５５では、品質報告を、例えば管理者が検査および承認することができる。さらに、複数の品質報告から、管理者は、ステップ３６０においてバッチ報告を作成することができる。

【0032】

なお、それぞれ異なるソフトウェアアプリケーション（アプリ）が処理装置上に設けられていてよく、例えば、それぞれ異なるワークフローを定義し、品質報告等を検査する管理者（および品質管理者）用のマネージャアプリと、（上記のステップ３４５、ステップ３５０に関して）光学的品質検査を実行するためのユーザ用のオペレータアプリと、が提供されうることに留意されたい。また、アカウントを有するユーザのみが光学的品質検査を実行できるようにユーザアカウントを設定することもできる。また、それぞれ異なるユーザアカウントに、それぞれ異なる適格性、または特定の試料についての特定の指示のみへのアクセスを付与することもできる。

【0033】

図４には、好ましい実施形態における、本発明による光学的品質検査でのステップが概略的に示されている。全体として、図４には、試料の光学的品質検査中の上述した検査装置のディスプレイまたはモニタの内容が示されている。この実施例では、試料はステントであり、その（ライブ）画像４００（カメラビュー）がディスプレイに提示されている。上述したように、検査装置のカメラは、このようなライブ画像を取得するために使用可能である。

【0034】

ディスプレイの右側には、特定の指示テキストおよび／または（ソフトウェア）ボタン４１０～４１５を含むメニューバーが表示されている。ここでのテキスト／ボタンは、ワークフローから離脱し、ワークフロー選択画面へ戻るボタン（「戻る」）；検査結果の詳細ビューを開く検査結果のリスト；カメラ設定；ユーザ設定；ステップ数；次のワークフローステップへ移行するボタン（「次へ」）；前のワークフローステップへ戻るボタン（「前へ」）；現在のワークフローステップ内のタスクの詳細な説明、を含むことができる。なお、参照符号４１０～４１５および対応するボックスは例示の目的のみに使用されており、このようなテキスト／ボタンの実際の内容、数値もしくは配置に関するものでないことに留意されたい。

【0035】

さらに、カメラビュー内にカメラボタン４２０が表示されている。当該ボタン４２０をクリックすることによって、別のオプションまたはカメラオプション、例えばカメラ画像における欠陥のマーキング、長さ測定の実行、角度測定の実行、半径測定の実行、画像への記録の付加を表示させることができる。動作またはオプションの種類に応じて、ユーザはコンピュータマウスを用いて画像／ビュー内にいくつかのマーカを設定可能であり、対応する測定が自動で実行される。例として、長さ（または直径）測定の実行が、図４において、破線４３０および対応するマーカ（破線の各端部の十字で示されている）によって示されている。測定が完了した後、ユーザは、測定値を保存して品質報告データを作成することができる（この品質報告データは、別の測定値等を含む全体的な品質報告の一部である）。

【0036】

別の機能は、例えば、後に正確な測定値を検査することができるよう、図４に示されている測定マーカおよび測定線を含む、試料の現在ビューの画像を撮影することでありうる。また、例えば画像を撮影しテキスト記録を付加することで、試料の欠陥を記録することができる。さらに、必要に応じて、それぞれのボタンを使用して、カメラ設定を調整することができる。

【0037】

カメラおよびライブ画像を使用するこうした測定は、典型的にはカメラまたはその設定の較正を必要とする。これは、ワークフローの初期ステップとして、または必要とされる時点で、実行可能である。このような較正では、試料として測定テープのような既知の尺度を撮影し、上述したこのような既知の尺度の長さ測定を実行し、この長さを較正メニューにおいて設定することが要求されうる。

【0038】

図５には、別の好ましい実施形態における、本発明による光学的品質検査でのステップが概略的に示されている。全体として、図５には、図４と同様の検査装置のディスプレイまたはモニタの内容が試料のライブ画像５００と共に示されている。なお、この実施例における試料はステントではなく、ねじ山を有するねじである。

【0039】

ディスプレイの右側には、特定の指示テキストおよび／または（ソフトウェア）ボタン５１０～５１５を含むメニューバーが表示されている。ここでのテキスト／ボタンは、図４に参照番号４１０～４１５で示されているテキスト／ボタンと同様であってよい。また、ボタン５２０は、図４のボタン４２０に対応するものであってよく、またはカメラボタン（上記の説明、すなわち、上述した別のオプションまたはカメラオプションを示す３つのボックスを参照されたい）をクリックした後、測定値等の保存のために使用される保存ボタンに対応するものであってもよい。

【0040】

この場合には、オーバーレイ５３０が、その時点で観察されている試料（またそのライブ画像のそれぞれ）にオーバーレイされている。ここでのオーバーレイは、上述したように、全体的な指示またはワークフローの作成中に作成することができる。この実施例におけるオーバーレイ５３０は一種のネットまたはグリッドであり、上部および下部の２本の平行線と、上部から下部へ向かって僅かに右へ方向付けられた複数の別の平行線と、を有する。こうしたオーバーレイは、ユーザにより、または自動で、ライブ画像５００と整合させることができる。

【0041】

この実施例では、上部および下部の線は、試料の外側エッジが有することのできるもしくは有していなければならない形状を示す。また、任意の付加的なマージンを含めることもできる。ほぼ垂直な線は、試料のねじ山が有していなければならないもしくは有すべき方向または進行状態を示す。オーバーレイと試料の実際の尺度もしくはジオメトリとの差に応じて、品質報告において当該試料を合格または不合格としてマークすることができる。

【0042】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆるすべての組み合わせを含んでおり、「／」として略記されることがある。

【0043】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0044】

いくつかの実施形態は、図１から図５のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図５のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図５のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図１は本明細書に記載された方法を実施するように構成されたシステム１００の概略図を示している。システム１００は、顕微鏡１１２とコンピュータシステム１３０とを含んでいる。顕微鏡１１２は、撮像するように構成されており、かつコンピュータシステム１３０に接続されている。コンピュータシステム１３０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム１３０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム１３０と顕微鏡１１２は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム１３０は、顕微鏡１１２の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム１３０は、顕微鏡１１２のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡１１２の従属部品の一部であってもよい。

【0045】

コンピュータシステム１３０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム１３０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム１３０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム１３０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム１３０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム１３０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザがコンピュータシステム１３０に情報を入力することおよびコンピュータシステム１３０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0046】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0047】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0048】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0049】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0050】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0051】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0052】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0053】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0054】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0055】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0056】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0057】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】