特開 2024-4272 コントローラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024004272

(43)【公開日】2024-01-16

(54)【発明の名称】コントローラ

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240109BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022103861

(22)【出願日】2022-06-28

(71)【出願人】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】鴫谷 篤人

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051AC11

2G051CA04

2G051CA07

2G051CB01

2G051DA01

2G051EB09

2G051ED08

2G051ED11

(57)【要約】

【課題】スマートカメラとの連携が可能なコントローラを提供する。
【解決手段】スマートカメラ１０２が接続可能なコントローラ１０は、スマートカメラ１０２が単独で、検査対象画像の生成処理と当該検査対象画像に対する検査処理とを実行する第１モード、およびスマートカメラ１０２が、検査対象画像の生成処理と当該検査対象画像のコントローラ１０への転送処理とを実行し、コントローラ１０が、当該転送された検査対象画像に対する検査処理を実行する第２モードのいずれかのモードの設定を受け付ける設定部１５を備えている。第２モードの設定を受け付けた場合には、コントローラ１０の検査部１２が検査処理を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

スマートカメラが接続可能なコントローラであって、
前記コントローラに接続された前記スマートカメラが単独で、検査対象画像の生成処理と当該検査対象画像に対する検査処理とを実行する第１モード、および前記コントローラに接続された前記スマートカメラが、検査対象画像の生成処理と当該検査対象画像の前記コントローラへの転送処理とを実行し、前記コントローラが、当該転送された検査対象画像に対する検査処理を実行する第２モードのいずれかのモードの設定を受け付ける設定部と、
前記設定部が前記第２モードの設定を受け付けた場合に前記検査処理を実行する検査部と、を備える、コントローラ。

【請求項2】

請求項１に記載のコントローラにおいて、
前記設定部は、前記第２モードで、前記コントローラに接続された一つのスマートカメラが生成した検査対象画像であって、当該スマートカメラにより検査処理が実行されずに転送された当該検査対象画像に対して、前記検査部が検査処理の全てを実行する、第１形態の選択を更に受け付け可能に構成されている、コントローラ。

【請求項3】

請求項１に記載のコントローラにおいて、
前記設定部は、前記第２モードで、前記コントローラに接続された複数のスマートカメラが生成した複数の検査対象画像であって、当該複数のスマートカメラにより検査処理が実行されずに転送された当該複数の検査対象画像に対して、前記検査部が検査処理の全てを実行するとともに、当該複数の検査対象画像に対する各検査処理の結果に基づいて総合判定を実行する、第２形態の選択を更に受付可能に構成されている、コントローラ。

【請求項4】

請求項１に記載のコントローラにおいて、
前記設定部は、前記第２モードで、前記コントローラに接続された一つのスマートカメラが生成した検査対象画像であって、当該スマートカメラにより検査処理の一部が実行されて転送された前記検査対象画像に対して、前記検査部が検査処理の残りの処理を実行する、第３形態の選択を更に受付可能に構成されている、コントローラ。

【請求項5】

請求項４に記載のコントローラにおいて、
前記検査部は、前記第２モードの前記第３形態において、前記コントローラに接続された一つのスマートカメラにより実行されて転送された前記検査処理の一部の結果を用いて、前記転送された検査対象画像に対して前記検査処理の残りの処理を実行する、コントローラ。

【請求項6】

請求項１に記載のコントローラにおいて、
前記設定部は、前記第２モードで、前記コントローラに接続された複数のスマートカメラが生成した複数の検査対象画像であって、当該複数のスマートカメラにより各検査処理の一部がそれぞれ実行されて転送された当該複数の検査対象画像に対して、前記検査部が各検査処理の残りの処理を実行するとともに、当該複数の検査対象画像に対する各検査処理の結果に基づいて総合判定を実行する、第４形態の選択を更に受付可能に構成されている、コントローラ。

【請求項7】

請求項６に記載のコントローラにおいて、
前記検査部は、前記第２モードの前記第４形態において、前記コントローラに接続された複数のスマートカメラにより実行された前記各検査処理の一部の各結果を用いて、前記転送された複数の検査対象画像に対して前記各検査処理の残りの処理を実行する、コントローラ。

【請求項8】

請求項１に記載のコントローラにおいて、
前記検査部は、前記第２モードで、前記スマートカメラが画像処理を適用して生成した検査対象画像を当該スマートカメラから取得し、当該画像処理後の検査対象画像に対して前記検査処理を実行する、コントローラ。

【請求項9】

請求項１に記載のコントローラにおいて、
前記検査部は、前記第２モードで、前記スマートカメラが複数の撮像画像を合成して生成した合成画像を当該スマートカメラから取得し、当該合成画像に対して前記検査処理を実行する、コントローラ。

【請求項10】

請求項１に記載のコントローラにおいて、
前記検査部は、前記第２モードで、前記スマートカメラが複数の撮像画像に基づいて生成した３次元形状データを当該スマートカメラから取得し、当該３次元形状データに対して前記検査処理を実行する、コントローラ。

【請求項11】

請求項１に記載のコントローラにおいて、
画像検査機能を搭載しないノーマルカメラを含む複数のカメラと接続可能であり、
前記検査部は、前記ノーマルカメラから取得した検査対象画像に対する前記検査処理を実行し、当該検査処理の結果と、前記スマートカメラから受け取った当該スマートカメラによる検査処理の結果とに基づいて最終結果を判定する、コントローラ。

【請求項12】

請求項１に記載のコントローラにおいて、
画像検査機能を搭載しないノーマルカメラを含む複数のカメラと接続可能であるとともに、接続されたカメラがスマートカメラかノーマルカメラかの種別を認識可能に構成され、
前記設定部は、前記認識された種別に応じてカメラに対する設定可能な処理を変えるように構成されている、コントローラ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像検査用のスマートカメラが接続可能なコントローラに関する。

【背景技術】

【0002】

画像検査システムとして、ワークを撮像するカメラと、カメラが接続されるコントローラとを備え、カメラが撮像した画像に対してコントローラで検査を実行するコントローラタイプのシステムが従来から知られている。

【0003】

このコントローラタイプとは別に、昨今、コントローラが不要で撮像から画像検査まで単独で実行可能なスマートカメラが用いられるケースもある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１５８８８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のようなスマートカメラは、コントローラの設置場所を気にしなくて良いことや配線周りも簡素化されるというメリットがある。

【0006】

一方で、ＡＩ（人工知能）を用いた画像検査技術の発展に伴い、推論や学習の負荷により、スマートカメラ単独では処理能力が不足する事態が起こり得る。つまり、スマートカメラ単独で画像検査の運用を開始した後、処理能力を増強するためにコントローラを使用した検査の運用に切り替えたいというニーズが想定される。

【0007】

処理能力の増強のためであれば、スマートカメラを増設して対応することも考えられるが、一般的にスマートカメラは高額であり、またコントローラの方が高い処理能力が見込めるため、スマートカメラの増設ではなくコントローラを導入する方が効果的な場合がある。

【0008】

ところが、スマートカメラは、単独で画像生成から画像検査まで実行することが前提の装置であるため、従来のスマートカメラは、特に検査処理に関してコントローラとの連携面が十分に想定されているとは言えない。

【0009】

本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、スマートカメラとの連携が可能なコントローラを提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本開示の一態様は、スマートカメラが接続可能なコントローラを前提とすることができる。コントローラは、当該コントローラに接続された前記スマートカメラが単独で、検査対象画像の生成処理と当該検査対象画像に対する検査処理とを実行する第１モード、および前記コントローラに接続された前記スマートカメラが、検査対象画像の生成処理と当該検査対象画像の前記コントローラへの転送処理とを実行し、前記コントローラが、当該転送された検査対象画像に対する検査処理を実行する第２モードのいずれかのモードの設定を受け付ける設定部を備えている。さらに、コントローラは、前記設定部が前記第２モードの設定を受け付けた場合に前記検査処理を実行する検査部も備えている。

【0011】

この構成によれば、第１モードに設定されると、スマートカメラが単独で検査対象画像の生成処理から検査処理まで実行する。一方、第２モードに設定されると、スマートカメラが検査対象画像の生成処理とコントローラへの転送処理とを実行し、検査処理はコントローラが実行する。つまり、スマートカメラで検査処理まで実行可能な場合にはスマートカメラ単独で検査処理を完結させ、スマートカメラ単独では処理能力が不足するような場合にはコントローラで検査処理を実行できるので、必要に応じてスマートカメラとコントローラとを連携させることができる。

【0012】

別の態様に係る設定部は、前記第２モードで、前記コントローラに接続された一つのスマートカメラが生成した検査対象画像に対する検査処理が実行されずに転送された当該検査対象画像に対する検査処理の全てを実行する、第１形態の選択を更に受け付け可能に構成されていてもよい。これにより、すべての検査処理をコントローラに実行させることができるので、スマートカメラを検査対象画像の生成に専念させることができ、検査を効率化できる。

【0013】

別の態様に係る設定部は、前記第２モードで、前記コントローラに接続された複数のスマートカメラが生成した検査対象画像に対する検査処理が実行されずに転送された複数の検査対象画像に対する検査処理の全てを実行し、当該複数の検査対象画像に対する各検査処理の結果に基づいて総合判定を実行する、第２形態の選択を更に受付可能に構成されていてもよい。この構成によれば、スマートカメラを検査対象画像の生成に専念させることに加えて、複数の検査対象画像を用いた検査が必要な検査対象物であっても効率的に検査を実行できる。

【0014】

別の態様に係る設定部は、前記第２モードで、前記コントローラに接続された一つのスマートカメラが生成した前記検査対象画像に対する検査処理の一部が実行されて転送された前記検査対象画像に対する検査処理の残りの処理を実行する、第３形態の選択を更に受付可能に構成されていてもよい。この構成によれば、時間のかかる検査処理であっても、同一の検査対象画像に対する検査をスマートカメラとコントローラとで分担することができるため、効率的に検査を実行できる。

【0015】

別の態様に係る設定部は、前記第２モードで、前記コントローラに接続された複数のスマートカメラが生成した複数の検査対象画像に対する各検査処理の一部がそれぞれ実行されて転送された前記複数の検査対象画像に対する各検査処理の残りの処理を実行し、当該複数の検査対象画像に対する各検査処理の結果に基づいて総合判定を実行する、第４形態の選択を更に受付可能に構成されていてもよい。この構成によれば、時間のかかる検査処理で、複数の検査対象画像を用いた検査が必要な検査対象物であっても効率的に検査が実行できる。

【0016】

別の態様に係る検査部は、前記第２モードで、前記スマートカメラが画像処理を適用して生成した検査対象画像を当該スマートカメラから取得し、当該画像処理後の検査対象画像に対して前記検査処理を実行することができる。この構成によれば、スマートカメラによる画像処理を施した検査対象画像をコントローラで検査処理することで、より複雑な画像検査を効率よく実行できる。

【0017】

別の態様に係る検査部は、前記第２モードで、前記スマートカメラが複数の撮像画像を合成して生成した合成画像を当該スマートカメラから取得し、当該合成画像に対して前記検査処理を実行することができる。

【0018】

別の態様に係る検査部は、前記第２モードで、前記スマートカメラが複数の撮像画像に基づいて生成した３次元形状データを当該スマートカメラから取得し、当該３次元形状データに対して前記検査処理を実行することができる。

【0019】

すなわち、撮像画像の合成や３次元形状データの生成など、大きな負荷がかかる画像処理をスマートカメラに専念させることができる。

【0020】

別の態様では、画像検査機能を搭載しないノーマルカメラを含む複数のカメラと接続可能であってもよい。この場合、前記検査部は、前記ノーマルカメラから取得した検査対象画像に対する前記検査処理を実行し、当該検査処理の結果と、前記スマートカメラから受け取った当該スマートカメラによる検査処理の結果とに基づいて、最終結果を判定することができる。この構成によれば、スマートカメラには単独で撮像から検査処理まで実行させるとともに、コントローラはノーマルカメラから取得した検査対象画像に対して検査処理を実行し、両検査結果に基づいて最終結果の判定が可能であるため、幅広い組合せの使い方ができる。

【0021】

別の態様に係るコントローラは、画像検査機能を搭載しないノーマルカメラを含む複数のカメラと接続可能であるとともに、接続されたカメラがスマートカメラかノーマルカメラかの種別を認識可能に構成することもできる。前記設定部は、前記認識された種別に応じてカメラに対する設定可能な処理を変えてもよい。つまり、コントローラに接続されたカメラの種別を認識することで、カメラに対して実行可能な処理をカメラの種別に応じて設定することで、ユーザの操作性が向上する。

【発明の効果】

【0022】

以上説明したように、スマートカメラ単独で検査対象画像の生成処理から検査処理まで実行できるとともに、必要に応じて、スマートカメラが生成した検査画像の検査をコントローラで実行できるので、スマートカメラとコントローラとを連携させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る画像検査システムの構成を示す概略図である。

【図2】画像検査システムのブロック図である。

【図3】カメラ連動モードの概要を説明する図である。

【図4】カメラ独立モードの概要を説明する図である。

【図5】既存のスマートカメラを、増設したコントローラに接続する例を示す図である。

【図6】スマートカメラの第１検査設定を、ＰＣを介してコントローラに移す場合の手順の例を示すフローチャートである。

【図7】スマートカメラの第１検査設定をコントローラに直接移す場合の手順の例を示すフローチャートである。

【図8】複数台のスマートカメラを同数のノーマルカメラに置き換えたシステム例を示す図である。

【図9】複数台のスマートカメラの第１検査設定を、ＰＣを介してコントローラに移す場合の手順の例を示すフローチャートである。

【図10】スマートカメラとノーマルカメラとを併用して画像検査システムを構築する例を示す図である。

【図11】スマートカメラで設定した第１検査設定をコントローラに移す場合の手順の例を示すフローチャートである。

【図12】画像検査システムの運用例を示す図である。

【図13】画像検査システムのモードの選択手順の一例を示すフォローチャートである。

【図14】画像検査システムの第２モードの４つの使用形態を説明する図である。

【図15】画像検査システムの運用例を説明する図である。

【図16】接続されたカメラの種別認識に基づく設定手順の一例を示すフォローチャートである。

【図17】スマートカメラで使用可能な画像生成処理の表示例を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0025】

図１は、本発明の実施形態に係る画像検査システム１の構成を示す概略図であり、また、図２は、画像検査システム１のブロック図である。画像検査システム１は、画像生成機能を搭載したノーマルカメラ１０１と、画像生成機能に加えて画像検査機能を搭載したカメラであるスマートカメラ１０２と、ノーマルカメラ１０１およびスマートカメラ１０２が接続可能なコントローラ１０とを備えている。画像生成機能とは、ワーク（検査対象物ともいう）を撮像して検査対象画像を生成する機能である。また、画像検査機能とは、検査対象画像に対して一または複数種の検査処理を実行可能な機能であり、ノーマルカメラ１０１には搭載されていない。つまり、ノーマルカメラとは、画像検査機能を搭載しないカメラを意味する。画像検査機能は、スマートカメラ１０２だけでなく、コントローラ１０にも搭載されている。

【0026】

画像検査システム１は、ノーマルカメラ１０１またはスマートカメラ１０２で撮像されたワークを検査するシステムである。ノーマルカメラ１０１およびスマートカメラ１０２は、例えば、複数のワークが順次搬送されるライン等に設置されており、搬送されてくるワークを順次撮像可能になっている。

【0027】

ノーマルカメラ１０１には画像検査機能が搭載されていないので、ノーマルカメラ１０１が生成した検査対象画像の検査はコントローラ１０の画像検査機能によって実行される。一方、スマートカメラ１０２には画像検査機能が搭載されているので、スマートカメラ１０２が生成した検査対象画像の検査はスマートカメラ１０２で実行可能になっている。尚、後述するが、スマートカメラ１０２が生成した検査対象画像の検査の全部または一部をコントローラ１０の画像検査機能によって実行してもよい。

【0028】

図１、図２では、１台のノーマルカメラ１０１と、１台のスマートカメラ１０２をコントローラ１０に同時に接続した運用形態について示しているが、接続されるカメラの数は、これに限られるものではなく、複数台のノーマルカメラ１０１と、複数台のスマートカメラ１０２をコントローラ１０に同時に接続した運用形態を採ることもできる。

【0029】

また、１台または複数台のノーマルカメラ１０１をコントローラ１０に接続し、スマートカメラ１０２をコントローラ１０に接続しない運用形態を採ることや、１台または複数台のスマートカメラ１０２をコントローラ１０に接続し、ノーマルカメラ１０１をコントローラ１０に接続しない運用形態を採ることもできる。

【0030】

スマートカメラ１０２は、それ単独で検査対象画像の検査を実行することができるので、コントローラ１０に接続することなく、使用することができる。例えば、ワークが搬送されているラインが１つであり、ワークの１箇所のみ検査すればよい場合には、１台のスマートカメラ１０２を現場に導入し、コントローラ１０を導入することなく運用することで特段の問題は生じない。

【0031】

ところが、ＡＩ（人工知能）を用いた画像検査技術の発展に伴い、推論や学習の負荷により、スマートカメラ１０２単独では処理能力が不足する事態が起こり得る。つまり、スマートカメラ１０２単独で画像検査の運用を開始した後、処理能力を増強するためにコントローラ１０を使用した検査の運用に切り替えたいというニーズが想定される。

【0032】

また、スマートカメラ１０２の導入後、ラインを増やしたり、ワークの複数箇所を同時に検査したくなった場合には、処理能力の増強を図るため、複数台のカメラを追加導入する必要がある。このとき、スマートカメラ１０２を複数台導入することも考えられるが、スマートカメラ１０２は画像検査機能が搭載されている分、コストが高く、複数台の導入に要するコストは高額になる。そこで、より安価なノーマルカメラ１０１を複数台導入して処理能力を増強することが考えられる。ノーマルカメラ１０１は画像検査機能が搭載されていないので、コントローラ１０と一緒に導入することが前提となるが、コントローラ１０には複数台のノーマルカメラ１０１が接続可能になっており、各ノーマルカメラ１０１で生成された画像を高速で検査できるので、コントローラ１０の導入台数は少なくて済み、トータルで見たときの導入コストはスマートカメラ１０２を複数台導入する場合に比べて削減できる。

【0033】

後からノーマルカメラ１０１とコントローラ１０を導入した場合に問題となるのが、新たに導入したノーマルカメラ１０１を使用した検査をコントローラ１０で実行しようとした時、検査設定をコントローラ１０側で新たに作り直す必要があり、手間と時間がかかる点である。本実施形態に係る画像検査システム１では、この問題を解決することができる機能を搭載している。以下、各カメラ１０１、１０２の構成およびコントローラ１０の構成について具体的に説明する。

【0034】

（ノーマルカメラの構成）
図２に示すように、ノーマルカメラ１０１は、撮像部１０１ａと照明部１０１ｂとを備えている。撮像部１０１ａは、例えばＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補性金属酸化膜半導体）等からなるイメージセンサで構成されているが、ワークを撮像可能なイメージセンサであればよい。照明部１０１ｂは、撮像部１０１ａによる撮像時にワークを照明する部分であり、例えば発光ダイオード等の発光体を有している。また、図１に示すように、ノーマルカメラ１０１にはワークから反射した光が入射するレンズで構成された光学系１０１ｄが設けられている。

【0035】

撮像部１０１ａおよび照明部１０１ｂは、ノーマルカメラ１０１に内蔵されたカメラ側制御部１０１ｃによって制御される。例えば外部からトリガ信号が入力されると、予め設定された撮像設定に従ってカメラ側制御部１０１ｃが撮像部１０１ａおよび照明部１０１ｂを制御し、照明部１０１ｂが所定のタイミングでワークを照明し、照明されたワークを撮像部１０１ａが所定の露光時間で撮像する。照明部１０１ｂの光量や撮像部１０１ａのゲイン等は、撮像設定で規定されている。尚、カメラ側制御部１０１ｃは、ノーマルカメラ１０１以外の機器、例えばコントローラ１０に内蔵されていてもよい。また、照明部１０１ｂは、ノーマルカメラ１０１とは別体とされていてもよく、撮像部１０１ａとは異なる場所からワークを照明するように構成されていてもよい。この場合、照明部１０１ｂの制御は、コントローラ１０によって行うことができる。

【0036】

また、カメラ側制御部１０１ｃは、撮像部１０１ａで取得された画像に例えば前処理等の各種処理を実行することにより、検査対象画像を生成する。従って、ノーマルカメラ１０１の画像生成機能は、撮像部１０１ａとカメラ側制御部１０１ｃとによって構成される。ノーマルカメラ１０１の画像生成機能により生成された検査対象画像は、信号線を介してコントローラ１０に出力される。尚、撮像部１０１ａを制御する部分と、撮像部１０１ａで取得された画像に各種処理を実行する部分とは、別に構成されていてもよい。また、撮像部１０１ａで取得された画像をそのままコントローラ１０に出力してもよい。この場合、ノーマルカメラ１０１の画像生成機能は、撮像部１０１ａによって構成されることになる。

【0037】

（スマートカメラの構成）
スマートカメラ１０２は、撮像部１０２ａと照明部１０２ｂとカメラ側制御部１０２ｃと光学系１０２ｄとを備えている。スマートカメラ１０２の撮像部１０２ａおよび照明部１０２ｂは、ノーマルカメラ１０１の撮像部１０１ａおよび照明部１０１ｂと同様に構成されている。従って、スマートカメラ１０２の画像生成機能は、撮像部１０２ａとカメラ側制御部１０２ｃとによって構成される。スマートカメラ１０２のカメラ側制御部１０２ｃおよび光学系１０２ｄも、ノーマルカメラ１０１のカメラ側制御部１０１ｃおよび光学系１０１ｄと同様に構成されている。

【0038】

スマートカメラ１０２の画像生成機能は、取得した画像を、画像検査に適した画像に加工し、画像検査の性能向上／処理負荷を軽減することが可能な機能を含んでいる。例えば、ソベルフィルタにより、エッジ情報を強調した画像に加工する処理や、事前に学習した情報に基づき、検査対象の欠陥部分を強調した画像に加工する処理を実現する機能も、スマートカメラ１０２の画像生成機能に含まれる。

【0039】

スマートカメラ１０２の画像生成機能は、画像合成処理も含んでいる。例えば、撮像条件が異なる複数枚の画像を取得し、それらを合成することで、画像検査に適した画像に加工する処理も実行可能である。具体的には、露光時間を変化させて複数枚の画像を取得し、それらを合成することで、高ダイナミックレンジ画像を生成する機能や、異なる照明条件（照明の光量、光の波長、照明方向など）で取得した複数枚の画像を合成することで、検査対象の欠陥部分を強調した画像を生成する機能である。欠陥部分は、例えば傷等である。

【0040】

スマートカメラ１０２の画像生成機能は、取得した画像の一部を切り出すＲＯＩ処理も含んでいる。例えば、事前に設定されたピクセル位置情報に基づき、取得画像の一部を切り出す処理や、取得画像の中から検査対象の位置をサーチし、検査対象が映っている部分の画像を切り出す処理である。

【0041】

スマートカメラ１０２は、記憶部１０２ｅおよび検査部１０２ｆも備えている。記憶部１０２ｅは、スマートカメラ１０２のハードウェアに関する第１環境設定と、当該スマートカメラ１０２で撮像された画像に対する第１検査設定とを記憶する部分である。第１環境設定は、スマートカメラ１０２のハードウェアと第１検査設定との間でハードウェアの違いを吸収する役割を持っており、ハードウェアが異なれば第１環境設定も異なる。

【0042】

第１環境設定には、スマートカメラ１０２のハードウェアが有する入出力端子の設定、ネットワーク設定、データサイズなどの産業用イーサネット設定、カメラの名称、アカウント設定等が含まれている。さらに、ネットワーク設定には、ＩＰアドレス設定、出力設定の出力先としてのＦＴＰサーバー設定が含まれている。また、産業用イーサネットとしては、例えばEtherNet/IP、PROFINET、EtherCATなどが挙げられる。また、アカウント設定には、管理者権限のパスワード、オペレーター権限での各操作可否（検査設定切換可否、検査設定保存可否など）が含まれている。また、スマートカメラ１０２のハードウェアが有する入出力端子と、当該端子を介して外部から受信する信号に関する情報との対応関係は、第１環境設定に含まれる。

【0043】

一方、第１検査設定は、スマートカメラ１０２のハードウェアに依存しないものであり、検査についての設定のみで構成されている。よって、ハードウェアが異なっても第１検査設定は同じ場合がある。この第１検査設定には、カメラの撮像設定に関連する撮像設定ツール、カメラにより撮像された検査対象画像に対する検査領域の位置決めを行う位置決め設定に関連する位置決め設定ツール、位置決めされた検査領域に対する検査内容を設定する検査設定に関連する検査設定ツール、検査結果の出力に関する設定を行う出力設定に関連する出力ツール、運転画面設定等が含まれている。位置決め設定ツールが撮像設定ツールの後に実行され、検査設定ツールが位置決め設定ツールの後に実行され、出力ツールが検査設定ツールの後に実行される。

【0044】

撮像設定ツールには、スマートカメラ１０２の第１撮像条件が含まれている。さらに、撮像設定ツールとしては、スマートカメラ１０２の撮像設定に関する第１撮像設定も含まれており、第１撮像設定はスマートカメラ１０２の記憶部１０２ｅに記憶される。

【0045】

コントローラ１０に複数のカメラが接続されている場合、撮像設定ツールには、コントローラ１０に接続された複数のカメラのいずれかを指定するためのカメラ指定パラメータを含むことができる。カメラ指定パラメータにより、特定のカメラを指定することが可能になる。

【0046】

スマートカメラ１０２が後述するコントローラ１０から第２検査設定を取得した場合、記憶部１０２ｅにはコントローラ１０から取得した第２検査設定が記憶される。この第２検査設定は、コントローラ１０に接続されたカメラで撮影された画像に対する検査設定であり、コントローラ１０の記憶部１４に記憶されている。

【0047】

スマートカメラ１０２の検査部１０２ｆは、ハードウェアで構成されていてもよいし、ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。検査部１０２ｆは、記憶部１０２ｅに記憶されている第１検査設定を取得し、第１検査設定に基づく検査を実行する部分である。具体的に説明すると、検査部１０２ｆは、スマートカメラ１０２で生成された検査対象画像に対する検査領域の位置決め処理を実行した後、位置決めされた検査領域に対して予め設定された検査内容で検査処理を実行し、検査結果を外部に出力する出力処理を実行する。検査部１０２ｆによる位置決め処理では、予め設定された位置決め設定が用いられる。例えばワークの一部のみを検査対象とする場合には、その検査対象領域のワークにおける相対的な位置および大きさを特定する情報が位置決め設定に含まれる。また、位置決め設定には、検査対象領域を抽出する処理、検査対象領域が所望の姿勢となるように当該検査対象領域を回転したり、検査対象領域が所望の大きさとなるように当該検査対象領域を拡大ないし縮小させる処理なども含まれる。

【0048】

検査部１０２ｆによる検査処理では、予め設定された検査設定が用いられる。検査設定には、位置決めされた検査領域に対する検査内容が含まれる。具体例を示すと、ワークに組み付けられている部品の有無、傷の有無、基準寸法内であるか否か、印字の有無といった検査内容が含まれる。

【0049】

検査部１０２ｆによる出力処理では、予め設定された出力設定が用いられる。出力設定には、出力するデータ（検査対象画像を出力するか否かなど）、検査結果の出力先、出力タイミング等のように、検査結果の出力に関する設定が含まれる。

【0050】

スマートカメラ１０２は、コントローラ１０に接続されたか否かを自動で検出可能に構成されている。すなわち、例えば、スマートカメラ１０２がコントローラ１０と産業用イーサネットを介して接続される場合、スマートカメラ１０２は、当該スマートカメラ１０２の産業用イーサネットにコントローラ１０が接続されているか否かを判定し、その判定結果に基づいてコントローラ１０に接続されていることを検出すると、画像検査機能を実行することなく、画像の生成だけを実行することが可能に構成されている。この場合、スマートカメラ１０２は、ノーマルカメラ１０１のように動作することになる。尚、ユーザ設定により、スマートカメラ１０２をノーマルカメラ１０１のように動作させてもよい。

【0051】

（コントローラおよび周辺機器の構成）
コントローラ１０には、表示部３０および操作部４０が接続されている。表示部３０および操作部４０は、画像検査システム１を構成するものである。表示部３０は、例えば液晶ディスプレイ装置や有機ＥＬディスプレイ装置等で構成されており、コントローラ１０によって制御される。表示部３０には、例えば、コントローラ１０で生成された表示画像、ノーマルカメラ１０１およびスマートカメラ１０２で生成された検査対象画像、検査結果等が表示される。

【0052】

操作部４０は、ユーザが各種入力操作を行うための操作機器等で構成されている。操作部４０が操作されると、その操作内容がコントローラ１０の入力部１３で検出される。操作部４０には、例えばキーボード４０ａ、マウス４０ｂ、タッチパネル４０ｃ等が含まれる。タッチパネル４０ｃは、ユーザによるタッチ操作を検出可能に構成されている。タッチパネル４０ｃと表示部３０とは一体化してもよく、この場合、例えば表示部３０に表示したユーザインタフェースをタッチパネル４０ｃで直接的に操作してもよい。

【0053】

画像検査システム１は、図１にのみ示すパーソナルコンピュータ（以下、ＰＣという）３５を含んでいてもよい。ＰＣ３５を含む場合、表示部３０や操作部４０は、ＰＣ３５の本体部分に接続されていてもよい。この場合、ＰＣ３５の本体部分を介して表示部３０が制御され、また操作部４０の操作状態はＰＣ３５の本体部分を介してコントローラ１０で取得される。

【0054】

また、ＰＣ３５を含む場合、コントローラ１０の機能の一部のみまたは全部をＰＣ３５で実行可能にしてもよい。すなわち、コントローラ１０の機能の一部のみまたは全部は、ＰＣ３５に内蔵されているＣＰＵ（中央演算処理装置）、ＲＯＭ、ＲＡＭ等によって構成可能な部分であるため、コントローラ１０以外の機器で当該コントローラ１０の機能を実行することもできる。

【0055】

コントローラ１０は、当該コントローラ１０に接続されているスマートカメラ１０２、又はノーマルカメラ１０１で撮像した画像を取得する取得部１１と、検査部１２と、入力部１３と、記憶部１４と、設定部１５とを備えている。記憶部１４は、例えばソリッドステートドライブやハードディスクドライブ等で構成される。記憶部１４は、ＰＣ３５に設けられていていてもよく、この場合もコントローラ１０に設けた場合と同様に各種データを記憶させることができる。また、記憶部１４は、ネットワークを介してコントローラ１０やＰＣ３５に接続された外部記憶装置で構成されていてもよい。

【0056】

取得部１１、検査部１２、入力部１３および設定部１５は、ハードウェアで構成されていてもよいし、ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。例えば、コントローラ１０にはＣＰＵが内蔵されている。このＣＰＵは、ＲＯＭ、ＲＡＭなどに接続されており、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する。そのような動作を実行可能なＣＰＵ、ＲＯＭ、ＲＡＭなどによって取得部１１、検査部１２、入力部１３および設定部１５が構成されていてもよい。また、取得部１１、検査部１２、入力部１３および設定部１５は、各々が独立した演算処理装置で構成されていてもよい。

【0057】

取得部１１は、スマートカメラ１０２が生成した検査対象画像以外にも、スマートカメラ１０２に設定されている第１検査設定も取得する。取得部１１がスマートカメラ１０２から取得した第１検査設定は、記憶部１４に記憶される。また、記憶部１４には、コントローラ１０に接続されたノーマルカメラ１０１またはスマートカメラ１０２で撮影された画像に対する第２検査設定も記憶される。

【0058】

さらに、記憶部１４には、コントローラ１０のハードウェアに関する第２環境設定も記憶される。第２環境設定は、ハードウェアの違いを吸収する役割を持っており、スマートカメラ１０２のハードウェアに関する第１環境設定と同様な項目が含まれている。すなわち、第２環境設定には、コントローラ１０のハードウェアが有する入出力端子の設定、ネットワーク設定、データサイズなどの産業用イーサネット設定、カメラの名称、アカウント設定等が含まれている。また、コントローラ１０のハードウェアが有する入出力端子と、当該端子を介して外部から受信する信号に関する情報との対応関係は、第２環境設定に含まれる。

【0059】

コントローラ１０の検査部１２は、取得部１１により取得した画像に対して第１検査設定に基づく検査を実行する部分である。取得部１１がノーマルカメラ１０１から検査対象画像を取得した場合、検査部１２は、ノーマルカメラ１０１から取得した検査対象画像に対して第１検査設定に基づく検査を実行する。コントローラ１０の検査部１２は、少なくとも、スマートカメラ１０２の検査部１０２ｆと同等の処理が実行可能に構成されている。本実施形態では、コントローラ１０の検査部１２の方がスマートカメラ１０２の検査部１０２ｆよりも処理性能が高くなっており、複雑な処理を高速で完了できる。コントローラ１０の検査部１２では、例えばＡＩを用いた推論処理等も高速で処理できる。

【0060】

また、取得部１１がスマートカメラ１０２から検査対象画像を取得した場合、検査部１２は、スマートカメラ１０２から取得した検査対象画像に対して第１検査設定に基づく検査を実行することもできる。本実施形態では、上述したようにスマートカメラ１０２がコントローラ１０に接続されたことを検出すると、画像検査機能を実行することなく、検査対象画像の生成だけを実行可能に構成されているので、コントローラ１０の検査部１２は、当該コントローラ１０に接続されたスマートカメラ１０２により生成された画像に対して、第１検査設定に基づいて検査を実行する。また、記憶部１４に第２検査設定が記憶されている場合には、検査部１２は、スマートカメラ１０２が生成した画像に対して第２検査設定に基づく検査を実行する。これにより、コントローラ１０側の第２検査設定をスマートカメラ１０２で使うこともできるようになるため、コントローラ１０を用いた運用からスマートカメラ１０２単独運用への切り替えも容易に行える。

【0061】

本実施形態では、コントローラ１０の検査部１２が複数のコアを備えている。コントローラ１０に複数のカメラ（ノーマルカメラ１０１および／またはスマートカメラ１０２）が接続されている場合には、複数のコアを構成している各コアは、当該コントローラ１０に接続された複数のカメラの各カメラごとに割り当てられ、対応するカメラが生成した画像に対して、第１検査設定に基づく検査を実行する。図２では、検査部１２が第１コア１２ａおよび第２コア１２ｂを備えている例を示している。この例の場合、コントローラ１０に第１カメラと第２カメラが接続されているとすると、第１カメラに第１コア１２ａが割り当てられ、対応する第１カメラが生成した画像に対して、第１検査設定に基づく検査を実行し、また第２カメラに第２コア１２ｂが割り当てられ、対応する第２カメラが生成した画像に対して、第１検査設定に基づく検査を実行する。コアの数は、３つ以上であってもよく、コントローラ１０に接続されるカメラも３台以上であってもよい。このように、マルチコアの各コアをカメラごとに割り当てることで、コア間のジッター（信号波形の揺らぎ）を抑えることができる。

【0062】

スマートカメラ１０２はノーマルカメラ１０１に比べて高性能なカメラであることが多く、スマートカメラ１０２では実行可能な撮像条件であっても、ノーマルカメラ１０１では実行できない場合がある。このことに対応して、コントローラ１０の検査部１２は、ノーマルカメラ１０１が、スマートカメラ１０２の第１撮像条件に含まれるパラメータ値を再現できない場合、当該パラメータ値を修正した第２撮像条件を生成し、第１検査設定の第１撮像条件を第２撮像条件に置き換えた検査設定に基づいて、ノーマルカメラ１０１が生成した画像に対して検査を実行する。

【0063】

すなわち、検査部１２は、ノーマルカメラ１０１が実行可能なパラメータ値を読み込んでおき、スマートカメラ１０２の第１撮像条件に含まれるパラメータ値と、ノーマルカメラ１０１が実行可能なパラメータ値とを比較する。そして、スマートカメラ１０２の第１撮像条件に含まれるパラメータ値をノーマルカメラ１０１が再現可能な否かを検査部１２が判定する。スマートカメラ１０２の第１撮像条件に含まれるパラメータ値をノーマルカメラ１０１が再現可能と判定される場合には、スマートカメラ１０２の第１撮像条件でノーマルカメラ１０１が生成した画像に対して、検査部１２が検査を実行する。一方、スマートカメラ１０２の第１撮像条件に含まれるパラメータ値をノーマルカメラ１０１が再現不可と判定される場合には、ノーマルカメラ１０１で対応可能なパラメータ値に修正した第２撮像条件でノーマルカメラ１０１が生成した画像に対して、検査部１２が検査を実行する。

【0064】

例えば、スマートカメラ１０２はズーム機能を有しているが、ノーマルカメラ１０１はズーム機能を有していない場合がある。このような場合、スマートカメラ１０２のパラメータ値のうち、ノーマルカメラ１０１で再現可能となるパラメータ値としては、露光時間、ゲイン、ＲＯＩ等である。

【0065】

一方、ズーム機能を有するスマートカメラ１０２のパラメータ値のうち、ノーマルカメラ１０１で再現不可となるパラメータ値としては、ズームレンズ位置、フォーカスレンズ位置、ダウンスケーリング係数等がある。ダウンスケーリングとは、対象となる画像の画素分解能を下げる処理のことをいう。例えば撮像素子の全部または一部の領域である出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、当該撮像画像よりも小さな画素数の検査対象画像を生成することができるものである。

【0066】

また、スマートカメラ１０２の第１撮像条件には、スマートカメラ１０２でのみ実行できる機能、即ちノーマルカメラ１０１では実行できない機能が含まれている場合がある。このように、ノーマルカメラ１０１がスマートカメラ１０２の第１撮像条件を実行するための機能を備えていない場合には、コントローラ１０の検査部１２は、第１検査設定のうち、第１撮像条件を無効化する。ノーマルカメラ１０１では実行できない機能としては、例えば高度な画像処理等を挙げることができる。

【0067】

コントローラ１０の検査部１２が第１撮像条件を無効化した場合、無効化したことをエラー情報として外部に出力してもよい。例えば、表示部３０のユーザインタフェースにエラー情報を表示させることで、第１撮像条件を無効化したことをユーザに報知できる。

【0068】

入力部１３は、ノーマルカメラ１０１の撮像に関する第２撮像設定の入力を受け付け可能に構成されている。ユーザは、表示部３０に表示されたユーザインタフェースを見ながら、操作部４０を用いて第２撮像設定の入力操作を行うことができる。ユーザの入力操作は、入力部１３で受け付けられ、第２撮像設定として記憶部１４に記憶される。この場合、コントローラ１０の検査部１２は、第２撮像設定に基づいてノーマルカメラ１０１が生成した画像に対して、第１検査設定に基づく検査を実行する。つまり、検査設定を、環境設定だけでなく撮像設定とも切り分けることができ、検査設定を取得してきたスマートカメラ１０２とは異なるノーマルカメラに対しても、第２撮像設定として撮像設定だけ別途追加することで、スマートカメラ１０２から取得した第１検査設定を適用することができる。

【0069】

コントローラ１０の検査部１２は、ノーマルカメラ１０１から取得した検査対象画像に対する検査処理を実行した場合、当該検査処理の結果と、スマートカメラ１０２から受け取った当該スマートカメラ１０２による検査処理の結果とに基づいて最終結果を判定するように構成することもできる。この場合、ノーマルカメラ１０１から取得した検査対象画像に対する検査処理の結果と、スマートカメラ１０２による検査処理の結果との一方でも不良であれば、最終結果を不良としてもよいし、ノーマルカメラ１０１から取得した検査対象画像に対する検査処理の結果と、スマートカメラ１０２による検査処理の結果との両方が良でなければ、最終結果を良としないようにしてもよい。

【0070】

（カメラ独立モード・カメラ連動モード）
コントローラ１０は、カメラ独立モードとカメラ連動モードとに切替可能に構成されている。カメラ独立モードは、コントローラ１０に接続された複数のカメラの各カメラごとに設定された検査設定に基づいて、各カメラから取得した画像の検査を実行するモードである。カメラ独立モードでは、コントローラに接続された各カメラがスマートカメラのように独立して動作する。カメラごとに検査設定を分けて設定可能であり、互いの設定内容は異なってもよいし、同じでもあってもよい。

【0071】

一方、カメラ連動モードは、コントローラ１０に接続された複数のカメラに共通の検査設定に基づいて、各カメラから取得した画像の検査を実行するモードである。カメラ連動モードでは、コントローラ１０に接続されたすべてのカメラが連携して動作し、コントローラ１０に対して検査設定が割り当てられる。例えば、１つのワークを異なる角度・方法で撮影し、複数の画像に対して単一の検査設定に基づいて検査する場合などに適用できる。

【0072】

ユーザが操作部４０を操作することで、カメラ独立モードとカメラ連動モードとのうち、いずれかのモードの選択を行うことができる。この操作はモード選択操作である。入力部１３は、いずれかのモードの選択を受け付けることが可能に構成されている。

【0073】

入力部１３がカメラ連動モードの選択を受け付けた場合には、コントローラ１０のモードがカメラ連動モードとなる一方、入力部１３がカメラ独立モードの選択を受け付けた場合には、コントローラ１０のモードがカメラ独立モードとなる。これにより、幅広い使い方が可能になる。

【0074】

コントローラ１０がカメラ連動モードの場合、スマートカメラ１０２とコントローラ１０とで同じ検査設定を使うことができない。カメラ連動モードにおける検査設定は複数のカメラで使用するものであり、撮像設定ツールにおいてカメラの指定が必要になるためである。一方、カメラ独立モードやスマートカメラ１０２で検査する場合には、撮像部は１つなので撮像設定ツールにおいてカメラの指定は不要である。

【0075】

このことに対応して、コントローラ１０の検査部１２は、入力部１３がカメラ独立モードの選択を受け付け、カメラ独立モードでの動作時にのみ、スマートカメラ１０２から取得した第１検査設定を、他のカメラから取得した画像に対して適用可能に構成されている。

【0076】

また、入力部１３は、カメラ連動モードの選択を受け付けた場合、共通の検査設定のカメラ指定パラメータを介して、コントローラ１０に接続された複数のカメラの指定を受け付ける一方、カメラ独立モードの選択を受け付けた場合、各カメラごとに検査設定を受付可能に構成されている。すなわち、カメラ連動モードでは、各カメラに共通の検査設定に含まれる撮像設定ツール内でカメラ連動モードの対象となる複数のカメラを指定する。このカメラの指定が必要となるため、撮像設定ツールでカメラの指定が不要なスマートカメラ１０２の検査設定を使うことができないが、カメラ独立モードでは、各カメラごとに検査設定が割り当てられるため、カメラの指定が不要であり、スマートカメラ１０２との間で検査設定を共通化できる。

【0077】

例えば、図３にカメラ連動モードの概要を示しているように、ノーマルカメラであるカメラＡとカメラＢとがコントローラ１０に接続されていた場合、検査設定と環境設定とが共に共通化される。一方、図４は、例えば同じ検査を実行するラインが現場に複数あり、コントローラ１０のモードがカメラ独立モードである場合を示している。

【0078】

図４では、スマートカメラ１０２と、ノーマルカメラであるカメラＡとカメラＢとが接続されたコントローラ１０があり、スマートカメラ１０２には検査設定と環境設定とがそれぞれ記憶されている。スマートカメラ１０２の検査設定には、トリガ信号による撮像か、トリガ信号によらない定期的な撮像かの情報が含まれるとともに、撮像時にワークを照明するか否かの情報も含まれる。
スマートカメラ１０２の環境設定に含まれる端子設定の「端子１」は撮像実行信号としてのトリガ信号であり、「端子２」は照明実行信号として照明信号である。この関係は、ハードウェアが有する端子と、当該端子を介して外部から受信する信号に関する情報との対応関係である。

【0079】

コントローラ１０の検査設定には、トリガ信号による撮像か、トリガ信号によらない定期的な撮像かの情報が含まれるとともに、撮像時にワークを照明するか否かの情報も含まれる。コントローラ１０の環境設定に含まれる端子設定の「端子１」はカメラＡに対する撮像実行信号としてのトリガ信号であり、「端子２」はカメラＡに対する照明実行信号としての照明信号であり、「端子３」はカメラＢに対する撮像実行信号としてのトリガ信号であり、「端子４」はカメラＢに対する照明実行信号としての照明信号である。このように、どの端子で撮像実行信号または照明信号を受信するのかを示す物理的な情報がコントローラ１０の環境設定に含まれている。検査設定には、トリガ信号による撮像か、トリガ信号によらない定期的な撮像かの情報が含まれるとともに、撮像時にワークを照明するか否かの情報も含まれる。

【0080】

（具体事例１）
例えば、図５の上側に示すように、スマートカメラ１０２のみで検査を実行していたが、検査したい項目が追加された場合や、検査ツールを追加したところ、処理時間が長くなってしまい、検査のタクトに間に合わなくなってしまう場合がある。一方、コントローラ１０は、スマートカメラ１０２よりも処理能力が高い。そこで、図５の下側に示すように、既存のスマートカメラ１０２に加えてコントローラ１０を増設して対応することとした。

【0081】

この事例では、既存のスマートカメラ１０２をコントローラ１０に接続し、スマートカメラ１０２で使っていた第１検査設定をコントローラ１０の取得部１１が取得して記憶部１４に記憶させる。コントローラ１０の検査部１２は、スマートカメラ１０２が生成した画像に対して第１検査設定に基づく検査を実行する。コントローラ１０に接続されたスマートカメラ１０２では画像検査機能を使わないので、ノーマルカメラ１０１と同様なカメラとして動作することになる。

【0082】

スマートカメラ１０２で使っていた第１検査設定をコントローラ１０で取得する方法としては少なくとも２通りある。一つはスマートカメラ１０２の第１検査設定を、ＰＣ３５を介してコントローラ１０に移す方法であり、もう一つはスマートカメラ１０２の第１検査設定をコントローラ１０に直接移す方法である。

【0083】

図６は、スマートカメラ１０２の第１検査設定を、ＰＣ３５を介してコントローラ１０に移す場合の手順の例を示すフローチャートである。スタート後のステップＳＡ１では、ＰＣ３５をスマートカメラ１０２に接続する。ステップＳＡ２では、スマートカメラ１０２の第１検査設定をＰＣ３５に移し、ＰＣ３５で一旦保存する。ステップＳＡ２の後、ステップＳＡ３では、スマートカメラ１０２をコントローラ１０に接続する。ステップＳＡ４ではＰＣ３５をコントローラ１０に接続する。ステップＳＡ３とステップＳＡ４の順番が反対であってもよいし、同時であってもよい。ステップＳＡ４の後、ステップＳＡ５では、ＰＣ３５内に保存されている第１検査設定をコントローラ１０に移す。

【0084】

図７は、スマートカメラ１０２の第１検査設定を、ＰＣ３５を介することなく、コントローラ１０に直接移す場合の手順の例を示すフローチャートである。スタート後のステップＳＢ１では、スマートカメラ１０２をコントローラ１０に接続する。その後、ステップＳＢ２に進み、スマートカメラ１０２の第１検査設定をコントローラ１０に移す。

【0085】

（具体事例２）
図８の左側に示すように、あるラインでは３台のスマートカメラ１０２を使用して画像検査システムを構成していたとする。これと同等な検査を実行可能な画像検査システムが別ラインで必要になった場合、安価に構築する場合には、高価なスマートカメラ１０２をノーマルカメラ１０１に置き換えるとともにコントローラ１０を増設する。これにより、トータルのコストを低減できる。尚、一般的には、２台以上のスマートカメラ１０２を、同数のノーマルカメラ１０１とコントローラ１０の組み合わせに置き換えることで、コストメリットがある。

【0086】

この場合、既存のスマートカメラ１０２をコントローラ１０に接続し、各スマートカメラ１０２で使っていた第１検査設定をコントローラ１０の取得部１１が取得して記憶部１４に記憶させる。３台のスマートカメラ１０２の第１検査設定が互いに異なる場合があり、その場合には、３つの第１検査設定をコントローラ１０の取得部１１が取得して記憶部１４に記憶させる。コントローラ１０の検査部１２は、各ノーマルカメラ１０１が生成した画像に対して対応する第１検査設定を割り当て、割り当てた第１検査設定に基づく検査を実行する。

【0087】

図９は、複数台のスマートカメラ１０２の第１検査設定を、ＰＣ３５を介してコントローラ１０に移す場合の手順の例を示すフローチャートである。スタート後のステップＳＣ１では、ＰＣ３５をスマートカメラ１０２に接続する。ステップＳＣ２では、スマートカメラ１０２の第１検査設定をＰＣ３５に移し、ＰＣ３５で一旦保存する。ステップＳＣ３では、ステップＳＣ１、ステップＳＣ２をスマートカメラ１０２の台数分繰り返す。これにより、複数のスマートカメラ１０２の第１検査設定を全てＰＣ３５に保存できる。

【0088】

その後、ステップＳＣ４に進み、ＰＣ３５をコントローラ１０に接続する。ステップＳＣ５では、ステップＳＣ２でＰＣ３５に移した第１検査設定を当該ＰＣ３５からコントローラ１０に移す。ステップＳＣ６では、ステップＳＣ５をノーマルカメラ１０１の台数分繰り返す。

【0089】

（具体事例３）
図１０は、スマートカメラ１０２とノーマルカメラ１０１とを併用して画像検査システムを構築する例を示している。前提として、コントローラ１０に接続可能なカメラの上限台数が４台であるとする。現場にはワークが搬送されるラインが５つあり、ライン１～５にそれぞれカメラを設置する必要がある。コントローラ１０とノーマルカメラ１０１を併用する場合には、コントローラ１０に接続可能なカメラの台数が４台までなので、１台足らない。新たに２台目のコントローラ１０とノーマルカメラ１０１を導入する方法もあるが、コントローラ１０とノーマルカメラ１０１を合わせたコストは、１台のスマートカメラ１０２よりも高額になるので、スマートカメラ１０２を１台組み合わせてライン１～５の検査に対応可能にする。

【0090】

この場合、スマートカメラ１０２の第１検査設定をコントローラ１０の取得部１１が取得して記憶部１４に記憶させる。コントローラ１０の検査部１２は、各ノーマルカメラ１０１が生成した画像に対し、対応する第１検査設定を割り当て、割り当てた第１検査設定に基づく検査を実行する。

【0091】

具体的には、図１１のフローチャートに示すように、スタート後のステップＳＤ１ではスマートカメラ１０２で第１検査設定を行う。ステップＳＤ２では、ＰＣ３５をスマートカメラ１０２に接続する。ステップＳＤ３では、スマートカメラ１０２の第１検査設定をＰＣ３５に移してＰＣ３５で保存する。ステップＳＤ４では、ＰＣ３５をコントローラ１０に接続する。ステップＳＤ５では、ステップＳＤ３でＰＣ３５に保存した第１検査設定をＰＣ３５からコントローラ１０に移す。尚、図示しないが、コントローラ１０で検査設定を先に行っている場合には、コントローラ１０の検査設定をスマートカメラ１０２に移して当該スマートカメラ１０２の検査処理で検査を実行してもよい。

【0092】

（運用例）
図１２は、画像検査システム１の運用例を示す図である。画像検査システム１は、コントローラ１０に接続されたノーマルカメラ１０１と、ＰＬＣ（プログラマブルロジックコントローラ）９に接続されたスマートカメラ１０２とを備えている。ＰＬＣ９には、検査開始ボタン９ａが接続されている。

【0093】

ワークＷには、第１部品Ｗ１と第２部品Ｗ２とが組み付けられている。第１部品Ｗ１と第２部品Ｗ２とが組み付けられたワークＷは、図示しない載置台に載置されて検査される。ノーマルカメラ１０１は、第１部品Ｗ１の有無を検出するためのカメラであり、またスマートカメラ１０２は、第２部品Ｗ２の有無を検出するためのカメラである。

【0094】

ユーザが検査開始ボタン９ａを操作すると、ＰＬＣ９からコントローラ１０およびスマートカメラ１０２にトリガ信号が出力される。トリガ信号を受信したノーマルカメラ１０１およびスマートカメラ１０２は撮像処理を実行して検査対象画像を生成する。ノーマルカメラ１０１が生成した検査対象画像は、コントローラ１０の検査部１２で検査処理されて検査結果がコントローラ１０からＰＬＣ９に出力される。一方、スマートカメラ１０２が生成した検査対象画像は当該スマートカメラ１０２の検査部１０２ｆで検査処理されて検査結果がスマートカメラ１０２からＰＬＣ９に出力される。

【0095】

ＰＬＣ９は、コントローラ１０から出力された検査結果と、スマートカメラ１０２から出力された検査結果とを総合してワークＷが良品であるか不良品であるかを判定する。判定結果は、図示しない表示部等に表示される。不良品であれば、画像上で不良箇所が明示される。

【0096】

（スマートカメラ内検査モード・コントローラ内検査モード）
コントローラ１０は、スマートカメラ内検査モード（第１モード）とコントローラ内検査モード（第２モード）とに切替可能に構成されている。スマートカメラ内検査モードは、コントローラ１０に接続されたスマートカメラ１０２が単独で、検査対象画像の生成処理と当該検査対象画像に対する検査処理とを実行するモードであり、検査対象画像に対する検査処理は、スマートカメラ１０２の検査部１０２ｆで実行する。

【0097】

一方、コントローラ内検査モードは、コントローラ１０に接続されたスマートカメラ１０２が、検査対象画像の生成処理と当該検査対象画像のコントローラ１０への転送処理とを実行し、コントローラ１０が、当該転送された検査対象画像に対する検査処理を実行するモードであり、検査対象画像に対する検査処理は、コントローラ１０の検査部１２が実行する。

【0098】

コントローラ１０の検査部１２は、コントローラ内検査モードで、スマートカメラ１０２が取得した画像に当該スマートカメラ１０２が画像処理を適用して生成した検査対象画像を、当該スマートカメラ１０２から取得することもできる。この場合、コントローラ１０の検査部１２は、スマートカメラ１０２で画像処理された後の検査対象画像に対して検査処理を実行する。

【0099】

また、コントローラ１０の検査部１２は、コントローラ内検査モードで、スマートカメラ１０２が取得した複数の画像を当該スマートカメラ１０２が合成して生成した検査対象画像（合成画像）を、当該スマートカメラ１０２から取得することもできる。この場合、コントローラ１０の検査部１２は、スマートカメラ１０２で合成された合成画像に対して検査処理を実行する。

【0100】

また、コントローラ１０の検査部１２は、コントローラ内検査モードで、スマートカメラ１０２が複数の撮像画像に基づいて生成した３次元形状データを、当該スマートカメラ１０２から取得することもできる。３次元形状データは検査対象画像を構成するデータであり、この場合、コントローラ１０の検査部１２は、スマートカメラ１０２で生成した３次元形状データに対して検査処理を実行する。

【0101】

ユーザが操作部４０を操作することで、スマートカメラ内検査モードとコントローラ内検査モードとのうち、いずれかのモードの設定を行うことができる。この操作は、モード設定操作である。また、コントローラ１０が、スマートカメラ内検査モードとコントローラ内検査モードとのうち、いずれかのモードの設定処理を行ってもよく、この場合、モード設定処理である。モード設定操作およびモード設定処理は、設定部１５によって受け付けられる。

【0102】

設定部１５がスマートカメラ内検査モードの設定を受け付けた場合には、コントローラ１０のモードがスマートカメラ内検査モードとなる一方、設定部１５がコントローラ内検査モードの選択を受け付けた場合には、コントローラ１０のモードがコントローラ内検査モードとなるので、コントローラ１０の検査部１２が検査対象画像に対する検査処理を実行する。

【0103】

設定部１５は、コントローラ内検査モードが設定されている場合、コントローラ１０に接続された一つのスマートカメラ１０２が生成した検査対象画像に対する検査処理が実行されずに転送された当該検査対象画像に対する検査処理の全てを実行する、第１形態の選択を更に受け付け可能に構成されている。設定部１５で第１形態の選択が受け付けられると、コントローラ１０の検査部１２は検査処理の全てを実行するように動作する。すなわち、検査対象画像に対して複数の検査処理を実行するように設定されている場合があり、スマートカメラ１０２では処理の負担が大きくなる場合がある。この場合に、スマートカメラ１０２よりも処理能力の高いコントローラ１０の検査部１２が全ての検査処理を実行することで、スマートカメラ１０２は、画像生成に専念させることができ、検査を効率化できる。

【0104】

これに限られるものはなく、複数のスマートカメラ１０２がコントローラ１０に接続されている場合には、次のようなことも可能である。例えば、設定部１５は、コントローラ内検査モードが設定されている場合、コントローラ１０に接続された複数のスマートカメラ１０２が生成した検査対象画像に対する検査処理が実行されずに転送された複数の検査対象画像に対する検査処理の全てを実行し、当該複数の検査対象画像に対する各検査処理の結果に基づいて総合判定を実行する、第２形態の選択を更に受付可能に構成されていてもよい。設定部１５で第２形態の選択が受け付けられると、コントローラ１０の検査部１２は検査処理が実行されていない複数の検査対象画像に対する検査処理の全てを実行する。そして、検査部１２は、複数の検査結果を取得し、各検査処理の結果に基づいて総合判定を実行する。例えば、複数の検査結果のうち１つでも不良である場合には総合判定を不良にする、または複数の検査結果の全てが良でなければ総合判定を良にしないといった判定を実行する。

【0105】

また、設定部１５は、コントローラ内検査モードが設定されている場合、コントローラ１０に接続された一つのスマートカメラ１０２が生成した検査対象画像に対する検査処理の一部が実行されて転送された検査対象画像に対する検査処理の残りの処理を実行する、第３形態の選択を更に受付可能に構成されていてもよい。設定部１５で第３形態の選択が受け付けられると、コントローラ１０の検査部１２は実行されていない残りの検査処理を実行する。

【0106】

また、設定部１５は、コントローラ内検査モードが設定されている場合、コントローラ１０に接続された複数のスマートカメラ１０２が生成した複数の検査対象画像に対する各検査処理の一部がそれぞれ実行されて転送された複数の検査対象画像に対する各検査処理の残りの処理を実行し、当該複数の検査対象画像に対する各検査処理の結果に基づいて総合判定を実行する、第４形態の選択を更に受付可能に構成されていてもよい。設定部１５で第４形態の選択が受け付けられると、コントローラ１０の検査部１２は複数の検査対象画像に対して残りの検査処理を実行する。

【0107】

（モードの選択）
本実施形態の画像検査システム１は、上述したようにスマートカメラ１０２とノーマルカメラ１０１を自由に接続して使用できる。画像検査システム１のモードの選択手順について図１３に示すフローチャートに基づいて説明する。図１３に示すフローチャートのスタート後のステップＳＥ１では、画像検査の処理に必要な時間を算出する。ステップＳＥ２では、スマートカメラが単独で検査処理を実行する第１モードでタクトタイムを満たすか否かを判定する。第１モードでタクトタイムを満たさない場合にはステップＳＥ３に進み、スマートカメラとコントローラとが連携して検査処理を実行する第２モードを選択する。第１モードでタクトタイムを満たす場合にはステップＳＥ４に進み、第１モードを選択する。

【0108】

ステップＳＥ５は検査内容の変更である。例えばワークが変更されたことなどによって検査内容が変更された場合にはステップＳＥ６に進み、処理内容を変更して処理に必要な時間を算出する。ステップＳＥ７では、第１モードでタクトタイムを満たすか否かを判定する。第１モードでタクトタイムを満たさない場合にはステップＳＥ８に進み、第２モード へ変更する。第１モードでタクトタイムを満たす場合にはステップＳＥ９に進み、第１モードのまま使用する。

【0109】

第１モードで運用していたところ処理性能が不足したために第２モードへ移行する場合がある。この場合、第１モードで設定していたパラメータを第２モードに簡単に流用することが可能である。その方法として、コントローラ１０が画像検査に必要なパラメータをカメラから取得し、画像検査を実行する方法を挙げることができる。

【0110】

次に、スマートカメラとコントローラとが連携して検査処理を実行する第２モードの使用形態１、使用形態２、使用形態３、使用形態４について、図１４に基づいて説明する。図１４のＦＩＧ．１４Ａは、使用形態１を示しており、スマートカメラ１０２で画像を取得し、検査対象画像を生成した後、検査対象画像をコントローラ１０が取得してコントローラ１０の検査部１２が検査処理を実行する形態である。

【0111】

図１４のＦＩＧ．１４Ｂは、使用形態２を示しており、スマートカメラＡ、Ｂでそれぞれ画像を取得し、スマートカメラＡ、Ｂがそれぞれ検査対象画像を生成した後、複数の検査対象画像をコントローラ１０が取得してコントローラ１０の検査部１２が複数の検査対象画像に対して検査処理を実行し、結果統合（最終結果の判定）を行う形態である。

【0112】

図１４のＦＩＧ．１４Ｃは、使用形態３を示しており、スマートカメラ１０２で画像を取得し、スマートカメラ１０２が検査対象画像を生成して検査部１０２ｆで検査処理の一部（カメラ担当分）を実行した後、検査対象画像をコントローラ１０が取得してコントローラ１０の検査部１２が検査対象画像に対して残りの検査処理（コントローラ担当部分）を実行する形態である。

【0113】

図１４のＦＩＧ．１４Ｄは、使用形態４を示しており、スマートカメラＡ、Ｂでそれぞれ画像を取得し、スマートカメラＡ、Ｂがそれぞれ検査対象画像を生成して検査部１０２ｆで検査処理の一部（カメラ担当分）を実行した後、複数の検査対象画像をコントローラ１０が取得してコントローラ１０の検査部１２が各検査対象画像に対して残りの検査処理（コントローラ担当部分）を実行する形態である。

【0114】

（運用例）
図１５は、画像検査システム１の２つの運用例を示している。図１５のＦＩＧ．１５Ａは、刻印検査を行う例を示している。刻印検査を行う際には、まず、スマートカメラ１０２でワークを複数回撮像して複数の画像を取得する。取得した複数の画像を合成し、形状画像を生成する。スマートカメラ１０２は、生成した形状画像をコントローラ１０に転送する。コントローラ１０は、スマートカメラ１０２から転送された形状画像に基づいて文字領域を特定し、特定した文字領域に対してＯＣＲ処理（文字の読取処理）を実行する。コントローラ１０は得られた読取結果を外部へ出力する。

【0115】

刻印検査と傷検査を行う際には、２台のスマートカメラを使用する。まず、スマートカメラＡでワークを複数回撮像して複数の画像を取得する。取得した複数の画像を合成し、形状画像を生成する。スマートカメラＢもワークを複数回撮像して複数の画像を取得し、取得した複数の画像を合成し、形状画像を生成する。スマートカメラＡおよびスマートカメラＢは、それぞれ、生成した形状画像をコントローラ１０に転送する。コントローラ１０は、スマートカメラＡから転送された形状画像に基づいて文字領域を特定し、特定した文字領域に対してＯＣＲ処理を実行する。コントローラ１０は得られた読取結果を外部へ出力する。また、コントローラ１０は、スマートカメラＢから転送された形状画像に基づいて傷の有無を判定する。コントローラ１０は、文字の読取結果が期待値であると判定され、かつ、傷が無いと判定された場合に、「良」と判定する。

【0116】

図１５のＦＩＧ．１５Ｂは、文字領域の特定までスマートカメラ１０２で実行する例を示している。スマートカメラ１０２でワークを複数回撮像して複数の画像を取得する。取得した複数の画像を合成し、形状画像を生成する。スマートカメラ１０２は、生成した形状画像に基づいて文字領域を特定し、形状画像のうち、特定された文字領域のみをコントローラ１０に転送する。これにより転送速度が向上する。コントローラ１０は、スマートカメラ１０２が特定した文字領域に対してＯＣＲ処理を実行する。コントローラ１０は得られた読取結果を外部へ出力する。なお、スマートカメラ１０２は、形状画像に基づいて文字領域を特定する処理と並列して、形状画像をコントローラ１０に転送する処理を実行した後、特定した文字領域の位置情報をコントローラ１０に転送しても良い。コントローラは、転送された形状画像に対して、当該位置情報に基づいて文字領域のＯＣＲ処理を実行することができる。一般的に画像の転送処理と比較して位置情報の転送処理には時間がかからないため、この場合も処理時間を短縮することができる。

【0117】

刻印検査と色違い部品の組付検査を行う場合には、スマートカメラ１０２とノーマルカメラ１０１とコントローラ１０を使用する。スマートカメラ１０２でワークを複数回撮像して複数の画像を取得する。取得した複数の画像を合成し、形状画像を生成する。スマートカメラ１０２は、生成した形状画像をコントローラ１０に転送する。コントローラ１０は、スマートカメラ１０２から転送された形状画像に基づいて文字領域を特定し、特定した文字領域に対してＯＣＲ処理および識別し易さの算出を実行する。コントローラ１０は、ＯＣＲ処理結果からワークの種類を識別し、ノーマルカメラ１０１でワークを撮像して生成した検査対象画像中の所定の位置にあるべき部品の色を決定する。ノーマルカメラ１０１は検査対象画像を生成してコントローラ１０に転送する。コントローラ１０は、ノーマルカメラ１０１から転送された検査対象画像中の所定の位置に上記色の部品が存在するか否かを判定する。コントローラ１０は、ＯＣＲ処理の識別し易さが閾値以上で、かつ、検査対象画像の検査位置に上記色の部品が存在すると判定された場合に、「良」と判定する。ここでは、スマートカメラ１０２が生成して転送した形状画像に対して、コントローラ１０がＯＣＲ処理および識別し易さの算出を実行した例を示したが、スマートカメラ１０２がＯＣＲ処理および識別し易さの算出まで実行し、ＯＣＲ処理および識別し易さの結果をコントローラ１０に転送しても良い。この場合、コントローラ１０の検査部１２は、ノーマルカメラから取得した検査対象画像に対して実行した検査処理の結果と、スマートカメラから受け取った検査処理の結果とに基づいて最終結果を判定することができる。

【0118】

（接続されたカメラの種別認識に基づく設定手順）
コントローラ１０は、接続されたカメラがスマートカメラ１０２であるか、ノーマルカメラ１０１であるかの種別を認識可能に構成されている。スマートカメラ１０２およびノーマルカメラ１０１から種別の認識が可能な信号ないし情報をコントローラ１０に出力する。スマートカメラ１０２およびノーマルカメラ１０１から出力された情報から特定されるカメラ型式が、コントローラ１０に予め登録された型式の中に含まれていれば、カメラ種別が認識される。カメラの型式に基づいて、画素数、カラー撮像の可否、機能等を特定することができる。

【0119】

設定部１５は、認識された種別に応じてカメラに対する設定可能な処理を変えるように構成されている。スマートカメラ１０２の場合には、スマートカメラ１０２に設定可能な処理とする一方、ノーマルカメラ１０１の場合には、ノーマルカメラ１０１に設定可能な処理とする。

【0120】

以下、図１６に示すフローチャートに基づいて接続されたカメラの種別認識に基づく設定手順を具体的に説明する。スタート後のステップＳＦ１では、コントローラ１０に接続されたカメラの種別を上述した方法で認識する。ステップＳＦ２では、コントローラ１０にスマートカメラ１０２が接続されているか否かを判定する。コントローラ１０にスマートカメラ１０２が接続されている場合にはステップＳＦ３に進む。ステップＳＦ３では、コントローラ１０に接続されているスマートカメラ１０２で使用可能な画像生成処理をコントローラ１０が表示部３０に表示させる。図１７は、使用可能な画像生成処理の表示例を示すものである。この表示例では、複数の画像生成処理を一覧形式で表示し、その中から任意の１つの画像生成処理をユーザが選択可能に構成されている。ステップＳＦ３では、ユーザが選択した画像生成処理が特定されて一時的に記憶される。

【0121】

一方、コントローラ１０にノーマルカメラ１０１が接続されている場合にはステップＳＦ４に直接進む。ステップＳＦ４では、コントローラ１０でもスマートカメラ１０２でも実行可能な画像検査処理を設定する。

【0122】

その後、ステップＳＦ５に進み、画像検査処理の分担を自動設定するか否かを判定する。画像検査処理の分担とは、画像検査処理が複数の処理を含んでいる場合に、スマートカメラ１０２で実行する処理と、コントローラ１０で実行する処理とを分けることである。この判定はユーザの入力操作に基づいて行われる。ユーザが画像検査処理の分担を自動設定すると入力した場合にはステップＳＦ６に進む一方、ユーザが画像検査処理の分担を自動設定しないと入力した場合にはステップＳＦ７に進む。

【0123】

ステップＳＦ６では、スマートカメラ１０２で実行する処理と、コントローラ１０で実行する処理をコントローラ１０が自動的に決定する。例えば、画像検査処理の前半部分を、スマートカメラ１０２で実行する処理とし、画像検査処理の後半部分を、コントローラ１０で実行する処理とする。

【0124】

ステップＳＦ７では、スマートカメラ１０２で実行する処理と、コントローラ１０で実行する処理をユーザが指定する。以上で、接続されたカメラの種別認識に基づく設定が終了する。

【0125】

（実施形態の作用効果）
以上説明したように、例えばスマートカメラ１０２のみを運用していた現場に、後から検査ラインを増設してノーマルカメラ１０１とコントローラ１０とを導入した場合には、コントローラ１０にスマートカメラ１０２も接続することができる。スマートカメラ１０２の第１検査設定は画像に対する設定であることから、ノーマルカメラ１０１とコントローラ１０を用いた画像検査でも使用可能である。このため、スマートカメラ１０２の第１検査設定を、コントローラ１０の記憶部１４に記憶させてノーマルカメラ１０１とコントローラ１０を用いた画像検査時に使用することで、検査設定をコントローラ１０側で作り直す必要がなくなり、ユーザの負担を軽減できる。

【0126】

また、画像検査システム１では、スマートカメラ１０２が単独で検査対象画像の生成処理から検査処理まで実行するモードと、スマートカメラ１０２が検査対象画像の生成処理とコントローラ１０への転送処理とを実行し、検査処理はコントローラ１０が実行するモードを選択できる。つまり、スマートカメラ１０２で検査処理まで実行可能な場合にはスマートカメラ１０２単独で検査処理を完結させ、スマートカメラ１０２単独では処理能力が不足するような場合にはコントローラ１０で検査処理を実行できるので、必要に応じてスマートカメラ１０２とコントローラ１０とを連携させることができる。

【0127】

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0128】

以上説明したように、本発明は、例えばワークを撮像した画像を用いて各種検査を実行可能な画像検査システムとして利用できる。

【符号の説明】

【0129】

１ 画像検査システム
１０ コントローラ
１１ 取得部
１２ 検査部
１２ａ 第１コア
１２ｂ 第２コア
１３ 入力部
１４ 記憶部
１５ 設定部
１０１ ノーマルカメラ
１０２ スマートカメラ
１０２ｅ 記憶部
１０２ｆ 検査部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】