特開 2025-140904 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025140904

(43)【公開日】2025-09-29

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20250919BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2024040549

(22)【出願日】2024-03-14

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】池本 祥

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA01

2G051AB02

2G051BC02

2G051CA04

2G051CD06

2G051CD07

2G051DA06

(57)【要約】

【課題】 撮像画像の枚数が変動した場合における検査精度の低下を抑制することを目的とする。
【解決手段】 画像処理装置であって、物体を撮像して得られる撮像画像を取得し、取得された撮像画像の数が、物体の検査のための基準数であるか否かを判定し、取得された撮像画像の数が基準数であると判定された場合、取得された撮像画像に基づいて、物体における欠陥を検出し、取得された撮像画像の数が基準数でないと判定された場合、警告を出力する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

物体を撮像して得られる撮像画像を取得する取得手段と、
前記取得された撮像画像の数が、物体の検査のための基準数であるか否かを判定する判定手段と、
前記取得された撮像画像の数が前記基準数であると判定された場合、前記取得された撮像画像に基づいて、前記物体における欠陥を検出する検査手段と、
前記取得された撮像画像の数が前記基準数でないと判定された場合、警告を出力する出力手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記出力手段は、前記検査手段による検査の結果を出力することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記検査手段は、前記取得された撮像画像を合成して得られる画像に基づいて、前記物体における欠陥を検出することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

検査項目に応じて前記基準数を設定する設定手段を更に有することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記検査項目には、色、表面形状、光沢が含まれることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記設定手段は、前記検査項目が光沢である場合に前記基準数を１枚以上に設定し、前記検査項目が色又は表面形状である場合に前記基準数を３枚以上に設定することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記出力手段は、前記取得された撮像画像の数が前記基準数でないと判定された場合、検査不可を示す警告を出力することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記出力手段は、前記取得された撮像画像の数が前記基準数より多く、撮像手段が撮像を継続している場合に、前記撮像手段の異常を示す警告を出力し、前記撮像手段の点検又は復旧を促す表示を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記取得手段は、前記取得された撮像画像の数が前記基準数より多い場合、余剰画像を削除することを特徴とする請求項１に記載の画像処理装置。

【請求項10】

コンピュータを請求項１乃至請求項９のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【請求項11】

物体を撮像して得られる撮像画像を取得する取得ステップと、
前記取得された撮像画像の数が、物体の検査のための基準数であるか否かを判定する判定ステップと、
前記取得された撮像画像の数が前記基準数であると判定された場合、前記取得された撮像画像に基づいて、前記物体における欠陥を検出する検査ステップと、
前記取得された撮像画像の数が前記基準数でないと判定された場合、警告を出力する出力ステップと、
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体を検査するための画像処理技術に関する。

【背景技術】

【0002】

工業製品の外観検査技術として、検査面の凹凸を検出する技術が知られている。特許文献１には、検査対象物を撮像して得られた複数の画像をフォトメトリックステレオ法を用いて合成し、検査対象物の良否を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２３２４８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

工業製品の種類によっては、単位時間当たりの生産数が多く、１回の検査にかけられる時間が短い場合がある。この場合、撮像を高速で行う必要があるが、連続撮像により得られる画像の枚数は撮像装置の設定や通信状況などに応じて変動することがある。撮像画像が所望の枚数よりも多い又は少ない場合、検査精度が低下してしまうという課題がある。

【0005】

そこで本発明は、撮像画像の枚数が変動した場合における検査精度の低下を抑制することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理装置は、物体を撮像して得られる撮像画像を取得する取得手段と、前記取得された撮像画像の数が、物体の検査のための基準数であるか否かを判定する判定手段と、前記取得された撮像画像の数が前記基準数であると判定された場合、前記取得された撮像画像に基づいて、前記物体における欠陥を検出する検査手段と、前記取得された撮像画像の数が前記基準数でないと判定された場合、警告を出力する出力手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、撮像画像の枚数が変動した場合における検査精度の低下を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】外観検査システムの外観及びハードウェア構成を示す図

【図2】外観検査システムの機能構成を示す図

【図3】画像処理システムにおける処理を示すフローチャート

【図4】照明部を説明するための図

【図5】ユーザインタフェースの例を示す図

【図6】検査に必要な撮像画像の枚数を説明するための図

【図7】画像処理システムにおける処理を示すフローチャート

【図8】画像処理システムにおける処理を示すフローチャート

【図9】検査に必要な撮像画像の枚数を説明するための図

【発明を実施するための形態】

【0009】

以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、各実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0010】

［第１実施形態］
検査対象物を撮像して得られる画像データを基に検査を行う際に、所望の枚数よりも撮像画像が多い又は少ない状況で検査を行ってしまうと検査精度が低下してしまうことがある。例えば、撮影画像の枚数が少ない場合、フォトメトリックステレオ法を行うのに十分な撮像画像が得られないため、検査対象物の表面形状を高精度に推定することが困難になる。また、撮影画像の枚数が多い場合、撮像と光源の点灯とがうまく同期できていないために撮影画像が暗くなってしまい、欠陥の検出を高精度に行うことができなくなってしまう。そこで本実施形態においては、撮像により得られた撮像画像が所望の枚数でない場合にユーザに対して警告を出力する。これにより、所望の枚数よりも撮像画像が多い又は少ない状況で検査を行うことで検査精度が低下してしまうことを抑制することができる。

【0011】

＜外観検査システムの外観及びハードウェア構成＞
図１（ａ）は、本実施形態における外観検査システムのハードウェア構成例を示す図である。図１（ｂ）は外観検査システム全体の外観正面図であり、図１（ｃ）は外観検査システム全体の外観上面図である。本実施形態における外観検査システムは、画像処理システム１、開始信号出力インターフェース１０１、搬送制御装置１１１、搬送装置１１２を有する。

【0012】

画像処理システム１は、撮像制御装置１０２、撮像装置１０３、画像処理装置１０４、ディスプレイ１０５、マウス１０６、キーボード１０７、照明装置１０８を有する。画像処理システム１は、搬送装置１１２を制御する搬送制御装置１１１と接続される。搬送制御装置１１１は、搬送装置１１２を用いて検査対象の物体１１３を画像処理システム１に搬送し、開始信号出力インターフェース１０１を介して、検査開始信号を画像処理システム１に送る。

【0013】

撮像制御装置１０２は、制御ユニット１１４を有し、撮像装置１０３や照明装置１０８を制御して、光源の点灯と同期して物体１１３を撮像する。詳細には、撮像制御装置１０２は、開始信号入力インターフェース１１５から検査開始信号を受信すると、レリーズ信号出力インターフェース１１６を介して撮像装置１０３に撮像指示を送る。また、撮像制御装置１０２は、撮像装置１０３から、撮像と同期して外部ストロボ光源に発光タイミングを通知させるために送られるシンクロ信号を、シンクロ信号入力インターフェース１１７を介して受け付ける。さらに、撮像制御装置１０２は、受信したシンクロ信号に応じて、点灯信号出力インターフェース１１９を介して、照明装置１０８の光源を所定の順番及び組み合わせで点灯させる。以上の動作により、所定の照明によって光が照射された物体１１３を撮像することができる。尚、本実施形態においては、撮像装置１０３から出力されるシンクロ信号を基に光源の点灯と撮像とを同期させているが、光源の点灯と撮像との同期方法は上記例に限定されない。例えば、制御ユニット１１４からパルス信号を出力することにより、撮像装置１０３への撮像指示と照明装置１０８への光源点灯指示とを同時に出力しても良い。撮像制御装置１０２は、ＵＳＢインターフェース１１８を介して、画像処理装置１０４と接続されており、画像処理装置１０４からの命令を受け付けたり、撮像制御装置１０２の状態を示す情報を画像処理装置１０４に提供したりする。

【0014】

撮像装置１０３は、制御ユニット１２５、レンズや撮像素子等を含む撮像光学系１２１を有する。撮像装置１０３は、レリーズ信号入力インターフェース１２０を介して受け付けた撮像指示を基に撮像して得られた光学像を、画像処理エンジン１２３によって量子化することで撮像画像を生成する。撮像装置１０３は、生成した撮像画像を、ＵＳＢインターフェース１２４を介して画像処理装置１０４に転送する。尚、本実施形態においては、デジタルカメラを用いて撮像した静止画像を取得して用いる例を説明するが、ビデオカメラを用いて撮像した動画像から所定のフレームを静止画像として抽出して用いても良い。撮像装置１０３は、シンクロ信号出力インターフェース１２２を介して、シンクロ信号を撮像制御装置１０２に送る。

【0015】

画像処理装置１０４は、ＲＡＭ１２６、ＲＯＭ１２７、ＣＰＵ１２８、ＧＰＵ１２９、ＵＳＢインターフェース１３０を有する。各構成は内部バスで接続されている。後述するフローチャートに示す処理は、プログラムコードとしてＲＯＭ１２７に格納されている。このプログラムコードは、ＲＡＭ１２６に展開され、ＣＰＵ１２８、ＧＰＵ１２９によって実行される。

【0016】

照明装置１０８は、複数の光源１０９を有する。本実施形態における光源１０９はＬＥＤであるが、キセノンランプ等の別の光源であっても良い。複数の光源１０９は、物体１１３上部において半球状に分散されて設置されており、天頂角と方位角との少なくとも一方が互いに異なる。撮像画像を用いた検査では、外観検査項目に応じて、光の照射方法を変える必要がある。例えば、物体の光沢を検査する際には、検査面に対して正反射した光を撮像できる方向から光を照射する必要がある。また、物体の色や表面形状を検査する際には、検査面に対して正反射した光を撮像しない方向から光を照射する必要がある。そのため、一部の光源１０９は、物体１１３の設置面に対して入射角の大きな方向に設置されており、撮像装置１０３が拡散反射光を受光しやすい幾何条件での撮像が可能となる。また、一部の光源１０９は、物体１１３の設置面に対して入射角の小さな方向に設置されており、撮像装置１０３が正反射光を受光しやすい幾何条件での撮像が可能となる。尚、光源１０９は個別に発光面や分光特性を異ならせても良い。例えば、物体１１３の設置面に対して入射角の大きな方向には光源１０９１乃至１０９８に示すようなスポット照射型の照明を設置し、入射角の小さな方向には光源１０９９に示すような円環状に発光素子が配置されたリング照明を設置しても良い。照明装置１０８は、制御ユニット１１４の命令に応じて、光源１０９のうちの所定の光源を予め設定された時間点灯させる。

【0017】

尚、本実施形態の画像処理システム１において、撮像制御装置１０２、撮像装置１０３、画像処理装置１０４、照明装置１０８を別々の装置としたが、複数の装置が一体となっていても良い。

【0018】

＜画像処理システムが実行する処理＞
図２は、本実施形態における外観検査システムの機能構成例を示す図である。撮像制御装置１０２の制御ユニット１１４は、撮像制御部２０２を有する。撮像制御部２０２は、レリーズ信号出力部２０７、シンクロ信号入力部２０８、シンクロ信号カウント部２０９、点灯信号出力部２１０を有する。撮像装置１０３の制御ユニット１２５は、撮像部２０３を有する。撮像部２０３は、レリーズ信号入力部２１１、制御部２１２、シンクロ信号出力部２１３、画像取得部２１４を有する。画像処理装置１０４は、画像処理部２０４を有する。画像処理部２０４は、検査画像取得部２１５、色形状検査部２１６、光沢検査部２１７、出力部２１８を有する。搬送制御装置１１１は、開始信号出力部２０１を有する。搬送装置１１２は、搬送部２０６を有する。照明装置１０８は、照明部２０５を有する。

【0019】

図３は、本実施形態における画像処理システム１で実行する処理のフローチャートである。物体１１３が搬送装置１１２によって所定位置まで搬送されると、搬送制御装置１１１の開始信号出力部２０１は、撮像制御部２０２に検査開始信号を送る。撮像制御部２０２が検査開始信号を受け付けることによって、図３の処理は開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

【0020】

Ｓ３０１において、撮像制御部２０２及び撮像部２０３は、所定の光源を点灯させて検査対象の物体１１３を撮像して得られる複数の撮像画像を取得し、画像処理部２０４に転送する。具体的には、まず、検査開始信号を受け取ったレリーズ信号出力部２０７は、レリーズ信号入力部２１１にレリーズ信号を送る。制御部２１２は、レリーズ信号入力部２１１がレリーズ信号を受け取ったことを検知すると、撮像動作を実行する。本実施形態においては、公知の連続撮像機能を用いて高速連続撮像を実施する。連続撮像機能とは、レリーズ信号が送られ続ける間、所定の速度で撮像を繰り返す機能であり、本実施形態では秒間３０コマで撮像を行う。撮像時に制御部２１２は、シャッター幕が開いたタイミングに外部ストロボ光源の発光タイミングを同期させるために、シンクロ信号出力部２１３にシンクロ信号を出力させる。シンクロ信号入力部２０８によりシンクロ信号が入力されると、シンクロ信号カウント部２０９は、シンクロ信号の入力回数、すなわち撮像画像の枚数をカウントする。点灯信号出力部２１０は、撮像画像の枚数に応じて順次点灯する光源を切り替え、照明部２０５に点灯信号を出力する。図４に、本実施形態における照明部２０５の設置角度及び点灯順を示す。尚、光源の個数や配置、点灯順は図４の例に限られない。光源番号１に対応する光源には、円環状のリング照明を用い、あらゆる方位角方向から検査面に対して光を照射する。画像取得部２１４は、所定の光源を点灯させて検査対象の物体１１３を撮像して得られる撮像画像を、検査画像取得部２１５に随時転送することを繰り返す。以上の処理により、Ｓ３０１において、撮像制御部２０２及び撮像部２０３は、複数の撮像画像を画像処理部２０４に転送することができる。

【0021】

Ｓ３０２において、検査画像取得部２１５は、取得した撮像画像の枚数と検査に必要な撮像画像の枚数を示す基準数とを比較する。具体的には、まず、検査画像取得部２１５は、外観検査項目の設定を基に、比較に用いる基準数を設定する。本実施形態における外観検査項目は、色、表面形状、光沢の３種類とする。尚、外観検査項目は上記の例に限られず、外観を表しており撮像して判別できるものであれば良い。例えば材質や模様などでも良い。検査画像取得部２１５は、図５に示す検査画面ユーザインタフェース（ＵＩ）をディスプレイ１０５に表示させ、ユーザからの指示を受け付ける。外観検査項目は、図５に示す検査画面ＵＩにおいて１種類以上が設定される。ユーザは、ディスプレイ１０５に表示された検査画面ＵＩに対して、マウス１０６やキーボード１０７を用いた入力が可能である。製品選択領域５０１において予め登録された複数の製品からドロップダウンメニューで検査対象製品が選択されると、選択された検査対象製品に対応する外観検査項目が項目設定領域５０２に設定される。尚、ユーザが項目設定領域５０２のラジオボタンへ入力を行うことで、外観検査項目を変更することも可能である。図４に示すように、撮像時に点灯させる光源と外観検査項目とは対応関係を有する。図６に示すように、検査画像取得部２１５は、外観検査項目それぞれの検査に必要な撮像画像の枚数を基準数に設定する。例えば、光沢の検査では１枚以上、色や表面形状の検査では３枚以上が基準数に設定される。尚、基準数は、検査対象製品に応じて切り替わるようにしても良い。また、検査画面ＵＩにおいては、検査日領域５０６に検査日が表示され、検査時刻領域５０７に検査時刻が表示される。

【0022】

検査画像取得部２１５は、取得した撮像画像の枚数と設定した基準数とを比較することにより、取得した撮像画像の枚数が検査に必要な撮像画像の枚数であるか否かを判定する。取得した撮像画像の枚数が検査に必要な撮像画像の枚数である場合は処理をＳ３０３に遷移させる。取得した撮像画像の枚数が検査に必要な撮像画像の枚数より少ない場合は処理をＳ３０４に遷移させ、取得した撮像画像の枚数が検査に必要な撮像画像の枚数より多い場合は処理をＳ３０５に遷移させる。尚、Ｓ３０２における撮像画像の枚数の判定は、画像の検査を実行する時間間隔、すなわち検査対象の製品が生産されるタクトタイムごと行われるが、検査開始や検査終了といった撮像終了時間のタイミングを外部装置から入力して行っても良い。

【0023】

Ｓ３０３において、色形状検査部２１６及び光沢検査部２１７は、検査処理を実行する。色形状検査部２１６は、フォトメトリックステレオ法により撮像画像を合成して得られた法線情報及び色情報を含む検査画像に対して、空間フィルタ処理を行うことで欠陥を検出する。空間フィルタに対する反応値を積分して数値化した値を異常度とし、異常度を判定用の閾値と比較することで検査の合否を判定する。算出された異常度は、図５に示す検査画面ＵＩの異常度表示領域５０９に表示される。判定用の閾値は、図５に示す検査画面ＵＩの閾値設定領域５０３において設定が可能である。光沢検査部２１７は、物体の検査面における正反射光を受光して得られる撮像画像を光沢情報を有する検査画像として用いて、上記と同様に空間フィルタ処理を行うことで欠陥を検出する。尚、フォトメトリックステレオ法は、複数の照明方向に対応する撮像画像を合成することにより、物体の表面形状を表す法線情報や物体の色を表す色情報を取得することができる手法である。尚、上記の検査処理の方法は一例であり、他の検査方法を用いても良い。

【0024】

また、出力部２１８は、検査処理の結果をディスプレイ１０５に表示させる。例えば、図５に示す検査画面ＵＩにおいて、判定結果領域５０８には、検査合格であれば「ＯＫ」を表示し、検査不合格であれば「ＮＧ」を表示する。さらに出力部２１８は、検査合格品と検査不合格品とそれぞれについて後工程への搬送指示を搬送部２０６に出力する。

【0025】

Ｓ３０４において、出力部２１８は、撮像失敗の警告を判定結果領域５０８及び異常イベント表示領域５１０に表示する。例えば、判定結果領域５０８には、検査不可を表す「ＮＲ（ＮｏＲｅａｄ）」を表示する。尚、不図示の積層信号灯を点灯させて、撮像失敗を通知してもよい。Ｓ３０４に進んだ場合、撮像失敗により検査を行うことができないため、検査対象製品は検査合格品や検査不合格品とは区別し、撮像失敗品として後工程へ搬送させる指示を搬送部２０６に送り、検査装置による検査や目視検査を再度行わせる。

【0026】

Ｓ３０５において、出力部２１８は、Ｓ３０４と同様に、撮像失敗の警告を判定結果領域５０８及び異常イベント表示領域５１０に表示する。その後、Ｓ３０６において、出力部２１８は、撮像装置１０３による撮像が停止しているか否かを判定する。具体的には、出力部２１８は、レリーズ信号出力部２０７の信号の状態がレリーズ状態になっているか否か、もしくは、撮像部２０３から画像処理装置１０４に撮像画像が転送され続けているか否かを判定する。

【0027】

撮像が停止していれば処理を終了する。撮像が停止していなければ、画像処理システム１が正常な動作を行えない状態であるため、Ｓ３０７において出力部２１８は、撮像制御部２０２をリセットし、初期状態に復帰させる。撮像制御部２０２の初期状態は、レリーズ信号出力部２０７の信号がＯＦＦの状態であり、搬送制御装置１１１から入力される検査開始信号の入力待機状態を指す。Ｓ３０８において、出力部２１８は、撮像装置１０３の応答状態を確認する。具体的には、出力部２１８は、撮像装置１０３の制御ユニット１２５が画像処理装置１０４からの命令に対して正しく応答する状態であるか否かを判定する。撮像装置１０３の制御ユニット１２５が画像処理装置１０４からの命令に対して正しく応答する状態であれば、撮像装置１０３に異常は生じていないと判定し、処理を終了する。撮像装置１０３の制御ユニット１２５が画像処理装置１０４からの命令に対して正しく応答しない状態であれば、撮像装置１０３に異常が生じていると判定し、装置異常の警告を判定結果領域５０８及び異常イベント表示領域５１０に表示する。例えば、判定結果領域５０８には、装置不良を表す「ＥＲ（Ｅｒｒｏｒ）」を表示する。尚、不図示の積層信号灯を点灯させて、装置不良を通知してもよい。装置異常の際、出力部２１８は、画像処理システム１の点検や再起動等の復旧作業を促すような表示を行う。例えば、検査開始ボタン５０４や検査停止ボタン５０５を押下することで、再起動処理が実施され、検査待機状態に復旧することができる。

【0028】

以上説明したように、本実施形態における画像処理システム１は、撮像画像の枚数が変動した場合は検査対象製品を撮像失敗品として後工程への搬送指示を行い、必要に応じて装置異常がないかを確認する。これにより、撮像画像の枚数が変動した場合における検査精度の低下を抑制することができる。

【0029】

［第２実施形態］
第１実施形態においては、撮像画像の枚数が変動した場合は検査対象製品を撮像失敗品として後工程への搬送指示を行った。第２実施形態においては、撮像画像の枚数が変動した場合であっても、検査精度に影響しない条件を満たしていれば検査を行う。これにより、撮像画像の枚数の変動によって検査ができないことによる歩留まりの低下を抑制することができる。尚、本実施形態における画像処理システム１の構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

【0030】

＜画像処理システムが実行する処理＞
図７は、本実施形態における画像処理システム１で実行する処理のフローチャートである。物体１１３が搬送装置１１２によって所定位置まで搬送されると、搬送制御装置１１１の開始信号出力部２０１は、撮像制御部２０２に検査開始信号を送る。撮像制御部２０２が検査開始信号を受け付けることによって、図７の処理は開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。尚、Ｓ３０１～Ｓ３０４，Ｓ３０７～Ｓ３０９の処理は第１実施形態と同様である。

【0031】

Ｓ７０１において、出力部２１８は、撮像装置１０３による撮像が停止しているか否かを判定する。具体的には、出力部２１８は、レリーズ信号出力部２０７の信号の状態がレリーズ状態になっているか否か、もしくは、撮像部２０３から画像処理装置１０４に撮像画像が転送され続けているか否かを判定する。撮像が停止していなければ処理をＳ７０２に遷移させ、撮像が停止していれば処理をＳ７０３に遷移させる。

【0032】

Ｓ７０２において、出力部２１８は、撮像失敗の警告を判定結果領域５０８及び異常イベント表示領域５１０に表示する。例えば、判定結果領域５０８には、検査不可を表す「ＮＲ（ＮｏＲｅａｄ）」を表示する。尚、不図示の積層信号灯を点灯させて、撮像失敗を通知してもよい。Ｓ７０２に進んだ場合、撮像失敗により検査を行うことができないため、検査対象製品は検査合格品や検査不合格品とは区別し、撮像失敗品として後工程へ搬送させる指示を搬送部２０６に送り、検査装置による検査や目視検査を再度行わせる。その後、処理はＳ３０８に遷移する。

【0033】

Ｓ７０３において、検査画像取得部２１５は、撮像画像の枚数が多い、かつ、撮像が停止している場合、余剰画像を削除する。その後、Ｓ３０３において、色形状検査部２１６及び光沢検査部２１７は、正常動作通りに撮像できている枚数までの撮像画像を用いて、検査処理を実行する。撮像装置１０３の連続撮像機能によって撮像画像の枚数が多くなってしまう要因は、レリーズタイムラグや連続撮像継続の判定タイミングの変動によって、撮像の最後に余剰に撮像が行われることだと想定される。そのため、検査画像取得部２１５は、１７枚目以降の撮像画像を余剰画像として特定し削除する。尚、本実施形態では撮像の順番を基に余剰画像を特定するが、撮像画像の特徴を基に余剰画像を特定しても良い。例えば、撮像画像のうちの平均輝度が低い画像を余剰画像として削除しても良い。これは、余剰に撮像が行われた場合、光源が同期して点灯しておらず比較的暗い画像が撮像されるためである。尚、撮像画像の枚数の設定については、必要な撮像画像の枚数以上に撮像される設定にしても良い。これは、撮像画像の枚数が不足する場合は検査精度に影響するが、撮像画像の枚数が多く余剰に撮像される場合は条件によっては検査精度に影響しないためである。

【0034】

以上説明したように、本実施形態における画像処理システム１は、撮像画像の枚数が変動した場合であっても検査精度に影響しない条件を満たしていれば検査を行った。これにより、撮像画像の枚数の変動によって検査ができないことによる歩留まりの低下を抑制することができる。

【0035】

［第３実施形態］
第２実施形態においては、撮像画像の枚数が変動した場合であっても検査精度に影響しない条件を満たしていれば検査を行った。第３実施形態においては、撮像画像の枚数が変動した場合であっても検査精度への影響が少ない条件を満たしていれば検査を行う。これにより、撮像画像の枚数の変動によって検査ができないことによる歩留まりの低下をさらに抑制することができる。尚、本実施形態における画像処理システム１の構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態及び第２実施形態とで異なる部分を主に説明する。尚、第１実施形態及び第２実施形態と同一の構成については、同一の符号を付して説明する。

【0036】

＜画像処理システムが実行する処理＞
図８は、本実施形態における画像処理システム１で実行する処理のフローチャートである。物体１１３が搬送装置１１２によって所定位置まで搬送されると、搬送制御装置１１１の開始信号出力部２０１は、撮像制御部２０２に検査開始信号を送る。撮像制御部２０２が検査開始信号を受け付けることによって、図８の処理は開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。尚、Ｓ３０１，Ｓ３０２，Ｓ３０４，Ｓ３０７～Ｓ３０９の処理は第１実施形態と同様であり、Ｓ７０１～Ｓ７０３の処理は第２実施形態と同様である。

【0037】

Ｓ８０１において、検査画像取得部２１５は、外観検査項目に応じた照明条件を満たしているか否かを判定する。外観検査項目に応じた照明条件の例を図９に示す。フォトメトリックステレオ法により検査画像を生成するには、原理的に、分散した方向から光が照射された物体を撮像して得られる３枚以上の画像が必要となる。そのため、外観検査項目が色や形状の場合は、天頂角や方位角の方向に応じて、それぞれの検査に必要な撮像画像の枚数である基準数を設定する。これにより、ある方向からの光照射に対応する画像の撮像に失敗したとしても、その近くの方向からの光照射に対応する画像があれば情報の欠損が少なく検査画像の生成を行うことができるため、検査処理を可能とみなすことができる。尚、検査処理を可能とする確率を高めるため、連続撮像のうち撮像が成功しやすい順に優先して検査に必要な光源を点灯させる方が好ましい。

【0038】

Ｓ８０２において、色形状検査部２１６及び光沢検査部２１７は、検査処理を実行する。この際、Ｓ８０１において撮像に失敗した画像があっても検査を行うと判定した場合、撮像画像とフォトメトリックステレオ法による合成のためのパラメータとの整合関係を調整する。フォトメトリックステレオ法を行うには、光源方向が既知である必要がある。そのため、予め保持する光源方向のうち、撮像に成功した画像に対応する光源方向の組み合わせのみを用いて検査画像を生成する。以降の検査処理については他の実施形態と同様のため説明は省略する。

【0039】

以上説明したように、本実施形態における画像処理システム１は、撮像画像の枚数が変動した場合であっても検査精度への影響が少ない条件を満たしていれば検査を行った。これにより、撮像画像の枚数の変動によって検査ができないことによる歩留まりの低下をさらに抑制することができる。

【0040】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0041】

１０４ 画像処理装置
２０４ 画像処理部
２１５ 検査画像取得部
２１６ 色形状検査部
２１７ 光沢検査部
２１８ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】