特許 6857079 画像検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6857079

(24)【登録日】2021年3月23日

(45)【発行日】2021年4月14日

(54)【発明の名称】画像検査装置

(51)【国際特許分類】

   G01B 11/24 20060101AFI20210405BHJP

   G01B 11/30 20060101ALI20210405BHJP

   G01N 21/84 20060101ALI20210405BHJP

   G01N 21/88 20060101ALI20210405BHJP

   G06T 7/00 20170101ALI20210405BHJP

   G06T 7/90 20170101ALI20210405BHJP

   G06T 1/00 20060101ALI20210405BHJP

【ＦＩ】

   G01B11/24 A

   G01B11/30 A

   G01N21/84 E

   G01N21/88 Z

   G06T7/00 610C

   G06T7/90 A

   G06T1/00 300

【請求項の数】18

【全頁数】32

(21)【出願番号】特願2017-93359(P2017-93359)

(22)【出願日】2017年5月9日

(65)【公開番号】特開2018-189561(P2018-189561A)

(43)【公開日】2018年11月29日

【審査請求日】2020年3月26日

(73)【特許権者】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(72)【発明者】

【氏名】木戸 学

【審査官】 山▲崎▼ 和子

(56)【参考文献】

【文献】 特開２０１５−２３２４８４（ＪＰ，Ａ）

【文献】 特開２００１−１８３３０４（ＪＰ，Ａ）

【文献】 特開平０９−１２６８９０（ＪＰ，Ａ）

【文献】 特開２００７−２０６７９７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００５６９９４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

２１／００−２１／３２

Ｇ０１Ｎ ２１／８４−２１／９５８

Ｇ０６Ｔ １／００−１／４０

３／００−５／５０

７／００−７／９０

９／００−９／４０

(57)【特許請求の範囲】

【請求項1】

それぞれ異なる方向から対象物に照明光を照射する三つ以上の照明ブロックを有し、各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子が備えられている、照明部と、
前記照明光により照明された前記対象物からの反射光を受光して前記対象物の画像を生成する撮像部と、
前記照明部を制御することで前記三つ以上の照明ブロックにそれぞれ含まれている同一の点灯色の発光素子を同時に点灯させ、かつ、点灯色を変えながら順番に前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の分光画像を生成可能であるとともに、前記照明部を制御することで前記三つ以上の照明ブロックのそれぞれに含まれる同一の点灯色の発光素子を順番に点灯させ、前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の照射方向が異なる、複数の方向画像を生成可能である制御部と、
前記複数の分光画像または前記複数の方向画像に基づく検査画像を生成する画像生成部と、
前記画像生成部により形成された検査画像を用いて前記対象物を検査する検査部と
を有し、
前記照明部において、同一の点灯色の照明光を出力する複数の発光素子が等間隔で配置されていることを特徴とする画像検査装置。

【請求項2】

前記画像生成部は、前記複数の分光画像を合成して各画素が前記対象物の色に応じた値を有する色検査画像を生成し、
前記検査部は、前記画像生成部により生成された色検査画像を用いて前記対象物の色検査を実行することを特徴とする請求項１に記載の画像検査装置。

【請求項3】

前記画像生成部は、前記複数の方向画像に基づいて前記対象物の凹凸に応じた値を有する形状検査画像を生成し、
前記検査部は、前記画像生成部により生成された形状検査画像を用いて前記対象物の形状検査を実行することを特徴とする請求項２に記載の画像検査装置。

【請求項4】

前記制御部は、前記複数の方向画像のそれぞれを生成する際に、点灯すべき照明ブロックに含まれているすべての発光素子を点灯させることを特徴とする請求項１ないし３のいずれか一項に記載の画像検査装置。

【請求項5】

前記三つ以上の照明ブロックはそれぞれ白色発光素子を有し、
前記制御部は、前記複数の方向画像のそれぞれを生成する際に、点灯すべき照明ブロックに含まれている前記白色発光素子を点灯させることを特徴とする請求項１ないし３のいずれか一項に記載の画像検査装置。

【請求項6】

前記制御部は、前記複数の方向画像のそれぞれを生成する際に、点灯すべき照明ブロックに含まれている特定の点灯色の照明光を発生する発光素子を点灯させることを特徴とする請求項３に記載の画像検査装置。

【請求項7】

ユーザによる前記特定の点灯色の選択を受け付ける点灯色受付部をさらに有することを特徴とする請求項６に記載の画像検査装置。

【請求項8】

前記形状検査を設定する設定モードにおいて取得された形状検査画像を解析することで、前記形状検査を実行する運転モードにおいて点灯される前記特定の点灯色を選択する点灯色選択部をさらに有することを特徴とする請求項６に記載の画像検査装置。

【請求項9】

前記形状検査を設定する設定モードにおいて前記形状検査画像と前記色検査画像とを同時または切り替えて表示する表示部と、
前記形状検査画像と前記色検査画像とにそれぞれ異なる検査ツールを設定する設定部と
をさらに有することを特徴とする請求項３に記載の画像検査装置。

【請求項10】

前記形状検査画像に設定される検査ツールには少なくとも傷を検査する検査ツールが含まれることを特徴とする請求項９に記載の画像検査装置。

【請求項11】

前記色検査画像に設定される検査ツールには少なくとも面積を検査する検査ツールが含まれることを特徴とする請求項３に記載の画像検査装置。

【請求項12】

前記形状検査画像に設定された検査ツールと前記色検査画像に設定された検査ツールとのうち一方の検査ツールにおける対象物の位置情報を用いて、前記形状検査画像に設定された検査ツールと前記色検査画像に設定された検査ツールとのうち他方の検査ツールの検査領域の位置を補正する補正部をさらに有することを特徴とする請求項１１に記載の画像検査装置。

【請求項13】

前記制御部は、同一のトリガー信号に基づき前記照明部、前記撮像部および前記画像生成部を制御して、前記形状検査画像と前記色検査画像とを連続的に生成することを特徴とする請求項３に記載の画像検査装置。

【請求項14】

前記照明部と前記対象物との間に設置される拡散板をさらに有することを特徴とする請求項１ないし１３のいずれか一項に記載の画像検査装置。

【請求項15】

前記画像生成部は、前記複数の方向画像から前記対象物の表面の反射率を画素値とするアルベド画像を作成するように構成されており、
前記検査部は、前記画像生成部により生成された前記アルベド画像を用いて前記対象物の画像検査を実行することを特徴とする請求項１ないし１４のいずれか一項に記載の画像検査装置。

【請求項16】

各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子が等間隔で配置されていることを特徴とする請求項１ないし１５のいずれか一項に記載の画像検査装置。

【請求項17】

各照明ブロックが備える前記複数の発光素子の数は、当該複数の発光素子の点灯色の種類の数のｎ倍（ｎは１以上の整数）であることを特徴とする請求項１ないし１６のいずれか一項に記載の画像検査装置。

【請求項18】

前記制御部は、
前記照明部を制御することで前記三つ以上の照明ブロックのそれぞれに含まれる同一の点灯色の発光素子を順番に点灯させることで前記対象物に照射方向の異なる同一の点灯色の照明光を照射させ、前記撮像部を制御することでそれぞれ照射方向が異なる複数の方向画像を生成させ、
前記画像生成部は、前記複数の方向画像に基づいて前記対象物の凹凸に応じた値を有する形状検査画像を生成し、
前記検査部は、前記画像生成部により生成された形状検査画像を用いて前記対象物の形状検査を実行し、
前記制御部は、前記照明部を制御することで前記三つ以上の照明ブロックにそれぞれ含まれている同一の点灯色の発光素子を同時に点灯させ、かつ、点灯色を変えながら順番に前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の分光画像を生成させ、
前記画像生成部は、前記複数の分光画像を合成して各画素が前記対象物の色に応じた値を有する色検査画像を生成し、
前記検査部は、前記画像生成部により生成された色検査画像を用いて前記対象物の色検査を実行する
ことを特徴とする請求項１に記載の画像検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査装置に係り、マルチスペクトルイメージングやフォトメトリックステレオを用いて検査対象物を検査する技術に関する。

【背景技術】

【0002】

検査対象物であるワークを撮像してワーク画像を取得し、ワーク画像に画像処理を施してワークの外観検査が広く実施されている。ワークの欠陥は、ワークの表面の反射率（色）の不均一として現れたり、形状の不均一（表面の凹凸）として現れたりする。特許文献１によれば印刷物などの検査対象物を撮像して色情報を取得し、高精度に色検査を実行する色検査装置が提案されている。特許文献２によればフォトメトリックステレオ（ＰＳ）の原理を使ってワーク（検査対象製品）について正確な三次元形状を計測することが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０９−１２６８９０号公報

【特許文献2】特開２００７−２０６７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一つのワークに色欠陥と形状欠陥とが存在する場合、従来は、色欠陥を検査する画像検査装置と形状欠陥を検査する画像検査装置との両方が必要になっていた。この場合、画像検査装置ごとに専用の照明とカメラを設置し、かつ、それぞれカメラのピントなどを適切に設定しなければならず、ユーザビリティーに欠けていた。そこで、本発明は、色欠陥と形状欠陥とを検査する画像検査装置の設定に関するユーザの負担を軽減することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第１の態様による画像検査装置は、
それぞれ異なる方向から対象物に照明光を照射する三つ以上の照明ブロックを有し、各照明ブロックにはそれぞれ波長の異なる照明光を発生する複数の発光素子が備えられている、照明部と、
前記照明光により照明された前記対象物からの反射光を受光して前記対象物の画像を生成する撮像部と、
前記照明部を制御することで前記三つ以上の照明ブロックに含まれているそれぞれ異なる波長の発光素子から照明光を順番に前記対象物に照射させるとともに、前記撮像部を制御することでそれぞれ照明光の波長が異なる、複数の波長画像を生成させるとともに、前記照明部を制御することで前記三つ以上の照明ブロックをブロック単位で順番に点灯させて前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の照射方向が異なる、複数の方向画像を生成させる制御部と、
前記複数の波長画像に基づいて各画素が前記対象物の色に応じた値を有する色検査画像を生成するとともに、前記複数の方向画像に基づいて前記対象物の凹凸に応じた値を有する形状検査画像を生成する画像生成部と、
前記画像生成部により生成された色検査画像を用いて前記対象物の色検査を実行するとともに、前記画像生成部により生成された形状検査画像を用いて前記対象物の形状検査を実行する検査部と
を有することを特徴とする。

【発明の効果】

【0006】

本発明によれば、色検査画像と形状検査画像とを生成するために照明部と撮像部とが共用されるため、ユーザの負担が軽減される。

【図面の簡単な説明】

【0007】

【図1】画像検査装置を示す図

【図2】照明装置を示す図

【図3】照明装置を構成する部品を示す図

【図4】照明装置の電気的な構成を示す図

【図5】画像処理システムの機能を示す図

【図6】マルチスペクトルイメージングにおけるカラー濃淡変換の原理を示す図

【図7】フォトメトリックステレオの原理を説明する図

【図8】フォトメトリックステレオの原理を説明する図

【図9】フォトメトリックステレオの原理を説明する図

【図10】画像検査に関する設定手順を示すフローチャート

【図11】波長を選択するためのユーザインタフェースを示す図

【図12】波長を選択するためのユーザインタフェースを示す図

【図13】画像検査方法を示すフローチャート

【図14】色検査画像の作成手順を示す図

【図15】形状検査画像の作成手順を示す図

【図16】移動補正が必要な理由を説明する図

【図17】移動補正の概念を説明する図

【図18】移動補正を含む画像検査方法を示すフローチャート

【図19】検査ツールを設定するためのユーザインタフェースを示す図

【図20】検査ツールを設定するためのユーザインタフェースを示す図

【図21】照明装置の点灯パターンを示す図

【図22】画像処理システムの機能を示す図

【図23】画像処理システムの機能を示す図

【図24】画像処理システムの機能を示す図

【図25】照明装置を示す図

【発明を実施するための形態】

【0008】

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

【0009】

図１は外観検査システム（画像検査装置８）の一例を示す図である。ライン１は検査対象物であるワーク２を搬送する搬送ベルトなどである。照明装置３は互いに異なる波長の検査光（照明光）を発生する複数の発光素子を有し、各波長の照明光を個別に対象物に照射する照明部の一例である。なお、複数の方向から同時または順番に照明光をワーク２に対して照射するために、複数の同一波長の発光素子が設けられてもよい。カメラ４は照明光により照明された検査対象物からの反射光を受光して輝度画像（分光画像）を生成する撮像手段の一例である。画像処理装置５は、各波長について設定された照明強度で発光素子を順番に点灯させることで画像検査の対象となる検査対象物を照明し、撮像部により取得された複数の検査画像を用いて画像検査を実行する検査部を有する。表示部７は検査に関連する制御パラメータを設定するためのユーザインタフェースや検査画像などを表示する表示装置である。入力部６は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。

【0010】

＜照明装置の構成＞
図２（Ａ）は照明装置３の斜視図である。図２（Ｂ）は照明装置３の上面図である。図２（Ｃ）は照明装置３の底面図である。図２（Ｄ）は照明装置３の側面図である。照明装置３の筐体は上ケース２１と下ケース２２を有している。下ケース２２の下部には複数の光源（ＬＥＤなどの発光素子）のそれぞれが出力する光を拡散させる光拡散部材２３が配置されている。図２（Ａ）や図２（Ｃ）が示すように上ケース２１や下ケース２２と同様に光拡散部材２３も円環状を成している。図２（Ｂ）や図２（Ｄ）が示すように上ケース２１の上面にはコネクタ２４が設けられている。コネクタ２４には照明装置３に格納されている照明制御基板と画像処理装置５とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置３の外部に照明コントローラとして設けられていてもよい。つまり、照明装置３と画像処理装置５との間には照明コントローラが介在してもよい。

【0011】

図３（Ａ）は照明装置３に格納されている制御基板３１とＬＥＤ基板３２とを示す側面図である。制御基板３１は点灯制御部が実装された第二基板の一例である。ＬＥＤ基板３２は複数の光源が実装された第一基板の一例である。図３（Ｂ）はＬＥＤ基板３２の上面図である。図３（Ｃ）は照明装置３のうちＬＥＤ３３の付近を拡大した断面図である。図３（Ｄ）はＬＥＤ基板３２の底面図である。図３（Ｅ）はＬＥＤ基板３２のうちＬＥＤ３３の付近を拡大した側面図である。

【0012】

制御基板３１には照明制御基板やコネクタ２４が配置されている。光源群を構成するＬＥＤなどの発光素子はＬＥＤ基板３２に搭載されている。図３（Ｂ）が示すように、本実施例では四方向から照明光を照射するために四つのＬＥＤ基板３２が設けられている。つまり、一つのＬＥＤ基板３２が一つの照明ブロックを形成している。四方向から照明光を照射可能とすることでフォトメトリックステレオ用の画像を取得できるようになる。つまり、照明装置３はマルチスペクトルイメージング（ＭＳＩ）だけでなく、フォトメトリックステレオのために利用されてもよい。一つのＬＥＤ基板３２には四つのＬＥＤ３３が配置されている場合、光源群は１６個の発光素子により構成される。ただし、より多数の発光素子が設けられてもよい。たとえば、一つのＬＥＤ基板３２には８つのＬＥＤ３３が配置されており、８つのＬＥＤ３３が発光する光の波長はいずれも異なっていてもよい。図３（Ｃ）、図３（Ｄ）および図３（Ｅ）が示すように、複数のＬＥＤ３３のうち隣り合った二つのＬＥＤ３３の間には遮光部材３５が配置されている。多数のＬＥＤ３３を密接に配置すると、隣り合った二つのＬＥＤ３３からそれぞれ照射される照明光が光拡散部材２３の同一の領域を通過することがある。この場合、点灯パターンに応じて一方のＬＥＤ３３を非点灯とし、かつ、他方のＬＥＤ３３を点灯した場合と、他方のＬＥＤ３３を非点灯とし、かつ、一方のＬＥＤ３３を点灯した場合とで、ワーク２の表面には同一の照明方向から同一の光量で照明光が照射されてしまう。これでは高い精度で検査画像を生成することが難しくなる。そこで、隣り合った二つのＬＥＤ３３の間に遮光部材３５を配置することで、隣り合った二つのＬＥＤ３３について光量の均一性と光源の独立性とのバランスを取っている。図３（Ｃ）が示すようにＬＥＤ３３の光の射出方向Ａ１と、主な照明方向Ａ２とは一致していない。そこで、反射鏡３４を配置することでＬＥＤ３３から射出される光を光拡散部材２３の方向へ偏向している。これによりＬＥＤ３３が発光した光を効率よくワーク２へ照射できるようになろう。この例では射出方向Ａ１と反射鏡３４の反射方向とが概ね直交しているが、これは光拡散部材２３の断面形状が円弧を成しており（図３（Ｃ））、円弧に関する角度（中心角）が約９０度になっているからである。このように中心角を大きくすることで、照明装置３をワーク２に対して遠ざけたり、近づけたりしてもワーク２の表面に対してほぼ均一な平行光を照射しやすくなる。

【0013】

図２５は照明装置３の模式平面図である。照明装置３のＬＥＤ基板３２の上には互いに異なる波長の光を発する複数のＬＥＤ３３が環状に配置されている。制御基板３１に設けられた照明制御基板（図４）は同一波長の複数のＬＥＤ３３を同時に点灯させる。同一波長の複数のＬＥＤ３３はＬＥＤ基板３２上にそれぞれ等間隔に配置されている。各波長の複数のＬＥＤ３３が同時に点灯することで、ワーク２の斜め上方から略均一な照明光がワーク２に照射される。これにより、カメラ４は照射方向に依存しない各波長に対応したワーク２の全方向照明画像を撮影することができる。

【0014】

照明装置３はそれぞれ複数のＬＥＤ３３を有する４つの照明ブロックＴＢ１〜ＴＢ４から構成されている。各照明ブロックには互いに異なる波長の光を発する複数のＬＥＤ３３が配置される。各照明ブロックには、照明装置３が有する全ての波長種別のＬＥＤ３３が含まれている。各照明ブロックには光量フィードバック制御用の受光素子ＰＤ１〜ＰＤ４が配置されている。照明制御基板は受光素子ＰＤ１〜ＰＤ４が受光した光の受光量に基づいて、各照明ブロックの光量が予め設定された光量に維持されるように、各ＬＥＤ３３に流す電流値を制御する。

【0015】

各波長のＬＥＤ３３は各照明ブロック内において同数かつ等間隔に配置される。図２５が示す例では、各照明ブロックには８波長のＬＥＤ３３がそれぞれ１つずつ等間隔に配置されている。各照明ブロックが同一波長のＬＥＤ３３を２つ以上備えてもよい。この場合、波長数の倍数、例えば１６個（８波長×２個）、２４個（８波長×３個）、あるいは３２個（８波長×４個）のＬＥＤ３３が各照明ブロックに設けられる。同一波長の複数のＬＥＤ３３は各照明ブロック内において等間隔に配置される。上述したＬＥＤ３３の配置は全ての照明ブロックで共通である。複数の照明ブロックを環状に配置することでリング型の照明が構成される。つまり、同一波長のＬＥＤ３３が環状に等間隔に配列される。

【0016】

照明制御基板は、照明装置３を波長単位で個別に点灯制御することができる。単一波長、例えば赤色のＬＥＤ３３が点灯される場合、照明制御基板は、全ての照明ブロックに含まれる赤色のＬＥＤ３３を同時に点灯させる。照明制御基板は各波長のＬＥＤ３３を順次に点灯させることにより、ワーク２に対して異なる波長の光を順次に照射することができる。また、照明制御基板は、各照明ブロックを個別に点灯制御することもできる。例えば、照明制御基板は照明ブロックＴＢ１に含まれるＬＥＤ３３を点灯させ、照明ブロックＴＢ２〜ＴＢ４に含まれるＬＥＤ３３を消灯させてもよい。また、照明制御基板は、照明ブロックＴＢ１からＴＢ４を順次に点灯させることもできる（ＴＢ１−＞ＴＢ２−＞ＴＢ３−＞ＴＢ４）。照明制御基板が点灯させる照明ブロックを切り替えることにより、それぞれ異なる方向から照明されたワーク２についての複数の輝度画像が取得され、検査に用いられてもよい。更に、照明制御基板は、波長単位および照明ブロック単位でＬＥＤ３３を個別に点灯制御することもできる。照明制御基板は、例えば、照明ブロックＴＢ１に含まれる赤色のＬＥＤ３３のみを点灯させることができる。

【0017】

このように、照明装置３は各波長単位でＬＥＤ３３を点灯制御することで、異なる波長の光をワーク２に照射する。また、各照明ブロック単位でＬＥＤ３３を点灯制御することで、異なる照射方向から光をワーク２に照射することができる。

【0018】

制御基板３１には単色のＬＥＤ３３だけではなく、複数の波長の光が混じりあった白色光を出射する白色ＬＥＤ３３を配置してもよい。照明制御基板は白色ＬＥＤ３３のみを選択的に点灯させることで、通常の白色リング照明と同じように本実施の形態における照明装置３を機能させてもよい。更に、照明制御基板は全ての波長のＬＥＤ３３を同時に点灯させて、ワーク２に対して実質的に白色光を照射することもできる。

【0019】

本明細書において、照明制御基板が単色波長の照明光をワーク２に照射して得られた画像は分光画像と呼ばれる。また、全ての波長のＬＥＤ３３を点灯させるか、白色ＬＥＤ３３を点灯させて得られた画像は分光画像とは区別され、白色画像と呼ばれる。分光画像と白色画像は輝度画像と総称されうる。輝度画像の各画素はカメラ４から得られた輝度値を示す。

【0020】

各照明ブロックにはそれぞれ照明制御基板が設けられている。各照明ブロックが同一波長の複数のＬＥＤ３３を含む場合、各照明制御基板には同一波長のＬＥＤ３３が直列に接続され、異なる波長のＬＥＤ３３が並列に接続されている。

【0021】

以上の図面によれば、複数のＬＥＤ３３が、ある円周上に並べられているが、半径の異なる別の円周上にも複数のＬＥＤ３３が配置されていてもよい。これにより、波長ごとのＬＥＤ３３の数が増えるため、照明光量を増加させることが可能となる。また、第一の円周上にはマルチスペクトルイメージング用のＬＥＤ３３が配置され、第二の円周上には白色ＬＥＤが配置されていてもよい。第一の円周の半径と第二の円周の半径とは異なっている。

【0022】

なお、照明装置３において、同一の点灯色の照明光を出力する複数の発光素子は等間隔で配置されている。これにより、複数の同一の点灯色の照明光が均一にワーク２に照射されるようになる。これは、マルチスペクトルイメージング用の分光画像を精度よく生成する上で役に立つ。また、各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子が等間隔で配置されている。このように一つの照明ブロック内に配置される複数の発光素子も等間隔で配置されてもよい。これにより、複数の照明ブロックから照射される照明光がさらに均一化される。また、各照明ブロックが備える複数の発光素子の数と、複数の発光素子の点灯色の種類とは一致している。つまり、四つのＬＥＤ基板３２は同一部品であり、部品の管理効率と生産効率が向上する。

【0023】

＜照明装置の回路構成＞
図４は照明装置３の回路構成の一例を示している。この例では光源群を構成する４つの照明ブロックのうち１つの照明ブロックを示しており、各照明ブロックは同一波長のＬＥＤが４つ（ＬＥＤ３３ａ〜ＬＥＤ３３ｄ）設けられている。４つのＬＥＤ３３ａ〜ＬＥＤ３３ｄは直列に接続されている。異なる波長のＬＥＤが同様に直列接続されたものが、図４の回路構成と並列に接続されているが、図４からは省略してある。電圧が可変の可変電源４１は照明制御基板４０によって指定される電圧値（例：２Ｖ〜２０Ｖ）の電圧を生成して出力する。可変定電流源４２は、照明制御基板４０によって指定される電流値（例：０Ａ〜１Ａ）となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源４２は、可変定電流源４２に印加されている電圧の値を検出して照明制御基板４０にフィードバックし、過電圧から可変定電流源４２を保護している。ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれには並列にスイッチ４３ａ〜スイッチ４３ｄが接続されている。照明制御基板４０の点灯制御部４５はこれらのスイッチ４３ａ〜スイッチ４３ｄを個別に開閉させることで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのそれぞれに並列にスイッチ４３ａ〜スイッチ４３ｄを接続することで、ＬＥＤ３３ａ〜ＬＥＤ３３ｄのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部４５は可変定電流源４２とグランドとの間に挿入されたメインスイッチ４３ｅのオン／オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部４４は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置５の照明制御部から受信し、点灯制御部４５に渡す。点灯制御部４５は、制御信号に対応する点灯パターンデータ４７を記憶部４６から読み出し、点灯パターンデータ４７に従ってスイッチ４３ａ〜スイッチ４３ｄを制御する。なお、一つの照明ブロックが８つのＬＥＤ３３により構成される場合、８個のスイッチ４３が設けられ、８個のスイッチ４３は点灯制御部４５によって制御される。

【0024】

＜機能ブロック＞
図５は検査装置のブロック図である。この例では照明装置３、カメラ４および画像処理装置５がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置３は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置３は光源群５０１とこれを制御する照明制御基板４０を備えている。すでに図３に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群５０１が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは３方向以上の照明方向からワーク２に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子（ＬＥＤ３３）が設けられている。複数の発光素子には白色ＬＥＤが含まれていてもよい。白色ＬＥＤはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク２の移動補正用の画像を作成するために使用されたりする。図１や図３に示したように照明装置３の外形はリング状をしていてもよい。また、照明装置３は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板４０は、画像処理装置５から受信した制御コマンドに応じて光源群５０１の点灯タイミングや照明パターン（点灯パターン）を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク２に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の点灯色（波長）の照明光が同時に照射されてもよい。照明制御基板４０は照明装置３に内蔵されているものとして説明するが、カメラ４に内蔵されていてもよいし、画像処理装置５に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。

【0025】

照明装置３には記憶装置５０２が内蔵されており、ユーザにより設定された光源群５０１の点灯タイミングや照明パターンが記憶されている。照明制御基板４０は、画像処理装置５からトリガー信号を受け取り、記憶装置５０２に記憶されている内容に応じて、光源群５０１を制御することができる。このような構成により、画像処理装置５は、トリガー信号を送信するだけで照明装置３を制御することができるので、画像処理装置５と照明装置３を接続する信号線の数を少なくすることができ、ケーブルの取り回しがよくなる。

【0026】

より具体的には、記憶装置５０２は、各波長の光源群５０１の点灯タイミング情報（点灯時間、点灯間隔）、照明強度情報、照明パターン情報（点灯させる波長の識別情報）、照明ブロック情報（点灯させるブロックの識別情報）を含む照明設定データを記憶している。この照明設定データはいずれも、照明設定用のユーザインタフェースを表示部７に表示し、ユーザによる調整を照明設定手段が受け付ける。

【0027】

点灯タイミング情報とは、各波長に対応する光源群を周期的に点灯させる際の各波長の点灯タイミングを規定する情報であり、各波長の光源群を点灯させる点灯時間（パルス幅）と、点灯させる波長を切り替える際に、前の波長の光源群を消灯させてから次の波長の光源群を点灯させるまでの点灯間隔（インターバル）とからなる。例えば、ユーザが赤色と緑色の光を発する光源群を用いて検査を行う場合、赤色波長の光源群の点灯時間、緑色波長の光源群の点灯時間と、両点灯時間の間隔をユーザが設定できる。点灯時間の設定は、ユーザが各波長の点灯時間を個別に設定できるようにしてもよいし、全ての波長において共通としてもよい。点灯間隔の設定は、ユーザが直接点灯間隔を指定するようにしてもよいし、検査に用いる全ての波長の光源群を順次点灯させる１つの点灯サイクルの長さと、各波長の点灯時間とから、点灯間隔が自動的に算出されるようにしてもよい。

【0028】

照明強度情報とは、各波長の照明強度を示す情報である。本実施の形態では、各波長の照明強度を個別に設定することができるため、各波長で最適な照明強度でワークに光を照射することができる。

【0029】

照明パターン情報とは、点灯させる波長の種別を示す識別情報であり、各点灯タイミングにおいて、どの波長に対応した光源群を点灯させるべきかを決定する情報である。例えば、ユーザが赤色と緑色と紫色の３色を用いて検査を行う設定を行っている場合、記憶装置５０２は、これらの３波長を示す識別情報を各点灯タイミング（点灯パルス）の情報と関連付けて記憶する。記憶装置５０２は、例えば、最初の点灯パルスでは赤色の光源群を点灯させ、次の点灯パルスでは緑色の光源群を点灯させ、最後の点灯パルスでは紫色の光源群が点灯されるように、照明パターン情報を点灯タイミング情報と関連付けて記憶している。照明パターン情報には、点灯波長の順序を示す情報が含まれていてもよい。上記の例では、赤、緑、紫の順序がユーザにより設定されてもよいし、予め設定可能な波長の点灯順序は固定して決められていてもよい。画像処理装置５の記憶装置５２０は照明パターン情報を照明装置３と共有する。上記の例では、最初に取得した画像を赤色波長で得られた画像として処理し、次に取得した画像を緑色波長で得られた画像として処理し、最後に取得した画像を紫色波長で得られた画像として処理する。

【0030】

照明ブロック情報とは、点灯させる照明ブロックの識別情報である。本実施の形態では、波長単位での点灯を個別に制御できることに加えて、照明ブロック単位での点灯を個別に制御できる。ユーザは、点灯させる照明ブロックを任意に選択することにより、偏斜照明による検査が実行できる。また全ての照明ブロックを順次に点灯させて、異なる照明方向から光を照明して得られた複数の輝度画像に基づいて、フォトメトリックステレオの原理を用いた形状画像を生成することもできる。ユーザが点灯させる照明ブロックの順序を設定することもできる。各点灯タイミングにおいて点灯させる照明ブロックを任意に指定できるようにしてもよいし、点灯の回転方向（時計回り、または反時計回り）が固定されており、最初に点灯する照明ブロックをユーザが指定できるようにしてもよい。

【0031】

上記の照明設定手段による照明設定データは、照明装置３に接続されたＰＣ（パーソナルコンピュータ）などの入力部から設定されてもよいし、照明装置３に接続された画像処理装置５から設定されてもよい。また、画像処理装置５とは別体に設けられた照明用のコントローラを介して照明装置３が設定を受け付けてもよい。また、カメラ４、照明装置３、画像処理装置５が一体に設けられた検査装置の場合は、入力部６を介して検査装置に直接照明の設定を行うことも可能である。

【0032】

上記の例では、記憶装置５０２は照明装置３に設けられているが、画像処理装置５に設けられていてもよい。また照明装置３とカメラ４が一体に設けられている場合は、カメラ４に設けられていてもよい。照明装置３、カメラ４、画像処理装置５が一つのハウジングに一体に設けられた検査装置の場合は、ハウジング内に記憶装置５０２が設けられる。

【0033】

カメラ４は照明装置３により照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置５からの制御コマンドに応じて撮像処理を実行する。カメラ４はワーク２の輝度画像を作成して画像処理装置５に転送してもよいし、カメラ４の撮像素子から得られる輝度信号を画像処理装置５に転送し、画像処理装置５が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。また、カメラ４は、照明装置３が出力する各波長の照明光ごとに対象物からの反射光を受光して対象物の画像（分光画像）を生成する撮像部として機能する。

【0034】

画像処理装置５は、コンピュータの一種であり、ＣＰＵやＡＳＩＣなどのプロセッサ５１０と、ＲＡＭ、ＲＯＭ、可搬記憶媒体などの記憶装置５２０と、ＡＳＩＣなどの画像処理部５３０と、ネットワークインタフェースなどの通信部５５０とを有している。プロセッサ５１０は検査ツールの設定や、制御パラメータの調整、検査画像の生成などを担当する。とりわけ、ＭＳＩ処理部５１１は、マルチスペクトルイメージング（ＭＳＩ）に従って、カメラ４により取得された複数の輝度画像（分光画像）からワーク２のグレー画像を作成したり、グレー画像を画像処理（例：二値化など）して検査画像を作成したりする。グレー画像自体が検査画像であってもよい。照明制御部５１２は、照明制御基板４０に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミングなどを制御する。すなわち、照明制御部５１２は照明装置３に照明開始のトリガー信号を送信する。撮像制御部５１３は、照明制御部５１２から発せられるトリガー信号と同期した撮像開始のためのトリガー信号をカメラ４に送信し、カメラ４を制御する。

【0035】

ＵＩ管理部５１４は、検査ツールを設定するためのユーザインタフェース（ＵＩ）や検査画像を生成するために必要となるパラメータを設定するためのＵＩなどを表示部７に表示し、入力部６から入力された情報従って検査ツールやパラメータを設定する。検査ツールには、ワーク２が備える特定の特徴（例：ピン）の長さを計測するツールや特徴の面積を計測するツールや、ある特徴から別の特徴までの距離（例：ピン間隔）を計測するツールや、特定の特徴の数を計測するツールや、特定の特徴に傷が有るか無いかを検査するツールなどが含まれてもよい。とりわけ、ＵＩ管理部５１４はマルチスペクトルイメージングや移動補正に関する制御パラメータを設定するためのＵＩを表示部７に表示する。画像選択部５１５はＵＩを通じてユーザにより選択された画像の画像データを記憶装置５２０から読み出してＵＩ内の画像表示領域に表示する。領域指定部５１６は表示された画像に対して検査ツールの検査領域ＩＷ、移動補正や位置補正のための特徴パターンを登録するためのパターン領域ＰＷ、サーチ領域ＳＷなどの指定をユーザから受け付ける。また、領域指定部５１６は、これらの指定領域の形状（例：矩形、円、楕円、任意形状）の選択を受け付けて指定領域を示す枠線の形状をＵＩに反映させたりする。点灯色設定部５１７は、ユーザの指示に従って移動補正用の照明光の点灯色を設定する。ＵＩ管理部５１４はユーザにより設定されたこれらの制御パラメータを設定情報５２３に保存する。このようにＵＩ管理部５１４は照明条件や撮像条件を設定する設定部として機能したり、検査ツールを設定する設定部として機能したりする。

【0036】

画像処理部５３０はマルチスペクトルイメージングにより取得された検査画像に対して検査ツールを適用して各種の計測を実行する検査部５３１などを有している。サーチ部５３２は画像検査の前に設定された特徴または画像検査中に動的に設定された特徴を、検査画像に配置されたサーチ領域ＳＷ内でサーチし、見つかった特徴の位置を求める。検査部５３１は、見つかった特徴の位置に応じて検査領域（計測領域）の位置を補正する。移動補正部５３３は、移動補正用の画像から見つかった特徴の位置の変化量に基づきマルチスペクトルイメージング用の複数の分光画像の座標系またはワーク２の座標（位置）を補正する。この補正作業は、補正のための変換式（補正式）を作成する工程と、変換式を用いて座標を変換する工程とに分かれていてもよい。これらの二つの工程はいずれも移動補正部５３３により実行されてもよいし、前者が移動補正部５３３により実行され、後者がＭＳＩ処理部５１１により実行されてもよいし、両者ともがＭＳＩ処理部５１１により実行されてもよい。なお、画像処理部５３０の機能はプロセッサ５１０に実装されてもよい。あるいは、プロセッサ５１０の機能が画像処理部５３０に実装されてもよい。また、プロセッサ５１０とプロセッサ５１０とが協働して単一または複数の機能を実現してもよい。たとえば、移動補正に関する一部の演算を画像処理部５３０が担当し、残りの演算をプロセッサ５１０が担当してもよい。なお、移動補正部５３３は、移動補正用の画像から見つかった特徴の位置の変化量に基づきフォトメトリックステレオ用の複数の輝度画像（方向画像）の座標系またはワーク２の座標（位置）を補正してもよい。

【0037】

判定部５４０は検査画像を用いてワーク２の良否を判定する判定手段として機能する。たとえば、判定部５４０は画像処理部５３０において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件（公差など）を満たしているかどうかを判定する。

【0038】

記憶装置５２０は、カメラ４によって取得された分光画像のデータである分光画像データ５２１、ＭＳＩ処理部５１１により生成されたグレー画像のデータであるグレー画像データ５２２や各種の制御パラメータを保持する設定情報５２３を記憶する。また、記憶装置５２０は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置５２０はグレー画像から生成された検査画像なども記憶して保持していてもよい。記憶装置５２０は、カメラ４によって取得された方向画像（輝度画像）のデータである輝度画像データ５２４や、輝度画像から作成された形状検査画像である形状画像データ５２５を記憶してもよい。

【0039】

図２２ないし図２４は、本発明の画像処理装置に係る他の構成例を示す図である。図２２は照明装置３とカメラ４が一体化され、カメラ４に照明装置３を制御するための照明制御基板４０が設けられている例を示す図である。この構成では照明装置３とカメラ４が一体に設けられているため、照明装置３とカメラ４を設置する際に、位置合わせをする必要がない。また、照明装置３側には光源群５０１を制御するための照明制御基板４０や記憶装置５０２は不要となり、これらを有さない汎用的な照明装置３も利用することができる。ユーザはカメラ４に接続されている照明装置３を取り外し、別の種類の照明装置に交換することができる。例えば、本発明におけるマルチスペクトルイメージングに用いる照明装置３に変えて、白色光のみを照射するリング照明など他の種類の照明装置を適宜に選択できる。カメラ４は接続された照明装置３の種類を認識し、設定ユーザインタフェースに反映することが好ましい。これにより、ユーザは接続されている照明装置３に設定が可能な項目に対応したユーザインタフェース上で、照明の設定を行うことができる。認識の方法としては、照明装置３が照明種別情報を記憶しており、カメラ４がその情報を参照する方法などが考えられる。また、画像処理装置５が有する照明制御部５１２と撮像制御部５１３を、カメラ４の内部に設ける構成とし、撮像・照明系の制御を画像処理装置５とは独立して実行させる構成としてもよい。

【0040】

図２３は画像処理装置５の一部の機能を、カメラ４側に設けた構成例を示している。カメラ４は分光画像データ５２１、グレー画像データ５２２、設定情報５２３、輝度画像データ５２４、形状画像データ５２５を記憶する記憶装置５０２を備え、カメラ４内部で分光画像データ５２１からグレー画像データ５２２を生成する処理をＭＳＩ処理部５１１が実行する。ＰＳ処理部５６０は輝度画像データ５２４から形状画像データ５２５を作成する。照明装置３はカメラ４の照明制御部５１２が制御する。検査設定時に、カメラ４は画像処理装置５に各波長で撮像された分光画像データ５２１と、ＭＳＩ処理部５１１により生成されたグレー画像データ５２２を画像処理装置５に送信する。設定時には、各波長の照明強度や、各波長の分光画像データ５２１が検査に必要か否かをユーザが確認するために、画像処理装置５はカメラ４から分光画像データ５２１を取得し、表示部７に表示する。一方、検査運用時には、カメラ４から画像処理装置５への分光画像データ５２１の送信を行わず、検査対象であるグレー画像データ５２２のみを画像処理装置５に送信するようにしてもよい。このように、カメラ４に画像処理装置５の一部の機能を負担させることにより、カメラ４と画像処理装置５間の通信負荷が低減され、分散処理により処理が高速化する。なお、グレー画像データ５２２や形状画像データ５２５を作成する際に移動補正が適用される場合、サーチ部５３２や移動補正部５３３はカメラ４にも設けられていてもよい。

【0041】

図２４は画像処理装置５の全ての機能をカメラ４に内蔵した構成例である。ユーザはカメラ４と照明装置３のみを設置するだけで良いため、設置時の手間がかからない。たとえば、カメラ４の大型化が許容され、高度な画像演算処理が不要な場合に、この構成は有利であろう。

【0042】

＜マルチスペクトルイメージング＞
マルチスペクトルイメージングでは点灯色（波長）の異なる照明光が一つずつ順番にワーク２に照射され、各波長ごとの画像が取得される。たとえば、８種類の波長の照明光が照射される場合、８個の画像（分光画像）が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の波長の四つのＬＥＤ３３が同時に点灯するため、四つの方向から同一波長の照明光がワーク２に照射される。

【0043】

８種類の波長は、たとえば、紫外波長から近赤外波長までの８種類の狭帯域波長である。狭帯域波長とは、白色ＬＥＤが発光する光の波長（広帯域波長）の幅と比較して狭い波長をいう。たとえば、青色ＬＥＤが発光する光の波長の幅は、白色ＬＥＤが発光する光の波長幅よりもずっと狭いため、青色ＬＥＤが発光する光の波長は狭帯域波長である。なお、画像検査の中には８個の分光画像のすべてを必要としない画像検査もありうる。この場合、必要な波長の照明光だけがワーク２に照射される。

【0044】

一般に、８個の画像がそのまま画像検査に利用されることは少なく、８個の画像から一個のグレー画像が作成され（カラー濃淡変換）、このグレー画像（カラー濃淡画像）が画像検査に利用される。

【0045】

カラー濃淡変換はカラーグレー変換と呼ばれることもある。たとえば、カラー濃淡画像に対して二値化処理が実行されたり、エッジ検出処理が実行されたり、ブロブ処理が実行されたりして、ワーク２における特徴（例：ピン）の位置や寸法（長さや面積）、色がそれぞれ公差の範囲内に収まっているかが検査される。

【0046】

図６を用いてカラー濃淡変換の一例を説明する。検査対象物であるワーク２のグレー画像を作成するには、良品（モデル）の登録色が必要となる。グレー画像は、登録色の色情報を基準に８個の分光画像を変換することで作成されるからである。

【0047】

まず、設定モードにおいて、良品から取得された８個の分光画像においてユーザが指定した画像領域（指定領域）から登録色の色情報が抽出される。

【0048】

たとえば、良品がインスタント食品（例：ラーメン）であり、ある具材（例：海老）の数を画像検査により計数する場合、ユーザは、良品の画像を表示し、良品の画像おいて当該具材が含まれる矩形の指定領域を指定し、指定領域に含まれる画素から登録色の色情報が抽出される。登録色の色情報は、平均画素行列、分散共分散行列および指定領域に含まれる画素の数を含む。なお、色情報は、いわゆるスポイトツールにより抽出されてもよい。スポイトツールのＵＩは領域指定部５１６に実装されてもよい。

【0049】

次に、検査モードにおいて、検査対象物であるワーク２について８個の分光画像が取得される。各分光画像に含まれるすべての画素について登録色に対する距離ｄ（ｘ）が求められる（ｘは８枚の分光画像の各画素値を要素とした８次元ベクトルである）。さらに、距離ｄ（ｘ）に予め定められたゲインｇを乗算して積を求め、必要に応じてオフセットaを加え、各画素がとりうる最大階調Ｇｍａｘから積を減算することで得られる差Ｇが注目画素ｘのグレー階調となる。これは、Ｇ ＝ Ｇｍａｘ − （ｇ・ｄ（ｘ） ＋ ａ）と表記される。

【0050】

なお、複数の登録色が存在する場合は、各登録色を基準として複数のグレー画像が作成されてもよいし、単一のグレー画像が作成されてもよい。

【0051】

＜フォトメトリクスステレオの原理＞
一般的なフォトメトリックステレオ法では、図７に示すように、ワーク２に対して４方向から照明光Ｌ１〜Ｌ４を順番に切り替えながら照射し、４枚の輝度画像を生成する。４枚の輝度画像はそれぞれ照明方向が異なっているため方向画像と呼ばれてもよい。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、４枚の輝度画像において座標が一致する四つの画素は同一のワーク表面に対応している。四つの画素の画素値（輝度値）Ｉ１、Ｉ２、Ｉ３、Ｉ４と、法線ベクトルｎとの間には図７に示した式１が成り立つ。

【0052】

ここでρは反射率である。Ｌは各方向からの照明光の光量であり、既知である。ここでは４方向とも光量は同一である。Ｓは照明方向行列であり、既知である。この数式を解くことで各座標（ワーク表面）ごとの反射率ρと法線ベクトルｎが求められる。その結果、反射率画像（アルベド画像）と傾き画像とが得られる。

【0053】

本実施形態では、さらに、傾き画像から高さ成分を抽出し、ワーク２の形状を示す形状画像を検査画像として作成する。検査画像は、図７に示した式２である積み上げ演算式により求められる。ここで、ｚｎはｎ回目の積み上げ結果であり、ワーク表面の形状を示している。ｘ、ｙは画素の座標を示している。ｎは何回目の繰り返し計算であるかを示している。ｐは水平方向の傾き成分を示し、ｑは垂直方向の傾き成分を示している。ｐ、ｑは法線ベクトルｎから求められる。ｗは重みである。また、１回目の積み上げ演算では１／１の傾き画像を用い、２回目の積み上げには１／２の縮小傾き画像を用い、３回目の積み上げには１／４の縮小傾き画像を用いる。縮小画像を作成する際にはガウシアン処理を施してから縮小処理が施されてもよい。

【0054】

図８はフォトメトリックステレオ法による検査画像の作成工程を示す図である。輝度画像８０１〜８０４はそれぞれ照明方向の異なる照明光によりワーク２を照明して取得された輝度画像である。なお、輝度画像８００は４方向から同時に照明して得られた輝度画像である。それぞれ照明方向の異なる照明光によりワーク２を照明して取得された複数の輝度画像から演算によりワーク表面の法線ベクトルが求められる。傾き画像８１１は、輝度画像８０１〜８０４から求められた法線ベクトルのＸ方向の傾き成分を画素値とした傾き画像である。傾き画像８１２は、輝度画像８０１〜８０４から求められた法線ベクトルのＹ方向の傾き成分を画素値とした傾き画像である。反射率画像８１０は、輝度画像８０１〜８０４から求められた法線ベクトルから、ワーク表面の傾きによる輝度値の変動分を除去し、ワーク表面の反射率を画像にした反射率画像である。検査画像８２１〜８２３は傾き画像８１１、８１２から求められたそれぞれ特徴サイズの異なる画像（表面形状画像）である。なお、検査画像８２１〜８２３も傾き成分に基づく画素により構成されているため、傾き画像の一種である。このような手順でワーク２の検査画像が生成される。なお、検査ツールに依存して全方向照明画像である輝度画像８００や反射率画像８１０が検査画像として採用されてもよい。全方向照明画像とは、照明装置３が備える複数の光源をすべて点灯させて取得された輝度画像のことである。

【0055】

＜テクスチャ情報＞
テクスチャ情報とはワーク２の表面の反射率ρに基づく情報である。式１によって反射率ρが求められる、つまり４枚の輝度画像から１枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図９に示すように、４枚の輝度画像９０１〜９０４から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像９１１、９１２が求められる。この合成方法としては４枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、４枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像９１１は画像平均によって求められたものであり、テクスチャ画像９１２はハレーション除去によって求められたものの一例である。４枚の輝度画像において座標が一致する画素が四つ存在する。四つの画素のうち画素値が１番大きい画素を除外したり、画素値の大きい順に１番目からＮ番目（Ｎは３以下の自然数）までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に表れるからである。テクスチャ画像９１１、９１２はともに反射率に基づく画素により構成されているため、反射率画像（アルベド画像）の一種である。

【0056】

＜設定モード＞
図１０は画像検査装置８の設定手順を示している。Ｓ１００１でユーザはカメラ４の固定位置を調整することで、カメラ４からワーク２までの距離を調整する。ＵＩ管理部５１４はカメラ４により取得されたリアルタイム画像を表示部７に表示することで、ユーザを補助してもよい。Ｓ１００２でユーザはカメラ４のピントや絞りを調整する。撮像制御部５１３はカメラ４のオートフォーカス機能を利用してピント調整を実行してもよい。ＵＩ管理部５１４はユーザにより指定された絞り値を受け付けて撮像制御部５１３に設定してもよい。なお、この段階での絞り値は仮の値であり、最終的な絞り値は露光時間を調整する際に決定される。Ｓ１００３でユーザはマルチスペクトルイメージング用の点灯色を選択する。ＵＩ管理部５１４（点灯色設定部５１７）は、選択可能な点灯色の候補を表示部７に表示し、ユーザによる点灯色の選択を受け付けてもよい。たとえば、ＵＶからＩＲ２までの８つの点灯色からいくつかの点灯色が選択されうる。ＵＶは紫外線点灯色の照明光により取得された分光画像を示している。Ｂは青点灯色の照明光により取得された分光画像を示している。Ｇは緑点灯色の照明光により取得された分光画像を示している。ＡＭはアンバー点灯色の照明光により取得された分光画像を示している。ＯＲはオレンジ点灯色の照明光により取得された分光画像を示している。Ｒは赤点灯色の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外点灯色の照明光により取得された分光画像を示している。ただし、ＩＲ１の点灯色はＩＲ２の点灯色よりも短い。Ｓ１００４でユーザはマルチスペクトルイメージング用の露光時間とカメラゲインを決定する。ＵＩ管理部５１４は各点灯色に共通の露光時間とカメラゲインとをユーザが選択するためのＵＩを表示部７に表示して各点灯色に共通の露光時間とカメラゲインを受け付けてもよい。また、ＵＩ管理部５１４は各点灯色ごとに露光時間とカメラゲインとをユーザが選択するためのＵＩを表示部７に表示して各点灯色ごとの露光時間とカメラゲインと受け付けてもよい。なお、露光時間とカメラゲインとの調整を容易にするために、ＵＩ管理部５１４は仮に設定された露光時間とカメラゲインでワーク２を撮像して、撮像結果（ワーク２の画像）を表示部７に表示してもよい。ステップＳ１００５でユーザはフォトメトリックステレオ用の点灯色を選択する。たとえば、ＵＩ管理部５１４は、選択可能な点灯色の候補を表示部７に表示し、ユーザによる点灯色の選択を受け付けてもよい。たとえば、ＵＶからＩＲ２までの８つの点灯色の発光素子と、白色発光素子とのうちからいくつかの発光素子が選択されうる。Ｓ１００６でユーザはフォトメトリックステレオ用の露光時間とカメラゲインを決定する。
ＵＩ管理部５１４は露光時間とカメラゲインとをユーザが選択するためのＵＩを表示部７に表示して露光時間とカメラゲインを受け付けてもよい。

【0057】

Ｓ１００７でユーザは検査設定を実行する。検査部５３１は複数の検査ツールを備えているため、ＵＩ管理部５１４は各検査ツールが検査を実行するために必要となるパラメータ（検査領域、登録色、公差など）の指定を受け付ける。なお、検査領域は検査ツールに設定される。登録色はＭＳＩ処理部５１１に設定される。公差は判定部５４０に設定される。また、後述する移動補正に関するパラメータについてもＵＩ管理部５１４は受け付ける。

【0058】

●マルチスペクトルイメージング用の点灯色選択ＵＩ
図１１はマルチスペクトルイメージング用の波長（点灯色）を選択するためのユーザインタフェースを示している。点灯色選択ＵＩ１１００はＵＩ管理部５１４によって表示部７に表示される。画像選択ボタン１１０２は、画像表示領域１１０１に表示される画像を選択するためのＵＩであり、画像選択部５１５に選択結果を渡す。図１１においてＣは複数の分光画像から合成して作成されたカラー画像を示している。ＡＬは８種類あるすべての分光画像を示している。ＡＬがポインタ１１０６によって操作されると、画像選択部５１５はすべての分光画像を並べて画像表示領域１１０１に表示する。ＵＶは紫外線波長の照明光により取得された分光画像を示している。Ｂは青波長の照明光により取得された分光画像を示している。Ｇは緑波長の照明光により取得された分光画像を示している。ＡＭはアンバー波長の照明光により取得された分光画像を示している。ＯＲはオレンジ波長の照明光により取得された分光画像を示している。Ｒは赤波長の照明光により取得された分光画像を示している。ＩＲ１、ＩＲ２はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、ＩＲ１の波長はＩＲ２の波長よりも短い。図１１においては画像表示領域１１０１にワーク２の画像が表示されている。この例では、ワーク２の特徴１１０４（例：海老などの具材）も示されている。この特徴１１０４の色を登録色として登録したり、検査したりする場合に、ユーザは、プルダウン形式の領域形状選択メニュー１１１１を操作して指定領域の形状を選択する。形状としては、たとえば、矩形、円、楕円、任意形状などがある。領域指定部５１６は、領域形状選択メニュー１１１１から選択された形状に応じた枠線を画像表示領域１１０１に配置する。

【0059】

また、領域指定部５１６は、ポインタ１１０６により枠線１１０５がドラッグされると、枠線１１０５の位置を変更したり、枠線１１０５のサイズを変更したりする。チェックボックス１１１３はマルチスペクトルイメージングに使用される点灯色を選択するためのチェックボックスである。点灯色設定部５１７はチェックボックス１１１３にチェックが付与されている点灯色をユーザにより選択された点灯色と認識する。確定ボタン１１１６が操作されると、点灯色設定部５１７は、点灯色設定部５１７はチェックが付与されている点灯色を設定情報５２３に書き込む。キャンセルボタン１１１７が操作されると、点灯色設定部５１７は、チェックボックスの状態（点灯色の選択状態）を取り消し、設定情報５２３に保持されている直前の設定に戻す。スライドバー１１１８は露光時間をマニュアルで調整するためのＵＩである。スライドバー１１１８を左右に移動させることで露光時間を増減できる。スライドバー１１１９はカメラゲインをマニュアルで調整するためのＵＩである。スライドバー１１１９を左右に移動させることでカメラゲインを増減できる。

【0060】

ここでは、点灯色を選択するためのＵＩと指定領域を選択するためのＵＩとが共通化されているが、これらは別々のＵＩであってもよい。

【0061】

●フォトメトリックステレオ用の点灯色選択ＵＩ
図１２はマルチスペクトルイメージング用の点灯色を選択するためのユーザインタフェースを示している。図１２と図１１において共通する要素には、説明の重複を避けるために、同一の参照符号が付与されている。点灯色選択ＵＩ１２００はＵＩ管理部５１４によって表示部７に表示される。点灯色選択ＵＩ１２００が点灯色選択ＵＩ１１００と異なる点の一つは画像種類選択部１２０１が設けられている点である。画像種類選択部１２０１は、形状画像や反射率画像など、フォトメトリックステレオに関連した画像を選択可能なプルダウンメニューである。画像種類選択部１２０１により選択された種類の画像が画像表示領域１１０１に表示される。画像更新ボタン１２０２は、ユーザにより更新された点灯色、照明強度、露光時間、カメラゲインなどのパラメータに従ってカメラ４によりワーク２を再び撮像し、画像表示領域１１０１に表示されている画像を新しい画像に更新するボタンである。この例では、複数の画像が表示されているが、チェックボックス１１１３により選択された点灯色の照明光により照明されて取得された画像だけが画像表示領域１１０１に表示されてもよい。なお、照明光の異なる複数の画像を表示することで、どの点灯色の照明光がワーク２の表面の凹凸を正確に表現できるかをユーザが判断しやすくなろう。なお、照明装置３の各照明ブロックに白色ＬＥＤが設けられている場合、点灯色選択ＵＩ１２００は白色ＬＥＤを選択するためのチェックボックスを有することになる。

【0062】

＜検査モード（運転モード）＞
図１３は検査モードを示すフローチャートである。ここでは同一のワーク２に対してマルチスペクトルイメージングによる画像検査とフォトメトリックステレオによる画像検査とが実行されることが想定されている。なお、図１３を説明する前に、ワーク２の例と画像検査の例を説明する。

【0063】

図１４はマルチスペクトルイメージングによる色検査画像１４０５の作成概念を示している。この例のワーク２はカードである。また、あるシートに印刷されたカードに形成された「しみ」の面積が閾値を超えているかどうかが検査される。ここでは四つの点灯色が選択されているものとする。分光画像１４０１は第一の点灯色Ｗ１の照明光により取得された分光画像である。ＲＣ１はシートの色（第一の登録色）を示している。ＲＣ２はカードの下地の色（第二の登録色）を示している。ＲＣ３は文字の色（第三の登録色）を示している。これらの三つの色が登録色の集合を形成し、設定情報５２３により保持されている。分光画像１４０２は第二の点灯色Ｗ２の照明光により取得された分光画像である。分光画像１４０３は第三の点灯色Ｗ３の照明光により取得された分光画像である。分光画像１４０４は第四の点灯色Ｗ１の照明光により取得された分光画像である。しみ１４１０は、分光画像１４０１、１４０４では顕在化していないが、分光画像１４０２、１４０３では顕在化している。分光画像１４０１ないし分光画像１４０４は、三つの登録色を用いてカラーグレー変換され、色検査画像１４０５が生成される。色検査画像１４０５では、三つの登録色から最も距離（マハラノビス距離）のある、しみ１４１０の色が抽出されている。色検査画像１４０５におけるしみ１４１０の面積（ブロブ）が計算され、当該面積が閾値を超えているかどうかが判定される。

【0064】

図１５はフォトメトリックステレオによる形状検査画像１５０７の作成概念を示している。ここでは四方向から個別に照明光を照射されて四つの輝度画像１５０１〜１５０４が生成されている。輝度画像１５０１は第一方向からワーク２に照明光を照射して取得された画像である。輝度画像１５０２は第二方向からワーク２に照明光を照射して取得された画像である。輝度画像１５０３は第三方向からワーク２に照明光を照射して取得された画像である。輝度画像１５０４は第四方向からワーク２に照明光を照射して取得された画像である。第一方向、第二方向、第三方向、第四方向はそれぞれ、北、東、南、西に対応していてもよい。つまり、輝度画像１５０１と輝度画像１５０３がＹ方向ペアとなり、輝度画像１５０２と輝度画像１５０４がＸ方向ペアとなる。なお、ワーク２には凹み１５１０が形成されている。凹み１５１０は照明光の方向に応じて顕在化したり、しなかったりする。輝度画像１５０１と輝度画像１５０３からＹ方向の傾き画像１５０５が作成される。傾き画像１５０５では横方向に伸びるエッジが抽出されている。同様に、輝度画像１５０２と輝度画像１５０４からＸ方向の傾き画像１５０６が作成される。傾き画像１５０６では縦方向に伸びるエッジが検出されている。最終的に、傾き画像１５０５と傾き画像１５０６とから輪郭抽出画像である形状検査画像１５０７が作成される。形状検査画像１５０７を用いて凹み１５１０などの傷の有無が検査される。形状検査画像１５０７は形状画像データ５２５として記憶装置５２０に記憶される。

【0065】

以上の事例を用いて図１３を説明する。Ｓ１３０１でプロセッサ５１０（ＭＳＩ処理部５１１）は設定情報５２３に従ってマルチスペクトルイメージング用の分光画像１４０１〜１４０４を取得する。ＭＳＩ処理部５１１は、設定情報５２３に従ってカメラゲインや露光時間を撮像制御部５１３に設定する。撮像制御部５１３は設定されたカメラゲインや露光時間に従ってカメラ４を制御し、分光画像を取得する。また、ＭＳＩ処理部５１１は、設定情報５２３に従って点灯すべき点灯色（発光素子）とその照明強度を照明制御部５１２に設定する。照明制御部５１２は、光源群５０１に含まれる発光素子のうち、設定された照明強度で、設定された点灯色の発光素子を点灯する。これにより、ＵＶからＩＲ２のうちユーザにより予め選択された点灯色の照明光が順番にワーク２に対して照射され、点灯色ごとの分光画像が生成される。取得された分光画像は分光画像データ５２１として記憶装置５２０に記憶される。

【0066】

Ｓ１３０２でプロセッサ５１０（ＭＳＩ処理部５１１）は取得された複数の分光画像１４０１〜１４０４を、登録色ＲＣ１〜ＲＣ３を用いてカラーグレー変換することで色検査画像１４０５（グレー画像）を作成し、グレー画像データ５２２として記憶装置５２０に格納する。

【0067】

Ｓ１３０３でプロセッサ５１０（ＭＳＩ処理部５１１）は検査部５３１に画像検査を実行するよう指示する。検査部５３１は、色検査画像１４０５におけるしみ１４１０の面積を計測し、判定部５４０に渡す。判定部５４０は、しみ１４１０の面積が閾値を超えていれば、不合格と判定し、しみ１４１０の面積が閾値以下であれば合格と判定する。

【0068】

Ｓ１３０４でプロセッサ５１０（ＰＳ処理部５６０）は設定情報５２３に従ってフォトメトリックステレオ用の輝度画像１５０１〜１５０４を取得する。ＰＳ処理部５６０は、設定情報５２３に従ってカメラゲインや露光時間を撮像制御部５１３に設定する。撮像制御部５１３は設定されたカメラゲインや露光時間に従ってカメラ４を制御し、輝度画像を取得する。また、ＰＳ処理部５６０は、設定情報５２３に従って点灯すべき点灯色（発光素子）とその照明強度を照明制御部５１２に設定する。照明制御部５１２は、光源群５０１に含まれる発光素子のうち、設定された照明強度で、設定された点灯色の発光素子を点灯する。なお、フォトメトリックステレオでは、点灯色の異なる複数の発光素子が同時に点灯してもよい。また、白色の照明光を出力する白色発光素子が点灯してもよい。ただし、各輝度画像について照明光の照射方向はそれぞれ異なっている。つまり、照明制御部５１２は、第一方向から照明光を照射するように選択された点灯色の発光素子を点灯する。これにより撮像制御部５１３は輝度画像１５０１を取得する。次に、照明制御部５１２は、第二方向から照明光を照射するように選択された点灯色の発光素子を点灯する。これにより撮像制御部５１３は輝度画像１５０２を取得する。次に、照明制御部５１２は、第三方向から照明光を照射するように選択された点灯色の発光素子を点灯する。これにより撮像制御部５１３は輝度画像１５０３を取得する。最後に、照明制御部５１２は、第四方向から照明光を照射するように選択された点灯色の発光素子を点灯する。これにより撮像制御部５１３は輝度画像１５０４を取得する。取得された複数の輝度画像は輝度画像データ５２４として記憶装置５２０に記憶される。

【0069】

Ｓ１３０５でプロセッサ５１０（ＰＳ処理部５６０）は取得された複数の輝度画像１５０１〜１５０４から形状検査画像１５０７を作成し、形状画像データ５２５として記憶装置５２０に格納する。図１５に示したように、ＰＳ処理部５６０は輝度画像１５０１〜１５０４からＹ方向の傾き画像１５０５とＸ方向の傾き画像１５０６とを作成し、これらから形状検査画像１５０７を作成する。

【0070】

Ｓ１３０６でプロセッサ５１０（ＰＳ処理部５６０）は検査部５３１に画像検査を実行するよう指示する。検査部５３１は、形状検査画像１５０７における凹みの面積を計測し、判定部５４０に渡す。判定部５４０は、凹みの面積が閾値を超えていれば、傷ありと判定し、凹みの面積が閾値以下であれば傷なしと判定する。

【0071】

Ｓ１３０７でプロセッサ５１０（ＵＩ管理部５１４）はマルチスペクトルイメージングによる画像検査の結果と、フォトメトリックステレオによる画像検査の結果とを表示部７に表示する。

【0072】

この例では、最初にマルチスペクトルイメージングに関する処理であるＳ１３０１ないしＳ１３０３が実行され、その後に、フォトメトリックステレオに関する処理であるＳ１３０５ないしＳ１３０６が実行されている。しかし、これらの順番は逆でもよい。さらに、Ｓ１３０１とＳ１３０４が最初に実行され、その後にＳ１３０２とＳ１３０５が実行され、最後に、１３０３とＳ１３０６とが実行されてもよい。たとえば、撮像制御部５１３は画像検査装置８に接続されたＰＬＣ（プログラマブルコントローラ）やコンソールから入力されたトリガー信号に基づき形状検査画像１５０７と色検査画像１４０５とを連続的に生成してもよい。なお、形状検査画像１５０７と色検査画像１４０５とでそれぞれ個別にトリガー信号が入力されてもよい。また、分光画像ごとや方向画像ごとにトリガー信号が入力されてもよい。

【0073】

＜移動体補正＞
マルチスペクトルイメージングでは多数の点灯色の照明光が一つずつワーク２に照射されて、多数の分光画像が生成される。たとえば、図１６が示すようにＵＶからＩＲ２までの８種類の点灯色の照明光が順次にワーク２に照射されて８枚の分光画像が得られ、そこからさらに一枚のグレー画像が作成される。ワーク２がライン１を搬送される場合、一枚目のＵＶ画像におけるワーク２の位置と８枚目のＩＲ２画像におけるワーク２の位置はずれている。点灯色の数が増加するほど、また、ライン１の搬送速度が増加するほど、ワーク２の位置のずれ量は大きくなる。このずれを無視してグレー画像Ｇ１を作成すると、正しいグレー画像が得られないため、画像検査の精度が低下してしまう。従って、ワーク２について移動補正を行ってからグレー画像が作成されれば、正しいグレー画像が作成される。フォトメトリックステレオでは異なる方向からワークを照明して多数の輝度画像が生成される。よって、フォトメトリックステレオについても移動補正が必要となる。

【0074】

図１７は移動補正の概念を示している。この例では、マルチスペクトルイメージング用の８種類の分光画像を取得する前と取得した後に移動補正のための画像ＭＣ１、ＭＣ２が取得される。ライン１におけるワーク２の搬送速度は一定であるため、各画像内でのワーク２の位置は線形の軌跡を描く。従って、各分光画像におけるワーク２を構成する画素の座標の対応関係（ｘ方向のずれ量とｙ方向のずれ量）を求めておけば、各分光画像におけるワーク２の位置を重ねて、グレー画像Ｇ２を作成することができる。より具体的には、補正画像ＭＣ１、ＭＣ２においてワーク２の特徴ｆがサーチ部５３２によるパターンサーチにより検知され、それぞれ特徴ｆの位置ｐ１、ｐ２が求められる。特徴ｆはパターンサーチにより検知可能な形状やエッジ（二つの特徴的なエッジ間の間隔）などであればよい。位置ｐ１、ｐ２の変化を示す直線の方程式を求めれば、各分光画像におけるワーク２の位置を補正することができる。つまり、各分光画像における座標系の対応関係を示す座標の変換式が決定される。

【0075】

なお、ワーク２が線形に移動する場合は二つの移動補正用画像により移動補正が可能である。ワーク２が非線形に移動する場合は三つ以上の移動補正用画像が必要となる。ここでは、説明の簡明化のために、二つの移動補正用画像が使用されるケースが主に説明される。

【0076】

図１８は移動補正を含む画像検査を示すフローチャートである。Ｓ１８０１でプロセッサ５１０は第一の移動補正用画像ＭＣ１を取得する。プロセッサ５１０は、設定情報５２３に従って第一の移動補正用画像ＭＣ１の照明光の点灯色を決定し、照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である第一の移動補正用画像ＭＣ１を取得し、記憶装置５２０に書き込む。

【0077】

Ｓ１８０２でプロセッサ５１０（ＭＳＩ処理部５１１）はマルチスペクトルイメージング用の分光画像を取得する。Ｓ１８０２はＳ１３０１と同じ処理である。Ｓ１８０３でプロセッサ５１０（ＰＳ処理部５６０）はフォトメトリックステレオ用の分光画像を取得する。Ｓ１８０３はＳ１３０５と同じ処理である。

【0078】

Ｓ１８０４でプロセッサ５１０は第二の移動補正用画像を取得する。プロセッサ５１０は、設定情報５２３に従って第二の移動補正用画像ＭＣ２の照明光の点灯色を決定し、照明制御部５１２に設定する。照明制御部５１２は指定された点灯色の発光素子を点灯するよう照明制御基板４０に指示する。照明制御基板４０は指定された点灯色の発光素子を点灯する。プロセッサ５１０は、設定情報５２３に従った撮像条件（露出条件など）を撮像制御部５１３に設定し、ワーク２の画像を取得させる。撮像制御部５１３は指定された撮像条件に従ってカメラ４を制御してワーク２の画像である第二の移動補正用画像ＭＣ２を取得し、記憶装置５２０に書き込む。

【0079】

Ｓ１８０５でプロセッサ５１０は画像処理部５３０（移動補正部５３３）に移動補正のためのパラメータを算出させ、当該パラメータを用いて各分光画像に移動補正を適用する。移動補正部５３３は、サーチ部５３２に第一の移動補正用画像ＭＣ１における特徴をサーチさせるとともに、第二の移動補正用画像ＭＣ２における特徴をサーチさせる。移動補正部５３３は、第一の移動補正用画像ＭＣ１における特徴の位置と第二の移動補正用画像ＭＣ２における特徴の位置との変化量を算出する。移動補正部５３３は、この変化量に基づき複数の分光画像における各画素の座標の対応関係を補正する。たとえば、ＵＶ画像におけるワーク２の座標と、ＩＲ１画像におけるワーク２の座標との対応関係とが求められる。求められた対応関係（座標変換式）を用いて各分光画像における座標を補正することで、図１７に示したように各分光画像におけるワーク２の位置が重なり、正確なグレー画像が作成される。

【0080】

Ｓ１８０６でプロセッサ５１０（ＰＳ処理部５６０）はフォトメトリックステレオ用の輝度画像に移動補正を適用する。Ｓ１８０５で移動補正のための対応関係は取得されているため、この対応関係を用いてフォトメトリックステレオ用の四つの輝度画像の座標を補正する。Ｓ１８０７はＳ１３０２とＳ１３０５に相当する処理であり、移動補正された分光画像に基づき色検査画像が生成され、移動補正された輝度画像に基づき形状検査画像やアルベド画像が生成される。Ｓ１８０８はＳ１３０３とＳ１３０６に相当する。Ｓ１８０９はＳ１３０７に相当する。

【0081】

●点灯パターン
図２１によれば、移動補正を行いながら分光画像と輝度画像を取得するための発光素子の点灯パターンの一例が示されている。ここではマルチスペクトルイメージングには四つの点灯色Ｒ、Ｇ、Ｂ、Ｙが使用されるものとする。ＹはＲＧＢ以外のいずれかの点灯色である。ＭＣ１、ＭＣ２、ＭＣ２、ＭＣ３は移動補正用の共通の点灯色である。Ｄ１、Ｄ２、Ｄ３、Ｄ４はフォトメトリックステレオ用の点灯色の照明光の照明方向を示している。Ｒ、Ｇ、Ｂ、Ｙ、Ｄ１、Ｄ２、Ｄ３、Ｄ４、ＭＣ１、ＭＣ２、ＭＣ３、ＭＣ４は画像を示すものと理解されてもよい。

【0082】

ケース（１）、（２）は線形補正のため点灯パターンである。ケース（１）、（２）はマルチスペクトルイメージング用の画像とフォトメトリックステレオ用の画像とを取得する前後において移動補正用の点灯色の発光素子が点灯し、二つの移動補正用画像が取得されることを示している。ケース（１）ではマルチスペクトルイメージング用の画像がフォトメトリックステレオ用の画像よりも先に取得されている。ケース（２）ではフォトメトリックステレオ用の画像がマルチスペクトルイメージング用の画像よりも先に取得されている。ケース（１）、（２）では共通の二つの移動補正用画像が使用されて、マルチスペクトルイメージング用の画像とフォトメトリックステレオ用の画像の移動補正が実行される。なお、移動補正を実行するために各画像の取得間隔が等間隔（一定の時間間隔）である必要がある。

【0083】

ケース（３）は、マルチスペクトルイメージング用の分光画像を移動補正用画像として兼用するケースである。これによりトータルでの画像枚数が削減され、撮像時間が短縮される。つまり、短時間でより多くの画像検査を実行可能となる。

【0084】

ケース（４）、（５）は３枚の移動補正用画像が取得されるケースを示している。ケース（４）では、移動補正用画像ＭＣ１と移動補正用画像ＭＣ２とを用いてフォトメトリックステレオ用の画像の移動補正（線形補正）が実行される。また、移動補正用画像ＭＣ２と移動補正用画像ＭＣ３とを用いてマルチスペクトルイメージング用の画像の移動補正（線形補正）が実行される。ケース（５）では、移動補正用画像ＭＣ１と移動補正用画像ＭＣ２とを用いてマルチスペクトルイメージング用の画像の移動補正が実行される。また、移動補正用画像ＭＣ２と移動補正用画像ＭＣ３とを用いてフォトメトリックステレオ用の画像の移動補正が実行される。なお、線形補正に代えて、２次関数補正の様な非線形補正が採用されてもよい。

【0085】

ケース（６）、（７）は４枚の移動補正用画像が取得されるケースを示している。ケース（６）では、移動補正用画像ＭＣ１と移動補正用画像ＭＣ２とを用いてフォトメトリックステレオ用の画像の移動補正（線形補正）が実行される。また、移動補正用画像ＭＣ３と移動補正用画像ＭＣ４とを用いてマルチスペクトルイメージング用の画像の移動補正（線形補正）が実行される。ケース（７）では、移動補正用画像ＭＣ１と移動補正用画像ＭＣ２とを用いてマルチスペクトルイメージング用の画像の移動補正が実行される。また、移動補正用画像ＭＣ３と移動補正用画像ＭＣ４とを用いてフォトメトリックステレオ用の画像の移動補正が実行される。

【0086】

＜検査ツールの設定ＵＩ＞
図１９は検査ツールのパラメータを設定するための設定ＵＩ１９００を示している。ここでは説明の便宜上、複数の検査ツールが単一の設定ＵＩ１９００を通じて設定されるものとするが、それぞれ個別の設定ＵＩを通じて設定されてもよい。ユーザにより設定モードが選択されると、ＵＩ管理部５１４は表示部７に設定ＵＩ１９００を表示する。設定タブ１９２０は傷検査ツールに関するパラメータを設定するためのＵＩである。設定タブ１９３０はエリア検査ツールに関するパラメータを設定するためのＵＩである。図１９においては設定タブ１９２０がポインタ１９０６により選択されている。画像種類設定部１９１１は、検査ツールが適用される検査画像を選択するためのプルダウメニューである。プルダウメニューには、形状検査画像、アルベド画像、色検査画像などが登録されている。図１９においてはワーク２の傷（凹みなど）を検査するためにフォトメトリックステレオにより生成された形状検査画像が選択されている。ＵＩ管理部５１４の画像選択部５１５は、画像種類設定部１９１１により選択された画像を記憶装置５２０から読み出し、画像表示領域１９０１に表示する。編集ボタン１９１２はサーチ部５３２によるパターンサーチの対象となる特徴ｆを含む領域であるパターン領域ＰＷのサイズと位置を編集するためのボタンである。パターン領域ＰＷにより囲まれた特徴ｆは登録パターンとして記憶装置５２０に記憶される。編集ボタン１９１３は特徴ｆをサーチする範囲（サーチ領域ＳＷ）のサイズと位置を編集するためのボタンである。領域指定部５１６はユーザ操作に応じてパターン領域ＰＷやサーチ領域ＳＷのサイズと位置を調整し、調整結果を設定情報５２３に保存する。カメラ４により取得された画像においてワーク２の位置と角度は一定ではない。ただし、当該画像内のある一定の領域内に特徴ｆが収まっていることが多い。そのため、サーチ部５３２は、サーチ領域ＳＷ内で、登録パターン（特徴ｆ）をサーチすることで、登録パターンの位置と角度を求める。この位置と角度は傷の検査領域ＩＷ１の位置と角度を補正（位置補正）するために利用される。編集ボタン１９１４は傷検査領域ＩＷ１のサイズと位置を編集するためのボタンである。領域指定部５１６はユーザ操作に応じて傷検査領域ＩＷ１のサイズと位置を調整し、調整結果を設定情報５２３に保存する。検査部５３１は、傷検査領域ＩＷ１における傷の面積を算出する。公差入力部１９１５は判定部５４０による傷の有無の判定基準となる公差（閾値）の入力を受け付けるテキストボックスである。確定ボタン１９１７は、検査ツールに関する設定を確定するためのボタンである。キャンセルボタン１９１８は今回の設定を取り消し、直前の設定やデフォルト設定に戻すためのボタンである。

【0087】

図２０は検査ツールのパラメータを設定するための設定ＵＩ１９００を示している。ここでは、説明の便宜上、単一のＵＩによってエリア検査ツールに関する設定とパターンサーチの設定とが受け付けられているが、それぞれ異なるＵＩによって受け付けられてもよい。また、この例では、エリア検査ツールに関するパラメータを設定するための設定タブ１９３０がポインタ１９０６により選択されている。設定タブ１９３０における設定項目のうち設定タブ１９２０と共通する項目については同一の参照符号が付与されている。この例では、エリア検査ツールによってしみの有無を検査するために、画像種類設定部１９１１によって色検査画像が選択されている。編集ボタン２０１４は色検査領域ＩＷ２の位置とサイズを編集するためのボタンである。ＵＩ管理部５１４は編集ボタン２０１４がクリックされると、ポインタ１９０６の操作に応じて色検査領域ＩＷ２の位置とサイズを変更する。領域指定部５１６はユーザ操作に応じて色検査領域ＩＷ２のサイズと位置を調整し、調整結果を設定情報５２３に保存する。公差入力部２０１５はしみの有無の判定基準となる公差（閾値）の入力を受け付けるテキストボックスである。チェックボックス２００３は、他の検査ツールによって特定された検査領域の位置補正結果をエリア計測ツールの色検査領域ＩＷ２の位置補正に利用するかどうかを選択するためのチェックボックスである。チェックボックス２００３がチェックされると、検査部５３１は、傷検査ツールにおいて特定されたワーク２の位置情報（位置や角度）を用いて色検査領域ＩＷ２の位置と角度を補正する。なお、チェックボックス２００３は、設定タブ１９２０に設けられていてもよい。この場合、検査部５３１は、エリア検査ツールにおいて特定されたワーク２の位置情報（位置や角度）を用いて傷検査領域ＩＷ１の位置と角度を補正する。とりわけ、ワーク２がオフラインで検査され、かつ、フォトメトリックステレオ用の輝度画像とマルチスペクトルイメージング用の分光画像とが連続して取得される場合、これらの画像を取得している最中にワーク２の位置と角度が変化することはほとんどない。したがって、複数の検査ツール間で検査領域の位置補正結果を共有することが可能となり、トータルでの検査時間が短縮される。

【0088】

＜まとめ＞
本実施例によれば、照明装置３は、それぞれ異なる方向から対象物（例：ワーク２）に照明光を照射する三つ以上の照明ブロックを有する照明部の一例である。各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子（例：ＬＥＤ３３）が備えられている。カメラ４は照明光により照明された対象物からの反射光を受光して対象物の画像を生成する撮像部の一例である。プロセッサ５１０は照明部を制御することで三つ以上の照明ブロックにそれぞれ含まれている同一の点灯色の発光素子を同時に点灯させ、かつ、点灯色を変えながら順番に対象物に照明光を照射させるとともに、撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の分光画像を生成可能な制御部の一例である。また、プロセッサ５１０は照明部を制御することで三つ以上の照明ブロックのそれぞれに含まれる同一の点灯色の発光素子を順番に点灯させ、対象物に照明光を照射させるとともに、撮像部を制御することでそれぞれ照明光の照射方向が異なる、複数の方向画像を生成可能な制御部の一例である。このように、プロセッサ５１０はマルチスペクトルイメージングにしたがった分光画像の取得だけでなく、フォトメトリックステレオのための方向画像や反射率画像の取得を実行する。なお、プロセッサ５１０は、分光画像の取得と反射率画像の取得とを常に実行する必要は無い。プロセッサ５１０（ＭＳＩ処理部５１１やＰＳ処理部５６０）は複数の分光画像または複数の方向画像に基づく検査画像を生成する画像生成部の一例である。検査部５３１は画像生成部により形成された検査画像を用いて対象物を検査する検査部の一例である。図３などに関連して説明したように、照明装置３において、同一の点灯色の照明光を出力する複数の発光素子が等間隔で配置されている。これにより、分光画像に関しては対象物に対して均一な方向から照明光を照射することが可能となる。また、方向画像に関しては各方向について均一な光量の照明光を対象物に対して照射することが可能となる。このように、本実施例によれば、マルチスペクトルイメージングとフォトメトリックステレオとでカメラ４と照明装置３を共用できるため、カメラと照明装置の設置数を削減できる。また、撮像部と対象物との間の距離の調整や撮像部のピント調整などのユーザ作業も削減される。つまり、ユーザ負担が軽減され、ユーザビリティーが向上する。

【0089】

なお、ＭＳＩ処理部５１１は複数の点灯色画像に基づいて各画素が対象物の色に応じた値を有する色検査画像を生成する画像生成部の一例である。検査部５３１は画像生成部により生成された色検査画像を用いて対象物の色検査を実行する検査部の一例である。

【0090】

ＰＳ処理部５６０は複数の方向画像に基づいて対象物の凹凸に応じた値を有する形状検査画像を生成する画像生成部の一例である。検査部５３１は画像生成部により生成された形状検査画像を用いて対象物の形状検査を実行する検査部の一例である。

【0091】

プロセッサ５１０は、方向画像を生成する際に、点灯すべき照明ブロックに含まれているすべての発光素子を点灯させてもよい。一般にフォトメトリックステレオ用の照明光としては白色光が使用される。本実施例の照明装置は、一つのブロックには点灯色の異なる複数の発光素子が設けられている。よって、ある照明方向を担当している一つのブロックに設けられている複数の発光素子を同時に点灯することで、疑似的な白色光を実現できる。つまり、白色光源を省略することが可能となる。

【0092】

本実施例では照明装置３が四つの照明ブロックを有しているものとして説明したが、三つ以上の照明ブロックが存在すればよい。また、これらの照明ブロックはそれぞれ白色発光素子（白色ＬＥＤなど）を有していてもよい。この場合にプロセッサ５１０は、方向画像を生成する際に、点灯すべき照明ブロックに含まれている白色発光素子を点灯させてもよい。これにより、点灯色の異なる複数の発光素子を同時に点灯する必要がなくなり、照明光に関する消費電力を削減することが可能となりうる。

【0093】

プロセッサ５１０は、方向画像を生成する際に、点灯すべき照明ブロックに含まれている特定の点灯色の照明光を発生する発光素子を点灯させる。フォトメトリックステレオにより形状検査画像やアルベド画像を生成する際に、ワーク２の表面性に依存して適切な点灯色が異なることも考えられる。したがって、特定の点灯色の照明光をワーク２に照射することで、正確な形状検査画像やアルベド画像が得られやすくなる場合がある。

【0094】

図１１や図１２に示したように、ユーザによる特定の点灯色の選択を受け付ける点灯色受付部（チェックボックス１１１３）が設けられてもよい。これによりユーザは照明光の点灯色を指定できるようになる。

【0095】

プロセッサ５１０や画像処理部５３０は、凹みの有無の検査など、形状検査を設定する設定モードにおいて取得された形状検査画像を解析してもよい。さらに、プロセッサ５１０や画像処理部５３０は、この解析結果に基づいて、形状検査を実行する運転モードにおいて点灯される特定の点灯色を選択する点灯色選択部として機能してもよい。たとえば、ＵＶ〜ＩＲ２のうち、最も高いコントラストが得られた点灯色を、プロセッサ５１０や画像処理部５３０が選択してもよい。

【0096】

図１９や図２０を用いて説明したように、表示部７は、形状検査に必要となるパラメータを設定する設定モードにおいて形状検査画像と色検査画像とを切り替えて表示する表示部として機能する。

【0097】

表示部７は、形状検査画像と色検査画像とを同時に表示してもよい。形状検査画像と色検査画像を比較することで、ユーザは、形状検査に必要となるパラメータを適切に設定できるようになろう。

【0098】

図１９や図２０を用いて説明したように、ＵＩ管理部５１４は、ユーザの指示に従って、各検査ツールが適用される画像の種類を選択する。つまり、ＵＩ管理部５１４は、形状検査画像と色検査画像とにそれぞれ異なる検査ツールを設定する設定部として機能する。

【0099】

検査部５３１は、様々な検査ツールを備えている。たとえば、形状検査画像に設定される検査ツールには少なくとも傷（凸凹など）を検査する検査ツールが含まれてもよい。凹みなどの傷は形状検査画像において明確に表れることがある。よって、傷の検査には形状検査画像が適している。また、色検査画像に設定される検査ツールには少なくとも面積（しみなどのブロブやエリア）を検査する検査ツールが含まれてもよい。しみなどは色の変化として現れるため、しみなどの検査には色検査画像が適している。

【0100】

図２０に関連して説明したように、ワーク２の位置情報は複数の検査ツール間で共有されてもよい。つまり、画像処理部５３０（検査部５３１またはサーチ部５３２）は、形状検査画像に設定された検査ツールと色検査画像に設定された検査ツールとのうち一方の検査ツールにおける対象物の位置情報を用いて、形状検査画像に設定された検査ツールと色検査画像に設定された検査ツールとのうち他方の検査ツールの検査領域の位置を補正する補正部として機能してもよい。これにより各検査ツールの検査領域の位置を、より少ない情報で補正することが可能となる。また、特徴パターンの位置を検出しやすい画像が使用されることで、位置の検出精度が向上し、さらには移動補正精度が向上する。もちろん、色検査画像と形状検査画像とでそれぞれ個別にワーク２の位置がサーチされて、サーチ結果に応じて個別に検査領域の位置が補正されてもよい。

【0101】

プロセッサ５１０は、同一のトリガー信号に基づき照明部、撮像部および画像生成部を制御して、形状検査画像と色検査画像とを連続的に生成してもよい。上述したように画像検査装置に接続されたＰＬＣやコンソールから、撮像タイミングを示すトリガー信号が入力されることがある。この場合、一つのトリガー信号を契機として、必要な数の分光画像と輝度画像とが取得されてもよい。これにより、ユーザは形状検査画像と色検査画像とで個別に撮像の実施を指示する必要がなくなり、ユーザの負担が軽減されよう。

【0102】

図３に関して説明したように、照明部と対象物との間に拡散板が設置されてもよい。たとえば、照明装置３の底面が拡散板として機能してもよい。

【0103】

ＰＳ処理部５６０は、複数の方向画像から対象物の表面の反射率を画素値とするアルベド画像を作成する画像生成部として機能してもよい。検査部５３１は、画像生成部により生成されたアルベド画像を用いて対象物の画像検査を実行してもよい。

【0104】

図３に関連して説明したように、各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子が等間隔で配置されている。また、各照明ブロックが備える前記複数の発光素子の数は、当該複数の発光素子の点灯色の種類の数のｎ倍（ｎは１以上の整数）であってもよい。たとえば、点灯色が１６種類あれば、一つの照明ブロックには１６個、３２個、６４個・・・の発光素子が設けられる。この場合に一つの照明ブロックにおけるある種類の点灯色の発光素子の数はｎ個となる。

【符号の説明】

【0105】

２...ワーク、３...照明装置、４...カメラ、５...画像処理装置、５１１...ＭＳＩ処理部、５１２...照明制御部、５１３...撮像制御部、５３１...検査部、５６０...ＰＳ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】