特許 7458733 画像処理方法、画像処理装置、ロボットシステム、ロボットシステムを用いた物品の製造方法、検査方法、制御プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】画像処理方法、画像処理装置、ロボットシステム、ロボットシステムを用いた物品の製造方法、検査方法、制御プログラム及び記録媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240325BHJP

   G01N 21/88 20060101ALI20240325BHJP

   B25J 13/08 20060101ALI20240325BHJP

【ＦＩ】

G06T1/00 300

G01N21/88 J

B25J13/08 A

【請求項の数】 17

(21)【出願番号】P 2019180961

(22)【出願日】2019-09-30

(65)【公開番号】P2021056898

(43)【公開日】2021-04-08

【審査請求日】2022-09-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】古澤 俊範

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１７－２２０４９７（ＪＰ，Ａ）

【文献】特開２００７－１５５６１０（ＪＰ，Ａ）

【文献】特開２０１５－１７５７０６（ＪＰ，Ａ）

【文献】特開２００５－２７４１５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０１Ｎ ２１／８８

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

複数の対象物の各々の情報を取得し、
前記複数の対象物の各々の前記情報に基づいて、前記複数の対象物の輝度に関するモデル画像を作成する、画像処理方法において、
前記情報は、前記複数の対象物の各々を該対象物ごとに撮像して取得した複数の対象物画像であり、
前記複数の対象物画像のうちのいずれかの対象物画像を基準画像とし、前記複数の対象物画像のうちの前記基準画像とは別の対象物画像を対象画像とし、前記基準画像と前記対象画像とを比較し、各画素における輝度比を示した輝度比マップを取得し、
前記モデル画像と前記輝度比マップに基づき、前記モデル画像において所定の輝度の値を有する画素の位置の情報を位置情報として取得し、前記輝度比マップにおいて前記位置情報と対応する位置に位置する各画素の輝度比の平均値を取得し、当該平均値を、前記輝度比マップにおいて前記位置情報に対応する位置の各画素に用いて補正レートマップを取得する、
ことを特徴とする画像処理方法。

【請求項2】

請求項１に記載の画像処理方法において、
撮像装置で撮像された画像に対して、前記モデル画像を用いて輝度補正を行う、
ことを特徴とする画像処理方法。

【請求項3】

請求項１または２に記載の画像処理方法において、
前記モデル画像は、前記複数の対象物画像の各々における複数の画素の輝度の平均値が用いられた画像である、
ことを特徴とする画像処理方法。

【請求項4】

請求項１、２または３に記載の画像処理方法において、
前記位置情報は画素アドレスである、
ことを特徴とする画像処理方法。

【請求項5】

請求項１、２、３または４に記載の画像処理方法において、
前記対象画像の輝度を、前記補正レートマップを用いて補正した輝度補正画像を取得する、
ことを特徴とする画像処理方法。

【請求項6】

請求項５に記載の画像処理方法において、
前記輝度補正画像は、前記対象画像における所定の範囲に位置する画素の輝度を補正した画像である、
ことを特徴とする画像処理方法。

【請求項7】

請求項１から６のいずれか１項に記載の画像処理方法において、
前記所定の輝度の値が取りうる範囲は０から２５５である、
ことを特徴とする画像処理方法。

【請求項8】

請求項１から７のいずれか１項に記載の画像処理方法において、
前記情報は、前記複数の対象物の各々の形状情報を含む、
ことを特徴とする画像処理方法。

【請求項9】

請求項８に記載の画像処理方法において、
前記形状情報は、前記対象物の所定の部位の傾斜角である、
ことを特徴とする画像処理方法。

【請求項10】

請求項１から９のいずれか１項に記載の画像処理方法を行う処理部と、
前記モデル画像を記憶する記憶部と、を備える、
ことを特徴とする装置。

【請求項11】

請求項１０に記載の装置と、ロボット装置とを備えたシステム。

【請求項12】

請求項１１に記載のシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。

【請求項13】

撮像装置と、
請求項１から９のいずれか１項に記載の画像処理方法を行う処理部と、を備える、ことを特徴とするシステム。

【請求項14】

請求項１から９のいずれか１項に記載の画像処理方法を実行可能な制御プログラム。

【請求項15】

請求項１４に記載の制御プログラムを格納した、コンピュータで読み取り可能な記録媒体。

【請求項16】

請求項１から９のいずれか１項に記載の画像処理方法によって画像処理された画像を用いて前記対象物の状態を検査する検査方法。

【請求項17】

複数の対象物を撮像し画像処理を行う画像処理方法であって、
複数の前記対象物を前記対象物ごとに撮像し、複数の対象物画像を取得し、
複数の前記対象物画像の情報に基づいて前記対象物の輝度に関するモデル画像を取得し、
所定の対象物画像と前記モデル画像とを比較し、各画素における輝度比を示した輝度比マップを取得し、
前記モデル画像と前記輝度比マップに基づき、前記モデル画像において所定の輝度の値を有する画素の位置の情報を位置情報として取得し、前記輝度比マップにおいて前記位置情報と対応する位置に位置する各画素の輝度比の平均値を取得し、当該平均値を、前記輝度比マップにおいて前記位置情報に対応する位置の各画素に用いて補正レートマップを取得する、
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法に関する。

【背景技術】

【0002】

従来より、製品の製造ラインの特定の位置で、製品の画像を撮影し、撮像した製品画像と基準画像とを比較し、両者の輝度の差に基づく画像処理を介して検品などの検査処理を行う手法が知られている。しかしながら、製造される製品によっては、その製品の表面に塗装処理や研磨などの表面処理が施される場合がある。その場合、塗装処理や表面処理の実行条件（スプレーの吹き付け方や研磨剤の劣化等）によって、製品の表面状態に変化が生じることがある。製品の表面状態に変化が生じた場合、製品画像の輝度分布において製品ごとに個体差が生じてしまう。そのため、製品画像の輝度分布の個体差により、基準画像との輝度の差にばらつきが生じ、製品の欠陥の有無を精度良く検査することが困難になる。

【0003】

そこで特許文献１に記載の技術では、被検査体を撮像した被検査体輝度画像に所定のエリアを設定し、その被検査体エリアに対応するように基準輝度画像にもエリアを設定する。そして設定したエリアで輝度の比較を行い、補正レートを算出することで、被検査体輝度画像の輝度分布を基準輝度画像の輝度分布に近付ける補正を行い、被検査体輝度画像と基準輝度画像との輝度分布をある程度揃えた上で外観検査を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－６６１５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら特許文献１に記載の技術では、対象となる製品が複雑な３次元形状を有している場合、以下に述べる課題がある。製品が３次元形状を有している場合、製品を照らす照明に対して傾きを有する表面が生じ、照明に対する反射率が異なる表面が複数存在することになる。よって所定のエリアでの輝度の比較から求めた補正レートだけでは、反射率の異なる表面の輝度を正しく補正することができない。

【0006】

本発明は、上記の課題を鑑み、画像処理の対象となる製品が複雑な３次元形状を有する場合でも、正しく画像処理を行うことができる画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために本発明においては、複数の対象物の各々の情報を取得し、前記複数の対象物の各々の情報に基づいて、前記複数の対象物の輝度に関するモデル画像を作成する画像処理方法を採用した。

【発明の効果】

【0008】

本発明によれば、画像処理の対象となる製品が複雑な３次元形状を有する場合でも正しく画像処理を行うことができる。

【図面の簡単な説明】

【0009】

【図1】実施形態における画像処理ステム１００を示す概略図である。

【図2】実施形態における画像処理システム１００のブロック図である。

【図3】実施形態における画像処理方法を示すフローチャートである。

【図4】実施形態における基準画像ＩＳに関する図である。

【図5】実施形態における対象物画像ＩＷに関する図である。

【図6】実施形態におけるモデル画像ＩＭに関する図である。

【図7】モデル画像ＩＭを所定の領域に分割した際の図である。

【図8】実施形態における補正レートマップＩＬに関する図である。

【図9】実施形態における輝度補正画像ＩＷ’に関する図である。

【図10】実施形態における対象物Ｗの概略図である。

【図11】実施形態における画像処理方法を示すフローチャートである。

【図12】実施形態におけるモデル画像ＩＭに関する図である。

【図13】モデル画像ＩＭを所定の領域に分割した際の図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、細部の構成については本発明の趣旨を逸脱しない範囲において適宜変更できる。また、本実施形態で取り上げる数値は参考数値であって本発明を限定するものではない。

【0011】

（第１の実施形態）
図１は、本実施形態における画像処理システム１００を示す概略図である。図１に示すように、画像処理システム１００は、画像処理の対象となる、加工や組立等の処理が施された製品の外観の検査を画像処理により行うものである。画像処理システム１００は、ワーク（対象物）Ｗを保持するワーク保持部１０１と、ワークＷを移動させる移動装置１０２と、照明１０３と、撮像装置としての撮像装置１０４と、レンズ１０５と、制御装置２００と、を備えている。

【0012】

ワークＷは、３次元形状を有した金属加工部品であり、表面をサンドブラストにより研磨する表面処理が施されている。画像処理システム１００は、ワークＷ表面のキズ、汚れ等の外観検査を画像処理により行う。なお、ワークＷは、金属加工部品以外の部品でもよく、金属加工部品以外の部品、例えば、表面に塗装がなされたカメラの外装部品、更にはそれらの部品で組み立てられたカメラでもよく、工場で製造される製品全般を含むものである。

【0013】

ワークＷは、ワーク保持部１０１の上に載置されている。照明１０３は、ワークＷの上方に配置されている。照明１０３はリング型のＬＥＤ照明が用いられている。さらに撮像装置１０４は、照明１０３の上方に配置されている。

【0014】

移動装置１０２は、固定ステージ１０２Ａと、固定ステージ１０２Ａに対して移動する移動ステージ１０２Ｂとを有する。移動ステージ１０２Ｂには、ワークＷ、具体的にはワーク保持部１０１が固定されている。これによりワークＷは、撮像装置１０４、光源１０３に対して移動することで、ワークＷに対して様々な位置で撮像することが可能となる。移動装置１０２は、例えば、直動する直動ステージや回転する回転ステージ等であってもよい。また、それらの直動ステージや回転ステージが組み合わされ構成された多軸移動ステージであってもよく、さらには、多関節ロボットによりワークＷを把持して撮像装置１０４により撮像してもよい。

【0015】

照明１０３は、ワークＷに光を照射（照明）する照明装置である。照明１０３は、例えば、ＬＥＤやハロゲンランプ等、画像処理に必要な光量の光をワークＷに照射するものであればいかなるものでもよく、また、リング照明やスポット照明いかなるものであってもよい。また、照明１０３の発光面側に拡散板やレンズ等を配置してもよい。

【0016】

撮像装置１０４は、ワークＷからの光を受光して、画像データを生成する撮像素子１０４Ａを有するデジタルカメラである。撮像素子１０４Ａは、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等のエリアセンサである。また、撮像装置１０４は、レンズ１０５を有し、レンズ１０５により倍率が調整され、ワークＷの全体が撮像されるように調整されている。

【0017】

照明１０３によりワークＷに照射された光は、ワークＷの表面にて反射され、照明１０３の上方に設置された撮像装置１０４にて撮像される。

【0018】

制御装置２００は、撮像装置１０４で撮像された画像に対して、あらかじめ記憶しているモデルを用いて撮像した画像に輝度補正を行い、ワークＷに存在する欠陥を検出する。

【0019】

図２は、本実施形態における画像処理システム１００を示すブロック図である。制御装置２００は、処理部（演算部）としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１を備えている。また、制御装置２００は、記憶部として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４を備えている。また、制御装置２００は、記録ディスクドライブ２０５及び各種のインターフェース２１１～２１４を備えている。

【0020】

ＣＰＵ２０１には、ＲＯＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、記録ディスクドライブ２０５及び各種のインターフェース２１１～２１４が、バス２１０を介して接続されている。ＲＯＭ２０２には、ＢＩＯＳ等の基本プログラムが格納されている。ＲＡＭ２０３は、ＣＰＵ２０１の演算処理結果等、各種データを一時的に記憶する記憶装置である。ＨＤＤ２０４は、ＣＰＵ２０１の演算処理結果や外部から取得した各種データ、モデル等を記憶する記憶装置であると共に、ＣＰＵ２０１に、後述する各種演算処理を実行させるためのプログラム２４０を記録するものである。ＣＰＵ２０１は、ＨＤＤ２０４に記録（格納）されたプログラム２４０に基づいて画像処理方法の各工程を実行する。記録ディスクドライブ２０５は、記録ディスク２４１に記録された各種データやプログラム等を読み出すことができる。

【0021】

移動装置１０２は、インターフェース２１１に接続され、ＣＰＵ２０１の制御の下、ワークＷを移動させる。照明１０３は、インターフェース２１２に接続され、ＣＰＵ２０１の制御の下で点灯又は消灯する。撮像装置１０４は、インターフェース２１３に接続され、ＣＰＵ２０１からのトリガ信号により撮像し、撮像結果である画像データをＣＰＵ２０１に出力する。ＣＰＵ２０１は、撮像装置１０４から画像データを取得し、取得した画像に輝度補正などの画像処理を施して、ワークＷのキズや汚れ等の欠陥を検出する。また、インターフェース２１４には、書き換え可能な不揮発性メモリや外付けＨＤＤ等の外部記憶装置１１０が接続可能となっている。

【0022】

なお、本実施形態では、コンピュータで読み取り可能な記録媒体がＨＤＤ２０４であり、ＨＤＤ２０４にプログラム２４０が格納される場合について説明するが、これに限定するものではない。プログラム２４０は、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラム２４０を供給するための記録媒体としては、図２に示すＲＯＭ２０２や、記録ディスク２４１、外部記憶装置１１０等を用いてもよい。具体例を挙げて説明すると、記録媒体として、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性メモリ、ＲＯＭ等を用いることができる。

【0023】

次に、本実施形態に係る画像処理方法について説明する。図３（ａ）及び図３（ｂ）は、本実施形態における画像処理方法を示すフローチャートである。本実施形態では、ＣＰＵ２０１がプログラム２４０に従って、図３に示す各工程（各処理）を実行する。

【0024】

まず、図１の画像処理システム１００により作業を行う前の処理について図３（ａ）を用いて説明する。最初にＳ１にて、基準となる基準ワークＳをワーク保持部１０１に設置する。基準ワークＳとはワークＷと同型のワークである。ＣＰＵ２０１は、照明１０３により基準ワークＳに光を照射した状態で撮像装置１０４に基準ワークＳを撮像させ、基準画像ＩＳを取得する。図４にＳ１にて取得した基準画像ＩＳを示す。図４（ａ）は基準ワークＳを撮像した基準画像ＩＳであり、図４（ｂ）は基準画像ＩＳのＸ軸における輝度プロファイルである。

【0025】

続いてＳ２にて、ワークＷを撮像した、画像処理の対象となる処理対象画像としての対象物画像ＩＷを取得する。ワークＷをワーク保持部１０１に載置する。ＣＰＵ２０１は照明１０３によりワークＷに光を照射した状態で、撮像装置１０４にワークＷを撮像させて、対象物画像ＩＷを取得する。図５にＳ２にて取得した対象物画像を示す。図５（ａ）はワークＷを撮像した対象物画像ＩＷであり、図５（ｂ）は対象物画像ＩＷのＸ軸における輝度プロファイルである。

【0026】

図４（ａ）、図５（ａ）において、面２１、２３、２５は照明１０３に対して正対している面であり、面２２、２４は照明１０３に対して傾斜を有している面である。図４（ｂ）、図５（ｂ）より、対象物画像ＩＷは基準画像ＩＳに対して、表面粗さがより低いため、照明１０３に正対している面２１、２３、２５においては、基準画像ＩＳに比べ明るくなっている。また、照明１０３に傾斜を有している面２２、２４では、基準画像ＩＳより暗くなっている。このように撮像の対象となる対象物が３次元的な形状を有する場合、照明１０３に対する傾斜により各面において輝度のムラが発生する。

【0027】

次にＳ３にて、ＣＰＵ２０１は、所定数の対象物画像ＩＷを取得したかどうかを判断する。所定数に達していなければ、Ｓ３：ＮＯより、Ｓ２の直前まで戻り、先ほど撮像したワークＷとは異なるが同型のワークＷｎをワーク保持部１０１に設置し、再度Ｓ２の処理を行う。ＣＰＵ２０１は、照明１０３によりワークＷｎに光を照射した状態で、撮像装置１０４に異なるワークＷｎを撮像させて、異なるワークＷｎの対象物画像ＩＷｎを取得する。以上を繰り返し、照明１０３による複数の異なるワークを撮像装置１０４にて撮像し、予め設定された数の複数の異なる対象物画像を取得する。本実施形態では対象物画像を１０枚程度取得するものとする。

【0028】

対象物画像が所定数に達すればＳ３：ＹＥＳよりＳ４に進む。ＣＰＵ２０１は、複数のワークＷｎをそれぞれ撮像した各対象物画像ＩＷｎそれぞれに対応する各画素での輝度の平均値を算出し、各対象物画像ＩＷｎの輝度の平均をとった形状を考慮した輝度のモデル画像であるモデル画像ＩＭを新たに作成する。本実施形態では１０枚の対象物画像の輝度の平均を取っている。ここで、図６（ａ）に、モデル画像ＩＭを示し、図６（ｂ）にモデル画像ＩＭのＸ軸における輝度プロファイルを示す。図６（ａ）より、モデル画像ＩＭは、複数の異なるワークＷｎに対して、各画素において輝度の平均を算出しているため、各面２１～２５での輝度分布が平滑になっている。また図６（ｂ）より、ワーク毎の個体差による輝度分布も平準化されている。なお、モデル画像ＩＭの算出においては、基準ワークＳを撮像した基準画像ＩＳを用いてもかまわない。

【0029】

そしてＳ５より、Ｓ１で取得した基準画像ＩＳと、Ｓ５で作成したモデル画像ＩＭを記憶部としてのＲＯＭ２０２またはＨＤＤ２０４に格納する。以上より画像処理システム１００によりワークに対して作業を行う前に、モデル画像ＩＭを作成しておく。

【0030】

次に図３（ｂ）を用いて、モデル画像ＩＭを用いた画像処理システム１００の処理について説明する。

【0031】

まずＳ６にて、ＣＰＵ２０１は、基準画像ＩＳと対象物画像ＩＷとの各画素における輝度の比を算出し、各画素の輝度比をマッピングした輝度比マップＩＲを作成する。なお今回は、対象物画像ＩＷとしてＳ２で取得した物を使用するが、別途新たにワークを撮像し、対象物画像を取得しても良い。

【0032】

次にＳ７にて、ＣＰＵ２０１は、モデル画像ＩＭの各画素に対して、所定の輝度値から輝度値までの領域を設定し、領域毎に分割する。ここで、本実施形態では輝度値の最大および最小の範囲を０～２５５まで設定している。そして、輝度値０～５０の画素は領域１、輝度値５１～１００までの画素は領域２、という風に分割する。輝度値の最大および最小の範囲、および各領域に対応する輝度値の範囲は、記憶部であるＨＤＤ２０４等に予め設定（記録）されているものとする。分割の仕方は処理の精度に応じて、輝度値０～１や輝度値０～１０のように適宜変更してかまわない。図７に、モデル画像ＩＭを、所定の輝度値から輝度値毎に分割したモデル画像ＩＭを示す。モデル画像ＩＭの面２１、２３、２５が領域３１に、モデル画像ＩＭの面２２、２４が、それぞれ領域３２、３３として設定される。これにより、照明１０３に対する傾斜の違いによって輝度値が異なる領域ごとに所定の領域を設定することができる。

【0033】

次にＳ８にて、ＣＰＵ２０１は、モデル画像ＩＭの分割された領域３１～３３における画素の位置情報である画素アドレスと同じ画素アドレスを有する画素を輝度比マップＩＲから選択する。

【0034】

そしてＳ９にて、輝度比マップＩＲにおいて、領域３１～３３毎に、各領域を構成する各画素の輝度比の平均値を算出する。そして各領域で算出した平均値を、各領域の補正レートとして設定した、補正レートマップＩＬを取得する。図８（ａ）が補正レートマップＩＬの図である。図８（ｂ）は補正レートマップＩＬの輝度比のプロファイルである。これにより、照明１０３に対する傾斜の違いによって輝度値が異なる領域ごとに所定の補正レートを設定することができる。また、各領域の補正レートを、ワーク毎の個体差による輝度分布が平準化されたモデル画像ＩＭを用いて算出しているため、ワーク毎の個体差による輝度ムラを考慮した補正レートを各領域で設定することができる。

【0035】

そしてＳ１０にて、ＣＰＵ２０１は、Ｓ９で取得した補正レートマップＩＬを対象物画像ＩＷの各画素にかけ合せることで、対象物画像ＩＷの輝度補正を実施し、輝度補正画像ＩＷ’を得る。ここで、図９（ａ）に輝度補正画像ＩＷ’を示し、図９（ｂ）に輝度補正画像ＩＷ’のＸ軸における輝度プロファイルを示す。図９（ｂ）より、ワークＷの表面粗さによる輝度値を維持しつつ、ワーク毎の個体差を加味した輝度値に補正されている。

【0036】

以上、複数の異なるワークＷｎの対象物画像ＩＷｎから各画素での輝度の平均値を算出し、モデル画像ＩＭを作成することで、ワークＷｎの個々の表面状態による影響がモデル画像ＩＭにおいて除去される。このモデル画像ＩＭを用いて補正レートを算出することで、ワークの形状に合わせて補正レートの変更が必要な領域毎に補正レートの設定を自動で行うことができ、複雑な３次元形状に応じた輝度補正を容易に実行することが可能となる。

【0037】

（第２の実施形態）
次に、本発明の第２の実施形態における画像処理システムについて説明する。上述した第１の実施形態では、モデル画像ＩＭを複数の対象物画像から作成した。しかしながら本発明は、ワークＷの形状モデルから、モデル画像ＩＭを作成する場合でも実施することができる。以下で詳述する。なお以下では、第１の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第１の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

【0038】

本実施形態における画像処理システム１００は、第１実施形態で説明した図１の構成と同じであるが、作業の対象となるワークＷが、第１の実施形態とは異なる。図１０は本実施形態で扱うワークＷを示した図である。本実施形態のワークＷは、半球状の形状をした加工部品であり、その表面は塗装が施されているものとする。また画像処理を実行するプログラム２４０の内容が、第１の実施形態と異なる。

【0039】

図１１は、本実施形態におけるモデル画像ＩＭの作成を行うフローチャートである。本実施形態では、制御装置２００のＣＰＵ２０１がプログラム２４０に従って、図１１に示す各工程（各処理）を実行する。

【0040】

まずＳ１１にて、ＣＰＵ２０１は、予めＨＤＤ２０４等に保存されているワークＷの形状情報である３次元形状データから、照明１０３に対するワークＷの所定の部位の表面各点における傾斜角を求める。

【0041】

次にＳ１２にて、ワークＷ表面の各点の座標を撮像装置１０４の撮像素子１０４Ａ面に対応する位置にマップ化し、モデル画像ＩＭを作成する。ワークＷ表面の各点の座標を、撮像素子１０４Ａ面に対応する位置にマップ化する際、レンズ１０５の焦点距離などの光学条件からピンホールカメラモデルを用いる。これにより、ワークＷ表面の各点を撮像素子１０４Ａ面に投影することでマップ化すればよい。

【0042】

図１２（ａ）に、ワークＷの３次元形状データから作成されてモデル画像ＩＭを示し、図１２（ｂ）モデル画像ＩＭのＸ軸における傾斜角を示す。図１２（ａ）において、ワークＷの輪郭に相当する部分が、モデル画像の輪郭４１である。また、撮像素子１０４Ａ面にてマップ化された照明１０３に対するワークＷの表面各点における傾斜角は、傾斜角の最大値などによって規格化した濃淡値に変換しても良い。以上によりワークＷの３次元形状データからモデル画像ＩＭを作成する。

【0043】

そして第１の実施形態の図３（ｂ）のように、モデル画像ＩＭ用いて輝度補正を行う。その際、本実施形態ではモデル画像ＩＭを所定の領域に分割する際、傾斜角を用いて所定の領域に分割する。図１３に、モデル画像ＩＭを所定の領域に分割した際の図を示す。ワークＷは、半球状の３次元形状であるため、照明１０３に対するワークＷの表面の傾斜角をもとに所定の領域に分割すると、複数の同心円状の領域３１～３４が設定される。

【0044】

そして領域３１～３３毎に、輝度比マップにおける各領域を構成する各画素の輝度比の平均値を算出し、平均値を各領域の補正レートとして設定した、補正レートマップを取得する。そして補正レートマップを対象物画像の各画素にかけ合せることで、対象物画像の輝度補正を実施する。

【0045】

以上により、作業の対象となるワークの３次元形状データから、照明１０３に対するワークの表面の各点における傾斜角を求めて、モデル画像ＩＭを作成することで、ワークの表面状態に影響されないモデル画像を作成することができる。このモデル画像を用いることで、複数の異なるワークを撮像する必要がなくなり、基準とする基準画像とワークの対象物画像だけがあれば、容易に３次元形状に応じた輝度補正を実行することが可能となる。この結果、作業の対象となるワークの数が少ない場合でも、ワークの表面状態に影響されずに、対象物画像の輝度補正が可能となる。

【0046】

上述した種々の実施形態の画像処理手順は具体的には制御装置２００により実行されるものとして説明した。しかし、上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体を外部入力装置６に搭載させて実施しても良い。

【0047】

従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体、通信装置は本発明を構成することになる。

【0048】

また、上記実施形態では、コンピュータで読み取り可能な記録媒体がＲＯＭ或いはＲＡＭであり、ＲＯＭ或いはＲＡＭに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。

【0049】

本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、ＨＤＤ、外部記憶装置、記録ディスク等を用いてもよい。

【0050】

（その他の実施形態）
また上述した種々の実施形態では、ワークをステージ等の移動装置により移動させる例を説明したが、これに限定されるものではない。例えばワークを移動させる移動装置としてロボット装置が挙げられ、垂直多軸型や、パラレルリンク型、人工筋肉のようなデバイスを用いたロボットなど異なる形式のロボット装置においても上記と同等の構成を実施することができる。

【0051】

また上記のロボットシステムを用いて物品の製造を行う場合も本発明を実施することができる。

【0052】

また上述した種々の実施形態は、移動装置として、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械を適用可能である。

【0053】

また、上述した種々の実施形態では、基準画像ＩＳとして、撮像装置１０４で撮像した所定の対象物画像ＩＷを用いたが、これに限られない。例えば、モデル画像ＩＭを基準画像ＩＳとして用いても構わない。その場合、画像処理の対象となる対象物画像ＩＷを選択し、選択した対象物画像ＩＷとモデル画像ＩＭとを比較し輝度比マップを取得する。そしてモデル画像ＩＭを、所定の輝度値から輝度値毎に分割する。次に輝度比マップとモデル画像ＩＭとを比較し、モデル画像ＩＭにおける所定の輝度値から輝度値を有する画素の位置情報である画素アドレスと同じ画素アドレスを有する画素を輝度比マップから選択する。そして輝度比マップにおいて、選択した各画素の輝度比の平均値を算出し、算出した平均値を、各領域の補正レートとして設定した、補正レートマップを取得する。以上によりモデル画像ＩＭを基準とした輝度補正を行うことができる。

【0054】

なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明の効果は、本発明の実施形態に記載されたものに限定されない。

【符号の説明】

【0055】

２１、２２、２３、２４、２５ 面
３１、３２、３３ 領域
１００ 画像処理システム
１０１ ワーク保持部
１０２ 移動装置
１０２Ａ 固定ステージ
１０２Ｂ 移動ステージ
１０３ 照明
１０４ 撮像装置
１０４Ａ 撮像素子
１０５ レンズ
２００ 制御装置
ＩＳ 基準画像
ＩＷ 対象物画像
ＩＷ’ 輝度補正画像
ＩＭ モデル画像
ＩＬ 補正レートマップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】