特許 7427526 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240129BHJP

【ＦＩ】

G06T1/00 510

【請求項の数】 14

(21)【出願番号】P 2020085393

(22)【出願日】2020-05-14

(65)【公開番号】P2021179852

(43)【公開日】2021-11-18

【審査請求日】2023-04-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】松原 瑞氣

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２００４－０２３２０９（ＪＰ，Ａ）

【文献】特開２００１－３２０７２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－５／００

(57)【特許請求の範囲】

【請求項1】

第一光源と、時間的、空間的に特徴が変化する第二光源とが混在する環境下において対象物体と複数位置に配置された基準チャートとを撮像して得られる、対象画像および第一基準画像を取得する第一取得手段と、
前記第一光源下で前記複数位置に配置された前記基準チャートを撮像して得られる第二基準画像を取得する第二取得手段と、
前記第一基準画像と前記第二基準画像とに基づいて、前記対象物体の位置における前記第一光源と前記第二光源との明るさの比率を導出する導出手段と、
前記対象画像と前記比率とに基づいて、前記第一光源下で前記対象物体が撮像された場合の前記対象物体の画像を推定する推定手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記推定手段は、前記基準チャートの位置に基づいた補間処理によって、前記対象物体の画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

第一光源と、時間的、空間的に特徴が変化する第二光源とが混在する環境下において対象物体と複数位置に配置された基準チャートとを第一時刻に撮像して得られる、対象画像および第一基準画像を取得する第一取得手段と、
前記第二光源下で前記複数位置に配置された前記基準チャートを第二時刻に撮像して得られる第二基準画像を取得する第二取得手段と、
前記第二基準画像を用いて補間処理を行い、前記第一時刻における前記第二光源下の基準チャートの画像に対応する補間画像を生成する補間手段と、
前記第一基準画像と前記補間画像とに基づいて、前記対象物体の位置における前記第一光源と前記第二光源との明るさの比率を導出する導出手段と、
前記対象画像と前記比率とに基づいて、前記第一光源下で前記対象物体が撮像された場合の前記対象物体の画像を推定する推定手段と、
を有することを特徴とする画像処理装置。

【請求項4】

前記第二取得手段は、異なる時刻の複数の第二基準画像を取得し、
前記補間手段は、前記異なる時刻の複数の第二基準画像を、時刻に基づく画素値の加重平均によって補間することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記第二取得手段は、前記第一時刻の前に撮像した第二基準画像を取得し、
前記補間手段は、前記第二基準画像の画素値を時刻に基づいて増減させて補間を行うことを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記第二取得手段は、前記第一時刻の、当日かつ前の時刻に撮像した画像と、前日以前かつ後の時刻に撮像した画像との二つの第二基準画像を取得し、
前記補間手段は、前記二つの第二基準画像を、時刻に基づく画素値の加重平均によって補間することを特徴とする請求項３に記載の画像処理装置。

【請求項7】

前記基準チャートは、立体的に異なる複数の位置に設置されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第一光源は人工的な光源であり、前記第二光源は太陽であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記第一光源はＬＥＤであることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記第二基準画像は、前記第一光源を含み、前記第二光源を含まない環境下において前記基準チャートを撮像して得られる画像であることを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記推定手段は、前記第一光源を含み、前記第二光源を含まない環境下において前記対象物体が撮像された場合の前記対象物体の画像を推定することを特徴とする請求項１に記載の画像処理装置。

【請求項12】

第一光源と、時間的、空間的に特徴が変化する第二光源とが混在する環境下において対象物体と複数位置に配置された基準チャートとを撮像して得られる、対象画像および第一基準画像を取得し、
前記第一光源下で前記複数位置に配置された前記基準チャートを撮像して得られる第二基準画像を取得し、
前記第一基準画像と前記第二基準画像とに基づいて、前記対象物体の位置における前記第一光源と前記第二光源との明るさの比率を導出し、
前記対象画像と前記比率とに基づいて、前記第一光源下で前記対象物体が撮像された場合の前記対象物体の画像を推定することを特徴とする画像処理方法。

【請求項13】

第一光源と、時間的、空間的に特徴が変化する第二光源とが混在する環境下において対象物体と複数位置に配置された基準チャートとを第一時刻に撮像して得られる、対象画像および第一基準画像を取得し、
前記第二光源下で前記複数位置に配置された前記基準チャートを第二時刻に撮像して得られる第二基準画像を取得し、
前記第二基準画像を用いて補間処理を行い、前記第一時刻における前記第二光源下の基準チャートの画像に対応する補間画像を生成し、
前記第一基準画像と前記補間画像とに基づいて、前記対象物体の位置における前記第一光源と前記第二光源との明るさの比率を導出し、
前記対象画像と前記比率とに基づいて、前記第一光源下で前記対象物体が撮像された場合の前記対象物体の画像を推定することを特徴とする画像処理方法。

【請求項14】

コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像により得られる画像を処理する技術に関する。

【背景技術】

【0002】

工業製品の製造工場において、生産された製品の色が同じ色で塗装されていることを確認するための色検査が行われている。こうした色検査の一つとして、撮像装置で撮像した画像データを用いて、色の違いを確認する方法がある。この際、撮像装置で撮像した画像データは、撮像装置の特性や照明条件によって異なってしまう。異なったままでの比較は困難であるため、同じ色の物体はなるべく同じ画像データとなるように、画像データに対して色変換を行う。
こうした色検査を行う工場としては、屋内に設置されたＬＥＤ照明器具からのＬＥＤ光に加えて、窓や製品の搬入出口等から太陽光が混入するような設計のものも存在している。なお、特許文献１には、それぞれの光源における画像データを取得し、それらの画像データにそれぞれ色変換を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４２１７２４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、太陽光のように、時間もしくは空間条件が変化すると、その照明条件も変化する特性を持つような光源が存在する。こうした光源からの光が混入している場合、一つの工場内においても、場所によって、分光特性や照度といった照明条件が変化してしまう。また、検査時間、季節、天候等の変化によっても照明条件が変化してしまう。特許文献１に記載されている方法は、照明の時間的もしくは空間的な違いによる照明条件の違いを考慮していない。そのため、時間的もしくは空間的な条件が変化する毎に、その変化に対応するための手間がかかってしまう。

【0005】

そこで、本発明は、時間的もしくは空間的に照明条件が変動する環境下における色変換の手間を削減可能にすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、第一光源と、時間的、空間的に特徴が変化する第二光源とが混在する環境下において対象物体と複数位置に配置された基準チャートとを撮像して得られる、対象画像および第一基準画像を取得する第一取得手段と、前記第一光源下で前記複数位置に配置された前記基準チャートを撮像して得られる第二基準画像を取得する第二取得手段と、前記第一基準画像と前記第二基準画像とに基づいて、前記対象物体の位置における前記第一光源と前記第二光源との明るさの比率を導出する導出手段と、前記対象画像と前記比率とに基づいて、前記第一光源下で前記対象物体が撮像された場合の前記対象物体の画像を推定する推定手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、時間的もしくは空間的に照明条件が変動する環境下における色変換の手間を削減可能となる。

【図面の簡単な説明】

【0008】

【図1】色検査システムの概略構成を示す図である。

【図2】画像処理装置のハードウェア構成例を示す図である。

【図3】第一実施形態の画像処理装置の機能構成を示す図である。

【図4】第一実施形態の画像処理装置が実行する処理のフローチャートである。

【図5】補間方法を説明するための図である。

【図6】第二実施形態の画像処理装置の機能構成を示す図である。

【図7】第二実施形態の画像処理装置が実行する処理のフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0010】

［第一実施形態］
＜色検査システムの構成＞
図１は、本実施形態に係る色検査システムの概略構成を示すブロック図である。
図１において、色検査システム１００は、撮像装置１０１、画像処理装置１０２、第一光源１０４、第二光源１０５、および基準チャート１０６で構成されている。
第一光源１０４は、例えばＬＥＤ光源といった時間的、空間的に大きく変動しない光源である。第二光源１０５は、例えば太陽光源といった時間的、空間的に変動する光源である。すなわち、色検査システム１００では、第一光源１０４と、時間的、空間的な特徴が変化する第二光源１０５とが混在して照射される環境下を例に挙げている。
基準チャート１０６は、複数位置に設置されており、それぞれは色検査対象物１０３と幾何学的に大きく異ならないことが望ましい。基準チャート１０６としては、例えば完全拡散反射面に近い性質となる白板を用いる。

【0011】

＜画像処理装置のハードウェア構成＞
図２は、画像処理装置１０２のハードウェア構成を示すブロック図である。
画像処理装置１０２は、ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３、汎用インターフェース（Ｉ／Ｆ）２０４、及びメインバス２０９を備える。汎用Ｉ／Ｆ２０４は、カメラなどの撮像装置２０５（図１の撮像装置１０１）、マウスやキーボードなどの入力装置２０６、メモリーカードなどの外部メモリ２０７、及びモニタ２０８などを、メインバス２０９に接続する。

【0012】

以下、ＣＰＵ２０１がＨＤＤ２０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。
まず、ＣＰＵ２０１は、ＨＤＤ２０３に格納されている画像処理プログラム（画像処理アプリケーションとする）を起動し、ＲＡＭ２０２に展開するとともに、モニタ２０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＣＰＵ２０１は、ＨＤＤ２０３や外部メモリ２０７に格納されている各種データ、撮像装置２０５で撮像された画像データ、入力装置２０６からの指示などをＲＡＭ２０２に転送する。さらに、ＣＰＵ２０１は、画像処理アプリケーションに従って、ＲＡＭ２０２に格納されている画像データに各種演算処理を実行する。そして、ＣＰＵ２０１は、その演算結果をモニタ２０８に表示したり、ＨＤＤ２０３、外部メモリ２０７に格納したりする。

【0013】

上記の構成において、ＣＰＵ２０１が画像処理アプリケーションを実行することで、画像データに色変換を施す画像処理の詳細について説明する。
＜第一実施形態の画像処理装置の機能構成＞
図３は、ＣＰＵ２０１が本実施形態に係る画像処理アプリケーションを実行することによって形成される機能構成を示す機能ブロック図である。すなわちＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＨＤＤ２０３に格納された画像処理アプリケーションを読み出して実行することによって、図３に示す各処理部の機能を実現する。なお、以下に説明する各処理の全てがＣＰＵ２０１によって実行される必要はなく、各処理の一部または全てがＣＰＵ２０１以外の一つまたは複数の処理回路によって行われるように画像処理装置が構成されていてもよい。

【0014】

図３に示すように、画像処理アプリケーションの実行によって、ＣＰＵ２０１は、撮像制御部３０１、画像取得部３０２、比率導出部３０３、及び推定部３０４の各処理部に対応した処理を行う。

【0015】

撮像制御部３０１は、撮像装置２０５（図１の撮像装置１０１）を制御して、色検査対象物１０３と複数位置の基準チャート１０６とを撮像させる。すなわち撮像制御部３０１は、第一光源１０４と第二光源１０５とが混在して照射される環境下において、複数位置に配置された基準チャート１０６を含む被写体を撮像して、撮像画像および複数位置の基準チャート画像を取得する。

【0016】

画像取得部３０２は、第一光源１０４のみの照明環境下において、予め基準チャートを撮像した画像である第一光源基準画像を取得する。すなわち画像取得部３０２は、基準画像取得処理として、第一光源下で複数位置に配置された基準チャート１０６を撮像した第一光源基準画像を取得する処理を行う。基準画像取得処理と第一光源基準画像の詳細は後述する。

【0017】

比率導出部３０３は、基準チャート画像と第一光源基準画像とから、被写体位置における第一光源と第二光源の比率を導出する。比率導出部３０３における比率導出処理の詳細は後述する。

【0018】

推定部３０４は、比率導出部３０３にて導出された比率に基づいて、第一光源下で撮像された被写体の画像である第一光源画像を推定する。推定部３０４における第一光源下画像推定処理の詳細は後述する。

【0019】

＜第一実施形態の画像処理装置が実行する処理＞
図４は、画像処理装置１０２のＣＰＵ２０１が図３に示した機能ブロックにおいて実行する処理を示したフローチャートである。以下、図４を参照して画像処理装置１０２の処理の詳細を説明する。図４のフローチャートが示す処理は、例えば、入力装置２０６を介してユーザから開始の指示が入力され、その指示をＣＰＵ２０１が受け付けることにより開始する。

【0020】

まず、ステップＳ４０１において、撮像制御部３０１は、撮像装置２０５を制御して、色検査対象物１０３と複数位置の基準チャート１０６を撮像させてデータ化することにより、撮像画像を得る。このとき、色検査対象物１０３は、第一光源１０４と第二光源１０５からの光が照射されている。撮像画像は複数の画素から構成され、各画素はＲ（赤），Ｇ（緑）、Ｂ（青）の３つの成分を保持している。また例えば、入力装置２０６を介し、ユーザによって撮像画像中で基準チャート１０６が写っている領域が指定されると、撮像制御部３０１は、撮像画像中から基準チャート画像を取得する。なお、撮像制御部３０１が、撮像画像中から基準チャート１０６が写っている領域を抽出する処理を行うことによって、基準チャート画像を取得してもよい。そして、撮像制御部３０１は、撮像画像と基準チャート画像をＲＡＭ２０２やＨＤＤ２０３等の記憶部に保存する。

【0021】

次に、ステップＳ４０２において、画像取得部３０２は、第一光源１０４のみの照明環境下において、予め基準チャート１０６を撮像した画像である第一光源基準画像を取得する。なお、第一光源基準画像を取得する際の基準チャート１０６は、色検査対象物１０３と同じ位置に置かれていることが望ましい。すなわち第一光源基準画像は、実際の色検査時に色検査対象物１０３が置かれることになる同位置に、基準チャート１０６を置いた状態で、その基準チャート１０６を撮像した画像であることが望ましい。また、第一光源１０４からの光のみの照明環境は、例えば第二光源１０５が太陽であれば、夜間に撮像を行うことで実現できる。その他にも、カーテン等で第二光源１０５を遮光することによって、第一光源１０４のみの照明環境が実現されてもよい。

【0022】

また、実際の色検査時に色検査対象物１０３が置かれるのと同位置に基準チャート１０６を置くことが難しい場合、第一光源基準画像は、空間的に異なる複数の位置に設置した基準チャート１０６を撮像した画像から生成されてもよい。例えば、複数位置に置かれた基準チャート１０６を撮像した画像を用いて補間処理量を行うことで、実際の色検査時に色検査対象物１０３が置かれる同位置に基準チャートを置いた場合に相当する画像を生成し、それを第一光源基準画像とする。補間処理の方法としては、例えばバイリニア補間といった補間方法を用いることができる。

【0023】

補間処理について、図５を参照して説明する。図５では、立体的な空間をｘｙｚ座標によって表現している。また図５では、色検査対象物１０３が置かれる位置を座標ｐとする。座標ｐの位置は、色検査対象物１０３の中心位置でもよいし、色検査対象物１０３の中で正確に色を変換したい位置を選択して設定した位置でもよい。そして、座標ｐを囲むような複数の座標ｑ１～ｑ８の位置にそれぞれ基準チャートを設置する。また図５において、座標ｑ１、ｑ３、ｑ５、ｑ７のｘ座標をｘ１とし、座標ｑ２、ｑ４、ｑ６、ｑ８のｘ座標をｘ２とする。また、座標ｑ１、ｑ２、ｑ５、ｑ６のｙ座標をｙ２とし、座標ｑ３、ｑ４、ｑ７、ｑ８のｙ座標をｙ１とする。また、座標ｑ１～ｑ４のｚ座標をｚ２とし、座標ｑ５～ｑ８のｚ座標をｚ１とする。さらに、座標ｑ１，ｑ２，・・・，ｑ８における撮像画像の画素のＲＧＢ値をそれぞれＲＧＢｑ１、ＲＧＢｑ２，・・・，ＲＧＢｑ８とする。そして、基準チャート画像のＲＧＢ値は、基準チャート画像における領域を指定し、その領域における画素値の平均をとることで算出する。座標ｐを（ｘ０，ｙ０，ｚ０）とすると、座標ｐにおける補間演算後のＲＧＢ値であるＲＧＢｐは、式（１）によって算出される。

【0024】

a1＝(x0-x1)(y2-y0)(z2-z0)RGBq1
a2＝(x2-x0)(y2-y0)(z2-z0)RGBq2
a3＝(x0-x1)(y0-y1)(z2-z0)RGBq3
a4＝(x2-x0)(y0-y1)(z2-z0)RGBq4
a5＝(x0-x1)(y2-y0)(z0-z1)RGBq5
a6＝(x2-x0)(y2-y0)(z0-z1)RGBq6
a7＝(x0-x1)(y0-y1)(z0-z1)RGBq7
a8＝(x2-x0)(y0-y1)(z0-z1)RGBq8
RGBp＝(a1+a2+a3+a4+a5+a6+a７+a8)／((x2-x1)(y2-y1)(z2-z1)) 式（１）

【0025】

なお、ここではバイリニア補間の例を説明したが他の手法を用いても構わない。例えば、３角柱補間などの他の線形補間や、スプライン補間などの非線形補間を用いてもよい。この補間されたＲＧＢ値を第一光源基準画像として用いてもよいし、ある領域内の複数ピクセルに対して処理を繰り返して複数の補間したＲＧＢ値が第一光源基準画像として用いられてもよい。

【0026】

前述のようにして予め用意した第一光源基準画像をＨＤＤ２０３等の記憶部に保存しておき、ステップＳ４０２において、画像取得部３０２は、その保存されている第一光源基準画像を読み取ることで取得する。

【0027】

次に、ステップＳ４０３において、比率導出部３０３は、第一光源１０４と第二光源１０５の比率を求める。
まず、比率導出部３０３は、第一光源１０４と第二光源１０５の両光源光が照射されている環境下において、色検査対象物１０３と同位置に設置した基準チャートを撮像した場合に相当する画像（以下、両光源基準画像とする）を補間処理によって生成する。この時の両光源基準画像は、例えば、ステップＳ４０１で取得した基準チャート画像からステップＳ４０２で説明した補間処理と同様の方法を用いることで求めることができる。

【0028】

また、比率導出部３０３は、両光源基準画像のＲＧＢ値と、ステップＳ４０２で取得した第一光源基準画像のＲＧＢ値とをそれぞれ算出する。このＲＧＢ値の算出方法としては、例えば、基準チャート画像内のある領域を指定し、その領域内での平均を求めることで算出する。
さらに、比率導出部３０３は、両光源基準画像のＲＧＢ値から第一光源基準画像のＲＧＢ値を減算することにより、第二光源下における基準チャート画像のＲＧＢ値を算出する。
そして、比率導出部３０３は、この第二光源下における基準チャート画像のＲＧＢ値と、第一光源基準画像のＲＧＢ値との比率を、第一光源１０４と第二光源１０５の比率として導出する。

【0029】

次に、ステップＳ４０４において、推定部３０４は、ステップＳ４０１で撮像した画像から、第一光源下画像を推定する。ここで、ステップＳ４０１で撮像した画像のＲＧＢ値には、第一光源によるＲＧＢ成分と第二光源によるＲＧＢ成分とが含まれている。推定部３０４は、ステップＳ４０１で撮像した画像のＲＧＢ値を、ステップＳ４０３で算出した比率に応じて分離することにより、ステップＳ４０１で撮像した画像を、第一光源によるＲＧＢ成分からなる画像と第二光源によるＲＧＢ成分からなる画像とに分離する。本実施形態では、ステップＳ４０１で撮像した画像から分離された、第一光源によるＲＧＢ成分からなる画像を第一光源下画像と呼び、第二光源によるＲＧＢ成分からなる画像を第二光源下画像と呼ぶ。

【0030】

次に、ステップＳ４０５において、推定部３０４は、ステップＳ４０４で分離した第一光源下画像と第二光源下画像とに対して色変換処理を行う。本実施形態では、第一光源に対応した色変換プロファイルと、第二光源に対応した色変換プロファイルとが、予め作成されてＨＤＤ等の等の記憶部に保存されている。推定部３０４は、第一光源に対応した色変換プロファイルを用いることで、ステップＳ４０４で分離した第一光源下画像の色変換処理を行う。同様に、推定部３０４は、第二光源に対応した色変換プロファイルを用いることで、第二光源下画像の色変換処理を行う。そして、推定部３０４は、それら色変換処理後の画像を、ＲＡＭ２０２やＨＤＤ２０３等の記憶部に保存する。

【0031】

そして本実施形態では、それら記憶部に保存された色変換処理後の画像と、色検査対象物１０３とを比較することで、色検査対象物１０３の色検査が行われる。なお、第一光源下における色を見るだけで正確な色検査が行える場合には、第一光源下画像のみを色変換し、その結果のみを保存してもよい。

【0032】

本実施形態では、前述した補間処理の際に、領域を指定し、その領域における平均をとることで、ＲＧＢ値を算出する例を挙げたが、ＲＧＢ値を算出する方法は前述の例に限定されず、他の方法が用いられてもよい。例えば、平均値以外に、中央値といった他の統計量が用いられてもよいし、代表の１ピクセルのＲＧＢ値が用いられてもよい。また、処理を１ピクセル単位で行い、それを指定した領域内すべてが終わるまで、本実施形態の処理を繰り返してもよい。

【0033】

前述のように第一実施形態では、色検査対象物の設置位置に相当する基準チャート画像を補間等により求め、その補間画像と予め第一光源下で撮像した基準チャート画像とから、第一光源と第二光源の比率を求めて、少なくとも第一光源下の画像を推定する。すなわち本実施形態によれば、撮像毎に、照明を切り替えたり、色検査物体と基準チャートを置き換えたりする必要はなく、空間的もしくは時間的に照明条件が変化する環境における色変換の手間を省くことができる。

【0034】

［第二実施形態］
第一実施形態では、第一光源基準画像を予め取得しておく例を挙げたが。第二実施形態では、第一光源基準画像ではなく、第二光源基準画像を取得して、第一光源下画像を推定する例について説明する。なお、第二実施形態における色検査システムの構成と画像処理装置１０２のハードウェア構成は第一実施形態で挙げたものと同等であるため、それらの図示と説明は省略する。以下において、第一実施形態とは異なる部分を主に説明する。

【0035】

＜第二実施形態の画像処理装置の機能構成＞
図６は、第二実施形態の画像処理装置１０２のＣＰＵ２０１が画像処理アプリケーションを実行することによって形成される機能構成を示す機能ブロック図である。第二実施形態において、ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＨＤＤ２０３に格納されたプログラムを読み出して実行することによって、図６に示す各処理部の機能を実現する。第二実施形態においても前述同様に、以下に示す処理の全てがＣＰＵ２０１によって実行される必要はなく、処理の一部または全てがＣＰＵ２０１以外の一つまたは複数の処理回路によって行われるように画像処理装置が構成されていてもよい。

【0036】

図６に示すように、第二実施形態において、ＣＰＵ２０１は、画像処理アプリケーションの実行によって、撮像制御部３０１、画像取得部３０２、比率導出部３０３、及び推定部３０４の各処理部に対応した処理を行う。
撮像制御部３０１は、撮像装置２０５を制御して、色検査対象物１０３と複数位置の基準チャート１０６とを撮像させる。また第二実施形態において、撮像制御部３０１は、撮像時刻Ｔを取得する。
画像取得部３０２は、第二光源１０５のみが光を照射している環境下において、予め基準チャートを撮像して保存しておいた画像である第二光源基準画像を取得する。
補間部６０１は、第二光源下における撮像時刻Ｔで基準チャートを撮像した場合に相当する画像である補間画像を生成する。補間部６０１における補間処理の詳細は後述する。
比率導出部３０３は、第一光源１０４と第二光源１０５との比率を求める。
推定部３０４は、第一光源下画像を推定する。

【0037】

＜第二実施形態の画像処理装置が実行する処理＞
図７は、第二実施形態の画像処理装置１０２のＣＰＵ２０１が図６に示した機能ブロックにおいて実行する処理を示したフローチャートである。図７のフローチャートが示す処理は、入力装置２０６を介してユーザからの指示が入力され、その指示をＣＰＵ２０１が受け付けることにより開始する。

【0038】

まず、ステップＳ７０１において、撮像制御部３０１は、撮像装置１０１により色検査対象物１０３を撮像させてデータ化することにより、撮像画像を得る。このとき、色検査対象物１０３は、第一光源１０４と第二光源１０５の両光源からの光が照射されている。撮像画像は複数の画素から構成され、各画素はＲＧＢの３つの成分を保持している。また、撮像制御部３０１は、撮像時刻Ｔを計測し、撮像画像と撮像時刻Ｔを、ＲＡＭ２０２やＨＤＤ２０３等の記憶部に保存しておく。

【0039】

次に、ステップＳ７０２において、画像取得部３０２は、撮像時刻Ｔとは異なる時刻の第二光源下において、複数の基準チャート１０６を撮像した第二光源基準画像と、その撮像時刻とを取得する。撮像時刻Ｔの第二光源下における基準チャート画像は、第一光源１０４がＬＥＤ光である場合には、ＬＥＤ光源の電源を切った状態で撮像することで、取得することができる。ただしこの方法の場合、時刻によって変化する太陽のような第二光源１０５によって、時間的に変化する第二光源基準画像を取得することになるために、色検査をする度に、ＬＥＤ光源の電源を止めてＬＥＤ光源を消す作業が必要になる。その場合、他の検査工程に影響を及ぼしてしまったり、ＬＥＤ光源のエイジング時間を設ける必要がでてきたりしてしまう。そこで、第二実施形態では、撮像時刻Ｔとは異なる複数の時刻の第二光源基準画像を予め取得し、それら複数の時刻の間の時間に対応する第二光源基準画像は補間により取得する。

【0040】

予め複数の異なる時刻に撮像した第二光源基準画像とその撮像時刻は、ＨＤＤ２０３等の記憶部に保存しおく。また、複数の異なる時刻としては、例えば一時間毎に撮像を行った際の時刻の情報を保存しておく。したがって、ステップＳ７０２において、画像取得部３０２は、ステップＳ７０１で取得した撮像時刻Ｔに基づいて、保存してある複数の第二光源基準画像の中から使用するものを選択し、その撮像時刻とともに読み取る。

【0041】

例えば、予め撮像しておいた第二光源基準画像のうち、撮像時刻Ｔの当日かつ前の時刻で最も近いものを撮像時刻Ｔａとする。また、撮像時刻Ｔの当日かつ後の時刻で最も近いものを撮像時刻Ｔｂとする。これらの時刻Ｔ、Ｔａ、Ｔｂは時間の値を持つ。例えば、日付の情報は持たず、１１時３０分４４秒であれば、１１×６０＋３０×６０＋４４＝４１４４４秒といった値を持つとする。画像取得部３０２は、この撮像時刻Ｔａ及び撮像時刻Ｔｂと、それら時刻に対応する第二光源基準画像とをＨＤＤ２０３等の記憶部から読み取る。

【0042】

次に、ステップＳ７０３において、補間部６０１は、例えば時刻に基づいた加重平均により補間を行い、第二光源下における撮像時刻Ｔでの基準チャート画像である補間画像を求める。この補間処理は式（２）により表される。

【0043】

補間画像＝((Tb-T)/(Tb-Ta))RGBb＋((T-Ta)/(Tb-Ta))RGBa 式（２）

【0044】

式（２）のＲＧＢａは、ステップＳ７０２で取得した撮像時刻Ｔａにおいて第二光源下の基準チャート画像から求めたＲＧＢ値群である。また、ＲＧＢｂは、撮像時刻Ｔｂにおいて第二光源下の基準チャート画像から求めたＲＧＢ値群である。これらのＲＧＢ値群は、例えば、それぞれの第二光源基準画像に含まれる複数の基準チャート画像について、それぞれの領域を指定し、その領域内のＲＧＢ値の平均値をそれぞれ算出して、それを並べたものである。

【0045】

ここで、時刻Ｔｂが当日かつ撮像時刻Ｔよりも後だった場合、時刻Ｔｂ以降でないと、色検査の結果が出ないこととなってしまう。したがって、リアルタイムに色検査の結果を出すために、ＲＧＢｂは前日以前の撮像時刻Ｔｂの基準チャートのＲＧＢ値群でもよい。また、同様の季節・気候であれば、当日の時刻は時刻Ｔｂと似たようなＲＧＢ値群となることが期待されるが、季節・気候がずれてしまうと、大きく異なる値となってしまう。そのため、なるべく近い季節・気候の日の撮像時刻Ｔｂを選択することが望ましい。また、ＲＧＢｂは撮像時刻Ｔより後の日付で撮像した撮像時刻Ｔｂの基準チャートのＲＧＢ値群でもよい。同様に、ＲＧＢａは撮像時刻Ｔとは異なる日付の撮像時刻Ｔａの基準チャートのＲＧＢ値群でもよい。

【0046】

また、補間画像は、撮像時刻Ｔで異なる日付の第二光源基準画像のＲＧＢ値群を用いてもよい。
また、補間画像は、ＲＧＢ値の時刻による増減を予測し、その予測に基づいて、時刻Ｔｃに撮像した基準チャートのＲＧＢ値群であるＲＧＢｃの値を増減することで求めてもよい。また、ＲＧＢ値の変化の大きさは時刻によって異なる。例えば、窓と太陽と基準チャートが直線上にあるときは、ＲＧＢ値が大きくなるが、そうでないときは小さくなる。こうした時刻によるＲＧＢ値の増減を予め計測しておき、その変化をＲＧＢｃから増減することで求めてもよい。

【0047】

なお、本実施形態では説明を簡単にするために、撮像時刻は秒の単位で計算を行ったが、同様の処理ができれば異なるデータ形式としてもよい。例えば時間と分を用いることや、日付の情報を持っていてもよい。

【0048】

次に、ステップＳ７０３において、比率導出部３０３は、第一光源と第二光源の比率を求める。まず、比率導出部３０３は、第二光源下において、色検査対象物１０３と同位置に基準チャートがあり、その基準チャートを撮像したときに得られるＲＧＢ値を補間により生成する。補間方法としては、例えば、ステップＳ７０２で求めた補間画像に対して、ステップＳ４０２における、第一光源基準画像を生成した方法と同様の補間方法を用いればよい。

【0049】

また、比率導出部３０３は、第一光源下における色検査対象物１０３と同位置に基準チャートがあり、その基準チャートを撮像したときに得られるＲＧＢ値を取得する。これは、例えば予め夜間などに撮像したものをＨＤＤ２０３等の記憶部に保存しおき、それを読み取り、その画像の基準チャート内の領域を指定して、そのＲＧＢ値の平均を求めることで算出することができる。比率導出部３０３は、この第一光源基準画像のＲＧＢ値と第二光源基準画像のＲＧＢ値との比率を導出する。その後は、ステップＳ４０４へと進む。

【0050】

このように、第二実施形態においては、補間により撮像時刻における第二光源下の基準チャート画像を求め、その補間された画像を用いて、ＲＧＢ値の第一光源と第二光源による比率を求め、それぞれの光源下における撮像画像を推定する。これにより、第二実施形態によれば、撮像毎に、照明を切り替る必要はなく、空間的もしくは時間的に照明条件が変化する環境における色変換の手間を省くことができる。

【0051】

なお、前述した第一実施形態や第二実施形態で説明した機能ブロックの各処理部のうち、比率導出部３０３、推定部３０４、補間部６０１等については、機械学習された学習済みモデルを代わりに用いて処理してもよい。その場合には、例えば、それら処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、それら各処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、各処理部の処理を行う。なお、学習済みモデルは、必要に応じて一定の処理後に更新してもよい。

【0052】

また前述の例では、ＬＥＤ光源と太陽光源を例に挙げたが、これらに二つの光源に限定されるものではなく、他の光源の場合、或いは三つ以上の光源が存在する場合も本実施形態は適用可能である。例えば、第一光源が二つ以上存在する場合、或いは第二光源が二つ以上存在する場合にも、本実施形態は適用可能である。

【0053】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0054】

１００：色検査システム、１０１：撮像装置、１０２：画像処理装置、３０１：撮像制御部、３０２：画像取得部、３０３：比率導出部、３０４：推定部、６０１：補間部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】