特許 7604142 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 23/10 20230101AFI20241216BHJP

   G06T 7/90 20170101ALI20241216BHJP

【ＦＩ】

H04N23/10

G06T7/90 A

【請求項の数】 10

(21)【出願番号】P 2020153585

(22)【出願日】2020-09-14

(65)【公開番号】P2022047674

(43)【公開日】2022-03-25

【審査請求日】2023-09-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】鈴木 隆広

【審査官】東松 修太郎

(56)【参考文献】

【文献】特開２０１９－２１６４０９（ＪＰ，Ａ）

【文献】特開２０１５－１１１８２２（ＪＰ，Ａ）

【文献】特開２００４－３２１７９３（ＪＰ，Ａ）

【文献】特開２００６－２５４３０９（ＪＰ，Ａ）

【文献】特開２００６－０５０５３６（ＪＰ，Ａ）

【文献】特開２０２０－０８８８００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／１０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物の色を評価するための画像処理装置であって、
前記対象物と、反射率が互いに異なる色票群と、を同一画角内に含めて撮像を行って得られる画像データを取得する取得手段と、
前記画像データに基づいて、前記色票群に含まれる色票に対応する画素の画素値が飽和しているか否かを判定し、判定した結果に基づいて、前記撮像の際の露出条件における基準白色の値を推定するための色票を選択する選択手段と、
前記選択された色票に対応する画素の画素値に基づいて、前記基準白色の値を推定する推定手段と、
前記画像データと、前記推定された基準白色の値と、に基づいて、前記対象物の色を評価するための色値を算出する算出手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記取得手段は、前記画像データから、前記対象物における対象の領域に含まれる画素の画素値と、前記色票群に含まれる各色票に対応する画素の画素値と、を取得し、
前記推定手段は、前記色票群に含まれる各色票に対応する画素の画素値に基づいて、前記基準白色の値を推定し、
前記算出手段は、前記対象物における対象の領域に含まれる画素の画素値と、前記推定された基準白色の値と、に基づいて、前記対象物の色を評価するための色値を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記選択手段は、前記色票群に含まれる色票に対応する画素の画素値が飽和しているか否かの判定を、反射率が高い色票から順に行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記取得手段は、前記撮像の際の露出条件を表す露出情報を取得し、
前記算出手段は、前記露出情報に基づいて、前記対象物の色を評価するための色値を算出することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

前記取得手段は、適正露出に対応する露出情報を取得し、
前記算出手段は、前記撮像の際の露出条件を表す露出情報と、前記適正露出に対応する露出情報と、に基づいて、前記対象物の色を評価するための色値を算出することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記撮像の際の露出条件は、前記適正露出に対してオーバーな露出条件であることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記対象物における対象の領域と前記色票群とについての指示入力を受け付けるための表示を行うように表示手段を制御する表示制御手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。

【請求項8】

前記推定手段は、前記撮像を行う撮像装置の色特性に基づいて、前記基準白色の値を推定することを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。

【請求項9】

コンピュータを請求項１乃至請求項８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項10】

対象物の色を評価するための画像処理方法であって、
前記対象物と、反射率が互いに異なる色票群と、を同一画角内に含めて撮像を行って得られる画像データを取得する取得ステップと、
前記画像データに基づいて、前記色票群に含まれる色票に対応する画素の画素値が飽和しているか否かを判定し、判定した結果に基づいて、前記撮像の際の露出条件における基準白色の値を推定するための色票を選択する選択ステップと、
前記選択された色票に対応する画素の画素値に基づいて、前記基準白色の値を推定する推定ステップと、
前記画像データと、前記推定された基準白色の値と、に基づいて、前記対象物の色を評価するための色値を算出する算出ステップと、
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カラー画像の色を変換するための画像処理技術に関する。

【背景技術】

【0002】

デジタルカメラが物体の色の検査に用いられることが多くなってきている。例えば、検査対象物の撮像画像における画素値を、予め作成しておいたカラープロファイルと基準白色の値とを用いて変換し、対象物の色を評価する技術がある。このような色の検査技術においては、カラープロファイルを作成するために行った撮像の際の露出条件と、検査対象物を撮像する際の露出条件と、を一致させる必要がある。そのため、検査を行う際の照明環境に基づいて適正な露出条件を設定し、設定した適正な露出条件に露出条件を統一させてから撮像を行うのが一般的である。

【0003】

しかしながら、検査対象物が黒やネイビーなどの暗い色である場合、設定した適正な露出条件における撮像では光量が足りずに画素値のＳＮ比が悪くなってしまい、正確な色の検査ができない場合がある。これに対して、特許文献１は、測定対象の物体と白色板とを異なる露出条件において撮像し、露出条件の差に基づいて白色板の撮像画像における画素値を補正する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２１６４０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１は、検査対象物の撮像と基準白色用の撮像とを別々に行う必要がある。

【0006】

そこで、本発明は、検査対象物が暗い色の場合であっても、検査対象物の撮像と基準白色用の撮像とを別々に行うことなく、検査対象物の色評価用の色値を得るための画像処理を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る画像処理装置は、対象物の色を評価するための画像処理装置であって、前記対象物と、反射率が互いに異なる色票群と、を同一画角内に含めて撮像を行って得られる画像データを取得する取得手段と、前記画像データに基づいて、前記色票群に含まれる色票に対応する画素の画素値が飽和しているか否かを判定し、判定した結果に基づいて、前記撮像の際の露出条件における基準白色の値を推定するための色票を選択する選択手段と、前記選択された色票に対応する画素の画素値に基づいて、前記基準白色の値を推定する推定手段と、前記画像データと、前記推定された基準白色の値と、に基づいて、前記対象物の色を評価するための色値を算出する算出手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明により、検査対象物が暗い色の場合であっても、検査対象物の撮像と基準白色用の撮像とを別々に行うことなく、検査対象物の色評価用の色値を得ることができる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置のハードウェア構成を示すブロック図

【図2】画像処理装置の論理構成を示すブロック図

【図3】画像処理装置における処理を示すフローチャート

【図4】ユーザインタフェースの例を示す図

【図5】グレイ色票群の例を示す図

【図6】画素値の飽和を説明するための図

【図7】色票を選択する処理を示すフローチャート

【図8】基準白色の値を推定する処理の概要を説明するための図

【図9】基準白色の値を推定する処理を示すフローチャート

【図10】ＣＩＥ三刺激値を算出する処理の概要を説明するための図

【図11】ＣＩＥ三刺激値を算出する処理を示すフローチャート

【図12】色票群の例を示す図

【図13】基準白色の値を推定する処理を示すフローチャート

【図14】撮像装置の色特性の例を示す図

【発明を実施するための形態】

【0010】

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0011】

［第１実施形態］
本実施形態においては、検査対象物と基準白色用の色票群とを同一画角内に含めて撮像を行い、画素値が飽和しているか否かに応じて色票群から色票を選択し、選択した色票に対応する画素値を基に基準白色の値を推定する。尚、本実施形態における検査対象物は暗い色の物体である。暗い色の例としては、黒やネイビーなどの色の塗装が施された金属を、照明から入射した光の正反射方向と異なる方向で観察する場合の色が挙げられる。

【0012】

＜画像処理装置のハードウェア構成＞
本実施形態における画像処理装置１のハードウェア構成について、図１を参照して説明する。画像処理装置１は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インタフェース（Ｉ／Ｆ）１０４、メインバス１０９を備える。汎用Ｉ／Ｆ１０４は、デジタルカメラなどの撮像装置１０５、マウスやキーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７、モニタ１０８をメインバス１０９に接続するためのインタフェースである。

【0013】

以下においては、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることにより実現する各種処理について述べる。まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインタフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５において生成された画像データ、入力装置１０６を介したユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データに対してＣＰＵ１０１からの指令に基づき各種演算が行われる。演算結果は、モニタ１０８に表示されたり、ＨＤＤ１０３や外部メモリ１０７に格納されたりする。

【0014】

＜画像処理装置の論理構成＞
図２は、画像処理装置１の論理構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１がＨＤＤ１０３に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図２に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

【0015】

画像処理装置１は、表示制御部２０１、取得部２０２、色票選択部２０３、白色推定部２０４、評価値算出部２０５、出力部２０６を有する。表示制御部２０１は、モニタ１０８にユーザからの指示入力を受け付けるためのＵＩを表示する。本実施形態において表示されるＵＩの例を図４に示す。指定領域４０１は、検査対象物と基準白色用の色票群とを同一画角内に含めて撮像して得られる画像データをユーザが指定するための領域である。画像表示領域４０２には、ユーザによって指定された画像データが表す画像が表示される。指定領域４０３は、ユーザが検査対象の領域を指定するための領域である。指定領域４０４は、ユーザが色票群を指定するための領域である。色値表示領域４０５には、ユーザにより指定された検査対象の領域に対応する色値が表示される。開始ボタン４０６は、ユーザの指示入力に応じて、検査対象物の色評価用の色値を算出する処理を開始するためのボタンである。終了ボタン４０７は、ユーザの指示入力に応じて、処理の終了に関する動作を実行するためのボタンである。

【0016】

取得部２０２は、ユーザによって指定された画像データが表す画像から、検査対象の領域に対応する画素値と、色票群に対応する画素値と、を取得する。また、取得部２０２は、撮像の際の露出条件を表す露出情報を取得する。本実施形態においては、上述したように、検査対象物と基準白色用の色票群とを同一画角内に含めて撮像を行う。また、本実施形態における色票群に含まれる色票は、無彩色のグレイ色票である。本実施形態におけるグレイ色票群の例を図５に示す。図５（ａ）に示すように、グレイ色票群は色票５０１から色票５０８までの８種のグレイ色票から構成される。図５（ｂ）に示すように、グレイ色票の分光反射率は、概ね１００％から３０％までの１０％刻みとなっている。色票選択部２０３は、取得部２０２が取得した色票群に対応する画素値に基づいて、基準白色の値を推定するために用いる色票を選択する。白色推定部２０４は、選択された色票に対応する画素値に基づいて、基準白色の値を推定する。評価値算出部２０５は、検査対象の領域に対応する画素値と露出情報と基準白色の値とに基づいて、検査対象の領域に対応する色値（評価値）を算出する。出力部２０６は、算出された検査対象の領域に対応する色値を出力する。本実施形態における出力部２０６は、検査対象の領域に対応する色値を色値表示領域４０５に表示する。

【0017】

＜画像処理装置における処理＞
図３は、画像処理装置における処理を示すフローチャートである。図３のフローチャートが示す処理は、ユーザによって入力装置１０６を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

【0018】

Ｓ３０１において、表示制御部２０１は、モニタ１０８にユーザからの指示入力を受け付けるためのＵＩを表示する。具体的には、表示制御部２０１は、指定領域４０１において画像データの指定を受け付けると、指定された画像データが表す画像を画像表示領域４０２に表示する。表示制御部２０１は、指定領域４０３及び指定領域４０４において検査対象の領域及び色票群の指定を受け付け、開始ボタン４０６が押下されると、処理をＳ３０２に進める。

【0019】

Ｓ３０２において、取得部２０２は、ユーザによって指定された画像データに対応する露出条件を表す露出情報を取得する。露出情報は、シャッタースピード（ＴＶ）、絞り（ＡＶ）、感度（ＩＳＯ）を含み、画像データのｅｘｉｆ情報から取得することができる。以下、Ｓ３０２において取得するシャッタースピードをＴＶ_ｉｍｇ、絞りをＡＶ_ｉｍｇ、感度をＩＳＯ_ｉｍｇとする。

【0020】

Ｓ３０３において、取得部２０２は、ユーザによって指定された画像データが表す画像から、検査対象の領域に対応する画素値を取得する。検査対象の領域が複数の画素を含む場合は、取得部２０２は、検査対象の領域に対応する画素値群を取得し、画素値群の平均値を算出する。以下、画素値群の平均値を検査対象の領域に対応する画素値として扱う。尚、ユーザによって指定された画像データが表す画像の画素値は、ＲＧＢ値（Ｒ，Ｇ，Ｂ）である。以下において、検査対象の領域に対応する画素値をＲＧＢ値（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）とする。

【0021】

Ｓ３０４において、取得部２０２は、ユーザによって指定された画像データが表す画像から、色票群に対応する画素値を取得する。具体的には、取得部２０２は、指定領域４０４において８種のグレイ色票それぞれが個別に指定されている場合は、それぞれの画素値（又は画素値群の平均値）を取得する。取得部２０２は、指定領域４０４においてグレイ色票群がまとめて指定されている場合は、公知の方法により算出した各グレイ色票の位置に基づいて、それぞれの画素値（又は画素値群の平均値）を取得する。

【0022】

Ｓ３０５において、色票選択部２０３は、Ｓ３０４において取得された色票群に対応する画素値に基づいて、基準白色の値を推定するために用いる色票を選択する。基準白色の値を推定するために用いる色票を選択する処理の詳細については後述する。Ｓ３０６において、白色推定部２０４は、選択された色票に対応する画素値に基づいて、基準白色の値を推定する。基準白色の値を推定する処理の詳細については後述する。Ｓ３０７において、評価値算出部２０５は、検査対象の領域に対応する画素値と露出情報と基準白色の値とに基づいて、検査対象の領域及び基準白色に対応するＣＩＥ三刺激値を算出する。検査対象の領域及び基準白色に対応するＣＩＥ三刺激値を算出する処理の詳細については後述する。

【0023】

Ｓ３０８において、評価値算出部２０５は、検査対象の領域及び基準白色に対応するＣＩＥ三刺激値に基づいて、検査対象の領域に対応する評価値を算出する。本実施形態における評価値はＣＩＥＬＡＢ値（Ｌ^＊，ａ^＊，ｂ^＊）である。具体的には、評価値算出部２０５は、式（１）、式（２）、式（３）、式（４）、式（５）に従って、ＣＩＥ三刺激値をＣＩＥＬＡＢ値（Ｌ^＊，ａ^＊，ｂ^＊）に変換する。ここで、検査対象の領域に対応するＣＩＥ三刺激値を（Ｘ，Ｙ，Ｚ）とし、基準白色のＣＩＥ三刺激値を（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）とする。

【0024】

【数1】

【0025】

【数2】

【0026】

【数3】

【0027】

【数4】

【0028】

【数5】

【0029】

Ｓ３０９において、出力部２０６は、検査対象の領域に対応するＣＩＥＬＡＢ値（Ｌ^＊，ａ^＊，ｂ^＊）を色値表示領域４０５に表示する。

【0030】

＜基準白色の値を推定するために用いる色票を選択する処理＞
まず、基準白色の値を推定するために用いる色票を選択する処理の概要について説明する。Ｓ３０５において、色票選択部２０３は、グレイ色票群から、撮像画像において画素値が飽和していないグレイ色票を選択する。画素値の飽和について図６を用いて説明する。デジタルカメラのイメージセンサは、入射光量に応じた電荷を蓄積する光電変換素子において光電変換を行う。そのため、入射光量に対して概ね線形に画素値が記録される。しかしながら、イメージセンサのダイナミックレンジを超える光を受光すると、入射光量に対する画素値の線形性が保たれなくなる。これに対して、イメージセンサに入射される光量を露出設定によって調整し、上述した線形性が保たれるように撮像を行うことが一般的に行われる。図６に適正露出に対応する撮像特性を示す。

【0031】

暗い色の検査対象物を撮像する場合は、画素値のＳＮ比が悪くならないように適正露出ではなくオーバー露出で撮像を行うため、撮像シーン内の明るい領域（輝度が高い領域）に対応する画素値が飽和する。図６にオーバー露出に対応する撮像特性を示す。本実施形態のように、暗い色の検査対象物と基準白色用の色票とを同一画角内に含めて撮像する場合、暗い色の検査対象物に適した露出条件において撮像を行うため、基準白色用の色票に対応する画素値が飽和してしまう。そこで、本実施形態においては、暗い色の検査対象物に適した露出条件において撮像を行って得られる画像において、画素値が飽和していないグレイ色票を選択し、選択したグレイ色票を基に基準白色の値を推定する。

【0032】

図７は、基準白色の値を推定するために用いる色票を選択する処理を示すフローチャートである。Ｓ７０１において、色票選択部２０３は、グレイ色票のカウンタｉを１に設定する。本実施形態においてはグレイ色票の数が８であるため、カウンタの最大値は８である。また、分光反射率が高いグレイ色票から順に番号付けされているものとする。

【0033】

Ｓ７０２において、色票選択部２０３は、ｉ番目のグレイ色票に対応する画素値を取得する。Ｓ７０３において、色票選択部２０３は、Ｓ７０２において取得したｉ番目のグレイ色票に対応する画素値が飽和しているか否かを判定する。例えば、撮像画像の画素値が８ｂｉｔで記録されている場合は、Ｒ，Ｇ，Ｂそれぞれのチャネルの最大信号値は２５５である。よって、２５５の信号値に対応するシーン輝度よりも大きいシーン輝度の領域を暗い色の検査対象物に適した露出条件において撮像すると画素値が飽和する。色票選択部２０３は、グレイ色票に対応する画素値における各チャネルの値が２５５であるか否かを判定する。色票選択部２０３は、少なくとも１つのチャネルの値が２５５である場合、そのグレイ色票に対応する画素値が飽和していると判定する。画素値が飽和している場合はＳ７０５に進み、画素値が飽和していない場合はＳ７０４に進む。

【0034】

Ｓ７０４において、色票選択部２０３は、グレイ色票の番号ｉとその画素値とをメモリに格納してＳ３０５の処理を終了する。Ｓ７０５において、色票選択部２０３は、カウンタｉに対する判定を行う。色票選択部２０３は、ｉ＝８の場合に、全てのグレイ色票に対応する画素値が飽和していることになるため、Ｓ７０７に進み、エラー情報をメモリに格納してＳ３０５の処理を終了する。色票選択部２０３は、ｉ≠８の場合に、次のグレイ色票に対する判定を行うために、Ｓ７０６に進み、カウンタｉを更新してＳ７０２に戻る。

【0035】

このように処理を行うことにより、画素値が飽和していないグレイ色票の中で最も反射率が高いグレイ色票を選択することができる。最も反射率が高いグレイ色票を選択することにより、画素値が飽和していない、かつ、最もＳＮ比が良いデータを用いて基準白色の値を推定することができる。

【0036】

＜基準白色の値を推定する処理＞
基準白色の値を推定する処理の概要について、図８を用いて説明する。Ｓ３０６において、白色推定部２０４は、Ｓ３０５において選択されたグレイ色票に対応する画素値に基づいて、暗い色の検査対象物に適した露出条件における撮像に対応する基準白色の値を推定する。図８に示すように、本実施形態における露出条件はいわゆるオーバー露出である。図８の黒丸がグレイ色票群に含まれる各グレイ色票を示し、図８の星が選択されるグレイ色票を示す。このオーバー露出において撮像されるグレイ色票群の中から、画素値が飽和していない、かつ、最も反射率が高いグレイ色票が選択される。白色推定部２０４は、選択されたグレイ色票に対応する画素値を基に、図８の白丸に示す、基準白色の値を推定する。

【0037】

図９は、基準白色の値を推定する処理を示すフローチャートである。Ｓ９０１において、白色推定部２０４は、Ｓ３０５において選択されたグレイ色票の番号ｉとその画素値とを取得する。Ｓ９０２において、白色推定部２０４は、番号ｉのグレイ色票の分光反射率を取得する。本実施形態においては、Ｓ３０５においてｉ＝４のグレイ色票が選択されたものとし、ｉ＝４のグレイ色票の分光反射率は、可視波長域全域において７０％であるとして以下の処理を説明する。

【0038】

Ｓ９０３において、白色推定部２０４は、番号ｉのグレイ色票の分光反射率と基準白色の分光反射率との比を算出する。基準白色の分光反射率が可視波長域全域において１００％であると仮定すると、算出される分光反射率の比ｒａｔｉｏは、以下の式（６）のようになる。

【0039】

【数6】

【0040】

Ｓ９０４において、白色推定部２０４は、分光反射率の比に基づいて、オーバー露出における撮像に対応する基準白色の値を以下の式（７）を用いて推定する。

【0041】

【数7】

【0042】

ここで、Ｒ_４，Ｇ_４，Ｂ_４はそれぞれｉ＝４のグレイ色票の画素値であり、Ｒ_Ｗ，Ｇ_Ｗ，Ｂ_Ｗはそれぞれ基準白色の値である。

【0043】

＜検査対象の領域及び基準白色に対応するＣＩＥ三刺激値を算出する処理＞
検査対象の領域及び基準白色に対応するＣＩＥ三刺激値を算出する処理の概要について、図１０を用いて説明する。Ｓ３０７において、評価値算出部２０５は、検査対象の領域に対応する画素値と基準白色の値とをＣＩＥ三刺激値に変換する。具体的には、評価値算出部２０５は、検査対象の領域に対応する画素値（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）をＣＩＥ三刺激値（Ｘ，Ｙ，Ｚ）に変換し、基準白色の値（Ｒ_Ｗ，Ｇ_Ｗ，Ｂ_Ｗ）をＣＩＥ三刺激値（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）に変換する。

【0044】

本実施形態における露出条件は、画素値のＳＮ比を考慮して、適正露出に対してオーバー露出である。しかしながら、ＲＧＢ値からＣＩＥ三刺激値に変換するためのカラープロファイルは、様々な色の検査対象に対応するためにシーンに対して適正露出で作成されるのが一般的である。そのため、一般的なカラープロファイルを使用してＣＩＥ三刺激値を算出するためには、オーバー露出において撮像して得られる画像の画素値を適正露出相当の値に補正する補正処理を行う必要がある。この補正処理を図１０における点線矢印に示す。そこで、評価値算出部２０５は、検査対象の領域に対応する画素値と基準白色の値とを、オーバー露出と適正露出との差に応じて適正露出相当の値に変換する。さらに、評価値算出部２０５は、変換された値とカラープロファイルとを用いて、ＣＩＥ三刺激値を算出する。

【0045】

図１１は、検査対象の領域及び基準白色に対応するＣＩＥ三刺激値を算出する処理を示すフローチャートである。Ｓ１１０１において、評価値算出部２０５は、検査対象物及び色票群の撮像時の露出情報（ＴＶ_ｉｍｇ、ＡＶ_ｉｍｇ、ＩＳＯ_ｉｍｇ）を取得する。Ｓ１１０２において、評価値算出部２０５は、適正露出に対応する露出情報を取得する。適正露出は撮像時の照明環境によって決まり、適正露出に対応する露出情報は露出計を用いた測定により得られる。以下において、適正露出に対応する露出情報を、シャッタースピードＴＶ_ｒｅｆ、絞りＡＶ_ｒｅｆ、感度ＩＳＯ_ｒｅｆとする。

【0046】

Ｓ１１０３において、評価値算出部２０５は、検査対象の領域に対応する画素値と基準白色の値とを補正するための露出補正係数を算出する。評価値算出部２０５は、シャッタースピード、絞り、感度それぞれに対応する露出補正係数（α，β，γ）を以下の式（８）、式（９）、式（１０）に従って算出する。

【0047】

α＝ＴＶ_ｒｅｆ／ＴＶ_ｉｍｇ ・・・式（８）
β＝（ＡＶ_ｉｍｇ／ＡＶ_ｒｅｆ）^２ ・・・式（９）
γ＝ＩＳＯ_ｒｅｆ／ＩＳＯ_ｉｍｇ ・・・式（１０）
また、評価値算出部２０５は、露出補正係数（α，β，γ）を以下の式（１１）に従って積算することにより、総合的な露出補正係数δを算出する。

【0048】

δ＝α×β×γ 式（１１）
ここで、露出補正係数を具体的な数値を用いて説明する。例えば、適正露出に対応するシャッタースピードＴＶ_ｒｅｆが１／２００、絞りＡＶ_ｒｅｆがＦ８、感度ＩＳＯ_ｒｅｆが２００であるとする。これに対し、検査対象物及び色票群の撮像時のシャッタースピードＴＶ_ｉｍｇが１／５０、絞りＡＶ_ｉｍｇがＦ８、感度ＩＳＯ_ｉｍｇが２００であるとし、適正露出よりもオーバー露出で撮像が行われたとする。この場合、式（１１）に従って露出補正係数δを算出すると、露出補正係数δは１／４となる。以上のように、Ｓ１１０３においては、露出差に応じて露出補正係数が算出される。

【0049】

Ｓ１１０４において、評価値算出部２０５は、Ｓ１１０３において算出した露出補正係数δを用いて、検査対象の領域に対応する画素値と基準白色の値とを補正する。具体的には、評価値算出部２０５は、以下の式（１２）、式（１３）に従って、検査対象の領域に対応する画素値（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）と基準白色の値（Ｒ_Ｗ，Ｇ_Ｗ，Ｂ_Ｗ）とを補正する。

【0050】

【数8】

【0051】

【数9】

【0052】

ここで、（Ｒ_ｉｍｇ’，Ｇ_ｉｍｇ’，Ｂ_ｉｍｇ’）は、補正された、検査対象の領域に対応する画素値である。（Ｒ_Ｗ’，Ｇ_Ｗ’，Ｂ_Ｗ’）は、補正された、基準白色の値である。

【0053】

Ｓ１１０５において、評価値算出部２０５は、Ｓ１１０４における補正により得られる（Ｒ_ｉｍｇ’，Ｇ_ｉｍｇ’，Ｂ_ｉｍｇ’）及び（Ｒ_Ｗ’，Ｇ_Ｗ’，Ｂ_Ｗ’）を、ＣＩＥ三刺激値に変換する。ＣＩＥ三刺激値への変換には、適正な露出条件下で予め作成しておいたカラープロファイルが使用される。カラープロファイルには様々な形式があるが、本実施形態においては、カラープロファイルの形式を３×３のマトリクスであるとする。評価値算出部２０５は、以下の式（１４）により、検査対象の領域に対応する画素値（Ｒ_ｉｍｇ’，Ｇ_ｉｍｇ’，Ｂ_ｉｍｇ’）をＣＩＥ三刺激値（Ｘ，Ｙ，Ｚ）に変換し、基準白色の値（Ｒ_Ｗ’，Ｇ_Ｗ’，Ｂ_Ｗ’）をＣＩＥ三刺激値（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）に変換する。尚、ｍ_００からｍ_２２はカラープロファイルに記載されている９つのマトリクス係数である。

【0054】

【数10】

【0055】

＜第１実施形態の効果＞
以上説明したように、本実施形態にける画像処理装置は、対象物の色を評価するための画像処理装置であって、対象物と、反射率が互いに異なる色票群と、を同一画角内に含めて撮像を行って得られる画像データを取得する。取得した画像データに基づいて、撮像の際の露出条件における基準白色の値を推定し、画像データと、推定した基準白色の値と、に基づいて、対象物の色を評価するための色値を算出する。これにより、検査対象物が暗い色の場合であっても、検査対象物の撮像と基準白色用の撮像とを別々に行うことなく、検査対象物の色評価用の色値を得ることができる。

【0056】

［第２実施形態］
第１実施形態においては、波長に対して反射率がほぼ一定なグレイ色票群を用いて基準白色の値を推定した。本実施形態においては、波長ごとに反射率が異なる色票群を用いて基準白色の値を推定する。尚、本実施形態における画像処理装置のハードウェア構成及び機能構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なるＳ３０６の処理を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

【0057】

＜基準白色の値を推定する処理＞
基準白色の値を推定するための色票は、印刷に用いられる色材などに応じて分光的に反射率が一定にならない場合がある。本実施形態において用いられる色票群は、短波長側よりも長波長側で光の吸収率が高い色材を使用して作成された色票である。本実施形態における色票群の例を図１２に示す。図１２（ａ）に示すように、色票群は色票１２０１から色票１２０８までの８種の色票から構成される。図１２（ｂ）に示すように、反射率が高い色票１２０１に比べて、反射率が低い色票１２０８は、短波長側に対して長波長側の反射率が相対的に低いことがわかる。以下において、色票の反射率が波長に対して一定でない場合の、基準白色の値の推定処理について説明する。

【0058】

図１３は、基準白色の値を推定する処理を示すフローチャートである。Ｓ１３０１において、白色推定部２０４は、Ｓ３０５において選択された色票の番号ｉとその画素値とを取得する。Ｓ１３０２において、白色推定部２０４は、番号ｉの色票の分光反射率Ｒ（λ）を取得する。本実施形態においては、Ｓ３０５においてｉ＝４の色票が選択されたものとし、ｉ＝４の色票の分光反射率をＲ_４（λ）とする。Ｓ１３０３において、白色推定部２０４は、撮像装置１０５の色特性を表す色特性情報を取得する。本実施形態における撮像装置１０５の色特性は、撮像装置１０５の内部に設置されているＲＧＢのカラーフィルタ及びイメージセンサの分光特性である。撮像装置１０５に入射した光は、各カラーフィルタを介してイメージセンサにおいて受光され、色信号（すなわち画素値）に変換される。この光電変換における特性が概ね撮像装置１０５固有の色再現特性となる。図１４に、撮像装置１０５の色特性の例を示す。図１４（ａ）はカラーフィルタの分光特性（ｒ（λ），ｇ（λ），ｂ（λ））の例を示し、図１４（ｂ）はイメージセンサの分光特性ｓ（λ）の例を示す。

【0059】

Ｓ１３０４において、白色推定部２０４は、Ｓ１３０２において取得した色票の分光反射率Ｒ_４（λ）と撮像装置１０５の色特性との積分値を式（１５）により算出する。

【0060】

【数11】

【0061】

ここで、（ｒ_４、ｇ_４、ｂ_４）は、色票の分光反射率Ｒ_４（λ）と撮像装置１０５の色特性との積分値である。（ｒ_４、ｇ_４、ｂ_４）は、可視光の波長域において分光的に放射輝度が一定な光源下で、色票を撮像装置１０５を用いて撮像した場合の画素値の推定値を示す。

【0062】

Ｓ１３０５において、白色推定部２０４は、Ｓ１３０４において算出した積分値と、基準白色に対応する積分値と、の比を算出する。まず、白色推定部２０４は、式（１５）のＲ_４（λ）を１に変更した式を用いて、基準白色に対応する積分値（ｒ_Ｗ，ｇ_Ｗ，ｂ_Ｗ）を算出する。次に、白色推定部２０４は、式（１６）により、色票に対応する積分値（ｒ_４、ｇ_４、ｂ_４）と基準白色に対応する積分値（ｒ_Ｗ，ｇ_Ｗ，ｂ_Ｗ）とを用いて比率（ｒａｔｉｏ_ｒ，ｒａｔｉｏ_ｇ，ｒａｔｉｏ_ｂ）を算出する。

【0063】

【数12】

【0064】

Ｓ１３０６において、白色推定部２０４は、比率（ｒａｔｉｏ_ｒ，ｒａｔｉｏ_ｇ，ｒａｔｉｏ_ｂ）に基づいて、オーバー露出における撮像に対応する基準白色の値を式（１７）により推定する。

【0065】

【数13】

【0066】

ここで、Ｒ_４，Ｇ_４，Ｂ_４はそれぞれｉ＝４の色票の画素値であり、Ｒ_Ｗ，Ｇ_Ｗ，Ｂ_Ｗはそれぞれ基準白色の値である。

【0067】

＜第２実施形態の効果＞
以上説明したように、本実施形態にける画像処理装置は、色票及び基準白色の分光反射率と撮像装置の色特性との積分値を用いて、基準白色の値を推定する。これにより、検査対象物が暗い色で、かつ、波長ごとに反射率が異なる色票群を用いる場合であっても、検査対象物の撮像と基準白色用の撮像とを別々に行うことなく、検査対象物の色評価用の色値を得ることができる。

【0068】

［その他の実施形態］
上述した実施形態における色票選択部２０３は、画素値が飽和しているか否かを、画素値が２５５（最大信号値）であるか否かで判定したが、他の方法で判定を行ってもよい。例えば、撮像装置によっては、実際に画素値が飽和するよりも低輝度で滑らかに画素値を飽和させる場合がある。この場合は、イメージセンサの特性に基づいて、線形性が保たれている画素値の範囲を基準に、画素値が飽和しているか否かを判定してもよい。

【0069】

上述した実施形態においては、適正露出に対応する露出情報を、露出計を用いた測定を予め行っておくことにより取得したが、公知の１８％グレイカードを用いた測光により取得してもよい。

【0070】

上述した実施形態においては、カラープロファイルの形式を３×３のマトリクスであるとしたが、他の形式であってもよい。例えば、ＲＧＢ値（Ｒ，Ｇ，Ｂ）とＣＩＥ三刺激値（Ｘ，Ｙ，Ｚ）との対応関係を保持するルックアップテーブル（ＬＵＴ）をカラープロファイルとして用いてもよい。ＬＵＴは、全色の組み合わせについて対応関係を保持していてもよいし、代表的な色の組み合わせについてのみ対応関係を保持しておいてもよい。代表的な色の組み合わせについてのみ対応関係を保持する場合は、それ以外の色の対応関係を代表的な色の組み合わせの対応関係を基に補間演算によって導出する。

【0071】

上述した実施形態においては、色評価用の色値をＣＩＥＬＡＢ値としたが、例えば、ＣＩＥＬＵＶ値やＣＩＥＣＡＭ値などの色値を用いてもよい。

【0072】

上述した実施形態においては、検査対象の領域における色値を評価値としたが、検査対象の領域を複数設定し、各領域間の色差を評価値としてもよい。この場合、モニタ１０８に表示されたＵＩの指定領域４０３において複数の領域が指定され、色値表示領域４０５に、指定された各領域のＣＩＥＬＡＢ値と領域間の色差とが表示される。例えば、２つの検査対象の領域それぞれのＣＩＥＬＡＢ値を（Ｌ^＊ _１，ａ^＊ _１，ｂ^＊ _１）及び（Ｌ^＊ _２，ａ^＊ _２，ｂ^＊ _２）とすると、式（１８）により色差ΔＥを算出することができる。

【0073】

【数14】

【0074】

尚、式（１７）に示すΔＥ以外にも、ΔＥ９４や、ΔＥ２０００などの色差を用いてもよい。また、評価値は色差ΔＥに限られず、明度差ΔＬ、彩度差ΔＣ、色相差ΔＨなどの色の要素ごとの差を評価値としてもよい。

【0075】

上述した実施形態においては、検査対象の領域における画素値群の平均値を検査対象の領域に対応する画素値としたが、平均値の算出を行わずに、検査対象の領域における各画素に対して上述した一連の処理を行い、画素単位で評価値を算出してもよい。この場合、評価値の数が膨大となるため、ラインプロファイルやカラーマップなどのグラフ表示により評価値を表示することが好ましい。

【0076】

上述した第２実施形態における白色推定部２０４は、基準白色の値を推定する処理において積分値の比を算出したが、検査対象物を撮像して得られる撮像データを用いる処理ではないため、Ｓ１３０２からＳ１３０５までの処理は予め行っておいてもよい。この場合、白色推定部２０４は、予め算出された積分値の比を取得することにより、Ｓ１３０１及びＳ１３０６のみを行って、基準白色の値を推定することができる。

【符号の説明】

【0077】

１ 画像処理装置
２０２ 取得部
２０４ 白色推定部
２０５ 評価値算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】