特許 7570880 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241015BHJP

   G06T 7/90 20170101ALI20241015BHJP

   G01J 3/46 20060101ALI20241015BHJP

【ＦＩ】

G06T7/70 B

G06T7/90 A

G01J3/46 Z

【請求項の数】 9

(21)【出願番号】P 2020174427

(22)【出願日】2020-10-16

(65)【公開番号】P2022065752

(43)【公開日】2022-04-28

【審査請求日】2023-10-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】松原 瑞氣

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１４－２１５１６９（ＪＰ，Ａ）

【文献】特開２００８－１７６７４０（ＪＰ，Ａ）

【文献】特開２００３－２４１６７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０１Ｊ ３／４６

(57)【特許請求の範囲】

【請求項1】

光輝材を含む物体を撮像して得られる画像データを入力する入力手段と、
前記物体を撮像する際の幾何条件を表す条件情報を取得する取得手段と、
前記光輝材の色情報として、前記画像データが表す画像における輝点の色に対応するヒストグラムを抽出する抽出手段と、
前記条件情報と前記光輝材の色情報とに基づいて、前記物体の対象領域における前記光輝材の分布特性を導出する導出手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記光輝材は、薄膜干渉により観察条件に応じて色が変化する光輝材であることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記導出手段は、前記ヒストグラムに対して、前記光輝材の分布特性を特定するパラメータを用いたフィッティングを行うことにより、前記光輝材の分布特性を導出することを特徴とする請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記パラメータは、前記対象領域における前記光輝材の向きを含むことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記パラメータは、前記光輝材の向きと、前記対象領域に含まれる前記光輝材の個数と、であることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記抽出手段は、前記画像の画素値を二値化することにより、前記輝点を検出することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。

【請求項7】

前記取得手段は、複数の前記対象領域それぞれに対応する前記条件情報を取得し、
前記導出手段は、複数の前記対象領域それぞれに対して前記光輝材の分布特性を導出し、
前記条件情報と前記光輝材の分布特性とに基づいて、複数の前記対象領域の間で前記光輝材の分布特性の違いを評価する評価手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。

【請求項8】

コンピュータを請求項１乃至請求項７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項9】

光輝材を含む物体を撮像して得られる画像データを入力する入力ステップと、
前記物体を撮像する際の幾何条件を表す条件情報を取得する取得ステップと、
前記光輝材の色情報として、前記画像データが表す画像における輝点の色に対応するヒストグラムを抽出する抽出ステップと、
前記条件情報と前記光輝材の色情報とに基づいて、前記物体の対象領域における前記光輝材の分布特性を導出する導出ステップと、
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体に含まれる光輝材に関する特性を導出する技術に関する。

【背景技術】

【0002】

工業製品に対してメタリック塗装やパール塗装を行う際には、光輝材を含む塗料が用いられる。光輝材を含む塗料により塗装された物体の表面を評価する技術として、特許文献１がある。特許文献１は、塗装面上の反射光による画像を基に、光輝材の色と下地材の色とを分離して評価する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－７８６２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

塗装面に関する評価を行う際には、光輝材の色だけでなく、光輝材の分布特性を知りたい場合があるが、特許文献１では光輝材の分布特性を取得することができないという課題がある。

【0005】

そこで本発明は、物体に含まれる光輝材の分布特性を得るための処理を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理装置は、光輝材を含む物体を撮像して得られる画像データを入力する入力手段と、前記物体を撮像する際の幾何条件を表す条件情報を取得する取得手段と、前記光輝材の色情報として、前記画像データが表す画像における輝点の色に対応するヒストグラムを抽出する抽出手段と、前記条件情報と前記光輝材の色情報とに基づいて、前記物体の対象領域における前記光輝材の分布特性を導出する導出手段と、を有することを特徴とする。

【発明の効果】

【0007】

物体に含まれる光輝材の分布特性を得ることができる。

【図面の簡単な説明】

【0008】

【図1】薄膜干渉の原理を説明するための図

【図2】画像処理装置のハードウェア構成を示す図

【図3】画像処理装置の機能構成を示す図

【図4】ユーザインタフェースの例を示す図

【図5】ヒストグラムの例を示す図

【図6】物体を撮像する際の幾何条件を示す図

【図7】光輝材の回転角を示す図

【図8】画像処理装置が実行する処理を示すフローチャート

【図9】カラーチャートの例を示す図

【図10】光輝材において反射する光の光路を説明するための図

【図11】ユーザインタフェースの例を示す図

【図12】物体を撮像する際の幾何条件を示す図

【図13】画像処理装置の機能構成を示す図

【図14】画像処理装置が実行する処理を示すフローチャート

【図15】塗装面における光輝材の分布特性を説明するための図

【発明を実施するための形態】

【0009】

以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、各実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0010】

［第１実施形態］
工業製品の塗装に用いられる塗料に含まれる光輝材の中には、観察角度や光の照射角度等の観察条件に応じて色が変化するものがある。代表的な光輝材としては、マイカに酸化チタン等を被覆した干渉マイカや、シリカに酸化チタン等を被覆したシリカフレークが挙げられる。このような光輝材は、薄膜干渉により観察条件に応じて色が変化する。薄膜干渉を利用する光輝材は、塗料内の分布に応じて輝き方が変化することが知られている。図１５は２種類の塗装を簡易的に表した図であり、塗装面に光輝材が含まれている。図１５（ａ）に示す塗装のように、光輝材の向きが均一である場合、近くに存在する光輝材の間で色は同一となる。一方で、図１５（ｂ）に示す塗装のように、光輝材の向きが不均一である場合、各々の光輝材に対する光の入射角度や観察角度が異なるために、光輝材は様々な色に見える。また、図１５（ａ）と図１５（ｂ）とでは光輝材の個数も異なるため、光輝感と呼ばれる、輝点の位置がキラキラと変わる特性も異なる。すなわち、同じ塗料を用いて塗装したとしても、光輝材の向きや個数が位置によって異なると、異なる見え方となる。

【0011】

そこで、本実施形態においては、光輝材の向きや個数のような、塗装面における光輝材の分布特性に関する情報を、物体を撮像して得られる画像データを基に導出する。尚、本実施形態における対象物体は、光輝材を含んだ塗料を用いて塗装された物体であり、薄膜干渉により観察条件に応じて色が変化する光輝材が用いられる。

【0012】

まず、光輝材において生じる薄膜干渉の原理について図１を参照して説明する。図１に示すように、薄膜干渉を利用する光輝材は、マイカやシリカ等の基材に屈折率の高い媒質を被覆させて作られる。光輝材に対して光が入射した場合、入射光の一部は薄膜の上面において反射する。また、入射光の一部は薄膜の中に入射し、屈折した後に、基材において反射する。その後、薄膜外において、これら２つの反射光が干渉した状態で、撮像装置や人により受光される。この場合の被覆層の厚みをｄ、屈折率をｎ、屈折角をγとすると、この２つの反射光の光路差は２ｄｎｃｏｓγとなる。この光路差が（ｍ＋１／２）λとなる波長λに対応した色が撮像装置や人間により観測される。つまり、以下の式（１）を満たす波長λに対応した色が観測される。

【0013】

【数1】

【0014】

ここで、ｍ＝０，１，２，・・・である。例えば、干渉マイカであれば、屈折率が約２．５の二酸化チタンを被覆層の厚みが８０ｎｍ程度となるようにマイカに被覆させる。ｍ＝０の場合のみ、λが可視光の波長となる。本実施形態においては、ｍ＝０の場合のみλが可視光の波長となるように制御された光輝材を用いる。式（１）にｍ＝０を代入すると、λは式（２）のように表される。

【0015】

【数2】

【0016】

＜画像処理装置のハードウェア構成＞
本実施形態における画像処理装置１のハードウェア構成について、図２を参照して説明する。図２において、画像処理装置１はＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）２０４、汎用Ｉ／Ｆ（インタフェース）２０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ２０６、ＮＩＣ（ネットワークインタフェースカード）２０７を備える。

【0017】

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２、ＨＤＤ（ハードディスクドライブ）２１２等に格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ２０２やＨＤＤ２１２等に格納されたプログラムコードがＲＡＭ２０３に展開され、ＣＰＵ２０１によって実行される。ＶＣ２０４には、表示装置２が接続される。汎用Ｉ／Ｆ２０５には、シリアルバス２０９を介して、マウスやキーボード等の入力デバイス２１０や撮像装置３が接続される。ＳＡＴＡＩ／Ｆ２０６には、シリアルバス２１１を介して、ＨＤＤ２１２や各種記録メディアの読み書きを行う汎用ドライブ２１３が接続される。ＮＩＣ２０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ２０１は、ＨＤＤ２１２や汎用ドライブ２１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ２０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインタフェース）を表示装置２に表示し、入力デバイス２１０を介して受け付けるユーザ指示などの入力を受信する。

【0018】

＜画像処理装置の機能構成＞
図３は画像処理装置１の機能構成を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２又はＨＤＤ２１２に格納されたプログラムを読み出して実行することによって、図３に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ２０１によって実行される必要はなく、処理の一部又は全てがＣＰＵ２０１以外の１つまたは複数の処理回路によって行われるように画像処理装置１が構成されていても良い。

【0019】

画像処理装置１は、入力部３０１、設定部３０２、抽出部３０３、取得部３０４、導出部３０５、出力部３０６を有する。入力部３０１は、光輝材を含む対象物体を撮像して得られる画像データを入力する。本実施形態における画像データが表す画像は、画素ごとに画素値としてＲＧＢ値（Ｒ，Ｇ，Ｂ）を有する。設定部３０２は、ユーザの指示に基づいて、入力された画像データが表す画像において対象領域を設定する。抽出部３０３は、設定部３０２により設定された対象領域から、光輝材の色情報を抽出する。本実施形態における光輝材の色情報は、画像に含まれる輝点のＸＹＺ値ヒストグラムである。ＸＹＺ値ヒストグラムの例を図５に示す。図５のグラフにおいて、Ｘ値、Ｙ値、Ｚ値それぞれが横軸であり、縦軸はその頻度である。

【0020】

取得部３０４は、対象物体を撮像する際の幾何条件を表す条件情報を取得する。本実施形態における取得部３０４は、条件情報として、受光角αを取得する。受光角αについて、図６を参照して説明する。図６は、撮像装置３を用いて対象物体を撮像する際の幾何条件を表している。図６において、対象物体に含まれる光輝材において反射した光が、矢印で示すように、撮像装置３へと入射している。光が反射した位置において、対象物体の塗装面に対して垂線を引いた場合、その垂線と反射光との成す角が受光角αである。本実施形態においては、設定部３０２により設定された対象領域内において、受光角αは均一であるとする。具体的には、対象領域の中心における塗装面に対する垂線と反射光との成す角を受光角αとする。尚、必ずしも対象領域の中心における受光角αを用いる必要はなく、例えば対象領域内の中心以外の点における受光角αを用いても良い。

【0021】

導出部３０５は、光輝材の分布特性に関するモデルのパラメータを用いて算出したＸＹＺ値ヒストグラムを、抽出部３０３により抽出されたＸＹＺ値ヒストグラムに対してフィッティングさせることにより、光輝材の分布特性を導出する。図１５を参照して説明したように、光輝材の向きと個数とが物体の見え方に影響するため、光輝材の向きと個数とを複数のパラメータによりモデル化する。光輝材の個数はＭという１つのパラメータでモデル化することができる。光輝材の向きのモデルについて、図７を参照して説明する。図７に示すように、光輝材は、塗装面と平行な方向を基準として、θ度右回転している状態とする。光輝材の向きは、各光輝材の回転角θの分布を仮定することによりモデル化する。例えば、光輝材の回転角θを式（３）で示すような正規分布の確率密度関数に従うと仮定する。この場合、平均μと標準偏差σとが光輝材の向きのモデルに関するパラメータとなる。尚、式（３）において、回転角θの確率密度関数をｆ（θ）とする。

【0022】

【数3】

【0023】

上述したパラメータ（μ，σ，Ｍ）を用いたＸＹＺ値ヒストグラムの算出方法について、図１０を参照して説明する。図１０は、入射光が光輝材において反射し、反射光が撮像装置３により受光される場合の幾何条件を示している。入射光と被覆層表面に対する垂線との成す角をβとする。被覆層には屈折率の高い媒質が用いられるため、被覆層に入った入射光は屈折する。この屈折角をγとする。屈折した光は基材において反射する。この反射光と塗装面に対する垂線との成す角はα’であり、塗装面から出射する際に屈折した反射光と塗装面に対する垂線とのなす角は上述した受光角αである。塗装面に含まれる塗料の屈折率をｎ、空気の屈折率を１とすると、スネルの法則により、式（４）が成り立つ。

【0024】

【数4】

【0025】

同様に、被覆層の屈折率をｎ２とすると、式（５）が成り立つ。

【0026】

【数5】

【0027】

また、式（６）も成り立つ。

【0028】

【数6】

【0029】

式（５）に式（６）を代入すると、式（７）が成り立つ。

【0030】

【数7】

【0031】

式（２）に式（７）を代入すると、式（８）が成り立つ。

【0032】

【数8】

【0033】

式（４）と式（８）とを基に、塗料の屈折率をｎと、被覆層の厚みｄと、受光角αと、回転角θと、を用いて、撮像装置３により観測される色に対応する波長λを算出することができる。本実施形態においては、屈折率ｎ及びｎ２と被覆層の厚みｄとは予め決められた定数である。導出部３０５は、算出した波長λに対して等色関数を適用することによりＸＹＺ値ヒストグラムを算出し、パラメータ（μ，σ，Ｍ）を調整しながら、抽出部３０３により抽出されたＸＹＺ値ヒストグラムに対するフィッティングを行う。

【0034】

具体的には、導出部３０５は、あるパラメータの組み合わせ（μ’，σ’，Ｍ’）に対して、（―π，π）の範囲で確率密度関数ｆ（θ）に従う任意の個数Ｎ個の乱数をθとして生成する。さらに、式（８）にθを代入すると、Ｎ個のλを算出することができる。λを算出する際には、取得部３０４が取得した受光角αを基に式（４）を用いてα’を算出し、式（８）に代入する。導出部３０５は、算出した波長λに対して等色関数を適用することによりＸＹＺ値ヒストグラムを算出する。ただし、このＸＹＺ値ヒストグラムは任意の個数Ｎ個に対応した面積となっているため、パラメータＭ個に対応した面積とするために、ＸＹＺ値ヒストグラムをＭ／Ｎ倍する。

【0035】

導出部３０５は、算出したＸＹＺ値ヒストグラムが抽出部３０３により抽出されたＸＹＺ値ヒストグラムと類似度が高くなるように、パラメータ（μ，σ，Ｍ）を調整する。導出部３０５は、Ｘ値、Ｙ値、Ｚ値それぞれのヒストグラムに対して、ヒストグラム同士が重複する領域の面積やカルバック・ライブラーダイバージェンスを算出し、その合計値を類似度とする。導出部３０５は、いくつかのパラメータの組み合わせに対して類似度を算出し、算出した複数の類似度のうち最も高い類似度に対応するパラメータの組み合わせを、光輝材の分布特性の導出結果とする。尚、遺伝的アルゴリズム法や、レーベンバーグ・マーカート法、ガウス・ニュートン法等の公知の最適化手法を用いてパラメータの組み合わせを決定しても良い。

【0036】

出力部３０６は、導出部３０５により導出された光輝材の分布特性を表す分布情報を出力する。

【0037】

＜画像処理装置が実行する処理＞
図８は画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。Ｓ８０１において、入力部３０１は、ユーザの指示に基づいて、画像データを入力する。ユーザの指示を受け付けるためのＵＩの例を図４に示す。入力領域４０１は、ユーザがＨＤＤ２１２等に保存された画像データへのファイルパスを入力するための領域である。入力部３０１は、入力されたファイルパスが示す画像データを読み取り、画像データが表す画像を画像表示領域４０２に表示する。

【0038】

Ｓ８０２において、設定部３０２は、ユーザの指示に基づいて、入力された画像データが表す画像において対象領域を設定する。具体的には、設定部３０２は、入力デバイス２１０を用いたユーザの領域指定を画像表示領域４０２において受け付ける。尚、対象領域の設定方法はユーザの指示に基づく方法に限られず、例えば画像における対象領域の位置情報を予めＨＤＤ２１２等に保存しておき、設定部３０２がＨＤＤ２１２等から位置情報を読み取っても良い。この方法によれば、毎度同じ位置に所望の対象領域が設置されるような工場のライン検査等において、ユーザが領域指定を何度も行うことなく対象領域を設定することができる。尚、対象領域は、円形や長方形等の形で設定される。

【0039】

Ｓ８０３において、抽出部３０３は、Ｓ８０２において設定された対象領域に含まれる画素の画素値を変換する。具体的には、抽出部３０３は、以下の式（９）を用いて、ＲＧＢ値（Ｒ，Ｇ，Ｂ）をＸＹＺ値（Ｘ，Ｙ，Ｚ）に変換する。

【0040】

【数9】

【0041】

尚、色変換規則を示す情報として用いられるマトリクスに含まれる係数ａ０～ａ８は、例えば図９に示すカラーチャートに対する、撮像装置３を用いた撮像及び分光放射輝度計を用いた測定により予め導出しておく。カラーチャートに対する撮像及び測定は、対象物体を撮像する際の照明環境と同様の照明環境において行われる。係数ａ０～ａ８を導出する際には、撮像画像における２４個のパッチそれぞれについてＲＧＢ値の平均値を算出する。算出したＲＧＢ値の平均値それぞれを式（９）により変換して得られるＸＹＺ値が、対応するパッチの測定値（ＸＹＺ値）に近づくように、最小二乗法により係数ａ０～ａ８を導出する。

【0042】

Ｓ８０４において、抽出部３０３は、対象領域において輝点を検出する。具体的には、抽出部３０３は、対象領域におけるＹ値の平均値を閾値に設定し、設定した閾値を用いて各画素のＹ値に対して二値化処理を行う。二値化処理により、Ｙ値は高輝度領域を示す１又は非高輝度領域を示す０となる。抽出部３０３は、Ｙ値が１である画素を輝点を構成する画素として検出する。輝点が複数の画素から構成される場合、その連結成分を算出し、連結成分内のＸ値、Ｙ値、Ｚ値それぞれの平均値を算出する。尚、本実施形態においては、Ｙ値は輝点の検出のためだけに二値化されるため、連結成分内の平均値の算出や以降の処理に用いられるＹ値には二値化前の値が用いられる。

【0043】

Ｓ８０５において、抽出部３０３は、Ｓ８０４において検出した輝点に基づいて、光輝材の色情報を抽出する。具体的には、抽出部３０３は、輝点のＸ値、Ｙ値、Ｚ値それぞれをヒストグラム化する。ここで、ＸＹＺ値ヒストグラムそれぞれの面積は、検出された輝点の個数である。

【0044】

Ｓ８０６において、取得部３０４は、対象物体を撮像する際の幾何条件を表す条件情報を取得する。具体的には、取得部３０４は、Ｓ８０２において設定された対象領域及び撮像装置３の向きや位置関係により決まる受光角αを取得する。本実施形態における取得部３０４は、ユーザにより入力された値を受光角αとして取得する。尚、対象領域の設定と同様に、測定器を用いて測定した受光角αを予めＨＤＤ２１２等に保存しておき、取得部３０４がＨＤＤ２１２等から受光角αを読み取っても良い。また、対象物体が撮像装置３と正対している場合、取得部３０４は、受光角αを画像を基に算出してもよい。具体的には、取得部３０４は、画像における対象領域の中心と主点との距離［Ｐｉｘｅｌ］を算出し、画素ピッチを掛け合わせることにより、センサ上の距離［ｍｍ］を取得する。取得部３０４は、ａｒｃｔａｎ（センサ上の距離［ｍｍ］／焦点距離［ｍｍ］）を受光角αとして算出する。また、例えば、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）センサ等を用いて三辺測量を行い、受光角αを算出しても良い。

【0045】

Ｓ８０７において、導出部３０５は、Ｓ８０５において色情報として抽出したＸＹＺ値ヒストグラムに対して、光輝材の分布特性に関するモデルのパラメータを用いて算出したＸＹＺ値ヒストグラムをフィッティングさせる。導出部３０５は、ヒストグラムのフィッティングにより、パラメータ（μ，σ，Ｍ）を光輝材の分布特性を表す分布情報として導出する。Ｓ８０８において、出力部３０６は、導出部３０５により導出された光輝材の分布特性を表す分布情報を表示装置２に出力する。具体的には、出力部３０６は、図４に示す結果表示領域４０３にパラメータ（μ，σ，Ｍ）を表示する。尚、分布情報の出力方法は表示装置２に表示する方法に限られず、例えばＨＤＤ２１２等に保存されているｃｓｖファイルやｔｘｔファイルに書き込むことにより出力してもよい。

【0046】

＜第１実施形態の効果＞
以上で説明したように、本実施形態における画像処理装置は、光輝材を含む物体を撮像して得られる画像データを入力する。物体を撮像する際の幾何条件を表す条件情報を取得する。画像データに基づいて、物体の対象領域における光輝材の色情報を抽出する。条件情報と光輝材の色情報とに基づいて、対象領域における光輝材の分布特性を導出する。これにより、物体に含まれる光輝材の分布特性を得ることができる。

【0047】

＜変形例＞
本実施形態においては、光輝材の分布特性を特定するパラメータを光輝材の向きと個数との２つとしたが、光輝材の向きのみであっても良い。つまり、フィッティングパラメータは（μ，σ）となる。この場合、類似度算出の前にヒストグラムの面積をそろえる必要があるため、面積が１となるように各ヒストグラムを正規化する。

【0048】

また、本実施形態においては、ｍ＝０の場合のみλが可視光の波長となるように制御された光輝材を用いたが、ｍ＝１以上の場合にもλが可視光の波長となるように制御された光輝材を用いても良い。この場合、式（１）にｍ＝０，１，２，・・・を代入していき、可視光の範囲に含まれる波長λを算出する。

【0049】

また、本実施形態における抽出部３０３は、輝点が複数の画素から構成される場合に連結成分内のＸ値、Ｙ値、Ｚ値それぞれの平均値を算出したが、統計量は平均値でなく中央値等であっても良い。この場合、ヒストグラムを光輝材の個数によって正規化することが困難となるため、面積が１となるように各ヒストグラムを正規化した後に類似度を算出する。

【0050】

また、本実施形態における導出部３０５は、回転角θの分布のモデルを正規分布としたが、他の分布を用いても良い。例えば、複数種類の光輝材が塗料に含まれていると仮定した場合には混合ガウス分布を用いても良いし、フォン・ミーゼス分布を用いても良い。

【0051】

また、導出部３０５がレーベンバーグ・マーカート法等の最適化手法を用いる場合、複数のパラメータに対して対象領域が１つのみだと解が定まらないことがある。この場合、設定部３０２が設定した対象領域を分割し、分割により得られた各領域のＸＹＺ値ヒストグラムを算出することによりデータ数を確保しても良い。また、設定部３０２がユーザの指示に基づいて複数の対象領域を設定しても良い。

【0052】

また、本実施形態においては、色情報としてＸＹＺ値を用いたが、ＲＧＢ値やＬ^＊ａ^＊ｂ^＊値等他の色空間における値を用いても良い。

【0053】

また、本実施形態においては、入力される画像データが表す画像は画素毎にＲＧＢ値を有していたが、他の色空間の値を画素値として有していても良い。また、分光情報のようにＲＧＢとは異なる波長領域に対応する値や３チャネル以上の値を画素値として有していても良い。

【0054】

［第２実施形態］
第１実施形態においては、対象領域に含まれる光輝材の分布特性を導出し、表示装置に出力した。本実施形態においては、観察条件の異なる２つの対象領域間で光輝材の分布特性の違いを評価する。尚、本実施形態における画像処理装置のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

【0055】

＜光輝材の分布特性の評価＞
図１１に示すように、対象物体における領域１１０１と、領域１１０１とは異なる領域１１０２と、で光輝材の色情報の比較を行うことにより、２領域間の光輝材の分布特性の違いを評価することを考える。図１２は、撮像装置３を用いて各対象領域を撮像する際の幾何条件を表している。図１２に示すように、領域１１０１に対応する受光角α１と、領域１１０２に対応する受光角α２と、は異なる。式（４）及び式（８）に示すように、観測される光輝材の色は受光角αと回転角θとにより影響を受ける。２領域間で光輝材の色情報を比較する場合、その違いが受光角の違いに起因するものか、光輝材の分布特性の違いに起因するものかを特定できない。

【0056】

そこで本実施形態においては、領域１１０１の光輝材の分布特性を導出し、導出した分布特性に基づいて、領域１１０１が領域１１０２に対応する観察条件（受光角α２）において撮像された場合の光輝材の色情報（以下、仮想色情報と呼ぶ）を算出する。算出した領域１１０１の光輝材の仮想色情報と、領域１１０２の光輝材の色情報と、を比較することにより、２領域間の光輝材の分布特性の違いを評価する。このように、観察条件を一致させて光輝材の色情報を比較することにより、２領域間の光輝材の分布特性の違いを高精度に評価することができる。

【0057】

＜画像処理装置の機能構成＞
図１３は画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、入力部３０１、設定部３０２、抽出部３０３、取得部３０４、導出部３０５、算出部１３０１、評価部１３０２、出力部３０６を有する。算出部１３０１は、領域１１０１の光輝材の分布特性と、領域１１０２に対応する幾何条件と、に基づいて、領域１１０１の光輝材の仮想色情報を算出する。評価部１３０２は、領域１１０１の光輝材の仮想色情報と領域１１０２の光輝材の色情報との類似度を評価値として算出する。

【0058】

＜画像処理装置が実行する処理＞
図１４は画像処理装置１が実行する処理を示すフローチャートである。Ｓ１４０１において、入力部３０１は、ユーザの指示に基づいて、画像データを入力する。Ｓ１４０２において、設定部３０２は、ユーザの指示に基づいて、入力された画像データが表す画像において領域１１０１と領域１１０２とを対象領域として設定する。

【0059】

Ｓ１４０３において、抽出部３０３は、Ｓ１４０２において設定された対象領域それぞれについて、ＲＧＢ値（Ｒ，Ｇ，Ｂ）をＸＹＺ値（Ｘ，Ｙ，Ｚ）に変換する。Ｓ１４０４において、抽出部３０３は、対象領域それぞれにおいて輝点を検出する。Ｓ１４０５において、抽出部３０３は、Ｓ１４０４において検出した輝点に基づいて、対象領域それぞれに対応する光輝材の色情報を抽出する。

【0060】

Ｓ１４０６において、取得部３０４は、対象領域それぞれについて、対象物体を撮像する際の幾何条件を表す条件情報を取得する。具体的には、取得部３０４は、上述した受光角α１と受光角α２とを取得する。Ｓ１４０７において、導出部３０５は、領域１１０１に対応する色情報として抽出したＸＹＺ値ヒストグラムに対して、光輝材の分布特性に関するモデルのパラメータを用いて算出したＸＹＺ値ヒストグラムをフィッティングさせる。導出部３０５は、第１実施形態と同様に、ｆ（θ）として正規分布を用いる。ここで決まるパラメータを（μ１，σ１，Ｍ１）とする。

【0061】

Ｓ１４０８において、算出部１３０１は、領域１１０１に対応する光輝材の分布特性を表す分布情報と、領域１１０２に対応する幾何条件を表す条件情報と、に基づいて、領域１１０１に対応する光輝材の仮想色情報を算出する。具体的には、算出部１３０１は、式（１０）に示すｆ（θ）に基づく回転角θの乱数をＮ個生成する。

【0062】

【数10】

【0063】

また、以下の式（１１）及び式（１２）が成り立つ。

【0064】

【数11】

【0065】

【数12】

【0066】

算出部１３０１は、式（１２）に対して、生成したＮ個のθを代入することにより、Ｎ個の波長λを算出する。算出部１３０１は、算出した波長λと等色関数とに基づいてＸＹＺ値ヒストグラムを算出し、算出したＸＹＺ値ヒストグラムをＭ１／Ｎ倍することにより正規化する。

【0067】

Ｓ１４０９において、評価部１３０２は、Ｓ１４０８において仮想色情報として算出されたＸＹＺ値ヒストグラムと、Ｓ１４０５において抽出された領域１１０２に対応するＸＹＺ値ヒストグラムと、の類似度を評価値として算出する。類似度としては、上述したように、ヒストグラム同士が重複する領域の面積やカルバック・ライブラーダイバージェンス等を用いることができる。Ｓ１４１０において、出力部３０６は、評価部１３０２により算出された評価値を表示装置２に出力する。

【0068】

＜第２実施形態の効果＞
以上で説明したように、本実施形態における画像処理装置は、観察条件が異なる２つの対象領域について、一方の対象領域の観察条件を他方の対象領域の観察条件に合わせた場合の色情報を算出する。算出した色情報に基づいて、２領域間の光輝材の分布特性の違いを評価する。これにより、製品間や部品間等、２領域間の光輝材の分布特性の違いを高精度に評価することができる。

【0069】

＜変形例＞
本実施形態においては、領域１１０１の観察条件を領域１１０２の観察条件に合わせるように仮想色情報を算出したが、領域１１０１の観察条件と領域１１０２の観察条件との両方を目標の観察条件に合わせるように各対象領域の仮想色情報を算出しても良い。この場合、Ｓ１４０７において、導出部３０５は、領域１１０１と領域１１０２とのそれぞれについて光輝材の分布特性を導出する。Ｓ１４０８において、算出部１３０１は、目標の観察条件において各対象領域を撮像した場合の仮想色情報を算出する。尚、目標の観察条件は、例えば、Ｓ１４０６において取得部３０４が条件情報として取得しておけば良い。Ｓ１４０９において、評価部１３０２は、領域１１０１の仮想色情報と領域１１０２の仮想色情報との類似度を評価値として算出する。これにより、任意の観察条件における２領域間の光輝材の分布特性の違いを評価することができる。

【0070】

また、本実施形態においては、２領域間の光輝材の分布特性の違いを評価するために光輝材の色情報の比較を行ったが、仮想色情報を算出せずに、光輝材の分布特性同士を直接比較しても良い。この場合、Ｓ１４０７において、導出部３０５は、領域１１０１と領域１１０２とのそれぞれについて光輝材の分布特性を導出する。Ｓ１４０８の処理は行われず、Ｓ１４０９において、評価部１３０２は、領域１１０１に対応する分布情報（μ１，σ１，Ｍ１）と領域１１０２に対応する分布情報（μ２，σ２，Ｍ２）との差分を評価値として算出する。具体的には、評価部１３０２は、評価値として、｜σ１－σ２｜、｜μ１－μ２｜、｜Ｍ１－Ｍ２｜を算出する。これにより、画像処理装置１が仮想色情報を算出する算出部１３０１を有していなくても、２領域間の光輝材の分布特性の違いを評価することができる。

【0071】

また、本実施形態においては、２領域間の光輝材の分布特性の違いを評価したが、対象領域の数は２つに限られず、３つ以上であってもよい。

【0072】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0073】

１ 画像処理装置
３０１ 入力部
３０３ 抽出部
３０４ 取得部
３０５ 導出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】