特許 7451611 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240311BHJP

【ＦＩ】

G06T7/00 610Z

【請求項の数】 14

(21)【出願番号】P 2022109788

(22)【出願日】2022-07-07

(65)【公開番号】P2024008162

(43)【公開日】2024-01-19

【審査請求日】2023-04-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】神野 敬行

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２００３－２０２２１６（ＪＰ，Ａ）

【文献】特開２０２０－１５３７５９（ＪＰ，Ａ）

【文献】特開２０１６－１６６８４２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０１０３８５４（ＵＳ，Ａ１）

【文献】特開２００１－２９６２５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

物体を撮像して得られる画像データを取得する第１取得手段と、
前記物体を撮像した撮像装置に対する、前記物体の表面上の位置ごとの角度情報を取得する第２取得手段と、
前記画像データに基づく光学プロファイルを前記角度情報に基づいて補正することにより、前記物体の表面に映る像の属性を表す光学プロファイルを取得する第３取得手段と、
前記取得された光学プロファイルを基に、前記物体の表面の状態を評価する評価手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記第３取得手段は、前記光学プロファイルとして、前記物体の表面上の位置による画素値の変化を表す情報を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記物体の表面に映る像は、幅が均一な直線状の照明が当該物体の表面に投影された照明像であり、
前記第３取得手段は、前記照明像の画像を基に前記光学プロファイルを取得し、
前記第２取得手段は、前記照明像の画像における位置ごとの幅の変化率を基に、前記物体の表面上の前記位置ごとの角度情報を取得することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記第３取得手段は、前記照明像の画像における第１エッジの近似線および第２エッジの近似線を基に前記光学プロファイルを取得し、
前記第２取得手段は、前記照明像の画像における第１エッジの近似線と第２エッジの近似線との間の位置ごとの距離の変化率を、前記照明像の画像における位置ごとの幅の変化率として取得することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記第２取得手段は、
前記照明像の画像における位置ごとの幅の変化率と、前記撮像装置が前記物体の表面と正対する位置での角度に対するズレ角度との対応関係を表す情報を保持し、
前記照明像の画像における位置ごとの幅の変化率を基に前記対応関係を表す情報から得た前記ズレ角度を、前記物体の表面上の前記位置ごとの角度情報として取得することを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記第２取得手段は、前記第１エッジの近似線と前記第２エッジの近似線との間の中心線上の各位置において当該中心線と直交する方向に対する、前記第１エッジの近似線上の第１交点と、前記第２エッジの近似線上の第２交点との間の距離の変化率を、前記照明像の画像における位置ごとの幅の変化率として取得することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記第２取得手段は、前記物体の奥行き情報を取得し、当該奥行き情報を基に、前記物体の表面上の位置ごとの角度情報を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記照明像のエッジの近似線の方向と所定の方向との間の角度が閾値を超える場合には所定の通知を出力する出力手段を更に有することを特徴とする請求項４に記載の画像処理装置。

【請求項9】

前記光学プロファイルは、前記照明像のエッジの近似線上の輝度情報であることを特徴とする請求項４に記載の画像処理装置。

【請求項10】

前記光学プロファイルは、前記照明像のエッジの歪みを表す情報であることを特徴とする請求項４に記載の画像処理装置。

【請求項11】

前記第３取得手段は、前記光学プロファイルのサンプリング間隔を補正することを特徴とする請求項１に記載の画像処理装置。

【請求項12】

前記評価手段は、前記光学プロファイルの周波数特性を基に前記物体の表面の状態を評価することを特徴とする請求項１に記載の画像処理装置。

【請求項13】

物体を撮像して得られる画像データを取得する第１取得工程と、
前記物体を撮像した撮像装置に対する、前記物体の表面上の位置ごとの角度情報を取得する第２取得工程と、
前記画像データに基づく光学プロファイルを前記角度情報に基づいて補正することにより、前記物体の表面に映る像の属性を表す光学プロファイルを取得する第３取得工程と、
前記取得された光学プロファイルを基に、前記物体の表面の状態を評価する評価工程と、
を有することを特徴とする画像処理方法。

【請求項14】

コンピュータを、
物体を撮像して得られる画像データを取得する第１取得手段と、
前記物体を撮像した撮像装置に対する、前記物体の表面上の位置ごとの角度情報を取得する第２取得手段と、
前記画像データに基づく光学プロファイルを前記角度情報に基づいて補正することにより、前記物体の表面に映る像の属性を表す光学プロファイルを取得する第３取得手段と、
前記取得された光学プロファイルを基に、前記物体の表面の状態を評価する評価手段と、
を含む画像処理装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の表面状態を評価する画像処理技術に関する。

【背景技術】

【0002】

工業デザインの分野において、意匠性・高級感に寄与の高い物体の表面状態の定量評価は重要である。この評価のため、１次元の反射強度プロファイルを計測する接触式計測装置が市販されている。しかしながらこの非接触式計測装置は、１回の計測で１ライン分の評価しかできず、また製品を非接触で計測することができない。これに対し特許文献１には、評価対象の物体表面に映り込んだ投影パターンを撮像装置で撮像し、その撮像画像から投影パターンの形状変動量を算出し、その形状変化量と予め取得した官能評価情報とを基に物体の表面状態を評価する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１７３３００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された技術は、平面状の物体表面の状態を評価することを想定しているため、物体表面が平面状でない場合にはその表面状態を精度良く評価することができない。

【0005】

そこで、本発明は、物体表面が平面状でない場合でも表面状態を評価可能にすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、物体を撮像して得られる画像データを取得する第１取得手段と、前記物体を撮像した撮像装置に対する、前記物体の表面上の位置ごとの角度情報を取得する第２取得手段と、前記画像データに基づく光学プロファイルを前記角度情報に基づいて補正することにより、前記物体の表面に映る像の属性を表す光学プロファイルを取得する第３取得手段と、前記取得された光学プロファイルを基に、前記物体の表面の状態を評価する評価手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、物体表面が平面状でない場合でも表面状態を評価可能となる。

【図面の簡単な説明】

【0008】

【図1】画像処理装置の構成例を示す図である。

【図2】画像処理装置が実行する画像処理のフローチャートである。

【図3】評価対象の物体の撮像方法を模式的に示す図である。

【図4】ＧＵＩの一例を示す図である。

【図5】ＧＵＩにおける状態遷移を説明する図である。

【図6】撮像画像における評価対象領域を模式的に示す図である。

【図7】光学プロファイル取得処理のフローチャートである。

【図8】評価対象領域内の画像例と二値化処理後の画像例を示す図である。

【図9】評価対象領域内の画像に基づくエッジ点群と近似曲線を示す図である。

【図10】近似曲線に対応する光学プロファイルをグラフとして示す図である。

【図11】光学プロファイルに基づく角度取得処理のフローチャートである。

【図12】照明像の幅（距離）と距離変化率を示す図である。

【図13】距離変化率とＸ方向位置に対する正対からのズレ角度を示すである。

【図14】補正後の光学プロファイルをグラフとして示す図である。

【図15】Ｘ方向、補正前後の近似曲線の各位置と画素値の関係を示す図である。

【図16】評価値取得処理のフローチャートである。

【図17】光学プロファイルの空間周波数特性を示す図である。

【図18】角度取得対象の着目画素とその近傍の奥行情報を示す図である。

【図19】第２実施形態におけるエッジ点群の近似曲線を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。

【0010】

＜物体表面状態の評価例の説明＞
本実施形態では、工業デザインの分野において意匠性・高級感に寄与する物体表面の状態の一例である、いわゆる「ゆず肌」の評価を行う際の画像処理を例に挙げて説明する。ゆず肌は、オレンジピールやガン肌とも呼ばれ、物体の表面に細かい凹凸が生じている状態である。例えば、自動車のボディを塗装する際に、スプレーガンなどを用いて塗布された塗料がボディ表面において滑らかになる前に固まってしまうことがある。この場合、ボディの表面に微細な凹凸が生じてしまう。この状態がゆず肌と呼ばれ、ボディの表面は意図していた滑らかな光沢のある表面とは異なるため、自動車の意匠性・高級感が低下する。本実施形態の画像処理装置では、評価対象の物体表面を撮像した画像から物体表面のゆず肌の度合いを評価する評価値を導出し、その評価値をユーザに提示することで、意図していないゆず肌がどの程度発生しているかを、ユーザに知らせる。なお、ゆず肌の度合いは、物体表面の凹凸の度合い、あるいは粗さの度合いと言い換えることもできる。また、ゆず肌の状態は、凹凸の周期が大きいものから小さいものまでさまざまな種類が存在し、ゆず肌の状態における凹凸の周期は空間周波数として表すことができる。ゆず肌の凹凸の周期が大きい場合、空間周波数は低周波数となり、凹凸の周期が小さい場合、空間周波数は高周波数となる。本実施形態では、評価対象の物体の表面を撮像装置によって撮像した画像（以下、撮像画像とする）から、当該物体の表面状態の評価値を取得する。本実施形態では、塗装により生ずるゆず肌を評価する例を想定しているため、画像処理装置は、塗装が行われた後の評価対象の物体の撮像画像を基に評価値を導出するものとする。

【0011】

本実施形態では、前述したように、評価対象の物体を撮像装置により撮像した画像を用いて、当該物体の表面状態を評価する。ここで、評価対象が略平面ではなく立体形状を有する物体である場合、撮像装置に対する物体表面の角度は当該物体表面の位置ごとに異なる。このように物体表面の位置によって撮像装置に対する物体表面の角度が異なると、物体表面に映り込んだ像の投影パターンの形状変動量も位置により異なってしまうことになる。このため、物体表面として平面を想定した前述の特許文献１の技術では、物体の表面状態を評価することができない。

【0012】

本実施形態では、物体表面の位置によって撮像装置に対する角度が異なる場合であっても、その物体の表面状態を精度良く評価可能とする画像処理装置の構成および処理について説明する。

【0013】

＜画像処理装置のハードウェア構成＞
図１（ａ）は、本実施形態に係る画像処理装置１のハードウェア構成例を示した図である。
画像処理装置１は、ＣＰＵ（中央処理ユニット）１０１、ＲＯＭ（リードオンリメモリ）１０２、ＲＡＭ（ランダムアクセスメモリ）１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。なお、後述する本実施形態にかかるフローチャートの処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。

【0014】

＜第１実施形態に係る画像処理装置の機能構成＞
図１（ｂ）は、第１実施形態に係る画像処理装置１の機能構成を示す機能ブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図１（ｂ）に示す各機能部として機能する。なお、以下に示す各機能部の処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置が構成されていてもよい。

【0015】

画像処理装置１は、画像取得部１５１、光学プロファイル導出部１５２、角度導出部１５３、補正部１５４、評価値導出部１５５、および出力部１５６を有する。
画像取得部１５１は、撮像装置１１１により評価対象の物体を撮像した撮像画像データを取得する。画像取得部１５１が取得する画像データは、予め撮像装置１１１によって評価対象の物体を撮像してＨＤＤ１１３等に保存されているデータであるとする。以下、特に区別して説明する必要がある場合を除き、画像データを単に「画像」と省略して記すことにする。

【0016】

光学プロファイル導出部１５２は、画像取得部１５１にて取得された画像から、後述する光学プロファイル取得処理により評価対象の物体の表面に映る像の属性を表す光学プロファイルを算出する。物体の表面に映る像の属性を表す光学プロファイルは、評価対象の物体の表面に映り込んでいる投影像を撮像した画像において当該物体の表面上の位置による画素値の変化を表した情報と言い換えることができる。本実施形態では、例えば直線状の照明光源で評価対象の物体を照明した状態で、その物体の表面に映り込んでいる照明光源の投影像（以下、照明像とする）を撮像する例を挙げている。つまり本実施形態の場合、光学プロファイル導出部１５２は、その撮像画像内に含まれる照明像の、物体表面上の位置による画素値の変化を表す光学プロファイルを取得する。

【0017】

角度導出部１５３は、撮像装置１１１にて得られた撮像画像から角度情報を取得する。本実施形態の角度導出部１５３は、撮像画像に写っている照明光源の投影像である照明像を基に、撮像装置に対する物体表面の各位置における角度情報を算出する。角度導出部１５３における角度取得処理の詳細は後述する。

【0018】

補正部１５４は、光学プロファイル導出部１５２にて取得された光学プロファイルを補正するための補正値を取得し、その補正値を基に光学プロファイルを補正する。本実施形態の場合、補正部１５４は、角度導出部１５３にて物体表面の位置ごとに取得された角度情報に基づいて光学プロファイルの補正値を算出する。補正部１５４にて行われる角度情報に基づく補正値取得処理、および、その補正値を用いた光学プロファイル補正処理の詳細は後述する。

【0019】

評価値導出部１５５は、補正部１５４による補正後の光学プロファイルから、後述する評価値取得処理によって評価値（本実施形態の場合はゆず肌評価値）を導出する。
出力部１５６は、補正部１５４によって補正された後の光学プロファイルと、評価値導出部１５５によって導出された評価値とを出力する。

【0020】

＜画像処理装置の動作および画像処理＞
図２は、図１（ａ）および図１（ｂ）に示した画像処理装置における動作および画像処理の流れを示したフローチャートである。なお、これ以降の各フローチャートの説明では、各処理工程（ステップ）については先頭に符号の「Ｓ」を付けることで、各処理工程（ステップ）の表記を省略する。ただし、画像処理装置は、以降の各フローチャートで説明するすべての処理工程を必ずしも行わなくてもよい。また、以降の各フローチャートにおける各処理工程の順番は適宜変更されてもよい。

【0021】

Ｓ２０１において、ＣＰＵ１０１は、ＨＤＤ１１３に格納されたプログラムを実行することで、後述する図４に示すようなＧＵＩ（グラフィカルユーザインタフェース）をディスプレイ１１５に表示する。図４に示されるＧＵＩの詳細は後述する。

【0022】

Ｓ２０２において、画像取得部１５１は、後述する図４のＧＵＩを介したユーザからの指示に基づいて撮像画像を取得する。なお、Ｓ２０２において画像取得部１５１が取得する画像は、後述する図３で説明するような撮像方法で撮像装置１１１が評価対象の物体を撮像してＨＤＤ１１３に保持されている画像である。すなわち画像取得部１５１は、図４のＧＵＩを介したユーザからの指示に基づいてＨＤＤ１１３から画像を取得する。

【0023】

Ｓ２０３において、光学プロファイル導出部１５２は、後述する図４のＧＵＩを介してユーザが撮像画像に対して指定した評価対象領域を示す範囲指定データを取得する。
次にＳ２０４において、光学プロファイル導出部１５２は、Ｓ２０３で撮像画像に対して指定された評価対象領域内の画像から、後述するようにして光学プロファイルを算出する。

【0024】

Ｓ２０５において、角度導出部１５３は、撮像画像に写っている照明光源の投影像である照明像を基に、撮像装置に対する物体表面の位置ごとの角度情報を導出する。角度導出部１５３における角度取得処理の詳細は後述する。

【0025】

次にＳ２０６において、補正部１５４は、角度導出部１５３にて導出された角度情報を基に補正値を算出する。補正値導出処理の詳細は後述する。
さらに次のＳ２０７において、補正部１５４は、Ｓ２０６にて導出した補正値を用いて、光学プロファイルを補正する。光学プロファイル補正処理の詳細は後述する。

【0026】

そしてＳ２０８において、評価値導出部１５５は、Ｓ２０７で補正された後の光学プロファイルを基に、評価値（ゆず肌評価値）を算出する。評価値取得処理の詳細は後述する。
その後、Ｓ２０９において、出力部１５６は、評価値をディスプレイ１１５に出力する。

【0027】

＜評価対象物体の撮像方法＞
図３は、評価対象の物体を撮像する際の撮像方法の一例を示した模式図である。物体３０１は、撮像装置３０２によって撮像される被写体であり、本実施形態における評価対象の物体である。照明光源３０３は、発光面が直線状（矩形形状）の照明光源であり、物体３０１と接しないように、ある距離だけ離れた位置に設置されている。なお、照明光源３０３の発光面は拡散面であることが望ましい。また、照明光源３０３における矩形形状の発光面の短辺方向の幅は、長辺方向の位置によらず均一とみなせる幅になされている。撮像装置３０２は、デジタルカメラ等であり、物体３０１と接しないように離れた位置に設置されている。なお、撮像装置３０２は、図１（ａ）の撮像装置１１１である。これら照明光源３０３と物体３０１との間の距離、撮像装置３０２と物体３０１との間の距離は、それぞれ変化しない一定の距離となされている。なお図３（ａ）は、物体３０１、撮像装置３０２、および照明光源３０３を真上から観察した様子を示し、図３（ｂ）は真横から観察した様子を示している。

【0028】

図３に示した撮像方法において、照明光源３０３からの光の一部は物体３０１の表面に投影され、したがって当該物体表面には照明光源３０３からの光が照明像３０４として映り込んでいる。撮像装置３０２は、照明像３０４を含む物体３０１の表面を撮像する。前述したＨＤＤ１１３に保持されている撮像画像は、図３に示すような撮像方法で撮像された画像である。

【0029】

ここで、照明光源３０３は発光面が矩形状の光源であるため、例えば、評価対象の物体の表面が平面状であれば、その物体表面に投影された照明像のエッジは概ね直線状になる。一方で、評価対象の物体の表面が立体形状を有している場合、一例として、物体表面が曲面である場合には、照明像のエッジは、当該物体表面の曲面に応じた線（例えば曲線）になる。なお、評価対象の物体表面における立体形状の例は曲面に限らず、他の形状である場合も想定されるが、この場合も物体表面に投影された照明像のエッジはその立体形状に応じた線になる。図３では評価対象として球状の物体３０１を例に挙げているため、当該物体３０１の表面に映り込んだ照明像３０４のエッジは曲線になっている。また、物体３０１の表面が滑らかな面である場合、照明像３０４のエッジの曲線は滑らかな曲線になるはずである。これに対し、物体３０１の表面に凹凸がある場合、照明像３０４のエッジは歪みのあるいわゆるガタついた線となる。本実施形態では、この物体３０１の表面に映り込んでいる照明像３０４のエッジ近傍の状態から光学プロファイルを導出し、その光学プロファイルを基に、ゆず肌の度合いを評価するための評価値を導出する。なお本実施形態では、塗装前の表面が滑らかな評価対象の物体に対して塗装が行われた後の、その塗装面におけるゆず肌を評価するための評価値を導出する例を想定している。

【0030】

＜ＧＵＩ＞
図４は、ディスプレイ１１５に表示されるＧＵＩ４の一例を示した図である。
画像表示ウィンドウ４０１は、撮像装置１１１にて撮像されてＨＤＤ１１３に保持されている撮像画像の中から、ユーザ指示に応じて選択された画像が表示されるウィンドウである。画像選択ボタン４０２は、ＨＤＤ１１３に保持されている撮像画像の中から、画像表示ウィンドウ４０１に表示する画像を選択する際にユーザにより押下等の操作がなされるボタンである。評価対象領域４０３は、画像表示ウィンドウ４０１に表示されている画像内において、ゆず肌の評価を行う評価範囲を矩形領域として示した領域である。評価対象領域４０３は、ユーザにより任意に指定可能となされているとする。評価値算出ボタン４０４は、評価対象領域４０３内の画像に対して評価値取得処理の実行を指示する際に、ユーザが押下等の操作を行うボタンである。評価値表示ボックス４０５は、算出された評価値を表す数字等が表示されるテキストボックスである。終了ボタン４０６は、物体表面の状態を評価するための本実施形態に係る画像処理プログラム（画像処理アプリケーションとする）を終了する際に、ユーザにより指示されるボタンである。

【0031】

図５は、図４に示した本実施形態のＧＵＩの例において、画像処理装置の状態遷移を示した図である。
画像処理装置は、ユーザからの指示によって本実施形態に係る画像処理アプリケーションが起動されると、ステートＳＴ５０１の状態になり、前述したＧＵＩを表示した後、ステートＳＴ５０２へ移行する。そして、ステートＳＴ５０２に移行した場合、画像処理装置は、ユーザからの入力待ちの状態になる。ここで、ステートＳＴ５０２において例えば画像選択ボタン４０２が押下されると、画像処理装置は、ステートＳＴ５０３へ移行する。また、ステートＳＴ５０２において評価対象領域４０３を指定するユーザ操作がなされると、画像処理装置は、ステートＳＴ５０４へ移行する。またステートＳＴ５０２において評価値算出ボタン４０４が押下されると、画像処理装置は、ステートＳＴ５０５へ移行する。またステートＳＴ５０２において終了ボタン４０６が押下されると、画像処理装置はステートＳＴ５０６へ移行する。

【0032】

ステートＳＴ５０３に移行した場合、画像処理装置は、ユーザにより選択された画像を画像表示ウィンドウ４０１に表示した後、ステートＳＴ５０２へ移行する。
ステートＳＴ５０４に移行した場合、ユーザにより評価対象領域が指定されると、画像処理装置は、画像表示ウィンドウ４０１内に評価対象領域４０３を表示し、その後、ステートＳＴ５０２へ移行する。
ステートＳＴ５０５へ移行した場合、画像処理装置は、評価対象領域４０３の画像を基に評価値算出を行い、また評価値表示ボックス４０５には評価値を表示し、その後、ステートＳＴ５０２へ移行する。
ステートＳＴ５０６に移行した場合、画像処理装置は、画像処理アプリケーションの終了に関する動作を行う。

【0033】

図６（ａ）は、図２のＳ２０２で取得されてディスプレイ１１５の画像表示ウィンドウ４０１に表示された画像と、その画像に対して図４のＧＵＩを介して指定された評価対象領域４０３とを模式的に示した図である。評価対象領域４０３は、ユーザから指定された矩形領域の始点６０１（左上画素）および終点６０２（右下画素）の座標値を受け付けることにより設定される。具体的に説明すると、画像処理装置は、ユーザにより指示された始点６０１および終点６０２の座標値を受け付けると、その始点６０１を矩形領域の左上画素とし、終点６０２を矩形領域の右下画素とした、評価対象領域４０３を設定する。始点６０１および終点６０２の指定は、例えば入力デバイス１１０を介した座標値の入力により行われるとする。このように、本実施形態の画像処理装置は、始点６０１および終点６０２にて指定される矩形領域（評価対象領域４０３）を表す範囲指定データを生成する。

【0034】

＜光学プロファイル取得処理＞
図７は、図２のＳ２０４において光学プロファイル導出部１５２が行う光学プロファイル取得処理の詳細な流れを示すフローチャートである。
Ｓ７０１において、光学プロファイル導出部１５２は、画像取得部１５１によって取得された撮像画像から、評価対象領域４０３の画像を取得する。図８（ａ）は評価対象領域の画像例を示した図であり、図中の１つの正方形は１画素を示しているとする。図８（ａ）の例では、各画素（各正方形）における白からグレー、さらに黒までの濃淡はそれぞれ画素値を表しており、撮像画像中で輝度が高い画素ほど白く（薄く）描かれ、輝度が低くなるほどグレーから黒に徐々に濃くなるように描かれている。なお、図８（ａ）では図示の都合でモノクロ画像を例に挙げているが、カラー画像である場合、各画素（各正方形）の濃淡が薄いほど明るい色となる。

【0035】

次にＳ７０２において、光学プロファイル導出部１５２は、Ｓ７０１で取得した評価対象領域４０３の画像の各画素値を二値化する。光学プロファイル導出部１５２は、評価対象領域４０３の画像に対し、一例として、公知の大津の二値化手法を用いて二値化処理を行う。なお撮像画像には、撮像装置自体の特性や撮像環境に依存して、評価対象の物体表面のゆず肌とは無関係に緩やかな輝度勾配が生ずる場合がある。この場合は、公知の適応的閾値処理を用いることでこの問題を回避することができる。Ｓ７０２の二値化処理の場合、評価対象領域４０３の画像からは、画素値が閾値以上であるときには画素値が１（黒画素）となり、一方、画素値が閾値未満であるときには画素値が０（白画素）となされた二値化画像が生成されるとする。図８（ｂ）は、図８（ａ）に示した評価対象領域の画像に対して二値化処理が行われた後の画像を示している。この二値化処理後の画像は、画素値が１の黒画素と画素値が０の白画素とから構成されている。

【0036】

次にＳ７０３において、光学プロファイル導出部１５２は、Ｓ７０２で二値化処理がなされた後の画像からエッジを検出する。ここでは、前述した始点６０１の座標（ｘ，ｙ）を（ｘ_st，ｙ_st）とし、終点６０２の座標（ｘ，ｙ）を（ｘ_ed，ｙ_ed）とする。光学プロファイル導出部１５２は、ｘ_stからｘ_edまでのｘ値それぞれに対して、ｙ値がｙ_stからｙ_edまでの画素を探索し、隣の画素とは画素値が異なる画素を、エッジを構成する点（以下、エッジ点と呼ぶ）として２点決定する。なお、隣の画素とは、ｙ方向に隣り合った画素であり、例えば座標（Ｘ，Ｙ）の画素の隣の画素は、座標が（Ｘ，Ｙ－１）の画素と座標が（Ｘ，Ｙ＋１）の画素とである。また例えば、同一のｘ値に対して、エッジ点が２点より多く存在する場合、光学プロファイル導出部１５２は、ｙ_stに最も近い点とｙ_edに最も近い点をエッジ点として決定する。これにより、評価対象領域の画像において、複数のエッジ点によって構成されるエッジ群として、第１エッジ（以下、上側エッジとする）と第２エッジ（以下、下側エッジとする）の２本が検出されることになる。

【0037】

図９（ａ）は、図８（ｂ）に示した二値化処理後の画像から、Ｓ７０３の処理によって検出された２本のエッジ（上側エッジと下側エッジ）を表した図である。なお、図９（ａ）の例では、エッジ点の画素を黒画素として示している。そして、光学プロファイル導出部１５２は、上側エッジと下側エッジのそれぞれの画素に対し、上側エッジであるか下側エッジであるかを識別可能にするためのラベルを付与（ラベリング）を行う。

【0038】

次にＳ７０４において、光学プロファイル導出部１５２は、Ｓ７０３で検出した上側エッジと下側エッジを、それぞれ関数で近似することによって、近似線（近似曲線）を導出する。近似線の導出に用いる関数は、滑らかな変化を示すものであれば限定するものではなく、例えば１変数の多項式を用いることが可能であり、本実施形態では、公知の最小二乗法により係数を導出するものとする。

【0039】

図９（ｂ）は、図９（ａ）に示したエッジから、Ｓ７０４の処理で導出された近似曲線を示した図である。なお、図９（ｂ）の例でも、近似線上（近似曲線上）の各画素を黒画素として示している。そして、光学プロファイル導出部１５２は、それら近似曲線のそれぞれの画素に対し、上側エッジ近似曲線であるか下側エッジ近似曲線であるかを識別可能にするためのラベリングを行う。

【0040】

次にＳ７０５において、光学プロファイル導出部１５２は、Ｓ７０４で導出した近似線近傍（近似曲線近傍）の情報を光学プロファイルとして導出する。本実施形態では、近似線上（近似曲線上）の情報を光学プロファイルとして導出する。またこのときの光学プロファイルにおけるサンプリング間隔は、同一のエッジの近似曲線の各画素間距離から導出するものとする。

【0041】

ここで、図９（ｂ）に示した上側エッジ近似曲線を例に挙げて光学プロファイルのサンプリング間隔の導出方法を説明する。光学プロファイルのサンプリング間隔を導出する際、光学プロファイル導出部１５２は、まず図９（ｂ）の左上端画素から下方向に探索し、上側エッジ近似曲線のラベルが付与されている画素を上側エッジ近似曲線の開始点Ｐ₁(1)とする。なお、図９（ｂ）の場合、左上端画素の座標は（ｘ₁１，ｙ₁１）であり、当該左上端画素の座標から図の下方向がＹ方向（ｙ座標の方向）、右方向がＸ方向（ｘ座標の方向）であるとする。図９（ｂ）の例の場合、左上端画素が近似曲線上の画素（黒画素）になっているため、Ｐ₁(1)はＰ₁(1)＝（ｘ₁１，ｙ₁１）となる。次に光学プロファイル導出部１５２は、探索の開始位置をＸ方向に１画素分ずらして上端から同様の探索を行い、上側エッジ近似曲線のラベルが付与されている画素を２番目の点Ｐ₁(2)とする。図９（ｂ）の例の場合、２番目の点Ｐ₁(2)はＰ₁(2)＝（ｘ₁２，ｙ₁２）となっている。以下同様にして、光学プロファイル導出部１５２は、探索の開始位置をＸ方向に順番に１画素分ずらして探索を行い、最終的にＸ方向の探索位置がｘ_edとなるまで探索を行う。光学プロファイル導出部１５２は、下側エッジ近似曲線についても同様の探索を行う。

【0042】

上側エッジ近似曲線と下側エッジ近似曲線のいずれであるかを表すラベルをＮとすると、エッジ近似曲線Ｎのｉ番目のエッジ点Ｐ_N(i)とｉ＋１番目のエッジ点Ｐ_N(i+1)とのサンプリング間隔Ｄ_N(i)は、次式（１）で表される。なお、図９（ｂ）の例の場合、上側エッジ近似曲線を表すラベルＮは１、下側エッジ近似曲線を表すラベルＮは２である。

【0043】

【数1】

【0044】

式（１）のＤＰＩは撮像画像の解像度（合焦位置におけるサンプリングピッチ）を表しており、式（１）ではＤ_N(i)の単位はｍｍとなるように変換される。前述したように光学プロファイルにおけるプロファイル値は近似曲線近傍の情報を表し、ここでは近似曲線上の画素値が光学プロファイルとして導出される。なお、この画素値は予め輝度に対して線形な空間に色変換処理が施されていることが好ましい。

【0045】

図１０は光学プロファイル導出部１５２によって導出された光学プロファイルのデータの一例をグラフとして示した図である。図１０に示すように、光学プロファイルは、近似曲線上の各位置における輝度値の変化として導出、つまり物体表面上の位置による画素値の変化を表した情報として導出される。

【0046】

＜角度取得処理＞
次に、角度導出部１５３が撮像装置に対する物体表面の位置ごとの角度情報を導出する角度取得処理について説明する。
図１１は、図２のＳ２０５において、角度導出部１５３が行う角度取得処理の詳細な流れを示すフローチャートである。
Ｓ１１０１において、角度導出部１５３は、前述のＳ７０５で導出された光学プロファイルを取得する。
さらにＳ１１０２において、角度導出部１５３は、前述のＳ７０４で導出された近似曲線の情報を取得する。近似曲線の情報は、前述した上側エッジ近似曲線と下側エッジ近似曲線の情報である。

【0047】

次にＳ１１０３において、角度導出部１５３は、Ｓ１１０２で取得した近似曲線の情報を基に、上側エッジ近似曲線と下側エッジ近似曲線との間の距離を導出する。上側エッジ近似曲線と下側エッジ近似曲線との間の距離は、照明光源３０３が物体３０１の表面に映り込んだ照明像の幅（短辺方向の幅）に相当する。上側エッジ近似曲線と下側エッジ近似曲線との間の距離Ｌ(i)は次式（２）で表される。なお、図９（ｂ）に示した例の場合、式（２）中のｙ₁ｉは上側エッジ近似曲線上のエッジ点Ｐ₁(i)のｙ座標であり、ｙ₂ｉは下側エッジ近似曲線上のエッジ点Ｐ₂(i)のｙ座標である。すなわちＳ１１０３において、角度導出部１５３は、上側エッジ近似曲線と下側エッジ近似曲線との間でｘ座標が同じ各画素間におけるＹ方向の各距離を導出する。

【0048】

Ｌ(i)＝ｙ₂ｉ－ｙ₁ｉ 式（２）

【0049】

次にＳ１１０４において、角度導出部１５３は、距離Ｌ(i)を基に角度情報を導出する。図１２（ａ）は、Ｘ方向の各位置に対するＬ(i)をグラフとして示した図である。図１２（ａ）のＬｃは、画像のＸ方向の中心座標におけるエッジ近似曲線間の距離Ｌ(i)である。つまり図３に例示した球状の物体３０１の場合、図６に示したように評価対象領域４０３内の照明像の幅は中心部より両端部の方の幅が狭くなる。このため上側エッジ近似曲線と下側エッジ近似曲線との間の距離Ｌ(i)は中心部より両端部の方が小さくなり、図１２（ａ）のグラフでは両端部における近似曲線間の距離が中心座標における近似曲線間の距離Ｌｃよりも小さくなる。

【0050】

また、図１２（ｂ）は、画像のＸ方向の各位置に対するエッジ近似曲線間の距離の変化率をグラフとして示した図であり、次式（３）で求められるＲ_L(i)の値をプロットしたものである。つまり図３に例示した球状の物体３０１の場合、評価対象領域４０３内の照明像の幅の変化率は中心部より両端部の方が大きくなる。このため画像のＸ方向の各位置に対するエッジ近似曲線間の距離の変化率は、図１２（ｂ）に示すように、画像の中心位置からＸ方向に離れるほど距離変化率が増加する。

【0051】

Ｒ_L(i)＝｜Ｌ(i)－Ｌｃ｜／Ｌｃ 式（３）

【0052】

さらに、図１３（ａ）は、図１２（ｂ）に示したＸ方向の位置ごとの距離変化率と、撮像装置が物体表面と正対する位置での角度に対するズレ角度との間の対応関係を示したグラフである。本実施形態の場合、角度導出部１５３は、図１３（ａ）に示した対応関係を表す情報をルックアップテーブルとして保持している。そして角度導出部１５３は、そのルックアップテーブルを用い、図１２（ｂ）の距離変化率から正対位置での角度に対するズレ角度への変換を行う。図１３（ｂ）は、この距離変化率からズレ角度への変換による、Ｘ方向の位置に対するズレ角度を示したグラフである。このように角度導出部１５３は、図１３（ａ）の関係を保持するルックアップテーブルを用いて、図１２（ｂ）の距離変化率から正対位置での角度に対するズレ角度への変換を行って得られた角度のデータを、Ｘ方向の位置における角度情報として取得する。

【0053】

＜角度情報に基づく補正値導出処理＞
次に、角度導出部１５３にて導出された角度情報を基に、補正部１５４が光学プロファイルの補正値を導出する補正値導出処理について説明する。
前述した図２のＳ２０６において、補正部１５４は、Ｓ２０５で各位置（エッジ点の位置ｉ）について導出された角度情報（正対からのズレ角度）を用いて、次式（４）により補正値Ｃ(i)を導出する。

【0054】

Ｃ(i)＝１／ｃｏｓθ(i) 式（４）

【0055】

＜光学プロファイル補正処理＞
次に、補正部１５４における光学プロファイルの補正処理について説明する。
図２のＳ２０７において、補正部１５４は、Ｓ７０５で導出された光学プロファイルに対し、サンプリング間隔Ｄ_N(i)を変更するような補正処理を行う。ここで、補正部１５４は、上述した補正値Ｃ(i)を用いて、補正後のサンプリング間隔Ｄ_N'(i)を、次式（５）により求める。

【0056】

Ｄ_N'(i)＝Ｃ(i)・Ｄ_N(i)＝Ｄ_N(i)／ｃｏｓθ(i) 式（５）

【0057】

図１４は、補正後のサンプリング間隔Ｄ_N'(i)を用いて、図１０に示した光学プロファイルを補正した後のデータ例を示した図である。図１０に示した補正前の光学プロファイルのデータと、図１４の補正後の光学プロファイルのデータとを比較すると、図１０では狭かったＸ方向両端部におけるサンプリング間隔が、図１４では広がっていることがわかる。物体３０１のような球状の物体の場合、その表面上では中心から離れるほど撮像装置に対する角度が大きくなり、撮像装置からみえる表面凹凸の周期は短くなるため、図１０の補正前の光学プロファイルは両端部が中心部に比べて空間周波数が高くなる。これに対し、本実施形態では、撮像装置に対する物体表面の角度に応じて光学プロファイルのサンプリング間隔が補正されるため、図１４に示すように両端部と中心部の空間周波数は概ね同じ程度になる。すなわち本実施形態によれば、物体表面の位置によって撮像装置に対する物体表面の角度が異なることで、位置によって照明像の光学プロファイルが異なる状態になっていたものが補正されている。図１５は、図８（ａ）に示した画像から得られる上側エッジに対して、Ｘ方向位置、エッジ近似曲線上の位置、補正後のエッジ近似曲線上の位置、および画素値の関係を示すデータを表形式で示した図である。つまり図１４の光学プロファイルは、図１５に表した補正後のエッジ近似曲線上の位置における画素値のデータである。

【0058】

＜評価値取得処理＞
次に、図２のＳ２０８における評価値取得処理について説明する。
図１６は、評価値導出部１５５にて行われる評価値取得処理の流れを示したフローチャートである。
まずＳ１６０１において、評価値導出部１５５は、補正部１５４によって補正された光学プロファイルを取得する。

【0059】

次にＳ１６０２において、評価値導出部１５５は、その補正後の光学プロファイルに対して窓関数補正の処理を行う。窓関数の種類については限定するものではないが、ここでは公知のハン窓を用いるとする。
さらにＳ１６０３において、評価値導出部１５５は、周波数変換として公知のフーリエ変換処理を行う。

【0060】

図１７は、図１４に示した補正済みの光学プロファイルに対し、Ｓ１６０２で窓関数を適用し、さらにＳ１６０３でフーリエ変換を行った結果である、空間周波数特性１７０１を示した図である。
次にＳ１６０４において、評価値導出部１５５は、次式（６）を用いて、所定の周波数区間に対する積分演算によって評価値を導出する。

【0061】

【数2】

【0062】

ここで、式（６）のＷは評価値、ａｍｐは補正済み光学プロファイルから求めた空間周波数特性１７０１、ｆ₁は積分区間の下限、ｆ₂は積分区間の上限、Δｆは周波数の刻み幅である。図１７の領域１７０２は評価値Ｗに対応する積分領域を表している。なお、所定の周波数区間は、一例として、ｆ₁＝０．１ｃｙｃｌｅｓ／ｍｍ、ｆ₂＝１．０ｃｙｃｌｅｓ／ｍｍのように設定される。任意の周波数を指定して区間を設定することが可能であるとともに、複数の区間を設定することができるのは言うまでもない。また、視覚の空間周波数特性を考慮して、評価値導出部１５５は、式（６）のａｍｐに対して周波数毎の視覚感度に相当する重み係数をかけて評価値Ｗを導出することも可能である。

【0063】

本実施形態の場合、上側エッジと下側エッジの２本に対応した光学プロファイルが導出されるため、評価値導出部１５５は、それら２本のエッジにそれぞれに応じた評価値を導出する。その他にも、評価値導出部１５５は、積分区間ごとに上側エッジと下側エッジの評価値を平均した値を評価値として導出してもよいし、平均化処理を行わずにそれぞれのエッジの評価値を導出してもよい。

【0064】

以上説明したように、第１実施形態の画像処理装置によれば、物体表面上の位置ごとに異なる角度で撮像されるような、曲面などの立体形状を有する物体が評価対象であっても、精度低下を抑制して表面の評価値を取得することが可能になる。

【0065】

＜第２実施形態＞
第１実施形態では、曲面などの立体形状を有する物体の表面状態（ゆず肌の度合い）を精度良く評価するために、照明光源が映り込んだ照明像の幅の変化率から物体表面の角度を導出し、その角度を基に光学プロファイルを補正する例を説明した。
第２実施形態では、評価の効率化のために物体表面に複数本の照明光を同時に投影し、それら複数本の照明像を用いて評価する場合や、第１実施形態とは異なり片側のエッジだけしか撮像されていない場合などでも評価を可能にする例を説明する。第２実施形態では、評価対象の物体の奥行き情報を用いて、物体表面の位置ごとの角度を導出してゆず肌を評価する例を説明する。なお、第２実施形態の画像処理装置の構成は第１実施形態のものと同様であるため、第１実施形態と同様の構成や処理については前述と同じ参照符号を付して説明は省略し、以下、第１実施形態とは異なる部分を主に説明する。第２実施形態の説明では、第１実施形態とは異なる部分として、光学プロファイル補正のための角度取得処理の内容を説明する。

【0066】

＜第２実施形態における角度取得処理＞
第２実施形態の場合、必ずしも第１実施形態で例示したような２本のエッジ近似曲線は必要としない。また本実施形態では、評価の効率化のために物体表面に複数本の照明光を同時に投影する場合、例えばストライプパターン状の照明光を投影して、３本以上のエッジ近似曲線が得られる例にも適用可能である。第２実施形態では、物体表面の位置ごとの角度情報を導出する際に、評価対象の物体の奥行き情報を用いる。奥行き情報を取得する技術としては、下記の参考文献に開示された技術を用いることができる。下記の参考文献には、撮像された画像からサイクルＧＡＮと呼ばれる手法を用いて奥行情報を推定する技術が開示されている。

【0067】

参考文献：D. Kwak and S. Lee, "A Novel Method for Estimating Monocular Depth Using Cycle GAN and Segmentation", Sensors 2020, 20(9), 2567

【0068】

第２実施形態の場合、図２のＳ２０４において、光学プロファイル導出部１５２は、前述同様にして光学プロファイルを導出するが、さらに、参考文献に記載の技術を用いて撮像画像から物体の奥行情報をも取得する。なお、撮像画像から物体の奥行情報を推定する技術としてはサイクルＧＡＮに限定するものではなく、機械学習を用いて奥行情報を推定するなどの別の技術を用いてもよい。また、奥行情報は、推定処理によって取得する例に限定されるものではなく、評価対象の物体における立体形状の設計情報である３次元ＣＡＤ（computer aided design）情報から取得してもよい。

【0069】

図１８は、取得した奥行情報の一例を示した図である。図１８では、角度の導出対象である着目画素（ｘ_i，ｙ_i）の奥行をＤ（ｘ_i，ｙ_i）とした場合に、着目画素の近傍の８画素に関する奥行情報を示している。着目画素の法線ベクトルは、（ｘ_i，ｙ_i，Ｄ（ｘ_i，ｙ_i））と（ｘ_i，ｙ_i-1，Ｄ（ｘ_i，ｙ_i-1））の作るベクトルと、（ｘ_i，ｙ_i，Ｄ（ｘ_i，ｙ_i））と（ｘ_i+1，ｙ_i，Ｄ（ｘ_i+1，ｙ_i））の作るベクトルの外積から導出できる。さらに、別の近傍画素とのベクトルを用いて着目画素の法線ベクトルを複数求め、複数の法線ベクトルの平均ベクトルを着目画素の法線ベクトルとしてもよい。導出した法線ベクトルと、撮像装置と正対する位置の物体表面とのなす角をズレ角度θ(i)とする。このズレ角度θ(i)は、角度情報として、前述した第１実施形態と同様に光学プロファイルのサンプリング間隔の補正に用いられる。

【0070】

以上説明したように、第２実施形態の画像処理装置は、第１の実施形態のような２本のエッジ近似曲線を用いずとも、物体の奥行き情報を用いることにより、物体表面上の位置ごとの角度情報を取得できる。これにより、第２の実施形態の画像処理装置では、物体表面上の位置ごとに異なる角度で撮像される物体であっても、精度低下を抑制して表面の状態を評価することが可能になる。つまり第２実施形態によれば、複数本の照明を同時に照射して評価する場合や、片側のエッジだけしか撮像されていない場合などであっても表面状態の評価が可能になる。

【0071】

＜変形例＞
上述した実施形態では、横長の照明光源からの光が評価対象の物体表面に映り込んだ照明像から横方向の光学プロファイルを導出したが、照明光源は縦長のものであってもよい。この場合、縦長の照明光源からの光が映り込んだ照明像から縦方向の光学プロファイルを導出することができる。

【0072】

また上述した実施形態では、画像の所定の方向（例えば横方向、水平方向）の光学プロファイルを導出したが、例えば光源と物体の位置関係や物体の形状によっては、エッジ近似曲線の方向が水平方向に対して斜め方向になる場合がある。この場合、水平方向に対する所定の角度閾値を予め設定しておき、画像処理装置は、エッジ近似曲線がこの角度閾値を超える場合は処理不可能と判定し、例えばユーザに対して所定の通知するようにしてもよい。ユーザに対する所定の通知は、処理不可能である旨を表示や音により出力することなどを挙げることができる。

【0073】

または、画像処理装置は、物体表面に映り込んだ照明像を用いて評価する領域に対する傾きを求め、その傾きに対して直交する方向における照明像の幅を導出してもよい。
図１９は、傾きを有する照明像から図８および図９の例と同様にして求められるエッジ近似曲線の一例を示した図であり、図中の黒画素がエッジ近似曲線を表している。図１９において、直線１９０１は、両側のエッジに対し、凡その中心を通る直線である。この例の場合、角度導出部１５３は、それぞれのエッジ近似曲線をさらに線形近似し、それらの２本の線分の中心線として直線１９０１を導出する。さらに角度導出部１５３は、片側のエッジ近似曲線上の各点Ｐ_N(i)から直線１９０１に直交する方向への探索を行い、もう一つのエッジとの交点までの距離を、照明像の幅１９０２として求める。図１９の例の場合、角度導出部１５３は、その中心線上の各位置において、当該中心線と直交する方向の、一方のエッジの近似曲線との第１交点と、もう一方のエッジの近似曲線との第２交点との間の距離から、各位置における距離の変化率を導出する。そして、角度導出部１５３は、この距離の変化率から前述同様に角度情報を取得する。

【0074】

上述した実施形態では、撮像画像から角度情報を導出する方法を説明したが、角度導出部１５３は、別途求めておいた角度情報を取得してもよい。
また上述した実施形態では、エッジ近傍の情報を用いて光学プロファイルを導出したが、光学プロファイル導出部１５２は、エッジ近傍ではなくエッジとエッジとの間の領域から光学プロファイルを取得してもよい。
また上述した実施形態では、光学プロフィルとして、エッジ近似曲線上の輝度情報を利用したが、輝度情報に限定するものではなく、エッジ近似曲線とエッジ点との距離に基づく距離情報が光学プロファイルとして利用されてもよい。
また上述した実施形態では、画像取得部１５１はＨＤＤ１１３から画像データを取得したが、撮像装置１１１から直接画像データを取得してもよい。

【0075】

また上述した実施形態では、照明光源３０３を用いて物体３０１上に照明像３０４を生成したが、撮像における照明条件は前述した例に限定されない。例えば、指向性のある線光源を照明光源３０３として用いることにより、物体３０１の表面に照明像が投影されてもよい。この場合は、線光源の強い光によって照明された領域のエッジを利用することができる。また直線状の照明光は、例えば、遮蔽物等を用いることで直線状になされた照明光や、スリット状の光学系を介した直線状の照明光であってもよい。

【0076】

また上述した実施形態では、評価対象領域４０３を決定する際に直線の始点及び終点の位置をユーザが指定したが、ユーザが指定する情報は、前述の例に限定されない。例えば、評価対象領域４０３の４つの頂点をユーザが指定してもよい。また、評価対象領域４０３を決めるための点は、座標値の入力に限られない。例えば、画像表示ウィンドウ４０１の画像上でユーザが入力デバイス１１０を用いて引いた直線により評価対象領域４０３が指定されてもよい。
また上述した実施形態では、評価対象領域４０３を表す範囲指定データを取得したが、範囲指定データは取得されなくてもよい。例えば、画像に対して予め決められた範囲が評価対象領域として設定されてもよいし、画像全体が評価対象領域とされてもよい。

【0077】

また上述した実施形態では、Ｙ方向に隣り合った画素とは画素値が異なる画素をエッジ点とすることでエッジを検出したが、エッジ検出の方法はその例に限定されない。例えば、画像を二次微分し、出力値がプラスからマイナス（あるいはマイナスからプラス）になる点、すなわち変曲点をエッジ点とするエッジ検出方法が用いられてもよい。

【0078】

また上述した実施形態では、導出した評価値をディスプレイ１１５に表示したが、評価値の出力方法はその例に限定されない。例えば、導出した評価値は、ＨＤＤ１１３などの記憶装置に保持されてもよい。またこのとき、物体に塗装を行った際の環境や塗装方法などに関する塗装情報が、評価値と対応付けられてＨＤＤ１１３などの記憶装置に保持されてもよい。この場合、塗装情報と対応する評価値とを記憶装置から読み出して例えばリスト表示することにより、ユーザは、ゆず肌が発生し難い塗装の方法や塗装の際の環境を容易に知ることができるようになる。

【0079】

また上述した実施形態では、入力デバイス１１０とディスプレイ１１５とが別々のデバイスとされているが、入力デバイス１１０とディスプレイ１１５とが一体化したタッチパネルディスプレイが代わりに用いられてもよい。
また上述した実施形態の場合、画像処理装置は、静止画像としての撮像画像を用いて評価を行ったが、動画像を用いて、動画のフレームごとに評価を行ってもよい。

【0080】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【0081】

各実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
評価対象の物体を撮像した画像から、当該物体の表面に映る像の属性を表す光学プロファイルを取得するプロファイル取得手段と、
前記物体を撮像した撮像装置に対する、前記物体の表面上の位置ごとの角度情報を取得する角度取得手段と、
前記角度情報を基に、前記光学プロファイルを補正する補正手段と、
前記補正された光学プロファイルを基に、前記物体の表面の状態を表す評価値を取得する評価値取得手段と、
を有することを特徴とする画像処理装置。
（構成２）
前記プロファイル取得手段は、前記光学プロファイルとして、前記物体の表面上の位置による画素値の変化を表す情報を取得することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記物体の表面に映る像は、幅が均一な直線状の照明が当該物体の表面に投影された照明像であり、
前記プロファイル取得手段は、前記照明像の画像から前記光学プロファイルを取得し、
前記角度取得手段は、前記照明像の画像における位置ごとの幅の変化率を基に、前記物体の表面上の前記位置ごとの角度情報を取得し、
前記補正手段は、前記位置ごとの角度情報を基に前記光学プロファイルの補正値を算出し、前記補正値を用いて前記光学プロファイルを補正することを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記プロファイル取得手段は、前記照明像の画像における第１エッジの近似線および第２エッジの近似線から前記光学プロファイルを取得し、
前記角度取得手段は、前記照明像の画像における第１エッジの近似線と第２エッジの近似線との間の位置ごとの距離の変化率を、前記照明像の画像における位置ごとの幅の変化率として取得することを特徴とする構成３に記載の画像処理装置。
（構成５）
前記角度取得手段は、
前記照明像の画像における位置ごとの幅の変化率と、前記撮像装置が前記物体の表面と正対する位置での角度に対するズレ角度との対応関係を表す情報を保持し、
前記照明像の画像における位置ごとの幅の変化率を基に前記対応関係を表す情報から得た前記ズレ角度を、前記物体の表面上の前記位置ごとの角度情報として取得することを特徴とする構成３または４に記載の画像処理装置。
（構成６）
前記角度取得手段は、前記第１エッジの近似線と前記第２エッジの近似線との間の中心線上の各位置において当該中心線と直交する方向に対する、前記第１エッジの近似線上の第１交点と、前記第２エッジの近似線上の第２交点との間の距離の変化率を、前記照明像の画像における位置ごとの幅の変化率として取得することを特徴とする構成４に記載の画像処理装置。
（構成７）
前記角度取得手段は、前記評価対象の前記物体の奥行き情報を取得し、当該奥行き情報を基に、前記物体の表面上の位置ごとの角度情報を取得することを特徴とする構成１または２に記載の画像処理装置。
（構成８）
前記照明像のエッジの近似線の方向が所定の方向に対して角度閾値を超える場合には所定の通知を出力することを特徴とする構成４または５に記載の画像処理装置。
（構成９）
前記光学プロファイルは、前記照明像のエッジの近似線上の輝度情報であることを特徴とする構成４乃至８のいずれか１構成に記載の画像処理装置。
（構成１０）
前記光学プロファイルは、前記照明像のエッジの歪みを表す情報であることを特徴とする構成４乃至９のいずれか１構成に記載の画像処理装置。
（構成１１）
前記補正手段は、前記光学プロファイルのサンプリング間隔を、前記補正値を基に補正することを特徴とする構成３乃至１０のいずれか１構成に記載の画像処理装置。
（構成１２）
前記評価値取得手段は、前記光学プロファイルの周波数特性を基に前記評価値を取得することを特徴とする構成１乃至１１のいずれか１構成に記載の画像処理装置。
（方法１）
評価対象の物体を撮像した画像から、当該物体の表面に映る像の属性を表す光学プロファイルを取得するプロファイル取得工程と、
前記物体を撮像した撮像装置に対する、前記物体の表面上の位置ごとの角度情報を取得する角度取得工程と、
前記角度情報を基に、前記光学プロファイルを補正する補正工程と、
前記補正された光学プロファイルを基に、前記物体の表面の状態を表す評価値を取得する評価値取得工程と、
を有することを特徴とする画像処理方法。
（プログラム１）
コンピュータを、構成１乃至１２のいずれか１構成に記載の画像処理装置として機能させるためのプログラム。

【符号の説明】

【0082】

１：画像処理装置、１５１：画像取得部、１５２：光学プロファイル導出部、１５３：角度導出部、１５４：補正部、１５５：評価値導出部、１５５：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】