知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240129BHJP
H04N 9/64 20230101ALI20240129BHJP
H04N 1/62 20060101ALI20240129BHJP
【ＦＩ】
G06T1/00 510
H04N9/64 F
H04N1/62
【請求項の数】
17
(21)【出願番号】P 2019197998
(22)【出願日】2019-10-30
(65)【公開番号】P2021071905
(43)【公開日】2021-05-06
【審査請求日】2022-10-07
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】新井 公崇
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２０１０－０７４３１７（ＪＰ，Ａ）
【文献】特開２００１－２１８０７８（ＪＰ，Ａ）
【文献】特開２０１２－０３９２７４（ＪＰ，Ａ）
【文献】特許第５４０６９９８（ＪＰ，Ｂ１）
【文献】特開２０１１－１５５３５２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ９／６４
Ｈ０４Ｎ １／６２
(57)【特許請求の範囲】
【請求項1】
物体を撮像して得られる第１画像データを取得する取得手段と、前記第１画像データが表す第１画像においてユーザに指定された注目領域の色相を表示手段が表示可能な最大彩度に対応する色相を用いて表現した第２画像を、前記表示手段に表示する表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記第１画像における注目領域の色相又は彩度を、前記表示手段の特性に応じて変換された場合に特定の彩度範囲の階調が保持されるように変換することによって、前記第２画像を表す第２画像データを生成する生成手段と、前記第２画像を前記表示手段の特性に応じて変換する変換手段と、をさらに有し、
前記表示制御手段は、前記変換された第２画像を前記表示手段に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記変換手段は、前記第１画像と前記第２画像とを前記表示手段の特性に応じて変換し、前記表示制御手段は、前記変換された第１画像と第２画像とを併せて前記表示手段に表示することを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記特定の彩度範囲の階調は、高彩度色に対応する階調であることを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項5】
前記生成手段は、色相よりも彩度を優先して前記注目領域の色を変換することを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像処理装置。
【請求項6】
前記生成手段は、前記第１画像における前記注目領域の色相を変換することを特徴とする請求項２乃至請求項５のいずれか一項に記載の画像処理装置。
【請求項7】
前記注目領域は複数の画素を含む領域であって、前記注目領域を代表する色相を算出し、前記複数の画素それぞれに対して色を変換すべきか否かを前記代表する色相に応じて判定する判定手段をさらに有することを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項8】
前記判定手段は、前記代表する色相として、前記複数の画素それぞれに対応する色相の平均値を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項9】
前記判定手段は、前記代表する色相に対応する前記表示手段が表示可能な最大の彩度と前記複数の画素それぞれに対応する彩度とを比較することによって、前記複数の画素それぞれに対して色を変換すべきか否かを判定することを特徴とする請求項７又は請求項８に記載の画像処理装置。
【請求項10】
前記生成手段は、前記代表する色相が、前記表示手段が表示可能な最大の彩度に対応する色相になるように、前記注目領域の色相を変換することを特徴とする請求項７乃至請求項９のいずれか一項に記載の画像処理装置。
【請求項11】
前記生成手段は、前記第１画像における前記注目領域の彩度を変換することを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像処理装置。
【請求項12】
前記生成手段は、高彩度色に対応する特定の階調を維持するように色の変換を行うためのルックアップテーブルを用いて、前記第１画像における前記注目領域の彩度を変換することを特徴とする請求項１１に記載の画像処理装置。
【請求項13】
前記生成手段は、複数種類のルックアップテーブルから、ユーザの指示に応じて彩度の変換に用いる前記ルックアップテーブルを選択することを特徴とする請求項１２に記載の画像処理装置。
【請求項14】
前記複数種類のルックアップテーブルには、階調を維持する彩度範囲が互いに異なる複数種類のルックアップテーブルが含まれることを特徴とする請求項１３に記載の画像処理装置。
【請求項15】
前記ユーザの指示は、前記物体の色相を特定する指示であることを特徴とする請求項１３又は請求項１４に記載の画像処理装置。
【請求項16】
コンピュータを請求項１乃至請求項１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項17】
物体を撮像して得られる第１画像データを取得する取得ステップと、前記第１画像データが表す第１画像においてユーザに指定された注目領域の色相を表示手段が表示可能な最大彩度に対応する色相を用いて表現した第２画像を、前記表示手段に表示する表示制御ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の色を評価するための画像処理技術に関する。
【背景技術】
【0002】
物体をカメラで撮像して得られる画像データを用いて、物体上の２点間の色差を評価する技術がある。特許文献１は、表示された画像において指定された評価点間の色差を算出する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－２２９０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、表示装置に表示される画像は、表示装置が表現できない高彩度色を表示装置が表現できる色域内に圧縮変換して生成される。このため、実物とは彩度の階調が大きく異なる画像を参照しながら、色の評価をしたい領域を指定しなければならないという場合があった。
【0005】
本発明は、上記課題に鑑みてなされたものであり、物体の撮像画像を基に生成される、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定するための画像処理を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る画像処理装置は、物体を撮像して得られる第１画像データを取得する取得手段と、前記第１画像データが表す第１画像においてユーザに指定された注目領域の色相を表示手段が表示可能な最大彩度に対応する色相を用いて表現した第２画像を、前記表示手段に表示する表示制御手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、物体の撮像画像を基に生成される、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定することができる。
【図面の簡単な説明】
【0008】
【図1】画像処理装置のハードウェア構成を示すブロック図
【図2】画像処理装置の論理構成を示すブロック図
【図3】画像処理装置が実行する処理を示すフローチャート
【図4】画素値をＬ＊ａ＊ｂ＊値に変換する処理を示すフローチャート
【図5】彩度の大小関係を判定する処理を示すフローチャート
【図6】最大の彩度ＣＭＡＸを算出する処理を示すフローチャート
【図7】画像生成部の論理構成を示すブロック図
【図8】表示画像データを生成する処理を示すフローチャート
【図9】表示画像の表示例を示す図
【図10】色差を算出する処理を示すフローチャート
【図11】表示画像の表示例を示す図
【図12】画像生成部の論理構成を示すブロック図
【図13】表示画像データを生成する処理を示すフローチャート
【図14】彩度変換ＬＵＴを説明するための図
【図15】彩度の変換方法を指定するためのＵＩを示す図
【図16】彩度変換ＬＵＴの特性を模式的に示す図
【図17】画像処理装置の論理構成を示すブロック図
【図18】画像処理装置が実行する処理を示すフローチャート
【発明を実施するための形態】
【0009】
以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0010】
［第１実施形態］
＜画像処理装置のハードウェア構成＞
図１は画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１５などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１５などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、表示装置１７が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１１を介して、マウスやキーボードなどの入力デバイス１２や撮像装置１３が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１４を介して、ＨＤＤ１５や各種記録メディアの読み書きを行う汎用ドライブ１６が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１５や汎用ドライブ１６にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）を表示装置１７に表示し、入力デバイス１２を介して受け付けるユーザ指示などの入力を受信する。
＜画像処理装置のハードウェア構成＞
図１は画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１５などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１５などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、表示装置１７が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１１を介して、マウスやキーボードなどの入力デバイス１２や撮像装置１３が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１４を介して、ＨＤＤ１５や各種記録メディアの読み書きを行う汎用ドライブ１６が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１５や汎用ドライブ１６にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）を表示装置１７に表示し、入力デバイス１２を介して受け付けるユーザ指示などの入力を受信する。
【0011】
＜画像処理装置の論理構成＞
図２は画像処理装置１の論理構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１５に格納されたプログラムを読み出して実行することによって、図２に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
図２は画像処理装置１の論理構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１５に格納されたプログラムを読み出して実行することによって、図２に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【0012】
画像処理装置１は、画像取得部２０１、色変換部２０２、彩度判定部２０３、画像生成部２０４、色差算出部２０５、表示制御部２０６、指定受付部２０７を有する。画像取得部２０１は、物体を撮像して得られる撮像画像データを取得する。色変換部２０２は、撮像画像データが表す撮像画像が各画素に有する画素値（Ｒ，Ｇ，Ｂ）を、Ｌ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）に変換する。彩度判定部２０３は、撮像画像における注目領域の彩度と、注目領域の色相について表示装置１７が表現できる最大の彩度と、の大小関係を判定する。画像生成部２０４は、注目領域の彩度に関する判定結果に基づいて、表示装置１７に表示する表示画像を表す表示画像データを生成する。図７は画像生成部２０４の論理構成を示すブロック図である。画像生成部２０４は、色相回転部２０４１及び画像変換部２０４２を有する。色相回転部２０４１は、注目領域の彩度に関する判定結果に基づいて、撮像画像の色相を変換する。画像変換部２０４２は、色相が変換された撮像画像を表す撮像画像データに基づいて、表示画像データを生成する。
【0013】
指定受付部２０７は、表示画像においてユーザに指定された領域を表す領域情報を受け付ける。色差算出部２０５は、ユーザに指定された領域間の色差を算出する。表示制御部２０６は、表示画像とユーザに指定された領域間の色差とを表示装置１７に表示する。
【0014】
＜画像処理装置が実行する処理＞
図３は画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。尚、以下の処理は、入力デバイス１２を介したユーザ指示により開始する。
図３は画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。尚、以下の処理は、入力デバイス１２を介したユーザ指示により開始する。
【0015】
Ｓ３０１において、画像取得部２０１は、物体を撮像して得られる撮像画像データと、基準白色の色信号値（ＸＷ，ＹＷ，ＺＷ，）と、を取得する。本実施形態における画像取得部２０１は、ＨＤＤ１５に予め保持されている撮像画像データと基準白色の色信号値（ＸＷ，ＹＷ，ＺＷ，）とをＨＤＤ１５から取得する。
【0016】
Ｓ３０２において、表示制御部２０６は、撮像画像データが表す撮像画像が各画素に有する画素値（Ｒ，Ｇ，Ｂ）を、表示装置１７の特性に応じた色信号値（ＲＤ，ＧＤ，ＢＤ）に変換する。この変換においては、表示装置１７が表現できない高彩度色が表示装置１７が表現できる色域内に圧縮されている。変換には、画素値（Ｒ，Ｇ，Ｂ）と色信号値（ＲＤ，ＧＤ，ＢＤ）との対応関係を保持する色変換ルックアップテーブル（ＬＵＴ）を用いる。さらに、表示制御部２０６は、色信号値（ＲＤ，ＧＤ，ＢＤ）を各画素に有する表示画像Ａを表示装置１７に表示する。表示画像Ａは高彩度色が圧縮されているため、後述する表示画像Ｂと比べて、彩度の階調が撮像された物体と大きく異なる場合がある。
【0017】
Ｓ３０３において、指定受付部２０７は、表示画像Ａにおいてユーザに指定された注目領域を表す領域情報を受け付ける。本実施形態における領域情報は、表示画像Ａにおける座標（ｘ，ｙ）である。
【0018】
Ｓ３０４において、色変換部２０２は、撮像画像データが表す撮像画像が各画素に有する画素値（Ｒ，Ｇ，Ｂ）を、Ｌ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）に変換する。以下、画素値（Ｒ，Ｇ，Ｂ）をＬ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）に変換する処理の詳細を説明する。図４は画素値（Ｒ，Ｇ，Ｂ）をＬ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）に変換する処理を示すフローチャートである。
【0019】
Ｓ４０１において、色変換部２０２は、式（１）に従って、注目画素の画素値（Ｒ，Ｇ，Ｂ）をＸＹＺ値（Ｘ，Ｙ，Ｚ）に変換する。尚、係数（ｍ１１～ｍ３３）はカラーチャートを撮像及び測色した結果を用いて予め決定しておく。
【0020】
【数1】
【0021】
Ｓ４０２において、色変換部２０２は、式（２），式（３），式（４），式（５）に従って、注目画素のＸＹＺ値（Ｘ，Ｙ，Ｚ）をＬ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）に変換する。
【0022】
【数2】
【0023】
Ｓ４０３において、色変換部２０２は、撮像画像における全ての画素の画素値をＬ＊ａ＊ｂ＊値に変換したか否かを判定する。全ての画素値を変換していなければ注目画素を更新してＳ４０１に処理を戻し、全ての画素値を変換していればＳ３０４の処理を終了してＳ３０５に処理を移行する。
【0024】
Ｓ３０５において、彩度判定部２０３は、撮像画像における注目領域の彩度と、注目領域の色相について表示装置１７が表現できる最大の彩度と、の大小関係を判定する。以下、彩度の大小関係を判定する処理の詳細を説明する。図５は彩度の大小関係を判定する処理を示すフローチャートである。
【0025】
Ｓ５０１において、彩度判定部２０３は、撮像画像における全ての画素について、式（６）に従って、彩度Ｃと色相Ｈとを算出する。
【0026】
【数3】
【0027】
Ｓ５０２において、彩度判定部２０３は、注目領域の色相Ｈについて表示装置１７が表現できる最大の彩度ＣＭＡＸを算出する。以下、最大の彩度ＣＭＡＸを算出する処理の詳細を説明する。図６は最大の彩度ＣＭＡＸを算出する処理を示すフローチャートである。Ｓ６０１において、彩度判定部２０３は、表示装置１７が表示可能な色の特性を表す情報を取得する。具体的には、彩度判定部２０３は、Ｌ＊ＣＨ色空間における表示装置１７の色域の最外殻の座標群を表す情報を取得する。
【0028】
Ｓ６０２において、彩度判定部２０３は、注目領域における注目画素の明度Ｌ＊，彩度Ｃ，色相Ｈを取得する。Ｓ６０３において、彩度判定部２０３は、Ｌ＊ＣＨ色空間において注目画素に対応する座標（Ｌ＊，Ｃ，Ｈ）と、明度軸上の座標（Ｌ＊，０，０）と、を通るベクトルを生成する。Ｓ６０４において、彩度判定部２０３は、表示装置１７の色域の最外殻を構成する三角形要素（ポリゴン）と生成したベクトルとの交点を算出し、交点の座標を記録する。交点の彩度軸の座標は、注目画素の色相Ｈについて表示装置１７が表現できる最大の彩度ＣＭＡＸである。Ｓ６０５において、彩度判定部２０３は、注目領域における全ての画素について最大の彩度ＣＭＡＸを算出したか否かを判定する。注目領域における全ての画素について最大の彩度ＣＭＡＸを算出していなければ注目画素を更新してＳ６０２に処理を戻し、注目領域における全ての画素について最大の彩度ＣＭＡＸを算出していればＳ５０２の処理を終了してＳ５０３に処理を移行する。
【0029】
Ｓ５０３において、彩度判定部２０３は、注目領域における注目画素について、彩度Ｃと最大の彩度ＣＭＡＸとを比較する。最大の彩度ＣＭＡＸの方が大きい場合は注目画素の識別情報として０の値を保存し、彩度Ｃの方が大きい場合は注目画素の識別情報として１の値を保存する。Ｓ５０４において、彩度判定部２０３は、注目領域における全ての画素について彩度に関する判定を行ったか否かを判定する。注目領域における全ての画素について判定を行っていなければ注目画素を更新してＳ５０３に処理を戻し、全ての画素について判定を行っていればＳ３０５の処理を終了してＳ３０６に処理を移行する。
【0030】
Ｓ３０６において、画像生成部２０４は、注目領域の彩度に関する判定結果に基づいて、表示装置１７に表示する表示画像Ｂを表す表示画像データを生成する。以下、表示画像Ｂを表す表示画像データを生成する処理の詳細を説明する。図８は表示画像Ｂを表す表示画像データを生成する処理を示すフローチャートである。
【0031】
Ｓ８０１において、色相回転部２０４１は、注目領域における全ての画素について、明度Ｌ＊，彩度Ｃ，色相Ｈと、彩度の判定結果である識別情報と、を取得する。Ｓ８０２において、色相回転部２０４１は、注目領域において、識別情報が１である画素の色相を代表する代表色相ＨＲＥＰを算出する。本実施形態における代表色相ＨＲＥＰは、識別情報が１である画素の色相の平均値である。尚、識別情報１は、彩度Ｃが表示装置１７の色域外であることを表し、識別情報０は、彩度Ｃが表示装置１７の色域内であることを表す。
【0032】
Ｓ８０３において、色相回転部２０４１は、表示装置１７の色特性情報から、表示装置１７が最大の彩度を表現できる色相ＨＭＡＸを取得する。さらに、色相回転部２０４１は、代表色相ＨＲＥＰと色相ＨＭＡＸとの差を、撮像画像の色相を回転させる回転角ΔＨとして算出する。回転角ΔＨは式（７）に従って算出する。
ΔＨ＝ＨＭＡＸ－ＨＲＥＰ・・・式（７）
Ｓ８０４において、色相回転部２０４１は、式（８）に従って、撮像画像における全ての画素の色相Ｈを回転角ΔＨに応じて色相ＨＲに変換する。
ΔＨ＝ＨＭＡＸ－ＨＲＥＰ・・・式（７）
Ｓ８０４において、色相回転部２０４１は、式（８）に従って、撮像画像における全ての画素の色相Ｈを回転角ΔＨに応じて色相ＨＲに変換する。
【0033】
【数4】
【0034】
Ｓ８０５において、画像変換部２０４２は、撮像画像における注目画素のＬ＊ＣＨ値（Ｌ＊，Ｃ，ＨＲ）をＸＹＺ値（Ｘ，Ｙ，Ｚ）に変換する。具体的には、画像変換部２０４２は、式（９）に従って、Ｌ＊ＣＨ値（Ｌ＊，Ｃ，ＨＲ）をＬ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）に変換する。さらに、画像変換部２０４２は、Ｓ４０２の変換と逆の変換を行うことによって、Ｌ＊ａ＊ｂ＊値（Ｌ＊，ａ＊，ｂ＊）をＸＹＺ値（Ｘ，Ｙ，Ｚ）に変換する。
【0035】
【数5】
【0036】
Ｓ８０６において、画像変換部２０４２は、注目画素のＸＹＺ値（Ｘ，Ｙ，Ｚ）を、表示装置１７の特性に応じた色信号値（ＲＤ，ＧＤ，ＢＤ）に変換する。変換には、ＸＹＺ値（Ｘ，Ｙ，Ｚ）と色信号値（ＲＤ，ＧＤ，ＢＤ）との対応関係を保持する色変換ＬＵＴを用いる。Ｓ８０７において、画像変換部２０４２は、撮像画像における全ての画素のＬ＊ＣＨ値を色信号値（ＲＤ，ＧＤ，ＢＤ）に変換したか否かを判定する。全てのＬ＊ＣＨ値を変換していなければ注目画素を更新してＳ８０５に処理を戻し、全てのＬ＊ＣＨ値を変換していればＳ３０６の処理を終了してＳ３０７に処理を移行する。
【0037】
以上のＳ３０６の処理によって得られる、各画素に色信号値（ＲＤ，ＧＤ，ＢＤ）を有する表示画像を表示画像Ｂとする。この表示画像Ｂは、色相よりも彩度を再現することを優先した画像であり、表示装置１７が出力できる最大の彩度を利用しているため、上述した表示画像Ａに比べて注目領域の彩度の階調が撮像された物体に近い。
【0038】
Ｓ３０７において、表示制御部２０６は、表示画像Ｂを表示画像Ａと並べて表示する。図９は表示画像の表示例を示す図である。ウィンドウ９０１は表示画像Ａを表示するウィンドウであり、ウィンドウ９０２は表示画像Ｂを表示するウィンドウである。実行ボタン９０３は色差の算出を実行するためのボタンであり、終了ボタン９０４は処理を終了するためのボタンである。矩形９０５は注目領域を表し、三角形９０６は注目領域との色差を算出したい参照領域を表す。入力デバイス１２を介して注目領域と参照領域とが指定されることにより、指定受付部２０７は、注目領域及び参照領域の領域情報を受け付ける。実行ボタン９０３がユーザにより押下されることにより、処理をＳ３０８に移行する。
【0039】
Ｓ３０８において、色差算出部２０５は、注目領域と参照領域との色差を算出する。以下、領域間の色差を算出する処理の詳細を説明する。図１０は領域間の色差を算出する処理を示すフローチャートである。
【0040】
Ｓ１００１において、色差算出部２０５は、注目領域の座標と参照領域の座標とを取得する。Ｓ１００２において、色差算出部２０５は、注目領域におけるＬ＊ａ＊ｂ＊値（Ｌ＊
１，ａ＊
１，ｂ＊
１）の平均値と、参照領域におけるＬ＊ａ＊ｂ＊値（Ｌ＊
２，ａ＊
２，ｂ＊
２）の平均値と、を算出する。Ｓ１００３において、色差算出部２０５は、式（１０）に従って、注目領域のＬ＊ａ＊ｂ＊値の平均値と参照領域のＬ＊ａ＊ｂ＊値の平均値との色差ΔＥを算出する。
【0041】
【数6】
【0042】
Ｓ１００４において、表示制御部２０６は、図９の値表示領域９０７に色差ΔＥを表示する。
【0043】
＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、物体を撮像して得られる画像データを取得する。取得した画像データが表す画像における注目領域の色相又は彩度を、表示手段の特性に応じて変換された場合に特定の彩度範囲の階調が保持されるように変換することによって、画像データを生成する。取得した画像データが表す画像と生成した画像データが表す画像とを表示装置の特性に応じて変換する。変換された２つの画像を併せて表示装置に表示する。これにより、物体の撮像画像を基に生成される、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定することができる。
以上説明したように、本実施形態における画像処理装置は、物体を撮像して得られる画像データを取得する。取得した画像データが表す画像における注目領域の色相又は彩度を、表示手段の特性に応じて変換された場合に特定の彩度範囲の階調が保持されるように変換することによって、画像データを生成する。取得した画像データが表す画像と生成した画像データが表す画像とを表示装置の特性に応じて変換する。変換された２つの画像を併せて表示装置に表示する。これにより、物体の撮像画像を基に生成される、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定することができる。
【0044】
＜変形例＞
第１実施形態においては、画像取得部２０１が撮像画像データをＨＤＤ１５から取得したが、画像取得部２０１が撮像装置１３を制御して物体を撮像し、撮像画像データを取得してもよい。また、基準白色の色信号値（ＸＷ，ＹＷ，ＺＷ，）についても、ＨＤＤ１５から取得せずに、表示画像Ａ上でユーザに指定された基準白色点の色信号値を色信号値（ＸＷ，ＹＷ，ＺＷ，）として取得してもよい。
第１実施形態においては、画像取得部２０１が撮像画像データをＨＤＤ１５から取得したが、画像取得部２０１が撮像装置１３を制御して物体を撮像し、撮像画像データを取得してもよい。また、基準白色の色信号値（ＸＷ，ＹＷ，ＺＷ，）についても、ＨＤＤ１５から取得せずに、表示画像Ａ上でユーザに指定された基準白色点の色信号値を色信号値（ＸＷ，ＹＷ，ＺＷ，）として取得してもよい。
【0045】
また、第１実施形態においては、Ｓ６０１～Ｓ６０５の処理によって最大の彩度ＣＭＡＸを算出したが、色相Ｈと最大の彩度ＣＭＡＸとの対応関係を保持するＬＵＴを予め作成しておいて用いてもよい。
【0046】
また、第１実施形態においては、Ｓ６０１～Ｓ６０５の処理によって最大の彩度ＣＭＡＸを算出したが、全ての色相それぞれについての最大の彩度から、彩度Ｃよりも大きく、かつ、対応する色相が色相Ｈと最も近い最大の彩度ＣＭＡＸを選択してもよい。
【0047】
また、第１実施形態においては、注目領域と参照領域とのそれぞれについてＬ＊ａ＊ｂ＊値の平均値を算出したが、ＲＧＢ値やＸＹＺ値の平均値を算出した後にＬ＊ａ＊ｂ＊値に変換してもよい。
【0048】
また、第１実施形態においては、領域間の色の差を評価するために色差ΔＥ７６を算出したが、色の差を評価できる値であれば他の公知の値を用いてもよい。
【0049】
また、第１実施形態においては、表示画像Ａと表示画像Ｂとを並べて表示したが、表示画像Ａにおけるユーザに指定された領域を表示画像Ｂにおいて対応する領域に置き換えて表示してもよい。この場合、Ｓ３０３において、指定受付部２０７は、表示画像Ａにおいて、表示画像Ｂに置換して表示する領域を表す置換領域情報を受け付ける。Ｓ３０７において、表示制御部２０６は、置換領域情報に基づいて、表示画像Ａの一部を表示画像Ｂの一部に置換して表示する。図１１は表示画像の表示例を示す図である。ウィンドウ１１０１は表示画像を表示するウィンドウである。実行ボタン１１０２は色差の算出を実行するためのボタンであり、終了１１０３は処理を終了するためのボタンである。矩形１１０４は注目領域を表し、三角形１１０５は注目領域との色差を算出したい参照領域を表す。点線１１０６に囲まれた領域は、表示画像Ａのうち、表示画像Ｂに置換された領域を表す。これにより、画像を１つしか表示できない場合であっても、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定することができる。尚、置換して表示する領域は、ユーザにより指定された領域に限られず、例えば注目領域と色差が閾値以下の領域であってもよい。また、表示画像Ａの一部を表示画像Ｂの一部に置換するのではなく、表示画像Ａの一部に表示画像Ｂの一部を重畳して表示してもよい。
【0050】
［第２実施形態］
第１実施形態においては、表示装置１７が最大の彩度を出力できる色相に画像を変換して表示した。本実施形態においては、画像に対して高彩度色の階調を維持するように色変換を行い、色相を変換せずに表示画像の表示を行う。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。
第１実施形態においては、表示装置１７が最大の彩度を出力できる色相に画像を変換して表示した。本実施形態においては、画像に対して高彩度色の階調を維持するように色変換を行い、色相を変換せずに表示画像の表示を行う。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。
【0051】
＜画像生成部２０４の論理構成＞
画像生成部２０４は、注目領域の彩度に関する判定結果に基づいて、表示装置１７に表示する表示画像を表す表示画像データを生成する。図１２は画像生成部２０４の論理構成を示すブロック図である。画像生成部２０４は、彩度変換部２０４３及び画像変換部２０４２を有する。彩度変換部２０４３は、注目領域の彩度に関する判定結果に基づいて、表示装置１７が表示可能な彩度範囲のうち相対的に高彩度な色の階調を維持するように、撮像画像に対する色変換を行う。画像変換部２０４２は、彩度が変換された撮像画像を表す撮像画像データに基づいて、表示画像データを生成する。
画像生成部２０４は、注目領域の彩度に関する判定結果に基づいて、表示装置１７に表示する表示画像を表す表示画像データを生成する。図１２は画像生成部２０４の論理構成を示すブロック図である。画像生成部２０４は、彩度変換部２０４３及び画像変換部２０４２を有する。彩度変換部２０４３は、注目領域の彩度に関する判定結果に基づいて、表示装置１７が表示可能な彩度範囲のうち相対的に高彩度な色の階調を維持するように、撮像画像に対する色変換を行う。画像変換部２０４２は、彩度が変換された撮像画像を表す撮像画像データに基づいて、表示画像データを生成する。
【0052】
＜表示画像データを生成する処理＞
Ｓ３０６において、画像生成部２０４は、注目領域の彩度に関する判定結果に基づいて、表示装置１７に表示する表示画像Ｂを表す表示画像データを生成する。以下、表示画像Ｂを表す表示画像データを生成する処理の詳細を説明する。図１３は表示画像Ｂを表す表示画像データを生成する処理を示すフローチャートである。
Ｓ３０６において、画像生成部２０４は、注目領域の彩度に関する判定結果に基づいて、表示装置１７に表示する表示画像Ｂを表す表示画像データを生成する。以下、表示画像Ｂを表す表示画像データを生成する処理の詳細を説明する。図１３は表示画像Ｂを表す表示画像データを生成する処理を示すフローチャートである。
【0053】
Ｓ８０１において、彩度変換部２０４３は、注目領域における全ての画素について、明度Ｌ＊，彩度Ｃ，色相Ｈと、彩度の判定結果である識別情報と、を取得する。Ｓ１３０１において、彩度変換部２０４３は、注目領域において、識別情報が１である画素の彩度を彩度変換ＬＵＴを用いて変換する。図１４（ａ）は彩度変換ＬＵＴを示す図である。彩度変換ＬＵＴは、入力される彩度と出力される彩度との対応関係を保持している。図１４（ｂ）は彩度変換ＬＵＴにおける入力彩度と出力彩度との対応関係を示す図である。彩度変換ＬＵＴは、図１４のように、表示装置１７が表示可能な彩度範囲のうち相対的に高彩度な色の階調を維持するように、入力彩度と出力彩度との対応関係を保持している。尚、図１４（ａ）における数値は、該当する色相に対応する、表示装置１７の最大の彩度に対する相対値である。画像変換部２０４２によるＳ８０５～Ｓ８０７の処理は、第１実施形態と同様であるため説明を省略する。
【0054】
＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、画像に対して表示装置が表示可能な彩度範囲のうち相対的に高彩度な色の階調を維持するように彩度の変換を行い、表示画像の表示を行う。これにより、色相を維持して生成される、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定することができる。
以上説明したように、本実施形態における画像処理装置は、画像に対して表示装置が表示可能な彩度範囲のうち相対的に高彩度な色の階調を維持するように彩度の変換を行い、表示画像の表示を行う。これにより、色相を維持して生成される、実物と彩度の階調が近い画像を参照しながら、画像上の評価領域を指定することができる。
【0055】
＜変形例＞
第２実施形態においては、予め決められた１種類の彩度変換ＬＵＴを用いて彩度の変換を行ったが、用途に合わせて複数種類の彩度変換ＬＵＴから彩度変換に用いる彩度変換ＬＵＴを選択できるようにしてもよい。図１５は彩度の変換方法を指定するためのＵＩを示す図である。コンボボックス１５０１はどの彩度範囲の階調を維持して彩度変換を行うかを指定するためのコンボボックスである。コンボボックス１５０２は階調を維持する彩度範囲のサイズを指定するためのコンボボックスである。コンボボックス１５０３の物体の色相に応じて彩度範囲を指定するためのコンボボックスである。実行ボタン１５０４は色変換を実行するためのボタンであり、終了ボタン１５０５は処理を終了するためのボタンである。
第２実施形態においては、予め決められた１種類の彩度変換ＬＵＴを用いて彩度の変換を行ったが、用途に合わせて複数種類の彩度変換ＬＵＴから彩度変換に用いる彩度変換ＬＵＴを選択できるようにしてもよい。図１５は彩度の変換方法を指定するためのＵＩを示す図である。コンボボックス１５０１はどの彩度範囲の階調を維持して彩度変換を行うかを指定するためのコンボボックスである。コンボボックス１５０２は階調を維持する彩度範囲のサイズを指定するためのコンボボックスである。コンボボックス１５０３の物体の色相に応じて彩度範囲を指定するためのコンボボックスである。実行ボタン１５０４は色変換を実行するためのボタンであり、終了ボタン１５０５は処理を終了するためのボタンである。
【0056】
図１６は彩度変換ＬＵＴそれぞれの特性を模式的に示す図である。図１６（ａ）はコンボボックス１５０１に対応する彩度変換ＬＵＴの特性を示す。表示装置１７には色相ごとに出力できる最大の彩度が異なる。つまり、表示装置１７が出力できる彩度範囲において相対的に高彩度な範囲は色相ごとに異なる。コンボボックス１５０１において、ユーザは、階調を維持する彩度範囲を指定することができる。図１６（ｂ）はコンボボックス１５０２に対応する彩度変換ＬＵＴの特性を示す。コンボボックス１５０２において、ユーザは、階調を維持する彩度範囲のサイズを指定することができる。図１６（ｃ）はコンボボックス１５０３に対応する彩度変換ＬＵＴの特性を示す。コンボボックス１５０３において、ユーザは、物体の色相を直接指定することによって、階調を維持する彩度範囲を指定することができる。以上のように、複数種類の彩度変換ＬＵＴから彩度の変換に用いる彩度変換ＬＵＴを指定することによって、物体の色に適した彩度の変換を行うことができる。
【0057】
［第３実施形態］
上述した実施形態においては、撮像画像の画素値をＬ＊ａ＊ｂ＊値に変換し、Ｌ＊ａ＊ｂ＊値に基づいて色相又は彩度を変換した。本実施形態においては、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いて、表示画像データを生成する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。
上述した実施形態においては、撮像画像の画素値をＬ＊ａ＊ｂ＊値に変換し、Ｌ＊ａ＊ｂ＊値に基づいて色相又は彩度を変換した。本実施形態においては、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いて、表示画像データを生成する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。
【0058】
＜画像処理装置の論理構成＞
図１７は画像処理装置１の論理構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１５に格納されたプログラムを読み出して実行することによって、図１７に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
図１７は画像処理装置１の論理構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１５に格納されたプログラムを読み出して実行することによって、図１７に示す論理構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【0059】
画像処理装置１は、画像取得部２０１、画像生成部１７０１、色差算出部２０５、表示制御部２０６、指定受付部２０７を有する。画像生成部１７０１は、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いて、表示画像データを生成する。
【0060】
＜画像処理装置が実行する処理＞
図１８は画像処理装置１が実行する処理を示すフローチャートである。尚、以下の処理は、入力デバイス１２を介したユーザ指示により開始する。尚、Ｓ３０１～Ｓ３０３，Ｓ３０７，Ｓ３０８の処理は上述した実施形態と同様であるため説明を省略する。
図１８は画像処理装置１が実行する処理を示すフローチャートである。尚、以下の処理は、入力デバイス１２を介したユーザ指示により開始する。尚、Ｓ３０１～Ｓ３０３，Ｓ３０７，Ｓ３０８の処理は上述した実施形態と同様であるため説明を省略する。
【0061】
Ｓ１８０１において、画像生成部１７０１は、撮像画像が各画素に有する画素値（Ｒ，Ｇ，Ｂ）を、色変換ＬＵＴを用いて、表示装置１７の特性に応じた色信号値（ＲＤ，ＧＤ，ＢＤ）に変換する。ここで用いる色変換ＬＵＴは予め生成され、ＨＤＤ１５に保持されている。色変換ＬＵＴは、撮像装置１３に依存したＲＧＢ色空間において均等に配置された格子点それぞれに対応する画素値（Ｒ，Ｇ，Ｂ）と、上述したＳ３０６の処理により色相又は彩度が変換された色信号値（ＲＤ，ＧＤ，ＢＤ）と、の対応関係を保持する。色変換ＬＵＴは、撮像装置１３に依存したＲＧＢ色空間において均等に配置された格子点それぞれに対応する画素値（Ｒ，Ｇ，Ｂ）に対して、上述したＳ３０４及びＳ３０６の処理を行うことによって予め生成することができる。
【0062】
＜第３実施形態の効果＞
以上説明したように、本実施形態に係る画像処理装置は、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いて、表示画像データを生成する。これにより、色相回転処理などを行わずに高彩度色の階調を維持する色変換を行うことができるため、計算コストを削減することができる。
以上説明したように、本実施形態に係る画像処理装置は、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いて、表示画像データを生成する。これにより、色相回転処理などを行わずに高彩度色の階調を維持する色変換を行うことができるため、計算コストを削減することができる。
【0063】
＜変形例＞
第３実施形態においては、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いたが、色変換ＬＵＴを用いた変換ではなく、マトリクスを用いた変換やガンマ変換を行ってもよい。
第３実施形態においては、撮像画像の画素値と色相又は彩度が変換された後の色信号値との対応関係を保持する色変換ＬＵＴを用いたが、色変換ＬＵＴを用いた変換ではなく、マトリクスを用いた変換やガンマ変換を行ってもよい。
【0064】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0065】
１ 画像処理装置
２０１ 画像データ取得部
２０４ 画像生成部
２０６ 表示制御部
１７０１ 画像生成部
２０１ 画像データ取得部
２０４ 画像生成部
２０６ 表示制御部
１７０１ 画像生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】