(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御手段は、新たな画像情報の組を追加する前と後とで色変換特性の精度をそれぞれ表示装置に表示するよう制御することを特徴とする請求項1に記載の画像処理装置。
前記表示制御手段は、前記色領域毎に表示された精度を組み合わせて色領域を表す円環を構成して精度を表示装置に表示するよう制御することを特徴とする請求項1に記載の画像処理装置。
前記表示制御手段は、ユーザ評価受付画面で受け付けたユーザの評価が予め定められた基準以下、または、当該基準を下回るときに、さらに画像情報の組を受け付けるための画像を表示装置に表示するように制御することを特徴とする請求項1に記載の画像処理装置。
前記表示制御手段は、前記色変換特性を作成するのに必要な画像情報の組の充足度を表示装置に表示するように制御することを特徴とする請求項1に記載の画像処理装置。
前記表示制御手段は、画像情報の組の充足度を、画像情報の組を取得する前と後とでそれぞれ表示装置に表示するよう制御することを特徴とする請求項7に記載の画像処理装置。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0010】
<画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、カメラ40により撮影した原画像に対し色調整(色変換)を行なう画像処理装置10と、画像処理装置10により出力された表示情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30と、撮影対象Sを撮影し画像処理装置10で色調整するための画像情報を生成するカメラ40とを備える。
【0011】
画像処理装置10は、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、色調整等が行われるようになっている。
【0012】
画像処理装置10は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメインメモリ及びHDD(Hard Disk Drive)とを備える。ここで、CPUは、OS(Operating System、基本ソフトウェア)やアプリケーションプログラム(応用ソフトウェア)等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、HDDは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、画像処理装置10は、外部との通信を行うための通信インタフェース(以下、「通信I/F」と表記する)と、キーボードやマウス等の入力デバイスとを備える。
【0013】
表示装置20は、表示画面20aに画像を表示する。表示装置20は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、
図1に示す例では、表示装置20内に表示画面20aが設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面20aは、表示装置20の外部に設けられたスクリーン等となる。
【0014】
入力装置30は、キーボードやマウス等で構成される。入力装置30は、色調整を行なうためのアプリケーションソフトウェアの起動、終了や、色調整を行なう際に、ユーザが画像処理装置10に対し色調整を行なうための指示を入力するのに使用する。
【0015】
カメラ40は、撮影装置の一例であり、例えば、入射した光を収束する光学系と、光学系により収束された光を検出する撮像手段であるイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を配列して構成される。
【0016】
画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
さらに画像処理装置10およびカメラ40とは、図示する例では、有線で接続されており、例えば、USB、IEEE1394、RS−232Cを介して接続されている。これによりカメラ40で撮影された画像の画像情報が、有線により画像処理装置10に送られる。ただしこれに限られるものではなく、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)等の無線接続であってもよい。さらに画像処理装置10およびカメラ40とを接続せず、SDカード等のメモリカード等を介して画像情報を画像処理装置10に受け渡してもよい。
【0017】
このような画像処理システム1において、まず最初にユーザが、カメラ40により撮影対象Sを撮影する。カメラ40により撮影した画像は、原画像であり、原画像の画像情報は、画像処理装置10に送られる。そして表示装置20には、色調整を行なう前の画像である原画像が表示される。次にユーザが入力装置30を使用して、画像処理装置10に対し色調整を行なうための指示を入力すると、画像処理装置10により原画像に対し色調整がなされる。この色調整の結果は、例えば、表示装置20に表示される画像に反映され、色調整前の画像とは異なる色調整後の画像が再描画されて表示装置20に表示される。
また、色調整後の画像としては、画像処理装置10による色調整後の画像の他、カメラ40とは機種特性が異なる、即ち撮影条件が異なる他のカメラによって撮影された他の画像としてもよい。この場合は、カメラ40で撮影した画像を色調整前の画像とし、撮影条件が異なるカメラで撮影された他の画像を色調整後の画像として見ることができる。
【0018】
また画像処理装置10では、色調整の結果を基に、色変換特性(色変換モデル)を作成する。「色変換モデル」は、色調整前の画像情報と色調整後の画像情報との関係である。また「色変換モデル」は、色調整前の画像情報と色調整後の画像情報との関係を表す関数であると言ってもよい。また詳しくは後述するが、色調整前の画像情報を始点とし、色調整後の画像情報を終点とする色変換ベクトルを考えたとき、「色変換モデル」は、この色変換ベクトルの集合体(色変換ベクトル群)であると言うこともできる。例えば、画像情報がRed(R)、Green(G)、Blue(B)からなるRGBデータであったとき、色調整前の画像情報を(R
a、G
a、B
a)、色調整後の画像情報を(R
b、G
b、B
b)とすると、(R
a、G
a、B
a)と(R
b、G
b、B
b)との関係を表す。
【0019】
さらに画像処理装置10では、色変換モデルを基に、色調整前の原画像の画像情報を色調整後の画像情報に色変換を行なう変換関係を作成する。「変換関係」は、色調整前の画像情報を色調整後の画像情報に変換するための変換情報である。この変換関係は、LUT(Look up Table)として作成することができる。LUTは、多次元LUTとすることができる。また1次元LUTとすることもできる。さらに変換関係は、LUTではなく、多次元マトリクスであってもよい。変換関係は多次元LUT、LUT、マトリックス以外にも、学習のための教師データ(入出力データ対)として保持してもよい。
【0020】
変換関係は、画像情報がRGBデータの場合、色調整前の画像情報である(R
a、G
a、B
a)を、色調整後の画像情報である(R
b、G
b、B
b)に変換する、(R
a、G
a、B
a)→(R
b、G
b、B
b)とするための情報である。この変換関係を使用することで、先に行なった色調整と同様の色調整を再現することができる。つまり新たに色調整前の画像情報が生じたときに、この変換関係を使用して色変換を行なうことで、先に行なった色調整と同様の色調整を行ない、色調整後の画像情報を生成することができる。
変換関係が多次元LUTの場合、ここでは3次元LUTとなり、(R
a、G
a、B
a)を(R
b、G
b、B
b)に直接変換する。即ち、(R
a、G
a、B
a)→(R
b、G
b、B
b)とするものとなる。また変換関係が1次元LUTの場合、R、G、Bのそれぞれについて変換する。即ち、R
a→R
b、G
a→G
b、B
a→B
bとするものとなる。本実施の形態では、RGBの色空間での変換を例示しているが、CMYK等の他の色空間の変換であってもよい。この場合、画像情報は、C(シアン)、M(マゼンタ)、Y(イエロー)、K(黒)の各色からなるCMYKデータとなる。そして、変換関係が多次元LUTの場合、ここでは4次元LUTとなり、色調整前の画像情報である(C
a、M
a、Y
a、K
a)を、色調整後の画像情報である(C
b、M
b、Y
b、K
b)に変換する、(C
a、M
a、Y
a、K
a)→(C
b、M
b、Y
b、K
b)とするものとなる。また変換関係が1次元LUTの場合、C、M、Y、Kのそれぞれについて変換する。即ち、C
a→C
b、M
a→M
b、Y
a→Y
b、K
a→K
bとするものとなる。
【0021】
なお本実施の形態における画像処理システム1は、
図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにタッチ等のユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。なおカメラ40としては、タブレット端末に内蔵されたカメラを用いることができる。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面20aとしてタッチパネルを使用したものである。この場合、画像処理装置10により出力された画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで色調整を行なうための指示を入力する。
【0022】
ここで画像処理装置10が、変換関係を作成するには、上述したように原画像から色調整前の画像情報を取得し、色調整後の画像から色調整後の画像情報を取得する必要がある。つまり色調整前の画像情報とこれに対応する色調整後の画像情報とを画像情報の組として取得する必要がある。
【0023】
このとき色調整前の画像情報および色調整後の画像情報の複数の組についての精度がよくないと、精度の高い色変換モデルが作成しにくくなり、変換関係の精度が低下する。具体的には、色調整を行なう際に、色調整の方向性が異なるデータが入り込む場合があり、これが画像情報の複数の組から導出される色変換モデルについての精度を低下させる一因となる。これが生じる要因としては、例えば、色調整を行なうユーザの習熟度に問題がある場合や、色調整を行なう際の環境の差異による場合などがある。この環境の差異としては、例えば、使用する表示装置20のデバイス特性の差異や照明環境の差異である。色調整の方向性が異なるデータが入り込むと、色調整の方向性の統一性がくずれ、精度の高い色変換モデルが作成しにくくなる。そしてその結果作成された変換関係により色調整を行なうと、例えば、要求と異なる色調整がなされたり、色調整の大きさがなめされて変化量が小さい色調整がなされるようになってしまう。
【0024】
以上説明したように、色調整前の画像情報および色調整後の画像情報の複数の組についての「精度」とは、色調整の方向性がそろっているか否かを表す指標である。また「精度」は、色変換モデルや変換関係を作成する上で、色調整前の画像情報および色調整後の画像情報の複数の組の質の程度を表す指標であると言うこともできる。詳しくは後述するが、「精度」は、色変換前の画像情報を始点とし、色変換後の画像情報を終点とする色変換ベクトルを基に数値化し、評価することができる。「精度」は色変換モデルを作成するもととなる画像情報の複数の組の全体を対象にしてもよいし、色変換モデルを作成するもととなる画像情報の複数の組の一部を対象にしてもよい。
【0025】
このように、色変換モデルについては、精度のよいものが求められる。しかしながらユーザが、これを判断するのは、困難である。また、精度のよい色変換モデルが実現できていないとき、どこに問題があるのかを把握するのは、困難である。
そこで本実施の形態では、色変換モデルの精度と、色調整前の画像情報および色調整後の画像情報の複数の組の精度とに関連があることに着目し、画像処理装置10の構成を以下のようにすることで、上述した問題が生じにくくする。つまり色調整前の画像情報および色調整後の画像情報の複数の組についての精度を評価することで、この画像情報の複数の組を基に作成される色変換モデルの精度を定量的に評価する。
【0026】
なお以後、色調整前の画像および色調整後の画像として、ユーザがまず入力するものを、「第1の画像」ということがある。「第1の画像」は、色調整前の画像および色調整後の画像の組として基本となる画像のセットであると言うこともできる。また色調整前の画像および色調整後の画像として、ユーザが、色調整前の画像情報および色調整後の画像情報の複数の組についての精度を確認するために入力するものを、「第2の画像」ということがある。色調整前の画像および色調整後の画像の組として、ユーザが精度の評価を行なうための画像のセットであると言うこともできる。さらに色調整前の画像および色調整後の画像として、ユーザが第1の画像に追加して入力するものを、「第3の画像」ということがある。「第3の画像」は、色調整前の画像および色調整後の画像の組として第1の画像に加えられる画像のセットであると言うこともできる。
【0027】
<画像処理装置10および表示装置20の説明>
次に画像処理装置10および表示装置20について説明を行なう。
【0028】
図2は、本実施の形態における画像処理装置10および表示装置20の機能構成例を表すブロック図である。なお
図2では、画像処理装置10および表示装置20が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、第1の画像情報を取得する第1の画像取得手段11と、第1の画像から画像情報の組を取得する画像情報取得手段12と、画像情報の複数の組の精度を評価する画像を表示させる第1の精度評価表示手段13と、評価用の第2の画像の画像情報を取得する第2の画像取得手段14と、第2の画像の画像情報を基に画像情報の複数の組の精度を評価する画像を表示させる第2の精度評価表示手段15と、ユーザの評価を受け付けるユーザ評価受付手段16と、画像の追加が必要なときに追加する画像の情報を求める追加情報導出手段17と、追加の画像である第3の画像の画像情報を取得する第3の画像取得手段18と、変換関係として色変換係数を算出する色変換係数算出手段19とを備える。
【0029】
また表示装置20は、画像処理装置10から、画像を表示するための表示情報を取得する表示情報取得手段21と、表示情報に基づき、画像を表示する表示手段22とを備える。この表示手段22は、上述した表示画面20aに対応するものである。
【0030】
第1の画像取得手段11は、第1の画像である色調整前の画像および色調整後の画像について、それぞれの画像情報を取得する。
これらの画像情報は、表示装置20で表示を行なうためのデータ形式となっており、例えば、前述のRGBデータである。なお第1の画像取得手段11は、他のデータ形式で画像情報を取得し、これを色変換してRGBデータ等としてもよい。
よって、第1の画像取得手段11は、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段として機能する。
【0031】
図3(a)〜(f)は、第1の画像取得手段11が取得する第1の画像の例について示した図である。
ここでは、商品である衣服または商品である衣服を着用した人物を撮影したときの画像情報を3組用意した場合を示している。このうち
図3(a)および
図3(b)は、それぞれダウンジャケットDjを撮影したときの第1の画像である。ここでは、
図3(a)が色調整前の画像であり、
図3(b)が色調整後の画像である。同様に
図3(c)および
図3(d)は、それぞれシャツShを着用した人物を撮影したときの第1の画像である。ここでは、
図3(c)が色調整前の画像であり、
図3(d)が色調整後の画像である。さらに
図3(e)および
図3(f)は、それぞれワンピースDrを着用した人物を撮影したときの第1の画像である。ここでは、
図3(e)が色調整前の画像であり、
図3(f)が色調整後の画像である。
【0032】
このように本実施の形態では、色調整前の画像と色調整後の画像とを複数組用意することで、より多くの色を含む画像情報の組を取得するようにする。
【0033】
画像情報取得手段12は、
図2に示すように、色調整前の画像および色調整後の画像から画像情報を抽出する領域を決定する領域決定手段121と、画像情報の組を抽出する画像情報抽出手段122と、抽出した画像情報の組を記憶する画像情報記憶手段123と、画像情報の組に対し精度を算出する精度導出手段124とを備える。
【0034】
領域決定手段121は、色調整前の画像と色調整後の画像うちいずれか一方の画像について、画像情報を抽出する領域を決定する。
つまり領域決定手段121は、例えば、
図3に示した画像の中から画像情報をどの位置から取得するかを決定する。この場合、色調整は商品である衣服の箇所に対して行われる。つまり商品の色は、色再現をより厳密に行ない、実際の商品の色と画像として表示される商品の色とが合致することが要求される。そのため色調整を行なう対象となりやすい。
【0035】
具体的には、例えば、領域決定手段121は、背景以外の箇所を画像情報を抽出する領域とする。そのために領域決定手段121は、背景と背景以外の箇所を判断する必要がある。ここで背景の画像情報は、画像の左端の画像情報とほぼ同じとなる。そのため画像の左端の画像情報と大きく画像情報が変化している箇所を背景以外の箇所とすることができる。このとき画像の左端の画像情報と比較する画像情報をサンプリングするには、例えば、画像中において予め定められた間隔で画素位置を決定し、画像の左端の画素との画像情報を比較していく。また予め定められたサイズのマスクを画像情報に適用し、このマスク内の画像情報の平均値と画像の左端の画素との画像情報を比較してもよい。
【0036】
さらに他の方法としては、画像情報を基に周波数解析をし、高周波が発生した画素位置を取得する。この画素位置は、背景以外の箇所の輪郭となるため、この輪郭の内側を背景以外の箇所とする。さらに他の方法としては、画像の中央から予め定められたサイズの範囲を規定しておき、この内部を背景以外の箇所とする。
【0037】
領域決定手段121は、色調整前の画像および色調整後の画像の何れかの画像について、以上説明したような処理を行ない、画像情報を抽出する領域を決定する。
【0038】
画像情報抽出手段122は、領域決定手段121によって指定された、色調整前の画像または色調整後の画像のうち一方の画像の領域内と、他方の画像のこれに対応する領域内とから画像情報を抽出する。これは、画像中の互いに対応する位置における画像情報の組として、色調整前の画像から画像情報を抽出するとともに、色調整後の画像から画像情報を抽出する、と言うこともできる。
つまり色調整前の画像および色調整後の画像から、画像中で同じとなる位置において、色調整前の画像情報および色調整後の画像情報を抽出する。
【0039】
図4(a)〜(b)は、色調整前の画像情報と色調整後の画像情報との組の例を示した図である。
ここで
図4(a)は、色調整前の画像とこれから抽出した色調整前の画像情報の例を示している。ここでは、色調整前の画像がブラウスの画像であり、その中のBr1〜Br5で示した箇所において抽出した画像情報をRGBa1〜RGBa5として示している。この場合、ブラウスは、青単色であり、RGBa1〜RGBa5は、何れも青色を表すRGBデータとなっている。
また
図4(b)は、色調整後の画像とこれから抽出した色調整後の画像情報の例を示している。ここでは、
図4(a)と同様のBr1〜Br5で示した箇所において抽出した画像情報をRGBb1〜RGBb5として示している。
【0040】
画像情報取得手段12では、以上説明したような方法により、色変換前の画像情報とこれに対応する色変換後の画像情報とを画像情報の組として取得する。取得された画像情報の組は、画像情報記憶手段123に記憶される。
【0041】
精度導出手段124は、画像情報抽出手段122で抽出した画像情報の複数の組に対する精度を算出する。
【0042】
精度導出手段124は、色変換前の画像情報を始点とし、色変換後の画像情報を終点とする色変換ベクトルを基に精度を求める。
図5(a)〜(b)は、色変換ベクトルから精度を求める方法について示した図である。
このうち
図5(a)は、複数の色変換ベクトル相互の角度の大きさから精度を導出する場合を示している。
図示する例では、色変換ベクトルとして、色変換ベクトルVc1および色変換ベクトルVc2の2つが示されている。これらの色変換ベクトルVc1、Vc2の始点は、上述の通り、色変換前の画像情報(色値)であり、終点は、色変換後の画像情報(色値)を意味する。つまり色変換ベクトルVc1、Vc2は、色変換による画像情報の移動方向および移動量を示す。そして色変換ベクトルVc1と色変換ベクトルVc2との角度θを考える。もし特定の色領域において、色調整の方向性がそろっており、統一性がある場合、複数の色変換ベクトルの方向はそろうため、角度θは、より0に近くなりやすい。対して色調整の方向性がそろっておらず、統一性が乏しい場合、複数の色変換ベクトルの方向はそろいにくく、角度θは、より大きくなりやすい。つまり画像情報取得手段12で取得した画像情報の複数の組に対する精度がよい場合、複数の色変換ベクトル相互の角度θの大きさは、より小さくなりやすく、精度がよくない場合、複数の色変換ベクトル相互の角度θの大きさは、より大きくなりやすい。よって複数の色変換ベクトル相互の角度θの大きさから上記精度を導出することができる。
【0043】
また
図5(b)は、複数の色変換ベクトルの終点の色差から精度を導出する場合を示している。
図示する例では、色変換ベクトルとして、色変換ベクトルVc3が示されている。また色変換ベクトルVc4として使用する色変換前の画像の画像情報と色変換した後の画像情報とは、後述する学習データを使用してもよく、学習外データを使用してもよい。そして色変換ベクトルVc3の終点の画像情報と始点となる色変換前の画像の画像情報を色変換特性を基に色変換した後の画像情報との色差(色差)Lを考える。ここで色変換ベクトルVc3と色変換ベクトルVc4との終点の画像情報の差(色差)Lを考える。なお色差Lは、この画像情報を表す色空間(例えば、RGB色空間)中のユークリッド距離であると考えることもできる。もし特定の色領域において、色調整の方向性がそろっており、統一性がある場合、これらの色変換ベクトルVc3、Vc4の方向や大きさはそろうため、終点の位置は、ばらつきにくい。その結果、色差Lは、より小さくなりやすい。対して色調整の方向性がそろっておらず、統一性が乏しい場合、これらの色変換ベクトルVc3、Vc4の方向や大きさはそろいにくく、終点の位置は、ばらつきやすい。その結果、色差Lは、より大きくなりやすい。つまり画像情報取得手段12で取得した画像情報の複数の組に対する精度がよい場合、これらの色変換ベクトルVc3、Vc4の終点の色差は、より小さくなりやすく、精度がよくない場合、これらの色変換ベクトルVc3、Vc4の終点の色差は、より大きくなりやすい。よってこれらの色変換ベクトルVc3、Vc4の終点の色差から上記精度を導出することができる。
【0044】
なお画像情報取得手段12は、色変換ベクトルについて、上述した角度や色差が他のものと比較して大きく異なるものについて、除外することもできる。即ち、このような色変換ベクトルとなる画像情報の組を除外することができる。つまりこのような画像情報の組となる色調整は、色調整の方向性が他と明らかに異なるものであり、精度を導出したり、精度の高い色変換モデルを作成するのには、適当なものとは言えない。そのため画像情報取得手段12は、画像情報の組からこのようなものを除外することもできる。色変換ベクトルについて、角度や色差が他のものと比較して大きく異なるか否かを判断するには、既存の統計的手法を用いることができる。
また画像情報取得手段12は、第1の画像取得手段11や第3の画像取得手段18が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力手段と捉えることもできる。
【0045】
第1の精度評価表示手段13は、このように算出した精度を表示する表示情報を作成する。そしてこの表示情報を表示装置20に出力し表示するよう制御している。
【0046】
図6は、第1の精度評価表示手段13が作成した表示情報を、表示装置20の表示手段22に表示した例を示した図である。
図示する例は、左側エリアRLに、精度を算出した全体の色領域221を表示している。ここでは、2つの円環221a、221bにより、全体の色領域221を表示している。
【0047】
図6に示した例では、全体の色領域221を領域1〜領域8の8つの色領域に分割している。なお「色領域」とは、色空間を予め定められた方法で分割したときの各領域を言う。ここでは、使用する色空間全体を予め定められた規則により分割し、分割したそれぞれの領域を色領域とする。より具体的には、色相、彩度、明度について、予め定められた境界値を設け、これにより分割を行なった領域を各領域とすることができる。
図6では、この一例として、色相および彩度を基に分割を行なった領域を各領域としている。
【0048】
そして本実施の形態では、第1の精度評価表示手段13は、精度を各色領域毎に算出する。
図6に示す例では、内側の円環221aには、1〜4の数字が表示され、全体の色領域221の中から領域1〜領域4で精度を算出したことを示している。また外側の円環221bには、5〜8の数字が表示され、全体の色領域221の中から領域5〜領域8で精度を算出したことを示している。また領域1〜領域8は、この領域における実際の色により塗色されている。よって2つの円環221a、221bは、色領域毎に表示された精度を組み合わせて色領域を表す。
【0049】
また図示する例では、右側エリアRRに、全体の色領域221の中で領域1、7における精度を含む情報が表示されている。
【0050】
この中で、エリア222には、精度がよくない色領域についての情報が表示される。ここでは、領域1について精度がよくなかったものとする。
エリア222には、領域1における色が、色見本222aとして表示されるとともに、領域1に関する情報であることを示す領域情報222bとして、「領域1」が表示されている。さらにエリア222には、画像情報の複数の組の精度222cが表示されるとともに、画像情報の組の充足度が、データ数222dとして表示される。この「充足度」は、必要な画像情報の組に対し、実際に第1の画像取得手段11で入力された画像情報の組の割合である。「充足度」は、各色領域について一律に定める場合と、各色領域について別々に定める場合がある。本実施の形態では、各色領域について別々に定める方法で充足度を定める。
【0051】
このうち精度222cは、「Level」として表され、A、B、C、D、Eの5段階で表示が行われる。この場合、最も精度がよい場合がAであり、最も精度が悪い場合がEである。またここでは、精度222cは、「Before」および「After」の2つについて表示されている。「Before」は、第1の画像についての画像情報の複数の組の精度であり、ここでは、LevelがCであることを示している。また「After」は、詳しくは後述するが、追加の画像である第3の画像を追加した後の画像情報の複数の組の精度であり、ここでは、LevelがBであることを示している。つまりここでは、新たな画像情報の組(第3の画像)を追加する前と後とで色変換特性の精度をそれぞれ表示装置20に表示する、と言うこともできる。
【0052】
またデータ数222dは、着色されたボックスの数により5段階で表示される。即ち、着色されたボックスの数が少ないほど、画像情報の組の数の充足度が少なく、着色されたボックスの数が多いほど、画像情報の組の数の充足度が多いことを示す。またここでも、データ数222dは、「Before」および「After」の2つについて表示されている。「Before」は、第1の画像についての画像情報の組の数の充足度であり、ここでは、データ数222dが5段階の中で3段階目であることを示している。また「After」は、詳しくは後述するが、追加の画像である第3の画像を追加した後の画像情報の組の数の充足度であり、ここでは、データ数222dが5段階の中で3段階目であることを示している。
【0053】
またエリア223には、精度がよくなかった領域1との比較として、精度がよい色領域についての情報が表示される。ここでは、領域7について精度がよかったものとする。
エリア223には、領域7について、エリア222と同様の情報が表示されている。つまりエリア223には、領域7における色が色見本223aとして表示され、領域7に関する情報であることを示す領域情報223bが表示される。さらにエリア223には、画像情報の複数の組の精度223cが表示され、画像情報の組の充足度が、データ数223dとして表示される。
【0054】
このように、表示手段22では、精度を色領域毎に表示する。ここではエリア222、223において、領域1〜領域8の色領域の中から、領域1、7の色領域を選択して、精度222c、223cの表示を行なっている。また表示手段22では、精度を、追加する画像情報の組を取得するための第3の画像の画像情報を取得する前と後とでそれぞれ表示する。ここでは、エリア222、223において、精度222c、223cの表示として、「Before」および「After」によりこれを行なっている。
【0055】
また表示手段22では、色変換モデルを作成するのに必要な画像情報の組の充足度を表示する。ここではエリア222、223において、必要な画像情報の組の充足度として、データ数222d、223dの表示を行なっている。また表示手段22では、画像情報の組の充足度を、追加する画像情報の組を取得するための第3の画像の画像情報を取得する前と後とでそれぞれ表示する。ここでは、エリア222、223において、データ数222d、223dの表示として、「Before」および「After」によりこれを行なっている。
【0056】
そしてエリア224には、領域1と領域7について、取得した画像情報の組の数が、第1の画像の画像枚数224aとして表示される。ここでは、領域1について第1の画像の画像枚数224aが、20枚で、領域7について第1の画像の画像枚数224aが、100枚であったことを示している。
さらにエリア224には、領域1と領域7について、色変換ベクトルのばらつきの程度が、画像均一性224bとして表示される。ここでは、画像均一性224bは、例えば、よい方から悪い方へ、A、B、C、D、Eの5段階で表示が行われる。そして領域1について画像均一性224bがBで、領域7について画像均一性224bがAであったことを示している。
【0057】
さらにボタン225は、上述した第3の画像を入力するときにユーザが選択するボタンである。
【0058】
図2に戻り、第2の画像取得手段14は、ユーザが精度を確認するための第2の画像の画像情報を取得する。この第2の画像は、ユーザが精度を確認するための評価用の画像である。またここでは、第2の画像は、第1の画像と同様に、色調整前の画像および色調整後の画像の組である。よって第2の画像取得手段14は、第1の画像取得手段11と同様に、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段として機能する。
【0059】
第2の精度評価表示手段15は、第2の画像について、色変換前の画像と色変換モデルを基に色変換した後の画像とを表示する表示情報をさらに作成する制御を行なっている。そしてこれを表示手段22が表示する。つまりここでは、第1の画像取得手段11で取得した画像情報の組を基に暫定的な仮の色変換モデルを作成し、この色変換モデルを使用したときに行なうことができる色調整の結果を、色変換した後の画像とし、表示手段22に表示する。そしてユーザは、これを見ることで上記精度を確認する。
【0060】
図7は、第2の精度評価表示手段15が作成した表示情報を、表示装置20の表示手段22に表示した第1の例を示した図である。
図7では、「色領域」を、特定の色として定めている。この特定の色は、特に限られるものではなく、ユーザの目的に応じて定められる。この場合、定められる色領域は、使用する色空間の全体をカバーしていなくてもよく、一部だけカバーしていてもよい。例えば、ベージュ色の色調整しか行わないような場合は、ベージュ一色を色領域としてもよい。また例えば、金属部品の色調整しか行わないような場合は、金属色一色を色領域としてもよい。もちろん複数の色領域を定めてもよい。
図7では、一例として、赤、白、グレイ、ベージュ、青、黄の6つの色領域を定めたものとする。
【0061】
本実施の形態でも、第2の精度評価表示手段15は、精度を各色領域毎に算出する。
図示する例は、左側エリアRLに、全体の色領域の中から精度を確認する画像を表示する色領域について表示している。ここでは、エリア226に、グレイの色領域における色が、色見本226aとして表示されるとともに、グレイの色領域に関する情報であることを示す領域情報226bとして「領域:グレイ」が表示されている。さらにエリア226には、画像情報の複数の組の精度226cが表示されるとともに、画像情報の組の充足度が、データ数226dとして表示される。
【0062】
そして
図6の場合と同様に、精度226cは、「Level」として表されるとともに、「Before」および「After」の2つについて表示されている。ここでは、双方ともLevelがCであることを示している。またデータ数226dについても、
図6の場合と同様に、着色されたボックスの数により5段階で表示されるとともに、「Before」および「After」の2つについて表示されている。「Before」については、5段階の中で3段階目であることを示し、「After」については、5段階の中で5段階目であることを示している。
【0063】
またここでは、エリア227に、比較として、精度がよい領域の精度が表示される。ここでは、赤の領域における色が、色見本227aとして表示されるとともに、赤の領域に関する情報であることを示す領域情報227bとして「領域:赤」が表示されている。そして精度227cとして、赤の領域におけるLevelがAであることを示している。さらにデータ数227dは、5段階の中で5段階目であることを示している。
【0064】
なお左側エリアRLには、
図6の場合と同様の機能を有するボタン225が表示される。
【0065】
また図示する例は、右側エリアRRのエリア228に、グレイの色領域におけるユーザが精度を確認するための画像が表示される。ここでは、第2の画像取得手段14で取得した第2の画像のうち、色調整前の画像が、「補正前」の画像228aとして表示される。また第2の画像取得手段14で取得した第2の画像のうち、色調整後の画像が、「目標」の画像228cとして表示される。そして画像228aと画像228cとの間には、暫定的な色変換モデルを使用したときに行なうことができる色調整の結果が、「自動補正」の画像228bとして表示される。
【0066】
また右側エリアRRのエリア229には、赤の領域におけるユーザが精度を確認するための画像が表示される。エリア229で表示される画像は、エリア228と同様の方法で表示される。つまり第2の画像取得手段14で取得した第2の画像のうち、色調整前の画像が、「補正前」の画像229aとして表示される。また第2の画像取得手段14で取得した第2の画像のうち、色調整後の画像が、「目標」の画像229cとして表示される。そして画像229aと画像229cとの間には、暫定的な色変換モデルを使用したときに行なうことができる色調整の結果が、「自動補正」の画像229bとして表示される。
【0067】
エリア228内で、画像228bと画像228cとをユーザが比較することで、上述した暫定的な色変換モデルの精度を判断することができる。同様にエリア229内で、画像229bと画像229cとをユーザが比較することで、同様のことをすることができる。ただし、エリア228では、精度がよくない場合の比較となり、エリア229では、精度がよい場合の比較となる。そのためユーザは、エリア228とエリア229とを比較することで、精度がよくない場合と精度がよい場合とを比較することもできる。
なおこの暫定的な色変換モデルの精度と画像情報の複数の組の精度とは関連するため、これらは画像情報の複数の組の精度を表示するものであると考えることもできる。
【0068】
なお第2の画像は、ここでは、色調整前の画像および色調整後の画像の組であったが、色調整後の画像をなくし、色調整前の画像の画像だけとしてもよい。この場合、色調整後の画像である、「目標」の画像228c、229cは、表示されない。この場合、エリア228における画像228a、228b、およびエリア229における画像229a、229bをそれぞれ比較し、暫定的な色変換モデルの精度を判断する。
【0069】
図8(a)は、第2の精度評価表示手段15が作成した表示情報を、表示装置20の表示手段22に表示した第2の例を示した図である。
【0070】
図示する例は、左側エリアRLのエリア226に、
図7のエリア226と同様の画像が表示される。即ち、グレイの色領域について、色見本226a、領域情報226b、精度226c、データ数226dが表示される。
また左側エリアRLには、
図7のボタン225と同様の機能を有するボタン225が表示される。
【0071】
また右側エリアRRのエリア230には、グレイの色領域におけるユーザが精度を確認するための画像が表示される。そして
図7の場合と同様に、色調整前の画像が、「補正前」の画像230aとして表示される。一方、ここでは、第3の画像を追加する前における色調整の結果が、「学習1」の画像230bとして表示され、第3の画像を追加した後における色調整の結果が、「学習2」の画像230cとして表示される。つまり画像230bおよび画像230cは、精度226cの「Before」および「After」に対応する画像であると考えることができる。
なおここでは、
図7のエリア227およびエリア229の画像は表示していないが、これと同じ画像を
図8(a)の場合でも表示するようにしてもよい。また、
図7中のエリア228、エリア229、または
図8中のエリア230、エリア232で画像を表示している部分は、画像でなく色領域内のRGBの値の図形(または塗りつぶし)を表示してもよい。
【0072】
図8(b)は、第2の精度評価表示手段15が作成した表示情報を、表示装置20の表示手段22に表示した第3の例を示した図である。
【0073】
図示する例は、全体の色領域について、ユーザが精度を確認するための画像が表示する例を示している。ここでは、左側エリアRLのエリア231に、精度231c、データ数231dが表示される。
【0074】
精度231cは、ここでも「Level」として表され、A、B、C、D、Eの5段階で表示が行われる。またここでは、追加の画像である第3の画像を2セット用意し、それぞれを「学習1」および「学習2」としたときの精度231cを表示している。この場合、「学習1」の精度として、LevelがAであることを示している。また「学習2」の精度として、LevelがCであることを示している。
【0075】
データ数231dは、
図7の場合と同様に、着色されたボックスの数により5段階で表示されるとともに、「学習1」および「学習2」の2つについて表示されている。ここでは、「学習1」については、5段階の中で4段階目であることを示し、「学習2」については、5段階の中で5段階目であることを示している。
【0076】
またここでは、右側エリアRRのエリア232に、全体の色領域についてユーザが精度を確認するための画像が表示される。そして
図8(a)の場合と同様に、色調整前の画像が、「補正前」の画像232aとして表示される。またここでは、2セット用意した第3の画像に対する精度を確認するための画像として、「学習1」の画像232b、および「学習2」の画像232cが表示される。つまり画像230bおよび画像230cは、精度231cの「学習1」および「学習2」に対応する画像であると考えることができる。またここでは、色調整後の画像である「目標」の画像232dが表示され、「学習1」の画像232bおよび「学習2」の画像232cの何れが、「目標」の画像232dに近いのかを比較することができる。さらに、ユーザは比較した結果、使用したい学習として「学習1」および「学習2」の何れかを選択することができる。
【0077】
そして、ボタン233は、ユーザが、「学習1」および「学習2」の何れかを選択するときに使用される。
【0078】
図9は、第2の精度評価表示手段15が作成した表示情報を、表示装置20の表示手段22に表示した第4の例を示した図である。
ここでは、「色領域」として設定されている赤、白、グレイ、ベージュ、青、黄について、精度を一覧として表示する場合を示している。
ここでは、左側エリアRLに、それぞれの色領域の色が、色見本234aとして表示されるとともに、それぞれの色領域の色が、領域情報234bとして表示されている。
さらに右側エリアRRには、精度234cが表示される。精度234cは、「Level」として表されるが、ここでは、ボックスの数ではなく、1、2、3、4、5の5段階で表示が行われる。この場合、最も精度がよい場合が5であり、最も精度が悪い場合が1である。そして第3の画像を追加する前におけるLevelが、「学習(初期)」として表示され、第3の画像を追加した後におけるLevelが、「再学習」として表示される。
【0079】
第1の精度評価表示手段13および第2の精度評価表示手段15は、色変換前の画像の画像情報を色変換後の画像の画像情報に変換する色変換モデルを作成するときに、画像情報の複数の組に対する精度を表示する表示情報を作成する表示情報作成手段であると把握することができる。また第1の精度評価表示手段13および第2の精度評価表示手段15は、画像情報取得手段12が出力した精度を色領域毎に表示装置20に表示するように制御する表示制御手段であると把握することができる。さらに第2の精度評価表示手段15は、第2の画像取得手段14が新たな画像情報の組(第2の画像)を受け付けたときに、少なくとも、すでに第1の画像取得手段11が受け付けた画像情報の組から色変換係数算出手段19が作成した色変換特性(色変換モデル)をもとに新たな画像情報の組(第2の画像)の色変換前の画像情報を色変換した画像情報と、画像情報の組(第2の画像)の色変換後の画像情報とを表示装置20に表示するように制御する表示制御手段であると把握することができる。
【0080】
ユーザ評価受付手段16は、第2の画像についての表示情報を基に表示手段22に画像を表示したときに、色変換モデルによる色変換についてのユーザの評価を受け付ける。
つまりユーザが
図7のエリア228およびエリア229の画像を見て、上述した暫定的な色変換モデルの精度が許容できるか否かの評価を受け付ける。このとき表示手段22は、第2の画像について表示した結果として、色変換モデルによる色変換についてのユーザの評価を受け付けるユーザ評価受付画面を表示する。
【0081】
図10は、ユーザ評価受付画面を表示手段22に表示した例を示した図である。
図示する例は、表示手段22にユーザ評価受付画面をウィンドウW1として表示した例を示している。ここでは、
図7のグレイの色領域に対する評価を入力する場合を示している。即ち、
図7のエリア228内で、画像228a〜画像228cをユーザが比較し、これによる評価を入力する場合を示している。そしてウィンドウW1には、「グレイに対する評価を入力して下さい。」のメッセージMe1が表示され、ユーザはここから1、2、3、4、5の5段階で評価を入力することができる。この場合、最も悪い評価が1であり、最もよい評価が5である。そしてユーザは、1〜5の数値に隣接したラジオボタンRbを選択することで、1〜5の何れかの評価を入力することができる。ここでは、ユーザが、評価として3に対応するラジオボタンRbを選択した例を示している。
【0082】
なお
図10では、ユーザ評価として1〜5の5段階を設定したが、この段数は、特に限られるものではない。例えば、〇(よい)または×(悪い)の2段階で行なってもよい。またここでは、グレイの色領域についてのユーザ評価を入力する場合を示したが、他の色領域に対しユーザ評価を入力してもよい。さらにユーザが複数の第2の画像を入力し、それぞれの第2の画像毎にユーザ評価を行なってもよい。さらに第2の画像に含まれる色領域を判別し、それぞれの色領域における代表画像を複数の第2の画像の中から決定して、
図7のエリア228やエリア229に表示し、これを基にユーザ評価を入力してもよい。
さらに
図8で示したように、複数セット用意した第3の画像に対する精度を確認するための画像の中から、ユーザが使用したいものを選択することで評価を行なってもよい。よって
図8に示した画面は、ユーザ評価受付画面である、と言うこともできる。
【0083】
追加情報導出手段17は、画像情報の組が不足している場合に、追加する画像情報の組に対し求められる色領域を求める。つまり追加情報導出手段17は、色調整前の画像と色調整後の画像の組からなる第3の画像について要求される色領域を求める。このとき、追加情報導出手段17は、追加する画像情報の組に対し求められる色領域を表示する追加情報画面を表示する表示情報を作成する。そして表示手段22は、追加情報画面を表示する。
また追加情報導出手段17は、第3の画像として必要な追加組数をさらに求めることもできる。この場合、表示手段22は、第3の画像として必要な追加組数をさらに表示する。
【0084】
図11は、追加情報画面を表示手段22に表示した例を示した図である。
図示する例は、表示手段22に追加情報画面をウィンドウW2として表示した例を示している。そしてウィンドウW2には、「学習させる画像が少なすぎます。セットする画像の数を増やしてください。」のメッセージMe2が表示される。
【0085】
またウィンドウW2には、各色領域毎に、着色されたボックスBxの数により4段階で表示される。即ち、着色されたボックスBxの数が少ないほど、画像情報の組の数の充足度が少なく、着色されたボックスBxの数が多いほど、画像情報の組の数の充足度が多いことを示す。さらにウィンドウW2には、各色領域毎に、追加組数Tmが表示される。
【0086】
追加組数Tmは、各色領域毎に必要な枚数を予め設定しておき、これに対し実際に入力された第1の画像の枚数との差とすることができる。また単なる差の枚数ではなく、上述した精度やユーザの評価により追加組数Tmを増減させてもよい。つまり精度がよかった場合は、追加組数Tmを減少させる。対して精度がよくなかった場合は、追加組数Tmを増加させる。またユーザの評価がよかった場合は、追加組数Tmを減少させる。対してユーザの評価がよくなかった場合は、追加組数Tmを増加させる。
【0087】
ここでは、赤、白、グレイ、ベージュ、青、黄の6つの色領域について、ボックスBxおよび追加組数を表示した例を示している。ここでは、赤、青の色領域については、画像情報の組が不足しておらず、追加組数が0枚であることを示している。また他の色の色領域については画像情報の組が不足しており、それぞれ必要な枚数が表示される。例えば、グレイの色領域については、追加組数が30枚であることが表示されている。ユーザは、この追加情報画面を見ることで、追加する画像である第3の画像が必要であるか否かを把握することができる。さらにユーザは、何れの色領域について不足が生じているかを把握することができ、例えば、この色領域の色を多く含む画像を選択し、第3の画像とすることができる。
【0088】
第3の画像取得手段18は、第3の画像の画像情報を取得する。よって第3の画像取得手段18は、第1の画像取得手段11や第2の画像取得手段14と同様に、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段として機能する。
これにより、例えば、ユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準以下、またはその基準を下回る場合に、画像情報の組を取得することができる。このとき、表示手段22は、第3の画像の画像情報を取得するための第3の画像取得画面を表示する。
第3の画像取得画面の一例としては、第3の画像を入力するときにユーザが選択するボタン225を表示する、
図6および
図7に示した画面が挙げられる。なお他にも第3の画像を取得するためのウィンドウを表示するようにしてもよい。
第3の画像の画像情報は、第1の画像の画像情報と同様の処理が行なわれる。即ち、画像情報取得手段12において、領域決定手段121が、画像情報を抽出する領域を決定し、画像情報抽出手段122が、画像情報の組を抽出する。そして画像情報記憶手段123が、抽出した画像情報の組を記憶するとともに、精度導出手段124が、画像情報の複数の組に対する精度を算出する。なおこの精度は、第1の画像の画像情報に加え、第3の画像を追加した後の画像情報の複数の組の精度である。そして算出された精度は、
図6や
図7で説明した「After」の箇所に表示されるものとなる。
【0089】
色変換係数算出手段19は、色変換モデルを作成する。よって色変換係数算出手段19は、第1の画像取得手段11が受け付けた複数の画像情報の組から色変換特性(色変換モデル)を作成する色変換特性作成手段として機能する。またさらに色変換係数算出手段19は、色変換モデルを基に、3次元LUT等の変換関係を作成する。
色変換係数算出手段19は、第1の画像や第3の画像から得られた色調整前の画像情報および色調整後の画像情報の組を基に色変換モデルを作成する。つまり色調整前の画像情報と色調整後の画像情報との関係を表す色変換モデルを作成する。
【0090】
図12は、色変換モデルの一例について示した図である。
ここで横軸は、色調整前の画像情報を表し、縦軸は、色調整後の画像情報を表す。色調整前の画像情報および色調整後の画像情報は、RGBデータであり、
図12では、色調整前の画像情報は、RGBa、色調整後の画像情報は、RGBbとして図示している。
【0091】
そして黒丸Prは、色調整前の画像情報と色調整前の画像情報とをプロットしたものであり、ここでは、色調整前の画像情報と色調整後の画像情報との組が、12個であったことを示している。
【0092】
また実線Jsは、色調整前の画像情報と色調整後の画像情報との関係であり、色変換係数算出手段19で作成される色変換モデルを表す。この色変換モデルは、上述したように、色調整前の画像情報と色調整後の画像情報との関係を表した関数であると言うこともでき、この関数をfとすると、RGBb=f(RGBa)と表すこともできる。この色変換モデルは、公知の方法で作成することができる。ただし、重み付け回帰モデルやニューラルネットワークなどの非線形特性に対するフィッティング性能が高い方法を使用することが好ましい。ただし、非線形特性に限定されず、Matrixモデルを使用した線形特性を用いてもよい。
【0093】
<変形例>
次に本実施の形態における変形例の説明を行なう。
図13は、本実施の形態における画像処理装置10および表示装置20の機能構成の変形例を表すブロック図である。なお
図13では、画像処理装置10および表示装置20が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
【0094】
図13に示す本実施の形態における画像処理装置10および表示装置20は、
図2に示したものに対し、画像情報取得手段12に、分類手段125が加わっている。そして第2の画像取得手段14は、分類手段125から第2の画像の画像情報を取得する。また他は、
図2に示したものと同様である。この場合、分類手段125以外の他の箇所の機能は、
図2の場合と同様である。よって以下、分類手段125について主に説明を行なう。
【0095】
分類手段125は、画像情報抽出手段122で抽出された画像情報の組を、学習データと学習外データとに分類する。この場合、「学習データ」は、色変換モデルを作成するために使用する画像情報の組である。また「学習外データ」は、色変換モデルを作成するために使用しない画像情報の組である。そして第2の精度評価表示手段15は、学習外データをユーザが精度を確認するための第2の画像の画像情報とする。つまり
図13に示した画像処理装置10は、第1の画像の画像情報から、評価用の第2の画像の画像情報を取得する。
画像情報の組を、学習データと学習外データとに分類するには、各色領域毎に数の比率で分けることで行なう。例えば、学習データと学習外データとの比率を4:1や9:1など予め定めておき、この比率に従い、画像情報の組を、学習データと学習外データとにランダムに振り分ける。
【0096】
この場合、ユーザは、第2の画像の画像情報を入力する必要がなくなり、ユーザの負担が軽減される。
【0097】
次に画像処理装置10の動作について説明する。
【0098】
[第1の実施形態]
第1の実施形態では、最小構成の第1の例として、
図7に示す画面を表示する画像処理装置10の動作について説明する。
図14は、第1の実施形態における画像処理装置10の動作について説明したフローチャートである。
まず第1の画像取得手段11が、第1の画像として、色調整前の原画像の画像情報と色調整後の画像情報とを取得する(ステップ101:第1の画像取得工程、受付工程)。
【0099】
次に画像情報取得手段12の領域決定手段121が、色調整前の画像と色調整後の画像のうちいずれか一方の画像について、画像情報を抽出する領域を決定する(ステップ102:抽出領域決定工程)。
【0100】
そして画像情報抽出手段122は、領域決定手段121によって決定された、色調整前の画像または色調整後の画像のうち一方の画像の領域内と、他方の画像のこれに対応する領域内とから画像情報を抽出する(ステップ103:画像情報抽出工程)。
【0101】
さらに画像情報記憶手段123が、抽出された画像情報の組を記憶する(ステップ104:画像情報記憶工程)。
なおステップ102〜ステップ104は、第1の画像について、色変換前の画像情報とこれに対応する色変換後の画像情報とを画像情報の組として取得する画像情報取得工程であると把握することができる。ここで、ステップ102の工程がない場合も考えられる。ステップ102がない場合は、画像全体から画像情報を抽出する。
【0102】
次に精度導出手段124が、抽出された画像情報の複数の組に対する精度を算出する(ステップ105:精度導出工程、精度出力工程)。つまり
図5で説明したように、複数の色変換ベクトル相互の角度の大きさや終点の色差から精度を導出する。このとき精度導出手段124は、
図7で示した各色領域毎に精度を算出する。また上述したように、このとき画像情報取得手段12は、色変換ベクトルについて、角度や色差が他のものと比較して大きく異なるものについて、除外することもできる。
【0103】
さらに第2の画像取得手段14が、評価用の第2の画像の画像情報を取得する(ステップ106:第2の画像取得工程、受付工程)。
【0104】
そして第2の精度評価表示手段15が、算出した精度を表示する表示情報を作成する(ステップ107:表示情報作成工程)。具体的には、第2の精度評価表示手段15は、
図7に示したような画面を表示する表示情報を作成する。
【0105】
さらに第2の精度評価表示手段15は、作成した表示情報を表示装置20に出力する(ステップ108:表示情報出力工程、表示制御工程)。
その結果、表示装置20の表示手段22では、
図7に示した画面が表示される。
【0106】
[第2の実施形態]
第2の実施形態では、最小構成の第2の例として、変形例における画像処理装置10の動作について説明する。
図15は、第2の実施形態における画像処理装置10の動作について説明したフローチャートである。
図15において、ステップ201〜ステップ203は、ステップ101〜ステップ103と同様であるので説明を省略する。
ステップ203より後は、分類手段125が、画像情報抽出手段122で抽出された画像情報の組を、学習データと学習外データとに分類する(ステップ204)。
【0107】
そして画像情報記憶手段123が、学習データを記憶する(ステップ205:学習データ記憶工程)。
なおステップ202〜ステップ205は、第1の画像について、色変換前の画像情報とこれに対応する色変換後の画像情報とを画像情報の組として取得する画像情報取得工程であると把握することができる。
【0108】
次に精度導出手段124が、抽出された画像情報の複数の組に対する精度を算出する(ステップ206:精度導出工程、精度出力工程)。
【0109】
そして第2の画像取得手段14が、学習外データを、評価用の第2の画像の画像情報として取得する(ステップ207:第2の画像取得工程、受付工程)。
【0110】
以後のステップ208〜ステップ209は、ステップ107〜ステップ108と同様であるので説明を省略する。
【0111】
[第3の実施形態]
第3の実施形態では、第1の実施形態に加え、ユーザの評価を受け付け、追加の画像である第3の画像の画像情報を取得して、変換関係を作成する場合について説明する。
図16は、第3の実施形態における画像処理装置10の動作について説明したフローチャートである。
図16において、ステップ301〜ステップ308は、ステップ101〜ステップ108と同様であるので説明を省略する。
ステップ308より後は、
図7の画面を見たユーザが、例えば、
図8に示したユーザ評価受付画面に対し評価の入力を行なう。そしてユーザ評価受付手段16は、入力されたユーザの評価を受け付ける(ステップ309:ユーザ評価受付工程)。ここでは、ユーザの評価は、〇(よい)または×(悪い)の2段階で行なうものとする。
【0112】
次にユーザ評価受付手段16は、ユーザの評価が〇(よい)であったか否かを判断する(ステップ310:評価判断工程)。
その結果、ユーザの評価が〇(よい)であった場合(ステップ310でYes)、追加情報導出手段17は、取得した画像情報の組の数が不足しているか否かを判断する(ステップ311:不足判断工程)。
【0113】
そして不足していなかった場合(ステップ311でNo)、色変換係数算出手段19が、色変換モデルを作成する(ステップ312:色変換モデル作成工程、色変換特性作成工程)。またさらに色変換係数算出手段19は、色変換モデルを基に、3次元LUT等の変換関係を作成する(ステップ313:変換関係作成工程)。
つまり本実施の形態では、ユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準を超えるものである(この場合、ユーザの評価が〇)とともに、画像情報の組が必要数に足りている場合は、色変換モデルを作成する。
【0114】
対してステップ311で、不足していた場合(ステップ311でYes)、ステップ317に移行する。
【0115】
またステップ310で、ユーザの評価が×(悪い)であった場合(ステップ310でNo)、追加情報導出手段17は、ステップ305で求めた精度が目標を満たしているか否かを判断する(ステップ314:精度判断工程)。追加情報導出手段17は、精度について予め定められた限界値を設け、この限界値を基に精度が目標を満たしているか否かを判断する。
その結果、精度が目標を満たしていた場合(ステップ314でYes)、限界値を修正する(ステップ315:限界値修正工程)。つまりこの場合は、精度が目標を満たしているにも拘わらず、ユーザの評価が×(悪い)である場合であり、ユーザの要求に対し、精度のレベルが低かったものと考えられる。よって限界値を精度のレベルがより高い方へ(より厳しいレベルになるように)修正を行なう。
対して精度が目標を満たしていない場合(ステップ314でNo)、追加情報導出手段17は、第3の画像により追加する画像情報に対し求められる色領域を求めるとともに、第3の画像として必要な追加組数をさらに求める(ステップ316:追加組数導出工程)。
【0116】
次に、追加情報導出手段17は、
図11で示したような追加情報画面の表示情報を作成し、表示手段22に表示させる(ステップ317:追加情報表示工程)。これによりユーザに第3の画像の入力を促す。
【0117】
つまり本実施の形態では、ユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準以下、またはその基準を下回る場合(この場合、ユーザの評価が×)は、第3の画像の画像情報を取得する。
またユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準を超えるものである(この場合、ユーザの評価が〇)場合でも、画像情報の組が必要数に足りていない場合(この場合、ステップ311でNo)は、第3の画像の画像情報を取得する。
【0118】
そしてユーザにより第3の画像が入力されると、第3の画像取得手段18が、第3の画像の画像情報を取得する(ステップ318:第3の画像取得工程、受付工程)。
さらに画像情報取得手段12が、ステップ301で取得した第1の画像と、ステップ318で取得した第3の画像から使用する画像を選択する(ステップ319:画像選択工程)。その後は、ステップ302に移行する。
【0119】
以上説明した第1の実施形態および第2の実施形態によれば、色領域毎にユーザが入力した第1の画像についての画像情報の複数の組の精度を表示し、これにより第1の画像を基に作成される色変換モデルを定量的に評価することができる。またこれを見たユーザは、画像の追加の必要性の有無を判断することができる。またユーザは、何れの色領域について画像の追加の必要があるかを判断することができる。つまり精度がよくない場合に、どこに問題があるかを把握することができる。
【0120】
また第3の実施の形態によれば、これに加え、精度の情報を見たユーザが評価を行ない、その結果に応じて追加する第3の画像が必要か否かを画像処理装置10側で判断することができる。またこのとき第3の画像として必要な色領域や追加組数をユーザに提示することができる。またユーザは、第3の画像を追加後の精度を見ることで、入力する画像の何れに問題があるかを把握するのがより容易になる。つまり画像の枚数を多くしても精度がよくならない場合、色調整の方向性が異なる画像が多く含まれていることがわかる。また画像の枚数を多くしても特定の色領域についての精度が向上しなければ、この色領域の色を含む画像が不足していることがわかる。
そしてこれにより各色領域において必要な画像が確保でき、精度のよい色変換モデルを作成できる。さらに色変換モデルから作成される変換関係も精度の高いものとなる。
【0121】
なお第1の実施形態〜第3の実施形態では、
図7に示した画面を表示する場合を説明したが、
図6、
図8、
図9に示した画面を表示することもできる。この場合もユーザは、精度を見て、画像の追加の必要性の有無を判断したり、評価を入力することができる。
【0122】
また上述した例では、色調整前の画像は、カメラ40により撮影された画像であったが、これに限られるものではなく、どのような画像であってもよい。
さらに
図6や
図7において、「After」の箇所は、第3の画像を追加する前は、この部分は、表示しなくてもよい。またはこの箇所は、第3の画像を追加する前は、グレイ表示とし、追加した後に更新し、通常の表示としてもよい。
【0123】
なお以上説明した画像処理装置10が行なう処理は、画像処理方法として捉えることもできる。即ち、画像処理装置10が行なう処理は、以下の(I)〜(II)の少なくとも2つの工程を含む画像処理方法であると考えることができる。
【0124】
(I)色変換前の画像および色変換後の画像からなる第1の画像について、色変換前の画像情報とこれに対応する色変換後の画像情報とを画像情報の組として取得する画像情報取得工程
(II)画像情報取得工程で取得した第1の画像の色変換前の画像の画像情報を色変換後の画像の画像情報に変換する画像情報の複数の組に対する精度を表示する表示情報を作成する表示情報作成工程
【0125】
また以上説明した表示装置20が行なう処理は、画像表示方法として捉えることもできる。即ち、表示装置20が行なう処理は、以下の(III)〜(IV)の少なくとも2つの工程を含む画像表示方法であると考えることができる。
【0126】
(III)色変換前の画像の画像情報を色変換後の画像の画像情報に変換する色変換特性を作成するときに、色変換前の画像および色変換後の画像からなる第1の画像について、色変換前の画像情報とこれに対応する色変換後の画像情報との画像情報の組に対する精度を色領域毎に表示するための表示情報を取得する表示情報取得工程
(IV)前記表示情報に基づき、精度を表示する表示工程
【0127】
<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【0128】
よって本実施の形態で画像処理装置10が行なう処理は、コンピュータに、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付機能と、受付機能が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力機能と、受付機能が受け付けた複数の画像情報の組から色変換特性を作成する色変換特性作成機能と、受付機能が新たな画像情報の組を受け付けたときに、少なくとも、すでに受付機能が受け付けた画像情報の組から色変換特性作成機能が作成した色変換特性をもとに新たな画像情報の組の色変換前の画像情報を色変換した画像情報と、新たな画像情報の組の色変換後の画像情報とを表示装置に表示するように制御する表示制御機能と、を実現させるためのプログラムとして捉えることができる。
またコンピュータに、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付機能と、受付機能が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力機能と、精度出力機能が出力した精度を色領域毎に表示装置に表示するように制御する表示制御機能と、を実現させるためのプログラムとして捉えることができる。
【0129】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【0130】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。