5957270 画像処理装置および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5957270

(24)【登録日】2016年6月24日

(45)【発行日】2016年8月10日

(54)【発明の名称】画像処理装置および画像処理プログラム

(51)【国際特許分類】

   H04N 1/46 20060101AFI20160728BHJP

   G06T 1/00 20060101ALI20160728BHJP

   H04N 1/60 20060101ALI20160728BHJP

【ＦＩ】

   H04N1/46 Z

   G06T1/00 510

   H04N1/40 D

【請求項の数】7

【全頁数】10

(21)【出願番号】特願2012-89312(P2012-89312)

(22)【出願日】2012年4月10日

(65)【公開番号】特開2013-219591(P2013-219591A)

(43)【公開日】2013年10月24日

【審査請求日】2015年4月9日

(73)【特許権者】

【識別番号】592217093

【氏名又は名称】株式会社ニコンシステム

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100116001

【弁理士】

【氏名又は名称】森 俊秀

(72)【発明者】

【氏名】田中 晴彦

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００２−３１４８２５（ＪＰ，Ａ）

【文献】 特開２００５−１６５４３７（ＪＰ，Ａ）

【文献】 特開２０１２−１５１５７２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１５７９２６（ＵＳ，Ａ１）

【文献】 特開平０６−２０３１１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｊ ３／００−４／０４

Ｇ０１Ｊ ７／００−９／０４

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−９／４０

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／４６−１／４８

Ｈ０４Ｎ １／５２

Ｈ０４Ｎ １／６０

(57)【特許請求の範囲】

【請求項1】

画像を複数の画像領域に分割する画像分割部と、
前記画像領域が有する色の色空間上の座標と、前記座標に対応する色調および色名とを求める演算部と、
前記複数の画像領域のうち評価対象の対象領域として複数抽出し、抽出した複数の前記対象領域の前記座標に基づいて前記画像における色彩調和を評価する調和評価部と、
前記座標、前記色調および前記色名に基づいて前記画像領域と隣接する画像領域とを結合する領域結合部とを有する画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記調和評価部は、前記複数の画像領域の大きさに基づいて、前記複数の対象領域を抽出する画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記調和評価部は、前記複数の対象領域における２つの前記対象領域の組み合わせそれぞれの調和関係を前記座標の相対的な位置関係に基づいて求め、前記画像における色彩調和を評価する画像処理装置。

【請求項4】

画像を複数の画像領域に分割する画像分割部と、
前記画像領域が有する色の色空間上の座標を求める演算部と、
前記複数の画像領域のうち評価対象の対象領域として複数抽出し、前記複数の対象領域における２つの前記対象領域の組み合わせにおける前記座標の相対的な位置関係から、前記組み合わせの調和関係を、前記２つの対象領域間の色が同じである同一調和、類似している類似調和、または対比している対比調和として求めて、前記複数の対象領域における前記同一調和、前記類似調和および前記対比調和それぞれの頻度を算出し、前記画像における色彩調和を評価する調和評価部とを有する画像処理装置。

【請求項5】

請求項４に記載の画像処理装置において、
前記調和評価部は、前記同一調和、前記類似調和および前記対比調和の頻度Ｒｉ、ＲｓおよびＲｃを下記式を用いて算出する画像処理装置。

【数1】

なお、Ｎは前記対象領域の数を示し、Ｎｉ、ＮｓおよびＮｃは前記複数の対象領域において前記同一調和、前記類似調和および前記対比調和とされた前記組み合わせの数を示す。

【請求項6】

画像を読み込む入力手順、
前記画像を複数の画像領域に分割する画像分割手順、
前記画像領域が有する色の色空間上の座標と、前記座標に対応する色調および色名とを求める演算手順、
前記複数の画像領域のうち評価対象の対象領域として複数抽出し、抽出した複数の前記対象領域の前記座標に基づいて前記画像における色彩調和を評価する調和評価手順、
前記座標、前記色調および前記色名に基づいて前記画像領域と隣接する画像領域とを結合する領域結合手順、
をコンピュータに実行させる画像処理プログラム。

【請求項7】

請求項６に記載の画像処理プログラムにおいて、
前記調和評価手順は、前記複数の画像領域の大きさに基づいて、前記複数の対象領域を抽出する画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理プログラムに関する。

【背景技術】

【0002】

従来、部屋や画像などにおける色彩分布と人間の色認識に基づく心理状態とは密接に関係しており、その関係を客観的に測定する様々な技術が開発されている。

【0003】

例えば、撮像された画像の色データを用いて画像に分布する色を測色学的に計測し、色度図上にプロットすることにより、複数の色のグループに分解して色彩数および鮮やかさを算出し視覚的快適度を算出する技術がある（特許文献１など参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−２８３１８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、人間の色認識に基づいた心理状態は、画像全体の色彩分布というよりはその画像を代表する幾つかの色の調和によって決まると考えられる。しかしながら、従来技術のように画像全体の色度図上の分布に基づいて算出される視覚的快適度では、実際の人間の色認識に基づいた心理状態と必ずしも一致しない場合がある。

【0006】

上記従来技術が有する問題に鑑み、本発明の目的は、人間の色認識を考慮しつつ画像の色彩調和を評価することができる技術を提供することにある。

【課題を解決するための手段】

【0007】

本発明を例示する画像処理装置の一態様は、画像を複数の画像領域に分割する画像分割部と、画像領域が有する色の色空間上の座標と、座標に対応する色調および色名とを求める演算部と、複数の画像領域のうち評価対象の対象領域として複数抽出し、抽出した複数の対象領域の座標に基づいて画像における色彩調和を評価する調和評価部と、座標、色調および色名に基づいて画像領域と隣接する画像領域とを結合する領域結合部とを有する。

【0008】

また、調和評価部は、複数の画像領域の大きさに基づいて、複数の対象領域を抽出してもよい。

【0010】

また、調和評価部は、複数の対象領域における２つの対象領域の組み合わせそれぞれの調和関係を座標の相対的な位置関係に基づいて求め、画像における色彩調和を評価してもよい。

【0011】

本発明を例示する画像処理装置の別の態様は、画像を複数の画像領域に分割する画像分割部と、画像領域が有する色の色空間上の座標を求める演算部と、複数の画像領域のうち評価対象の対象領域として複数抽出し、複数の対象領域における２つの対象領域の組み合わせにおける座標の相対的な位置関係から、組み合わせの調和関係を、２つの対象領域間の色が同じである同一調和、類似している類似調和、または対比している対比調和として求めて、複数の対象領域における同一調和、類似調和および対比調和それぞれの頻度を算出し、画像における色彩調和を評価する調和評価部とを有する。

【0012】

また、調和評価部は、同一調和、類似調和および対比調和の頻度Ｒｉ、ＲｓおよびＲｃを下記式を用いて算出してもよい。

【0013】

【数1】

【0014】

なお、Ｎは対象領域の数を示し、Ｎｉ、ＮｓおよびＮｃは複数の対象領域において同一調和、類似調和および対比調和とされた組み合わせの数を示す。

【0015】

本発明を例示する画像処理プログラムの一態様は、画像を読み込む入力手順、画像を複数の画像領域に分割する画像分割手順、画像領域が有する色の色空間上の座標と、座標に対応する色調および色名とを求める演算手順、複数の画像領域のうち評価対象の対象領域として複数抽出し、抽出した複数の対象領域の座標に基づいて画像における色彩調和を評価する調和評価手順、座標、色調および色名に基づいて画像領域と隣接する画像領域とを結合する領域結合手順、をコンピュータに実行させる。
また、調和評価手順は、複数の画像領域の大きさに基づいて、複数の対象領域を抽出してもよい。

【発明の効果】

【0016】

本発明によれば、人間の色認識を考慮しつつ画像の色彩調和を評価することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一の実施形態に係るコンピュータの構成を示すブロック図

【図2】一の実施形態に係るコンピュータによる画像処理を示すフローチャート

【図3】Ｍｏｏｎ−Ｓｐｅｎｃｅｒモデルの一例を示す図

【発明を実施するための形態】

【0018】

図１は、本発明の一の実施形態に係る画像処理装置として動作するコンピュータ１００の構成を示す。

【0019】

本実施形態のコンピュータ１００は、図１（ａ）に示すように、ＣＰＵ１０、記憶部２０、入出力インタフェース（入出力Ｉ／Ｆ）３０、バス４０から構成され、ＣＰＵ１０、記憶部２０、入出力Ｉ／Ｆ３０は、バス４０を介して情報伝達可能に接続される。また、コンピュータ１００には、入出力Ｉ／Ｆ３０を介して、画像処理の途中経過や処理結果を表示する出力装置５０、ユーザからの入力を受け付ける入力装置６０がそれぞれ接続される。出力装置５０には、一般的な液晶モニタやプリンタなどを、入力装置６０には、キーボードやマウスなどをそれぞれ適宜選択して使用することができる。

【0020】

ＣＰＵ１０は、記憶部２０に記憶されている制御プログラムを実行し、コンピュータ１００の各部を制御するマイクロプロセッサである。また、ＣＰＵ１０は、入力装置６０を介して受け付けたユーザからの指示に基づいて、記憶部２０に記憶されている画像処理プログラムを実行することにより、図１（ｂ）に示すように、画像分割部１１、演算部１２、領域結合部１３、調和評価部１４として動作する。ＣＰＵ１０は、画像の処理結果を出力装置５０に表示する。なお、画像分割部１１、演算部１２、領域結合部１３、調和評価部１４の動作については後ほど説明する。

【0021】

記憶部２０は、制御プログラムおよび画像処理プログラムとともに、処理対象の画像および後述する日本工業規格（ＪＩＳ）の色に関するデータなどを記憶する。記憶部２０に記憶されるプログラムや各種データは、バス４０を介して、ＣＰＵ１０から適宜参照することができる。記憶部２０には、一般的なハードディスク装置、光磁気ディスク装置などの記憶装置を選択して用いることができる。

【0022】

次に、コンピュータ１００による画像処理について、図２のフローチャートを参照しつつ説明する。なお、コンピュータ１００が処理対象とする画像は、記憶部２０に予め記憶されているとする。また、処理対象の画像は、静止画像であっても動画像のフレームであってもよい。

【0023】

ユーザが、入力装置６０を用いて、画像処理プログラムのコマンドを入力、またはそのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１０は、その命令を入出力Ｉ／Ｆ３０を通じて受け付け、記憶部２０に記憶されている画像処理プログラムを実行する。ＣＰＵ１０は、ステップＳ１０１からの処理を開始する。

【0024】

ステップＳ１０１：ＣＰＵ１０は、記憶部２０に記憶されている処理対象の画像を読み込む。

【0025】

ステップＳ１０２：ＣＰＵ１０の画像分割部１１は、読み込んだ画像を公知の手法を用いて複数の画像領域に分割する。本実施形態では、公知の手法として、分割・統合（Split & Marge）法およびウォーターシェッド法を組み合わせて用い、画像分割部１１は、画像のエッジや彩度などの特徴量に基づいて画像を分割するものとする。ＣＰＵ１０は、画像分割部１１による分割結果を出力装置５０に出力し表示させる。

【0026】

ステップＳ１０３：ＣＰＵ１０の演算部１２は、画像分割部１１により分割された画像領域ごとに、マンセル表色系の座標である色彩値を求める。そのために、演算部１２は、各画像領域における画素値の平均値をＲＧＢの色成分ごとに求め取得する。演算部１２は、例えば、次式（１）を用いて、上記ＲＧＢの平均値からＸＹＺ表色系の三刺激値に変換する。

【0027】

【数2】

【0028】

そして、演算部１２は、それらのＸＹＺ表色系の三刺激値をさらに次式（２）に適用してｘｙＹ表色系に変換し、記憶部２０に記憶されたＪＩＳＺ ８７２１「色の表示方法―三属性による表示」の付表１、２のデータに基づいて、各画像領域におけるマンセル表色系の色彩値（色相Ｈ、明度Ｃ、彩度Ｖ）を取得する。
ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ） ・・・（２）
ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）
ステップＳ１０４：演算部１２は、上記マンセル表色系の色彩値と記憶部２０に記憶されたＪＩＳＺ ８１０２「物体色の色名」の付図１〜２５のデータとに基づいて、各画像領域の系統色名を取得する。

【0029】

ステップＳ１０５：ＣＰＵ１０の領域結合部１３は、画像分割部１１により分割された画像領域を、色彩値および系統色名に基づいて画像領域を結合する。つまり、たとえ単色の被写体であっても、被写体自身の形状や光の具合により色が微妙に変化するために、人間の色認識では単色の被写体と認識できるとしても、ステップＳ１０２の画像分割部１１は、異なる色と判定し複数の画像領域に分割してしまう。そのために、領域結合部１３は、細分化された画像領域を人間の色認識と合わせるために再結合する。

【0030】

そこで、領域結合部１３が、色彩値および系統色名に基づいて、どのように画像領域を結合するかについて簡単に説明する。系統色名は、色相Ｈ、明度Ｃ、彩度Ｖを形容する修飾語（以下、色調（トーン）と称す）と基本色名とからなる。例えば、色が海老茶（マンセル値は８Ｒ３／４．５）の場合、系統色名はｄｋ−ｙＲ（暗い黄みの赤）と表され、ｄｋが色調でｙＲが基本色名である。そして、本実施形態の領域結合部１３は、色彩値、色調および基本色名に基づいて、隣接する画像領域間における色の類似の度合いを示す結合度を判定する。すなわち、隣接する画像領域ｉと画像領域ｊとの色調Ｔおよび基本色名Ｎが、Ｔｉ＝Ｔｊ且つＮｉ＝Ｎｊ（ただし、無彩色の場合はＴｉ＝Ｔｊのみ）の場合、領域結合部１３は、画像領域ｉと画像領域ｊとの系統色名が同じであることから、「強い結合度」を有すると判定する。なお、Ｔｉ、ＮｉおよびＴｊ、Ｎｊは、画像領域ｉおよび画像領域ｊの色調および基本色名を示す。

【0031】

一方、領域結合部１３は、画像領域ｉと画像領域ｊとにおける系統色名が有彩色で、Ｎｉ＝Ｎｊ且つ色彩値が次式（３）の条件を満たす場合、画像領域ｉと画像領域ｊとは「中位の結合度」を有すると判定する。
Ｖｉ−ｄＶ＜Ｖｊ＜Ｖｉ＋ｄＶ 且つ Ｃｉ−ｄＣ＜Ｃｊ＜Ｃｉ＋ｄＣ ・・・（３）
あるいは、領域結合部１３は、画像領域ｉと画像領域ｊとにおける系統色名が有彩色で、Ｔｉ＝Ｔｊ且つ色彩値が次式（４）の条件を満たす場合、画像領域ｉと画像領域ｊとは「中位の結合度」を有すると判定する。
Ｈｉ−ｄＨ＜Ｈｊ＜Ｈｉ−ｄＨ ・・・（４）
なお、ｄＶ、ｄＣ、ｄＨそれぞれは、本実施形態において、例えば、０．５，０．５，５．０にそれぞれ設定されるが、被写体の色分布などに応じて適宜設定されるのが好ましい。

【0032】

そして、画像領域ｉと画像領域ｊとが「強い結合度」または「中位の結合度」のいずれにも該当しない場合、領域結合部１３は、画像領域ｉと画像領域ｊとの色は異なるとして「弱い結合度」と判定する。

【0033】

本実施形態の領域結合部１３は、全ての画像領域について隣接する画像領域と「強い結合度」、「中位の結合度」または「弱い結合度」のいずれかを判定する。本実施形態の領域結合部１３は、「強い結合度」または「中位の結合度」と判定された画像領域同士を結合する。これにより、同系色の画像領域をまとめることができる。

【0034】

ステップＳ１０６：ＣＰＵ１０の調和評価部１４は、複数の画像領域のうち代表する色を有する画像領域（評価対象の対象領域）として、面積が大きい上位３つの画像領域を抽出する。調和評価部１４は、抽出した各対象領域の色彩値として、ステップＳ１０５で結合された画像領域のうち最大の面積を有した画像領域の色彩値とする。ただし、調和評価部１４は、各対象領域の色彩値として、ステップＳ１０３と同様に、その対象領域の画素値を用いて算出し直してもよい。

【0035】

ステップＳ１０７：調和評価部１４は、抽出した３つの対象領域のうち２つの対象領域の組み合わせそれぞれについて、公知の色彩調和の評価手法を適用して調和関係を求め、処理対象の画像の色彩調和を評価する。

【0036】

具体的に、調和評価部１４は、各組み合わせの２つの対象領域における色彩値の差分（相対的な位置関係）を、公知の色彩調和の評価手法である、例えば、Ｍｏｏｎ−Ｓｐｅｎｃｅｒモデルに適用して、２つの対象領域間の色彩の調和関係を求める。図３は、Ｍｏｏｎ−Ｓｐｅｎｃｅｒモデルにおける色彩の調和関係の一例を示す。図３（ａ）は、２つの対象領域の色のうち一方の色を基準にした場合で色相差に応じて、同一調和、第一不明瞭、類似調和、第二不明瞭および対比調和の範囲の分布を示す。図３（ｂ）は、２つの対象領域の色の彩度差および明度差に応じて、同一調和、第一不明瞭、類似調和、第二不明瞭および対比調和の範囲の分布を示す。なお、同一調和は２つの色が同じで調和し、類似調和は２つの色が類似して調和し、対比調和は２つの色が対比して調和していることを示す。一方、第一不明瞭および第二不明瞭は調和していないことを示す。

【0037】

本実施形態の調和評価部１４は、３つの対象領域における各組み合わせの調和関係を、図３（ａ）の色相差に基づく場合と図３（ｂ）の彩度差および明度差に基づく場合とについてそれぞれ求める。調和評価部１４は、同一調和、類似調和または対比調和が求められた回数をＮｉ、Ｎｓ、Ｎｃとし、次式（５）を用いて同一調和、類似調和、対比調和の頻度Ｒｉ、Ｒｓ、Ｒｃを算出する。

【0038】

【数3】

【0039】

ここで、Ｎは対象領域の数を示し、本実施形態ではＮ＝３である。

【0040】

そして、調和評価部１４は、頻度Ｒｉ、ＲｓおよびＲｃの値に基づいて、例えば、一番大きな頻度または５０％以上の頻度の調和に基づいて、画像の色彩調和を評価する。一例として、調和評価部１４は、類似調和の場合、類似する色で調和していることから、「画像は自然な調和」と評価したり、対比調和の場合、対比する色で調和することは自然界では少ないことから、「画像は人工的な調和」と評価したりする。その後、ＣＰＵ１０は一連の処理を終了する。

【0041】

このように、本実施形態では、画像を複数の画像領域に分割した後、その画像を代表する色を有する画像領域を、画像領域の大きさに基づいて評価対象の対象領域として抽出し、抽出された対象領域における色彩の調和関係に関する頻度を求めることにより、人間の色認識を考慮しつつ画像の色彩調和を評価することができる。

【0042】

また、分割された画像領域を人間の色認識に合わせて画像領域を再結合することにより、より人間の色認識に近い画像の色彩調和の評価が可能となる。
《実施形態の補足事項》
・上記実施形態では、処理対象の画像が記憶部２０に予め記憶されたが、本発明はこれに限定されず、例えば、入出力Ｉ／Ｆ３０を介して、コンピュータ１００とデジタルカメラやデジタルビデオカメラなどとをＵＳＢ（Universal Serial Bus）ケーブルなどで接続して、静止画像や動画像を直接読み込んでもよい。

【0043】

・上記実施形態では、コンピュータ１００を画像処理装置として動作させたが、本発明はこれに限定されず、例えば、デジタルカメラなどを画像処理装置として動作させ、被写体の色彩調和を評価しながら画像を撮像してもよい。

【0044】

・上記実施形態では、画像分割部１１は、分割・統合法およびウォーターシェッド法を組み合わせて画像分割を行ったが、本発明はこれに限定されず、他の手法を用いて画像分割してもよい。

【0045】

・上記実施形態では、演算部１２は、各画像領域の色彩値および系統色名を求めるにあたり、ＪＩＳ規格のデータを用いたが、本発明はこれに限定されず、他のデータを用いてもよい。

【0046】

・上記実施形態では、隣接する画像領域間の結合の度合いを、「強い結合度」、「中位の結合度」、「弱い結合度」の３つに判定したが、本発明はこれに限定されない。例えば、「強い結合度」は、「中位の結合度」の条件である式（３）および式（４）において、ｄＶ、ｄＣ、ｄＨの値が０の場合に相当することから、例えば、「強い結合度」と「中位の結合度」とは１つの結合度として扱ってもよい。

【0047】

・上記実施形態では、対象領域として、面積の大きさが上位３つの画像領域を抽出したが、本発明はこれ限定されず、４つ以上の画像領域を対象領域として抽出してもよい。

【0048】

また、抽出した対象領域のうち、少なくとも２つの対象領域の色が同一の場合には、それらを１つの対象領域として結合し、抽出された対象領域の色が互いに異なるようにすることが好ましい。

【0049】

・上記実施形態では、調和評価部１４は、Ｍｏｏｎ−Ｓｐｅｎｃｅｒモデルを適用して、対象領域における色彩調和を評価したが、本発明はこれに限定されず、他の公知の色彩調和の評価手法を用いてもよい。

【0050】

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

【符号の説明】

【0051】

１０…ＣＰＵ、２０…記憶部、３０…入出力Ｉ／Ｆ、４０…バス、５０…出力装置、６０…入力装置、１００…コンピュータ

【図1】

【図2】

【図3】