特許第6241320号(P6241320)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士ゼロックス株式会社の特許一覧

特許6241320画像処理装置、画像処理方法、画像処理システムおよびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6241320
(24)【登録日】2017年11月17日
(45)【発行日】2017年12月6日
(54)【発明の名称】画像処理装置、画像処理方法、画像処理システムおよびプログラム
(51)【国際特許分類】
   H04N 1/46 20060101AFI20171127BHJP
   H04N 1/60 20060101ALI20171127BHJP
   H04N 1/387 20060101ALI20171127BHJP
   G06T 1/00 20060101ALI20171127BHJP
【FI】
   H04N1/46 Z
   H04N1/40 D
   H04N1/387
   G06T1/00 510
【請求項の数】6
【全頁数】33
(21)【出願番号】特願2014-39870(P2014-39870)
(22)【出願日】2014年2月28日
(65)【公開番号】特開2015-165608(P2015-165608A)
(43)【公開日】2015年9月17日
【審査請求日】2016年7月22日
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士ゼロックス株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】佐々木 信
【審査官】 大室 秀明
(56)【参考文献】
【文献】 特開2010−183354(JP,A)
【文献】 特開2010−200312(JP,A)
【文献】 特開2009−239582(JP,A)
【文献】 米国特許出願公開第2006/0228040(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−1/40
G06T 3/00−5/50
G06T 9/00−9/40
G06T11/60−13/80
G06T17/05
G06T19/00−19/20
H04N 1/38−1/409
H04N 1/46−1/48
H04N 1/52
H04N 1/60
(57)【特許請求の範囲】
【請求項1】
第1の画像の画像情報を取得する画像情報取得部と、
前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する位置情報取得部と、
前記第1の位置情報から前記指定領域を検出する領域検出部と、
画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なう画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項2】
第1の画像の画像情報および見本となる第2の画像の画像情報を取得する画像情報取得部と、
前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得するとともに、前記第2の画像の中から、ユーザが前記第1の画像の前記指定領域に対し行なう画像処理の見本とする画像領域として指定する見本領域の代表位置を表す第2の位置情報を取得する位置情報取得部と、
前記第1の位置情報から前記指定領域を検出するとともに、前記第2の位置情報から前記見本領域を取得する検出領域検出部と、
前記指定領域の画質を前記見本領域の画質に合せるために、空間周波数に着目したパラメータを算出するパラメータ算出部と、
前記パラメータに基づき前記指定領域の空間周波数を前記見本領域の空間周波数に合せることで、前記指定領域の画質を前記見本領域の画質に合せる画像処理を行なう画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項3】
前記指定領域は複数存在し、複数の当該指定領域を切り替える領域切替部をさらに備えることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
第1の画像の画像情報を取得し、
前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得し、
前記第1の位置情報から前記指定領域を検出し、
画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なうことを特徴とする画像処理方法。
【請求項5】
第1の画像を表示する表示装置と、
前記表示装置に表示される前記第1の画像の画像情報に対し画像処理を行なう画像処理装置と、
ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
を備え、
前記画像処理装置は、
前記第1の画像の画像情報を取得する画像情報取得部と、
前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する位置情報取得部と、
前記第1の位置情報から前記指定領域を検出する領域検出部と、
画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なう画像処理部と、
を備える
ことを特徴とする画像処理システム。
【請求項6】
コンピュータに、
第1の画像の画像情報を取得する機能と、
前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する機能と、
前記第1の位置情報から前記指定領域を検出する機能と、
画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なう機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
【背景技術】
【0002】
特許文献1には、撮影画像中で特定被写体が指定されたら、色分布マップから特定被写体の検出された色が属する部分の近傍範囲を部分的に抽出した色相分布範囲、彩度分布範囲を示す色相インジケータと彩度インジケータとを特定被写体の近傍に直交配置させて表示させることで、2次元の操作空間を形成し、この操作空間内で指を移動する入力操作で色補正値を設定できるようにしたが色補正装置が開示されている。
また特許文献2には、入力画像を解析して特徴量を抽出する画像特徴抽出手段と、参照画像から抽出された特徴量、参照画像を加工した後の結果画像、加工に使用した画像処理、並びに加工に使用した画像処理のパラメータとを対応付けて記憶する参照画像記憶手段と、入力画像から抽出された特徴量を基に参照画像記憶手段を検索し、入力画像に類似する参照画像を取得する参照画像検索手段と、参照画像検索手段により取得された参照画像と対応する結果画像とをセットで表示する画像表示手段と、画像表示手段に表示されたセットから選択する参照画像選択手段と、参照画像選択手段で選択されたセットと対応する画像処理のパラメータとを用いて入力画像を加工する画像処理手段とを備える画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−146378号公報
【特許文献2】特開2012−146071号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザが指定領域ごとの画質調整を直観的に実行することができ、見本領域に対しても直感的に、かつ、選択した領域ごとに画質の再現を近づけられることが望ましい。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、第1の画像の画像情報を取得する画像情報取得部と、前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する位置情報取得部と、前記第1の位置情報から前記指定領域を検出する領域検出部と、画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なう画像処理部と、を備えることを特徴とする画像処理装置である。
請求項2に記載の発明は、第1の画像の画像情報および見本となる第2の画像の画像情報を取得する画像情報取得部と、前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得するとともに、前記第2の画像の中から、ユーザが前記第1の画像の前記指定領域に対し行なう画像処理の見本とする画像領域として指定する見本領域の代表位置を表す第2の位置情報を取得する位置情報取得部と、前記第1の位置情報から前記指定領域を検出するとともに、前記第2の位置情報から前記見本領域を取得する検出領域検出部と、前記指定領域の画質を前記見本領域の画質に合せるために、空間周波数に着目したパラメータを算出するパラメータ算出部と、前記パラメータに基づき前記指定領域の空間周波数を前記見本領域の空間周波数に合せることで、前記指定領域の画質を前記見本領域の画質に合せる画像処理を行なう画像処理部と、を備えることを特徴とする画像処理装置である。
請求項3に記載の発明は、前記指定領域は複数存在し、複数の当該指定領域を切り替える領域切替部をさらに備えることを特徴とする請求項1または2に記載の画像処理装置である。
請求項4に記載の発明は、第1の画像の画像情報を取得し、前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得し、前記第1の位置情報から前記指定領域を検出し、画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なうことを特徴とする画像処理方法である。
請求項に記載の発明は、第1の画像を表示する表示装置と、前記表示装置に表示される前記第1の画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記第1の画像の画像情報を取得する画像情報取得部と、前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する位置情報取得部と、前記第1の位置情報から前記指定領域を検出する領域検出部と、画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なう画像処理部と、を備えることを特徴とする画像処理システムである。
請求項に記載の発明は、コンピュータに、第1の画像の画像情報を取得する機能と、前記第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する機能と、前記第1の位置情報から前記指定領域を検出する機能と、画像が有する空間周波数に着目したパラメータを設定し、当該パラメータを利用して、前記指定領域に対し空間周波数を調整する画像処理を行なう機能と、を実現させるプログラムである。
【発明の効果】
【0006】
請求項1の発明によれば、本構成を有していない場合に比較して、指定領域を画像の中からより容易に指定できる画像処理装置が提供できる。
請求項2の発明によれば、指定領域の画質を見本領域の画質に合せることができる。また本構成を有していない場合に比較して、指定領域の画質を見本領域の画質に合せる処理がより容易に行える。
請求項3の発明によれば、本構成を有していない場合に比較して、指定領域の選択がより容易になる。
請求項4の発明によれば、本構成を有していない場合に比較して、指定領域を画像の中からより容易に指定できる画像処理方法が提供できる。
請求項の発明によれば、本構成を有していない場合に比較して、画像処理がより容易に行える画像処理システムが提供できる。
請求項の発明によれば、本構成を有していない場合に比較して、指定領域を画像の中からより容易に指定できる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【0007】
図1】本実施の形態における画像処理システムの構成例を示す図である。
図2】本発明の第1の実施の形態における画像処理装置の機能構成例を表すブロック図である。
図3】指定領域をユーザインタラクティブに行う方法の例を示した図である。
図4-1】(a)〜(c)は、この方法によりシードが描かれた画素から領域が拡張する様子を示している。
図4-2】(a)〜(e)は、2つのシードが与えられた場合に、画像を2つの領域にわける具体例である。
図5】(a)〜(c)は、図3で示した画像について、領域拡張方法により指定領域が切り出される様子を示している。
図6】最大流量最小カットの原理を説明した図である。
図7】(a)〜(c)は、ユーザが指定領域の選択を行なうときに、表示装置の表示画面に表示される画面の第1の例を示している。
図8】(a)〜(c)は、ユーザが指定領域の選択を行なうときに、表示装置の表示画面に表示される画面の第2の例を示している。
図9】画像処理を行なう際に、表示装置の表示画面に表示される画面の例を示している。
図10】(a)は、指定領域として、顔の部分の画像領域である「第2の指定領域」が選択されていることを示す。(b)は、このときのL(x、y)の分布を示した図である。(c)は、マスクを示している。
図11】(a)は、図9で示す色相についてのスライダをスライドした様子を示している。(b)は、色相を調整したときのトーンカーブの一例を示した図である。
図12】(a)は、図9で示す彩度についてのスライダをスライドした様子を示している。(b)は、彩度を調整したときのトーンカーブの一例を示した図である。
図13】(a)は、図9で示す輝度についてのスライダをスライドした様子を示している。(b)は、輝度を調整したときのトーンカーブの一例を示した図である。
図14】色相および彩度の調整を行なうときに表示画面に表示される画面の他の例を示した図である。
図15】(a)〜(b)は、色相および彩度の調整を行なうときに表示画面に表示される画面のさらに他の例を示した図である。
図16】(a)〜(c)は、色相、彩度、輝度の調整を行なうときに表示画面に表示される画面のさらに他の例を示した図である。
図17】空間周波数の調整を行なうときに表示画面に表示される画面の例を示した図である。
図18図17による操作の結果、画像処理が行なわれた後の画像について説明した図である。
図19】第1の実施の形態についての画像処理装置の動作について説明したフローチャートである。
図20】本発明の第2の実施の形態における画像処理装置の機能構成例を表すブロック図である。
図21】指定領域および見本領域をユーザインタラクティブに行う方法の例を示した図である。
図22】(a)〜(b)は、図21で示した画像について。指定領域および見本領域が切り出される様子を示している。
図23】H(x、y)とH(x、y)とを関係付けるパラメータを設定する関数について説明した図である。
図24】(a)〜(c)は、選択された指定領域に画質を選択された見本領域の画質に合せる画像処理を行なったときの変化を示した図である。
図25-1】頭髪の部分である「第1の指定領域」の画質を「第1の見本領域」の画質に合せる画像処理と、顔の部分である「第2の指定領域」の画質を「第2の見本領域」の画質に合せる画像処理を同時に行なう場合を示している。
図25-2】図25−1において、ユーザが指等によりスワイプ操作を行なうことで、画像処理を行なう場合を示している。
図26】(a)〜(c)は、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せる処理について説明した図である。
図27】第2の実施の形態についての画像処理装置の動作について説明したフローチャートである。
図28】画像処理装置のハードウェア構成を示した図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0009】
<発明の背景>
例えば、カラーの画像の画質調整を行なうときには、カラーの画像全体に対し行なう場合とカラーの画像中において領域別に行なう場合がある。カラーの画像を表現する要素は、一般にRGB等の色成分、L等の輝度と色度、またはHSVなどの輝度と色相と彩度により表すことができる。また画質を制御する代表例としては、色成分のヒストグラム制御、輝度のコントラスト制御、輝度のヒストグラム制御、輝度の帯域制御、色相制御、彩度制御などが挙げられる。また近年では、Retinex等のように視認性を表す画質についての制御も重要視されている。色や輝度の帯域に基づく画質を制御する場合、特に特定の領域に対してのみ画質調整を行うときは、この領域を切り出す処理が必要となる。
【0010】
またユーザが画質調整を行なう際に、作業を行いやすいための工夫をした従来技術もある。
例えば、特定の領域を切り出し、切り出した領域と外接するように彩度と色相の調整インジケータ(スライダ)を表示させるものがある。
【0011】
画質調整を、見本を参照して手動で行う場合は、画質を見るスキルも必要になる。しかし一般ユーザにとって、プロが行った画質調整を再現することは難しい。
これに対し、見本に対する処理パターンを記憶しておき、画質調整を行なう原画像を与えれば、特徴が類似したパターンが検索され、処理見本を得ることができるようにした従来技術がある。
【0012】
以上の場合では、ユーザにとって切り出した領域に対する画質調整が行いやすいようにするか、または、ユーザは原画像を与えるだけであって、見本となる画像と処理結果がすでにある、ことがポイントとなっている。
【0013】
しかしながら従来手法で特定の領域の切り出しを伴う画質調整を行う場合は、一般に、前景と背景(主要被写体とそれ以外)であることが多い。そして切り出す領域が複数ある場合は、1つ1つ切り出しては処理するの繰り返し等が考えられ、直観的な画質調整を行なうことが困難となりやすい。また、見本と画像処理パラメータの対応づけがすでに用意されていても、見本に対して、画質調整を行なう画像全体のおおよその画質をマッチさせることはできるが、切り出した領域ごとの画質を見本に近づけることは困難であった。
【0014】
一方、近年のICT(Information and Communication Technology)機器の増加に伴って、画像処理の幅が広がったことから、上記のように画像加工・画像編集も様々なアプローチが考えられる。この場合、タブレット端末等に代表されるICT機器の利点は、タッチパネル等による直観性であり、ユーザインタラクティブ性が高まった中での画像加工・画像編集が行えることが特徴である。
【0015】
以上の状況を踏まえ、本実施の形態では、以下のような画像処理システム1を用いて、特定の領域の切り出しや画質調整を行なう。
【0016】
<画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。
【0017】
画像処理装置10は、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
【0018】
表示装置20は、表示画面21に画像を表示する。表示装置20は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置20内に表示画面21が設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面21は、表示装置20の外部に設けられたスクリーン等となる。
【0019】
入力装置30は、キーボードやマウス等で構成される。入力装置30は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置10に対し画像処理を行なうための指示を入力するのに使用する。
【0020】
画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
【0021】
このような画像処理システム1において、表示装置20には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置30を使用して、画像処理装置10に対し画像処理を行なうための指示を入力すると、画像処理装置10により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置20に表示される画像に反映され、画像処理後の画像が再描画されて表示装置20に表示されることになる。この場合、ユーザは、表示装置20を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を進めることができる。
【0022】
なお本実施の形態における画像処理システム1は、図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面21としてタッチパネルを使用したものである。この場合、画像処理装置10により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
【0023】
<画像処理装置の説明>
[第1の実施の形態]
次に画像処理装置10の第1の実施の形態について説明を行なう。
図2は、本発明の第1の実施の形態における画像処理装置10の機能構成例を表すブロック図である。なお図2では、画像処理装置10が有する種々の機能のうち第1の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報取得部11と、ユーザ指示受付部12と、領域検出部13と、領域切替部14と、画像処理部15と、画像情報出力部16とを備える。
【0024】
画像情報取得部11は、画像処理を行なう第1の画像の画像情報を取得する。即ち、画像情報取得部11は、画像処理を行なう前の画像情報を取得する。この画像情報は、表示装置20で表示を行なうための、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。
【0025】
ユーザ指示受付部12は、位置情報取得部の一例であり、入力装置30により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部12は、表示装置20で表示している画像の中から、ユーザが画像処理を行なう画像領域として、指定領域を指定する指示をユーザ指示情報として受け付ける。またユーザ指示受付部12は、ユーザが、この指定領域の中から実際に画像処理を行なうものを選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部12は、選択された指定領域に対し、ユーザが画像処理を行う処理項目や処理量等に関する指示をユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。
【0026】
領域検出部13は、ユーザ指示受付部12で受け付けられたユーザからの指示に基づき、表示装置20で表示されている第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域を検出する。実際には、領域検出部13は、表示装置20で表示している画像の中から、指定領域を切り出す処理を行う。
【0027】
本実施の形態では、指定領域の切り出しを下記に説明するユーザインタラクティブに行う方法を採用する。
図3は、指定領域をユーザインタラクティブに行う方法の例を示した図である。
ここでは、表示装置20の表示画面21で表示している画像が、前景として写る人物と、人物の背後に写る背景とからなる写真の画像Gである場合を示している。そしてユーザが、前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ指定領域として選択する場合を示している。即ち、この場合指定領域は3つある。以後、頭髪の部分の指定領域を「第1の指定領域」、顔の部分の指定領域を「第2の指定領域」、頭髪や顔以外の部分の指定領域を「第3の指定領域」と言うことがある。
【0028】
そしてユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置30により入力することができる。具体的には、入力装置30がマウスであった場合は、マウスを操作して表示装置20の表示画面21で表示している画像Gをドラッグし軌跡を描く。また入力装置30がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Gをなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し代表となる位置を示す情報を与えればよい。これは指定領域の代表位置を表す位置情報(第1の位置情報)をユーザが入力する、と言い換えることもできる。なお以後、この軌跡や点等を「シード」と言うことがある。
そしてこの位置情報(第1の位置情報)は、ユーザ指示情報としてユーザ指示受付部12により取得され、さらに領域検出部13により指定領域を切り出す処理が行なわれる。
【0029】
領域検出部13が、シードの情報を基にして指定領域を切り出すには、まずシードが描かれた箇所の画素に対しフラグを付加する。図3の例では、頭髪の部分に描かれた軌跡に対応する画素にフラグ「1」を、顔の部分に描かれた軌跡に対応する画素にフラグ「2」を、頭髪や顔以外の部分に対応する画素にフラグ「3」を付加する。
そしてシードが描かれた画素と周辺の画素との間で画素値の近さ(RGB値のユークリッド距離など)を基に、近ければ連結し、遠ければ連結しない作業を繰り返し、領域を拡張していく。
【0030】
図4−1(a)〜(c)は、この方法によりシードが描かれた画素から領域が拡張する様子を示している。
図示するように(a)→(b)→(c)となるに従い、真ん中のシードが与えられた画素から、周辺の画素に領域が拡張していく。拡張した部分の画素には、シードが描かれた画素に付加されたフラグと同じフラグが付加される。
【0031】
上記のように、領域拡張の考え方を基本として、複数の領域にわけることも可能である。
図4−2(a)〜(e)は、2つのシードが与えられた場合に、画像を2つの領域にわける具体例である。
ここでは図4−2(a)の原画像に対し、図4−2(b)で示すように、シードとしてシード1とシード2の2つを与える。そして各々のシードを基点に領域を拡張していく。この場合、例えば、原画像における近傍画素の値との近さ等に応じて領域を拡張していくことができる。このとき図4−2(c)に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
【0032】
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)
【0033】
図4−2(d)の例では、再判定の対象画素は、最終的にはシード2の領域として判定され、図4−2(e)に示すように2つのシードを基に、2つの領域に切り分けられて収束する。
このように領域を拡張していく領域拡張方法により、指定領域を切り出すことができる。
【0034】
図5(a)〜(c)は、図3で示した画像Gについて、領域拡張方法により指定領域が切り出される様子を示している。
このうち図5(a)は、図3で示した画像Gであり、シードとして軌跡が描かれた状態を示している。
そして図5(b)で示すように、シードとして軌跡が描かれた箇所から指定領域内に領域が拡張していき、図5(c)で示すように最後に指定領域として3つの指定領域である「第1の指定領域(S1)」、「第2の指定領域(S2)」、「第3の指定領域(S3)」が切り出される。
このような方法を採用することで、指定領域が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域を切り出すことができる。
【0035】
この例では、画素の位置を(x、y)としたときに、その画素が何れの指定領域を表すのに下記数1式で表現することができる。ここで、l(x、y)は、(x、y)に位置する画素について付加されたフラグの値である。即ち、指定領域中の画素には、1または2または3のフラグが付加されるため、このフラグの値によりその画素が何れの指定領域に属するのかがわかる。
【0036】
【数1】
【0037】
このように領域拡張方法によれば、指定領域が3つ以上であっても切り出しが可能である。
なお指定領域が2つであり、これを切り出せばよい場合は、例えば、画像をグラフと見立て、最大流量最小カットの原理を利用した方法も使用できる。
この原理は、図6に示すように前景の仮想ノードを始点、背景の仮想ノードを終点として設定し、前景の仮想ノードからユーザが指定した前景領域の代表位置をリンクし、ユーザが指定した背景領域の代表位置から終点へリンクさせる。そして始点から水を流した場合、最大流せる量はいくらかを計算する。前景から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている(流れにくい)箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と背景とを分離することになる(グラフカット)。
以上挙げた例は、領域カットに関する例であり、領域拡張やグラフなどの原理を利用した領域の切り出し方法の具体例を示した。ただし本実施の形態では、この領域カットの方法は問わず、いかなるものでも適用可能である。
【0038】
以上説明した指定領域をユーザインタラクティブに行う方法では、指定領域の切り出しの精度がより高くなる。
【0039】
図2に戻り、領域切替部14は、複数の指定領域を切り替える。即ち、指定領域が複数存在した場合、ユーザが画像調整を行ないたい指定領域の選択を行ない、これに従い、領域切替部14が指定領域を切り替える。
【0040】
図7(a)〜(c)は、ユーザが指定領域の選択を行なうときに、表示装置20の表示画面21に表示される画面の第1の例を示している。
図7(a)〜(c)に示した例では、表示画面21の左側に指定領域が選択された状態の画像Gが表示され、表示画面21の右側に画像切り替えボタン211が表示される。そしてユーザが入力装置30を使用して、この画像切り替えボタン211を操作すると、指定領域が切り替わる。具体的には、入力装置30がマウスであった場合は、マウスを操作してカーソルを画像切り替えボタン211に合せ、クリックを行なう。また入力装置30がタッチパネルであった場合は、ユーザの指やタッチペン等により画像切り替えボタン211をタップする。
【0041】
図7(a)では、指定領域として、頭髪の部分の画像領域である「第1の指定領域(S1)」が選択されている。そして上述したようにユーザが画像切り替えボタン211を操作すると、図7(b)に示すように指定領域が、顔の部分の画像領域である「第2の指定領域(S2)」に切り替わる。そしてさらにユーザが画像切り替えボタン211を操作すると、図7(c)に示すように指定領域が、頭髪や顔以外の部分の画像領域である「第3の指定領域(S3)」に切り替わる。またさらにユーザが画像切り替えボタン211を操作すると、「第1の指定領域(S1)」に切り替わり、図7(a)の状態に戻る。
【0042】
図8(a)〜(c)は、ユーザが指定領域の選択を行なうときに、表示装置20の表示画面21に表示される画面の第2の例を示している。
図8(a)〜(c)に示した例では、表示画面21の左側に指定領域が選択された状態の画像Gが表示され、表示画面21の右側に「領域1」、「領域2」、「領域3」の何れかを選択するラジオボタン212a、212b、212cが表示される。この場合、「領域1」は、「第1の指定領域(S1)」に、「領域2」は、「第2の指定領域(S2)」に、「領域3」は、「第3の指定領域(S3)」に対応する。そしてユーザが入力装置30を使用して、このラジオボタン212a、212b、212cを選択すると、指定領域が切り替わる。
【0043】
図8(a)は、ラジオボタン212aが選択されている状態であり、指定領域として、頭髪の部分の画像領域である「第1の指定領域(S1)」が選択されている。そしてユーザがラジオボタン212bを選択すると、図8(b)に示すように指定領域として、顔の部分の画像領域である「第2の指定領域(S2)」に切り替わる。そしてさらにユーザがラジオボタン212cを選択すると、図8(c)に示すように指定領域が、頭髪や顔以外の部分の画像領域である「第3の指定領域(S3)」に切り替わる。
【0044】
実際には、図7図8で説明を行なった操作の結果は、ユーザ指示情報としてユーザ指示受付部12により取得され、さらに領域切替部14により指定領域の切り替えが行なわれる。
【0045】
画像処理部15は、選択された指定領域に対し実際に画像処理を行なう。
図9は、画像処理を行なう際に、表示装置20の表示画面21に表示される画面の例を示している。
ここでは、選択された指定領域に対し、色相、彩度、輝度の調整を行なう例を示している。この例では、表示画面21の左上側に指定領域が選択された状態の画像Gが表示され、表示画面21の右上側に「領域1」、「領域2」、「領域3」の何れかを選択するラジオボタン212a、212b、212cが表示される。ここでは、ラジオボタンのうち212aが選択されており、指定領域として、頭髪の部分の画像領域である「第1の指定領域(S1)」が選択されている。なおラジオボタン212a、212b、212cを操作することで、指定領域の切り替えが可能であることは、図8の場合と同様である。
【0046】
また表示画面21の下側には、「色相」、「彩度」、「輝度」の調整を行なうためのスライドバー213aと、スライダ213bが表示される。スライダ213bは、入力装置30の操作によりスライドバー213a上において図中左右に移動し、スライドが可能である。スライダ213bは、初期状態ではスライドバー213aの中央に位置し、この位置において「色相」、「彩度」、「輝度」の調整前の状態を表す。
【0047】
そしてユーザが、入力装置30を使用して、「色相」、「彩度」、「輝度」の何れかのスライダ213bをスライドバー213a上で図中左右にスライドさせると、選択された指定領域に対し画像処理がなされ、表示画面21で表示される画像Gもそれに対応して変化する。この場合、図中右方向にスライダ213bをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを増加させる画像処理がなされる。対して図中左方向にスライダ213bをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを減少させる画像処理がなされる。
【0048】
なおこの際に、選択された指定領域については、その指定領域中の画素にさらにフラグを付与してもよい。この場合選択された指定領域中の画素には、例えば1が、選択されなかった指定領域中の画素には、例えば0が付与される。
【0049】
この場合、画素の位置を(x、y)としたときに、その画素が何れの選択された指定領域中に存在するか否かは、下記数2式で表現することができる。ここで、L(x、y)は、(x、y)に位置する画素についてのこのフラグの値である。即ち、指定領域中の画素には、0または1のフラグが付加されるため、このフラグの値によりその画素が選択された指定領域中に存在するか否かがわかる。
【0050】
【数2】
【0051】
図10(a)は、指定領域として、顔の部分の画像領域である「第2の指定領域(S2)」が選択されていることを示す。
また図10(b)は、このときのL(x、y)の分布を示した図である。ここで白色の部分は、フラグが1であり、選択された指定領域であることを示す。また黒色の部分は、フラグが0であり、選択された指定領域外であることを示す。図10(b)は、選択された指定領域と選択された指定領域外とを切り分けるマスクと見ることもできる。この場合、L(x、y)が「1」の部分のみに画像処理がなされることになる。
【0052】
またこのマスクとして以下のような数3式で表されるマスクL(x、y)を考えてもよい。
【0053】
【数3】
【0054】
数3式は、L(x、y)をG(x、y)で畳み込むことを表し、G(x、y)は、以下の数4式で表されるガウス関数である。なおσは、ぼかし度合いを表すパラメータである。
【0055】
【数4】
【0056】
図10(c)は、以上の処理により得られるマスクを示している。
図10(b)と図10(c)とを比較すると、図10(c)の場合は、指定領域を1、指定領域外を0と固定せず、0〜1の値を採るようにする。この場合、マスクの値は、通常は、選択された指定領域では1、選択された指定領域外では0であるが、選択された指定領域と選択された指定領域外との境界付近では、0〜1の値を採る。即ち、指定領域と指定領域外との境界がぼける平滑化マスクとなる。なおこの例では、ガウス関数を使用して平滑化マスクを作成したが、移動平均を用いる方法もある。
【0057】
数3式におけるL(x、y)を使用することで、選択された指定領域と選択された指定領域外との境界が平滑化され、選択された指定領域の境界において、画像処理の効果がぼやけることになる。このようにすることで、選択された指定領域と選択された指定領域外との境界における境界段差が少なくなり、より自然に見える画像処理を行なうことができる。
【0058】
また図9に示したように、「色相」、「彩度」、「輝度」について調整を行なうときは、画像処理前の画像情報(例えば、RGBデータ)を、例えば、色相(H)、彩度(S)、輝度(V)の各値からなるHSVデータに変換して行なうことが好ましい。ただしこれに限られるものではなく、色相、彩度、輝度を求めることができる色データであればよい。例えば、L、a、bの各値からなるLデータや、Y、Cb、Crの各値からなるYCbCrデータのような輝度色差空間における色データであってもよい。
【0059】
このとき調整前のHSVデータを、H(x、y)、S(x、y)、V(x、y)、「色相」、「彩度」、「輝度」について調整後のHSVデータを、H’(x、y)、S’(x、y)、V’(x、y)であるとすると、この画像処理は、以下の数5式で表すことができる。
【0060】
【数5】
【0061】
また選択された指定領域において、調整前のHSVデータの平均値をHave、Save、Vaveとすると、Have、Save、Vaveは、以下の数6式であらわすことができる。ここでNは、選択された指定領域の画素数であり、Dは選択された指定領域を表す。
【0062】
【数6】
【0063】
また数3式、図10(c)で表されるマスクを使用する場合は、Have、Save、Vaveは、以下の数7式であらわすことができる。
【0064】
【数7】
【0065】
そして図9に示す「色相」、「彩度」、「輝度」のスライダ213bをスライドさせたときには、以下に説明するように、このHave、Save、Vaveの箇所が最も大きく置換されるようにする。
【0066】
図11(a)は、図9で示す色相についてのスライダ213bをスライドした様子を示している。
そしてユーザが、スライダ213bを中央位置から図中右側に移動した場合、上述したように色相を増加させる入力を行なうことになる。一方、スライダ213bを中央位置から図中左側に移動した場合、色相を減少させる入力を行なうことになる。図11(a)では、このときの増分をΔH、減少分を−ΔHとして図示している。
【0067】
図11(b)は、色相を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のH(x、y)を表し、縦軸は、色相(H)を調整した後のH’(x、y)を表す。
【0068】
ここでは、上記ΔHや−ΔHは、色相の平均値Haveにおける増分、減少分を表すものとしている。
つまり色相をΔH増加させたときは、平均値HaveではΔH増加するため、Have+ΔHとなる。またトーンカーブは、この箇所と、色相(H)の最小値0および最大値Hmaxを結ぶ2つの直線から構成される図11(b)の上側の太線のようになる。
また色相をΔH減少させたときは、平均値HaveではΔH減少するため、Have−ΔHとなる。そしてトーンカーブは、この箇所と、色相(H)の最小値0および最大値Hmaxを結ぶ2つの直線から構成される図11(b)の下側の太線のようになる。
【0069】
また図12(a)は、図9で示す彩度についてのスライダ213bをスライドした様子を示している。
そしてユーザが、スライダ213bを中央位置から図中右側に移動した場合、上述したように彩度を増加させる入力を行なうことになり、このときの増分をΔSで示している。
一方、スライダ213bを中央位置から図中左側に移動した場合、彩度を減少させる入力を行なうことになり、このときの減少分を−ΔSとして図示している。
【0070】
図12(b)は、彩度を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のS(x、y)を表し、縦軸は、彩度(S)を調整した後のS’(x、y)を表す。
【0071】
ここでは、上記ΔSや−ΔSは、彩度(S)の平均値Saveにおける増分、減少分を表すものとしている。
そして彩度をΔS増加させたときは、平均値SaveではΔS増加するため、Save+ΔSとなる。またトーンカーブは、この箇所と、彩度(S)の最小値0および最大値Smaxを結ぶ2つの直線から構成される図12(b)の上側の太線のようになる。
また彩度をΔS減少させたときは、平均値SaveではΔS減少するため、Save−ΔSとなる。そしてトーンカーブは、この箇所と、彩度(S)の最小値0および最大値Smaxを結ぶ2つの直線から構成される図12(b)の下側の太線のようになる。
【0072】
さらに図13(a)は、図9で示す輝度についてのスライダ213bをスライドした様子を示している。
そしてユーザが、スライダ213bを中央位置から図中右側に移動した場合、上述したように輝度を増加させる入力を行なうことになり、このときの増分をΔVで示している。
一方、スライダ213bを中央位置から図中左側に移動した場合、輝度を減少させる入力を行なうことになり、このときの減少分を−ΔVとして図示している。
【0073】
図13(b)は、輝度を調整したときのトーンカーブの一例を示した図である。ここで横軸は、調整前のV(x、y)を表し、縦軸は、輝度(V)を調整した後のV’(x、y)を表す。
【0074】
ここでは、上記ΔVや−ΔVは、輝度(V)の平均値Vaveにおける増分、減少分を表すものとしている。
そして輝度をΔV増加させたときは、平均値VaveではΔV増加するため、Vave+ΔVとなる。またトーンカーブは、この箇所と、輝度(V)の最小値0および最大値Vmaxを結ぶ2つの直線から構成される図13(b)の上側の太線のようになる。
また輝度をΔV減少させたときは、平均値VaveではΔV減少するため、Vave−ΔVとなる。そしてトーンカーブは、この箇所と、輝度(V)の最小値0および最大値Vmaxを結ぶ2つの直線から構成される図13(b)の下側の太線のようになる。
【0075】
そして数7式を調整後のHSVデータを算出する数5式に適用させた場合は、以下の数8式となる。数8式でf(H(x、y))は、図11(b)のトーンカーブを表す関数である。またf(S(x、y))は、図12(b)のトーンカーブを表す関数であり、f(V(x、y))は、図13(b)のトーンカーブを表す関数である。
【0076】
【数8】
【0077】
また上述した例では、指定領域を選択するときには、画像切り替えボタン211やラジオボタン212a、212b、212cを使用し、選択された指定領域に対し、色相、彩度、輝度の調整を行なうときには、スライダ213bを使用したが、これに限られるものではない。
【0078】
図14は、色相および彩度の調整を行なうときに表示画面21に表示される画面の他の例を示した図である。
図14では、指定領域を選択した後に、ユーザが色相および彩度の調整を行なう場合を示している。このときユーザは、入力装置30を操作し、表示画面21に表示されているカーソルを左右方向または上下方向に移動させドラッグ操作を行なう。また表示画面21がタッチパネルだった場合は、ユーザは、ユーザの指やタッチペン等により表示画面21上で左右方向または上下方向にスワイプ操作を行なう。
【0079】
このとき左右方向の操作を行なったときは、色相の調整が行なわれる。即ち、右方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を増加させる。また左方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を減少させる。
【0080】
また上下方向の操作を行なったときは、彩度の調整が行なわれる。即ち、上方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の彩度を増加させる。また下方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の彩度を減少させる。
【0081】
さらに本実施の形態では、カーソルや指等の移動量および回数により色相や彩度の調整量を変化させる。つまりカーソルや指等の移動量および回数が大きいほどより大きく色相や彩度を増加または減少させる。これはカーソルや指等の移動量および回数により、図11(b)、図12(b)のΔH、−ΔH、ΔS、−ΔSの大きさを変化させることに対応する。
【0082】
図15(a)〜(b)は、色相および彩度の調整を行なうときに表示画面21に表示される画面のさらに他の例を示した図である。
図15(a)では、調整を行なう項目を切り替えるのに、タップ操作で切り替える場合を示している。つまり入力装置30がタッチパネルであった場合に表示画面21の何れかの箇所をタップすると、調整を行なう項目が、「色相」および「彩度」と、「色相」および「輝度」との間で交互に切り替えられる。
そして調整を行なう項目が、図15(a)で示す「色相」および「彩度」から、「色相」および「輝度」に切り替えが行なわれたときは、図15(b)に示しように、左右方向の操作を行なったときは、色相の調整が行なわれ、上下方向の操作を行なったときは、輝度の調整が行なわれる。このとき色相の調整については、図14の場合と同様となる。また上方向にスワイプ操作を行なったときには、輝度を増加させ、下方向にスワイプ操作を行なったときには、輝度を減少させる。なお指等の移動量および回数により色相や輝度の調整量を変化させることは、図14の場合と同様である。
【0083】
図16(a)〜(c)は、色相、彩度、輝度の調整を行なうときに表示画面21に表示される画面のさらに他の例を示した図である。
図16(a)〜(c)では、表示画面21の左側に「第1の指定領域(S1)」が選択された状態の画像Gが表示され、表示画面21の右側に「色相」、「彩度」、「輝度」のそれぞれに対応するラジオボタン214a、214b、214cが表示される。そしてユーザが入力装置30を使用して、このラジオボタン214a、214b、214cを選択すると、調整する項目として「色相」、「彩度」、「輝度」が切り替わる。
【0084】
図16(a)は、ラジオボタン214aに対応する「色相」が選択された状態を示している。
このとき例えば、ユーザが、カーソルや指等により、上述した左右方向の操作を行なったときは、色相の調整が行なわれる。即ち、ユーザが右方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を増加させる。またユーザが左方向にドラッグ操作やスワイプ操作を行なったときは、選択された指定領域の色相を減少させる。
【0085】
図16(b)は、ラジオボタン214bに対応する「彩度」が選択された状態を示している。このときもユーザが、上述した左右方向の操作を行なったときは、彩度の調整が同様にして行なわれる。
また図16(c)は、ラジオボタン214cに対応する「輝度」が選択された状態を示している。このときもユーザが、上述した左右方向の操作を行なったときは、輝度の調整が同様にして行なわれる。
【0086】
またパラメータとして画像の有する空間周波数に着目したパラメータを設定し、このパラメータを利用して空間周波数を調整する画像処理を行なうことも考えられる。
【0087】
具体的には、各画素値の輝度Vを、以下の数9式を使用して調整する。なお数9式では、画素の位置を表す(x、y)は省略している。数9式でαは、強調度合いを表すパラメータであり、αは、ぼかし帯域を表すパラメータである。
この場合、V−V(α)は、アンシャープ成分を表す。またVは、平滑化画像を表し、αが小さい場合は、ぼかし度合いが小さい画像となり、αが大きい場合は、ぼかし度合いが大きい画像となる。そのためαが小さい場合は、アンシャープ成分V−V(α)は、より高周波となるので、数9式はより高周波強調の式となり細かい輪郭(ディテール)がくっきり再現される。対してαが大きい場合は、アンシャープ成分V−V(α)は、より低周波となるので、数9式はより低周波強調の式となり、おおまかな輪郭(形状)が強調される。またαは、強調度合い(ゲイン)であるため、αが小さい場合は、強調の度合いが小さく、αが大きい場合は、強調の度合いが大きくなる。
【0088】
【数9】
【0089】
例えば、頭髪の画像などは、高周波成分が質感を高めるので、ぼかし帯域の制御が重要となる。
図17は、空間周波数の調整を行なうときに表示画面21に表示される画面の例を示した図である。
ここでは、指定領域として頭髪の部分である「第1の指定領域(S1)」が選択されている。そしてユーザが、カーソルや指等により、左右方向の操作を行なったときは、ぼかし帯域αの調整が行なわれる。即ち、ユーザが、右方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、「第1の指定領域(S1)」のぼかし帯域αを高周波方向にする。またユーザが、左方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、選択された「第1の指定領域(S1)」のぼかし帯域αを低周波方向にする。
またユーザが、カーソルや指等により、上下方向の操作を行なったときは、強調の度合いαの調整が行なわれる。即ち、ユーザが、上方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、「第1の指定領域(S1)」の強調の度合いαを増加させる。またユーザが、左方向にカーソルを移動させるか指等によりスワイプ操作を行なったときは、「第1の指定領域(S1)」の強調の度合いαを減少させる。
【0090】
図18は、図17による操作の結果、画像処理が行なわれた後の画像Gについて説明した図である。
図示するようにぼかし帯域αの調整を行い、ぼかし帯域αを高周波方向にしたとき(図中右方向)は、「第1の指定領域(S1)」である頭髪の部分がよりシャープな画質となり、ぼかし帯域αを低周波方向にしたとき(図中左方向)は、よりアンシャープな画質となる。
また強調の度合いαの調整を行い、強調の度合いαを増加させたとき(図中上方向)は、「第1の指定領域(S1)」である頭髪の部分がより強調した画像として表示され、強調の度合いαを減少させたとき(図中下方向)は、頭髪の部分がよりめだたない画像として表示される。
【0091】
再び図2に戻り、画像情報出力部16は、以上のように画像処理がなされた後の画像情報を出力する。なおこのときHSVデータからRGBデータに戻して出力する。画像処理がなされた後の画像情報は、表示装置20に送られる。そして表示装置20にてこの画像情報に基づき画像が表示される。
【0092】
図19は、第1の実施の形態についての画像処理装置10の動作について説明したフローチャートである。
以下、図2および図19を使用して、第1の実施の形態の画像処理装置10の動作について説明を行う。
【0093】
まず画像情報取得部11が、画像処理を行なう第1の画像の画像情報としてRGBデータを取得する(ステップ101)。このRGBデータは、表示装置20に送られ、画像処理を行う前の画像が表示される。
【0094】
そしてユーザが、例えば、図3で説明した方法で、ユーザが、画像処理を行なう画像領域である指定領域を、入力装置30を使用して軌跡等のシードを入力することで指定する。この指定領域についてシードの情報は、ユーザ指示受付部12が受け付ける(ステップ102)。
さらに領域検出部13が、例えば、図4−1、図4−2、図5図6で説明した方法により、指定領域を切り出す処理を行う(ステップ103)。
【0095】
次にユーザが、指定領域の選択を入力装置30を使用して入力する。これは、例えば、図7図8で説明した操作により入力することができる。
このユーザによる指定領域の選択の指示は、ユーザ指示受付部12が受け付ける(ステップ104)。
そして領域切替部14により指定領域の切り替えが行なわれる(ステップ105)。
【0096】
またユーザは、選択された指定領域について行なう画像処理の指示を入力装置30を使用して入力する。これは、例えば、図9で説明したスライダ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部13が受け付ける(ステップ106)。
【0097】
次に画像処理部15が、ユーザの指示に基づき、選択された指定領域の画像処理を行なう(ステップ107)。
そして画像情報出力部16が、画像処理がなされた後の画像情報を出力する(ステップ108)。この画像情報は、RGBデータであり、このRGBデータは、表示装置20に送られ、表示画面21に画像処理後の画像が表示される。
【0098】
[第2の実施の形態]
次に画像処理装置10の第2の実施の形態について説明を行なう。
図20は、本発明の第2の実施の形態における画像処理装置10の機能構成例を表すブロック図である。なお図20では、画像処理装置10が有する種々の機能のうち第2の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報取得部11と、ユーザ指示受付部12と、領域検出部13と、領域切替部14と、パラメータ算出部17と、画像処理部15と、画像情報出力部16とを備える。
【0099】
第2の実施の形態では、図2で説明した第1の実施の形態と比較して、パラメータ算出部17がさらに加わっている。
本実施の形態では、画像処理を行なう対象となる第1の画像に加え、見本となる第2の画像が用意される。そして第2の画像の画質に第1の画像の画質を合せる画像処理が行なわれる。
以下、この事項について説明を行なう。
【0100】
画像情報取得部11は、画像処理を行なう第1の画像に加え、見本となる第2の画像の画像情報をさらに取得する。この第2の画像の画像情報についても第1の画像の画像情報と同様の、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。
【0101】
ユーザ指示受付部12は、第1の実施の形態と同様に、入力装置30により入力された画像処理に関するユーザによる指示を受け付ける。
また本実施の形態では、画像処理を行なう第1の画像に加え、見本となる第2の画像に対して入力されるユーザの指示をユーザ指示情報として受け付ける。この事項に関するさらに詳しい説明については後述する。
【0102】
領域検出部13は、第1の画像の中から指定領域を検出するのみならず、これに加え、見本領域を検出する。この見本領域は、第2の画像の中から、ユーザが第1の画像の指定領域に対し行なう画像処理の見本とする画像領域である。この見本領域についても、領域検出部13は、表示装置20で表示している第2の画像の中から、切り出す処理を行なう。
【0103】
本実施の形態では、見本領域の切り出しについても図3で説明したのと同様に、ユーザインタラクティブに行うことができる。
図21は、指定領域および見本領域をユーザインタラクティブに行う方法の例を示した図である。ここでは、表示装置20の表示画面21に左側に第1の画像である画像G1が表示され、右側の第2の画像である画像G2が表示される場合を示している。
ここで左側の画像G1は、図3と同様の画像であり、前景として写る人物と、人物の背後に写る背景とからなる写真の画像である。そしてユーザが、前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ指定領域として選択する場合を示している。
【0104】
このときユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し、軌跡や点等の「シード」を与え、この位置情報(第1の位置情報)を基に、領域検出部13が指定領域を切り出す処理を行なう。
【0105】
また右側の画像G2は、同様に前景として写る人物と、人物の背後に写る背景とからなる写真の画像である。そしてユーザが、前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ見本領域として選択する場合を示している。
【0106】
このときユーザは、画像G2に対しても頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し、軌跡や点等の「シード」を与える。この位置情報(第2の位置情報)は、ユーザ指示情報としてユーザ指示受付部12により取得される。そしてこの位置情報(第2の位置情報)を基に、領域検出部13が見本領域を切り出す処理を行なう。なお以後、頭髪の部分の見本領域を「第1の見本領域」、顔の部分の見本領域を「第2の見本領域」、頭髪や顔以外の部分の見本領域を「第3の見本領域」と言うことがある。
つまりこの場合もユーザは、頭髪の部分、顔の部分、および頭髪や顔以外の部分のそれぞれに対し代表となる位置を示す情報を与える。これは見本領域の代表位置を表す位置情報(第2の位置情報)をユーザが入力する、と言い換えることもできる。
【0107】
図22(a)〜(b)は、図21で示した画像について。指定領域および見本領域が切り出される様子を示している。
このうち図22(a)は、指定領域として、人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分の3つの指定領域である「第1の指定領域(S1)」、「第2の指定領域(S2)」、「第3の指定領域(S3)」が切り出される場合を示している。
また図22(b)は、見本領域として、人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分の3つの見本領域である「第1の見本領域(M1)」、「第2の見本領域(M2)」、「第3の見本領域(M3)」が切り出される場合を示している。
これらの指定領域や見本領域に属する画素にそれぞれフラグを付与することは、本実施の形態でも同様である。例えば、頭髪の部分についてフラグ「1」を、顔の部分についてフラグ「2」を、頭髪や顔以外の部分についてフラグ「3」を付加する。
【0108】
領域切替部14は、指定領域や見本領域が複数存在した場合、これらを切り替える。即ちユーザが画像調整を行ないたい指定領域や見本としたい見本領域の選択を行なう。そしてこれに従い、領域切替部14が指定領域を切り替える。指定領域や見本領域の選択は、第1の実施の形態で説明したように、画像切り替えボタンやラジオボタンを使用することで行なうことができる。
【0109】
画像切り替えボタンやラジオボタンの操作の結果は、ユーザ指示情報としてユーザ指示受付部12により取得され、領域切替部14により指定領域や見本領域の切り替えが行なわれる。
【0110】
パラメータ算出部17は、選択された指定領域の画質を選択された見本領域の画質に合せるためのパラメータを算出する。
このパラメータは種々考えられるが、ここでは色相と彩度の2つを制御するためのパラメータの決定方法を説明する。
まず選択された指定領域の(x、y)に位置する画素の画素値が、HSVデータで与えられる場合を考え、これをH(x、y)、S(x、y)、V(x、y)とする。また同様に選択された見本領域の(x、y)に位置する画素の画素値としてH(x、y)、S(x、y)、V(x、y)を考える。
【0111】
まず選択された指定領域の色相平均Haveと彩度平均Saveは、下記数10式で算出できる。ここでNは、選択された指定領域の画素数であり、Dは選択された指定領域を表す。
【0112】
【数10】
【0113】
また見本領域の色相平均Haveと彩度平均Saveは、下記数11式で算出できる。ここでNは、選択された見本領域の画素数であり、Dは選択された見本領域を表す。
【0114】
【数11】
【0115】
そして色相平均Haveと色相平均Haveを基にし、H(x、y)とH(x、y)とを関係付けるパラメータ、および彩度平均Saveと彩度平均Save基にし、S(x、y)とS(x、y)とを関係付けるパラメータを設定すればよい。
【0116】
図23は、H(x、y)とH(x、y)とを関係付けるパラメータを設定する関数について説明した図である。
図23は、横軸がH(x、y)を表し、縦軸がH(x、y)を表す。そして(Have、Have)の点と色相の最小値(0、0)および最大値(Hmax、Hmax)を結ぶ2つの直線から構成される太線で図示した関数を設定する。この場合、H(x、y)とH(x、y)とを関連付けるパラメータは、この2つの直線の傾きとして定義できる。
なおこの例では、H(x、y)とH(x、y)とを関係付けるパラメータを設定する関数を考えたが、S(x、y)とS(x、y)とを関係付けるパラメータについても同様に定義できる。
なお色相と彩度の2つを制御するためのパラメータだけでなく、輝度を制御するパラメータを設定してもよく、画質を決める他の要素についてのパラメータを考え、設定してもよい。
【0117】
画像処理部15は、選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なう。このとき画像処理部15は、パラメータ算出部17で算出されたパラメータに基づき選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なう。
【0118】
図24(a)〜(c)は、選択された指定領域に画質を選択された見本領域の画質に合せる画像処理を行なったときの変化を示した図である。
このうち図24(a)は、画像処理を行なう前の画像G1を示している。そしてこの画像G1中の顔の部分である「第2の指定領域(S2)」の画質を図24(b)に示す画像G2中の顔の部分である「第2の見本領域(M2)」の画質に合せる。その結果、図24(c)に示すように、「第2の指定領域(S2)」である顔の部分の画質が変化し、「第2の見本領域(M2)」の画質と同じとなる。
【0119】
また図25−1は、頭髪の部分である「第1の指定領域(S1)」の画質を「第1の見本領域(M1)」の画質に合せる画像処理と、顔の部分である「第2の指定領域(S2)」の画質を「第2の見本領域(M2)」の画質に合せる画像処理を同時に行なう場合を示している。
この場合、図25−1の下部に図示するようなチェックボックス215を設け、このチェックボックス215をチェックした領域の画質が変化する。この場合、「領域1」をチェックすることで、「第1の指定領域(S1)」の画質を「第1の見本領域(M1)」の画質に合せる画像処理が行なわれ、「領域2」をチェックすることで、「第2の指定領域(S2)」の画質を「第2の見本領域(M2)」の画質に合せる画像処理が行なわれる。よってこの両者の画像処理が同時に行なわれる。
【0120】
また、図25−2は、図25−1において、ユーザが指等によりスワイプ操作を行なうことで、画像処理を行なう場合を示している。
この場合は、ユーザが指等を左方向にスワイプすると指定領域の画質に近づき、右方向にスワイプすると見本領域の画質に近づく。そしてチェックボックス215として「領域1」と「領域2」がチェックされているので、「第1の指定領域(S1)」と「第1の見本領域(M1)」、および「第2の指定領域(S2)」と「第2の見本領域(M2)」の間で、画質が同時に変化することになる。なお図24のようにェックボックス215を設けない場合にも適用できることはもちろんである。
【0121】
またパラメータとして画像の有する空間周波数に着目したパラメータを設定し、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せることで、選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なうことも考えられる。
【0122】
具体的には、例えば、上述した数9式のアンシャープ成分V−V(α)に対して、ぼかし帯域αを低周波から高周波にかけ何段階かに分けて設定しておく。ここでは、これをαB1、αB2、αB3の3段階とする。
このとき高周波成分を表す画像の画素値をIhigh、中周波成分を表す画像の画素値をImid、低周波成分を表す画像の画素値をIlowとしたときに、Ihigh、Imid、Ilowを以下の数12式で定義する。
【0123】
【数12】
【0124】
そしてぼかし帯域αをαB1、αB2、αB3としたときの画像に対し、画素値の閾値を設け、この閾値以上の画素を抽出する。そして抽出した画素について、Ihigh、Imid、Ilowを、それぞれIhigh(x、y)、Imid(x、y)、Ilow(x、y)((x、y)は、抽出した画素の位置)とする。そしてある領域中の各周波数成分の強度の度合いをThigh、Tmid、Tlowとする。このThigh、Tmid、Tlowは、Ihigh(x、y)、Imid(x、y)、Ilow(x、y)の平均値であると考えると、以下の数13式のように定義できる。数13式で、Nは、この領域中で抽出された画素数であり、Dはこの領域を表す。
【0125】
【数13】
【0126】
そして選択された指定領域の画質を選択された見本領域の画質に合せるには、それぞれの領域のThigh、Tmid、Tlowの値が近づくような処理をすればよい。
【0127】
具体的には、選択された指定領域と選択された見本領域とで、数13式のThigh、Tmid、Tlowを算出する。そして最も大きかったものをそれぞれの代表帯域とする。ここでは例えば、Thigh(高周波成分)が代表帯域になったとする。そして選択された指定領域のThighをThigh、選択された見本領域のThighをThighとし、これらの強度の比を基に、数9式の強調の度合いαを算出することができる。強調の度合いαは、下記数14式となる。
【0128】
【数14】
【0129】
この強調の度合いαを使用し数9式を使用することで、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せる。そしてその結果、選択された指定領域の画質を選択された見本領域の画質に合せることができる。
【0130】
図26(a)〜(c)は、選択された指定領域の空間周波数を選択された見本領域の空間周波数に合せる処理について説明した図である。
図26(a)は、画像処理を行なう第1の画像である画像G1であり、頭髪の部分である「第1の指定領域(S1)」が選択されている。
また図26(b)は、見本となる第2の画像である画像G2であり、頭髪の部分である「第1の見本領域(M1)」が選択されている。
そして図26(c)は、「第1の指定領域(S1)」の空間周波数を「第1の見本領域(M1)」の空間周波数に合せ、「第1の指定領域(S1)」の画質を「第1の見本領域(M1)」に合せた場合を示している。
【0131】
なお画像情報出力部16については、実施の形態1と同様の機能を有する。
【0132】
図27は、第2の実施の形態についての画像処理装置10の動作について説明したフローチャートである。
以下、図2および図27を使用して、第2の実施の形態の画像処理装置10の動作について説明を行う。
【0133】
まず画像情報取得部11が、画像処理を行なう第1の画像の画像情報としてRGBデータを取得する(ステップ201)。また画像情報取得部11が、見本となる第2の画像の画像情報としてRGBデータを取得する(ステップ202)。これらのRGBデータは、表示装置20に送られ、画像処理を行う前の画像が表示される。
【0134】
そしてユーザが、指定領域を入力装置30を使用して軌跡等のシードを入力することで指定する。同様にユーザは、見本領域を入力装置30を使用して軌跡等のシードを入力することで指定する。
この指定領域や見本領域のシードの情報は、ユーザ指示受付部12が受け付ける(ステップ203)。
さらに領域検出部13が、指定領域や見本領域を切り出す処理を行う(ステップ204)。
【0135】
次にユーザが、指定領域や見本領域の選択を入力装置30を使用して入力する。
このユーザによる指定領域や見本領域の選択の指示は、ユーザ指示受付部12が受け付ける(ステップ205)。
そして領域切替部14により指定領域や見本領域の切り替えが行なわれる(ステップ206)。
【0136】
またユーザは、選択された指定領域について行なう画像処理の指示を入力装置30を使用して入力する。これは、例えば、スライダ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部13が受け付ける(ステップ207)。
【0137】
そしてパラメータ算出部17が、選択された指定領域の画質を選択された見本領域の画質に合せるためのパラメータを算出する(ステップ208)。
【0138】
次に画像処理部15が、算出されたパラメータに基づき、選択された指定領域の画質を選択された見本領域の画質に合せる画像処理を行なう(ステップ209)。
そして画像情報出力部16が、画像処理がなされた後の画像情報を出力する(ステップ210)。この画像情報は、RGBデータであり、このRGBデータは、表示装置20に送られ、表示画面21に画像処理後の画像が表示される。
【0139】
以上詳述した第1の実施の形態の画像処理システム1によれば、指定領域を画像の中からより容易に、また直感的にに指定でき、また指定領域毎にインタラクティブに画質の調整を行なうことができる。また第2の実施の形態の画像処理システム1によれば、これに加え、指定領域を見本領域と対応づけることができ、そして選択された指定領域の画質を選択された見本領域の画質に合せる画像処理がより容易となる。即ち、ユーザは、画質のマッチングをより直感的に、またより容易に行なうことが可能となる。
【0140】
<画像処理装置のハードウェア構成例>
次に、画像処理装置10のハードウェア構成について説明する。
図28は、画像処理装置10のハードウェア構成を示した図である。
画像処理装置10は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置10は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92、およびHDD(Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ92は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDD93は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置10は、外部との通信を行うための通信インターフェース(以下、「通信I/F」と表記する)94を備える。
【0141】
<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【0142】
よって本実施の形態で、画像処理装置10が行なう処理は、コンピュータに、第1の画像の画像情報を取得する機能と、第1の画像の中からユーザが画像処理を行なう画像領域として指定した指定領域の代表位置を表す第1の位置情報を取得する機能と、第1の位置情報から指定領域を検出する機能と、指定領域に対し画像処理を行なう機能と、を実現させるプログラムとして捉えることもできる。
【0143】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【0144】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0145】
1…画像処理システム、10…画像処理装置、11…画像情報取得部、12…ユーザ指示受付部、13…領域検出部、14…領域切替部、15…画像処理部、16…画像情報出力部、17…パラメータ算出部、20…表示装置、30…入力装置
図1
図2
図3
図4-1】
図4-2】
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25-1】
図25-2】
図26
図27
図28