特表-16158274IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧
<>
  • 再表WO2016158274-画像処理装置 図000012
  • 再表WO2016158274-画像処理装置 図000013
  • 再表WO2016158274-画像処理装置 図000014
  • 再表WO2016158274-画像処理装置 図000015
  • 再表WO2016158274-画像処理装置 図000016
  • 再表WO2016158274-画像処理装置 図000017
  • 再表WO2016158274-画像処理装置 図000018
  • 再表WO2016158274-画像処理装置 図000019
  • 再表WO2016158274-画像処理装置 図000020
  • 再表WO2016158274-画像処理装置 図000021
  • 再表WO2016158274-画像処理装置 図000022
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2016年10月6日
【発行日】2017年12月28日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   G06T 5/00 20060101AFI20171201BHJP
   G06T 1/00 20060101ALI20171201BHJP
【FI】
   G06T5/00 735
   G06T1/00 340A
【審査請求】有
【予備審査請求】未請求
【全頁数】24
【出願番号】特願2017-509480(P2017-509480)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2016年3月9日
(31)【優先権主張番号】特願2015-70256(P2015-70256)
(32)【優先日】2015年3月30日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】徳井 奈保
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB08
5B057CB12
5B057CE11
5B057CE17
5B057DA08
5B057DB02
5B057DB06
5B057DB09
5B057DC02
5B057DC22
(57)【要約】
被写体が動く場合にも容易に適用でき、好適な立体感を有する画像を生成する。画像処理装置(101)は、暗部画素を抽出する暗部画素抽出部(107)と、補正画像を生成する暗部画素補正部(108)と、前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成部(109)と、前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成部(110)と、を備えている。
【特許請求の範囲】
【請求項1】
対象画像から1又は複数の暗部画素を抽出する暗部画素抽出部と、
前記1又は複数の暗部画素を、上記対象画像のコントラストの変化を抑制するように補正することによって補正画像を生成する暗部画素補正部と、
前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成部と、
前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成部と、
を備えている
ことを特徴とする画像処理装置。
【請求項2】
前記暗部画素抽出部は、前記対象画像における注目画素と当該注目画素の近傍に位置する近傍画素との色差及び輝度差の少なくとも何れかに応じて、当該注目画素を暗部画素として抽出する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記暗部画素抽出部は、注目画素と近傍画素との色差が色差に関する閾値よりも小さく、かつ近傍画素の輝度から注目画素の輝度を引いた輝度差が正の値でありかつ輝度差に関する閾値よりも小さい場合に注目画素を暗部画素として抽出することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記画像生成部は、前記暗部モデルを適用する前記補正画像上の画素の総数に応じて、前記暗部モデルの明るさ、または、前記暗部モデルを適用した後の画像の明るさを変化させることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記画像生成部は、前記暗部モデルの明るさと前記暗部モデルを付与する前記補正画像上の画素の色相とに応じて、前記暗部モデルの色相、または、前記暗部モデルを適用した後の画像の色相を変化させることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
画像から被写体の顔の大きさ情報を検出する顔検出部と、
前記顔の大きさ情報から前記暗部画素抽出部における近傍画素が取りうる範囲を決定する近傍画素範囲決定部と、
をさらに備え、
前記暗部画素抽出部は前記決定された範囲内の画素を近傍画素とすることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
対象画像から1又は複数の暗部画素を抽出する暗部画素抽出ステップと、
前記1又は複数の暗部画素を、上記対象画像のコントラストの変化を抑制するように補正することによって補正画像を生成する暗部画素補正ステップと、
前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成ステップと、
前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を生成する画像処理装置に関する。
【背景技術】
【0002】
被写体を魅力的に撮像する方法として、外部ストロボやレフ板などの照明機材を用いて被写体にライティングを施し、立体感の演出を行う方法がある。このような技術は、高価な機材やユーザのスキルを必要とするため、一般ユーザが所望のライティングを施した画像を撮像することは困難である。
【0003】
特許文献1では所望の部分に対して所望のライティングがなされた状態の画像を得ることができる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012−138819(2012年7月19日公開)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した方法では、照明位置を変更しながら被写体を複数回撮像する必要があるため、動く物体への適用が困難であった。例えば、被写体が人間の場合は瞬きをしたり、照明が眩しければまぶたを伏せたり、被写体本人が意識せずとも体を動かしてしまうことがあり、複数回撮像した画像を合成する際、撮像画像間で被写体の位置ずれが生じるため、自然な合成画像を得ることは難しかった。
【0006】
本発明は上記課題を鑑みて発明されたものであり、被写体が動く場合にも容易に適用でき、好適な立体感を有する画像を生成することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一観点によれば、画像処理装置は、対象画像の暗部画素を抽出する暗部画素抽出部と、暗部画素を対象画像のコントラストの変化を抑制するように補正する暗部画素補正部と、暗部画素補正部において補正された画像に応じて暗部モデルを生成する暗部モデル生成部と、暗部モデルに基づいて暗部画素補正部において補正された画像に暗部モデル生成部において生成された暗部モデルを構成する暗部画素を付与する画像生成部と、を備えている。
【発明の効果】
【0008】
本発明によれば、被写体が動く場合にも容易に適用でき、好適な立体感を有する画像を生成することができる。
【図面の簡単な説明】
【0009】
図1】本発明の第1の実施の形態による画像処理装置を備える画像表示装置の一構成を示す機能ブロック図である。
図2】注目画素と近傍画素との関係を説明する図である。
図3】色差と輝度差とを用いて注目画素が暗部画素として抽出される指標を説明する図である。
図4】近傍画素が複数となる場合の注目画素と近傍画素との関係を説明する図である。
図5】暗部画素補正において輝度差の分散と重みとの関係を説明する図である。
図6】人間の顔にライティングを施したときに現れる陰影の暗部画素テンプレートを説明する図である。
図7】暗部モデルに基づいた暗部画素付与について説明する図である。
図8】本発明の第1の実施の形態における画像処理の流れを示すフローチャート図である。
図9】本発明の第2の実施の形態による画像処理を備える画像表示装置の一構成例を示す機能ブロック図である。
図10】検出された顔の大きさを説明するための図である。
図11】本発明の第2の実施の形態における画像処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【0010】
〔実施形態1〕
以下、添付図面を参照して本発明の実施形態1について説明する。なお、添付図面は本発明の原理に則った具体的な実施形態を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
【0011】
図1は、本発明の実施形態1に係る画像処理装置101を備える画像表示装置102の構成を示す機能ブロック図である。本実施形態では、画像表示装置102が、撮像部103で被写体を撮像し、撮像した画像から好適な立体感を有する画像を生成し、生成画像を表示部104に表示する場合の例について説明する。
【0012】
以下、本発明の実施形態1に係るシステム構成及び動作の詳細を、図1を用いて詳細に説明する。画像表示装置102は、撮像部103と、表示部104と、記憶部105と、画像処理装置101と、入出力部106と、を備える。
【0013】
撮像部103は、撮像レンズ及びCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えており、被写体の静止画や動画を撮像できる。
【0014】
表示部104は、LCD(Liquid Crystal Display:液晶ディスプレイ)や有機EL(Electro Luminescence)ディスプレイなどの表示画面であり、画像や文字などの情報や被写体の画像等を表示する。
【0015】
画像処理装置101は、例えばCPU(Central Processing Unit:中央処理装置)やGPU(Graphic Processing Unit:画像処理用処理装置)等で構成することができる。また、画像処理装置101は、撮像部103または記憶部105等から取得した画像を、入出力部106から取得したユーザ指示に基づいて処理し、表示部104および記憶部105の少なくとも一つへ処理後の画像を出力する。
【0016】
また、画像処理装置101は、暗部画素抽出部107と暗部画素補正部108と暗部モデル生成部109と画像生成部110とを備えている。これらの各部は、以下の各処理を行う。
<暗部画素抽出処理>
暗部画素抽出部107は、上述の撮像部103または記憶部105等より画像処理装置101が取得した画像から、1又は複数の暗部画素を抽出する。ここで暗部画素とは、取得した画像において、被写体に現れる陰影を構成する画素のことで、輝度や色の変化が少ない箇所のことである。例えば人間の顔における陰影は、顔の凹凸により生じるシミ、ほうれい線などのシワ、鼻の影及び光源からの光が遮られることにより額や頬などに現れる影などのことである。暗部画素抽出処理の詳細については後述する。
<暗部画素補正処理>
暗部画素補正部108は、暗部画素抽出部107で抽出された1又は複数の暗部画素の少なくとも何れかを、画像のコントラストの変化を抑制するように補正することによって補正画像を生成する。暗部画素補正処理の詳細については後述する。
<暗部モデル生成処理>
暗部モデル生成部109は、暗部画素抽出部107によって抽出された暗部画素を基に、被写体に応じた暗部モデルを生成する。暗部モデル生成処理及び暗部モデルの詳細については後述する。
<画像生成処理>
画像生成部110は、暗部画素補正部108において補正された画像(補正画像)と暗部モデル生成部において生成された暗部モデルとに基づいて、当該補正された画像に暗部画素を付与した画像を生成する。画像生成処理の詳細については後述する。
【0017】
記憶部105は、例えばフラッシュメモリやハードディスクであり、画像および暗部モデルの基となる暗部画素テンプレート等を記憶したり、機器固有のデータを保存したりする。
【0018】
入出力部106は、キーボタンやマイクやスピーカー等を用いて、ユーザ指示を画像処理装置101に入力したり、画像処理装置101から入力された音声等を出力したりする。以上が実施形態1のシステム構成である。
【0019】
次に、実施形態1における画像表示装置102の動作について図2乃至図8を用いて詳しく説明する。まず、暗部画素抽出部107による暗部画素抽出処理の詳細について、図2乃至図4を用いて詳しく説明する。図2は、処理対象の画像である対象画像における注目画素201と注目画素201の近傍に位置する近傍画素202との関係を説明する図である。図3は、色差と輝度差とを用いて注目画素が暗部画素として抽出される場合の指標を説明する図である。図4は、近傍画素が複数となる場合の注目画素と近傍画素との関係を説明する図である。暗部画素抽出部107は、注目画素201と近傍画素202との色差と輝度差とに基づいて注目画素201が暗部画素であるか判断する。また、注目画素201を暗部画素として判断した場合、暗部画素抽出部107は、注目画素201を暗部画素として抽出する。
【0020】
より具体的には、暗部画素抽出部107は、注目画素201と近傍画素202との色差sを式(1)を用いて算出する。
【0021】
【数1】
【0022】
ここでN(i、j)=(Nr(i、j)、Ng(i、j)、Nb(i、j))は、対象画像Iにおける第(i、j)画素の画素値I(i、j)を3変数のベクトルとみなして正規化したものである。画素値はRGB値、すなわち、R(Red)、G(Green)、B(Blue)の3つの値で表され、それぞれ0以上1以下の値をとる。画像の横方向をx軸、縦方向をy軸、画像の左上座標を原点(0、0)としたとき、変数iは画像中のx軸方向の位置を表し、0から画像の横画素数−1までの範囲をとる。変数jは画像中におけるy軸方向の位置を表し、0から画像の縦画素数−1までの範囲をとる。注目画素201を第(i、j)画素とすると、近傍画素202は第(i+1、j)画素となるので、近傍画素202の画素値はI(i+1、j)とされる。画素値I(i+1、j)を3変数のベクトルとみなして正規化したものをN(i+1、j)とする。色差sは0以上1以下の値をとり、0に近いほど色ずれが少ないことを表す。注目画素201と近傍画素202が画素値として同じRGB値を有する場合、色差sは0で最小となる。例えば注目画素201が無彩色で近傍画素202が赤色であった場合、色差sは0.9と最大値に近い値をとなる。このように、注目画素201と近傍画素202とのRGB値をベクトルと見なした時のベクトルのなす角度を用いて注目画素201と近傍画素202との色差を表す。
【0023】
また、暗部画素抽出部107は、注目画素201と近傍画素202との輝度差syを式(2)で算出する。
【0024】
【数2】
【0025】
ここで、注目画素201の輝度をy(i、j)、近傍画素202の輝度をy(i+1、j)とする。輝度差は−1以上1以下の値をとるように正規化されており、注目画素201と近傍画素202とが同じ輝度値を有する場合は0、注目画素201が0、すなわち黒で、近傍画素202が1、すなわち白の場合、輝度差は最大値の1となる。暗部画素抽出部107は、RGB値から輝度yへの変換処理を式(3)を用いて実行する。
【0026】
【数3】
【0027】
また、暗部画素抽出部107は、画素の輝度としてRGB値の平均値(I+I+I)/3やI値などを用いる構成としてもよい。
【0028】
暗部画素抽出部107は上述した方法にて算出した注目画素201と近傍画素202との色差および輝度差の少なくとも何れかに基づき、暗部画素の抽出処理を行う。図3に色差と輝度差とを用いて注目画素201が暗部画素として抽出される場合の指標を示す。輝度差が0または負の値の場合、暗部画素抽出部107は、注目画素201が暗部領域ではないと判断する。これは、注目画素201の輝度よりも近傍画素202の輝度が低く、近傍画素202が暗部領域である可能性が高いためである。輝度差が正の値で、色差または輝度差が所定の閾値以上の場合も、暗部画素抽出部107は、注目画素201が暗部領域ではないとする。これは、色と輝度との両方が大きく変動している箇所は被写体の輪郭である可能性が高いためである。輝度差が正の値で、色差および輝度差が所定の閾値よりも小さい場合、暗部画素抽出部107は、注目画素201を第1の暗部画素として抽出する。色差および輝度差に係る各々の閾値は、暗部画素抽出部107において、あらかじめ被写体の暗部画素と非暗部画素とが接する箇所を解析することにより算出する方法や入出力部から入力されるユーザの設定値から算出する方法等を用いて設定しておくことができる。例えば、ユーザの設定値が「陰影強め」である場合、暗部画素抽出部107は、各々の閾値を大きく設定し、「陰影弱め」である場合は、各々の閾値を小さめに設定することにより最適な閾値を設定できる。
【0029】
なお、閾値の設定方法は上記の例に限るものではなく、公知の手法を適用してもよい。
【0030】
上述の方法では、画像に向かって右側に注目画素、画像に向かって左側に近傍画素が設置されているため、暗部画素抽出部107は、画像の左側から右側へとなだらかに暗くなるような陰影のみを暗部画素として抽出したが、実画像においては上下左右斜め方向のいずれの方向においてもなだらかに暗くなるような箇所を暗部画素として抽出する必要がある。全方向の陰影を暗部画素として抽出するために、図4に示すように注目画素401に対し、近傍画素402を注目画素401の上下左右斜めに位置する8画素とする。近傍画素402が8画素の場合、注目画素401と近傍画素402である8画素それぞれについて注目画素401が暗部画素として抽出されるか計算する。
【0031】
より具体的には、暗部画素抽出部107は、まず、ある要素を注目画素401とし他の要素を複数の近傍画素402の何れかとする組を、複数の近傍画素402のそれぞれに関して設定する。例えば、近傍画素402が8画素の場合、それぞれの近傍画素をNP1〜NP8と表記し、注目画素をIPと表記したとすると、暗部画素抽出部107は、(NP1、IP),(NP2、IP),…,(NP8、IP)の合計8組を設定する。続いて、注目画素401と近傍画素402との各組において、注目画素401が暗部画素であるとされた組が、注目画素401が暗部画素ではないとされた組よりも多い場合、暗部画素抽出部107は、注目画素401を暗部画素として抽出する。
【0032】
また、暗部画素抽出部107は、近傍画素毎に暗部画素か否かを判定したそれぞれの判定結果に対して重み付けを行った結果を用いて、注目画素401が暗部画素か否かを判定しても構わない。上述の判定方法を行うことにより、例えば、陰影は上から下へと暗くなることが多いといった前提条件を用いた重み付けにより、注目画素401の上下方向に位置する近傍画素402の判断を優先させることができる。これにより、多くの画像において、暗部画素の誤抽出を抑制できるため好適である。
【0033】
なお、上記では、暗部画素抽出部107は、近傍画素毎に第1の暗部画素か否かを判定した結果に対して重み付けを行い、注目画素401が暗部画素か否かを判定しているが、暗部画素抽出部107は、近傍画素毎に算出した色差と輝度差に対して重み付けを行った結果をすべて集計し、その集計値と上述した閾値とを用いて注目画素401を暗部画素か否かを判定しても構わない。具体的には、注目画素IPと近傍画素が8画素(NP1〜NP8)の場合、注目画素IPと近傍画素NP1との輝度差をsy1、色差をsh1、注目画素IPと近傍画素NP2との輝度差をsy2、色差をsh2、・・・、注目画素IPと近傍画素NP8との輝度差をsy8、色差をsh8とした場合、暗部画素抽出部107は、輝度差の集計値sy_sumと色差の集計値sh_sumを式(4)と(5)で算出する構成としてもよい。
【0034】
【数4】
【0035】
【数5】
【0036】
ここでkは近傍画素の範囲を、αは輝度値に対する重み付け係数を、βは色差に対する重み付け係数を表す。αとβは正の値として設定する。重み付け係数αとβを全て1と設定すると、輝度差と色差の各々の総和が集計結果sy_sum、sh_sumとして算出される。αとβを、各々違う値に設定することで暗部画素抽出を制御できる。例えば、重み付け係数αを1に近い値に、βを0.01など0に近い値に設定すると、色差よりも輝度差を重視して暗部画素判定が行えるようになる。複雑なテクスチャを有する被写体でも、局所領域で見るとおおむね単一の色で構成されているとみなせるため、被写体に対し設定される局所諸領域が十分に小さい場合に有効である。
【0037】
以上により、暗部画素抽出部107による暗部画素抽出処理がなされる。
【0038】
次に、暗部画素補正部108による暗部画素補正処理の詳細について、図5を用いて説明する。図5は輝度差の分散と重みとの関係を説明する図である。暗部画素補正部108は、暗部画素と暗部画素以外の画素との画素値の差を小さくし、画像のコントラストの変化を抑制するように補正を行う。
【0039】
暗部画素補正部108は、暗部画素抽出部107で抽出された暗部画素に対し、暗部画素補正処理を施す。具体的には、注目画素I(i、j)が暗部画素である場合、暗部画素補正後の画像(補正画像)をI’とし、第1の暗部画素の近傍画素としてN×Mの近傍を用いる場合、補正後の画像I’を、式(6)、(7)を用いて算出する。
【0040】
【数6】
【0041】
【数7】
【0042】
ここで、画素値I(i、j)は、対象画像Iにおける第(i、j)画素の画素値を示す。注目画素I(i、j)が暗部画素でない場合は、I’(i、j)=I(i、j)となる。
【0043】
このように注目画素に対し近傍画素に重み付き平滑化処理を施すことで、暗部画素補正部は、暗部画素と暗部画素以外の画素との画素値の差を小さくし、コントラストの変化を抑制する。式(7)から明らかなように、重みωklは、ガウシアン(正規分布)型の重み係数である。重みωklは、暗部画素と近傍画素との輝度差が小さいときに値が大きくなる。すなわち、暗部画素補正部108は、暗部画素とその近傍画素のうち輝度差の小さなものは陰影である可能性が高いため重みを強くする。反対に、暗部画素補正部108は、暗部画素とその近傍画素のうち輝度差の大きなものは被写体の輪郭である可能性が高いため重みを弱くする。ここで、式(7)におけるσは暗部画素と近傍画素との輝度差の分散を表す。暗部画素補正部108は、分散σの値を変えることにより、注目画素の輝度と近傍画素との輝度の差をどの程度許容するかを制御することができる。暗部画素補正部108は、分散σの値を変えることにより、暗部画素以外の画素値を暗部画素に伝搬させる度合いを制御することができる。これにより、暗部画素補正部108は、平滑化の度合いを制御し、コントラストの変化を抑制する度合いを調節することができる。図5は横軸501が輝度差、縦軸502が重みωを表す。分散σを大きくすると曲線503に示すように伝搬の度合いは強くなるが、被写体の輪郭と非輪郭とを区別できなくなり、被写体の輪郭がぼやけてしまう。分散σに小さい値を設定すると曲線504に示すように伝搬の度合いは弱くなり被写体の輪郭のぼやけは防げるが、コントラストの変化の抑制度合いが小さくなってしまう。そこで、暗部画素補正部108は分散σに小さい値を設定し、暗部画素補正処理を繰り返し施す方法をとることが好ましい。このような方法を採用することにより、暗部画素補正処理を繰り返す毎に暗部画素以外の画素の画素値を暗部画素に伝搬させることができ、被写体の輪郭を保ったままコントラストの変化を抑制することができるため好適である。
【0044】
また、分散σの具体的な設定方法としては、抽出対象とする陰影の分散値の2倍程度に設定すると好適である。例えば、画素値が0〜255階調をとり、陰影の分散値が10であるとき、分散σは20と設定すれば良い。ここでは、画素値であるRGB値が0以上1未満に正規化されて用いられているため、σ=0.08(=20/255)と設定する。陰影の分散値が既知でない場合は、σ=0.04(=10/255)など小さめに設定すると良い。
【0045】
以上により、暗部画素補正部108による暗部画素補正処理が行われる。
【0046】
次に、暗部モデル生成部109による暗部モデル生成処理について図6を用いて説明をする。図6は人間の顔にライティングを施したときに現れる陰影を暗部画素テンプレートとして使用する場合の例を説明する図である。暗部モデル生成部109は、暗部画素抽出部107によって抽出された暗部画素に基づき暗部モデルを生成する。暗部モデルとは、被写体に付与するための暗部画素から構成されるモデルのことである。例えば、被写体が人間の顔である場合、暗部画素抽出部107が抽出した暗部画素を左右対称となるように補正し、当該補正した暗部画素を暗部モデルとして用いることにより、暗部モデル生成部109は、顔の対称性が向上した画像を生成することができる。被写体から抽出した暗部画素を用いることにより、被写体に適した暗部モデルを生成できるため、画像生成部において生成される画像の画質を向上させることができ好適である。
【0047】
このように、暗部モデル生成部109は、暗部画素抽出部107が抽出した暗部画素を適宜複製して再配置することによって暗部モデルを生成することができる。
【0048】
また、暗部モデル生成部が、記憶部105に保持してある暗部画素テンプレートに基づき暗部モデルを生成する構成とすれば、様々なライティング手法を施したような暗部モデルを簡易に生成できるため好適である。ここで、暗部画素テンプレートとは、スプリットライトテンプレート601やレンブラントライトテンプレート602、バタフライライトテンプレート603、ループライトテンプレート604のように、被写体にライティングを施したときに現れる陰影を暗部画素として抽出したものである。暗部モデル生成部109は、これらの暗部画素テンプレートTに基づき暗部モデルSを、式(8)を用いて生成する。
【0049】
【数8】
【0050】
ここで、関数fは暗部画素テンプレートTを暗部画素補正後の画像I’に適合するように補正する関数である。この補正において、暗部モデル生成部109は、暗部モデルSの画像I’上の付与位置と大きさの変更を行うことができる。まず、暗部モデルSを画像I’の画像中心に配置し、大きさは画像の半分とする。入出力部106から入力されるユーザの指示Uに従い、暗部モデルの付与位置と大きさの変更を行い、暗部モデルSの画像I’上の付与位置と大きさとの調整を行う。例えば、生成された暗部モデルが被写体よりも大きめに生成された場合、ユーザは暗部モデル縮小処理を行う指示を出すことで、暗部モデルを縮小する。また、生成された暗部モデルの位置が被写体位置とずれていた場合、ユーザは暗部モデルの移動処理を行う指示を出すことで、暗部モデルの位置を変更する。このとき、被写体が人間の顔など既知の物体であれば、暗部モデル生成部109が、画像中の肌色の分布に合わせて暗部モデルの付与位置と大きさの変更を自動的に行う構成とすれば、ユーザによる調整を行わずとも、適切な位置に暗部モデルが付与されるため好適である。
【0051】
以上により、暗部モデル生成部109による暗部モデル生成処理が行われる。
【0052】
最後に、画像生成部110による画像生成処理について図7を用いて詳しく説明する。図7は暗部モデルに基づいた暗部画素付与について説明する図である。
【0053】
画像生成部110は、暗部モデルSと暗部画素を補正した画像(補正画像)I’とから、暗部画素を付与した画像Oを、式(9)を用いて生成する。画像Oのことを暗部モデルSを適用した画像または暗部モデルSを付与した画像と呼ぶこともある。
【0054】
【数9】
【0055】
暗部モデルSは、画素毎に0以上1以下の値をとる。第(i、j)画素の暗部モデルSの値S(i、j)が1であれば、生成画像Oの画素値O(i、j)と暗部画素を補正した画像I’の画素値I’(i、j)とは同じ値となる。第(i、j)画素の暗部モデルSの値S(i、j)が0であれば、生成画像Oの画素値O(i、j)は0となる。すなわち、暗部モデルSの値が0に近いほど生成画像Oの画素値は暗くなり、1に近いほど生成画像Oの画素値は暗部画素を補正した画像I’に近づく。
【0056】
また、人間の色の見え方を考慮して、画像生成部110は生成画像の明るさを補正するようにしても良い。人間の色の見え方のうち、明るさに関係するものの一つに、色の面積効果がある。色の面積効果とは、物理的には同じ色であっても、提示する面積の大きさによって色の見え方が変化する現象のことである。提示する面積が大きくなると、暗部画素はより暗く感じられるため、画像生成部110は色の面積効果を打ち消すように暗部モデルの明るさを変化させることが好ましい。具体的には、画像生成部110は、暗部モデルを付与する画像上の画素の総和(換言すれば、暗部モデルと重複する画素の総数)に応じて、暗部モデルの明るさ(暗部モデルを構成する暗部画素の明るさ)を変更し、当該変更した暗部モデルを用いて画像生成を行うことが好ましい。
【0057】
上記の処理では、画素の総和が大きくなるほど暗部モデルの明るさを大きくし、総和が小さくなるほど暗部モデルの明るさを小さくする。これにより、人間の色の見え方を考慮した自然な暗部モデル付与を行うことができるため好適である。
【0058】
なお、画像生成部110は、暗部モデルを適用したうえで、暗部モデルを付与した画素の総和(換言すれば、暗部モデルと重複する画素の総数)に応じて、暗部モデル適用後の明るさを変更する構成としてもよい。
【0059】
さらに、人間の色の見え方に応じて、画像生成部110は、生成画像の色相を補正するようにしても良い。人間の色の見え方のうち、色相に関係するものの一つに、ベゾルト−ブリュッケ現象がある。ベゾルト−ブリュッケ現象とは、明るさによって色相が変化する現象で、具体的には明るさが低下すると赤紫とオレンジは赤に、黄緑と青緑は緑にシフトする現象のことである。暗部モデルの明るさと暗部モデルを付与する画像上の画素の色相に応じて、画像生成部110は暗部モデルの色相を変化させる。画像生成部110は、暗部モデルの明るさが小さくなるほど、陰影の効果が強いと判断し、暗部モデルの色相の変化を大きくする。また、画像生成部110は、暗部モデルの明るさが大きくなるほど、陰影の効果が弱いと判断し、暗部モデルの色相の変化を小さくする。また、画像生成部110は、暗部モデルを付与する画像上の画素の色相が赤紫からオレンジに含まれるのであれば、赤が強くなるように暗部モデルの色相を変更する。画像生成部110は、暗部モデルを付与する画像上の画素の色相が黄緑から青緑に含まれるのであれば、緑が強くなるように暗部モデルの色相を変更する。暗部モデルを付与する被写体が人間の顔の場合、肌色の色相は赤紫からオレンジに含まれる可能性が高いため、画像生成部110において、赤が強くなるように暗部モデルの色相を変化させると、違和感の少ない自然な暗部モデル付与を行うことができ好適である。
【0060】
上述した処理により、人間の色の見え方を考慮した暗部モデルを付与できるため、生成される画質を向上させることができ好適である。
【0061】
なお、画像生成部110は、暗部モデルの明るさと暗部モデルを付与する画像上の画素の色相に応じて、暗部モデルを適用した後の画像の色相を変化させる構成としてもよい。
【0062】
以上により、画像生成部110による画像生成処理が行われる。
【0063】
以上、上記動作の流れを図8に示すフローチャートを用いて説明をする。
【0064】
まず、ステップS801では、画像処理装置101は、撮像部103または記憶部105から画像を取り込む。次に、ステップS802では、ステップS801にて取り込んだ画像から、暗部画素抽出部107が暗部画素を抽出する(上述した暗部画素抽出処理に対応)。次に、ステップS803では、ステップS802にて抽出された暗部画素を、暗部画素補正部108が補正する(上述した暗部画素補正処理に対応)。次に、ステップS804では、記憶部105から暗部画素テンプレートを取得する。次に、ステップS805では、ステップS804にて取得した暗部画素テンプレートを用いて、暗部モデル生成部109は暗部モデルを生成する(上述した暗部モデル生成処理に対応)。次に、ステップS806では、ステップS805にて生成された暗部モデルを用いて、画像生成部110が暗部画素補正後の画像に暗部モデルを付与し、照明位置を変更して撮像したかのような画像を生成する(上述した画像生成処理に対応)。そして、ステップS807では、ステップS806にて生成した画像を、画像生成部110が表示部104に出力する。以上が画像処理装置101の動作の流れである。以上のようにして、第1実施例の画像表示装置102は動作する。
【0065】
上述した本発明に係る画像処理装置101を備える画像表示装置102によれば、ユーザが所望しない暗部画素を補正した後、所望の陰影を付与することで好適な立体感を有する画像を表示することができる。また、従来技術のように、照明位置を変更しながら被写体を複数回撮像するといった処理が不要なため、動く物体に対しても容易に適用することができる。
【0066】
〔実施形態2〕
次に、本発明の第2実施例に係る画像処理装置901を備える画像表示装置902の構成について、図9を用いて説明する。図9において、図1と同じ構成要素には同じ番号を付しており、これらの要素は図9の実施例と同じ処理を行うため説明を省略する。
【0067】
本実施例と第1実施例との違いは、画像表示装置102は、顔の大きさ情報を検出する顔検出部903と、顔検出部903で検出された顔の大きさ情報を基に、暗部画素抽出部107における近傍画素が取りうる範囲を決定する近傍画素範囲決定部904とを備えた構成になっていることである。
【0068】
次に、第2の実施例における画像表示装置902の動作について図10乃至図11を用いて詳しく説明する。まず、顔検出部903の動作について、図10を用いて詳しく説明する。図10は検出された顔の大きさを説明する図である。
<顔検出処理>
顔検出部903は、画像から、被写体の顔の大きさを検出する。ここで、顔の大きさとは、検出された顔領域の横画素数W1001と縦画素数H1002のことである。画像から顔の大きさを検出する方法は、肌色を検出して顔領域を特定する方法や、多数の顔画像と顔以外の画像(非顔)の学習サンプルから統計的に識別関数を求め、顔の位置情報と顔の大きさ情報を検出する方法(P.Viola and M.Jones,“Rapid object detection using a boosting cascade of simple features”,Proc.IEEE Conf.CVPR,pp.511−518,2001)が知られており、上述した方法を用いることで実現できる。以上により、顔の大きさの検出がなされる。
<近傍画素範囲決定処理>
次に、近傍画素範囲決定部904の動作について詳しく説明する。ここでは、暗部画素抽出で用いる近傍画素の大きさを決定する。被写体の顔の大きさが大きくなるに従って、生じる影もより大きくなるため、近傍画素範囲決定部904は近傍画素範囲をより大きくする。被写体の顔の大きさが小さくなるに従って、生じる影もより小さくなるため、近傍画素範囲決定部904は近傍画素範囲をより小さくする。近傍画素範囲がN×Mのとき、近傍画素範囲を大きくするとは近傍画素範囲をkN×kMに拡大することを指し、近傍画素範囲を小さくするとは近傍画素範囲をN/k×M/kに縮小することを指す(ここで、k>1であり、例えばk=2、3等の値が好適である)。これにより、被写体の顔の大きさが大きいにも関わらず小さな近傍画素範囲を用いて暗部画素抽出を行った結果、大きな影を構成する暗部画素を抽出できなかったり、被写体の顔の大きさが小さいにも関わらず大きな近傍画素範囲を用いて暗部画素抽出を行った結果、アイブロウ、アイラインや輪郭付近のシェーディングなどの好ましい印象を与える微小な陰影を暗部画素として抽出してしまったりすることを防ぐことができる。このように、上記構成によれば、好ましい暗部画素を残しながら不必要とされる暗部画素のみを補正することができる。
【0069】
また、近傍画素範囲決定部904は被写体の顔の大きさによって近傍画素範囲の形を変更してもよい。例えば、被写体の顔の大きさが縦長さと横長さとがほぼ同じ値であったとき、被写体の顔は丸みを帯びていると判断し、円形の近傍画素範囲を設定する。近傍画素範囲の形は、正方形や長方形、円形だけでなく、上下左右の4近傍で表される十字型や、斜めのみの4近傍で表されるクロス型など、別の画素の組み合わせでもよい。被写体に合わせて近傍画素範囲の形を変更することで、被写体に適した近傍範囲で画像処理を行うため、画像生成部は生成される画質を向上させることができ好適である。
【0070】
以下、上記動作の流れを図11に示すフローチャートを用いて説明をする。
【0071】
まず、ステップS1101では、画像処理装置901は、撮像部103または記憶部105から画像を取り込む。次に、ステップS1102では、ステップ1101にて取り込まれた画像から、顔検出部903が顔の大きさを検出する。この処理は、上述した顔検出処理に該当する。次に、ステップS1103では、ステップS1102にて検出された顔の大きさから、近傍画素範囲決定部904が近傍画素範囲を決定する。この処理は、上述した近傍画素範囲決定処理に該当する。次に、ステップS1104では、ステップS1101にて取り込んだ画像とステップS1103にて決定した近傍画素範囲とから、暗部画素抽出部107が暗部画素を抽出する。次に、ステップS1105では、ステップS1104にて抽出された暗部画素を、暗部画素補正部108が補正する。次に、ステップS1106では、記憶部105から暗部画素テンプレートを取得する。次に、ステップS1107では、ステップS1106にて取得した暗部画素テンプレートを用いて、暗部モデル生成部109は暗部モデルを生成する。次に、ステップS1108では、ステップS1107にて生成された暗部モデルを用いて、画像生成部110が、暗部画素補正後の画像に暗部モデルを付与し、照明位置を変更して撮像したかのような画像を生成する。そして、ステップS1109では、ステップS1108にて生成した画像を、画像生成部110が表示部104に出力する。以上が画像処理装置901の動作の流れである。以上のようにして、第2実施例の画像表示装置902は動作する。
【0072】
上述した本発明に係る画像処理装置901を備える画像表示装置902によれば、被写体の大きさに基づき抽出する暗部画素の範囲を制御するので、好ましい暗部画素を残しながら不必要とされる暗部画素を補正した画像に所望の暗部画素を付与することができ、好適な立体感を有する画像を表示することができる。
【0073】
なお、本発明は、上述した実施例によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。
【0074】
本発明による画像処理装置で動作するプログラムは、本発明に関わる上記実施例の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にRAM(Random Access Memory)に蓄積され、その後、ROM(Read Only Memory)などの各種ROMやHDDに格納され、必要に応じてCPUによって読み出し、修正・書き込みが行われる。
【0075】
また、図1の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUなどが実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)および周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【0076】
また、上述した実施例における画像処理装置の一部、または全部を典型的には集積回路であるLSIとして実現してもよい。画像処理装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【0077】
また、上述の実施例において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
〔まとめ〕
本発明の態様1に係る画像処理装置は、対象画像から1又は複数の暗部画素を抽出する暗部画素抽出部107と、前記1又は複数の暗部画素を、上記対象画像のコントラストの変化を抑制するように補正することによって補正画像を生成する暗部画素補正部108と、前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成部109と、
前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成部110と、を備えている。
【0078】
上記の構成によれば、上記1又は複数の暗部画素を上記対象画像のコントラストの変化を抑制するように補正することによって生成した補正画像に対して上記暗部モデルを構成する暗部画素を付与するので、好適な立体感を有する画像を生成することができる。また、上記構成は、被写体が動く場合にも容易に適用できる。
【0079】
本発明の態様2に係る画像処理装置では、上記態様1において、前記暗部画素抽出部107は、前記対象画像における注目画素と当該注目画素の近傍に位置する近傍画素との色差及び輝度差の少なくとも何れかに応じて、当該注目画素を暗部画素として抽出することが好ましい。
【0080】
上記の構成によれば、暗部画素を好適に抽出することができる。
【0081】
本発明の態様3に係る画像処理装置では、上記態様2において、前記暗部画素抽出部107は、注目画素と近傍画素との色差が色差に関する閾値よりも小さく、かつ近傍画素の輝度から注目画素の輝度を引いた輝度差が正の値でありかつ輝度差に関する閾値よりも小さい場合に注目画素を暗部画素として抽出することが好ましい。
【0082】
上記の構成によれば、暗部画素をより好適に抽出することができる。
【0083】
本発明の態様4に係る画像処理装置では、上記態様1〜3において、前記画像生成部110は、前記暗部モデルを適用する前記補正画像上の画素の総数に応じて、前記暗部モデルの明るさ、または、前記暗部モデルを適用した後の画像の明るさを変化させることが好ましい。
【0084】
上記の構成によれば、人間の色の見え方を考慮した自然な暗部モデル付与を行うことができる。
【0085】
本発明の態様5に係る画像処理装置では、上記態様1〜4において、前記画像生成部110は、前記暗部モデルの明るさと前記暗部モデルを付与する前記補正画像上の画素の色相とに応じて、前記暗部モデルの色相、または、前記暗部モデルを適用した後の画像の色相を変化させることが好ましい。
【0086】
上記の構成によれば、人間の色の見え方を考慮した自然な暗部モデル付与を行うことができる。
【0087】
本発明の態様6に係る画像処理装置は、上記態様1〜5において、画像から被写体の顔の大きさ情報を検出する顔検出部903と、前記顔の大きさ情報から前記暗部画素抽出部107における近傍画素が取りうる範囲を決定する近傍画素範囲決定部904と、をさらに備え、前記暗部画素抽出部107は前記決定された範囲内の画素を近傍画素とすることが好ましい。
【0088】
上記の構成によれば、被写体に適した近傍範囲を設定するので、生成される画像の画質を向上させることができる。
【0089】
本発明の態様7に係る画像処理方法は、対象画像から1又は複数の暗部画素を抽出する暗部画素抽出ステップと、前記1又は複数の暗部画素を、上記対象画像のコントラストの変化を抑制するように補正することによって補正画像を生成する暗部画素補正ステップと、前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成ステップと、前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成ステップと、を含んでいる。
【0090】
上記の構成によれば、上記態様1と同様の効果を奏する。
【符号の説明】
【0091】
101 画像処理装置
102 画像表示装置
103 撮像部
104 表示部
105 記憶部
106 入出力部
107 暗部画素抽出部
108 暗部画素補正部
109 暗部モデル生成部
110 画像生成部
903 顔検出部
904 近傍画素範囲決定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11

【手続補正書】
【提出日】2017年8月30日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
対象画像から1又は複数の暗部画素を抽出する暗部画素抽出部と、
記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記1又は複数の暗部画素を補正する暗部画素補正部と
前記対象画像の暗部画素に基づいて、前記暗部画素補正部が補正した前記対象画像に暗部画素を付与する画像生成部と、
を備えている
ことを特徴とする画像処理装置。
【請求項2】
対象画像から1又は複数の暗部画素を抽出する暗部画素抽出部と、
前記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記1又は複数の暗部画素を補正する暗部画素補正部と、
予め設定された暗部モデルに基づいて、前記暗部画素補正部が補正した前記対象画像に暗部画素を付与する画像生成部と、
を備えている
ことを特徴とする画像処理装置。
【請求項3】
前記暗部画素抽出部は、前記対象画像における注目画素と当該注目画素の近傍に位置する近傍画素との色差及び輝度差の少なくとも何れかに応じて、当該注目画素を暗部画素として抽出する
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記暗部画素抽出部は、注目画素と近傍画素との色差が色差に関する閾値よりも小さく、かつ近傍画素の輝度から注目画素の輝度を引いた輝度差が正の値でありかつ輝度差に関する閾値よりも小さい場合に注目画素を暗部画素として抽出することを特徴とする請求項に記載の画像処理装置。
【請求項5】
前記画像生成部は、前記暗部モデルに基づいて前記暗部画素を付与する前記対象画像上の画素の総数に応じて、前記暗部モデルの明るさ、または、前記暗部モデルに基づいて前記暗部画素を付与した後の前記対象画像の明るさを変化させることを特徴とする請求項に記載の画像処理装置。
【請求項6】
前記画像生成部は、前記暗部モデルの明るさと、前記暗部モデルに基づいて前記暗部画素を付与する前記対象画像上の画素の色相とに応じて、前記暗部モデルの色相、または、前記暗部モデルに基づいて前記暗部画素を付与した後の前記対象画像の色相を変化させることを特徴とする請求項に記載の画像処理装置。
【請求項7】
画像から被写体の顔の大きさ情報を検出する顔検出部と、
前記顔の大きさ情報から前記暗部画素抽出部における近傍画素が取りうる範囲を決定する近傍画素範囲決定部と、
をさらに備え、
前記暗部画素抽出部は前記決定された範囲内の画素を近傍画素とすることを特徴とする請求項1からのいずれか1項に記載の画像処理装置。
【請求項8】
対象画像から1又は複数の暗部画素を抽出する暗部画素抽出ステップと、
記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記1又は複数の暗部画素を補正する暗部画素補正ステップと、
前記対象画像の暗部画素、または、予め設定された暗部モデルに基づいて、前記暗部画素補正ステップにおいて補正した前記対象画像に暗部画素を付与する画像生成ステップと、
を備えることを特徴とする画像処理方法。
【国際調査報告】