特表-19092844IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
再表2019-92844画像処理装置、画像処理方法および画像処理プログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年5月16日
【発行日】2019年11月14日
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20191018BHJP
   H04N 5/225 20060101ALI20191018BHJP
   G06T 3/40 20060101ALI20191018BHJP
【FI】
   H04N5/232 290
   H04N5/225 300
   G06T3/40 730
【審査請求】有
【予備審査請求】未請求
【全頁数】25
【出願番号】特願2018-564445(P2018-564445)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年11月10日
(11)【特許番号】特許第6553826号(P6553826)
(45)【特許公報発行日】2019年7月31日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100163050
【弁理士】
【氏名又は名称】小栗 眞由美
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】梶村 康祐
(72)【発明者】
【氏名】岡澤 淳郎
(72)【発明者】
【氏名】福冨 武史
【テーマコード(参考)】
5B057
5C122
【Fターム(参考)】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CE06
5B057CE08
5B057DA07
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5C122EA39
5C122FB03
5C122FC06
5C122FH03
5C122FH04
5C122FH11
5C122FH18
5C122FH23
5C122GE06
5C122HA42
5C122HA82
5C122HA88
5C122HB10
(57)【要約】
解像度向上効果とアーティファクト抑制を両立することを目的として、本発明に係る画像処理装置(1)は、時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部(11)と、検出された位置ずれ量に基づいて参照画像の画素情報を基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部(12)と、高解像度合成画像を生成する際に、参照画像を高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部(13)と、評価結果に基づいて高解像度合成画像を補正する画像補正部(14)とを備える。
【特許請求の範囲】
【請求項1】
時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部と、
該位置ずれ検出部により検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部と、
該高解像度合成部により前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部と、
該位置合わせ誤差評価部による評価結果に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置。
【請求項2】
複数枚の前記低解像度画像を時系列に取得する画像取得部を備え、
該画像取得部が、被写体からの光を集光する光学系と、該光学系により集光された光を撮像して各前記低解像度画像を取得する撮像素子と、前記光学系と前記撮像素子との相対位置を光軸方向に交差する方向にシフトさせるセンサシフト機構と、該センサシフト機構によるシフト方向とシフト量を制御するセンサシフト制御部とを備える請求項1に記載の画像処理装置。
【請求項3】
前記位置ずれ検出部が、前記センサシフト制御部により制御されたシフト方向とシフト量に基づいて前記低解像度画像間の位置ずれ量を検出する請求項2に記載の画像処理装置。
【請求項4】
前記位置ずれ検出部が、前記基準画像および前記参照画像に基づいて前記低解像度画像間の位置ずれ量を算出する請求項1に記載の画像処理装置。
【請求項5】
前記高解像度合成部は、前記高解像度空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間する請求項1から請求項4のいずれかに記載の画像処理装置。
【請求項6】
前記位置合わせ誤差評価部が、前記高解像度合成画像の任意の注目画素を含む領域の特徴量を算出する特徴量算出部と、該特徴量算出部により算出された前記特徴量と前記高解像度合成画像とを用いて前記注目画素の誤差評価値を算出する評価値算出部とを備える請求項1から請求項5のいずれかに記載の画像処理装置。
【請求項7】
前記特徴量算出部が、前記高解像度合成画像における前記領域のエッジの方向情報を前記特徴量として算出する請求項6に記載の画像処理装置。
【請求項8】
前記評価値算出部は、前記注目画素を含む前記領域において、前記誤差評価値の演算の対象画素が高解像度化倍率によって決まる画素周期に該当する画素であるか否かの情報に基づいて前記誤差評価値を算出する請求項6または請求項7に記載の画像処理装置。
【請求項9】
前記評価値算出部は、前記高解像度化倍率がM(Mは自然数)のときに、前記注目画素から2M画素だけ離れた位置にある1以上の画素と前記注目画素との第1相関値と、それ以外の位置にある1以上の画素と前記注目画素との第2相関値とを用いて前記注目画素の位置における前記誤差評価値を算出する請求項8に記載の画像処理装置。
【請求項10】
前記評価値算出部は、前記高解像度化倍率がM(Mは自然数)のときに、前記注目画素および該注目画素から2M画素だけ離れた位置にある画素の寄与度を、それ以外の位置にある画素の寄与度よりも大きくして相関演算した結果を前記注目画素の位置における前記誤差評価値とする請求項8に記載の画像処理装置。
【請求項11】
前記画像補正部は、前記位置合わせ誤差評価部の評価結果に基づき前記高解像度合成画像に対してフィルタをかけて高解像度補正画像を生成する請求項1から請求項10のいずれかに記載の画像処理装置。
【請求項12】
前記画像補正部は、前記評価結果に基づく合成比率によって、前記高解像度合成画像と前記高解像度補正画像とを合成する請求項11に記載の画像処理装置。
【請求項13】
時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、
該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、
該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法。
【請求項14】
時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、
該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、
該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【0002】
従来、複数枚の画像間で相関量を算出し、相関量に基づいて画像の合成比率を制御し合成する技術が知られている(例えば、特許文献1参照。)。この技術は、撮影した複数枚の画像のうち1枚を基準画像、その他の画像を参照画像として基準画像と参照画像間で領域毎に相関量(差分値)を算出し、相関が高いほど参照画像の合成比率を大きく、相関が低いほど参照画像の合成比率を小さく(基準画像の比率を大きく)制御するものである。
【0003】
具体的には、相関が高い領域は位置合わせ誤差が少ない領域であると判定して補正処理を行わず、相関が低い領域は位置合わせ誤差がある領域であると判定し、高解像度画像に対してフィルタ処理等の補正処理によりギザギザした位置ずれアーティファクトを補正するものである。
【0004】
一方、複数枚の低解像度画像を合成して高解像度画像を取得する場合に、複数枚の低解像度画像の情報(画素)を低解像度画像よりも高解像度な画像空間上の適切な位置に配置することが重要となり、適切な位置への配置が失敗すると解像度向上効果が得られない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−199786号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、高解像度化処理において特許文献1の技術を適用すると、位置合わせの誤差によってギザギザがある領域においては差分値が大きくなり相関が低いと判定できるが、低解像度画像でエイリアシング(モアレ)がある細かい模様の被写体領域でも差分値が大きくなり相関が低いと誤判定されてしまうという不都合がある。
すなわち、本来、エイリアシング領域ほど合成による解像度向上効果は高いので、その領域で相関が低いと誤判定しフィルタ処理等の補正処理を施すと解像度向上効果が得られなくなるという問題がある。
【0007】
本発明は上述した事情に鑑みてなされたものであって、解像度向上効果とアーティファクト抑制を両立することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の一態様は、時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部と、該位置ずれ検出部により検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部と、該高解像度合成部により前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部と、該位置合わせ誤差評価部による評価結果に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置である。
【0009】
本態様によれば、時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像が入力されると、入力された低解像度画像間の位置ずれ量が位置ずれ検出部により検出され、検出された位置ずれ検出量に基づいて参照画像の画素情報が高解像度画像空間上で基準画像の位置に位置合わせされて高解像度合成画像が高解像度合成部により合成される。合成された高解像度合成画像が位置合わせ誤差評価部に入力されると、参照画像を高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差が評価され、その評価結果に基づいて画像補正部により高解像度合成画像が補正される。
【0010】
すなわち、高解像度合成画像を補正するために使用する位置合わせ誤差が高解像度化倍率に起因するものであるので、もとの低解像度画像を高解像度化するときの高解像度化倍率によって決められる画素周期に該当する画素であるか否かの情報に基づくことにより、アーティファクトになり得る画素だけを適切に判定して、補正処理を施すことができる。
【0011】
上記態様においては、複数枚の前記低解像度画像を時系列に取得する画像取得部を備え、該画像取得部が、被写体からの光を集光する光学系と、該光学系により集光された光を撮像して各前記低解像度画像を取得する撮像素子と、前記光学系と前記撮像素子との相対位置を光軸方向に交差する方向にシフトさせるセンサシフト機構と、該センサシフト機構によるシフト方向とシフト量を制御するセンサシフト制御部とを備えていてもよい。
【0012】
また、上記態様においては、前記位置ずれ検出部が、前記センサシフト制御部により制御されたシフト方向とシフト量に基づいて前記低解像度画像間の位置ずれ量を検出してもよい。
また、上記態様においては、前記位置ずれ検出部が、前記基準画像および前記参照画像に基づいて前記低解像度画像間の位置ずれ量を算出してもよい。
【0013】
また、上記態様においては、前記高解像度合成部は、前記高解像度空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間してもよい。
また、上記態様においては、前記位置合わせ誤差評価部が、前記高解像度合成画像の任意の注目画素を含む領域の特徴量を算出する特徴量算出部と、該特徴量算出部により算出された前記特徴量と前記高解像度合成画像とを用いて前記注目画素の誤差評価値を算出する評価値算出部とを備えていてもよい。
【0014】
また、上記態様においては、前記特徴量算出部が、前記高解像度合成画像における前記領域のエッジの方向情報を前記特徴量として算出してもよい。
また、上記態様においては、前記評価値算出部は、前記注目画素を含む前記領域において、前記誤差評価値の演算の対象画素が高解像度化倍率によって決まる画素周期に該当する画素であるか否かの情報に基づいて前記誤差評価値を算出してもよい。
【0015】
また、上記態様においては、前記評価値算出部は、前記高解像度化倍率がM(Mは自然数)のときに、前記注目画素から2M画素だけ離れた位置にある1以上の画素と前記注目画素との第1相関値と、それ以外の位置にある1以上の画素と前記注目画素との第2相関値とを用いて前記注目画素の位置における前記誤差評価値を算出してもよい。
【0016】
また、上記態様においては、前記評価値算出部は、前記高解像度化倍率がM(Mは自然数)のときに、前記注目画素および該注目画素から2M画素だけ離れた位置にある画素の寄与度を、それ以外の位置にある画素の寄与度よりも大きくして相関演算した結果を前記注目画素の位置における前記誤差評価値としてもよい。
【0017】
また、上記態様においては、前記画像補正部は、前記位置合わせ誤差評価部の評価結果に基づき前記高解像度合成画像に対してフィルタをかけて高解像度補正画像を生成してもよい。
また、上記態様においては、前記画像補正部は、前記評価結果に基づく合成比率によって、前記高解像度合成画像と前記高解像度補正画像とを合成してもよい。
【0018】
また、本発明の他の態様は、時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法である。
【0019】
また、本発明の他の態様は、時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムである。
【図面の簡単な説明】
【0020】
図1】本発明の第1実施形態に係る画像処理装置を示す全体構成図である。
図2A図1の画像処理装置により生成されるGrチャネルの高解像度合成画像の一例を示す図である。
図2B図1の画像処理装置により生成されるRチャネルの高解像度合成画像の一例を示す図である。
図2C図1の画像処理装置により生成されるBチャネルの高解像度合成画像の一例を示す図である。
図2D図1の画像処理装置により生成されるGbチャネルの高解像度合成画像の一例を示す図である。
図3図1の画像処理装置の位置合わせ誤差評価部を示すブロック図である。
図4A図1の画像処理装置により生成されるGrチャネルとGbチャネルの高解像度合成画像を加算平均したGチャネルの高解像度画像を示す図である。
図4B図4Aの高解像度画像に存在するエッジの方向を示す図である。
図5図1の画像処理装置による評価値算出の例を示すGrチャネルの高解像度合成画像の一例を示す図である。
図6A図4Bのエッジの方向e1に対する方向フィルタの一例を示す図である。
図6B図4Bのエッジの方向e2に対する方向フィルタの一例を示す図である。
図6C図4Bのエッジの方向e3に対する方向フィルタの一例を示す図である。
図6D図4Bのエッジの方向e4に対する方向フィルタの一例を示す図である。
図6E図4Bのエッジの方向なしに対する方向フィルタの一例を示す図である。
図7図1の画像処理装置の画像補正部による高解像度合成画像と高解像度補正画像との合成比率と評価値との関係の一例を示す図である。
図8図1の画像処理装置を用いた画像処理方法を示すフローチャートである。
図9図1の画像処理装置により生成された高解像度合成画像のGrチャネルの位置合わせ誤差評価の具体的な数値例を示す図である。
図10図1の画像処理装置の変形例を示す全体構成図である。
図11A】本発明の第2実施形態に係る画像処理装置により生成されるGrチャネルの高解像度合成画像の一例を示す図である。
図11B図11Aの画像処理装置により生成されるGbチャネルの高解像度合成画像の一例を示す図である。
図12A】8枚の画像を位置ずれ量に基づいて高解像度画像空間上に配置し、空白画素の補間処理を施した後のGrチャネルの高解像度合成画像を示す図である。
図12B図12Aと同様のGbチャネルの高解像度合成画像を示す図である。
図13A図12Aおよび図12Bの注目画素300を中心とする9×9画素の領域301を用いて従来手法通りに算出したSADの比較例を示す図である。
図13B図12Aおよび図12Bの注目画素300を中心とする9×9画素の領域301を用いた図11Aの画像処理装置によるSADを示す図である。
【発明を実施するための形態】
【0021】
本発明の第1実施形態に係る画像処理装置1および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置1は、図1に示されるように、被写体を撮影して画像として取り込む画像取得部10と、位置ずれ検出部11と、高解像度合成部12と、位置合わせ誤差評価部13と、画像補正部14とを備えている。
【0022】
画像取得部10は、被写体からの光を集光する撮像レンズ(光学系)100と、該撮像レンズ100により集光された光を撮影する撮像素子101と、該撮像素子101を光軸に直交する方向にシフトさせるセンサシフト機構102と、該センサシフト機構102を制御するセンサシフト制御部103と、フレームメモリ104とを備えている。
フレームメモリ104は、画像取得部10以外からもアクセスできるようになっている。
【0023】
撮像レンズ100は、被写体からの光を集光し、撮像素子101の像面上に被写体の光学像を形成する。撮像素子101は、例えば、R,Gr,Gb,Bの4種類のカラーフィルタが2×2画素単位で画素毎に配置されたいわゆるベイヤー配列構造を有している。
【0024】
撮像素子101により時系列的に取得された複数枚の画像(低解像度画像)は、最初に取得された画像を基準画像、その後に取得された1枚以上の画像を参照画像としてフレームメモリ104に記憶されるようになっている。
また、センサシフト機構102は撮像素子101を、光軸に直交しかつ相互に水平、垂直方向にサブピクセル単位でシフト可能な機構を有している。
【0025】
センサシフト制御部103は、センサシフト機構102を介して撮像素子101をシフトさせるシフト方向およびシフト量を制御するようになっている。また、センサシフト制御部103は、シフト方向およびシフト量の情報を位置ずれ検出部11に出力するようになっている。位置ずれ検出部11は、センサシフト制御部103から送られてきたシフト方向およびシフト量の情報から位置ずれ量を算出し、高解像度合成部12へ出力するようになっている。
【0026】
高解像度合成部12は、フレームメモリ104に記憶された複数枚の低解像度画像と、位置ずれ検出部11から出力されてきた位置ずれ量に基づいて位置合わせしながら色チャネル(R、Gr、Gb、B)毎の高解像度画像空間上に複数枚の低解像度画像の画素情報を配置するようになっている。
【0027】
具体的には、まず、基準画像の画素を高解像度画像空間上に配置し、次に、位置ずれ検出部11において算出された基準画像とある参照画像との間の位置ずれ量を用いて、参照画像の画素を基準画像に対して移動した所定位置に配置するようになっている。参照画像の画素を配置する際には、配置する画素の色と同色の画素が、既に基準画像の画素や別の対象画像の画素で配置されていれば、新たに画素配置しなくてもよいし、既に配置されている同色画素と加算平均して画素値を更新してもよいし、画素値を累積加算後に加算回数で正規化してもよい。
【0028】
さらに、高解像度合成部12は、全ての低解像度画像の画素を高解像度画像空間上に配置した後、画素がまだ配置されていない空間を補間して埋める処理を行うようになっている。補間の方法は、例えば、周囲の配置されている画素を用いてエッジ方向を考慮した方向判別補間を施したり、周囲5x5画素を用いた加重平均で補間したり、最近傍に存在する画素をコピーして補間したりすればよい。
【0029】
高解像度合成画像のイメージを図2Aから図2Dに示す。本実施形態では、時系列的に取得した8枚の低解像度画像を合成し、縦横2倍(M=2)の画素数の高解像度画像を生成する場合について説明する。
【0030】
図2Aには、8枚の低解像度画像のGrチャネルだけを高解像度空間上に配置した図を示しており、矢印の左側は画素情報が配置されていない画素(図中に密な斜線で示す画素)を含む高解像度空間、矢印の右側は、画素情報が配置されてない画素(図中に疎な斜線で示す画素)を補間して埋めた高解像度空間を示している。
【0031】
ベイヤー配列の場合、図2Aに示されるGrチャネル以外に、図2Bに示されるRチャネル、図2Cに示されるBチャネルおよび図2Dに示されるGbチャネルも存在している。図中の各チャネルを示すアルファベットの後に付された番号は、複数枚撮影の撮影順番を示しており、この例の場合、ベイヤー配列であるので、同じ座標位置でも各チャネルの撮影順番(画素値取得タイミング)は異なっている。
【0032】
図2Aのような画素の配置になる際の撮影時のセンサシフト制御を以下に示す。
すなわち、1枚目の基準画像の位置を基準として、2枚目の参照画像は水平方向に1画素、垂直方向に0画素、3枚目の参照画像は水平方向に0画素、垂直方向に1画素、4枚目の参照画像は水平方向に1画素、垂直方向に1画素、5枚目の参照画像は水平方向に0.5画素、垂直方向に0.5画素、6枚目の参照画像は水平方向に1.5画素、垂直方向に0.5画素、7枚目の参照画像は水平方向に0.5画素、垂直方向に1.5画素、8枚目の参照画像は水平方向に1.5画素、垂直方向に1.5画素、センサシフト制御部103が撮像素子101をずらして撮影したものである。
【0033】
位置合わせ誤差評価部13は、図3に示されるように、特徴量算出部130と、該特徴量算出部130により算出された特徴量に基づいて評価値(誤差評価値)を算出する評価値算出部131とを備えている。
特徴量算出部130は、高解像度合成部12により生成された高解像度合成画像を用いて特徴量を算出するようになっている。
図4Aおよび図4Bに、特徴量算出部130による特徴量の算出例を示す。
【0034】
この例では、高解像度合成画像のGrチャネルとGbチャネルを加算平均してGチャネル画像を生成し、注目画素を中心とした3×3画素からエッジ方向情報を算出するようになっている。
図4Aは、GrチャネルとGbチャネルを加算平均したGチャネル画像を示しており、図4Bは、図4AのGチャネル画像に存在するエッジの方向を矢印で示している。
【0035】
すなわち、下式によりエッジ情報e1,e2,e3,e4の値を算出し、それらの最小値を注目画素位置におけるエッジ方向情報とするようになっている。
e1=|G10−G12|
e2=|G20−G02|
e3=|G01−G21|
e4=|G00−G22|
【0036】
評価値算出部131は、高解像度合成部12により生成された高解像度合成画像と特徴量算出部130により算出されたエッジ方向情報(特徴量)に基づいて、注目画素がギザギザのアーティファクトを生じさせる画素であるか否かを評価する評価値を算出するようになっている。ここでは、高解像度合成画像のGrチャネルについて評価値を算出する例を説明する。図5に示すように、注目画素位置をGr44とする。また、注目画素位置のエッジ方向の情報が垂直方向(図4Bのe3方向)であると判定されたとして説明する。
【0037】
評価値算出部131は、まず、注目画素Gr44と垂直方向に隣接する画素Gr34,Gr54を用いて次の式により相関を算出するようになっている。この式は隣接する画素との差分絶対値をそれぞれ求め、それらを平均化したものを相関値(第1相関値)V1としている。
V1=(|Gr44−Gr34|+|Gr44−Gr54|)/2
【0038】
評価値算出部131は、次に、注目画素Gr44と垂直方向に4画素だけ離れた位置にある画素Gr04,Gr84を用いて次式により相関値(第2相関値)V2を算出するようになっている。
V2=(|Gr44−Gr04|+|Gr44−Gr84|)/2
【0039】
ここで、4画素だけ離れた位置にある画素を計算に使う理由は、もとの8枚の画像に対して縦横2倍の画素数の高解像度画像を生成する場合、図2Aに示すように、特定の1枚の画像(例えば、Gr画像の1枚目)の画素Gr1の配置に着目すると4画素周期で画素Gr1が配置されるため、もし、特定の1枚の位置合わせに誤差が生じたなら、誤差を含んだ画素が4画素周期で現れることになるからである。
【0040】
この式も同様に、4画素離れた位置にある画素との差分絶対値をそれぞれ求め、それらを平均化したものを相関値としている。
そして、評価値算出部131は、このように計算された相関値V1,V2を用いて評価値Evaを下式により算出するようになっている。
Eva=V1−V2
【0041】
この式は、評価値Evaの値が大きいほど、注目画素はギザギザのアーティファクトになり得る画素であることを示し、評価値Evaの値が小さいほど、注目画素はギザギザのアーティファクトにはならない画素であることを示している。このように計算された評価値Evaは、画像補正部14に出力されるようになっている。
【0042】
画像補正部14は、フレームメモリ104から入力した高解像度合成画像を用いて画像を補正するようになっている。
まず、高解像度合成画像に位置合わせ誤差評価部13から出力されるエッジ方向情報に合わせた方向で方向フィルタを掛けて高解像度補正画像を補正するようになっている。例えば、図6Aから図6Eに示すように、注目画素を中心としてエッジ方向に沿った4画素に対して係数が掛かるような方向フィルタを掛ける。
【0043】
画像補正部14は、次に、高解像度合成画像と、画素毎にフィルタを施した高解像度補正画像とを、評価値Evaに基づく合成比率で合成するようになっている。例えば、図7に示すような折線で評価値Evaを合成比率に変換する。評価値Evaが大きいほどギザギザのアーティファクトになる可能性がある画素であるため、高解像度補正画像の比率が大きくなるようにし、評価値Evaが小さいほど高解像度補正画像の比率を小さく(補正なしの高解像度合成画像の比率を大きく)するようになっている。
【0044】
図7の実線は高解像度画像の合成比率を、破線は高解像度補正画像の合成比率を表している。また、第1閾値TH1と第2閾値TH2を設定し、評価値Evaが第1閾値TH1以下であれば高解像度合成画像の合成比率を1(高解像度補正画像の合成比率を0)、評価値Evaが第2閾値TH2以上であれば高解像度合成画像の合成比率を0(高解像度補正画像の合成比率を1)、その間で評価値Evaが大きいほど高解像度補正画像の合成比率が高くなるように変換している。
画素毎に評価値Evaを合成比率に変換し、高解像度合成画像と高解像度補正画像とを合成することで、ギザギザのアーティファクトを補正した高解像度合成画像を生成することができるようになっている。
【0045】
このように構成された本実施形態に係る画像処理装置1を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理方法は、図8に示されるように、画像取得部10により撮像素子101の位置をずらしながら時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を位置ずれ検出部11により検出する位置ずれ検出ステップS1と、検出された位置ずれ量に基づいて参照画像の画素情報を基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を高解像度合成部12により生成する高解像度合成ステップS2と、高解像度合成画像を生成する際に、参照画像を高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する評価値Evaを位置合わせ誤差評価部13により算出する位置合わせ誤差評価ステップS3と、算出された評価値Evaに基づいて高解像度合成画像を補正する画像補正ステップS4とを含んでいる。
【0046】
本実施形態に係る画像処理装置1および画像処理方法の効果を、図9の具体的な数値例を用いて説明する。図9はセンサシフト制御部103で撮像素子101をずらして撮影した複数枚の低解像度画像の画素情報を位置ずれ量に基づいて高解像度画像空間上に配置し、空白画素の補間処理を施した後の高解像度合成画像のGrチャネルの例を示している。
【0047】
図9には位置合わせ誤差を含むエッジ部の画像が示されている。この図9において、注目画素200がギザギザのアーティファクトになり得るか否かを判定する場合について説明する。まず、注目画素200を中心とする3×3領域を用いて、特徴量としてエッジ方向を算出すると、
e1=|182−101|=81
e2=|180−100|=80
e3=|180−177|=3
e4=|97−180|=83
となり、エッジ方向は垂直方向(e3方向)と判定される。
【0048】
次に注目画素200と垂直方向に隣接する画素および垂直方向に4画素離れた画素を用いて相関値V1,V2を算出すると、
V1=(|100−177|+|100−180|)/2=78.5
V2=(|100−100|+|100−101|)/2=0.5
となる。
【0049】
これらを用いて注目画素200がギザギザのアーティファクトを生じさせる画素であるか否かを評価する評価値Evaを算出すると、
Eva=V1−V2=78.5−0.5=78
となる。
【0050】
次に、画像補正部14により注目画素200に図6Cに示す垂直方向の方向フィルタを掛けると、補正後画素値Icは、
Ic=(179+177+180+181)/4=179
となる。
【0051】
次に、算出した評価値Evaに基づいて元画素値Iと補正後画素値Icの合成比率を求める。図7に示す評価値Evaを合成比率に変換する際の閾値TH1,TH2がそれぞれ閾値TH1=20、閾値TH2=80であるとすると、補正後画素値Icの合成比率αは α=(Eva−TH1)/(TH2−TH1)
=(78−20)/(80−20)=0.97
となる。
【0052】
この結果、注目画素200の最終的な画素値I’は
I’=(1−α)×I+α×Ic=0.03×100+0.97×179=177
となる。
すなわち、本実施形態に係る画像処理装置1および画像処理方法によれば、注目画素200の補正後の画素値I’が垂直方向の隣接画素の画素値とほぼ同等に補正されており、ギザギザのアーティファクトが適切に補正されていることがわかる。
【0053】
なお、本実施形態に係る画像処理装置1においては、画像取得部10に備えられたセンサシフト制御部103から送られてくる撮像素子101のシフト方向およびシフト量の情報に基づいて位置ずれ検出部11が位置ずれ量を算出することとした。これに代えて、図10に示されるように、位置ずれ検出部11が、フレームメモリ104に保存されている複数枚の低解像度画像を用いて、低解像度画像間における画像全体のグローバルな動き量、または、領域毎のローカルな動き量を算出することにより位置ずれ量を検出することにしてもよい。
【0054】
例えば、32×32画素を1ブロックとする分割領域毎にブロックマッチング法等を用いて水平方向と垂直方向の動きベクトルを取得し、マッチング誤差評価値の分布からサブピクセル精度の動き情報を推定してもよい。また、取得し推定する動き情報は、水平方向と垂直方向の動きだけでなく、回転方向や拡大縮小の変化でもよく、例えば、サブピクセル精度に推定した動き情報から画像全体の幾何的な変形を推定することで、各画素位置の動き量を検出することにしてもよい。
【0055】
また、エッジ方向e1,e2,e3,e4の値や分布を考慮して方向無しの判定をエッジ方向情報として与えてもよい。また、方向情報の算出方法や方向の数については上記手法に限らず、別の方法を用いてもよい。例えば、水平方向と垂直方向の微分フィルタから勾配の大きさと方向を計算することでエッジ方向を取得してもよいし、平滑化フィルタをかけてノイズの影響を低減したあとでエッジ方向を算出するようにしてもよい。
【0056】
また、方向フィルタとしては、方向依存型のフィルタ係数であればどのようなフィルタでもよい。また、上記の例では注目画素200の係数を0に設定しているが、0でなくてもよい。また、方向情報が「方向無し」の場合は図6Eのように注目画素200のみに1の係数(実質は補正無し)が掛かるようにしてもよいし、ガウシアンフィルタのような方向依存型ではないフィルタを掛けてもよい。
【0057】
また、本実施形態では、エッジ方向に沿って注目画素200に対して両側の隣接画素および両側の4画素離れた画素を用いて評価値Evaを算出しているが、エッジ方向に沿った片側の画素のみを用いて評価値Evaを算出してもよいし、より広範囲の画素を用いて評価値Evaを算出してもよい。また、隣接画素だけでなく2画素離れた位置の画素も用いて、相関値V1を算出してもよい。
【0058】
また、本実施形態においては、画像処理装置1をハードウェアによって構成した場合について説明したが、上述した画像処理方法の各ステップをコンピュータにより実行可能な画像処理プログラムにより、ソフトウェアとして構成してもよい。
【0059】
次に、本発明の第2実施形態に係る画像処理装置について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置は、評価値算出部131において第1実施形態に係る画像処理装置1と相違している。
【0060】
本実施形態に係る画像処理装置の評価値算出部131においては、高解像度合成部12から出力された高解像度合成画像のGrチャネルとGbチャネルを用いて評価値Evaを算出するようになっている。
図11Aおよび図11Bに示されるように、GrチャネルおよびGbチャネルにおいて、注目画素はGr44およびGb44である。
【0061】
特徴量算出部130において、注目画素位置のエッジ方向が垂直方向(図4Bのe3方向)であると判定されたものとして説明する。
GrチャネルおよびGbチャネルの注目画素Gr44,Gb44を中心とした9×9画素を処理単位として差分絶対値和(SAD)を算出するときに、注目画素位置の差分絶対値(|Gr44−Gb44|)の重みと、注目画素Gr44,Gb44から4画素離れた位置にある画素Gr04,Gr84,Gb04,Gb84の差分絶対値(|Gr04−Gb04|および|Gr84−Gb84|)の重みをその他の画素位置の差分絶対値の重みよりも大きくするようになっている。
【0062】
このようにする理由は、もとの8枚の画像に対して縦横2倍の画素数の高解像度画像を生成する場合の画素周期が4となるからである。画素周期が4となる理由は、第1実施形態で述べたのと同様で、特定の1枚の位置合わせに誤差が生じた場合に、誤差を含んだ画素が4画素周期で現れやすいからである。
【0063】
図12A図12B図13Aおよび図13Bに具体的な数値例で示す。
図12Aおよび図12Bは8枚の画像を位置ずれ量に基づいて高解像度画像空間上に配置し、空白画素の補間処理を施した後の高解像度合成画像のGrチャネルおよびGbチャネルであり、位置合わせ誤差を含むエッジ部の画像例を示している。
【0064】
GrチャネルとGbチャネルのギザギザの模様が2画素分ずれているのは、撮影画像がベイヤー画像であり、同じ座標位置でも各チャネルの撮影順番(画素値取得タイミング)が異なっているからである。
【0065】
この例において、注目画素300を中心とする9×9画素の領域301を用いて従来手法通りにSADを算出した結果が図13Aである。この図13Aでは、9×9画素のSADが計算できない画素位置は省略して示している。図13A中、位置合わせ誤差を含む画素300でのSADよりも位置合わせ誤差が無い画素302でのSADのほうが大きな値となっている。
【0066】
このため、画像補正部14でギザギザのアーティファクトが生じる可能性のある画素300に補正処理を施すためには、ギザギザのアーティファクトが生じない画素302についても補正処理を施す必要があり、解像度向上効果を低減させてしまう。
反対に、画素302に補正処理を施さないようにすると、画素300も補正処理が施されず合成画像でギザギザのアーティファクトが生じてしまう。このように解像度向上効果とアーティファクト抑制を両立できない。
【0067】
これに対して、本実施形態では、高解像度化倍率(この例では2倍)に応じて決まる画素(この例では4画素)分だけ離れた位置の画素の寄与度を大きくするので、図13Bに示すように、画素300におけるSADが他の画素よりも大きな値となり、ギザギザのアーティファクトが生じる可能性のある画素であることが容易に判定することができるという利点がある。
【0068】
なお、本数値では注目画素300と注目画素300から4画素離れた位置における重みを、その他の位置における重みの4倍として評価値Evaを算出しているが、重みの付け方はこれに限るものではない。
また、第1実施形態および第2実施形態では、センサシフト制御部103で撮像素子101をシフトして撮影した複数枚画像を用いて縦横2倍の高解像度画像を生成する例を示したが、高解像度化倍率は2倍に限るものではない。また、撮像素子101はRGBのベイヤーではなく、補色系であってもよい。
【0069】
このように、上記各実施形態に係る画像処理装置1、画像処理方法および画像処理プログラムによれば、注目画素がギザギザのアーティファクトになり得る画素であるか否かを判定するための位置合わせ誤差評価において、もとの低解像度画像を高解像度化するときの高解像度化倍率によって決められる画素周期に該当する画素であるか否かの情報に基づいて、評価値Evaを算出するため、アーティファクトになり得る画素だけを適切に判定し、補正処理を施すことができる。つまり、従来法では困難であった解像度向上効果とアーティファクト発生の抑制とを両立することができるという利点がある。
【符号の説明】
【0070】
1 画像処理装置
10 画像取得部
11 位置ずれ検出部
12 高解像度合成部
13 位置合わせ誤差評価部
14 画像補正部
100 撮像レンズ(光学系)
101 撮像素子
102 センサシフト機構
103 センサシフト制御部
130 特徴量算出部
131 評価値算出部
200,300 注目画素
Eva 評価値(誤差評価値)
V1 相関値(第1相関値)
V2 相関値(第2相関値)
S1 位置ずれ検出ステップ
S2 高解像度合成ステップ
S3 位置合わせ誤差評価ステップ
S4 画像補正ステップ
図1
図2A
図2B
図2C
図2D
図3
図4A
図4B
図5
図6A
図6B
図6C
図6D
図6E
図7
図8
図9
図10
図11A
図11B
図12A
図12B
図13A
図13B

【手続補正書】
【提出日】2018年12月7日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出部と、
該位置ずれ検出部により検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成部と、
該高解像度合成部により前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価部と、
該位置合わせ誤差評価部による評価結果に基づいて前記高解像度合成画像を補正する画像補正部とを備え
該画像補正部は、前記位置合わせ誤差評価部による評価結果に基づき前記高解像度合成画像に対してフィルタをかけて生成された高解像度補正画像と、前記高解像度合成画像とを、前記評価結果に基づく合成比率によって合成する画像処理装置。
【請求項2】
複数枚の前記低解像度画像を時系列に取得する画像取得部を備え、
該画像取得部が、被写体からの光を集光する光学系と、該光学系により集光された光を撮像して各前記低解像度画像を取得する撮像素子と、前記光学系と前記撮像素子との相対位置を光軸方向に交差する方向にシフトさせるセンサシフト機構と、該センサシフト機構によるシフト方向とシフト量を制御するセンサシフト制御部とを備える請求項1に記載の画像処理装置。
【請求項3】
前記位置ずれ検出部が、前記センサシフト制御部により制御されたシフト方向とシフト量に基づいて前記低解像度画像間の位置ずれ量を検出する請求項2に記載の画像処理装置。
【請求項4】
前記位置ずれ検出部が、前記基準画像および前記参照画像に基づいて前記低解像度画像間の位置ずれ量を算出する請求項1に記載の画像処理装置。
【請求項5】
前記高解像度合成部は、前記高解像度空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間する請求項1から請求項4のいずれかに記載の画像処理装置。
【請求項6】
前記位置合わせ誤差評価部が、前記高解像度合成画像の任意の注目画素を含む領域の特徴量を算出する特徴量算出部と、該特徴量算出部により算出された前記特徴量と前記高解像度合成画像とを用いて前記注目画素の誤差評価値を算出する評価値算出部とを備える請求項1から請求項5のいずれかに記載の画像処理装置。
【請求項7】
前記特徴量算出部が、前記高解像度合成画像における前記領域のエッジの方向情報を前記特徴量として算出する請求項6に記載の画像処理装置。
【請求項8】
前記評価値算出部は、前記注目画素を含む前記領域において、前記誤差評価値の演算の対象画素が高解像度化倍率によって決まる画素周期に該当する画素であるか否かの情報に基づいて前記誤差評価値を算出する請求項6または請求項7に記載の画像処理装置。
【請求項9】
前記評価値算出部は、前記高解像度化倍率がM(Mは自然数)のときに、前記注目画素から2M画素だけ離れた位置にある1以上の画素と前記注目画素との第1相関値と、それ以外の位置にある1以上の画素と前記注目画素との第2相関値とを用いて前記注目画素の位置における前記誤差評価値を算出する請求項8に記載の画像処理装置。
【請求項10】
前記評価値算出部は、前記高解像度化倍率がM(Mは自然数)のときに、前記注目画素および該注目画素から2M画素だけ離れた位置にある画素の寄与度を、それ以外の位置にある画素の寄与度よりも大きくして相関演算した結果を前記注目画素の位置における前記誤差評価値とする請求項8に記載の画像処理装置。
【請求項11】
時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、
該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、
該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとを含み、
該画像補正ステップにおいて、前記位置合わせ誤差評価ステップにおける評価結果に基づき前記高解像度合成画像に対してフィルタをかけて生成された高解像度補正画像と、前記高解像度合成画像とが、前記評価結果に基づく合成比率によって合成される画像処理方法。
【請求項12】
時系列に取得された基準画像および1以上の参照画像からなる複数枚の低解像度画像間の位置ずれ量を検出する位置ずれ検出ステップと、
該位置ずれ検出ステップにより検出された位置ずれ量に基づいて前記参照画像の画素情報を前記基準画像の位置に位置合わせして高解像度画像空間上で合成し高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより前記高解像度合成画像を生成する際に、前記参照画像を前記高解像度画像空間に位置合わせするときの高解像度化倍率に起因する位置合わせ誤差を評価する位置合わせ誤差評価ステップと、
該位置合わせ誤差評価ステップによる評価結果に基づいて前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させ
前記画像補正ステップにおいて、前記位置合わせ誤差評価ステップにおける評価結果に基づき前記高解像度合成画像に対してフィルタをかけて生成された高解像度補正画像と、前記高解像度合成画像とが、前記評価結果に基づく合成比率によって合成される画像処理プログラム。

【手続補正書】
【提出日】2019年4月23日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項5
【補正方法】変更
【補正の内容】
【請求項5】
前記高解像度合成部は、前記高解像度画像空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間する請求項1から請求項4のいずれかに記載の画像処理装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正の内容】
【0013】
また、上記態様においては、前記高解像度合成部は、前記高解像度画像空間上に配置された前記画素情報に基づいて、該画素情報が配置されてない画素を補間してもよい。
また、上記態様においては、前記位置合わせ誤差評価部が、前記高解像度合成画像の任意の注目画素を含む領域の特徴量を算出する特徴量算出部と、該特徴量算出部により算出された前記特徴量と前記高解像度合成画像とを用いて前記注目画素の誤差評価値を算出する評価値算出部とを備えていてもよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0030
【補正方法】変更
【補正の内容】
【0030】
図2Aには、8枚の低解像度画像のGrチャネルだけを高解像度画像空間上に配置した図を示しており、矢印の左側は画素情報が配置されていない画素(図中に密な斜線で示す画素)を含む高解像度画像空間、矢印の右側は、画素情報が配置されてない画素(図中に疎な斜線で示す画素)を補間して埋めた高解像度画像空間を示している。
【国際調査報告】