特許第6180728号(P6180728)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星テクウィン株式会社の特許一覧

特許6180728画像処理装置、画像処理方法、およびプログラム
<>
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000002
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000003
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000004
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000005
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000006
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000007
  • 特許6180728-画像処理装置、画像処理方法、およびプログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6180728
(24)【登録日】2017年7月28日
(45)【発行日】2017年8月16日
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
   H04N 9/04 20060101AFI20170807BHJP
   H04N 9/73 20060101ALI20170807BHJP
   G06T 1/00 20060101ALI20170807BHJP
   H04N 1/41 20060101ALI20170807BHJP
   H04N 1/46 20060101ALI20170807BHJP
【FI】
   H04N9/04 B
   H04N9/73 A
   G06T1/00 510
   H04N1/41 B
   H04N1/46 Z
【請求項の数】5
【全頁数】18
(21)【出願番号】特願2012-265772(P2012-265772)
(22)【出願日】2012年12月4日
(65)【公開番号】特開2014-110623(P2014-110623A)
(43)【公開日】2014年6月12日
【審査請求日】2015年10月7日
(73)【特許権者】
【識別番号】500548884
【氏名又は名称】ハンファテクウィン株式会社
【氏名又は名称原語表記】HANWHA TECHWIN CO.,LTD.
(74)【代理人】
【識別番号】110000981
【氏名又は名称】アイ・ピー・ディー国際特許業務法人
(72)【発明者】
【氏名】伊波 康
【審査官】 西谷 憲人
(56)【参考文献】
【文献】 特開2008−177872(JP,A)
【文献】 特開2004−328564(JP,A)
【文献】 特開2000−354250(JP,A)
【文献】 特開2010−183246(JP,A)
【文献】 特開2004−159170(JP,A)
【文献】 特開2005−109705(JP,A)
【文献】 米国特許出願公開第2012/0288192(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 9/04
G06T 1/00
H04N 1/41
H04N 1/46
H04N 9/73
(57)【特許請求の範囲】
【請求項1】
撮像により得られた未加工の画像であるRAW画像を示すRAWデータに基づいて、前記RAW画像に含まれる白とび領域に該当する領域を判定する判定部と、
判定された前記白とび領域に該当する領域に対応する前記RAWデータに対して、画像空間周波数の分布変換を選択的に行う変換部と、
を備え、
前記判定部は、設定されている基準画素の画素値と所定の閾値との比較結果、および、前記基準画素以外の画素それぞれの画素値と対応するホワイトバランス係数とを乗算した値と、前記所定の閾値との比較結果に基づいて、前記白とび領域に該当する領域を判定し、
前記変換部は、前記白とび領域に該当する領域において、前記基準画素以外の画素の輝度変化を小さくすることを特徴とする、画像処理装置。
【請求項2】
前記変換部は、前記白とび領域に該当する領域において、前記基準画素以外の画素の輝度変化をゼロにすることを特徴とする、請求項1に記載の画像処理装置。
【請求項3】
前記画像空間周波数の分布変換が選択的に行われたRAWデータに対して、画像圧縮処理を行う圧縮処理部をさらに備える、請求項1または2に記載の画像処理装置。
【請求項4】
撮像により得られた未加工の画像であるRAW画像を示すRAWデータに基づいて、前記RAW画像に含まれる白とび領域に該当する領域を判定するステップと、
判定された前記白とび領域に該当する領域に対応する前記RAWデータに対して、画像空間周波数の分布変換を選択的に行うステップと、
を有し、
前記判定するステップでは、設定されている基準画素の画素値と所定の閾値との比較結果、および、前記基準画素以外の画素それぞれの画素値と対応するホワイトバランス係数とを乗算した値と、前記所定の閾値との比較結果に基づいて、前記白とび領域に該当する領域が判定され、
前記画像空間周波数の分布変換を行うステップでは、前記白とび領域に該当する領域において、前記基準画素以外の画素の輝度変化を小さくすることを特徴とする、画像処理方法。
【請求項5】
撮像により得られた未加工の画像であるRAW画像を示すRAWデータに基づいて、前記RAW画像に含まれる白とび領域に該当する領域を判定する判定手段、
判定された前記白とび領域に該当する領域に対応する前記RAWデータに対して、画像空間周波数の分布変換を選択的に行う変換手段、
としてコンピュータを機能させ、
前記判定手段は、設定されている基準画素の画素値と所定の閾値との比較結果、および、前記基準画素以外の画素それぞれの画素値と対応するホワイトバランス係数とを乗算した値と、前記所定の閾値との比較結果に基づいて、前記白とび領域に該当する領域を判定し、
前記変換手段は、前記白とび領域に該当する領域において、前記基準画素以外の画素の輝度変化を小さくすることを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
RAWデータのゲインを調整することによってホワイトバランスを調整するホワイトバランス処理が、RAWデータに対する画像処理の一つとして行われている。RAWデータに対してホワイトバランス処理を行う技術としては、例えば特許文献1に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−155696号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、RAWデータ(撮像により得られた未加工の画像であるRAW画像を示すデータ。以下、同様とする。)に対する画像処理を、撮像を行った撮像装置に行わせるのではなく、RAWデータを記録媒体に記録させ、当該記録媒体に記憶されているRAWデータに対する画像処理を、PC(Personal Computer)などのコンピュータに行わせるユーザが、増加している
【0005】
ここで、RAWデータは、例えば、ホワイトバランス処理やコントラスト調整処理、ノイズ除去処理などの画像処理前の未加工のデータであることから、一般的にサイズが大きい。そのため、RAWデータをより効率よく圧縮して、RAWデータのサイズをより小さくすることができれば、例えば記録媒体へと記録可能な画像数(RAWデータが示す画像の数)を増やすことが可能となる。よって、例えば、RAWデータをより効率よく圧縮することによって、ユーザの利便性の向上を図ることができる。
【0006】
また、撮像装置においてRAWデータに対して画像処理を行う場合においても、撮像素子から得られたRAWデータを、SDRAM(Synchronous Dynamic Random Access Memory)などのメモリに転送して記録した後に、当該メモリに記憶されたRAWデータに対して画像処理を行うことは、一般的に行われている。
【0007】
上記のように、撮像装置においてRAWデータに対して画像処理を行う場合においても、RAWデータをより効率よく圧縮して、RAWデータのサイズをより小さくすることによって、データ転送により発生する消費電力を抑えることが可能となる。よって、例えば撮像装置がバッテリなどの内部電源によって駆動する場合には、RAWデータのサイズをより小さくすることによって、撮像装置の駆動時間をより長くすることができる。
【0008】
よって、RAWデータをより効率よく圧縮することは、ユーザの利便性の向上を図る上で、また、データ転送に係る消費電力を低減する上で、重要である。
【0009】
ここで、例えば特許文献1に記載の技術では、RAWデータに対してホワイトバランス処理を行い、その後、ホワイトバランス処理後の画像を圧縮している。しかしながら、例えば特許文献1に記載の技術では、RAWデータをより効率よく圧縮することについては、何らの考慮もなされていない。よって、例えば特許文献1に記載の技術を用いたとしても、非効率な圧縮となる恐れがある。
【0010】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、RAWデータをより効率よく圧縮させることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の第1の観点によれば、撮像により得られた未加工の画像であるRAW画像を示すRAWデータに基づいて、上記RAW画像に含まれる白とび領域に該当する領域を判定する判定部と、判定された上記白とび領域に該当する領域に対応する上記RAWデータに対して、画像空間周波数の分布変換を選択的に行う変換部と、を備え、上記変換部は、上記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、画像処理装置が提供される。
【0012】
かかる構成によって、RAWデータにおける不要な情報を低減することが可能となるので、RAWデータをより効率よく圧縮させることができる。
【0013】
また、上記変換部は、上記白とび領域に該当する領域において、上記基準画素以外の画素の輝度変化をゼロにしてもよい。
【0014】
また、上記判定部は、上記基準画素の画素値と所定の閾値との比較結果、および、上記基準画素以外の画素それぞれの画素値と対応するホワイトバランス係数とを乗算した値と、上記所定の閾値との比較結果に基づいて、上記白とび領域に該当する領域を判定してもよい。
【0015】
また、上記画像空間周波数の分布変換が選択的に行われたRAWデータに対して、画像圧縮処理を行う圧縮処理部をさらに備えていてもよい。
【0016】
また、上記目的を達成するために、本発明の第2の観点によれば、撮像により得られた未加工の画像であるRAW画像を示すRAWデータに基づいて、上記RAW画像に含まれる白とび領域に該当する領域を判定するステップと、判定された上記白とび領域に該当する領域に対応する上記RAWデータに対して、画像空間周波数の分布変換を選択的に行うステップと、を有し、上記画像空間周波数の分布変換を行うステップでは、上記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、画像処理方法が提供される。
【0017】
かかる方法を用いることによって、RAWデータにおける不要な情報を低減することが可能となるので、RAWデータをより効率よく圧縮させることができる。
【0018】
また、上記目的を達成するために、本発明の第3の観点によれば、撮像により得られた未加工の画像であるRAW画像を示すRAWデータに基づいて、上記RAW画像に含まれる白とび領域に該当する領域を判定する判定手段、判定された上記白とび領域に該当する領域に対応する上記RAWデータに対して、画像空間周波数の分布変換を選択的に行う変換手段、としてコンピュータを機能させ、上記変換手段は、上記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、プログラムが提供される。
【0019】
かかるプログラムが用いられることによって、RAWデータにおける不要な情報を低減することが可能となるので、RAWデータをより効率よく圧縮させることができる。
【発明の効果】
【0020】
本発明によれば、RAWデータをより効率よく圧縮させることができる。
【図面の簡単な説明】
【0021】
図1】RAWデータに対する既存の画像圧縮における問題の一例を説明するための説明図である。
図2】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
図3】本発明の実施形態に係る判定部の構成の一例を示すブロック図である。
図4】本発明の実施形態に係る変換部の構成の一例を示すブロック図である。
図5】本発明の実施形態に係る画像処理装置が備える変換処理部の処理の一例を説明するための説明図である。
図6】本発明の実施形態に係る画像処理装置における処理の一例を示す流れ図である。
図7】本発明の実施形態に係る画像空間周波数の分布変換が選択的に行われたRAWデータに対する画像圧縮処理の結果の一例を説明するための説明図である。
【発明を実施するための形態】
【0022】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0023】
また、以下では、RAWデータが、ベイヤ配列の撮像素子やカラーフィルタにより得られる、R(Red)画素、G(Green)画素、B(Blue)画素を含む画像データである場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理方法が適用可能なRAWデータは、ベイヤ配列の撮像素子などにより得られた画像データに限られない。例えば、本発明の実施形態に係る画像処理方法は、“RGB+W”や、“RGB+IR”、“RGB+S”など様々な画像データに適用することが可能である。
【0024】
[1]既存の画像圧縮における問題
本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する前に、まず、RAWデータに対する既存の画像圧縮における問題の一例について説明する。
【0025】
図1は、RAWデータに対する既存の画像圧縮における問題の一例を説明するための説明図である。図1に示すAは、ホワイトバランス処理が行われる前のRAWデータの画素値の一例を示しており、図1に示すBは、ホワイトバランス処理が行われた後のRAWデータの画素値の一例を示している。ここで、図1において横軸は光源の強さのレベル(1<2<3<4<5)を示しており、縦軸は画素値を示している。また、図1では、RAWデータが、グレー(1:より黒に近いグレー、…、5:より白に近いグレー)を示す画像である例を示している。また、図1に示す飽和値とは、RAWデータのビット数の上限値(例えば、8ビットであれば、256)を示している。
【0026】
例えば、図1のAに示すように、RAWデータがグレーを示す画像である場合には、画素値は、“G>R>B”となる特性を有する。上記特性を鑑みて、R画素/G画素/B画素がそれぞれ同じ値となるように、ゲイン係数を乗算する処理が行われることによって、例えば図1のBに示すように、ホワイトバランス処理が実現される。
【0027】
撮像素子は、表現可能なレンジが決まっており、ホワイトバランス処理のRAWデータは、例えば図1のAに示す“3”、“4”、“5”に示すように、被写体の輝度がある一定より大きくなると、G画素から飽和する。
【0028】
ホワイトバランス処理が行われると、例えば、R画素/G画素/B画素それぞれに、ホワイトバランスを調整するためのゲイン係数(以下、「ホワイトバランス係数」と示す場合がある。)が乗算される。その結果、例えば図1のBに示す“3”、“4”、“5”に示すように、R画素/G画素/B画素がそれぞれ飽和する。ここで、例えば図1のBに示す“3”、“4”、“5”に示すように、ホワイトバランス処理後に、R画素/G画素/B画素が飽和している領域は、「白とび領域」とよばれる。
【0029】
一般的に、ユーザが鑑賞する画像は、ホワイトバランス処理を含む画像処理後の画像データが示す画像であるため、RAWデータにおける“白とび領域に該当する領域”(ホワイトバランス処理後に、白とび領域となる領域。以下、同様とする。)中の、R画素/B画素の輝度差(画像空間周波数成分)は、不要な情報(データ)であるといえる。
【0030】
しかしながら、既存の技術に係るRAWデータに対する画像圧縮処理は、上記不要な情報を含めて圧縮を行う。よって、既存の技術に係るRAWデータに対する画像圧縮処理は、非効率な圧縮であるといえる。
【0031】
[2]本発明の実施形態に係る画像処理装置
そこで、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、RAWデータに基づいて、RAW画像に含まれる白とび領域に該当する領域を判定する(判定処理)。本発明の実施形態に係る判定処理の一例については、後述する。
【0032】
また、本発明の実施形態に係る画像処理装置は、上記判定処理において判定された白とび領域に該当する領域に対応するRAWデータに対して、画像空間周波数の分布変換を選択的に行う(変換処理)。より具体的には、本発明の実施形態に係る画像処理装置は、例えば、白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする。
【0033】
ここで、本発明の実施形態に係る基準画素としては、例えば、被写体の輝度がある一定より大きくなると最初に飽和する色の画素が挙げられる。例えば図1に示す例では、設定される本発明の実施形態に係る基準画素としては、G画素が挙げられる。なお、本発明の実施形態に係る基準画素は、G画素に限られない。例えば、光源の種類によっては、R画素や、B画素が、設定される本発明の実施形態に係る基準画素となりうる。ここで、本発明の実施形態に係る基準画素は、例えば、予め設定されていてもよいし、ユーザ操作や光源の検出結果などに基づいて、設定(再設定)されてもよい。
【0034】
上記のように、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、判定処理および変換処理を行う。ここで、本発明の実施形態に係る画像処理装置は、変換処理において、白とび領域に該当する領域における基準画素以外の画素の輝度変化(情報)を小さくする。よって、本発明の実施形態に係る画像処理装置において変換処理が行われたRAWデータに対して画像圧縮処理を行う場合には、RAWデータにおける上記不要な情報が低減されたRAWデータに対して圧縮を行うことが可能である。
【0035】
したがって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理(判定処理および変換処理)を行うことによって、RAWデータをより効率よく圧縮させることができる。
【0036】
なお、本発明の実施形態に係るRAWデータに対する画像圧縮処理は、例えば、本発明の実施形態に係る画像処理装置において行われてもよいし、画像圧縮処理を行うことが可能な外部装置において行われてもよい。
【0037】
以下、本発明の実施形態に係る画像処理装置の構成の一例を説明しつつ、本発明の実施形態に係る画像処理方法に係る処理(判定処理および変換処理)について、より具体的に説明する。
【0038】
以下では、G画素が基準画素であり、R画素およびB画素が、基準画素以外の画素である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例について説明する。なお、上述したように、本発明の実施形態に係る基準画素は、G画素に限られない。
【0039】
図2は、本発明の実施形態に係る画像処理装置100の構成の一例を示すブロック図である。画像処理装置100は、例えば、判定部102と、変換部104とを備える。
【0040】
ここで、図2では、画像処理装置100が処理するRAWデータ、すなわち、本発明の実施形態に係る画像処理方法に係る処理が行われる前のRAWデータを「入力RAWデータ」と示している。また、図2では、画像処理装置100が処理したRAWデータ、すなわち、本発明の実施形態に係る画像処理方法に係る処理が行われた後のRAWデータを「出力RAWデータ」と示している。
【0041】
本発明の実施形態に係る入力RAWデータとしては、例えば、撮像部(後述する)や外部撮像デバイスから撮像に応じて伝達されるRAWデータが挙げられる。なお、本発明の実施形態に係る入力RAWデータは、上記に限られない。例えば、本発明の実施形態に係る入力RAWデータは、記憶部(後述する)や、ネットワークを介して(あるいは、直接的に)接続された外部装置が備える外部記録媒体などの記録媒体から読み出された、当該記録媒体に記憶されているRAWデータであってもよい。
【0042】
また、画像処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)、外部装置と通信を行うための通信部(図示せず)、撮像部(図示せず)などを備えていてもよい。画像処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【0043】
ここで、制御部(図示せず)は、例えば、CPU(Central Processing Unit)や各種処理回路などで構成され、画像処理装置100全体を制御する。また、制御部(図示せず)は、例えば、判定部102および変換部104(または、いずれか一方)の役目を果たしてもよい。なお、判定部102および変換部104は、各部の処理を実現可能な専用の(または汎用の)処理回路で構成されていてもよいことは、言うまでもない。
【0044】
また、制御部(図示せず)は、例えば、出力RAWデータを記憶部(図示せず)に記録する処理や、後述する圧縮処理部に係る処理など、出力RAWデータに対する処理を行う役目を果たしてもよい。
【0045】
ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
【0046】
記憶部(図示せず)は、画像処理装置100が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、画像処理装置100から着脱可能であってもよい。
【0047】
操作部(図示せず)としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置100は、例えば、画像処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することも可能である。
【0048】
表示部(図示せず)としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence display)などが挙げられる。なお、表示部(図示せず)は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置100は、表示部(図示せず)の有無に関わらず、画像処理装置100の外部装置としての表示デバイス(例えば、外部ディスプレイなど)と接続することもできる。
【0049】
通信部(図示せず)は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部装置と無線/有線で通信を行う。ここで、通信部(図示せず)としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN;Wireless Local Area Network)や基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
【0050】
撮像部(図示せず)は、例えば静止画像を撮像する役目を果たす。撮像部(図示せず)を備える場合には、画像処理装置100は、例えば、撮像部(図示せず)における撮像により生成されたRAWデータを処理することが可能である。
【0051】
ここで、本発明の実施形態に係る撮像部(図示せず)としては、例えば、レンズ/撮像素子が挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。
【0052】
判定部102は、本発明の実施形態に係る判定処理を行う役目を果たし、入力RAWデータに基づいて、RAW画像に含まれる白とび領域に該当する領域を判定する。
【0053】
図3は、本発明の実施形態に係る判定部102の構成の一例を示すブロック図である。判定部102は、例えば、画素判定部110A、110B、110Cと、白とび領域判定部112とを備える。
【0054】
画素判定部110Aには、RAWデータにおけるR画素に対応する画素値(以下、「R−Pixel」または「画素値R−Pixel」と示す場合がある。)と、R画素に対応するホワイトバランス係数(以下、「WB−RGain」、または「ホワイトバランス係数WB−RGain」と示す場合がある。)とが入力される。ここで、ホワイトバランス係数WB−RGainは、例えば、制御部(図示せず)や検波回路において、RAWデータを検波した結果に基づいて決定される。
【0055】
画素判定部110Aは、画素値R−Pixel(基準画素以外の画素の画素値)およびホワイトバランス係数WB−RGain(対応するホワイトバランス係数)を乗算した値と、所定の閾値Full−Rangeとを比較する。
【0056】
ここで、本発明の実施形態に係る所定の閾値Full−Rangeは、例えば、予め設定された固定値であってもよいし、ユーザ操作などによって変更可能な可変値であってもよい。具体例を挙げると、所定の閾値Full−Rangeとしては、例えば、表現可能な最大値(例えば、12bit表現では“4095”、10bit表現では“1023”)が挙げられる。
【0057】
また、画素判定部110Aは、例えば、比較結果を示すデータを、白とび領域判定部112に伝達する。ここで、本発明の実施形態に係る比較結果を示すデータとしては、例えば、上記乗算した値が所定の閾値Full−Rangeより大きいか否か(または、上記乗算した値が所定の閾値Full−Range以上であるか否か。以下、同様とする。)を示すフラグR−Pixel_Full_flagが挙げられる。なお、本発明の実施形態に係る比較結果を示すデータが、フラグに限られないことは言うまでもない。
【0058】
画素判定部110Bには、RAWデータにおけるB画素に対応する画素値(以下、「B−Pixel」または「画素値B−Pixel」と示す場合がある。)と、B画素に対応するホワイトバランス係数(以下、「WB−BGain」、または「ホワイトバランス係数WB−BGain」と示す場合がある。)とが入力される。ここで、ホワイトバランス係数WB−BGainは、例えば、制御部(図示せず)や検波回路において、RAWデータを検波した結果に基づいて決定される。
【0059】
画素判定部110Bは、画素判定部110Aと同様に、画素値B−Pixel(基準画素以外の画素の画素値)およびホワイトバランス係数WB−BGain(対応するホワイトバランス係数)を乗算した値と、所定の閾値Full−Bangeとを比較する。
【0060】
また、画素判定部110Bは、例えば画素判定部110Aと同様に、比較結果を示すデータを、白とび領域判定部112に伝達する。ここで、本発明の実施形態に係る比較結果を示すデータとしては、例えば、上記乗算した値が所定の閾値Full−Rangeより大きいか否かを示すフラグB−Pixel_Full_flagが挙げられる。なお、本発明の実施形態に係る比較結果を示すデータが、フラグに限られないことは言うまでもない。
【0061】
画素判定部110Cには、RAWデータにおけるG画素に対応する画素値(以下、「G−Pixel」または「画素値G−Pixel」と示す場合がある。)が入力される。
【0062】
画素判定部110Cは、画素値G−Pixel(基準画素の画素値)と、所定の閾値Full−Rangeとを比較する。そして、画素判定部110Cは、例えば画素判定部110Aと同様に、比較結果を示すデータを、白とび領域判定部112に伝達する。ここで、本発明の実施形態に係る比較結果を示すデータとしては、例えば、画素値G−Pixelが所定の閾値Full−Rangeより大きいか否かを示すフラグG−Pixel_Full_flagが挙げられる。なお、本発明の実施形態に係る比較結果を示すデータが、フラグに限られないことは言うまでもない。
【0063】
白とび領域判定部112は、画素判定部110A、110B、110Cそれぞれから伝達される比較結果を示すデータに基づいて、RAW画像に含まれる白とび領域に該当する領域を判定する。
【0064】
より具体的には、白とび領域判定部112は、例えば、フラグR−Pixel_F、フラグB−Pixel_F、フラグG−Pixel_Fが、全て、所定の閾値Full−Rangeより大きいことを示す場合に、これらのフラグに対応する画素が、白とび領域に該当する領域に含まれる画素であると判定する。
【0065】
なお、白とび領域判定部112における処理は、上記に限られない。例えば、白とび領域判定部112は、下記の条件式を満たす場合に、白とび領域に該当する領域に含まれる画素であると判定することも可能である。
条件式:
(G−Pixel==Full−Range)&&
(R−Pixel*WB−RGain>Full−Range)&&
(B−Pixel*WB−BGain>Full−Range)
【0066】
判定を行うと、白とび領域判定部112は、白とび領域に該当する領域の判定結果を示すデータを、変換部104へ伝達する。ここで、本発明の実施形態に係る判定結果を示すデータとしては、例えば、白とび領域に該当する領域であるか否かを示すフラグFull_flagが挙げられる。なお、本発明の実施形態に係る判定結果を示すデータが、フラグに限られないことは言うまでもない。
【0067】
判定部102は、例えば、画素判定部110A、110B、110Cと、白とび領域判定部112とを備えることによって、入力RAWデータに基づいて、白とび領域に該当する領域を判定する。そして、判定部102は、フラグFull_flag(判定結果を示すデータの一例。以下、同様とする。)を変換部104へ伝達する。
【0068】
再度図2を参照して、画像処理装置100の構成の一例について説明する。変換部104は、本発明の実施形態に係る変換処理を行う役目を果たし、伝達されるフラグFull_flagに基づいて、白とび領域に該当する領域に対応するRAWデータに対して、画像空間周波数の分布変換を選択的に行う。より具体的には、変換部104は、例えば、白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする。
【0069】
図4は、本発明の実施形態に係る変換部104の構成の一例を示すブロック図である。変換部104は、例えば、変換処理部114A、114B、114Cを備える。
【0070】
変換処理部114Aは、伝達されるフラグFull_flagに基づいて、選択的に画素値R−Pixelに対して画像空間周波数の分布変換を行う。そして、変換処理部114Aは、選択的に画像空間周波数の分布変換が行われた画素値Routを出力する。
【0071】
より具体的には、変換処理部114Aは、フラグFull_flagが白とび領域に該当する領域であることを示す場合に、画像空間周波数の分布変換を行い、フラグFull_flagが白とび領域に該当する領域であることを示さない場合には、画像空間周波数の分布変換を行わない。図4の例では、フラグFull_flagが“1”を示す場合に、フラグFull_flagが白とび領域に該当する領域であることを示す例を示している。
【0072】
ここで、“白とび領域”から“非白とび領域”へ状態が変わるときに、最も輝度変化が少なくなる値となる。よって、変換処理部114Aは、例えば、下記の数式1に示す演算を行うことによって、画素値R−Pixel(基準画素以外の画素の画素値)の輝度変化をゼロにする。
【0073】
Rout=(Full_Range/WB−RGain)
・・・(数式1)
【0074】
図5は、本発明の実施形態に係る画像処理装置100が備える変換処理部114Aの処理の一例を説明するための説明図である。図5に示すAは、変換処理部114Aが処理する前の画素値R−Pixelの一例を示しており、図5に示すBは、変換処理部114Aが処理した後の画素値Routの一例を示している。
【0075】
例えば図5のBに示すように、変換処理部114Aは、例えば、白とび領域に該当する領域と判定された画素値を、同一の値へと変換する。つまり、変換処理部114Aは、例えば、白とび領域に該当する領域における不要な輝度変化(情報)を消去する。
【0076】
したがって、変換処理部114Aが、例えば、下記の数式1に示す演算を行うことによって、入力RAWデータにおける上記不要な情報を低減することができる。
【0077】
なお、変換処理部114Aにおける処理は、上記数式1に示す演算を行う処理に限られない。変換処理部114Aは、画素値R−Pixel(基準画素以外の画素の画素値)の輝度変化を小さくすることが可能な、任意の演算を行うことが可能である。
【0078】
再度図4を参照して、本発明の実施形態に係る変換部104の構成の一例について説明する。変換処理部114Bは、伝達されるフラグFull_flagに基づいて、選択的に画素値B−Pixelに対して画像空間周波数の分布変換を行う。そして、変換処理部114Bは、選択的に画像空間周波数の分布変換が行われた画素値Boutを出力する。
【0079】
より具体的には、変換処理部114Bは、変換処理部114Aと同様に、フラグFull_flagが白とび領域に該当する領域であることを示す場合に、画像空間周波数の分布変換を行い、フラグFull_flagが白とび領域に該当する領域であることを示さない場合には、画像空間周波数の分布変換を行わない。
【0080】
ここで、“白とび領域”から“非白とび領域”へ状態が変わるときに、最も輝度変化が少なくなる値となる。よって、変換処理部114Bは、例えば、下記の数式2に示す演算を行うことによって、画素値B−Pixel(基準画素以外の画素の画素値)の輝度変化をゼロにする。
【0081】
Bout=(Full_Range/WB−BGain)
・・・(数式2)
【0082】
なお、変換処理部114Bにおける処理は、上記数式2に示す演算を行う処理に限られない。変換処理部114Bは、画素値B−Pixel(基準画素以外の画素の画素値)の輝度変化を小さくすることが可能な、任意の演算を行うことが可能である。
【0083】
変換処理部114Cは、伝達されるフラグFull_flagによらず、画素値G−Pixel(基準画素の画素値)を画素値Goutとして出力する。
【0084】
変換部104は、例えば、変換処理部114A、114B、114Cを備えることによって、伝達されるフラグFull_flagに基づいて、白とび領域に該当する領域に対応するRAWデータに対して、画像空間周波数の分布変換を選択的に行う。
【0085】
ここで、図5を参照して示したように、変換部104は、例えば、基準画素以外の画素において、白とび領域に該当する領域と判定された画素値を、同一の値へと変換する(輝度変化をゼロにする場合)。つまり、変換部104は、例えば、基準画素以外の画素において、白とび領域に該当する領域における不要な輝度変化を消去する(輝度変化をゼロにする場合)。なお、変換部104における処理は、上記に限られず、変換部104は、例えば、基準画素以外の画素において、白とび領域に該当する領域における不要な輝度変化を小さくしてもよい。
【0086】
よって、変換部104が、本発明の実施形態に係る変換処理を行うことによって、入力RAWデータにおける上記不要な情報を低減することができる。したがって、変換部104が、本発明の実施形態に係る変換処理を行うことによって、RAWデータをより効率よく圧縮させることが可能となる。
【0087】
画像処理装置100は、例えば図2に示すように、判定部102と変換部104とを備えることによって、白とび領域に該当する領域を判定し、判定された白とび領域に該当する領域に対応するRAWデータに対して、選択的に画像空間周波数の分布変換を行う。
【0088】
ここで、画像処理装置100における処理の一例を示す。
【0089】
図6は、本発明の実施形態に係る画像処理装置100における処理の一例を示す流れ図である。ここで、例えば、図6に示すステップS102、S104の処理が、判定部102における処理に該当し、また、図6に示すステップS106、S108の処理が、変換部104における処理に該当する。また、図6は、G画素が基準画素であり、R画素およびB画素が、基準画素以外の画素である場合における処理の一例を示している。
【0090】
画像処理装置100は、入力RAWデータが入力されたか否かを判定する(S100)。ステップS100において入力RAWデータが入力されたと判定されない場合には、画像処理装置100は、処理を進めない。
【0091】
また、ステップS100において入力RAWデータが入力されたと判定された場合には、画像処理装置100は、画素値R−Pixelおよび画素値B−Pixelそれぞれに対して、対応するホワイトバランス係数(WB−RGain、WB−BGain)を乗算する(S102)。ここで、ステップS102の処理は、白とび領域に該当する領域を判定するために用いる画素値を生成する処理に該当する。
【0092】
画像処理装置100は、画素値G−Pixelと、ステップS102において生成した画素値と、所定の閾値Full−Rangeとを用いて、白とび領域に該当する領域を判定する(S104)。
【0093】
ここで、画像処理装置100は、ステップS104において、例えば下記の条件式を満たす場合に、白とび領域に該当する領域であると判定する。
条件式:
(G−Pixel==Full−Range)&&
(R−Pixel*WB−RGain>Full−Range)&&
(B−Pixel*WB−BGain>Full−Range)
【0094】
なお、ステップS104における処理は、上記条件式を用いる処理に限られない。例えば、画像処理装置100は、上述したように、フラグR−Pixel_F、フラグB−Pixel_F、フラグG−Pixel_Fを用いて、白とび領域に該当する領域であるか否かを判定してもよい。
【0095】
ステップS104において白とび領域に該当する領域であると判定された場合には、画像処理装置100は、画像空間周波数の分布変換を行う(S106)。画像処理装置100は、例えば、上記数式1および上記数式2に示す演算を行うことによって、画像空間周波数の分布変換を行う。
【0096】
また、ステップS104において白とび領域に該当する領域であると判定されない場合には、画像処理装置100は、画像空間周波数の分布変換を行わない(S108)。
【0097】
ステップS106の処理またはステップS108の処理が行われると、画像処理装置100は、出力RAWデータ(画像空間周波数の分布変換が選択的に行われたRAWデータ)を出力する(S110)。
【0098】
ここで、画像処理装置100は、例えば、RAWデータを記憶することが可能な記録媒体に対して、出力RAWデータを出力してもよいし、RAWデータに対して画像圧縮処理を行うことが可能な圧縮処理部(後述する)や外部装置に対して、出力RAWデータを出力してもよい。
【0099】
画像処理装置100は、例えば、判定部102と変換部104とを備え、図6に示す処理を行うことによって、白とび領域に該当する領域を判定し、判定された白とび領域に該当する領域に対応するRAWデータに対して、選択的に画像空間周波数の分布変換を行う。
【0100】
ここで、上述したように、画像処理装置100は、例えば、基準画素以外の画素において、白とび領域に該当する領域における不要な輝度変化(情報)を、消去、または小さくする。
【0101】
したがって、画像処理装置100は、入力RAWデータにおける上記不要な情報を低減することが可能であるので、RAWデータをより効率よく圧縮させることができる。
【0102】
図7は、本発明の実施形態に係る画像空間周波数の分布変換が選択的に行われたRAWデータに対する画像圧縮処理の結果の一例を説明するための説明図である。
【0103】
ここで、図7に示すAは、出力RAWデータ(画像空間周波数の分布変換が選択的に行われたRAWデータ)に対して画像圧縮処理が行われた結果得られる、圧縮後の画像のデータサイズの一例を示している。また、図7に示すBは、図7のAに対する比較例を示している。具体的には、図7に示すBは、画像空間周波数の分布変換が行われていないRAWデータ(すなわち、入力RAWデータに該当するRAWデータ)に対して画像圧縮処理が行われた結果得られる、既存の技術に係る圧縮後の画像のデータサイズの一例を示している。
【0104】
また、図7は、白とび領域に該当する領域におけるR画素の画素値、または、白とび領域に該当する領域におけるB画素の画素値を示している。
【0105】
また、図7は、隣接画素との差分値を算出し、ハフマン符号により符号化することによって出力RAWデータが圧縮される場合における、圧縮後の画像のデータサイズの一例を示している。
【0106】
既存の技術では、白とび領域であるか否かによらずに、差分値を算出して符号化が行われる。よって、図7のBに示すように、既存の技術を用いる場合の符号化後のデータサイズは、46bitである。
【0107】
これに対して、本発明の実施形態に係る出力RAWデータは、変換部104において画像空間周波数の分布変換が選択的に行われたRAWデータである。ここで、変換部104は、上述したように、判定された白とび領域に該当する領域において、基準画素以外の画素の輝度変化を小さくするので、変換部104から伝達される出力RAWデータでは、白とび領域に該当する領域における差分値がより小さくなる。例えば、変換部104が、判定された白とび領域に該当する領域において、基準画素以外の画素の輝度変化をゼロとした場合には、例えば図7のAに示すように、白とび領域に該当する領域における差分値はゼロとなる。
【0108】
よって、図7のAに示すように、出力RAWデータ(画像空間周波数の分布変換が選択的に行われたRAWデータ)に対して画像圧縮処理が行われた結果得られる、符号化後のデータサイズは、例えば8bitとなる。
【0109】
図7のAに示す符号化後のデータサイズと、図7のBに示す符号化後のデータサイズとを比較すれば明らかなように、出力RAWデータ(画像空間周波数の分布変換が選択的に行われたRAWデータ)に対して画像圧縮処理が行われることによって、RAWデータの圧縮効率をより向上させることができる。つまり、出力RAWデータ(画像空間周波数の分布変換が選択的に行われたRAWデータ)に対して画像圧縮処理が行われることによって、圧縮後の画像データのサイズをより小さくすることができる。
【0110】
よって、例えば図7に示すように、画像処理装置100が、本発明の実施形態に係る画像処理方法に係る処理(判定処理および変換処理)を行うことによって、RAWデータをより効率よく圧縮させることができることが分かる。
【0111】
また、画像処理装置100が、本発明の実施形態に係る画像処理方法に係る処理(判定処理および変換処理)を行うことによって、RAWデータをより効率よく圧縮させることが可能となるので、例えば、記録媒体へと記録可能な画像数(RAWデータが示す画像の数)を増やすことが可能となる。よって、画像処理装置100が、本発明の実施形態に係る画像処理方法に係る処理(判定処理および変換処理)を行うことによって、ユーザの利便性の向上を図ることができる。
【0112】
また、画像処理装置100が、本発明の実施形態に係る画像処理方法に係る処理(判定処理および変換処理)を行うことによって、RAWデータをより効率よく圧縮させることが可能となるので、例えば、RAWデータのデータ転送により発生する消費電力を抑えることができ、また、RAWデータのデータ転送に要する帯域を低減することができる。
【0113】
なお、本発明の実施形態に係る画像処理装置の構成は、図2に示す構成に限られない。
【0114】
例えば、本発明の実施形態に係る画像処理装置は、変換部104において画像空間周波数の分布変換が選択的に行われたRAWデータ(出力RAWデータ)に対して、画像圧縮処理を行う圧縮処理部(図示せず)をさらに備えていてもよい。
【0115】
圧縮処理部(図示せず)は、例えば、隣接画素との差分値を算出し、ハフマン符号により符号化することによって、出力RAWデータが示す画像を圧縮する。ここで、上記符号化とは、出現確率の高い情報を短い符号長とし、出現確率の低い情報に対して長い符号長へ変換する処理である。自然画像の場合は、隣接画素の差分値は小さくなるという特徴があるので、差分値“0”を最小の符号長2bitに変換する。また、差分値が大きくなると(出現確率が小さくなると)、変換する符号長は長くなる。
【0116】
なお、圧縮処理部(図示せず)における画像圧縮処理は、ハフマン符号により符号化する処理に限られない。圧縮処理部(図示せず)は、例えば、画像を圧縮することが可能な任意の符号化方式を用いて出力RAWデータが示す画像を圧縮することが可能である。
【0117】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、PCやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、RAWデータを処理することが可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理IC(Integrated Circuit)に適用することもできる。
【0118】
(本発明の実施形態に係るプログラム)
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(例えば、コンピュータを、判定部、変換部として機能させることが可能なプログラム)が、コンピュータにおいて実行されることによって、RAWデータをより効率よく圧縮させることができる。
【0119】
また、コンピュータを、さらに圧縮処理部(図示せず)として機能させることが可能なプログラムが、コンピュータにおいて実行されることによって、RAWデータをより効率よく圧縮して、圧縮後の画像データのサイズをより小さくすることができる。
【0120】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0121】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【0122】
100 画像処理装置
102 判定部
104 変換部
110A、110B、110C 画素判定部
112 白とび領域判定部
114A、114B、114C 変換処理部
図1
図2
図3
図4
図5
図6
図7