特開 2024-130445 画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130445

(43)【公開日】2024-09-30

(54)【発明の名称】画像処理装置、及び画像処理方法

(51)【国際特許分類】

   H04N 25/10 20230101AFI20240920BHJP

   G06T 3/4015 20240101ALI20240920BHJP

   H04N 23/12 20230101ALI20240920BHJP

【ＦＩ】

H04N25/10

G06T3/40 705

H04N23/12

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023040171

(22)【出願日】2023-03-14

(71)【出願人】

【識別番号】320012037

【氏名又は名称】ラピステクノロジー株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】西谷 直輝

(72)【発明者】

【氏名】今任 祐基

【テーマコード（参考）】

5B057

5C065

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE03

5B057CE05

5B057CE17

5B057CE18

5B057CH07

5C065BB48

5C065CC01

5C065DD01

5C065GG13

(57)【要約】

【課題】画素値の分散を算出することなく、単板式イメージセンサに対するデモザイク処理を行う。
【解決手段】画像処理装置１は、単板式イメージセンサによって撮影された画像における第１範囲内の複数の画素から１画素分の輝度値Ｙ及び色差値Ｃｂ、Ｃｒを算出することによって輝度画像３及び色差画像４を生成し、輝度画像３から選択した輝度画素を含む第２範囲内の複数の輝度画素の輝度値Ｙから、選択した輝度画素と他の輝度画素との相関を表す両端輝度相関係数Ｘを算出すると共に、両端輝度相関係数Ｘから第２範囲内の各々の輝度画素における重み付け係数Ｗを算出し、輝度画像３から算出された重み付け係数Ｗを用いて色差画像４の色差値Ｃｂ、Ｃｒを補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成する画像生成部と、
前記画像生成部によって生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出する係数算出部と、
前記係数算出部によって算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する補正部と、
を備えた画像処理装置。

【請求項2】

前記係数算出部は、前記選択輝度画素に隣接する各々の輝度画素を含む範囲を前記第２範囲に設定して前記輝度相関係数及び前記重み付け係数を算出する
請求項１に記載の画像処理装置。

【請求項3】

前記輝度相関係数は０以上１以下に正規化された係数であって、０以上１以下の範囲に設定した予め定めた個数の値のうちの何れかの値を取る係数であり、
前記係数算出部は、０．５以上１以下の範囲に含まれる予め定めた閾値以下の前記輝度相関係数が対応付けられた輝度画素における前記重み付け係数を０とする
請求項２に記載の画像処理装置。

【請求項4】

前記係数算出部は、正規化前の前記輝度相関係数が１を超える場合、前記輝度相関係数を０．５とする
請求項３に記載の画像処理装置。

【請求項5】

前記補正部は、０を超える前記重み付け係数が対応付けられた前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値のうち、０を超える前記重み付け係数が対応付けられた輝度画素と同じ位置にある色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する
請求項４に記載の画像処理装置。

【請求項6】

前記色差画像を構成する色差画素から選択した選択色差画素を含む前記第２範囲内の各々の色差画素の色差値を用いて、前記第２範囲内の各々の色差画素における色差値の平均を前記選択色差画素の色差値とする処理を、前記選択色差画素を変えながら実行することによって前記色差画像を平滑化する平滑部を更に備えた
請求項１～請求項５の何れか１項に記載の画像処理装置。

【請求項7】

単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成し、
生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出し、
算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する処理をコンピュータが実行する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デモザイク処理を行う画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、ＲＧＢの各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定すると共に、参照エリアの領域を変化させる参照エリア設定部と、参照エリア内の画素の画素値から得られる統計量を評価して、第１の画像内の注目位置の方向性を検出する方向検出部と、を備えた画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２０００３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１における画像処理装置の方向検出部は第１の画像内の注目位置の方向性を検出するため、赤画素及び青画素の位置で緑画素の画素値を水平方向に補間した画素値と、赤画素及び青画素のそれぞれの画素値との差分、すなわち、水平補間色差を算出すると共に、赤画素及び青画素の位置で緑画素の画素値を垂直方向に補間した画素値と、赤画素及び青画素のそれぞれの画素値との差分、すなわち、垂直補間色差を算出する。その上で、例えば３画素×３画素、５画素×５画素、７画素×７画素といった予め定めた大きさを有する参照エリア毎に水平補間色差及び垂直補間色差の分散を算出している。

【0005】

このように特許文献１における画像処理装置では、参照エリアの位置及び大きさを変化させながら、各々の参照エリア毎に緑画素の画素値の補間を行ったうえで水平補間色差及び垂直補間色差を算出し、各々の水平補間色差及び垂直補間色差の分散をリアルタイムで算出する必要がある。分散の算出は計算量が多くなる傾向があるため、分散をリアルタイムで算出するには高性能のプロセッサが必要になることから、画像処理装置のコストが高くなり、かつ、画像処理装置の大きさも大きくなる。

【0006】

本発明は、上述した課題を解決するために提案されたものであり、画素値の分散を算出することなく、単板式イメージセンサに対するデモザイク処理を行う画像処理装置、及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る画像処理装置は、単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成する画像生成部と、前記画像生成部によって生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出する係数算出部と、前記係数算出部によって算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する補正部と、を備える。

【0008】

また、本発明に係る画像処理方法は、単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成し、生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出し、算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する処理をコンピュータが実行する方法である。

【発明の効果】

【0009】

本発明によれば、画素値の分散を算出することなく、単板式イメージセンサに対するデモザイク処理を行うことができる、という効果を有する。

【図面の簡単な説明】

【0010】

【図1】画像処理装置の機能構成例を示す図である。

【図2】ベイヤー配列の一例を示す図である。

【図3】画像処理装置における電気系統の要部構成例を示す図である。

【図4】デモザイク処理の流れの一例を示すフローチャートである。

【図5】ベイヤー画像から輝度画像及び色差画像を生成する様子を示す図である。

【図6】ベイヤー画像における第１範囲内の画素を抽出した図である。

【図7】輝度相関係数の算出例を示す図である。

【図8】隣接する画素が取り得る輝度値の大小関係の一例を示す図である。

【図9】隣接する画素が取り得る輝度値の大小関係の他の一例を示す図である。

【図10】選択した画素と隣接する各画素の両端輝度相関係数の一例を示す図である。

【図11】重み付け係数の一例を示す図である。

【図12】色差値の補正例を示す図である。

【図13】色差画像の補正を行わなかった場合の画像の一例を示す図である。

【図14】色差画像の補正を行った場合の画像の一例を示す図である。

【図15】色差画像の平滑化を行う画像処理装置の機能構成例を示す図である。

【図16】色差画像の平滑化を行うデモザイク処理の流れの一例を示すフローチャートである。

【図17】色差画像の一例を示す図である。

【図18】色差画像の平滑化を行った場合の画像の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、実施の形態について図面を参照しながら説明する。なお、同じ構成要素及び同じ処理には全図面を通して同じ符号を付与し、重複する説明を省略する。

【0012】

図１は、本実施形態に係る画像処理装置１の機能構成例を示す図である。画像処理装置１は、前段処理部１０、デモザイク処理部２０、及び後段処理部３０を含む。

【0013】

前段処理部１０は、単板式イメージセンサからセンサ画像５を受け付け、受け付けたセンサ画像５に対して、例えば欠陥画素補正、黒レベル調整、及びホワイトバランス等の前処理を実行する。前段処理部１０は、前処理を行ったセンサ画像５をベイヤー画像２としてデモザイク処理部２０に出力する。

【0014】

単板式イメージセンサは、各々の画素が赤、緑、及び青の光の３原色のうち何れか１つの色情報しかもっていないセンサ画像５を出力する。したがって、単板式イメージセンサから出力されるセンサ画像５における画素の配置には、ベイヤー配列という配列が用いられる。

【0015】

図２は、ベイヤー配列の一例を示す図である。ベイヤー配列とは、隣り合う行において一方の行の緑画素５Ｇの位置と、他方の行の緑画素５Ｇの位置とが列方向に隣り合わないように緑画素５Ｇを１つおきに配置し、緑画素５Ｇの間に赤画素５Ｒ及び青画素５Ｂを行毎に交互に配置する配列である。

【0016】

ベイヤー画像２における画素の配列もベイヤー配列となっている。したがって、デモザイク処理部２０は、カラー画像を生成するうえでベイヤー画像２の特定の位置において足りない色情報を補間し、輝度画像３及び色差画像４を生成するデモザイク処理を実行する。

【0017】

こうした処理を行うデモザイク処理部２０は、画像生成部２１、係数算出部２２、及び補正部２３を含む。

【0018】

画像生成部２１は、ベイヤー画像２に設定した予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、第１範囲の位置を変えながら実行することによってベイヤー画像２に対応した輝度画像３及び色差画像４を生成する。

【0019】

係数算出部２２は、画像生成部２１によって生成された輝度画像３を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から第２範囲内の各々の輝度画素に対して、選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した輝度相関係数から第２範囲内の各々の輝度画素における重み付け係数Ｗを算出する。

【0020】

補正部２３は、係数算出部２２によって算出された第２範囲内の各々の輝度画素における重み付け係数Ｗと、第２範囲と同じ範囲に含まれる色差画像４を構成する各々の色差画素の色差値を用いて、画像生成部２１によって生成された色差画像４の色差値を補正する。

【0021】

後段処理部３０は、デモザイク処理部２０によって生成された輝度画像３及び補正された色差画像４（以降、「補正色差画像４Ｚ」という）を受け付け、輝度画像３及び補正色差画像４Ｚによって表される画像に対して、例えば輪郭強調及び色相調整等の画像処理を実行する。

【0022】

こうした処理を行う画像処理装置１は、コンピュータ４０を用いて構成される。図３は、コンピュータ４０を用いて構成した画像処理装置１における電気系統の要部構成例を示す図である。

【0023】

コンピュータ４０は、画像処理装置１が備える図１に示した各機能部の処理を担うプロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＣＰＵ４１の一時的な作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２、不揮発性メモリ４３、及び入出力インターフェース(Ｉ／Ｏ)４４を備える。ＣＰＵ４１、ＲＡＭ４２、不揮発性メモリ４３、及びＩ／Ｏ４４はバス４５を介して各々接続されている。

【0024】

不揮発性メモリ４３は、不揮発性メモリ４３に供給される電力が遮断されても記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ４３には、例えばコンピュータ４０を画像処理装置１として機能させる画像処理プログラムが記憶される。

【0025】

不揮発性メモリ４３は必ずしもコンピュータ４０に内蔵されている必要はなく、例えばメモリカードのように、コンピュータ４０に着脱可能な可搬型の記憶装置であってもよい。

【0026】

Ｉ／Ｏ４４には、例えば通信回線を経由して外部装置と通信を行う通信ユニット４６が接続されるが、Ｉ／Ｏ４４に接続されるユニットはこれらに限らず、画像処理装置１が備える機能に対応したユニットが接続可能である。

【0027】

次に、図１に示した画像処理装置１におけるデモザイク処理部２０の処理について詳細に説明する。

【0028】

図４は、前段処理部１０からベイヤー画像２を受け付けた場合に、デモザイク処理部２０によって実行されるデモザイク処理の流れの一例を示すフローチャートである。画像処理装置１のＣＰＵ４１は、不揮発性メモリ４３から画像処理プログラムを読み込んでデモザイク処理を実行する。

【0029】

ステップＳ１０において、画像生成部２１は、ベイヤー画像２の行方向及び列方向にそれぞれ２つずつ画素を含む範囲を第１範囲として設定し、第１範囲内に含まれる各々の画素から１画素分の輝度値及び色差値を算出する。画像生成部２１は、ベイヤー画像２に設定した第１範囲を１画素ずつ行方向又は列方向に移動させることによって、輝度画像３及び色差画像４を生成する。

【0030】

図５は、ベイヤー画像２から輝度画像３及び色差画像４を生成する様子を示す図である。ここでは行方向及び列方向にそれぞれ４つの画素が並んだ４×４画素の大きさを有するベイヤー画像２を用いて輝度画像３及び色差画像４を生成する例について説明するが、ベイヤー画像２は４×４画素の大きさより大きくてもよい。なお、ベイヤー画像２を構成する画素のうち、緑画素、赤画素、及び青画素を、それぞれ緑画素２Ｇ、赤画素２Ｒ、及び青画素２Ｂと表す。

【0031】

まず、画像生成部２１は、枠６によって表される第１範囲内の各々の画素の頂点が重なる位置（「位置Ａ」とする）に新たな画素を割り当て、当該画素の輝度値及び色差値を第１範囲内の４つの画素から算出する。すなわち、画像生成部２１は、ベイヤー画像２に含まれる４つの画素を用いて、輝度画像３及び色差画像４をそれぞれ構成する１つの画素を生成する。なお、輝度画像３を構成する画素は輝度画素の一例であり、色差画像４を構成する画素は色差画素の一例である。

【0032】

図６は、図５に示したベイヤー画像２から枠６によって表される第１範囲内の画素を抽出した図である。ベイヤー画像２の画素はベイヤー配列に従って配置されているため、図６に示すように、第１範囲内には２つの緑画素２Ｇとそれぞれ１つずつの赤画素２Ｒ及び青画素２Ｂが含まれる。図６では２つの緑画素２Ｇを区別するため、一方の緑画素２Ｇを「緑画素２Ｇｒ」と表し、他方の緑画素２Ｇを「緑画素２Ｇｂ」と表している。なお、２つのうち何れの緑画素２Ｇが緑画素２Ｇｒであってもよい。

【0033】

画像生成部２１は、（１）式を用いて位置Ａにおける輝度値と色差値を算出する。

【0034】

【数1】

【0035】

（１）式において、Ｙは輝度値、Ｃｂは青の色差値、Ｃｒは赤の色差値、ＺＧｒは緑画素２Ｇｒの画素値、ＺＧｂは緑画素２Ｇｂの画素値、ＺＲは赤画素２Ｒの画素値、ＺＢは青画素２Ｂの画素値を表す。

【0036】

なお、（１）式は輝度値及び色差値の算出例であり、画像生成部２１は、ベイヤー画像２の規格に応じた他の算出式を用いて輝度値及び色差値を算出してもよい。また、画像生成部２１は、（１）式よりも演算精度を落した簡易式を用いて、輝度値及び色差値を算出してもよい。

【0037】

以降では、各位置における輝度値を、位置を表すアルファベットと輝度値を表す“Ｙ”を組みあわせて表現する。具体的には、例えば位置Ａにおける輝度値を“ＹＡ”と表す。特に位置を意識して輝度値を表す必要がない場合、各々の位置における輝度値を総称して輝度値Ｙと表す。

【0038】

また、各位置における青の色差値を、位置を表すアルファベットと青の色差値を表す“Ｃｂ”を組みあわせて表現すると共に、各位置における赤の色差値を、位置を表すアルファベットと赤の色差値を表す“Ｃｒ”を組みあわせて表現する。具体的には、例えば位置Ａにおける青の色差値を“ＣｂＡ”と表し、位置Ａにおける赤の色差値を“ＣｒＡ”と表す。特に位置を意識して色差値を表す必要がない場合、各々の位置における青の色差値及び赤の色差値を総称して、それぞれ色差値Ｃｂ及び色差値Ｃｒと表す。

【0039】

画像生成部２１は、ベイヤー画像２に設定した第１範囲を１画素ずつ行方向又は列方向に移動させることによって、図５に示す位置Ａ～位置Ｉにおける各々の輝度値Ｙ及び色差値Ｃｂ、Ｃｒを算出する。これにより、画像生成部２１は、輝度画像３及び色差画像４を生成する。画像生成部２１は、生成した輝度画像３を後段処理部３０及び係数算出部２２に出力し、生成した色差画像４を補正部２３に出力する。

【0040】

なお、色差値Ｃｂを有する画素によって構成される色差画像４を特に色差画像４Ｃｂと表し、色差値Ｃｒを有する画素によって構成される色差画像４を特に色差画像４Ｃｒと表す。

【0041】

ベイヤー画像２から輝度画像３及び色差画像４Ｃｂ、４Ｃｒを生成した後、図４のステップＳ２０において、係数算出部２２は、ステップＳ１０の処理で生成した輝度画像３から何れかの画素を１つずつ順次選択する。係数算出部２２は、選択した各々の画素について、画素を中心とする第２範囲を設定し、選択した画素と第２範囲内に含まれる他の各々の画素との相関を表す輝度相関係数を算出する。輝度画像３から選択した画素は選択輝度画素の一例である。

【0042】

なお、係数算出部２２は、選択した画素に隣接する各々の画素を含む範囲を第２範囲として設定する。

【0043】

図７は、輝度相関係数の算出例を示す図である。図７の例では、太枠で囲まれた位置Ｅの画素が輝度画像３から選択された様子を表している。この場合、位置Ｅの画素に隣接する画素は位置Ａ、位置Ｂ、位置Ｃ、位置Ｄ、位置Ｆ、位置Ｇ、位置Ｈ、及び位置Ｉの画素となるため、位置Ａ～位置Ｉの画素を含む範囲が第２範囲に設定される。

【0044】

係数算出部２２は第２範囲内において、選択した画素（この場合、位置Ｅの画素）を中心として、縦方向、横方向、及び斜め方向それぞれの方向に位置する両端の画素の輝度値Ｙを用いて輝度相関係数を算出する。当該輝度相関係数は、選択した画素の縦方向、横方向、及び斜め方向に位置する両端の画素の輝度値Ｙを用いた輝度相関係数であるから、以降では「両端輝度相関係数Ｘ」と表す。

【0045】

図７において、位置Ｅの画素の横方向に位置する両端の画素は、位置Ｄの画素と位置Ｆの画素である。係数算出部２２は、（２）式を用いて位置Ｅの画素と横方向に位置する両端の画素の両端輝度相関係数Ｘを算出する。

【0046】

【数2】

【0047】

（２）式において、ＸＦは位置Ｆの画素との両端輝度相関係数Ｘを表し、ＸＤは位置Ｄの画素との両端輝度相関係数Ｘを表す。以降では位置Ａ～位置Ｉの各位置における両端輝度相関係数Ｘを、位置を表すアルファベットと両端輝度相関係数を表す“Ｘ”を組みあわせて上記のように表現する。

【0048】

同様にして、係数算出部２２は（３）式、（４）式、及び（５）式を用いて位置Ｅの画素と縦方向、及び斜め方向に位置する両端の画素の両端輝度相関係数Ｘを算出する。（３）式は、位置Ｅの画素と縦方向に位置する両端の画素の両端輝度相関係数Ｘの算出式である。（４）式は、位置Ｅの画素と左斜め方向に位置する両端の画素の両端輝度相関係数Ｘの算出式である。（５）式は、位置Ｅの画素と右斜め方向に位置する両端の画素の両端輝度相関係数Ｘの算出式である。

【0049】

【数3】

【0050】

【数4】

【0051】

【数5】

【0052】

（２）式～（５）式を見ればわかるように、係数算出部２２は、両端輝度相関係数Ｘを０以上１以下の正規化された値で表す。そのうえで、係数算出部２２は、両端輝度相関係数Ｘを０以上１以下の範囲に設定した予め定めた個数の値のうち、最も近い何れかの値によって表す。一例として、係数算出部２２は、両端輝度相関係数Ｘが取り得る値をθ／８（θは０以上８以下の整数）とすることによって、両端輝度相関係数Ｘが取り得る値を０以上１以下の範囲に含まれる９個の値に集約する。なお、両端輝度相関係数Ｘの分母の値は一例であり、“８”に限定されない。両端輝度相関係数Ｘが取り得る値を集約することによって、両端輝度相関係数Ｘが０以上１以下の任意の値を取る場合よりも、計算内容を単純化することができる。

【0053】

図８に示すように、例えば輝度画像３における位置Ｅの画素の輝度値ＹＥが、横方向に位置する両端の画素の輝度値ＹＤと輝度値ＹＦとの間に含まれる場合、すなわち、輝度値ＹＦ＞輝度値ＹＥ＞輝度値ＹＤ、又は輝度値ＹＤ＞輝度値ＹＥ＞輝度値ＹＦである場合、（２）式によって得られる両端輝度相関係数Ｘは１以下となり、θ／８のうち最も近い値を取る。

【0054】

しかしながら、図９に示すように、例えば輝度画像３における位置Ｅの画素の輝度値ＹＥが、縦方向に位置する両端の画素の輝度値ＹＢと輝度値ＹＨとの間に含まれない場合、（３）式によって得られる両端輝度相関係数Ｘが１を超えてしまうことがある。このような場合、係数算出部２２は、両端輝度相関係数Ｘをθ／８が取る最大値の半分、すなわち、４／８に設定する。

【0055】

図１０は、（２）式～（５）式に従って算出した、選択した位置Ｅの画素と隣接する画素の両端輝度相関係数Ｘの一例を示す図である。

【0056】

係数算出部２２は、輝度画像３に含まれる各々の画素を選択することによって、各々の画素毎に第２範囲内における両端輝度相関係数Ｘを算出する。

【0057】

なお、選択した画素の位置によっては、第２範囲に９つの画素が含まれない場合がある。このような場合、係数算出部２２は、存在しない画素の輝度値Ｙを予め定めた値に設定すればよい。例えば存在しない画素の輝度値Ｙを、“０”又は選択した画素（図７に示した例の場合、位置Ｅの画素）の輝度値Ｙに設定する。

【0058】

輝度画像３から各画素における両端輝度相関係数Ｘを算出した後、図４のステップＳ３０において、係数算出部２２は、算出した両端輝度相関係数Ｘを用いて、輝度画像３に含まれる各々の画素に対して設定した第２範囲毎に、第２範囲内の各画素の位置における重み付け係数Ｗを算出する。

【0059】

具体的には、係数算出部２２は、０．５以上１以下の範囲に含まれる予め定めた閾値を超える両端輝度相関係数Ｘが対応付けられた画素に対してのみ両端輝度相関係数Ｘを有効とする。この場合の重み付け係数Ｗは両端輝度相関係数Ｘの分子の値となる。換言すれば、係数算出部２２は、閾値以下の両端輝度相関係数Ｘが対応付けられた画素における重み付け係数Ｗを“０”に設定する。これにより、閾値以下の両端輝度相関係数Ｘが対応付けられた画素における重み付け係数も両端輝度相関係数Ｘの分子の値とする場合と比較して、計算量が低減される。本実施形態では一例として、閾値を“０．５”に設定する。

【0060】

輝度画像３における位置Ｅの画素を選択した場合の両端輝度相関係数Ｘが図１０のように示される場合、位置Ｂ、位置Ｃ、位置Ｆ、位置Ｈ、及び位置Ｉの各画素に対応付けられた両端輝度相関係数Ｘは０．５以下であるため、重み付け係数Ｗは“０”となる。

【0061】

一方、０．５を超える両端輝度相関係数Ｘが対応付けられている位置Ａ、位置Ｄ、及び位置Ｇの各画素の重み付け係数Ｗは、それぞれの両端輝度相関係数Ｘの分子の値である“６”、“７”、“５”となる。

【0062】

図１１は、図１０に示した両端輝度相関係数Ｘが対応付けられた各画素における重み付け係数Ｗの一例を示す図である。

【0063】

ここで、選択した画素に対して、縦方向における両端輝度相関係数Ｘと、横方向における両端輝度相関係数Ｘと、左斜め方向における両端輝度相関係数Ｘと、右斜め方向における両端輝度相関係数Ｘという４つの両端輝度相関係数Ｘを算出することから、重み付け係数Ｗの合計は、（８／８）×４＝３２／８となる。係数算出部２２は、重み付け係数Ｗの合計を表す分数の分子である“３２”のうち、両端輝度相関係数Ｘが閾値以下であるために重み付け係数Ｗを“０”に置き換えた画素に対応した値を、選択した画素の重み付け係数Ｗとして割り振る。したがって、図１１に示す例の場合、０を超える重み付け係数Ｗが対応付けられている画素は位置Ａ、位置Ｄ、及び位置Ｇの３つの画素であるから、位置Ｅにおける重み付け係数Ｗは３２－（６＋７＋５）＝１４となる。

【0064】

このようにして係数算出部２２は、輝度画像３に含まれる画素毎に設定した各々の第２範囲内の画素に対して重み付け係数Ｗを算出する。

【0065】

輝度画像３から第２範囲毎の重み付け係数Ｗを算出した後、図４のステップＳ４０において、補正部２３は、輝度画像３に対して設定した第２範囲毎に、第２範囲内の重み付け係数Ｗと、輝度画像３に対して設定した第２範囲と同じ範囲に含まれる色差画像４の画素の色差値Ｃｂ、Ｃｒとを用いて、色差画像４Ｃｂ、４Ｃｒの色差値Ｃｂ、Ｃｒを補正する。

【0066】

具体的には、補正部２３は、輝度画像３と色差画像４に対してそれぞれ同じ位置にある画素を選択し、それぞれに対して同じ範囲を含む第２範囲を設定する。そのうえで、補正部２３は、輝度画像３と色差画像４にそれぞれ設定した第２範囲内の同じ位置にある画素に対応付けられている重み付け係数Ｗと色差値Ｃｂ、Ｃｒとの積の平均値を重み付け平均値として算出し、算出した重み付け平均値を、色差画像４から選択した画素の色差値Ｃｂ、Ｃｒとする。

【0067】

図１２は、補正部２３による色差画像４の色差値Ｃｒの補正例を示す図である。図１２では、色差画像４Ｃｒから位置Ｅの画素を選択した場合に設定される第２範囲内の各画素を表している。

【0068】

位置Ａ～位置Ｉの画素に対応付けられている重み付け係数Ｗが図１１のように示される場合、補正部２３は、（６）式を用いて位置Ｅの画素の色差値ＣｒＥを補正する。

【0069】

【数6】

【0070】

（６）式において、μは画素の位置を表し、ＣｒＥ_ｓｕｍは、各位置における色差値Ｃｒと重み付け係数Ｗの積和演算値を表す。また、“３２”は重み付け係数Ｗの合計を表す分数の分子の値を表し、ＣｒＥ_ｚは位置Ｅの画素における色差値ＣｒＥの補正値を表す。

【0071】

すなわち、補正部２３は、０を超える重み付け係数Ｗが対応付けられた第２範囲内の各々の画素における重み付け係数Ｗと、同じ範囲に含まれる色差画像４Ｃｒを構成する各々の画素の色差値Ｃｒのうち、０を超える重み付け係数Ｗが対応付けられた画素と同じ位置にある画素の色差値とを用いて、選択した画素の位置における色差値Ｃｒ（この場合、色差値ＣｒＥ）を補正する。

【0072】

図１０及び図１１に示したように、σ＝８、λ＝４であるから、補正値ＣｒＥ_ｚは（７）式のように表される。

【0073】

【数7】

【0074】

補正部２３は、色差画像４に含まれる各々の画素について位置Ｅの画素に対して実行した補正と同じ補正を行うことで、色差値Ｃｒの補正が行われた色差画像４Ｃｒを生成する。ここでは一例として、色差画像４Ｃｒの補正を例にして説明したが、補正部２３は、色差画像４Ｃｂについても同様の補正を行い、色差値Ｃｂの補正が行われた色差画像４Ｃｂを生成する。

【0075】

このように補正部２３は、色差画像４に含まれる各々の画素を選択し、選択した各々の画素毎に設定された第２範囲内の画素の重み付け係数Ｗと色差値Ｃｂ、Ｃｒを用いて色差値Ｃｂ、Ｃｒの補正を行い、補正色差画像４Ｚを生成する。補正部２３は、生成した補正色差画像４Ｚを後段処理部３０に出力する。

【0076】

以上により、図４に示したデモザイク処理を終了する。後段処理部３０では、デモザイク処理部２０から受け付けた輝度画像３及び補正色差画像４Ｚを用いて、例えば輪郭強調や色相調整等の予め定められた画像処理が行われる。

【0077】

図１３は、画像生成部２１によって生成された輝度画像３と色差画像４を用いて表した画像の一例を示す図である。図１４は、図１３と同じ画像を、画像生成部２１によって生成された輝度画像３と、補正部２３によって補正された補正色差画像４Ｚを用いて表した画像の一例を示す図である。図１３に示す画像では、無彩色のエッジ付近で赤や青に色づいた画素が認められたが、図１４に示す画像では図１３に示す画像よりも、そうした本来存在しない偽色の発生が抑制されることを確認した。

【0078】

＜画像処理装置の変形例＞
図１に示した補正部２３は、画像生成部２１によって生成された色差画像４に対して輝度画像３から得られた重み付け係数Ｗを適用し、色差画像４の補正を行った。

【0079】

以降では、平滑化された色差画像４に対して輝度画像３から得られた重み付け係数Ｗを適用して色差画像４の補正を行う画像処理装置１Ａについて説明する。

【0080】

図１５は、本変形例に係る画像処理装置１Ａの機能構成例を示す図である。図１５に示す画像処理装置１Ａが図１に示した画像処理装置１と異なる点は、画像生成部２１と補正部２３との間に平滑部２４が追加された点である。また、平滑部２４の追加に伴い、デモザイク処理部２０がデモザイク処理部２０Ａに置き換えられている。それ以外の機能構成は図１に示した画像処理装置１と同じであるため、ここでは平滑部２４の処理を中心に説明を行う。

【0081】

平滑部２４は、画像生成部２１によって生成された色差画像４を平滑化し、平滑化した色差画像４を補正部２３に出力する。色差画像４の平滑化とは、隣接する画素との色差値Ｃｂ、Ｃｒの差分を小さくし、色の変化をなだらかにする処理のことである。

【0082】

平滑部２４の処理について詳細に説明する。図１６は、前段処理部１０からベイヤー画像２を受け付けた場合に、デモザイク処理部２０によって実行されるデモザイク処理の流れの一例を示すフローチャートである。

【0083】

図１６に示すデモザイク処理が図４に示したデモザイク処理と異なる点は、ステップＳ３５が追加された点である。

【0084】

ステップＳ３０の処理で係数算出部２２が輝度画像３から第２範囲毎の重み付け係数Ｗを算出した後、ステップＳ３５が実行される。

【0085】

ステップＳ３５において、平滑部２４は、画像生成部２１から受け付けた色差画像４を平滑化する。

【0086】

図１７は、画像生成部２１から受け付けた色差画像４Ｃｂの一例を示す図である。平滑部２４は、色差画像４Ｃｂから何れかの画素を選択する。図１７は、位置Ｇの画素を選択した例を示している。平滑部２４は、選択した画素を中心とする枠７によって表される第２範囲、すなわち、選択した画素に隣接する画素を囲む第２範囲を色差画像４Ｃｂに設定し、第２範囲内の各々の画素における色差値Ｃｂの平均を算出する。そのうえで、平滑部２４は、選択した画素の色差値Ｃｂを算出した色差値Ｃｂの平均に設定する。図１７に示す例の場合、位置Ａ、位置Ｂ、位置Ｃ、位置Ｆ、位置Ｇ、位置Ｈ、位置Ｋ、位置Ｌ、及び位置Ｍの各画素の色差値Ｃｂの平均が位置Ｇの画素の色差値ＣｂＧとなる。

【0087】

平滑部２４は、色差画像４Ｃｂに含まれる各々の画素を順次選択し、選択した画素に対して設定される第２範囲内の各々の画素における色差値Ｃｂの平均を、選択した画素の色差値Ｃｂとすることによって、色差画像４Ｃｂ全体を平滑化する。平滑部２４は、平滑化した色差画像４Ｃｂを補正部２３に出力する。なお、平滑部２４は、同様の平滑化処理を色差画像４Ｃｒに対しても行う。

【0088】

図１６のステップＳ４０において、補正部２３は、輝度画像３に対して設定した第２範囲毎に、第２範囲内の重み付け係数Ｗと、輝度画像３に対して設定した第２範囲と同じ範囲に含まれる平滑化された色差画像４の画素の色差値Ｃｂ、Ｃｒとを用いて、平滑化された色差画像４Ｃｂ、４Ｃｒの色差値Ｃｂ、Ｃｒを補正する。

【0089】

図１８は、図１３と同じ画像を、画像生成部２１によって生成された輝度画像３と、平滑部２４によって平滑化した色差画像４を補正することで得られた補正色差画像４Ｚを用いて表した画像の一例を示す図である。色差画像４の平滑化を行わなかった図１４の画像と比較して、色差画像４を平滑化することにより偽色の発生が更に抑制されることを確認した。

【0090】

以上、実施形態を用いて画像処理装置１、１Ａの一形態について説明したが、開示した画像処理装置１、１Ａの形態は一例であり、画像処理装置１、１Ａの形態は実施形態に記載の範囲に限定されない。本開示の要旨を逸脱しない範囲で実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も開示の技術的範囲に含まれる。

【0091】

例えば本開示の要旨を逸脱しない範囲で、図４及び図１６に示したデモザイク処理における内部の処理順序を変更してもよい。

【0092】

上記の実施形態では、一例として、デモザイク処理をソフトウェアで実現する形態について説明した。しかしながら、図４及び図１６に示したデモザイク処理のフローチャートと同等の処理をハードウェアで処理させるようにしてもよい。この場合、デモザイク処理をソフトウェアで実現した場合と比較して処理の高速化が図られる。

【0093】

上記の実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ４１）や、専用のプロセッサ（例えば ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0094】

また、上記の実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記の実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0095】

上記の実施形態では、不揮発性メモリ４３に画像処理プログラムが記憶されている例について説明した。しかしながら、画像処理プログラムの記憶先は不揮発性メモリ４３に限定されない。本開示の画像処理プログラムは、コンピュータ４０で読み取り可能な記憶媒体に記録された形態で提供することも可能である。

【0096】

例えば画像処理プログラムをＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びブルーレイディスクのような光ディスクに記録した形態で提供してもよい。また、画像処理プログラムを、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ及びメモリカードのような可搬型の半導体メモリに記録した形態で提供してもよい。不揮発性メモリ４３、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイディスク、ＵＳＢ、及びメモリカードは非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の一例である。

【0097】

更に、画像処理装置１は通信ユニット４６を通じて、通信回線に接続された外部装置から画像処理プログラムをダウンロードし、ダウンロードした画像処理プログラムを画像処理装置１の不揮発性メモリ４３に記憶してもよい。この場合、画像処理装置１のＣＰＵ４１は、外部装置からダウンロードした画像処理プログラムを不揮発性メモリ４３から読み込んでデモザイク処理を実行する。

【0098】

以下に本実施形態に係る付記を示す。

【0099】

（付記１）
単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成する画像生成部と、
前記画像生成部によって生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出する係数算出部と、
前記係数算出部によって算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する補正部と、
を備えた画像処理装置。

【0100】

（付記２）
前記係数算出部は、前記選択輝度画素に隣接する各々の輝度画素を含む範囲を前記第２範囲に設定して前記輝度相関係数及び前記重み付け係数を算出する
付記１に記載の画像処理装置。

【0101】

（付記３）
前記輝度相関係数は０以上１以下に正規化された係数であって、０以上１以下の範囲に設定した予め定めた個数の値のうちの何れかの値を取る係数であり、
前記係数算出部は、０．５以上１以下の範囲に含まれる予め定めた閾値以下の前記輝度相関係数が対応付けられた輝度画素における前記重み付け係数を０とする
付記１又は付記２に記載の画像処理装置。

【0102】

（付記４）
前記係数算出部は、正規化前の前記輝度相関係数が１を超える場合、前記輝度相関係数を０．５とする
付記３に記載の画像処理装置。

【0103】

（付記５）
前記補正部は、０を超える前記重み付け係数が対応付けられた前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値のうち、０を超える前記重み付け係数が対応付けられた輝度画素と同じ位置にある色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する
付記４に記載の画像処理装置。

【0104】

（付記６）
前記色差画像を構成する色差画素から選択した選択色差画素を含む前記第２範囲内の各々の色差画素の色差値を用いて、前記第２範囲内の各々の色差画素における色差値の平均を前記選択色差画素の色差値とする処理を、前記選択色差画素を変えながら実行することによって前記色差画像を平滑化する平滑部を更に備えた
付記１～付記５の何れか１つの付記に記載の画像処理装置。

【0105】

（付記７）
単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成し、
生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出し、
算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する処理をコンピュータが実行する
画像処理方法。

【0106】

（付記８）
コンピュータに、
単板式イメージセンサによって撮影された画像の予め定めた大きさを有する第１範囲内の複数の画素から１画素分の輝度値及び色差値を算出する処理を、前記第１範囲の位置を変えながら実行することによって前記画像に対応した輝度画像及び色差画像を生成し、
生成された前記輝度画像を構成する輝度画素から選択した選択輝度画素を含む予め定めた第２範囲内の複数の輝度画素の輝度値から前記第２範囲内の各々の輝度画素に対して、前記選択輝度画素と他の輝度画素との相関を表す輝度相関係数を算出すると共に、算出した前記輝度相関係数から前記第２範囲内の各々の輝度画素における重み付け係数を算出し、
算出された前記第２範囲内の各々の輝度画素における前記重み付け係数と、前記第２範囲と同じ範囲に含まれる前記色差画像を構成する各々の色差画素の色差値を用いて、前記選択輝度画素の位置における前記色差画像の色差値を補正する処理を実行させる
画像処理プログラム。

【符号の説明】

【0107】

１（１Ａ） 画像処理装置
２ ベイヤー画像
２Ｂ 青画素
２Ｇ（２Ｇｂ、２Ｇｒ） 緑画素
２Ｒ 赤画素
３ 輝度画像
４（４Ｃｂ、４Ｃｒ） 色差画像
４Ｚ 補正色差画像
５ センサ画像
１０ 前段処理部
２０（２０Ａ） デモザイク処理部
２１ 画像生成部
２２ 係数算出部
２３ 補正部
２４ 平滑部
３０ 後段処理部
４０ コンピュータ
４１ ＣＰＵ
４２ ＲＡＭ
４３ 不揮発性メモリ
４４ Ｉ／Ｏ
４５ バス
４６ 通信ユニット
Ｃｂ 青の色差値
Ｃｒ 赤の色差値
Ｗ 重み付け係数
Ｘ 両端輝度相関係数
Ｙ 輝度値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】