特開 2024-154762 画像処理装置及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154762

(43)【公開日】2024-10-31

(54)【発明の名称】画像処理装置及び撮像装置

(51)【国際特許分類】

   H04N 25/10 20230101AFI20241024BHJP

   H04N 23/12 20230101ALI20241024BHJP

【ＦＩ】

H04N25/10

H04N23/12

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023068792

(22)【出願日】2023-04-19

(71)【出願人】

【識別番号】320012037

【氏名又は名称】ラピステクノロジー株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】西谷 直輝

(72)【発明者】

【氏名】今任 祐基

(57)【要約】

【課題】演算量を低減しつつ、偽色を抑制することができる画像処理装置及び撮像装置を得る。
【解決手段】画像処理装置は、各画素に輝度及び色差を含む画像情報の着目画素の輝度及び着目画素の周辺画素の輝度を用いたエッジ検出処理を行うことにより着目画素のエッジ成分値を導出し、着目画素及び周辺画素の色差の平均値を導出し、着目画素及び周辺画素の色差の中央値を導出し、エッジ成分値、平均値、及び中央値を用いて、平均値及び中央値の何れかを着目画素の色差として選択する。
【選択図】図９

【特許請求の範囲】

【請求項1】

各画素に輝度及び色差を含む画像情報の着目画素の輝度及び前記着目画素の周辺画素の輝度を用いたエッジ検出処理を行うことにより前記着目画素のエッジ成分値を導出する第１導出部と、
前記着目画素及び前記周辺画素の色差の平均値を導出する第２導出部と、
前記着目画素及び前記周辺画素の色差の中央値を導出する第３導出部と、
前記エッジ成分値、前記平均値、及び前記中央値を用いて、前記平均値及び前記中央値の何れかを前記着目画素の色差として選択する選択部と、
を備える画像処理装置。

【請求項2】

前記選択部は、前記平均値の絶対値が前記中央値の絶対値以下である場合、前記平均値を前記着目画素の色差として選択する
請求項１に記載の画像処理装置。

【請求項3】

前記選択部は、前記平均値の絶対値が前記中央値の絶対値を超える場合で、かつ前記エッジ成分値の絶対値が閾値を超える場合、前記中央値を前記着目画素の色差として選択し、前記平均値の絶対値が前記中央値の絶対値を超える場合で、かつ前記エッジ成分値の絶対値が前記閾値以下である場合、前記平均値を前記着目画素の色差として選択する
請求項１又は請求項２に記載の画像処理装置。

【請求項4】

各画素が異なる複数の色のうちの何れかの色の画素値を有する第１の画像情報を出力する撮像素子、及び
前記第１の画像情報を用いて、各画素に輝度及び色差を含む第２の画像情報を生成する生成部と、前記第２の画像情報の着目画素の輝度及び前記着目画素の周辺画素の輝度を用いたエッジ検出処理を行うことにより前記着目画素のエッジ成分値を導出する第１導出部と、前記着目画素及び前記周辺画素の色差の平均値を導出する第２導出部と、前記着目画素及び前記周辺画素の色差の中央値を導出する第３導出部と、前記エッジ成分値、前記平均値、及び前記中央値を用いて、前記平均値及び前記中央値の何れかを前記着目画素の色差として選択する選択部と、を備える画像処理装置
を含む撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、デモザイク処理を行う画像処理装置及び撮像装置に関する。

【背景技術】

【0002】

特許文献１には、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像に対し、所定の画素数で構成される領域である参照エリアを設定するとともに、参照エリアの領域を変化させる画像処理装置が開示されている。この画像処理装置は、参照エリア内の画素の画素値から得られる統計量を評価して、第１の画像内の注目位置の方向性を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２０００３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、水平方向の補間色差及び垂直方向の補間色差を算出し、参照エリア内において補間色差の統計量を算出するため、演算量が増大してしまう場合がある。

【0005】

本開示は、以上の事情を鑑みてなされたものであり、演算量を低減しつつ、偽色を抑制するデモザイク処理を実施することができる画像処理装置及び撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

開示の技術に係る画像処理装置は、各画素に輝度及び色差を含む画像情報の着目画素の輝度及び前記着目画素の周辺画素の輝度を用いたエッジ検出処理を行うことにより前記着目画素のエッジ成分値を導出する第１導出部と、前記着目画素及び前記周辺画素の色差の平均値を導出する第２導出部と、前記着目画素及び前記周辺画素の色差の中央値を導出する第３導出部と、前記エッジ成分値、前記平均値、及び前記中央値を用いて、前記平均値及び前記中央値の何れかを前記着目画素の色差として選択する選択部と、を備える。

【発明の効果】

【0007】

本開示によれば、演算量を低減した、単板式イメージセンサに対するデモザイク処理を行うことができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置の構成の一例を示すブロック図である。

【図2】第１の画像情報を説明するための図である。

【図3】画像処理装置の機能的な構成の一例を示すブロック図である。

【図4】第２の画像情報の生成処理を説明するための図である。

【図5】輝度及び色差の算出処理を説明するための図である。

【図6】エッジ成分値の導出処理を説明するための図である。

【図7】色差の平均値の導出処理を説明するための図である。

【図8】色差の中央値の導出処理を説明するための図である。

【図9】選択部の回路構成の一例を示す概略図である。

【図10】デモザイク処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0010】

まず、図１を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、撮像素子１２及び画像処理装置１４を含む。画像処理装置１４は、プロセッサ２０及びメモリ２２を含む。プロセッサ２０の例としては、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプログラマブルロジックデバイス（Programmable Logic Device：PLD）等が挙げられる。プロセッサ２０は、ソフトウェア（プログラム）を実行する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）等であってもよい。また、プロセッサ２０は、同種又は異種の２つ以上のプロセッサの組み合わせであってもよい。メモリ２２は、揮発性のメモリであり、一時記憶領域として使用される。

【0011】

撮像素子１２は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサである。撮像素子１２は、各画素が異なる複数の色のうちの何れかの色の画素値を有する画像情報１６を出力する。画像情報１６は、開示の技術に係る第１の画像情報の一例である。

【0012】

図２に示すように、本実施形態に係る撮像素子１２は、Ｒ（Red）の画素値を有する画素、Ｇ（Green）の画素値を有する画素、及びＢ（Blue）の画素値を有する画素がベイヤー配列によって配置された画像情報１６を出力する。図２では、画像情報１６が１６画素を有する例を示している。

【0013】

画像処理装置１４は、撮像素子１２から入力された画像情報１６に対してデモザイク処理を行う機能を有する。図３を参照して、本実施形態に係る画像処理装置１４の機能的な構成について説明する。図３に示すように、画像処理装置１４は、生成部４０、第１導出部４２、第２導出部４４、第３導出部４６、及び選択部４８を含む。プロセッサ２０が予め設定されたロジックを実行することによって生成部４０、第１導出部４２、第２導出部４４、第３導出部４６、及び選択部４８として機能する。

【0014】

撮像素子１２から入力された画像情報１６に対して、欠陥画素補正、黒レベル調整、及びホワイトバランス調整等の前処理が行われ、その前処理が行われた後の画像情報１６が生成部４０に入力される。図４に示すように、生成部４０は、画像情報１６を用いて、各画素に輝度及び色差を含む画像情報１８を生成する。画像情報１８は、開示の技術に係る第２の画像情報の一例である。図４では、生成部４０が、１６画素の画像情報１６から９画素の画像情報１８を生成する例を示している。

【0015】

具体的には、図５に示すように、生成部４０は、以下の（１）式～（３）式に従って、画像情報１８の各画素の輝度Ｙ、色差Ｃｂ、及び色差Ｃｒを、画像情報１６における隣接する４画素の画素値を用いて算出する。なお、（１）式～（３）式の係数は一例であり、この例に限定されない。また、ＲＧＢからＹＣｂＣｒへの変換式として、精度を落とした簡易式を用いてもよい。
Ｙ＝（０．５８７（（Ｇｒ＋Ｇｂ）／２））＋（０．２９９Ｒ）＋（０．１１４Ｂ）・・・（１）
Ｃｂ＝０．５６４（Ｂ－Ｙ）・・・（２）
Ｃｒ＝０．７１３（Ｒ－Ｙ）・・・（３）

【0016】

図４の例では、Ａ～Ｉが画像情報１８の各画素を示し、ＹＡ～ＹＩが各画素の輝度Ｙを示し、ＣｂＡ～ＣｂＩが各画素の色差Ｃｂを示し、ＣｒＡ～ＣｒＩが各画素の色差Ｃｒを示している。

【0017】

第１導出部４２は、画像情報１８の着目画素の輝度及び着目画素の周辺画素の輝度を用いたエッジ検出処理を行うことにより着目画素のエッジ成分値を導出する。ここでいう周辺画素とは着目画素に隣接する周囲の８画素を意味する。

【0018】

図６に示すように、第１導出部４２は、画像情報１８の着目画素の輝度及び周辺画素の輝度に対して垂直方向のエッジを強調するフィルタ及び水平方向のエッジを強調するフィルタをそれぞれ適用し、各フィルタの適用結果を合算することによって着目画素のエッジ成分値Ｅｄｇを導出する。図６では、画素Ｅが着目画素であり、画素Ａ～Ｄ、Ｆ～Ｉが周辺画素である例を示している。なお、図６に示すエッジの導出処理は一例であり、他のフィルタを用いてもよい。

【0019】

図７に示すように、第２導出部４４は、着目画素及び周辺画素の色差Ｃｂの平均値Ｃｂ＿ａｖｅを導出する。また、第２導出部４４は、着目画素及び周辺画素の色差Ｃｒの平均値Ｃｒ＿ａｖｅを導出する。

【0020】

図８に示すように、第３導出部４６は、着目画素及び周辺画素の色差Ｃｂを昇順又は降順にソートし、着目画素及び周辺画素の色差Ｃｂの中央値Ｃｂ＿ｍｅｄを特定することにより、着目画素及び周辺画素の色差Ｃｂの中央値Ｃｂ＿ｍｅｄを導出する。また、第３導出部４６は、着目画素及び周辺画素の色差Ｃｒを昇順又は降順にソートし、着目画素及び周辺画素の色差Ｃｒの中央値Ｃｒ＿ｍｅｄを特定することにより、着目画素及び周辺画素の色差Ｃｒの中央値Ｃｒ＿ｍｅｄを導出する。

【0021】

選択部４８は、エッジ成分値Ｅｄｇ、平均値Ｃｂ＿ａｖｅ、及び中央値Ｃｂ＿ｍｅｄを用いて、平均値Ｃｂ＿ａｖｅ及び中央値Ｃｂ＿ｍｅｄの何れかを着目画素の色差Ｃｂとして選択する。

【0022】

具体的には、選択部４８は、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値以下である場合、平均値Ｃｂ＿ａｖｅを着目画素の色差Ｃｂとして選択する。また、選択部４８は、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値を超える場合で、かつエッジ成分値Ｅｄｇの絶対値が閾値を超える場合、中央値Ｃｂ＿ｍｅｄを着目画素の色差Ｃｂとして選択する。また、選択部４８は、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値を超える場合で、かつエッジ成分値Ｅｄｇの絶対値が上記閾値以下である場合、平均値Ｃｂ＿ａｖｅを着目画素の色差Ｃｂとして選択する。また、選択部４８は、色差Ｃｒについても色差Ｃｂと同様に、エッジ成分値Ｅｄｇ、平均値Ｃｒ＿ａｖｅ、及び中央値Ｃｒ＿ｍｅｄを用いて、平均値Ｃｒ＿ａｖｅ及び中央値Ｃｒ＿ｍｅｄの何れかを着目画素の色差Ｃｒとして選択する。

【0023】

選択部４８は、画像情報１８の着目画素の色差Ｃｂ及び色差Ｃｒを、選択した色差Ｃｂ及び色差Ｃｒに置き換える。色差Ｃｂ及び色差Ｃｒが置き換えられた画像情報１８に対して、輪郭強調及び色相調整等の後処理が行われる。その後処理が行われた後の画像情報１８は、撮像装置１０が備える不揮発性の記憶装置等に出力されることによって保存される。

【0024】

図９に、選択部４８を実現するための回路構成の一例を示す。図９に示すように、選択部４８は、絶対値を演算する演算回路８０Ａ、８０Ｂ、８０Ｃ、２つの入力の大小を比較する比較回路８２Ａ、８２Ｂ、及びセレクタ８４Ａ、８４Ｂを備える。なお、色差Ｃｂの選択に関する部分の回路構成と色差Ｃｒの選択に関する部分の回路構成は同一の構成であるため、色差Ｃｂの選択に関する部分の回路構成を説明し、色差Ｃｒの選択に関する部分の回路構成の説明を省略する。

【0025】

演算回路８０Ｃにはエッジ成分値Ｅｄｇが入力され、演算回路８０Ｃは、エッジ成分値Ｅｄｇの絶対値を比較回路８２Ａに対して出力する。比較回路８２Ａには、エッジ成分値Ｅｄｇの絶対値及び閾値が入力される。比較回路８２Ａは、エッジ成分値Ｅｄｇの絶対値が閾値を超えるか否かを判定し、判定結果をセレクタ８４Ｂに対して出力する。演算回路８０Ａには中央値Ｃｂ＿ｍｅｄが入力され、演算回路８０Ａは、中央値Ｃｂ＿ｍｅｄの絶対値を比較回路８２Ｂに対して出力する。演算回路８０Ｂには平均値Ｃｂ＿ａｖｅが入力され、演算回路８０Ｂは、平均値Ｃｂ＿ａｖｅの絶対値を比較回路８２Ｂに対して出力する。

【0026】

比較回路８２Ｂは、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値を超えるか否かを判定し、判定結果をセレクタ８４Ａに対して出力する。

【0027】

セレクタ８４Ａには、平均値Ｃｂ＿ａｖｅ、中央値Ｃｂ＿ｍｅｄ、及び比較回路８２Ｂの出力が入力される。セレクタ８４Ａは、比較回路８２Ｂの出力に基づいて、平均値Ｃｂ＿ａｖｅ及び中央値Ｃｂ＿ｍｅｄの何れかを選択し、かつセレクタ８４Ｂに対して出力する。

【0028】

具体的には、セレクタ８４Ａは、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値以下である場合、平均値Ｃｂ＿ａｖｅを選択し、かつセレクタ８４Ｂに対して出力する。一方、セレクタ８４Ａは、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値を超える場合、中央値Ｃｂ＿ｍｅｄを選択し、かつセレクタ８４Ｂに対して出力する。

【0029】

セレクタ８４Ｂには、平均値Ｃｂ＿ａｖｅ、セレクタ８４Ａの出力、及び比較回路８２Ａの出力が入力される。セレクタ８４Ｂは、比較回路８２Ａの出力に基づいて、平均値Ｃｂ＿ａｖｅ及びセレクタ８４Ａの出力の何れかを選択し、かつ出力する。

【0030】

具体的には、セレクタ８４Ｂは、エッジ成分値Ｅｄｇの絶対値が閾値を超える場合、セレクタ８４Ａの出力を選択し、かつ出力する。また、セレクタ８４Ｂは、エッジ成分値Ｅｄｇの絶対値が閾値以下である場合、平均値Ｃｂ＿ａｖｅを選択し、かつ出力する。

【0031】

セレクタ８４Ａの出力は、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値以下である場合は平均値Ｃｂ＿ａｖｅであり、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値を超える場合は中央値Ｃｂ＿ｍｅｄである。すなわち、平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値以下である場合は、セレクタ８４Ｂには同じ平均値Ｃｂ＿ａｖｅが入力されるため、セレクタ８４Ｂは、エッジ成分値Ｅｄｇの絶対値が閾値を超えるか否かにかかわらず、平均値Ｃｂ＿ａｖｅを出力する。平均値Ｃｂ＿ａｖｅの絶対値が中央値Ｃｂ＿ｍｅｄの絶対値を超える場合は、セレクタ８４Ｂは、エッジ成分値Ｅｄｇの絶対値が閾値を超えるか否かの判定結果に応じて平均値Ｃｂ＿ａｖｅ及び中央値Ｃｂ＿ｍｅｄの何れかを選択する。

【0032】

次に、図１０を参照して、本実施形態に係る画像処理装置１４の作用を説明する。図１０に示すデモザイク処理は、撮像素子１２から画像処理装置１４に対して画像情報１６が入力された場合に実行される。なお、ここでは、色差Ｃｂ及び色差Ｃｒのうち色差Ｃｂについて説明し、色差Ｃｒについての説明を省略するが、色差Ｃｒについても色差Ｃｂと同様の処理が実行される。

【0033】

図１０のステップＳ１０で、生成部４０は、前述したように、画像情報１６を用いて、各画素に輝度及び色差を含む画像情報１８を生成する。ステップＳ１２で、第１導出部４２は、前述したように、ステップＳ１０で生成された画像情報１８の着目画素の輝度及び着目画素の周辺画素の輝度を用いたエッジ検出処理を行うことにより着目画素のエッジ成分値Ｅｄｇを導出する。

【0034】

ステップＳ１４で、第２導出部４４は、ステップＳ１０で生成された画像情報１８の着目画素及び周辺画素の色差Ｃｂの平均値Ｃｂ＿ａｖｅを導出する。ステップＳ１６で、第３導出部４６は、ステップＳ１０で生成された画像情報１８の着目画素及び周辺画素の色差Ｃｂを昇順又は降順にソートし、着目画素及び周辺画素の色差Ｃｂの中央値Ｃｂ＿ｍｅｄを特定することにより、着目画素及び周辺画素の色差Ｃｂの中央値Ｃｂ＿ｍｅｄを導出する。

【0035】

ステップＳ１８で、選択部４８は、ステップＳ１４で導出された平均値Ｃｂ＿ａｖｅの絶対値がステップＳ１６で導出された中央値Ｃｂ＿ｍｅｄの絶対値以下であるか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ２０に移行する。ステップＳ２０で、選択部４８は、平均値Ｃｂ＿ａｖｅを着目画素の色差Ｃｂとして選択する。ステップＳ２０の処理が終了すると、デモザイク処理が終了する。

【0036】

ステップＳ１８の判定が否定判定となった場合、処理はステップＳ２２に移行する。ステップＳ２２で、選択部４８は、ステップＳ１２で導出されたエッジ成分値Ｅｄｇの絶対値が閾値を超えるか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ２４に移行する。ステップＳ２４で、選択部４８は、中央値Ｃｂ＿ｍｅｄを着目画素の色差Ｃｂとして選択する。ステップＳ２４の処理が終了すると、デモザイク処理が終了する。

【0037】

ステップＳ２２の判定が否定判定となった場合、処理はステップＳ２６に移行する。ステップＳ２６で、選択部４８は、平均値Ｃｂ＿ａｖｅを着目画素の色差Ｃｂとして選択する。ステップＳ２６の処理が終了すると、デモザイク処理が終了する。以上のデモザイク処理は、画像情報１８の着目画素を変更しながら繰り返し実行される。

【0038】

以上説明したように、本実施形態によれば、エッジ成分値の絶対値が閾値以下の場合、すなわち、エッジ以外の箇所においては色差の平均値が用いられる。一方、エッジ成分値の絶対値が閾値を超える場合、すなわち、特に色差の発生しやすいエッジ付近においては色差の平均値及び中央値のうちの小さい方の値が用いられる。これにより、エッジ以外の箇所では退色を防ぎつつ、エッジ上の偽色を低減させることができるデモザイク処理を実施することができる。また、本実施形態によれば、演算量を低減させることができるため、例えば、車載カメラが備えるＩＳＰ（Image Signal Processor）等の比較的小規模なプロセッサでもリアルタイム処理が可能となる。

【符号の説明】

【0039】

１０ 撮像装置
１２ 撮像素子
１４ 画像処理装置
１６、１８ 画像情報
２０ プロセッサ
４０ 生成部
４２ 第１導出部
４４ 第２導出部
４６ 第３導出部
４８ 選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】