特許 6540392 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6540392

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190628BHJP

   G03B 17/14 20060101ALI20190628BHJP

   G03B 17/18 20060101ALI20190628BHJP

【ＦＩ】

   H04N5/232 290

   G03B17/14

   G03B17/18 Z

【請求項の数】11

【全頁数】10

(21)【出願番号】特願2015-173687(P2015-173687)

(22)【出願日】2015年9月3日

(65)【公開番号】特開2017-50760(P2017-50760A)

(43)【公開日】2017年3月9日

【審査請求日】2018年8月6日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】板垣 秀星

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００５−１７６０４１（ＪＰ，Ａ）

【文献】 特開２０１５−０８８９３３（ＪＰ，Ａ）

【文献】 特開２００６−０３３６５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １７／１４

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

撮影画像の色情報に基づき、撮影画像の中で偽色領域を検出する偽色検出部と、
偽色領域を識別化させた検出画像を画面に表示する表示処理部と、
偽色領域に応じて、撮影画像に対し色収差補正処理を実行する補正処理部と、
色収差補正した撮影画像を、メモリに保存する記録処理部と
を備えたことを特徴とする画像処理装置。

【請求項2】

前記表示処理部が、補正前の撮影画像の偽色領域以外をマスクしたマスク画像に基づいて検出画像を表示することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記表示処理部が、補正前の撮影画像とマスク画像とを合成した合成画像を検出画像として表示することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

入力操作に応じて、偽色領域を修正する偽色領域修正部をさらに備えることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。

【請求項5】

前記偽色領域修正部が、偽色領域の追加および／または偽色領域の削除を行う入力操作によって指定された範囲に応じて、偽色領域を修正することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記偽色領域修正部が、入力操作に応じて、偽色領域の中で修正領域と非修正領域とを区分けすることを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記補正処理部が、検出画像表示後に行われる操作に応じて、色収差補正を実行することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。

【請求項8】

請求項１乃至７のいずれかに記載の画像処理装置を備えた撮像装置。

【請求項9】

撮影画像の色情報に基づき、撮影画像の中で偽色領域を検出し、
偽色領域を識別化させた検出画像を画面に表示し、
偽色領域に応じて、撮影画像に対し色収差補正処理を実行し、
色収差補正した撮影画像を、メモリに保存することを特徴とする画像処理方法。

【請求項10】

画像処理装置を、
撮影画像の色情報に基づき、撮影画像の中で偽色領域を検出する偽色検出手段と、
偽色領域を識別化させた検出画像を画面に表示する表示処理手段と、
偽色領域に応じて、撮影画像に対し色収差補正処理を実行する補正処理手段と、
色収差補正した撮影画像を、メモリに保存する記録処理手段と
して機能させることを特徴とするプログラム。

【請求項11】

撮影画像の中でレンズ特性に基づく画質劣化領域を検出する偽色検出部と、
画質劣化領域を識別化させた検出画像を画面に表示する表示処理部と、
画質劣化領域に応じて、撮影画像に対し補正処理を実行する補正処理部と、
補正した撮影画像を、メモリに保存する記録処理部と
を備えたことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像に対する画像処理に関し、特に、レンズの収差に対する画像補正に関する。

【背景技術】

【0002】

デジタルカメラなどでは、レンズの収差に起因して歪曲など画質劣化が生じる。これを防ぐため、撮影画像データに対し、レンズ特性に応じた歪曲収差補正を行う。具体的には、線形補間法、最近傍補間法などによる補間処理によって、画素の座標を補正する。

【0003】

ユーザが補正精度を確認しながら補正量を調整できるようにするため、補正前と補正後の画像データを重畳表示する構成が知られている（特許文献１参照）。そこでは、被写体輪郭などの補正対象となる被写体像と、指定した補正量に基づく補正後の被写体像を画面上に合わせて表示する。ユーザは、補正前後の被写体像から補正の程度、補正が適正であるか否かといった補正精度を確認し、適宜補正量を修正する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−１３４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

収差などに起因する画質劣化の場合、補正前後の被写体像を重ねて表示しても、ユーザによる補正精度の確認が困難となる場合がある。例えば、軸上色収差によって生じる色にじみ（フリンジ）を検出して補正した場合、フリンジ検出部分は同一エリアであって色のみ相違するため、補正前後の画像を重ねて表示しても確認ができない。

【0006】

したがって、色収差などの画質劣化に対し、ユーザが検出した部分を事前に確認することができることが求められる。

【課題を解決するための手段】

【0007】

本発明の画像処理装置は、撮像装置などに適用可能であり、撮影画像の色情報に基づき、撮影画像の中で偽色領域を検出する偽色検出部と、偽色領域を識別化させた検出画像を画面に表示する表示処理部と、偽色領域に応じて、撮影画像に対し色収差補正処理を実行する補正処理部と、色収差補正した撮影画像を、メモリに保存する記録処理部とを備える。例えば補正処理部は、撮影画像が補正される前の検出画像表示後に行われる操作に応じて、色収差補正を実行することが可能である。

【0008】

表示処理部は、補正前の撮影画像の偽色領域以外をマスクしたマスク画像に基づいて検出画像を表示すればよい。例えば表示処理部は、補正前の撮影画像とマスク画像とを合成した合成画像を検出画像として表示することができる。

【0009】

入力操作に応じて、偽色領域を修正する偽色領域修正部をさらに設けることが可能である。偽色領域修正部は、偽色領域の追加および／または偽色領域の削除を行う入力操作によって指定された範囲に応じて、偽色領域を修正することが可能である。あるいは、偽色領域修正部が、入力操作に応じて、偽色領域の中で修正領域と非修正領域とを区分けしてもよい。

【0010】

本発明の画像処理方法は、撮影画像の色情報に基づき、撮影画像の中で偽色領域を検出し、偽色領域を識別化させた検出画像を画面に表示し、偽色領域に応じて、撮影画像に対し色収差補正処理を実行し、色収差補正した撮影画像を、メモリに保存する。また、本発明のプログラムは、像処理装置を、撮影画像の色情報に基づき、撮影画像の中で偽色領域を検出する偽色検出手段と、偽色領域を識別化させた検出画像を画面に表示する表示処理手段と、偽色領域に応じて、撮影画像に対し色収差補正処理を実行する補正処理手段と、色収差補正した撮影画像を、メモリに保存する記録処理手段として機能させる。

【0011】

本発明の他の態様における画像処理装置は、撮影画像の中でレンズ特性に基づく画質劣化領域を検出する偽色検出部と、画質劣化領域を識別化させた検出画像を画面に表示する表示処理部と、画質劣化領域に応じて、撮影画像に対し補正処理を実行する補正処理部と、補正した撮影画像を、メモリに保存する記録処理部とを備える。

【発明の効果】

【0012】

本発明によれば、撮影画像において色収差などに起因する画質劣化に対し、その検出部分を確認することできる。

【図面の簡単な説明】

【0013】

【図1】本実施形態であるデジタルカメラのブロック図である。

【図2】撮影画像と、フリンジ色領域を抽出した画像と、それらを合成したマスク画像を示した図である。

【図3】フリンジ色領域の編集画面を示した図である。

【図4】フリンジ色領域の編集画面を示した図である。

【図5】編集作業後のマスク画像を示した図である。

【図6】修正されたフリンジ色領域に基づいて補正された撮影画像を示した図である。

【図7】画像信号処理回路において実行されるフリンジ補正処理のフローチャートを示した図である。

【発明を実施するための形態】

【0014】

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

【0015】

図１は、本実施形態であるデジタルカメラのブロック図である。

【0016】

デジタルカメラ１０は、ここではミラーレス型カメラとして構成されており、撮影光学系１２を収納する鏡筒１１がデジタルカメラ１０の本体に着脱自在に装着されている。レリーズボタン、十字ボタン、モードダイヤル（いずれも図示せず）などに対する操作に従い、撮影動作、記録画像の再生、ユーザによるモード設定などが行われる。

【0017】

ＣＰＵを含むコントローラ３０は、露出制御部３２、画像信号処理回路４０などに制御信号を出力し、レリーズスイッチ３７によって検出されるレリーズ操作に応じて、露出制御、撮影／記録動作を実行し、カメラ全体の動作制御を行う。カメラ動作制御のプログラムは、ＲＯＭなどの不揮発性メモリ１８に記憶されている。また、コントローラ３０は、ＤＳＰなどプログラマブルな回路で構成される画像信号処理回路４０に対し、画像信号処理回路などを実装させる。

【0018】

被写体からの光が撮影光学系１２を通ることにより、被写体像がイメージセンサ１４に形成される。イメージセンサ１４は、ＣＣＤ、ＣＭＯＳなどによって構成されており、カラーフィルタアレイ１４Ａがイメージセンサ１４の受光面上に対向配置されている。カラーフィルタアレイ１４Ａでは、ここではＲ，Ｇ，Ｂのカラーエレメントを市松状に配列、あるいはベイヤー配列させている。

【0019】

撮影モードでは、スルー画像をＬＣＤモニタ６０に表示するため、画素信号が所定のフレームレートでイメージセンサ１４から読み出される。読み出されたＲ，Ｇ，Ｂの画素信号は、ＡＦＥ回路１６を経由して画像信号処理回路４０に送られる。

【0020】

画像信号処理回路４０では、ゲイン処理、色変換処理、ホワイトバランス調整などをＲ，Ｇ，Ｂ画素信号に対して施し、Ｒ，Ｇ，Ｂカラー画像信号を生成する。ＬＣＤドライバ（図示せず）は、カラー画像信号に基づいてＬＣＤモニタ６０を駆動し、これによりスルー画像がＬＣＤモニタ６０に表示される。

【0021】

レリーズボタンが半押しされると、イメージセンサ１４から読み出される画素信号に基づいて、コントラスト式ＡＦ処理が実行される。コントラスト式ＡＦ処理による合焦動作とともに、イメージセンサ１４から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。

【0022】

レリーズボタンが全押しされると、露出制御部３２は、図示しないシャッタ、絞り等を駆動することによって露出制御する。これにより、１フレーム分の画素信号がイメージセンサ１４から読み出される。画像信号処理回路４０は、読み出された１フレーム分の画素信号に基づいて静止画像データを生成し、圧縮／非圧縮した状態で画像データをメモリ（ここではメモリカード４６）に記録する。再生モードが設定されると、メモリカード４６に記憶された画像がＬＣＤモニタ６０に表示される。

【0023】

機能などをユーザが変更するための機能設定モードでは、色収差補正機能をＯＮ／ＯＦＦ設定することが可能である。色収差補正モードＯＮ状態の場合、画像信号処理回路４０において、撮影画像に生じる色にじみ、偽色（以下、フリンジという）を抑制する画像処理が実行される。

【0024】

具体的には、Ｒ，Ｇ，Ｂの画像信号が輝度、色差信号Ｙ、Ｃｂ、Ｃｒに変換された後、色差信号Ｃｂ、Ｃｒから構成される画像（以下、ＣｂＣｒ画像とする）と、輝度信号から構成される画像（以下、Ｙ画像とする）とに基づいて、撮影画像の中のフリンジ領域を検出する。そして、フリンジ領域の色にじみを抑制する補正処理を施す。

【0025】

さらに、フリンジ編集を伴うフリンジ編集撮影モードがユーザによって設定されると、フリンジ領域を識別化、顕在化させた合成画像をＬＣＤモニタ６０に表示し、ユーザによる編集作業に応じてフリンジ領域が修正されると、その修正されたフリンジ領域に基づいた補正処理が実行される。ＬＣＤモニタ６０はタッチパネル６１を有し、フリンジ編集撮影モードでは合成画像の表示とともに編集作業に関連するアイコンを表示する。コントローラ３０は、ユーザの画面操作に応じて画像信号処理回路４０を制御し、入力操作に応じた表示を行う。

【0026】

鏡筒１１内に設けられた不揮発性のレンズメモリ１５には、撮影光学系１２のレンズ特性に関するデータが格納されており、レンズ色収差に関するデータがその中に含まれている。コントローラ３０は、レンズデータをレンズメモリ１５から読み出して不揮発性メモリ１８に格納する。画像信号処理回路４０は、レンズ色収差データを利用してフリンジ領域を検出する。なお、不揮発性メモリ１８にレンズ色収差データをあらかじめ記憶させてもよく、また、デジタルカメラ１０とは別に用意されたソフトウェアなどを用いて、レンズ色収差データを不揮発性メモリ１８に記憶させるようにしてもよい。

【0027】

以下、図２〜図６を用いて、撮影画像記録前のフリンジ領域の修正について説明する。

【0028】

図２は、撮影画像と、フリンジ色領域を抽出した画像と、それらを合成したマスク画像を示した図である。

【0029】

図２に示した撮影画像ＩＭには、被写体Ｐの輪郭部分にフリンジＦ０が生じており、実際の色とは異なる色によって輪郭部分の画像が形成されている。このフリンジＦを検出するため、１フレーム分の輝度、色差信号Ｙ、Ｃｂ、Ｃｒを輝度信号Ｙと色差信号Ｃｂ、Ｃｒに分離し、輝度信号から成るＹ画像と、色差信号から構成されるＣｂＣｒ画像とを生成する。

【0030】

ＣｂＣｒ画像については、色収差で他に含まれるフリンジの可能性が高い色情報に基づき、フリンジ色に応じた領域（以下、フリンジ色領域とする）を抽出した画像ＦＩ（以下、フリンジ色抽出画像という）が得られる。用いられる色差情報は、ＣｂＣｒ色空間（色差座標系）において定められたフリンジ色とみなされる色分布領域であり、レンズごとにその領域は異なる。図２では、フリンジ抽出画像ＦＩでは、フリンジ色と判断した画素部分を白色で示しており、それ以外の画素については黒色で表している。

【0031】

フリンジ抽出画像ＦＩが得られると、生成されたフリンジ抽出画像（マスク画像）ＦＩと撮影画像ＩＭとを合成することによって、フリンジ修正用画像（以下、合成画像という）ＩＣが生成され、ＬＣＤモニタ６０に表示される。合成処理としては、画素値の加算、平均値算出、あるいは比較明合成などによって行えばよい。撮影画像ＩＭ、フリンジ抽出画像ＦＩ、合成画像ＩＣは、一時的にＲＡＭなどのメモリに格納される。

【0032】

図２では、画像処理によって検出されたフリンジ部分Ｆには、誤検出部分Ｆ１が含まれている。また、輪郭部分であるのに検出されなかった検出漏れ部分Ｆ２が存在する。そこでユーザは、合成画像ＩＣから誤検出、検出漏れ部分を見つけ、グラフィック機能を利用して誤検出、検出漏れ部分を修正する。

【0033】

図３、図４は、フリンジ色領域の編集画面を示した図である。図５は、編集作業後のマスク画像を示した図である。図６は、修正されたフリンジ色領域に基づいて補正された撮影画像を示した図である。

【0034】

フリンジ編集撮影モードが設定されている場合、図２に示した合成画像ＩＣがレリーズボタン操作後、ＬＣＤモニタ６０に表示される。このときＬＣＤモニタ画面６０Ｓには、グラフィック機能を示すアイコンＧ１、Ｇ２が同時に表示される。Ｇ１は、ラインを画面上に描ける状態に設定するアイコンであり、Ｇ２は、画面上に描かれたラインを消去できる状態に設定するアイコンを表す。

【0035】

ユーザは、検出漏れ部分Ｆ２に対し、図示しないタッチペンによりアイコンＧ１を押下し、それによって表示された鉛筆マークＰＭを動かすことで検出漏れ部分Ｆ２にラインを描く。描かれたラインは、フリンジ領域の一部としてあらたに設定される。一方、ユーザは、アイコンＧ２の押下によって表示される消しゴムマークＥＭを動かすことにより、誤検出部分Ｆ１を消去する。消去部分は、フリンジ領域から除外される。

【0036】

図５に示すように、ユーザによる編集作業により、図２に示したフリンジ色領域Ｆはフリンジ色領域Ｆ’に変更されている。ユーザが十字ボタンなどによって編集終了の入力操作を行うと、このフリンジ色領域Ｆ’に従った画像補正処理が実行される。その結果、偽色となった被写体Ｐの輪郭部分が正確な被写体色となり、フリンジ除去の撮影画像Ｐが得られる（図６参照）。

【0037】

図７は、画像信号処理回路において実行されるフリンジ補正処理のフローチャートを示した図である。

【0038】

撮影動作が行われると、図２に示すようにフリンジ色領域を検出し、撮影画像ＩＭとフリンジ抽出画像を合成したマスク画像ＩＣを生成し、ＬＣＤモニタ６０に表示する（ステップＳ１〜Ｓ３）。そして、ユーザがフリンジ色領域を修正する入力操作を行うと、それに基づいてフリンジ色領域を修正する（ステップＳ４）。そして、修正されたフリンジ色領域に基づいて、色収差補正処理を実行する（ステップＳ５）。修正されなかった場合、検出されたフリンジ色領域がそのまま色収差補正処理を実行する。フリンジを除去した撮影画像をメモリカード４６に記録する（ステップＳ６）。このとき、保存される撮影画像がＬＣＤモニタ６０に表示される。

【0039】

このように本実施形態によれば、撮影画像を記録する前に、検出したフリンジ領域を画面上で識別できる合成画像を表示する。これにより、フリンジ誤検出部分、検出漏れ部分をユーザが確認することができる。特に、カラー撮影画像を背景ベースにした合成画像であるため、フリンジ部分の誤検出などを容易に見つけることができる。

【0040】

そして、入力操作があってからフリンジ検出領域を修正することにより、色収差補正処理の実行前に適切なフリンジ領域を指定することができ、レンズ色収差の画質劣化部分だけを適切に抑制した撮影画像を記録することができる。また、被写体色とフリンジ色が重なるような撮影画像に対しても、編集作業可能な画面状態をフリンジ補正、補正画像の記録前に作り出すことにより、ユーザの好みに応じて補正する範囲、程度を調整することができる。

【0041】

なお、補正前撮影画像とマスク画像とを重ね合わせた合成画像の代わりに、マスク画像を表示させてもよい。この場合、アイコン表示のためにフリンジ色領域以外の背景部分をグレー色調などにすればよい。検出されたフリンジ色領域が画面上で識別化されていればよい。例えば、フリンジ検出部分に特定色を付けて撮影画像に重ねて表示し、あるいは、フリンジ検出部分を点滅させればよい。

【0042】

ユーザによってフリンジ領域を追加、削除修正する編集画面を設定する代わりに、修正領域と非修正領域とをユーザが区分けする編集画面に設定してもよい。例えば、合成画像をグリッドによって分割し、ユーザがその中で編集する領域を選択するようにしてもよい。

【0043】

ユーザによるフリンジ色領域を修正する編集機能をもたない構成にすることも可能である。この場合でも、ユーザは、検出されたフリンジ色領域において誤検出、検出漏れ部分があるか否かを画面上で画像記録前に確認することができる。

【0044】

本実施形態では、軸上色収差に基づいた色収差に対して補正処理を行う構成であるが、倍率色収差、コマ収差など、それ以外のレンズ収差についても、同様に検出した画質劣化領域の現れる画像を、記録前に表示することが可能である。また、色モアレなど収差以外のレンズ特性に起因して生じる画質劣化部分を顕在化させた画像を表示してもよい。

【0045】

本実施形態に示された構成は、デジタルカメラ以外の撮像装置にも適用可能であり、また、ＰＣなどの画像処理装置に対しても適用可能である。

【符号の説明】

【0046】

１０ デジタルカメラ
１４ イメージセンサ
３０ コントローラ
４０ 画像信号処理回路（画像処理装置、補正処理部、表示処理部、偽色検出部、記録処理部）
６０ ＬＣＤモニタ（表示処理部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】