特許 6202238 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6202238

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20170914BHJP

   G06T 5/00 20060101ALI20170914BHJP

【ＦＩ】

   H04N1/387

   G06T5/00 735

【請求項の数】10

【全頁数】10

(21)【出願番号】特願2012-39644(P2012-39644)

(22)【出願日】2012年2月27日

(65)【公開番号】特開2013-175960(P2013-175960A)

(43)【公開日】2013年9月5日

【審査請求日】2015年2月25日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(74)【代理人】

【識別番号】100088100

【弁理士】

【氏名又は名称】三好 千明

(72)【発明者】

【氏名】佐藤 武志

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２０１１−０５３７３７（ＪＰ，Ａ）

【文献】 特開２００６−１８６９８３（ＪＰ，Ａ）

【文献】 特開２００６−０７４５５３（ＪＰ，Ａ）

【文献】 特開２０１１−０６１８６０（ＪＰ，Ａ）

【文献】 特開２００９−１４１６７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

画像を入力する入力手段と、
この入力手段によって入力された画像の輝度画像を生成する第１の画像生成手段と、
この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成手段と、
前記入力された画像と前記第２の画像生成手段によって生成された輝度画像とをこれらの画像における中央領域と周辺領域との透過強度を変えるように合成する第１の合成手段と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記第１の合成手段は、前記中央領域については前記入力された画像が強調されるように、一方、周辺領域については前記第２の画像生成手段によって生成された輝度画像が強調されるように、透過強度を変えて合成することを特徴とする請求項１記載の画像処理装置。

【請求項3】

画像を入力する入力手段と、
この入力手段によって入力された画像の輝度画像を生成する第１の画像生成手段と、
この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成手段と、
前記入力された画像と前記第２の画像生成手段によって生成された輝度画像とをこれらの画像における一の領域と他の領域との透過強度を変えるように合成する第１の合成手段と、
前記輝度画像を、セピア色を強調するように加工する加工手段と、
を備えたことを特徴とする画像処理装置。

【請求項4】

前記第１の合成手段は、前記一の領域については前記入力された画像が強調されるように、一方、前記他の領域については前記第２の画像生成手段によって生成された輝度画像が強調されるように、透過強度を変えて合成することを特徴とする請求項３記載の画像処理装置。

【請求項5】

前記第１の合成手段によって合成される前記入力された画像は、前記第１の画像生成手段によって輝度画像に生成される前の画像であることを特徴とする請求項１から４のいずれか記載の画像処理装置。

【請求項6】

前記入力された画像と前記第１の画像生成手段によって生成された輝度画像とを透過合成する第２の画像合成手段を更に備え、
前記第１の合成手段は、前記第２の画像合成手段によって透過合成された画像と前記第２の画像生成手段によって生成された輝度画像とを合成することを特徴とする請求項１から５のいずれか記載の画像処理装置。

【請求項7】

入力された画像の輝度画像を生成する第１の画像生成ステップと、
この第１の画像生成ステップにて生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成ステップと、
前記入力された画像と前記第２の画像生成ステップにて生成された輝度画像とをこれらの画像における中央領域と周辺領域との透過強度を変えるように合成する合成ステップと、
を含むことを特徴とする画像処理方法。

【請求項8】

入力された画像の輝度画像を生成する第１の画像生成ステップと、
この第１の画像生成ステップにて生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成ステップと、
前記入力された画像と前記第２の画像生成ステップにて生成された輝度画像とをこれらの画像における一の領域と他の領域との透過強度を変えるように合成する合成ステップと、
前記輝度画像を、セピア色を強調するように加工する加工ステップと、
を含むことを特徴とする画像処理方法。

【請求項9】

装置が有するコンピュータを、
画像を入力する入力手段、
この入力手段によって入力された画像の輝度画像を生成する第１の画像生成手段、
この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成手段、
前記入力された画像と前記第２の画像生成手段によって生成された輝度画像とをこれらの画像における中央領域と周辺領域との透過強度を変えるように合成する合成手段、
として機能させることを特徴とするプログラム。

【請求項10】

装置が有するコンピュータを、
画像を入力する入力手段、
この入力手段によって入力された画像の輝度画像を生成する第１の画像生成手段、
この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成手段、
前記入力された画像と前記第２の画像生成手段によって生成された輝度画像とをこれらの画像における一の領域と他の領域との透過強度を変えるように合成する合成手段、
前記輝度画像を、セピア色を強調するように加工する加工手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、特殊効果を奏するパラメータを設定し、原画像全体にフィルタ処理をかけることにより、例えば、印刷した場合の退色表現を施し、レトロ調に加工した画像を生成する技術が知られている（例えば下記特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２６８２１７号公報の段落「００２９」

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の画像処理技術の場合、特殊効果を奏するパラメータを設定し、原画像全体にフィルタ処理をかけることから、実際には現実感に乏しい特殊効果が付与されてしまう。

【0005】

本発明は、かかる従来の課題に鑑みてなされたものであり、現実に写真として印刷された風合い、つまり現実感を残した特殊効果を画像に付与することを目的とするものである。

【課題を解決するための手段】

【0006】

前記課題を解決するため本発明は、画像を入力する入力手段と、この入力手段によって入力された画像の輝度画像を生成する第１の画像生成手段と、この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、褪色状態を表現する程度に明るさが強調された輝度画像を生成する第２の画像生成手段と、前記入力された画像と前記第２の画像生成手段によって生成された輝度画像とをこれらの画像における中央領域と周辺領域との透過強度を変えるように合成する第１の合成手段と、を備えたことを特徴とする。

【発明の効果】

【0007】

本発明によれば、画像全体を均一に退色させる等の均一的な特殊効果を付与することなく、画像領域毎に異なる特殊効果を付与することができる。その結果、現実に写真として印刷された風合い、つまり現実感を残した特殊効果を画像に付与することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施の形態を適用した撮像装置の回路ブロック図である。

【図2】同撮像装置における処理手順を示すフローチャートである。

【図3】同処理手順に対応する遷移図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像処理装置を備える撮像装置の回路構成図である。この撮像装置は、撮像部１、駆動制御部２、ユニット回路３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は画像合成部１２を備える。

【0010】

撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ユニット回路３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、キー入力部４に設けられているシャッターキー、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、画像（カラー画像）を取得する。

【0011】

ユニット回路３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。尚、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。

【0012】

尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行なうようにしたが、これに限らない。例えば上記の制御は制御部９で行なうようにしてもよい。

【0013】

キー入力部４は、上述のシャッターキーの他、撮影モードへの切り換え、本発明に係る画像処理を目的とする画像処理モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。

【0014】

表示部５は、ユーザが画像処理対象とする画像を選択する際に画像記録部６に記録されている画像を一覧表示する選択画面表示や、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９はＣＰＵ及びその周辺回路で構成され、この撮像装置全体の処理動作を制御する。

【0015】

画像処理部１０は例えばＤＳＰ(Digital Signal Processor)であり、ユニット回路３から送られてきたベイヤーデータに、ペデスタルクランプ等の処理を施した後、ＲＧＢデータに変換し、更にＲＧＢデータを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換する。この画像処理部１０で変換された１フレーム分のＹＵＶデータは表示部５へ送られ、そこでビデオ信号に変換された後、ライブビュー画像として表示される。

【0016】

また、静止画撮影モードにおいて使用者によるシャッターキー操作が検出されると、駆動制御部２が撮像部１及びユニット回路３をライブビュー画像撮像時とは異なる静止画撮影用の駆動方式や駆動タイミングに切り替えることにより静止画撮影処理を実行し、この静止画撮影処理により得られた１フレーム分のＹＵＶデータは、画像処理部１０でＪＰＥＧ方式等によるデータ圧縮後コード化され、ファイル化された後、バスラインを介して画像記録部６に静止画データ（静止画ファイル）として記録される。

【0017】

画像処理部１０は、このような画像データに対する処理の他、本発明の特徴的構成に対応する画像生成部１１や画像合成部１２を備える。すなわち画像生成部１１は、後述のようにユーザによって選択された画像から輝度画像を生成し、さらにはこの生成した輝度画像の明るさに関する特性を変更し、明るさが強調された画像を生成する。また、画像合成部１２は、図２フローチャート及び図３の例に示す画像を合成する機能を有する。

【0018】

次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る画像処理モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。

【0019】

すなわち、制御部９は表示部５を制御して、画像記録部６に記録されている画像を一覧表示する画像選択画面を表示させる（ステップＳ１）。そして、この画像選択画面に表示された画像のいずれかに対する選択が検出されたか否かを判断する（ステップＳ２）。

【0020】

いずれかの画像に対する選択が検出されたならば、例えば図３に示す画像に対する選択が検出されたならば、当該画像を原画像ＰＡとして画像記録部６から読み出して、画像処理部１０入力するとともに、表示部５に全画面表示させる（ステップＳ３）。

【0021】

この原画像ＰＡは、前述のように輝度（Ｙ）成分及び色差（ＵＶ）成分とで構成されるＹＵＶデータである。そこで、制御部９は画像処理部１０を制御して原画像ＰＡを解析し、輝度・色差（Ｙ、Ｕ、Ｖ）画像を生成するとともに、これらのうち輝度（Ｙ）成分画像を分離する（ステップＳ４）。さらに、この輝度（Ｙ）成分画像をセピア色に着色加工する（ステップＳ５）。したがって、これらステップＳ４及びＳ５での処理により、図３（Ｂ）に示す輝度（Ｙ）成分画像をセピア色に着色加工したＹ成分セピア画像ＰＢが生成される。

【0022】

次に、このセピア調に着色加工した画像（Ｙ成分セピア画像ＰＢ）について、γカーブを補正し明るさを強調させる（ステップＳ６）。このステップＳ６での処理により、図３（Ｄ）に示すように、同図（Ｂ）に示したＹ成分セピア画像ＰＢを補正して明るさを強調させた明るさ強調セピア画像ＰＤが生成される。

【0023】

また、合成比１：１で原画像とセピア調に着色した画像とをαブレンディング合成する（ステップＳ７）。これにより、図３に示すように、同図（Ａ）の原画像ＰＡと（Ｂ）のＹ成分セピア画像ＰＢとが、１：１でブレンディング合成され、その結果、同図（Ｃ）のαブレンディング画像ＰＣが生成される。

【0024】

そして、中央領域については先にステップＳ７でαブレンディング合成した画像の比率が高くなるように、左右周辺領域については、先にステップＳ６でγカーブを補正し明るさを調整した画像の比率が高くなるように、αブレンディング合成する（ステップＳ８）。つまり、図３に示すように、中央領域については図３（Ｃ）のαブレンディング画像ＰＣの比率が高くなるように、左右周辺領域については同図（Ｄ）の明るさ強調セピア画像ＰＤの比率が高くなるように、両者をαブレンディング合成する。これにより、同図（Ｅ）に示すセピア調画像ＰＥが生成されることとなる。

【0025】

次に、この生成されたセピア調画像ＰＥをＪＰＥＧ方式で符号化して画像ファイルを生成し、この画像ファイルを画像記録部６に記録するとともに、表示部５に表示させる（ステップＳ９）。このセピア調画像ＰＥにあっては、その中央領域ＰＥ１に関してはαブレンディング画像ＰＣの比率が高く、左側領域ＰＥ２及び右側領域ＰＥ３に関しては強調セピア画像ＰＤの比率が高い画像である。したがって、左側領域ＰＥ２及び右側領域ＰＥ３は、中央領域ＰＥ１よりもセピア調の度合が高く退色効果を奏することから、画像全体が均一には退色していない感を呈する。よって、印刷された原画像ＰＡが、恰も実際の経年変化に伴って退色したかのように、レトロ調に加工された画像ＰＥを得ることができ、現実に写真として印刷された風合い、つまり現実感を残した特殊効果を画像に付与することができる。

【0026】

また、このセピア調画像ＰＥは、左側領域ＰＥ２及び右側領域ＰＥ３に関してはセピア調の度合が高く、中央領域ＰＥ１よりも退色している感を呈することから、観賞する際に手で持つサイズの画像であれば周辺領域が退色し易いという現実感に沿った退色形態を発生させることができる。

【0027】

尚、実施の形態においては、例えば再生モードにおいて、既に画像記録部６に記憶されている単写画像（原画像ＰＡ）から輝度画像への分離というプロセスで処理を行うようにしたが、撮影モード下における処理として、撮像処理直後に行なうようにしてもよい。また、撮影モードにおける処理では、連写により複数枚の画像を撮影し、その内の一つから任意に選択した画像から輝度画像を分離するようにしてもよい。このケースにおいて、オートストロボによる発光時の撮影が必要と判断された場合は、連写での撮影の中にストロボフラッシュの発光による撮影を含ませ、これにより得られた画像を輝度画像にしてもよい。このようにすれば、γカーブを補正しないで合成に必要な画像を生成することができる。

【0028】

また、ステップＳ７では、合成比１：１で原画像とセピア調に着色した画像とをαブレンディング合成するようにしたが、合成比はこれに限るものではなく、ユーザの操作により合成比を任意に変更できるようにしてもよい。例えば、退色効果を強調させたければ、セピア調の合成比率を高くする。このようにすれば、ユーザが所望する度合の退色効果を奏する画像を生成することができる。

【0029】

また、ステップＳ８における中央領域と周辺領域との合成比率を逆転させ、中央領域については先のステップＳ７でαブレンディング合成した画像の比率が低くなるように、左右側領域については、先のステップＳ６でγカーブを補正し明るさを調整した画像の比率が低くなるように、してもよい。こうした場合、中央領域のみ退色効果を奏したような画像を生成することができる。また、周辺領域については、ユーザの操作により左右方向、上下方向、周囲全般等、退色方向を任意に選択できるようにしてもよい。これにより、ユーザが想定する画像のあらゆる保存環境に応じた現実感のある退色効果を付与した画像を生成することができる。

【0030】

また、ステップＳ５では、輝度（Ｙ）成分画像をセピア色に着色加工するようにしたが、セピア色以外の他の色に着色加工するようにしてもよい。これにより、退色効果以外の他の特殊効果を奏する画像を生成することができる。

【0031】

以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。

【0032】

以下の、本出願の特許請求の範囲に記載された発明を付記する。
（付記）

【0033】

＜請求項１＞
画像を入力する入力手段と、
この入力手段によって入力された画像から輝度画像を生成する第１の画像生成手段と、
この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、明るさが強調された画像を生成する第２の画像生成手段と、
これら画像の一の領域と他の領域との透過強度を変えるように、前記入力された画像に前記第２の画像生成手段によって生成された画像を合成する第１の合成手段と、
を備えたことを特徴とする画像処理装置。

【0034】

＜請求項２＞
前記画像の一の領域と他の領域とは、画像の中央領域と周辺領域であることを特徴とする１記載の画像処理装置。

【0035】

＜請求項３＞
前記第１の画像生成手段によって生成された輝度画像を、セピア色を強調するように加工する加工手段を更に備え、
前記第２の画像生成手段は、前記加工手段によって加工された画像から前記明るさが強調された画像を生成することを特徴とする請求項１又は２記載の画像処理装置。

【0036】

＜請求項４＞
前記第１の合成手段は、前記画像の中央領域については前記入力された画像が強調される一方、周辺領域については前記第２の画像生成手段によって生成された画像が強調されるように透過強度を変えて合成することを特徴とする請求項１、２又は３記載の画像処理装置。

【0037】

＜請求項５＞
前記入力された画像に前記第１の画像生成手段によって生成された画像を透過合成する第２の画像合成手段を更に備え、
前記第１の合成手段は、前記入力された画像に代えて、前記第２の合成手段によって透過合成された画像に前記第２の画像合成手段によって生成された画像を合成することを特徴とする請求項１から４にいずれか記載の画像処理装置。

【0038】

＜請求項６＞
入力された画像から輝度画像を生成する第１の画像生成ステップと、
この第１の画像生成ステップで生成された輝度画像の明るさに関する特性を変更し、明るさが強調された画像を生成する第２の画像生成ステップと、
これら画像の一の領域と他の領域との透過強度を変えるように、前記入力された画像に前記第２の画像生成ステップで生成された画像を合成する合成ステップと、
を含むことを特徴とする画像処理方法。

【0039】

＜請求項７＞
装置が有するコンピュータを、
画像を入力する入力手段、
この入力手段によって入力された画像から輝度画像を生成する第１の画像生成手段、
この第１の画像生成手段によって生成された輝度画像の明るさに関する特性を変更し、明るさが強調された画像を生成する第２の画像生成手段、
これら画像の一の領域と他の領域との透過強度を変えるように、前記入力された画像に前記第２の画像生成手段によって生成された画像を合成する第１の合成手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0040】

１ 撮像部
２ 駆動制御部
３ ユニット回路
４ キー入力部
５ 表示部
６ 画像記録部
７ プログラムメモリ
８ ＲＡＭ
９ 制御部
１０ 画像処理部
１１ 画像生成部
１２ 画像合成部

【図1】

【図2】

【図3】