特許 7555730 画像処理装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】画像処理装置、方法及びプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240917BHJP

   H04N 23/76 20230101ALI20240917BHJP

【ＦＩ】

H04N23/63 110

H04N23/76

【請求項の数】 6

(21)【出願番号】P 2020090260

(22)【出願日】2020-05-25

(65)【公開番号】P2021185649

(43)【公開日】2021-12-09

【審査請求日】2023-05-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】田島 香

【審査官】辻本 寛司

(56)【参考文献】

【文献】特開２０１２－１１９９９７（ＪＰ，Ａ）

【文献】特開２００７－１８０７１８（ＪＰ，Ａ）

【文献】特開２０１７－１６３３３９（ＪＰ，Ａ）

【文献】特開２０１４－１６７６０９（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３００６６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／７６

(57)【特許請求の範囲】

【請求項1】

撮像部の出力信号に対して階調変換処理を行う第１の階調変換処理手段と、
前記撮像部の出力信号に対して前記第１の階調変換処理手段の階調変換特性とは異なる階調変換特性の階調変換処理を行う第２の階調変換処理手段と、
前記第１の階調変換処理手段の処理結果及び前記第２の階調変換処理手段の処理結果を選択して、表示部に表示するように切り替える切り替え手段と、
前記切り替え手段を制御する制御手段とを備え、
前記第２の階調変換処理手段は、所定の値以下の信号値の範囲である低輝度域で、前記第１の階調変換処理手段の階調変換特性と略一致する階調変換特性で階調変換処理を行い、前記所定の値よりも大きい信号値の範囲である高輝度域で、前記第１の階調変換処理手段の階調変換特性よりも階調圧縮の度合いが小さい階調変換特性で階調変換処理を行い、
前記制御手段は、露出調整中に、前記第２の階調変換処理手段の処理結果を前記表示部に表示するように前記切り替え手段を制御することを特徴とする画像処理装置。

【請求項2】

前記第１の階調変換処理手段の処理結果が、記録処理を実行する記録処理手段に出力されることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第２の階調変換処理手段の階調変換特性は、前記表示部の表示の絶対輝度に対応付けて圧縮する特性を有することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記制御手段は、ユーザ指示部の出力に基づいて、前記切り替え手段を制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

撮像部の出力信号に対して第１の階調変換処理を行うステップと、
前記撮像部の出力信号に対して前記第１の階調変換処理の階調変換特性とは異なる階調変換特性の第２の階調変換処理を行うステップと、
前記第１の階調変換処理の処理結果及び前記第２の階調変換処理の処理結果を選択して、表示部に表示するように切り替えるステップとを有し、
前記第２の階調変換処理は、所定の値以下の信号値の範囲である低輝度域で、前記第１の階調変換処理の階調変換特性と略一致する階調変換特性で階調変換処理を行い、前記所定の値よりも大きい信号値の範囲である高輝度域で、前記第１の階調変換処理の階調変換特性よりも階調圧縮の度合いが小さい階調変換特性で階調変換処理を行い、
前記切り替えるステップでは、露出調整中に、前記第２の階調変換処理の処理結果を前記表示部に表示するように切り替えることを特徴とする画像処理方法。

【請求項6】

撮像部の出力信号に対して第１の階調変換処理を行うステップと、
前記撮像部の出力信号に対して前記第１の階調変換処理の階調変換特性とは異なる階調変換特性の第２の階調変換処理を行うステップと、
前記第１の階調変換処理の処理結果及び前記第２の階調変換処理の処理結果を選択して、表示部に表示するように切り替えるステップとをコンピュータに実行させ、
前記第２の階調変換処理は、所定の値以下の信号値の範囲である低輝度域で、前記第１の階調変換処理の階調変換特性と略一致する階調変換特性で階調変換処理を行い、前記所定の値よりも大きい信号値の範囲である高輝度域で、前記第１の階調変換処理の階調変換特性よりも階調圧縮の度合いが小さい階調変換特性で階調変換処理を行い、
前記切り替えるステップでは、露出調整中に、前記第２の階調変換処理の処理結果を前記表示部に表示するように切り替えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、方法及びプログラムに関する。

【背景技術】

【0002】

デジタルカメラでは、撮影中の現像結果を電子ビューファインダーや液晶ディスプレイ等の表示部に表示し、ユーザはその表示を見ながら露出調整を行うことができる。
また、明るさの違う写真を複数枚撮影して合成することで、より明るさの再現幅が広い画像を作り上げるＨＤＲ（High Dynamic Range）撮影技術が知られている。
例えば特許文献１には、第１の画像と、第１の画像よりも広ダイナミックレンジの第２の画像とを作成し、第１の画像中の主要被写体の明るさと第２の画像中の主要被写体の明るさとが略同じになるように、第２の画像情報のガンマ特性を調整し、第１の画像と第２の画像とを切り替えて表示させるようにした画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４５４４３１８号公報

【非特許文献】

【0004】

【文献】Recommendation ITU-R BT.2100 p.5 TABEL4 Reference PQ OETF

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の画像処理装置では、暗部～中間の輝度域に含まれる被写体の明るさが、入力ダイナミックレンジによらず略一定となり、かつ、階調変換処理後のピーク輝度を、表示部のピーク輝度に相対的に割り当てるような階調変換処理を行っている。そのため、撮像装置の入力ダイナミックレンジが広くなるほど、中間～ハイライトの輝度域の信号が圧縮されることになり、現像後の画像を見ながら露出調整を行うと、白とびを避けるため、アンダー露出で撮影し、暗部のノイズが悪化しやすくなるといった課題があった。

【0006】

本発明は上記のような点に鑑みてなされたものであり、目的に適した画像を切り替えて表示できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の画像処理装置は、撮像部の出力信号に対して階調変換処理を行う第１の階調変換処理手段と、前記撮像部の出力信号に対して前記第１の階調変換処理手段の階調変換特性とは異なる階調変換特性の階調変換処理を行う第２の階調変換処理手段と、前記第１の階調変換処理手段の処理結果及び前記第２の階調変換処理手段の処理結果を選択して、表示部に表示するように切り替える切り替え手段と、前記切り替え手段を制御する制御手段とを備え、前記第２の階調変換処理手段は、所定の値以下の信号値の範囲である低輝度域で、前記第１の階調変換処理手段の階調変換特性と略一致する階調変換特性で階調変換処理を行い、前記所定の値よりも大きい信号値の範囲である高輝度域で、前記第１の階調変換処理手段の階調変換特性よりも階調圧縮の度合いが小さい階調変換特性で階調変換処理を行い、前記制御手段は、露出調整中に、前記第２の階調変換処理手段の処理結果を前記表示部に表示するように前記切り替え手段を制御することを特徴とする。

【発明の効果】

【0008】

本発明によれば、目的に適した画像を切り替えて表示することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る撮像装置の構成を示す図である。

【図2】階調変換処理部の構成例を示す図である。

【図3】実施形態に係る撮像装置が実行する処理を示すフローチャートである。

【図4】階調変換特性の例を示す特性図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１に、実施形態に係る撮像装置１００の構成を示す。本実施形態では、撮像装置１００が本発明を適用した画像処理装置として機能する例を説明する。
撮像装置１００は、光学系１０１と、撮像素子１０２と、Ａ／Ｄ変換部１０３と、色調整処理部１０４と、階調変換処理部１０５と、輝度・色差符号化処理部１０６とを備える。また、撮像装置１００は、記録処理部１０７と、表示処理部１０８と、表示部１０９と、ユーザ指示部１１０と、システム制御部１１１と、記憶部１１２とを備える。

【0011】

光学系１０１は、フォーカスレンズや絞り、シャッターを含む。撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号に変換するＣＭＯＳ等の素子である。光学系１０１のフォーカスや絞り、シャッターや撮像素子１０２の撮影感度等は、撮影時のダイナミックレンジに基づいて、システム制御部１１１によって制御される。本実施形態では、光学系１０１及び撮像素子１０２が本発明でいう撮像部として機能する。

【0012】

Ａ／Ｄ変換部１０３は、撮像素子１０２から受信した電気信号をデジタル信号に変換したＲＡＷ画像を生成する。色調整処理部１０４は、Ａ／Ｄ変換部１０３で生成したＲＡＷ画像のＲＧＢ値に対して、ホワイトバランス調整のためのゲイン処理や、色再現特性の調整のためのマトリクス処理を行う。階調変換処理部１０５は、色調整処理部１０４で色調整処理を行ったＲＧＢ信号に対して階調変換処理を行う。輝度・色差符号化処理部１０６は、階調変換処理部１０５で階調変換処理を行ったＲＧＢ信号を輝度・色差信号に変換するマトリクス処理を行う。

【0013】

記録処理部１０７は、記録処理を実行する。記録処理部１０７は、輝度・色差符号化処理部１０６から出力される画像信号、及び、未現像のＲＡＷ画像のうちの少なくともいずれかを、所定のファイルフォーマットで記録媒体に記録するための符号化圧縮処理を行う。本実施形態では、記録処理部１０７が本発明でいう記録処理手段として機能する。

【0014】

表示処理部１０８は、輝度・色差符号化処理部１０６から出力される画像信号を表示部１０９に表示するための処理を行う。表示部１０９は、例えば電子ビューファインダー、撮像装置１００の背面に設置された液晶ディスプレイ等により構成される。

【0015】

ユーザ指示部１１０は、撮像装置１００に設置された操作ダイヤルや、撮像装置１００の背面のタッチパネル方式の液晶ディスプレイ等により構成される。ユーザ指示部１１０を用いて、例えばユーザが撮影シーンに応じた、撮影時の露出設定を行う際に、設定値を入力することができる。
システム制御部１１１は、撮像装置１００全体の動作を制御する。本実施形態では、システム制御部１１１が本発明でいう制御手段として機能する。記憶部１１２は、システム制御部１１１が実行するプログラムの格納領域や、プログラム実行中のワーク領域として用いられる。

【0016】

このように撮像装置１００は、撮影中に画像を確認することのできる表示部１０９を備えており、撮影中にユーザが表示部１０９に表示される画像を確認しながら、構図や露出を含む撮影条件を調整して、撮影を行うことができる。

【0017】

次に、図２及び図４を参照して、階調変換処理部１０５について説明する。
図２に、階調変換処理部１０５の構成例を示す。階調変換処理部１０５は、第１のガンマ処理部２０１と、第２のガンマ処理部２０２と、切り替え部２０３とを備える。第１のガンマ処理部２０１の処理結果が、記録処理部１０７に出力される。また、第１のガンマ処理部２０１の処理結果及び第２のガンマ処理部２０２の処理結果が、切り替え部２０３を介して選択的に表示処理部１０８に出力される。

【0018】

第１のガンマ処理部２０１、第２のガンマ処理部２０２はそれぞれ、撮影フレームの入力ダイナミックレンジの設定に応じてシステム制御部１１１で設定された階調変換特性に基づいて、入力画像信号に対して階調変換処理を行う。
図４に、第１のガンマ処理部２０１及び第２のガンマ処理部２０２の階調変換特性の例を示す。横軸は、入力信号値であるＲＡＷ画像の信号値を、シーンの明るさに対応付けて正規化した値を示す。信号値４００は、反射率１８％の被写体が適正露出になる信号値（以下、適露出と表記）に対応し、信号値４０１、４０２、４０３、４０４は、それぞれ適露出の明るさを１８％としたときに、１００％、２００％、３００％、４００％の明るさに対応する。また、縦軸は、階調変換処理後の出力信号値を示す。
特性線４２０、４２１は第１のガンマ処理部２０１の階調変換特性を示す。また、特性線４２２は、第２のガンマ処理部２０２の階調変換特性を示す。

【0019】

第２のガンマ処理部２０２の特性線４２２は、非特許文献１に記載のＰＱ方式のＯＥＴＦ特性に略一致する特性となっており、シーンの明るさを視覚特性に基づいて、表示部１０９の表示の絶対輝度に対応付けて圧縮する特性となっている。なお、ＯＥＴＦ処理の前段に、暗部を沈めたＳ字の階調特性をＯＯＴＦとして適用してもよい。

【0020】

第１のガンマ処理部２０１の特性線４２０は、入力ダイナミックレンジが２００％のときに第１のガンマ処理部２０１に設定される階調変換特性である。適露出を１８％として、２００％の明るさの信号が入力されたときに、出力が飽和する階調変換特性となっている。また、特性線４２１は、入力ダイナミックレンジが４００％のときに第１のガンマ処理部２０１に設定される階調変換特性である。適露出を１８％として、４００％の明るさの信号が入力されたときに、出力が飽和する階調変換特性となっている。
特性線４２０、４２１に示す階調変換特性は、共に第２のガンマ処理部２０２の特性線４２２に示す階調変換特性よりも、明部の輝度域の階調圧縮の度合いが大きい特性になっている。これは、それぞれの入力ダイナミックレンジにおいて、センサ飽和近傍の領域で急激なトーンジャンプを発生させないよう、目標の出力飽和レベルを下げるとともに、徐々に目標の出力飽和レベルに到達するよう階調圧縮しているためである。
一方で、特性線４２０、４２１に示す階調変換特性は、共に中間～明部の輝度域に主要な被写体が存在する場合に、白とびしたように見える場合がある。

【0021】

システム制御部１１１の制御下で、第１のガンマ処理部２０１の処理結果及び第２のガンマ処理部２０２の処理結果を、切り替え部２０３を介して選択的に表示処理部１０８に出力する。これにより、後述するように、目的に適した画像を切り替えて表示することができる。
本実施形態では、第１のガンマ処理部２０１、第２のガンマ処理部２０２、及び切り替え部２０３がそれぞれ本発明でいう第１の階調変換処理手段、第２の階調変換処理手段、及び切り替え手段として機能する。

【0022】

次に、図３のフローチャートを参照して、階調変換処理部１０５の処理の流れについて説明する。図３のフローチャートにおける各処理は、システム制御部１１１が、記憶部１１２に格納されたプログラムを実行することにより実現される。
ステップＳ３０１で、システム制御部１１１は、フレーム撮影時の入力ダイナミックレンジを参照する。

【0023】

ステップＳ３０２で、システム制御部１１１は、入力ダイナミックレンジの設定に基づいて、第１のガンマ処理部２０１の階調変換特性を設定する。例えばフレーム撮影時の入力ダイナミックレンジが２００％である場合には、図４の特性線４２０に示すような階調変換特性が設定される。

【0024】

ステップＳ３０３で、システム制御部１１１は、入力ダイナミックレンジの設定に基づいて、第２のガンマ処理部２０２の階調変換特性を設定する。例えばフレーム撮影時の入力ダイナミックレンジが２００％である場合には、図４の特性線４２２に示すような階調変換特性が設定される。

【0025】

ステップＳ３０４で、システム制御部１１１は、ステップＳ３０２、Ｓ３０３で設定された階調変換特性に従って、撮影フレームの入力画像信号に対して、第１のガンマ処理部２０１及び第２のガンマ処理部２０２それぞれで階調変換処理を行うように制御する。

【0026】

ステップＳ３０５で、システム制御部１１１は、撮像装置１００の動作状態を参照し、露出調整中であるか否かを判定する。システム制御部１１１は、例えばユーザ指示部１１０を介してシャッターボタンの半押し動作、測光開始ボタンの押下が検出された場合には、露出調整中であると判定する。システム制御部１１１が露出調整中であると判定した場合、処理はステップＳ３０６に進み、そうでない場合、処理はステップＳ３０８に進む。

【0027】

ステップＳ３０６で、システム制御部１１１は、入力ダイナミックレンジの設定に基づいて、入力画像信号の信号レベルを画素単位で判定することにより、明部の信号であるか否かを判定する。着目画素の信号レベルが、入力ダイナミックレンジの設定に基づいて設定された閾値よりも大きい場合、明部の輝度域に含まれる画素であると判定し、閾値以下である場合、暗部の輝度域に含まれる画素であると判定する。例えば入力ダイナミックレンジが２００％である場合には、図４の信号値４０１が閾値に対応する信号レベルとなる。信号値４０１～４０２の範囲の信号レベルの画素は明部に属すると判定され、信号値［０］～信号値４０１の範囲の信号レベルの画素は暗部に属すると判定される。システム制御部１１１が明部の信号であると判定した場合、処理はステップＳ３０７に進み、そうでない場合、処理はステップＳ３０８に進む。

【0028】

ステップＳ３０７で、システム制御部１１１は、切り替え部２０３を制御して、第２のガンマ処理部２０２の処理結果を表示処理部１０８に出力し、表示部１０９に表示する。

【0029】

ステップＳ３０８で、システム制御部１１１は、階調変換処理部１０５を明部階調優先で動作させるか否かを判定する。システム制御部１１１は、例えばユーザ指示部１１０を介して明部階調優先の動作が指示された場合には、明部階調優先で動作させると判定する。システム制御部１１１が明部階調優先で動作させると判定した場合、処理はステップＳ３０７に進み、そうでない場合、処理はステップＳ３０９に進む。

【0030】

ステップＳ３０９で、システム制御部１１１は、切り替え部２０３を制御して、第１のガンマ処理部２０１の処理結果を表示処理部１０８に出力し、表示部１０９に表示する。

【0031】

ステップＳ３１０で、システム制御部１１１は、撮像装置１００の動作状態を参照し、シャッターレリーズされたか否かを判定する。システム制御部１１１がシャッターレリーズされたと判定した場合、処理はステップＳ３１１に進み、そうでない場合、処理はステップＳ３０４に戻り、次の撮影フレームの入力画像信号に対して階調変換処理を行う。

【0032】

ステップＳ３１１で、システム制御部１１１は、第１のガンマ処理部２０１の処理結果を記録処理部１０７に出力する。

【0033】

以上のように、第２のガンマ処理部２０２は、低輝度域である暗部～中間の輝度域で、第１のガンマ処理部２０１の階調変換特性と略一致する階調変換特性で階調変換処理を行い、高輝度域である中間～明部の輝度域で、第１のガンマ処理部２０２の階調変換特性よりも階調圧縮の度合いが小さい階調変換特性で階調変換処理を行う。そして、露出調整中に、第２のガンマ処理部２０２の処理結果を表示部１０９に表示するようにしている。以下、その効果について説明する。

【0034】

撮影時に、撮影シーンのダイナミックレンジに対して、ユーザの意図通りの現像処理を行うためには、シャッターレリーズ前に、撮影シーンの明部、暗部の階調再現特性を画像として確認しながら、ＲＡＷ撮影の露出設定、及び、現像時の階調変換特性を変更する必要がある。
未現像のＲＡＷ画像を現像結果と同時に記録できるようにすることにより、階調変換処理を含む現像処理は、後から撮像装置内又はＰＣアプリでのＲＡＷ現像を行う際に、ユーザが所望の設定に変更することが可能である。しかしながら、ＲＡＷ撮影の露出設定は、撮影時に確定してしまう。したがって、図４の特性線４２０、４２１のように、明部領域が白とびしたように見える特性で階調変換処理された画像を確認しながら撮影を行うと、必要以上にアンダー露出となる設定とし、暗部のノイズの多いＲＡＷ画像を撮影してしまう場合がある。

【0035】

そこで、入力画像信号に対して、入力ダイナミックレンジ毎に、暗部～中間の輝度域で階調変換特性が略一致し、中間～明部の輝度域の階調圧縮の度合い、及び、出力飽和レベルの異なる２種類の階調変換処理を行う。そして、入力信号レンジに応じて、２種類の階調変換処理の処理結果を選択的に出力するようにしている。
これにより、ユーザが露出調整を行っている期間中には、中間～明部の輝度域の階調圧縮の度合いが小さい現像結果を表示することにより、被写体の階調変換特性を実物に近い輝度振幅で確認することができる。また、露出調整以外の期間には、中間～明部領域の階調圧縮の度合いが大きく、出力飽和部に向かって、徐々に白に近づく現像結果を表示することにより、不自然なトーンジャンプの無い画像を確認することができる。
また、どちらの階調変換特性においても、暗部～中間の輝度域の階調圧縮の度合いは同等であるので、表示部１０９において、２種類の階調変換処理の処理結果を切り替えても、適露出付近の被写体の明るさが変動することはない。

【0036】

以上説明したように、目的に適した画像を切り替えて表示することができ、中間～ハイライトの輝度域の被写体階調再現特性を、実際の見た目に近い状態で画像として確認しながら、撮影シーンに対して露出設定を行うことができる。

【0037】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば実施形態では、撮像装置１００が本発明を適用した画像処理装置として機能する例を説明したが、本発明を適用した画像処理装置は、撮像部を備える撮像装置と別体として構成されるようにしてもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0038】

１００：撮像装置、１０１：光学系、１０２：撮像素子、１０３：Ａ／Ｄ変換部、１０４：色調整処理部、１０５：階調変換処理部、１０６：輝度・色差符号化処理部、１０７：記録処理部、１０８：表示処理部、１０９：表示部、１１０：ユーザ指示部、１１１：システム制御部、１１２：記憶部、２０１：第１のガンマ処理部、２０２：第２のガンマ処理部、２０３：切り替え部

【図1】

【図2】

【図3】

【図4】