特許 7437945 画像処理装置及びその制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】画像処理装置及びその制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/93 20060101AFI20240216BHJP

   H04N 9/73 20230101ALI20240216BHJP

   H04N 23/60 20230101ALI20240216BHJP

【ＦＩ】

H04N5/93

H04N9/73 B

H04N23/60 500

【請求項の数】 11

(21)【出願番号】P 2020003067

(22)【出願日】2020-01-10

(65)【公開番号】P2021111887

(43)【公開日】2021-08-02

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小林 達

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００９－０５５３３５（ＪＰ，Ａ）

【文献】特開２０１７－１２６８５６（ＪＰ，Ａ）

【文献】特開平１０－１４５７２１（ＪＰ，Ａ）

【文献】特開２０１２－１２９７１９（ＪＰ，Ａ）

【文献】特開２０１１－２４４４２３（ＪＰ，Ａ）

【文献】特開２０１０－２６３５２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１－５／９５６

Ｈ０４Ｎ ５／７６－５／７７５

Ｈ０４Ｎ ５／８０－５／９０７

Ｈ０４Ｎ ９／７３

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

フレームに現像パラメータに係る情報が格納されたＲＡＷ動画ファイルの再生処理を行う画像処理装置であって、
前記ＲＡＷ動画ファイル内の再生対象のフレームに対する現像パラメータと先行するフレームの現像処理で用いる現像パラメータとの差に基づき、前記再生対象のフレームの現像処理に用いる現像パラメータを決定する時定数処理を実行する処理手段と、
該処理手段で決定した現像パラメータに従い前記再生対象のフレームのＲＡＷ画像に対して現像処理を行い、現像処理で得た画像を出力する現像手段と、
前記処理手段を制御する制御手段とを有し、
該制御手段は、
前記ＲＡＷ動画ファイルにおける再生開始の位置がユーザから指定された場合、当該再生開始の位置に対応する着目フレームから予め設定された数だけ遡るフレームを起点にし、当該起点から前記着目フレームまでの間で前記時定数処理を実行させることで、前記着目フレームのための現像パラメータを決定する
ことを特徴とする画像処理装置。

【請求項2】

前記制御手段は、前記ＲＡＷ動画ファイルの先頭フレームから前記予め設定された数以内のフレームが再生開始の位置として指定された場合は、前記先頭フレームから再生開始の位置に対応する着目フレームまでの間で前記時定数処理を実行させることで、前記着目フレームのための現像パラメータを決定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御手段は、前記ＲＡＷ動画ファイルの先頭フレームが再生開始の位置として指定された場合は、前記ＲＡＷ動画ファイル内の前記再生開始の位置に対応する着目フレームに対する現像パラメータを、前記着目フレームのための現像パラメータとして決定することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記制御手段は、
前記ＲＡＷ動画ファイルにおける再生開始の位置がユーザから指定された場合、当該再生開始の位置が、再生の再開をする位置として指定されたか否かを判定する判定手段とを含み、
該判定手段がユーザから指定された再生開始の位置が、再生の再開をする位置であると判定した場合には、直前のフレームの現像処理で用いた現像パラメータと、前記ＲＡＷ動画ファイルに格納された前記着目フレームの現像パラメータとから、当該着目フレームの現像パラメータを決定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記制御手段は、
前記着目フレームから予め設定された数だけ遡るフレームが無い場合には、前記ＲＡＷ動画ファイルにおける先頭フレームを起点にして前記処理手段を実行させる
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記予め設定された数は、現像パラメータの種類に依存して決定されることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記予め設定された数は、現像パラメータの取り得る最小値から最大値に変化した場合の前記最大値に達するまでに要する前記処理手段の実行する回数であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記現像パラメータの種類が複数ある場合、それぞれの取り得る最小値から最大値に変化した場合の前記最大値に達するまでに要する前記処理手段の実行する回数のうち、最大となる数を、前記予め設定された数として設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記処理手段は、
前記ＲＡＷ動画ファイルに格納された、再生対象のフレームの現像パラメータをＰｎ、
直前のフレームを現像処理した際に用いた現像パラメータをＰ’ｎ－１、
差分「Ｐｎ－Ｐ’ｎ－１」をｄｅｌｔａ、
１を超える係数をｋと定義したとき、
前記再生対象のフレームを現像するときに用いる現像パラメータＰ’ｎを、
Ｐ’ｎ＝Ｐ’ｎ－１＋ｄｅｌｔａ／ｋ
として決定する
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

フレームに現像パラメータに係る情報が格納されたＲＡＷ動画ファイルの再生処理を行う画像処理装置の制御方法であって、
前記ＲＡＷ動画ファイル内の再生対象のフレームに対する現像パラメータと先行するフレームの現像処理で用いる現像パラメータとの差に基づき、前記再生対象のフレームの現像処理に用いる現像パラメータを決定する時定数処理を実行する処理工程と、
該処理工程で決定した現像パラメータに従い前記再生対象のフレームのＲＡＷ画像に対して現像処理を行い、現像処理で得た画像を出力する現像工程と、
前記処理工程を制御する制御工程とを有し、
該制御工程では、
前記ＲＡＷ動画ファイルにおける再生開始の位置がユーザから指定された場合、当該再生開始の位置に対応する着目フレームから予め設定された数だけ遡るフレームを起点にし、当該起点から前記着目フレームまでの間で前記時定数処理を実行させることで、前記着目フレームのための現像パラメータを決定する
ことを特徴とする画像処理装置の制御方法。

【請求項11】

コンピュータが読み込み実行することで、前記コンピュータに、請求項１０に記載の方法の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＲＡＷ動画の再生技術に関するものである。

【背景技術】

【0002】

ＲＡＷ動画と呼ばれる動画を記録するＲＡＷ動画撮影装置と、撮影されたＲＡＷ動画を再生・編集するためのＲＡＷ動画処理装置が知られている。ＲＡＷ動画とは、ＣＭＯＳセンサなどで受光したデータで、画像処理を適用する前のＲＡＷと呼ばれるデータを各フレームのデータとして記録した動画である。ＭＰＥＧなどの圧縮された動画ファイルとは異なり、ＲＡＷ動画は各フレームに対して再生時や編集時に画像処理を適用することで、劣化の少ない編集や、出力に合わせた画像処理を適用することができ、より高画質なデータを取得することができる。その一方で、ＲＡＷ動画は再生時に各フレームに対して画像処理を適用する必要があるため、処理負荷が大きく、且つ、高画質なデータで構成されているためファイルサイズも大きい。

【0003】

動画に関する画像処理として一般的に、フレーム間の変化、例えば明るさなど、を抑制する、変化量抑制処理が知られている。動画撮影中に撮影シーンが急激に変化した場合に、フレーム間の変化が大きい状態で再生してしまうと、ちらつきなど動画として不自然な表示となってしまう。そこで、フレーム間の変化量が大きすぎる場合には、変化がなだらかになるように変化量を再計算し適用することで、急激な変化を抑えた表示にすることができる。変化量抑制処理は多くのアルゴリズムが提案されているが、一般的な手法の１つとして、１つ前のフレームのパラメータ値と現在のフレームのパラメータ値から、現在のフレームのパラメータ値を再計算し、次のフレームの計算に用いる、というような漸化的なものがある。これを、時定数処理と呼ぶ。

【0004】

例えば、特許文献１では、ＲＡＷ動画を再生する際に、現在のフレームのＲＡＷデータから生成される中間パラメータ値と、現在のフレームより過去のフレームの現像パラメータ値とに基づき、現在のフレームの現像パラメータを生成（時定数処理）し、再生停止時には停止フレームの現像パラメータを保存し、停止位置から再生再開時に、再生再開フレームのＲＡＷデータから生成される中間パラメータ値と、再生停止時に保存した再生停止フレームの現像パラメータに基づき、再生再開フレームの現像パラメータを生成する画像処理装置について記載がある。

【0005】

しかし、これは、再生停止位置から再生再開することを前提としており、任意位置から再生開始することには対応していない。

【0006】

前述の時定数処理は、先頭のフレームから順番に処理することが前提となっている。従って、あるフレームのパラメータ値を新たに計算するための計算量は、先頭フレームからそのフレームまでのフレーム数に応じて増加することになる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１２－１２９７１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ファイルの途中から再生する場合でも、ファイルの先頭から再生した場合と同じ見えにするためには、ファイルの先頭から再生した場合と同じ現像パラメータ値を用いて現像する必要がある。

【0009】

特許文献１では、再生停止箇所から再生を再開する際の、パラメータ生成方法については記載されているが、任意の位置から再生を開始する際のパラメータ生成については考慮されていない。

【0010】

本発明はかかる問題に鑑み成されたものであり、ＲＡＷ動画を再生する際、再生開始位置によらず、所定の処理量で、変化量抑制処理を伴うパラメータに関して、先頭のフレームから順番に処理したときと同等のパラメータ値を生成することを可能にする技術を提供しようとするものである。

【課題を解決するための手段】

【0011】

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
フレームに現像パラメータに係る情報が格納されたＲＡＷ動画ファイルの再生処理を行う画像処理装置であって、
前記ＲＡＷ動画ファイル内の再生対象のフレームに対する現像パラメータと先行するフレームの現像処理で用いる現像パラメータとの差に基づき、前記再生対象のフレームの現像処理に用いる現像パラメータを決定する時定数処理を実行する処理手段と、
該処理手段で決定した現像パラメータに従い前記再生対象のフレームのＲＡＷ画像に対して現像処理を行い、現像処理で得た画像を出力する現像手段と、
前記処理手段を制御する制御手段とを有し、
該制御手段は、
前記ＲＡＷ動画ファイルにおける再生開始の位置がユーザから指定された場合、当該再生開始の位置に対応する着目フレームから予め設定された数だけ遡るフレームを起点にし、当該起点から前記着目フレームまでの間で前記時定数処理を実行させることで、前記着目フレームのための現像パラメータを決定することを特徴とする。

【発明の効果】

【0012】

本発明によれば、ＲＡＷ動画を再生する際、再生開始位置によらず、現像パラメータをなだらかに再生することで、違和感の無い自然な再生を行うことが可能になる。

【図面の簡単な説明】

【0013】

【図1】本実施形態における動画処理装置のブロック構成図。

【図2】本実施形態における時定数処理を示すフローチャート。

【図3】本実施形態における時定数処理でのパラメータの推移を示す図。

【図4】本実施形態における時定数処理でのパラメータの推移を示すグラフ図。

【図5】本実施形態における時定数処理でのパラメータの推移を示す図。

【図6】本実施形態における時定数処理でのパラメータの推移を示す図。

【図7】本実施形態における時定数処理でのパラメータの推移を示す図。

【図8】周辺減光を説明するための図。

【図9】周辺光量補正処理を説明するための図。

【図10】本実施形態における色温度の例を示す図。

【図11】本実施形態にＲＡＷ動画の再生処理を示すフローチャート。

【図12】本実施形態における時定数処理でのパラメータの推移を示す図。

【図13】本実施形態における時定数処理回数の決定処理を示すフローチャート。

【図14】本実施形態におけるパラメータ毎の再生開始前の時定数処理回数を示す図。

【図15】本実施形態における時定数処理でのパラメータの推移を示す図。

【図16】本実施形態における時定数処理でのパラメータの推移を示す図。

【図17】本実施形態における、時定数処理の係数とパラメータの最大変化量に応じた、再生開始前の時定数処理回数を示す図。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0015】

［動画処理装置の構成］
図１は、本実施形態が適用するＲＡＷ動画ファイルの再生処理を行う動画処理装置１００のブロック構成図である。以下、同図を参照して、動画像処理装置１００の構成と動作を説明する。

【0016】

入力部１０１は、キーボードやポインティングデバイスを含み、ユーザが、表示部１０２に表示されているボタンなどのコントロールの指示入力に用いられる。尚、ポインティングデバイスとしては、マウス、トラックボール、タブレット等が挙げられる。

【0017】

表示部１０２は、ＣＲＴやＬＣＤ等の表示デバイスで構成され、ＧＵＩ(Graphical User Interface)画面や画像データを表示する。ＧＰＵやビデオメモリを有するグラフィックカードも、表示部１０２に含まれる。

【0018】

ＣＰＵ１０３は、動画処理装置全体を制御する制御部である。ＲＡＭ１０４は、動画処理装置による各種処理に必要な作業領域をＣＰＵ１０３に提供する。また、記憶部１０５に格納されているオペレーティングシステム（ＯＳ）等の制御プログラム、ＲＡＷ動画現像処理プログラム（時定数処理を含む）は、一旦ＲＡＭ１０４に読み出されてからＣＰＵ１０３によって実行される。

【0019】

記憶部１０５は動画処理装置による各種処理に必要なＯＳ，ＲＡＷ動画現像処理プログラムや、ＲＡＷ動画ファイルなどを記憶している。なお、ＲＡＷ動画ファイルを構成するＲＡＷフレームはベイヤ配列の画像であって、１つの画素（画素位置によってＲ，Ｇ，Ｂが決まる）が例えば１０ビットとなっているものとする。通常、画面に表示するためには、１画素がＲ，Ｇ，Ｂの３成分で構成され、ＳＤＲとして再生する場合は各成分が８ビットとなっている必要があり、そのためにはＲＡＷ画像を現像処理する必要がある。また、ＲＡＷ動画ファイル内の各フレームのヘッダには、フレームに対する現像パラメータが格納されているものとする。

【0020】

通信制御部１０６は、通信インターフェースとして、ＵＳＢ(Universal Serial Bus)、Ethernetなどを用い、外部装置と接続する。また、通信ケーブルを用いた有線接続に代えて、無線による接続形態を用いても良い。先に説明したＲＡＷ動画像ファイルも、この通信制御部１０６が、不図示のＲＡＷ動画を撮像装置との通信で得たものである。

【0021】

上記各部は、システムバス１０７により接続されている。

【0022】

本実施形態では記憶部１０５には、上記のＲＡＷ動画現像処理プログラムが記録されている例を示すが、プログラムが通信制御部１０６に接続された外部記憶部やネットワーク上にある場合でも、本発明は適用される。

【0023】

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０３は内部のＲＯＭ（不図示）のブートプログラムを実行し、記憶部１０５からＯＳをＲＡＭ１０４に読み出し、ＯＳを実行し、そのＯＳの下でＣＰＵ１０３は記憶部１０５からＲＡＷ動画現像処理プログラムをＲＡＭ１０４に読出実行することで、本装置が動画処理装置１００として機能することになる。

【0024】

＜時定数処理＞
時定数処理について、図２のフレーチャートを用いて具体的に説明する。実施形態における再生対象のＲＡＷ動画像ファイルを作成する撮像装置は、ＲＡＷ動画を記録する際に、撮像した際の各種パラメータを、個々のフレームのヘッダに格納するものとする。本実施形態では、シーンチェンジの急峻な変化を抑制に寄与するパラメータを現像パラメータと呼ぶ。典型的には、画像の明るさを間接的に表す光学系の「絞り」や「ホワイトバランス」である。実施形態では、現像パラメータの値は符号付きの整数とする。なお、以下の説明において、ＲＡＷ動画像ファイルにおける再生しようとしているフレームを、現フレームもしくは着目フレームと呼ぶ。

【0025】

Ｓ２０１にて、ＣＰＵ１０３は、再生しようとしている現フレーム用に記録された現像パラメータ値（「Ｐｎ」と定義する）を取得する。次に、Ｓ２０２にて、ＣＰＵ１０３は、現フレームが再生する先頭フレームかどうか判断する。ＣＰＵ１０３は、現フレームが先頭フレームであると判定した場合はＳ２１０に、先頭フレームではないと判定した場合はＳ２０３に処理を進める。

【0026】

Ｓ２０３にて、ＣＰＵ１０３は、後述のＳ２０９で保存した１つ先行する（直前の）フレームの現像に適用したパラメータ値（「Ｐ’ｎ－１」と定義する）を取得する。Ｓ２０４にて、ＣＰＵ１０３は、Ｓ２０１で取得した値と、Ｓ２０３で取得した値が等しいかどうか判断する。ＣＰＵ１０３は両者が等しいと判定した場合はＳ２１０に、等しくないと判定した場合はＳ２０５に処理を進める。

【0027】

Ｓ２０５にて、ＣＰＵ１０３は、Ｓ２０１で取得した値から、Ｓ２０３で取得した値を減算し、変化量ｄｅｌｔａを求める。
ｄｅｌｔａ ＝ Ｐｎ － Ｐ’ｎ－１

【0028】

次に、Ｓ２０６にて、ＣＰＵ１０３は、Ｓ２０５で求めた変化量ｄｅｌｔａを、１を超える所定の係数（ｋ）で除算し、補正変化量ｄｅｌｔａ’を求める。
ｄｅｌｔａ’＝ ｄｅｌｔａ ／ ｋ

【0029】

Ｓ２０７にて、ＣＰＵ１０３は、Ｓ２０６で求めた補正変化量ｄｅｌｔａ'が０かどうか判断する。補正変化量が０の場合、Ｓ２１１に進む。０以外の場合、Ｓ２０８に進む。これは、除算の結果を整数とする場合、除算結果が絶対値１未満は０に切り捨てられるが、その場合でも直前フレームからの最低量の変化量を適用するためである。

【0030】

Ｓ２０８にて、ＣＰＵ１０３は、Ｓ２０３で取得した値に、Ｓ２０６、または、後述のＳ２１２、又は、Ｓ２１３で求めた補正変化量を加算し、今回のフレームの現像に適用する現像パラメータＰ’ｎをする。
Ｐ’ｎ＝Ｐ’ｎ－１＋ｄｅｌｔａ’

【0031】

Ｓ２０９にて、ＣＰＵ１０３は、Ｓ２０８で求めた値、または、後述のＳ２１０で求めた値を、次フレームの現像のため、現フレームの現像に適用する現像パラメータとしてＲＡＭ１０４の予め確保された領域に値として保存する。

【0032】

Ｓ２１０にて、ＣＰＵ１０３は、Ｓ２０１で取得した現フレーム用に記録された現像パラメータ値Ｐｎを、現フレーム現像に適用する値Ｐｎ’とする。
Ｐ’ｎ＝Ｐｎ

【0033】

Ｓ２１１にて、ＣＰＵ１０３は、Ｓ２０５で求めた結果が正の数かどうか判断する。ＣＰＵ１０３が、正の数であると判定した場合はＳ２１２に、負の数の場合にはＳ２１３に処理を進める。Ｓ２１２にて、ＣＰＵ１０３は、補正変化量ｄｅｌｔａ’を１とする。これは、直前フレームからの変化が増加時の最低変化量である。Ｓ２１３にて、ＣＰＵ１０３は、補正変化量ｄｅｌｔａ’を－１とする。これは、直前フレームからの変化が減少時の最低変化量である。

【0034】

上記処理により現フレームの現像パラメータＰｎ’が決定されると、ＣＰＵ１０３による別タスクの現像処理では、このパラメータに従った現状処理を実行することになる。

【0035】

ここで、図３を参照して、記録された現像パラメータ値が０から１００に変化したとき、係数ｋ＝２で時定数処理を８回行った例を説明する。

【0036】

ｎ＝０は先頭フレームであり、記録された現像パラメータ値Ｐ０をそのままフレーム現像に適用する値Ｐ’０とする。

【0037】

ｎ＝１のとき、記録された現像パラメータ値Ｐ１が１００に変化したとする。このとき、直前のフレームのフレーム現像に適用する値Ｐ’０は０であり、差分である変化量ｄｅｌｔａは、次式のように１００となる。
ｄｅｌｔａ＝Ｐ１－Ｐ’０＝１００－０＝１００
したがって変化量ｄｅｌｔａを係数ｋで割った補正変化量ｄｅｌｔａ’は次式のように５０となる。

【0038】

よって、Ｐ’０にｄｅｌｔａ’を加算した値Ｐ’１は、次式により５０となる。
Ｐ’１＝Ｐ’０＋ｄｅｌｔａ’＝０＋５０＝５０
したがって、ｎ＝１の場合の着目フレームの現像処理に適用するパラメータ値は、５０である。

【0039】

同様に、ｎ＝２のとき、
ｄｅｌｔａ＝Ｐ２－Ｐ’１＝１００－５０＝５０
ｄｅｌｔａ’＝ｄｅｌｔａ／ｋ＝５０／２＝２５
Ｐ’２＝Ｐ’１＋ｄｅｌｔａ’＝５０＋２５＝７５
となり、実際にフレーム現像に適用するパラメータ値は、７５である。

【0040】

このように時定数処理を繰り返すと、図３にあるように、８回目に実際にフレーム現像に適用するパラメータ値は１００になり、記録された現像パラメータ値に到達することになる。

【0041】

図４は、図３のＰｎとＰ’ｎをグラフで表したものである。破線はＲＡＷ動画ファイルに記録された現像パラメータ値Ｐｎであり、実線はフレーム現像に適用するパラメータ値Ｐ’ｎである。

【0042】

このグラフからもわかるように、適切な係数ｋを用いて時定数処理を繰り返すことにより、現像パラメータは、急激な変化が抑えられ、時定数的に最終的な目的のパラメータ値に達することができる。

【0043】

図５は、パラメータ値が０から１００の範囲内で変化する場合であって、係数ｋ＝２で時定数処理を行った例である。図５にあるように、ｎ＝１２のとき、ＲＡＷ動画ファイルに記録された現像パラメータ値Ｐ１２は７０であるが、先頭フレームであるｎ＝０から時定数処理を行った結果、フレーム現像に適用するパラメータ値Ｐ’１２は７２である。

【0044】

図６は、記録されたパラメータ値が図５と同じ場合で、ｎ＝４から時定数処理を開始した例である。このとき、８フレーム後のｎ＝１２のフレーム現像に適用するパラメータ値Ｐ’１２は７２であり、図５にある先頭フレームから時定数処理を行った場合と同じ値を得ることができる。これは、図３で見たように、係数ｋ＝２で８回時定数処理を繰り返すと、変化量１００の場合でも収束する（＝変化量に達する）ことが可能であるからである。

【0045】

図７は、記録されたパラメータ値が図５と同じ場合で、ｎ＝１０から時定数処理を開始した例である。この場合、ｎ＝１２のフレーム現像に適用するパラメータ値Ｐ’１２は８０であり、図５にある先頭フレームから時定数処理を行った場合と同じ値を得ることはできない。

【0046】

＜時定数処理を適用する例１＞
時定数処理を適用する例として、周辺光量補正について説明する。

【0047】

図８に示すように、画像データの周辺部が中央部に比べ光量が低下するという現象が知られている。これは一般に周辺減光と呼ばれる。周辺減光の原因として、斜めに入る光に対する、鏡筒や絞りによる口径食などがあげられる。

【0048】

また、周辺減光の程度は、絞り値に応じて変化する。例えば、絞り値が大きい場合（絞る）、鏡筒による影響を受けにくく、周辺減光の程度は少ない。逆に、絞り値が小さくなる（開放）につれ、鏡筒による影響を受けやすくなり、周辺減光の程度は増加する。

【0049】

例えば、図８では、点線で表した撮影条件１は絞り値が大きい場合であり、実線で表した撮影条件２は絞り値が小さい場合である。

【0050】

周辺減光した画像データに、周辺部の光量を増加させる画像処理を適用し、補正する方法がある。これを周辺光量補正と呼ぶ。具体的には、画像の中心から像高に応じて、レンズの特性と絞り値に応じた所定の補正ゲイン値を適用することにより、周辺減光を補正する方法である。

【0051】

例えば、絞り値が大きい場合、周辺減光の程度は小さいため、小さい補正ゲイン値を適用し、絞り値が小さい場合、周辺減光の程度が大きいため、大きい補正ゲイン値を適用する。

【0052】

図９では、図８と同様に、点線で表した撮影条件１は絞り値が大きい場合であり、実線で表した撮影条件２は絞り値が小さい場合である。絞り値が大きい場合、光量落ちは小さいため、補正ゲインも小さいが、絞り値が小さい場合、光量落ちが大きくなるため、補正ゲインも大きくなる。

【0053】

このように、周辺光量補正に適用する補正ゲイン値は絞り値により変化する。そのため、絞り値が急激に変化した場合、絞り値に対応する補正ゲイン値も急激に変化することになる。例えば、図９の例では、撮影中に撮影条件１から撮影条件２に変化した場合、中心から最遠箇所の補正ゲインは５０から１００に変化することになる。このときの周辺光量補正後の画像は、１フレームごとの静止画像とした表示した場合は適切であるが、動画として連続的に表示した場合、見えの変化が大きく、適切でないことがありうる。

【0054】

そこで、時定数処理を適用することにより、絞り値が急激に変化した場合でも、適用する補正ゲイン値を漸次的に変化させることにより、見えの急激な変化を抑えつつ、周辺光量補正を適用することが可能になる。

【0055】

＜時定数処理を適用する例２＞
時定数処理を適用する異なる例として、ホワイトバランスについて説明する。

【0056】

ホワイトバランスは、光源の色温度に応じて、白、及び色調を決定する処理である。

【0057】

図１０に示すように、曇りの太陽光（色温度７０００Ｋ（ケルビン）前後）は青みを帯びていることに対し、蛍光灯の光（４０００～４５００Ｋ）は黄色味を帯びている。そのため、白いものを撮影しても、光源の色の影響を受けるため、白く撮像されない。

【0058】

ホワイトバランスは、これらの光源の色の影響を減らすため、光源の色とは反対の色を加算して、白を決定する処理である。例えば、曇りの太陽光の下で撮影する場合、赤要素を強めることにより、青みを抑え、蛍光灯の光の下で撮影する場合、青要素を強めることで、黄色味を抑えることが行われる。

【0059】

オートホワイトバランスは、画像データから光源の色温度を推定し、それに基づき、ホワイトバランス処理を行うことである。

【0060】

撮影中に、光源が蛍光灯である屋内から、光源が太陽光である屋外に移動した場合、光源の色温度が変化し、それに伴い、ホワイトバランス処理も変化する。

【0061】

このような場合でも、ホワイトバランスの基準となる光源の色温度を漸次的に変化させることにより、見えの急激な変化を抑えつつ、適切なホワイトバランスを適用することが可能になる。

【0062】

［第１の実施形態］
第１の実施形態における処理を、図１１のフローチャートを参照して説明する。ここで、対象現像パラメータは、周辺光量補正の補正ゲイン値とする。この補正ゲイン値は、先に説明したように撮像光学系の絞り値に依存するものである。

【0063】

Ｓ１１０１にて、ＣＰＵ１０３は、入力部１０１からユーザが指定した再生開始フレーム番号を取得する。再生開始フレームの指定方法は特に問わない。例えば、ユーザは、ＲＡＷ動画のフレームレートが１秒当たりＦフレームの場合（フレームレートがＦ／秒の場合で、先頭から５秒後の位置を再生開始位置として指定した場合は、再生開始のフレーム番号は５×Ｆとして計算すれば特定できる。場合によっては、ユーザはテキスト形式でキーボードからフレーム番号を入力しても構わない。また、再生位置を表すスライダコントロールを位置づけることで、再生開始フレーム番号を指定しても良い。また、直前の再生停止位置から再生開始指示をすることで、再生開始フレーム番号を指定することができる。

【0064】

Ｓ１１０２にて、ＣＰＵ１０３は、Ｓ１１０１で指定された再生開始フレーム番号のパラメータに関して、すでに時定数処理済みのパラメータ値がＲＡＭ１０４の所定領域に保存されているか調べる。例えば、ユーザが直前の再生停止位置から再生再開を指示した場合、再生開始フレームの、直前の再生時に使用した時定数処理済みの値を保存している。ＣＰＵ１０３は、保存していると判定した場合はＳ１１１１に、保存していないと判定した場合はＳ１１０３に処理を進める。

【0065】

Ｓ１１０３にて、ＣＰＵ１０３は、再生開始前に時定数処理を行うフレーム数を取得する。

【0066】

図３～図７で説明したように、時定数処理で使用する係数ｋが決まると、ある変化量に到達するまでの時定数処理の繰り返し数は決定する。例えば、周辺光量補正の補正ゲイン値の取りうる範囲が０から１００の間であった場合、最大変化量（最小値から最大値への変化量）は１００である。ここで、時定数処理の係数ｋを２とすると、時定数処理を８回繰り返せば、時定数処理の結果が最大変化量の１００に到達する。従って、周辺光量補正の補正ゲイン値に関しては、時定数処理の係数ｋを２、再生開始前に時定数処理を行うフレーム数を８とすることにより、それ以前のフレームから時定数処理を行った場合と同じ結果を得ることができる。

【0067】

このように、時定数処理の対象となる現像パラメータ値の最大変化量と、使用する係数ｋの値から、あらかじめ最大変化量が収束する時定数処理の回数を求めて、その値を再生開始前に時定数処理を行うフレーム数とすればよい。この値は、プログラムの一部として、もしくは、管理データとして保存しておけばよい。

【0068】

Ｓ１１０４にて、ＣＰＵ１０３は、時定数処理を開始する起点となるフレーム番号を計算する。時定数処理を開始するフレーム番号は、Ｓ１１０１で取得した再生開始フレーム番号から、Ｓ１１０３で取得した再生開始前に時定数処理を行うフレーム数を引いた値となる。

【0069】

Ｓ１１０５にて、ＣＰＵ１０３は、Ｓ１１０４で計算した結果が負数になるか判断する。ＣＰＵ１０３は、Ｓ１１０４の計算結果が負数になると判定した場合はＳ１１０６に、非負数であると判定した場合はＳ１１０７に処理を進める。Ｓ１１０６にて、ＣＰＵ１０３は、時定数処理開始フレーム番号に０をセットする。これは、負のフレーム番号は無効なためで、ＲＡＷ動画ファイルの先頭フレームを時定数処理開始フレームとすることを意味する。Ｓ１１０７にて、ＣＰＵ１０３は、処理フレーム番号に、Ｓ１１０４またはＳ１１０６で求めた時定数処理開始フレーム番号をセットする。

【0070】

Ｓ１１０８にて、ＣＰＵ１０３は、処理フレーム番号のパラメータに関して、時定数処理を実行する。時定数処理に関しては、図２で説明済みである。ここで計算した結果は、処理フレーム番号が再生開始フレーム番号に達していない場合、現像処理には使用せず、次のフレーム番号の時定数処理の入力に使用するだけである。Ｓ１１０９にて、ＣＰＵ１０３は、処理フレーム番号がＳ１１０１で取得した再生開始フレーム番号に達したかどうか判断する。ＣＰＵ１０３は、達したと判定した場合はＳ１１１３に、達していないと判定した場合はＳ１１１０に処理を進める。Ｓ１１１にて、ＣＰＵ１０３は、処理フレーム番号に１加算し、処理をＳ１１０８に戻す。

【0071】

一方、Ｓ１１０２にて、ＣＰＵ１０３が、指定された再生開始フレーム番号のパラメータに関して、すでに時定数処理済みのパラメータ値が保存されている場合、処理をＳ１１１１に進める。このＳ１１１１にて、ＣＰＵ１０３は、処理フレーム番号に、再生開始フレーム番号をセットする。そして、Ｓ１１１２にて、ＣＰＵ１０３は、保存されている時定数処理済みパラメータ値を取得し、処理フレーム番号の現像に使用するパラメータ値とする。この時点で、再生開始フレーム番号の時定数処理済みパラメータ値が取得できたことになる。

【0072】

Ｓ１１１３にて、ＣＰＵ１０３は、処理フレーム番号のＲＡＷ画像データを取得する。そして、Ｓ１１１４で、時定数処理を行わない、処理フレーム番号の現像パラメータを取得する。本例では、周辺光量補正の補正ゲイン値以外の現像パラメータである。Ｓ１１１５にて、ＣＰＵ１０３は、Ｓ１１１３で取得したＲＡＷ画像データに関して、時定数処理済み現像パラメータ、及び、Ｓ１１１４で取得した時定数処理を行わない現像パラメータを用いて現像処理を実行する。ここで時定数処理済み現像パラメータは、Ｓ１１０８で計算した結果の値、または、Ｓ１１１９で計算した結果の値、または、Ｓ１１１２で取得した値、のいずれかである。

【0073】

Ｓ１１１６にて、ＣＰＵ１０３は、Ｓ１１１５で現像した結果の画像データを出力する。例えば、表示部１０２に表示する。

【0074】

Ｓ１１１７にて、ＣＰＵ１０３は、最後のフレームまで処理したか、もしくは、ユーザが処理中止を指定したかを判断する。ＣＰＵ１０３は、最後のフレームまで処理したか、もしくは、ユーザが処理中止を指定した場合、本処理を終了する。そうでない場合、ＣＰＵ１０３は処理をＳ１１１８に進める。このＳ１１１８にて、ＣＰＵ１０３は、処理フレーム番号に１を加算する。そして、Ｓ１１１９にて、ＣＰＵ１０３は、処理フレーム番号のパラメータに関して、時定数処理を実行し、処理フレーム番号の現像に使用するパラメータを計算する。時定数処理に関しては、図２で説明済みである。時定数処理実行後、ＣＰＵ１０３は、処理をＳ１１１３に戻す。

【0075】

このように、Ｓ１１０８～Ｓ１１１０で、再生開始フレーム番号より前のフレームに関して所定のフレーム数分、時定数処理を実行することにより、再生開始フレームに適用する現像パラメータ値に関して、先頭フレームから時定数処理を実行した場合と同じ結果を得ることが可能である。

【0076】

現像処理のパラメータに関して時定数処理を行うパラメータが複数あっても良い。その場合、個々の現像パラメータの最大変化量や時定数処理の係数ｋの値が異なることにより、個々の現像パラメータの再生開始前の時定数処理回数の値が異なることがある。例えば、周辺光量補正の補正ゲインと、ホワイトバランス処理のもととなる光源の色温度毎に、時定数処理行うことが考えられる。

【0077】

前述のように、周辺光量補正の補正ゲイン値の取りうる範囲が１００から２００の間であり、時定数処理の係数ｋが２の場合、時定数処理を８回繰り返すことにより、時定数処理の結果は最大変化量の１００に到達する。そのため、周辺光量補正の補正ゲイン値に関しては、再生開始前の時定数処理回数は８回である。

【0078】

一方、図１２に示すように、光源の色温度が１０００から１２０００に変化した場合、時定数処理の係数ｋを２とすると、時定数処理を１５回繰り返すことで、時定数処理の結果は１２０００に到達する。そのため、光源の色温度に関して、再生開始前の時定数処理回数は１５回である。

【0079】

このような場合、個々の現像パラメータの種類毎に、再生開始前の時定数処理回数を求め、それぞれ、処理開始フレームから時定数処理を行って、再生開始フレームの現像に適用するパラメータ値を求めることができるが、効率的ではない。

【0080】

図１３のフローチャートを用いて、複数の現像パラメータに関して時定数処理を行う場合の、再生開始前の時定数処理回数の決定方法について説明する。

【0081】

ここで、時定数処理を行う現像パラメータは、図１４に示すように、「周辺光量補正の補正ゲイン値」と「光源の色温度」の２つとし、それぞれ、再生開始前の時定数処理回数は８回、１５回する。

【0082】

Ｓ１３０１にて、ＣＰＵ１０３は、パラメータインデックスに使用する変数ｉを０で初期化する。Ｓ１３０２にて、ＣＰＵ１０３は、求める最大繰り返し回数を格納する変数Ｌｍａｘを０で初期化する。

【0083】

Ｓ１３０３にて、ＣＰＵ１０３は、時定数処理を行うすべての現像パラメータに関して処理したか判断する。ＣＰＵ１０３は、時定数処理を行うすべての現像パラメータに関して処理したと判定した場合は、本処理を終了する。本処理を終了した場合の最大繰り返し回数Ｌｍａｘが、再生開始前の時定数処理回数となる。

【0084】

Ｓ１３０４で、時定数処理を行うｉ番目の現像パラメータに関して、再生開始前の時定数処理回数を取得する。これは、図１１のＳ１１０３で述べたように、その現像パラメータの最大変化量と、その現像パラメータに関する時定数処理で使用する係数ｋの値から決定した、時定数処理繰り返し回数である。本例では、図１４に示すように、パラメータインデックス０の周辺光量補正の補正ゲイン値の場合、時定数処理繰り返し回数は８であり、パラメータインデックス１の光源の色温度の場合、時定数処理繰り返し回数は１５である。

【0085】

Ｓ１３０５にて、ＣＰＵ１０３は、Ｓ１３０４で取得した時定数処理繰り返し回数が、最大繰り返し回数Ｌｍａｘより大きいか判断する。ＣＰＵ１０３は、Ｓ１３０４で取得した時定数処理繰り返し回数が、Ｌｍａｘより大きいと判定した場合はＳ１３０６に、大きくないと判定した場合はＳ１３０７に処理を進める。Ｓ１３０６にて、ＣＰＵ１０３は、最大繰り返し回数Ｌｍａｘに、Ｓ１３０４で取得した時定数処理繰り返し回数を代入（もしくは設定）する。つまり、ＣＰＵ１０３は、最大繰り返し回数Ｌｍａｘを更新する。

【0086】

Ｓ１３０７にて、ＣＰＵ１０３は、パラメータインデックスに使用する変数ｉに１加算し、処理をＳ１３０３に戻す。

【0087】

このようにして求めた再生開始前の時定数処理回数を使用して、再生開始前の時定数処理開始フレームを決定し、そのフレームから時定数処理を行うすべての現像パラメータに関して時定数処理を行って、再生開始フレームの現像に適用するパラメータ値を求めることにより、単純な構成で、必要な値を求めることが可能になる。

【0088】

本例の場合は、再生開始前の時定数処理回数は、８＜１５のため、１５回であり、再生開始フレームの１５フレーム前から、周辺光量補正の補正ゲイン値、及び、光源の色温度、の両方に関して、時定数処理を行うことになる。

【0089】

撮像装置や撮影条件により、現像パラメータの取りうる値の範囲が変化することもありうる。例えば、周辺光量補正の補正ゲイン値に関して、あるレンズでは、最大変化量が２００であったとする。この場合、係数２のときの、最大変化量に達するのに必要な時定数処理繰り返し回数は、図１５に示すように、９回である。また、別のレンズでは、最大変化量が３００であったとする。この場合、係数２のときの、最大変化量に達するのに必要な時定数処理繰り返し回数は、図１６に示すように、１０回である。

【0090】

このように、パラメータの最大変化量自体が変化する場合には、図１７が示すように、時定数処理の係数値とパラメータの最大変化量ごとに、最大変化量に達するのに必要な時定数処理繰り返し回数を調べてテーブル化し、それをプログラムが保持、または、管理データとして保持しておけばよい。なお、撮像装置は、ＲＡＷ動画を記録する際に、使用中のレンズを特定する情報（レンズ名等）を、ＲＡＷ動画ファイルのヘッダに格納するものとする。そして、再生開始前の時定数処理回数を取得する際には、例えば、ファイルヘッダにレンズ名から最大変化量を判断し、前述のテーブルから最大変化量に達するのに必要な時定数処理繰り返し回数を取得すればよい。

【0091】

以上、実施形態を詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

【0092】

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【0093】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0094】

１００…動画像処理装置、１０１…入力部、１０２…表示部、１０３…ＣＰＵ、１０４…ＲＡＭ、１０５…記憶部、１０６…通信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】