(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-26
(45)【発行日】2024-01-10
(54)【発明の名称】撮像装置、画像処理装置、及び、その制御方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20231227BHJP
H04N 5/77 20060101ALI20231227BHJP
H04N 5/92 20060101ALI20231227BHJP
【FI】
H04N23/60 300
H04N5/77 200
H04N5/92 010
(21)【出願番号】P 2019199106
(22)【出願日】2019-10-31
【審査請求日】2022-10-18
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】上原 将司
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2010-263520(JP,A)
【文献】特開2009-088878(JP,A)
【文献】特開2016-127505(JP,A)
【文献】特開2012-120152(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 5/77
H04N 5/92
(57)【特許請求の範囲】
【請求項1】
撮像部と、
前記撮像部により撮像して得られたRAW動画を
記録媒体に記録する記録手段と、
前記RAW動画の撮影設定に基づいて算出した第1のパラメータと、前記第1のパラメータに基づいて算出した第2のパラメータとを、前記RAW動画の画像処
理パラメータとして算出
する算出手段と、を有し、
前記算出手段は、前記記録媒体から読みだした第1のパラメータではなく、前記RAW動画の撮影時に算出した前記第1のパラメータを使用して、前記第2のパラメータを算出し、
前記記録手段は、
前記記録媒体に記録済みの前記RAW動画をユーザの指示に応じて再生する時に前記第1のパラメータまたは前記第2のパラメータを用いて前記RAW動画を再生できるように、前記RAW動画の撮影時に、前記RAW動画と共に、
前記算出手段により算出された前記第1のパラメータと前記第2のパラメータ
の両方を
前記記録媒体に記録する、
ことを特徴とする撮像装置。
【請求項2】
前記算出手段は、前記第1のパラメータに基づいて、前記RAW動画のフレーム間におけるパラメータの変化量が小さくなるように前記第2のパラメータを算出することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記算出手段は、前記RAW動画のフレーム間におけるパラメータの変化量が所定の閾値よりも大きい場合には、前記フレーム間におけるパラメータの変化量が小さくなるように前記第2のパラメータを算出することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記算出手段は、算出対象のフレームの前記第1のパラメータと、前記算出対象のフレームの前のフレームの前記第2のパラメータとの差を、所定の割合に減少させた値を、前記算出対象のフレームの前のフレームの前記第2のパラメータに加算することにより、前記算出対象のフレームの前記第2のパラメータを算出することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記記録手段は、前記RAW動画と前記第1のパラメータ及び前記第2のパラメータとを、1つのファイルとして記録することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記記録手段は、前記第1のパラメータ及び前記第2のパラメータを、前記RAW動画が記録されるファイルとは異なるファイルとして記録することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項7】
前記算出手段は、前記RAW動画の各フレームについて、前記第1のパラメータ及び前記第2のパラメータを算出し、
前記記録手段は、前記RAW動画の各フレームの前記第1のパラメータ及び前記第2のパラメータを記録することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
【請求項8】
前記画像処理パラメータは、周辺光量補正用のパラメータであることを特徴とする請求
項1乃至7のいずれか1項に記載の撮像装置。
【請求項9】
前記算出手段は、前記RAW動画を撮影する際のISO感度の設定、及び、撮像装置の光学特性に関する情報に基づいて前記第1のパラメータを算出することを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記記録媒体から、RAW動画と、前記第1のパラメータと、前記第2のパラメータとを読み出して取得する取得手段と、
前記第1のパラメータと前記第2のパラメータのうちのいずれかを選択する選択手段と、
前記RAW動画に対して、前記第1のパラメータと前記第2のパラメータのうち前記選択手段により選択されたパラメータを用いて前記RAW動画にたいして画像処理を実行する処理手段と、を有することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
【請求項11】
前記RAW動画を動画再生する場合には、
前記選択手段は、前記第2のパラメータを選択し、
前記処理手段は、前記RAW動画に対して前記第2のパラメータを用いた画像処理を実行し、
前記RAW動画のうちの1フレームを再生する場合には、
前記
選択手段は、前記第1のパラメータを選択し、
前記処理手段は、前記RAW動画のうちの1フレームに対して前記第1のパラメータを用いた画像処理を実行する、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記動画再生とは、RAW動画の複数のフレームの連続的な再生であることを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記RAW動画から1つのフレームを切り出す場合には、
前記選択手段は、前記第1のパラメータを選択し、
前記記録手段は、前記RAW動画から前記1つのフレームを切り出し、当該切り出したフレームに前記第1のパラメータを付加して前記記録媒体に記録する、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項14】
前記RAW動画から複数の連続するフレームをRAW動画として切り出す場合には、
前記選択手段は、前記第1のパラメータ及び前記第2のパラメータを選択し、
前記記録手段は、前記RAW動画から前記複数の連続するフレームを切り出し、当該切り出したフレームに前記第1のパラメータ及び前記第2のパラメータを付加して前記記録媒体に記録する、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項15】
前記処理手段は、切り出されるフレームのうちの先頭フレームにおける前記第1のパラメータと前記第2のパラメータが異なる場合、前記第2のパラメータを再算出し、前記第1のパラメータ及び前記再算出された第2のパラメータを、前記切り出したフレームに付加して記録する、
ことを特徴とする請求項14に記載の画像処理装置。
【請求項16】
撮像部を有する撮像装置の制御方法であって、
前記撮像部により撮像して得られたRAW動画を
記録媒体に記録する記録工程と、
前記RAW動画の撮影設定に基づいて算出した第1のパラメータと、前記第1のパラメータに基づいて算出した第2のパラメータとを、前記RAW動画の画像処
理パラメータとして算出
する算出工程と、を有し
前記算出工程では、前記記録媒体から読みだした第1のパラメータではなく、前記RAW動画の撮影時に算出した前記第1のパラメータを使用して、前記第2のパラメータを算出し、
前記記録工程では、
前記記録媒体に記録済みの前記RAW動画をユーザの指示に応じて再生する時に前記第1のパラメータまたは前記第2のパラメータを用いて前記RAW動画を再生できるように、前記RAW動画の撮影時に、前記RAW動画と共に、
前記算出工程で算出された前記第1のパラメータと前記第2のパラメータ
の両方を
前記記録媒体に記録する、
ことを特徴とする撮像装置の制御方法。
【請求項17】
コンピュータを、請求項1乃至
15のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、画像処理装置に関するものであり、特にRAW動画を撮影する撮像装置、又は、RAW動画を処理する画像処理装置に関するものである。
【背景技術】
【0002】
RAW動画と呼ばれる動画を記録するRAW動画撮像装置と、撮影されたRAW動画を再生・編集するためのRAW動画再生装置が知られている。RAW動画とは、CMOSセンサなどで受光したデータで、画像処理を適用する前のRAWと呼ばれるデータを各フレームのデータとして記録した動画である。MPEGなどの予め画像処理が施されている動画データとは異なり、RAW動画は各フレームに対して再生時や編集時に画像処理を適用することで、劣化の少ない編集や、再生出力に合わせた画像処理を適用することができ、より高画質なデータを取得することができる。その一方で、RAW動画は再生時に各フレームに対して画像処理を適用する必要があるため、画像処理の設定の負荷や、画像処理負荷が大きく、また、高画質なデータで構成されているためファイルサイズも大きい。
【0003】
動画に関する画像処理として一般的に、フレーム間の変化(例えば明るさなど)を抑制する処理が知られている。RAW動画において、フレーム毎に最適な画像処理のパラメータを決定することができる。動画撮影中に撮影シーンが急激に変化し、最適な画像処理のパラメータも急激に変化した場合に、フレーム間の変化が大きい状態で再生してしまうと、ちらつきなど動画として不自然な表示となってしまう。そこで、フレーム間の画像処理パラメータの変化量が大きすぎる場合には、変化がなだらかになるような変化量を再計算した画像処理パラメータを適用することで、急激な変化を抑えた表示にすることができる。特許文献1では、動画を結合する際に、結合部分で急峻な変化となってしまう場合に、滑らかな変化となるようにパラメータを作成し、適用したうえで結合するようなことが提案されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
このように、動画撮像装置において撮影したRAW動画を再生する際には、RAW動画の各フレームに対して変化量抑制処理で求めた画像処理パラメータを用いて画像処理を行うことが望ましい。しかし、RAW動画の再生時には、処理の負荷が大きく画像処理パラメータを算出することにより処理負荷がさらに増加して応答性が低下してしまう。また、RAW動画の途中から再生を開始する際に、再生開始する途中のフレームから変化量抑制処理を行うと、途中から再生する場合と最初から再生する場合とで、画像処理パラメータが変わってしまう。そのため、RAW動画の途中から再生を開始する場合であっても、最初のフレームから変化量抑制処理で画像処理パラメータを算出しなければならず、さらに処理負荷が増加して応答性が低下してしまうといった課題がある。また、変化量抑制処理で算出した画像処理パラメータと、変化量抑制処理を行っていない画像処理パラメータのうち、RAW動画の再生や切り出し処理の種類によって、必要とされる画像処理パラメータが異なる。
【0006】
そこで、応答性・利便性を損なうことなく画像処理パラメータを適用可能とする動画撮像装置、及び、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述の目的を達成するため、本発明の撮像装置は、
撮像部と、撮像部により撮像して得られたRAW動画を記録媒体に記録する記録手段と、RAW動画の撮影設定に基づいて算出した第1のパラメータと、第1のパラメータに基づいて算出した第2のパラメータとを、RAW動画の画像処理パラメータとして算出する算出手段と、を有し、算出手段は、記録媒体から読みだした第1のパラメータではなく、RAW動画の撮影時に算出した第1のパラメータを使用して、第2のパラメータを算出し、記録手段は、記録媒体に記録済みのRAW動画をユーザの指示に応じて再生する時に第1のパラメータまたは第2のパラメータを用いてRAW動画を再生できるように、RAW動画の撮影時に、RAW動画と共に、算出手段により算出された第1のパラメータと第2のパラメータの両方を記録媒体に記録する、ことを特徴とする。
【発明の効果】
【0009】
応答性・利便性を損なうことなく画像処理パラメータを適用可能とする動画撮像装置、及び、画像処理装置を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態における画像処理システムのブロック図である。
【
図2】動画記録装置における理想補正量の算出処理を示すフローチャートである。
【
図3】動画記録装置における動画用補正量の算出処理を示すフローチャートである。
【
図4】動画記録装置における記録処理を示すフローチャートである。
【
図5】画像処理装置における再生処理を示すフローチャートである。
【
図6】画像処理装置における切り出し処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、本発明の実施形態にかかわる画像処理システム全体のブロック図である。
【0012】
本発明の代表的な実施例について説明する。
【0013】
図1は本発明の実施形態にかかわる画像処理システム全体のブロック図である。画像処理システムは動画撮像装置(100)と、動画再生装置(200)から構成されている。動画撮像装置(100)は、補正量算出部(101)、変化量抑制処理部(102)、記録部(103)、出力部(104)、制御部(105)、撮像部(106)、操作部(107)を有している。
【0014】
制御部(105)は、動画撮像装置100全体を制御するための制御部で、1つ以上のプロセッサから構成される。制御部(105)は、不図示のプログラムメモリからプログラムを読み込み、プログラムに基づいて、各部の制御及び各種演算処理などを行う。撮像部(106)は、画像を撮像するための撮像素子などから構成される。操作部(107)は、ユーザからの操作を受け付けるためのボタンやタッチパネルなどであり、操作部(107)に入力されたユーザ操作は、制御部(105)に通知され、制御部(105)は、操作部(107)への入力に応じた処理を実行するように制御する。記録部(103)は、不図示のメモリカード等の記録媒体(不図示)に、各種データを記録する。出力部(104)は、記録部(103)により記録媒体に記録したデータや、撮像部(106)で撮影した画像データを、有線又は無線で外部装置に出力する。記録部(103)がデータを記録する記録媒体は、メモリカードではなく、動画撮像装置(100)に内蔵された記録媒体であってもよい。
【0015】
動画撮像装置100は、操作部(107)に対して、ユーザによりRAW動画撮影開始指示が入力されたことに応じて、制御部(105)は、RAW動画撮影処理を開始する。RAW動画撮影処理では、撮像部(106)により撮像して得られたRAW動画について、不図示の画像処理部により圧縮処理等を施して、記録部(103)によりRAW動画ファイルとして記録媒体に記録する。操作部(107)にRAW動画撮影終了指示が入力されるまでに撮像部(106)により撮像されたRAW画像についてRAW動画撮影処理が実行される。つまり、RAW動画撮影処理により、RAW動画撮影開始指示からRAW動画撮影終了指示までに撮像部(106)により撮影されたRAW動画が、1つのRAW動画ファイルとして記録媒体に記録される。
【0016】
本実施形態の動画撮像装置100では、RAW動画撮影処理において、記録部(103)は、RAW動画を記録すると共に、RAW動画を再生する際の画像処理において使用される画像処理用のパラメータを記録媒体に記録する。そのため、本実施形態の動画撮像装置100は、さらに、画像処理用のパラメータを算出するための、補正量算出部(101)と、変化量抑制処理部(102)とを有している。なお、制御部(105)とは別に補正量算出部(101)と、変化量抑制処理部(102)を設けずに、制御部(105)内に、補正量算出部(101)、変化量抑制処理部(102)の機能を持たせるようにしてもよい。
【0017】
補正量算出部(101)では、RAW動画の各フレームに対する理想補正量を算出する。変化量抑制処理部(102)は、補正量算出部(101)で算出した理想補正量を用いて、フレーム間の変化量が滑らかになるような動画用補正量を算出する。ここで、また、理想補正量とは、RAW動画のフレームに最適な補正量であり、動画用補正量とは、フレーム間の急激な変化を抑制した動画の再生に適した補正量である。そして、RAW動画の各フレームに対して算出した理想補正量および動画用補正量を、RAW動画の各フレームの情報としてRAW動画ファイル内に格納し、記録部(103)により記録媒体に記録する。なお、補正量算出部(101)による理想補正量の算出処理、及び、変化量抑制処理部(102)による動画用補正量の算出処理は、のちに詳しく説明する。
【0018】
なお、上述の説明では、画像処理パラメータ(理想補正量、動画用補正量)を、RAW動画ファイル内に記録するものとしたが、RAW動画ファイルとは別のファイルとして記録するようにしてもよい。この場合、RAW動画ファイルと画像処理用のパラメータのファイルとの対応関係がわかるように関連付け情報を記録し、RAW動画ファイルを読み出す場合は、画像処理用のパラメータのファイルと共に読み出すようにするとよい。
【0019】
動画再生装置(200)は、入力部(201)、補正量選択部(202)、再生出力部(203)、制御部(204)、記憶部(205)、画像処理部(206)、操作部(207)を有している。
【0020】
入力部(201)は、外部装置と有線又は無線で通信し、外部装置からデータを取得する。制御部(204)は、動画再生装置200全体を制御するための制御部で、1つ以上のプロセッサから構成される。制御部(204)は、不図示のプログラムメモリからプログラムを読み込み、プログラムに基づいて、各部の制御及び各種演算処理などを行う。記憶部(205)は、入力部(201)を介して外部装置から取得したデータを記憶する記憶部である。画像処理部(206)は、記憶部205に記憶されている画像データ(RAW動画)に対して各種画像処理を施す。画像処理部(206)が実行する画像処理は、RAW動画の現像処理や、画像補正処理などを含む。操作部(207)は、ユーザからの操作を受け付けるための操作部であり、ボタン、キーボード、タッチパネル、マウス等により、ユーザ操作を受け付ける。操作部(207)に入力されたユーザ操作は、制御部(105)に通知され、制御部(204)は、操作部(207)への入力に応じた処理を実行するように制御する。再生出力部(203)は、RAW動画を表示装置で再生するために、RAW動画を表示装置に出力する。
【0021】
動画再生装置(200)での基本的な処理について説明する。まず、動画撮像装置100で記録されたRAW動画ファイルを入力部(201)を介して取得し、記憶部(205)に記憶する。なお、動画撮像装置100と通信することによりRAW動画ファイルを取得せずに、RAW動画ファイルが記録された記録媒体からRAW動画ファイルを読み出すことにより、RAW動画ファイルを取得し、記録部(205)に記憶するようにしてもよい。ここで、動画撮像装置100から取得RAW動画ファイルには、前述したように、画像処理パラメータとして各フレームの理想補正量と動画用補正量とが記録されている。記憶部(205)に記憶されているRAW動画の再生が、操作部(207)を介してユーザにより指示された場合には、制御部(204)は、記憶部(205)から処理対象のRAW動画ファイルを読み出す。画像処理部(206)は、再生対象のRAW動画ファイル内に含まれる画像処理用のパラメータに基づいて、RAW動画ファイルのRAW動画の各フレームに対して画像処理を施す。そして、画像処理部(206)により画像処理を施したRAW動画を、再生出力部(203)により再生出力して、表示装置に表示させる。なお、RAW動画を再生する際には、ユーザは操作部(207)への操作に応じて、RAW動画の最初のフレームからの再生を指示することだけでなく、RAW動画のうちのユーザが選択した任意のフレームから再生を開始させる指示を行うことも可能である。動画再生中に一時停止の指示を行ったり、選択したフレームのみを再生する指示を行ったりすることも可能である。
【0022】
ここで、本実施形態においては、画像処理用のパラメータとして、理想補正量、動画用補正量という2つのパラメータを有している。そのため、本実施形態の動画再生装置(200)は、さらに、ユーザの操作や出力形態などに応じて、理想補正量または動画用補正量のいずれを用いるかを決定する補正量選択部(202)を有している。なお、補正量選択部(202)を制御部(204)と別に設けずに、補正量選択部(202)の機能を制御部(204)内に設けるようにしてもよい。画像処理部(206)は、補正量選択部(202)により選択された補正量を用いて画像処理を行い、画像処理された画像が再生出力部(203)により再生出力される。また、RAW動画の切り出し処理を行う場合等にも、補正量選択部(202)は、理想補正量または動画用補正量、あるいは、動画用補正量の再計算を行うことにより取得した補正量のうちのいずれを用いるかを選択する。そして、選択された補正量に基づいて画像処理部(206)により画像処理を施して画像処理を施した画像を記憶部(205)に記憶する、又は、選択された補正量を切り出したRAW画像に付加して記憶部(205)にする。
【0023】
ここで、フレーム毎に算出される画像処理用のパラメータは、撮影中に変化するような様々な画像処理におけるパラメータが考えられるが、その一例として、光学的な収差である周辺光量補正の補正量がある。周辺光量補正とは、中心から周辺に向かって、レンズやセンサなどの光学的な要因により、光学的な中心から周辺にいくに従い、光量が落ちていく特性に対して、その逆特性をかけることで、光量を均一に保とうとする補正である。
【0024】
次に、補正量算出部(101)における、理想補正量の算出処理について
図2を参照して説明する。
図2は、補正量算出部(101)が実行する理想補正量の算出処理のフローチャートである。なお、この理想補正量の算出処理は、補正量算出部(101)が不図示のプログラムメモリから読み出したプログラムを実行することにより実現される。また、理想補正量の算出処理は、RAW動画撮影処理と並行して実行され、RAW動画撮影処理において撮像部(106)により撮像され記録されるすべてのRAW動画のフレームに対して実行される。つまり、RAW動画ファイルのRAW動画のすべてのフレームについて、理想補正量を算出する。
【0025】
まず、補正量算出部(101)は、RAW動画撮影処理において撮影された最初のフレームを、処理対象のフレームとして選択する(S201)、本実施形態では、RAW動画の撮影と並行して理想補正量を算出するため、先頭フレームから順に、理想補正量の算出を行う。まず、補正量算出部(101)は、処理対象のフレーム、つまり、理想補正量の算出対象のとなるフレームの撮影時の撮影条件に関する撮影設定情報を取得する(S203)。次に、補正量算出部(101)は、動画撮像装置100の撮像パラメータを取得する(S204)。そして、補正量算出部(101)は、S203で取得した撮影設定情報と、S204で取得した撮像パラメータとに基づいて、理想補正量を算出し、算出した理想補正量を処理対象のフレームとして決定する(S205)。処理対象のフレームの理想補正量の算出が完了すると、補正量算出部(101)は、記録対象となるすべてのRAW動画のフレームについて、理想補正量の算出が完了したかを判断する。全てのフレームの理想補正量の算出が完了した場合は処理を終了する。全てのフレームの理想補正量の算出が完了していない場合は、補正量算出部(101)は、処理対象のフレームを次のフレームに設定して(S202)、その後S203に戻り、全てのフレームの処理が完了するまで、S203~S206の処理を繰り返す。補正量算出部(101)が算出してフレーム毎に設定した理想補正量は、不図示のメモリに一時記憶し、後の動画用補正量の算出処理や、画像処理用のパラメータを記録部(103)により記録する際に使用する。
【0026】
ここで、理想補正量の算出において、周辺光量補正用の理想補正量を算出する場合は、S203においては、撮影時のISO感度、撮影距離、焦点距離、絞り値等の撮影設定情報を取得し、S204においては、動画撮像装置100の光学特性に関する情報、例えば、CMOSセンサの特性、使用されたレンズの特性等を取得する。そして,S205では、取得した撮影設定情報、及び、光学特性に関する情報とから、周辺光量補正の理想補正量を算出する。
【0027】
次に、変化量抑制処理部(102)における、動画用補正量の算出処理について
図3を参照して説明する。
図3は、変化量抑制処理部(102)が実行する動画用補正量の算出処理のフローチャートである。変化量抑制処理部(102)による動画用補正量の算出処理は、理想補正量に対してフレーム間の変化量の抑制を行った補正量を算出し、動画用補正量として設定するための処理である。なお、この動画用補正量の算出処理は、変化量抑制処理部(102)が不図示のプログラムメモリから読み出したプログラムを実行することにより実現される。また、動画用補正量の算出処理は、RAW動画撮影処理と並行して実行され、RAW動画撮影処理において撮像部(106)により撮像され記録されるすべてのRAW動画のフレームに対して実行される。つまり、RAW動画ファイルのRAW動画のすべてのフレームについて、動画用補正量を算出する。本実施形態では、RAW動画の撮影と並行して理想補正量を算出するため、先頭フレームから順に、動画用補正量の算出を行う。また、動画用補正量の算出処理では、理想補正量の算出処理で算出された理想補正量を使用するため、処理対象のフレームについての理想補正量の算出処理が完了して理想補正量が決定された後に、動画用補正量の算出処理が実行され動画用補正量が決定される。
【0028】
まず、変化量抑制処理部(102)は、RAW動画撮影処理において撮影された最初のフレームを処理対象(算出対象)のフレームとして選択する(S301)。最初のフレームが処理対象のフレームのときは前のフレームが存在しない。そのため、補正量算出部(101)が算出した最初のフレームの理想補正量をメモリ(不図示)から読み出し、最初のフレーム(先頭フレーム)の理想補正量を最初のフレームの動画用補正量に設定する(S302)。ここで設定した動画用補正量は次のフレームの動画用補正量を決定する際に使用するため、動画用補正量を保持してく。最初のフレームの処理が完了したら、次のフレームを処理対象のフレームとして選択する(S303)。2フレーム目以降については、まず、変化量抑制処理部(102)は、補正量算出部(101)により処理対象のフレームに設定された理想補正量をメモリから読み出して取得する(S304)。次に、変化量抑制処理部(102)は、保持しておいた前のフレームの動画用補正量と、S304で取得した処理対象のフレームの理想補正量の差を算出し、差が閾値(変化量抑制閾値)以上であるかを判定する(S305)。つまり、処理対象のフレームの理想補正量を処理対象のフレームの動画用補正量として仮に設定し、処理対象のフレームと前のフレームとの動画用補正量の差を、フレーム間の補正量の差として算出する。前のフレームの動画用補正量は、前のフレームが先頭フレームであれば先頭フレームの理想補正量となるが、それ以外であれば前のフレームにおいて算出した動画用補正量である。前のフレームにおいて算出した動画用補正量は、次のフレームの動画用補正量の算出処理に使用するため、次のフレームの動画用補正量の算出処理が完了するまで変化量抑制処理部(102)は保持しておく。
【0029】
S305において、フレーム間の補正量の差が閾値(変化量抑制閾値)以上であると判定された場合には、変化量抑制処理部(102)は、補正量の差が小さくなるように動画用補正量を算出する(S306)。ここでは、前のフレームの動画用補正量と処理対象のフレームの理想補正量との差分の半分を、前のフレームの動画用補正量に加算した値を算出する。本実施形態では、前のフレームの動画用補正量と処理対象のフレームの理想補正量との差分の半分を前のフレームの動画用補正量に加算するものとしたが、半分ではなく、差分を所定の数(1以上)で割った値を用いてもよい。つまり、差分を所定の割合で減少させて前のフレームの動画用補正量に加算すればよく、差分をどの程度に減少させるかの割合については、これに限定されない。以下の説明では、この割合をゲイン係数と呼び、処理対象のフレームの動画用補正量は、以下の式で算出するものとする。
(処理対象のフレームの動画用補正量)=(前のフレームの動画用補正量)+(処理対象のフレームの理想補正量-前のフレームの動画用補正量)×(ゲイン係数)
【0030】
また、本実施形態では、処理対象のフレームと前のフレームとの補正量の変化量を比較し、差が小さくなるように補正量を再演算する処理を行った。しかし、フレーム間の情報をもとに動画用補正量を求める処理であれば、これに限定されることはない。次に、変化量抑制処理部(102)は、S306で算出した動画用補正量を現在選択している処理対象のフレームの動画用補正量として設定する(S307)。
【0031】
S305において、補正量の差が閾値(変化量抑制閾値)以上でないと判定された場合には、変化量抑制処理部(102)は、S304で取得した処理対象のフレームの理想補正量を、動画用補正量に設定する(S308)。
【0032】
処理対象のフレームの動画用補正量を設定した後、変化量抑制処理部(102)は、記録対象となるすべてのRAW動画のフレームについて、動画用補正量の算出処理(動画用補正量の設定)が完了したかを判断する(S309)。全てのフレームの動画用補正量の算出処理が完了した場合は処理を終了する。全てのフレームの動画用補正量の算出処理が完了していない場合は、変化量抑制処理部(102)は、S303に戻って処理対象のフレームを次のフレームに設定し、全てのフレームの処理が完了するまで、S303~S309の処理を繰り返す。変化量抑制処理部(102)が算出してフレーム毎に設定した動画用補正量は、不図示のメモリに一時記憶し、後に記録部(103)により画像処理用のパラメータを記録する際に使用する。
【0033】
ここで、変化量抑制処理部における動画用補正量の算出結果の例を
図7を参照して説明する。まず、先頭フレームを0とし、フレーム4まで5フレームのRAW動画があるとする。各フレームの理想補正量は、フレーム0からフレーム1までは0であり、フレーム2からフレーム4までは100であるとする。これはフレーム1から2になるときに急激に理想補正量が変化するような撮影条件の変更があったと考えられる。また、S305において変化量の抑制処理を行うかを判定するための変化量抑制閾値を30、ゲイン係数を1/2とする。まず先頭フレーム0を読み込み、理想補正量の0をそのまま動画用補正量とする(S301、S302)。次にフレーム1を読み込み、前のフレームの動画用補正量が0であり、フレーム1の理想補正量も0であり、フレーム間の補正量の差が30(変化量抑制閾値)未満であるので、フレーム1の動画用補正量は0となる。次にフレーム2を読み込み、前のフレームの動画用補正量が0であり、フレーム2の理想補正量は100である。フレーム間の補正量の差は100となり、変化量抑制閾値である30よりも大きいため、変化量を抑制した動画用補正量の算出を行う。ゲイン係数は1/2であるので、差の100に対して1/2を乗算した50を、前のフレームの動画用補正量の0に加算した50が、フレーム2の動画用補正量となる。同様にフレーム3の理想補正量(100)と、フレーム2の動画用補正量(50)の差は50であり、変化量抑制閾値である30より大きいため、フレーム間の補正量の差の50に1/2を乗算した25をフレーム2の動画用補正量の50に加算した75がフレーム3の動画用補正量となる。フレーム4の理想補正量は100であり、前のフレーム3との差分は25であるため、変化量抑制閾値である30よりも小さい差分となる。そのため、フレーム4の動画用補正量は、理想補正量と同じ100を適用する。以上のように、変化量抑制処理部(102)における、動画用補正量の算出処理においては、各フレームの理想補正量が定まっている場合に、先頭フレームから順番に動画用補正量を算出し、各フレームに適用する動画用補正量を算出することができる。
【0034】
次に、記録部(103)における記録処理について
図4を参照して説明する。
図4は、記録部(103)により実行される記録処理のフローチャートである。この記録処理は、制御部(105)が、プログラムメモリから読み出したプログラムに基づいて記録部(103)を制御することにより実行される。記録処理は、RAW動画撮影処理の一部であり、RAW動画撮影処理が開始されてことに応じて実行開始される。記録処理では、RAW動画撮影処理において撮影したRAW動画を記録部(103)により記録媒体にRAW動画ファイルとして記録する処理を実行する。
【0035】
まず、記録部(103)は、記録媒体に新規のRAW動画ファイルを作成するRAW動画ファイルの新規作成を行う(S401)。次に、RAW動画撮影処理において撮影したRAW動画フレーム毎にS402~S403の処理を実行する。ます、制御部(105)が、撮像部(106)により撮像して得られたRAW動画フレームを取得し、記録部(1103)により、S401で生成したRAW動画ファイルに記録する(S402)。なお、RAW動画フレームについては、圧縮処理等の処理を施したものであってもよい。次に、制御部(105)は、S402で記録したRAW動画フレームに対して、補正量算出部(101)により設定された理想補正量と、変化量抑制処理部(102)で設定された動画用補正量とを取得し、記録部(103)により、S402で記録したRAW動画フレームの画像処理用のパラメータの情報として、RAW動画ファイル内に記録する。本実施形態では、この画像処理用のパラメータは、RAW動画ファイルのフォーマットの中のメタデータに含める形態で記録する。しかし、RAW動画ファイルとは別のファイルに画像処理用のパラメータ(補正量)を記録するようにしてもよい。
【0036】
制御部(105)は、RAW動画撮影処理において撮影した全てのRAW動画のフレームについて、S402、S403の処理が完了したかを判断する(S404)。全てのフレームの処理が完了した場合は処理を終了する。全てのフレームの処理が完了していない場合は、S402に戻り、次のフレームについてS402、S403の処理を行い、全てのフレームの処理が完了するまで、S402~S404の処理を繰り返す。
【0037】
全フレームの記録処理が完了すると、S405で、記録部(103)は、S401で作成し、S402~S404でフレームのデータを記録したRAW動画ファイルの記録完了処理を行い、RAW動画の記録処理を終了する。
【0038】
このように、本実施形態の動画撮像装置では、RAW動画の撮影時に、RAW動画フレームに対して、画像処理用パラメータを付加して、RAW動画ファイルとして記録していく。そして、画像処理用パラメータとして、撮影条件、撮影パラメータに基づく理想補正量だけでなく、理想補正量に対してフレーム間の変化量の抑制を行った動画用補正量を、つまり、同じ画像処理に対して、2種類のパラメータを記録する。再生時に負荷が大きい画像処理が必要となるRAW動画において、画像処理パラメータを撮影時に予め算出し記録することで、再生時の画像処理パラメータの算出の負荷を減らすことができる。また、RAW動画再生時に、画像処理パラメータの再演算をしなくても、理想補正量に基づいたより高画質となる画像処理と、動画用補正量に基づく滑らかに動画が再生可能な画像処理とを選択的に実行することができるようになる。
【0039】
また、上記の実施形態では、理想補正量の算出処理、動画用補正量の算出処理、記録処理を個別に行うものとして説明した。しかし、フレーム毎に、理想補正量の算出処理、動画用補正量の算出処理、記録処理を一括して実行するようにしてもよい。
【0040】
次に、動画再生装置(200)におけるRAW動画ファイルの再生処理について
図5を参照して説明する。動画再生装置(200)は、前に説明したように、記憶部(205)にRAW動画ファイルが記憶されている。操作部(207)を介してユーザから記憶部(205)に記憶されているRAW動画の再生の指示を受け付けたことに応じて、再生処理が実行される。なお、この再生処理は、制御部(204)がプログラムメモリから読み出したプログラムに基づいて各部の制御や演算処理を行うことにより実現される。まず、S501において、制御部(204)は、ユーザからの再生指示が、動画の連続再生の指示ではなく、1フレームの再生の指示であるかを判定する。なお、動画再生中に停止指示があった場合には、停止指示により1フレーム分の画像が再生されるため、1フレームの再生の指示であると判定し、停止時に再生されるフレームを再生対象のフレームとする。1フレームの再生の指示であると判定された場合はS502に進み、1フレームの再生の指示でないと判定された場合はS504に進む。
【0041】
S502では、補正量選択部(202)は、使用する補正量として、理想補正量を選択する。ここで、RAW動画の複数のフレームを連続的に再生(つまり、RAW動画を再生)せずに、1フレーム分のRAW画像を再生する場合は、変化量を抑制する必要がない。そのため、再生対象の1フレームに最適な画像処理を施すため、理想補正量を選択する。そして、S503において、画像処理部(206)では、再生対象として選択されたRAW動画のフレームに対して、現像処理、及び、選択された理想補正量を用いた画像処理を施し、処理が施された画像を、再生出力部(203)により再生出力する。つまり、再生対象として選択されたフレームは、理想補正量を用いた画像処理を施されて再生出力され、表示装置に表示される。
【0042】
1フレームの再生指示ではない場合、S504において、制御部(204)は、RAW動画再生指示であるかを判定する。動画再生指示であると判定した場合はS505に進み、動画再生指示でないと判定した場合はS507に進む。
【0043】
S505では、補正量選択部(202)は、使用する補正量として、動画用補正量を選択する。複数のフレームを連続的に再生(つまり、RAW動画を再生)する場合は、フレーム間における補正量の変化量が大きいと不自然な表示になってしまうため、フレーム間の補正量の変化量を抑制した動画用補正量を選択する。そして、S504において、画像処理部(206)では、再生対象となるRAW動画のフレームに対して順次、現像処理、及び、選択された動画用補正量を用いた画像処理を施し、再生出力部(203)により再生出力する。動画の最終フレームの再生出力を行うか、ユーザにより再生の一時停止の指示が入力するまで、各フレームに対して順次画像処理及び再生出力を施し、画像処理済みの動画が表示装置に再生表示される。
【0044】
1フレーム再生指示でも動画再生指示でもない場合は、S507において、制御部(204)は、ユーザの指示に応じた他の再生処理を行う。
【0045】
このように、本実施形態の動画再生装置200では、RAW動画ファイルを再生する場合に、ユーザからの再生指示の種類に応じて、動画再生装置200が自動的に理想補正量を使用するか、動画用補正量を使用するかを決定する。そのため、ユーザは、複数ある画像処理パラメータのうちのいずれを使用するかの操作を行わなくても、動画再生装置200は、再生方法に適したパラメータを自動的に選択し、再生方法に適したパラメータを用いて画像処理を行い再生することができる。
【0046】
次に、動画再生装置200において、記憶部(205)に記憶されているRAW動画ファイルの動画からフレームを切り出して新たなファイルとして記録する切り出し編集処理について、
図6を参照して説明する。
図6は、動画再生装置200において実行される切り出し編集処理のフローチャートである。操作部(207)を介してユーザから記憶部(205)に記憶されているRAW動画の切り出し編集指示を受け付けたことに応じて、この編集処理が実行される。切り出し編集指示においては、静止画として切り出すか動画として切り出すかの設定、RAWファイルとして記録するか現像済み画像として記録するかの設定、切り出し対象のフレーム、又は、フレーム範囲の設定等の指示が含まれている。なお、この切り出し編集処理は、制御部(204)がプログラムメモリから読み出したプログラムに基づいて各部の制御や演算処理を行うことにより実現される。
【0047】
まず、S601で、制御部(204)は、切り出し編集指示が、静止画としての切り出しであるか、動画としての切り出しであるかを判定する。静止画切り出しと判定された場合は、S602に進み、動画切り出しと判定された場合は、S608に進む。
【0048】
静止画切り出しの場合、S602において、制御部(204)は、RAW動画ファイルのRAW動画フレームの中から、ユーザにより切り出し対象として設定されたフレームを切り出す。次に、S603において、制御部(204)は、切り出したフレームを、RAWファイル(RAW静止画ファイル)として記録するか、現像してJPEGファイルとして記録するかの設定を判定する。RAWファイルとして記録すると設定されている場合はS604に進み、現像してJPEGファイルとして記録することが設定されている場合はS606に進む。
【0049】
S604では、制御部(204)は、切り出し対象のフレームのフレーム情報としてRAW動画ファイルに記録されていた画像処理パラメータのうち、理想補正量をS602で切り出したフレームの画像処理パラメータとして付加する。ここで、RAW静止画ファイルとして記録する場合は、理想補正量を画像処理パラメータとして付加するが、動画用補正量は付加しない。S605では、制御部(204)は、S604で理想補正量をフレームの画像処理情報として付加したフレームを、RAW静止画ファイルとして記憶部(205)に記憶する。この時、切り出したフレームや、メタデータについて、RAW動画ファイル用の形式からRAW静止画ファイル用の形式に変換するための処理なども実行する。
【0050】
S606では、制御部(204)は、S602で切り出したフレームに対して、そのフレームのフレーム情報としてRAW動画ファイルに記録されていた画像処理パラメータのうちの理想補正量を用いて、画像処理部(206)により画像処理を施す。ここでは、理想補正量を用いた画像処理だけでなく、RAW動画フレームの現像処理も実行する。さらに、画像処理部(206)によりJPEG圧縮処理を実行する。そして、S607において、制御部(204)は、S606において画像処理、JPEG圧縮処理を実行したJPEG画像をJPEGファイルとして記憶部(205)に記憶する。
【0051】
動画切り出しの場合、S608において、制御部(204)は、切り出し編集指示において設定された切り出し範囲のRAW動画フレームの動画用補正量の再計算を行う。S608における動画用補正量の再算出の処理では、
図3の動画用補正量の算出処理と同様に行うが、RAW動画フレームすべてではなく、切り出し範囲のRAW動画フレームについて
図3の処理を行う。つまり、動画用補正量の再計算処理では、切り出し範囲の先頭フレームが最初のフレームとなり、切り出し範囲の先頭フレームでは、そのフレームに設定されている理想補正量が再計算による動画用補正量として設定される。そして、次のフレームから、フレーム間の補正量の差を抑制するように動画用補正量を再計算する。そのため、切り出し範囲の先頭フレームに設定されている理想補正量と動画用補正量の補正量が同じ場合は、切り出し範囲の動画用補正量の再計算結果は、RAW動画ファイルにおいて設定されている(記録されている)動画用補正量と同じになる。そのため、切り出し範囲の先頭フレームに設定されている理想補正量と動画用補正量の補正量が同じ場合には、動画用補正量の再計算を行わず、RAW動画ファイルに記録されている動画用補正量を、S611、S613において再計算結果の動画用補正量の代わりに用いるようにしてもよい。
【0052】
次に、S610において、制御部(204)は、切り出したRAW動画フレームを、RAWファイル(RAW動画ファイル)として記録するか、各フレームに現像処理を施してMP4ファイルとして記録するかの設定を判定する。RAWファイルとして記録すると設定されている場合はS611に進み、現像してMP4ファイルとして記録することが設定されている場合はS613に進む。
【0053】
S611では、制御部(204)は、S609で切り出した切り出し範囲のRAW動画の各フレームについて、RAW動画ファイルに記録されていた理想補正量と、S608で再計算した動画用補正量とを、画像処理パラメータとして付加する。このように、RAW動画の一部の範囲を切り出してRAW動画ファイルとして記録する場合は、理想補正量および動画用補正量を付加する。ただし、動画用補正量については、RAW動画ファイルに記録されているものではなく、切り出し範囲で新たに再計算して取得したものを付加する。S612では、制御部(204)は、S611で理想補正量及び動画用補正量を各フレームの画像処理パラメータとして付加した切り出し範囲のRAW動画を、RAW動画ファイルとして記憶部(205)に記憶する。
【0054】
S613では、制御部(204)は、S609で切り出した切り出し範囲のRAW動画の各フレームに対して、RAW動画ファイルに記録されていた画像処理パラメータのうちの理想補正量を用いて、画像処理部(206)により画像処理を施す。ここでは、理想補正量を用いた画像処理だけでなく、RAW動画フレームの現像処理、及び、動画用圧縮処理(MPEG、HEVC等)も実行する。そして、S607において、制御部(204)は、S606において現像処理、画像処理および動画用圧縮処理を実行した動画をMP4ファイルとして記憶部(205)に記憶する。
【0055】
このように、本実施形態の切り出し編集処理では、静止画切り出しか否かに応じて、画像と共に記録する、または、画像処理に用いる補正量を、理想補正量、動画用補正量(再計算した動画補正量)から選択するようにしている。そのため、静止画と動画とでそれぞれ適した補正量を選択するようにしている。本実施形態では、制御部(204)が、自動的に補正量を選択するようにしたが、ユーザが操作部(207)を介して補正量を選択した場合は、ユーザにより選択された補正量を適応するようにしてもよい。
【0056】
このように、本実施形態の画像処理装置においては、RAW動画の再生方式や、記録形式に応じて、理想補正量、動画用補正量あるいは再計算した動画補正量の中から、画像処理に使用する補正量、または、記録する補正量を自動的に選択するようにした。これにより、画像処理装置がRAW動画の使用状況に適した補正量を自動的に選択するため、ユーザは使用する(記録する)補正量を選択しなくても、RAW動画の使用状況に適した補正量を適応させることができる。
【0057】
<その他の実施形態>
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【0058】
上述の実施形態では、動画撮像装置と画像処理装置とか接続される画像処理システムで説明したが、この形態に限定されず、例えば、動画撮像装置に画像処理装置の機能を持たせて、動画撮像装置において再生処理、切り出し処理を実行するようにしてもよい。
【0059】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。