ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】動画撮像装置、動画撮像方法、及び動画撮像プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240729BHJP
【ＦＩ】
H04N23/60 500
H04N23/60 300
【請求項の数】
15
(21)【出願番号】P 2022532392
(86)(22)【出願日】2021-05-13
(86)【国際出願番号】 JP2021018269
(87)【国際公開番号】W WO2021261106
(87)【国際公開日】2021-12-30
【審査請求日】2022-12-07
(31)【優先権主張番号】P 2020110764
(32)【優先日】2020-06-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110002505
【氏名又は名称】弁理士法人航栄事務所
(72)【発明者】
【氏名】▲高▼橋 宏輔
【審査官】高野 美帆子
(56)【参考文献】
【文献】特表２００４－５２２３５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部と、前記撮像部の撮像条件が変更されたときの前記フレームデータと対応付けて、前記撮像条件を示すメタデータを生成するメタデータ生成部と、
前記フレームデータに前記メタデータを付加し、デモザイク前の動画データとして出力する出力部と、を備え、
前記出力部は、前記フレームデータに対応付けられた前記メタデータのデータ量が付加可能なデータ量を超えている場合に、前記フレームデータに対応付けられた前記メタデータのうち優先度に基づいて選択したメタデータを前記フレームデータに付加し、前記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち前記第１フレームデータに付加しないメタデータを、前記第１フレームデータより後の第２フレームデータに付加する、
動画撮像装置。
【請求項2】
請求項１記載の動画撮像装置であって、前記優先度は、前記メタデータの種別に基づく優先度である、
動画撮像装置。
【請求項3】
請求項１又は２記載の動画撮像装置であって、前記メタデータ生成部は、前記撮像部による撮像の開始時における前記撮像部の撮像条件を示すメタデータを、前記撮像の開始後の最初の前記フレームデータと対応付けて生成する、
動画撮像装置。
【請求項4】
請求項１から３のいずれか１項記載の動画撮像装置であって、
前記出力部は、前記第２フレームデータに対応付けられたメタデータと、前記第１フレームデータに付加しないメタデータと、のうち前記第１フレームデータに付加しないメタデータを優先的に前記第２フレームデータに付加する、
動画撮像装置。
【請求項5】
請求項１から４のいずれか１項記載の動画撮像装置であって、
前記出力部は、前記第１フレームデータと対応付けられた前記メタデータのうち前記第１フレームデータに付加しないメタデータが示す前記撮像部の撮像条件が前記第２フレームデータの撮像時に変更されている場合は、前記変更の前後の前記撮像条件を示すメタデータのうち前記変更の後の撮像条件を示すメタデータを前記第２フレームデータに付加する、
動画撮像装置。
【請求項6】
請求項１から５のいずれか１項記載の動画撮像装置であって、
前記出力部は、前記第１フレームデータと対応付けられた前記メタデータのうち前記第１フレームデータに付加しないメタデータを前記第２フレームデータに付加する際に、前記第１フレームデータを特定可能なデータを前記第２フレームデータに付加する、
動画撮像装置。
【請求項7】
請求項１から６のいずれか１項記載の動画撮像装置であって、
前記撮像部は、前記撮像条件を複数フレーム毎に変更可能である、
動画撮像装置。
【請求項8】
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置による動画撮像方法であって、
前記撮像部の撮像条件が変更されたときの前記フレームデータと対応付けて、前記撮像条件を示すメタデータを生成し、
前記フレームデータに前記メタデータを付加し、デモザイク前の動画データとして出力し、前記フレームデータに対応付けられた前記メタデータのデータ量が付加可能なデータ量を超えている場合に、前記フレームデータに対応付けられた前記メタデータのうち優先度に基づいて選択したメタデータを前記フレームデータに付加し、
前記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち前記第１フレームデータに付加しないメタデータを、前記第１フレームデータより後の第２フレームデータに付加する、
動画撮像方法。
【請求項9】
請求項８記載の動画撮像方法であって、
前記優先度は、前記メタデータの種別に基づく優先度である、
動画撮像方法。
【請求項10】
請求項８又は９記載の動画撮像方法であって、
前記撮像部による撮像の開始時における前記撮像部の撮像条件を示すメタデータを、前記撮像の開始後の最初の前記フレームデータと対応付けて生成する、
動画撮像方法。
【請求項11】
請求項８から１０のいずれか１項記載の動画撮像方法であって、
前記第２フレームデータに対応付けられたメタデータと、前記第１フレームデータに付加しないメタデータと、のうち前記第１フレームデータに付加しないメタデータを優先的に前記第２フレームデータに付加する、
動画撮像方法。
【請求項12】
請求項８から１１のいずれか１項記載の動画撮像方法であって、
前記第１フレームデータと対応付けられた前記メタデータのうち前記第１フレームデータに付加しないメタデータが示す前記撮像部の撮像条件が前記第２フレームデータの撮像時に変更されている場合は、前記変更の前後の前記撮像条件を示すメタデータのうち前記変更の後の撮像条件を示すメタデータを前記第２フレームデータに付加する、
動画撮像方法。
【請求項13】
請求項８から１２のいずれか１項記載の動画撮像方法であって、
前記第１フレームデータと対応付けられた前記メタデータのうち前記第１フレームデータに付加しないメタデータを前記第２フレームデータに付加する際に、前記第１フレームデータを特定可能なデータを前記第２フレームデータに付加する、
動画撮像方法。
【請求項14】
請求項８から１３のいずれか１項記載の動画撮像方法であって、
前記撮像部は、前記撮像条件を複数フレーム毎に変更可能である、
動画撮像方法。
【請求項15】
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置の動画撮像プログラムであって、
前記動画撮像装置のプロセッサに、
前記撮像部の撮像条件が変更されたときの前記フレームデータと対応付けて、前記撮像条件を示すメタデータを生成し、
前記フレームデータに前記メタデータを付加し、デモザイク前の動画データとして出力し、前記フレームデータに対応付けられた前記メタデータのデータ量が付加可能なデータ量を超えている場合に、前記フレームデータに対応付けられた前記メタデータのうち優先度に基づいて選択したメタデータを前記フレームデータに付加し、
前記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち前記第１フレームデータに付加しないメタデータを、前記第１フレームデータより後の第２フレームデータに付加する、
処理を実行させるための動画撮像プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画撮像装置、動画撮像方法、及び動画撮像プログラムに関する。
【背景技術】
【0002】
特許文献１には、撮像ユニットから出力されるＲＡＷ動画データ及び画像補正データを記録ユニット又は外部記録装置に入力して記録する構成において、画像補正データのデータサイズが１フレームで送信可能なデータサイズを超える場合に、画像補正データを任意のサイズに分割して複数フレームに分けて送信を行うことが記載されている。
【0003】
特許文献２には、ＲＡＷ動画データに基づいて、ＲＡＷ動画像データを再生（現像）する際に必要となる現像パラメータ（動画像用の現像パラメータ）をフレーム単位で生成し、ＲＡＷ動画像データと、ＲＡＷ動画像データを構成するＲＡＷ画像フレームに対する現像パラメータとを記録媒体に記録することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１６３３０７号公報
【文献】特開２０１１－２４４４２３号公報
【発明の概要】
【0005】
本開示の技術に係る１つの実施形態は、現像パラメータなどのメタデータの出力の遅延による現像処理への影響を抑制することのできる動画撮像装置、動画撮像方法、及び動画撮像プログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の技術に係る１つの実施形態の動画撮像装置は、動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部と、上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成するメタデータ生成部と、上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力する出力部と、を備え、上記出力部は、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加するものである。
【0007】
本開示の技術に係る１つの実施形態の動画撮像方法は、動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置による動画撮像方法であって、上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成し、上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力し、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加するものである。
【0008】
本開示の技術に係る１つの実施形態の動画撮像プログラムは、動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置の動画撮像プログラムであって、上記動画撮像装置のプロセッサに、上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成し、上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力し、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、処理を実行させるためのものである。
【発明の効果】
【0009】
本開示の技術に係る１つの実施形態によれば、メタデータの出力の遅延による現像処理への影響を抑制することのできる動画撮像装置、動画撮像方法、及び動画撮像プログラムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態１に係る撮像装置１００の一例を示す図である。
【図2】撮像制御部１０４が生成するメタデータの種別の具体例を示す図である。
【図3】実施の形態１に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。
【図4】実施の形態１に係る出力制御部１１０による出力制御の一例を示す図である。
【図5】実施の形態１に係る撮像装置１００による処理の一例を示すフローチャートである。
【図6】実施の形態２に係るメタデータの即時出力フラグの一例を示す図である。
【図7】実施の形態２に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。
【図8】実施の形態２に係る出力制御部１１０による出力制御の一例を示す図である。
【図9】実施の形態２に係る撮像装置１００による処理の一例を示すフローチャートである。
【図10】実施の形態３に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。
【図11】実施の形態３に係る出力制御部１１０による出力制御の一例を示す図である。
【図12】実施の形態３に係る撮像装置１００による処理の一例を示すフローチャートである。
【図13】実施の形態４に係る出力制御部１１０による出力制御の一例を示す図である。
【図14】実施の形態４に係る撮像装置１００による処理の一例を示すフローチャートである。
【図15】実施の形態５に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。
【図16】実施の形態５に係る出力制御部１１０による出力制御の一例を示す図である。
【図17】実施の形態６に係る撮像装置１００の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を参照して説明する。
【0012】
（実施の形態１）
＜実施の形態１に係る撮像装置１００＞
図１は、実施の形態１に係る撮像装置１００の一例を示す図である。撮像装置１００は、連続した撮像を行うことにより動画を生成可能な動画撮像装置である。ただし、撮像装置１００は、動画を生成する機能に加えて、静止画を生成する機能を有していてもよい。
＜実施の形態１に係る撮像装置１００＞
図１は、実施の形態１に係る撮像装置１００の一例を示す図である。撮像装置１００は、連続した撮像を行うことにより動画を生成可能な動画撮像装置である。ただし、撮像装置１００は、動画を生成する機能に加えて、静止画を生成する機能を有していてもよい。
【0013】
外部記録装置１２０は、撮像装置１００の外部に設けられ、撮像装置１００から出力される後述のＲＡＷ動画データ及びメタデータを記録する。撮像装置１００のデータ出力端子は、例えばＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：高精細度マルチメディアインタフェース）などの通信インタフェースを介して外部記録装置１２０の入力端子に接続される。なおＨＤＭＩは登録商標である。撮像装置１００からのデータ出力はＨＤＭＩに限らず、無線通信（例えばＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）や無線ＨＤＭＩ－ＳＤＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ－Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力してもよい。
【0014】
撮像装置１００は、撮像部１１９と、撮像制御部１０４と、ＲＡＷ補正部１０５と、一時記憶部１０６と、デモザイク処理部１０７と、画像補正部１０８と、モニタ１０９と、出力制御部１１０と、外部出力Ｉ／Ｆ１１１と、を備える。
【0015】
撮像部１１９は、連続した撮像を行うことにより、動画の画像データを時間的に連続する複数のフレームデータとして生成する。具体的には、撮像部１１９は、撮像レンズ系１０１と、撮像素子１０２と、ＡＤＣ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）１０３と、を有する。ＡＤＣ１０３は撮像素子１０２に内蔵されていてもよい。
【0016】
撮像レンズ系１０１は、被写体からの光を透過させて撮像素子１０２に像を結ぶためのレンズを含む。また、撮像レンズ系１０１は、絞り、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタ、フォーカスレンズ、ズームレンズ、シフトレンズなどを含んでもよい。これらの撮像レンズ系１０１の可動部は撮像制御部１０４によって制御される。
【0017】
撮像素子１０２は、撮像レンズ系１０１による光学像をアナログ画像信号に変換し、変換したアナログ画像信号をＡＤＣ１０３に出力する。撮像素子１０２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサやＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサなどの撮像素子により構成される。
【0018】
また、撮像素子１０２は、露光時間を調整するためのシャッタである電子シャッタを備えている。撮像素子１０２による撮像は撮像制御部１０４によって制御される。例えば、撮像素子１０２は、動画撮像時に、撮像制御部１０４からの制御によって、撮像を時間的に連続して行い、それによって得られたアナログ画像信号を順次、ＡＤＣ１０３へ出力する。
【0019】
ＡＤＣ１０３は、撮像素子１０２からのアナログ画像信号をデジタルのフレームデータに変換し、変換したフレームデータをＲＡＷ補正部１０５へ出力する。ＡＤＣ１０３から連続して出力されるフレームデータは、デモザイク前のＲＡＷ動画データである。
【0020】
撮像制御部１０４は、撮像レンズ系１０１及び撮像素子１０２を制御することにより、撮像部１１９による撮像を制御する。例えば、撮像制御部１０４は、ユーザからの指示に応じて、撮像部１１９による撮像の焦点や露出等の制御を行う。また、撮像制御部１０４は、後述のデモザイク処理部１０７によって得られたデモザイク画像に基づいて、撮像部１１９による撮像の露出等の制御を自動的に行ってもよい。
【0021】
また、撮像制御部１０４は、撮像レンズ系１０１及び撮像素子１０２による撮像の条件を示すメタデータを生成するメタデータ生成部を構成する。メタデータは、ＲＡＷ動画データに基づいてデモザイク画像を生成する現像処理を行う際に用いられる。メタデータの具体例については後述する（例えば図２参照）。
【0022】
例えば、撮像制御部１０４は、撮像部１１９による撮像の開始時における撮像部１１９の各撮像条件を示すメタデータを、撮像部１１９による撮像の開始後の最初のフレームデータと対応付けて生成する。
【0023】
メタデータをあるフレームデータと対応付けて生成するとは、例えば、メタデータがそのフレームデータに対応することを後述の出力制御部１１０が特定できるようにすることである。一例としては、撮像制御部１０４は、メタデータに対応するフレームデータのフレーム番号を、そのメタデータに付加する。
【0024】
また、撮像制御部１０４は、撮像部１１９による撮像の撮像条件が変更された場合、その変更後の撮像条件を示すメタデータを、その変更の直後のフレームデータと対応付けて生成する。一方で、撮像制御部１０４は、撮像部１１９による撮像の撮像条件が変更されていない場合には、メタデータを新たに生成しない。このような処理を、撮像制御部１０４は、メタデータの種別毎に行う。
【0025】
したがって、撮像部１１９による撮像の開始時には、その時点の撮像部１１９の撮像条件を示す各メタデータが最初のフレームデータと対応付けて生成される。そして、その後は、撮像条件が変更されたときのみ、変更された撮像条件を示すメタデータがその時点のフレームデータと対応付けて生成される。撮像制御部１０４は、生成したメタデータを一時記憶部１０６に出力する。
【0026】
ＲＡＷ補正部１０５は、ＡＤＣ１０３から出力されたフレームデータ（ＲＡＷ動画データ）に対する補正を行う。ＲＡＷ補正部１０５が行う補正は、デモザイク処理前のＲＡＷ動画データに対して行う補正であり、例えば、撮像素子１０２の特性等に応じた、画素値補正、欠陥画素補正、シェーディング補正などである。ＲＡＷ補正部１０５は、補正を行ったフレームデータを一時記憶部１０６へ出力する。
【0027】
一時記憶部１０６は、ＲＡＷ補正部１０５から出力されたフレームデータと、撮像制御部１０４から出力されたメタデータと、を一時的に記憶する。例えば、一時記憶部１０６は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ（種類は問わない）によって実現される。また、一時記憶部１０６は、複数のメモリによって実現されてもよい。例えば、一時記憶部１０６は、フレームデータを記憶するメモリと、メタデータを記憶するメモリと、により実現されてもよい。
【0028】
デモザイク処理部１０７は、一時記憶部１０６によって記憶されたフレームデータにデモザイク処理を行うことによりデモザイク動画像を生成し、生成したデモザイク動画像を画像補正部１０８へ出力する。欠陥画素補正やシェーディング補正などを行ったフレームデータは、ＲＡＷ補正部１０５から出力される。この時点での各画素ひとつひとつは、Ｒ，Ｇ，Ｂの各色のいずれか一色のみである。そこで、周辺の画素から、他の２色を補完し、各画素が３色のデータを持つようにする。例えば、Ｒ色しか持たない画素なら、ＧとＢのデータが存在しないので、周辺のＧ画素のデータから補間あるいは周辺のＧ画素から予測して、その画素のＧ色のデータとする。これにより、全画素それぞれがＲ，Ｇ，Ｂの３色を持つ。これをデモザイク処理という。
【0029】
画像補正部１０８は、デモザイク処理部１０７から出力されたデモザイク動画像に対して各種の画像補正を行い、画像補正を行ったデモザイク動画像をモニタ１０９へ出力する。画像補正部１０８が行う画像補正は、デモザイク処理後のデモザイク動画像に対して行う処理であり、例えば、周辺光量落ち補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ処理、圧縮などの処理である。
【0030】
モニタ１０９は、画像補正部１０８から出力されたデモザイク動画像をユーザに表示する。これにより、ユーザは、動画撮像中に、撮像中の動画をライブ画像として確認することができる。
【0031】
出力制御部１１０及び外部出力Ｉ／Ｆ１１１は、本開示の技術に係る１つの実施形態の出力部を構成する。出力制御部１１０は、一時記憶部１０６に記憶されたフレームデータ及びメタデータを読み出し、フレームデータにメタデータを付加する。そして、出力制御部１１０は、メタデータを付加したフレームデータを、デモザイク前のＲＡＷ動画データとして外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0032】
例えば、出力制御部１１０は、フレームデータを映像信号として継続的に外部出力Ｉ／Ｆ１１１から出力させつつ、映像信号のブランキング期間にメタデータを外部出力Ｉ／Ｆ１１１から出力させる。すなわち、出力制御部１１０は、フレームデータの出力に割り込ませてメタデータの出力を行うように外部出力Ｉ／Ｆ１１１を制御する。これにより、フレームデータにメタデータを付加して出力することができる。
【0033】
外部出力Ｉ／Ｆ１１１は、外部記録装置１２０との間で通信を行うための通信インタフェースである。一例としては、外部出力Ｉ／Ｆ１１１は、ＨＤＭＩによる通信を行う。外部出力Ｉ／Ｆ１１１は、出力制御部１１０からの制御に従って、フレームデータ及びメタデータを外部記録装置１２０へ出力する。
【0034】
なお、撮像装置１００は、デモザイク動画像などを記憶する内部メモリを備えてもよい。また、撮像装置１００は、ユーザからの種々の操作を受け付けたり、ユーザに対して各種のデータを出力したりするユーザインタフェースを備えてもよい。
【0035】
また、撮像装置１００は、周辺の音響を電気信号に変換するマイクロフォンを備えてもよい。この場合、マイクロフォンによって得られた電気信号は、デジタルの音響データに変換され、フレームデータ及びメタデータとともに外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力され、外部記録装置１２０によって記録されてもよい。
【0036】
外部記録装置１２０は、外部入力Ｉ／Ｆ１２１と、記録制御部１２２と、記録媒体１２３と、を備える。外部入力Ｉ／Ｆ１２１は、撮像装置１００の外部出力Ｉ／Ｆ１１１から出力されるフレームデータ及びメタデータを取り込み、取り込んだフレームデータ及びメタデータを記録制御部１２２へ出力する。
【0037】
記録制御部１２２は、外部入力Ｉ／Ｆ１２１から出力されたフレームデータ及びメタデータを記録媒体１２３に記録する制御を行う。記録媒体１２３は、撮像装置１００から連続して出力される大容量のフレームデータをリアルタイムで記録できるように、高速に書き込みが可能な大容量の記録媒体である。例えば、記録媒体１２３は、メモリーカードやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などにより実現することができる。
【0038】
また、図示を省略するが、外部記録装置１２０は、撮像装置１００及び外部記録装置１２０と異なる外部のデータ処理装置（例えばパーソナルコンピュータ）に対して、記録媒体１２３に記憶されたフレームデータ及びメタデータを出力する外部出力Ｉ／Ｆを有する。これにより、データ処理装置において、記録媒体１２３に記憶されたフレームデータ及びメタデータに基づく現像処理を行うことができる。
【0039】
又は、外部記録装置１２０は、現像処理を行うためのプロセッサ及びメモリを有するデータ処理装置（例えばパーソナルコンピュータ）であってもよい。この場合、外部記録装置１２０は、記録媒体１２３に記憶されたフレームデータ及びメタデータに基づく現像処理を行うことができる。
【0040】
＜撮像装置１００のハードウェア構成＞
撮像装置１００における撮像制御部１０４、ＲＡＷ補正部１０５、デモザイク処理部１０７、画像補正部１０８、及び出力制御部１１０は、撮像装置１００のメモリと協調して動作するプロセッサによって実現される。
撮像装置１００における撮像制御部１０４、ＲＡＷ補正部１０５、デモザイク処理部１０７、画像補正部１０８、及び出力制御部１１０は、撮像装置１００のメモリと協調して動作するプロセッサによって実現される。
【0041】
このプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサである。このプロセッサは、メモリに記憶されたプログラムを読み出して実行することで、撮像装置１００における上記の処理部として機能する。上記の各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。なお、このプロセッサは、同種又は異種の複数のプロセッサの組み合わせであってもよい。
【0042】
メモリは、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどによって実現される。メモリは、プロセッサによって実行されるプログラム、又はプロセッサによって用いられるデータなどを記憶する。なお、このメモリは、同種又は異種の複数のメモリの組み合わせであってもよい。
【0043】
＜撮像制御部１０４が生成するメタデータの種別の具体例＞
図２は、撮像制御部１０４が生成するメタデータの種別の具体例を示す図である。撮像制御部１０４は、例えば、図２に示すような、黒オフセットレベル、ＲＡＷ数値を表色系に変換する係数、ホワイトバランスパラメータ、レンズ補正パラメータ、色変換パラメータ、ガンマ補正パラメータ、ノイズ補正パラメータ、タイムコード、撮像日時、製品名などに関する撮像条件を示すメタデータを生成する。
図２は、撮像制御部１０４が生成するメタデータの種別の具体例を示す図である。撮像制御部１０４は、例えば、図２に示すような、黒オフセットレベル、ＲＡＷ数値を表色系に変換する係数、ホワイトバランスパラメータ、レンズ補正パラメータ、色変換パラメータ、ガンマ補正パラメータ、ノイズ補正パラメータ、タイムコード、撮像日時、製品名などに関する撮像条件を示すメタデータを生成する。
【0044】
また、これらのメタデータには、種別毎に予め優先度が設定され、撮像装置１００のメモリに記憶されている。優先度は、優先的に外部記録装置１２０へ出力すべき度合いを示すものである。
【0045】
例えば、メタデータの種別毎の優先度は、現像処理の結果への影響が大きいメタデータほど高くなるように、すなわち現像処理の結果への影響が大きいメタデータほど優先的に出力されるように設定される。優先度が高いメタデータほど優先的に出力するとは、優先度以外の条件が同一である各メタデータについては優先度が高い方のメタデータを先に出力することである。
【0046】
例えば、現像処理のうち先に行われる処理に用いられるメタデータほど、現像処理によって得られるデモザイク動画の画質への影響が大きいため、高い優先度が設定される。図２に示す例では、現像処理に用いられる黒オフセットレベルには、最も高い優先度が設定されている。一方で、現像処理には直接的には用いられない製品名には、最も低い優先度が設定されている。
【0047】
なお、撮像制御部１０４が生成するメタデータの種別は、図２に示した例に限らず任意に設定することができる。また、優先度についても、図２に示した例に限らず、任意に設定することができる。例えば、上述したＲＡＷ補正部１０５が行う画素値補正、欠陥画素補正、シェーディング補正などの補正の少なくとも一部を、ＲＡＷ補正部１０５では行わずに現像処理において行うようにしてもよい。この場合、撮像制御部１０４は、画素値補正、欠陥画素補正、シェーディング補正などの補正を行うためのメタデータを生成して一時記憶部１０６に出力する。
【0048】
＜実施の形態１に係る撮像制御部１０４によるメタデータの生成＞
図３は、実施の形態１に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図３の横軸は時間を示す。フレームデータＦ１～Ｆ５は、撮像部１１９による連続した５回分の撮像により得られた各フレームデータであって、デモザイク処理前のＲＡＷ動画データである。
図３は、実施の形態１に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図３の横軸は時間を示す。フレームデータＦ１～Ｆ５は、撮像部１１９による連続した５回分の撮像により得られた各フレームデータであって、デモザイク処理前のＲＡＷ動画データである。
【0049】
メタデータＭ１～Ｍ１３は、撮像制御部１０４によって生成されるメタデータである。メタデータＭ１～Ｍ７は、撮像の開始時に設定されていた各撮像条件を示すデータであり、撮像の開始後の最初のフレームデータＦ１と対応付けて生成される。
【0050】
メタデータＭ１は、撮像素子１０２で使用される画素数（解像度）に関する撮像条件を示すメタデータである。メタデータＭ２は、黒オフセットレベル（黒レベル）に関する撮像条件を示すメタデータである。メタデータＭ３，Ｍ４は、シェーディングに関する撮像条件を示すメタデータである。メタデータＭ５，Ｍ６は、ディストーションに関する撮像条件を示すメタデータである。メタデータＭ７は、ホワイトバランス（ＷＢ：Ｗｈｉｔｅ Ｂａｌａｎｃｅ）に関する撮像条件を示すメタデータである。
【0051】
図３に示す例では、フレームデータＦ１の撮像とフレームデータＦ２の撮像との間においては、撮像条件が変更されていない。この場合、撮像制御部１０４は、フレームデータＦ２と対応付けたメタデータを生成しない。
【0052】
また、図３に示す例では、フレームデータＦ２の撮像とフレームデータＦ３の撮像との間において、ホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ８（ＷＢ）をフレームデータＦ３と対応付けて生成する。
【0053】
また、図３に示す例では、フレームデータＦ３の撮像とフレームデータＦ４の撮像との間において、シェーディング、ディストーション、及びホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のシェーディングに関する撮像条件を示すメタデータＭ９，Ｍ１０と、変更後のディストーションに関する撮像条件を示すメタデータＭ１１，Ｍ１２と、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ１３と、をフレームデータＦ４と対応付けて生成する。
【0054】
また、図３に示す例では、フレームデータＦ４の撮像とフレームデータＦ５の撮像との間においては、撮像条件が変更されていない。この場合、撮像制御部１０４は、フレームデータＦ５と対応付けたメタデータを生成しない。
【0055】
＜実施の形態１に係る出力制御部１１０による出力制御＞
図４は、実施の形態１に係る出力制御部１１０による出力制御の一例を示す図である。図３に示したメタデータの生成の例において、出力制御部１１０は、例えば図４に示すようにフレームデータ及びメタデータを出力する。
図４は、実施の形態１に係る出力制御部１１０による出力制御の一例を示す図である。図３に示したメタデータの生成の例において、出力制御部１１０は、例えば図４に示すようにフレームデータ及びメタデータを出力する。
【0056】
この例では、１つのメタデータのデータ量を２８［ｂｙｔｅ］とし、１つのフレームデータに付加して外部出力Ｉ／Ｆ１１１から出力可能なメタデータの容量を２８×４［ｂｙｔｅ］とする。すなわち、１つのフレームデータに付加して４つのメタデータを出力可能であるとする。なお、例えば、ＨＤＭＩにおいてメタデータを格納可能なパケットコンテナは、ハードウェアでブランキング期間に挿入されるため、容量の上限が決まっており、この例と同様に２８×４［ｂｙｔｅ］／フレームなどの制限がある。
【0057】
フレームデータＦ１に対応付けられたメタデータの数は、メタデータＭ１～Ｍ７の７つであり、フレームデータＦ１に付加可能なメタデータの数（４つ）を超えている。すなわち、フレームデータＦ１に対応付けられたメタデータのデータ量は、２８×７［ｂｙｔｅ］であり、フレームデータＦ１に付加可能なデータ量（２８×４［ｂｙｔｅ］）を超えている。
【0058】
この場合に、出力制御部１１０は、フレームデータＦ１に対応付けられたメタデータＭ１～Ｍ７のうち、メタデータＭ１～Ｍ７の優先度に基づいて選択したメタデータをフレームデータＦ１に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。この例では、解像度、黒レベル、シェーディング、ディストーション、ホワイトバランスの順に優先度が高いとする。この場合に、出力制御部１１０は、メタデータＭ１～Ｍ７の中から優先度が高い順に選択した４つのメタデータＭ１～Ｍ４をフレームデータＦ１に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0059】
また、出力制御部１１０は、フレームデータＦ１に付加しなかったメタデータＭ５～Ｍ７については、フレームデータＦ１の次のフレームデータＦ２に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0060】
また、出力制御部１１０は、フレームデータＦ３に対応付けられたメタデータＭ８をフレームデータＦ３に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0061】
フレームデータＦ４に対応付けられたメタデータの数は、メタデータＭ９～Ｍ１３の５つであり、フレームデータＦ４に付加可能なメタデータの数（４つ）を超えている。この場合に、出力制御部１１０は、メタデータＭ９～Ｍ１３の中から優先度が高い順に選択した４つのメタデータＭ９～Ｍ１２をフレームデータＦ４に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0062】
また、出力制御部１１０は、フレームデータＦ４に付加しなかったメタデータＭ１３については、フレームデータＦ４の次のフレームデータＦ５に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0063】
＜現像処理の具体例＞
図４に示した例における現像処理について説明する。図４に示した例では、フレームデータＦ１の解像度、黒レベル、及びシェーディングに関する現像処理は、フレームデータＦ１に付加されたメタデータＭ１～Ｍ４を用いて行われる。なお、フレームデータＦ１に適用可能なディストーション及びホワイトバランスに関するメタデータはないため、例えば、ディストーション及びホワイトバランスに関しては予め定められたメタデータを用いてフレームデータＦ１の現像処理が行われる。
図４に示した例における現像処理について説明する。図４に示した例では、フレームデータＦ１の解像度、黒レベル、及びシェーディングに関する現像処理は、フレームデータＦ１に付加されたメタデータＭ１～Ｍ４を用いて行われる。なお、フレームデータＦ１に適用可能なディストーション及びホワイトバランスに関するメタデータはないため、例えば、ディストーション及びホワイトバランスに関しては予め定められたメタデータを用いてフレームデータＦ１の現像処理が行われる。
【0064】
フレームデータＦ２のディストーション及びホワイトバランスに関する現像処理は、フレームデータＦ２に付加されたメタデータＭ５～Ｍ７を用いて行われる。また、フレームデータＦ２の解像度、黒レベル、及びシェーディングに関する現像処理は、メタデータＭ１～Ｍ４を用いて行われる。
【0065】
フレームデータＦ３のホワイトバランスに関する現像処理は、フレームデータＦ３に付加されたメタデータＭ８を用いて行われる。また、フレームデータＦ３の解像度、黒レベル、シェーディング、及びディストーションに関する現像処理は、メタデータＭ１～Ｍ６を用いて行われる。
【0066】
フレームデータＦ４のシェーディング及びディストーションに関する現像処理は、フレームデータＦ４に付加されたメタデータＭ９～Ｍ１２を用いて行われる。また、フレームデータＦ４の解像度、黒レベル、及びホワイトバランスに関する現像処理は、メタデータＭ１，Ｍ２，Ｍ８を用いて行われる。
【0067】
フレームデータＦ５のホワイトバランスに関する現像処理は、フレームデータＦ５に付加されたメタデータＭ１３を用いて行われる。また、フレームデータＦ５の解像度、黒レベル、シェーディング、及びディストーションに関する現像処理は、メタデータＭ１，Ｍ２，Ｍ９～Ｍ１２を用いて行われる。
【0068】
＜実施の形態１に係る撮像装置１００による処理＞
図５は、実施の形態１に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態１に係る撮像装置１００は、例えば図５に示す処理を実行する。図５に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
図５は、実施の形態１に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態１に係る撮像装置１００は、例えば図５に示す処理を実行する。図５に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
【0069】
まず、撮像装置１００は、撮像部１１９を制御して、動画の撮像を開始する（ステップＳ５１）。次に、撮像装置１００は、ｎを１に設定し、撮像部１１９によるｎ番目の撮像まで待機する（ステップＳ５２）。ｎは、現在の処理対象のフレームの番号を示す。
【0070】
次に、撮像装置１００は、ｎ－１番目の撮像からｎ番目の撮像において変更があった撮像条件を示すメタデータを、ｎ番目のフレームデータと対応付けて生成する（ステップＳ５３）。ただし、ステップＳ５３においてｎ＝１の場合、撮像装置１００は、全ての撮像条件についてメタデータを、ｎ番目のフレームデータと対応付けて生成する。また、ステップＳ５３において、ｎ－１番目の撮像からｎ番目の撮像においていずれの撮像条件も変更されていない場合、撮像装置１００はメタデータを生成しない。
【0071】
次に、撮像装置１００は、ｎ番目のフレームデータに付加して出力するメタデータを、１つのフレームデータに付加可能な範囲で選択する（ステップＳ５４）。ステップＳ５４において、撮像装置１００は、ｎ－１番目以前のフレームデータと対応付けられた未出力のメタデータ（前フレームの未出力のメタデータ）、ｎ番目のフレームデータと対応付けられたメタデータのうち優先度が高いメタデータ、の優先順位で選択を行う。
【0072】
すなわち、撮像装置１００は、ｎ－１番目以前のフレームデータと対応付けられた未出力のメタデータが存在すればそのメタデータを選択し、さらに空きがあればｎ番目のフレームデータと対応付けられたメタデータのうち優先度が高いメタデータを選択する。なお、ｎ－１番目以前のフレームデータと対応付けられた未出力のメタデータが、１つのフレームデータに付加可能な範囲を超えて存在する場合、撮像装置１００は、その未出力のメタデータの中から優先度が高いメタデータを選択する。なお、撮像条件の変更がない状態が続いた場合等、ステップＳ５４において選択対象のメタデータが存在しない場合もあるが、この場合、撮像装置１００はメタデータの選択を行わない。
【0073】
次に、撮像装置１００は、ステップＳ５４により選択したメタデータを、ｎ番目のフレームデータに付加する（ステップＳ５５）。なお、ステップＳ５４において選択対象のメタデータが存在しなかった場合、撮像装置１００はメタデータの付加を行わない。
【0074】
次に、撮像装置１００は、ステップＳ５５によりメタデータを付加したｎ番目のフレームデータを、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力する（ステップＳ５６）。なお、撮像装置１００は、ステップＳ５５においてメタデータの付加を行わなかった場合は、メタデータを付加していない状態のｎ番目のフレームデータを、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力する。
【0075】
次に、撮像装置１００は、ｎをインクリメント（ｎ＝ｎ＋１）して撮像部１１９によるｎ番目の撮像まで待機し（ステップＳ５７）、ステップＳ５３へ戻る。
【0076】
このように、実施の形態１の撮像装置１００は、デモザイク前のフレームデータ（ＲＡＷ動画データ）を外部の外部記録装置１２０に出力する。これにより、撮像装置１００が高速で大容量の記憶媒体を有していなくても、データレートが高いＲＡＷ動画データを記録することが可能になる。また、撮像装置１００は、フレームデータとともにメタデータも外部記録装置１２０へ出力することで、外部記録装置１２０に記憶されたフレームデータ及びメタデータに基づく現像処理を容易に行うことができる。
【0077】
また、撮像装置１００は、撮像部１１９の撮像条件が変更されたときのフレームデータと対応付けて、その撮像条件を示すメタデータを生成し、生成したメタデータをフレームデータに付加してデモザイク前の動画データとして出力する。これにより、例えば撮像条件の変更がなくてもフレームデータ毎に全てのメタデータを出力する構成と比べて、出力するメタデータのデータ量を低減することができる。
【0078】
このため、例えばフレームデータのブランキング期間などの限られた通信容量にてメタデータを出力することができる。また、ブランキング期間の通信容量を増やさなくてもよいため、ブランキング期間の通信容量の増加によりフレームレートが変化したり、接続互換仕様が守れなくなったりするという問題を抑制することができる。
【0079】
また、撮像装置１００は、フレームデータに対応付けられたメタデータのデータ量が、そのフレームデータに付加可能なデータ量を超えている場合に、そのフレームデータに対応付けられたメタデータのうち、メタデータの種別に基づく優先度に基づいて選択したメタデータをそのフレームデータに付加する。これにより、現像処理に用いられる種別のメタデータを優先的に出力することができる。このため、フレームデータ毎に全てのメタデータを出力しなくても、現像処理の結果への影響を抑制することができる。
【0080】
例えば、撮像の開始時には、各撮像条件のメタデータが生成されることになる。また、例えば、ズームレンズの焦点を変更すると、多くのレンズ補正用のメタデータが新たに生成される。これらの場合は、生成されるメタデータを１つのフレームデータで出力しきれないことがあるが、撮像装置１００によれば、現像処理に用いられる種別のメタデータを優先的に出力することで、現像処理の結果（例えばデモザイク動画の画質）への影響を抑制することができる。
【0081】
また、撮像装置１００は、出力する第２フレームデータに対応付けられたメタデータと、その第２フレームデータより前の第１フレームデータに付加しないメタデータと、のうち第１フレームデータに付加しないメタデータを優先的に第２フレームデータに付加する。これにより、出力が遅延しているメタデータを優先的に出力し、メタデータの出力の遅延による現像処理の結果への影響を抑制することができる。
【0082】
（実施の形態２）
実施の形態２について、実施の形態１と異なる部分について説明する。
実施の形態２について、実施の形態１と異なる部分について説明する。
【0083】
＜実施の形態２に係るメタデータの即時出力フラグ＞
図６は、実施の形態２に係るメタデータの即時出力フラグの一例を示す図である。図６に示すように、各メタデータには、種別毎に即時出力フラグが設定されていてもよい。即時出力フラグは、メタデータが、そのメタデータと対応付けられたフレームデータに付加して出力（すなわち即時出力）されるべきことを示す。
図６は、実施の形態２に係るメタデータの即時出力フラグの一例を示す図である。図６に示すように、各メタデータには、種別毎に即時出力フラグが設定されていてもよい。即時出力フラグは、メタデータが、そのメタデータと対応付けられたフレームデータに付加して出力（すなわち即時出力）されるべきことを示す。
【0084】
即時出力フラグが設定されるメタデータの種別の数は、例えば、即時出力フラグが設定された全てのメタデータを１つのフレームデータに付加できるように決定される。これにより、少なくとも即時出力フラグが設定された種別のメタデータについては、そのメタデータと対応付けられたフレームデータに付加して遅延なく出力することができる。
【0085】
図６に示す例では、即時出力フラグは、黒オフセットレベル、ＲＡＷ数値を表色系に変換する係数、及びホワイトバランスパラメータに関する撮像条件を示す３種類のメタデータのみに設定されている。
【0086】
＜実施の形態２に係る撮像制御部１０４によるメタデータの生成＞
図７は、実施の形態２に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図７において、図３に示した部分と同様の部分については同一の符号を付して説明を省略する。
図７は、実施の形態２に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図７において、図３に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0087】
メタデータＭ１～Ｍ１５は、撮像制御部１０４によって生成されるメタデータである。メタデータＭ１～Ｍ７は、撮像の開始時に設定されていた各撮像条件を示すデータであり、撮像の開始後の最初のフレームデータＦ１と対応付けて生成される。
【0088】
図７に示す例では、フレームデータＦ１の撮像とフレームデータＦ２の撮像との間において、黒オフセットレベル及びホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後の黒オフセットレベルに関する撮像条件を示すメタデータＭ８（黒レベル）と、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ９（ＷＢ）と、をフレームデータＦ２と対応付けて生成する。
【0089】
また、図７に示す例では、フレームデータＦ２の撮像とフレームデータＦ３の撮像との間において、ホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ１０（ＷＢ）をフレームデータＦ３と対応付けて生成する。
【0090】
また、図７に示す例では、フレームデータＦ３の撮像とフレームデータＦ４の撮像との間において、シェーディング及びディストーションに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のシェーディングに関する撮像条件を示すメタデータＭ１１，Ｍ１２と、変更後のディストーションに関する撮像条件を示すメタデータＭ１３，Ｍ１４と、をフレームデータＦ４と対応付けて生成する。
【0091】
また、図７に示す例では、フレームデータＦ４の撮像とフレームデータＦ５の撮像との間においては、撮像条件が変更されていない。この場合、撮像制御部１０４は、フレームデータＦ５と対応付けたメタデータを生成しない。
【0092】
＜実施の形態２に係る出力制御部１１０による出力制御＞
図８は、実施の形態２に係る出力制御部１１０による出力制御の一例を示す図である。図７に示したメタデータの生成の例において、出力制御部１１０は、例えば図８に示すようにフレームデータ及びメタデータを出力する。図８において、太線で囲んだメタデータは、上記の即時出力フラグが設定された種別のメタデータである。
図８は、実施の形態２に係る出力制御部１１０による出力制御の一例を示す図である。図７に示したメタデータの生成の例において、出力制御部１１０は、例えば図８に示すようにフレームデータ及びメタデータを出力する。図８において、太線で囲んだメタデータは、上記の即時出力フラグが設定された種別のメタデータである。
【0093】
フレームデータＦ１に対応付けられたメタデータの数は、メタデータＭ１～Ｍ７の７つであり、フレームデータＦ１に付加可能なメタデータの数（４つ）を超えている。この例では、撮像装置１００は、まず即時出力フラグが設定されたメタデータＭ２，Ｍ７を選択し、次いで、優先度が高い順にメタデータＭ１，Ｍ３を選択する。すなわち、撮像装置１００は、メタデータＭ１～Ｍ３，Ｍ７をフレームデータＦ１に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0094】
また、出力制御部１１０は、フレームデータＦ１に対応付けられているがフレームデータＦ１に付加しなかったメタデータＭ４～Ｍ６と、フレームデータＦ２に対応付けられたメタデータＭ８，Ｍ９と、の中からフレームデータＦ２に付加して出力するメタデータを選択する。このとき、出力制御部１１０は、まず即時出力フラグが設定されたメタデータＭ８，Ｍ９を選択し、次いで、優先度が高い順にメタデータＭ４，Ｍ５を選択する。すなわち、撮像装置１００は、メタデータＭ４，Ｍ５，Ｍ８，Ｍ９をフレームデータＦ２に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0095】
また、出力制御部１１０は、フレームデータＦ２に対応付けられているがフレームデータＦ２に付加しなかったメタデータＭ６と、フレームデータＦ３に対応付けられたメタデータＭ１０をフレームデータＦ３に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0096】
また、出力制御部１１０は、フレームデータＦ４に対応付けられたメタデータＭ１１～Ｍ１４をフレームデータＦ４に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。また、出力制御部１１０は、メタデータを付加せずにフレームデータＦ５を外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0097】
＜実施の形態２に係る撮像装置１００による処理＞
図９は、実施の形態２に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態２に係る撮像装置１００は、例えば図９に示す処理を実行する。図９に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
図９は、実施の形態２に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態２に係る撮像装置１００は、例えば図９に示す処理を実行する。図９に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
【0098】
図９に示すステップＳ９１～Ｓ９７は、図５に示したステップＳ５１～Ｓ５７と同様である。ただし、ステップＳ９４において、撮像装置１００は、即時出力フラグ付きのメタデータ、ｎ－１番目以前のフレームデータと対応付けられた未出力のメタデータ（前フレームの未出力のメタデータ）、ｎ番目のフレームデータと対応付けられたメタデータのうち優先度が高いメタデータ、の優先順位で選択を行う。すなわち、撮像装置１００は、ｎ番目のフレームデータと対応付けられ即時出力フラグが設定されたメタデータが存在する場合は、そのメタデータを最優先で選択する。
【0099】
このように、実施の形態２の出力制御部１１０は、出力が遅延しているメタデータよりも、即時出力フラグが設定された種別のメタデータを先に出力することで、現像処理において重要なメタデータについては出力が遅延しないようにすることができる。
【0100】
（実施の形態３）
実施の形態３について、実施の形態１，２と異なる部分について説明する。
実施の形態３について、実施の形態１，２と異なる部分について説明する。
【0101】
＜実施の形態３に係る撮像制御部１０４によるメタデータの生成＞
図１０は、実施の形態３に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図１０において、図３に示した部分と同様の部分については同一の符号を付して説明を省略する。
図１０は、実施の形態３に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図１０において、図３に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0102】
メタデータＭ１～Ｍ１４は、撮像制御部１０４によって生成されるメタデータである。メタデータＭ１～Ｍ７は、撮像の開始時に設定されていた各撮像条件を示すデータであり、撮像の開始後の最初のフレームデータＦ１と対応付けて生成される。
【0103】
図１０に示す例では、フレームデータＦ１の撮像とフレームデータＦ２の撮像との間において、ホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ８（ＷＢ）をフレームデータＦ２と対応付けて生成する。
【0104】
また、図１０に示す例では、フレームデータＦ２の撮像とフレームデータＦ３の撮像との間において、ホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ９（ＷＢ）をフレームデータＦ３と対応付けて生成する。
【0105】
また、図１０に示す例では、フレームデータＦ３の撮像とフレームデータＦ４の撮像との間において、シェーディング、ディストーション、及びホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のシェーディングに関する撮像条件を示すメタデータＭ１０，Ｍ１１と、変更後のディストーションに関する撮像条件を示すメタデータＭ１２，Ｍ１３と、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ１４と、をフレームデータＦ４と対応付けて生成する。
【0106】
また、図１０に示す例では、フレームデータＦ４の撮像とフレームデータＦ５の撮像との間においては、撮像条件が変更されていない。この場合、撮像制御部１０４は、フレームデータＦ５と対応付けたメタデータを生成しない。
【0107】
＜実施の形態３に係る出力制御部１１０による出力制御＞
図１１は、実施の形態３に係る出力制御部１１０による出力制御の一例を示す図である。図１０に示したメタデータの生成の例において、出力制御部１１０は、例えば図１１に示すようにフレームデータ及びメタデータを出力する。
図１１は、実施の形態３に係る出力制御部１１０による出力制御の一例を示す図である。図１０に示したメタデータの生成の例において、出力制御部１１０は、例えば図１１に示すようにフレームデータ及びメタデータを出力する。
【0108】
フレームデータＦ１に対応付けられたメタデータの数は、メタデータＭ１～Ｍ７の７つであり、フレームデータＦ１に付加可能なメタデータの数（４つ）を超えている。この場合に、出力制御部１１０は、図４に示した例と同様に、メタデータＭ１～Ｍ７の中から優先度が高い順に選択した４つのメタデータＭ１～Ｍ４をフレームデータＦ１に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0109】
また、出力制御部１１０は、フレームデータＦ１に付加しなかったメタデータＭ７については、メタデータＭ７と同じホワイトバランスに関する撮像条件を示すメタデータＭ８がフレームデータＦ１の次のフレームデータＦ２に対応付けられているため、破棄する。また、出力制御部１１０は、フレームデータＦ１に付加しなかったメタデータＭ５，Ｍ６と、フレームデータＦ２と対応付けられたメタデータＭ８と、をフレームデータＦ２に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0110】
換言すると、フレームデータＦ１と対応付けられているがフレームデータＦ１に付加されなかったメタデータＭ７は、フレームデータＦ２に付加して出力するメタデータの候補となるが、フレームデータＦ２に対応付けられた同種のメタデータＭ８が存在する場合、メタデータＭ７に上書きしてメタデータＭ８が、フレームデータＦ２に付加して出力される。
【0111】
また、出力制御部１１０は、フレームデータＦ３に対応付けられたメタデータＭ９をフレームデータＦ３に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0112】
また、出力制御部１１０は、フレームデータＦ４に対応付けられたメタデータＭ１０～Ｍ１４の中から優先度が高い順に選択した４つのメタデータＭ１０～Ｍ１３をフレームデータＦ４に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0113】
また、出力制御部１１０は、フレームデータＦ４に付加しなかったメタデータＭ１４については、フレームデータＦ４の次のフレームデータＦ５に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0114】
＜実施の形態３に係る撮像装置１００による処理＞
図１２は、実施の形態３に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態３に係る撮像装置１００は、例えば図１２に示す処理を実行する。図１２に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
図１２は、実施の形態３に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態３に係る撮像装置１００は、例えば図１２に示す処理を実行する。図１２に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
【0115】
図１２に示すステップＳ１２１～Ｓ１２３は、図５に示したステップＳ５１～Ｓ５３と同様である。ステップＳ１２３の次に、撮像装置１００は、ステップＳ１２３によって生成したメタデータと同一種別の、ｎ－１番目以前のフレームデータと対応付けられた未出力のメタデータ（前フレームの未出力のメタデータ）があれば、その前フレームの未出力のメタデータを破棄し（ステップＳ１２４）、ステップＳ１２５へ移行する。
【0116】
【0117】
このように、実施の形態３の出力制御部１１０は、第１フレームデータと対応付けられたメタデータのうち第１フレームデータに付加しないメタデータが示す撮像条件が、第１フレームデータの後の第２フレームデータの撮像時に変更されている場合は、その変更の前後のメタデータのうち変更の後の撮像条件を示すメタデータを第２フレームデータに付加する。これにより、出力が遅延したメタデータのうち、撮像条件が変更され現像に不要になったメタデータは出力しないようにし、出力の効率を向上させることができる。
【0118】
（実施の形態４）
実施の形態４について、実施の形態１～３と異なる部分について説明する。
実施の形態４について、実施の形態１～３と異なる部分について説明する。
【0119】
＜実施の形態４に係る出力制御部１１０による出力制御＞
図１３は、実施の形態４に係る出力制御部１１０による出力制御の一例を示す図である。図３に示したメタデータの生成の例において、実施の形態４に係る出力制御部１１０は、例えば図１３に示すようにフレームデータ及びメタデータを出力する。図１３に示す出力制御の例は、遅延して出力されるメタデータに遅延データが付加されている点を除いて、図４に示した出力制御の例と同様である。
図１３は、実施の形態４に係る出力制御部１１０による出力制御の一例を示す図である。図３に示したメタデータの生成の例において、実施の形態４に係る出力制御部１１０は、例えば図１３に示すようにフレームデータ及びメタデータを出力する。図１３に示す出力制御の例は、遅延して出力されるメタデータに遅延データが付加されている点を除いて、図４に示した出力制御の例と同様である。
【0120】
具体的には、出力制御部１１０は、フレームデータＦ１に元々対応しているがフレームデータＦ２に付加して（すなわち遅延して）出力するメタデータＭ５，Ｍ６に対して、メタデータＭ５，Ｍ６が元々対応するフレームデータＦ１を特定可能な遅延データを付加する。これにより、現像処理において、メタデータＭ５，Ｍ６はフレームデータＦ１から適用すべきデータであることを特定することができるため、メタデータＭ５，Ｍ６の出力が遅延しても、現像処理の結果への影響を抑制することができる。
【0121】
図１３に示す例では、メタデータＭ５，Ｍ６に付加される遅延データは、メタデータＭ５，Ｍ６が付加されるフレームデータＦ２が、メタデータＭ５，Ｍ６が元々対応するフレームデータＦ１に対して１フレーム遅延していることを示すデータ（遅延１）である。これにより、遅延データのデータ量が大きくなることを抑制することができる。ただし、メタデータＭ５，Ｍ６に付加される遅延データは、メタデータＭ５，Ｍ６が元々対応しているフレームデータＦ１のフレーム番号等であってもよい。
【0122】
同様に、出力制御部１１０は、フレームデータＦ４に元々対応しているがフレームデータＦ５に付加して（すなわち遅延して）出力するメタデータＭ１３に対して、メタデータＭ１３が元々対応するフレームデータＦ４を特定可能な遅延データを付加する。
【0123】
これにより、現像処理において、メタデータＭ１３はフレームデータＦ４から適用すべきデータであることを特定することができるため、メタデータＭ１３の出力が遅延しても、現像処理の結果への影響を抑制することができる。
【0124】
＜遅延データを用いた現像処理の例＞
フレームデータＦ１のディストーション及びホワイトバランスに関する現像処理は、フレームデータＦ２に付加されたメタデータＭ５～Ｍ７を用いて行われる。また、フレームデータＦ４のホワイトバランスに関する現像処理は、フレームデータＦ５に付加されたメタデータＭ１３を用いて行われる。その他の現像処理は、図４に示した出力制御の例における現像処理と同様である。
フレームデータＦ１のディストーション及びホワイトバランスに関する現像処理は、フレームデータＦ２に付加されたメタデータＭ５～Ｍ７を用いて行われる。また、フレームデータＦ４のホワイトバランスに関する現像処理は、フレームデータＦ５に付加されたメタデータＭ１３を用いて行われる。その他の現像処理は、図４に示した出力制御の例における現像処理と同様である。
【0125】
＜実施の形態４に係る撮像装置１００による処理＞
図１４は、実施の形態４に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態４に係る撮像装置１００は、例えば図１４に示す処理を実行する。図１４に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
図１４は、実施の形態４に係る撮像装置１００による処理の一例を示すフローチャートである。実施の形態４に係る撮像装置１００は、例えば図１４に示す処理を実行する。図１４に示す処理は、例えば、撮像制御部１０４や出力制御部１１０を実現するプロセッサによって実行される。
【0126】
図１４に示すステップＳ１４１～Ｓ１４４は、図５に示したステップＳ５１～Ｓ５４と同様である。ステップＳ１４４の次に、撮像装置１００は、ステップＳ１４４によって選択したメタデータに遅延したメタデータ（前フレームの未出力のメタデータ）が存在する場合、そのメタデータに、そのメタデータが対応するフレームデータを特定可能な遅延データを付加する（ステップＳ１４５）。図１４に示すステップＳ１４６～Ｓ１４８は、図５に示したステップＳ５５～Ｓ５７と同様である。
【0127】
このように、実施の形態４の出力制御部１１０は、第１フレームデータと対応付けられたメタデータのうち第１フレームデータに付加しないメタデータを、第１フレームデータの後の第２フレームデータに付加する際に、第１フレームデータを特定可能なデータを第２フレームデータ（例えば第２フレームデータに付加したメタデータ）に付加する。これにより、メタデータの出力が遅延しても、現像処理の際には前のフレームデータに溯ってメタデータを適用できるため、現像処理の結果への影響を抑制することができる。なお、実施の形態４においては、フレームデータに付加するメタデータを選択する際に、優先度を用いなくてもよい。
【0128】
（実施の形態５）
実施の形態５について、実施の形態１～４と異なる部分について説明する。
実施の形態５について、実施の形態１～４と異なる部分について説明する。
【0129】
実施の形態５において、撮像部１１９は、撮像の撮像条件を、複数フレーム毎にのみ変更可能である。
【0130】
＜実施の形態５に係る撮像制御部１０４によるメタデータの生成＞
図１５は、実施の形態５に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図１５において、図３に示した部分と同様の部分については同一の符号を付して説明を省略する。
図１５は、実施の形態５に係る撮像制御部１０４によるメタデータの生成の一例を示す図である。図１５において、図３に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0131】
メタデータＭ１～Ｍ１３は、撮像制御部１０４によって生成されるメタデータである。撮像制御部１０４は、デモザイク処理部１０７によって得られたデモザイク画像やユーザからの指示に応じて撮像部１１９による撮像の条件を変更するが、図１５に示す例では、奇数番目の撮像において撮像条件を変更可能であり、偶数番目の撮像においては撮像条件を変更不可とする。例えば、撮像制御部１０４は、フレームデータＦ１とフレームデータＦ２との間において撮像条件を変更する操作を受け付けたとしても、その変更はフレームデータＦ２の撮像には適用せず、フレームデータＦ３の撮像から適用するようにする。
【0132】
このため、新たなメタデータは奇数番目のフレームデータにのみ対応付けて生成される。図１５に示す例では、フレームデータＦ１，Ｆ３，Ｆ５と対応付けてメタデータが生成されているが、フレームデータＦ２，Ｆ４と対応付いたメタデータは生成されていない。
【0133】
メタデータＭ１～Ｍ７は、撮像の開始時に設定されていた各撮像条件を示すデータであり、撮像の開始後の最初のフレームデータＦ１と対応付けて生成される。
【0134】
また、図１５に示す例では、フレームデータＦ２の撮像とフレームデータＦ３の撮像との間において、シェーディング、ディストーション、及びホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のシェーディングに関する撮像条件を示すメタデータＭ８，Ｍ９と、変更後のディストーションに関する撮像条件を示すメタデータＭ１０，Ｍ１１と、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ１２と、をフレームデータＦ３と対応付けて生成する。
【0135】
また、図１５に示す例では、フレームデータＦ４の撮像とフレームデータＦ５の撮像との間において、ホワイトバランスに関する撮像条件が変更されたとする。この場合、撮像制御部１０４は、変更後のホワイトバランスに関する撮像条件を示すメタデータＭ１３をフレームデータＦ５と対応付けて生成する。
【0136】
＜実施の形態５に係る撮像制御部１０４によるメタデータの生成＞
図１６は、実施の形態５に係る出力制御部１１０による出力制御の一例を示す図である。図１６において、図４に示した部分と同様の部分については同一の符号を付して説明を省略する。
図１６は、実施の形態５に係る出力制御部１１０による出力制御の一例を示す図である。図１６において、図４に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0137】
フレームデータＦ１に対応付けられたメタデータの数は、メタデータＭ１～Ｍ７の７つであり、フレームデータＦ１に付加可能なメタデータの数（４つ）を超えている。この場合に、出力制御部１１０は、図４に示した例と同様に、メタデータＭ１～Ｍ７の中から優先度が高い順に選択した４つのメタデータＭ１～Ｍ４をフレームデータＦ１に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0138】
また、出力制御部１１０は、フレームデータＦ１に付加しなかったメタデータＭ５～Ｍ７については、フレームデータＦ１の次のフレームデータＦ２に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0139】
また、フレームデータＦ３に対応付けられたメタデータの数は、メタデータＭ８～Ｍ１２の５つであり、フレームデータＦ３に付加可能なメタデータの数（４つ）を超えている。この場合に、出力制御部１１０は、メタデータＭ８～Ｍ１２の中から優先度が高い順に選択した４つのメタデータＭ８～Ｍ１１をフレームデータＦ３に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0140】
また、出力制御部１１０は、フレームデータＦ３に付加しなかったメタデータＭ１２については、フレームデータＦ３の次のフレームデータＦ４に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0141】
また、出力制御部１１０は、フレームデータＦ５に対応付けられたメタデータＭ１３を、フレームデータＦ５に付加し、外部出力Ｉ／Ｆ１１１から外部記録装置１２０へ出力させる。
【0142】
このように、実施の形態５に係る撮像装置１００は、撮像部１１９における撮像の撮像条件を、複数フレーム毎にのみ変更可能である。これにより、メタデータの生成頻度が減り、フレームデータのブランキング期間などの通信容量が小さくてもメタデータを出力することができる。また、特定のフレームデータにおいては撮像条件が変更されないことを考慮した現像処理が可能である。このため、メタデータの出力の遅延による現像処理の結果への影響を抑制することができる。
【0143】
例えば、図１６に示した例において、撮像条件の変更がないフレームデータＦ２に付加されたメタデータＭ５～Ｍ７は、直前のフレームデータＦ１において適用された撮像条件を示すことが分かるため、フレームデータＦ１の現像処理から適用される。また、撮像条件の変更がないフレームデータＦ４に付加されたメタデータＭ１２は、直前のフレームデータＦ３において適用された撮像条件を示すことが分かるため、フレームデータＦ３の現像処理から適用される。
【0144】
（実施の形態６）
実施の形態６について、実施の形態１～５と異なる部分について説明する。撮像装置１００の一時記憶部１０６に記憶されたフレームデータ（ＲＡＷ動画データ）及びメタデータを、撮像装置１００の外部の外部記録装置１２０へ出力する構成について説明したが、このような構成に限らない。
実施の形態６について、実施の形態１～５と異なる部分について説明する。撮像装置１００の一時記憶部１０６に記憶されたフレームデータ（ＲＡＷ動画データ）及びメタデータを、撮像装置１００の外部の外部記録装置１２０へ出力する構成について説明したが、このような構成に限らない。
【0145】
【0146】
実施の形態６にかかる撮像装置１００は、図１に示した外部出力Ｉ／Ｆ１１１に代えて、内部出力Ｉ／Ｆ１２４、内部入力Ｉ／Ｆ１２５、記録制御部１２２、及び記録媒体１２３を備える。
【0147】
内部出力Ｉ／Ｆ１２４は、図１に示した外部出力Ｉ／Ｆ１１１と同様のＨＤＭＩ等のインタフェースであるが、撮像装置１００の内部の内部入力Ｉ／Ｆ１２５との間で通信を行う点で外部出力Ｉ／Ｆ１１１と異なる。内部入力Ｉ／Ｆ１２５は、図１に示した外部記録装置１２０の外部入力Ｉ／Ｆ１２１と同様のＨＤＭＩ等のインタフェースであるが、撮像装置１００の内部に設けられている点で外部入力Ｉ／Ｆ１２１と異なる。
【0148】
図１７に示す記録制御部１２２及び記録媒体１２３は、図１に示した記録制御部１２２及び記録媒体１２３と同様の構成であるが、撮像装置１００の内部に設けられている。すなわち、図１７に示す撮像装置１００は、高速で大容量の記録媒体１２３を内蔵しており、撮像装置１００の内部のＨＤＭＩ等のインタフェースを用いてフレームデータ（ＲＡＷ動画データ）及びメタデータを記録媒体１２３へ出力する。
【0149】
このような構成においても、図１に示した撮像装置１００と同様に、撮像部１１９の撮像条件が変更されたときのフレームデータと対応付けて、その撮像条件を示すメタデータを生成し、生成したメタデータをフレームデータに付加してデモザイク前の動画データとして出力する。これにより、出力するメタデータのデータ量を低減することができる。
【0150】
このため、例えばフレームデータのブランキング期間などの限られた通信容量にてメタデータを出力することができる。また、ブランキング期間の通信容量を増やさなくてもよいため、ブランキング期間の通信容量の増加によりフレームレートが変化したり、接続互換仕様が守れなくなったりするという問題を抑制することができる。
【0151】
また、撮像装置１００は、フレームデータに対応付けられたメタデータのデータ量が、そのフレームデータに付加可能なデータ量を超えている場合に、そのフレームデータに対応付けられたメタデータのうち、メタデータの種別に基づく優先度に基づいて選択したメタデータをそのフレームデータに付加する。これにより、現像処理に用いられる種別のメタデータを優先的に出力することができる。このため、フレームデータ毎に全てのメタデータを出力しなくても、現像処理の結果への影響を抑制することができる。
【0152】
（各実施の形態の組み合わせ）
上述した各実施の形態は、組み合わせて実現することも可能である。例えば、実施の形態６に係る撮像装置１００の構成において、実施の形態２～５と同様の処理を実現することも可能である。
上述した各実施の形態は、組み合わせて実現することも可能である。例えば、実施の形態６に係る撮像装置１００の構成において、実施の形態２～５と同様の処理を実現することも可能である。
【0153】
（変形例）
上述した各実施の形態において、各フレームデータにはその時点で可能な限りメタデータを付加する処理について説明したが、このような処理に限らない。例えば、図４に示した例において、撮像装置１００は、フレームデータＦ１に３つのメタデータＭ１～Ｍ３のみを付加し、フレームデータＦ２にメタデータＭ４～Ｍ７を付加してもよい。
上述した各実施の形態において、各フレームデータにはその時点で可能な限りメタデータを付加する処理について説明したが、このような処理に限らない。例えば、図４に示した例において、撮像装置１００は、フレームデータＦ１に３つのメタデータＭ１～Ｍ３のみを付加し、フレームデータＦ２にメタデータＭ４～Ｍ７を付加してもよい。
【0154】
以上説明してきたように、本明細書には少なくとも以下の事項が記載されている。
【0155】
（１）
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部と、
上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成するメタデータ生成部と、
上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力する出力部と、を備え、
上記出力部は、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、
動画撮像装置。
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部と、
上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成するメタデータ生成部と、
上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力する出力部と、を備え、
上記出力部は、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、
動画撮像装置。
【0156】
（２）
（１）記載の動画撮像装置であって、
上記優先度は、上記メタデータの種別に基づく優先度である、
動画撮像装置。
（１）記載の動画撮像装置であって、
上記優先度は、上記メタデータの種別に基づく優先度である、
動画撮像装置。
【0157】
（３）
（１）又は（２）記載の動画撮像装置であって、
上記メタデータ生成部は、上記撮像部による撮像の開始時における上記撮像部の撮像条件を示すメタデータを、上記撮像の開始後の最初の上記フレームデータと対応付けて生成する、
動画撮像装置。
（１）又は（２）記載の動画撮像装置であって、
上記メタデータ生成部は、上記撮像部による撮像の開始時における上記撮像部の撮像条件を示すメタデータを、上記撮像の開始後の最初の上記フレームデータと対応付けて生成する、
動画撮像装置。
【0158】
（４）
（１）から（３）のいずれか１つに記載の動画撮像装置であって、
上記出力部は、上記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち上記第１フレームデータに付加しないメタデータを、上記第１フレームデータより後の第２フレームデータに付加する、
動画撮像装置。
（１）から（３）のいずれか１つに記載の動画撮像装置であって、
上記出力部は、上記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち上記第１フレームデータに付加しないメタデータを、上記第１フレームデータより後の第２フレームデータに付加する、
動画撮像装置。
【0159】
（５）
（４）記載の動画撮像装置であって、
上記出力部は、上記第２フレームデータに対応付けられたメタデータと、上記第１フレームデータに付加しないメタデータと、のうち上記第１フレームデータに付加しないメタデータを優先的に上記第２フレームデータに付加する、
動画撮像装置。
（４）記載の動画撮像装置であって、
上記出力部は、上記第２フレームデータに対応付けられたメタデータと、上記第１フレームデータに付加しないメタデータと、のうち上記第１フレームデータに付加しないメタデータを優先的に上記第２フレームデータに付加する、
動画撮像装置。
【0160】
（６）
（４）又は（５）記載の動画撮像装置であって、
上記出力部は、上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータが示す上記撮像部の撮像条件が上記第２フレームデータの撮像時に変更されている場合は、上記変更の前後の上記撮像条件を示すメタデータのうち上記変更の後の撮像条件を示すメタデータを上記第２フレームデータに付加する、
動画撮像装置。
（４）又は（５）記載の動画撮像装置であって、
上記出力部は、上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータが示す上記撮像部の撮像条件が上記第２フレームデータの撮像時に変更されている場合は、上記変更の前後の上記撮像条件を示すメタデータのうち上記変更の後の撮像条件を示すメタデータを上記第２フレームデータに付加する、
動画撮像装置。
【0161】
（７）
（４）から（６）のいずれか１つに記載の動画撮像装置であって、
上記出力部は、上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータを上記第２フレームデータに付加する際に、上記第１フレームデータを特定可能なデータを上記第２フレームデータに付加する、
動画撮像装置。
（４）から（６）のいずれか１つに記載の動画撮像装置であって、
上記出力部は、上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータを上記第２フレームデータに付加する際に、上記第１フレームデータを特定可能なデータを上記第２フレームデータに付加する、
動画撮像装置。
【0162】
（８）
（１）から（７）のいずれか１つに記載の動画撮像装置であって、
上記撮像部は、上記撮像条件を複数フレーム毎に変更可能である、
動画撮像装置。
（１）から（７）のいずれか１つに記載の動画撮像装置であって、
上記撮像部は、上記撮像条件を複数フレーム毎に変更可能である、
動画撮像装置。
【0163】
（９）
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置による動画撮像方法であって、
上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成し、
上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力し、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、
動画撮像方法。
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置による動画撮像方法であって、
上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成し、
上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力し、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、
動画撮像方法。
【0164】
（１０）
（９）記載の動画撮像方法であって、
上記優先度は、上記メタデータの種別に基づく優先度である、
動画撮像方法。
（９）記載の動画撮像方法であって、
上記優先度は、上記メタデータの種別に基づく優先度である、
動画撮像方法。
【0165】
（１１）
（９）又は（１０）記載の動画撮像方法であって、
上記撮像部による撮像の開始時における上記撮像部の撮像条件を示すメタデータを、上記撮像の開始後の最初の上記フレームデータと対応付けて生成する、
動画撮像方法。
（９）又は（１０）記載の動画撮像方法であって、
上記撮像部による撮像の開始時における上記撮像部の撮像条件を示すメタデータを、上記撮像の開始後の最初の上記フレームデータと対応付けて生成する、
動画撮像方法。
【0166】
（１２）
（９）から（１１）のいずれか１つに記載の動画撮像方法であって、
上記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち上記第１フレームデータに付加しないメタデータを、上記第１フレームデータより後の第２フレームデータに付加する、
動画撮像方法。
（９）から（１１）のいずれか１つに記載の動画撮像方法であって、
上記撮像部により生成された第１フレームデータに対応付けられたメタデータのうち上記第１フレームデータに付加しないメタデータを、上記第１フレームデータより後の第２フレームデータに付加する、
動画撮像方法。
【0167】
（１３）
（１２）記載の動画撮像方法であって、
上記第２フレームデータに対応付けられたメタデータと、上記第１フレームデータに付加しないメタデータと、のうち上記第１フレームデータに付加しないメタデータを優先的に上記第２フレームデータに付加する、
動画撮像方法。
（１２）記載の動画撮像方法であって、
上記第２フレームデータに対応付けられたメタデータと、上記第１フレームデータに付加しないメタデータと、のうち上記第１フレームデータに付加しないメタデータを優先的に上記第２フレームデータに付加する、
動画撮像方法。
【0168】
（１４）
（１２）又は（１３）記載の動画撮像方法であって、
上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータが示す上記撮像部の撮像条件が上記第２フレームデータの撮像時に変更されている場合は、上記変更の前後の上記撮像条件を示すメタデータのうち上記変更の後の撮像条件を示すメタデータを上記第２フレームデータに付加する、
動画撮像方法。
（１２）又は（１３）記載の動画撮像方法であって、
上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータが示す上記撮像部の撮像条件が上記第２フレームデータの撮像時に変更されている場合は、上記変更の前後の上記撮像条件を示すメタデータのうち上記変更の後の撮像条件を示すメタデータを上記第２フレームデータに付加する、
動画撮像方法。
【0169】
（１５）
（１２）から（１４）のいずれか１つに記載の動画撮像方法であって、
上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータを上記第２フレームデータに付加する際に、上記第１フレームデータを特定可能なデータを上記第２フレームデータに付加する、
動画撮像方法。
（１２）から（１４）のいずれか１つに記載の動画撮像方法であって、
上記第１フレームデータと対応付けられた上記メタデータのうち上記第１フレームデータに付加しないメタデータを上記第２フレームデータに付加する際に、上記第１フレームデータを特定可能なデータを上記第２フレームデータに付加する、
動画撮像方法。
【0170】
（１６）
（９）から（１５）のいずれか１つに記載の動画撮像方法であって、
上記撮像部は、上記撮像条件を複数フレーム毎に変更可能である、
動画撮像方法。
（９）から（１５）のいずれか１つに記載の動画撮像方法であって、
上記撮像部は、上記撮像条件を複数フレーム毎に変更可能である、
動画撮像方法。
【0171】
（１７）
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置の動画撮像プログラムであって、
上記動画撮像装置のプロセッサに、
上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成し、
上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力し、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、
処理を実行させるための動画撮像プログラム。
動画の画像データを時間的に連続する複数のフレームデータとして生成する撮像部を備える動画撮像装置の動画撮像プログラムであって、
上記動画撮像装置のプロセッサに、
上記撮像部の撮像条件が変更されたときの上記フレームデータと対応付けて、上記撮像条件を示すメタデータを生成し、
上記フレームデータに上記メタデータを付加し、デモザイク前の動画データとして出力し、上記フレームデータに対応付けられた上記メタデータのデータ量が付加可能なデータ量を超えている場合に、上記フレームデータに対応付けられた上記メタデータのうち優先度に基づいて選択したメタデータを上記フレームデータに付加する、
処理を実行させるための動画撮像プログラム。
【符号の説明】
【0172】
１００ 撮像装置
１０１ 撮像レンズ系
１０２ 撮像素子
１０３ ＡＤＣ
１０４ 撮像制御部
１０５ ＲＡＷ補正部
１０６ 一時記憶部
１０７ デモザイク処理部
１０８ 画像補正部
１０９ モニタ
１１０ 出力制御部
１１１ 外部出力Ｉ／Ｆ
１１９ 撮像部
１２０ 外部記録装置
１２１ 外部入力Ｉ／Ｆ
１２２ 記録制御部
１２３ 記録媒体
１２４ 内部出力Ｉ／Ｆ
１２５ 内部入力Ｉ／Ｆ
Ｆ１～Ｆ５ フレームデータ
Ｍ１～Ｍ１５ メタデータ
１０１ 撮像レンズ系
１０２ 撮像素子
１０３ ＡＤＣ
１０４ 撮像制御部
１０５ ＲＡＷ補正部
１０６ 一時記憶部
１０７ デモザイク処理部
１０８ 画像補正部
１０９ モニタ
１１０ 出力制御部
１１１ 外部出力Ｉ／Ｆ
１１９ 撮像部
１２０ 外部記録装置
１２１ 外部入力Ｉ／Ｆ
１２２ 記録制御部
１２３ 記録媒体
１２４ 内部出力Ｉ／Ｆ
１２５ 内部入力Ｉ／Ｆ
Ｆ１～Ｆ５ フレームデータ
Ｍ１～Ｍ１５ メタデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】