ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024098589
(43)【公開日】2024-07-24
(54)【発明の名称】撮像装置、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240717BHJP
H04N 5/222 20060101ALI20240717BHJP
H04N 23/56 20230101ALI20240717BHJP
H04N 9/64 20230101ALI20240717BHJP
【ＦＩ】
H04N23/60 500
H04N5/222 400
H04N23/56
H04N9/64 A
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023002164
(22)【出願日】2023-01-11
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】土屋 隆史
【テーマコード（参考）】
5C066
5C122
【Ｆターム（参考）】
5C066AA01
5C066CA05
5C066EA13
5C066GA01
5C066HA02
5C066KE04
5C066KM02
5C122DA35
5C122EA12
5C122FG03
5C122FG14
5C122FH02
5C122FK23
5C122GG18
5C122HA03
5C122HB01
5C122HB05
(57)【要約】
【課題】背景としての表示装置を用いた撮影で、表示装置からの光を照明光として用いる場合も、適切な色再現ができるようにする。
【解決手段】撮像装置は、イメージセンサで得られた映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を選択的に実行可能に構成された信号処理部を備えるようにする。
【選択図】図２５
【解決手段】撮像装置は、イメージセンサで得られた映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を選択的に実行可能に構成された信号処理部を備えるようにする。
【選択図】図２５
【特許請求の範囲】
【請求項1】
イメージセンサで得られた映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行可能に構成された信号処理部を備えた
撮像装置。
撮像装置。
【請求項2】
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行可能に構成されている
請求項１に記載の撮像装置。
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行可能に構成されている
請求項１に記載の撮像装置。
【請求項3】
前記信号処理部は、
比率情報に応じて、前記第３の色変換処理への前記第１の色設定パラメータと前記第２の色設定パラメータの反映度合いを設定する
請求項２に記載の撮像装置。
比率情報に応じて、前記第３の色変換処理への前記第１の色設定パラメータと前記第２の色設定パラメータの反映度合いを設定する
請求項２に記載の撮像装置。
【請求項4】
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を映像データに関連づける処理を行う
請求項２に記載の撮像装置。
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を映像データに関連づける処理を行う
請求項２に記載の撮像装置。
【請求項5】
前記信号処理部は、
前記第３の色変換処理における前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を映像データに関連づける処理を行う
請求項２に記載の撮像装置。
前記第３の色変換処理における前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を映像データに関連づける処理を行う
請求項２に記載の撮像装置。
【請求項6】
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータに応じた色変換処理の処理係数を映像データに関連づける処理を行う
請求項２に記載の撮像装置。
前記第１の色設定パラメータと前記第２の色設定パラメータに応じた色変換処理の処理係数を映像データに関連づける処理を行う
請求項２に記載の撮像装置。
【請求項7】
前記信号処理部は、
色変換処理の１つとして、ホワイトバランス調整処理、又はマトリクス色変換処理、又は３ＤＬＵＴ変換処理を行う
請求項１に記載の撮像装置。
色変換処理の１つとして、ホワイトバランス調整処理、又はマトリクス色変換処理、又は３ＤＬＵＴ変換処理を行う
請求項１に記載の撮像装置。
【請求項8】
前記第１の色設定パラメータ、前記第２の色設定パラメータを指示可能なユーザインタフェース部をさらに備え、
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータを用いて前記第１の色変換処理又は前記第２の色変換処理を実行可能に構成されている
請求項１に記載の撮像装置。
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータを用いて前記第１の色変換処理又は前記第２の色変換処理を実行可能に構成されている
請求項１に記載の撮像装置。
【請求項9】
前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を指示可能なユーザインタフェース部をさらに備え、
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を用いて前記第３の色変換処理を実行可能に構成されている
請求項３に記載の撮像装置。
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を用いて前記第３の色変換処理を実行可能に構成されている
請求項３に記載の撮像装置。
【請求項10】
前記第１の色設定パラメータ及び前記第２の色設定パラメータは、色温度及びティント値を含む１７９
請求項１に記載の撮像装置。
請求項１に記載の撮像装置。
【請求項11】
前記映像データはＲＡＷ映像データである
請求項１に記載の撮像装置。
請求項１に記載の撮像装置。
【請求項12】
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づける
請求項１１に記載の撮像装置。
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づける
請求項１１に記載の撮像装置。
【請求項13】
前記表示装置の形状、又は、ＬＥＤライト対応か否かに基づいて、
前記第１の色変換処理と前記第２の色変換処理の一方を自動的に実行するか、又は、前記第１の色変換処理と前記第２の色変換処理の一方をユーザへ示唆する制御部をさらに有する
請求項１に記載の撮像装置。
前記第１の色変換処理と前記第２の色変換処理の一方を自動的に実行するか、又は、前記第１の色変換処理と前記第２の色変換処理の一方をユーザへ示唆する制御部をさらに有する
請求項１に記載の撮像装置。
【請求項14】
情報処理装置に、
撮像装置による映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させる
プログラム。
撮像装置による映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させる
プログラム。
【請求項15】
前記情報処理装置に、
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行させる
請求項１４に記載のプログラム。
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行させる
請求項１４に記載のプログラム。
【請求項16】
前記映像データとしてのＲＡＷ映像データに対する現像処理を前記情報処理装置に実行させるソフトウェアである
請求項１４に記載のプログラム。
請求項１４に記載のプログラム。
【請求項17】
前記情報処理装置に、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づけさせる
請求項１６に記載のプログラム。
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づけさせる
請求項１６に記載のプログラム。
【請求項18】
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータ、前記第２の色設定パラメータの少なくとも一方を色変換処理に適用させる
請求項１４に記載のプログラム。
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータ、前記第２の色設定パラメータの少なくとも一方を色変換処理に適用させる
請求項１４に記載のプログラム。
【請求項19】
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を色変換処理に適用させる
請求項１４に記載のプログラム。
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を色変換処理に適用させる
請求項１４に記載のプログラム。
【請求項20】
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータに応じた色変換処理の処理係数と前記第２の色設定パラメータに応じた色変換処理の処理係数の少なくとも一方を色変換処理に適用させる
請求項１４に記載のプログラム。
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータに応じた色変換処理の処理係数と前記第２の色設定パラメータに応じた色変換処理の処理係数の少なくとも一方を色変換処理に適用させる
請求項１４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は撮像装置、プログラムに関し、例えば映像制作の分野で用いることのできる技術に関する。
【背景技術】
【0002】
映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックの前で演者が演技を行い、後に背景映像を合成する技術が知られている。
また近年はグリーンバック撮影に代わって、大型のディスプレイを設置したスタジオにおいて、ディスプレイに背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤ（Light Emitting Diode）ウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている。
下記特許文献１には、背景映像の前で演技する演者や物体を撮影するシステムの技術が開示されている。
また近年はグリーンバック撮影に代わって、大型のディスプレイを設置したスタジオにおいて、ディスプレイに背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤ（Light Emitting Diode）ウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている。
下記特許文献１には、背景映像の前で演技する演者や物体を撮影するシステムの技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第２０２０／０１４５６４４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
大型のディスプレイに背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することによれば、撮影後に背景映像を別途合成しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断ができるなど、グリーンバック撮影に比べて利点が多い。
【0005】
また、背景映像を表示する大型のディスプレイは照明としての役割も担うことが可能である。このため撮影の照明として、別途の照明装置の光とディスプレイからの光を併用することもあるし、場合によってはディスプレイからの光のみを照明とすることも考えられる。
【0006】
しかし背景映像表示用のディスプレイは、太陽光やＬＥＤ照明など通常の撮影で使う照明とは分光特性が異なる。このためディスプレイからの光を照明に用いると、撮影された映像は色再現が適切ではない場合がある。
【0007】
そこで本開示では、ディスプレイを照明として用いる場合でも、適切な色合いの映像が撮影できるようにする技術を提案する。
【課題を解決するための手段】
【0008】
本技術に係る撮像装置は、イメージセンサで得られた映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行可能に構成された信号処理部を備える。
分光特性が異なる照明を用いる環境、特には照明機器を用いる場合と、分光特性が照明機器とは異なり背景映像を表示する表示装置を照明機器として利用する場合とで、例えば色再現等のための色変換処理を切り替えることができるようにする。
分光特性が異なる照明を用いる環境、特には照明機器を用いる場合と、分光特性が照明機器とは異なり背景映像を表示する表示装置を照明機器として利用する場合とで、例えば色再現等のための色変換処理を切り替えることができるようにする。
【0009】
また本技術に係るプログラムは、情報処理装置に、撮像装置による映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させるプログラムである。
例えば撮像装置による撮影映像データについて、後段で映像処理を行う場合における現像ソフトウェアとして構成される。
例えば撮像装置による撮影映像データについて、後段で映像処理を行う場合における現像ソフトウェアとして構成される。
【図面の簡単な説明】
【0010】
【図1】本技術の実施の形態の撮影システムの説明図である。
【図2】実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。
【図3】実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。
【図4】実施の形態の映像コンテンツ制作工程の説明図である。
【図5】実施の形態の撮影システムのブロック図である。
【図6】実施の形態の撮影システムの背景映像生成のフローチャートである。
【図7】実施の形態の複数カメラを用いた撮影システムのブロック図である。
【図8】実施の形態の情報処理装置のブロック図である。
【図9】実施の形態で用いられるＬＥＤウォールの種類の説明図である。
【図10】実施の形態で用いられるＬＥＤウォールの種類の説明図である。
【図11】各種照明の分光特性の説明図である。
【図12】実施の形態のカメラのブロック図である。
【図13】色温度及びティントの説明図である。
【図14】実施の形態のカメラのホワイトバランス部の処理の説明図である。
【図15】実施の形態のカメラのマトリクス部の処理の説明図である。
【図16】実施の形態のＬＥＤライト照明に対応する処理の説明図である。
【図17】実施の形態のＬＥＤウォール照明に対応する処理の説明図である。
【図18】実施の形態のＬＥＤライト照明とＬＥＤウォール照明に対応する処理の説明図である。
【図19】実施の形態のホワイトバランス部の処理の説明図である。
【図20】実施の形態のマトリクス部の処理の説明図である。
【図21】実施の形態のユーザインタフェースの説明図である。
【図22】実施の形態で照明がＬＥＤライトの場合の説明図である。
【図23】実施の形態で照明がＬＥＤウォールの場合の説明図である。
【図24】実施の形態で照明がＬＥＤライトとＬＥＤウォールの場合の説明図である。
【図25】実施の形態の色変換処理のフローチャートである。
【図26】実施の形態の操作に応じた処理のフローチャートである。
【図27】実施の形態の撮影時の処理のフローチャートである。
【図28】実施の形態のＲＡＷ現像ソフトウェアによる処理例の説明図である。
【図29】実施の形態のＲＡＷ現像ソフトウェアによる処理例のフローチャートである。
【図30】実施の形態のＲＡＷ現像ソフトウェアによる処理例の説明図である。
【図31】実施の形態のＲＡＷ現像ソフトウェアによる処理例のフローチャートである。
【図32】実施の形態のＲＡＷ現像ソフトウェアによる処理例の説明図である。
【図33】実施の形態のＲＡＷ現像ソフトウェアによる処理例のフローチャートである。
【図34】実施の形態のＲＡＷ現像ソフトウェアによる処理例の説明図である。
【図35】実施の形態のＲＡＷ現像ソフトウェアによる処理例のフローチャートである。
【図36】実施の形態のＲＡＷ現像ソフトウェアによるパラメータ修正と出力についての処理例のフローチャートである。
【発明を実施するための形態】
【0011】
以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．照明態様＞
＜４．カメラの構成と処理例＞
＜５．メタデータとＲＡＷ現像ソフトウェアによる処理例＞
＜６．まとめ及び変型例＞
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．照明態様＞
＜４．カメラの構成と処理例＞
＜５．メタデータとＲＡＷ現像ソフトウェアによる処理例＞
＜６．まとめ及び変型例＞
【0012】
なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても包括的に「映像」と表記する場合がある。「画像」も同様である。
例えば実施の形態において、ディスプレイでの表示に至る前における背景映像、カメラによる撮影映像、スイッチャーで切り替えられる背景映像や撮影映像は、実際に表示されている映像ではなく映像データであるが、便宜上「背景映像」「撮影映像」等と表記する。
例えば実施の形態において、ディスプレイでの表示に至る前における背景映像、カメラによる撮影映像、スイッチャーで切り替えられる背景映像や撮影映像は、実際に表示されている映像ではなく映像データであるが、便宜上「背景映像」「撮影映像」等と表記する。
【0013】
＜１．撮影システム及び映像コンテンツ制作＞
本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。
本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。
【0014】
撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。
【0015】
１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。
【0016】
パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。
【0017】
パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。
【0018】
カメラ５０２によって、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。
【0019】
パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。
【0020】
このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。
【0021】
例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。
【0022】
またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、緑や青の映像を表示するだけで済むため物理的な背景用スクリーンを追加不要とされることも効率化の一助となっている。
【0023】
グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。
【0024】
これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。
【0025】
ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。
【0026】
例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。
【0027】
図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。
なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。
【0028】
この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するような映像となっている。
【0029】
具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングされたものである場合や、毎フレーム或いは間欠的なフレーム毎に、リアルタイムにレンダリングされる場合があるが、そのアウターフラスタムの映像の一部に、撮影領域映像ｖＢＣ（インナーフラスタム）の映像を組み込むことで、全体の背景映像ｖＢを生成している。
なお、アウターフラスタムの映像もインナーフラスタムと同様に毎フレームレンダリングするケースがあるが、ここでは静止した映像を例にとり、以降の説明では主にアウターフラスタムの映像は先頭フレームのみレンダリングする場合を例として説明する。
なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングされたものである場合や、毎フレーム或いは間欠的なフレーム毎に、リアルタイムにレンダリングされる場合があるが、そのアウターフラスタムの映像の一部に、撮影領域映像ｖＢＣ（インナーフラスタム）の映像を組み込むことで、全体の背景映像ｖＢを生成している。
なお、アウターフラスタムの映像もインナーフラスタムと同様に毎フレームレンダリングするケースがあるが、ここでは静止した映像を例にとり、以降の説明では主にアウターフラスタムの映像は先頭フレームのみレンダリングする場合を例として説明する。
【0030】
これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置やＦＯＶ（Field of View（視野））の変化に応じた映像として撮影されることになる。
【0031】
図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。
【0032】
このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際に風景を撮影した場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。
【0033】
なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減するような工夫を行ってもよい。
【0034】
ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。プリプロダクションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。
【0035】
プリプロダクションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。
【0036】
３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。
【0037】
フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。
【0038】
点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。
【0039】
フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。
なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。
【0040】
プリプロダクションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。
【0041】
プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。
【0042】
リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはプリプロダクションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。
【0043】
このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。
【0044】
カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。
【0045】
撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。
撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。
【0046】
照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。
【0047】
ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。
【0048】
映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。
映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。
【0049】
【0050】
図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。
【0051】
ＬＥＤプロセッサ５７０のそれぞれは、１又は複数のＬＥＤパネル５０６に対応して設けられ、それぞれ対応する１又は複数のＬＥＤパネル５０６の映像表示駆動を行う。
【0052】
シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０、カメラ５０２、及びレンダリングエンジン５２０に供給する。
【0053】
カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２に組み付けられたカメラトラッカー５６０から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。
カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２に組み付けられたカメラトラッカー５６０から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。
【0054】
またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。
【0055】
アセットサーバ５３０は、プリプロダクションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。
【0056】
レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
またレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。
またレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。
【0057】
さらにレンダリングエンジン５２０は、アウターフラスタムに対し、カメラ５０２の動きに応じて動的に変化する撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。
【0058】
ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。
なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。
【0059】
各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。
【0060】
カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。
【0061】
オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。
【0062】
ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。またレンダリングエンジン５２０からライト５８０の制御を行うようにしてもよい。
【0063】
このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。
【0064】
レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
この段階でアウターフラスタムとして用いる映像を生成する場合もある。
この段階でアウターフラスタムとして用いる映像を生成する場合もある。
【0065】
その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を繰り返す。
【0066】
ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。
【0067】
ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣ（インナーフラスタム）としての映像データを得ることができる。アウターフラスタムについては、ステップＳ１０で予め固定的な映像として生成する他、ステップＳ４０でフレーム毎に生成することもある。
【0068】
ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。
【0069】
ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。
【0070】
以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。
【0071】
ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。
【0072】
カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。
【0073】
またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。
【0074】
レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方又は両方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。
【0075】
なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
但し、複数のカメラ５０２を用い、それぞれの撮影情報を用いて、それぞれのカメラ５０２に対応した撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行い、表示させると、それぞれの撮影領域映像ｖＢＣが互いに干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。その場合に単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。
但し、複数のカメラ５０２を用い、それぞれの撮影情報を用いて、それぞれのカメラ５０２に対応した撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行い、表示させると、それぞれの撮影領域映像ｖＢＣが互いに干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。その場合に単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。
【0076】
＜２．情報処理装置の構成＞
次に、プリプロダクションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
次に、プリプロダクションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
【0077】
本実施の形態の場合、具体的には情報処理装置７０は、プリプロダクションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０やアセットサーバ５３０としても機能できる。また情報処理装置７０は、カメラ５０２が備える制御系、信号処理系、インタフェース系としても機能できる。
また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。
また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０やアセットサーバ５３０としても機能できる。また情報処理装置７０は、カメラ５０２が備える制御系、信号処理系、インタフェース系としても機能できる。
また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。
【0078】
図８に示す情報処理装置７０のＣＰＵ（Central Processing Unit）７１は、ＲＯＭ（Read Only Memory）７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0079】
映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、色・輝度調整処理や色変換処理を含む映像処理、映像編集処理、映像解析・検出処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。
【0080】
この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。
なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。
【0081】
ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。
【0082】
入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、トラックボール、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
【0083】
また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
【0084】
入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などより構成される記憶部７９や通信部８０が接続される場合もある。
【0085】
記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
【0086】
通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。例えばポストプロダクションＳＴ３に用いる情報処理装置７０の場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。これによって情報処理装置７０は、カメラ５０２によって撮影した撮影映像ｖＣ（図１２等参照）や付随するメタデータＭＴ（図３０等参照）を取得できる。
【0087】
入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
【0088】
この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
【0089】
＜３．照明態様＞
プロダクションＳＴ２における照明の態様について説明する。上述のように撮影システム５００には照明装置としてライト５８０がある。ライト５８０としては、例えばＬＥＤライトが用いられる。
一方、背景映像ｖＢを表示するＬＥＤウォール５０５も、各ＬＥＤパネル５０６からの映像光を照射するため、前景、例えば演者５１０に対する照明となりうる。
プロダクションＳＴ２における照明の態様について説明する。上述のように撮影システム５００には照明装置としてライト５８０がある。ライト５８０としては、例えばＬＥＤライトが用いられる。
一方、背景映像ｖＢを表示するＬＥＤウォール５０５も、各ＬＥＤパネル５０６からの映像光を照射するため、前景、例えば演者５１０に対する照明となりうる。
【0090】
図９Ａ，図９Ｂ，図１０Ａ，図１０Ｂに照明態様の例を挙げる。
図９ＡはＬＥＤウォール５０５が平面ウォール型の場合である。この場合はＬＥＤウォール５０５からの光が演者５１０の正面を照射しにくいため、演者５１０に対しての照明としてライト５８０を用いることが考えられる。
図９ＡはＬＥＤウォール５０５が平面ウォール型の場合である。この場合はＬＥＤウォール５０５からの光が演者５１０の正面を照射しにくいため、演者５１０に対しての照明としてライト５８０を用いることが考えられる。
【0091】
図９ＢはＬＥＤウォール５０５がケーブ型の場合である。例えばＬＥＤウォール５０５が、演者５１０の周囲を広く覆い、また天井もあって、周囲及び上方で背景映像ｖＢを表示する場合である。このケーブ型の場合は、ＬＥＤウォール５０５からの光が、演者５１０に対して十分な照明として機能するため、ライト５８０を用いない場合もある。
【0092】
図１０ＡはＬＥＤウォール５０５が演者５１０の後方から側方を囲うような曲面ウォール型とされている場合である。この場合は、演者５１０に対してＬＥＤウォール５０５からの光が照射されうる。このため照明としてはライト５８０とＬＥＤウォール５０５からの光の両方が用いられる場合がある。
なお例えば曲面ウォール型の場合は、照明用、及びオブジェクトへの風景の映り込み（例えばパフォーマンスエリア５０１にあるオブジェクトとしての鏡、グラス等への映り込み）が実景と同様となるようにするために、図１０Ｂのように、ＬＥＤウォール５０５の一部として天井に方形のＬＥＤパネル５０５ａを設置する場合もある。さらに、ケーブ型に近くなるが天井全体を覆うＬＥＤパネルを形成する場合もある。
また図１に示したように、曲面ウォール型ではなく、平面ウォール型で後方と側方に配置する場合もあるし、その場合に天井にＬＥＤパネル５０５ａを配置する例や、天井全体を覆うような例もある。それらのＬＥＤウォール５０５でも、照明としてはライト５８０とＬＥＤウォール５０５からの光の両方が用いられる場合がある。
なお例えば曲面ウォール型の場合は、照明用、及びオブジェクトへの風景の映り込み（例えばパフォーマンスエリア５０１にあるオブジェクトとしての鏡、グラス等への映り込み）が実景と同様となるようにするために、図１０Ｂのように、ＬＥＤウォール５０５の一部として天井に方形のＬＥＤパネル５０５ａを設置する場合もある。さらに、ケーブ型に近くなるが天井全体を覆うＬＥＤパネルを形成する場合もある。
また図１に示したように、曲面ウォール型ではなく、平面ウォール型で後方と側方に配置する場合もあるし、その場合に天井にＬＥＤパネル５０５ａを配置する例や、天井全体を覆うような例もある。それらのＬＥＤウォール５０５でも、照明としてはライト５８０とＬＥＤウォール５０５からの光の両方が用いられる場合がある。
【0093】
例えば以上のように、照明としては、ライト５８０を用いる場合、ＬＥＤウォール５０５のみを用いる場合、ライト５８０とＬＥＤウォール５０５を共に照明として用いる場合がある。
なお以上はあくまで例である。ＬＥＤウォール５０５のタイプによって照明態様を決定しても良いが、ＬＥＤウォール５０５のタイプによって照明態様が決定される必要はない場合もある。例えばケーブ型のＬＥＤウォール５０５の場合にライト５８０を用いる場合もあるし、平面ウォール型のＬＥＤウォール５０５の場合に、ＬＥＤウォール５０５を照明として使用することもあり得る。
なお以上はあくまで例である。ＬＥＤウォール５０５のタイプによって照明態様を決定しても良いが、ＬＥＤウォール５０５のタイプによって照明態様が決定される必要はない場合もある。例えばケーブ型のＬＥＤウォール５０５の場合にライト５８０を用いる場合もあるし、平面ウォール型のＬＥＤウォール５０５の場合に、ＬＥＤウォール５０５を照明として使用することもあり得る。
【0094】
ところで撮影システム５００では、例えば図９Ａのようにライト５８０を照明として使用することが想定されており、カメラ５０２で撮影した撮影映像データ（後述の撮影映像ｖＣ）において、演者５１０等の実写部分の映像の色再現は問題ない。
照明用のライト５８０（例えばＬＥＤライト）は自然光に近い分光特性を持ち、自然な色再現が得られるためである。換言すれば、通常、カメラ５０２は、ライト５８０で照明した場合に、自然な色再現が得られるように設計されているためである。
照明用のライト５８０（例えばＬＥＤライト）は自然光に近い分光特性を持ち、自然な色再現が得られるためである。換言すれば、通常、カメラ５０２は、ライト５８０で照明した場合に、自然な色再現が得られるように設計されているためである。
【0095】
ところが背景映像ｖＢの表示のためのＬＥＤウォール５０５は分光特性が自然光とは大きく異なる。
【0096】
図１１では、破線１１０で自然光（太陽光）の分光特性、一点鎖線１１１でライト５８０（照明用のＬＥＤライト）の分光特性、実線１１２でＬＥＤウォール５０５からの光の分光特性をそれぞれ示している。
照明用のＬＥＤライトでは、太陽光に近い広い波長域で成分を持つ。
一方、ＬＥＤウォール５０５からの光は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各波長域のみに成分を持つ。このため例えば５８０ｎｍ近辺（黄色近辺）の成分が少ない。これによって、ＬＥＤウォール５０５を照明とした場合、撮影映像ｖＣ上で演者５１０の顔や肌の色再現性を低下させている。具体的には肌色が、赤みがかった色となるなどである。
照明用のＬＥＤライトでは、太陽光に近い広い波長域で成分を持つ。
一方、ＬＥＤウォール５０５からの光は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各波長域のみに成分を持つ。このため例えば５８０ｎｍ近辺（黄色近辺）の成分が少ない。これによって、ＬＥＤウォール５０５を照明とした場合、撮影映像ｖＣ上で演者５１０の顔や肌の色再現性を低下させている。具体的には肌色が、赤みがかった色となるなどである。
【0097】
そこで本実施の形態では、カメラ５０２、又はポストプロダクションＳＴ３で用いる情報処理装置７０が、照明に応じて色変換処理を切り替えることができるようにする。
例えばカメラ５０２又はポストプロダクションで用いる情報処理装置７０は、照明としてライト５８０が用いられた場合は、ライト５８０に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理を行い、ＬＥＤウォール５０５が照明用として用いられた場合は、ＬＥＤウォール５０５に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理を行うことができるようにする。つまりカメラ５０２や情報処理装置７０が、第１，第２の色変換処理を選択的に実行可能に構成する。
さらにはカメラ５０２又は情報処理装置７０は、第１の色設定パラメータと第２の色設定パラメータとの両方を用いて行う第３の色変換処理も実行可能に構成する。
例えばカメラ５０２又はポストプロダクションで用いる情報処理装置７０は、照明としてライト５８０が用いられた場合は、ライト５８０に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理を行い、ＬＥＤウォール５０５が照明用として用いられた場合は、ＬＥＤウォール５０５に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理を行うことができるようにする。つまりカメラ５０２や情報処理装置７０が、第１，第２の色変換処理を選択的に実行可能に構成する。
さらにはカメラ５０２又は情報処理装置７０は、第１の色設定パラメータと第２の色設定パラメータとの両方を用いて行う第３の色変換処理も実行可能に構成する。
【0098】
＜４．カメラの構成と処理例＞
以下、カメラ５０２において行われる色変換処理について説明する。まず図１２でカメラ５０２の構成を説明する。
以下、カメラ５０２において行われる色変換処理について説明する。まず図１２でカメラ５０２の構成を説明する。
【0099】
カメラ５０２は、レンズ部２０、イメージセンサ２１、ユーザインタフェース部２２（以下「ＵＩ部２２」と表記）、通信部２３、記録制御部２４、制御部２５、メモリ部２６、表示部２７、信号処理部３０を有する。
【0100】
レンズ部２０は、入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなどの各種レンズや、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるようにレンズやアイリス（絞り）による開口量などを調整することで露光制御を行う絞り機構を備えて構成されている。
レンズ部２０は、例えば交換レンズとして構成される。但し、カメラ５０２の本体に一体型として構成されるものでもよい。
レンズ部２０は、例えば交換レンズとして構成される。但し、カメラ５０２の本体に一体型として構成されるものでもよい。
【0101】
イメージセンサ２１は、例えばＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のセンシング素子や、光電変換した信号に対する信号処理回路を有する。２次元配列されたセンシング素子を有するイメージセンサ２１により、レンズ部２０を介して入射された被写体からの光を光電変換する。そして光電変換による電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Automatic Gain Control）処理やＡ／Ｄ（Analog/Digital）変換処理を行う。イメージセンサ２１は、これらの処理によって得た映像データを信号処理部３０に出力する。
【0102】
信号処理部３０は、例えばＤＳＰ（Digital Signal Processor）などのデジタル信号処理に特化したマイクロプロセッサや、マイクロコンピュータなどにより構成される。
この信号処理部１１は、制御部２５からの制御信号ＳＧに従い、イメージセンサ２１から送られてくる映像データに対して、各種の信号処理を施す。
この信号処理部１１は、制御部２５からの制御信号ＳＧに従い、イメージセンサ２１から送られてくる映像データに対して、各種の信号処理を施す。
【0103】
信号処理部３０としては、センサ信号処理部３１、ホワイトバランス部３２、色分離部３３、マトリクス部３４、現像処理部３５を示している。なお、以下「ホワイトバランス」を「ＷＢ」と表記する。例えばホワイトバランス部３２については「ＷＢ部３２」と表記する。また図では「マトリクス」を「ＭＴＸ」と表記する。
【0104】
センサ信号処理部３１はイメージセンサ２１からの映像データに対して、黒レベルの調整処理、ビットアサインの調整処理、欠陥画素の補正処理などを行う。
【0105】
ＷＢ部３２は色設定パラメータに応じてホワイトバランス調整処理を行う。詳細は後述する。
【0106】
なお、ここでいう色設定パラメータとは色温度の値（単位はケルビン）とティント値である。以下、色設定パラメータを、「色温度ＫＬ」「ティント値ＴＴ」と表記する。
図１３にはＣＩＥ１９３１ｘｙ色度図を示しており黒体放射カーブ１２０とその法線方向の矢印１２１を示した。色温度ＫＬは光源が発している光の色を定量的な数値で表現する単位で、黒体放射カーブ１２０で表される絶対温度である。ティント値ＴＴは、色味、色合いを調整するパラメータで、矢印１２１で表される方向に黒体放射カーブ１２０を補正する制御値である。
つまり色の調整処理において、黒体放射カーブ１２０上の色は色温度ＫＬで指定され、黒体放射カーブ１２０から外れている分はティント値ＴＴで指定される。
図１３にはＣＩＥ１９３１ｘｙ色度図を示しており黒体放射カーブ１２０とその法線方向の矢印１２１を示した。色温度ＫＬは光源が発している光の色を定量的な数値で表現する単位で、黒体放射カーブ１２０で表される絶対温度である。ティント値ＴＴは、色味、色合いを調整するパラメータで、矢印１２１で表される方向に黒体放射カーブ１２０を補正する制御値である。
つまり色の調整処理において、黒体放射カーブ１２０上の色は色温度ＫＬで指定され、黒体放射カーブ１２０から外れている分はティント値ＴＴで指定される。
【0107】
色分離部３３では、ホワイトバランス調整後の映像データについて色分離処理を行う。色分離部３３は、例えばイメージセンサ２１の画素に対するカラーフィルタがベイヤー配列の場合はディベイヤー処理部として構成される。また色分離部３３は、モザイクカラーフィルタを用いる場合はデモザイク処理部として構成される。さらに例えばストライプカラーフィルタの場合など他のカラーフィルタを用いる場合も、色分離部３３はそのカラーフィルタの形式に応じた色分離を行う構成とされる。
【0108】
マトリクス部３４は、映像データに対して例えば３×３のマトリクス係数を用いたマトリクス色変換処理を行う。
このマトリクス部３４も色設定パラメータとして色温度ＫＬ、ティント値ＴＴに基づいて処理を行う。
このマトリクス部３４も色設定パラメータとして色温度ＫＬ、ティント値ＴＴに基づいて処理を行う。
【0109】
図１２の信号処理部３０において色再現や色作りのための色変換処理を行うのは、ＷＢ部３２とマトリクス部３４となる。
【0110】
現像処理部３５は、ガンマ処理、ＬＵＴ（Look Up Table）処理、解像度変換処理、記録用や通信用のためのエンコード処理などの一部又は全部を行うことによって最終的な出力形式の映像データへの変換を行う。
例えば記録用のエンコード処理が施された映像データは記録制御部２４で記録媒体に記録される。
また通信用のエンコード処理が施された映像データは通信部２３から他の機器に送信される。例えば上述の図５の構成の場合、映像データはレンダリングエンジン５２０に送信される。
またモニタ用の解像度変換等が施された映像データは、上述のモニタ映像ｖＭとしてアウトプットモニタ５０３に供給される。
例えば記録用のエンコード処理が施された映像データは記録制御部２４で記録媒体に記録される。
また通信用のエンコード処理が施された映像データは通信部２３から他の機器に送信される。例えば上述の図５の構成の場合、映像データはレンダリングエンジン５２０に送信される。
またモニタ用の解像度変換等が施された映像データは、上述のモニタ映像ｖＭとしてアウトプットモニタ５０３に供給される。
【0111】
なお、本開示では、これらカメラ５０２によって得られる映像データを包括して「撮影映像ｖＣ」と記載している。
また例えばセンサ信号処理部３１の出力段階の映像データは、ＲＡＷ映像データｖＣｒａｗとして記録制御部２４で記録媒体に記録され、また通信部２３から送信されることがある。
ＲＡＷ映像データｖＣｒａｗは、各画素にカラーフィルタが設けられているイメージセンサ２１の画素配置に対応したフレームを有する映像データである。これは、多少異なる場合もあるが元のイメージセンサ２１の画素配置に戻せる映像データであるという意味である。従って、イメージセンサ２１から読み出された画素配列のままの映像データもＲＡＷ映像データｖＣｒａｗであるし、例えばＧ１（緑第１画素），Ｇ２（緑第２画素），Ｒ，Ｂの４チャネルに分けて圧縮した映像データなどもＲＡＷ映像データｖＣｒａｗに含まれる。またイメージセンサ２１の画素配置に対応したフレームとは、イメージセンサ２１の全画素の画素配置に対応するものである必要はない。さらにＲ，Ｇ，Ｂの画素だけでなくホワイト画素を含む場合もある。
このようなＲＡＷ映像データｖＣｒａｗは、表記上区別しているが、撮影映像ｖＣの１つである。
なお撮影映像ｖＣ（ＲＡＷ映像データｖＣｒａｗを含む）には撮影映像ｖＣの映像データについてのメタデータＭＴ（図３０等参照）も含まれる。
また例えばセンサ信号処理部３１の出力段階の映像データは、ＲＡＷ映像データｖＣｒａｗとして記録制御部２４で記録媒体に記録され、また通信部２３から送信されることがある。
ＲＡＷ映像データｖＣｒａｗは、各画素にカラーフィルタが設けられているイメージセンサ２１の画素配置に対応したフレームを有する映像データである。これは、多少異なる場合もあるが元のイメージセンサ２１の画素配置に戻せる映像データであるという意味である。従って、イメージセンサ２１から読み出された画素配列のままの映像データもＲＡＷ映像データｖＣｒａｗであるし、例えばＧ１（緑第１画素），Ｇ２（緑第２画素），Ｒ，Ｂの４チャネルに分けて圧縮した映像データなどもＲＡＷ映像データｖＣｒａｗに含まれる。またイメージセンサ２１の画素配置に対応したフレームとは、イメージセンサ２１の全画素の画素配置に対応するものである必要はない。さらにＲ，Ｇ，Ｂの画素だけでなくホワイト画素を含む場合もある。
このようなＲＡＷ映像データｖＣｒａｗは、表記上区別しているが、撮影映像ｖＣの１つである。
なお撮影映像ｖＣ（ＲＡＷ映像データｖＣｒａｗを含む）には撮影映像ｖＣの映像データについてのメタデータＭＴ（図３０等参照）も含まれる。
【0112】
通信部２３は、制御部２５からの制御信号ＳＧに基づいて外部機器とのデータ通信やネットワーク通信を有線や無線で行う。例えば撮影システム５００の場合、撮影映像ｖＣ（メタデータＭＴを含む）をレンダリングエンジン５２０に送信する。レンダリングエンジン５２０に送信された撮影映像ｖＣはポストプロダクションのために例えばアセットサーバ５３０に格納される。
【0113】
また通信部２３はレンダリングエンジン５２０に限らず、各種の外部の表示装置、記録装置、再生装置等に対して撮影映像ｖＣの送信を行うことも可能である。また、通信部２３は、ネットワーク通信部として機能してもよい。例えば、インターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバや端末等との間で各種データの送受信を行うようにしてもよい。例えばビデオストリーミングとして撮影映像ｖＣを送信することも考えられる。
【0114】
記録制御部２４は、制御部２５からの制御信号ＳＧに基づいて、例えば不揮発性メモリからなる記録媒体に対して撮影映像ｖＣ（メタデータＭＴを含む）を記録させる処理を行う。
記録制御部２４の形態は多様に考えられる。例えば、記録制御部２４がカメラ５０２に内蔵されるフラッシュメモリに対する記録処理を行う構成とされていてもよいし、カメラ５０２に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記憶や読み出しのためのアクセスを行うアクセス部とで構成されていてもよい。またカメラ５０２に内蔵されている形態としてＨＤＤやＳＳＤなどとして実現されることもある。
記録制御部２４の形態は多様に考えられる。例えば、記録制御部２４がカメラ５０２に内蔵されるフラッシュメモリに対する記録処理を行う構成とされていてもよいし、カメラ５０２に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記憶や読み出しのためのアクセスを行うアクセス部とで構成されていてもよい。またカメラ５０２に内蔵されている形態としてＨＤＤやＳＳＤなどとして実現されることもある。
【0115】
表示部２７は、カメラマン５１２に対して各種の表示を行うための処理を実行する。表示部２７は、例えば、カメラ５０２の筐体上のモニタやＥＶＦ（Electronic View Finder）モニタとされる。表示部２７では、撮影映像ｖＣや、ユーザインタフェースのための各種表示を行う。例えば表示部２７は、制御部２５からの制御信号ＳＧに基づいて各種操作メニューやアイコン、メッセージ等、ＧＵＩ（Graphical User Interface）としての表示を画面上で実現させる。
【0116】
ＵＩ部２２は、ユーザ（カメラマン５１２等）に対する画像表示を行うディスプレイと、タッチセンサ等を有し、操作画像に対するユーザのタップ操作やドラッグ操作などの種々の操作に応じた操作情報を制御部１６に出力する。
なお、ＵＩ部２２は表示部２７上にタッチパネルが配置されて形成されてもよい。またＵＩ部２２は、カメラ５０２とは別体の操作機器として構成されてもよい。
なお、ＵＩ部２２は表示部２７上にタッチパネルが配置されて形成されてもよい。またＵＩ部２２は、カメラ５０２とは別体の操作機器として構成されてもよい。
【0117】
制御部２５は、ＣＰＵを備えたマイクロコンピュータにより構成され、カメラ５０２の統括的な制御を行う。
制御部２５は、例えばカメラ５０２の操作に応じた動画や静止画の記録制御、シャッタースピード、ゲイン、絞り等の制御、フォーカス制御、ズーム制御、信号処理部１１における各種信号処理についての指示、記録した画像ファイルの再生動作制御、通信制御、表示制御などを行う。
制御部２５は、例えばカメラ５０２の操作に応じた動画や静止画の記録制御、シャッタースピード、ゲイン、絞り等の制御、フォーカス制御、ズーム制御、信号処理部１１における各種信号処理についての指示、記録した画像ファイルの再生動作制御、通信制御、表示制御などを行う。
【0118】
メモリ部２６は、制御部２５が実行する処理に用いられる情報等を記憶する。図示するメモリ部２６としては、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどを包括的に示している。
メモリ部２６は制御部２５としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
メモリ部２６は制御部２５としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
【0119】
メモリ部２６のＲＯＭやフラッシュメモリ等には、制御部２５が利用するプログラム等が記憶される。ＲＯＭやフラッシュメモリ等には、ＣＰＵが各部を制御するためのＯＳ（Operating System）や画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムやファームウェア等が記憶される。
制御部２５は、当該プログラムを実行することで、カメラ５０２の全体を制御する。
制御部２５は、当該プログラムを実行することで、カメラ５０２の全体を制御する。
【0120】
メモリ部２６のＲＡＭは、制御部２５のＣＰＵが実行する各種データ処理の際に用いられるデータやプログラム等が一時的に格納されることにより、制御部２５の作業領域として利用される。
【0121】
以上の構成のカメラ５０２における、ＷＢ部３２とマトリクス部３４について説明する。
【0122】
ＷＢ部３２の構成を図１４に示す。ＷＢ部３２は係数設定部４１と乗算器４２，４３，４４を有して構成される。
係数設定部４１には例えば制御部２５から色温度ＫＬとティント値ＴＴが入力される。制御部２５は、例えばメモリ部２６に格納された色設定パラメータとしての色温度ＫＬとティント値ＴＴを選択して、その値をＷＢ部３２に指示する。或いは制御部２５はＵＩ部２２によるユーザ操作に応じて指示された色温度ＫＬとティント値ＴＴをＷＢ部３２に指示する。
係数設定部４１には例えば制御部２５から色温度ＫＬとティント値ＴＴが入力される。制御部２５は、例えばメモリ部２６に格納された色設定パラメータとしての色温度ＫＬとティント値ＴＴを選択して、その値をＷＢ部３２に指示する。或いは制御部２５はＵＩ部２２によるユーザ操作に応じて指示された色温度ＫＬとティント値ＴＴをＷＢ部３２に指示する。
【0123】
係数設定部４１は、供給された色温度ＫＬとティント値ＴＴに基づいた関数演算によりホワイトバランス調整のためのＲゲイン、Ｇゲイン、Ｂゲインを算出する。
乗算器４２，４３，４４にはそれぞれセンサ信号処理部３１からの映像データにおけるＲ値（Ｒｉｎ）、Ｇ値（Ｇｉｎ）、Ｂ値（Ｂｉｎ）が入力される。
乗算器４２ではＲ値（Ｒｉｎ）にＲゲインを乗算し、ＷＢ調整後のＲ値（Ｒｏｕｔ）を出力する。乗算器４３ではＧ値（Ｇｉｎ）にＧゲインを乗算し、ＷＢ調整後のＧ値（Ｇｏｕｔ）を出力する。乗算器４４ではＢ値（Ｂｉｎ）にＢゲインを乗算し、ＷＢ調整後のＢ値（Ｂｏｕｔ）を出力する。
乗算器４２，４３，４４にはそれぞれセンサ信号処理部３１からの映像データにおけるＲ値（Ｒｉｎ）、Ｇ値（Ｇｉｎ）、Ｂ値（Ｂｉｎ）が入力される。
乗算器４２ではＲ値（Ｒｉｎ）にＲゲインを乗算し、ＷＢ調整後のＲ値（Ｒｏｕｔ）を出力する。乗算器４３ではＧ値（Ｇｉｎ）にＧゲインを乗算し、ＷＢ調整後のＧ値（Ｇｏｕｔ）を出力する。乗算器４４ではＢ値（Ｂｉｎ）にＢゲインを乗算し、ＷＢ調整後のＢ値（Ｂｏｕｔ）を出力する。
【0124】
マトリクス部３４の構成を図１５に示す。マトリクス部３４は係数設定部４５とマトリクス係数処理部４６を有して構成される。
係数設定部４５には、ＷＢ部３２と同様に制御部２５から色温度ＫＬとティント値ＴＴが入力される。
係数設定部４５は、供給された色温度ＫＬとティント値ＴＴに基づいた関数演算によりＲ値、Ｇ値、Ｂ値の３×３の演算のための９個のマトリクス係数を算出する。
係数設定部４５には、ＷＢ部３２と同様に制御部２５から色温度ＫＬとティント値ＴＴが入力される。
係数設定部４５は、供給された色温度ＫＬとティント値ＴＴに基づいた関数演算によりＲ値、Ｇ値、Ｂ値の３×３の演算のための９個のマトリクス係数を算出する。
【0125】
マトリクス係数処理部４６には色分離部３３からの映像データにおけるＲ値（Ｒｉｎ）、Ｇ値（Ｇｉｎ）、Ｂ値（Ｂｉｎ）が入力される。マトリクス係数処理部４６はＲ値（Ｒｉｎ）、Ｇ値（Ｇｉｎ）、Ｂ値（Ｂｉｎ）に対してマトリクス係数を用いたマトリクス演算を行い色変換後のＲ値（Ｒｏｕｔ）、Ｇ値（Ｇｏｕｔ）、Ｂ値（Ｂｏｕｔ）を出力する。
【0126】
このような構成のカメラ５０２による照明に応じた色再現のための色変換処理について、以下説明していく。
なお以降の説明で参照する図１６，図１７，図１８，図２８，図３０，図３２，図３４では、カメラ５０２の構成として、レンズ部２０、イメージセンサ２１、ＷＢ部３２、マトリクス部３４のみを抽出して示している。
なお以降の説明で参照する図１６，図１７，図１８，図２８，図３０，図３２，図３４では、カメラ５０２の構成として、レンズ部２０、イメージセンサ２１、ＷＢ部３２、マトリクス部３４のみを抽出して示している。
【0127】
図１６は図９Ａに示した平面ウォール型のＬＥＤウォール５０５を用いた撮影で、ライト５８０を演者５１０に対する照明として用いる場合を示している。
この場合、ＷＢ部３２とマトリクス部３４に対しては、制御部２５により、色温度ＫＬとティント値ＴＴとして、ライト５８０の照明光に対して最適化した色再現係数である色温度ＫＬｌ、ティント値ＴＴｌが指示される。
これによりＷＢ部３２ではライト５８０の照明光に対応したホワイトバランス調整処理が行われ、マトリクス部３４でもライト５８０の照明光に対応したマトリクス色変換処理が行われる。
この場合、ＷＢ部３２とマトリクス部３４に対しては、制御部２５により、色温度ＫＬとティント値ＴＴとして、ライト５８０の照明光に対して最適化した色再現係数である色温度ＫＬｌ、ティント値ＴＴｌが指示される。
これによりＷＢ部３２ではライト５８０の照明光に対応したホワイトバランス調整処理が行われ、マトリクス部３４でもライト５８０の照明光に対応したマトリクス色変換処理が行われる。
【0128】
これにより撮影映像ｖＣに基づいて例えばアウトプットモニタ５０３で表示されるモニタ映像ｖＭは、演者５１０の肌が自然光の下のような自然な色合いの映像となる。
【0129】
図１７は図９Ｂに示したケーブ型のＬＥＤウォール５０５を用いた撮影で、ＬＥＤウォール５０５を演者５１０に対する照明として用いる場合を示している。
この場合、ＷＢ部３２とマトリクス部３４に対しては、制御部２５により、色温度ＫＬとティント値ＴＴとして、ＬＥＤウォール５０５の光に対して最適化した色再現係数である色温度ＫＬｗ、ティント値ＴＴｗが指示される。
これによりＷＢ部３２ではＬＥＤウォール５０５による照明光に対応したホワイトバランス調整処理が行われ、マトリクス部３４でもＬＥＤウォール５０５による照明光に対応したマトリクス色変換処理が行われる。
この場合、ＷＢ部３２とマトリクス部３４に対しては、制御部２５により、色温度ＫＬとティント値ＴＴとして、ＬＥＤウォール５０５の光に対して最適化した色再現係数である色温度ＫＬｗ、ティント値ＴＴｗが指示される。
これによりＷＢ部３２ではＬＥＤウォール５０５による照明光に対応したホワイトバランス調整処理が行われ、マトリクス部３４でもＬＥＤウォール５０５による照明光に対応したマトリクス色変換処理が行われる。
【0130】
これにより撮影映像ｖＣに基づいて例えばアウトプットモニタ５０３で表示されるモニタ映像ｖＭは、演者５１０の肌が自然光の下のような自然な色合いの映像となる。
【0131】
つまり制御部２５は、ＷＢ部３２とマトリクス部３４に対して指示する色設定パラメータとしての色温度ＫＬとティント値ＴＴを、撮影の際の照明態様に応じて変更するようにする。これにより、ライト５８０を照明として使用する場合でも、ＬＥＤウォール５０５を照明として使用する場合でも、撮影映像ｖＣを自然な色合いの映像とすることができる。
【0132】
続いてライト５８０とＬＥＤウォール５０５を照明として併用する場合について説明する。例えば図１０Ａ、図１０Ｂの曲面ウォール型の場合に照明を併用することが考えられる。また図１８に示すように、ＬＥＤウォール５０５が３つの平面型ウォールを背面と両側面に配置したような場合でも、ライト５８０とＬＥＤウォール５０５を照明として併用することが想定される。
なお、ライト５８０とＬＥＤウォール５０５の光を照明として併用するのは、以上の場合に限らない。例えば図９Ａの平面ウォール型、図９Ｂのケーブ型や、或いは曲面ウォール型で天井が設けられている場合などにおいて、ライト５８０とＬＥＤウォール５０５の光を照明として併用する場合もある。図１８はライト５８０とＬＥＤウォール５０５の光を照明として併用する場合を示す一例に過ぎない。
なお、ライト５８０とＬＥＤウォール５０５の光を照明として併用するのは、以上の場合に限らない。例えば図９Ａの平面ウォール型、図９Ｂのケーブ型や、或いは曲面ウォール型で天井が設けられている場合などにおいて、ライト５８０とＬＥＤウォール５０５の光を照明として併用する場合もある。図１８はライト５８０とＬＥＤウォール５０５の光を照明として併用する場合を示す一例に過ぎない。
【0133】
ライト５８０とＬＥＤウォール５０５の光を照明として併用する場合には、制御部２５は、ＷＢ部３２とマトリクス部３４に対して、ライト５８０の照明光に対して最適化した色再現係数である色温度ＫＬｌ、ティント値ＴＴｌと、ＬＥＤウォール５０５の光に対して最適化した色再現係数である色温度ＫＬｗ、ティント値ＴＴｗの両方を指示する。
【0134】
さらに制御部２５はＷＢ部３２とマトリクス部３４に対してミックス比ＭｉｘＲを指示する。ミックス比ＭｉｘＲは、ライト５８０に対する色設定パラメータとＬＥＤウォール５０５に対する色設定パラメータを、色変換処理に反映させる比率である。
制御部２５は、例えばメモリ部２６に併用される照明機器に応じて設定されているミックス比ＭｉｘＲを読み出して、ＷＢ部３２とマトリクス部３４に指示できる。
或いは制御部２５は例えばライト５８０とＬＥＤウォール５０５の照明光強度を測定した値を取得することで、その比率に応じてミックス比ＭｉｘＲを設定し、指示することができる。
さらに制御部２５はＵＩ部２２によるユーザ操作に応じてミックス比ＭｉｘＲを設定し、指示することができる。
制御部２５は、例えばメモリ部２６に併用される照明機器に応じて設定されているミックス比ＭｉｘＲを読み出して、ＷＢ部３２とマトリクス部３４に指示できる。
或いは制御部２５は例えばライト５８０とＬＥＤウォール５０５の照明光強度を測定した値を取得することで、その比率に応じてミックス比ＭｉｘＲを設定し、指示することができる。
さらに制御部２５はＵＩ部２２によるユーザ操作に応じてミックス比ＭｉｘＲを設定し、指示することができる。
【0135】
そしてＷＢ部３２ではミックス比ＭｉｘＲに応じて色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを反映させたホワイトバランス調整処理（ブレンドＷＢ処理）を行う。
マトリクス部３４ではミックス比ＭｉｘＲに応じて色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを反映させたマトリクス色変換処理（ブレンドＭＴＸ処理）を行う。
マトリクス部３４ではミックス比ＭｉｘＲに応じて色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを反映させたマトリクス色変換処理（ブレンドＭＴＸ処理）を行う。
【0136】
このような処理を行う場合のＷＢ部３２の構成を図１９に示す。ＷＢ部３２は係数設定部４１ａ，４１ｂと、ブレンド係数設定部４７と、乗算器４２，４３，４４を有して構成される。
【0137】
係数設定部４１ａには色温度ＫＬｗとティント値ＴＴｗが入力される。係数設定部４１ａは、色温度ＫＬｗとティント値ＴＴｗに基づいた関数演算によりＬＥＤウォール５０５の照明光に対応するホワイトバランス調整のためのＲゲインＲｇ１、ＧゲインＧｇ１、ＢゲインＢｇ１を算出する。
【0138】
係数設定部４１ｂには色温度ＫＬｌとティント値ＴＴｌが入力される。係数設定部４１ｂは、色温度ＫＬｌとティント値ＴＴｌに基づいた関数演算によりライト５８０の照明光に対応するホワイトバランス調整のためのＲゲインＲｇ２、ＧゲインＧｇ２、ＢゲインＢｇ２を算出する。
【0139】
ブレンド係数設定部４７では、Ｒゲイン、Ｇゲイン、Ｂゲインをそれぞれミックス比ＭｉｘＲでαブレンドして、ホワイトバランス調整のためのＲゲイン、Ｇゲイン、Ｂゲインを設定する。
即ちブレンド係数設定部４７は、ＲゲインＲｇ１、Ｒｇ２をミックス比ＭｉｘＲでブレンドしてＲゲインを設定する。またＧゲインＧｇ１、Ｇｇ２をミックス比ＭｉｘＲでブレンドしてＧゲインを設定する。またＢゲインＢｇ１、Ｂｇ２をミックス比ＭｉｘＲでブレンドしてＢゲインを設定する。
即ちブレンド係数設定部４７は、ＲゲインＲｇ１、Ｒｇ２をミックス比ＭｉｘＲでブレンドしてＲゲインを設定する。またＧゲインＧｇ１、Ｇｇ２をミックス比ＭｉｘＲでブレンドしてＧゲインを設定する。またＢゲインＢｇ１、Ｂｇ２をミックス比ＭｉｘＲでブレンドしてＢゲインを設定する。
【0140】
このように設定されたＲゲイン、Ｇゲイン、Ｂゲインが、それぞれ乗算器４２，４３，４４の係数となる。そして乗算器４２，４３，４４にはそれぞれセンサ信号処理部３１からの映像データにおけるＲ値（Ｒｉｎ）、Ｇ値（Ｇｉｎ）、Ｂ値（Ｂｉｎ）に対してＲゲイン、Ｇゲイン、Ｂゲインを乗算し、ＷＢ調整後のＲ値（Ｒｏｕｔ）、Ｇ値（Ｇｏｕｔ）、Ｂ値（Ｂｏｕｔ）を出力する。
【0141】
マトリクス部３４の構成を図２０に示す。マトリクス部３４は係数設定部４５ａ，４５ｂと、ブレンド係数設定部４８と、マトリクス係数処理部４６を有して構成される。
【0142】
係数設定部４５ａには色温度ＫＬｗとティント値ＴＴｗが入力される。係数設定部４５ａは、色温度ＫＬｗとティント値ＴＴｗに基づいた関数演算によりＬＥＤウォール５０５の照明光に対応する３×３マトリクス色変換のための９個のマトリクス係数を算出する。
【0143】
係数設定部４５ｂには色温度ＫＬｌとティント値ＴＴｌが入力される。係数設定部４５ｂは、色温度ＫＬｌとティント値ＴＴｌに基づいた関数演算によりライト５８０の照明光に対応する３×３マトリクス色変換のための９個のマトリクス係数を算出する。
【0144】
ブレンド係数設定部４８では、係数設定部４５ａ、４５ｂからのそれぞれ９個の係数について、ミックス比ＭｉｘＲでαブレンドして、９個のマトリクス係数を設定する。このマトリクス係数がマトリクス係数処理部４６で用いられる。
【0145】
マトリクス係数処理部４６は色分離部３３からの映像データにおけるＲ値（Ｒｉｎ）、Ｇ値（Ｇｉｎ）、Ｂ値（Ｂｉｎ）に対してマトリクス係数を用いたマトリクス演算を行い色変換後のＲ値（Ｒｏｕｔ）、Ｇ値（Ｇｏｕｔ）、Ｂ値（Ｂｏｕｔ）を出力する。
【0146】
ＷＢ部３２とマトリクス部３４が以上のように構成されることで、図１８に示したブレンドＷＢ処理、ブレンドＭＴＸ処理が実行できる。
そしてミックス比ＭｉｘＲが、ＬＥＤウォール５０５の照明光とライト５８０の照明光の光強度の比とされていることで、適切な色再現処理が実行され、自然な色合いの撮影映像ｖＣを得ることができる。
そしてミックス比ＭｉｘＲが、ＬＥＤウォール５０５の照明光とライト５８０の照明光の光強度の比とされていることで、適切な色再現処理が実行され、自然な色合いの撮影映像ｖＣを得ることができる。
【0147】
なお、ミックス比ＭｉｘＲは必ずしも厳密にＬＥＤウォール５０５とライト５８０の照明光強度の比とされていなくてもよい。ある程度適切な色再現が行われる比であればよい。さらに、あえて照明光強度比からずらしたミックス比ＭｉｘＲを設定することで、積極的に色作りを行うことも可能である。
【0148】
以上は、照明を併用する場合について述べたが、ＷＢ部３２とマトリクス部３４が図１９，図２０の構成とされる場合において、図１６のようにライト５８０の照明光のみに対応する場合は、色温度ＫＬｗと色温度ＫＬｌ、ティント値ＴＴｗとティント値ＴＴｌのミックス比ＭｉｘＲが０：１００とされればよい。
また図１７のようにＬＥＤウォール５０５の照明光のみに対応する場合は、色温度ＫＬｗと色温度ＫＬｌ、ティント値ＴＴｗとティント値ＴＴｌのミックス比ＭｉｘＲが１００：０とされればよい。
また図１７のようにＬＥＤウォール５０５の照明光のみに対応する場合は、色温度ＫＬｗと色温度ＫＬｌ、ティント値ＴＴｗとティント値ＴＴｌのミックス比ＭｉｘＲが１００：０とされればよい。
【0149】
図１８の構成の場合、制御部２５はＵＩ部２２によるユーザ操作に応じて色温度ＫＬｗ，ＫＬｌ、ティント値ＴＴｗ，ＴＴｌ、及びミックス比ＭｉｘＲを設定することも想定される。
例えばＵＩ部２２において図２１のようなＧＵＩ表示５０を実行し、ユーザによる操作を可能とする。ＧＵＩ表示５０では、ＬＥＤウォール５０５に対応した色温度操作子５１とティント操作子５３、ライト５８０に対応した色温度操作子５２とティント操作子５４、及びミックス比操作子５５が用意される。
例えばＵＩ部２２において図２１のようなＧＵＩ表示５０を実行し、ユーザによる操作を可能とする。ＧＵＩ表示５０では、ＬＥＤウォール５０５に対応した色温度操作子５１とティント操作子５３、ライト５８０に対応した色温度操作子５２とティント操作子５４、及びミックス比操作子５５が用意される。
【0150】
なお、これらの操作子はディスプレイを用いたタッチ操作子ではなく、実際の物理的なレバー、スライダ、ダイヤル等による操作子とされてもよい。
【0151】
例えばＬＥＤウォール５０５に対応した色温度操作子５１とティント操作子５３では、初期値としてＬＥＤウォール５０５の照明光を用いた場合に色再現を最適化する色温度とティント値に設定されており、ユーザがその初期値から任意に変更できるものとする。
同様にライト５８０に対応した色温度操作子５１とティント操作子５３では、初期値としてライト５８０の照明光を用いた場合に色再現を最適化する色温度とティント値に設定されており、ユーザがその初期値から任意に変更できるものとされる。
ミックス比操作子５５では、ミックス比ＭｉｘＲを０：１００から１００：０の間を任意に設定できる。
同様にライト５８０に対応した色温度操作子５１とティント操作子５３では、初期値としてライト５８０の照明光を用いた場合に色再現を最適化する色温度とティント値に設定されており、ユーザがその初期値から任意に変更できるものとされる。
ミックス比操作子５５では、ミックス比ＭｉｘＲを０：１００から１００：０の間を任意に設定できる。
【0152】
制御部２５はこのようなＵＩ部２２による操作情報を取得し、色温度ＫＬｗ，ＫＬｌ、ティント値ＴＴｗ，ＴＴｌ、及びミックス比ＭｉｘＲを決定してＷＢ部３２とマトリクス部３４に指示する。
【0153】
例えば照明としてライト５８０のみを使用する場合は、ユーザは図２２のようにミックス比操作子５５をライト（ＬＥＤライト）側に操作する。すると、ＷＢ部３２とマトリクス部３４では、色温度ＫＬｌ、ティント値ＴＴｌに応じた色変換が行われる。
【0154】
また照明としてＬＥＤウォール５０５のみを使用する場合は、ユーザは図２３のようにミックス比操作子５５をＬＥＤウォール５０５側に操作する。すると、ＷＢ部３２とマトリクス部３４では、色温度ＫＬｗ、ティント値ＴＴｗに応じた色変換が行われる。
【0155】
また照明としてＬＥＤウォール５０５とライト５８０を併用し、例えば照明光強度比が５０：５０の場合は、ユーザは図２４のようにミックス比操作子５５を中央値（例えば５０：５０）に操作する。すると、ＷＢ部３２とマトリクス部３４では、色温度ＫＬｌと色温度ＫＬｗ、ティント値ＴＴｌとティント値ＴＴｗがそれぞれ５０％ずつ反映された色変換が行われる。もちろん照明光強度比が異なる場合は、それに応じてミックス比操作子５５を操作すればよい。
【0156】
以上の操作により、自然な色合いの撮影映像ｖＣを得ることができる。
また実際の撮影現場では、常にＬＥＤウォール５０５とライト５８０の照明光強度比を測定しているわけではない。そこで、例えば図２４のようにミックス比操作子５５を中央値とした状態から、ユーザがモニタ映像ｖＭを見ながらミックス比操作子５５を操作して、色再現性が最適と考える状態に調整することが想定される。
また実際の撮影現場では、常にＬＥＤウォール５０５とライト５８０の照明光強度比を測定しているわけではない。そこで、例えば図２４のようにミックス比操作子５５を中央値とした状態から、ユーザがモニタ映像ｖＭを見ながらミックス比操作子５５を操作して、色再現性が最適と考える状態に調整することが想定される。
【0157】
さらにミックス比操作子５５の操作は、自然な色合いの色再現ではなく、積極的に色作りのために操作することもできる。ミックス比操作子５５を操作することで、自然な色合いではないが、映像制作上で狙った色合いの撮影映像ｖＣを得ることができる。
また、色温度操作子５１、５２やティント操作子５３、５４の操作を行うことによっても、色作りが可能である。
また、色温度操作子５１、５２やティント操作子５３、５４の操作を行うことによっても、色作りが可能である。
【0158】
ＷＢ部３２とマトリクス部３４で図１８のようなブレンド処理が可能な構成におけるカメラ５０２の処理例を説明する。
【0159】
【0160】
制御部２５はステップＳ１０１で照明判定を行う。例えば撮影システム５００の機器間の情報伝送によりシステム設定情報が伝達され、ＬＥＤウォール５０５の形式やライト５８０の状態を把握できる場合、制御部２５は今回の撮影の照明態様を判定できる。またオペレータが、照明モードなど、照明態様に応じた情報をカメラ５０２に入力する場合は、制御部２５はその照明モードなどの情報を確認する。
【0161】
照明判定の結果、今回の撮影ではライト５８０のみを照明として使用すると認識した場合は、制御部２５はステップＳ１０２からステップＳ１１０に進み、ライト５８０に対応する色再現のための色温度ＫＬｌ、ティント値ＴＴｌを例えばメモリ部２６から読み出す。そして制御部２５はステップＳ１１１で、ＷＢ部３２とマトリクス部３４に色設定パラメータとして色温度ＫＬｌ、ティント値ＴＴｌを指示する。なおこの場合のミックス比ＭｉｘＲは、色温度ＫＬｌ、ティント値ＴＴｌを１００％とする。
【0162】
照明判定の結果、今回の撮影ではＬＥＤウォール５０５のみを照明として使用すると認識した場合は、制御部２５はステップＳ１０３からステップＳ１２０に進み、ＬＥＤウォール５０５に対応する色再現のための色温度ＫＬｗ、ティント値ＴＴｗを例えばメモリ部２６から読み出す。そして制御部２５はステップＳ１２１で、ＷＢ部３２とマトリクス部３４に色設定パラメータとして色温度ＫＬｗ、ティント値ＴＴｗを指示する。この場合のミックス比ＭｉｘＲは、色温度ＫＬｗ、ティント値ＴＴｗを１００％とする。
【0163】
照明判定の結果、今回の撮影ではライト５８０とＬＥＤウォール５０５の両方を照明として使用すると認識した場合は、制御部２５はステップＳ１０４からステップＳ１３０に進み、ライト５８０に対応する色再現のための色温度ＫＬｌ、ティント値ＴＴｌ、及びＬＥＤウォール５０５に対応する色再現のための色温度ＫＬｗ、ティント値ＴＴｗを例えばメモリ部２６から読み出す。
【0164】
また制御部２５はステップＳ１３１で、ミックス比ＭｉｘＲを設定する。例えばＬＥＤウォール５０５とライト５８０の照明光強度比が取得できる場合は、その照明光強度比に応じてミックス比ＭｉｘＲを設定する。照明光強度比が不明な場合は、ミックス比ＭｉｘＲ＝５０：５０、或いは予め設定されていた比率などとする。
【0165】
そして制御部２５はステップＳ１３２で、ＷＢ部３２とマトリクス部３４に色設定パラメータとして色温度ＫＬｌ、ティント値ＴＴｌ、色温度ＫＬｗ、ティント値ＴＴｗを指示する。また制御部２５はステップＳ１３１で設定したミックス比ＭｉｘＲも指示する。
【0166】
例えば以上の処理により、カメラ５０２の信号処理部３０では、撮影前の時点で、撮影時の照明態様に応じて適切な色再現のための色変換処理が行われる状態にセッティングされる。
なお、照明判定の結果が不明である場合は、制御部２５はステップＳ１０４から図２５の処理を終える。
なお、照明判定の結果が不明である場合は、制御部２５はステップＳ１０４から図２５の処理を終える。
【0167】
以上は、パラメータ設定の処理例としたが、変形例として、例えば図１６のライト５８０対応と図１７のＬＥＤウォール５０５対応の状態を切り替えるのみの処理例も考えられる。つまりブレンド処理を行わない例である。その場合は、図２５においてステップＳ１０４，Ｓ１３０，Ｓ１３１，Ｓ１３２を設けない処理例となる。
また図２５は制御部２５がステップＳ１０２，Ｓ１０３，Ｓ１０４の判定結果に応じて自動的にパラメータ設定の処理に進むものとしたが、制御部２５がユーザにパラメータ設定の示唆を行うようにしてもよい。例えば制御部２５はステップＳ１０１の照明判定に応じて色設定パラメータのレコメンドを表示部２７に表示させる。それに応じてＵＩ部２２でユーザがパラメータ設定操作を行うことができるようにする。
また図２５は制御部２５がステップＳ１０２，Ｓ１０３，Ｓ１０４の判定結果に応じて自動的にパラメータ設定の処理に進むものとしたが、制御部２５がユーザにパラメータ設定の示唆を行うようにしてもよい。例えば制御部２５はステップＳ１０１の照明判定に応じて色設定パラメータのレコメンドを表示部２７に表示させる。それに応じてＵＩ部２２でユーザがパラメータ設定操作を行うことができるようにする。
【0168】
さらにブレンド処理を行う処理例としては、パラメータ設定処理では、常に色温度ＫＬｌ、ティント値ＴＴｌ、色温度ＫＬｗ、ティント値ＴＴｗをＷＢ部３２とマトリクス部３４に指示しつつ、照明判定の結果に応じてミックス比ＭｉｘＲを設定してＷＢ部３２とマトリクス部３４に指示するという処理例も考えられる。
【0169】
以上の図２５の処理やその変形例の処理で、ＷＢ部３２とマトリクス部３４に対するパラメータ設定が行われるが、ＵＩ部２２による操作によって、パラメータ設定が変更される場合もある。
【0170】
例えば制御部２５は図２６の処理を行う。制御部２５はステップＳ１５０でＧＵＩ表示５０に対するユーザ操作を監視し、色温度操作子５１、５２、ティント操作子５３、５４、或いはミックス比操作子５５の操作が行われたか否かを確認する。
【0171】
これらのいずれかの操作が行われた場合は、制御部２５はステップＳ１５１に進み、パラメータ変更を行う。即ち制御部２５は操作子で設定された値に、色温度ＫＬｌ、ティント値ＴＴｌ、色温度ＫＬｗ、ティント値ＴＴｗ、ミックス比ＭｉｘＲのいずれかの設定を変更し、変更したパラメータをＷＢ部３２とマトリクス部３４に指示する。
【0172】
このような処理により、任意の時点のオペレータの操作により、信号処理部３０における色変換処理のパラメータを変更できることになる。
例えばオペレータは、撮影のリハーサル時などにおいて、モニタ映像ｖＭを見ながらＧＵＩ表示５０に対して操作を行い、色再現性の調整や、色作りを行うことができる。
例えばオペレータは、撮影のリハーサル時などにおいて、モニタ映像ｖＭを見ながらＧＵＩ表示５０に対して操作を行い、色再現性の調整や、色作りを行うことができる。
【0173】
図２７は撮影中の制御部２５の処理例を示している。
制御部２５は撮影開始に応じてステップＳ１６１に進み、信号処理部３０による映像処理の開始を指示する。これにより信号処理部３０では図１２で説明した処理を開始する。
制御部２５は撮影開始に応じてステップＳ１６１に進み、信号処理部３０による映像処理の開始を指示する。これにより信号処理部３０では図１２で説明した処理を開始する。
【0174】
また制御部２５はステップＳ１６２でメタデータＭＴを生成し、信号処理部３０に対して撮影映像ｖＣのフレームと関連づけるように指示する。
特に本実施の形態の場合、制御部２５は色設定パラメータに関連するメタデータを撮影映像ｖＣやＲＡＷ映像データｖＣｒａｗに関連づけるようにする処理を行う。
このメタデータＭＴの具体例としては、後に図２８，図３０，図３２で説明するメタデータＭＴ１，ＭＴ２，ＭＴ３，ＭＴ４，ＭＴ５がある。
特に本実施の形態の場合、制御部２５は色設定パラメータに関連するメタデータを撮影映像ｖＣやＲＡＷ映像データｖＣｒａｗに関連づけるようにする処理を行う。
このメタデータＭＴの具体例としては、後に図２８，図３０，図３２で説明するメタデータＭＴ１，ＭＴ２，ＭＴ３，ＭＴ４，ＭＴ５がある。
【0175】
なお色設定パラメータに関連するメタデータＭＴは必ずしも撮影映像ｖＣのフレームに関連付けなくても良い。例えばプロジェクト単位、特にはフレームレートや記録方式等を設定する単位で、撮影映像ｖＣに対するメタデータＭＴの関連付けを行うことが考えられる。また撮影映像ｖＣにおけるクリップ単位、撮影のテイク単位といったファイル単位でメタデータＭＴの関連付けが行われてもよい。
また、ファイルベースでの関連付けを行う場合や、ＳＤＩ（Serial Digital Interface）出力を行う場合では、ベースバンドＲＡＷ映像データや、圧縮ＲＡＷ映像データのヘッダやフッタにメタデータＭＴを含ませることも考えられる。
また、ファイルベースでの関連付けを行う場合や、ＳＤＩ（Serial Digital Interface）出力を行う場合では、ベースバンドＲＡＷ映像データや、圧縮ＲＡＷ映像データのヘッダやフッタにメタデータＭＴを含ませることも考えられる。
【0176】
ステップＳ１６３で制御部２５は、撮影映像ｖＣ、ＲＡＷ映像データｖＣｒａｗ及びメタデータＭＴの記録や送信を信号処理部３０に開始させる。これにより信号処理部３０は、撮影映像ｖＣとメタデータＭＴや、ＲＡＷ映像データｖＣｒａｗとメタデータＭＴを関連づけて、記録媒体に記録させる処理や送信出力する処理を開始する。
【0177】
その後、撮影終了となったら、制御部２５はステップＳ１６４からステップＳ１６５に進み、信号処理部３０に撮影終了指示を行う。これにより信号処理部３０では、撮影中の処理を終了させる。
【0178】
以上により、撮影映像ｖＣは、照明態様に応じた色設定パラメータに基づく色再現又は色作りが施された映像となる。
また色設定パラメータに関する情報がメタデータＭＴとして関連づけられたＲＡＷ映像データｖＣｒａｗが記録或いは送信される。
また色設定パラメータに関する情報がメタデータＭＴとして関連づけられたＲＡＷ映像データｖＣｒａｗが記録或いは送信される。
【0179】
＜５．メタデータとＲＡＷ現像ソフトウェアによる処理例＞
続いてポストプロダクションＳＴ３においてＲＡＷ映像データｖＣｒａｗに対する処理を行う例を説明する。
続いてポストプロダクションＳＴ３においてＲＡＷ映像データｖＣｒａｗに対する処理を行う例を説明する。
【0180】
ポストプロダクションＳＴ３においては、映像編集装置となる情報処理装置７０が、ＲＡＷ現像ソフトウェア９０に基づく処理を行うものとする。ここではＲＡＷ現像ソフトウェア９０によって情報処理装置７０において行われる４つの映像処理例を挙げる。
なおここではＲＡＷ現像ソフトウェア９０に基づく処理として説明するが、以下、図２８から図３６で説明する処理は、ＲＡＷカラー調整ソフトウェアに基づいて情報処理装置７０が行う処理として理解されても良い。
なおここではＲＡＷ現像ソフトウェア９０に基づく処理として説明するが、以下、図２８から図３６で説明する処理は、ＲＡＷカラー調整ソフトウェアに基づいて情報処理装置７０が行う処理として理解されても良い。
【0181】
図２８はカメラ５０２とともに、ポストプロダクションＳＴ３で使用されるＲＡＷ現像ソフトウェア９０により実現される情報処理装置７０を示している。ここでは情報処理装置７０の処理機能として、ＷＢ部９２，マトリクス部９４を示している。ＷＢ部９２，マトリクス部９４は、それぞれ図１９，図２０の処理を行う機能とする。
【0182】
この図２８は、カメラ５０２からのＲＡＷ映像データｖＣｒａｗに対して、メタデータＭＴ１，ＭＴ２が関連づけられている例を示している。
メタデータＭＴ１は光源ＩＤである。例えば図２５のステップＳ１０１の照明判定の処理で認識された照明装置の識別情報である。具体的には光源ＩＤは、ライト５８０やＬＥＤウォール５０５の識別情報である。また光源ＩＤは、これらの具体的な機種、例えばＬＥＤライトの機種や、ＬＥＤウォール５０５を構成するＬＥＤパネル５０６の機種などを識別する情報でもよい。
メタデータＭＴ２は、色設定パラメータである。つまり色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗである。
メタデータＭＴ１は光源ＩＤである。例えば図２５のステップＳ１０１の照明判定の処理で認識された照明装置の識別情報である。具体的には光源ＩＤは、ライト５８０やＬＥＤウォール５０５の識別情報である。また光源ＩＤは、これらの具体的な機種、例えばＬＥＤライトの機種や、ＬＥＤウォール５０５を構成するＬＥＤパネル５０６の機種などを識別する情報でもよい。
メタデータＭＴ２は、色設定パラメータである。つまり色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗである。
【0183】
この場合にポストプロダクションＳＴ３の情報処理装置７０は、ＲＡＷ映像データｖＣｒａｗに対する処理の際に、メタデータＭＴ１，ＭＴ２を読み出して色変換処理を行うことができる。例えば情報処理装置７０のＣＰＵ７１は、ＲＡＷ現像ソフトウェア９０に基づいて図２９の処理を行う。
【0184】
ステップＳ２０１でＣＰＵ７１は、処理対象のＲＡＷ映像データｖＣｒａｗに関連づけられたメタデータＭＴ２として、色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを読み出す。
【0185】
ステップＳ２０２でＣＰＵ７１は、色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗをＷＢ部９２とマトリクス部９４の色設定パラメータとして設定する。
【0186】
ステップＳ２０３でＣＰＵ７１は、ミックス比ＭｉｘＲを設定し、ＷＢ部９２とマトリクス部９４に指示する。例えばＣＰＵ７１はメタデータＭＴ１としての光源ＩＤに基づいて、使用された照明機器や、併用の場合の照明光強度比を推定し、ミックス比ＭｉｘＲを設定することが考えられる。
【0187】
これにより情報処理装置７０では、ＷＢ部９２とマトリクス部９４により、撮影時の色変換パラメータを用いた色変換処理が行われ、ポストプロダクションＳＴ３で用いるモニタ装置９９で、その処理結果の調整後映像ｖＥが表示される。
【0188】
なおこの場合のミックス比ＭｉｘＲは、色再現のために光源ＩＤの情報から推定するものとしたが、例えば図２１のようなＧＵＩを用意し、ユーザの操作に応じてミックス比ＭｉｘＲを設定してもよい。
それにより、撮影時の色温度ＫＬとティント値ＴＴを用いつつ、ミックス比ＭｉｘＲをオペレータが任意に設定するような映像処理が可能になる。
また撮影時の色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを初期設定としつつ、オペレータがこれらの値に任意に変更することも可能となる。
それにより、撮影時の色温度ＫＬとティント値ＴＴを用いつつ、ミックス比ＭｉｘＲをオペレータが任意に設定するような映像処理が可能になる。
また撮影時の色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを初期設定としつつ、オペレータがこれらの値に任意に変更することも可能となる。
【0189】
図３０は、カメラ５０２からのＲＡＷ映像データｖＣｒａｗに対して、メタデータＭＴ１，ＭＴ２，ＭＴ３が関連づけられている例である。
メタデータＭＴ３は撮影時に設定したミックス比ＭｉｘＲであるとする。
メタデータＭＴ３は撮影時に設定したミックス比ＭｉｘＲであるとする。
【0190】
この場合にポストプロダクションＳＴ３の情報処理装置７０は、ＲＡＷ映像データｖＣｒａｗに対する処理の際に、メタデータＭＴ１，ＭＴ２，ＭＴ３を読み出して色変換処理を行うことができる。例えば情報処理装置７０のＣＰＵ７１は、ＲＡＷ現像ソフトウェア９０に基づいて図３１の処理を行う。
【0191】
ステップＳ２１１でＣＰＵ７１は、処理対象のＲＡＷ映像データｖＣｒａｗに関連づけられたメタデータＭＴ２として、色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを読み出し、またメタデータＭＴ３としてミックス比ＭｉｘＲを読み出す。
【0192】
ステップＳ２１２でＣＰＵ７１は、色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗをＷＢ部９２とマトリクス部９４のパラメータとして設定する。
【0193】
ステップＳ２１３でＣＰＵ７１は、メタデータＭＴ３としてのミックス比ＭｉｘＲをＷＢ部９２とマトリクス部９４に指示する。
【0194】
これにより情報処理装置７０では、ＷＢ部９２とマトリクス部９４により、撮影時と同様の色変換処理が行われ、モニタ装置９９でその処理結果の調整後映像ｖＥが表示される。
【0195】
なお、この例では、光源ＩＤとしてのメタデータＭＴ１は必ずしも必要ではない。但しメタデータＭＴを含むことで、使用された照明装置の光源種別に応じた色温度やティント値、或いはミックス比の調整等を行うことが可能となる。
【0196】
またこの場合も、例えば図２１のようなＧＵＩを用意し、ユーザの操作に応じてミックス比ＭｉｘＲや、色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを設定することができるようにしてもよい。
これにより、撮影時と同様のパラメータ設定を初期値としつつ、オペレータがパラメータを任意に設定するような映像処理が可能になる。
これにより、撮影時と同様のパラメータ設定を初期値としつつ、オペレータがパラメータを任意に設定するような映像処理が可能になる。
【0197】
図３２は、カメラ５０２からのＲＡＷ映像データｖＣｒａｗに対して、メタデータＭＴ４，ＭＴ５が関連づけられている例である。
メタデータＭＴ４は撮影時のＷＢ部３２のホワイトバランス係数（Ｒゲイン、Ｇゲイン、Ｂゲイン）の値である。説明上、ホワイトバランス係数Ｋｗと表記する。
メタデータＭＴ５は撮影時のマトリクス部３４で用いられた３×３マトリクス色変換のための９個のマトリクス係数である。説明上、マトリクス係数Ｋｍと表記する。
メタデータＭＴ４は撮影時のＷＢ部３２のホワイトバランス係数（Ｒゲイン、Ｇゲイン、Ｂゲイン）の値である。説明上、ホワイトバランス係数Ｋｗと表記する。
メタデータＭＴ５は撮影時のマトリクス部３４で用いられた３×３マトリクス色変換のための９個のマトリクス係数である。説明上、マトリクス係数Ｋｍと表記する。
【0198】
この場合にポストプロダクションＳＴ３の情報処理装置７０は、ＲＡＷ映像データｖＣｒａｗに対する処理の際にメタデータＭＴ４，ＭＴ５を読み出して色変換処理を行うことができる。例えば情報処理装置７０のＣＰＵ７１は、ＲＡＷ現像ソフトウェア９０に基づいて図３３の処理を行う。
【0199】
ステップＳ２２１でＣＰＵ７１は、処理対象のＲＡＷ映像データｖＣｒａｗに関連づけられたメタデータＭＴ４，ＭＴ５として、ホワイトバランス係数Ｋｗとマトリクス係数Ｋｍを読み出す。
【0200】
ステップＳ２２２でＣＰＵ７１は、読み出したホワイトバランス係数Ｋｗとマトリクス係数ＫｍをＷＢ部９２とマトリクス部９４に指示する。
【0201】
このホワイトバランス係数Ｋｗとマトリクス係数Ｋｍは撮影時のミックス比ＭｉｘＲが反映された後の係数値である。
従って色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗ、及びミックス比ＭｉｘＲを指示しなくとも、ＷＢ部９２とマトリクス部９４により、撮影時と同様の色変換処理が行われ、モニタ装置９９でその処理結果の調整後映像ｖＥが表示される。
従って色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗ、及びミックス比ＭｉｘＲを指示しなくとも、ＷＢ部９２とマトリクス部９４により、撮影時と同様の色変換処理が行われ、モニタ装置９９でその処理結果の調整後映像ｖＥが表示される。
【0202】
但しこの場合も、例えば図２１のようなＧＵＩを用意し、ユーザの操作に応じてミックス比ＭｉｘＲや、色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを設定することができるようにしてもよい。
これにより、撮影時と同様の色変換を行う状態から、オペレータがパラメータを任意に設定して色作りを行うような映像処理が可能になる。
これにより、撮影時と同様の色変換を行う状態から、オペレータがパラメータを任意に設定して色作りを行うような映像処理が可能になる。
【0203】
図３４は、カメラ５０２からのＲＡＷ映像データｖＣｒａｗに対して、色変換処理に関するメタデータが関連づけられていない例である。
【0204】
【0205】
ステップＳ２３１でＣＰＵ７１は、ユーザによる色変換処理に関する操作を監視する。操作があった場合は、ＣＰＵ７１はステップＳ２３２で操作情報を取り込む。
【0206】
ステップＳ２３３でＣＰＵ７１は、操作に応じて色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを設定し、ＷＢ部９２とマトリクス部９４に指示する。
またステップＳ２３４でＣＰＵ７１は、操作に応じてミックス比ＭｉｘＲを設定し、ＷＢ部９２とマトリクス部９４に指示する。
またステップＳ２３４でＣＰＵ７１は、操作に応じてミックス比ＭｉｘＲを設定し、ＷＢ部９２とマトリクス部９４に指示する。
【0207】
以上により、撮影時の色変換とは無関係に、オペレータがＲＡＷ映像データｖＣｒａｗに対する色作りを行うような映像処理が可能になる。
【0208】
ところで図２９、図３１、図３３の処理では、メタデータＭＴに従って色設定パラメータ（色温度、ティント値）を設定し、或いは処理係数（ホワイトバランス係数Ｋｗとマトリクス係数Ｋｍ）を設定する例とした。そしてこれらの場合に、これらの設定後に、さらに図２１のようなＧＵＩによりオペレータが操作して色の修正を行うことができるとも述べた。
そこでＲＡＷ現像ソフトウェアに基づいて情報処理装置７０において、図２９、図３１、又は図３３の処理とともに、図３６の処理が行われるようにしてもよい。
そこでＲＡＷ現像ソフトウェアに基づいて情報処理装置７０において、図２９、図３１、又は図３３の処理とともに、図３６の処理が行われるようにしてもよい。
【0209】
図３６の処理を説明する。情報処理装置７０のＣＰＵ７１は、例えば図２９、図３１、又は図３３の処理で色設定パラメータまたは処理係数を設定した後、ステップＳ２５１でＲＡＷ映像データｖＣｒａｗに対する色設定が確定されたか否かを確認する。つまりオペレータが色処理を完了させる操作を行ったか否かである。
【0210】
完了操作を検知するまでは、ＣＰＵ７１はステップＳ２５２でオペレータによる修正操作を監視する。
オペレータは、図２１のＧＵＩにより、ＬＥＤウォール５０５についての色温度やティント値、ライト５８０についての色温度やティント値、さらにはミックス比ＭｉｘＲを任意に捜査できる。
ＣＰＵ７１はこれらのいずれかの操作がないときはステップＳ２５１に戻り、いずれかの操作があった場合はステップＳ２５３に進んで操作情報を取り込む。
オペレータは、図２１のＧＵＩにより、ＬＥＤウォール５０５についての色温度やティント値、ライト５８０についての色温度やティント値、さらにはミックス比ＭｉｘＲを任意に捜査できる。
ＣＰＵ７１はこれらのいずれかの操作がないときはステップＳ２５１に戻り、いずれかの操作があった場合はステップＳ２５３に進んで操作情報を取り込む。
【0211】
操作情報を取り込んだ場合、ＣＰＵ７１はステップＳ２５４で、操作に応じて色温度ＫＬｌ，ＫＬｗとティント値ＴＴｌ，ＴＴｗを設定し、ＷＢ部９２とマトリクス部９４に指示する。
またステップＳ２５５でＣＰＵ７１は、操作に応じてミックス比ＭｉｘＲを設定し、ＷＢ部９２とマトリクス部９４に指示する。そしてステップＳ２５１に戻る。
またステップＳ２５５でＣＰＵ７１は、操作に応じてミックス比ＭｉｘＲを設定し、ＷＢ部９２とマトリクス部９４に指示する。そしてステップＳ２５１に戻る。
【0212】
以上により、色設定の確定までは、オペレータによる色修正が任意に実行される。
オペレータが色設定の確定の操作、例えばその時点のＲＡＷ映像データｖＣｒａｗの出力（記録、送信、アップロード等）を指示する操作を行った場合、ＣＰＵ７１は、処理をステップＳ２５１からステップＳ２５６に進め、メタデータＭＴの生成を行う。この場合のメタデータＭＴは、その時点の色温度ＫＬｌ，ＫＬｗ、ティント値ＴＴｌ，ＴＴｗの値、ミックス比ＭｉｘＲ、ホワイトバランス係数Ｋｗとマトリクス係数Ｋｍなどの全部又は一部を含む。
オペレータが色設定の確定の操作、例えばその時点のＲＡＷ映像データｖＣｒａｗの出力（記録、送信、アップロード等）を指示する操作を行った場合、ＣＰＵ７１は、処理をステップＳ２５１からステップＳ２５６に進め、メタデータＭＴの生成を行う。この場合のメタデータＭＴは、その時点の色温度ＫＬｌ，ＫＬｗ、ティント値ＴＴｌ，ＴＴｗの値、ミックス比ＭｉｘＲ、ホワイトバランス係数Ｋｗとマトリクス係数Ｋｍなどの全部又は一部を含む。
【0213】
そしてステップＳ２５７でＣＰＵ７１は、ＲＡＷ映像データｖＣｒａｗとメタデータＭＴを関連づけて出力する。例えばＣＰＵ７１は、ＲＡＷ映像データｖＣｒａｗとメタデータＭＴを関連づけられた状態で記録媒体への記録、又は他機器への送信やアップロード等の制御を行う。
なお、この場合に、ＲＡＷ映像データｖＣｒａｗとメタデータＭＴに加えて、ＷＢ部９２とマトリクス部９４で色設定処理された映像データや、或いは現像処理された映像データも共に出力されるようにしてもよい。
なお、この場合に、ＲＡＷ映像データｖＣｒａｗとメタデータＭＴに加えて、ＷＢ部９２とマトリクス部９４で色設定処理された映像データや、或いは現像処理された映像データも共に出力されるようにしてもよい。
【0214】
以上により、修正後の色設定パラメータや処理係数を含むメタデータＭＴがＲＡＷ映像データｖＣｒａｗとともに出力コンテンツとされる。従ってその後の映像処理の段階で、情報処理装置７０で行った処理を再現できる。
【0215】
【0216】
また図３６の処理はＲＡＷ現像ソフトウェア９０（又はＲＡＷカラー調整ソフトウェア）に基づいて情報処理装置７０で行われるとしたが、カメラ５０２において制御部２５が行う処理としてもよい。つまりカメラ５０２が、ＲＡＷ映像データｖＣｒａｗとオペレータによる色修正操作後の色設定パラメータや処理係数を含むメタデータＭＴを出力する例である。
【0217】
＜６．まとめ及び変型例＞
以上の実施の形態によれば次のような効果が得られる。
以上の実施の形態によれば次のような効果が得られる。
【0218】
実施の形態の撮像装置であるカメラ５０２は、イメージセンサ２１と信号処理部３０を備えている。信号処理部３０は、イメージセンサ２１で得られた映像データに対して、第１の照明（ライト５８０）に対して設定された第１の色設定パラメータ（色温度ＫＬｌとティント値ＴＴｌ）を用いて行う第１の色変換処理が実行可能である。また信号処理部３０は、第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明（ＬＥＤウォール５０５）に対して設定された第２の色設定パラメータ（色温度ＫＬｗとティント値ＴＴｗ）を用いて行う第２の色変換処理が可能である。信号処理部３０は、この第１，第２の色変換処理を選択的に実行可能に構成されている。
【0219】
ＬＥＤウォール５０５（第２の照明）を用いる場合の撮影環境においてはライト５８０（ＬＥＤライト等の第１の照明）を用いる場合と、ＬＥＤウォール５０５を照明としても利用する場合がある。ＬＥＤウォール５０５からの光は分光特性が照明用途として最適化されているわけではない。そのような場合でもＬＥＤウォール５０５の分光特性に対して設定された色設定パラメータを用いて第２の色変換処理を行うことで、撮影映像ｖＣの色再現を改善することができる。
【0220】
なお実施の形態ではＬＥＤウォール５０５に表示させる映像である背景映像ｖＢは、３Ｄモデルを用いたレンダリングにより得た仮想映像としたが、例えば実写映像をＬＥＤウォール５０５に表示させる場合にも本開示の技術は適用できる。
【0221】
実施の形態では、信号処理部３０が、第１の色設定パラメータと第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行可能に構成されている例を挙げた。
例えばＬＥＤウォール５０５とライト５８０の両方を用いる場合には、ＬＥＤウォール５０５用のパラメータＫＬｗ，ＴＴｗと、ライト５８０用のパラメータＫＬｌ，ＴＴｌを反映させた色変換処理を行うことで、撮影映像ｖＣの色再現を改善することができる。
例えばＬＥＤウォール５０５とライト５８０の両方を用いる場合には、ＬＥＤウォール５０５用のパラメータＫＬｗ，ＴＴｗと、ライト５８０用のパラメータＫＬｌ，ＴＴｌを反映させた色変換処理を行うことで、撮影映像ｖＣの色再現を改善することができる。
【0222】
なおＷＢ部３２、マトリクス部３４が図１９，図２０の構成の場合でも、色温度ＫＬとティント値ＴＴのミックス比ＭｉｘＲが０：１００や１００：０の場合は、ＷＢ部３２やマトリクス部３４の処理は第１又は第２の色変換処理に相当する。
ミックス比ＭｉｘＲが０：１００や１００：０ではない場合、つまり色温度ＫＬｗ、ＫＬｌとティント値ＴＴｗ、ＴＴｌの全てが反映される色変換処理が本開示でいう第３の色変換処理となる。
ミックス比ＭｉｘＲが０：１００や１００：０ではない場合、つまり色温度ＫＬｗ、ＫＬｌとティント値ＴＴｗ、ＴＴｌの全てが反映される色変換処理が本開示でいう第３の色変換処理となる。
【0223】
実施の形態では、信号処理部３０が、ミックス比ＭｉｘＲに応じて、第３の色変換処理への第１の色設定パラメータと第２の色設定パラメータの反映度合いを設定する例を述べた。
ＬＥＤウォール５０５とライト５８０の両方を用いる場合において、それぞれの照明光としての寄与程度は多様である。そこでＬＥＤウォール５０５用の色設定パラメータＫＬｗ，ＴＴｗと、ライト５８０用の色設定パラメータＫＬｌ，ＴＴｌを反映させる比率をミックス比ＭｉｘＲに従って設定する。これによりＬＥＤウォール５０５とライト５８０のそれぞれの照明光としての強度の比に応じた色変換処理を行うことができる。
ＬＥＤウォール５０５とライト５８０の両方を用いる場合において、それぞれの照明光としての寄与程度は多様である。そこでＬＥＤウォール５０５用の色設定パラメータＫＬｗ，ＴＴｗと、ライト５８０用の色設定パラメータＫＬｌ，ＴＴｌを反映させる比率をミックス比ＭｉｘＲに従って設定する。これによりＬＥＤウォール５０５とライト５８０のそれぞれの照明光としての強度の比に応じた色変換処理を行うことができる。
【0224】
実施の形態では、カメラ５０２の信号処理部３０は、第１の色設定パラメータと第２の色設定パラメータを映像データにメタデータＭＴとして関連づける処理を行う例を挙げた。またポストプロダクションＳＴ３で用いる情報処理装置７０は、映像データに関連づけられたメタデータから第１の色設定パラメータ、第２の色設定パラメータを読み出させて色変換処理に適用させる例を挙げた。
例えば図２８，図３０の例のように、ＬＥＤウォール５０５用の色設定パラメータＫＬｗ，ＴＴｗと、ライト５８０用の色設定パラメータＫＬｌ，ＴＴｌをメタデータＭＴ２としてＲＡＷ映像データｖＣｒａｗに関連づける。
これによりＲＡＷ映像データｖＣｒａｗに対する処理を、ＲＡＷ現像ソフトウェア９０をインストールした情報処理装置７０で行う際に、撮影時の色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌの全部又は一部を用いた色再現処理が可能になる。
例えば図２８，図３０の例のように、ＬＥＤウォール５０５用の色設定パラメータＫＬｗ，ＴＴｗと、ライト５８０用の色設定パラメータＫＬｌ，ＴＴｌをメタデータＭＴ２としてＲＡＷ映像データｖＣｒａｗに関連づける。
これによりＲＡＷ映像データｖＣｒａｗに対する処理を、ＲＡＷ現像ソフトウェア９０をインストールした情報処理装置７０で行う際に、撮影時の色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌの全部又は一部を用いた色再現処理が可能になる。
【0225】
なお第１の色設定パラメータであるライト５８０用の色設定パラメータＫＬｌ，ＴＴｌのみをメタデータＭＴ２としてＲＡＷ映像データｖＣｒａｗに関連づけてもよい。逆に第２の色設定パラメータであるＬＥＤウォール５０５用の色設定パラメータＫＬｗ，ＴＴｗのみをメタデータＭＴ２としてＲＡＷ映像データｖＣｒａｗに関連づけてもよい。つまり第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を映像データに関連づける処理を行うようにする。
【0226】
なお撮影映像データに関連づける処理とは、例えば色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌ等をメタデータＭＴとしてＲＡＷ映像データｖＣｒａｗと共に映像ファイルに含まれるデータとし、記録媒体に記録したり、或いは外部機器に送信したりする処理がある。或いは、このようなメタデータＭＴを、ＲＡＷ映像データｖＣｒａｗのファイルとは別ファイルのデータとしても、同じＩＤを付与する等により互いに対応するものとして管理された状態とする処理を行うことで互いに関連付けてもよい。
【0227】
実施の形態では、カメラ５０２の信号処理部３０は、第３の色再現処理における第１の色設定パラメータと第２の色設定パラメータのミックス比ＭｉｘＲを映像データに関連づける処理を行う例を挙げた。またポストプロダクションＳＴ３で用いる情報処理装置７０は、映像データに関連づけられたメタデータからミックス比ＭｉｘＲを読み出させて色変換処理に適用させる例を挙げた。
例えば図３０の例のように、ミックス比ＭｉｘＲをメタデータＭＴ３としてＲＡＷ映像データｖＣｒａｗに関連づける。
これによりＲＡＷ映像データｖＣｒａｗに対する処理を後に行う際に、撮影時のミックス比ＭｉｘＲを用いた色再現処理が可能になる。特に色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌと共にミックス比ＭｉｘＲが関連づけられていることで、ＲＡＷ映像データｖＣｒａｗに対する処理を、ＲＡＷ現像ソフトウェア９０が機能する情報処理装置７０で行う際に、撮影時と同様のミックス比率の色再現処理が可能になる。
例えば図３０の例のように、ミックス比ＭｉｘＲをメタデータＭＴ３としてＲＡＷ映像データｖＣｒａｗに関連づける。
これによりＲＡＷ映像データｖＣｒａｗに対する処理を後に行う際に、撮影時のミックス比ＭｉｘＲを用いた色再現処理が可能になる。特に色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌと共にミックス比ＭｉｘＲが関連づけられていることで、ＲＡＷ映像データｖＣｒａｗに対する処理を、ＲＡＷ現像ソフトウェア９０が機能する情報処理装置７０で行う際に、撮影時と同様のミックス比率の色再現処理が可能になる。
【0228】
実施の形態では、カメラ５０２の信号処理部３０は、第１の色設定パラメータと第２の色設定パラメータに応じた色変換処理の処理係数を映像データに関連づける処理を行う例を挙げた。またポストプロダクションＳＴ３で用いる情報処理装置７０は、映像データに関連づけられたメタデータから、第１の色設定パラメータと第２の色設定パラメータに応じた色変換処理の処理係数（ホワイトバランス係数Ｋｗ、マトリクス係数Ｋｍ）を読み出させて色変換処理に適用させる例を挙げた。
例えば図３２の例のように、撮影時の色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌに基づいて設定されたホワイトバランス係数Ｋｗやマトリクス係数Ｋｍ自体をメタデータＭＴ４，ＭＴ５としてＲＡＷ映像データｖＣｒａｗに関連づけ、ポストプロダクションＳＴ３で使用できるようにする。
これによりＲＡＷ映像データｖＣｒａｗに対する処理を、ＲＡＷ現像ソフトウェア９０が機能する情報処理装置７０で行う際に、撮影時と同様の色再現処理が可能になる。
例えば図３２の例のように、撮影時の色設定パラメータＫＬｗ，ＴＴｗ、ＫＬｌ，ＴＴｌに基づいて設定されたホワイトバランス係数Ｋｗやマトリクス係数Ｋｍ自体をメタデータＭＴ４，ＭＴ５としてＲＡＷ映像データｖＣｒａｗに関連づけ、ポストプロダクションＳＴ３で使用できるようにする。
これによりＲＡＷ映像データｖＣｒａｗに対する処理を、ＲＡＷ現像ソフトウェア９０が機能する情報処理装置７０で行う際に、撮影時と同様の色再現処理が可能になる。
【0229】
実施の形態では、カメラ５０２の信号処理部３０や、ポストプロダクションＳＴ３で用いる情報処理装置７０は、色変換処理の１つとして、ホワイトバランス調整処理を行うものとした。
ホワイトバランス調整により、照明の光源の色温度の差を吸収して自然な色合いを得ることができるようにする。
ホワイトバランス調整により、照明の光源の色温度の差を吸収して自然な色合いを得ることができるようにする。
【0230】
実施の形態では、カメラ５０２の信号処理部３０や、ポストプロダクションＳＴ３で用いる情報処理装置７０は、色変換処理の１つとして、マトリクス色変換処理を行うものとした。
マトリクス色変換処理により、照明の光源の分光特性の差を吸収して自然な色合いを得ることができるようにする。
なおマトリクス色変換処理と同等の処理を、３ＤＬＵＴ（３次元ルックアップテーブル）を用いた３ＤＬＵＴ変換処理として行うようにしてもよい。
マトリクス色変換処理により、照明の光源の分光特性の差を吸収して自然な色合いを得ることができるようにする。
なおマトリクス色変換処理と同等の処理を、３ＤＬＵＴ（３次元ルックアップテーブル）を用いた３ＤＬＵＴ変換処理として行うようにしてもよい。
【0231】
実施の形態では、第１、第２の色設定パラメータを指示可能なＵＩ部２２を備え、信号処理部３０は、ＵＩ部２２で指示された第１、第２の色設定パラメータを用いて第１の色変換処理又は第２の色変換処理を実行可能に構成されている例を挙げた。
ＵＩ部２２によってユーザが第１の色設定パラメータ（色温度ＫＬｌ，ティント値ＴＴｌ）や、第２の色設定パラメータ（色温度ＫＬｗ，ティント値ＴＴｗ）を指定できるようにしている。これによりユーザは照明に応じて色再現のための色変換処理を実行させることができる。加えて、単なる色再現だけでなく、いわゆる望みの色作りのための色変換処理を指示できることにもなる。
なお、図２１の例ではミックス比ＭｉｘＲも指定可能なＵＩとしているが、ミックス比ＭｉｘＲは指定できないＵＩも考えられる。
ＵＩ部２２によってユーザが第１の色設定パラメータ（色温度ＫＬｌ，ティント値ＴＴｌ）や、第２の色設定パラメータ（色温度ＫＬｗ，ティント値ＴＴｗ）を指定できるようにしている。これによりユーザは照明に応じて色再現のための色変換処理を実行させることができる。加えて、単なる色再現だけでなく、いわゆる望みの色作りのための色変換処理を指示できることにもなる。
なお、図２１の例ではミックス比ＭｉｘＲも指定可能なＵＩとしているが、ミックス比ＭｉｘＲは指定できないＵＩも考えられる。
【0232】
実施の形態では、第１、第２の色設定パラメータ、及び比率情報を指示可能なＵＩ部２２を備え、信号処理部３０は、ＵＩ部２２で指示された第１、第２の色設定パラメータ、及び比率情報を用いて第３の色変換処理を実行可能に構成されている例を挙げた。
ＵＩ部２２によってユーザが色設定パラメータＫＬｌ，ＴＴｌ、ＫＬｗ，ＴＴｗとともにミックス比ＭｉｘＲを指定できるようにしている。これによりユーザはライト５８０とＬＥＤウォール５０５の両方を照明として使用する状況でも色再現や色作りのための色変換処理を実行させることができる。
なお色設定パラメータＫＬｌ，ＴＴｌ、ＫＬｗ，ＴＴｗが例えば固定値にプリセットされ、ミックス比ＭｉｘＲのみユーザが任意に指定できるようなＵＩも考えられる。
ＵＩ部２２によってユーザが色設定パラメータＫＬｌ，ＴＴｌ、ＫＬｗ，ＴＴｗとともにミックス比ＭｉｘＲを指定できるようにしている。これによりユーザはライト５８０とＬＥＤウォール５０５の両方を照明として使用する状況でも色再現や色作りのための色変換処理を実行させることができる。
なお色設定パラメータＫＬｌ，ＴＴｌ、ＫＬｗ，ＴＴｗが例えば固定値にプリセットされ、ミックス比ＭｉｘＲのみユーザが任意に指定できるようなＵＩも考えられる。
【0233】
実施の形態では、第１、第２の色設定パラメータは、色温度及びティント値を含むものとした。
例えばホワイトバランス調整やマトリクス色変換処理としての処理係数を色温度及びティント値に基づいて設定することで、照明に応じた適切な色再現を実現する。
例えばホワイトバランス調整やマトリクス色変換処理としての処理係数を色温度及びティント値に基づいて設定することで、照明に応じた適切な色再現を実現する。
【0234】
実施の形態では、カメラ５０２はＲＡＷ映像データｖＣｒａｗを出力することを述べた。さらに、例えばカメラ５０２の制御部２５が図３６のような処理を行うことで、信号処理部３０は、第１の色設定パラメータと第２の色設定パラメータの少なくとも一方を修正し、修正された第１の色設定パラメータ又は修正された第２の色設定パラメータ、或いはＷＢ部３２やマトリクス部３４の処理係数を、ＲＡＷ映像データｖＣｒａｗに関連づけることができる。
これにより、オペレータの修正を反映した色設定パラメータや処理係数をＲＡＷ映像データｖＣｒａｗとともに出力コンテンツとすることができる。従って後の処理において、カメラ５０２で修正された色設定を再現できる。
これにより、オペレータの修正を反映した色設定パラメータや処理係数をＲＡＷ映像データｖＣｒａｗとともに出力コンテンツとすることができる。従って後の処理において、カメラ５０２で修正された色設定を再現できる。
【0235】
実施の形態では、カメラ５０２の制御部２５は、表示装置の形状、又は、ＬＥＤライト対応か否かに基づいて、第１の色変換処理と第２の色変換処理の一方を自動的に実行するか、又は、第１の色変換処理と第２の色変換処理の一方をユーザへ示唆する処理を行う例を挙げた。つまり図２５の処理では、ステップＳ１０１の照明判定に応じて、パラメータ設定を行う。或いはその変形例として述べたように、ユーザに色設定パラメータのレコメンドを行う。これにより再現性のよい色処理を求める場合においてユーザの負担を軽減できる。
【0236】
実施の形態のプログラムは、上述の図２９，図３１，図３３，図３５，図３６のような処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、情報処理装置７０に、カメラ５０２による映像データ（例えばＲＡＷ映像データｖＣｒａｗ）に対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、第１の照明とは異なる分光特性であって背景映像ｖＢを表示する表示装による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させるプログラムである。
即ち実施の形態のプログラムは、情報処理装置７０に、カメラ５０２による映像データ（例えばＲＡＷ映像データｖＣｒａｗ）に対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、第１の照明とは異なる分光特性であって背景映像ｖＢを表示する表示装による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させるプログラムである。
【0237】
このようなプログラムにより、例えばポストプロダクションＳＴ３において映像編集装置として機能する情報処理装置７０により、撮影映像ｖＣに関する色再現のための色変換処理を行うことができるようになる。特にライト５８０を照明とする場合と、ＬＥＤウォール５０５を照明とする場合とのそれぞれに対応して、撮影映像ｖＣの色再現を改善することができる。
【0238】
また実施の形態のプログラムは、情報処理装置７０に、第１の色設定パラメータと第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行させるプログラムでもある。
例えばＬＥＤウォール５０５とライト５８０の両方を用いた場合に対応して、ポストプロダクションＳＴ３の際などの情報処理装置７０によって、ＬＥＤウォール５０５用のパラメータＫＬｗ，ＴＴｗと、ライト５８０用のパラメータＫＬｌ，ＴＴｌを反映させた色変換処理を行い、撮影映像ｖＣの色再現を改善することができる。
例えばＬＥＤウォール５０５とライト５８０の両方を用いた場合に対応して、ポストプロダクションＳＴ３の際などの情報処理装置７０によって、ＬＥＤウォール５０５用のパラメータＫＬｗ，ＴＴｗと、ライト５８０用のパラメータＫＬｌ，ＴＴｌを反映させた色変換処理を行い、撮影映像ｖＣの色再現を改善することができる。
【0239】
実施の形態のプログラムは、カメラ５０２による撮影映像データとしてのＲＡＷ映像データｖＣｒａｗに対する現像処理を情報処理装置７０に実行させるソフトウェアであるとした。即ち、いわゆるＲＡＷ現像ソフトウェア９０としてのプログラムである。これによりＲＡＷ映像データｖＣｒａｗをポストプロダクションＳＴ３で処理する際に好適なプログラムが実現される。
【0240】
なお、ポストプロダクションＳＴ３で処理される撮影映像ｖＣは、上述のＲＡＷ映像データｖＣｒａｗに限られない。例えば現像処理後の撮影映像ｖＣに対して同様の処理を行うこともできる。
また例えばカメラ５０２のＷＢ部３２の処理後の映像データを、ＲＡＷ映像データｖＣｒａｗとして出力するようにし、そのようなＲＡＷ映像データｖＣｒａｗに対して同様の処理を行うことも考えられる。
また例えばカメラ５０２のＷＢ部３２の処理後の映像データを、ＲＡＷ映像データｖＣｒａｗとして出力するようにし、そのようなＲＡＷ映像データｖＣｒａｗに対して同様の処理を行うことも考えられる。
【0241】
実施の形態のプログラムは、情報処理装置７０が、第１の色設定パラメータと第２の色設定パラメータの少なくとも一方を修正し、修正された第１の色設定パラメータ又は修正された第２の色設定パラメータを、ＲＡＷ映像データｖＣｒａｗに関連づけさせる処理を行う例を挙げた（図３６参照）。
これにより、オペレータの修正を反映した色設定パラメータや処理係数をＲＡＷ映像データｖＣｒａｗとともに出力コンテンツとすることができる。これによりＲＡＷ現像ソフトウェア９０に基づいて情報処理装置７０で修正された色設定を、後の処理において再現できる。
これにより、オペレータの修正を反映した色設定パラメータや処理係数をＲＡＷ映像データｖＣｒａｗとともに出力コンテンツとすることができる。これによりＲＡＷ現像ソフトウェア９０に基づいて情報処理装置７０で修正された色設定を、後の処理において再現できる。
【0242】
実施の形態のプログラムは、情報処理装置７０に、カメラ５０２による映像データに関連づけられたメタデータである第１の色設定パラメータ、第２の色設定パラメータを色変換処理に適用させる例を挙げた。これにより図２８，図２９で説明したポストプロダクションＳＴ３の処理が実行される。
なお、第１の色設定パラメータ、第２の色設定パラメータのいずれか一方を色変換処理に適用させるものでもよい。
なお、第１の色設定パラメータ、第２の色設定パラメータのいずれか一方を色変換処理に適用させるものでもよい。
【0243】
また実施の形態のプログラムは、情報処理装置７０に、カメラ５０２による映像データに関連づけられたメタデータである、第１の色設定パラメータと第２の色設定パラメータの比率情報を色変換処理に適用させる例を挙げた。これにより図３０，図３１で説明したポストプロダクションＳＴ３の処理が実行される。
【0244】
また実施の形態のプログラムは、情報処理装置７０に、カメラ５０２による映像データに関連づけられたメタデータである、第１、第２の色設定パラメータに応じた色変換処理の処理係数（ホワイトバランス係数Ｋｗ、マトリクス係数Ｋｍ）を色変換処理に適用させる例を挙げた。これにより図３２，図３３で説明したポストプロダクションＳＴ３の処理が実行される。
なお、第１の色設定パラメータに応じた処理係数、第２の色設定パラメータに応じた処理係数のいずれか一方を色変換処理に適用させるものでもよい。
なお、第１の色設定パラメータに応じた処理係数、第２の色設定パラメータに応じた処理係数のいずれか一方を色変換処理に適用させるものでもよい。
【0245】
また実施の形態のプログラムは、情報処理装置７０に、ユーザ操作により指定された第１、第２の色設定パラメータに応じた色変換処理を実行させる例を挙げた。
例えばＲＡＷ映像データｖＣｒａｗに対して色変換処理に関するパラメータ等のメタデータの有無に関わらず、図２１のようなＵＩが情報処理装置７０においても提供されるようにすることで、図３４，図３５で説明したように、ユーザ操作に応じて色再現や色作りのための色変換処理が可能となる。
例えばＲＡＷ映像データｖＣｒａｗに対して色変換処理に関するパラメータ等のメタデータの有無に関わらず、図２１のようなＵＩが情報処理装置７０においても提供されるようにすることで、図３４，図３５で説明したように、ユーザ操作に応じて色再現や色作りのための色変換処理が可能となる。
【0246】
以上のような実施の形態のプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0247】
またこのようなプログラムによれば、実施の形態の情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０として機能させることができる。
【0248】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0249】
なお本技術は以下のような構成も採ることができる。
（１）
イメージセンサで得られた映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行可能に構成された信号処理部を備えた
撮像装置。
（２）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行可能に構成されている
上記（１）に記載の撮像装置。
（３）
前記信号処理部は、
比率情報に応じて、前記第３の色変換処理への前記第１の色設定パラメータと前記第２の色設定パラメータの反映度合いを設定する
上記（２）に記載の撮像装置。
（４）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を映像データに関連づける処理を行う
上記（２）又は（３）に記載の撮像装置。
（５）
前記信号処理部は、
前記第３の色変換処理における前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を映像データに関連づける処理を行う
上記（２）から（４）のいずれかに記載の撮像装置。
（６）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータに応じた色変換処理の処理係数を映像データに関連づける処理を行う
上記（２）又は（３）に記載の撮像装置。
（７）
前記信号処理部は、
色変換処理の１つとして、ホワイトバランス調整処理、又はマトリクス色変換処理、又は３ＤＬＵＴ変換処理を行う
上記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記第１の色設定パラメータ、前記第２の色設定パラメータを指示可能なユーザインタフェース部をさらに備え、
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータを用いて前記第１の色変換処理又は前記第２の色変換処理を実行可能に構成されている
上記（１）から（７）のいずれかに記載の撮像装置。
（９）
前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を指示可能なユーザインタフェース部をさらに備え、
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を用いて前記第３の色変換処理を実行可能に構成されている
上記（３）に記載の撮像装置。
（１０）
前記第１の色設定パラメータ及び前記第２の色設定パラメータは、色温度及びティント値を含む
上記（１）から（９）のいずれかに記載の撮像装置。
（１１）
前記映像データはＲＡＷ映像データである
上記（１）から（１０）のいずれかに記載の撮像装置。
（１２）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づける
上記（１１）に記載の撮像装置。
（１３）
前記表示装置の形状、又は、ＬＥＤライト対応か否かに基づいて、
前記第１の色変換処理と前記第２の色変換処理の一方を自動的に実行するか、又は、前記第１の色変換処理と前記第２の色変換処理の一方をユーザへ示唆する制御部をさらに有する
上記（１）から（１２）のいずれかに記載の撮像装置。
（１４）
情報処理装置に、
撮像装置による映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させる
プログラム。
（１５）
前記情報処理装置に、
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行させる
上記（１４）に記載のプログラム。
（１６）
前記映像データとしてのＲＡＷ映像データに対する現像処理を前記情報処理装置に実行させるソフトウェアである
上記（１４）又は（１５）に記載のプログラム。
（１７）
前記情報処理装置に、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づけさせる
上記（１６）に記載のプログラム。
（１８）
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータ、前記第２の色設定パラメータの少なくとも一方を色変換処理に適用させる
上記（１４）から（１７）のいずれかに記載のプログラム。
（１９）
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を色変換処理に適用させる
上記（１４）から（１８）のいずれかに記載のプログラム。
（２０）
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータに応じた色変換処理の処理係数と前記第２の色設定パラメータに応じた色変換処理の処理係数の少なくとも一方を色変換処理に適用させる
上記（１４）から（１７）のいずれかに記載のプログラム。
（１）
イメージセンサで得られた映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行可能に構成された信号処理部を備えた
撮像装置。
（２）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行可能に構成されている
上記（１）に記載の撮像装置。
（３）
前記信号処理部は、
比率情報に応じて、前記第３の色変換処理への前記第１の色設定パラメータと前記第２の色設定パラメータの反映度合いを設定する
上記（２）に記載の撮像装置。
（４）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を映像データに関連づける処理を行う
上記（２）又は（３）に記載の撮像装置。
（５）
前記信号処理部は、
前記第３の色変換処理における前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を映像データに関連づける処理を行う
上記（２）から（４）のいずれかに記載の撮像装置。
（６）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータに応じた色変換処理の処理係数を映像データに関連づける処理を行う
上記（２）又は（３）に記載の撮像装置。
（７）
前記信号処理部は、
色変換処理の１つとして、ホワイトバランス調整処理、又はマトリクス色変換処理、又は３ＤＬＵＴ変換処理を行う
上記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記第１の色設定パラメータ、前記第２の色設定パラメータを指示可能なユーザインタフェース部をさらに備え、
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータを用いて前記第１の色変換処理又は前記第２の色変換処理を実行可能に構成されている
上記（１）から（７）のいずれかに記載の撮像装置。
（９）
前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を指示可能なユーザインタフェース部をさらに備え、
前記信号処理部は、前記ユーザインタフェース部で指示された前記第１の色設定パラメータ、前記第２の色設定パラメータ、及び前記比率情報を用いて前記第３の色変換処理を実行可能に構成されている
上記（３）に記載の撮像装置。
（１０）
前記第１の色設定パラメータ及び前記第２の色設定パラメータは、色温度及びティント値を含む
上記（１）から（９）のいずれかに記載の撮像装置。
（１１）
前記映像データはＲＡＷ映像データである
上記（１）から（１０）のいずれかに記載の撮像装置。
（１２）
前記信号処理部は、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づける
上記（１１）に記載の撮像装置。
（１３）
前記表示装置の形状、又は、ＬＥＤライト対応か否かに基づいて、
前記第１の色変換処理と前記第２の色変換処理の一方を自動的に実行するか、又は、前記第１の色変換処理と前記第２の色変換処理の一方をユーザへ示唆する制御部をさらに有する
上記（１）から（１２）のいずれかに記載の撮像装置。
（１４）
情報処理装置に、
撮像装置による映像データに対して、第１の照明に対して設定された第１の色設定パラメータを用いて行う第１の色変換処理と、前記第１の照明とは異なる分光特性であって背景映像を表示する表示装置による第２の照明に対して設定された第２の色設定パラメータを用いて行う第２の色変換処理と、を実行させる
プログラム。
（１５）
前記情報処理装置に、
前記第１の色設定パラメータと前記第２の色設定パラメータとの両方を用いて行う第３の色変換処理を実行させる
上記（１４）に記載のプログラム。
（１６）
前記映像データとしてのＲＡＷ映像データに対する現像処理を前記情報処理装置に実行させるソフトウェアである
上記（１４）又は（１５）に記載のプログラム。
（１７）
前記情報処理装置に、
前記第１の色設定パラメータと前記第２の色設定パラメータの少なくとも一方を修正し、修正された前記第１の色設定パラメータ又は修正された前記第２の色設定パラメータを、前記ＲＡＷ映像データに関連づけさせる
上記（１６）に記載のプログラム。
（１８）
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータ、前記第２の色設定パラメータの少なくとも一方を色変換処理に適用させる
上記（１４）から（１７）のいずれかに記載のプログラム。
（１９）
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータと前記第２の色設定パラメータの比率情報を色変換処理に適用させる
上記（１４）から（１８）のいずれかに記載のプログラム。
（２０）
前記情報処理装置に、
前記撮像装置による映像データに関連づけられたメタデータである前記第１の色設定パラメータに応じた色変換処理の処理係数と前記第２の色設定パラメータに応じた色変換処理の処理係数の少なくとも一方を色変換処理に適用させる
上記（１４）から（１７）のいずれかに記載のプログラム。
【符号の説明】
【0250】
２１ イメージセンサ
２２ ＵＩ部
２３ 通信部
２４ 記録制御部
２５ 制御部
２６ メモリ部
２７ 表示部
３０ 信号処理部
３１ センサ信号処理部
３２ ホワイトバランス処理部（ＷＢ処理部）
３３ 色分離部
３４ マトリクス処理部
３５ 現像処理部
４１，４１ａ，４１ｂ 係数設定部
４２，４３，４４ 乗算器
４５ 係数設定部
４６ マトリクス係数処理部
４７，４８ ブレンド係数設定部
５０ ＧＵＩ表示
５１ 色温度操作子
５２ 色温度操作子
５３ ティント操作子
５４ ティント操作子
５５ ミックス比操作子
７０ 情報処理装置、
７１ ＣＰＵ
９０ ＲＡＷ現像ソフトウェア
９２ ホワイトバランス処理部（ＷＢ処理部）
９４ マトリクス処理部
５０２ カメラ
５０５ ＬＥＤウォール
５８０ ライト
２２ ＵＩ部
２３ 通信部
２４ 記録制御部
２５ 制御部
２６ メモリ部
２７ 表示部
３０ 信号処理部
３１ センサ信号処理部
３２ ホワイトバランス処理部（ＷＢ処理部）
３３ 色分離部
３４ マトリクス処理部
３５ 現像処理部
４１，４１ａ，４１ｂ 係数設定部
４２，４３，４４ 乗算器
４５ 係数設定部
４６ マトリクス係数処理部
４７，４８ ブレンド係数設定部
５０ ＧＵＩ表示
５１ 色温度操作子
５２ 色温度操作子
５３ ティント操作子
５４ ティント操作子
５５ ミックス比操作子
７０ 情報処理装置、
７１ ＣＰＵ
９０ ＲＡＷ現像ソフトウェア
９２ ホワイトバランス処理部（ＷＢ処理部）
９４ マトリクス処理部
５０２ カメラ
５０５ ＬＥＤウォール
５８０ ライト
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】