(58)【調査した分野】(Int.Cl.,DB名)
カメラの機種特性の除去、色調整を含む最終出力デバイスに対応した入力共通色空間から出力共通色空間への色変換、および確認用表示デバイスの機種特性に応じた色変換からなる映像データの色処理を行い、前記確認用表示デバイスによって撮影現場での色処理後の映像を確認可能な映像変換装置と、カメラによって撮影された生の映像データから上映用の最終映像データを制作する編集システムの映像編集機器とに接続されるルックアップテーブル生成サーバであって、
前記色処理された映像データの前記色処理の情報を記載した色処理パラメータと、前記映像編集機器の出力色空間の情報とを受信するデータ受信部と、
前記データ受信部により受信された前記色処理パラメータと、前記映像編集機器の出力色空間の情報とに基づいて色変換ルックアップテーブルを生成する色変換ルックアップテーブル生成部と、
前記色変換ルックアップテーブルを前記映像編集機器に送信するデータ送信部とを備え、
前記色変換ルックアップテーブル生成部は、前記生の映像データに適用することで、前記映像編集機器において前記色処理後の映像を再現する色変換ルックアップテーブルを生成することを特徴とするルックアップテーブル生成サーバ。
前記色処理パラメータは、撮影するシーン毎に変更されたものであり、シーン番号またはシーンに対応した前記カメラのタイムコードと対応付けられたものであることを特徴とする請求項1に記載のルックアップテーブル生成サーバ。
前記静止画像データは、色変換前の静止画像データと前記色変換ルックアップテーブルに基づく色変換後の静止画像データとを含むことを特徴とする請求項3に記載のルックアップテーブル生成サーバ。
カメラで撮影されたカメラ映像データから映写用画像を作成する映画システムで、前記カメラによる撮影が行われる撮影システムに用いられる、映像変換システムであって、
前記映像変換システムは、主映像変換装置と、前記主映像変換装置と相互に接続される少なくとも1つの副映像変換装置と、前記主映像変換装置および前記副映像変換装置の少なくとも一方に接続されるコントローラとからなり、
前記コントローラには、映像の最終出力となる最終出力デバイスの色を事前に異なる表示デバイスで確認させるための確認用表示デバイスの色空間に応じて設定される色再現情報が入力され、
前記副映像変換装置は、
前記カメラ映像データおよび前記カメラの機種情報および撮影設定情報をそれぞれ取得し、前記コントローラにおいて入力された前記確認用表示デバイスの色再現情報を取得する情報取得部と、
前記情報取得部が取得した前記カメラ映像データ、前記カメラの機種情報および撮影設定情報、ならびに前記確認用表示デバイスの色再現情報を前記主映像変換装置へ出力して、前記主映像変換装置からこれらに対応した色変換ルックアップテーブルを取得する副データ送受信部と、
前記副データ送受信部が取得した前記色変換ルックアップテーブルに基づいて前記カメラ映像データを前記確認用表示デバイスの色空間に変換して前記確認用表示デバイスの色空間の映像データを求めるルックアップテーブル変換部とを備え、
前記主映像変換装置は、
前記副映像変換装置から前記カメラ映像データ、前記カメラの機種情報および撮影設定情報、ならびに前記確認用表示デバイスの色再現情報を取得し、これらに対応した前記色変換ルックアップテーブルを前記副映像変換装置へ出力する主データ送受信部と、
前記主データ送受信部が取得した前記カメラ映像データ、前記カメラの機種情報および撮影設定情報、ならびに前記確認用表示デバイスの色再現情報からこれらに対応した前記色変換ルックアップテーブルを生成し、前記主データ送受信部へ出力する色変換ルックアップテーブル生成部とを備え、
前記副映像変換装置の前記ルックアップテーブル変換部は、前記主映像変換装置の前記色変換ルックアップテーブル生成部において生成された前記色変換ルックアップテーブルを用いて前記カメラ映像データを前記確認用表示デバイスの色空間の映像データに変換することを特徴とする映像変換システム。
前記確認用表示デバイスの色再現情報は、前記確認用表示デバイスをキャリブレーションすることで算出される請求項7〜11のいずれか一項に記載の映像変換システム。
前記最終出力デバイスは、複数台の前記カメラで撮影された複数種類の前記カメラ映像データから前記映写用画像を作成する前記映画システムで前記映写用画像を上映するための映写機であり、
前記映像変換システムは、複数台の前記カメラに、または前記複数台の前記カメラのそれぞれに対応して接続され、また、複数台の前記確認用表示デバイスに、または前記複数台の前記確認用表示デバイスのそれぞれに対応して接続されるものであり、
前記確認用表示デバイスは、前記映画システムの撮影側で、前記最終出力デバイスの色を確認させるためのものである請求項7〜12のいずれか一項に記載の映像変換システム。
前記カメラは、被写体を撮影して前記カメラ映像データを取得するデジタルビデオカメラまたはデジタルカメラである請求項7〜13のいずれか一項に記載の映像変換システム。
前記出力の標準の色空間は、10000:1以上のダイナミックレンジを有する理想的な出力デバイスを想定した出力色空間、標準出力デバイスを想定した出力色空間、または映画システムの映写機で上映される映写用フィルムのプレビューを想定した出力色空間である請求項9または10に記載の映像変換システム。
【背景技術】
【0002】
従来から、映画システムでは、映写機による映画の上映のために、例えば、フィルムプロジェクタに用いられる上映用ポジフィルム(上映用配給フィルム)や、デジタルプロジェクタに用いられる上映用映像データを記録した上映用ハードディスク(可搬式上映用ハードディスク)等の記録媒体が作製されている。
【0003】
このような上映用ポジフィルムや上映用ハードディスクを作製する映画制作ワークフローにおいては、撮影監督の下で、撮影・現像済み映画撮影用ネガフィルムをテレシネ装置等の画像入力装置で読み取ってデジタル処理したデジタル映像データ、映画用デジタル撮像カメラで撮影したデジタル映像データ、コンピュータ等により作成されたコンピュータグラフィックス(CG)等のデジタル映像データを取得し、撮影後の後工程である編集工程(ポストプロダクション:Post Production)で、取得されたデジタル映像データに対してデジタル映像加工・編集・色補正を行い、また、視聴覚を加えて、編集加工後の映像データ、すなわち、映像ソースデータを作成し、これを中間ネガを経由して上映用ポジフィルムに出力し、フィルムプロジェクタで投影し、または出力用データに変換し、上映用ハードディスク等に出力し、もしくは直接配信してデジタルプロジェクタで投影している。
【0004】
撮影後の編集工程である映像制作の後工程(ポストプロダクション)は、撮影監督や、制作者(プロデューサ)や、カラリスト等の多数の人や、様々な会社の協働作業となるのが一般的であり、各人間、各社間のデータのやりとり、各人間、各社間にまたがる工程全体の設計が必要である。
しかしながら、データフォーマットや画像変換ワークフローには標準が無いため、フォーマット変換や色空間の変換等の付帯作業が必要であり、作業の煩雑化、画像品質の低下、作業工数の増大を招いていた。
【0005】
このため、映像制作の後工程のポストプロダクションにおける色調整の規格化が、映画アカデミー(The Academy of Motion Picture Arts and Sciences:以下、AMPASと略称する)において図られている。
図7に、AMPASが提唱するデジタル映画制作ワークフロー規格AMPAS−IIFの色変換アーキテクチャの一例を示す。
図7に示すAMPAS−IIFの色変換アーキテクチャは、基本的に、入力色空間ACES(Academy Color Encoding Specification)100および出力色空間OCES(Output Color Encoding Specification)102の2つの共通色空間と、両者間を対応つける共通変換RRT(Reference Rendering Transform)104および入出力デバイスと共通空間を変換する入力デバイス変換IDT(Input Device Transform)106/出力デバイス変換ODT(Output Device Transform)108とによりデジタル映像データ変換が定義されている。
【0006】
IDT106は、デジタルカメラ110の撮影映像データ(デジタルカメラの色空間)を入力の共通色空間であるACES100に変換するものであり、ODT108は、出力の共通色空間であるOCES102からデジタルプロジェクタ112の出力映像データ(デジタルプロジェクタの色空間)に変換するものである。
即ち、デジタル映像データ変換系では、デジタルカメラ110の撮影映像データがIDT106によってACES100に変換され、又コンピュータグラフィックス(CG)114の映像データも直接ACES100に変換され、ACES100で色調整等の編集加工が行われた後、RRT104によってOCES102に変換され、OCES102からRDT/ODT108によってデジタルプロジェクタ112の出力映像データに変換される。
【0007】
さらに、標準ネガフィルム濃度APD(AMPAS Printing Density)116とそれをコード化したADX118を定義し、入力色空間ACES100との固定変換(Universal Build)とその逆変換(Universal Unbuild)からなるUB変換/逆変換120を設定し、デジタル画像データ変換系とコンベンショナルな銀塩フィルム系を対応付けている。
この銀塩フィルム系では、フィルムカメラで撮影されたフィルムからフィルムスキャナ122によって読み取られた画像濃度データは、標準ネガフィルム濃度APD116の濃度データに変換され、さらに、ADXコード118に変換された後、UB変換120によってACES100に変換され、ACES100で色調整等の編集加工が行われ、ACES100から、逆変換120によって再びADXコード118に変換され、フィルムレコーダ124によってインターネガ126が作成され、光学プリント128によって映画用ポジフィルムが作成され、フィルムプロジェクタ130に供される。
【0008】
ここで、ACES100は、シーン基準の色空間として定義され、シーン自身を測色計で測定したCIEの3刺激値XYZを線形変換した値を持ち、
図8に示すように、全てのスペクトル軌跡をカバーするRGB3原色の色度が定められ、16ビット(bit float)でエンコーディングされる。即ち、ACES100で記述できる画像データの色範囲とダイナミックレンジは無制限と言える。また、ACES100の基準白色は、D60とされている。
このように、広大な色空間であるACES100は、フィルムカメラおよびデジタルカメラで撮影された画像とCG画像とを、原画マスターとして保管するための共通色空間でもあり、色調整も、ACES空間で行われる。
一方、OCES102は、1,000,000:1以上のダイナミックレンジを有する理想的なディスプレイデバイスを想定した出力色空間であり、RRT変換104を介してACES色空間100と1対1で対応付けられている。OCES102は、AMPASIIFの内部色空間として位置付けられ、一般ユーザがOCES画像データを直接ハンドリングすることは想定されていない。
【0009】
このように、AMPAS-IIFは、映像制作のポストプロダクションに標準を与えるものであり、様々な映像ソースを色調整の標準作業色空間(シーン基準の色空間:ACES)に変換する仕組み、ACESから映画上映やTV放映向きの観賞用映像を理想的な出力デバイスの色空間(OCES)への変換する仕組み、OCESから実在する表示デバイスへ色変換する仕組みを提供するので、撮影後の編集工程における煩雑な画像変換、色調整作業を効率化することができる。
このように、ポストプロダクションでは、この標準ワークフローに従うことで、標準データフォーマット、かつ標準色空間で作業を行うことができ、画像交換における付帯作業が解消され、色調整作業の効率化、画像品質の向上、および工数削減の効果を上げることができる。
【0010】
しかしながら、映像撮影には、様々なメーカ、機種のデジタルカメラが使用され、撮影された映像の確認用モニタも、様々なメーカ、機種のものが使用され、確認用モニタに表示させる信号の色空間も様々である。そのため、撮影現場での映像確認において色を厳密に評価することができず、映像の色調整は、映像制作の後工程であるポストプロダクションで行われている。このポストプロダクションでの映像の色調整は、AMPAS−IIFの色変換アーキテクチャを用いることにより、色調整作業の効率化、画像品質の向上、および工数削減を図ることはできるが、映像制作において、撮影した色を決める決定権を持っているのは撮影現場の撮影監督であるので、現在、撮影後、現場で撮影を指揮した撮影監督がポストプロダクションの現場に赴いて、シーン毎の撮影意図に応じた色再現調整を、ポストプロダクションにいる色調整の専門家であるカラリストと一緒に同席して撮影映像を見ながら、様々なシーンやカットやフレームに必要な色調整を行う作業を行っている。
この色調整作業は、通常、試行錯誤の後、完了する工程であるため、全部の映像を見なくてはならないし、色調整をするカットやフレームを何回も繰り返して見ることになるので、非常に長い時間が掛かる作業になっているという問題があり、また、人件費の高い撮影監督やカラリストによる作業のため、映画制作のコストを引き上げる結果となっているという問題を招いていた。
【0011】
特許文献1は、映像制作、即ち映画やTV番組の制作において、撮影監督による撮影現場での色調整を可能にし、複数台のカメラを使用して撮影される映像データを、複数台のモニタで映像確認を行いながら色の調整を行う際に、複数台のカメラで撮影されたそれぞれの映像データに対して撮影シーンに対して忠実な色変換を行うことができ、また、複数台のカメラ間の色のマッチングを高精度に実現することができ、それによって映像制作工程を更に効率化することができるとともに、コストダウンを図ることができ、映像の品質を向上させることができる映像変換装置、これを用いる映画システムの撮影システム等を提供することで、上記の問題点を解消している。
【発明を実施するための形態】
【0035】
本発明に係る映像変換システム、撮影システムおよびルックアップテーブル生成サーバを、添付の図面に示す好適態様の好適実施形態に基づいて以下に詳細に説明する。
【0036】
図1は、映画の撮影・編集システムの構成の一例を模式的に示すブロック図である。
図1の映画の撮影・編集システムは、本発明の実施の形態1〜4に係る映像変換システム1A、1B、これらを用いる本発明の好適態様に係る撮影システム(プロダクション、撮影現場)2、および編集システム(ポストプロダクション、編集工程)3において利用される本発明の実施の形態5に係るルックアップテーブル生成サーバ(以下、LUT生成サーバ)4を備える。
【0037】
図1に示すように、本発明の好適態様に係る撮影システム2は、撮影のためのカメラA11と、カメラA11に接続された副映像変換装置A12と、副映像変換装置A12に接続されたモニタ(確認用表示デバイス)A13と、同じく、撮影のためのカメラB21と、カメラB21に接続された副映像変換装置B22と、副映像変換装置B22に接続されたモニタB23と、同様に、撮影のためのカメラC31と、カメラC31に接続された主映像変換装置32と、主映像変換装置32に接続されたモニタC33とを備え、主映像変換装置32には、副映像変換装置C42と副映像変換装置D52とが接続され、副映像変換装置C42にはモニタD43が、副映像変換装置D52にはモニタE53がそれぞれ接続される。さらに、カメラA11〜C31には、撮影映像記憶装置70が接続され、主映像変換装置32には、編集加工映像記憶装置71と携帯記憶装置72とが接続される。
また、副映像変換装置A12、副映像変換装置B22、および主映像変換装置32とこれらに接続されたルータ61およびネットワーク62とからなる映像変換システム1Aおよび主映像変換装置32とそれにそれぞれ接続された副映像変換装置E42および副映像変換装置D52とからなる映像変換システム1Bには、コントローラ81が接続される。
また、撮影システム2と編集システム3とは、主映像変換装置32、撮影映像記憶装置70、編集情報データ生成装置72、またはLUT生成サーバ4を介した携帯記憶装置72を通じて接続される。
【0038】
主映像変換装置32は、ルータ61およびネットワーク62を介して副映像変換装置A12、B22と相互に接続され、また、副映像変換装置C42、D52と直接接続され、また、コントローラ81が接続され、本発明の実施の形態1〜4に係る映像変換システム1A、1Bを構成する。
【0039】
カメラA11、B21、C31は、被写体を撮影してカメラ映像データ(生の映像データ)を取得するためのものである。
このようなカメラとしては、カメラ映像データが取得できればどのようなカメラでもよいが、デジタル映像データが取得できるデジタルビデオカメラまたはデジタルカメラであるのが好ましい。なお、図示例の撮影システム2では3台のカメラを備えるが、4台以上のカメラを備えていてもよい。
本発明で用いられるカメラは、異なるメーカや異なる機種であってもよく、異なるメーカや異なる機種であると本発明はより高い効果を発揮する。
カメラA11〜C31には、撮影映像記憶装置70が接続され、カメラA11〜C31で撮影されたカメラ映像データが記憶される。
【0040】
副映像変換装置A12、B22は、主映像変換装置32とともに本発明の実施の形態1に係る映像変換システム1Aの一部を構成し、副映像変換装置A12、B22はカメラA11、B21に対して1対1(1:1)対応でそれぞれ接続され、また、副映像変換装置A12、B22に対して、モニタA13、B23が1対1(1:1)対応でそれぞれ接続される。
副映像変換装置A12、B22は、カメラA11、B21からのそれぞれのカメラ映像データをモニタA13、B23の表示色空間に合わせてそれぞれ変換し、映像の最終出力となる最終出力デバイス、例えば、デジタルプロジェクタやフィルムプロジェクタで用いる上映ポジフィルムの色空間へ変換した際に得られる、上映システムのデジタルプロジェクタやフィルムプロジェクタ等の映写機で再現される色、上映される映像の色を事前に映写機とは異なる表示デバイスであるモニタA13、B23でそれぞれ確認させるようにするためのものである。
【0041】
主映像変換装置32は、副映像変換装置A12、B22とともに本発明の実施の形態1に係る映像変換システム1Aの一部を構成し、また、副映像変換装置C42、D52とともに本発明の実施の形態1に係る映像変換システム1Bの一部を構成する。
主映像変換装置32は、副映像変換装置A12、B22と同様に、カメラC31に接続され、また、主映像変換装置32には、副映像変換装置A12、B22と同様にモニタC33が接続される。
主映像変換装置32は、副映像変換装置A12、B22と同様に、カメラC31からのカメラ映像データをモニタC33に合わせて変換し、映像の最終出力となる最終出力デバイス、例えば、デジタルプロジェクタやフィルムプロジェクタで用いる上映ポジフィルムの色空間へ変換した際に得られる、上映システムのデジタルプロジェクタやフィルムプロジェクタ等の映写機で再現される色、上映される映像の色を事前に映写機とは異なる表示デバイスであるモニタC33で確認させるようにするためのものである。
【0042】
また、主映像変換装置32は、ルータ61およびネットワーク62を通じて副映像変換装置A12、B22と相互に接続し、本発明の実施の形態1に係る映像変換システム1Aを構成する。主映像変換装置32は、ルータ61およびネットワーク62を介して接続された副映像変換装置A12、B22から、カメラA11、B21のそれぞれの機種情報および撮影設定情報を取得するとともに、カメラA11、B21で撮影されたそれぞれのカメラ映像データを取得し、また、モニタキャリブレーションによって得られたモニタA13、B23のそれぞれの表示色空間に対応した色再現情報に基づいて、モニタA13、B23のそれぞれにおいて、最終出力デバイスで表示される映像の色を確認できるように、副映像変換装置A12、B22のそれぞれに対応した色変換ルックアップテーブル(色変換LUT)を作成し、ルータ61およびネットワーク62を通じて副映像変換装置A12、B12のそれぞれへこれら色変換LUTを出力する。
【0043】
なお、ここでカメラの機種情報とは、文字通りカメラの製造メーカや種類等の機種情報を示し、カメラの撮影設定情報とは撮影シーン毎(映像データのタイムコードまたはファイル名等に紐付けされる)のカメラのホワイトバランス設定や、階調、色再現モード設定等を指す。また、これらカメラの機種情報および撮影設定情報は、カメラ映像データに含まれるメタデータから取得されてもよく、また、撮影監督等のユーザによってコントローラ81から入力されてもよい。
また、モニタの色再現情報とは、モニタ毎にキャリブレーションを行って得られるモニタの表示色空間の情報であり、撮影監督等のユーザによってコントローラ81から入力される。
【0044】
また、主映像変換装置32は、例えば、カメラC31の機種情報および撮影設定情報とカメラC31で撮影されたカメラ映像データとを取得し、副映像変換装置C42、D52にそれぞれ接続されたモニタD43、E53のそれぞれの表示色空間に対応した色再現情報に基づいて、モニタD43、E53のそれぞれにおいて、最終出力デバイスで表示される映像の色を確認できるように、これらに基づいて副映像変換装置C42、D52のそれぞれに対応した色変換LUTを作成し、副映像変換装置C42、D52のそれぞれへこれら色変換LUTを出力する。
【0045】
また、主映像変換装置32は、モニタA13〜モニタE53において確認され、色調整のなされた映像データを、ユーザの指示に基づいて時間軸上で編集加工し、撮影シーンに対応したシーン番号やシーンに対応したカメラのタイムコードなどの編集加工の内容を記載した編集情報ファイル(XML(Extensible Markup Language)ファイルやEDL(Edit Decision List)ファイル等)を作成する。
【0046】
副映像変換装置C42、D52は、それぞれ主映像変換装置32に接続して主映像変換装置32とともに本発明の実施の形態1に係る映像変換システム1Bの一部を構成し、また、副映像変換装置C42、D52に対して、モニタD43、E53が1対1(1:1)対応でそれぞれ接続される。
副映像変換装置C42、D52は、カメラC31から出力され、主映像変換部32において色調整され、映像の出力の標準色空間へ変換された映像データをモニタD43、E53に合わせてそれぞれ変換し、映像の最終出力となる最終出力デバイス、例えば、デジタルプロジェクタやフィルムプロジェクタで用いる上映ポジフィルムの色空間へ変換した際に得られる、上映システムのデジタルプロジェクタやフィルムプロジェクタ等の映写機で再現される色、上映される映像の色を事前に映写機とは異なる表示デバイスであるモニタD43、E53でそれぞれ確認させるようにするためのものである。
【0047】
モニタA13、B23は、副映像変換装置A12、B22にそれぞれ1対1(1:1)対応で設けられるもので、副映像変換装置A12、B22による(実際には、主映像変換装置32による)色調整の結果をそれぞれ表示するための表示デバイスであって、撮影監督等が撮影後直ちに映写機で上映される映像の色を撮影現場で確認するためのモニタであり、撮影現場において映像の色調整を行った場合には、直ちに色調整された映像の色を確認するためのモニタである。
また、モニタC33は、主映像変換装置32に1対1対応で設けられるもので、また、モニタD43、E53は、主映像変換装置32にそれぞれ接続された副映像変換装置C42、D52にそれぞれ1対1対応で設けられるもので、上述の副映像変換装置A12、B22と同様、色調整の結果をそれぞれ表示するための表示デバイスであって、撮影監督等が撮影後直ちに映写機で上映される映像の色を撮影現場で確認するためのモニタであり、撮影現場において映像の色調整を行った場合には、直ちに色調整された映像の色を確認するためのモニタである。
例えば、副映像変換装置および主映像変換装置を含め5台以上の映像変換装置を備えている場合には、副映像変換装置および主映像変換装置それぞれに対応して5台以上のモニタを備えるのがよい。
また、本発明で用いられるモニタは、上映システムの映写機で上映される映像の色を再現し、表示できれば特に制限はなく、従来公知の表示デバイスを用いることができる。なお、本発明で用いられるモニタは、上述のカメラと同様に、異なるメーカや異なる機種であってもよく、その場合には、本発明は、より高い効果を発揮することができる。
【0048】
ルータ61およびネットワーク62は、副映像変換装置A12、B22、および主映像変換装置32を相互に接続し、本発明の実施の形態1に係る映像変換システム1Aの一部を構成する。
ルータ61は、ネットワーク62の中継器であり、ネットワーク62によって接続された副映像変換装置A12、B22、および主映像変換装置32間のデータの送受信を中継する。また、ネットワーク62は、撮影現場のみで利用されるイントラネットであり、例えば、ツイストペアケーブルや光ファイバ等によって構成され、各種端末器およびルータから送受信されるデータを伝達する。
ルータ61およびネットワーク62を通じて、副映像変換装置A12、B22から主映像変換装置32へカメラの機種情報および撮影設定情報、カメラ映像データおよびモニタの表示色空間に対応した色再現情報が出力され、また、主映像変換装置32から副映像変換装置A12、B22へ色変換LUTが出力される。
【0049】
撮影映像記憶装置70は、カメラA11、B21、C31で撮影して得られた生の映像データであるカメラ映像データ自体を記憶するものであり、ハードディスクドライブ(HDD)やメモリ等によって構成される。
また、編集映像記憶装置71は、主映像変換装置32において、色調整され、映像の出力の標準色空間へ変換された映像データ(または、モニタA13〜モニタE53で確認された表示確認用の映像データ)、撮影シーン毎のカメラの機種情報、撮影設定情報および後述する色調整パラメータなどの色処理の情報(後述する色処理パラメータ)、モニタの機種情報、モニタの表示色空間に対応した色再現情報、および主映像変換装置32において編集加工された映像データの撮影シーン毎に対応したシーン番号やシーンに対応したカメラのタイムコードなどの編集加工の内容を記載した編集情報ファイル(XMLファイルやEDLファイルなど)等を記憶するものであり、上述の撮影映像記憶装置70と同様に、HDDやメモリ等によって構成される。
また、携帯記憶装置72は、主映像変換装置32から出力された撮影シーン毎のカメラの機種情報、撮影設定情報および後述する色調整パラメータなどの色処理の情報、モニタの機種情報、モニタの表示色空間に対応した色再現情報、および編集情報ファイルを記憶するものであり、ポータブルのHDDや、USBメモリ等によって構成され、撮影システム2から切り離して、持ち運びが可能なものである。
【0050】
コントローラ81は、映像変換システム1A、1Bに接続され、映像変換システム1Aを構成する副映像変換装置A12、B22、および主映像変換装置32、ならびに映像変換システム1Bを構成する主映像変換装置32、副映像変換装置C42、D52をそれぞれ操作するもので、本発明の映像変換システム1A、1Bの一部を構成する。
図1では、コントローラ81は映像変換システム1Aに接続されているが、実際は、例えば、副映像変換システムA12に接続されてもよく、副映像変換システムB22に接続されてもよく、主映像変換装置32に接続されてもよく、また、ルータ61およびネットワーク62を介して映像変換システム1A全体に接続されてもよい。同様に、コントローラ81は、映像変換システム1Bの副映像変換システムC42、D52に接続されてもよい。また、コントローラ81は、有線接続されていてもよく、また、無線接続されていてもよい。
【0051】
コントローラ81は、撮影監督等がカメラA11を用いて撮影後、モニタA13に表示された撮影映像の再現色を確認しながら、色調整する際に、色調整のための色調整パラメータを入力するとともに、色調整された映像、および/またはその解析、特に映像の色の解析の結果をモニタA13に表示し、色調整された映像の各画素、もしくは映像の色調整の結果、少なくとも選択部分の解析結果が、最終出力デバイスであるデジタルプロジェクタの色空間から外れる場合などには、警告を表示したり、警報を発したりするためのものである。
コントローラ81は、映像変換システム1A、1Bを制御できれば、どのようなものでもよく、例えば、ルータ61およびネットワーク62を介して接続されるパソコン(PC)、例えば、ノート型PCや、デスクトップ型PCや、iPad(商品名)等のタブレット型PC等を用いることができる。
【0052】
コントローラ81は、映像変換システム1A、1Bに対してモニタA13、B23、C33、D43、E53で表示されるモニタ映像の色調整を行うもので、コントローラ81において、モニタキャリブレーションによって予め得られたモニタA13、B23、C33、D43、E53それぞれの表示色空間に対応した色再現情報を入力し、また、色調整パラメータの変更を入力することで、これらモニタA13〜E53に表示されたモニタ映像の色調整をリアルタイム行うことができる。コントローラ81は、色調整を行うモニタ自体を指定して、指定のモニタに表示のモニタ映像のみ色調整を行うこともでき、また、指定のモニタに表示のモニタ映像の色調整の結果を確認したうえで、この色調整の結果が全てのモニタA13〜E53に反映されるように映像変換システム1A、1Bを操作することもできる。
【0053】
編集システム3に接続するLUT生成サーバ4は、撮影システム2から切り離されていてもよく、例えば、撮影終了後、携帯記憶装置72から撮影シーン毎のカメラの機種情報、撮影設定情報および後述する色調整パラメータを取得し、編集システム3の各種編集機器に応じて編集システム3において使用される色変換LUTを生成、出力する。
編集システム3は、LUT生成サーバ4から色変換LUTを取得し、撮影映像記憶装置70から予め取得したカメラ映像データを色変換LUTに基づいて色変換することで、撮影現場でなされた最終出力デバイスの映像の色再現を行うことができる。
【0054】
次に、本発明の好適態様に係る撮影システム2を含む映画の撮影・編集システムの動作を簡単に説明する。なお、映像変換システムおよびLUT生成サーバの動作については各実施の形態において詳述する。
カメラA11〜カメラC31で撮影されたカメラ映像データ(生の映像データ)は、撮影映像記憶装置70に出力され、映像変換システム1A、1Bへ出力される。映像変換システム1A、1Bは、ユーザによる撮影現場での色調整を可能とし、モニタA13〜E53において、最終出力デバイスでの映像の色再現を行い、カメラの機種情報および撮影設定情報、ユーザによる色調整の情報である色調整パラメータを出力し、また、映像データの編集加工等を行って、編集情報ファイル(XMLファイルやEDLファイル等)を出力する。
【0055】
カメラの機種情報および撮影設定情報、ユーザによる色調整の情報である色調整パラメータは、例えば、携帯記憶装置72によってLUT生成サーバ4に出力され、LUT生成サーバ4において、編集システム3の映像編集機器の色空間の情報を元に、色変換LUTが生成され、編集システム3の対応する映像編集機器に出力される。撮影システム2の撮影映像記憶装置70からのカメラ映像データを色変換LUTで色変換することで、映像編集機器において、撮影現場でなされた最終出力デバイスの映像の色再現を行うことができる。
【0056】
なお、カメラの機種情報および撮影設定情報、ユーザによる色調整の情報である色調整パラメータ等は、携帯記憶装置72を介さず、映像変換システム1A、1BからLUT生成サーバへ直接出力されてもよい。
また、映像変換システム1A、1Bは、上述の色調整パラメータ等に対応した色変換後の静止画像または色変換前の静止画像および色変換後の静止画像を静止画像データとして色調整パラメータ等とともに記憶し、上述の色調整パラメータ等とともに外部に出力してもよく、また、撮影または色調整の際のユーザにコメントを入力させ、入力させたコメントを上述の色調整パラメータ等とともに記憶し、上述の色調整パラメータ等とともに外部に出力してもよい。
【0057】
実施の形態1
図2は、本発明の実施の形態1に係る映像変換システム1Aの構成の一部を示すブロック図である。実施の形態1に係る映像変換システム1Aは、副映像変換装置A12と主映像変換装置32とからなる。
副映像変換装置A12は、カメラA11に接続され、また、副映像変換装置A12には、モニタA13が接続されている。
副映像変換装置A12は、副本体制御部14、ルックアップテーブル変換部(以下、LUT変換部)15、LUTメモリ16、および副データ送受信部17からなり、カメラA11は、副映像変換装置A12のLUT変換部15に接続され、また、LUT変換部15には、モニタA13が接続される。なお、副本体制御部14は、本発明の接続情報取得部を兼ねる。
【0058】
副本体制御部14は、カメラA11およびモニタA13にそれぞれ接続され、また、LUT変換部15に接続するとともに、副データ送受信部17に相互に接続され、副映像変換装置A12の動作を制御する。副本体制御部14は、カメラA11の機種情報および撮影設定情報や、カメラA11で撮影されたカメラ映像データをそれぞれ取得し、また、コントローラ81よりモニタA13の色再現情報を取得して、副データ送受信部17に出力するとともに、副データ送受信部から色変換LUTを取得し、LUT変換部15へ出力する。
また、副本体制御部14には、コントローラ81が接続され、副本体制御部14は、コントローラ81によって撮影監督等により入力された色調整パラメータを取得し、副データ送受信部17を通じて、色調整パラメータをルータ61およびネットワーク62を介して主映像変換装置32へ出力するとともに、色調整パラメータに基づいて主映像変換装置32のLUT生成部35で再度生成された色変換LUTを上述と同様に取得し、LUT変換部15へ出力する。
【0059】
LUT変換部15は、色変換LUTを記憶するLUTメモリ16を備え、副本体制御部14の指示により、この色変換LUTによってカメラA11から取得したカメラ映像データを色変換し、モニタA13へ出力する。また、LUT変換部15は、副本体制御部14から色変換LUTを取得し、副本体制御部14の指示により、LUTメモリ16に記憶された色変換LUTを書き換える。
LUTメモリ16は、LUT変換部15内に設置され、色変換LUTを記憶し、LUT変換部15によるカメラ映像データの色変換の際に色変換LUTを提供し、また、LUT変換部15により色変換LUTが書き換えられる。
【0060】
副データ送受信部17は、ルータ61およびネットワーク62を介して主映像変換装置32の主データ送受信部37と相互に接続し、副本体制御部14の指示により、副本体制御部14から取得したカメラA11の機種情報および撮影設定情報、カメラ映像データ、ならびにモニタA13の色再現情報を主映像変換装置32の主データ送受信部37へ出力し、また、主映像変換装置32の主データ送受信部37からこれらカメラA11およびモニタA13に対応した色変換LUTを取得する。
【0061】
主映像変換装置32は、基本的に、映画システムのポストプロダクションで用いられる
図7に示すAMPAS-IIFの色変換アーキテクチャを、撮影システム2に適用可能にしたもので、主映像変換装置32は、相互に接続される主本体制御部34、ルックアップテーブル生成部(以下、LUT生成部)35、および主データ送受信部37からなり、カメラC31は、主映像変換装置32のLUT生成部35に接続され、また、LUT生成部35には、モニタC33が接続される。
また、主本体制御部34は、LUT生成部35および主データ送受信部37と相互に接続され、LUT生成部35および主データ送受信部37を制御するための指示を出す。
【0062】
LUT生成部35は、順次接続されるIDT(Input Device Transform)変換部91、カメラキャリブレーション部92、LMT(Look Modification Transform)変換部93、レンダリング変換部94、モニタ色空間変換部95、およびモニタキャリブレーション部96からなり、主本体制御部34の指示により、カメラの機種情報および撮影設定情報、カメラ映像データ、およびモニタの色再現情報を取得することでこれらカメラおよびモニタに対応した色変換LUTを生成し、また、カメラから得られたカメラ映像データを、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタで表示するためのモニタ映像データ(確認用表示デバイス映像データ)に変換してモニタへ出力するものである。
また、LUT生成部35は、主本体制御部34の指示により、カメラ映像データに標準的な色空間への変換とガンマ変換(例えばrec709やsRGB等)のみを施した後述する出力の標準の色空間(出力標準色空間)の映像データを主データ送受信部37を通じて編集加工映像記憶装置71および携帯記憶装置72に出力してもよく、また、この出力の標準の色空間の映像データに更に対応する信号処理等を施したうえで、編集システム3の各種編集機器に直接出力してもよい。ここで対応する信号処理等とは、編集システム3の各種編集機器の要求に基づく画像変換である。
【0063】
IDT変換部91は、
図7に示すAMPAS-IIFの色変換アーキテクチャのIDT106と同様に、カメラで撮影されたカメラ映像データ(カメラの色空間)を入力の共通色空間であるACES(の映像データ)に変換するものである。
カメラキャリブレーション部92は、IDT変換部91で入力色空間ACES(の映像データ)に変換された映像データを、カメラの機種情報および撮影設定情報に応じて補正するものである。
こうすることにより、メーカや機種の異なる複数台のカメラで撮影されたカメラ映像データは、シーン基準の色空間として定義される入力色空間ACES(の映像データ)に変換されるので、同一シーンであれば、同一の色の映像データに変換される。
こうして、メーカや機種の異なる複数台のカメラで撮影されたカメラ映像データであっても、高精度にマッチングの取れた入力色空間ACESの映像データとすることができる。
【0064】
LMT変換部93は、映像コンテンツやストーリ、シーンの雰囲気に合わせた演出のために、コントローラ81による撮影監督等のユーザ指示に基づく色調整を実施するものである。LMT変換部93は、主本体制御部34の指示により主データ送受信部37によって取得された色調整パラメータを取得し、入力色空間ACESにおいて、映像データを色調整済映像データに変換するので、色調整済映像データの色空間もACESである。
レンダリング変換部94は、ACES映像を、予め指定されている、映像コンテンツの出力ターゲット(映画館向けなのかTV放送向けなのか? デジタル上映なのかフィルム映写なのか? フィルムの種類は何なのか?等)に応じたレンダリング(編集加工)を施し、ターゲット出力デバイスの、出力デバイスに依存しない出力標準色空間内に変換する。即ち、レンダリング変換部94は、入力色空間ACESを、出力デバイスに依存しない出力標準色空間(DIC:Device Independent Color:デバイスインディペンデントカラー)に色変換するためのもので、入力色空間ACESの映像データを、出力色に編集加工して、出力標準色空間DICの編集加工された映像データとする。
【0065】
ここで、出力標準色空間DICは、出力デバイスに依存しない標準色空間であれば特に制限はないので、
図7に示すAMPAS-IIFの色変換アーキテクチャの出力の共通色空間であるOCES102であっても良い。したがって、この場合には、レンダリング変換部94は、
図7に示すRRT変換部104であればよい。
この他、例えば、レンダリング変換部94を、RDT変換部、映画用フィルムのためのフィルムプレビューのための変換部等で構成してもよい。
したがって、出力標準色空間(DIC)は、理想的な出力デバイスのダイナミックレンジを、確認用表示デバイス(確認用モニタ)への色空間変換を行った後の、表示品質を低下させない範囲で削減した色空間でも良く、10000:1以上のダイナミックレンジに削減した色空間でもよい。
また、出力標準色空間(DIC)は、標準出力デバイス(標準出力モニタ)を想定した出力色空間、または映画システムにおいて映写機で上映される映写用フィルムのプレビューを想定した出力色空間であってもよい。
【0066】
モニタ色空間変換部95は、映像をモニタに表示するために、出力標準色空間(DIC)の映像データを、モニタの色空間に変換するとともに、モニタのγ特性に合わせるように変換するものである。
モニタキャリブレーション部96は、モニタ色空間変換部95でモニタの色空間に変換された映像データを、コントローラ81によって入力されたモニタの表示色空間に対応した色再現情報に応じて補正するものである。
こうすることにより、メーカや機種の異なる複数台のモニタで表示される映像であっても、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色と同じ色を表示することができる。
こうして、メーカや機種の異なる複数台のモニタで表示された映像であっても、高精度にマッチングの取れた映像とすることができる。
【0067】
LUT生成部35は、主本体制御部34の指示により、主データ送受信部37を通じて得たカメラA11の機種情報および撮影設定情報、カメラA11により撮影されたカメラ映像データ、およびモニタA13の色再現情報を取得した場合には、カメラA11により撮影されたカメラ映像データを、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタA13で表示するためのモニタ映像データに変換する色変換LUTを生成し、主データ送受信部37を通じて副映像変換装置A12へ出力する。同様に、LUT生成部35は、副映像変換装置A12に接続されたコントローラ81の色調整パラメータを取得した場合には、主本体制御部34の指示により、色調整パラメータを反映させた色変換LUTを生成し、主データ送受信部37を通じて副映像変換装置A12へ出力する。
また、LUT生成部35は、主本体制御部34の指示により、主映像変換装置32に直接接続されたカメラC31により撮影されたカメラ映像データをモニタC33に出力する場合には、カメラC31により撮影されたカメラ映像データを、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタC33で表示するためのモニタ映像データをモニタC33へ出力する。
【0068】
主データ送受信部37は、主本体制御部34からの指示を受け、ルータ61およびネットワーク62を通じて、副映像変換装置A12の副データ送受信部17から、カメラA11の機種情報および撮影設定情報、カメラA11で撮影されたカメラ映像データ、およびモニタA13の色再現情報をそれぞれ取得し、これらをLUT生成部35へ出力して、カメラA11およびモニタA13に対応した色変換LUTを取得する。主データ送受信部37は、ルータ61およびネットワーク62を通じて、副映像変換装置A12の副データ送受信部17へ色変換LUTを出力する。
本発明の実施の形態1に係る映像変換システム1Aは、基本的に以上のように構成される。
【0069】
次に、本発明の実施の形態1に係る映像変換システム1Aの基本動作を簡単に説明する。
副映像変換装置A12は、カメラA11およびモニタA13が接続されると、副本体制御部14により、カメラA11の機種情報および撮影設定情報と、カメラA11によって撮影されたカメラ映像データと、モニタA13の色再現情報とがそれぞれ取得され、副本体制御部14は、これらの情報を副データ送受信部17へ出力し、副データ送受信部17、ルータ61およびネットワーク62を通じて、これらの情報を主映像変換装置32へ出力する。
【0070】
主映像変換装置32の主データ送受信部37は、ルータ61およびネットワーク62を通じて、副映像変換装置A12の副データ送受信部17から、これらカメラA11の機種情報および撮影設定情報と、カメラA11によって撮影されたカメラ映像データと、モニタA13の色再現情報とをそれぞれ取得する。
【0071】
IDT変換部91は、カメラA11によって撮影されたカメラ映像データを、入力の共通色空間であるACESの映像データに変換し、カメラキャリブレーション部92は、カメラA11の機種情報および撮影設定情報を取得して、IDT変換部91で入力色空間ACESの映像データに変換された映像データを、カメラA11の機種情報および撮影設定情報に応じて補正する。
LMT変換部93は、詳細は後述するが、入力色空間ACESにおいて、映像データを色調整済映像データに変換し、レンダリング変換部94は、入力色空間ACESの映像データを、出力色に編集加工して、出力標準色空間DICの編集加工された映像データとする。
【0072】
モニタ色空間変換部95は、映像をモニタに表示するために、出力標準色空間DICの映像データを、モニタの色空間に変換するとともに、モニタのγ特性に合わせるように変換し、モニタキャリブレーション部96は、モニタA13の色再現情報を取得し、モニタ色空間変換部95でモニタの色空間に変換された映像データを、モニタA13の色再現情報に応じて補正し、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタA13で表示するためのモニタ映像データとする。
LUT生成部35は、主本体制御部34の指示に基づいて、このようにカメラA11の機種情報および撮影設定情報、カメラA11で撮影されたカメラ映像データ、およびモニタA13の色再現情報をもとに、カメラA11で撮影されたカメラ映像データを、モニタA13に対応したモニタ映像データに変換するとともに、カメラA11のカメラ映像データをモニタA13に対応したモニタ映像データに変換するための色変換LUTを生成する。
【0073】
LUT生成部35で生成された色変換LUTは、主本体制御部34の指示により主データ送受信部37へ出力され、ルータ61およびネットワーク62を通じて副映像変換装置A12の副データ送受信部17へ出力され、副本体制御部14を経由してLUT変換部15のLUTメモリ16に記憶される。
副映像変換装置A12は、主映像変換装置32のLUT生成部35で生成された色変換LUTを使って、LUT変換部15においてカメラA11からのカメラ映像データを色変換することにより、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタA13で表示することができる。
以上が、本発明の実施の形態1に係る映像変換システム1Aの基本動作である。
【0074】
次に、本発明の実施の形態1に係る映像変換システム1Aの色調整動作を簡単に説明する。なお、基本動作と同様の動作は説明を省略する。
最初に、カメラA11によって撮影されたカメラ映像データが、副映像変換装置A12のLMT変換部15において主映像変換装置32より出力された色変換LUTにより色変換され、モニタ映像データとされてモニタA13へ出力され、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像がモニタA13に表示される。
【0075】
撮影監督等のユーザがモニタA13の映像を確認しつつコントローラ81を操作し、LMT変換部93による色調整のための色調整パラメータを入力する。コントローラ81によって色調整パラメータが入力されると、副映像変換装置A12の副本体制御部14は、コントローラ81によって入力された色調整パラメータを、副データ送受信部17からルータ61およびネットワーク62を通じて主映像変換装置32の主映像データ送信部37へ出力する。
主映像変換装置37は、主本体制御部34の指示に基づいてLUT生成部35のLMT変換部93へコントローラ81によって入力された色調整パラメータを出力し、LUT生成部35は、色調整パラメータを考慮して副映像変換装置AのLUT変換部15において用いられる色変換LUTを生成し直す。
LUT生成部35において色調整パラメータを考慮して生成された新たな色変換LUTは、主本体制御部34の指示に基づいて主データ送受信部37より副本体制御部A12の副データ送受信部17へ出力され、LUT変換部15のLUTメモリ16に記憶される。
【0076】
副映像変換装置A12のLUT変換部15は、カメラAからのカメラ映像データをLUTメモリ16に記憶された新たな色変換LUTに基づいてモニタ映像データに変換し、モニタA13へ出力する。
以上が、本発明の実施の形態1に係る映像変換システム1Aの色調整動作である。
なお、主映像変換装置32のLUT生成部35は、コントローラ81により入力された色調整パラメータに基づいて、カメラA11からのカメラ映像データをモニタA13に表示するためのモニタ映像データに変換する色変換LUTを生成すると同時に、カメラC31からのカメラ映像データを、入力された色調整パラメータに基づいてモニタC33に対応するモニタ映像データに直接変換し、モニタC33へリアルタイムに出力してもよく、また、ユーザがモニタA13に表示された色調整後のモニタ映像を確認の後、ユーザによるコントローラ81からの指示によりモニタC33に表示されるモニタ映像データに色調整パラメータを反映し、モニタC33に表示してもよい。
【0077】
以上のように、実施の形態1に係る映像変換システムによれば、撮影現場の有するカメラおよびモニタの設置台数に合わせて映像変換システムを安価に構築することができ、撮影現場のいずれのモニタによっても撮影監督等による色調整の影響をリアルタイムに確認することができる。
【0078】
実施の形態2
図3は、本発明の実施の形態2に係る映像変換システム1Aの構成の一部を示すブロック図である。なお、実施の形態1と同様の構成は説明を省略する。
実施の形態2に係る映像変換システム1Aは、実施の形態1の構成に加えて、更に、カメラB21に接続される副映像変換装置B22と、副映像変換装置B22に接続されるモニタB23とを備える。副映像変換装置B22は、副映像変換装置A12と同様に、ルータ61およびネットワーク62を通じて主映像変換装置32と接続される。
【0079】
次に、実施の形態2の基本動作について説明する。なお、上述と同様、実施の形態1の基本動作と共通する点は説明を省略する。
副映像変換装置A12と同様に、副映像変換装置B22においても、カメラB21の機種情報および撮影設定情報、カメラB21によるカメラ映像データ、およびモニタB23の色再現情報が主映像変換装置32に出力され、LUT生成部35において副映像変換装置B22対する色変換LUTが生成され、副映像変換装置B22に出力され、LUT変換部25のLUTメモリ26に記憶される。副映像変換装置B22は、カメラB21からのカメラ映像データをLUT変換部25においてLUTメモリ26に記憶された色変換LUTに基づいて色変換を行い、モニタ映像データをモニタB23へ出力する。こうして、モニタB23では、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像を表示することができる。
以上が、本発明の実施の形態2に係る映像変換システム1Aの基本動作である。
【0080】
次に、実施の形態2の色調整動作について説明する。なお、上述と同様、実施の形態1の色調整動作と共通する点は説明を省略する。
例えば、最初に、カメラA11によって撮影されたカメラ映像データが、副映像変換装置A12のLMT変換部15において主映像変換装置32より出力された色変換LUTにより色変換され、モニタ映像データとされてモニタA13へ出力され、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像がモニタA13に表示される。同様に、モニタB23、モニタC33でも映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像が表示される。
【0081】
撮影監督等のユーザが、例えば、モニタA13の映像を確認しつつコントローラ81を操作し、LMT変換部93による色調整のための色調整パラメータを入力する。コントローラ81によって色調整パラメータが入力されると、副映像変換装置A12の副本体制御部14は、コントローラ81によって入力された色調整パラメータを、副データ送受信部17からルータ61およびネットワーク62を通じて主映像変換装置32の主映像データ送信部37へ出力する。
主映像変換装置32は、主本体制御部34の指示に基づいてLUT生成部35のLMT変換部93へコントローラ81によって入力された色調整パラメータを出力し、LUT生成部35は、色調整パラメータを考慮して副映像変換装置A12のLUT変換部15および副映像変換装置B22のLUT変換部25において用いられる色変換LUTをそれぞれ生成し直す。
【0082】
LUT生成部35において色調整パラメータを考慮して生成された新たな色変換LUTは、主本体制御部34の指示に基づいて主データ送受信部37より副本体制御部A12および副本体制御部B22へそれぞれ出力され、LUT変換部15のLUTメモリ16およびLUT変換部25のLUTメモリ26にそれぞれ記憶される。
【0083】
副映像変換装置A12のLUT変換部15は、カメラA11からのカメラ映像データをLUTメモリ16に記憶された新たな色変換LUTに基づいてモニタ映像データに変換し、モニタA13へ出力する。また、同様に副映像変換装置B22のLUT変換部25は、カメラB21のカメラ映像データをLUTメモリ26に記憶された新たな色変換LUTに基づいてモニタ映像データに変換し、モニタB23へ出力する。
以上が、本発明の実施の形態2に係る映像変換システム1Aの色調整動作である。
なお、実施の形態2において、主映像変換装置32にルータ61およびネットワーク62を通じて接続される副映像変換装置の数は、特に制限がなく、主映像変換装置32が現実的に対応できる数まで増えてもよく、また、コントローラ81は、副映像変換装置A12に設置されるだけでなく、他の副映像変換装置に設置されてもよく、また、主映像変換装置32に設置されてもよい。
また、上述の記載では、コントローラ81において色調整パラメータが入力されると、副映像変換装置A12、B22、および主映像変換装置32に接続された全てのモニタにおいて色調整がリアルタイムに反映されているが、実施の形態1と同様、ユーザがモニタA13に表示された映像において色調整の影響を確認後、コントローラ81を指示して、全てのモニタに色調整を反映させてもよい。
以上のように、実施の形態2に係る映像変換システムも実施の形態1と同様の効果が得られる。
【0084】
実施の形態3
図4は、本発明の実施の形態3に係る映像変換システム1Bの構成の一部を示すブロック図である。なお、実施の形態1と同様の構成は説明を省略する。
実施の形態3に係る映像変換システム1Bは、主映像変換装置32に直接接続される副映像変換装置C42、D52をそれぞれ備え、副映像変換装置C42には、モニタD43が、副映像変換装置D52には、モニタE53がそれぞれ接続される。
また、コントローラ81は、主映像変換装置32の主本体制御部34に直接接続される。
副映像変換装置A12、B22と同様に、副映像変換装置C42、D52は、LUT変換部45、55をそれぞれ備え、LUT変換部45、55は、それぞれの色変換LUTを記憶するLUTメモリ46、56をそれぞれ備える。また、モニタD43、E53は、それぞれの表示色空間が異なり、色再現情報は異なるが、モニタA13〜C33と同様のものである。
【0085】
次に、本発明の実施の形態3に係る映像変換システム1Bの基本動作を説明する。
主映像変換装置32は、主本体制御部34の指示に基づいて、カメラC31の機種情報および撮影設定情報、カメラC31によって撮影されたカメラ映像データ、および、モニタC33の色再現情報、ならびに、副映像変換装置C42に接続されたモニタD43の色再現情報および副映像変換装置D52に接続されたモニタE53の色再現情報をそれぞれ取得する。
【0086】
主映像変換装置32は、これらの情報に基づいて、LUT生成部35において副映像変換装置C42、D52に対する色変換LUTをそれぞれ生成し、これら色変換LUTを副映像変換装置C42、D52にそれぞれ出力する。なお、ここで主映像変換装置32から副映像変換装置C42、D52へ出力される映像データは、例えば、出力標準色空間DICの映像データであり、主映像変換装置32において生成され、出力されるこれら色変換LUTは、副映像変換装置C42、D52において出力標準色空間DICの映像データを、モニタD43、E53において映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像として表示するためのモニタ映像データにそれぞれ変換する色変換LUTであってもよい。これら色変換LUTは、主映像変換装置32よりLUT変換部45、55へ出力され、LUT変換部45、55のLUTメモリ46、56にそれぞれ記憶される。
【0087】
副映像変換装置C42、52は、主映像変換装置32から出力標準色空間DICの映像データを取得し、LUT変換部45、55においてLUTメモリ46、56に記憶された色変換LUTに基づいてそれぞれ色変換を行い、モニタ映像データ生成して、これらモニタ映像データをモニタD43、E53へそれぞれ出力する。こうして、モニタD43、E53では、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像を表示することができる。
以上が、本発明の実施の形態3に係る映像変換システム1Bの基本動作である。
【0088】
次に、実施の形態3の色調整動作について説明する。なお、上述と同様、実施の形態1の色調整動作と共通する点は説明を省略する。
最初に、カメラC31によって撮影されたカメラ映像データが、主映像変換装置32のLMT生成部35において色変換され、モニタ映像データとされてモニタC33へ出力され、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像がモニタC33に表示される。
また、カメラC31によって撮影されたカメラ映像データが、主本体制御部34の指示によりLMT生成部35において出力標準色空間DICの映像データとされ、主データ送受信部37を通じて副映像変換装置C42、D52にそれぞれ出力され、また、副映像変換装置C42、D52のLUT変換部45、55においてそれぞれ色変換され、モニタD53、モニタC23のそれぞれにおいて、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像が表示される。
【0089】
次に、撮影監督等のユーザが、例えば、モニタD53の映像を確認しつつコントローラ81を操作し、LMT変換部93による色調整のための色調整パラメータを入力する。コントローラ81によって色調整パラメータが入力されると、主映像変換装置32は、主本体制御部34の指示に基づいてLUT生成部35のLMT変換部93へコントローラ81によって入力された色調整パラメータを出力し、LUT生成部35は、色調整パラメータを考慮して出力標準色空間DICの映像データを新たに生成する。
【0090】
LUT生成部35において色調整パラメータを考慮して新たに生成された出力標準色空間DICの映像データは、主本体制御部34の指示に基づいて主データ送受信部37より副本体制御部C42、D52へそれぞれ出力される。
【0091】
副映像変換装置C42、D52のLUT変換部45、55は、新たに生成された出力標準色空間DICの映像データをLUTメモリ46、56に記憶された色変換LUTに基づいてモニタ映像データにそれぞれ変換し、モニタD43、E53へそれぞれ出力する。
以上が、本発明の実施の形態2に係る映像変換システム1Aの色調整動作である。
また、上述の記載では、コントローラ81において色調整パラメータが入力されると、副映像変換装置C42、D52、および主映像変換装置32に接続された全てのモニタにおいて色調整がリアルタイムに反映されているが、実施の形態1、2と同様、ユーザがモニタC33に表示された映像において色調整の影響を確認後、コントローラ81を指示して、全てのモニタに色調整を反映させてもよい。
以上のように、実施の形態3に係る映像変換システムも実施の形態1、2と同様の効果が得られる。
【0092】
実施の形態4
図5は、本発明の実施の形態4に係る映像変換システム1A、1Bを含む撮影・編集システムを示すブロック図である。なお、実施の形態1と同様の構成は説明を省略する。
実施の形態4に係る映像変換システム1A、1Bは、携帯記憶装置72を備え、また、携帯記憶装置72は、撮影中または撮影終了後において、LUT生成サーバ4に接続され、LUT生成サーバ4は、編集システム3に関わる種々の編集機器に接続される。
携帯記憶装置72は、USBメモリや外付けHDD等であり、比較的大容量のデータを記憶することができる。携帯記憶装置72は、主映像変換装置32の指示により、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータおよび編集情報ファイル等を記憶する。
【0093】
また、LUT生成サーバ4は、携帯記憶装置72からカメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータおよび編集情報ファイル等を取得し、編集システム3に関わる各種編集機器の要求に基づいて色変換LUTを生成し、編集情報ファイル等とともに編集システム3へ出力する。編集システム3は、LUT生成サーバ4から色変換LUTおよび編集情報ファイル等を取得し、撮影映像記憶装置70より予めカメラ映像データを取得して、例えば撮影シーン毎に、色変換LUTに基づいてカメラ映像データの色変換を行う。なお、編集情報ファイルは、撮影システム2の映像変換システム1A、1Bから編集システム3へ直接出力されてもよい。
【0094】
次に、本発明の実施の形態4に係る映像変換システム1A、1Bの動作を説明する。
主映像変換装置32は、主本体制御部34の指示により主データ送受信部37より、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータおよび編集情報ファイル等を携帯記憶装置72に出力する。なお、カメラの機種情報および撮影シーン毎の撮影設定情報は、カメラ映像データが撮影されたカメラの情報であり、カメラ映像データは、カメラC31によって撮影されたものでもよく、また、図示しないカメラA11、B21等によって撮影されたものでもよい。
携帯記憶装置72は、LUT生成サーバ4に接続され、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータがLUT生成サーバ4へ出力される。
LUT生成サーバ4は、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータ、ならびに編集システム3からの要求とに基づいて色変換LUTを生成し、編集システム3へ出力する。編集システム3は、撮影映像記憶装置70から予め取得したカメラ映像データを色変換LUTに基づいて色変換し、撮影現場における最終出力デバイスの映像の色再現を行うとともに、色再現のなされた映像データに対して各種編集を行う。
【0095】
以上のように、実施の形態4に係る映像変換システム1A、1Bを含む撮影・編集システムによれば、撮影現場における色調整、色変換を撮影終了後の編集工程において再現できるため、カメラ映像データの撮影後の色再現、色調整等を大幅に削減することができ、編集作業を効率化できる。
【0096】
実施の形態5
図6は、本発明の実施の形態5に係るLUT生成サーバ4の構成を示すブロック図である。
図6に示すように、LUT生成サーバ4は、データ受信部131と、データ受信部131に接続されるLUT生成部132、データ受信部131およびLUT生成部132に接続されるデータ送信部133を備え、また、データ受信部131、LUT生成部132およびデータ送信部133のそれぞれに接続される内部メモリ134を備える。また、また、データ受信部131、LUT生成部132、データ送信部133および内部メモリ134のそれぞれに接続される制御部135を備える。
【0097】
データ受信部131は、映像変換システム1A、1Bから撮影シーン毎のカメラの機種情報、撮影設定情報および映像データの色調整を行う色調整パラメータを含む色処理の情報である色処理パラメータを取得し、また、編集システム3からの色変換LUTの生成の指示を受け、編集システム3から編集システム3を構成する映像編集機器の出力色空間の情報を取得する。
LUT生成部132は、映像変換システム1A、1Bにおける主映像変換装置32のLUT生成部35と同様の構成であり、色処理パラメータと、上述の映像編集機器の出力色空間の情報とに基づいて色変換LUTを生成する。
【0098】
データ送信部133は、色変換LUTの生成の指示を出した編集システム3の映像編集機器へ、生成された色変換LUTを出力する。
内部メモリ134は、データ受信部131の受信した色処理パラメータや映像編集機器の出力色空間の情報を含む受信データ、LUT生成部が生成した色変換LUTを記憶する。
【0099】
制御部135は、データ受信部131、LUT生成部132、データ送信部133および内部メモリ134のそれぞれを制御し、例えば、各部におけるデータの入出力、データ受信部131およびデータ送信部133における外部とのデータの送受信、内部メモリ134におけるデータの入出力などを制御する。
【0100】
次に、実施の形態5に係るLUT生成サーバ4の動作を説明する。
LUT生成サーバ4は、制御部135の指示に基づいて、データ受信部131において、映像変換システム1A、1Bから色処理パラメータを取得し、また、編集システム3から色変換LUTの生成要請を受け、編集システム3から編集システム3の映像編集機器の出力色空間の情報を取得する。データ受信部131で取得された色処理パラメータ、映像編集機器の出力色空間の情報は、LUT生成部132および内部メモリ134へそれぞれ出力される。
【0101】
LUT生成部132は、制御部135の指示により、データ受信部131または内部メモリ134から出力された色処理パラメータと映像編集機器の出力色空間の情報とに基づいて、色変換LUTを生成する。生成された色変換LUTは、撮影システム2の映像編集機器において、カメラ映像データを、色調整が反映され最終出力デバイスの映像の色再現のなされた映像データに変換するものである。生成された色変換LUTは、制御部135の指示により、データ送信部133に出力され、また、内部メモリ134に記憶される。
データ送信部133は、制御部135の指示により、LUT生成部132で生成された色変換LUTを取得し、色変換LUTの生成要請を出した編集システム3の映像編集機器へ、色変換LUTを出力する。
【0102】
以上のように、実施の形態5に係るLUT生成サーバ4を備える撮影・編集システムによれば、撮影現場における色調整、色変換を撮影終了後の編集工程において再現できるため、カメラ映像データの撮影後の色再現、色調整等を大幅に削減することができ、編集作業を効率化できる。
【0103】
また、実施の形態5のLUT生成サーバ4において、内部メモリ134は、撮影システム2において上述の色処理パラメータを複数記憶し、編集システム3を構成する各種映像編集機器の出力色空間の情報複数記憶し、また、制御部135は、上述のとおり内部メモリ134に記憶された複数の色処理パラメータと複数の出力色空間の情報とを管理するものであり、制御部13は、LUT生成サーバ4に接続された編集システム3の映像編集機器の指示により、これらを組み合わせて複数の色変換LUTを生成し、出力してもよい。
【0104】
また、実施の形態5のLUT生成サーバ4では、上述のとおり、出力先である編集システム3の各種映像編集機器に対応した複数の出力色空間の情報が上述の色処理パラメータ等とともに内部メモリ134で記憶・管理されており、出力色空間の情報が、図示しないコントローラによって、制御部135を通じて指定されてもよい。
図示しないコントローラによって出力色空間の情報が指定された場合、上述の出力色空間の情報が取得された場合と同様に、色処理パラメータおよび指定された出力色空間の情報に基づいて色変換LUTが生成され、編集システム3の映像編集機器へ出力される。
編集システム3の映像編集機器において、撮影シーンに対応した色変換LUTに限らず、複数の色変換LUTによる色変換を試す場合に有効である。
【0105】
また、実施の形態5のLUT生成サーバ4において、映像変換システム1A、1Bより取得される色処理パラメータは、カメラの機種特性の除去、色調整を含む最終出力デバイスに対応した入力共通色空間から出力共通色空間への色変換、および確認用表示デバイスの機種特性に応じた色変換からなる映像データの色処理の情報であり、上述のとおり、撮影シーン毎のカメラの機種情報、撮影設定情報および映像データの色調整を行う色調整パラメータを含むものである。
また、実施の形態5のLUT生成サーバ4において、色処理パラメータは、撮影シーン毎に変更されたものであり、編集情報ファイルのシーン番号およびシーンに対応したカメラのタイムコードと関連付けられて記憶・管理されてもよい。
よって、LUT生成サーバ4において生成された色変換LUTは、シーン番号およびシーンに対応したカメラのタイムコードに対応して生成されたものであり、編集システム3の映像編集機器において、編集情報ファイルとともに用いられ、生の映像データに対して対応する色変換LUTを適用することで、適切な色再現を行うことができる。
【0106】
また、実施の形態5のLUT生成サーバ4は、データ受信部131において、映像変換システム1A、1Bから色処理パラメータを受信する際に、色処理パラメータに関連付けられた撮影シーンの静止画像データ(つまり、対応する撮影シーンの静止画像データ)を取得し、色処理パラメータまたは、色処理パラメータによって生成された色変換LUTとともに内部メモリ134に記憶し、また、データ送信部133より、色変換LUTとともに編集システム3の映像編集機器へ出力してもよい。
また、データ受信部131において色処理パラメータとともに受信され、また、色変換LUTとともに出力される上述の撮影シーンの静止画像データは、映像変換システム1A、1Bでの色調整後の静止画像データだけでなく、色調整前の静止画像データおよび色調整後の静止画像データの2種類の静止画像データであってもよい。
ユーザは編集システム3の映像編集機器において、生の映像データの色変換の前に、撮影シーンに対応した色変換LUTが反映され、色変換のなされた静止画像を確認することができ、また、色調整前の静止画像と色調整後の静止画像とを比較することで、色変換LUTによる色変換の影響を検証することができる。
【0107】
また、実施の形態5のLUT生成サーバ4は、データ受信部131において、映像変換システム1A、1Bから色処理パラメータを受信する際に、色処理パラメータに関連付けられた撮影シーンの撮影時に入力されたコメントを取得し、色処理パラメータまたは、色処理パラメータによって生成された色変換LUTとともに内部メモリ134に記憶し、また、データ送信部133より、色変換LUTとともに編集システム3の映像編集機器へ出力してもよい。
編集システム3の映像編集機器において、撮影時のコメントを確認することで、シーン毎の監督の撮影意図を把握することができる。
【0108】
また、実施の形態5に係るLUT生成サーバ4は、外部から接続される際に、パスワード認証を行ってもよい。
例えば、LUT生成サーバ4が、外部のクライアントである映像変換システム1A、1Bに接続された場合、データ受信部131は制御部135からの指示によりデータ送信部133を通じて映像変換システム1A、1Bへパスワードの入力要求を出力する。
【0109】
データ受信部131は、映像変換システム1A、1Bからのパスワードの入力を受け、制御部135の指示に基づいて、パスワードの認証を行う。具体的には、データ受信部131が、内部メモリ134に記録されたパスワードを制御部135を通じて取得し、また、入力されたパスワードとの一致・不一致を判定する。
データ受信部131は、入力されたパスワードが記録されたパスワードと一致した場合には、データ送信部133を通じて映像変換システム1A、1Bへ色処理パラメータの出力指示を出し、入力されたパスワードが記録されたパスワードと一致しない場合には、データ送信部133を通じて映像変換システム1A、1Bへパスワード不一致を通知し、映像変換システム1A、1BとLUT生成サーバ4との接続を遮断する。
【0110】
入力されたパスワードが記録されたパスワードと一致した場合、データ受信部131は、制御部135の指示に基づいて、映像変換システム1A、1Bから色処理パラメータを受信する。
なお、編集システム3の映像編集機器から映像編集機器の出力色空間の情報を取得する場合も同様である。すなわち、色変換LUTの生成要請を受けた際に、映像編集機器へパスワードの入力を求め、パスワードが一致した場合に、映像編集機器の出力色空間の情報を取得し、パスワードが一致しない場合には、パスワードの不一致を通知し、映像編集機器とLUT生成サーバ4との接続を遮断する。
上述のとおりパスワード認証を行うことで、不正ユーザによる色変換LUTの取得を防ぐことができる。
【0111】
なお、実施の形態5に係るLUT生成サーバ4は、本発明の映像変換システム1A、1Bの主映像変換装置32と同様にLUT生成部132を備えるため、図示しない確認用表示デバイスを接続し、撮影映像記憶装置70等の映像記憶装置からカメラ映像データを取得することで、図示しないコントローラによって、本発明の映像変換システム1A、1Bと同様に、色調整を行うことができる。また、実施の形態5に係るLUT生成サーバ4は、上述のとおり、本発明の映像変換システム1A、1Bの主映像変換装置32と同様にLUT生成部132を備えるため、主映像変換装置32において可能な動作の全てを行うことができる。
【0112】
以上、本発明の映像変換システム、撮影システムおよびLUT生成サーバについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。