特許 6774788 色調整装置および色調整システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6774788

(24)【登録日】2020年10月7日

(45)【発行日】2020年10月28日

(54)【発明の名称】色調整装置および色調整システム

(51)【国際特許分類】

   H04N 9/64 20060101AFI20201019BHJP

   G01J 3/46 20060101ALI20201019BHJP

   G01J 3/52 20060101ALI20201019BHJP

【ＦＩ】

   H04N9/64 R

   G01J3/46 Z

   G01J3/52

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2016-105300(P2016-105300)

(22)【出願日】2016年5月26日

(65)【公開番号】特開2017-212640(P2017-212640A)

(43)【公開日】2017年11月30日

【審査請求日】2019年4月2日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】林田 哲哉

(72)【発明者】

【氏名】正岡 顕一郎

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００５−０４５４４６（ＪＰ，Ａ）

【文献】 特開２０１６−００６９５４（ＪＰ，Ａ）

【文献】 特開２０１１−２２３４５２（ＪＰ，Ａ）

【文献】 特開２００３−０４６８１８（ＪＰ，Ａ）

【文献】 特開２０１１−２２３１３４（ＪＰ，Ａ）

【文献】 特開２０１１−０２９８５８（ＪＰ，Ａ）

【文献】 特開昭６２−０８６９９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／６４

Ｇ０１Ｊ ３／４６

Ｇ０１Ｊ ３／５２

(57)【特許請求の範囲】

【請求項1】

色調整の対象である画像の撮影場所の照明からの照明光の分光特性を取得する分光特性取得部と、
所定の基準色を表す信号値に、前記照明光の分光特性、前記色調整の対象である画像を撮影する対象撮影部の分光特性および調整パラメータを作用して調整信号値を算出する信号値算出部と、
色調整において参照する画像を撮影する参照撮影部からの前記基準色の参照信号値と前記調整信号値との残差を少なくするように前記調整パラメータを算出する調整パラメータ設定部と、
を備える色調整装置。

【請求項2】

前記調整パラメータ設定部は、前記残差として、前記参照撮影部からの前記基準色の参照信号値から算出される色空間値と前記調整信号値から算出される色空間値との差を算出する
ことを特徴とする請求項１に記載の色調整装置。

【請求項3】

前記対象撮影部の分光特性が記憶された記憶部と、
前記対象撮影部の接続を検出する検出部と、を備え、
前記信号値算出部は、前記対象撮影部の分光特性として前記検出部が検出した対象撮像部の分光特性を用いて前記調整信号値を算出する
ことを特徴とする請求項１または請求項２に記載の色調整装置。

【請求項4】

前記記憶部には、前記対象撮影部に装着される機器の分光特性が記憶され、
前記検出部は、前記機器の装着を検出し
前記信号値算出部は、前記検出部が装着を検出した機器の分光特性をさらに作用して前記調整信号値を算出する
ことを特徴とする請求項３に記載の色調整装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の色調整装置と、
少なくとも２個の前記対象撮影部と、
前記対象撮影部のそれぞれに対応した照明からの前記照明光の分光特性を測定する分光放射照度計と、
を備え、
前記調整パラメータ設定部は、前記調整パラメータを前記対象撮影部に出力する
ことを特徴とする色調整システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、色調整装置および色調整システムに関する。

【背景技術】

【0002】

テレビジョン放送番組の映像を撮像するカメラの分光感度特性は個々に異なる。その一因として、カメラの分光方式の違いがある。分光方式には、例えば、単板方式と３板方式がある。両方式間ではフィルタの形成方法が異なる。単板方式では、顔料を主成分とするカラーレジストをフォトリソグラフィによって撮像素子上にパターンニングしてフィルタを形成する。三板方式ではガラス基板上にスパッタ法を用いて誘電体多層膜を形成し、この誘電体多層膜がフィルタとして用いられる。よって、両方式間でフィルタの分光透過特性が異なる。また、同一の分光方式であっても分光感度特性が異なることがある。例えば、単板方式であっても、カラーレジストの原料である種々の顔料の混合条件によって透過特性が異なる。その他、分光感度特性が異なる原因として、レンズ、フィルタなどの光学系の透過特性の差異、撮像素子自体の分光感度特性が素子の特性に応じて異なること、などが挙げられる。

【0003】

分光感度特性がカメラによって異なると、同じ照明のもとで、同じ被写体を複数のカメラで撮影すると、異なる色の画像が出力される。この色の差異を修正するために、画像データにリニアマトリックスやカラーコレクタなどを用いて、カメラ間で同一の色の画像が出力されるように色を修正する必要がある。例えば、特許文献１には、基準信号を表示装置に出力し、基準信号に基づいて表示装置に表示された画像を撮像し、獲得された画像信号を解析して一般画像信号を表示装置に所望の状態で表示させるキャリブレーション値を生成し、キャリブレーション値に基づき一般画像信号を補正するキャリブレーション装置について記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−３３３２４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮影の際に異なる照明を用いる場合には、その都度色の調整を行う必要がある。一般に調整に係る作業は煩雑であり相当の時間を要する。
例えば、生放送の中継（ライブ中継）では、撮影に用いる複数のカメラの全てを同一のカラーチャートに向けて設置し、照明をカラーチャートに当てて色調整を行う。色調整において、撮影時に用いる照明と、所定の基準色を表す領域が配列されたカラーチャートを用いる。その場合には、色の調整を行うビデオエンジニアの他、撮影を行うカメラマンが撮影現場に臨席する必要がある点で人的な作業が要求される。また、色の調整の際には、照明をカラーチャートに当てる必要がある。そのような照明を常時当てることができない劇場などでは、色の調整を行う時間が限られる。

【0006】

また、屋外での撮影（ロケ）では、撮影場所や時間によって照明の条件が変化する。そのため、撮影現場では色の調整を行わずに、撮影する度にカラーチャートを撮影し、撮影した画像を編集する際に色の調整を行うこともある。この場合には、編集時に煩雑な色調整作業を行う必要が生じる。

【課題を解決するための手段】

【0007】

本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、色調整の対象である画像の撮影場所の照明からの照明光の分光特性を取得する分光特性取得部と、所定の基準色を表す信号値に、前記照明光の分光特性、色調整の対象である画像を撮影する対象撮影部の分光特性および調整パラメータを作用して調整信号値を算出する信号値算出部と、色調整において参照する画像を撮影する参照撮影部からの前記基準色の参照信号値と前記調整信号値との残差を少なくするように前記調整パラメータを算出する調整パラメータ設定部と、を備える色調整装置である。
［１］の構成によれば、対象撮像部が撮影した画像の色調整に用いる調整パラメータが、測定された照明光の分光特性に基づいて得られる調整信号値が参照信号値に近似するように算出される。そのため、算出した調整パラメータを用いることで複数の対象撮像部のそれぞれの撮影環境に応じて異なる照明光の分光特性に関わらず撮影した画像の色が互いに近似されるように調整することができる。

【0008】

［２］本発明の一態様は、上述の色調整装置であって、前記調整パラメータ設定部は、
前記残差として、前記参照撮影部からの前記基準色の参照信号値から算出される色空間値と前記調整信号値から算出される色空間値との差を算出することを特徴とする。
［２］の構成によれば、複数の対象撮像部のそれぞれが撮影した画像について、人間が
知覚する色を定量的に表す色空間の領域において、画像の色が互いに近似させることがで
きる調整パラメータを算出することができる。

【0009】

［３］本発明の一態様は、上述の色調整装置であって、前記対象撮影部の分光特性が記憶された記憶部と、前記対象撮影部の接続を検出する検出部とを備え、前記信号値算出部は、前記対象撮影部の分光特性として前記検出部が検出した対象撮像部の分光特性を用いて前記調整信号値を算出することを特徴とする。
［３］の構成によれば、対象撮影部が交換されるとき、それぞれの対象撮影部が撮影した画像の色が、参照撮影部が撮影した画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、対象撮影部の交換の有無に関わらず、撮影した画像の色が複数の対象撮影部間で互いに近似するように色調整を行うことができる。また、対象撮影部の分光特性の設定に係るユーザの操作を回避することができる。

【0010】

［４］本発明の一態様は、上述の色調整装置であって、前記記憶部には、前記対象撮影部に装着される機器の分光特性が記憶され、前記検出部は、前記機器の装着を検出し、前記信号値算出部は、前記検出部が装着を検出した機器の分光特性をさらに作用して前記調整信号値を算出することを特徴とする。
［４］の構成によれば、対象撮影部への付属機器の着脱もしくは交換の状態に応じて、対象撮影部が撮影した画像の色が参照撮影部で撮影される画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、対象撮影部への付属機器の着脱もしくは交換の有無の状態や、互いにこれらの状態が異なる複数の対象撮影部間で、撮影した画像の色が互いに近似するように色調整を行うことができる。また、対象撮影部に装着された付属機器の分光特性の設定に係るユーザの操作を回避することができる。

【0011】

［５］本発明の一態様は、上述の色調整装置と、少なくとも２個の前記対象撮影部と、前記対象撮影部にそれぞれ対応した照明からの前記照明光の分光特性を測定する分光放射照度計とを備え、前記調整パラメータ設定部は、前記調整パラメータを前記対象撮影部に出力することを特徴とする色調整システムである。
［５］の構成によれば、少なくとも２個の対象撮像部がそれぞれ撮影した画像の色調整に用いる調整パラメータが、測定された照明光の分光特性に基づいて得られる調整信号値が参照信号値に近似するように算出される。そのため、算出した調整パラメータを用いることで少なくとも２個の対象撮像部それぞれの撮影環境に応じて異なる照明光の分光特性に関わらず、撮影した画像の色が互いに近似するように色調整を行うことができる。

【発明の効果】

【0012】

本発明によれば、撮影環境に応じた色調整に係る作業を軽減することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る色調整システムの構成を示す概略図である。

【図2】第１実施形態に係る色調整システムの機能構成を示すブロック図である。

【図3】第１実施形態に係るカメラ撮像を表す模式図を示す。

【図4】第１実施形態に係る変換マトリックスの一例を示す図である。

【図5】第２実施形態に係る色調整システムの機能構成を示すブロック図である。

【図6】第２実施形態に係る分光特性テーブルの一例を示す図である。

【図7】第２実施形態に係る色調整処理を示すフローチャートである。

【図8】第２実施形態の変形例に係る分光特性テーブルの一例を示す図である。

【図9】第２実施形態の変形例に係る色調整処理を示すフローチャートである。

【発明を実施するための形態】

【0014】

（第１実施形態）
以下、図面を参照しながら本発明の第１実施形態の一構成例である色調整システム１について説明する。
図１は、本実施形態に係る色調整システム１の構成を示す概略図である。
色調整システム１は、コントローラ１０、分光放射照度計２０−Ａ、２０−Ｂ、カメラ３０−Ａ、３０−Ｂおよびリファレンスカメラ３０−ｒを含んで構成される。以下の説明では、分光放射照度計２０−Ａ、２０−Ｂ、カメラ３０−Ａ、３０−Ｂを、それぞれ分光放射照度計２０、カメラ３０と総称することがある。図１に示す例では、分光放射照度計２０、カメラ３０の個数は、それぞれ２個であるが、３個以上であってもよい。

【0015】

リファレンスカメラ３０−ｒは、撮影した画像の色を基準として用いるカメラである。これは実在するカメラでも仮想的なカメラでもよい。リファレンスカメラ３０−ｒとして、理想的な撮像特性を有する仮想的なカメラが好適である。リファレンスカメラ３０−ｒは、被写体として予め色票Ｃｍの画像を参照画像として撮影し、撮影した参照画像を形成する画素毎の参照信号値である参照ＲＧＢ値を表す参照画像データをコントローラ１０に出力する。この参照ＲＧＢデータは、実在するカメラを用いたデータであっても、仮想的なカメラを想定して計算上求めたＲＧＢ値でも構わない。ＲＧＢ値は、赤、緑、青の各色信号値を要素として含むベクトル量である。リファレンス照明Ｌｔ−ｒは、放射する照明光を分光分布の基準として用いる照明である。リファレンス照明Ｌｔ−ｒは、照明光を色票Ｃｍに照射し、色票Ｃｍで反射した反射光が参照画像として撮影される。色票Ｃｍは、色調整の基準とする複数の基準色を表す領域である色見本を配列した物体である。色票Ｃｍとして、カラーチェッカーが利用可能である。カラーチェッカーは、所定の２４色相の矩形の色見本が配列されてなる。

【0016】

カメラ３０−Ａ、３０−Ｂは、撮影した画像の色の調整対象となるカメラである。カメラ３０−Ａ、３０−Ｂの分光特性であるカメラ分光特性を示すカメラ分光特性データを予め記憶部１６に記憶させておく。図１に示すように、カメラの分光特性は個々のカメラによって異なる。図１において、各カメラの上方に示す曲線ＳＢ−ｒ、ＳＧ−ｒ、ＳＲ−ｒ等は、それぞれ青色、緑色、赤色の光を透過する当該カメラが備えるカラーフィルタの分光特性を示す。予め記憶させておく各カメラ３０のカメラ分光特性データは、単波長を発するモノクロメータ（図示していない）を用いて各カメラごとに予め取得されているものとする。

【0017】

分光放射照度計２０−Ａ、２０−Ｂは、それぞれに対応付けられた照明Ｌｔ−Ａ、Ｌｔ−Ｂからの照明光の分光特性である照明分光特性を測定し、測定した照明分光特性を示す照明分光特性データをコントローラ１０に出力する。

【0018】

コントローラ１０は、分光放射照度計２０−Ａ、２０−Ｂから照明分光特性データをそれぞれ取得する。コントローラ１０は、色票Ｃｍが示す所定の基準色を示す画素毎の信号値に照明分光特性、カメラ分光特性およびカメラ３０−Ａ、３０−Ｂの調整パラメータを作用して、カメラ３０−Ａ、３０−Ｂのそれぞれについて調整信号値を算出する。照明分光特性として、分光放射照度計２０−Ａ、２０−Ｂからの照明分光特性データが示す照明分光特性が用いられる。カメラ分光特性として、記憶部１６に記憶されたカメラ３０−Ａ、３０−Ｂのカメラ分光特性データが示すカメラ分光特性が用いられる。カメラ３０−Ａ、３０−Ｂの調整パラメータにはリニアマトリックスが含まれる。

【0019】

コントローラ１０は、リファレンスカメラ３０−ｒからの参照画像データが示す参照信号値と、カメラ３０−Ａ、３０−Ｂそれぞれについて算出した調整信号値との残差を少なくするようにリニアマトリックスを算出する。コントローラ１０は、カメラ３０−Ａ、３０−Ｂのそれぞれについて算出したリニアマトリックスを、カメラ３０−Ａ、３０−Ｂに出力する。リニアマトリックスは、カメラ３０−Ａ、３０−Ｂが備える信号処理系が撮像された画像の信号値と乗算して出力信号値を算出するために用いられる。出力信号値を表す出力画像データは、色調整がなされた画像を示すデータであり、放送番組の映像もしくは素材として用いられる。

【0020】

次に、本実施形態に係るコントローラ１０の機能構成について説明する。
図２は、本実施形態に係る色調整システム１の機能構成を示すブロック図である。
コントローラ１０は、データ入力部１２、信号処理部１４、操作部１５、記憶部１６およびデータ出力部１７を含んで構成される。なお、図２に示す例ではリファレンスカメラ３０−ｒの図示が省略されている。リファレンスカメラ３０−ｒから取得した参照画像データが予め記憶部１６に記憶されていることを前提とする。

【0021】

データ入力部１２は、分光放射照度計２０−Ａ、２０−Ｂからそれぞれ入力される分光特性データを信号処理部１４に出力する。

【0022】

信号処理部１４は、分光特性取得部１４１、ＲＧＢ値算出部１４２および調整パラメータ設定部１４３を含んで構成される。

【0023】

分光特性取得部１４１は、分光放射照度計２０−Ａ、２０−Ｂからそれぞれデータ入力部１２を介して入力されるカメラ分光特性データを取得し、取得したカメラ分光特性データをＲＧＢ値算出部１４２に出力する。

【0024】

ＲＧＢ値算出部１４２は、記憶部１６から予め記憶された色票Ｃｍが示す所定の基準色を示す画素毎の信号値を示す色票画像データと、カメラ３０−Ａ、３０−Ｂの分光特性を示すカメラ分光特性データを読み取る。ＲＧＢ値算出部１４２には、ＲＧＢ値算出部１４２は、調整パラメータ設定部１４３から入力される調整パラメータを示す調整パラメータデータが入力される。調整パラメータデータには、カメラ３０−Ａ、３０−Ｂそれぞれのゲインデータとリニアマトリックスが含まれる。

【0025】

ＲＧＢ値算出部１４２は、色票画像データが示す画素毎のＲＧＢ値に、カメラ３０−Ａ、３０−Ｂにそれぞれ対応する照明Ｌｔ−Ａ、Ｌｔ−Ｂの照明分光特性およびカメラ３０−Ａ、３０−Ｂのカメラ分光特性データが示すカメラ分光特性をそれぞれ乗算して、調整パラメータの算出に用いるための基準信号値として基準ＲＧＢ値を算出する。
ＲＧＢ値算出部１４２は、調整パラメータ設定部１４３から入力されるカメラ３０−Ａ、３０−Ｂの調整パラメータであるゲインとリニアマトリックスを基準ＲＧＢ値にそれぞれ乗算して調整信号値として調整ＲＧＢ値を算出する。
ＲＧＢ値算出部１４２は、カメラ毎に算出した基準ＲＧＢ値と調整ＲＧＢ値を調整パラメータ設定部１４３に出力する。

【0026】

調整パラメータ設定部１４３は、ゲイン設定部１４４およびリニアマトリックス算出部１４５を含んで構成される。
ゲイン設定部１４４は、ＲＧＢ値算出部１４２から入力されるカメラ毎の基準ＲＧＢ値に乗算されるゲインを定める。ゲインは、各色成分の要素ゲインからなるベクトル値である。要素ゲインは、基準ＲＧＢ値を構成する各色成分の色信号値であるＲ信号値、Ｇ信号値およびＢ信号値にそれぞれ乗じられるパラメータである。ゲイン設定部１４４は、調整ＲＧＢ値が表す色のホワイトバランスを合わせるように要素ゲインを定める。ゲイン設定部１４４は、例えば、色票Ｃｍのうち基準色が無彩色である領域内の画素の調整ＲＧＢ値が表す色が無彩色となるように要素ゲインを定める。無彩色とは、彩度を有しない色であり、白、黒ならびに各種の濃度の灰色が含まれる。その際、ゲイン設定部１４４は、公知のホワイトバランスゲイン算出方法を用いてゲインを算出してもよいし、操作部１５からの操作信号で指定されるゲインを採用してもよい。ゲイン設定部１４４は、カメラ３０−Ａ、３０−Ｂ毎に定めたゲインをＲＧＢ値算出部１４２と、データ出力部１７を介してそれぞれのカメラ３０−Ａ、３０−Ｂに出力する。

【0027】

リニアマトリックス算出部１４５は、記憶部１６に予め記憶させた参照画像データを読み取る。リニアマトリックス算出部１４５は、ＲＧＢ値算出部１４２から入力されたカメラ３０−Ａ、３０−Ｂ毎の調整ＲＧＢ値と、読み取った参照画像データが示す参照ＲＧＢ値との残差が少なくなるように、調整ＲＧＢ値の算出に用いるリニアマトリックスを算出する。リニアマトリックス算出部１４５は、例えば、最小二乗法を用いてリニアマトリックスを再帰的に算出する。リニアマトリックス算出部１４５は、算出したリニアマトリックスをＲＧＢ値算出部１４２に出力する。リニアマトリックス算出部１４５は、残差が所定の残差の閾値よりも小さくなったときリニアマトリックスを算出する処理を停止し、最終的に算出したカメラ３０−Ａ、３０−Ｂ毎のリニアマトリックスをカメラ３０−Ａ、３０−Ｂのそれぞれにデータ出力部１７を介して出力する。

【0028】

操作部１５は、ユーザの操作に応じて操作信号を生成し、生成した操作信号を信号処理部１４に出力する。操作部１５は、ユーザの操作を受け付ける部材として、ボタン、つまみなどの物理的な部材を含んで構成される。操作部１５は、タッチセンサなどのポインティングデバイスと所定の制御プログラムで指示される動作を実行する制御デバイスを含んで構成されたユーザインタフェースであってもよい。制御デバイスは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御プログラムで指示される処理には、所定の案内画像を表示部に表示させる処理と、タッチセンサなどのポインティングデバイスで指定された座標に対応する情報や機能を示す操作信号を生成する処理が含まれる。

【0029】

記憶部１６は、信号処理部１４において処理に用いられるデータ、信号処理部１４が生成したデータを記憶する。記憶部１６は、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体を含んで構成される。
データ出力部１７は、信号処理部１４から入力されるデータとしてカメラ３０−Ａ、３０−Ｂ毎の調整パラメータであるゲインとリニアマトリックスを、カメラ３０−Ａ、３０−Ｂのそれぞれに出力する。データ出力部１７は、データ入力部１２と一体化した単一のデータ入出力インタフェースとして構成されてもよい。

【0030】

（調整ＲＧＢ値の成分）
次に、ＲＧＢ値算出部１４２において算出される調整ＲＧＢ値の成分について説明する。
図３は、本実施形態に係るカメラ撮像を表す模式図である。
照明Ｌｔからの照明光が色票Ｃｍで反射した反射光が、カメラ３０に入射される。従って、反射光の分光特性は、色票分光反射率ρ（λ）に照明分光分布Ｐ（λ）を乗じて得られる分光特性となる。色票分光反射率ρ（λ）で表される色票Ｃｍの基準色は、上述の色票画像データが示す画素毎のＲＧＢ値で表される。照明分光分布Ｐ（λ）は、上述の照明分光特性に相当する。

【0031】

カメラ３０は、光学系３１、ＩＲカットフィルタ３２、カラーフィルタ３３、イメージセンサ３４および信号処理系３５を備える。
カメラ３０に入射される反射光は、光学系３１、ＩＲカットフィルタ３２およびカラーフィルタ３３を透過し、イメージセンサ３４において色票Ｃｍの画像として撮影される。光学系３１には、レンズが含まれる。従って、カメラの分光特性は、レンズ透過特性Ｔ（λ）、ＩＲカットフィルタ透過特性Ｃ（λ）、カラーフィルタ透過特性Ｆ（λ）およびセンサ分光感度Ｓ（λ）を乗じて得られる分光特性に相当する。カラーフィルタ透過特性Ｆ（λ）は、赤、緑、青の各色信号値に対応するカラーフィルタ透過特性Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）を要素とするベクトル量である。イメージセンサ３４は、撮影した画像を表す画素毎のＲＧＢ値を示す画像データを生成する。

【0032】

信号処理系３５は、イメージセンサ３４が生成した画像データが示すＲＧＢ値にゲインＧとリニアマトリックスＭを乗じて出力ＲＧＢ値を算出する。信号処理系３５は、算出した出力ＲＧＢ値を示す出力画像データを出力する。

【0033】

コントローラ１０のＲＧＢ値算出部１４２は、上述した処理によりカメラ３０−Ａ、３０−Ｂが撮影した画像を表す調整ＲＧＢ値をシミュレートする。
調整ＲＧＢ値の算出に用いられるパラメータのうち色票画像データが示す色票分光反射率ρ（λ）は不変であってよい。照明分光分布Ｐ（λ）は、撮影現場の照明Ｌｔの種類や配置に応じて異なる。そのため、コントローラ１０の分光特性取得部１４１は、色調整の都度、分光放射照度計２０が測定した照明分光分布Ｐ（λ）を照明分光特性として取得する。レンズ透過特性Ｔ（λ）、ＩＲカットフィルタ透過特性Ｃ（λ）、カラーフィルタ透過特性Ｆ（λ）およびセンサ分光感度Ｓ（λ）は、カメラ３０に依存するパラメータである。コントローラ１０の信号処理部１４は、カメラ３０毎にこれらのパラメータをカメラ分光特性として予め取得し、取得した分光特性を記憶部１６に記憶しておけばよい。ＲＧＢ値算出部１４２により算出される基準ＲＧＢ値［Ｒ’，Ｇ’，Ｂ’］^Ｔ（Ｔは、ベクトルまたは行列の転置を示す記号）は、上述のパラメータと式（１）で表される関係を有する。

【0034】

【数1】

【0035】

式（１）において、λ_ｒ、λ_ｖは、それぞれ可視光線の波長の上限（約７６０ｎｍ）、下限（約３８０ｎｍ）を示す。

【0036】

ＲＧＢ値算出部１４２は、式（２）に示すように基準ＲＧＢ値［Ｒ’，Ｇ’，Ｂ’］^Ｔの各要素である色信号値Ｒ’，Ｇ’，Ｂ’に要素ゲインＧ_Ｒ、Ｇ_Ｇ、Ｇ_Ｂをそれぞれ乗算して調整ＲＧＢ値［Ｒ，Ｇ，Ｂ］^Ｔを算出する。

【0037】

【数2】

【0038】

（リニアマトリックスの算出方法）
次に、リニアマトリックスの算出方法について、より詳細に説明する。リニアマトリックス算出部１４５は、リニアマトリックスを算出する際、カメラ３０毎の調整ＲＧＢ値と参照ＲＧＢ値との残差を算出する。残差を算出する際、リニアマトリックス算出部１４５は、画素毎の調整ＲＧＢ値［Ｒ，Ｇ，Ｂ］^ＴをＬ＊ａ＊ｂ＊色空間値［Ｌ^＊，ａ^＊，ｂ^＊］^Ｔに変換する。Ｌ＊ａ＊ｂ＊色空間値は、国際照明委員会（ＣＩＥ：Ｃｏｍｍｉｓｓｉｏｎ ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’ｅｃｌａｉｒａｇｅ）が規定した色空間値である。Ｌ＊ａ＊ｂ＊色空間値は、人間が知覚する色を網羅的に定量化するパラメータである。Ｌ＊ａ＊ｂ＊色空間値のうち、Ｌ^＊は、明度を示す値である。ａ^＊、ｂ^＊の組は、色度を示す値である。ａ^＊とｂ^＊は、互いに補色の関係にある次元の値である。

【0039】

ここで、リニアマトリックス算出部１４５は、調整ＲＧＢ値［Ｒ，Ｇ，Ｂ］^Ｔに変換マトリックスＭ_{ＲＧＢ−ＸＹＺ}を用いてＸＹＺ値［Ｘ，Ｙ，Ｚ］^Ｔに変換する。ＸＹＺ値は、ＣＩＥが規定したＸＹＺ表色系による色空間値である。図４に例示される変換マトリックスＭ_{ＲＧＢ−ＸＹＺ}は、標準光源としてＤ６５が用いられるときに反射光が表す画像のＲＧＢ値をＸＹＺ値に線形変換するための行列である。リニアマトリックス算出部は、算出したＸＹＺ値［Ｘ，Ｙ，Ｚ］^Ｔについて式（３）を用いてＬ＊ａ＊ｂ＊色空間値［Ｌ^＊，ａ^＊，ｂ^＊］^Ｔに変換する。

【0040】

【数3】

【0041】

式（３）において、Ｘｎ、Ｙｎ、Ｚｎは、それぞれ基準となるホワイトポイントのＸＹＺ値を示す。ｆ（…）は、式（４）により表される関数である。

【0042】

【数4】

【0043】

リニアマトリックス算出部１４５は、画素毎の参照ＲＧＢ値［Ｒ_ｒ，Ｇ_ｒ，Ｂ_ｒ］^Ｔについても同様にしてＬ＊ａ＊ｂ＊色空間値［Ｌ_ｒ^＊，ａ_ｒ^＊，ｂ_ｒ^＊］^Ｔに変換する。
そして、リニアマトリックス算出部１４５は、式（５）に示すように、調整ＲＧＢ値［Ｒ，Ｇ，Ｂ］^Ｔに基づくＬ＊ａ＊ｂ＊色空間値［Ｌ^＊，ａ^＊，ｂ^＊］^Ｔと参照ＲＧＢ値［Ｒ_ｒ，Ｇ_ｒ，Ｂ_ｒ］^Ｔに基づくＬ＊ａ＊ｂ＊色空間値［Ｌ_ｒ^＊，ａ_ｒ^＊，ｂ_ｒ^＊］^Ｔの差分の二乗値の画素間での総和を二乗残差ε_ｃとしてカメラ毎に算出する。

【0044】

【数5】

【0045】

式（５）において、ｉ、ｃは、それぞれ画素、カメラを示すインデックスである。総和を求める際にリニアマトリックス算出部１４５が参照する画素は、色票Ｃｍの各基準色を表す領域内に少なくとも１画素ずつ含まれていればよい。二乗残差ε_ｃは、調整ＲＧＢ値に基づく色空間値と参照ＲＧＢ値［Ｒ_ｒ，Ｇ_ｒ，Ｂ_ｒ］に基づく色空間値との差の大きさを定量的に表す指標値として算出される。

【0046】

リニアマトリックス算出部１４５は、二乗残差ε_ｃがより小さくなるようにカメラ３０毎にリニアマトリックスＭを算出する。リニアマトリックス算出部１４５は、リニアマトリックスＭを算出する際、公知の最適化アルゴリズム、例えば、ニュートン法、準ニュートン法などの手法を用いてもよい。従って、リファレンスカメラ３０−ｒで撮影された参照画像の参照信号値と、調整対象のカメラ３０で撮影された画像に基づく調整信号値との間で、人間が知覚する色の感覚を表すＬ＊ａ＊ｂ＊色空間値を本位として、残差が少なくなるようにリニアマトリックスＭが算出される。そのため、算出されたリニアマトリックスＭを用いることで調整対象のカメラ３０がそれぞれ撮影した画像の色が、リファレンスカメラ３０−rで撮影された参照画像の色に色覚上近似される。

【0047】

以上に説明したように、本実施形態の一構成例であるコントローラ１０は、分光放射照度計２０が測定した照明光の分光特性を取得する分光特性取得部１４１を備える。コントローラ１０は、所定の基準色を表すＲＧＢ値に、照明光の分光特性、色調整の対象である画像を撮影するカメラ３０の分光特性および調整パラメータが表す分光特性を作用して調整ＲＧＢ値を算出するＲＧＢ値算出部１４２を備える。また、コントローラ１０は、色調整において参照する画像を撮影するリファレンスカメラ３０−ｒからの基準色の参照信号値と調整ＲＧＢ値との残差を少なくするように調整パラメータを算出する調整パラメータ設定部１４３を備える。
この構成によれば、カメラ３０が撮影した画像の色調整に用いる調整パラメータが、測定された照明光の分光特性に基づいて得られる調整ＲＧＢ値が参照ＲＧＢ値に近似するように算出される。そのため、算出した調整パラメータを用いることで複数のカメラ３０のそれぞれの撮影環境に応じて異なる照明光の分光特性に関わらず撮影した画像の色が互いに近似されるように調整することができる。

【0048】

また、調整パラメータ設定部１４３は、基準色の参照ＲＧＢ値と調整ＲＧＢ値との残差として、調整ＲＧＢ値に基づく色空間値と調整ＲＧＢ値に基づく色空間値との差を算出することを特徴とする。
この構成によれば、複数のカメラ３０のそれぞれが撮影した画像について、人間が知覚する色を定量的に表す色空間の領域において、画像の色を互いに近似させることができる調整パラメータを算出することができる。

【0049】

（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図５は、本実施形態に係る色調整システム１の機能構成を示すブロック図である。
本実施形態の一構成例である色調整システム１では、カメラ３０−Ａ、３０−Ｂの記憶部（図示せず）には、それぞれを特定する識別情報として互いに異なる機器ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）が設定させておく。

【0050】

コントローラ１０の記憶部１６には、予め機器ＩＤと、当該機器ＩＤにより特定されるカメラ３０のカメラ分光特性を示すカメラ分光特性データとを対応付けて記憶させておく。
コントローラ１０は、さらに機器検出部１８を含んで構成される。機器検出部１８は、データ入力部１２とデータ出力部１７に有線または無線で接続されたカメラ３０−Ａ、３０−Ｂを検出する。機器検出部１８は、例えば、データ入力部１２に接続された機器としてカメラ３０−Ａ、３０−Ｂに接続確認信号を送信する。カメラ３０−Ａ、３０−Ｂが備える制御部（図示せず）は、コントローラ１０から接続確認信号を受信するとき、その応答として自機の機器ＩＤを含む応答信号をコントローラ１０に出力する。機器検出部１８は、接続確認信号の送信から所定時間（例えば、１秒）以内に受信する応答信号に含まれる機器ＩＤが示すカメラ３０を特定する。機器検出部１８は、特定したカメラ３０の機器ＩＤをＲＧＢ値算出部１４２に出力する。

【0051】

ＲＧＢ値算出部１４２は、機器検出部１８から入力された機器ＩＤに対応するカメラ分光特性データを記憶部１６から読み取り、読み取ったカメラ分光特性データが示すカメラ分光特性を当該機器ＩＤが示すカメラ３０に係る基準ＲＧＢ値ひいては調整ＲＧＢ値の算出に用いる。従って、リニアマトリックス算出部１４５は、読み取ったカメラ分光特性データが示すカメラ分光特性を用いて算出した調整ＲＧＢ値と参照ＲＧＢ値との残差が小さくなるようにリニアマトリックスを算出する。

【0052】

図６は、本実施形態に係る分光特性テーブルの一例を示す図である。
図６に示す例では、分光特性テーブルは、機器ＩＤとカメラ分光特性データとが対応付けて記憶部１６に記憶されるデータテーブルである。分光特性テーブルには、複数の機器ＩＤのそれぞれとカメラ分光特性データが対応付けられる。図６の第２行に示す例では、機器ＩＤ「０００１１」とカメラ分光特性データを格納したデータファイル「Ｓｐｅｃ＿Ｃｍ＿Ａ」とが対応付けられている。

【0053】

（色調整処理）
次に、本実施形態に係る色調整処理について説明する。
図７は、本実施形態に係る色調整処理を示すフローチャートである。
（ステップＳ１０１）機器検出部１８は、データ入力部１２に接続された機器であるカメラ３０から受信した応答信号に含まれる機器ＩＤを検出する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）ＲＧＢ値算出部１４２は、検出した機器ＩＤに対応するカメラ分光特性データを記憶部１６から取得する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）リニアマトリックス算出部１４５は、取得したカメラ分光特性データを用いて算出された調整ＲＧＢ値と参照ＲＧＢ値との残差の大きさが小さくなるようにリニアマトリックスを算出する。その後、図７に示す処理を終了する。

【0054】

図７に示す処理によれば、カメラ３０が交換される場合でも、それぞれのカメラ３０が撮影した画像の色がリファレンスカメラ３０−ｒが撮影した画像の色に近似するように調整される。このことは、撮影現場において一度に複数のカメラ３０が用いられる場合や、カメラ３０を交換する際に好適である。

【0055】

（変形例）
次に、本実施形態の変形例について説明する。
本変形例では、記憶部１６において、カメラ３０に装着されうる付属機器、例えば、レンズ、フィルタなどを識別する機器ＩＤと、付属機器の分光特性を示す分光特性データをさらに対応付けて記憶させておいてもよい。その場合、カメラ分光特性データが示すカメラ分光特性として、レンズやフィルタなど着脱される付属機器の分光特性が含まれないカメラ３０の基本的な分光特性を示すカメラ分光特性データを記憶部１６に記憶しておく。

【0056】

図８は、本変形例に係る分光特性テーブルの一例を示す図である。
図８に示す例では、分光特性テーブルには、カメラ３０−Ａ、３０−Ｂの機器ＩＤとして「０００１１」、「０００１２」、の他、レンズの機器ＩＤとして「０００２１」、「０００２２」、フィルタの機器ＩＤとして「０００３１」、「０００３２」が含まれる。機器ＩＤ「０００１１」、「０００１２」、「０００２１」、「０００２２」、「０００３１」、「０００３２」には、それぞれの機器ＩＤが示す機器の分光特性データ「Ｓｐｅｃ＿Ｃｍ＿Ａ」、「Ｓｐｅｃ＿Ｃｍ＿Ｂ」、「Ｓｐｅｃ＿Ｌｎ＿Ａ」、「Ｓｐｅｃ＿Ｌｎ＿Ｂ」、「Ｓｐｅｃ＿Ｆｌ＿Ａ」、「Ｓｐｅｃ＿Ｆｌ＿Ｂ」が対応付けられている。

【0057】

カメラ３０は、制御部（図示せず）と付属機器が装着される装着部を備える。制御部は装着部への付属機器の装着の有無を検出する。付属機器が装着されている場合には、制御部は装着されている付属機器を特定する。例えば、装着部は導体からなる接点を備え、接点は付属機器が装着されるとき当該付属機器と電気的に接続される。制御部は、装着部に装着された付属機器を検出する。制御部は、付属機器を検出する際、接点を介して付属機器に電気信号である装着確認信号を送信する。付属機器は、制御部から装着確認信号を受信するとき、その応答として電気信号である装着応答信号を制御部に送信する。装着応答信号には当該付属機器の機器ＩＤが搬送される。制御部は、装着確認信号の送信後、所定時間以内に装着応答信号を受信するとき、受信した装着応答信号から機器ＩＤを検出する。

【0058】

なお、接続部が付属機器を検出するために、接点が付属機器と相互に嵌合する形状を有し、その形状が当該付属機器の種別に応じて異なっていてもよい。制御部は、接点の電気抵抗または押圧力を測定し、測定した電気抵抗または押圧力が、所定の電気抵抗または押圧力の閾値から有意に変化した接点を特定する。そして、制御部は、特定した接点に対応する付属機器の機器ＩＤを特定する。付属機器は、カメラ３０と必ずしも電気的に接続されなくてもよく、無線で接続されてもよい。
制御部は、コントローラ１０からの接続確認信号を受信するとき、検出した付属機器の機器ＩＤをさらに含む応答信号をコントローラ１０に送信する。

【0059】

機器検出部１８は、カメラ３０の制御部から入力される応答信号にさらに含まれる機器ＩＤが示す付属機器を特定する。よって、機器検出部１８は、接続されたカメラ３０の他、そのカメラ３０に装着されたレンズ、フィルタなどの付属機器を検出することができる。
機器検出部１８は、接続されたカメラの機器ＩＤの他、検出した付属機器の機器ＩＤをＲＧＢ値算出部１４２に出力する。

【0060】

ＲＧＢ値算出部１４２は、機器検出部１８から入力された付属機器の機器ＩＤに対応する分光特性データを記憶部１６から読み取る。ＲＧＢ値算出部１４２は、読み取った分光特性データをさらに用いて当該付属機器が装着されたカメラ３０に係る基準ＲＧＢ値ひいては調整ＲＧＢ値を算出する。リニアマトリックス算出部１４５は、読み取った付属機器の分光特性データが示す分光特性を用いて算出された調整ＲＧＢ値と参照ＲＧＢ値との残差の大きさが小さくなるようにリニアマトリックスを算出する。

【0061】

（色調整処理）
次に、本変形例に係る色調整処理について説明する。次に説明する例では、付属機器がレンズとフィルタである場合を例にする。
図９は、本変形例に係る色調整処理を示すフローチャートである。
図９に示す色調整処理は、ステップＳ１１１〜Ｓ１１７の処理を有する。ステップＳ１１１、Ｓ１１２の処理は、図７に示すステップＳ１０１、Ｓ１０２の処理と同様であるため、説明を省略する。但し、ステップＳ１１２の処理の終了後、ステップＳ１１３の処理に進む。

【0062】

（ステップＳ１１３）機器検出部１８は、カメラ３０から受信した応答信号からレンズの機器ＩＤを検出できるか否かを判定する。検出できると判定された場合（ステップＳ１１３ ＹＥＳ）、ステップＳ１１４の処理に進む。検出できないと判定された場合（ステップＳ１１３ ＮＯ）、ステップＳ１１５の処理に進む。
（ステップＳ１１４）ＲＧＢ値算出部１４２は、検出したレンズの機器ＩＤに対応する分光特性データを記憶部１６から取得する。その後、ステップＳ１１５の処理に進む。

【0063】

（ステップＳ１１５）機器検出部１８は、カメラ３０から受信した応答信号からフィルタの機器ＩＤを検出できるか否かを判定する。検出できると判定された場合（ステップＳ１１５ ＹＥＳ）、ステップＳ１１６の処理に進む。検出できないと判定された場合（ステップＳ１１５ ＮＯ）、ステップＳ１１７の処理に進む。
（ステップＳ１１６）ＲＧＢ値算出部１４２は、検出したレンズの機器ＩＤに対応する分光特性データを記憶部１６から取得する。その後、ステップＳ１１７の処理に進む。

【0064】

（ステップＳ１１７）リニアマトリックス算出部１４５は、取得した分光特性データを用いて算出された調整ＲＧＢ値と参照ＲＧＢ値との残差の大きさが小さくなるようにリニアマトリックスを算出する。ＲＧＢ値算出部１４２は、調整ＲＧＢ値を算出する際、色票画像データが示す画素毎のＲＧＢ値に、検出したカメラに対応する照明の照明分光特性と当該カメラのカメラ分光特性データが示すカメラ分光特性の他、検出したレンズの分光特性データが示す分光特性と検出したフィルタの分光特性データが示す分光特性を乗算して調整ＲＧＢ値を算出する。従って、レンズ、フィルタが検出されない場合には、ＲＧＢ値算出部１４２は、検出されないレンズ、フィルタの分光特性を乗算せずに調整ＲＧＢ値を算出する。その後、図９に示す処理を終了する。

【0065】

図９に示す処理によれば、カメラ３０へのレンズやフィルタの着脱や交換に応じて撮影される画像の色が変化する場合でも、変化した色がリファレンスカメラ３０−ｒで撮像される画像の色に近似するように調整される。このことは、撮影現場において撮影に用いるカメラ３０においてレンズやフィルタを着脱する場合や、他のレンズやフィルタに交換する場合に好都合である。

【0066】

以上に説明したように、本実施形態に係るコントローラ１０は、カメラ３０の分光特性が記憶された記憶部１６と、カメラ３０の接続を検出する機器検出部１８と、を備える。ＲＧＢ値算出部１４２は、カメラ３０の分光特性として機器検出部１８が検出したカメラ３０の分光特性を用いて調整ＲＧＢ値を算出する。
この構成により、カメラ３０が交換されるとき、それぞれのカメラ３０が撮影した画像の色がリファレンスカメラ３０−ｒが撮影した画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、カメラ３０の交換の有無に関わらず、撮影した画像の色が複数のカメラ３０間で互いに近似するように色調整を行うことができる。また、カメラ３０の分光特性の設定に係るユーザの操作を回避することができる。

【0067】

また、本実施形態に係るコントローラ１０において、記憶部１６には、カメラ３０に装着される付属機器の分光特性が記憶される。機器検出部１８は、カメラ３０に装着される付属機器の装着を検出する。ＲＧＢ値算出部１４２は、機器検出部１８が装着を検出した付属機器の分光特性をさらに作用して調整ＲＧＢ値を算出することを特徴とする。
この構成により、カメラ３０へのレンズやフィルタなどの付属機器の着脱もしくは交換の状態に応じて、カメラ３０が撮影した画像の色がリファレンスカメラ３０−ｒで撮影される画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、カメラ３０において付属機器の着脱もしくは交換の有無の状態や、これらの状態が互いに異なる複数のカメラ３０間で、撮影した画像の色が互いに近似するように色調整を行うことができる。また、カメラ３０に装着した付属機器の分光特性の設定に係るユーザの操作を回避することができる。

【0068】

以上、図面を参照してこの発明の実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0069】

上述した実施形態では各種の画像データで表される画素毎の信号値がＲＧＢ表色系に基づくＲＧＢ値であることを例にしたが、これには限られない。信号値は、他の表色系、例えば、ＹＣｒＣｂ表色系に基づくＹＣｒＣｂ値であってもよい。
上述した実施形態では、調整信号値と参照信号値の差の大きさの指標値として、調整信号値を変換したＬ＊ａ＊ｂ＊色空間値と参照信号値を変換したＬ＊ａ＊ｂ＊色空間値との差の画素間の平方和である二乗残差ε_ｃを例にしたがこれには限らない。当該指標値は、調整信号値と参照信号値の差の画素間の平方和であってもよい。
また、カメラ３０間で色調整に共通に用いる画像として色票Ｃｍが表す画像を用いることを例にしたが、これには限られない。色調整に用いる画像は、複数個の基準色を表す領域を含み、人間が知覚可能な色域全体に複数個の基準色が分布する画像であればよい。

【0070】

コントローラ１０が定めた調整パラメータは、必ずしも調整対象のカメラ３０に出力されなくともよい。コントローラ１０は、調整対象のカメラ３０が撮影した画像の画像データを処理する機器に定めた調整パラメータを出力すればよい。その場合には、カメラ３０において信号処理系３５が省略されてもよい。
コントローラ１０は、いずれかのカメラ３０と一体化した単一の色調整装置として構成されてもよい。

【0071】

また、コントローラ１０の機能は、コンピュータにおいて実現されてもよい。その場合、コントローラ１０の機能を実現するコンピュータは、ＣＰＵなどの制御デバイスを含んで構成される。制御デバイスは、インストールした制御プログラムで指示される処理を実行することによってデータ入力部１２、信号処理部１４、操作部１５、記憶部１６およびデータ出力部１７のいずれか、またはそれらの任意の組み合わせとして機能する。

【符号の説明】

【0072】

１…色調整システム、１０…コントローラ、１２…データ入力部、１４…信号処理部、１５…操作部、１６…記憶部、１７…データ出力部、１８…機器検出部、２０（２０−Ａ、２０−Ｂ）…分光放射照度計、３０（３０−Ａ、３０−Ｂ）…カメラ、１４１…分光特性取得部、１４２…ＲＧＢ値算出部、１４３…調整パラメータ設定部、１４４…ゲイン設定部、１４５…リニアマトリックス算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】