ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133949
(43)【公開日】2024-10-03
(54)【発明の名称】情報処理装置並びにコンピュータプログラム
(51)【国際特許分類】
H04N 1/60 20060101AFI20240926BHJP
G06T 1/00 20060101ALI20240926BHJP
H04N 9/64 20230101ALI20240926BHJP
G01J 3/52 20060101ALI20240926BHJP
【ＦＩ】
H04N1/60
G06T1/00 510
H04N9/64 A
G01J3/52
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023043985
(22)【出願日】2023-03-20
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＵＮＩＸ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】武 昌宏
【テーマコード（参考）】
2G020
5B057
5C066
【Ｆターム（参考）】
2G020AA08
2G020DA05
2G020DA13
2G020DA32
2G020DA34
2G020DA35
5B057CA01
5B057CA12
5B057CA16
5B057CB01
5B057CB12
5B057CB16
5B057CE17
5B057CE18
5B057DA17
5B057DC25
5C066AA11
5C066BA20
5C066CA08
(57)【要約】
【課題】撮像側の被写体の色を観察側で再現する情報処理装置を提供する。
【解決手段】情報処理装置は、ｎ個のサンプル色からｒ個のサンプル色を選択し、撮像装置が選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値と、観察環境における選択された各サンプル色のＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出し、撮像装置が元のｎ個のサンプル色を撮像した場合のＲＧＢ値と観察環境における元のｎ個のサンプル色のＸＹＺ値との変換情報に起因する誤差を算出し、誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する。
【選択図】 図１
【解決手段】情報処理装置は、ｎ個のサンプル色からｒ個のサンプル色を選択し、撮像装置が選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値と、観察環境における選択された各サンプル色のＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出し、撮像装置が元のｎ個のサンプル色を撮像した場合のＲＧＢ値と観察環境における元のｎ個のサンプル色のＸＹＺ値との変換情報に起因する誤差を算出し、誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部と（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部と、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部と、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部と、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部と、
を具備し、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理装置。
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部と、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部と、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部と、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部と、
を具備し、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理装置。
【請求項2】
前記選択部は、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記第１の取得部は、前記選択部によって選択された各サンプル色の分光反射率特性と、前記撮像装置の分光感度特性と、前記撮像環境にある撮像光源の分光分布特性に基づいて、前記撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記第２の取得部は、前記観察環境にある観察光源の分光分布特性を用いて、前記選択部によって選択された各サンプル色を観察する場合のＸＹＺ値を等色関数に基づいて算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
前記撮像環境において前記撮像装置が精度評価用サンプル色を撮像した場合に前記撮像装置が出力する精度評価用ＲＧＢ値を取得する第３の取得部と、
前記観察環境において前記精度評価用サンプル色を観察したときの精度評価用ＸＹＺ値を取得する第４の取得部と、
をさらに備え、
前記誤差算出部は、前記精度評価用ＲＧＢ値と、前記精度評価用ＸＹＺ値を用いて前記変換情報の誤差を算出する、
請求項１に記載の情報処理装置。
前記観察環境において前記精度評価用サンプル色を観察したときの精度評価用ＸＹＺ値を取得する第４の取得部と、
をさらに備え、
前記誤差算出部は、前記精度評価用ＲＧＢ値と、前記精度評価用ＸＹＺ値を用いて前記変換情報の誤差を算出する、
請求項１に記載の情報処理装置。
【請求項6】
前記第３の取得部は、精度評価用サンプル色の分光反射率特性と、前記撮像装置の分光感度特性と、前記撮像環境にある光源の分光分布特性に基づいて、前記精度評価用ＲＧＢ値を算出し、
前記第４の取得部は、前記観察環境にある光源の分光分布特性を用いて、前記精度評価用ＸＹＺ値を等色関数に基づいて算出する、
請求項５に記載の情報処理装置。
前記第４の取得部は、前記観察環境にある光源の分光分布特性を用いて、前記精度評価用ＸＹＺ値を等色関数に基づいて算出する、
請求項５に記載の情報処理装置。
【請求項7】
前記変換情報を用いて、前記精度評価用ＲＧＢ値をＸＹＺ値に変換し、又は、前記精度評価用ＸＹＺ値をＲＧＢ値に変換する変換部をさらに備え、
前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較し、又は、前記変換部が前記精度評価用ＸＹＺ値から変換したＲＧＢ値を前記精度評価用ＲＧＢ値と比較して、前記変換情報の誤差を算出する、
請求項６に記載の情報処理装置。
前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較し、又は、前記変換部が前記精度評価用ＸＹＺ値から変換したＲＧＢ値を前記精度評価用ＲＧＢ値と比較して、前記変換情報の誤差を算出する、
請求項６に記載の情報処理装置。
【請求項8】
前記誤差算出部は、色再現の目標又は前記変換情報の適用分野に基づいて、誤差算出の目標を設定する、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項9】
前記誤差算出部は、前記目標に応じてサンプル色毎の重み付けして、誤差を算出する、
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較する際に、各ＸＹＺ値の２次元ｘｙ座標を算出した後、色毎に座標距離の平均、総和、標準偏差、又は、互いのｘ（ｙ）値の誤差平均、総和、標準偏差を算出する、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項11】
前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較する際に、各各ＸＹＺ値をそれぞれＬ＊ａ＊ｂ値に変換した後、それらの色差を示すＤＥ２０００値を精度評価用サンプル色毎に算出して、サンプル色毎のＤＥ２０００値の平均、総和、標準偏差を算出する、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項12】
前記選択部は、一般化簡略勾配法（Ｇｅｎｅｒａｌｉｚｅｄ Ｒｅｄｕｃｅｄ Ｇｒａｄｉｅｎｔ）を用いて、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項13】
ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
コンピュータプログラム。
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
コンピュータプログラム。
【請求項14】
変換情報を使って撮像装置から出力されたＲＧＢ値をＸＹＺ値に変換し、
前記変換情報は、ｎ個のサンプル色の中から選択された最適なｒ個のサンプル色を用いて（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、前記最適なｒ個のサンプル色を撮像した前記撮像装置が出力するＲＧＢ値を、観察環境において前記最適なｒ個のサンプル色を観察したときのＸＹＺ値に変換できるように算出されたものである、
情報処理装置。
前記変換情報は、ｎ個のサンプル色の中から選択された最適なｒ個のサンプル色を用いて（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、前記最適なｒ個のサンプル色を撮像した前記撮像装置が出力するＲＧＢ値を、観察環境において前記最適なｒ個のサンプル色を観察したときのＸＹＺ値に変換できるように算出されたものである、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術（以下、「本開示」とする）は、色情報を処理する情報処理装置並びにコンピュータプログラムに関する。
【背景技術】
【0002】
カメラで撮像した被写体の画像を、遠隔地で観察するほとんどの場合において、正しい色を再現できないという問題がある。但し、ここで言う遠隔地とは、例えば、カメラの撮像環境とは光源などの異なる観察環境のことを意味し、撮像環境と観察環境が物理的に大きく隔たっているとは限らない。また、画像を観察するとは画像を表示装置の画面に表示することを意味する。したがって、色を再現できないとは、撮像環境下の被写体の色を表示画面上で正しく表示できないことである。この場合の正しい色は、その被写体を観察環境で観察したときの色である。正しい色が再現されない理由として、機材（カメラなど）の設定や特性、撮像側と観察側の環境光源の相違などが挙げられる。
【0003】
例えば、撮像装置の分光感度特性に関する特性データと、撮像装置が撮像を行う撮像環境にある光源の分光分布特性に関する撮像側分光データと、所定のサンプル色の分光反射率特性に関する色分光データを取得し、これら特性データ、撮像側分光データ、及び色分光データを用いて撮像装置が所定のサンプル色を撮像した場合に撮像装置が出力するＲＧＢ値を算出する一方、その撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得して、この表示側分光データと上記の色分光データを用いて、表示装置に所定のサンプル色を表示する場合のＸＹＺ値を算出して、さらにＲＧＢ値をＸＹＺ値に変換する変換情報を算出する情報処理装置が提案されている（特許文献１を参照のこと）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１８２５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の目的は、撮像側の被写体の色を観察側で再現するための色情報の処理を行う情報処理装置並びにコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部と（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部と、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部と、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部と、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部と、
を具備し、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理装置である。前記選択部は、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する。
ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部と（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部と、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部と、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部と、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部と、
を具備し、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理装置である。前記選択部は、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する。
【0007】
前記第１の取得部は、前記選択部によって選択された各サンプル色の分光反射率特性と、前記撮像装置の分光感度特性と、前記撮像環境にある撮像光源の分光分布特性に基づいて、前記撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を算出することができる。
【0008】
前記第２の取得部は、前記観察環境にある観察光源の分光分布特性を用いて、前記選択部によって選択された各サンプル色を観察する場合のＸＹＺ値を等色関数に基づいて算出することができる。
【0009】
第１の側面に係る情報処理装置は、前記撮像環境において前記撮像装置が精度評価用サンプル色を撮像した場合に前記撮像装置が出力する精度評価用ＲＧＢ値を取得する第３の取得部と、前記観察環境において前記精度評価用サンプル色を観察したときの精度評価用ＸＹＺ値を取得する第４の取得部をさらに備える。
【0010】
そして、前記誤差算出部は、前記精度評価用ＲＧＢ値と、前記精度評価用ＸＹＺ値を用いて前記変換情報の誤差を算出する。前記誤差算出部は、色再現の目標又は前記変換情報の適用分野に基づいて、誤差算出の目標を設定する。
【0011】
前記選択部は、一般化簡略勾配法又はその他の最適化アルゴリズムを用いて、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する。
【0012】
また、本開示の第２の側面は、
ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
コンピュータプログラムである。
ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
コンピュータプログラムである。
【0013】
本開示の第２の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。コンピュータプログラムは、さまざまなプログラムコードを実行可能なコンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能である。そして、本開示の第２の側面に係るコンピュータプログラムをいずれかの媒体経由でコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
【0014】
また、本開示の第３の側面は、
変換情報を使って撮像装置から出力されたＲＧＢ値をＸＹＺ値に変換し、
前記変換情報は、ｎ個のサンプル色の中から選択された最適なｒ個のサンプル色を用いて（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、前記最適なｒ個のサンプル色を撮像した前記撮像装置が出力するＲＧＢ値を、観察環境において前記最適なｒ個のサンプル色を観察したときのＸＹＺ値に変換できるように算出されたものである、情報処理装置である。
変換情報を使って撮像装置から出力されたＲＧＢ値をＸＹＺ値に変換し、
前記変換情報は、ｎ個のサンプル色の中から選択された最適なｒ個のサンプル色を用いて（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、前記最適なｒ個のサンプル色を撮像した前記撮像装置が出力するＲＧＢ値を、観察環境において前記最適なｒ個のサンプル色を観察したときのＸＹＺ値に変換できるように算出されたものである、情報処理装置である。
【発明の効果】
【0015】
本開示によれば、最適に選択されたサンプル色の組み合わせを用いて変換情報を算出して、高精度に色再現を実現する情報処理装置並びにコンピュータプログラムを提供することができる。
【0016】
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【0017】
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
以下、図面を参照しながら本開示の実施形態について、以下の順に従って説明する。
【0020】
Ａ．概要
Ａ－１．色再現システムの概要
Ａ－２．技術的課題と解決手段
Ｂ．機能的構成
Ｃ．誤差算出について
Ｄ．最適化アルゴリズムについて
Ｅ．ＲＧＢ⇒ＸＹＺ変換について
Ｆ．ＲＧＢ値の取得方法に応じた機能的構成
Ｆ－１．実際に撮像してＲＧＢ値を取得する場合
Ｆ－２．計算によりＲＧＢ値を取得する場合
Ｆ－３．実装例
Ｆ－４．カメラの機能的構成
Ｆ－５．表示装置の機能的構成
Ｇ．誤差の机上算出
Ｈ．処理フロー
Ｉ．効果
Ｊ．情報処理装置のハードウェア構成
Ａ－１．色再現システムの概要
Ａ－２．技術的課題と解決手段
Ｂ．機能的構成
Ｃ．誤差算出について
Ｄ．最適化アルゴリズムについて
Ｅ．ＲＧＢ⇒ＸＹＺ変換について
Ｆ．ＲＧＢ値の取得方法に応じた機能的構成
Ｆ－１．実際に撮像してＲＧＢ値を取得する場合
Ｆ－２．計算によりＲＧＢ値を取得する場合
Ｆ－３．実装例
Ｆ－４．カメラの機能的構成
Ｆ－５．表示装置の機能的構成
Ｇ．誤差の机上算出
Ｈ．処理フロー
Ｉ．効果
Ｊ．情報処理装置のハードウェア構成
【0021】
Ａ．概要
Ａ－１．色再現システムの概要
図２２には、カメラで撮像した被写体の画像を、遠隔地で観察するほとんどの場合において、正しい色を再現する色再現システム２２００の構成を概略的に示している。図示の色再現システム２２００は、撮像装置２２１０と、表示装置２２２０と、変換装置２２３０と、情報処理装置２２４０を備えている。
Ａ－１．色再現システムの概要
図２２には、カメラで撮像した被写体の画像を、遠隔地で観察するほとんどの場合において、正しい色を再現する色再現システム２２００の構成を概略的に示している。図示の色再現システム２２００は、撮像装置２２１０と、表示装置２２２０と、変換装置２２３０と、情報処理装置２２４０を備えている。
【0022】
撮像装置２２１０は、撮像光源２２１１が設置されている撮像環境下で、被写体を撮像する。一方、表示装置２２２０は、遠隔地、言い換えれば観察光源２２２１が設置された、撮像環境とは異なる観察環境下で、撮像装置２２１０が撮像した画像を観察者（図示しない）に表示する。
【0023】
撮像装置２２１０が撮像した撮像画像を表示装置２２２０に表示する場合、観察光源２２２１を観察側光源とする観察環境下で観察者が視認する被写体の色を推定して、表示装置２２２０で再現することが望まれる場合がある。
【0024】
例えば、病院Ａ（撮像装置２２１０）で患者を撮像した撮像画像を別の病院Ｂのモニタ（表示装置２２２０）に表示して医者（観察者）が診察を行う場合、モニタに表示される患者の顔色を、病院Ｂで医者が観察した場合と同じ色で再現することで、医者は病院Ａにいる患者を、病院Ｂにいる場合と同じように遠隔的に診察することができる。遠隔医療において、遠隔画像の色を正しく表示できないと、医者の診断に深刻な影響を及ぼすおそれがある。
【0025】
撮像装置２２１０が撮像した撮像画像から観察光源２２２１下での色を再現する方法として、撮像画像の色座標ＲＧＢ値を色絶対座標ＸＹＺ値として取得する方法が挙げられる。色再現システム２２００では、被写体及び撮像光源２２１１の色座標をＸＹＺ値として取得することにより、撮像装置２２１０による撮像から表示装置２２２０による表示までの色の絶対座標を保持することができる。なお、ＸＹＺ表色系において、Ｘは赤色の強さを示す値、Ｙは緑色の強さと明るさ（輝度）を示す値、Ｚは青色の強さを示す値であり、ＲＧＢ表色系と違って、すべての色を表現することができる。
【0026】
撮像装置２２１０が、人間の目の分光特性を模した、いわゆる「ＸＹＺカメラ」であればよいが、ＸＹＺカメラは高価であり一般的でない。そこで、色再現システム２２００では、撮像装置２２１０に、ＲＧＢ画像を撮像する、いわゆる「ＲＧＢカメラ」を用いることを想定している。そして、変換装置２２３０が、デバイス依存のＲＧＢ値からＸＹＺ値に変換する変換処理を行って、ＸＹＺ値の撮像画像を取得することで、表示装置２２２０での色再現性を実現するようにしている。
【0027】
情報処理装置２２４０は、変換装置２２３０においてＲＧＢ値をＸＹＺ値に変換するための変換処理に用いられる、変換情報を生成する。すなわち、情報処理装置２２４０は、撮像環境下で撮像装置２２１０が撮像した画像（ＲＧＢ値）を観察環境下の表示装置２２２０に表示するときに、観察者が被写体を直接観察したときに視認する色と同じ色（ＸＹＺ値）を表示装置２２２０に表示するための変換情報を生成する。情報処理装置２２４０は、変換情報の算出時に、撮像光源２２１１及び観察光源２２２１の各分光特性データを使用する。情報処理装置２２４０は、例えばパーソナルコンピュータ（ＰＣ）などの一般的な演算処理装置でもよいし、変換情報を生成するための少なくとも一部の機能がクラウドサーバで実現されていてもよい。
【0028】
Ａ－２．技術的課題と解決手段
カメラが撮像したＲＧＢ画像のＲＧＢ値をＸＹＺ値に変換するための変換情報を生成する方法として、例えば以下の２つの方法方が挙げられる。
カメラが撮像したＲＧＢ画像のＲＧＢ値をＸＹＺ値に変換するための変換情報を生成する方法として、例えば以下の２つの方法方が挙げられる。
【0029】
（１）分光反射率特性が既知の（印刷された）色票をカメラで撮像し、同じ色票の観察環境下での色再現値をあらかじめ算出しておき、カメラ出力値と比較することで、補正用のデータを基に変換係数を算出する。
【0030】
（２）特許文献１に記載されているように、撮像するカメラの分光感度特性（カラーフィルター（ＣＦ）の分光特性）に関する特性データと、撮像環境及び観察環境の各光源の分光特性を用いて、データとして保持しているサンプル色の分光反射率特性（サンプル色分光データ）を基に変換係数を算出する。
【0031】
上記の方法（１）及び（２）はいずれも、限られた機材と環境の範囲で、より正しい色を再現すること（すなわち、色のマッチング）を目的とするものである。
【0032】
また、上記の方法（１）及び（２）はいずれも、分光反射率特性が既知の色票を用いて変換係数を算出する点では共通するが、方法（１）では実際に印刷された色票をカメラで撮像するのに対し、方法（２）ではサンプル色の分光反射率特性をデータとして保持し、仮想的に色票の撮像を行う（すなわち、カメラの撮像画像のＲＧＢ値を計算で求める）という点でことなる。いずれの方法も、色票が色のマッチングの基準となるため、色票の内容（サンプル色の数）は非常に重要である。
【0033】
方法（２）では、色票の分光反射率特性のデータを保持して、カメラの撮像画像のＲＧＢ値を計算で求めるので、色の数に事実上制約がない。一方、方法（１）では、実際に印刷された色票をカメラで撮像するので、印刷コストの面では色数は少ないほど良い。また、上記の通り、色票が色のマッチングの基準となるため、印刷コストとマッチング精度を両立させる必要がある。
【0034】
本願の出願時点では、色票の色の組み合わせを決める明確な手法は見当たらない。例えば、「マクベスチャート」という名称で広く知られている２４色を使用するマクベスカラーチャートや、既に存在する複数のカラーチャートなどから幾つかを選択して用いられ、又はすべてが用いられてきた。マクベスカラーチャートは２４色の分光反射率特性が規定されており、色票として使用可能であるが、コストや入手性の観点から、色再現（又は、変換情報の計算のため）に適用することは一般的ではない。
【0035】
本開示では、変換情報の生成に用いる色票の色数を９色とした。９色とは、例えば、元のマクベスカラーチャートの分光反射率が規定された２４色の中から９色を選択することを意味する。言い換えれば、本開示では、分光反射率が既知のｎ個の中から選び出したｒ個の組み合わせで構成される色票を、変換情報の生成に用いる（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）。
【0036】
マクベスカラーチャートの元の２４色から９色を選択する際、マッチングの目標（又は、色再現が適用される適用分野）に適応した選択方法が考えられる。例えば、人肌の色を高精度で再現するというマッチング目標の場合、経験的には、肌色を中心とし、Ｒ，Ｇ，Ｂ３原色やＧｒａｙ系などを含めた９色からなる色票を用いて変換情報を生成することが考えられる。しかしながら、このように選んだ９色がマッチング目標に対して必ずしも最適とは限らない。そもそも経験的に選択した色の組み合わせを色票に用いた場合、マッチング精度が向上するという根拠がない。また、マッチング精度はカメラ、撮像側光源、観察側光源などの機材の影響を受けると考えられるが、人肌⇒Ｒ，Ｇ，Ｂ３原色及びＧｒａｙ系という経験則は機材の影響をカバーしない。
【0037】
そこで、本明細書では、本開示として、マッチングの目標（又は、色再現が適用される適用分野）に対して、色票に使用するのに最適な色の組み合わせを選択する技術について提案する。また、本開示では、機材の影響を考慮して、色票に使用するのに最適な色の組み合わせを選択する技術について提案する。
【0038】
Ｂ．機能的構成
図１には、本開示に適用される情報処理装置１００の機能的構成例を示している。情報処理装置１００は、マッチングの目標（又は、色再現が適用される適用分野）に対して、ＲＧＢ値からＸＹＺ値へ変換するための変換情報の生成に用いる色票として最適な色を、分光反射率が既知のｎ個の中から選び出したｒ個だけ選択する処理を実施する（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）。情報処理装置１００は、例えばＰＣなどの一般的な演算処理装置でもよいし、図１中の構成要素の少なくとも一部の機能がクラウドサーバで実現されていてもよい。
図１には、本開示に適用される情報処理装置１００の機能的構成例を示している。情報処理装置１００は、マッチングの目標（又は、色再現が適用される適用分野）に対して、ＲＧＢ値からＸＹＺ値へ変換するための変換情報の生成に用いる色票として最適な色を、分光反射率が既知のｎ個の中から選び出したｒ個だけ選択する処理を実施する（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）。情報処理装置１００は、例えばＰＣなどの一般的な演算処理装置でもよいし、図１中の構成要素の少なくとも一部の機能がクラウドサーバで実現されていてもよい。
【0039】
サンプル色分光データ保持部１０１は、選択の元となるｎ個からなる各サンプル色の分光反射率データを保持している。以下の説明では、選択の元としてマクベスカラーチャートを利用することを想定しており、サンプル色分光データ保持部１０１は、マクベスカラーチャートに含まれる２４色の各サンプル色の分光反射率データを保持している。
【0040】
選択部１０２は、選択の元となるｎ個のサンプル色の中からｒ個を選択して、選択した各サンプル色の分光反射率データをサンプル色分光データ保持部１０１から読み出して、後段の機能ブロックに出力する。以下の説明では、選択の元としてマクベスカラーチャートを利用することを想定しており、選択部１０２は、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択することとする。また、選択部１０２が選択した９色のサンプル色からなる色票を印刷して、後段の機能ブロックに渡すようにしてもよい。
【0041】
ＲＧＢ値取得部１０３は、撮像環境下においてカメラが選択部１０２で選択された９色のサンプル色からなる色票を撮像したときのＲＧＢ値を取得する。ＲＧＢ値取得部１０３は、選択部１０２で選択された９色の各サンプル色の分光反射率データと、使用するカメラのカラーフィルタ（ＣＦ）の分光感度特性データと、撮像環境の光源（撮像光源）の分光分布特性データから、当該９色の色票を撮像したときのＲＧＢ値を計算により算出することができる。また、ＲＧＢ値取得部１０３は、印刷された当該色票を撮像環境下で撮像したカメラから出力されるＲＧＢ値を取得してもよい。
【0042】
ＸＹＺ値取得部１０４は、選択部１０２で選択された９色のサンプル色からなる色票を観察環境下で観察した場合のＸＹＺ値を、ターゲット値として取得する。ＸＹＺ値取得部１０４は、選択部１０２で選択された９色の各サンプル色の分光反射率データと、観察環境の光源（観察光源）の分光分布特性データから、等色関数に基づいて、ＸＹＺ値を算出することができる。観察光源としてニュートラルな色再現が可能なＤ６５（平均的な正午の光（直射日光と晴天の空による拡散光の合わさった光）に対応）を想定している場合には、ＸＹＺ値取得部１０４は、選択部１０２で選択された９色をＤ６５光源下で観察した場合のＸＹＺ値を等色関数に基づいて算出すればよい。
【0043】
変換情報算出部１０５は、ＲＧＢ値取得部１０３で取得されたカメラ出力のＲＧＢ値を、ＸＹＺ値取得部１０４で取得したＸＹＺ値と比較して、最小二乗法などを用いてＲＧＢ値をＸＹＺ値に変換する変換情報を算出する。変換情報は、例えばＲＧＢ値をＸＹＺ値に変換する３×３マトリックスの変換係数からなる。なお、ＲＧＢ値取得部１０３で取得されたカメラ出力に伝送用としてガンマ補正が施されている場合には、そのＲＧＢ値にガンマ逆補正を行った後に変換情報算出部１０５の計算に用いるようにする。
【0044】
精度評価用サンプル色分光データ保持部１０６は、精度評価用の各サンプル色の分光反射率データを保持している。精度評価用に、上記と同様にマクベスカラーチャートを使用してもよいし、別のカラーチャートを精度評価用に用いてもよい。同じカラーチャートを使用する場合には、サンプル色分光データ保持部１０１と精度評価用サンプル色分光データ保持部１０６は共用されてもよい。
【0045】
精度評価用ＲＧＢ値取得部１０７は、撮像環境下においてカメラが精度評価用サンプル色からなる色票を撮像したときの精度評価用ＲＧＢ値を取得する。精度評価用ＲＧＢ値取得部１０７は、精度評価用サンプル色の分光反射率データと、使用するカメラのカラーフィルタ分光感度特性データと、撮像光源の分光分布特性データから、当該色票を撮像したときの精度評価用ＲＧＢ値を計算により算出することができる。また、精度評価用ＲＧＢ値取得部１０７は、印刷された当該色票を撮像環境下で撮像したカメラから出力される精度評価用ＲＧＢ値を取得してもよい。
【0046】
精度評価用ＸＹＺ値取得部１０８は、精度評価用サンプル色からなる色票を観察環境下で観察した場合の精度評価用ＸＹＺ値を取得する。精度評価用ＸＹＺ値取得部１０８は、精度評価用サンプル色の分光反射率データと、観察光源の分光分布特性データから、等色関数に基づいて、精度評価用ＸＹＺ値を算出することができる。観察光源としてＤ６５を想定している場合には、精度評価用ＸＹＺ値取得部１０８は、精度評価用サンプル色をＤ６５光源下で観察した場合の精度評価用ＸＹＺ値を等色関数に基づいて算出すればよい。
【0047】
変換部１０９は、精度評価用ＲＧＢ値取得部１０７が取得した精度評価用ＲＧＢ値を、変換情報算出部１０５が算出した変換係数を用いてＸＹＺ値に変換する。
【0048】
誤差算出部１１０は、変換部１０９による変換後のＸＹＺ値を、精度評価用ＸＹＺ値取得部１０８が取得した精度評価用ＸＹＺ値と比較して、変換情報算出部１０５が算出した変換係数の誤差を算出する。
【0049】
誤差算出部１１０が算出した誤差は、選択部１０２にフィードバックされる。そして、選択部１０２は、変換係数の誤差が最小となるように、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を改めて選択する。
【0050】
情報処理装置１００は、上述したような、サンプル色の選択と誤差の算出を繰り返すことで、最適な９色を選択することができる。
【0051】
誤差算出部１１０は、色再現の目標又は前記変換情報の適用分野に基づいて、誤差算出の目標を設定するようにしてもよい。目標設定は、例えば、色再現の目標又は変換情報の適用分野に基づいて、サンプル色毎の重み付けを設定することである。目標設定により、特定のサンプル色で精度を高めるなどの処理が可能となる。
【0052】
図１に示した情報処理装置１００によれば、機材（使用するカメラのカラーフィルタの分光感度特性データ）及び環境（撮像光源の分光分布特性、観察光源の分光分布特性）を決定し、さらに目標設定（適用分野に応じたサンプル色毎の重み付けなど）することによって、色票として最適なサンプル色の組み合わせを選択することができ、その結果として高精度の変換係数を算出することができるようになる。情報処理装置１００は、誤差算出部１１０が最適な９色の組み合わせからなる色票を使って且つ目標設定に従って算出した変換情報を、最終的な変換情報として変換装置（例えば、図２２中の変換装置２２３０）に出力する。
【0053】
Ｃ．誤差算出について
このＣ項では、誤差算出部１１０内で、精度評価用ＲＧＢ値取得部１０７を通じて取得される、精度評価用色票を撮像したカメラから出力されるＸＹＺ値と、精度評価用ＸＹＺ値取得部１０８を通じて取得される、観察環境下で精度評価用色票を観察したＸＹＺ値を比較する２通りの方法について説明する。
このＣ項では、誤差算出部１１０内で、精度評価用ＲＧＢ値取得部１０７を通じて取得される、精度評価用色票を撮像したカメラから出力されるＸＹＺ値と、精度評価用ＸＹＺ値取得部１０８を通じて取得される、観察環境下で精度評価用色票を観察したＸＹＺ値を比較する２通りの方法について説明する。
【0054】
１つ目の方法では、カメラ出力のＸＹＺ値と観察ＸＹＺ値のそれぞれについて、２次元ｘｙ座標を算出し、色毎に座標距離の平均、総和、標準偏差、又は、カメラ出力ｘ（ｙ）値と観察ｘ（ｙ）値の誤差平均、総和、標準偏差を算出して、その値を選択部１０２におけるサンプル色の組み合わせの最適化に用いる。
【0055】
図２には、カメラ出力のＸＹＺ値と観察ＸＹＺ値を比較する１つ目の方法を用いた場合の誤差算出部１１０の内部構成例を示している。図２に示す構成例では、まず、各ｘｙ算出部２０１及び２０２がカメラ出力のＸＹＺ値（変換部１０９の出力に相当）と観察ＸＹＺ値（精度評価用ＸＹＺ値取得部１０８の出力に相当）のそれぞれについて２次元ｘｙ座標を算出して、ｘｙ座標系上でこれらの色差を求める。式ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）及びｙ＝Ｙ（Ｘ＋Ｙ＋Ｚ）を用いて、ＸＹＺ値からｘｙ座標を算出することができる。続いて、重み付け部２０３が算出された色差に対して色毎の目標設定に応じた重み付けを行ってから、標準偏差算出部２０４が標準偏差を算出している。
【0056】
１つ目の方法は簡単であるが、算出結果が人間の知覚と必ずしも一致しない。なお、カメラ出力のＸＹＺ値と観察ＸＹＺ値からｘｙ座標値に代えて、ｕ´ｖ´座標値を算出して上記と同様に誤差を算出する方法も考えられる。
【0057】
２つ目の方法では、ＤＥ２０００を用いてカメラ出力のＸＹＺ値と観察ＸＹＺ値を比較する。ＤＥ２０００は、人間の知覚を考慮した色差評価方法としてＤＥ２０００として知られている。ＤＥ２０００を用いる場合、まず、カメラ出力のＸＹＺ値と観察ＸＹＺ値をそれぞれＬ*ａ*ｂ*値に変換する。Ｌ*ａ*ｂ*表色系において、Ｌ*は明るさを示す値であり、ａ*は赤色の強さを示す値であり（ａ*が大きくなるほど赤色が強くなり、ａ*が小さくなるほど緑色が強くなる）、ｂ*は黄色の強さ示す値である（ｂ*が大きくなるほど黄色が強くなり、ｂ*が小さくなるほど青色が強くなる）。例えば、ライブラリを介して共有又は公開されている変換プログラムを用いて、ＸＹＺ値をＬ*ａ*ｂ*値に変換することができる。そして、サンプル色毎のＤＥ２０００値の平均、総和、標準偏差を算出して、その値を選択部１０２におけるサンプル色の組み合わせの最適化に用いる。
【0058】
図３には、カメラ出力のＸＹＺ値と観察ＸＹＺ値を比較する２つ目の方法を用いた場合の誤差算出部１１０の内部構成例を示している。図３に示す構成例では、まず、各Ｌ*ａ*ｂ*算出部３０１及び３０２が、精度評価用サンプル色毎のカメラ出力のＸＹＺ値変換部１０９の出力に相当）と観察ＸＹＺ値（精度評価用ＸＹＺ値取得部１０８の出力に相当）を、それぞれＬ*ａ*ｂ*値に変換する。各Ｌ*ａ*ｂ*算出部３０１及び３０２は、ライブラリを介して共有又は公開されている変換プログラムを用いて、ＸＹＺ値をＬ*ａ*ｂ*値に変換するようにしてもよい。続いて、ＤＥ２０００算出部３０３は、各Ｌ*ａ*ｂ*値の色差を示すＤＥ２０００値を精度評価用サンプル色毎に算出する。そして、重み付け部３０４が色毎に算出したＤＥ２０００値に目標設定に応じた重み付けを行ってから、標準偏差算出部３０５がサンプル色毎のＤＥ２０００値の標準偏差を算出して、その値を選択部１０２におけるサンプル色の組み合わせの最適化に用いる。
【0059】
２つ目の方法によれば、色毎に算出したＤＥ２０００値に目標設定に応じた重み付けを行ってから標準偏差を算出している。図３に示す方法によれば、ＤＥ２０００の算出は複雑であるが、人間の知覚に最も近い最適化を行うことが可能になる。
【0060】
上述した２通りの方法のいずれであっても、目標設定によって（すなわち、それぞれ重み付け部２０３及び３０４において、設定した目標に基づく重み付けを行うことによって）、誤差がフィードバックされる選択部１０２において最適なサンプル色の組み合わせを選択できるようになるという点を理解されたい。
【0061】
Ｄ．最適化アルゴリズムについて
上記Ｂ項では、選択部１０２が、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から変換係数の誤差を最小にする９色のサンプル色を選択することについて言及した。このＤ項では、最適化アルゴリズムについて説明する。
上記Ｂ項では、選択部１０２が、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から変換係数の誤差を最小にする９色のサンプル色を選択することについて言及した。このＤ項では、最適化アルゴリズムについて説明する。
【0062】
選択部１０２は、誤差算出部１１０からフィードバックされる誤差の値が最小となるように、選択の元となるｎ個のサンプル色の中からｒ個のサンプル色を選択する。最も簡単には、選択の元となるｎ個から選択可能なすべてのｒ個の組み合わせについて、総当たりで誤差を算出して、最も誤差の小さいｒ色の組み合わせを選ぶ方法が考えられる。当然ながら、情報処理装置１００でnＣr回の変換係数及び誤差の計算を繰り返し実施しなければならないため、演算量が膨大になってしまう。マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択する場合、演算回数は24Ｃ9＝１，３０７，５０４回である。また、ＲＧＢ値取得部１０３が印刷実際に印刷された色票をカメラで撮像してＲＧＢ値を取得する場合には、１，３０７，５０４枚の色票を印刷しなければならず、印刷コストだけでも負担が過大である。
【0063】
したがって、選択部１０２は、最適化アルゴリズムを用いて、選択の元となるｎ個のサンプル色の中からｒ個のサンプル色を選択するようにして、総当たりを回避することが望ましい。
【0064】
本開示を実現する際、特定の最適化アルゴリズムに限定されるものではない。演算量の削減という目的を達成できれば、任意のアルゴリズムを採用することができる。例えば、線形計画問題で取り扱われていた簡約勾配法を非線形計画問題に一般化した、一般化簡略勾配法（Ｇｅｎｅｒａｌｉｚｅｄ Ｒｅｄｕｃｅｄ Ｇｒａｄｉｅｎｔ：ＧＲＧ）を用いて最適化を行うようにしてもよい。ＧＲＧアルゴリズムは、変数を初期値から動かしたときの目標値（本実施形態では最小化）の変化率を観察しながら、変数を動かし目標値の変化率か極小となった時を収束解とする。
【0065】
Ｅ．ＲＧＢ⇒ＸＹＺ変換について
ＲＧＢ値取得部１０３は、実際に撮像してＲＧＢ値を取得する方法と、計算によりＲＧＢ値を取得する方法のいずれかを採用することができる。前者の方法では、選択部１０２で（仮に）選択された９色からなる色票を印刷し、撮像環境下でカメラがこの色票を撮像してＲＧＢ値を取得する。後者の方法では、選択部１０２で（仮に）選択された９色の各サンプル色の分光反射率データと、使用するカメラのカラーフィルタ分光感度特性データと、撮像環境の光源（撮像光源）の分光分布特性データから、当該色票を撮像したときのＲＧＢ値を計算により算出する。
ＲＧＢ値取得部１０３は、実際に撮像してＲＧＢ値を取得する方法と、計算によりＲＧＢ値を取得する方法のいずれかを採用することができる。前者の方法では、選択部１０２で（仮に）選択された９色からなる色票を印刷し、撮像環境下でカメラがこの色票を撮像してＲＧＢ値を取得する。後者の方法では、選択部１０２で（仮に）選択された９色の各サンプル色の分光反射率データと、使用するカメラのカラーフィルタ分光感度特性データと、撮像環境の光源（撮像光源）の分光分布特性データから、当該色票を撮像したときのＲＧＢ値を計算により算出する。
【0066】
ＲＧＢ値取得部１０３がいずれのＲＧＢ値取得方法を用いる場合も、行列変換又はＲＧＢゲイン変換を用いてＲＧＢ値をＸＹＺ値に変換することができ、変換情報算出部１０５は、最小二乗法などを用いて変換係数を算出する。後者のＲＧＢ値取得方法では、行列変換の他に、テーブルを用いてＲＧＢ値をＸＹＺ値に変換すること（例えば、特許文献１を参照のこと）も想定される。但し、前者のＲＧＢ値取得方法と対比する観点から、このＥ項では、いずれのＲＧＢ値取得方法においても行列変換を用いてＲＧＢ値をＸＹＺ値に変換することを想定する。
【0067】
図４には、最小二乗法を用いてＲＧＢ値をＸＹＺ値に変換する変換係数を計算した結果の一例を示している。図４では、入出力の関係、すなわち変換前のＲＧＢと変換後のＸＹＺ値の対応点をプロットするとともに、最小二乗法により算出した入出力の近似式を直線４０１で示している。図４から分かるように、近似式の近傍にプロットされた点のように、変換前のＲＧＢと変換後のＸＹＺ値が精度良くマッチングされるケース（同図中の「精度良い」）と、近似式から離間してプロットされた点のように、変換前のＲＧＢと変換後のＸＹＺ値のマッチング精度が良くないケース（同図中の「精度悪い」）がある。すなわち、色によってマッチングにバラツキが発生する、と言うことができる。
【0068】
ＲＧＢ値をＸＹＺ値に変換する変換行列は３×３行列であり、したがって変換係数は９個と少なく、変換自体も計算負荷が軽く、少ないハードウェアで実現可能である。但し、一組の係数ですべてのＲＧＢ値の変換を行うため、最小二乗法で変換係数を計算したとしても、図４に示したように、色によってマッチングにバラツキが生じる。
【0069】
また、図５には、最小二乗法を用いてＲＧＢ値をＸＹＺ値に変換する変換係数を計算した結果の他の例を示している。図５に示す例では、図４に示した例よりもデータの数（すなわち、プロットした変換前のＲＧＢと変換後のＸＹＺ値の対応点の数）を多くしている。図５では、最小二乗法により算出した入出力の近似式を直線５０１で示している。データ数を多くしても、変換前のＲＧＢと変換後のＸＹＺ値のマッチング精度がよくないケースがあり、色によるマッチングのバラツキは解消していないことが分かる。データは必要な範囲（本実施形態では色域）を平均的に網羅していることが重要であり、データ数が多い程変換係数の精度が向上するとは言えない。
【0070】
Ｆ．ＲＧＢ値の取得方法に応じた機能的構成
ＲＧＢ値取得部１０３は、実際に撮像してＲＧＢ値を取得する方法と、計算によりＲＧＢ値を取得する方法のいずれかを採用することができる。このＦ項では、ＲＧＢ値の取得方法に応じた情報処理装置１００の具体的な機能的構成について説明する。
ＲＧＢ値取得部１０３は、実際に撮像してＲＧＢ値を取得する方法と、計算によりＲＧＢ値を取得する方法のいずれかを採用することができる。このＦ項では、ＲＧＢ値の取得方法に応じた情報処理装置１００の具体的な機能的構成について説明する。
【0071】
Ｆ－１．実際に撮像してＲＧＢ値を取得する場合
実際に撮像してＲＧＢ値を取得する方法では、あらかじめ色票を印刷する必要があるので、実作業の前段階で元のｎ個のサンプル色の中からｒ個のサンプル色を選択する。実際に撮像してＲＧＢ値を取得する方法はさらに、機材（カメラ及び撮像光源）が特定できる場合と、機材が特定できない場合に細分化することができる。
実際に撮像してＲＧＢ値を取得する方法では、あらかじめ色票を印刷する必要があるので、実作業の前段階で元のｎ個のサンプル色の中からｒ個のサンプル色を選択する。実際に撮像してＲＧＢ値を取得する方法はさらに、機材（カメラ及び撮像光源）が特定できる場合と、機材が特定できない場合に細分化することができる。
【0072】
図６には、機材が特定できる場合の情報処理装置１００の機能的構成を示している。但し、図６では、元のマクベスカラーチャートの２４色の中から９色を選択する場合を例にとっており、且つ、説明に不要な構成要素の図示を省略している。用途が明確に決まっている場合には、使用する機材が決まっている可能性があり、その場合には図６に示す情報処理装置１００を選択可能である。
【0073】
機材（カメラ及び撮像光源）が特定できる場合、ＲＧＢ値取得部１０３は、マクベスカラーチャートの２４色から選択された９色からなる色票を、特定された機材（すなわち、特定されたカメラ及び撮像光源の組み合わせ）で撮像して実際にカメラから出力されるＲＧＢ値を取得する。そして、誤差算出部１１０は、ＲＧＢ値取得部１０３が印刷された色票を実際に撮像して取得したＲＧＢ値に基づく変換係数の誤差を算出して、選択部１０２にフィードバックする。そして、選択部１０２は、変換係数の誤差が最小となるように、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択する。
【0074】
図７には、機材が特定できない場合の情報処理装置１００の機能的構成を示している。但し、図７でも、元のマクベスカラーチャートの２４色の中から９色を選択する場合を例にとっており、且つ、説明に不要な構成要素の図示を省略している。
【0075】
機材が特定できない場合には、機材をいくつか想定して、それぞれの組み合わせで、誤差を算出し、各誤差の平均又は重み付けに基づいて、９色のサンプル色を選択すればよい。図７に示す例では、ＲＧＢ値取得部１０３は、カメラとして想定カメラ１～３の３種類、及び撮像光源として想定撮像光源１～３の３種類を想定し、合計９個の組み合わせでＲＧＢ値を取得し、誤差算出部１１０は各ＲＧＢ値に基づく変換係数の誤差を算出して、選択部１０２にフィードバックする。そして、選択部１０２は、変換係数の誤差が最小となるように、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択する。
【0076】
例えば、撮像光源１～３として、一般家庭で用いられる白色ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、蛍光灯、白色光の３種類を想定し、且つ、各光源の家庭普及率が例えば５：３：２のように分かる場合には、各光源から得れた値を普及率の順番や比率で重み付けして誤差を算出すれば、普及率が高い光源で最も精度が高くなる９色を選択できるといったコントロールが可能である。
【0077】
図７では、ＸＹＺ値取得部１０４の図示を省略した。上記Ｂ項ですでに説明したように、ＸＹＺ値取得部１０４は、選択した９色からなる色票を観察環境下で観察したときのＸＹＺ値を取得する。上述したように観察光源としてニュートラルな色再現が可能なＤ６５を想定しているが、別の想定があるならば、ＸＹＺ値取得部１０４はその光源でのＸＹＺ値の取得及び色再現を目標にして、変換係数の算出を行うようにすればよい。
【0078】
選択したサンプル色からＲＧＢ値を取得する処理は、実機（カメラなどの機材）で行っても、計算機上で行ってもよい。計算機上で行う場合には、カメラのカラーフィルタの分光感度特性、撮像光源の分光分布特性などの特定又は想定される機材の光学特性に関する情報をデータとして準備する必要がある。一方、実機を用いてＲＧＢ値を取得する場合には、選択部１０２が選択したサンプル色からなる色票を印刷する必要がある。また、サンプル色の選択処理は事前に行われるため、計算時間や計算リソースが制約になり難い。元の色を２４色から増やしたり別の２４色の組み合わせに変更したり、想定機材を増やして最適解を選択することがやり易い。
【0079】
Ｆ－２．計算によりＲＧＢ値を取得する場合
計算によりＲＧＢ値を取得する方法では、カメラのカラーフィルタ分光感度特性、撮像光源の分光分布特性、観察光源の分光分布特性があらかじめ分かっているという想定で、変換係数を算出する。これらの特性データは何らかの方法で取得できるものとし、その方法は特に限定されない。
計算によりＲＧＢ値を取得する方法では、カメラのカラーフィルタ分光感度特性、撮像光源の分光分布特性、観察光源の分光分布特性があらかじめ分かっているという想定で、変換係数を算出する。これらの特性データは何らかの方法で取得できるものとし、その方法は特に限定されない。
【0080】
図８には、計算によりＲＧＢ値を取得する場合の情報処理装置１００の機能的構成を示している。図８に示す情報処理装置１００は、撮像環境及び観察環境の情報（各光源の分光特性）を取得するために撮像側外部センサー８０１及び観察側外部センサー８０２（後述）を利用する構成となっている。また、図８では、簡素化のため、変換係数算出時と変換係数の精度評価時（すなわち、誤差算出時）で同じマクベスカラーチャートを使用するものとし、したがって、情報処理装置１００は、サンプル色分光データ保持部１０１のみを備え、精度評価用サンプル色分光データ保持部１０６は省略される。
【0081】
選択部１０２は、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択すると、選択した各サンプル色の分光反射率データをサンプル色分光データ保持部１０１から読み出して、後段の機能ブロックに出力する。
【0082】
色票を印刷するのではなく、色票に含まれる各サンプル色のデータを使用するので、事実上色数の制約がない。但し、上記Ｅ項でも述べた通り色票の色数は必要な色域を網羅していることが重要であり、大量のデータを持つことで精度が向上するとは限らない（例えば、図５を参照のこと）。そこで、計算によりＲＧＢ値を取得する場合でも、マクベスカラーチャートの２４個のサンプル色のうち変換係数の算出に用いるサンプル色は同様に９色とする。
【0083】
ＲＧＢ値取得部１０３は、想定する全カメラのカラーフィルタ分光感度特性を蓄積するデータベースから、特定されたカメラのカラーフィルタ分光感度特性データを取得し、又はカメラからメタデータとして送ってもらうなど、任意の方法により、実際に使用するカメラのカラーフィルタ分光感度特性を取得する。
【0084】
また、ＲＧＢ値取得部１０３は、撮像環境に設置された撮像側外部センサー８０１によって取得された撮像光源の分光分布特性を取得したり、撮像側外部センサー８０１から得られた値から撮像光源の分光分布特性を推定したりする。例えば、撮像側外部センサー８０１は実際に使用するカメラに搭載されていてもよく、カメラは撮像側外部センサー８０１によるセンシングデータを情報処理装置１００（又は、ＲＧＢ値取得部１０３）に送信するようにしてもよい。あるいは、撮像側外部センサー８０１は、カメラとは独立して撮像環境内に設置された外光センサーであってもよい。
【0085】
そして、ＲＧＢ値取得部１０３は、選択部１０２で選択された９色の各サンプル色の分光反射率データと、データベースやカメラから取得したカメラのカラーフィルタ分光感度特性データと、撮像側外部センサー８０１から取得した撮像光源の分光分布特性データから、カメラがその９色のサンプル色からなる色票を撮像したときのＲＧＢ値を算出する。
【0086】
一方、ＸＹＺ値取得部１０４は、観察環境に設置された観察側外部センサー８０２によって取得された観察光源の分光分布特性を取得したり、観察側外部センサー８０２から得られた値から観察光源の分光分布特性を推定したりする。例えば、観察側外部センサー８０２はカメラの撮像画像を表示する表示装置に搭載されていてもよく、表示装置は観察側外部センサー８０２によるセンシングデータを情報処理装置１００（又は、ＸＹＺ値取得部１０４）に送信するようにしてもよい。あるいは、観察側外部センサー８０２は、表示装置とは独立して観察環境内に設置された外光センサーであってもよい。
【0087】
そして、ＸＹＺ値取得部１０４は、選択部１０２で選択された９色のサンプル色からなる色票を観察環境下で観察した場合のＸＹＺ値を、選択部１０２で選択された９色の各サンプル色の分光反射率データと、観察側外部センサー８０２から取得した観察光源の分光分布特性データから、等色関数に基づいて算出する。
【0088】
変換情報算出部１０５は、ＲＧＢ値取得部１０３で取得されたカメラ出力のＲＧＢ値を、ＸＹＺ値取得部１０４で取得したＸＹＺ値と比較して、最小二乗法などを用いてＲＧＢ値をＸＹＺ値に変換するための変換係数を算出する。
【0089】
精度評価用ＲＧＢ値取得部１０７は、マクベスカラーチャートの２４色の各サンプル色の分光反射率データと、データベースやカメラから取得したカメラのカラーフィルタ分光感度特性データと、撮像側外部センサー８０１から取得した撮像光源の分光分布特性データから、カメラがそのマクベスカラーチャートの２４色のサンプル色からなる色票を撮像したときのＲＧＢ値を算出する。
【0090】
精度評価用ＸＹＺ値取得部１０８は、マクベスカラーチャートの２４色のサンプル色からなる色票を観察環境下で観察した場合のＸＹＺ値を、マクベスカラーチャートの２４色の各サンプル色の分光反射率データと、観察側外部センサー８０２から取得した観察光源の分光分布特性データから、等色関数に基づいて算出する。
【0091】
変換部１０９は、精度評価用ＲＧＢ値取得部１０７が取得した精度評価用ＲＧＢ値を、変換情報算出部１０５が算出した変換係数を用いてＸＹＺ値に変換する。
【0092】
誤差算出部１１０は、変換部１０９による変換後のＸＹＺ値を、精度評価用ＸＹＺ値取得部１０８が取得した精度評価用ＸＹＺ値と比較して、変換情報算出部１０５が算出した変換係数の誤差を算出する。
【0093】
誤差算出部１１０が算出した誤差は、選択部１０２にフィードバックされる。そして、選択部１０２は、変換係数の誤差が最小となるように、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択する。
【0094】
このＦ－２項で説明する、計算によりＲＧＢ値を取得する方法（又は、図８に示す情報処理装置１００の構成）では、全機材の分光特性が分かっているので、環境と機材の組み合わせで最適な９色を選択することが可能であり、上記Ｆ－１項で説明した実際に撮像してＲＧＢ値を取得する方法に比べ、より最適な変換係数の算出、すなわちより最適な被写体画像の補正を行うことが可能となる。
【0095】
また、図８に示す情報処理装置１００の構成では、撮像光源及び観察光源の各分光分布特性を動的に取得することができるので、選択部１０２において９色を定期的に更新するようにして、環境変化に適応しながら変換係数を更新して最適な被写体画像のより最適な補正を実施することが可能になる。例えば、昼間から夕方、夜に変わるといった環境変化に適応しながら、最適な被写体画像のより最適な補正を実施することができる。
【0096】
Ｆ－３．実装例
上記Ｆ－２項で説明した、計算によりＲＧＢ値を取得する方法では、マクベスカラーチャート２４色から９色を動的に選択するために、変換係数を求めるための計算を計算機上で実施する必要がある。この算出を数秒から数分などの周期で行うとすれば、計算負荷は低く、専用の計算機（例えば、ＰＣやクラウドサーバなど）でなくても、カメラや表示装置などの機材に搭載されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて変換係数を求めることができる。
上記Ｆ－２項で説明した、計算によりＲＧＢ値を取得する方法では、マクベスカラーチャート２４色から９色を動的に選択するために、変換係数を求めるための計算を計算機上で実施する必要がある。この算出を数秒から数分などの周期で行うとすれば、計算負荷は低く、専用の計算機（例えば、ＰＣやクラウドサーバなど）でなくても、カメラや表示装置などの機材に搭載されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて変換係数を求めることができる。
【0097】
このＦ－３項では、図８に示した情報処理装置１００の各構成要素を、サーバ、カメラ（又は撮像側）、及び表示装置（又は観察側）にそれぞれ配置する実装例について説明する。
【0098】
図９には、図 ８に示した情報処理装置１００の構成要素の大部分を、サーバ（例えば、クラウドサーバ）で実現した実装例を示している。図９中、撮像側又はカメラ内で実装される構成要素を淡いグレーで塗り潰し、観察側又は表示装置内で実装される構成要素を濃いグレーで塗り潰して、それぞれ示している。また、図９中の破線で囲まれた範囲に含まれる各構成要素はサーバ上に実装されている。このようなサーバは、撮像側外部センサー８０１から供給される撮像光源の分光分布特性と、観察側外部センサー８０２から供給される観察光源の分光分布特性を利用して、色票をカメラで撮像したときのＲＧＢ値を計算し、さらに最適なサンプル色の組み合わせを選択して、高精度の変換係数を算出することができる。
【0099】
図１０には、図８に示した情報処理装置１００の構成要素の大部分を、カメラで実現した実装例を示している。図１０中、撮像側又はカメラ内で実装される構成要素を淡いグレーで塗り潰し、観察側又は表示装置内で実装される構成要素を濃いグレーで塗り潰して、それぞれ示している。このようなカメラは、内部で撮像光源の分光分布特性を取得するとともに、観察側外部センサー８０２から供給される観察光源の分光分布特性を利用して、色票をカメラで撮像したときのＲＧＢ値を計算し、さらに最適なサンプル色の組み合わせを選択して、高精度の変換係数を算出することができる。したがって、このカメラは、ＲＧＢ画像を撮像しつつ、ＸＹＺ画像を出力することができる。
【0100】
図１１には、図８に示した情報処理装置１００の構成要素の大部分を、表示装置で実現した実装例を示している。図１１中、撮像側又はカメラ内で実装される構成要素を淡いグレーで塗り潰し、観察側又は表示装置内で実装される構成要素を濃いグレーで塗り潰して、それぞれ示しているこのような表示装置は、内部で観察光源の分光分布特性を取得するとともに、撮像側外部センサー８０１から供給される撮像光源の分光分布特性を利用して、色票をカメラで撮像したときのＲＧＢ値を計算し、さらに最適なサンプル色の組み合わせを選択して、高精度の変換係数を算出することができる。したがって、この表示装置は、カメラから供給されたＲＧＢ画像をＸＹＺ画像に変換して、正しい色を再現して表示することができる。
【0101】
Ｆ－４．カメラの機能的構成
図１２には、本開示に適用可能なカメラ１２００の機能的構成例を示している。カメラ１２００は、ＲＧＢ取得部１０３及び精度評価用ＲＧＢ取得部１０７に対して撮像光源の分光分布特性データを供給することができる。カメラ１２００は、通信部１２０１と、撮像部１２０２と、外光センサー１２０３と、処理部１２０４を備えている。
図１２には、本開示に適用可能なカメラ１２００の機能的構成例を示している。カメラ１２００は、ＲＧＢ取得部１０３及び精度評価用ＲＧＢ取得部１０７に対して撮像光源の分光分布特性データを供給することができる。カメラ１２００は、通信部１２０１と、撮像部１２０２と、外光センサー１２０３と、処理部１２０４を備えている。
【0102】
通信部１２０１は、ネットワークを介して外部装置と通信する有線又は無線の通信インタフェースである。ここで言う外部装置は、例えば、カメラ１２００から出力されるＲＧＢ値をＸＹＺ値に変換する変換装置や、カメラ１２００から出力されるＲＧＢ値をＸＹＺ値に変換するための変換情報を算出する情報処理装置１００（図８を参照のこと）などである。また、通信インタフェースは、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｔｈ（登録商標）などの無線通信や、イーサネット（登録商標）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの有線通信に対応しているものとする。通信部１２０１は、例えば、撮像部１２０２による撮像画像や、外光センサー１２０３によりセンシングされたセンサーデータを、外部装置に送信するために使用される。
【0103】
撮像部１２０２は、被写体からの反射光を集光する光学レンズと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などで構成されるイメージセンサを含み、被写体の動画像又は静止画像の撮像を行って撮像画像（ＲＧＢ値）を生成する。撮像部１２０２は、通信部１２０１を介して、撮像画像を変換装置や情報処理装置１００に出力する。
【0104】
外光センサー１２０３は、撮像環境に設置された撮像光源の情報を取得する装置である。外光センサー１２０３は、例えば複数のカラーセンサー（図示しない）を含む。各カラーセンサーは、それぞれ異なる波長の光（色成分）を分離して抽出する。したがって、外光センサー１２０３は、例えば人間の可視領域（波長で３８０ｎｍ～７８０ｎｍ）の光を、複数のカラーセンサーを用いて波長毎に複数に分離するフィルター分光処理を行って、所定の波長の光を分離して抽出する。外光センサー１２０３は、図８中で、ＲＧＢ取得部１０３及び精度評価用ＲＧＢ取得部１０７に対して撮像光源の分光分布特性データを供給する撮像側外部センサー８０１に相当し、撮像光源からの放射光の分離結果を、例えば通信部１２０１を介して情報処理装置１００に出力する。
【0105】
なお、上記では、外光センサー１２０３が複数のカラーセンサーを用いて分光を行う構成例について説明したが、外光センサー１２０３の構成はこれに限定されない。外光センサー１２０３は、例えば分光計のように光源の分光をより詳細に取得するセンサーであってもよい。外光センサー１２０３に分光計を用いることで、情報処理装置１００側では光源の推定処理を省略することができる。但し、分光計は高価であり一般的でないので、上記のように複数のカラーセンサーを用いてより安価で且つ容易に外光センサー１２０３を構成することができる。
【0106】
処理部１２０４は、例えばＣＰＵを含み、図１０に示した実装例において、例えば破線で囲まれた範囲に含まれる各構成要素に対応処理を実施する。
【0107】
Ｆ－５．表示装置の機能的構成
図１３には、本開示に適用可能な表示装置１３００の機能的構成例を示している。表示装置１３００は、ＸＹＺ取得部１０４及び精度評価用ＸＹＺ取得部１０８に対して観察光源の分光分布特性データを供給することができる。表示装置１３００は、通信部１３０１と、表示部１３０２と、外光センサー１３０３と、処理部１３０４を備えている。
図１３には、本開示に適用可能な表示装置１３００の機能的構成例を示している。表示装置１３００は、ＸＹＺ取得部１０４及び精度評価用ＸＹＺ取得部１０８に対して観察光源の分光分布特性データを供給することができる。表示装置１３００は、通信部１３０１と、表示部１３０２と、外光センサー１３０３と、処理部１３０４を備えている。
【0108】
通信部１３０１は、ネットワークを介して外部装置と通信する有線又は無線の通信インタフェースである。ここで言う外部装置は、例えば、カメラ１２００から出力されるＲＧＢ値をＸＹＺ値に変換する変換装置や、変換情報を算出する情報処理装置１００（図８を参照のこと）などである。また、通信インタフェースは、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｔｈ（登録商標）などの無線通信や、イーサネット（登録商標）やＵＳＢ、ＨＤＭＩ（登録商標）などの有線通信に対応しているものとする。通信部１３０１は、例えば、外部装置から表示部１３０２に表示出力する画像を受信したり、外光センサー１３０３によりセンシングされたセンサーデータを外部装置に送信したりするために使用される。
【0109】
表示部１３０２は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどからなり、通信部１３０１を介して外部装置から受信した画像を表示する。表示部１３０２は、変換装置からのＸＹＺ値の変換画像を、ＲＧＢ値に変換してから表示するようにしてもよい。
【0110】
外光センサー１３０３は、観察環境に設置された観察光源の情報を取得する装置である。外光センサー１３０３は、例えば複数のカラーセンサー（図示しない）を含む。各カラーセンサーは、それぞれ異なる波長の光（色成分）を分離して抽出する。したがって、外光センサー１３０３は、例えば人間の可視領域（波長で３８０ｎｍ～７８０ｎｍ）の光を、複数のカラーセンサーを用いて波長毎に複数に分離するフィルター分光処理を行って、所定の波長の光を分離して抽出する。外光センサー１３０３は、図８中で、ＸＹＺ取得部１０４及び精度評価用ＸＹＺ取得部１０８に対して観察光源の分光分布特性データを供給する観察側外部センサー８０２に相当し、観察光源からの放射光の分離結果を、例えば通信部１３０１を介して情報処理装置１００に出力する。なお、外光センサー１３０３は、複数のカラーセンサーを用いて分光を行う構成には限定されず、例えば分光計のように光源の分光をより詳細に取得するセンサーであってもよい（同上）。
【0111】
処理部１３０４は、例えばＣＰＵを含み、図１１に示した実装例において、例えば破線で囲まれた範囲に含まれる各構成要素に対応処理を実施する。
【0112】
Ｇ．誤差の机上算出
本開示に従ってマクベスのカラーチャート２４色から選択した最適な９色を用いて算出した変換係数の誤差を、マクベスのカラーチャート２４色から経験的に選択した９色を用いて算出した変換係数の誤差、及びマクベスのカラーチャート２４色すべてを用いて算出した変換係数の誤差とともに机上算出して、比較してみた。
本開示に従ってマクベスのカラーチャート２４色から選択した最適な９色を用いて算出した変換係数の誤差を、マクベスのカラーチャート２４色から経験的に選択した９色を用いて算出した変換係数の誤差、及びマクベスのカラーチャート２４色すべてを用いて算出した変換係数の誤差とともに机上算出して、比較してみた。
【0113】
図１４には、本開示に基づいてマクベスのカラーチャート２４色から選択した９色を用いて算出された変換係数の誤差を机上算出するための機能的構成を示している。図１４は、図１と基本的には同様の機能的構成を備えているが、変換係数の算出時と精度評価時とで同じマクベスカラーチャートを共用している点で図１とは相違する。
【0114】
選択部１４０２は、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択すると、選択した各サンプル色の分光反射率データをサンプル色分光データ保持部１４０１から読み出して、後段の機能ブロックに出力する。
【0115】
ＲＧＢ値取得部１４０３は、選択部１４０２で選択された９色の各サンプル色の分光反射率データと、カメラのカラーフィルタ分光感度特性データと、撮像光源の分光分布特性データから、カメラがその９色のサンプル色からなる色票を撮像したときのＲＧＢ値を算出する。
【0116】
また、ＸＹＺ値取得部１４０４は、選択部１４０２で選択された９色のサンプル色からなる色票を観察環境下で観察した場合のＸＹＺ値を、選択部１４０２で選択された９色の各サンプル色の分光反射率データと、観察光源の分光分布特性データから、等色関数に基づいて算出する。
【0117】
変換情報算出部１４０５は、ＲＧＢ値取得部１４０３で取得したカメラ出力のＲＧＢ値を、ＸＹＺ値取得部１４０４で取得したＸＹＺ値と比較して、最小二乗法などを用いてＲＧＢ値をＸＹＺ値に変換するための変換係数を算出する。
【0118】
精度評価用ＲＧＢ値取得部１４０７は、マクベスカラーチャートの２４色の各サンプル色の分光反射率データと、カメラのカラーフィルタ分光感度特性データと、撮像光源の分光分布特性データから、カメラがそのマクベスカラーチャートの２４色のサンプル色からなる色票を撮像したときのＲＧＢ値を算出する。
【0119】
精度評価用ＸＹＺ値取得部１４０８は、マクベスカラーチャートの２４色のサンプル色からなる色票を観察環境下で観察した場合のＸＹＺ値を、マクベスカラーチャートの２４色の各サンプル色の分光反射率データと、観察光源の分光分布特性データから、等色関数に基づいて算出する。
【0120】
変換部１４０９は、精度評価用ＲＧＢ値取得部１４０７が取得した精度評価用ＲＧＢ値を、変換情報算出部１４０５が算出した変換係数を用いてＸＹＺ値に変換する。
【0121】
誤差算出部１４１０は、変換部１４０９が変換係数を用いてＲＧＢ値から変換した後のＸＹＺ値を、精度評価用ＸＹＺ値取得部１４０８が取得した精度評価用ＸＹＺ値と比較し、変換情報算出部１４０５が算出した変換係数の誤差を設定した目標に基づいて算出する。誤差算出部１４１０は、色再現の目標又は前記変換情報の適用分野に基づいて、誤差算出の目標設定を行う。目標設定により、目標とする適用分野に応じて特定のサンプル色で精度を高めるなどの処理が可能となる。
【0122】
誤差算出部１４１０が算出した誤差は、選択部１４０２にフィードバックされる。そして、選択部１４０２は、変換係数の誤差が最小となるように、最適化アルゴリズムを用いて、マクベスカラーチャートに含まれる２４色の中から９色のサンプル色を選択する。このようにして、最適化された９色のサンプル色を用いて算出された誤差を得ることができる。
【0123】
図１５には、図１４との比較として、マクベスのカラーチャート２４色から経験的に選択した９色を用いて算出した変換係数の誤差を机上算出するための機能的構成を示している。図１５は、変換係数の誤差算出時に目標を設定しない点、及び算出した誤差をフィードバックしない点で図１４に示した機能的構成とは相違し、それ以外は共通する。
【0124】
選択部１５０２は、マクベスカラーチャートに含まれる２４色の中から経験的に９色のサンプル色を選択し、選択した各サンプル色の分光反射率データをサンプル色分光データ保持部１５０１から読み出して、後段の機能ブロックに出力する。
【0125】
ＲＧＢ値取得部１５０３は、経験的に選択された９色のサンプル色をカメラが撮像したときのＲＧＢ値を算出する。また、ＸＹＺ値算出部１５０４は、経験的に選択された９色のサンプル色を観察環境下で観察した場合のＸＹＺ値を等色関数に基づいて算出する。そして、変換情報算出部１５０５は、ＲＧＢ値取得部１５０３で取得されたカメラ出力のＲＧＢ値を、ＸＹＺ値取得部１５０４で取得したＸＹＺ値に変換するための変換係数を、最小二乗法などを用いて算出する。
【0126】
精度評価用ＲＧＢ値取得部１５０７は、マクベスカラーチャートの２４色をカメラが撮像したときのＲＧＢ値を算出する。また、精度評価用ＸＹＺ値取得部１５０８は、マクベスカラーチャートの２４色を観察環境下で観察した場合のＸＹＺ値を等色関数に基づいて算出する。変換部１５０９は、精度評価用ＲＧＢ値取得部１５０７が取得した精度評価用ＲＧＢ値を、変換情報算出部１５０５が算出した変換係数を用いてＸＹＺ値に変換する。そして、誤差算出部１５１０は、変換部１５０９による変換後のＸＹＺ値と、精度評価用ＸＹＺ値取得部１５０８が取得した精度評価用ＸＹＺ値と比較して、変換情報算出部１５０５が算出した変換係数の誤差を算出する。但し、元の２４色から経験的に９色を選択することから、誤差算出時に目標設定を行わない。このようにして、経験的に選択した９色のサンプル色を用いて算出された誤差を得ることができる。
【0127】
また、図１６には、図１４とのさらなる比較として、マクベスのカラーチャートの全２４色を用いて算出した変換係数の誤差を机上算出するための機能的構成を示している。元のサンプル色をすべて変換係数の計算に用いるので、一部のサンプル色を選択する選択部は含まない。
【0128】
ＲＧＢ値取得部１６０２は、サンプル色分光データ保持部１６０１から読み出したマクベスカラーチャートの２４色の各サンプル色の分光反射率データと、カメラのカラーフィルタ分光感度特性データと、撮像光源の分光分布特性データから、カメラがそのマクベスカラーチャートの２４色のサンプル色からなる色票を撮像したときのＲＧＢ値を算出する。
【0129】
また、ＸＹＺ値取得部１６０３は、マクベスカラーチャートの２４色のサンプル色からなる色票を観察環境下で観察した場合のＸＹＺ値を、マクベスカラーチャートの２４色の各サンプル色の分光反射率データと、観察光源の分光分布特性データから、等色関数に基づいて算出する。
【0130】
変換情報算出部１６０４は、ＲＧＢ値取得部１６０２で取得したカメラ出力のＲＧＢ値を、ＸＹＺ値取得部１６０３で取得したＸＹＺ値と比較して、最小二乗法などを用いてＲＧＢ値をＸＹＺ値に変換するための変換係数を算出する。
【0131】
変換部１６０５は、ＲＧＢ値取得部１６０２が取得したＲＧＢ値を、変換情報算出部１６０４が算出した変換係数を用いてＸＹＺ値に変換する。
【0132】
誤差算出部１６０６は、変換部１６０５が変換係数を用いてＲＧＢ値から変換した後のＸＹＺ値を、ＸＹＺ値取得部１６０３が取得したＸＹＺ値と比較して、変換情報算出部１６０４が算出した変換係数の誤差を算出する。
【0133】
【0134】
【0135】
図１７には、マクベスカラーチャートを示している。マクベスカラーチャートは、２４個のサンプル色が左上から右下に向かって４×６マトリックス状に配置されている。各サンプル色には、「ＤａｒｋＳｋｉｎ」、「ＬｉｇｈｔＳｋｉｎ」、「ｂｌｕｅｓｋｙ」、…のように固有の名称が割り当てられるとともに、それぞれ分光反射率が規定されている。
【0136】
図１８には、マクベスカラーチャートの２４色から経験的に選択した９色の例を示している。同図では、スキンの再現を目標として、元の２４色の中から、Ｓｋｉｎの２色と彩度の低いｂｌｕｅｓｋｙ、ＢＧＲの３原色、及びＷｈｉｔｅ＆Ｇｒａｙの３色が経験的に選択されている。
【0137】
図１９には、図２に示したカメラ出力のＸＹＺ値と観察ＸＹＺ値を２次元ｘｙ座標に変換して比較する方法において、算出された色差に対して色毎に目標を設定する例を示している。具体的には、マクベスカラーチャートの評価色２４色の中から彩度の低いｄｅｌｔａ－ｘ、ｄｅｌｔａ－ｙ標準偏差と、Ｗｈｉｔｅ－Ｇｒａｙ系６色の座標移動距離を算出し、これら２つの合計を最小化することを目標に設定する。低彩度１２色にはＳｋｉｎ２色が含まれており、この標準偏差が小さい方がスキンの再現性が良い可能性が高い。
【0138】
本発明者は、マクベスカラーチャートの全２４色を用いた場合（全２４色：図１６を参照のこと）、２４色から経験的に選択した９色を用いた場合（経験９色：図１５を参照のこと）、及び、２４色の中から最適な９色を選択した場合（最適９色：図１４を参照のこと）の各々について、想定される各撮像光源（Ｄ６５、ＷｈｉｔｅＬＥＤ、高演色ＷｈｉｔｅＬＥＤ、蛍光灯）を使って算出した誤差（誤差標準偏差及び座標移動距離）を比較してみた。但し、全２４色及び経験９色に関しては、撮像光源に依らずそれぞれ同じ色票を用いて誤差算出を行い、最適９色に関しては、撮像光源毎に最適化した９色の色票を用いて誤差算出を行い、各算出結果について比較してみた。
【0139】
その結果、目標設定して最適化した９色からなる色票を用いて机上算出した変換係数の精度は、経験９色の色票を用いて机上算出した変換係数の精度よりも高く（誤差が小さく）、さらに全２４色の色票を用いて机上算出した変換係数の精度よりも高いケースもあることを確認できた。機材（カメラ、光源）が決まれば、本開示に基づいて最適化した色の組み合わせからなる色票を用いることによって、さらに変換係数の精度を向上することができる。なお、本開示に基づいて選択した最適な９色の組み合わせは、経験的に選択した９色の組み合わせとは全く異なり、また、撮像光源毎に最適な９色の組み合わせが異なる。
【0140】
Ｈ．処理フロー
図２０には、図１に示した情報処理装置１００において、それぞれ分光反射率特性が既知のｎ個のサンプル色の中から、変換係数の算出用の色票に用いる最適となるｒ個のサンプル色の組み合わせを選択するための処理手順をフローチャートの形式で示している。以下、図２０に示したフローチャートを参照しながら、情報処理装置１００上で最適なサンプル色の組み合わせを選択するための処理について説明する。
図２０には、図１に示した情報処理装置１００において、それぞれ分光反射率特性が既知のｎ個のサンプル色の中から、変換係数の算出用の色票に用いる最適となるｒ個のサンプル色の組み合わせを選択するための処理手順をフローチャートの形式で示している。以下、図２０に示したフローチャートを参照しながら、情報処理装置１００上で最適なサンプル色の組み合わせを選択するための処理について説明する。
【0141】
まず、選択部１０２は、選択の元となるｎ個のサンプル色の中からｒ個の色をランダムに選択すると（ステップＳ２００１）、選択した各サンプル色の分光反射率データをサンプル色分光データ保持部１０１から読み出して、後段の機能ブロックに出力する。
【0142】
ＲＧＢ値取得部１０３は、選択部１０２で選択されたｒ色の各サンプル色の分光反射率データと、カメラのカラーフィルタ分光感度特性データと撮像光源の分光分布特性データから、このｒ色からなる色票をカメラで撮像したときのＲＧＢ値（カメラＲＧＢ値）を計算により算出する（ステップＳ２００２）。
【0143】
また、ＸＹＺ値取得部１０４は、選択部１０２で選択されたｒ色の各サンプル色の分光反射率データと、観察環境の光源（観察光源）の分光分布特性データから、等色関数に基づいて、ターゲット値としてＸＹＺ値（ターゲットＸＹＺ値）を算出する（ステップＳ２００３）。
【0144】
次いで、変換情報算出部１０５は、ＲＧＢ値取得部１０３で取得されたカメラ出力のＲＧＢ値を、ＸＹＺ値取得部１０４で取得したＸＹＺ値と比較して、最小二乗法などを用いてＲＧＢ値をＸＹＺ値に変換するための変換係数を算出する（ステップＳ２００４）。
【0145】
一方、精度評価用ＲＧＢ値取得部１０７は、精度評価用のｐ個の各サンプル色の分光反射率データを精度評価用サンプル色分光データ保持部１０６から読み出して、撮像環境下でカメラがこのｐ色からなる色票を撮像したときの精度評価用ＲＧＢ値を、カメラのカラーフィルタ分光感度特性データと撮像光源の分光分布特性データに基づいて算出する（ステップＳ２００５）。
【0146】
また、精度評価用ＸＹＺ値取得部１０７は、このｐ色の各サンプル色の分光反射率データと、観察環境の光源（観察光源）の分光分布特性データから、等色関数に基づいて、精度評価用のターゲット値としてＸＹＺ値を算出する（ステップＳ２００６）。
【0147】
次いで、変換部１０９は、精度評価用ＲＧＢ値取得部１０７が取得した精度評価用ＲＧＢ値を、変換情報算出部１０５が算出した変換係数を用いてＸＹＺ値に変換する（ステップＳ２００７）。又は、ステップＳ２００７では、変換部１０９９は、精度評価用ＸＹＺ値取得部１０８が取得した精度評価用ＸＹＺ値を、変換情報算出部１０５が算出した変換係数を用いてＲＧＢ値に変換するようにしてもよい。
【0148】
誤差算出部１１０は、ステップＳ２００５～Ｓ２００７で得られたＲＧＢ値同士又はＸＹＺ値同士の色差を求めると、設定した目標に応じて色毎の色差を重み付けして（ステップＳ２００８）、ステップＳ２００４で求めた変換係数の誤差（標準誤差など）を算出する（ステップＳ２００９）。
【0149】
そして、誤差算出部１１０は、算出した誤差が最小となったかどうかをチェックする（ステップＳ２０１０）。変換係数の誤差が最小になったと判断すると（ステップＳ２０１０のＹｅｓ）、情報処理装置１００は、その変換係数を外部装置（例えば、カメラの撮像画像のＲＧＢ値をＸＹＺ値に変換する処理を行う変換装置）に出力して、本処理を終了する。
【0150】
一方、変換係数の誤差がまだ最小に到達していないと判断すると（ステップＳ２０１０のＮｏ）、誤差算出部１１０は、その算出結果を選択部１０２にフィードバックする。そして、選択部１０２は、変換係数の誤差が最小となるように、最適化アルゴリズムを用いて、ｎ色の中からｒ色のサンプル色を改めて選択して（ステップＳ２０１１）、上記と同様の処理が繰り返し実施される。
【0151】
図２０に示した処理手順によれば、機材（カメラ、光源）及び目標に応じて最適となるｒ個のサンプル色の組み合わせを選択することができ、したがって、機材及び目標毎に高精度の変換係数を算出することができるようになる。
【0152】
Ｉ．効果
例えば特許文献１では、カメラで撮像した画像を遠隔地で観察する場合に、被写体の撮像画像のＲＧＢ値をＸＹＺ値に変換することで、観察側で観察した色として再現させる技術が開示されている。これに対し、本開示に係る情報処理装置１００によれば、ＲＧＢ値をＸＹＺ値に変換するための変換係数を算出する際に、使用する色票として最適となるサンプル色の組み合わせを選択することができる。
例えば特許文献１では、カメラで撮像した画像を遠隔地で観察する場合に、被写体の撮像画像のＲＧＢ値をＸＹＺ値に変換することで、観察側で観察した色として再現させる技術が開示されている。これに対し、本開示に係る情報処理装置１００によれば、ＲＧＢ値をＸＹＺ値に変換するための変換係数を算出する際に、使用する色票として最適となるサンプル色の組み合わせを選択することができる。
【0153】
上記Ｆ項で説明したように、印刷された色票を実際にカメラで撮像して得られたＲＧＢ値を使って変換係数及びその誤差を算出する方法（Ｆ－１）と、色票は印刷せず、データとして保持する各サンプル色の分光反射率特性とカメラのカラーフィルタ分光感度特性及び撮像光源の分光分布特性に基づいてカメラが色票を撮像して出力するＲＧＢ値を算出する方法（Ｆ－２）がある。
【0154】
方法（Ｆ－１）を採用する場合、色票を印刷するため、事前にサンプル色を選択する必要があるが、本開示によれば、色票の色数を減らして、印刷コストを節減できるという効果がある。また、使用する機材や色再現の目標が決まっている場合には、より少ない色数で最適なサンプル色の組み合わせを選択し、最適な色票を提案することができる。最適な色票を使用することで、変換係数の精度、言い換えれば色再現の精度を向上させることができる。他方、使用する機材が決まらない場合には、機材を想定し、重み付けなどによりより最適なサンプル色の組み合わせを選択することができる。サンプル色の選択手法は、実機（カメラ又は表示装置）、実機以外の計算機のいずれでも実現することができる。
【0155】
方法（Ｆ－２）を採用する場合、色票は印刷せず、各サンプル色の分光反射率特性データとして保持しており、且つ、機材（カメラ、光源）が特定できているので（すなわち、各機材の分光特性を把握しているので）、環境や目標に応じた最適なサンプル色の組み合わせを動的に選択することができる。したがって、最適な色票を使用することで、変換係数の精度、言い換えれば色再現の精度を向上させることができる。サンプル色の選択手法は、基本的に、計算機上で実現することができる。
【0156】
また、（Ｆ－１）及び（Ｆ－２）のいずれの方法においても、色再現の目標を設定して、目標に応じた誤差算出を行うことによって、特定の色で色再現精度を高めるといった制御が可能となる。
【0157】
Ｊ．情報処理装置のハードウェア構成
図２１には、図１に示した機能的構成を実現することができる情報処理装置１００のハードウェア構成例を示している。図示の情報処理装置１００は、ＣＰＵ２００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２００３と、ホストバス２００４と、ブリッジ２００５と、拡張バス２００６と、インタフェース部２００７と、入力部２００８と、出力部２００９と、ストレージ部２０１０と、ドライブ２０１１と、通信部２０１３を含んでいる。
図２１には、図１に示した機能的構成を実現することができる情報処理装置１００のハードウェア構成例を示している。図示の情報処理装置１００は、ＣＰＵ２００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２００３と、ホストバス２００４と、ブリッジ２００５と、拡張バス２００６と、インタフェース部２００７と、入力部２００８と、出力部２００９と、ストレージ部２０１０と、ドライブ２０１１と、通信部２０１３を含んでいる。
【0158】
ＣＰＵ２００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１００の動作全般を制御する。ＲＯＭ２００２は、ＣＰＵ２００１が使用するプログラム（基本入出力システムなど）や演算パラメータを不揮発的に格納している。ＲＡＭ２００３は、ＣＰＵ２００１の実行において使用するプログラムをロードしたり、プログラム実行において適宜変化する作業データなどのパラメータを一時的に格納したりするのに使用される。ＲＡＭ２００３にロードしてＣＰＵ２００１において実行するプログラムは、例えば各種アプリケーションプログラムやオペレーティングシステム（ＯＳ）などである。
【0159】
ＣＰＵ２００１とＲＯＭ２００２とＲＡＭ２００３は、ＣＰＵバスなどから構成されるホストバス２００４により相互に接続されている。そして、ＣＰＵ２００１は、ＲＯＭ２００２及びＲＡＭ２００３の協働的な動作により、ＯＳが提供する実行環境下で各種アプリケーションプログラムを実行して、さまざまな機能やサービスを実現することができる。情報処理装置１００がパーソナルコンピュータの場合、ＯＳは例えば米マイクロソフト社のＷｉｎｄｏｗｓやＵｎｉｘである。情報処理装置１００がスマートフォンやタブレットなどの情報端末の場合、ＯＳは例えば米アップル社のｉＯＳ又は米グーグル社のＡｎｄｒｏｉｄである。また、アプリケーションプログラムには、図２０に示した処理手順を実行するためのアプリケーション、又は図１中の各機能ブロックとして情報処理装置１００が動作するためのアプリケーションが含まれるものとする。
【0160】
ホストバス２００４は、ブリッジ２００５を介して拡張バス２００６に接続されている。拡張バス２００６は、例えばＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又はＰＣＩ Ｅｘｐｒｅｓｓであり、ブリッジ２００５はＰＣＩ規格に基づく。但し、情報処理装置１００がホストバス２００４、ブリッジ２００５及び拡張バス２００６によって回路コンポーネントを分離される構成する必要はなく、単一のバス（図示しない）によってほぼすべての回路コンポーネントが相互接続される実装であってもよい。
【0161】
インタフェース部２００７は、拡張バス２００６の規格に則って、入力部２００８、出力部２００９、ストレージ部２０１０、ドライブ２０１１、及び通信部２０１３といった周辺装置を接続する。但し、図２１に示す周辺装置がすべて必須であるとは限らず、また図示しない周辺装置を情報処理装置１００がさらに含んでもよい。また、周辺装置は情報処理装置１００の本体に内蔵されていてもよいし、一部の周辺装置は情報処理装置１００本体に外付け接続されていてもよい。
【0162】
入力部２００８は、ユーザからの入力に基づいて入力信号を生成し、ＣＰＵ２００１に出力する入力制御回路などから構成される。情報処理装置１００がパーソナルコンピュータの場合、入力部２００８は、キーボードやマウス、タッチパネルを含んでもよく、さらにカメラやマイクを含んでもよい。また、情報処理装置１００がスマートフォンやタブレットなどの情報端末の場合、入力部２００８は、例えばタッチパネルやカメラ、マイクロホンであるが、ボタンなどのその他の機械式の操作子をさらに含んでもよい。
【0163】
出力部２００９は、スピーカー及びヘッドホンなどの音声出力装置を含む。また、出力部２００９は、例えば、ＬＣＤ、有機ＥＬディスプレイ、及びＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの表示装置を含む。
【0164】
ストレージ部２０１０は、ＣＰＵ２００１で実行されるプログラム（アプリケーション、ＯＳなど）や各種データなどのファイルを格納する。ストレージ部２０１０が格納するデータとして、ニューラルネットワークのトレーニングのための通常の音声及びささやき声のコーパス（前述）を含んでもよい。ストレージ部２０１０は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの大容量記憶装置で構成されるが、外付けの記憶装置を含んでもよい。
【0165】
リムーバブル記憶媒体２０１２は、例えばｍｉｃｒｏＳＤカードのようなカートリッジ式で構成される記憶媒体である。ドライブ２０１１は、装填したリムーバブル記憶媒体１１３に対して読み出し及び書き込み動作を行う。ドライブ２０１１は、リムーバブル記録媒体２０１２から読み出したデータをＲＡＭ２００３やストレージ部２０１０に出力したり、ＲＡＭ２００３やストレージ部２０１０上のデータをリムーバブル記録媒体２０１２に書き込んだりする。
【0166】
通信部２０１３は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）や４Ｇや５Ｇなどのセルラー通信網などの無線通信を行うデバイスである。また、通信部２０１３は、ＵＳＢやＨＤＭＩ（登録商標）などの端子を備え、スキャナやプリンタなどのＵＳＢデバイスやディスプレイなどとのＨＤＭＩ（登録商標）通信を行う機能をさらに備えていてもよい。
【0167】
情報処理装置１００としてＰＣを想定しているが、１台とは限らず、２台以上のＰＣに分散して図１に示した情報処理装置１００を実現したり、あるいは、目標設定に応じた最適な色選択や最適な選択色からなる色票を用いた変換係数の計算を行うための各種アプリケーションを実行したりするようにすることもできる。
【0168】
図２１に示した情報処理装置１００は、所定のプログラムコードを実行することにより、図１に示したような機能的構成を実現することができ、また、図２０に示したような処理手順を実施することが可能となり、設定した目標に対して色票として最適となる色の組み合わせを選択し、且つ、最適な色票に基づいて高精度な変換情報を生成して、変換装置に提供することができる。
【産業上の利用可能性】
【0169】
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示は上述した実施形態に限定して解釈されるべきでなく、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。また、本明細書に記載した効果はあくまで例示であって、本開示がもたらす効果は限定されるものではなく、本明細書に記載されていない付加的な効果があってもよい。
【0170】
本明細書では、本開示を特定の実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。
【0171】
本開示は、例えば遠隔医療の分野に適用することができる。この場合、病院Ａで患者を撮像した撮像画像を別の病院Ｂのモニタに表示して医者が診察を行う場面に適用され、モニタに表示される患者の顔色を、病院Ｂで医者が観察した場合と同じ色で再現することで、医者は病院Ａにいる患者を、病院Ｂにいる場合と同じように遠隔的に診察することができる。また、本開示は、工事現場、原子力プラント、宇宙空間など難作業現場における作業ロボットを遠隔操作する場面に適用して、オペレータは高精度に再現された現場画像を観察しながら指示する（例えば、ロボットを遠隔操作する）ことができる。
【0172】
また、本開示の適用範囲は、像環境と観察環境が物理的に大きく隔たっている場合には限定されず、撮像環境下の被写体の色を観察環境下で正しく再現できないさまざまな場面を含むことができる。
【0173】
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0174】
本明細書中において説明した一連の処理はハードウェア、ソフトウェア、又はハードウェアとソフトウェアを複合した構成によって実行することが可能である。ソフトウェアによる処理を実行する場合、本開示の実現に関わる処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。各種処理が実行可能な汎用的なコンピュータにプログラムをインストールして本開示の実現に関わる処理を実行させることも可能である。
【0175】
プログラムは、例えば記録媒体としてのＨＤＤやＳＳＤ、ＲＯＭなどのコンピュータ内に装備された記録媒体にあらかじめ格納しておくことができる。又は、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ－Ｒａｙ Ｄｉｓｃ（登録商標））、磁気ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどのリムーバブル記録媒体に、一時的又は永続的に格納しておくことができる。このようなリムーバブル記録媒体を用いて、いわゆるパッケージソフトウェアとして本開示の実現に関わるプログラムを提供することができる。
【0176】
また、プログラムは、ダウンロードサイトからセルラーに代表されるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、コンピュータ内のＨＤＤやＳＳＤなどの大容量記憶装置にインストールすることができる。
【0177】
なお、本開示は、以下のような構成をとることも可能である。
【0178】
（１）ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部と（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部と、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部と、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部と、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部と、
を具備し、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理装置。
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部と、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部と、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部と、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部と、
を具備し、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理装置。
【0179】
（２）前記選択部は、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する、
上記（１）に記載の情報処理装置。
上記（１）に記載の情報処理装置。
【0180】
（３）前記第１の取得部は、前記選択部によって選択された各サンプル色の分光反射率特性と、前記撮像装置の分光感度特性と、前記撮像環境にある撮像光源の分光分布特性に基づいて、前記撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を算出する、
上記（１）又は（２）のいずれか１つに記載の情報処理装置。
上記（１）又は（２）のいずれか１つに記載の情報処理装置。
【0181】
（４）前記第２の取得部は、前記観察環境にある観察光源の分光分布特性を用いて、前記選択部によって選択された各サンプル色を観察する場合のＸＹＺ値を等色関数に基づいて算出する、
上記（１）乃至（３）のいずれか１つに記載の情報処理装置。
上記（１）乃至（３）のいずれか１つに記載の情報処理装置。
【0182】
（５）前記撮像環境において前記撮像装置が精度評価用サンプル色を撮像した場合に前記撮像装置が出力する精度評価用ＲＧＢ値を取得する第３の取得部と、
前記観察環境において前記精度評価用サンプル色を観察したときの精度評価用ＸＹＺ値を取得する第４の取得部と、
をさらに備え、
前記誤差算出部は、前記精度評価用ＲＧＢ値と、前記精度評価用ＸＹＺ値を用いて前記変換情報の誤差を算出する、
上記（１）乃至（４）のいずれか１つに記載の情報処理装置。
前記観察環境において前記精度評価用サンプル色を観察したときの精度評価用ＸＹＺ値を取得する第４の取得部と、
をさらに備え、
前記誤差算出部は、前記精度評価用ＲＧＢ値と、前記精度評価用ＸＹＺ値を用いて前記変換情報の誤差を算出する、
上記（１）乃至（４）のいずれか１つに記載の情報処理装置。
【0183】
（６）前記第３の取得部は、精度評価用サンプル色の分光反射率特性と、前記撮像装置の分光感度特性と、前記撮像環境にある光源の分光分布特性に基づいて、前記精度評価用ＲＧＢ値を算出し、
前記第４の取得部は、前記観察環境にある光源の分光分布特性を用いて、前記精度評価用ＸＹＺ値を等色関数に基づいて算出する、
上記（５）に記載の情報処理装置。
前記第４の取得部は、前記観察環境にある光源の分光分布特性を用いて、前記精度評価用ＸＹＺ値を等色関数に基づいて算出する、
上記（５）に記載の情報処理装置。
【0184】
（７）前記変換情報を用いて、前記精度評価用ＲＧＢ値をＸＹＺ値に変換し、又は、前記精度評価用ＸＹＺ値をＲＧＢ値に変換する変換部をさらに備え、
前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較し、又は、前記変換部が前記精度評価用ＸＹＺ値から変換したＲＧＢ値を前記精度評価用ＲＧＢ値と比較して、前記変換情報の誤差を算出する、
上記（６）に記載の情報処理装置。
前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較し、又は、前記変換部が前記精度評価用ＸＹＺ値から変換したＲＧＢ値を前記精度評価用ＲＧＢ値と比較して、前記変換情報の誤差を算出する、
上記（６）に記載の情報処理装置。
【0185】
（８）前記誤差算出部は、色再現の目標又は前記変換情報の適用分野に基づいて、誤差算出の目標を設定する、
上記（７）に記載の情報処理装置。
上記（７）に記載の情報処理装置。
【0186】
（９）前記誤差算出部は、前記目標に応じてサンプル色毎の重み付けして、誤差を算出する、
上記（８）に記載の情報処理装置。
上記（８）に記載の情報処理装置。
【0187】
（１０）前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較する際に、各ＸＹＺ値の２次元ｘｙ座標を算出した後、色毎に座標距離の平均、総和、標準偏差、又は、互いのｘ（ｙ）値の誤差平均、総和、標準偏差を算出する、
上記（７）乃至（９）のいずれか１つに記載の情報処理装置。
上記（７）乃至（９）のいずれか１つに記載の情報処理装置。
【0188】
（１１）前記誤差算出部は、前記変換部が前記精度評価用ＲＧＢ値から変換したＸＹＺ値を前記精度評価用ＸＹＺ値と比較する際に、各各ＸＹＺ値をそれぞれＬ＊ａ＊ｂ値に変換した後、それらの色差を示すＤＥ２０００値を精度評価用サンプル色毎に算出して、サンプル色毎のＤＥ２０００値の平均、総和、標準偏差を算出する、
上記（７）乃至（９）のいずれか１つに記載の情報処理装置。
上記（７）乃至（９）のいずれか１つに記載の情報処理装置。
【0189】
（１２）前記選択部は、一般化簡略勾配法を用いて、前記誤差が最小となるようにｎ個のサンプル色からｒ個のサンプル色を選択する、
上記（２）に記載の情報処理装置。
上記（２）に記載の情報処理装置。
【0190】
（１３）ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部ステップ（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択ステップで選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得ステップと、
観察環境において前記選択ステップで選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得ステップと、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出ステップと、
前記変換情報算出ステップで算出した変換情報の誤差を算出する誤差算出ステップと、
を有し、
前記選択ステップでは、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理方法。
撮像環境において撮像装置が前記選択ステップで選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得ステップと、
観察環境において前記選択ステップで選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得ステップと、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出ステップと、
前記変換情報算出ステップで算出した変換情報の誤差を算出する誤差算出ステップと、
を有し、
前記選択ステップでは、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
情報処理方法。
【0191】
（１４）ｎ個のサンプル色の中からｒ個のサンプル色を選択する選択部（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
コンピュータプログラム。
撮像環境において撮像装置が前記選択部によって選択された各サンプル色を撮像した場合に前記撮像装置が出力するＲＧＢ値を取得する第１の取得部、
観察環境において前記選択部によって選択された各サンプル色を観察したときのＸＹＺ値を取得する第２の取得部、
前記第１の取得部が取得したＲＧＢ値と前記第２の取得部が取得したＸＹＺ値に基づいて、ＲＧＢ値をＸＹＺ値に変換する変換情報を算出する変換情報算出部、
前記変換情報算出部が算出した変換情報の誤差を算出する誤差算出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述され、
前記選択部は、前記誤差に基づいてｎ個のサンプル色からｒ個のサンプル色を選択する、
コンピュータプログラム。
【0192】
（１５）変換情報を使って撮像装置から出力されたＲＧＢ値をＸＹＺ値に変換し、
前記変換情報は、ｎ個のサンプル色の中から選択された最適なｒ個のサンプル色を用いて（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、前記最適なｒ個のサンプル色を撮像した前記撮像装置が出力するＲＧＢ値を、観察環境において前記最適なｒ個のサンプル色を観察したときのＸＹＺ値に変換できるように算出されたものである、
情報処理装置。
前記変換情報は、ｎ個のサンプル色の中から選択された最適なｒ個のサンプル色を用いて（但し、ｎとｒはともに正の整数で、ｎ＞ｒとする）、前記最適なｒ個のサンプル色を撮像した前記撮像装置が出力するＲＧＢ値を、観察環境において前記最適なｒ個のサンプル色を観察したときのＸＹＺ値に変換できるように算出されたものである、
情報処理装置。
【符号の説明】
【0193】
１００…情報処理装置、１０１…サンプル色分光データ保持部
１０２…選択部、１０３…ＲＧＢ値取得部、１０４…ＲＧＢ値取得部
１０５…変換情報算出部
１０６…精度評価用サンプル色分光データ保持部
１０７…精度評価用ＲＧＢ値取得部
１０８…精度評価用ＸＹＺ値取得部、１０９…変換部
１１０…誤差算出部
２０１、２０２…ｘｙ算出部、２０３…重み付け部
２０４…標準偏差算出部
３０１、３０２…Ｌ*ａ*ｂ*算出部、３０３…ＤＥ２０００算出部
３０４…重み付け部、３０５…標準偏差算出部
１２００…カメラ、１２０１…通信部、１２０２…撮像部
１２０３…外光センサー１２０４…処理部
１３００…表示装置、１３０１…通信部、１３０２…表示部
１３０３…外光センサー、１３０４…処理部
１４０１…サンプル色分光データ保持部、１４０２…選択部
１４０３…ＲＧＢ値取得部、１４０４…ＸＹＺ値取得部
１４０５…変換情報算出部、１４０７…精度評価用ＲＧＢ値取得部
１４０８…精度評価用ＸＹＺ値取得部、１４０９…変換部
１４１０…誤差算出部
１５０１サンプル色分光データ保持部、１５０２…選択部
１５０３…ＲＧＢ値取得部、１５０４…ＸＹＺ値取得部
１５０５…変換情報算出部、１５０７…精度評価用ＲＧＢ値取得部
１５０８…精度評価用ＸＹＺ値取得部、１５０９…変換部
１５１０…誤差算出部
１６０１…サンプル色分光データ保持部、１６０２…ＲＧＢ値取得部
１６０３…ＸＹＺ値取得部、１６０４…変換情報取得部
１６０５…変換部、１６０６…誤差算出部
２００１…ＣＰＵ、２００２…ＲＯＭ、２００３…ＲＡＭ
２００４…ホストバス、２００５…ブリッジ、２００６…拡張バス
２００７…インタフェース部、２００８…入力部、２００９…出力部
２０１０…ストレージ部、２０１１…ドライブ
２０１２…リムーバブル記録媒体、２０１３…通信部
２２００…色再現システム、２２１０…撮像装置、２２１１…撮像光源
２２２０…表示装置、２２２１…観察光源、２２３０…変換装置
２２４０…情報処理装置
１０２…選択部、１０３…ＲＧＢ値取得部、１０４…ＲＧＢ値取得部
１０５…変換情報算出部
１０６…精度評価用サンプル色分光データ保持部
１０７…精度評価用ＲＧＢ値取得部
１０８…精度評価用ＸＹＺ値取得部、１０９…変換部
１１０…誤差算出部
２０１、２０２…ｘｙ算出部、２０３…重み付け部
２０４…標準偏差算出部
３０１、３０２…Ｌ*ａ*ｂ*算出部、３０３…ＤＥ２０００算出部
３０４…重み付け部、３０５…標準偏差算出部
１２００…カメラ、１２０１…通信部、１２０２…撮像部
１２０３…外光センサー１２０４…処理部
１３００…表示装置、１３０１…通信部、１３０２…表示部
１３０３…外光センサー、１３０４…処理部
１４０１…サンプル色分光データ保持部、１４０２…選択部
１４０３…ＲＧＢ値取得部、１４０４…ＸＹＺ値取得部
１４０５…変換情報算出部、１４０７…精度評価用ＲＧＢ値取得部
１４０８…精度評価用ＸＹＺ値取得部、１４０９…変換部
１４１０…誤差算出部
１５０１サンプル色分光データ保持部、１５０２…選択部
１５０３…ＲＧＢ値取得部、１５０４…ＸＹＺ値取得部
１５０５…変換情報算出部、１５０７…精度評価用ＲＧＢ値取得部
１５０８…精度評価用ＸＹＺ値取得部、１５０９…変換部
１５１０…誤差算出部
１６０１…サンプル色分光データ保持部、１６０２…ＲＧＢ値取得部
１６０３…ＸＹＺ値取得部、１６０４…変換情報取得部
１６０５…変換部、１６０６…誤差算出部
２００１…ＣＰＵ、２００２…ＲＯＭ、２００３…ＲＡＭ
２００４…ホストバス、２００５…ブリッジ、２００６…拡張バス
２００７…インタフェース部、２００８…入力部、２００９…出力部
２０１０…ストレージ部、２０１１…ドライブ
２０１２…リムーバブル記録媒体、２０１３…通信部
２２００…色再現システム、２２１０…撮像装置、２２１１…撮像光源
２２２０…表示装置、２２２１…観察光源、２２３０…変換装置
２２４０…情報処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
