(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022182590
(43)【公開日】2022-12-08
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
H04N 1/60 20060101AFI20221201BHJP
G06T 1/00 20060101ALI20221201BHJP
H04N 9/64 20060101ALI20221201BHJP
G01J 3/46 20060101ALI20221201BHJP
【FI】
H04N1/60 020
H04N1/60 830
G06T1/00 510
H04N9/64 J
G01J3/46 Z
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021090231
(22)【出願日】2021-05-28
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】武 昌宏
(72)【発明者】
【氏名】田川 雄策
(72)【発明者】
【氏名】千葉 祐介
【テーマコード(参考)】
2G020
5B057
5C066
5C079
【Fターム(参考)】
2G020AA08
2G020DA05
2G020DA13
2G020DA14
2G020DA22
2G020DA32
2G020DA34
2G020DA35
2G020DA52
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057CE18
5B057DA16
5B057DB06
5B057DC25
5C066AA01
5C066AA03
5C066CA08
5C066EE04
5C066GA01
5C066KE09
5C066KM01
5C066KM11
5C079HB01
5C079HB05
5C079JA12
5C079JA17
5C079JA26
5C079JA27
5C079LA31
5C079LB01
5C079MA04
5C079MA11
5C079MA17
5C079NA03
5C079NA27
5C079PA05
(57)【要約】
【課題】撮影側の被写体の色をより容易に表示側に再現することができる仕組みを提供する。
【解決手段】情報処理装置は制御部を備える。制御部は、撮像装置の分光感度特性に関する特性データを取得し、撮像装置が撮像を行う撮影環境にある光源の分光分布特性に関する撮影側分光データを取得し、所定色の分光反射率特性に関する色分光データを取得する。制御部は、特性データ、撮影側分光データ、及び、色分光データを用いて、撮像装置を用いて所定色の撮像を行った場合に撮像装置が出力するRGB値を算出する。制御部は、撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得する。制御部は、表示側分光データ及び色分光データを用いて、表示装置に所定色を表示する場合のXYZ値を算出する。制御部はRGB値をXYZ値に変換する変換情報を算出する。
【選択図】
図1B
【特許請求の範囲】
【請求項1】
撮像装置の分光感度特性に関する特性データを取得し、
前記撮像装置が撮像を行う撮影環境にある光源の分光分布特性に関する撮影側分光データを取得し、
所定色の分光反射率特性に関する色分光データを取得し、
前記特性データ、前記撮影側分光データ、及び、前記色分光データを用いて、前記撮像装置を用いて前記所定色の撮像を行った場合に前記撮像装置が出力するRGB値を算出し、
前記撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得し、
前記表示側分光データ及び前記色分光データを用いて、前記表示装置に前記所定色を表示する場合のXYZ値を算出し、
前記RGB値を前記XYZ値に変換する変換情報を算出する、制御部
を備える情報処理装置。
【請求項2】
前記制御部は、前記表示環境にあるセンサーが取得した表示側外光情報に基づき、複数の光源それぞれに対応する複数の前記表示側分光データの中から、前記表示環境にある前記光源の前記表示側分光データを選択する、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記センサーによるフィルタ分光処理の結果と、複数の光源それぞれに対応する複数の前記表示側分光データに対する前記フィルタ分光処理との結果と、の比較結果に基づき、前記表示環境にある前記光源の前記表示側分光データを選択する、請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、ユーザからの指示に基づき、複数の光源それぞれに対応する複数の前記撮影側分光データの中から、前記撮影環境にある前記光源の前記撮影側分光データを選択する、請求項1に記載の情報処理装置。
【請求項5】
前記制御部は、前記撮影環境にあるセンサーが取得した撮影側外光情報に基づき、複数の光源それぞれに対応する複数の前記撮影側分光データの中から、前記撮影環境にある前記光源の前記撮影側分光データを選択する、請求項1に記載の情報処理装置。
【請求項6】
前記制御部は、前記センサーによるフィルタ分光処理の結果と、複数の光源それぞれに対応する複数の前記撮影側分光データに対する前記フィルタ分光処理の結果と、の比較結果に基づき、前記撮影環境にある前記光源の前記撮影側分光データを選択する、請求項5に記載の情報処理装置。
【請求項7】
前記制御部は、前記表示装置に応じて、前記撮影環境に配置する前記光源に関する情報を提示するための提示情報を生成する、請求項1に記載の情報処理装置。
【請求項8】
前記撮影環境にある前記光源の分光分布と、前記表示装置の分光分布と、が略同一である、請求項1に記載の情報処理装置。
【請求項9】
前記制御部は、前記変換情報に基づき、前記RGB値を前記XYZ値に変換した場合の誤差を算出し、前記誤差に関する情報を提示するための提示情報を生成する、請求項1に記載の情報処理装置。
【請求項10】
前記制御部は、前記RGB値を前記変換情報を用いて変換した変換XYZ値と、前記XYZ値と、を比較することで前記誤差を算出する、請求項9に記載の情報処理装置。
【請求項11】
(変換装置も含む)
前記制御部は、前記撮像装置が撮像した撮像画像の各画素値を、前記変換情報を用いて前記RGB値から前記XYZ値に変換する、請求項1に記載の情報処理装置。
【請求項12】
撮像装置の分光感度特性に関する特性データを取得し、
前記撮像装置が撮像を行う撮影環境にある光源の分光分布特性に関する撮影側分光データを取得し、
所定色の分光反射率特性に関する色分光データを取得し、
前記特性データ、前記撮影側分光データ、及び、前記色分光データを用いて、前記撮像装置を用いて前記所定色の撮像を行った場合に前記撮像装置が出力するRGB値を算出し、
前記撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得し、
前記表示側分光データ及び前記色分光データを用いて、前記表示装置に前記所定色を表示する場合のXYZ値を算出し、
前記RGB値を前記XYZ値に変換する変換情報を算出する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
カメラが被写体を撮影して得られる画像データをモニタに表示する場合に、観察者が被写体を実際に視覚で認識した色と、モニタに表示される色と、が同じ色になるように画像データを表示する表示方法が知られている(例えば、特許文献1参照)。
【0003】
かかる表示方法では、基準モニタに表示した複数の映像をカメラで撮影することで、カメラで撮影した画像のRGB値と、映像のXYZ値との対応関係を保持する。かかる表示方法では、基準モニタを光源として被写体の撮影を行って得られるRGB値を、保持している対応関係に基づいてXYZ値に変換し、基準モニタに表示することで、撮影側の被写体の色を、基準モニタに再現するようにしている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した表示方法では、基準モニタに複数の映像を表示してカメラで撮影を行う必要があった。また、基準モニタを光源として、被写体の撮影を行う必要があり、被写体の撮影条件にも制限があった。このように、従来の表示方法では、撮影側の被写体の色を、より容易にモニタ(表示側)に再現するという点で課題があった。
【0006】
そこで、本開示では、撮影側の被写体の色を、より容易に表示側に再現することができる仕組みを提供する。
【0007】
なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の1つに過ぎない。
【課題を解決するための手段】
【0008】
本開示によれば、情報処理装置が提供される。情報処理装置は、制御部を備える。制御部は、撮像装置の分光感度特性に関する特性データを取得する。制御部は、前記撮像装置が撮像を行う撮影環境にある光源の分光分布特性に関する撮影側分光データを取得する。制御部は、所定色の分光反射率特性に関する色分光データを取得する。制御部は、前記特性データ、前記撮影側分光データ、及び、前記色分光データを用いて、前記撮像装置を用いて前記所定色の撮像を行った場合に前記撮像装置が出力するRGB値を算出する。制御部は、前記撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得する。制御部は、前記表示側分光データ及び前記色分光データを用いて、前記表示装置に前記所定色を表示する場合のXYZ値を算出する。制御部は、前記RGB値を前記XYZ値に変換する変換情報を算出する。
【図面の簡単な説明】
【0009】
【
図1A】本開示の実施形態に係る情報処理システムの概要を説明するための図である。
【
図1B】本開示の実施形態に係る情報処理の概要を説明するための図である。
【
図2】本開示の実施形態に係る撮像装置の構成例を示すブロック図である。
【
図3】本開示の実施形態に係る変換装置及び表示装置の構成例を示すブロック図である。
【
図4】本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。
【
図5】本開示の実施形態に係る分光データ取得部の構成例について示す図である。
【
図6】本開示の実施形態に係る変換情報の一例について説明するための図である。
【
図7】本開示の実施形態に係る変換情報算出部が算出する変換情報の一例を示す図である。
【
図8】本開示の実施形態に係る変換装置による変換処理の一例について説明するための図である。
【
図9】本開示の実施形態に係る情報処理装置が実行する情報処理の一例の流れを示すフローチャートである。
【
図10】本開示の実施形態に係る変換装置が実行する変換処理の一例の流れを示すフローチャートである。
【
図11】本開示の実施形態の第2変形例に係る情報処理装置の構成例を示すブロック図である。
【
図12】本開示の実施形態の第4変形例に係る情報処理装置の構成例を示すブロック図である。
【
図13】本開示の実施形態の第4変形例に係る誤差算出部の構成例を示すブロック図である。
【
図14】本開示の実施形態の第4変形例に係る表示情報の一例を示す図である。
【
図15】本開示の実施形態の第4変形例に係る表示情報の他の例を示す図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
【0012】
<<1.情報処理システムの概要>>
<1.1.情報処理システムの概要構成例>
図1Aは、本開示の実施形態に係る情報処理システム10の概要を説明するための図である。情報処理システム10は、情報処理装置100と、変換装置200と、撮像装置300と、表示装置500と、を備える。
【0013】
撮像装置300は、撮影側照明装置600Aを撮影側光源として、被写体400を撮影し、撮像画像を生成するカメラである。撮像装置300は、被写体400の動画像を撮影してもよく、静止画像を撮影してもよい。
【0014】
表示装置500は、撮像装置300が撮影した撮像画像を、観察者(図示省略)に表示する装置である。表示装置500は、表示側照明装置600Bを表示側光源として、撮像画像を観察者に表示する。
【0015】
このように、撮像装置300が撮像した撮像画像を表示装置500に表示する場合に、表示側照明装置600Bを光源とした場合に観察者が視認する被写体の色を推定し表示装置500に再現することが望まれる場合がある。
【0016】
例えば、病院Aで患者を撮影した撮影画像を病院Bのモニタ(表示装置500)に表示して医者(観察者)が診察を行うものとする。この場合、モニタに表示される患者の顔色を、病院Bで医者が観察した場合と同じ色で再現することで、医者は病院Aにいる患者を、病院Bにいる場合と同じように診察することができる。
【0017】
このように、撮像装置300が撮像した撮像画像から表示側照明装置600B下での色を再現する方法として、撮像画像の色座標を色絶対座標XYZ値として取得する方法がある。より具体的には、かかる方法では、情報処理システム10は、被写体400及び撮影側照明装置600Aの色座標をXYZ値として取得する。これにより、情報処理システム10は、撮像装置300による撮像から表示装置500による表示まで色の絶対座標を保持し得る。
【0018】
しかしながら、この場合、撮像装置300が、XYZ値の撮像画像を生成する装置である必要がある。すなわち、撮像装置300が、人間の目の分光特性を模した、いわゆるXYZカメラと呼ばれる装置である必要がある。しかしながら、XYZカメラは高価であり一般的ではない。
【0019】
そこで、本開示の提案技術に係る情報処理システム10では、RGB画像を撮像する撮像装置300(いわゆるRGBカメラ)を用いてRGB値の撮像画像(以下、RGB画像とも記載する)を撮像する。情報処理システム10では、変換装置200がRGB画像のRGB値をXYZ値に変換する変換処理を行うことで、XYZ値の撮像画像を取得する。
【0020】
情報処理装置100は、変換装置200による変換処理に用いられる変換情報を生成する。情報処理装置100は、例えば、撮像装置300が撮像したRGB画像を、表示装置500に表示するときに、観察者が直接被写体400を観察したときに視認する色と同じ色を表示装置500に表示するための変換情報を生成する。
【0021】
このように、
図1Aの情報処理システム10は、撮像装置300が撮影側照明装置600Aを光源として撮像した撮像画像から、表示側照明装置600Bを光源とした場合に視認される被写体400の色を推定し表示装置500に再現するシステムである。
【0022】
<1.2.従来技術の課題>
ここで、RGB画像に基づき、所定光源下での色を推定し再現する色再現システムとして、例えば、特開2001-8220号公報に開示されるシステムが知られている。かかる色再現システムは、被写体の分光反射率の統計データを用いて所定の照明光下における被写体の色を推定する。このとき、上記色再現システムでは、被写体の撮影信号に応じて統計データを切り替えることで、高精度に被写体の色推定を行う。
【0023】
しかしながら、上記システムでは、規定の照明光スペクトルに基づく統計データを用いて被写体の色推定を行っている。そのため、例えば被写体を撮影する撮影側の照明光が変更になったり、モニタが設置される観察側の照明光が変更になったりした場合、被写体の色推定の精度が劣化する恐れがある。
【0024】
そのため、例えば、後から照明光の変更ができる等、システム導入後により柔軟な変更が可能なシステムが求められる。
【0025】
また、上記システムでは、被写体の分光反射率の統計データを用いて色推定を行っているが、この分光反射率を可視域の380nmから780nmの間で1nm単位で保持している。この場合、システムは、1色につき400個のデータを保持することになり、統計データを算出するための演算量が非常に多くなってしまう。そのため、演算を行うための特別なハードウェアを用いてシステムを構築する必要がある恐れがある。あるいは、システムが動画像ではなく、静止画像の色推定しか行えない恐れがある。
【0026】
そのため、より演算量を低減することができ、撮影側の被写体の色を、より容易にモニタに再現することができるシステムの構築が望まれる。
【0027】
そこで、本開示の提案技術は、撮影側の被写体の色を表示側のモニタ(表示装置)に再現する色再現システム技術において撮影側の被写体の色を、より容易にモニタに再現することができる仕組みを提供する。
【0028】
より具体的には、情報処理システム10の情報処理装置100が、撮影画像(RGB画像)を表示画像(変換画像)に変換するための変換情報を算出する。例えば、情報処理装置100は、撮像装置300の分光感度特性に関する特性データを取得する。情報処理装置100は、撮像装置300が撮像を行う撮像環境にある光源(例えば、撮影側照明装置600A)の分光分布特性に関する撮像側分光データを取得する。情報処理装置100は、所定色(サンプル色)の分光反射率特性に関する色分光データを取得する。情報処理装置100は、取得した特性データ、撮像側分光データ、及び、色分光データを用いて、撮像装置300を用いてサンプル色の撮影を行った場合に撮像装置300が出力するRGB値を算出する。
【0029】
また、情報処理装置100は、表示装置500を表示する表示環境にある光源(例えば、表示側照明装置600B)の分光分布特性に関する表示側分光データを取得する。情報処理装置100は、取得した表示側分光データ、及び、色分光データを用いて、表示装置500にサンプル色を表示する場合のXYZ値を算出する。情報処理装置100は、算出したRGB値をXYZ値に変換する変換情報を算出する。
【0030】
なお、ここでは、色再現システムの適用例として、例えば遠隔診療に適用する場合について説明したが、適用例はこれに限定されない。例えば、色再現システムは、工場での検品システムに適用され得る。より具体的には、例えば、工場で製造された商品の色等を遠隔地で確認する場合等に、本開示の提案技術の色再現システム技術が適用され得る。
【0031】
<1.3.情報処理の概要>
図1Bは、本開示の実施形態に係る情報処理の概要を説明するための図である。かかる情報処理は、変換装置200で行われるRGB画像(撮像画像)からXYZ画像(表示画像)への変換に用いられる変換情報を生成する処理である。
【0032】
情報処理装置100は、例えば、撮像装置300に搭載された外光センサー(図示省略)から撮影側外光情報を取得する(ステップS1)。撮影側外光情報には、例えば、撮影側照明装置600Aに関する情報が含まれ得る。
【0033】
情報処理装置100は、例えば、表示装置500に搭載された外光センサー(図示省略)から表示側外光情報を取得する(ステップS2)。表示側外光情報には、例えば、表示側照明装置600Bに関する情報が含まれ得る。
【0034】
情報処理装置100は、取得した撮影側外光情報に基づき、撮影側光源分光データDBから撮影側照明装置600Aの分光分布特性に関する撮像側分光データを取得する(ステップS3)。
【0035】
情報処理装置100は、取得した表示側外光情報に基づき、表示側光源分光データDBから表示側照明装置600Bの分光分布特性に関する表示側分光データを取得する(ステップS4)。
【0036】
情報処理装置100は、撮像装置分光データDBから取得した特性データ、ステップS3で取得した撮影側分光データ、及び、サンプル色分光データDBから取得した色分光データに基づき、RGB値を算出する(ステップS5)。ここで、特性データは、撮像装置300の分光感度特性に関する情報である。また、色分光データは、所定のサンプル色の分光反射率特性に関する情報である。例えば、色分光データには、複数(例えば、千から二千色)のサンプル色の分光反射率特性に関する情報が含まれ得る。
【0037】
情報処理装置100は、例えば、特性データ、撮影側分光データ、及び、色分光データに基づき、撮影側照明装置600A下でサンプル色の被写体400を撮像したときに撮像装置300が出力するRGB値を算出する。情報処理装置100は、複数のサンプル色ごとにRGB値を算出する。
【0038】
次に、情報処理装置100は、ステップS4で取得した表示側分光データ、及び、サンプル色分光データDBから取得した色分光データに基づき、XYZ値を算出する(ステップS6)。
【0039】
情報処理装置100は、例えば、表示側分光データ、及び、色分光データに基づき、表示側照明装置600B下でサンプル色の被写体400を表示する場合に、表示装置500に表示するXYZ値を算出する。情報処理装置100は、複数のサンプル色ごとにXYZ値を算出する。
【0040】
情報処理装置100は、ステップS5で算出したRGB値と、ステップS6で算出したXYZ値と、に基づき、RGB画像をXYZ画像に変換するための変換情報を算出する(ステップS7)。変換情報は、例えば、複数のサンプル色ごとにRGB値とXYZ値とを対応付ける情報である。変換情報の詳細については後述する。
【0041】
なお、変換装置200は、情報処理装置100が算出した変換情報を用いて、撮像装置300が撮像する画像のRGB値をXYZ値の変換画像に変換し(ステップS8)、表示装置500に表示する。ここで、表示装置500がXYZ値の画像を表示する装置の場合、変換装置200は、XYZ値の変換画像を表示装置500に出力する。一方、表示装置500がRGB値の画像を表示する装置の場合、変換装置200は、XYZ値の変換画像をRGB値の変換画像に変換して表示装置500に出力するようにしてもよい。
【0042】
なお、変換装置200によるRGB画像からXYZ値の変換画像への変換は、RGB画像の画素ごとに、フレーム単位で行われる。一方、情報処理装置100が行う変換情報の算出は、例えば撮影側照明装置600A又は表示側照明装置600Bが切り替わった場合や複数のサンプル色を含む色サンプル(色標本)が切り替わった場合に行われ得る。
【0043】
色サンプルは、例えば、人物の肌色など、被写体400の種別に応じて切り替わり得る。すなわち、撮像装置300の撮像対象の種別が切り替わる場合に色サンプルの色分光データが切り替わり得るが、一般的に、色サンプルが切り替わる可能性は低く、固定であると考えられる。
【0044】
なお、撮影側照明装置600A又は表示側照明装置600Bの切り替わりに適応的に対応する場合は、情報処理装置100は、例えば数秒単位等、所定の周期で変換情報を算出する情報処理を実施するものとする。
【0045】
以上のように、本実施形態に係る情報処理システム10は、撮影側光源(撮影側照明装置600A)を含めた被写体400の分光を撮像装置300で撮像しRGB画像を取得する。情報処理システム10は、取得したRGB画像を、変換情報を用いて表示側光源(表示側照明装置600B)下での絶対色座標XYZに変換する。このように、本実施形態に係る情報処理システム10では、被写体400の分光反射率の推定を行わないため、変換に要する演算量を低減することができる。
【0046】
また、変換情報は、サンプル色の色分光データ等に基づいて算出される。かかる変換情報は、上述したように、例えば撮影側照明装置600A又は表示側照明装置600Bが切り替わった場合に再計算すればよい。そのため、本実施形態に係る情報処理システム1が行う演算量をより低減することができ、撮影側の被写体400の色を、より容易に表示装置500に再現することができる。
【0047】
また、情報処理システム10は、例えば外光センサーから取得した撮影側外光情報及び表示側外光情報を用いて変換情報を算出する。そのため、情報処理システム10は、システム導入後に照明装置が切り替わった場合でも変換情報を容易に更新することができ、より柔軟な変更が可能となる。
【0048】
<<2.情報処理システムの構成例>>
続いて、本開示の実施形態に係る情報処理システム10の各装置の構成例について説明する。
【0049】
[照明装置600]
まず、撮影側照明装置600A及び表示側照明装置600Bについて説明する。撮影側照明装置600A及び表示側照明装置600Bを特に区別しない場合は、単に照明装置600とも記載する。照明装置600は、情報処理システム10の光源として使用される。
【0050】
照明装置600として、例えば、白熱灯、蛍光灯、LED(Light Emitting Diode)等が用いられ得る。また、照明装置600の代わりに太陽光を情報処理システム10の光源としてもよい。
【0051】
なお、撮影側光源は、表示側光源と同じ種類の光源であってもよく、異なる種類の光源であってもよい。また、撮像装置300及び表示装置500が、例えば1つの部屋に配置される等、同じ環境内に配置される場合など、撮影側光源及び表示側光源が同一である場合があり得る。
【0052】
[撮像装置300]
次に、
図2を用いて、情報処理システム10の撮像装置300について説明する。
図2は、本開示の実施形態に係る撮像装置300の構成例を示すブロック図である。
図2に示す撮像装置300は、通信部310と、撮像部320と、外光センサー330と、を備える。
【0053】
(通信部310)
通信部310は、有線または無線により、ネットワークを介して外部装置と通信する通信インターフェースである。通信部310は、例えば、NIC(Network Interface Card)等によって実現される。
【0054】
(撮像部320)
撮像部320は、被写体400の撮像を行って撮像画像(RGB画像)を生成する。撮像部320は、例えばイメージセンサである。撮像部320は、例えば動画像又は静止画像の撮像・生成を行う。撮像部320は、通信部310を介して、撮像画像を変換装置200に出力する。
【0055】
(外光センサー330)
外光センサー330は、撮像側光源の情報を取得する装置である。外光センサー330は、例えば複数のカラーセンサー(図示省略)を有する。複数のカラーセンサーは、例えば、それぞれ異なる波長の光(色成分)を分離して抽出するセンサーである。外光センサー330は、例えば人間の可視域(波長で380nm~780nm)の光を、複数のカラーセンサーを用いて異なる波長ごとに複数に分離する。このように、外光センサー330は、フィルタ分光処理を行って、所定の波長の光を分離して抽出する。外光センサー330は、分離結果を、例えば通信部310を介して情報処理装置100に出力する。
【0056】
なお、ここでは、外光センサー330が複数のカラーセンサーを用いて分光を行う場合について説明したが、外光センサー330は、これに限定されない。外光センサー330が、例えば分光計のように光源の分光をより詳細に取得するセンサーであってもよい。このように、分光計を用いることで、後述する情報処理装置100による光源の推定処理を省略することができる。ただし、分光計は高価であり一般的でないため、カラーセンサーを用いることで、より安価かつより容易に外光センサー330を構成することができる。
【0057】
また、ここでは、撮像装置300が外光センサー330を有するとしたが、これに限定されない。外光センサー330によって撮影側光源に関する情報が取得されればよく、例えば、外光センサー330を撮像装置300とは別に、撮影側に独立して配置してもよい。
【0058】
続いて、
図3を用いて、情報処理システム10の変換装置200及び表示装置500について説明する。
図3は、本開示の実施形態に係る変換装置200及び表示装置500の構成例を示すブロック図である。
【0059】
[変換装置200]
変換装置200は、撮像装置300が取得したRGB画像を、表示側光源下における色絶対座標XYZ値の変換画像に変換し、表示装置500に表示させる情報処理装置である。
図3に示す変換装置200は、通信部210と、記憶部220と、制御部230と、を備える。
【0060】
(通信部210)
通信部210は、有線または無線により、ネットワークを介して外部装置と通信する通信インターフェースである。通信部210は、例えば、NIC(Network Interface Card)等によって実現される。
【0061】
(記憶部220)
記憶部220は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部220は、変換装置200の記憶手段として機能する。記憶部220は、後述する制御部230が実施する変換処理に使用する変換情報を記憶する。
【0062】
(制御部230)
制御部230は、変換装置200の各部を制御する。制御部230は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって変換装置200内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部230は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0063】
制御部230は、変換情報取得部231と、変換処理部232と、表示制御部233と、を備える。制御部230を構成する各ブロック(変換情報取得部231~表示制御部233)はそれぞれ制御部230の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。制御部230は上述の機能ブロックとは異なる機能単位で構成されていてもよい。機能ブロックの構成方法は任意である。
【0064】
なお、制御部230は上述の機能ブロックとは異なる機能単位で構成されていてもよい。また、制御部230を構成する各ブロック(変換情報取得部231~表示制御部233)の一部又は全部の動作を、他の装置が行ってもよい。例えば、制御部230を構成する各ブロックの一部又は全部の動作を、クラウドコンピューティングにより実現される制御装置が行ってもよい。
【0065】
(変換情報取得部231)
変換情報取得部231は、通信部210を介して、情報処理装置100から変換情報を取得し、例えば記憶部220に記憶する。変換情報取得部231は、例えば数秒単位の所定周期で変換情報を取得する。変換情報は、撮像装置300が撮像したRGB画像を、表示側光源下で色絶対座標XYZ値の変換画像に変換するための情報であり、例えば変換係数やLUT(LookUpTable)等によって表現される。
【0066】
(変換処理部232)
変換処理部232は、通信部210を介して撮像装置300から取得したRGB画像を、変換情報を用いて色絶対座標XYZ値の変換画像に変換する変換処理を実行する。変換処理部232は、変換画像を表示制御部233に出力する。なお、変換処理の詳細は後述する。
【0067】
(表示制御部233)
表示制御部233は、表示装置500を制御して変換画像を表示させる。表示装置500がXYZ値の画像を表示できる場合は、変換処理部232が生成したXYZ値の変換画像を表示装置500に出力する。一方、表示装置500がXYZ値の画像を表示できず、RGB値の画像を表示する場合、表示制御部233は、変換処理部232が生成したXYZ値の変換画像をRGB値の変換画像に変換して表示装置500に出力する。なお、変換画像をXYZ値からRGB値に変換するための情報は、予め記憶部220に記憶されているものとする。
【0068】
[表示装置500]
表示装置500は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイ等の表示装置である。表示装置500は、変換装置200が出力する変換画像を表示する。変換装置200がXYZ値の変換画像を出力する場合、表示装置500は、XYZ値の変換画像をRGB値に変換してからディスプレイに表示するようにしてもよい。
【0069】
(外光センサー)
また、
図3に示す表示装置500は、外光センサー510を備える。外光センサー3510は、表示側光源の情報を取得する装置である。外光センサー510は、例えば複数のカラーセンサー(図示省略)を有する。複数のカラーセンサーは、例えば、それぞれ異なる波長の光(色成分)を分離して抽出するセンサーである。外光センサー510は、例えば人間の可視域(波長で380nm~780nm)の光を、複数のカラーセンサーを用いて異なる波長ごとに複数に分離する。このように、外光センサー510は、フィルタ分光処理を行って、所定の波長の光を分離して抽出する。外光センサー510は、分離結果を、情報処理装置100に出力する。
【0070】
なお、ここでは、外光センサー510が複数のカラーセンサーを用いて分光を行う場合について説明したが、外光センサー510は、これに限定されない。外光センサー510が、例えば分光計のように光源の分光をより詳細に取得するセンサーであってもよい。このように、分光計を用いることで、後述する情報処理装置100による光源の推定処理を省略することができる。ただし、分光計は高価であり一般的でないため、カラーセンサーを用いることで、より安価かつより容易に外光センサー510を構成することができる。
【0071】
また、ここでは、表示装置500が外光センサー510を有するとしたが、これに限定されない。外光センサー510によって表示側光源に関する情報が取得されればよい。例えば、外光センサー510を表示装置500とは別に、表示側に独立して配置してもよく、変換装置200が表示側に配置される場合は変換装置200に外光センサー510を搭載してもよい。
【0072】
[情報処理装置100]
続いて、
図4は、本開示の実施形態に係る情報処理装置100の構成例を示すブロック図である。
図4に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130と、を備える。
【0073】
[通信部110]
通信部110は、有線または無線により、ネットワークを介して外部装置と通信する通信インターフェースである。通信部110は、例えば、NIC(Network Interface Card)等によって実現される。
【0074】
[記憶部120]
記憶部120は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部120は、情報処理装置100の記憶手段として機能する。記憶部120は、撮像装置分光データDB121と、撮影側光源分光データDB122と、表示側光源分光データDB123と、サンプル色分光データDB124と、を有する。
【0075】
(撮像装置分光データDB121)
撮像装置分光データDB121は、撮像装置300の分光感度特性に関する特性データを保持する。撮像装置分光データDB121は、例えば、複数の撮像装置300の特性データを保持する。情報処理装置100は、撮像装置分光データDB121から実際に情報処理システム10に搭載された撮像装置300の特性データを取得する。
【0076】
このとき、撮像装置分光データDB121には、情報処理システム10に採用され得る全ての撮像装置300の特性データが網羅的に保持されることが望ましい。
【0077】
なお、情報処理システム10に搭載される撮像装置300が予め決められている場合は、撮像装置分光データDB121は、予め決められている撮像装置300の特性データを保持しておけばよい。
【0078】
(撮影側光源分光データDB122)
撮影側光源分光データDB122は、撮影側光源の分光分布特性に関する撮影側(撮像側)分光データを保持する。撮影側光源分光データDB122は、例えば複数の撮影側照明装置600Aの撮影側分光データを保持する。このとき撮影側光源分光データDB122には、例えば、白熱灯や蛍光灯、LED、太陽光といった撮影側光源となり得る光源の分光データが網羅的に保持されることが望ましい。
【0079】
(表示側光源分光データDB123)
表示側光源分光データDB123は、表示側光源の分光分布特性に関する表示側(観察側)分光データを保持する。表示側光源分光データDB123は、例えば複数の表示側照明装置600Bの撮影側分光データを保持する。このとき表示側光源分光データDB123には、例えば、白熱灯や蛍光灯、LED、太陽光といった表示側光源となり得る光源の分光データが網羅的に保持されることが望ましい。
【0080】
なお、
図4では、撮影側と表示側とで光源分光データDBを分ける構成としたがこれに限定されない。例えば、撮影側と表示側とで同じ光源に関する分光データが保持される場合、撮影側光源分光データDB122及び表示側光源分光データDB123を1つのDBとして構成してもよい。
【0081】
(サンプル色分光データDB124)
サンプル色分光データDB124は、サンプル色の分光反射率特性に関する色分光データを保持する。色分光データは、例えば色サンプル(色標本)に含まれる複数のサンプル色ごとの分光反射率を含む。
【0082】
なお、後述するように、サンプル色に基づいてRGB値及びXYZ値が算出される。そのため、色分光データに含まれるサンプル色は、RGB値からXYZ値への変換処理で必要となる色域を網羅することが望ましい。すなわち、色分光データは、変換処理で必要な色域を網羅する多数の分光反射率のデータが含まれることが望ましい。
【0083】
サンプル色分光データDB124は、例えば、被写体400の種別等に応じて、複数の色サンプル(色標本)ごとの色分光データを保持してもよい。例えば、サンプル色分光データDB124は、千から二千色程度の印刷用色標本をベースとして、自然界の代表的な物体ごとの色分光データを保持する。
【0084】
このとき、サンプル色分光データDB124が、色再現精度を高めたい色付近でサンプル色が密になる、すなわち色再現精度を高めたい色付近でサンプル数が多いサンプル色の色分光データを保持するようにしてもよい。すなわち、色分光データに含まれるサンプル色は、対応する物体ごとに異なる色であってもよい。これにより、情報処理装置100は、色再現精度をより向上させ、物体ごとのサンプル色による色再現精度の偏りをある程度制御することができる。
【0085】
なお、色分光データに含まれる分光反射率は、物体の実際の分光反射率であってもよく、あるいは、実際の分光反射率をもとにデータとして作成(推定)された架空の分光反射率(推定分光反射率)であってもよい。
【0086】
[制御部130]
制御部130は、情報処理装置100の各部を制御する。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって情報処理装置100内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0087】
制御部130は、外光情報取得部131と、分光データ取得部132と、RGB値算出部133と、XYZ値算出部134と、変換情報算出部135と、を備える。制御部130を構成する各ブロック(外光情報取得部131~変換情報算出部135)はそれぞれ制御部130の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。制御部130は上述の機能ブロックとは異なる機能単位で構成されていてもよい。機能ブロックの構成方法は任意である。
【0088】
なお、制御部130は上述の機能ブロックとは異なる機能単位で構成されていてもよい。また、制御部130を構成する各ブロック(外光情報取得部131~変換情報算出部135)の一部又は全部の動作を、他の装置が行ってもよい。例えば、制御部130を構成する各ブロックの一部又は全部の動作を、クラウドコンピューティングにより実現される制御装置が行ってもよい。
【0089】
(外光情報取得部131)
外光情報取得部131は、通信部110を介して、撮像装置300の外光センサー330から撮影側外光情報を取得する。外光情報取得部131は、通信部110を介して、表示装置500の外光センサー510から表示側外光情報を取得する。外光情報取得部131は、取得した撮影側外光情報及び表示側外光情報を分光データ取得部132に出力する。
【0090】
(分光データ取得部132)
分光データ取得部132は、外光情報取得部131から取得した撮影側外光情報に基づき、撮影側光源分光データDB122から撮影側分光データを取得する。分光データ取得部132は、外光情報取得部131から取得した表示側外光情報に基づき、表示側光源分光データDB123から表示側分光データを取得する。分光データ取得部132による撮影側分光データ及び表示側分光データを取得する方法の詳細については
図5を用いて後述する。
【0091】
(RGB値算出部133)
RGB値算出部133は、撮像装置300の特性データ、撮影側分光データ、及び、サンプル色の色分光データに基づき、撮影側光源下で撮像装置300が出力するRGB値をサンプル色ごとに算出する。
【0092】
なお、RGB値算出部133は、実際に撮像を行う撮像装置300に応じて、撮像装置300の特性データを撮像装置分光データDB121から取得する。RGB値算出部133は、撮影側分光データを分光データ取得部132から取得する。RGB値算出部133は、例えば、被写体400の種別に応じた色分光データをサンプル色分光データDB124から取得する。
【0093】
このように、RGB値算出部133は、撮像装置300に応じて特性データを切り替えてRGB値を算出する。また、RGB値算出部133は、被写体400に応じて色分光データを切り替えてRGB値を算出する。
【0094】
RGB値算出部133は、算出したRGB値を変換情報算出部135に出力する。
【0095】
(XYZ値算出部134)
XYZ値算出部134は、表示側分光データ、及び、サンプル色の色分光データに基づき、表示側光源下でのXYZ値をサンプル色ごとに算出する。
【0096】
なお、XYZ値算出部134は、例えば、被写体400の種別に応じた色分光データをサンプル色分光データDB124から取得する。このように、XYZ値算出部134は、被写体400に応じて色分光データを切り替えてRGB値を算出する。
【0097】
XYZ値算出部134は、算出したXYZ値を変換情報算出部135に出力する。
【0098】
(変換情報算出部135)
変換情報算出部135は、RGB値算出部133が算出したRGB値と、XYZ値算出部134が算出したXYZ値と、を用いて変換情報を算出する。変換情報は、例えば、色サンプルに含まれるサンプル色ごとに、RGB値とXYZ値とを対応付けるための情報である。変換情報及び変換情報の算出処理の詳細については後述する。
【0099】
変換情報算出部135は、例えば所定周期(数秒)で変換情報を算出(更新)する。変換情報算出部135は、通信部110を介して変換情報を変換装置200に出力する。
【0100】
[分光データ取得部132の詳細]
次に、
図5を用いて分光データ取得部132の詳細な構成例について説明する。
図5は、本開示の実施形態に係る分光データ取得部132の構成例について示す図である。なお、
図5では、分光データ取得部132が撮影側光源の推定を行う場合について説明するが、分光データ取得部132は、表示側光源も同様に推定する。
【0101】
図5に示す分光データ取得部132は、フィルタ分光処理部1321と、比較推定処理部1322と、を備える。
【0102】
フィルタ分光処理部1321は、撮影側分光データDBが保持する複数の光源の分光データを複数の分光データ候補として取得する。フィルタ分光処理部1321は、分光データ候補から、外光センサー330が抽出する波長の光(色成分)と同じ光を抽出する。すなわち、フィルタ分光処理部1321は、分光データ候補に対して外光センサー330と同じフィルタ分光処理を行い、処理結果を比較推定処理部1322に出力する。なお、フィルタ分光処理部1321は、例えば演算によって外光センサー330と同じフィルタ分光処理を行う。
【0103】
比較推定処理部1322は、複数の分光データ候補に対するフィルタ分光処理結果と、外光情報取得部131が取得した撮影側外光情報とを比較する。光源は、一般的に方式(例えば、蛍光灯やLED、白熱灯等)が決まれば、ほぼ分光の形状が決まる。そのため、光源が同じであれば、光源の分光データに対してフィルタ分光処理した結果は、理論的に実際の光源に対してフィルタ分光処理した結果と同じになる。
【0104】
そこで、比較推定処理部1322は、複数の分光データ候補に対するフィルタ分光処理結果と、実際の光源に対するフィルタ分光処理結果を含む撮影側外光情報と、を比較する。
【0105】
比較推定処理部1322は、実際の光源に対するフィルタ分光処理結果に一番近いフィルタ分光処理結果に対応する分光データ候補を、撮影側分光データであると推定し、当該撮影側分光データに対応する光源が、実際の光源であると推定する。
【0106】
比較推定処理部1322は、例えば、回帰分析等の手法を用いて、分光データ候補に対するフィルタ分光処理結果が、どの程度実際の光源に対するフィルタ分光処理結果に当てはまるかを計算することで、2つのフィルタ分光処理結果を比較する。
【0107】
比較推定処理部1322は、推定した光源の分光データ候補を、撮影側分光データとして、RGB値算出部133に出力する。
【0108】
[変換情報の例]
(変換係数)
次に、
図6を用いて、本開示の実施形態に係る変換情報の一例について説明する。
図6は、本開示の実施形態に係る変換情報の一例について説明するための図である。上述したように、変換情報は、変換情報算出部135(
図4参照)において算出される。
【0109】
図6に示す例では、変換情報算出部135は、RGB値算出部133から取得したRGB値と、XYZ値算出部134から取得したXYZ値とを比較することで、数学的に色座標変換係数を変換情報として算出する。
【0110】
上述したように、RGB値算出部133は、サンプル色ごとにRGB値を算出する。
図6では、サンプル色とサンプル色IDと4ビットのRGB値とを対応付けて示している。また、XYZ値算出部134は、サンプル色ごとにXYZ値を算出する。
図6では、サンプル色を識別するためのサンプル色IDと4ビットのRGB値とを対応付けて示している。
【0111】
変換情報算出部135は、サンプル色IDが同じであるRGB値とXYZ値とを比較し、RGB値からXYZ値値に変換する変換係数を算出する。例えば、RGB値からXYZ値への変換を行列演算で行う場合、RGB値からXYZ値へ変換するための変換行列を算出する。
【0112】
例えば、
図6の例では、変換情報算出部135は、サンプル色IDが「0001」であるRGB値「2F1」からXYZ値「2D3」へ変換する変換行列x1を算出する。変換行列x1は、例えば3×3の行列である。
【0113】
同様にして、変換情報算出部135は、サンプル色ID「0002」~「2000」に対応する変換行列x2~x2000を算出する。このように変換情報算出部135は、例えば、色サンプル(色標本)に含まれる全てのサンプル色に対応する変換行列xを算出する。
【0114】
変換情報算出部135が算出した変換行列xは、標本色ごとに異なる。そのため、変換情報算出部135は、例えば最小二乗法等を用いて全ての標本色においてRGB値からXYZ値への変換を平均的に表現できる代表変換行列Xを変換情報として算出し、変換装置200に出力する。これにより、変換装置200、単純な行列演算でRGB画像から変換画像の変換を行うことができ、変換処理の演算量を低減することができる。これにより、例えば、変換装置200をシンプルなハードウェアで構成することができるようになる。
【0115】
一方、1つの代表変換行列Xで全ての色を変換する場合、色によって変換精度にばらつきが発生する。かかるばらつきを抑制する方法として、変換装置200が、サンプル色IDごとに算出した変換行列xを用いて変換処理を行う方法が考えられる。すなわち、変換情報算出部135が、全ての変換行列xを代表変換行列Xとして変換情報を生成する。しかしながら、この方法の場合、変換装置200のハードウェア構成が複雑になる恐れがある。
【0116】
このように、代表変換行列の数が増加すると変換処理の処理量が増加するため、変換情報に含める代表変換行列の数は、例えば変換装置200の構成や求められる処理時間、求められる変換精度等に応じて適宜設定され得る。
【0117】
なお、変換情報算出部135は、複数の代表変換行列(係数)を算出する場合であっても、画素ごとに代表変換行列(係数)を算出するのではなく、色や輝度等に応じていくつかのポイントを設定し、設定したポイントごとに代表変換行列(係数)を算出するものとする。すなわち、変換情報算出部135は、例えば、色や輝度等に応じて標本色を複数のグループに分け、グループごとに代表変換行列を算出する。
【0118】
この場合、変換装置200は、RGB画像の各画素値に応じて代表変換行列を選択し、画素ごとに変換処理を行う。このとき、変換装置200は、画素値に応じて選択した代表変換行列に重み付けを行う等、代表変換行列に対して補正を行ってもよい。
【0119】
(変換テーブル)
なお、変換情報算出部135が算出する変換情報は、変換行列(変換係数)に限定されない。例えば、変換情報算出部135が、変換情報として変換テーブルを算出してもよい。
【0120】
図7は、本開示の実施形態に係る変換情報算出部135が算出する変換情報の一例を示す図である。
図7に示すように、変換情報算出部135は、標本色ごとに4ビットのRGB値と4ビットのXYZ値とを対応付けた変換テーブルを変換情報として算出する。
【0121】
なお、変換情報算出部135は、全ての標本色においてRGB値とXYZ値とを対応付けた変換テーブルを算出してもよく、一部の標本色において離散的にRGB値とXYZ値とを対応付けた変換テーブルを算出してもよい。なお、変換テーブルに含める標本色の数は、例えば変換装置200の構成や求められる処理時間、求められる変換精度等に応じて適宜設定され得る。
【0122】
[変換処理の例]
ここで、
図8を用いて、変換情報が上述した変換テーブルである場合に、変換装置200が実行する変換処理の一例について説明する。
図8は、本開示の実施形態に係る変換装置200による変換処理の一例について説明するための図である。なお、変換処理は、変換装置200の変換処理部232で実行される。また、変換テーブルは、変換情報取得部231(
図3参照)によって情報処理装置100から取得され、記憶部220(
図3参照)に記憶されているものとする。
【0123】
図8に示すように、変換処理部232は、読み出し制御部2321と、補間処理部2322と、を備える。
【0124】
読み出し制御部2321は、RGB画像の各画素値に応じて変換テーブルの読み出し処理を制御する。読み出し制御部2331は、画素値と同じRGB値がある場合は、当該RGB値に対応するXYZ値を出力するよう変換テーブルの読み出し処理を行う。
【0125】
一方、画素値と同じRGB値がない場合、読み出し制御部2331は、画素値に近いRGB値に対応するXYZ値を出力するよう変換テーブルの読み出し処理を行う。この場合、出力するXYZ値は1つであっても複数(例えば2つ)であってもよい。
【0126】
補間処理部2322は、読み出し制御部2321によって出力されたXYZ値を用いて補間処理を行い、RGB画像の画素値をXYZ値に変換し、変換画像を生成する。
【0127】
なお、補間処理が必要ない場合、すなわち、画素値と同じRGB値が変換テーブルにある場合、補間処理部2322は、例えば補間処理を行わず、当該RGB値に対応するXYZ値を画素値として変換画像を生成する。
【0128】
例えば、RGB画像の所定の画素の画素値が「004」であったとする。この場合、
図8に示すように、同じRGB値が変換テーブルに含まれる。そのため、読み出し制御部2321は、RGB値「004」に対応するXYZ値「005」を出力するよう読み出し処理を行う。補間処理部2322は、読み出したXYZ値「005」を所定の画素の画素値とする変換画像を生成する。
【0129】
一方、RGB画像の画素値に対応するRGB値がない場合、補間処理部2322は、出力されたXYZ値に対して補間処理を行い、変換画像を生成する。
【0130】
例えば、RGB画像の所定の画素の画素値が「002」であったとする。
図8に示すように、同じRGB値が変換テーブルには含まれない。この場合、読み出し制御部2321は、例えば、RGB値「000」に対応するXYZ値「001」と、RGB値「004」に対応するXYZ値「005」と、を出力するよう読み出し処理を行う。補間処理部2322は、読み出したXYZ値「001」、「005」に基づき、補間処理を行って算出したXYZ値値を、所定の画素の画素値とする。
【0131】
このように、変換処理部232は、RGB画像の画素ごとに変換テーブルを参照し、必要に応じて補間処理を行うことで、各画素値をXYZ値に変換した変換画像を生成する。
【0132】
<<3.情報処理>>
<3.1.変換情報算出処理>
続いて、本開示の実施形態に係る情報処理装置100が実行する情報処理について説明する。
図9は、本開示の実施形態に係る情報処理装置100が実行する情報処理の一例の流れを示すフローチャートである。
【0133】
情報処理装置100は、情報処理として変換情報を算出する変換情報算出処理を実行する。情報処理装置100は、例えば所定周期で変換情報算出処理を実行する。
【0134】
図9に示すように、情報処理装置100は、外光情報を取得する(ステップS101)。情報処理装置100は、外光センサー330から撮影側外光情報を取得し、外光センサー510から表示側外光情報を取得する。
【0135】
次に、情報処理装置100は、分光データを選択する(ステップS102)。情報処理装置100は、撮影側外光情報に基づき、撮影側光源分光データDB122から撮影側光源に対応する撮影側分光データを選択する。また、情報処理装置100は、表示側外光情報に基づき、表示側光源分光データDB123から表示側光源に対応する表示側分光データを選択する。
【0136】
情報処理装置100は、RGB値を算出する(ステップS103)。情報処理装置100は、撮像装置300の特性データ、撮影側分光データ、及び、色分光データに基づき、複数のサンプル色ごとのRGB値を算出する。
【0137】
情報処理装置100は、XYZ値を算出する(ステップS104)。情報処理装置100は、表示側分光データ及び色分光データに基づき、複数のサンプル色ごとのXYZ値を算出する。
【0138】
情報処理装置100は、RGB値及びXYZ値に基づき変換情報を算出する(ステップS105)。変換情報は、変換装置200で実行されるRGB値からXYZ値への変換処理に用いられる情報であり、例えば変換行列のような変換係数や変換テーブルなどを含む。
【0139】
<3.2.変換処理>
次に、変換装置200が行う変換処理について説明する。
図10は、本開示の実施形態に係る変換装置200が実行する変換処理の一例の流れを示すフローチャートである。変換装置200は、撮像装置300が撮像を行っている間、変換処理を実行する。
【0140】
まず、変換装置200は、情報処理装置100から変換情報を取得する(ステップS201)。変換装置200は、撮像装置300の撮像開始前に変換情報を取得していてもよい。
【0141】
次に、変換装置200は、撮像装置300からRGB画像を取得する(ステップS202)。変換装置200は、取得したRGB画像の各画素においてRGB値からXYZ値に変換する(ステップS203)。変換装置200は、RGB画像の各画素値に変換係数を乗算することで、XYZ値の画素値を算出する。変換係数は、例えば変換情報に含まれる。
【0142】
変換装置200は、ステップS203で生成した変換画像を表示装置500に出力する(ステップS204)。これにより、変換画像が表示装置500に表示される。
【0143】
続いて、変換装置200は、変換情報が更新されたか否かを判定する(ステップS205)。例えば、変換装置200は、情報処理装置100から変換情報を取得したか否かに応じて、変換情報が更新されたか否かを判定する。あるいは、変換装置200は、所定周期が経過したか否かに応じて、変換情報が更新されたか否かを判定してもよい。
【0144】
変換情報が更新されたと判定した場合(ステップS205;Yes)、変換装置200は、記憶部220に記憶している変更情報を更新する。
【0145】
一方、変換情報が更新されていないと判定した場合(ステップS205;No)、変換装置200は、撮像装置300の撮像が終了したか否かを判定する(ステップS206)。変換装置200は、例えば、撮像装置300から撮像終了の通知を受信した場合や、撮像装置300との通信が終了した場合に撮像が終了したと判定する。
【0146】
撮像が終了していないと判定した場合(ステップS206;No)、ステップS202に戻る。一方、撮像が終了したと判定した場合(ステップS206;Yes)、処理を終了する。
【0147】
以上のように、本実施形態に係る情報処理システム10では、情報処理装置100は、撮影側光源下でサンプル色を撮像装置300で撮像した場合のRGB値を算出する。また、情報処理装置100は、表示側光源下でサンプル色を表示装置500に表示する場合のXYZ値を算出する。情報処理装置100は、算出したRGB値をXYZ値に変換する変換情報を算出する。変換装置200は、この変換情報を用いて撮像装置300が撮像したRGB画像をXYZ値の変換画像に変換し、表示装置500に表示する。これにより、情報処理システム10は、撮影から表示まで色座標を保持することができる。そのため、情報処理システム10は、撮影側の被写体400の色を、より容易に表示装置500(モニタ)に再現することができる。
【0148】
また、本実施形態に係る情報処理システム10は、撮影側及び表示側に外光センサー330、510を設け、光源の分光を推定し、分光データを取得する。そのため、観察者は、光源の分光や、光源の変化等を意識することなく、表示装置500に表示される被写体400を視認することができる。
【0149】
また、本実施形態に係る情報処理システム10は、光源の分光が変化した場合に変換情報を更新すればよく、例えば、変換情報の更新を数秒ごとに行えばよい。このように、変換情報の算出による処理負荷が低いため、情報処理装置100をソフトウェアで実現することができる。
【0150】
また、本実施形態に係る情報処理システム10は、サンプル色に基づいて変換情報を算出する。そのため、撮像装置300が撮像する画素ごとに変換情報を算出する場合と比較して、画素ごとの演算をより低減することができる。これにより、情報処理システム10の構築に求められるハードウェアの性能をより低減することができる。
【0151】
また、本実施形態に係る情報処理システム10では、情報処理装置100が例えばクラウドコンピューティングで実現され、変換装置200が表示側に配置される。そのため、撮像装置300及び表示装置500は、例えばインターネット等、既存のネットワークを介して容易に接続することができる。このように、情報処理システム10は、撮影画像を遠隔地で確認するようなシステムに容易に適用することができる。ただし、上述したように、情報処理装置100は、撮像装置300の特性データを使用してRGB値を算出する。そのため、撮像装置300が、情報処理装置100や表示装置300等と離れた場所に配置される場合、情報処理装置100は、撮像側(例えば撮像装置300)から撮像装置300の機種情報等、撮像装置300に関する情報を例えばメタデータ等で取得するものとする。
【0152】
なお、上述した情報処理システム10は、撮像側から表示側に撮像画像を送信する場合について示しているが、これに限定されない。例えば、情報処理システム10が、表示側に撮像装置を備え、撮像側に表示装置を備えることで、双方向で画像を送受信する場合でも、撮像した被写体の色をより容易に再現して表示することができる。
【0153】
<<4.変形例>>
<4.1.第1変形例>
上述した実施形態では、情報処理装置100が、外光センサー330、510から取得した外光情報に基づき、光源を推定するとしたが、これに限定されない。例えば、情報処理システム10を構築するユーザや、撮像を行う撮像者、表示装置500で変換画像を視認する観察者が光源の指定を行ってもよい。この場合、情報処理装置100は、指定された光源の分光データを分光データDBから取得する。
【0154】
なお、指定される光源は、実際の光源と異なっていてもよい。例えば、実際の撮影側光源が照明装置である場合に、ユーザ(例えば観察者)が、撮影側の光源として太陽光を指定することで、ユーザは、被写体400が屋外にある場合の色を確認できるようになる。
【0155】
このように、光源を指定できるようにすることで、情報処理システムう10は、例えば、実際の撮影環境とは異なる環境で撮影した場合の映像を観察者に提示することができる。
【0156】
なお、観察者等が光源の指定を行う場合、外光センサー330、510を省略してもよい。
【0157】
<4.2.第2変形例>
上述した実施形態では、情報処理装置100が、変換装置200とは異なる装置であるとした。この場合、例えば、変換装置200は、表示装置500と同じ表示側に配置され得る。また、情報処理装置100は、例えばクラウドコンピューティングによって実現され得る。
【0158】
一方で、情報処理装置100と、変換装置200と、を同じ場所に配置してもよい。例えば、情報処理装置100と変換装置200との機能を1つの情報処理装置700で実現してもよい。
【0159】
図11は、本開示の実施形態の第2変形例に係る情報処理装置700の構成例を示すブロック図である。
図11に示す情報処理装置700は、通信部110と、記憶部720と、制御部730と、を備える。なお、
図11に示す情報処理装置700の構成のうち、情報処理装置100の構成、及び、変換装置200の構成と同じものには同一符号を付し、説明を省略する。
【0160】
記憶部720は、例えば、情報処理装置100の記憶部120が保持する各DB、及び、変換装置200の記憶部220が保持する情報を保持する。
【0161】
制御部730は、例えば、情報処理装置100の制御部130の各機能、及び、変換装置200の制御部230の各機能を有する。
【0162】
このように、情報処理装置100及び変換装置200の各機能を1つの装置として実現することができる。例えば、情報処理装置700を表示装置500と同じ表示側に配置することで、観察者からの光源の指定(第1変形例参照)等、観察者による指示に対応しやすくなる。
【0163】
なお、
図11では、情報処理装置700を表示装置500と同じ表示側に配置する場合について示しているが、これに限定されない。例えば、情報処理装置700が、クラウドコンピューティングによって実現されてもよい。
【0164】
<4.3.第3変形例>
上述した実施形態及び変形例では、観察者が表示側にいるものとして説明したが、これに限定されない。例えば撮影側にも直接被写体400を観察する観察者がいてもよい。かかる場合について第3変形例として説明する。
【0165】
例えば、工場で製作した試作品の色等を、工場の制作者と、工場とは離れた場所にいる発注者と、で同時に確認したい場合がある。この場合、試作品の実物の色と、表示装置500に表示する試作品の色とをマッチングさせることが望ましい。
【0166】
このように、撮影側の被写体400の色と、表示装置500に表示する被写体400の色とを同じにすることが望まれる場合がある。しかしながら、人間の分光特性にはばらつきがあるため、上記実施形態の情報処理システム10のように色の絶対座標を保持して表示しても、撮影側観察者と表示側観察者とで異なる色と判断してしまう場合がある。このような観察者の分光特性のばらつきを補正することは難しく、変換処理以外の方法で分光特性のばらつきの影響を低減する仕組みが求められる。
【0167】
例えば、2つの物体の色を測色計で計測した場合、2つの物体の分光特性が異なっていても、計測結果が同じ色を示す場合がある(条件等色対)。あるいは、2つの光源の分光特性が異なっていても、測色計で同じ色を示す場合がある。測色計が人間の目の分光特性を平均的に模しているが、実際の人間の目の分光特性は個人によってばらつきがある。そのため、条件等色対では、この個人のばらつきによって、異なる観察者が同じ色に見えない場合がある。
【0168】
このばらつきによる影響を低減する方法として、撮影側光源(撮影側照明装置600A)の分光特性と、表示装置500の全白分光特性と、を揃えるという方法がある。ここで、全白分光特性とは、表示装置500に白色の画像を表示させたときの分光特性を意味する。
【0169】
このように、撮影側光源と表示装置500の全白分光特性とを揃えることで、撮影側観察者がみる分光特性が、表示装置500で再現する分光特性とほぼ同じ形状となる。そのため、撮影側観察者及び表示側観察者の観察者ばらつきの影響を低減することができる。
【0170】
この観察者ばらつきの影響が条件等色であることを前提とすると、撮影側光源の分光特性と、表示装置500の分光特性が近いほど、当該ばらつきの影響は低減される。例えば、撮影側光源として、表示装置500と同じ装置を使用することで、当該ばらつきの影響が小さい情報処理システム10をより簡易に構築することができる。
【0171】
このように、例えば、撮影側光源も含めて情報処理システム10を構築する場合に、あらかじめ撮影側光源の分光特性と表示装置500の全白分光特性とが近づくように撮影側光源を選択することで、観察者ばらつきの影響を低減することができる。
【0172】
なお、撮影側光源(撮影側照明装置600A)の分光特性と、表示装置500の全白分光特性と、を揃える具体的な方法として、例えば、表示装置500と同じ装置を撮影側光源として使用する方法が挙げられる。この場合、表示装置500と同じ装置に白色(全白)を表示させることで、当該装置を照明(撮影側光源)として使用することができる。
【0173】
このように、撮影側光源として、表示装置500と同じ装置を使用することで、観察者ばらつきの影響を低減することができるシステムをより容易に構築することができる。
【0174】
あるいは、例えば情報処理装置100が表示装置500の情報を取得し、取得した情報を撮影側観察者に提示するようにしてもよい。情報処理装置100は、例えば、撮像装置300に搭載されたディスプレイや、撮影側に配置された表示装置等にかかる情報を提示する。あるいは、情報処理装置100は、音声等によりかかる情報を撮影側観察者に提示してもよい。これにより、情報処理装置100は、撮影側光源を表示装置500の全白分光特性と近い分光特性を有する光源に変更するように撮影側観測者に促すことができる。
【0175】
情報処理装置100は、例えば、表示装置500から型番等、表示装置500を識別する識別情報を取得する。情報処理装置100は、取得した識別情報を撮影側観察者に提示し得る。
【0176】
あるいは、情報処理装置100が、識別情報を用いて取得した提示情報を撮影側観察者に提示するようにしてもよい。提示情報には、例えば以下の情報の少なくとも1つが含まれ得る。
・表示装置500の全白分光特性に関する分光情報、
・製品名、製造会社等、表示装置500に関する製品情報
・表示装置500の全白分光特性に近い分光特性を有する光源に関する光源情報(例えば、蛍光灯、白熱灯、LED等、照明装置に関する情報)
【0177】
なお、光源情報には、照明装置に関する情報以外にも表示装置500の全白分光特性に近い全白分光特性を有する表示装置に関する情報が含まれていてもよい。このように、実際に表示側に配置された表示装置500以外の表示装置に関する情報を提示情報に含めることで、撮影側光源として選択し得る光源の種類が増加する。
【0178】
情報処理装置100は、例えば、予め構築されたデータベースを検索することで、表示装置500に対応する提示情報を取得する。このデータベースは、例えば、システム管理者によって構築されてもよく、あるいは、製品ホームページ等から収集した情報に基づいて構築されてもよい。
【0179】
なお、ここでは、情報処理装置100が撮影側観察者に情報を提示するとしたが、これに限定されない。例えば、情報処理装置100が表示側観察者に情報を提示してもよく、表示側及び撮影側観察者の双方に情報を提示してもよい。例えば、撮影側に情報を提示する装置がない場合等、情報処理装置100が、かかる情報を表示装置500に表示するようにしてもよい。この場合、例えば、情報の提示を受けた表示側観察者が、当該情報を撮影側観察者に連絡することで、撮影側光源を変更することができる。
【0180】
また、ここでは、撮影側光源を、表示装置500の全白分光特性に合わせて変更するとしたが、これに限定されない。例えば、表示装置500を、撮影側光源の分光特性に合わせて変更するようにしてもよい。例えば、表示装置500を、撮影側で用意できるディスプレイと同じものに変更するようにしてもよい。この場合、情報処理装置100は、撮影側光源に関する情報を表示側観察者に提示する。
【0181】
あるいは、情報処理装置100が、表示装置500に関する情報、及び、撮影側光源に関する情報の両方を表示側及び撮影側観察者の双方に提示するようにしてもよい。この場合、情報処理装置100は、撮影側又は表示側のうち少なくとも一方の装置(表示装置又は照明装置)を変更するよう観察者に促すことができるようになる。
【0182】
<4.4.第4変形例>
上記実施形態及び変形例では、RGB画像の画素値をRGB値からXYZ値に変換するため、変換時に誤差が含まれる恐れがある。例えば、ビジネス等の用途では、どの程度の誤差が発生するか、色再現の信頼度に関する情報が求められるケースが想定される。
【0183】
そこで、第4の変形例では、かかる変換誤差を算出する情報処理装置100Aについて説明する。
図12は、本開示の実施形態の第4変形例に係る情報処理装置100Aの構成例を示すブロック図である。なお、
図4に示す情報処理装置100と同じ構成については同一符号を付し説明を省略する。
【0184】
図12に示すように、情報処理装置100Aの制御部130Aは、誤差算出部136を有する。誤差算出部136は、変換装置200の変換処理時に発生する誤差を推定し、推定結果を、例えば表示装置500に表示させる。
【0185】
図13は、本開示の実施形態の第4変形例に係る誤差算出部136の構成例を示すブロック図である。
図13に示す誤差算出部136は、変換処理部1361と、誤差推定部1362と、表示情報生成部1363と、を有する。
【0186】
変換処理部1361は、RGB値算出部133が算出したRGB値と、変換情報算出部135が算出した変換情報を用いて、RGB値算出部133が算出したRGB値をXYZ値に変換する。
【0187】
誤差推定部1362は、変換処理部1361が変換したXYZ値(以下、変換XYZ値とも記載する)と、XYZ値算出部134が算出したXYZ値(以下、算出XYZ値とも記載する)と、を比較して誤差を推定する。
【0188】
誤差推定部1362は、例えば、変換XYZ値及び算出XYZ値のX成分の差(Δx)やY成分の差(Δy)を誤差として算出する。あるいは、誤差推定部1362は、色差計算のDE2000等を用いて、色サンプル(色標本)に含まれる全てのサンプル色での平均値、最大値、及び、標準偏差等を誤差として算出してもよい。
【0189】
誤差推定部1362は、算出した誤差を表示情報生成部1363に出力する。
【0190】
表示情報生成部1363は、誤差推定部1362から取得した誤差に関する情報に基づき、表示装置500に表示する表示情報を生成する。
【0191】
表示情報生成部1363は、例えば、上述したΔx、Δy、平均値、最大値及び標準偏差等、誤差推定部1362が誤差として算出した値の少なくとも1つを表示情報とする。あるいは、表示情報生成部1363は、例えば、
図14に示すように、算出した標準偏差σをxy色度図上にプロットした分布図を表示情報として生成してもよい。なお、
図14は、本開示の実施形態の第4変形例に係る表示情報の一例を示す図である。このように、表示情報生成部1363が表示情報として分布図を生成することで、観察者は、色ごとの座標信頼度を一目で把握できるようになる。
【0192】
あるいは、表示情報生成部1363が、表示装置500に表示される変換画像に誤差情報を重畳した表示情報を生成するようにしてもよい。
図15は、本開示の実施形態の第4変形例に係る表示情報の他の例を示す図である。
【0193】
図15に示すように、例えば、表示情報生成部1363は、変換装置200から変換画像を取得し、変換画像上に標準偏差σを特定パターンとして重畳表示させることで、表示情報を生成する。例えば、表示情報生成部1363は、変換画像の各画素値と変換XYZ値(または算出XYZ値)とを比較し、各画素に対応する標準偏差σを決定し、決定した標準偏差σを特定パターンとして変換画像に重畳させる。
【0194】
表示情報生成部1363が、標準偏差σを特定パターンとして重畳された表示情報を生成することで、観察者は、変換画像上の座標信頼度を一目で把握できるようになる。
【0195】
なお、ここでは、表示情報生成部1363が、変換装置200から変換画像を取得して表示情報を生成するとしたが、これに限定されない。例えば、変換装置200が誤差算出部136から誤差に関する情報を取得し、表示情報を生成するようにしてもよい。
【0196】
また、情報処理装置100は、生成した表示情報を直接表示装置500に表示させてもよく、変換装置200を介して表示させてもよい。また、表示情報は、表示装置500だけでなく、例えば撮像装置300のディスプレイに表示されるなど、撮影側観察者に提示されてもよい。
【0197】
<<5.その他の実施形態>>
上述の実施形態及び各変形例は一例を示したものであり、種々の変更及び応用が可能である。
【0198】
例えば、本実施形態の情報処理装置100、変換装置200を制御する制御装置は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
【0199】
例えば、上述の動作を実行するための通信プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、情報処理装置100、変換装置200の外部の装置(例えば、パーソナルコンピュータ)であってもよい。また、制御装置は、情報処理装置100、変換装置200の内部の装置(例えば、制御部130、230)であってもよい。
【0200】
また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
【0201】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0202】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。
【0203】
また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態のシーケンス図に示された各ステップは、適宜順序を変更することが可能である。
【0204】
また、例えば、本実施形態は、装置又はシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
【0205】
なお、本実施形態において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0206】
また、例えば、本実施形態は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0207】
<<6.むすび>>
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0208】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0209】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像装置の分光感度特性に関する特性データを取得し、
前記撮像装置が撮像を行う撮影環境にある光源の分光分布特性に関する撮影側分光データを取得し、
所定色の分光反射率特性に関する色分光データを取得し、
前記特性データ、前記撮影側分光データ、及び、前記色分光データを用いて、前記撮像装置を用いて前記所定色の撮像を行った場合に前記撮像装置が出力するRGB値を算出し、
前記撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得し、
前記表示側分光データ及び前記色分光データを用いて、前記表示装置に前記所定色を表示する場合のXYZ値を算出し、
前記RGB値を前記XYZ値に変換する変換情報を算出する、制御部
を備える情報処理装置。
(2)
前記制御部は、前記表示環境にあるセンサーが取得した表示側外光情報に基づき、複数の光源それぞれに対応する複数の前記表示側分光データの中から、前記表示環境にある前記光源の前記表示側分光データを選択する、(1)に記載の情報処理装置。
(3)
前記制御部は、前記センサーによるフィルタ分光処理の結果と、複数の光源それぞれに対応する複数の前記表示側分光データに対する前記フィルタ分光処理との結果と、の比較結果に基づき、前記表示環境にある前記光源の前記表示側分光データを選択する、(2)に記載の情報処理装置。
(4)
前記制御部は、ユーザからの指示に基づき、複数の光源それぞれに対応する複数の前記撮影側分光データの中から、前記撮影環境にある前記光源の前記撮影側分光データを選択する、(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
前記制御部は、前記撮影環境にあるセンサーが取得した撮影側外光情報に基づき、複数の光源それぞれに対応する複数の前記撮影側分光データの中から、前記撮影環境にある前記光源の前記撮影側分光データを選択する、(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
前記制御部は、前記センサーによるフィルタ分光処理の結果と、複数の光源それぞれに対応する複数の前記撮影側分光データに対する前記フィルタ分光処理の結果と、の比較結果に基づき、前記撮影環境にある前記光源の前記撮影側分光データを選択する、(5)に記載の情報処理装置。
(7)
前記制御部は、前記表示装置に応じて、前記撮影環境に配置する前記光源に関する情報を提示するための提示情報を生成する、(1)~(6)のいずれか1つに記載の情報処理装置。
(8)
前記撮影環境にある前記光源の分光分布と、前記表示装置の分光分布と、が略同一である、(1)~(7)のいずれか1つに記載の情報処理装置。
(9)
前記制御部は、前記変換情報に基づき、前記RGB値を前記XYZ値に変換した場合の誤差を算出し、前記誤差に関する情報を提示するための提示情報を生成する、(1)~(8)のいずれか1つに記載の情報処理装置。
(10)
前記制御部は、前記RGB値を前記変換情報を用いて変換した変換XYZ値と、前記XYZ値と、を比較することで前記誤差を算出する、(9)に記載の情報処理装置。
(11)
前記制御部は、前記撮像装置が撮像した撮像画像の各画素値を、前記変換情報を用いて前記RGB値から前記XYZ値に変換する、(1)~(10)のいずれか1つに記載の情報処理装置。
(12)
撮像装置の分光感度特性に関する特性データを取得し、
前記撮像装置が撮像を行う撮影環境にある光源の分光分布特性に関する撮影側分光データを取得し、
所定色の分光反射率特性に関する色分光データを取得し、
前記特性データ、前記撮影側分光データ、及び、前記色分光データを用いて、前記撮像装置を用いて前記所定色の撮像を行った場合に前記撮像装置が出力するRGB値を算出し、
前記撮像装置が撮像した撮像データを表示装置に表示する表示環境にある光源の分光分布特性に関する表示側分光データを取得し、
前記表示側分光データ及び前記色分光データを用いて、前記表示装置に前記所定色を表示する場合のXYZ値を算出し、
前記RGB値を前記XYZ値に変換する変換情報を算出する、
情報処理方法。
【符号の説明】
【0210】
10 情報処理システム
100 情報処理装置
110、210、310 通信部
120、220 記憶部
130、230 制御部
131 外光情報取得部
132 分光データ取得部
133 RGB値算出部
134 XYZ値算出部
135 変換情報算出部
200 変換装置
231 変換情報取得部
232 変換処理部
233 表示制御部
300 撮像装置
320 撮像部
330、510 外光センサー
400 被写体
500 表示装置
600 照明装置