知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023136026
(43)【公開日】2023-09-29
(54)【発明の名称】情報処理装置および仮想照明システム
(51)【国際特許分類】
G06T 15/50 20110101AFI20230922BHJP
H04N 23/60 20230101ALI20230922BHJP
H04N 23/56 20230101ALI20230922BHJP
H04N 5/222 20060101ALI20230922BHJP
G06T 7/00 20170101ALI20230922BHJP
【ＦＩ】
G06T15/50
H04N5/232 290
H04N5/225 600
H04N5/222 400
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022041423
(22)【出願日】2022-03-16
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100199314
【弁理士】
【氏名又は名称】竹内 寛
(72)【発明者】
【氏名】春日井 宏樹
(72)【発明者】
【氏名】鈴木 崇史
【テーマコード（参考）】
5B080
5C122
5L096
【Ｆターム（参考）】
5B080AA00
5B080BA00
5B080CA00
5B080FA02
5B080FA05
5B080FA08
5B080GA00
5C122FH01
5C122FH02
5C122FH22
5C122FK24
5C122GG08
5C122HB01
5L096AA02
5L096AA06
5L096CA02
5L096CA25
5L096FA67
(57)【要約】
【課題】被写体の画像において自然な照明効果を実現し易くすることができる情報処理装置及び仮想照明システムを提供する。
【解決手段】情報処理装置（３００）は、被写体（１，２）の画像を示す画像データを取得する第１取得部と、複数の光源位置から被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、取得された画像データ及び照度分布情報に基づいて、被写体の画像と、当該画像における位置毎に被写体が光を反射する特性とを含むモデル情報を生成する制御部とを備える。
【選択図】図１
【解決手段】情報処理装置（３００）は、被写体（１，２）の画像を示す画像データを取得する第１取得部と、複数の光源位置から被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、取得された画像データ及び照度分布情報に基づいて、被写体の画像と、当該画像における位置毎に被写体が光を反射する特性とを含むモデル情報を生成する制御部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体の画像を示す画像データを取得する第１取得部と、
複数の光源位置から前記被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、
取得された画像データ及び照度分布情報に基づいて、前記被写体の画像と、前記画像における位置毎に前記被写体が光を反射する特性とを含むモデル情報を生成する制御部とを備える
情報処理装置。
複数の光源位置から前記被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、
取得された画像データ及び照度分布情報に基づいて、前記被写体の画像と、前記画像における位置毎に前記被写体が光を反射する特性とを含むモデル情報を生成する制御部とを備える
情報処理装置。
【請求項2】
前記第１取得部は、前記被写体が撮像された一又は複数の撮像画像を示す画像データを取得し、
前記モデル情報における前記被写体の画像は、前記撮像画像で構成される、
請求項１に記載の情報処理装置。
前記モデル情報における前記被写体の画像は、前記撮像画像で構成される、
請求項１に記載の情報処理装置。
【請求項3】
前記被写体の画像は、前記被写体の全周の少なくとも一部にわたる画像である
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記被写体が光を反射する特性は、前記画像における位置毎の前記被写体の法線方向と反射率とのうちの少なくとも一方を含む
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
前記第２取得部は、互いに異なる複数の光源位置から前記照明光を個別に発光する照明装置によって得られる前記照度分布情報を取得し、
前記照度分布情報は、前記複数の光源位置からの各照明光の反射光がそれぞれ受光された複数の照度分布を含む
請求項１に記載の情報処理装置。
前記照度分布情報は、前記複数の光源位置からの各照明光の反射光がそれぞれ受光された複数の照度分布を含む
請求項１に記載の情報処理装置。
【請求項6】
被写体の画像を含むモデル情報を格納する記憶部と、
前記被写体に対する仮想的な照明に関するユーザ操作を受け付ける操作部と、
前記ユーザ操作に応じて、設定される仮想的な照明に応じた前記モデル情報に対する照明効果を演算するシミュレーション処理を制御する制御部と、
前記シミュレーション処理によって前記照明効果が付与された画像を表示する表示部と
を備え、
前記モデル情報は、複数の光源位置から前記被写体に照射した照明光による分布に基づいて、前記被写体の画像における位置毎に前記被写体が光を反射する特性を示し、
前記制御部は、前記モデル情報が示す前記被写体の特性に基づいて、前記照明効果を前記被写体の画像に付与するように前記シミュレーション処理を行う
情報処理装置。
前記被写体に対する仮想的な照明に関するユーザ操作を受け付ける操作部と、
前記ユーザ操作に応じて、設定される仮想的な照明に応じた前記モデル情報に対する照明効果を演算するシミュレーション処理を制御する制御部と、
前記シミュレーション処理によって前記照明効果が付与された画像を表示する表示部と
を備え、
前記モデル情報は、複数の光源位置から前記被写体に照射した照明光による分布に基づいて、前記被写体の画像における位置毎に前記被写体が光を反射する特性を示し、
前記制御部は、前記モデル情報が示す前記被写体の特性に基づいて、前記照明効果を前記被写体の画像に付与するように前記シミュレーション処理を行う
情報処理装置。
【請求項7】
前記モデル情報は、前記被写体として物体を示す第１のモデル情報と背景を示す第２のモデル情報とを含み、
前記第１及び第２のモデル情報のうちの少なくとも一方は、前記照明光による分布に基づいて、前記物体と前記背景とのうちの対応する被写体の特性を示し、
前記操作部は、前記背景における前記物体の配置を指定するユーザ操作を受け付け、
前記制御部は、前記背景における環境光を示すように前記仮想的な照明を設定して、前記シミュレーション処理を行う
請求項６に記載の情報処理装置。
前記第１及び第２のモデル情報のうちの少なくとも一方は、前記照明光による分布に基づいて、前記物体と前記背景とのうちの対応する被写体の特性を示し、
前記操作部は、前記背景における前記物体の配置を指定するユーザ操作を受け付け、
前記制御部は、前記背景における環境光を示すように前記仮想的な照明を設定して、前記シミュレーション処理を行う
請求項６に記載の情報処理装置。
【請求項8】
前記モデル情報は、前記被写体の全周の少なくとも一部にわたり前記被写体の画像を示し、
前記制御部は、前記操作部において前記被写体の向きを変更するユーザ操作に応じて、変更された向きにおける前記被写体の画像に前記照明効果を付与して前記表示部に表示させる
請求項６に記載の情報処理装置。
前記制御部は、前記操作部において前記被写体の向きを変更するユーザ操作に応じて、変更された向きにおける前記被写体の画像に前記照明効果を付与して前記表示部に表示させる
請求項６に記載の情報処理装置。
【請求項9】
撮像装置により被写体が撮像された画像を示す画像データ、及び／又は、照明装置から前記被写体に照射した照明光による分布を示す照度分布情報を取得する取得部と、
前記撮像装置および前記照明装置を制御する制御部とを備え、
前記撮像装置は、所定周期において前記被写体を順次、撮像して、前記画像データを生成し、
前記制御部は、前記所定周期において、
前記撮像装置が前記被写体を撮像していないときに、前記照明装置から前記照明光を前記被写体に照射させ、
前記照明装置が前記照明光を前記被写体に照射していないときに、前記撮像装置に前記被写体を撮像させる
情報処理装置。
前記撮像装置および前記照明装置を制御する制御部とを備え、
前記撮像装置は、所定周期において前記被写体を順次、撮像して、前記画像データを生成し、
前記制御部は、前記所定周期において、
前記撮像装置が前記被写体を撮像していないときに、前記照明装置から前記照明光を前記被写体に照射させ、
前記照明装置が前記照明光を前記被写体に照射していないときに、前記撮像装置に前記被写体を撮像させる
情報処理装置。
【請求項10】
被写体に照明光を照射して前記照明光による分布を示す情報を取得する照明装置と、
請求項１～９のいずれか１項に記載の情報処理装置と
を備える仮想照明システム。
請求項１～９のいずれか１項に記載の情報処理装置と
を備える仮想照明システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮影される画像の照明効果についての情報処理を行う情報処理装置、及び仮想照明システムに関する。
【背景技術】
【0002】
特許文献１は、画像の高輝度領域を補正した上で、立体感のある自然な画像を生成することを目的とした画像処理装置を開示する。この画像処理装置は、距離画像データに基づいて、補正の対象とする画像に対応する法線情報を取得しており、画像に含まれる被写体の高輝度領域に基づいて、実照明パラメータを推定している。さらに、この画像処理装置は、推定した実照明パラメータに基づいて、仮想照明の向きと実照明の向きとの成す角度が所定の角度以上、大きくならないように、仮想照明パラメータを設定する。こうした法線情報と仮想照明パラメータに基づいて、画像に対してライティング処理が実行されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１６３６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、被写体の画像において自然な照明効果を実現し易くすることができる情報処理装置及び仮想照明システムを提供する。
【課題を解決するための手段】
【0005】
本開示の一態様における情報処理装置は、被写体の画像を示す画像データを取得する第１取得部と、複数の光源位置から被写体に照射した照明光による分布を示す照度分布情報を取得する第２取得部と、取得された画像データ及び照度分布情報に基づいて、被写体の画像と、当該画像における位置毎に被写体が光を反射する特性とを含むモデル情報を生成する制御部とを備える。
【0006】
本開示の別の一態様における情報処理装置は、被写体の画像を含むモデル情報を格納する記憶部と、被写体に対する仮想的な照明に関するユーザ操作を受け付ける操作部と、ユーザ操作に応じて、設定される仮想的な照明に応じたモデル情報に対する照明効果を演算するシミュレーション処理を制御する制御部と、シミュレーション処理によって照明効果が付与された画像を表示する表示部とを備える。モデル情報は、複数の光源位置から被写体に照射した照明光による分布に基づいて、被写体の画像における位置毎に被写体が光を反射する特性を示す。制御部は、モデル情報が示す被写体の特性に基づいて、照明効果を被写体の画像に付与するようにシミュレーション処理を行う。
【0007】
本開示の更に別の一態様における情報処理装置は、撮像装置により被写体が撮像された画像を示す画像データ、及び／又は、照明装置から被写体に照射した照明光による分布を示す照度分布情報を取得する取得部と、撮像装置および照明装置を制御する制御部とを備える。撮像装置は、所定周期において被写体を順次、撮像して、画像データを生成する。制御部は、所定周期において、撮像装置が被写体を撮像していないときに、照明装置から照明光を被写体に照射させ、照明装置が照明光を被写体に照射していないときに、撮像装置に被写体を撮像させる。
【0008】
本開示における仮想照明システムは、被写体を撮像して画像データを生成する撮像装置と、被写体に照明光を照射して照明光による分布を示す情報を取得する照明装置と、上記いずれかの情報処理装置とを備える。
【発明の効果】
【0009】
本開示における情報処理装置及び仮想照明システムによると、被写体の画像において自然な照明効果を実現し易くすることができる。
【図面の簡単な説明】
【0010】
【図1】本開示の実施形態１に係る仮想照明システムを説明するための図
【図2】仮想照明システムにおけるデジタルカメラの構成を示す図
【図3】仮想照明システムにおける照明装置の構成を例示する図
【図4】照明装置の構造を例示する前面図
【図5】仮想照明システムにおける情報端末の構成を例示する図
【図6】仮想照明システムにおける物品撮影動作を例示するフローチャート
【図7】仮想照明システムにおける物品撮影動作の環境を例示する図
【図8】仮想照明システムにおけるモデル情報のデータ構造を例示する図
【図9】仮想照明システムにおける反射特性の推定処理を説明するためのフローチャート
【図10】仮想照明システムの照明装置による照度分布データを例示する図
【図11】仮想照明システムの照明装置の動作を説明するための図
【図12】仮想照明の画像処理における反射率マップを例示する図
【図13】仮想照明の画像処理における座標変換を説明するための図
【図14】仮想照明システムにおける背景撮影動作を例示するフローチャート
【図15】仮想照明システムにおける背景撮影動作の環境を例示する図
【図16】仮想照明システムにおける配置シミュレーション処理を例示するフローチャート
【図17】仮想照明システムにおける配置シミュレーション処理の表示例を示す図
【図18】仮想照明の画像処理における照明効果の演算を説明するための図
【図19】実施形態２に係る仮想照明システムにおける動画の撮影動作を例示するフローチャート
【図20】仮想照明システムにおける排他制御の動作例を説明するためのタイミングチャート
【図21】仮想照明システムにおける物品撮影動作の変形例１を例示する図
【図22】仮想照明システムにおける物品撮影動作の変形例２を例示する図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0012】
【0013】
本実施形態に係る仮想照明システム１０は、例えば図１に示すように、デジタルカメラ１００と、照明装置２００と、情報端末３００とを備える。本システム１０は、例えば、インテリアショップ或いは不動産会社等において、顧客が所望する家具等の物品１を、別途所望の部屋等の背景２に仮想的に配置した様子を可視化する画像合成シミュレーション、即ち配置シミュレーションに適用可能である。物品１と背景２とは、例えば別々の撮影現場１５においてそれぞれ撮影される被写体の一例である。
【0014】
こうした配置シミュレーションにおいては、物品１の撮像画像と、背景２の撮像画像とを合成しても、両者で異なる撮影現場１５の照度等の不整合により合成画像が不自然になる問題が考えられる。そこで、本システム１０では、デジタルカメラ１００による物品１等の撮影時に、照明効果の画像処理を事後的に行うための照明装置２００を併用しておき、配置シミュレーション時に、合成画像において上記不整合を解消するような自然な照明効果を実現する。
【0015】
以下、本システム１０における各装置１００，２００，３００の構成について説明する。
【0016】
１－１．デジタルカメラの構成
本実施形態におけるデジタルカメラ１００の構成について、図２を用いて説明する。
本実施形態におけるデジタルカメラ１００の構成について、図２を用いて説明する。
【0017】
図２は、本システム１０におけるデジタルカメラ１００の構成を例示する図である。デジタルカメラ１００は、本実施形態における撮像装置の一例である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、制御部１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。
【0018】
光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。
【0019】
レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、制御部１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
【0020】
イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。
【0021】
イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。
【0022】
画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。
【0023】
表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。
【0024】
操作部１５０は、デジタルカメラ１００の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号を制御部１３５に送信する。
【0025】
制御部１３５は、デジタルカメラ１００全体の動作を統括制御する。制御部１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。制御部１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。制御部１３５は１つまたは複数のプロセッサで構成してもよい。また、制御部１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。
【0026】
バッファメモリ１２５は、画像処理エンジン１２０や制御部１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、制御部１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、制御部１３５が実行する様々なプログラムが記憶されている。また、制御部１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。
【0027】
カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。
【0028】
通信モジュール１５５は、有線又は無線通信における所定の通信規格に従って外部機器に接続するモジュール（回路）である。所定の通信規格は、例えばＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ８０２．１１、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等を含む。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。
【0029】
１－２．照明装置の構成
本実施形態における照明装置２００の構成について、図３～４を用いて説明する。
本実施形態における照明装置２００の構成について、図３～４を用いて説明する。
【0030】
図３は、本システム１０における照明装置２００の構成を例示する図である。照明装置２００は、例えば図３に示すように、発光部２１０と、受光部２２０と、制御部２３０と、記憶部２４０と、通信部２５０とを備える。照明装置２００の構造を図４に例示する。
【0031】
図４は、照明装置２００を、照明光が出射する方向から見た前面図を例示する。本システム１０の照明装置２００は、例えば天井設置型あるいはスタンド型などの各種型式で構成される。照明装置２００は、デジタルカメラ１００に装着されるクリップオン型であってもよいし、被写体を収容する撮影ボックスと一体的に構成されてもよい。
【0032】
照明装置２００において、発光部２１０は、例えば可視領域の各種波長を有する照明光を発光するように、各種光源装置で構成される。発光部２１０は、例えば図４に示すように、複数の照明光源２１１～２１３を含む。図４では、発光部２１０が３個の照明光源２１１～２１３で構成される例を示す。照明装置２００の発光部２１０はこれに限らず、例えば４個以上の照明光源２１１～２１３を含んでもよい。以下、照明光源２１１～２１３の総称を照明光源２１という。
【0033】
照明光源２１は、例えば波長可変式のＬＥＤであり、所定の配光角においてＲＧＢ等の複数色の照明光を発光する。照明光源２１は、それぞれ複数色の単色ＬＥＤ等を含んでもよい。照明光源２１の配光角は、例えば物品１や背景２などの被写体１１を撮影するための撮影現場１５において、被写体１１を含む空間範囲に照明光が照射されるように設定される。互いに同じ波長を有する照明光を発光可能に構成される。発光部２１０は、照明光源２１から照明光として白色光を発光してもよい。
【0034】
例えば発光部２１０における第１～第３の照明光源２１１～２１３は、照明装置２００において受光部２２０の周囲を囲むように配置される。こうした配置により、発光部２１０は、第１～第３の照明光源２１１～２１３において互いに異なる光源位置を有する。第１～第３の照明光源２１１～２１３は、それぞれ共通の空間範囲に照明光を照射する向きに配置される。
【0035】
受光部２２０は、発光部２１０の照明光に対応する可視領域の光を受光可能に構成された受光面を有する。受光部２２０は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ又はＮＭＯＳイメージセンサ等の各種の撮像素子で構成される。受光部２２０は、例えばモノクロ画像を撮像して、受光結果として照度の空間分布を示すデータを生成する。受光部２２０はモノクロに限らず、ＲＧＢ等のカラーフィルタを含んでもよい。受光部２２０は、各色の画像を、各色光における受光結果としてデータ出力してもよい。
【0036】
制御部２３０は、例えば照明装置２００の全体動作を制御する。制御部２３０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含む。制御部２３０、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部２３０は、ＣＰＵ、ＭＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
【0037】
記憶部２４０は、照明装置２００の機能を実現するために必要なプログラム及びデータを記憶するＲＯＭやＲＡＭを含む。記憶部２４０は、例えば各照明光源２１１～２１３と、受光部２２０との位置関係を示す情報を格納する。
【0038】
通信部２５０は、有線又は無線通信における所定の通信規格に従って外部機器に接続するモジュール（回路）である。所定の通信規格は、例えばＵＳＢ、ＨＤＭＩ、ＩＥＥＥ８０２．１１、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等を含む。
【0039】
１－３．情報端末の構成
本実施形態における情報端末３００の構成について、図５を用いて説明する。
本実施形態における情報端末３００の構成について、図５を用いて説明する。
【0040】
図５は、情報端末３００の構成を例示する図である。情報端末３００は、例えばパーソナルコンピュータ、スマートフォン又はタブレット端末などで構成される情報処理装置の一例である。図５に例示する情報端末３００は、制御部３１０と、記憶部３２０と、操作部３３０と、表示部３４０と、通信部３５０とを備える。
【0041】
制御部３１０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含む。制御部３１０は、例えば情報端末３００の全体動作を制御する。制御部３１０は、記憶部３２０に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
【0042】
制御部３１０は、例えば上記各機能を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。また、制御部３１０は、上記各機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部３１０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＴＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
【0043】
記憶部３２０は、情報端末３００の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３２０は、図５に示すように、格納部３２１及び一時記憶部３２２を含む。
【0044】
格納部３２１は、所定の機能を実現するためのパラメータ、データ及び制御プログラム等を格納する。格納部３２１は、例えばＨＤＤ又はＳＳＤで構成される。例えば、格納部３２１は、上記のプログラム、及び各種の画像データなどを格納する。
【0045】
一時記憶部３２２は、例えばＤＲＡＭ又はＳＲＡＭ等のＲＡＭで構成され、データを一時的に記憶（即ち保持）する。例えば、一時記憶部３２２は、編集途中の画像データなどを保持する。また、一時記憶部３２２は、制御部３１０の作業エリアとして機能してもよく、制御部３１０の内部メモリにおける記憶領域で構成されてもよい。
【0046】
操作部３３０は、ユーザが操作を行う操作部材の総称である。操作部３３０は、例えば、キーボード、マウス、タッチパッド、タッチパネル、ボタン及びスイッチ等であってもよい。操作部３３０は、表示部３４０上に表示される仮想的なボタンやアイコン、カーソル、オブジェクトといった各種のＧＵＩも含む。
【0047】
表示部３４０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される出力部の一例である。表示部３４０は、操作部３３０を操作するための各種ＧＵＩ及び操作部３３０から入力された情報など、各種の情報を表示してもよい。
【0048】
通信部３５０は、有線又は無線通信における所定の通信規格に従って外部機器に接続するモジュール（回路）である。所定の通信規格は、例えばＵＳＢ、ＨＤＭＩ、ＩＥＥＥ８０２．１１、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等を含む。通信部３５０は、インターネット等の通信ネットワークに情報端末３００を接続してもよい。通信部３５０は、外部機器または通信ネットワークから諸情報を受信する取得部の一例である。
【0049】
以上のような情報端末３００の構成は一例であり、情報端末３００の構成はこれに限らない。例えば、情報端末３００における取得部は、制御部３１０等における各種ソフトウェアとの協働によって実現されてもよい。情報端末３００における入力部は、各種記憶媒体（例えば格納部３２１）に格納された諸情報を制御部３１０の作業エリア（例えば一時記憶部３２２）に読み出すことによって、諸情報の取得を行うものであってもよい。
【0050】
また、情報端末３００の表示部３４０には、プロジェクタおよびヘッドマウントディスプレイなど各種の表示デバイスが用いられてもよい。また、例えば外付けの表示デバイスを用いる場合、情報端末３００の表示部３４０は、例えばＨＤＭＩ規格などに準拠した映像信号等の出力インタフェース回路であってもよい。
【0051】
２．動作
以上のように構成される仮想照明システム１０の動作について、以下説明する。
以上のように構成される仮想照明システム１０の動作について、以下説明する。
【0052】
本システム１０において、デジタルカメラ１００は、例えば配置シミュレーションの対象となる物品１を事前に撮影する。こうした物品撮影動作において、本システム１０は、照明装置２００を用いた情報取得を行う。又、本実施形態では、配置シミュレーションの背景２についても、デジタルカメラ１００及び照明装置２００を用いた撮影動作を行う。本システム１０は、以上のような撮影結果に基づき、配置シミュレーションにおいて、ユーザの操作に応じて物品１を背景２上に配置した状態を再現して仮想照明の照明効果を与える。
【0053】
以下、こうした本システム１０の動作の詳細を説明する。以下では、本システム１０の動作の一例として情報端末３００を用いた動作例を説明するが、各種撮影動作および配置シミュレーション処理は特に同一端末を用いずに行われてよい。
【0054】
２－１．物品撮影動作
本システム１０における物品撮影動作の一例を、図６～８を用いて説明する。本動作例では、被写体の一例の物品１の全周にわたって、デジタルカメラ１００で動画等を撮影すると共に、照明装置２００による情報取得を行う。これにより、その後の配置シミュレーションにおいて、物品１の向きを、その全周にわたり変更可能とすることができる。
本システム１０における物品撮影動作の一例を、図６～８を用いて説明する。本動作例では、被写体の一例の物品１の全周にわたって、デジタルカメラ１００で動画等を撮影すると共に、照明装置２００による情報取得を行う。これにより、その後の配置シミュレーションにおいて、物品１の向きを、その全周にわたり変更可能とすることができる。
【0055】
図６は、本システム１０における物品撮影動作を例示するフローチャートである。図７は、図６の物品撮影動作の環境を例示する。図６に例示するフローチャートの各処理は、例えば情報端末３００の制御部３１０によって実行される。
【0056】
本動作例では、例えば図７に示すように、撮影対象の物品１を回転させる回転台４００が用いられる。回転台４００は、例えば物品１を載置するステージ及びモータ等を備え、物品１の全周に対応する０度から３６０度までの１周における種々の角度位置に回転駆動するように構成される。又、本動作例では、情報端末３００が各装置１００，２００，４００にデータ通信可能に接続され、各装置１００，２００，４００の動作を制御する。又、図７では、スタンド型の照明装置２００を例示するが、特にこれに限定されない。
【0057】
例えば図６に示すように、情報端末３００の制御部３１０は、照明装置２００に、照明光の発光及び受光の動作を実行させるように制御信号を送信する（Ｓ１）。制御部３１０は、例えば通信部３５０を介して、照明装置２００から物品１に照射した照明光についての照度分布データ（図１０参照）を取得する。
【0058】
例えば、照明装置２００において制御部２３０は、情報端末３００からの制御信号に応じて、発光部２１０において第１～第３の照明光源２１１～２１３を順番に発光させ、受光部２２０において時分割で各照明光源２１１～２１３の反射光を受光する。照明装置２００の制御部２３０は、こうした照明光源２１毎の受光結果を示す照度分布データを生成して、通信部２５０を介して照度分布データを情報端末３００に送信する。照度分布データの生成は、例えばＲＧＢ等の色別に行われる。例えば、照明装置２００は、各照明光源２１における色別の照明光のうちの１種類の照明光を、ステップＳ１毎に順次、発光する。
【0059】
又、制御部３１０は、デジタルカメラ１００に制御信号を送信して、例えば動画のフレーム毎の撮影動作を実行させる（Ｓ２）。情報端末３００は、例えば通信部３５０を介して、デジタルカメラ１００から出力された動画データを取得する。本実施形態において、デジタルカメラ１００の撮影動作は、照明装置２００の発光中に行われてもよいし、発光停止中に行われてもよい。物品１が各種の照明光により照明されている状態の撮像画像を用いて、物品１のモデル情報が生成されてもよい。
【0060】
例えばデジタルカメラ１００において制御部１３５は、情報端末３００からの制御信号に応じて、イメージセンサ１１５の露光タイミングを制御して、ステップＳ２毎にフレーム画像を順次撮像させる。例えば、１回のステップＳ２で撮像されるフレーム画像は、回転台４００の角度位置に応じた向きにおいてデジタルカメラ１００から見た物品１の外観を示す。例えばデジタルカメラ１００は、こうした撮像結果の画像データの一例として動画データを通信モジュール１５５から出力する。なお、デジタルカメラ１００は、動画撮影の代わりに静止画の連写撮影を行ってもよいし、単写撮影を繰り返してもよい。
【0061】
制御部３１０は、例えば回転台４００が特定の角度位置にある状態で、照明装置２００が全種類の照明光についての発受光動作を行ったか否かを判断する（Ｓ３）。全種類の照明光は、第１～第３の照明光源２１１～２１３の各々における各色の照明光を含む。制御部３１０は、照明装置２００が全種類の発受光動作を行っていないとき（Ｓ３でＮＯ）、照明光の種類を変更してステップＳ１～Ｓ３の処理を繰り返す。
【0062】
照明装置２００が全種類の発受光動作を行ったとき（Ｓ３でＹＥＳ）、例えば、制御部３１０は、照明装置２００から取得した照度分布データに基づいて、物品１が種々の照明光を反射する特性を推定する演算処理を行う（Ｓ４）。反射特性の推定処理（Ｓ４）では、例えば、物品１の表面上の各種位置の法線方向および各色光の反射率といった反射特性の推定結果を示す推定情報が、物品１を撮像した種々の角度位置毎に生成される。ステップＳ４の処理の詳細については後述する。
【0063】
また、制御部３１０は、例えば所定の回転角度だけ角度位置を変更するように回転台４００を制御する（Ｓ５）。ステップＳ５の回転角度は、回転台４００上の物品１の周囲から見える外観においてデジタルカメラ１００に撮像される部分をフレーム毎に更新する観点から適宜、設定される（例えば１５度）。回転台４００の回転は、例えばステップＳ３毎に断続的に行われる。
【0064】
例えば制御部３１０は、変更した角度位置に基づいて、回転台４００による物品１全周分の周回（例えば３６０度回転）が完了したか否かを判断する（Ｓ６）。回転台４００による周回が完了していない場合（Ｓ６でＮＯ）、制御部３１０は、新たな角度位置についてステップＳ２以降の処理を再び行う。ステップＳ１～Ｓ６の繰り返しにより、物品１の全周にわたる撮影結果の動画データおよび照度分布データが取得される。
【0065】
例えば、制御部３１０は、回転台４００による周回が完了した場合（Ｓ６でＹＥＳ）、制御部３１０は、デジタルカメラ１００から取得された動画データと、ステップＳ４毎に生成した反射特性の推定情報とに基づいて、物品１のモデル情報を作成する（Ｓ７）。物品１のモデル情報は、例えば３次元形状において配置シミュレーションに用いられる物品１（物体）のモデルを示す第１のモデル情報の一例である。こうした本システム１０におけるモデル情報のデータ構造を図８に例示する。
【0066】
例えば図８に示すように、本例における物品１のモデル情報は、物品１の全周にわたり物品１の外観を映した撮像画像と、撮像画像上の物品１における反射特性とを含む。当該反射特性は、撮像画像上の異なる位置毎に光が反射される特性を含んでいる。例えば、制御部３１０は、動画データにおいて別々の角度位置に対応した各フレーム画像において各種位置にて推定された法線方向及び反射率を対応付ける。制御部３１０は、各フレーム画像から物品１が映る領域を切り出して処理してもよい。こうしたモデル情報は、種々のデータ構造で管理されてもよく、例えば、動画データとそのフレーム毎等のメタ情報として管理されてもよい。又、複数の撮像画像を合成した３次元画像、及び物品１の３次元形状における位置毎に反射特性が対応付けされた反射率モデルが管理されてもよい。
【0067】
制御部３１０は、例えば生成した物品１のモデル情報（Ｓ７）を記憶部３２０に格納して、本フローの処理を終了する。
【0068】
以上の物品撮影動作によると、デジタルカメラ１００で物品１を全周にわたり撮影するのと同時進行で照明装置２００により照度分布データを取得して（Ｓ１～Ｓ６）、物品１全周についての仮想照明を実現するためのモデル情報を得られる（Ｓ７）。
【0069】
上記のステップＳ１，Ｓ２においては、情報端末３００により動画撮影等の動作タイミングが制御される例を説明したが、特に情報端末３００により制御されなくてもよい。例えば、デジタルカメラ１００及び照明装置２００のうちの一方が他方の動作タイミングを制御してもよく、各装置１００，２００が互いに通信接続されて制御信号の送受信が行われてもよい。
【0070】
また、上記のステップＳ５において、情報端末３００が回転台４００の回転を制御する例を説明したが、情報端末３００は回転制御を行わなくてもよい。例えば、回転台４００は、デジタルカメラ１００又は照明装置２００からの指示、或いはユーザ操作等により回転を実行してもよい。あるいは、ユーザの手動で回転されるような回転台４００が用いられてもよい。情報端末３００は、回転台４００から角度位置を示す情報を取得してもよいし、デジタルカメラ１００の撮像画像から角度位置を推定してもよい。回転台４００の回転は、断続的に限らず、連続的であってもよい。
【0071】
ステップＳ１～Ｓ３の繰り返し中に撮像された複数のフレーム画像は、デジタルカメラ１００の撮影結果としての合成画像の生成に用いられてよい。例えば、デジタルカメラ１００は、こうした特定の角度位置からの複数のフレーム画像に基づいて、深度合成、ＨＤＲ（ハイダイナミックレンジ）合成、または超解像合成などの各種画像合成を行って、合成画像を生成してもよい。こうした合成画像がステップＳ７のモデル情報に用いられてもよい。
【0072】
又、以上の説明では、物品撮影動作（図６）においてデジタルカメラ１００と照明装置２００とを同時進行で動作させる例を説明したが、物品撮影動作は、特に同時進行で行われなくてもよい。例えば、デジタルカメラ１００により物品１全周の撮影を行い、別途、照明装置２００による発受光動作を物品１全周分行ってもよい。情報端末３００は、こうして各装置１００，２００により取得された情報を適宜入力して、図６のステップＳ４以降の処理を行える。
【0073】
２－１－１．反射特性の推定処理
図６のステップＳ４における反射特性の推定処理について、図９～１３を用いて説明する。図９は、本システム１０における反射特性の推定処理（Ｓ４）を説明するためのフローチャートである。
図６のステップＳ４における反射特性の推定処理について、図９～１３を用いて説明する。図９は、本システム１０における反射特性の推定処理（Ｓ４）を説明するためのフローチャートである。
【0074】
まず、本システム１０の制御部３１０は、例えば図６のステップＳ１～Ｓ３において繰り返したステップＳ１に取得された照度分布データを参照する（Ｓ１１）。こうした照度分布データは、例えば物品１等の被写体の位置が同じ状態で第１～第３の照明光源２１１～２１３の各々における各色の照明光の発光に応じた、各々の受光結果の照度分布データを含む。
【0075】
【0076】
図１１では、撮影現場１５において照明装置２００が発光する照明光の光路の一例を示している。図１１の例では、発光部２１０における第１の照明光源２１１から発光強度Ｌ１で発光された照明光が、光線方向Ｓ１に出射して、被写体１１の表面位置Ｐａにおいて反射されている。こうした照明光の反射光は、被写体１１の表面位置Ｐａの法線方向Ｎ及び反射係数ρに依存した照度Ｉにおいて、受光部２２０における受光位置ｐａにて観測される。
【0077】
光線方向Ｓ１及び法線方向Ｎは、それぞれ３次元空間における単位ベクトルで表され、図中ではベクトルを意味する矢印を付している。光線方向Ｓ１は、例えば照明光源２１毎に予め設定され、既知の設定値とする。被写体１１の表面位置Ｐａ毎の法線方向Ｎ及び反射係数ρは、未知の推定対象である。本実施形態の照明装置２００は、例えば第１の照明光源２１１からの照明光の反射光の照度Ｉ１を受光位置ｐａ毎に取得して、受光部２２０の受光面全体における照度Ｉ１の分布を示す照度分布データＤ１を生成する。
【0078】
図１０（Ａ）は、第１の照明光源２１１の発光に応じた受光結果の照度分布データＤ１を例示する。図１０（Ｂ）は第２の照明光源２１２の発光に応じた照度分布データＤ２を例示し、図１０（Ｃ）は第３の照明光源２１３の発光に応じた照度分布データＤ３を例示する。図１０（Ａ）～（Ｃ）では、照度が大きいほど灰色を淡くするように、濃淡によって照度の大きさを示している。
【0079】
図１０（Ａ）に例示する照度分布データＤ１は、撮影現場１５の環境下で受光部２２０が観測可能な空間範囲にわたり、第１の照明光源２１１からの照明光が被写体１１における各種の表面位置Ｐａで反射された反射光の照度分布を示す。こうした照度分布においては、被写体１１の各表面位置Ｐａの照度が、照明装置２００の受光部２２０における受光面上の座標系すなわち受光座標（ｘ，ｙ）において、対応する受光位置ｐａに分布する。
【0080】
図１０（Ｂ）の照度分布データＤ２では、図１０（Ａ）と同じ環境の空間範囲に対して、第１の照明光源２１１の代わりに第２の照明光源２１２から照射した照明光に基づき、図１０（Ａ）とは異なる照度分布が得られている。図１０（Ｃ）の照度分布データＤ３も同様に、第３の照明光源２１３からの照明光に基づき、図１０（Ａ），（Ｂ）とは異なる照度分布が得られている。例えば、図１０（Ａ）～（Ｃ）の間で同じ受光位置ｐａにおいて観測される照度は、対応する被写体１１の表面位置Ｐａの法線方向Ｎ及び反射係数ρに応じて、互いに異なっている。
【0081】
本システム１０は、例えば照度差ステレオ法により、こうした複数の照明光源２１１～２１３による照度分布データＤ１～Ｄ３の間の差異を解析することで、撮影現場１５における被写体１１の各表面位置Ｐａの法線方向Ｎ及び反射係数ρを推定する。なお、法線方向Ｎは、３次元のベクトル成分に対して単位ベクトルの正規化条件より、推定対象として２変数の自由度を有する。
【0082】
例えば、本システム１０における制御部３１０は、各照明光源２１１～２１３の照度分布データＤ１～Ｄ３を参照して（Ｓ１１）、法線方向Ｎの２変数ｐ，ｑを用いた反射率マップを作成する（Ｓ１２）。各照明光源２１１～２１３に応じた反射率マップＭ１～Ｍ３を図１２に例示する。
【0083】
図１２（Ａ）は、図１０（Ａ）の照度分布データＤ１に対応する反射率マップＭ１を例示する。図１２（Ｂ）は図１０（Ｂ）に対応する反射率マップＭ２を例示し、図１２（Ｃ）は図１０（Ｃ）に対応する反射率マップＭ３を例示する。反射率マップＭ１～Ｍ３は、例えばｐｑ平面において、特定の光源位置からの照明光の反射光が受光される割合の分布を示し、反射光の明るさについての等高線を含む。ｐｑ平面は、例えばガウス写像により種々の法線方向Ｎに対応する２変数ｐ，ｑの座標系で規定される。
【0084】
制御部３１０は、こうした複数の照明光源２１１～２１３による照度分布データＤ１～Ｄ３と対応する反射率マップＭ１～Ｍ３から、例えば照度差ステレオ法により被写体１１の表面位置Ｐａの法線方向Ｎ（即ち表面の傾き）と反射係数ρとを推定する演算処理を行う（Ｓ１３）。制御部３１０は、例えばランバート面を仮定した次式（１）～（３）を演算する。
【数1】
【0085】
上式（１）～（３）において、Ｌｎは、第ｎの照明光源２１１～２１３による照明光の発光強度を示す（ｎ＝１，２，３）。Ｓｎは、第ｎの照明光源２１１～２１３からの光線方向を単位ベクトルとして示す。Ｉｎは、第ｎの照明光源２１１～２１３による照度分布データＤ１～Ｄ３として受光された照度を示す。又、上式（１）～（３）中の「×」は乗算を示し、「・」はベクトル間の内積を示す。上式（１），（２），（３）は、それぞれ図１０（Ａ）～（Ｃ）の反射率マップＭ１，Ｍ２，Ｍ３に対応する。
【0086】
上式（１）～（３）においては、例えば法線方向Ｎの２変数ｐ，ｑと反射係数ρとの３変数が、推定対象となることから、第１～第３の照明光源２１１～２１３による受光結果の情報に基づき、各変数の推定値が求められる。例えば、制御部３１０は、受光座標（ｘ，ｙ）における受光位置ｐａ毎に、上式（１）～（３）の演算を実行する（Ｓ１３）。
【0087】
次に、制御部３１０は、以上のような被写体１１の法線方向Ｎ及び反射係数ρの推定結果を示す推定情報を、受光座標（ｘ，ｙ）から撮像座標（Ｘ，Ｙ）へ変換して、反射特性の推定情報を生成する（Ｓ１４）。撮像座標（Ｘ，Ｙ）は、補正対象の画像データが示す撮像画像上の位置を示す座標系であり、デジタルカメラ１００のイメージセンサ１１５における撮像面上の位置を示す。図１３（Ａ），（Ｂ）に、それぞれステップＳ１４における変換前後の受光座標（ｘ，ｙ）と撮像座標（Ｘ，Ｙ）とを示す。
【0088】
ステップＳ１４の座標変換は、例えば、本システム１０において撮影現場１５におけるデジタルカメラ１００と照明装置２００との位置関係に応じた三角測量により演算される。この際、被写体距離として、デジタルカメラ１００の撮像または照明装置２００の受光における焦点距離が用いられてもよい。例えば制御部３１０は、こうした本システム１０における座標変換のための各種情報を、図６のステップＳ１，Ｓ２等で予め取得して、ステップＳ１４の処理を実行する。
【0089】
制御部３１０は、例えば動画データにおいて対応するフレーム画像について反射特性の推定情報を生成する（Ｓ１４）と、反射特性の推定処理（図６のＳ４）を終了し、ステップＳ７に進む。
【0090】
以上の反射特性の推定処理（Ｓ４）によると、物品１などの被写体の撮影環境にて照明装置２００における複数の照明光源２１１～２１３を用いて得られた照度分布データＤ１～Ｄ３により、被写体１１の法線方向Ｎ及び反射係数ρが推定できる（Ｓ１３）。
【0091】
例えば、図６のステップＳ１～Ｓ６で繰り返すステップＳ４により、制御部３１０は、対応する角度位置についての反射特性の推定情報をそれぞれ生成する。例えば、制御部３１０は、角度位置毎の全種類の照度分布データに基づいて、ステップＳ１１～Ｓ１４と同様の処理を行うことにより、当該角度位置の照度分布データを生成する。あるいは、制御部３１０は、初期に生成した反射特性の推定情報と、初期よりも後の各回のステップＳ１の照度分布データを用いて、初期の反射特性の推定情報を補正することにより、対応するフレーム画像についての推定情報を順次、生成してもよい。
【0092】
上記のステップＳ１３では、照度差ステレオ法の推定の演算式（１）～（３）を例示した。本システム１０において、ステップＳ１３における推定演算は、特に上式（１）～（３）に限らず、種々の変更が可能である。例えば、照明光源２１の個数を４個以上に増やすと共に、連立する演算式を増やしてもよい。
【0093】
又、上式（１）～（３）ではランバート面の仮定を用いたが、特にこの仮定に限らない種々の演算式が適用されてもよいし、機械学習モデルなどのＡＩ技術が適用されてもよい。制御部３１０は、ステップＳ１３の推定演算と同様の演算を適用して、各種の推定手法に応じた仮想照明の照明効果を算出できる。
【0094】
上記のステップＳ１４では照明装置２００の受光座標（ｘ，ｙ）とデジタルカメラ１００の撮像座標（Ｘ，Ｙ）の座標変換に、三角測量を用いる一例を説明した。ステップＳ１４の処理は特に上記に限らず、例えばデジタルカメラ１００においてＤＦＤ（Depth From Defocus）等により測距が行われてもよい。又、ＴＯＦ（Time Of Flight）センサ等の測距センサが本システム１０において用いられてもよい。また、例えば照明装置２００の照度分布データＤ１～Ｄ３に対応する画像とデジタルカメラ１００の撮像画像とから、互いの位置関係を推定する各種の画像認識手法が用いられてもよい。こうした画像認識の機械学習モデルなどの各種ＡＩ技術を用いてステップＳ１４が実現されてもよい。
【0095】
また、以上の説明では、反射特性の推定処理（図６のＳ４）が、ステップＳ１～Ｓ６の繰り返し中に情報端末３００により行われる例を説明した。ステップＳ４の処理は特にこれに限らず、例えばステップＳ１～Ｓ６の繰り返し後に行われてもよい。
【0096】
又、反射特性の推定処理（Ｓ４）は、照明装置２００において行われてもよい。照明装置２００は、照度分布データの代わりに反射特性の推定情報を、照度分布情報の一例として情報端末３００に送信してもよい。
【0097】
２－２．背景撮影動作
本システム１０において、背景２について照明装置２００による情報取得およびデジタルカメラ１００による画像撮影を行う動作の一例を、図１４～１５を用いて説明する。以下では、静止画撮影による本システム１０の動作例を説明する。
本システム１０において、背景２について照明装置２００による情報取得およびデジタルカメラ１００による画像撮影を行う動作の一例を、図１４～１５を用いて説明する。以下では、静止画撮影による本システム１０の動作例を説明する。
【0098】
図１４は、本システム１０における背景撮影動作を例示するフローチャートである。図１５は、図１４の背景撮影動作の環境を例示する。図１４に例示するフローチャートの各処理は、例えば情報端末３００の制御部３１０によって実行される。
【0099】
本動作例では、例えば図１５に示すように、デジタルカメラ１００が三脚等により固定配置される。また、照明装置２００は、一例として天井設置型を例示している。各装置１００，２００は、特に物品撮影動作（図７）に用いられたものと同一装置でなくてよい。本動作例においても、情報端末３００が各装置１００，２００にデータ通信可能に接続されることとする。
【0100】
例えば、情報端末３００の制御部３１０は、図６のステップＳ１と同様に、照明装置２００に発受光動作を実行させる（Ｓ２１）。ステップＳ２１において、制御部３１０は、例えば照明装置２００から、第１～第３の照明光源２１１～２１３における各色の照明光について全種類の照度分布データを取得する。
【0101】
又、例えば制御部３１０は、デジタルカメラ１００に静止画の撮影動作を実行させる（Ｓ２２）。制御部３１０は、デジタルカメラ１００から撮影結果の画像データを取得する。ステップＳ２１，Ｓ２２の処理順は、特に限定されない。又、ステップＳ２１，Ｓ２２において、制御部３１０は、特に各装置１００，２００の動作タイミングを制御しなくてもよく、各装置１００，２００の動作結果の各データを適宜取得してもよい。
【0102】
更に、例えば制御部３１０は、照明装置２００による照度分布データに基づいて、背景２についての反射特性の推定処理を行う（Ｓ２３）。ステップＳ２３において、制御部３１０は、例えば図９のステップＳ１１～Ｓ１４と同様の処理を行って、背景２についての反射特性の推定情報を生成する。
【0103】
次に、制御部３１０は、例えば図６のステップＳ７と同様に、デジタルカメラ１００による画像データと、背景２についての反射特性の推定情報とに基づいて、背景２のモデル情報を作成する（Ｓ２４）。背景２のモデル情報は、物品１のモデル情報と同様に配置シミュレーションにおける背景２のモデルを示す第２のモデル情報の一例である。背景２のモデル情報は、例えばデジタルカメラ１００の撮像座標による２次元において、背景２の撮像画像における位置毎に推定された法線方向及び反射率を対応付けて示す。例えば、背景２のモデル情報は、静止画データとそのメタ情報として管理されてもよい。
【0104】
制御部３１０は、例えば生成した背景２のモデル情報（Ｓ２４）を記憶部３２０に格納して、本フローの処理を終了する。
【0105】
以上の背景撮影動作によると、配置シミュレーションの背景２に用いる部屋等についても、デジタルカメラ１００と照明装置２００とを用いて、撮像画像と反射特性の推定情報とを対応付けたモデル情報を得ることができる（Ｓ２１～Ｓ２４）。
【0106】
以上の説明では、背景撮影動作において１回の静止画撮影（Ｓ２２）が行われる動作例を説明したが、複数回の静止画撮影が行われてもよいし、動画撮影が行われてもよい。例えば、図１５の例において、デジタルカメラ１００を固定した位置において軸回転させながら、異なる向きに応じた複数の撮像画像を取得してもよい。この場合、背景２のモデル情報についても、３次元形状において複数の撮像画像と各々の反射特性が管理されてもよい。
【0107】
また、以上の説明では、照明装置２００を用いる背景撮影動作を説明した。本システム１０では、背景２について、特に照明装置２００を用いなくてもよく、デジタルカメラ１００による画像撮影のみ行われてもよい。例えば、制御部３１０は、背景２の撮像画像に基づいて、画像推定法により背景２の環境光に関する反射特性を推定してもよい。
【0108】
また、以上の説明では、背景２のモデル情報に、デジタルカメラ１００による撮影結果を用いる例を説明したが、特にこれに限定されない。例えば、背景２のモデル情報は、ＣＧ（コンピュータグラフィクス）などで生成された２次元ないし３次元の画像および反射特性の情報で構成されてもよい。こうした背景２のモデル情報を用いても、以下の配置シミュレーション処理を行うことができる。又、物品１のモデル情報についても、物品１の撮影結果の代わりにＣＧの画像が用いられてもよい。一方、物品１又は背景２の撮影結果を用いることで、シミュレーションされる画像において各被写体の質感などのリアリティを向上できる。
【0109】
２－３．配置シミュレーション処理
本実施形態の仮想照明システム１０において、以上のように得られる物品１及び背景２の各モデル情報を用いて配置シミュレーションを行う動作について、図１６～１８を用いて説明する。
本実施形態の仮想照明システム１０において、以上のように得られる物品１及び背景２の各モデル情報を用いて配置シミュレーションを行う動作について、図１６～１８を用いて説明する。
【0110】
【0111】
図１６のフローチャートに示す各処理は、例えば情報端末３００の記憶部３２０に各種モデル情報が格納された状態で開始され、制御部３１０によって実行される。
【0112】
まず、制御部３１０は、予め選択された物品１についての配置シミュレーションを行うための画面を表示部３４０に表示させる（Ｓ３１）。ステップＳ３１の表示例を図１７に示す。
【0113】
図１７は、本システム１０におけるシミュレーション画面の表示例を示す。例えば、情報端末３００の表示部３４０に表示されるシミュレーション画面は、シミュレーション画像欄４１と、背景選択欄４２と、照明設定欄４３とを含む。シミュレーション画像欄４１は、物品１の配置シミュレーションを可視化するための欄であり、例えば、物品１のモデル情報によって生成された物品画像Ｇ１と、背景２のモデル情報によって生成された背景画像Ｇ２とを含んだ各種画像を表示する。
【0114】
制御部３１０は、例えば図１７に例示するようなシミュレーション画面を表示部３４０に表示させた状態で、操作部３３０を介して各種のユーザ操作を受け付ける（Ｓ３２～Ｓ３４）。ステップＳ３１の時点では、シミュレーション画像欄４１は、特に背景画像Ｇ２を表示せずに物品画像Ｇ１を表示してもよい。
【0115】
制御部３１０は、例えば背景選択欄４２におけるユーザ操作に応じて、配置シミュレーションにおける背景を設定する（Ｓ３２）。背景選択欄４２は、例えば予め設定された複数の背景候補の中から所望の背景を選択するユーザ操作を受け付けるためのサムネイル画像を含む。例えば、制御部３１０は、ユーザ操作によって選択された背景２のモデル情報を記憶部３２０から読み出して、シミュレーション画像欄４１における背景画像Ｇ２として、読み出した背景２のモデル情報における撮像画像を、物品画像Ｇ１に重畳して表示させる。
【0116】
また、制御部３１０は、例えばシミュレーション画像欄４１におけるユーザ操作に応じて、物品１の配置を設定する（Ｓ３３）。ステップＳ３３では、例えばシミュレーション画像欄４１の背景画像Ｇ２に対して物品画像Ｇ１の位置をシフトしたり、物品画像Ｇ１の向きを回転させたりするユーザ操作が入力できる。例えば、制御部３１０は、回転のユーザ操作に応じて、物品１のモデル情報における全周分のフレーム画像から、ユーザ所望の向きに対応するフレーム画像を抽出し、物品画像Ｇ１としてシミュレーション画像欄４１に表示させる。
【0117】
更に、制御部３１０は、例えば照明設定欄４３におけるユーザ操作に応じて、配置シミュレーションにおける環境光を示す仮想的な照明を設定する（Ｓ３４）。例えば、照明設定欄４３は、仮想的な環境光の強度、色温度、および配光角などの照明パラメータを設定するユーザ操作を受け付ける。制御部３１０は、例えば背景２のモデル情報に基づき、背景画像Ｇ２の撮像時の環境光についての照明パラメータ及び光源位置の推定値を算出する。照明パラメータの推定値は、例えば照明設定欄４３における初期値として用いられる。
【0118】
次に、制御部３１０は、以上のような背景２、物品１の配置及び仮想照明の設定（Ｓ３２～Ｓ３４）に基づいて、シミュレーション画像欄４１において、背景２上に配置された物品１として自然な照明効果を付与するように仮想照明の画像処理を行う（Ｓ３５）。ステップＳ３５の処理について、図１８を用いて説明する。
【0119】
図１８では、例えば各モデル情報における各撮像画像の撮像座標（Ｘ，Ｙ）に対応する３次元の座標系（Ｘ，Ｙ，Ｚ）において、環境光を示す仮想照明Ｅａを例示している。制御部３１０は、例えば図１６のステップＳ３２，Ｓ３３の設定により背景２から仮想照明Ｅａの光源位置を推定し、ユーザ操作等から設定された照明パラメータから仮想照明Ｅａの発光強度Ｌａ及び光線方向Ｓａを特定する。
【0120】
制御部３１０は、こうした仮想照明Ｅａの各種パラメータＬａ，Ｓａ及び被写体１１の推定結果の法線方向Ｎ及び反射係数ρに基づき、例えば次式（１０）のように、仮想照明の照明効果を演算する（Ｓ３５）。
【数2】
【0121】
上式（１０）において、Ｉｏは、ステップＳ３５による補正前の元画像の明るさを示し、Ｉｅは補正画像の明るさを示し、例えばそれぞれ（単色の）画素値である。制御部３１０は、例えば撮像座標（Ｘ，Ｙ）における画素位置毎に、上式（１０）の演算を行う。こうして、制御部３１０は、元画像に仮想照明の照明効果を付加する補正結果を示す補正画像が生成される（Ｓ３５）。
【0122】
例えばステップＳ３５において、制御部３１０は、例えば物品１のモデル情報におけるユーザ操作の回転済みのフレームの物品画像Ｇ１を元画像として、上式（１０）による照明効果を付与する。又、例えば仮想照明Ｅａの照明パラメータが、ユーザ操作により背景２のモデル情報における環境光の推定値（初期値）から変更された場合、制御部３１０は、ユーザ操作による変更分について、背景画像Ｇ２に対しても上記と同様に照明効果を付与する。制御部３１０は、設定された物品１の配置にしたがって、照明効果を付与した物品画像Ｇ１と背景画像Ｇ２とを重畳する画像合成により補正画像を生成して、シミュレーション画像欄４１に表示させる。
【0123】
図１６に戻り、制御部３１０は、例えば、シミュレーション画面において仮想照明の画像処理（Ｓ３５）の結果の補正画像を表示させた状態で各種のユーザ操作を受け付けて、例えば配置シミュレーションの終了操作が入力されたか否かを判断する（Ｓ３６）。
例えば、ユーザがシミュレーション画面の各欄４１～４３において各種設定を変更する操作を行うと、制御部３１０は、ステップＳ３６でＮＯに進み、変更された設定を反映するようにステップＳ３２以降の処理を再び行う。これにより、ユーザが設定変更する毎に、制御部３１０は、変更された設定において自然な照明効果を演算して、例えばシミュレーション画像欄４１における補正画像としてユーザに可視化する（Ｓ３５）。
例えば、ユーザがシミュレーション画面の各欄４１～４３において各種設定を変更する操作を行うと、制御部３１０は、ステップＳ３６でＮＯに進み、変更された設定を反映するようにステップＳ３２以降の処理を再び行う。これにより、ユーザが設定変更する毎に、制御部３１０は、変更された設定において自然な照明効果を演算して、例えばシミュレーション画像欄４１における補正画像としてユーザに可視化する（Ｓ３５）。
【0124】
配置シミュレーションの終了操作が入力されると（Ｓ３６でＹＥＳ）、制御部３１０は、例えば最終的に仮想照明の画像処理（Ｓ３５）で得られた補正画像を示す画像データを、シミュレーション結果として記憶部３２０に格納する（Ｓ３７）。
【0125】
制御部３１０は、例えばシミュレーション結果の画像データの記録（Ｓ３７）により、図１６の配置シミュレーション処理を終了する。
【0126】
以上の配置シミュレーション処理によると、本システム１０において物品１及び背景２の撮影時の撮影時に照明装置２００を用いて得られる情報に基づいて、ユーザ所望の物品画像Ｇ１と背景画像Ｇ２との配置において自然な照明効果を実現できる（Ｓ３５）。
【0127】
上記のステップＳ３２では、配置シミュレーション処理において物品１が予め設定された状態で背景２をユーザに選択させる例を説明した。本実施形態の配置シミュレーション処理は特にこれに限らず、例えば情報端末３００は、背景２が予め設定された状態で、背景２に配置したい物品１を選択するユーザ操作を受け付けてもよい。また、背景２に配置される物品１が複数個、選択可能であってもよい。例えば、情報端末３００は、各物品１のモデル情報を予め記憶部３２０に格納しておくことで、こうした配置シミュレーション処理を上記と同様に行える。
【0128】
上記のステップＳ３４では、照明設定欄４３において環境光の照明パラメータを調整するユーザ操作を受け付ける例を説明した。本システム１０の情報端末３００は、さらに、環境光の光源位置を調整するユーザ操作を受け付けてもよい。例えば、ユーザは、背景２の部屋に配置したい照明器具、或いは部屋の窓から太陽光が所望の時間帯に応じて入る位置及び向き等を入力してもよい。情報端末３００は、こうしたユーザ入力に応じて仮想照明を設定して（Ｓ３４）、ユーザ所望の仮想照明について自然な照明効果を算出できる（Ｓ３５）。
【0129】
また、以上のような配置シミュレーション処理は、ＶＲ（仮想現実）又はＡＲ（拡張現実）技術により行われてもよい。例えば、図１７に代えて、又はこれに加えて、物品１や背景２が、３次元的に表示されてもよい。この場合であっても、予めデジタルカメラ１００の撮影時に照明装置２００を用いて得られた情報による３次元的なモデル情報を用いて環境光等の照明効果を演算することにより（Ｓ３５）、３次元の合成画像に自然な照明効果を与えることができる。又、例えばＡＲ技術を適用する場合、背景２として現実の背景が用いられてもよい。
【0130】
又、以上のような配置シミュレーション処理においては、物品１のモデル情報と背景２のモデル情報との双方に照明装置２００を用いなくてもよく、一方のモデル情報のみに照明装置２００を用いてもよい。この場合であっても、照明装置２００を用いたモデル情報について、被写体の反射特性を精度良く再現でき、自然な照明効果を得やすくすることができる。
【0131】
３．まとめ
以上のように、本実施形態において、情報処理装置の一例である情報端末３００は、第１及び第２取得部の一例の通信部３５０と、制御部３１０とを備える。第１取得部は、撮像装置の一例のデジタルカメラ１００により物品１等の被写体が撮像された画像といった被写体の画像を示す画像データを取得する（Ｓ１）。第２取得部は、照明装置２００の複数の光源位置から被写体に照射した照明光による分布を示す照度分布情報の一例の照度分布データを取得する（Ｓ２）。制御部３１０は、取得された画像データ及び照度分布情報に基づいて、被写体の撮像画像と、撮像画像における位置毎に被写体が可視光等の光を反射する特性とを含むモデル情報を生成する（Ｓ７）。
以上のように、本実施形態において、情報処理装置の一例である情報端末３００は、第１及び第２取得部の一例の通信部３５０と、制御部３１０とを備える。第１取得部は、撮像装置の一例のデジタルカメラ１００により物品１等の被写体が撮像された画像といった被写体の画像を示す画像データを取得する（Ｓ１）。第２取得部は、照明装置２００の複数の光源位置から被写体に照射した照明光による分布を示す照度分布情報の一例の照度分布データを取得する（Ｓ２）。制御部３１０は、取得された画像データ及び照度分布情報に基づいて、被写体の撮像画像と、撮像画像における位置毎に被写体が可視光等の光を反射する特性とを含むモデル情報を生成する（Ｓ７）。
【0132】
以上の情報端末３００によると、デジタルカメラ１００による被写体の画像データと照明装置２００による被写体の照度分布情報に基づき生成されるモデル情報により、仮想照明システム１０において被写体の画像における自然な照明効果を実現し易くすることができる。被写体の画像は、デジタルカメラ１００の撮像画像に限らず、撮像画像に基づいて生成される画像であってもよいし、ＣＧ画像であってもよい。
【0133】
本実施形態の情報端末３００において、第１取得部は、被写体が互いに異なる向きから撮像された複数の撮像画像、又は一枚の撮像画像を示す画像データを取得する（Ｓ２、Ｓ２２）。モデル情報は、こうした撮像画像に基づき被写体の画像を示す。すなわち、モデル情報における被写体の画像は、上記の撮像画像で構成される。例えば、被写体の画像は、撮像画像自体または撮像画像に各種画像処理を施した画像であってもよいし、複数の撮像画像による合成画像であってもよい。こうした実際の撮像画像を用いることにより、画像合成シミュレーションにおいて被写体のリアリティを向上できる。被写体の画像は、必ずしも撮像画像に基づかなくてもよく、ＣＧ画像であってもよい。
【0134】
本実施形態において、モデル情報は、複数の撮像画像と、各撮像画像における位置毎に被写体の特性とを含む（Ｓ７、図７参照）。これにより、複数の向きにおける被写体の画像に自然な照明効果を与えられ、仮想照明システム１０における配置シミュレーション等を行い易くできる。
【0135】
本実施形態の情報端末３００において、モデル情報は、被写体の全周の少なくとも一部にわたり被写体の画像を含む（Ｓ６，Ｓ７、図７参照）。すなわち、モデル情報における被写体の画像は、被写体の全周の少なくとも一部にわたる画像である。これにより、仮想照明システム１０の配置シミュレーションにおいて被写体の全周又はその一部にわたり自然な照明効果を得られる。
【0136】
本実施形態の情報端末３００において、モデル情報において被写体が光を反射する特性は、撮像画像における位置毎の被写体の法線方向Ｎと反射率ρとのうちの少なくとも一方を含む（Ｓ４、図１１参照）。こうした被写体の反射特性を反映して照明効果が演算でき、被写体の画像において自然な照明効果を実現し易くできる。
【0137】
本実施形態において、第２取得部は、例えば第１～第３の照明光源２１１～２１３により互いに異なる複数の光源位置から照明光を個別に発光する照明装置２００によって得られる照度分布情報を取得する。照度分布情報は、複数の光源位置からの各照明光の反射光がそれぞれ受光された複数の照度分布を含む（図１０参照）。こうした照明装置２００を用いて、被写体の画像において自然な照明効果を実現し易くできる。
【0138】
本実施形態における情報端末３００は、記憶部３２０と、操作部３３０と、制御部３１０と、表示部３４０とを備える。記憶部３２０は、被写体の画像を含むモデル情報を格納する。操作部３３０は、被写体に対する仮想的な照明に関するユーザ操作を受け付ける（Ｓ３２～Ｓ３４）。制御部３１０は、ユーザ操作に応じて、設定される仮想的な照明に応じたモデル情報に対する照明効果を演算するシミュレーション処理の一例として配置シミュレーション処理を制御する（Ｓ３１～Ｓ３７）。表示部３４０は、例えばシミュレーション画像欄４１（図１７）に、制御部３１０のシミュレーション処理によって照明効果が付与された画像を表示する。例えば物品１のモデル情報は、照明装置２００から照明光を物品１に照射した際の照度分布データに基づいて、物品１の画像における位置毎にその反射特性を示す。制御部３１０は、モデル情報が示す被写体の反射特性に基づいて、照明効果を被写体の画像に付与するようにシミュレーション処理を行う（Ｓ３５）。この情報端末３００によると、モデル情報を用いて、本システム１０の配置シミュレーション等において、被写体の画像において自然な照明効果を実現し易くすることができる。
【0139】
本実施形態の情報端末３００において、記憶部３２０に格納されるモデル情報は、物品１のモデル情報（第１のモデル情報）と背景２のモデル情報（第２のモデル情報）とを含む。第１及び第２のモデル情報のうちの少なくとも一方は、照明装置２００からの照明光による分布に基づいて、物品１（物体）と背景２とのうちの対応する被写体の反射特性を示す。操作部３３０は、背景２における物品１の配置を指定するユーザ操作（Ｓ３３）を受け付ける。制御部３１０は、背景２における環境光を示すように仮想的な照明を設定して、配置シミュレーションの画像処理を行う（Ｓ３５）。これにより、背景２の環境光として自然な照明効果を物品画像Ｇ１に与えることができる。
【0140】
本実施形態の情報端末３００において、操作部３３０は、仮想的な照明に関するパラメータの一例の照明パラメータを調整するユーザ操作を受け付ける（Ｓ３４）。制御部３１０は、調整された照明パラメータに応じた照明効果を被写体の画像に付与するように画像処理を行う（Ｓ３５）。これにより、ユーザ所望の仮想照明について、被写体の画像において自然な照明効果を実現し易くできる。
【0141】
本実施形態の情報端末３００において、例えば図６の物品撮影動作で生成された物品１のモデル情報は、物品１が互いに異なる向きから撮像された複数の撮像画像に基づき、物品１の全周の少なくとも一部にわたり物品１の画像を示す。制御部３１０は、操作部３３０において被写体の向きを変更するユーザ操作（Ｓ３３）に応じて、変更された向きにおける物品１の画像に照明効果を付与して表示部３４０に表示させる（Ｓ３５）。このように、モデル情報を用いて、複数の向きにおける被写体の画像に自然な照明効果を実現できる。
【0142】
本実施形態の情報端末３００において、モデル情報は、例えば反射特性の推定処理（Ｓ４）により、撮像画像の撮影環境において照明装置２００から被写体に照射した照明光による分布に基づき、撮像画像における位置毎に被写体が光を反射する特性を示す。こうしたモデル情報により、被写体の画像において自然な照明効果を実現し易くできる。
【0143】
本実施形態において、仮想照明システム１０は、被写体を撮像して画像データを生成するデジタルカメラ１００と、被写体に照明光を照射して照明光による分布を示す情報を取得する照明装置２００と、情報端末３００とを備える。本システム１０によると、デジタルカメラ１００及び照明装置２００により取得された情報を情報端末３００で用いて、被写体の画像において自然な照明効果を実現し易くすることができる。
【0144】
（実施形態２）
以下、図１９～２０を参照して、本開示の実施形態２を説明する。実施形態１では、仮想照明システム１０を配置シミュレーションに適用する例を説明した。実施形態２では、仮想照明システム１０を映像制作の用途に適用する例について説明する。
以下、図１９～２０を参照して、本開示の実施形態２を説明する。実施形態１では、仮想照明システム１０を配置シミュレーションに適用する例を説明した。実施形態２では、仮想照明システム１０を映像制作の用途に適用する例について説明する。
【0145】
以下、実施形態１に係る仮想照明システム１０と同様の構成、動作の説明は適宜、省略して、本実施形態に係る仮想照明システム１０を説明する。
【0146】
【0147】
本実施形態において、仮想照明システム１０は、例えば撮影者などのユーザが所望の演出において動画等の映像作品を制作する用途に適用される。本システム１０は、デジタルカメラ１００による動画撮影時に照明装置２００を用いることで、事後的に情報端末３００等で照明効果を付与することを可能にする。本システム１０によると、特に高難度な照明機材の準備を行う必要なく、後処理で所望の照明効果を編集できるといった自由度の高い映像制作を実現可能にすることができる。
【0148】
本システム１０における動画の撮影動作（図１９）において、例えば制御部３１０は、照明装置２００に、照明光の種類毎の発受光動作を実行させるように制御信号を送信する（Ｓ１Ａ）。又、例えば制御部３１０は、デジタルカメラ１００に、動画のフレーム毎の撮影動作を実行させるように制御信号を送信する（Ｓ２Ａ）。
【0149】
本実施形態のステップＳ１Ａ，Ｓ２Ａにおいて、例えば制御部３１０は、実施形態１（図６）のステップＳ１，Ｓ２と同様の処理において、照明装置２００とデジタルカメラ１００とを排他的に動作させるように各々の制御信号を生成する。こうした排他制御については後述する（図２０参照）。
【0150】
又、例えば制御部３１０は、デジタルカメラ１００により撮影されるフレーム毎に、反射特性の推定処理を行う（Ｓ４Ａ）。ステップＳ４Ａの処理は、現在以前の所定数のフレームにおいて照明装置２００により取得された照度分布データに基づいて、実施形態１の反射特性の推定処理（図６のＳ４）と同様に行われる。
【0151】
制御部３１０は、例えば動画の撮影終了が指示されていないとき（Ｓ１０でＮＯ）、ステップＳ１Ａ以降の処理を繰り返す。例えばユーザ操作による動画の撮影終了の指示が入力されると（Ｓ１０でＹＥＳ）、制御部３１０は、撮影された動画データとフレーム毎の反射率の推定情報とを適宜、関連付けて記憶部２４０等に格納して、図１９のフローに示す処理を終了する。
【0152】
以上の処理によると、デジタルカメラ１００による動画撮影と同時進行で照明装置２００を動作させることで、撮影される動画におけるカメラワーク或いは被写体の動き等に応じて刻々と変化する照度分布データを取得することができる。この際、照度分布データを取得するための発光が動画データに映ってしまい不自然な照明効果等の影響を及ぼす課題が考えられる。本システム１０において、こうした新たな課題を解決するための排他制御について、図２０を用いて説明する。
【0153】
図２０は、本システム１０における排他制御の動作例を説明するためのタイミングチャートである。図２０（Ａ）は、照明装置２００の発光タイミングを例示する。図２０（Ｂ）は、デジタルカメラ１００の露光タイミングを例示する。
【0154】
図２０の例では、動画のフレーム期間Ｔ１中に、露光マスク期間Ｔ１１と、露光期間Ｔ１２とが設けられている。例えば、露光マスク期間Ｔ１１はステップＳ１に対応し、露光期間Ｔ１２はステップＳ２に対応する。例えば、１／６０秒のフレーム期間Ｔ１に対して、露光マスク期間Ｔ１１を３ミリ秒に設定すると、露光期間Ｔ１２を１４ミリ秒程度までに確保できる。なお、各期間Ｔ１，Ｔ１１，Ｔ１２は上記に限らず、適宜設定可能である。
【0155】
本動作例において、照明装置２００は、例えば図２０（Ａ）に示すように、フレーム期間Ｔ１において露光マスク期間Ｔ１１中に、照明光を発光して受光する動作を行う（Ｓ１Ａ）。その後の露光期間Ｔ１２中に、照明装置２００は、照明光の発光を停止し、露光マスク期間Ｔ１１中の受光結果に基づいて照度分布データを生成する。
【0156】
例えば、照明装置２００は、露光マスク期間Ｔ１１（Ｓ１Ａ）の１回あたりに、第１～第３の照明光源２１１～２１３における各色の発光のうちの１種類の発光を行う。照明装置２００は、露光マスク期間Ｔ１１中に、複数種類の発受光を行ってもよい。例えば、上記の動作例において、照明装置２００は、動画撮影の初期段階に、全種類の発受光を行ってもよい。
【0157】
一方、デジタルカメラ１００は、例えば図２０（Ｂ）に示すように、フレーム期間Ｔ１において照明光が発光される露光マスク期間Ｔ１１中にはイメージセンサ１１５を露光させず、照明光の発光が停止される露光期間Ｔ１２中にイメージセンサ１１５を露光させる（Ｓ２Ａ）。
【0158】
本システム１０では、以上のようにデジタルカメラ１００の動画撮影における露光と照明装置２００の発光とを排他制御することで、動画撮影中の照度分布データが取得できると共に、照度分布データを得るための発光が動画に影響を及ぼすような事態を回避できる。よって、動画中で動く被写体等の撮像画像に対して、自然な照明効果を実現し易くすることができる。
【0159】
以上のように、本実施形態における情報処理装置の一例の情報端末３００は、デジタルカメラ１００により被写体が撮像された画像を示す画像データ、及び、照明装置２００から被写体に照射した照明光による分布を示す照度分布情報を取得する取得部の一例の通信部３５０と、デジタルカメラ１００および照明装置２００を制御する制御部３１０とを備える。デジタルカメラ１００は、所定周期において被写体を順次、撮像して、画像データを生成する。制御部３１０は、所定周期において、デジタルカメラ１００が被写体を撮像していないときに、照明装置２００から照明光を被写体に照射させ、照明装置２００が照明光を被写体に照射していないときに、デジタルカメラ１００に被写体を撮像させる（Ｓ１Ａ，Ｓ２Ａ、図２０参照）。
【0160】
こうした情報処理装置によっても、仮想照明システム１０にて、被写体の画像において自然な照明効果を実現し易くすることができる。又、こうした情報処理装置は、画像データ又は照度分布情報の何れかを取得するものであってもよい。例えば、デジタルカメラ１００又は照明装置２００が情報処理装置の一例であってもよい。
【0161】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１～２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施形態１～２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0162】
上記の実施形態１では、回転台４００を用いた物品撮影動作について説明したが、物品撮影動作は、特に回転台４００を用いずに行われてもよい。こうした変形例について、図２１を用いて説明する。
【0163】
図２１は、物品撮影動作の変形例１の環境を例示する。本変形例では、回転台４００の代わりに、水平面などの同一平面上で物品１の周囲を囲むレール４５０が配置されている。レール４５０は、デジタルカメラ１００の支持部をスライド移動可能に構成される。本変形例では、図６と同様の動作において、回転台４００により物品１を回転させる代わりに、レール４５０に沿ってデジタルカメラ１００を物品１の全周囲にわたり回転させながら、動画等を撮影する。これによっても、物品１の全周にわたる撮像画像を取得して、上記の例と同様に物品１のモデル情報を作成できる。
【0164】
又、上記のような物品撮影動作は、レール４５０を用いる代わりに、デジタルカメラ１００を用いる撮影者が物品１の周囲を移動しながら撮影することによって行われてもよい。また、物品撮影動作においては、複数の照明装置２００が用いられてもよい。例えば、物品１の周囲に複数の照明装置２００が配置されてもよい。
【0165】
また、上記の各実施形態では、物品１の全周にわたる物品撮影動作について説明したが、特に物品１の全周でなくてもよい。例えば、デジタルカメラ１００は、物品１の全周のうちの一部についての動画を撮影してもよいし、物品１に対して互いに異なる向きから複数回の静止画等の撮影を行ってもよい。これによっても、物品１が互いに異なる向きから撮像された複数の撮像画像についてモデル情報を得られ、配置シミュレーションに利用できる。
【0166】
又、上述した物品撮影動作における物品１の全周又はその一部は、特に同一平面上に限らず、立体的であってもよい。こうした変形例について、図２２を用いて説明する。
【0167】
図２２は、物品撮影動作の変形例２を説明するための図である。本変形例では、上記の変形例のレール４５０の代わりに、デジタルカメラ１００が物品１の周囲を立体的にスライド可能なスライダ４５５が用いられる。スライダ４５５は、例えばレール４５０と同様の構成に加えて、デジタルカメラ１００がスライド移動する範囲を、水平面等から外す立体的な回転が可能な回転軸を有する。本実施形態において、デジタルカメラ１００の物品撮影動作（図６）は、例えばこうしたスライダ４５５により、全球面または半球面における物品１の全周において所望の範囲を撮影してもよい。これにより、物品１のモデル情報（図６のＳ７）における３次元的なモデリングを高精度にしたり、配置シミュレーション等においてユーザが物品１を閲覧する際に物品１の向きを変更可能な方向（図１７参照）の自由度を向上したりすることができる。
【0168】
また、上記の各実施形態では、物品１等のモデル情報の一例を説明したが、モデル情報はこれに限定されない。本実施形態の仮想照明システム１０において、モデル情報は、デジタルカメラ１００により被写体を撮像した画像データと、照明装置２００による被写体の照度分布データとを互いに関連付けた情報であってもよい。例えば図６のフローと同様の処理において、情報端末３００の制御部３１０は、ステップＳ４の処理を特に行わず、ステップＳ７に代えて上記関連付けによるモデル情報を生成してもよい。こうしたモデル情報に基づいて、例えば配置シミュレーション処理（図１６）の実行時に、ステップＳ４と同様の処理が行われてもよい。
【0169】
また、上記の各実施形態では、仮想照明システム１０の各種情報処理が情報端末３００により行われる例を説明した。本システム１０は、特にこれに限定されず、例えば情報端末３００とデータ通信するサーバ装置をさらに用いてもよい。例えば、配置シミュレーション処理（図１６）における仮想照明の演算処理（Ｓ３５）がサーバ装置で行われてもよい。情報端末３００はこうしたサーバ装置にステップＳ３２～Ｓ３４で得られた情報を送信し、ステップＳ３５の処理結果をサーバ装置から受信してもよい。又、各種撮影動作においても、反射特性の推定処理（Ｓ４，Ｓ２３）と各種モデル情報の生成（Ｓ７，Ｓ２４）の一部又は全てがサーバ装置で行われてもよい。
【0170】
また、上記の各実施形態では、背景２上で物品１の配置シミュレーション処理を行う仮想照明システム１０を説明した。本実施形態において、仮想照明システム１０は、特に配置シミュレーションに限らない仮想照明についての演算処理を行ってもよい。例えば、本実施形態の仮想照明システム１０は、ユーザが物品１の外観を確認するための仮想照明のシミュレーション処理を行ってもよい。こうした場合においても、シミュレーション時に実際の物品１の色味又は質感といった外観が再現し難い場合が考えられる。
【0171】
これに対して、本実施形態の仮想照明システム１０によると、物品１の撮影時に照明装置２００を用いて得られる情報を上記実施形態と同様に利用することにより、自然な照明効果を実現して、物品１の外観の再現性を高めることができる。例えば、本実施形態の仮想照明システム１０において、制御部３１０は、図１６と同様の処理において背景画像Ｇ２等の表示を省略して、本実施形態のシミュレーション処理を行うことができる。
【0172】
また、本実施形態の仮想照明システム１０は、物品１のみのシミュレーション処理に限らず、背景２のみのシミュレーション処理に用いられてもよい。例えば、不動産物件を背景２として照明装置２００を用いて撮影しておき、本システム１０が、こうして得られるモデル情報を用いて仮想的な内見のシミュレーション処理を行ってもよい。
【0173】
また、上記の各実施形態では、デジタルカメラ１００と照明装置２００と情報端末３００とを備える仮想照明システム１０を説明したが、本実施形態の仮想照明システム１０はこれに限定されない。例えば、本実施形態の仮想照明システム１０において、デジタルカメラ１００は省略されてもよい。例えば、照明装置２００の受光部２２０としてのイメージセンサ等を用いて、被写体の画像が撮像あるいは取得されてもよい。又、本システム１０において、照明装置２００と撮像装置とが一体的に構成されてもよい。さらに被写体の画像は本システム１０の外部から取得されてもよい。
【0174】
また、上記の各実施形態では、情報処理装置の一例として情報端末３００を例示した。本実施形態において、情報処理装置は、特に情報端末３００に限らず、例えばサーバ装置であってもよい。また、デジタルカメラ１００が、制御部１３５等により情報処理装置の機能を有してもよい。この場合、デジタルカメラ１００のイメージセンサ１１５が撮像装置の一例として機能してもよい。
【0175】
また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。
【0176】
また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。
【0177】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。
【産業上の利用可能性】
【0178】
本開示は、種々の被写体が撮影された画像に事後的に照明効果を付与する用途に適用可能である。
【符号の説明】
【0179】
１０ 仮想照明システム
１００ デジタルカメラ
２００ 照明装置
２１０ 発光部
２２０ 受光部
３００ 情報端末
３１０ 制御部
３２０ 記憶部
３３０ 操作部
３４０ 表示部
３５０ 通信部
１００ デジタルカメラ
２００ 照明装置
２１０ 発光部
２２０ 受光部
３００ 情報端末
３１０ 制御部
３２０ 記憶部
３３０ 操作部
３４０ 表示部
３５０ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】