特許 7064456 共有システム及び遠隔側装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-26

(45)【発行日】2022-05-10

(54)【発明の名称】共有システム及び遠隔側装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220427BHJP

   G06T 3/00 20060101ALI20220427BHJP

【ＦＩ】

H04N7/18 U

G06T3/00 770

【請求項の数】 5

(21)【出願番号】P 2019024383

(22)【出願日】2019-02-14

(65)【公開番号】P2020136754

(43)【公開日】2020-08-31

【審査請求日】2021-01-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】黒川 茂莉

(72)【発明者】

【氏名】野中 敬介

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１２－１７５１２８（ＪＰ，Ａ）

【文献】特開２０１７－１５６８８０（ＪＰ，Ａ）

【文献】特開２０１４－１４５８３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

背景を含む撮影を行って第一画像を得る第一撮影部と、
前記第一画像より光源情報を算出する解析部と、
前記光源情報に即した光源照射を対象に向けて行う照射部と、
前記対象を撮影して第二画像を得る第二撮影部と、
前記第二画像より前記対象を抽出して対象領域を得る抽出部と、
前記対象領域に基づいた表示を行う表示部と、を備え、
前記第二画像は多視点画像として構成されており、
当該多視点画像の各々から抽出された対象領域を用いて、指定される自由視点における対象領域を合成画像として合成する合成部をさらに備え、
当該合成画像が前記表示部により表示され、
前記表示部及び前記第一撮影部は共通の筐体に固定されてその位置姿勢が連動して変化するように構成されており、
当該連動して変化する位置姿勢を取得する取得部をさらに備え、
前記合成部では、当該取得された位置姿勢に応じて設定される自由視点において、前記合成画像を合成することを特徴とする共有システム。

【請求項2】

前記解析部では、予め構築された学習モデルを適用することにより、前記第一画像より光源情報を算出することを特徴とする請求項１に記載の共有システム。

【請求項3】

前記光源情報には、光源の強度、方向、色ヒストグラムの少なくとも１つが含まれることを特徴とする請求項１または２に記載の共有システム。

【請求項4】

予め構築された学習モデルが適用されることにより、前記第一画像より前記光源情報に加えて露出情報が算出されており、または、
前記第一画像が撮影された際に併せて露出情報が取得されており、
前記第二撮影部では、前記算出された露出情報または前記取得された露出情報に従って前記対象を撮影して前記第二画像を得ることを特徴とする請求項１ないし３のいずれかに記載の共有システム。

【請求項5】

ネットワークを介して相互に通信可能である遠隔側装置及び設備側装置を含む共有システムにおける遠隔側装置であって、
背景を含む撮影を行って第一画像を得る第一撮影部と、
前記第一画像より光源情報を算出する解析部と、を備え、
前記設備側装置において、前記光源情報に即した光源照射が対象に向けて行われ、当該対象が撮影されて第二画像が得られ、当該第二画像より前記対象が抽出されて対象領域が得られており、
前記遠隔側装置はさらに、前記対象領域に基づいた表示を行う表示部を備え、
前記第二画像は多視点画像として構成されており、
前記設備側装置において、当該多視点画像の各々から抽出された対象領域を用いて、指定される自由視点における対象領域を合成画像として合成されており、
前記表示部は前記合成画像を表示することで前記対象領域に基づいた表示を行い、
前記表示部及び前記第一撮影部は共通の筐体に固定されてその位置姿勢が連動して変化するように構成されており、
前記遠隔側装置はさらに、当該連動して変化する位置姿勢を取得する取得部を備え、
前記設備側装置において、前記合成される際には、当該取得された位置姿勢に応じて設定される自由視点において、前記合成画像が合成されていることを特徴とする共有システムにおける遠隔側装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影される対象が、光源が変化しうる現実の空間でどのように映えるかを確認することを可能とする、あるいは当該確認するための補助を行うことを可能とする、共有システムに関する。

【背景技術】

【0002】

着衣の様子を確認する技術として、仮想試着を利用するものがある。特許文献１～６に開示されているように、試着者の画像に衣服画像を合成し、仮想試着を可能にする技術がある。このうち特許文献４，５は背景画像を合成することができた。また、特許文献５は、ユーザが着用している着用服の着用服領域（現実物体としての衣服の領域）が、仮想服の仮想服領域（画像上で衣服であるものとして合成される領域）と一致しない場合に、着用服領域と仮想服領域を一致させることができた。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2018-113060号公報

【文献】特開2018-106736号公報

【文献】特開2017-156957号公報

【文献】特開2016-38810号公報

【文献】特開2015-181314号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、以上のような従来技術においては、画像上において仮想試着を実現するか、あるいは現実物体としての衣服を実際に着用するかに依らず、光源の強さや方向等が変化しうることから事前にその光源環境を知ることができない現実の空間において、着衣の様子がどのように映えるかを確認することはできなかった。また、確認の対象を着衣の様子に限定せず、撮影される人物等の任意の対象におけるその他の任意の属性（例えば着衣ではなくポーズや表情等）を確認する場合を考えても、従来技術においては、光源が変化しうるため光源環境が不明である現実の空間でどのように映えるかを確認することはできなかった。

【0005】

この従来技術の課題に鑑み、本発明は、撮影される対象が、光源が変化しうる現実の空間でどのように映えるかを確認することを可能とする、あるいは当該確認するための補助を行うことを可能とする、共有システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明は、共有システムであって、背景を含む撮影を行って第一画像を得る第一撮影部と、前記第一画像より光源情報を算出する解析部と、前記光源情報に即した光源照射を対象に向けて行う照射部と、前記対象を撮影して第二画像を得る第二撮影部と、前記第二画像より前記対象を抽出して対象領域を得る抽出部と、前記対象領域に基づいた表示を行う表示部と、を備えることを第一の特徴とする。

【0007】

また、第一の特徴の共有システム全体のうち、照射部、第二撮影部、抽出部を備えるシステムであることを第二の特徴とする。また、第一の特徴の共有システム全体のうち、第一撮影部、解析部、表示部を備えるシステムであることを第三の特徴とする。

【発明の効果】

【0008】

第一の特徴によれば、背景の光源情報に即した照射がなされたうえで第二画像が得られ、この第二画像から対象領域を抽出してこれに基づいた表示を行うので、光源が変化しうる現実の空間としての背景においてどのように映えるかを確認可能な表示を得ることができる。第二又は第三の特徴によれば、このための補助を行うことが可能となる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る共有システムの機能構成図である。

【図2】一実施形態に係る共有システムの動作のフローチャートである。

【図3】学習データの模式例である。

【図4】照射部及び第二撮影部の所定配置によって実現される撮影空間の一例を示す図である。

【図5】照射部及び第二撮影部の所定配置によって実現される撮影空間の一例を示す図である。

【図6】一般的なコンピュータ装置におけるハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

図１は、一実施形態に係る共有システムの機能構成図（説明のための模式的なイラストを含む）である。共有システム100は、光源が変化しうる現実の空間である遠隔地（例えば、屋外の野原などのような何らかの地点）に存在する遠隔側装置10と、対象（見栄えに関して確認される対象）の撮影が行われる箇所（例えば、撮影設備がある撮影スタジオ等、以下、「撮影地」とする）に存在する設備側装置20と、を備える。

【0011】

図示するように、遠隔側装置10は、第一撮影部11、解析部12、表示部13、取得部14及び第一通信部15を備え、設備側装置20は、照射部21、第二撮影部22、抽出部23、合成部24及び第二通信部25を備える。遠隔側装置10と設備側装置20とは、有線及び／又は無線の媒体で構成されたネットワークNW（インターネット等）を介して相互に通信可能となっている。また、遠隔側装置10内の各部11～15同士と、設備側装置20の各部21～25同士と、に関してもそれぞれ、ネットワークNWを介して、あるいは、１つ以上のコンピュータ内においてバスにより、相互に通信可能となっている。

【0012】

以下、共有システム100によって実現される用途の一例として、次の場合を例として説明する。ここで、遠隔地には遠隔側装置10を利用する遠隔ユーザRUが存在し、撮影地には設備側装置20を利用する撮影対象ユーザPUが存在するものとする。そして、撮影対象ユーザPUが被写体として撮影されたうえで、その画像（加工された画像でもよい）が遠隔ユーザRUの元へと送信されることで、撮影された撮影対象ユーザPUの見栄えを遠隔ユーザRUが確認し、確認した見栄えの評価等に関して遠隔ユーザRUと撮影対象ユーザPUとの間で相互にコミュニケーションを行う場合を例として説明する。

【0013】

図２は、一実施形態に係る共有システム100の動作のフローチャートである。以下、図２の各ステップを説明しながら、図１の共有システム100の各部の動作内容に関して説明する。

【0014】

ステップS1では、遠隔地において遠隔ユーザRUが第一撮影部11を操作して遠隔地の背景BG（景色）の撮影を行い、この背景BGが撮影された第一画像を取得してから、ステップS2へと進む。第一撮影部11は、ハードウェアとしては少なくともカメラを含むものとして実現することができるが、さらに照度センサ等を含んで第一画像の撮影された背景の照度等の撮影に関連する情報を同時に取得するようにしてもよい。この取得された第一画像は、解析部12へと出力される。照度等も取得した場合には、第一画像と共に照度等の情報も解析部12へと出力される。

【0015】

なお、ステップS1ではさらに、取得部14において遠隔側装置10の位置姿勢情報を取得するようにしてもよい。この取得された位置姿勢情報は、遠隔地からネットワークNWを経由して撮影地の合成部24へと送信される。取得部14はハードウェアとしては加速度センサ、ジャイロセンサ、GPS（全地球測位システム）センサ等の組み合わせで実現することができ、遠隔側装置10の筐体に固定して設置される等により遠隔側装置10と一体となって剛体的にその位置姿勢が変化する対象である、ハードウェアとしての第一撮影部11及び／又は表示部13の位置姿勢情報を取得する。この位置姿勢情報の取得には、任意の既存の測位手法などを用いてよい。

【0016】

また、画像ベースの手法を用いてもよい。例えば、背景BG内に予め、既存技術である正方マーカ等の所定のAR（拡張現実）マーカを設置しておき、第一撮影部11で取得した第一画像内から当該マーカを検出することで、第一撮影部11のカメラの位置姿勢として、この位置姿勢情報を取得部14が取得するようにしてもよい。（この場合、第一撮影部11より第一画像が取得部14へと出力されるが、このデータ授受の流れは図１では描くのを省略している。）

【0017】

ステップS2では、ステップS1で取得された第一画像を解析部12が解析することで、第一画像に撮影されている背景BGにおける光源情報（光源方向など）を取得してから、ステップS3へと進む。この解析部12による光源情報の取得の詳細に関しては後述する。この取得された光源情報は、遠隔地からネットワークNWを経由して撮影地の照射部21へと送信される。

【0018】

ステップS3では、ステップS2で取得された光源情報に即した光源の照射条件（光源方向などの条件）のもとで照射部21が撮影対象ユーザPUに対して光源の照射を行い、ステップS4へと進む。照射部21は、ハードウェアとしては１個以上の光源（LED等）が所定位置及び向きで配置された照明装置で実現することができる。ここで、照射部21の光源の向きに関しては、光源情報に応じた向きとなるようにアクチュエータにより制御される可変なものであってよい。この照明装置に対して撮影対象ユーザPUが所定位置に存在することで、撮影対象ユーザPUに向けた光源照射が実現される。照射部21による照射の詳細は後述する。

【0019】

なお、ステップS3における照射は、少なくとも次のステップS4における撮影がなされる間において継続して行われるものである。

【0020】

ステップS4では、ステップS3による照射部21の光源照射がなされている撮影対象ユーザPUを第二撮影部22が撮影することにより第二画像を取得してから、ステップS5へと進む。この取得された第二画像は抽出部23へと出力される。第二撮影部22は、ハードウェアとしてはカメラで実現することができる。

【0021】

第二撮影部22のカメラは、照射部21の照明設備の位置に合わせて、撮影地の設備における所定位置に固定されたものであってもよいし、移動可能に構成されたカメラであってもよい。ステップS4での第二撮影部22のカメラに対する撮影操作は、ステップS2による光源情報の受信及びこれに基づくステップS3での照射が照射部21においてなされた時点において自動で撮影を行うようにしてもよいし、当該受信を受けて照射部21による照射がなされていることを確認したうえで、撮影対象ユーザPU又はその他のユーザ（不図示の撮影スタッフ等）が手動で撮影を行うようにしてもよい。

【0022】

ステップS5では、ステップS4で取得された第二画像より、抽出部23が撮影されている対象の対象領域R（撮影対象ユーザPUが撮影されている場合であればこの人物の領域）を抽出してから、ステップS6へと進む。この抽出される対象領域Rは、第二画像内の領域としての情報のみでなく、第二画像における当該領域内の画素（テクスチャ）の情報をも含むものであり、例えば、第二画像における対象領域以外の背景等の領域を透明化した透過画像として、対象領域Rの情報を得ることができる。この取得された対象領域Rの情報は、ネットワークNWを経由して遠隔地の表示部13へと送信される。

【0023】

ここで、抽出部23による対象領域Rの抽出手法に関しては、任意の既存手法を利用してよい。例えば、撮影対象ユーザPUが撮影される空間はブルーバック（一定色の一例として青色の背景）を設けておき、第二画像から当該一定色に該当する領域を透明化するクロマキー合成を利用してよい。あるいは、撮影対象ユーザPUが動く前提で、第二撮影部22では映像として撮影を行っておき、静止している背景からこの動いている撮影対象ユーザPUの対象領域Rを物体検出及び物体追跡することにより、この映像内のある時刻のフレームとしての第二画像から対象領域Rを抽出するようにしてもよい。

【0024】

ここで、別の一実施形態として、ステップS5ではさらに、抽出部23が抽出した対象領域Rの情報を合成部24へと出力したうえで、合成部24において、対象領域Rを加工することで合成画像SPを得たうえで、この合成画像SPを（対象領域Rに代えて、あるいは加えて）ネットワークNWを経由して遠隔地の表示部13へと送信するようにしてもよい。

【0025】

なお、図１では、抽出部23と合成部24の両方が利用される場合を想定したデータの授受の流れが示されているが、合成部24が省略される場合、抽出部23から直接、表示部13へと対象領域Rの情報が送信されることとなる。

【0026】

合成部24では具体的に、取得部14から得られる位置姿勢情報を利用して、この位置姿勢情報に応じた位置に仮に第二撮影部22のカメラが配置されているとした場合に撮影して抽出部23で抽出されることとなるであろう対象領域R_{[位置姿勢反映]}を、合成画像SPとして合成することができる。（ここで、実際の第二画像からそのまま得られる対象領域Rではなく、これに対して合成処理を加えて得られる位置姿勢が反映されたものとして、対象領域R_{[位置姿勢反映]}と表記している。当初の対象領域Rと、合成される対象領域R_{[位置姿勢反映]}とは、位置及びテクスチャに相違が存在しうるものとなる。）

【0027】

この位置姿勢が反映された対象領域R_{[位置姿勢反映]}としての合成画像SPの合成には、任意の既存の多視点画像に対する自視点画像生成手法を利用してよい。例えば本出願人による既存手法である特開2018-116421（画像処理装置および画像処理方法）による、ビルボード方式での自由視点画像生成手法を用いてもよい。

【0028】

この場合、一例として、第二撮影部22を実現するハードウェアを、撮影対象ユーザPUを取り囲むように配置された複数のカメラとし、ステップS4においては複数のカメラ視点の各々で撮影された多視点画像として第二画像を取得し、ステップS5では多視点画像のそれぞれにおいて対象領域Rを抽出する。この際、ステップS5においては抽出部23がさらに、各多視点画像において被写体である対象領域Rの3次元空間座標を算出しておく。この3次元空間座標の算出は、各カメラ間のキャリブレーションを行っておいたうえで、被写体（撮影対象ユーザPU）に予め、既存技術である正方マーカ等の所定のAR（拡張現実）マーカを付与しておき、当該マーカの検出に基づいて行うことができる。

【0029】

そして、ステップS6においては、取得部14から得られる位置姿勢情報で指定される位置姿勢に自由視点があるものとして、ビルボード（平面領域）としての対象領域R_{[位置姿勢反映]}すなわち合成画像SPを生成することができる。

【0030】

以上のビルボードの手法では高速計算が可能であるが、より精緻な3次元モデルに基づいて合成画像SPを生成するようにしてもよい。すなわち、ビルボードの場合と同様にして多視点画像を利用したうえで、この多視点画像における各画像同士の情報を統合することによって被写体の3次元コンピュータグラフィックスモデルを精緻に構成したうえで、取得部14から得られる位置姿勢情報で指定される位置姿勢に自由視点があるものとしてこの3次元モデルをレンダリングすることにより、合成画像SPを生成してもよい。具体的には例えば本出願人による既存手法として特開2016-71645号公報（オブジェクト３次元モデル復元方法、装置およびプログラム）の手法（ボクセルを利用して３次元ポリゴンモデルを生成する手法）を用いればよい。この場合、ステップS4においては複数のカメラ視点の各々で撮影された多視点画像として第二画像を取得し、且つ、対応する深度マップも必要となるため、第二撮影部22を実現するハードウェアとして、複数のカメラの各々に対応する深度センサも利用するようにすればよい。深度センサを利用せず、画像間で対応点を求めたうえでステレオマッチングにより深度を求めるようにしてもよい。

【0031】

ステップS6では、ステップS5においてその実施形態に応じて抽出部23又は合成部24により得られた対象領域R又は合成画像SPを用いて、表示部13がこの対象領域R又は合成画像SPを表示する処理を行い、以上の図２のフローは終了する。

【0032】

表示部13は、ハードウェアとしては通常のＰＣ又はスマートフォンのディスプレイあるいはＰＣ又はスマートフォンに接続されたモニターのディスプレイによって、あるいはヘッドマウント式によるシースルー型ディスプレイが実装された眼鏡G等によって実現することができる。表示部13が眼鏡Gで実現される場合（なお、図１ではこの場合に関するイラストが描かれている）、この眼鏡G上に対象領域R又は合成画像SPをそのまま表示し、透明部分については何も表示しないようにすればよい。こうして、眼鏡Gを装着することで表示部13を眺める遠隔ユーザRUは、眼鏡Gを通じて見えている遠隔地の現実の背景BGに対して、対象領域R又は合成画像SPが重畳された状態として、拡張表示APを見ることが可能となる。

【0033】

同様に、表示部13がシースルー型ではない通常のディスプレイで実現される場合も、第一撮影部11でステップS1において背景BGを撮影して取得した第一画像を表示部13において取得したうえで、この第一画像に対して対象領域R又は合成画像SPを重畳して表示すればよい。こうして、通常のディスプレイとしての表示部13を眺める遠隔ユーザRUは、遠隔地の現実の背景BGに対して、対象領域R又は合成画像SPが重畳された状態として、拡張表示APを見ることが可能となる。（なお、この場合に必要となる第一撮影部11から表示部13へと第一画像を出力する流れは、図１では描くのを省略している。）

【0034】

いずれの場合も、重畳される対象領域R又は合成画像SPは、遠隔地の光源情報に即した照射が撮影地の照射部21によってなされた、撮影対象ユーザPUの姿となっている。従って、遠隔地に存在する遠隔ユーザRUは、この遠隔地には存在せず撮影地に存在する撮影対象ユーザPUの見栄えを、自身の存在する遠隔地と同じ光源条件において、すなわち、遠隔地の背景BGに自然に馴染んだ状態において、表示部13による拡張表示APを見ることによって確認することが可能となる。

【0035】

具体例として、遠隔ユーザRUは遠隔地としてのスキー場に存在し、撮影対象ユーザPUは撮影地としての都市部のスポーツ用品店に存在する場合に、実物としてのスキーウェアの試着を撮影対象ユーザPUが行ったうえで、遠隔ユーザRUはスキーウェアを試着した状態の撮影対象ユーザPUの見栄えを、現実のスキー場の背景BGのもとで背景BGに馴染んだ状態において確認する、といったことが可能となる。

【0036】

図２のフロー全体（ステップS1からステップS6まで）は、表示部13における表示の更新レート（ディスプレイのリフレッシュレート）に合わせて繰り返し実行されることで、表示部13による拡張表示APを見ることによる遠隔ユーザRUによる見栄え確認を、リアルタイムで行うことが可能である。

【0037】

第一通信部15及び第二通信部25は、ネットワークNWを経由して、任意の既存のマルチメディア手法（テキスト、音声、動画等の任意の組み合わせ）による相互の通信コミュニケーションを可能とするものである。遠隔ユーザRUと撮影対象ユーザPUとは、繰り返される図２のフロー全体と並行して第一通信部15及び第二通信部25を介してメッセージ等を双方向に送受信することにより、リアルタイムで見栄えに関する意見交換を行うことが可能である。

【0038】

また、こうしたリアルタイム確認の際に、取得部14による位置姿勢情報の取得と、これに基づく合成部24による合成画像SPの合成（既に述べた多視点画像に対するビルボード方式等による合成）と、を行う実施形態を適用することにより、合成画像SPを表示部13に表示するようにすれば、次のように、確認の臨場感を高める効果が得られる。すなわち、遠隔ユーザRUが遠隔側装置10を保持して移動しながら表示部13の拡張表示APを見る際に、この移動に応じて合成画像SPを見る向き等も変化することで、背景BG内の所定位置及び向きで遠隔ユーザRUがあたかも実在しているかのような、拡張表示APが実現されることとなる。例えば、拡張表示APは当初の時刻では撮影対象ユーザPUを正面から見ている状態となっているが、その後の時刻において遠隔ユーザRUが移動することにより、拡張表示APにおいて撮影対象ユーザPUを横から、あるいはさらには背後から、見ている状態を得るといったことも可能となる。

【0039】

以下さらに、本発明の各実施形態に関する詳細等の個別説明を行う。

【0040】

（１）解析部12による光源情報の取得に関しては、予め学習モデル（第一画像とその他のセンサ情報等を入力として光源情報を出力する学習モデル）を構築しておき、この学習モデルの適用により、光源情報を取得することが可能である。

【0041】

図３は、この学習モデルを構築するために利用する学習データの構成の模式例を表形式で示すものである。ここでは、以上説明してきた光源情報（照度、光源方向、色ヒストグラム）に加えてさらに、カメラ撮影時の露出情報も、解析部12において取得する（学習モデルによって出力する）実施形態に関して説明する。

【0042】

なお、光源情報に関しては、照度、光源方向、色ヒストグラムのうちの一部分のみを利用するようにしてもよい。また、露出情報の利用を省略することで全く同様に、光源情報のみを出力する学習モデルを得ることができる。露出情報の利用を省略する場合、学習データの各画像を取得する際や、第一撮影部11及び第二撮影部22における露出設定は所定のもの（照度等に応じた自動調整設定を含む）を用いるようにすればよい。また、露出情報を学習モデルからの出力としても利用する場合には、解析部12で得られた露出情報を第二撮影部22に送信したうえで、ステップS4における第二撮影部22による撮影は、この露出情報の設定のもとで行うようにすればよい。

【0043】

図３に示されるように、IDで指定される学習用の多数の画像の各々に関して、その画像特徴ベクトルを求め、正解としての光源情報（光源の照度、光源の方向、光源の色ヒストグラム）と、を付与したものとして、学習データを用意することができる。上記のように、正解には光源情報に加えてカメラの露出情報も付与されていてもよい。（図３では光源情報と露出情報との両方を用いる場合が示されている。）この学習データによる学習を行い、学習モデルとして、識別用のニューラルネットワークモデルを作成し、解析部12において第一画像（及びその他のセンサ情報等）をこの学習モデルに入力することにより、学習モデルからの出力として、光源情報（及び露出情報）を取得することができる。

【0044】

ここで、学習データの各項目は、次のように評価や取得を行うようにすればよい。

【0045】

（Ａ）画像特徴ベクトルに関して、原画像を所定のピクセル数（例えば、100x100ピクセル）にリサイズするといった簡易な変換によるもので構わない。

【0046】

（Ｂ）照度に関して、例えば、原画像と同様の空間をセンシングしている照度センサから得られるLux値（照度値）を用いるようにすればよい。（第一画像に学習モデルを適用する際は、第一撮影部11にカメラ以外の追加ハードウェアとして、この照度センサを実装しておく。）

【0047】

（Ｃ）露出に関して、例えば、カメラから得られるEV（Exposure Value；露出値）を用いる。（第一画像に学習モデルを適用する際は、第一撮影部11として実装されるカメラからこの露出値を取得するようにしてもよい。）

【0048】

（Ｄ）方向に関して、例えば、極座標系を想定し、2つの偏角の組(θ,φ)で主光源の方向を表す。単位はradであるが、扱いやすさのため1/π倍して正規化し、-1～1に収まるようにする。

【0049】

（Ｅ）色ヒストグラムに関して、例えば、原画像のR,G,Bの各チャネルについてHSV表色系に変換をした上でV（明度）を取得し、所定の個数（例：16）で離散化し、離散値毎のピクセル数をカウントする。R,G,B毎の16個の値をベクトルとして結合し、48個の要素のベクトルを得る。扱いやすくするため、合計で1になるように正規化する(3*ピクセル数で割る)。

【0050】

以上のような学習データを元に光源情報及び露出情報の各値を識別するためのマルチタスク学習を行い、ニューラルネットワークモデルを作成する。ここで、照度、露出、方向の各要素、色ヒストグラムを識別するタスクがそれぞれ１つのタスクに対応し、全タスクをニューラルネットワークによる1つのモデルで解く（複数のタスクを1つのモデルで解くことをマルチタスク学習と呼ぶ）。具体的には、画像特徴ベクトルから畳み込みニューラルネットワーク（CNN）を構成し、その上に各タスクに対応した出力層を重ねる。例えば、正の連続値をとる照度、露出に対してはランプ関数（ReLU）、+1～-1の値をとる方向の各要素に対しては双曲線正接関数（tanh）、分布を表す色ヒストグラムに対してはソフトマックス関数（softmax）を出力層とする。このように1つのモデルを構成することで、出力層に依存しない共通要因をCNNが獲得し、各出力層が各タスクに適応した出力を出すことが可能となる。

【0051】

なお、照度と露出に関しては基本的にはそれぞれセンサ、カメラの値を参照するが、これらを出力層に追加することにより安定的に露出等の撮影に関する共通要因を獲得できることが期待される。また、ハードウェアの実装上、センサ、カメラの値が取得できない場合は、照度と露出についてもニューラルネットワークモデルにより予測するようにしてよい。

【0052】

また、色に関しては、屋外(昼)、屋外(朝夕)、屋内(蛍光)、屋内(白熱)のようなカテゴリを用意しこれを識別対象としてもよい。この場合も出力層をソフトマックス関数（softmax）とすることにより学習することが可能である。このようなカテゴリを用意しておいた場合、ステップS21での照射部21における光源照射の色設定も、各カテゴリに対応する所定色設定とすればよい。

【0053】

（２）上記の（１）では解析部12が学習モデルを用いて第一画像を解析することで光源情報のみを算出する、または、光源情報及び露出情報を算出する場合を説明した。この後者に対する別実施形態として、露出情報は第一撮影部11を構成するハードウェアとしてのカメラにおいて第一画像を撮影する際に実際に適用された露出情報を取得するようにしてもよい。こうして、露出情報が解析部12において学習モデルにより算出された場合と、露出情報が第一撮影部11での実際の値として取得された場合と、のいずれの場合においても、この算出された又は取得された露出情報を設備側装置20へと送信したうえで、第二撮影部22ではこの送信された露出情報に従って撮影を行い、第二画像を得るようにしてよい。

【0054】

（３）照射部21では、以上のような学習モデルにより解析部12が出力した光源情報（光源の照度（強度）、光源の方向、光源の色ヒストグラムのうち少なくとも１つ）に合致する照射を行う。ここで、光源強度は光源制御回路に対するパルス幅変調等で制御し、光源方向は光源向きを変えるアクチュエータで制御し、光源色は各色の強度を前記パルス幅変調等で制御すればよい。図４及び図５は、照射部21及び第二撮影部22の所定配置によって実現される撮影空間（撮影室）の一例を示す図である。

【0055】

図４の例では、凡例欄C1に示すように、天井側にドーム型の反射壁を作り、その他の室内の壁を非反射壁とし、中央の光源の光の強度、向き（θ,φ）、色を調整することで、撮影対象ユーザPUに対して光源照射を行う照射部21が実現される。図５の例では、凡例欄C2に示すように、非反射壁で構成される壁面に制御可能な光源を敷き詰め、各光源の光の強度、向き（θ,φ）、色を調整することで、撮影対象ユーザPUに対して光源照射を行う照射部21が実現される。いずれの場合も、非反射壁には、光を吸収しやすい素材を用いるようにすればよい。

【0056】

なお、図４及び図５においては、反射壁又は非反射壁の壁面で構成される撮影室に関して、そのyz平面での断面のみが示されているが、同様の構成がこの撮影室内に渡って存在する。図４の撮影室は、天井が半球ドーム状、これに接続する壁面が円筒状のものとすることができる。図５の撮影室は、矩形状のものとしてもよいし、円筒状のものとしてもよい。その他にも、所定形状の撮影室を利用することができる。第二撮影部22を実現するカメラは、この撮影室内に正面（マイナスx軸方向）を向いた所定位置に配置するようにすればよい。なお、光源の向き（θ,φ）に関しても、このような撮影室のxyz座標（直交空間座標）と関連付けて所定の極座標において定義しておけばよい。

【0057】

なお、図３を参照して説明した学習データは、図４や図５に示すような実際の撮影室（照射部21及び第二撮影部22が配置される実際の撮影室）において、正解ラベルとしての光源条件及び露出条件のもとで照射部21による照射及び第二撮影部22による撮影を行うことで、その全部又は一部が作成されるようにしてもよい。この際、画像特徴ベクトルを抽出するのは、画像全体からではなく、光源照射されている被写体の近辺のみを利用するようにしてもよい。また、上記のように実際の撮影室で撮影されたものに限らず、様々な条件の背景画像に対応するため、学習データは、第一撮影部11と同スペックのカメラにより取得された画像データまたはインターネットから取得した画像データ（任意カメラで撮影されたものでよい）に対し正解ラベルとしての光源条件及び露出条件を付与したものとしてもよい。

【0058】

（４）合成部24では、以上説明したような多視点画像に対するビルボード方式等による合成を行った合成画像SPを対象として、あるいは、このような合成処理を行わない対象領域Rを対象として、色調整を施したものを、合成画像SPとして表示部13に出力するようにしてもよい。（後者の場合、対象領域Rに色調整のみが施されたものが合成画像SPとなる。）例えば、アンカー（顔の肌色、白目の色）を決め、その色ヒストグラムが背景（第一画像）の類似領域と撮影対象ユーザPUで一致するように、色に関するフィルタをかけてもよい。背景の類似領域は一般物体認識に基づいて顔認識を行うことで抽出すればよい。

【0059】

この実施形態によれば、第一画像に人物が撮影されている場合に、その人物の肌合いと、表示部13に拡張表示APとして表示される撮影対象ユーザPUの肌合いとを、色の観点から互いに似通ったものとすることで、より自然な拡張表示APを実現することができる。（この実施形態では、図１では不図示のデータの流れとして、第一撮影部11で得た第一画像が合成部24へと送信されることとなる。）

【0060】

合成部24では以上のような色調整に加えて、あるいは色調整に代えて、仮想試着を可能とするために画像上で衣服を合成する処理を行うようにしてもよい。仮想試着のための合成処理は前掲した既存手法等を利用すればよい。

【0061】

（５）表示部13で表示される拡張表示APと第一撮影部11が撮影する第一画像とは、互いに位置が合うように設定しておけばよい。特に、シースルー型ディスプレイが実装された眼鏡Gで表示部13を実現する場合、眼鏡Gを通して見える景色が第一撮影部11背景BGとほぼ一致するように、第一撮影部11のカメラを眼鏡Gの正面に置く等の配置をしておけばよい。

【0062】

（６）取得部14で遠隔側装置10の位置姿勢情報を取得する場合、この取得が開始された最初の時刻からの位置姿勢の変化に合致して、多視点画像として撮影を行っている第二撮影部22において例えば被写体の正面であるものとして設定される所定の自由視点位置からの位置姿勢が変化するように、合成部24において自由視点位置を設定したうえで、合成画像SPを得るようにすればよい。この際に、最初の時刻に対応する自由視点位置として、設備側装置に備わっているカメラ位置座標を参照してもよい。また、遠隔側でハードウェアとして赤外線センサなどを用いて実現される取得部14により、取得部14（遠隔側装置10）の絶対的な位置座標を検出し、当該絶対座標に対応する自由視点位置を設定し合成画像SPを得てもよい。

【0063】

（７）遠隔地の背景BGと、撮影地の撮影対象ユーザPUと、の両方に、既存技術である正方マーカ等のARマーカを配置しておき、抽出部23では第二画像からこのARマーカを検出して撮影対象ユーザPUの空間位置を検出して表示部13へと送信し、表示部13においても背景BGが撮影された第一画像からこのARマーカを検出して第一画像の空間構成（ARマーカが配置された平面に関する空間構成）を把握し、表示部13における対象領域R又は合成画像SPの表示の際には、この把握された空間構成に整合させた所定位置で表示を行うようにしてよい。撮影地の撮影対象ユーザの位置座標の検出には、カメラの外部パラメータ（カメラの位置姿勢を含むパラメータ）を用いて映像から推定してもよい。また、遠隔地の背景BGについては、既存のマーカレスARの技術を用いて、床面や壁面を検出し、ユーザ設定による所定の距離の床面上に対象領域R又は合成画像SPを表示してもよい。また、特に空間（３次元空間）の情報は利用せずに、２次元画像座標内での位置情報のみを利用して、第一画像内の位置(u1,v1)に対象領域R又は合成画像SPの画素がある場合に、所定の対応関係で第二画像内の位置(u2,v2)にこの画素を表示するようにしてもよい。

【0064】

（８）図１では、遠隔地にある遠隔側装置10と撮影地にある設備側装置20とに図示するような各部が存在するものとして説明したが、他の実施形態も可能である。遠隔側装置10には少なくとも第一撮影部11、表示部13及び取得部14のみが存在すればよい。（ただし、表示部13に関してはシースルー型ディスプレイが実装される眼鏡G等として実現される場合にのみ、遠隔側装置10内に存在すればよい。）設備側装置20には少なくとも照射部21及び第二撮影部22のみが存在すればよい。

【0065】

その他の、解析部12、第一通信部15、抽出部23、合成部24及び第二通信部25に関しては、遠隔側装置10又は設備側装置20のいずれに存在してもよいし、これらとは別途のネットワークNW上にあるサーバ等のコンピュータ装置（次の図８の構成を有する）に存在してもよい。

【0066】

（９）図８は、一般的なコンピュータ装置30におけるハードウェア構成を示す図であり、遠隔側装置10及び設備側装置20はそれぞれこのような構成を有する１台以上のコンピュータ装置30として実現可能である。コンピュータ装置30は、所定命令を実行するCPU（中央演算装置）101、CPU101の実行命令の一部又は全部をCPU101に代わって又はCPU101と連携して実行する専用プロセッサ102（GPU（グラフィック演算装置）や深層学習専用プロセッサ等）、CPU101や専用プロセッサ102にワークエリアを提供する主記憶装置としてのRAM103、補助記憶装置としてのROM104、カメラ201、ディスプレイ202、眼鏡Gを実現する場合のためのグラス用ディスプレイ203、センサ204及び通信インタフェース205と、これらの間でデータを授受するためのバスBと、を備える。

【0067】

遠隔側装置10及び設備側装置20の各部は、各部の機能に対応する所定のプログラムをROM104から読み込んで実行するCPU101及び／又は専用プロセッサ102によって実現することができる。ここで、撮影関連の処理が行われる場合にはさらに、カメラ201が連動して動作し、表示関連の処理が行われる場合にはさらに、ディスプレイ202又はグラス用ディスプレイ203が連動して動作し、各種のセンサ値の取得が行われる際にはさらにセンサ204（1種類以上）が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース205が連動して動作する。

【符号の説明】

【0068】

100…共有システム、10…遠隔側装置、20…設備側装置
11…第一撮影部、12…解析部、13…表示部、14…取得部、15…第一通信部
21…照射部、22…第二撮影部、23…抽出部、24…合成部、25…第二通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】