ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169203
(43)【公開日】2024-12-05
(54)【発明の名称】３次元データ生成装置及び描画装置
(51)【国際特許分類】
G06T 17/20 20060101AFI20241128BHJP
G06T 7/00 20170101ALI20241128BHJP
G06V 10/70 20220101ALI20241128BHJP
【ＦＩ】
G06T17/20
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023086469
(22)【出願日】2023-05-25
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】北川 巧
【テーマコード（参考）】
5B080
5L096
【Ｆターム（参考）】
5B080AA14
5B080AA18
5B080BA02
5B080FA02
5B080GA00
5L096AA02
5L096AA09
5L096EA39
5L096FA15
5L096FA32
5L096FA66
5L096GA51
5L096KA04
(57)【要約】
【課題】物体から生成される３次元データに物体の光学特性を表現するデータを付加することができる３次元データ生成装置を提供する。
【解決手段】点群情報生成部２１２は、学習モデルＭ１を用いて、合成点群ＰＧＣに属する各点の３次元座標を含む点群情報を生成する。色情報生成部２１３は、学習モデルＭ１を用いて、合成点群ＰＧＣに属する各点を複数の視点から観測したときの各点における複数の視点に対応する各色を示す色情報を生成する。出力部２１４は、点群情報及び色情報を、物体ＯＢの３次元の形状及び色を示す３次元データとして出力する。
【選択図】図５
【解決手段】点群情報生成部２１２は、学習モデルＭ１を用いて、合成点群ＰＧＣに属する各点の３次元座標を含む点群情報を生成する。色情報生成部２１３は、学習モデルＭ１を用いて、合成点群ＰＧＣに属する各点を複数の視点から観測したときの各点における複数の視点に対応する各色を示す色情報を生成する。出力部２１４は、点群情報及び色情報を、物体ＯＢの３次元の形状及び色を示す３次元データとして出力する。
【選択図】図５
【特許請求の範囲】
【請求項1】
物体を含む３次元空間における色及び密度に関するベクトル場である輝度場を学習済みの学習モデルを用いて、前記物体の表面に位置する複数の点の集合である第１点群に属する各点の３次元座標を含む点群情報を生成する点群情報生成部と、
前記学習モデルを用いて、前記第１点群に属する前記各点を複数の視点から観測したときの前記各点における前記複数の視点に対応する各色を示す色情報を生成する色情報生成部と、
前記点群情報及び前記色情報を、前記物体の３次元の形状及び色を示す３次元データとして出力する出力部と、
を備える３次元データ生成装置。
前記学習モデルを用いて、前記第１点群に属する前記各点を複数の視点から観測したときの前記各点における前記複数の視点に対応する各色を示す色情報を生成する色情報生成部と、
前記点群情報及び前記色情報を、前記物体の３次元の形状及び色を示す３次元データとして出力する出力部と、
を備える３次元データ生成装置。
【請求項2】
前記色情報生成部は、前記複数の視点のそれぞれから前記物体を観測したときの前記物体の前記表面に位置する複数の点の集合である第２点群に属する各点のうち、前記第１点群に属する各点との距離が所定距離以内の点において観測される色に基づいて、前記色情報を生成する、
請求項１に記載の３次元データ生成装置。
請求項１に記載の３次元データ生成装置。
【請求項3】
前記色情報生成部は、前記第２点群に属する各点のうち、前記所定距離以内の各点の色を平均化した色を前記第１点群に属する各点における前記色情報として生成する、
請求項２に記載の３次元データ生成装置。
請求項２に記載の３次元データ生成装置。
【請求項4】
前記色情報生成部は、前記第２点群に属する各点のうち、前記所定距離以内の各点の色を前記距離に応じて重み付けし、前記重み付けした各点の色を平均化した色を前記第１点群に属する各点における前記色情報として生成する、
請求項２に記載の３次元データ生成装置。
請求項２に記載の３次元データ生成装置。
【請求項5】
前記点群情報は、前記学習モデルに一定数以上の視点を入力することにより生成され、
前記点群情報には、前記第１点群に属する各点における平均色情報が含まれ、
前記平均色情報は、前記一定数以上の視点から観測したときの前記各点における色を平均化した色を示す情報であり、
前記色情報生成部は、前記複数の視点のそれぞれから前記物体を観測したときの前記物体の前記表面に位置する複数の点の集合である第２点群に属する各点に、前記第１点群に属する各点との距離が所定距離以内の点が存在しないとき、前記平均色情報を前記色情報として生成する、
請求項１に記載の３次元データ生成装置。
前記点群情報には、前記第１点群に属する各点における平均色情報が含まれ、
前記平均色情報は、前記一定数以上の視点から観測したときの前記各点における色を平均化した色を示す情報であり、
前記色情報生成部は、前記複数の視点のそれぞれから前記物体を観測したときの前記物体の前記表面に位置する複数の点の集合である第２点群に属する各点に、前記第１点群に属する各点との距離が所定距離以内の点が存在しないとき、前記平均色情報を前記色情報として生成する、
請求項１に記載の３次元データ生成装置。
【請求項6】
前記点群情報に基づいて、前記第１点群に対応する複数のメッシュを形成するメッシュ形成部と、
前記色情報に基づいて、前記複数のメッシュのそれぞれの色を決定するメッシュ色決定部と、
をさらに備える請求項１に記載の３次元データ生成装置。
前記色情報に基づいて、前記複数のメッシュのそれぞれの色を決定するメッシュ色決定部と、
をさらに備える請求項１に記載の３次元データ生成装置。
【請求項7】
物体の表面に位置する複数の点の集合である第１点群に属する各点の３次元座標を含む点群情報と、前記各点を複数の視点から観測した場合に、前記各点における前記複数の視点に対応する各色を示す色情報と各視点の位置との組とを含む３次元データを取得する第１取得部と、
仮想空間上のユーザの視点の位置を示す視点情報及び前記物体に対応する仮想オブジェクトが前記仮想空間上に位置する第１座標を示す座標情報を取得する第２取得部と、
前記３次元データ、前記視点情報、及び前記座標情報に基づいて、前記仮想空間上の前記第１座標に前記仮想オブジェクトを描画する描画部と、
を備える描画装置。
仮想空間上のユーザの視点の位置を示す視点情報及び前記物体に対応する仮想オブジェクトが前記仮想空間上に位置する第１座標を示す座標情報を取得する第２取得部と、
前記３次元データ、前記視点情報、及び前記座標情報に基づいて、前記仮想空間上の前記第１座標に前記仮想オブジェクトを描画する描画部と、
を備える描画装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元データ生成装置及び描画装置に関する。
【背景技術】
【0002】
特許文献１は、複数の視点から撮影された参照物体の多視点画像に基づいて、参照物体の３次元点群を抽出し、抽出された参照物体の３次元点群の法線を導出し、３次元点群と３次元点群の法線とに基づいて、陰影情報を導出する技術を開示している。参照物体の多視点画像に基づいて、参照物体の３次元データを取り込む技術としては、フォトグラメトリ及びＬｉＤＡＲ（Light Detection and Ranging）センサを用いた計測が知られている。上記技術では、対象物の光沢感、透明感等の光学特性が正しく認識されないことがある。
【0003】
一方、近年のＮｅＲＦ（Neural Radiance Fields）技術によれば、対象物を様々な角度から撮影して得られた複数の画像に基づいて学習された学習モデルを作成し、作成された学習モデルに視点の位置及び視線の方向を入力することにより、当該視点から見た対象物の画像が推定される。これによれば、任意の視点から見た２次元画像を、視点を変えながら連続的に描画することが可能である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１４－１２００７９号公報
【非特許文献】
【0005】
【非特許文献1】Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng, "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis", arXiv:2003.08934, 2020 (https://arxiv.org/abs/2003.08934).
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＮｅＲＦ技術により得られた学習モデルから３次元データを生成する場合、対象物表面の各点の色は、様々な角度から撮影して得られた複数の画像のそれぞれにおける各点に対応する点の色同士の平均として得られる。これにより、対象物表面の各点の色を示す情報には、視線の方向に関する情報は失われる。そのため、ＮｅＲＦ技術を用いた描画には、対象物の光学特性は反映されるが、上記学習モデルから３次元データを生成する際には、対象物の光学特性に関する情報は損なわれてしまうという課題があった。
【0007】
本発明は、上記のような課題を解決するために為されたものであり、ＮｅＲＦ技術を用いて取得した光学特性を含むデータに基づいて、生成された対象物の３次元データに対象物の光学特性を表現するデータを付加することを目的とする。
【課題を解決するための手段】
【0008】
本発明の好適な態様に係る３次元データ生成装置は、物体を含む３次元空間における色及び密度に関するベクトル場である輝度場を学習済みの学習モデルを用いて、前記物体の表面に位置する複数の点の集合である点群に属する各点の３次元座標を含む点群情報を生成する点群情報生成部と、前記学習モデルを用いて、前記点群に属する前記各点を複数の視点から観測したときの前記各点における前記複数の視点に対応する各色を示す色情報を生成する色情報生成部と、前記点群情報及び前記色情報を、前記物体の３次元の形状及び色を示す３次元データとして出力する出力部と、を備える。
【0009】
本発明の好適な態様における仮想オブジェクトの描画装置は、物体の表面に位置する複数の点の集合である点群に属する各点の３次元座標を含む点群情報と、前記各点を複数の視点から観測した場合に、前記各点における前記複数の視点に対応する各色を示す色情報と各視点の位置との組を含む３次元データを取得する第１取得部と、仮想空間上のユーザの視点の位置を示す視点情報及び前記物体に対応する仮想オブジェクトが前記仮想空間上に位置する第１座標を示す座標情報を取得する第２取得部と、前記３次元データと前記視点情報及び前記座標情報に基づいて、前記仮想空間上の前記第１座標に前記仮想オブジェクトを描画する描画部と、を備える。
【発明の効果】
【0010】
本発明に係る３次元データ生成装置によれば、ＮｅＲＦ技術を用いて取得した光学特性を含むデータに基づいて、物体から生成される３次元データに物体の光学特性を表現するデータを付加することができる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態に係る３次元データ生成装置及び描画装置を含む情報処理システムの全体構成を示す図である。
【図3】機械学習装置に対する教師データの取得方法の一例を示す図である。
【図4】ＮｅＲＦの輝度場を学習するためのニューラルネットワークのアーキテクチャを示す図である。
【図6】合成点群を説明するための図である。
【図7】物体上方の視点から物体を観測したときの視点毎の点群を示す図である。
【図8】物体下方の視点から物体を観測したときの視点毎の点群を示す図である。
【図9】物体右方の視点から物体を観測したときの視点毎の点群を示す図である。
【図10】物体左方の視点から物体を観測したときの視点毎の点群を示す図である。
【図11】物体の合成点群の一例を示す模式図である。
【図12】物体の合成点群の１つの点及び視点毎の点群の一例を示す模式図である。
【図13】物体の合成点群の１つの点及び視点毎の点群の別の例を示す模式図である。
【図14】出力部が出力する３次元データの一例を示す図である。
【図22】第２実施形態に係る情報処理システムの全体構成を示す図である。
【図23】第２実施形態に係る３次元データ生成装置の構成例を示すブロック図である。
【図24】メッシュ形成部によるメッシュの形成方法を説明するための図である。
【図25】物体の合成点群の１つの点及び視点毎の点群の一例を示す模式図である。
【発明を実施するための形態】
【0012】
【0013】
【0014】
情報処理システム１は、機械学習装置１０、３次元データ生成装置２０、描画装置３０、外部装置としてのサーバ４０、及び通信網ＮＥＴを備えている。描画装置３０は、２つの描画装置３０－１及び３０－２のうちのいずれか１つを表している。
【0015】
情報処理システム１において、機械学習装置１０、３次元データ生成装置２０、描画装置３０－１、描画装置３０－２、サーバ４０は、通信網ＮＥＴを介して互いに通信可能に接続されている。また、なお、図１において、２つの描画装置３０－１及び３０－２が例示されているが、当該数はあくまで一例であって、情報処理システム１は、任意の数の描画装置３０を備えることが可能である。
【0016】
機械学習装置１０において、対象となる物体を含む現実空間を多視点から撮影して得られたデータに基づいて、ＮｅＲＦ技術を用いて、任意の視点から見た現実空間の色及び密度を推定する学習モデルを作成する。３次元データ生成装置２０は、機械学習装置１０により作成された学習モデルに基づいて、３次元データを生成する。描画装置３０は、３次元データ生成装置２０により生成された物体の３次元データを用いて、仮想空間上に物体の３次元モデルを描画する。サーバ４０は、通信網ＮＥＴを介して、各種データの保管及び通信網ＮＥＴに接続されている他の装置へ各種データを提供する。
【0017】
即ち、情報処理システム１は、描画装置３０を使用するユーザに対して、仮想空間において描画に用いるための物体の３次元データを提供するシステムである。
【0018】
１．１．２．機械学習装置の構成
図２は、図１の機械学習装置１０の構成例を示すブロック図である。機械学習装置１０は、処理装置１１、記憶装置１２、通信装置１３、撮像装置１４、ディスプレイ１５、及び入力装置１６を備えている。機械学習装置１０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。なお、本明細書における「装置」という用語は、回路、デバイス、ユニット等の他の用語に読み替えてもよい。
図２は、図１の機械学習装置１０の構成例を示すブロック図である。機械学習装置１０は、処理装置１１、記憶装置１２、通信装置１３、撮像装置１４、ディスプレイ１５、及び入力装置１６を備えている。機械学習装置１０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。なお、本明細書における「装置」という用語は、回路、デバイス、ユニット等の他の用語に読み替えてもよい。
【0019】
処理装置１１は、機械学習装置１０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置、及びレジスタを含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成されている。なお、処理装置１１が備えている機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現されてもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
【0020】
記憶装置１２は、処理装置１１により読み取り及び書き込みが可能な記録媒体である。記憶装置１２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Random Access Memory）である。
【0021】
記憶装置１２は、処理装置１１が実行するための制御プログラムＰＲ１を含む複数のプログラム及び学習モデルＭ１を記憶している。また、記憶装置１２は、教師データ記憶部１２１を有している。
【0022】
教師データ記憶部１２１は、教師データを記憶する。教師データは、物体の多視点画像データである。多視点画像データとは、撮像装置１４を用いて、物体を物体周囲の様々な方向から撮像した複数の画像データの集合である。学習済みモデル記憶部１２２は、学習済みモデルを学習モデルＭ１として記憶する。また、記憶装置１２は、処理装置１１のワークエリアとして機能する。
【0023】
記憶装置１２に記憶された学習モデルＭ１は、通信網ＮＥＴ又は記録媒体を介して３次元データ生成装置２０に提供される。なお、学習モデルＭ１は、サーバ４０、クラウド型コンピュータ等の外部コンピュータに提供されて、外部コンピュータの記憶装置に記憶されてもよい。
【0024】
通信装置１３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置１３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置１３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置１３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0025】
撮像装置１４は、外界を撮像することにより得られた撮像情報を出力する。撮像装置１４は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備えている。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は、撮像信号を増幅したうえでＡＤ変換器に出力する。ＡＤ変換器は、アナログ信号である増幅された撮像信号を、デジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置１１に出力される。
【0026】
撮像装置１４は、撮像装置１４を物体の周囲において移動させることにより又は物体を回転させることにより、物体を様々な方向から撮像し、多数の撮像データを生成する。即ち、撮像装置１４は、多視点画像データを生成する。撮像装置１４は、一眼レフカメラであってもよいし、スマートフォンに備えられたカメラであってもよい。
【0027】
ディスプレイ１５は、画像及び文字情報を表示するデバイスである。ディスプレイ１５は、処理装置１１による制御に基づいて各種の画像を表示する。例えば、液晶パネル及び有機ＥＬ（Electro Luminescence）パネル等の各種の表示パネルがディスプレイ１５として好適に利用される。
【0028】
入力装置１６は、ユーザＵ１からの操作を受け付ける。ユーザＵ１は、物体の３次元学習モデルの提供者である。例えば、入力装置１６は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置１６は、タッチパネルを含んで構成されている場合、ディスプレイ１５を兼ねていてもよい。
【0029】
処理装置１１は、例えば、記憶装置１２から制御プログラムＰＲ１を読み出して実行することによって、取得部１１１及び生成部１１２として機能する。
【0030】
取得部１１１は、撮像装置１４から、入力データ及び出力データが対応付けられて構成される複数の教師データを取得する。取得部１１１において取得された複数の教師データは、教師データ記憶部１２１に記憶される。
【0031】
生成部１１２は、複数の教師データを学習モデルＭ１に機械学習させることによって、学習済みの学習モデルＭ１を生成する。より具体的に述べると、生成部１１２は、教師データ記憶部１２１に記憶された教師データを用いて機械学習を実施する。即ち、生成部１１２は、学習モデルＭ１に複数の教師データを入力することにより、教師データを構成する入力データと出力データとの相関関係を学習モデルＭ１に機械学習させる。これにより、生成部１１２は、学習済みの学習モデルＭ１を生成する。
【0032】
図３は、機械学習装置１０に対する教師データの取得方法の一例を示す図である。図３には、物体ＯＢの例としてマウスが示されている。図３では、現実空間ＲＳを模式的に直方体により示している。物体ＯＢは、現実空間ＲＳに含まれている。撮像装置１４は、物体ＯＢを含む現実空間ＲＳを撮像する。撮像装置１４により撮像された画像は、撮像装置１４と物体ＯＢとの間に配置された仮想のスクリーンＳＣに物体ＯＢが投射された画像と考えることができる。撮像装置１４から延びる線ＶＬ１は、撮像装置１４の視線を表している。線ＶＬ１は、線ＶＬ１と物体ＯＢとの交点ＲＰ１を始点として、物体ＯＢを貫いている。
【0033】
仮想のスクリーンＳＣと線ＶＬ１との交点ＳＰ１は、物体ＯＢの表面の点ＲＰ１に対応している。また、点ＲＰ０は、現実空間ＲＳにおける線ＶＬ１の入射面と、線ＶＬ１との交点であり、点ＲＰ１は、現実空間ＲＳにおける線ＶＬ１の出射面と、線ＶＬ１との交点である。
【0034】
ＮｅＲＦは、微分可能な３次元のＣＧ（Computer Graphics）レンダリングを介して３次元物体を表現する関数を訓練する手法である。３次元物体を表現する関数とは、即ち、ニューラルネットワークであり、本実施形態において、学習モデルＭ１に相当する。ニューラルネットワークの訓練に必要なデータセットは、撮像装置１４を用いて、物体ＯＢを各視点から撮影した画像及び当該視点におけるポーズ情報のみである。ポーズ情報は、撮像装置１４の位置、向き、及び焦点距離に関する情報である。
【0035】
ＮｅＲＦは、カリフォルニア大学バークレー校の研究者らが２０２０年３月に発表した研究である（非特許文献１）。非特許文献１の趣旨に沿って言えば、輝度場（Radiance Fields）とは、空間上の各座標に色及び密度を対応付けるベクトル場である。言い換えると、輝度場とは、物体ＯＢを含む３次元空間における色及び密度に関するベクトル場である。
【0036】
ここで、密度とは、各座標が示す点における不透明度、即ち、当該座標の点に物体ＯＢが存在することを示す指標である。従って、ＮｅＲＦ技術によれば、物体ＯＢが存在している位置の座標における密度は、物体ＯＢが存在していない位置の座標における密度よりも高いことを示す輝度場が得られる。
【0037】
ＮｅＲＦの基本コンセプトは、輝度場をニューラルネットワークにより近似することである。輝度場を近似するには、例えば、撮影された複数の画像に基づいて、予め作成しておいた複数の座標と当該座標における輝度とのペアを用いて訓練する方法が考えられる。しかし、この方法では、データセットの作成に多くの時間を要してしまう。そこで、ＮｅＲＦでは、ニューラルネットワークにより表現される輝度場を用いて画像のレンダリングが行われ、レンダリングの結果と、実際に撮影された画像とが比較されることにより、輝度場が訓練される。
【0038】
ＮｅＲＦ技術によれば、輝度場を学習済みのニューラルネットワーク、即ち、学習モデルＭ１に、ある点の座標（ｘ，ｙ，ｚ）及び視線の角度（θ，φ）を与えると、視線上の点の色（Ｒ，Ｇ，Ｂ）と、密度σが出力される。このことから理解されるように、ＮｅＲＦによる学習モデルＭ１は、物体ＯＢの表面の情報を有していない。
【0039】
画像のレンダリングは、線ＶＬ１上に存在する各点における色を各点における密度σにより重み付けした色の情報を積分することである。例えば、図３に示した例では、点ＲＰ０から点ＲＰ２までの区間ＩＳ０における色の情報が積分される。点ＲＰ０から点ＲＰ１の手前までの区間には、物体ＯＢは存在しないので、当該区間の密度σは実質的にゼロである。従って、点ＲＰ０から点ＲＰ１の手前までの区間の色の情報は、実質的にレンダリング結果に反映されない。また、点ＲＰ１の密度σは相対的に高く、点ＲＰ１における色がレンダリング結果において支配的となる。
【0040】
輝度場を表現するニューラルネットワークをＦΘとすると、ＦΘは以下の（１）式により与えられる。
【0041】
ＦΘ：（ｘ，ｙ，ｚ，θ，φ）→（Ｒ，Ｇ，Ｂ，σ） ・・・（１）
【0042】
以下、位置情報を示すベクトル（ｘ，ｙ，ｚ）Ｔは「ｘ」と表され、角度情報を示すベクトル（θ，φ）は「ｄ」と表される。
【0043】
図４は、輝度場を学習するためのニューラルネットワークのアーキテクチャを示す図である。本実施形態のニューラルネットワークは、完全結合型の多層パーセプトロンにより構成されている。
【0044】
図４に示したように、ニューラルネットワークの中間層ＨＬ１～ＨＬ１０には、３つの入力ベクトルＩＶ１、ＩＶ２、及びＩＶ３が与えられ、２つの出力ベクトルＯＶ１及びＯＶ２が出力される。中間層ＨＬ１～ＨＬ１０の各ブロック内の数字は、ベクトルの次元を表す。各矢印は層間の変換を表す。図４には、活性化関数の違いにより、実線の矢印、破線の矢印、及び一点鎖線の矢印がそれぞれ示される。実線の矢印は、正規化線形関数（ＲｅＬＵ：Rectified Linear Unit）を用いた非線形変換を示しており、破線の矢印は、シグモイド関数を用いた非線形変換を示している。また、一点鎖線の矢印は、活性化関数を用いない線形変換を示している。
【0045】
また、「＋」は、ベクトルの結合（concatenate）を表している。図４に示したように、位置情報ｘは、ネットワークの初段と５段目のベクトルとの２箇所に入力される。また、角度情報ｄは、９段目のベクトルにおいて密度σが出力された後、入力される。このように、密度σは角度情報ｄの影響を受けないようになっている。このことは、色（Ｒ，Ｇ，Ｂ）、視線の角度によって変化するが、密度σは視線の角度によって変化しないことを意味している。
【0046】
１．１．３．３次元データ生成装置の構成
図５は、図１の３次元データ生成装置２０の構成例を示すブロック図である。図５に示したように、３次元データ生成装置２０は、処理装置２１、記憶装置２２、通信装置２３、ディスプレイ２４、及び入力装置２５を備えている。３次元データ生成装置２０の各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図５は、図１の３次元データ生成装置２０の構成例を示すブロック図である。図５に示したように、３次元データ生成装置２０は、処理装置２１、記憶装置２２、通信装置２３、ディスプレイ２４、及び入力装置２５を備えている。３次元データ生成装置２０の各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0047】
処理装置２１は、３次元データ生成装置２０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置２１は、例えば、周辺装置とのインタフェース、演算装置、及びレジスタを含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置２１が備えている機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置２１は、各種の処理を並列的又は逐次的に実行する。
【0048】
記憶装置２２は、処理装置２１により読み取り及び書き込みが可能な記録媒体である。記憶装置２２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。
【0049】
記憶装置２２は、処理装置２１が実行するための制御プログラムＰＲ２を含む複数のプログラムを記憶している。また、記憶装置２２は、処理装置２１のワークエリアとして機能する。
【0050】
通信装置２３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置２３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置２３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ等に準拠した製品が挙げられる。
【0051】
ディスプレイ２４は、画像及び文字情報を表示するデバイスである。ディスプレイ２４は、処理装置２１による制御に基づいて各種の画像を表示する。例えば、液晶パネル及び有機ＥＬパネル等の各種の表示パネルがディスプレイ２４として好適に利用される。
【0052】
入力装置２５は、ユーザＵ２からの操作を受け付ける。ユーザＵ２は、物体ＯＢの３次元データを生成する作業者である。ユーザＵ２は、ユーザＵ１と同一であってもよい。例えば、入力装置２５は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置２５は、タッチパネルを含んで構成されている場合、ディスプレイ２４を兼ねていてもよい。
【0053】
処理装置２１は、記憶装置２２から制御プログラムＰＲ２を読み出して実行することにより、取得部２１１、点群情報生成部２１２、色情報生成部２１３、出力部２１４、及び表示制御部２１５として機能する。
【0054】
取得部２１１は、機械学習装置１０から、学習モデルＭ１を取得する。学習モデルＭ１は、物体ＯＢを含む現実空間ＲＳの輝度場を学習済みのモデルである。
【0055】
点群情報生成部２１２は、輝度場を学習済みの学習モデルＭ１を用いて、点群情報を生成する。点群情報は、合成点群に属する各点の３次元座標を含む情報である。合成点群は、複数の視点から物体ＯＢを観測したときの物体ＯＢの表面に位置する複数の点の集合である。合成点群は、複数の視点から観測された複数の点を合成して得られる点群である。
【0056】
図６は、合成点群を説明するための図である。前述したように、線ＶＬ１が物体ＯＢに向いているとき、点ＲＰ０から点ＲＰ１の手前までの区間における密度σは相対的に低い。即ち、当該区間における透明度は相対的に高い。しかし、線ＶＬ１が物体ＯＢを貫く点ＲＰ１、即ち、物体ＯＢの表面の点において、透明度は急激に低下、即ち、密度σは急激に増加する。従って、点群情報生成部２１２は、ＮｅＲＦによって推定される密度σの変化の程度から、物体ＯＢの表面の座標位置を推測することができる。
【0057】
点群情報生成部２１２は、物体ＯＢを含む現実空間ＲＳを所定の間隔により分割する。例えば、点群情報生成部２１２が現実空間ＲＳを複数の微小立方体により分割した場合、点群情報生成部２１２は、学習モデルＭ１を用いて、複数の微小立方体の各頂点における色（Ｒ，Ｇ，Ｂ）及び密度σを算出する。
【0058】
このとき、物体ＯＢの表面全体の密度σを算出するために、点群情報生成部２１２は、各立方体の頂点を様々な視点から見たときの頂点における色（Ｒ，Ｇ，Ｂ）及び密度σを算出する。様々な視点とは、図６に示したように、物体ＯＢを中心として視点ＶＰ１及び視点ＶＰ２をそれぞれ回転させることにより実現される視点である。これにより、点群情報生成部２１２は、物体ＯＢの周囲３６０度のいずれの視点からも観測可能である。好適には、点群情報生成部２１２は、視点ＶＰ１及び視点ＶＰ２をそれぞれ１０度ずつ変化させたときの密度σを算出する。
【0059】
各頂点は、複数の視点から観測されるので、各頂点に対して、複数の色（Ｒ，Ｇ，Ｂ）及び密度σが算出される。点群情報生成部２１２は、同一の頂点において重複する色（Ｒ，Ｇ，Ｂ）及び密度σの算出結果を平均化等により合成する。点群情報生成部２１２は、合成された密度σが、閾値σｔｈを超える点の集合を合成点群ＰＧＣとして抽出する。図６において、抽出された合成点群ＰＧＣの各点は、黒丸により示される。また、抽出された合成点群ＰＧＣの各点における色（Ｒ，Ｇ，Ｂ）は、各頂点において重複して得られた色の平均値である。この平均値に関する情報は、平均色情報と呼ばれる。
【0060】
平均色情報は、一定数以上の視点から観測したときの合成点群ＰＧＣに属する各点における色を平均化した色を示す情報であると言える。つまり、点群情報生成部２１２により得られる合成点群ＰＧＣの各点における色の情報には、「視線」の角度に依存する情報は含まれない。合成点群ＰＧＣは「第１点群」の一例である。
【0061】
色情報生成部２１３は、学習モデルＭ１を用いて、色情報を生成する。色情報は、合成点群ＰＧＣに属する各点を複数の視点から観測したときの各点における複数の各色を示す情報である。
【0062】
より具体的に述べると、色情報生成部２１３は、合成点群ＰＧＣに属する各点を複数の視点から観測する。即ち、色情報生成部２１３は、学習モデルＭ１を用いて、ある視点から、物体ＯＢを観測したときの物体ＯＢの表面に位置する複数の点を抽出する。物体ＯＢの表面に位置する点は、点群情報生成部２１２による方法と同様に、密度σが閾値σｔｈを超える点の集合として抽出される。複数の視点のそれぞれから物体ＯＢを観測したときの物体ＯＢの表面に位置する複数の点の集合は、以下、視点毎の点群と呼ばれる。
【0063】
前述したように、合成点群ＰＧＣを抽出する際には、視点を１０度ずつ変化させることが好適な態様であるが、視点毎の点群の抽出においても視点を１０度ずつ変化させることが好適である。但し、説明を簡略にするため、以下、代表的に上下左右の４つの視点のみを例示して説明する。
【0064】
なお、視点を１０度ずつ変化させることは、あくまで例示であって、視点を変化させる角度は、特に限定されない。例えば、視点を変化させる角度は、物体ＯＢの物理的なサイズに応じて変更されてもよい。視点を変化させる角度を一定とすると、物体ＯＢの物理的なサイズが大きいほど、合成点群ＰＧＣ及び視点毎の点群の点数が多くなる。従って、物体ＯＢの物理的なサイズが大きいほど、視点を変化させる角度を大きくすることにより、視点の点数の増加が抑制される。また、物体ＯＢの色及び明るさが、視点の角度によって大きく変化する場合、視点を変化させる角度を小さくするほど、実際に近い色の変化が再現される。
【0065】
図７は、物体ＯＢ上方の視点から物体ＯＢを観測したときの視点毎の点群を示す図である。図８は、物体ＯＢ下方の視点から物体ＯＢを観測したときの視点毎の点群を示す図である。図９は、物体ＯＢ右方の視点から物体ＯＢを観測したときの視点毎の点群を示す図である。図１０は、物体ＯＢ左方の視点から物体ＯＢを観測したときの視点毎の点群を示す図である。
【0066】
図７に示したように、物体ＯＢ上方の視点ＶＰＵから物体ＯＢを観測したとき、色情報生成部２１３は、視点毎の点群ＰＧＶ１として物体ＯＢ上側表面の各点を抽出するが、物体ＯＢ下側表面の点は抽出できない。図８に示したように、物体ＯＢ下方の視点ＶＰＢから物体ＯＢを観測したとき、色情報生成部２１３は、視点毎の点群ＰＧＶ２として物体ＯＢ下側表面の各点を抽出するが、物体ＯＢ上側表面の点は抽出できない。
【0067】
図９に示したように、物体ＯＢ右方の視点ＶＰＲから物体ＯＢを観測したとき、色情報生成部２１３は、視点毎の点群ＰＧＶ３として物体ＯＢ右側表面の各点を抽出するが、物体ＯＢ左側表面の点及び物体ＯＢ下面の点は抽出できない。図１０に示したように、物体ＯＢ左方の視点ＶＰＬから物体ＯＢを観測したとき、色情報生成部２１３は、視点毎の点群ＰＧＶ４として物体ＯＢ左側表面の各点を抽出するが、物体ＯＢ右側表面の点及び物体ＯＢ下面の点は抽出できない。視点毎の点群ＰＧＶ１～ＶＰＧ４は「第２点群」の一例である。
【0068】
なお、点群情報生成部２１２により推定される合成点群ＰＧＣの各点の座標位置と、色情報生成部２１３により推定される視点毎の点群の各点の座標位置とは、学習モデルＭ１を用いた密度σの推定誤差等により、必ずしも一致しない。
【0069】
以下、図１１～１３を参照しながら、色情報生成部２１３の動作についてより具体的に説明する。図１１は、物体ＯＢの合成点群ＰＧＣの一例を示す模式図である。図１２は、物体ＯＢの合成点群ＰＧＣの１つの点及び視点毎の点群ＰＧＶの一例を示す模式図である。図１３は、物体ＯＢの合成点群ＰＧＣの１つの点及び視点毎の点群ＰＧＶの別の例を示す模式図である。なお、視点毎の点群ＰＧＶは「第２点群」の一例である。
【0070】
図１１では、合成点群ＰＧＣの１つの対象点Ｐｓ１に着目し、対象点Ｐｓ１を中心とする半径Ｌ０（ｍｍ）内の空間がＳ１として定義される。このように、色情報生成部２１３は、合成点群ＰＧＣの各点について、各点を中心とする半径Ｌ０内の空間Ｓ１を定義する。なお、半径Ｌ０は「所定距離」の一例である。
【0071】
次に、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点について空間Ｓ２を定義する。空間Ｓ２は、空間Ｓ１と同様に対象点Ｐｓ１を中心とする半径Ｌ０（ｍｍ）内の空間である。色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、空間Ｓ２内に含まれる点を探索する。図１２に示したように、空間Ｓ２内に含まれる点は、Ｐｒ１、Ｐｒ２、及びＰｒ３である。
【0072】
色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、空間Ｓ２内に存在する点Ｐｒ１、Ｐｒ２、及びＰｒ３のそれぞれの色を平均化した色を、対象点Ｐｓ１における色情報として生成する。例えば、点Ｐｒ１における色情報Ｃ１を［Ｒ１，Ｇ１，Ｂ１］、点Ｐｒ２における色情報Ｃ２を［Ｒ２，Ｇ２，Ｂ２］、点Ｐｒ３における色情報Ｃ３を［Ｒ３，Ｇ３，Ｂ３］、対象点Ｐｓ１における色情報Ｃｓ１を［Ｒｓ１，Ｇｓ１，Ｂｓ１］とすると、色情報生成部２１３は、対象点Ｐｓ１における色情報Ｃｓ１＝［Ｒｓ１，Ｇｓ１，Ｂｓ１］を、以下の（２）式により算出する。
【0073】
Ｃｓ１＝（Ｃ１＋Ｃ２＋Ｃ３）／３ ・・・（２）
【0074】
空間Ｓ２内に存在する点の個数がｎである場合、任意の点Ｐｒｎにおける色情報をＣｎ＝［Ｒｎ，Ｇｎ，Ｂｎ］とすると、対象点Ｐｓ１における色情報Ｃｓ１は、以下の（３）式により算出される。
【0075】
Ｃｓ１＝（Ｃ１＋Ｃ２＋・・・＋Ｃｎ）／ｎ ・・・（３）
【0076】
ところで、図１３に示したように、探索の結果、視点毎の点群ＰＧＶに属する各点のいずれも、空間Ｓ２内に存在しない場合がある。このような場合、色情報生成部２１３は、対象点Ｐｓ１の色を、視点毎の点群ＰＧＶに属する各点の色ではなく、点群情報における当該対象点Ｐｓ１に対応する色に設定する。
【0077】
即ち、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点に、合成点群ＰＧＣに属する各点との距離が半径Ｌ０以内の点が存在しないとき、平均色情報を色情報として生成する。
【0078】
出力部２１４は、点群情報及び色情報を、物体ＯＢの３次元の形状及び色を示す３次元データとして出力する。以下、図１４及び図１５を参照しながら、出力部２１４の機能を説明する。図１４は、出力部２１４が出力する３次元データの一例を示す図である。図１５は、図１４の３次元データ中の点Ｐ１、Ｐ２、及びＰ３の物体ＯＢ上における位置を示した図である。
【0079】
出力部２１４が出力する３次元データは、合成点群の各点のＩＤ、各点の座標、視点、及び視点に対応する色がそれぞれ対応付けられており、図１４に示したように、リスト形式で表される。図１５に示したように、点Ｐ１は、物体ＯＢの最上面に位置し、且つ左右方向において中央に位置する点である。図７～図１０を用いた説明から理解されるように、点Ｐ１は、物体ＯＢ右方からの視点ＶＰＲ、物体ＯＢ左方からの視点ＶＰＬ、及び物体ＯＢ上方からの視点ＶＰＵにより観測されるが、物体ＯＢ下方からの視点ＶＰＢによっては観測されない。
【0080】
図１４において、リストの１行目には、物体ＯＢの右方からの視点ＶＰＲにより点Ｐ１を観測した場合における点Ｐ１の色（Ｒ１１，Ｇ１１，Ｂ１１）及び点Ｐ１の座標（ｘ１，ｙ１，ｚ１）が示されている。リストの２行目には、物体ＯＢの左方からの視点ＶＰＬにより点Ｐ１を観測した場合における点Ｐ１の色（Ｒ１２，Ｇ１２，Ｂ１２）及び点Ｐ１の座標（ｘ１，ｙ１，ｚ１）が示されている。リストの３行目には、物体ＯＢの上方からの視点ＶＰＵにより点Ｐ１を観測した場合における点Ｐ１の色（Ｒ１３，Ｇ１３，Ｂ１３）及び点Ｐ１の座標（ｘ１，ｙ１，ｚ１）が示されている。物体ＯＢの下方からの視点ＶＰＢによって点Ｐ１は観測できないので、リストの４行目には、平均色情報に基づく点Ｐ１の座標（ｘ１，ｙ１，ｚ１）に対応する平均の色（Ｒ１，Ｇ１，Ｂ１）と、点Ｐ１の座標（ｘ１，ｙ１，ｚ１）とが示されている。このように、点Ｐ１における色は、視点の方向によって異なる。点Ｐ１が死角となる視点がある場合には、当該死角となる視点により点Ｐ１を観測した場合における色として、平均色情報に基づいて、点Ｐ１における平均の色が補完される。また、点Ｐ１の座標は、合成点群ＰＧＣに関する点群情報に含まれる座標であるため、いずれの視点に対しても、同じ座標が採用される。
【0081】
点Ｐ２は、物体ＯＢの右側の傾斜面に位置している点である。従って、点Ｐ２は、物体ＯＢ右方からの視点ＶＰＲ及び物体ＯＢ上方からの視点ＶＰＵにより観測されるが、物体ＯＢ左方からの視点ＶＰＬ及び物体ＯＢ下方からの視点ＶＰＢによっては観測できない。
【0082】
図１４において、リストの５行目には、物体ＯＢの右方からの視点ＶＰＲにより点Ｐ２を観測した場合における点Ｐ２の色（Ｒ２１，Ｇ２１，Ｂ２１）及び点Ｐ２の座標（ｘ２，ｙ２，ｚ２）が示されている。物体ＯＢの左方からの視点ＶＰＬによって点Ｐ２は観測できないので、リストの６行目には、平均色情報に基づく点Ｐ２の座標（ｘ２，ｙ２，ｚ２）に対応する平均の色（Ｒ２，Ｇ２，Ｂ２）と、点Ｐ２の座標（ｘ２，ｙ２，ｚ２）とが示されている。リストの７行目には、物体ＯＢの上方からの視点ＶＰＵにより点Ｐ２を観測した場合における点Ｐ２の色（Ｒ２２，Ｇ２２，Ｂ２２）及び点Ｐ２の座標（ｘ２，ｙ２，ｚ２）が示されている。物体ＯＢの下方からの視点ＶＰＢによって点Ｐ２は観測できないので、リストの８行目には、平均色情報に基づく点Ｐ２の座標（ｘ２，ｙ２，ｚ２）に対応する平均の色（Ｒ２，Ｇ２，Ｂ２）と、点Ｐ２の座標（ｘ２，ｙ２，ｚ２）とが示されている。このように、点Ｐ２における色は、視点の方向によって異なる。点Ｐ２が死角となる視点がある場合には、当該死角となる視点により点Ｐ２を観測した場合における色として、平均色情報に基づいて、点Ｐ２における平均の色が補完される。また、点Ｐ２の座標は、合成点群に関する点群情報に含まれる座標であるため、いずれの視点に対しても、同じ座標が採用される。
【0083】
点Ｐ３は、物体ＯＢの左側の傾斜面に位置している点である。従って、点Ｐ３は、物体ＯＢ左方からの視点ＶＰＬ及び物体ＯＢ下方からの視点ＶＰＵにより観測されるが、物体ＯＢ右方からの視点ＶＰＲ及び物体ＯＢ上方からの視点ＶＰＢによっては観測できない。
【0084】
図１４において、リストの９行目には、平均色情報に基づく点Ｐ３の座標（ｘ３，ｙ３，ｚ３）に対応する平均の色（Ｒ３，Ｇ３，Ｂ３）と、点Ｐ３の座標（ｘ３，ｙ３，ｚ３）とが示されている。リストの１０行目には、物体ＯＢの左方からの視点ＶＰＬにより点Ｐ３を観測した場合における点Ｐ３の色（Ｒ３１，Ｇ３１，Ｂ３１）及び点Ｐ３の座標（ｘ３，ｙ３，ｚ３）が示されている。リストの１１行目には、平均色情報に基づく点Ｐ３の座標（ｘ３，ｙ３，ｚ３）に対応する平均の色（Ｒ３，Ｇ３，Ｂ３）と、点Ｐ３の座標（ｘ３，ｙ３，ｚ３）とが示されている。リストの１２行目には、物体ＯＢの下方からの視点ＶＰＢにより点Ｐ３を観測した場合における点Ｐ３の色（Ｒ３２，Ｇ３２，Ｂ３２）及び点Ｐ３の座標（ｘ３，ｙ３，ｚ３）が示されている。このように、点Ｐ３における色は、視点の方向によって異なる。点Ｐ３が死角となる視点がある場合には、当該死角となる視点により点Ｐ３を観測した場合における色として、平均色情報に基づいて、点Ｐ３における平均の色が補完される。また、点Ｐ３の座標は、合成点群に関する点群情報に含まれる座標であるため、いずれの視点に対しても、同じ座標が採用される。
【0085】
このように、リストには、合成点群に含まれる点について、各視点から観測された場合の色がリストアップされる。なお、本開示では、上下左右の４つの視点を用いて説明したが、これはあくまで例示であって、視点の数は４つに限定されない。
【0086】
表示制御部２１５は、ディスプレイ２４における表示を制御する。例えば、表示制御部２１５は、出力部２１４から出力される物体ＯＢの３次元データをディスプレイ２４に送信し、物体ＯＢの３次元データをリスト形式等によりディスプレイ２４に表示させることができる。
【0087】
１．１．４．描画装置の構成
図１６は、図１の描画装置３０の構成例を示すブロック図である。図１６に示したように、描画装置３０は、処理装置３１、記憶装置３２、通信装置３３、ディスプレイ３４、及び入力装置３５を備えている。描画装置３０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図１６は、図１の描画装置３０の構成例を示すブロック図である。図１６に示したように、描画装置３０は、処理装置３１、記憶装置３２、通信装置３３、ディスプレイ３４、及び入力装置３５を備えている。描画装置３０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0088】
処理装置３１は、描画装置３０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置３１は、例えば、周辺装置とのインタフェース、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置３１が備えている機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。
【0089】
記憶装置３２は、処理装置３１により読み取り及び書き込みが可能な記録媒体である。記憶装置３２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。
【0090】
記憶装置３２は、処理装置３１が実行するための制御プログラムＰＲ３を含む複数のプログラムを記憶している。また、記憶装置３２は、処理装置３１のワークエリアとして機能する。
【0091】
通信装置３３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置３３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置３３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置３３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ等に準拠した製品が挙げられる。
【0092】
ディスプレイ３４は、画像及び文字情報を表示するデバイスである。ディスプレイ３４は、処理装置３１による制御に基づいて各種の画像を表示する。例えば、液晶パネル及び有機ＥＬパネル等の各種の表示パネルがディスプレイ３４として好適に利用される。
【0093】
入力装置３５は、ユーザＵ３からの操作を受け付ける。例えば、入力装置３５は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置３５は、タッチパネルを含んで構成されている場合、ディスプレイ３４を兼ねていてもよい。
【0094】
処理装置３１は、記憶装置３２から制御プログラムＰＲ３を読み出して実行することにより、第１取得部３１１、第２取得部３１２、第３取得部３１３、描画部３１４、及び表示制御部３１５として機能する。
【0095】
第１取得部３１１は、点群情報と、色情報と各視点の位置との組とを含む３次元データを取得する。即ち、第１取得部３１１は、図１４に示される３次元データを取得する。
【0096】
第２取得部３１２は、視点情報及び座標情報を取得する。視点情報は、仮想空間ＶＳ上のユーザＵ１の視点の位置を示す情報である。座標情報は、第１座標を示す情報である。第１座標は、物体ＯＢに対応する仮想オブジェクトＶＯが仮想空間ＶＳ上に位置する座標である。
【0097】
第３取得部３１３は、入力装置３５から操作情報を取得する。また、第３取得部３１３は、通信装置３３を用いることにより、サーバ４０から画像情報を取得する。また、第３取得部３１３は、取得した画像情報を記憶装置３２に格納する。第３取得部３１３は、記憶装置３２に格納された画像情報を取得する。
【0098】
描画部３１４は、３次元データ、視点情報、及び座標情報に基づいて、仮想空間上の第１座標に仮想オブジェクトを描画する。
【0099】
これにより、ユーザＵ２は、物体ＯＢの光学特性が表現された３次元モデルを仮想空間上に描画できる。光学特性とは、例えば、物体ＯＢの光沢感及び透明感である。光沢感は、物体ＯＢが光を反射する程度によって決定される特性であり、透明感は、物体ＯＢが光を透過する程度により決定される特性である。
【0100】
表示制御部３１５は、ディスプレイ３４における表示を制御する。例えば、表示制御部３１５は、描画部３１４による描画結果をディスプレイ３４に送信し、描画結果をディスプレイ３４に表示させることができる。より具体的に述べると、表示制御部３１５は、ディスプレイ３４に表示させる画像のデータを描画部３１４からの出力信号に基づいて生成する。生成されたデータは、例えば、仮想空間の画像と仮想オブジェクトの画像との合成画像である。表示制御部３１５は、生成されたデータを、ディスプレイ３４に送信する。
【0101】
１．１．５．サーバの構成
図１７は、図１のサーバ４０の構成例を示すブロック図である。図１７に示したように、サーバ４０は、処理装置４１、記憶装置４２、通信装置４３、ディスプレイ４４、及び入力装置４５を備えている。サーバ４０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
図１７は、図１のサーバ４０の構成例を示すブロック図である。図１７に示したように、サーバ４０は、処理装置４１、記憶装置４２、通信装置４３、ディスプレイ４４、及び入力装置４５を備えている。サーバ４０が備えている各要素は、情報を通信するための単体又は複数のバスにより相互に接続されている。
【0102】
処理装置４１は、サーバ４０の全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置４１は、例えば、周辺装置とのインタフェース、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置４１が備えている機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置４１は、各種の処理を並列的又は逐次的に実行する。
【0103】
記憶装置４２は、処理装置４１により読み取り及び書き込みが可能な記録媒体である。記憶装置４２は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。
【0104】
記憶装置４２は、処理装置４１が実行するための制御プログラムＰＲ４を含む複数のプログラムを記憶している。また、記憶装置４２は、処理装置４１のワークエリアとして機能する。また、記憶装置４２は、撮像装置１４により撮像された画像データ及び学習モデルＭ１を記憶してもよい。
【0105】
通信装置４３は、他の装置と通信を行うための送受信デバイスとしてのハードウェアである。通信装置４３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置４３は、有線接続用のコネクタを備え、上記コネクタに対応するインタフェース回路を備えていてもよい。また、通信装置４３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクタ及びインタフェース回路としては、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては、無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ等に準拠した製品が挙げられる。
【0106】
ディスプレイ４４は、画像及び文字情報を表示するデバイスである。ディスプレイ４４は、処理装置４１による制御のもとで各種の画像を表示する。例えば、液晶パネル、有機ＥＬパネル等の各種の表示パネルがディスプレイ４４として好適に利用される。
【0107】
入力装置４５は、情報処理システム１の管理者による操作を受け付ける機器である。例えば、入力装置４５は、キーボード、タッチパッド、タッチパネル、マウス等のポインティングデバイスを含んで構成されている。ここで、入力装置４５は、タッチパネルを含んで構成されている場合、ディスプレイ４４を兼ねてもよい。とりわけ、情報処理システム１の管理者は、入力装置４５を用いることにより、制御プログラムＰＲ４を修正することが可能である。
【0108】
処理装置４１は、例えば、記憶装置４２から制御プログラムＰＲ４を読み出して実行することによって、取得部４１１及び出力部４１２として機能する。
【0109】
取得部４１１は、通信装置４３を用いることにより、３次元データ生成装置２０から各種情報を取得する。また、取得部４１１は、通信装置４３を用いることにより、機械学習装置１０から学習済みの学習モデルＭ１を取得する。
【0110】
出力部４１２は、通信装置４３を用いることにより、学習済みの学習モデルＭ１を描画装置３０に出力することにより、ユーザＵ１に対して学習モデルＭ１を提供する。
【0111】
１．２．第１実施形態の動作
１．２．１．３次元データ生成フロー
図１８は、図５の処理装置２１の動作を示すフローチャートである。以下、図１８を参照することにより、処理装置２１の動作について説明する。図１８のルーチンは、例えば、処理装置２１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
１．２．１．３次元データ生成フロー
図１８は、図５の処理装置２１の動作を示すフローチャートである。以下、図１８を参照することにより、処理装置２１の動作について説明する。図１８のルーチンは、例えば、処理装置２１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
【0112】
ステップＳ１１において、処理装置２１は、点群情報生成部２１２として機能することにより、学習モデルＭ１を用いて、合成点群ＰＧＣを抽出し、抽出された合成点群ＰＧＣに基づいて、点群情報を生成する。
【0113】
ステップＳ１２において、処理装置２１は、色情報生成部２１３として機能することにより、学習モデルＭ１を用いて、視点毎の点群ＰＧＶを抽出し、抽出された視点毎の点群ＰＧＶに基づいて、色情報を生成する。
【0114】
ステップＳ１３において、処理装置２１は、出力部２１４として機能することにより、点群情報及び色情報を３次元データとして出力し、本ルーチンを一旦終了する。
【0115】
【0116】
ステップＳ２１において、処理装置２１は、点群情報生成部２１２として機能することにより、現実空間ＲＳを複数の微小立方体により分割したときの微小立方体の各頂点の座標（ｘ，ｙ，ｚ）を抽出する。
【0117】
ステップＳ２２において、処理装置２１は、点群情報生成部２１２として機能することにより、様々な視点から見たときの複数の微小立方体の各頂点の座標（ｘ，ｙ，ｚ）における色（Ｒ，Ｇ，Ｂ）及び密度σを算出する。
【0118】
ステップＳ２３において、処理装置２１は、点群情報生成部２１２として機能することにより、同一の頂点において重複する色（Ｒ，Ｇ，Ｂ）及び密度σの算出結果を平均化等により合成する。
【0119】
ステップＳ２４において、処理装置２１は、点群情報生成部２１２として機能することにより、合成された密度σが閾値σｔｈを超える点の集合を合成点群ＰＧＣとして抽出する。
【0120】
ステップＳ２５において、処理装置２１は、点群情報生成部２１２として機能することにより、抽出された合成点群ＰＧＣの各点の座標及び平均化された色を点群情報として生成する。
【0121】
【0122】
ステップＳ３１において、処理装置２１は、色情報生成部２１３として機能することにより、学習モデルＭ１を用いて、視点毎の点群ＰＧＶを抽出する。
【0123】
ステップＳ３２において、処理装置２１は、色情報生成部２１３として機能することにより、合成点群ＰＧＣに属する１つの点を対象点Ｐｓ１として選択する。
【0124】
ステップＳ３３において、処理装置２１は、色情報生成部２１３として機能することにより、対象点Ｐｓ１を中心とする半径Ｌ０の空間Ｓ１を定義する。
【0125】
ステップＳ３４において、処理装置２１は、色情報生成部２１３として機能することにより、視点毎の点群ＶＣＧの各点のうち、空間Ｓ２内に存在する点を探索する。空間Ｓ２は、視点毎の点群ＶＣＧに関する空間であり、空間Ｓ１と同一の中心及び半径を有している。
【0126】
ステップＳ３５において、処理装置２１は、色情報生成部２１３として機能することにより、視点毎の点群ＶＣＧの各点が空間Ｓ２内に存在するか否かを判定する。
【0127】
ステップＳ３５において、処理装置２１が、視点毎の点群の点が空間Ｓ２内に存在すると判定した場合、即ち、ステップＳ３５における判定結果が肯定であった場合、処理装置２１は、ステップＳ３６の処理を実行する。この場合、ステップＳ３６において、処理装置２１は、色情報生成部２１３として機能することにより、対象点Ｐｓ１の色を、視点毎の点群ＶＣＧの各点のうち、空間Ｓ２内に存在する各点の色の平均値に設定する。
【0128】
一方、ステップＳ３５において、処理装置２１が、視点毎の点群ＶＣＧの点が空間Ｓ２内に存在しないと判定した場合、即ち、ステップＳ３５における判定結果が否定であった場合、処理装置２１は、ステップＳ３７の処理を実行する。この場合、ステップＳ３７において、処理装置２１は、色情報生成部２１３として機能することにより、対象点Ｐｓ１の色を点群情報における当該対象点Ｐｓ１に対応する色に設定する。
【0129】
次いで、ステップＳ３８において、処理装置２１は、色情報生成部２１３として機能することにより、すべての対象点について探索が終了したか否かを判定する。
【0130】
すべての対象点について探索が終了したと判定した場合、即ち、ステップＳ３８における判定結果が肯定であった場合、処理装置２１は、本ルーチンを一旦終了する。即ち、これにより、色情報生成部２１３による色情報の生成は完了する。
【0131】
一方、すべての対象点について探索が終了していないと判定した場合、即ち、ステップＳ３８における判定結果が否定であった場合、処理装置２１は、ステップＳ３２の処理に戻り、別の対象点を選択し、ステップＳ３２～ステップＳ３７の処理を実行する。
【0132】
１．２．２．描画フロー
図２１は、図１１の処理装置３１の動作を示すフローチャートである。以下、図２１を参照することにより、処理装置３１の動作について説明する。図２１のルーチンは、例えば、処理装置３１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
図２１は、図１１の処理装置３１の動作を示すフローチャートである。以下、図２１を参照することにより、処理装置３１の動作について説明する。図２１のルーチンは、例えば、処理装置３１が起動されることにより開始され、一定の時間が経過する毎に実行されるようになっている。
【0133】
ステップＳ４１において、処理装置３１は、第１取得部３１１として機能することにより、３次元データを取得する。
【0134】
次いで、ステップＳ４２において、処理装置３１は、第２取得部３１２として機能することにより、視点情報と座標情報とを取得する。座標情報は、第１座標を示す情報である。
【0135】
次いで、ステップＳ４３において、処理装置３１は、描画部３１４として機能することにより、第１座標に仮想オブジェクトＶＯを描画し、本ルーチンを一旦終了する。
【0136】
１．３．第１実施形態が奏する効果
以上の説明によれば、第１実施形態に係る３次元データ生成装置２０は、点群情報生成部２１２と、色情報生成部２１３と、出力部２１４とを備えている。点群情報生成部２１２は、輝度場を学習済みの学習モデルＭ１を用いて、点群情報を生成する。点群情報は、合成点群ＰＧＣに属する各点の３次元座標を含む情報である。合成点群ＰＧＣは、物体ＯＢの表面に位置する複数の点の集合である。色情報生成部２１３は、学習モデルＭ１を用いて、色情報を生成する。色情報は、合成点群ＰＧＣに属する各点を複数の視点から観測したときの各点における複数の視点に対応する各色を示す情報である。出力部２１４は、点群情報及び色情報を、物体ＯＢの３次元の形状及び色を示す３次元データとして出力する。
以上の説明によれば、第１実施形態に係る３次元データ生成装置２０は、点群情報生成部２１２と、色情報生成部２１３と、出力部２１４とを備えている。点群情報生成部２１２は、輝度場を学習済みの学習モデルＭ１を用いて、点群情報を生成する。点群情報は、合成点群ＰＧＣに属する各点の３次元座標を含む情報である。合成点群ＰＧＣは、物体ＯＢの表面に位置する複数の点の集合である。色情報生成部２１３は、学習モデルＭ１を用いて、色情報を生成する。色情報は、合成点群ＰＧＣに属する各点を複数の視点から観測したときの各点における複数の視点に対応する各色を示す情報である。出力部２１４は、点群情報及び色情報を、物体ＯＢの３次元の形状及び色を示す３次元データとして出力する。
【0137】
これによれば、輝度場を学習済みの学習モデルＭ１には、物体ＯＢを含む空間を任意の視点から見たときの座標、色、及び密度の関係が学習される。さらに、学習モデルＭ１には、物体ＯＢを含む空間を任意の視点から見たときの座標、視線の方向、及び色の関係が学習される。色情報生成部２１３は、物体ＯＢ表面の視点毎の色を色情報として生成するので、見る角度によって物体ＯＢ表面の色が異なって見えるという状況を情報として取り込むことができる。見る角度によって物体ＯＢ表面の色が異なって見えるということと、物体ＯＢの光学特性との間には相関関係があると考えられる。
【0138】
従って、出力部２１４から出力される３次元データには、物体ＯＢの３次元の形状と、物体ＯＢの光学特性が反映された色が示される。このように、本実施形態の態様によれば、ＮｅＲＦ技術を用いて取得した光学特性を含むデータに基づいて、物体ＯＢから生成される３次元データに物体ＯＢの光学特性を表現するデータを付加することができる。
【0139】
また、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、合成点群ＰＧＣに属する各点との距離が半径Ｌ０以内の点において観測される色に基づいて、色情報を生成する。視点毎の点群ＰＧＶは、複数の視点のそれぞれから物体ＯＢを観測したときの物体ＯＢの表面に位置する複数の点の集合である。
【0140】
合成点群ＰＧＣに属する各点の座標位置と、視点毎の点群ＰＧＶに属する各点の座標位置とは、学習モデルＭ１を用いた密度σの推定誤差等により、必ずしも一致しない。しかし、合成点群ＰＧＣに属する各点から半径Ｌ０以内に存在する「視点毎の点群ＰＧＶに属する」各点の色は、合成点群ＰＧＣに属する各点の色に対して強い相関があると考えられる。さらに、「視点毎の点群ＰＧＶに属する」各点の色は、視線の角度（θ，φ）によって変化する。従って、これによれば、合成点群ＰＧＣに属する各点において、視線の角度（θ，φ）に応じた色を付与することができる。その結果、物体ＯＢから生成される３次元データに物体ＯＢの光学特性を表現するデータを付加することができる。
【0141】
また、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、半径Ｌ０以内の各点の色を平均化した色を合成点群ＰＧＣに属する各点における色情報として生成する。
【0142】
これによれば、合成点群ＰＧＣに属する各点において、視線の角度（θ，φ）に応じた色を容易に付与することができる。
【0143】
また、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点に、合成点群ＰＧＣに属する各点との距離が半径Ｌ０以内の点が存在しないとき、平均色情報を色情報として生成する。平均色情報は、一定数以上の視点から観測したときの各点における色を平均化した色を示す情報である。点群情報には、合成点群ＰＧＣに属する各点における平均色情報が含まれている。
【0144】
これによれば、視点毎の点群ＰＧＶに属する各点に、合成点群ＰＧＣに属する各点との距離が半径Ｌ０以内の点が存在しない場合であっても、合成点群ＰＧＣに属する各点の色を容易に補完できる。
【0145】
また、描画装置３０は、第１取得部３１１と、第２取得部３１２と、描画部３１４とを備える。第１取得部３１１は、点群情報と、色情報と各視点の位置との組とを含む３次元データを取得する。点群情報は、合成点群ＰＧＣに属する各点の３次元座標を含む情報である。合成点群ＰＧＣは、物体ＯＢの表面に位置する複数の点の集合である。色情報は、第１点群に属する各点を複数の視点から観測した場合に、各点における複数の視点に対応する各色を示す情報である。
【0146】
第２取得部３１２は、視点情報及び座標情報を取得する。視点情報は、仮想空間ＶＳ上のユーザの視点の位置を示す情報である。座標情報は、第１座標を示す情報である。第１座標は、物体ＯＢに対応する仮想オブジェクトが仮想空間上に位置する座標である。描画部３１４は、３次元データ、視点情報、及び座標情報に基づいて、仮想空間上の第１座標に仮想オブジェクトを描画する。
【0147】
これによれば、ユーザＵ２は、物体ＯＢの光学特性が反映された３次元モデルを仮想空間上に描画できる。
【0148】
２．第２実施形態
以下、図２２～図２４を参照することにより、本発明の第２実施形態に係る３次元データ生成装置の構成について説明する。なお、以下の説明では、説明の簡略化のため、第１実施形態と同一の構成要素に対しては、同一の符号を用いると共に、その機能の説明を省略することがある。また、以下の説明では、説明の簡略化のため、主として、第２実施形態が、第１実施形態に比較して相違する点について説明する。
以下、図２２～図２４を参照することにより、本発明の第２実施形態に係る３次元データ生成装置の構成について説明する。なお、以下の説明では、説明の簡略化のため、第１実施形態と同一の構成要素に対しては、同一の符号を用いると共に、その機能の説明を省略することがある。また、以下の説明では、説明の簡略化のため、主として、第２実施形態が、第１実施形態に比較して相違する点について説明する。
【0149】
２．１．第２実施形態の構成
図２２は、第２実施形態に係る情報処理システム１Ａの全体構成を示す図である。情報処理システム１Ａは、第１実施形態に係る情報処理システム１と比較して、３次元データ生成装置２０に代えて３次元データ生成装置２０Ａを備えている点において異なっている。
図２２は、第２実施形態に係る情報処理システム１Ａの全体構成を示す図である。情報処理システム１Ａは、第１実施形態に係る情報処理システム１と比較して、３次元データ生成装置２０に代えて３次元データ生成装置２０Ａを備えている点において異なっている。
【0150】
図２３は、第２実施形態に係る３次元データ生成装置２０Ａの構成例を示すブロック図である。３次元データ生成装置２０Ａは、第１実施形態に係る３次元データ生成装置２０と比較して、処理装置２１に代えて処理装置２１Ａを備えている点及び記憶装置２２に代えて記憶装置２２Ａを備えている点において異なっている。
【0151】
処理装置２１Ａは、３次元データ生成装置２０Ａの全体を制御するプロセッサであり、例えば、単数又は複数のチップを用いて構成されている。処理装置２１Ａは、例えば、周辺装置とのインタフェース、演算装置、及びレジスタを含む中央処理装置（ＣＰＵ）を用いて構成されている。なお、処理装置２１Ａが備えている機能の一部又は全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現されてもよい。処理装置２１Ａは、各種の処理を並列又は逐次的に実行する。
【0152】
記憶装置２２Ａは、処理装置２１Ａにより読み取り及び書き込みが可能な記録媒体である。記憶装置２２Ａは、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。
【0153】
記憶装置２２Ａは、処理装置２１Ａが実行するための制御プログラムＰＲ２Ａを含む複数のプログラムを記憶している。また、記憶装置２２Ａは、処理装置２１Ａのワークエリアとして機能する。
【0154】
通信装置２３、ディスプレイ２４、及び入力装置２５は、第１実施形態の通信装置２３、ディスプレイ２４、及び入力装置２５と同様の装置であるため、説明は省略される。
【0155】
処理装置２１Ａは、記憶装置２２Ａから制御プログラムＰＲ２Ａを読み出して実行することにより、取得部２１１、点群情報生成部２１２、色情報生成部２１３、表示制御部２１５、メッシュ形成部２１６、メッシュ色決定部２１７、出力部２１４Ａ、及び表示制御部２１５として機能する。なお、点群情報生成部２１２及び色情報生成部２１３は、第１実施形態に係る処理装置２１の機能としての点群情報生成部２１２及び色情報生成部２１３と機能的に同一であるため、その説明は省略される。
【0156】
取得部２１１は、機械学習装置１０から、学習モデルＭ１を取得する。学習モデルＭ１は、物体ＯＢを含む現実空間ＲＳの輝度場を学習済みのモデルである。
【0157】
メッシュ形成部２１６は、点群情報に基づいて、合成点群に対応する複数のメッシュを形成する。以下、図２４を参照することにより、メッシュの形成方法について説明する。
【0158】
図２４は、メッシュ形成部２１６によるメッシュの形成方法を説明するための図である。図２４に示したように、メッシュ形成部２１６は、合成点群ＰＧＣに含まれる点のうち、互いに隣り合う３つの点Ｖ１、Ｖ２、及びＶ３の３点を抽出する。抽出された３つの点Ｖ１、Ｖ２、及びＶ３を頂点とする三角形ＭＳ１を１つのメッシュとして形成する。このように、メッシュ形成部２１６は、合成点群全体について、互いに隣り合う３つの点を抽出し、それぞれについて、メッシュを形成する。なお、各メッシュは、ポリゴンとも呼ばれることがある。
【0159】
メッシュ色決定部２１７は、色情報に基づいて、複数のメッシュのそれぞれの色を決定する。より具体的に述べると、メッシュ色決定部２１７は、ユーザＵ１により、ある視点についての入力があったとき、各メッシュに対し、各メッシュの頂点となる３つの点のそれぞれについて、当該視点に対応する色を色情報から取得する。メッシュ色決定部２１７は、各メッシュに対してそれぞれ取得された３つの点の各色の平均値を各メッシュの色として決定する。
【0160】
出力部２１４Ａは、複数のメッシュ及び複数のメッシュのそれぞれの色に関する情報を、物体ＯＢの３次元の形状及び色を示す３次元データとして出力する。
【0161】
表示制御部２１５Ａは、ディスプレイ２４における表示を制御する。例えば、表示制御部２１５Ａは、出力部２１４Ａから出力される物体ＯＢのメッシュ状の３次元データをディスプレイ２４に送信し、物体ＯＢの３次元データをリスト形式等によりディスプレイ２４に表示させることができる。
【0162】
２．２．第２実施形態が奏する効果
以上の説明によれば、第２実施形態に係る３次元データ生成装置２０Ａの処理装置２１Ａは、第１実施形態に係る３次元データ生成装置２０の処理装置２１に対して、メッシュ形成部２１６及びメッシュ色決定部２１７をさらに備えている。メッシュ形成部２１６は、点群情報に基づいて、合成点群ＰＧＣに対応する複数のメッシュを形成する。メッシュ色決定部２１７は、色情報に基づいて、複数のメッシュのそれぞれの色を決定する。
以上の説明によれば、第２実施形態に係る３次元データ生成装置２０Ａの処理装置２１Ａは、第１実施形態に係る３次元データ生成装置２０の処理装置２１に対して、メッシュ形成部２１６及びメッシュ色決定部２１７をさらに備えている。メッシュ形成部２１６は、点群情報に基づいて、合成点群ＰＧＣに対応する複数のメッシュを形成する。メッシュ色決定部２１７は、色情報に基づいて、複数のメッシュのそれぞれの色を決定する。
【0163】
これによれば、物体ＯＢの光学特性を反映した３次元モデルをより容易に作成することができる。
【0164】
３．変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を組み合わせてもよい。
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を組み合わせてもよい。
【0165】
３．１．変形例１
第１実施形態において、色情報生成部２１３は、対象点Ｐｓ１を中心とする空間Ｓ２内に、視点毎の点群ＰＧＶに属する各点のいずれも存在しない場合、対象点Ｐｓ１の色を、点群情報における当該対象点Ｐｓ１に対応する色に設定している。しかし、このような場合に限らず、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、空間Ｓ２内に存在する点の個数が設定閾値以下の場合、対象点Ｐｓ１の色を、点群情報における当該対象点Ｐｓ１に対応する色に設定してもよい。例えば、設定閾値としては１又は２が好適である。
第１実施形態において、色情報生成部２１３は、対象点Ｐｓ１を中心とする空間Ｓ２内に、視点毎の点群ＰＧＶに属する各点のいずれも存在しない場合、対象点Ｐｓ１の色を、点群情報における当該対象点Ｐｓ１に対応する色に設定している。しかし、このような場合に限らず、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、空間Ｓ２内に存在する点の個数が設定閾値以下の場合、対象点Ｐｓ１の色を、点群情報における当該対象点Ｐｓ１に対応する色に設定してもよい。例えば、設定閾値としては１又は２が好適である。
【0166】
３．２．変形例２
第１実施形態において、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、空間Ｓ２内に存在する点Ｐｒ１、Ｐｒ２、及びＰｒ３のそれぞれの色を平均化した色を、対象点Ｐｓ１における色情報として生成している。しかし、色情報生成部２１３は、空間Ｓ２内に存在する３つの点Ｐｒ１、Ｐｒ２、及びＰｒ３のそれぞれと、対象点Ｐｓ１との距離に応じて重み付けした上で平均化してもよい。
第１実施形態において、色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、空間Ｓ２内に存在する点Ｐｒ１、Ｐｒ２、及びＰｒ３のそれぞれの色を平均化した色を、対象点Ｐｓ１における色情報として生成している。しかし、色情報生成部２１３は、空間Ｓ２内に存在する３つの点Ｐｒ１、Ｐｒ２、及びＰｒ３のそれぞれと、対象点Ｐｓ１との距離に応じて重み付けした上で平均化してもよい。
【0167】
以下、図２５を参照しながら、より具体的に説明する。図２５は、物体ＯＢの合成点群ＰＧＣの１つの点及び視点毎の点群ＰＧＶの一例を示す模式図である。図２５に示したように、空間Ｓ２に存在する３つの点Ｐｒ１、Ｐｒ２、及びＰｒ３のそれぞれと対象点Ｐｓ１との距離は、それぞれ異なる。点Ｐｒ１と対象点Ｐｓ１との距離をｄ１、点Ｐｒ２と対象点Ｐｓ１との距離をｄ２、点Ｐｒ３と対象点Ｐｓ１との距離をｄ３とすると、図２５の例では、距離ｄ２が最も短く、距離ｄ１が最も長い。色情報生成部２１３は、このような３つの点について、対象点Ｐｓ１における色情報Ｃｓ１＝［Ｒｓ１，Ｇｓ１，Ｂｓ１］を以下のように算出する。
【0168】
空間Ｓ２に存在する３つの点Ｐｒ１、Ｐｒ２、及びＰｒ３の対象点Ｐｓ１との距離に応じた重みをそれぞれＷ１，Ｗ２，Ｗ３とすると、重みＷ１，Ｗ２，Ｗ３は、それぞれ以下の（４）式により与えられる。
【0169】
Ｗ１＝Ｌ０－ｄ１，Ｗ２＝Ｌ０－ｄ２，Ｗ３＝Ｌ０－ｄ３ ・・・（４）
【0170】
つまり、重みＷｎ１、Ｗｎ２、及びＷｎ３は、空間Ｓの外周から遠い点ほど大きくなる。３つの点Ｐｒ１、Ｐｒ２、及びＰｒ３の色情報をそれぞれＣ１＝［Ｒ１，Ｇ１，Ｂ１］、Ｃ２＝［Ｒ２，Ｇ２，Ｂ２］、及びＣ３＝［Ｒ３，Ｇ３，Ｂ３］とすると、対象点における色情報Ｃｓ１は、以下の（５）式により算出される。
【0171】
Ｃｓ１＝（Ｗ１×Ｃ１＋Ｗ２×Ｃ２＋Ｗ３×Ｃ３）
／（Ｗ１＋Ｗ２＋Ｗ３） ・・・（５）
／（Ｗ１＋Ｗ２＋Ｗ３） ・・・（５）
【0172】
空間Ｓ２内に存在する点の個数がｎである場合、空間Ｓ２内に存在するｎ個の点のうちの任意の点Ｐｒｎと対象点Ｐｓ１との距離をｄｎとすると、任意の点Ｐｒｎに対する重みＷｎは、以下の（６）式により表される。
【0173】
Ｗｎ＝Ｌ０－ｄｎ （０≦ｄｎ≦Ｌ０） ・・・（６）
【0174】
つまり、重みＷｎは、空間Ｓの外周から遠い点ほど大きくなる。任意の点Ｐｒｎにおける色情報をＣｎ＝［Ｒｎ，Ｇｎ，Ｂｎ］とすると、対象点Ｐｓ１における色情報Ｃｓ１＝［Ｒｓ１，Ｇｓ１，Ｂｓ１］は、以下の（７）式により算出される。このような方法により、重みＷｎが無限大に発散することが回避される。
【0175】
Ｃｓ１＝（Ｗ１×Ｃ１＋Ｗ２×Ｃ２＋・・・＋Ｗｎ×Ｃｎ）
／（Ｗ１＋Ｗ２＋・・・＋Ｗｎ） ・・・（７）
／（Ｗ１＋Ｗ２＋・・・＋Ｗｎ） ・・・（７）
【0176】
このように、本変形例に係る色情報生成部２１３は、視点毎の点群ＰＧＶに属する各点のうち、半径Ｌ０以内の各点の色を距離に応じて重み付けし、重み付けした各点の色を平均化した色を合成点群ＰＧＣに属する各点における色情報として生成する。つまり、本変形例では、空間Ｓ２内の点のうち、対象点Ｐｓ１からの距離が近い点ほど、当該点の色の混合比率が高くなるように設定される。このため、物体ＯＢの光学特性をより正確に再現することができる。
【0177】
３．３．変形例３
第１実施形態において、色情報生成部２１３は、対象点Ｐｓ１を中心とする空間Ｓ２内、即ち、半径Ｌ０以内に視点毎の点群ＰＧＶに属する各点のいずれも存在しない場合、対象点Ｐｓ１の色を、点群情報における当該対象点Ｐｓ１に対応する色に設定している。しかし、色情報生成部２１３は、対象点Ｐｓ１を中心とする空間Ｓ２内、即ち、半径Ｌ０以内に視点毎の点群ＰＧＶに属する各点のいずれも存在しない場合、空間Ｓ２の半径をＬ０よりも長いＬ１に変更し、再度空間Ｓ２内に含まれる点を探索してもよい。
第１実施形態において、色情報生成部２１３は、対象点Ｐｓ１を中心とする空間Ｓ２内、即ち、半径Ｌ０以内に視点毎の点群ＰＧＶに属する各点のいずれも存在しない場合、対象点Ｐｓ１の色を、点群情報における当該対象点Ｐｓ１に対応する色に設定している。しかし、色情報生成部２１３は、対象点Ｐｓ１を中心とする空間Ｓ２内、即ち、半径Ｌ０以内に視点毎の点群ＰＧＶに属する各点のいずれも存在しない場合、空間Ｓ２の半径をＬ０よりも長いＬ１に変更し、再度空間Ｓ２内に含まれる点を探索してもよい。
【0178】
３．４．変形例４
ＮｅＲＦでは、ポーズ情報、即ち、カメラパラメータが予め必要であるが、カメラパラメータを必要としないＮｅＲＦ－－という技術があるが、学習モデルＭ１は、ＮｅＲＦに代えてＮｅＲＦ－－により学習されてもよい。ＮｅＲＦ－－は、カメラの内部パラメータ及び外部パラメータの最適化をＮｅＲＦの学習と同時に行う手法である。
ＮｅＲＦでは、ポーズ情報、即ち、カメラパラメータが予め必要であるが、カメラパラメータを必要としないＮｅＲＦ－－という技術があるが、学習モデルＭ１は、ＮｅＲＦに代えてＮｅＲＦ－－により学習されてもよい。ＮｅＲＦ－－は、カメラの内部パラメータ及び外部パラメータの最適化をＮｅＲＦの学習と同時に行う手法である。
【0179】
また、カメラの内部パラメータは既知であると見做し、外部パラメータの推定及び修正を行うＢＡＲＦ（Bundle-Adjusting Neural Radiance Fields）という技術があるが、学習モデルＭ１は、ＮｅＲＦに代えてＢＡＲＦにより学習されてもよい。
【0180】
３．５．変形例５
また、本実施形態では、機械学習装置１０と３次元データ生成装置２０とは別体として構成されているが、機械学習装置１０と３次元データ生成装置２０とは適宜組み合わされてもよいし、一体的に構成されていてもよい。
また、本実施形態では、機械学習装置１０と３次元データ生成装置２０とは別体として構成されているが、機械学習装置１０と３次元データ生成装置２０とは適宜組み合わされてもよいし、一体的に構成されていてもよい。
【0181】
３．６．変形例６
また、第２実施形態において、メッシュの色は、メッシュを構成する三角形ＭＳ１の３つの頂点Ｖ１、Ｖ２、及びＶ３のそれぞれの色の平均値として算出されるが、これに限らず、メッシュの色は、３つの頂点Ｖ１、Ｖ２、及びＶ３のそれぞれの色の中央値として算出されてもよい。
また、第２実施形態において、メッシュの色は、メッシュを構成する三角形ＭＳ１の３つの頂点Ｖ１、Ｖ２、及びＶ３のそれぞれの色の平均値として算出されるが、これに限らず、メッシュの色は、３つの頂点Ｖ１、Ｖ２、及びＶ３のそれぞれの色の中央値として算出されてもよい。
【0182】
３．７．変形例７
また、第２実施形態において、処理装置２１Ａは、メッシュ形成部２１６として機能することにより、三角形のメッシュを形成しているが、各メッシュの形状は、三角形に限ることはなく、四角形であってもよい。また、各メッシュは、必ずしも平面である必要はなく、自由曲面等の曲面であってもよい。なお、自由曲面は、ＮＵＲＢＳ（Non-Uniform Rational B-Spline）曲線、スプライン曲線、ベジェ曲線等を用いて曲面を構成する方法である。
また、第２実施形態において、処理装置２１Ａは、メッシュ形成部２１６として機能することにより、三角形のメッシュを形成しているが、各メッシュの形状は、三角形に限ることはなく、四角形であってもよい。また、各メッシュは、必ずしも平面である必要はなく、自由曲面等の曲面であってもよい。なお、自由曲面は、ＮＵＲＢＳ（Non-Uniform Rational B-Spline）曲線、スプライン曲線、ベジェ曲線等を用いて曲面を構成する方法である。
【0183】
４．その他
（１）上述した実施形態では、記憶装置１２、記憶装置２２、記憶装置２２Ａ、記憶装置３２、及び記憶装置４２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（１）上述した実施形態では、記憶装置１２、記憶装置２２、記憶装置２２Ａ、記憶装置３２、及び記憶装置４２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
【0184】
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0185】
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0186】
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0187】
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0188】
（６）図１～図２５に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0189】
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0190】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0191】
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0192】
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0193】
（１０）上述した実施形態において、機械学習装置１０、３次元データ生成装置２０、３次元データ生成装置２０Ａ、描画装置３０、及びサーバ４０は、移動局（ＭＳ：Mobile Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」等の用語は、互換的に使用され得る。
【0194】
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0195】
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0196】
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0197】
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0198】
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0199】
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0200】
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0201】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
【符号の説明】
【0202】
１，１Ａ…情報処理システム、１０…機械学習装置、２０…３次元データ生成装置、３０…描画装置、２１２…点群情報生成部、２１３…色情報生成部、２１４，２１４Ａ…出力部、２１６…メッシュ形成部、２１７…メッシュ色決定部、３１１…第１取得部、３１２…第２取得部、３１４…描画部、Ｌ０…半径、Ｍ１…学習モデル、ＯＢ…物体、ＰＧＣ…合成点群、ＰＧＶ…視点毎の点群、σ…密度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】