知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-12
(54)【発明の名称】高次元マテリアルの自由式収集方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240305BHJP
【ＦＩ】
G06T7/00 C
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023558118
(86)(22)【出願日】2021-06-07
(85)【翻訳文提出日】2023-09-20
(86)【国際出願番号】 CN2021098576
(87)【国際公開番号】W WO2022256962
(87)【国際公開日】2022-12-15
(81)【指定国・地域】
(71)【出願人】
【識別番号】505072650
【氏名又は名称】浙江大学
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＵＮＩＶＥＲＳＩＴＹ
(74)【代理人】
【識別番号】100128347
【弁理士】
【氏名又は名称】西内 盛二
(72)【発明者】
【氏名】▲呉▼ ▲鴻▼智
(72)【発明者】
【氏名】周 昆
(72)【発明者】
【氏名】▲馬▼ ▲暁▼▲鶴▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA02
5L096FA67
5L096HA11
5L096KA04
(57)【要約】
【課題】本発明は高次元マテリアルの自由式収集方法を提供する。
【解決手段】
本発明はコンピュータグラフィックス及びコンピュータビジョンの分野に属し、本方法はマテリアル情報の学習を非構造化点群における幾何学的学習の問題に変換し、複数の異なる照明及び観察方向における収集結果を高次元点群に構成し、点群における各点が画像測定値と画像撮影時の物体のポーズ情報とからなるベクトルであることを提案し、本方法は無秩序で、不規則で、不均一に分布し且つ精度が制限される高次元点群から非構造化画像の情報を効果的に集約して、高品質のマテリアル属性を回復することができる。
【選択図】図５
【解決手段】
本発明はコンピュータグラフィックス及びコンピュータビジョンの分野に属し、本方法はマテリアル情報の学習を非構造化点群における幾何学的学習の問題に変換し、複数の異なる照明及び観察方向における収集結果を高次元点群に構成し、点群における各点が画像測定値と画像撮影時の物体のポーズ情報とからなるベクトルであることを提案し、本方法は無秩序で、不規則で、不均一に分布し且つ精度が制限される高次元点群から非構造化画像の情報を効果的に集約して、高品質のマテリアル属性を回復することができる。
【選択図】図５
【特許請求の範囲】
【請求項1】
高次元マテリアルの自由式収集方法であって、トレーニング段階及び収集段階を含み、前記トレーニング段階は以下のステップ（１）～ステップ（２）を含み、
前記トレーニング段階のステップ（１）では、収集装置のパラメータを取得して、実際のビデオカメラを模擬する収集結果をトレーニングデータとして生成し、
前記トレーニング段階のステップ（２）では、生成されたトレーニングデータを用いてニューラルネットワークをトレーニングし、
前記ニューラルネットワークの特徴は以下の特徴（２．１）～特徴（２．５）を含み、
前記特徴（２．１）については、ニューラルネットワークの入力がｋ個の非構造化サンプリングにおけるＬｕｍｉｔｅｘｅｌベクトルであり、ｋがサンプリング個数であり、Ｌｕｍｉｔｅｘｅｌの各値が各光源からの入射光に対するサンプリング点のある観察方向に沿う反射強度を説明し、Ｌｕｍｉｔｅｘｅｌが光源の発光強度と線形関係を有し、線形完全接続層で模擬を行い、
前記特徴（２．２）については、ニューラルネットワークの第１層が線形完全接続層を含み、実際に収集する際に用いた照明パターンを模擬して、前記ｋ個のＬｕｍｉｔｅｘｅｌをカメラ収集結果に変換することに用いられ、このｋ個の収集結果がそれぞれ対応するサンプリング点のポーズ情報と組み合わせて高次元点群を構成し、
前記特徴（２．３）については、第２層からは特徴抽出ネットワークであり、前記高次元点群における各点から独立して特徴抽出して特徴ベクトルを取得し、
前記特徴（２．４）については、特徴抽出ネットワークの後では、ｋ個の非構造化画像から抽出された特徴ベクトルを集約して、グローバル特徴ベクトルを取得するための最大プーリング層であり、
前記特徴（２．５）については、最大プーリング層の後では、前記グローバル特徴ベクトルに基づいて高次元マテリアル情報を回復するための非線形マッピングネットワークであり、
前記収集段階は、以下のステップ（１）及びステップ（２）を含み、
前記収集段階のステップ（１）では、マテリアル収集ステップであって、収集装置が前記照明パターンに応じて順に目標三次元物体を照射し、ビデオカメラが１組の非構造化画像における写真を取得し、写真を入力とし、サンプリング物体にテクスチャ座標を持つ幾何学的モデル及び写真撮影時のビデオカメラのポーズを取得し、
前記収集段階のステップ（２）では、マテリアル回復ステップであって、マテリアル収集段階における写真撮影時のビデオカメラのポーズに基づいて各枚の写真を撮影するときのサンプリング物体上の各有効テクスチャ座標の頂点に対するポーズを取得し、収集された前記写真及びポーズ情報に基づいて前記高次元点群をニューラルネットワークの第２層の特徴抽出ネットワークの入力として構成し、高次元マテリアル情報を計算して取得する
ことを特徴とする高次元マテリアルの自由式収集方法。
【請求項2】
前記非構造化サンプリングは非固定視角の自由ランダムサンプリングであり、サンプリングデータが無秩序で、不規則で、不均一に分布しており、固定物体を用いて人の手で収集装置を持って収集し、又は物体を回転テーブルに置いて回転させて固定装置により収集してもよいことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項3】
トレーニングデータ生成過程において、光源がカラーである場合、光源、サンプリング物体及びビデオカメラのスペクトル応答関係を補正する必要があり、補正方法については、未知のカラー光源Ｌのスペクトル分布曲線を
【数2】
【数3】
【数4】
ことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項4】
前記トレーニング段階における特徴（２．１）において、物体表面のサンプリング点ｐの写真における観測値Ｂ、反射関数ｆｒ及び各光源の光強度の関係は、以下の式５に示され、【数5】
ニューラルネットワークの入力がｋ個の非構造化サンプリングにおけるＬｕｍｉｔｅｘｅｌベクトルであって、ｍ（ｌ；Ｐ）と記され、
【数6】
【数7】
ことを特徴とする請求項３に記載の高次元マテリアルの自由式収集方法。
【請求項5】
前記トレーニング段階における特徴（２．３）において、特徴抽出ネットワークの公式は、以下の式９に示され、【数9】
ことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項6】
前記トレーニング段階における特徴（２．５）において、非線形マッピングネットワークの形骸化された表現は、以下の式１１に示され、【数11】
ことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項7】
前記ニューラルネットワークの損失関数は以下のステップ（１）～ステップ（４）のように設計され、当該ステップ（１）では、１つのＬｕｍｉｔｅｘｔｅｌ空間を仮定し、該空間は中心がサンプリング点の空間位置ｘｐにある立方体であり、立方体の中心座標系はｘ軸方向が
当該ステップ（２）では、１つのビデオカメラを仮定し、観察方向が立方体のｚ軸の正方向であり、
当該ステップ（３）では、乱反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｄ ２であり、鏡面反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｓ ２であり、即ち各面からＮｄ ２、Ｎｓ ２個の点を、光強度が単位光強度の仮想点光源として均一にサンプリングし、以下のステップａ～ステップｃを含み、
前記ステップａでは、サンプリング点の鏡面反射率ρｓを０とし、このＬｕｍｉｔｅｘｅｌ空間における乱反射特徴ベクトル
前記ステップｂでは、乱反射率ρｄを０とし、このＬｕｍｉｔｅｘｅｌ空間における鏡面反射特徴ベクトル
前記ステップｃでは、ニューラルネットワークの出力をベクトルｍｄ、ｍｓとし、ｍｄが
当該ステップ（４）では、マテリアル特徴部分の損失関数は、以下の式１２に示され、
【数12】
信頼度βの決定は、以下の式１３に示され、
【数13】
ことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項8】
前記収集段階において、マテリアル収集が終了した後に幾何学的位置合わせを行い、その後にマテリアル回復を行い、幾何学的位置合わせは具体的に、スキャナにより物体を走査して幾何学的モデルを取得し、それを三次元で再構築された幾何学的モデルに位置合わせした後に三次元で再構築された幾何学的モデルを代替することであることを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項9】
有効テクスチャ座標に対して、前記収集された写真及びサンプリング点のポーズ情報に基づいて写真における画素を順に取り出して、画素の有効性を判断し、頂点に対するポーズと組み合わせて高次元点群を構成し、ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ｊ回目のサンプリングが頂点ｐに対して有効である判断標準は以下の条件（１）～（３）の３つの条件を含み、前記条件（１）では、頂点ｐの位置ｘｐ ｊが該サンプリングにおいてビデオカメラにとって可視となるものであり、且つｘｐ ｊがネットワークをトレーニングする際に定義したサンプリング空間内にあること、
前記条件（２）では、
前記条件（３）では、写真における画素の各チャネル数値が区間［ａ，ｂ］にあり、ａとｂが有効サンプリング輝度の下限と上限であり、
前記３つの条件が全て満足される場合、ｊ回目のサンプリングが頂点ｐに対して有効であると見なされ、ｊ回目のサンプリング結果を高次元点群に追加する
ことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【請求項10】
マテリアル情報を回復した後にマテリアルパラメータをフィッティングすることは、ローカル座標系及び粗度をフィッティングするステップ及び反射率をフィッティングするステップを含み、前記ローカル座標系及び粗度をフィッティングするステップでは、ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ネットワークから出力される単一チャネルの鏡面反射ベクトルに基づいてＬ－ＢＦＧＳ－Ｂ方法によってマテリアルパラメータにおけるローカル座標系及び粗度をフィッティングし、
前記反射率をフィッティングするステップでは、信頼領域アルゴリズムによって鏡面反射率及び乱反射率を求め、求める際に前の過程において取得されたローカル座標系及び粗度を一定にし、収集に用いる視角において観測値を合成して、それを収集して取得された観測値にできる限り近接する
ことを特徴とする請求項１に記載の高次元マテリアルの自由式収集方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は高次元マテリアルの自由式収集方法に関し、コンピュータグラフィックス及びコンピュータビジョンの分野に属する。
【背景技術】
【0002】
現実世界における物体のデジタル化はコンピュータグラフィックス及びビジョンの中核問題の１つである。現在、デジタル化された真の物体は三次元グリッドモデル及び空間に従って変化する六次元の双方向反射率分布関数（ＳＶＢＲＤＦ）で表現されてもよく、デジタル化された真の物体は任意の視角及び照明条件下でその元の様子を明瞭に再現することができ、文化遺産、電子商取引、コンピュータゲーム及び映画作成などの分野に重要な応用を持っている。
【0003】
高精度の幾何学的モデルは商用モバイル３Ｄスキャナにより容易に取得できるが、下記原因により外観走査を自由に行うように軽量型装置を開発することも望まれている。第１として、ビデオカメラの姿勢を確実に推定できれば、異なるサイズの物体を走査することができる。第２として、装置の可搬性によって、輸送を許容しないオブジェクト例えば貴重な文化財に対してその場走査を実行できるようにする。また、軽量レベルの装置は製造に必要な時間が短く、コストが低いため、より多くの人に受け入れられる。それは更に幾何学的走査に類似するユーザーフレンドリーな体験を提供する。
【0004】
需要が急増しているが、有効な非平面外観走査は依然として解決の待たれる問題の１つである。一方、従来のほとんどの可動外観走査作業はいずれも単一点／平行光の場合に撮影するため、四次元の観察及び照明方向におけるサンプリング効率がより低く、空間分解能で角度精度を取り換えるために先験知識を必要としている（Ｇｉｌｊｏｏ Ｎａｍ， Ｊｏｏ Ｈｏ Ｌｅｅ， Ｄｉｅｇｏ Ｇｕｔｉｅｒｒｅｚ， ａｎｄ Ｍｉｎ Ｈ Ｋｉｍ． ２０１８． Ｐｒａｃｔｉｃａｌ ＳＶＢＲＤＦ ａｃｑｕｉｓｉｔｉｏｎ ｏｆ ３Ｄ ｏｂｊｅｃｔｓ ｗｉｔｈ ｕｎｓｔｒｕｃｔｕｒｅｄ ｆｌａｓｈ ｐｈｏｔｏｇｒａｐｈｙ． Ｉｎ ＳＩＧＧＲＡＰＨ Ａｓｉａ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ． ２６７．）。他方、固定収集システムは照明が変化する際に一定の画像条件に依存し、現在ではどのように携帯機器に拡張するかはまだ把握されておらず、携帯機器が非構造化されて絶えず変化している画像を有し、且つその外形寸法がより小さいため、照明分野を完全にカバーできない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、従来技術の欠点に対して高次元マテリアルの自由式収集方法を提供することにあり、本方法は各画像の収集条件情報を効果的に利用して、無秩序で不均一に分布する収集結果から高品質の物体マテリアル属性を回復することができる。
【課題を解決するための手段】
【0006】
本発明は高次元マテリアルの自由式収集方法を開示し、本方法の主な要旨は、自由型の外観走査を非構造化点群における幾何学的学習の問題に変換することができ、点群における各点が１つの画像測定値及び画像撮影時の物体のポーズ（Pose）情報を示してもよい、ということである。この要旨に基づいて、本発明は１つのニューラルネットワークを設計し、異なる非構造化画像において情報を効果的に集約して、空間的に独立した反射属性を再構築することができ、且つ収集段階に使用される照明パターンを最適化して、最終的に高品質のマテリアル収集結果を取得することができる。本発明はある特定の収集装置に依存せず、固定物体を用いて人の手で装置を持って収集し、又は物体を回転テーブルに置いて回転させて固定装置により収集してもよいが、この２つの方式に限らない。
【0007】
本方法はマテリアル情報の学習を非構造化点群における幾何学的学習の問題に変換し、複数の異なる照明及び観察方向におけるサンプリング結果を高次元点群に構成し、点群における各点が画像測定値と画像撮影時の物体のポーズ情報とからなるベクトルであることを提案し、本方法は無秩序で、不規則で、不均一に分布し且つ精度が制限される高次元点群から非構造化画像の情報を効果的に集約して、高品質のマテリアル属性を回復することができる。形骸化された表示は、Ｆ（Ｇ（ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌ ｐｏｉｎｔ ｃｌｏｕｄ））＝ｍであり、
点群データ特徴抽出方法Ｇがある特定のネットワーク構造に限らず、点群から特徴を抽出できる他の方法も適用され、非線形マッピングネットワークＦが完全接続ネットワークに限らず、物体マテリアル属性の表現がＬｕｍｉｔｅｘｅｌベクトルｍに限らない。
点群データ特徴抽出方法Ｇがある特定のネットワーク構造に限らず、点群から特徴を抽出できる他の方法も適用され、非線形マッピングネットワークＦが完全接続ネットワークに限らず、物体マテリアル属性の表現がＬｕｍｉｔｅｘｅｌベクトルｍに限らない。
【0008】
本方法はトレーニング段階及び収集段階の２つの段階を含む。
【0009】
前記トレーニング段階は、
収集装置のパラメータを取得して、実際のビデオカメラを模擬する収集結果をトレーニングデータとして生成するステップ（１）と、
生成されたトレーニングデータを用いてニューラルネットワークをトレーニングするステップ（２）と、を含み、ニューラルネットワークの特徴は、
ニューラルネットワークの入力がｋ個の非構造化サンプリングにおけるＬｕｍｉｔｅｘｅｌベクトルであり、ｋがサンプリング個数であり、Ｌｕｍｉｔｅｘｅｌの各値が各光源からの入射光に対するサンプリング点のある観察方向に沿う反射強度を説明し、Ｌｕｍｉｔｅｘｅｌが光源の発光強度と線形関係を有し、線形完全接続層で模擬する（２．１）と、
ニューラルネットワークの第１層が線形完全接続層を含み、実際に収集する際に用いる照明パターンを模擬して、前記ｋ個のＬｕｍｉｔｅｘｅｌをカメラ収集結果に変換することに用いられ、このｋ個の収集結果がそれぞれ対応するサンプリング点のポーズ情報と組み合わせて高次元点群を構成する（２．２）と、
第２層からは特徴抽出ネットワークであり、前記高次元点群における各点から独立して特徴抽出して特徴ベクトルを取得する（２．３）と、
特徴抽出ネットワークの後では、ｋ個の非構造化画像から抽出された特徴ベクトルを集約して、グローバル特徴ベクトルを取得するための最大プーリング層である（２．４）と、
最大プーリング層の後では、前記グローバル特徴ベクトルに基づいて高次元マテリアル情報を回復するための非線形マッピングネットワークである（２．５）と、を含み、
前記収集段階は、
マテリアル収集ステップであって、収集装置が前記照明パターンに応じて順に目標三次元物体を照射し、ビデオカメラが１組の非構造化画像における写真を取得し、写真を入力とし、サンプリング物体にテクスチャ座標を持つ幾何学的モデル及び写真撮影時のビデオカメラのポーズを取得するステップ（１）と、
マテリアル回復ステップであって、マテリアル収集段階における写真撮影時のビデオカメラのポーズに基づいて各枚の写真を撮影するときのサンプリング物体上の各有効テクスチャ座標の頂点に対するポーズを取得し、前記収集された写真及びポーズ情報に基づいて前記高次元点群をニューラルネットワークの第２層特徴抽出ネットワークの入力として構成し、高次元マテリアル情報を計算して取得するステップ（２）と、を含む。
収集装置のパラメータを取得して、実際のビデオカメラを模擬する収集結果をトレーニングデータとして生成するステップ（１）と、
生成されたトレーニングデータを用いてニューラルネットワークをトレーニングするステップ（２）と、を含み、ニューラルネットワークの特徴は、
ニューラルネットワークの入力がｋ個の非構造化サンプリングにおけるＬｕｍｉｔｅｘｅｌベクトルであり、ｋがサンプリング個数であり、Ｌｕｍｉｔｅｘｅｌの各値が各光源からの入射光に対するサンプリング点のある観察方向に沿う反射強度を説明し、Ｌｕｍｉｔｅｘｅｌが光源の発光強度と線形関係を有し、線形完全接続層で模擬する（２．１）と、
ニューラルネットワークの第１層が線形完全接続層を含み、実際に収集する際に用いる照明パターンを模擬して、前記ｋ個のＬｕｍｉｔｅｘｅｌをカメラ収集結果に変換することに用いられ、このｋ個の収集結果がそれぞれ対応するサンプリング点のポーズ情報と組み合わせて高次元点群を構成する（２．２）と、
第２層からは特徴抽出ネットワークであり、前記高次元点群における各点から独立して特徴抽出して特徴ベクトルを取得する（２．３）と、
特徴抽出ネットワークの後では、ｋ個の非構造化画像から抽出された特徴ベクトルを集約して、グローバル特徴ベクトルを取得するための最大プーリング層である（２．４）と、
最大プーリング層の後では、前記グローバル特徴ベクトルに基づいて高次元マテリアル情報を回復するための非線形マッピングネットワークである（２．５）と、を含み、
前記収集段階は、
マテリアル収集ステップであって、収集装置が前記照明パターンに応じて順に目標三次元物体を照射し、ビデオカメラが１組の非構造化画像における写真を取得し、写真を入力とし、サンプリング物体にテクスチャ座標を持つ幾何学的モデル及び写真撮影時のビデオカメラのポーズを取得するステップ（１）と、
マテリアル回復ステップであって、マテリアル収集段階における写真撮影時のビデオカメラのポーズに基づいて各枚の写真を撮影するときのサンプリング物体上の各有効テクスチャ座標の頂点に対するポーズを取得し、前記収集された写真及びポーズ情報に基づいて前記高次元点群をニューラルネットワークの第２層特徴抽出ネットワークの入力として構成し、高次元マテリアル情報を計算して取得するステップ（２）と、を含む。
【0010】
更に、前記非構造化サンプリングは非固定視角の自由ランダムサンプリングであり、サンプリングデータが無秩序で、不規則で、不均一に分布しており、固定物体を用いて人の手で収集装置を持って収集し、又は物体を回転テーブルに置いて回転させて固定装置により収集してもよい。
【0011】
更に、トレーニングデータ生成過程において、光源がカラーである場合、光源、サンプリング物体及びビデオカメラのスペクトル応答関係を補正する必要があり、補正方法については、
未知のカラー光源Ｌのスペクトル分布曲線を
として定義し、λが波長を示し、ｃ１がＲＧＢの３つのチャネルのうちの１つを示し、光強度｛ＩＲ，ＩＧ，ＩＢ｝の光源のスペクトル分布曲線Ｌ（λ）は、以下の式２に示される可能であり、
任意のサンプリング点ｐの反射スペクトル分布曲線ｐ（λ）を、係数がそれぞれｐＲ、ｐＧ、ｐＢの３つの未知の基
の線形組合せに示し、ｃ２がＲＧＢの３つのチャネルのうちの１つを示し、具体的には、以下の式３に示され、
ビデオカメラＣのスペクトル分布曲線が
の線形組合せとして示され、光強度｛ＩＲ，ＩＧ，ＩＢ｝の光源の照射下で、ビデオカメラによる反射係数｛ｐＲ，ｐＧ，ｐＢ｝のサンプリング点のある特定チャネルｃ３での測定値は、以下の式４に示され、
照明条件｛ＩＲ，ＩＧ，ＩＢ｝＝｛１，０，０｝／｛０，１，０｝／｛０，０，１｝の下で、既知の反射係数｛ｐＲ，ｐＧ，ｐＢ｝のカラーテストカードを撮影し、ビデオカメラにより収集された測定値に基づいて線形連立方程式を構築し、サイズ３×３×３のカラー補正行列δ（ｃ１，ｃ２，ｃ３）を求め、該カラー補正行列が光源、サンプリング物体及びビデオカメラのスペクトル応答関係を示す。
未知のカラー光源Ｌのスペクトル分布曲線を
【数2】
【数3】
【数4】
【0012】
更に、トレーニング段階ステップ（２．１）において、物体表面のサンプリング点ｐの写真における観測値Ｂ、反射関数ｆｒ及び各光源の光強度の関係は、以下の式５に示され、
ここで、Ｉは各光源の発光情報を示し、光源ｌの空間位置ｘｌ、光源ｌの法線ベクトルｎｌ、光源ｌの発光強度Ｉ（ｌ）を含み、Ｐはサンプリング点ｐのパラメータ情報を含み、サンプリング点の空間位置ｘｐ、マテリアルパラメータｎ、ｔ、αｘ、αｙ、ρｄ、ρｓを含む。
が光源ｌの異なる入射方向における光強度分布を説明し、Ｖがｘｌのｘｐに対する可視性の二値関数を示し、
が２つのベクトルのドット積操作であるｆｒ（ωｉ′；ωｏ′，Ｐ）はωｏ′が一定である場合にωｉ′に関する二次元反射関数である。
【数5】
【0013】
ニューラルネットワークの入力がｋ個の非構造化サンプリングにおけるＬｕｍｉｔｅｘｅｌベクトルであって、ｍ（ｌ；Ｐ）と記され、
上記式におけるＢが単一チャネルにおける表示であり、光源がカラー光源である場合、Ｂを下記形式に拡張し、
ここで、ｆｒ（ωｉ′；ωｏ′，Ｐ，ｃ２）がｆｒ（ωｉ′；ωｏ′，Ｐ）における
の結果である。
【数6】
【数7】
【0014】
更に、トレーニング段階ステップ（２．３）において、特徴抽出ネットワークの公式は、以下の式９に示され、
ここで、ｆが一次元畳み込み関数であり、畳み込みカーネルのサイズが１×１であり、Ｂ（Ｉ，Ｐｊ）が第１層のネットワークから出力される結果又は収集して取得された測定値を示し、
がそれぞれｊ回目にサンプリングするときのサンプリング点の空間位置、サンプリング点の幾何学的法線ベクトル及び幾何学的接ベクトルであり、
が幾何学的モデルにより取得され、
が
に直交する任意の単位ベクトルであり、ビデオカメラのポーズをｊ回目にサンプリングすることにより
を変換して
を取得することができ、Ｖｆｅａｔｕｒｅ（ｊ）がネットワークから出力されるｊ回目にサンプリングする特徴ベクトルである。
【数9】
【0015】
更に、トレーニング段階のステップ（２．５）において、非線形マッピングネットワークの形骸化された表現は、以下の式１１に示され、
ここで、ｆｉ＋１が第ｉ＋１層のネットワークのマッピング関数であり、Ｗｉ＋１が第ｉ＋１層のネットワークのパラメータ行列であり、ｂｉ＋１が第ｉ＋１層のネットワークのオフセットベクトルであり、ｙｉ＋１が第ｉ＋１層のネットワークの出力であり、ｄとｓがそれぞれ乱反射及び鏡面反射の２つの分岐を示し、入力ｙ１
ｄとｙ１
ｓが最大プーリング層から出力されるグローバル特徴ベクトルである。
【数11】
【0016】
更に、前記ニューラルネットワークの損失関数は以下のように設計され、
（１）１つのＬｕｍｉｔｅｘｔｅｌ空間を仮定し、該空間は中心がサンプリング点の空間位置ｘｐにある立方体であり、立方体の中心座標系はｘ軸方向が
であり、ｚ軸方向が
であり、
が幾何学的法線ベクトルであり、
が
に直交する任意の単位ベクトルであり、
（２）１つのビデオカメラを仮定し、観察方向が立方体のｚ軸の正方向であり、
（３）乱反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｄ ２であり、鏡面反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｓ ２であり、即ち各面からＮｄ ２、Ｎｓ ２個の点を、光強度が単位光強度の仮想点光源として均一にサンプリングし、
ａ．サンプリング点の鏡面反射率ρｓを０とし、このＬｕｍｉｔｅｘｅｌ空間における乱反射特徴ベクトル
を生成し、
ｂ．乱反射率ρｄを０とし、このＬｕｍｉｔｅｘｅｌ空間における鏡面反射特徴ベクトル
を生成し、
ｃ．ニューラルネットワークの出力をベクトルｍｄ、ｍｓとし、ｍｄが
の長さと同じであり、ｍｓが
の長さと同じであり、ベクトルｍｄ、ｍｓが乱反射特徴ベクトル
、鏡面反射ベクトル
の予測であり、
（４）マテリアル特徴部分の損失関数は、以下の式１２に示され、
ここで、λｄとλｓがそれぞれｍｄ、ｍｓの損失重みを示し、信頼度βが鏡面反射Ｌｕｍｉｔｅｘｅｌの損失を評価することに用いられ、ｌｏｇがベクトルの各次元に作用し、信頼度βの決定は、以下の式１３に示され、
ここで、
項がｊ回目にサンプリングする全ての単一光源レンダリング値の最大値の対数を示し、
項がｊ回目にサンプリングする際に理論的に取得できる単一光源レンダリング値の最大値の対数を示し、
が比率調整係数である。
（１）１つのＬｕｍｉｔｅｘｔｅｌ空間を仮定し、該空間は中心がサンプリング点の空間位置ｘｐにある立方体であり、立方体の中心座標系はｘ軸方向が
（２）１つのビデオカメラを仮定し、観察方向が立方体のｚ軸の正方向であり、
（３）乱反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｄ ２であり、鏡面反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｓ ２であり、即ち各面からＮｄ ２、Ｎｓ ２個の点を、光強度が単位光強度の仮想点光源として均一にサンプリングし、
ａ．サンプリング点の鏡面反射率ρｓを０とし、このＬｕｍｉｔｅｘｅｌ空間における乱反射特徴ベクトル
ｂ．乱反射率ρｄを０とし、このＬｕｍｉｔｅｘｅｌ空間における鏡面反射特徴ベクトル
ｃ．ニューラルネットワークの出力をベクトルｍｄ、ｍｓとし、ｍｄが
（４）マテリアル特徴部分の損失関数は、以下の式１２に示され、
【数12】
【数13】
【0017】
更に、前記収集段階において、マテリアル収集が終了した後に幾何学的位置合わせを行い、その後にマテリアル回復を行い、幾何学的位置合わせは具体的に、スキャナにより物体を走査して幾何学的モデルを取得し、それを三次元で再構築された幾何学的モデルに位置合わせした後に三次元で再構築された幾何学的モデルを代替することである。
【0018】
更に、有効テクスチャ座標に対して、前記収集された写真及びサンプリング点のポーズ情報に基づいて写真における画素を順に取り出して、画素の有効性を判断し、頂点に対するポーズと組み合わせて高次元点群を構成し、ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ｊ回目のサンプリングが頂点ｐに対して有効である判断標準は、
（１）頂点ｐの位置ｘｐ ｊが該サンプリングにおいてビデオカメラにとって可視となるものであり、且つｘｐ ｊがネットワークをトレーニングする際に定義したサンプリング空間内にあること、
（２）
であり、
がドット積操作であり、θが有効サンプリング角度の下限であり、ωｏ′がワールド座標系における出射光の方向を示し、
がｊ回目の頂点ｐの法線ベクトルを示すこと、
（３）写真における画素の各チャネル数値が区間［ａ，ｂ］にあり、ａとｂが有効サンプリング輝度の下限と上限であること、に表現され、
３つの条件が全て満足される場合、ｊ回目のサンプリングが頂点ｐに対して有効であると見なされ、ｊ回目のサンプリング結果を高次元点群に追加する。
（１）頂点ｐの位置ｘｐ ｊが該サンプリングにおいてビデオカメラにとって可視となるものであり、且つｘｐ ｊがネットワークをトレーニングする際に定義したサンプリング空間内にあること、
（２）
（３）写真における画素の各チャネル数値が区間［ａ，ｂ］にあり、ａとｂが有効サンプリング輝度の下限と上限であること、に表現され、
３つの条件が全て満足される場合、ｊ回目のサンプリングが頂点ｐに対して有効であると見なされ、ｊ回目のサンプリング結果を高次元点群に追加する。
【0019】
更に、マテリアル情報を回復した後にマテリアルパラメータをフィッティングしてもよく、それは、
ローカル座標系及び粗度をフィッティングするステップであって、ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ネットワークから出力される単一チャネルの鏡面反射ベクトルに基づいてＬ－ＢＦＧＳ－Ｂ方法によってマテリアルパラメータにおけるローカル座標系及び粗度をフィッティングするステップ（１）、
反射率をフィッティングするステップであって、信頼領域アルゴリズムによって鏡面反射率及び乱反射率を求め、求める際に前の過程において取得されたローカル座標系及び粗度を一定にし、収集に用いる視角において観測値を合成して、それを収集して取得された観測値にできる限り近接するステップ（２）、の２つのステップに分けられる。
ローカル座標系及び粗度をフィッティングするステップであって、ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ネットワークから出力される単一チャネルの鏡面反射ベクトルに基づいてＬ－ＢＦＧＳ－Ｂ方法によってマテリアルパラメータにおけるローカル座標系及び粗度をフィッティングするステップ（１）、
反射率をフィッティングするステップであって、信頼領域アルゴリズムによって鏡面反射率及び乱反射率を求め、求める際に前の過程において取得されたローカル座標系及び粗度を一定にし、収集に用いる視角において観測値を合成して、それを収集して取得された観測値にできる限り近接するステップ（２）、の２つのステップに分けられる。
【発明の効果】
【0020】
本発明の有益な効果は以下のとおりである。本発明の方法はマテリアル情報の学習を非構造化点群における幾何学的学習の問題に変換し、複数の異なる照明及び観察方向におけるサンプリング結果を高次元点群に構成し、点群における各点が画像測定値と画像撮影時の物体のポーズ情報とからなるベクトルであることを提案し、本方法は無秩序で、不規則で、不均一に分布し且つ精度が制限される高次元点群から非構造化画像の情報を効果的に集約して、高品質のマテリアル属性を回復することができる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
本発明の目的、技術案及び利点をより明確にするために、以下に図面を参照しながら本発明を詳しく説明する。
【0023】
本発明に係る高次元マテリアルの自由式収集方法について、具体的な実施は下記のトレーニング段階及び収集段階に分けられてもよい。
【0024】
一、トレーニング段階
１．トレーニングデータを生成して、収集装置のパラメータを取得し、該パラメータは光源からサンプリング空間原点までの距離及び角度、光源の特性曲線、ビデオカメラからサンプリング空間原点までの距離及び角度、ビデオカメラの内部パラメータ及び外部パラメータを含む。これらのパラメータを利用して実際のビデオカメラを模擬する収集結果をトレーニングデータとして生成する。トレーニングデータを生成する際に用いるレンダリングモデルがＧＧＸモデルであり、生成公式は、以下の式１に示され、
ここで、ｆｒ（ωｉ′，ωｏ′；Ｐ）がωｉ′，ωｏ′に関する四次元反射関数であり、ωｉ′がワールド座標系における入射光の方向を示し、ωｏ′がワールド座標系における出射光の方向を示し、ωｉがローカル座標系における入射方向であり、ωｏがローカル座標系における出射方向であり、ωｈがローカル座標系における途中ベクトルである。Ｐはサンプリング点のパラメータ情報を含み、サンプリング点のマテリアルパラメータｎ、ｔ、αｘ、αｙ、ρｄ、ρｓを含み、ここで、ｎがワールド座標系における法線ベクトルを示し、ｔがワールド座標系においてサンプリング点のローカル座標系におけるｘ軸方向を示し、ｎとｔが入射方向及び出射方向をワールド座標系からローカル座標系に変換するためのものである。αｘとαｙが粗度係数を示し、ρｄが乱反射率を示し、ρｓが鏡面反射率を示し、ρｄとρｓが単一チャネルにおいていずれも１つのスカラーであり、カラーの場合にそれぞれ３つのスカラー
及び
であり、ＤＧＧＸが微小表面分布項であり、Ｆがフレネル項であり、ＧＧＧＸが陰影係数関数を示す。
１．トレーニングデータを生成して、収集装置のパラメータを取得し、該パラメータは光源からサンプリング空間原点までの距離及び角度、光源の特性曲線、ビデオカメラからサンプリング空間原点までの距離及び角度、ビデオカメラの内部パラメータ及び外部パラメータを含む。これらのパラメータを利用して実際のビデオカメラを模擬する収集結果をトレーニングデータとして生成する。トレーニングデータを生成する際に用いるレンダリングモデルがＧＧＸモデルであり、生成公式は、以下の式１に示され、
【数1】
【0025】
収集に用いる光源がカラーである場合、まず、光源、サンプリング物体及びビデオカメラのスペクトル応答関係を補正する必要がある。補正方法については、未知のカラー光源Ｌのスペクトル分布曲線を
として定義し、λが波長を示し、ｃ１がＲＧＢの３つのチャネルのうちの１つを示し、光強度｛ＩＲ，ＩＧ，ＩＢ｝の光源のスペクトル分布曲線Ｌ（λ）は、以下の式２に示される可能であり、
同様に、任意のサンプリング点ｐの反射スペクトル分布曲線ｐ（λ）を、係数がそれぞれｐＲ、ｐＧ、ｐＢの３つの未知の基
の線形組合せに示してもよく、ｃ２がＲＧＢの３つのチャネルのうちの１つを示し、具体的には、以下の式３に示され、
類似に、ビデオカメラＣのスペクトル分布曲線が
の線形組合せとして示されてもよい。従って、光強度｛ＩＲ，ＩＧ，ＩＢ｝の光源の照射下で、ビデオカメラによる反射係数｛ｐＲ，ｐＧ，ｐＢ｝のサンプリング点のある特定チャネルｃ３での測定値は、以下の式４に示され、
照明条件｛ＩＲ，ＩＧ，ＩＢ｝＝｛１，０，０｝／｛０，１，０｝／｛０，０，１｝の下で、既知の反射係数｛ｐＲ，ｐＧ，ｐＢ｝のカラーテストカードを撮影し、ビデオカメラにより収集された測定値に基づいて線形連立方程式を構築し、サイズ３×３×３のカラー補正行列δ（ｃ１，ｃ２，ｃ３）を求めることができ、該カラー補正行列が光源、サンプリング物体及びビデオカメラのスペクトル応答関係を示す。
【数2】
【数3】
【数4】
【0026】
２．生成されたトレーニングデータを用いて図４に示されるニューラルネットワークをトレーニングする。ニューラルネットワークの特徴は下記（１）～（６）を含む。
【0027】
（１）物体表面のサンプリング点ｐの写真における観測値Ｂ、反射関数ｆｒ及び各光源の光強度の関係は、以下の式５に示され、
ここで、Ｉは各光源ｌの発光情報を示し、光源ｌの空間位置ｘｌ、光源ｌの法線ベクトルｎｌ、光源ｌの発光強度Ｉ（ｌ）を含み、Ｐはサンプリング点ｐのパラメータ情報を含み、サンプリング点の空間位置ｘｐ、マテリアルパラメータｎ、ｔ、αｘ、αｙ、ρｄ、ρｓを含む。
が光源ｌの異なる入射方向における光強度分布を説明し、Ｖがｘｌのｘｐに対する可視性の二値関数を示し、
が２つのベクトルのドット積操作であり、負値が０にカットオフされることとなる。ｆｒ（ωｉ′；ωｏ′，Ｐ）はωｏ′が一定である場合にωｉ′に関する二次元反射関数である。
【数5】
【0028】
ニューラルネットワークの入力が無秩序で不規則なサンプリングにおけるｋ個のＬｕｍｉｔｅｘｅｌであり、ｋがサンプリング個数であり、Ｌｕｍｉｔｅｘｅｌが１つのベクトルであってｍ（ｌ；Ｐ）と記され、その中の各値が各光源からの入射光に対するサンプリング点のある観察方向に沿う反射強度を説明し、
上記式におけるＢが単一チャネルにおける表示であり、光源がカラー光源である場合、Ｂを下記形式に拡張し、
ここで、ｆｒ（ωｉ′；ωｏ′，Ｐ，ｃ２）がｆｒ（ωｉ′；ωｏ′，Ｐ）の公式における
の結果である。Ｂが光源の発光強度と線形関係を有し、線形完全接続層で模擬してもよい。
【数6】
【数7】
【0029】
（２）ニューラルネットワークの第１層が線形完全接続層を含み、線形完全接続層のパラメータ行列は下記公式によりトレーニングして取得され、
ここで、Ｗｒａｗはトレーニング対象のパラメータであり、Ｗｌは照明行列であり、単一チャネル光源の場合にサイズが１×Ｎであり、カラー光源の場合にサイズが３×Ｎであり、ＮがＬｕｍｉｔｅｘｅｌのベクトル長さであり、ｆＷは１つのマッピングであり、Ｗｒａｗを変換することにより、生成された照明行列を光源の可能な発光強度に対応できるようにし、本実例ではマッピングｆＷがＳｉｇｍｏｉｄ関数を選択し、第１層のネットワークの照明行列Ｗｌの初期値を（０，１）に制限するが、ｆＷがＳｉｇｍｏｉｄ関数に限らない。
【数8】
【0030】
Ｗｌを光源の発光強度とし、上記（１）の前記関係に応じてｋ個のサンプリング観測値
を計算して取得する。
【0031】
（３）第２層からは特徴抽出ネットワークであり、ｋ個のサンプリングは独立して特徴抽出して特徴ベクトルを取得し、公式は、以下の式９に示され、
ここで、ｆが一次元畳み込み関数であり、畳み込みカーネルのサイズが１×１であり、
がそれぞれｊ回目にサンプリングするときのサンプリング点の空間位置、サンプリング点の幾何学的法線ベクトル及び幾何学的接ベクトルであり、
が三次元で再構築され又はスキャナにより走査された後に取得した幾何学的モデルにより取得されてもよく、
が
に直交する任意の単位ベクトルであり、ビデオカメラのポーズをｊ回目にサンプリングすることにより
を変換して
を取得することができ、Ｖｆｅａｔｕｒｅ（ｊ）がネットワークから出力されるｊ回目にサンプリングする特徴ベクトルである。
【数9】
【0032】
（４）特徴抽出ネットワークの後は最大プーリング層である。最大プーリング操作の公式は、以下の式１０に示され、
最大プーリング操作がＶｆｅａｔｕｒｅ（１），Ｖｆｅａｔｕｒｅ（２），…，Ｖｆｅａｔｕｒｅ（ｋ）の各次元において行われる。
【数10】
【0033】
（５）最大プーリング層の後は非線形マッピングネットワークであり、
ここで、ｆｉ＋１が第ｉ＋１層のネットワークのマッピング関数であり、Ｗｉ＋１が第ｉ＋１層のネットワークのパラメータ行列であり、ｂｉ＋１が第ｉ＋１層のネットワークのオフセットベクトルであり、ｙｉ＋１が第ｉ＋１層のネットワークの出力であり、ｄとｓがそれぞれ乱反射及び鏡面反射の２つの分岐を示し、入力ｙ１
ｄとｙ１
ｓがＶｆｅａｔｕｒｅである。
【数11】
【0034】
（６）ニューラルネットワークの損失関数は下記（６．１）～（６．４）を含む。
（６．１）１つのＬｕｍｉｔｅｘｔｅｌ空間を仮定し、該空間は中心がサンプリング点の空間位置ｘｐにある立方体であり、立方体の中心座標系はｘ軸方向が
であり、ｚ軸方向が
であり、
（６．２）１つのビデオカメラを仮定し、観察方向が立方体のｚ軸の正方向であり、
（６．３）乱反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｄ ２であり、鏡面反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｓ ２であり、即ち各面からＮｄ ２、Ｎｓ ２個の点を、光強度が単位光強度の仮想点光源として均一にサンプリングし、本実施例ではＮｄ＝８、Ｎｓ＝３２であり、
ａ．サンプリング点の鏡面反射率ρｓを０とし、このＬｕｍｉｔｅｘｅｌ空間における乱反射特徴ベクトル
を生成し、
ｂ．乱反射率ρｄを０とし、このＬｕｍｉｔｅｘｅｌ空間における鏡面反射特徴ベクトル
を生成し、
ｃ．ニューラルネットワークの出力をベクトルｍｄ、ｍｓとし、ｍｄが
の長さと同じであり、ｍｓが
の長さと同じであり、ベクトルｍｄ、ｍｓがそれぞれ乱反射特徴ベクトル
、鏡面反射ベクトル
の予測であり、
（６．４）マテリアル特徴部分の損失関数は、以下の式１２に示され、
ここで、λｄとλｓがそれぞれｍｄ、ｍｓの損失重みを示し、信頼度βが鏡面反射Ｌｕｍｉｔｅｘｅｌの損失を評価することに用いられ、ｌｏｇがベクトルの各次元に作用し、
信頼度βの決定は、以下の式１３に示され、
ここで、
項がｊ回目にサンプリングする全ての単一光源レンダリング値の最大値の対数を示し、
項がｊ回目にサンプリングする際に理論的に取得できる単一光源レンダリング値の最大値の対数を示し、
が比率調整係数であり、本実施例では
＝５０％である。
（６．１）１つのＬｕｍｉｔｅｘｔｅｌ空間を仮定し、該空間は中心がサンプリング点の空間位置ｘｐにある立方体であり、立方体の中心座標系はｘ軸方向が
（６．２）１つのビデオカメラを仮定し、観察方向が立方体のｚ軸の正方向であり、
（６．３）乱反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｄ ２であり、鏡面反射Ｌｕｍｉｔｅｘｅｌの場合に立方体の分解能が６×Ｎｓ ２であり、即ち各面からＮｄ ２、Ｎｓ ２個の点を、光強度が単位光強度の仮想点光源として均一にサンプリングし、本実施例ではＮｄ＝８、Ｎｓ＝３２であり、
ａ．サンプリング点の鏡面反射率ρｓを０とし、このＬｕｍｉｔｅｘｅｌ空間における乱反射特徴ベクトル
ｂ．乱反射率ρｄを０とし、このＬｕｍｉｔｅｘｅｌ空間における鏡面反射特徴ベクトル
ｃ．ニューラルネットワークの出力をベクトルｍｄ、ｍｓとし、ｍｄが
（６．４）マテリアル特徴部分の損失関数は、以下の式１２に示され、
【数12】
信頼度βの決定は、以下の式１３に示され、
【数13】
【0035】
３．トレーニングが終了した後、ネットワークの線形完全接続層のパラメータＷｒａｗを取り出して、公式Ｗｌ＝ｆＷ（Ｗｒａｗ）により変換されたものを照明パターンとする。
【0036】
二、収集段階
収集段階は更にマテリアル収集段階、幾何学的位置合わせ段階（選択可能に）及びマテリアル回復段階に細分化されてもよい。
収集段階は更にマテリアル収集段階、幾何学的位置合わせ段階（選択可能に）及びマテリアル回復段階に細分化されてもよい。
【0037】
１．マテリアル収集段階
収集装置は照明パターンに応じて順に目標三次元物体を照射し、ビデオカメラは１組の非構造化画像における写真を取得し、写真を入力とし、工業界に開示される三次元再構築ツールによってサンプリング物体の幾何学的モデル及び写真撮影時のビデオカメラのポーズを取得することができる。
２．幾何学的位置合わせ段階（選択可能に）
（１）高精度スキャナにより物体を走査して幾何学的モデルを取得し、
（２）スキャナにより走査して取得された幾何学的モデルと三次元で再構築された幾何学的モデルとを位置合わせしたもので三次元で再構築された幾何学的モデルを代替し、位置合わせ方法は分野内に開示される方法ＣＰＤを用いてもよい（Ａ． Ｍｙｒｏｎｅｎｋｏ ａｎｄ Ｘ． Ｓｏｎｇ． ２０１０． Ｐｏｉｎｔ Ｓｅｔ Ｒｅｇｉｓｔｒａｔｉｏｎ： Ｃｏｈｅｒｅｎｔ Ｐｏｉｎｔ Ｄｒｉｆｔ． ＩＥＥＥ ＰＡＭＩ ３２， １２ （２０１０）， ２２６２－２２７５．
）。
３．マテリアル回復段階
（１）マテリアル収集ステップにおける写真撮影時のビデオカメラのポーズに基づいて第ｊ枚の写真を撮影するときのサンプリング物体の各頂点のポーズ
を取得し、
（２）三次元で再構築して取得されたサンプリング物体の幾何学的モデル又は位置合わせされた後のスキャナにより走査して取得されたサンプリング物体の幾何学的モデルを分野内に開示されるツールＩｓｏ－ｃｈａｒｔｓにより処理して、テクスチャ座標付きの幾何学的モデルを取得し、
（３）有効テクスチャ座標に対して、上記収集された１組の写真ｒ１、ｒ２、…、ｒπ及びサンプリング点のポーズ情報に基づいて写真における画素を順に取り出して、画素の有効性を判断し、頂点に対するポーズ
と組み合わせて高次元点群をニューラルネットワークの第２層の特徴抽出ネットワークの入力ベクトルとして構成し、最終層の出力ベクトルｍｄ及びｍｓを計算して取得する。
収集装置は照明パターンに応じて順に目標三次元物体を照射し、ビデオカメラは１組の非構造化画像における写真を取得し、写真を入力とし、工業界に開示される三次元再構築ツールによってサンプリング物体の幾何学的モデル及び写真撮影時のビデオカメラのポーズを取得することができる。
２．幾何学的位置合わせ段階（選択可能に）
（１）高精度スキャナにより物体を走査して幾何学的モデルを取得し、
（２）スキャナにより走査して取得された幾何学的モデルと三次元で再構築された幾何学的モデルとを位置合わせしたもので三次元で再構築された幾何学的モデルを代替し、位置合わせ方法は分野内に開示される方法ＣＰＤを用いてもよい（Ａ． Ｍｙｒｏｎｅｎｋｏ ａｎｄ Ｘ． Ｓｏｎｇ． ２０１０． Ｐｏｉｎｔ Ｓｅｔ Ｒｅｇｉｓｔｒａｔｉｏｎ： Ｃｏｈｅｒｅｎｔ Ｐｏｉｎｔ Ｄｒｉｆｔ． ＩＥＥＥ ＰＡＭＩ ３２， １２ （２０１０）， ２２６２－２２７５．
３．マテリアル回復段階
（１）マテリアル収集ステップにおける写真撮影時のビデオカメラのポーズに基づいて第ｊ枚の写真を撮影するときのサンプリング物体の各頂点のポーズ
（２）三次元で再構築して取得されたサンプリング物体の幾何学的モデル又は位置合わせされた後のスキャナにより走査して取得されたサンプリング物体の幾何学的モデルを分野内に開示されるツールＩｓｏ－ｃｈａｒｔｓにより処理して、テクスチャ座標付きの幾何学的モデルを取得し、
（３）有効テクスチャ座標に対して、上記収集された１組の写真ｒ１、ｒ２、…、ｒπ及びサンプリング点のポーズ情報に基づいて写真における画素を順に取り出して、画素の有効性を判断し、頂点に対するポーズ
【0038】
ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ｊ回目のサンプリングが点ｐに対して有効である判断標準は、
１）ｘｐ ｊが該サンプリングにおいてビデオカメラにとって可視となるものであり、且つｘｐ ｊがネットワークをトレーニングする際に定義したサンプリング空間内にあること、
２）
であり、
がドット積操作であり、θが有効サンプリング角度の下限であり、本実施例ではθ＝０．３であること、
３）写真における画素の各チャネル数値が区間［ａ，ｂ］にあり、ａとｂが有効サンプリング輝度の下限と上限であり、本実施例ではａ＝３２、ｂ＝２２４であること、に表現され、
３つの条件が全て満足される場合、ｊ回目のサンプリングが点ｐに対して有効であると見なされ、ｊ回目のサンプリング結果を高次元点群に追加し、
（４）マテリアルパラメータをフィッティングし、それは下記１）及び２）の２つのステップに分けられる。
１）ローカル座標系及び粗度のフィッティング
ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ネットワークから出力される単一チャネルの鏡面反射ベクトルに基づいてＬ－ＢＦＧＳ－Ｂ方法によってマテリアルパラメータにおけるローカル座標系及び粗度をフィッティングし、最適化目標は、以下の式１４に示され、
ここで、ｉは（６．３）における仮想光源の番号であり、ｍｓ（ｌ）はネットワークにより予測された鏡面反射特徴ベクトルのｌ番目の次元における値を示し、ωｉ′は該番号ｌの仮想光源とサンプリング点とがなす入射角を示し、ωｏ′はサンプリング点から（６．２）における仮想ビデオカメラまでなす出射角を示し、Ｐは該サンプリング点のレンダリングのための法線ベクトルｎ′、接ベクトルｔ′及び他のマテリアルパラメータｐ′を含み、選択されたモデルの相違によって異なる。この工程がＧＧＸモデルを用いる場合、ｐ′は異方性粗度、鏡面反射率、乱反射率を含む。上記最適化目標においてｎ′、ｔ′、ｐ′が最適化可能なパラメータである。
１）ｘｐ ｊが該サンプリングにおいてビデオカメラにとって可視となるものであり、且つｘｐ ｊがネットワークをトレーニングする際に定義したサンプリング空間内にあること、
２）
３）写真における画素の各チャネル数値が区間［ａ，ｂ］にあり、ａとｂが有効サンプリング輝度の下限と上限であり、本実施例ではａ＝３２、ｂ＝２２４であること、に表現され、
３つの条件が全て満足される場合、ｊ回目のサンプリングが点ｐに対して有効であると見なされ、ｊ回目のサンプリング結果を高次元点群に追加し、
（４）マテリアルパラメータをフィッティングし、それは下記１）及び２）の２つのステップに分けられる。
１）ローカル座標系及び粗度のフィッティング
ある有効テクスチャ座標に対して決定されたサンプリング物体の表面上の点ｐについて、ネットワークから出力される単一チャネルの鏡面反射ベクトルに基づいてＬ－ＢＦＧＳ－Ｂ方法によってマテリアルパラメータにおけるローカル座標系及び粗度をフィッティングし、最適化目標は、以下の式１４に示され、
【数14】
【0039】
２）反射率のフィッティング
該過程は信頼領域アルゴリズムによって鏡面反射率及び乱反射率を求め、フィッティング目標は、以下の式１５に示され、
ここで、
は該画素がｊ番目のフィッティングのための視角において、上記最適化して取得された照明パターンにより照射された後、ビデオカメラの観測値を示す。Ｂｊは該画素がｊ番目のフィッティングのための視角において、前の過程において取得されたｎ′及びｔ′並びに粗度を用いて合成した観測値を示す。カラー光源の場合に合成パラメータは補正して取得されたカラー補正行列δ（ｃ１，ｃ２，ｃ３）を更に含む。Ｂｊの計算過程は以下のとおりである。
まず、乱反射率を１、鏡面反射率を０とし、前のステップにおいて取得されたレンダリングのための座標系及び粗度によってｊ番目の視角における乱反射Ｌｕｍｉｔｅｘｅｌ、
をレンダリングする。次に、乱反射率を０、鏡面反射率を１とし、前のステップにおいて取得されたレンダリングのための座標系及び粗度によってｊ番目の視角における鏡面反射Ｌｕｍｉｔｅｘｅｌ、
をレンダリングする。２つのＬｕｍｉｔｅｘｅｌを接続して行列
を形成し、サイズはＮ×２であり、ここで、Ｎがサンプリング装置の光源数である。サンプリングする際に用いるサイズ３×Ｎの照明パターン行列ＷｌをＭｊに乗じてＷｌＭｊを取得し、サイズが３×２である。更にサイズ２×３の最適化可能な変数ρｄ，ｓに乗じて、以下の式１６を取得し、
Ｔのサイズが３×３であり、そのコピーを接続してテンソル
を形成し、下位二次元で和を求めて、最終的に三次元ベクトルＢｊを取得する。カラー光源の場合、
を、装置を校正して取得したカラー補正行列δ（ｃ１，ｃ２，ｃ３）に要素ごとに乗じから下位二次元で和を求める必要がある。
該過程は信頼領域アルゴリズムによって鏡面反射率及び乱反射率を求め、フィッティング目標は、以下の式１５に示され、
【数15】
まず、乱反射率を１、鏡面反射率を０とし、前のステップにおいて取得されたレンダリングのための座標系及び粗度によってｊ番目の視角における乱反射Ｌｕｍｉｔｅｘｅｌ、
【数16】
【0040】
以下、１つの具体的な収集装置のシステム実例を挙げて、図１はシステム実例の三次元表示であり、図２は正面図であり、図３は側面図であり、該収集装置は１つのランプパネルで構成され、上部には画像を収集するための１つのカメラが固定される。ランプパネルには計５１２個のＬＥＤランプビーズが密集して配列される。ランプビーズはＦＰＧＡにより制御され、発光輝度及び発光時間を調整することができる。
【0041】
以下、本発明の方法を応用する１つの取得システム実例を挙げて、システム全体は下記いくつかのモジュールに分けられる。
【0042】
用意モジュールについては、
ネットワークトレーニングにデータセットを提供し、該部分がＧＧＸモデルを用い、１組のマテリアルパラメータ及びｋ個のサンプリング点のポーズ情報、ビデオカメラの位置を入力すると、ｋ個の反射状況で構成される高次元点群を取得することができる。ネットワークトレーニング部はＰｙｔｏｒｃｈオープンソースフレームワークを用い、且つＡｄａｍ最適化装置によってトレーニングを行う。ネットワーク構造は図６に示されるとおりであり、各矩形が１層のニューロンを示し、矩形中の数字が該層のニューロンの個数を示す。最左側の層が入力層であり、最右側の層が出力層である。層と層との間の実線矢印が完全接続を示し、破線矢印が畳み込みを示す。
ネットワークトレーニングにデータセットを提供し、該部分がＧＧＸモデルを用い、１組のマテリアルパラメータ及びｋ個のサンプリング点のポーズ情報、ビデオカメラの位置を入力すると、ｋ個の反射状況で構成される高次元点群を取得することができる。ネットワークトレーニング部はＰｙｔｏｒｃｈオープンソースフレームワークを用い、且つＡｄａｍ最適化装置によってトレーニングを行う。ネットワーク構造は図６に示されるとおりであり、各矩形が１層のニューロンを示し、矩形中の数字が該層のニューロンの個数を示す。最左側の層が入力層であり、最右側の層が出力層である。層と層との間の実線矢印が完全接続を示し、破線矢印が畳み込みを示す。
【0043】
収集モジュールについては、
装置は図１、２、３に示されるとおりであり、以上は具体的な構造を説明したが、このシステムにおいて定義されたサンプリング空間のサイズ、並びに収集装置とサンプリング空間との空間的な位置関係は図４に示される。
装置は図１、２、３に示されるとおりであり、以上は具体的な構造を説明したが、このシステムにおいて定義されたサンプリング空間のサイズ、並びに収集装置とサンプリング空間との空間的な位置関係は図４に示される。
【0044】
回復モジュールについては、
三次元で再構築して取得されたサンプリング物体の幾何学的モデル又は位置合わせされた後のスキャナにより走査して取得されたサンプリング物体の幾何学的モデルによってテクスチャ座標付きの幾何学的モデルを計算して取得し、トレーニング済みのニューラルネットワークをロードし、テクスチャ座標付きの幾何学的モデルの各頂点に対してマテリアル特徴ベクトルを予測し、レンダリングのための座標系及びマテリアルパラメータをフィッティングする。
三次元で再構築して取得されたサンプリング物体の幾何学的モデル又は位置合わせされた後のスキャナにより走査して取得されたサンプリング物体の幾何学的モデルによってテクスチャ座標付きの幾何学的モデルを計算して取得し、トレーニング済みのニューラルネットワークをロードし、テクスチャ座標付きの幾何学的モデルの各頂点に対してマテリアル特徴ベクトルを予測し、レンダリングのための座標系及びマテリアルパラメータをフィッティングする。
【0045】
図５は本実施例の作業プロセスである。まず、トレーニングデータを生成し、ランダムにサンプリングして２億個のＬｕｍｉｔｅｘｅｌを取得し、その８０％をトレーニングセットとし、残りを検証セットとする。ネットワークをトレーニングする際にＸａｖｉｅｒ方法によってパラメータを初期化し、学習率を１ｅ－４とする。照明パターンがカラーであり、照明行列のサイズが（３，５１２）であり、行列の３行がそれぞれ赤、緑、青の３つのチャネルの照明パターンを示す。トレーニングが終了した後、照明行列を取り出して照明パターンに変換し、各列のパラメータが該位置での光源の発光強度を指定しており、図７にはネットワークをトレーニングして取得された１つの赤、緑、青の３つのチャネルの照明パターンを示す。次のプロセスは以下のとおりである。第１として、装置を手で持って、ランプパネルを照明パターンに応じて発光させ、ビデオカメラで物体を同時に撮影して、１組のサンプリング結果を取得する。第２として、三次元で再構築して取得されたサンプリング物体の幾何学的モデル又は位置合わせされた後のスキャナにより走査して取得されたサンプリング物体の幾何学的モデルをＩｓｏｃｈａｒｔによって処理して、テクスチャ座標付きの幾何学的モデルを取得する。第３として、テクスチャ座標付きの幾何学的モデルの各頂点に対して、サンプリング時のポーズ及びサンプリング写真の画素値に基づいて対応する有効な実際撮影データを見つけて、高次元点群を構成してネットワークに入力して、乱反射特徴ベクトル及び鏡面反射特徴ベクトルを回復する。第４として、ネットワークから出力される乱反射特徴ベクトル及び鏡面反射特徴ベクトルに基づいて、各頂点に対してＬＢＦＧＳ－Ｂ方法によってレンダリングのための座標系及び粗度をフィッティングし、信頼領域アルゴリズムによって鏡面反射率及び乱反射率を求める。
【0046】
【0047】
図９には上記システムによりサンプリング物体に対してマテリアル外観走査を行って回復したマテリアル属性結果を示し、第１行がそれぞれサンプリング物体の
の３つの成分を示し、第２行がそれぞれサンプリング物体の
の３つの成分を示し、第３行がそれぞれサンプリング物体の粗度係数αｘ、αｙを示し、階調値が数値の大きさを代表する。
【0048】
以上は単に好適な実施例であり、本発明は上記実施形態に限らず、同じ手段で本発明の技術的効果を実現するものであれば、いずれも本発明の保護範囲に属すべきである。本発明の保護範囲内に、その技術案及び／又は実施形態は種々の異なる修正及び変化を行うことができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】