特開 2024-106197 シミュレーションモデル編集装置、及びシミュレーションモデル編集方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106197

(43)【公開日】2024-08-07

(54)【発明の名称】シミュレーションモデル編集装置、及びシミュレーションモデル編集方法

(51)【国際特許分類】

   H04B 17/391 20150101AFI20240731BHJP

   G06T 7/00 20170101ALI20240731BHJP

【ＦＩ】

H04B17/391

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023010378

(22)【出願日】2023-01-26

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】小山 亮

(72)【発明者】

【氏名】河内 智志

(72)【発明者】

【氏名】池田 慎二

(72)【発明者】

【氏名】近藤 健史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096CA02

5L096DA02

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

【課題】材質判定の精度を向上させることが可能なシミュレーションモデル編集装置、及びシミュレーションモデル編集方法を提供する。
【解決手段】一態様に係るシミュレーションモデル編集装置は、画像データと３次元情報とを取得する制御部と、３次元情報に基づいて仮想空間上のシミュレーションモデルを表示する表示部と、を有する。前記表示部は、シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を画像データに基づいて表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像データと３次元情報とを取得する制御部と、
前記３次元情報に基づいて仮想空間上のシミュレーションモデルを表示する表示部と、を有し、
前記表示部は、前記シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を前記画像データに基づいて表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を表示する
シミュレーションモデル編集装置。

【請求項2】

記憶部を更に有し、
前記制御部は、前記画像データと前記３次元情報とを紐づけて前記記憶部に記憶する
請求項１記載のシミュレーションモデル編集装置。

【請求項3】

前記制御部は、前記３次元情報をクラスタリングして、前記物体毎の前記３次元情報を取得する
請求項２記載のシミュレーションモデル編集装置。

【請求項4】

前記制御部は、前記画像データに基づいて、前記物体に含まれる画素数が最も多い画像フレームを、前記物体の代表画像として選択し、
前記表示部は、前記オブジェクトが選択されると、前記現実空間上の画像として前記代表画像を表示する
請求項３記載のシミュレーションモデル編集装置。

【請求項5】

前記表示部は、前記代表画像において、前記オブジェクトに対応する前記物体の領域をトリミングした材質判定用画像を他の物体よりも強調して表示する
請求項４記載のシミュレーションモデル編集装置。

【請求項6】

前記制御部は、前記材質判定用画像の画像データに基づいて、機械学習を用いて前記物体の材質を予測したときの教師データとの一致率を表す材質予測確率が閾値未満か否かを判定し、
前記表示部は、前記材質予測確率が前記閾値未満である前記オブジェクトを、前記材質予測確率が前記閾値以上である前記オブジェクトよりも強調して表示する
請求項５記載のシミュレーションモデル編集装置。

【請求項7】

前記材質選択画面は、前記機械学習を用いて予測された前記物体の材質を修正する材質修正画面である
請求項６記載のシミュレーションモデル編集装置。

【請求項8】

前記表示部は、前記材質修正画面により前記物体の材質が修正されたとき、前記物体に対応する前記オブジェクトを、他のオブジェクトよりも強調して前記シミュレーションモデル上で表示する
請求項７記載のシミュレーションモデル編集装置。

【請求項9】

前記表示部は、材質が修正された前記物体と類似する類似物体が他の画像フレームに存在するとき、当該類似物体の材質を一括修正することが可能な一括修正画面を表示する
請求項７記載のシミュレーションモデル編集装置。

【請求項10】

表示部を有するシミュレーションモデル編集装置におけるシミュレーションモデル編集方法であって、
画像データと３次元情報とを取得するステップと、
前記３次元情報に基づいて仮想空間上のシミュレーションモデルを前記表示部に表示するステップと、
前記シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を前記画像データに基づいて前記表示部に表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を前記表示部に表示するステップと、を有する
シミュレーションモデル編集方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シミュレーションモデル編集装置、及びシミュレーションモデル編集方法に関する。

【背景技術】

【0002】

従来、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）システムやローカル５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）システム等の無線システムを導入する際に行われる無線システム設計においては、仮想空間上に構築した３次元のシミュレーションモデルを利用したシミュレーションによりエリア設計が行われる場合がある。

【0003】

無線システムにおけるシミュレーションでは、無線局から送信された電波が、対象エリア内に存在する壁や什器などの構造物に対して、どのように反射したり、透過したり、回折するのかを仮想空間上でシミュレートする場合がある。このようなシミュレーションを電波伝搬シミュレーションと呼ぶ。

【0004】

電波伝搬シミュレーションにおいては、対象エリアに存在する構造物について、その形状、サイズ、及び材質などについてはマニュアル（手作業）により入力される場合がある。電波伝搬シミュレーション後、対象エリア内において実際に測定が行われ、エリア設計の妥当性が確認される。その際、電波伝搬シミュレーションによるシミュレーション結果と実際の測定結果とに乖離がある場合は、構造物の材質などを見直して、再度、電波伝搬シミュレーションが行われる場合がある。

【0005】

電波伝搬シミュレーションに関して、以下のような技術がある。すなわち、ネットワーク上から自動収集した種々の物体の画像に基づいて、物体を種類ごとに分類した分類用データを蓄積し、分類用データを参照して、通信エリアの画像から抽出した物体の種類を認識し、データベースを参照して、当該物体の種類に対応する媒質定数を推定する、電波伝搬シミュレーションモデルの作成装置がある。

【0006】

この技術によれば、通信エリア内に存在する構造物などの物体の判別性能を大幅に向上することともに、物体の材質定数を自動的に割り当てることにより、精度の高い電波伝搬シミュレーションモデルを作成することができる、とされる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許第６７８１４３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述した電波伝搬シミュレーションモデルの作成装置は、通信エリアの画像データから抽出した物体の種類を、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を利用して判定している。そのため、当該作成装置では、物体の種類を人間の目で判定する場合と比較して、物体の種類を必ずしも正確に判定することができない場合がある。従って、当該作成装置では、データベースを参照しても、物体の材質を正確に推定することができない場合がある。よって、当該作成装置は、精度の高い電波伝搬シミュレーションモデルを作成することができない場合がある。

【0009】

そこで、本開示は、材質判定の精度を向上させることが可能なシミュレーションモデル編集装置、及びシミュレーションモデル編集方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

一態様に係るシミュレーションモデル編集装置は、画像データと３次元情報とを取得する制御部と、３次元情報に基づいて仮想空間上のシミュレーションモデルを表示する表示部と、を有する。前記表示部は、シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を画像データに基づいて表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を表示する。

【0011】

また、一態様に係るシミュレーションモデル編集方法は、表示部を有するシミュレーションモデル編集装置におけるシミュレーションモデル編集方法である。前記シミュレーションモデル編集方法は、画像データと３次元情報とを取得するステップを有する。また、前記シミュレーションモデル編集方法は、３次元情報に基づいて仮想空間上のシミュレーションモデルを表示部に表示するステップを有する。更に、前記シミュレーションモデル編集方法は、シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を画像データに基づいて表示部に表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を表示部に表示するステップを有する。

【発明の効果】

【0012】

本開示によれば、材質判定の精度を向上させることが可能なシミュレーションモデル編集装置、及びシミュレーションモデル編集方法を提供できる。

【図面の簡単な説明】

【0013】

【図1】図１は、第１実施形態に係るシミュレーションモデル編集システムの構成例を表す図である。

【図2】図２は、第１実施形態に係る動作例を表す図である。

【図3】図３は、第１実施形態に係る動作例を表す図である。

【図4】図４は、第１実施形態に係る動作例を表す図である。

【図5】図５は、第１実施形態に係る動作例を表す図である。

【図6】図６は、第１実施形態に係るシミュレーションモデルの表示例を表す図である。

【図7】図７は、第１実施形態に係る代表画像及び材質判定用画像の表示例を表す図である。

【図8】図８は、第１実施形態に係る材質修正ＵＩの例を表す図である。

【図9】図９は、第１実施形態に係る一括修正ＵＩの例を表す図である。

【図10】図１０は、第１実施形態に係るシミュレーションモデルの表示例を表す図である。

【発明を実施するための形態】

【0014】

［第１実施形態］
以下では、図面を参照しながら、実施形態に係るシミュレーションモデル編集装置について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0015】

（シミュレーションモデル編集システムの構成例）
最初に、シミュレーションモデル編集システムの構成例について説明する。

【0016】

図１は、シミュレーションモデル編集システム１０の構成例を表す図である。図１に示すように、シミュレーションモデル編集システム１０は、ＲＧＢＤ（Red Green Blue Depth）カメラ２００と、シミュレーションモデル編集装置１００とを有する。

【0017】

ＲＧＢＤカメラ２００は、電波伝搬シミュレーションモデルの対象となる現実空間の画像を撮像し、撮像した画像から画像データを取得する。また、ＲＧＢＤカメラ２００は、電波伝搬シミュレーションモデルの対象となる現実空間に対する３次元情報（又は点群データ。以下、「３次元情報」と称する場合がある。）を取得する。ＲＧＢＤカメラ２００は、回転可能であってもよく、その周囲をスキャンすることで、対象となる現実空間の画像データと３次元情報とを取得してもよい。

【0018】

図１に示すように、ＲＧＢＤカメラ２００は、画像データ取得部２１０と３次元情報取得部２２０とを有する。

【0019】

画像データ取得部２１０は、撮像した画像から画像データを取得し、取得した画像データをシミュレーションモデル編集装置１００へ送信する。画像データ取得部２１０は、複数の画像フレームの画像データ（すなわち、動画像の画像データ）を取得する。

【0020】

一方、３次元情報取得部２２０は、電波伝搬シミュレーションモデルの対象となる現実空間に対応する３次元情報を取得し、取得した３次元情報をシミュレーションモデル編集装置１００へ送信する。３次元情報取得部２２０は、ＬｉＤＡＲ（Light Detection And Ranging）技術を用いた光源部とカメラ（又は光センサ）との組であってもよい。この場合、光源部からのレーザー光が物体に照射され、反射光をカメラで受光して、照射光と反射光との時間差から深度情報を含む３次元情報を取得してもよい。また、３次元情報取得部２２０は、２つのカメラを含むステレオカメラであってもよい。ステレオカメラは、例えば、物体に対する視差に基づいて、深度情報を含む３次元情報を得るカメラのことである。このように、３次元情報取得部２２０は、公知の手法により、３次元情報を得ることができればよい。なお、３次元情報取得部２２０は、取得した３次元情報を画像化した深度画像（又はデプス画像）の画像データを３次元情報としてシミュレーションモデル編集装置１００へ送信してもよい。

【0021】

画像データ取得部２１０と３次元情報取得部２２０とにより、同一の現実空間に対する画像データ及び３次元情報を同時に取得することが可能となる。

【0022】

シミュレーションモデル編集装置１００は、仮想空間上のシミュレーションモデルを編集する編集装置である。第１実施形態では、シミュレーションモデル編集装置１００は、シミュレーションモデルに含まれるオブジェクトに対応する物体の材質を編集することが可能な編集装置となっている。

【0023】

なお、以下では、現実空間に存在する物体を「物体」と称し、シミュレーションモデル上の物体を「オブジェクト」と称する場合がある。現実空間上の物体と、シミュレーションモデル上のオブジェクトは、後述するように紐づけられており、同じ対象を示している。

【0024】

図１に示すように、シミュレーションモデル編集装置１００は、制御部１１０と、表示部１２０と、記憶部１３０とを含む。

【0025】

制御部１１０は、シミュレーションモデル編集装置１００の各部（表示部１２０及び記憶部１３０）を制御する。制御部１１０は、表示部１２０を制御して、３次元のシミュレーションモデルを表示部１２０に表示させたり、現実空間上の画像を表示部１２０に表示させたりすることが可能である。また、制御部１１０は、画像データと３次元情報とを紐づけて記憶部１３０に記憶することが可能である。

【0026】

図１に示すように、制御部１１０は、取得部１１１と、クラスタリング部１１２と、代表画像選択部１１３と、材質判定用画像生成部１１４と、材質判定部１１５と、材質修正部１１６とを含む。

【0027】

取得部１１１は、画像データ取得部２１０から画像データを取得し、３次元情報取得部２２０から３次元情報を取得する。取得部１１１は、取得した画像データと３次元情報とを紐づける。例えば、取得部１１１は、実空間上の２次元座標（ｘ１，ｙ１）に対応する画像データ（又は画素値）と、同一座標を含む実空間上の３次元座標（ｘ１，ｙ１，ｚ１）に対応する３次元情報とを紐づける。これにより、例えば、３次元情報が選択されると、当該３次元情報に紐づけられた画像データが選択可能となる。或いは、画像データが選択されると、当該画像データに紐づけられた３次元情報が選択可能となってもよい。取得部１１１は、紐づけた画像データと３次元情報とを記憶部１３０に記憶してもよい。取得部１１１は、画像データと紐づけた３次元情報をクラスタリング部１１２へ出力する。

【0028】

クラスタリング部１１２は、３次元情報をクラスタリングすることで、３次元情報を物体毎に分割し、物体毎の３次元情報を取得する。ここで、第１実施形態に係るクラスタリング手法の例について説明する。

【0029】

（クラスタリング手法）
第１に、クラスタリング部１１２は、ＲＡＮＳＡＣ（Random Sample Consensus）法を用いて、３次元情報から平面検出を行ってもよい。例えば、クラスタリング部１１２は、以下のようにして３次元情報から平面検出を行う。

【0030】

すなわち、クラスタリング部１１２は、３次元情報の各点を間引くフィルタ処理を行う。例えば、クラスタリング部１１２は、複数の３次元情報の重心点を代表点として他の３次元情報を間引くことで、フィルタ処理を行う。次に、クラスタリング部１１２は、フィルタ処理後の３次元情報に対してセグメンテーション処理（又はクラスタリング処理）を行う。セグメンテーション処理は、当該３次元情報を物体毎にクラスタリングする処理である。例えば、クラスタリング部１１２は、ある点（３次元情報）を中心にした領域の法線ベクトルを算出し、隣接領域の法線ベクトルと比較して、２つの法線ベクトルのなす角が閾値以下の場合に隣接領域を当該領域と同じ領域とみなして平面領域を拡大する。このような手法は「領域成長法」と呼ばれる。次に、クラスタリング部１１２は、各物体（又は各クラスタ）の３次元情報に対して、ＲＡＮＳＡＣ法による平面検出を行う。ＲＡＮＳＡＣ法は、例えば、外れ値（又はノイズ値）を含むデータから外れ値の影響を除外してモデルのパラメータを学習する手法である。モデルは、ここでは、ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で表される平面モデルとしている。クラスタリング部１１２は、ＲＡＮＳＡＣ法により、例えば、物体毎にパラメータａ、ｂ、ｃ、ｄを得ることで、各物体のモデル、すなわち、平面検出を行う。

【0031】

なお、クラスタリング部１１２は、検出後のモデルに対して、パラメータａ、ｂ、ｃ、ｄに基づいて、「水平面」、「垂直面」、「天井又は床」の３つのカテゴリに分類し、分類した各カテゴリに基づいて、平面モデルを構築するようにしてもよい。クラスタリング部１１２は、平面モデルに基づいて、仮想空間上のシミュレーションモデルの一部（天井、床、壁面など）を構築してもよい。

【0032】

上述した平面検出の手法は、“屋内環境の点群データを用いた平面モデル作成手法の提案およびレイトレース法による電波伝搬評価”、岡村航, 松山祐樹, 吉敷由起子, 陳志航, 齋藤健太郎, 高田潤一、電子情報通信学会 信学技報、vol. 118, no. 451, AP2018-173, pp. 19-24, 2019年2月に記載される手法である。平面検出は、上述した手法以外にも公知の手法により行われてもよい。

【0033】

第２に、クラスタリング部１１２は、平面以外の物体については、ＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）を用いてクラスタリングを行ってもよい。例えば、クラスタリング部１１２は、上述したＲＡＮＳＡＣ法によるクラスタリング処理において、平面検出を行うことができなかった３次元情報（又は平面検出された３次元情報以外の３次元情報）に対して、ＤＢＳＣＡＮによるクラスタリングを行ってもよい。ＤＢＳＣＡＮは、例えば、コア点（３次元情報）から所定距離（又は所定半径）以内の到達可能な点（３次元情報）を同一クラスタと判定して、クラスタを成長させるようにした密度準拠型のクラスタリング手法である。クラスタリング部１１２は、ＤＢＳＣＡＮ以外のクラスタリング手法を用いて、平面以外の物体に属する３次元情報を得るようにしてもよい。

【0034】

以上、クラスタリング手法について説明した。

【0035】

クラスタリング部１１２は、クラスタリングした３次元情報に基づいて、仮想空間上にシミュレーションモデルを構築してもよい。仮想空間上のシミュレーションモデルでは、１つの物体に属する３次元情報が１つのオブジェクトの中に含まれることになる。複数のオブジェクトにより、シミュレーションモデルが構築されてもよい。この場合、クラスタリング部１１２は、仮想空間上にシミュレーションモデルを生成（又は構築）するシミュレーションモデル生成部であってもよい。クラスタリング部１１２は、クラスタリングした３次元情報を、外部のシミュレーションモデル生成装置へ送信してもよい。この場合、クラスタリング部１１２は、シミュレーションモデル生成装置で生成されたシミュレーションモデルの情報を、シミュレーションモデル生成装置から取得する。

【0036】

上述したように、３次元情報には、画像データが紐づけられている。従って、シミュレーションモデル上の各オブジェクトに含まれる各点（３次元情報）には、画像データが紐づけられている。クラスタリング部１１２は、３次元情報をクラスタリングすることで、当該３次元情報に紐づけられた画像データもクラスタリングすることになる。

【0037】

代表画像選択部１１３は、クラスタリングされた画像データに基づいて、物体に含まれる画素数が最も多い画像フレームを、当該物体の代表画像として選択する。代表画像選択部１１３では、例えば、以下のようにして代表画像を選択する。すなわち、代表画像選択部１１３は、画像フレーム毎に、クラスタリングされた画像データのエッジ部分を検出する。代表画像選択部１１３は、画像フレーム間において、エッジ部分の領域が同一範囲内にある画像を同一物体、エッジ部分の領域が所定画素範囲内にある画像を類似物体として把握する。そして、代表画像選択部１１３は、各画像フレームに含まれる当該類似物体について、最も多くの画素数を有する画像フレームを代表画像として選択する。代表画像選択部１１３は、各画像フレームに含まれる全ての物体に対して上述した処理を行う。代表画像は、撮像した画像フレームの中で、当該物体が最も大きく映っている画像となっている。

【0038】

代表画像選択部１１３は、表示部１２０を制御して、表示部１２０に代表画像を表示させることができる。具体的には、代表画像選択部１１３は、仮想空間上のシミュレーションモデルが表示部１２０に表示されている際に、シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体の代表画像を表示部１２０に表示させることができる。

【0039】

材質判定用画像生成部１１４は、材質判定用画像を生成する。材質判定用画像は、代表画像に含まれる物体の領域をトリミングした（又は切り出した、或いは抽出した）画像のことである。代表画像は、物体が最も大きく映っている画像であって、当該物体の領域（又は範囲）をトリミングした画像が材質判定用画像となる。材質判定用画像は、物体の材質を判定するための画像である。代表画像は、当該物体の情報量が最も多い画像であって、その物体が映っている画像部分を材質判定用として用いることで、材質判定の精度を向上させることが可能となる。材質判定用画像生成部１１４は、表示部１２０を制御して、表示部１２０に材質判定用画像を表示させることができる。

【0040】

材質判定部１１５は、材質判定用画像の画像データに基づいて、材質判定用画像に映っている物体の材質を予測する。材質判定部１１５は、Ｄｅｅｐ ＴＥＮ（Texture Encoding Network）などのＣＮＮを用いた機械学習による画像認識技術を用いて、物体の材質を予測してもよい。具体的には、材質判定部１１５は、材質判定用画像の画像データに基づいて、物体の大きさ、物体の位置、及び物体の形状などを特定することで、物体の種別（机、椅子など）を特定してもよい。例えば、物体毎の教師データが記憶部１３０に予め記憶されており、材質判定部１１５が、教師データと特定した物体とを比較することで、物体の種別を特定してもよい。そして、記憶部１３０には、物体の種別毎に、物体の材質候補の画像データが教師データとして予め記憶されており、材質判定部１１５は、種別を特定した物体の画像データと、当該教師データとを比較することで、物体の材質を特定してもよい。

【0041】

なお、材質判定部１１５は、機械学習を用いて物体の材質を予測したときの教師データとの一致率（又はスコア）を表す材質予測確率を算出する。このように、材質判定部１１５では、物体の材質を予測し、材質予測確率を算出する。

【0042】

材質修正部１１６は、シミュレーションモデルに含まれるオブジェクトの材質が修正可能（又は選択可能）な材質選択画面を表示部１２０に表示させる。材質選択画面は、機械学習を用いて予測された物体の材質を、修正する材質修正画面（又は材質修正ＵＩ）であってもよい。以下では、「材質選択画面」を「材質修正ＵＩ」と称する場合がある。

【0043】

表示部１２０は、制御部１１０の制御により、３次元情報に基づいて仮想空間上のシミュレーションモデルを表示する。また、表示部１２０は、制御部１１０の制御により、シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を画像データに基づいて表示するとともに、当該オブジェクトの材質が修正可能（又は選択可能）な材質修正ＵＩ（又は材質選択画面）を表示する。表示部１２０の表示例は動作例において説明する。

【0044】

記憶部１３０は、制御部１１０の制御により各種データ及び各種情報を記憶する。記憶部１３０は、制御部１１０の制御により、画像データと３次元情報とを紐づけて記憶する。記憶部１３０は、制御部１１０で実行可能なプログラムを記憶してもよい。この場合、制御部１１０は、少なくとも１つのプロセッサを含んでもよい。制御部１１０は、ＣＰＵ（Central Processing Unit）、ＭＣＵ（Micro Control Unit）、ＦＰＧＡ（Field Programmable Gate Array）、及びＧＰＵ（Graphics Processing Unit）のいずれかのプロセッサを含んでもよい。プロセッサと記憶部１３０とによりコンピュータが構成されてもよい。制御部１１０は、記憶部１３０に記憶されたプログラムを読みだして実行することで、取得部１１１、クラスタリング部１１２、代表画像選択部１１３、材質判定用画像生成部１１４、材質判定部１１５、及び材質修正部１１６の各部を各機能として実行してもよい。

【0045】

（第１実施形態に係る動作例）
次に、第１実施形態に係る動作例について説明する。

【0046】

図２は、第１実施形態に係る動作例を表すフローチャートである。図２に示す動作例は、主に、シミュレーションモデル編集装置１００の制御部１１０と表示部１２０とにおいて行われる。

【0047】

図２に示すように、ステップＳ１０において、制御部１１０は処理を開始する。

【0048】

ステップＳ１１において、ＲＧＢＤカメラ２００は、シミュレーションモデルの対象となる現実空間の撮影を開始する。

【0049】

ステップＳ１２において、制御部１１０（又は取得部１１１）は、画像データと３次元情報とをＲＧＢＤカメラ２００から取得し、取得した画像データと３次元情報とを紐づける。制御部１１０（又は取得部１１１）は、紐づけた画像データと３次元情報とを記憶部１３０に記憶してもよい。

【0050】

ステップＳ１３において、ＲＧＢＤカメラ２００は、シミュレーションモデルの対象となる現実空間の全ての物体の撮影を終了すると、現実空間の撮影を終了する。

【0051】

ステップＳ１４において、制御部１１０（又はクラスタリング部１１２）は、３次元情報をクラスタリングする。クラスタリング手法は、上述したように、平面検出はＲＡＮＳＡＣ法が用いられ、平面以外の物体検出はＤＢＳＣＡＮが用いられてもよい。クラスタリングにより、物体毎に３次元情報が分類されるとともに、物体毎に画像データが分類される。

【0052】

ステップＳ１５において、制御部１１０は、代表画像選択処理を行う。

【0053】

図３は、代表画像選択処理の動作例を表すフローチャートである。

【0054】

図３に示すように、ステップＳ１５０において、制御部１１０は、代表画像選択処理を開始する。

【0055】

ステップＳ１５１において、制御部１１０は、クラスタリングした物体毎に、代表画像の選択（ステップＳ１５２からステップＳ１５８）と材質判定用画像の生成（ステップＳ１５９からステップＳ１６０）とを行う。

【0056】

すなわち、ステップＳ１５２において、制御部１１０（又は代表画像選択部１１３）は、暫定の画素数及び暫定のフレームを初期化する。例えば、制御部１１０（又は代表画像選択部１１３）は、暫定の画素数を所定の画素数とすることで初期化し、暫定のフレームを最初の画像フレーム（フレーム番号＝１の画像フレーム）とすることで初期化してもよい。

【0057】

ステップＳ１５３において、制御部１１０（又は代表画像選択部１１３）は、各画像フレームについて以下の処理を行う。

【0058】

すなわち、ステップＳ１５４において、制御部１１０（又は代表画像選択部１１３）は、各画像フレームについて物体の画素数を計算する。画像データは、クラスタリング（ステップＳ１４）により物体毎にクラスタリングされている。そのため、制御部１１０（又は代表画像選択部１１３）は、クラスタリングした画像データを利用して、各物体に含まれる画素数を計算してもよい。

【0059】

ステップＳ１５５において、制御部１１０（又は代表画像選択部１１３）は、計算した画素数が暫定の画素数よりも多いか否かを判定する。ステップＳ１５５において、計算した画素数が暫定の画素数よりも多いとき（ステップＳ１５５でＹｅｓ）、処理はステップＳ１５６へ移行する。一方、ステップＳ１５５において、計算した画素数が暫定の画素数以下のとき（ステップＳ１５５でＮｏ）、処理はステップＳ１５７へ移行する。

【0060】

ステップＳ１５６において、制御部１１０（又は代表画像選択部１１３）は、暫定の画素数を、暫定の画素数よりも多い画像フレームに写る物体の画素数に更新し、暫定のフレームを、当該画像フレームに更新する。

【0061】

ステップＳ１５７において、制御部１１０（又は代表画像選択部１１３）は、取得した全ての画像フレームについてステップＳ１５４からステップＳ１５６までの処理を行ったか否かを判定する。取得した全ての画像フレームについてステップＳ１５４からステップＳ１５６までの処理が行われた場合、処理はステップＳ１５８へ移行する。一方、取得した全ての画像フレームについてステップＳ１５４からステップＳ１５６までの処理が行われていない場合、処理は再びステップＳ１５３へ移行する。

【0062】

ステップＳ１５８において、制御部１１０（又は代表画像選択部１１３）は、暫定のフレームを代表画像として選択する。上述したように、当該物体について最も画素数の多い画像フレームの画像が代表画像として選択されることになる。

【0063】

ステップＳ１５９において、制御部１１０（又は材質判定用画像生成部１１４）は、代表画像に含まれる物体の範囲を求める。

【0064】

ステップＳ１６０において、制御部１１０（又は材質判定用画像生成部１１４）は、求めた物体の範囲をトリミングした画像を、材質判定用画像とする。

【0065】

図７は、代表画像及び材質判定用画像の例を表す図である。図７では、机の上に位置するパーソナルコンピュータの「モニタ」を「物体」とする代表画像の例を表している。また、図７では、「モニタ」を含む画像が材質判定用画像となっている例を表している。図７では、材質判定用画像の領域に、四角の太枠が表示され、材質判定用画像が強調表示されている例を表している。このように、制御部１１０（又は材質判定用画像生成部１１４）では、代表画像から材質判定用画像を生成することができる。

【0066】

図３に戻り、ステップＳ１６１において、制御部１１０は、画像データに含まれる全ての物体について、代表画像の選択と材質判定用画像の生成との処理を行ったか否か（又はステップＳ１５２からステップＳ１６０までの処理を行ったか否か）を判定する。画像データに含まれる全ての物体について、代表画像の選択と材質判定用画像の生成との処理が行われた場合、処理はステップＳ１６２へ移行する。一方、画像データに含まれる全ての物体について、代表画像の選択と材質判定用画像の生成との処理が行われなかった場合、処理はステップＳ１５１へ再び移行する。

【0067】

ステップＳ１６２において、制御部１１０は、代表画像選択処理を終了する。

【0068】

代表画像選択処理により、シミュレーションモデル編集装置１００は、物体毎に、代表画像及び材質判定用画像を得ることができる。

【0069】

図２に戻り、ステップＳ１７において、制御部１１０（又は材質判定部１１５）は、材質判定用画像に対して材質判定を行い、暫定材質及び材質予測確率を取得する。制御部１１０（又は材質判定部１１５）は、上述したように、Ｄｅｅｐ ＴＥＮ（Texture Encoding Network）などのＣＮＮを用いた機械学習による画像認識技術を用いて、物体の材質を予測してもよく、この場合、予測した物体の材質を暫定材質とする。また、制御部１１０（又は材質判定部１１５）は、上述したように教師データとの一致率（又はスコア）を材質予測確率としてもよい。材質判定用画像は、画像フレームの中で当該物体に関する情報量が最も多く、かつ、他の物体に関する情報が最も少ない画像となっている。そのため、材質判定部１１５が材質判定用画像を用いて材質判定を行うことで、材質判定用画像を用いない場合と比較して、材質判定部１１５における材質判定の精度を向上させることが可能となる。

【0070】

ステップＳ１８において、制御部１１０は、材質修正処理を行う。

【0071】

図４及び図５は、材質修正処理の動作例を表すフローチャートである。

【0072】

図４に示すように、ステップＳ１８０において、制御部１１０は、材質修正処理を開始する。

【0073】

ステップＳ１８１において、表示部１２０は、３次元情報に基づいて仮想空間上のシミュレーションモデルを表示する。上述したように、クラスタリング部１１２は、３次元情報に基づいて、平面検出と、平面以外の物体検出とを行うことで、現実空間上の物体に対応するオブジェクトを生成し、当該オブジェクトを仮想空間上に構築することで、シミュレーションモデルを構築してもよい。或いは、クラスタリング部１１２は、物体毎にクラスタリングした３次元情報を、外部のシミュレーションモデル生成装置へ送信し、シミュレーションモデル生成装置で生成されたシミュレーションモデルの情報をシミュレーションモデル生成装置から受信してもよい。いずれの場合も、制御部１１０（又はクラスタリング部１１２）は、シミュレーションモデルに関する情報を表示部１２０に出力することで、表示部１２０は、３次元情報に基づいて仮想空間上のシミュレーションモデルを表示することができる。

【0074】

ステップＳ１８２において、制御部１１０（又は材質修正部１１６）は、シミュレーションモデル上の各オブジェクトに対して、ステップＳ１８３からステップＳ１８５までの処理を繰り返す。

【0075】

すなわち、ステップＳ１８３において、制御部１１０（又は材質修正部１１６）は、オブジェクトに対応する物体の材質予測確率が閾値未満であるか否かを判定する。ステップＳ１８３において、材質予測確率が閾値以上のとき（ステップＳ１８３でＮｏ）、処理はステップＳ１８４へ移行する。一方、ステップＳ１８３において、材質予測確率が閾値未満のとき（ステップＳ１８３でＹｅｓ）、処理はステップＳ１８５へ移行する。

【0076】

ステップＳ１８４において、制御部１１０（又は材質修正部１１６）は、表示部１２０に表示されたオブジェクトをそのまま表示させる。一方、ステップＳ１８５において、制御部１１０（又は材質修正部１１６）は、表示部１２０に表示されたオブジェクトを他のオブジェクトと比較して強調して表示させる。

【0077】

図６は、第１実施形態に係るシミュレーションモデルの表示例を表す図である。図６に示す例では、職場を表すシミュレーションモデルとなっている。図６に示すように、画面中央付近で、あるオブジェクトが強調表示されている。当該オブジェクトは、当該オブジェクトに対応する物体の材質予測確率が閾値未満であることを表している。このように、表示部１２０は、制御部１１０の制御により、材質予測確率が閾値未満であるオブジェクトを、材質予測確率が閾値以上であるオブジェクトよりも強調して表示する。

【0078】

なお、強調表示は、他のオブジェクトと異なる表示方法であればどのような方法でもよい。例えば、図６に示すように、オブジェクト周囲が白抜きとなってもよい。或いは、オブジェクト周囲が特定の色で表示されてもよい。或いは、オブジェクト自体が他のオブジェクトと異なる色表示で表示されてもよい。或いは、オブジェクト周囲の枠表示により表示されてもよい。

【0079】

図４に戻り、ステップＳ１８６において、制御部１１０は、シミュレーションモデルに含まれる全てのオブジェクトについてステップＳ１８３からステップＳ１８５までの処理が行われたか否かを判定する。全てのオブジェクトについて、当該処理が行われないと、処理はステップＳ１８２へ移行する。一方、全てのオブジェクトについて、当該処理が行われると、処理はステップＳ１８７へ移行する。

【0080】

ステップＳ１８７において、ユーザは、材質を修正したい物体が存在するか否かを判定する。材質を修正したい物体が存在すれば（ステップＳ１８７でＹｅｓ）、処理はステップＳ１８８へ移行する。一方、材質を修正したい物体が存在しなければ（ステップＳ１８７でＮｏ）、処理はステップＳ１９６へ移行する。

【0081】

ステップＳ１８８において、ユーザは、シミュレーションモデルが表示された表示部１２０の画面上において、材質を修正したい物体に対応するオブジェクトを選択する。ユーザは、シミュレーションモデル編集装置１００の操作部を操作することで、当該画面上において、材質を修正したい物体に対応するオブジェクトを選択する。このとき、制御部１１０（又は材質修正部１１６）は、当該ユーザ操作を検出する。制御部１１０（又は材質修正部１１６）は、当該ユーザ操作を検出したとき、材質を修正したい物体が存在すると判定（ステップＳ１８７でＹｅｓ）してもよい。一方、制御部１１０（又は材質修正部１１６）は、当該ユーザ操作を検出しないとき、材質を修正したい物体が存在しないと判定（ステップＳ１８７でＮｏ）してもよい。なお、ユーザ操作による選択対象のオブジェクトは、材質予測確率が閾値未満であるとして強調表示されたオブジェクトでもよいし、強調表示されていない他のオブジェクトでもよい。

【0082】

ステップＳ１８９において、制御部（又は代表画像選択部１１３）は、物体の代表画像を表示部１２０に表示するよう表示部１２０を制御し、更に、代表画像に含まれる材質判定用画像を他の物体よりも強調して表示するよう表示部１２０を制御する。

【0083】

例えば、図６において、所定のオブジェクトが選択されると、図７に示すように、当該オブジェクトに対応する物体の代表画像（及び材質判定用画像）が表示部１２０に表示される。そして、図７に示すように、代表画像において、材質判定用画像が他の物体よりも強調して表示される。図７の例では、材質判定用画像の領域が太枠で表示されることで、材質判定用画像が強調して表示されている。

【0084】

材質判定用画像に対する強調表示は、代表画像において他の物体と異なる表示であればどのような表示方法でもよく、図７に示すように材質判定用画像の領域が太枠で表示されてもよいし、材質判定用画像の周囲が白抜き（又は当該周囲が特定の色表示）で表示されてもよい。

【0085】

このように、表示部１２０は、制御部１１０の制御により、オブジェクトが選択されると、現実空間上の画像として代表画像を表示する。また、表示部１２０は、制御部１１０の制御により、代表画像において、オブジェクトに対応する物体の領域をトリミングした材質判定用画像を他の物体よりも強調して表示する。

【0086】

図４に戻り、ステップＳ１９０において、制御部１１０（又は材質修正部１１６）は、材質修正ＵＩ（ユーザインタフェース）を表示部１２０に表示させる。

【0087】

図８は、第１実施形態に係る材質修正ＵＩの例を表す図である。図８に示す例では、候補となる材質それぞれに対応するラジオボタンが付され、材質判定部１１５により判定された材質に対応するラジオボタンが選択された状態で表示されている。また、図８に示す材質修正ＵＩは、「修正」ボタンが表示されている。ユーザは、候補となる材質のうち、材質判定部１１５により判定された材質とは異なる材質に対応するラジオボタンを選択した後に、「修正」ボタンを押すことで、当該オブジェクトの材質を変更することができる。

【0088】

図４に戻り、ステップＳ１９１において、ユーザは、材質修正ＵＩにおいて、材質を修正したいときは、材質修正ＵＩ上で修正する。すなわち、ユーザは、例えば、図７に示す材質判定用画像を見ながら、図８に示す材質判定ＵＩにおいて、物体の材質を修正（又は選択）することができる。例えば、材質判定部１１５により判定された「モニタ」の材質「金属」に対して、ユーザは、図７に示す材質判定用画像を見て、材質判定ＵＩにおいて、「プラスチック」を選択して「修正」を押す（又はクリックする）。これにより、「モニタ」の材質を「金属」から「プラスチック」へ修正することができる。

【0089】

このように、第１実施形態では、表示部１２０にシミュレーションモデルが表示された状態でオブジェクトが選択されると、現実空間上の画像（すなわち代表画像又は材質判定用画像）が表示部１２０に表示されるとともに、材質修正ＵＩ（又は材質選択画面）が表示部１２０に表示される。しかも、当該画像は代表画像であるため、撮像した画像の中で、物体が最も大きく映った画像が表示部１２０に表示される。

【0090】

そのため、ユーザは、オブジェクトに対応する物体の材質を容易に修正（又は選択）することが可能である。具体的には、例えば、材質修正ＵＩには、材質判定部１１５で判定された物体の材質が表示されているため、ユーザ自身の目で判別した物体の材質と比較することで、材質判定部１１５で判定された物体の材質が合っているか否かも容易に判別することができる。材質判定部１１５で判定された物体の材質が合っていないとユーザが判別したときは、材質修正ＵＩから正解となる材質を修正（又は選択）することが可能である。

【0091】

従って、第１実施形態に係るシミュレーションモデル編集装置１００では、材質判定部１１５のみで材質を判定する場合と比較して、材質判定の精度を向上させることが可能となる。そのため、材質判定部１１５のみで材質を判定する場合と比較して、シミュレーションの精度も向上させることが可能となる。

【0092】

また、ユーザは、材質判定用画像を見ながら、物体の材質を修正できるため、ユーザが現物を見る必要がなくなり、現物を見る場合と比較して、作業効率を向上させることも可能となる。

【0093】

なお、材質判定用画像を含む代表画像と材質判定ＵＩとは、同一画面上に同時に表示されてもよい。例えば、図７に示す代表画像において、図８に示す材質修正ＵＩが表示されてもよい。或いは、図７に示す代表画像と図８に示す材質修正ＵＩとが同一画面上に並列して表示されてもよい。

【0094】

図５のステップＳ１９２において、制御部１１０（又は材質修正部１１６）は、材質を修正した物体と類似した物体が他の画像フレームに存在するか否かを判定する。材質を修正した物体と類似した物体が存在するとき（ステップＳ１９２でＹｅｓ）、処理はステップＳ１９３へ移行する。一方、材質を修正した物体と類似した物体が存在しないとき（ステップＳ１９２でＮｏ）、処理はステップＳ１９５へ移行する。

【0095】

ここで、「類似物体」（又は類似した物体）とは、例えば、材質を修正した物体に対して、他の画像フレームにおいて、当該物体と形状が類似している物体のことである。例えば、当該物体のエッジ部分について、エッジ部分からの縦方向の距離と横方向の距離が所定画素数以内のエッジ部分を有する物体が他の画像フレームに存在する場合に、当該物体を「類似物体」としてもよい。材質を修正した物体に対して、種別（例えばモニタ）が異なっても、形状が類似している物体は、「類似物体」となり得る。このように、「類似物体」の判定は、制御部１１０において、クラスタリングした各物体のエッジ領域を画像フレーム間で比較することで、行われてもよい。

【0096】

ステップＳ１９３において、制御部１１０（又は材質修正部１１６）は、類似物体の材質を一括表示する一括修正ＵＩ（又は一括修正画面）を表示部１２０に表示させる。そして、ステップＳ１９４において、制御部１１０（又は材質修正部１１６）は、修正する類似物体がユーザにより選択されると、当該類似物体の材質を一括修正する。

【0097】

図９は、第１実施形態に係る一括修正ＵＩの表示例を表す図である。図９において、一括修正ＵＩには、材質を修正した物体を含む代表画像（及び材質判定用画像）と、当該物体に類似する類似物体の代表画像（及び材質判定用画像）とが表示される。ユーザは、一括修正ＵＩを見て、修正した材質と同じ材質に修正したい類似物体にチェックを入れて、［修正］ボタンを押す（又はクリックする）。これにより、チェックを入れた類似物体の材質を一括して修正させることができる。このように、シミュレーションモデル編集装置１００では、類似物体の材質を一括で修正することができるため、類似物体を１つずつ修正する場合と比較して、作業効率を向上させることが可能となる。

【0098】

なお、代表画像選択部１１３では、類似物体の代表画像を選択し、材質判定用画像生成部１１４では、代表画像に含まれる材質判定用画像を生成しているため、類似物体の代表画像及び代表画像に含まれる材質判定用画像を、表示部１２０に表示させることが可能である。そして、材質修正部１１６は、類似物体の代表画像及び材質判定用画像を含む一括修正ＵＩを表示部１２０に表示させるようにする。これにより、表示部１２０では、材質が修正された物体と類似する類似物体が他の画像フレームに存在するとき、当該類似物体の材質を一括修正することが可能な一括修正ＵＩを表示することができる。

【0099】

図５に戻り、ステップＳ１９５において、制御部１１０は、表示部１２０に表示されたシミュレーションモデル上において修正済オブジェクトを強調表示させる。

【0100】

図１０は、第１実施形態に係るシミュレーションモデルの表示例を表す図である。図１０に示すように、修正済オブジェクトが強調して表示されている。強調表示の方法は、他のオブジェクトと比較して、修正済であることが把握可能であればどのような表示方法でもよく、図１０に示すように、修正済オブジェクトが太枠で表示されてもよいし、修正済オブジェクトが他のオブジェクトと比較して異なる色表示で表示されてもよい。

【0101】

なお、修正済オブジェクトが、材質予測確率が閾値未満の物体に対応するオブジェクトの場合、制御部１１０は、材質予測確率が閾値未満であることを表す強調表示（例えば図６）を終了させるようにする。材質の修正済オブジェクトに対する強調表示と、材質予測確率が閾値未満であることを表す強調表示とは、異なる表示方法であってもよい。

【0102】

図５に戻り、ステップＳ１９５の処理が終了すると、処理は図４のステップＳ１８７へ移行し、上述した処理を繰り返す。

【0103】

ステップＳ１９６において、制御部１１０は、材質修正処理を終了する。

【0104】

材質修正処理が終了すると、処理はステップＳ２０（図２）へ移行する。

【0105】

ステップＳ２０において、制御部１１０は、一連の処理を終了する。

【0106】

（第１実施形態の他の例１）
第１実施形態では、図１に示すように、ＲＧＢＤカメラ２００として１つのカメラ装置により、画像データ取得部２１０と３次元情報取得部２２０との２つの機能を有するものとして説明しているが、これに限定されない。例えば、画像データ取得部２１０を含む１つのカメラ装置（例えばＲＧＢカメラ）と、３次元情報取得部２２０を含む１つのカメラ装置（例えばデプスカメラ）との２つのカメラ装置が存在してもよい。この場合でも、画像データ取得部２１０は、画像データをシミュレーションモデル編集装置１００へ送信し、３次元情報取得部２２０は、３次元情報をシミュレーションモデル編集装置１００へ送信する。

【0107】

（第１実施形態の他の例２）
材質判定ＵＩとして、図８の例について説明したが、材質判定ＵＩはこれに限定されない。材質判定ＵＩには、例えば、材質判定部１１５で判定された材質と、他の材質候補とが表示されて、更に、材質毎にチェック領域が表示されてもよい。ユーザは、材質判定ＵＩ上でチェック領域をチェックすることで材質が修正されてもよい。材質判定ＵＩは、材質判定用画像に含まれる物体の材質を修正（又は選択）できればよく、修正（又は選択）が可能であればどのような表示方法でもよい。

【0108】

（第１実施形態の他の例３）
一括修正ＵＩとして、図９の例について説明したが、一括修正ＵＩはこれに限定されない。一括修正ＵＩには、修正した物体を含む代表画像（及び材質判定用画像）と、当該物体に類似する類似物体の代表画像（及び材質判定用画像）とが表示され、更に、一括修正対象の類似物体が一括修正ＵＩにおいて選択可能に表示されていれば、どのような表示方法でもよい。

【0109】

［その他の実施形態］
第１実施形態では、代表画像選択部１１３が、クラスタリングされた画像データに基づいて、物体に含まれる画素数が最も多い画像フレームを、当該物体の代表画像として選択するケースを説明したがこれに限定されない。代表画像選択部１１３は、クラスタリングされた画像データに基づいて、物体に含まれる画素数が多い複数の画像フレームを、当該物体の代表画像として選択してもよい。例えば、代表画像選択部１１３は、クラスタリングされた画像データに基づいて、物体に含まれる画素数が最も多い画像フレームと併せ、当該物体に含まれる画素数が２番目に多い画像フレームや３番目に多い画像フレーム等、複数の画像フレームを、当該物体の代表画像として選択してもよい。この場合、材質判定用画像生成部１１４が、当該物体の複数の代表画像に対応する材質判定用画像を生成し、材質判定部１１５が、複数の材質判定用画像の画像データに基づいて、当該物体の材質を予測することで、材質の判定制度を高めることが可能となる。

【0110】

第１実施形態では、シミュレーションの対象として、電波伝搬シミュレーションを説明したがこれに限定されない。シミュレーションの例として、スタジオ又は音響ホールなどの施設における音響設計、遮音及び防音設計、及び空調設計のいずれかに用いられてもよい。このような対象であっても、シミュレーションモデル編集装置１００は、第１実施形態と同様に、シミュレーションモデルの対象となっている物体の材質を修正することが可能である。

【0111】

また、第１実施形態で説明した制御部１１０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、制御部１１０が行う各処理を実行する回路を集積化し、シミュレーションモデル編集装置１００の少なくとも一部を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

【0112】

以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、矛盾しない範囲で、各実施形態、各動作、各処理、及び各ステップの全部又は一部を組み合わせることも可能である。

【0113】

（付記）
（付記１）
画像データと３次元情報とを取得する制御部と、
前記３次元情報に基づいて仮想空間上のシミュレーションモデルを表示する表示部と、を有し、
前記表示部は、前記シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を前記画像データに基づいて表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を表示する
シミュレーションモデル編集装置。

【0114】

（付記２）
記憶部を更に有し、
前記制御部は、前記画像データと前記３次元情報とを紐づけて前記記憶部に記憶する
付記１記載のシミュレーションモデル編集装置。

【0115】

（付記３）
前記制御部は、前記３次元情報をクラスタリングして、前記物体毎の前記３次元情報を取得する
付記１又は付記２に記載のシミュレーションモデル編集装置。

【0116】

（付記４）
前記制御部は、前記画像データに基づいて、前記物体に含まれる画素数が最も多い画像フレームを、前記物体の代表画像として選択し、
前記表示部は、前記オブジェクトが選択されると、前記現実空間上の画像として前記代表画像を表示する
付記１乃至付記３のいずれかに記載のシミュレーションモデル編集装置。

【0117】

（付記５）
前記表示部は、前記代表画像において、前記オブジェクトに対応する前記物体の領域をトリミングした材質判定用画像を他の物体よりも強調して表示する
付記１乃至付記４のいずれかに記載のシミュレーションモデル編集装置。

【0118】

（付記６）
前記制御部は、前記材質判定用画像の画像データに基づいて、機械学習を用いて前記物体の材質を予測したときの教師データとの一致率を表す材質予測確率が閾値未満か否かを判定し、
前記表示部は、前記材質予測確率が前記閾値未満である前記オブジェクトを、前記材質予測確率が前記閾値以上である前記オブジェクトよりも強調して表示する
付記１乃至付記５のいずれかに記載のシミュレーションモデル編集装置。

【0119】

（付記７）
前記材質選択画面は、前記機械学習を用いて予測された前記物体の材質を修正する材質修正画面である
付記１乃至付記６のいずれかに記載のシミュレーションモデル編集装置。

【0120】

（付記８）
前記表示部は、前記材質修正画面により前記物体の材質が修正されたとき、前記物体に対応する前記オブジェクトを、他のオブジェクトよりも強調して前記シミュレーションモデル上で表示する
付記１乃至付記７のいずれかに記載のシミュレーションモデル編集装置。

【0121】

（付記９）
前記表示部は、材質が修正された前記物体と類似する類似物体が他の画像フレームに存在するとき、当該類似物体の材質を一括修正することが可能な一括修正画面を表示する
付記１乃至付記８のいずれかに記載のシミュレーションモデル編集装置。

【0122】

（付記１０）
表示部を有するシミュレーションモデル編集装置におけるシミュレーションモデル編集方法であって、
画像データと３次元情報とを取得するステップと、
前記３次元情報に基づいて仮想空間上のシミュレーションモデルを前記表示部に表示するステップと、
前記シミュレーションモデルに含まれるオブジェクトが選択されると、当該オブジェクトに対応する物体を含む現実空間上の画像を前記画像データに基づいて前記表示部に表示するとともに、当該オブジェクトの材質が選択可能な材質選択画面を前記表示部に表示するステップと、を有する
シミュレーションモデル編集方法。

【符号の説明】

【0123】

１０ ：シミュレーションモデル編集システム
１００ ：シミュレーションモデル編集装置
１１０ ：制御部 １１１ ：取得部
１１２ ：クラスタリング部 １１３ ：代表画像選択部
１１４ ：材質判定用画像生成部 １１５ ：材質判定部
１１６ ：材質修正部 １２０ ：表示部
１３０ ：記憶部 ２００ ：ＲＧＢＤカメラ
２１０ ：画像データ取得部 ２２０ ：３次元情報取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】