特開 2024-100552 デジタルツイン管理プログラム、デジタルツイン管理方法およびデジタルツイン管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100552

(43)【公開日】2024-07-26

(54)【発明の名称】デジタルツイン管理プログラム、デジタルツイン管理方法およびデジタルツイン管理装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240719BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023004638

(22)【出願日】2023-01-16

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】茂木 厚憲

(72)【発明者】

【氏名】平井 由樹雄

(72)【発明者】

【氏名】鈴木 源太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA02

5L096DA02

5L096EA14

5L096FA03

5L096FA66

5L096FA67

5L096FA69

5L096HA11

(57)【要約】

【課題】デジタルツインを利用して物理空間に存在している物を仮想空間に適切に表現すること。
【解決手段】デジタルツイン管理装置は、カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得する。デジタルツイン管理装置は、仮想空間における物体の形成を規定した３次元の設計データを取得する。デジタルツイン管理装置は、２次元の映像での物体に対する、３次元の設計データでの物体の位置および姿勢を設定する。デジタルツイン管理装置は、設定された位置および姿勢の特徴量に基づいて、デジタルツインにおける物理空間と仮想空間との対応関係を規定した設定情報を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得し、
仮想空間における物体の形成を規定した３次元の設計データを取得し、
前記２次元の映像での物体に対する、前記３次元の設計データでの物体の位置および姿勢を設定し、
設定された前記位置および前記姿勢の特徴量に基づいて、デジタルツインにおける前記物理空間と前記仮想空間との対応関係を規定した設定情報を生成する
処理をコンピュータに実行させることを特徴とするデジタルツイン管理プログラム。

【請求項2】

前記設定情報を生成する処理は、設定された前記位置および前記姿勢の特徴量に基づいて、前記カメラ装置のカメラパラメータを設定し、
設定された前記カメラパラメータに基づいて、前記デジタルツインにおける、前記物理空間と前記仮想空間との対応関係を規定した前記設定情報を生成することを特徴とする請求項１に記載のデジタルツイン管理プログラム。

【請求項3】

前記２次元の映像に含まれる撮影画像から抽出された物体の第一のエッジ線と、前記３次元の設計データでの物体の第二のエッジ線とを、選択可能な状態で表示し、
重ね合わせる対象の前記第一のエッジ線と、前記第二のエッジ線とのペアを示す選択指示を受け付け、
前記第一のエッジ線と前記第二のエッジ線とのペアの重ね合わせ操作が実行された後に、前記重ね合わせる対象の前記第一のエッジ線と前記第二のエッジ線との間の角度または距離に基づいて、前記カメラ装置のカメラパラメータを更新する処理を更にコンピュータに実行させることを特徴とする請求項１に記載のデジタルツイン管理プログラム。

【請求項4】

前記第一のエッジ線と前記第二のエッジ線とに対して、回転方向または焦点距離の操作を要求する指示を表示し、前記回転方向または前記焦点距離の操作によって、前記第一のエッジ線と前記第二のエッジ線とのなす角が閾値未満になった場合に、前記第一のエッジ線と前記第二のエッジ線とに対して、並進移動の操作を要求する指示を表示する処理を更にコンピュータに実行させることを特徴とする請求項３に記載のデジタルツイン管理プログラム。

【請求項5】

前記第一のエッジ線と前記第二のエッジ線との誤差を算出し、前記誤差が小さくなるように、前記第一のエッジ線と前記第二のエッジ線とを重ね合わせる処理を更にコンピュータに実行させることを特徴とする請求項３に記載のデジタルツイン管理プログラム。

【請求項6】

前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる物体を抽出し、
撮影された前記映像を分析することで、抽出した前記物体の前記物理空間上の位置を特定し、
前記設定情報を基にして、特定した前記物体の前記物理空間上の位置を、前記仮想空間上の位置に変換し、
変換された前記仮想空間上の位置に基づいて、前記仮想空間に物体のオブジェクトを配置する処理を更にコンピュータに実行させることを特徴とする請求項１に記載のデジタルツイン管理プログラム。

【請求項7】

前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる人物を抽出し、
撮影された前記映像を分析することで、抽出した前記人物の骨格情報を生成し、
生成した前記骨格情報に含まれる関節の位置を特定し、
前記設定情報を基にして、特定した前記関節の位置を、前記仮想空間上の関節の位置に変換し、
変換された前記仮想空間上の関節の位置に基づいて、前記仮想空間に人物のアバターを配置する処理を更にコンピュータに実行させることを特徴とする請求項１に記載のデジタルツイン管理プログラム。

【請求項8】

カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得し、
仮想空間における物体の形成を規定した３次元の設計データを取得し、
前記２次元の映像での物体に対する、前記３次元の設計データでの物体の位置および姿勢を設定し、
設定された前記位置および前記姿勢の特徴量に基づいて、デジタルツインにおける前記物理空間と前記仮想空間との対応関係を規定した設定情報を生成する
処理をコンピュータが実行することを特徴とするデジタルツイン管理方法。

【請求項9】

カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得し、
仮想空間における物体の形成を規定した３次元の設計データを取得し、
前記２次元の映像での物体に対する、前記３次元の設計データでの物体の位置および姿勢を設定し、
設定された前記位置および前記姿勢の特徴量に基づいて、デジタルツインにおける前記物理空間と前記仮想空間との対応関係を規定した設定情報を生成する
処理を実行する制御部を有するデジタルツイン管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルツイン管理プログラム等に関する。

【背景技術】

【0002】

現実世界の物理空間に存在している物体を、仮想空間で表現するための技術として、デジタルツイン（Digital Twin）と呼ばれる技術がある。たとえば、デジタルツインでは、ＩｏＴ（Internet of Things）等を活用して、実際に動いている工場の生産ラインや設備等からデータをリアルタイムに収集し、各種のシミュレーションを実行する。仮想空間におけるシミュレーション結果を、現場に通知し、現場の状況を仮想空間にフィードバックする処理を繰り返し実行することで、生産効率を向上させたり、発生し得る事故等を未然に防止したりすることができる。

【0003】

ここで、物理空間に存在している物を、仮想空間で表現するために、物理空間の画像を撮影するカメラのパラメータが用いられる。以下の説明では、カメラのパラメータを、「カメラパラメータ」と表記する。カメラパラメータを推定する技術として、図１２で説明する従来技術１がある。

【0004】

図１２は、従来技術１を説明するための図である。図１２に示すように、従来技術１では、単眼のカメラで撮影した画像Ｉｍ１を分析することで、環境上の物体から複数の特徴線を検出し、消失点ｐ１を特定する。従来技術１では、消失点ｐ１を基にして、カメラパラメータを推定する。

【0005】

図１３および図１４は、推定したカメラパラメータを用いて３Ｄモデルを画像に重畳表示させた例を示す図である。たとえば、３Ｄモデルは、ＣＡＤ（Computer-Aided Design）データを基に生成される。たとえば、カメラパラメータが正しい値である場合には、図１３の画像Ｉｍ２に示すように、３ＤモデルＭｏ１の各主要な稜線と、環境上の物体の各主要なエッジとが一致する。

【0006】

一方、カメラパラメータが正しい値でない場合には、図１４の画像Ｉｍ３に示すように、３ＤモデルＭｏ１の各主要な稜線と、環境上の物体の各不要なエッジとが一致しない。

【0007】

図１４に示したように、３ＤモデルＭｏ１の各主要な稜線と、環境上の物体の各不要なエッジとが一致しない場合には、ユーザが、手動でカメラパラメータを調整している。従来技術２では、３ＤモデルＭｏ１の各主要な稜線と、環境上の物体の各不要なエッジとが一致するように、カメラパラメータの一部を調整することで、最終的なカメラパラメータを特定している。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０２２－１６１３４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

上述した従来技術１では、既知の基準物体ではなく、環境上の物体から特徴線を抽出するため、現場の煩雑さの影響を受けやすく、カメラパラメータの精度が低下する場合がある。
上述した従来技術２では、カメラパラメータの一部を調整しているが、調整対象が増えると、３Ｄモデルの各主要な稜線と、環境上の物体の各不要なエッジとを合わせることが難しく、カメラパラメータを適切に設定することができていない。

【0010】

このため、従来技術では、デジタルツインを利用して物理空間に存在している物を仮想空間に適切に表現することができないという問題がある。

【0011】

１つの側面では、本発明は、デジタルツインを利用して物理空間に存在している物を仮想空間に適切に表現することができるデジタルツイン管理プログラム、デジタルツイン管理方法およびデジタルツイン管理装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得する。コンピュータは、仮想空間における物体の形成を規定した３次元の設計データを取得する。コンピュータは、２次元の映像での物体に対する、３次元の設計データでの物体の位置および姿勢を設定する。コンピュータは、設定された位置および姿勢の特徴量に基づいて、デジタルツインにおける物理空間と仮想空間との対応関係を規定した設定情報を生成する。

【発明の効果】

【0013】

デジタルツインを利用して物理空間に存在している物を仮想空間に適切に表現することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例に係るシステムを示す図である。

【図2】図２は、本実施例に係るデジタルツイン管理装置の処理手順を示すフローチャートである。

【図3】図３は、３次元ＣＡＤモデルの一例を示す図である。

【図4】図４は、デジタルツイン管理装置が実行する位置合わせ処理の一例を説明するための図である。

【図5】図５は、合わせこみの過程の一例を示す図である。

【図6】図６は、本実施例に係るデジタルツイン管理装置の構成を示す機能ブロック図である。

【図7】図７は、ＣＡＤデータのデータ構造の一例を示す図である。

【図8】図８は、人体モデルの一例について説明する図である。

【図9】図９は、関節名の一例を示す図である。

【図10】図１０は、位置合わせ処理部の処理を説明するための図である。

【図11】図１１は、実施例のデジタルツイン管理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図12】図１２は、従来技術１を説明するための図である。

【図13】図１３は、推定したカメラパラメータを用いて３Ｄモデルを画像に重畳表示させた例を示す図（１）である。

【図14】図１４は、推定したカメラパラメータを用いて３Ｄモデルを画像に重畳表示させた例を示す図（２）である。

【発明を実施するための形態】

【0015】

以下に、本願の開示するデジタルツイン管理プログラム、デジタルツイン管理方法およびデジタルツイン管理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0016】

本実施例に係るシステムの一例について説明する。図１は、本実施例に係るシステムを示す図である。たとえば、本実施例のシステムは、カメラ１０と、デジタルツイン管理装置１００とを有する。カメラ１０と、デジタルツイン管理装置１００とは、ネットワークを介して相互に接続される。図１では、カメラ１０のみを示すが、本実施例に係るシステムは、更に他のカメラを有していてもよい。

【0017】

カメラ１０は、工場内の所定の位置に設置される。たとえば、工場内には様々な機器が設置される。カメラ１０は、工場内の画像（映像）を撮影し、撮影した画像のデータを、デジタルツイン管理装置１００に送信する。以下の説明では、画像のデータを「画像データ」と表記する。画像データには、画像データを撮影したカメラ１０を識別するカメラ識別情報が付与される。以下の説明では、画像データを用いるが、映像のデータであってもよい。映像のデータは、時系列の画像データを含む情報である。

【0018】

デジタルツイン管理装置１００は、デジタルツインの技術を利用して、工場等の物理空間に存在している物体を、仮想空間で表現するための「設定情報」を、下記の処理を実行することで生成する。

【0019】

図２は、本実施例に係るデジタルツイン管理装置の処理手順を示すフローチャートである。図２に示すように、デジタルツイン管理装置１００は、カメラ１０から画像データを取得する（ステップＳ１０１）。デジタルツイン管理装置１００は、画像データから２次元の特徴線を抽出する（ステップＳ１０２）。

【0020】

デジタルツイン管理装置１００は、２次元の特徴線を基にして、カメラパラメータを推定する（ステップＳ１０３）。カメラパラメータは、内部パラメータおよび外部パラメータに対応する。たとえば、カメラパラメータには、焦点距離ｆ、回転Ｒ（回転行列Ｒ）、並進Ｔ（並進ベクトルＴ）が含まれる。

【0021】

デジタルツイン管理装置１００は、３次元ＣＡＤモデルを読み込み、３次元ＣＡＤモデルの稜線を検出する（ステップＳ１０４）。デジタルツイン管理装置１００は、カメラパラメータを基にして、稜線を画像データ上に投影する（ステップＳ１０５）。

【0022】

デジタルツイン管理装置１００は、画像データ上の特徴線と、投影された稜線とペアの選択を受け付ける（ステップＳ１０６）。デジタルツイン管理装置１００は、位置合わせ処理を実行する（ステップＳ１０７）。デジタルツイン管理装置１００は、位置合わせ後のカメラパラメータと、カメラ識別情報とを対応付けた設定情報を生成する（ステップＳ１０８）。

【0023】

図２のステップＳ１０４で読み込まれる３次元ＣＡＤモデルの一例を図３に示す。図３は、３次元ＣＡＤモデルの一例を示す図である。３次元ＣＡＤモデルＭｏ２は、仮想空間における物体の形成を規定した情報である。本実施例では、仮想空間における物体を、工場の機器等に対応する物体とする。３次元ＣＡＤモデルＭｏ２の外形特徴を示す線が「稜線」となり、係る稜線が画像データ上に投影される。

【0024】

続いて、図２のステップＳ１０７に示した位置合わせ処理の一例についてより具体的に説明する。図４は、デジタルツイン管理装置が実行する位置合わせ処理の一例を説明するための図である。デジタルツイン管理装置１００は、位置合わせの方法を提示するための画面情報３０を生成し、画面情報３０を、表示部に表示させる。ユーザは、表示部に表示された画面情報３０を参照し、入力部を操作して、位置合わせを手動で行う。

【0025】

デジタルツイン管理装置１００は、画面情報３０において、稜線群３１を画像データ上に配置する。稜線群３１は、３次元ＣＡＤモデルＭｏ２の各稜線を、画像データ上に射影した線群である。デジタルツイン管理装置１００は、稜線群３１に含まれる複数の稜線のうち、特徴線とペアとなる稜線を、強調表示する。特徴線と稜線とのペアは、ステップ１０６で指定される。

【0026】

図４で示す例では、特徴線３２ａと稜線３１ａとがペアとなり、強調表示される。また特徴線３２ｂと稜線３１ｂとがペアとなり、強調表示される。

【0027】

手動での合わせこみを行う手順は、以下の手順１～手順４の順となる。合わせこみの対象は、強調表示させた特徴線３２ａと稜線３１ａとのペア、または、強調表示させた特徴線３２ｂと稜線３１ｂとのペアとなる。

【0028】

手順１：カメラパラメータＲを変更し、回転方向の合わせこみ
手順２：カメラパラメータｆを変更し、焦点距離の合わせこみ
手順３：カメラパラメータＴを変更し、左右並進移動による合わせこみ
手順４：カメラパラメータＴを変更し、奥行並進移動による合わせこみ

【0029】

合わせこみの手順を、上記の手順１～手順４の順で行うことで、手順を後戻りさせることなく、効率的に、特徴線と稜線とのペアを合わせこむことが可能となる。たとえば、焦点距離を操作した場合の稜線群の変化と、奥行並進移動を行った場合の稜線群の変化とが極めて類似しているが、ペアの線分を並行に合わせるための操作は、焦点距離の操作に依存する。効率的に合わせこみを行う場合には、焦点距離が決定した後に、並進移動を行った方がよい。デジタルツイン管理装置１００は、ユーザが手順１～手順４の順で、合わせこみを行えるように、ペアとなる特徴線と稜線との関係を基にして、ユーザの操作を補助する情報を、画面情報３０に表示させる。

【0030】

図５は、合わせこみの過程の一例を示す図である。図５の説明では、強調表示の図示を省略するが、ペアとなる特徴線と稜線とが強調表示された状態で、画面情報３０に表示されているものとする。

【0031】

図５のステップＳ１０について説明する。デジタルツイン管理装置１００は、ユーザに手順１を実行させるべく、補助情報３５ａを表示させる。たとえば、補助情報３５ａには「ペアの線同士の角度がずれています。回転方向を合わせてください。」なるテキストが含まれる。ユーザは、入力部を操作して、回転方向の合わせこみを行う。デジタルツイン管理装置１００は、ユーザの回転方向の操作を受け付けると、回転方向の操作に応じて、カメラパラメータの回転Ｒの値を変化させ、変化させたカメラパラメータによって、稜線群を画面情報３０上に表示させる。デジタルツイン管理装置１００は、回転方向の操作を受け付ける度に、上記処理を繰り返し実行する。

【0032】

ステップＳ１１について説明する。デジタルツイン管理装置１００は、ユーザに手順２を実行させるべく、補助情報３５ｂを表示させる。たとえば、補助情報３５ｂには「ペアの線同士の角度がずれています。軸の向きを合わせて、その後線分が並行になるように焦点距離を合わせて下さい。」なるテキストが含まれる。ユーザは、入力部を操作して、焦点方向の合わせこみを行う。デジタルツイン管理装置１００は、ユーザの焦点距離の操作を受け付けると、焦点距離の操作に応じて、カメラパラメータの焦点距離ｆの値を変化させ、変化させたカメラパラメータによって、稜線群を画面情報３０上に表示させる。

【0033】

デジタルツイン管理装置１００は、ペアとなる稜線と特徴線とのなす角が閾値未満となった場合に、ステップＳ１２の処理に移行する。デジタルツイン管理装置１００は、ペアとなる稜線と特徴線とのなす角が閾値未満となるまで、並進方向の操作を抑止してもよい。たとえば、デジタルツイン管理装置１００は、並進方向の操作を受け付けた場合に、並進方向の操作を無効とし、補助情報３５ｂ等を再度表示してもよい。

【0034】

ステップＳ１２について説明する。デジタルツイン管理装置１００は、ユーザに手順３、手順４を実行させるべく、補助情報３５ｃを表示させる。たとえば、補助情報３５ｃには「ペアの線同士の距離がずれています。ＣＡＤの原点を２Ｄ画像上の装置の原点に合わせ、左右または奥行方向を調整して大きさを合わせて下さい。」なるテキストが含まれる。ユーザは、入力部を操作して、左右並進移動および奥行並進移動によって、合わせこみを行う。デジタルツイン管理装置１００は、ユーザの左右並進移動および奥行並進移動の操作を受け付けると、左右並進移動および奥行並進移動の操作に応じて、カメラパラメータの並進Ｔの値を変化させ、変化させたカメラパラメータによって、稜線群を画面情報３０上に表示させる。

【0035】

デジタルツイン管理装置１００は、ペアとなる稜線と特徴線との距離が閾値未満となった場合に、ステップＳ１３の処理に移行する。

【0036】

ステップＳ１３について説明する。デジタルツイン管理装置１００は、補助情報３５ｄを表示させる。補助情報３５ｄには「ペアの線同士の角度および位置が一致しました。」なるテキストが含まれる。ステップＳ１３の時点におけるカメラパラメータが、手動での合わせこみによって最終的に決定されるカメラパラメータとなる。

【0037】

ステップＳ１０～ステップＳ１３で説明したように、デジタルツイン管理装置１００は、ユーザの合わせこみによって変化する稜線群であって、３次元ＣＡＤデータに対応する稜線群の位置および姿勢の特徴量に基づいて、カメラパラメータを設定する。デジタルツイン管理装置１００は、設定したカメラパラメータと、カメラ識別情報とを対応付けた設定情報を生成する。これによって、設定情報を適切に設定でき、かかる設定情報を利用することで、デジタルツインを利用して物理空間に存在している物を仮想空間に適切に表現することができる。

【0038】

次に、上述した処理を実行するデジタルツイン管理装置１００の構成例について説明する。図６は、本実施例に係るデジタルツイン管理装置の構成を示す機能ブロック図である。図６に示すように、このデジタルツイン管理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0039】

通信部１１０は、ネットワークを介して、カメラ１０、外部装置等との間でデータ通信を実行する。通信部１１０は、ＮＩＣ（Network Interface Card）等である。たとえば、通信部１１０は、カメラ１０から、画像データを受信する。

【0040】

入力部１２０は、デジタルツイン管理装置１００の制御部１５０に各種の情報を入力する入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部１２０を操作して、図５で説明した、特徴線と稜線との合わせこみに関する各種の操作を行う。

【0041】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、図４、図５で示した画面情報３０を表示する。

【0042】

記憶部１４０は、映像バッファ１４１、ＣＡＤデータ１４２、３次元ＣＡＤモデル１４３、カメラパラメータ１４４、設定情報１４５を有する。記憶部１４０は、メモリなどの記憶装置である。

【0043】

映像バッファ１４１は、カメラ１０が撮影した画像データを保持する。たとえば、映像バッファ１４１は、カメラ識別情報に対応付けて、画像データを保持する。

【0044】

ＣＡＤデータ１４２は、立体構造物の３次元ＣＡＤモデル１４３を表すモデル情報である。図７は、ＣＡＤデータのデータ構造の一例を示す図である。図７に示すように、ＣＡＤデータ１４２は、直線識別情報と、始点座標と、終点座標とを対応付ける。直線識別情報は、３次元ＣＡＤモデル１４３の直線（辺）を識別する情報である。始点座標は、直線識別情報によって識別される直線の始点の３次元座標である。終点座標は、直線識別情報によって識別される直線の終点の３次元座標である。

【0045】

３次元ＣＡＤモデル１４３は、ＣＡＤデータ１４２に基づいて生成されるモデルである。たとえば、３次元ＣＡＤモデル１４３は、図３で説明した３次元ＣＡＤモデルＭｏ２に対応する。

【0046】

カメラパラメータ１４４は、カメラ１０の外部パラメータおよび内部パラメータに対し、焦点距離ｆ、回転Ｒ、並進Ｔを含む。カメラパラメータ１４４の初期値は、図２のステップＳ１０５で求められる。また、カメラパラメータ１４４は、図２のステップＳ１０７で説明した位置合わせ処理によって、更新される。

【0047】

設定情報１４５は、各カメラのカメラパラメータを有する。たとえば、設定情報１４５は、カメラ識別情報と、カメラパラメータとを対応付けた情報を保持する。

【0048】

制御部１５０は、取得部１５１と、特徴線抽出部１５２と、パラメータ推定部１５３と、３次元線分抽出部１５４と、表示制御部１５５と、物体配置処理部１５６と、人物配置処理部１５７と、位置合わせ処理部１５８とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。

【0049】

取得部１５１は、カメラ１０から画像データを取得する。画像データには、画像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部１５１は、カメラ識別情報に対応付けて、画像データを映像バッファ１４１に格納する。

【0050】

特徴線抽出部１５２は、映像バッファから画像データを取得し、画像データに含まれる特徴線を抽出する。特徴線は、画像データの２次元のエッジ線である。たとえば、特徴線抽出部１５２は、従来文献「R.G. von Gioi et al., LSD: a Line Segment Detector, IPOL, 2, (2012)」に記載された技術を基にして、特徴線を抽出してもよい。

【0051】

特徴線抽出部１５２は、特徴線の抽出結果を、パラメータ推定部１５３および表示制御部１５５に出力する。

【0052】

パラメータ推定部１５３は、特徴線の抽出結果を基にして消失点を特定し、消失点を基にして、カメラパラメータを推定する。たとえば、パラメータ推定部１５３は、従来文献「R. Orghidan et al., Camera calibration using two or three vanishing points, In Proc. Of the Federated Conference on Computer Science and Information Systems pp. 123-130.」に記載された技術を基にして、カメラパラメータを推定してもよい。

【0053】

パラメータ推定部１５３は、推定結果となるカメラパラメータ１４４を、記憶部１４０に登録する。なお、パラメータ推定部１５３は、カメラパラメータ１４４に含まれる焦点距離ｆ、回転Ｒ、並進Ｔのうち、回転Ｒおよび並進Ｔは、予め準備された標準値を設定し、焦点距離ｆのみを、消失点を用いて推定してもよい。

【0054】

３次元線分抽出部１５４は、ＣＡＤデータ１４２を基にして、３次元ＣＡＤモデル１４３を生成し、３次元ＣＡＤモデル１４３から複数の稜線を抽出する。各稜線は、３次元ＣＡＤモデル１４３の外形特徴を示す３次元の線である。３次元線分抽出部１５４は、各稜線の情報を、表示制御部１５５に出力する。

【0055】

表示制御部１５５は、映像バッファ１４１から画像データを取得し、カメラパラメータ１４４を基にして、複数の稜線を、画像データ上に射影することで、画面情報を生成する。表示制御部１５５が生成する画面情報は、図５に示した画面情報である。

【0056】

表示制御部１５５は、図５で説明した位置合わせ処理を実行することで、ユーザに手順１～手順４の合わせこみを行わせ、カメラパラメータ１４４を更新する。ペアとなる稜線と特徴線との組は、事前に設定されているものとする。たとえば、表示制御部１５５は、画像データから抽出された物体の特徴線と、３次元ＣＡＤモデル１４３の稜線とを、選択可能な状態で表示し、重ね合わせる対象の特徴線と、稜線とのペアを示す選択指示を受け付ける。

【0057】

表示制御部１５５は、位置合わせ処理が完了した場合に、該当するカメラ１０のカメラ識別情報と、カメラパラメータ１４４とを対応付けて、設定情報１４５に登録する。表示制御部１５５は、カメラが複数存在する場合には、カメラ毎に上記処理を繰り返し実行し、カメラ識別情報と、カメラパラメータ１４４とを対応付けて、設定情報１４５に登録する。

【0058】

物体配置処理部１５６は、画像データに含まれる物理空間の物体を、仮想空間に配置する処理を行う。たとえば、物体配置処理部１５６は、カメラ１０が撮影した画像データを取得し、画像データを、第一機械学習モデルに入力することで、画像データに含まれる物体の領域を抽出する。第一機械学習モデルは、入力を画像データ、出力を物体の領域とするＮＮ（Neural Network）である。第一機械学習モデルを、訓練済みの機械学習モデルとする。

【0059】

物体配置処理部１５６は、設定情報１４５から、カメラ１０のカメラ識別情報に対応するカメラパラメータを取得する。物体配置処理部１５６は、取得したカメラパラメータを基にして、画像データ上の物体の位置に対応する、仮想空間上の位置を特定する。物体配置処理部１５６は、特定した仮想空間上の位置に、画像データ上の物体に対応する３次元のオブジェクトを配置する。

【0060】

たとえば、物体配置処理部１５６は、画像データに含まれる物体の領域の画像を、第二機械学習モデルに入力することで、３次元のオブジェクトを生成する。第二機械学習モデルは、入力を物体の領域の画像データ、出力を３次元のオブジェクトとするＮＮである。第二機械学習モデルを、訓練済みの機械学習モデルとする。

【0061】

物体配置処理部１５６は、カメラ１０以外のカメラが撮影した画像データに対しても、上記処理を実行することで、画像データに含まれる物理空間の物体を、仮想空間に配置する。

【0062】

人物配置処理部１５７は、画像データに含まれる物理空間の人物を、仮想空間にアバターとして配置する処理を行う。たとえば、人物配置処理部１５７は、カメラ１０が撮影した画像データを取得し、画像データを、第三機械学習モデルに入力することで、画像データに含まれる人物の領域を抽出する。第三機械学習モデルは、入力を画像データ、出力を人物の領域とするＮＮ（Neural Network）である。第三機械学習モデルを、訓練済みの機械学習モデルとする。

【0063】

人物配置処理部１５７は、人物の領域の画像を、第四機械学習モデルに入力することで、人物の骨格情報を生成する。骨格情報は、人体モデルで定義された複数の関節に対して、２次元または３次元の座標が設定された情報である。本実施例では、骨格情報は、複数の関節に対して、２次元の座標が設定されているものとする。

【0064】

図８は、人体モデルの一例について説明する図である。図８に示すように、人体モデルは、２１個の関節ａｒ０～ａｒ２０によって定義される。

【0065】

図８に示す各関節ａｒ０～ａｒ２０と、関節名との関係は、図９に示すものとなる。図９は、関節名の一例を示す図である。たとえば、関節ａｒ０の関節名は「SPINE_BASE」である。関節ａｒ１～ａ２０の関節名は、図９に示すとおりであり、説明を省略する。

【0066】

第四機械学習モデルは、入力を人物の領域の画像データとし、出力を骨格情報とするＮＮである。第四機械学習モデルを、訓練済みの機械学習モデルとする。

【0067】

人物配置処理部１５７は、設定情報１４５から、カメラ１０のカメラ識別情報に対応するカメラパラメータを取得する。人物配置処理部１５７は、取得したカメラパラメータを基にして、画像データ上の骨格情報の各関節の位置に対する、仮想空間上の各位置を特定する。人物配置処理部１５７は、特定した仮想空間上の位置に、画像データ上の人物に対応する３次元のアバターを配置する。人物配置処理部１５７は、アバターを配置する場合に、仮想空間上の各関節の位置に、アバターの各関節の位置を合わせて配置する。

【0068】

たとえば、人物配置処理部１５７は、画像データに含まれる人物の領域の画像、骨格情報を第五機械学習モデルに入力することで、３次元のアバターを生成する。第五機械学習モデルは、入力を人物の領域の画像データおよび骨格情報、出力を３次元のアバターとするＮＮである。第五機械学習モデルを、訓練済みの機械学習モデルとする。

【0069】

ここでは、人物配置処理部１５７は、第５機械学習モデルを用いて、３次元のアバターを生成する場合について説明したが、予め準備した、３次元のアバターを用いてもよい。

【0070】

位置合わせ処理部１５８は、図４、図５で説明したユーザが実行する手動の位置合わせを補助する処理を行う。位置合わせ処理部１５８は、ペアとなる特徴線上と、稜線上との誤差を算出する。位置合わせ処理部１５８は、誤差が小さくなるように、カメラパラメータ１４４を更新する。たとえば、ユーザは、入力部１２０を操作して、自動位置合わせ依頼を入力する。

【0071】

図１０は、位置合わせ処理部の処理を説明するための図である。ここでは、画像データ上の特徴線３２ｃと、カメラパラメータ１４４に基づいて、画面データ上に射影された稜線３１ｃとを用いて説明する。位置合わせ処理部１５８は、稜線３１ｃ上に等間隔で、複数のサンプル点３３ａ，３３ｂ，３３ｃ，３３ｄ，３３ｅを設定する。

【0072】

位置合わせ処理部１５８は、サンプル点３３ａ～３３ｅから、特徴線３２ａに対して垂線３４ａ，３４ｂ，３４ｃ，３４ｄ，３４ｅを設定する。位置合わせ処理部１５８は、垂線３４ａ～３４ｅの長さ（誤差）の和を算出する。位置合わせ処理部１５８は、算出した誤差の和が小さくなるように、カメラパラメータ１４４のｆ、Ｒ、Ｔを補正する。たとえば、位置合わせ処理部１５８は、Levenberg-Marquardt法を用いて、垂線３４ａ～３４ｅの長さ（誤差）の和が最小化するように、カメラパラメータ１４４のｆ、Ｒ、Ｔを補正する。位置合わせ処理部１５８は、垂線３４ａ～３４ｅの長さ（誤差）の和が、所定値未満となるまで、上記処理を繰り返し実行する。

【0073】

位置合わせ処理部１５８は、Levenberg-Marquardt法として、「R. Hartley and A. Zisserman. Multiple View Geometry In Computer Vision. Cambridge University Press, second edition, 2003.」に記載された内容の処理を実行してもよい。

【0074】

次に、本実施例に係るデジタルツイン管理装置１００の効果について説明する。デジタルツイン管理装置１００は、ユーザの合わせこみによって変化する稜線群であって、３次元ＣＡＤデータに対応する稜線群の位置および姿勢の特徴量に基づいて、カメラパラメータ１４４を設定する。デジタルツイン管理装置１００は、設定したカメラパラメータ１４４と、カメラ識別情報とを対応付けた設定情報１４５を生成する。これによって、設定情報１４５を適切に設定でき、かかる設定情報を利用することで、デジタルツインを利用して物理空間に存在している物を仮想空間に適切に表現することができる。

【0075】

デジタルツイン管理装置１００は、画像データから抽出された物体の特徴線と、３次元ＣＡＤモデル１４３の稜線とを、選択可能な状態で表示し、重ね合わせる対象の特徴線と、稜線とのペアを示す選択指示を受け付ける。デジタルツイン管理装置１００は、特徴線と稜線とのペアの重ね合わせ操作が実行された後に、重ね合わせる対象の特徴線と稜線との間の角度または距離に基づいて、カメラパラメータ１４４を更新する。これによって、カメラ１０のカメラパラメータ１４４を精度よく特定することができる。

【0076】

デジタルツイン管理装置１００は、特徴線と稜線とに対して、回転方向または焦点距離の操作を要求する指示を表示する。デジタルツイン管理装置１００は、回転方向または焦点距離の操作によって、特徴線と稜線とのなす角が閾値未満になった場合に、特徴線と稜線とに対して、並進移動の操作を要求する指示を表示する。これによって、正しい手順で、ユーザに画面操作を行わせることができる。

【0077】

デジタルツイン管理装置１００は、特徴線と稜線との誤差を算出し、誤差が小さくなるように、特徴線と稜線とを重ね合わせる。これによって、位置合わせを行うユーザの負荷を軽減させることができる。また、手動の合わせこみと比較して、合わせこみの精度を向上させることができ、カメラパラメータ１４４の精度を向上させることができる。

【0078】

デジタルツイン管理装置１００は、設定情報１４５を基にして、画像データに含まれる物理空間の物体を、仮想空間に配置する処理を行う。また、デジタルツイン管理装置１００は、設定情報１４５を基にして、画像データに含まれる物理空間の人物を、仮想空間に配置する処理を行う。これによって、物理空間の物体および人物を、仮想空間上に再現することができる。

【0079】

次に、上述したデジタルツイン管理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１１は、実施例のデジタルツイン管理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0080】

図１１に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0081】

ハードディスク装置３０７は、取得プログラム３０７ａ、特徴線抽出プログラム３０７ｂ、パラメータ推定プログラム３０７ｃ、３次元線分抽出プログラム３０７ｄを有する。ハードディスク装置３０７は、表示制御プログラム３０７ｅ、物体配置処理プログラム３０７ｆ、人物配置処理プログラム３０７ｇ、位置合わせ処理プログラム３０７ｈを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｈを読み出してＲＡＭ３０６に展開する。

【0082】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。特徴線抽出プログラム３０７ｂは、特徴線抽出プロセス３０６ｂとして機能する。パラメータ推定プログラム３０７ｃは、パラメータ推定プロセス３０６ｃとして機能する。３次元線分抽出プログラム３０７ｄは、３次元線分抽出プロセス３０６ｄとして機能する。表示制御プログラム３０７ｅは、表示制御プロセス３０６ｅとして機能する。物体配置処理プログラム３０７ｆは、物体配置処理プロセス３０６ｆとして機能する。人物配置処理プログラム３０７ｇは、人物配置処理プロセス３０６ｇとして機能する。位置合わせ処理プログラム３０７ｈは、位置合わせ処理プロセス３０６ｈとして機能する。

【0083】

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。特徴線抽出プロセス３０６ｂの処理は、特徴線抽出部１５２の処理に対応する。パラメータ推定プロセス３０６ｃの処理は、パラメータ推定部１５３の処理に対応する。３次元線分抽出プロセス３０６ｄの処理は、３次元線分抽出部１５４の処理に対応する。表示制御プロセス３０６ｅの処理は、表示制御部１５５の処理に対応する。物体配置処理プロセス３０６ｆの処理は、物体配置処理部１５６の処理に対応する。人物配置処理プロセス３０６の処理は、人物配置処理部１５７の処理に対応する。位置合わせ処理プロセス３０６ｈの処理は、位置合わせ処理部１５８の処理に対応する。

【0084】

なお、各プログラム３０７ａ～３０７ｈについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｈを読み出して実行するようにしてもよい。

【0085】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0086】

（付記１）カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得し、
仮想空間における物体の形成を規定した３次元の設計データを取得し、
前記２次元の映像での物体に対する、前記３次元の設計データでの物体の位置および姿勢を設定し、
設定された前記位置および前記姿勢の特徴量に基づいて、デジタルツインにおける前記物理空間と前記仮想空間との対応関係を規定した設定情報を生成する
処理をコンピュータに実行させることを特徴とするデジタルツイン管理プログラム。

【0087】

（付記２）前記設定情報を生成する処理は、設定された前記位置および前記姿勢の特徴量に基づいて、前記カメラ装置のカメラパラメータを設定し、
設定された前記カメラパラメータに基づいて、前記デジタルツインにおける、前記物理空間と前記仮想空間との対応関係を規定した前記設定情報を生成することを特徴とする付記１に記載のデジタルツイン管理プログラム。

【0088】

（付記３）前記２次元の映像に含まれる撮影画像から抽出された物体の第一のエッジ線と、前記３次元の設計データでの物体の第二のエッジ線とを、選択可能な状態で表示し、
重ね合わせる対象の前記第一のエッジ線と、前記第二のエッジ線とのペアを示す選択指示を受け付け、
前記第一のエッジ線と前記第二のエッジ線とのペアの重ね合わせ操作が実行された後に、前記重ね合わせる対象の前記第一のエッジ線と前記第二のエッジ線との間の角度または距離に基づいて、前記カメラ装置のカメラパラメータを更新する処理を更にコンピュータに実行させることを特徴とする付記１に記載のデジタルツイン管理プログラム。

【0089】

（付記４）前記第一のエッジ線と前記第二のエッジ線とに対して、回転方向または焦点距離の操作を要求する指示を表示し、前記回転方向または前記焦点距離の操作によって、前記第一のエッジ線と前記第二のエッジ線とのなす角が閾値未満になった場合に、前記第一のエッジ線と前記第二のエッジ線とに対して、並進移動の操作を要求する指示を表示する処理を更にコンピュータに実行させることを特徴とする付記３に記載のデジタルツイン管理プログラム。

【0090】

（付記５）前記第一のエッジ線と前記第二のエッジ線との誤差を算出し、前記誤差が小さくなるように、前記第一のエッジ線と前記第二のエッジ線とを重ね合わせる処理を更にコンピュータに実行させることを特徴とする付記３に記載のデジタルツイン管理プログラム。

【0091】

（付記６）前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる物体を抽出し、
撮影された前記映像を分析することで、抽出した前記物体の前記物理空間上の位置を特定し、
前記設定情報を基にして、特定した前記物体の前記物理空間上の位置を、前記仮想空間上の位置に変換し、
変換された前記仮想空間上の位置に基づいて、前記仮想空間に物体のオブジェクトを配置する処理を更にコンピュータに実行させることを特徴とする付記１に記載のデジタルツイン管理プログラム。

【0092】

（付記７）前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる人物を抽出し、
撮影された前記映像を分析することで、抽出した前記人物の骨格情報を生成し、
生成した前記骨格情報に含まれる関節の位置を特定し、
前記設定情報を基にして、特定した前記関節の位置を、前記仮想空間上の関節の位置に変換し、
変換された前記仮想空間上の関節の位置に基づいて、前記仮想空間に人物のアバターを配置する処理を更にコンピュータに実行させることを特徴とする付記１に記載のデジタルツイン管理プログラム。

【0093】

（付記８）カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得し、
仮想空間における物体の形成を規定した３次元の設計データを取得し、
前記２次元の映像での物体に対する、前記３次元の設計データでの物体の位置および姿勢を設定し、
設定された前記位置および前記姿勢の特徴量に基づいて、デジタルツインにおける前記物理空間と前記仮想空間との対応関係を規定した設定情報を生成する
処理をコンピュータが実行することを特徴とするデジタルツイン管理方法。

【0094】

（付記９）前記設定情報を生成する処理は、設定された前記位置および前記姿勢の特徴量に基づいて、前記カメラ装置のカメラパラメータを設定し、
設定された前記カメラパラメータに基づいて、前記デジタルツインにおける、前記物理空間と前記仮想空間との対応関係を規定した前記設定情報を生成することを特徴とする付記８に記載のデジタルツイン管理方法。

【0095】

（付記１０）前記２次元の映像に含まれる撮影画像から抽出された物体の第一のエッジ線と、前記３次元の設計データでの物体の第二のエッジ線とを、選択可能な状態で表示し、
重ね合わせる対象の前記第一のエッジ線と、前記第二のエッジ線とのペアを示す選択指示を受け付け、
前記第一のエッジ線と前記第二のエッジ線とのペアの重ね合わせ操作が実行された後に、前記重ね合わせる対象の前記第一のエッジ線と前記第二のエッジ線との間の角度または距離に基づいて、前記カメラ装置のカメラパラメータを更新する処理を更にコンピュータが実行することを特徴とする付記８に記載のデジタルツイン管理方法。

【0096】

（付記１１）前記第一のエッジ線と前記第二のエッジ線とに対して、回転方向または焦点距離の操作を要求する指示を表示し、前記回転方向または前記焦点距離の操作によって、前記第一のエッジ線と前記第二のエッジ線とのなす角が閾値未満になった場合に、前記第一のエッジ線と前記第二のエッジ線とに対して、並進移動の操作を要求する指示を表示する処理を更にコンピュータが実行することを特徴とする付記１０に記載のデジタルツイン管理方法。

【0097】

（付記１２）前記第一のエッジ線と前記第二のエッジ線との誤差を算出し、前記誤差が小さくなるように、前記第一のエッジ線と前記第二のエッジ線とを重ね合わせる処理を更にコンピュータが実行することを特徴とする付記１０に記載のデジタルツイン管理方法。

【0098】

（付記１３）前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる物体を抽出し、
撮影された前記映像を分析することで、抽出した前記物体の前記物理空間上の位置を特定し、
前記設定情報を基にして、特定した前記物体の前記物理空間上の位置を、前記仮想空間上の位置に変換し、
変換された前記仮想空間上の位置に基づいて、前記仮想空間に物体のオブジェクトを配置する処理を更にコンピュータに実行させることを特徴とする付記８に記載のデジタルツイン管理方法。

【0099】

（付記１４）前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる人物を抽出し、
撮影された前記映像を分析することで、抽出した前記人物の骨格情報を生成し、
生成した前記骨格情報に含まれる関節の位置を特定し、
前記設定情報を基にして、特定した前記関節の位置を、前記仮想空間上の関節の位置に変換し、
変換された前記仮想空間上の関節の位置に基づいて、前記仮想空間に人物のアバターを配置する処理を更にコンピュータが実行することを特徴とする付記８に記載のデジタルツイン管理方法。

【0100】

（付記１５）カメラ装置が撮影した、物体が物理空間に配置された２次元の映像を取得し、
仮想空間における物体の形成を規定した３次元の設計データを取得し、
前記２次元の映像での物体に対する、前記３次元の設計データでの物体の位置および姿勢を設定し、
設定された前記位置および前記姿勢の特徴量に基づいて、デジタルツインにおける前記物理空間と前記仮想空間との対応関係を規定した設定情報を生成する
処理を実行する制御部を有するデジタルツイン管理装置。

【0101】

（付記１６）前記設定情報を生成する処理は、設定された前記位置および前記姿勢の特徴量に基づいて、前記カメラ装置のカメラパラメータを設定し、
設定された前記カメラパラメータに基づいて、前記デジタルツインにおける、前記物理空間と前記仮想空間との対応関係を規定した前記設定情報を生成することを特徴とする付記１５に記載のデジタルツイン管理装置。

【0102】

（付記１７）前記制御部は、前記２次元の映像に含まれる撮影画像から抽出された物体の第一のエッジ線と、前記３次元の設計データでの物体の第二のエッジ線とを、選択可能な状態で表示し、
重ね合わせる対象の前記第一のエッジ線と、前記第二のエッジ線とのペアを示す選択指示を受け付け、
前記第一のエッジ線と前記第二のエッジ線とのペアの重ね合わせ操作が実行された後に、前記重ね合わせる対象の前記第一のエッジ線と前記第二のエッジ線との間の角度または距離に基づいて、前記カメラ装置のカメラパラメータを更新する処理を更に実行することを特徴とする付記１５に記載のデジタルツイン管理装置。

【0103】

（付記１８）前記制御部は、前記第一のエッジ線と前記第二のエッジ線とに対して、回転方向または焦点距離の操作を要求する指示を表示し、前記回転方向または前記焦点距離の操作によって、前記第一のエッジ線と前記第二のエッジ線とのなす角が閾値未満になった場合に、前記第一のエッジ線と前記第二のエッジ線とに対して、並進移動の操作を要求する指示を表示する処理を更に実行することを特徴とする付記１７に記載のデジタルツイン管理装置。

【0104】

（付記１９）前記制御部は、前記第一のエッジ線と前記第二のエッジ線との誤差を算出し、前記誤差が小さくなるように、前記第一のエッジ線と前記第二のエッジ線とを重ね合わせる処理を更に実行することを特徴とする付記１７に記載のデジタルツイン管理装置。

【0105】

（付記２０）前記制御部は、前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる物体を抽出し、
撮影された前記映像を分析することで、抽出した前記物体の前記物理空間上の位置を特定し、
前記設定情報を基にして、特定した前記物体の前記物理空間上の位置を、前記仮想空間上の位置に変換し、
変換された前記仮想空間上の位置に基づいて、前記仮想空間に物体のオブジェクトを配置する処理を更に実行することを特徴とする付記１５に記載のデジタルツイン管理装置。

【0106】

（付記２１）前記制御部は、前記カメラ装置が撮影した映像の中から、前記物理空間に含まれる人物を抽出し、
撮影された前記映像を分析することで、抽出した前記人物の骨格情報を生成し、
生成した前記骨格情報に含まれる関節の位置を特定し、
前記設定情報を基にして、特定した前記関節の位置を、前記仮想空間上の関節の位置に変換し、
変換された前記仮想空間上の関節の位置に基づいて、前記仮想空間に人物のアバターを配置する処理を更に実行することを特徴とする付記１５に記載のデジタルツイン管理装置。

【符号の説明】

【0107】

１００ デジタルツイン管理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 映像バッファ
１４２ ＣＡＤデータ
１４３ ３次元ＣＡＤモデル
１４４ カメラパラメータ
１４５ 設定情報
１５０ 制御部
１５１ 取得部
１５２ 特徴線抽出部
１５３ パラメータ推定部
１５４ ３次元線分抽出部
１５５ 表示制御部
１５６ 物体配置処理部
１５７ 人物配置処理部
１５８ 位置合わせ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】