特開 2024-141137 ロボットインターフェースシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141137

(43)【公開日】2024-10-10

(54)【発明の名称】ロボットインターフェースシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241003BHJP

   G06T 19/00 20110101ALI20241003BHJP

   B25J 9/18 20060101ALI20241003BHJP

【ＦＩ】

G06F3/01 590

G06T19/00 A

B25J9/18

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023052623

(22)【出願日】2023-03-29

(11)【特許番号】

(45)【特許公報発行日】2024-09-20

(71)【出願人】

【識別番号】516208101

【氏名又は名称】合同会社ビジネス実践研究所

(74)【代理人】

【識別番号】100117190

【弁理士】

【氏名又は名称】前野 房枝

(72)【発明者】

【氏名】伊藤 拓史

【テーマコード（参考）】

3C707

5B050

5E555

【Ｆターム（参考）】

3C707AS03

3C707AS05

3C707AS21

3C707AS22

3C707JU12

3C707KS01

3C707KT01

3C707KT05

3C707KT06

5B050BA09

5B050BA12

5B050CA07

5B050DA04

5B050EA12

5E555AA11

5E555AA16

5E555AA27

5E555BA02

5E555BA38

5E555BB02

5E555BB38

5E555BC04

5E555BE01

5E555BE17

5E555CA42

5E555CB78

5E555CC03

5E555CC22

5E555DA40

5E555DB32

5E555DC19

5E555DC30

5E555DC84

5E555EA22

5E555FA00

(57)【要約】      （修正有）

【課題】ユーザーが仮想空間においてアバターを利用して状態に変更を加えるのみで、現実空間に存在するロボットを用いて現実空間の状態に変更を加えて仮想空間の状態との整合を取り、かつ、現実空間の状態もボットが把握し、仮想空間の状態と現実空間の状態との整合を取るロボットインターフェースシステムを提供する。
【解決手段】ロボットインターフェースシステムにおいて、差分確認／変更指示プログラムは、データベースＤＢ０１に記録されていた現実空間の対象物ＲＯ０１の状態を示す情報と仮想空間の対象物ＭＯ０１の状態を示す変更後情報とを比較することで差分を検出しＳＴＡ０５－２、差分があれば仮想空間にある対象物ＭＯ０１の状態と現実空間にある対象物ＲＯ０１の状態のどちらの差分が最新かを検出しＳＴＡ０５－４、仮想空間における対象物ＭＯ０１の状態が最新であれば現実空間のロボットＲＲ０１に変更作業と同じ変更指示を行なうＳＴＡ０６。
【選択図】図２

【特許請求の範囲】

【請求項1】

仮想空間に存在しているアバターが仮想空間にある対象物（ＭＯ０１）に対して変更を加えることでその仮想空間にある対象物（ＭＯ０１）とデジタルツイン状態にある現実空間の対象物（ＲＯ０１）にロボット（ＲＲ０１）を介して前記変更と同じ変更を加えるインターフェースシステムであって、
前記アバターが仮想空間にある対象物（ＭＯ０１）に対して変更作業を行うこと（ＳＴＡ０１）を契機に、
前記変更作業が行われた対象物（ＭＯ０１）に前記変更作業に基づく変更を加え（ＳＴＡ０２）、
変更された結果の対象物（ＭＯ０１）の情報を取得し（ＳＴＡ０３）、
前記対象物（ＭＯ０１）の状態を示す変更後情報として記録し（ＳＴＡ０４）、
前記データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動し（ＳＴＡ０５－１）、
前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に記録されていた前記現実空間の対象物（ＲＯ０１）の状態を示す情報と前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出し（ＳＴＡ０５－２）、
差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、
差分があれば前記仮想空間にある対象物（ＭＯ０１）の状態と前記現実空間にある対象物（ＲＯ０１）の状態のどちらの差分が最新かを検出し（ＳＴＡ０５－４）、
前記現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ、（ＳＴＡ０５－５）
前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば現実空間のロボット（ＲＲ０１）に前記変更後情報に基づいて前記変更作業と同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了し（ＳＴＡ０５－６）、
前記ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）、
ことを特徴とするロボットインターフェースシステム。

【請求項2】

請求項１に記載のロボットインターフェースシステムであって、前記現実空間の対象物（ＲＯ０１）の対象領域情報（ＲＮ０１）を前記ロボット（ＲＲ０１）が読み取り（ＳＴＢ０１）、
空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に前記対象領域情報（ＲＮ０１）を記録し（ＳＴＢ０２）、
前記データベース（ＤＢ０１）は、前記差分確認／変更指示プログラム（ＤＰ０１）を起動し（ＳＴＢ０３－１）、
前記差分確認／変更指示プログラム（ＤＰ０１）は、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）があらかじめ前記データベース（ＤＢ０１）に記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出し（ＳＴＢ０３－２）、
差分がなければ差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＢ０３－３）、
前記データベース（ＤＢ０１）にあらかじめ前記データベース（ＤＢ０１）に記録されていた前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断するとともに、差分があれば前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出し（ＳＴＢ０３－４）、
仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行い（ＳＴＢ０３－５）、
前記ロボット（ＲＲ０１）は、現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行し（ＳＴＡ０４）、
現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示し（ＳＴＢ０３－６）、
前記仮想空間の空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）
ことを特徴とするロボットインターフェースシステム。

【請求項3】

請求項１または請求項２に記載のロボットインターフェースシステムであって、
現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、
前記ロボットＲＲ０１は、前記現実空間の対象物（ＲＯ０１）の空間状態を確認し（ＳＴＣ０２）、
空間状態情報記録プログラム（Ｐ０２）を介して、前記現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録し（ＳＴＣ０３）、
前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動し（ＳＴＣ０４）、
前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記現実空間の空間状態情報（ＲＮ０１）に基づいて、前記現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、
構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）
ことを特徴とするロボットインターフェースシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間上のアバターがあたかも現実世界で作業するのと同じ感覚で作業をすることで、現実世界の対象物の移動や変更を行えるロボットのインターフェースシステム（「ロボットインターフェースシステム」、以下、本願発明のロボットインターフェースシステムを単に「システム」と称する場合がある）に関する。

【背景技術】

【0002】

従来より、ヘッドマウントディスプレイ、モーションキャプチャ装置などを利用し、ユーザーに、サーバなどで生成した仮想空間の画像とその仮想空間内においてユーザーの動作を実行するアバターの動作を制御することで、ユーザー自身がその仮想空間に存在していると認識させる仮想空間体感システムが開発されている。

【0003】

また、現実空間に存在しているユーザーが、コンピュータ上に構築された仮想空間を介して、現実空間で自らが存在している空間（以下「ユーザー現実空間」という）とは異なる現実空間（「制御現実空間」という）に存在する制御対象の動作を制御するインターフェースシステムが開発されている。

【0004】

たとえば、実際にはユーザーの立ち入りが難しい領域（制御現実空間）に対応させた仮想空間に、現実空間の所定の領域（ユーザー現実空間）に存在しているユーザーに対応する第１アバターと、前記制御現実空間に存在している制御対象に対応する第２アバターを生成する。そして、ユーザーは仮想空間で第１アバターを介して第２アバターを動作させることで、ユーザーとは異なる領域に存在している制御対象を、自らが直接に触って動作させているかのように制御するシステムである。

【0005】

しかしながら、このシステムの構築に前述の仮想空間体感システムを利用する際にユーザーが制御するのはあくまでも仮想空間に存在する第１アバターであることから、制御現実空間における制約事項（例えば、第２アバターの周辺環境や機能など）を考慮せずに、第２アバターの動作を制御してしまうという問題が発生していた。

【0006】

そこで、ユーザーが仮想空間を介して、制御現実空間の第２アバターの動作をその制御現実空間に即して制御するインターフェースシステムが開発されている（特許文献１参照）。この特許文献１に記載のインターフェースシステムにおいては、ユーザーの動作に応じて、ユーザーに対応する第１アバターの動作を制御し、その第１アバターの操舵に応じて第１アバターの動作を制御している。これにより、ユーザーは、仮想空間で自らに対応する第１アバターを介して第２アバターを動作させることにより、現実空間で、第２アバターに対応する制御対象を動作する。その際に、第２アバターの動作を、制御現実空間の制御対象物が実行可能な動作に基づいて制限しつつ制御することで、ユーザー自身が、制御対象が存在する制御第２空間における制約までを考慮しなくても、制御現実空間における制御対象の動作を、その制御現実空間に即して制御することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許第６９３３８４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載の発明は、デジタルツインの世界を構築し、仮想空間上の第１アバターを介し、第２アバターが制御現実空間に存在する制御対象を操作して、仮想空間と現実空間とをリンクさせる発明であるが、つまりは、ユーザーは、アバターを操り、さらには、制御対象を操作するという２つの技能が必要になる。そこで、もっと簡便にデジタルツインの技術を利用しながら仮想空間と現実空間とをリンクさせることができるシステムの開発が望まれている。

【0009】

本発明はこの要望に応えるべくなされたものであり、ユーザーが仮想空間においてアバターを利用して状態に変更を加えるのみで、現実空間に存在するロボットを介して現実空間の状態に変更を加えて該仮想空間の状態との整合を取ることができ、現実空間の状態も常にロボットが把握し、仮想空間の状態と現実空間の状態との整合を取ることのできるロボットインターフェースシステムを提供する。

【課題を解決するための手段】

【0010】

前述した目的を達成するため、本発明の請求項１に記載のロボットインターフェースシステムは、仮想空間に存在しているアバターが仮想空間にある対象物（ＭＯ０１）に対して変更を加えることでその仮想空間にある対象物（ＭＯ０１）とデジタルツイン状態にある現実空間の対象物（ＲＯ０１）にロボット（ＲＲ０１）を介して前記変更と同じ変更を加えるインターフェースシステムであって、前記アバターが仮想空間にある対象物（ＭＯ０１）に対して変更作業を行うと（ＳＴＡ０１）、前記変更作業が行われた対象物（ＭＯ０１）に前記変更作業に基づく変更を加え（ＳＴＡ０２）、変更された結果の対象物（ＭＯ０１）の情報を取得し（ＳＴＡ０３）、前記対象物（ＭＯ０１）の状態を示す変更後情報として記録し（ＳＴＡ０４）、前記データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動し（ＳＴＡ０５－１）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に記録されていた前記現実空間の対象物（ＲＯ０１）の状態を示す情報と前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報を比較することで差分を検出し（ＳＴＡ０５－２）、差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば前記仮想空間にある対象物（ＭＯ０１）の状態と前記現実空間にある対象物（ＲＯ０１）の状態のどちらの差分が最新かを検出し（ＳＴＡ０５－４）、前記現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば現実空間のロボット（ＲＲ０１）に前記変更後情報に基づいて前記変更作業と同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了し（ＳＴＡ０５－６）、前記ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）、ことを特徴とする。

【0011】

本発明によれば、ユーザーにはアバターを介してロボットを操作している感覚はなく、あくまでもデジタルツインの仮想空間に対してなんらかの動作、例えば、コップを棚から取り出して、机の上に置くなどの動作をするだけなので、ロボット操作の技術の習得の必要なく、現実世界ではその動作をロボットに人間に代わって実施させることができる。

【0012】

また、請求項２に記載のロボットインターフェースシステムは、請求項１に記載のロボットインターフェースシステムであって、前記現実空間の対象物（ＲＯ０１）の周辺空間の状態を対象領域情報（ＲＮ０１）として撮像手段（ＲＲ０２）が読み取り（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に前記対象領域情報（ＲＮ０１）を記録し（ＳＴＢ０２）、前記データベース（ＤＢ０１）は、前記差分確認／変更指示プログラム（ＤＰ０１）を起動し（ＳＴＢ０３－１）、前記差分確認／変更指示プログラム（ＤＰ０１）は、前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）があらかじめ前記データベース（ＤＢ０１）に記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出し（ＳＴＢ０３－２）、差分がなければ差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＢ０３－３）、前記データベース（ＤＢ０１）にあらかじめ前記データベース（ＤＢ０１）に記録されていた前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断するとともに、差分があれば前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出し（ＳＴＢ０３－４）、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行い（ＳＴＢ０３－５）、前記ロボット（ＲＲ０１）は、現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行し（ＳＴＡ０４）、現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示し（ＳＴＢ０３－６）、前記仮想空間の空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）、ことを特徴とする。

【0013】

本発明によれば、デジタルツインを構築する際に、任意の範囲で現実空間の対象物の周りの空間を自動認識し、認識した当該空間も仮想空間上に構築する。これによって、仮想空間上のアバターがデジタルツイン上でどの程度動いたかがわかり、仮想空間上の対象物の場所を移動したとしても、現実空間の対象物も同様に移動させることが可能となる。

【0014】

そして、請求項３に記載のロボットインターフェースシステムは、請求項２に記載のロボットインターフェースシステムであって、現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、前記撮像手段（ＲＲ０２）は、前記現実空間の対象物（ＲＯ０１）の空間状態を撮像し（ＳＴＣ０２）、空間状態情報記録プログラム（Ｐ０２）を介して、前記現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録し（ＳＴＣ０３）、前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動し（ＳＴＣ０４）、前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記現実空間の空間状態情報（ＲＮ０１）に基づいて、前記現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）、ことを特徴とする。

【0015】

本発明によれば、現実空間の対象物を人やロボットが移動または変更を加えると、仮想空間のデジタルツインに対して同じ移動または変更を自動的に行うことができる。

【発明の効果】

【0016】

このように、本発明のロボットインターフェースシステムによれば、アバターが仮想空間で操作したりして変更を加えるとその変更がロボットを介して自動的に現実の物体に同じ変更を加えることができ、さらには、現実空間の状態も常に把握し、仮想空間の状態と現実空間の状態との整合をリアルタイムに取ることができる。よって、ユーザーはロボットが存在する現実空間の状況を把握せずに、アバターを用いて仮想空間において動作したり、作業することができる。

【0017】

そして、本発明のロボットインターフェースシステムを活用することで、人手不足の解消、障害者・高齢者の社会活躍、何らかの理由で家を出られない人々の社会活躍、生産効率の向上の実現、危険作業等による死傷事故の防止等に寄与することができる。

【図面の簡単な説明】

【0018】

【図1】本願発明のロボットインターフェースシステムにおいて前提となるデジタルツイン構築のアルゴリズムの一例を示す説明図

【図2】本願発明のロボットインターフェースシステムの第１アルゴリズムの説明図

【図3】本願発明のロボットインターフェースシステムの第２アルゴリズムの説明図

【図4】本願発明のロボットインターフェースシステムの第３アルゴリズムの説明図

【図5】本願発明のロボットインターフェースシステムを実行するためのサーバシステムにおける信号や情報の要部の伝達経路を示すブロック図

【発明を実施するための形態】

【0019】

まず、本発明のロボットインターフェースシステムを構成する環境について説明する。現実空間には、ユーザーの他、制御対象のロボットが配設されている。多くの場合、ユーザーとロボットは異なる現実空間に存在する（前述同様、ユーザーの存在する現実空間を便宜上「ユーザー現実空間」、ロボットが配設される現実空間を「制御現実空間」と称する）。そして、変更対象物からなる前記制御現実空間の仮想空間がデジタルツインとして、公知のシステムによって構築されている。

【0020】

図１には、本願発明のシステムを利用する場合の前提となる技術であって、制御現実空間にある物体を自動的に仮想空間上にデジタルツインとして構築するアルゴリズムの一例を示している。変更対象物を撮像するロボット（ＲＲ０１）は、搭載した撮像手段（ＲＲ０２）により対象物（RO０１）の状態を常に取得し(ST０１)、空間状態情報記録プログラム（Ｐ０２）を起動し（ST０２）、前記制御現実空間の空間状態を示す空間状態情報（ＲＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴ０３）。データベース（ＤＢ０１）は、仮想空間の空間構築プログラム（Ｐ０１）を起動し（ＳＴ０４）、前記空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態に構築する（ＳＴ０５）。空間状態構築終了は、空間構築プログラム（Ｐ０１）を介してロボット（ＲＲ０１）に通知される（ＳＴ０６）。

【0021】

ここで、本願発明において、ユーザーに対応するアバターはその仮想空間に存在している。また、デジタルツインを構築したり、変更したりする為のプログラム（差分確認／変更指示プログラム、空間状態情報記録プログラム（Ｐ０２）、空間構築プログラムは、サーバシステムのデータベース（ＤＢ０１）に管理されている。なお、制御現実空間の変更対象物を撮像手段（ＲＲ０２）としては、ロボット（ＲＲ０１）に搭載されて共に移動する可動式カメラ等のみならず、制御現実空間内を撮像可能に固定配置された非可動式のカメラ等であってもよい。

【0022】

そして、本願発明においては、以下の第１乃至第３のアルゴリズムにより、仮想空間を介して、現実空間の対象物の移動や対象領域の変更を行う。
＜第１アルゴリズム＞
第１アルゴリズムは、前述の環境において、ユーザー現実空間にいる人の入力に応じて、仮想空間に存在しているアバターが仮想空間にある対象物（ＭＯ０１）に対して変更を加えることでその仮想空間にある対象物（ＭＯ０１）とデジタルツイン状態にある制御現実空間の対象物（ＲＯ０１）にロボット（ＲＲ０１）を介して前記変更と同じ変更を加えるインターフェースシステムのアルゴリズムである。

【0023】

第１アルゴリズムにおいては、図２に示すように、アバターが仮想空間にある対象物（ＭＯ０１）に対して変更作業を行う（ＳＴＡ０１）と、前記変更作業が行われた対象物（ＭＯ０１）に前記変更作業に基づく変更を加え（ＳＴＡ０２）、変更された結果の対象物（ＭＯ０１）の情報を取得し（ＳＴＡ０３）、前記対象物（ＭＯ０１）の状態を示す変更後情報をデータベース（ＤＢ０１）に記録する（ＳＴＡ０４）。

【0024】

サーバシステムでは、前記データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＡ０５－１）。データベース（ＤＢ０１）には、変更対象物を撮像するロボット（ＲＲ０１）から、空間状態・情報記録プログラム（Ｐ０２）を介して前記制御現実空間の対象物の状態を示す情報（ＲＮ０１）が記録されており（ＳＴＡ００）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に記録されていた前記制御現実空間の対象物（ＲＯ０１）の状態と前記仮想空間の対象物（ＭＯ０１）の前記変更後情報に基づく状態とを比較することで差分を検出する（ＳＴＡ０５－２）。

【0025】

差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば前記仮想空間にある対象物（ＭＯ０１）の状態と前記制御現実空間にある対象物（ＲＯ０１）の状態のどちらの差分が最新かを検出する（ＳＴＡ０５－４）。

【0026】

前記制御現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば現実空間のロボット（ＲＲ０１）に前記変更後情報に基づいて前記変更作業と同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させる（ＳＴＡ０５－６）。

【0027】

制御現実空間では、ロボット（ＲＲ０１）は、前記対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）。このように、アバターが仮想空間で操作したりして変更を加えるとその変更がロボット（ＲＲ０１）を介して自動的に現実の物体に同じ変更を加えることができる。

【0028】

＜第２アルゴリズム＞
第２アルゴリズムは、第１アルゴリズムを実行する前提でデジタルツインを構築する際に、任意の範囲で現実空間の対象物の周りの空間（対象領域となる）を自動認識し、認識した当該空間も仮想空間上に対象領域として構築するシステムである。これによって、仮想空間上のアバターがデジタルツイン上の対象領域でどの程度動いたかがわかり、仮想空間上の対象物の場所を移動したとしても、現実空間の対象物も同様に移動させることが可能となる。

【0029】

第２アルゴリズムにおいては、図３に示すように、制御現実空間において、前記ロボット（ＲＲ０１）に搭載された撮像手段（ＲＲ０２）が対象物（ＲＯ０１）の周辺空間の状態である対象領域情報（ＲＮ０１）を読み取り（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に前記対象領域情報（ＲＮ０１）を記録する（ＳＴＢ０２）。

【0030】

対象物（ＲＯ０１）の対象領域情報（ＲＮ０１）を読み取る手段としては、前述のように、可動式カメラのみならず、制御現実空間内を撮像可能に固定配置された非可動式のカメラであってもよい。また、撮像は自動で常に、または、一定時間間隔で行うような設定であっても、ユーザーのスイッチング操作等で都度撮像可能な設定であってもよい。

【0031】

サーバシステムでは、前記データベース（ＤＢ０１）が前記差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＢ０３－１）。前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）が記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記制御現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出する（ＳＴＢ０３－２）。前記差分がなければ、差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させる（ＳＴＢ０３－３）。

【0032】

前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、制御現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断する。

【0033】

また、前記差分があれば、前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記制御現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出する（ＳＴＢ０３－４）。そして、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、制御現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行なう（ＳＴＢ０３－５）。

【0034】

制御現実空間において、前記ロボット（ＲＲ０１）は、その制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行する（ＳＴＡ０４）。

【0035】

また、ＳＴＢ０３－４に戻り、制御現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を制御現実空間の周辺空間状態（ＲＮ０１）と同じくするように変更指示する（ＳＴＢ０３－６）。

【0036】

仮想空間において、前記空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記制御現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）。これにより、任意の範囲で制御現実空間の対象物の周りの空間を常にロボットが把握し、仮想空間の状態と制御現実空間の状態との整合をリアルタイムに取ることができる。

【0037】

＜第３アルゴリズム＞
第３アルゴリズムは、人やロボットが制御現実空間の対象物を移動または変更を加えた場合に、自動的に、仮想空間のデジタルツインの対象物に対しても同じ移動または変更を行うシステムである。

【0038】

第３アルゴリズムにおいては、図４に示すように、制御現実空間において対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、前記ロボット（ＲＲ０１）に搭載された撮像手段（ＲＲ０２）等は、前記現実空間の対象物（ＲＯ０１）の空間状態を自動的に確認し（ＳＴＣ０２）、空間状態情報記録プログラム（Ｐ０２）を介して、現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録する（ＳＴＣ０３）。この場合においても、対象物（ＲＯ０１）の対象領域情報（ＲＮ０１）を読み取る撮像手段としては、前述のように、可動式カメラのみならず、制御現実空間内を撮像可能に固定配置された非可動式のカメラであってもよい。また、撮像は自動で常に、または、一定時間間隔で行うような設定であっても、ユーザーのスイッチング操作等で都度撮像可能な設定であってもよい。

【0039】

サーバシステムでは、前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動する（ＳＴＣ０４）。

【0040】

前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）。

【0041】

ここで、図５に、前述のアルゴリズムを実行するためのサーバシステムの構成における信号や情報を伝達し、処理する要部構成を示す。

【0042】

この図に示すように、サーバシステムと通信可能とされ対象物、対象領域が存在する制御現実空間には、撮像手段としての可動式あるいは非可動式の１乃至複数台のカメラと、制御対象物に変更を加えるための１乃至複数基のロボットが配設されている。ここで、対象物は１つに限られず、特定範囲（対象領域）内に位置しているすべての物が対象物となりうる。また、ユーザー現実空間には、仮想空間内のアバターを動作させるアバターコントローラが設けられている。ここでいうアバターコントローラとは、視覚や聴覚などの感覚を用いながら仮想空間内の状況を確認しながらその仮想空間内におけるアバターの動作を制御するための入出力装置を意味する。なお、サーバシステムに何らかの障害が発生した場合にアラートを発信する構成を備えることはいうまでもない。

【0043】

サーバシステムは、仮想空間・制御現実空間に関して入力される情報は現実対象物（領域）認識部で認識する。現実対象物（領域）に関する情報は現実・仮想対象物（領域）差分認識部へ提供される。現実・仮想対象物（領域）差分認識部には、後述する対象物（領域）認識部から最新の仮想空間に関する情報が提供されるので、両情報を比較見分して差分を認識し、差異が生じている場合に制御現実空間における変更作業を要する場合には、出力情報決定部から制御現実空間内のロボットに指令を出力する。また、両情報を比較見分した差分は対象物生成部、対象領域生成部へそれぞれ提供され、対象物生成部、対象領域生成部においてはその差分に基づき仮想空間内の対象物、対象領域を生成する。この新たに生成された対象物、対象領域に対し、対象物制御部、対象領域制御部から制御がなされる。その制御内容は、ユーザー現実空間のアバターコントローラから入力されるアバター制御部へ入力される情報に基づく。なお、アバター制御部には、アバターの動作を制御するために必要な対象物生成部、対象領域生成部からの情報が提供される。そして、アバターの動作をも反映させた対象物制御部、対象領域制御部からの情報に基づき、最新の仮想空間の対象物（領域）が認識される。この情報が現実・仮想対象物（領域）差分認識部へ提供されることは前述の通りである。

【0044】

次に、前述のアルゴリズムを用い、アバターが仮想空間で操作したりして変更を加えるとその変更がロボットを介して自動的に現実の物体に同じ変更を加え、さらには、制御現実空間の状態も常にロボットが把握し、仮想空間の状態と制御現実空間の状態との整合をリアルタイムに取る実施例を、小売店舗、工場、倉庫、農地、そして、建築現場の５つの場合で説明する。

【0045】

第１実施例として、小売店舗での業務形態について当該技術を使った時の流れを説明する。小売店舗では現実空間の対象物（ＲＯ０１）は、配置されているすべての商品、商品が配置される商品棚、買い物かごなどの個々のものが置かれた店舗内の状態を想定する。また、対象領域情報（ＲＮ０１）はそれらが配置されている店舗全体の空間の情報である。なお、店舗内倉庫に関する形態に関しては後述の第３実施例の倉庫の業務形態で説明する。

【0046】

本実施例において、制御現実空間の対象物（ＲＯ０１）は仮想空間の対象物（ＭＯ０１）として仮想空間上の小売店舗、具体的には、店舗内の商品棚、商品などにデジタルツインが構築されており、アバターは仮想空間上の小売店舗内で動作する店員や顧客を想定することができる。デジタルツインの構築や変更については前述の通りである。

【0047】

そして、システムは、アバターが、仮想空間上で仮想空間の対象物（ＭＯ０１）として配置されている商品を、同じく仮想空間の対象物（ＭＯ０１）として構築されている商品棚から取り出し、同じく仮想空間の対象物（ＭＯ０１）として構築されている他の商品棚に移動させる等のアクションを起こす（ＳＴＡ０１）と、その対象物（ＭＯ０１）の変更作業から生じる変更作業データを読み取り、仮想空間における対象物（ＭＯ０１）に変更を加え（ＳＴＡ０２）、その変更された結果である変更情報を取得し（ＳＴＡ０３）、その変更情報をデータベース（ＤＢ０１）に記録する（ＳＴＡ０４）。

【0048】

また、データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＡ０５－１）。

【0049】

データベース（ＤＢ０１）には、変更対象物を撮像するロボット（ＲＲ０１）から、空間状態・情報記録プログラム（Ｐ０２）を介して前記制御現実空間の対象物の状態を示す情報（ＲＮ０１）が記録されており（ＳＴＡ００）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ記録されていた前記制御現実空間の対象物（ＲＯ０１）の状態を示す情報と、前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出する（ＳＴＡ０５－２）。

【0050】

差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば仮想空間にある対象物（ＭＯ０１）の状態が前記制御現実空間にある対象物（ＲＯ０１）の状態と比較して最新かどうかを検出することとなる（ＳＴＡ０５－４）。

【0051】

前記制御現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば制御現実空間に存在するロボット（ＲＲ０１）に前記変更情報に基づいて同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させる（ＳＴＡ０５－６）。

【0052】

そして、制御現実空間では、ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）。

【0053】

このように、アバターが仮想空間で対象物に行った変更を、制御現実空間においてロボットが自動的に対象物に同じ変更を加えることができる。例えば、アバターが仮想空間において商品棚から商品を取り出し、買い物かごに入れれば、制御現実空間においてはロボットがデジタルツインの関係にある商品棚から商品を取り出し、買い物かごに入れることができる。

【0054】

また、小売店舗では対象物の周囲の状況が変更されることがある。例えば店員が商品棚の隣に別の棚を移動させたときがそれに当たる。このような制御現実空間の対象物の周りの空間（対象領域）の変更を、本実施例においては、図３に示す前述の第２アルゴリズムによって対処する。

【0055】

制御現実空間において、例えば、店員が商品棚の隣に新しい棚を移すなどして対象物（ＲＯ０１）の周囲の状況が変更されると、撮像機能を備える前記ロボット（ＲＲ０１）が対象物（ＲＯ０１）の周辺空間の状態を示す周辺対象領域情報（ＲＮ０１）を取得し（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に、先ほど取得した前記対象領域情報（ＲＮ０１）を記録する（ＳＴＢ０２）。

【0056】

サーバシステムの前記データベース（ＤＢ０１）が前記差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＢ０３－１）。前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）が記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記制御現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出する（ＳＴＢ０３－２）。前記差分がなければ、差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させる（ＳＴＢ０３－３）。

【0057】

なお、前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、制御現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断する。

【0058】

また、前記差分があれば、前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記制御現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出する（ＳＴＢ０３－４）。そして、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、制御現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行なう（ＳＴＢ０３－５）。

【0059】

制御現実空間において、前記ロボット（ＲＲ０１）は、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行する（ＳＴＡ０４）。

【0060】

一方で、制御現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、前述のＳＴＢ０３－４に戻り、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（ＭＮ０１）を制御現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示する（ＳＴＢ０３－６）。

【0061】

仮想空間において、前記空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記制御現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）。

【0062】

これにより、任意の範囲で制御現実空間の対象物の周りの空間を常にロボット（ＲＲ０１）が把握し、仮想空間の状態と制御現実空間の状態とをリアルタイムに整合させることができる。

【0063】

また、小売店舗では制御現実空間の対象物が頻繁に変更される。例えば、来店客が商品を商品棚から取り出し、買い物かごに入れた場合や、店員が商品を商品棚に補充した場合等が当たる。このような制御現実空間の対象物の変更を、本実施例においては、図４に示す前述の第３アルゴリズムによって対処する。

【0064】

第３アルゴリズムにおいては、図４に示すように、制御現実空間において、制御現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、撮像機能を備える前記ロボット（ＲＲ０１）において、前記制御現実空間の対象物（ＲＯ０１）の空間状態を確認し（ＳＴＣ０２）し、空間状態情報記録プログラム（Ｐ０２）を起動し、制御現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録する（ＳＴＣ０３）。

【0065】

前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動する（ＳＴＣ０４）。

【0066】

前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳTＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）。

【0067】

第２実施例として、工場での業務形態について当該技術を使った時の流れを説明する。工場では制御現実空間の対象物ＲＯ０１は材料保管棚、そこに配置されている材料、生産ラインに流れてくる生産物の状態を想定することができる。また、対象領域情報（ＲＮ０１）は工場全体の空間の情報となる。なお、工場内倉庫に関する形態に関しては後述の第３実施例の倉庫の業務形態で説明する。

【0068】

本実施例において、制御現実空間の対象物（ＲＯ０１）は仮想空間の対象物（ＭＯ０１）として仮想空間上の工場にデジタルツインが構築されていることが前提となる。アバターは工場の工員になる。

【0069】

そして、システムは、アバターが仮想空間上で仮想空間の対象物ＭＯ０１として配置されている材料や生産物を、同じく仮想空間の対象物ＭＯ０１として構築されている材料保管棚や生産ラインから取り出し、他の棚や生産ライン（同じく仮想空間対象物ＭＯ０１に構築されている）に移動したり、周辺空間内の別の位置に移動したりすると（ＳＴＡ０１）と、その対象物（ＭＯ０１）の変更作業から生じる変更作業データを読み取り、仮想空間における対象物（ＭＯ０１）に変更を加え（ＳＴＡ０２）、その変更された結果である変更情報を取得し（ＳＴＡ０３）、その変更情報をデータベース（ＤＢ０１）に記録する（ＳＴＡ０４）。

【0070】

前記データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＡ０５－１）。

【0071】

データベース（ＤＢ０１）には、変更対象物を撮像するロボット（ＲＲ０１）から、空間状態・情報記録プログラム（Ｐ０２）を介して前記制御現実空間の対象物の状態を示す情報（ＲＮ０１）が記録されており（ＳＴＡ００）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ記録されていた前記制御現実空間の対象物（ＲＯ０１）の状態を示す情報と、前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出する（ＳＴＡ０５－２）。

【0072】

差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば仮想空間にある対象物（ＭＯ０１）の状態が前記制御現実空間にある対象物（ＲＯ０１）の状態と比較して最新かどうかを検出することとなる（ＳＴＡ０５－４）。

【0073】

前記制御現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば制御現実空間に存在するロボット（ＲＲ０１）に前記変更情報に基づいて同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させる（ＳＴＡ０５－６）。

【0074】

そして、制御現実空間では、ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）。

【0075】

このように、アバターが仮想空間の対象物である工場で行った変更を、制御現実空間の工場においてロボットが自動的に対象物に同じ変更を加えることができる。例えば、アバターが仮想空間の工場において材料保管棚から材料を取り出せば、制御現実空間においてはロボットがデジタルツインの関係にある材料保管棚から材料を取り出す。

【0076】

また、工場では対象物の対象領域情報も変更されることがある。例えば工員が在庫保管棚の配置替えをしたときがそれに当たる。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図３に示す前述の第２アルゴリズムによって対処する。

【0077】

制御現実空間において、対象領域情報（ＲＮ０１）が変更されると、撮像機能を備える前記ロボット（ＲＲ０１）が対象物（ＲＯ０１）の対象領域情報（ＲＮ０１）を取得し（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に、先ほど取得した前記対象領域情報（ＲＮ０１）を記録する（ＳＴＢ０２）。

【0078】

サーバシステムの前記データベース（ＤＢ０１）が前記差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＢ０３－１）。前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）が記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出する（ＳＴＢ０３－２）。前記差分がなければ、差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させる（ＳＴＢ０３－３）。

【0079】

なお、前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、制御現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断する。

【0080】

また、前記差分があれば、前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記制御現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出する（ＳＴＢ０３－４）。そして、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、制御現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行なう（ＳＴＢ０３－５）。

【0081】

制御現実空間において、前記ロボット（ＲＲ０１）は、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行する（ＳＴＡ０４）。

【0082】

一方で、制御現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、前述のＳＴＢ０３－４に戻り、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を制御現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示する（ＳＴＢ０３－６）。

【0083】

仮想空間において、前記空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記制御現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）。

【0084】

また、工場では制御現実空間の対象物が変更されることがある。例えば、工員が材料保管棚から材料を取り出し別の場所へ移動させた場合や逆に新しい材料を保管した場合、または、生産ラインの組み替えをしたような場合である。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図４に示す前述の第３アルゴリズムによって対処する。

【0085】

第３アルゴリズムにおいては、図４に示すように、制御現実空間において、制御現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、撮像機能を備える前記ロボット（ＲＲ０１）は、前記制御現実空間の対象物（ＲＯ０１）の空間状態を自動的に確認し（ＳＴＣ０２）、空間状態情報記録プログラム（Ｐ０２）を起動し、制御現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録する（ＳＴＣ０３）。

【0086】

サーバシステムでは、前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動する（ＳＴＣ０４）。

【0087】

前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）。

【0088】

そして、第３実施例として、倉庫での業務形態について当該技術を使った時の流れを説明する。倉庫では制御現実空間の対象物ＲＯ０１は在庫保管棚や床に在庫が配置されている状態を想定する。前記した通り、これには店舗内倉庫や工場内倉庫も含まれる。また、対象領域情報（ＲＮ０１）は倉庫全体の空間の情報となる。

【0089】

本実施例において、制御現実空間の対象物（ＲＯ０１）は仮想空間の対象物（ＭＯ０１）として仮想空間上の倉庫にデジタルツインが構築されていることが前提となる。また、アバターは倉庫スタッフになる。

【0090】

そして、システムは、当該アバターが仮想空間上で仮想空間対象物ＭＯ０１に配置されている在庫を同じく仮想空間対象物ＭＯ０１として構築されている在庫保管棚から取り出し、他の棚に移動したり、周辺空間に移動したりすると（ＳＴＡ０１）と、その対象物（ＭＯ０１）の変更作業から生じる変更作業データを読み取り、仮想空間における対象物（ＭＯ０１）に変更を加え（ＳＴＡ０２）、その変更された結果である変更情報を取得し（ＳＴＡ０３）、その変更情報をデータベース（ＤＢ０１）に記録する（ＳＴＡ０４）。

【0091】

続いて、サーバシステムでは、前記データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＡ０５－１）。

【0092】

データベース（ＤＢ０１）には、変更対象物を撮像するロボット（ＲＲ０１）から、空間状態・情報記録プログラム（Ｐ０２）を介して前記制御現実空間の対象物の状態を示す情報（ＲＮ０１）が記録されており（ＳＴＡ００）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ記録されていた前記制御現実空間の対象物（ＲＯ０１）の状態を示す情報と、前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出する（ＳＴＡ０５－２）。

【0093】

差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば仮想空間にある対象物（ＭＯ０１）の状態が前記制御現実空間にある対象物（ＲＯ０１）の状態と比較して最新かどうかを検出することとなる（ＳＴＡ０５－４）。

【0094】

前記制御現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば制御現実空間に存在するロボット（ＲＲ０１）に前記変更情報に基づいて同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させる（ＳＴＡ０５－６）。

【0095】

そして、制御現実空間では、ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）。

【0096】

このように、アバターが仮想空間の対象物（ＭＯ０１）である倉庫内で行った変更を、制御現実空間においてロボットが自動的に対応する倉庫内の対象物（ＲＯ０１）に同じ変更を加えることができる。例えば、アバターが仮想空間において在庫保管棚から在庫を取り出し、カートに載せれば、制御現実空間においてはロボットがデジタルツインの関係にある在庫保管棚から在庫を取り出し、カートに載せることができる。

【0097】

また、倉庫では対象物の対象領域情報も変更されることがある。例えば倉庫スタッフが在庫保管棚の隣に新しく棚を置いたときがそれに当たる。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図３に示す前述の第２アルゴリズムによって対処する。

【0098】

制御現実空間において、例えば、倉庫スタッフが棚の配置換えをしたりして、対象領域情報（ＲＮ０１）が変更されると、撮像機能を備える前記ロボット（ＲＲ０１）が対象物（ＲＯ０１）の周辺空間の状態を示す対象領域情報（ＲＮ０１）を取得し（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に、先ほど取得した前記対象領域情報（ＲＮ０１）を記録する（ＳＴＢ０２）。

【0099】

サーバシステムでは、データベース（ＤＢ０１）が差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＢ０３－１）。差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）が記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記制御現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出する（ＳＴＢ０３－２）。前記差分がなければ、差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させる（ＳＴＢ０３－３）。

【0100】

なお、データベース（ＤＢ０１）に仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、制御現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断する。

【0101】

また、前記差分があれば、前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記制御現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出する（ＳＴＢ０３－４）。そして、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、制御現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報（ＭＮ０１）に基づいて、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行なう（ＳＴＢ０３－５）。

【0102】

制御現実空間において、前記ロボット（ＲＲ０１）は、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行する（ＳＴＡ０４）。

【0103】

一方で、制御現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、前述のＳＴＢ０３－４に戻り、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を制御現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示する（ＳＴＢ０３－６）。

【0104】

仮想空間において、前記空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記制御現実空間の周辺空間状態（ＲＮ０１）と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）。

【0105】

また、倉庫では制御現実空間の対象物が変更されることがある。例えば、他の倉庫スタッフが在庫保管棚から在庫を取り出し別の場所へ移動させた場合や逆に新しい在庫を保管した場合、または、棚の隣に在庫搬送車を置いた場合などである。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図４に示す前述の第４アルゴリズムによって対処する。

【0106】

第３アルゴリズムにおいては、図４に示すように、制御現実空間において、制御現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、撮像機能を備える前記ロボット（ＲＲ０１）において、前記制御現実空間の対象物（ＲＯ０１）の空間状態を確認し（ＳＴＣ０２）、空間状態情報記録プログラム（Ｐ０２）を起動し、制御現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録する（ＳＴＣ０３）。

【0107】

ロボットまたは人が対象物に対して移動または変更作業を行うと、ロボットＲＲ０１が対象物制御現実空間対象物（ＲＯ０１）の状態を確認し、空間状態情報記録プログラム（Ｐ０２）を起動させる。

【0108】

サーバシステムでは、前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動する（ＳＴＣ０４）。

【0109】

前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）。

【0110】

また、第４実施例として、農地での業務形態について当該技術を使った時の流れを説明する。農地では、制御現実空間の対象物（ＲＯ０１）は農地に農作物が栽培されている状態を想定する。

【0111】

本実施例においては、制御現実空間の対象物（ＲＯ０１）は仮想空間の対象物（ＭＯ０１）として仮想空間上の農地にデジタルツインが構築されていることが前提となる。また、アバターは農家の人になる。

【0112】

本発明のシステムは、アバターが仮想空間上で仮想空間の対象物（ＭＯ０１）に配置されている農作物を、同じく仮想空間の対象物（ＭＯ０１）として構築されている農地から収穫したり、農作物に変更を加えるための農機具を使って、農作物に変更を加えたり、または、それら農作物や農機具を別の場所に移動させたりする（Ａ０２）と、その対象物（ＭＯ０１）の変更作業から生じる変更作業データを読み取り、仮想空間における対象物（ＭＯ０１）に変更を加え（ＳＴＡ０２）、その変更された結果である変更情報を取得し（ＳＴＡ０３）、その変更情報をデータベース（ＤＢ０１）に記録する（ＳＴＡ０４）。

【0113】

また、前記データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＡ０５－１）。

【0114】

データベース（ＤＢ０１）には、変更対象物を撮像するロボット（ＲＲ０１）から、空間状態・情報記録プログラム（Ｐ０２）を介して前記制御現実空間の対象物の状態を示す情報（ＲＮ０１）が記録されており（ＳＴＡ００）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ記録されていた前記制御現実空間の対象物（ＲＯ０１）の状態を示す情報と、前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出する（ＳＴＡ０５－２）。

【0115】

差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば仮想空間にある対象物（ＭＯ０１）の状態が前記制御現実空間にある対象物（ＲＯ０１）の状態と比較して最新かどうかを検出することとなる（ＳＴＡ０５－４）。

【0116】

前記制御現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば制御現実空間に存在するロボット（ＲＲ０１）に前記変更情報に基づいて同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させる（ＳＴＡ０５－６）。

【0117】

そして、制御現実空間では、ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）。

【0118】

このように、アバターが仮想空間の対象物である農地で行った変更を、制御現実空間の農地においてロボットが自動的に対象物に同じ変更を加えることができる。例えば、アバターが農地から大根を抜き取って収穫すれば、制御現実空間においてはロボットがデジタルツインの関係にある農地から同様に大根を向き取って収穫する。

【0119】

また、農地では対象物の対象領域情報も変更されることがある。例えば雑草が生えた時、その雑草を刈った時などが当たる。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図３に示す前述の第２アルゴリズムによって対処する。

【0120】

制御現実空間において、例えば、農家の人が対象物（ＭＯ０１）の周辺の雑草を刈ったりして、対象領域情報（ＲＮ０１）が変更されると、撮像機能を備える前記ロボット（ＲＲ０１）が対象物（ＲＯ０１）の周辺空間の状態を示す対象領域情報（ＲＮ０１）を取得し（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に、先ほど取得した前記対象領域情報（ＲＮ０１）を記録する（ＳＴＢ０２）。

【0121】

サーバシステムでは、前記データベース（ＤＢ０１）が前記差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＢ０３－１）。前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）が記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記制御現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出する（ＳＴＢ０３－２）。前記差分がなければ、差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させる（ＳＴＢ０３－３）。

【0122】

なお、前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、制御現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断する。

【0123】

また、前記差分があれば、前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記制御現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出する（ＳＴＢ０３－４）。そして、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、制御現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行なう（ＳＴＢ０３－５）。

【0124】

制御現実空間において、前記ロボット（ＲＲ０１）は、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行する（ＳＴＡ０４）。

【0125】

一方で、制御現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、前述のＳＴＢ０３－４に戻り、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を制御現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示する（ＳＴＢ０３－６）。

【0126】

仮想空間において、前記空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記制御現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）。

【0127】

また、農地では制御現実空間の対象物（ＲＯ０１）が変更されることがある。例えば収穫物を収穫した場合、または、枝を切った場合などである。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図４に示す前述の第３アルゴリズムによって対処する。

【0128】

第３アルゴリズムにおいては、図４に示すように、制御現実空間において、ロボットまたは人により、制御現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、撮像機能を備える前記ロボットＲＲ０１は、前記制御現実空間の対象物（ＲＯ０１）の空間状態を自動的に確認し（ＳＴＣ０２）、空間状態情報記録プログラム（Ｐ０２）を起動し、制御現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録する（ＳＴＣ０３）。

【0129】

サーバシステムでは、前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動する（ＳＴＣ０４）。

【0130】

前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）。

【0131】

そして、第５実施例として、建築現場での業務形態について当該技術を使った時の流れを説明する。建築現場では制御現実空間の対象物（ＲＯ０１）は建築現場に建築器具や建築材料が配置されている状態を想定する。

【0132】

本実施例においては、制御現実空間の対象物（ＲＯ０１）は仮想空間の対象物（ＭＯ０１）として仮想空間上の建築現場にデジタルツインが構築されていることが前提となる。また、アバターは建設現場スタッフになる。

【0133】

本発明のシステムは、アバターが仮想空間上で仮想空間の対象物（ＭＯ０１）に配置されている建築器具や建築材料を、同じく仮想空間の対象物（ＭＯ０１）として構築されている建設現場上で移動させたり、それらを利用して建設を行う（Ａ０２）と、その対象物（ＭＯ０１）の変更作業から生じる変更作業データを読み取り、仮想空間における対象物（ＭＯ０１）に変更を加え（ＳＴＡ０２）、その変更された結果である変更情報を取得し（ＳＴＡ０３）、その変更情報をデータベース（ＤＢ０１）に記録する（ＳＴＡ０４）。

【0134】

データベース（ＤＢ０１）には、変更対象物を撮像するロボット（ＲＲ０１）から、空間状態・情報記録プログラム（Ｐ０２）を介して前記制御現実空間の対象物の状態を示す情報（ＲＮ０１）が記録されており（ＳＴＡ００）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ記録されていた前記制御現実空間の対象物（ＲＯ０１）の状態を示す情報と、前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出する（ＳＴＡ０５－２）。

【0135】

差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば仮想空間にある対象物（ＭＯ０１）の状態が前記制御現実空間にある対象物（ＲＯ０１）の状態と比較して最新かどうかを検出することとなる（ＳＴＡ０５－４）。

【0136】

前記制御現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば制御現実空間に存在するロボット（ＲＲ０１）に前記変更情報に基づいて同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させる（ＳＴＡ０５－６）。

【0137】

そして、制御現実空間では、ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）。

【0138】

このように、アバターが仮想空間の対象物である建設現場で行った変更を、制御現実空間の建設現場においてロボットが自動的に対象物に同じ変更を加えることができる。例えば、アバターが仮想空間の建設現場において建築材料を別の位置へ運べば、制御現実空間においてはロボットがデジタルツインの関係にある建築材料を同様に移動させる。

【0139】

また、建設現場では対象物の対象領域情報も変更されることがある。例えば他の建築現場スタッフが新しい建築器具や建築材料を建築現場に置いたときがそれに当たる。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図３に示す前述の第２アルゴリズムによって対処する。

【0140】

制御現実空間において、例えば、建築現場スタッフが対象物（ＭＯ０１）の新しい建築器具を建築現場に置くなどして、対象領域情報（ＲＮ０１）が変更されると、撮像機能を備える前記ロボット（ＲＲ０１）が対象物（ＲＯ０１）の周辺空間の状態を示す対象領域情報（ＲＮ０１）を取得し（ＳＴＢ０１）、空間状態情報記録プログラム（Ｐ０２）を介して、前記データベース（ＤＢ０１）に、先ほど取得した前記対象領域情報（ＲＮ０１）を記録する（ＳＴＢ０２）。

【0141】

サーバシステムでは、前記データベース（ＤＢ０１）が前記差分確認／変更指示プログラム（ＤＰ０１）を起動する（ＳＴＢ０３－１）。前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の周辺空間の状態を示す対象領域情報（ＭＮ０１）が記録されていた場合には、前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）と前記データベース（ＤＢ０１）に新規に記録された前記制御現実空間の情報を示す対象領域情報（ＲＮ０１）とを比較することで差分を検出する（ＳＴＢ０３－２）。前記差分がなければ、差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させる（ＳＴＢ０３－３）。

【0142】

なお、前記データベース（ＤＢ０１）に前記仮想空間の対象物（ＭＯ０１）の状態を示す対象領域情報（ＭＮ０１）がない場合は、制御現実空間の対象領域情報（ＲＮ０１）の方が最新であると判断する。

【0143】

また、前記差分があれば、前記仮想空間の対象領域情報（ＭＮ０１）が示す状態と、前記制御現実空間の新規に記録された対象領域情報（ＲＮ０１）のどちらの差分が最新かを検出する（ＳＴＢ０３－４）。そして、仮想空間の対象領域情報（ＭＮ０１）の状態が最新であれば、制御現実空間の前記ロボット（ＲＲ０１）に前記仮想空間の対象領域情報ＭＮ０１に基づいて、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更指示を行なう（ＳＴＢ０３－５）。

【0144】

制御現実空間において、前記ロボット（ＲＲ０１）は、制御現実空間を仮想空間の対象領域情報（ＭＮ０１）の状態と同じ状態とする変更を実行する（ＳＴＡ０４）。

【0145】

一方で、制御現実空間の対象領域情報（ＲＮ０１）の状態が最新であれば、前述のＳＴＢ０３－４に戻り、仮想空間の空間構築プログラム（Ｐ０１）に対して、仮想空間の対象領域情報（（ＭＮ０１）を制御現実空間の周辺空間状態（ＲＮ０１）と同くするように変更指示する（ＳＴＢ０３－６）。

【0146】

仮想空間において、前記空間構築プログラム（Ｐ０１）は、前記仮想空間の対象領域情報（ＭＮ０１）を前記制御現実空間の周辺空間状態ＲＮ０１と同じ周辺空間状態に構築・変更する（ＳＴＢ０５）。

【0147】

そして、建築現場では制御現実空間の対象物（ＲＯ０１）が頻繁に変更される。なぜなら建築現場では建築していくことが主たる業務であるから、常に建築が行われることになり、詰まるところ、常に状態が変化している状況になる。このような制御現実空間の対象物の周りの空間の変更を、本実施例においては、図４に示す前述の第３アルゴリズムによって対処する。

【0148】

第３アルゴリズムにおいては、図４に示すように、制御現実空間において、ロボットまたは人により制御現実空間の対象物（ＲＯ０１）に対して変更が行われ、または、移動が行なわれると（ＳＴＣ０１）、撮像機能を備える前記ロボットＲＲ０１は、前記制御現実空間の対象物（ＲＯ０１）の空間状態を自動的に確認し（ＳＴＣ０２）、空間状態情報記録プログラム（Ｐ０２）を起動し、制御現実空間の空間状態情報（ＲＮ０１）として前記データベース（ＤＢ０１）に記録する（ＳＴＣ０３）。

【0149】

前記データベース（ＤＢ０１）は、前記仮想空間の空間構築プログラム（Ｐ０１）を起動する（ＳＴＣ０４）。

【0150】

前記仮想空間の空間構築プログラム（Ｐ０１）は仮想空間上の対象物（ＭＯ０１）の空間状態を前記制御現実空間の空間状態情報（ＲＮ０１）に基づいて、前記制御現実空間の対象物（ＲＯ０１）と同じ状態にする構築または変更を行い（ＳＴＣ０５）、構築または変更された前記仮想空間の空間状態情報（ＭＮ０１）を前記データベース（ＤＢ０１）に記録する（ＳＴＣ０６）。

【0151】

次に、前述の実施例に示したように本システムを利用することで得られる、産業利用上の効果について説明する。

【0152】

第１に、人手不足の解消に寄与することができる。人手不足の一因として人工分布のばらつきが挙げられる。人口が減少している昨今、都市一極化現象が進み、都市以外の多くの地域で働き世代人口の減少が顕著である。それにより店舗、工場、倉庫、農地などで働く人が少なくなり、結果的に人手不足に陥っている。地方に存在する店舗、工場、倉庫、農地などにロボットを配置し、当該技術を使うことで、都市圏に住む人々がそれら地方の店舗、工場、倉庫、農地などで働くことが可能になる。すなわち、それら人々は仮想空間上に構築されたそれら店舗、工場、倉庫、農地などに出勤し、（ロボットを操作することなく）普通に業務を実施するだけで、現実世界においても当該業務が反映される。これによって、都市一極化による人手不足の解消を図ることができる。

【0153】

第２に障害者・高齢者の社会活躍の促進に寄与する。障害者・高齢者のうち、特に身体的弱者は、動けない、または健常者と同じ力を出せないことで就ける仕事に制限がある。この技術を使うことでそれら障害者・高齢者は仮想空間上で業務をこなせばいいことになり、「動けない」や「健常者と同じ力を出せない」というハンデを乗り越えることができる。

【0154】

第３に、何らかの理由で家を出られない人々の社会活躍を促進する。生き方が多様になった昨今、子育てや介護、引きこもりなどで家を出られない人々が数多く存在する。［０００５］で挙げたように当該技術は家から出ることを必要とせずに業務を行えることに加えて、ロボットを操作するわけでないから特別なロボット知識も必要ない。そのため、これら人々も社会で活躍することが容易になる。

【0155】

第４に、生産効率の向上を実現できる。生産性を上げるための施策は多くあるが、多くの店舗、工場、倉庫、農業において生産性向上策として注目されるのは要員による移動距離の短縮である。仮想空間上で通常業務の遂行を実現する本技術は、移動距離をほとんど考えなくて良い。仮想空間内での移動は現実世界と違い、移動先を指し示せば瞬間的に移動することができる。通勤時間もなくなる。ログインすればすぐに職場に到着することになる。これにより移動距離が大幅に削減することができ（おおよそゼロにすることができる）、生産効率の向上に寄与できる。

【0156】

第５に、危険作業等によるケガの防止につながる。現実での業務では多くの危険作業がつきまとう。特に工場、倉庫などの作業においては年間で多くの死傷者が出ている。当該技術では仮想空間で働くことになるため、危険作業による死傷は皆無になる。

【0157】

なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更することができる。例えば、基本的に、デジタルツインを構築し、変更するためのシステムは図１に示すものに限らない。

【符号の説明】

【0158】

ＭＯ０１ 仮想空間の対象物
ＲＯ０１ 制御現実空間の対象物
ＲＲ０１ 制御現実空間のロボット
ＲＲ０２ 制御現実空間の撮像手段
ＲＮ０１ 制御現実空間の対象領域情報
ＤＢ０１ データベース
ＤＰ０１ 差分確認／変更指示プログラム
Ｐ０１ 空間構築プログラム
Ｐ０２ 空間状態情報記録プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-05-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項１

【補正方法】変更

【補正の内容】

【請求項1】

仮想空間に存在しているアバターが仮想空間にある対象物（ＭＯ０１）に対して変更を加えることでその仮想空間にある対象物（ＭＯ０１）とデジタルツイン状態にある現実空間の対象物（ＲＯ０１）にロボット（ＲＲ０１）を介して前記変更と同じ変更を加えるインターフェースシステムであって、
前記アバターが仮想空間にある対象物（ＭＯ０１）に対して変更作業を行うこと（ＳＴＡ０１）を契機に、
前記変更作業が行われた対象物（ＭＯ０１）に前記変更作業に基づく変更を加え（ＳＴＡ０２）、
変更された結果の対象物（ＭＯ０１）の情報を取得し（ＳＴＡ０３）、
前記対象物（ＭＯ０１）の状態を示す変更後情報として記録し（ＳＴＡ０４）、
データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動し（ＳＴＡ０５－１）、
前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に記録されていた前記現実空間の対象物（ＲＯ０１）の状態を示す情報と前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報とを比較することで差分を検出し（ＳＴＡ０５－２）、
差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、
差分があれば前記仮想空間にある対象物（ＭＯ０１）の状態と前記現実空間にある対象物（ＲＯ０１）の状態のどちらの差分が最新かを検出し（ＳＴＡ０５－４）、
前記現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ、（ＳＴＡ０５－５）
前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば現実空間のロボット（ＲＲ０１）に前記変更後情報に基づいて前記変更作業と同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了し（ＳＴＡ０５－６）、
前記ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）、
ことを特徴とするロボットインターフェースシステム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

前述した目的を達成するため、本発明の請求項１に記載のロボットインターフェースシステムは、仮想空間に存在しているアバターが仮想空間にある対象物（ＭＯ０１）に対して変更を加えることでその仮想空間にある対象物（ＭＯ０１）とデジタルツイン状態にある現実空間の対象物（ＲＯ０１）にロボット（ＲＲ０１）を介して前記変更と同じ変更を加えるインターフェースシステムであって、前記アバターが仮想空間にある対象物（ＭＯ０１）に対して変更作業を行うと（ＳＴＡ０１）、前記変更作業が行われた対象物（ＭＯ０１）に前記変更作業に基づく変更を加え（ＳＴＡ０２）、変更された結果の対象物（ＭＯ０１）の情報を取得し（ＳＴＡ０３）、前記対象物（ＭＯ０１）の状態を示す変更後情報として記録し（ＳＴＡ０４）、データベース（ＤＢ０１）は、差分確認／変更指示プログラム（ＤＰ０１）を起動し（ＳＴＡ０５－１）、前記差分確認／変更指示プログラム（ＤＰ０１）は、あらかじめ前記データベース（ＤＢ０１）に記録されていた前記現実空間の対象物（ＲＯ０１）の状態を示す情報と前記仮想空間の対象物（ＭＯ０１）の状態を示す前記変更後情報を比較することで差分を検出し（ＳＴＡ０５－２）、差分がなければ前記差分確認／変更指示プログラム（ＤＰ０１）をそのまま終了させ（ＳＴＡ０５－３）、差分があれば前記仮想空間にある対象物（ＭＯ０１）の状態と前記現実空間にある対象物（ＲＯ０１）の状態のどちらの差分が最新かを検出し（ＳＴＡ０５－４）、前記現実空間における対象物（ＲＯ０１）の状態が最新であれば、前記差分確認／変更指示プログラム（ＤＰ０１）を終了させ（ＳＴＡ０５－５）、前記仮想空間における対象物（ＭＯ０１）の状態が最新であれば現実空間のロボット（ＲＲ０１）に前記変更後情報に基づいて前記変更作業と同じ変更指示を行ない、前記差分確認／変更指示プログラム（ＤＰ０１）を終了し（ＳＴＡ０５－６）、前記ロボット（ＲＲ０１）は、前記現実の仮想空間の対象物（ＲＯ０１）に対し、前記変更指示に従った変更を実行する（ＳＴＡ０６）、ことを特徴とする。