知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129923
(43)【公開日】2024-09-30
(54)【発明の名称】情報処理システム及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240920BHJP
G06F 3/01 20060101ALI20240920BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023039322
(22)【出願日】2023-03-14
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】佐々木 裕丈
(72)【発明者】
【氏名】飯田 靖
(72)【発明者】
【氏名】鈴木 俊彦
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050DA04
5B050EA19
5B050FA05
5B050FA10
5E555AA27
5E555AA61
5E555AA64
5E555BA02
5E555BB02
5E555BB05
5E555BB06
5E555BC18
5E555BE16
5E555BE17
5E555CA42
5E555CA47
5E555DA08
5E555DA11
5E555DA21
5E555DB53
5E555DC43
5E555FA00
(57)【要約】
【課題】作業者装置を使用する作業者の作業を支援者が支援する場合において、作業者装置が配置されるべき位置や姿勢に作業者を視覚的に導くことを目的とする。
【解決手段】支援者装置のプロセッサは、作業者装置が撮影する対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、第１画面の表示内容の指定を受け付ける。作業者装置のプロセッサは、第１画面上にて指定された表示内容に対応した作業者装置の位置及び姿勢を示す情報を、作業者装置を介して仮想的に表示する。
【選択図】図１
【解決手段】支援者装置のプロセッサは、作業者装置が撮影する対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、第１画面の表示内容の指定を受け付ける。作業者装置のプロセッサは、第１画面上にて指定された表示内容に対応した作業者装置の位置及び姿勢を示す情報を、作業者装置を介して仮想的に表示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物を撮影する作業者装置と、
前記作業者装置を使用する作業者の作業を支援するための支援者装置と、
を含み、
前記支援者装置は、第１プロセッサを有し、
前記作業者装置は、第２プロセッサを有し、
前記第１プロセッサは、
前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第２プロセッサは、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
情報処理システム。
前記作業者装置を使用する作業者の作業を支援するための支援者装置と、
を含み、
前記支援者装置は、第１プロセッサを有し、
前記作業者装置は、第２プロセッサを有し、
前記第１プロセッサは、
前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第２プロセッサは、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
情報処理システム。
【請求項2】
前記第１プロセッサは、更に、
前記三次元モデルを含む仮想空間を表す第２画面を前記表示装置に表示させるよう制御し、
前記作業者装置の現実空間上の位置及び姿勢を反映した前記作業者装置の仮想オブジェクトを、前記第２画面に表示する、
請求項１に記載の情報処理システム。
前記三次元モデルを含む仮想空間を表す第２画面を前記表示装置に表示させるよう制御し、
前記作業者装置の現実空間上の位置及び姿勢を反映した前記作業者装置の仮想オブジェクトを、前記第２画面に表示する、
請求項１に記載の情報処理システム。
【請求項3】
前記第１プロセッサは、更に、
前記第１画面の表示内容に対応した前記作業者装置の位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
請求項１に記載の情報処理システム。
前記第１画面の表示内容に対応した前記作業者装置の位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
請求項１に記載の情報処理システム。
【請求項4】
前記第２プロセッサは、更に、
現実空間における前記作業者装置の位置から、前記第１画面上の表示内容に対応した現実空間上の位置までの経路を示す情報を、前記作業者装置を介して仮想的に表示する、
請求項１から請求項３のいずれか一項に記載の情報処理システム。
現実空間における前記作業者装置の位置から、前記第１画面上の表示内容に対応した現実空間上の位置までの経路を示す情報を、前記作業者装置を介して仮想的に表示する、
請求項１から請求項３のいずれか一項に記載の情報処理システム。
【請求項5】
前記第２プロセッサは、更に、
前記第１画面上の表示内容に対応した位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
請求項１から請求項３のいずれか一項に記載の情報処理システム。
前記第１画面上の表示内容に対応した位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
請求項１から請求項３のいずれか一項に記載の情報処理システム。
【請求項6】
プロセッサを有し、
前記プロセッサは、
対象物を撮影する作業者装置から前記対象物の画像を取得し、
前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に応じた前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置に送信する、
情報処理システム。
前記プロセッサは、
対象物を撮影する作業者装置から前記対象物の画像を取得し、
前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に応じた前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置に送信する、
情報処理システム。
【請求項7】
コンピュータが、
作業者装置によって撮影される対象物の三次元モデルを表す第１画面を、前記作業者装置を使用する作業者の作業を支援する支援者用の表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
ように動作させるプログラム。
作業者装置によって撮影される対象物の三次元モデルを表す第１画面を、前記作業者装置を使用する作業者の作業を支援する支援者用の表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
ように動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
作業者装置によって撮影された画像を、当該作業者装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させるシステムが知られている。例えば、支援者は、遠隔で作業者の作業を支援することが考えられる。
【0003】
特許文献１には、第１のユーザが装着している台１ステレオ撮像部のステレオ映像を取得し、第１のユーザが存在する空間に設置されている第２ステレオ撮像部のステレオ映像と第２ステレオ撮像部の仮想物体画像と基づく第２ステレオ映像を取得し、第２のユーザによって選択された画像を第２のユーザに提示する方法が記載されている。
【0004】
特許文献２には、ヘッドマウントディスプレイの現実空間上の位置及び向きを取得し、その位置及び向きに基づいて、仮想空間上の位置を特定し、その位置に対してヘッドマウントディスプレイからの矢印を表示するシステムが記載されている。
【0005】
特許文献３には、第１のユーザに装着される第１の表示装置と、作業現場に配置される周囲撮像装置と、第２のユーザによって操作される情報処理装置と、を含むシステムが記載されている。第１の表示装置は、情報処理装置に対して第１の映像データを送信する。周辺撮像装置は、情報処理装置に対して第２の映像データを送信する。情報処理装置は、第１の映像データ及び第２の映像データを表示し、操作部を介して第２のユーザが入力したデータを第１の表示装置に送信する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００６－２０９６６４号公報
【特許文献2】特開２０１６－３５７４２号公報
【特許文献3】特開２０２１－１０１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、作業者が作業者装置によって撮影する場合に、支援者が、作業者装置が配置されるべき位置や作業者装置の姿勢を音声によって指示する場合がある。しかし、音声のみでは、支援者が、作業者をその位置や姿勢に誘導することは困難である。
【0008】
本発明の目的は、作業者装置を使用する作業者の作業を支援者が支援する場合において、作業者装置が配置されるべき位置や姿勢に作業者を視覚的に導くことにある。
【課題を解決するための手段】
【0009】
請求項１に係る発明は、対象物を撮影する作業者装置と、前記作業者装置を使用する作業者の作業を支援するための支援者装置と、を含み、前記支援者装置は、第１プロセッサを有し、前記作業者装置は、第２プロセッサを有し、前記第１プロセッサは、前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、前記第１画面の表示内容の指定を受け付け、前記第２プロセッサは、前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、情報処理システムである。
【0010】
請求項２に係る発明は、前記第１プロセッサは、更に、前記三次元モデルを含む仮想空間を表す第２画面を前記表示装置に表示させるよう制御し、前記作業者装置の現実空間上の位置及び姿勢を反映した前記作業者装置の仮想オブジェクトを、前記第２画面に表示する、請求項１に記載の情報処理システムである。
【0011】
請求項３に係る発明は、前記第１プロセッサは、更に、前記第１画面の表示内容に対応した前記作業者装置の位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、請求項１に記載の情報処理システムである。
【0012】
請求項４に係る発明は、前記第２プロセッサは、更に、現実空間における前記作業者装置の位置から、前記第１画面上の表示内容に対応した現実空間上の位置までの経路を示す情報を、前記作業者装置を介して仮想的に表示する、請求項１から請求項３のいずれか一項に記載の情報処理システムである。
【0013】
請求項５に係る発明は、前記第２プロセッサは、更に、前記第１画面上の表示内容に対応した位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、請求項１から請求項３のいずれか一項に記載の情報処理システムである。
【0014】
請求項６に係る発明は、プロセッサを有し、前記プロセッサは、対象物を撮影する作業者装置から前記対象物の画像を取得し、前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、前記第１画面の表示内容の指定を受け付け、前記第１画面上にて指定された表示内容に応じた前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置に送信する、情報処理システムである。
【0015】
請求項７に係る発明は、コンピュータが、作業者装置によって撮影される対象物の三次元モデルを表す第１画面を、前記作業者装置を使用する作業者の作業を支援する支援者用の表示装置に表示させるよう制御し、前記第１画面の表示内容の指定を受け付け、前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、ように動作させるプログラムである。
【発明の効果】
【0016】
請求項１，６，７に係る発明によれば、作業者装置を使用する作業者の作業を支援者が支援する場合において、作業者装置が配置されるべき位置や姿勢に作業者を視覚的に導くことができる。
【0017】
請求項２に係る発明によれば、支援者において、作業者装置と対象物との位置関係を把握することができる。
【0018】
請求項３に係る発明によれば、支援者において、作業者装置の位置及び姿勢と、支援者が指定した位置及び姿勢と、の差分が閾値以下になったことを把握することができる。
【0019】
請求項４に係る発明によれば、支援者が指定した位置までの経路を作業者に提示することができる。
【0020】
請求項５に係る発明によれば、作業者において、作業者装置の位置及び姿勢と、支援者が指定した位置及び姿勢と、の差分が閾値以下になったことを把握することができる。
【図面の簡単な説明】
【0021】
【図1】実施形態に係る情報処理システムの構成を示すブロック図である。
【図2】実施形態に係る作業者装置の構成を示すブロック図である。
【図3】実施形態に係る支援者装置の構成を示すブロック図である。
【図4】現場と遠隔地とを示す図である。
【図5】現場と遠隔地とを示す図である。
【図6】現場と遠隔地とを示す図である。
【図7】実施形態に係る情報処理システムによる処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0022】
【0023】
実施形態に係る情報処理システムは、作業者装置１０と支援者装置１２とを含む。作業者装置１０と支援者装置１２は、他の装置と通信する機能を有する。その通信は、有線通信であってもよいし、無線通信であってもよい。無線通信として、例えば、近距離無線通信やＷｉ－Ｆｉ（登録商標）等が用いられる。これら以外の規格の無線通信が用いられてもよい。例えば、作業者装置１０と支援者装置１２は、ＬＡＮ（Local Area Network）やインターネット等の通信経路Ｎを介して互いに通信する。作業者装置１０と支援者装置１２は、サーバ等の外部装置を介して互いに通信してもよい。
【0024】
作業者装置１０が有する一部の機能が、作業者装置１０以外の外部装置によって実現されてもよい。この場合、作業者装置１０と当該外部装置とによって、上記の情報処理システムとは別の情報処理システムが構成されて、作業者装置１０の全部の機能が実現されてもよい。
【0025】
同様に、支援者装置１２が有する一部の機能が、支援者装置１２以外の外部装置によって実現されてもよい。この場合、支援者装置１２と当該外部装置とによって、上記の情報処理システムとは別の情報処理システムが構成されて、支援者装置１２の全部の機能が実現されてもよい。
【0026】
作業者装置１０は、作業者によって使用される装置である。例えば、作業者装置１０は、スマートグラス等のＨＭＤ（Head Mount Display）、カメラ等の撮影装置、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン又は携帯電話等である。
【0027】
支援者装置１２は、作業者による作業を支援する支援者によって使用される装置である。例えば、支援者装置１２は、ＨＭＤ、ＰＣ、タブレットＰＣ、スマートフォン又は携帯電話等である。
【0028】
例えば、作業者装置１０のカメラによって画像（例えば動画や静止画像）が撮影されると、その画像のデータが、通信経路Ｎを介して作業者装置１０から支援者装置１２に送信される。その画像は、支援者装置１２のディスプレイに表示される。また、作業者装置１０のマイクによって音声等の音が収集されると、その音のデータが、通信経路Ｎを介して作業者装置１０から支援者装置１２に送信される。その音は、支援者装置１２のスピーカから発せられる。支援者は、その画像を参照したり、その音を聞いたりして、作業者に対して指示を与える。
【0029】
例えば、支援者が支援者装置１２を操作して作業者に対して指示を与えると、その指示を示す情報が、通信経路Ｎを介して作業者装置１０に送信される。その指示を示す情報は、作業者装置１０にて出力される。例えば、その指示を示す情報は、作業者装置１０のディスプレイに表示されたり、音声として出力されたりする。
【0030】
支援者は、１人の作業者の作業を支援してもよいし、複数の作業者の作業を支援してもよい。例えば、複数の作業者装置１０が情報処理システムに含まれ、支援者は、各作業者に対して指示を与えてもよい。
【0031】
【0032】
作業者装置１０は、撮影装置１４と、通信装置１６と、位置情報取得部１８と、ユーザインターフェース（ＵＩ）２０と、メモリ２２と、プロセッサ２４とを含む。
【0033】
撮影装置１４は、カメラであり、撮影することで画像（例えば動画像や静止画像）を生成する。例えば、画像のデータは、通信経路Ｎを介して支援者装置１２に送信される。
【0034】
通信装置１６は、通信チップや通信回路等を有する１又は複数の通信インターフェースを含み、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信装置１６は、無線通信機能を有してもよいし、有線通信機能を有してもよい。
【0035】
位置情報取得部１８は、ＧＰＳ（Global Positioning System）、加速度センサ、ジャイロセンサ及び磁気センサ等の装置を含み、作業者装置１０の位置情報及び姿勢情報を取得する。その位置情報は、現実の三次元空間における作業者装置１０の位置を示す情報である。その姿勢情報は、現実の三次元空間における作業者装置１０の姿勢（例えば、作業者装置１０の向きや傾き）を示す情報である。
【0036】
ＵＩ２０はユーザインターフェースであり、ディスプレイと入力装置とを含む。ディスプレイは、液晶ディスプレイ又はＥＬディスプレイ等である。入力装置は、キーボード、マウス、入力キー又は操作パネル等である。ＵＩ２０は、ディスプレイと入力装置とを兼ね備えたタッチパネル等のＵＩであってもよい。また、ＵＩ２０は、マイクとスピーカとを含む。
【0037】
メモリ２２は、データを記憶する１又は複数の記憶領域を構成する装置である。メモリ２２は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、各種のメモリ（例えばＲＡＭ、ＤＲＡＭ、ＮＶＲＡＭ、ＲＯＭ、等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。
【0038】
プロセッサ２４は、作業者装置１０の各部の動作を制御する。
【0039】
【0040】
支援者装置１２は、通信装置２６と、ユーザインターフェース（ＵＩ）２８と、メモリ３０と、プロセッサ３２とを含む。
【0041】
通信装置２６は、通信チップや通信回路等を有する１又は複数の通信インターフェースを含み、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信装置２６は、無線通信機能を有してもよいし、有線通信機能を有してもよい。
【0042】
ＵＩ２８はユーザインターフェースであり、ディスプレイと入力装置とを含む。ディスプレイは、液晶ディスプレイ又はＥＬディスプレイ等である。入力装置は、キーボード、マウス、入力キー又は操作パネル等である。ＵＩ２８は、ディスプレイと入力装置とを兼ね備えたタッチパネル等のＵＩであってもよい。また、ＵＩ２８は、マイクとスピーカとを含む。
【0043】
メモリ３０は、データを記憶する１又は複数の記憶領域を構成する装置である。メモリ３０は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、各種のメモリ（例えばＲＡＭ、ＤＲＡＭ、ＮＶＲＡＭ、ＲＯＭ、等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。
【0044】
プロセッサ３２は、支援者装置１２の各部の動作を制御する。
【0045】
【0046】
現場３４は、作業者が作業を行う場所である。図４に示す例では、作業の対象物３８が現場３４に存在する。ここでは、作業者装置１０はＨＭＤであり、作業者は、作業者装置１０を頭部に装着して、現場３４にて作業する。
【0047】
遠隔地３６は、支援者が作業者による作業を支援する場所である。支援者装置１２が遠隔地３６に設けられており、支援者は、遠隔地３６から作業者による作業を支援する。
【0048】
現場３４には、予め定められた位置を原点４０とするトラッキング用の三次元直交座標系４２が予め定められている。例えば、対象物３８の頂点等が、原点４０として定められる。三次元直交座標系４２は、現実空間にて定義された座標系である。
【0049】
三次元仮想空間４４が、支援者装置１２に設定されている。三次元直交座標系４６が、三次元仮想空間４４に設定されている。三次元直交座標系４６は、仮想空間にて定義された座標系である。対象物３８を表す三次元モデル４８のデータが、支援者装置１２のメモリ３０に予め記憶されている。三次元モデル４８は、三次元仮想空間４４内に存在する仮想的なモデルである。また、現場３４に設定されている三次元直交座標系４２に対応する三次元直交座標系５０が、三次元仮想空間４４にて定義されている。三次元直交座標系５０の原点５２は、三次元直交座標系４２の原点４０に対応する。なお、三次元直交座標系５０は、三次元直交座標系４６と一致する座標系であってもよい。
【0050】
作業者装置１０の位置情報取得部１８は、作業者装置１０の位置情報及び姿勢情報を取得する。その位置情報は、現実の三次元空間内における作業者装置１０の位置を示す情報であり、原点４０を基準とした三次元直交座標系４２で定義される位置情報である。その姿勢情報は、現実の三次元空間における作業者装置１０の姿勢（例えば、作業者装置１０の向きや傾き）を示す情報である。
【0051】
作業者装置１０のプロセッサ２４は、作業者装置１０の位置情報及び姿勢情報を支援者装置１２に送信する。また、撮影装置１４によって画像が撮影されると、作業者装置１０のプロセッサ２４は、その画像のデータを支援者装置１２に送信する。
【0052】
支援者装置１２のプロセッサ３２は、作業者装置１０の位置情報及び姿勢情報を作業者装置１０から受信する。
【0053】
プロセッサ３２は、三次元仮想空間４４において、作業者装置１０を表す仮想カメラ５４を配置する。仮想カメラ５４は、作業者装置１０を表す仮想のオブジェクトである。後述するように、プロセッサ３２は、三次元仮想空間４４にて支援者が指定した位置に、支援者が指定した姿勢で、仮想カメラ５４を配置する。これにより、作業者装置１０の位置及び姿勢が支援者によって指定される。プロセッサ３２は、その指定された位置を示す位置情報と、その指定された姿勢を示す姿勢情報を、作業者装置１０に送信する。このようにして、現実空間における作業者装置１０の位置及び姿勢が、支援者によって指定される。
【0054】
支援者装置１２のＵＩ２８のディスプレイ２８ａには、画面５６、画面５８及び画面６０が表示される。
【0055】
画面５６は、現場３４の画像が表示される画面である。作業者装置１０の撮影装置１４によって撮影された画像が、画面５６に表示される。支援者装置１２のプロセッサ３２は、撮影装置１４によって撮影された画像のデータを作業者装置１０から受信すると、その画像を画面５６に表示する。例えば、作業者が、ＨＭＤである作業者装置１０を頭部に装着している場合、作業者の視界を表す画像が画面５６に表示される。
【0056】
画面５８は、三次元仮想空間４４内を俯瞰した画像が表示される画面である。例えば、三次元仮想空間４４内に三次元モデル４８及び仮想カメラ５４が配置されている場合、プロセッサ３２は、三次元モデル４８及び仮想カメラ５４を俯瞰した画像を画面５８に表示する。支援者は、画面５８に表示されている画像を参照することで、三次元モデル４８と仮想カメラ５４との位置関係や、三次元モデル４８に対する仮想カメラ５４の姿勢等を把握することができる。
【0057】
画面６０は、三次元仮想空間４４の視界が表示される画面である。具体的には、プロセッサ３２は、三次元仮想空間４４内における仮想カメラ５４の位置を、対象を見る位置である視点として、三次元仮想空間４４内において当該視点からの視界内に配置されているモデルを、画面６０に表示する。つまり、プロセッサ３２は、三次元仮想空間４４において仮想カメラ５４から見たときのモデル（例えば三次元モデル４８）を画面６０に表示する。支援者が、三次元仮想空間４４内における仮想カメラ５４の位置や姿勢を変えると、プロセッサ３２は、その変更後の位置からその変更後の姿勢で三次元仮想空間４４内を見たときの各モデルを画面６０に表示する。
【0058】
【0059】
支援者は、画面５８，６０を参照することで、作業者の位置と視線方向を誘導する。具体的には、支援者は、支援者装置１２のＵＩ２８を用いることで、三次元仮想空間４４内における仮想カメラ５４の視界を操作する。例えば、支援者は、ＵＩ２８を用いることで、三次元仮想空間４４内における仮想カメラ５４を操作し、仮想カメラ５４の位置及び姿勢を指定する。支援者による操作によって仮想カメラ５４の位置や姿勢が変わると、それに応じて、画面５８に表示されている仮想カメラ５４の位置や姿勢が変わる。また、仮想カメラ５４の視点やその視点からの視界が変わるので、画面６０の表示内容が変わる。例えば、三次元モデル４８を見る位置や角度が変わる。このように、支援者は、仮想カメラ５４を操作することで、作業者装置１０（つまり作業者装置１０を装着した作業者）が配置されるべき位置や、その位置での姿勢を指定し、その位置や姿勢を作業者に誘導する。
【0060】
支援者が、ＵＩ２８を用いることで、仮想カメラ５４の位置情報及び姿勢情報の送信を指示すると、プロセッサ３２は、画面６０の表示内容の指定を受け付け、その位置情報とその姿勢情報とを含む指示情報を作業者装置１０に送信する。その位置情報が示す位置は、現実空間において作業者装置１０が配置されるべき位置に対応する位置である。その姿勢情報が示す姿勢は、現実空間において作業者装置１０が持つべき姿勢に対応する姿勢である。例えば、画面６０の表示内容が支援者の意図する表示内容になった場合に、支援者は、そのときの仮想カメラ５４の位置情報及び姿勢情報の送信を指示することが考えられる。
【0061】
作業者装置１０のプロセッサ２４は、支援者装置１２から送信された指示情報を受信すると、画面６０上にて指定された表示内容に対応した作業者装置１０の位置及び姿勢を示す情報を、作業者装置１０のＵＩ２０のディスプレイを介して仮想的に表示する。例えば、プロセッサ２４は、ＵＩ２０のディスプレイを介して、三次元仮想空間４４内における三次元モデル４８に対する仮想カメラ５４の位置に対応する位置であって、対象物３８に対する位置に、仮想カメラ５４の姿勢に対応する姿勢で、仮想オブジェクトを表示する。仮想オブジェクトは、支援者が指定した位置及び姿勢を表す画像又は文字列である。例えば、プロセッサ２４は、ＡＲ（Augmented Reality）技術又はＭＲ（Mixed Reality）技術を用いて、現実の風景の中に仮想オブジェクトを重ねて表示する。
【0062】
図５には、ＡＲ表示用の表示領域６２が模式的に示されている。表示領域６２は、ＨＭＤである作業者装置１０のディスプレイに形成される領域である。作業者装置１０の撮影装置１４によって撮影された画像と仮想オブジェクト６４とが、表示領域６２に表示される。プロセッサ２４は、指示情報に含まれる位置情報が示す位置に、指示情報に含まれる姿勢情報が示す姿勢で、仮想オブジェクト６４を表示する。
【0063】
また、表示領域６２に仮想オブジェクト６４が表示されているため、画面５６にも、仮想オブジェクト６４が表示される。
【0064】
なお、符号６６が指し示す位置は、三次元仮想空間４４内における仮想カメラ５４の位置に対応する、現実空間内の位置である。つまり、符号６６が指し示す位置は、現実空間において作業者装置１０が配置されるべき位置である。
【0065】
例えば、支援者は、リアルタイムで、作業者の位置と姿勢とを作業者に誘導する。つまり、支援者が、支援者装置１２のＵＩ２８を操作することで、三次元仮想空間４４内における仮想カメラ５４の位置及び姿勢を変えると、その変化に追従して、仮想オブジェクト６４の位置及び姿勢が変わって表示領域６２にＡＲ表示される。つまり、指示情報が、リアルタイムで支援者装置１２から作業者装置１０に送信されて、仮想オブジェクト６４が指示情報に従って表示される。
【0066】
別の例として、支援者が、支援者装置１２のＵＩ２８において送信ボタンを押した場合、そのときの仮想カメラ５４の位置を示す位置情報と姿勢を示す姿勢情報とを含む指示情報が、支援者装置１２から作業者装置１０に送信されてもよい。作業者装置１０では、仮想オブジェクト６４が、その指示情報に従って表示される。支援者は、仮想カメラ５４の複数の位置及び複数の姿勢を同時又は順番に指定してもよい。この場合、各位置を示す位置情報と各姿勢を示す姿勢情報とを含む指示情報が、支援者装置１２から作業者装置１０に送信される。作業者装置１０のプロセッサ２４は、表示領域６２において、当該複数の位置のそれぞれに対応する位置に、当該複数の姿勢のそれぞれに対応する姿勢で、各仮想オブジェクトを同時又は順番に表示する。プロセッサ２４は、各仮想オブジェクトに、指定された順番を付して、各仮想オブジェクトを表示してもよいし、各仮想オブジェクトの色を変えて各仮想オブジェクトを表示してもよい。例えば、作業者が複数の位置にて順番で作業を行うことが予定されている場合、支援者は、当該複数の位置を順番に指定して作業者を誘導することが考えられる。
【0067】
【0068】
支援者装置１２のプロセッサ３２は、三次元仮想空間４４において、現実空間における作業者装置１０の位置に対応する位置に、現実空間における作業者装置１０の姿勢で、作業者装置１０を表す三次元モデル６８を配置する。俯瞰を表す画面５８には、その三次元モデル６８が表示される。これにより、支援者は、支援者が指定した位置に作業者装置１０が近づいているか否かを判断したり、支援者が指定した姿勢と作業者装置１０の姿勢とが一致しているか否かを判断したりすることができる。
【0069】
支援者装置１２のプロセッサ３２は、画面６０の表示内容に対応した作業者装置１０の位置及び姿勢と、現実空間における作業者装置１０の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する。
【0070】
具体的には、現実空間における作業者装置１０の位置を示す位置情報と姿勢を示す姿勢情報とが、作業者装置１０から支援者装置１２に送信される。支援者装置１２のプロセッサ３２は、その位置情報と姿勢情報とを受信する。プロセッサ３２は、支援者装置１２にて支援者によって指定された作業者装置１０の位置と、現実空間における作業者装置１０の位置との差分を算出する。同様に、プロセッサ３２は、支援者装置１２にて支援者によって指定された作業者装置１０の姿勢と、現実空間における作業者装置１０の姿勢との差分を算出する。これらの差分が閾値以下になった場合、プロセッサ３２は、差分が閾値以下になった旨を示す情報を出力する。例えば、プロセッサ３２は、支援者が指定した位置に作業者装置１０が近づいた旨を示す情報や、支援者が指定した位置に作業者装置１０が配置された旨を示す情報を、支援者装置１２のＵＩ２８のディスプレイに表示させる。また、プロセッサ３２は、支援者が指定した姿勢に作業者装置１０の姿勢が近づいた旨を示す情報や、支援者が指定した姿勢と作業者装置１０の姿勢とが一致した旨を示す情報を、ＵＩ２８のディスプレイに表示させる。
【0071】
支援者装置１２のプロセッサ３２は、現実空間における作業者装置１０の姿勢に関わらず、支援者によって指定された作業者装置１０の位置と現実空間における作業者装置１０の位置との差分が閾値以下になった場合、その旨を示す情報を出力してもよい。姿勢についても同様である。
【0072】
作業者装置１０のプロセッサ２４は、現実空間における作業者装置１０の位置から、支援者装置１２から送信される指示情報に含まれる位置情報が示す位置までの経路を示す情報を、表示領域６２にＡＲ表示してもよい。例えば、プロセッサ２４は、現実空間における作業者装置１０の位置から支援者が指定した位置まで作業者を案内する画像（例えば矢印等の画像）を、表示領域６２にＡＲ表示する。
【0073】
また、作業者装置１０のプロセッサ２４は、画面６０の表示内容に対応した作業者装置１０の位置及び姿勢と、現実空間における作業者装置１０の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力してもよい。
【0074】
具体的には、作業者装置１０のプロセッサ２４は、支援者装置１２にて支援者によって指定された作業者装置１０の位置（つまり、指示情報に含まれる位置情報が示す位置）と、現実空間における作業者装置１０の位置との差分を算出する。同様に、プロセッサ２４は、支援者装置１２にて支援者によって指定された作業者装置１０の姿勢（つまり、指示情報に含まれる姿勢情報が示す姿勢）と、現実空間における作業者装置１０の姿勢との差分を算出する。これらの差分が閾値以下になった場合、プロセッサ２４は、差分が閾値以下になった旨を示す情報を出力する。例えば、プロセッサ２４は、支援者が指定した位置に作業者装置１０が近づいた旨を示す情報や、支援者が指定した位置に作業者装置１０が配置された旨を示す情報を、作業者装置１０の表示領域６２にＡＲ表示する。また、プロセッサ２４は、支援者が指定した姿勢に作業者装置１０の姿勢が近づいた旨を示す情報や、支援者が指定した姿勢と作業者装置１０の姿勢とが一致した旨を示す情報を、表示領域６２にＡＲ表示する。
【0075】
作業者装置１０のプロセッサ２４は、現実空間における作業者装置１０の姿勢に関わらず、支援者によって指定された作業者装置１０の位置と現実空間における作業者装置１０の位置との差分が閾値以下になった場合、その旨を示す情報をＡＲ表示してもよい。姿勢についても同様である。
【0076】
支援者によって複数の位置が指定された場合において、作業者装置１０が、現実空間において、指定された全ての位置に配置されていない場合、作業者装置１０のプロセッサ２４は、警告情報をＡＲ表示してもよいし、支援者装置１２のプロセッサ３２は、警告情報を出力してもよい。例えば、支援者によって５か所の位置が指定された場合において、作業者装置１０が、そのうちの４か所のみに順番に配置された場合、警告情報が出力される。当該複数の位置の順番が指定されている場合において、作業者装置１０がその順番に従って各位置に配置されていない場合、警告情報が出力されてもよい。
【0077】
【0078】
支援者装置１２のプロセッサ３２は、支援者による仮想カメラ５４の操作を受け付け（Ｓ０１）、その操作に応じて、三次元仮想空間４４における仮想カメラ５４の位置及び姿勢を更新する（Ｓ０２）。プロセッサ３２は、指示情報の送信の指示を受け付けた場合（Ｓ０３，Ｙｅｓ）、仮想カメラ５４の位置情報と姿勢情報とを含む指示情報を作業者装置１０に送信する（Ｓ０４）。プロセッサ３２が指示情報の送信の指示を受け付けていない場合（Ｓ０３，Ｎｏ）、処理はステップＳ０１に戻る。作業者装置１０のプロセッサ２４は、支援者装置１２から送信された指示情報に従って、支援者によって指定された位置に、支援者によって指定された姿勢で、仮想オブジェクト６４をＡＲ表示する（Ｓ０５）。支援者による支援が終了する場合（Ｓ０６，Ｙｅｓ）、処理は終了する。支援が終了しない場合（Ｓ０６，Ｎｏ）、処理はステップＳ０１に移行する。
【0079】
作業者装置１０及び支援者装置１２の各機能は、一例としてハードウェアとソフトウェアとの協働により実現される。例えば、作業者装置１０のプロセッサ２４が、メモリに記憶されているプログラムを読み出して実行することで、作業者装置１０の各機能が実現される。プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、メモリに記憶される。同様に、支援者装置１２のプロセッサ３２が、メモリに記憶されているプログラムを読み出して実行することで、支援者装置１２の各機能が実現される。プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、メモリに記憶される。
【0080】
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0081】
（付記）
（（（１）））
対象物を撮影する作業者装置と、
前記作業者装置を使用する作業者の作業を支援するための支援者装置と、
を含み、
前記支援者装置は、第１プロセッサを有し、
前記作業者装置は、第２プロセッサを有し、
前記第１プロセッサは、
前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第２プロセッサは、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
情報処理システム。
（（（２）））
前記第１プロセッサは、更に、
前記三次元モデルを含む仮想空間を表す第２画面を前記表示装置に表示させるよう制御し、
前記作業者装置の現実空間上の位置及び姿勢を反映した前記作業者装置の仮想オブジェクトを、前記第２画面に表示する、
（（（１）））に記載の情報処理システム。
（（（３）））
前記第１プロセッサは、更に、
前記第１画面の表示内容に対応した前記作業者装置の位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
（（（１）））に記載の情報処理システム。
（（（４）））
前記第２プロセッサは、更に、
現実空間における前記作業者装置の位置から、前記第１画面上の表示内容に対応した現実空間上の位置までの経路を示す情報を、前記作業者装置を介して仮想的に表示する、
（（（１）））から（（（３）））のいずれか一項に記載の情報処理システム。
（（（５）））
前記第２プロセッサは、更に、
前記第１画面上の表示内容に対応した位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
（（（１）））から（（（４）））のいずれか一項に記載の情報処理システム。
（（（６）））
プロセッサとディスプレイとを有し、
前記プロセッサは、
対象物を撮影する作業者装置から前記対象物の画像を取得し、
前記対象物の三次元モデルを表す第１画面を前記表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に応じた前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置に送信する、
情報処理システム。
（（（７）））
コンピュータが、
作業者装置によって撮影される対象物の三次元モデルを表す第１画面を、前記作業者装置を使用する作業者の作業を支援する支援者用の表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
ように動作させるプログラム。
（（（１））），（（（６））），（（（７）））に係る発明によれば、作業者装置を使用する作業者の作業を支援者が支援する場合において、作業者装置が配置されるべき位置や姿勢に作業者を視覚的に導くことにある
（（（２）））に係る発明によれば、支援者において、作業者装置と対象物との位置関係を把握することができる。
（（（３）））に係る発明によれば、支援者において、作業者装置の位置及び姿勢と、支援者が指定した位置及び姿勢と、の差分が閾値以下になったことを把握することができる。
（（（４）））に係る発明によれば、支援者が指定した位置までの経路を作業者に提示することができる。
（（（５）））に係る発明によれば、作業者において、作業者装置の位置及び姿勢と、支援者が指定した位置及び姿勢と、の差分が閾値以下になったことを把握することができる。
（（（１）））
対象物を撮影する作業者装置と、
前記作業者装置を使用する作業者の作業を支援するための支援者装置と、
を含み、
前記支援者装置は、第１プロセッサを有し、
前記作業者装置は、第２プロセッサを有し、
前記第１プロセッサは、
前記対象物の三次元モデルを表す第１画面を表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第２プロセッサは、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
情報処理システム。
（（（２）））
前記第１プロセッサは、更に、
前記三次元モデルを含む仮想空間を表す第２画面を前記表示装置に表示させるよう制御し、
前記作業者装置の現実空間上の位置及び姿勢を反映した前記作業者装置の仮想オブジェクトを、前記第２画面に表示する、
（（（１）））に記載の情報処理システム。
（（（３）））
前記第１プロセッサは、更に、
前記第１画面の表示内容に対応した前記作業者装置の位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
（（（１）））に記載の情報処理システム。
（（（４）））
前記第２プロセッサは、更に、
現実空間における前記作業者装置の位置から、前記第１画面上の表示内容に対応した現実空間上の位置までの経路を示す情報を、前記作業者装置を介して仮想的に表示する、
（（（１）））から（（（３）））のいずれか一項に記載の情報処理システム。
（（（５）））
前記第２プロセッサは、更に、
前記第１画面上の表示内容に対応した位置及び姿勢と、現実空間における前記作業者装置の位置及び姿勢と、の差が、閾値以下である場合、その旨を示す情報を出力する、
（（（１）））から（（（４）））のいずれか一項に記載の情報処理システム。
（（（６）））
プロセッサとディスプレイとを有し、
前記プロセッサは、
対象物を撮影する作業者装置から前記対象物の画像を取得し、
前記対象物の三次元モデルを表す第１画面を前記表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に応じた前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置に送信する、
情報処理システム。
（（（７）））
コンピュータが、
作業者装置によって撮影される対象物の三次元モデルを表す第１画面を、前記作業者装置を使用する作業者の作業を支援する支援者用の表示装置に表示させるよう制御し、
前記第１画面の表示内容の指定を受け付け、
前記第１画面上にて指定された表示内容に対応した前記作業者装置の位置及び姿勢を示す情報を、前記作業者装置を介して仮想的に表示する、
ように動作させるプログラム。
（（（１））），（（（６））），（（（７）））に係る発明によれば、作業者装置を使用する作業者の作業を支援者が支援する場合において、作業者装置が配置されるべき位置や姿勢に作業者を視覚的に導くことにある
（（（２）））に係る発明によれば、支援者において、作業者装置と対象物との位置関係を把握することができる。
（（（３）））に係る発明によれば、支援者において、作業者装置の位置及び姿勢と、支援者が指定した位置及び姿勢と、の差分が閾値以下になったことを把握することができる。
（（（４）））に係る発明によれば、支援者が指定した位置までの経路を作業者に提示することができる。
（（（５）））に係る発明によれば、作業者において、作業者装置の位置及び姿勢と、支援者が指定した位置及び姿勢と、の差分が閾値以下になったことを把握することができる。
【符号の説明】
【0082】
１０ 作業者装置、１２ 支援者装置、２４，３２ プロセッサ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】