特開 2024-119179 情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024119179

(43)【公開日】2024-09-03

(54)【発明の名称】情報処理システム及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240827BHJP

   H04N 7/18 20060101ALI20240827BHJP

【ＦＩ】

G06T19/00 600

H04N7/18 U

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023025902

(22)【出願日】2023-02-22

(71)【出願人】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】飯田 靖

(72)【発明者】

【氏名】佐々木 裕丈

(72)【発明者】

【氏名】鈴木 俊彦

【テーマコード（参考）】

5B050

5C054

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA13

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5C054CA04

5C054CC02

5C054FC12

5C054FD02

5C054FD03

5C054FD07

(57)【要約】

【課題】情報処理装置を使用する作業者の作業を支援者が支援する場合において、当該情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援を容易にすることを目的とする。
【解決手段】プロセッサは、対象物を撮影する情報処理装置の位置に追従して、対象物を表す三次元モデルを、情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させる。プロセッサは、ディスプレイに表示された三次元モデルに対して特定の操作が行われるときに、三次元モデルの向きを固定して三次元モデルをディスプレイに表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサを有し、
前記プロセッサは、
対象物を撮影する情報処理装置の位置に追従して、前記対象物を表す三次元モデルを、前記情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させ、
前記ディスプレイに表示された前記三次元モデルに対して特定の操作が行われるときに、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、
情報処理システム。

【請求項2】

前記特定の操作は、前記三次元モデルの拡大表示又は縮小表示する操作である、
請求項１に記載の情報処理システム。

【請求項3】

前記特定の操作は、前記ディスプレイに表示された前記三次元モデルに対してアノテーションを付与する操作であり、
前記三次元モデルに対して前記アノテーションが付与された場合、前記アノテーションが、前記情報処理装置を介して、前記三次元モデルに対して前記アノテーションが付与された位置に対応する、前記対象物に対する位置に表示される、
請求項１に記載の情報処理システム。

【請求項4】

前記プロセッサは、
予め定められた稼働領域内にて前記情報処理装置が移動しても、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、
請求項１から請求項３のいずれか一項に記載の情報処理システム。

【請求項5】

前記稼働領域毎に向きの異なる三次元モデルが定められており、
前記プロセッサは、
前記情報処理装置が存在する前記稼働領域毎に前記三次元モデルの向きを変えて前記三次元モデルを前記ディスプレイに表示させる、
請求項４に記載の情報処理システム。

【請求項6】

コンピュータが、
対象物を撮影する情報処理装置の位置に追従して、前記対象物を表す三次元モデルを、前記情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させ、
前記ディスプレイに表示された前記三次元モデルに対して特定の操作が行われるときに、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、
ように動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

情報処理装置の一例である作業者装置によって撮影された画像を、当該作業者装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させるシステムが知られている。例えば、支援者は、遠隔で作業者の作業を支援することが考えられる。

【0003】

特許文献１には、第１のユーザが装着している第１ステレオ撮像部のステレオ映像を取得し、第１のユーザが存在する空間に設置されている第２ステレオ撮像部のステレオ映像と第２ステレオ撮像部の仮想物体画像と基づく第２ステレオ映像を取得し、第２のユーザによって選択された画像を第２のユーザに提示する方法が記載されている。

【0004】

特許文献２には、３次元パノラマ画像を生成して第１の表示部に表示させ、当該３次元パノラマ画像上でなされた対象物の指定に応じて、カメラの現在の姿勢情報に基づいて、指定された対象物の位置情報を第２の表示部に出力する方法が記載されている。

【0005】

特許文献３には、第１の観察者が仮想物体を操作するために使用する第１の操作手段、及び、第１の観察者が当該仮想物体に対して行う操作を遠隔支援する第２の観察者が当該仮想物体を操作するために使用する第２の操作手段、による操作結果が反映された仮想空間の画像を生成するシステムが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６－２０９６６４号公報

【特許文献2】特開２０１７－５８７５２号公報

【特許文献3】特開２００６－２９３６０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、支援者が作業者の作業を支援する場合に、当該作業者が使用する作業者装置によって撮影された画像を支援者用のディスプレイに表示し、支援者は当該画像を参照して作業者を支援することが考えられる。作業者装置によって撮影された画像をそのままディスプレイに表示する場合、支援者は、当該作業者装置によって撮影される範囲（例えば、作業者の視界）を参考に支援することになるが、この場合、必ずしもその支援が容易とは限らない。

【0008】

本発明の目的は、情報処理装置を使用する作業者の作業を支援者が支援する場合において、当該情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援を容易にすることにある。

【課題を解決するための手段】

【0009】

請求項１に係る発明は、プロセッサを有し、前記プロセッサは、対象物を撮影する情報処理装置の位置に追従して、前記対象物を表す三次元モデルを、前記情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させ、前記ディスプレイに表示された前記三次元モデルに対して特定の操作が行われるときに、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、情報処理システムである。

【0010】

請求項２に係る発明は、前記特定の操作は、前記三次元モデルの拡大表示又は縮小表示する操作である、請求項１に記載の情報処理システムである。

【0011】

請求項３に係る発明は、前記特定の操作は、前記ディスプレイに表示された前記三次元モデルに対してアノテーションを付与する操作であり、前記三次元モデルに対して前記アノテーションが付与された場合、前記アノテーションが、前記情報処理装置を介して、前記三次元モデルに対して前記アノテーションが付与された位置に対応する、前記対象物に対する位置に表示される、請求項１に記載の情報処理システムである。

【0012】

請求項４に係る発明は、前記プロセッサは、予め定められた稼働領域内にて前記情報処理装置が移動しても、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、請求項１から請求項３のいずれか一項に記載の情報処理システムである。

【0013】

請求項５に係る発明は、前記稼働領域毎に向きの異なる三次元モデルが定められており、前記プロセッサは、前記情報処理装置が存在する前記稼働領域毎に前記三次元モデルの向きを変えて前記三次元モデルを前記ディスプレイに表示させる、請求項４に記載の情報処理システムである。

【0014】

請求項６に係る発明は、コンピュータが、対象物を撮影する情報処理装置の位置に追従して、前記対象物を表す三次元モデルを、前記情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させ、前記ディスプレイに表示された前記三次元モデルに対して特定の操作が行われるときに、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、ように動作させるプログラムである。

【発明の効果】

【0015】

請求項１，６に係る発明によれば、情報処理装置を使用する作業者の作業を支援者が支援する場合において、当該情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援が容易となる。

【0016】

請求項２に係る発明によれば、三次元モデルを拡大表示又は縮小表示するときに、情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援が容易となる。

【0017】

請求項３に係る発明によれば、アノテーションを付与するときに、当該情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援が容易となる。

【0018】

請求項４，５に係る発明によれば、稼働領域内での情報処理装置の移動に追従して三次元モデルの向きを変えて三次元モデルを表示する場合と比べて、支援者による支援が容易となる。

【図面の簡単な説明】

【0019】

【図1】実施形態に係る情報処理システムの構成を示すブロック図である。

【図2】実施形態に係る作業者装置の構成を示すブロック図である。

【図3】実施形態に係る支援者装置の構成を示すブロック図である。

【図4】現場と遠隔地とを示す図である。

【図5】現場と遠隔地とを示す図である。

【図6】作業者装置の処理の流れを示すフローチャートである。

【図7】支援者装置の処理の流れを示すフローチャートである。

【図8】作業者装置の処理の流れを示すフローチャートである。

【図9】支援者装置の処理の流れを示すフローチャートである。

【図10】支援者装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0020】

図１を参照して、実施形態に係る情報処理システムについて説明する。図１は、実施形態に係る情報処理システムの構成の一例を示すブロック図である。

【0021】

実施形態に係る情報処理システムは、作業者装置１０と支援者装置１２とを含む。作業者装置１０と支援者装置１２は、他の装置と通信する機能を有する。その通信は、有線通信であってもよいし、無線通信であってもよい。無線通信として、例えば、近距離無線通信やＷｉ－Ｆｉ（登録商標）等が用いられる。これら以外の規格の無線通信が用いられてもよい。例えば、作業者装置１０と支援者装置１２は、ＬＡＮ（Local Area Network）やインターネット等の通信経路Ｎを介して互いに通信する。作業者装置１０と支援者装置１２は、サーバ等の外部装置を介して互いに通信してもよい。

【0022】

作業者装置１０が有する一部の機能が、作業者装置１０以外の外部装置によって実現されてもよい。この場合、作業者装置１０と当該外部装置とによって、上記の情報処理システムとは別の情報処理システムが構成されて、作業者装置１０の全部の機能が実現されてもよい。

【0023】

同様に、支援者装置１２が有する一部の機能が、支援者装置１２以外の外部装置によって実現されてもよい。この場合、支援者装置１２と当該外部装置とによって、上記の情報処理システムとは別の情報処理システムが構成されて、支援者装置１２の全部の機能が実現されてもよい。

【0024】

作業者装置１０は、作業者によって使用される装置である。例えば、作業者装置１０は、スマートグラス等のＨＭＤ（Head Mount Display）、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、カメラ、ビデオ等の撮影装置、スマートフォン又は携帯電話等であり、撮影機能を有する情報処理装置である。

【0025】

支援者装置１２は、作業者による作業を支援する支援者によって使用される装置である。例えば、支援者装置１２は、ＨＭＤ、ＰＣ、タブレットＰＣ、スマートフォン又は携帯電話等である。

【0026】

例えば、作業者装置１０のカメラによって画像（例えば動画や静止画像）が撮影されると、その画像のデータが、通信経路Ｎを介して作業者装置１０から支援者装置１２に送信される。その画像は、支援者装置１２のディスプレイに表示される。また、作業者装置１０のマイクによって音声等の音が収集されると、その音のデータが、通信経路Ｎを介して作業者装置１０から支援者装置１２に送信される。その音は、支援者装置１２のスピーカから発せられる。支援者は、その画像を参照したり、その音を聞いたりして、作業者に対して指示を与える。

【0027】

例えば、支援者が支援者装置１２を操作して作業者に対して指示を与えると、その指示を示す情報が、通信経路Ｎを介して作業者装置１０に送信される。その指示を示す情報は、作業者装置１０にて出力される。例えば、その指示を示す情報は、作業者装置１０のディスプレイに表示されたり、音声として出力されたりする。

【0028】

支援者は、１人の作業者の作業を支援してもよいし、複数の作業者の作業を支援してもよい。例えば、複数の作業者装置１０が情報処理システムに含まれ、支援者は、各作業者に対して指示を与えてもよい。

【0029】

以下、図２を参照して、作業者装置１０のハードウェアの構成について説明する。図２には、作業者装置１０のハードウェアの構成の一例が示されている。

【0030】

作業者装置１０は、撮影装置１４と、通信装置１６と、位置情報取得部１８と、ユーザインターフェース（ＵＩ）２０と、メモリ２２と、プロセッサ２４とを含む。

【0031】

撮影装置１４は、カメラであり、撮影することで画像（例えば動画像や静止画像）を生成する。例えば、画像のデータは、通信経路Ｎを介して支援者装置１２に送信される。

【0032】

通信装置１６は、通信チップや通信回路等を有する１又は複数の通信インターフェースを含み、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信装置１６は、無線通信機能を有してもよいし、有線通信機能を有してもよい。

【0033】

位置情報取得部１８は、ＧＰＳ（Global Positioning System）、加速度センサ、ジャイロセンサ及び磁気センサ等の装置を含み、作業者装置１０の位置情報及び姿勢情報を取得する。その位置情報は、現実の三次元空間における作業者装置１０の位置を示す情報である。その姿勢情報は、現実の三次元空間における作業者装置１０の姿勢（例えば、作業者装置１０の向きや傾き）を示す情報である。

【0034】

ＵＩ２０はユーザインターフェースであり、ディスプレイと入力装置とを含む。ディスプレイは、液晶ディスプレイ又はＥＬディスプレイ等である。入力装置は、キーボード、マウス、入力キー又は操作パネル等である。ＵＩ２０は、ディスプレイと入力装置とを兼ね備えたタッチパネル等のＵＩであってもよい。また、ＵＩ２０は、マイクとスピーカとを含む。

【0035】

メモリ２２は、データを記憶する１又は複数の記憶領域を構成する装置である。メモリ２２は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、各種のメモリ（例えばＲＡＭ、ＤＲＡＭ、ＮＶＲＡＭ、ＲＯＭ、等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。

【0036】

プロセッサ２４は、作業者装置１０の各部の動作を制御する。

【0037】

以下、図３を参照して、支援者装置１２のハードウェアの構成について説明する。図３には、支援者装置１２のハードウェアの構成の一例が示されている。

【0038】

支援者装置１２は、通信装置２６と、ユーザインターフェース（ＵＩ）２８と、メモリ３０と、プロセッサ３２とを含む。

【0039】

通信装置２６は、通信チップや通信回路等を有する１又は複数の通信インターフェースを含み、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信装置２６は、無線通信機能を有してもよいし、有線通信機能を有してもよい。

【0040】

ＵＩ２８はユーザインターフェースであり、ディスプレイと入力装置とを含む。ディスプレイは、液晶ディスプレイ又はＥＬディスプレイ等である。入力装置は、キーボード、マウス、入力キー又は操作パネル等である。ＵＩ２８は、ディスプレイと入力装置とを兼ね備えたタッチパネル等のＵＩであってもよい。また、ＵＩ２８は、マイクとスピーカとを含む。

【0041】

メモリ３０は、データを記憶する１又は複数の記憶領域を構成する装置である。メモリ３０は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、各種のメモリ（例えばＲＡＭ、ＤＲＡＭ、ＮＶＲＡＭ、ＲＯＭ、等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。

【0042】

プロセッサ３２は、支援者装置１２の各部の動作を制御する。

【0043】

以下、図４を参照して、実施形態に係る情報処理システムについて詳しく説明する。図４には、現場３４と遠隔地３６とが示されている。

【0044】

現場３４は、作業者が作業を行う場所である。図４に示す例では、作業の対象物３８が現場３４に存在する。ここでは、作業者装置１０はＨＭＤであり、作業者は、作業者装置１０を頭部に装着して、現場３４にて作業する。

【0045】

遠隔地３６は、支援者が作業者による作業を支援する場所である。支援者装置１２が遠隔地３６に設けられており、支援者は、遠隔地３６から作業者による作業を支援する。

【0046】

現場３４には、予め定められた位置を原点４０とするトラッキング用の三次元直交座標系４２が予め定められている。例えば、対象物３８の頂点等が、原点４０として定められる。三次元直交座標系４２は、現実空間にて定義された座標系である。

【0047】

三次元仮想空間４４が、支援者装置１２に設定されている。三次元直交座標系４６が、三次元仮想空間４４に設定されている。三次元直交座標系４６は、仮想空間にて定義された座標系である。対象物３８を表す三次元モデル４８のデータが、支援者装置１２のメモリ３０に予め記憶されている。三次元モデル４８は、三次元仮想空間４４内に存在する仮想的なモデルである。また、現場３４に設定されている三次元直交座標系４２に対応する三次元直交座標系５０が、三次元仮想空間４４にて定義されている。三次元直交座標系５０の原点５２は、三次元直交座標系４２の原点４０に対応する。なお、三次元直交座標系５０は、三次元直交座標系４６と一致する座標系であってもよい。

【0048】

作業者装置１０の位置情報取得部１８は、作業者装置１０の位置情報及び姿勢情報を取得する。その位置情報は、現実の三次元空間内における作業者装置１０の位置を示す情報であり、原点４０を基準とした三次元直交座標系４２で定義される位置情報である。その姿勢情報は、現実の三次元空間における作業者装置１０の姿勢（例えば、作業者装置１０の向きや傾き）を示す情報である。

【0049】

作業者装置１０のプロセッサ２４は、作業者装置１０の位置情報及び姿勢情報を支援者装置１２に送信する。また、撮影装置１４によって画像が撮影されると、作業者装置１０のプロセッサ２４は、その画像のデータを支援者装置１２に送信する。

【0050】

支援者装置１２のプロセッサ３２は、作業者装置１０の位置情報及び姿勢情報を作業者装置１０から受信する。プロセッサ３２は、三次元仮想空間４４において、その位置情報が示す位置に、その姿勢情報が示す姿勢で、作業者装置１０を表す仮想カメラ５４を配置する。現場３４にて作業者装置１０の位置及び姿勢が変われば、三次元仮想空間４４内における仮想カメラ５４の位置及び姿勢も変わる。このように、作業者装置１０の位置及び姿勢に追従して、三次元仮想空間４４内における仮想カメラ５４の位置及び姿勢も変わる。プロセッサ３２は、仮想カメラ５４の姿勢を現場３４での作業者装置１０の姿勢と一致させ、三次元仮想空間４４において三次元モデル４８の全体を映し出す位置に仮想カメラ５４を配置してもよい。プロセッサ３２は、作業者装置１０の姿勢に追従せずに、作業者装置１０の位置に追従して、三次元仮想空間４４内における仮想カメラ５４の位置を変えてもよい。つまり、プロセッサ３２は、三次元仮想空間４４において、作業者装置１０の位置情報が示す位置に仮想カメラ５４を配置してもよい。以下に説明する実施形態においても同様である。この場合、プロセッサ３２は、作業者装置１０の姿勢情報を作業者装置１０から受信してもよいし、姿勢情報を受信しなくてもよい。プロセッサ３２が姿勢情報を受信しない場合、例えば、予め定められた向き（例えば原点４０を向く姿勢等）が、仮想カメラ５４の向きとして予め設定されてもよい。

【0051】

支援者装置１２のＵＩ２８のディスプレイ２８ａには、画面５６と画面５８とが表示される。

【0052】

画面５６は、現場３４の画像が表示される画面である。作業者装置１０の撮影装置１４によって撮影された画像が、画面５６に表示される。支援者装置１２のプロセッサ３２は、撮影装置１４によって撮影された画像のデータを作業者装置１０から受信すると、その画像を画面５６に表示する。例えば、作業者が、ＨＭＤである作業者装置１０を頭部に装着している場合、作業者の視界を表す画像が画面５６に表示される。

【0053】

画面５８は、対象物３８の三次元モデル４８が表示される画面である。支援者装置１２のプロセッサ３２は、三次元仮想空間４４内において仮想カメラ５４の位置からの視界内に配置されているモデルを、画面５８に表示する。つまり、プロセッサ３２は、三次元仮想空間４４において作業者装置１０の仮想カメラ５４から見たときの三次元モデル４８を画面５８に表示する。仮想カメラ５４の位置及び姿勢は、作業者装置１０の動きに追従して変わるため、プロセッサ３２は、作業者装置１０の動きに追従して三次元モデル４８の位置及び姿勢を変えて、三次元モデル４８を画面５８に表示する。上述したように、プロセッサ３２は、作業者装置１０の姿勢に追従せずに、作業者装置１０の位置に追従して三次元モデル４８の位置を変えてもよい。この場合、予め定められた向き（例えば、原点４０を向く姿勢等）が、仮想カメラ５４の向きとして予め設定されてもよい。

【0054】

画面５８は、支援者が作業者の作業を支援するための画面である。支援者は、画面５８を介して作業者に対して指示を与える。支援者は、現場３４にて対象物３８を撮影すべき作業者装置１０の位置や、その位置での作業者装置１０の姿勢を、指示する。例えば、支援者装置１２のプロセッサ３２は、支援者が指示するためのアノテーション６０を画面５８に表示する。アノテーション６０は、作業者に対する指示を表す画像や文字列等である。図４に示す例では、作業者装置１０の位置や姿勢を表す矢印の画像が、アノテーション６０として用いられている。支援者は、画面５８にて、三次元モデル４８に対するアノテーション６０の位置及び姿勢を指定する。

【0055】

三次元モデル４８に対するアノテーション６０の位置は、現場３４にて対象物３８を撮影すべき作業者装置１０の位置である。三次元モデル４８に対するアノテーション６０の姿勢は、対象物３８を撮影すべき位置での作業者装置１０の姿勢である。支援者装置１２のプロセッサ３２は、その指示を示す指示情報を作業者装置１０に送信する。指示情報には、作業者装置１０の位置を示す位置情報と、その位置での作業者装置１０の姿勢を示す姿勢情報と、が含まれる。

【0056】

作業者装置１０のプロセッサ２４は、支援者装置１２から送信された指示情報を受信すると、作業者装置１０にＵＩ２０のディスプレイに、アノテーション６２を表示させる。例えば、プロセッサ２４は、ＡＲ（Augmented Reality）技術又はＭＲ（Mixed Reality）技術を用いて、現実の風景の中にアノテーション６２を重ねて表示する。アノテーション６２は、作業者に対する指示を示す画像や文字列等である。図４に示す例では、矢印の画像が、アノテーション６２として用いられている。

【0057】

図４には、ＡＲ表示用の表示領域６４が模式的に示されている。表示領域６４は、ＨＭＤである作業者装置１０のディスプレイに形成される領域である。作業者装置１０の撮影装置１４によって撮影された画像とアノテーション６２とが、表示領域６４に表示される。プロセッサ２４は、指示情報に含まれる位置情報が示す位置に、指示情報に含まれる姿勢情報が示す姿勢で、アノテーション６２を表示する。つまり、プロセッサ２４は、三次元モデル４８に対してアノテーション６０が付与された位置に対応する、対象物３８に対する位置に、姿勢情報が示す姿勢で、アノテーション６０を表示する。このように、アノテーション６２が、作業者装置１０を介して、三次元モデル４８に対してアノテーション６０が付与された位置に対応する位置に表示される。

【0058】

支援者は、作業者装置１０の撮影装置１４によって撮影された画像を画面５６にて観察し、画面５８にて、対象物３８の三次元モデル４８に対してアノテーション６０を付与することで、作業者に対して指示を与える。

【0059】

画面５８に表示された三次元モデル４８に対して特定の操作が行われるときに、支援者装置１２のプロセッサ３２は、三次元モデル４８の向きを固定して三次元モデル４８を画面５８に表示する。

【0060】

つまり、三次元モデル４８に対して特定の操作が行われないときには、支援者装置１２のプロセッサ３２は、作業者装置１０の位置及び姿勢に追従して仮想カメラ５４の位置及び姿勢を変更する。このように、プロセッサ３２は、作業者装置１０の位置及び姿勢に追従して三次元モデル４８の向きを変えて、三次元モデル４８を画面５８に表示する。三次元モデル４８に対して特定の操作が行われるときには、プロセッサ３２は、作業者装置１０の位置及び姿勢に追従せずに、三次元モデル４８の向きを固定して三次元モデル４８を画面５８に表示する。

【0061】

特定の操作は、支援者が画面５８を介して作業者に対して指示を与えると推測される操作である。

【0062】

例えば、三次元モデル４８に対する特定の操作は、画面５８に表示された三次元モデル４８の拡大表示又は縮小表示する操作である。支援者が、支援者装置１２のＵＩ２８を操作して三次元モデル４８の拡大表示（つまりズームイン）を指示すると、支援者装置１２のプロセッサ３２は、三次元モデル４８の向きを固定して三次元モデル４８を拡大して画面５８に表示する。支援者が、ＵＩ２８を操作して三次元モデル４８の縮小表示（つまりズームアウト）を指示すると、プロセッサ３２は、三次元モデル４８の向きを固定して三次元モデル４８を縮小して画面５８に表示する。

【0063】

作業者に対して指示を与えるときに、支援者は、三次元モデル４８を拡大表示又は縮小表示することが想定される。この場合に、三次元モデル４８の向きを固定して三次元モデル４８を表示することで、三次元モデル４８の向きを固定せずに作業者装置１０の動きに追従して変更する場合と比べて、三次元モデル４８に対する支援者によるアノテーション６０の付与が容易となる。つまり、作業者装置１０の動きに追従して三次元モデル４８をそのまま表示する場合と比べて、支援者による支援が容易となる。

【0064】

別の例として、特定の操作は、三次元モデル４８に対してアノテーション６０を付与する操作である。この場合に、三次元モデル４８の向きを固定して三次元モデル４８を表示することで、三次元モデル４８の向きが作業者装置１０の動きに追従して変更する場合と比べて、三次元モデル４８に対する支援者によるアノテーション６０の付与が容易となる。例えば、アノテーション６０の付与を指示するためのボタン等の画像が、画面５８等に表示される。支援者が当該ボタン等の画像を押すと、プロセッサ３２は、三次元モデル４８の向きを固定して三次元モデル４８を画面５８に表示する。

【0065】

また、予め定められた稼働領域内にて作業者装置１０が移動しても、支援者装置１２のプロセッサ３２は、三次元モデル４８の向きを固定して三次元モデル４８を画面５８に表示してもよい。例えば、現場３４にて複数の稼働領域が設定されており、稼働領域毎に向きの異なる三次元モデル４８が予め定められている。プロセッサ３２は、作業者装置１０が存在する稼働領域毎に三次元モデル４８の向きを変えて三次元モデル４８を画面５８に表示する。

【0066】

図５を参照して、この実施例について説明する。図５には、図４と同様に、現場３４と遠隔地３６とが示されている。

【0067】

例えば、現場３４においては、対象物３８を基準として、複数の稼働領域が設定されている。ここでは説明の便宜上、対象物３８は立方体であるものとする。現場３４の現実空間において対象物３８の面Ａが向く領域が、稼働領域６６Ａとして設定されている。対象物３８の面Ｂが向く領域が、稼働領域６６Ｂとして設定されている。対象物３８の面Ｃが向く領域が、稼働領域６６Ｃとして設定されている。面Ｂの反対側の面が向く領域が、稼働領域６６Ｄとして設定されている。面Ａの反対側の面が向く領域が、稼働領域６６Ｅとして設定されている。各稼働領域を示す位置情報は、支援者装置１２のメモリ３０に予め記憶されている。

【0068】

三次元モデル４８は、対象物３８と同様に立方体である。三次元モデル４８の面Ａは、対象物３８の面Ａに対応し、三次元モデル４８の面Ｂは、対象物３８の面Ｂに対応し、三次元モデル４８の面Ｃは、対象物３８の面Ｃに対応する。その他の面についても同様である。

【0069】

例えば、作業者装置１０が稼働領域６６Ａ内に存在する場合（つまり、作業者装置１０の位置情報が示す位置が稼働領域６６Ａ内に含まれる場合）、支援者装置１２のプロセッサ３２は、三次元モデル４８の面Ａが画面５８に表示されるように、三次元モデル４８の向きを設定して三次元モデル４８を画面５８に表示する。例えば、稼働領域６６Ａ内にて位置Ａが設定され、その位置Ａを示す位置情報が、支援者装置１２のメモリ３０に予め記憶されている。プロセッサ３２は、その位置Ａから見たときの三次元モデル４８を画面５８に表示する。位置Ａは、稼働領域６６Ａ内において固定された位置である。作業者装置１０が稼働領域６６Ａ内で移動しても、プロセッサ３２は、三次元モデル４８に対する位置Ａを固定して、三次元モデル４８の面Ａが画面５８に表示されるように、三次元モデル４８を画面５８に表示する。つまり、作業者装置１０が稼働領域６６Ａ内で移動しても、三次元モデル４８の表示は変わらず、三次元モデル４８の向きが固定された状態で、三次元モデル４８が画面５８に表示される。

【0070】

作業者装置１０が稼働領域６６Ｂ内に存在する場合（つまり、作業者装置１０の位置情報が示す位置が稼働領域６６Ｂ内に含まれる場合）、支援者装置１２のプロセッサ３２は、三次元モデル４８の面Ｂが画面５８に表示されるように、三次元モデル４８の向きを設定して三次元モデル４８を画面５８に表示する。例えば、稼働領域６６Ｂ内にて位置Ｂが設定され、その位置Ｂの位置を示す位置情報が、支援者装置１２のメモリ３０に予め記憶されている。プロセッサ３２は、その位置Ｂから見たときの三次元モデル４８を画面５８に表示する。位置Ｂは、稼働領域６６Ｂ内において固定された位置である。作業者装置１０が稼働領域６６Ｂ内で移動しても、プロセッサ３２は、三次元モデル４８の位置Ｂ及び向きを固定して、三次元モデル４８の面Ｂが画面５８に表示されるように、三次元モデル４８を画面５８に表示する。

【0071】

作業者装置１０が稼働領域６６Ｃ，６６Ｄ，６６Ｄのそれぞれに存在する場合も同様である。

【0072】

例えば、作業者装置１０が稼働領域６６Ａ内に存在する場合、プロセッサ３２は、三次元モデル４８の面Ａが画面５８に表示されるように、三次元モデル４８の位置Ａ及び向きを固定して三次元モデル４８を画面５８に表示する。作業者装置１０が稼働領域６６Ａから稼働領域６６Ｂに移動すると、プロセッサ３２は、位置を位置Ａから位置Ｂに切り替え、三次元モデル４８の面Ｂが画面５８に表示されるように、三次元モデル４８の位置Ｂ及び向きを固定して三次元モデル４８を画面５８に表示する。作業者装置１０が他の稼働領域に移動した場合も同様である。このように、三次元モデル４８の表示は、作業者装置１０の移動に伴って不連続に変化する。

【0073】

以上のように、作業者装置１０が同じ稼働領域内にて移動した場合であっても、三次元モデル４８の位置及び向きが固定されて三次元モデル４８が画面５８に表示される。これにより、三次元モデル４８の位置及び向きが作業者装置１０の動きに追従して変更する場合と比べて、三次元モデル４８に対する支援者によるアノテーション６０の付与が容易となる。

【0074】

各稼働領域の形状及び大きさは、対象物３８の形状、大きさ及び種類等に応じて予め設定されてもよいし、作業者や支援者によって設定されてもよい。稼働領域の数も、対象物３８の形状、大きさ及び種類等に応じて予め設定されてもよいし、作業者や支援者によって設定されてもよい。

【0075】

以下、図６から図１０を参照して、本実施形態に係る処理の流れについて説明する。

【0076】

図６を参照して、作業者装置１０の処理の流れについて説明する。図６には、作業者装置１０の処理の流れを示すフローチャートが示されている。

【0077】

作業者装置１０が初期化され（Ｓ０１）、作業者装置１０の撮影装置１４によって画像（例えば動画や静止画像）が撮影される（Ｓ０２）。作業者装置１０のプロセッサ２４は、撮影された画像を符号化し（Ｓ０３）、符号化された画像を支援者装置１２に送信する（Ｓ０４）。現場３４での作業や撮影等が終了しない場合（Ｓ０５，Ｎｏ）、処理はステップＳ０２に移行する。作業や撮影等が終了する場合（Ｓ０５，Ｙｅｓ）、作業者装置１０の処理は終了する。

【0078】

図７を参照して、支援者装置１２の処理の流れについて説明する。図７には、支援者装置１２の処理の流れを示すフローチャートが示されている。

【0079】

支援者装置１２が初期化され（Ｓ１１）、支援者装置１２は、作業者装置１０から送信された画像を受信する（Ｓ１２）。支援者装置１２のプロセッサ３２は、符号化された画像を復号し（Ｓ１３）、復号した画像をＵＩ２８のディスプレイに表示させる（Ｓ１４）。現場３４での作業や撮影等が終了しない場合（Ｓ１５，Ｎｏ）、処理はステップＳ１２に移行する。作業や撮影等が終了する場合（Ｓ１５，Ｙｅｓ）、支援者装置１２の処理は終了する。

【0080】

図８を参照して、作業者装置１０にてＡＲ表示を実現する処理について説明する。図８には、作業者装置１０の処理の流れを示すフローチャートが示されている。

【0081】

作業者装置１０が初期化され（Ｓ２１）、作業者装置１０の撮影装置１４によって画像（例えば動画や静止画像）が撮影される（Ｓ２２）。作業者装置１０の位置情報取得部１８は、作業者装置１０の位置情報及び姿勢情報を取得する（Ｓ２３）。位置情報及び姿勢情報は、支援者装置１２に送信される（Ｓ２４）。支援者装置１２においてアノテーションの付与等のイベントが発生した場合（Ｓ２５，Ｙｅｓ）、作業者装置１０のプロセッサ２４は、作業者の視点（つまり、ＨＭＤとしての作業者装置１０の位置）を基準として、アノテーションを拡張現実（ＡＲ）で描画し（Ｓ２６）、撮影装置１４によって撮影された画像とアノテーションとを合成する（Ｓ２７）。プロセッサ２４は、合成されたアノテーションと画像とを表示する（Ｓ２８）。支援者装置１２においてアノテーションの付与等のイベントが発生しない場合（Ｓ２５，Ｎｏ）、プロセッサ２４は、撮影装置１４によって撮影された画像を表示する（Ｓ２８）。作業や撮影等が終了しない場合（Ｓ２９，Ｎｏ）、処理は、ステップ２２に移行する。作業や撮影等が終了した場合（Ｓ２９，Ｙｅｓ）、作業者装置１０の処理は終了する。

【0082】

図９を参照して、作業者装置１０の動きに追従して三次元モデル４８を表示する処理について説明する。図９には、その処理の流れを示すフローチャートが示されている。

【0083】

支援者装置１２が初期化され（Ｓ３１）、支援者装置１２のプロセッサ３２は、対象物３８の三次元モデル４８を三次元仮想空間４４内に描画する（Ｓ３２）。プロセッサ３２は、三次元仮想空間４４内において、作業者装置１０を表す仮想カメラ５４によって三次元モデル４８を撮影することで、三次元モデル４８の画像（つまり仮想の画像）を取得する（Ｓ３３）。この画像は、三次元仮想空間４４内において仮想カメラ５４から三次元モデル４８を見たときの三次元モデル４８の形状を表す画像である。

【0084】

作業者装置１０の位置情報及び姿勢情報が、作業者装置１０から支援者装置１２に送信され、支援者装置１２のプロセッサ３２は、作業者装置１０の位置情報及び姿勢情報を受信する（Ｓ３４）。プロセッサ３２は、三次元仮想空間４４内における仮想カメラ５４の位置が、その位置情報が示す位置に一致しているか否かを判断する（Ｓ３５）。また、プロセッサ３２は、三次元仮想空間４４における仮想カメラ５４の姿勢が、その姿勢情報が示す姿勢に一致しているか否かを判断する（Ｓ３５）。つまり、プロセッサ３２は、三次元仮想空間４４内における仮想カメラ５４の位置及び姿勢が、現実空間における作業者装置１０の位置及び姿勢と一致しているか否かを判断する。三次元仮想空間４４内における仮想カメラ５４の位置及び姿勢が、現実空間における作業者装置１０の位置及び姿勢と一致していない場合（Ｓ３５，Ｎｏ）、プロセッサ３２は、三次元仮想空間４４内において、その位置情報が示す位置に対応する位置に仮想カメラ５４を配置し、その姿勢情報が示す姿勢に仮想カメラ５４の姿勢を一致させる（Ｓ３６）。これにより、仮想カメラ５４の位置及び姿勢は、現実空間における作業者装置１０の動きに追従する。そして、プロセッサ３２は、三次元モデル４８を画面５８に表示する（Ｓ３７）。三次元仮想空間４４内における仮想カメラ５４の位置及び姿勢が、現実空間における作業者装置１０の位置及び姿勢と一致している場合（Ｓ３５，Ｙｅｓ）、プロセッサ３２は、三次元モデル４８を画面５８に表示する（Ｓ３７）。

【0085】

支援者が、マウスカーソル等のカーソルによってアノテーションを付与する場合、カーソルが画面５８に表示される。支援者装置１２のプロセッサ３２は、画面５８におけるカーソルの座標を検出し（Ｓ３８）、その検出した座標を、三次元仮想空間４４における座標に変換する（Ｓ３９）。座標変換は、予め定められた条件に従って行われる。

【0086】

支援者がアノテーションの付与を指示すると、支援者装置１２のプロセッサ３２は、アノテーション６０を描画する（Ｓ４０）。支援者がアノテーション６０の位置を変更すると、三次元仮想空間４４内におけるアノテーション６０の座標が変更される（Ｓ４１）。

【0087】

支援者装置１２にて作業者を支援するイベント（例えばアノテーション６０の付与）が発生した場合（Ｓ４２，Ｙｅｓ）、そのイベントを示す情報が、支援者装置１２から作業者装置１０に送信される（Ｓ４３）。その後、処理はステップＳ４４に移行する。

【0088】

支援者装置１２にて作業者を支援するイベントが発生しない場合（Ｓ４２，Ｎｏ）、処理はステップＳ４４に移行する。

【0089】

現場３４での作業や撮影等が終了しない場合（Ｓ４４，Ｎｏ）、処理はステップＳ３２に移行する。作業や撮影等が終了する場合（Ｓ４４，Ｙｅｓ）、支援者装置１２の処理は終了する。

【0090】

図１０を参照して、三次元モデル４８の表示を固定する処理について説明する。図１０には、その処理の流れを示すフローチャートが示されている。

【0091】

支援者装置１２が初期化され（Ｓ５１）、支援者装置１２のプロセッサ３２は、対象物３８の三次元モデル４８を三次元仮想空間４４内に描画する（Ｓ５２）。プロセッサ３２は、三次元仮想空間４４において、作業者装置１０を表す仮想カメラ５４によって三次元モデル４８を撮影することで、三次元モデル４８の画像（つまり仮想の画像）を取得する（Ｓ５３）。この画像は、三次元仮想空間４４内において仮想カメラ５４から三次元モデル４８を見たときの三次元モデル４８の形状を表す画像である。

【0092】

作業者装置１０の位置情報及び姿勢情報が、作業者装置１０から支援者装置１２に送信され、支援者装置１２のプロセッサ３２は、作業者装置１０の位置情報及び姿勢情報を受信する（Ｓ５４）。プロセッサ３２は、その位置情報が示す位置に基づいて、現実空間において作業者装置１０が存在する稼働領域を特定する（Ｓ５５）。プロセッサ３２は、その特定した稼働領域に対応する仮想カメラ５４の位置及び姿勢を決定する（Ｓ５６）。例えば、作業者装置１０が稼働領域６６Ａに存在する場合、プロセッサ３２は、稼働領域６６Ａに対応する仮想カメラ５４の位置及姿勢を決定する。プロセッサ３２は、三次元仮想空間４４においてその位置にその姿勢で仮想カメラ５４を配置し、その仮想カメラ５４から三次元モデル４８を見たときの三次元モデル４８を、画面５８に表示する（Ｓ５７）。

【0093】

支援者が、マウスカーソル等のカーソルによってアノテーションを付与する場合、カーソルが画面５８に表示される。支援者装置１２のプロセッサ３２は、画面５８におけるカーソルの座標を検出し（Ｓ５８）、その検出した座標を、三次元仮想空間４４における座標に変換する（Ｓ５９）。座標変換は、予め定められた条件に従って行われる。

【0094】

支援者がアノテーションの付与を指示すると、支援者装置１２のプロセッサ３２は、アノテーション６０を描画する（Ｓ６０）。支援者がアノテーション６０の位置を変更すると、三次元仮想空間４４内におけるアノテーション６０の座標が変更される（Ｓ６１）。

【0095】

支援者装置１２にて作業者を支援するイベント（例えばアノテーション６０の付与）が発生した場合（Ｓ６２，Ｙｅｓ）、そのイベントを示す情報が、支援者装置１２から作業者装置１０に送信される（Ｓ６３）。その後、処理はステップＳ６４に移行する。

【0096】

支援者装置１２にて作業者を支援するイベントが発生しない場合（Ｓ６２，Ｎｏ）、処理はステップＳ４４に移行する。

【0097】

現場３４での作業や撮影等が終了しない場合（Ｓ６４，Ｎｏ）、処理はステップＳ５２に移行する。作業や撮影等が終了する場合（Ｓ６４，Ｙｅｓ）、支援者装置１２の処理は終了する。

【0098】

作業者装置１０及び支援者装置１２の各機能は、一例としてハードウェアとソフトウェアとの協働により実現される。例えば、作業者装置１０のプロセッサ２４が、メモリに記憶されているプログラムを読み出して実行することで、作業者装置１０の各機能が実現される。プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、メモリに記憶される。同様に、支援者装置１２のプロセッサ３２が、メモリに記憶されているプログラムを読み出して実行することで、支援者装置１２の各機能が実現される。プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、メモリに記憶される。

【0099】

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0100】

（付記）
（（（１）））
プロセッサを有し、
前記プロセッサは、
対象物を撮影する情報処理装置の位置に追従して、前記対象物を表す三次元モデルを、前記情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させ、
前記ディスプレイに表示された前記三次元モデルに対して特定の操作が行われるときに、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、
情報処理システム。
（（（２）））
前記特定の操作は、前記三次元モデルの拡大表示又は縮小表示する操作である、
（（（１）））に記載の情報処理システム。
（（（３）））
前記特定の操作は、前記ディスプレイに表示された前記三次元モデルに対してアノテーションを付与する操作であり、
前記三次元モデルに対して前記アノテーションが付与された場合、前記アノテーションが、前記情報処理装置を介して、前記三次元モデルに対して前記アノテーションが付与された位置に対応する、前記対象物に対する位置に表示される、
（（（１）））に記載の情報処理システム。
（（（４）））
前記プロセッサは、
予め定められた稼働領域内にて前記情報処理装置が移動しても、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、
（（（１）））から（（（３）））のいずれか一項に記載の情報処理システム。
（（（５）））
前記稼働領域毎に向きの異なる三次元モデルが定められており、
前記プロセッサは、
前記情報処理装置が存在する前記稼働領域毎に前記三次元モデルの向きを変えて前記三次元モデルを前記ディスプレイに表示させる、
（（（４）））に記載の情報処理システム。
（（（６）））
コンピュータが、
対象物を撮影する情報処理装置の位置に追従して、前記対象物を表す三次元モデルを、前記情報処理装置を使用する作業者の作業を支援する支援者用のディスプレイに表示させ、
前記ディスプレイに表示された前記三次元モデルに対して特定の操作が行われるときに、前記三次元モデルの向きを固定して前記三次元モデルを前記ディスプレイに表示させる、
ように動作させるプログラム。
（（（１）））に係る情報処理システム又は（（（６）））に係るプログラムによれば、情報処理装置を使用する作業者の作業を支援者が支援する場合において、当該情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援が容易となる。
（（（２）））に係る情報処理システムによれば、三次元モデルを拡大表示又は縮小表示するときに、情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援が容易となる。
（（（３）））に係る情報処理システムによれば、アノテーションを付与するときに、当該情報処理装置によって撮影された画像を支援者用のディスプレイにそのまま表示する場合と比べて、支援者による支援が容易となる。
（（（４）））又は（（（５）））に係る情報処理システムによれば、稼働領域内での情報処理装置の移動に追従して三次元モデルの向きを変えて三次元モデルを表示する場合と比べて、支援者による支援が容易となる。

【符号の説明】

【0101】

１０ 作業者装置、１２ 支援者装置、２４，３２ プロセッサ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】