特開 2023-32037 作業者側装置、指示者側装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023032037

(43)【公開日】2023-03-09

(54)【発明の名称】作業者側装置、指示者側装置、方法およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230302BHJP

   G06T 19/00 20110101ALI20230302BHJP

   G06T 7/70 20170101ALI20230302BHJP

【ＦＩ】

G06F3/01 570

G06T19/00 600

G06T7/70 A

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021137900

(22)【出願日】2021-08-26

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】渕上 正睦

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050EA27

5B050FA02

5B050FA09

5E555AA61

5E555BA01

5E555BA11

5E555BB01

5E555BB11

5E555BC09

5E555CA42

5E555CB64

5E555CB66

5E555DA01

5E555DB53

5E555DB57

5E555DC05

5E555FA00

5L096CA04

5L096DA01

5L096FA67

5L096FA69

5L096HA04

(57)【要約】

【課題】指示者から作業者への指示をより効果的に行うことを可能とする技術が提供されることが望まれる。
【解決手段】指示者のジェスチャ情報を指示者側装置から取得するジェスチャ取得部と、所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得する信号取得部と、前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御する提示制御部と、を備える、作業者側装置が提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

指示者のジェスチャ情報を指示者側装置から取得するジェスチャ取得部と、
所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得する信号取得部と、
前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御する提示制御部と、
を備える、作業者側装置。

【請求項2】

前記所定のタイミングは、前記第２の手法から前記第１の手法への切り替えを示す切り替え信号が取得されたタイミングである、
請求項１に記載の作業者側装置。

【請求項3】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記ジェスチャ情報と前記第１の基準位置からの前記作業者の移動量とに基づいて前記第１の座標系に前記ジェスチャを配置する、
請求項１または２に記載の作業者側装置。

【請求項4】

前記提示制御部は、前記切り替え信号が前記第１の手法から前記第２の手法への切り替えを示す場合に、前記ジェスチャ情報と前記第２の基準位置とに基づいて前記第２の座標系に前記ジェスチャを配置する、
請求項１～３のいずれか一項に記載の作業者側装置。

【請求項5】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記第１の基準位置からの前記作業者の移動量に基づいて、前記指示者から入力された指示音声の仮想的な出力位置を決定する、
請求項１～４のいずれか一項に記載の作業者側装置。

【請求項6】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記第１の基準位置からの前記作業者の移動量に基づいて、所定の画像が配置される位置を決定する、
請求項１～５のいずれか一項に記載の作業者側装置。

【請求項7】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記所定の画像が配置される位置と前記ジェスチャの位置とに応じた向きを示すように、前記所定の画像が示す向きを決定する、
請求項６に記載の作業者側装置。

【請求項8】

指示者のジェスチャ情報を指示者側装置から取得することと、
所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得することと、
前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御することと、
を含む、方法。

【請求項9】

コンピュータを、
指示者のジェスチャ情報を指示者側装置から取得するジェスチャ取得部と、
所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得する信号取得部と、
前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御する提示制御部と、
を備える作業者側装置として機能させるプログラム。

【請求項10】

静止画像と動画像との間における切り替え信号を作業者側装置に出力する切り替え信号出力部と、
指示者のジェスチャ情報に基づいてジェスチャのディスプレイによる表示を制御するとともに、前記切り替え信号に基づいて前記作業者側装置から送信された静止画像または動画像の前記ディスプレイによる表示を制御する画像表示制御部と、
を備える、指示者側装置。

【請求項11】

前記画像表示制御部は、前記切り替え信号が動画像から静止画像への切り替えを示す場合に、前記静止画像の前記ディスプレイによる表示を制御する、
請求項１０に記載の指示者側装置。

【請求項12】

前記画像表示制御部は、前記切り替え信号が動画像から静止画像への切り替えを示す場合に、前記静止画像の前記ディスプレイによる表示を制御するとともに、前記動画像の前記ディスプレイによる表示を制御する、
請求項１０または１１に記載の指示者側装置。

【請求項13】

前記画像表示制御部は、前記切り替え信号が静止画像から動画像への切り替えを示す場合に、前記作業者側装置から送信された動画像の前記ディスプレイによる表示を制御する、
請求項１０～１２のいずれか一項に記載の指示者側装置。

【請求項14】

前記切り替え信号出力部は、前記指示者から入力装置を介して前記切り替え信号が入力されたことに基づいて、前記切り替え信号を前記作業者側装置に出力する、
請求項１０～１３のいずれか一項に記載の指示者側装置。

【請求項15】

前記切り替え信号出力部は、前記指示者から入力された指示内容に基づいて指示の種類を認識し、前記指示の種類の変化に基づいて、前記切り替え信号を前記作業者側装置に出力する、
請求項１０～１３いずれか一項に記載の指示者側装置。

【請求項16】

静止画像と動画像との間における切り替え信号を作業者側装置に出力することと、
指示者のジェスチャ情報に基づいてジェスチャのディスプレイによる表示を制御するとともに、前記切り替え信号に基づいて前記作業者側装置から送信された静止画像または動画像の前記ディスプレイによる表示を制御することと、
を含む、方法。

【請求項17】

コンピュータを、
静止画像と動画像との間における切り替え信号を作業者側装置に出力する切り替え信号出力部と、
指示者のジェスチャ情報に基づいてジェスチャのディスプレイによる表示を制御するとともに、前記切り替え信号に基づいて前記作業者側装置から送信された静止画像または動画像の前記ディスプレイによる表示を制御する画像表示制御部と、
を備える指示者側装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者側装置、指示者側装置、方法およびプログラムに関する。

【背景技術】

【0002】

従来の遠隔作業支援技術としては、小型のディスプレイに指示を表示する技術、または、透過型のディスプレイに指示を表示する技術などが知られている。しかし、いずれの技術であっても、従来の遠隔作業支援技術としては、平面的に指示を表示する技術が一般的である。

【0003】

一方、近年においては、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術などの発展により、三次元的に表示可能な作業マニュアルが現れてきている。かかる作業マニュアルはあらかじめ作成され、ＡＲ技術を用いて三次元的に表示され得る。これによって、作業などを三次元的に作業者に理解させることが可能になりつつある。しかしながら、ＡＲ技術を用いて作業マニュアルを三次元的に表示する場合であっても、作業マニュアル自体はあらかじめ作成されたものであるため、そのときの作業状況に応じた作業支援が行われにくい。

【0004】

一方、遠隔作業支援においては、指示者によって入力される音声の出力と、ハンドジェスチャ表示とを併用することが有効であることが既に示されている（例えば、非特許文献１参照）。しかし、ジェスチャ表示をＡＲ技術にそのまま適用した場合には、改善すべき点が生じる。

【0005】

例えば、ジェスチャがＡＲ技術を用いて三次元的に表示される場合であっても、ジェスチャが作業者の移動に伴って変化せずに、作業者が同じ視点からしかジェスチャを見ることができないとすると、作業者がジェスチャによる指示を把握しにくい状況が生じ得る。一方、ジェスチャが作業者の移動に伴って常に変化してしまうと、指示者がジェスチャを見る視点と作業者がジェスチャを見る視点とが一致しない状況が頻繁に生じるため、指示者がジェスチャによる指示を出しにくい状況が生じ得る。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】市原 俊介、鈴木 雄介、“ハンドジェスチャ送信機能を有する遠隔作業支援システムの開発と課題”、情報処理学会インタラクション２０１９、２Ｂ－３６

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、指示者から作業者への指示をより効果的に行うことを可能とする技術が提供されることが望まれる。

【課題を解決するための手段】

【0008】

上記問題を解決するために、本発明のある観点によれば、指示者のジェスチャ情報を指示者側装置から取得するジェスチャ取得部と、所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得する信号取得部と、前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御する提示制御部と、を備える、作業者側装置が提供される。

【0009】

前記所定のタイミングは、前記第２の手法から前記第１の手法への切り替えを示す切り替え信号が取得されたタイミングであってもよい。

【0010】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記ジェスチャ情報と前記第１の基準位置からの前記作業者の移動量とに基づいて前記第１の座標系に前記ジェスチャを配置してもよい。

【0011】

前記提示制御部は、前記切り替え信号が前記第１の手法から前記第２の手法への切り替えを示す場合に、前記ジェスチャ情報と前記第２の基準位置とに基づいて前記第２の座標系に前記ジェスチャを配置してもよい。

【0012】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記第１の基準位置からの前記作業者の移動量に基づいて、前記指示者から入力された指示音声の仮想的な出力位置を決定してもよい。

【0013】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記第１の基準位置からの前記作業者の移動量に基づいて、所定の画像が配置される位置を決定してもよい。

【0014】

前記提示制御部は、前記切り替え信号が前記第２の手法から前記第１の手法への切り替えを示す場合に、前記所定の画像が配置される位置と前記ジェスチャの位置とに応じた向きを示すように、前記所定の画像が示す向きを決定してもよい。

【0015】

また、本発明の別の観点によれば、指示者のジェスチャ情報を指示者側装置から取得することと、所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得することと、前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御することと、を含む、方法が提供される。

【0016】

また、本発明の別の観点によれば、コンピュータを、指示者のジェスチャ情報を指示者側装置から取得するジェスチャ取得部と、所定のタイミングにおける作業者の位置を第１の基準位置とした第１の座標系に前記第１の基準位置からの前記作業者の移動量に基づいてジェスチャを配置する第１の手法と、前記作業者に装着されたカメラの位置を第２の基準位置とした第２の座標系に前記ジェスチャを配置する第２の手法との間における切り替え信号を取得する信号取得部と、前記ジェスチャ情報と前記切り替え信号とに基づいて、前記ジェスチャが配置されるようにディスプレイを制御する提示制御部と、を備える作業者側装置として機能させるプログラムが提供される。

【0017】

また、本発明の別の観点によれば、静止画像と動画像との間における切り替え信号を作業者側装置に出力する切り替え信号出力部と、指示者のジェスチャ情報に基づいてジェスチャのディスプレイによる表示を制御するとともに、前記切り替え信号に基づいて前記作業者側装置から送信された静止画像または動画像の前記ディスプレイによる表示を制御する画像表示制御部と、を備える、指示者側装置が提供される。

【0018】

前記画像表示制御部は、前記切り替え信号が動画像から静止画像への切り替えを示す場合に、前記静止画像の前記ディスプレイによる表示を制御してもよい。

【0019】

前記画像表示制御部は、前記切り替え信号が動画像から静止画像への切り替えを示す場合に、前記静止画像の前記ディスプレイによる表示を制御するとともに、前記動画像の前記ディスプレイによる表示を制御してもよい。

【0020】

前記画像表示制御部は、前記切り替え信号が静止画像から動画像への切り替えを示す場合に、前記作業者側装置から送信された動画像の前記ディスプレイによる表示を制御してもよい。

【0021】

前記切り替え信号出力部は、前記指示者から入力装置を介して前記切り替え信号が入力されたことに基づいて、前記切り替え信号を前記作業者側装置に出力してもよい。

【0022】

前記切り替え信号出力部は、前記指示者から入力された指示内容に基づいて指示の種類を認識し、前記指示の種類の変化に基づいて、前記切り替え信号を前記作業者側装置に出力してもよい。

【0023】

また、本発明の別の観点によれば、静止画像と動画像との間における切り替え信号を作業者側装置に出力することと、指示者のジェスチャ情報に基づいてジェスチャのディスプレイによる表示を制御するとともに、前記切り替え信号に基づいて前記作業者側装置から送信された静止画像または動画像の前記ディスプレイによる表示を制御することと、を含む、方法が提供される。

【0024】

また、本発明の別の観点によれば、コンピュータを、静止画像と動画像との間における切り替え信号を作業者側装置に出力する切り替え信号出力部と、指示者のジェスチャ情報に基づいてジェスチャのディスプレイによる表示を制御するとともに、前記切り替え信号に基づいて前記作業者側装置から送信された静止画像または動画像の前記ディスプレイによる表示を制御する画像表示制御部と、を備える指示者側装置として機能させるプログラムが提供される。

【発明の効果】

【0025】

以上説明したように本発明によれば、指示者から作業者への指示をより効果的に行うことを可能とする技術が提供される。

【図面の簡単な説明】

【0026】

【図1】本発明の第１の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。

【図2】遠隔作業支援システムの静止画状態から動画状態への切り替え動作例を示すフローチャートである。

【図3】遠隔作業支援システムの動画状態から静止画状態への切り替え動作例を示すフローチャートである。

【図4】比較例１に係るジェスチャ情報の変換先の座標系について説明するための図である。

【図5】比較例２に係るジェスチャ情報の変換先の座標系について説明するための図である。

【図6】本発明の第１の実施形態に係るジェスチャ情報の変換先の座標系について説明するための図である。

【図7】遠隔作業支援システムの状態として動画状態が継続する場合の画面例を示す図である。

【図8】遠隔作業支援システムの状態として動画状態から静止画状態への切り替えが行われる場合の画面例を示す図である。

【図9】本発明の第２の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。

【図10】遠隔作業支援システムの静止画状態から動画状態への切り替え動作例を示すフローチャートである。

【図11】遠隔作業支援システムの動画状態から静止画状態への切り替え動作例を示すフローチャートである。

【図12】本発明の第２の実施形態に係る指示音声が出力される基準位置および基準方向について説明するための図である。

【図13】本発明の第３の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。

【図14】遠隔作業支援システムの静止画状態から動画状態への切り替え動作例を示すフローチャートである。

【図15】遠隔作業支援システムの動画状態から静止画状態への切り替え動作例を示すフローチャートである。

【図16】本発明の第３の実施形態に係る重畳画像が配置される基準位置および基準方向について説明するための図である。

【図17】本発明の実施形態に係る作業者側システムの例としての情報処理装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0027】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0028】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

【0029】

（１．第１の実施形態）
本発明の第１の実施形態について説明する。

【0030】

（１－１．遠隔作業支援システムの構成）
まず、本発明の第１の実施形態に係る遠隔作業支援システムの構成例について説明する。図１は、本発明の第１の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。図１に示されるように、遠隔作業支援システム１は、作業者側システムと、指示者側システムとを有する。

【0031】

作業者側システムは、遠隔作業支援システム１のうち、作業者によって用いられるシステムである。作業者は、作業者に指示を出す指示者から離れた場所（すなわち、遠隔地）にて作業を行う。一方、指示者側システムは、遠隔作業支援システム１のうち、指示者によって用いられるシステムである。作業者側システムと指示者側システムとは、ネットワーク３０に接続されており、ネットワーク３０を介して通信可能に構成されている。

【0032】

なお、遠隔作業支援においては、指示者と作業者との間において音声通話などが行われるのが一般的である。しかし、音声通話などに必要な構成は、本発明の第１の実施形態に係る遠隔作業支援システム１の構成の説明に関与しないため、音声通話などに必要な構成の説明は省略する。

【0033】

図１に示されるように、作業者側システムは、ＡＲディスプレイ１１と、カメラ１２と、位置姿勢計測部１３と、演算処理部１４とを備える。一方、図１に示されるように、指示者側システムは、ディスプレイ２１と、ジェスチャ入力装置２２と、状態切り替え入力装置２３と、演算処理部２４とを備える。

【0034】

（ＡＲディスプレイ１１）
ＡＲディスプレイ１１は、ジェスチャの表示を行う。より詳細に、ＡＲディスプレイ１１は、作業者の視界にジェスチャを重畳表示する。ＡＲディスプレイ１１は、作業者に装着される。例えば、ＡＲディスプレイ１１は、作業者の頭部に装着されるヘッドマウントディスプレイであってよい。しかし、ＡＲディスプレイ１１の種類はヘッドマウントディスプレイに限定されない。例えば、ＡＲディスプレイ１１は、ヘッドマウントディスプレイ以外のディスプレイであってもよい。

【0035】

（カメラ１２）
カメラ１２は、作業者の環境を撮像することにより動画像（以下、単に「動画」とも言う。）を得る。カメラ１２は、作業者の視線方向と同じ方向を向くように設けられているのが望ましい。したがって、カメラ１２は、ＡＲディスプレイ１１と一体化されているのが望ましい。しかし、カメラ１２は、ＡＲディスプレイ１１とは別個のハードウェアとして構成されてもよい。

【0036】

（位置姿勢計測部１３）
位置姿勢計測部１３は、カメラ１２の位置および方向を計測する。例えば、カメラ１２の内部にセンサが組み込まれている場合には、位置姿勢計測部１３は、カメラ１２の内部に組み込まれているセンサによって検出されたセンサデータに基づいて、カメラ１２の位置および方向を計測してもよい。センサは、加速度センサまたはジャイロセンサなどであってよいが、センサの種類は特に限定されない。

【0037】

例えば、位置姿勢計測部１３は、作業者の環境に設置された二次元マーカを計測するセンサを含んでもよい。このとき、位置姿勢計測部１３は、計測した二次元マーカの形状に基づいて、カメラ１２の位置および方向を計測してもよい。あるいは、位置姿勢計測部１３は、カメラ１２の内部に組み込まれているセンサによって検出されたセンサデータに基づいてカメラ１２の位置および方向を計測する手法と、計測した二次元マーカの形状に基づいてカメラ１２の位置および方向を計測する手法とを組み合わせて用いてもよい。

【0038】

（演算処理部１４）
演算処理部１４は、コンピュータによって実現され、各種の演算処理を行う作業者側装置として機能する。例えば、演算処理部１４は、演算処理部２４からジェスチャ情報を取得するジェスチャ取得部、演算処理部２４から切り替え信号を取得する信号取得部、作業者の視界にジェスチャが表示されるようにＡＲディスプレイ１１を制御する提示制御部として機能し得る。

【0039】

また、演算処理部１４は、指示者側システムにおける演算処理部２４との間における通信インタフェースによる通信を制御する処理などを行う。例えば、演算処理部１４は、カメラ１２によって得られた動画または静止画像（以下、単に「静止画」とも言う。）の演算処理部２４への送信を制御する送信制御部として機能し得る。

【0040】

例えば、演算処理部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

【0041】

（ディスプレイ２１）
ディスプレイ２１は、カメラ１２によって得られた動画を表示し得る。また、ディスプレイ２１は、カメラ１２によって得られた動画に基づくスナップショットを静止画として表示し得る。これによって、指示者は、作業者の環境を見ることができる。さらに、ディスプレイ２１は、指示者のジェスチャを表示し得る。これによって、指示者は、どのようなジェスチャが作業者に伝達されているかを確認することができる。

【0042】

（ジェスチャ入力装置２２）
ジェスチャ入力装置２２は、指示者から入力されるジェスチャを受け付ける入力装置である。

【0043】

例えば、ジェスチャ入力装置２２は、光学的機器によって実現されてもよい。かかる光学的機器としては、Ｕｌｔｒａｌｅａｐ社によって開発されたＬｅａｐ Ｍｏｔｉｏｎ（登録商標）などが用いられ得る。Ｌｅａｐ Ｍｏｔｉｏｎ（登録商標）は、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）によって手に照射された赤外線の赤外線ステレオカメラによる検出結果に基づいて、手の動きをトラッキングする技術である。あるいは、ジェスチャ入力装置２２は、指示者によって装着される入力装置（例えば、センサグローブなど）によって実現されてもよい。

【0044】

ジェスチャの表現形式は、ジェスチャを複数の三次元座標を含んだ構造によって表現可能であり、ジェスチャを三次元空間内に再現可能であれば、任意の表現形式であってよい。例えば、ジェスチャは、骨組みの端点データによって表現されてもよいし、表皮のメッシュデータによって表現されてもよい。

【0045】

（状態切り替え入力装置２３）
状態切り替え入力装置２３は、指示者から入力される切り替え信号を受け付ける入力装置である。例えば、状態切り替え入力装置２３は、ボタンまたはスイッチなどを含んで構成されてもよい。このとき、切り替え信号は、ボタン押下またはスイッチオンなどによって入力され得る。しかし、状態切り替え入力装置２３は、どのように実現されてもよい。

【0046】

なお、切り替え信号は、二つの状態の一方から他方への切り替えを示す信号である。本発明の第１の実施形態においては、切り替え信号が、カメラ１２によって得られた動画がディスプレイ２１によって表示される状態（以下、「動画状態」とも言う。）、および、カメラ１２によって得られた動画に基づくスナップショットが静止画としてディスプレイ２１によって表示される状態（以下、「静止画状態」とも言う。）のいずれかを示す場合を主に想定する。

【0047】

（演算処理部２４）
演算処理部２４は、コンピュータによって実現され、各種の演算処理を行う指示者側装置として機能する。例えば、演算処理部２４は、切り替え信号を演算処理部１４に出力する切り替え信号出力部、ジェスチャのディスプレイ２１による表示を制御するとともに静止画または動画のディスプレイ２１による表示を制御する画像表示制御部として機能し得る。また、演算処理部２４は、作業者側システムにおける演算処理部１４との間における通信インタフェースによる通信を制御する処理などを行う。

【0048】

例えば、演算処理部２４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

【0049】

（ネットワーク３０）
ネットワーク３０は、作業者側システムと指示者側システムとを接続する。そして、ネットワーク３０は、作業者側システムと指示者側システムとの間における通信路として機能し得る。

【0050】

以上、本発明の第１の実施形態に係る遠隔作業支援システム１の構成例について説明した。

【0051】

（１－２．遠隔作業支援システムの動作）
続いて、図１～図３を参照しながら、本発明の第１の実施形態に係る遠隔作業支援システム１の動作例について説明する。

【0052】

なお、音声通話などの動作は、本発明の第１の実施形態に係る遠隔作業支援システム１の動作の説明に関与しないため、音声通話などの動作の説明は省略する。さらに、通信の遅延などは無視できるほど小さいものとする。

【0053】

上記したように、遠隔作業支援システム１は、動画状態および静止画状態のいずれかの状態をとり得る。遠隔作業支援システム１の状態は、状態切り替え入力装置２３を介して指示者から入力される切り替え信号に基づいて切り替えられる。動画状態においては、カメラ１２によって得られた動画がディスプレイ２１によって表示される。一方、静止画状態においては、切り替えられたタイミングにおける動画のスナップショットが静止画としてディスプレイ２１によって表示される。

【0054】

図２は、遠隔作業支援システム１の静止画状態から動画状態への切り替え動作例を示すフローチャートである。図３は、遠隔作業支援システム１の動画状態から静止画状態への切り替え動作例を示すフローチャートである。まず、図２を主に参照しながら、静止画状態から動画状態への切り替え動作例を説明し、続いて、図３を主に参照しながら、動画状態から静止画状態への切り替え動作例を説明する。

【0055】

ここで、指示者側システムから作業者側システムには、ジェスチャ入力装置２２によって指示者からの入力が受け付けられたジェスチャ情報が送信される。ジェスチャ情報には、基準位置からのジェスチャの変位（手の各特徴点の変位）を示す情報が含まれ得る。

【0056】

作業者側システムにおいて、演算処理部１４は、基準位置および基準方向とジェスチャ情報とに基づいてジェスチャが配置されるようにＡＲディスプレイ１１を制御する。一方、指示者側システムにおいて、演算処理部２４は、ジェスチャ情報に基づいてジェスチャが表示されるようにディスプレイ２１を制御する。

【0057】

（静止画状態から動画状態への切り替え動作）
静止画状態においては、ジェスチャが配置される基準位置および基準方向が、カメラ１２の位置および方向に追従しない。すなわち、静止画状態においては、作業者側システムにおいてジェスチャが配置される基準位置および基準方向が、動画状態から静止画状態への切り替えられたタイミングに記録されたカメラ１２の位置および方向に固定される。

【0058】

図２に示されるように、指示者側システムにおいて、演算処理部２４は、指示者から状態切り替え入力装置２３を介して静止画状態から動画状態への切り替え信号が入力されたか否かを判定する（Ｓ１１）。

【0059】

演算処理部２４は、状態切り替え入力装置２３を介して静止画状態から動画状態への切り替え信号が入力されていない場合には（Ｓ１１において「ＮＯ」）、Ｓ１１に動作を移行する。一方、演算処理部２４は、状態切り替え入力装置２３を介して静止画状態から動画状態への切り替え信号が入力された場合には（Ｓ１１において「ＹＥＳ」）、作業者側システムにおける演算処理部１４に、静止画状態から動画状態への切り替え信号を、ネットワーク３０を介して通知する（Ｓ１２）。

【0060】

作業者側システムにおいて、演算処理部１４は、静止画状態から動画状態への切り替え信号を受け取ると、ＡＲディスプレイ１１によってジェスチャが配置される基準位置を位置姿勢計測部１３によって計測されるカメラ１２の位置に追従させるとともに、ＡＲディスプレイ１１によってジェスチャが配置される基準方向を位置姿勢計測部１３によって計測されるカメラ１２の方向に追従させる（Ｓ１５）。

【0061】

さらに、演算処理部２４は、ディスプレイ２１によって表示されている静止画があれば、その静止画を消去する（Ｓ１３）。そして、演算処理部２４は、カメラ１２によって得られた動画が演算処理部１４から送信されると、送信された動画のディスプレイ２１による表示が再開されるようにディスプレイ２１を制御する（Ｓ１４）。

【0062】

（動画状態から静止画状態への切り替え動作）
動画状態においては、ジェスチャが配置される基準位置および基準方向が、カメラ１２の位置および方向に追従する。

【0063】

図３に示されるように、指示者側システムにおいて、演算処理部２４は、指示者から状態切り替え入力装置２３を介して動画状態から静止画状態への切り替え信号が入力されたか否かを判定する（Ｓ２１）。

【0064】

演算処理部２４は、状態切り替え入力装置２３を介して動画状態から静止画状態への切り替え信号が入力されていない場合には（Ｓ２１において「ＮＯ」）、Ｓ２１に動作を移行する。一方、演算処理部２４は、状態切り替え入力装置２３を介して動画状態から静止画状態への切り替え信号が入力された場合には（Ｓ２１において「ＹＥＳ」）、作業者側システムにおける演算処理部１４に、動画状態から静止画状態への切り替え信号を、ネットワーク３０を介して通知する（Ｓ２２）。

【0065】

作業者側システムにおいて、演算処理部１４は、動画状態から静止画状態への切り替え信号を受け取ると、動画状態から静止画状態への切り替えられたタイミングにおけるカメラ１２の位置および方向を記録するとともに（Ｓ２６）、ＡＲディスプレイ１１によってジェスチャの配置に用いられる基準位置および基準方向を、記録した動画状態から静止画状態への切り替えられたタイミングにおけるカメラ１２の位置および方向に固定する（Ｓ２７）。

【0066】

さらに、演算処理部２４は、カメラ１２によって得られた動画のスナップショットを静止画として作成する（Ｓ２３）。

【0067】

演算処理部２４は、ディスプレイ２１によって表示されている動画があれば、その動画を消去する（Ｓ２４）。そして、演算処理部２４は、生成した静止画のディスプレイ２１による表示が再開されるようにディスプレイ２１を制御する（Ｓ２５）。

【0068】

以上、静止画状態から動画状態への切り替え動作例、および、動画状態から静止画状態への切り替え動作例について説明した。続いて、ジェスチャが配置される基準位置および基準方向についてさらに詳細に説明する。

【0069】

（１－３．ジェスチャが配置される基準位置および基準方向）
ジェスチャ入力装置２２によって指示者からの入力が受け付けられたジェスチャ情報は、指示者の環境における固有の座標系における位置および方向などによって表現される情報である。かかるジェスチャ情報に基づいて作業者の環境におけるＡＲディスプレイ１１にジェスチャを表示させるためには、指示者側の座標系（変換元の座標系）から作業者側の座標系（変換先の座標系）へのジェスチャ情報の座標変換が必要となる。

【0070】

ここでは、変換先の座標系の例として、比較例１（ワールド座標系）、比較例２（カメラ座標系）、本実施形態に係る座標系について順に説明する。ここでは、説明を簡単にするため、ジェスチャの位置は固定されているものとする。

【0071】

（比較例１（ワールド座標系））
図４は、比較例１に係るジェスチャ情報の変換先の座標系について説明するための図である。図４を参照すると、初期状態における作業者環境Ｅ１１が示されている。初期状態における作業者環境Ｅ１１には、作業対象Ｒ１が存在している。作業対象Ｒ１は、作業者による作業の対象となる物体である。

【0072】

ここでは、図の見やすさを考慮して、作業対象Ｒ１が、「表」と「裏」を有する正方形の平面として示されている。しかし、作業対象Ｒ１の形状は限定されない。典型的には、作業対象Ｒ１は、ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）またはプリンタなどといった機械である場合が想定されるが、作業対象Ｒ１は、機械でなくてもよく作業に使われる何らかの物体であればよい。

【0073】

さらに、初期状態における作業者環境Ｅ１１には、カメラ１２が存在しており、カメラ１２によって得られた動画が指示者側の画面１２１ａに表示される。指示者側の画面１２１ａに表示されている動画には作業対象Ｒ１が写っている。指示者は、初期状態における作業者環境Ｅ１１の動画を見ながら、ジェスチャ情報を入力する。指示者側の画面１２１ａには、ジェスチャ情報に基づいてジェスチャＪ１が表示されている。

【0074】

初期状態における作業者環境Ｅ１１を参照すると、ワールド座標系Ｃ１およびカメラ座標系Ｃ２が示されている。指示者によって入力されたジェスチャ情報に基づいて、ワールド座標系Ｃ１にジェスチャＪ１が配置されるように作業者側のＡＲディスプレイが制御される。作業者は、ワールド座標系Ｃ１に配置されたジェスチャＪ１を見ながら、作業対象Ｒ１に対して作業を行うことができる。

【0075】

ここで、作業者環境Ｅ１２に示されるように、作業者が作業対象Ｒ１の背面に移動したとする。ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は固定されている。

【0076】

このとき、作業対象Ｒ１の「裏」およびジェスチャＪ１が指示者側の画面１２２ａに表示される。しかし、作業者の移動量および移動方向に合わせてジェスチャＪ１の位置および方向も変化する。そのため、指示者は、表示されるジェスチャＪ１と比較して位置および方向が変化する前（１８０度回転する前）のジェスチャを入力する必要が生じるため、指示者はジェスチャ入力をしにくくなる。

【0077】

一方、作業者環境Ｅ１３に示されるように、作業者が作業対象Ｒ１の奥側に移動したとする。ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は固定されている。

【0078】

このとき、ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は固定されてしまっているため、ジェスチャＪ１が作業者の後方に位置してしまい、作業者からはジェスチャＪ１が見えなくなってしまう。例えば、次の作業位置へ向かうためのジェスチャ情報を指示者が入力したとしても、作業者はそのジェスチャを見ることができずに、次の作業位置を知ることができなくなってしまう。

【0079】

以上により、比較例１は、あらかじめ作成された作業マニュアルなどを表示する場合などには好適である。しかし、比較例１では、作業者の移動に伴って指示者によるジェスチャが見えなくなってしまうことがあるため、リアルタイムに作業指示を行う必要がある場合などには好適ではないと言える。

【0080】

以上、比較例１に係るジェスチャ情報の変換先の座標系について説明した。

【0081】

（比較例２（カメラ座標系））
図５は、比較例２に係るジェスチャ情報の変換先の座標系について説明するための図である。図５を参照すると、図４に示された例と同様に、初期状態における作業者環境Ｅ２１が示されている。初期状態における作業者環境Ｅ２１には、作業対象Ｒ１が存在している。

【0082】

さらに、カメラ１２によって得られた動画が指示者側の画面１２３ａに表示される。指示者側の画面１２３ａに表示されている動画には作業対象Ｒ１が写っている。指示者は、初期状態における作業者環境Ｅ１１の動画を見ながら、ジェスチャ情報を入力する。指示者側の画面１２３ａには、ジェスチャ情報に基づいてジェスチャＪ１が表示されている。

【0083】

比較例２においては、指示者によって入力されたジェスチャ情報に基づいて、カメラ座標系Ｃ２にジェスチャＪ１が配置されるように作業者側のＡＲディスプレイが制御される。作業者は、カメラ座標系Ｃ２に配置されたジェスチャＪ１を見ながら、作業対象Ｒ１に対して作業を行うことができる。

【0084】

ここで、作業者環境Ｅ２２に示されるように、作業者が作業対象Ｒ１の背面に移動したとする。比較例１と異なり、ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は変化するが、カメラ座標系Ｃ２におけるジェスチャＪ１の位置および方向は固定されている。

【0085】

このとき、作業対象Ｒ１の「裏」およびジェスチャＪ１が指示者側の画面１２４ａに表示される。このとき、作業者が移動しているにも関わらず、画面１２４ａに表示されるジェスチャＪ１の位置および方向は固定される。そのため、指示者は、表示されるジェスチャＪ１と同じ位置および方向によってジェスチャを入力すれば済むため、指示者はジェスチャ入力をしやすい。

【0086】

しかし、カメラ座標系Ｃ２におけるジェスチャＪ１の位置および方向は固定されるため、作業者から見えるジェスチャＪ１の位置および方向は一定である。そのため、作業者は、ジェスチャＪ１の見える位置または角度を変更することができなくなってしまう（例えば、ジェスチャＪ１を上方から俯瞰的に見ることができなくなってしまう）。

【0087】

一方、作業者環境Ｅ２３に示されるように、作業者が作業対象Ｒ１の奥側に移動したとする。このとき、ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は変化するが、カメラ座標系Ｃ２におけるジェスチャＪ１の位置および方向は固定されている。このとき、指示者側の画面１２５ａに表示されるジェスチャＪ１の位置および方向は固定される。

【0088】

さらに、カメラ座標系Ｃ２におけるジェスチャＪ１の位置は固定されているため、ジェスチャＪ１が作業者の前方に位置し続け、作業者からはジェスチャＪ１が見えなくなってしまうことがなくなる。例えば、次の作業位置へ向かうためのジェスチャ情報を指示者が入力した場合に、作業者はそのジェスチャを見て、次の作業位置を知ることができる。

【0089】

以上により、比較例２は、作業者の移動に伴って指示者によるジェスチャが見えなくなってしまうことがなくなるため、リアルタイムに作業指示を行う必要がある場合などには好適である。しかし、比較例２では、作業者から見えるジェスチャの位置および角度が変更されないため、ＡＲ技術を用いてジェスチャを表示する利点が損なわれてしまうと言える。

【0090】

以上、比較例２に係るジェスチャ情報の変換先の座標系について説明した。

【0091】

（本実施形態に係る座標系）
図６は、本発明の第１の実施形態に係るジェスチャ情報の変換先の座標系について説明するための図である。図６を参照すると、図４に示された例と同様に、初期状態における作業者環境Ｅ３１が示されている。初期状態における作業者環境Ｅ３１には、作業対象Ｒ１が存在している。初期状態においては、遠隔作業支援システム１の状態が動画状態である場合を想定する。一例として、動画状態においては、指示者が作業者に作業位置をジェスチャによって指示する。

【0092】

遠隔作業支援システム１の状態が動画状態である場合においては、演算処理部２４は、カメラ１２によって得られた動画が指示者側の画面１２６ａに表示されるように制御する。指示者側の画面１２６ａに表示されている動画には作業対象Ｒ１が写っている。指示者は、初期状態における作業者環境Ｅ３１の動画を見ながら、ジェスチャ情報を入力する。指示者側の画面１２６ａには、ジェスチャ情報に基づいてジェスチャＪ１が表示されている。

【0093】

演算処理部１４は、ジェスチャ情報を演算処理部２４から取得する。遠隔作業支援システム１の状態が動画状態である場合において、演算処理部１４は、カメラ１２の位置および方向を基準位置および基準方向（第２の基準位置および第２の基準方向）としたカメラ座標系Ｃ２（第２の座標系）にジェスチャＪ１が配置されるようにＡＲディスプレイ１１を制御する手法（第２の手法）を採用する。作業者は、カメラ座標系Ｃ２に配置されたジェスチャＪ１を見ながら、作業位置に向かうことができる。

【0094】

一例として、指示者が作業位置を指示するのを終了し、作業対象Ｒ１への作業内容をジェスチャによって指示し始める場合を想定する。このとき、指示者は、状態切り替え入力装置２３を介して、動画状態から静止画状態への切り替え（すなわち、第２の手法から第１の手法への切り替え）を示す切り替え信号を入力する。かかる切り替え信号は、演算処理部２４から演算処理部１４に通知される。

【0095】

演算処理部１４は、動画状態から静止画状態への切り替えを示す切り替え信号を取得すると、かかる切り替え信号を取得したことに基づいて、動画状態から静止画状態への切り替えを示す切り替え信号を取得したタイミングにおけるカメラ１２の位置および方向を、ジェスチャの配置に用いられる基準位置Ｃ３および基準方向（第１の基準位置および第１の基準方向）として記録する。なお、切り替え信号を取得したタイミングは、所定のタイミングの一例である。

【0096】

作業者環境Ｅ３２に示されるように、作業者が作業対象Ｒ１の背面に移動したとする。位置姿勢計測部１３は、演算処理部１４によって記録された基準位置および基準方向を基準とした作業者の移動量および移動方向を計測する。

【0097】

演算処理部１４は、記録した基準位置および基準方向を基準とする座標系（第１の座標系）に、位置姿勢計測部１３によって計測された作業者の移動量および移動方向に基づいて、ジェスチャＪ１が配置されるようにＡＲディスプレイ１１を制御する手法（第１の手法）を採用する。換言すると、演算処理部１４は、ＡＲ空間における基準位置および基準方向にジェスチャＪ１を配置する。

【0098】

このとき、画面１２７ａに示されるように、ＡＲディスプレイ１１には、ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は固定されながら、記録された基準位置および基準方向から、作業者の移動量および移動方向だけ移動および回転した位置および方向から見えるジェスチャＪ１の位置および方向に、ジェスチャＪ１が表示される。なお、画面１２７ａに存在する作業対象Ｒ１の「裏」は、スルー画像であってもよいし、実物であってもよい。

【0099】

一方、指示者側システムにおいて、演算処理部２４は、動画状態から静止画状態への切り替えを示す切り替え信号が入力されたタイミングにおける動画のスナップショットを静止画として生成する。そして、画面１２７ｂに示されるように、演算処理部２４は、生成した静止画がディスプレイ２１に表示されるように制御する。指示者側の画面１２７ａには、ジェスチャ情報に基づいてジェスチャＪ１が表示されている。

【0100】

このとき、作業者が移動しているにも関わらず、画面１２７ａに表示されるジェスチャＪ１の位置および方向は固定される。そのため、指示者は、表示されるジェスチャＪ１と同じ位置および方向によってジェスチャを入力すれば済むため、指示者はジェスチャ入力をしやすい。

【0101】

さらに、作業者の移動に伴って作業者から見えるジェスチャＪ１の位置および方向は変化し得る。そのため、作業者は、ジェスチャＪ１の見える位置または角度を変更することができるようになる（例えば、ジェスチャＪ１を上方から俯瞰的に見ることができるようになる）。

【0102】

一方、作業者環境Ｅ３３に示されるように、作業者が作業対象Ｒ１の奥側に移動したとする。このとき、ワールド座標系Ｃ１におけるジェスチャＪ１の位置および方向は変化するが、カメラ座標系Ｃ２におけるジェスチャＪ１の位置および方向は固定されている。このとき、指示者側の画面１２８ａに表示されるジェスチャＪ１の位置および方向は固定される。

【0103】

したがって、比較例２と同様に、ジェスチャＪ１が作業者の前方に位置し続け、作業者からはジェスチャＪ１が見えなくなってしまうことがなくなる。例えば、次の作業位置へ向かうためのジェスチャ情報を指示者が入力した場合に、作業者はそのジェスチャを見て、次の作業位置を知ることができる。

【0104】

図６には示されていないが、指示者が、作業対象Ｒ１への作業内容をジェスチャによって指示するのを終了し、次の作業位置を指示し始める場合を想定する。このとき、指示者は、状態切り替え入力装置２３を介して、静止画状態から動画状態への切り替え（すなわち、第１の手法から第２の手法への切り替え）を示す切り替え信号を入力する。かかる切り替え信号は、演算処理部２４から演算処理部１４に通知される。

【0105】

演算処理部１４は、静止画状態から動画状態への切り替えを示す切り替え信号を取得すると、かかる切り替え信号を取得したことに基づいて、カメラ１２の位置および方向を基準位置および基準方向としたカメラ座標系Ｃ２にジェスチャＪ１が配置されるようにＡＲディスプレイ１１を制御する。作業者は、カメラ座標系Ｃ２に配置されたジェスチャＪ１を見ながら、作業位置に向かうことができる。

【0106】

図７は、遠隔作業支援システム１の状態として動画状態が継続する場合の画面例を示す図である。図７を参照すると、カメラ１２を装着した作業者が移動しており、作業者の移動に伴って、作業者の環境が、作業者環境Ｅ４１、作業者環境Ｅ４２および作業者環境Ｅ４３の順に変化している。

【0107】

さらに、作業者環境Ｅ４１に対応する作業者側の画面１２９ａ、指示者側の画面１２９ｂが示されており、作業者環境Ｅ４２に対応する作業者側の画面１３０ａ、指示者側の画面１３０ｂが示されており、作業者環境Ｅ４３に対応する作業者側の画面１３１ａ、指示者側の画面１３１ｂが示されている。動画状態が継続する間、作業者側の画面に表示されるジェスチャＪ１の位置および方向と、指示者側の画面に表示されるジェスチャＪ１の位置および方向とは同じになっている。

【0108】

図８は、遠隔作業支援システム１の状態として動画状態から静止画状態への切り替えが行われる場合の画面例を示す図である。図８を参照すると、カメラ１２を装着した作業者が移動しており、作業者の移動に伴って、作業者の環境が、作業者環境Ｅ５１、作業者環境Ｅ５２および作業者環境Ｅ５３の順に変化している。作業者環境Ｅ５１から作業者環境Ｅ５２までは、動画状態が継続され、作業者環境Ｅ５２において動画状態から静止画状態への切り替えが行われ、作業者環境Ｅ５２から作業者環境Ｅ５３までは、静止画状態が継続されている。

【0109】

さらに、作業者環境Ｅ５１に対応する作業者側の画面１３２ａ、指示者側の画面１３２ｂが示されており、作業者環境Ｅ５２に対応する作業者側の画面１３３ａ、指示者側の画面１３３ｂが示されており、作業者環境Ｅ５３に対応する作業者側の画面１３４ａ、指示者側の画面１３４ｂが示されている。

【0110】

動画状態が継続する間には、作業者側の画面に表示されるジェスチャＪ１の位置および方向と、指示者側の画面に表示されるジェスチャＪ１の位置および方向とは同じになっている。一方、静止画状態が継続する間には、指示者側の画面に表示されるジェスチャＪ１の位置および方向と比較して、作業者側の画面に表示されるジェスチャＪ１の位置および方向は、作業者の移動量および移動方向に従って変化している。

【0111】

以上、ジェスチャが配置される基準位置および基準方向について詳細に説明した。

【0112】

（１－４．効果）
以上により、本発明の第１の実施形態によれば、作業者から見えるジェスチャの位置および角度が変更され得るため、ＡＲ技術を用いてジェスチャを表示する利点が損なわれずに済む。さらに、本発明の第１の実施形態によれば、作業者の移動に伴って指示者によるジェスチャが見えなくなってしまうことがなくなる。そのため、本発明の第１の実施形態に係る技術は、リアルタイムに作業指示を行う必要がある場合などに好適である。

【0113】

以上、本発明の第１の実施形態に係る遠隔作業支援システム１が奏する効果について説明した。

【0114】

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。ただし、本発明の第２の実施形態に係る遠隔作業支援システムが有する構成のうち、本発明の第１の実施形態に係る遠隔作業支援システムが有する構成と異なる構成について主に説明し、本発明の第１の実施形態に係る遠隔作業支援システムが有する構成と同じ構成についての詳細な説明は省略する。

【0115】

（２－１．遠隔作業支援システムの構成）
まず、本発明の第２の実施形態に係る遠隔作業支援システムの構成例について説明する。図９は、本発明の第２の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。図９に示されるように、遠隔作業支援システム２は、作業者側システムと、指示者側システムとを有する。作業者側システムと指示者側システムとは、ネットワーク３０に接続されており、ネットワーク３０を介して通信可能に構成されている。

【0116】

図９に示されるように、作業者側システムは、ＡＲディスプレイ１１と、カメラ１２と、位置姿勢計測部１３と、演算処理部１４と、スピーカ１５と、音声処理部１６とを備える。一方、図９に示されるように、指示者側システムは、ディスプレイ２１と、ジェスチャ入力装置２２と、状態切り替え入力装置２３と、演算処理部２４と、マイクロフォン２５とを備える。以下では、スピーカ１５、音声処理部１６およびマイクロフォン２５について主に説明する。

【0117】

（音声処理部１６）
音声処理部１６は、位置データおよび音声データを取得し、あたかもその位置から音声が出力されているように音声を作業者に聞こえさせる処理を行う。かかる処理として、典型的にはＨＲＴＦ（非特許文献：頭部伝達関数の基礎と３次元音響システムへの応用 日本音響学会編 飯田一博著 コロナ社）が用いられてよい。より詳細に、音声処理部１６は、指示音声を演算処理部１４から取得し、取得した指示音声のスピーカ１５による仮想的な出力位置からの出力を制御する。なお、指示音声は、音声処理部１６による処理が行われずに、そのままスピーカ１５から出力されることもあり得る。

【0118】

（スピーカ１５）
スピーカ１５は、指示者から入力された指示音声を、音声処理部１６を通さずに出力する。あるいは、スピーカ１５は、指示者から入力された指示音声を、音声処理部１６を通して出力する。なお、スピーカ１５から出力される指示音声の仮想的な出力位置が制御可能となるように、スピーカ１５は、ステレオ方式のスピーカまたはアレイ方式のスピーカによって構成される。

【0119】

（マイクロフォン２５）
マイクロフォン２５は、指示者から入力される指示音声を受け付ける。マイクロフォン２５は、受け付けた指示音声を演算処理部２４に出力する。

【0120】

以上、本発明の第２の実施形態に係る遠隔作業支援システム２の構成例について説明した。

【0121】

（２－２．遠隔作業支援システムの動作）
続いて、図９～図１１を参照しながら、本発明の第２の実施形態に係る遠隔作業支援システム２の動作例について説明する。なお、本発明の第１の実施形態と同様に、通信の遅延などは無視できるほど小さいものとする。

【0122】

図１０は、遠隔作業支援システム２の静止画状態から動画状態への切り替え動作例を示すフローチャートである。図１１は、遠隔作業支援システム２の動画状態から静止画状態への切り替え動作例を示すフローチャートである。まず、図１０を主に参照しながら、静止画状態から動画状態への切り替え動作例を説明し、続いて、図１１を主に参照しながら、動画状態から静止画状態への切り替え動作例を説明する。

【0123】

指示者側システムにおいては、マイクロフォン２５によって指示音声が受け付けられ、演算処理部２４に出力される。そして、演算処理部２４から作業者側システムにおける演算処理部１４に、指示音声がネットワーク３０を介して常時送信される。演算処理部１４は、指示音声を常時取得する。

【0124】

図１０に示されるように、Ｓ１１～Ｓ１４が実行される。Ｓ１１～Ｓ１４は、本発明の第１の実施形態におけるＳ１１～Ｓ１４（図２）と同様に実行される。

【0125】

作業者側システムにおいて、演算処理部１４は、静止画状態から動画状態への切り替え信号を受け取ると、本発明の第１の実施形態におけるＳ１５（図２）と同様に、ＡＲディスプレイ１１によってジェスチャが配置される基準位置および基準方向を位置姿勢計測部１３によって計測されるカメラ１２の位置および方向に追従させる。

【0126】

さらに、本発明の第２の実施形態において、演算処理部１４は、音声処理部１６を無効化し（すなわち、音声処理部１６の動作を停止し）、取得した指示音声をそのままスピーカ１５から出力させる（Ｓ３１）。

【0127】

（動画状態から静止画状態への切り替え動作）
図１１に示されるように、Ｓ２１～Ｓ２５が実行される。Ｓ２１～Ｓ２５は、本発明の第１の実施形態におけるＳ２１～Ｓ２５（図３）と同様に実行される。

【0128】

作業者側システムにおいて、演算処理部１４は、動画状態から静止画状態への切り替え信号を受け取ると、本発明の第１の実施形態におけるＳ２６、Ｓ２７（図３）と同様に、動画状態から静止画状態への切り替えられたタイミングにおけるカメラ１２の位置および方向を記録するとともに、ＡＲディスプレイ１１によってジェスチャの配置に用いられる基準位置および基準方向を、記録した動画状態から静止画状態への切り替えられたタイミングにおけるカメラ１２の位置および方向に固定する。

【0129】

さらに、本発明の第２の実施形態において、演算処理部１４は、音声処理部１６を有効化する（すなわち、音声処理部１６の動作を開始する）（Ｓ４１）。これによって、音声処理部１６は、指示音声に対する処理（例えば、ＨＲＴＦなどを用いた処理など）によって、ジェスチャが配置される基準位置から指示音声が出力されているかのようにスピーカ１５から指示音声を出力させる。

【0130】

以上、静止画状態から動画状態への切り替え動作例、および、動画状態から静止画状態への切り替え動作例について説明した。続いて、指示音声が出力される基準位置および基準方向についてさらに詳細に説明する。

【0131】

（指示音声が出力される基準位置および基準方向）
図１２は、本発明の第２の実施形態に係る指示音声が出力される基準位置および基準方向について説明するための図である。図１２に示された例においても、本発明の第１の実施形態と同様に、初期状態においては、遠隔作業支援システム１の状態が動画状態である場合を想定する。なお、マイクロフォン２５によって受け付けられた指示音声が、演算処理部２４からネットワーク３０を介して演算処理部１４に常時送信される。

【0132】

遠隔作業支援システム１の状態が動画状態である場合において、作業者側システムおよび指示者側システムは、本発明の第１の実施形態と同様の動作を行う。

【0133】

さらに、遠隔作業支援システム１の状態が動画状態である場合においては、作業者の視点と指示者の視点とが同じである。そこで、本発明の第２の実施形態においては、遠隔作業支援システム１の状態が動画状態である場合において、作業者環境Ｅ３１に示されるように、演算処理部１４は、指示者側システムにおける演算処理部２４から受信した指示音声を音声処理部１６に処理させずに、そのままスピーカ１５から出力させる。

【0134】

続いて、指示者は、状態切り替え入力装置２３を介して、動画状態から静止画状態への切り替えを示す切り替え信号を入力する。かかる切り替え信号は、演算処理部２４から演算処理部１４に通知される。

【0135】

演算処理部１４は、動画状態から静止画状態への切り替えを示す切り替え信号を取得すると、本発明の第１の実施形態と同様の動作を行う。そして、作業者環境Ｅ３２に示されるように、作業者が作業対象Ｒ１の背面に移動したとする。演算処理部１４は、記録した基準位置および基準方向を基準とする座標系に、位置姿勢計測部１３によって計測された作業者の移動量および移動方向に基づいて、指示音声の仮想的な出力位置および仮想的な出力方向を決定する。換言すると、演算処理部１４は、ＡＲ空間における基準位置および基準方向を指示音声の仮想的な出力位置および出力方向として決定する。

【0136】

音声処理部１６は、演算処理部１４によって決定された仮想的な出力位置から仮想的な出力方向に出力されているかのように（仮想的なスピーカＫ１から出力されているかのように）スピーカ１５による指示音声の出力を制御する。この仮想的な出力位置は、指示者の視点に該当し得る。したがって、作業者は、指示音声によって指示者の視点を認識することができ、臨場感を体感しながら指示を理解することが可能となる。

【0137】

このとき、作業者環境Ｅ３２に示されるように、基準位置および基準方向はワールド座標系Ｃ１に固定されながら、基準位置および基準方向から、作業者の移動量および移動方向だけ移動および回転した位置および方向から見える基準位置および基準方向から、指示音声が出力されているかのように指示音声が出力される。

【0138】

続いて、指示者は、状態切り替え入力装置２３を介して、静止画状態から動画状態への切り替えを示す切り替え信号を入力する。かかる切り替え信号は、演算処理部２４から演算処理部１４に通知される。演算処理部１４は、静止画状態から動画状態への切り替えを示す切り替え信号を取得すると、かかる切り替え信号を取得したことに基づいて、本発明の第１の実施形態と同様の動作を行う。

【0139】

さらに、遠隔作業支援システム１の状態が動画状態である場合においては、作業者の視点と指示者の視点とが同じである。そこで、本発明の第２の実施形態においては、遠隔作業支援システム１の状態が動画状態である場合において、作業者環境Ｅ３１に示されるように、演算処理部１４は、指示者側システムにおける演算処理部２４から受信した指示音声を音声処理部１６に処理させずに、そのままスピーカ１５から出力させる。

【0140】

以上、指示音声が出力される基準位置および基準方向について詳細に説明した。

【0141】

（２－３．効果）
以上により、本発明の第２の実施形態によれば、本発明の第１の実施形態と同様の効果を奏する。さらに、本発明の第２の実施形態によれば、遠隔作業支援システム２の状態が静止画状態である場合において、指示音声の仮想的な出力位置が指示者の視点となるように制御されるため、作業者は、指示音声によって指示者の視点を把握することが可能である。

【0142】

以上、本発明の第２の実施形態に係る遠隔作業支援システム２が奏する効果について説明した。

【0143】

（３．第３の実施形態）
続いて、本発明の第３の実施形態について説明する。ただし、本発明の第３の実施形態に係る遠隔作業支援システムが有する構成のうち、本発明の第１の実施形態に係る遠隔作業支援システムが有する構成と異なる構成について主に説明し、本発明の第１の実施形態に係る遠隔作業支援システムが有する構成と同じ構成についての詳細な説明は省略する。

【0144】

（３－１．遠隔作業支援システムの構成）
まず、本発明の第３の実施形態に係る遠隔作業支援システムの構成例について説明する。図１３は、本発明の第３の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。図１３に示されるように、遠隔作業支援システム３は、作業者側システムと、指示者側システムとを有する。作業者側システムと指示者側システムとは、ネットワーク３０に接続されており、ネットワーク３０を介して通信可能に構成されている。

【0145】

なお、本発明の第３の実施形態においても、音声通話などに必要な構成は、本発明の第３の実施形態に係る遠隔作業支援システム３の構成の説明に関与しないため、音声通話などに必要な構成の説明は省略する。

【0146】

図１３に示されるように、作業者側システムは、ＡＲディスプレイ１１と、カメラ１２と、位置姿勢計測部１３と、演算処理部１４と、重畳画像生成部１７とを備える。一方、図１３に示されるように、指示者側システムは、ディスプレイ２１と、ジェスチャ入力装置２２と、状態切り替え入力装置２３と、演算処理部２４とを備える。以下では、重畳画像生成部１７について主に説明する。

【0147】

（重畳画像生成部１７）
重畳画像生成部１７は、作業者の視野に重畳表示される所定の画像（以下、「重畳画像」とも言う。）を生成する。ここでは、重畳画像の例として、二つの眼球画像である場合を主に想定する。しかし、重畳画像は、二つの眼球画像に限定されない。例えば、重畳画像は、方向を示すことが可能な画像であるのが望ましいため、二つの眼球画像の代わりに、矢印または直線などが重畳画像として用いられてもよい。

【0148】

以上、本発明の第３の実施形態に係る遠隔作業支援システム３の構成例について説明した。

【0149】

（３－２．遠隔作業支援システムの動作）
続いて、図１３～図１５を参照しながら、本発明の第３の実施形態に係る遠隔作業支援システム３の動作例について説明する。

【0150】

なお、音声通話などの動作は、本発明の第３の実施形態に係る遠隔作業支援システム１の動作の説明に関与しないため、音声通話などの動作の説明は省略する。さらに、通信の遅延などは無視できるほど小さいものとする。

【0151】

図１４は、遠隔作業支援システム３の静止画状態から動画状態への切り替え動作例を示すフローチャートである。図１５は、遠隔作業支援システム３の動画状態から静止画状態への切り替え動作例を示すフローチャートである。まず、図１４を主に参照しながら、静止画状態から動画状態への切り替え動作例を説明し、続いて、図１５を主に参照しながら、動画状態から静止画状態への切り替え動作例を説明する。

【0152】

図１０に示されるように、Ｓ１１～Ｓ１４が実行される。Ｓ１１～Ｓ１４は、本発明の第１の実施形態におけるＳ１１～Ｓ１４（図２）と同様に実行される。

【0153】

作業者側システムにおいて、演算処理部１４は、静止画状態から動画状態への切り替え信号を受け取ると、本発明の第１の実施形態におけるＳ１５（図２）と同様に、ＡＲディスプレイ１１によってジェスチャが配置される基準位置および基準方向を位置姿勢計測部１３によって計測されるカメラ１２の位置および方向に追従させる。

【0154】

さらに、本発明の第２の実施形態において、演算処理部１４は、重畳画像生成部１７を無効化し（すなわち、重畳画像生成部１７の動作を停止し）、重畳画像の生成を停止するとともに、作業者の視野に重畳画像を重畳させる処理を停止する（Ｓ５１）。

【0155】

（動画状態から静止画状態への切り替え動作）
図１５に示されるように、Ｓ２１～Ｓ２５が実行される。Ｓ２１～Ｓ２５は、本発明の第３の実施形態におけるＳ２１～Ｓ２５（図１５）と同様に実行される。

【0156】

作業者側システムにおいて、演算処理部１４は、動画状態から静止画状態への切り替え信号を受け取ると、本発明の第１の実施形態におけるＳ２６、Ｓ２７（図３）と同様に、動画状態から静止画状態への切り替えられたタイミングにおけるカメラ１２の位置および方向を記録するとともに、ＡＲディスプレイ１１によってジェスチャの配置に用いられる基準位置および基準方向を、記録した動画状態から静止画状態への切り替えられたタイミングにおけるカメラ１２の位置および方向に固定する。

【0157】

さらに、本発明の第３の実施形態において、演算処理部１４は、重畳画像生成部１７を有効化する（すなわち、重畳画像生成部１７の動作を開始する）（Ｓ６１）。これによって、重畳画像生成部１７は、重畳画像を生成し、生成した重畳画像が作業者の視野に重畳されるようにＡＲディスプレイ１１を制御することができる。

【0158】

以上、静止画状態から動画状態への切り替え動作例、および、動画状態から静止画状態への切り替え動作例について説明した。続いて、重畳画像が配置される基準位置および基準方向についてさらに詳細に説明する。

【0159】

（重畳画像が配置される基準位置および基準方向）
図１６は、本発明の第３の実施形態に係る重畳画像が配置される基準位置および基準方向について説明するための図である。図１６に示された例においても、本発明の第１の実施形態と同様に、初期状態においては、遠隔作業支援システム１の状態が動画状態である場合を想定する。

【0160】

遠隔作業支援システム１の状態が動画状態である場合において、作業者側システムおよび指示者側システムは、本発明の第１の実施形態と同様の動作を行う。

【0161】

さらに、遠隔作業支援システム１の状態が動画状態である場合においては、作業者の視点と指示者の視点とが同じである。そこで、本発明の第３の実施形態においては、遠隔作業支援システム１の状態が動画状態である場合において、作業者環境Ｅ３１に示されるように、演算処理部１４は、重畳画像の生成および重畳画像の作業者の視野への重畳処理を重畳画像生成部１７に実行させない。

【0162】

続いて、指示者は、状態切り替え入力装置２３を介して、動画状態から静止画状態への切り替えを示す切り替え信号を入力する。かかる切り替え信号は、演算処理部２４から演算処理部１４に通知される。

【0163】

演算処理部１４は、動画状態から静止画状態への切り替えを示す切り替え信号を取得すると、本発明の第１の実施形態と同様の動作を行う。そして、作業者環境Ｅ３２に示されるように、作業者が作業対象Ｒ１の背面に移動したとする。演算処理部１４は、記録した基準位置および基準方向を基準とする座標系に、位置姿勢計測部１３によって計測された作業者の移動量および移動方向に基づいて、重畳画像Ｍ１が配置される位置および方向を決定する。換言すると、演算処理部１４は、ＡＲ空間における基準位置および基準方向を重畳画像が配置される位置および方向として決定する。

【0164】

重畳画像生成部１７は、作業者の視野における演算処理部１４によって決定された位置および方向に、重畳画像Ｍ１が配置されるようにＡＲディスプレイ１１を制御する。この重畳画像Ｍ１が配置される位置は、指示者の視点に該当し得る。したがって、作業者は、重畳画像Ｍ１によって指示者の視点を認識することができる。作業者環境Ｅ３２には、重畳画像Ｍ１が二つの眼球画像として示されている。例えば、眼球画像は、白い円の内部に瞳の位置が黒い点として模擬的に表現された映像として表現されてよい。

【0165】

このとき、作業者環境Ｅ３２に示されるように、基準位置および基準方向はワールド座標系Ｃ１に固定されながら、基準位置および基準方向から、作業者の移動量および移動方向だけ移動および回転した位置および方向から見える基準位置および基準方向に、重畳画像Ｍ１が表示される。

【0166】

さらに、演算処理部１４は、重畳画像Ｍ１が配置される位置とジェスチャＪ１の位置とに応じた向きを示すように、重畳画像Ｍ１が示す向きを決定する。これによって、作業者は、重畳画像Ｍ１が示す向きを確認することによって、指示者がどのような方向に見たジェスチャを参照しているかを把握することができる。

【0167】

例えば、作業者側の画面１２７ａに示されたように、演算処理部１４は、重畳画像Ｍ１として二つの眼球画像が用いられる場合には、眼球画像の白い円の内部における黒い点の位置を、重畳画像Ｍ１が配置される位置からジェスチャＪ１の位置への向きに偏った位置に決定することによって、重畳画像Ｍ１が示す向きを決定してもよい。

【0168】

続いて、指示者は、状態切り替え入力装置２３を介して、静止画状態から動画状態への切り替えを示す切り替え信号を入力する。かかる切り替え信号は、演算処理部２４から演算処理部１４に通知される。演算処理部１４は、静止画状態から動画状態への切り替えを示す切り替え信号を取得すると、かかる切り替え信号を取得したことに基づいて、本発明の第１の実施形態と同様の動作を行う。

【0169】

さらに、遠隔作業支援システム１の状態が動画状態である場合においては、作業者の視点と指示者の視点とが同じである。そこで、本発明の第３の実施形態においては、遠隔作業支援システム３の状態が動画状態である場合において、作業者環境Ｅ３１に示されるように、演算処理部１４は、重畳画像の生成および重畳画像の作業者の視野への重畳処理を重畳画像生成部１７に実行させない。

【0170】

以上、重畳画像が配置される基準位置および基準方向について詳細に説明した。

【0171】

（３－３．効果）
以上により、本発明の第３の実施形態によれば、本発明の第１の実施形態と同様の効果を奏する。さらに、本発明の第３の実施形態によれば、遠隔作業支援システム３の状態が静止画状態である場合において、重畳画像が配置される位置が指示者の視点となるように制御されるため、作業者は、重畳画像によって指示者の視点を把握することが可能である。

【0172】

以上、本発明の第３の実施形態に係る遠隔作業支援システム２が奏する効果について説明した。

【0173】

（４．ハードウェア構成例）
続いて、本発明の実施形態に係る作業者側システムのハードウェア構成例について説明する。

【0174】

以下では、本発明の実施形態に係る作業者側システムのハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、作業者側システムのハードウェア構成の一例に過ぎない。したがって、作業者側システムのハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。なお、指示者側システムのハードウェア構成も、作業者側システムのハードウェア構成と同様に実現され得る。

【0175】

図１７は、本発明の実施形態に係る作業者側システムの例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

【0176】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

【0177】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0178】

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0179】

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0180】

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0181】

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

【0182】

以上、本発明の実施形態に係る作業者側システムのハードウェア構成例について説明した。

【0183】

（５．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0184】

例えば、上記では、本発明の第１の実施形態から本発明の第３の実施形態までのそれぞれを別々に説明した。しかし、本発明の第１の実施形態から本発明の第３の実施形態までのいずれか二つ以上は、適宜に組み合わされてもよい。例えば、本発明の第２の実施形態と本発明の第３の実施形態とが組み合わされてもよい。

【0185】

例えば、本発明の第１の実施形態から本発明の第３の実施形態までにおいては、指示者および作業者それぞれが一人ずつである場合について説明した。しかし、指示者は複数存在してもよい。かかる場合には、複数の指示者それぞれによるジェスチャが扱われてもよい。あるいは、作業者は複数存在してもよい。かかる場合には、ジェスチャが配置されるカメラ座標系に対応するカメラが指定されることによって、指定されたカメラの作業者に対してジェスチャが提示されてもよい。

【0186】

また、本発明の第１の実施形態から本発明の第３の実施形態までにおいては、切り替え信号に基づいて、ジェスチャが配置される基準位置および基準方向が切り替えられる場合について主に説明した。しかし、切り替え信号に基づいて、ジェスチャ以外の対象（例えば、指示書きなど）が配置される基準位置および基準方向も、ジェスチャが配置される基準位置および基準方向と同様にして切り替えられてもよい。

【0187】

また、本発明の第１の実施形態から本発明の第３の実施形態までにおいては、切り替え信号が動画像から静止画への切り替えを示す場合に、指示者側システムにおける演算処理部２４が、動画からスナップショットを作成し、作成したスナップショットが静止画としてディスプレイ２１によって表示されるように制御する場合について主に説明した。しかし、演算処理部２４は、静止画とともに動画をディスプレイ２１に表示させてもよい。このとき、静止画と動画とは、並置されてもよい。

【0188】

あるいは、静止画状態においては、静止画と動画とは並置されなくてもよい。このとき、動画からスナップショットを作成する処理は、指示者側システムにおける演算処理部２４の代わりに、作業者側システムにおける演算処理部１４によって行われてもよい。かかる場合には、作業者側システムにおいては、カメラ１２による動画撮影が停止され、作業者側システムから指示者側システムには、動画の送信が停止されてもよい。これによって、カメラ１２による消費電力が低減され得る他、通信帯域が低減され得る。

【0189】

また、上記では、状態切り替え入力装置２３が、ボタンまたはスイッチなどを含んで構成される場合について説明した。かかる入力装置は、物理的な入力装置（例えば、ハードウェアボタンなど）であってもよいし、ソフトウェア的な入力装置（例えば、ソフトウェアボタンなど）であってもよいし、何らかの外部装置によって実現されてもよい。

【0190】

あるいは、指示者側における演算処理部２４は、指示者から入力された指示内容に基づいて指示の種類を認識してもよい。そして、演算処理部２４は、指示の種類の変化に基づいて、切り替え信号を作業者側における演算処理部１４に出力してもよい。

【0191】

例えば、演算処理部２４は、指示音声に基づいて認識される指示の種類が「作業対象への作業指示」から「作業位置の指示」に変化した場合に、静止画状態から動画状態への切り替え信号を演算処理部１４に出力してもよい。逆に、演算処理部２４は、指示音声に基づいて認識される指示の種類が「作業位置の指示」から「作業対象への作業指示」に変化した場合に、動画状態から静止画状態への切り替え信号を演算処理部１４に出力してもよい。

【0192】

本発明の第３の実施形態においては、重畳画像が示す向きが、重畳画像が配置される位置とジェスチャの位置とに応じた向きを示すように決定される場合について説明した。しかし、重畳画像が示す向きは、視線センサによって検出された指示者の視線に基づいて決定されてもよい。このとき、重畳画像は、指示者の視線方向と同じ方向の矢印または直線などであってもよい。

【0193】

本発明の第２の実施形態においては、仮想的な指示音声が配置される基準位置が、動画状態から静止画状態への切り替えを示す切り替え信号が取得されたタイミングにおけるカメラ１２の位置である場合を主に説明した。しかし、仮想的な指示音声が配置される基準位置は、切り替え信号が取得されたタイミングにおけるカメラ１２の位置からずれた位置（オフセットされた位置）とされてもよい。

【0194】

本発明の第３の実施形態においては、重畳画像が配置される基準位置が、動画状態から静止画状態への切り替えを示す切り替え信号が取得されたタイミングにおけるカメラ１２の位置である場合を主に説明した。しかし、重畳画像が配置される基準位置は、切り替え信号が取得されたタイミングにおけるカメラ１２の位置からずれた位置（オフセットされた位置）とされてもよい。

【符号の説明】

【0195】

１～３ 遠隔作業支援システム
１１ ＡＲディスプレイ
１２ カメラ
１３ 位置姿勢計測部
１４ 演算処理部
１５ スピーカ
１６ 音声処理部
１７ 重畳画像生成部
２１ ディスプレイ
２２ ジェスチャ入力装置
２３ 状態切り替え入力装置
２４ 演算処理部
２５ マイクロフォン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】