知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023156869
(43)【公開日】2023-10-25
(54)【発明の名称】作業支援システム及び方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20231018BHJP
H04N 23/60 20230101ALI20231018BHJP
H04N 23/63 20230101ALI20231018BHJP
H04N 7/18 20060101ALI20231018BHJP
【ＦＩ】
G06F3/01 570
H04N5/232 290
H04N5/232 930
H04N7/18 U
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022066498
(22)【出願日】2022-04-13
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】沼田 崇志
(72)【発明者】
【氏名】田島 和幸
(72)【発明者】
【氏名】三谷 佳一
(72)【発明者】
【氏名】中村 俊輝
【テーマコード（参考）】
5C054
5C122
5E555
【Ｆターム（参考）】
5C054CE11
5C054DA09
5C054FC13
5C054FE12
5C054HA00
5C122EA42
5C122EA55
5C122FH11
5C122FH14
5C122FH18
5C122FH22
5C122FK12
5C122FK23
5C122FK34
5C122FK37
5C122FK41
5C122HB09
5E555AA04
5E555AA41
5E555BA02
5E555BA87
5E555BB02
5E555BC18
(57)【要約】
【課題】ユーザ所望の視点移動とハンドモーションによる作業支援との両方を可能にする。
【解決手段】演算装置は、３次元座標空間における３次元の作業対象オブジェクトを表示デバイスに表示し、いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信する。演算装置は、モーション信号を受信した場合、モーション信号を基に、計測されたモーションを識別する。識別されたモーションが、３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、演算装置は、ユーザの３次元座標空間における視点を、識別されたモーションに従って移動する。識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、演算装置は、識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する。
【選択図】図１
【解決手段】演算装置は、３次元座標空間における３次元の作業対象オブジェクトを表示デバイスに表示し、いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信する。演算装置は、モーション信号を受信した場合、モーション信号を基に、計測されたモーションを識別する。識別されたモーションが、３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、演算装置は、ユーザの３次元座標空間における視点を、識別されたモーションに従って移動する。識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、演算装置は、識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
表示デバイスと、
ユーザのモーションを計測する一つ又は複数のセンサユニットと、
３次元座標空間における３次元の作業対象オブジェクトを前記表示デバイスに表示し、いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信する演算装置と
を備え、
前記演算装置は、前記モーション信号を受信した場合、
（Ａ）前記モーション信号を基に、前記計測されたモーションを識別し、
（Ｂ）前記識別されたモーションが、前記３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、前記ユーザの前記３次元座標空間における視点を、前記識別されたモーションに従って移動し、
（Ｃ）前記識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、前記識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する、
作業支援システム。
ユーザのモーションを計測する一つ又は複数のセンサユニットと、
３次元座標空間における３次元の作業対象オブジェクトを前記表示デバイスに表示し、いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信する演算装置と
を備え、
前記演算装置は、前記モーション信号を受信した場合、
（Ａ）前記モーション信号を基に、前記計測されたモーションを識別し、
（Ｂ）前記識別されたモーションが、前記３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、前記ユーザの前記３次元座標空間における視点を、前記識別されたモーションに従って移動し、
（Ｃ）前記識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、前記識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する、
作業支援システム。
【請求項2】
前記演算装置は、（Ａ）において、
（ａ１）前記計測されたモーションの種別を識別し、
（ａ２）前記識別されたモーション種別に対応した動作種別を識別し、
（ａ３）前記識別された動作種別が空間移動の場合、前記計測されたモーションが空間移動に関するモーションであると識別し、
（ａ４）前記識別された動作種別が作業動作の場合、前記計測されたモーションが作業動作に関するモーションであると識別する、
請求項１に記載の作業支援システム。
（ａ１）前記計測されたモーションの種別を識別し、
（ａ２）前記識別されたモーション種別に対応した動作種別を識別し、
（ａ３）前記識別された動作種別が空間移動の場合、前記計測されたモーションが空間移動に関するモーションであると識別し、
（ａ４）前記識別された動作種別が作業動作の場合、前記計測されたモーションが作業動作に関するモーションであると識別する、
請求項１に記載の作業支援システム。
【請求項3】
空間移動に関するモーションは、ハンドモーションである、
請求項１に記載の作業支援システム。
請求項１に記載の作業支援システム。
【請求項4】
空間移動に関するモーションは、作業動作に関するハンドモーションと異なる種別のハンドモーションである、
請求項１に記載の作業支援システム。
請求項１に記載の作業支援システム。
【請求項5】
空間移動に関するハンドモーションは、遊泳モーションと定義されたモーションである、
請求項４に記載の作業支援システム。
請求項４に記載の作業支援システム。
【請求項6】
前記演算装置は、（Ａ）において、
（ａ１）前記計測されたモーションの種別を識別し、
（ａ２）前記識別されたモーション種別に対応した動作種別を識別し、
（ａ３）前記識別された動作種別が、空間移動と作業動作との切り替えである切り替え動作の場合、現在動作を、空間移動から作業動作に又は作業動作から空間移動に切り替え、
（ａ４）前記識別された動作種別が切り替え動作でなく、現在動作が空間移動の場合、前記計測されたモーションが空間移動に関するモーションであると識別し、
（ａ５）前記識別された動作種別が切り替え動作でなく、現在動作が作業動作の場合、前記計測されたモーションが作業動作に関するモーションであると識別する、
請求項３に記載の作業支援システム。
（ａ１）前記計測されたモーションの種別を識別し、
（ａ２）前記識別されたモーション種別に対応した動作種別を識別し、
（ａ３）前記識別された動作種別が、空間移動と作業動作との切り替えである切り替え動作の場合、現在動作を、空間移動から作業動作に又は作業動作から空間移動に切り替え、
（ａ４）前記識別された動作種別が切り替え動作でなく、現在動作が空間移動の場合、前記計測されたモーションが空間移動に関するモーションであると識別し、
（ａ５）前記識別された動作種別が切り替え動作でなく、現在動作が作業動作の場合、前記計測されたモーションが作業動作に関するモーションであると識別する、
請求項３に記載の作業支援システム。
【請求項7】
前記切り替え動作に対応したモーション種別は、一方の手の少なくとも一部が他方の手の少なくとも一部に接触する重ね合わせである、
請求項６に記載の作業支援システム。
請求項６に記載の作業支援システム。
【請求項8】
前記演算装置は、前記ユーザの手の表示オブジェクトであるハンドオブジェクトを前記３次元座標空間に表示し、
前記演算装置は、空間移動に関するハンドモーションのときのハンドオブジェクトの表示態様と、作業動作に関するハンドモーションのときのハンドオブジェクトの表示態様とを違える、
請求項１に記載の作業支援システム。
前記演算装置は、空間移動に関するハンドモーションのときのハンドオブジェクトの表示態様と、作業動作に関するハンドモーションのときのハンドオブジェクトの表示態様とを違える、
請求項１に記載の作業支援システム。
【請求項9】
前記演算装置は、（Ａ）において、
（ａ１）前記計測されたモーションの種別を識別し、
（ａ２）前記識別されたモーション種別に対応した動作種別を識別し、
（ａ３）前記識別された動作種別が、空間移動と作業動作との切り替えである切り替え動作の場合、現在動作を、空間移動から作業動作に又は作業動作から空間移動に切り替え、
（ａ４）前記識別された動作種別が切り替え動作でなく、現在動作が空間移動の場合、前記計測されたモーションが空間移動に関するモーションであると識別し、
（ａ５）前記識別された動作種別が切り替え動作でなく、現在動作が作業動作の場合、前記計測されたモーションが作業動作に関するモーションであると識別する、
請求項１に記載の作業支援システム。
（ａ１）前記計測されたモーションの種別を識別し、
（ａ２）前記識別されたモーション種別に対応した動作種別を識別し、
（ａ３）前記識別された動作種別が、空間移動と作業動作との切り替えである切り替え動作の場合、現在動作を、空間移動から作業動作に又は作業動作から空間移動に切り替え、
（ａ４）前記識別された動作種別が切り替え動作でなく、現在動作が空間移動の場合、前記計測されたモーションが空間移動に関するモーションであると識別し、
（ａ５）前記識別された動作種別が切り替え動作でなく、現在動作が作業動作の場合、前記計測されたモーションが作業動作に関するモーションであると識別する、
請求項１に記載の作業支援システム。
【請求項10】
前記複数のセンサユニットが、リモートコントローラを含み、
前記切り替え動作に対応したモーション種別は、前記リモートコントローラを用いた所定のモーションである、
請求項９に記載の作業支援システム。
前記切り替え動作に対応したモーション種別は、前記リモートコントローラを用いた所定のモーションである、
請求項９に記載の作業支援システム。
【請求項11】
前記演算装置は、前記出力情報を、前記演算装置に通信ネットワークを介して接続された別の演算装置に出力し、
前記別の演算装置が、別の表示デバイスに、前記出力情報に基づき、前記作業対象オブジェクトと前記作業対象に対する作業動作とを表示する、
請求項１に記載の作業支援システム。
前記別の演算装置が、別の表示デバイスに、前記出力情報に基づき、前記作業対象オブジェクトと前記作業対象に対する作業動作とを表示する、
請求項１に記載の作業支援システム。
【請求項12】
演算装置により行われる作業支援方法であって、
３次元座標空間における３次元の作業対象オブジェクトを表示デバイスに表示し、
いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信し、
前記モーション信号を基に、前記計測されたモーションを識別し、
前記識別されたモーションが、前記３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、ユーザの前記３次元座標空間における視点を、前記識別されたモーションに従って移動し、
前記識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、前記識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する、
作業支援方法。
３次元座標空間における３次元の作業対象オブジェクトを表示デバイスに表示し、
いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信し、
前記モーション信号を基に、前記計測されたモーションを識別し、
前記識別されたモーションが、前記３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、ユーザの前記３次元座標空間における視点を、前記識別されたモーションに従って移動し、
前記識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、前記識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する、
作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、作業支援のための技術に関する。
【背景技術】
【0002】
一般に、熟練者（支援者の一例）が未熟練者（被支援者の一例）の作業を支援する。作業支援に関する技術として、例えば、特許文献１及び２に開示の技術が知られている。
【0003】
特許文献１によれば、作業者（被支援者の一例）の作業現場の映像が周囲撮像装置から遠隔の管理者（支援者の一例）に提供される。管理者が、その映像を基に、作業者に作業指示を出す。
【0004】
特許文献２によれば、作業者（被支援者の一例）の視野の映像に熟練者（支援者の一例）のハンドモーションが重畳される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】JP2021-10101
【特許文献2】WO2015/060393
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献２によれば、ハンドモーションによる作業支援が可能である。しかし、支援者に提供される映像は、作業者の視野の映像であり、故に、支援者の視野は、作業者の視野に制限される。
【0007】
一方、特許文献１によれば、管理者の動作に基づき周囲撮像装置の映像をスクロールすること、つまり、管理者の視点移動ができる。しかし、特許文献１でも、支援者の視野は制限される、具体的には、周囲撮像装置の撮影範囲に制限される。また、作業支援は、ハンドモーションではない。
【課題を解決するための手段】
【0008】
作業支援システムが、表示デバイスと、ユーザ（典型的には支援者）のモーションを計測する一つ又は複数のセンサユニットと、演算装置とを備える。演算装置は、３次元座標空間における３次元の作業対象オブジェクトを表示デバイスに表示し、いずれかのセンサユニットにより計測されたモーションを表す信号であるモーション信号を受信する。演算装置は、モーション信号を受信した場合、モーション信号を基に、計測されたモーションを識別する。識別されたモーションが、３次元座標空間におけるユーザ視点の移動である空間移動に関するモーションの場合、演算装置は、ユーザの３次元座標空間における視点を、識別されたモーションに従って移動する。識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、演算装置は、識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する。
【発明の効果】
【0009】
本発明によれば、ユーザ所望の視点移動とハンドモーションによる作業支援との両方が可能である。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係るシステム全体の構成例を示す。
【図2】第１の実施形態に係る演算装置の機能ブロックを示す。
【図3】第２の実施形態に係る演算装置の機能ブロックを示す。
【図4】空間移動に関するハンドオブジェクトの表示態様の一例を示す。
【図5】作業動作に関するハンドオブジェクトの表示態様の一例を示す。
【図6】動作識別情報の変形例を示す。
【図7】第３の実施形態に係るシステム全体の構成例を示す。
【発明を実施するための形態】
【0011】
以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイスであるＩ／Ｏインターフェース装置。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイスである通信インターフェース装置。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイスであるＩ／Ｏインターフェース装置。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイスである通信インターフェース装置。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【0012】
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
【0013】
また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＮＶＭＥ（Non-Volatile Memory Express）ドライブ、又は、ＳＣＭ（Storage Class Memory）でよい。
【0014】
また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。
【0015】
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよいが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Field-Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。
【0016】
また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配付計算機又は計算機が読み取り可能な記憶媒体（例えば非一時的な記憶媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
【0017】
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通符号を使用し、同種の要素を区別する場合は、参照符号を使用することがある。
【0018】
以下、幾つかの実施形態を説明する。
［第１の実施形態］
［第１の実施形態］
【0019】
図１は、第１の実施形態に係るシステム全体の構成例を示す。
【0020】
作業支援システム１００は、入力デバイス１１１と、表示デバイス１１２と、モーションセンサ１０２と、それらに通信可能に接続された演算装置１０４とを有する。入力デバイス１１１と、表示デバイス１１２と、演算装置１０４とを有する計算機（例えば、ラップトップ型又はタブレット型の計算機）が採用されてもよい。
【0021】
入力デバイス１１１は、キーボードやポインティングデバイスでよい。表示デバイス１１２は、フラットパネルディスプレイ、全天球ディスプレイ又は半天球ディスプレイといったディスプレイを有するデバイスでよい。
【0022】
モーションセンサ１０２は、支援者１０１（ユーザの一例）のモーションを計測するセンサユニットの一例である。モーションセンサ１０２は、計測されたモーションを表すモーション信号を送信（例えば無線送信）する。
【0023】
演算装置１０４は、インターフェース装置１１３、記憶装置１１４及びそれらに接続されたプロセッサ１１５を備える。インターフェース装置１１３が、入力デバイス１１１、表示デバイス１１２及びモーションセンサ１０２と通信する。記憶装置１１４が、図２に例示の情報や、図２に例示の機能を実現するためのコンピュータプログラムを記憶する。プロセッサ１１５が、コンピュータプログラムを実行する。
【0024】
演算装置１０４は、３次元座標空間における３次元の作業対象オブジェクト１５０を表示デバイス１１２に表示する。作業対象オブジェクト１５０は、機械のような作業対象を表すオブジェクトである。
【0025】
演算装置１０４は、モーションセンサ１０２（及び後述のリモートコントローラ）により計測されたモーションを表すモーション信号を受信する。
【0026】
演算装置１０４は、モーション信号を受信した場合、モーション信号を基に、計測されたモーションを識別する。識別されたモーションが、空間移動に関するモーションの場合、支援者１０１の３次元座標空間における視点を、識別されたモーションに従って移動する。識別されたモーションが、作業対象に対する作業動作に関するハンドモーションの場合、識別されたモーションに従う作業動作を表す情報を含んだ出力情報を出力する。
【0027】
以上の演算装置１０４によれば、支援者所望の視点移動とハンドモーションによる作業支援との両方が可能である。具体的には、支援者１０１の視点は、作業対象オブジェクト１５０が配置された３次元座標空間の範囲で移動可能である。また、作業対象に対する作業動作に関するモーションはハンドモーションである。
【0028】
なお、演算装置１０４は、作業対象オブジェクト１５０に加えて、一方又は両方の手の３次元のハンドオブジェクト１５１を表示してよい。作業対象オブジェクト１５０及びハンドオブジェクト１５１のいずれの形式も任意の形式でよい（例えば、ラスタ形式でもベクタ形式でもよい）。
【0029】
また、被支援者（例えば、未熟練者の作業者）と被支援者の作業対象（例えば機械）とが存在する現場に一つ又は複数のカメラが備えられていて、その一つ又は複数のカメラにより撮影された一つ又は複数の画像を基に現場の３次元モデル（例えば、作業対象を含む現場の３次元オブジェクト）が生成され、作業対象オブジェクト１５０を含む３次元モデルが表示デバイス１１２に表示されてもよい。或いは、作業対象オブジェクト１５０は、予めＣＡＤソフトウェアのようなソフトウェアを用いて作成されたオブジェクトでもよい。
【0030】
また、一つ又は複数のセンサユニットとして、本実施形態では少なくともモーションセンサ１０２が採用されるが、モーションセンサ１０２に代えて又は加えて、センサグローブ（例えば、圧力センサやマイクロフォン等を有するグローブ型のセンサユニット）が採用されてもよいし、センサグローブ以外のウェアラブルのセンサユニットが採用されてもよいし、その他の接触型又は非接触型のセンサユニットが採用されてもよい。
【0031】
以下、本実施形態を詳細に説明する。
【0032】
図２は、演算装置１０４の機能ブロックを示す。
【0033】
記憶装置１１４は、動作識別情報２３１、空間移動情報２３２、作業動作情報２３３及び出力情報２３４を記憶する。
【0034】
動作識別情報２３１は、モーション種別と動作種別との対応関係を表す情報を含む。本実施形態において、「動作」とは、支援者１０１の目的としての行為であり、「モーション」とは、支援者１０１の目的を達成するための手段としての行為である。図２が示す例によれば、支援者１０１（例えば熟練者）は、空間移動のためにリモートコントローラ１０３を用いたモーションを行う。また、支援者１０１は、作業（作業支援）のためにハンドモーションを行う。リモートコントローラ１０３は、センサセット（一つ以上のセンサ）と無線通信デバイスとを有する。リモートコントローラ１０３は、センサセットを通じてモーションを計測し、計測されたモーションのモーション信号を無線通信デバイス通じて無線送信する。
【0035】
空間移動情報２３２は、算出された空間移動を表す情報を含む。空間移動は、３次元座標空間における支援者１０１の視点を移動することである。空間移動では、３次元座標空間及び視点の一方が固定で他方が移動してよい。空間移動情報２３２は、空間移動毎に、視点の始点座標及び終点座標と、始点座標から終点座標への視点移動の速度とを表す情報を含んでよい。
【0036】
作業動作情報２３３は、算出された作業動作を表す情報を含む。作業動作は、作業対象に対する作業の動作である。作業動作情報２３３は、作業動作毎に、左右の手に関し、手を表す３次元のハンドオブジェクトの座標（例えば、ハンドオブジェクトの各部分の位置座標）、ハンドオブジェクトの形状及びアニメーションを表す情報を含んでよい。
【0037】
出力情報２３４は、出力対象の情報を含む。例えば、出力情報２３４は、第１の時点から第２の時点までの時間について、一つ又は複数の空間移動を表す情報と、一つ又は複数の作業動作を表す情報と、作業対象オブジェクトのアニメーションを表す情報とを含んでよい。例えば、出力情報２３４は、被支援者（例えば未熟練者）向けの作業マニュアルとしての情報でよい。
【0038】
プロセッサ１１５によりコンピュータプログラムが実行されることで、入力部２１０、演算部２２０及び出力部２４０といった機能が実現される。入力部２１０は、モーション信号入力部２１１及び設定信号入力部２１２を含む。演算部２２０は、識別算出部２２２、空間移動算出部２２３、作業動作算出部２２４、動作識別設定部２２５及び出力情報算出部２２６を含む。以下、各機能の説明と共に処理の流れを説明する。
【0039】
設定信号入力部２１２は、入力デバイス１１１から動作識別情報の入力を受け付け、受け付けた動作識別情報を演算部２２０に入力する。動作識別設定部２２５が、動作識別情報の入力を受け、その動作識別情報２３１を記憶装置１１４に格納する。
【0040】
出力情報２３４が、作業対象オブジェクトやハンドオブジェクトの情報を含んでいる。出力情報算出部２２６が、作業対象オブジェクトの情報を出力情報２３４から読み出し、出力部２４０が、作業対象オブジェクト１５０を表示デバイス１１２に表示する。
【0041】
支援者１０１が、作業対象オブジェクト１５０に対し作業や空間移動のためのモーションを行う。具体的には、上述した通り下記である。
・支援者１０１は、空間移動のために（作業対象オブジェクト１５０に対する視点を変えるために）リモートコントローラ１０３を用いたモーションを行う。リモートコントローラ１０３は、モーションを計測し、計測されたモーションのモーション信号を送信する。
・支援者１０１は、作業動作のためにハンドモーションを行う。モーションセンサ１０２は、モーションを計測し、計測されたモーションのモーション信号を送信する。
・支援者１０１は、空間移動のために（作業対象オブジェクト１５０に対する視点を変えるために）リモートコントローラ１０３を用いたモーションを行う。リモートコントローラ１０３は、モーションを計測し、計測されたモーションのモーション信号を送信する。
・支援者１０１は、作業動作のためにハンドモーションを行う。モーションセンサ１０２は、モーションを計測し、計測されたモーションのモーション信号を送信する。
【0042】
モーション信号入力部２１１は、モーションセンサ１０２やリモートコントローラ１０３からモーション信号を受信し、受信したモーション信号を演算部２２０に入力する。識別算出部２２２は、モーション信号の入力を受け、計測されたモーションの種別をモーション信号から識別する。識別算出部２２２は、識別されたモーション種別に対応した動作種別を、動作識別情報２３１から識別する。例えば、識別されたモーション種別が“リモートコントローラ”の場合、動作種別“空間移動”が識別される。識別されたモーション種別が“ハンド”の場合、動作種別“作業動作”が識別される。
【0043】
識別された動作種別が“空間移動”の場合、識別算出部２２２は、計測されたモーションが空間移動に関するモーションであると識別する。この場合、空間移動算出部２２３が、空間移動を算出する。具体的には、空間移動算出部２２３は、支援者１０１の３次元座標空間における視点を、識別されたモーションに従って移動することの空間移動を表す情報を算出し、算出した情報を空間移動情報２３２に含める。
【0044】
識別された動作種別が“作業動作”の場合、識別算出部２２２は、計測されたモーションが作業対象に対する作業動作に関するモーションであると識別する。識別されたモーションが、作業動作に関するハンドモーションの場合、作業動作算出部２２４が、作業移動を算出する。具体的には、作業動作算出部２２４は、識別されたモーションに従う作業動作を表す情報を算出し、算出した情報を作業動作情報２３３に含める。
【0045】
出力情報算出部２２６が、受信されたモーション信号について、空間移動算出部２２４又は作業動作算出部２２３により生成された情報を空間移動情報２３２又は作業動作情報２３３から読み出す。出力情報算出部２２６は、読み出された情報を出力情報２３４に含め、且つ、読み出された情報に基づく表示情報を算出する。出力部２４０が、算出された表示情報に基づく表示を表示デバイス１１２に反映する。これにより、表示デバイス１１２の表示が更新される。具体的には、３次元座標空間における視点が移動する、又は、ハンドオブジェクト１５１のアニメーションが表示される。
【0046】
本実施形態によれば、作業動作に関するモーションはハンドモーションであるが、空間移動に関するモーションは、リモートコントローラ１０３を用いたモーションである。これにより、演算装置１０４は、支援者１０１が目的とする動作の種別を正確に区別することができる。なお、空間移動に関するモーションは、リモートコントローラ１０３を用いたモーションに代えて、人間の手以外の部位（作業動作に関するモーション対象の部位以外の部位）のモーションでもよい。例えば、空間移動に関するモーションは、視点の移動方向に頭部を移動させるモーションでよい。
［第２の実施形態］
［第２の実施形態］
【0047】
第２の実施形態を説明する。その際、第１の実施形態との相違点を主に説明し、第１の実施形態との共通点については説明を省略又は簡略する。
【0048】
図３は、第２の実施形態に係る演算装置の機能ブロックを示す。
【0049】
第２の実施形態では、作業動作に関するモーションだけでなく空間移動に関するモーションもハンドモーションである。作業動作だけでなく空間移動もハンドモーションであると、支援者１０１にとっての操作性（作業支援性）は向上する。
【0050】
しかし、作業動作だけでなく空間移動もハンドモーションであると、モーションが重複して動作種別の区別が困難となり得る。
【0051】
そこで、空間移動に関するモーションは、作業動作に関するハンドモーションと異なる種別のハンドモーションである。これにより、動作種別の区別の容易性が向上することが期待できる。例えば、空間移動に関するハンドモーションは、下記のうちのいずれかでよい。
・視点の移動先の座標に指先を向けるハンドモーション。
・視点の移動先の座標に指でつくった円を向けるハンドモーション。
・視点の移動先の座標に仮想マーカを設置するハンドモーション。
・視点の移動方向の反対側に指を移動（スワイプ）させるハンドモーション。
・両手を視点の移動方向に移動させるモーション。
・手を閉じた状態（指と指の間に隙間がない状態）で手を視点の移動方向に移動させるハンドモーション。
・視点の移動先の座標に指先を向けるハンドモーション。
・視点の移動先の座標に指でつくった円を向けるハンドモーション。
・視点の移動先の座標に仮想マーカを設置するハンドモーション。
・視点の移動方向の反対側に指を移動（スワイプ）させるハンドモーション。
・両手を視点の移動方向に移動させるモーション。
・手を閉じた状態（指と指の間に隙間がない状態）で手を視点の移動方向に移動させるハンドモーション。
【0052】
本実施形態では、空間移動に関するハンドモーションは、遊泳モーションと定義されたモーションである。遊泳モーションは、空間移動のためのモーションとして直感的に分かり易く、また、作業動作のためのモーションと重複する可能性は低い。このため、支援者１０１にとっての操作性と動作種別の区別の容易性との両方の向上が期待できる。遊泳モーションによれば、例えば、視点は、手掌の掻き方向に移動してよい。言い換えると、視点の移動方向の反対側に手掌を移動させることが、遊泳モーションでよい。
【0053】
また、本実施形態では、動作種別の区別の精度を高めるために、動作種別“切り替え動作”が動作識別情報２３１に用意されている。「切り替え動作」は、空間移動と作業動作との切り替えである。また、動作識別情報２３１には、現在動作が空間移動であるか作業動作であるかを表す情報が含まれる。当該情報は、例えば、動作種別“空間移動”及び“作業動作”の各々について当該種別の動作が現在動作であるか否かを表すフラグである。“１”が、現在動作であることを意味し、“０”が、現在動作でないことを意味する。
【0054】
演算装置１０４において、識別算出部２２２は、計測されたモーションの種別を識別し、識別されたモーション種別に対応した動作種別を識別する。
【0055】
識別された動作種別が“切り替え動作”の場合、識別算出部２２２は、現在動作を、空間移動から作業動作に又は作業動作から空間移動に切り替える。例えば、空間移動のフラグが“１”であり作業動作のフラグが“０”である場合、識別算出部２２２は、空間移動のフラグを“０”に更新し作業動作のフラグを“１”に更新する。一方、空間移動のフラグが“０”であり作業動作のフラグが“１”である場合、識別算出部２２２は、空間移動のフラグを“１”に更新し作業動作のフラグを“０”に更新する。
【0056】
識別された動作種別が切り替え動作でなく、現在動作が空間移動の場合、識別算出部２２２は、計測されたモーションが空間移動に関するモーションであると識別する。
【0057】
識別された動作種別が切り替え動作でなく、現在動作が作業動作の場合、識別算出部２２２は、計測されたモーションが作業動作に関するモーションであると識別する。
【0058】
切り替え動作に対応したモーション種別は、一方の手の少なくとも一部が他方の手の少なくとも一部に接触する重ね合わせ、例えば指合わせでよい。すなわち、切り替え動作に関するモーションも、一種のハンドモーションである。このため、操作性が高い。また、重ね合わせは、空間移動及び作業動作のいずれのハンドモーションとも重複する可能性が低い。このため、動作種別の区別の精度が低下することを避けることが期待できる。
【0059】
出力部２４０は、支援者１０１の手の表示オブジェクトであるハンドオブジェクト１５１を３次元座標空間に表示するが、空間移動に関するハンドモーションのときのハンドオブジェクトの表示態様と作業動作に関するハンドモーションのときのハンドオブジェクトの表示態様とを違える。これにより、支援者１０１は、支援者１０１のハンドモーションが演算装置１０４にどちらの動作種別と認識されているかを一目で把握できる。例えば、空間移動に関するハンドモーションのときのハンドオブジェクトの表示態様は、図４に例示するように、ハンドオブジェクトの外形のみの表示でよい（ハンドオブジェクトの色は無くてよい）。作業動作に関するハンドモーションのときのハンドオブジェクトの表示態様は、図５に例示するように、ハンドオブジェクトの塗潰し表示でよい。
【0060】
動作種別“切り替え動作”や、動作種別“空間移動”及び“作業動作”のうちどちらが現在動作であるかを表す情報は、第１の実施形態に設けられてもよい。例えば、図６に示すように、切り替え動作に対応したモーション種別は、リモートコントローラ１０３のボタン押下（リモートコントローラ１０３を用いた所定のモーションの一例）でよい。これにより、切り替え動作を正確に検出し、以って、動作種別を正確に区別することができる。
［第３の実施形態］
［第３の実施形態］
【0061】
第３の実施形態を説明する。その際、第１の実施形態との相違点を主に説明し、第１の実施形態との共通点については説明を省略又は簡略する。
【0062】
図７は、第３の実施形態に係るシステム全体の構成例を示す。
【0063】
演算装置１０４のインターフェース装置１１３に、通信ネットワーク７５０を介して別の演算装置７０４に通信可能に接続される。別の演算装置７０４は、別の表示デバイス７１２を有する。被支援者７０１が、別の表示デバイス７１２上の表示を閲覧する。
【0064】
演算装置１０４の出力部２４０は、出力情報２３４を、通信ネットワーク７５０を介して別の演算装置７０４に出力する。別の演算装置７０４が、別の表示デバイス７１２に、受信した出力情報に基づき、作業対象オブジェクト１５０と作業対象に対する作業動作（例えば、ハンドオブジェクト１５１のアニメーション）とを表示する。このようにして、被支援者７０１に対する作業支援が可能である。
【0065】
以上、幾つかの実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。
【符号の説明】
【0066】
１００：作業支援システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
