特許 7398227 作業支援システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-06

(45)【発行日】2023-12-14

(54)【発明の名称】作業支援システム及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231207BHJP

   G06F 3/01 20060101ALI20231207BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

【請求項の数】 7

(21)【出願番号】P 2019160777

(22)【出願日】2019-09-03

(65)【公開番号】P2021039567

(43)【公開日】2021-03-11

【審査請求日】2022-06-24

(73)【特許権者】

【識別番号】000221096

【氏名又は名称】東芝システムテクノロジー株式会社

(74)【代理人】

【識別番号】100112003

【弁理士】

【氏名又は名称】星野 裕司

(74)【代理人】

【識別番号】100177312

【弁理士】

【氏名又は名称】辰己 雄一

(72)【発明者】

【氏名】平野 茂

(72)【発明者】

【氏名】今澤 要

【審査官】粕谷 満成

(56)【参考文献】

【文献】特開２００２－１３２４８７（ＪＰ，Ａ）

【文献】特開２００５－０６３２２５（ＪＰ，Ａ）

【文献】後藤 充裕，外４名，作業者視点の連続撮影映像を活用した作業記録自動生成システムの提案，情報処理学会 研究報告 マルチメディア通信と分散処理（ＤＰＳ） ，日本，情報処理学会，2015年12月03日，Vol.2015-DPS-165, No.2，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

作業の支援者が作業者に対して指示を行うための作業支援装置と、前記作業者が装着する頭部装着型表示装置と、を有する作業支援システムであって、
前記作業支援装置は、
支援者の手指を撮影するハンド位置撮影部と、
撮影された前記支援者の手指の位置又は動き情報を演算するジェスチャ判定部と、
前記手指の位置又は動き情報を前記頭部装着型表示装置へ送信するハンド位置情報送信部と、
前記頭部装着型表示装置から送られてくる映像情報を受信する映像受信部と、
受信した前記映像情報を表示する映像表示部と、
工具の仮想映像を表示するための工具情報を記憶する工具情報記憶部と、
前記工具情報を選択する工具情報選択部と、
を備え、
前記頭部装着型表示装置は、
透過表示された現実空間の像に仮想映像を重畳して表示する透過型表示部と、
前記作業支援装置から送信される前記支援者の手指の位置又は動き情報を受信するハンド位置情報受信部と、
前記支援者の手指の位置又は動き情報に基づいて前記透過型表示部へ前記支援者の手指の仮想映像を表示するバーチャルハンド表示部と、
前記透過型表示部に表示される現実空間の像及び仮想映像を映像情報として前記作業支援装置へ送信する映像送信部と、
を備え、
前記ハンド位置情報送信部は、前記工具情報選択部によって選択された前記工具情報を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、前記工具情報を受信すると、前記バーチャルハンド表示部によって表示される前記支援者の手指の仮想映像に重ねて、該工具情報に基づいて工具の仮想映像を表示するバーチャル工具表示部を備えたことを特徴とする作業支援システム。

【請求項2】

前記支援者の手指の仮想映像と前記工具の仮想映像とは、それぞれ対応する箇所が関連付けられており、前記バーチャル工具表示部は、前記工具の仮想映像を、前記支援者の手指の仮想映像と前記対応する箇所が重なるように前記工具の仮想映像を回転又は変形させて表示することを特徴とする請求項１に記載の作業支援システム。

【請求項3】

前記頭部装着型表示装置は、
作業者の手指を検出する自ハンド検出部と、
前記自ハンド検出部によって検出された前記作業者の手指と、前記バーチャルハンド表示部によって表示される前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定部と、
当該ハンド重なり判定部の判定の結果を出力する重なり判定表示部と、
を備えたことを特徴とする請求項１又は２に記載の作業支援システム。

【請求項4】

前記バーチャルハンド表示部は、前記ハンド重なり判定部が重なり有りと判定したときの前記作業者の手指の位置に基づいて前記手指の仮想映像の基準位置を設定し、その後ハンド位置情報受信部によって受信する前記手指の位置又は動き情報と前記基準位置に基づいて前記透過型表示部において前記仮想映像を移動させることを特徴とする請求項３に記載の作業支援システム。

【請求項5】

前記作業支援装置は、受信した前記映像情報を記録する映像記録部を備えたことを特徴とする請求項１～４のいずれか一項に記載の作業支援システム。

【請求項6】

前記作業支援装置は、前記ジェスチャ判定部によって特定の手指の動きが検知されたときに、前記ハンド位置情報送信部は、描画の開始指令または終了指令を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、描画の開始指令を受信すると、その後の手指の動きに従って前記透過型表示部への仮想映像の描画を行い、描画の終了指令を受信すると、前記仮想映像の描画を終了することを特徴とする請求項１～５のいずれか一項に記載の作業支援システム。

【請求項7】

作業の支援者の手指の位置又は動き情報を受信して、透過表示される現実空間の像に前記支援者の手指の仮想映像を重畳して表示する透過型表示部を備える頭部装着型表示装置で動作するコンピュータ実行可能なプログラムであって、
作業者の手指を検出する自ハンド検出処理と、
前記自ハンド検出処理によって検出された前記作業者の手指と、前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定処理と、
前記ハンド重なり判定処理が重なり有りと判定したときの前記作業者の手指の位置を前記手指の仮想映像の基準位置として、その後受信する前記手指の位置又は動き情報に基づいて前記透過型表示部において前記仮想映像を移動させるバーチャルハンド表示処理と、
を実行することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ（Virtual Reality，仮想現実）、ＡＲ（Augmented Reality，拡張現実）、あるいはＭＲ（Mixed Reality, 複合現実）等（以下単に「ＶＲ等」という。）の技術を用いて、遠隔から作業者に対して効率的に指示を行うことのできる作業支援システム及びプログラムに関する。

【背景技術】

【0002】

従来、ＶＲ等の技術を用いて、作業支援者が現場の作業者に対して指示を行うシステムが提案されている。

【0003】

例えば、特許文献１では、作業者が観察している映像を遠隔地にいる指示者（支援者）へ伝送し、指示者がこの映像を観察しながら作業者に三次元的な作業支援を行うシステムが提案されている。このシステムでは、指示者および作業者の双方が、磁気センサを備えるスタイラスを所持し、３次元位置姿勢センサを備えるヘッドマウントディスプレイ（ＨＭＤ）を装着する。そして、指示者のＨＭＤの３次元位置姿勢センサと指示者が使用するスタイラスとの位置姿勢関係を示すデータを指示者側から作業者側へ送信する。作業者側では、このデータをもとに作業者の視点に合わせて、指示者のスタイラスを示すポインタを仮想表示する。スタイラスにはボタンが設けられており、このボタンを押下することにより仮想物体を移動させることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－２０９６６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の特許文献１の技術によれば、作業者、指示者共にスタイラスを手に持って作業あるいは指示を行うため、作業内容が限られてしまう。また、作業者のみならず支援者もＨＭＤを装着する必要があり煩雑になる。

【0006】

本発明はかかる従来の事情に対処してなされたものであり、作業現場においてスタイラスを用いる必要がなく、また作業支援者はＨＭＤを装着する必要がなく、種々の工具を用いた作業に対する作業支援が可能な作業支援システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本開示に係る作業支援システムは、
作業の支援者が遠隔地の作業者に指示を行うための作業支援装置と、前記作業者が装着する頭部装着型表示装置と、を有する作業支援システムであって、
前記作業支援装置は、支援者の手指を撮影するハンド位置撮影部と、撮影された前記支援者の手指の位置又は動き情報を演算するジェスチャ判定部と、前記手指の位置又は動き情報を前記頭部装着型表示装置へ送信するハンド位置情報送信部と、前記頭部装着型表示装置から送られてくる映像情報を受信する映像受信部と、受信した前記映像情報を表示する映像表示部と、を備え、
前記頭部装着型表示装置は、透過表示された現実空間の像に仮想映像を重畳して表示する透過型表示部と、前記作業支援装置から送信される前記支援者の手指の位置又は動き情報を受信するハンド位置情報受信部と、前記支援者の手指の位置又は動き情報に基づいて前記透過型表示部へ前記支援者の手指の仮想映像を表示するバーチャルハンド表示部と、前記透過型表示部に表示される現実空間の像及び仮想映像を映像情報として前記作業支援装置へ送信する映像送信部と、を備えたことを特徴とする。

【0008】

本開示によれば、頭部装着型表示装置（例えば、透過型ヘッドマウントディスプレイ）に、透過表示された現実空間の像（シーン）に作業支援者の手指の仮想映像を重畳表示させることによって作業支援を行う。

【0009】

また、前記頭部装着型表示装置は、作業者の手指を検出する自ハンド検出部と、前記自ハンド検出部によって検出された前記作業者の手指と、前記バーチャルハンド表示部によって表示される前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定部と、当該ハンド重なり判定部の判定の結果を出力する重なり判定表示部とを備える。

【0010】

特に、前記バーチャルハンド表示部は、前記ハンド重なり判定部が重なり有りと判定したときの前記作業者の手指の位置に基づいて前記手指の仮想映像の基準位置を設定し、その後ハンド位置情報受信部によって受信する前記手指の位置又は動き情報と前記基準位置に基づいて前記透過型表示部において前記仮想映像を移動させる。

【0011】

これにより、作業支援装置における空間座標系と現場の頭部装着型表示装置における空間座標系の違いを吸収して、頭部装着型表示装置の座標系で作業支援者の手指の仮想映像を移動させて、現場の対象物に対する作業支援を可能にする。また、作業支援者は、ヘッドマウントディスプレイを装着する必要がなく、汎用のコンピュータモニター装置を介して現場の様子を視認しながら、現場の作業者に対して指示を行うことができる。

【0012】

また、作業支援装置は、受信した映像情報を記録する映像記録部を備える。このとき、映像記録部は、支援者の特定の手指の動きを検知すると、検知した時点の前後所定の時間分の前記映像情報を記録するのが好ましい。

【0013】

また、本開示に係る作業支援システムは、前記ジェスチャ判定部によって特定の手指の動きが検知されたときに、前記ハンド位置情報送信部は、描画の開始指令または終了指令を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、描画の開始指令を受信すると、その後の手指の動きに従って前記透過型表示部への仮想映像の描画を行い、描画の終了指令を受信すると、前記仮想映像の描画を終了することを特徴とする。
これにより、より具体的な作業支援が可能になる。

【0014】

さらに、本開示に係る作業支援システムにおいて、
前記作業支援装置は、工具の仮想映像を表示するための工具情報を記憶する工具情報記憶部と、前記工具情報を選択する工具情報選択部とを備え、前記ハンド位置情報送信部は、前記工具情報選択部によって選択された前記工具情報を前記頭部装着型表示装置へ送信し、
前記頭部装着型表示装置は、前記工具情報を受信すると、前記バーチャルハンド表示部によって表示される前記支援者の手指の仮想映像に重ねて、該工具情報に基づいて工具の仮想映像を表示するバーチャル工具表示部を備えたことを特徴とする。

【0015】

特に、支援者の手指の仮想映像と工具の仮想映像の対応する箇所（例えば、工具と手指との接点など）を関連付けて保存する記憶手段を備え、前記バーチャル工具表示部は、前記工具の仮想映像を、前記支援者の手指の仮想映像と前記対応する箇所が重なるように前記工具の仮想映像を回転又は変形させて表示するのが好ましい。これにより、支援者の手指の動きに伴って工具の仮想映像も動くので、よりリアルに作業支援を行うことができる。

【0016】

また、本開示に係わる、作業者の装着する頭部装着型表示装置において、作業の支援者の使用する作業支援装置から送られてくる情報をもとに作業者に作業を指示する方法は、
前記作業支援装置において、支援者の手指の位置又は動き情報を取得して、前記頭部装着型表示装置へ送信する段階と、
支援者の手指の位置又は動き情報をもとに支援者の手指の仮想映像を透過型表示部へ表示する段階と、
前記透過型表示部に表示される作業者の手指の映像と、前記仮想映像との重なりを検出する段階と、
重なりを検出した場合は、最初に重なりを検出した時点の作業者の所定部位の座標と、当該時点の前記支援者の手指の位置又は動き情報とを対応づける段階と、
最初に重なりを検出したときに前記仮想映像を識別表示する段階と、
を含むことを特徴とする。

【0017】

好ましくは、頭部装着型表示装置は、作業対象物との距離が検出可能であって、当該距離が予め定めた閾値よりも大きい場合は、前記支援者の手指の位置又は動き情報を作業者の所定の部位（作業者の装着する頭部装着型表示装置を含む。）の位置を基準とした相対的な位置又は移動量として用い、当該距離が閾値以下の場合は、その後に送られてくる前記支援者の手指の位置又は動き情報を、該距離が閾値以下になったことを検出した時点の該仮想映像のワールド座標を基準とした相対的な位置又は移動量として用いるのが好ましい。

【0018】

上記において、作業者の所定部位の座標とは、例えば、作業者の手指の座標であってもよいし、作業者の装着する装着型表示装置の例えば赤外線距離センサの位置の座標であってもよい。また、対応付けとは、各データを関連付けて保持してもよいし、作業支援装置側の座標から装着型表示装置側の座標への変換パラメータを求めるようにしてもよい。

【0019】

また、本開示に係るプログラムは、
作業の支援者の手指の位置又は動き情報を受信して、透過表示される現実空間の像に前記支援者の手指の仮想映像を重畳して表示する透過型表示部を備える頭部装着型表示装置で動作するコンピュータ実行可能なプログラムであって、
作業者の手指を検出する自ハンド検出処理と、
前記自ハンド検出処理によって検出された前記作業者の手指と、前記支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定処理と、
前記ハンド重なり判定処理が重なり有りと判定したときの前記作業者の手指の位置を前記手指の仮想映像の基準位置として、その後受信する前記手指の位置又は動き情報に基づいて前記透過型表示部において前記仮想映像を移動させるバーチャルハンド表示処理と、
を実行することを特徴とする。

【発明の効果】

【0020】

本開示によれば、作業支援者はＨＭＤを装着する必要がなく、種々の工具を用いた作業に対する作業支援を簡便な設備で行うことができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施の形態による作業支援システムの機能ブロック図である。

【図2】本発明の実施の形態におけるキャリブレーション処理の説明図である。

【図3】図１のハンド重なり判定部の動作の説明図である。

【図4】図１のバーチャル工具表示部の動作の説明図である。

【図5】本発明の実施の形態によるキャリブレーション処理の手順を示すフローチャートである。

【図6】本発明の実施の形態によるキャリブレーション後の支援者の手指の仮想映像の移動処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下に本発明の実施の形態に係る作業支援システムについて図面を参照しながら説明する。なお、頭部装着型表示装置の例として、透過型ヘッドマウントディスプレイ（以下、単に「ＨＭＤ」という。）を用いる。

【0023】

図１において、作業支援システム１は、作業支援者が現場の作業者に作業の指示を行うための作業支援装置５０と、現場の作業者が装着するＨＭＤ１０で構成される。作業支援装置５０とＨＭＤ１０は有線又は無線の通信回線２を介して接続される。

【0024】

作業支援装置５０は、作業支援者の手指の位置や動きを検知して、その位置や動きを作業者側のＨＭＤ１０に送信したり、ＨＭＤ１０から送られてくる映像情報を受信して、映像表示部５１に表示する。また作業支援装置５０では、作業者の使用すべき工具を選択することができる。選択された工具の識別情報はＨＭＤ１０に送られる。このような機能を有する作業支援装置５０は汎用のコンピュータ装置を用いて実現することができる。手指の位置や動きを検知する技術としては、既存のモーションジェスチャトラッキング技術を利用することができる。一例としては、特表２００９－５２５５３８号公報や、米国リープモーション社の「LEAP MOTION」（登録商標）が挙げられる。

【0025】

ＨＭＤ１０は、作業支援装置５０から送られてくる作業支援者の手指の動き情報を受信して、当該手指の仮想映像を現実映像と重ねて表示する。また、ＨＭＤ１０は工具の識別情報を受信すると、当該工具を把持した作業者の手指を仮想表示させる。この仮想映像と現実映像は合成されて作業支援装置５０へ送信される。

【0026】

（構成）
以下、各装置５０，１０の構成を詳述する。
作業支援装置５０は、作業支援者の手指を撮影するためのハンド位置撮影部５２、撮影された手指の位置又は動き情報を演算するジェスチャ判定部５４、支援者の手指の位置情報をＨＭＤ１０へ送信するハンド位置情報送信部５５、作業に使用する工具情報の一覧を記憶する工具情報記憶部１（６１）、工具情報記憶部１（６１）から工具を選択する工具選択部５６、ＨＭＤ１０から送られてくる映像情報を受信する映像受信部５３、受信した映像情報を表示する映像表示部５１、および映像情報を記録する映像記録部６０を備える。

【0027】

なお、映像表示部５１は汎用のディスプレイ装置を用いることができる。また、ハンド位置撮影部５２とジェスチャ判定部５４は上述したモーションジェスチャトラッキング装置の技術を用いることができる。

【0028】

ＨＭＤ１０は、透過表示された現実空間の現実映像に仮想映像を重畳して表示する透過型表示部１１、透過型表示部１１に表示される現実空間の像及び仮想映像を映像情報として作業支援装置５０へ送信する映像送信部１２、作業支援装置５０から送信される作業支援者の手指の位置又は動き情報を受信するハンド位置情報受信部１３、受信した作業支援者の手指の位置又は動き情報に基づいて透過型表示部１１へ作業支援者の手指の仮想映像を表示するバーチャルハンド表示部１４、透過型表示部１１に映し出される作業者の手指を検知する自ハンド検出部１６、自ハンド検出部１６によって検知された作業者の手指とバーチャルハンド表示部１４によって表示される作業支援者の手指の仮想映像との重なりの有無を判定するハンド重なり判定部１７、この判定の結果を透過型表示部１１に出力する重なり判定表示部１８、工具の仮想映像を表示するための工具情報を記憶する工具情報記憶部２（２０）、および、作業支援装置５０から送られてくる工具情報を受信すると、バーチャルハンド表示部１４によって表示される作業支援者の手指の仮想映像に重ねて、工具情報記憶部２（２０）に保存されている工具情報に基づいて工具の仮想映像を透過型表示部１１へ表示するバーチャル工具表示部１５を備える。

【0029】

ＨＭＤ１０は、上記各機能のほか、図示しない３次元位置姿勢センサおよび距離センサを備える。これらは従来の技術を用いることができ、現実空間における物体の位置を３次元座標系で取得することができる。距離センサとして例えば赤外線距離センサを用いることができる。ＨＭＤ１０の起動後、作業者は自分を中心に一回転することで、周囲の物体との距離や３次元座標を取得することができる。

【0030】

上記において、ＨＭＤ１０における各部１２～１８、作業支援装置５０における各部５３～５６は、コンピュータの機能としてプログラムによって実現することができる。

【0031】

（動作）
まず、ＨＭＤ１０と作業支援装置５０とを通信接続した初期段階で実施されるキャリブレーション処理について説明する。この処理は、作業支援装置５０側での作業支援者の手指の動きをＨＭＤ１０側の座標系に置き換える処理である。この処理を行うことにより、ＨＭＤ１０の透過型表示部１１に表示される現実映像の適切な位置に作業支援者の手指７０を仮想表示させることができ、効果的な作業支援が可能となる。

【0032】

１．キャリブレーション処理
（キャリブレーション処理の概要）
図２に示すように、作業支援者がハンド位置撮影部５２の上方に手をかざすと、上述したモーションジェスチャトラッキング技術によって動作するジェスチャ判定部５４により、支援者の手指の位置情報が取り込まれる。この位置情報は、ハンド位置情報送信部５５によってＨＭＤ１０へ送信される。ＨＭＤ１０のハンド位置情報受信部１３は、この位置情報を受信すると、バーチャルハンド表示部１４により透過型表示部１１の予め定めた位置に表示する。バーチャルハンド表示部１４は、また仮想表示する支援者の手指の位置座標をハンド重なり判定部１７に渡す。

【0033】

作業者は、図３に示すように、自分の手を仮想表示されている支援者の手に重ね合わせる。キャリブレーション時は、支援者の視線と支援者の手の位置関係と、作業者の視線と作業者の手の位置関係は略同じになるように予め決めておくのが好ましい。

【0034】

ＨＭＤ１０の自ハンド検出部１６は、透過型表示部１１に表示された自身の手指を検出すると、その座標をハンド重なり判定部１７に渡す。ハンド重なり判定部１７は、自身の手指の座標と仮想表示された支援者の手指の座標をもとに、両者が重なっているか否かを判定する。

【0035】

この判定の結果、重なっていると判定すると、ハンド重なり判定部１７は、ハンド位置情報受信部１３が受信した作業支援装置５０側での支援者の手指の位置座標と、ＨＭＤ１０上で仮想表示されている支援者の手指３０の位置座標すなわち作業者の手指４０の位置座標とを関係付けて図示しない記憶部に保存する。また、このときのＨＭＤ１０での支援者の手指３０の位置座標（即ち作業者の手指４０の位置座標）は、支援者の手指を移動させるときの基準座標とすることができる。

【0036】

例えば、キャリブレーション処理後に作業支援者が手指を動かした場合、バーチャルハンド表示部１４は、作業支援装置５０から送られてくる手指の移動後の位置座標を受信して、前回受信した作業支援者の手指の位置座標との変化分を、前記基準座標から変化させる。この変化後の座標が現在のＨＭＤ１０における支援者の手指の移動後の位置になる。作業支援装置５０から手指の動き情報（変化方向および変化量）が送られてくる場合は、前記基準座標に対して変化方向および変化量分だけ移動させた座標が現在のＨＭＤ１０における支援者の手指の位置になる。なお、基準座標は上記に限らず、例えばＨＭＤ１０の赤外線距離センサからの相対的位置を基準にしてもよい。

【0037】

（キャリブレーション処理の詳細）
作業支援装置５０側において、ハンド位置撮影部５２は、支援者の手の稼動範囲のいずれの方向への動きも検出できるような位置に配置するのが好ましい。一例として、支援者は、自身の正面に映像表示部５１を配置し、手を正面に向かって伸ばしたときの腕の中央付近の下方にハンド位置撮影部５２を配置する（図２参照）。支援者は椅子にすわり、机の上にモーションジェスチャーを置いてもよいし、床等の上においてもよい。上記のごとくハンド位置撮影部５２を配置して、手をその上方にかざして手の平を広げる。この手の平の位置がキャリブレーション時の位置（ニュートラルの位置）となる。

【0038】

以下、図５を参照しながら、本実施の形態によるキャリブレーション処理の手順について説明する。

【0039】

ジェスチャ判定部５４は手指を検知すると、その位置座標をＨＭＤ１０へ送信する（Ｓ１０１，Ｓ１０２）。なお、キャリブレーション時に作業支援装置５０からＨＭＤ１０へ送信する位置座標は、ジェスチャ判定部５４の管理する任意の空間座標でよい。例えば、原点（０，０，０）であってもよいし、それ以外の座標であってもよい。

【0040】

ＨＭＤ１０は、作業支援装置５０から送られてくる手指の位置座標を受信すると、透過型表示部１１に表示するための予め定めた所定位置に表示するように現実空間上での座標を定める（Ｓ１０３）。

【0041】

たとえば、作業者側（ＨＭＤ１０側）および支援者側（作業支援装置５０側）の左右、上下、奥行きをそれぞれ３次元座標（Ｘ，Ｙ，Ｚ）および（ｘ，ｙ，ｚ）で表すとすると、最初に手指の座標を受信したときの作業者の視野の中央の座標（Ｘ１，Ｙ１）を演算し、この座標（Ｘ１，Ｙ１）を、作業支援装置５０から送られてきた座標（ｘ１，ｙ１）に対応させる。奥行き（Ｚ軸）方向に関しては、作業者から見て予め定めた任意の奥行き方向の距離（Ｚ１）を、作業支援装置５０から送られてきた座標（ｚ１）に対応させる。なお、予め定める奥行き方向の距離（Ｚ１）については、支援者の視点から前記ニュートラルの位置までの奥行き方向の距離に合わせておくのがよい。

【0042】

上記の例では、座標（ｘ１，ｙ１）は、支援者の両手の中間位置の座標にすれば、作業者の視野において左右等距離の位置に支援者の手指を仮想表示させることができる。仮想表示のさせ方はこれに限らず、作業者の視野内に支援者の両手がその両手間隔を維持して表示されるようになっておればよい。なお、ＨＭＤ１０側の座標系はワールド座標系とすることができるが、キャリブレーション時のＨＭＤ１０側の３次元座標（Ｘ，Ｙ，Ｚ）は、作業者（例えば、ＨＭＤ１０に搭載した赤外線距離センサ）を基準（原点）とした座標系とするのが好ましい。

【0043】

以上のように作業支援装置５０側の支援者の手指の座標（ｘ１，ｙ１，ｚ１）をＨＭＤ１０側の座標（Ｘ１，Ｙ１，Ｚ１）に変換して当該座標の位置に支援者の手指を仮想表示させる。なお、上記は手指の座標のうち一点を例に挙げて説明したが、複数の特徴点によって手指の座標を表す場合は、任意の一点を上記のごとく変換し、それ以外の特徴点については、作業支援装置５０側の座標系における当該一点からの相対座標によってＨＭＤ１０側の座標系に変換することができる。

【0044】

以上、キャリブレーション時の座標変換のしかたについて説明したが、座標系は上記に限らず、例えば、それぞれの軸に対する回転量をさらに追加して次元を増やしてもよい。また、位置座標に代えて、あるいは位置座標と共に動き情報（移動方向と移動量）を送るようにしてもよい。

【0045】

（作業者の手指との位置合わせ）
作業者は、図３に示すように透過型表示部１１に仮想表示される支援者の手指に自身の手指を重ねる。

【0046】

ＨＭＤ１０の自ハンド検出部１６は、透過型表示部１１に表示される作業者自身の手指を検知すると、その座標を取得する（Ｓ１０４）。ハンド重なり判定部１７は、作業者の手指の座標と、仮想表示される支援者の手指の座標が一定の範囲内にある場合は、作業者と支援者の手指が重なったと判定する（Ｓ１０５）。

【0047】

なおＨＭＤ１０の自ハンド検出部１６が検出する作業者の手指の特徴点と、作業支援装置５０とのジェスチャ判定部５４が検出する支援者の手指の特徴点は完全に一致している必要はなく、例えば作業者と支援者の手指の各特徴点の座標の平均値が一定の範囲内になったときに重なったと判定するようにしてもよい。重なり判定表示部１８は、作業者と支援者の手指が重なったと判定したときに、重なりを検知したことがわかるように支援者の手指の仮想映像を識別表示する（Ｓ１０６）。

【0048】

ハンド重なり検出部１６は、作業者の手と支援者の手の位置が重なったことを検知して、このときのＨＭＤ１０での作業者の手指の位置座標（作業者の手指の位置座標）を、支援者の手指の基準座標として記憶部に登録する（Ｓ１０７）。これにより、以降の指示動作において、支援者は自身の手指をＨＭＤ１０の空間内で動かすことができる。

【0049】

なお、ＨＭＤ１０の空間上での支援者の手指の移動のさせ方は次の３通りがある。
１）支援者の手指の位置を、作業者の位置を基準とした相対座標で表して、作業者の移動と共に支援者の手指も移動させる。さらに支援者が動かした移動量および移動方向へＨＭＤ１０側の空間で手指を移動させる。
２）支援者の手指をＨＭＤ側の絶対座標（ワールド座標系）で表す。この場合、支援者の手指は、作業者の移動に伴って動かない。
３）作業者から見て奥行き（例えばＺ軸方向）のみは、作業者のＺ座標を基準とし、そこからのＨＭＤ側の移動量で表す。左右上下（Ｘ，Ｙ方向）はキャリブレーション時の基準（絶対）座標を基準とする。

【0050】

いずれの方法にするかは、予め初期設定しておいてもよいし、支援者からの選択によって変更可能にしてもよい。

【0051】

以下、キャリブレーション後の支援者の手指の仮想映像の移動のさせ方の一例について図６を参照しながら説明する。本処理の特徴は作業者と作業対象の距離によって上記１）又は３）の座標系と２）の座標系とを切り換えるものである。この座標系切換機能は、ＨＭＤ１０の機能として独立して設けることもできるが、バーチャルハンド表示部１４の機能として実現してもよい。以下、バーチャルハンド表示部１４の機能として説明する。

【0052】

バーチャルハンド表示部１４は、ハンド位置情報受信部１３から手指の位置または動き情報を受信すると次の処理を実行する。

【0053】

まず、ＨＭＤ１０の搭載する赤外線距離センサ等によって計測される作業者と作業対象物との距離を取得する（Ｓ２０１）。作業対象物か否かは、たとえば作業者あるいは支援者が手指で指し示すなどジェスチャによって設定することができる。なお、作業者と作業対象物との距離は、たとえば作業者の手指と作業対象物、あるいは支援者の仮想映像位置と作業対象物との距離であってもよい。

【0054】

次に、ステップＳ２０１で取得された距離が閾値以下か否かを判定し（Ｓ２０２）、否の場合、すなわち作業者が作業対象物からある程度離れている場合は、作業者（ＨＭＤ１０）の位置を基準座標（以下、基準座標Ａ）に設定する（Ｓ２０３）。そして、基準座標Ａの設定であることがわかるように支援者の手指の仮想画像を識別表示し（Ｓ２０４）、ハンド位置情報受信部１３で受信した手指の位置又は動き情報は、ＨＭＤ１０の空間において基準座標Ａからの動きとしてその仮想映像を表示する（Ｓ２０５）。

【0055】

一方、ステップＳ２０２で、前記距離が閾値以下の場合、すなわち作業者が作業対象物に近づいた場合は、当該閾値以下になった時点の支援者の手指のワールド座標を基準座標（以下、基準座標Ｂ）に設定する（Ｓ２０６）。そして、基準座標Ｂの設定であることがわかるように支援者の手指の仮想画像を識別表示し（Ｓ２０７）、その後ハンド位置情報受信部１３で受信した手指の位置又は動き情報は、ＨＭＤ１０の空間において基準座標Ｂからの動きとしてその仮想映像を表示する（Ｓ２０８）。

【0056】

以上の処理によって、支援者の手指の仮想映像を移動させることにより、作業者が作業対象物に近づくまでは作業者に追従して当該仮想映像も移動し、作業者が作業対象物に近づくと当該仮想映像は作業者の動きから切り離されて、作業対象物に対して安定した動きを実現させることができる。

【0057】

ＨＭＤ１０の透過型表示部１１は３次元（３Ｄ）表示であり、作業支援装置５０の映像表示部５１は２次元（２Ｄ）表示であるため、これを如何に３Ｄ表示と同様に奥行きを含めて作業支援者に認識させるかが問題となるが、上記の方法により、作業支援装置５０側の支援者の手指の位置および動きを、ＨＭＤ１０側の空間上で適切に表すことができる。

【0058】

２．工具の選択及び表示処理
作業支援装置５０において支援者は、工具を選択する。工具の選択は、パレットを表示させて一覧から選択させるようにしてもよい、工具選択部５６が手指の動きあるいは形状を検知したときに、その動きに対応する工具の識別情報を工具情報記憶部１（６１）から抽出してＨＭＤ１０へ送信するようにしてもよい。

【0059】

ＨＭＤ１０は、工具の識別情報を受信すると、バーチャル工具表示部１５により、工具情報記憶部２（２０）から当該工具の識別情報に対応する仮想映像情報を抽出して、その工具を把持した手指の仮想映像を透過型表示部１１に表示する。

【0060】

この仮想表示された映像および現実映像は合成されて作業支援装置５０へ送信され、映像表示部５１に表示される。

【0061】

図４に示すように、工具は、少なくとも２箇所の手指の特徴点と工具の所定の位置とが対応づけられている。そして手指の特徴点の位置関係により、工具の所定位置をその手指の特徴点の座標に合わせて工具全体を表示する。

【0062】

図４を用いて詳述すると、工具と手指の特徴点Ａ，Ｂは互いに対応付けられており、それぞれ工具を把持したときに手指に接触する位置である。そして、図４（ａ）の工具を動かす前の状態における点Ａの座標が（Ｘ１，Ｙ１，Ｚ１）、点Ｂの座標が（Ｘ２，Ｙ２，Ｚ２）であり、図４（ｂ）の工具を動かした後の状態における点Ａの座標が（Ｘ１'，Ｙ１'，Ｚ１'）、点Ｂの座標が（Ｘ２'，Ｙ２'，Ｚ２'）であったとする。

【0063】

このとき、バーチャルハンド表示部１４は、ハンド位置情報受信部１３が受信した作業支援者の手指の位置座標を用いて現実空間（ＨＭＤ１０側の空間）での座標を求め、作業者の手指を仮想表示する。バーチャル工具表示部１５は、バーチャルハンド表示部１４で仮想表示に用いた座標情報のうち、上記の特徴点Ａ，Ｂの座標を取得する。図４（ａ）の状態においては、点Ａの座標（Ｘ１，Ｙ１，Ｚ１）、点Ｂの座標（Ｘ２，Ｙ２，Ｚ２）を結んだ直線上、点Ａ方向に工具を予め定めた所定長延在させて仮想表示する。図４（ｂ）の状態に移行したときは、点Ａの座標（Ｘ１'，Ｙ１'，Ｚ１'）、点Ｂの座標（Ｘ２'，Ｙ２'，Ｚ２'）を結んだ直線上、点Ａ方向に工具を予め定めた所定長延在させて仮想表示する。なお、直線を軸とした回転方向の動きが重要になる場合には、さらに特徴点を追加するか、次元を増やすのが好ましい。

【0064】

３．作業支援
作業者が作業対象物に近づくと、これに伴い支援者の手指も近づく。そして、支援者は手を伸ばすと、作業対象方向へ仮想表示された手指が移動する。なお、作業者の手指と仮想表示された支援者の手指とが一定距離以上離れるとアラーム出力するようにしてもよい。

【0065】

なお、仮想表示される手指および工具と現実の作業対象物との距離が一定値以下になり、あるいは接触を検知すると、仮想表示される手および工具を識別表示するようにしてもよい。これにより支援者は作業対象物との距離を知得することができる。

【0066】

作業者は、仮想表示された工具と同じ工具を把持し、仮想表示された手指に自身の手指重ねるようにする。これにより、作業者は、工具の持ち方や使用のしかたを仮想表示された映像により知得することができる。

【0067】

以上、本実施の形態によれば、作業前の両装置１０，５０の起動直後に作業支援者の手指の動きの基準となる位置を作業者側の現実空間内に定めるので、その後の作業の支援・指示を容易かつ効率的に行うことができる。また、作業支援者はＨＭＤなどの３Ｄ表示装置を装着する必要がなく、種々の工具を用いた作業に対する作業支援を簡便な設備で行うことができる。

【0068】

本発明は上述した実施の形態に限定されることなく、その要旨を逸脱しない範囲で種々変形して実現することができる。

【0069】

たとえば、作業支援装置５０は、ジェスチャ判定部５４によって特定の手指の動きが検知されたときに、ハンド位置情報送信部５５は、描画の開始指令または終了指令を前記頭部装着型表示装置へ送信し、ＨＭＤ１０は、描画の開始指令を受信すると、その後の手指の動きに従って透過型表示部１１への仮想映像の描画を行い、描画の終了指令を受信すると、仮想映像の描画を終了するようにしてもよい。

【0070】

また、ジェスチャ判定部５４によって特定の手指の動きが検知されたときに、ＨＭＤ１０から受信した映像情報を前後一定時間に亘って記録するようにしてもよい。

【0071】

バーチャル工具表示部１５のより簡単な処理として、予め工具を把持した手指の仮想映像情報を工具情報記憶部２（２０）に保存しておき、ハンド位置情報受信部１３によって受信される位置情報に基づいて、この仮想映像を回転、変形等させて表示するようにしてもよい。

【符号の説明】

【0072】

１ 作業支援システム
２ 通信回線
１０ 頭部装着型表示装置（ＨＭＤ）
１１ 透過型表示部
１２ 映像送信部
１３ ハンド位置情報受信部
１４ バーチャルハンド表示部
１５ バーチャル工具表示部
１６ 自ハンド検出部
１７ ハンド重なり判定部
２０ 工具情報記憶部２
３０ 仮想表示される支援者の手指
３１ 仮想表示される工具
４０ 現実空間における作業者の手指
５０ 作業支援装置
５１ 映像表示部
５２ ハンド位置撮影部
５３ 映像受信部
５４ ジェスチャ判定部
５５ ハンド位置情報送信部
５６ 工具選択部
６０ 映像記録部
７０ 作業支援装置側での作業支援者の手指

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】