知財求人 - 知財ポータルサイト「IP Force」
特開2024-25450生成プログラム、表示プログラム、表示装置、および電子機器システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025450
(43)【公開日】2024-02-26
(54)【発明の名称】生成プログラム、表示プログラム、表示装置、および電子機器システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240216BHJP
G06F 3/0481 20220101ALI20240216BHJP
G06F 3/0346 20130101ALI20240216BHJP
G06V 20/20 20220101ALI20240216BHJP
G06T 7/20 20170101ALI20240216BHJP
G06T 13/40 20110101ALI20240216BHJP
G06T 19/00 20110101ALI20240216BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 514
G06F3/01 515
G06F3/0481
G06F3/0346 421
G06F3/0346 424
G06F3/0346 425
G06V20/20
G06T7/20 300A
G06T13/40
G06T19/00 A
【審査請求】未請求
【請求項の数】29
【出願形態】ＯＬ
(21)【出願番号】P 2022128909
(22)【出願日】2022-08-12
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】高階 知巳
(72)【発明者】
【氏名】井上 毅
【テーマコード（参考）】
5B050
5B087
5E555
5L096
【Ｆターム（参考）】
5B050AA03
5B050AA08
5B050BA09
5B050BA11
5B050BA12
5B050BA13
5B050CA01
5B050DA04
5B050EA07
5B050EA26
5B050FA02
5B050FA05
5B087AA02
5B087AA07
5B087BC06
5B087BC32
5B087DE03
5E555AA07
5E555AA27
5E555AA28
5E555BA02
5E555BA38
5E555BB02
5E555BB38
5E555BC08
5E555BD01
5E555BD09
5E555BE17
5E555CA23
5E555CA28
5E555CA29
5E555CA41
5E555CA42
5E555CA44
5E555CB19
5E555CB20
5E555CB21
5E555CB45
5E555CB74
5E555CC05
5E555DA08
5E555DA11
5E555DB31
5E555DB53
5E555DB56
5E555DC13
5E555DC19
5E555DC26
5E555DC27
5E555DC35
5E555DC43
5E555DC61
5E555DC63
5E555DC84
5E555DD01
5E555DD06
5E555EA14
5E555EA22
5E555FA00
5L096CA04
5L096DA04
5L096FA67
5L096FA69
5L096HA04
(57)【要約】
【課題】作業対象物への力加減を容易に把握すること。
【解決手段】生成プログラムは、プロセッサに、動作する手の位置を示す位置データを取得する取得処理と、前記動作により対象物にかかる力に関する情報を検出する検出処理と、前記取得処理によって取得された前記位置データと、前記検出処理によって検出された力に関する情報とに基づいて、前記対象物に前記力をかける前記手の動作データを生成する生成処理と、を実行させる。
【選択図】図１
【解決手段】生成プログラムは、プロセッサに、動作する手の位置を示す位置データを取得する取得処理と、前記動作により対象物にかかる力に関する情報を検出する検出処理と、前記取得処理によって取得された前記位置データと、前記検出処理によって検出された力に関する情報とに基づいて、前記対象物に前記力をかける前記手の動作データを生成する生成処理と、を実行させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
プロセッサに、
動作する手の位置を示す位置データを取得する取得処理と、
前記動作により対象物にかかる力に関する情報を検出する検出処理と、
前記取得処理によって取得された前記位置データと、前記検出処理によって検出された力に関する情報とに基づいて、前記対象物に前記力をかける前記手の動作データを生成する生成処理と、
を実行させる生成プログラム。
動作する手の位置を示す位置データを取得する取得処理と、
前記動作により対象物にかかる力に関する情報を検出する検出処理と、
前記取得処理によって取得された前記位置データと、前記検出処理によって検出された力に関する情報とに基づいて、前記対象物に前記力をかける前記手の動作データを生成する生成処理と、
を実行させる生成プログラム。
【請求項2】
請求項１に記載の生成プログラムであって、
前記位置データは、前記手の形状を構成する点の位置データを含む、
生成プログラム。
前記位置データは、前記手の形状を構成する点の位置データを含む、
生成プログラム。
【請求項3】
請求項２に記載の生成プログラムであって、
前記動作データは、前記手の形状を構成する点の位置データと前記力に関する情報とを関連付けたデータである、
生成プログラム。
前記動作データは、前記手の形状を構成する点の位置データと前記力に関する情報とを関連付けたデータである、
生成プログラム。
【請求項4】
請求項３に記載の生成プログラムであって、
前記位置データは、時系列な前記手の形状を構成する点の位置データを含む、
生成プログラム。
前記位置データは、時系列な前記手の形状を構成する点の位置データを含む、
生成プログラム。
【請求項5】
請求項１に記載の生成プログラムであって、
前記力に関する情報は、前記対象物にかかる力の量、力の方向、およびトルクの少なくとも１つを含む、生成プログラム。
前記力に関する情報は、前記対象物にかかる力の量、力の方向、およびトルクの少なくとも１つを含む、生成プログラム。
【請求項6】
請求項５に記載の生成プログラムであって、
前記力に関する情報は、前記対象物にかかる力を発生させる前記手の特定の位置であり、
前記動作データは、前記手の形状を構成する点のうち前記手の特定の位置に対応した特定の点に、前記力の量および方向を関連づけたデータである、
生成プログラム。
前記力に関する情報は、前記対象物にかかる力を発生させる前記手の特定の位置であり、
前記動作データは、前記手の形状を構成する点のうち前記手の特定の位置に対応した特定の点に、前記力の量および方向を関連づけたデータである、
生成プログラム。
【請求項7】
請求項５に記載の生成プログラムであって、
前記検出処理では、前記プロセッサに、前記力を発生させる前記手の特定の位置、および前記力の量に関する情報を、前記手に装着された圧力センサおよび前記手の筋電位を検出する筋電位センサのうち少なくとも１つの検出データに基づいて検出させる、
生成プログラム。
前記検出処理では、前記プロセッサに、前記力を発生させる前記手の特定の位置、および前記力の量に関する情報を、前記手に装着された圧力センサおよび前記手の筋電位を検出する筋電位センサのうち少なくとも１つの検出データに基づいて検出させる、
生成プログラム。
【請求項8】
請求項５に記載の生成プログラムであって、
前記検出処理では、前記プロセッサに、前記力の方向に関する情報を、前記手を含む身体に装着された慣性計測装置の検出データに基づいて検出させる、
生成プログラム。
前記検出処理では、前記プロセッサに、前記力の方向に関する情報を、前記手を含む身体に装着された慣性計測装置の検出データに基づいて検出させる、
生成プログラム。
【請求項9】
請求項５に記載の生成プログラムであって、
前記取得処理では、前記プロセッサに、時間的に異なる複数の画像フレームの各々から前記手の位置に関する前記複数の画像フレーム間のオプティカルフローを取得させ、
前記検出処理では、前記プロセッサに、前記オプティカルフローに基づいて、前記力の方向に関する情報を検出させる、
生成プログラム。
前記取得処理では、前記プロセッサに、時間的に異なる複数の画像フレームの各々から前記手の位置に関する前記複数の画像フレーム間のオプティカルフローを取得させ、
前記検出処理では、前記プロセッサに、前記オプティカルフローに基づいて、前記力の方向に関する情報を検出させる、
生成プログラム。
【請求項10】
請求項１に記載の生成プログラムであって、
前記対象物の仮想データを表示画面に表示する表示処理を実行させ、
前記対象物の仮想データは、前記対象物の位置情報を含み、
前記検出処理は、前記取得処理により取得された前記動作する手の位置を示す位置データと、前記対象物の仮想データとの位置関係に基づいて、前記力に関する情報を検出させる、
生成プログラム。
前記対象物の仮想データを表示画面に表示する表示処理を実行させ、
前記対象物の仮想データは、前記対象物の位置情報を含み、
前記検出処理は、前記取得処理により取得された前記動作する手の位置を示す位置データと、前記対象物の仮想データとの位置関係に基づいて、前記力に関する情報を検出させる、
生成プログラム。
【請求項11】
請求項１に記載の生成プログラムであって、
前記対象物の仮想データを表示画面に表示する表示処理、
を実行させ、
前記検出処理は、前記手が前記対象物を構成する仮想部品を動作させたときに、前記仮想部品に対応して記憶されている前記仮想部品を前記動作させるのに必要な力を、該力に関する情報として検出させる、
生成プログラム。
前記対象物の仮想データを表示画面に表示する表示処理、
を実行させ、
前記検出処理は、前記手が前記対象物を構成する仮想部品を動作させたときに、前記仮想部品に対応して記憶されている前記仮想部品を前記動作させるのに必要な力を、該力に関する情報として検出させる、
生成プログラム。
【請求項12】
プロセッサに、
動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報を取得する取得処理と、
前記取得処理によって取得された前記手の位置を示す位置データおよび前記力に関する情報に基づいて、前記手の仮想データ生成する生成処理と、
前記生成処理によって生成された前記手の仮想データに基づいて、前記手の仮想データを表示画面に表示する表示処理と、
を実行させる表示プログラム。
動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報を取得する取得処理と、
前記取得処理によって取得された前記手の位置を示す位置データおよび前記力に関する情報に基づいて、前記手の仮想データ生成する生成処理と、
前記生成処理によって生成された前記手の仮想データに基づいて、前記手の仮想データを表示画面に表示する表示処理と、
を実行させる表示プログラム。
【請求項13】
請求項１２に記載の表示プログラムであって、
前記手の位置データは、前記手の形状を構成する点の位置データを含み、
前記表示処理では、前記プロセッサに、前記点の位置データに基づいて前記手の仮想データを前記表示画面に表示させる、
表示プログラム。
前記手の位置データは、前記手の形状を構成する点の位置データを含み、
前記表示処理では、前記プロセッサに、前記点の位置データに基づいて前記手の仮想データを前記表示画面に表示させる、
表示プログラム。
【請求項14】
請求項１２に記載の表示プログラムであって、
前記力に関する情報は、前記対象物にかかる力の量、力の方向およびトルクのうち少なくともいずれか１つである、
表示プログラム。
前記力に関する情報は、前記対象物にかかる力の量、力の方向およびトルクのうち少なくともいずれか１つである、
表示プログラム。
【請求項15】
請求項１２に記載の表示プログラムであって、
前記生成処理では、前記プロセッサに、前記力の量に対応する色または大きさで前記手の仮想データを生成させる、
表示プログラム。
前記生成処理では、前記プロセッサに、前記力の量に対応する色または大きさで前記手の仮想データを生成させる、
表示プログラム。
【請求項16】
請求項１４に記載の表示プログラムであって、
前記力に関する情報は、前記対象物にかかる力を発生させる前記手の特定の位置であり、
前記手の形状を構成する点のうち前記手の特定の位置に対応した特定の点に、前記力の量および方向が関連づいている、
表示プログラム。
前記力に関する情報は、前記対象物にかかる力を発生させる前記手の特定の位置であり、
前記手の形状を構成する点のうち前記手の特定の位置に対応した特定の点に、前記力の量および方向が関連づいている、
表示プログラム。
【請求項17】
請求項１６に記載の表示プログラムであって、
前記表示処理では、前記プロセッサに、前記手の仮想データのうち、前記対象物にかかる力を発生させる手の位置に対応した領域を前記力の量に対応する色または大きさで表示させる、
表示プログラム。
前記表示処理では、前記プロセッサに、前記手の仮想データのうち、前記対象物にかかる力を発生させる手の位置に対応した領域を前記力の量に対応する色または大きさで表示させる、
表示プログラム。
【請求項18】
プロセッサに、
動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報を取得する取得処理と、
前記取得処理によって取得された前記手の位置を示す位置データに基づいて、前記手の仮想データ生成する生成処理と、
前記生成処理によって生成された前記手の仮想データに基づいて前記手の仮想データを表示画面に表示させるとともに、前記力に関する情報を表示させる、表示処理と
を実行させる表示プログラム。
動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報を取得する取得処理と、
前記取得処理によって取得された前記手の位置を示す位置データに基づいて、前記手の仮想データ生成する生成処理と、
前記生成処理によって生成された前記手の仮想データに基づいて前記手の仮想データを表示画面に表示させるとともに、前記力に関する情報を表示させる、表示処理と
を実行させる表示プログラム。
【請求項19】
請求項１８に記載の表示プログラムであって、
前記手の位置データは、前記手の形状を構成する点の位置データを含み、
前記表示処理では、前記プロセッサに、前記点の位置データに基づいて前記手の仮想データを前記表示画面に表示させる、
表示プログラム。
前記手の位置データは、前記手の形状を構成する点の位置データを含み、
前記表示処理では、前記プロセッサに、前記点の位置データに基づいて前記手の仮想データを前記表示画面に表示させる、
表示プログラム。
【請求項20】
請求項１８に記載の表示プログラムであって、
前記力に関する情報は、前記対象物にかかる力の量、力の方向およびトルクのうち少なくともいずれか１つである、
表示プログラム。
前記力に関する情報は、前記対象物にかかる力の量、力の方向およびトルクのうち少なくともいずれか１つである、
表示プログラム。
【請求項21】
請求項１８に記載の表示プログラムであって、
前記表示処理では、前記プロセッサに、前記力の量および方向の少なくとも１つに対応するオブジェクトを前記表示画面に表示させる、
表示プログラム。
前記表示処理では、前記プロセッサに、前記力の量および方向の少なくとも１つに対応するオブジェクトを前記表示画面に表示させる、
表示プログラム。
【請求項22】
請求項２１に記載の表示プログラムであって、
前記力の量に対応するオブジェクトは文字列を含み、前記力の方向に対応するオブジェクトは矢印を含む、
表示プログラム。
前記力の量に対応するオブジェクトは文字列を含み、前記力の方向に対応するオブジェクトは矢印を含む、
表示プログラム。
【請求項23】
動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報とを取得する取得部と、
前記取得部によって取得された前記手の位置データと前記力に関する情報に基づいて、前記手の仮想データを生成する生成部と、
前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示する表示部と、
を備える表示装置。
前記取得部によって取得された前記手の位置データと前記力に関する情報に基づいて、前記手の仮想データを生成する生成部と、
前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示する表示部と、
を備える表示装置。
【請求項24】
請求項２３に記載の表示装置であって、
前記生成部は、前記力の量に対応する色または大きさで前記手の仮想データを生成する、表示装置。
前記生成部は、前記力の量に対応する色または大きさで前記手の仮想データを生成する、表示装置。
【請求項25】
動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報とを取得する取得部と、
前記取得部によって取得された前記手の位置データに基づいて、前記手の仮想データを生成する生成部と、
前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示するとともに、前記力に関する情報を表示する表示部と、
を備える表示装置。
前記取得部によって取得された前記手の位置データに基づいて、前記手の仮想データを生成する生成部と、
前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示するとともに、前記力に関する情報を表示する表示部と、
を備える表示装置。
【請求項26】
請求項２４に記載の表示装置であって、
前記力に関する情報は、前記対象物にかかる力の量、力の方向およびトルクのうち少なくともいずれか１つである、表示装置。
前記力に関する情報は、前記対象物にかかる力の量、力の方向およびトルクのうち少なくともいずれか１つである、表示装置。
【請求項27】
請求項２５に記載の表示装置であって、
前記表示部は、前記力の量および方向の少なくとも１つに対応するオブジェクトを表示画面に表示する、
表示装置。
前記表示部は、前記力の量および方向の少なくとも１つに対応するオブジェクトを表示画面に表示する、
表示装置。
【請求項28】
動作する手の位置を示す位置データを取得する取得部と、
前記動作により対象物にかかる力に関する情報を検出するする検出部と、
前記取得部によって取得された前記位置データと、前記検出部によって検出された力に関する情報を送信する送信部と、
前記送信部から送信された前記手の位置を示す位置と前記力に関する情報を受信する受信部と、
前記受信部が受信した前記手の位置を示す位置データおよび前記力に関する情報に基づいて、前記手の仮想データを生成する生成部と、
前記生成部が生成した前記手の仮想データを表示する表示部と、
を備える電子機器システム。
前記動作により対象物にかかる力に関する情報を検出するする検出部と、
前記取得部によって取得された前記位置データと、前記検出部によって検出された力に関する情報を送信する送信部と、
前記送信部から送信された前記手の位置を示す位置と前記力に関する情報を受信する受信部と、
前記受信部が受信した前記手の位置を示す位置データおよび前記力に関する情報に基づいて、前記手の仮想データを生成する生成部と、
前記生成部が生成した前記手の仮想データを表示する表示部と、
を備える電子機器システム。
【請求項29】
動作する手の位置を示す位置データを取得する取得部と、
前記動作により対象物にかかる力に関する情報を検出するする検出部と、
前記手の位置を示す位置データと前記力に関する情報を送信する送信部と、
前記送信部から送信された前記手の位置を示す位置と前記力に関する情報を受信する受信部と、
前記受信部によって受信された前記手の位置を示す位置データに基づいて、前記手の仮想データを生成する生成部と、
前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示するとともに、前記力に関する情報を表示する表示部と、
を備える電子機器システム。
前記動作により対象物にかかる力に関する情報を検出するする検出部と、
前記手の位置を示す位置データと前記力に関する情報を送信する送信部と、
前記送信部から送信された前記手の位置を示す位置と前記力に関する情報を受信する受信部と、
前記受信部によって受信された前記手の位置を示す位置データに基づいて、前記手の仮想データを生成する生成部と、
前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示するとともに、前記力に関する情報を表示する表示部と、
を備える電子機器システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生成プログラム、表示プログラム、表示装置、および電子機器システムに関する。
【背景技術】
【0002】
作業者が観察している映像を遠隔地にいる指示者に伝送し、指示者がこの映像を観察しながら三次元的な作業指示を行える画像処理装置が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－２０９６６４号公報
【発明の概要】
【0004】
本願の第１開示技術の生成プログラムは、プロセッサに、動作する手の位置を示す位置データを取得する取得処理と、前記動作により対象物にかかる力に関する情報を検出する検出処理と、前記取得処理によって取得された前記位置データと、前記検出処理によって検出された力に関する情報とに基づいて、前記対象物に前記力をかける前記手の動作データを生成する生成処理と、を実行させる。
【0005】
本願の第２開示技術の表示プログラムは、プロセッサに、動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報を取得する取得処理と、前記取得処理によって取得された前記手の位置を示す位置データおよび前記力に関する情報に基づいて、前記手の仮想データ生成する生成処理と、前記生成処理によって生成された前記手の仮想データに基づいて、前記手の仮想データを表示画面に表示する表示処理と、を実行させる。
【0006】
本願の第３開示技術の表示装置は、動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報とを取得する取得部と、前記取得部によって取得された前記手の位置データと前記力に関する情報に基づいて、前記手の仮想データを生成する生成部と、前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示する表示部と、を備える。
【0007】
本願の第４開示技術の表示装置は、動作する手の位置を示す位置データと、前記動作により対象物にかかる力に関する情報とを取得する取得部と、前記取得部によって取得された前記手の位置データに基づいて、前記手の仮想データを生成する生成部と、前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示するとともに、前記力に関する情報を表示する表示部と、を備える。
【0008】
本願の第５開示技術の電子機器システムは、動作する手の位置を示す位置データを取得する取得部と、前記動作により対象物にかかる力に関する情報を検出するする検出部と、前記取得部によって取得された前記位置データと、前記検出部によって検出された力に関する情報を送信する送信部と、前記送信部から送信された前記手の位置を示す位置と前記力に関する情報を受信する受信部と、前記受信部が受信した前記手の位置を示す位置データおよび前記力に関する情報に基づいて、前記手の仮想データを生成する生成部と、前記生成部が生成した前記手の仮想データを表示する表示部と、を備える。
【0009】
本願の第６開示技術の電子機器システムは、動作する手の位置を示す位置データを取得する取得部と、前記動作により対象物にかかる力に関する情報を検出するする検出部と、前記手の位置を示す位置データと前記力に関する情報を送信する送信部と、前記送信部から送信された前記手の位置を示す位置と前記力に関する情報を受信する受信部と、前記受信部によって受信された前記手の位置を示す位置データに基づいて、前記手の仮想データを生成する生成部と、前記生成部によって生成された手の仮想データに基づいて前記手の仮想データを表示するとともに、前記力に関する情報を表示する表示部と、を備える。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
＜電子機器システムのシステム構成例＞
図１は、電子機器システムのシステム構成例を示す説明図である。電子機器システム１００は、サーバ１０１と、ヘッドマウントディスプレイＤａ１～Ｄａ３、Ｄｂ１、Ｄｂ２と、を有する。ヘッドマウントディスプレイＤａ１～Ｄａ３は、指示者ＩＮ１～ＩＮ３が装着する表示装置であり、ヘッドマウントディスプレイＤｂ１、Ｄｂ２は、作業者Ｗ１、Ｗ２が装着する表示装置である。
図１は、電子機器システムのシステム構成例を示す説明図である。電子機器システム１００は、サーバ１０１と、ヘッドマウントディスプレイＤａ１～Ｄａ３、Ｄｂ１、Ｄｂ２と、を有する。ヘッドマウントディスプレイＤａ１～Ｄａ３は、指示者ＩＮ１～ＩＮ３が装着する表示装置であり、ヘッドマウントディスプレイＤｂ１、Ｄｂ２は、作業者Ｗ１、Ｗ２が装着する表示装置である。
【0012】
指示者ＩＮ１～ＩＮ３を区別しない場合は、指示者ＩＮと表記する。作業者Ｗ１、Ｗ２を区別しない場合は、作業者Ｗと表記する。指示者ＩＮが装着するヘッドマウントディスプレイＤａ１～Ｄａ３を区別しない場合は、ヘッドマウントディスプレイＤａと表記する。作業者Ｗが装着するヘッドマウントディスプレイＤｂ１、Ｄｂ２を区別しない場合は、ヘッドマウントディスプレイＤｂと表記する。ヘッドマウントディスプレイＤａ、Ｄｂを区別しない場合は、ヘッドマウントディスプレイＤと表記する。なお、指示者ＩＮと作業者Ｗは一対一の関係であってもよい。
【0013】
サーバ１０１とヘッドマウントディスプレイＤとは、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク１１０を介して通信可能に接続される。
【0014】
指示者ＩＮ１は、ヘッドマウントディスプレイＤａ１を装着している。指示者ＩＮ２は、ヘッドマウントディスプレイＤａ２を装着し、かつ、両手にグローブＧａ２ｒ、Ｇａ２ｌを装着している。グローブＧａ２ｒ、Ｇａ２ｌを区別しない場合は、グローブＧａ２と表記する。
【0015】
グローブＧａ２は、圧力センサを有し、指示者ＩＮ２の手の圧力を検出する。圧力センサではなく、指示者ＩＮ２の手の筋電位を検出する筋電位センサでもよい。また、グローブＧａ２は、慣性計測装置を有し、３次元の慣性運動（直交する３軸方向の並進運動および回転運動）を検出する。具体的には、たとえば、慣性計測装置は加速度センサおよび角速度センサおよび地磁気センサを含み、加速度センサが指示者ＩＮ２の手の並進運動を検出し、角速度センサが指示者ＩＮ２の手の回転運動を検出する。グローブＧａ２は、検出したデータを、ネットワーク１１０経由でサーバ１０１に、またはヘッドマウントディスプレイＤａ２およびネットワーク１１０経由でサーバ１０１に送信する。
【0016】
なお、他の指示者ＩＮ１、ＩＮ３および作業者Ｗも慣性計測装置を、たとえば、手首などに装着してもよい。
【0017】
指示者ＩＮ３は、ヘッドマウントディスプレイＤａ３を装着し、かつ、右手Ｈａ３ｒにデジタルドライバＭａを保持している。デジタルドライバＭａは、その回転により発生するトルクおよび回転方向を検出する。デジタルドライバＭａは、検出されたトルクおよび回転方向を、ネットワーク１１０経由でサーバ１０１に、またはヘッドマウントディスプレイＤａ２およびネットワーク１１０経由でサーバ１０１に送信する。
【0018】
作業者Ｗ１は、ヘッドマウントディスプレイＤｂ１を装着している。作業者Ｗ２は、ヘッドマウントディスプレイＤｂ２を装着し、かつ、ドライバＭｂを右手Ｈｂ２ｒに保持している。ドライバＭｂは、デジタルドライバでもよい。
【0019】
ヘッドマウントディスプレイＤは、カメラ１０２とディスプレイ１０３とを有する。カメラ１０２、１０４は、手Ｈや作業対象物Ｔａ１～Ｔａ３、Ｔｂ１、Ｔｂ２を撮像する。指示者ＩＮ側の作業対象物Ｔａ１～Ｔａ３を区別しない場合は、作業対象物Ｔａと表記する。作業者Ｗ側の作業対象物Ｔｂ１、Ｔｂ２を区別しない場合は、作業対象物Ｔｂと表記する。作業対象物Ｔａ、Ｔｂを区別しない場合は、作業対象物Ｔと表記する。
【0020】
なお、指示者ＩＮは、ヘッドマウントディスプレイＤａを装着しなくてもよい。この場合、ヘッドマウントディスプレイＤａのカメラ１０２の替わりに、指示者ＩＮの手Ｈの周辺に配置されたカメラ１０４が用いられる。
【0021】
カメラ１０２、１０４は、指示者ＩＮ１の手Ｈａ１ｒ、Ｈａ１ｌ、指示者ＩＮ２の手にはめられたグローブＧａ２ｒ、Ｇａ２ｌ、指示者ＩＮ３の手Ｈａ３ｒ、Ｈａ３ｌ、手Ｈａ３ｒが保持するデジタルドライバＭａ、作業者Ｗ１，Ｗ２の手Ｈｂ１ｒ、Ｈｂ１ｌ、手Ｈｂ２ｒ、Ｈｂ２ｌ、手Ｈｂ２ｒが保持するドライバＭｂを撮像する。これらの符号の末尾の「ｒ」は右手を示し、「ｌ」は左手を示す。指示者ＩＮ１の手Ｈａ１ｒ、Ｈａ１ｌ、指示者ＩＮ２の手にはめられたグローブＧａ２ｒ、Ｇａ２ｌ、指示者ＩＮ３の手Ｈａ３ｒ、Ｈａ３ｌを区別しない場合は、手Ｈａと表記する。作業者Ｗ１，Ｗ２の手Ｈｂ１ｒ、Ｈｂ１ｌ、手Ｈｂ２ｒ、Ｈｂ２ｌを区別しない場合は、手Ｈｂと表記する。手Ｈａ、Ｈｂを区別しない場合は、手Ｈと表記する。
【0022】
電子機器システム１００は、ヘッドマウントディスプレイＤａが備えるカメラ１０２または手の周囲に配置されたカメラ１０４を用いて撮像した動作する指示者ＩＮの手Ｈの撮像データから手Ｈａの３次元位置データを取得し、手Ｈａの３次元位置データと手Ｈの力に関する情報とに基づいて手Ｈの動作データを生成する。
【0023】
手Ｈの動作データとは、手Ｈの３次元位置データと手Ｈの力に関する情報とを含む。また、動作する手Ｈの３次元位置データにおける手の位置データ毎に、その位置に対応する手Ｈの力に関する情報が関連付けられていてもよい。なお、カメラ１０２（またはカメラ１０４）が手Ｈの動画データを取得し、動画データに基づいて手Ｈaの動作データを生成してもよい。この場合、手Ｈの位置データとは、動画データの各画像フレームにおける手Ｈの３次元位置を示す。
【0024】
図２は、手Ｈの３次元位置データおよび形状データの一例を示す説明図である。（Ａ）は、手Ｈを撮像した３次元座標系２００における手Ｈの３次元位置データ２０１を示す。（Ｂ）は、手Ｈを撮像した３次元座標系２００における手Ｈの形状データ２０２を示す。
【0025】
手Ｈの３次元位置データ２０１は、画像に加えて距離情報を取得できるＲＧＢ－Ｄカメラであるカメラ１０２（またはカメラ１０４）から取得される。手Ｈの３次元位置データ２０１は、手Ｈの特徴点の集合である。特徴点は３次元座標値を有する。特徴点は、たとえば、手Ｈの指先および関節である骨格点である。特徴点は、手Ｈの輪郭を構成する点でもよい。なお、カメラ１０４は白黒カメラであってもよい。また、ＲＧＢ－Ｄカメラを用いる代わりに、ＲＧＢカメラを用いてもよい。この場合、手Ｈまでの距離情報は距離センサ（図示しない）で測定する。
【0026】
手Ｈの力に関する情報とは、手Ｈから作業対象物Ｔにかける力を示す情報である。たとえば、手Ｈａの力に関する情報とは、指示者ＩＮが手Ｈａから作業対象物Ｔａにかける力の大きさやデジタルドライバＭａによって検出されたトルクおよび力の方向、筋電位センサによって検出された筋電位、および、慣性計測装置の検出データ（手Ｈａの回転運動（回転量および回転方向）、手Ｈａの並進運動（移動量および移動方向））、地磁気センサの検出データである。
【0027】
手Ｈの仮想データとは、ヘッドマウントディスプレイＤに表示させる手Ｈの形状を示す形状データ２０２であり、手Ｈの力に関する情報が関連付けすることが可能なデータである。手Ｈａは、ヘッドマウントディスプレイＤｂの撮像範囲に存在しない手であるため、手Ｈａの形状データ２０２は、ヘッドマウントディスプレイＤｂのディスプレイ１０３において、仮想的に表示されるデータである。同様に、手Ｈｂは、ヘッドマウントディスプレイＤａの撮像範囲に存在しない手であるため、手Ｈｂの形状データ２０２は、ヘッドマウントディスプレイＤａのディスプレイ１０３において、仮想的に表示されるデータである。
【0028】
手Ｈの形状データ２０２は、手Ｈの３次元位置を示す３次元位置データ２０１から生成される。具体的には、たとえば、３次元位置データ２０１が手Ｈの骨格点の集合である場合、手Ｈの骨格に沿うように骨格点を連結し、骨格点および骨格点間のリンクに所定の幅を持たせて手Ｈの輪郭を生成することで、手Ｈの形状データ２０２が生成される。また、３次元位置データ２０１が手Ｈの輪郭を構成する点の集合である場合、隣り合う点を連結することにより、手Ｈの形状データ２０２が生成される。なお、手Ｈの仮想データとして、骨格点間のリンクに所定の幅を持たせることなく、骨格点間をリンクさせたリンクモデルとして構成してもよい。
【0029】
電子機器システム１００では、たとえば、指示者ＩＮが作業者Ｗに指示する場合、ヘッドマウントディスプレイＤａが備えるカメラ１０２または手の周囲に配置されたカメラ１０４が手Ｈａを撮像することによって取得される手Ｈａの３次元位置データ２０１および圧力センサ等により取得される手Ｈａの力に関する情報に基づいて手Ｈａの動作データを生成し、サーバ１０１を介して、ネットワーク１１０経由でヘッドマウントディスプレイＤｂに送信する。ヘッドマウントディスプレイＤｂは、サーバ１０１からの手Ｈａの３次元位置データ２０１から手Ｈａの仮想データを生成し、手Ｈａの力に関する情報を関連付けて表示する。
【0030】
また、ヘッドマウントディスプレイＤａではなく、サーバ１０１が、手Ｈａの動作データを生成してもよい。この場合、サーバ１０１は、手Ｈａの動作データを生成し、ヘッドマウントディスプレイＤｂに転送する。ヘッドマウントディスプレイＤｂは、サーバ１０１からの手Ｈａの３次元位置データ２０１から手Ｈａの仮想データを生成し、手Ｈａの力に関する情報を関連付けて表示する。なお、サーバ１０１が、手Ｈａの仮想データを生成し、ヘッドマウントディスプレイＤｂに手Ｈａの仮想データを転送してもよいし、ヘッドマウントディスプレイＤａが、ヘッドマウントディスプレイＤｂに手Ｈａの３次元位置データと力情報を転送し、ヘッドマウントディスプレイＤｂが手Ｈａの動作データを生成してもよく、さらに手Ｈａの仮想データを生成してもよい。
【0031】
これにより、作業者Ｗは、手Ｈａの力に関する情報が付与された手Ｈａの仮想データを視認することができる。
【0032】
また、電子機器システム１００では、たとえば、作業者Ｗが指示者ＩＮに確認してもらう場合、手Ｈｂの３次元位置データ２０１および手Ｈｂの力に関する情報である手Ｈｂの動作データを生成し、サーバ１０１を介して、ネットワーク１１０経由でヘッドマウントディスプレイＤａに送信する。ヘッドマウントディスプレイＤａは、サーバ１０１からの手Ｈｂの３次元位置データ２０１から手Ｈｂの仮想データを生成し、手Ｈｂの力に関する情報を関連付けて表示する。
【0033】
また、ヘッドマウントディスプレイＤｂではなく、サーバ１０１が、手Ｈｂの動作データを生成してもよい。この場合、サーバ１０１は、ヘッドマウントディスプレイＤｂからの手Ｈｂの動作データを生成し、ヘッドマウントディスプレイＤａに転送する。ヘッドマウントディスプレイＤａは、サーバ１０１からの手Ｈｂの３次元位置データ２０１から手Ｈｂの仮想データを生成し、手Ｈｂの力に関する情報を関連付けて表示する。
【0034】
これにより、指示者ＩＮは、手Ｈｂの力に関する情報が付与された手Ｈｂの仮想データを視認することができる。
【0035】
＜サーバ１０１のハードウェア構成例＞
図３は、サーバ１０１のハードウェア構成例を示すブロック図である。サーバ１０１は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、サーバ１０１を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワーク１１０と接続し、データを送受信する。
図３は、サーバ１０１のハードウェア構成例を示すブロック図である。サーバ１０１は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、サーバ１０１を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワーク１１０と接続し、データを送受信する。
【0036】
＜ヘッドマウントディスプレイＤのハードウェア構成例＞
図４は、ヘッドマウントディスプレイＤのハードウェア構成例を示すブロック図である。ヘッドマウントディスプレイＤは、プロセッサ３０１、記憶デバイス３０２、通信ＩＦ３０５、およびバス３０６のほか、操作デバイス４０３、ディスプレイ１０３、カメラ１０２、マイク４０４およびスピーカ４０５を有する。
図４は、ヘッドマウントディスプレイＤのハードウェア構成例を示すブロック図である。ヘッドマウントディスプレイＤは、プロセッサ３０１、記憶デバイス３０２、通信ＩＦ３０５、およびバス３０６のほか、操作デバイス４０３、ディスプレイ１０３、カメラ１０２、マイク４０４およびスピーカ４０５を有する。
【0037】
操作デバイス４０３は、指示者ＩＮまたは作業者Ｗの操作により、カメラ１０２で撮像する動画の記録の開始、停止および一時停止、記録された動画の再生の開始、停止および一時停止など各種入力を受け付ける。
【0038】
ディスプレイ１０３は、表示画面を有し、手Ｈの仮想データを表示する。また、ディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、カメラ１０２で撮像または再生された動画を表示画面に表示する。一方、ディスプレイ１０３の方式が光学透過型（光学シースルー）であれば、指示者ＩＮまたは作業者Ｗは、目の前の実体物を視認でき、それに重畳して手Ｈの仮想データを表示させることができる。
【0039】
カメラ１０２は、可視光域の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を電気信号に変換するとともに、被写体までの距離を取得する撮像素子（ＲＧＢ－Ｄカメラ）である。カメラ１０２は、被写体の撮像面上の平面位置と被写体までの距離とにより、被写体の３次元位置を取得する。
【0040】
マイク４０４は、ヘッドマウントディスプレイＤの周囲の音声を電気信号に変換してヘッドマウントディスプレイＤ内部に入力する。スピーカ４０５は、音声に関する電気信号を音声に変換してヘッドマウントディスプレイＤ外部に出力する。
【0041】
＜電子機器システム１００の機能的構成例＞
図５は、電子機器システム１００の機能的構成例を示すブロック図である。ヘッドマウントディスプレイＤａは、第１取得部５１１と、第１検出部５１２と、第１生成部５１３と、第１通信部５１４と、第１表示制御部５１５と、第１表示画面５１６と、を有する。ヘッドマウントディスプレイＤｂは、第２取得部５２１と、第２検出部５２２と、第２通信部５２４と、第２生成部５２３と、第２表示制御部５２５と、第２表示画面５２６と、を有する。
図５は、電子機器システム１００の機能的構成例を示すブロック図である。ヘッドマウントディスプレイＤａは、第１取得部５１１と、第１検出部５１２と、第１生成部５１３と、第１通信部５１４と、第１表示制御部５１５と、第１表示画面５１６と、を有する。ヘッドマウントディスプレイＤｂは、第２取得部５２１と、第２検出部５２２と、第２通信部５２４と、第２生成部５２３と、第２表示制御部５２５と、第２表示画面５２６と、を有する。
【0042】
第１取得部５１１、第１検出部５１２、第１生成部５１３、第１通信部５１４、第１表示制御部５１５、第２取得部５２１、第２検出部５２２、第２生成部５２３、第２通信部５２４、および第２表示制御部５２５は、具体的には、たとえば、図４に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより実現される機能である。第１表示画面５１６および第２表示画面５２６は、ディスプレイ１０３において映像が表示される画面である。
【0043】
まず、ヘッドマウントディスプレイＤａについて説明する。第１取得部５１１は、ヘッドマウントディスプレイＤａのカメラ１０２からの動画データやマイク４０４からの音声データを取得する。第１取得部５１１は、手Ｈａの３次元位置データ２０１を取得する。また、第１取得部５１１は、画像フレームの各々の手Ｈａの３次元位置データ２０１に基づいて、画像フレーム間における手Ｈａの移動量および移動方向を示すオプティカルフローを取得する。なお、手Ｈの周囲に配置されたカメラ１０４が手Ｈａを撮像し、手Ｈａの撮像データから手Ｈａの３次元位置データ２０１を取得する場合、第１取得部５１１がカメラ１０４から３次元位置データ２０１を取得してもよい。
【0044】
第１検出部５１２は、手Ｈａが作業対象物Ｔａにかける力に関する情報を検出する。具体的には、たとえば、第１検出部５１２は、手Ｈａの画像データ内の色情報に基づいて、手Ｈａが作業対象物Ｔａにかけた力に関する情報を検出する。手Ｈａに力が入る（たとえば、作業対象物Ｔａを握る）と手Ｈａの甲の血管が浮き上がる。したがって、第１検出部５１２は、手Ｈａの画像データ内の対応する画素における色情報(ＨＳＶ表色系などで表現される)の微小な変化量のうち、あらかじめ設定されたしきい値（表色系の各軸毎に設定される）以上の変化をする画素があれば、当該手Ｈａの血管の浮き上がり箇所に決定して３次元座標点を特定し、特定した３次元座標点を手Ｈａが作業対象物Ｔａにかけた力に関する情報として検出する。
【0045】
またこの場合、第１検出部５１２は、手Ｈａの血管の浮き上がり箇所における画素の色の白さに応じて、力の強さを段階的に検出してもよい。
【0046】
また、第１検出部５１２は、グローブＧａ２からの検出データに基づいて、手Ｈａが作業対象物Ｔａにかけた力に関する情報を検出する。具体的には、たとえば、第１検出部５１２は、グローブＧａ２から得られた圧力を示す検出データから、グローブＧａ２がはめられた手の３次元位置データ２０１内において所定圧力以上の特徴点を特定し、グローブＧａ２がはめられた手の３次元位置データ２０１内の当該特徴点をグローブＧａ２がはめられた手が作業対象物Ｔａ２にかけた力に関する情報として検出する。
【0047】
また、第１検出部５１２は、慣性計測装置からの検出データ（手Ｈの回転運動（回転量および回転方向）、手Ｈの並進運動（移動量および移動方向））を、手Ｈａが作業対象物Ｔａにかけた力に関する情報として検出する。
【0048】
また、第１検出部５１２は、デジタルドライバＭａからの検出データであるトルクおよび力の方向を、手Ｈａ３ｒが作業対象物Ｔａにかけた力に関する情報として検出する。
【0049】
第１生成部５１３は、手Ｈａの３次元位置データ２０１と手Ｈａの力に関する情報を関連付けて、画像フレームごとに手Ｈａの動作データを生成する。また、第１生成部５１３は、画像フレーム間のオプティカルフローが取得されていれば、手Ｈａのオプティカルフローを手Ｈａの動作データに含める。
【0050】
第１通信部５１４は、ヘッドマウントディスプレイＤｂまたはサーバ１０１に、手Ｈaの動作データを送信する。また、ヘッドマウントディスプレイＤａが手Ｈａの３次元位置データ２０１を取得せず、サーバ１０１が取得する構成である場合、第１通信部５１４は、ヘッドマウントディスプレイＤａのカメラ１０２で撮像した手Ｈａの撮像データをサーバ１０１に送信する。また、第１通信部５１４は、ヘッドマウントディスプレイＤｂが備えるカメラ１０２が撮像する画像（動画）を受信してもよい。
【0051】
第１表示制御部５１５は、ディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、第１取得部５１１によって取得された動画データを第１表示画面５１６に表示するように制御する。
【0052】
ディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、第１取得部５１１によって取得された動画データを第１表示画面５１６に表示するように制御する。
【0053】
つぎに、ヘッドマウントディスプレイＤｂについて説明する。第２取得部５２１は、ヘッドマウントディスプレイＤｂのカメラ１０２からの動画データやマイク４０４からの音声データを取得する。
【0054】
第２通信部５２４は、ヘッドマウントディスプレイＤａまたはサーバ１０１に、ヘッドマウントディスプレイＤｂが備えるカメラ１０２が撮像する画像（動画）データを送信する。
【0055】
また、第２通信部５２４は、ヘッドマウントディスプレイＤａまたはサーバ１０１から、手Ｈａの動作データを受信する。手Ｈａの動作データは、手Ｈａの３次元位置データ２０１、手Ｈａの力に関する情報、および手Ｈａのオプティカルフローを含む。
【0056】
この場合、第２生成部５２３は、手Ｈａの３次元位置データ２０１から手Ｈａの形状データ２０２を生成する。また、第２生成部５２３は、第１生成部５１３と同様の方法で、手Ｈａの力に関する情報から、手Ｈａの力に関する表示情報を生成する。たとえば、手Ｈａの力に関する情報が、手Ｈａの血管の浮き上がり箇所であれば、その３次元座標点の画素に力の強さを示す色情報を付与する。なお、第２生成部５２３は、３次元座標点が複数存在する場合、複数の３次元座標点の力の強さの平均値を示す色情報を、手Ｈａの形状データ２０２内の全画素に付与してもよい。
【0057】
たとえば、手Ｈａの力に関する情報が、慣性計測装置からの検出データ（手Ｈａの回転運動（回転量および回転方向）、手Ｈａの並進運動（移動量および移動方向））であれば、第２生成部５２３は、手Ｈａの回転運動や手Ｈａの並進運動を示す表示情報を生成する。当該表示情報は、たとえば、方向および量のうち少なくとも方向を示す文字列でもよく、矢印のような図形でもよい。表示情報が矢印の場合、量は、矢印の大きさや太さ、色で表現してもよい。表示情報が文字列の場合、力の量を数値で表現してもよく、また、力の方向を例えば、左右上下で表現してもよい。また、所定の動作または時間において、指示者ＩＮの手Ｈａがかける力の平均的な力の量を数値で表現してもよい。
【0058】
たとえば、手Ｈａの力に関する情報が、グローブＧａ２からの検出データであれば、第２生成部５２３は、圧力を示す表示情報を生成する。当該表示情報は、圧力の値とその３次元座標値とにより構成される。
【0059】
たとえば、手Ｈａの力に関する情報が、デジタルドライバＭａからの検出データであるトルクであれば、第２生成部５２３は、トルクを示す表示情報を生成する。当該表示情報は、たとえば、方向および量のうち少なくとも方向を示す文字列でもよく、矢印のような図形オブジェクトでもよい。表示情報が矢印の場合、量は、矢印の大きさや太さ、色で表現してもよい。
【0060】
第２表示制御部５２５は、手Ｈａの形状データ２０２に手Ｈａの力に関する表示情報が関連付けられた手Ｈａの仮想データを、第２表示画面５２６に表示するように制御する。
【0061】
ディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、第２表示制御部５２５は、第２取得部５２１によって取得された動画データを第２表示画面５２６に表示するように制御する。これにより、動画データと手Ｈａの仮想データとが重畳表示される。ディスプレイ１０３の方式が光学透過型（光学シースルー）であれば、第２表示画面５２６を通して見える現実の像と手Ｈａの仮想データとが第２表示画面５２６に重畳表示される。
【0062】
つぎに、サーバ１０１について説明する。サーバ１０１は、第３取得部５３１と、第３検出部５３２と、第３生成部５３３と、第３通信部５３４と、を有する。第３取得部５３１、第３検出部５３２、第３生成部５３３、および第３通信部５３４は、具体的には、たとえば、図２に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより実現される機能である。
【0063】
ヘッドマウントディスプレイＤが動作データを生成する場合、第３通信部５３４が、通信ＩＦ３０５を制御して、手Ｈａの力に関する情報をヘッドマウントディスプレイＤに転送する。ヘッドマウントディスプレイＤａがカメラ１０２を備えているときは、カメラ１０２が撮像した手Ｈａの撮像データから３次元位置データ２０１を取得し、３次元位置データ２０１と転送された手Ｈａの力に関する情報とに基づいて、動作データを生成する。一方、手の周囲に配置されたカメラ１０４が手Ｈａの３次元位置データ２０１を取得するときは、カメラ１０４は、手Ｈａの３次元位置データ２０１をヘッドマウントディスプレイＤａに転送する。ヘッドマウントディスプレイＤａは、転送された手Ｈａの３次元位置データ２０１と、手Ｈａの力に関する情報とに基づいて、動作データを生成する。なお、ヘッドマウントディスプレイＤ間で直接通信する構成の場合、サーバ１０１は不要になる。
【0064】
ヘッドマウントディスプレイＤが動作データを生成しない場合、第３取得部５３１は、第１取得部５１１および第２取得部５２１の機能を有し、第３検出部５３２は、第１検出部５１２および第２検出部５２２の機能を有し、第３生成部５３３は、第１生成部５１３および第２生成部５２３の機能を有する。また、第３通信部５３４は、ヘッドマウントディスプレイＤから動画データを受信する。
【0065】
上述した構成では、手Ｈの形状データ２０２は、手Ｈの３次元位置データ２０１を受信したヘッドマウントディスプレイＤで生成されるため、手Ｈの形状データ２０２をネットワーク１１０経由で送受信する場合に比べて、トラフィック量の低減化を図ることができる。
【0066】
一方、手Ｈの形状データ２０２は、手Ｈの動作データを送信する側のヘッドマウントディスプレイＤで生成されてもよい。この場合、手Ｈの動作データを受信する側のヘッドマウントディスプレイＤでは、手Ｈの形状データ２０２を生成する必要がなくなるため、処理負荷の低減化を図ることができる。
【0067】
＜ヘッドマウントディスプレイＤでの手Ｈの動作データの表示例＞
図６は、ヘッドマウントディスプレイＤでの手Ｈの動作データの表示例１を示す説明図である。情報表示例１では、指示者ＩＮ１が作業者Ｗ１に指示する。なお、指示者ＩＮ１は、第１表示画面５１６の中央に作業対象物Ｔａ１が位置するようにヘッドマウントディスプレイＤａ１のカメラ１０２を向け、作業者Ｗ１は、第２表示画面５２６の中央に作業対象物Ｔｂ１が位置するようにヘッドマウントディスプレイＤｂ１のカメラ１０２を向けているものとする。
図６は、ヘッドマウントディスプレイＤでの手Ｈの動作データの表示例１を示す説明図である。情報表示例１では、指示者ＩＮ１が作業者Ｗ１に指示する。なお、指示者ＩＮ１は、第１表示画面５１６の中央に作業対象物Ｔａ１が位置するようにヘッドマウントディスプレイＤａ１のカメラ１０２を向け、作業者Ｗ１は、第２表示画面５２６の中央に作業対象物Ｔｂ１が位置するようにヘッドマウントディスプレイＤｂ１のカメラ１０２を向けているものとする。
【0068】
ヘッドマウントディスプレイＤａ１の第１表示画面５１６には、指示者ＩＮ１の手Ｈａ１ｌ、Ｈａ１ｒと、作業対象物Ｔａ１と、が表示される。なお、ディスプレイの方式が透過型であれば、指示者ＩＮ１は、第１表示画面５１６を通して作業者の手Ｈを認識することができる。
【0069】
ヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業者Ｗ１の手Ｈｂ１ｌ、Ｈｂ１ｒと、作業対象物Ｔｂ１と、が表示される。ディスプレイの方式が透過型であれば、作業者Ｗ２は、第２表示画面５２６を通して作業者の手Ｈを認識することができる。
【0070】
また、ヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、指示者ＩＮ１の手Ｈａ１ｌ、Ｈａ１ｒの仮想データである仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）が表示される。仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）は、第２生成部５２３によって生成された手Ｈａの形状データ２０２であり、手Ｈａ１ｌ、Ｈａ１ｒの３次元位置データ２０１が示す第２表示画面５２６上の位置に表示される。仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の輪郭は点線で表示され、内部は透明または半透明で表示される。
【0071】
図７は、図６における仮想手への力の付与例１を示す説明図である。図７では、ヘッドマウントディスプレイＤｂ１の第２表示画面５２６に表示される指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）を例に挙げて説明する。図７では、力が強いほど、仮想手Ｖ（Ｈａ１ｌ）内の色が濃く表示される。また、仮想手Ｖ（Ｈａ１ｌ）全体ではなく、手Ｈａ１の血管の浮き上がり箇所のように、特定の箇所または当該箇所を含む領域の力を特定の色およびその濃度で表示してもよい。このように、本実施形態によれば、作業者Ｗは直感的に作業対象物Ｔｂを操作するのに必要な力に関する情報を認識することができる。なお、仮想手Ｖに色の濃淡をつけて表示する場合、手Ｈの３次元位置データに基づいて仮想データである仮想手Ｖを生成し、第２表示部等が、仮想手Ｖの力が強い領域に対して、力の大きさに応じて仮想手Ｖに重畳して色を表示してもよい。
【0072】
図８は、図６における仮想手への力の付与例２を示す説明図である。図８でも、ヘッドマウントディスプレイＤｂ１の第２表示画面５２６に表示される指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）を例に挙げて説明する。図８では、力が強いほど、手Ｈａの指や甲が太く表示される。また、仮想手Ｖ（Ｈａ１ｌ）全体ではなく、手Ｈａ１の血管の浮き上がり箇所のように、力がかかっている特定の箇所（指や甲）を太く表示してもよい。このように、本実施形態によれば、作業者Ｗは直感的に作業対象物Ｔｂを操作するのに必要な力に関する情報を認識することができる。
【0073】
図９は、ヘッドマウントディスプレイＤでの手Ｈの動作データの表示例２を示す説明図である。情報表示例２では、指示者ＩＮ２が作業者Ｗ１に指示する。なお、指示者ＩＮ２は、第１表示画面５１６の中央に作業対象物Ｔａ１が位置するようにヘッドマウントディスプレイＤａ２のカメラ１０２を向け、作業者Ｗ１は、第２表示画面５２６の中央に作業対象物Ｔｂ１が位置するようにヘッドマウントディスプレイＤｂ１のカメラ１０２を向けているものとする。
【0074】
ヘッドマウントディスプレイＤａ２の第１表示画面５１６には、指示者ＩＮ２の手にはめられたグローブＧａ１ｌ、Ｇａ１ｒと、作業対象物Ｔａ２と、が表示される。
【0075】
ヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、指示者ＩＮ１の手Ｈａ１ｌ、Ｈａ１ｒと、作業対象物Ｔａ１と、を表示する代わりに、作業者Ｗ１の手Ｈｂ１ｌ、Ｈｂ１ｒと、作業対象物Ｔｂ１と、を表示してもよい。また、ヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、指示者ＩＮ２の手にはめられたグローブＧａ２ｌ、Ｇａ２ｒの仮想データである仮想手Ｖ（Ｇａ２ｌ）、Ｖ（Ｇａ２ｒ）が表示される。仮想手Ｖ（Ｇａ２ｌ）、Ｖ（Ｇａ２ｒ）は、第２生成部５２３によって生成されたグローブＧａ２ｌ、Ｇａ２ｒの形状データ２０２であり、グローブＧａ２ｌ、Ｇａ２ｒの３次元位置データ２０１が示す第２表示画面５２６上の位置に表示される。仮想手Ｖ（Ｇａ２ｌ）、Ｖ（Ｇａ２ｒ）の輪郭は点線で表示され、内部には、仮想手Ｖ（Ｇａ２ｌ）、Ｖ（Ｇａ２ｒ）よりも奥にある像が表示される。
【0076】
【0077】
図１０は、ヘッドマウントディスプレイＤでの手Ｈの動作データの表示例３を示す説明図である。情報表示例３では、指示者ＩＮ３が作業者Ｗ２に指示する。なお、指示者ＩＮ３は、第１表示画面５１６の中央に作業対象物Ｔａ１が位置するようにヘッドマウントディスプレイＤａ３のカメラ１０２を向け、作業者Ｗ２は、第２表示画面５２６の中央に作業対象物Ｔｂ１が位置するようにヘッドマウントディスプレイＤｂ２のカメラ１０２を向けているものとする。
【0078】
ヘッドマウントディスプレイＤａ３の第１表示画面５１６には、指示者ＩＮ３の手Ｈａ１ｒと、手Ｈａ１ｒが保持しているデジタルドライバＭａと、作業対象物Ｔａ３と、が表示される。
【0079】
ヘッドマウントディスプレイＤｂ２の第２表示画面５２６には、作業者Ｗ２の手Ｈｂ２ｒと、ドライバＭｂと、作業対象物Ｔｂ２と、が表示される。ディスプレイの方式が透過型であれば、作業者Ｗ２は、第２表示画面５２６を通して、手Ｈｂ２ｒを認識することができる。また、ヘッドマウントディスプレイＤｂ２の第２表示画面５２６には、指示者ＩＮ３の手Ｈａ３ｒの仮想データである仮想手Ｖ（Ｈａ３ｒ）が表示される。仮想手Ｖ（Ｈａ３ｒ）は、第２生成部５２３によって生成された手Ｈａ３ｒの形状データ２０２であり、手Ｈａ３ｒの３次元位置データ２０１が示す第２表示画面５２６上の位置に表示される。
【0080】
また、ヘッドマウントディスプレイＤｂ２の第２表示画面５２６には、力情報９０１、９０２が仮想手Ｖ（Ｈａ３ｒ）に関連付けて表示される。力情報９０１は、手Ｈａ３ｒにかけられた力でデジタルドライバＭａに発生した力を示すトルクの表示情報であり、力情報９０１の接続点９１０が仮想手Ｖ（Ｈａ３ｒ）に重複するように接続される。接続点９１０は、手Ｈａ３ｒ内のトルクの発生箇所と一致するように仮想手Ｖ（Ｈａ３ｒ）に接続されてもよい。
【0081】
力情報９０２は、慣性計測装置からの検出データである手Ｈａ３ｒに保持されたデジタルドライバＭａの回転運動の一つである回転方向を示す矢印である。力情報９０２は、仮想手Ｖ（Ｈａ３ｒ）の近傍に配置される。また、仮想手Ｖ（Ｈａ３ｒ）には、図７および図８で示したような力に関する情報が付与されてもよい。
【0082】
＜遠隔作業支援例＞
図１１は、電子機器システム１００による遠隔作業支援例（前半）であり、図１２は、電子機器システム１００による遠隔作業支援例（後半）である。遠隔作業支援例では、指示者ＩＮ１が作業者Ｗ１に指示する。図１１に示す遠隔作業支援例（前半）では、指示者ＩＮ１が作業者Ｗ１に手本を見せる。図１２に示す遠隔作業支援例（後半）では、作業者Ｗ１が、手本である指示者ＩＮ１の動きを参照して、作業する。なお、指示者ＩＮ１は、第１表示画面５１６の中央に作業対象物Ｔａ１が位置するようにカメラ１０２を向け、作業者Ｗ１は、第２表示画面５２６の中央に作業対象物Ｔｂ１が位置するようにカメラ１０２を向けているものとする。
図１１は、電子機器システム１００による遠隔作業支援例（前半）であり、図１２は、電子機器システム１００による遠隔作業支援例（後半）である。遠隔作業支援例では、指示者ＩＮ１が作業者Ｗ１に指示する。図１１に示す遠隔作業支援例（前半）では、指示者ＩＮ１が作業者Ｗ１に手本を見せる。図１２に示す遠隔作業支援例（後半）では、作業者Ｗ１が、手本である指示者ＩＮ１の動きを参照して、作業する。なお、指示者ＩＮ１は、第１表示画面５１６の中央に作業対象物Ｔａ１が位置するようにカメラ１０２を向け、作業者Ｗ１は、第２表示画面５２６の中央に作業対象物Ｔｂ１が位置するようにカメラ１０２を向けているものとする。
【0083】
［時刻ｔ１］
図１１において、指示者ＩＮ１は、手Ｈａ１ｌで作業対象物Ｔａ１の左下端部を保持し、手Ｈａ１ｒで作業対象物Ｔａ１の右下端部を保持する。作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示され、作業対象物Ｔｂ１の右下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が重畳表示される。
図１１において、指示者ＩＮ１は、手Ｈａ１ｌで作業対象物Ｔａ１の左下端部を保持し、手Ｈａ１ｒで作業対象物Ｔａ１の右下端部を保持する。作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示され、作業対象物Ｔｂ１の右下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が重畳表示される。
【0084】
［時刻ｔ２］
図１１において、指示者ＩＮ１は、作業対象物Ｔａ１の右下端部に位置する手Ｈａ１ｒを作業対象物Ｔａ１の右上端部に移動させる。作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示されたままである。また、作業対象物Ｔｂ１の右上端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が重畳表示される。また、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の移動方向を示す力情報１１０１が表示される。
図１１において、指示者ＩＮ１は、作業対象物Ｔａ１の右下端部に位置する手Ｈａ１ｒを作業対象物Ｔａ１の右上端部に移動させる。作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示されたままである。また、作業対象物Ｔｂ１の右上端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が重畳表示される。また、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の移動方向を示す力情報１１０１が表示される。
【0085】
［時刻ｔ３］
図１１において、指示者ＩＮ１は、手Ｈａ１ｌで作業対象物Ｔａ１の左下端部を保持し、かつ、手Ｈａ１ｒで作業対象物Ｔａ１の右上端部を保持した状態で、作業対象物Ｔａ１を反時計回りに回転させる。作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が作業対象物Ｔａ１の回転動作により右下に移動し、作業対象物Ｔｂ１の右上端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が反時計回りに回転する。また、仮想手Ｖ（Ｈａ１ｌ）の近傍に、仮想手Ｖ（Ｈａ１ｌ）の移動方向を示す力情報１１０２が表示され、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の回転方向を示す力情報１１０３が表示される。このようにして、指示者ＩＮ１は作業者Ｗ１に作業の手本を見せることができる。
図１１において、指示者ＩＮ１は、手Ｈａ１ｌで作業対象物Ｔａ１の左下端部を保持し、かつ、手Ｈａ１ｒで作業対象物Ｔａ１の右上端部を保持した状態で、作業対象物Ｔａ１を反時計回りに回転させる。作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が作業対象物Ｔａ１の回転動作により右下に移動し、作業対象物Ｔｂ１の右上端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が反時計回りに回転する。また、仮想手Ｖ（Ｈａ１ｌ）の近傍に、仮想手Ｖ（Ｈａ１ｌ）の移動方向を示す力情報１１０２が表示され、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の回転方向を示す力情報１１０３が表示される。このようにして、指示者ＩＮ１は作業者Ｗ１に作業の手本を見せることができる。
【0086】
つぎに、図１２を用いて時刻ｔ４～ｔ５での動作について説明する。時刻ｔ４～ｔ６において、図１１と同様、指示者ＩＮ１は、時刻ｔ１～ｔ３と同様の動作をおこなって、作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６に、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きを表示させる。なお、時刻ｔ４～ｔ６において、指示者ＩＮ１が時刻ｔ１～ｔ３と同様の動作をせずに、作業者Ｗ１のヘッドマウントディスプレイＤｂ１が、第２表示画面５２６に、時刻ｔ１～ｔ３における指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きを再生してもよい。
［時刻ｔ４］
ヘッドマウントディスプレイＤｂ１は、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きをリアルタイムで表示させる。なお、ヘッドマウントディスプレイＤｂ１は、リアルタイムで時刻ｔ１～ｔ３における指示者ＩＮの仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きを表示する代わりに、録画した動画データを再生してもよい。作業者Ｗ１は、再生された仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きを参照して、作業を試みる。
［時刻ｔ４］
ヘッドマウントディスプレイＤｂ１は、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きをリアルタイムで表示させる。なお、ヘッドマウントディスプレイＤｂ１は、リアルタイムで時刻ｔ１～ｔ３における指示者ＩＮの仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きを表示する代わりに、録画した動画データを再生してもよい。作業者Ｗ１は、再生された仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きを参照して、作業を試みる。
【0087】
図１２において、作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、時刻ｔ１と同様、時刻ｔ４での作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示され、作業対象物Ｔｂ１の右下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が重畳表示される。作業者Ｗ１は、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きにあわせて、時刻ｔ４において、手Ｈｂ１ｌで作業対象物Ｔｂ１の左下端部を保持し、手Ｈｂ１ｒで作業対象物Ｔｂ１の右下端部を保持する。
［時刻ｔ５］
図１２において、時刻ｔ２と同様、時刻ｔ５での作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示されたままである。また、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）は、時刻ｔ４の位置から、作業対象物Ｔｂ１の右上端部の位置に移動する。また、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の移動方向を示す力情報１１０１が表示される。作業者Ｗ１は、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きにあわせて、作業対象物Ｔｂ１の右下端部に位置する手Ｈｂ１ｒを作業対象物Ｔｂ１の右上端部に移動させる。
［時刻ｔ５］
図１２において、時刻ｔ２と同様、時刻ｔ５での作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部の位置に指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が重畳表示されたままである。また、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）は、時刻ｔ４の位置から、作業対象物Ｔｂ１の右上端部の位置に移動する。また、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の移動方向を示す力情報１１０１が表示される。作業者Ｗ１は、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きにあわせて、作業対象物Ｔｂ１の右下端部に位置する手Ｈｂ１ｒを作業対象物Ｔｂ１の右上端部に移動させる。
【0088】
［時刻ｔ６］
図１２において、時刻ｔ３と同様、時刻ｔ６での作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が作業対象物Ｔａ１の回転動作により右下に移動し、作業対象物Ｔｂ１の右上端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が反時計回りに回転する。また、仮想手Ｖ（Ｈａ１ｌ）の近傍に、仮想手Ｖ（Ｈａ１ｌ）の移動方向を示す力情報１１０２が表示され、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の回転方向を示す力情報１１０３が表示される。
図１２において、時刻ｔ３と同様、時刻ｔ６での作業者Ｗ１のヘッドマウントディスプレイＤｂ１の第２表示画面５２６には、作業対象物Ｔｂ１の左下端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）が作業対象物Ｔａ１の回転動作により右下に移動し、作業対象物Ｔｂ１の右上端部に位置する指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｒ）が反時計回りに回転する。また、仮想手Ｖ（Ｈａ１ｌ）の近傍に、仮想手Ｖ（Ｈａ１ｌ）の移動方向を示す力情報１１０２が表示され、仮想手Ｖ（Ｈａ１ｒ）の近傍に、仮想手Ｖ（Ｈａ１ｒ）の回転方向を示す力情報１１０３が表示される。
【0089】
作業者Ｗ１は、指示者ＩＮ１の仮想手Ｖ（Ｈａ１ｌ）、Ｖ（Ｈａ１ｒ）の動きにあわせて、手Ｈｂ１ｌで作業対象物Ｔｂ１の左下端部を保持し、かつ、手Ｈｂ１ｒで作業対象物Ｔｂ１の右上端部を保持した状態で、作業対象物Ｔｂ１を反時計回りに回転させる。
【0090】
このようにして、作業者Ｗ１は指示者ＩＮ１の指示に従って作業し、指示者ＩＮ１はその作業内容をヘッドマウントディスプレイＤａ１で確認することができる。
【0091】
＜変形例１＞
上述した説明では、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、作業対象物ＴやデジタルドライバＭａ、ドライバＭｂといった工具の３次元位置データ２０１を取得していないが、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、手Ｈと同様に、これらの３次元位置データを取得してもよい。
上述した説明では、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、作業対象物ＴやデジタルドライバＭａ、ドライバＭｂといった工具の３次元位置データ２０１を取得していないが、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、手Ｈと同様に、これらの３次元位置データを取得してもよい。
【0092】
この場合、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、取得した手Ｈの３次元位置データ２０１から手Ｈの形状データ２０２を生成するとともに、作業対象物Ｔや工具の３次元位置データから形状データを生成する。そして、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、手Ｈの形状データ２０２と作業対象物Ｔの形状データとが干渉しているか否かを判定する。
【0093】
干渉している場合は、手Ｈから作業対象物Ｔに力がかかっている。したがって、ヘッドマウントディスプレイＤ（またはサーバ１０１）は、干渉している作業対象物Ｔの形状データの３次元座標点に、力がかかっていることを示す力情報を付与する。また、工具の形状データと作業対象物Ｔの形状データとの干渉についても同様である。
【0094】
このように、本実施形態によれば、指示者ＩＮが作業対象物Ｔａに加える力の量や方向を実演し、作業者Ｗは、作業対象物Ｔｂへの力加減を容易に把握することができる。したがって、指示者ＩＮの指導の容易化、および、作業者Ｗによる作業習得の効率化を図ることができる。
【0095】
＜変形例２＞
図１３は、ヘッドマウントディスプレイＤに表示される作業対象物Ｔａの仮想データを手Ｈで操作する状態を示す説明図である。ヘッドマウントディスプレイＤａの第１表示画面５１６に作業対象物Ｔａの仮想データを表示することもできる。作業対象物Ｔａの仮想データは、予めＣＡＤ等によって生成されている。また、第１表示画面５１６に表示される作業対象物Ｔａの仮想データは、仮想空間内での位置情報を含んでいる。
図１３は、ヘッドマウントディスプレイＤに表示される作業対象物Ｔａの仮想データを手Ｈで操作する状態を示す説明図である。ヘッドマウントディスプレイＤａの第１表示画面５１６に作業対象物Ｔａの仮想データを表示することもできる。作業対象物Ｔａの仮想データは、予めＣＡＤ等によって生成されている。また、第１表示画面５１６に表示される作業対象物Ｔａの仮想データは、仮想空間内での位置情報を含んでいる。
【0096】
ヘッドマウントディスプレイＤａに備えられたカメラ１０２が指示者ＩＮの手Ｈを撮像し、カメラ１０２または距離センサ（図示しない）がヘッドマウントディスプレイＤａから手Ｈまでの距離を測定する。仮想空間内での作業対象物Ｔａの位置情報と、実空間内での指示者ＩＮの手Ｈの位置（距離）情報との関係から、指示者ＩＮの手Ｈと作業対象物Ｔａとの間で干渉が生じているのか否かを判定する。
【0097】
図１３のように、指示者ＩＮの手Ｈが作業対象物Ｔａの内部に入り込んでいる場合は、手Ｈと作業対象物Ｔａとのあいだで干渉（重なり）が生じていると判定する。干渉が生じている場合は、手Ｈから作業対象物Ｔａに仮想的に力がかかっている。なお、指示者ＩＮの手Ｈが作業対象物Ｔａの内側により大きく入り込んでいるほど、手Ｈが受ける仮想的な力が大きくなるように検出してもよい。ヘッドマウントディスプレイＤ（またはサーバ１０１）は、手Ｈの３次元位置データ２０１と、手Ｈａの力に関する情報とに基づいて、動作データを生成する。このように、本実施形態によれば、指示者ＩＮがいる実空間に実体物として作業対象物Ｔａが置かれていなくても、手Ｈから作業対象物Ｔにかかる力の情報を検出することができる。
【0098】
指と物体のなす角度をθとすると下記式（１）が成り立つので、ｃｏｓ－１によりθを求めれば、指にかかる力の方向を算出することができる。
【0099】
【数1】
【0100】
＜変形例３＞
変形例２と同様に、ヘッドマウントディスプレイＤａの第１表示画面５１６には、作業対象物Ｔａの仮想データが表示される。作業対象物Ｔａの仮想データは、予めＣＡＤ等によって生成されている。また、仮想データである作業対象物Ｔａは、１つまたは複数の仮想部品から構成されており、ヘッドマウントディスプレイＤａが備える記憶部（図示しない）には、仮想部品ごとに予めその部品を操作するのに必要な力の量が記憶されている。
変形例２と同様に、ヘッドマウントディスプレイＤａの第１表示画面５１６には、作業対象物Ｔａの仮想データが表示される。作業対象物Ｔａの仮想データは、予めＣＡＤ等によって生成されている。また、仮想データである作業対象物Ｔａは、１つまたは複数の仮想部品から構成されており、ヘッドマウントディスプレイＤａが備える記憶部（図示しない）には、仮想部品ごとに予めその部品を操作するのに必要な力の量が記憶されている。
【0101】
指示者ＩＮが、仮想空間内で手Ｈを使って仮想部品を操作する（例えば、持ち上げる）と、ヘッドマウントディスプレイＤａは、記憶されている操作するのに必要な力の量（例えば、部品の重さ）を記憶部から取得し、手Ｈの３次元位置データ２０１と、手Ｈａの力に関する情報とに基づいて、動作データを生成する。このように、本実施形態によれば、指示者ＩＮがいる実空間に作業対象物Ｔａが置かれていなくても、手Ｈから作業対象物Ｔにかかる力の情報を検出することができる。
【0102】
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
【符号の説明】
【0103】
１００ 電子機器システム、１０１ サーバ、１０２ カメラ、１０３ ディスプレイ、１１０ ネットワーク、２０１ ３次元位置データ、２０２ 形状データ、３０１ プロセッサ、５１１ 第１取得部、５１２ 第１検出部、５１３ 第１生成部、５１４ 第１通信部、５１５ 第１表示制御部、５１６ 第１表示画面、５２１ 第２取得部、５２２ 第２検出部、５２３ 第２生成部、５２４ 第２通信部、５２５ 第２表示制御部、５２６ 第２表示画面、５３１ 第３取得部、５３２ 第３検出部、５３３ 第３生成部、５３４ 第３通信部、９０１ 力情報、９０２ 力情報、９１０ 接続点、１００１～１００３ 力情報、１１０１～１１０３ 力情報、Ｄ ヘッドマウントディスプレイ、Ｈ 手、ＩＮ 指示者、Ｍａ デジタルドライバ、Ｍｂ ドライバ、Ｔ 作業対象物、Ｗ 作業者
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
