特許7157424 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ＣＹＢＥＲＤＹＮＥ株式会社の特許一覧 ▶ 国立大学法人　筑波大学の特許一覧

特許7157424インタラクティブ情報伝達システム及びインタラクティブ情報伝達方法並びに情報伝達システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-12

(45)【発行日】2022-10-20

(54)【発明の名称】インタラクティブ情報伝達システム及びインタラクティブ情報伝達方法並びに情報伝達システム

(51)【国際特許分類】

G09B 19/00 20060101AFI20221013BHJP

B25J 3/00 20060101ALI20221013BHJP

A61B 18/14 20060101ALI20221013BHJP

G06F 3/01 20060101ALI20221013BHJP

【ＦＩ】

G09B19/00 Z

B25J3/00 A

A61B18/14

G06F3/01 560

G06F3/01 570

G06F3/01 514

【請求項の数】 38

(21)【出願番号】P 2020554012

(86)(22)【出願日】2019-10-30

(86)【国際出願番号】 JP2019042698

(87)【国際公開番号】W WO2020090943

(87)【国際公開日】2020-05-07

【審査請求日】2021-03-01

(31)【優先権主張番号】P 2018204539

(32)【優先日】2018-10-30

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2018248614

(32)【優先日】2018-12-28

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2019039641

(32)【優先日】2019-03-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】506310865

【氏名又は名称】ＣＹＢＥＲＤＹＮＥ株式会社

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人筑波大学

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】山海嘉之

【審査官】西村民男

(56)【参考文献】

【文献】特表２０１８－５００６７４（ＪＰ，Ａ）

【文献】特開２０１７－１９１４９０（ＪＰ，Ａ）

【文献】特開２０１６－１４０７２０（ＪＰ，Ａ）

【文献】特開２００６－２５９９２６（ＪＰ，Ａ）

【文献】特開２００４－１１７７７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２５００８６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２２０５２７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／００４５７４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ１／００－９／５６，

１７／００－１９／２６，

Ａ６１Ｂ１３／００－１８／１８，

Ａ６１Ｎ７／００－７／０２，

Ｂ２５Ｊ１／００－２１／０２，

Ｇ０６Ｆ３／０１，３／０４８－３／０４８９５，

Ｇ０６Ｑ１０／００－１０／１０，

３０／００－３０／０８，

５０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

熟練者と協働者とがネットワークを介して相互に情報授受しながら、前記熟練者が特定の作業に関して自己の技能を前記協働者に対して指導するインタラクティブ情報伝達システムにおいて、
前記熟練者側に設けられた指導側情報処理装置は、
前記協働者が扱う対象物を中心とする映像を前記ネットワークを介して受信する指導側通信部と、
前記指導側通信部にて受信した前記対象物の映像を表示する指導側映像表示部と、
前記指導側映像表示部の表示範囲内における前記熟練者の視線延長先の位置を視線位置データとして検知する視線検知部と、
前記熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知する動き検知ユニットと、を備え、
前記指導側通信部は、前記視線位置データ及び前記手先動作データをリアルタイムで前記ネットワークを介して送信し、
前記協働者側に設けられた協働側情報処理装置は、
前記指導側通信部から送信される前記視線位置データ及び前記手先動作データを受信する協働側通信部と、
前記対象物を中心とする映像を撮像する対象物撮像部と、
前記対象物撮像部により撮像される映像を表示すると同時に、表示範囲内において前記協働側通信部にて受信した前記視線位置データに基づく前記熟練者の視線延長先の位置をマーク表示する協働側映像表示部と、
前記協働者の各指先にそれぞれ装着されるエンドエフェクタを有し、当該各エンドエフェクタについて前記協働側通信部にて受信した前記手先動作データに基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与える力変位伝達ユニットと
を備え、前記協働側通信部は、前記対象物撮像部により撮像される映像とともに、前記力変位伝達ユニットの伝達結果である前記各エンドエフェクタの物理フィードバック情報を、前記ネットワークを介して前記指導側情報処理装置における前記指導側通信部に送信する
ことを特徴とするインタラクティブ情報伝達システム。

【請求項2】

前記指導側情報処理装置における前記動き検知ユニットは、
前記熟練者の各エンドポイントを異なる複数方向から撮像する立体撮像部と、
前記立体撮像部による撮像結果から前記各エンドポイントに対して前記熟練者の正面の所定位置を中心とする３次元座標を演算することにより、前記熟練者の各指先の３次元方向の動きに応じた手先動作データを検知する動作演算部と
を備えることを特徴とする請求項１に記載のインタラクティブ情報伝達システム。

【請求項3】

前記協働側情報処理装置における前記力変位伝達ユニットは、
前記各エンドエフェクタをそれぞれ指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するように駆動する力覚伝達駆動部と、
前記協働側通信部にて受信した前記手先動作データに基づいて、前記熟練者の前記各エンドポイントごとの３次元方向の動きを、当該エンドポイントの位置、速度、加速度、角速度、力、モーメントに分解して、それぞれ動作要素データに変換する信号変換部と、
前記各エンドエフェクタの各方向における位置、速度、加速度、角速度、力、モーメントが前記信号変換部から得られた前記動作要素データに基づく状態となるように、前記力覚伝達駆動部を制御する力覚伝達制御部と
を備えることを特徴とする請求項１又は２に記載のインタラクティブ情報伝達システム。

【請求項4】

前記協働側情報処理装置における前記力変位伝達ユニットは、
前記協働者による操作に応じて、前記各エンドエフェクタに対する前記手先動作データに基づく３次元方向の動きの伝達比を可変設定するための伝達比設定部を備え、
前記信号変換部は、前記手先動作データを前記伝達比設定部により設定された伝達比に調整して前記動作要素データに変換する
ことを特徴とする請求項３に記載のインタラクティブ情報伝達システム。

【請求項5】

前記各エンドエフェクタは、
前記協働者の指先の背部に接触保持される指先背保持部と、当該指先背保持部の端部から上下及び左右からそれぞれ引き出された一対の第１及び第２線状部材とを有し、
前記力覚伝達駆動部は、
前記第１線状部材を押出又は引込方向に移動させて、前記指先を伸展又は屈曲方向に誘導するように駆動する伸屈駆動部と、
前記第２線状部材を左右方向に移動させて、前記指先を内転又は外転方向に誘導するように駆動する内外転駆動部と、
前記力覚伝達制御部は、前記伸屈駆動部及び前記内外転駆動部をそれぞれ前記動作要素データに基づく状態となるように制御する
ことを特徴とする請求項３又は４に記載のインタラクティブ情報伝達システム。

【請求項6】

前記各エンドエフェクタは、
前記指先から第１関節までの間、当該第１関節から第２関節までの間、当該第２関節から第３関節までの間のいずれか一箇所以上に当該指の背部を中心に、当該指との接触面が周回方向に回動自在に巻着された巻着回動部を有し、
前記力覚伝達駆動部は、
前記巻着回動部の指との接触面を電磁力又は圧電推力に応じて回動させて、前記指を周回方向に誘導するように駆動する回動駆動部を有し、
前記力覚伝達制御部は、前記回動駆動部を前記動作要素データに基づく状態となるように制御する
ことを特徴とする請求項５に記載のインタラクティブ情報伝達システム。

【請求項7】

前記各エンドエフェクタは、
前記協働者の指先の背部を中心に装着され、３次元方向に指向性を持たせて振動可能な単数又は複数の振動素子を有し、
前記力覚伝達駆動部は、前記振動素子を前記指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導するように駆動する振動駆動部を有し、
前記力覚伝達制御部は、前記動作要素データに基づく状態となるように前記振動駆動部を制御する
ことを特徴とする請求項３又は４に記載のインタラクティブ情報伝達システム。

【請求項8】

前記各エンドエフェクタは、
前記協働者の指先の背部を中心に装着され、３次元方向に指向性を持たせて発光可能な単数又は複数の発光素子を有し、
前記力覚伝達駆動部は、前記発光素子を前記指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導するような発光状態で駆動する発光駆動部を有し、
前記力覚伝達制御部は、前記動作要素データに基づく状態となるように前記発光駆動部を制御する
ことを特徴とする請求項３又は４に記載のインタラクティブ情報伝達システム。

【請求項9】

前記熟練者の各指先にそれぞれ装着される前記各エンドエフェクタと同一構成からなるエンドエフェクタを有し、
当該各エンドエフェクタについて前記指導側通信部にて受信した前記協働者が装着する前記各エンドエフェクタの物理フィードバック情報に基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与える力変位伝達ユニットを備える
ことを特徴とする請求項１乃至８のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項10】

前記指導側情報処理装置において、
前記熟練者が前記作業を行う際に自己の指先を用いて操作する指導側作業用電子器具と、
前記指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部とを備え、
前記指導側通信部は、前記指導側調整データを前記ネットワークを介して前記協働側情報処理装置における前記協働側通信部に送信し、
前記協働側情報処理装置において、
前記指導側作業用電子器具と同一構成からなり、前記協働者が自己の指先を用いて操作する協働側作業用電子器具と、
前記協働側通信部にて受信した前記指導側調整データに基づいて、該当する操作内容の調整量を前記協働者による操作よりも優先させて前記協働側作業用電子器具の操作内容に反映させる操作データ優先反映部とを備える
ことを特徴とする請求項１乃至９のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項11】

前記協働側作業用電子器具において、
前記指導側調整データに基づく操作内容の調整量と、前記協働者による操作内容の調整量とのずれ量を検知する操作ずれ量検知部を備え、
前記操作ずれ量検知部は、検知したずれ量が所定の閾値以上であれば操作ギャップデータとして、前記協働側通信部及び前記ネットワークを介して前記指導側情報処理装置における前記指導側通信部に送信し、
前記指導側作業用電子器具において、
前記指導側通信部にて受信した前記操作ギャップデータに基づくずれ量に応じた振動を前記熟練者の指先に付与してフィードバック的に感知させる振動フィードバック付与部と
を備えることを特徴とする請求項１０に記載のインタラクティブ情報伝達システム。

【請求項12】

互いに同一構成からなる前記協働側作業用電子器具及び前記指導側作業用電子器具とそれぞれ別体に着脱自在に設けられ、
複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち前記操作手段以外の操作状態を定量化して計測する操作状態計測部と、前記調整量計測部及び前記操作状態計測部による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部とを含む器具用アタッチメントを備え、
前記同期データ生成部は、前記ネットワークを介して前記協働側情報処理装置における前記協働側通信部と前記指導側情報処理装置における前記指導側通信部との間で、前記同期データを相互に送受信し、
前記協働側作業用電子器具及び前記指導側作業用電子器具に取り付けられる前記器具用アタッチメントは、
前記協働側情報処理装置及び前記指導側情報処理装置の間にて前記同期データのデータ比較結果に基づく操作内容の差異量を検知する差異量検知部と、
前記差異量検知部により検知された差異量に応じた力覚を前記協働者及び前記熟練者の手先にそれぞれ付与してフィードバック的に感知させる力覚フィードバック付与部と
をそれぞれ備えることを特徴とする請求項１０又は１１に記載のインタラクティブ情報伝達システム。

【請求項13】

前記協働側情報処理装置において、
前記力変位伝達ユニットは、前記各エンドエフェクタの周辺温度を計測する周辺温度計測部をさらに備え、
前記協働側通信部は、前記周辺温度計測部により計測された前記各エンドエフェクタの周辺温度を周辺温度データとして、前記指導側情報処理装置における前記指導側通信部に送信し、
前記指導側情報処理装置において、
前記熟練者の各指先に装着され、それぞれ熱電素子が搭載されたエンドサックと、
前記各熱電素子について前記指導側通信部にて受信した前記周辺温度データに基づく周辺温度と同等の温度に調節する指先温度調節部と
を備えることを特徴とする請求項１乃至１２のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項14】

前記協働側情報処理装置の前記協働側映像表示部の近傍に設けられ、前記対象物に関連する各種データを一覧表示する協働側データ表示部と、
前記指導側情報処理装置の前記指導側映像表示部の近傍に設けられ、前記協働側データ表示部に表示されるデータ群と同一のデータ群を表示する指導側データ表示部と、
を備え、前記視線検知部は、前記指導側データ表示部の表示範囲内における前記熟練者の視線延長先の位置を視線位置データとして前記指導側通信部に送出し、
前記協働側データ表示部は、表示範囲内において前記協働側通信部にて受信した前記視線位置データに基づく前記熟練者の視線延長先の位置をマーク表示する
ことを特徴とする請求項１乃至１３のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項15】

前記協働側映像表示部の表示範囲内における前記協働者の視線延長先の位置を視線位置データとして検知する視線検知部を備え、
前記視線検知部は、前記視線位置データを前記協働側通信部に送出し、
前記指導側映像表示部は、表示範囲内において前記指導側通信部にて受信した前記視線位置データに基づく前記協働者の視線延長先の位置をマーク表示する
ことを特徴とする請求項１乃至１４のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項16】

前記協働側情報処理装置に設けられ、前記対象物撮像部による撮像と同期して、前記協働者の周囲に発生する可聴音及び超音波を含む音波を集音する周囲音集音部と、
前記指導側情報処理装置に設けられ、前記周囲音集音部から前記指導側通信部にて受信した前記可聴音及び超音波を再生する周囲音再生部と
を備えることを特徴とする請求項１乃至１５のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項17】

前記指導側情報処理装置において、前記熟練者の音声を集音するマイクロホンを備え、前記指導側通信部は、当該マイクロホンから得られた音声データをリアルタイムでネットワークを介して送信し、
前記協働側情報処理装置において、前記協働側通信部にて受信した音声データに基づく音声をリアルタイムに再生するスピーカを備える
ことを特徴とする請求項１乃至１６のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項18】

前記協働側情報処理装置における前記力変位伝達ユニットは、
前記協働側通信部にて受信した音声データに基づく発話内容に応じて、前記協働者への力覚付与を即座に停止させ又は再開させる
ことを特徴とする請求項１７に記載のインタラクティブ情報伝達システム。

【請求項19】

前記指導側情報処理装置の前記指導側通信部及び前記協働側情報処理装置の前記協働側通信部にそれぞれ前記ネットワークを介して接続され、
前記作業に関する前記熟練者及び前記協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて記憶する作業データ記憶部と、
前記作業データ記憶部から得られた前記指導側作業データ及び前記協働側作業データに基づいて、前記各動作内容のうち有意な特徴点を時系列的に順次抽出する有意特徴抽出部と、
前記有意特徴抽出部により抽出された前記各特徴点について、前記作業における優れた技能に相当するか否かを分析する技能分析部と、
前記技能分析部により肯定的な分析結果として得られた前記各特徴点を含む動作内容を、前記熟練者による優れた技能を表す技能データとして記憶する技能データ記憶部と
を備えることを特徴とする請求項１乃至１８のいずれか一項に記載のインタラクティブ情報伝達システム。

【請求項20】

前記作業と同一の作業に関して、前記協働者が一連の動作内容を実行する際、当該各動作内容と関連性の高い前記技能データを前記技能データ記憶部から逐次読み出すデータ読出部と、
前記協働者の前記各動作内容について、前記技能データに基づく優れた技能に相当する動作内容と合致する可能性が時系列的に高くなるか否かを逐次推定する動作内容推定部と、
前記動作内容推定部による推定結果に基づいて、前記技能データに基づく優れた技能に相当する動作内容を、リアルタイムで前記協働者が実行する動作内容に反映させて前記協働者を指導する動作内容反映部と
を備えることを特徴とする請求項１９に記載のインタラクティブ情報伝達システム。

【請求項21】

熟練者と協働者とがネットワークを介して相互に情報授受しながら、前記熟練者が特定の作業に関して自己の技能を前記協働者に対して指導するインタラクティブ情報伝達方法において、
前記熟練者側に設けられた指導側情報処理装置は、
前記協働者が扱う対象物の映像を前記ネットワークを介して受信して指導側映像表示部に表示しながら、当該映像の表示範囲内における前記熟練者の視線延長先の位置を視線位置データとして検知すると同時に、前記熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知した後、前記視線位置データ及び前記手先動作データをリアルタイムで前記ネットワークを介して送信し、
前記協働者側に設けられた協働側情報処理装置は、
前記対象物を中心とする映像を撮像しながら、当該映像の表示範囲内において前記ネットワークを介して前記指導側情報処理装置から受信した前記視線位置データに基づく前記熟練者の視線延長先の位置を協働側映像表示部にマーク表示すると同時に、前記協働者の各指先にそれぞれ装着されるエンドエフェクタについて前記手先動作データに基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与えた後、前記対象物を中心として撮像される映像とともに、前記３次元方向の動きの伝達結果である前記各エンドエフェクタの物理フィードバック情報を、前記ネットワークを介して前記指導側情報処理装置に送信する
ことを特徴とするインタラクティブ情報伝達方法。

【請求項22】

前記指導側情報処理装置は、
前記熟練者の各エンドポイントを異なる複数方向から撮像した撮像結果から前記各エンドポイントに対して前記熟練者の正面の所定位置を中心とする３次元座標を演算することにより、前記熟練者の各指先の３次元方向の動きに応じた手先動作データを検知する
を備えることを特徴とする請求項２１に記載のインタラクティブ情報伝達方法。

【請求項23】

前記協働側情報処理装置は、
前記熟練者側から受信した前記手先動作データに基づいて、前記熟練者の前記各エンドポイントごとの３次元方向の動きを、当該エンドポイントの位置、速度、加速度、角速度、力、モーメントに分解して、それぞれ動作要素データに変換し、前記各エンドエフェクタの各方向における位置、速度、加速度、角速度、力、モーメントが前記動作要素データに基づく状態となるように、当該各エンドエフェクタをそれぞれ指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するように制御する
ことを特徴とする請求項２１又は２２に記載のインタラクティブ情報伝達方法。

【請求項24】

前記協働側情報処理装置は、
前記協働者による操作に応じて、前記各エンドエフェクタに対する前記手先動作データに基づく３次元方向の動きの伝達比を設定し、前記手先動作データを当該設定された伝達比に調整して前記動作要素データに変換する
ことを特徴とする請求項２３に記載のインタラクティブ情報伝達方法。

【請求項25】

前記協働側情報処理装置は、
前記各エンドエフェクタの周辺温度を計測し、当該計測された周辺温度データを前記ネットワークを介して前記指導側情報処理装置に送信し、
前記指導側情報処理装置は、
前記熟練者の各指先に装着されたエンドサックにそれぞれ搭載された熱電素子について、前記周辺温度データに基づく周辺温度と同等の温度に調節する
ことを特徴とする請求項２１乃至２４のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項26】

前記指導側情報処理装置は、
前記熟練者の各指先にそれぞれ装着される前記各エンドエフェクタと同一構成からなるエンドエフェクタについて、前記協働側情報処理装置から受信した前記協働者が装着する前記各エンドエフェクタの物理フィードバック情報に基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与える
ことを特徴とする請求項２１乃至２５のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項27】

前記協働側情報処理装置の前記協働側映像表示部における前記協働者が扱う対象物の映像の表示範囲の近傍にて、当該対象物に関連する各種データを協働側データ表示部に一覧表示すると同時に、前記指導側情報処理装置の前記指導側映像表示部における前記映像の表示範囲の近傍にて、前記協働者側に表示されるデータ群と同一のデータ群を指導側データ表示部に表示しておき、
前記指導側情報処理装置は、前記指導側データ表示部の表示範囲内における前記熟練者の視線延長先の位置を視線位置データとして前記協働側情報処理装置に送信し、
前記協働側情報処理装置は、前記協働側データ表示部の表示範囲内において、前記指導側情報処理装置から受信した前記視線位置データに基づく前記熟練者の視線延長先の位置をマーク表示する
ことを特徴とする請求項２１乃至２６のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項28】

前記協働側情報処理装置は、前記協働側映像表示部の表示範囲内における前記協働者の視線延長先の位置を視線位置データとして検知して前記指導側情報処理装置に送出し、
前記指導側情報処理装置は、前記指導側映像表示部の表示範囲内において前記協働側情報処理装置から受信した前記視線位置データに基づく前記協働者の視線延長先の位置をマーク表示する
ことを特徴とする請求項２１乃至２７のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項29】

前記協働側情報処理装置は、前記対象物を中心とする映像の撮像と同期して、前記協働者の周囲に発生する可聴音及び超音波を含む音波を集音して前記指導側情報処理装置に送信し、
前記指導側情報処理装置は、前記協働側情報処理装置から受信した前記可聴音及び超音波を再生する
ことを特徴とする請求項２１乃至２８のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項30】

前記指導側情報処理装置は、前記熟練者の音声を集音して得られた音声データをリアルタイムでネットワークを介して前記協働側情報処理装置に送信し、
前記協働側情報処理装置は、前記指導側情報処理装置から受信した音声データに基づく音声をリアルタイムで再生する
ことを特徴とする請求項２１乃至２９のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項31】

前記協働側情報処理装置は、
前記指導側情報処理装置から受信した音声データに基づく発話内容に応じて、前記協働者への力覚付与を即座に停止させ又は再開させる
ことを特徴とする請求項３０に記載のインタラクティブ情報伝達方法。

【請求項32】

前記作業に関する前記熟練者及び前記協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて作業データ記憶部に記憶しておき、
前記作業データ記憶部から得られた前記指導側作業データ及び前記協働側作業データに基づいて、前記各動作内容のうち有意な特徴点を時系列的に順次抽出し、
抽出された前記各特徴点について、前記作業における優れた技能に相当するか否かを分析し、
肯定的な分析結果として得られた前記各特徴点を含む動作内容を、前記熟練者による優れた技能を表す技能データとして技能データ記憶部に記憶する
ことを特徴とする請求項２１乃至３１のいずれか一項に記載のインタラクティブ情報伝達方法。

【請求項33】

前記作業と同一の作業に関して、前記協働者が一連の動作内容を実行する際、当該各動作内容と関連性の高い前記技能データを前記技能データ記憶部から逐次読み出し、
前記協働者の前記各動作内容について、前記技能データに基づく優れた技能に相当する動作内容と合致する可能性が時系列的に高くなるか否かを逐次推定し、
当該推定した結果に基づいて、前記技能データに基づく優れた技能に相当する動作内容を、リアルタイムで前記協働者が実行する動作内容に反映させて前記協働者を指導する
ことを特徴とする請求項３２に記載のインタラクティブ情報伝達方法。

【請求項34】

熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、
前記指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部と、当該指導側調整データを送信する指導側通信部とを有する指導側情報処理装置と、
前記指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、前記指導側通信部から前記ネットワークを介して送信される前記指導側調整データを受信する協働側通信部と、前記指導側調整データに基づいて、該当する操作内容の調整量を前記協働側作業用電子器具の操作内容に反映させる操作内容反映部とを有する協働側器具用アタッチメント式ロボットと
を備えることを特徴とする情報伝達システム。

【請求項35】

前記協働側作業用電子器具における複数の操作内容のうち定量化可能な操作による調整量を計測する調整量計測部を備え、
前記操作内容反映部は、前記調整量計測部からフィードバックされる調整量に基づいて、前記協働側作業用電子器具における当該操作内容の調整量をキャリブレーション補正する
ことを特徴とする請求項３４に記載の情報伝達システム。

【請求項36】

熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、
前記指導側作業用電子器具に着脱自在に取り付けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち前記操作手段以外の操作状態を定量化して計測する操作状態計測部と、前記調整量計測部及び前記操作状態計測部による計測結果に基づいていて、当該計測結果を併せた同期データを生成する同期データ生成部と、前記同期データを送信する指導側通信部とを有する指導側器具用アタッチメントと、
前記指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、前記指導側通信部から前記ネットワークを介して送信される前記同期データを受信する協働側通信部と、前記同期データに基づく各前記操作手段の調整量及び当該操作手段同士の操作タイミングを制御信号として生成する操作制御部と、当該操作制御部による前記制御信号に基づいて前記各操作手段を駆動する操作手段駆動部とを有する協働側器具用アタッチメント式ロボットと
を備えることを特徴とする情報伝達システム。

【請求項37】

前記協働側作業用電子器具における複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量フィードバック計測部を備え、
前記操作制御部は、前記調整量フィードバック計測部からフィードバックされる調整量に基づいて、前記操作手段の調整量をキャリブレーション補正する
ことを特徴とする請求項３６に記載の情報伝達システム。

【請求項38】

前記協働側作業用電子器具における複数の操作内容のうち前記操作手段以外の操作状態を定量化して計測する操作状態フィードバック計測部を備え、
前記操作制御部は、前記同期データに基づく前記操作手段以外の操作状態の計測量を前記制御信号に含めて生成し、当該制御信号を前記協働側通信部を介して前記協働側作業用電子器具と連携動作する外部機器に送信し、
前記操作制御部は、前記外部機器及び前記協働側作業用電子器具を介して前記操作状態フィードバック計測部からフィードバックされる操作状態の計測量と前記熟練者の操作状態の計測量との比較結果を表すキャリブレーションデータを生成する
ことを特徴とする請求項３６に記載の情報伝達システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導する技術に関する。

【背景技術】

【0002】

現在、不整脈治療に対しては、不整脈を引き起こす異常な心臓内の局所にカテーテルを使用して焼灼を行い、正常なリズムを取り戻す治療（カテーテルアブレーション治療）が広く実施されている。特に中核病院では、カテーテルアブレーション治療を適切かつ頻繁に実施できる習熟した技量を有する熟練医師が中心となって、安心安全な治療が行われている。

【0003】

このカテーテルアブレーション治療は、局所麻酔下で患者の足の付け根や首の静脈から直径２mm位の長い管であるカテーテルを血管をたどり心臓内に挿入して、カテーテル先端の電極を介して心電図を計測しながら不整脈の原因箇所を突き止めた後、治療部位へカテーテル先端から高周波電流を流して心臓組織を焼灼させるものである。

【0004】

このようにカテーテルアブレーション治療は、外科的な手術に比べて患者への身体の負担が少ないが、スピーディかつ安全に行うためには、熟練医師により優れた技能を指導してもらいつつ、数多くの患者に対して治療を施すことにより自ら経験を積む必要がある。

【0005】

しかし、習熟した技量を有する熟練医師がいない地域の病院も多々あり、熟練医師の不足は、地域で生きる患者にとって非常に深刻な問題となっている。

【0006】

このような状況に鑑み、最近では、遠隔地と中核病院との間を専用回線でつなぎ、リアルタイムで画像を見ながら口頭で指示を与えるなど、熟練医師である指導医が遠隔から地域の病院で行われる手術に関与できる取り組みも始まっている。事例として、遠隔地との画像を介したカテーテルアブレーション治療の遠隔治療支援に関しては、茨城県では2017年度より取り組みが始まっている。

【0007】

先行技術文献としては、熟練者がネットワークを介して遠隔地にいる協働者に作業を行わせるに当たって、コミュニケーション端末を用いて映像音声による指示を与えるための遠隔作業支援コミュニケーション装置が提案されている（特許文献１参照）。

【0008】

この遠隔作業支援コミュニケーション装置では、熟練者が自分の見るべき方向にカメラを向けることにより、協働者や作業対象の様子を詳細に観察すると同時に、協働者に対して注目して欲しい作業対象に対してレーザポインタを向けて指示することができる。

【0009】

また、訓練者による操作内容を力触覚情報として記憶しておき、その力触覚を活用して仮想の針体で仮想の経穴を刺激する鍼治療の訓練を行えるようにした鍼治療訓練システムが提案されている（特許文献２参照）。

【0010】

この鍼治療訓練システムによれば、経穴に対して刺す針体の角度や速度、力度、深度が適切か否かを判断できるようにして鍼治療術を向上させることが可能となる。

【0011】

さらに、本発明の発明者からも、オペレータの生体電位情報信号を用いてロボットアームのインピーダンスを動的に変化させることで、マニピュレーションシステムの操作性を向上させるマスタスレーブ型のマニピュレーションシステム（特許文献３参照）や、これに加えて視覚情報による操作アシストを行い操作性の向上したマスタスレーブ型のマニピュレーションシステム（特許文献４参照）が提案されている。

【先行技術文献】

【特許文献】

【0012】

【文献】特開２０００－１２５０２４号公報

【文献】特表２００５－２８７６５６号公報

【文献】特開２０１４－４６５５号公報

【文献】特開２０１４－４６５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

ところで、カテーテルアブレーション治療手術のような迅速性かつ正確性が要求されるような状況では、熟練者から協働者に伝達する手技は非常に繊細なレベルのものが要求される一方、協働者がその手技をリアルタイムで繊細に力覚として感じ取る必要がある。

【0014】

また、遠隔地にいる熟練者は、協働者の視線先のみならず周囲環境までも可能な限り知覚しなければ、協働者に対して間違った状況判断に応じた指導をしてしまうおそれもある。

【0015】

例えば、患者の大腿部におけるカテーテルを穿刺する部位を的確に同定する場合に、大腿動脈は大腿骨頭の骨皮質下縁のレベルで分岐するとされるため、透視下に大腿骨頭の位置を確認して穿刺する必要がある。さらに穿刺手技については、血管後壁を貫通させない方法として、注射器で軽く吸引しつつ穿刺を押し進め、血液逆流のあった時点でガイドワイヤーを挿入して血管内を確保する場合もある。

【0016】

このような繊細かつ高精度の手技を熟練者から協働者に伝達するためには、上述の特許文献１から４までに記載の技術内容を組み合わせるだけでは、手技の伝達精度を実用上十分に満足させることは非常に難しい。

【0017】

すなわち、熟練者は、単に協働者の視線に合わせてリアルタイムで手技を指導するためには、協働者の現在の作業状態及びその周囲環境までをも高い精度で知覚しなければならない。これと同時に、協働者も熟練者の意図を直感的に正確に理解するためには、熟練者に対して現在の自分の作業状況を正確に把握してもらわなければならない。

【0018】

このように、画像と音声による治療支援だけでも、遠隔治療支援に対する有用な方法として期待されるが、習熟した医師がどのようにカテーテルを扱い、どのように治療を進めていくかという技量の伝達・伝承については、未開拓の状況である。熟練医師や指導医が遠隔にいる医師・医療チームと協働し、治療手技などの技量を伝授しながら、適切な治療を実施できていないことは、大きな問題である。

【0019】

本発明は以上の点を考慮してなされたもので、協働者は、自分の手作業による行為を行う際に、遠隔地にいる熟練者と臨場感を共有しながら、当該熟練者の暗黙知である手技を間接的にリアルタイムで指導を受けることができるインタラクティブ情報伝達システム及びインタラクティブ情報伝達方法並びに情報伝達システムを提案するものである。

【課題を解決するための手段】

【0020】

かかる課題を解決するため本発明においては、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するインタラクティブ情報伝達システムにおいて、熟練者側に設けられた指導側情報処理装置は、協働者が扱う対象物を中心とする映像をネットワークを介して受信する指導側通信部と、指導側通信部にて受信した対象物の映像を表示する指導側映像表示部と、指導側映像表示部の表示範囲内における熟練者の視線延長先の位置を視線位置データとして検知する視線検知部と、熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知する動き検知ユニットと、を備え、指導側通信部は、視線位置データ及び手先動作データをリアルタイムでネットワークを介して送信し、協働者側に設けられた協働側情報処理装置は、指導側通信部から送信される視線位置データ及び手先動作データを受信する協働側通信部と、対象物を中心とする映像を撮像する対象物撮像部と、対象物撮像部により撮像される映像を表示すると同時に、表示範囲内において協働側通信部にて受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示する協働側映像表示部と、協働者の各指先にそれぞれ装着されるエンドエフェクタを有し、当該各エンドエフェクタについて協働側通信部にて受信した手先動作データに基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与える力変位伝達ユニットとを備え、協働側通信部は、対象物撮像部により撮像される映像とともに、力変位伝達ユニットの伝達結果である各エンドエフェクタの物理フィードバック情報を、ネットワークを介して指導側情報処理装置における指導側通信部に送信するようにした。

【0021】

このように熟練者は、協働者が扱う対象物を中心とする映像と同一の映像を目視しながら、自己の視線先の位置をリアルタイムで協働者に伝達すると同時に、自己の指先の３次元方向の動きをリアルタイムで協働者の各指に力覚として伝達させるように指導しながら、当該伝達結果を熟練者にフィードバックする。

【0022】

この結果、協働者は、自分の作業を行う際に、遠隔地にいる熟練者と臨場感を共有しながら、当該熟練者の暗黙知である手技を間接的にリアルタイムで指導を受けることができる。さらに熟練者は協働者への力覚伝達結果をフィードバック的に感知することにより、自己の指導内容と協働者の応答内容とのギャップをリアルタイムで感知することができる。

【0023】

また本発明においては、指導側情報処理装置における動き検知ユニットは、熟練者の各エンドポイントを異なる複数方向から撮像する立体撮像部と、立体撮像部による撮像結果から各エンドポイントに対して熟練者の正面の所定位置を中心とする３次元座標を演算することにより、熟練者の各指先の３次元方向の動きに応じた手先動作データを検知する動作演算部とを備えるようにした。この結果、熟練者の指先の動きを高精度で検知することができる。

【0024】

さらに本発明においては、協働側情報処理装置における力変位伝達ユニットは、各エンドエフェクタをそれぞれ指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するように駆動する力覚伝達駆動部と、協働側通信部にて受信した手先動作データに基づいて、熟練者の各エンドポイントごとの３次元方向の動きを、当該エンドポイントの位置、速度、加速度、角速度、力、モーメントに分解して、それぞれ動作要素データに変換する信号変換部と、各エンドエフェクタの各方向における位置、速度、加速度、角速度、力、モーメントが信号変換部から得られた動作要素データに基づく状態となるように、力覚伝達駆動部を制御する力覚伝達制御部とを備えるようにした。

【0025】

この結果、協働者の各指に装着するエンドエフェクタを、熟練者の各指先であるエンドポイントの３次元方向の動きに合わせて駆動することにより、協働者の各指に伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するような力覚を付与することができる。

【0026】

さらに本発明においては、協働側情報処理装置における力変位伝達ユニットは、協働者による操作に応じて、各エンドエフェクタに対する手先動作データに基づく３次元方向の動きの伝達比を可変設定するための伝達比設定部を備え、信号変換部は、手先動作データを伝達比設定部により設定された伝達比に調整して動作要素データに変換するようにした。

【0027】

この結果、協働者は自己の作業に支障が生じると判断した場合、自ら伝達比を調整することにより、熟練者の各指先の３次元方向の動きを伝達される度合いを高くしたり低くしたりすることが可能となる。すなわち、伝達比を変えることによって、熟練者優位か協働者優位かを調整することができることから、協働者は自己の習熟度に応じた作業を行うことが可能となる。

【0028】

さらに本発明においては、各エンドエフェクタは、協働者の指先の背部に接触保持される指先背保持部と、当該指先背保持部の端部から上下及び左右からそれぞれ引き出された一対の第１及び第２線状部材とを有し、力覚伝達駆動部は、第１線状部材を押出又は引込方向に移動させて、指先を伸展又は屈曲方向に誘導するように駆動する伸屈駆動部と、第２線状部材を左右方向に移動させて、指先を内転又は外転方向に誘導するように駆動する内外転駆動部と、力覚伝達制御部は、伸屈駆動部及び内外転駆動部をそれぞれ動作要素データに基づく状態となるように制御するようにした。

【0029】

この結果、協働者が各指に装着するエンドエフェクタについて、熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタを、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

【0030】

さらに本発明においては、各エンドエフェクタは、指先から第１関節までの間、当該第１関節から第２関節までの間、当該第２関節から第３関節までの間のいずれか一箇所以上に当該指の背部を中心に、当該指との接触面が周回方向に回動自在に巻着された巻着回動部を有し、力覚伝達駆動部は、巻着回動部の指との接触面を電磁力又は圧電推力に応じて回動させて、指を周回方向に誘導するように駆動する回動駆動部を有し、力覚伝達制御部は、回動駆動部を動作要素データに基づく状態となるように制御するようにした。

【0031】

この結果、協働者が各指に装着するエンドエフェクタについて、伸展又は屈曲方向と内外転方向とのみならず、指先を用いて捻る動作を行う場合に当該指を周回方向に誘導するようにも力覚を伝達することにより、さらに熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタを、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

【0032】

さらに本発明においては、各エンドエフェクタは、協働者の指先の背部を中心に装着され、３次元方向に指向性を持たせて振動可能な単数又は複数の振動素子を有し、力覚伝達駆動部は、振動素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導するように駆動する振動駆動部を有し、力覚伝達制御部は、動作要素データに基づく状態となるように振動駆動部を制御するようにした。

【0033】

【0034】

さらに本発明においては、各エンドエフェクタは、協働者の指先の背部を中心に装着され、３次元方向に指向性を持たせて発光可能な単数又は複数の発光素子を有し、力覚伝達駆動部は、発光素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導するような発光状態で駆動する発光駆動部を有し、力覚伝達制御部は、動作要素データに基づく状態となるように発光駆動部を制御するようにした。

【0035】

【0036】

さらに本発明においては、熟練者の各指先にそれぞれ装着される各エンドエフェクタと同一構成からなるエンドエフェクタを有し、当該各エンドエフェクタについて指導側通信部にて受信した協働者が装着する各エンドエフェクタの物理フィードバック情報に基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与える力変位伝達ユニットを備えるようにした。

【0037】

この結果、熟練者は、協働者と同一構成のエンドエフェクタを各指に装着した状態において、自分が伝達した手先の動きに対して協働者の作業内容を力覚伝達結果として力変位伝達ユニットを通じてフィードバック的に感知することができる。従って、熟練者は、自己の指導内容と協働者の応答内容とのギャップをリアルタイムで感知することができるのみならず、各エンドエフェクタが協働者と一体的に動作し、インタラクティブに指先の動作情報を伝達し合うことが可能となる。

【0038】

さらに本発明においては、指導側情報処理装置において、熟練者が作業を行う際に自己の指先を用いて操作する指導側作業用電子器具と、指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部とを備え、指導側通信部は、指導側調整データをネットワークを介して協働側情報処理装置における協働側通信部に送信し、協働側情報処理装置において、指導側作業用電子器具と同一構成からなり、協働者が自己の指先を用いて操作する協働側作業用電子器具と、協働側通信部にて受信した指導側調整データに基づいて、該当する操作内容の調整量を協働者による操作よりも優先させて協働側作業用電子器具の操作内容に反映させる操作データ優先反映部とを備えるようにした。

【0039】

この結果、熟練者と協働者が同一構成の作業用電子器具を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による作業用電子器具の操作内容に反映させるようにしたことにより、作業における一連の動作に誤りが生じるのを未然に回避することができる。

【0040】

さらに本発明においては、協働側作業用電子器具において、指導側調整データに基づく操作内容の調整量と、協働者による操作内容の調整量とのずれ量を検知する操作ずれ量検知部を備え、操作ずれ量検知部は、検知したずれ量が所定の閾値以上であれば操作ギャップデータとして、協働側通信部及びネットワークを介して指導側情報処理装置における指導側通信部に送信し、指導側作業用電子器具において、指導側通信部にて受信した操作ギャップデータに基づくずれ量に応じた振動を熟練者の指先に付与してフィードバック的に感知させる振動フィードバック付与部とを備えるようにした。

【0041】

この結果、熟練者と協働者が同一構成の作業用電子器具を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による作業用電子器具の操作内容に反映させるが、協働者の操作内容の調整量とのずれ量が所定レベル以上である場合は、熟練者にそのずれ量をフィードバックするようにしたことにより、熟練者が協働者との操作内容の相違部分をリアルタイムで感覚的に認識することができる。

【0042】

さらに本発明においては、互いに同一構成からなる協働側作業用電子器具及び指導側作業用電子器具とそれぞれ別体に着脱自在に設けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部と、調整量計測部及び操作状態計測部による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部とを含む器具用アタッチメントを備え、同期データ生成部は、ネットワークを介して協働側情報処理装置における協働側通信部と指導側情報処理装置における指導側通信部との間で、同期データを相互に送受信し、協働側作業用電子器具及び指導側作業用電子器具に取り付けられる器具用アタッチメントは、協働側情報処理装置及び指導側情報処理装置の間にて同期データのデータ比較結果に基づく操作内容の差異量を検知する差異量検知部と、差異量検知部により検知された差異量に応じた力覚を協働者及び熟練者の手先にそれぞれ付与してフィードバック的に感知させる力覚フィードバック付与部とをそれぞれ備えるようにした。

【0043】

このように協働側及び指導側において作業用電子器具にそれぞれ同一構成の器具用アタッチメントを装着することにより、協働者も熟練者もお互いに相手側の操作手段による調整量及びそれ以外の操作状態を力覚として感知し合いながら、作業用電子器具を操作することができる。特に作業用電子器具の操作手段以外の操作状態である、手先の繊細な作業による手技や判断についても定量的な力覚として相互に伝達することが可能となる。

【0044】

さらに本発明においては、協働側情報処理装置において、力変位伝達ユニットは、各エンドエフェクタの周辺温度を計測する周辺温度計測部をさらに備え、協働側通信部は、周辺温度計測部により計測された各エンドエフェクタの周辺温度を周辺温度データとして、指導側情報処理装置における指導側通信部に送信し、指導側情報処理装置において、熟練者の各指先に装着され、それぞれ熱電素子が搭載されたエンドサックと、各熱電素子について指導側通信部にて受信した周辺温度データに基づく周辺温度と同等の温度に調節する指先温度調節部とを備えるようにした。

【0045】

この結果、熟練者が装着する各エンドサックを協働者の各指先で感じる温度と同等の温度に調整することにより、対象物を扱う際に臨場感を向上させることができる。

【0046】

さらに本発明においては、協働側情報処理装置の協働側映像表示部の近傍に設けられ、対象物に関連する各種データを一覧表示する協働側データ表示部と、指導側情報処理装置の指導側映像表示部の近傍に設けられ、協働側データ表示部に表示されるデータ群と同一のデータ群を表示する指導側データ表示部と、を備え、視線検知部は、指導側データ表示部の表示範囲内における熟練者の視線延長先の位置を視線位置データとして指導側通信部に送出し、協働側データ表示部は、表示範囲内において協働側通信部にて受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示するようにした。

【0047】

この結果、熟練者は協働者が扱う対象物を中心とする映像を共有しながら、視線延長先の位置を同一映像の表示範囲にマーク表示するのみならず、現在の作業に必要なデータ群の表示内容についても同様に視線教示することにより、熟練者の技能を視線の移動タイミングを交えてよりリアルに指導することができる。

【0048】

さらに本発明においては、協働側映像表示部の表示範囲内における協働者の視線延長先の位置を視線位置データとして検知する視線検知部を備え、視線検知部は、視線位置データを協働側通信部に送出し、指導側映像表示部は、表示範囲内において指導側通信部にて受信した視線位置データに基づく協働者の視線延長先の位置をマーク表示するようにした。

【0049】

この結果、熟練者は、自己の視線先の位置を協働側映像表示部の表示範囲内にマーク表示させると同時に、協働者の視線先の位置を指導側映像表示部の表示範囲内にマーク表示させることができ、協働者及び熟練者が相手側の視線位置を相互にリアルタイムで目視確認しながら作業することが可能となる。

【0050】

さらに本発明においては、協働側情報処理装置に設けられ、対象物撮像部による撮像と同期して、協働者の周囲に発生する可聴音及び超音波を含む音波を集音する周囲音集音部と、指導側情報処理装置に設けられ、周囲音集音部から指導側通信部にて受信した可聴音及び超音波を再生する周囲音再生部とを備えるようにした。

【0051】

この結果、熟練者は協働者の周囲環境について可聴音のみならず超音波も自己の環境下で聴覚にて感知することにより、協働者の周囲環境を視聴覚にて高い精度で共有することが可能となる。

【0052】

さらに本発明においては、指導側情報処理装置において、熟練者の音声を集音するマイクロホンを備え、指導側通信部は、当該マイクロホンから得られた音声データをリアルタイムでネットワークを介して送信し、協働側情報処理装置において、協働側通信部にて受信した音声データに基づく音声をリアルタイムに再生するスピーカを備えるようにした。

【0053】

この結果、熟練者は自己の手技を協働者に指導する際に、力覚による手先への伝達のみならず、音声による耳への伝達をも同時に行うことができ、より一層リアルタイムで正確な指導を行うことが可能となる。

【0054】

さらに本発明においては、協働側情報処理装置における力変位伝達ユニットは、協働側通信部にて受信した音声データに基づく発話内容に応じて、協働者への力覚付与を即座に停止させ又は再開させるようにした。

【0055】

この結果、熟練者が協働者に指導する際に手技の間接的な力覚による伝達よりも、言葉で直接伝えた方が伝わりやすい場合には、リアルタイムで口頭指導を優先させることが可能となる。

【0056】

さらに本発明においては、指導側情報処理装置の指導側通信部及び協働側情報処理装置の協働側通信部にそれぞれネットワークを介して接続され、作業に関する熟練者及び協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて記憶する作業データ記憶部と、作業データ記憶部から得られた指導側作業データ及び協働側作業データに基づいて、各動作内容のうち有意な特徴点を時系列的に順次抽出する有意特徴抽出部と、有意特徴抽出部により抽出された各特徴点について、作業における優れた技能に相当するか否かを分析する技能分析部と、技能分析部により肯定的な分析結果として得られた各特徴点を含む動作内容を、熟練者による優れた技能を表す技能データとして記憶する技能データ記憶部とを備えるようにした。

【0057】

この結果、熟練者及び協働者の作業内容（一連の動作内容）をデータ蓄積するとともに、当該蓄積データを解析して、技能向上に役立つ動作の提案や推定のための情報を提供することが可能となる。

【0058】

さらに本発明においては、作業と同一の作業に関して、協働者が一連の動作内容を実行する際、当該各動作内容と関連性の高い技能データを技能データ記憶部から逐次読み出すデータ読出部と、協働者の各動作内容について、技能データに基づく優れた技能に相当する動作内容と合致する可能性が時系列的に高くなるか否かを逐次推定する動作内容推定部と、動作内容推定部による推定結果に基づいて、技能データに基づく優れた技能に相当する動作内容を、リアルタイムで協働者が実行する動作内容に反映させて協働者を指導する動作内容反映部とを備えるようにした。

【0059】

この結果、熟練者による技能に関する情報を蓄積しておくことにより、同一の作業を協働者が実行する際に、熟練者が不在の場合でも技能承継を行うことが可能となる（仮想的に熟練者による指導を行い得る）。さらに技能に関する教育用の情報としても活用することが見込まれる。

【0060】

さらに本発明においては、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するインタラクティブ情報伝達方法において、熟練者側に設けられた指導側情報処理装置は、協働者が扱う対象物の映像をネットワークを介して受信して指導側映像表示部に表示しながら、当該映像の表示範囲内における熟練者の視線延長先の位置を視線位置データとして検知すると同時に、熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知した後、視線位置データ及び手先動作データをリアルタイムでネットワークを介して送信し、協働者側に設けられた協働側情報処理装置は、対象物を中心とする映像を撮像しながら、当該映像の表示範囲内においてネットワークを介して指導側情報処理装置から受信した視線位置データに基づく熟練者の視線延長先の位置を協働側映像表示部にマーク表示すると同時に、協働者の各指先にそれぞれ装着されるエンドエフェクタについて手先動作データに基づく３次元方向の動きを伝達しながら、当該各指先に対して３次元的な動作を促すような力覚を与えた後、対象物を中心として撮像される映像とともに、３次元方向の動きの伝達結果である各エンドエフェクタの物理フィードバック情報を、ネットワークを介して指導側情報処理装置に送信するようにした。

【0061】

さらに本発明においては、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部と、当該指導側調整データを送信する指導側通信部とを有する指導側情報処理装置と、指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、指導側通信部からネットワークを介して送信される指導側調整データを受信する協働側通信部と、指導側調整データに基づいて、該当する操作内容の調整量を協働側作業用電子器具の操作内容に反映させる操作内容反映部とを有する協働側器具用アタッチメント式ロボットとを備えるようにした。

【0062】

さらに本発明においては、協働側作業用電子器具における複数の操作内容のうち定量化可能な操作による調整量を計測する調整量計測部を備え、操作内容反映部は、調整量計測部からフィードバックされる調整量に基づいて、協働側作業用電子器具における当該操作内容の調整量をキャリブレーション補正するようにした。

【0063】

さらに本発明においては、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、指導側作業用電子器具に着脱自在に取り付けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部と、調整量計測部及び操作状態計測部による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部と、同期データを送信する指導側通信部とを有する指導側器具用アタッチメントと、指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、指導側通信部からネットワークを介して送信される同期データを受信する協働側通信部と、同期データに基づく各操作手段の調整量及び当該操作手段同士の操作タイミングを制御信号として生成する操作制御部と、当該操作制御部による制御信号に基づいて各操作手段を駆動する操作手段駆動部とを有する協働側器具用アタッチメント式ロボットとを備えるようにした。

【0064】

さらに本発明においては、協働側作業用電子器具における複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量フィードバック計測部を備え、操作制御部は、調整量フィードバック計測部からフィードバックされる調整量に基づいて、操作手段の調整量をキャリブレーション補正するようにした。

【0065】

さらに本発明においては、協働側作業用電子器具における複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態フィードバック計測部を備え、操作制御部は、同期データに基づく操作手段以外の操作状態の計測量を制御信号に含めて生成し、当該制御信号を協働側通信部を介して協働側作業用電子器具と連携動作する外部機器に送信し、操作制御部は、外部機器及び協働側作業用電子器具を介して操作状態フィードバック計測部からフィードバックされる操作状態の計測量と熟練者の操作状態の計測量との比較結果を表すキャリブレーションデータを生成するようにした。

【発明の効果】

【0066】

以上のように本発明によれば、遠隔地にいる熟練者がネットワークを介して協働者と臨場感を共有しながら、相互に情報授受すると同時に、特定の作業に関して暗黙知である自己の技能を非常に高い精度で間接的にリアルタイムで協働者に指導すること可能なインタラクティブ情報伝達システム及びインタラクティブ情報伝達方法を実現できる。

【図面の簡単な説明】

【0067】

【図1】本実施の形態によるインタラクティブ情報伝達システムの全体構成を示す略線図である。

【図2】図１に示すインタラクティブ情報伝達システムの回路構成を示すブロック図である。

【図3】力変位伝達ユニットの内部構成を示すブロック図である。

【図4】第１実施形態によるエンドエフェクタの外観構成を示す略線図である。

【図5】図４のエンドエフェクタにおける指先背保持部の構成を示す略線図である。

【図6】図５の指先背保持部の外観構成を示す平面図及び断面図である。

【図7】図４のエンドエフェクタにおける駆動ユニットの構成を示す略線図である。

【図8】第２実施形態によるエンドエフェクタの外観構成を示す略線図である。

【図9】図８のエンドエフェクタの装着状態を示す略線図である。

【図10】本実施の形態による電極カテーテルの構成を示す平面図である。

【図11】図１０の電極カテーテルの可動状態を表す平面図である。

【図12】本実施の形態による電極カテーテルの操作に関する熟練者側及び協働者側の情報伝達の説明に供するブロック図である。

【図13】本実施の形態によるデータ管理装置の内部構成を示すブロック図である。

【図14】本実施の形態によるインタラクティブ情報伝達処理の説明に供するフローチャートである。

【図15】他の実施の形態によるインタラクティブ情報伝達システムの回路構成を示すブロック図である。

【図16】他の実施の形態による協働側及び指導側の映像表示部における相互の視線位置表示の説明に供する略線図である。

【図17】他の実施の形態による力変位伝達ユニットの構成を示す略線図である。

【図18】他の実施の形態による協働側及び指導側の力変位伝達ユニットの装着状態における操作状態の説明に供する略線図である。

【図19】他の実施の形態による電極カテーテルに対する器具用アタッチメントの装着状態を示す略線図である。

【図20】図１９に示す電極カテーテル及び器具用アタッチメントの構成を示す正面図である。

【図21】図１９に示す器具用アタッチメントのハンドル保持部の外観構成を示す略線図である。

【図22】器具用アタッチメントの回路構成を示すブロック図である。

【図23】他の実施の形態による協働側及び指導側の力変位伝達ユニットの装着状態における器具用アタッチメントを介して電極カテーテルの操作状態の説明に供する略線図である。

【図24】他の実施の形態における器具用アタッチメントのシャフト把持部によるシャフトの可動状態の説明に供する略線図である。

【図25】他の実施の形態におけるハンドル保持部の構成を示す斜視図及び内部構造図である。

【図26】図２５に示すハンドル保持部を電極カテーテルに装着した状態を示す正面図及び側面図である。

【図27】他の実施の形態におけるハンドル保持部の構成を示す斜視図及びび内部構造図である。

【図28】図２７に示すハンドル保持部を電極カテーテルに装着した状態を示す正面図及び側面図である。

【図29】他の実施の形態における電極カテーテルの操作に関する熟練者側及び協働者側の情報伝達の説明に供するブロック図である。

【図30】他の実施の形態による電極カテーテルに対する器具用アタッチメントの装着状態を示す略線図である。

【図31】協働側器具用アタッチメント式ロボットの回路構成を示すブロック図である。

【図32】熟練者側及び協働者側における自走式ロボットの配置状態を示す略線図である。

【図33】自走式ロボットによる操作状態の説明に供する略線図である。

【図34】他の実施の形態による単一のアーム部をもつ自走式ロボットの配置状態を示す略線図である。

【図35】熟練者に装着する広角撮像カメラ及び眼鏡型センサの説明に供する略線図である。

【発明を実施するための形態】

【0068】

以下、図面について、本発明の一実施例を詳細する。

【0069】

（１）本実施形態によるインタラクティブ情報伝達システムの構成
図１及び図２は全体として本実施の形態によるインタラクティブ情報伝達システム１を示し、熟練者側に設けられた指導側情報処理装置２と協働者側に設けられた協働側情報処理装置３との間をネットワーク４を介して通信接続しておき、熟練者と協働者とが相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するようになされている。

【0070】

指導側情報処理装置２は、指導側制御部１０の統括制御下において、指導側通信部１１と指導側映像表示部１２と視線検知部１３と動き検知ユニット１４とを有する。指導側通信部１１は、動き検知ユニット１４から無線ＬＡＮや近距離無線通信等を介して得られた手先動作データＤ１をリアルタイムでネットワーク４を介して送信する。

【0071】

指導側映像表示部１２は、映像用ディスプレイ及びスピーカを有し、指導側通信部１１にてネットワーク４を通じて無線ＬＡＮや近距離無線通信等を介して受信した映像を表示する。

【0072】

視線検知部１３は、指導側映像表示部１２に表示されている映像の表示範囲内における熟練者の視線延長先の位置を視線位置データＤ２として検知する。すなわち、視線検知部１３は、協働者の眼球の動きを画像認識して当該協働者の視線を検知し、指導側映像表示部１２に表示されている映像の表示範囲内の視線の位置を算出する。視線検知部１３の構成及び方法については特に限定しないが、撮像方式の他には、赤外線差分画像を用いた方式や、ハーフミラー搭載の眼鏡状センサによる視線特定方式なども適用してもよい。

【0073】

例えば、赤外線差分画像を用いた方式は、視線上に光源を置いた場合に目から強い反射像が得られることを利用したものであり、異なる波長を有する２つの赤外線を協働者の目に照射し、それぞれの反射画像の差分から虹彩部の反射像を抽出して、この反射像から協働者の視線を特定する方式である。

【0074】

動き検知ユニット１４は、熟練者の手元を中心とする実技範囲内を３次元方向から撮影するための複数の撮像カメラ（立体撮像部）１５Ａ、１５Ｂ（本実施形態では２台であるが３台以上でも可）を有し、熟練者の手先に所定パターンの模様が形成されたグローブ１６を装着させた状態において、グローブ１６に対して複数方向から撮像して、指導側制御部（動作演算部）１０が協働者の視線の延長先を原点とする３次元座標を演算することにより、熟練者の各指先をエンドポイントとしてそれぞれ３次元方向の動きに応じた手先動作データD１を検知する。

【0075】

この指導側情報処理装置２において、指導側通信部１１は、視線検知部１３から得られた視線位置データＤ２及び動き検知ユニット１４から得られた指先動作データＤ１をリアルタイムでネットワーク４を介して協働側情報処理装置３に送信する。

【0076】

また協働側情報処理装置３は、協働側制御部２０の統括制御下において、協働側通信部２１と対象物撮像部２２と協働側映像表示部２３と力変位伝達ユニット２４とを有する。協働側通信部２１は、指導側送信部１１からネットワーク４を通じて送信される視線位置データＤ２及び手先動作データＤ１を無線ＬＡＮや近距離無線通信等を介して受信する。対象物撮像部２２は、撮像カメラからなり、協働者が作業を行う際の対象物を中心として撮像する。

【0077】

協働側映像表示部２３は、対象物撮像部２２により撮像される映像を表示すると同時に、表示範囲内において協働側通信部２１にて受信した視線位置データＤ２に基づく熟練者の視線延長先の位置をマーク表示する。すなわち指導側映像表示部１２の表示範囲に２次元座標系を設定した場合に、視線位置データＤ２に基づく座標位置と一致する座標位置にて協働側映像表示部２３の表示範囲にリアルタイムで所定のマークＭ１を表示する。

【0078】

力変位伝達ユニット２４は、協働者の各指先にそれぞれ装着されるエンドエフェクタ２５を有し、当該各エンドエフェクタ２５について協働側通信部２１にて受信した指先動作データＤ１に基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与える。

【0079】

協働側通信部２１は、対象物撮像部２２により撮像される映像とともに、力変位伝達ユニット２４の伝達結果である各エンドエフェクタ２５の物理フィードバック情報Ｄ３を、ネットワーク４を介して指導側情報処理装置２における指導側通信部１１に送信する。

【0080】

このように発明によるインタラクティブ情報伝達システム１では、熟練者は、協働者が扱う対象物を中心とする映像と同一の映像を目視しながら、自己の視線先の位置をリアルタイムで協働者に伝達すると同時に、自己の指先の３次元方向の動きをリアルタイムで協働者の各指に力覚として伝達させるように指導しながら、当該伝達結果を熟練者にフィードバックする。

【0081】

【0082】

後述するが、本実施形態によるインタラクティブ情報伝達システム１は、指導側情報処理装置２及び協働側情報処理装置３における熟練者及び協働者の一連の動作内容を含む種々の情報がネットワーク４を介してデータ管理装置４０にサーバ記録されるようになされている。

【0083】

なお、指導側情報処理装置２及び協働側情報処理装置３においては、後述する実施形態において、指導側制御部１０及び協働側制御部２０の制御下にて、周辺温度を共有するための協働者側の周辺温度計測部５０及び熟練者側の指先温度調整部５１と、種々のデータ群映像を共有するための協働者側の協働側データ表示部６０及び熟練者側の指導側データ表示部６１と、協働側の周囲音を共有するための協働者側の周囲音集音部７０及び熟練者側の周囲音再生部７１と、熟練者側から協働者側への音声指導のための協働者側のスピーカ８０及び熟練者側のマイクロホン８１とが設けられている。

【0084】

（２）本実施の形態による力変位伝達ユニットの構成
協働側情報処理装置３における力変位伝達ユニット２４は、詳細構成は複数実施例として後述するが、図３に示すように、協働者の少なくとも母指、示指及び中指を含む各指先にそれぞれ装着されるエンドエフェクタ２５と力覚伝達駆動部３０と信号変換部３１と力覚伝達制御部３２とを有する。なお本実施形態では、信号変換部３１及び力覚伝達制御部３２は、協働側制御部２０の部分的機能として実行し得るようになされている。

【0085】

力覚伝達駆動部３０は、各エンドエフェクタ２５をそれぞれ指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するように駆動する。

【0086】

信号変換部３１は、協働側通信部２１にて受信した手先動作データＤ１に基づいて、熟練者の各エンドポイントごとの３次元方向の動きを、当該エンドポイントの位置、速度、加速度、角速度、力、モーメントに分解して、それぞれ動作要素データＤ４に変換する。

【0087】

力覚伝達制御部３２は、各エンドエフェクタ２５の各方向における位置、速度、加速度、角速度、力、モーメントが信号変換部から得られた動作要素データＤ４に基づく状態となるように、力覚伝達駆動部３０を制御する。

【0088】

この結果、協働者の各指に装着するエンドエフェクタ２５を、熟練者の各指先であるエンドポイントの３次元方向の動きに合わせて駆動することにより、協働者の各指に伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するような力覚を付与することができる。

【0089】

さらに協働側情報処理装置３における力変位伝達ユニット２４は、外部操作に応じた設定内容を変更する伝達比設定部３３を有し、協働者による操作に応じて、各エンドエフェクタ２５に対する手先動作データＤ１に基づく３次元方向の動きの伝達比を可変設定する。信号処理部３１は、熟練者の各エンドポイントの動作内容である手先動作データＤ１を伝達比設定部３３により設定された伝達比に調整して、各エンドエフェクタ２５の３次元方向の動きである動作要素データＤ４に変換する。

【0090】

この結果、協働者は自己の作業に支障が生じると判断した場合、自ら伝達比を調整することにより、熟練者の各指先の３次元方向の動きを伝達される度合いを高くしたり低くしたりすることが可能となる。

【0091】

例えば、伝達比が１の場合には、熟練者の指先の動きに関連する情報（力、速度、変位）は、遠隔では熟練者自身が作業（カテーテルアブレーション治療手術）を行うことと等価となる。熟練者は、遠隔の動作（カテーテル操作）時の指先情報（力、速度、変位や、これらで構成される反力や粘性摩擦などの情報）を感じながら、当該作業（遠隔治療）を実施することができる。

【0092】

これに対して、伝達比が０の場合には、遠隔の協働者の作業（施術）が妨げられることなく、協働者は自らの意思で当該作業における動作内容を実施することができる。このようにインタラクティブに手先動作データＤ１に基づく３次元方向の動きの伝達比を可変することにより、熟練者優位か協働者優位かを調整することが可能となる。

【0093】

（３）本実施形態によるエンドエフェクタの構成
本実施形態においては、下記の第１実施形態に示すエンドエフェクタ２５を適用する場合について述べるが、本発明はこれに限らず、第２～第４実施形態に示すエンドエフェクタを適用してもよく、これら第１～第４実施形態のエンドエフェクタの全部又は一部を組み合わせて適用するようにしても良い。

【0094】

（３－１）エンドエフェクタの第１実施形態
図４に示すように、協働者の各指先に装着するエンドエフェクタ１００は、指先の背部に接触保持される指先背保持部１０１と、当該指先背保持部１０１の端部１０１Ａから上下及び左右からそれぞれ対の状態で引き出された第１線状部材１０２及び第２線状部材１０３とを有する。図４においては、一対の第１線状部材１０２及び一対の第２線状部材１０３は、４本ともに線状カバー部１０５にて被覆され、指の関節間及び手の甲にそれぞれ装着された各ガイド部ＧＤを経て手首に巻回された駆動ユニット１０６まで引き出されている。

【0095】

指先背保持部１０１は、図５に示すように、指先の爪の根元から第１関節までの背部分（以下、指先背部という。）に固着された樹脂材からなるチップ状部材であり、指の根元側の端面から指先との当接面にかけて内部に４つの貫通孔１０１ＨＡ～１０１ＨＤ（図６（Ａ）及び（Ｂ））が形成されている。図５において、矢印Ａ－Ａ’で示す指先背保持部１０１の断面図を図６（Ｃ）に示し、矢印Ｂ－Ｂ’で示す指先背保持部１０１の断面図を図６（Ｄ）に示す。

【0096】

指先背保持部１０１に形成される各貫通孔１０１ＨＡ～１０１ＨＤは、端面の上下左右の所定位置から当接面の前後左右の所定位置まで所定径にて形成されている。

【0097】

図５に示すように、指先背保持部１０１の当接面１０１Ｂの前後左右の所定位置には、それぞれ一対の第１線状部材１０２及び第２線状部材１０３の一端が固定され、各貫通孔１０１ＨＡ～１０１ＨＤを通じて端面１０１Ａの上下左右の所定位置から第１線状部材１０２及び第２線状部材１０３の各他端が引き出されて、駆動ユニット１０６における伸屈駆動部１０７及び内外転駆動部１０８とそれぞれ係合されている。

【0098】

図７において、伸屈駆動部１０７は、直径約10mmのプーリ１０９が出力軸に係合されたサーボモータ１１０を有し、当該プーリ１０９に張架された第１線状部材１０２を介して指先背保持部１０１を保持しつつ、当該指先背保持部１０１を前後方向に付勢するようになされている。

【0099】

第１線状部材１０２は、引張強度の高い金属製ワイヤからなり、指先背保持部１０１の当接面１０１Ｂの前後の所定位置に一端及び他端が固定されるとともに、プーリ１０９に固定接続されている。

【0100】

伸屈駆動部１０７は、力覚伝達制御部３２の制御に応じた回転方向及び回転速度にてサーボモータ１１０の出力軸を回転させることにより、その回転力をプーリ１０９を介して第１線状部材１０２に直線運動として伝達させる。指先背保持部１０１は、プーリ１０９の現在の回転角度に基づいて、当接面１０１Ｂの前後方向のいずれかに指先背部に対して微小に押圧する。

【0101】

内外転駆動部１０８は、直径約10mmのプーリ１１１が出力軸に係合されたサーボモータ１１２を有し、当該プーリ１１１に張架された第２線状部材１０３を介して指先背保持部１０１を保持しつつ、当該指先背保持部１０１を左右方向に付勢するようになされている。

【0102】

第２線状部材１０３は、引張強度の高い金属製ワイヤからなり、指先背保持部１０１の当接面１０１Ｂの左右の所定位置に一端及び他端が固定されるとともに、プーリ１１１に固定接続されている。

【0103】

内外転駆動部１０８は、力覚伝達制御部３２の制御に応じた回転方向及び回転速度にてサーボモータ１１２の出力軸を回転させることにより、その回転力をプーリ１１１を介して第２線状部材１０３に直線運動として伝達させる。指先背保持部１０１は、プーリ１１１の現在の回転角度に基づいて、当接面１０１Ｂの左右方向のいずれかに指先背部に対して微小に押圧する。

【0104】

かくして力覚伝達制御部３２は、駆動ユニット１０６における伸屈駆動部１０７及び内外転駆動部１０８をそれぞれ動作要素データＤ４に基づく状態となるように制御することにより、第１線状部材１０２を押出又は引込方向に移動させて、指先背部に対して当該方向に応じた押圧力覚を与えて、指先を伸展又は屈曲方向に誘導するとともに、第２線状部材１０３を左右方向に移動させて、指先背部に対して当該方向に応じた押圧力覚を与えて、指先を内転又は外転方向に誘導する。

【0105】

この結果、協働者が各指に装着するエンドエフェクタ１００について、熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタ１００を、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

【0106】

（３－２）エンドエフェクタの第２実施形態
協働者の各指先に装着するエンドエフェクタ１２０は、図８（Ａ）及び（Ｂ）に示すように、指輪の一部が開口した略Ｃ字形状のリング部（巻着回動部）１２１を有する。リング部１２１は、フレームとしての外輪１２２に対して回動自在に取り付けられた内輪１２３がアクチュエータ（回転駆動部）１２４による駆動に応じて往復運動するように構成されている。

【0107】

具体的にこのアクチュエータ１２４は、励磁コイルに電流を流して、固定子である外輪及び可動子である内輪１２３で構成される磁気回路を励磁して磁束を生成し、発生した電磁力によって内輪を往復運動させる。

【0108】

なお、回転駆動部としてのアクチュエータ１２４は、電磁力以外にも圧電推力によって内輪を外輪に対して往復運動させるような構成にしても良い。例えば、圧電アクチュエータの変位によりその変位方向及び変位量を、外輪に対する内輪の往復変位方向及び往復変位量に変換する構成にしても良い。

【0109】

図９において、手首に巻回された駆動ユニット１２５は、力覚伝達制御部３２による動作要素データＤ４に基づく状態となるように制御司令信号を受けると、近距離無線通信等の通信手段（図示せず）を介して各アクチュエータ１２４をそれぞれ駆動制御する。

【0110】

このリング部１２１は、指先から第１関節までの間、当該第１関節から第２関節までの間、当該第２関節から第３関節までの間のいずれか一箇所以上に当該指の背部を中心に、当該指との接触面が周回方向に回動自在に巻着される。

【0111】

かくして力覚伝達制御部３２は、アクチュエータ（回転駆動部）１２４を動作要素データＤ４に基づく状態となるように制御することにより、リング部１２１の指との接触面を電磁力又は圧電推力に応じて回動させて、指を周回方向に誘導する。

【0112】

この結果、協働者が各指に装着するエンドエフェクタ１２０について、伸展又は屈曲方向と内外転方向とのみならず、指先を用いて捻る動作を行う場合に当該指を周回方向に誘導するようにも力覚を伝達することにより、さらに熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタ１２０を、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

【0113】

（３－３）エンドエフェクタの第３実施形態
協働者の各指先に装着するエンドエフェクタ（図示せず）は、協働者の指先背部を中心に装着された単数又は複数の振動素子を駆動する振動アクチュエータ（振動駆動部）を有する。例えば超音波振動を利用する振動アクチュエータは、単数又は複数の圧電素子（振動素子）に交流電圧を印加して固定子の表面に楕円運動又は進行波を発生させて、固定子に可動子を加圧接触させることによりこれら両者間の摩擦力を介して可動子を３次元方向に指向性を持たせて運動させる。

【0114】

かくして力覚伝達制御部３２は、振動駆動部を動作要素データＤ４に基づく状態となるように制御することにより、単数又は複数の振動素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導する。

【0115】

【0116】

（３－４）エンドエフェクタの第４実施形態
協働者の各指先に装着するエンドエフェクタ（図示せず）は、協働者の指先背部を中心に装着された単数又は複数の発光素子（例えば小型ＬＥＤ等）を駆動する発光駆動部を有する。発光駆動部は、単数又は複数の発光素子を３次元方向に指向性を持たせるような点灯パターン又は点滅パターンにて発光駆動させる。

【0117】

かくして力覚伝達制御部３２は、発光駆動部を動作要素データＤ４に基づく状態となるような発光状態で駆動制御することにより、単数又は複数の発光素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導する。

【0118】

【0119】

（４）本実施形態による作業用電子器具の構成
本実施の形態によるインタラクティブ情報伝達システム１を、協働者の環境が医療機関の手術室内に適用した場合について説明する。例えば頻脈性不整脈を患う患者に対して、協働者がカテーテルアブレーション治療手術を施す場合について説明する。

【0120】

本治療手術において、協働者は、先端が二方向へ屈曲するディフレクタブルな電極カテーテルを、局所麻酔下で患者の足の付け根や首の静脈から血管をたどり心臓内に挿入して、カテーテル先端の電極を介して心電図を計測しながら不整脈の原因箇所を突き止めた後、治療部位へカテーテル先端から高周波電流を流して心臓組織を焼灼させる。

【0121】

なお、この電極カテーテルは、心筋灼熱術（アブレーション）の際には、専用の高周波出力発生装置（図示せず）と併用するとともに、Ｘ線投資と心腔内電位記録により留置部位が適切であることを確認しながら用いられる。

【0122】

この電極カテーテル１３０は、図１０（Ａ）及び（Ｂ）に示すように、手で把持するハンドル部１３１と、当該ハンドル部１３１の端部に形成され、高周波出力発生装置と電気的に接続するためのコネクタ１３２と、当該ハンドル部１３１の先方に設けられたレバー１３３及びテンションノブ１３４と、先端にチップ電極１３５が取り付けられた微細管であるシャフト１３６とから構成されている。

【0123】

協働者は、電極カテーテル１３０のハンドル部１３１を把持した状態で、別の手でレバー１３３を回転させることにより、シャフト１３６の先端部を所望の曲率で屈曲させることができる（図１１（Ａ）～（Ｃ））。シャフト１３６の屈曲の大きさはレバー１３３の回転の程度に比例するようになされている。また、レバー１３３の反対側に設けられたテンションノブ１３４を回転させることにより、屈曲機能における摩擦を増減させることができる。そしてチップ電極１３５が標的部位に安定して接触していることを認めた時点で、足元のペダル（図示せず）を踏んで高周波出力発生装置によりコネクタ１３２を介して高周波通電させる。

【0124】

本実施形態においては、図１２に示すように、指導側情報処理装置２には、熟練者が作業を行う際に自己の指先を用いて操作する電極カテーテル（指導側作業用電子器具）１３０と、当該電極カテーテル１３０の操作内容のうち定量化可能な操作による調整量を抽出する操作データ定量抽出部１４０とが設けられている。

【0125】

操作データ定量抽出部１４０は、電極カテーテル１３０のレバー１３３及びテンションノブ１３４の回転度合いをそれぞれ微小角度単位（例えば３６０度基準の１度単位）で調整量として抽出し、当該調整量を指導側調整データＤ１０としてネットワーク４（図１２には図示せず）を介して協働側情報処理装置３における協働側通信部２１に送信する。

【0126】

協働側情報処理装置３には、指導側作業用電子器具である電極カテーテルと同一構成からなり、協働者が自己の指先を用いて操作する電極カテーテル（協働側作業用電子器具）１３０と、協働側通信部２１にて受信した指導側調整データＤ１０に基づいて、該当する操作内容の調整量を協働者による操作よりも優先させて電極カテーテル（協働側作業用電子器具）１３０の操作内容に反映させる操作データ優先反映部１４１とが設けられている。

【0127】

この結果、熟練者と協働者が同一構成の電極カテーテル（作業用電子器具）１３０を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による電極カテーテル１３０の操作内容に反映させるようにしたことにより、作業における一連の動作に誤りが生じるのを未然に回避することができる。すなわち、遠隔の協働者が自分の指先を電極カテーテル１３０のレバー１３３及びテンションノブ１３４に添えると、協働者は熟練者の手技を習い動作として感じることができる。

【0128】

さらに協働側作業用電子器具である電極カテーテル１３０において、指導側調整データＤ１０に基づくレバー１３３やテンションノブ１３４の操作内容の調整量と、協働者によるレバー１３３やテンションノブ１３４の操作内容の調整量とのずれ量を検知する操作ずれ量検知部１４２が設けられている。

【0129】

操作ずれ量検知部１４２は、検知したずれ量が所定の閾値以上であれば操作ギャップデータＤ１１として、協働側通信部２１及びネットワーク４を介して指導側情報処理装置２における指導側通信部１１に送信する。この閾値はレベル調整可能であり、協働者の技能レベルに応じて高くなるように調整するようにしてもよく、上述したようなインタラクティブに伝達比を可変することにより、熟練者優位か協働者優位かを調整するようにしても良い。

【0130】

指導側作業用電子器具である電極カテーテル１３０において、指導側通信部１１にて受信した操作ギャップデータＤ１１に基づくずれ量に応じた振動を熟練者の指先に付与してフィードバック的に感知させる振動フィードバック付与部１４３が設けられている。

【0131】

振動フィードバック付与部１４３は、例えば超音波振動を利用する振動アクチュエータを有し、操作ギャップデータＤ１１に基づくずれ量に応じた強度で圧電素子を駆動することにより、熟練者の指先に力覚をフィードバックさせて感知させる。

【0132】

この結果、熟練者と協働者が同一構成の電子カテーテル（作業用電子器具）１３０を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による電子カテーテル（作業用電子器具）１３０の操作内容に反映させるが、協働者の操作内容の調整量とのずれ量が所定レベル以上である場合は、熟練者にそのずれ量をフィードバックするようにしたことにより、熟練者が協働者との操作内容の相違部分をリアルタイムで感覚的に認識することができる。

【0133】

（５）本実施形態による共有周辺環境に関する構成
（５－１）周辺温度を共有する場合
協働側情報処理装置３において、力変位伝達ユニット２４は、各エンドエフェクタ２５にそれぞれ放射温度計（物体から放射される赤外線や可視光線の強度を測定して、物体の温度を測定する温度計）である周辺温度計測部５０（図２）を設けており、各エンドエフェクタ２５の周囲温度をそれぞれ非接触で計測するようになされている。

【0134】

協働側通信部２１は、周辺温度計測部５０により計測された各エンドエフェクタ２５の周辺温度を周辺温度データとして、指導側情報処理装置２における指導側通信部１１に送信する。指導側情報処理装置２において、熟練者の各指先にそれぞれ熱電素子が搭載されたエンドサックを装着しておき、指先温度調節部５１（図２）は、指導側通信部１１にて受信した周辺温度データに基づく温度と同等の温度に各熱電素子を調節する。

【0135】

【0136】

（５－２）複数の映像表示を共有する場合
インタラクティブ情報伝達システム１において、協働側情報処理装置３の協働側映像表示部２３の近傍に、対象物に関連する各種データを一覧表示する協働側データ表示部６０（図２）を設けるとともに、指導側情報処理装置２の指導側映像表示部１２の近傍に、協働側データ表示部６０に表示されるデータ群と同一のデータ群を表示する指導側データ表示部６１（図２）とを設けるようにした。

【0137】

例えば協働者がカテーテルアブレーション治療手術を施す場合において、協働側映像表示部２３に患者の心臓内部等の対象物を中心とする映像（Ｘ線透過映像）を表示すると同時に、指導側映像表示部１２に同様の映像を表示する。これ以外にも別の表示モニタに心腔内電位記録データを表示する場合に、協働者側及び熟練者側に共通の表示モニタ（協働側データ表示部及び指導側データ表示部）６０、６１にそれぞれ同一のデータ内容を表示させる。

【0138】

指導側情報処理装置２において、指導側通信部１１は、視線検知部１３から得られた視線位置データＤ２をリアルタイムでネットワーク４を介して協働側情報処理装置３に送信する。協働側データ表示部６０は、表示範囲内において協働側通信部２１にて受信した視線位置データＤ２に基づく熟練者の視線延長先の位置をマーク表示する。すなわち指導側データ表示部６１の表示範囲に２次元座標系を設定した場合に、視線位置データＤ２に基づく座標位置と一致する座標位置にて協働側データ表示部６０の表示範囲にリアルタイムで所定のマークを表示する。

【0139】

【0140】

（５－３）周囲音を共有する場合
インタラクティブ情報伝達システム１において、協働側情報処理装置３に設けられた周囲音集音部７０（図２）は、比較的高感度の広帯域マイクロホンからなり、対象物撮像部２２による撮像と同期して、協働者の周囲に発生する可聴音及び超音波を含む音波を集音する。

【0141】

指導側情報処理装置２に設けられた周囲音再生部７１（図２）は、可聴周波数帯のみならず高周波帯域の音波を再生可能な超音波スピーカからなり、周囲音集音部７０から指導側通信部１１にて受信した可聴音及び超音波を再生する。

【0142】

【0143】

（５－４）熟練者側から協働者側への音声指導
インタラクティブ情報伝達システム１において、指導側情報処理装置２に設けられたマイクロホン８１（図２）は、熟練者の音声を集音して得られた音声データを指導側通信部１１及び続くネットワーク４を介してリアルタイムで送信する。協働側情報処理装置３に設けられたスピーカ８０（図２）は、協働側通信部２１にて受信した音声データに基づく音声をリアルタイムに再生する。

【0144】

【0145】

さらに協働側情報処理装置３における力変位伝達ユニット２４は、協働側通信部２１にて受信した音声データに基づく発話内容に応じて、協働者への力覚付与を即座に停止させ又は再開させる。この結果、熟練者が協働者に指導する際に手技の間接的な力覚による伝達よりも、言葉で直接伝えた方が伝わりやすい場合には、リアルタイムで口頭指導を優先させることが可能となる。

【0146】

（６）蓄積データ管理及び活用方法
インタラクティブ情報伝達システム１において、指導側情報処理装置２の指導側通信部１１及び協働側情報処理装置３の協働側通信部２１にそれぞれネットワーク４を介してデータ管理装置４０が接続されている（図２）。このデータ管理装置４０は、図１３に示すように、サーバ構成の作業データ記憶部１５０を有し、作業に関する熟練者及び協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて当該作業データ記憶部１５０に記憶する。

【0147】

データ管理装置４０は、管理制御部（有意特徴抽出部及び技能分析部）１５１を有し、作業データ記憶部１５０から読み出した指導側作業データ及び協働側作業データに基づいて、各動作内容のうち有意な特徴点（熟練者の手技のうち協働者との差異が比較的大きい動作）を時系列的に順次抽出した後、当該抽出した各特徴点について、作業における優れた技能に相当するか否かを分析する。

【0148】

続いて管理制御部１５１は、肯定的な分析結果として得られた各特徴点を含む動作内容を、熟練者による優れた技能を表す技能データとしてサーバ構成の技能データ記憶部１５２に記憶する。本実施形態では作業データ記憶部１５０と技能データ記憶部１５２を別体のサーバ構成にした場合について述べたが、いずれか一方のサーバに統合させるようにしても良い。

【0149】

この結果、熟練者及び協働者の作業内容（一連の動作内容）を作業データ記憶部１５０に蓄積するとともに、当該蓄積データを解析して、技能向上に役立つ動作の提案や推定のための情報を技能データ記憶部１５２に記憶しながら提供することが可能となる。

【0150】

さらにデータ管理装置４０において、管理制御部（データ読出部及び動作内容推定部）１５１は、作業と同一の作業に関して、協働者が一連の動作内容を実行する際、当該各動作内容と関連性の高い技能データを技能データ記憶部１５２から逐次読み出した後、協働者の各動作内容について、技能データに基づく優れた技能に相当する動作内容と合致する可能性が時系列的に高くなるか否かを逐次推定する。

【0151】

すなわち協働者が現在の作業である一連の動作内容を実行しながら、熟練者の技能である動作内容についてリアルタイムで指導を受けるには、その直前の動作内容から推定する必要がある。動作内容の前後での相関性の高さに基づいて、優れた技能に相当する動作内容をリアルタイムで推定することが望ましい。

【0152】

続いて管理制御部（動作内容反映部）１５１は、当該推定結果に基づいて、技能データに基づく優れた技能に相当する動作内容を、リアルタイムで協働者が実行する動作内容に反映させて協働者を指導する。

【0153】

【0154】

（７）本実施形態の動作及び効果
以上の構成において、インタラクティブ情報伝達システム１では、熟練者と協働者とがネットワーク４を介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するに際して、図１４に示すインタラクティブ情報伝達処理手順ＲＴ１をステップＳＰ０から開始する。

【0155】

まず熟練者側では、協働者が扱う対象物の映像をネットワーク４を介して受信して表示しながら、当該映像の表示範囲内における熟練者の視線延長先の位置を視線位置データとして検知する（ステップＳＰ１）。

【0156】

これと同時に、熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知した後（ステップＳＰ２）、視線位置データ及び手先動作データをリアルタイムでネットワークを介して協働者側に送信する（ステップＳＰ３）。

【0157】

続いて、協働者側では、対象物を中心とする映像を撮像しながら、当該映像の表示範囲内においてネットワークを介して熟練者側から受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示する（ステップＳＰ４）。

【0158】

これと同時に、協働者の各指先にそれぞれ装着されるエンドエフェクタについて手先動作データに基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与えた後（ステップＳＰ５）、対象物を中心として撮像される映像とともに、３次元方向の動きの伝達結果である各エンドエフェクタの物理フィードバック情報を、ネットワークを介して熟練者側に送信する（ステップＳＰ６）。この後、再度ステップＳＰ１に戻って上述と同様の処理を繰り返す。

【0159】

【0160】

【0161】

以上の構成によれば、遠隔地にいる熟練者がネットワークを介して協働者と臨場感を共有しながら、相互に情報授受すると同時に、特定の作業に関して暗黙知である自己の技能を非常に高い精度で間接的にリアルタイムで協働者に指導すること可能なインタラクティブ情報伝達システムを実現できる。

【0162】

（８）他の実施の形態
なお本実施の形態においては、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者がカテーテルアブレーション治療手術に関して自己の技能を協働者に対して指導するインタラクティブ情報伝達システム１について述べたが、本発明はこれに限らず、熟練者の手技を技能として協働者に指導する作業であれば、治療手術以外にも伝統工芸や料理などの職人技の技能承継につながる種々の作業に広く適用することができる。

【0163】

また本実施の形態においては、指導側情報処理装置２における視線検知部１３を用いて、指導側映像表示部１２に表示されている映像の表示範囲内における熟練者の視線延長先の位置を検知し、協働側情報処置装置３における協働側映像表示部２３の表示範囲内にて当該検知結果である熟練者の視線延長先の位置をマーク表示するようにした場合について述べたが、本発明はこれに限らず、協働側映像表示部２３の表示範囲内における協働者の視線延長先の位置を検知して指導側映像表示部１２にマーク表示させるようにしても良い。

【0164】

すなわち図２との対応部分に同一符号を付した図１５に示すように、インタラクティブ情報伝達システム２００における協働側情報処理装置２０１において、視線検知部２０２は、図２に示す視線検知部１３と同様の構成からなり、協働側映像表示部２３の表示範囲内における協働者の視線延長先の位置を視線位置データとして検知するようになされている。

【0165】

視線検知部２０２は、視線位置データを協働側通信部２１に送出し、指導側映像表示部２３は、表示範囲内において指導側通信部１１にて受信した視線位置データに基づく協働者の視線延長先の位置をマーク表示する。

【0166】

この結果、図１６に示すように、熟練者は、自己の視線先の位置を協働側映像表示部２３の表示範囲内にマーク表示（Ｍ１）させると同時に、協働者の視線先の位置を指導側映像表示部１２の表示範囲内にマーク表示（Ｍ２）させることができ、協働者及び熟練者が相手側の視線位置を相互にリアルタイムで目視確認しながら作業することが可能となる。

【0167】

また本実施の形態においては、熟練者側が各指先の動作をエンドポイントとして動き検知すると同時に、協働者側が各指先にエンドエフェクタ２５を装着して、熟練者の技能を協働者に指導する場合について述べたが、本発明はこれに限らず、熟練者が協働者と同一構成（同等の機能と構造）を有するエンドポイントを各指先に装着して、遠隔の協働者側のエンドエフェクタと熟練者側のエンドエフェクタが一体的に動作するようにしても良い。その際、インタラクティブに手先動作データＤ１に基づく３次元方向の動きの伝達比を可変することにより、熟練者優位か協働者優位かを調整することができる。

【0168】

同一構成の力変位伝達ユニットを熟練者及び協働者の手先にそれぞれ装着する場合について説明する。この力変位伝達ユニット２０５は、図１７に示すような上下左右の自由度で駆動されるワイヤＷＲを３本の指（親指、人差し指、中指）に添わせて指先の動作をガイドできる構造のエンドエフェタ２０６を有する。このエンドエフェクタ２０６は、上述した図４に示す線状部材から構成されるエンドエフェクタ１０１と実質的に同一構造からなる。

【0169】

手の甲に巻着されているガイド部ＧＤには、使用状況に応じて点灯又は点滅するリング状発光部２０７が取り付けられている。このリング状発光部２０７には、熟練者及び協業者のインタラクティブな動きの伝達比、または、相手側（熟練者にとっては協業者、協業者にとっては熟練者）の力、または変位の大きさにに応じた発光状態（発光色、点灯又は点滅パターン）で発光させることにより、熟練者優位か協働者優位かをそれぞれ本人が認識することができる。

【0170】

熟練者は、各エンドエフェクタ２０６について指導側通信部１１にて受信した協働側の各エンドエフェクタ２０６の物理フィードバック情報に基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を感知することができる。すなわち、熟練者は、協働者と同一構成のエンドエフェクタ２０６を各指に装着した状態において、自分が伝達した手先の動きに対して協働者の作業内容を力覚伝達結果として力変位伝達ユニット２０５を通じてフィードバック的に感知することができる。

【0171】

従って、熟練者は、自己の指導内容と協働者の応答内容とのギャップをリアルタイムで感知することができるのみならず、各エンドエフェクタ２０６が協働者と一体的に動作し、インタラクティブに指先の動作情報を伝達し合うことが可能となる。熟練者及び協働者が互いに指先の動かし具合を確認しながら同一の作業をすることが可能となる。

【0172】

実際に熟練者及び協働者がそれぞれ両手に力変位伝達ユニット２０５（主としてエンドエフェクタ２０６）を装着した状態で、同一構成の電極カテーテル１３０を保持しながらカテーテルアブレーション治療を実施する場合を図１８（Ａ）及び（Ｂ）に示す。実際の治療現場にて治療にあたる遠隔の協働医師側（図１８（Ａ））に対して、指導医師側（図１８（Ｂ））が電極カテーテル１３０を操作して指導を行うことにより、熟練者の手を遠隔の協働者の手に添えているかのごとく、擬似的な二人羽織（熟練者が協働者とともに治療に参画）を実現することが可能となる。

【0173】

さらに本実施の形態においては、熟練者と協働者が同一構成の電極カテーテル（作業用電子器具）１３０を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて電極カテーテル１３０の操作内容に反映させるようにした場合について述べたが、本発明はこれに限らず、作業用電子器具（電極カテーテル）に専用の器具用アタッチメントを取り付けることにより、当該器具用アタッチメントを介して作業用電子器具における複数の操作内容を定量的に計測するようにしてもよい。

【0174】

すなわち図１９に示すように、電極カテーテル１３０に対して当該電極カテーテル１３０と別体に着脱自在に器具用アタッチメント２１０を取り付ける。この器具用アタッチメント２１０は、電極カテーテル１３０のハンドル部１３１を覆うハンドル保持部２１１と、電極カテーテル１３０のシャフト１３６を上下方向から挟み込んで把持するシャフト把持部２１２とを有する。

【0175】

ハンドル保持部２１１は、図２０（Ｂ）に示すように、電極カテーテル１３０のハンドル部１３１を覆うシェル筐体部２２０と、電極カテーテル１３０のレバー１３３と一体となって可動自在に固定されるレバー保持部２２１と、当該レバー保持部２２１のレバー回転軸を挟んで両側から引き出された一対のワイヤ２２２と、当該各ワイヤ２２２のいずれか一方のみ押し出し又は引き込むように駆動するワイヤ駆動部２２３とを有する。

【0176】

シャフト把持部２１２は、図１９及び図２０（Ｂ）に示すように、一対の湾曲当接部２３０の凸側同士をシャフト１３６の上下方向から挟み込んで当該シャフト１３６を把持するとともに、把持力調整部２３１により一対の湾曲当接部２３０の挟み込み力を調整するようになされている。

【0177】

このように電極カテーテル１３０（図２０（Ａ））に対して器具用アタッチメント２１０（図２０（Ｂ））を取り付けることにより、図１９及び図２０（Ｃ）のように一体化した装置として、電極カテーテル１３０のレバー１３３を調整し、シャフト１３６を絡めた特定の操作を行い得る。

【0178】

この器具用アタッチメント２１０におけるハンドル保持部２１１のシェル筐体部２２０の外側表面には、図２１（Ａ）及び（Ｂ）に示すように、全外周面にわたって力覚フィードバック付与部２３５が設けられており、当該ハンドル保持部２１１を把持する熟練者又は協働者の手のひらに対して物理的な力覚を感知させ得るようになされている。

【0179】

図２２に器具用アタッチメント２１０の回路構成を示す。器具用アタッチメント２１０は、複数の操作内容のうち定量化可能な操作手段（レバー１３３やテンションノブ１３４、一対の湾曲当接部２３０）による調整量を計測する調整量計測部２４０と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部２４１と、調整量計測部２４０及び操作状態計測部２４１による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部２４２とを有する。

【0180】

操作状態計測部２４１は、加速度センサ及びジャイロセンサ（角速度センサ）を有し、器具用アタッチメント２１０の３次元姿勢を動的に計測するようになされている。なお、操作状態計測部２４１は、加速度センサ及びジャイロセンサのような慣性センサのみならず、必要に応じて種々のセンサ（光電センサ、超音波センサ、画像判別センサ、レーザセンサ、磁気センサ等の物理センサ）を搭載するようにしてもよい。

【0181】

同期データ生成部２４２は、協働側情報処理装置３における協働側通信部２１と指導側情報処理装置２における指導側通信部１１との間で、協働側制御部２０及び指導側制御部１０の制御下において、ネットワーク４を介して同期データを相互に送受信する。

【0182】

協働側及び指導側の器具用アタッチメント２１０は、協働側及び指導側の間にて同期データのデータ比較結果に基づく操作内容の差異量を検知する差異量検知部２４３と、差異量検知部により検知された差異量に応じた力覚を協働者及び熟練者の手先にそれぞれ付与してフィードバック的に感知させる力覚フィードバック付与部２３５（図２１）とをそれぞれ備える。

【0183】

このように協働側及び指導側において作業用電子器具（電極カテーテル１３０）にそれぞれ同一構成の器具用アタッチメント２１０を装着することにより、図２３（Ａ）及び（Ｂ）に示すように、協働者も熟練者もお互いに相手側の操作手段による調整量及びそれ以外の操作状態を力覚として感知し合いながら、作業用電子器具を操作することができる。特に作業用電子器具の操作手段以外の操作状態である、手先の繊細な作業による手技や判断についても定量的な力覚として相互に伝達することが可能となる。

【0184】

ここで、図２３（Ａ）及び（Ｂ）に示すように熟練者及び協働者が力変位伝達ユニット２０５をそれぞれ装着した左右の手で器具用アタッチメント２１０のハンドル保持部２１１及びシャフト把持部２１２を操作する場合について説明する。熟練者が右手で器具用アタッチメント２１０のハンドル保持部２１１を把持するとともに、左手で器具用アタッチメント２１０のシャフト把持部２１２を把持する。

【0185】

熟練者は、右手でハンドル保持部２１１を把持しながら、レバー保持部２１２を介して電極カテーテル１３０のレバー１３３を操作すると同時に、左手で器具用アタッチメント２１０のシャフト保持部２１２の一対の湾曲当接部２３０を指先で上下方向から挟むようにつまみながら、当該各湾曲当接部２３０を介して電極カテーテル１３０のシャフト１３６を把持する。

【0186】

熟練者が右手でハンドル保持部２１１をシャフト１３６の長手方向を回転中心としてねじると同時に長手方向又はこれとは逆方向に移動させながら、左手でシャフト把持部２１２の挟み込み力を調整することにより、シャフト１３６のひねり具合を微調整しながら先端部の屈曲状態を非常に細かいレベルまで調整することができる（図２４）。

【0187】

このような手技は、力変位伝達ユニット２０５のエンドエフェクタ２０６のみからは伝達困難な技能であり、作業用電子器具（電極カテーテル１３０）の特有の器具用アタッチメント２１０を用いて操作内容を定量化させることが可能となる。

【0188】

さらに上述の実施の形態においては、器具用アタッチメント２１０のハンドル保持部２１１を図２０（Ｂ）に示すようなワイヤ駆動式のものを適用した場合について述べたが、本発明はこれに限らず、アクチュエータ出力を電極カテーテル１３０のレバー１３３に伝達して回動させることができれば、種々の駆動式のものを適用するようにしてもよい。

【0189】

例えば図２５（Ａ）～（Ｃ）に示すハンドル保持部３５０は、携帯可能なユニットタイプからなり、一端にバッテリ３５１が内蔵されるとともに他端にレバー保持部３５２が回動自在に露出するユニット筐体部３５３を有する。ユニット筐体部３５３では、バッテリ３５１からの駆動電力が供給されるアクチュエータ３５４が内蔵され、当該アクチュエータ３５４の出力軸３５４Ａには同軸中心となる第１傘歯車３６０が固定されている。

【0190】

アクチュエータ３５４には無線通信機能が搭載された駆動部３５５が接続されており、協働側制御部２０及び指導側制御部１０の制御下において、駆動部３５５は、協働者および熟練者による操作内容に応じた駆動力をアクチュエータ３５４に発生させ得るようになされている。

【0191】

レバー保持部３５２は、電極カテーテル１３０のレバー１３３が嵌合して保持するための一対の円弧状突起３６１Ａが形成された円盤部材３６１と、当該円盤部材３６１に固着された第２傘歯車３６２とが、ユニット筐体部３５３の固定軸３５３Ｘに回動自在に取り付けられた構成からなる。第１傘歯車３６０とレバー保持部３５２の第２傘歯車３６２とは互いに回転軸が直交するように掛合されていることから、アクチュエータ３５４の出力が第１傘歯車３６０および第２傘歯車３６２を介して円盤部材３６１に伝達される。

【0192】

図２６（Ａ）～（Ｃ）に示すように、電極カテーテル１３０のレバー１３３に対してハンドル保持部３５０をベルト状の保持具３７０を用いて取り付けることにより、一体化した装置として電極カテーテル１３０のレバー１３３を調整することができる。

【0193】

さらに例えば図２７（Ａ）および（Ｂ）に示すハンドル保持部３８０は、携帯可能なユニットタイプからなり、一端にアクチュエータ３８１が内蔵されるとともに他端にレバー保持部３８２が回動自在に露出するユニット筐体部３８３を有する。

【0194】

レバー保持部３８２は、電極カテーテル１３０のレバー１３３が嵌合して保持するための一対の円弧状突起３９０Ａが形成されるとともに、外周に沿って所定幅の溝３９０Ｂが形成された円盤部材３９０が、ユニット筐体部３８３の固定軸３８３Ｘに回動自在に取り付けられた構成からなる。

【0195】

アクチュエータ３８１の出力軸３８１Ａと円盤部材３９０の外周の溝３９０Ｂとには駆動ベルト３９１が巻回されており、当該アクチュエータ３８１の出力軸３８１Ａが駆動ベルト３９１を介して円盤部材３９０に伝達される。

【0196】

アクチュエータ３８１には無線通信機能が搭載された駆動部３９２が接続されており、協働側制御部２０及び指導側制御部１０の制御下において、駆動部３９２は、協働者および熟練者による操作内容に応じた駆動力をアクチュエータ３８１に発生させ得るようになされている。

【0197】

図２８（Ａ）～（Ｃ）に示すように、電極カテーテル１３０のレバー１３３に対してハンドル保持部３８０を取り付けることにより、一体化した装置として電極カテーテル１３０のレバー１３３を調整することができる。

【0198】

さらに本実施の形態においては、データ管理装置４０では、作業に関する熟練者及び協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて当該作業データ記憶部１５０に記憶するようにした場合について述べたが、本発明はこれに限らず、作業（カテーテルアブレーション治療手術）に伴う各種情報、すなわち、熟練者の手技や指示、作業（治療）時の対象者（患者）に関する種々の記録可能な情報（例えば、時間軸情報を伴う周囲や作業状態の動画像や、音、生理状態、治療状態、身体に関する情報など）、協働者の作業（治療実施）に伴う情報、温度や音響を含む環境情報などについても作業データ記憶部１５０に記憶するようにしても良い。

【0199】

またデータ管理装置４０において、熟練者から得られる全ての情報は、人工知能による深層学習を促進させるための情報としても活用することが可能である。さらに協働者は、熟練者が不在の場合でも、データ管理装置４０に記録された種々の情報に基づいて、過去に実施した作業（治療）の結果を何度でも再現しながら、自己の作業（治療）の技量を高めるための反復練習を行うことにより、熟練者の養成が可能なシステムとして利用することも可能となる。

【0200】

さらに本実施の形態においては、熟練者と協働者が同一構成の電極カテーテル（作業用電子器具）１３０に上述した器具用アタッチメントを介して作業用電子器具における複数の操作内容を定量的に計測するようにした場合について述べたが、本発明はこれに限らず、協働側器具用アタッチメント自体を協働者の操作と無関係に動作可能にロボット化して、指導側器具用アタッチメントの操作内容をそのまま協働側器具用アタッチメントの操作内容として伝達するようにしても良い。

【0201】

Ａ．熟練者が作業用電子器具をそのまま操作する場合
図１２との対応部分に同一符号を付して示す図２９において、この情報伝達システム２５０では、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具１３０を操作しながら、当該作業に関して自己の技能をネットワーク４を介して協働側に伝達するようになされている。協働側は上述した器具用アタッチメント２１０と機構的にはほぼ同一の構成を有する協働側器具用アタッチメント式ロボット２６０を装着するが、当該器具用アタッチメント２１０とは信号処理系の回路構成が異なる。

【0202】

指導側情報処理装置２は、指導側制御部１０の統括制御下、指導側作業用電子器具１３０の操作内容のうち定量化可能な操作による調整量を指導側調整データＤ１０として抽出する操作データ定量抽出部１４０と、当該指導側調整データＤ１０を送信する指導側通信部１１（図２９では省略）とを有する。

【0203】

協働側器具用アタッチメント式ロボット２６０は、指導側作業用電子器具１３０と同一構成からなる協働側作業用電子器具１３０に着脱自在に取り付けられ、指導側通信部１１からネットワーク４を介して送信される指導側調整データＤ１０を受信する協働側通信部２１（図２９では省略）と、指導側調整データＤ１０に基づいて、該当する操作内容の調整量を協働側作業用電子器具１３０の操作内容に反映させる操作内容反映部２７０とを有する。

【0204】

また協働側器具用アタッチメント式ロボット２６０は、協働側作業用電子器具１３０における複数の操作内容のうち定量化可能な操作による調整量を計測する調整量計測部２８０を備える。操作内容反映部２７０は、調整量計測部２８０からフィードバックされる調整量に基づいて、協働側作業用電子器具１３０における当該操作内容の調整量をキャリブレーション補正する。

【0205】

このように情報伝達システム２５０では、協働側器具用アタッチメント式ロボット２６０は、熟練者による指導側作業用電子器具１３０の操作内容が伝達されるタイミングに同期して、当該操作内容と同一の操作内容を協働側作業用電子器具１３０に対してリアルタイムで動作実行することができる。

【0206】

この結果、協働側にて協働者の手先による操作を行うことなく、協働側器具用アタッチメント式ロボット２６０が熟練者による指導側作業用電子器具１３０の操作内容に関して暗黙知である技能を非常に高い精度で間接的にリアルタイムに再現することができる。

【0207】

Ｂ．熟練者が作業用電子器具を器具用アタッチメントを装着した状態で操作する場合

【0208】

図１９との対応部分に同一符号を付して示す図３０において、協働側器具用アタッチメント式ロボット２９０は、上述した器具用アタッチメント２１０とは力覚フィードバック付与部２３５を除くとともに信号処理系の回路が異なる点を除いて、機構的にはほぼ同一の構成を有する。

【0209】

この情報伝達システム３００（後述する図３１）では、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具１３０を操作しながら、当該作業に関して自己の技能をネットワーク４を介して協働側に伝達するようになされている。

【0210】

協働側器具用アタッチメント式ロボット２９０は、上述した電極カテーテル（指導側作業用電子器具）１３０（図２０（Ａ））と別体に着脱自在に取り付け可能であり、電極カテーテル１３０のハンドル部１３１を覆うハンドル保持部２１１と、電極カテーテル１３０のシャフト１３６を上下方向から挟み込んで把持するシャフト把持部２１２とを有する。

【0211】

ハンドル保持部２１１は、電極カテーテル１３０のハンドル部１３１を覆うシェル筐体部２２０と、電極カテーテル１３０のレバー１３３と一体となって可動自在に固定されるレバー保持部２２１と、当該レバー保持部２２１のレバー回転軸を挟んで両側から引き出された一対のワイヤ２２２と、当該各ワイヤ２２２のいずれか一方のみ押し出し又は引き込むように駆動するワイヤ駆動部２２３とを有する。

【0212】

シャフト把持部２１２は、一対の湾曲当接部２３０の凸側同士をシャフト１３６の上下方向から挟み込んで当該シャフト１３６を把持するとともに、把持力調整部２３１により一対の湾曲当接部２３０の挟み込み力を調整するようになされている。

【0213】

このように協働側器具用アタッチメント式ロボット２９０を電極カテーテル１３０に対して取り付けることにより、一体化した装置として、電極カテーテル１３０のレバー１３３を自動的に操作し、シャフト１３６を絡めた特定の操作を行い得る。

【0214】

さらに協働側器具用アタッチメント式ロボット２９０においては、ハンドル保持部２１１及びシャフト把持部２１２に、それぞれ加速度センサ及びジャイロセンサ（角速度センサ）を含む種々の物理センサ（光電センサ、超音波センサ、画像判別センサ、レーザセンサ、磁気センサ等の物理センサ）を搭載するようにしてもよい。本実施の形態では、物理センサとして、例えば、３軸加速度センサ及び３軸角速度センサ（ジャイロセンサ）からなる６軸モーションセンサが搭載されている。

【0215】

図２２との対応部分に同一符号を付して示す図３１において、指導側器具用アタッチメント２１０は、指導側作業用電子器具１３０に着脱自在に取り付けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部２４０と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部２４１と、調整量計測部２４０及び操作状態計測部２４１による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部２４２と、同期データを送信する指導側通信部１１とを有する。

【0216】

協働側器具用アタッチメント式ロボット２９０は、指導側作業用電子器具１３０と同一構成からなる協働側作業用電子器具１３０に着脱自在に取り付けられ、指導側通信部１１からネットワーク４を介して送信される同期データを受信する協働側通信部２１と、同期データに基づく各操作手段の調整量及び当該操作手段同士の操作タイミングを制御信号として生成する操作制御部３１０と、当該操作制御部３１０による制御信号に基づいて各操作手段を駆動する操作手段駆動部３２０とを有する。

【0217】

操作制御部３１０は、複数の操作内容のうち定量化可能な操作手段（レバー１３３やテンションノブ１３４、一対の湾曲当接部２３０）について、その調整量及び当該操作手段同士の操作タイミングを同期データから抽出し、制御信号として操作手段駆動部３２０に送出する。

【0218】

操作手段駆動部３２０は、ハンドル保持部２１１のワイヤ駆動部２２３およびシャフト把持部２１２の把持力調整部２３１とからなり、操作制御部３１０からの制御信号に基づいて、対応する操作手段を駆動する。

【0219】

また協働側器具用アタッチメント式ロボット２９０は、協働側作業用電子器具１３０における複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量フィードバック計測部３３０を備える。操作制御部３２０は、調整量フィードバック計測部３３０からフィードバックされる調整量に基づいて、操作手段の調整量をキャリブレーション補正する。

【0220】

さらに協働側器具用アタッチメント式ロボット２９０は、協働側作業用電子器具１３０における複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態フィードバック計測部３４０を備える。

【0221】

この協働側器具用アタッチメント式ロボット２９０にも、ハンドル保持部２１１及びシャフト把持部２１２に、それぞれ加速度センサ及びジャイロセンサ（角速度センサ）を含む種々の物理センサ（光電センサ、超音波センサ、画像判別センサ、レーザセンサ、磁気センサ等の物理センサ）が搭載されている。本実施の形態では、物理センサとして、例えば、３軸加速度センサ及び３軸角速度センサ（ジャイロセンサ）からなる６軸モーションセンサが搭載されている。

【0222】

ここで複数の操作内容のうち操作手段以外の操作状態とは、上述した図２４に示すように、熟練者が右手でハンドル保持部２１１をシャフト１３６の長手方向を回転中心としてねじると同時に長手方向又はこれとは逆方向に移動させながら、左手でシャフト把持部２１２の挟み込み力を調整することにより、シャフト１３６のひねり具合を微調整しながら先端部の屈曲状態を非常に細かいレベルまで調整するような操作状態が挙げられる。

【0223】

このように作業用電子器具の操作手段以外の操作状態である、手先の繊細な作業による手技や判断についても、操作手段同士の相互の動作状態をリアルタイムで関連付けながら物理センサの検出結果に基づいて定量化させる。

【0224】

操作制御部３１０は、同期データに基づく操作手段以外の操作状態の計測量（物理センサの検出結果）を制御信号に含めて生成し、当該制御信号を協働側通信部２１を介して協働側作業用電子機器１３０と連携動作する外部機器（図示せず）に送信する。

【0225】

操作制御部３２０は、外部機器及び協働側作業用電子器具１３０を介して操作状態フィードバック計測部３４０からフィードバックされる操作状態の計測量と指導側の操作状態の計測量との比較結果を表すキャリブレーションデータを生成する。

【0226】

この外部機器は、ハンドル保持部２１１及びシャフト把持部２１２をそれぞれ保持するロボットアーム（図示せず）からなり、ハンドル保持部２１１のワイヤ駆動部２２３およびシャフト把持部２１２の把持力調整部２３１の相互の動作状態をリアルタイムで関連つけながら３次元姿勢状態を検出するようになされている。

【0227】

この外部機器に対して、協働側器具用アタッチメント式ロボット２９０からキャリブレーションデータを送信することにより、外部機器にて操作手段同士の動作状態をキャリブレーション補正することが可能となる。

【0228】

外部機器としては、ロボットアーム以外にも、協働側器具用アタッチメント式ロボット２９０における操作手段同士の相互の３次元動作状態をリアルタイムで正確かつ高精度に検出することができれば、ロボットアーム以外の構造のものを適用してもよい。

【0229】

このように情報伝達システム３００では、協働側器具用アタッチメント式ロボット２９０は、熟練者による指導側作業用電子器具１３０の操作内容が器具用アタッチメント２１０を介して伝達されるタイミングに同期して、当該操作内容と同一の操作内容を協働側作業用電子器具１３０に対してリアルタイムで動作実行することができる。

【0230】

その際、協働側器具用アタッチメント式ロボット２９０は、定量化可能な操作手段による操作状態のみならず、外部機器による当該操作手段以外の操作状態（操作手段同士の相互の３次元動作状態）をリアルタイムで正確かつ高精度に検出することができる。

【0231】

この結果、協働側にて協働者の手先による操作を行うことなく、協働側器具用アタッチメント式ロボット２９０が熟練者による指導側作業用電子器具１３０の操作内容に関して暗黙知である技能を非常に高い精度で間接的にリアルタイムに再現することができる。さらに、熟練者から得られる操作内容に関する全ての情報は、人工知能の学習促進のための情報としても活用し、ロボット化次世代治療システムとしても展開することが可能となる。

【0232】

なお、上述した協働側作業用電子機器１３０と連携動作する外部機器として、例えば図１との対応部分に同一符号を付した図３２（Ａ）および（Ｂ）に示すような自走式ロボット４００を熟練者側（指導側情報処理装置２）および協働者側（協働側情報処理装置３）にそれぞれ配置するようにしても良い。

【0233】

この自走式ロボット４００は、自律的または外部操作に応じて床面を走行する二輪駆動型の移動体であり、複数の駆動輪を同時にまたは独立して回転駆動してロボット本体を所望方向に走行させる走行ベース部４０１と、少なくとも１以上（例えば２本）の多関節機構を有するアーム部４０２の端部を支持し、かつ、鉛直方向を回動中心としてアーム部４０２と一体となって走行ベース部に対して回動自在に当該走行ベース部４０１の上段に連結されたアーム支持部４０３とを備える。

【0234】

自走式ロボット４００に関しては、本願発明者から自律移動可能な自走式ロボットとして特許出願済み（特願２０１９－２９２０３）であり、詳細構成は省略する。

【0235】

熟練者側において、自走式ロボット４００の２本のアーム部４０２には、器具用アタッチメント２１０のハンドル保持部２１１およびシャフト把持部２１２がそれぞれ連結されている（図３２（Ａ））。熟練者が自己の指先を用いて指導側作業用電子機器１３０を操作することにより、アーム部４０２の先端が熟練者の指先の動きに合わせて可動する。

【0236】

協働側において、自走式ロボット４００の２本のアーム部４０２には、協働側器具用アタッチメント式ロボット２６０、２９０のハンドル保持部２１１およびシャフト把持部２１２がそれぞれ連結されている（図３２（Ｂ））。協働者側の自走式ロボット４００は、２本のアーム部４０２がそれぞれ熟練者側の自走式ロボット４００の対応するアーム部４０２と同一の３次元動作をリアルタイムで実行する。

【0237】

この結果、協働者側の自走式ロボット４００は、熟練者の指先による操作状態を熟練者側の自走式ロボット４００にリアルタイムで正確かつ高精度に反映させることができる。

【0238】

さらに協働者側において、図３３に示すように、協働者自体が存在しない場合に、自走式ロボット４００が協働者に代わって、熟練者による操作内容と同一の操作内容をリアルタイムで動作実行することも可能である。

【0239】

また図３４に示すように、単一の多関節構造からなるアーム部４１１をもつ自走式ロボット４１０をそれぞれ操作内容ごとに配置するようにしてもよい。単一のアーム部４１１をもつ自走式ロボット４１０について、熟練者の操作内容に応じて操作手段を対応するアーム部４１１がそれぞれリアルタイムで動作実行させるようにしてもよい。この自走式ロボット４１０は、アーム部４１１が単一であることを除いて、上述した自走式ロボット４００と同一の内部構造を有する。

【0240】

さらに上述の実施の形態においては、インタラクティブ情報伝達システム１の指導側情報処理装置２における動き検知ユニット１４を、図１に示すように複数の撮像カメラ１５Ａ、１５Ｂを熟練者の近傍に設置したものを適用した場合について述べたが、本発明はこれに限らず、図３５に示すように、熟練者の胸部に設けられた広角撮像カメラ５００を用いるようにしてもよい。この広角撮像カメラ５００は、熟練者の胸元から斜め下方（例えば鉛直方向に対して下向き４５度）に向けて撮像することにより、熟練者の両手の手元を広い範囲で撮像し得るようになされている。

【0241】

また図１においては、指導側情報処理装置２の視線検知部１３の具体的構成は示していないが、視野検知部１３を図３５に示すような２個の撮像センサ５１０、５１１を搭載した眼鏡型センサ５２０から構成するようにしてもよい。この眼鏡型センサ５２０は、一方の撮像センサ５１０が熟練者の視線延長先を撮像すると同時に他方の撮像センサ５１１が熟練者の視線を追尾するように配置されている。

【0242】

この結果、熟練者は両手の手元を広い範囲で常に撮像しながら、自己の視線延長先の映像を視線追尾を兼ねて撮像することができ、協働者は熟練者の操作間隔をより一層把握することが可能となる。

【符号の説明】

【0243】

１、２００…インタラクティブ情報伝達システム、２…指導側情報処理装置、３、２０１…協働側情報処理装置、４…ネットワーク、１０…指導側制御部、１１…指導側通信部、１２…指導側映像表示部、１３、２０２…視線検知部、１４…動き検知ユニット、２１…協働側通信部、２２…対象物撮像部、２３…協働側映像表示部、２４、２０５…力変位伝達ユニット、２５、１００、１２０、２０６…エンドエフェクタ、３０…力覚伝達駆動部、３１…信号変換部、３２…力覚伝達制御部、３３…伝達比設定部、４０…データ管理装置、５０…周辺温度計測部、５１…指先温度調節部、６０…協働側データ表示部、６１…指導側データ表示部、７０…周囲音集音部、７１…周囲音再生部、８０…スピーカ、８１…マイクロホン、１０１…指先背保持部、１０２…第１線状部材、１０３…第２線状部材、１０７…伸屈駆動部、１０８…内外転駆動部、１０６、１２５…駆動ユニット、１２１…リング部、１２２…内輪、１２３…外輪、１２４、３５４、３８１…アクチュエータ、１３０…電極カテーテル、１４０…操作データ定量抽出部、１４１…操作データ優先反映部、１４２…操作ずれ量検知部、１４３…操作フィードバック付与部、２０７…リング状発光部、２１０…器具用アタッチメント、２１１、３５０、３８０…ハンドル保持部、２１２…シャフト把持部、２２０…シェル筐体部、２２１、３５２、３８２…レバー保持部、２２２…ワイヤ、２２３…ワイヤ駆動部、２３０…湾曲当接部、２３１…把持力調整部、２３５…力覚フィードバック付与部、２４０、２８０…調整量計測部、２４１…操作状態計測部、２４２…同期データ生成部、２４３…差異量検知部、２５０、３００…情報伝達システム、２６０、２９０…協働側器具用アタッチメント式ロボット、２７０…操作内容反映部、３１０…操作制御部、３２０…操作手段駆動部、３３０…調整量フィードバック計測部、３４０…操作状態フィードバック計測部、４００、４１０…自走式ロボット、５００…広角撮像カメラ、５２０…眼鏡型センサ、ＲＴ…インタラクティブ情報伝達処理手順。

【図1】