特許 7351523 システム及び操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-19

(45)【発行日】2023-09-27

(54)【発明の名称】システム及び操作方法

(51)【国際特許分類】

   G09B 19/00 20060101AFI20230920BHJP

   G09B 19/24 20060101ALI20230920BHJP

【ＦＩ】

G09B19/00 Z

G09B19/24 Z

【請求項の数】 11

(21)【出願番号】P 2020091522

(22)【出願日】2020-05-26

(65)【公開番号】P2021189223

(43)【公開日】2021-12-13

【審査請求日】2022-11-30

【国等の委託研究の成果に係る記載事項】（出願人による申告）国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（ＡＣＣＥＬ，研究課題名「高速画像処理を用いた知能システムの応用展開」平成２８年度）、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】黄 守仁

(72)【発明者】

【氏名】山川 雄司

(72)【発明者】

【氏名】石川 正俊

【審査官】前地 純一郎

(56)【参考文献】

【文献】特開２０１７－１３４１１６（ＪＰ，Ａ）

【文献】特開２００９－２４４４２８（ＪＰ，Ａ）

【文献】特開２０２０－０１２８５８（ＪＰ，Ａ）

【文献】特開２０１１－０５９２１９（ＪＰ，Ａ）

【文献】特開２０１７－０２３２２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３６９６３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００－ ９／５６

Ｇ０９Ｂ １７／００－１９／２６

(57)【特許請求の範囲】

【請求項1】

システムであって、
第１の接触部と、センサ部と、第２の接触部とを備え、
前記第１の接触部は、
被操作箇所と接続され、
ユーザの第１の手足と接触することで、前記第１の手足の動きに合わせて前記被操作箇所によって規定される目標位置を可変に構成され、
前記センサ部は、前記目標位置の所定軌道からの誤差を計測するように構成され、
前記第２の接触部は、
誤差感覚提示部を備え、且つ
前記ユーザの前記第１の手足とは異なる第２の手足と接触するように構成され、
前記誤差感覚提示部は、前記誤差に基づいた力覚又は触覚を前記第２の手足に付与することで、前記ユーザに前記誤差を提示するように構成される、
もの。

【請求項2】

請求項１に記載のシステムにおいて、
ガイド光照射部をさらに備え、
前記ガイド光照射部は、前記センサ部と同軸又は相対的位置が固定され、且つ前記目標位置を示すガイド光を照射可能に構成される、
もの。

【請求項3】

請求項１又は請求項２に記載のシステムにおいて、
前記第１及び第２の手足は、前記ユーザの左右の手であり、
前記第１及び第２の接触部は、前記左右の手でそれぞれ把握可能に構成される、
もの。

【請求項4】

請求項１～請求項３の何れか１つに記載のシステムにおいて、
前記誤差に基づいた力覚又は触覚は、前記誤差を表す誤差ベクトルに比例して決定される、
もの。

【請求項5】

請求項１～請求項３の何れか１つに記載のシステムにおいて、
前記第１及び第２の手足は、前記ユーザの左右の手又は足であり、
前記誤差に基づいた力覚又は触覚は、前記誤差を表す誤差ベクトルを対称面に関して対称移動させた対称ベクトルに比例して決定され、ここで前記対称面は、前記ユーザの体幹中心から前後に延在する面である、
もの。

【請求項6】

請求項４又は請求項５に記載のシステムにおいて、
前記誤差に基づいた力覚又は触覚は、人間の感覚提示に適した周波数に変換されて提示される、
もの。

【請求項7】

請求項１～請求項５の何れか１つに記載のシステムにおいて、
前記センサ部は、外界の情報を撮像可能に構成される撮像部である、
もの。

【請求項8】

請求項７に記載のシステムにおいて、
前記目標位置は、前記撮像部によって撮像される画像の中心である、
もの。

【請求項9】

請求項１～請求項８の何れか１つに記載のシステムにおいて、
位置調整部をさらに備え、
前記位置調整部は、
前記被操作箇所を、前記ユーザが操作可能な第１の範囲よりも小さい第２の範囲で変位可能で、
前記誤差を補正するように、前記被操作箇所の位置を調整可能に構成される、
もの。

【請求項10】

請求項９に記載のシステムにおいて、
前記センサ部の取得レート及び前記位置調整部の駆動レートは、１００ヘルツ以上である、
もの。

【請求項11】

システムの操作方法であって、
第１～第４のステップを備え、
前記第１のステップでは、ユーザの第１の手足を前記システムの第１の接触部に接触させるとともに、前記ユーザの第２の手足を前記システムの第２の接触部に接触させ、
前記第２のステップでは、前記第１の接触部に接触している前記第１の手足を動かすことで、前記システムの被操作箇所によって規定される目標位置を移動させ、
前記第３のステップでは、前記目標位置の所定軌道からの誤差を計測し、
前記第４のステップでは、前記誤差に基づいた力覚又は触覚を、前記第２の接触部に接触している前記第２の手足に付与することで、前記ユーザに前記誤差を提示する、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム及び操作方法に関する。

【背景技術】

【0002】

人間が手足を使って所定の動作を伴うタスクを実行する場面は多々存在する。特許文献１にはこのような所定の動作を訓練するために使用される技能訓練装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１２８５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技能訓練装置は、規定とは異なる動作をした際に、それを情報として報知するものであるため、ユーザが意識的にその情報を読み取らなければならない。したがって、ユーザの年代やモチベーションによっては学習効果が低くなる。

【0005】

本発明では上記事情を鑑み、ユーザの年代やモチベーションによらず、ユーザが効果的に所定の動作を学習することを支援する技術を提供することとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、システムであって、第１の接触部と、センサ部と、第２の接触部とを備え、前記第１の接触部は、被操作箇所と接続され、ユーザの第１の手足と接触することで、前記第１の手足の動きに合わせて前記被操作箇所によって規定される目標位置を可変に構成され、前記センサ部は、前記目標位置の所定軌道からの誤差を計測するように構成され、前記第２の接触部は、誤差感覚提示部を備え、且つ前記ユーザの前記第１の手足とは異なる第２の手足と接触するように構成され、前記誤差感覚提示部は、前記誤差に基づいた力覚又は触覚を前記第２の手足に付与することで、前記ユーザに前記誤差を提示するように構成される、ものが提供される。

【0007】

これによれば、ユーザの年代やモチベーションによらず、ユーザが効果的に所定の動作を学習することができる。

【図面の簡単な説明】

【0008】

【図1】システム１の全体構成を示す概要図である。

【図2】システム１の全体構成を示す概要図である。

【図3】制御装置３のハードウェア構成を示すブロック図である。

【図4】メイン装置４のハードウェア構成を示す概要図である。

【図5】制御装置３（制御部３３）の機能構成を示すブロック図である。

【図6】システム１の操作方法を示すアクティビティ図である。

【図7】画像処理部３３２が画像処理を行う画像ＩＭの一例を示す概要図である。

【図8】誤差ベクトルｖ１を表す概要図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

１．ハードウェア構成
本節では、実施形態に係るシステム１のハードウェア構成について説明する。

【0014】

１．１ システム１
図１及び図２は、システム１の全体構成を示す概要図である。図１に示されるように、ユーザＵは、システム１を用いて所定の動作の訓練を実施することができる。ここでの訓練とは、健康なユーザＵが所定の動作を習得するための訓練でもよいし、怪我をしたユーザＵがリハビリを目的とする訓練でもよい。また、図２に示されるように、システム１は、撮像装置２（センサ部の一例）と、制御装置３と、メイン装置４とを備え、これらが電気的に接続されたシステムである。

【0015】

１．２ 撮像装置２
撮像装置２は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称するフレームレートが高いものが採用されることが好ましい。

【0016】

撮像装置２（センサ部）は、目標位置ＴＰの所定軌道からの誤差Ｅを計測するように構成される。これについては、後にさらに詳述する。好ましくは、撮像装置２（センサ部）のフレームレート（取得レート）は、１００ｆｐｓ（ヘルツ）以上であり、より具体的には例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

【0017】

撮像装置２は、後述の制御装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像ＩＭを制御装置３に転送可能に構成される。

【0018】

また、撮像装置２において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係るシステム１を実施することができる。

【0019】

１．３ 制御装置３
図３は、制御装置３のハードウェア構成を示すブロック図である。図３に示されるように、制御装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が制御装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。

【0020】

通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。これにより制御装置３と通信可能な他の機器との間で情報や命令のやりとりが実行される。

【0021】

記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。また、記憶部３２は、次に説明する制御部３３が読み出し可能な各種のプログラムを記憶している。さらに、記憶部３２は、撮像装置２によって撮像され且つ通信部３１が受信した時系列の画像ＩＭを記憶する。ここで、画像ＩＭは、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。

【0022】

制御部３３は、制御装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、制御装置３に係る種々の機能を実現する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図３に示されるように、制御部３３における各機能部として実行されうる。なお、図３においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。

【0023】

１．４ メイン装置４
図４は、メイン装置４のハードウェア構成を示す概要図である。メイン装置４は、ユーザＵが自らの手足を用いて被操作箇所４３を操作することができる装置である。また、メイン装置４は、制御装置３から制御信号ＣＳを受信して、これに応じて様々に駆動する装置である。メイン装置４は、第１の接触部４１と、第２の接触部４２とを備える。

【0024】

図４に示されるように、第１の接触部４１は、被操作箇所４３と接続される。第１の接触部４１は、ユーザＵの第１の手足ＨＦ１と接触することで、第１の手足ＨＦ１の動きに合わせて被操作箇所４３によって規定される目標位置ＴＰを可変に構成される。なお、ユーザＵが第１の接触部４１を用いて移動させることができる目標位置ＴＰの範囲を第１の範囲と呼ぶこととする。

【0025】

図４に示されるように、第２の接触部４２は、誤差感覚提示部４５を備える。ユーザＵの第１の手足ＨＦ１とは異なる第２の手足ＨＦ２と接触するように構成される。誤差感覚提示部４５は、撮像装置２を介して計測された誤差Ｅに基づいた力覚又は触覚を第２の手足ＨＦ２に付与することで、ユーザＵに誤差Ｅを提示するように構成される。

【0026】

なお、第１の接触部４１及び第２の接触部４２の形態は、特に限定されるものではないが、第１の手足ＨＦ１又は第２の手足ＨＦ２に接触するというユーザビリティに応じて、適切な形態が選択されるとよい。例えば、第１の手足ＨＦ１及び第２の手足ＨＦ２が、ユーザＵの左右の手（左手ＬＨ及び右手ＲＨ）であるならば、第１の接触部４１及び第２の接触部４２は、左手ＬＨ及び右手ＲＨでそれぞれ把握可能に構成されるとよい。

【0027】

また、メイン装置４は、位置調整部４４をさらに備える。位置調整部４４は、例えばＸＹ方向に駆動可能なステージであり、被操作箇所４３を、ユーザＵが操作可能な第１の範囲よりも小さい第２の範囲で変位可能であるとよい。このような構成により、位置調整部４４は、誤差Ｅを補正するように、被操作箇所４３における目標位置ＴＰを調整することができる。

【0028】

システム１全体としては、撮像装置２のフレームレート及び位置調整部４４の駆動レートのうちの低い方が、誤差Ｅの補正に係る制御レートとして機能する。換言すると、フレームレート及び駆動レートを同程度に高くすることで、予測を全く用いずにフィードバック制御だけで目標位置ＴＰの誤差Ｅを補正することが可能となる。すなわち好ましくは、位置調整部４４の駆動レートは、撮像装置２と同様に、１００ヘルツ以上である。

【0029】

なお、ユーザＵによる所定の動作の訓練するにあたり、位置調整部４４による補正を実施しなくてもよい。位置調整部４４による補正は、カメラの手ブレ補正のようなもので、適切な所定の動作を補助的に実現するものである。ユーザＵは位置調整部４４がない場面でも、所定の動作を正しく行えるように訓練をすることがよい。かかる場合、ユーザＵにより高度な操作を課すこととなるが、そのような訓練を実施することを妨げない。

【0030】

２．機能構成
本節では、本実施形態の機能構成について説明する。図５は、制御装置３（制御部３３）の機能構成を示すブロック図である。前述の制御部３３に関して、制御装置３は、受付部３３１と、画像処理部３３２と、演算部３３３と、制御信号生成部３３４とを備える。以下、各構成要素についてさらに説明する。

【0031】

（受付部３３１）
受付部３３１は、通信部３１又は記憶部３２を介して情報を受け付け、これを作業メモリに読出可能に構成される。特に、受付部３３１は、撮像装置２及び／又はメイン装置４から通信部３１を介して種々の情報（画像ＩＭ、位置調整部４４の変位情報等）を受け付けるように構成される。制御装置３が他の機器と接続されている場合は、受付部３３１がそれらの機器から送信された情報を受信するように実施してもよい。本実施形態では、受付部３３１が受け付けた種々の情報は、記憶部３２に記憶されるものとして説明する。

【0032】

なお、受付部３３１が受け付けて作業メモリに一時的に読み出した以降は、少なくとも一部の情報を記憶部３２に記憶させなくてもよい。さらに、少なくとも一部の情報を記憶部３２以外の外部サーバに記憶させてもよい。

【0033】

（画像処理部３３２）
画像処理部３３２は、画像ＩＭに記憶部３２に記憶されたプログラムを読み出して、所定の画像処理を実行するように構成される。例えば、画像処理部３３２は、画像ＩＭから所定軌道であるラインＬを特定するための画像処理を実行する。詳細は後述する。

【0034】

（演算部３３３）
演算部３３３は、画像処理部３３２によって画像処理が実行された画像ＩＭを用いて、所定の演算を実行するように構成される。例えば、演算部３３３は、画像ＩＭから誤差ベクトルｖ１又は対称ベクトルｖ２を演算する。詳細は後述する。

【0035】

（制御信号生成部３３４）
制御信号生成部３３４は、メイン装置４を制御するための制御信号ＣＳを生成するように構成される。具体的には、制御信号生成部３３４は、位置調整部４４を駆動させる制御信号ＣＳ１を生成する。また、制御信号生成部３３４は、誤差感覚提示部４５を作動させる制御信号ＣＳ２を生成する。制御信号ＣＳの値は、例えば電圧で規定されるとよい。

【0036】

３．制御処理
本節では、システム１の制御処理の流れについて説明する。

【0037】

３．１ 操作方法
図６は、システム１の操作方法を示すアクティビティ図である。ここでは簡単のため、ユーザＵが右利きで、第１の手足ＨＦ１を右手ＲＨとし、第２の手足ＨＦ２を左手ＬＨ２として説明する。すなわちユーザＵが右手ＲＨで第１の接触部４１を把握し、左手ＬＨで第２の接触部４２を把握する（アクティビティＡ１０１）。把握は接触の一例である。そして、ユーザＵが右手ＲＨで第１の接触部４１を操作することで、被操作箇所４３における目標位置ＴＰを所定の軌道であるラインＬに沿って移動させる（アクティビティＡ１０２）。このような動作は、例えば、切削作業、塗布作業、医療行為等において含まれるものである。

【0038】

ユーザＵが第１の接触部４１を変位させると、これに応じて目標位置ＴＰも変位する。このとき、撮像装置２によって、目標位置ＴＰとラインＬとが撮像され、画像ＩＭが制御装置３に送信される（アクティビティＡ１０３）。換言すると、受付部３３１が画像ＩＭを受け付けて、これが記憶部３２に記憶される。

【0039】

図７は、画像処理部３３２が画像処理を行う画像ＩＭの一例を示す概要図である。画像処理部３３２は、受付部３３１が受け付けた画像ＩＭを画像処理によって解析し、画像ＩＭ中におけるラインＬの位置を特定する（アクティビティＡ１０４）。これは例えば、撮像された画像ＩＭを、画像に関する所定のパラメータ（明度等）にしきい値を決めてバイナリ化することで実施される。そして、画像ＩＭからラインＬの重心位置を算出することでラインＬの位置を特定することができる。

【0040】

そして、目標位置ＴＰが撮像装置２の視線と規定面Ｐとの交点として実施されるとよい。図４においては不図示であるが、位置調整部４４に撮像装置２が取り付けられていることとなる。つまり、目標位置ＴＰは、撮像装置２によって撮像される画像ＩＭの中心（画像中心ＣＴ）である。

【0041】

なお、図７に示されるように、画像ＩＭの一部の所定領域ＲＯＩに対して画像処理を行うように実施してもよい。特に、誤差Ｅの補正を高い制御レートにて行うため、ラインＬは、画像ＩＭの決まった位置（例えば画像中心ＣＴ）の近傍にあることとなり、この決まった位置の近傍領域を所定領域ＲＯＩとすることで、画像処理をするピクセル数を削減することができる。これにより、制御装置３の計算負荷を小さくして高い制御レートを維持することができる。

【0042】

続いて、演算部３３３が目標位置ＴＰ（画像中心ＣＴ）と、ラインＬとの誤差Ｅを表す誤差ベクトルｖ１を演算する（アクティビティＡ１０５）。図８は、誤差ベクトルｖ１を表す概要図である。ここで誤差Ｅが位置調整部４４の可動範囲である第２の範囲に収まる場合は、制御信号生成部３３４が誤差Ｅを補正する制御信号ＣＳ１を生成し位置調整部４４に送信する（アクティビティＡ１０６）。さらに、制御信号生成部３３４が誤差ＥをユーザＵに提示する制御信号ＣＳ２を生成し誤差感覚提示部４５に送信する（アクティビティＡ１０７）。

【0043】

換言すると、通信部３１を介して制御信号ＣＳ１がメイン装置４における位置調整部４４に送信されることで、位置調整部４４が駆動し、これにより誤差Ｅを補正することができる。この場合の制御手法は特に限定されないが、例えば、Ｐ制御、ＰＤ制御、ＰＩＤ制御等が適宜採用されうる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また、通信部３１を介して制御信号ＣＳ２がメイン装置４における誤差感覚提示部４５に送信されることで、誤差感覚提示部４５が作動し、これによりユーザＵに誤差Ｅを提示することができる。

【0044】

一方、誤差Ｅが位置調整部４４の可動範囲である第２の範囲に収まらない場合は、制御信号生成部３３４が誤差Ｅを補正する制御信号ＣＳ１を生成せずに、誤差ＥをユーザＵに提示する制御信号ＣＳ２を生成し誤差感覚提示部４５に送信するとよい（アクティビティＡ１０７）。

【0045】

誤差Ｅに基づいた力覚又は触覚は、誤差Ｅを表す誤差ベクトルｖ１に比例して決定される。つまり、誤差Ｅの大きさ（度合い）と向きとをユーザＵに提示するために、誤差ベクトルｖ１に比例したベクトル（比例定数は正負の数であり１も含む）として、力覚又は触覚がユーザＵに付与されるとよい。特に、操作している右手ＲＨとは異なる左手ＬＨに力覚又は触覚が付与されることで、操作感を損なうことなく、誤差ＥをユーザＵに提示することができる。また、特に好ましくは、誤差Ｅに基づいた力覚又は触覚は、人間の感覚提示に適した周波数に変換されて提示される。人間が知覚可能な周波数で力覚又は触覚を提示することで、ユーザＵが誤差Ｅの状態を把握することができる。

【0046】

以上に説明した制御処理が制御レート単位で繰り返されることで、ユーザＵが所定の動作を訓練し、学習することができる。まとめると、このシステム１の操作方法は、第１～第４のステップを備える。第１のステップでは、ユーザＵの第１の手足ＨＦ１をシステム１の第１の接触部４１に接触させるとともに、ユーザＵの第２の手足ＨＦ２をシステム１の第２の接触部４２に接触させる。第２のステップでは、第１の接触部４１に接触している第１の手足ＨＦ１を動かすことで、システム１の被操作箇所４３によって規定される目標位置ＴＰを移動させる。第３のステップでは、目標位置ＴＰの所定軌道からの誤差Ｅを計測する。第４のステップでは、誤差Ｅに基づいた力覚又は触覚を、第２の接触部４２に接触している第２の手足ＨＦ２に付与することで、ユーザＵに誤差Ｅを提示する。

【0047】

３．２ 同期運動
前述の仮定について補足すると、好ましくは、第１の手足ＨＦ１及び第２の手足ＨＦ２は、ユーザＵの左右の手（左手ＬＨ及び右手ＲＨ）又は足（左足ＬＦ及び右足ＲＦ）である。人間は両腕協調運動を利用して様々かつ複雑な作業を実現している。人間の両腕を協調させて動かすために、邪魔をしながらも協調しあうことが可能になるといった脳のメカニズムが存在すると考えられる。特に、両腕の同期運動（例えば、右手ＲＨ及び左手ＬＨで異なった運動を同時に行おうとしても、両手が同じような動きになる傾向）は日常生活中にも良く見られて、両腕の同期制御は脳にとって最も基本的な仕組みとも考えられる。

【0048】

つまり、左手ＬＨに力覚又は触覚を付与すると、左右の同期運動によって、速やかに右手ＲＨに誤差Ｅを補正する方向への調整がユーザＵ自身によって行われることとなる。このような制御処理によれば、ユーザＵの年代やモチベーションによらず、ユーザＵがより直感的に効果的に所定の動作を訓練し、学習することができる。

【0049】

なお、誤差Ｅに基づいた力覚又は触覚は、誤差ベクトルｖ１に代えて、誤差Ｅを表す誤差ベクトルｖ１を対称面に関して対称移動させた対称ベクトルｖ２に比例して決定されてもよい（図８参照）。ここでの対称面とは、ユーザＵの体幹中心から前後に延在する面である。ストレッチ体操等を鑑みても、人間は体幹中心から前後に延在する面を対称面として、左右対称の動作を自然に行うことができる。このため、誤差ベクトルｖ１ではなく対称ベクトルｖ２に比例する力覚又は触覚によって、誤差ＥをユーザＵが提示してもよい。さらに、ユーザＵの好みに応じて誤差ベクトルｖ１又は対称ベクトルｖ２を選択できるように実施してもよい。

【0050】

４．その他
次のような態様によって、システム１をさらに創意工夫してもよい。

【0051】

（１）システム１は、不図示のガイド光照射部をさらに備えてもよい。このガイド光照射部は、撮像装置２（センサ部）と同軸又は相対的位置が固定され、且つ目標位置ＴＰを示すガイド光を照射可能に構成されるとよい。ガイド光照射部と撮像装置２との相対的位置は、設計の際に既知であるからガイド光照射部から目標位置ＴＰを投影光として照射することができる。好ましくは、ビームスプリッタ等を用いて撮像装置２とガイド光照射部とを同軸光学系として実施するとよい。これによりユーザＵは、目標位置ＴＰを所定軌道に沿って変位させるために第１の接触部４１をどのように動かすべきかを、より直感的に把握することができる。

【0052】

（２）前述の実施形態では、目標位置ＴＰを撮像装置２の視線と規定面Ｐとの交点（画像中心ＣＴ）として実施しているがあくまでも一例でありこの限りではない。例えば、被操作箇所４３における位置調整部４４に切削具（例えばエンドミルや医療用メス）を取り付けて、かかる切削具の先端位置を目標位置ＴＰに設定することができる。この際、撮像装置２及び切削具の相対的位置は設計の際に既知である。このような変形例によれば、ユーザＵが切削加工や医療施術の訓練を実施することができる。

【0053】

（３）さらに、被操作箇所４３における位置調整部４４にレーザ射出部（加工用）を取り付けて、かかるレーザ射出部から射出されたレーザの照射位置（規定面Ｐ上）を目標位置ＴＰに設定することができる。この際、撮像装置２及びレーザ射出部の相対的位置は設計の際に既知である。このような変形例によれば、ユーザＵが所望の物体が規定された形状となるようにレーザ加工の訓練を施すことができる。

【0054】

（４）さらに、被操作箇所４３における位置調整部４４に塗料等を塗布可能に構成される塗布部を取り付けて、かかる塗布部の先端位置を目標位置ＴＰに設定することができる。この際、撮像装置２及び塗布具の相対的位置は設計の際に既知である。このような変形例によれば、ユーザが塗布工程の訓練を実施することができる。

【0055】

（５）既述の切削具、レーザ射出部、塗布具等も含めて、目標位置ＴＰを決定する対象として様々なものが考えられ、これらを自由に取り付け取り外しができるように実施することができる。

【0056】

（６）撮像装置２に代えて、又はこれとともに他のセンサを用いてもよい。例えば、レーザ変位センサ、赤外線センサ等が適宜採用されうる。

【0057】

（７）システム１としてではなく、その一部である制御装置３を単体で実施してもよい。

【0058】

（８）コンピュータを制御装置３として機能させるプログラムを実施してもよい。

【0059】

さらに、次に記載の各態様で提供されてもよい。
前記システムにおいて、ガイド光照射部をさらに備え、前記ガイド光照射部は、前記センサ部と同軸又は相対的位置が固定され、且つ前記目標位置を示すガイド光を照射可能に構成される、もの。
前記システムにおいて、前記第１及び第２の手足は、前記ユーザの左右の手であり、前記第１及び第２の接触部は、前記左右の手でそれぞれ把握可能に構成される、もの。
前記システムにおいて、前記誤差に基づいた力覚又は触覚は、前記誤差を表す誤差ベクトルに比例して決定される、もの。
前記システムにおいて、前記第１及び第２の手足は、前記ユーザの左右の手又は足であり、前記誤差に基づいた力覚又は触覚は、前記誤差を表す誤差ベクトルを対称面に関して対称移動させた対称ベクトルに比例して決定され、ここで前記対称面は、前記ユーザの体幹中心から前後に延在する面である、もの。
前記システムにおいて、前記誤差に基づいた力覚又は触覚は、人間の感覚提示に適した周波数に変換されて提示される、もの。
前記システムにおいて、前記センサ部は、外界の情報を撮像可能に構成される撮像部である、もの。
前記システムにおいて、前記目標位置は、前記撮像部によって撮像される画像の中心である、もの。
前記システムにおいて、位置調整部をさらに備え、前記位置調整部は、前記被操作箇所を、前記ユーザが操作可能な第１の範囲よりも小さい第２の範囲で変位可能で、前記誤差を補正するように、前記被操作箇所の位置を調整可能に構成される、もの。
前記システムにおいて、前記センサ部の取得レート及び前記位置調整部の駆動レートは、１００ヘルツ以上である、もの。
システムの操作方法であって、第１～第４のステップを備え、前記第１のステップでは、ユーザの第１の手足を前記システムの第１の接触部に接触させるとともに、前記ユーザの第２の手足を前記システムの第２の接触部に接触させ、前記第２のステップでは、前記第１の接触部に接触している前記第１の手足を動かすことで、前記システムの被操作箇所によって規定される目標位置を移動させ、前記第３のステップでは、前記目標位置の所定軌道からの誤差を計測し、前記第４のステップでは、前記誤差に基づいた力覚又は触覚を、前記第２の接触部に接触している前記第２の手足に付与することで、前記ユーザに前記誤差を提示する、方法。
もちろん、この限りではない。

【0060】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0061】

１ ：システム
２ ：撮像装置
３ ：制御装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：受付部
３３２ ：画像処理部
３３３ ：演算部
３３４ ：制御信号生成部
４ ：メイン装置
４１ ：第１の接触部
４２ ：第２の接触部
４３ ：被操作箇所
４４ ：位置調整部
４５ ：誤差感覚提示部
ＣＳ ：制御信号
ＣＳ１ ：制御信号
ＣＳ２ ：制御信号
ＣＴ ：画像中心
Ｅ ：誤差
ＨＦ１ ：第１の手足
ＨＦ２ ：第２の手足
ＩＭ ：画像
Ｌ ：ライン
ＬＦ ：左足
ＬＨ ：左手
Ｐ ：規定面
ＲＦ ：右足
ＲＨ ：右手
ＲＯＩ ：所定領域
ＴＰ ：目標位置
Ｕ ：ユーザ
ｖ１ ：誤差ベクトル
ｖ２ ：対称ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】