特許 6842668 遠隔操作用入力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6842668

(24)【登録日】2021年2月25日

(45)【発行日】2021年3月17日

(54)【発明の名称】遠隔操作用入力システム

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20210308BHJP

   B25J 13/02 20060101ALI20210308BHJP

   A63F 13/211 20140101ALI20210308BHJP

   A63F 13/428 20140101ALI20210308BHJP

   A63F 13/213 20140101ALI20210308BHJP

   A63F 13/52 20140101ALI20210308BHJP

【ＦＩ】

   G06F3/0346 425

   B25J13/02

   A63F13/211

   A63F13/428

   A63F13/213

   A63F13/52

【請求項の数】2

【全頁数】11

(21)【出願番号】特願2017-93389(P2017-93389)

(22)【出願日】2017年5月9日

(65)【公開番号】特開2018-190254(P2018-190254A)

(43)【公開日】2018年11月29日

【審査請求日】2020年2月29日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、国立研究開発法人科学技術振興機構、ＳＩＰ（戦略的イノベーション創造プログラム）「人体計測技術を用いた直感的な遠隔操作型ロボットの開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(73)【特許権者】

【識別番号】000220262

【氏名又は名称】東京瓦斯株式会社

(74)【代理人】

【識別番号】100114524

【弁理士】

【氏名又は名称】榎本 英俊

(72)【発明者】

【氏名】三浦 智

(72)【発明者】

【氏名】上原 瑠哉

(72)【発明者】

【氏名】菅野 重樹

(72)【発明者】

【氏名】藤江 正克

(72)【発明者】

【氏名】宮下 朋之

(72)【発明者】

【氏名】川村 和也

(72)【発明者】

【氏名】今野 実

(72)【発明者】

【氏名】鳥海 良一

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開２０１２−０５５９９６（ＪＰ，Ａ）

【文献】 特開平０７−１８４９２３（ＪＰ，Ａ）

【文献】 特開平０９−１５０３８２（ＪＰ，Ａ）

【文献】 特開２００５−２１２９５７（ＪＰ，Ａ）

【文献】 特開２０１４−０８７８５７（ＪＰ，Ａ）

【文献】 特開２０１１−０５５９８８（ＪＰ，Ａ）

【文献】 特開２００８−１９５３５７（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０５２４７４５０（ＣＮ，Ａ）

【文献】 米国特許出願公開第２０１４／０１６５７７０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０３４６

Ａ６３Ｆ １３／２１１

Ａ６３Ｆ １３／２１３

Ａ６３Ｆ １３／４２８

Ａ６３Ｆ １３／５２

Ｂ２５Ｊ １３／０２

(57)【特許請求の範囲】

【請求項1】

所定の移動体を遠隔操作する際に、操作者の手首の動作により前記移動体に動作方向を指令する遠隔操作用入力システムにおいて、
前記操作者の一方側の手首の周囲に配置され、当該手首の動作状態を検出する手首動作検出手段と、当該手首動作検出手段での検出結果に対応して前記移動体への操作指令を行う操作指令手段と、前記移動体における視野内への没入感を前記操作者に付与する没入感付与手段とを備え、
前記手首動作検出手段は、前記一方側の肘に対して非接触の状態で、前記一方側の手首の動きに合せて動作する機構からなる動作部と、当該動作部の動作状態を検出する検出部とを備え、
前記動作部は、前記一方側の手で把持される把持用部材と、当該把持用部材が把持された状態で前記手首の全方向若しくは一部方向の動きを許容するように、前記把持用部材を動作可能に支持する支持ユニットとを備え、
前記検出部では、直交３軸における少なくとも１軸回りの前記把持用部材の回転量と、直交３軸における少なくとも１方向の前記把持用部材の移動量とが検出され、
前記操作指令手段では、前記回転量及び前記移動量に基づき、前記把持用部材の回転方向及び移動方向と同一方向に前記移動体を回転、移動させるように、前記移動体への操作指令を行い、
前記没入感付与手段は、前記視野を撮像可能に配置されたカメラと、当該カメラで取得されたカメラ画像に、前記移動体の移動方向を表す付随情報である移動方向表示線を重ね合わせた合成画像を生成する画像処理部と、前記合成画像を前記操作者に提示する表示部とを備え、
前記画像処理部では、前記検出部の検出結果に基づき、前記移動方向表示線の前記カメラ画像内における位置及び姿勢を特定して前記合成画像を生成し、
前記表示部は、前記操作者が前記把持用部材を把持する一方側の腕部の延出方向に沿って人差し指を伸ばしたときに、当該人差し指と前記合成画像上の前記移動方向表示線とが前記操作者の同一視線上に並ぶように配置されることを特徴とする遠隔操作用入力システム。

【請求項2】

前記画像処理部では、前記移動方向表示線を前記カメラ画像における前記移動体の移動方向手前側から奥行側に延びるように重畳して前記合成画像を生成することを特徴とする請求項１記載の遠隔操作用入力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作用入力システム及び手首動作検出装置に係り、更に詳しくは、操作者が種々の移動体の遠隔操作を直感的に行えるようにするための遠隔操作用入力システム及び手首動作検出装置に関する。

【背景技術】

【0002】

従来、移動機能を有する機器類やロボット等の各種の移動体を遠隔操作する場合においては、ジョイスティック等の入力装置による操作指令が専らである。しかしながら、この従来の入力装置では、その操作方向と移動体の姿勢に対する入力方向とが必ずしも一致しておらず、操作者にとって、遠隔操作時の移動体の操作方向や操作方法が分かり難い。このことから、当該入力装置としては、あたかも、操作者自身の手で移動体を持ちながら手首のみを使って所望の移動方向に動作させるような直感的な操作を可能にするものが望ましい。この遠隔操作の直感性は、特に、災害現場における瓦礫や建物の下や、空中の遥か遠方等、操作者が移動体を直視できない環境下で移動体を遠隔操作する際において、移動体の動作方向指令の正確性が一層要求される場合等に有用となる。

【0003】

ところで、特許文献１では、操作者がグリップを把持した状態で、当該グリップに繋がるアームに肘を載せた状態で肘を任意に動かし、グリップの位置や姿勢の変化をセンサで検出することで、当該変化に基づき操作対象のロボットに動作指令を行う操縦装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−２６４０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、前記特許文献１の操縦装置では、操作者による移動体の直感的な遠隔操作を実現することができない。すなわち、この操縦装置は、肘をアームに載せた状態で肘と手首を動かしながら動作指令を行う構造になっているため、肘の位置が所定範囲内に拘束されることになり、肘の位置に関係無く、移動体を直接手に持ちながら手首のみを使って動かす操作感が得られない。また、前記操縦装置は、肘を移動可能にするリンク機構が設けられたアームと、このアームに取り付けられ、肘を平面方向にスライドさせるための台座とを備えた機構を採用しているため、装置全体の大型化を招来する。更に、使用時に前記台座をテーブル等の平面部分に載置する必要があり、操縦装置の使用態様に制約を生じることになり、例えば、平面部分の無い屋外での使用時において、設置場所に制約が生じ、使用し難くなる。また、前記アームには、菱形のリンク機構が設けられていることから、その設置方向から肘を横方向に並進させることができず、当該横方向には前記アームの関節の回転のみで行われるため、特異点が生じ、肘を自由な範囲で動かすことができない。このため、肘の動作を行いながらその可動範囲外に達したときに、引き続き同じ動作を継続させる指令を行う場合には、操作者が一旦、操作とは関係の無い別の動作を行うことで操作指令をリセットしなければならず、この点からも、遠隔操作の直感性を得ることができない。

【0006】

本発明は、このような課題を解決するために案出されたものであり、その目的は、簡単な構造で、操作者が移動体の遠隔操作を直感的に行うことができる遠隔操作用入力システム及び手首動作検出装置を提供することにある。

【課題を解決するための手段】

【0007】

前記目的を達成するため、本発明は、主として、所定の移動体を遠隔操作する際に、操作者の手首の動作により前記移動体に動作方向を指令する遠隔操作用入力システムにおいて、前記操作者の一方側の手首の周囲に配置され、当該手首の動作状態を検出する手首動作検出手段と、当該手首動作検出手段での検出結果に対応して前記移動体への操作指令を行う操作指令手段とを備え、前記手首動作検出手段は、前記一方側の肘に対して非接触の状態で、前記一方側の手首の動きに合せて動作する機構からなる動作部と、当該動作部の動作状態を検出する検出部とを備え、前記動作部は、前記一方側の手で把持される把持用部材と、当該把持用部材が把持された状態で前記手首の全方向若しくは一部方向の動きを許容するように、前記把持用部材を動作可能に支持する支持ユニットとを備え、前記検出部では、直交３軸における少なくとも１軸回りの前記把持用部材の回転量と、直交３軸における少なくとも１方向の前記把持用部材の移動量とが検出され、前記操作指令手段では、前記回転量及び前記移動量に基づき、前記把持用部材の回転方向及び移動方向と同一方向に前記移動体を回転、移動させるように、前記移動体への操作指令を行う、という構成を採っている。

【0008】

なお、本明細書及び本特許請求の範囲において、手首動作検出装置に関する位置若しくは方向を示す用語は、特に明記しない限り、図２に表した直交３軸を基準にし、装置の装着時における操作者の手首の動作方向に対応して、次のように定義する。すなわち、装置装着時における腕部の延出方向となる図２中のｘ軸に沿う方向を「前後方向」と称し、装置装着時における腕部の横方向となる同ｙ軸に沿う方向を「左右方向」と称し、装置装着時における腕部の上下方向となる同ｚ軸に沿う方向を「上下方向」と称する。また、「前方」は、装置装着時における手の先端方向を意味する。更に、前記ｘ軸回りの回転方向を「ロール方向」、前記ｙ軸回りの回転方向を「ピッチ方向」、前記ｚ軸回りの回転方向を「ヨー方向」と称する。

【発明の効果】

【0009】

本発明によれば、アーム等で肘を支持しながら手首を動かす構造になっていないため、アームやリンク等の機構が不要となり、装置全体の小型化を図ることができる。また、移動体の回転方向や並進方向に対応した方向に動作部を動作させることにより、動作部の操作方向に移動体の移動方向や姿勢が一致するように、移動体の動作方向すなわち並進方向や回転方向を指令することができ、操作者が移動体を実際手で持って直接操作するかのような直感的な遠隔操作が可能になる。更に、操作者が遠隔操作する際に、手首や肘の動きが不必要に拘束されないため、遠隔操作の直感性がより得られることになる。

【0010】

また、没入感付与手段を更に備えた構成を採用すると、あたかも、操作者自身の眼が移動体に付いているかのように、移動体からの視野に操作者が入り込んだ状態で、移動体の遠隔操作が可能となり、移動体の動作方向を操作者の感覚により一致させ、移動体の遠隔操作を一層行い易くすることができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る遠隔操作用入力システムの概略構成図。

【図2】第１実施形態の遠隔操作用入力システムに適用される手首動作検出装置の概略斜視図。

【図3】図２の拡大図。

【図4】第２実施形態に係る遠隔操作用入力システムの概略構成図。

【図5】第２実施形態の遠隔操作用入力システムに適用される手首動作検出装置の概略斜視図。

【図6】移動方向表示線と人差し指の位置関係を説明するための要部概略平面図。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照しながら説明する。
（第１実施形態）

【0013】

図１には、第１実施形態に係る遠隔操作用入力システムの構成を記した概略構成図が示されている。この図において、前記遠隔操作用入力システム１０は、操作者の遠隔操作により、所定の移動体Ｍの移動、回転に関する動作方向の指令を行うための入力用のインターフェースとして機能する。なお、本発明における移動体Ｍとは、ドローン等の無人飛行体、若しくは、自動車やクローラ型機器等の無人走行体、潜水艇、内視鏡やカテーテル等の移動型の医療用機器、医療用ロボット、産業用ロボット、ヒューマノイドロボット等、各種の移動機能を有する機器類やロボットの移動可能な物体の他に、ゲーム等のキャラクタやアイコン等、画面上を移動可能な画像やマーク等を含むものとして用いる。以下の実施形態においては、移動体Ｍをドローンとし、当該ドローンの動作方向を指令する遠隔操縦を行うためのシステムとして説明する。

【0014】

前記遠隔操作用入力システム１０は、操作者の一方側の手首の周囲に配置され、手首の動作状態を検出する手首動作検出手段として機能する手首動作検出装置１１と、手首動作検出手段１１での検出結果に対応して移動体Ｒへの操作指令を行う操作指令手段として機能するコンピュータ１２とを備えている。

【0015】

前記手首動作検出装置１１は、前記一方側の肘に非接触の状態で、当該一方側の手首の動きに合せて動作する機構からなる動作部１４と、動作部１４の動作状態を検出する検出部１５とを備えている。

【0016】

前記動作部１４は、図２に示されるように、前記一方側の手Ｈ１で把持される把持用部材１７と、把持用部材１７が把持された状態でその手首の全方向若しくは一部方向の動きを許容するように、把持用部材１７を動作可能に支持する支持ユニット１８とを備えている。

【0017】

前記把持用部材１７は、特に限定されるものではないが、側面視ほぼＬ字状をなし、上下方向に延びる前側の部位が操作者の手Ｈ１で把持する把持部１７Ａとなり、同図中ｘ軸方向となる前後方向に延びる基部１７Ｂの基端側が、支持ユニット１８側に接続される部位となる。

【0018】

前記支持ユニット１８は、把持用部材１７を直交３軸回りに回転可能に支持する回転機構と、把持用部材１７を直交３軸方向に移動可能に支持するスライド機構とを備え、把持用部材を６自由度で動作可能に支持する構造となっている。

【0019】

すなわち、この支持ユニット１８は、図３に示されるように、把持用部材１７をヨー方向（ｚ軸回り）に回転可能に支持する第１の支持部材２１と、第１の支持部材２１をピッチ方向（ｙ軸回り）に回転可能に支持する第２の支持部材２２と、第２の支持部材２２の外側に配置され、第２の支持部材２２を前後方向（ｘ軸方向）及び上下方向（ｚ軸方向）にそれぞれ移動可能に支持する第３の支持部材２３と、第３の支持部材２３をロール方向（ｘ軸回り）に回転可能に支持する第４の支持部材２４と、第４の支持部材２４を左右方向（ｙ軸方向）に移動可能に支持する第５の支持部材２５とにより構成される。

【0020】

前記第１の支持部材２１は、前記把持用部材１７の基部１７Ｂに対して、把持用部材１７の把持状態で手首を中心としたヨー方向への相対回転を許容する回転機構を構成する回転軸Ｃ１で連結されている。

【0021】

前記第２及び第３の支持部材２２，２３は、把持用部材１７の把持状態で手首を中心としたピッチ方向への相対回転を許容する回転機構を構成する回転軸Ｃ２で連結されている。

【0022】

前記第３の支持部材２３では、レールＲ等を用いて第２の支持部材２２を前後方向及び上下方向に相対移動可能に支持するスライド機構が採用されている。

【0023】

前記第４の支持部材２４は、中空部分が形成された円形のリング状に形成されており、第５の支持部材２５との間で連結部２７を介して連結される。この連結部２７には、第４の支持部材２４について、把持用部材１７の把持状態で手首を中心としたロール方向への相対回転を許容する回転機構が設けられている。また、第４の支持部材２４の中空部分は、図２に示されるように、把持部１７Ａに対向し、且つ、前記把持部１７Ａを把持する一方側の手Ｈ１に繋がる腕部Ａ１を貫通させるのに十分な内径を有しており、当該中空部分に腕部Ａ１を通した状態で、把持部１７Ａを把持可能に設けられている。

【0024】

前記第５の支持部材２５は、第４の支持部材２４を囲むように配置される方形状の枠体により構成されている。また、左右方向に延びる上側部分２５Ａには、連結部２７が取り付けられており、それらの間には、連結部２７を上側部分２５Ａに沿って左右方向に移動可能にするスライド機構が設けられている。また、上側部分２５Ａに対向する下側部分２５Ｂには、装置全体を固定する装置固定手段２９が設けられている。

【0025】

この装置固定手段２９は、図２に示されるように、操作者の一方側の手Ｈ１で把持部１７Ａを把持した状態で、操作者の他方側の腕部Ａ２に固定可能な構造となっている。具体的に、装置固定手段２９は、腕部Ａ２を挿通可能な内径を有する筒状部材からなる。

【0026】

なお、前記装置固定手段２９としては、操作者の他方の腕部Ａ２に固定する他、柱状やブロック状等の何等かの物体に固定可能なチャック等の構成を採用することもできる。

【0027】

前記検出部１５は、図２及び図３では図示省略しているが、支持ユニット１８での前記各スライド機構や前記各回転機構が動作したときに、各方向の回転量や移動量をそれぞれ検出可能とするように、スライド機構や回転機構のそれぞれに設けられたポテンショメータ等の変位検出用のセンサからなる。つまり、各センサにより、把持用部材１７の直交３軸方向の移動量と当該３軸回りの回転量（回転角度）とがそれぞれ計測されることになる。

【0028】

前記コンピュータ１２では、検出部１５で計測された回転量及び移動量に基づく動作量や動作速度により、操作者の手Ｈ１で操作した把持用部材１７の回転方向及び移動方向と同一の方向に移動体Ｍを回転、並進させるように、移動体Ｍに操作指令する信号を生成するようになっている。

【0029】

次に、前記遠隔操作用入力システム１０による入力操作について説明する。

【0030】

先ず、操作者は、図２に示されるように、左右何れか一方の腕部Ａ１をリング状の第４の支持部材２４に通した状態で、当該一方側の手Ｈ１で把持部１７Ａを把持するとともに、当該手Ｈ１の下方で他方の腕部Ａ２をクロスするように当該腕部Ａ２を筒状の装置固定手段２９に通し、手首動作検出装置１１全体を支持する。

【0031】

その状態で、把持部１７Ａを把持している側の手首（以下、「把持側手首」と称する）を前後方向に移動しようとすると、第２及び第３の支持部材２２，２３を前後方向に相対移動させるスライド機構により、第１及び第２の支持部材２１，２２と一体的に把持用部材１７が前後方向に移動し、当該方向の移動量が検出部１５で検出される。
また、把持側手首を左右方向に移動しようとすると、第４及び第５の支持部材２４，２５を左右方向に相対移動させるスライド機構により、第１〜第４の支持部材２１〜２４と一体的に把持用部材１７が左右方向に移動し、当該方向の移動量が検出部１５で検出される。
更に、把持側手首を上下方向に移動しようとすると、第２及び第３の支持部材２２，２３を上下方向に相対移動させるスライド機構により、第１及び第２の支持部材２１，２２と一体的に把持用部材１７が上下方向に移動し、当該方向の移動量が検出部１５で検出される。
また、把持側手首をロール方向に回転しようとすると、第５の支持部材２５に対して第４の支持部材２４をロール方向に回転させる回転機構により、第１〜第４の支持部材２１〜２４と一体的に把持用部材１７がロール方向に回転し、当該方向の回転量が検出部１５で検出される。
更に、把持側手首をピッチ方向に回転しようとすると、第３の支持部材２３に対して第２の支持部材２２をピッチ方向に回転させる回転機構により、第１及び第２の支持部材２１，２２と一体的に把持用部材１７がピッチ方向に回転し、当該方向の回転量が検出部１５で検出される。
また、把持側手首をヨー方向に回転しようとすると、第１の支持部材２１に対して把持用部材１７をヨー方向に回転させる回転機構により、把持用部材１７のみがヨー方向に回転し、当該方向の回転量が検出部１５で検出される。

【0032】

そして、前記コンピュータ１２では、検出部１５で検出された検出結果、すなわち、把持側手首の移動方向及び当該移動量と、把持側手首の回転方向及び回転量とに対応させて、移動体Ｍの移動方向及び移動量（或いは移動速度）と、移動体Ｍの回転方向及び回転量（或いは回転速度）とにより、移動体Ｍが動作するように移動体Ｍへの指令信号が生成される。

【0033】

つまり、把持側手首を前後方向に移動させたときには、その移動量に対応した移動量で、移動体Ｍをその前後方向に並進させる操作信号が生成される。
また、把持側手首を左右方向に移動させたときには、その移動量に対応した移動量で、移動体Ｍをその左右方向に並進させる操作信号が生成される。
更に、把持側手首を上下方向に移動させたときには、その移動量に対応した移動量で、移動体Ｍをその上下方向に並進させる操作信号が生成される。
また、把持側手首をロール方向に回転させたときには、その回転量に対応した回転量で、移動体Ｍをそのロール方向に旋回させる操作信号が生成される。
更に、把持側手首をピッチ方向に回転させたときには、その回転量に対応した回転量で、移動体Ｍをそのピッチ方向に旋回させる操作信号が生成される。
また、把持側手首をヨー方向に回転させたときには、その回転量に対応した回転量で、移動体Ｍをそのヨー方向に旋回させる操作信号が生成される。

【0034】

なお、前記コンピュータ１２では、必要に応じて、移動体Ｍの移動方向や回転方向の指令信号のみ生成し、前記移動量や回転量に関係無く、把持部１７Ａが所定の初期位置や初期姿勢から変化した方向に一定の移動速度及び回転速度で移動体Ｍを動作させるようにしても良く、前記移動量や回転量の使用については、種々の態様を採用可能である。

【0035】

従って、遠隔操作用入力システム１０によれば、操作者の手首を中心とした回転動作及びスライド動作による入力を行うことができ、移動体Ｍをあたかも操作者の手で直接把持して動かすかのような動作方向の指令を行うことができ、移動体Ｍの直感的な遠隔操作が可能になる。

【0036】

次に、本発明の他の実施形態について説明する。なお、以下の説明において、前記第１実施形態と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
（第２実施形態）

【0037】

第２実施形態における遠隔操作用入力システム３０は、図４に示されるように、第１実施形態に係る遠隔操作用入力システム１０に対し、移動体Ｍにおける視野内への没入感を操作者に付与する没入感付与手段３１を更に備えたところに特徴を有する。

【0038】

前記没入感付与手段３１は、移動体Ｍの移動方向における前方の視野を撮像可能に移動体Ｍに取り付けられたカメラ３３と、カメラ３３で取得されたカメラ画像に移動体Ｍの移動方向を表す付随情報を重ね合わせた合成画像を生成する画像処理部３４と、画像処理部３４で生成された合成画像を操作者に提示するための表示部３５と、表示部３５の姿勢を検出する姿勢センサ３７とを備えている。

【0039】

本実施形態では、図２に対して反対方向から手首動作検出装置１１を見た図５に示されるように、操作者は、腕部Ａ１の延出方向に沿って人差し指Ｆを伸ばした状態で把持用部材１７を把持する。そして、没入感付与手段３１では、以下に詳述するように、人差し指Ｆの延出方向を移動体Ｍの移動方向として、当該人差し指Ｆの延出方向に合致するように、直線状の移動方向表示線Ｌを前記付随情報として、実空間の画像であるカメラ画像に重畳して前記合成画像が生成される。移動方向表示線Ｌは、カメラ画像に重畳された合成画像として、第５の支持部材２５の上側部分２５Ａに取り付けられた前記表示部３５を通じて操作者に提示され、これによって、前記没入感が操作者に付与されることになる。

【0040】

前記画像処理部３４は、図４に示されるように、有線若しくは無線による通信を利用して前記カメラ画像を取得する画像取得部３９と、把持用部材１７を把持している際の人差し指Ｆの位置及び姿勢につき、検出部１５での把持用部材１７の位置及び姿勢の検出結果から演算により求める操作側状態算出部４０と、人差し指Ｆの位置及び姿勢から移動方向表示線Ｌを特定し、移動方向表示線Ｌをカメラ画像に重畳する処理を行う加工部４１と、加工部４１で生成された合成画像を表示部３５に送信する画像送信部４２とを備えている。

【0041】

前記加工部４１では、次の座標変換処理等により、移動方向表示線Ｌをカメラ画像に重畳した合成画像が生成される。すなわち、人差し指Ｆの延出方向を移動体Ｍの移動方向としたときに、表示部３５は、手首操作検出装置１１の定位置に固定されており、且つ、表示部３５の姿勢は姿勢センサ３７で検出されることから、手首操作検出装置１１に対する表示部３５の位置及び姿勢が特定される。そこで、操作側状態演算部４０で特定された人差し指Ｆの位置及び姿勢から、座標変換によって、表示部３５内の画像座標系における移動方向表示線Ｌの延出方向が特定され、移動方向表示線Ｌがカメラ画像に重畳される。つまり、ここでは、表示部３５の下端側が移動体Ｍ側とされ、移動方向表示線Ｌは、指示する移動方向が前方であれば、表示部３５の画面下端側から画面上側に向かって延びるように合成画像に表示され、例えば、指示する移動方向が右斜め前方であれば、表示部３５の画面下端側から画面の右斜め上方側に向かって延びるように合成画像に表示される。

【0042】

前記表示部３５は、スマートフォン等の端末等、表示画面を有するものであれば何でも良く、画像送信部４２との間での有線若しくは無線での通信を可能に設けられる。また、この表示部３５は、把持用部材１７を把持している腕部Ａ１の人差し指Ｆの先端側よりも手前側の上方に配置されるようになっており、本実施形態では、図６中破線で示すように、人差し指Ｆと合成画像上の移動方向表示線Ｌとが操作者の同一視線上に並ぶように、表示部３５が支持ユニット１８に取り付けられる。これにより、前記没入感を一層高めることが可能になる。

【0043】

前記姿勢センサ３７は、スマートフォン等の端末に内蔵された姿勢センサを利用しても良いし、支持ユニット１８と表示部３５との連結部分に配置しても良い。

【0044】

なお、本発明に適用される手首動作検出手段としては、前記各実施形態における手首動作検出装置１１の構造に限らず、手首の周辺に配置され、操作者の肘に当接することなく、把持側手首の各方向の移動及び回転に追従して動作する機構を有し、且つ、当該各動作の状態を検出可能な構造を有する限り、設計変更がなされた種々のものを採用できる。

【0045】

また、前記各実施形態では、前記手首動作検出装置１１として、６自由度の動作を可能に構成したが、本発明はこれに限らず、例えば、上下方向及び左右方向の移動を可能にする機構を省略し、内視鏡ロボット等、前後方向のみの移動方向が想定される移動体Ｍの遠隔操作用として、４自由度の動作を可能に構成する等、移動体Ｍの動作態様に応じて、自由度数の増減と移動方向や回転方向を限定した構造とすることもできる。

【0046】

更に、前記支持ユニット１８の構造として、操作者の手Ｈ１で把持用部材１７に付与される外力を解除したときに、把持用部材１７を初期位置及び初期姿勢に復元させるばね等の付勢部材を各動作部分に設けることもできる。

【0047】

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

【符号の説明】

【0048】

１０、３０ 遠隔操作用入力システム
１１ 手首動作検出装置（手首動作検出手段）
１２ コンピュータ（操作指令手段）
１４ 操作部
１５ 検出部
１７ 把持用部材
１８ 支持ユニット
２９ 装置固定手段
３１ 没入感付与手段
３３ カメラ
３４ 画像処理部
３５ 表示部
Ａ１ 腕部
Ａ２ 腕部
Ｆ 人差し指
Ｈ１ 手
Ｌ 移動方向表示線
Ｍ 移動体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】