特開 2023-9642 遠隔操作システム、操作器及び遠隔操作支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023009642

(43)【公開日】2023-01-20

(54)【発明の名称】遠隔操作システム、操作器及び遠隔操作支援方法

(51)【国際特許分類】

   B25J 5/00 20060101AFI20230113BHJP

【ＦＩ】

B25J5/00 A

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021113091

(22)【出願日】2021-07-07

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】堀ノ内 貴志

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS26

3C707CS08

3C707JU12

3C707KS10

3C707KT01

3C707KT04

3C707WA16

(57)【要約】

【課題】遠隔操作者が遠隔操作時に移動することが容易であり、長時間の遠隔操作が可能であり、操作器の操作方法の習得が容易である遠隔操作システムを提供する。
【解決手段】遠隔操作システムは、第１の移動機構を備えたロボット装置と、操作現場からロボット装置の動作の制御を指示する操作器と、を備える。操作器は、表示デバイスと、第２の移動機構と、を備える。操作器は、ロボット装置により撮像された第１の画像を受信し、表示デバイスに第１の画像を表示させ、操作者による操作器を移動させる操作が検知された場合、ロボット装置を移動させる指示を含む指示信号をロボット装置へ送信する。ロボット装置は、指示信号を受信し、指示信号に基づいて、操作器の移動に対応してロボット装置が移動するよう第１の移動機構を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の移動機構を備えたロボット装置と、操作現場から前記ロボット装置の動作の制御を指示する操作器と、を備える遠隔操作システムであって、
前記操作器は、表示デバイスと、第２の移動機構と、を備え、
前記操作器は、
前記ロボット装置により撮像された第１の画像を受信し、前記表示デバイスに前記第１の画像を表示させ、
操作者による前記操作器を移動させる操作が検知された場合、前記ロボット装置を移動させる指示を含む指示信号を前記ロボット装置へ送信し、
前記ロボット装置は、
前記指示信号を受信し、
前記指示信号に基づいて、前記操作器の移動に対応して前記ロボット装置が移動するよう前記第１の移動機構を制御する、
遠隔操作システム。

【請求項2】

前記指示信号は、前記ロボット装置の移動量、移動方向、及び移動速度の少なくとも１つの制御を指示する信号を含み、
前記ロボット装置は、前記指示信号に基づいて、前記ロボット装置の移動量、移動方向、及び移動速度の少なくとも１つを制御する、
請求項１に記載の遠隔操作システム。

【請求項3】

前記操作器は、前記操作現場に配置され、
前記ロボット装置は、遠隔現場に配置され、
前記操作現場の空間における移動量の大きさに対する前記遠隔現場における移動量の大きさの比を示すスケール比に基づいて、前記操作器の移動量が前記ロボット装置の移動量に変換される、
請求項２に記載の遠隔操作システム。

【請求項4】

前記スケール比は、前記操作現場の空間と前記遠隔現場の空間との大きさの比である、請求項３に記載の遠隔操作システム。

【請求項5】

前記ロボット装置の移動速度には上限が設けられており、
前記操作器の移動速度に対応する前記ロボット装置の移動速度が前記上限に到達した場合、前記操作器は、前記操作器の移動を抑制するよう前記第２の移動機構を制御する、
請求項２に記載の遠隔操作システム。

【請求項6】

前記表示デバイスの周端部に入力センサが設置され、
前記入力センサは、物理的な接触に基づく入力を検出し、
前記操作器は、前記入力に基づく入力操作に基づいて、前記操作器を移動させる操作を検知する、
請求項１に記載の遠隔操作システム。

【請求項7】

前記操作器は、前記入力センサが前記表示デバイスの周端部への接触に基づく入力を検知していない場合、前記操作器の移動の有無にかかわらず、前記ロボット装置を移動させる指示を含む指示信号を前記ロボット装置に送信しない、
請求項６に記載の遠隔操作システム。

【請求項8】

前記入力センサが前記表示デバイスの周端部への接触に基づく入力を検知していない場合、前記操作器は、前記操作者による前記操作器の移動を抑制するよう前記第２の移動機構を制御する、
請求項６に記載の遠隔操作システム。

【請求項9】

前記入力センサは、更に、前記操作器の近傍における前記操作者の手及び腕の少なくとも一方の姿勢を前記入力操作として検出し、
前記操作器は、前記入力センサにより検出された前記表示デバイスの周端部への接触箇所が２箇所未満の場合、前記操作器の近傍における入力操作に基づいて生成された前記ロボット装置が備える腕部機構の姿勢を指示する前記指示信号を出力し、
前記ロボット装置は、前記指示信号に基づいて、前記腕部機構を駆動する、
請求項６に記載の遠隔操作システム。

【請求項10】

前記操作器は、前記入力センサにより前記表示デバイスの周端部への接触が検知されていない場合、前記操作器の近傍における前記手及び前記腕の少なくとも一方の姿勢が検出されたか否かにかかわらず、前記腕部機構の姿勢を指示する前記指示信号の出力を抑制する、
請求項９に記載の遠隔操作システム。

【請求項11】

前記ロボット装置は、
前記第１の画像の範囲に対応する空間よりも広い範囲で、前記ロボット装置の周囲の状況を検出する第１の環境センサを備え、
前記第１の環境センサにより第１の障害物が検出された場合、前記第１の障害物が検出されたことを示す障害物検出情報を前記操作器に送信し、
前記操作器は、前記障害物検出情報を受信すると、前記第１の障害物が検出された旨を前記表示デバイスに表示させる、
請求項１～１０のいずれか１項に記載の遠隔操作システム。

【請求項12】

前記ロボット装置は、
前記第１の画像の範囲に対応する空間よりも広い範囲で、前記ロボット装置の周囲の状況を検出する第１の環境センサを備え、
前記第１の環境センサにより第１の障害物が検出された場合、前記第１の障害物が検出されたことを示す障害物検出情報を前記操作器に送信し、
前記操作器は、
前記ロボット装置からの前記障害物検出情報を受信し、
前記障害物検出情報の受信に基づいて前記ロボット装置の移動を抑制させる前記指示信号を生成し、
前記ロボット装置は、前記指示信号に基づいて、前記第１の移動機構の駆動を抑制する、
請求項１～１０のいずれか１項に記載の遠隔操作システム。

【請求項13】

前記操作器は、前記操作器の周囲の状況を検出する第２の環境センサを備え、
前記操作器は、前記操作者が前記操作器を移動させる方向に、前記第２の環境センサにより第２の障害物が検出された場合、前記第２の移動機構の駆動を抑制する、
請求項１１又は１２に記載の遠隔操作システム。

【請求項14】

前記操作器は、操作現場に配置され、
前記操作器は、前記操作器の周囲の状況を検出する第２の環境センサを備え、
前記操作器は、前記第２の環境センサにより前記操作現場における前記操作者の位置を検出した場合、前記操作者から所定距離以内に前記操作器を移動させる
請求項１～１１のいずれか１項に記載の遠隔操作システム。

【請求項15】

前記ロボット装置により前記第１の画像が撮像される際の撮像範囲が、前記表示デバイスにより表示される前記第１の画像の表示範囲よりも広く、
前記操作器は、前記撮像範囲の内側且つ前記表示範囲の外側に存在する物体を認識した場合、前記第１の画像に重畳して前記物体に関する情報を前記表示デバイスに表示させる、
請求項１～１４のいずれか１項に記載の遠隔操作システム。

【請求項16】

前記操作器は、鉛直方向に対する前記表示デバイスの表示面の角度を変更自在に支持する変形機構を備え、
前記操作器は、鉛直方向に対する前記表示デバイスの表示面の角度に基づいて、前記指示信号を生成する、
請求項１～１５のいずれか１項に記載の遠隔操作システム。

【請求項17】

操作現場から第１の移動機構を備えたロボット装置の動作の制御を指示する操作器であって、
プロセッサと、通信デバイスと、表示デバイスと、第２の移動機構と、を備え、
前記プロセッサは、
前記通信デバイスを介して、前記ロボット装置により撮像された第１の画像を受信し、
前記表示デバイスに前記第１の画像を表示させ、
操作者による前記操作器を移動させる操作が検知された場合、前記通信デバイスを介して、前記ロボット装置を移動させる指示を含む指示信号を送信する、
操作器。

【請求項18】

操作現場から第１の移動機構を備えたロボット装置の動作の制御を指示する遠隔操作支援方法であって、
前記ロボット装置により撮像された第１の画像を受信し、
表示デバイスに前記第１の画像を表示させ、
操作者による前記表示デバイスを含む操作器を移動させる操作が検知された場合、前記ロボット装置を移動させる指示を含む指示信号を前記ロボット装置へ送信する、
遠隔操作支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔操作システム、操作器及び遠隔操作支援方法に関する。

【背景技術】

【0002】

従来、遠隔地での作業を支援するシステムとして、遠隔地における点検作業を支援する点検支援システムが知られている（特許文献１参照）。この点検支援システムは、無人移動体を含む現場装置と、仮想現実デバイスを含む遠隔地装置とを備える。無人移動体は、駆動機構と、点検現場を撮像する仮想現実カメラと、点検現場の音を収集するマイクと、アームと、駆動機構を制御して無人移動体を移動させると共に、アームを制御して点検対象機器を操作する制御部と、を備える。また、仮想現実デバイスは、仮想現実カメラで得られる画像の情報に基づいて、点検員の向きに応じた点検現場の画像を表示部により点検員に視認可能に表示する表示処理部と、マイクで得られる音の情報に基づいて、点検現場の音をスピーカから出力する音出力処理部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４９３４９公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のシステムでは、仮想現実デバイスがスマートグラスである場合、表示部は、点検員の向きに応じた領域の画像を外景に重ねて点検員に視認させる拡張現実ディスプレイである。そのため、点検員は、表示される点検現場の画像の状態によっては外景の視認性が低下することで、点検現場を移動することが困難となり得る。また、仮想現実デバイスとして、更に点検現場の画像である視覚情報の表示により立体感や距離感を高めるという観点でＨＭＤ（Head Mount Display）を採用することも考えられる。しかし、ＨＭＤでは操作者の視界全体を塞ぐので点検現場での移動が更に困難となり、ＨＭＤは重量があるために、点検員が長時間にわたって作業を行うことが困難である。

【0005】

また、遠隔地の点検現場に配置された無人移動体の遠隔操作には、例えば、コントローラが用いられる。しかし、無人移動体を遠隔操作するためのコントローラの操作には所定水準の技能が必要であり、高い教育コストが要求される。また、遠隔操作の途中で入力作業などが必要になった場合、点検員が装着しているＨＭＤを一時的に取り外し、コントローラとは異なるＰＣ等の入力デバイスを用いる必要がある。そのため、入力作業の作業効率が不十分である。

【0006】

本開示は、遠隔操作者が遠隔操作時に移動することが容易であり、長時間の遠隔操作が可能であり、操作器の操作方法の習得が容易である遠隔操作システム、操作器及び遠隔操作方法を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様は、第１の移動機構を備えたロボット装置と、操作現場から前記ロボット装置の動作の制御を指示する操作器と、を備える遠隔操作システムであって、前記操作器は、表示デバイスと、第２の移動機構と、を備え、前記操作器は、前記ロボット装置により撮像された第１の画像を受信し、前記表示デバイスに前記第１の画像を表示させ、操作者による前記操作器を移動させる操作が検知された場合、前記ロボット装置を移動させる指示を含む指示信号を前記ロボット装置へ送信し、前記ロボット装置は、前記指示信号を受信し、前記指示信号に基づいて、前記操作器の移動に対応して前記ロボット装置が移動するよう前記第１の移動機構を制御する、遠隔操作システムである。

【0008】

本開示の一態様は、操作現場から第１の移動機構を備えたロボット装置の動作の制御を指示する操作器であって、プロセッサと、通信デバイスと、表示デバイスと、第２の移動機構と、を備え、前記プロセッサは、前記通信デバイスを介して、前記ロボット装置により撮像された第１の画像を受信し、前記表示デバイスに前記第１の画像を表示させ、操作者による前記操作器を移動させる操作が検知された場合、前記通信デバイスを介して、前記ロボット装置を移動させる指示を含む指示信号を送信する、操作器である。

【0009】

本開示の一態様は、操作現場から第１の移動機構を備えたロボット装置の動作の制御を指示する遠隔操作支援方法であって、前記ロボット装置により撮像された第１の画像を受信し、表示デバイスに前記第１の画像を表示させ、操作者による前記表示デバイスを含む操作器を移動させる操作が検知された場合、前記ロボット装置を移動させる指示を含む指示信号を前記ロボット装置へ送信する、遠隔操作支援方法である。

【発明の効果】

【0010】

本開示によれば、遠隔操作者が遠隔操作時に移動することが容易であり、長時間の遠隔操作が可能であり、操作器の操作方法の習得が容易である。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態の遠隔操作システムの構成例を示すブロック図

【図2】遠隔現場に配置された対象物と遠隔制御ロボットとの外観例を示す模式図

【図3】操作現場に配置された操作器と操作者との外観例を示す模式図

【図4】入力センサの入力に基づく入力操作の検出例を説明するための図

【図5】表示範囲外且つ撮像範囲内に存在する物体に関する情報の表示例を示す図

【図6】操作器に対するスワイプ操作に基づく遠隔カメラの向きの指示例を示す図

【図7】操作器に対するスワイプ操作に基づく遠隔制御ロボットの移動の指示例を示す図

【図8】遠隔制御ロボットの周辺に障害物が存在する場合のアラート表示の一例を示す図

【図9】複数の操作器が連携した形態の一例を示す模式図

【図10】複数の操作器が連携した形態の一例を示す模式図

【図11】複数の操作器が連携した形態の一例を示す模式図

【図12】遠隔操作システムの動作例を示すフローチャート

【図13】変形例における遠隔制御ロボットの構成を示す模式図

【発明を実施するための形態】

【0012】

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0013】

例えば、実施形態でいう「部」又は「装置」とは単にハードウェアによって機械的に実現される物理的構成に限らず、その構成が有する機能をプログラムなどのソフトウェアにより実現されるものも含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていてもかまわない。

【0014】

（遠隔操作システムの構成）
図１は、本開示の実施形態の遠隔操作システム５の構成例を示すブロック図である。図２は、遠隔現場ＬＮ１に配置された対象物１００と遠隔制御ロボット１０との外観例を示す模式図である。図３は、操作現場ＬＮ２に配置された操作器３０と操作者２００との外観例を示す模式図である。

【0015】

本実施形態では、説明のため、図２において、対象物１００に対向する遠隔制御ロボット１０の左右方向をｘ１軸方向とし、遠隔制御ロボット１０が対象物に近づく又は遠ざかる方向を前後方向としてｙ１軸方向とし、水平方向に垂直な鉛直方向を上下方向としてｚ１軸方向とする。また、図３において、操作者２００に対向する操作器３０の左右方向をｘ２軸方向とし、操作器３０に操作者２００が近づく又は遠ざかる方向を前後方向としてｙ２軸方向とし、水平方向に垂直な鉛直方向を上下方向としてｚ２軸方向とする。よって、ｘ１ｙ１平面及びｘ２ｙ２平面は、水平方向に沿う。

【0016】

遠隔操作システム５は、１つ以上の遠隔制御ロボット１０と、１つ以上の操作器３０と、を含んで構成される。遠隔制御ロボット１０と、操作器３０とは、例えば異なる場所に配置される。図２に示すように、遠隔制御ロボット１０は、例えば遠隔現場ＬＮ１に配置される。遠隔現場ＬＮ１には、遠隔制御ロボット１０と、対象物１００、とが配置される。対象物１００は、遠隔制御ロボット１０による何らかの操作の対象となる物体である。図２では、対象物１００が棚に複数載置されている。また、図３に示すように、操作器３０は、例えば操作現場ＬＮ２（例えば自室（自宅の部屋））に配置される。操作現場ＬＮ２には、操作器３０が配置され、操作者２００が所在している。操作者２００は、操作器３０を操作する人物である。

【0017】

図１に示すように、遠隔制御ロボット１０は、プロセッサ１１と、電源１２と、メモリ１３と、通信デバイス１４と、マイク１５（マイクロホン）と、環境センサ１６と、遠隔カメラ１７と、雲台機構１８と、腕部機構１９（アーム機構）と、移動機構２０と、を含む構成である。

【0018】

プロセッサ１１は、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はＧＰＵ（Graphical Processing Unit）等を含んでよい。プロセッサ１１は、各種集積回路（例えばＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field Programmable Gate Array））により構成されてもよい。プロセッサ１１は、メモリ１３に保持されたプログラムを実行することで、各種機能を実現する。プロセッサ１１は、遠隔制御ロボット１０の各部を統括的に制御し、各種処理を行う。

【0019】

電源１２は、プロセッサ１１を介して、遠隔制御ロボット１０の各部に必要な電力を供給する。

【0020】

メモリ１３は、一次記憶装置（例えばＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory））を含む。メモリ１３は、二次記憶装置（例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive））又は三次記憶装置（例えば光ディスク又はＳＤカード）等を含んでよい。また、メモリ１３は、外部記憶媒体であってもよい。メモリ１３は、各種データ、情報又はプログラム等を記憶する。

【0021】

通信デバイス１４は、各種データ又は情報等を通信する。通信デバイス１４による有線又は無線による通信方式に従って通信する。通信方式は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、又は携帯電話用のセルラー通信（例えばＬＴＥ、５Ｇ）、又は近距離通信（例えば、赤外線通信又はBluetooth（登録商標）通信）又は電力線通信等であってもよい。

【0022】

マイク１５は、遠隔制御ロボット１０の周囲の音を収音する。ここでの音は、遠隔現場ＬＮ１の環境音、音声、音楽、又はその他の音を広く含む。マイク１５は、遠隔制御ロボット１０の任意の場所に設置される。マイク１５は、例えば、遠隔制御ロボット１０の耳に相当し、遠隔カメラ１７の上端部のｘ１軸方向両端部に配置される。

【0023】

環境センサ１６は、遠隔制御ロボット１０が配置された環境における任意の情報を検出するセンサである。環境センサ１６は、遠隔制御ロボット１０の周辺環境において距離情報を取得可能な深度カメラ、ステレオカメラ、又は３次元ＬｉＤＡＲ等であってよい。

【0024】

プロセッサ１１は、環境センサ１６により検出された情報に基づいて、遠隔現場ＬＮ１の３次元モデル（遠隔制御ロボット１０の周辺の環境のモデル）（単に周辺環境モデルとも称する）を生成し、メモリ１３に格納してよい。遠隔制御ロボット１０の周辺環境モデルは、遠隔制御ロボット１０が移動する際の障害物の回避等に利用できる。周辺環境モデルは、遠隔制御ロボット１０が移動しながら順次現在位置を変更しながら生成されてよい。例えば、プロセッサ１１は、ＳＬＡＭ（Simultaneous Localization And Mapping）のアルゴリズムに従って、自己位置推定と環境地図（遠隔現場ＬＮ１内の地図）との生成を同時に行う。これにより、プロセッサ１１は、未知の環境下においても環境地図を生成する。

【0025】

環境センサ１６は、定期的（例えば１Ｈｚ～３０Ｈｚ程度）に遠隔制御ロボット１０の周辺環境の距離情報を取得する。プロセッサ１１は、取得された距離情報に基づく周辺環境モデルと、遠隔制御ロボット１０の現在位置（現在の自己推定位置）での予め取得済みの周辺環境モデルと、の差分量を計測し、差分量が所定量以上である場合に、周辺環境モデルの更新を行う。これにより、遠隔制御ロボット１０は、周辺環境の変化に対応し易くなる。また、遠隔制御ロボット１０は、差分量が所定量以上でない場合に周辺環境モデルの更新を抑制することで、周辺環境に大きな変化がない場合の更新を抑制できるので、処理の負荷を軽減できる。環境センサ１６は、例えば台座２１に設置される（図２参照）。

【0026】

遠隔カメラ１７は、遠隔制御ロボット１０の周囲を撮像し、画像を得る。遠隔カメラ１７の画角は、広くても狭くてもよい。遠隔カメラ１７は、遠隔カメラ１７により撮像された画像には、例えば被写体としての対象物１００が映り込んでいる。遠隔カメラ１７は、遠隔制御ロボット１０の目に相当し、雲台機構１８に回転自在に支持されている（図２参照）。

【0027】

また、プロセッサ１１は、遠隔カメラ１７により撮像された画像に対して、所定のタイミングで（例えば常時）画像認識を行い、画像内の物体を認識する。この所定のタイミングの間隔を十分に短くすることによって、プロセッサ１１は、遠隔制御ロボット１０による操作の対象となる対象物１００、及び、その他の物体を認識し続けることができる。そこで、以下では、遠隔制御ロボット１０は、対象物１００、及び、その他の物体は常に認識されているものとして説明する。

【0028】

雲台機構１８は、遠隔制御ロボット１０の胴体部２２に対する遠隔カメラ１７の向きを調整自在にして、胴体部２２と遠隔カメラ１７とを連結する。雲台機構１８は、プロセッサ１１の制御に従って、電源１２からの電力を受けて駆動し、遠隔制御ロボット１０の胴体部２２に対する遠隔カメラ１７の向きを調整する。雲台機構１８は、例えば、ロール軸、ピッチ軸、及びヨー軸のうちのピッチ軸及びヨー軸の２軸を回転軸として回転自在である。なお。雲台機構１８は、ロール軸、ピッチ軸、及びヨー軸の３軸を回転軸として回転自在であってもよい。

【0029】

腕部機構１９は、胴体部２２に接続される基端から、手部１９ｈに相当する先端に至るまでの間の機構を含む。腕部機構１９は、１つ以上（図２では２つ）のアーム１９ａと、手部１９ｈと、アーム１９ａ同士、アーム１９ａと手部１９ｈ、又は手部１９ｈ内の指部、を接続する各関節部と、を有する。腕部機構１９は、プロセッサ１１の制御に従って電源１２からの電力を受けて駆動し、対象物１００に対して任意の操作を行う。手部１９ｈは、例えば操作として、遠隔現場ＬＮ１に存在する対象物１００を掴んだり、掴んだものを開放したり、掴んだものを移動させたりすることが可能である。遠隔制御ロボット１０の腕部機構１９は、例えば６自由度又は７自由度を有する。関節部の数が多い程、腕部機構１９は滑らかな動作が可能である。腕部機構１９は、遠隔制御ロボット１０の腕及び手に相当する。なお、手部１９ｈの移動は、移動機構２０を駆動せずに行う手部１９ｈの位置の変更であるものとして説明する。

【0030】

移動機構２０は、プロセッサ１１の制御に従って電源１２からの電力を受けて駆動し、遠隔制御ロボット１０を任意に移動させる。移動機構２０は、例えば、メカナムホイール、オムニホイール、又は車輪により構成される。移動機構２０がメカナムホイールである場合、遠隔制御ロボット１０は、全方位に移動可能であり、メカナムホイールの７軸を基準に旋回可能である。移動機構２０がオムニホイールである場合、遠隔制御ロボット１０は、全方位に移動可能であり、オムニホイールの中心軸を基準に旋回可能である。移動機構２０が車輪である場合、遠隔制御ロボット１０は、前後方向（図２のｙ１軸方向）に移動可能であり、車輪の中心軸を基準に旋回可能である。

【0031】

例えば、移動機構２０が四輪のオムニホイールの場合、プロセッサ１１は、前後方向の移動と左右方向（図２のｘ１軸方向）の移動とｘ１ｙ１面に沿って時計回り又は反時計回りに旋回するように、各オムニホイールの正転及び逆転の速度を指令する。移動機構２０は、遠隔制御ロボット１０の脚に相当する。

【0032】

図１に示すように、操作器３０は、プロセッサ３１と、電源３２と、メモリ３３と、通信デバイス３４と、スピーカ３５と、環境センサ３６と、表示デバイス３７、入力センサ３８、変形機構３９、移動機構４０と、を含む構成である。

【0033】

プロセッサ３１は、ＭＰＵ、ＣＰＵ、ＤＳＰ、又はＧＰＵ等を含んでよい。プロセッサ１１は、各種集積回路（例えばＬＳＩ、ＦＰＧＡ）により構成されてもよい。プロセッサ３１は、メモリ３３に保持されたプログラムを実行することで、各種機能を実現する。プロセッサ３１は、操作器３０の各部を統括的に制御し、各種処理を行う。

【0034】

電源３２は、充電可能な二次電池などで構成される。電源３２は、プロセッサ３１による電池残量と充電制御との監視が可能であり、操作器３０の各部に必要な電力を供給する。

【0035】

メモリ３３は、一次記憶装置（例えばＲＡＭ又はＲＯＭ）を含む。メモリ３３は、二次記憶装置（例えばＨＤＤ又はＳＳＤ）又は三次記憶装置（例えば光ディスク又はＳＤカード）等を含んでよい。また、メモリ３３は、外部記憶媒体であってもよい。メモリ３３は、各種データ、情報又はプログラム等を記憶する。

【0036】

通信デバイス３４は、各種データ又は情報等を通信する。通信デバイス３４による有線又は無線による通信方式に従って通信する。通信方式は、ＷＡＮ、ＬＡＮ、又は携帯電話用のセルラー通信（例えばＬＴＥ、５Ｇ）、又は近距離通信（例えば、赤外線通信又はBluetooth（登録商標）通信）又は電力線通信等であってもよい。

【0037】

スピーカ３５は、各種の音に関する音を出力する。スピーカ３５は、例えば、通信デバイス３４を介して、遠隔制御ロボット１０から取得された遠隔現場ＬＮ１での周囲音を出力する。これにより、操作者２００が、遠隔現場ＬＮ１の状況を聴覚的に把握可能である。また、スピーカ３５は、後述するアラートの際にアラート音を出力してもよい。

【0038】

環境センサ３６は、操作器３０が配置された操作現場ＬＮ２の環境における任意の情報を検出するセンサである。環境センサ３６は、操作器３０の周辺環境において距離情報を取得可能な深度カメラ、ステレオカメラ、又は３次元ＬｉＤＡＲであってよい。

【0039】

プロセッサ３１は、環境センサ３６により検出された情報に基づいて、操作現場ＬＮ２の３次元モデル（操作器３０の周辺の環境のモデル）（単に周辺環境モデルとも称する）を生成し、メモリ３３に格納してよい。生成された操作器３０の周辺環境モデルは、操作器３０が移動する際の障害物の回避等に利用できる。操作器３０の周辺環境モデルは、操作器３０が移動しながら順次現在位置を変更しながら生成されてよい。例えば、プロセッサ３１は、ＳＬＡＭのアルゴリズムに従って、自己位置推定と環境地図（操作現場ＬＮ２内の地図）との生成を同時に行う。これにより、プロセッサ３１は、未知の環境下においても環境地図を生成する。

【0040】

また、プロセッサ３１は、操作器３０の周辺環境モデルを基に、操作器３０の周辺に所在する操作者２００（人間の一例）の位置姿勢を特定してよい。この場合、プロセッサ３１は、「人体検出」とも表現される姿勢推定モデルを利用して、予め学習した操作者２００の関節点を検出して関節点同士を結ぶことで、操作者２００の姿勢を検出してよい。ここでの操作者２００の姿勢には、操作者２００が行う任意のジェスチャが含まれる。ここでのジェスチャは、対象物１００を把持（掴むこと）、開放（離すこと）、移動、その他のジェスチャを含んでよい。なお、予め学習された操作者２００の関節点の情報は、メモリ１３に保持されていてよい。

【0041】

また、プロセッサ３１は、後述する入力センサ３８Ｂで検出された入力に基づいて、自己推定位置（操作器３０の位置）に対する操作者２００の位置を所定距離以内に維持するよう制御してよい。これにより、操作器３０は、操作者２００の移動に操作器３０が追従するよう制御する「自動追従制御」が可能である。

【0042】

表示デバイス３７は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、リアプロジェクションディスプレイ、又はその他の表示デバイスである。表示デバイス３７は、操作デバイスも兼ねるタッチパネルであってもよい。表示デバイス３７は、各種データ又は情報（例えばアラート情報）を表示可能である。また、表示デバイス３７は、操作器３０の背面側（Ｙ１軸方向の正側）に表示対象の画像を投影するプロジェクタであってもよい。この場合、表示デバイス３７は、表示デバイス３７の背面側にある壁面又は床面等に画像を投影してよい。本実施形態では、表示デバイス３７がタッチパネルであることを主に例示する。なお、操作器３０の基本姿勢において、表示デバイス３７の表示面は、ｘｚ面に沿って配置され、つまり鉛直方向に沿って配置される（図３参照）。

【0043】

入力センサ３８は、用途の違いによって複数の種類用意されており、入力センサ３８Ａ及び入力センサ３８Ｂを含む。入力センサ３８Ａは、表示デバイス３７の外枠（周端部にある枠の外側）に設置される（図３参照）。入力センサ３８Ａは、例えば、歪センサ（例えば金属歪センサ）、圧力センサである。入力センサ３８Ａは、操作者が操作器３０に対して加えた力を検出し、例えば、この力の大きさ、方向、又はその他の力に関する情報を検出する。入力センサ３８Ａによる検出結果は、例えば、遠隔制御ロボット１０の移動又は姿勢等の変更に関する処理に用いられる。

【0044】

入力センサ３８Ｂは、表示デバイス３７の内枠（周端部にある枠の内側）に設置される（図３参照）。入力センサ３８Ｂは、例えばカメラ又は赤外線センサを含む。入力センサ３８Ｂは、表示デバイス３７の前面での立体的な手の動き又は指のポーズ等をスキャンする。入力センサ３８Ｂは、プロセッサ３１と協働して、ジェスチャセンサとして動作してよい。この場合、ＬｅａｐＭｏｔｉｏｎ（登録商標）のように、入力センサ３８Ｂとしてのステレオカメラが、赤外線ＬＥＤ（Light Emitting Diode）の照射光が操作者２００の手２００ｈで反射された反射光を撮影し、プロセッサ３１が、手の位置、姿勢、又はその組み合わせによるポーズ（ジェスチャ）等を検出する。

【0045】

変形機構３９は、操作器３０の形態を変形する。例えば、変形機構３９は、操作器３０の台座５２に対する表示デバイス３７の位置関係（姿勢）を変更する。台座５２は水平方向に沿って配置される。変形機構３９は、所定の方向（例えば鉛直方向）に対する表示デバイス３７の角度（向き）を変更する。本実施形態では、表示デバイス３７が水平方向に垂直な方向（鉛直方向）に沿って配置されるよう調整された形態を、「縦置き」とも称する。また、表示デバイス３７が水平方向に沿って配置されるよう調整された形態を、「横置き」とも称する。

【0046】

移動機構４０は、プロセッサ１１の制御に従って電源１２からの電力を受けて駆動し、操作器３０を任意に移動させる。移動機構４０は、例えば、メカナムホイール、オムニホイール、又は車輪により構成される。移動機構４０がメカナムホイールである場合、操作器３０は、全方位に移動可能であり、メカナムホイールの７軸を基準に旋回可能である。移動機構４０がオムニホイールである場合、操作器３０は、全方位に移動可能であり、オムニホイールの中心軸を基準に旋回可能である。移動機構４０が車輪である場合、操作器３０は、前後方向（図３のｙ２軸方向）に移動可能であり、車輪の中心軸を基準に旋回可能である。

【0047】

例えば、移動機構４０が四輪のオムニホイールの場合、プロセッサ３１は、前後方向の移動と左右方向（図３のｘ２軸方向）の移動とｘ２ｙ２面に沿って時計回り又は反時計回りに旋回するように、各オムニホイールの正転及び逆転の速度を指令する。

【0048】

移動機構４０は、操作器３０が操作者２００に押されたり引っ張られたりする操作をトリガとして、プロセッサ３１の制御により駆動して自動的に操作器３０を移動させる。また、移動機構４０は、操作器３０が上記の操作をされて車輪等が回転することで、手動で移動可能であってもよい。

【0049】

次に、入力センサ３８Ａの入力に基づく入力操作の検出について説明する。
図４は、入力センサ３８Ａの入力に基づく入力操作の検出例を説明するための図である。

【0050】

操作器３０は、操作本体部５１と台座５２と支持柱５３とを含む。操作本体部５１は、操作本体部５１は、操作者２００による操作を受ける部位であり、表示デバイス３７を含む。台座５２には移動機構４０が取り付けられる。支持柱５３は、操作本体部５１と台座５２とを連結する。支持柱５３は、１つでも複数でもよい。支持柱５３が複数設けられる場合、支持柱５３が操作本体部５１による加重を分散して受けることができ、操作器３０の機構強度が向上する。図４では、支持柱５３として２つの支持柱５３Ａ，５３Ｂが設けられている。なお、図４以外では、操作器３０における支持柱５３の図示が省略されている。

【0051】

各支持柱５３は、アルミニウム等の微小に弾性変形する金属材料により形成されてよい。図４では、２つの支持柱５３のそれぞれにおいて、少なくとも前面又は後面と右側面又は左側面との２面に、入力センサ３８Ａとしての歪ゲージが接着される。

【0052】

操作者２００が操作本体部５１の一部（例えば右側端部及び左側端部の少なくとも一方）を把持した状態で、前後方向（ｙ２軸方向）又は左右方向（ｘ２軸方向）に力（操作力）を加える（押圧する）場合、支持柱５３には、その操作力の大きさ（操作量）と方向（操作方向）とに応じて、圧縮力又は引張力が加わる。支持柱５３に接着された歪ゲージがこの圧縮力又は引張力に応じて伸縮することで、歪ゲージの抵抗値が増減する。この場合、歪ゲージが電流を流すことで、歪ゲージの抵抗の変化に応じて抵抗に流れる電圧が上昇又は低下する。プロセッサ３１は、歪ゲージにおけるこの電圧変化を監視することで、操作者２００の操作力を検出可能である。図４では、操作器３０に対する操作者２００の左手２００ｈ１による操作位置と、操作器３０に対する操作者２００の右手２００ｈ２による操作位置と、が示されている。

【0053】

例えば、プロセッサ３１は、歪ゲージにより支持柱５３Ａと支持柱５３Ｂとに対する同じ前方向の力（入力の一例）が検出された場合、操作器３０に対する前方向操作（入力操作の一例）として検出する。プロセッサ３１は、歪ゲージにより支持柱５３Ａと支持柱５３Ｂとに対する同じ後方向の力が検出された場合、操作器３０に対する後方向操作として検出する。プロセッサ３１は、歪ゲージにより支持柱５３Ａと支持柱５３Ｂとに対する同じ右方向の力が検出された場合、操作器３０に対する右方向操作として検出する。プロセッサ３１は、歪ゲージにより支持柱５３Ａと支持柱５３Ｂとに対する同じ左方向の力が検出された場合、操作器３０に対する左方向操作として検出する。

【0054】

また、例えば、プロセッサ３１は、歪ゲージにより支持柱５３Ａに前方向の力が検出され、支持柱５３Ｂに後方向の力が検出された場合、操作器３０に対する左旋回（半時計回り）操作として検出する。プロセッサ３１は、歪ゲージにより支持柱５３Ａに後方向の力が検出され、支持柱５３Ｂに前方向の力が検出された場合、操作器３０に対する右旋回（時計回り）操作として検出する。プロセッサ３１は、これらの各入力操作に基づいて、操作器３０を移動させる操作を検出する。

【0055】

このように、プロセッサ３１は、操作者２００による操作器３０に対する操作力の大きさと方向（前後左右移動と左右旋回）とを検出する。そして、プロセッサ３１は、操作力の大きさと方向とに基づいて、操作者２００の意図に応じた移動速度（旋回速度を含む）と移動方向（旋回方向を含む）とで遠隔制御ロボット１０が移動するように、通信デバイス３４を介して遠隔制御ロボット１０へ移動を指示する移動指示信号を出力する。すなわち、プロセッサ３１は、操作器３０の移動速度や移動方向を検知し、それに対応する速度や方向に遠隔制御ロボット１０を移動させる移動指示信号を出力する。

【0056】

なお、このような入力操作は一例であり、他の入力操作が行われてもよい。例えば、上記では、操作者２００の左右両手で操作器３０を操作することを例示したが、操作者２００の左右どちらかの片手で操作器３０を操作し、遠隔制御ロボット１０の移動等を指示してもよい。

【0057】

また、プロセッサ３１は、操作者２００の操作を、移動機構４０の移動等から検知してもよい。この場合、操作者２００が操作器３０に接触していることを検知した場合のみ、移動機構４０の移動等に基づいて移動指示を行ってもよい。これにより、操作器３０は、誤った指示を行うことを防止できる。また、操作者２００が操作器３０の所定の箇所（例えば、表示デバイス３７の外枠）に接触していることが検知されていない場合には、操作器３０の移動の有無に関わらず、操作器３０の移動が規制されるよう、プロセッサ３１は、移動機構４０の駆動を抑制（例えばロック）してもよい。なお、移動機構４０の移動の規制の内容としては、例えば、プロセッサ３１が、移動機構４０を動かせないようにロックしたり、移動機構４０の移動に負荷がかかるようにブレーキをかけたりすることが考えられる。これにより、操作器３０は、操作者２００が誤って操作器３０及び遠隔制御ロボット１０を移動させてしまうことを防ぐことができるので、安全に遠隔制御ロボット１０を運用できる。また、操作者２００が操作器３０の所定の箇所に接触していない場合には、プロセッサ３１は、操作器３０を移動可能にするものの、操作器３０の移動の有無に関わらず、移動指示信号を出力しないように制御してもよい。これにより、例えば、操作器３０が、操作者２００から操作しにくい位置に存在している場合に、遠隔制御ロボット１０を移動させることなく操作器３０のみを移動させることが可能となる。

【0058】

次に、遠隔操作システム５による遠隔現場ＬＮ１のモニタリングについて説明する。

【0059】

遠隔操作システム５では、遠隔制御ロボット１０は、遠隔現場ＬＮ１における各種の情報を取得する。具体的には、遠隔カメラ１７が、撮像対象の画像を撮像する。この画像には、例えば対象物１００が含まれる。また、マイク１５が、遠隔制御ロボット１０の周囲の音（環境音）を収音し、環境音の音情報を得る。通信デバイス１４が、得られた画像及び音情報を操作器３０へ送信する。操作器３０は、操作現場ＬＮ２において、遠隔現場ＬＮ１の様子を再現する。具体的には、通信デバイス３４が、遠隔制御ロボット１０からの画像及び音情報を受信する。表示デバイス３７が、受信された画像を表示する。スピーカ３５が、受信された音情報を基に、遠隔現場ＬＮ１の環境音を出力する（音を発する）。

【0060】

これにより、操作者２００は、操作器３０の表示デバイス３７の表示面に表示された映像を裸眼で見ることにより、まるで窓から覗き込むような感覚で、遠隔制御ロボット１０の遠隔カメラ１７により撮像された画像に映り込んだ遠隔現場ＬＮ１をモニタリング（監視）できる。また、操作者２００は、遠隔現場ＬＮ１の環境音もあわせて確認できる。

【0061】

遠隔操作システム５では、操作器３０のプロセッサ３１は、入力センサ３８Ａとして測距センサ等により操作器３０と操作者２００との距離ｄ１（不図示）を検出し、この距離ｄ１に基づいて遠隔制御ロボット１０の遠隔カメラ１７による撮像範囲の制御を指示してよい。この場合、例えば、操作器３０の通信デバイス３４が、操作器３０と操作者２００との距離ｄ１を示す距離情報を遠隔制御ロボット１０に送信し、遠隔制御ロボット１０の通信デバイス１４が、この距離情報を受信してよい。そして、プロセッサ１１は、距離情報に基づいて、遠隔カメラ１７の撮像範囲を決定してよい。例えば、操作器３０と操作者２００との距離が遠いほど遠隔カメラ１７の画角を狭めて撮像範囲を狭くし、距離が近いほど画角を広げて撮像範囲を広げてもよい。このようにすることで、表示デバイス３７に表示される遠隔地の映像が、表示デバイス３７が実物の窓であるときと同様に変化するため、操作器３０は、操作者２００に臨場感のある操作環境を提供することができる。または、プロセッサ３１が、距離に基づいて撮像範囲を算出し、撮像範囲の情報を遠隔制御ロボット１０に送信し、通信デバイス１４がこの撮像範囲の情報を受信してよい。そして、プロセッサ１１は、遠隔カメラ１７の撮像範囲をこの撮像範囲に決定してよい。

【0062】

プロセッサ１１は、撮像範囲の制御では、移動機構２０を駆動し、遠隔現場ＬＮ１における対象物１００と遠隔制御ロボット１０との距離ｄ２（不図示）を制御してよい。この場合、プロセッサ１１は、操作器３０と操作者２００との距離ｄ１が短い程、対象物１００と遠隔制御ロボット１０との距離ｄ２を短くし、操作器３０と操作者２００との距離ｄ１が長い程、対象物１００と遠隔制御ロボット１０との距離ｄ２を長くしてよい。

【0063】

また、プロセッサ１１は、撮像範囲の制御では、遠隔カメラ１７のズーム倍率を制御してよい。この場合、プロセッサ１１は、操作器３０と操作者２００との距離ｄ１が短い程、遠隔カメラ１７のズーム倍率を大きくし、操作器３０と操作者２００との距離ｄ１が長い程、遠隔カメラ１７のズーム倍率を小さくしてよい。

【0064】

これにより、操作器３０は、操作器３０から操作者２００が離れた場合、対象物１００の全体像を表示可能である。よって、操作者２００は、対象物１００を俯瞰して全体を確認できる。また、操作器３０は、操作器３０に操作者２００が近づいた場合、対象物１００の詳細を表示可能である。よって、操作者２００は、対象物１００に接近したような状態で詳細を確認できる。また、操作器３０は、遠隔制御ロボット１０の遠隔カメラ１７の手動による操作が不要である。

【0065】

遠隔操作システム５では、遠隔制御ロボット１０は、入力センサ３８Ｂとは別にオプションカメラ（不図示）を備えてよい。オプションカメラは、遠隔制御ロボット１０の台座２１に設置されてよい。オプションカメラは、遠隔現場ＬＮ１における遠隔制御ロボット１０の周辺の床面を含む画像を撮像する。オプションカメラによる撮像方向は、入力センサ３８Ｂとしてのカメラの撮像方向と同じ方向であってもよいし異なる方向であってもよい。また、操作器３０は、画像を投影するプロジェクタ４１（図９参照）を備えてよい。プロジェクタ４１は、台座５２に設置されてよい。

【0066】

例えば、通信デバイス１４は、撮像された床面を含む画像を操作器３０へ送信する。通信デバイス３４は、遠隔制御ロボット１０からこの画像を受信する。プロジェクタ４１は、操作器３０の周辺の床面にこの画像を投影してよい。

【0067】

これにより、操作器３０は、操作現場ＬＮ２において、遠隔現場ＬＮ１の様子を、入力センサ３８Ａとしてカメラによる撮像範囲だけでなく、このカメラの撮像範囲の外側にある床面を含めて再現できる。例えば、操作器３０は、遠隔制御ロボット１０の足元の画像を補足的に投影でき、又は遠隔制御ロボット１０が移動する様子をアニメーションとして投影できる。よって、遠隔操作システム５は、操作者２００に対して、操作者２００があたかも遠隔現場ＬＮ１に居るような感覚、遠隔現場ＬＮ１内を移動しているような感覚を提供でき、臨場感を向上できる。

【0068】

遠隔操作システム５では、遠隔カメラ１７による撮像範囲は、表示デバイス３７による表示される画像の画像範囲よりも広くてよい。つまり、遠隔カメラ１７による撮像範囲の一部を、表示デバイス３７に表示される画像範囲（表示範囲）としてよい。プロセッサ１１は、この撮像範囲で撮像された画像に対して、常に画像認識の処理を行ってよい。よって、遠隔制御ロボット１０は、表示デバイス３７による表示範囲外且つ遠隔カメラ１７による撮像範囲内である範囲において、どのような物体が存在するかを認識可能である。また、遠隔制御ロボット１０は、この物体が移動物体であっても、常に画像認識することで追跡することが可能である。

【0069】

図５は、表示範囲外且つ撮像範囲内に存在する物体に関する情報の表示例を示す図である。例えば、上記の表示範囲外且つ撮像範囲内の範囲で、所定の部品の組立作業に用いられる工具が検出された場合、プロセッサ３１は、表示デバイス３７にバルーンオブジェクトＢＯ１を表示させてよい。この場合、プロセッサ３１は、表示デバイス３７の枠（周端部）付近において、この工具の検出方向を指示して、遠隔カメラ１７に撮像された画像に重畳してバルーンオブジェクトＢＯ１を表示させてよい。バルーンオブジェクトＢＯ１は、例えば工具の識別情報（例えば工具名称）が記載されており、工具の存在と、遠隔制御ロボット１０を基点とした工具が存在する方向と、を操作者２００へ案内する。これにより、操作者２００は、案内情報を確認して、工具がある方向を加味して工具を掴むジェスチャをすることで、遠隔制御ロボット１０に工具を掴ませることができる。

【0070】

遠隔操作システム５では、表示デバイス３７がタッチパネルである場合、プロセッサ３１は、タッチパネルを介してスワイプ操作を検出してよい。プロセッサ３１は、スワイプ操作の操作量（操作者２００の指のタッチパネル上での移動量）、操作速度（スワイプ速度）、及び操作方向に基づいて、遠隔制御ロボット１０の雲台機構１８を駆動させてよい。この場合、プロセッサ３１は、例えば、スワイプ操作の操作量、操作速度、及び操作方向に基づいて、雲台機構１８の制御を指示する雲台指示信号を生成してよい。そして、通信デバイス３４は、雲台指示信号を遠隔制御ロボット１０に送信する。遠隔制御ロボット１０では、通信デバイス１４が、雲台指示信号を受信し、プロセッサ１１が、雲台指示信号に基づいて、雲台機構１８を駆動して、雲台機構１８の回転量、回転速度、及び回転方向を決定して、雲台機構１８を回転させることで遠隔カメラ１７の向きを変更してよい。

【0071】

図６は、操作器３０に対するスワイプ操作に基づく遠隔カメラ１７の向きの指示例を示す図である。図６では、操作器３０は、タッチパネルを介して右方向へのスワイプ操作を検出する。遠隔制御ロボット１０は、このスワイプ操作に応じて雲台機構１８を駆動し、胴体部２２に対する遠隔カメラ１７の向きを時計回りに９０度旋回して、遠隔カメラ１７による撮像方向を変更する。

【0072】

これにより、操作者２００は、操作者２００が見たい方向にスワイプ操作を行うことで、雲台機構１８に連結された遠隔カメラ１７の向きを、操作者２００が見たい方向に変更でき、操作者２００が見たい方向の遠隔現場ＬＮ１の様子を確認できる。

【0073】

次に、遠隔制御ロボット１０の移動について説明する。

【0074】

操作者２００が操作器３０の表示デバイス３７の外枠を手２００ｈ（例えば両手又は片手）で押すことで、操作器３０を移動させたり操作器３０の姿勢を変更したりすると、遠隔制御ロボット１０は、操作器３０に倣って移動したり姿勢を変更したりする。

【0075】

上述のように、操作器３０の表示デバイス３７の外枠には、金属歪センサなどの入力センサ３８Ｂが設けられている。この入力センサ３８Ｂは、操作者２００が加えた力（操作力）の大きさ及び方向を検知可能である。プロセッサ３１は、検出された操作力の大きさ及び方向に基づいて、遠隔制御ロボット１０が、操作力に対応する移動量且つ移動方向で移動するよう、遠隔制御ロボット１０に指示してよい。この場合、具体的には、プロセッサ３１が、検出された操作力（操作力の大きさや方向）に基づいて遠隔制御ロボット１０の移動を指示する移動指示信号を生成し、通信デバイス３４が、この移動指示信号を遠隔制御ロボット１０に送信してよい。そして、通信デバイス１４が、操作器３０からの移動指示信号を受信し、移動指示信号に基づいて移動機構４０を駆動してよい。

【0076】

これにより、遠隔制御ロボット１０が操作者２００により押された方向（操作力の方向）に沿うように移動するので、遠隔制御ロボット１０の視点及び視野（つまり遠隔カメラ１７の位置及び撮像範囲）を変更できる。

【0077】

また、プロセッサ３１は、表示デバイス３７としてのタッチパネルに対するスワイプ操作に基づいて、遠隔制御ロボット１０がスワイプ操作に基づく方向に移動するよう、遠隔制御ロボット１０に指示してもよい。この場合、具体的には、プロセッサ３１が、スライプ操作に基づいて遠隔制御ロボット１０を移動させる移動指示信号を生成し、通信デバイス３４が、この移動指示信号を遠隔制御ロボット１０に送信してよい。そして、通信デバイス１４が、操作器３０からの移動指示信号を受信し、プロセッサ１１が、移動指示信号に基づいて移動機構４０を駆動してよい。この場合、雲台指示信号の場合と同様に、プロセッサ３１が、スワイプ操作の操作量、操作速度、及び操作方向に基づいて、移動指示信号を生成してもよい。そして、プロセッサ１１が、スワイプ操作の操作量、操作速度、及び操作方向に基づいて、遠隔制御ロボット１０の移動量、移動速度、及び移動方向を決定し、遠隔制御ロボット１０を移動させてよい。

【0078】

図７は、操作器３０に対するスワイプ操作に基づく遠隔制御ロボット１０の移動の指示例を示す図である。図７では、操作器３０は、タッチパネルを介して右方向へのスワイプ操作を検出する。遠隔制御ロボット１０は、このスワイプ操作に応じ移動機構２０を駆動し、右方向に移動する。

【0079】

これにより、遠隔制御ロボット１０がスワイプ方向に沿うように移動するので、遠隔制御ロボット１０の視点及び視野（つまり遠隔カメラ１７の位置及び撮像範囲）を変更できる。

【0080】

また、遠隔現場ＬＮ１と操作現場ＬＮ２では、作業空間の大きさ（スケール）（縦横高）が異なる場合がある。プロセッサ３１は、操作現場ＬＮ２の作業空間のスケールに対する遠隔現場ＬＮ１の作業空間のスケールの比（単にスケール比とも称する）と、操作現場ＬＮ２での操作器３０の移動量（操作器３０の移動量に対応する操作力）と、に基づいて、遠隔現場ＬＮ１での遠隔制御ロボット１０の移動量を算出し、この移動量で移動するよう遠隔制御ロボット１０に指令してよい。なお、スケール比の情報は、メモリ３３に予め保持されていてもよいし、例えばタッチパネルを介してスケール比の情報が入力されてもよい。なお、このスケール比は、必ずしもすべての方角において同一の比率である必要はない。例えば、遠隔現場ＬＮ１の前後方向の広さが左右方向の広さよりも広い場合には、遠隔現場ＬＮ１で左右方向に操作器３０を移動させられる余地が狭い。この場合、プロセッサ３１は、前後方向よりも左右方向において、小さい移動が操作現場では大きな移動に変換されるようスケール比を設定してよい。また、操作者２００がタッチパネル等を介してスケール比を直接設定する場合、スケール比は、必ずしも遠隔現場ＬＮ１と操作現場ＬＮ２との比率に対応する値である必要はない。すなわち、このスケール比は、遠隔現場ＬＮ１と操作現場ＬＮ２との移動量の比率を示すものであり、その比率が実物の比率に合致または類似しているか否かは、操作者２００の好みに応じて変更されてよい。

【0081】

例えば、プロセッサ３１は、スケール比が１以上である場合には、操作現場ＬＮ２よりも遠隔現場ＬＮ１の方が広いので、操作現場ＬＮ２での操作器３０の移動量よりも、遠隔現場ＬＮ１での遠隔制御ロボット１０の移動量が大きくなるよう調整してよい。よって、プロセッサ３１は、遠隔制御ロボット１０への移動量の指令値を、スケール比を考慮しない場合よりも大きくしてよい。

【0082】

例えば、プロセッサ３１は、スケール比が１未満である場合には、操作現場ＬＮ２よりも遠隔現場ＬＮ１の方が狭いので、操作現場ＬＮ２での操作器３０の移動量よりも、遠隔現場ＬＮ１での遠隔制御ロボット１０の移動量が小さくなるよう調整してよい。よって、プロセッサ３１は、遠隔制御ロボット１０への移動量の指令値を、スケール比を考慮しない場合よりも小さくしてよい。

【0083】

また、遠隔制御ロボット１０の移動時の安全性を考慮して、遠隔制御ロボット１０の移動機構２０の移動速度の上限値が、移動機構２０により移動可能な最高速度よりも低い所定値に設定されている場合がある。そのため、プロセッサ３１は、遠隔制御ロボット１０の移動速度の上限値に基づいて、操作器３０の移動速度の上限値を制限してもよい。これにより、操作器３０の移動速度の移動速度も上限値以上にならない設定となるので、遠隔操作システム５は、操作器３０の移動時の安全性も向上できる。また、操作者２００は、操作器３０の移動を実際に目視で確認することで移動速度の上限が低くなっていることを認識でき、遠隔制御ロボット１０の移動速度が制限された状態であることを認識できる。この場合、操作器３０は、移動機構４０にブレーキをかけて、操作者２００に、速度が制限されていることを抵抗感として伝えてもよい。例えば、プロセッサ３１は、操作器３０の移動速度に対応する遠隔制御ロボット１０の移動速度が上限に到達したことで、操作器３０の移動を抑制するよう移動機構４０を制御してよい。

【0084】

また、安全のために遠隔制御ロボット１０の移動速度が制限されている場合、操作者２００は、表示デバイス３７により遠隔制御ロボット１０からの画像を確認することで、遠隔制御ロボット１０の移動が遅いと感じることがあり得る。これに対し、操作器３０のプロセッサ３１は、操作者２００による操作に基づく目標位置への到達予想時刻を算出しておき、この時刻に関する情報（例えば残り移動時間）を表示デバイス３７に表示させてもよい。これにより、操作者２００は、遠隔制御ロボット１０の目標位置への移動が完了するまでの待ち時間が分かり、操作器３０は、その間に操作者２００が操作器３０に対して他の操作を行うことで遠隔制御ロボット１０が違う動きを開始してしまうことを抑制できる。

【0085】

また、遠隔制御ロボット１０では、操作者２００が意図する遠隔制御ロボット１０の移動方向に、環境センサ１６（例えばＬｉＤＡＲ）により障害物（例えば椅子やダンボール）が検出された場合、プロセッサ１１は、移動機構２０の駆動を抑制させ、又は、障害物に関するアラートを操作器３０に表示させてよい。駆動の抑制としては、停止や速度の低減等が考えられる。この場合、具体的には、通信デバイス１４は、障害物が検出されたことを示す障害物検出情報を操作器３０に送信する。障害物検出情報は、障害物に関する情報（障害物の名称や特性等）を含んでよい。なお、障害物の名称や特性等の情報の取得は、例えば、既知の物体認識技術を用いたり、障害物それぞれに貼り付けたマーカ等を読み取ったりすることで実現できる。操作器３０では、通信デバイス３４が、操作器３０からの障害物検出情報を受信する。プロセッサ３１は、アラートとして障害物検出情報を表示デバイス３７に表示させる。なお、移動機構２０の駆動の抑制とアラートの表示とは、少なくとも一方が実施されればよい。また、アラートは、障害物が存在する方向には遠隔制御ロボット１０を動かせない旨のアラートであってもよい。

【0086】

これにより、遠隔制御ロボット１０は、例えば、操作器３０からの遠隔制御ロボット１０の移動指令（移動指示信号）を無効化して、移動により障害物に衝突することを未然に回避できる。よって、遠隔操作システム５は、遠隔現場ＬＮ１での安全性を向上できる。また、操作者２００は、遠隔現場ＬＮ１を直接目視で確認できないが、障害物検出情報を確認することで、障害物に接近していることを認識できる。また、操作者２００は、障害物検出情報を確認することで、障害物に関する情報を把握でき、遠隔現場ＬＮ１での障害物の支障度合いを把握できる。

【0087】

図８は、遠隔制御ロボット１０の周辺に障害物が存在する場合のアラート表示の一例を示す図である。図８では、表示デバイス３７は、バルーンオブジェクトＢＯ２に障害物検出情報を表示している。ここでは、障害物検出情報として、障害物が存在する旨を通知する「障害物あり」、障害物により遠隔制御ロボット１０が移動不可であることを示す「移動不可」が表示されている。

【0088】

なお、遠隔制御ロボット１０は、操作器３０の表示デバイス３７に表示される範囲外（つまり撮像範囲、画像範囲に対応する空間の外側）の障害物も検知し、障害物検出情報を操作器３０に送信してもよい。これにより、遠隔制御ロボット１０は、操作者２００が観測できない位置にある障害物の存在等を通知することができるので、操作者２００は、より的確に障害物への対策を行うことができる。

【0089】

また、操作器３０では、操作者２００が意図する遠隔制御ロボット１０の移動方向に対応する操作器３０の移動方向に、環境センサ３６（例えばＬｉＤＡＲ）により障害物が検出された場合、プロセッサ３１は、移動機構４０の駆動を抑制させ、障害物に関するアラートを表示デバイス３７に表示させてよい。駆動の抑制としては、停止や速度の低減等が考えられる。この場合、プロセッサ３１は、障害物が検出されたことを示す障害物検出情報を表示デバイス３７に表示させる。障害物検出情報は、障害物に関する情報（障害物の名称や特性等）を含んでよい。

【0090】

これにより、操作器３０は、例えば、操作器３０を移動するための移動指令（移動指示信号）を無効化して、移動により障害物に衝突することを未然に回避できる。よって、遠隔操作システム５は、操作現場ＬＮ２での安全性を向上できる。また、操作者２００は、表示デバイス３７を介して遠隔現場ＬＮ１の様子を確認しつつ、画面上に表示された障害物検出情報を確認することで、操作現場ＬＮ２において操作器３０が障害物に接近していることを認識できる。また、操作者２００は、障害物検出情報を確認することで、障害物に関する情報を把握でき、操作現場ＬＮ２での障害物の支障度合いを把握できる。

【0091】

なお、操作器３０のプロセッサ３１は、操作器３０に対する操作に基づいて遠隔制御ロボット１０の移動を指示する移動指示信号と同様に、操作器３０の移動を指示する移動指示信号を生成し、移動指示信号に基づいて操作器３０を移動させてよい。この場合、入力操作に基づく操作器３０の移動量、移動速度、及び移動方向等の決定方法は、遠隔制御ロボット１０の場合と同様でよい。よって、遠隔操作システム５では、遠隔制御ロボット１０と操作器３０とが連動して移動してよい。この場合、遠隔制御ロボット１０を移動させる操作は、操作器３０を移動させる操作でもある。よって、遠隔制御ロボット１０は、移動機構２０の駆動により、操作器３０の移動に対応して移動するとも言える。

【0092】

次に、操作者２００のジェスチャに基づく遠隔制御ロボット１０の姿勢の制御について説明する。

【0093】

上述のように、操作器３０では、プロセッサ３１は、入力センサ３８Ｂにより検出された入力に基づいて、操作者２００の手２００ｈが実施したジェスチャを検出する。プロセッサ３１は、遠隔制御ロボット１０が、検出されたジェスチャに対応する姿勢をとるように、遠隔制御ロボット１０の腕部機構１９の姿勢を指示する。この場合、具体的には、通信デバイス３４は、遠隔制御ロボット１０の腕部機構１９の姿勢を指示する姿勢指示信号を遠隔制御ロボット１０に送信する。通信デバイス１４は、操作器３０からの姿勢指示情報を受信する。プロセッサ１１は、姿勢指示信号に基づいて、腕部機構１９を構成する各関節角を計算する。なお、遠隔制御ロボット１０の腕部機構１９の特性が既知であれば、手部１９ｈの３次元座標から逆運動学（ＩＫ：Inverse Kinematic）を解くことで、手部１９ｈがその３次元座標の示す位置に到達するような腕部機構１９の各関節角が計算できることが知られている。本実施の形態では、この手法を用いて、操作者２００の手２００ｈに対応する遠隔制御ロボット１０の手部１９ｈの３次元座標を用いて、各関節角を計算する。手部１９ｈの３次元座標は、姿勢指示情報に含まれていてもよいし、姿勢指示情報に含まれる他の情報（例えば手２００ｈの三次元座標）から計算されてもよい、そして、プロセッサ１１は、腕部機構１９を駆動して、腕部機構１９の各関節が算出された各関節角となるように制御することで、操作者２００のジェスチャに対応する姿勢とする。

【0094】

これにより、遠隔制御ロボット１０は、操作者２００のジェスチャと同様の姿勢をとることができる。よって、例えば、操作者２００が表示デバイス３７に表示された対象物１００を掴むジェスチャを行うことで、遠隔制御ロボット１０は、遠隔現場ＬＮ１に実在する対象物１００を掴む姿勢を実施できる。他のジェスチャについても同様に実施可能である。なお、操作者２００の関節の位置や数と腕部機構１９の関節の位置や数とは完全には一致しないので、操作者２００のジェスチャと遠隔制御ロボット１０の姿勢とは多少異なるが、対応する動作となる。

【0095】

また、遠隔制御ロボット１０の腕部機構１９（手部を含む）の動作速度は、安全性を考慮して動作速度の上限値が、腕部機構１９により動作可能な最高速度よりも低い所定値に設定されていることがある。この場合、遠隔制御ロボット１０の腕部機構１９の手部１９ｈは、操作者２００の手２００ｈの動きに遅れて移動し得る。そのため、遠隔制御ロボット１０のプロセッサ１１は、遠隔制御ロボット１０の腕部機構１９の目標位置までの移動の予定軌跡を算出し、算出された腕部機構１９の予定軌跡を操作器３０に表示させるよう指示してよい。この場合、通信デバイス１４は、算出された腕部機構１９の予定軌跡を操作器３０に送信する。通信デバイス３４は、操作器３０からの腕部機構１９の予定軌跡を受信する。プロセッサ１１は、腕部機構１９の予定軌跡を示す情報を表示デバイス３７に表示させてよい。遠隔カメラ１７の撮像範囲に遠隔制御ロボット１０の腕部機構１９が含まれる場合、表示デバイス３７に表示される画像に腕部機構１９が映り込む。この場合、表示デバイス３７は、画像内の腕部機構１９に重畳して、腕部機構１９が今後移動することになる予定軌跡を表示させてよい。これにより、操作者２００は、移動が完了していない腕部機構１９の移動軌跡を予め把握でき、安心して腕部機構１９の移動の完了を待機できる。

【0096】

また、プロセッサ１１は、腕部機構１９の目標位置までの移動に要する移動予定時間を算出し、算出された移動予定時間を操作器３０に表示させてもよい。この場合、通信デバイス１４は、算出された移動予定時間を操作器３０に送信する。通信デバイス３４は、操作器３０からの移動予定時間を受信する。プロセッサ１１は、腕部機構１９の目標位置までの移動に要する移動予定時間を示す情報を表示デバイス３７に表示させてよい。これにより、操作者２００は、ジェスチャに対応する姿勢を実施するために腕部機構１９の移動にどの程度時間を要するかを予め把握でき、腕部機構１９の不具合ではないことを把握できる。

【0097】

また、遠隔制御ロボット１０では、操作者２００のジェスチャに伴う遠隔制御ロボット１０の腕部機構１９の移動方向に、環境センサ１６（例えばＬｉＤＡＲ）により障害物が検出された場合、プロセッサ１１は、腕部機構１９の駆動を抑制させ、障害物に関するアラートを操作器３０に表示させてよい。駆動の抑制としては、停止や速度の低減等が考えられる。この場合、具体的には、通信デバイス１４は、障害物が検出されたことを示す障害物検出情報を操作器３０に送信する。障害物検出情報は、障害物に関する情報（障害物の名称や特性等）を含んでよい。操作器３０では、通信デバイス３４が、操作器３０からの障害物検出情報を受信する。プロセッサ３１は、アラートとして障害物検出情報を表示デバイス３７に表示させる。なお、腕部機構１９の駆動の抑制とアラートの表示とは、少なくとも一方が実施されればよい。

【0098】

なお、遠隔制御ロボット１０は、腕部機構１９の各関節角を動かすことで、手部１９ｈの最終的な位置を変えることなく障害物を回避できるようであれば、自動的に障害物を回避してもよい。この処理は、逆運動学を解く際に、障害物の座標を考慮することで実現できる。この場合、プロセッサ３１は、自動で障害物を回避した旨をアラートとして表示してもよい。

【0099】

これにより、遠隔制御ロボット１０は、例えば、操作器３０からの姿勢指示信号（姿勢指令）を無効化して、腕部機構１９の移動により障害物に衝突することを未然に回避できる。よって、遠隔操作システム５は、遠隔現場ＬＮ１での安全性を向上できる。また、操作者２００は、遠隔現場ＬＮ１を直接目視で確認できないが、障害物検出情報を確認することで、腕部機構１９の少なくとも一部（例えば手部１９ｈ）が障害物に接近していることを認識できる。また、操作者２００は、障害物検出情報を確認することで、障害物に関する情報を把握でき、遠隔現場ＬＮ１での障害物の支障度合いを把握できる。
なお、遠隔制御ロボット１０は、操作器３０の表示デバイス３７に表示される範囲外の障害物も検知し、障害物検出情報を操作器３０に送信してもよい。これにより、遠隔制御ロボット１０は、操作者２００が観測できない位置にある障害物の存在等を通知することができるので、操作者２００は、より的確に障害物への対策を行うことができる。

【0100】

また、遠隔制御ロボット１０が備える腕部機構１９が１つである場合、つまり単腕の場合、操作者２００が一方の手でジェスチャを実施すると、他方の手はジェスチャを行わない空き状態になる。この場合、空き状態の他方の手により、表示デバイス３７の外枠を掴んでもよい。この場合、入力センサ３８Ａは、操作者２００の他方の手による操作器３０に対する操作力（押圧力）を検出する。プロセッサ３１は、入力センサ３８Ａにより入力が検出されている期間に限り、つまり操作力が検出されている期間に限り、入力センサ３８Ｂによる入力を検出し、つまり操作者２００によるジェスチャを検出するようにしてもよい。

【0101】

これにより、プロセッサ３１は、他方の手で操作器３０を掴んでいる期間（すなわち、他方の手で操作器３０の外枠に接触している期間）に限って、一方の手によるジェスチャをスキャンして認識して、遠隔制御ロボット１０に対してジェスチャに基づく姿勢をとるよう指示できる。これによって、操作者２００の動作が意図せずに操作器３０に認識され、遠隔制御ロボット１０が動作してしまうことを防ぐことができる。よって、遠隔操作システム５は、産業用ロボットのデッドマンスイッチを用いる場合と同様に、遠隔制御ロボット１０に対する遠隔操作を安全に実施できる。

【0102】

また、プロセッサ３１は、操作者２００が操作器３０を掴んでいる箇所が２箇所未満であるか否かに応じて、遠隔制御ロボット１０に対して、操作器３０の近傍におけるジェスチャ入力による遠隔操作（腕部機構１９の駆動）を指示するか、移動機構２０による移動の制御の指示を行うかを判定してもよい。ここで、操作者２００が１名である場合、操作器３０を掴んでいる箇所が２箇所であるということは、操作者２００が両手で操作器３０を掴んでいることを意味し、上述したとおり、この動作は操作器３０を移動させようとする操作に相当する。この場合、プロセッサ３１は、移動の制御の指示を行う。一方、プロセッサ３１は、操作器３０に操作者２００が接触している箇所が１箇所または０箇所である場合には、移動させる意思がないと推定することができる。この場合、プロセッサ３１は、操作者２００がジェスチャ入力による遠隔操作を行おうとしていると判定して、遠隔操作を指示する。これにより、操作者２００は、遠隔制御ロボット１０の移動の制御と遠隔制御ロボット１０に対するジェスチャ入力とを簡易な操作で切り替えることができる。なお、操作器３０に操作者２００が触れている箇所が０箇所である場合は、プロセッサ３１は、操作者２００が移動も遠隔操作も行う意思がないものと判定して、移動の制御の指示と遠隔操作の指示とのどちらも行わないように制御してもよい。

【0103】

また、プロセッサ３１は、検出されたジェスチャだけでなく、検出された操作者２００の手２００ｈ（指を含む）の細かな動き（位置や姿勢や移動）についても、遠隔制御ロボット１０の腕部機構１９に反映するよう指示可能である。具体的な動作については、上記のように逆運動学（ＩＫ）の演算により実現可能である。例えば、操作者２００が、手２００ｈで対象物１００を掴むジェスチャを行い、手２００ｈで対象物１００を掴んだまま移動させ、手２００ｈを開放して対象物１００を所定の位置に配置したとする。プロセッサ３１は、入力センサ３８Ｂと協働して、この手２００ｈの一連の動き（ピックアンドプレースの動き）を検出する。プロセッサ３１は、この検出結果に基づく姿勢指示信号を生成し、通信デバイス３４を介して姿勢指示信号を遠隔制御ロボット１０へ送信する。遠隔制御ロボット１０は、操作器３０からの姿勢指示信号に従って、このピックアンドプレースの動作を追従（トレース）して実施できる。具体的には、プロセッサ３１は、対象物１００を掴んだ手２００ｈに対応する手部１９ｈの座標を定期的に取得し、取得した座標から腕部機構１９の各関節角度を逆運動学（ＩＫ）の演算によって算出して反映することで、ジェスチャに対応する一連の動きを実現する。なお、遠隔制御ロボット１０は、操作現場ＬＮ２における腕部機構１９の動きが滑らかになるように自動制御をおこなってもよい。

【0104】

なお、操作器３０により検出された手２００ｈの動きに追従して腕部機構１９が動作した場合、この腕部機構１９の動作は遠隔カメラ１７の撮像範囲に含まれる。よって、遠隔制御ロボット１０が操作者２００の動きに追従した結果は、表示デバイス３７により表示された画像に映り込む。よって、操作者２００は、操作者２００の動きに対する追従が正常に実施されたか否かを、表示デバイス３７の表示内容により確認できる。

【0105】

なお、プロセッサ３１は、表示デバイス３７の表示面側における空間的な操作者２００の手２００ｈの動きや姿勢やジェスチャに基づいて、遠隔制御ロボット１０の腕部機構１９の動きの制御を指示することを例示したが、これに限られない。例えば、表示デバイス３７がタッチパネルである場合、タッチパネルが５指タッチ又は１０指タッチ等を検出して、プロセッサ３１が、タッチパネルによる検出結果に基づいて、各種のジェスチャを認識してもよい。この場合でも、操作器３０は、認識されたジェスチャに基づいて、遠隔制御ロボット１０の腕部機構１９の動きの制御を指示してもよい。

【0106】

なお、スケール比として、遠隔現場ＬＮ１と操作現場ＬＮ２との間で移動量のスケール比が設定されていてもよい。つまり、遠隔現場ＬＮ１の空間における移動量と、操作現場ＬＮ２の空間における移動量と、の比がスケール比とされてもよい。この場合は、ジェスチャにもそのスケール比が適用されてよい。すなわち、プロセッサ３１は、遠隔現場ＬＮ１での３次元座標を操作現場ＬＮ２での３次元座標に変換する際に、このスケール比を考慮してよい。これにより、操作器３０は、移動量とのスケール比の違いによる操作（例えばジェスチャ）の違和感を低減することができる。また、プロセッサ３１は、移動量のスケール比から独立して、ジェスチャのスケール比を設定可能としてもよい。例えば、プロセッサ３１は、遠隔現場ＬＮ１の大きな動きが操作現場ＬＮ２の小さな動きに変換されるようにジェスチャのスケール比を設定すると、微細な操作が必要になる場合に有益である。また、プロセッサ３１は、遠隔現場ＬＮ１の小さな動きが操作現場ＬＮ２の大きな動きに変換されるようにジェスチャのスケール比を設定すると、人体の可動範囲を超えた大きな操作を短時間で実現できる。

【0107】

次に、１つの操作器３０の形態について説明する。

【0108】

変形機構３９は、操作器３０の形態を変形自在である。操作器３０は、少なくとも、表示デバイス３７の表示面がｚ軸方向に沿う縦置きの形態と、表示デバイス３７の表示面がｘｙ平面に沿って配置される横置きの形態と、に変形可能である。変形機構３９は、縦置きの形態と横置きの形態との間で、表示デバイス３７の表示面が鉛直方向に対して所定の角度となるように、操作器３０の形態を調整可能であってもよい。

【0109】

プロセッサ３１は、入力センサ３８Ａ，３８Ｂともに電源ＯＦＦ又は機能が無効にされている場合、且つ、移動機構４０が停止状態である場合という条件を満たす場合に限り、変形機構３９の電磁ブレーキを解除するよう制御してよい。つまり、この条件を満たさない場合には、電磁ブレーキが解除されずに変形機構３９による操作器３０の形態を変更不可であり、この条件を満たす場合には、電磁ブレーキが解除されて変形機構３９による操作器３０の形態を変更可能である。よって、この条件を満たす場合に限り、変形機構３９は、手動で変形機構３９による変形が可能である。これにより、操作器３０は、操作器３０の変形時に操作器３０が意図せずに移動開始するなどの誤動作することを抑制できる。

【0110】

また、操作器３０は、鉛直方向に対する表示デバイス３７の表示面の傾斜角度（向き）を検出する入力センサ３８Ｃを含んでもよい（図１参照）。操作器３０は、傾斜角度が０度の場合には縦置きの形態であることを示し、傾斜角度が９０度である場合には横置きの形態であることを示す。入力センサ３８Ｃは、例えば近接センサ又はジャイロセンサであってよい。例えば、近接センサの少なくとも１つが、変形機構３９の関節部分に設置され、表示デバイス３７の外枠を構成する金属製のブラケットの接近の状態を検出することで、上記の傾斜角度を検出してよい。近接センサは、誘電電流方式に従って、上記の傾斜角度を検出してよい。なお、入力センサ３８Ｃは、他の方法で上記の傾斜角度を検出してもよい。

【0111】

次に、複数の操作器３０が連携した形態について説明する。

【0112】

本実施形態では、複数の操作器３０が連携して、様々な形態をとり得る。例えば、各操作器３０のプロセッサ３１は、環境センサ３６により検出された情報に基づいて、各操作器３０に対する操作者２００の位置を取得し、各操作器３０と操作者２００との位置関係が所定の位置関係となるように、各操作器３０の移動機構４０を駆動して移動させてよい。所定の位置関係の情報は、例えば各操作器３０のメモリ３３に保持されていてよい。これにより、各操作器３０は、自律的に操作者２００との位置を適切に確保して配置可能である。このような操作器３０と操作者２００との位置関係を所定の位置関係にすることが可能であることは、操作器３０が１つ（単体）である場合でも同様である。

【0113】

例えば、操作現場ＬＮ２において複数の操作器３０が縦置きの形態で配置され、且つ複数の操作器３０のそれぞれが離間されて配置されてよい。この場合、遠隔現場ＬＮ１において遠隔制御ロボット１０も複数配置されてよい。この場合、上述のように、各操作器３０の位置は、各操作器３０に対する操作者２００の操作力によって各操作器３０を移動させて決定されてもよいし、予め各操作器３０の位置関係が決定されており、メモリ３３に保持されていてもよい。また、遠隔現場ＬＮ１における複数の遠隔制御ロボット１０も、複数の操作器３０の間の距離に対応する距離を保って配置されてよい。この場合、上記の遠隔現場ＬＮ１と操作現場ＬＮ２とのスケール比が考慮されて、複数の操作器３０の間の距離が決定されて複数の操作器３０が配置されてもよい。

【0114】

これにより、遠隔操作システム５は、複数の操作器３０が距離を持って配置可能であり、操作現場ＬＮ２におけるこの複数の操作器３０の位置関係に対応して、遠隔現場ＬＮ１における複数の遠隔制御ロボット１０の位置関係を規定できる。よって、複数の操作器３０の表示デバイス３７には、複数の操作器３０に対応する遠隔現場ＬＮ１での位置で撮像された画像が表示されることとなる。よって、操作者２００は、複数の操作器３０の表示デバイス３７の表示を確認することで、遠隔現場ＬＮ１の対応する位置での状態を確認できる。

【0115】

また、図９は、複数の操作器３０（３０Ａ，３０Ｂ）が連携した形態の一例を示す模式図である。図９に示すように、操作現場ＬＮ２において複数の操作器３０のうちの２つの操作器３０がいずれも縦置きの形態で配置され、且つ、この２つの操作器３０の位置関係がｘ２ｙ２平面において垂直になるように配置されてよい。また、遠隔現場ＬＮ１では、操作器３０の数と同数の遠隔制御ロボット１０が配置されてよい。そして、複数の遠隔制御ロボット１０のうちの２つの遠隔制御ロボット１０が、操作現場ＬＮ２における２つの操作器３０と同様の位置関係で配置されてよい。この場合、２つの遠隔制御ロボット１０の２つの遠隔カメラ１７は、ｘ１ｙ１平面において垂直な方向を撮像方向として画像を撮像する。

【0116】

これにより、操作者２００の位置を基準として、９０度異なる方向に２つの操作器３０の表示デバイス３７が配置され、操作者２００の目前の視界を覆うことになる。この２つの表示デバイス３７には、複数の操作器３０に対応する遠隔現場ＬＮ１での位置で撮像された画像が表示されることなる。よって、遠隔操作システム５は、一層臨場感を高めて遠隔現場ＬＮ１の状況を操作者２００に伝達可能である。

【0117】

図９では、操作者２００から見て前方の表示デバイス３７Ａと右方の表示デバイス３７Ｂにそれぞれ棚が存在し、それぞれの棚に対象物１００が載置されている。この状態は、遠隔現場ＬＮ１でも同様であり、操作器３０Ａに対応する遠隔制御ロボット１０の前方に、棚に載置された対象物１００が存在し、操作器３０Ｂに対応する遠隔制御ロボット１０の右方に、棚に載置された対象物１００が存在することを示している。

【0118】

また、図９では、プロジェクタ４１が、操作器３０Ａ，３０Ｂのそれぞれに設けられており、２方向から床面に画像を投影している。図９では、投影範囲ＡＲ１に画像が投影されている。これにより、操作器３０は、前述のように、遠隔制御ロボット１０の足元の画像を補足的に投影でき、臨場感を向上できる。さらに、２方向から床面に画像を投影することで、投影による陰が発生することを抑制できる。なお、図９では、台座５２に設置された環境センサ３６の図示が省略されている。

【0119】

また、図１０は、複数の操作器３０（３０Ａ，３０Ｂ）が連携した形態の一例を示す模式図である。図１０に示すように、操作現場ＬＮ２において複数の操作器３０が縦置きの形態で配置され、且つ複数の操作器３０のそれぞれが離間せずにｘ２ｙ２平面上のいずれかの方向に平行に配置されてよい。この場合、複数の操作器３０のそれぞれの表示デバイス３７の表示面は、同一平面上に配置されてよい。つまり、複数の表示デバイス３７により１つの表示デバイス３７が拡大されたような形態となる。また、遠隔現場ＬＮ１において遠隔制御ロボット１０も複数配置されてよい。複数の遠隔制御ロボット１０は、操作現場ＬＮ２における複数の操作器３０と同様の位置関係で配置されてよい。この場合、２つの遠隔制御ロボット１０の２つの遠隔カメラ１７は、ｘ１ｙ１平面において平行な方向を撮像方向として画像を撮像する。

【0120】

これにより、遠隔操作システム５は、遠隔現場ＬＮ１の遠隔制御ロボット１０の作業環境を、複数の表示デバイス３７で１つの画面のように拡張して広範囲にわたって表示できる。よって、遠隔操作システム５は、一覧性を高くして遠隔現場ＬＮ１の状況を操作現場ＬＮ２で再現できる。

【0121】

また、図１１は、複数の操作器３０（３０Ａ，３０Ｂ）が連携した形態の一例を示す模式図である。図１１に示すように、操作現場ＬＮ２において複数の操作器３０のうちの２つの操作器３０の一方が縦置きの形態で配置され、他方が横置きの形態で配置され、この２つの操作器３０が隣接して配置されてよい。また、遠隔現場ＬＮ１では、遠隔制御ロボット１０が１つだけ配置されても複数配置されてもよい。この場合、縦置きの形態の操作器３０の表示デバイス３７Ａと横置きの形態の操作器３０の表示デバイス３７Ｂとは、１つの遠隔カメラ１７より撮像された同一の画像を表示してもよいし、異なる遠隔カメラ１７により撮像された異なる画像を表示してもよい。また、表示デバイス３７Ｂは、遠隔カメラ１７により撮像された画像ではなく、操作を行うための所定の操作画面が表示されてもよい。

【0122】

これにより、遠隔操作システム５は、２つの操作器３０を連携して使用し、例えば、表示デバイス３７Ａを棚として使用し、表示デバイス３７Ｂを机として使用するような、立体的な作業環境を提示できる。この場合、表示デバイス３７Ａ，３７Ｂの両方を操作のために使用することで、遠隔操作システム５は、遠隔地（遠隔現場ＬＮ１）の状況を３次元的に再現して直感的な操作を行うことができる。この場合、遠隔操作システム５は、表示デバイス３７Ａと３７Ｂとの座標空間を揃えることで、棚と机との間で物品を移動させる等の複雑な操作を遠隔地から実施することができる。また、遠隔操作システム５は、いずれか一方の表示デバイス３７を表示確認のために用い、他方の表示デバイス３７を操作用に用いてもよい。例えば、操作者２００は、表示デバイス３７Ａを表示確認のために用い、表示デバイス３７Ｂとしてのタッチパネルを操作のために用いることで、棚の状況を表示デバイス３７Ａで確認しつつ、表示デバイス３７Ｂによって机の上の操作を行うことができるので、作業効率の向上が期待できる。また、遠隔操作システム５は、操作用ではない表示デバイス３７を表示専用に用いることで、机上の操作のつもりで行ったジェスチャが、棚の操作にも反映されてしまうなどの誤操作を防止することができる。

【0123】

このように、遠隔制御ロボット１０は、複数設けられてよい。複数の操作器３０のそれぞれと複数の遠隔制御ロボット１０のそれぞれとが、対応する位置及び向きに配置されてよい。対応する位置及び向きの情報は、メモリ１３，３３の少なくとも一方に保持されていてよい。

【0124】

これにより、操作器３０及び遠隔制御ロボット１０が複数ある場合でも、操作者２００は、複数の操作器３００の位置関係や向きを確認することで、複数の遠隔制御ロボット１０の位置関係や向きを直感的に把握できる。例えば、遠隔現場ＬＮ１での各遠隔制御ロボット１０の位置関係が、操作現場ＬＮ２において各操作器３０の相似な位置関係として反映される。

【0125】

図１２は、遠隔操作システム５の動作例を示すフローチャートである。

【0126】

遠隔操作システム５の動作の開始前に、事前準備フェーズとして、事前準備の処理が実施される。事前準備フェーズでは、遠隔制御ロボット１０及び操作器３０のそれぞれを起動すると、自律的に周辺環境モデルを生成する。具体的には、遠隔制御ロボット１０では、環境センサ１６が、遠隔現場ＬＮ１での任意の環境に関する情報（例えば距離情報）を検出する。プロセッサ１１は、環境センサ１６により検出された情報に基づいて遠隔現場ＬＮ１の周辺環境モデルを生成し、メモリ１３に保存しておく。同様に、操作器３０では、環境センサ３６が、操作現場ＬＮ２での任意の環境に関する情報（例えば距離情報）を検出する。プロセッサ３１は、環境センサ３６により検出された情報に基づいて操作現場ＬＮ２の周辺環境モデルを生成し、メモリ３３に保存しておく。なお、このような周辺環境モデルの生成は、所定のタイミングで繰り返し行われてよく、遠隔現場ＬＮ１及び操作現場ＬＮ２のそれぞれの周辺環境モデルは更新されてよい。また、操作器３０の形態が所定の形態となるように、表示デバイス３７の傾斜角度が予め調整されている。

【0127】

まず、操作器３０のプロセッサ３１は、変形機構３９の関節角度の情報を取得する（Ｓ１１）。変形機構３９の関節角度は、表示デバイス３７の傾斜角度に相当する。ここでは、プロセッサ３１は、入力センサ３８Ｃにより検出された操作器３０の表示デバイス３７の傾斜角度を取得する。

【0128】

プロセッサ３１は、表示デバイス３７の傾斜角度に基づいて、座標変換行列を生成する（Ｓ１２）。この座標変換行列は、移動量及び姿勢情報の計測時に用いられる。例えば、操作器３０に対する操作力に基づく遠隔制御ロボット１０又は操作器３０の移動量、又は、操作者２００によるジェスチャに基づく姿勢をとるための移動量は、表示デバイス３７の基準の形態（縦置きの形態）を基準として算出される。そのため、表示デバイス３７が基準の形態の傾きと異なる場合、操作器３０に対する操作力及び操作者２００によるジェスチャの向きが傾斜角度に応じて２つの方向が分解されるので、上記の算出結果に誤差が生じる。プロセッサ３１が、座標変換行列を用いて、操作器３０に対する操作力に基づく遠隔制御ロボット１０又は操作器３０の移動量、又は、操作者２００によるジェスチャに基づく姿勢を実施するための移動量を算出することで、この誤差が解消される。

【0129】

プロセッサ３１は、入力センサ３８Ａにより操作器３０に対する操作力（情報の一例）が検出されたか否かを判定する（Ｓ１３）。

【0130】

プロセッサ３１は、入力センサ３８Ａにより操作器３０に対する操作力が検出された場合、座標変換行列に基づいて、操作器３０に対する操作力（操作力の大きさ）を基に操作器３０の移動量を算出する（Ｓ１４）。この場合、プロセッサ３１は、操作器３０に対する操作力が加えられた方向に基づいて、操作器３０の移動方向を算出してよい。プロセッサ３１は、算出された操作器３０の移動量に基づいて、又は操作器３０の移動量及び移動方向に基づいて、移動機構４０の駆動を制御し、操作器３０を移動させる（Ｓ１５）。通信デバイス３４は、算出された移動量の情報を含む移動指示信号を遠隔制御ロボット１０へ送信する（Ｓ１６）。移動指示信号は、移動量とともに移動方向の情報を含んでよい。

【0131】

遠隔制御ロボット１０では、通信デバイス１４は、操作器３０からの移動指示信号を受信する。プロセッサ１１は、受信された移動指示信号に基づいて、移動機構２０の駆動を制御し、遠隔制御ロボット１０を移動させる（Ｓ１７）。

【0132】

一方、ステップＳ１３において、入力センサ３８Ａにより操作器３０に対する操作力が検出されなかった場合（Ｓ１３のＮｏ）、プロセッサ３１は、入力センサ３８Ｂの入力に基づいてジェスチャ（情報の一例）が検出されたか否かを判定する（Ｓ１８）。ジェスチャは、操作者の手２００ｈ及び腕の少なくとも一方の姿勢により規定される。プロセッサ３１は、操作者２００によるジェスチャが検出された場合、座標変換情報に基づいて、検出されたジェスチャを示す操作者２００の手２００ｈ及び腕の姿勢情報を算出する（Ｓ１９）。通信デバイス３４は、計測された姿勢情報を含む姿勢指示信号を遠隔制御ロボット１０へ送信する（Ｓ２０）。

【0133】

遠隔制御ロボット１０では、通信デバイス１４は、操作器３０からの姿勢指示信号を受信する。プロセッサ１１は、受信された姿勢指示信号に基づいて、腕部機構１９の駆動を制御する（Ｓ２１）。この場合、プロセッサ１１は、操作器３０に対して操作者２００が実施した各種ジェスチャと同じ姿勢をとるよう制御する。つまり、プロセッサ１１は、操作者２００の手２００ｈ及び腕部の位置や姿勢に、遠隔制御ロボット１０の手２００ｈ及び腕部の位置や姿勢を追従させる。

【0134】

（変形例）
図１３は、変形例における操作器３０Ａの構成を示す模式図である。操作器３０Ａは、例えば天井から吊り下げて設置される。操作器３０Ａの移動機構４０Ａは、３軸の水平多関節ロボットアームにより構成されている。具体的には、移動機構４０Ａは、第１軸Ｊ１、第２軸Ｊ２及び第３軸Ｊ３を含む。移動機構４０Ａでは、天井に近い方から、第１軸Ｊ１、第２軸Ｊ２、第３軸Ｊ３の順に配置される。なお、操作器３０Ａは、移動機構４０Ａ以外の構成については、操作器３０と同様の構成を有する。

【0135】

操作器３０Ａは、操作器３０と同様に、操作者２００により押したり引っ張ったりされる等の物理的な接触に基づく操作を受けると、操作器３０Ａの各軸の回転角度が変化する。操作器３０Ａは、例えば角度センサ（不図示）により、第１軸Ｊ１、第２軸Ｊ２及び第３軸Ｊ３の各軸の回転角度を検出する。この回転角度は、入力センサにより検出される入力の一例である。プロセッサ３１は、検出された各軸の回転角度に基づいて、遠隔制御ロボット１０の移動の制御を指示する。なお、遠隔制御ロボット１０の態様（例えば天井配置型、地上配置型）の態様に応じて、遠隔制御ロボット１０の移動の制御の指示方法が異なる。

【0136】

例えば、遠隔制御ロボット１０が、操作器３０Ａと同様に、例えば天井から吊り下げて設置される遠隔制御ロボット１０Ａであり、遠隔制御ロボット１０Ａの移動機構２０Ａが、３軸の水平多関節ロボットアームにより構成されているとする。また、操作器３０Ａと同様に、移動機構２０Ａが、第１軸Ｊ１１、第２軸Ｊ１２及び第３軸Ｊ１３を含み、天井に近い方から、第１軸Ｊ１１、第２軸Ｊ１２、第３軸Ｊ１３の順に配置されているとする。

【0137】

この場合、操作器３０Ａの通信デバイス３４は、検出された各軸の回転角度の情報を含む角度指示信号を遠隔制御ロボット１０Ａに送信する。遠隔制御ロボット１０Ａでは、通信デバイス１４は、角度指示信号を受信する。プロセッサ１１は、受信された角度指示信号に基づいて、移動機構２０Ａの駆動を制御する。つまり、プロセッサ１１は、操作器３０Ａの移動機構４０Ａの第１軸Ｊ１、第２軸Ｊ２及び第３軸Ｊ３と、遠隔制御ロボット１０Ａの移動機構２０Ａの第１軸Ｊ１１、第２軸Ｊ１２及び第３軸Ｊ１３と、を同じ回転角度とすることで、遠隔制御ロボット１０Ａと操作器３０Ａとを同じように移動させることができる。

【0138】

また、例えば、遠隔制御ロボット１０が、上記の実施形態と同様に、移動機構２０により地上を移動する遠隔制御ロボット１０であるとする。この場合、操作器３０Ａのプロセッサ３１は、例えば、検出された各軸の回転角度に基づいて、順運動学（ＦＫ：Forward Kinematics）を解くことで、遠隔制御ロボット１０の移動後の位置Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）を算出する。ここでのｘ、ｙ、ｚは、３次元空間での直交する３方向の成分（ｘ成分、ｙ成分、ｚ成分）を示す。通信デバイス３４は、算出された移動後の遠隔制御ロボット１０の位置情報を含む位置指示信号を遠隔制御ロボット１０に送信する。遠隔制御ロボット１０では、通信デバイス１４は、位置指示信号を受信する。プロセッサ１１は、受信された位置指示信号に基づいて、移動機構２０の駆動を制御する。これにより、遠隔制御ロボット１０は、操作器３０Ａにより算出されていた移動機構２０の移動後の位置に到達可能である。

【0139】

また、操作器３０Ａは、遠隔制御ロボット１０の移動後の位置情報でなく、遠隔制御ロボット１０の速度情報を遠隔制御ロボット１０に指示してもよい。この場合、プロセッサ３１は、遠隔制御ロボット１０の移動後の位置を順次算出し、算出された各位置の差分を算出し、この差分を基に遠隔制御ロボット１０の速度Ｖ（Ｖｘ，Ｖｙ，Ｖｚ）を順次算出する。通信デバイス３４は、算出された遠隔制御ロボット１０の速度Ｖの情報を含む速度指示信号を遠隔制御ロボット１０に順次送信する。遠隔制御ロボット１０では、通信デバイス１４は、速度指示信号を順次受信する。プロセッサ１１は、受信された速度指示信号に基づいて、移動機構２０の駆動を制御する。よって、遠隔制御ロボット１０は、移動機構２０が指示された速度で移動することを継続することで、操作器３０Ａにより算出されていた移動機構２０の移動後の位置に到達可能である。

【0140】

このように、遠隔操作システム５は、操作器３０Ａの移動機構４０Ａの第１軸Ｊ１、第２軸Ｊ２及び第３軸Ｊ３の回転角度を、遠隔制御ロボット１０Ａの移動機構２０Ａの移動後の位置又は速度に変換することで、遠隔制御ロボット１０Ａと操作器３０Ａとを同じように移動させることができる。

【0141】

このような本実施形態の遠隔操作システム５によれば、操作者２００は、遠隔操作時に移動することが容易であり、長時間の遠隔操作が可能であり、操作器３０の操作方法の習得が容易である。また、遠隔操作システム５は、ロボット遠隔制御（テレプレゼンス）において、遠隔現場ＬＮ１の環境やワークといった視覚情報を操作者２００に適切に提示できる。よって、操作者２００は、遠隔操作し易い。なお、遠隔操作システム５は、例えば、遠隔現場ＬＮ１が工場であり、遠隔操作者としての操作者２００が工場に出向くことが困難である場合でも、操作者２００の自宅等から遠隔現場ＬＮ１の遠隔制御ロボット１０を遠隔操作できるので、大変有益である。

【0142】

なお、本実施形態では、操作器３０への入力操作に基づく遠隔制御ロボット１０の具体的な動作に関する情報（例えば移動量）の算出を、主に操作器３０によって実施することを例示したが、これに限られない。例えば、操作器３０が、操作器３０への入力操作の情報を遠隔制御ロボット１０に送信し、遠隔制御ロボット１０のプロセッサ１１が、操作器３０への入力操作に基づく遠隔制御ロボット１０の具体的な動作に関する情報の算出を行ってもよい。

【0143】

なお、本実施形態では、遠隔制御ロボット１０の手部１９ｈの移動は、移動機構２０を駆動せずに行われるものとしたが、移動機構２０の駆動を含むものであってもよい。この場合、移動機構２０を駆動させる方向および量は、移動機構２０も関節の一つとみなすことで計算できる。これにより、例えば、遠隔制御ロボット１０の現在の位置では届かない対象物１００を操作する場合に、遠隔制御ロボット１０自体の移動の入力を省略することができる。また、この場合、プロセッサ３１は、遠隔制御ロボット１０の移動機構２０の駆動に合わせて、操作器３０の移動機構４０も駆動させてもよい。この場合、操作器３０は、移動機構４０を駆動させることによって衝突するおそれがある障害物又は操作者２００が存在しないことを確認（認識）した上で、移動機構４０を駆動させてもよい。
なお、本実施形態では、遠隔現場ＬＮ１と操作現場ＬＮ２とは、互いに離れている（遠隔地である）のみならず、物理的に隔離されているために操作者２００が遠隔現場ＬＮ１を五感で直接認識できない例を説明したが、遠隔現場ＬＮ１と操作現場ＬＮ２とが隔離されていなくてもよい。具体的には、工場等の１つの広い空間内で互いに離れている箇所を遠隔現場ＬＮ１と操作現場ＬＮ２としてもよい。この場合、遠隔現場ＬＮ１を操作現場ＬＮ２から目視することができる場合がある。しかし、このような場合であっても、操作者２００は、操作器３０を介して遠隔制御ロボット１０の視点から遠隔現場ＬＮ１を認識できることで遠隔制御ロボット１０をより直感的に操作することができる。

【0144】

以上のように、上記実施形態の遠隔操作システム５は、移動機構２０（第１の移動機構の一例）を備えた遠隔制御ロボット１０（ロボット装置の一例）と、操作現場ＬＮ２から遠隔制御ロボット１０の動作の制御を指示する操作器３０と、を備える。操作器３０は、表示デバイス３７と、移動機構４０（第２の移動機構の一例）と、を備える。操作器３０は、遠隔制御ロボット１０により撮像された第１の画像を受信し、表示デバイス３７に第１の画像を表示させ、操作者２００による操作器３０を移動させる操作が検知された場合、遠隔制御ロボット１０を移動させる指示を含む指示信号を遠隔制御ロボット１０へ送信する。遠隔制御ロボット１０は、指示信号を受信し、指示信号に基づいて、操作器３０の移動に対応して遠隔制御ロボット１０が移動するよう移動機構２０を制御する。

【0145】

例えば、操作器３０は、プロセッサ３１と、通信デバイス３４と、表示デバイス３７と、入力センサ３８と、を備えてよい。通信デバイス３４は、遠隔制御ロボット１０により撮像された第１の画像を受信してよい。表示デバイス３７は、第１の画像を表示してよい。プロセッサ３１は、入力センサ３８により検出された入力に基づいて、操作者２００による操作器３０に対する入力操作を検出し、入力操作に基づいて遠隔制御ロボット１０の動作の制御を指示する指示信号を生成してよい。通信デバイス３４は、指示信号を遠隔制御ロボット１０へ送信してよい。遠隔制御ロボット１０は、指示信号を受信し、指示信号に基づいて動作してよい。

【0146】

これにより、遠隔操作システム５は、遠隔地の様子を確認しながら操作器３０を操作できる。操作者２００は、スマートグラス又はＨＭＤ等とは異なり、目の周辺よりも広い面積の画面を有する表示デバイス３７の表示を確認できる。つまり、遠隔操作システム５は、操作者２００の視界が制限されることを抑制できる。そのため、操作者２００は、例えば操作現場ＬＮ２（例えば自室）での移動をし易くなる。また、遠隔操作システム５は、操作者２００が操作器３０を頭部に装着することを不要にできるので、操作器３０の重量による操作者の負担を低減できる。よって、操作者２００による操作器３０を用いた長時間の遠隔操作が可能である。また、操作者２００は、入力センサ３８を用いて操作器３０を直感的に操作できるので、コントローラの複雑な操作方法を習得することが不要である。また、操作器３０は、入力センサ３８と表示デバイス３７との双方を備え、入力センサ３８の入力に基づく入力操作を検出できるので、表示装置とは別の操作装置を準備することが不要である。

【0147】

また、例えば、操作者２００が操作器３０を手で持って移動させると、遠隔制御ロボット１０が、所望の視点となるように移動する。操作者２００は、操作器３０の表示デバイス３７の表示面に表示された映像を裸眼で見ることにより、まるで窓から覗き込むような感覚で、遠隔制御ロボット１０により撮像された画像に映り込んだ遠隔現場ＬＮ１をモニタリング（監視）できる。また、操作器３０が、遠隔制御ロボット１０により収音された遠隔現場ＬＮ１の環境音を遠隔制御ロボット１０から取得して、音出力してもよい。この場合、操作者２００は、遠隔現場ＬＮ１の環境音もあわせて確認できる。

【0148】

また、入力センサ３８は、操作器３０の近傍における操作者２００の手及び腕の少なくとも一方の姿勢を入力操作として検出してよい。言い換えると、プロセッサ３１は、入力センサ３８により検出された入力に基づいて、操作者２００の手及び腕の少なくとも一方の姿勢を入力操作として検出してよい。プロセッサ３１は、入力操作に基づいて、遠隔制御ロボット１０が備える腕部機構１９の姿勢を指示する指示信号を生成してよい。この場合、プロセッサ３１は、入力センサ３８により検出された表示デバイス３７の周端部への接触箇所が２箇所未満の場合、操作器３０の近傍における入力操作に基づいて生成された遠隔制御ロボット１０が備える腕部機構１９の姿勢を指示する指示信号を出力してよい。遠隔制御ロボット１０は、指示信号に基づいて、腕部機構１９を駆動してよい。また、プロセッサ３１は、入力センサ３８により表示デバイス３７の周端部への接触が検知されていない場合、操作器３０の近傍における手及び腕の少なくとも一方の姿勢が検出されたか否かにかかわらず、腕部機構１９の姿勢を指示する指示信号の出力を抑制してよい。

【0149】

これにより、遠隔操作システム５は、操作者２００の所定の姿勢（ジェスチャ）に対応する動作（例えば対象物１００の把持、開放）を、遠隔制御ロボット１０に実施させることができる。よって、例えば、操作者２００が、操作器３０の表示デバイス３７に表示された対象物１００を把持するようなジェスチャを行った場合、遠隔地における遠隔制御ロボット１０に、対象物１００を実際に把持させることができる。また、表示デバイス３７の周端部への接触箇所への接触の検知に基づいて指示信号を出力し、この接触が検知されなかった場合には指示信号を出力しないことで、ジェスチャに基づく遠隔操作を安全に実施できる。

【0150】

また、操作者２００の姿勢は、操作器３０に対する操作者２００の手及び腕の少なくとも一方の位置を含んでよい。遠隔制御ロボット１０の姿勢は、遠隔制御ロボット１０が備える遠隔カメラ１７（カメラの一例）による撮像範囲に対する腕部機構１９の位置を含んでよい。

【0151】

これにより、遠隔操作システム５は、操作器３０に対する操作者２００の手及び腕の少なくとも一方の位置を１つのジェスチャとすることで、ジェスチャに対応する動作（例えば移動）を、遠隔制御ロボット１０に実施させることができる。よって、例えば、操作者２００が、操作器３０の表示デバイス３７に表示された対象物１００を移動させるようなジェスチャを行った場合、遠隔地における遠隔制御ロボット１０に、対象物１００を実際に移動させることができる。

【0152】

また、入力センサ３８は、表示デバイス３７の周端部（例えば外枠）に設置され、物理的な接触に基づく入力を検出してよい。プロセッサ３１は、入力に基づく入力操作に基づいて、遠隔制御ロボット１０を移動させる操作を検知し、遠隔制御ロボット１０を移動させる指示信号を生成してよい。遠隔制御ロボット１０は、指示信号に基づいて、遠隔制御ロボット１０が備える移動機構２０（第１の移動機構の一例）を駆動してよい。

【0153】

これにより、遠隔操作システム５は、例えば操作者２００が操作器３０を押したり引っ張ったりすることをトリガとして、遠隔制御ロボット１０に移動を指示できる。

【0154】

また、入力センサが表示デバイス３７の周端部への接触に基づく入力を検知していない場合、操作器３０の移動の有無に関わらず、遠隔制御ロボット１０を移動させる指示を含む指示信号を遠隔制御ロボット１０に送信しなくてよい。

【0155】

これにより、遠隔操作システム５は、操作者２００による遠隔制御ロボット１０を移動する明示的な意思がない場合には、遠隔制御ロボット１０の移動を抑制でき、遠隔現場ＬＮ１での安全性を向上できる。

【0156】

また、入力センサが表示デバイス３７の周端部への接触に基づく入力を検知していない場合、操作者２００による操作器３０の移動を抑制するよう移動機構４０を制御してよい。

【0157】

これにより、遠隔操作システム５は、操作者２００による操作器３０を移動する明示的な意思がない場合には、操作器３０の移動を抑制でき、操作現場ＬＮ２での安全性を向上できる。

【0158】

また、指示信号は、遠隔制御ロボット１０の移動量、移動方向、及び移動速度の少なくとも１つの制御を指示する信号を含んでよい。遠隔制御ロボット１０は、指示信号に基づいて、遠隔制御ロボット１０の移動量、移動方向、及び移動速度の少なくとも１つを制御してよい。

【0159】

これにより、遠隔操作システム５は、操作器３０が強く押されることで、移動量を大きくでき、操作器３０が一時的に強くおされることで、加速度が大きくなって移動速度を大きくできる。また、遠隔操作システム５は、操作器３０を所定の方向に押したり引っ張ったりすることで、この方向に遠隔制御ロボット１０を移動させることができる。よって、操作者２００は、一層直感的な遠隔操作を実現できる。

【0160】

また、操作器３０は、操作現場ＬＮ２に配置されてよい。遠隔制御ロボット１０は、遠隔現場ＬＮ１に配置されてよい。操作現場ＬＮ２の空間における移動量の大きさに対する遠隔現場ＬＮ１における移動量の大きさの比を示すスケール比に基づいて、操作器３０の移動量が遠隔制御ロボット１０の移動量に変換されてよい。また、スケール比は、操作現場ＬＮ２の空間の大きさと遠隔現場ＬＮ１の空間の大きさとの比とされてもよい。

【0161】

これにより、遠隔操作システム５は、操作現場ＬＮ２での移動量と遠隔現場ＬＮ１での移動量とを加味して、操作現場ＬＮ２での操作器３０に対する操作者２００の操作に基づく遠隔現場ＬＮ１での遠隔制御ロボット１０の挙動を決定できる。よって、遠隔操作システム５は、例えば、操作現場ＬＮ２に対して遠隔現場ＬＮ１での移動量が小さい場合、遠隔制御ロボット１０の移動が過大になることを抑制でき、操作現場ＬＮ２での移動量に対して遠隔現場ＬＮ１での移動量が大きい場合、遠隔制御ロボット１０の移動が過小になることを抑制できる。

【0162】

また、遠隔操作システム５は、操作現場ＬＮ２と遠隔現場ＬＮ１との空間の大きさを加味して、操作現場ＬＮ２での操作器３０に対する操作者２００の操作に基づく遠隔現場ＬＮ１での遠隔制御ロボット１０の挙動を決定できる。よって、遠隔操作システム５は、例えば、操作現場ＬＮ２に対して遠隔現場ＬＮ１が狭い場合、遠隔制御ロボット１０の移動が過大になることを抑制でき、操作現場に対して遠隔現場が広い場合、遠隔制御ロボット１０の移動が過小になることを抑制できる。

【0163】

また、操作器３０は、移動機構４０（第２の移動機構の一例）を備えてよい。プロセッサ３１は、入力操作に基づいて、移動機構４０を駆動し、遠隔制御ロボット１０の移動に連動して操作器３０を移動させてよい。

【0164】

これにより、遠隔操作システム５は、遠隔現場ＬＮ１と操作現場ＬＮ２とにおいて、遠隔制御ロボット１０の移動と操作器３０の移動とが対応するので、操作者２００は、遠隔制御ロボット１０の動きを直感的に理解し易くなる。

【0165】

また、プロセッサ３１は、遠隔制御ロボット１０の移動速度の上限値を取得し、遠隔制御ロボット１０の移動速度の上限値に基づいて、操作器３０の移動速度の上限値を決定してよい。また、遠隔制御ロボット１０の移動速度には上限が設けられていてよい。操作器３０の移動速度に対応する遠隔制御ロボット１０の移動速度が上限に到達した場合、操作器３０は、操作器３０の移動を抑制するよう移動機構２０を制御してよい。

【0166】

これにより、遠隔操作システム５は、遠隔制御ロボット１０の安全性を加味した移動速度の上限値に合わせて、操作器３０の移動時の安全性も向上できる。

【0167】

また、遠隔制御ロボット１０は、操作器３０の周囲の状況を検出する環境センサ１６（第１の環境センサの一例）を備えてよい。環境センサ１６は、第１の画像の範囲に対応する空間よりも広い範囲で操作器３０の周囲の状況を検出してよい。遠隔制御ロボット１０は、環境センサ１６により第１の障害物が検出された場合、第１の障害物が検出されたことを示す障害物検出情報を操作器３００に送信してよい。通信デバイス３４は、遠隔制御ロボット１０からの障害物検出情報を受信してよい。プロセッサ３１は、第１の障害物が検出された旨を表示デバイス３７に表示させてよい。

【0168】

これにより、操作者２００は、表示デバイス３７の表示を確認することで、例えば遠隔制御ロボット１０の移動中に遠隔制御ロボット１０の周辺における第１の画像の範囲外に障害物がある場合でも障害物を認識でき、遠隔制御ロボット１０を停止させるなどの対応を行うことができ、遠隔現場ＬＮ１での安全性を向上できる。

【0169】

また、遠隔制御ロボット１０は、上記の環境センサ１６を備え、環境センサ１６により第１の障害物が検出された場合、第１の障害物が検出されたことを示す障害物検出情報を操作器３０に送信してよい。通信デバイス３４は、遠隔制御ロボット１０からの障害物検出情報を受信してよい。プロセッサ３１は、障害物検出情報の受信に基づいて遠隔制御ロボット１０の移動を抑制させる指示信号を生成してよい。遠隔制御ロボット１０は、指示信号に基づいて、移動機構２０の駆動を抑制してよい。

【0170】

これにより、遠隔操作システム５は、例えば遠隔制御ロボット１０の移動中に遠隔制御ロボット１０の周辺に障害物があることを認識でき、操作者２００が追加で操作しなくても自動的に遠隔制御ロボット１０の移動を停止できる。よって、遠隔操作システム５は、遠隔現場ＬＮ１での安全性を向上できる。

【0171】

また、操作器３０は、操作器３０の周囲の状況を検出する環境センサ３６（第２の環境センサの一例）を備えてよい。プロセッサ３１は、例えば操作者２００が操作器３０を移動させる方向に、環境センサ３６により第２の障害物が検出された場合、移動機構４０の駆動を抑制してよい。

【0172】

これにより、遠隔操作システム５は、例えば、操作者２００が操作器３０への操作や表示デバイス３７の表示の確認に集中しており、操作現場ＬＮ２内の操作器３０を移動させる方向にある障害物に気づいていない場合でも、自動的に操作器３０の移動を停止させることができる。よって、遠隔操作システム５は、操作器３０の周辺に所在する操作者２００の安全を確保できる。

【0173】

また、操作器３０は、操作現場ＬＮ２に配置されてよい。操作器３０は、操作器３０の周囲の状況を検出する環境センサ３６（第２の環境センサの一例）を備えてよい。プロセッサ３１は、環境センサ３６により操作現場ＬＮ２における操作者２００の位置を検出した場合、操作者２００から所定距離以内に前記操作器３０を移動させてよい。

【0174】

これにより、操作者２００が操作現場ＬＮ２内を動き回っても、操作者２００の移動に操作器３０が追従するので、操作者２００が操作器３０を用いて表示の確認や操作を実施し易くなる。

【0175】

また、遠隔制御ロボット１０により１の画像が撮像される際の撮像範囲が、表示デバイス３７により表示される第１の画像の表示範囲よりも広くてよい。プロセッサ３１は、撮像範囲の内側且つ表示範囲の外側に存在する物体を認識した場合、第１の画像に重畳して物体に関する情報を表示デバイス３７に表示させてよい。

【0176】

これにより、表示デバイス３７により確認可能な表示範囲の外側に、操作者２００によって有益な物体（例えば工具）が存在する場合でも、操作者２００は、その存在を認識できる。

【0177】

また、操作器３０は、鉛直方向（ｚ２方向）に対する表示デバイス３７の表示面の角度を変更自在に支持する変形機構３９を備えてよい。プロセッサ３１は、鉛直方向に対する表示デバイス３７の表示面の角度に基づいて、指示信号を生成してよい。

【0178】

これにより、遠隔操作システム５は、表示デバイス３７の表示面の角度を自在に調整でき、所望の情報表示形態を実現できる。また、表示面の角度に応じて算出される移動情報や姿勢情報が複数の方向に分散され得る。この場合でも、遠隔操作システム５は、表示面の角度に応じて指示信号を生成し、動作指示を行うことで、検出された入力操作に基づく遠隔制御ロボット１０の動作制御の精度が低下することを抑制できる。

【0179】

また、表示デバイス３７は、操作デバイスを兼ねるタッチパネルであり、水平方向に沿って配置されてよい。

【0180】

これにより、遠隔操作システム５は、表示デバイス３７の表示面の角度を自在に調整でき、タッチパネルによって操作可能であるので、所望の操作形態を実現できる。

【0181】

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。特に、上述した実施の形態では、操作器３０のプロセッサ３１が主な処理を行っていたが、遠隔操作システム５内のどの装置がどの処理を行うかは任意で構わない。例えば、各種の指示情報は、プロセッサ３１で生成しなくとも、操作器３０が取得して転送した情報を基に遠隔制御ロボット１０のプロセッサ１１で生成するようにしてもよい。

【0182】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【産業上の利用可能性】

【0183】

本開示は、遠隔操作者が遠隔操作時に移動することが容易であり、長時間の遠隔操作が可能であり、操作器の操作方法の習得が容易である遠隔操作システム、操作器及び遠隔操作方法等に有用である。

【符号の説明】

【0184】

５ 遠隔操作システム
１０ 遠隔制御ロボット
１１ プロセッサ
１２ 電源
１３ メモリ
１４ 通信デバイス
１５ マイク
１６ 環境センサ
１８ 雲台機構
１９ 腕部機構
１９ａ アーム
１９ｈ 手部
２０ 移動機構
２１ 台座
２２ 胴体部
３０ 操作器
３１ プロセッサ
３２ 電源
３３ メモリ
３４ 通信デバイス
３５ スピーカ
３６ 環境センサ
３７，３７Ａ，３７Ｂ 表示デバイス
３８，３８Ａ，３８Ｂ，３８Ｃ 入力センサ
３９ 変形機構
４０ 移動機構
４１ プロジェクタ
５１ 操作本体部
５２ 台座
５３，５３Ａ，５３Ｂ 支持柱
１００ 対象物
２００ 操作者
ＡＲ１ 投影範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】