特開 2024-123388 遠隔制御装置、遠隔制御システム、遠隔制御方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123388

(43)【公開日】2024-09-12

(54)【発明の名称】遠隔制御装置、遠隔制御システム、遠隔制御方法、および、プログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240905BHJP

【ＦＩ】

B25J3/00 Z

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023030741

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】上村井 明夫

(72)【発明者】

【氏名】上西 司

(72)【発明者】

【氏名】森岡 玲永子

(72)【発明者】

【氏名】福野 研一

(72)【発明者】

【氏名】水野 隆太郎

(72)【発明者】

【氏名】松枝 真一

(72)【発明者】

【氏名】真砂 良平

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707JS07

3C707JT04

3C707JU03

3C707JU12

3C707KS31

3C707KS39

3C707KT01

3C707KT02

3C707KT04

3C707MT01

(57)【要約】

【課題】装置を追加することなくマニピュレータ側で発生する音を操作者に伝える技術を提供する。
【解決手段】マニピュレータを遠隔で制御する装置として機能するコンピュータが実行する処理は、動作指示情報を受信するステップ（Ｓ６１０）と、当該動作指示情報に応じた指令をマニピュレータに送信するステップ（Ｓ６２０）と、カメラから撮影画像を受信するステップ（Ｓ６３０）と、動作指示情報に基づいて動作音の画像を選択するステップ（Ｓ６４０）と、動作音の画像と撮影画像とを合わせて提示画像を生成するステップ（Ｓ６５０）と、提示画像を出力するステップ（Ｓ６６０）とを含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データを格納している記憶部と、
前記マニピュレータに対する指示の入力を受け付ける入力部と、
前記指示の入力に基づいて動作する前記マニピュレータの撮影により得られる撮影画像を受信する受信部と、
前記指示に対応する前記画像データに基づく画像と、前記受信された撮影画像とを有する提示画像を生成する生成部と、
前記提示画像を表示する表示部とを備える、遠隔制御装置。

【請求項2】

前記記憶部は、複数の指示の各々に対応する各前記画像データを格納しており、
前記入力部は、前記複数の指示のうちのいずれかの指示の入力を受け付け、
前記提示画像を生成することは、
受け付けられた指示に対応する画像データを各前記画像データから選択することと、
前記選択された画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。

【請求項3】

各前記画像データは、前記複数の指示の各々について予め準備された異なる大きさの画像を表示するための画像データを含み、
前記提示画像を生成することは、各前記指示に応じた画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項２に記載の遠隔制御装置。

【請求項4】

前記異なる大きさの画像を表示するための画像データは、前記マニピュレータの動作音の大きさ、前記動作音の周波数の少なくともいずれかに応じて規定されている、請求項３に記載の遠隔制御装置。

【請求項5】

各前記画像データは、前記複数の指示の各々について予め準備された異なる色の画像を表示するための画像データを含み、
前記提示画像を生成することは、各前記指示に応じた画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項３に記載の遠隔制御装置。

【請求項6】

前記マニピュレータと前記物体との間に作用する触覚力を含む触覚データを触覚センサから受信する受信部をさらに備え、
各前記画像データは、一以上の前記触覚データについてそれぞれ予め準備された画像を表示するための一以上の接触音画像データを含み、
前記提示画像を生成することは、前記受信される触覚データに基づいて、当該触覚データについて予め準備された前記接触音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。

【請求項7】

前記提示画像を生成することは、
前記触覚力に応じて、前記触覚データについて予め準備された画像の大きさを変更することと、
前記触覚力に応じて、前記触覚データについて予め準備された画像の色を変更することとのいずれかを含む、請求項６に記載の遠隔制御装置。

【請求項8】

前記マニピュレータの近傍で取得された音の信号を受信する音声受信部をさらに備え、
前記記憶部は、前記マニピュレータから発せられる音について予め準備された画像を表示するための音画像データをさらに格納しており、
前記提示画像を生成することは、受信された音の信号についての前記画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。

【請求項9】

前記音画像データは、前記マニピュレータから発せられる異音を表わす画像を表示する異音画像データを含み、
前記提示画像を生成することは、前記音の信号が前記マニピュレータの音として予め取得された音の信号と異なることに基づいて、前記異音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項８に記載の遠隔制御装置。

【請求項10】

前記音は、前記マニピュレータの環境音を含み、
前記音画像データは、前記マニピュレータの環境音を示すデータとして予め準備された環境音画像データを含み、
前記提示画像を生成することは、前記環境音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項８に記載の遠隔制御装置。

【請求項11】

情報通信装置と通信する通信部をさらに備え、前記情報通信装置は、複数のマニピュレータの各々の識別子と、各マニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する動作音画像データとを保持しており、
前記通信部は、前記複数のマニピュレータのうちの操作対象として選択されたマニピュレータの識別子を前記情報通信装置に送信し、
前記通信部は、前記情報通信装置から、前記選択されたマニピュレータについての前記動作音画像データを受信し、
前記提示画像を生成することは、前記動作音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。

【請求項12】

情報通信装置と通信する通信部をさらに備え、前記情報通信装置は、複数のマニピュレータの各々の識別子と、各マニピュレータと前記物体との間にそれぞれ作用する各触覚力を含む各触覚データについてそれぞれ予め準備された画像を表示するための接触音画像データとを保持しており、
前記通信部は、前記複数のマニピュレータのうちの操作対象として選択されたマニピュレータの識別子を前記情報通信装置に送信し、
前記通信部は、前記情報通信装置から、前記選択されたマニピュレータについての前記接触音画像データを受信し、
前記提示画像を生成することは、前記接触音画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。

【請求項13】

情報通信装置と通信する通信部をさらに備え、前記情報通信装置は、複数のマニピュレータの各々の識別子と、各マニピュレータが指示に応じて動作する時に発する可能性のある音として予め準備された音を文字で表示する文字画像データとを保持しており、
前記記憶部は、前記遠隔制御装置の位置情報をさらに格納しており、
前記通信部は、前記位置情報と、前記複数のマニピュレータのうちの操作対象として選択されたマニピュレータの識別子とを、前記情報通信装置に送信し、
前記通信部は、前記情報通信装置から、前記選択されたマニピュレータについての前記文字画像データを受信し、
前記提示画像を生成することは、前記文字画像データに基づく画像と、前記撮影画像とを有する提示画像を生成することを含む、請求項１に記載の遠隔制御装置。

【請求項14】

請求項１～１３のいずれかに記載の遠隔制御装置と、
前記遠隔制御装置によって制御されるマニピュレータとを備える、遠隔制御システム。

【請求項15】

物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データにアクセスするステップと、
前記マニピュレータに対する指示の入力を受け付けるステップと、
前記指示の入力に基づいて動作する前記マニピュレータの撮影により得られる撮影画像を受信するステップと、
前記指示に対応する前記画像データに基づく画像と、前記受信された撮影画像とを有する提示画像を生成するステップと、
前記提示画像を表示するステップとを含む、遠隔制御方法。

【請求項16】

マニピュレータを制御するコンピュータが実行するプログラムであって、前記プログラムは前記コンピュータに、
物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データにアクセスするステップと、
前記マニピュレータに対する指示の入力を受け付けるステップと、
前記指示の入力に基づいて動作する前記マニピュレータの撮影により得られる撮影画像を受信するステップと、
前記指示に対応する前記画像データに基づく画像と、前記受信された撮影画像とを有する提示画像を生成するステップと、
前記提示画像を表示するステップとを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はマニピュレータの制御に関し、より特定的には、マニピュレータの遠隔制御に関する。

【背景技術】

【0002】

ロボット技術やＡＩ（Artificial Intelligence）技術が進歩し、様々な環境で自律的に動作するロボットが活用されるようになってきている。例えば搬送用ロボットでは、工場内の搬送で使われる無人搬送車（ＡＧＶ：Automated Guided Vehicle）や飲食店において飲食物を搬送するロボットの開発が進められている。

【0003】

しかし、人間とロボットとを同一空間で活動させようとすると多くの問題が発生する。例えば、既存の病院は人間用に建設されており、安全性の観点から搬送ロボットの動作範囲が制限される。また、入院患者の増減、急患対応時または災害発生時には、病院はレイアウトを動的に変更させる必要があり、搬送経路を固定化する手段の採用は困難である。そのため、自律動作型のロボットを使う場合には、搬送経路を制限するといった多数の制約が必要となる。一方で、先進国の人口減少による労働力不足に対処するために、又は、危険地域での作業のために、ロボットの活用ニーズは存在し、その手段の一つとして遠隔で操作されるロボットのニーズが存在する。

【0004】

遠隔操作においてロボットを介して高度な作業を実施するためには、ロボットのハンド部（以下「マニピュレータ」という。）に触覚センサ（たとえば、圧力センサや力覚センサ）を多用し、その情報を操作者に伝えるシステムが提案されている（たとえば特許文献１参照）。また、マニピュレータが含まれる撮影画像を撮影するカメラと、触覚センサから得られた触覚データをもとに生成した触覚画像を映像に重ね合わせることで操作性を向上させるシステムが提案されている（たとえば特許文献２参照）。さらに、マニピュレータの力覚データの情報を文字情報に変換して画像に重ね合わせることで操作者に伝えるシステムが提案されている（特許文献３）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９－６６６８３号公報

【特許文献2】国際公開第２０１９／０５９３６４号パンフレット

【特許文献3】特開２０１９－２０９３９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

マニピュレータを遠隔で制御するための上記のようなシステムでは、操作者（所謂オペレータ）がマニピュレータを容易に遠隔操作できるようにするためには、マニピュレータが動作したときに発生する動作音や、マニピュレータの周囲で発生した音を操作者に伝えることが望まれる。

【0007】

しかしながら、マニピュレータ側で発生する音を遠隔地にいる操作者に伝えるためには、マニピュレータ側の音を集めるマイクや、操作者側で音を出力するためのスピーカが必要となる。したがって、装置を追加することなくマニピュレータ側で発生する音を操作者に伝える技術が必要とされている。

【0008】

また、操作者の環境によっては、操作者がイヤホンやヘッドホンを装着する必要があり、長時間の操作では、イヤホンやヘッドホンも負担になり得る。したがって、操作者の負担を増やすことなくマニピュレータ側で発生する音を操作者に伝える技術が必要とされている。

【0009】

さらに、マニピュレータ側で発生した音を操作者側に伝えるためには、映像データと音データとを同期して伝送するための制御が必要となり、システムの複雑性が増加することになる。また、音データを伝送すると通信帯域幅が圧迫されることになる。したがって、システムを複雑化することなくまた通信帯域を圧迫することなくマニピュレータ側で発生する音を操作者に伝える技術が必要とされている。

【0010】

本開示は、上記のような背景に鑑みてなされたものであり、ある局面に従う目的の一つは、装置を追加することなくマニピュレータ側で発生する音を操作者に伝える技術を提供することである。

【0011】

他の局面に従う目的の一つは、操作者の負担を増やすことなくマニピュレータ側で発生する音を操作者に伝える技術を提供することである。

【0012】

さらに他の局面に従う目的の一つは、システムを複雑化することなくまた通信帯域を圧迫することなくマニピュレータ側で発生する音を操作者に伝える技術を提供することである。

【課題を解決するための手段】

【0013】

（１）ある実施の形態に従うと、遠隔制御装置が提供される。この遠隔制御装置は、物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データを格納している記憶部と、マニピュレータに対する指示の入力を受け付ける入力部と、指示の入力に基づいて動作するマニピュレータの撮影により得られる撮影画像を受信する受信部と、指示に対応する画像データに基づく画像と、受信された撮影画像とを有する提示画像を生成する生成部と、提示画像を表示する表示部とを備える。

【0014】

（２）他の実施の形態に従うと、遠隔制御方法が提供される。この遠隔制御方法は、物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データにアクセスするステップと、マニピュレータに対する指示の入力を受け付けるステップと、指示の入力に基づいて動作するマニピュレータの撮影により得られる撮影画像を受信するステップと、指示に対応する画像データに基づく画像と、受信された撮影画像とを有する提示画像を生成するステップと、提示画像を表示するステップとを含む。

【0015】

（３）さらに他の実施の形態に従うと、マニピュレータを制御するコンピュータが実行するプログラムが提供される。このプログラムはコンピュータに、物体を扱うマニピュレータが指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データにアクセスするステップと、マニピュレータに対する指示の入力を受け付けるステップと、指示の入力に基づいて動作するマニピュレータの撮影により得られる撮影画像を受信するステップと、指示に対応する画像データに基づく画像と、受信された撮影画像とを有する提示画像を生成するステップと、提示画像を表示するステップとを実行させる。

【発明の効果】

【0016】

ある実施の形態に従うと、簡素なシステム構成で、操作者がより容易にマニピュレータを遠隔制御することができる。

【0017】

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0018】

【図1】マニピュレータが物体を把持する動作をカメラで撮影することにより得られる画像が画像表示部２３０に表示された状態を示す図である。

【図2】遠隔制御システム２０の構成の概略を表わすブロック図である。

【図3】遠隔制御装置２００の具体的な構成例を示した図である。

【図4】マニピュレータ１の動作音に対応する画像が重ね合わされてモニタ３３０に表示されている状態を表わす図である。

【図5】記憶部２４０におけるデータの格納の一態様を概念的に表わす図である。

【図6】遠隔制御装置２００が実行する処理の一部を表わすフローチャートである。

【図7】遠隔制御装置７００に提示される画像を説明するための図である。

【図8】遠隔制御装置７００が有する記憶部２４０におけるデータの格納の一態様を表わす図である。

【図9】遠隔制御装置７００が実行する処理の一部を表わすフローチャートである。

【図10】遠隔制御システム１０００の構成を表わすブロック図である。

【図11】触覚データに基づく触覚音画像が含まれる提示画像の一例を表わす図（その１）である。

【図12】触覚データに基づく触覚音画像が含まれる提示画像の一例を表わす図（その２）である。

【図13】遠隔制御装置１０２０が実行する処理の一部を表わすフローチャートである。

【図14】遠隔制御システム１４００の概略構成を表わす図である。

【図15】画像表示部２３０によって表示される提示画像の一例を表わす図である。

【図16】他の局面における提示画像を示す図である。

【図17】遠隔制御システム１７００の概略構成を示す図である。

【図18】遠隔制御装置１７１０が実行する処理の一部を表わすフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0020】

実施の形態１．
図１を参照して、マニピュレータの監視の一例について説明する。図１は、マニピュレータが物体を把持する動作をカメラで撮影することにより得られる画像１０１，１０２が画像表示部２３０に表示された状態を示す図である。画像表示部２３０は、たとえば、遠隔操作室に設けられた液晶モニタその他の表示装置である。

【0021】

操作者（オペレータ）が、遠隔地からマニピュレータを操作する場合、当該操作者は、図１に示されるように、撮影されたマニピュレータの画像１０１と、当該マニピュレータに把持されている物体の画像１０２とを見ながら、遠隔制御装置に対して、ボタンやスイッチの押下、コントローラの上下左右への移動等の操作を行う。このとき、マニピュレータが動作して物体を把持したか否かを映像で判断する必要がある。しかし、映像だけでは正確な判断ができない場合がある。

【0022】

ところで、マニピュレータの動作によって発生する動作音は、操作者がマニピュレータを操作する際に重要な情報の一つである。マニピュレータの画像１０１に加えて、操作者から遠隔の地にあるマニピュレータで発生する動作音の情報を当該操作者に伝達することは、遠隔操作の容易性を高めるために必要である。

【0023】

そこで、マニピュレータにマイクを設け、また、操作者が使用する遠隔制御装置にスピーカを設け、当該マイクで集められた音を伝送して当該スピーカから音を発生させて操作者に音を伝達する手法が考えられる。しかしながら、音データと映像データとを同期して操作者に伝達しようとすると、伝送システムが複雑になる。また、操作者が操作する状況（遠隔監視する場所の状況）によっては、スピーカから出力される音を聞くためにヘッドセットやイヤホン等の設備を装着する必要性もあり、長時間操作するときの負担となる。さらに、音データの伝送には使用する通信帯域幅が増えることになる。

【0024】

図２を参照して、本実施の形態に従う遠隔制御システム２０の構成について説明する。図２は、遠隔制御システム２０の構成の概略を表わすブロック図である。

【0025】

遠隔制御システム２０は、マニピュレータ１と、カメラ３と、遠隔制御装置２００とを備える。遠隔制御装置２００は、通信可能な態様でマニピュレータ１とカメラ３とに接続されている。通信の態様は、有線および無線のいずれでもよい。通信形式は特に限定されない。

【0026】

遠隔制御装置２００は、動作指示入力部２１０と、提示画像生成部２２０と、画像表示部２３０と、記憶部２４０と、通信Ｉ／Ｆ（インターフェイス）２５０とを備える。

【0027】

動作指示入力部２１０は、操作者による遠隔制御装置２００に対する入力を受け付ける。当該入力は、マニピュレータ１に予め定められた動作を実行させるための命令（クランプ、チャック、アンチャック等）と、カメラ３に予め定められた動作を実行させるための命令（たとえば、ズーム、パン、回転等）とを含む。動作指示入力部２１０は、例えば、キーボード、タッチパッド、マウス、ソフトウェアスイッチその他の入力装置によって実現される。

【0028】

提示画像生成部２２０は、カメラ３から送られる撮影画像と、記憶部２４０に格納されているデータとを用いて、画像表示部２３０に画像を表示するためのデータを生成する。提示画像生成部２２０は、例えば、ＣＰＵ（Central Processing Unit）その他のプロセッサ、ＦＰＧＡ（field-programmable gate array）その他の集積回路等によって実現される。

【0029】

記憶部２４０は、カメラ３から送られる撮影画像のデータ、後述する動作音画像のデータを保持している。記憶部２４０は、ハードディスク、ＳＳＤ（Solid State Device）その他の不揮発性の記憶装置、または、ＲＡＭ（Random Access Memory）その他の揮発性のメモリによって実現される。

【0030】

通信Ｉ／Ｆ２５０は、マニピュレータ１およびカメラ３と、遠隔制御装置２００との通信を実現する。通信Ｉ／Ｆ２５０は、例えば、ＮＩＣ（Network Interface Card）等により実現される。なお、通信方式は、特に限定されない。

【0031】

図３は、遠隔制御装置２００の具体的な構成例を示した図である。遠隔制御装置２００は、コントローラ３１０と、コンピュータ３２０と、モニタ３３０とを備える。

【0032】

コントローラ３１０は、動作指示入力部２１０として、コンピュータ３２０に対する命令の入力を受け付ける。コントローラ３１０は、一つ以上のボタン、タッチパッドその他の入力を受け付けるための機構を含む。コントローラ３１０は、キーボードやマウス等であってもよい。

【0033】

コンピュータ３２０は、ＣＰＵ、ＲＡＭ、ハードディスク、通信Ｉ／Ｆその他の周知の構成要素を有する。各構成要素は相互にバスによって接続されている。コンピュータ３２０は、通信Ｉ／Ｆによってマニピュレータ１とカメラ３とに通信可能接続されている。

【0034】

モニタ３３０は、一般的な画像表示装置であり、たとえば液晶表示装置、有機ＥＬ（Electro Luminescence）表示装置等により実現される。ある実施の形態によれば、遠隔制御装置２００は、カメラ３から撮影画像のデータを受信すると、マニピュレータ１の映像と、マニピュレータ１の動作音を表わす画像とを有する提示画像を生成し、提示画像をモニタ３３０に表示し得る。

【0035】

そこで、図４を参照して、提示画像について説明する。提示画像は、モニタ３３０により実現される画像表示部２３０に表示される。図４は、実施の形態１に従って、マニピュレータ１が物体２を把持する動作をカメラ３で撮影した撮影画像に、マニピュレータ１の動作音に対応する画像が重ね合わされてモニタ３３０に表示されている状態を表わす図である。

【0036】

すなわち、モニタ３３０は、マニピュレータ１の画像４１０と、物体２の画像４２０と、マニピュレータ１が発する動作音を予め準備された文字やイメージで表わす画像４３０と、当該動作音を図形で表わす画像４４０とを表示している。

【0037】

図４の例示では、画像４３０は、マニピュレータ１の先端部が閉じる動作をする時に発せられる動作音を文字で示している。画像４４０は、マニピュレータ１の先端部が閉じる動作をする時に発せられる音を画像（矢印）で示している。このように、遠隔制御装置２００は、マニピュレータ１が動作するときの音を表わす動作音画像と、撮影画像とを有する提示画像を生成して、画像表示部２３０に提示画像を表示させる。操作者は、提示画像を見ることで、マニピュレータ１の近傍で発生している音を映像だけで認識できる。

【0038】

＜データ構造＞
図５を参照して、遠隔制御装置２００のデータ構造について説明する。図５は、記憶部２４０におけるデータの格納の一態様を概念的に表わす図である。記憶部２４０は、動作指示情報と、識別情報と、音画像とを関連付けて保持している。動作指示情報は、マニピュレータ１に与えられる命令（動作指示）を識別する。当該命令は、たとえば、前進（op001）、下降（op002、op005）、チャック（op003、op004）、クランプ、アンチャック、後退、上昇、下降などを含み得る。下降とチャックとは、画像を表示するために予め準備された複数の画像データに関連付けられている。したがって、遠隔制御装置２００は、一つの指令に対して、文字と図形という異なる複数の画像を、撮影画像とともに画像表示部２３０に表示し得る。

【0039】

識別情報は、音画像を識別する。音画像は、当該動作指示情報に対応する命令がマニピュレータ１に与えられた場合に正常な動作時に発する音を表わす。また、音量が予め設定された標準の音量よりも大きい場合には、音画像も大きく表示され得る。

【0040】

操作者が、動作指示入力部２１０としての、レバー、スイッチ、タッチパッドその他の指示を受け付ける入力機構を操作すると、当該操作に応じた動作指示情報に関連付けられている識別情報に従って、音画像のデータが読み出される。

【0041】

＜制御構造＞
図６を参照して、本実施の形態に従う遠隔制御装置２００の制御構造について説明する。図６は、遠隔制御装置２００が実行する処理の一部を表わすフローチャートである。

【0042】

ステップＳ６１０にて、遠隔制御装置２００は、動作指示入力部２１０から動作指示情報を受信する。たとえば、動作指示入力部２１０がタッチパネルで構成されている場合、操作者がタッチパネルに表示されているアイコンをタッチすると、当該アイコンに関連付けられている動作指示情報が遠隔制御装置２００に与えられる。遠隔制御装置２００は、動作指示情報で特定される動作を、マニピュレータ１が認識する形式の指令に変換することにより、動作指示情報に応じた指令を生成する。

【0043】

ステップＳ６２０にて、遠隔制御装置２００は、当該動作指示情報に応じた指令をマニピュレータ１に送信する。

【0044】

ステップＳ６３０にて、遠隔制御装置２００は、カメラ３から撮影画像を受信する。撮影画像が取得される時間は、例えば、当該指令がマニピュレータ１に送信されてから当該指令に応じた動作が完了するまでの時間として予め計測された時間である。他の局面において、カメラ３が常に撮影状態にあり撮影画像がリングバッファのような記憶装置に順次蓄積されている場合には、当該指令が発せられたタイミングと、当該蓄積されている画像データのタイムスタンプとが一致するフレームから予め指定された期間のデータが抽出されて、当該抽出された画像が遠隔制御装置２００に伝送されてもよい。

【0045】

ステップＳ６４０にて、遠隔制御装置２００は、動作指示情報に基づいて動作音の画像を選択する。

【0046】

ステップＳ６５０にて、遠隔制御装置２００は、動作音の画像と撮影画像とを有する提示画像を生成する。たとえば、遠隔制御装置２００は、動作音の画像と撮影画像とを重ね合わせることにより提示画像を生成する。

【0047】

ステップＳ６６０にて、遠隔制御装置２００は、提示画像を出力する。たとえば、画像表示部２３０は、提示画像を表示する。他の局面において、遠隔制御装置２００は、複数のモニタ３３０に提示画像を表示させてもよい。複数の場所に設定されたモニタ３３０が提示画像を表示することで、複数の監視が可能になる。

【0048】

実施の形態２．
図７～図９を参照して、実施の形態２について説明する。本実施の形態に従う遠隔制御装置７００は、マニピュレータ１の動作音の大きさに応じて、当該動作音の画像の大きさが変わる点で前述の実施の形態に従う遠隔制御装置２００と異なる。なお、遠隔制御装置７００のハードウェア構成は、実施の形態１に従う遠隔制御装置２００のハードウェア構成と同じである。したがって、ハードウェア構成の説明は繰り返さない。また、遠隔制御装置７００が有する機能は、後述する機能以外は、前述の遠隔制御装置２００が有する機能と同じである。したがって、同じ機能の説明は繰り返さない。また、適宜、遠隔制御装置２００の構成要素（図２）を参照して遠隔制御装置７００を説明する。

【0049】

＜提示画像の例＞
図７は、本実施の形態に従う遠隔制御装置７００に提示される画像を説明するための図である。図７の例示では、動作音の音量に応じて動作音の画像は、二段階の大きさで表示される。

【0050】

より具体的には、状態Ａに示されるように、動作音の音量が標準の音量よりも小さい場合には、画像表示部２３０（たとえばモニタ３３０）は、画像７１０を表示する。他方、状態Ｂに示されるように、動作音の音量が標準の音量よりも大きい場合には、画像表示部２３０は、画像７２０を表示する。画像７２０は画像７１０よりも大きいので、操作者は、表示される画像の大きさの違いを認識することで、マニピュレータ１の動作で発生している音量の大小を推定できる。

【0051】

なお、図７は、音量に応じて画像の大きさを変える場合を例示しているが、動作音に応じて画像の表示を変更する態様は大きさの変更に限られない。他の局面において、画像の色が変更されてもよい。この場合、たとえば、動作音が大きい場合には、画像表示部２３０は画像７２０に代えて赤色の画像を表示する。動作音が小さい場合には、画像表示部２３０は、画像７１０に代えて灰色の画像を表示する。

【0052】

ある局面において、動作音の大小は、操作指示情報から判断される。例えば、マニピュレータ１を移動させるために、操作者が、前進、後退、下降、あるいは上昇のように予め定められた方向への移動を指示する操作ボタンを予め定められた時間以上連続して操作した（たとえば押下し続けた）場合には、マニピュレータ１の移動速度を速くする制御が指示されたと考えられる。マニピュレータ１の移動速度が速くなるとアクチュエータの駆動音も大きくなり、結果として、マニピュレータ１の動作音も大きくなる。移動速度と動作音とが関連付けられるので、動作音の大小は、動作指示入力部２１０に与えられた動作指示情報に基づいて特定される。そこで、提示画像生成部２２０は、当該動作指示情報に基づいて、マニピュレータ１から発生することが予想される動作音の音量を推定する。提示画像生成部２２０は、その音量が予め定められた音量よりも大きい場合には、画像７２０を表示し、当該音量が当該予め定められた音量よりも小さい場合には、画像７１０を表示する。

【0053】

＜データ構造＞
図８を参照して、遠隔制御装置７００のデータ構造について説明する。図８は、遠隔制御装置７００が有する記憶部２４０におけるデータの格納の一態様を表わす図である。記憶部２４０は、ファイル８１０，８２０を有する。ファイル８１０は、動作音の二段階の大きさに応じて表示される二つの画像データ８１１，８１２を含む。ファイル８２０は、動作音の二段階の大きさに応じて異なった色で音画像を表示するための色制御コード８２１，８２２を含む。

【0054】

提示画像生成部２２０は、操作指示情報によって特定される音の大小によって、画像データ８１１と画像データ８１２とのいずれかから当該音に応じた画像データを選択する。

【0055】

他の局面において、マニピュレータ１の動作音の大小を色によって表示するモードが選択されている場合には、提示画像生成部２２０は、予め準備されている文字データ（ウィーン）に対して色制御コード８２１，８２２のいずれかを適用して、音量に応じた色で画像を表示する。

【0056】

なお、図８は、動作音の音量を二段階に分けて画像を表示する場合のデータ構造を例示しているが、三段階以上に分けて画像を表示する場合には、段階の数に応じた画像データまたは色制御コードが使用される。

【0057】

また、他の局面において、記憶部２４０に格納されているデータは、図９で説明する処理を実現するプログラムに組み込まれていてもよい。

【0058】

＜制御構造＞
図９を参照して、遠隔制御装置７００の制御構造について説明する。図９は、遠隔制御装置７００が実行する処理の一部を表わすフローチャートである。なお、前述の処理と同一の処理には同一のステップ番号を付してある。したがって、同一の処理の説明は繰り返さない場合がある。以下では、動作指示情報に対応して動作音の画像を大きさを変更する場合の処理の一例について説明する。

【0059】

ステップＳ９１０にて、遠隔制御装置７００は、動作指示入力部２１０から受信した動作指示情報（ステップＳ６１０）に基づいて、動作音の大きさを特定する。

【0060】

ステップＳ９２０にて、遠隔制御装置７００は、動作音の大きさに応じて画像データを選択する。

【0061】

たとえば、一定時間同一方向にマニピュレータ１を動作させる指示が、マニピュレータ１の動作速度を増加させる操作であると設定されている場合があり得る。マニピュレータ１の動作速度が速くなると動作音は大きくなるので、提示画像生成部２２０は、一定時間同一方向に動作指示が入力されたという動作指示情報に基づいて動作音の画像を大きくする。

【0062】

他の局面において、マニピュレータ１を動作させる指示と、動作速度を遅くする指示とが動作指示入力部２１０に与えられると、マニピュレータ１の動作速度が低下する、と設定されている場合があり得る。マニピュレータ１の動作速度が遅くなると動作音は小さくなるため、提示画像生成部２２０は、当該動作指示情報に基づいて動作音の画像を小さくする。

【0063】

さらに他の局面において、画像の大きさに変えて画像の色を変更する場合、ステップＳ９２０において、遠隔制御装置７００は、色制御コード８２１，８２２のいずれかを選択して、動作音の画像の色を変更する。

【0064】

以上のようにして、本実施の形態に従う遠隔制御装置７００は、遠隔マニピュレータシステムにおいて、音量の大小や音の高低に基づいて動作音画像の大きさや色を変化させる。その結果、遠隔制御装置７００は、音の発生の有無に加えて、音量の大小や音の高低の情報を操作者に提供できる。これにより、操作者は、マニピュレータ１の状態を正確に把握できるので、より的確な遠隔制御が可能となる。

【0065】

実施の形態３．
図１０～図１３を参照して、実施の形態３について説明する。本実施の形態に従う遠隔制御装置は、物体との接触検知機能を備えるマニピュレータを遠隔制御できる点で前述の実施の形態に従う遠隔制御装置と異なる。

【0066】

図１０は、本実施の形態に従う遠隔制御システム１０００の構成を表わすブロック図である。遠隔制御システム１０００は、マニピュレータ１００１と、遠隔制御装置１０２０とを備える。マニピュレータ１００１は、触覚センサ１０１０を備える。遠隔制御装置１０２０は、動作指示入力部２１０と、提示画像生成部２２０と、画像表示部２３０と、記憶部１０４０と、通信Ｉ／Ｆ２５０とを備える。記憶部１０４０は、接触音画像データ１０４１を含む。

【0067】

接触音画像データ１０４１は、触覚センサ１０１０から出力される信号に応じて予め規定された画像データである。提示画像生成部２２０は、当該信号を受信すると、その信号レベルに応じて規定された接触音画像データ１０４１を記憶部１０４０から読み出して、接触音の画像が含まれる提示画像を生成する。画像表示部２３０は、その提示画像を表示する。

【0068】

触覚センサ１０１０は、例えば圧力センサによって実現される。触覚センサ１０１０から得られた触覚データは、遠隔制御装置１０２０に伝送される。画像表示部２３０は、触覚データに基づくフィードバックが反映された画像を表示する。操作者は、マニピュレータ１００１の状態を正確に把握できるので、触覚センサのフィードバックがない場合よりも、より容易にマニピュレータ１００１を遠隔制御できる。

【0069】

図１１および図１２はそれぞれ、触覚データに基づく触覚音画像が含まれる提示画像の一例を表わす図である。

【0070】

図１１に示されるように、画像表示部２３０は、マニピュレータ１００１の画像４１０と、物体２の画像４２０と、マニピュレータ１００１が発する動作音を言語で表わす画像４３０と、当該動作音を図形で表わす画像４４０と、画像１１２０と、画像１１３０とを表示している。

【0071】

画像１１２０は、マニピュレータ１００１が物体２に接触したときに発せられる接触音を言語化して文字画像として示した例である。この言語化は、たとえば、マニピュレータ１００１に物体２を把持させて接触音を事前に取得し、当該接触音に似たテキストを文字画像として作成することにより実現される。

【0072】

画像１１３０は、マニピュレータ１００１が物体２に接触したときに発せられる接触音を図形として示した例である。この図形は、マニピュレータ１００１に物体２を実際に把持させて接触音を発生しておき、その接触音に応じた図形を予め準備しておくことで実現される。

【0073】

提示画像生成部２２０は、マニピュレータ１が物体２を把持するときの接触音に応じて予め準備された画像１１２０や画像１１３０と、撮影画像とを有する提示画像を生成する。たとえば、提示画像生成部２２０は、画像１１２０，１１３０を撮影画像に重ね合わせることにより提示画像を生成する。画像表示部２３０は、撮影画像と接触音の画像とを表示する。これにより、操作者は、画像表示部２３０に表示される画像を参考にして物体２を把持するための操作を行なうことができる。

【0074】

図１２を参照して、画像表示部２３０は、図１１に示される画像１１２０を有する提示画像に代えて、画像１２２０を有する提示画像を表示する。画像１２２０は、画像１１２０よりも大きい。遠隔制御装置１０２０が触覚センサ１０１０からの出力信号が予め設定された閾値よりも大きいことを検知すると、提示画像生成部２２０は、当該閾値よりも大きい出力信号の場合に表示される画像データを用いて、画像１２２０を生成し、画像１２２０および撮影画像を有する提示画像を生成する。画像表示部２３０は、当該提示画像を表示する。これにより、操作者は、マニピュレータ１００１が通常よりも大きな音を発したことを認識できるので、的確な判断を行なうことができる。

【0075】

＜制御構造＞
図１３を参照して、遠隔制御装置１０２０の制御構造について説明する。図１３は、遠隔制御装置１０２０が実行する処理の一部を表わすフローチャートである。なお、前述の処理と同一の処理には同一のステップ番号を付してある。したがって、同一の処理の説明は繰り返さない。

【0076】

ステップＳ１３１０にて、遠隔制御装置１０２０は、通信Ｉ／Ｆ２５０を介して、マニピュレータ１００１の触覚センサ１０１０から出力される触覚データを受信する。

【0077】

ステップＳ１３２０にて、提示画像生成部２２０は、記憶部１０４０にアクセスして、当該触覚データに対応した接触音画像データを選択する。

【0078】

ステップＳ１３３０にて、提示画像生成部２２０は、触覚音画像データと、撮影画像データとを用いて、触覚音画像と撮影画像とが重ね合わされた提示画像を生成する。

【0079】

以上のようにして、本実施の形態に従うと、操作者は、接触音の画像も見ることができるので、マニピュレータ１００１の状態をより正確に把握することができ、また、的確な動作指示をマニピュレータ１００１に与えることができる。

【0080】

実施の形態４．
図１４～図１６を参照して、実施の形態４について説明する。本実施の形態に従う遠隔制御装置は、マニピュレータ１の近傍で発生する音に応じて画像を表示する機能を有する点で、前述の各実施の形態に従う遠隔制御装置と異なる。

【0081】

図１４は、本実施の形態に従う遠隔制御システム１４００の概略構成を表わす図である。遠隔制御システム１４００は、図２に示される遠隔制御システム２００の構成に加えて、マイク４をさらに備える。

【0082】

マイク４は、マニピュレータ１の動作音やマニピュレータ１の周囲で発生する音を集めることができる所謂集音マイクである。マニピュレータ１は、動作不良や故障により事前に想定できない音を発生することがある。このような音を操作者に伝達することは、操作者がマニピュレータ１を安全に遠隔制御するために必要である。

【0083】

図１５は、画像表示部２３０によって表示される提示画像の一例を表わす図である。画像表示部２３０は、画像４１０，４２０，４４０に加えて、画像１５１０と、画像１５２０とを表示する。画像１５１０は、部品の破損その他の異常により発せられる異音を表わす。画像１５２０は、マニピュレータ１の周囲で異音が発生していることを表わす。

【0084】

遠隔制御装置２００は、マイク４から出力された音信号を受信すると、提示画像生成部２２０は、当該音信号に基づく音が、動作指示入力部２１０に与えられた動作指示情報により発生した音であるか否かを判断する。この判断は、例えば、動作指示情報によって発生することが見込まれる音の周波数を予め記憶部２４０に保持しておき、マイク４からの音信号を解析して得られる周波数が記憶部２４０に保持されている周波数と同様の周波数であるか否かに基づいて行なわれる。各周波数の差が予め想定された範囲内である場合には、提示画像生成部２２０は、マイク４からの音信号が記憶部２４０に保持されている周波数、すなわち、マニピュレータ１の正常な動作音であると判断する。そうでない場合には、提示画像生成部２２０は、当該音信号は正常な音の信号ではないと判断する。

【0085】

提示画像生成部２２０は、マイク４からの音信号に基づく音が、動作指示情報により発生した音でないと判断すると、当該音がマニピュレータ１の設計時に想定された動作音ではないとみなす。提示画像生成部２２０は、画像１５１０あるいは画像１５２０を表示するための画像データを記憶部２４０から読み出し、図１５に示される提示画像を表示するためのデータを生成する。

【0086】

図１６は、本実施の形態の他の局面における提示画像を示す図である。画像表示部２３０は、マニピュレータ１の周囲でマイク４によって集められた環境音の存在を表わす画像１６１０と、撮影された画像４１０，４２０とを有する提示画像を表示している。図１６の例では、マニピュレータ１の右側で発生している環境音を画像１６１０として表示されている。操作者は、画像１６１０を認識すると、マニピュレータ１の右側で通常の音以外の音が発生していることを容易に認識できる。

【0087】

実施の形態５．
図１７および図１８を参照して、実施の形態５について説明する。本実施の形態に従う遠隔制御装置は、複数のマニピュレータを操作できる点で前述の各実施の形態に従う遠隔制御装置と異なる。

【0088】

１つの遠隔制御装置が複数のマニピュレータを操作する場合には、当該遠隔制御装置は、操作対象である全てのマニピュレータに対応した動作音の画像や接触音の画像を記憶する必要がある。また、新たなマニピュレータが操作対象として追加される場合には、記憶部２４０を更新して、当該マニピュレータの動作音の画像データや接触音の画像データを当該遠隔制御装置に保持させる必要もある。さらに、マニピュレータの機能が追加された場合にも、当該機能に従ってマニピュレータが動作する場合の動作音または接触音にそれぞれ対応する画像を表示させるために各画像データを遠隔制御装置に格納しておく必要がある。このように、遠隔制御装置に動作音の画像や接触音の画像を記憶しておくことは、データの維持管理という点で、遠隔制御システムを拡張する際に利便性が損なわれる可能性がある。したがって、利便性が損なわれない遠隔制御システムが必要とされる局面のある。

【0089】

＜遠隔制御システムの構成＞
図１７は、本実施の形態に従う遠隔制御システム１７００の概略構成を示す図である。遠隔制御システム１７００は、複数のマニピュレータ１と、複数のカメラ３と、遠隔制御装置１７１０と、情報処理装置１７５０とを備える。ある局面において、各カメラ３は、各マニピュレータ１の動作および近傍をそれぞれ撮影するように、各マニピュレータ１ごとに配置されている。他の局面において、一台のカメラ３が複数のマニピュレータ１を撮影するように配置されてもよい。

【0090】

遠隔制御装置１７１０は、図２に示される遠隔制御装置２００の構成に対して、記憶部２４０の代わりに記憶部１７４０を備える。記憶部１７４０は、マニピュレータの識別子１７４１と、位置情報１７４２とを保持している。識別子１７４１は、複数のマニピュレータ１の各々を識別する。位置情報１７４２は、各マニピュレータ１が設置されている場所を特定する。各マニピュレータ１が設置されている場所は、たとえば遠隔制御装置１７１０が配置されている工場と同じ工場に限られず、遠隔制御装置１７１０が配置されている工場と、マニピュレータ１が配置されている工場とが異なってもよい。

【0091】

情報処理装置１７５０は、周知の構成要素を備えるコンピュータによって実現される。より具体的には、情報処理装置１７５０は、ＣＰＵ１７６０と、通信Ｉ／Ｆ１７７０と、メモリ１７８０とを備える。メモリ１７８０は、各マニピュレータ１の動作音の画像を表示するための画像データ１７８１と、各マニピュレータ１と物体２との接触音の画像を表示するための画像データ１７８２とを保持している。

【0092】

ある局面において、操作者が複数のマニピュレータ１のいずれかのマニピュレータ１を遠隔操作するとき、遠隔操作の対象となるマニピュレータ１を選択する。遠隔制御装置１７１０は、選択されたマニピュレータ１の識別子１７４１を情報処理装置１７５０に送信する。

【0093】

情報処理装置１７５０は、識別子１７４１を受信すると、識別子１７４１に対応するマニピュレータ１の動作音の画像を表示するための画像データ１７８１と、当該マニピュレータ１と物体２との接触音の画像を表示するための画像データ１７８２とをメモリ１７８０から読み出して、読み出した画像データ１７８１，１７８２を遠隔制御装置１７１０に送信する。

【0094】

遠隔制御装置１７１０は、情報処理装置１７５０から画像データ１７８１および画像データ１７８２を受信すると、提示画像生成部２２０は、マニピュレータ１の動作に応じて、画像データ１７８１に基づく動作音の画像と、画像データ１７８２に基づく接触音の画像とを画像表示部２３０に表示する。これにより、操作者は、選択したマニピュレータ１について動作音の画像および接触音の画像を見ながら当該マニピュレータ１の状態を把握することができる。

【0095】

操作者は、他のマニピュレータ１を遠隔操作する場合は、遠隔制御装置１７１０の動作指示入力部２１０から当該他のマニピュレータ１を選択することで、画像表示部２３０に表示される画像を切り換えることができる。

【0096】

他の局面において、情報処理装置１７５０は、遠隔制御装置１７１０から受信する位置情報に基づいて、動作音の画像や接触音の画像を選択できる。例えば、情報処理装置１７５０は、当該位置情報に基づいて遠隔制御装置１７１０が使用される場所に適切な言語を認識し、その言語に合わせて文字で表わされた画像を遠隔制御装置１７１０に送信する。これにより、遠隔制御システム１７００が使用される国に応じて適切な言語が設定されるので、遠隔制御システム１７００の操作者は、母国語で言語化された動作音の画像あるいは操作音の画像を視認できるので、マニピュレータ１の状態を的確に把握できる。

【0097】

他の局面において、遠隔制御装置１７１０は、公用語が異なる二以上の国でも使用され得る。したがって、遠隔制御装置１７１０によって表示される文字画像データは、遠隔制御装置１７１０が使用される国の公用語であることが望ましい。そこで、ある局面において、位置情報１７４２は、国コードであってもよい。国コードは、例えば、日本はＪＰであり、米国はＵＳである。遠隔制御装置１７１０が情報処理装置１７５０に国コードを送信すると、情報処理装置１７５０は、当該国コードに対応する国の言語で作成された文字画像データをメモリ１７８０から読み出して、読み出した文字画像データを遠隔制御装置１７１０に送信する。遠隔制御装置１７１０は、撮影画像と、当該国の言語で作成された文字画像データに基づく文字画像とを有する提示画像を生成して、画像表示部２３０に表示する。これにより、遠隔制御装置１７１０は、どの国で使用されても、当該国の操作者が理解できる言語で作成された文字画像を表示できるので、操作者は、遠隔制御されているマニピュレータ１の状態を容易に把握することができる。

【0098】

＜制御構造＞
図１８を参照して、本実施の形態に従う遠隔制御装置１７１０の制御構造について説明する。図１８は、遠隔制御装置１７１０が実行する処理の一部を表わすフローチャートである。なお、前述の処理と同一の処理には同一のステップ番号を付してある。したがって、同一の処理の説明は繰り返さない。

【0099】

ステップＳ１８１０にて、遠隔制御装置１７１０は、複数のマニピュレータ１のうちのいずれかのマニピュレータ１が遠隔制御の対象として選択されたことを検知すると、マニピュレータの識別子を情報処理装置１７５０に送信する。マニピュレータ１の選択は、たとえば、遠隔制御装置１７１０の操作者が画像表示部２３０として機能するモニタ８に表示される選択可能なマニピュレータから、いずれかのマニピュレータをタッチ操作その他の入力操作を行なうことにより実現される。

【0100】

情報処理装置１７５０は、遠隔制御装置１７１０によって送信された識別子を受信すると、当該識別子で特定されるマニピュレータについて予め準備された画像データ１７８１，１７８２をメモリ１７８０から読み出し、読み出した画像データ１７８１，１７８２を遠隔制御装置１７１０に送信する。

【0101】

ステップＳ１８２０にて、遠隔制御装置１７１０は、情報処理装置１７５０から画像データ１７８１，１７８２を受信し、受信した画像データ１７８１，１７８２を記憶部１７４０に格納する。

【0102】

その後、遠隔制御装置１７１０は、動作指示入力部２１０に与えられた指示に基づいて、選択されたマニピュレータ１に指令を送信し（ステップＳ６２０）、カメラから撮影画像を受信し（ステップＳ６３０）、指示に対応する動作音画像を選択し（ステップＳ６４０）、動作音画像と撮影画像とを重ね合わせて提示画像を生成し（ステップＳ６５０）、提示画像を表示する（ステップＳ６６０）。

【0103】

以上のようにして、本実施の形態に従うと、複数のマニピュレータを遠隔制御可能な遠隔制御装置１７１０は、操作者に選択されたマニピュレータの識別子を情報処理装置１７５０に送信し、選択したマニピュレータについて動作音画像や接触音画像を表示するための各画像データを情報処理装置１７５０から受信する。遠隔制御装置１７１０は、その受信した画像データを用いて、選択されたマニピュレータ１についての提示画像を生成して画像表示部２３０に表示する。これにより、遠隔制御装置１７１０は、各マニピュレータについての画像データを保持しておく必要がなくなるので、制御対象となるマニピュレータの追加あるいは削除があっても、遠隔制御装置１７１０のデータベース（記憶部２４０）を更新する必要がないので、遠隔制御装置１７１０の保守性が高まる。

【0104】

＜実施の形態の効果＞
以上詳述された実施の形態によると、装置を追加することなくマニピュレータ側で発生する音を操作者に伝えることができる。他の局面に従うと、操作者の負担を増やすことなくマニピュレータ側で発生する音を操作者に伝えることができる。さらに他の局面に従うと、システムを複雑化することなくまた通信帯域を圧迫することなくマニピュレータ側で発生する音を操作者に伝えることができる。

【0105】

＜技術思想の構成＞
上記実施の形態で開示された技術思想の一部は、以下のように要約され得る。

【0106】

［構成１］ある実施の形態に従うと、遠隔制御装置２００，１０２０，１７１０が提供される。この遠隔制御装置は、物体２を扱うマニピュレータ１が指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データを格納している記憶部２４０，１７４０と、マニピュレータ１に対する指示の入力を受け付ける入力部（動作指示入力部２１０）と、指示の入力に基づいて動作するマニピュレータ１の撮影により得られる撮影画像を受信する受信部（通信Ｉ／Ｆ２５０）と、指示に対応する画像データに基づく画像と、受信された撮影画像とを有する提示画像を生成する生成部（提示画像生成部２２０）と、提示画像を表示する表示部（画像表示部２３０）とを備える。

【0107】

［構成２］ある局面に従う遠隔制御装置は、上記構成に加えて、記憶部は、複数の指示の各々に対応する各画像データを格納している。入力部は、複数の指示のうちのいずれかの指示の入力を受け付ける。提示画像を生成することは、受け付けられた指示に対応する画像データを各画像データから選択することと、選択された画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0108】

［構成３］ある局面に従う遠隔制御装置は、上記構成に加えて、各画像データは、複数の指示の各々について予め準備された異なる大きさの画像を表示するための画像データを含む。提示画像を生成することは、各指示に応じた画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0109】

［構成４］ある局面に従う遠隔制御装置は、上記構成に加えて、異なる大きさの画像を表示するための画像データは、マニピュレータ１の動作音の大きさ、動作音の周波数の少なくともいずれかに応じて規定されている。

【0110】

［構成５］ある局面に従う遠隔制御装置は、上記構成に加えて、各画像データは、複数の指示の各々について予め準備された異なる色の画像を表示するための画像データを含む。提示画像を生成することは、各指示に応じた画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0111】

［構成６］ある局面に従う遠隔制御装置は、上記構成に加えて、マニピュレータ１と物体２との間に作用する触覚力を含む触覚データを触覚センサから受信する受信部（通信Ｉ／Ｆ２５０）をさらに備える。各画像データは、一以上の触覚データについてそれぞれ予め準備された画像を表示するための一以上の接触音画像データを含む。提示画像を生成することは、受信される触覚データに基づいて、当該触覚データについて予め準備された接触音画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0112】

［構成７］ある局面に従う遠隔制御装置は、上記構成に加えて、提示画像を生成することは、触覚力に応じて、触覚データについて予め準備された画像の大きさを変更することと、触覚力に応じて、触覚データについて予め準備された画像の色を変更することとのいずれかを含む。

【0113】

［構成８］ある局面に従う遠隔制御装置は、上記構成に加えて、マニピュレータ１の近傍で取得された音の信号を受信する音声受信部（通信Ｉ／Ｆ２５０）をさらに備える。記憶部は、マニピュレータ１から発せられる音について予め準備された画像を表示するための音画像データをさらに格納している。提示画像を生成することは、受信された音の信号についての画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0114】

［構成９］ある局面に従う遠隔制御装置は、上記構成に加えて、音画像データは、マニピュレータ１から発せられる異音を表わす画像を表示する異音画像データを含む。提示画像を生成することは、音の信号がマニピュレータ１の音として予め取得された音の信号と異なることに基づいて、異音画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0115】

［構成１０］ある局面に従う遠隔制御装置は、上記構成に加えて、音は、マニピュレータ１の環境音を含む。音画像データは、マニピュレータ１の環境音を示すデータとして予め準備された環境音画像データを含む。提示画像を生成することは、環境音画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0116】

［構成１１］ある局面に従う遠隔制御装置は、上記構成に加えて、情報通信装置と通信する通信部（通信Ｉ／Ｆ２５０）をさらに備える。情報通信装置は、複数のマニピュレータ１の各々の識別子と、各マニピュレータ１が指示に応じて動作する時に発する音として予め取得された音を画像で表示する動作音画像データとを保持している。通信部は、複数のマニピュレータ１のうちの操作対象として選択されたマニピュレータ１の識別子を情報通信装置に送信する。通信部は、情報通信装置から、選択されたマニピュレータ１についての動作音画像データを受信する。提示画像を生成することは、動作音画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0117】

［構成１２］ある局面に従う遠隔制御装置は、上記構成に加えて、情報通信装置と通信する通信部（通信Ｉ／Ｆ２５０）をさらに備える。情報通信装置は、複数のマニピュレータ１の各々の識別子と、各マニピュレータ１と物体２との間にそれぞれ作用する各触覚力を含む各触覚データについてそれぞれ予め準備された画像を表示するための接触音画像データとを保持している。通信部は、複数のマニピュレータ１のうちの操作対象として選択されたマニピュレータ１の識別子を情報通信装置に送信する。通信部は、情報通信装置から、選択されたマニピュレータ１についての接触音画像データを受信する。提示画像を生成することは、接触音画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0118】

［構成１３］ある局面に従う遠隔制御装置は、上記構成に加えて、情報通信装置と通信する通信部（通信Ｉ／Ｆ２５０）をさらに備える。情報通信装置は、複数のマニピュレータ１の各々の識別子と、各マニピュレータ１が指示に応じて動作する時に発する可能性のある音として予め準備された音を文字で表示する文字画像データとを保持している。記憶部は、遠隔制御装置の位置情報をさらに格納している。通信部は、位置情報と、複数のマニピュレータ１のうちの操作対象として選択されたマニピュレータ１の識別子とを、情報通信装置に送信する。通信部は、情報通信装置から、選択されたマニピュレータ１についての文字画像データを受信する。提示画像を生成することは、文字画像データに基づく画像と、撮影画像とを有する提示画像を生成することを含む。

【0119】

［構成１４］他の実施の形態に従うと、遠隔制御システムが提供される。この遠隔制御システムは、上記のいずれかの遠隔制御装置２００，１０２０，１７１０と、遠隔制御装置によって制御されるマニピュレータ１とを備える。

【0120】

［構成１５］他の実施の形態に従うと、遠隔制御方法が提供される。この遠隔制御方法は、物体２を扱うマニピュレータ１が指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データにアクセスするステップと、マニピュレータ１に対する指示の入力を受け付けるステップと、指示の入力に基づいて動作するマニピュレータ１の撮影により得られる撮影画像を受信するステップと、指示に対応する画像データに基づく画像と、受信された撮影画像とを有する提示画像を生成するステップと、提示画像を表示するステップとを含む。

【0121】

［構成１６］さらに他の実施の形態に従うと、マニピュレータ１を制御するコンピュータが実行するプログラムが提供される。このプログラムはコンピュータに、物体２を扱うマニピュレータ１が指示に応じて動作する時に発する音として予め取得された音を画像で表示する画像データにアクセスするステップと、マニピュレータ１に対する指示の入力を受け付けるステップと、指示の入力に基づいて動作するマニピュレータ１の撮影により得られる撮影画像を受信するステップと、指示に対応する画像データに基づく画像と、受信された撮影画像とを有する提示画像を生成するステップと、提示画像を表示するステップとを実行させる。

【0122】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【産業上の利用可能性】

【0123】

開示された技術思想は、マニピュレータを遠隔で制御するシステムに適用可能である。

【符号の説明】

【0124】

１，１００１ マニピュレータ、２ 物体、３ カメラ、４ マイク、３３０ モニタ、２０，１０００，１４００，１７００ 遠隔制御システム、１０１，１０２，４１０，４２０，４３０，４４０，７１０，７２０，１１２０，１１３０，１２２０，１５１０，１５２０，１６１０ 画像、２００，７００，１０２０，１７１０ 遠隔制御装置、２１０ 動作指示入力部、２２０ 提示画像生成部、２３０ 画像表示部、２４０，１０４０，１７４０ 記憶部、３１０ コントローラ、３２０ コンピュータ、８１０，８２０ ファイル、８１１，８１２，１７８１，１７８２ 画像データ、８２１，８２２ 色制御コード、１０１０ 触覚センサ、１０４１ 接触音画像データ、１７４１ 識別子、１７４２ 位置情報、１７５０ 情報処理装置、１７８０ メモリ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】