特開 2022-164029 情報提供サーバ、情報提供システム、情報提供方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164029

(43)【公開日】2022-10-27

(54)【発明の名称】情報提供サーバ、情報提供システム、情報提供方法、およびプログラム

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20221020BHJP

   G06Q 50/10 20120101ALI20221020BHJP

   B25J 9/16 20060101ALI20221020BHJP

   G06F 3/01 20060101ALI20221020BHJP

【ＦＩ】

G06F3/0481 150

G06Q50/10

B25J9/16

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021069235

(22)【出願日】2021-04-15

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】木村 裕太

(72)【発明者】

【氏名】川上 智弘

(72)【発明者】

【氏名】吉池 孝英

(72)【発明者】

【氏名】杉山 謙一郎

(72)【発明者】

【氏名】室町 維昭

(72)【発明者】

【氏名】谷口 洋一

【テーマコード（参考）】

3C707

5E555

5L049

【Ｆターム（参考）】

3C707BS09

3C707CS08

3C707JS03

3C707JU02

3C707JU12

3C707KS10

3C707KS16

3C707KT01

3C707KT04

3C707WA16

5E555AA16

5E555AA27

5E555AA76

5E555BA01

5E555BA04

5E555BB04

5E555BC08

5E555BD01

5E555BE17

5E555CA23

5E555CA41

5E555CA42

5E555CA44

5E555CA45

5E555CA47

5E555CB45

5E555CB64

5E555CB65

5E555CB66

5E555CB74

5E555CC01

5E555CC03

5E555DA08

5E555DA23

5E555DB32

5E555DC13

5E555DC43

5E555DC63

5E555DC72

5E555EA11

5E555FA00

5L049CC11

(57)【要約】

【課題】遠隔操作時であっても、作業空間にいるかのように感じさせる情報を提供すること。
【解決手段】実施形態のサーバは、一以上の操作端末とネットワークを介して通信する通信部と、前記操作端末の操作者の行動に関する情報を取得する取得部と、空間上における前記操作者の配置場所を管理する管理部と、前記管理部によって管理された前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力する出力制御部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

一以上の操作端末とネットワークを介して通信する通信部と、
前記操作端末の操作者の行動に関する情報を取得する取得部と、
空間上における前記操作者の配置場所を管理する管理部と、
前記管理部によって管理された前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力する出力制御部と、
を備える情報提供サーバ。

【請求項2】

前記管理部は、前記操作者が配置場所を選択する画像を生成し、生成した画像を前記操作端末に送信し、前記画像を用いて選択された配置場所に基づいて、前記操作者の配置場所を管理する、
請求項１に記載の情報提供サーバ。

【請求項3】

前記操作端末は、一以上のロボット装置を遠隔操作する端末を含む、
請求項１または２に記載の情報提供サーバ。

【請求項4】

前記管理部は、実空間上において、前記操作者によって操作されるロボット装置の配置位置を取得し、取得した配置位置に配置されたロボット装置を含む画像を前記操作端末に出力する場合に、前記ロボット装置の表示領域に前記操作者を表す画像を重畳させる、
請求項１から３のうち何れか１項に記載の情報提供サーバ。

【請求項5】

前記管理部は、予め仮想空間上に割り当てられた座席情報に対応付けて、前記操作者の配置場所を管理し、前記仮想空間を示す画像を前記操作端末に出力させる場合に、前記仮想空間上の座席の画像の位置に対応付けて、前記操作者を表す画像を重畳させる、
請求項１から３のうち何れか１項に記載の情報提供サーバ。

【請求項6】

前記出力制御部は、前記操作者の音声を取得し、取得した音声を前記配置場所に音像定位させて出力させる、
請求項１から５のうち何れか１項に記載の情報提供サーバ。

【請求項7】

請求項１から請求項６のうち何れかに記載された情報提供サーバと、
前記一以上の操作端末と、
前記一以上の操作端末によって遠隔操作される一以上のロボット装置と、
を備える情報提供システム。

【請求項8】

コンピュータが、
一以上の操作端末とネットワークを介して通信し、
前記操作端末の操作者の行動に関する情報を取得し、
空間上における前記操作者の配置場所を管理し、
管理した前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力する、
を備える、情報提供方法。

【請求項9】

コンピュータに、
一以上の操作端末とネットワークを介して通信させ、
前記操作端末の操作者の行動に関する情報を取得させ、
空間上における前記操作者の配置場所を管理させ、
管理した前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供サーバ、情報提供システム、情報提供方法、およびプログラムに関する。

【背景技術】

【0002】

従来、モニタ用端末または別の端末から送信されたデータにより、ロボットを遠隔操作して実験器具または実験装置を操作する技術が知られている（例えば、特許文献１参照）。また、従来では、クラスメイトの実写画像を各人の評価エリアに配列して表示させたり、視線方向の座席を表示することに関する技術が知られている（例えば、特許文献２、３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－０９２７４９号公報

【特許文献2】特開平１０－１７１３３７号公報

【特許文献3】特許第６００７３７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、遠隔操作中は、一人の作業であるため孤独感を生じる場合があった。また、遠隔操作中に、他の人が動いている様子等をあたかも実際にいるかのように感じさせることについては検討されていなかった。

【0005】

本発明の態様は、このような事情を考慮してなされたものであり、遠隔操作時であっても、作業空間にいるかのように感じさせる情報を提供することができる情報提供サーバ、情報提供システム、情報提供方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る情報提供サーバ、情報提供システム、情報提供方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報提供サーバは、一以上の操作端末とネットワークを介して通信する通信部と、前記操作端末の操作者の行動に関する情報を取得する取得部と、空間上における前記操作者の配置場所を管理する管理部と、前記管理部によって管理された前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力する出力制御部と、を備える情報提供サーバである。

【0007】

（２）：上記（１）の態様において、前記管理部は、前記操作者が配置場所を選択する画像を生成し、生成した画像を前記操作端末に送信し、前記画像を用いて選択された配置場所に基づいて、前記操作者の配置場所を管理するものである。

【0008】

（３）：上記（１）または（２）の態様において、前記操作端末は、一以上のロボット装置を遠隔操作する端末を含むものである。

【0009】

（４）：上記（１）から（３）のうち何れか１つの態様において、前記管理部は、実空間上において、前記操作者によって操作されるロボット装置の配置位置を取得し、取得した配置位置に配置されたロボット装置を含む画像を前記操作端末に出力する場合に、前記ロボット装置の表示領域に前記操作者を表す画像を重畳させるものである。

【0010】

（５）：上記（１）～（３）の態様において、前記管理部は、予め仮想空間上に割り当てられ座席情報に対応付けて、前記操作者の配置場所を管理し、前記仮想空間を示す画像を前記操作端末に出力させる場合に、前記仮想空間上の座席の画像の位置に対応付けて、前記操作者を表す画像を重畳させるものである。

【0011】

（６）：上記（１）～（５）のうち何れか一つに記載の態様において、前記出力制御部は、前記操作者の音声を取得し、取得した音声を前記配置場所に音像定位させて出力させるものである。

【0012】

（７）：本発明の他の態様は、上記（１）～（６）うち何れか一つに記載された情報提供サーバと、前記一以上の操作端末と、前記一以上の操作端末によって遠隔操作される一以上のロボット装置と、を備える情報提供システムである。

【0013】

（８）：本発明の他の態様は、コンピュータが、一以上の操作端末とネットワークを介して通信し、前記操作端末の操作者の行動に関する情報を取得し、空間上における前記操作者の配置場所を管理し、管理した前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力する、情報提供方法である。

【0014】

（９）：本発明の他の態様は、コンピュータに、一以上の操作端末とネットワークを介して通信させ、前記操作端末の操作者の行動に関する情報を取得させ、空間上における前記操作者の配置場所を管理させ、管理した前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力させる、プログラムである。

【発明の効果】

【0015】

上記（１）～（９）の態様によれば、遠隔操作時であっても、作業空間にいるかのように感じさせる情報を提供することができる。

【0016】

上記（２）の態様によれば、空間上の操作者が所望する位置に、操作者を表す情報と前記行動に関する情報とに基づく情報を配置させることができる。

【0017】

上記（３）、（４）の態様によれば、ロボット装置２００が表示される位置に、操作者を表す画像が表示されるため、孤独感が生じることを防止することができる。

【0018】

上記（５）の態様によれば、仮想空間上の作業場所であっても、周囲の状況を把握することができ、作業空間にいるかのように感じさせる情報を提供することができる。

【0019】

上記（６）の態様によれば、配置場所に応じた音声を操作者に聞かせることができるため、より現実的に作業空間にいるかのように感じさせることができる。

【図面の簡単な説明】

【0020】

【図1】実施形態に係る情報提供システム１の構成の一例を示す図である。

【図2】実施形態に係る情報提供サーバ１００の構成の一例を示す図である。

【図3】利用者情報１７１の内容を説明するための図である。

【図4】利用状況情報１７２の内容を説明するための図である。

【図5】意図推定情報１７４の内容について説明するための図である。

【図6】センサ情報１７５の内容について説明するための図である。

【図7】実施形態に係るロボット装置２００の構成の一例を示す図である。

【図8】実施形態に係る操作端末３００の構成の一例を示す図である。

【図9】実施形態に係るロボット装置２００の遠隔操作について説明するための図である。

【図10】利用者に座席を選択させるための画像ＩＭ１０の一例を示す図である。

【図11】ロボット装置２００により撮像された画像ＩＭ２０の一例を示す図である。

【図12】周辺に存在する他のロボット装置２００（Ｕ４）に利用者の画像情報を重畳させることについて説明するための図である。

【図13】周辺に存在する作業員やロボット装置２００の画像が削除された画像ＩＭ４０の一例を示す図である。

【図14】仮想空間上に操作者を表す情報と行動に関する情報とに基づく情報を配置した例を示す図である。

【図15】実施形態における情報提供システム１によって実行される処理について説明するためのシーケンス図である。

【発明を実施するための形態】

【0021】

以下、図面を参照し、本発明の情報提供サーバ、情報提供システム、情報提供方法、およびプログラムの実施形態について説明する。

【0022】

［システム構成］
図１は、実施形態に係る情報提供システム１の構成の一例を示す図である。図１に示す情報提供システム１は、例えば、情報提供サーバ１００と、ロボット装置２００と、操作端末３００と、を備える。また、情報提供サーバ１００は、上記構成に加えて、ロボットメーカ端末４００と、通信企業端末５００とを備えていてもよい。情報提供サーバ１００は、ロボット装置２００、操作端末３００、ロボットメーカ端末４００、および通信企業端末５００と、ネットワークＮＷを介して通信可能に接続されている。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ－Ｆｉ（登録商標）網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ装置、無線基地局等を含む。情報提供システム１において、ロボット装置２００および操作端末３００は、それぞれが一以上備えていてもよい。図１の例では、ロボット装置２００Ａ、２００Ｂ、および２００Ｃが示されているが、ロボット装置の数や種類についてはこれに限定されない。また、図１の例では、複数の操作端末３００－１～３００－ｎ（ｎは２以上の自然数）が示されている。以下、ロボット装置および操作端末のそれぞれを特に識別しない場合は、単に「ロボット装置２００」、「操作端末３００」と称して説明する。情報提供サーバ１００は、「サーバ」の一例である。

【0023】

情報提供サーバ１００は、一以上の操作端末３００と、操作対象の一以上のロボット装置２００とを対応付けて管理する。この場合、情報提供サーバ１００は、操作端末３００ごとに１台のロボット装置２００を対応付けてもよく、複数の操作端末３００に１台のロボット装置２００を対応付けてもよく、１つの操作端末３００に複数のロボット装置２００を対応付けてもよい。また、情報提供サーバ１００は、操作端末３００から入力された操作内容を取得し、操作内容に対応する動作制御情報をロボット装置２００に送信することで、ロボット装置２００の遠隔操作を実行させる。また、情報提供サーバ１００は、ロボット装置２００によって取得した情報を操作端末３００に送信する。また、情報提供サーバ１００は、遠隔操作時であっても、作業空間（例えば、遠隔操作するロボット装置２００の周囲）にいるかのように感じさせるための情報を生成し、生成した情報を操作端末３００に提供する。

【0024】

ロボット装置２００は、ネットワークＮＷを介して情報提供サーバ１００から送信された制御情報に基づいて、所定の動作を実行する。ロボット装置２００は、例えば、例えば、車輪や台車、クローラー、クレーン等を駆動させることによって移動することができる移動機構を備える。図１の例において、ロボット装置２００Ａは、少なくともクレーンによって移動可能な両腕を備えるロボットである。ロボット装置２００Ｂは、下部に設けられた車輪によって移動可能な両腕を備えるロボットである。ロボット装置２００Ｃは、二足歩行動作よって移動可能な両腕を備えるロボットである。また、ロボット装置２００は、物体に対して、把持や移動、操作等の作業を実行するアーム部を備える。また、ロボット装置２００には、振動や温度、圧力、触覚センサ等の各種のセンサが複数設けられ、各センサによって検出されたデータを所定周期または要求を受け付けたタイミングで情報提供サーバ１００に送信する。また、ロボット装置２００は、周辺を撮像するカメラや、画像を表示するモニタ、音声を出力するスピーカ、周辺の音を取得するマイク等を備えていてもよい。

【0025】

操作端末３００は、ロボット装置２００の操作内容を入力したり、ロボット装置２００により取得された情報を、操作者に通知する。操作端末３００は、１台または複数のロボット装置２００を操作可能である。また、操作端末３００は、ロボット装置２００の一部のパーツ（例えば、右手アームまたは左手アーム等）を操作してもよい。また、操作端末３００は、例えば、ＨＭＤ（ヘッドマウントディスプレイ）等の視覚装置や操作装置、操作者の動きを検出する環境センサが設けられていてもよい。なお、操作端末３００は、例えば、企業内に設けられているものに限定されず、操作者の自宅に設けられた端末でもよく、駅やデパート、公共施設、ネットカフェ等に設置されたテレワークステーションに設けられた端末でもよい。

【0026】

ロボットメーカ端末４００は、例えば、ロボット装置２００の製造業者や管理会社が利用する端末である。ロボットメーカ端末４００は、例えば、各ロボット装置２００に搭載されたソフトウェア（プログラム）のバージョンを更新したり、ロボット装置２００からのエラー情報を取得し、取得したエラー情報に基づいて、ロボット装置２００の遠隔操作や停止制御等を行う。

【0027】

通信企業端末５００は、例えば、ネットワークＮＷ上の通信を管理する通信事業者等が利用する端末である。通信企業端末５００は、情報提供システム１に対し、遠隔操作のために通信されるデータ量を管理したり、通信の遅延等を管理し、システム内の通信環境のメンテナンス等を行う。また、通信企業端末５００は、ネットワークＮＷ上に障害が発生した場合の対応等を行ってもよい。

【0028】

次に、情報提供サーバ１００、ロボット装置２００、および操作端末３００の機能について具体的に説明する。
［情報提供サーバ］
図２は、実施形態に係る情報提供サーバ１００の構成の一例を示す図である。情報提供サーバ１００は、例えば、通信部１１０と、通信制御部１２０と、取得部１３０と、管理部１４０と、制御部１５０と、記憶部１７０とを備える。通信制御部１２０と、取得部１３０と、管理部１４０と、制御部１５０とは、それぞれ、例えばＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラムは、予め情報提供サーバ１００が備えるＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が、情報提供サーバ１００が備えるドライブ装置に装着されることで情報提供サーバ１００が備えるＨＤＤやフラッシュメモリにインストールされてもよい。情報提供サーバ１００は、クラウドコンピューティングシステムに組み込まれたサーバ装置や記憶装置に実現されてもよい。この場合、クラウドコンピューティングシステムにおける複数のサーバ装置や記憶装置によって、情報提供サーバ１００の機能が実現されてもよい。

【0029】

通信部１１０は、通信制御部１２０の制御により、ネットワークＮＷを介して、一以上のロボット装置２００、一以上のロボット装置２００を遠隔操作する操作端末３００、その他の外部装置と通信する。通信制御部１２０は、通信部１１０における通信を制御する。

【0030】

通信制御部１２０は、通信部１１０における通信を制御する。通信制御部１２０は、例えば、操作端末３００から入力されたロボット装置２００の操作内容を受信したり、操作内容に応じた動作制御情報を、ロボット装置２００に送信する。また、通信制御部１２０は、ロボット装置２００から送信されたセンサ等の検出結果やカメラ画像等の情報を受信したり、受信した情報に基づく提供情報を、操作端末に送信する。

【0031】

取得部１３０は、ロボット装置２００または操作端末３００から各種情報を取得する。例えば、取得部１３０は、操作端末３００からロボット装置２００を操作するための操作情報を取得する。また、取得部１３０は、操作端末３００から操作者の行動に関する情報を取得する。行動に関する情報には、例えば、操作者の動作に関する情報や、操作者の音声に関する情報等が含まれる。また、取得部１３０は、ロボット装置２００に設けられたセンサやカメラからの情報を取得する。また、取得部１３０は、ネットワークＮＷに接続された外部装置から情報を取得してもよい。

【0032】

管理部１４０は、例えば、認証管理部１４２と、情報管理部１４４と、利用状況管理部１４６とを備える。認証管理部１４２は、ロボット装置２００を操作する操作者（システム利用者）の認証や利用権限等を管理する。また、認証管理部１４２は、認証結果に基づいて、操作端末３００が操作するロボット装置２００を対応付けて管理する。

【0033】

情報管理部１４４は、利用者ごとに利用可能な情報を管理する。例えば、情報管理部１４４は、ロボットを制御するためのロボット制御情報や、ロボット装置２００に設けられたセンサから取得された情報（センサ情報）を記憶部に１７０に記憶させると共に、それぞれ異なるアクセス権を設定し、設定されたアクセス権が確認されたときに、対応する提供可能な権限を有する操作端末３００に情報を送信する。これにより、データの機密性が守られる。したがって、例えば、アクセス権を持たない他人に情報を盗まれたり、改ざんされたりすることを防止することができ、システム全体のセキュリティを向上させることができる。また、アクセス権によって提供する情報を管理することで、様々な利用者等に安心して情報提供システム１を利用させることができる。

【0034】

利用状況管理部１４６は、利用者ごとの情報提供システム１の利用状況を管理する。例えば、利用状況管理部１４６は、利用者ごとに空間上における配置場所を管理する。空間上とは、例えば、作業空間であり、実空間上でもよく、仮想空間上でもよい。以下では、主に実空間を中心として説明する。また、利用状況管理部１４６は、空間上に予め割り当てられた座席に対する操作者の配置位置を管理したり、操作端末３００に提供する情報の利用状況等を管理する。

【0035】

制御部１５０は、例えば、ロボット情報制御部１５１と、カスタマイズデータ制御部と、意図推定部１５３と、動作制御部１５４と、動作キャンセル部１５５と、出力制御部１５６とを備える。ロボット情報制御部１５１は、例えば、動作制御部１５４により生成されたロボット装置２００に対する動作制御情報に対して、実際にロボット装置２００がどのような操作を行ったのか等を管理する。また、ロボット情報制御部１５１は、記憶部１７０に記憶されたロボット制御情報１７３に基づいて、ロボット装置２００に基本的な動作を実行させる。基本的な動作とは、例えば、ロボット装置２００を移動させたり、姿勢を変えたり、物体を持ったり置いたりする動作である。これらの基本的な動作の制御情報がロボット制御情報１７３に格納されている。

【0036】

カスタマイズデータ制御部１５２は、例えば、特定の動作（例えば、物を組み立てる作業や半田付け作業、ネジ止めしたり、料理における各種工程作業等）をロボット装置２００に実行させるためのカスタマイズデータを生成する。

【0037】

意図推定部１５３は、操作端末３００により入力される操作内容の少なくとも一部の情報から操作者の意図を推定する。操作者の意図には、例えば、操作者がロボット装置２００に行わせたい行動（動作）の意図だけでなく、行動等を予測することや、ロボット装置２００の駆動をアシストさせることも含まれる。例えば、遠隔操作では通信等によって操作者が指示している感じとロボット装置２００の動作にズレが生じる。そのため、意図推定部１５３は、操作者からの操作内容をそのままロボット装置２００に実行させるのではなく、操作内容に基づいて操作者の意図を推定し、推定結果に基づいてロボット装置２００の動作制御情報を生成することで、ロボット装置２００の動きをより適切にアシストし、違和感の少ない遠隔操作を実現することができる。意図推定部１５３は、例えば、教師データを用いて学習させた学習モデル（意図推定情報１７４）を参照し、操作内容に対応する意図を推定する。なお、学習の際には、例えば、操作内容を入力し、その操作内容に対する作業者等が設定した正解の意図情報を出力するための教師データを用いて学習を行う。

【0038】

また、意図推定部１５３は、操作者から入力された操作内容およびロボット装置２００の実際の動作内容を示す履歴情報に基づいて、意図推定情報１７４を更新してもよい。これにより、より適切な意図推定を実現できる。

【0039】

また、意図推定部１５３は、例えば、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば、参考文献１参照）によって、操作者の動作意図を推定してもよい。実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット装置２００の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。
参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77．

【0040】

動作制御部１５４は、意図推定部１５３により推定された操作者の意図に基づいて対象のロボット装置２００を動作させるための動作制御情報を生成し、生成した動作制御情報を操作対象のロボット装置２００に送信し、ロボット装置２００の動作を制御する。また、動作制御部１５４は、操作者の意図に加えて（または代えて）、ロボット情報制御部１５１やカスタマイズデータ制御部１５２等により得られるロボット装置２００の動作に関する情報を取得し、取得した情報に基づいて、動作制御情報を生成してもよい。また、動作制御部１５４は、例えば、複数の操作者が、同時に２つのアーム部を操作する場合に、触覚等のセンサ情報等に基づいて、力の足し算や引き算等の合成処理を行い、協調して作業するための動作制御を行ってもよい。これにより、複数の操作者により１台のロボット装置２００が操作された場合であってもバランスの良い動作を実現することができる。

【0041】

動作キャンセル部１５５は、動作制御部１５４によりロボット装置２００に実行させる動作のうち、操作者の意図と異なる動作を選択し、選択した動作の実行をキャンセルする。この場合、動作キャンセル部１５５は、操作者から入力された操作内容が、ロボット装置２００に動作させる内容であるか否かを操作者に問い合わせ、問い合わせ結果に基づいて、動作制御部１５４に動作制御情報を生成させたり、意図推定情報１７４を更新させたりする。

【0042】

出力制御部１５６は、ロボット装置２００から取得した音声や画像に基づいて、操作端末３００を操作する操作者に提供する情報を生成する。提供する情報には、画像や音声が含まれる。また、出力制御部１５６は、認証管理部１４２による認証処理の結果に基づいて、センサ情報等を出力する。また、出力制御部１５６は、利用状況管理部１４６により管理された内容に基づいて、ユーザごとに提供する情報を生成する。

【0043】

記憶部１７０は、上記の各種記憶装置、或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１７０に、例えば、利用者情報１７１、利用状況情報１７２、ロボット制御情報１７３、意図推定情報１７４、センサ情報１７５、プログラム、およびその他の情報が格納される。

【0044】

図３は、利用者情報１７１の内容を説明するための図である。利用者情報１７１は、例えば、情報提供システム１によるサービス利用時等に利用者を認証する認証情報に、氏名、権限、優先度、画像情報等の情報が対応付けられたものである。認証情報には、例えば、利用者を識別する識別情報である利用者ＩＤやパスワード等が含まれる。また、認証情報には、指紋情報や虹彩情報等の生体認証情報が含まれてもよい。権限には、例えば、利用者に割り当てられたアクセス権等の権限情報が含まれる。この権限情報に基づいて、ロボット装置２００により取得されたセンサ情報等を取得することができる。情報管理部１４４は、権限に格納された情報を参照することで、誰がどのデータにアクセス可能であるか、どのデータにアクセスできないのか等を管理することができる。優先度情報は、例えば、複数の操作者がロボット装置２００を遠隔操作している場合であって、それぞれの操作内容が同一または類似する場合の優先度が格納されている。画像情報とは、利用者を表す画像情報である。画像情報には、例えば、利用者の顔画像や全体画像、利用者が識別できるように利用者に似せて作成されたアバター画像やイラスト画像等が含まれる。また、画像情報は、利用者を３６０度から撮影した画像や、各パーツ（例えば腕や足）のみの画像が含まれてもよい。

【0045】

図４は、利用状況情報１７２の内容を説明するための図である。利用状況情報１７２は、例えば、利用者ＩＤに、日時、座席情報、ロボット装置２００を識別する識別情報であるロボットＩＤと、パーツ情報とが対応付けられている。日時は、例えば、利用開始日時でもよく、利用時間等の情報が含まれてもよい。座席情報は、ロボット装置２００が作業を行う空間に配置された座席のうち、利用者が利用する座席情報である。この座席は、ロボット装置２００ではない実際の作業者が作業を行っている場所（座席）の情報が格納されてもよい。パーツ情報は、ロボット装置を複数の利用者（操作者）によって動作させる場合の担当パーツに関する情報である。利用状況情報１７２は、利用状況管理部１４６によって、管理され状況に応じて更新される。

【0046】

図５は、意図推定情報１７４の内容について説明するための図である。意図推定情報１７４は、例えば、操作端末３００から取得した操作内容に、推定意図に関する情報が対応付けられている。これらの情報は、操作者ごとに管理されてよく、複数の操作者の意図推定情報１７４を統合して、頻度の高い意図推定に関する情報のみが格納されてもよく、履歴情報等に基づいて更新されてもよい。

【0047】

図６は、センサ情報１７５の内容について説明するための図である。センサ情報１７５には、ロボット装置２００を識別する識別情報であるロボットＩＤに、日時、操作者ＩＤ、操作パーツ、センサ情報等が格納されている。操作者ＩＤには、操作した操作者の利用者ＩＤが格納される。操作パーツには、操作者が操作したロボットＩＤのパーツが格納される。これにより、１台のロボット装置２００が複数の操作者によって操作される場合であっても、それぞれの操作履歴（センサ情報）を管理することができる。

【0048】

［ロボット装置］
図７は、実施形態に係るロボット装置２００の構成の一例を示す図である。ロボット装置２００は、例えば、例えば、通信部２０２と、センサ２０４と、カメラ（撮像部の一例）２０６と、マイク２０８と、駆動部２１０と、モニタ２１４と、スピーカ２１６と、制御装置２４０と、記憶部２６０とを備える。駆動部２１０は、例えば、アーム部２１０Ａと、移動用駆動部２１０Ｂとを備える。制御装置２４０は、例えば、通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とを備える。通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とは、それぞれ、例えばＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラムは、予めロボット装置２００が備えるＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が、ロボット装置２００が備えるドライブ装置に装着されることでロボット装置２００が備えるＨＤＤやフラッシュメモリにインストールされてもよい。

【0049】

通信部２０２は、後述する。通信制御部２４２の制御により、ネットワークＮＷを介して、情報提供サーバ１００、その他の外部装置と通信する。また、通信部２０２は、他のロボット装置２００と通信してもよく、操作端末３００と通信を行ってもよい。

【0050】

センサ２０４は、ロボット装置２００の位置を検出する位置センサ、速度を検出する速度センサ、ロボット装置２００の周辺またはアーム部２１０Ａの先端部等の特定の位置の温度を検出する温度センサ等を含む。位置センサは、例えば、ＧＰＳ（Global Positioning System）受信装置から情報を受信して、受信した情報に基づいて位置情報（経度・緯度情報）を求める。また、センサ２０４は、周囲の湿度を検出する湿度センサや、ロボット装置２００によって操作される物体の振動を検出する振動センサを含んでいてもよい。また、センサ２０４は、周辺の物体を検知する物体検知センサを含んでいてもよい。周辺の物体とは、例えば、他のロボット装置２００や人物、障害物等である。

【0051】

カメラ２０６は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ２０６は、例えば、所定のタイミングでロボット装置２００の周辺を撮像する。カメラ２０６は、一台に限らず、複数台がロボット装置２００に設けられてもよい。例えば、カメラ２０６は、ロボット装置２００の頭部に設けられる。また、カメラ２０６は、アーム部２１０Ａの先端付近に設けられてもよい。これにより、作業対象の物体を近い距離で撮影することができるため、より細かい作業を行い易くすることができる。

【0052】

マイク２０８には、ロボット装置２００の周辺の音が入力される。マイク２０８は、入力された音声に基づく情報を制御装置２４０に出力する。

【0053】

アーム部２１０Ａは、対象物体を把持したり、対象物体に対して所定の作業を行う。アーム部２１０Ａは、例えば、多関節ロボットアームであり、例えば、アクチュエータ、ギア、人工筋等を備える。例えば、アーム部２１０Ａは、多関節ロボットアームの一端がロボット装置本体の右側付近に接続された第１アーム部と、他の多関節ロボットアームの一端がロボット装置本体の左側付近に接続された第２アーム部とを備える。また、アーム部２１０Ａには、第１アーム部および第２アーム部に加えて他のアーム部を備えていてもよい。以下、それぞれのアームを区別しない場合は、単に「アーム部２１０Ａ」と称する。アーム部の他端は、所定の物を把持可能な把持部が構成されている。アーム部２１０Ａは、制御装置２２０の制御に基づいて駆動する。また、アーム部は、人の腕の動きと同等の動きが可能である。

【0054】

移動用駆動部２１０Ｂは、ロボット装置２００が床面や地面を移動するための駆動部である。移動用駆動部２１０Ｂは、例えば、２つの脚部であってもよいし、車輪、台車、クローラー等の移動機構が設けられていてもよい。例えば、移動用駆動部２１０Ｂが脚部の場合、脚部は、制御装置２２０の制御に基づいて、ロボット装置２００を歩行させるように動作する。また、移動用駆動部２１０Ｂは、クレーン等を駆動させることによって天井またはレールに沿って移動可能な構造であってもよい。これらの構成によりロボット装置２００は、所望の方向に移動することができる。なお、駆動部２１０は、アーム部２１０Ａまたは移動用駆動部２１０Ｂ以外にも腰や頭等の他の関節等を駆動させる機構が設けられてもよい。駆動部２１０は、駆動制御部２４６よる制御に基づいて駆動が実行される。

【0055】

モニタ２１４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。モニタ２１４は、出力制御部２４８によって出力された情報を画像として表示する。モニタ２１４は、ロボット装置２００に複数設けられてよい。モニタ２１４は、例えば、頭部に設けられていてもよく、腹部や背面に設けられていてもよい。スピーカ２１６は、出力制御部２４８によって出力された情報を音声として出力する。

【0056】

制御装置２４０は、例えば、通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とを備える。通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性記憶媒体）に格納さいてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0057】

通信制御部２４２は、例えば、通信部２０２を介して無線通信によって、情報提供サーバ１００と通信し、情報の送受信を行う。また、通信制御部２４２は、通信部２０２を介して他のロボット装置２００と通信を行ってもよい。

【0058】

取得部２４４は、ロボット装置２００に設けられたセンサ２０４の検出結果（センサ情報）を取得する。また、取得部２４４は、カメラ２０６により撮像された画像を取得する。また、取得部２４４は、マイク２０８から入力された音に基づく情報を取得する。

【0059】

駆動制御部２４６は、情報提供サーバ１００から取得した動作制御情報に基づいて、アーム部２１０Ａおよび移動用駆動部２１０Ｂを動作させる。また、駆動制御部２４６は、動作制御情報に基づいて、ロボット装置２００の他のパーツ（例えば、頭、胴、腰等）を駆動させて、姿勢等を変更させる。また、駆動制御部２４６は、記憶部２６０に記憶された基本動作情報２６２およびカスタマイズ動作情報２６４に基づいて、ロボット装置２００を駆動させてもよい。基本動作情報２６２は、ロボット装置２００の種類等に応じて基本的な動作を実行させるための駆動制御情報である。カスタマイズ動作情報２６４とは、例えば、操作者ごとに予め登録された特定の動作をロボット装置２００に実行させるための駆動制御情報である。

【0060】

出力制御部２４８は、情報提供サーバ１００から取得した情報に基づく画像をモニタ２１４に出力させる。また、出力制御部２４８は、情報提供サーバ１００から取得した情報に基づく音声や警告音等をスピーカ２１６に出力させる。

【0061】

記憶部２６０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２６０には、例えば、基本動作情報２６２、カスタマイズ動作情報２６４、プログラム、その他の情報が格納されている。

【0062】

［操作端末］
図８は、実施形態に係る操作端末３００の構成の一例を示す図である。操作端末３００は、例えば、通信部３１０と、視覚装置３２０と、操作装置３３０と、環境センサ３４０と、制御装置３６０と、記憶部３８０とを備える。視覚装置３２０と、操作装置３３０と、環境センサ３４０は、「ＨＭＩ（Human Machine Interface）」の一例である。

【0063】

通信部３１０は、制御装置３６０による制御によりネットワークＮＷを介して情報提供サーバ１００と通信を行う。また、通信部３１０は、他の操作端末３００やロボット装置２００と通信を行ってもよい。

【0064】

視覚装置３２０は、例えば、ＨＭＤでもよく、メガネ型の装置やディスプレイにセンサ等が設けられた構成であってもよい。視覚装置３２０は、例えば、画像表示部３２２と、視線検出部３２４と、センサ３２６と、マイク３２７と、スピーカ３２８と、制御部３２９とを備える。視覚装置３２０は、制御装置３６０が情報提供サーバ１００から受信したロボット装置２００の状態画像や音声等を出力示したり、操作者の視線の動き等を検出する。

【0065】

画像表示部３２２は、例えば、ＬＣＤや有機ＥＬディスプレイ等である。画像表示部は、制御部３２９の制御に応じて、後述する出力制御部３６８により出力された画像を表示する。

【0066】

視線検出部３２４は、制御部３２９の制御により視覚装置３２０を利用する操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御装置３６０に出力する。視線情報とは、例えば、視線ベクトルを含む情報である。

【0067】

センサ３２６は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。センサ３２６は、視覚装置３２０を装着した操作者の頭部の傾き、頭部の回転を検出し、検出した頭部動作情報（操作者センサ値）を制御装置３６０に出力する。

【0068】

マイク３２７は、操作者の音声の入力を受け付ける。スピーカ３２８は、出力制御部３６８により出力された音声や警告音等を出力する。

【0069】

制御部３２９は、制御装置３６０からの制御情報に基づいて視線検出部３２４による視線検出の実行を制御したり、センサ３２６による検出を制御したり、画像表示部３２２への画像表示を制御したり、視覚装置３２０を介した操作者からの情報の入力を受け付けたりする。

【0070】

操作装置３３０は、例えば、センサ（操作者センサ）３３２と、制御部３３４と、フィードバック部３３６と、入力部３３８とを備える。操作装置３３０には、例えば、操作者の手に装着される触覚データグローブが含まれる。

【0071】

センサ３３２は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ３３２は、複数のセンサを備える。センサ３３２は、例えば２つのセンサによって各指の動きをトラッキングする。センサ３３２は、例えば、制御部３３４の制御により、操作者の各指の方位や動き、手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値）を検出する。なお、操作者腕部情報（操作者センサ値）には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

【0072】

制御部３３４は、センサ３３２が検出した操作者腕部情報を、制御装置３６０に出力する。また、制御部３３４は、制御装置３６０から取得したフィードバック情報に基づいて、フィードバック部３３６を制御する。

【0073】

フィードバック部３３６は、制御部３３４の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック部３３６は、フィードバック情報に応じて、例えば、ロボット装置２００のアーム部２１０Ａに取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）、振動を感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

【0074】

入力部３３８は、例えば、触覚データグローブ以外のキーボードやマウス、レバー、タッチパネル、マイク等の各入力装置である。入力部３３８は、各入力装置によってロボット装置２００に対する操作内容の入力を受け付ける。

【0075】

環境センサ３４０は、例えば、操作者の動作を検出する。環境センサ３４０は、例えば、カメラ（撮像部の一例）３４２と、センサ３４４と、物体位置検出部３４６とを備える。カメラ３４２は、操作者を含む画像を撮像する。カメラ３４２は、例えば、ＲＧＢカメラである。カメラ３４２は、撮影した画像を物体位置検出部３４６に出力する。なお、環境センサ３４０において、カメラ３４２とセンサ３４４の位置関係が既知である。

【0076】

センサ３４４は、例えば深度センサである。センサ３４４は、検出結果を物体位置検出部３４６に出力する。なお、カメラ３４２とセンサ３４４は、距離センサであってもよい。

【0077】

物体位置検出部３４６は、カメラ３４２によって撮影された画像とセンサ３４４によって検出された検出結果とに基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部３４６は、物体位置検出部３４６が記憶するパターンマッチングのモデル等を参照して、カメラ３４２が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部３４６は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部３４６は、検出した物体位置情報を、制御装置３６０に送信する。なお、環境センサ３４０が送信するデータは、例えば位置情報を有する点群であってもよい。

【0078】

制御装置３６０は、例えば、通信制御部３６２と、取得部３６４と、操作内容生成部３６６と、出力制御部３６８とを備える。通信制御部３６２と、取得部３６４と、操作内容生成部３６６と、出力制御部３６８とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性記憶媒体）に格納さいてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0079】

通信制御部３６２は、例えば、通信部３１０を介して無線通信によって、情報提供サーバ１００と通信し、情報の送受信を行う。また、通信制御部３６２は、通信部３１０を介して他の操作端末３００と通信を行ってもよい。また、通信制御部３６２は、視覚装置３２０や操作装置３３０、環境センサ３４０との通信を行う。

【0080】

取得部３６４は、視覚装置３２０、操作装置３３０、環境センサ３４０から得られた除法を取得する。操作内容生成部３６６は、取得部３６４により取得された情報に基づいて、ロボット装置２００に対する操作内容を生成する。例えば、操作内容生成部３６６は、視覚装置３２０から取得された情報に基づいて視線情報や頭の向きに関する操作内容を生成する。また、操作内容生成部３６６は、操作装置３３０から取得された情報に基づいて、ロボット装置２００のアーム部２１０Ａの動作に関する操作内容を生成する。また、操作内容生成部３６６は、環境センサ３４０から取得された情報に基づいて、ロボット装置２００の姿勢や移動方向、移動量に関する操作内容を生成する。操作内容生成部３６６により生成された情報は、通信部３１０を介して、情報提供サーバ１００に送信される。

【0081】

出力制御部３６８は、情報提供サーバ１００から取得した提供情報を、視覚装置３２０や操作装置３３０に出力する。例えば、情報提供サーバ１００から取得した画像や視覚装置３２０の画像表示部３２２に出力させる。また、出力制御部３６８は、情報提供サーバ１００から取得した情報に基づく音声や警告音等をスピーカ３２８に出力させる。また、出力制御部３６８は、情報提供サーバ１００から取得した触覚に関する情報を操作者に伝えるためのフィードバック情報を操作装置３３０に出力させる。

【0082】

記憶部３８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部３８０には、例えば、プログラム、その他の情報が格納されている。

【0083】

［実施形態に係るロボット装置の遠隔操作について］
次に、実施形態に係る情報提供システム１によるロボット装置２００の遠隔操作について具体的に説明する。図９は、実施形態に係るロボット装置２００の遠隔操作について説明するための図である。図９では、２人の操作者Ｕ１、Ｕ２が交代で１台のロボット装置２００を操作する例を示している。操作者Ｕ１およびＵ２は、それぞれ、図９に示すように、視覚装置３２０と操作装置３３０とを装着している。操作端末３００－１、３００－２は、異なる場所に設置されてもよい。

【0084】

また、操作者Ｕ１とＵ２には、操作者の動作や周辺環境を測定する環境センサ３４０が設置されている。なお、環境センサ３４０と同様の構成は、例えば、ロボット装置２００に取り付けられていてもよい。また、操作装置３３０は、例えば、操作者の左手に装着される操作装置３３０ａと、右手に装着される操作装置３３０ｂとを含む。操作装置３３０ａ、３３０ｂのそれぞれから入力される操作内容は、ロボット装置２００の左手ＬＨおよび右手ＲＨの動作制御に用いられる。操作者の腕の位置や顔の向き等は、環境センサ３４０により検出される。それぞれの検出したデータは、ネットワークを介して情報提供サーバ１００に送信される。

【0085】

情報提供サーバ１００は、操作端末３００－１、３００－２のうち、ロボット装置２００を操作する端末から得られる操作内容に基づいて操作者の意図を推定する。ここで、意図推定部１５３が推定する情報例について、具体的に説明する。意図推定部１５３は、取得した操作者からの操作内容に基づいて、操作者の動作意図を推定する。例えば、意図推定部１５３は、操作端末３００の操作者センサ値に基づいて、操作者の腕部の姿勢を分類することで、ロボット装置の把持部を含むアームの姿勢を分類する。また、意図推定部１５３は、分類結果に基づいて、操作者がロボット装置２００に行わせたい動作意図を推定する。意図推定部１５３は、例えば、時刻毎の手や指の動き、ロボット装置２００に行わせたい作業目的、作業内容、時刻毎の手や指の動き等を操作者の動作意図として推定する。作業目的は、例えば、物体の把持、物体の移動等である。作業内容は、例えば、物体を把持して持ち上げる、物体を把持して移動させる等である。

【0086】

また、意図推定部１５３は、例えば、記憶部１７０に記憶された学習済みモデルや意図推定情報１７４に操作内容を入力して、操作者の動作意図を推定してもよい。実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。

【0087】

また、意図推定部１５３は、視線と腕部の動きを用いて統合的に推定してもよい。この場合、意図推定部１５３は、視線情報と、手の動き情報とテーブルＴＢ上の物体ＯＢの位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。

【0088】

図９の例において、意図推定部１５３は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部１５３は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。また、意図推定部１５３は、例えば、操作内容に基づいて、まず操作者の手の姿勢を推定し、次に推定した操作者の手の姿勢から、把持したい物体を推定してもよい。また、操作者Ｕ１、Ｕ２ごとに異なる部位の操作が割り当てられている場合には、意図推定部１５３は、それぞれの操作内容に基づく意図を推定してもよい。

【0089】

例えば、図９に示すテーブルＴＢ上に物体ＯＢが置かれている場合、意図推定部１５３は、手の姿勢に基づいて、物体ＯＢを把持すると推定する。また、意図推定部１５３は、操作内容と、ロボット装置２００の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定してもよい。なお、意図推定部１５３は、センサにより検出された検出結果、環境センサ３４０が撮影した画像を画像処理した結果等も用いて、把持したい物体と、物体の位置を推定するようにしてもよい。

【0090】

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット装置２００の起動時に、操作者の操作環境とロボット動作環境とのキャリブレーションを行ってもよい。また、把持の際、情報提供サーバ１００は、ロボット装置の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定してもよい。

【0091】

ロボット装置２００は、遠隔操作されていない場合は、制御装置２４０の制御に応じて動作が制御され、遠隔操作されている場合、情報提供サーバ１００が推定された意図等に基づいて生成した動作制御情報に応じて動作が制御される。

【0092】

ロボット装置２００の制御装置２４０は、情報提供サーバ１００からの動作制御情報に基づいて駆動部２１０を制御する。また、ロボット装置２００は、センサ２０４により検出されたセンサ情報や、カメラ２０６で撮像された画像、マイク２０８により出力された音声等の情報を情報提供サーバ１００に出力する。情報提供サーバ１００は、取得したセンサ情報、画像、音声等に基づいて操作端末３００－１、３００－２に提供する提供情報を生成する。この場合、情報提供サーバ１００は、画像にセンサ情報の少なくとも一部を重畳した画像を生成してもよい。情報提供サーバ１００は、触覚により伝達させるための情報も含めた提供情報を生成する。また、ロボット装置２００は、複数の操作者により操作することが可能であるため、ロボット装置２００の各部位の操作者を特定するための情報をカメラ画像に重畳した画像を生成してもよい。操作端末３００は、情報提供サーバ１００から出力された画像を表示させる。これにより、複数の操作者がロボット装置２００を操作する場合に、他の操作者によって操作されたロボットの状況を把握することができる。

【0093】

また、上述のような遠隔操作を実行する場合、操作者は、それぞれ異なる場所の操作端末３００を操作しているため、孤独を感じてしまう場合がある。そのため、情報提供サーバ１００は、ロボット装置２００が存在する作業空間に操作者がいると感じさせる（錯覚させる、疑似体験させる）情報を生成し、生成した画像を操作端末３００に提供する。

【0094】

例えば、情報提供サーバ１００は、利用者からロボット装置２００の遠隔操作の指示があった場合に、ロボット装置２００を作業させる空間上の配置場所を選択させるための情報（画像）を操作端末３００に送信する。配置場所は、例えば、空間上の座席情報に基づいて位置付けられる。図１０は、利用者に座席を選択させるための画像ＩＭ１０の一例を示す図である。なお、画像ＩＭ１０のレイアウトや表示内容等の表示態様については、図１０の例に限定されるものではない。以降に説明する他の画像の表示態様についても同様とする。また、画像ＩＭ１０の内容は、例えば、出力制御部１５６により生成される。

【0095】

画像ＩＭ１０には、例えば、文字表示領域Ａ１１と、座席選択領域Ａ１２とが含まれる。文字表示領域Ａ１１には、利用者に座席の選択を促す文字情報が表示される。図１０の例では、「どの座席で作業しますか？」といった文字情報が表示されている。なお、情報提供サーバ１００は、文字情報に相当する音声データを生成し、生成したデータを操作端末３００から出力させてもよい。

【0096】

座席選択領域Ａ１２には、例えば、利用者が操作するロボット装置２００が操作する作業空間に存在する座席の利用状況に関する情報が表示されている。図１０の例では、６つの座席Ｓ１～Ｓ６が、例えば実空間の座席の位置に対応させて表示されている。なお、仮想空間上で座席を設定する場合、このような座席位置は、例えば通常の業務モード、会議モード等に応じて、座席の配置や大きさ、数等を異なるようにしてもよい。座席配置は、例えば会議モードでは、座席を円形に配置するようにしてもよい。また、座席配置は、例えば会社の座席配置と同じ配置を用いても良く、出社している社員の座席には出社中等の表示をすることで現実世界と仮想世界を混合させてもよい。情報提供サーバ１００は、利用状況管理部１４６によって管理されている利用状況情報１７２を参照し、利用中の座席に関する情報も含めて座席選択領域Ａ１２に表示させる。図１０の例において、座席選択領域Ａ１２には、座席Ｓ２、Ｓ５が利用中であり、座席Ｓ１、Ｓ３、Ｓ４、Ｓ６が空席であることを示す画像が表示されている。また、情報提供サーバ１００は、座席選択領域Ａ１２に、現在利用中である利用者を識別する情報を表示させてもよい。図１０の例では、座席Ｓ２を利用者Ｕ４が利用し、座席Ｓ５を利用者Ｕ３が利用していることを示している。これにより、利用者は、利用中の状況に基づいて、自分が所望する座席を選択することができる。以下、利用者が、座席Ｓ４を選択したものとして説明する。

【0097】

情報提供サーバ１００は、座席が特定されると、利用状況情報１７２を更新すると共に、座席Ｓ４の位置に利用者が移動するロボット装置２００を移動させる動作制御情報を生成し、生成した動作制御情報をロボット装置２００に送信する。ロボット装置２００は、受信した動作制御情報に基づいて、Ｓ４の位置に移動し、カメラ２０６によって撮像された画像等を情報提供サーバ１００に送信する。情報提供サーバ１００は、ロボット装置２００から得られた画像を、操作端末３００に送信し、視覚装置３２０に表示させる。

【0098】

図１１は、ロボット装置２００により撮像された画像ＩＭ２０の一例を示す図である。画像ＩＭ２０は、座席Ｓ４から右側を見た仮想空間上の図である。図１１の例では、利用者Ｕ３と、利用者Ｕ４が操作する他のロボット装置２００（Ｕ４）が表示されている。これにより、周辺に存在する作業者または他のロボット装置を把握することができる。

【0099】

また、画像ＩＭ２０を直接みた限りでは、他のロボット装置２００（Ｕ４）が誰によって操作しているのかを把握することができない。更に、他のロボット装置２００を用いたリモートワークが今後進んでいくと、周辺には、複数のロボット装置２００しか存在しない場合もあり、孤独感を生じる場合がある。そこで、情報提供サーバ１００は、他のロボット装置２００（Ｕ４）を操作している利用者Ｕ４を表す画像を、利用者情報１７１に格納されている画像情報から取得し、取得した画像を他のロボット装置２００（Ｕ４）に重畳させた画像を生成する。

【0100】

図１２は、周辺に存在する他のロボット装置２００（Ｕ４）に利用者の画像情報を重畳させることについて説明するための図である。図１２の例では、画像ＩＭ２０に他のロボット装置２００（Ｕ４）を操作する利用者Ｕ４の画像ＩＭ（Ｕ４）を重畳した画像ＩＭ３０が生成されている。例えば、情報提供サーバ１００は、ロボット装置２００のカメラ２０６で撮像された画像に含まれる他のロボット装置２００（Ｕ４）の向きを検出し、検出した角度に対応する角度で撮影された画像情報を利用者情報１７１から取得する。また、取得した画像に対して拡大や縮小等を行い、画像ＩＭ２０に含まれる他のロボット装置２００（Ｕ４）の大きさに対応させて他のロボット装置２００（Ｕ４）が隠れるように重畳させる。また、情報提供サーバ１００は、他のロボット装置２００（Ｕ４）の行動（腕や足の動作）等に応じて、利用者Ｕ４の画像の腕や足の位置等を部分的に動かして、操作者の行動に関する情報を表示させる。上述したように、操作端末３００に提供する画像に他のロボット装置２００が含まれる場合に、他のロボット装置２００を操作する利用者を表す画像を行動に合わせて動かしながら重畳表示させることで、あたかもその位置に操作者がいて動作しているように感じさせることができ、遠隔操作中であっても、孤独感なく、周囲の作業者の様子を把握しながら作業を行うことができる。また、行動に関する情報を表示されるため、忙しい状態は、暇そうな状態を画像から判別することができる。

【0101】

また、情報提供サーバ１００は、画像だけでなく、図１２に示すように、周辺の会話等の音声を取得し、取得した音声を操作端末３００に提供する。この場合、情報提供サーバ１００は、例えば、他のロボット装置２００（Ｕ４）を操作する操作端末から取得した音声を、他のロボット装置２００（Ｕ４）の配置場所に音像定位させて出力させる。また、作業者Ｕ３の音声は、マイク２０８により入力されたものが出力される。これにより、配置場所に応じた音声を操作者に聞かせることができるため、より現実的に作業空間にいるかのように感じさせることができる。また、実空間上において、他のロボット装置２００（Ｕ４）や作業員が行った作業は、画像から認識することができるため、利用者は、他の作業員の作業状況を直接確認しながら、自分の作業や進捗を管理することができる。

【0102】

また、情報提供サーバ１００は、ロボット装置の視線方向（顔の向き）が変わった場合に変わった方向にある座席に配置された他のロボット装置に対しても、上述した画像や音声等の情報を提供する。これにより、左右に振り向くだけでなく、後ろを振り返った場合にも周辺に存在するロボット装置２００を操作する操作者を表示させることができる。

【0103】

また、作業中に他の作業者の画像や音声が提供されると、それらの情報を煩わしいと感じる場合もあり得る。そこで、情報提供サーバ１００は、操作端末３００から要求があった場合に、周辺に存在する作業員やロボット装置を削除した画像を提供してもよい。図１３は、周辺に存在する作業員やロボット装置２００の画像が削除された画像ＩＭ４０の一例を示す図である。図１３の例では、領域Ａ４１、Ａ４２内に表示されていた他のロボット装置２００や作業員が削除された画像ＩＭ４０が表示されている。削除した領域Ａ４１、Ａ４２には、他のロボット装置２００や作業員が存在しないときに撮影された背景画像が重畳されていてもよく、他のマスク画像が表示されていてもよい。また、情報提供サーバ１００は、利用者の要求に応じて、他のロボット装置のみを削除してもよく、特定の利用者（作業者）のみを削除してもよい。また、画像に加えて、対応する音声を削除してもよい（ミュート機能）。これにより、作業状況等に応じて周辺状況の提供内容を切り替え、自分の好きな環境下で作業を行うことができる。

【0104】

なお、実施形態において、仮想区間上に予め座席が割り当てられている場合には、割り当てられた座席情報に対応付けて、操作者の配置場所を管理し、管理された仮想空間を示す画像を操作端末に出力させてもよい。図１４は、仮想空間上に操作者を表す情報と行動に関する情報とに基づく情報を配置した例を示す図である。情報提供サーバ１００は、図１４に示すように仮想空間上の座席の位置を示す画像に、操作者Ｕ３、Ｕ４を表す画像ＩＭ（Ｕ３）、画像ＩＭ（Ｕ４）を、それぞれが利用する座席を示す画像の位置に対応付けられた位置に重畳させた画像ＩＭ５０を生成する。また、情報提供サーバ１００は、画像ＩＭ（Ｕ３）、画像ＩＭ（Ｕ４）が重畳された位置に、それぞれの操作者の音声を音像定位させた情報を操作端末３００から出力させる。これにより、仮想空間上においても作業空間にいるかのように感じさせる情報を提供することができる。

【0105】

［処理シーケンス］
次に、実施形態における情報提供システムによって実行される処理について、シーケンス図を用いて説明する。図１５は、実施形態における情報提供システム１によって実行される処理について説明するためのシーケンス図である。図１５の例では、情報提供サーバ１００と、ロボット装置２００と、操作端末３００を用いて説明するものとする。

【0106】

操作端末３００は、ロボット装置２００を遠隔操作するために、情報提供サーバ１００にアクセスする（ステップＳ１００）。情報提供サーバ１００は、操作端末３００から入力される認証情報等に基づいて情報提供システム１を利用可能であるか否かの認証処理を行う（ステップＳ１０２）。以下では、認証により利用が許可された場合について説明する。利用が許可された場合、情報提供サーバ１００は、座席を選択させる画像（例えば、画像ＩＭ１０）を生成し（ステップＳ１０４）。生成した画像ＩＭ１０を操作端末３００に表示させる（ステップＳ１０６）。また、情報提供サーバ１００は、操作端末３００によって選択された座席情報を取得し（ステップＳ１０８）、利用状況を管理する（ステップＳ１１０）。また、情報提供サーバ１００は、選択された座席に移動するような動作制御情報を生成し、生成した動作制御情報をロボット装置２００に送信する（ステップＳ１１２）。

【0107】

ロボット装置２００は、情報提供サーバ１００からの動作制御情報に基づいて、選択された座席の位置に移動し（ステップＳ１１４）。ロボット装置２００のセンサの検出結果や、カメラにより撮像された画像等の情報提供サーバ１００に出力する（ステップＳ１１６）。

【0108】

情報提供サーバ１００は、ロボット装置２００から送信された情報を取得し、取得した情報に基づいて、操作端末３００に提供する情報（提供情報）を生成する（ステップＳ１１８）。そして、情報提供サーバ１００は、生成した提供情報を、操作端末３００に送信する（ステップＳ１２０）。

【0109】

操作端末３００は、情報提供サーバ１００から送信された提供情報を受信し、受信した情報を視覚装置３２０および操作装置３３０等から出力して、情報を提供する（ステップＳ１２２）。次に、操作端末３００は、ロボット装置２００に関する操作内容を情報提供サーバ１００に送信する（ステップＳ１２４）。

【0110】

情報提供サーバ１００は、操作端末３００のそれぞれから得られる操作内容に基づいて意図推定を行い（ステップＳ１２６）、意図推定結果に基づく動作制御情報を生成し（ステップＳ１２８）、生成した動作制御情報をロボット装置２００に送信する（ステップＳ１３０）。

【0111】

ロボット装置２００は、動作制御情報に基づいて動作を行い（ステップＳ１３２）、動作中または動作結果で、センサ等から得られる情報（センサ情報）やカメラ画像等を情報提供サーバ１００に送信する（ステップＳ１３４）。

【0112】

情報提供サーバ１００は、受信した情報を記憶部１７０に記憶させ（ステップＳ１３６）、取得した情報を操作端末３００に送信するための提供情報を生成し（ステップＳ１３８）、生成した提供情報を、操作端末３００に送信する（ステップＳ１４０）。操作端末３００は、得られた情報出力して、操作者に情報提供を行う（ステップＳ１４２）。以降、ステップＳ１２４～Ｓ１４２の処理が、ロボット装置２００への操作が完了するまで継続して行われる。

【0113】

＜変形例＞
実施形態における情報提供サーバ１００、ロボット装置２００、および操作端末３００の処理の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてもよい。また、情報提供サーバ１００、ロボット装置２００、および操作端末３００に含まれる機能部または記憶部に記憶される情報のうち、一部または全部の機能部または情報は、他の装置に含まれてもよい。

【0114】

また、上述の実施形態では、空間上に配置された場所に操作者を表す情報や行動に関する情報等を配置して出力させたが、例えば、ＷＥＢ会議モード等において仮想空間上の座席に利用者が配置されている場合に、指定した人物のみが自分から見て前方に存在するように配置の変更を行ってもよい。

【0115】

また、情報提供サーバ１００は、操作に関する履歴情報や意図推定情報等をロボットメーカ端末４００に送信してもよい。これにより、ロボットメーカ端末４００や商品の開発や、プログラムのアップデート等に利用することができる。この場合、ロボット装置２００のエコ運転（例えば、低電力運転や低負荷運転、低通信量運転）を行った企業、または、操作者若しくはテレワーク特性に適したロボット制御の方法を提供した企業等に対して、システム利用の割引や減額サービスを行ってもよい。これにより、利用者からの情報提供を推進することができるため、サービスの向上に役立てることができる。

【0116】

また、上述の実施形態では、１台のロボット装置２００を複数の操作者で操作する場合に、それぞれの操作意図や作業状況を表示させる例を示したが、例えば、所定距離以内に存在する複数のロボット装置２００や、共同作業を行っているロボット装置間で、上述した意図推定結果や、作業状況、操作者に関する情報を提供してもよい。これにより、ロボット同士の意図推定機能を用いることで、人間同士で行うよりもより意識の共有が可能となる。また、周辺のロボット装置２００の状況まで取得することができるため、グループワーク等も円滑に行うことができる。

【0117】

以上説明した実施形態は、情報提供サーバ１００において、一以上の操作端末３００とネットワークＮＷを介して通信する通信部１１０と、操作端末３００の操作者の行動に関する情報を取得する取得部１３０と、空間上における操作者の配置場所を管理する管理部１４０と、管理部１４０によって管理された操作者の空間上における配置場所に、操作者を表す情報と行動に関する情報とに基づく情報を配置し、配置した情報を操作端末３００に出力する出力制御部１５６と、を備えることにより、遠隔操作時であっても、作業空間にいるかのように感じさせる情報を提供することができる。

【0118】

具体的には、上述の実施形態によれば、例えば、仮想空間（職場）における操作者の位置（配置場所）をコーディネートし、その位置に基づき仮想空間に操作者が作業をしている様子を表す情報を配置することで、操作者の見ている画像（視覚装置の画像）に仮想空間上の自己位置から見える様子（同じ空間内で働く人の働いている様子）を出力することができる。また、上述した実施形態によれば、ロボット装置を遠隔操作することによってテレワークを行うにあたり、より汎用的に様々な装置を使用したり、それをチームで運用することができる。また、従来は遠隔操作を行うにしても限られた専用ロボットでの限られた作業しかできなかったが、本実施形態によれば、汎用性の高いロボット装置によって誰もが簡単にテレワークを行うことが可能になる。

【0119】

また、実施形態によれば、ロボット情報とセンサ情報（企業の機密を含みうる情報）分けて管理することができ、機密対応可能なサーバを提供することができる。また、遠隔操作する操作者は同一サーバにアクセス可能であり、同一ロボット、あるいは別ロボットの操縦権やセンサ情報を共有することができる。例えば、同一ロボット装置を操作する場合には、複数の操作者が違う腕を操作することで、同一ロボットの同一腕を先輩と後輩が同時に操作し、触覚などのセンサ情報も共有した上で力の足し算、引き算ができる。また、別ロボット操縦の場合に、意図推定機能を共有し、他者の意図を開示することにより以心伝心が可能となる。また、実施形態によれば、１人の操縦者が２台のロボットを操縦することが可能である。この場合、例えば大きい机を２台のロボットで運ぼうとした場合、予め一台のロボットを机の端に連れていき、別ロボットと同期処理をする。また、別ロボットをもう一端に連れていき、持ち上げる動作をしようとすると同期処理により一緒に持ち上げる。更に、実施形態では、人間同士で掛け声をかけて動作させるよりも正確な作業が可能となる。また、実施形態では、一人の操縦者が同じ作業をたくさんのロボットにさせる場合に、サポーティッドテレオペレーション機能によって、ロボット個体差と作業対象物の個体差を吸収することができる。

【0120】

上記説明した実施形態は、以下のように表現することができる。
移動体と、前記移動体の利用者の携帯端末との通信を行うサーバのコンピュータが、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
一以上の操作端末とネットワークを介して通信し、
前記操作端末の操作者の行動に関する情報を取得し、
空間上における前記操作者の配置場所を管理し、
管理した前記操作者の空間上における配置場所に、前記操作者を表す情報と前記行動に関する情報とに基づく情報を配置し、配置した情報を前記操作端末に出力する、
ように構成されている、情報提供サーバ。

【0121】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0122】

１…情報提供システム、１００…情報提供サーバ、１１０、２０２、３１０…通信部、１２０…通信制御部、１３０…取得部、１４０…管理部、１５０…制御部、１７０…記憶部、２００…ロボット装置、２０４…センサ、２０６…カメラ、２０８…マイク、２１０…駆動部、２１４…モニタ、２１６…スピーカ、２４０…制御装置、２６０…記憶部、３００…操作端末、３２０…視覚装置、３３０…操作装置、３４０…環境センサ、３６０…制御装置、３８０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】