IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

特許7585946遠隔ロボットシステム及び遠隔ロボットシステムの制御方法
<>
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図1
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図2
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図3
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図4
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図5
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図6
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図7
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図8
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図9
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図10
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図11A
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図11B
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図12
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図13
  • 特許-遠隔ロボットシステム及び遠隔ロボットシステムの制御方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】遠隔ロボットシステム及び遠隔ロボットシステムの制御方法
(51)【国際特許分類】
   B25J 5/00 20060101AFI20241112BHJP
   B25J 13/00 20060101ALI20241112BHJP
【FI】
B25J5/00 E
B25J13/00 Z
【請求項の数】 10
(21)【出願番号】P 2021068229
(22)【出願日】2021-04-14
(65)【公開番号】P2022163353
(43)【公開日】2022-10-26
【審査請求日】2023-09-12
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】大沼 侑司
【審査官】國武 史帆
(56)【参考文献】
【文献】特開2020-005147(JP,A)
【文献】特開2019-005819(JP,A)
【文献】特開2017-054475(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B25J 1/00 - 21/02
(57)【特許請求の範囲】
【請求項1】
遠隔観光ツアーのための遠隔ロボットシステムであって、
周囲の観光地のローカル情報の収集を含む所定の動作を行うロボットと、
ツアーガイドが使用し、前記ロボットの動作を遠隔操作可能なガイド端末と、
ツアーの参加者が使用し、前記ガイド端末と遠隔コミュニケーション可能な参加者端末と、を備え、
前記参加者端末は、
前記ロボットから取得される前記ローカル情報を前記参加者に出力する情報出力部と、
前記出力したローカル情報に対する前記参加者操作状態、発声状態、及び注目状態を検出する検出部と、
前記検出された参加者の操作状態、発声状態、及び注目状態を前記ガイド端末へ通知する通知部と、
を備え、
前記ガイド端末は、
前記通知された参加者の操作状態、発声状態、及び注目状態を分析する分析部と、
前記分析した結果に基づいて、前記ローカル情報に対する前記参加者の注目または盛り上がりのレベルを出力するレベル出力部と、
を備える、遠隔ロボットシステム。
【請求項2】
前記操作状態は、前記ローカル情報を表示した表示画面に対する前記参加者の操作における操作位置、操作回数、または、操作時間を含む、
請求項に記載の遠隔ロボットシステム。
【請求項3】
前記発声状態は、前記参加者が発した音声の音圧、発声時間、または、前記音声の認識結果を含む、
請求項1または2に記載の遠隔ロボットシステム。
【請求項4】
前記注目状態は、前記参加者の顔の向き、前記参加者の視線の向き、注目位置、または、注目時間を含む、
請求項1乃至3のいずれか一項に記載の遠隔ロボットシステム。
【請求項5】
前記レベル出力部は、前記ローカル情報を表示した表示画面において、前記参加者の注目または盛り上がりのレベルをヒートマップにより表示する、
請求項1乃至4のいずれか一項に記載の遠隔ロボットシステム。
【請求項6】
前記レベル出力部は、前記ローカル情報を表示した表示画面において、前記参加者の注目または盛り上がりのレベルの時間的変化を表示する、
請求項1乃至5のいずれか一項に記載の遠隔ロボットシステム。
【請求項7】
前記ガイド端末は、前記分析した結果に基づいて、前記ロボットの遠隔操作方法を決定する遠隔制御決定部を備える、
請求項1乃至6のいずれか一項に記載の遠隔ロボットシステム。
【請求項8】
前記遠隔制御決定部は、前記分析した結果に基づいて、前記ロボットの移動方向、移動経路、または、移動速度を含む、ロボットの移動方法を決定する、
請求項に記載の遠隔ロボットシステム。
【請求項9】
前記遠隔制御決定部は、前記分析した結果に基づいて、前記ロボットの画像の撮像方向、または、音声の収音方向を含む、ロボットの情報取得方法を決定する、
請求項またはに記載の遠隔ロボットシステム。
【請求項10】
周囲の観光地のローカル情報の収集を含む所定の動作を行うロボットと、
ツアーガイドが使用し、前記ロボットの動作を遠隔操作可能なガイド端末と、
ツアーの参加者が使用し、前記ガイド端末と遠隔コミュニケーション可能な参加者端末と、を備える遠隔観光ツアーのための遠隔ロボットシステムの制御方法であって、
前記参加者端末は、
前記ロボットから取得される前記ローカル情報を前記参加者に出力し、
前記出力したローカル情報に対する前記参加者操作状態、発声状態、及び注目状態を検出
前記検出された参加者の操作状態、発声状態、及び注目状態を前記ガイド端末へ通知し、
前記ガイド端末は、
前記通知された参加者の操作状態、発声状態、及び注目状態を分析し、
前記分析した結果に基づいて、前記ローカル情報に対する前記参加者の注目または盛り上がりのレベルを出力する、
遠隔ロボットシステムの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔ロボットシステム及び遠隔ロボットシステムの制御方法に関する。
【背景技術】
【0002】
近年、自律走行型のロボットに対し、ユーザにより操作端末から遠隔操作することが可能となっている。また、そのようなロボットの一例でもある、カメラやマイク、モニター等を備えたテレプレゼンスロボットでは、ユーザが遠隔でコミュニケーションや疑似体験することも可能である。さらに、Web会議サービス等の遠隔サービスの普及が進んでいることから、遠隔操作や遠隔コミュニケーション可能なロボットの広範な活用が期待されている。
【0003】
ユーザ操作に関連して、例えば、特許文献1には、解析サーバ装置において、ユーザによるWebページの閲覧行動をヒートマップにより解析する技術が開示されている。また、特許文献2には、X線CT画像などの医療画像を表示する画像処理装置において、診断のためにユーザの関心領域を指定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-224583号公報
【文献】特開2014-50465号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
テレプレゼンスロボットなどのロボットを活用することで、ユーザが遠隔で参加し観光を疑似体験できる遠隔観光ツアーなどが可能である。例えば、遠隔観光ツアーなどのための遠隔ロボットシステムでは、ツアーのガイド(操作者)がロボットを遠隔操作し、ツアーに参加する利用者(参加者)がガイドと遠隔でコミュニケーションを行う。しかしながら、このような遠隔ロボットシステムでは、ガイドと利用者が遠隔であることから、利用者に応じて適切に対応することが困難である。なお、特許文献1に開示された技術は、Webページの閲覧を解析するものであり、特許文献2に開示された技術は、医療画像の診断領域を指定するものであり、このような課題を解決することはできない。
【0006】
本発明は、このような課題を解決するためになされたものであり、利用者に適切に対応することが可能な遠隔ロボットシステム及び遠隔ロボットシステムの制御方法を提供するものである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る遠隔ロボットシステムは、周囲のローカル情報の収集を含む所定の動作を行うロボットと、前記ロボットの動作を遠隔操作可能な第1の遠隔端末と、前記第1の遠隔端末と遠隔コミュニケーション可能な第2の遠隔端末と、を備え、前記第2の遠隔端末は、前記ロボットから取得される前記ローカル情報を利用者に出力する情報出力部と、前記出力したローカル情報に対する前記利用者の興味関心を検出する興味関心検出部と、を備えるものである。これにより、第2の遠隔端末の利用者の興味関心を検出できるため、第1の遠隔端末と第2の遠隔端末が離れている場合であっても、利用者の興味関心を把握し、利用者に適切に対応することが可能となる。
【0008】
また、前記興味関心検出部は、前記出力したローカル情報に対する前記利用者の操作状態を検出し、前記検出された操作状態に基づいて、前記利用者の興味関心を検出してもよい。さらに、前記操作状態は、前記ローカル情報を表示した表示画面に対する前記利用者の操作における操作位置、操作回数、または、操作時間を含んでもよい。これにより、利用者が操作した状態に応じて精度よく興味関心を検出できる。
【0009】
また、前記興味関心検出部は、前記出力したローカル情報に対する前記利用者の発声状態を検出し、前記検出された発声状態に基づいて、前記利用者の興味関心を検出してもよい。さらに、前記発声状態は、前記利用者が発した音声の音圧、発声時間、または、前記音声の認識結果を含んでもよい。これにより、利用者の発した音声の状態に応じて精度よく興味関心を検出できる。
【0010】
また、前記興味関心検出部は、前記出力したローカル情報に対する前記利用者の注目状態を検出し、前記検出された注目状態に基づいて、前記利用者の興味関心を検出してもよい。さらに、前記注目状態は、前記利用者の顔の向き、前記利用者の視線の向き、注目位置、または、注目時間を含んでもよい。これにより、利用者が注目している状態に応じて精度よく興味関心を検出できる。
【0011】
また、前記第2の遠隔端末は、前記検出された興味関心を示す興味関心情報を前記第1の遠隔端末へ通知する通知部を備えてもよい。これにより、第2の遠隔端末で検出した利用者の興味関心を第1の遠隔端末へ確実にフィードバックできる。
【0012】
また、前記第1の遠隔端末は、前記通知された興味関心情報を出力する興味関心出力部を備えてもよい。さらに、前記興味関心出力部は、前記ローカル情報を表示した表示画面において、前記興味関心情報に対応した位置を強調表示してもよい。また、前記興味関心出力部は、前記ローカル情報を表示した表示画面において、前記興味関心情報の時間的変化を表示してもよい。これにより、第1の遠隔端末において、第2の遠隔端末の利用者の興味関心を一目で把握できる。
【0013】
また、前記第1の遠隔端末は、前記通知された興味関心情報に基づいて、前記ロボットの遠隔操作方法を決定する遠隔制御決定部を備えてもよい。さらに、前記遠隔制御決定部は、前記興味関心情報に基づいて、前記ロボットの移動方向、移動経路、または、移動速度を含む、ロボットの移動方法を決定してもよい。また、前記遠隔制御決定部は、前記興味関心情報に基づいて、前記ロボットの画像の撮像方向、または、音声の収音方向を含む、ロボットの情報取得方法を決定してもよい。これにより、第2の遠隔端末の利用者の興味関心に応じて、適切にロボットを遠隔制御することができる。
【0014】
本発明の一態様に係る遠隔ロボットシステムの制御方法は、周囲のローカル情報の収集を含む所定の動作を行うロボットと、前記ロボットの動作を遠隔操作可能な第1の遠隔端末と、前記第1の遠隔端末と遠隔コミュニケーション可能な第2の遠隔端末と、を備える遠隔ロボットシステムの制御方法であって、前記第2の遠隔端末は、前記ロボットから取得される前記ローカル情報を利用者に出力し、前記出力したローカル情報に対する前記利用者の興味関心を検出するものである。これにより、第2の遠隔端末の利用者の興味関心を検出できるため、第1の遠隔端末と第2の遠隔端末が離れている場合であっても、利用者の興味関心を把握し、利用者に適切に対応することが可能となる。
【発明の効果】
【0015】
本発明によれば、利用者に適切に対応することが可能な遠隔ロボットシステム及び遠隔ロボットシステムの制御方法を提供することができる。
【図面の簡単な説明】
【0016】
図1】実施の形態1に係る遠隔ロボットシステムの構成例を示す構成図である。
図2】実施の形態1に係るロボットの外観構成例を示す外観斜視図である。
図3】実施の形態1に係るロボットの機能構成例を示すブロック図である。
図4】実施の形態1に係るガイド端末の機能構成例を示すブロック図である。
図5】実施の形態1に係るガイド端末の表示画面の構成例を示すイメージ図である。
図6】実施の形態1に係る参加者端末の機能構成例を示すブロック図である。
図7】実施の形態1に係る参加者端末の表示画面の構成例を示すイメージ図である。
図8】実施の形態1に係る遠隔ロボットシステムの動作例を示すシーケンス図である。
図9】実施の形態1に係るガイド端末の画面表示例を示すイメージ図である。
図10】実施の形態1に係るガイド端末の画面表示例を示すイメージ図である。
図11A】実施の形態1に係るガイド端末の画面表示例を示すイメージ図である。
図11B】実施の形態1に係るガイド端末の画面表示例を示すイメージ図である。
図12】実施の形態1に係るガイド端末の画面表示例を示すイメージ図である。
図13】実施の形態2に係るガイド端末の機能構成例を示すブロック図である。
図14】実施の形態2に係る遠隔ロボットシステムの動作例を示すシーケンス図である。
【発明を実施するための形態】
【0017】
以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。なお、実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0018】
(実施の形態1)
まず、本発明の実施の形態1について説明する。図1は、本実施の形態に係る遠隔ロボットシステム10の構成例を示している。図1に示すように、本実施の形態に係る遠隔ロボットシステム10は、ロボット100、ガイド端末(第1の遠隔端末)200、複数の参加者端末(第2の遠隔端末)300(例えば300-1~300-3)、システムサーバ400を備えている。
【0019】
遠隔ロボットシステム10は、ガイド(ツアーガイド)Gがガイド端末200を操作することで、観光地(第1環境)のロボット100を遠隔操作し、参加者Pが、遠隔操作されたロボット100を介して観光ツアーを疑似体験することが可能なシステムである。遠隔ロボットシステム10は、例えばテレプレゼンスロボットであるロボット100に、複数の参加者P(例えばP1~P3)とガイドGが端末装置により接続して、ロボット100の取得する映像/音声を共有しながら、ロボット100を通じて遠隔観光ツアーを楽しむことができる。ロボット100に接続するユーザの内1名はガイドGであり、ガイドGがロボット100を遠隔操縦してロボットの進行方向や視角を変更しながら観光地の説明を行う。参加者Pは、ロボット100とガイドGの映像/音声を視聴しながら遠隔地から観光を楽しむ。この際に、ガイドGは参加者Pの興味関心に応じてガイドを行う必要があるが、ガイドGの接続端末上では、参加者Pの反応などの様子を伺いにくく適切なガイドが難しい。そこで、本実施の形態では、参加者Pの興味関心を検出し、さらに、検出した興味関心をガイドGにフィードバックすることで、ガイドGが参加者Pの興味関心に応じてツアーの案内等することを可能とする。
【0020】
なお、複数のロボット100を備えることで、参加者毎に遠隔操作や疑似体験できるようにしてもよい。また、複数のガイド端末200を備えることで、複数のガイドGから複数台のロボット100を遠隔操作してもよい。
【0021】
図1に示すように、ロボット100、ガイド端末200、複数の参加者端末300は、それぞれ離れた環境(第1環境、第2環境、第3環境)に配置され、無線ルータ600及びインターネット500を介してシステムサーバ400に接続されている。例えば、システムサーバ400は、ロボット100、ガイド端末200、参加者端末300に対して、遠隔操作や遠隔コミュニケーションに必要なデータ、処理、サービス等を提供する。例えば、無線ルータ600と、ロボット100、ガイド端末200及び参加者端末300との間は、無線LANにより通信可能であるが、LTE(Long Term Evolution)や5G(5th Generation Mobile Communication System)などの携帯電話通信により通信を行ってもよい。ロボット100の通信に携帯電話通信を用いることで、ロボット100の使用場所が広がるため、様々な場所のロボット100を遠隔操作することができる。その場合、無線ルータ600は、携帯電話通信の基地局でもよい。
【0022】
ロボット100は、第1環境において、周囲のローカル情報(画像や音声等を含む)の収集を含む所定の動作を実行可能である。ロボット100は、第1環境から離れた第2環境に居る遠隔操作者たるガイドGがガイド端末200(操作端末)を操作することにより、インターネット500に接続されたシステムサーバ400を介して、遠隔操作される。ロボット100は、ガイド端末200から様々な操作信号を受信して、移動動作や撮像動作等を実行する。また、ガイドGや参加者Pは、ロボット100を介して遠隔コミュニケーションを行うこともできる。
【0023】
ロボット100は、カメラ131(撮像部)によって、ロボット100の周辺の空間を撮像し、撮像した撮像画像(映像)を、インターネット500を介して、ガイド端末200や参加者端末300に送信する。また、マイク132によって、ロボット100の周辺の音声を収音し、収音した音声を、インターネット500を介して、ガイド端末200や参加者端末300に送信する。さらに、ガイド端末200や参加者端末300からインターネット500を介して音声を受信し、受信した音声をスピーカ133から出力する。ロボット100は、ガイド端末200の操作に従って、ハンド124による把持動作等も実行できる。これにより、観光ツアーにおいて様々な疑似体験を実現できる。
【0024】
なお、本実施の形態においては、接続するネットワークとしてインターネット500を利用するが、イントラネット等のその他のネットワークを利用してもよい。また、ネットワークを介さず、ロボット100とガイド端末200や参加者端末300を、例えばBluetooth(登録商標)などの近接通信で直接的に接続しても良い。すなわち、インターネット500やシステムサーバ400を介さずに、遠隔制御や遠隔コミュニケーションを行ってもよい。
【0025】
ガイド端末200は、第2環境において、ガイドGが操作する端末であり、ロボット100を遠隔操作し、また、参加者端末300やロボット100と遠隔コミュニケーションを行う。参加者端末300(例えば300-1~300-3)は、第3環境(例えば第3-1環境~第3-3環境)において、参加者P(例えば参加者P1~P3)が操作する端末であり、ガイド端末200や他の参加者端末300、ロボット100と遠隔コミュニケーションを行う。
【0026】
ガイド端末200及び参加者端末300は、例えばタブレット端末であり、タッチパネルが重畳して配置された表示パネル201及び301を有する。表示パネル201及び301は、ロボット100から受信した撮像画像を表示し、ガイドG及び参加者Pは、ロボット100の周辺の空間領域の様子を間接的に視認することができる。換言すると、表示パネル201は、ロボット100のローカル情報をガイドGに出力する情報出力部であり、表示パネル301は、ロボット100のローカル情報を参加者P(利用者)に出力する情報出力部である。
【0027】
また、ガイド端末200及び参加者端末300は、ロボット100から受信した音声を出力し、ガイドG及び参加者Pは、ロボット100の周辺の音声の様子を間接的に聴取することができる。ガイドGは、ガイド端末200に対しタッチパネルを介して操作することにより、ロボット100を動作させるための様々な操作信号を生成させることができる。生成された操作信号は、インターネット500を介してロボット100へ送信される。
【0028】
また、参加者端末300は、出力されたロボット100のローカル情報に対する参加者Pの興味関心を検出する興味関心検出部321を含む。興味関心検出部321は、参加者Pが表示パネル301の表示画面に対しタッチパネルを介して操作等することに応じて、参加者Pの興味関心を示す興味関心情報を生成する。生成された興味関心情報は、インターネット500を介してガイド端末200へ送信される。また、ガイド端末200は、参加者端末300から受信する興味関心情報を分析する興味関心分析部221を含む。分析された参加者Pの興味関心は表示パネル201に表示される。表示パネル201は、参加者Pの興味関心を出力する興味関心出力部でもある。
【0029】
図2は、本実施の形態に係るロボット100の外観構成例を示す外観斜視図である。図2に示すように、本実施の形態に係るロボット100は、主要部として、台車部110と本体部120とを備えている。
【0030】
台車部110は、円筒形状の筐体内に、それぞれが走行面に接地する2つの駆動輪111と1つのキャスター112とを支持している。2つの駆動輪111は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪111は、不図示のモータによって独立して回転駆動される。キャスター112は、従動輪であり、台車部110から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部110の移動方向に倣うように追従する。
【0031】
また、台車部110は、上面の周縁部にレーザスキャナ134を備える。レーザスキャナ134は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、レーザスキャナ134は、障害物が存在する場合には、その障害物までの距離を出力する。
【0032】
本体部120は、主に、台車部110の上面に搭載された胴部121、胴部121の上面に載置された頭部122、胴部121の側面に支持されたアーム123、及びアーム123の先端部に設置されたハンド124を備える。アーム123とハンド124は、不図示のモータを介して駆動され、把持対象物を把持する。胴部121は、不図示のモータの駆動力により、台車部110に対して鉛直軸周りに回転することができる。
【0033】
頭部122は、主に、カメラ131、マイク132、スピーカ133及び表示パネル141を備える。カメラ131は、例えば、頭部122の前面に、頭部122の前方向を撮像方向とするように配置されている。カメラ131は、2次元カメラでもよいし、ステレオカメラでもよい。例えばステレオカメラの場合、同じ画角を有する2つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された撮像信号を出力する。
【0034】
マイク132は、例えば、頭部122の前面に、頭部122の前方向を収音方向とするように配置されている。マイク132は、単一指向性マイクでもよいし、無指向性マイクでもよい。スピーカ133は、例えば、頭部122の前面や側面に、頭部122の前方向を出力方向とするように配置されている。スピーカ133は、モノラルスピーカでもよいし、ステレオスピーカでもよい。
【0035】
表示パネル141は、頭部122の前面に、頭部の前方向を表示方向とするように配置されている。表示パネル141は、例えば液晶パネルであり、設定されたキャラクターの顔をアニメーションで表示したり、ロボット100に関する情報をテキストやアイコンで表示したりする。表示パネル141にキャラクターの顔を表示すれば、表示パネル141が擬似的な顔部であるかの印象を周囲の人達に与えることができる。表示パネル141は、ガイド端末200や参加者端末300から受信するガイドGや参加者Pの画像を表示することもできる。
【0036】
頭部122は、不図示のモータの駆動力により、胴部121に対して鉛直軸周りに回転することができる。そのため、カメラ131は、任意の方向を撮像することができ、マイク132は、任意の方向の音を収音することができ、スピーカ133は、任意の方向へ音を出力することができ、また、表示パネル141は、任意の方向へ向けて表示内容を呈示することができる。
【0037】
図3は、本実施の形態に係るロボット100の機能構成例を示すブロック図である。図3に示すように、ロボット100は、機能ブロックとして、上記の表示パネル141、カメラ131、マイク132、スピーカ133、レーザスキャナ134に加えて、制御部150、台車駆動ユニット142、上体駆動ユニット143、メモリ160、通信ユニット170、GPSユニット135を備えている。
【0038】
なお、ここでは、ガイド端末200や参加者端末300による遠隔操作や遠隔コミュニケーションに関係する主な要素について説明するが、必要に応じてロボット100の構成として他の要素も備え、また、遠隔操作や遠隔コミュニケーションに寄与する他の要素が加えられることもあり得る。
【0039】
制御部150は、例えばCPU(Central Processing Unit)であり、メモリ160から読み出した制御プログラムを実行することによりロボット100全体の制御と様々な演算処理とを実行する。また、制御部150は、制御に関わる様々な演算や制御を実行する機能実行部としての役割も担う。
【0040】
制御部150は、例えば胴部121に備えられたコントロールユニットに格納されている。台車駆動ユニット142は、駆動輪111と、駆動輪111を駆動するための駆動回路やモータと、を含む。制御部150は、台車駆動ユニット142へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部150は、台車駆動ユニット142からエンコーダ等のフィードバック信号を受け取って、台車部110の移動方向や移動速度を把握する。
【0041】
上体駆動ユニット143は、アーム123及びハンド124と、胴部121及び頭部122と、これらを駆動するための駆動回路やモータと、を含む。制御部150は、上体駆動ユニット143へ駆動信号を送ることにより、把持動作やジェスチャーを実現する。また、制御部150は、上体駆動ユニット143からエンコーダ等のフィードバック信号を受け取って、アーム123及びハンド124の位置や移動速度、胴部121及び頭部122の向きや回転速度を把握する。
【0042】
表示パネル141は、制御部150が生成した画像信号を受信して表示する。制御部150は、メモリ160の情報や受信する情報等に基づいてキャラクター等の画像信号を生成し、表示パネル141へ表示させる。例えば、表示パネル141がタッチパネルを備える場合には、表示パネル141は、タッチ信号を制御部150へ出力する。
【0043】
カメラ131は、制御部150からの要求に従って、例えばロボット100の前方を撮像し、撮像により生成した撮像信号を制御部150へ出力する。制御部150は、カメラ131からの撮像信号を用いて画像処理を実行したり、予め定められたフォーマットに従って撮像信号を撮像画像に変換したりする。
【0044】
マイク132は、制御部150からの要求に従って、ロボット100の周囲の音声を収音し、収音により生成した音声信号を制御部150へ出力する。制御部150は、マイク132からの音声信号を用いて音声処理を実行したり、予め定められたフォーマットに従って撮像信号を変換したりする。
【0045】
スピーカ133は、例えばガイド端末200や参加者端末300から送られてきた音声を出力する。制御部150は、通信ユニット170を介して、ガイド端末200や参加者端末300から受信した音声信号をスピーカ133へ出力し、スピーカ133は、制御部150からの音声信号を周囲へ出力する。
【0046】
レーザスキャナ134は、制御部150からの要求に従って、ロボット100の移動方向に障害物が存在するか否かを検出し、その検出結果である検出信号を制御部150へ出力する。GPSユニット135は、制御部150からの要求に従って、GPS(Global Positioning System)衛星から受信するGPS信号に基づいて、ロボット100の位置を検出し、その検出結果である位置信号(位置情報)を制御部150へ出力する。なお、GPSに限らず、その他の方法により、ロボット100の位置を検出してもよい。
【0047】
メモリ160は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ160は、ロボット100を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。例えば、メモリ160は、自律移動することが予定されている第1環境の空間を記述した地図情報のデータベースである地図DB161を記憶する。地図DB161は、ロボット100の行動範囲に合わせて、例えばシステムサーバ400から対象となる地図情報を取得して蓄積されている。
【0048】
通信ユニット170は、例えば無線LANユニットであり、無線ルータ600との間で無線通信を行う。通信ユニット170は、無線ルータ600を介して、ガイド端末200や参加者端末300との間で、制御信号やデータ等を送受信する。例えば、通信ユニット170は、ガイド端末200から送られてくる指定信号や操作指示を受信して制御部150へ出力する。指定信号は、ユーザが観察したい空間領域を指定することによりガイド端末200で生成される撮像画像や音声信号を要求する信号である。また、通信ユニット170は、制御部150の制御に従って、カメラ131で取得された撮像画像や、マイク132で取得された音声をガイド端末200や参加者端末300へ送信する。通信ユニット170は、GPSユニット135が検出した位置情報をガイド端末200や参加者端末300へ送信し、さらに、地図DB161に蓄積されている地図情報をガイド端末200や参加者端末300へ送信してもよい。また、通信ユニット170は、ガイド端末200や参加者端末300から送られてくる画像や音声を受信して制御部150へ出力する。
【0049】
図4は、本実施の形態に係るガイド端末200の機能構成例を示すブロック図である。図4に示すように、ガイド端末200は、機能ブロックとして、演算部220、表示パネル201、入力ユニット202、マイク203、スピーカ204、カメラ205、メモリ230、通信ユニット240を備えている。
【0050】
なお、ここでは、ロボット100の遠隔操作や、ロボット100及び参加者端末300との遠隔コミュニケーションに関係する主な要素について説明するが、必要に応じてガイド端末200の構成としては他の要素も備え、また、遠隔操作や遠隔コミュニケーションを行うための処理に寄与する他の要素が加えられることもあり得る。
【0051】
演算部(制御部)220は、例えばCPUであり、メモリ230から読み出した制御プログラムを実行することによりガイド端末200全体の制御と様々な演算処理とを実行する。表示パネル201は、例えば液晶パネルであり、例えばロボット100や参加者端末300から送られてきた撮像画像や地図情報、カメラ205が撮像した撮像画像等を表示する。
【0052】
入力ユニット202は、表示パネル201に重畳して配置されたタッチパネルや、表示パネル201の周縁部に設けられた押しボタン等を含む。入力ユニット202は、ガイドGの操作を受けて操作信号を生成し、演算部220へ出力する。
【0053】
マイク203は、演算部220からの要求に従って、ガイド端末200の周囲の音声を収音し、収音により生成した音声信号を演算部220へ出力する。スピーカ204は、例えばロボット100や参加者端末300から送られてきた音声を出力する。カメラ205は、演算部220からの要求に従って、例えばガイド端末200の前方(表示パネル201の前)のガイドGを撮像し、撮像により生成した撮像信号を演算部220へ出力する。
【0054】
メモリ230は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ230は、ガイド端末200を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。
【0055】
通信ユニット240は、例えば無線LANユニットであり、無線ルータ600との間で無線通信を行う。通信ユニット240は、無線ルータ600を介して、ロボット100や参加者端末300との間で、制御信号やデータ等を送受信する。例えば、通信ユニット240は、ロボット100や参加者端末300から送られてくる撮像画像や音声信号、地図情報等を受信して演算部220へ出力する。また、通信ユニット240は、演算部220と協働して、指定信号や操作信号、撮像画像、音声信号等をロボット100や参加者端末300へ送信する。
【0056】
演算部220は、様々な処理や演算を実行する機能演算部としての機能も担う。例えば、演算部220は、興味関心分析部221、表示制御部222を含む。興味関心分析部221は、参加者端末300から送られてくる興味関心情報に基づいて、参加者Pの興味関心を分析する。表示制御部222は、参加者Pの興味関心の分析結果等を表示パネル201に表示する。例えば、表示パネル201に表示された撮像画像等に参加者Pの興味関心を示す情報を重畳して表示する。表示制御部222及び表示パネル201が協働することにより、興味関心を出力する出力部を構成するとも言える。
【0057】
図5は、本実施の形態に係るガイド端末200の表示パネル201に表示されるガイド画面210の構成例を示している。図5に示すように、例えば、ガイド画面210は、ロボット画像表示領域211、地図表示領域212、ガイド画像表示領域213、参加者画像表示領域214、操縦パネル表示領域215、興味関心表示領域216を含む。なお、図5における各領域の表示は、一例であり、これらに限定されない。
【0058】
ロボット画像表示領域211は、ロボット100により撮像し送信された、ロボット100の周囲の撮像画像を表示する。また、ロボット画像表示領域211は、例えば、ロボット100の撮像画像に、参加者Pの興味関心に応じたヒートマップを重畳して表示する。
【0059】
地図表示領域212は、ロボット100により送信された、ロボット100の周辺の地図情報及び位置情報を表示する。地図表示領域212は、例えば、ロボット100の周囲の観光地等の情報、ロボット100の現在地、移動経路、目的地、向き等を表示する。
【0060】
ガイド画像表示領域213は、カメラ205により撮像された、ガイドG(操縦者)の主に顔を含む撮像画像(ガイド画像)を表示する。参加者画像表示領域214は、複数の参加者端末300により撮像し送信された、複数の参加者Pの主に顔を含む撮像画像(参加者画像)を表示する。
【0061】
操縦パネル表示領域215は、ロボット100を操縦(遠隔操作)するための操縦パネルを表示する。操縦パネルには、ロボット100の移動方向や移動速度、カメラの向き等を操作するボタン等が含まれる。
【0062】
興味関心表示領域216は、参加者Pの興味関心に関する情報が表示される。興味関心表示領域216は、例えば、興味関心のレベルを示すレベルメータや興味関心の時間的な変化を示すグラフを表示する。
【0063】
図6は、本実施の形態に係る参加者端末300のブロック構成例を示すブロック図である。図6に示すように、参加者端末300は、機能ブロックとして、演算部320、表示パネル301、入力ユニット302、マイク303、スピーカ304、カメラ305、メモリ330、通信ユニット340を備えている。
【0064】
なお、ここでは、ロボット100、ガイド端末200及び他の参加者端末300との遠隔コミュニケーションに関係する主な要素について説明するが、参加者端末300の構成としては他の要素も備え、また、遠隔コミュニケーションを行うための処理に寄与する他の要素が加えられることもあり得る。
【0065】
演算部(制御部)320は、例えばCPUであり、メモリ330から読み出した制御プログラムを実行することにより参加者端末300全体の制御と様々な演算処理とを実行する。表示パネル301は、例えば液晶パネルであり、例えばロボット100やガイド端末200、他の参加者端末300から送られてきた撮像画像や地図情報、カメラ305が撮像した撮像画像等を表示する。
【0066】
入力ユニット302は、表示パネル301に重畳して配置されたタッチパネルや、表示パネル301の周縁部に設けられた押しボタン等を含む。入力ユニット302は、参加者Pの操作を受けて操作信号を生成し、演算部320へ出力する。
【0067】
マイク303は、演算部320からの要求に従って、参加者端末300の周囲の音声を収音し、収音により生成した音声信号を演算部320へ出力する。スピーカ304は、例えばロボット100やガイド端末200、他の参加者端末300から送られてきた音声を出力する。カメラ305は、演算部320からの要求に従って、例えば参加者端末300の前方(表示パネル301の前)の参加者Pを撮像し、撮像により生成した撮像信号を演算部320へ出力する。
【0068】
メモリ330は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ330は、参加者端末300を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。
【0069】
通信ユニット340は、例えば無線LANユニットであり、無線ルータ600との間で無線通信を行う。通信ユニット340は、無線ルータ600を介して、ロボット100やガイド端末200、他の参加者端末300との間で、制御信号やデータ等を送受信する。例えば、通信ユニット340は、ロボット100やガイド端末200、他の参加者端末300から送られてくる撮像画像や音声信号、地図情報を受信して演算部320へ出力する。また、通信ユニット340は、演算部320と協働して、撮像画像や音声信号等をガイド端末200や他の参加者端末300へ送信する。
【0070】
演算部320は、様々な処理や演算を実行する機能演算部としての機能も担う。例えば、演算部320は、興味関心検出部321、興味関心通知部322を含む。興味関心検出部321は、参加者Pの入力操作等に応じて、参加者Pの興味関心を検出する。興味関心通知部322は、検出された興味関心を示す興味関心情報を、通信ユニット340を介して、ガイド端末200へ通知する。
【0071】
図7は、本実施の形態に係る参加者端末300の表示パネル301に表示される参加者画面310の構成例を示している。図7に示すように、例えば、参加者画面310は、ロボット画像表示領域311、地図表示領域312、自参加者画像表示領域313、他参加者画像表示領域314、ガイド画像表示領域315を含む。なお、図7における各領域の表示は、一例であり、これらに限定されない。
【0072】
ロボット画像表示領域311は、ロボット100により撮像し送信された、ロボット100の周囲の撮像画像を表示する。地図表示領域312には、ロボット100により送信された、ロボット100の周辺の地図情報及び位置情報を表示する。地図表示領域312は、例えば、ロボット100の周囲の観光地等の情報、ロボット100の現在地、移動経路、目的地、向き等を表示する。
【0073】
自参加者画像表示領域313は、カメラ305により撮像された、当該参加者端末300を操作する自参加者Pの主に顔を含む撮像画像(自参加者画像)を表示する。他参加者画像表示領域314は、他の参加者端末300により撮像し送信された、他の参加者端末300を操作する他の参加者Pの主に顔を含む撮像画像(他参加者画像)を表示する。ガイド画像表示領域315は、ガイド端末200により撮像し送信された、ガイドGの主に顔を含む撮像画像(ガイド画像)を表示する。
【0074】
図8は、本実施の形態に係る遠隔ロボットシステム10の動作例を示している。図8に示すように、ガイド端末200は、ガイドGの操作に応じて、ロボット100を遠隔操作するための操作信号をロボット100へ送信する(S101)。ガイド端末200では、ガイド画面210の操縦パネル表示領域215に表示された操縦パネルをガイドGが操作すると、演算部220は、ガイドGの操作に応じて移動や撮像等の制御を示す操作信号を生成し、通信ユニット240を介して、ロボット100へ操作信号を送信する。
【0075】
次に、ロボット100は、操作信号に応じて移動動作や撮像動作を行い(S102)、位置情報や撮像画像をガイド端末200及び複数の参加者端末300へ送信する(S103)。ロボット100では、通信ユニット170がガイド端末200から操作信号を受信すると、制御部150は、受信した操作信号に応じて、台車駆動ユニット142や上体駆動ユニット143の駆動を制御し、カメラ131の撮像動作等を制御する。制御部150は、カメラ131により撮像された撮像画像及びGPSユニット135により検出された位置情報(緯度、経度等)を、通信ユニット170を介して、ガイド端末200及び複数の参加者端末300へ送信する。また、必要に応じて、ロボット100の周辺の地図情報や音声等をガイド端末200及び複数の参加者端末300へ送信する。
【0076】
なお、ロボット100からガイド端末200及び複数の参加者端末300のそれぞれへ位置情報及び撮像画像を送信してもよいし、ロボット100からガイド端末200へ位置情報及び撮像画像を送信し、さらにガイド端末200から複数の参加者端末300へ位置情報及び撮像画像を転送してもよい。
【0077】
次に、ガイド端末200及び複数の参加者端末300は、ロボット100から受信した情報を出力する(S104)。ガイド端末200では、通信ユニット240がロボット100から位置情報及び撮像画像を受信すると、演算部220(表示制御部222)は、ガイド画面210のロボット画像表示領域211に、受信したロボット100の撮像画像を表示し、地図表示領域212に、受信したロボット100の位置情報を表示する。また、ガイド端末200は、ロボット100から地図情報を受信している場合、地図表示領域212の地図情報を更新し、音声信号を受信している場合、スピーカ204から音声を出力する。
【0078】
ガイド端末200と同様に、参加者端末300では、通信ユニット340がロボット100から位置情報及び撮像画像を受信すると、演算部320は、参加者画面310のロボット画像表示領域311に、受信したロボット100の撮像画像を表示し、地図表示領域312に、受信したロボット100の位置情報を表示する。また、参加者端末300は、ロボット100から地図情報を受信している場合、地図表示領域312の地図情報を更新し、音声信号を受信している場合、スピーカ304から音声を出力する。
【0079】
次に、複数の参加者端末300は、各参加者Pの操作等に応じて、各参加者Pの興味関心を検出し(S105)、検出した興味関心を示す興味関心情報をガイド端末200へ送信する(S106)。参加者端末300の興味関心検出部321は、例えば、参加者Pの操作状態、発声状態、注目状態等に基づいて、参加者Pの興味関心を検出する。操作状態、発声状態、注目状態等のいずれかでもよいし、任意の複数の状態を用いてもよい。興味関心検出部321が興味関心を検出すると、興味関心通知部322は、検出された興味関心(各状態)の情報を、通信ユニット340を介してガイド端末200へ送信する。
【0080】
例えば、興味関心検出部321は、参加者画面310の表示(出力)に対する参加者Pの操作状態を検知し、検知された操作状態に基づいて、参加者Pの興味関心を検出する。例えば、興味関心通知部322は、検知した操作状態を含む興味関心情報を送信してもよい。検知する操作状態は、ロボット100の情報を表示した参加者画面310に対する参加者Pの操作における操作位置、操作回数、操作時間等の操作要素を含む。いずれかの操作要素を用いてもよいし、任意の複数の操作要素を用いてもよい。検出する操作は、表示パネル301のタッチパネルに対するタッチ操作でもよいし、マウス操作によるマウスポインタの移動やクリック操作でもよい。
【0081】
操作位置を検出する場合、参加者画面310上で操作された特定の位置を検出してもよいし、操作された位置を含む所定領域を検出してもよい。例えば、参加者画面310をいくつかの領域に分割し、操作された位置を含む分割領域を検出してもよい。興味関心検出部321は、ロボット画像表示領域311や地図表示領域312において操作された位置や領域を検出する。
【0082】
また、操作回数を検出する場合、所定期間におけるタッチ回数やマウスのクリック回数等を検出してもよい。操作時間を検出する場合、タッチ継続時間(長押し時間)やクリック継続時間等を検出してもよい。例えば、興味関心検出部321は、所定の領域において、所定の閾値よりもタッチ回数が大きい場合や、タッチ継続時間が長い場合に、該当領域の興味関心が高いこと(盛り上がっていること)を検出し送信してもよい。
【0083】
また、興味関心検出部321は、参加者画面310の表示に対する参加者Pの発声状態を検知し、検知された発声状態に基づいて、参加者Pの興味関心を検出する。興味関心通知部322は、検知した発声状態を含む興味関心情報を送信してもよい。検知する発声状態は、参加者Pが発した音声の音圧、発声時間、音声の認識結果(キーワード)等の発声要素を含む。いずれかの発声要素を用いてもよいし、任意の複数の発声要素を用いてもよい。
【0084】
興味関心検出部321は、例えば、マイク303により参加者Pの音声の音圧を検出する。マイク303により参加者Pが発声した音声の音圧を検出して、「おー!」「すごーい」といった盛り上がりを検出してもよい。発声時間を検出する場合、所定の音圧が継続する時間を検出してもよい。例えば、興味関心検出部321は、所定の閾値よりも参加者Pの音圧が大きい場合や、所定の音圧が所定の時間継続する場合に、参加者Pの興味関心が高まっていることを検出してもよい。
【0085】
また、興味関心検出部321は、音声認識により所定の音声を検出してもよい。例えば、マイク303が検出した参加者Pの音声に対し音声認識して、「おー!」「すごーい」といった盛り上がりを示す所定の音声を認識した場合に、参加者Pの興味関心が高まっていることを検出してもよい。この場合、興味関心に関連する所定のキーワードを認識することが好ましい。例えば、ロボット100の周辺の建物の名称や観光地に関連するキーワードでもよい。また、興味関心(盛り上がり)に対しポジティブなキーワードに限らず、ネガティブなキーワードを検出してもよい。なお、参加者端末300が遠隔コミュニケーションを行っている場合、遠隔コミュニケーションの音声をミュートした状態で、興味関心のための発声状態を検出してもよい。
【0086】
また、興味関心検出部321は、参加者画面310の表示に対する参加者の注目状態を検知し、検知された注目状態に基づいて、参加者Pの興味関心を検出してもよい。興味関心通知部322は、検知した注目状態を含む興味関心情報を送信してもよい。検知する注目状態は、参加者Pの顔の向き、参加者Pの視線の向き、注目位置、注目時間等の注目要素を含む。いずれかの注目要素を用いてもよいし、任意の複数の注目要素を用いてもよい。
【0087】
興味関心検出部321は、例えば、カメラ305の画像により参加者Pの顔の向きを検出し、また、視線センサを設けて参加者Pの視線の向きを検出する。興味関心検出部321は、参加者Pの顔の向きや視線の向きから参加者画面310上の注目位置(注目領域でもよい)を推定する。注目時間を検出する場合、所定の顔や視線の向きや所定の注目位置が継続する時間を検出してもよい。例えば、興味関心検出部321は、同じ顔や視線の向きや注目位置が所定の時間継続する場合に、当該位置(向き)における参加者Pの興味関心が高まっていることを検出してもよい。また、興味関心検出部321は、参加者Pの顔の向きに限らず、画像認識により参加者Pの顔の表情を検出してもよい。例えば、ポジティブな表情やネガティブな表情を検出してもよい。
【0088】
次に、ガイド端末200は、複数の参加者端末300から受信した興味関心情報を表示する(S107)。ガイド端末200では、通信ユニット240が複数の参加者端末300から興味関心情報を受信すると、興味関心分析部221は、受信した興味関心情報に基づいて複数の参加者Pの興味関心を分析し、表示制御部222は、分析結果をガイド画面210に表示する。興味関心分析部221は、参加者Pの操作状態、発声状態、注目状態等を集計処理や統計処理し、画面上で参加者Pが注目している部分を検出したり、参加者Pが盛り上がっている状況を検出し、検出結果をガイドGが認識可能に表示する。統計処理は、合計値、平均値、中央値、最大値、最小値等の処理を含み、画面の位置(領域)毎の統計や時間毎の統計を含む。例えば、ロボット100の情報を表示するガイド画面210において、興味関心情報に対応した位置を強調表示してもよいし、興味関心情報の時間的変化を表示してもよい。位置を強調表示する例として、ガイド画面210のロボット画像表示領域211にヒートマップを重畳表示してもよいし、時間的変化を表示する例として、ガイド画面210の興味関心表示領域216にレベルメータやグラフを表示してもよい。興味関心情報が示す興味関心の度合い(レベル)に応じた態様で表示することが好ましい。例えば、興味関心の度合いは、複数の参加者の操作状態における操作回数や操作時間、発声状態における音圧や発声時間、注目状態における注目時間等に基づいた値であり、各要素に重みづけを行ってもよい。なお、全ての参加者の統計結果をまとめて表示してもよいし、参加者毎の統計結果を認識可能に表示してもよい。興味関心を示している参加者の数を認識可能に表示してもよい。
【0089】
図9は、興味関心情報の分析結果をヒートマップにより表示する例である。図9に示すように、表示制御部222は、例えば、ガイド画面210のロボット画像表示領域211に興味関心情報に応じてヒートマップを表示する。ロボット画像表示領域211の撮像画像上でもよいし、地図表示領域212の地図情報上にヒートマップを表示してもよい。撮像画像や地図情報で参加者Pの注目が集まっている部分(盛り上がっている部分)に重なるように、興味関心の分布を視覚的に表示する。例えば、興味関心が高い(興味関心が集中している)領域を赤く表示し、注目(興味関心)のレベルに応じて濃淡や色を変えて表示する。
【0090】
図10は、興味関心情報の分析結果を円形等の図形により表示する例である。図10に示すように、表示制御部222は、例えば、ガイド画面210のロボット画像表示領域211に興味関心情報に応じて円形の枠を表示する。ロボット画像表示領域211の撮像画像上でもよいし、地図表示領域212の地図情報上に円形の枠を表示してもよい。撮像画像や地図情報で参加者Pの注目が集まっている部分(盛り上がっている部分)を囲むように、円形の枠を表示する。例えば、興味関心が高い(興味関心が集中している)領域を赤い枠で表示し、注目(興味関心)のレベルに応じて枠の色や大きさ、枠の太さ等を変えて表示する。なお、円形に限らず、その他の任意の形状でもよい。
【0091】
図11A及び図11Bは、興味関心情報の分析結果をレベルメータにより表示する例である。図11A及び図11Bに示すように、表示制御部222は、例えば、ガイド画面210の興味関心表示領域216に興味関心情報に応じたレベルのレベルメータを表示する。レベルメータには、現在の興味関心(盛り上がり)のレベル(高低)を表示する。図11Aのように、現在の興味関心が低い場合は、レベルメータに低いレベルを示し、図11Bのように、現在の興味関心が高い場合は、レベルメータに高いレベルを示す。レベルメータでは、レベルに応じて色を変えて表示してもよい。
【0092】
図12は、分析した興味関心情報の分析結果をグラフにより表示する例である。図12に示すように、表示制御部222は、例えば、ガイド画面210の興味関心表示領域216に興味関心情報に応じたレベルのグラフを表示する。グラフには、盛り上がりの時間的な変化を表示する。図12のように、興味関心のレベルを時系列に折れ線グラフに表示して盛り上がりの相対変化を表示する。折れ線グラフに限らず、棒グラフやその他のグラフでもよい。グラフでは、レベルや時間的変化に応じて色を変えて表示してもよい。
【0093】
図8に示すように、次に、ガイド端末200は、S101と同様に、ガイドGの操作に応じて、ロボット100を遠隔操作するための操作信号をロボット100へ送信する(S108)。ガイドGは、ガイド画面210に表示された興味関心情報から参加者Pの興味関心を把握し、例えば興味関心が高い方向へ移動するようガイド画面210の操縦パネル表示領域215の操縦パネルを操作する。演算部220は、ガイドGの操作に応じて操作信号を生成し、通信ユニット240を介して、ロボット100へ操作信号を送信する。その後、ロボット100は、S102と同様に、操作信号に応じて移動動作や撮像動作等を行う。
【0094】
以上のように、本実施の形態では、遠隔観光ツアー等を可能とする遠隔ロボットシステムにおいて、参加者の興味関心を検出する機能を備え、さらに、検出した結果をガイドの接続端末に提示する機能を備える。これにより、ガイドと参加者が遠隔で離れていても、参加者がどこに注目し、どこに興味があるかをガイドにフィードバックすることができる。このため、興味関心のある部分をガイドが説明したり、ロボットを移動して詳細に情報を得ることができる。したがって、参加者(利用者)の反応などの様子を把握しつつ、参加者の要望に沿うツアーを実施することができるため、参加者に適切に対応することが可能となる。
【0095】
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態では、実施の形態1の遠隔ロボットシステムにおいて、参加者の興味関心に応じてロボットの動作を自動的に制御する例について説明する。
【0096】
図13は、本実施の形態に係るガイド端末200の機能構成例を示すブロック図である。図13に示すように、ガイド端末200は、演算部220に制御方法決定部223を備える。その他の構成は、実施の形態1と同様である。制御方法決定部(遠隔制御決定部)223は、参加者端末300から通知された興味関心情報に基づいて、すなわち、興味関心分析部221が分析した参加者Pの興味関心に応じて、ロボット100の制御方法(遠隔操作方法)を決定する。
【0097】
図14は、本実施の形態に係る遠隔ロボットシステム10の動作例を示している。図14において、S101~S107は、実施の形態1と同様である。S107に続いて、ガイド端末200は、参加者Pの興味関心情報に応じて、ロボット100の制御方法を決定し(S110)、決定した制御方法の操作信号をロボット100へ送信する(S108)。興味関心分析部221が参加者Pの興味関心情報を分析し、表示制御部222が分析結果を表示すると、制御方法決定部223は、分析された参加者Pの興味関心情報に応じて、ロボット100の制御方法を決定する。なお、興味関心情報の表示を省略して、S110で制御方法を決定してもよい。
【0098】
例えば、制御方法決定部223は、ロボット100の移動方向、移動経路、移動速度等を含むロボット100の移動方法を決定する。制御方法決定部223は、分析された興味関心情報に応じて、複数あるツアー経路から興味関心の高い経路を自動的に選択してもよい。例えば、特定の建物を見ている参加者Pが多い場合、その建物の近くを通る経路を選択する。また、制御方法決定部223は、分析された興味関心情報に応じて、ロボット100の移動速度を制御してもよい。例えば、興味関心の大小に応じてロボット100の速度を調整し、興味関心のある個所の鑑賞時間を長く、興味関心が薄いところを短く制御してもよい。興味関心の高い場所では、速度を下げてもよいし、移動を停止してもよい。
【0099】
また、制御方法決定部223は、ロボット100の画像の撮像方向、音声の収音方向等を含むロボット100の情報取得方法を決定してもよい。制御方法決定部223は、分析された興味関心情報に応じて、ロボット100のカメラ131の撮像方向を自動的に興味関心のある方向へ向くよう制御してもよいし、カメラ131の撮像範囲をズームアップさせてもよい。同様にマイク132の収音方向を興味関心のある方向へ向くよう制御してもよい。
【0100】
なお、決定した制御方法に従って操作信号を送信することでロボット100を自動制御してもよいし、決定した制御方法をガイド画面210に表示して、ロボット100の移動経路等をガイドGにレコメンドしてもよい。また、制御方法の決定及び制御の実行は、ガイド端末200に限らず、他の装置で行ってもよい。
【0101】
以上のように、本実施の形態では、遠隔ロボットシステムにおいて、参加者の興味関心に応じてロボットの制御方法を決定するようにした。これにより、参加者の興味関心に応じて、ロボットを自動的に制御することができ、参加者に適切に対応することが可能となる。
【0102】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、遠隔ロボットシステムを遠隔観光ツアーに利用する例について説明したが、遠隔観光ツアーに限らず、その他の用途に利用してもよい。例えば、迷子などの所在不明者の捜索を遠隔で行う場合や、家族などの様子を遠隔で確認する場合に利用してもよい。複数の離れた利用者が利用し、ロボットを遠隔操作する場合に、どこにフォーカスして遠隔操作すべきかわからない場合に、上記実施の形態を有効に利用できる。
【0103】
上記実施の形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、1つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能(処理)を、CPUやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態における方法(制御方法)を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをCPUで実行することにより実現してもよい。
【0104】
これらのプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【符号の説明】
【0105】
10 遠隔ロボットシステム
100 ロボット
110 台車部
111 駆動輪
112 キャスター
120 本体部
121 胴部
122 頭部
123 アーム
124 ハンド
131 カメラ
132 マイク
133 スピーカ
134 レーザスキャナ
135 GPSユニット
141 表示パネル
142 台車駆動ユニット
143 上体駆動ユニット
150 制御部
160 メモリ
161 地図DB
170 通信ユニット
200 ガイド端末
201 表示パネル
202 入力ユニット
203 マイク
204 スピーカ
205 カメラ
210 ガイド画面
211 ロボット画像表示領域
212 地図表示領域
213 ガイド画像表示領域
214 参加者画像表示領域
215 操縦パネル表示領域
216 興味関心表示領域
220 演算部
221 興味関心分析部
222 表示制御部
223 制御方法決定部
230 メモリ
240 通信ユニット
300 参加者端末
301 表示パネル
302 入力ユニット
303 マイク
304 スピーカ
305 カメラ
310 参加者画面
311 ロボット画像表示領域
312 地図表示領域
313 自参加者画像表示領域
314 他参加者画像表示領域
315 ガイド画像表示領域
320 演算部
321 興味関心検出部
322 興味関心通知部
330 メモリ
340 通信ユニット
400 システムサーバ
500 インターネット
600 無線ルータ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図12
図13
図14