特開 2024-123375 情報処理装置、制御プログラムおよび制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123375

(43)【公開日】2024-09-12

(54)【発明の名称】情報処理装置、制御プログラムおよび制御方法

(51)【国際特許分類】

   G05D 1/00 20240101AFI20240905BHJP

   G05D 1/43 20240101ALI20240905BHJP

【ＦＩ】

G05D1/00 B

G05D1/02 H

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023030720

(22)【出願日】2023-03-01

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「企業連携実証実験基盤の開発・ 運営と企業コンソーシアム活動支援」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。／ 令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「利用者モニタリングと経験管理の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】太田 陽

(72)【発明者】

【氏名】宮下 敬宏

(72)【発明者】

【氏名】内海 章

(72)【発明者】

【氏名】西村 祥吾

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA01

5H301AA10

5H301BB14

5H301DD06

5H301DD07

5H301DD17

5H301GG08

5H301GG10

5H301GG17

(57)【要約】      （修正有）

【課題】人間毎に適切に安全を確保するとともに、情報セキュリティおよびプライバシーを保護する。
【解決手段】情報処理システム１０では、ネットワーク１４によって、サーバ１２、操作者端末１６およびロボット１８が連係する。ロボットは、表示装置３０に操作者のアバター２８を表示し、ユーザに所定のサービスを提供する。ロボットが、人間または／および地図上の禁止領域との距離が接近可能距離以下となる位置まで接近すると、サーバは移動を停止させる動作コマンドをロボットに送信する。したがって、ロボットは移動を停止する。
【選択図】図１

【特許請求の範囲】

【請求項1】

操作者端末およびロボットがネットワークを介して連係して、前記操作者端末の操作者が、前記ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置であって、
１または複数の侵入禁止領域が設定された環境地図である設定地図データを記憶する地図記憶手段、
１または複数の人間および１または複数の前記侵入禁止領域のそれぞれに対して接近可能な距離が設定された接近可能距離データを記憶する接近可能距離記憶手段、
前記ロボットのカメラで撮影された画像であるロボットカメラ画像のデータを受ける第１受信手段、
前記ロボットで検出された当該ロボットの現在位置および当該ロボットの周囲に存在する人間の識別情報および現在位置を受ける第２受信手段、
前記設定地図データに対応する環境地図を参照して、前記第２受信手段で受けた前記ロボットの現在位置と、当該ロボットの周囲に存在する１または複数の人間および１または複数の前記侵入禁止領域の各々との距離である２点間距離を算出する距離算出手段、
前記距離算出手段によって算出された２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在するかどうか判断する判断手段、および
前記判断手段によって前記２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在すると判断されたとき、前記ロボットの移動を停止させるコマンドである停止コマンドを前記ロボットに送信する停止コマンド送信手段を備える、情報処理装置。

【請求項2】

前記判断手段によって前記２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在すると判断されたとき、前記ロボットカメラ画像に、前記２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域を指示する指標画像を重ねる重畳手段、および
前記重畳手段によって指標画像が重ねられた前記ロボットカメラ画像のデータを前記操作者端末へ送信する画像送信手段をさらに備える、請求項１記載の情報処理装置。

【請求項3】

前記ロボットは、予め設定された、移動開始地点から１または複数の経由地点を経由して目標地点まで移動し、
前記停止コマンド送信手段によって前記ロボットに停止コマンドを送信した後に、前記２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域に接近しない領域である移動可能な領域に設定され、前記ロボットの現在位置から最も近い前記経由地点または前記目標地点に移動する移動コマンドを送信する移動コマンド送信手段をさらに備える、請求項１または２記載の情報処理装置。

【請求項4】

操作者端末およびロボットがネットワークを介して連係して、前記操作者端末の操作者が、前記ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置で実行される情報処理プログラムであって、
前記情報処理装置は、１または複数の侵入禁止領域が設定された環境地図である設定地図データを記憶する地図記憶手段、および、１または複数の人間および１または複数の前記侵入禁止領域のそれぞれに対して接近可能な距離が設定された接近可能距離データを記憶する接近可能距離記憶手段を備え、
前記情報処理プログラムは前記情報処理装置のプロセッサに、
前記ロボットのカメラで撮影された画像であるロボットカメラ画像のデータを受ける第１受信ステップ、
前記ロボットで検出された当該ロボットの現在位置および当該ロボットの周囲に存在する人間の識別情報および現在位置を受ける第２受信ステップ、
前記設定地図データに対応する環境地図を参照して、前記第２受信ステップで受けた前記ロボットの現在位置と、当該ロボットの周囲に存在する１または複数の人間および１または複数の前記侵入禁止領域の各々との距離である２点間距離を算出する距離算出ステップ、
前記距離算出ステップで算出した２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在するかどうか判断する判断ステップ、および
前記判断ステップにおいて前記２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在すると判断したとき、前記ロボットの移動を停止させるコマンドである停止コマンドを前記ロボットに送信する停止コマンド送信ステップを実行させる、情報処理プログラム。

【請求項5】

操作者端末およびロボットがネットワークを介して連係して、前記操作者端末の操作者が、前記ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置の情報処理方法であって、
前記情報処理装置は、１または複数の侵入禁止領域が設定された環境地図である設定地図データを記憶する地図記憶手段、および、１または複数の人間および１または複数の前記侵入禁止領域のそれぞれに対して接近可能な距離が設定された接近可能距離データを記憶する接近可能距離記憶手段を備え、
前記ロボットのカメラで撮影された画像であるロボットカメラ画像のデータを受け、
前記ロボットで検出された当該ロボットの現在位置および当該ロボットの周囲に存在する人間の識別情報および現在位置を受け、
前記設定地図データに対応する環境地図を参照して、受けた前記ロボットの現在位置と、当該ロボットの周囲に存在する１または複数の人間および１または複数の前記侵入禁止領域の各々との距離である２点間距離を算出し、
算出した２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在するかどうか判断し、
前記２点間距離が前記接近可能距離以内である前記人間または／および前記禁止領域が存在すると判断したとき、前記ロボットの移動を停止させるコマンドである停止コマンドを前記ロボットに送信する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理装置、制御プログラムおよび制御方法に関し、特にたとえば、操作者のアバターとして機能するロボットを制御する、情報処理装置、制御プログラムおよび制御方法に関する。

【背景技術】

【0002】

この種の従来の情報処理装置の一例が特許文献１に開示されている。この特許文献１には、表示装置に操作者の顔画像を表示して移動するロボットが開示されている。このロボットは、２次元距離計測装置の出力に基づいて周囲に存在する人間または障害物との距離を計測し、人間または障害物に衝突する可能性がある場合に、移動を停止する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－００４１８２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の特許文献１に開示されたロボットは、人間の年齢（子供または大人）および役割などの属性に関係無く、衝突の可能性がある場合に一律に停止するため、安全が確保されているが、ロボットを操作者のアバターとして機能させる場合には衝突の可能性があるだけで一律に停止することが適切でない場合もある。

【0005】

また、特許文献１に開示されたロボットでは、人間または障害物との衝突を未然に回避することで安全を確保することは考慮されているが、情報セキュリティおよびプライバシーを保護することについては考慮されていない。

【0006】

それゆえに、この発明の主たる目的は、新規な、情報処理装置、制御プログラムおよび制御方法を提供することである。

【0007】

また、この発明の他の目的は、人間毎に適切に安全を確保するとともに、情報セキュリティおよびプライバシーを保護することができる、情報処理装置、制御プログラムおよび制御方法を提供することである。

【課題を解決するための手段】

【0008】

第１の発明は、操作者端末およびロボットがネットワークを介して連係して、操作者端末の操作者が、ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置であって、１または複数の侵入禁止領域が設定された環境地図である設定地図データを記憶する地図記憶手段、１または複数の人間および１または複数の侵入禁止領域のそれぞれに対して接近可能な距離が設定された接近可能距離データを記憶する接近可能距離記憶手段、ロボットのカメラで撮影された画像であるロボットカメラ画像のデータを受ける第１受信手段、ロボットで検出された当該ロボットの現在位置および当該ロボットの周囲に存在する人間の識別情報および現在位置を受ける第２受信手段、設定地図データに対応する環境地図を参照して、第２受信手段で受けたロボットの現在位置と、当該ロボットの周囲に存在する１または複数の人間および１または複数の侵入禁止領域の各々との距離である２点間距離を算出する距離算出手段、距離算出手段によって算出された２点間距離が接近可能距離以内である人間または／および禁止領域が存在するかどうか判断する判断手段、および判断手段によって２点間距離が接近可能距離以内である人間または／および禁止領域が存在すると判断されたとき、ロボットの移動を停止させるコマンドである停止コマンドをロボットに送信する停止コマンド送信手段を備える、情報処理装置である。

【0009】

第２の発明は、第１の発明に従属し、判断手段によって２点間距離が接近可能距離以内である人間または／および禁止領域が存在すると判断されたとき、ロボットカメラ画像に、２点間距離が接近可能距離以内である人間または／および禁止領域を指示する指標画像を重ねる重畳手段、および重畳手段によって指標画像が重ねられたロボットカメラ画像のデータを操作者端末へ送信する画像送信手段をさらに備える。

【0010】

第３の発明は、第１または第２の発明に従属し、ロボットは、予め設定された、移動開始地点から１または複数の経由地点を経由して目標地点まで移動し、停止コマンド送信手段によってロボットに停止コマンドを送信した後に、２点間距離が接近可能距離以内である人間または／および禁止領域に接近しない領域である移動可能な領域に設定され、ロボットの現在位置から最も近い経由地点または目標地点に移動する移動コマンドを送信する移動コマンド送信手段をさらに備える。

【0011】

第４の発明は、操作者端末およびロボットがネットワークを介して連係して、操作者端末の操作者が、ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置で実行される情報処理プログラムであって、情報処理装置は、１または複数の侵入禁止領域が設定された環境地図である設定地図データを記憶する地図記憶手段、および、１または複数の人間および１または複数の侵入禁止領域のそれぞれに対して接近可能な距離が設定された接近可能距離データを記憶する接近可能距離記憶手段を備え、情報処理プログラムは情報処理装置のプロセッサに、ロボットのカメラで撮影された画像であるロボットカメラ画像のデータを受ける第１受信ステップ、ロボットで検出された当該ロボットの現在位置および当該ロボットの周囲に存在する人間の識別情報および現在位置を受ける第２受信ステップ、設定地図データに対応する環境地図を参照して、第２受信ステップで受けたロボットの現在位置と、当該ロボットの周囲に存在する１または複数の人間および１または複数の侵入禁止領域の各々との距離である２点間距離を算出する距離算出ステップ、距離算出ステップで算出した２点間距離が接近可能距離以内である人間または／および禁止領域が存在するかどうか判断する判断ステップ、および判断ステップにおいて２点間距離が接近可能距離以内である人間または／および禁止領域が存在すると判断したとき、ロボットの移動を停止させるコマンドである停止コマンドをロボットに送信する停止コマンド送信ステップを実行させる、情報処理プログラムである。

【0012】

第５の発明は、操作者端末およびロボットがネットワークを介して連係して、操作者端末の操作者が、ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置の情報処理方法であって、情報処理装置は、１または複数の侵入禁止領域が設定された環境地図である設定地図データを記憶する地図記憶手段、および、１または複数の人間および１または複数の侵入禁止領域のそれぞれに対して接近可能な距離が設定された接近可能距離データを記憶する接近可能距離記憶手段を備え、ロボットのカメラで撮影された画像であるロボットカメラ画像のデータを受け、ロボットで検出された当該ロボットの現在位置および当該ロボットの周囲に存在する人間の識別情報および現在位置を受け、設定地図データに対応する環境地図を参照して、受けたロボットの現在位置と、当該ロボットの周囲に存在する１または複数の人間および１または複数の侵入禁止領域の各々との距離である２点間距離を算出し、算出した２点間距離が接近可能距離以内である人間または／および禁止領域が存在するかどうか判断し、２点間距離が接近可能距離以内である人間または／および禁止領域が存在すると判断したとき、ロボットの移動を停止させるコマンドである停止コマンドをロボットに送信する、情報処理方法である。

【発明の効果】

【0013】

この発明によれば、人間毎に適切に安全を確保するとともに、情報セキュリティおよびプライバシーを保護することができる。

【0014】

この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0015】

【図1】図１はこの発明の一実施例の情報処理システムを示す図である。

【図2】図２は図１に示すサーバの電気的な構成の一例を示すブロック図である。

【図3】図３は図１に示す操作者端末の電気的な構成の一例を示すブロック図である。

【図4】図４は図１に示すロボットの電気的な構成の一例を示すブロック図である。

【図5】図５は操作者端末に表示されるＵＩ画面の一例を示す図である。

【図6】図６は接近可能距離テーブルの一例を示す図である。

【図7】図７は環境地図に禁止領域が設定された設定地図の一例を示す図である。

【図8】図８（Ａ）はＵＩ画面に表示されるロボットカメラ画像の一例を示す図であり、図８（Ｂ）はＵＩ画面に表示されるロボットカメラ画像の他の例を示す図である。

【図9】図９は図２に示すサーバのＲＡＭのメモリマップの一例を示す図である。

【図10】図１０は図３に示す操作者端末のＲＡＭのメモリマップの一例を示す図である。

【図11】図１１は図４に示すロボットのＲＡＭのメモリマップの一例を示す図である。

【図12】図１２は図２に示すサーバのＣＰＵの停止制御処理の一例の一部を示すフロー図である。

【図13】図１３は図２に示すサーバのＣＰＵの停止制御処理の一例の他の一部であって、図１２に後続するフロー図である。

【図14】図１４は図２に示すサーバのＣＰＵの所定のサービスの実行中における送受信処理の一例の一部を示すフロー図である。

【図15】図１５は図２に示すサーバのＣＰＵの所定のサービスの実行中における送受信処理の一例の他の一部であって、図１４に後続するフロー図である。

【発明を実施するための形態】

【0016】

図１を参照して、この実施例の情報処理システム１０はサーバ１２を含み、サーバ１２は、ネットワーク１４を介して、操作者端末１６およびロボット１８に通信可能に接続される。

【0017】

操作者端末１６は、操作者によって操作され、主として、ロボット１８を制御するために使用される。この実施例では、操作者は、サーバ１２によって提供されるアバターを用いた所定のサービスを利用する者（サービスユーザ）である。ロボット１８は、操作者のアバターとして機能する。この実施例の情報処理システム１０では、操作者端末１６およびロボット１８がネットワーク１４を介して連係して、操作者端末１６の操作者が、ロボット１８を通して後述する対話エージェントと対話する。

【0018】

所定のサービスは、所定の環境（たとえば、企業のオフィス、店舗、博物館、美術館、水族館または科学館など）に配置されるロボット１８を、遠隔に存在する操作者のアバターとして機能させ、アバターすなわちロボット１８が所定の環境内を自由に動き回って利用されるサービスである。

【0019】

この場合、操作者は、ロボット１８を通して、オフィス内に存在する人間と対話する。また、操作者は、ロボット１８を通して、店舗、博物館、美術館、水族館または科学館などに存在する案内人である人間の説明を聞いたり、案内人である人間と対話したりする。つまり、操作者と対話する人間は、操作者の対話相手（すなわち、対話エージェント）である。

【0020】

なお、図１では、１台の操作者端末１６および１台のロボット１８を示してあるが、実際には、複数の操作者端末１６および複数のロボット１８が設けられる、操作者が所定のサービスを利用する場合に、サーバ１２によって、当該操作者（操作者端末１６）に対して１台のロボット１８が割り当てられる。以下、１台の操作者端末１６および１台のロボット１８を用いて説明するが、同じ内容が他の操作者端末１６および他のロボット１８にも当てはまる。

【0021】

サーバ１２は、情報処理装置の一例であり、汎用のサーバを用いることができる。この実施例では、サーバ１２は、アバターを用いた所定のサービスを提供するウェブサイトを運営する。設定地図データベース（以下、「設定地図ＤＢ」という）１２ａと接近可能距離データベース（以下、「接近可能距離ＤＢ」という）１２ｂがサーバ１２に接続されている。設定地図ＤＢ１２ａは、ロボット１８が配置される所定の場所または所定の施設のマップ（環境地図）上に、侵入することが禁止されている領域（以下、「禁止領域」という）が設定されたデータである。接近可能距離ＤＢ１２ｂは、ロボット１８が接近可能な距離を、各人間および各禁止領域について指定されたデータである。ただし、接近可能な距離が指定される人間は、個人を識別可能な人間（会話エージェントを含む）個人であるが、個人を識別できない人間については接近可能な一定の距離が指定されている。

【0022】

なお、設定地図ＤＢ１２ａおよび接近可能距離ＤＢ１２ｂは、サーバ１２に内蔵されるＨＤＤに設けてもよいし、ネットワーク１４を介して通信可能に設けてもよい。

【0023】

ネットワーク１４は、インターネットを含むＩＰ網（または、ＩＰネットワーク）と、このＩＰ網にアクセスするためのアクセス網（または、アクセスネットワーク）とから構成される。アクセス網としては、公衆電話網、携帯電話網、有線ＬＡＮ、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等を用いることができる。

【0024】

操作者端末１６は、サーバ１２とは異なる他の情報処理装置であり、一例として、デスクトップ型ＰＣである。他の例では、操作者端末１６として、スマートフォン、タブレットＰＣまたはノート型ＰＣなどの汎用の端末を用いることもできる。

【0025】

ロボット１８は、自律行動可能な、いわゆるテレプレゼンス（または、テレイグジステンス）ロボットであり、市販の移動型のロボットを用いることができる。一例として、ロボット１８としては、出願人が開発等したロボビー(登録商標)またはDouble Robotics, Incが販売するロボットDouble 3を使用することができる。ただし、ロボット１８は、このような特定のロボットに限られることなく、特許文献１で開示しているようなロボットも利用可能である。

【0026】

なお、一例として、ロボット１８を自律行動させる方法としては、特開２００９－１３１９１４号に開示された方法を採用することができる。

【0027】

実施例においては、操作者は、操作者端末１６を操作して、ロボット１８にタスク（動作）を実行させるためのコマンドを、サーバ１２を介してロボット１８に送信する。また、操作者端末１６は、操作者の音声をマイク８２で検出し、検出した音声をサーバ１２を介してロボット１８に送信する。したがって、ロボット１８のスピーカ１１２から操作者の音声が出力される。ただし、操作者の音声は、他のキャラクタの音声に変換されて出力されてもよい。さらに、操作者端末１６は、操作者の画像（以下、「操作者画像」という）をカメラ８８で撮影し、撮影した操作者画像をサーバ１２を介してロボット１８に送信する。この実施例では、操作者画像は、操作者の顔画像である。したがって、ロボット１８の表示装置３０には、操作者の顔画像が表示される。

【0028】

一方、ロボット１８は、対話エージェントまたは／および環境の画像をカメラ１２２で撮影し、撮影した画像（以下、「ロボットカメラ画像」という）をサーバ１２を介して操作者端末１６に送信する。したがって、操作者端末１６では、ロボット１８から見た画像すなわち対話エージェントまたは／および環境の画像が表示装置８０に表示される。また、ロボット１８は、対話エージェントの音声を含む周囲の音をマイク１１０で検出し、検出した音声をサーバ１２を介して操作者端末１６に送信する。したがって、操作者端末１６のスピーカ１１２から対話エージェントの音声を含む音が出力される。

【0029】

したがって、操作者は、対話エージェントの顔を見ながら対話したり、環境を見ながらロボット１８を操作したりすることができる。

【0030】

また、ロボット１８は、ベース２０を含み、このベース２０の正面には移動用センサの１つである超音波センサ２２が設けられる。このベース２０の両端には左右の移動用車輪２４Ｌおよび２４Ｒが回転自在に設けられる。

【0031】

ベース２０の上面には、上方に延びるポール２６が設けられ、そのポール２６の上端には、操作者の画像（たとえば、顔画像）２８を表示することができる、表示装置３０が設けられる。なお、この表示装置３０には、タッチパネル、カメラ、マイクおよびスピーカ等が設けられるが、詳細は図４に示すブロック図を参照して説明する。また、このロボット１８は、バッテリ駆動型のロボットであり、バッテリはたとえばポール２６の中に収容されている。

【0032】

図２は図１に示したサーバ１２の電気的な構成を示すブロック図である。図２に示すように、サーバ１２はＣＰＵ５０を含み、ＣＰＵ５０は、内部バスを介して、ＲＡＭ５２、通信部５４および入出力インタフェース（以下、「入出力Ｉ／Ｆ」という）５６に接続される。

【0033】

ＣＰＵ５０は、サーバ１２の全体的な制御を司る。ただし、ＣＰＵ５０に代えて、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）を設けてもよい。ＲＡＭ５２は、サーバ１２の主記憶装置であり、ＣＰＵ５０のワーク領域およびバッファ領域として用いられる。

【0034】

図示は省略するが、サーバ１２は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。

【0035】

通信部５４は、ＣＰＵ５０の制御の下、ネットワーク１４を介して、操作者端末１６およびロボット１８などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部５４としては、有線ＬＡＮのみならず、無線ＬＡＮまたはBluetooth（登録商標）等を使用することもできる。

【0036】

入出力Ｉ／Ｆ５６には、入力装置５８および表示装置６０が接続されている。入力装置５８として、キーボードおよびコンピュータマウスが用いられる。表示装置６０は、ＬＣＤまたは有機ＥＬディスプレイである。

【0037】

入出力Ｉ／Ｆ５６は、入力装置５８から入力された操作データ（または、操作情報）をＣＰＵ５０に出力するとともに、ＣＰＵ５０によって生成された画像データを表示装置６０に出力して、画像データに対応する画面を表示装置６０に表示させる。

【0038】

なお、図２に示すサーバ１２の電気的な構成は一例であり、限定される必要はない。

【0039】

図３は図１に示した操作者端末１６の電気的な構成を示すブロック図である。図３に示すように、操作者端末１６はＣＰＵ７０を含み、ＣＰＵ７０は、内部バスを介して、ＲＡＭ７２、通信部７４および入出力Ｉ／Ｆ７６に接続される。

【0040】

ＣＰＵ７０は、操作者端末１６の全体的な制御を司る。ただし、ＣＰＵ７０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。ＲＡＭ７２は、操作者端末１６の主記憶装置であり、ＣＰＵ７０のワーク領域およびバッファ領域として用いられる。

【0041】

図示は省略するが、操作者端末１６は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。

【0042】

通信部７４は、ＣＰＵ７０の制御の下、ネットワーク１４を介して、サーバ１２およびロボット１８などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部７４としては、有線ＬＡＮのみならず、無線ＬＡＮまたはBluetooth（登録商標）等を使用することもできる。

【0043】

入出力Ｉ／Ｆ７６には、入力装置７８および表示装置８０、マイク８２およびスピーカ８４が接続されている。入力装置７８として、キーボードおよびコンピュータマウスが用いられる。さらに、タッチパネルが設けられる場合もある。表示装置８０は、ＬＣＤまたは有機ＥＬディスプレイである。

【0044】

ただし、操作者端末１６として、スマートフォンが用いられる場合には、入力装置７８は、タッチパネルおよびハードウェアのボタンである。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。

【0045】

入出力Ｉ／Ｆ７６は、マイク８２で検出された操作者の音声をデジタルの音声データに変換してＣＰＵ７０に出力するとともに、ＣＰＵ７０によって出力される音声データをアナログの音声信号に変換してスピーカ８４から出力させる。ただし、実施例では、ＣＰＵ５０から出力される音声データは、ロボット１８から受信した音声データである。また、入出力Ｉ／Ｆ７６は、入力装置７８から入力された操作データ（または、操作情報）をＣＰＵ７０に出力するとともに、ＣＰＵ７０によって生成された画像データを表示装置８０に出力して、画像データに対応する画面または画像を表示装置８０に表示させる。ただし、この実施例では、表示装置８０に表示されるＵＩ画面２００（図５参照）には、ロボット１８から送信されたロボットカメラ画像データも出力される。ロボットカメラ画像データは、ロボット１８のカメラ１２２で撮影された画像（動画像または静止画像）の画像データである。

【0046】

また、操作者端末１６は、センサＩ／Ｆ８６およびカメラ８８を備えている。ＣＰＵ７０は、バスおよびセンサＩ／Ｆ８６を介してカメラ８８に接続される。カメラ８８は、ＣＣＤまたはＣＭＯＳのような撮像素子を用いたカメラである。

【0047】

なお、図３に示す操作者端末１６の電気的な構成は一例であり、限定される必要はない。

【0048】

また、操作者端末１６がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この実施例では、そのような通話は行わないため、図示は省略してある。

【0049】

図４は図１に示したロボット１８の電気的な構成を示すブロック図である。図４に示すように、ロボット１８はＣＰＵ１００を含み、ＣＰＵ１００は、内部バスを介して、ＲＡＭ１０２、通信部１０４および入出力Ｉ／Ｆ１０６に接続される。

【0050】

ＣＰＵ１００は、ロボット１８の全体的な制御を司る。ただし、ＣＰＵ１００に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。ＲＡＭ５２は、操作者端末１６の主記憶装置であり、ＣＰＵ１００のワーク領域およびバッファ領域として用いられる。

【0051】

図示は省略するが、ロボット１８は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。

【0052】

通信部１０４は、ＣＰＵ１００の制御の下、ネットワーク１４を介して、サーバ１２および操作者端末１６などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部１０４としては、無線ＬＡＮまたはBluetooth（登録商標）等を使用することができる。

【0053】

入出力Ｉ／Ｆ１０６には、入力装置１０８および表示装置３０、マイク１１０およびスピーカ１１２が接続されている。入力装置１０８として、緊急停止用のハードウェアのボタンなどが設けられる。さらに、入力装置１０８として、表示装置３０の表示面に重ねてタッチパネルが設けられる。表示装置３０は、ＬＣＤまたは有機ＥＬディスプレイである。一例として、タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。

【0054】

入出力Ｉ／Ｆ１０６は、マイク１１０で検出された対話エージェントの音声をデジタルの音声データに変換してＣＰＵ１００に出力するとともに、ＣＰＵ１００によって出力される音声データをアナログの音声信号に変換してスピーカ１１２から出力させる。ただし、実施例では、ＣＰＵ１００から出力される音声データは、操作者端末１６から受信した音声データである。また、入出力Ｉ／Ｆ１０６は、入力装置１０８から入力された操作データ（または、操作情報）をＣＰＵ１００に出力するとともに、ＣＰＵ１００によって生成（または、出力）された画像データを表示装置３０に出力して、画像データに対応する画面または画像を表示装置３０に表示させる。ただし、この実施例では、表示装置３０には、操作者端末１６から送信されたカメラ８８の映像（カメラ画像、すなわち、動画像または静止画像）が表示される。つまり、操作者の顔画像が表示装置３０に表示される。ただし、操作者の顔画像に代えて、操作者に対応するキャラクタの顔画像が表示装置３０に表示されてもよい。

【0055】

また、ロボット１８は、モータドライバ１１４を備え、モータドライバ１１４はバスを介してＣＰＵ１００に接続される。モータドライバ１１４は、ＣＰＵ１００の命令に従って、ロボット１８の右車輪２４Ｒを回転させる右車輪モータ１１６の駆動を制御するとともに、ロボット１８の左車輪２４Ｌを回転させる左車輪モータ１１８の駆動を制御する。

【0056】

また、ロボット１８は、センサＩ／Ｆ１２０、カメラ１２２、レーザ距離計（ＬＲＦ）１２４、ＬＲＦ１２６、超音波センサ２２および慣性計測ユニット１２８を備えている。

【0057】

ＣＰＵ１００は、バスおよびセンサＩ／Ｆ１２０を介して、カメラ１２２、ＬＲＦ１２４、ＬＲＦ１２６、超音波センサ２２および慣性計測ユニット１２８にそれぞれ接続される。

【0058】

カメラ１２２は、ＣＣＤまたはＣＭＯＳのような撮像素子を用いたカメラである。図１では省略したが、カメラ１２２は、表示装置３０の上端部または下端部に設けられ、ロボット１８の前方の所定範囲（画角で決まる範囲）を撮影する。したがって、カメラ１２２は、ロボット１８に対面し、ロボット１８を通して操作者と対話する対話エージェントまたは／およびロボット１８が配置されたり移動したりする環境を撮影する。また、ロボット１８は、撮影した画像に含まれる顔画像を認識することで、予め顔画像が登録されている人間を個別に特定する。

【0059】

ＬＲＦ１２４は、一般に、レーザ光を照射し、それが対象（物体や人体など）で反射して戻ってくるまでの時間から距離を計測する。この実施例のＬＲＦ１２４（後述する、ＬＲＦ１２６も同じ）は、軸の周りをたとえば±４５度の範囲で回転するミラー（図示せず）を含み、レーザ光の進路をこの回転ミラーでたとえば０．６度ずつ変化させながら計測を行う（レーザ光でスキャンする）ことができる。以下では、ＬＲＦ１２４によってレーザ光でスキャン（走査）される平面をスキャン面と呼ぶ。また、ＬＲＦ１２４で計測可能な距離は、レーザ光が人間の目に影響を与えないよう、所定距離Ｒ（たとえば１５ｍ）以下に制限されている。このため、ＬＲＦ１２４の計測領域（すなわち、スキャン面）は、たとえば扇形、つまり半径Ｒで中心角９０度の扇形となる。なお、スキャン面（扇形）の中心角は９０度とは限らず、たとえば１８０度や３６０度などでもよい。

【0060】

この実施例では、ＬＲＦ１２４は、特定の人間を追跡するためなどの目的で設けられるものである。ＬＲＦ１２６は、このロボット１８の自律移動のためのものである。ＬＲＦ１２４は、ＬＲＦ１２６と兼用されてもよい。つまり、ロボット１８の移動中と、ロボット１８の移動を停止してアバター２８による対話中と
で、１つのＬＲＦを使い分けるようにしてもよい。

【0061】

ロボット１８は、ＬＲＦ１２４の出力に基づいて、ロボット１８またはＬＲＦ１２４に対する対象物までの距離および向きを検出することができる。したがって、ロボット１８は、検出した自身の現在位置と、ＬＲＦ１２４を用いて検出される対象物までの距離および向きに基づいて、対象物の現在位置を検出（算出）することができる。

【0062】

また、ロボット１８は、ＬＲＦ１２６の出力に基づいて、ＳＬＡＭ（Simultaneous Localization and Mapping）により、ロボット１８が移動する環境の地図を作成するとともに、作成する環境の地図内における現在位置を推定し、それらに基づいて自身のナビゲーションを行う。この実施例では、ＬＲＦ１２６は水平方向における障害物との距離を計測するため、ロボット１８の周辺の障害物についての２次元の地図が作成される。したがって、ロボット１８が作成する環境の地図は、ロボット１８（ＬＲＦ１２６）を真上方向から見た２次元の地図である。以下、ロボット１８が作成する環境の地図を「作成地図」と呼ぶことにする。また、ロボット１８は、自身が配置される環境について予め作成された環境の地図（この実施例では、後述する「設定地図」）を記憶している。作成地図における原点と設定地図における原点を合わせるとともに、作成地図における方位と設定地図における方位を合わせておくことにより、設定地図（または、作成地図）におけるロボット１８の現在位置が推定される。

【0063】

超音波センサ２２は、超音波を用いた汎用の距離センサである。超音波センサ２２は、ロボット１８の前方に存在する対象物（人間または物）までの距離を計測する。一例として、超音波センサ２２の水平方向における検知範囲は１０度－４５度であり、計測可能な距離は５ｍ－１５ｍである。上記のとおり、ＬＲＦ１２８が設けられるため、超音波センサ２２は設けなくてもよい。

【0064】

慣性計測ユニット１２８は３次元の慣性運動（直交３軸方向の並進運動および回転運動）を検出する装置であって、加速度センサによって並進運動を検出し、角速度(ジャイロ)センサによって回転運動を検出する。

【0065】

なお、図４に示すロボット１８の電気的な構成は一例であり、限定される必要はない。

【0066】

上述したように、ロボット１８は、自律行動可能であり、配置された環境において予め決定されたスタート地点（移動開始地点）からゴール地点（目標地点）まで経路探索を行いながら移動することができる。ただし、スタート地点とゴール地点の間に、１または複数の経由地点が設定されてもよい。また、経路探索の方法としては、標準的な方法、すなわち、ウォーシャルフロイド法、ダイクストラ法、Ａ＊アルゴリズム、ポテンシャル法、RRT (Rapidly exploring Random Tree)などを用いることができる。スタート地点、ゴール地点および１または複数の経由地点は、サーバ１２の管理者または操作者によって予め指定されている。

【0067】

また、ロボット１８は、操作者の遠隔操作に従って、配置された環境において自由に移動することも可能である。操作者端末１６でロボット１８の移動等を操作することは既に周知であり、ここではその遠隔操作についての詳細な説明は省略する。

【0068】

図５に示すＵＩ画面２００は、ロボット１８を遠隔操作するための画面である。ＵＩ画面２００には、表示領域２０２、２０４および２０６が設けられる。表示領域２０２は、ロボット１８に設けられたカメラ１２４で撮影された映像（動画像または静止画像）を表示するための領域である。

【0069】

表示領域２０４は、ロボット１８の移動を制御するコマンド(以下、「動作コマンド」という)を入力するための複数のボタンを表示する。この実施例では、表示領域２０４には、ボタン２１０、２１２、２１４、２１６および２１８が表示される。ボタン２１０は、ロボット１８を前進させるためのボタンである。ボタン２１２は、ロボット１８を左折または左旋回させるためのボタンである。ボタン２１４は、ロボット１８を右折または右旋回させるためのボタンである。ボタン２１６は、ロボット１８を停止させるためのボタンである。ボタン２１８は、ロボット１８を後進させるためのボタンである。

【0070】

詳細な説明は省略するが、ボタン２１０またはボタン２１８がオンされている状態で、ボタン２１２がオンされと、ロボット１８は前進または後進しながら左に曲がる。また、ボタン２１０またはボタン２１８がオンされている状態で、ボタン２１４がオンされると、ロボット１８は前進または後進しながら右に曲がる。ロボット１８が停止している状態で、ボタン２１２がオンされると、ロボット１８は反時計回りに進行方向を変える。また、ロボット１８が停止している状態で、ボタン２１４がオンされると、ロボット１８は時計回りに進行方向を変える。

【0071】

表示領域２０６は、ロボット１８の行動を制御する動作コマンドを入力するための複数のボタンを表示する。この実施例では、表示領域２０６には、ボタン２２０、２２２および２２４が表示される。ボタン２２０は、ロボット１８を頷かせるためのボタンである。ボタン２２２は、ロボット１８に首を振らせるためのボタンである。ボタン２２４は、ロボット１８にお辞儀させるためのボタンである。

【0072】

なお、詳細な説明は省略するが、ロボット１８は、表示装置３０を前方に傾けた後に元の位置に戻すことで、頷く。また、ロボット１８は、表示装置３０を左および右に１０度から１５度ずつ回動させ、これを２回繰り返すことで、首を振る。さらに、ロボット１８は、右車輪２４Ｒおよび左車輪２４Ｌを前方に１０度から２０度回動した後に元の位置に戻すことにより、ポール２６および表示装置３０を前に１０度から２０度傾けた後に直立した状態に戻すことで、お辞儀する。

【0073】

図１および図４では省略するが、ロボット１８は、少なくとも、表示装置３０の表示面を前後および左右に回転させる機構を備えている。さらに、ロボット１８は、表示装置３０の表示面を左右に傾ける機構を備えていてもよい。

【0074】

また、図５に示したロボット１８を制御する動作コマンドは一例であり、使用するロボット１８が備える機能に応じて適宜変更および設定可能である。

【0075】

ロボット１８が自律行動する場合および遠隔操作で移動等する場合のいずれの場合にも、上述したように、ロボット１８から送信されるカメラ画像の画像データ（動画像または静止画像のデータ）および音声データがサーバ１２を介して操作者端末１６で受信され、操作者端末１６でカメラ画像および音声が出力されることにより、操作者は、ロボット１８の周囲を見たり、ロボット１８の周囲の状況を把握したり、ロボット１８の表示装置３０に対面している対話エージェントと対話したりすることができる。

【0076】

この実施例のロボット１８は、環境内に存在する人間との衝突を回避するため、環境内の人間等を検知すると移動を停止する。ただし、対話エージェントとは対話する必要があるため、ロボット１８は比較的近くまで接近する必要がある。また、ロボット１８は、対話エージェントでない人間とは或る程度距離を取って安全を確保する必要がある。或る程度距離を取る場合であっても、子供の場合には行動が分かり難いため、大人と比べて子供との距離は長くするべきである。

【0077】

したがって、この実施例では、ロボット１８が人間に接近可能な距離（以下、「接近可能距離」という）は、人間毎の役割、大人および子供のような属性に応じて設定される。

【0078】

また、この実施例のロボット１８は、環境内を移動し、その際、ロボット１８のカメラ１２４で撮影されたカメラ画像が操作者端末１６の表示装置６０に表示される。環境内においては、情報セキュリティおよびプライバシーを保護するべき対象が存在する領域または場所（以下、「禁止領域」という）が存在する。このため、ロボット１８が禁止領域へ侵入（または、接近）することを禁止し、情報セキュリティおよびプライバシーを保護する必要がある。

【0079】

ただし、情報セキュリティおよびプライバシーを保護するべき対象の内容等は様々であるため、ロボット１８が禁止領域に接近可能な距離（接近可能距離）は、禁止領域毎に個別に設定される。一例として、禁止領域は、トイレおよびＡＴＭが設置された領域に加え、オフィスにおける個人情報または特定従業員のみに公開している情報を扱う領域、および、店舗、博物館、美術館、水族館または科学館などにおけるバックヤード、倉庫および厨房のような顧客の立ち入りが禁止されている領域に設定される。

【0080】

図６は接近可能距離テーブルの一例を示す。接近可能距離テーブルでは、人間または禁止領域に対応して接近可能な距離（以下、「接近可能距離」という）が記載される。人間または禁止領域の欄には、人間または領域を識別（特定）するための識別情報が記載される。図６に示す例では、識別情報をアルファベット１文字で示してあるが、人間の名称および禁止領域に割り当てた名称でもよい。接近可能距離は、対応する人間または禁止領域に対してロボット１８が接近可能な距離である。図６に示す例では、距離ｄ１、ｄ２、ｄ３、…、ｄｎを示してあるが、異なる数字が付されている場合でも同じ距離に設定されていることもある。

【0081】

なお、ロボット１８が配置された環境には、個人を特定できない人間が存在する場合もあるため、接近可能距離テーブルでは、個人を特定できない人間についての接近可能距離も設定されている。

【0082】

図７は禁止領域が設定された環境の地図（以下、「設定地図」という）の一例を示す図である。設定地図は、予め作成された、ロボット１８が配置される環境を真上方向から見た２次元の地図であり、予め作成された環境の地図上に禁止領域が設定される。図７では省略するが、環境の地図には、現実空間における、通路、柱、壁、部屋に加え、通路および部屋に設置された机および棚などの障害物が記載される。したがって、路、柱、壁および障害物が配置された領域および禁止領域以外をロボット１８は移動することができる。ロボット１８が移動することができる領域が、後述する「移動可能領域」である。禁止領域は、四角枠で囲んで設定される。図７に示す例では、禁止領域には、四角枠に斜線を付して示してある。ただし、実際には、禁止領域は、設定地図上における座標で規定されている。

【0083】

サーバ１２は、ロボット１８の現在位置と１または複数の人間の現在位置からロボット１８と１または複数の当該人間の距離（２点間距離）を検出（算出）し、１または複数の当該人間の各々に対して設定されている接近可能距離を接近可能距離テーブルから取得して、ロボット１８が１または複数の当該人間の接近可能距離以下に近づいているかどうかを判断する。

【0084】

また、サーバ１２は、設定地図を参照して、ロボット１８と１または複数の禁止領域の距離（２点間距離）を検出（算出）し、１または複数の当該禁止領域の各々に対して設定されている接近可能距離を接近可能距離テーブルから取得して、ロボット１８が１または複数の当該禁止領域の接近可能距離以下に近づいているかどうかを判断する。

【0085】

ロボット１８が、１または複数の人間、または／および、１または複数の禁止領域の接近可能距離以下に近づいている場合には、サーバ１２は、ロボット１８に移動を停止させるための動作コマンドを送信する。ロボット１８は、サーバ１２から移動を停止させるための動作コマンドを受信すると、操作者からの動作コマンドに関係無く、移動を停止する。

【0086】

また、このとき、操作者には、接近可能距離以下である人間または／および禁止領域が報知される。この実施例では、サーバ１２は、ロボットカメラ画像において、接近可能領域以下の人間または／および禁止領域の画像に所定の指標画像を重ねる（重畳する）。この実施例では、所定の指標画像は、人間の顔画像および禁止領域の画像の中心であり、顔画像および禁止領域の画像の前面に重ねられる。

【0087】

なお、ロボットカメラ画像における人間の顔画像の位置は、ロボット１８において顔認識処理が実行されたときに、顔画像の範囲が特定されるため、ロボットカメラ画像に人間の顔画像の位置の情報が付加される。

【0088】

また、ロボットカメラ画像における禁止領域の位置は、一般的なＡＲ（Augmented Reality）における位置合わせ問題の解決手法を用いて決定される。たとえば、ビジョンベースの位置合わせ手法（自然特徴ベース位置合わせ手法など）を用いれば、カメラ１２２から取得した画像の特徴（点や線など）の現実世界における３次元座標と、画像における２次元座標との対応関係を何組か取得して、カメラ１２２の位置および姿勢をリアルタイムに算出し、それらに合わせて、ロボットカメラ画像における禁止領域の位置および姿勢を決定することができる。一例として、参考文献（情報処理 Vol.51 No.4 Apr. 2010 P373-P378 特集 拡張現実感（ＡＲ） ２．基礎２：位置合わせ技術（http://id.nii.ac.jp/1001/00069294/）に開示された手法を用いることができる。

【0089】

図８（Ａ）は接近可能距離が設定された個人を含むロボットカメラ画像３００の一例を示し、図８（Ｂ）は接近可能距離が設定された禁止領域を含むロボットカメラ画像３００の一例を示す。ただし、図８（Ａ）では人間以外の背景は省略してある。また、図８（Ｂ）で禁止領域以外の背景は省略してある。さらに、禁止領域の近くに人間が存在する場合もある。また、図８（Ａ）および図８（Ｂ）に示すロボットカメラ画像３００は、ＵＩ画面２００に表示されるカメラ画像の例である。

【0090】

図８（Ａ）のロボットカメラ画像３００では、人間Ａの肩から上の画像が表示される。また、人間Ａの顔画像を囲むように指標画像３０２が表示される。一例として、指標画像３０２は所定の色の四角枠の画像である。他の例では、指標画像３０２は、他の形状の枠の画像でもよいし、枠の画像に代えて「接近注意」などの文字であってもよい。

【0091】

図８（Ｂ）のロボットカメラ画像３００では、禁止領域Ｚの一部を含む画像が表示される。また、禁止領域Ｚに重なるように指標画像３０４が表示される。一例として、指標画像３０４は所定の色の円形状の枠の中に「侵入禁止」の文字列を記載した画像である。他の例では、指標画像３０４は、他の形状の枠の画像でもよいし、「侵入禁止」の文字は無くてもよい。

【0092】

図８（Ａ）および図８（Ｂ）に示すようなロボットカメラ画像３００が表示されることで、操作者は、人間との衝突を回避したり、禁止領域への侵入を回避したりすることができる。ただし、この実施例では、人間または／および禁止領域がロボットカメラ画像３００に含まれている場合であっても、ロボット１８が当該人間または／および当該禁止領域に対して接近可能距離以下に近づいていない場合には、指標画像（３０２および３０４）は表示されない。

【0093】

図９はサーバ１２に内蔵されるＲＡＭ５２のメモリマップ４００の一例を示す。図９に示すように、ＲＡＭ５２は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、この実施例のサーバ１２で実行される情報処理プログラムが記憶されている。

【0094】

情報処理プログラムは、通信プログラム４０２ａ、停止制御プログラム４０２ｂ、距離判定プログラム４０２ｃおよび接近報知プログラム４０２ｄなどを含む。

【0095】

通信プログラム４０２ａは、外部の機器、この実施例では、操作者端末１６およびロボット１８とネットワーク１４を介して通信（データの送信および受信）するためのプログラムである。

【0096】

停止制御プログラム４０２ｂは、ロボット１８と人間または／および禁止領域の距離が接近可能距離以下である場合に、ロボット１８の移動を停止させるためのプログラムである。この実施例では、サーバ１２のＣＰＵ５０は、停止制御プログラム４０２ｂに従ってロボット１８の移動を停止させる動作コマンドをロボット１８に送信する。

【0097】

距離判定プログラム４０２ｃは、ロボット１８と各人間および各禁止領域との距離を算出し、ロボット１８と各人間および各禁止領域の距離が接近可能距離以下であるかどうかを判定する。ただし、人間および禁止領域毎の接近可能距離は、接近可能距離テーブルに設定されている。

【0098】

接近報知プログラム４０２ｄは、距離判定プログラム４０２ｃに従ってロボット１８と人間または／および禁止領域の距離が接近可能距離以下であることが判定された場合に、ロボットカメラ画像において、接近可能距離以下の禁止領域または／および人間に指標画像を重ねて、操作者端末１６に送信するためのプログラムである。このとき、通信プログラム４０２ａも実行される。

【0099】

図示は省略するが、プログラム記憶領域４０２には、サーバ１２のオペレーティングシステムおよびミドルウェアとは別に所定のサービスを提供するために必要な他のプログラムも記憶される。

【0100】

また、データ記憶領域４０４には、設定地図データ４０４ａ、接近可能距離データ４０４ｂ、ロボットカメラ画像データ４０４ｃ、ロボット検出音声データ４０４ｄ、操作者画像データ４０４ｅ、操作者音声データ４０４ｆ、動作コマンドデータ４０４ｇ、現在位置データ４０４ｈ、人間情報データ４０４ｉ、現在距離データ４０４ｊおよび接近報知データ４０４ｋなどが記憶される。

【0101】

設定地図データ４０４ａは、上述した設定地図についてのデータであり、禁止領域の座標データを含む。禁止領域は、２次元平面上の矩形の領域で設定され、対角となる２つの頂点の座標の座標データが記憶される。

【0102】

接近可能距離データ４０４ｂは、人間または禁止領域の各々に設定された接近可能距離についてのデータであり、具体的には、図６に示したような接近可能距離テーブルについてのデータである。

【0103】

ロボットカメラ画像データ４０４ｃは、ロボット１８に設けられたカメラ１２４で撮影され、ロボット１８から受信したカメラ画像のデータである。ロボット検出音声データ４０４ｄは、ロボット１８に設けられたマイク１１０で検出され、ロボット１８から受信した音声のデータである。この音声には、対話エージェント（すなわち、人間）の音声が含まれる場合がある。

【0104】

操作者画像データ４０４ｅは、操作者端末１６に設けられたカメラ８８で撮影され、操作者端末１６から受信した操作者の画像のデータである。操作者音声データ４０４ｆは、操作者端末１６に設けられたマイク８２で検出され、操作者端末１６から受信した音声のデータである。この音声は、基本的には、操作者の音声である。

【0105】

動作コマンドデータ４０４ｇは、サーバ１２から受信した、操作者の操作による動作コマンドのデータである。

【0106】

現在位置データ４０４ｈは、ロボット１８で検出された当該ロボット１８の現在位置のデータである。人間情報データ４０４ｉは、ロボット１８で検出されたロボット１８の周囲に存在する人間の情報のデータである。人間の情報は、ロボット１８の位置に対する人間の現在位置および当該人間が登録された人間であるかどうかを示す情報である。

【0107】

現在距離データ４０４ｊは、ロボット１８と、ロボット１８の近傍に存在する各人間および各禁止領域の距離についてのデータである。

【0108】

接近報知データ４０４ｋは、ロボットカメラ画像データ４０４ｃが示すカメラ画像において、現在距離が接近可能距離以下である人間または／および禁止領域に対応する画像に重ねる指標画像についてのデータである。

【0109】

図示は省略するが、データ記憶領域４０４には、情報処理を実行するために必要な他のデータが記憶されたり、情報処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。

【0110】

図１０は操作者端末１６に内蔵されるＲＡＭ７２のメモリマップ５００の一例を示す。図１０に示すように、ＲＡＭ７２は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２には、この実施例の操作者端末１６で実行される情報処理プログラムが記憶されている。

【0111】

情報処理プログラムは、通信プログラム５０２ａ、操作検出プログラム５０２ｂ、撮影画像取得プログラム５０２ｃ、画像表示プログラム５０２ｄ、音検出プログラム５０２ｅおよび音出力プログラム５０２ｆなどを含む。

【0112】

通信プログラム５０２ａは、外部の機器、この実施例では、サーバ１２およびロボット１８と有線または無線で通信（データの送信および受信）するためのプログラムである。

【0113】

操作検出プログラム５０２ｂは、操作者の操作に従って入力装置７８から入力される操作データを検出し、データ記憶領域５０４に記憶するためのプログラムである。ただし、ＵＩ画面２００に設けられたボタン２１０－２２４が操作された場合には、操作されたボタン２１０－２２４に割り当てられた操作情報（動作コマンドを含む）のデータが操作データとして検出される。

【0114】

撮影画像取得プログラム５０２ｃは、カメラ８８で撮影された撮影画像データを取得するためのプログラムである。

【0115】

画像表示プログラム５０２ｄは、ＵＩ画面２００の表示画像データを生成し、生成した表示画像データを表示装置８０に出力するためのプログラムである。ＵＩ画面２００の表示画像データには、サーバ１２から受信したロボットカメラ画像データ５０４ｃも含まれる。

【0116】

音検出プログラム５０２ｅは、マイク８２から入力される操作者の音声を検出し、検出した音声に対応する操作者音声データ５０４ｆをデータ記憶領域５０４に一時的に記憶するためのプログラムである。

【0117】

音出力プログラム５０２ｆは、サーバ１２から受信したロボット検出音声データ５０４ｄをスピーカ８４に出力するためのプログラムである。また、音出力プログラム５０２ｆは、音検出プログラム５０２ｅで検出した操作者音声データ５０４ｆをサーバ１２に送信（または、出力）するためのプログラムでもある。このとき、通信プログラム５０２ａも実行される。

【0118】

図示は省略するが、プログラム記憶領域５０２には、操作者端末１６のオペレーティングシステム、任意のミドルウェアおよび任意のアプリケーションを実行するためのプログラムも記憶される。

【0119】

また、データ記憶領域５０４には、操作データ５０４ａ、ＵＩ画面データ５０４ｂ、ロボットカメラ画像データ５０４ｃ、ロボット検出音声データ５０４ｄ、操作者画像データ５０４ｅおよび操作者音声データ５０４ｆなどが記憶される。

【0120】

操作データ５０４ａは、操作検出プログラム５０２ｂに従って検出された操作データであり、動作コマンドデータを含む。操作データ５０４ａは、サーバ１２に送信されたり、操作者端末１６の処理に利用されたりした後に消去される。

【0121】

ＵＩ画面データ５０４ｂは、図５に示したＵＩ画面２００を表示するための画像データである。

【0122】

ロボットカメラ画像データ５０４ｃは、サーバ１２から受信したロボットカメラ画像データである。

【0123】

ロボット検出音声データ５０４ｄは、サーバ１２から受信したロボット検出音声データである。

【0124】

操作者画像データ５０４ｅは、カメラ８８から取得した撮影画像データであり、サーバ１２に送信された後に消去される。

【0125】

操作者音声データ５０４ｆは、マイク８２で検出された音声データであり、サーバ１２に送信された後に消去される。

【0126】

図示は省略するが、データ記憶領域５０４には、情報処理を実行するために必要な他のデータが記憶されたり、情報処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。

【0127】

図１１はロボット１８に内蔵されるＲＡＭ１０２のメモリマップ６００の一例を示す。図１１に示すように、ＲＡＭ１０２は、プログラム記憶領域６０２およびデータ記憶領域６０４を含む。プログラム記憶領域６０２には、この実施例のロボット１８で実行される制御プログラムが記憶されている。

【0128】

制御プログラムは、通信プログラム６０２ａ、動作実行プログラム６０２ｂ、撮影画像取得プログラム６０２ｃ、画像表示プログラム６０２ｄ、音検出プログラム６０２ｅ、音出力プログラム６０２ｆ、現在位置検出プログラム６０２ｇおよび人間特定プログラム６０２ｈなどを含む。

【0129】

通信プログラム６０２ａは、外部の機器、この実施例では、サーバ１２およびロボット１８と有線または無線で通信（データの送信および受信）するためのプログラムである。

【0130】

動作実行プログラム６０２ｂは、自律行動またはサーバ１２から受信した操作者の操作データ（動作コマンド）に従う動作を実行するためのプログラムである。

【0131】

撮影画像取得プログラム６０２ｃは、カメラ１２２で撮影された撮影画像データを取得するためのプログラムである。

【0132】

画像表示プログラム６０２ｄは、サーバ１２から受信した操作者画像データ６０４ｅを表示装置３０に出力するためのプログラムである。

【0133】

音検出プログラム６０２ｅは、マイク１１０から入力される操作者の音声等を検出し、検出した音声に対応するロボット検出音声データ６０４ｄをデータ記憶領域６０４に一時的に記憶するためのプログラムである。

【0134】

音出力プログラム６０２ｆは、サーバ１２から受信した操作者音声データ６０４ｆをスピーカ１１２に出力するためのプログラムである。また、音出力プログラム６０２ｆは、音検出プログラム６０２ｅで検出したロボット検出音声データ６０４ｄをサーバ１２に送信（または、出力）するためのプログラムでもある。このとき、通信プログラム６０２ａも実行される。

【0135】

現在位置検出プログラム６０２ｇは、ＬＲＦ１２４および１２６の出力に基づいて、ロボット１８の現在位置およびロボット１８の位置に対する人間の現在位置を検出するためのプログラムである。

【0136】

人間特定プログラム６０２ｈは、顔認証を行うことで、ロボット１８の周辺に存在する人間が人間管理データ６０４ａに登録された人間であるかを特定するためのプログラムである。

【0137】

図示は省略するが、プログラム記憶領域６０２には、ロボット１８のオペレーティングシステム、任意のミドルウェアおよび任意のアプリケーションを実行するためのプログラムも記憶される。

【0138】

また、データ記憶領域６０４には、人間管理データ６０４ａ、設定地図データ６０４ｂ、ロボットカメラ画像データ６０４ｃ、ロボット検出音声データ６０４ｄ、操作者画像データ６０４ｅ、操作者音声データ６０４ｆ、動作コマンドデータ６０４ｇ、作成地図データ６０４ｈ、現在位置データ６０４ｉおよび人間情報データ６０４ｊなどが記憶される。

【0139】

人間管理データ６０４ａは、ロボット１８が提供するサービスを受けることが登録されている人間を管理するためのデータであって、この実施例では、登録されている人間の識別情報に当該人間の顔画像を紐づけたデータである。

【0140】

設定地図データ６０４ｂは、サーバ１２が管理する設定地図のデータであり、サーバ１２から取得しても良いし、予めロボット１８の補助記憶装置に記憶しておき、補助記憶装置から読み出されてもよい。ただし、この実施例では、サーバ１２が禁止領域への接近を判断し、ロボット１８は禁止領域を区別する必要がないため、設定地図データ６０４ｂに代えて、ロボット１８が配置される環境地図のデータが記憶されてもよい。

【0141】

ロボットカメラ画像データ６０４ｃは、ロボット１８が備えるカメラ１２２で撮影されたカメラ画像のデータであって、データ記憶領域６０４に一時的に記憶される。

【0142】

ロボット検出音声データ６０４ｄは、ロボット１８が備えるマイク１１０で検出された操作者等の音声のデータであって、データ記憶領域６０４に一時的に記憶される。

【0143】

動作コマンドデータ６０４ｇは、サーバ１２から受信した、操作者の操作による動作コマンドのデータである。

【0144】

作成地図データ６０４ｈは、ロボット１８が作成する環境地図についてのデータである。

【0145】

現在位置データ６０４ｉは、ロボット１８が検出したロボット１８自身の現在位置についての座標データである。設定地図および作成地図上の原点は、サーバ１２の管理者等によって、同じ位置に予め決定される。

【0146】

人間情報データ６０４ｊは、ロボット１８の周辺に存在する１または複数の人間の識別情報および各人間の現在位置についてのデータである。

【0147】

図示は省略するが、データ記憶領域６０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。

【0148】

図１２および図１３は、サーバ１２のＣＰＵ５０の停止制御処理を示すフロー図である。図１４および図１５はサーバ１２のＣＰＵ５０の送受信処理を示すフロー図である。ＣＰＵ５０は、停止制御処理および送受信処理を並行して実行する。ただし、図１４および図１５に示す送受信処理は、ロボット１８が所定のサービスを提供する場合において実行される送受信処理である。また、サーバ１２のＣＰＵ５０は、サーバ１２が提供するサービスを利用する操作者の操作者端末１６毎に、停止制御処理および送受信処理を実行する。

【0149】

なお、図示は省略するが、操作者端末１６のＣＰＵ７０は、操作データ５０４ａを検出したり、操作者画像データ５０４ｅを検出したり、操作者音声データ５０４ｆを取得したりして、各データをサーバ１２に送信する処理（すなわち、送信処理）を実行したり、サーバ１２から送信されたロボットカメラ画像データ４０４ｃおよびロボット検出音声データ４０４ｄを受信する処理（すなわち、受信処理）を実行したり、受信したロボットカメラ画像データ４０４ｃおよびロボット検出音声データ４０４ｄを出力したりする。

【0150】

また、図示は省略するが、ロボット１８のＣＰＵ１００は、ロボットカメラ画像データ６０４ｃを検出したり、ロボット検出音声データ６０４ｄを検出したり、現在位置データ６０４ｉを検出したり、人間情報データ６０４ｊを検出したりして、各データをサーバ１２に送信する送信処理を実行したり、サーバ１２から送信された操作者画像データ６０４ｅ、操作者音声データ６０４ｆおよび動作コマンドデータ６０４ｇを受信する受信処理を実行したり、受信した操作者画像データ６０４ｅおよび操作者音声データ６０４ｆを出力したり、動作コマンドデータ６０４ｇに従う動作を実行したりする。

【0151】

図１２に示すように、サーバ１２のＣＰＵ５０は停止制御処理を開始すると、ステップＳ１で、設定地図データを設定地図ＤＢ１２ａから取得するとともに、接近可能距離データを接近可能距離ＤＢ１２ｂから取得する。したがって、サーバ１２のＲＡＭ５２には、設定地図データ４０４ａおよび接近可能距離データ４０４ｂが記憶される。

【0152】

次のステップＳ３では、ロボット１８の現在位置および人間の情報を取得する。上述したように、ロボット１８の現在位置および人間の情報はロボット１８で検出され、ロボット１８からサーバ１２に送信される。

【0153】

続くステップＳ５では、ロボット１８から送信されるロボットカメラ画像を取得する。つまり、ＣＰＵ５０は、ロボットカメラ画像データ４０４ｃを受信し、データ記憶領域４０４に一時的に記憶する。さらに、ステップＳ７で、ロボット１８と各禁止領域および各人間の距離を算出する。

【0154】

図１３に示すように、ステップＳ９で、接近可能距離以下の禁止領域または／および人間が存在するかどうかを判断する。ここでは、ＣＰＵ５０は、接近可能距離データ４０４ｂを参照して、現在距離データ４０４ｊが示す距離のうち、接近可能距離以下となる禁止領域または／および人間が存在するかどうかを判断する。

【0155】

ステップＳ９で“ＮＯ”であれば、つまり、接近可能距離以下の禁止領域および人間が存在しなければ、ステップＳ１９に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり、接近可能距離以下の禁止領域または／および人間が存在すれば、ステップＳ１１で、ロボット１８に停止命令すなわち移動を停止させる動作コマンドを送信する。ロボット１８は、停止命令を受信すると、操作者（操作者端末１６）からの動作コマンドに関係なく、移動を停止する。

【0156】

次のステップＳ１３では、接近可能距離以下の禁止領域または／および人間を報知する。したがって、後述するように、ロボットカメラ画像において、接近可能距離以下の禁止領域または／および人間に指標画像を重ねて、操作者端末１６に送信する（ステップＳ６７）。

【0157】

次のステップＳ１５では、移動可能な領域の経由地点または目標地点までの最短経路を算出し、ステップＳ１７で、ロボット１８に、最短経路および移動命令を送信して、ステップＳ１９に進む。

【0158】

そして、ステップＳ１９で、サービスの終了かどうかを判断する。ステップＳ１９で“ＮＯ”であれば、つまり、サービスの終了でなければ、ステップＳ３に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまり、サービスの終了であれば、停止制御処理を終了する。

【0159】

また、図１４に示すように、ＣＰＵ５０は、送受信処理を開始すると、ステップＳ５１で、操作者端末１６から操作者画像データ４０４ｅを受信したかどうかを判断する。ステップＳ５１で“ＮＯ”であれば、つまり、操作者画像データ４０４ｅを受信していなければ、ステップＳ５５に進む。

【0160】

一方、ステップＳ５１で“ＹＥＳ”であれば、つまり、操作者画像データ４０４ｅを受信すれば、データ記憶領域４０４に一時的に記憶し、ステップＳ５３で、操作者画像データ４０４ｅをロボット１８に送信して、ステップＳ５５に進む。したがって、操作者の画像がロボット１８の表示装置３０に表示される。

【0161】

ステップＳ５５では、操作者端末１６から操作者音声データ４０４ｆを受信したかどうかを判断する。ステップＳ５５で“ＮＯ”であれば、つまり、操作者音声データ４０４ｆを受信していなければ、ステップＳ５９に進む。一方、ステップＳ５５で“ＹＥＳ”であれば、つまり、操作者音声データ４０４ｆを受信すれば、データ記憶領域４０４に一時的に記憶し、ステップＳ５７で、操作者音声データ４０４ｆをロボット１８に送信して、ステップＳ５９に進む。したがって、操作者の音声がロボット１８のスピーカ１１２から出力される。

【0162】

ステップＳ５９では、操作者端末１６から動作コマンドデータ４０４ｇを受信したかどうかを判断する。ステップＳ５９で“ＮＯ”であれば、つまり、動作コマンドデータ４０４ｇを受信していなければ、図１５に示すステップＳ６３に進む。一方、ステップＳ５９で“ＹＥＳ”であれば、つまり、動作コマンドデータ４０４ｇを受信すれば、データ記憶領域４０４に一時的に記憶し、ステップＳ６１で、動作コマンドデータ４０４ｇをロボット１８に送信して、ステップＳ６３に進む。

【0163】

図１５に示すように、ステップＳ６３で、ロボット１８からロボットカメラ画像データ４０４ｃを受信したかどうかを判断する。ステップＳ６３で“ＮＯ”であれば、つまり、ロボットカメラ画像データ４０４ｃを受信していなければ、ステップＳ７１に進む。ステップＳ６３で“ＹＥＳ”であれば、つまり、ロボットカメラ画像データ４０４ｃを受信すれば、データ記憶領域４０４に一時的に記憶し、ステップＳ６５で、禁止領域または／および人間を報知するかどうかを判断する。

【0164】

ステップＳ６５で“ＹＥＳ”であれば、つまり、禁止領域または／および人間を報知する場合には、ステップＳ６７で、指標画像を重ねたロボットカメラ画像データ４０４ｃを操作者端末１６に送信して、ステップＳ７１に進む。したがって、操作者端末１６では、指標画像を重ねたロボットカメラ画像を含むＵＩ画面２００が表示装置８０に表示される。一方、ステップＳ６５で“ＮＯ”であれば、つまり、禁止領域または／および人間を報知しない場合には、ステップＳ６９で、ロボットカメラ画像データ４０４ｃを操作者端末１６に送信して、ステップＳ７１に進む。したがって、操作者端末１６では、指標画像を重ねていないロボットカメラ画像を含むＵＩ画面２００が表示装置８０に表示される。

【0165】

ステップＳ７１では、ロボット１８からロボット検出音声データ４０４ｄを受信したかどうかを判断する。ステップＳ７１で“ＮＯ”であれば、つまり、ロボット検出音声データ４０４ｄを受信していなければ、ステップＳ７５に進む。ステップＳ７１で“ＹＥＳ”であれば、つまり、ロボット検出音声データ４０４ｄを受信すれば、データ記憶領域４０４に一時的に記憶し、ステップＳ７３で、ロボット検出音声データ４０４ｄを操作者端末１６に送信して、ステップＳ７５に進む。したがって、操作者端末１６では、スピーカ８４からロボット検出音声が出力される。

【0166】

ステップＳ７５では、サービスの終了かどうかを判断する。ステップＳ７５で“ＮＯ”であれば、ステップＳ５１に戻る。一方、ステップＳ７５で“ＹＥＳ”であれば、送受信処理を終了する。

【0167】

この実施例によれば、操作者のアバターとして機能するロボットとの距離が接近可能距離以下の禁止領域または／および人間が存在する場合に、ロボットを強制的に停止させるので、人間毎に適切に安全を確保するとともに、情報セキュリティおよびプライバシーを保護することができる。

【0168】

なお、この実施例では、操作者端末は、操作者画像データ、操作者音声データおよび動作コマンドを、サーバを介してロボットに送信するようにしたが、これらのデータは、サーバを介さずにロボットに直接送信されてもよい。

【0169】

また、この実施例では、サーバで、ロボットと人間または／禁止領域の距離が接近可能距離以下であるかどうかを判断し、ロボットと人間または／禁止領域の距離が接近可能距離以下である場合に、ロボットカメラ画像に指標画像が重畳されるようにしたが、操作者端末またはロボットがこれらのサーバの処理を実行するようにしてもよい。かかる場合には、サーバの処理を実行する操作者端末またはロボットに、設定地図ＤＢおよび接近可能距離ＤＢが設けられたり、サーバの処理を実行する操作者端末またはロボットが、設定地図ＤＢおよび接近可能距離ＤＢにアクセス可能にされたりする。

【0170】

なお、この実施例では、ロボットの現在位置および人間の情報をロボットが検出するようにしたが、これに限定される必要はない。ロボットおよび人間にＩＣタグまたはＲＦＩＤタグを装着し、ロボットが配置される環境に環境センサとして複数のＬＲＦおよび複数のタグリーダを設けることにより、環境センサの出力に基づいてサーバがロボットの現在位置および人間の情報を検出するようにしてもよい。この場合、複数のＬＲＦおよび複数のタグリーダの出力に基づいてロボットおよび人間の現在位置が追跡され、タグリーダの出力に基づいてロボットおよび個人が特定される。一例として、特開２０１０－２２４８７８に開示された技術を用いることができる。

【0171】

また、この実施例では、ロボットは、ＬＲＦの出力に基づいてＳＬＡＭにより環境地図を作成し、作成した環境地図を用いて自身の現在位置を推定するようにしたが、限定される必要はない。

【0172】

ロボットは、たとえば右車輪モータおよび左車輪モータに関連して設けられるエンコーダ（図示せず）からの車輪回転情報を利用して、自身の現在位置を計算するような位置検出装置を備えていてもよい。

【0173】

また、ロボットが配置される環境の床に位置検出用のマット（床センサ）を敷設して、ロボットの現在位置を検出するようにしてもよい。この場合、床センサの出力に基づいて人間の現在位置も検出することが可能である。

【0174】

また、上述の実施例で示したフロー図の各ステップは同じ結果が得られる場合には、処理する順番を変更することが可能である。

【0175】

さらに、上述の実施例で挙げた各種の画面、具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。

【符号の説明】

【0176】

１０ …情報処理システム
１２ …サーバ
１４ …ネットワーク
１６ …操作者端末
１８ …ロボット
５０、７０、１００ …ＣＰＵ
５２、７２、１０２ …ＲＡＭ
５４、７４、１０４ …通信Ｉ／Ｆ
５６、７６、１０６ …入出力Ｉ／Ｆ
５８、７８、１０８ …入力装置
３０、６０、８０ …表示装置
８２、１１０ …マイク
８４、１１２ …スピーカ
８６、１２０ …センサＩ／Ｆ
８８、１２２ …カメラ
１２４、１２６ …ＬＲＦ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】