特開 2023-56421 制御システム、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023056421

(43)【公開日】2023-04-19

(54)【発明の名称】制御システム、制御方法及びプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20230412BHJP

   G06F 3/01 20060101ALI20230412BHJP

   G10L 13/00 20060101ALI20230412BHJP

【ＦＩ】

G06F3/16 620

G06F3/16 690

G06F3/16 610

G06F3/16 650

G06F3/01 510

G10L13/00 100A

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021165790

(22)【出願日】2021-10-07

(11)【特許番号】

(45)【特許公報発行日】2023-02-01

(71)【出願人】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(72)【発明者】

【氏名】高橋 ともみ

(72)【発明者】

【氏名】宋 思超

(72)【発明者】

【氏名】馬場 惇

(72)【発明者】

【氏名】吉川 雄一郎

(72)【発明者】

【氏名】石黒 浩

(72)【発明者】

【氏名】中西 惇也

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA16

5E555AA48

5E555AA61

5E555AA76

5E555BA02

5E555BB02

5E555BC04

5E555BD07

5E555CA42

5E555CA47

5E555CB64

5E555CC22

5E555DA23

5E555DA31

5E555DD06

5E555EA22

5E555EA23

5E555FA00

(57)【要約】

【課題】人と対話するロボットを遠隔から操作する操作者の心的負荷を軽減することが可能である制御システム、端末装置、制御方法及びプログラムを提供する。
【解決手段】制御システムは、ロボットとロボットの周囲とが撮像された画像を生成するカメラと、画像を見ながらロボットを操作することが可能な操作者がロボットを操作中でなく且つロボットの周囲にユーザが居ないと判定された場合、ロボットの顔が操作者に見えるようにロボットの顔をカメラに向けて、所定のメッセージを操作者に提示する制御部とを備える。制御部は、テキストの表示と合成音声の出力とのうちの少なくとも一方を用いて、所定のメッセージを提示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットと前記ロボットの周囲とが撮像された画像を生成するカメラと、
前記画像を見ながら前記ロボットを操作することが可能な操作者が前記ロボットを操作中でなく且つ前記ロボットの周囲にユーザが居ないと判定された場合、前記ロボットの顔が前記操作者に見えるように前記ロボットの顔を前記カメラに向けて、所定のメッセージを前記操作者に提示する制御部と
を備える制御システム。

【請求項2】

前記制御部は、テキストの表示と合成音声の出力とのうちの少なくとも一方を用いて、前記所定のメッセージを提示する、
請求項１に記載の制御システム。

【請求項3】

前記制御部は、前記操作者以外の第三者による操作に応じて、前記所定のメッセージを提示する、
請求項２に記載の制御システム。

【請求項4】

前記カメラは、前記ロボットの後ろ姿を、前記ロボットの背後から撮像し、
前記制御部は、前記ロボットの顔が前記操作者に見えるように、前記ロボットの顔を振り向かせる、
請求項１から請求項３のいずれか一項に記載の制御システム。

【請求項5】

前記制御部は、前記操作者以外の第三者による操作に応じて、前記ロボットの顔を振り向かせる、
請求項４に記載の制御システム。

【請求項6】

前記制御部は、前記操作者からの応答に応じて、前記操作者に提示される前記所定のメッセージを変更する、
請求項１から請求項５のいずれか一項に記載の制御システム。

【請求項7】

前記制御部は、前記操作者からの応答と前記操作者以外の第三者による操作とに応じて、前記操作者に提示される前記所定のメッセージを変更する、
請求項６に記載の制御システム。

【請求項8】

制御システムが実行する制御方法であって、
ロボットと前記ロボットの周囲とが撮像された画像を生成するカメラステップと、
前記画像を見ながら前記ロボットを操作することが可能な操作者が前記ロボットを操作中でなく且つ前記ロボットの周囲にユーザが居ないと判定された場合、前記ロボットの顔が前記操作者に見えるように前記ロボットの顔をカメラに向けて、所定のメッセージを前記操作者に提示する制御ステップと
を含む制御方法。

【請求項9】

請求項１から請求項７のいずれか一項に記載の制御システムとしてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御システム、制御方法及びプログラムに関する。

【背景技術】

【0002】

操作者の音声を用いてロボットの動作を遠隔から制御するシステム（制御システム）がある。このような制御システムでは、操作者の音声の認識結果に対応付けられた動作内容に応じて、ロボットが動作する。特許文献１に開示された制御システムでは、操作者は、端末装置に音声を入力する。制御装置は、端末装置から送信された音声信号に応じて、ロボットの動作を制御する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０６４２９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなロボットは、例えばホテルのロビー等に設置され、そのホテルの顧客への接客業務に用いられることがある。接客するロボット（人と対話するロボット）を遠隔から操作する操作者は、感情を作り出すことが求められている。そのような場面においては、操作者が作り出す感情と操作者が実際に抱いている感情との不一致から、操作者は心的負担を感じやすい（感情的不協和）。例えば、接客するロボットが操作者によって操作されていることに顧客が気づいていない場合がある。このような場合、接客するロボットが顧客から高圧的な態度を取られた等の理由で、そのロボットを遠隔から操作する操作者が心的負荷を感じることがある。また例えば、接客の途中で顧客がロボットの前から立ち去った等の理由で、操作者が心的負荷を感じることがある。操作者が心的負荷を感じることは、ロボットが接客業務に用いられる場合に限られない。このように、人と対話するロボットを遠隔から操作する操作者の心的負荷を軽減することができないという問題がある。

【0005】

上記事情に鑑み、本発明は、人と対話するロボットを遠隔から操作する操作者の心的負荷を軽減することが可能である制御システム、制御方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、ロボットと前記ロボットの周囲とが撮像された画像を生成するカメラと、前記画像を見ながら前記ロボットを操作することが可能な操作者が前記ロボットを操作中でなく且つ前記ロボットの周囲にユーザが居ないと判定された場合、前記ロボットの顔が前記操作者に見えるように前記ロボットの顔を前記カメラに向けて、所定のメッセージを前記操作者に提示する制御部とを備える制御システムである。

【0007】

本発明の一態様は、制御システムが実行する制御方法であって、ロボットと前記ロボットの周囲とが撮像された画像を生成するカメラステップと、前記画像を見ながら前記ロボットを操作することが可能な操作者が前記ロボットを操作中でなく且つ前記ロボットの周囲にユーザが居ないと判定された場合、前記ロボットの顔が前記操作者に見えるように前記ロボットの顔をカメラに向けて、所定のメッセージを前記操作者に提示する制御ステップとを含む制御方法である。

【0008】

本発明の一態様は、上記の制御システムとしてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0009】

本発明により、人と対話するロボットを遠隔から操作する操作者の心的負荷を軽減することが可能である。

【図面の簡単な説明】

【0010】

【図1】実施形態における、制御システムの構成例を示す図である。

【図2】実施形態における、ロボットとカメラとの外観例を示す図である。

【図3】実施形態における、動作内容の例を示す図である。

【図4】実施形態における、表示画像の第１例を示す図である。

【図5】実施形態における、表示画像の第２例を示す図である。

【図6】実施形態における、表示画像の第３例を示す図である。

【図7】実施形態における、表示画像の第４例を示す図である。

【図8】実施形態における、制御システムの動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、制御システム１の構成例を示す図である。制御システム１は、操作者の音声と操作者による所定の操作とを用いてロボットの動作を遠隔から制御するシステムである。この所定の操作とは、例えば、表示部の画面に表示された操作キー画像に対する押下操作（操作者からの応答）である。

【0012】

制御システム１は、端末装置１００と、制御装置２００と、中継サーバ３００と、ロボット４００と、マイク５００と、スピーカ５１０と、カメラ６００と、発光部７００とを備える。制御システム１は、ロボット４００とロボット４００に係る機器とを、端末装置１００に入力された音声等に基づいて制御する。ロボット４００に係る機器とは、例えば、アクチュエータ（モータ等）、スピーカ及び発光部である。

【0013】

制御システム１は、ロボット４００が操作者に共感しているようにその操作者に対して演出するための動作を、ロボット４００に実行させる。例えば、ロボット４００の背後に配置されたカメラ６００が、ロボット４００の後頭部等と顧客（ユーザ）の正面とが撮影された動画像をリアルタイムで送信する。遠隔の操作者は、カメラ６００から送信された動画像を、端末装置１００を用いてリアルタイムで見る。操作者は、音声と端末装置１００の操作キーとを用いて、ロボット４００の動作を操作する。

【0014】

所定のタイミング（例えば、接客の終了後）において、人型のロボット４００の顔がカメラ６００に向けられ、ロボット４００の合成音声が端末装置１００から出力される。このようにして、操作者の心的負荷を癒すための言葉をロボット４００が操作者に語りかけているように演出するための動作（共感会話）を、ロボット４００に実行させる。これによって、ロボット４００の操作者の心的負荷を軽減させることが可能である。

【0015】

端末装置１００は、通信部１０１と、入力部１０２と、表示部１０３と、マイク・スピーカ１０４と、カメラ１０５と、記憶部１０６と、制御部１０７とを備える。制御装置２００は、通信部２０１と、記憶部２０２と、制御部２０３とを備える。ロボット４００は、アクチュエータ４０１を備える。端末装置１００と制御装置２００と中継サーバ３００とは、ネットワーク８００を介して、通信可能に接続されている。

【0016】

端末装置１００及び制御装置２００の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）を有する各記憶部のうちの少なくとも一方に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。

【0017】

端末装置１００及び制御装置２００の各機能部のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0018】

次に、ネットワーク８００について説明する。
端末装置１００、制御装置２００及び中継サーバ３００は、いずれもネットワーク８００を介して通信可能である。ネットワーク８００は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）又はインターネット等のネットワークである。ネットワーク８００は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク８００は、複数のネットワークが組み合わされて構成されてもよい。ネットワーク８００は、ＶＰＮ（Virtual Private Network）等の閉域通信網であってもよい。

【0019】

なお、ネットワーク８００は、各装置の通信を実現するためのネットワークの具体例にすぎず、各装置の通信を実現するためのネットワークとして他の構成が採用されてもよい。例えば、特定の装置間の通信は、他の装置間の通信に用いられるネットワークとは異なるネットワークを用いて実現されてもよい。具体的には、端末装置１００と中継サーバ３００との間の通信は、制御装置２００及び中継サーバ３００の各装置間の通信とは異なるネットワークを用いて実現されてもよい。以下では、ロボット４００、マイク５００、スピーカ５１０、カメラ６００及び発光部７００は、いずれも制御装置２００に接続されているが、このような接続形態には限定されない。例えば、ロボット４００、マイク５００、スピーカ５１０、カメラ６００及び発光部７００のうちの少なくとも一つは、ネットワーク８００を介して、制御装置２００と通信可能に接続されていてもよい。

【0020】

次に、端末装置１００について説明する。
端末装置１００は、パーソナルコンピュータ、タブレットコンピュータ又はサーバ等の情報処理装置を用いて構成される。端末装置１００には、ロボット４００の制御に関する情報を制御装置２００に送信するための制御指示機能が実装されている。制御指示機能は、ハードウェアとして端末装置１００に実装されてもよいし、ソフトウェアとして端末装置１００に実装されてもよい。端末装置１００は、通信部１０１、入力部１０２、表示部１０３、マイク・スピーカ１０４、カメラ１０５及び記憶部１０６を備える。なお、マイク・スピーカ１０４では、マイクとスピーカとが別体でもよい。

【0021】

通信部１０１は、ネットワークインタフェース等の通信装置である。通信部１０１は、所定のプロトコルを用いて、ネットワーク８００に通信可能に接続される。通信部１０１は、制御部１０７の制御に応じて、ネットワーク８００を介して、他の装置との間でデータ通信を実行する。

【0022】

入力部１０２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の入力装置を用いて構成される。入力部１０２は、操作者の指示を端末装置１００に入力する際に、操作者によって操作される。入力部１０２は、入力装置を端末装置１００に接続するためのインタフェースでもよい。この場合、入力部１０２は、操作者による入力操作（例えば、表示された操作キー画像に対する押下操作）に応じた入力信号を、端末装置１００に入力する。

【0023】

表示部１０３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電子泳動方式ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示部１０３は、制御部１０７の制御に応じて画像を表示する。表示部１０３は、画像表示装置を端末装置１００に接続するためのインタフェースであってもよい。この場合、表示部１０３は、制御部１０７の制御に応じた画像を表示するための映像信号を生成する。表示部１０３は、表示部１０３に接続されている画像表示装置に、映像信号を出力する。

【0024】

マイク・スピーカ１０４は、制御装置２００から送信された音声信号に基づいて生成された合成音声（例えば、業務説明文、共感文）を出力する。マイク・スピーカ１０４は、マイク・スピーカ１０４の近傍から、音声を収音する。マイク・スピーカ１０４は、例えば、端末装置１００の操作者によって発話された音声を収音する。端末装置１００の操作者は、例えば、ロボット４００に向いてロボット４００の近傍に居るユーザ（ロボット４００と対峙している顧客）に対して、マイク・スピーカ１０４を用いて発話する。マイク・スピーカ１０４は、収音された音声に基づいて、音声信号を生成する。マイク・スピーカ１０４は、生成された音声信号を端末装置１００に出力する。

【0025】

なお、マイク・スピーカ１０４は、外付けマイク等の収音装置を端末装置１００に接続するためのインタフェースでもよい。この場合、マイク・スピーカ１０４は、収音装置に入力された音声に基づいて、操作者の音声に応じた音声信号を生成し、端末装置１００に出力する。マイク・スピーカ１０４は、収音部の一具体例である。

【0026】

カメラ１０５は、端末装置１００の操作者とその操作者の近傍との動画像を撮像する。カメラ１０５は、他のカメラを端末装置１００に接続するためのインタフェースであってもよい。この場合、カメラ１０５は、他のカメラによって撮像された動画像に応じて映像信号を生成し、端末装置１００に入力する。

【0027】

記憶部１０６は、磁気ハードディスク装置及び半導体記憶装置等の記憶装置を用いて構成される。記憶部１０６は、ロボット４００に対する制御の内容を示す情報（制御内容情報）を記憶する。ロボット４００に対する制御の内容は、マイク・スピーカ１０４によって収音された音声（音声認識結果）に基づいて生成された文字列又は文字列の一部分に対応付けられる。

【0028】

次に、制御装置２００について説明する。
制御装置２００は、パーソナルコンピュータ、タブレットコンピュータ又はサーバ等の情報処理装置を用いて構成される。制御装置２００は、ロボット４００を動作させるための動作機能が実装されている。動作機能は、ハードウェア機能部として制御装置２００に実装されてもよいし、ソフトウェア機能部のインストールによって実装されてもよい。制御装置２００は、通信部２０１、記憶部２０２及び制御部２０３を備える。

【0029】

通信部２０１は、ネットワークインタフェース等の通信装置である。通信部２０１は所定のプロトコルでネットワーク８００に通信可能に接続する。通信部２０１は、制御部２０３の制御に応じてネットワーク８００を介して、他の装置との間でデータ通信する。

【0030】

記憶部２０２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２０２は、ロボット４００の動作に関して、所定条件に応じた動作内容と、ロボット４００の制御の状態の遷移に関する状態遷移情報とを記憶する。状態遷移情報は、端末装置１００から受信した制御情報に基づいて、ロボット４００の状態を遷移させるための情報を示す。ロボット４００は、同じ制御情報を受信しても、制御状態に応じて異なる動作を行う。

【0031】

制御部２０３は、制御装置２００の各部の動作を制御する。制御部２０３は、ＣＰＵ等のプロセッサ及びＲＡＭを用いて構成される。制御部２０３は、記憶部２０２に記憶された所定の通信プログラムを実行することによって、他の装置と通信する。例えば、制御部２０３は、中継サーバ３００を介して、制御情報を端末装置１００から受信する。また、制御部２０３は、角度情報を端末装置１００から受信する。

【0032】

制御部２０３は、制御情報又は角度情報に基づいて、ロボット４００又はロボット４００に係る機器を制御する。例えば、制御部２０３は、動作指示をロボット４００又はロボット４００に係る各機器に送信することで、これらの機器の動作を制御する。動作指示は、制御情報又は角度情報の内容を示す。例えば、端末装置１００から制御情報を受信した場合、制御部２０３は、制御情報の内容を示す動作指示を、ロボット４００又はロボット４００に係る機器に送信する。

【0033】

また、制御部２０３は、角度情報を端末装置１００から受信した場合、角度情報の内容を示す動作指示を、ロボット４００又はロボット４００に係る機器に送信する。例えば、座標情報がＰ＝（Ｘ，Ｙ，Ｚ）である場合、制御部２０３は、ロボット４００の頭部の向きを制御することで、ロボット４００の頭部が座標Ｐ＝（Ｘ，Ｙ，Ｚ）の方向を向くように、ロボット４００の頭部の向きを制御するための動作指示を送信する。

【0034】

制御部２０３は、所定の映像制御プログラムを実行することによって、他の装置と通信する。例えば、制御部２０３は、マイク５００によって収音された音声信号を、端末装置１００に送信する。また、制御部２０３は、カメラ６００によって出力された映像信号を制御装置２００に送信する。また、制御部２０３は、音声信号を端末装置１００から受信する。制御部２０３は、受信した音声信号を、スピーカ５１０に出力する。

【0035】

中継サーバ３００は、パーソナルコンピュータ、産業用コンピュータ又はサーバ等の情報処理装置を用いて構成される。中継サーバ３００は、端末装置１００と制御装置２００との通信を中継するための中継機能が実装されている。中継機能は、ハードウェアによって中継サーバ３００に実装されてもよいし、ソフトウェアのインストールによって実装されてもよい。中継サーバ３００は、例えばＷｅｂＲＴＣ（Web Real-Time Communication）シグナリングを実行することで、端末装置１００と制御装置２００との映像信号及び音声信号の送受信を実現させる。また、中継サーバ３００は、端末装置１００から制御装置２００に制御情報又は角度情報を送信するためのＷｅｂＳｏｃｋｅｔサーバとして機能してもよい。

【0036】

ロボット４００は、制御装置２００によって送信された動作指示に応じて、各駆動機構や発光部、スピーカ又はカメラ等のロボット４００に設けられた機能を制御することによって、所定の動作を実行する。例えば、ロボット４００は、首、肩又は腕の各関節部に設けられた駆動機構を作動することによって動作する。ロボット４００は、例えば、肩又は脚等の各関節部に設けられた駆動機構を作動して歩行する動物の形状であってもよい。ロボット４００は、肩又は脚等の各関節部に設けられた駆動機構を作動して自立歩行する二足歩行等のロボット（ヒューマノイド）であってもよい。ロボット４００は、車輪又は無限軌道で移動できるような移動型ロボット（エージェント化されたロボット）であってもよい。ロボット４００は、例えばテーブルや受付台等の板状の台の上に設置される。ロボットは所定の装置の一具体例である。

【0037】

マイク５００は、マイク５００の近傍から、音声を収音する。マイク５００は、例えばロボット４００が対峙する顧客から発話された音声を収音する。マイク５００は、収音された音声に基づいて音声信号を生成する。マイク５００は、生成された音声信号を制御装置２００に出力する。スピーカ５１０は、端末装置１００から送信された音声信号を出力する。このように構成されることで、ロボット４００が、ロボット４００に対峙する人に話しかけているように見せることができる。また、スピーカ５１０は、制御装置２００の制御部２０３によって指示される動作指示に応じて、音声を出力してもよい。

【0038】

カメラ６００は、動画像の撮像装置である。カメラ６００は、例えば、ロボット４００の背後に配置される。カメラ６００は、ロボット４００の後ろ姿が映るように、ロボット４００の周囲（近傍）の動画像を撮像する。すなわち、カメラ６００は、ロボット４００とユーザとを、第三者の視点から撮像する。カメラ６００は、撮像された動画像を示す映像信号を生成し、制御装置２００に出力する。この第三者の視点から、ロボット４００とユーザとをロボット４００の操作者が見ることになる。なお、カメラ６００は、ロボット４００の前後左右のいずれの位置に設けられてもよい。カメラ６００は、ロボット４００に対峙する人（顧客）とロボット４００とが撮像できる位置である限り、どの位置に設けられてもよい。カメラ６００は、例えば、ロボット４００の背後に配置される。

【0039】

発光部７００は、ＬＥＤや電球等の発光部材である。発光部７００は、例えば所定の形状をしたパネルに複数の発光部材を備えてもよい。所定の形状とは、円形であってもよいし、四角形等の多角形であってもよい。発光部７００は、制御装置２００の制御部２０３によって指示される動作指示に応じて、発光してもよい。なお、発光部７００は、実行内容に応じて、異なる態様で発光してもよい。例えば、発光部７００が複数の発光部材を備える場合、動作指示に応じて一部の発光部材を発光させるように構成されてもよい。

【0040】

図２は、ロボット４００とカメラ６００との外観例を示す図である。ロボット４００は、頭部４１０と、左腕部４２０、右腕部４３０及び脚部４４０を備える胴体部とから構成される。頭部４１０は、マイク４１１、カメラ４１２、スピーカ４１３及び発光部４１４を備える。頭部４１０は、制御装置２００の制御部２０３によって指示された動作指示に基づいて、上下左右等の３軸方向に駆動する。ロボット４００は、例えば、動作指示が示す角度の方向に、頭部４１０の向きを制御する。

【0041】

ロボット４００のマイク４１１は、自装置近傍の音声を収音する。マイク５００が、自装置近傍の音声を収音してもよい。マイク４１１とマイク５００とのうちの少なくとも一方は、例えばロボット４００が対峙する人によって発話された音声を収音する。マイク４１１とマイク５００とのうちの少なくとも一方は、収音された音声に基づいて音声信号を生成する。マイク４１１とマイク５００とのうちの少なくとも一方は、生成された音声信号を制御装置２００に記録してもよいし、ネットワーク８００を介して外部の装置に記録してもよい。マイク４１１とマイク５００とのうちの少なくとも一方は、制御装置２００の制御部２０３によって指示される実行内容に応じて、音声を収音してもよい。

【0042】

ロボット４００のカメラ４１２は、ロボット４００が対峙する人及びロボット４００が対峙する人の近傍の動画像又は静止画像を撮像する。カメラ４１２は、撮像された動画像又は静止画像を制御装置２００に記録してもよいし、ネットワーク８００を介して外部の装置に記録してもよい。カメラ４１２は、制御装置２００の制御部２０３によって指示される動作指示に応じて、動画像又は静止画像を撮像してもよい。

【0043】

発光部４１４は、フルカラーＬＥＤ等の発光部材である。発光部４１４は、制御装置２００の制御部２０３によって指示される実行内容に応じて、所定の色で発光してもよい。このように構成されることで、スピーカ４１３とスピーカ５１０とのうちの少なくとも一方が音声を出力している時に、発光部４１４を点滅させることができる。このように発光部４１４が発光することで、ロボット４００に対峙している人にロボット４００が話しかけているように見せることができる。

【0044】

左腕部４２０は、上下左右に駆動する駆動機構である。左腕部４２０は、制御装置２００の制御部２０３によって指示された動作指示に応じて、上下左右に駆動する。左腕部４２０は、左腕部４２０の回転方向に応じて開いたり閉じたりする。左腕部４２０は、制御装置２００の制御部２０３によって指示された実行内容に応じて、開いたり閉じたりしてもよい。

【0045】

右腕部４３０は、左腕部４２０と同様に、制御装置２００の制御部２０３によって指示された動作指示に応じて駆動する。

【0046】

脚部４４０は、制御装置２００の制御部２０３によって指示される動作指示に応じて、ロボット４００の向きを変更したり、前後左右に移動させたりする。ロボット４００は、例えば動作情報が示す角度の方向に脚部４４０の向きを制御する。

【0047】

次に、ロボット４００が操作者に共感しているようにその操作者に対して演出するための動作について説明する。
図３は、動作内容の例を示す図である。動作内容とは、端末装置１００とロボット４００とのうちの少なくとも一方が実行する動作内容である。動作内容には、その動作内容が実行されるための条件が定められている。なお、動作内容と条件との組み合わせは、特定の組み合わせに制限されない。

【0048】

表示部１０３に表示された操作キー画像「参加」が押下操作（選択）された場合、端末装置１００は、中継サーバ３００に通信接続する。表示部１０３に表示された操作キー画像「スタート」が押下操作（選択）された場合、ロボット４００が、顔をカメラ６００に向ける。端末装置１００の表示部１０３が、第１テキストを表示する。端末装置１００のマイク・スピーカ１０４が、第１テキストの音声を出力する。第１テキストは、例えば、業務説明文の文字列「こんにちは。今日のお仕事なんだけど、僕は喋るのが得意じゃないから、ユーザとの会話はキミにやってもらいたいんだ。僕はキミの言葉に合わせて動作して、現地でユーザにアピールするね。一緒に頑張ろう！」である。なお、操作キー画像「参加」及び操作キー画像「スタート」のいずれも押下操作されていない場合でも、端末装置１００は、中継サーバ３００に通信接続してもよい。その通信接続の一定時間後に、ロボット４００が顔をカメラ６００に向けて、第１テキストが表示部１０３に表示されてもよい。

【0049】

所定時間において操作者が発話していない、かつ、その所定時間においてユーザの顔が動画像において未検出である場合（ユーザがロボット４００の近傍に居ない場合）、ロボット４００が、顔をカメラ６００に向ける。ロボット４００が顔をカメラ６００にすでに向けている場合には、ロボット４００は顔をカメラ６００に向けたままにする。端末装置１００の表示部１０３が、第２テキストを表示する。端末装置１００のマイク・スピーカ１０４が、第２テキストの音声を出力する。第２テキストは、例えば、操作者の心労を気に掛けるように演出するための共感文の文字列「しんどくない？大丈夫？」である。

【0050】

表示部１０３に表示された操作キー画像「しんどい」が押下操作（選択）された場合、ロボット４００が、顔をカメラ６００に向ける。ロボット４００が顔をカメラ６００にすでに向けている場合には、ロボット４００は顔をカメラ６００に向けたままにする。端末装置１００の表示部１０３が、第３テキストを表示する。端末装置１００のマイク・スピーカ１０４が、第３テキストの音声を出力する。第３テキストは、例えば、操作者の心労を気に掛けるように演出するための共感文の文字列「うんうん、疲れたね」である。

【0051】

図４は、表示画像（操作者インタフェースの画像）の第１例を示す図である。図４に例示された操作者インタフェースの画像は、例えば、操作者が端末装置１００を用いて制御装置２００にログインした際に、表示部１０３に表示される。操作者インタフェースの画像は、ブラウザを用いて表示部１０３に表示される。操作者動画像９５０には、カメラ１０５によって撮影された操作者の動画像が表示される。

【0052】

図４では、操作者インタフェースの画像は、一例として、サムネイル動画像表示領域９００と、操作キー画像９１１「参加」と、操作キー画像９１２「スタート」と、操作キー画像９１３「退出」と、動画像表示領域９２０と、テキスト表示領域９３０と、ロボット画像９４０と、操作者動画像９５０と、操作キー画像９６０とを含む。カメラ６００によって撮影された動画像は、操作者がサムネイル動画像表示領域９００を選択することによって、動画像表示領域９２０にリアルタイムで表示される。

【0053】

操作キー画像９１２「スタート」が押下操作された場合、図３に例示された動作内容に基づいて、ロボット４００が、顔をカメラ６００に向ける。ロボット４００が顔をカメラ６００にすでに向けている場合には、ロボット４００は顔をカメラ６００に向けたままにする。これによって、動画像表示領域９２０には、カメラ６００に顔を向けたロボット４００の動画像であるロボット画像９４０が表示される。表示部１０３は、制御部２０３から送信された第１テキスト「こんにちは。今日のお仕事なんだけど、僕は喋るのが得意じゃないから、ユーザとの会話はキミにやってもらいたいんだ。僕はキミの言葉に合わせて動作して、現地でユーザにアピールするね。一緒に頑張ろう！」を、テキスト表示領域９３０に表示する。また、スピーカ５１０は、例えば、制御部２０３から送信された第１テキストの合成音声を出力する。

【0054】

操作者は、操作キー画像９６０「了解」を押下操作する。操作キー画像９６０「了解」が押下操作された場合、ロボット４００の動作が制御可能となり、ユーザに対する接客が開始される。

【0055】

図５は、表示画像（操作者インタフェースの画像）の第２例を示す図である。図５では、操作者インタフェースの画像は、一例として、サムネイル動画像表示領域９００と、操作キー画像９１１「参加」と、操作キー画像９１３「退出」と、動画像表示領域９２０と、テキスト表示領域９３０と、ロボット画像９４１と、会話テキスト表示領域９４２と、操作者動画像９５０とを含む。

【0056】

動画像表示領域９２０には、ロボット４００の近傍に居る顧客（ユーザ）が撮像された動画像が表示されている。操作キー画像９１２「スタート」が押下操作された場合、図３に例示された条件と動作内容との間に予め定められた対応付けに基づいて、ロボット４００が顔を顧客（ユーザ）に向ける。これによって、動画像表示領域９２０には、顔を顧客に向けたロボット４００の動画像であるロボット画像９４１が表示される。表示部１０３は、例えば、操作者の音声に応じたテキスト「こんにちは！」を、会話テキスト表示領域９４２に表示する。また、スピーカ５１０は、例えば、操作者の音声に応じたテキストの合成音声「こんにちは！」を出力する。なお、操作者動画像９５０において、テキスト「こんにちは！」が重畳表示されてもよい。

【0057】

図６は、表示画像（操作者インタフェースの画像）の第３例を示す図である。図６では、操作者インタフェースの画像は、一例として、サムネイル動画像表示領域９００と、操作キー画像９１１「参加」と、操作キー画像９１３「退出」と、動画像表示領域９２０と、テキスト表示領域９３０と、ロボット画像９４０と、操作者動画像９５０と、操作キー画像９６１と、操作キー画像９６２と、操作キー画像９６３とを含む。

【0058】

所定時間において操作者が発話していない、かつ、その所定時間においてユーザの顔が未検出である場合、図３に例示された条件と動作内容との間に予め定められた対応付けに基づいて、ロボット４００が、顔をカメラ６００に向ける。ロボット４００が顔をカメラ６００にすでに向けている場合には、ロボット４００は顔をカメラ６００に向けたままにする。これによって、動画像表示領域９２０には、カメラ６００に顔を向けたロボット４００の動画像であるロボット画像９４０（振り向き画像）が表示される。表示部１０３は、制御部２０３から送信された第２テキスト「しんどくない？大丈夫？」を、テキスト表示領域９３０に表示する。また、マイク・スピーカ１０４は、例えば、制御部２０３から送信された第２テキストの合成音声を出力する。操作者は、例えば、操作キー画像９６１「大丈夫」、操作キー画像９６２「しんどい」又は操作キー画像９６３「特には」を押下操作する。

【0059】

なお、ロボット画像９４０は、コンピュータ・グラフィックスを用いて動画像表示領域９２０に描かれた画像でもよい。これによって、ロボット４００が実際には振り向いていない場合でも、ロボット４００が振り向いている画像を操作者に提示することができる。

【0060】

図７は、表示画像（操作者インタフェース）の第４例を示す図である。図７では、操作者インタフェースの画像は、一例として、サムネイル動画像表示領域９００と、操作キー画像９１１「参加」と、操作キー画像９１３「退出」と、動画像表示領域９２０と、テキスト表示領域９３０と、ロボット画像９４０と、操作者動画像９５０とを含む。

【0061】

例えば、操作キー画像９６２「しんどい」が押下操作された場合、図３に例示された条件と動作内容との間に予め定められた対応付けに基づいて、ロボット４００が、顔をカメラ６００に向ける。ロボット４００が顔をカメラ６００にすでに向けている場合には、ロボット４００は顔をカメラ６００に向けたままにする。これによって、動画像表示領域９２０には、カメラ６００に顔を向けたロボット４００の動画像であるロボット画像９４０が表示される。表示部１０３は、制御部２０３から送信された第３テキスト「うんうん、疲れたね」を、テキスト表示領域９３０に表示する。また、スピーカ５１０は、例えば、制御部２０３から送信された第３テキストの合成音声を出力する。なお、操作キー画像９１３「退出」が押下操作された場合、端末装置１００と中継サーバ３００との間の通信接続が切断される。

【0062】

次に、制御システム１の動作例を説明する。
図８は、制御システム１の動作例を示すフローチャートである。表示部１０３は、制御装置２００から送信されたテキスト（業務説明文）を表示する（ステップＳ１０１）。マイク・スピーカ１０４は、制御装置２００から送信された音声信号に応じた音声（業務説明文）を出力する（ステップＳ１０２）。

【0063】

制御部２０３（画像認識処理部）は、カメラ６００によって撮影された動画像に対して、画像認識処理（例えば、顧客の顔を認識する処理）を実行する（ステップＳ１０３）。制御部２０３は、操作者が発話中であるか否かを判定する。例えば、制御部１０７から送信された音声信号を制御部２０３が受信した場合、制御部２０３は、操作者が発話中であると判定する（ステップＳ１０４）。

【0064】

操作者が発話中であると判定された場合（ステップＳ１０４：ＹＥＳ）、制御部２０３は、操作者の音声について、音声ミュートを解除（無効化）する。これによって、操作者の音声が、スピーカ５１０から出力可能となる（ステップＳ１０５）。制御部２０３（音声認識処理部）は、操作者の音声信号に対して、音声認識処理（例えば、制御内容に対応付けられた文字列を認識する処理）を実行する（ステップＳ１０６）。制御部２０３は、音声認識の結果に応じて、ロボット４００等の実行内容のデータを生成する。ロボット４００等は、実行内容に応じて動作する（ステップＳ１０７）。制御部２０３は、ステップＳ１０３に処理を戻す。

【0065】

操作者が発話中でないと判定された場合（操作者がロボット４００を操作中でないと判定された場合）（ステップＳ１０４：ＮＯ）、制御部２０３は、ロボット４００に向いてロボット４００の近傍に居るユーザ（顧客）の顔が画像認識処理の結果において検出されたか否かを判定する（ステップＳ１０８）。ユーザ（顧客）の顔が検出されたと判定された場合（ロボット４００の近傍にユーザが居ると判定された場合）（ステップＳ１０８：ＹＥＳ）、制御部２０３は、動作指示をロボット４００に送信する。ロボット４００は、制御装置２００によって送信された動作指示に応じて、各駆動機構や発光部、スピーカ又はカメラ等のロボット４００に設けられた機能を制御することによって、所定の動作を実行する（ステップＳ１０９）。制御部２０３は、ステップＳ１０３に処理を戻す。

【0066】

ユーザ（顧客）の顔が検出されていないと判定された場合（ステップＳ１０８：ＮＯ）、制御部２０３は、操作者の音声について、音声ミュートを設定（有効化）する。これによって、操作者の音声が、スピーカ５１０から出力不可となる（ステップＳ１１０）。制御部２０３は、ロボット４００の顔をカメラ６００に向けるように、動作指示をロボット４００のアクチュエータ４０１に送信する（ステップＳ１１１）。

【0067】

表示部１０３は、制御装置２００から送信されたテキスト（例えば、操作者の心労を気に掛けるように演出するための共感文「しんどくない？大丈夫？」）を表示する（ステップＳ１１２）。マイク・スピーカ１０４は、制御装置２００から送信された音声信号に応じた音声（共感文）を出力する（ステップＳ１１３）。制御部２０３は、表示部１０３に表示された操作キー画像（例えば、操作キー画像９６１「大丈夫」）が操作されたか否かを判定する（ステップＳ１１４）。

【0068】

操作キー画像が操作されていないと判定された場合（ステップＳ１１４：ＮＯ）、制御部２０３は、ステップＳ１０３に処理を戻す。操作キー画像が操作されたと判定された場合（ステップＳ１１４：ＹＥＳ）、制御部２０３は、表示部１０３に表示された操作キー画像９１３「退出」が操作されたか否かを判定する（ステップＳ１１５）。

【0069】

操作キー画像９１３「退出」以外の操作キー画像が操作されたと判定された場合（ステップＳ１１５）：ＮＯ）、制御部２０３は、入力部１０２への入力操作に応じた入力信号に基づいて、動作内容を決定する。ロボット４００は、決定された動画内容に基づいて動作する（ステップＳ１１６）。制御部２０３は、ステップＳ１０３に処理を戻す。操作キー画像９１３「退出」が操作されたと判定された場合（ステップＳ１１５）：ＹＥＳ）、制御部２０３は、処理を終了する。

【0070】

なお、ステップＳ１１０からステップＳ１１３までの処理を実行中に、別のユーザの顔が動画像において検出された場合（別のユーザがロボット４００の近傍に居る場合）、制御部２０３は、ステップＳ１１０からステップＳ１１３までの処理を中断し、ステップＳ１０３に処理を戻す。

【0071】

以上のように、カメラ６００は、ロボット４００とロボット４００の周囲とが撮像された画像を生成する。生成された画像を見ながらロボットを操作することが可能な操作者がロボットを操作中でなく、且つ、ロボットの周囲にユーザ（顧客）が居ないと判定された場合、制御部２０３は、ロボット４００の顔が操作者に見えるように、ロボット４００の顔をカメラ６００に向ける。例えば、ロボット４００の後ろ姿をカメラ６００がロボット４００の背後から撮像する場合、制御部２０３は、ロボット４００の顔が操作者に見えるように、アクチュエータ４０１を用いてロボット４００の顔を振り向かせる。制御部２０３は、所定のメッセージ（業務説明文、共感文）を、操作者に提示する。制御部２０３は、操作者からの応答（例えば、操作キー画像に対する押下操作）に応じて、操作者に提示される所定のメッセージを変更してもよい。制御部２０３は、テキストの表示と合成音声の出力とのうちの少なくとも一方を用いて、所定のメッセージ（業務説明文、共感文）を提示する。

【0072】

これらのように、ロボット４００を遠隔操作のための単なるツールとせずに、ロボット４００という相棒と二人で接客業務に取り組んでいるという感覚を制御システム１は操作者に与える。これによって、人と対話するロボットを遠隔から操作する操作者の心的負荷を軽減することが可能である。操作者のモチベーションを維持させることが可能である。

【0073】

制御部１０７は、テキスト及び音声を表す画像を表示部１０３に表示するだけなく、感情及び意見を表す画像を表示部１０３に表示してもよい。感情及び意見を表す画像とは、例えば、絵文字又はスタンプである。

【0074】

制御部１０７は、操作者をねぎらう言葉を操作者に提示するだけでなく、具体的な解決策を操作者に提示してもよい。これによって、操作者の心的負荷を軽減するための行動を操作者自身に促すことが可能である。

【0075】

業務開始時及び業務終了時に、制御部１０７は、今日の操作者の気分及び心的状況のアンケートを、操作者から取得してもよい。業務開始時及び業務終了時に、制御部１０７は、業務遂行のサポートとなるやりとりを、操作者に対して実行してもよい。例えば、制御部１０７は、今日の業務内容の確認を、操作者に対して実行してもよい。例えば、制御部１０７は、伝達事項の確認を、操作者に対して実行してもよい。

【0076】

（変形例）
上記の実施形態では、ロボット４００が接客に用いられる場合を例として、制御システム１の説明がなされた。ロボット４００は接客以外の用途に用いられてもよい。ロボット４００は、例えば医療機関に設置され、操作者と患者との対話に用いられてもよい。ロボット４００は、例えば教育施設に設置され、操作者と生徒との対話に用いられてもよい。ロボット４００は、例えば執務室に設置され、操作者と同僚との対話（雑談）に用いられてもよい。

【0077】

ロボット４００は、メンタルサポート行為について、自律的に動作してもよいし、自律的に動作しなくてもよい。このメンタルサポート行為とは、上記の実施形態において例示されたように、例えば操作者に顔を見せるようにロボット４００が振り向く動作でもよいし、例えばロボット４００と操作者との対話でもよい。これらのようなメンタルサポート行為については、ロボット４００は、自律的に動作してもよいし、操作者以外の第三者による遠隔操作に応じて動作してもよい。例えば、人とロボット４００とが対話する際の操作者（主操作者）は、人と対話するロボット４００を操作して、接客等のサービスを顧客に提供する。メンタルサポート行為をロボット４００が行う際の第三者（副操作者）は、所定のタイミングで、その第三者の端末装置（不図示）を用いて、ロボット４００を遠隔操作する。メンタルサポート行為をロボット４００が行う際、第三者（副操作者）がロボット４００を遠隔操作することによって、ロボット４００は振り向く。すなわち、制御部２０３は、操作者以外の第三者による操作に応じて、ロボット４００の顔を振り向かせる。制御部２０３は、操作者以外の第三者による遠隔操作に応じて、所定のメッセージを提示してもよい。制御部２０３は、操作者からの応答と、操作者以外の第三者による遠隔操作とに応じて、操作者に提示される所定のメッセージを変更してもよい。これらのようにして、第三者（副操作者）は、操作者（主操作者）の心的状態の確認及びケアをすることが可能である。

【0078】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0079】

１…制御システム、１００…端末装置、１０１…通信部、１０２…入力部、１０３…表示部、１０４…マイク・スピーカ、１０５…カメラ、１０６…記憶部、１０７…制御部、２００…制御装置、２０１…通信部、２０２…記憶部、２０３…制御部、３００…中継サーバ、４００…ロボット、４０１…アクチュエータ、４１０…頭部、４１１…マイク、４１２…カメラ、４１３…スピーカ、４１４…発光部、４２０…左腕部、４３０…右腕部、４４０…脚部、５００…マイク、５１０…スピーカ、６００…カメラ、７００…発光部、８００…ネットワーク、９００…サムネイル動画像表示領域、９１１…操作キー画像、９１２…操作キー画像、９１３…操作キー画像、９２０…動画像表示領域、９３０…テキスト表示領域、９４０…ロボット画像、９４１…ロボット画像、９４２…会話テキスト表示領域、９５０…操作者動画像、９６０…操作キー画像、９６１…操作キー画像、９６２…操作キー画像、９６３…操作キー画像、９７０…顧客画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】