特開 2024-12100 情報処理装置、ロボット、携帯端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024012100

(43)【公開日】2024-01-25

(54)【発明の名称】情報処理装置、ロボット、携帯端末装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240118BHJP

   H04N 7/14 20060101ALI20240118BHJP

【ＦＩ】

G06F3/01 510

H04N7/14 110

H04N7/14 150

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023096066

(22)【出願日】2023-06-12

(31)【優先権主張番号】63/389,376

(32)【優先日】2022-07-15

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(71)【出願人】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】奥村 泰史

(72)【発明者】

【氏名】今村 幸太郎

(72)【発明者】

【氏名】バット ウヂュピ ラマナス

(72)【発明者】

【氏名】河村 大輔

(72)【発明者】

【氏名】荻下 直樹

(72)【発明者】

【氏名】福山 剛

(72)【発明者】

【氏名】鈴木 龍一

(72)【発明者】

【氏名】村田 華蓮

(72)【発明者】

【氏名】安田 真理

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164FA09

5C164VA03P

5C164VA06P

5C164VA34P

5E555AA16

5E555BA02

5E555BA13

5E555BB04

5E555BC01

5E555CA42

5E555CA44

5E555CC27

5E555DB57

5E555EA22

5E555FA00

(57)【要約】

【課題】テレイグジスタンス技術を簡易に利用するための技術を提供する。
【解決手段】画像データ取得部２２２は、携帯端末装置におけるカメラがユーザの顔を撮影した画像を取得する。動き検出部２３０は、画像からユーザの顔の向きを検出する。制御信号生成部２３２は、検出した顔の向きにもとづいて、ロボットの第１回転装置または第２回転装置を回転させる制御信号を生成する。送信部２１２は、生成した制御信号をロボットに送信する。
【選択図】図４

【特許請求の範囲】

【請求項1】

胴体部および頭部を有するロボットの動作を制御する情報処理装置であって、前記ロボットは、前記胴体部に対して前記頭部を回転させる第１回転装置と、前記ロボットの接地面に対して前記胴体部を回転させる第２回転装置とを有し、
携帯端末装置におけるカメラがユーザの顔を撮影した画像を取得する取得部と、
前記画像から、ユーザの顔の向きを検出する動き検出部と、
検出した顔の向きにもとづいて、前記ロボットの前記第１回転装置または前記第２回転装置を回転させる制御信号を生成する制御信号生成部と、
生成した制御信号を前記ロボットに送信する送信部と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記取得部は、前記携帯端末装置における慣性計測装置が計測したセンサデータを取得し、
前記制御信号生成部は、前記センサデータにもとづいて、前記ロボットの前記第１回転装置または前記第２回転装置を回転させる制御信号を生成する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記制御信号生成部は、所定の回転方向において前記第１回転装置を回転させる制御信号を生成した後、同じ回転方向において前記第２回転装置を回転させる制御信号を生成する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記制御信号生成部は、前記第１回転装置が前記頭部を回転上限角度まで回転させた後に、前記第２回転装置が前記胴体部を回転させる制御信号を生成する、
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

胴体部および頭部を有するロボットであって、
前記胴体部に対して前記頭部を回転させる第１回転装置と、
前記ロボットの接地面に対して前記胴体部を回転させる第２回転装置と、
前記第１回転装置および前記第２回転装置を駆動する制御部と、を備え、
前記制御部は、前記第１回転装置により前記頭部を回転させた後、前記第２回転装置により前記胴体部を回転させる、
ことを特徴とするロボット。

【請求項6】

前記制御部は、前記第１回転装置が前記頭部を回転上限角度まで回転させた後、前記第２回転装置により前記胴体部を回転させる、
ことを特徴とする請求項５に記載のロボット。

【請求項7】

前記制御部は、ヨー方向において、前記第１回転装置により前記頭部を回転させた後、前記第２回転装置により前記胴体部を回転させる、
ことを特徴とする請求項５に記載のロボット。

【請求項8】

前記頭部は、ユーザの顔画像またはユーザに関連する画像を表示する表示部を有する、
ことを特徴とする請求項５に記載のロボット。

【請求項9】

携帯端末装置であって、
ユーザの顔を撮影するカメラと、
慣性計測装置と、
前記カメラが撮影した画像データと、前記慣性計測装置が計測したセンサデータとを、情報処理装置に送信する送信部と、
ロボットが撮影した画像を受信する受信部と、
前記ロボットが撮影した画像を表示する表示部と、
を備えることを特徴とする携帯端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔地に存在するロボットの視点映像をユーザが見ることのできるテレイグジスタンス技術に関する。

【背景技術】

【0002】

近年、遠隔地に配置したロボットを自分の分身として利用するテレイグジスタンスと呼ばれる技術が開発されている。遠隔地にいるロボットが周囲の画像データや音声データをユーザに送信し、ユーザ側で再生することで、ユーザは、ロボットが配置された場所に自分が存在するような臨場感をもって、ロボットの周囲の人達とコミュニケーションをとることが可能となる。

【0003】

特許文献１は、ユーザの頭部に装着されたヘッドマウントディスプレイ装置の姿勢に応じて、遠隔地に配置されたロボットのカメラの視線方向を定める情報処理システムを開示する。特許文献１におけるロボットは、３軸回転機構を有するアクチュエータ装置を備え、カメラを搭載した筐体の位置および姿勢を変更する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－２１６６４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示される情報処理システムは、ヘッドマウントディスプレイ装置を利用することを前提としており、そのためヘッドマウントディスプレイ装置が存在しない環境下では使用できない。そこでスマートホンなどの携帯端末装置を利用して、テレイグジスタンス技術を身近に活用できるようにする仕組みを構築することが望まれている。

【0006】

そこで本開示は、テレイグジスタンス技術を簡易に利用するための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の情報処理装置は、胴体部および頭部を有するロボットの動作を制御する情報処理装置であって、ロボットは、胴体部に対して頭部を回転させる第１回転装置と、ロボットの接地面に対して胴体部を回転させる第２回転装置とを有する。情報処理装置は、携帯端末装置におけるカメラがユーザの顔を撮影した画像を取得する取得部と、画像からユーザの顔の向きを検出する動き検出部と、検出した顔の向きにもとづいて、ロボットの第１回転装置または第２回転装置を回転させる制御信号を生成する制御信号生成部と、生成した制御信号をロボットに送信する送信部とを備える。

【0008】

本発明の別の態様は、胴体部および頭部を有するロボットであって、胴体部に対して頭部を回転させる第１回転装置と、ロボットの接地面に対して胴体部を回転させる第２回転装置と、第１回転装置および第２回転装置を駆動する制御部とを備える。制御部は、第１回転装置により頭部を回転させた後、第２回転装置により胴体部を回転させる。

【0009】

本発明のさらに別の態様は、携帯端末装置であって、ユーザの顔を撮影するカメラと、慣性計測装置と、カメラが撮影した画像データと慣性計測装置が計測したセンサデータとを、情報処理装置に送信する送信部と、ロボットが撮影した画像を受信する受信部と、ロボットが撮影した画像を表示する表示部とを備える。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【図面の簡単な説明】

【0011】

【図1】実施例における情報処理システムの概要を示す図である。

【図2】ロボットの利用場面の例を示す図である。

【図3】携帯端末装置の機能ブロックを示す図である。

【図4】情報処理装置の機能ブロックを示す図である。

【図5】ロボットの機能ブロックを示す図である。

【図6】第１回転装置による頭部の回転方向を説明するための図である。

【図7】ロボットを上面から見た状態の例を示す図である。

【図8】ロボットを上面から見た状態の例を示す図である。

【発明を実施するための形態】

【0012】

図１は、実施例における情報処理システム１の概要を示す。情報処理システム１は、ユーザＡが操作する携帯端末装置１００と、ユーザＡから離れた場所に配置されるロボット１０と、情報処理装置２００とを備える。携帯端末装置１００は、アクセスポイント（ＡＰ）２と既知の無線通信プロトコルで接続し、ＡＰ２を介してインターネットなどのネットワーク４に接続する。同様にロボット１０はＡＰ３と既知の無線通信プロトコルで接続し、ＡＰ３を介してネットワーク４に接続する。ロボット１０はＡＰ３と既知の無線通信プロトコルで接続するが、ケーブルで接続してもよい。携帯端末装置１００とロボット１０は、情報処理装置２００を介して通信可能に接続してよい。

【0013】

ロボット１０は、頭部１２と胴体部１４を備え、頭部１２は胴体部１４の上方に配置される。実施例において頭部１２および胴体部１４の筐体は、それぞれ直方体の形状をもつ。頭部１２および胴体部１４は第１回転装置１６により連結され、第１回転装置１６は、胴体部１４に対して頭部１２を回転させる機構を備える。なお第１回転装置１６は、頭部１２および胴体部１４を直接連結してよいが、頭部１２と胴体部１４の間に別のパーツが存在してもよい。実施例の第１回転装置１６は、頭部１２をロール方向、ピッチ方向、ヨー方向に回転させる３軸回転機構を備える。第１回転装置１６は、たとえば特許文献１に開示された３軸回転機構であってよいが、別の機構であってもよい。

【0014】

胴体部１４の筐体下部には、ロボット１０の接地面に対して胴体部１４を回転させる第２回転装置１８が設けられる。第２回転装置１８は、ロボット１０を接地面に対して移動させる移動機構であってよく、ロボット１０の脚部を構成してよい。当該移動機構は、胴体部１４の筐体下部に設けられた３つ以上のオムニホイールで構成されて全方向の移動を可能とし、ある位置でヨー方向の回転運動を行うことで、接地面に対して胴体部１４をヨー方向に回転させる第２回転装置１８として機能する。実施例では、移動機構による前後左右の移動運動については取り扱わず、胴体部１４をヨー方向に回転運動させる機能に焦点をあてて説明する。

【0015】

頭部１２は、その筐体前面に、携帯端末装置１００を把持するユーザＡの顔画像または当該ユーザＡに関連する画像（たとえば当該ユーザＡのアバター画像）を表示する表示部２０を備える。さらに頭部１２は、ロボット１０の周辺を撮影するカメラ２２、音を出力するスピーカ２４およびロボット１０の周辺の音を取得するマイク２６を備える。カメラ２２は頭部１２の筐体前面に設けられて、表示部２０が向いている方向を含む空間を撮影する。マイク２６は、筐体の両側面に設けられてよい。

【0016】

実施例の情報処理装置２００は、リアルタイムコミュニケーションサービスを提供するサーバ装置であってよい。ユーザＡは、リアルタイムコミュニケーションサービスを利用することで、たとえば自宅にいながらにして、会議室に配置されたロボット１０を通じて会議室にいるメンバと会話できる。

【0017】

テレイグジスタンスを実現する情報処理システム１において、ロボット１０は、ユーザＡのいわば分身として動作する。情報処理装置２００は、ユーザＡの顔の向きを示す情報を携帯端末装置１００から取得すると、ロボット１０の頭部１２の動きを制御する制御信号を生成してロボット１０に提供し、ロボット１０は、制御信号にもとづいて第１回転装置１６および／または第２回転装置１８を駆動する。たとえばユーザＡが首を縦（ピッチ方向）に振ると、第１回転装置１６が頭部１２を縦に振るように動かし、ユーザＡが首を横（ヨー方向）に向けると、第１回転装置１６または第２回転装置１８が頭部１２を横に向けるように動かす。これによりロボット１０の周囲にいる人は、ユーザＡがその場にいるかのような感覚をもって、ユーザＡとコミュニケーションをとることができる。またユーザＡはロボット１０の頭部１２を動かすことで、ロボット１０の視点映像を変更することができる。

【0018】

図２は、ロボット１０の利用場面の例を示す。図２は会議室の様子を示しており、複数のメンバがテーブルの周りに座り、テーブルの中央には、ユーザＡの分身であるロボット１０が配置されている。この例で、カメラ２２が設けられている頭部１２の前面は４人のメンバの方向を向いており、カメラ２２は、画角内に入っている４人のメンバを撮影している。このとき４人のメンバは、表示部２０に表示されているユーザＡの顔画像またはアバター画像を見ることができる。ロボット１０は、カメラ２２が撮影した画像およびマイク２６が取得した音声をリアルタイムでユーザの携帯端末装置１００に送信する。

【0019】

携帯端末装置１００は、スマートホンやタブレットなど、ユーザＡが手に持って操作することのできる端末装置である。携帯端末装置１００は、ユーザＡを撮影するカメラ１１０、ユーザが発した音声を取得するマイク１１２、ロボット１０が撮影した画像を表示する表示部１１４、ロボット１０が取得した音声を出力するスピーカ１１６を備える。カメラ１１０は、表示部１１４に表示される画像を見ているユーザＡを撮影可能な位置に設けられる。

【0020】

ユーザは、スピーカ１１６から出力される音声を聞き、表示部１１４に表示されている会議室の様子を見ながら、会議に参加できる。表示部１１４には、ロボット１０のカメラ２２が撮影している画像が表示され、図２に示す状況においては、会議室にいる４人のメンバが表示される。ユーザＡが発言すると、携帯端末装置１００は、マイク１１２が取得した音声をロボット１０にリアルタイムで送信し、ロボット１０は、スピーカ２４からユーザＡの音声を出力する。

【0021】

図３は、携帯端末装置１００の機能ブロックを示す。携帯端末装置１００は、制御部１０２、カメラ１１０、マイク１１２、表示部１１４、スピーカ１１６、慣性計測装置（以下、「ＩＭＵ」と呼ぶ）１１８および通信部１２０を備える。制御部１０２は、画像データ、音声データ、センサデータなどの各種データや命令を処理して出力するメインプロセッサである。実施例の情報処理システム１において、ユーザＡは、カメラ１１０および表示部１１４を自分に向けるように携帯端末装置１００を手に持ち、カメラ１１０が、自分の顔を撮影できるようにする。

【0022】

カメラ１１０は、所定の周期（たとえば１／６０秒）で撮影を行い、撮影した画像データを制御部１０２に供給する。マイク１１２は、携帯端末装置１００の周囲の音を電気信号に変換して音声信号を生成し、制御部１０２は、音声信号を符号化して音声データを生成する。ＩＭＵ１１８は、３軸の加速度センサおよび３軸のジャイロセンサを含む姿勢センサであり、各軸の加速度および各軸回りの角速度を周期的に計測して、計測した加速度値および角速度値を含むセンサデータを制御部１０２に供給する。

【0023】

通信部１２０は送信部１２２および受信部１２４を有し、アンテナを介してＡＰ２に接続して、情報処理装置２００との間でデータを送受信する。送信部１２２は、制御部１０２から画像データ、音声データおよびセンサデータを受け取り、情報処理装置２００に送信する。また受信部１２４は、情報処理装置２００から、ロボット１０が撮影した画像データおよびロボット１０が取得した音声データを受信して、制御部１０２に提供する。制御部１０２は、ロボット１０が撮影した画像データを表示部１１４から表示させ、またロボット１０が取得した音声データをスピーカ１１６から出力させる。表示部１１４は、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ装置であってよい。

【0024】

図４は、情報処理装置２００の機能ブロックを示す。情報処理装置２００は、受信部２１０、送信部２１２および制御部２１４を備え、制御部２１４は、取得部２２０、動き検出部２３０および制御信号生成部２３２を有する。取得部２２０は、画像データ取得部２２２、センサデータ取得部２２４および音声データ取得部２２６を有する。

【0025】

情報処理装置２００はコンピュータを備え、コンピュータがプログラムを実行することによって、図４に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図４に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0026】

上記したように携帯端末装置１００は、ユーザＡの顔を撮影した画像データ、ユーザＡが発した音声を含む音声データおよびＩＭＵ１１８が計測したセンサデータを情報処理装置２００に送信する。情報処理装置２００において、受信部２１０は、画像データ、音声データおよびセンサデータを受信する。画像データ取得部２２２は画像データを取得し、センサデータ取得部２２４はセンサデータを取得し、音声データ取得部２２６は音声データを取得する。送信部２１２は、音声データ取得部２２６が取得した音声データをロボット１０に送信する。

【0027】

動き検出部２３０は、携帯端末装置１００を手に持つユーザＡの顔の向きを検出する。動き検出部２３０は、画像データ取得部２２２が取得した画像データからユーザＡの顔画像を特定して、当該顔画像から顔の向きを検出する。具体的に動き検出部２３０は、顔の向きとして、顔のロール角、ピッチ角、ヨー角を検出する。ここでロール角は頭の傾き角、ピッチ角は頷き角、ヨー角は首振り角である。動き検出部２３０は、既知の手法を用いて顔の向きを検出してよく、たとえば顔画像における複数の部位の位置と、顔のモデル画像における複数の部位の位置の関係を利用して、顔のロール角、ピッチ角、ヨー角を検出してよい。なお当然のことながら動き検出部２３０は、他の手法を用いて、顔のロール角、ピッチ角、ヨー角を検出してよい。

【0028】

制御信号生成部２３２は、検出した顔の向きにもとづいて、ロボット１０の頭部１２のロール方向の回転角度、ピッチ方向の回転角度、ヨー方向の回転角度をそれぞれ定め、第１回転装置１６および／または第２回転装置１８を回転させる制御信号を生成する。なお実施例において第２回転装置１８は、ヨー方向の回転のみを担当し、ロール方向およびピッチ方向の回転は担当しない。送信部２１２は、制御信号生成部２３２が生成した制御信号を、ロボット１０に送信する。

【0029】

ロボット１０は、ユーザＡの分身として会議室に配置されるため、人と同様の動きをすることが望ましい。たとえば胴体部１４に対して頭部１２が無制限に横回転（ヨー方向の回転）するような動きは、人の動きを超越して違和感を与えるため、分身の動きとしては好ましくない。そこで第１回転装置１６は、ロール方向、ピッチ方向、ヨー方向のそれぞれの回転角度に、それ以上回転できない限界角度である回転上限角度を設定している。

【0030】

回転上限角度は、機械構造的な限界角度として設計されてよいが、ソフトウェア的に設定されてもよい。ロール方向の回転上限角度α、ピッチ方向の回転上限角度β、ヨー方向の回転上限角度γは、人体骨格構造における首の回転角度制限値に応じて設定されることが好ましい。実施例では、ロール方向の回転上限角度αの絶対値が１５度、ピッチ方向の回転上限角度βの絶対値が１５度、ヨー方向の回転上限角度γの絶対値が４５度に設定される。なおピッチ方向の回転上限角度βは、下向き方向と上向き方向とで、異なる角度を設定されてよい。

【0031】

制御信号生成部２３２は、各回転上限角度の範囲内で、各方向の回転角度を定める。たとえば動き検出部２３０が、顔の向きとして、ロール角が－１０度、ピッチ角が２０度、ヨー角が４０度であることを検出したとき、制御信号生成部２３２は、以下のように、第１回転装置１６による回転角度を定める。
＜第１回転装置１６による回転角度＞
ロール方向の回転角度：－１０度
ピッチ方向の回転角度： １５度
ヨー方向の回転角度 ： ４０度

【0032】

以上のように、制御信号生成部２３２は、各回転上限角度の範囲内で、各方向の回転角度を定める。この例では、顔のピッチ角が２０度と検出されているが、ピッチ方向の回転上限角度βは１５度であるため、制御信号生成部２３２は、ピッチ方向の回転角度を１５度に定めている。制御信号生成部２３２は、第１回転装置１６によるロール方向の回転角度を－１０度、ピッチ方向の回転角度を１５度、ヨー方向の回転角度を４０度とする制御信号を生成し、送信部２１２は、制御信号をロボット１０に送信する。

【0033】

図５は、ロボット１０の機能ブロックを示す。ロボット１０は、制御部３０、カメラ２２、マイク２６、表示部２０、スピーカ２４、第１回転装置１６、第２回転装置１８および通信部３２を備える。制御部３０は、画像データ、音声データ、制御信号などの各種データや信号、命令を処理して出力するメインプロセッサである。

【0034】

通信部３２は送信部３４および受信部３６を有し、アンテナを介してＡＰ３に接続して、情報処理装置２００との間でデータまたは信号を送受信する。受信部３６は、情報処理装置２００から、携帯端末装置１００が取得した音声データと、第１回転装置１６および／または第２回転装置１８を回転させる制御信号を受信して、制御部３０に提供する。制御部３０は、携帯端末装置１００が取得した音声データをスピーカ２４から出力させる。また制御部３０は、ユーザＡの顔画像を表示部２０に表示する。表示される画像は、リアルタイムコミュニケーションの開始前に携帯端末装置１００から送信されたユーザＡの顔の静止画像であってよく、またはアバターの画像であってもよい。表示部２０は、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ装置であってよい。

【0035】

図６は、第１回転装置１６による頭部１２の回転方向を説明するための図である。制御信号は、ロール方向の回転角度、ピッチ方向の回転角度、ヨー方向の回転角度を定め、制御部３０は、制御信号にしたがって第１回転装置１６を駆動する。制御部３０は、上記した制御信号にもとづいて、ロール方向の回転角度が－１０度、ピッチ方向の回転角度が１５度、ヨー方向の回転角度が４０度となるように、第１回転装置１６を駆動する。

【0036】

カメラ２２は、所定の周期（たとえば１／６０秒）で撮影を行い、撮影した画像データを制御部３０に供給する。マイク２６は、ロボット１０の周囲の音を電気信号に変換して音声信号を生成し、制御部３０は、音声信号を符号化して音声データを生成する。送信部３４は、制御部３０から画像データおよび音声データを受け取り、情報処理装置２００に送信する。情報処理装置２００は、受信した画像データおよび音声データを携帯端末装置１００に送信する。

【0037】

携帯端末装置１００において、受信部１２４は、情報処理装置２００から、ロボット１０が撮影した画像データおよびロボット１０が取得した音声データを受信して、制御部１０２に提供する。制御部１０２は、ロボット１０が撮影した画像データを表示部１１４から表示させ、またロボット１０が取得した音声データをスピーカ１１６から出力させる。これによりユーザＡは、会議室におけるメンバの様子を見ることができ、またメンバの発言を聞くことができる。

【0038】

以下、ヨー方向におけるロボット１０の回転動作について説明する。以下に示す動作例では、説明の便宜上、顔のロール角、ピッチ角を０度とする。
動き検出部２３０が、顔の向きとして、ロール角が０度、ピッチ角が０度、ヨー角が４５度であることを検出した場合、制御信号生成部２３２は、以下のように、第１回転装置１６による回転角度を定める。
＜第１回転装置１６による回転角度＞
ロール方向の回転角度： ０度
ピッチ方向の回転角度： ０度
ヨー方向の回転角度 ：４５度
制御信号生成部２３２は、第１回転装置１６によるロール方向の回転角度を０度、ピッチ方向の回転角度を０度、ヨー方向の回転角度を４５度とする制御信号を生成し、送信部２１２は、制御信号をロボット１０に送信する。

【0039】

図７（ａ）～（ｂ）は、ロボット１０を上面から見た状態の例を示す。図７（ａ）は、第１回転装置１６によるヨー方向の回転角度が０度の状態を示し、上面視において、頭部１２と胴体部１４とが重なっている。点ａ、ｂ、ｃ、ｄは、それぞれ頭部１２の上面の頂点を示している。
図７（ｂ）は、制御部３０が、ロール方向の回転角度を０度、ピッチ方向の回転角度を０度、ヨー方向の回転角度を４５度とする制御信号にもとづいて、第１回転装置１６を駆動した状態を示す。第１回転装置１６は、胴体部１４に対して頭部１２を、正のヨー方向に４５度回転させている。点ｅ、ｆ、ｇ、ｈは、それぞれ胴体部１４の上面の頂点を示している。

【0040】

この後、動き検出部２３０が、顔の向きとして、ロール角が０度、ピッチ角が０度、ヨー角が５０度であることを検出すると、制御信号生成部２３２は、以下のように第１回転装置１６による回転角度を定める。
＜第１回転装置１６による回転角度＞
ロール方向の回転角度： ０度
ピッチ方向の回転角度： ０度
ヨー方向の回転角度 ：４５度
顔のヨー角が５０度と検出されているが、ヨー方向の回転上限角度γは４５度であるため、制御信号生成部２３２は、ヨー方向の回転角度を４５度に定めている。

【0041】

このとき制御信号生成部２３２は、第２回転装置１８による回転角度を、以下のように定める。
＜第２回転装置１８による回転角度＞
ヨー方向の回転角度 ：５度
以上のように、顔のヨー角が４５度を超える場合、制御信号生成部２３２は、第１回転装置１６によるヨー方向の回転角度を上限の４５度、第２回転装置１８によるヨー方向の回転角度を５度に定めることで、トータルで５０度のヨー方向の回転角度を実現している。制御信号生成部２３２は、第１回転装置１６によるロール方向の回転角度を０度、ピッチ方向の回転角度を０度、ヨー方向の回転角度を４５度、第２回転装置１８によるヨー方向の回転角度を５度とする制御信号を生成し、送信部２１２は、制御信号をロボット１０に送信する。

【0042】

図８（ａ）は、ロボット１０を上面から見た状態の例を示す。制御部３０が、第１回転装置１６によるヨー方向の回転角度を４５度、第２回転装置１８によるヨー方向の回転角度を５度とする制御信号にもとづいて、第１回転装置１６の駆動状態を維持しつつ、第２回転装置１８を回転させる。具体的には図７（ｂ）に示す状態から、第２回転装置１８が、ロボット１０の接地面に対して胴体部１４を、正のヨー方向に５度回転させている。第１回転装置１６は、胴体部１４に対して頭部１２を正のヨー方向に４５度回転させた状態を維持する。

【0043】

この後、ユーザＡがさらに首を正のヨー方向に回転し、動き検出部２３０が、ロール角が０度、ピッチ角が０度、ヨー角が９０度であることを検出したものとする。制御信号生成部２３２は、以下のように第１回転装置１６による回転角度を定める。
＜第１回転装置１６による回転角度＞
ロール方向の回転角度： ０度
ピッチ方向の回転角度： ０度
ヨー方向の回転角度 ：４５度

【0044】

このとき制御信号生成部２３２は、第２回転装置１８による回転角度を、以下のように定める。
＜第２回転装置１８による回転角度＞
ヨー方向の回転角度 ：４５度
制御信号生成部２３２は、第１回転装置１６によるヨー方向の回転角度を上限の４５度、第２回転装置１８によるヨー方向の回転角度を４５度に定めることで、トータルで９０度のヨー方向の回転角度を実現している。制御信号生成部２３２は、第１回転装置１６によるロール方向の回転角度を０度、ピッチ方向の回転角度を０度、ヨー方向の回転角度を４５度、第２回転装置１８によるヨー方向の回転角度を４５度とする制御信号を生成し、送信部２１２は、制御信号をロボット１０に送信する。

【0045】

図８（ｂ）は、ロボット１０を上面から見た状態の例を示す。制御部３０が、第１回転装置１６によるヨー方向の回転角度を４５度、第２回転装置１８によるヨー方向の回転角度を４５度とする制御信号にもとづいて、第１回転装置１６の駆動状態を維持しつつ、第２回転装置１８をさらに回転させている。第２回転装置１８は、ロボット１０の接地面に対して胴体部１４を、正のヨー方向に４５度回転させている。第１回転装置１６は、胴体部１４に対して頭部１２を正のヨー方向に４５度回転させた状態を維持する。

【0046】

このようにロボット１０においては、制御部３０が、第１回転装置１６により頭部１２を回転させた後、第２回転装置１８により胴体部１４を回転させる。実施例では制御部３０が、第１回転装置１６により頭部１２を回転上限角度まで回転させた後、第２回転装置１８により胴体部１４を回転させている。この動作制御によると、ロボット１０は、頭部１２を胴体部１４に対して横方向に４５度ねじった後、ねじった状態のまま体全体を横方向に回転させるため、人が横を向くときの動きに近い動作を実現できる。

【0047】

制御信号生成部２３２は、ヨー方向の回転角度が４５度を超える場合、第１回転装置１６による回転角度を４５度に維持して、第２回転装置１８による回転角度を（ヨー方向回転角度－４５度）とする制御信号を生成する。一方、制御信号生成部２３２は、頭部１２のヨー方向の回転角度が４５度以下である場合、第２回転装置１８による回転角度は０度に設定し、第１回転装置１６による回転角度をヨー方向回転角度とする制御信号を生成する。このように第１回転装置１６および第２回転装置１８を動作制御することで、人が横を向くときの動作に近い動作を実現できる。

【0048】

なお上記した例では、制御信号生成部２３２が、動き検出部２３０が検出した顔のロール角、ピッチ角、ヨー角と一致するように、ロボット１０の頭部１２のロール方向の回転角度、ピッチ方向の回転角度、ヨー方向の回転角度をそれぞれ定めている。別の例では、制御信号生成部２３２が、動き検出部２３０が検出した顔のロール角、ピッチ角、ヨー角のＲ倍に一致するように、ロボット１０の頭部１２のロール方向の回転角度、ピッチ方向の回転角度、ヨー方向の回転角度をそれぞれ定めてもよい。ここでＲは１未満の定数であってよい。

【0049】

実施例の動き検出部２３０は、撮影画像から検出されるユーザＡの顔の向きに加えて、ＩＭＵ１１８が計測したセンサデータを加味して、ユーザＡの顔のロール角、ピッチ角、ヨー角を検出してもよい。具体的に動き検出部２３０は、携帯端末装置１００の基準姿勢に対する携帯端末装置１００の向きを特定して、ユーザＡの顔の向きを検出する。携帯端末装置１００の基準姿勢は、リアルタイムコミュニケーションの開始前に、ユーザＡが頭を鉛直方向に維持した姿勢で携帯端末装置１００を手に持ち、自身の顔に正対させた姿勢を登録することで設定されてよい。

【0050】

動き検出部２３０は、センサデータ取得部２２４が取得したセンサデータを用いて、基準姿勢に対する携帯端末装置１００の向きを検出する。具体的に動き検出部２３０は、携帯端末装置１００の向きとして、基準姿勢に対するロール角、ピッチ角、ヨー角を検出する。実施例においてユーザＡは、携帯端末装置１００を自身の顔に正対するように把持して、会議に参加する（図１参照）。そのためユーザＡの顔と携帯端末装置１００との相対的な位置関係は、基本的には変化しない。そこで実施例では、携帯端末装置１００の向きの変化を、携帯端末装置１００に正対するユーザＡの顔の向きの変化として扱う。

【0051】

動き検出部２３０は、画像データにもとづいて、ユーザの顔の向きを、以下のように検出する。
ロール角：Ｒａ
ピッチ角：Ｐａ
ヨー角 ：Ｙａ
動き検出部２３０は、センサデータにもとづいて、携帯端末装置１００の向き（つまりはユーザの顔の向き）を、以下のように検出する。
ロール角：Ｒｂ
ピッチ角：Ｐｂ
ヨー角 ：Ｙｂ

【0052】

制御信号生成部２３２は、頭部１２のロール方向の回転角度、ピッチ方向の回転角度、ヨー方向の回転角度を、以下のように定めてよい。
・ ロール方向の回転角度
＝ｓ１×Ｒａ＋ｓ２×Ｒｂ
ここでｓ１、ｓ２は、１以下の係数である。センサデータのロール方向の回転成分をロボット１０の頭部１２の動きに反映すると、不自然な動きが生成される場合には、ｓ２を０ないしは０に近い値に設定してよい。また以下に示す理由からｓ１＝０．７５と設定されてよい。

【0053】

・ ピッチ方向の回転角度
＝ｔ１×Ｐａ＋ｔ２×Ｐｂ
ここでｔ１、ｔ２は、１以下の係数である。一般に、センサデータにもとづく携帯端末装置１００の向きの検出精度が、画像データにもとづく顔の向きの検出精度よりも高いため、ｔ１＜ｔ２の関係が定められてよい。たとえばｔ１＝０．７５、ｔ２＝１．０と設定されてよい。

【0054】

・ ヨー方向の回転角度
＝ｕ１×Ｙａ＋ｕ２×Ｙｂ
ここでｕ１、ｕ２は、１以下の係数である。上記理由からｕ１＜ｕ２の関係が定められてよく、たとえばｕ１＝０．７５、ｕ２＝１．０と設定されてよい。

【0055】

制御信号生成部２３２が、ユーザＡの顔画像から検出される顔の向きだけでなく、センサデータから検出される携帯端末装置１００の向きを加味して、頭部１２の向きを定めることで、ユーザＡの首の動きを高精度に反映した制御信号を生成することが可能となる。

【0056】

なお動き検出部２３０は、センサデータの微小な揺れを無視して、携帯端末装置１００の向きを検出してもよい。会議中、ユーザＡは常に携帯端末装置１００を把持しているため、疲れからくる腕の揺れが携帯端末装置１００に伝わることがある。そのため動き検出部２３０はセンサデータを処理するための所定の閾値を設定し、閾値を下回るセンサデータの振動成分を無視するようにしてもよい。

【0057】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0058】

実施例において、携帯端末装置１００は、音声データを、情報処理装置２００経由でロボット１０に送信するが、変形例では、情報処理装置２００を経由することなく、音声データを直接ロボット１０に送信してもよい。また実施例においてロボット１０は、画像データおよび音声データを、情報処理装置２００経由で携帯端末装置１００に送信するが、変形例では、情報処理装置２００を経由することなく、画像データおよび音声データを直接携帯端末装置１００に送信してもよい。

【0059】

実施例において、ロボット１０の制御部３０は、ユーザＡの顔の静止画像を表示部２０に表示することを説明したが、携帯端末装置１００が撮影した画像データをロボット１０に提供して、制御部３０が、ユーザＡの顔の動画像を表示部２０に表示してもよい。

【0060】

実施例では、ヨー方向において、第１回転装置１６が頭部１２を回転上限角度まで回転した後に、第２回転装置１８が胴体部１４を接地面に対して回転させることを説明した。頭部１２が回転上限角度まで回転した状態が所定時間継続すると、制御部３０は、回転した状態を戻す方向（逆方向）に第１回転装置１６を回転させ、同時に第２回転装置１８を順方向に同じ回転速度で回転させることで、頭部１２と胴体部１４とがねじれた状態を解消してもよい。

【符号の説明】

【0061】

１・・・情報処理システム、１０・・・ロボット、１２・・・頭部、１４・・・胴体部、１６・・・第１回転装置、１８・・・第２回転装置、２０・・・表示部、２２・・・カメラ、２４・・・スピーカ、２６・・・マイク、３０・・・制御部、３２・・・通信部、３４・・・送信部、３６・・・受信部、１００・・・携帯端末装置、１０２・・・制御部、１１０・・・カメラ、１１２・・・マイク、１１４・・・表示部、１１６・・・スピーカ、１１８・・・ＩＭＵ、１２０・・・通信部、１２２・・・送信部、１２４・・・受信部、２００・・・情報処理装置、２１０・・・受信部、２１２・・・送信部、２１４・・・制御部、２２０・・・取得部、２２２・・・画像データ取得部、２２４・・・センサデータ取得部、２２６・・・音声データ取得部、２３０・・・動き検出部、２３２・・・制御信号生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】