特許 6132754 情報処理システム、出力装置、および出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6132754

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】情報処理システム、出力装置、および出力方法

(51)【国際特許分類】

   G06F 3/041 20060101AFI20170515BHJP

   G06F 3/03 20060101ALI20170515BHJP

   G06F 3/0488 20130101ALI20170515BHJP

【ＦＩ】

   G06F3/041

   G06F3/041 580

   G06F3/03 400Z

   G06F3/0488

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2013-253521(P2013-253521)

(22)【出願日】2013年12月6日

(65)【公開番号】特開2015-111375(P2015-111375A)

(43)【公開日】2015年6月18日

【審査請求日】2016年3月3日

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】外川 圭司

(72)【発明者】

【氏名】山岸 建

(72)【発明者】

【氏名】西牧 洋一

【審査官】 松田 岳士

(56)【参考文献】

【文献】 特開２０１３−０１７５９０（ＪＰ，Ａ）

【文献】 特開２０１２−０４００７６（ＪＰ，Ａ）

【文献】 特開２００４−３６２４２９（ＪＰ，Ａ）

【文献】 特表２０１３−５３５０４６（ＪＰ，Ａ）

【文献】 特許第４９７２２１８（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ ９／２４

Ａ６３Ｆ １３／００−１３／９８

Ａ６３Ｈ １／００−３７／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３− ３／０４８９

(57)【特許請求の範囲】

【請求項1】

タッチパッドと接続した情報処理装置と、当該タッチパッドとの接触状態を維持可能に構成される出力装置と、を備えた情報処理システムであって、
前記出力装置は、
前記タッチパッドが接触を検知するための前記出力装置からの作用を異なる位置に発生させる複数のタッチセンサ作用部と、
前記タッチセンサ作用部による作用の状態を変化させるタッチセンサ作用制御部と、
を備え、
前記情報処理装置は、
前記タッチパッドから前記作用により検知された接触位置に係る情報を取得する作用検知部と、
前記接触位置の組み合わせに基づき前記出力装置の状態を特定し、それに応じて前記タッチパッド下に備えられた表示装置における表示画像を変化させる表示制御部と、
を備えたことを特徴とする情報処理システム。

【請求項2】

前記表示制御部は、前記出力装置の接触面に対応する領域を特定し、当該領域のうち、少なくとも前記出力装置が接触部分に備えた入力端部に対応する位置における表示を変化させ、
前記出力装置は、
前記入力端部から前記表示装置における表示の変化に係る情報を取得し、それに応じた内容の出力を行う出力制御部を備えたことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記情報処理装置の前記表示制御部は、前記入力端部に対応する位置における画素の輝度を所定のパターンで時間変化させ、
前記出力装置の前記出力制御部は、前記輝度の変化のパターンに対応づけられた、内部のアクチュエータの駆動、音声出力、発光、の少なくともいずれかを発生させることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記情報処理装置の前記表示制御部は、前記入力端部に対応する位置に所定の画像を表示し、
前記出力装置の前記出力制御部は、前記画像を前記出力装置の所定の部位に表示させることを特徴とする請求項２または３に記載の情報処理システム。

【請求項5】

前記出力装置の前記タッチセンサ作用制御部は、前記タッチセンサ作用部のうちいずれかの、前記作用が発生している状態と停止している状態を、所定のパターンで時間変化させ、
前記情報処理装置の前記表示制御部は、前記パターンに対応づけられた変化を表示画像に与えることを特徴とする請求項１から４のいずれかに記載の情報処理システム。

【請求項6】

前記タッチセンサ作用制御部は、前記タッチセンサ作用部の位置を変化させ、
前記情報処理装置の前記表示制御部は、前記タッチパッドが検知した複数の接触位置の間隔に応じて、表示画像を変化させることを特徴とする請求項１から４のいずれかに記載の情報処理システム。

【請求項7】

前記タッチセンサ作用制御部は、前記複数のタッチセンサ作用部の前記タッチパッドへの作用が発生している状態と停止している状態を、前記タッチセンサ作用部ごとに切り替え、
前記情報処理装置の前記表示制御部は、前記タッチパッドが検知した接触位置または当該接触位置の時間変化に応じて、表示画像を変化させることを特徴とする請求項１から４のいずれかに記載の情報処理システム。

【請求項8】

前記出力装置は、周囲の物理量を計測する環境パラメータセンサをさらに備え、
前記タッチセンサ作用制御部は、前記物理量の変化に応じて動作することを特徴とする請求項１から７のいずれかに記載の情報処理システム。

【請求項9】

前記情報処理装置の前記表示制御部は、前記入力端部に対応する位置における画素の輝度を所定のパターンで時間変化させ、
前記出力装置の前記出力制御部は、前記輝度の変化のパターンに対応づけられた動きで内部のアクチュエータを駆動させることにより、前記出力装置に備えられた車輪を回転させて当該出力装置を移動させ、
前記情報処理装置の前記表示制御部は、前記出力装置の移動に応じた前記接触面に対応する領域の移動を追跡することにより、画素の輝度を時間変化させる位置を変化させることを特徴とする請求項２に記載の情報処理システム。

【請求項10】

前記情報処理装置の前記表示制御部は、前記入力端部に対応する位置に所定の画像を表示し、
前記出力装置の前記出力制御部は、前記画像を他の物体上に投影して表示させることを特徴とする請求項２または３に記載の情報処理システム。

【請求項11】

情報処理装置に接続されたタッチパッドとの接触状態を維持可能に構成される出力装置であって、
前記タッチパッドが接触を検知するための前記出力装置からの作用を異なる位置に発生させる複数のタッチセンサ作用部と、
前記タッチセンサ作用部による作用の状態を変化させることにより、前記タッチパッドに検知される接触位置の組み合わせを制御するタッチセンサ作用制御部と、
前記情報処理装置が、前記組み合わせに基づき当該タッチパッド下に備えられた表示装置における表示画像に与えた変化を検知する入力端部と、
前記表示画像の変化に応じた内容の出力を行う出力制御部と、
を備えたことを特徴とする出力装置。

【請求項12】

情報処理装置に接続されたタッチパッドとの接触状態を維持可能に構成される出力装置が行う出力方法であって、
前記出力装置が備える複数のタッチセンサ作用部が、前記タッチパッドが接触を検知するための前記出力装置からの作用を異なる位置に発生させるステップと、
前記タッチパッドが前記作用により検知した接触位置に基づき、前記情報処理装置が当該タッチパッド下に備えられた表示装置における表示画像に与えた変化を検知するステップと、
前記表示画像の変化に応じた内容の出力を行うステップと、
を含み、
前記作用を異なる位置に発生させるステップは、前記タッチパッドに検知される接触位置の組み合わせを制御することを特徴とする出力方法。

【請求項13】

情報処理装置に接続されたタッチパッドとの接触状態を維持可能に構成される出力装置が備えるコンピュータに、
前記出力装置が備える複数のタッチセンサ作用部に、前記タッチパッドが接触を検知するための前記出力装置からの作用を異なる位置に発生させる機能と、
前記タッチパッドが前記作用により検知した接触位置に基づき、前記情報処理装置が当該タッチパッド下に備えられた表示装置における表示画像に与えた変化を検知する機能と、
前記表示画像の変化に応じた内容の出力を行う機能と、
を実現させ、
前記作用を異なる位置に発生させる機能は、前記タッチパッドに検知される接触位置の組み合わせを制御することを特徴とするコンピュータプログラム。

【請求項14】

情報処理装置に接続されたタッチパッドとの接触状態を維持可能に構成される出力装置が備えるコンピュータに、
前記出力装置が備える複数のタッチセンサ作用部に、前記タッチパッドが接触を検知するための前記出力装置からの作用を異なる位置に発生させる機能と、
前記タッチパッドが前記作用により検知した接触位置に基づき、前記情報処理装置が当該タッチパッド下に備えられた表示装置における表示画像に与えた変化を検知する機能と、
前記表示画像の変化に応じた内容の出力を行う機能と、
を実現させ、
前記作用を異なる位置に発生させる機能は、前記タッチパッドに検知される接触位置の組み合わせを制御するコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物の態様を変化させる情報処理技術に関する。

【背景技術】

【0002】

ロボットなど実空間に存在する対象物を操作者の意図通りに動かす技術は、産業用ロボットから玩具まで、多くの分野で発展してきた。それらの技術では基本的に、対象物（以下、代表的な呼称として「ロボット」と呼ぶ場合がある）と有線または無線で接続されたコントローラをユーザが操作し、当該操作内容を信号として入力することによりロボットがそれを解釈したり、あらかじめ作成されたプログラムを内部で実行したりすることによってロボットが動作する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述したような一般的なロボットでは、ロボット自体に多くの回路が必要であったり、コントローラとの接続のためのケーブルや端子が必要であったりする。またユーザが行うべき初期設定や操作方法が複雑化する。結果として、動きや態様の変化を多様にするほど、また、操作対象のロボットの数を増やすほど、製造コストが高くなったり、ユーザの負担が大きくなったりする。一方、玩具としてのロボットを提供する場合、安価なこと、かつ容易な接続や操作で動かせることが重要になる。しかしながらそのような要請のもとでは、実現できるロボットの動作や態様の変化が大幅に限定され、魅力的なロボットとはなり難いという問題があった。

【0004】

本発明はこのような課題に鑑みてなされたものであり、その目的は、ユーザの負担を少なく様々な態様変化や動作を実現できる装置を安価に提供することにある。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明のある態様は情報処理システムに関する。この情報処理システムは、タッチパッドと接続した情報処理装置と、当該タッチパッドとの接触状態を維持可能に構成される出力装置と、を備えた情報処理システムであって、情報処理装置は、タッチパッドから接触位置に係る情報を取得する作用検知部と、接触位置に基づき出力装置の状態を特定し、それに応じてタッチパッド下に備えられた表示装置における表示画像を変化させる表示制御部と、を備えたことを特徴とする。

【0006】

本発明の別の態様は情報処理装置に関する。この情報処理装置は、タッチパッドから、当該タッチパッドと接触状態にある出力装置の接触位置に係る情報を取得する作用検知部と、接触位置に基づき出力装置の状態を特定し、それに応じてタッチパッド下に備えられた表示装置における表示画像を変化させる表示制御部と、を備えたことを特徴とする。

【0007】

本発明のさらに別の態様は出力装置に関する。この出力装置は、情報処理装置に接続されたタッチパッドとの接触状態を維持可能に構成される出力装置であって、情報処理装置が、タッチパッドが検知した接触位置に基づき当該タッチパッド下に備えられた表示装置における表示画像に与えた変化を検知する入力端部と、表示画像の変化に応じた内容の出力を行う出力制御部と、を備えたことを特徴とする。

【0008】

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、タッチパッドから、当該タッチパッドと接触状態にある出力装置の接触位置に係る情報を取得するステップと、接触位置に基づき出力装置の状態を特定し、それに応じてタッチパッド下に備えられた表示装置における表示画像を変化させるステップと、を含むことを特徴とする。

【0009】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によると、様々な態様変化や動作を実現できる装置を安価かつ容易に実現することができる。

【図面の簡単な説明】

【0011】

【図1】本実施の形態におけるロボットの使用形態例を示す図である。

【図2】本実施の形態におけるロボットとタッチパネルにおける表示の関係を説明するための図である。

【図3】（ａ）は情報処理装置の前面を示す図であり、（ｂ）は情報処理装置の背面を示す図である。

【図4】（ａ）は情報処理装置の上面を示す図であり、（ｂ）は情報処理装置の下面を示す図であり、（ｃ）は情報処理装置の左側面を示す図である。

【図5】情報処理装置の回路構成を示す図である。

【図6】本実施の形態におけるロボットの構成を示す図である。

【図7】本実施の形態におけるロボットと情報処理装置の機能ブロックの構成を示す図である。

【図8】本実施の形態において任意の位置にあるロボットと表示画像の関係を示す図である。

【図9】本実施の形態における表示画面の輝度の変化と、ロボットの動作制御部がそれに応じて決定するロボットの動作を例示する図である。

【図10】本実施の形態におけるロボットのタッチパッドへのオン／オフのパターンと、情報処理装置がそれに応じて発生させる顔画像の変化の対応を例示する図である。

【図11】本実施の形態におけるロボットの変形例を示す図である。

【図12】本実施の形態におけるロボット底面の構成の変形例を示す図である。

【図13】本実施の形態においてロボット固有の顔画像を表示させる際に表示制御部が参照するテーブルの例を示す図である。

【図14】本実施の形態においてロボットと情報処理装置の協働によりロボットの態様を変化させる処理手順を示すフローチャートである。

【図15】本実施の形態の変形例として、ロボットが一旦取り込んだ画像を別の物体に投影する態様におけるロボットの様子を示す図である。

【発明を実施するための形態】

【0012】

図１は本実施の形態におけるロボットの使用形態例を示している。本実施の形態においてロボット１５０は情報処理装置１０に設けたタッチパネル５０上に乗せることによって動作する。タッチパネル５０は表示装置と、その表面を覆う透明なタッチパッドで構成される。ロボット１５０がタッチパネル５０に置かれると、その接触をタッチパッドが検出する。それに応じて情報処理装置１０は、ロボット１５０が接している領域における表示を変化させる。

【0013】

ロボット１５０は、そのような表示の変化を情報処理装置からの入力情報として取得し、それに応じて態様を変化させる。図１の例でロボット１５０の顔部１５２は、情報処理装置１０が、タッチパネル５０のうちロボット１５０の底面が接触している領域に表示した顔画像を映し出している。またロボット１５０の腕部１５４は、ロボット１５０の底面が接触している領域のいずれかの部分の輝度変化を光学センサにより検出し、それに応じて腕部１５４と接続したアクチュエータを駆動させることにより動くようになっている。ロボット１５０はそのほか、輝度変化によって音声を発生させたり光を発したりしてもよい。

【0014】

本実施の形態ではこのように、情報処理装置１０における表示の変化をロボット１５０への入力信号とすることにより、ロボット１５０の外見に変化を与えたり動かしたりすることを基本とする。その意味で、ロボット１５０は情報処理装置１０に対応する別個体の出力装置とも見なせる。さらにロボット１５０は、タッチパネル５０のタッチパッドが接触を検知する状態／検知しない状態、をロボット１５０側で物理的に切り替える（以下、タッチパッドへの作用の「オン／オフ」と呼ぶ）ことにより、ロボット１５０から情報処理装置１０への信号入力も可能にする。いずれにしろケーブル等で接続せずにタッチパネル５０を介してロボット１５０と情報処理装置１０間の相互通信を可能とすることで、簡易な構成であっても多様な動きや外見変化が可能なロボットを実現できる。

【0015】

なお情報処理装置１０やロボット１５０の外観は図示するものに限らない。例えばタッチパネル５０を情報処理装置本体から切り離し、ケーブルまたはワイヤレスで接続するようにしてもよいし、情報処理装置１０をロボット１５０専用のゲーム盤などとしてもよい。またロボット１５０は一般的なロボットの形を有していなくてもよく、球体や直方体などより単純な形状の立体でもよいし、芸術性のあるオブジェのような複雑な形状の立体でもよい。マルチタッチパッドとすることにより、複数のロボットを乗せるようにしてもよい。また、ロボット１５０の底面に固定用の吸盤を設けるなどして接触した状態が保てれば、タッチパネル５０は水平でなくても、また、平板でなくてもよい。

【0016】

図２は図１で示したロボット１５０とタッチパネル５０における表示の関係を説明するための図である。上段にロボット１５０の正面１５０ａおよび底面１５０ｂを、下段にタッチパネル５０の表示画面１４を示している。表示画面１４のうち矩形領域１６は、ロボット１５０の底面１５０ｂに対応する領域である。ここで「対応する領域」とは代表的にはロボットの底面１５０ｂが接触している領域であるが、必ずしも全領域が接していなくてもよく、厳密には間隙の有無にかかわらず底面１５０ｂの直下にある領域である。ロボット１５０の底面１５０ｂには、タッチパッドへの作用を発生させるタッチセンサ作用部１５６ａ〜１５６ｃを設ける。

【0017】

タッチセンサ作用部１５６ａ〜１５６ｃの構造は、タッチパッドにおける接触の検出方式によって異なる。例えば抵抗膜方式のタッチパッドであれば、タッチパッド表面へ圧力を加えるため筐体の該当部分を凸形状とするなどにより実現する。静電容量方式のタッチパッドであれば、検出用電極の電気容量を変化させる回路や電気的素子等により実現する。例えば、タッチセンサ作用部１５６ａ〜１５６ｃを、ロボット内の図示しないバッテリと接続した昇圧回路や発振回路および底面に露出した電極で構成し、バッテリからの電力によって電極間に高電圧差または特定周波数の交流を印加するようにしてもよい。

【0018】

タッチパッドが走査式の場合は、当該電圧走査を検出しそれに応じたタイミングで電極に電圧を印加するような構成とする。ロボット内部のバッテリに代えて、こすり合わせることにより静電気を発生させる２つの部材と、それらをこすり合わせるためのモーターを設け、必要なタイミングで静電気を発生させて電極に印加するようにしてもよい。あるいはロボット１５０を、把持したユーザを通じたアース接続を可能にする導電性材料としてもよい。

【0019】

ユーザの接触に代え、ロボット底面など少なくとも一部を導電性材料として外部の物体と結線したり、ロボットに接続した導線を情報処理装置１０が有する図示しないイヤホンジャックなどのコネクタに差し込んで装置内の設置電位部に接続したりして、適切なタイミングでアース接続ができるようにすることで、接触面の電荷を移動させるようにしてもよい。これ以外に、超音波、光、磁場など、タッチパッドの検出対象に応じてタッチセンサ作用部１５６ａ〜１５６ｃの構成を適宜選択できることは当業者には理解されるところである。

【0020】

タッチセンサ作用部１５６ａ〜１５６ｃのタッチパッドへの作用をオフにする手法も当然、タッチパッドにおける接触の検出方式によって異なる。抵抗膜方式の場合は、底面の凸部分の突出量を可変にするアクチュエータなどの機構を設けることにより、その他の凸部分によってロボットを支持しつつ、該当部分の突出量を減らすことにより物理的に非接触にすることが考えられる。静電容量方式の場合は電気容量の変化を解消するように電荷を変化させることが考えられる。

【0021】

なお情報処理装置１０が備えるタッチパッドの接触検出方式や検出しきい値などによって、タッチセンサ作用部１５６ａ〜１５６ｃの作用のさせ方を適応的に変化させてもよい。すなわちロボット側で、作用の機構や印加電圧などを複数種類、実現できるようにしておく。そしてユーザが情報処理装置１０の種類によってロボットの設定を切り替えられるような入力手段を設けたり、後述の輝度変化などによって情報処理装置１０からロボット１５０へ、適切な設定を通知したりしてもよい。

【0022】

なお上記のうちユーザを通じてアース接続する態様では、ユーザがロボット１５０に触っているか否かによって、タッチセンサ作用部１５６ａ〜１５６ｃのオン／オフが切り替わることになる。したがって情報処理装置１０が、タッチセンサ作用部１５６ａ〜１５６ｃのオン／オフによって、ロボット１５０の底面に対応する領域やそれ以外の領域の表示を変化させることにより、ユーザがロボットに触ると情報処理装置１０やロボット１５０の表示や外観が変化する態様を実現できることになる。

【0023】

図示するようにタッチセンサ作用部１５６ａ〜１５６ｃを底面１５０ｂの四隅のうち３カ所に備え、それらのタッチパッドへの作用をオンの状態でロボット１５０をタッチパネル５０上に乗せると、情報処理装置１０は矩形領域１６を特定できる。ただしタッチセンサ作用部１５６ａ〜１５６ｃの配置や数はこれに限らない。例えば上記のように突出量を可変とする場合や、後述するように作用している位置によってロボットの固体を識別する場合は、必要な数だけタッチセンサ作用部を備えてよい。また図示するようにロボットの前部、後部でタッチセンサ作用部の配置を非対称とすることでロボットの向きが特定できるが、前後の区別がない形態のロボットであればタッチセンサ作用部の数を減らすこともできる。

【0024】

矩形領域１６を特定したら情報処理装置１０は、表示画面１４のうち当該矩形領域１６に所定の画像を表示する。同図の場合、ロボット１５０の顔部１５２に表示されるべき顔の画像を表示している。当該画像は静止画でもよいし、動画でもよい。また表示内容は絵や写真など対象物を表す画像でなくてもよく、文字、塗りつぶし領域、図形、模様など表示により表せるものであればその種類は限定されない。当該画像はロボット１５０の底面１５０ｂの対応する領域１５８から取り込まれ、顔部１５２に表示される。底面１５０ｂで取り込んだ画像を顔部１５２など別の領域に表示する機構は様々考えられる。いわゆるテレビ石（ウレキサイト）、光ファイバー、鏡などを用いて、光の反射によって映し出してもよいし、カメラとモニタを電気的に接続し、画像の電子データを転送してもよい。

【0025】

ロボット１５０の底面１５０ｂにはさらに、光学センサ１６０ａ、１６０ｂを設ける。そして表示画面１４の矩形領域１６のうち、光学センサ１６０ａ、１６０ｂに対応する領域１８ａ、１８ｂの画素の輝度を変化させ、それを信号としてロボット１５０へ入力する。ロボット１５０は当該変化を検知し、あらかじめ定めた規則に従い、内部のアクチュエータの動きや出力音声・発光などに変換する。なお情報処理装置１０からロボット１５０への信号入力は、このように表示装置における画素の輝度を変化させるものに限らず、電波、赤外線、音波などを用いてもよい。この場合、光学センサに代わり、それらの物理量を検出するセンサを導入する。そのような電波、赤外線、音波等を発生させる機構を情報処理装置１０に設けた場合、ロボット１５０におけるセンサの位置は、ロボット１５０の底面１５０ｂに限らず、当該発生機構に対応する箇所でよい。

【0026】

なお矩形領域１６は、タッチパネル１２上の固定の領域として表示画面に枠を表示しておき、その上に所定の向きでロボット１５０を乗せる態様としてもよい。この場合、ロボット１５０が乗せられたか否かを検出できればよいため、矩形領域１６を特定するための複数のタッチセンサ作用部は必要なくなる。ロボット１５０の位置や向きを任意とした場合は、上述のようにタッチセンサ作用部１５６ａ〜１５６ｃの配置によってロボットの前後を特定することにより、ロボット１５０の顔部１５２に正しい向きで顔が表示されるように、表示画面１４に表示する顔の回転角を調整する。

【0027】

次に情報処理装置１０の構成例を説明する。この例で情報処理装置１０は、本実施の形態で必要な、ロボットとの協調動作以外に、ゲーム、コンテンツ表示、通信など一般的な情報処理を実施可能に構成される。ただし上述の通り情報処理装置１０の形状や構成は様々考えられ、以下に述べるものに限定する趣旨ではない。

【0028】

図３（ａ）は、情報処理装置１０の前面を示す。情報処理装置１０は、横長の筐体により形成され、ユーザが把持する左右の領域は、円弧状の外郭を有している。情報処理装置１０の前面には、矩形のタッチパネル５０が設けられる。タッチパネル５０は、表示装置２０と、表示装置２０の表面を覆う透明な前面タッチパッド２１から構成される。表示装置２０は有機ＥＬ（Electro-Liminescence）パネルであり、画像を表示する。なお表示装置２０は液晶パネルなどの表示手段であってもよい。前面タッチパッド２１は、同時にタッチされた複数ポイントの検出機能をもつマルチタッチパッドであって、タッチパネル５０はマルチタッチスクリーンとして構成される。

【0029】

タッチパネル５０の右側には、菱形の頂点にそれぞれ位置する△ボタン２２ａ、○ボタン２２ｂ、×ボタン２２ｃ、□ボタン２２ｄ（以下、総称する場合には「操作ボタン２２」とよぶ）が設けられ、タッチパネル５０の左側には、上キー２３ａ、左キー２３ｂ、下キー２３ｃ、右キー２３ｄ（以下、総称する場合には「方向キー２３」とよぶ）が設けられる。ユーザは方向キー２３を操作して、上下左右および斜方の８方向を入力できる。

【0030】

方向キー２３の下側には左スティック２４ａが設けられ、また操作ボタン２２の下側には右スティック２４ｂが設けられる。ユーザは左スティック２４ａまたは右スティック２４ｂ（以下、総称する場合には「アナログスティック２４」とよぶ）を傾動して、方向および傾動量を入力する。筐体の左右頂部には、Ｌボタン２６ａ、Ｒボタン２６ｂが設けられる。操作ボタン２２、方向キー２３、アナログスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂは、ユーザが操作する操作手段を構成する。

【0031】

操作ボタン２２の近傍に、前面カメラ３０が設けられる。左スティック２４ａの左側および右スティック２４ｂの右側には、それぞれ音声を出力する左スピーカ２５ａおよび右スピーカ２５ｂ（以下、総称する場合には「スピーカ２５」とよぶ）が設けられる。また左スティック２４ａの下側にＨＯＭＥボタン２７が設けられ、右スティック２４ｂの下側にＳＴＡＲＴボタン２８およびＳＥＬＥＣＴボタン２９が設けられる。

【0032】

図３（ｂ）は、情報処理装置１０の背面を示す。情報処理装置１０の背面には、背面カメラ３１および背面タッチパッド３２が設けられる。背面タッチパッド３２は、前面タッチパッド２１と同様に、マルチタッチパッドとして構成される。情報処理装置１０は、前面および背面において、２つのカメラおよびタッチパッドを搭載している。

【0033】

図４（ａ）は、情報処理装置１０の上面を示す。既述したように、情報処理装置１０の上面の左右端側に、Ｌボタン２６ａ、Ｒボタン２６ｂがそれぞれ設けられる。Ｌボタン２６ａの右側には電源ボタン３３が設けられ、ユーザは、電源ボタン３３を押下することで、電源をオンまたはオフする。なお情報処理装置１０は、操作手段が操作されない時間（無操作時間）が所定時間続くと、サスペンド状態に遷移する電力制御機能を有している。情報処理装置１０がサスペンド状態に入ると、ユーザは電源ボタン３３を押下することで、情報処理装置１０をサスペンド状態からアウェイク状態に復帰させることができる。

【0034】

ゲームカードスロット３４は、ゲームカードを差し込むための差込口であり、この図では、ゲームカードスロット３４がスロットカバーにより覆われている状態が示される。なおゲームカードスロット３４の近傍に、ゲームカードがアクセスされているときに点滅するＬＥＤランプが設けられてもよい。アクセサリ端子３５は、周辺機器（アクセサリ）を接続するための端子であり、この図ではアクセサリ端子３５が端子カバーにより覆われている状態が示される。アクセサリ端子３５とＲボタン２６ｂの間には、ボリュームを調整するための−ボタン３６ａと＋ボタン３６ｂが設けられている。

【0035】

図４（ｂ）は、情報処理装置１０の下面を示す。メモリカードスロット３７は、メモリカードを差し込むための差込口であり、この図では、メモリカードスロット３７が、スロットカバーにより覆われている状態が示される。情報処理装置１０の下面において、音声入出力端子３８、マイク３９およびマルチユース端子４０が設けられる。マルチユース端子４０はＵＳＢ（Universal Serial Bus）に対応し、ＵＳＢケーブルを介して他の機器と接続できる。

【0036】

図４（ｃ）は、情報処理装置１０の左側面を示す。情報処理装置１０の左側面には、ＳＩＭカードの差込口であるＳＩＭカードスロット４１が設けられる。

【0037】

図５は、情報処理装置１０の回路構成を示す。各構成はバス９２によって互いに接続されている。無線通信モジュール７１はＩＥＥＥ８０２．１１ｂ／ｇ等の通信規格に準拠した無線ＬＡＮモジュールによって構成され、無線アクセスポイントなどを介してインターネットなどの外部ネットワークに接続する。なお無線通信モジュール７１は、ブルートゥース（登録商標）プロトコルの通信機能を有してもよい。携帯電話モジュール７２は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応し、携帯電話網４に接続する。ＳＩＭカードスロット４１には、携帯電話の電話番号を特定するための固有のＩＤ番号が記録されたＳＩＭカード７４が挿入される。ＳＩＭカード７４がＳＩＭカードスロット４１に挿入されることで、携帯電話モジュール７２は、携帯電話網４との間で通信可能となる。

【0038】

ＣＰＵ（Central Processing Unit）６０は、メインメモリ６４にロードされたプログラムなどを実行する。ＧＰＵ（Graphics Processing Unit）６２は、画像処理に必要な計算を実行する。メインメモリ６４は、ＲＡＭ（Random Access Memory）などにより構成され、ＣＰＵ６０が使用するプログラムやデータなどを記憶する。ストレージ６６は、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）などにより構成され、内蔵型の補助記憶装置として利用される。

【0039】

モーションセンサ６７は、情報処理装置１０の動きを検出し、地磁気センサ６８は、３軸方向の地磁気を検出する。ＧＰＳ制御部６９は、ＧＰＳ衛星からの信号を受信し、現在位置を算出する。前面カメラ３０および背面カメラ３１は、画像を撮像し、画像データを入力する。前面カメラ３０および背面カメラ３１は、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）によって構成される。

【0040】

表示装置２０は、有機ＥＬ表示装置であり、陰極および陽極に電圧を印加することで発光する発光素子を有する。省電力モードでは、電極間に印加する電圧を通常よりも低くすることで、表示装置２０を減光状態とすることができ、電力消費を抑えられる。なお表示装置２０はバックライトを備えた液晶パネル表示装置であってもよい。省電力モードでは、バックライトの光量を下げることで、液晶パネル表示装置を減光状態として、電力消費を抑えることができる。

【0041】

インタフェース９０において、操作部７０は、情報処理装置１０における各種操作手段を含み、具体的には、操作ボタン２２、方向キー２３、アナログスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂ、ＨＯＭＥボタン２７、ＳＴＡＲＴボタン２８、ＳＥＬＥＣＴボタン２９、電源ボタン３３、−ボタン３６ａ、＋ボタン３６ｂを含む。前面タッチパッド２１および背面タッチパッド３２は、マルチタッチパッドであり、前面タッチパッド２１は、表示装置２０の表面に重ね合わせて配置される。スピーカ２５は、情報処理装置１０の各機能により生成される音声を出力し、マイク３９は、情報処理装置１０の周辺の音声を入力する。音声入出力端子３８は、外部のマイクからステレオ音声を入力し、外部のヘッドホンなどへステレオ音声を出力する。

【0042】

ゲームカードスロット３４には、ゲームファイルを記録したゲームカード７６が差し込まれる。ゲームカード７６は、データの書込可能な記録領域を有しており、ゲームカードスロット３４に装着されると、メディアドライブにより、データの書込み／読出しが行われる。メモリカードスロット３７には、メモリカード７８が差し込まれる。メモリカード７８は、メモリカードスロット３７に装着されると、外付け型の補助記憶装置として利用される。マルチユース端子４０は、ＵＳＢ端子として利用でき、ＵＳＢケーブル８０を接続されて、他のＵＳＢ機器とデータの送受信を行う。アクセサリ端子３５には、周辺機器が接続される。

【0043】

図６はロボット１５０の構成を示している。ロボット１５０は情報処理装置１０のタッチパネル５０に表示された顔などの画像を取り込み、所定の場所に表示する画像転送機構１６２を有し、その一端である画像取り込み端部１６４が底面に、もう一端である画像表示部１６６が顔部１５２等、所定の位置に設けられる。底部にはさらに、情報処理装置１０のタッチパッドへの作用をもたらすタッチセンサ作用部１５６ａ〜１５６ｃ、およびタッチパネル５０における輝度変化を取得する光学センサ１６０ａ、１６０ｂが設けられる。さらにロボット１５０は、腕部１５４ａ、１５４ｂを動かすアクチュエータ１６８ａ、１６８ｂ、音声を出力するスピーカ１７２、それらの動作を制御する制御回路１７０を有する。ロボット１５０にはさらに、照度、気温、音量、時間経過など周囲の環境を表すパラメータ（以下、「環境パラメータ」と呼ぶ）の少なくともいずれかを検出する環境パラメータセンサ１７４を備えてよい。

【0044】

制御回路１７０は、光学センサ１６０ａ、１６０ｂが取得したタッチパネル５０の輝度情報を随時取得し、それを信号として解釈することで、アクチュエータ１６８ａ、１６８ｂを駆動させたり、スピーカ１７２から音声を出力したりする。そのため制御回路１７０は、輝度変化のパターンを、アクチュエータ１６８ａ、１６８ｂの動きや出力すべき音声データと対応づけたロボット動作テーブルを内部で保持する。また制御回路１７０は、タッチセンサ作用部１５６ａ〜１５６ｃによるタッチパッドへの作用のオン／オフ制御も行う。例えば環境パラメータセンサ１７４が検出した、環境を表すパラメータの変化に応じて、制御回路１７０は、タッチセンサ作用部１５６ａ〜１５６ｃのいずれかによる作用のオン／オフを切り替える。情報処理装置１０はそれをロボット１５０からの信号として解釈することで、表示する画像を切り替えたり輝度を変化させたりしてロボット１５０の表示や動作へフィードバックする。

【0045】

なお図示するアクチュエータやスピーカは本実施の形態の一例に過ぎず、上述のとおりロボット１５０を発光させる発光ダイオードを設けたり、アクチュエータを別の部分に設けたりしてもよい。またロボット１５０は、図示する構造の全ての構成要素を備えていなくてもよく、使用目的、デザイン、価格等の観点から構成要素を適宜取捨選択してよい。また、構成要素のいずれかを備えた複数のブロックを個別に提供し、ユーザが自分の好みに応じて組み立てる態様としてもよい。さらにロボット１５０はバッテリや電源ボタンなどを適宜備えてよい。またロボット底面、特にタッチセンサ作用部１５６ａ〜１５６ｃをエラストマーなどで覆い、弾性を持たせることにより、安定的かつ柔軟にタッチパッドへ接触するようにしてもよい。

【0046】

図７はロボット１５０と情報処理装置１０の機能ブロックの構成を示している。図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、記録媒体からメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0047】

ロボット１５０は、図６で示した環境パラメータセンサ１７４からの情報などに基づきタッチセンサ作用部１５６ａ〜１５６ｃ（総称してタッチセンサ作用部１５６とする）によるタッチパッドへの作用を制御するタッチセンサ作用制御部１８０、画像取り込み端部１６４から画像を取り込み、顔部などの画像表示部１６６に表示する画像転送部１８２、光学センサ１６０ａ、１６０ｂ（総称して光学センサ１６０とする）から輝度変化に係る情報を得て、それに応じてアクチュエータ１６８ａ、１６８ｂ（総称してアクチュエータ１６８とする）の駆動やスピーカ１７２からの音声出力を制御する動作制御部１８４を含む。

【0048】

情報処理装置１０は、ロボット１５０のタッチセンサ作用部１５６からの作用を検知する作用検知部１１０、ロボット１５０の底面に対応する画面上の領域やロボット１５０の向きを導出し、適正な向きおよび位置に顔などの画像を表示したり所定の箇所の輝度を変化させたりする画像データを生成する表示制御部１１２、および、生成された画像データを画像として出力する表示部１１４を含む。

【0049】

ロボット１５０のタッチセンサ作用制御部１８０は、上述の通り、タッチパッドの検出方式に応じた方法で、タッチセンサ作用部１５６のタッチパッドへの作用のオン／オフ切り替えを制御する。後述するようにロボット１５０の固体識別をオン状態のタッチセンサ作用部１５６の位置で表す場合、ロボットごとに設定された当該位置情報に基づきオンとするタッチセンサ作用部１５６を決定する。

【0050】

また環境パラメータセンサ１７４が検出した環境パラメータの変化をロボット１５０に反映させる場合は、当該パラメータの変化に対応するパターンで、所定のタッチセンサ作用部１５６のオン／オフを切り替える。ここで「パターン」とは１つのタッチセンサ作用部の作用のオン／オフを切り替えるタイミング（オン／オフ状態の時間変化）でもよいし、複数のタッチセンサ作用部のうちオンにするタッチセンサ作用部の位置やその組み合わせでもよい。またはオンにしているタッチセンサ作用部の位置の時間変化であってもよい。

【0051】

そのためタッチセンサ作用制御部１８０には、環境パラメータの変化とタッチセンサ作用部１５６の変化のパターンとを対応づけた、タッチセンサ作用変化テーブルを記憶するメモリを備える。環境パラメータセンサ１７４は、照度センサ、温度センサ、マイク、タイマーなど、所定の環境パラメータを計測する機器のいずれかでよく、２つ以上の組み合わせでもよい。

【0052】

画像転送部１８２は、図６で説明した画像転送機構１６２において、画像取り込み端部１６４から画像表示部１６６へ画像を転送する機能ブロックである。上述のとおり転送に光の反射を利用する場合は反射させる物質であり、画像データを電気的に転送する場合は伝送ケーブルなどである。動作制御部１８４は、光学センサ１６０が取得した、表示装置における画素の輝度変化に基づき、それに対応する動きでアクチュエータ１６８を駆動させたり、スピーカ１７２から音声を出力したりする。

【0053】

そのため動作制御部１８４には、輝度変化のパターンと、駆動方向、回転角、振動周期、駆動時間などアクチュエータ１６８の動作を定義するパラメータや、出力すべき音声データなどとを対応づけたロボット動作テーブルを記憶するメモリを備える。ここで輝度変化の「パターン」は、１つの表示領域における画素の発光／非発光を切り替えるタイミング（オン／オフ状態の時間変化）でもよいし、複数の表示領域のうち発光させる表示領域の位置やその組み合わせでもよい。または発光している表示領域の位置の時間変化であってもよい。また発光／非発光のように輝度値を２値とせず、複数の階調を利用して多段階に変化させてもよいし、さらに色情報を検出するようにしてその変化を利用してもよい。

【0054】

動作制御部１８４が決定した動作でアクチュエータ１６８が動くことにより、例えば図１の腕部１５４が前後に振動したり回転したりする。そのほか、バネを収縮させて固定しておいた装飾品や銃弾（図示せず）を、固定部分をアクチュエータ１６８で動かし当該バネを解放することにより跳ばしたりしてもよい。また動作制御部１８４が決定した音声データをスピーカ１７２から音声として出力することにより、例えば所定のビープ音や、あらかじめ生成した合成音声や録音した音声が発生するようにする。当該音声データも、動作制御部１８４内部のメモリに格納しておく。

【0055】

情報処理装置１０の作用検知部１１０は、図３で示したタッチパネル５０のうちタッチパッド２１、およびＣＰＵ６０などで構成し、ロボット１５０のタッチセンサ作用部１５６がオン状態になったとき、あるはオン状態のタッチセンサ作用部１５６が接触したとき、その接触位置を検出する。タッチパッド２１はマルチタッチパッドであるため、接触点の数によらずその接触を検知し、ディスプレイにおける座標に変換して、表示制御部１１２に通知する。

【0056】

図２の例ではタッチセンサ作用部１５６ａ〜１５６ｃの３点の接触点が検出されるため、表示制御部１１２は、その位置情報に基づき、ロボット１５０の底面が接触している領域（図２の矩形領域１６）と、そのうちロボットの前面に対応する辺を特定できる。そして表示制御部１１２は、当該領域のうち画像取り込み端部１６４が位置する領域に、ロボットの顔など表示すべき画像を表示させた表示画像のデータを生成する。

【0057】

さらに、ロボット１５０底面の光学センサ１６０が位置する領域の輝度を変化させる。この発光は上述の通りロボット１５０を動作させたり音声を出力したりするためのものであるため、動かしたいタイミングや音声を出力したいタイミングにおいて、その目的に応じたパターンで輝度を変化させる。例えばロボット１５０が環境パラメータセンサ１７４の出力値に応じてタッチセンサ作用部１５６による作用を変化させたとき、それに応じたパターンで輝度を変化させる。あるいは情報処理装置１０側に照度センサ、温度センサ、マイク、タイマーなどの環境パラメータセンサのいずれかを設け、そのパラメータの変化に応じたパターンで輝度を変化させてもよい。

【0058】

あるいは、特にタイミングを設けず、ロボット１５０が接触している状態では常時、同じパターンで輝度を変化させたり、時間変化させずに一定の輝度で発光させたりすることにより、定常的にロボット１５０を動作させてもよい。表示制御部１１２は、図５で示したＣＰＵ６０、メインメモリ６４などによって構成し、ストレージ６６や各種記録媒体などからメインメモリ６４にロードしたプログラム等に基づき上記処理を実行する。表示部１１４は、図３で示したタッチパネル５０のうち表示装置２０で構成し、表示制御部１１２が生成した表示画像のデータを画像として出力する。

【0059】

図８は任意の位置にあるロボットと表示画像の関係を示している。上段はタッチパネル５０の画面領域２００に対するロボット１５０の底面の位置を示している。このような位置にロボット１５０があるとき、情報処理装置１０の作用検知部１１０は、３つのタッチセンサ作用部１５６の中央等の座標を、ディスプレイ座標系においてそれぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）と特定する。すると表示制御部１１２は、当該３つの座標の距離から、ロボット１５０の底面を構成する矩形を特定するとともに、当該矩形を構成する辺のうち、ロボットの前面にあたる辺２０２ａを特定する。

【0060】

そして表示制御部１１２は、図８下段に示すように、特定した矩形領域２１０のうちロボット底面の画像取り込み端部１６４が位置する領域に顔の画像を表示する表示画面２０４を生成する。このとき、ロボット１５０の顔部に正しい向きで顔画像が表示されるように顔画像を適宜回転させる。例えば図示するように、顔の下がロボット１５０の前面にあたる辺２０２ｂ側に位置するとともに顔の中心軸２０６が当該辺２０２ｂに垂直に交わるように顔画像の表示角度を決定する。ただし適正な顔の角度は画像転送機構１６２で採用する画像の転送方法によっては図示する例に限らない。表示制御部１１２はさらに、矩形領域２１０のうち、ロボット底面の光学センサ１６０が位置する領域を、輝度を変化させる領域２２０ａ、２２０ｂとして決定し、上述のような所定のタイミングで輝度を変化させる。

【0061】

図９は、表示画面２０４の領域２２０ａ、２２０ｂにおける輝度の変化と、ロボット１５０の動作制御部１８４がそれに応じて決定するロボットの動作を例示している。この例では、所定の周期ｔ１の４周期分に対し、領域２２０ａ、２２０ｂにおける画素の発光のオン／オフのパターンでアクチュエータの動作を切り替えたり出力音声を切り替えたりしている。図示するような対応情報は、ロボット動作テーブルとして動作制御部１８４が内部で保持する。また情報処理装置１０の表示制御部１１２では、各オン／オフのパターンを発生させるタイミングについてプログラム等で設定がなされている。

【0062】

図９の例では、オン／オン／オフ／オンの発光パターンでは、腕部が正方向に回転するように設定される。オン／オン／オフ／オフの発光パターンでは、腕部が逆方向に回転するように設定される。オン／オフ／オフ／オンの発光パターンでは、ビープ音を出力するように設定され、オン／オフ／オフ／オフの発光パターンでは「こんにちは」などの挨拶語を出力するように設定される。

【0063】

これらの設定は一例であり、様々な輝度変化のパターンで多様な動作や音声出力を実現できる。例えば輝度変化のパターンは矩形波に限らず正弦波などでもよいし、多階調の輝度に対し複数のしきい値を設け、多段階の輝度変化のパターンに対し処理内容を設定してもよい。さらに上述のとおり、ロボット１５０に発光ダイオードなどの発光体を設け、輝度変化のパターンに応じて発光させるようにしてもよい。またアクチュエータの動きと音声出力は図示するようにそれぞれ独立に行ってもよいし、一つの輝度変化のパターンに対し複数の処理を行ってもよい。

【0064】

図１０は、ロボット１５０のタッチセンサ作用部１５６のタッチパッドへのオン／オフのパターンと、情報処理装置１０の表示制御部１１２がそれに応じて発生させる顔画像の変化の対応を例示している。なお同図は複数のタッチセンサ作用部１５６のいずれかのオン／オフを切り替えることを想定している。またこの例では、所定の周期ｔ２の４周期分に対する作用のオン／オフのパターンで画像を変化させている。例えば図示するように、オン／オン／オフ／オンの作用パターンでは、顔画像の目が閉じるようにする。オン／オフ／オン／オフの作用パターンでは、顔が赤くなるようにする。情報処理装置１０の表示制御部１１２では、このような対応に係る情報がプログラム等で設定されている。

【0065】

上述のように環境パラメータセンサ１７４からの出力値に基づき画像を変化させる態様では、タッチセンサ作用制御部１８０が、当該出力値の変化に与える条件と、図示するような作用のオン／オフのパターンとを対応づけたタッチセンサ作用変化テーブルを内部で保持する。例えば照度計によって計測された照度が所定のしきい値以下となったとき、すなわち周囲が暗くなったとき、目を閉じた顔画像を表示することによりロボット１５０が眠っている状態を演出する。また、温度計によって計測された気温がしきい値以上となったとき、すなわち周囲が暑くなったとき、顔を赤くすることによりロボット１５０が暑がっている状態を演出する。

【0066】

上述のように、ロボットに備えられた複数のタッチセンサ作用部１５６の作用のパターンの組み合わせによって、さらに多様な設定が可能となる。また、画像を変化させるばかりでなく、上述と同様にアクチュエータを駆動させたり、音声を出力したりしてもよい。この場合、まずタッチセンサ作用部１５６による作用のパターンの信号がロボット１５０から情報処理装置１０へ入力され、それに応じた輝度変化のパターンの信号が情報処理装置１０からロボット１５０へ入力されるかたちとなる。

【0067】

タッチセンサ作用部１５６による信号入力は、図１０で示した作用のオン／オフのパターン以外の手段でも実現できる。例えば、ロボット底面におけるタッチセンサ作用部１５６の位置を可変とし、当該位置を制御するアクチュエータなどの機構を設ける。そしてタッチセンサ作用制御部１８０による制御のもと、２つのタッチセンサの間隔（例えば図８の座標（ｘ１，ｙ１）と（ｘ２，ｙ２）の間隔）を変化させ、当該間隔を情報処理装置１０への入力値とする。この場合、間隔を表す変数そのものを入力値とできるため、徐々に変化する間隔に対応するように画像を徐々に変化させるなど、時間分解能の高い設定が可能となる。

【0068】

図１１はロボットの変形例を示している。ロボット２５０は、車輪２４０ａ、２４０ｂを備え、タッチパネル上を移動可能に構成される。その他の構成は上述したロボット１５０と同様である。情報処理装置１０の表示制御部１１２は、ロボット２５０の底面に備えた光学センサ１６０のうち、左側の光学センサに対応する領域、および右側の光学センサに対応する領域の輝度変化のパターンをそれぞれ独立に制御する。これによりロボット２５０の動作制御部１８４は、左右の車輪２４０ａ、２４０ｂの車軸の回転や向きをそれぞれ独立に制御する。

【0069】

これにより、情報処理装置１０が決定した経路でロボット２５０を移動させることができる。この場合、タッチパネル上でロボット２５０の底面に対応する領域が変化する。そのため情報処理装置１０の表示制御部１１２は、作用検知部１１０から接触点の位置座標を取得し続け、それに応じて接触領域を追跡することで、顔画像や輝度を変化させる領域を移動させていく。なおロボット２５０を移動させる手段は車輪２４０ａ、２４０ｂに限らない。例えばロボット２５０の底面に磁石を設けるとともに、タッチパネルに磁界を発生させる機構を設け、当該磁界の変化によってロボット２５０を移動させてもよい。同様に電界を利用してもよい。

【0070】

図１２はロボット底面の構成の変形例を示している。同図の底面２６０は、これまで述べたのと同様、画像取り込み端部２６６、光学センサ２６４ａ、２６４ｂ、および底面の四隅のうち３箇所にタッチセンサ作用部２６２ａ、２６２ｂ、２６２ｃを備える。底面２６０はさらに、６つのタッチセンサ作用部２６８ａ、２６８ｂ、２６８ｃ、２６８ｄ、２６８ｅ、２６８ｆを備える。そしてこれら６つのタッチセンサ作用部のうちオンにしているタッチセンサ作用部の位置によってロボットの固体を識別する。同図の例では、タッチセンサ作用部２６８ｂがオンの状態であり、その他がオフの状態であることを、黒の塗り潰しか白抜きかで示している。なお底面の領域を特定するための３つのタッチセンサ作用部２６２ａ、２６２ｂ、２６２ｃはオンの状態である。

【0071】

このような底面を有するロボットをタッチパネル上に置くと、情報処理装置１０の作用検知部１１０は、３つのタッチセンサ作用部２６２ａ、２６２ｂ、２６２ｃに加え、タッチセンサ作用部２６８ｂの位置で接触を検知する。すると表示制御部１１２は、その位置によってロボットを識別し、それに応じた顔画像を表示装置に表示する。図１３はタッチセンサ作用部を利用してロボット固有の顔画像を表示させる際に表示制御部１１２が参照するテーブルの例を示している。ロボット識別テーブル２８０は、ＩＤ欄２８２および画像欄２８４を含む。

【0072】

ＩＤ欄２８２は、ロボットの識別番号を表し、例えば６つのタッチセンサ作用部２６８ａ〜２８６ｆのうち１番目のタッチセンサ作用部２６８ａのみがオン状態であるとき、当該ロボットの識別番号を「００１」、２番目のタッチセンサ作用部２６８ｂのみがオン状態であるとき、当該ロボットの識別番号を「００２」、などと規則づけておく。そして画像欄２８４は、各識別番号のロボットに表示させるべき顔画像の画像データ名を表す。例えば識別番号「００１」のロボットに対しては「キャラクタ１」なる名前の顔画像を表示する。識別番号「００２」のロボットに対しては「キャラクタ２」なる名前の顔画像を表示する。各画像データは表示制御部１１２が参照できるメモリなどに別途格納しておく。

【0073】

ロボットの識別番号と顔画像との対応は、あらかじめ設定しておいてもよいし、初回の起動時などにユーザが対応づけるようにしてもよい。ユーザが作成したアバター画像や撮影した画像を対応づけられるようにしてもよい。このようにすることで、ロボットごとに異なる顔としたり、気分によってユーザが変更したりすることができる。なおオンの状態にある２つ以上のタッチセンサ作用部の位置の組み合わせに対してロボットの識別番号を設定するようにすると、識別できるロボットの数を増やせる。また識別番号によって切り替える対象は、顔などの画像に限らず、動作、出力音声、発光色などのいずれかでもよいし、それらの組み合わせでもよい。

【0074】

また表示制御部１１２は、表示装置のうちロボットの底面に対応する位置に顔画像などを表示するのに加え、当該領域以外の、露出している領域に所定の画像を表示してもよい。ロボットが乗せられた状態では、表示装置の画面はロボットがいる「場所」に相当する。したがって地面、道、舞台などを表す画像や何らかの表面を表すテクスチャ画像を表示させたり、ロボットの周囲に別のキャラクタや動植物などを画像として表示させたりしてもよい。表示する画像をロボットに応じて切り替えてもよい。この場合も上述の顔画像と同様、ロボットの識別番号と表示すべき画像とを対応づけておき、オン状態のタッチセンサ作用部の位置によって切り替えればよい。

【0075】

次に以上の構成によって実現できるロボットおよび情報処理装置の動作について説明する。図１４はロボットと情報処理装置の協働によりロボットの態様を変化させる処理手順を示すフローチャートである。まずロボット１５０が情報処理装置１０のタッチパッドへの作用を開始する（Ｓ１０）。具体的には、ユーザが情報処理装置１０のタッチパネル５０上にロボット１５０を置くか、タッチパッド上に置かれたロボットの電源を入れるなどしてタッチセンサ作用部１５６の作用をオンの状態としたときに、タッチパッドへの作用が開始される。すると情報処理装置１０の作用検知部１１０は、ロボット１５０のタッチセンサ作用部１５６が接触している位置の情報取得を開始する（Ｓ１２）。

【0076】

これにより情報処理装置１０の表示制御部１１２は、接触点の相対的な位置関係からロボット底面に対応する領域およびロボットの向きを特定する（Ｓ１４）。そして当該領域のうち、ロボットの画像取り込み端部１６４に対応する位置に、顔画像を表示する（Ｓ１６）。この際、図１２に示したロボットの識別番号を表す接触がＳ１４で検知されていたら、その識別番号に基づき当該ロボットに対応する画像データをメモリより読み出し表示する。ロボットごとに画像を変化させない場合は、所定の画像データでよい。

【0077】

なおこの処理に先立ち、タッチパッドの検出ポイントと表示装置の画素との位置関係を取得しておくことにより、用いる情報処理装置によって両者の解像度が異なっていても、検出されたロボット底面に対応する領域に適切なサイズで顔画像などが表示されるようにする。例えば情報処理装置１０が実行するソフトウェアが、あらかじめ記憶させておいた両者の解像度を自動で読み出し位置関係を取得してもよいし、ユーザが事前に装置の種別を入力するなどしてもよい。

【0078】

あるいは情報処理装置１０内部で、ロボットの識別番号と、当該ロボット底面の実サイズとを対応づけたデータベースを準備しておき、検出されたロボット１５０の実サイズに基づき表示すべき画像の画素上のサイズを調整してもよい。このとき、ロボット１５０と情報処理装置１０間の通信に用いる、ロボットからの接触を検知する位置や輝度を変化させる領域の位置などを最適化してもよい。例えばロボット底面のサイズが小さい場合、両者を可能な限り離れた位置に配置することにより互いに干渉しないようにする。接触を検知する位置同士も、所定値以上の間隔が保たれるようにして誤検出を防止する。

【0079】

このように検知位置や表示領域を最適化した場合、情報処理装置１０は、その配置を示す識別番号などを輝度変化を利用してロボット１５０に通知することにより、後の通信時の整合性を保つ。また、ロボットによって画像取り込み端部１６４や光学センサ１６０の位置が異なる場合は、情報処理装置１０において、ロボットの識別番号と、底面におけるそれらの位置情報とを対応づけたデータベースも保持しておく。そして情報処理装置１０は、検出されたロボットに対応する位置情報によって、顔画像を表示させる位置や輝度を変化させる領域の位置を適切に決定する。

【0080】

表示された画像はロボット１５０の画像取り込み端部１６４から取り込まれ、画像転送部１８２によりロボットの顔部など所定の位置に設けた画像表示部１６６に表示される（Ｓ１８）。一方、情報処理装置１０の表示制御部１１２は、ロボット底面に対応する領域のうち、光学センサ１６０に対応する位置で輝度を変化させる（Ｓ２０）。ロボットの光学センサ１６０はその輝度変化を取得し、当該変化に対応してロボット動作テーブルに設定された動作や出力音声がある場合、動作制御部１８４がアクチュエータ１６８を駆動させたりスピーカ１７２からが音声を出力したりする（Ｓ２２）。

【0081】

Ｓ２０およびＳ２２の処理は、常時行う必要はなく、上述のようにあらかじめ設定された条件を満たしたタイミングや、プログラムされたタイミングなどで適宜おこなってよい。車輪によってロボットを移動させたり、環境パラメータの変化に基づくロボット１５０からの信号入力（フローチャートには図示せず）を受け付ける場合、情報処理装置１０の作用検知部１１０は、ロボット１５０のタッチセンサ作用部１５６が接触している位置情報を検出し続ける。そして移動または信号入力のために接触点の位置が変化した場合（Ｓ２４のＹ）、ロボット底面に対応する領域およびロボットの向きを特定し直したり（Ｓ１４）、信号入力に応じて画像を変化させたりする（Ｓ１６）。

【0082】

そのようにして情報処理装置１０において、ロボット１５０の底面に対応する領域を特定しながら画像表示や輝度変化を随時発生させ（Ｓ２４のＮ、Ｓ２８のＮ、Ｓ１４、Ｓ１６、Ｓ２０、Ｓ２４）、それに応じてロボット１５０における画像表示、動作発生、音声出力等を実施する（Ｓ２６のＮ、Ｓ１８、Ｓ２２）。ユーザがロボット１５０をタッチパネル５０上から離したり、ロボット１５０の電源を切ったりしてタッチパッドへの作用が停止したら（Ｓ２６のＹ）、情報処理装置１０の作用検知部１１０が当該作用停止を検知し（Ｓ２８のＹ）、双方で処理を終了する。

【0083】

以上述べた本実施の形態によれば、ロボットと情報処理装置を、情報処理装置に備えたタッチパッドおよび表示装置からなるタッチパネルを介して相互に反応させる。具体的にはロボットが接触している位置や向きをタッチパッドを用いて検知し、その接触面に対応する領域に画像を表示することでロボットの所定部位に当該画像が表示されるようにする。また情報処理装置からロボットへの入力信号は、表示装置における輝度変化のパターンで実現し、ロボットから情報処理装置への入力信号は、ロボットのタッチパッドへの作用の変化で実現する。これにより、ロボット自体、または情報処理装置における処理をきっかけとして様々な態様が可能となり、たとえ簡易な構成のロボットであっても複雑で面白い変化を与えることができる。

【0084】

また、ロボットから情報処理装置への入力信号として、タッチパッドへ作用させる位置を利用する。これによりロボットの個体識別を可能にし、それに基づきロボットへ表示させる画像等を情報処理装置側で切り替える。このようにすることで、ロボット自体は安価に提供できるため、ユーザは様々なロボットを収集したり、自分の好みに応じてロボットごとに見た目を変化させたりすることができる。本実施の形態は、ロボットをタッチパネル上に置く、という容易な行為で実現できるため、ロボットの数に応じて端子を増設したりケーブルを用意したりする必要なく、多数のロボットを並べてそれぞれを独立して動作させることも可能である。

【0085】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0086】

例えば本実施の形態では、顔画像をロボットの顔部に表示する例を示したが、ロボットが一旦取り込んだ画像を別の物体に投影するようにしてもよい。図１５はそのような態様におけるロボットの様子を示している。この例でロボット３５０の顔部３５２は、取り込んだ画像をレンズによって拡大するプロジェクタの役割をし、その投影画像がタッチパネル３５４上に結像している（画像領域３５６）。

【0087】

タッチパネル３５４のうちロボット３５０の底面に対応する領域には、本実施の形態と同様、画像領域３５６に投影されるべき画像を表示する（図示せず）。それを一旦、ロボット３５０が取り込み、タッチパネル３５４に投影することにより、ロボット３５０の目から光線が出て画像を結像している状態にできる。このような場合でも、本実施の形態と同様、比較的簡素な構成のロボット３５０でありながら、単にタッチパネル３５４に画像を表示するより劇的な状況を演出できる。なおロボット３５０が画像を投影する代わりに、情報処理装置１０がタッチパネル３５４の画像領域３５６に直接画像を表示し、あたかもロボット３５０が投影しているように見せてもよい。このときロボット３５０からは指向性を有する光を発するなどして、投影している状況をさらに演出してもよい。

【0088】

あるいはロボット３５０を、双六などボードゲームの駒としてユーザが動かすようにしてもよい。この場合、タッチパネル３５４に盤のマス目等を表示し、その進み具合によってロボットが話したり画像が投影されたりするようにしてもよい。図１１で示したロボット２５０のように車輪を設け、ロボットが自らマス目を進むようにしてもよい。この場合、ユーザがタッチパネル３５４と接続した情報処理装置を操作し、それに応じて当該情報処理装置がタッチパネル３５４のうち、ロボット底面に対応する領域の輝度を変化させることにより車輪を動かす。

【符号の説明】

【0089】

１０ 情報処理装置、 ２０ 表示装置、 ２１ タッチパッド、 ５０ タッチパネル、 ６０ ＣＰＵ、 メインメモリ６４、 １１０ 作用検知部、 １１２ 表示制御部、 １１４ 表示部、 １５０ ロボット、 １５２ 顔部、 １５４ 腕部、 １５６ タッチセンサ作用部、 １６０ 光学センサ、 １６４ 画像取り込み端部、 １６６ 画像表示部、 １６８ アクチュエータ、 １７０ 制御回路、 １７２ スピーカ、 １７４ 環境パラメータセンサ、 １８０ タッチセンサ作用制御部、 １８２ 画像転送部、 １８４ 動作制御部、 ２５０ ロボット、 ２４０ａ 車輪、 ３５０ ロボット。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】