特許 6348732 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6348732

(24)【登録日】2018年6月8日

(45)【発行日】2018年6月27日

(54)【発明の名称】情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20180618BHJP

   G06Q 30/02 20120101ALI20180618BHJP

【ＦＩ】

   G06T19/00 600

   G06Q30/02 470

【請求項の数】13

【全頁数】26

(21)【出願番号】特願2014-42871(P2014-42871)

(22)【出願日】2014年3月5日

(65)【公開番号】特開2015-170018(P2015-170018A)

(43)【公開日】2015年9月28日

【審査請求日】2017年1月26日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】山根 知美

(72)【発明者】

【氏名】石灰 宏壽

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 国際公開第２０１４／１１９０９８（ＷＯ，Ａ１）

【文献】 特開２００３−２４８８４１（ＪＰ，Ａ）

【文献】 清水紀芳 外５名，ＭＲ ＲｏｂｏｔＰＨＯＮＥを用いた複合現実環境におけるインタラクション，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人日本バーチャルリアリティ学会，２００６年 ６月３０日，第１１巻第２号，p253〜264

【文献】 城崎亮,田中二郎，ＡＲ Ｃｈａｔ：拡張現実を用いた遠隔コミュニケーション支援システム ，情報処理学会第７４回全国大会講演論文集（４） インタフェース コンピュータと人間社会，日本，一般社団法人情報処理学会，２０１２年 ３月 ６日，4-219〜4-220

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／００−１９／２０

Ｇ０６Ｑ ３０／００−３０／０２

(57)【特許請求の範囲】

【請求項1】

現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置と当該情報処理装置と通信可能な他の装置とを含む情報処理システムであって、
前記他の装置は、前記仮想オブジェクト画像を制御する制御データを取得する制御データ取得手段を備え、
前記情報処理装置または前記他の装置は、前記制御データに応じて、前記仮想オブジェクト画像の表示態様を設定する仮想オブジェクト画像設定手段を備え、
前記他の装置は、前記仮想オブジェクト画像設定手段が設定した前記表示態様を示すデータおよび／または前記制御データを、前記情報処理装置に送信する送信手段を、さらに備え、
前記情報処理装置は、
撮像装置によって撮像された撮像画像を取得する撮像画像取得手段と、
前記他の装置から送信されたデータを取得するデータ取得手段と、
表示装置に表示される前記撮像画像内に、前記表示態様を示すデータに基づいた前記仮想オブジェクト画像を表示する表示制御手段とを備え、
前記送信手段は、特定の場所に前記情報処理装置が位置している場合に、当該情報処理装置に対して前記データの送信が可能であり、
前記仮想オブジェクト画像設定手段は、前記特定の場所に前記情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトを前記表示態様として設定する、情報処理システム。

【請求項2】

前記制御データ取得手段は、前記他の装置に対するユーザ入力を示すデータを前記制御データとして取得する、請求項１に記載の情報処理システム。

【請求項3】

前記送信手段は、前記特定の場所に前記情報処理装置が位置しており、かつ、当該特定の場所とは別の特定の場所に前記他の装置が位置している場合に、当該情報処理装置に対して前記データの送信が可能である、請求項２に記載の情報処理システム。

【請求項4】

前記仮想オブジェクト画像設定手段は、前記他の装置のユーザによって設定されるユーザキャラクタを前記表示態様として設定する、請求項１乃至３の何れか１つに記載の情報処理システム。

【請求項5】

前記情報処理装置は、
前記撮像装置または前記撮像装置とは異なる撮像装置によってリアルタイムで撮像された当該情報処理装置のユーザの画像を取得するユーザ画像取得手段と、
前記ユーザの画像を示すデータを前記他の装置へ送信する送信手段とを、さらに備え、
前記他の装置は、
前記情報処理装置から送信されたデータを取得するデータ取得手段と、
前記情報処理装置から取得したデータを用いて、当該情報処理装置のユーザの画像を表示装置に表示する表示制御手段とを、さらに備える、請求項１乃至４の何れか１つに記載の情報処理システム。

【請求項6】

前記他の装置は、前記他の装置に対する音声入力を取得する音声入力手段を、さらに備え、
前記他の装置の前記送信手段は、当該他の装置に対する音声入力を示すデータを、さらに前記情報処理装置に送信し、
前記情報処理装置のデータ取得手段は、前記他の装置から送信された当該他の装置に対する前記音声入力を示すデータを、さらに取得し、
前記情報処理装置は、
前記他の装置から送信された前記音声入力に応じた音声を出力する音声出力手段と、
前記情報処理装置に対する音声入力を取得する音声入力手段と、
前記情報処理装置に対する音声入力を示すデータを、前記他の装置に送信する送信手段とを、さらに備え、
前記他の装置は、
前記情報処理装置から送信された当該情報処理装置に対する音声入力を示すデータを取得するデータ取得手段と、
前記情報処理装置から送信された前記音声入力に応じた音声を出力する音声出力手段とを、さらに備える、請求項１乃至５の何れか１つに記載の情報処理システム。

【請求項7】

前記制御データ取得手段は、前記他の装置に対する音声入力を示すデータを前記制御データとして取得し、
前記仮想オブジェクト画像設定手段は、前記他の装置に対する音声入力に基づいて前記仮想オブジェクトの動作を設定し、当該動作に応じた前記仮想オブジェクト画像の表示態様を設定し、
前記他の装置の前記送信手段は、当該他の装置に対する音声入力を示すデータを、さらに前記情報処理装置に送信し、
前記情報処理装置のデータ取得手段は、前記他の装置から送信された当該他の装置に対する前記音声入力を示すデータを、さらに取得し、
前記情報処理装置は、前記他の装置から送信された前記音声入力に応じた音声を出力する音声出力手段を、さらに備える、請求項１乃至６の何れか１つに記載の情報処理システム。

【請求項8】

前記送信手段は、前記特定の場所に設置されている特定のアクセスポイントを介して前記情報処理装置と通信可能である場合に、当該情報処理装置に対して前記データの送信が可能である、請求項１に記載の情報処理システム。

【請求項9】

現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置であって、
撮像装置によって撮像された撮像画像を取得する撮像画像取得手段と、
前記仮想オブジェクト画像を制御する制御データに基づいて設定された前記仮想オブジェクト画像の表示態様を示すデータを、他の装置から取得するデータ取得手段と、
表示装置に表示される前記撮像画像内に、前記表示態様を示すデータに基づいた前記仮想オブジェクト画像を表示する表示制御手段とを備え、
前記データ取得手段は、特定の場所に前記情報処理装置が位置している場合に、当該情報処理装置に対して送信されたデータの取得が可能であり、
前記データ取得手段は、前記特定の場所に前記情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトの前記表示態様を示すデータを他の装置から取得する、情報処理装置。

【請求項10】

現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置であって、
撮像装置によって撮像された撮像画像を取得する撮像画像取得手段と、
他の装置において取得された前記仮想オブジェクト画像を制御する制御データを取得するデータ取得手段と、
前記制御データに応じて、前記仮想オブジェクト画像の表示態様を設定する仮想オブジェクト画像設定手段と、
表示装置に表示される前記撮像画像内に、前記表示態様を示すデータに基づいた前記仮想オブジェクト画像を表示する表示制御手段とを備え、
前記データ取得手段は、特定の場所に前記情報処理装置が位置している場合に、当該情報処理装置に対して送信されたデータの取得が可能であり、
前記仮想オブジェクト画像設定手段は、前記特定の場所に前記情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトを前記表示態様として設定する、情報処理装置。

【請求項11】

現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
前記コンピュータを、
撮像装置によって撮像された撮像画像を取得する撮像画像取得手段と、
前記仮想オブジェクト画像を制御する制御データに基づいて設定された前記仮想オブジェクト画像の表示態様を示すデータを、他の装置から取得するデータ取得手段と、
表示装置に表示される前記撮像画像内に、前記表示態様を示すデータに基づいた前記仮想オブジェクト画像を表示する表示制御手段として機能させ、
前記データ取得手段は、特定の場所に前記情報処理装置が位置している場合に、当該情報処理装置に対して送信されたデータの取得が可能であり、
前記データ取得手段は、前記特定の場所に前記情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトの前記表示態様を示すデータを他の装置から取得する、情報処理プログラム。

【請求項12】

現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
前記コンピュータを、
撮像装置によって撮像された撮像画像を取得する撮像画像取得手段と、
他の装置において取得された前記仮想オブジェクト画像を制御する制御データを取得するデータ取得手段と、
前記制御データに応じて、前記仮想オブジェクト画像の表示態様を設定する仮想オブジェクト画像設定手段と、
表示装置に表示される前記撮像画像内に、前記表示態様を示すデータに基づいた前記仮想オブジェクト画像を表示する表示制御手段として機能させ、
前記データ取得手段は、特定の場所に前記情報処理装置が位置している場合に、当該情報処理装置に対して送信されたデータの取得が可能であり、
前記仮想オブジェクト画像設定手段は、前記特定の場所に前記情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトを前記表示態様として設定する、情報処理プログラム。

【請求項13】

現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置と当該情報処理装置と通信可能な他の装置とを含む情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
他の装置において前記仮想オブジェクト画像を制御する制御データを取得する制御データ取得ステップと、
前記制御データに応じて、前記仮想オブジェクト画像の表示態様を設定する仮想オブジェクト画像設定ステップと、
前記仮想オブジェクト画像設定ステップにおいて設定された前記表示態様を示すデータおよび／または前記制御データを、前記情報処理装置に送信する送信ステップと、
撮像装置によって撮像された撮像画像を取得する撮像画像取得ステップと、
前記他の装置から送信されたデータを取得するデータ取得ステップと、
表示装置に表示される前記撮像画像内に、前記表示態様を示すデータに基づいた前記仮想オブジェクト画像を表示する表示制御ステップとを含み、
前記送信ステップでは、特定の場所に前記情報処理装置が位置している場合に、当該情報処理装置に対して前記データの送信が可能であり、
前記仮想オブジェクト画像設定ステップでは、前記特定の場所に前記情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトが前記表示態様として設定される、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法に関し、特に例えば、他の装置における入力に応じて所定の画像を表示するための情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法に関する。

【背景技術】

【0002】

従来、カメラ等の撮像手段によって撮像された画像（撮像画像）から所定の撮像対象を検出し、当該撮像対象に応じて仮想オブジェクトを表示する技術がある（例えば、非特許文献１参照）。例えば、非特許文献１には、拡張現実感技術において、カメラによる撮像画像に含まれるマーカに対して画像認識処理を行い、当該マーカが検出された場合に当該マーカ位置に基づいて仮想オブジェクトを撮像画像に合成して表示することが記載されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌 Ｖｏｌ．４ Ｎｏ．４、１９９９年

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記非特許文献１に記載の技術は、単に撮像対象に応じた仮想オブジェクトを表示するだけであり、より興趣性を高く仮想オブジェクトを表示するという点では改善の余地がある。

【0005】

それ故に、本発明の目的は、撮像画像内に仮想オブジェクトを表示する際に、興趣性を高めることができる情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

【0007】

本発明の情報処理システムの一構成例は、現実空間の画像内に仮想オブジェクト画像を表示する情報処理装置と当該情報処理装置と通信可能な他の装置とを含む。他の装置は、制御データ取得手段を備える。制御データ取得手段は、仮想オブジェクト画像を制御する制御データを取得する。情報処理装置または他の装置は、仮想オブジェクト画像設定手段を備える。仮想オブジェクト画像設定手段は、制御データに応じて、仮想オブジェクト画像の表示態様を設定する。他の装置は、送信手段を、さらに備える。送信手段は、仮想オブジェクト画像設定手段が設定した表示態様を示すデータおよび／または制御データを、情報処理装置に送信する。情報処理装置は、撮像画像取得手段、データ取得手段、および表示制御手段を備える。撮像画像取得手段は、撮像装置によって撮像された撮像画像を取得する。データ取得手段は、他の装置から送信されたデータを取得する。表示制御手段は、表示装置に表示される撮像画像内に、表示態様を示すデータに基づいた仮想オブジェクト画像を表示する。

【0008】

上記によれば、他の装置において取得された制御データに応じて撮像画像内に表示される仮想オブジェクト画像の表示態様が変化するため、興趣性の高い画像を提供することができる。

【0009】

また、上記制御データ取得手段は、他の装置に対するユーザ入力を示すデータを制御データとして取得してもよい。

【0010】

上記によれば、他の装置に対するユーザ入力に応じて撮像画像内に表示される仮想オブジェクト画像の表示態様が変化するため、より興趣性の高い画像を提供することができる。

【0011】

また、上記送信手段は、特定の場所に情報処理装置が位置している場合に、当該情報処理装置に対してデータの送信が可能であってもよい。

【0012】

上記によれば、情報処理装置のユーザを特定の場所に誘導するための有効な動機付けとなる。

【0013】

また、上記送信手段は、特定の場所に情報処理装置が位置しており、かつ、当該特定の場所とは別の特定の場所に他の装置が位置している場合に、当該情報処理装置に対してデータの送信が可能であってもよい。

【0014】

上記によれば、情報処理装置のユーザおよび他の装置のユーザをそれぞれ別の特定の場所に誘導するための有効な動機付けとなる。

【0015】

また、上記仮想オブジェクト画像設定手段は、特定の場所に情報処理装置が位置している場合、当該場所に対して固有に設定される仮想オブジェクトを表示態様として設定してもよい。

【0016】

上記によれば、固有に設定される仮想オブジェクトを表示するためには、情報処理装置のユーザが特定の場所を訪れる必要があるため、当該特定の場所にユーザを誘導するための有効な動機付けとなる。

【0017】

また、上記仮想オブジェクト画像設定手段は、他の装置のユーザによって設定されるユーザキャラクタを表示態様として設定してもよい。

【0018】

上記によれば、他の装置と通信することによって、他の装置のユーザ固有の仮想オブジェクトを表示することができる。

【0019】

また、上記情報処理装置は、ユーザ画像取得手段および送信手段を、さらに備えてもよい。ユーザ画像取得手段は、撮像装置または撮像装置とは異なる撮像装置によってリアルタイムで撮像された当該情報処理装置のユーザの画像を取得する。送信手段は、ユーザの画像を示すデータを他の装置へ送信する。上記他の装置は、データ取得手段および表示制御手段を、さらに備えてもよい。データ取得手段は、情報処理装置から送信されたデータを取得する。表示制御手段は、情報処理装置から取得したデータを用いて、当該情報処理装置のユーザの画像を表示装置に表示する。

【0020】

上記によれば、他の装置側において、情報処理装置のユーザの様子を確認することができる。

【0021】

また、上記他の装置は、音声入力手段を、さらに備えてもよい。音声入力手段は、他の装置に対する音声入力を取得する。この場合、上記他の装置の送信手段は、当該他の装置に対する音声入力を示すデータを、さらに情報処理装置に送信してもよい。上記情報処理装置のデータ取得手段は、他の装置から送信された当該他の装置に対する音声入力を示すデータを、さらに取得してもよい。上記情報処理装置は、音声出力手段、音声入力手段、および送信手段を、さらに備えてもよい。音声出力手段は、他の装置から送信された音声入力に応じた音声を出力する。音声入力手段は、情報処理装置に対する音声入力を取得する。送信手段は、情報処理装置に対する音声入力を示すデータを、他の装置に送信する。上記他の装置は、データ取得手段および音声出力手段を、さらに備えてもよい。データ取得手段は、情報処理装置から送信された当該情報処理装置に対する音声入力を示すデータを取得する。音声出力手段は、情報処理装置から送信された音声入力に応じた音声を出力する。

【0022】

上記によれば、音声が双方の装置へ送信されて音声出力されるため、双方の装置を操作するユーザを互いに身近に認識することができる。

【0023】

また、上記制御データ取得手段は、他の装置に対する音声入力を示すデータを制御データとして取得してもよい。上記仮想オブジェクト画像設定手段は、他の装置に対する音声入力に基づいて仮想オブジェクトの動作を設定し、当該動作に応じた仮想オブジェクト画像の表示態様を設定してもよい。上記他の装置の送信手段は、当該他の装置に対する音声入力を示すデータを、さらに情報処理装置に送信してもよい。上記情報処理装置のデータ取得手段は、他の装置から送信された当該他の装置に対する音声入力を示すデータを、さらに取得してもよい。上記情報処理装置は、音声出力手段を、さらに備えてもよい。音声出力手段は、他の装置から送信された音声入力に応じた音声を出力する。

【0024】

上記によれば、他の装置への音声入力に応じて仮想オブジェクトの動作を制御することできる。

【0025】

また、上記送信手段は、特定の場所に設置されている特定のアクセスポイントを介して情報処理装置と通信可能である場合に、当該情報処理装置に対してデータの送信が可能であってもよい。

【0026】

上記によれば、情報処理装置のユーザを誘導するための特定の場所を、アクセスポイントを特定するだけで当該アクセスポイントの通信可能範囲を用いて設定することができる。

【0027】

また、本発明は、上記各手段の少なくとも一部を備える情報処理装置、上記各手段の少なくとも一部としてコンピュータを機能させる情報処理プログラムや上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

【発明の効果】

【0028】

本発明によれば、他の装置において取得された制御データに応じて撮像画像内に表示される仮想オブジェクト画像の表示態様が変化するため、興趣性の高い画像を提供することができる。

【図面の簡単な説明】

【0029】

【図1】情報処理装置５を含む情報処理システム１ａの一例を示すブロック図

【図2】情報処理システム１ａにおいて、情報処理装置５に仮想キャラクタＰＣが表示された第１段階の一例を示す図

【図3】情報処理システム１ａにおいて、情報処理装置５に仮想キャラクタＰＣが表示された第２段階の一例を示す図

【図4】オペレータがオペレータ端末装置２００を操作する一例を示す図

【図5】複数の情報処理装置５ａ〜５ｆを含む情報処理システム１ｂの他の例を示すブロック図

【図6】情報処理システム１ｂにおいて、アクセスポイントＡＰ１に接続して複数の情報処理装置５ａ〜５ｃを操作する様子の一例を示す図

【図7】情報処理システム１ｂにおいて、アクセスポイントＡＰ２に接続して複数の情報処理装置５ｄ〜５ｆを操作する様子の一例を示す図

【図8】情報処理装置５ａに仮想キャラクタＰＣｅ〜ＰＣｆが表示された一例を示す図

【図9】情報処理装置５のメモリ５６に記憶される主なデータおよびプログラムの一例を示す図

【図10】情報処理装置５（ＣＰＵ５５）において実行される情報処理の前半の一例を示すフローチャート

【図11】情報処理装置５（ＣＰＵ５５）において実行される情報処理の後半の一例を示すフローチャート

【発明を実施するための形態】

【0030】

図１を参照して、本発明の一実施形態に係る情報処理プログラムを実行する情報処理装置を含む情報処理システムについて説明する。なお、図１は、情報処理装置５を含む情報処理システム１ａの一例を示すブロック図である。図１に示すように、情報処理システム１ａは、遠隔配置された情報処理装置５およびオペレータ端末装置２００が、アクセスポイントＡＰおよびネットワーク１００を介して接続されて構築される。

【0031】

情報処理装置５は、無線通信を用いて、アクセスポイントＡＰを介してネットワーク１００に接続可能に構成されている。そして、情報処理装置５は、ネットワーク１００を介して、オペレータ端末装置２００と接続を確立することによって、オペレータ端末装置２００との通信が可能となる。例えば、情報処理装置５は、交換可能なメモリカードや光ディスク等の記録媒体内に記憶された、または、サーバや他の装置から受信されたプログラムを実行可能である。情報処理装置５は、携帯ゲーム装置であってもよく、一般的なパーソナルコンピュータ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等のデバイスであってもかまわない。

【0032】

情報処理装置５は、撮像部５０、操作部５１、ＬＣＤ５２、音声出力部５３、音声入力部５４、ＣＰＵ５５、メモリ５６、プログラム記憶部５７、および通信部５８等を備える。なお、情報処理装置５は、ＣＰＵ５５を少なくとも含む情報処理装置と他の装置とを含む１以上の装置によって構成されてもよい。

【0033】

ＣＰＵ５５は、各種の情報処理を実行するための情報処理手段（コンピュータ）の一例である。ＣＰＵ５５は、各種の情報処理として、通信部５８を介してオペレータ端末装置２００から送信されたデータを受信し、当該データに応じた処理等を実行する機能を有する。また、ＣＰＵ５５は、各種の情報処理として、オペレータ端末装置２００へ送信するユーザデータを作成して、通信部５８を介して当該ユーザデータを送信する処理等を実行する機能を有する。例えば、ＣＰＵ５５が所定のプログラムを実行することによって、上記機能が実現される。本実施形態においては、情報処理装置５は、特定のアクセスポイントＡＰを介してのみオペレータ端末装置２００と通信可能であり、通信部５８を用いて特定のアクセスポイントＡＰと通信可能となった場合にオペレータ端末装置２００と通信を行って情報処理を行う。

【0034】

また、ＣＰＵ５５は、各種の情報処理として、撮像部５０によって撮像された撮像画像や操作部５１に対するユーザの操作に応じた処理等を実行する機能を有する。本実施形態においては、撮像部５０（外側カメラ５０１）が撮像した撮像画像内に所定のマーカ画像が含まれる場合、ＣＰＵ５５は、当該マーカ画像の表示位置に基づいた配置位置に仮想キャラクタを当該撮像画像に合成してＬＣＤ５２に表示する表示制御処理を行う。

【0035】

メモリ５６は、ＣＰＵ５５が上記処理を実行する際に用いる各種のデータを記憶する。メモリ５６は、例えばＣＰＵ５５がアクセス可能なメモリである。

【0036】

プログラム記憶部５７は、プログラムを記憶（格納）する。プログラム記憶部５７は、ＣＰＵ５５がアクセス可能な記憶装置（記憶媒体）であればどのようなものであってもよい。例えば、プログラム記憶部５７は、ＣＰＵ５５を含む情報処理装置５内に設けられる記憶装置であってもよいし、ＣＰＵ５５を含む情報処理装置５に着脱自在に装着される記憶媒体であってもよい。また、プログラム記憶部５７は、ＣＰＵ５５とネットワークを介して接続される記憶装置（サーバ等）であってもよい。ＣＰＵ５５は、プログラムの一部または全部を適宜のタイミングでメモリ５６に読み出し、読み出されたプログラムを実行するようにしてもよい。

【0037】

操作部５１は、ユーザによって操作可能な入力装置である。操作部５１は、どのような入力装置であってもよい。例えば、操作部５１は、操作ボタン、スティック、タッチパネル等の入力装置でもいいし、ジャイロセンサや加速度センサ等の姿勢センサを備えていてもよい。

【0038】

ＬＣＤ５２は、情報処理装置５が備える表示部の一例であり、ＣＰＵ５５の指示にしたがって画像を表示する。なお、ＬＣＤ５２は、実質的に同一の表示領域を用いて左目用画像と右目用画像とを表示して、立体視可能な表示装置であってもよい。

【0039】

例えば、撮像部５０は、情報処理装置５のハウジング外面に固設され、ＬＣＤ５２の画面奥行方向を撮像方向とする外側カメラ５０１と、情報処理装置５のハウジング内面に固設され、ＬＣＤ５２の画面手前方向を撮像方向として情報処理装置５のユーザを撮像可能な内側カメラ５０２とを含む。外側カメラ５０１および内側カメラ５０２は、ＣＰＵ５５と接続されており、ＣＰＵ５５の指示にしたがって画像を撮像し、撮像した画像データをＣＰＵ５５に出力する。外側カメラ５０１および内側カメラ５０２は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。なお、レンズは、ズーム機構を有するものでもよい。また、外側カメラ５０１および／または内側カメラ５０２は、撮像方向が左右平行となるように固設された２つの撮像部によってステレオカメラを構成してもかまわない。

【0040】

音声出力部５３は、ＣＰＵ５５の指示に応じて音声を出力するスピーカを含む。音声入力部５４は、情報処理装置５の外部の音を検出するマイクを含む。音声入力部５４によって検知された音声信号は、所定のＩ／Ｆ回路によって所定形式の音声データに変換され、ＣＰＵ５５へ出力される。

【0041】

オペレータ端末装置２００は、一般的なパーソナルコンピュータ等の据置型の情報処理装置で構成され、ネットワーク１００を介して通信パケットの送受信を行うことで、特定のアクセスポイントＡＰと接続する装置（例えば、情報処理装置５）と通信を行う。オペレータ端末装置２００は、オペレータ端末装置２００のユーザ（オペレータ）によって操作可能であり、情報処理装置５から送信されたユーザデータに応じた処理を行う。例えば、オペレータ端末装置２００は、撮像画像に合成して情報処理装置５のＬＣＤ５２に表示される仮想キャラクタを制御するためのデータを生成して、当該データを特定のアクセスポイントＡＰと接続する情報処理装置５に送信する処理を行う。また、オペレータ端末装置２００は、情報処理装置５から音声出力するための音声データを生成して送信する処理を行う。さらに、オペレータ端末装置２００は、情報処理装置５から送信されたユーザデータを受信して、情報処理装置５に対するユーザの操作情報（例えば、情報処理装置５によって撮像された撮像画像情報、情報処理装置５に音声入力された音声入力情報、情報処理装置５の操作部５１を操作した操作情報等）を取得する。なお、オペレータ端末装置２００は、単一の装置から構成されてもいいし、複数の装置によって構成されてもよい。また、オペレータ端末装置２００は、ユーザ（オペレータ）によって仮想キャラクタを制御するための操作が行われているが、オペレータ端末装置２００において仮想キャラクタを制御する制御データが取得されればよく、所定のアルゴリズム等に基づいて、オペレータ端末装置２００に含まれるシステムが自動制御することによって、仮想キャラクタを制御する制御データが取得されてもよい。

【0042】

次に、情報処理装置５が行う具体的な処理を説明する前に、図２〜図４を用いて情報処理システム１ａにおいて行われる処理の概要の一例について説明する。なお、図２は、情報処理システム１ａにおいて、情報処理装置５に仮想キャラクタＰＣが表示された第１段階の一例を示す図である。図３は、情報処理システム１ａにおいて、情報処理装置５に仮想キャラクタＰＣが表示された第２段階の一例を示す図である。図４は、オペレータがオペレータ端末装置２００を操作する一例を示す図である。

【0043】

図２において、現実世界に配置されている無人の販売機にアクセスポイントＡＰが設置されている。また、上記販売機の近傍には、マーカＭが配置されている。マーカＭは、一例として矩形の枠内に所定の図形や文字が描かれている。

【0044】

情報処理装置５のユーザが撮像部５０（典型的には、外側カメラ５０１）を用いて現実世界を撮像した場合、ＣＰＵ５５は、撮像部５０から取得される撮像画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該撮像画像にマーカＭが含まれているか否かを判定する。そして、撮像部５０によってマーカＭが撮像されている場合、現実世界画像としてマーカＭが被写体として含まれている撮像画像がＬＣＤ５２に表示されるとともに、現実世界画像に含まれるマーカ画像Ｍの表示位置に基づいた位置に仮想キャラクタＰＣ（例えば、販売機で販売している商品を売る店員を模した仮想キャラクタ）がＬＣＤ５２に合成表示される。

【0045】

なお、マーカＭに向き（前方向、右方向、上方向）を定義して、マーカＭの配置方向に基づいた姿勢で仮想キャラクタＰＣを配置して合成表示してもよい。例えば、仮想キャラクタＰＣの上方向がマーカＭの上方向と一致するとともに、仮想キャラクタＰＣが撮像部５０の方向に向いた姿勢（すなわち、仮想キャラクタＰＣの正面がＬＣＤ５２を見るユーザと対向する姿勢）で、マーカＭの位置と重畳させてまたはマーカＭの位置から所定距離離れた位置に仮想キャラクタＰＣを配置してもよい。また、マーカＭの種類に応じて、当該マーカＭに対応して合成表示する仮想キャラクタＰＣの種類を変化させてもよい。

【0046】

ここで、本実施例では、撮像画像に合成される仮想キャラクタＰＣは、アクセスポイントＡＰを介してオペレータ端末装置２００から送信されるデータに基づいて制御される。オペレータ端末装置２００は、ネットワーク１００を介して、特定のアクセスポイントＡＰと接続されている。そして、アクセスポイントＡＰは、情報処理装置５との無線通信が可能となる通信範囲を有している。情報処理装置５がアクセスポイントＡＰの通信範囲内に進入した場合、情報処理装置５とアクセスポイントＡＰとの間における無線通信の接続を確立する処理が自動的またはユーザ操作に応じて行われる。そして、情報処理装置５に設定されているユーザデータが、アクセスポイントＡＰを介して、オペレータ端末装置２００へ送信される。

【0047】

これに対して、オペレータ端末装置２００は、アクセスポイントＡＰと通信を確立した情報処理装置５に対して、仮想キャラクタＰＣの種類や動作等を制御するデータ（キャラクタデータ）、音声出力部５３から出力する音声を制御するデータ（音声データ）、オペレータ端末装置２００に対する操作情報を示すデータ（操作データ）等を送信する。例えば、図２の例では、オペレータ端末装置２００から送信されたデータに応じて、お辞儀をする店員を模した仮想キャラクタＰＣがＬＣＤ５２に表示されるとともに、音声「いらっしゃいませ」が音声出力部５３から出力されている。このような場合、オペレータ端末装置２００は、仮想キャラクタＰＣの種類および動作として店員を模した仮想キャラクタがお辞儀するように制御するキャラクタデータと、音声「いらっしゃいませ」を音声出力部５３から出力させるための音声データとを情報処理装置５に送信している。これに対して、情報処理装置５の内側カメラ５０２によって撮像されたユーザの画像（例えば、ユーザの顔を撮像した動画像）を示すデータがユーザデータとして、オペレータ端末装置２００へ送信される。

【0048】

また、図３の例では、オペレータ端末装置２００から送信されたデータに応じて、購入を促す動作をする店員を模した仮想キャラクタＰＣがＬＣＤ５２に表示されるとともに、音声「いくつ購入しますか？」が音声出力部５３から出力されている。このような場合、オペレータ端末装置２００は、仮想キャラクタＰＣの種類および動作として店員を模した仮想キャラクタが購入を促すように制御するキャラクタデータと、音声「いくつ購入しますか？」を音声出力部５３から出力させるための音声データとを情報処理装置５に送信している。これに対して、情報処理装置５のユーザは、「３つください。」とユーザ自身が発声している。このようにユーザが発声した音声は、情報処理装置５の音声入力部５４によって検出され、当該音声を示す音声データがユーザデータとして、オペレータ端末装置２００へ送信される。また、情報処理装置５の内側カメラ５０２によって撮像されたユーザの画像（例えば、「３つください。」と発声しているユーザの顔を撮像した動画像）を示すデータがユーザデータとして、オペレータ端末装置２００へ送信される。

【0049】

一方、図４に示すように、オペレータ端末装置２００のオペレータは、特定のアクセスポイントＡＰと接続を確立した情報処理装置５のユーザとの間で会話を進めることができる。上述したように、情報処理装置５からはアクセスポイントＡＰを介してユーザデータが送信されており、オペレータ端末装置２００は、当該ユーザデータを受信してユーザ画像やユーザ音声を取得する。そして、オペレータ端末装置２００のオペレータは、上記ユーザ画像をモニタに表示するとともにユーザ音声を聴くことによって、情報処理装置５のユーザと情報のやり取りを行う。

【0050】

例えば、図２に示した状況の場合、オペレータ端末装置２００のオペレータは、情報処理装置５が特定のアクセスポイントＡＰと接続を確立したことを、当該情報処理装置５から送信されたユーザデータによって知る。そして、オペレータ端末装置２００のオペレータは、オペレータ端末装置２００の音声入力部に「いらっしゃいませ」とオペレータ自身が発声することによって、当該音声を示すデータが情報処理装置５へ送信される。また、オペレータ端末装置２００では、情報処理装置５が接続したアクセスポイントＡＰに応じた仮想キャラクタＰＣの種類を設定するとともに、オペレータが発声した音声を音声認識することによって、当該音声に適した仮想キャラクタＰＣの動作を設定する。例えば、オペレータ端末装置２００は、音声「いらっしゃいませ」が音声認識されることに応じて、お辞儀動作を仮想キャラクタＰＣの動作として設定する。そして、オペレータ端末装置２００は、設定された仮想キャラクタＰＣの種類および動作を示すデータを、情報処理装置５へ送信する。

【0051】

また、図３に示した状況の場合、オペレータ端末装置２００のオペレータは、オペレータ端末装置２００の音声入力部に「いくつ購入しますか？」とオペレータ自身が発声することによって、当該音声を示すデータが情報処理装置５へ送信される。また、オペレータ端末装置２００では、オペレータが発声した音声「いくつ購入しますか？」を音声認識することに応じて、販売を促す動作を仮想キャラクタＰＣの動作として設定する。そして、オペレータ端末装置２００は、設定された仮想キャラクタＰＣの動作を示すデータを、情報処理装置５へ送信する。また、オペレータ端末装置２００のオペレータは、情報処理装置５のユーザが「３つください。」と発声したことを当該情報処理装置５から送信されたユーザデータ（撮像画像データおよび音声データ）によって知ることができる。

【0052】

なお、仮想キャラクタＰＣの動作は、オペレータ端末装置２００における音声認識以外の方法によって設定されてもよい。例えば、オペレータがオペレータ端末装置２００の入力装置（例えば、キーボードやマウス）を操作して、複数の動作選択肢から１つの動作を選択することによって仮想キャラクタＰＣの動作が設定されてもよい。また、オペレータ端末装置２００のモニタに仮想キャラクタＰＣを表示して上記入力装置の操作に応じて仮想キャラクタＰＣを動作させることによって、仮想キャラクタＰＣの動作が設定されてもよい。また、オペレータ端末装置２００においてオペレータが文字入力した文字データを認識することによって、仮想キャラクタＰＣの動作が設定されてもよい。

【0053】

また、仮想キャラクタＰＣの動作は、情報処理装置５側で設定されてもよい。例えば、オペレータ端末装置２００からオペレータの音声を示す音声データを取得した場合、情報処理装置５が当該音声を音声認識して仮想キャラクタＰＣの動作を設定してもよい。また、オペレータ端末装置２００から仮想キャラクタＰＣの動作を選択する操作データや仮想キャラクタＰＣを動作させる操作データを取得した場合、情報処理装置５が当該操作データに応じて仮想キャラクタＰＣの動作を設定してもよい。

【0054】

また、仮想キャラクタＰＣの画像データは、情報処理装置５がアクセスポイントＡＰと接続されることに応じてオペレータ端末装置２００から適宜送信されてもいいし、情報処理装置５に予め格納されていてもかまわない。前者の場合、オペレータ端末装置２００側において仮想キャラクタＰＣの種類および／または動作が設定される毎に、当該種類および／または動作に対応する仮想キャラクタＰＣの画像データがオペレータ端末装置２００から情報処理装置５へ送信される。後者の場合、オペレータ端末装置２００側または情報処理装置５において仮想キャラクタＰＣの種類および／または動作が設定される毎に、予め情報処理装置５に格納された仮想キャラクタＰＣの画像データから対応する画像データが抽出される。

【0055】

また、撮像画像からマーカＭを検出することによって出現する仮想キャラクタＰＣは、一例として、オペレータ端末装置２００からのキャラクタデータを受信した場合のみＬＣＤ５２に表示されてもよい。また、他の例として、オペレータ端末装置２００からのキャラクタデータを受信した場合のみ特別なキャラクタが仮想キャラクタＰＣとしてＬＣＤ５２に表示されてもよい。前者の場合、マーカＭを撮像しただけでは仮想キャラクタＰＣが表示されないため、ユーザは、仮想キャラクタＰＣを表示するためにはマーカＭが設置されているアクセスポイントＡＰの通信範囲内に行く必要がある。後者の場合も、マーカＭを撮像しただけでは特別なキャラクタが仮想キャラクタＰＣとして表示されないため、ユーザは、特別なキャラクタを表示するためにはマーカＭが設置されているアクセスポイントＡＰの通信範囲内に行く必要がある。したがって、何れの場合も特定のアクセスポイントＡＰと情報処理装置５とが通信を確立する必要があるため、特定の場所（特定のアクセスポイントＡＰ設置場所）にユーザを誘導するための有効な動機付けとなる。

【0056】

次に、図５〜図８を参照して、本発明の情報処理プログラムを実行する情報処理装置を含む情報処理システムの他の例について説明する。なお、図５は、複数の情報処理装置５ａ〜５ｆを含む情報処理システム１ｂの他の例を示すブロック図である。図６は、情報処理システム１ｂにおいて、アクセスポイントＡＰ１に接続して複数の情報処理装置５ａ〜５ｃを操作する様子の一例を示す図である。図７は、情報処理システム１ｂにおいて、アクセスポイントＡＰ２に接続して複数の情報処理装置５ｄ〜５ｆを操作する様子の一例を示す図である。図８は、情報処理装置５ａに仮想キャラクタＰＣｄ〜ＰＣｆが表示された一例を示す図である。

【0057】

図５に示すように、情報処理システム１ｂは、複数の情報処理装置５ａ〜５ｃと複数の情報処理装置５ｄ〜５ｆとが遠隔配置されており、アクセスポイントＡＰ１、アクセスポイントＡＰ２、およびネットワーク１００を介してそれぞれの情報処理装置群の間が接続されて構築される。例えば、情報処理装置５ａ〜５ｃは、無線通信を用いて、アクセスポイントＡＰ１を介してネットワーク１００に接続可能にそれぞれ構成されている。また、情報処理装置５ｄ〜５ｆは、無線通信を用いて、アクセスポイントＡＰ２を介してネットワーク１００に接続可能にそれぞれ構成されている。そして、情報処理装置５ａ〜５ｃおよび情報処理装置５ｄ〜５ｆは、ネットワーク１００を介して、他方との接続を確立することによって、互いに無線通信が可能となる。なお、情報処理装置５ａ〜５ｆの構成については、それぞれ上述した情報処理装置５と同様であるため、ここでは詳細な説明を省略する。

【0058】

図６において、現実世界の部屋に特定のアクセスポイントＡＰ１が設置されている。また、アクセスポイントＡＰ１が設置されている部屋には、その机上にマーカＭが配置された机が設置されている。マーカＭは、一例として矩形の枠内に所定の図形や文字が描かれている。そして、アクセスポイントＡＰ１が設置されている部屋には、情報処理装置５ａを操作するユーザＡと情報処理装置５ｂを操作するユーザＢと情報処理装置５ｃを操作するユーザＣとが訪れている。

【0059】

図７において、アクセスポイントＡＰ１が設置されている部屋とは異なる部屋（例えば、アクセスポイントＡＰ１が設置された部屋とは遠隔の部屋や隣接する部屋）に特定のアクセスポイントＡＰ２が設置されている。また、アクセスポイントＡＰ２が設置されている部屋にも、その机上にマーカＭが配置された机が設置されている。そして、アクセスポイントＡＰ２が設置されている部屋には、情報処理装置５ｄを操作するユーザＤと情報処理装置５ｅを操作するユーザＥと情報処理装置５ｆを操作するユーザＦとが訪れている。

【0060】

情報処理装置５ａ〜５ｆのユーザＡ〜Ｆがそれぞれ撮像部５０（典型的には、外側カメラ５０１）を用いて現実世界を撮像した場合、ＣＰＵ５５は、撮像部５０から取得される撮像画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該撮像画像にマーカＭが含まれているか否かを判定する。そして、撮像部５０によってマーカＭが撮像されている場合、現実世界画像としてマーカＭが被写体として含まれている撮像画像がＬＣＤ５２に表示されるとともに、現実世界画像に含まれるマーカ画像Ｍの表示位置に基づいた位置に仮想キャラクタＰＣがＬＣＤ５２に合成表示される。

【0061】

例えば、図８に示すように、情報処理装置５ａのユーザＡが外側カメラ５０１を用いて机上のマーカＭを含む現実世界を撮像した場合、現実世界画像に含まれるマーカ画像Ｍの表示位置に基づいた位置（例えば、マーカＭが置かれた机の後方）に仮想キャラクタＰＣｄ〜ＰＣｆが並んでＬＣＤ５２に合成表示される。

【0062】

本実施例では、撮像画像に合成される仮想キャラクタＰＣは、アクセスポイントＡＰ１およびＡＰ２を介して、他の情報処理装置５から送信されるデータに基づいて制御される。ここで、アクセスポイントＡＰ１およびＡＰ２は、情報処理装置５との無線通信が可能となる通信範囲をそれぞれ有している。情報処理装置５がアクセスポイントＡＰ１の通信範囲内またはアクセスポイントＡＰ２の通信範囲内に進入した場合、情報処理装置５とアクセスポイントＡＰ１またはＡＰ２との間における無線通信の接続を確立する処理が自動的またはユーザ操作に応じて行われる。そして、特定のアクセスポイントＡＰ１と接続した情報処理装置５に設定されているユーザデータが、特定のアクセスポイントＡＰ２と接続した情報処理装置５へ送信される。また、特定のアクセスポイントＡＰ２と接続した情報処理装置５に設定されているユーザデータが、特定のアクセスポイントＡＰ１と接続した情報処理装置５へ送信される。つまり、図５〜図７に示した例では、特定のアクセスポイントＡＰ１と接続した情報処理装置５ａ〜５ｃにそれぞれ設定されているユーザデータが、特定のアクセスポイントＡＰ２と接続した情報処理装置５ｄ〜５ｆに送信され、情報処理装置５ｄ〜５ｆにそれぞれ設定されているユーザデータが、情報処理装置５ａ〜５ｃに送信されることになる。

【0063】

各情報処理装置５は、送信先となる他の情報処理装置５に対して、仮想キャラクタＰＣの種類や動作等を制御するデータ（キャラクタデータ）、送信先の情報処理装置５における音声出力部５３から出力する音声を制御するデータ（音声データ）、送信元の情報処理装置５における操作情報を示すデータ（操作データ）等をそれぞれ送信する。例えば、図８の例では、情報処理装置５ｄ〜５ｆから送信されたデータに応じて、情報処理装置５ｄ〜５ｆのユーザＤ〜Ｆをそれぞれ示す仮想キャラクタＰＣｄ〜ＰＣｆが情報処理装置５ａのＬＣＤ５２に表示されるとともに、全員の音声「はじめまして！」が情報処理装置５ａの音声出力部５３から出力されている。このような場合、情報処理装置５ｄは、仮想キャラクタＰＣｄの種類および動作としてユーザＤ自身のキャラクタとして設定している仮想キャラクタが机の後方に向かって左側に着席するように制御するキャラクタデータと、音声「はじめまして！」を音声出力部５３から出力させるための音声データとを情報処理装置５ａ〜５ｃにそれぞれ送信している。また、情報処理装置５ｅは、仮想キャラクタＰＣｅの種類および動作としてユーザＥ自身のキャラクタとして設定している仮想キャラクタが机の後方の中央に着席するように制御するキャラクタデータと、音声「はじめまして！」を音声出力部５３から出力させるための音声データとを情報処理装置５ａ〜５ｃにそれぞれ送信している。さらに、情報処理装置５ｆも、仮想キャラクタＰＣｆの種類および動作としてユーザＦ自身のキャラクタとして設定している仮想キャラクタが机の後方に向かって右側に着席するように制御するキャラクタデータと、音声「はじめまして！」を音声出力部５３から出力させるための音声データとを情報処理装置５ａ〜５ｃにそれぞれ送信している。これに対して、情報処理装置５ａのユーザＡは、「はじめまして！」とユーザＡ自身が発声している。このようにユーザＡが発声した音声は、情報処理装置５ａの音声入力部５４によって検出され、当該音声を示す音声データがユーザデータとして、情報処理装置５ｄ〜５ｆへ送信される。また、情報処理装置５ａの仮想キャラクタＰＣａの種類および動作を示すユーザデータ（例えば、ユーザＡ自身のキャラクタとして設定している仮想キャラクタＰＣａが机の後方に向かって右側に着席するように制御するキャラクタデータ）が、情報処理装置５ｄ〜５ｆへ送信される。

【0064】

このように、アクセスポイントＡＰ１と接続している情報処理装置５ａ〜５ｃには、それぞれアクセスポイントＡＰ２と接続している情報処理装置５ｄ〜５ｆからユーザデータを受信することによって、情報処理装置５ｄ〜５ｆのユーザＤ〜Ｆがそれぞれ自身のキャラクタとして設定している仮想キャラクタＰＣｄ〜ＰＣｆが机の後方に着席しているような画像がＬＣＤ５２に表示される。また、情報処理装置５ａ〜５ｃの音声出力部５３からは、情報処理装置５ｄ〜５ｆからユーザデータを受信することによって、情報処理装置５ｄ〜５ｆのユーザＤ〜Ｆがそれぞれ発声した音声が出力される。一方、情報処理装置５ｄ〜５ｆには、それぞれ情報処理装置５ａ〜５ｃからユーザデータを受信することによって、情報処理装置５ａ〜５ｃのユーザＡ〜Ｃがそれぞれ自身のキャラクタとして設定している仮想キャラクタＰＣａ〜ＰＣｃが机の後方に着席しているような画像がＬＣＤ５２に表示されるとともに、ユーザＡ〜Ｃがそれぞれ発声した音声が情報処理装置５ｄ〜５ｆの音声出力部５３から出力される。したがって、情報処理装置５を所持した状態で特定のアクセスポイントＡＰ１またはＡＰ２を訪れることによって、別室で情報処理装置５を操作している他のユーザが同じ部屋にいるかのような疑似体験を味わうことができ、複数のユーザが集まる仮想的な会合を開催することができる。また、このようなイベントが可能なアクセスポイントを特定のアクセスポイントＡＰ１およびＡＰ２に絞ることによって、特定の場所（特定のアクセスポイントＡＰ１またはＡＰ２の設置場所）にユーザを誘導するための有効な動機付けとなる。

【0065】

なお、仮想キャラクタＰＣの動作は、当該仮想キャラクタＰＣを設定している送信元の情報処理装置５において、当該情報処理装置５の音声入力部５４に入力される音声を音声認識することによって設定されてもよい。例えば、送信元の情報処理装置５ａ〜５ｆでは、それぞれユーザＡ〜Ｆが発声した音声「はじめまして！」を音声認識することに応じて、挨拶する動作を仮想キャラクタＰＣａ〜ＰＣｆの動作としてそれぞれ設定する。そして、送信元の情報処理装置５ａ〜５ｆは、それぞれ設定した仮想キャラクタＰＣａ〜ＰＣｆの動作を示すデータを、送信先の情報処理装置５へ送信する。

【0066】

また、仮想キャラクタＰＣの動作は、音声認識以外の方法によって設定されてもよい。例えば、ユーザＡ〜Ｆが情報処理装置５ａ〜５ｆの入力装置（例えば、タッチパネルや操作ボタン）を操作して、複数の動作選択肢から１つの動作を選択することによって仮想キャラクタＰＣａ〜ＰＣｆの動作が設定されてもよい。また、情報処理装置５ａ〜５ｆのＬＣＤ５２に各ユーザが自身のキャラクタとして設定している仮想キャラクタＰＣａ〜ＰＣｆを表示して上記入力装置の操作に応じて仮想キャラクタＰＣａ〜ＰＣｆを動作させることによって、仮想キャラクタＰＣａ〜ＰＣｆの動作がそれぞれ設定されてもよい。

【0067】

また、仮想キャラクタＰＣの動作は、送信先の情報処理装置５側で設定されてもよい。例えば、送信元の情報処理装置５からユーザの音声を示す音声データを取得した場合、送信先の情報処理装置５が当該音声を音声認識して送信元の仮想キャラクタＰＣの動作を設定してもよい。また、送信元の情報処理装置５から仮想キャラクタＰＣの動作を選択する操作データや仮想キャラクタＰＣを動作させる操作データを取得した場合、送信先の情報処理装置５が当該操作データに応じて送信元の仮想キャラクタＰＣの動作を設定してもよい。

【0068】

また、１つのマーカＭに対して複数の仮想キャラクタＰＣを配置する場合、その配置位置は、所定の条件によって位置関係が設定されてもいいし、送信元の情報処理装置５の位置関係によって設定されてもよい。第１の例として、仮想キャラクタＰＣを配置可能な位置を予め複数設定し、所定の順序（例えば、アクセスポイントに接続した順やイベント参加登録した順）に応じて、順次配置位置を割り当てるようにして、各仮想キャラクタＰＣを現実世界画像に合成する位置を設定する。第２の例として、送信元の情報処理装置５と当該情報処理装置５が撮像しているマーカＭとの位置関係をそれぞれ算出し、当該位置関係に基づいて、各仮想キャラクタＰＣを現実世界画像に合成する位置を設定する。例えば、図６に例示したように情報処理装置５ａ〜５ｃの撮像部５０が同じマーカＭを撮像している場合、撮像部５０が撮像した撮像画像からマーカＭの画像を検出することによって、現実世界におけるマーカＭ（被写体）と情報処理装置５ａ〜５ｃの撮像部５０（カメラ）との位置関係をそれぞれ算出することができる。そして、このような位置関係に基づいて仮想キャラクタＰＣａ〜ＰＣｃを配置して、送信先となる情報処理装置５ｄ〜５ｆに表示する現実世界画像に合成する。

【0069】

また、仮想キャラクタＰＣの画像データは、送信元の情報処理装置５から送信先の情報処理装置５へ適宜送信されてもいいし、情報処理装置５に予め格納されていてもかまわない。前者の場合、送信元の情報処理装置５側において仮想キャラクタＰＣの動作が設定される毎に、当該動作に対応する仮想キャラクタＰＣの画像データが送信元の情報処理装置５から送信先の情報処理装置５へ送信される。後者の場合、仮想キャラクタＰＣの種類および／または動作が設定される毎に、当該設定情報に基づいて、送信先の情報処理装置において予め格納された仮想キャラクタＰＣの画像データから対応する画像データが抽出される。一例として、各情報処理装置５に仮想キャラクタＰＣのパーツが予め格納されている場合、仮想キャラクタＰＣの種類および／または動作を設定する際に、各パーツの選択情報および各パーツの位置、方向、大きさを示す情報が設定される。そして、送信先の情報処理装置５において、予め格納されている仮想キャラクタＰＣのパーツを上記情報に基づいて配置することによって、当該情報に基づいた仮想キャラクタＰＣの画像データが生成される。

【0070】

また、仮想キャラクタＰＣの画像データは、各仮想キャラクタＰＣを設定しているユーザの画像が利用されてもよい。例えば、仮想キャラクタＰＣを設定しているユーザの顔画像を当該仮想キャラクタＰＣの頭部に貼り付けることによって、仮想キャラクタＰＣの画像データを生成してもよい。この場合、送信元の情報処理装置５からは、内側カメラ５０２によって撮像された情報処理装置５のユーザの画像（例えば、ユーザの顔を撮像した動画像）を示すデータがユーザデータとして、送信先の情報処理装置５へ送信される。そして、送信先の情報処理装置５において、送信先の情報処理装置５のユーザを示す仮想キャラクタＰＣの頭部にユーザの画像を貼り付けてＬＣＤ５２に表示する。このように、各ユーザの実写真を利用して仮想キャラクタＰＣを生成することによって、別室で情報処理装置５を操作している他のユーザがよりリアルに同じ部屋にいるかのような体験を味わうことができる。

【0071】

また、上述した情報処理システム１ａおよび１ｂでは、仮想キャラクタＰＣを現実世界画像内に配置して合成するために現実世界にマーカＭを配置しているが、マーカＭがなくてもかまわない。第１の例として、マーカＭを設置しない場合、現実世界画像内に仮想キャラクタＰＣを配置するための基準を設ければよく、例えば現実世界における所定の形状や所定の物体（例えば、矩形の机上面）を当該基準としてもよい。この場合、パターンマッチング等の画像処理を行うことによって上記所定の形状や所定の物体を撮像画像から検出し、当該検出された基準に基づいて、現実世界画像内に仮想キャラクタＰＣを配置することができる。第２の例として、情報処理装置５がＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を有している場合、ＧＰＳから取得した位置情報と付加的な情報（例えば、磁気センサによる情報処理装置５の方位を示す情報や加速度センサやジャイロセンサによる情報処理装置５本体の姿勢や動作を示す情報）とを用いて現実世界画像内に仮想キャラクタＰＣを配置する、いわゆるロケーションベースＡＲを用いてもよい。第３の例として、情報処理装置５がアクセスポイントとの無線通信の際の電波強度を検出する機能を有している場合、当該機能によって検出された各アクセスポイントとの電波強度と各アクセスポイントの設置位置とに基づいて算出されたアクセス位置を上記位置情報として、現実世界画像内に仮想キャラクタＰＣを配置してもよい。

【0072】

また、上述した実施例では、他の装置に対するユーザ入力（音声入力、操作入力等）に応じて仮想キャラクタＰＣの種類や動作が設定されるが、他の表示態様が設定されてもよい。例えば、他の装置に対するユーザ入力に応じて仮想キャラクタＰＣの大きさ、数、色、濃度、明度等が設定されてもいいし、仮想キャラクタＰＣの移動パラメータ（例えば、移動速度や移動方向）が設定されてよい。また、現実世界画像内に合成表示される画像は、仮想キャラクタＰＣでなくてもかまわない。例えば、物や地形等も含む仮想オブジェクトの表示態様が他の装置に対するユーザ入力に応じて設定され、当該表示態様に基づいて現実世界画像内に合成表示されてもよい。

【0073】

また、上述した実施例では、情報処理装置５とオペレータ端末装置２００との間または情報処理装置５の間において、それぞれのユーザが発声した音声を示すデータが双方向に送受信されるが、当該音声を文字データに変換して双方向に送受信されてもよい。この場合、上記文字データに応じた文字画像を受信側装置の表示画面に表示（例えば、仮想キャラクタＰＣの吹き出し表示）してもよい。また、上記文字データを双方向に送受信する場合、双方の装置においてそれぞれ文字入力されたことによって生成された文字データを送受信してもよい。

【0074】

また、上述した情報処理システム１ａおよび１ｂでは、現実世界画像（撮像画像）に仮想キャラクタＰＣの画像を合成する処理を送信先の情報処理装置５（すなわち、合成した画像を表示制御する装置）で行っているが、仮想キャラクタＰＣを制御している装置側で当該処理を行ってもよい。例えば、送信先の情報処理装置５は、当該装置で撮像された撮像画像を、仮想キャラクタＰＣを制御している装置（オペレータ端末装置２００または情報処理装置５）へ送信する。そして、仮想キャラクタＰＣを制御している装置は、送信された撮像画像内に仮想キャラクタＰＣを表示させる合成処理を行って、当該撮像画像を送信した情報処理装置５へ当該合成処理後の画像を送信する。

【0075】

また、上述した実施例では、特定のアクセスポイントを設定することによって、当該特定のアクセスポイントの通信可能範囲を、ユーザを誘導する特定の場所として設定しているが、他の方法によって特定の場所を設定してもかまわない。一例として、情報処理装置５がＧＰＳ機能を有している場合、当該ＧＰＳ機能によって算出された地球上の位置に基づいて、情報処理装置５が特定の場所からアクセスしているか否かを判定してもよい。他の例として、情報処理装置５がアクセスポイントとの無線通信の際の電波強度を検出する機能を有している場合、当該機能によって検出された各アクセスポイントとの電波強度と各アクセスポイントの設置位置とに基づいて算出されたアクセス位置に基づいて、情報処理装置５が特定の場所からアクセスしているか否かを判定してもよい。

【0076】

次に、情報処理装置５において行われる処理の詳細を説明する。まず、図９を参照して、処理において用いられる主なデータについて説明する。なお、図９は、情報処理装置５のメモリ５６に記憶される主なデータおよびプログラムの一例を示す図である。

【0077】

図９に示すように、メモリ５６のデータ記憶領域には、ユーザデータＤａ、受信データＤｂ、キャラクタ設定データＤｃ、およびキャラクタ画像データＤｄ等が記憶される。なお、メモリ５６には、図９に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、メモリ５６のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。

【0078】

ユーザデータＤａは、情報処理装置５のユーザ操作に応じて設定されるデータであり、撮像画像データＤａ１、音声データＤａ２、および操作データＤａ３等を含む。撮像画像データＤａ１は、撮像部５０（外側カメラ５０１および内側カメラ５０２）によってリアルタイムに撮像された撮像画像を示すデータであり、撮像される毎に逐次更新される。音声データＤａ２は、音声入力部５４が検出した音声を示すデータである。操作データＤａ３は、操作部５１に対する操作内容を示すデータである。

【0079】

受信データＤｂは、他の装置（オペレータ端末装置２００や他の情報処理装置５）から受信したデータであり、キャラクタデータＤｂ１、音声データＤｂ２、および操作データＤｂ３等を含む。キャラクタデータＤｂ１は、仮想キャラクタＰＣの種類や動作を設定するために用いられるデータである。音声データＤｂ２は、他の装置に対して音声入力された音声を示すデータである。操作データＤｂ３は、他の装置を用いて操作入力された操作内容を示すデータである。

【0080】

キャラクタ設定データＤｃは、ＬＣＤ５２に表示する仮想キャラクタＰＣの種類や動作を示すデータである。キャラクタ画像データＤｄは、仮想キャラクタＰＣの画像を生成してＬＣＤ５２に表示するためのデータである。

【0081】

次に、図１０および図１１を参照して、情報処理装置５において行われる処理の詳細を説明する。なお、図１０は、情報処理装置５（ＣＰＵ５５）において実行される情報処理の前半の一例を示すフローチャートである。図１１は、情報処理装置５（ＣＰＵ５５）において実行される情報処理の後半の一例を示すフローチャートである。ここで、図１０および図１１に示すフローチャートにおいて、上述した情報処理システム１ａに含まれる情報処理装置５の処理のうち、撮像画像内に所定のマーカが検出された場合に仮想キャラクタＰＣを登場させてＬＣＤ５２に表示する処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。本実施形態においては、図１０および図１１に示す一連の処理は、ＣＰＵ５５が、プログラム記憶部５７に記憶される情報処理プログラムを実行することによって行われる。

【0082】

なお、図１０および図１１に示す情報処理が開始されるタイミングは任意である。例えば、当該情報処理を開始する指示をユーザが行ったことに応じてアクセスポイントとの接続が確立されるとともに、情報処理プログラムの実行が開始されてもよい。このとき、情報処理プログラムは、適宜のタイミングでその一部または全部がメモリ５６に読み出され、ＣＰＵ５５によって実行される。これによって、図１０および図１１に示す一連の処理が開始される。なお、情報処理プログラムは、情報処理装置５内のプログラム記憶部５７に予め記憶されているものとする。ただし、他の実施形態においては、情報処理装置５に着脱可能な記憶媒体から取得されてメモリ５６に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されてメモリ５６に記憶されてもよい。

【0083】

また、図１０および図１１に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートにおける一部のステップの処理をＣＰＵ５５が実行し、その他のステップの処理をＣＰＵ５５以外のプロセッサや専用回路が実行するようにしてもよく、上記フローチャートにおける全部のステップの処理をＣＰＵ５５以外のプロセッサや専用回路が実行するようにしてもよい。

【0084】

図１０において、ＣＰＵ５５は、情報処理における初期処理を実行し（ステップ８１）、次のステップに処理を進める。例えば、ＣＰＵ５５は、上記ステップ８１において、当該情報処理で用いられる各パラメータを初期化する。

【0085】

次に、ＣＰＵ５５は、撮像部５０から出力される撮像画像を示す撮像画像データを取得し（ステップ８２）、次のステップに処理を進める。例えば、ＣＰＵ５５は、新たに所得した撮像画像を表す撮像画像データをメモリ５６に撮像画像データＤａ１として記憶する。

【0086】

次に、ＣＰＵ５５は、音声入力部５４から入力された音声を示す音声データおよび操作部５１に対する操作内容を示す操作データを取得し（ステップ８３）、次のステップに処理を進める。例えば、ＣＰＵ５５は、新たに取得した音声データおよび操作データをメモリ５６に音声データＤａ２および操作データＤａ３としてそれぞれ記憶する。

【0087】

次に、ＣＰＵ５５は、上記ステップ８２で取得した撮像画像データを用いて撮像画像認識処理を行い（ステップ８４）、当該撮像画像データが表す撮像画像内にマーカＭが含まれているか否かを判定する（ステップ８５）。そして、ＣＰＵ５５は、上記撮像画像内にマーカＭが含まれている場合、ステップ８６に処理を進める。一方、ＣＰＵ５５は、上記撮像画像内にマーカＭが含まれていない場合、ステップ９１（図１１参照）に処理を進める。以下、上記ステップ８４およびステップ８５で行う撮像画像認識処理の一例について説明する。

【0088】

例えば、ＣＰＵ５５は、パターンマッチング手法等によって撮像画像データが表す撮像画像（典型的には、外側カメラ５０１で撮像された撮像画像）に対する画像認識処理を行い、当該撮像画像内にマーカＭが含まれているか否かを判定する。そして、ＣＰＵ５５は、撮像画像にマーカＭが含まれている場合には、撮像部５０の撮像範囲内にマーカＭが現実世界で実在していると仮定し、当該撮像画像におけるマーカＭの位置および姿勢に基づいて、撮像部５０とマーカＭとの位置関係を算出する。一例として、ＣＰＵ５５は、上記撮像画像におけるマーカＭの位置および／または姿勢を認識することによってマーカ・カメラ変換行列を算出し、当該マーカ・カメラ変換行列を表す画像認識結果データをメモリ５６に記憶する。

【0089】

なお、上記マーカ・カメラ変換行列は、上記撮像画像におけるマーカＭの位置および姿勢に基づいて算出される撮像部５０の位置および姿勢を反映した行列である。より正確には、マーカ座標系（実世界におけるマーカＭの位置を原点とし、マーカＭの縦方向、横方向、および法線方向の各方向を各軸とする座標系）で表された座標を、撮像画像におけるマーカＭの位置および姿勢に基づいて計算された撮像部５０の位置および姿勢を基準とした撮像部座標系で表される座標へと変換するための座標変換行列である。ここで、コンピュータによるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術では、マーカ座標系を撮像部座標系に変換する上記マーカ・カメラ変換行列を仮想カメラのビュー行列に指定することにより、現実世界画像（撮像画像）にＣＧ画像（仮想世界画像）を合成することができる。

【0090】

ステップ８６において、ＣＰＵ５５は、画像認識されたマーカＭに応じて、出現させる仮想キャラクタＰＣを表すキャラクタ画像を生成し、ステップ９１（図１１参照）に処理を進める。例えば、ＣＰＵ５５は、画像認識されたマーカＭの種類およびキャラクタデータＤｂ１やキャラクタ設定データＤｃに設定されている設定情報に応じて、出現させる仮想キャラクタＰＣの種類および動作を設定する。そして、ＣＰＵ５５は、上記マーカ座標系で定義される仮想空間に仮想キャラクタＰＣを配置（例えば、マーカ座標系の原点に配置）し、必要に応じて仮想キャラクタＰＣの大きさを変化させる。なお、キャラクタデータＤｂ１やキャラクタ設定データＤｃに情報が設定されていない場合、画像認識されたマーカＭの種類に応じて予め定められている仮想キャラクタＰＣを表すキャラクタ画像を生成してもいいし、キャラクタ画像を生成する処理をスキップしてもよい。

【0091】

例えば、上記ステップ８６の処理では、マーカ座標系における鉛直方向（図２や図３で示した例ではマーカ面に沿った現実世界の鉛直方向に対応する方向、図６〜図８で示した例ではマーカ面に垂直な現実世界の鉛直方向に対応する方向）が仮想空間の鉛直方向である定義して、仮想キャラクタＰＣを仮想空間に配置する。そして、マーカＭの前後左右上下方向やキャラクタデータＤｂ１やキャラクタ設定データＤｃに設定されている設定情報に基づいて、仮想キャラクタＰＣの前後左右方向を決定する。

【0092】

そして、ＣＰＵ５５は、仮想カメラから見た仮想キャラクタＰＣをキャラクタ画像として生成し、メモリ５６のキャラクタ画像データＤｄに記憶する。例えば、ＣＰＵ５５は、上記マーカ・カメラ変換行列を仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたＣＧモデル（仮想キャラクタＰＣ）を、現実世界に当該ＣＧモデルが存在する場合にＬＣＤ５２に表示される場所（例えば、撮像画像におけるマーカＭから所定距離離れた位置）と同じ位置に表示することができる。つまり、ＬＣＤ５２に表示される表示画像において、マーカ座標系で定義された仮想空間に配置された仮想キャラクタＰＣを、現実世界のマーカＭに関連して存在しているように表示することができる。

【0093】

図１１に進み、ＣＰＵ５５は、所定のアクセスポイント（例えば、図２や図３を用いた例におけるアクセスポイントＡＰや、図６〜図８を用いた例におけるアクセスポイントＡＰ１やアクセスポイントＡＰ２）と通信可能か否かを判定する（ステップ９１）。例えば、ＣＰＵ５５は、アクセスポイントに接続するための識別子を用いて、いわゆるパッシブスキャンやアクティブスキャンによるアクセスポイントのサーチを行う。次に、ＣＰＵ５５は、所定のアクセスポイントが検出されて当該アクセスポイントとの接続が確立できた場合、当該アクセスポイントを介してデータを送受信する通信相手として設定されている装置（例えば、図２や図３を用いた例におけるオペレータ端末装置２００や、図６〜図８を用いた例における送信先となる他の情報処理装置５）を設定して通信を開始して、ステップ９２に処理を進める。一方、ＣＰＵ５５は、所定のアクセスポイントが検出されない場合や、所定のアクセスポイントとの接続が確立できない場合、ステップ９６に処理を進める。

【0094】

ステップ９２において、ＣＰＵ５５は、設定されている通信相手の装置から送信されたデータを受信して、次のステップに処理を進める。例えば、ＣＰＵ５５は、通信相手の装置から送信されたキャラクタデータ、音声データ、操作データ等を受信し、メモリ５６の受信データＤｂを更新する。

【0095】

次に、ＣＰＵ５５は、上記ステップ９２において受信したデータに応じて、仮想キャラクタ画像を設定し（ステップ９３）、次のステップに処理を進める。例えば、ＣＰＵ５５は、受信データＤｂを参照して、通信相手の装置から送信された仮想キャラクタＰＣに関する情報（仮想キャラクタＰＣの種類や動作に関連する情報）を取得し、当該情報に基づいて仮想キャラクタＰＣの種類、動作、位置等を設定して、キャラクタ設定データＤｃを更新する。

【0096】

次に、ＣＰＵ５５は、ユーザデータを設定されている通信相手の装置へ送信し（ステップ９４）、次のステップに処理を進める。例えば、ＣＰＵ５５は、ユーザデータＤａから送信するデータを抽出して、設定されている通信相手の装置へ当該抽出したデータを送信する処理を行う。

【0097】

次に、ＣＰＵ５５は、音声出力処理を行って（ステップ９５）、ステップ９７に処理を進める。例えば、ＣＰＵ５５は、受信データＤｂに含まれている音声データＤｂ２を参照して、通信相手の装置のユーザが音声入力した音声を示す音声信号を生成する。そして、ＣＰＵ５５は、生成した音声信号を音声出力部５３へ出力することによって、通信相手の装置のユーザが音声入力した音声を音声出力部５３から出力させる。

【0098】

一方、所定のアクセスポイントが検出されない場合や、所定のアクセスポイントとの接続が確立できない場合（ステップ９１において否定判定された場合）、ＣＰＵ５５は、仮想キャラクタＰＣに関する設定情報をクリアして（ステップ９６）、ステップ９７に処理を進める。例えば、ＣＰＵ５５は、仮想キャラクタＰＣに関する設定情報として、受信データＤｂおよびキャラクタ設定データＤｃを消去する。

【0099】

ステップ９７において、ＣＰＵ５５は、合成表示処理を行い、次のステップに処理を進める。例えば、ＣＰＵ５５は、マーカＭが撮像されている場合、上記ステップ８２で取得した撮像画像（現実世界画像）と上記ステップ８６で生成した仮想キャラクタ画像とを合成した表示画像を生成し、当該表示画像をＬＣＤ５２に表示する。

【0100】

具体的には、ＣＰＵ５５は、上記ステップ８２で取得した撮像画像（典型的には、外側カメラ５０１が撮像した画像）を、ＬＣＤ５２へ供給すべき画像を一時的に記憶するためのＶＲＡＭ内の所定の記憶領域（以下、フレームバッファと称す）に描画する。そして、ＣＰＵ５５は、上記ステップ８５で肯定判定されている場合、メモリ５６に記憶されている仮想キャラクタ画像（すなわち、仮想カメラから見た仮想空間の画像）をフレームバッファに上書きする。これによって、フレームバッファに描画された撮像画像（現実世界画像）に仮想キャラクタ画像が合成される。そして、フレームバッファに描画された画像は、所定のタイミングでＬＣＤ５２へ供給されて、ＬＣＤ５２に表示されることになる。なお、上記仮想キャラクタ画像においては、仮想空間の背景が透明であり、そのため、現実世界画像に仮想キャラクタ画像を合成することで、現実世界画像上に仮想キャラクタＰＣが存在するような画像が生成される。なお、ＣＰＵ５５は、上記ステップ８５で否定判定されている場合、撮像画像のみをフレームバッファに描画してＬＣＤ５２に表示する。

【0101】

次に、ＣＰＵ５５は、処理を終了するか否かを判定する（ステップ９８）。処理を終了する条件としては、例えば、ユーザが処理を終了する操作を行ったこと等がある。ＣＰＵ５５は、処理を終了しない場合に上記ステップ８２に戻って処理を繰り返し、処理を終了する場合に当該フローチャートによる処理を終了する。以降、ステップ８２〜ステップ９７の一連の処理は、ステップ９８で処理を終了すると判定されるまで繰り返し実行される。

【0102】

なお、上述した情報処理システム１ａおよび１ｂでは、データを送受信する装置同士がアクセスポイントを介して直接データ通信する態様を用いたが、さらに他の装置（例えば、中継サーバ）等を介してデータ通信されてもかまわない。

【0103】

また、上述では、１つの情報処理装置５で情報処理を行う場合の処理手順を説明しているが、当該情報処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、情報処理装置５がさらに他の装置（例えば、別のサーバ、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記情報処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。このように、上記情報処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した情報処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施形態においては、情報処理装置５のＣＰＵ５５が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置５が備える専用回路によって上記処理の一部または全部が行われてもよい。

【0104】

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と携帯型の情報処理装置（携帯型のゲーム装置）との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

【0105】

また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。

【0106】

また、上記各プログラムは、外部メモリ等の外部記憶媒体を通じて情報処理装置５に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置５に供給されてもよい。また、上記プログラムは、情報処理装置５内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

【0107】

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

【産業上の利用可能性】

【0108】

以上のように、本発明は、撮像対象に応じた仮想オブジェクトを表示する際に、興趣性を高めること等を目的として、例えば情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法等として有用である。

【符号の説明】

【0109】

１…情報処理システム
５…情報処理装置
５０…撮像部
５０１…外側カメラ
５０２…内側カメラ
５１…操作部
５２…ＬＣＤ
５３…音声出力部
５４…音声入力部
５５…ＣＰＵ
５６…メモリ
５７…プログラム記憶部
５８…通信部
１００…ネットワーク
２００…オペレータ端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】