(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023149302
(43)【公開日】2023-10-13
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G03B 17/18 20210101AFI20231005BHJP
H04N 5/222 20060101ALI20231005BHJP
H04N 23/60 20230101ALI20231005BHJP
H04N 23/45 20230101ALI20231005BHJP
A63F 13/55 20140101ALI20231005BHJP
G03B 15/08 20210101ALI20231005BHJP
G03B 17/02 20210101ALI20231005BHJP
G03B 19/07 20210101ALI20231005BHJP
G06T 19/00 20110101ALI20231005BHJP
A63F 13/213 20140101ALI20231005BHJP
A63F 13/65 20140101ALI20231005BHJP
【FI】
G03B17/18 Z
H04N5/222 400
H04N5/232 290
H04N5/225 800
A63F13/55
G03B15/08
G03B17/02
G03B19/07
G06T19/00 600
A63F13/213
A63F13/65
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022057806
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】599064214
【氏名又は名称】株式会社セガトイズ
(74)【代理人】
【識別番号】100081673
【弁理士】
【氏名又は名称】河野 誠
(74)【代理人】
【識別番号】100141483
【弁理士】
【氏名又は名称】河野 生吾
(72)【発明者】
【氏名】冨澤 宏次
(72)【発明者】
【氏名】上杉 昌之
(72)【発明者】
【氏名】木全 若菜
(72)【発明者】
【氏名】田矢 沙織
(72)【発明者】
【氏名】島津 宙翼
【テーマコード(参考)】
2H054
2H100
2H102
5B050
5C122
【Fターム(参考)】
2H054BB05
2H054BB07
2H100AA18
2H102AA41
2H102BB02
2H102BB32
2H102BB44
5B050CA07
5B050DA04
5B050EA12
5B050EA19
5B050FA02
5B050FA13
5C122DA20
5C122EA55
5C122FA18
5C122FC04
5C122FH18
5C122FJ03
5C122FK12
5C122FK24
5C122FK41
5C122FL03
5C122GA34
5C122HB01
(57)【要約】
【課題】簡易な拡張現実を体験可能な情報処理装置を簡易な構成で低コストに実現することのできる情報処理装置を提供することを課題とする。
【解決手段】実空間を撮像する撮像部と、前記撮像部により撮像した映像を表示する表示部と、ドット情報を含む表示媒体から前記ドット情報を光学的に読取る読取部と、前記ドット情報に対応するコンテンツ情報として前記表示部に表示する表示物の画像情報が格納された記憶部と、前記撮像カメラにより撮影された実空間を示す入力画像に、前記読取部により読取られた前記ドット情報に対応する表示物の画像情報を重ねた出力画像を生成し、前記出力画像を前記表示部に表示するように構成された制御部とを備え、前記撮像部を構成する撮像カメラと、前記読取部を構成する読取装置とを別途に設けて構成した。
【選択図】
図1
【特許請求の範囲】
【請求項1】
実空間を撮像する撮像部と、
前記撮像部により撮像した映像を表示する表示部と、
ドット情報を含む表示媒体から前記ドット情報を光学的に読取る読取部と、
前記ドット情報に対応するコンテンツ情報として前記表示部に表示する表示物の画像情報が格納された記憶部と、
前記撮像カメラにより撮影された実空間を示す入力画像に、前記読取部により読取られた前記ドット情報に対応する表示物の画像情報を重ねた出力画像を生成し、前記出力画像を前記表示部に表示するように構成された制御部とを備え、
前記撮像部を構成する撮像カメラと、前記読取部を構成する読取装置とを別途に設けて構成した
情報処理装置。
【請求項2】
操作スイッチと、
前記読取カメラによって前記表示媒体から前記ドット情報が読取られたことを報知する報知手段とを備え、
前記制御部は、前記報知手段によって前記ドット情報が読取とられた場合には、前記報知手段による報知を実行し、その後に、前記操作スイッチが操作されたことが検出された場合に、前記出力画像の前記表示部への表示を実行するように構成された
請求項1に記載の情報処理装置。
【請求項3】
前記コンテンツ情報は、前記表示物のサイズに関するサイズ情報を含み、
前記制御部は、前記表示部に表示される実空間内の所定位置に、取得した前記サイズ情報に応じた大きさの前記表示物を表示するように構成された
請求項1又は2に記載の情報処理装置。
【請求項4】
前記コンテンツ情報は、前記表示物の内容を解説する説明情報を含み、
前記制御部は、前記表示部に表示された前記表示物の説明情報を表示できるように構成された
請求項1乃至3の何れかに記載の情報処理装置。
【請求項5】
前記表示部をタッチ操作可能なタッチパネルとし、
前記コンテンツ情報は、前記表示物である生物の動作に関する動作情報を含み、
前記制御部は、前記表示部に表示された生物のタッチ操作が検出された場合に、前記動作情報に基づいて生物を動作させるように構成された
請求項1乃至4に記載の情報処理装置。
【請求項6】
スピーカを設け、
前記表示部をタッチ操作可能なタッチパネルとし、
前記コンテンツ情報は、前記表示物である生物の鳴き声に関する音情報を含み、
前記制御部は、前記表示部に表示された生物のタッチ操作が検出された場合に、前記音情報に基づいて鳴き声を出力するように構成された
請求項1乃至4に記載の情報処理装置。
【請求項7】
前記コンテンツ情報は、ゲームコンテンツを実行するためのゲーム情報を含み、
前記表示媒体には、実行するゲームコンテンツを選択するためのコンテンツ選択情報を含むドット情報が設けられ、
前記制御部は、前記読取部により前記コンテンツ選択情報を含むドット情報が読取られた場合には、前記本体装置を用いて実行されるゲームコンテンツを切換えることができるように構成された
請求項1乃至6の何れかに記載の情報処理装置。
【請求項8】
前記コンテンツ情報は、前記表示部内に表示されたキャラクタが所定の解説対象物とランダムエンカウントするとともに、エンカウントした解説対象物の解説が表示されるパトロールゲームを実行するためのゲーム情報を含み、
前記制御部は、前記読取部によってパトロールゲームを開始するためのコンテンツ選択情報を含むドット情報が読み取られた場合には、前記パトロールゲームが実行されるように構成された
請求項7に記載の情報処理装置。
【請求項9】
操作位置を検出することができるセンサ部を設け、
前記制御部は、パトロールゲーム実行時に、前記表示部の位置が左右前後方向に操作されたことが検出された場合には、操作方向に応じて前記モニタ内に表示されるキャラクタの向きが切換えられるように構成された
請求項8に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影した実空間内に所定の表示物を表示する情報処理装置に関する。
【背景技術】
【0002】
従来、実空間を撮像するとともに、ドット情報を含む表示媒体から前記ドット情報を読取るカメラと、前記カメラにより撮像した画像を表示する表示部と、前記ドット情報に対応するコンテンツに関するコンテンツ情報が格納された記憶部と、前記カメラで撮像した画像内に読取った前記ドット情報に対応するコンテンツを重ねて表示する制御部とを備えた特許文献1に記載の画像処理装置が従来公知である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記文献によれば、実空間に映した前記表示部上に仮想的なコンテンツを重ねたもの表示することによってユーザに拡張現実を体験させることができるものであるが、前記カメラは、実空間の撮影とドット情報の読取りを兼用するため、高性能でコストが高くなり易く、例えば子供向けの玩具に用いることが難しいという課題があった。
【0005】
本発明は、簡易な拡張現実を体験可能な情報処理装置を簡易な構成で低コストに実現することのできる情報処理装置を提供することを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本願発明は第1に、実空間を撮像する撮像部と、前記撮像部により撮像した映像を表示する表示部と、ドット情報を含む表示媒体から前記ドット情報を光学的に読取る読取部と、前記ドット情報に対応するコンテンツ情報として前記表示部に表示する表示物の画像情報が格納された記憶部と、前記撮像カメラにより撮影された実空間を示す入力画像に、前記読取部により読取られた前記ドット情報に対応する表示物の画像情報を重ねた出力画像を生成し、前記出力画像を前記表示部に表示するように構成された制御部とを備え、前記撮像部を構成する撮像カメラと、前記読取部を構成する読取装置とを別途に設けて構成したことを特徴としている。
【0007】
第2に、操作スイッチと、前記読取カメラによって前記表示媒体から前記ドット情報が読取られたことを報知する報知手段とを備え、前記制御部は、前記報知手段によって前記ドット情報が読取とられた場合には、前記報知手段による報知を実行し、その後に、前記操作スイッチが操作されたことが検出された場合に、前記出力画像の前記表示部への表示を実行するように構成されたことを特徴としている。
【0008】
第3に、前記コンテンツ情報は、前記表示物のサイズに関するサイズ情報を含み、前記制御部は、前記表示部に表示される実空間内の所定位置に、取得した前記サイズ情報に応じた大きさの前記表示物を表示するように構成されたことを特徴としている。
【0009】
第4に、前記コンテンツ情報は、前記表示物の内容を解説する説明情報を含み、前記制御部は、前記表示部に表示された前記表示物の説明情報を表示できるように構成されたことを特徴としている。
【0010】
第5に、前記表示部をタッチ操作可能なタッチパネルとし、前記コンテンツ情報は、前記表示物である生物の動作に関する動作情報を含み、前記制御部は、前記表示部に表示された生物のタッチ操作が検出された場合に、前記動作情報に基づいて生物を動作させるように構成されたことを特徴としている。
【0011】
第6に、スピーカを設け、前記表示部をタッチ操作可能なタッチパネルとし、前記コンテンツ情報は、前記表示物である生物の鳴き声に関する音情報を含み、前記制御部は、前記表示部に表示された生物のタッチ操作が検出された場合に、前記音情報に基づいて鳴き声を出力するように構成されたことを特徴としている。
【0012】
第7に、前記コンテンツ情報は、ゲームコンテンツを実行するためのゲーム情報を含み、前記表示媒体には、実行するゲームコンテンツを選択するためのコンテンツ選択情報を含むドット情報が設けられ、前記制御部は、前記読取部により前記コンテンツ選択情報を含むドット情報が読取られた場合には、前記本体装置を用いて実行されるゲームコンテンツを切換えることができるように構成されたことを特徴としている。
【0013】
第8に、前記コンテンツ情報は、前記表示部内に表示されたキャラクタが所定の解説対象物とランダムエンカウントするとともに、エンカウントした解説対象物の解説が表示されるパトロールゲームを実行するためのゲーム情報を含み、前記制御部は、前記読取部によってパトロールゲームを開始するためのコンテンツ選択情報を含むドット情報が読み取られた場合には、前記パトロールゲームが実行されるように構成されたことを特徴としている。
【0014】
第9に、操作位置を検出することができるセンサ部を設け、前記制御部は、パトロールゲーム実行時に、前記表示部の位置が左右前後方向に操作されたことが検出された場合には、操作方向に応じて前記モニタ内に表示されるキャラクタの向きが切換えられるように構成されたことを特徴としている。
【発明の効果】
【0015】
本開示に係る技術によれば、実空間を撮像する撮像カメラと、表示媒体上のドット情報を読取る読取カメラとを別体にして前記本体装置に設けたことにより、拡張現実を体験可能な情報処理装置を簡易且つ低コストとなる構成で実現することができる。
【図面の簡単な説明】
【0016】
【
図1】情報処理装置の使用態様を説明するための説明図である。
【
図3】(A)及び(B)は、情報処理装置を示した背面図及び側面図である。
【
図4】(A)及び(B)は、情報処理媒体の一例であるコンテンツ本を示した図である。
【
図5】(A)は、ドット情報の読取操作をしている状態を示した図であり、(B)は、待機状態の情報処理装置を示した図である。
【
図6】(A)及び(B)は、モニタに表示される出力画像の例を示した図である。
【
図9】コンテンツ本の別実施例を示したモデル図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本発明の実施形態について説明する。
図1は、情報処理装置の使用態様を説明するための説明図である。図示されるように、本実施形態では、ドット情報を含む情報表示媒体(表示媒体)2と、撮像部により撮影された実空間を表示可能な表示部を有する情報処理装置1とによって、簡易的にARコンテンツを実行する(拡張現実を体験できる)情報処理システムが構築されている。
【0018】
前記情報処理装置1は、情報表示媒体2からドット情報を読取るとともに、読取ったドット情報に対応するコンテンツ情報を取得できるように構成され、取得されたコンテンツ情報(所定の表示物に関する画像情報)を、撮像部によって撮影された実空間である入力画像に重ねて表示した出力画像(ARコンテンツ)を生成し、表示部に生成された出力画像を出力することができるように構成されている。これにより、ユーザは情報処理装置1(と情報表示媒体2)を用いて、実空間内に所定の表示物を表現する簡易的な拡張現実(ARコンテンツ)を体験することができる。情報処理装置(画像処理装置、ゲーム装置)2の具体的な構成については後述する。
【0019】
前記情報表示媒体2は、本実施形態では、通常の図鑑や絵本にコンテンツ情報に関するドット情報(ドットコード)を印字したコンテンツ本を用いた。コンテンツ本の詳細な構成については後述する。
【0020】
次に、
図1乃至3に基づき、情報処理装置の具体的な構成について説明する。
図2は、情報処理装置を示した斜視図であり、
図3(A)及び(B)は、情報処理装置を示した背面図及び側面図である。
【0021】
前記情報処理装置1は、図示されるように、本体装置11と、モニタ(表示部、報知手段)12と、操作スイッチ(入力部)13と、撮像カメラ(撮像部)14と、読取カメラ(読取部、読取装置)15と、スピーカ(スピーカ部、報知手段)16と、モーションセンサ(センサ部)17と、記憶部18と、制御部10とを備え、前記本体装置11は、箱状の本体部11aと、該本体部11aから下方に向けて突設された棒状の把持部11bとを有し、前記本体部11aの表側(及び裏側)に環状の枠部11cが形成されることにより、本体装置11全体が虫眼鏡(ルーペ)状に形成されている。
【0022】
具体的に説明すると、前記情報処理装置1は、前記本体装置11の表側には、前記枠部11c内に配置されたモニタ12と、該モニタ12の下方側(本体部と把持部の間)に設けられた操作スイッチ13とが設けられ、前記本体装置11の裏側には、本体部11a中央に配置された撮像カメラ14と、該撮像カメラ14の近傍下側に形成された凹部に設けられた読取カメラ15と、本体部11aの上側に配置されたスピーカ16と、電源スイッチ19とが設けられている(
図1乃至3等参照)。また、前記本体部11a内には、モーションセンサ17と、記憶部18と、制御部10とが内装され、前記把持部11b内にはバッテリ等が内装されている。
【0023】
前記撮像カメラ(撮像部)14は、画像(映像)を撮像するカメラモジュールであって、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、実空間を映す入力画像を生成(撮影)することができる。
【0024】
前記読取カメラ(読取部)15は、CCD又はCMOSなどの撮像素子と、光源(LED光源)を用いて、コンテンツ本に印字されたドット情報を読取ることができるように構成されている。なお、該読取カメラ15は、コンテンツ本2に印字されたドット情報が読取可能な構成であれば上記構成には限られず、例えば、赤外線やレーザを用いたものであってもよい。
【0025】
ここで、前記撮像カメラ14と、前記読取カメラ15とは、前記本体装置11(本体部11a)の裏側で上下に並べて別途に設けられている。具体的には、前記読取カメラ15が前記撮像カメラ14の真下側近傍に配置されており、前記読取カメラ15は、前記モニタ12に表示される範囲(前記撮像カメラで撮影される範囲(実空間)内)のドット情報を読取ることができるように構成されている。また、該読取カメラ15は、本体部11a裏面側の凹部に配置されたことにより、本体部11aの後方に突出しないように設けられている(
図3参照)。
【0026】
このとき、前記撮像カメラ14は、撮影した実空間をモニタ12にリアルタイムで表示するものであって、画像認識機能を備えておらず、レンズもズーム機能のない単焦点レンズが設けられており画角も固定されている。また、前記読取カメラ15は、所定の画角内に収まるドット情報のみを読取可能な簡易な構成とすることができる。すなわち、前記撮像カメラ14と読取カメラ15は、より安価で且つ(レンズの)構成がシンプルで壊れにくいものを選択することができるため、装置全体のコストを低く抑えることができる。
【0027】
前記モニタ(表示部、入力部)12は、タッチパネル式の液晶パネルであって、前記撮像カメラ14で撮影された実空間である入力画像や、該入力画像にコンテンツ情報に基づくコンテンツ画像(表示物の画像情報)を重ねた出力画像を表示することができる他、液晶パネル上へのタッチ操作を検出することができるように構成されている。
【0028】
ここで、前記モニタ12は、虫眼鏡状の本体部11aの表側に形成した環状の枠部11c内に収まるように設けられる(
図1乃至3等参照)とともに、該モニタ12(本体部11a)の真裏側に設けた前記撮像カメラ14によって撮影された実空間を表示することができるように構成されている。すなわち、前記情報処理装置1(本体装置11)は、モニタ12をレンズに見立てた虫眼鏡(ルーペ)のように形成されており、モニタ12(レンズ)内に表示される実空間内に前記出力画像(ARコンテンツ)を表示することができるように構成されている。
【0029】
前記操作スイッチ(入力部)13は、前記把持部11bの上端側(環状の枠部11c下端側)に設けられた単一の押スイッチであって、ユーザが前記把持部11bを把持した状態で押しやすい位置に設けられている。
【0030】
前記モーションセンサ(センサ部)17は、本実施形態では、加速度センサとジャイロセンサとを含む6軸センサが用いられており、前記加速度センサによって、重力方向の検知、X軸・Y軸・Z軸の3軸方向の測定、水平方向の検出や、本体装置11の動き、振動、衝撃等を検出し、前記ジャイロセンサによって、本体装置11の角速度を検出することができるように構成されている。これにより、前記情報処理装置1は、前記撮像カメラ14による撮影方向を検出したり、コンテンツ実行時からの移動距離を測定したりすることができる他、前記撮像カメラ14による撮影時に手振れ補正機能を設けることもできる。
【0031】
前記制御部10は、ユーザが読取カメラ15を用いて所有するコンテンツ本2に印刷された絵柄、図形、文字等からなる表示物(オブジェクト)の少なくとも一部に設けられたドット情報を読込んだことが検出された場合には、撮像カメラ14で撮影される実空間を示す入力画像に、検出されたドット情報に対応するコンテンツ情報に基づくコンテンツ画像(表示物に関する画像情報)を重ねることにより拡張現実を体験可能にする出力画像(ARコンテンツ)を生成し、出力画像をモニタ12に出力するコンテンツ制御が実行可能に構成されている。コンテンツ制御の具体的な実行方法については後述する。
【0032】
前記記憶部18は、HDD又はSSD等の記録媒体であって、前記制御部10によるコンテンツ制御を実行するためのプログラム、コンテンツ情報、その他の撮像カメラ14で撮影された入力画像や、モーションセンサ17により検出されたセンサ情報等に関するデータが格納されている。コンテンツ情報の具体的例については後述する。
【0033】
ちなみに、前記コンテンツ情報は、本実施形態では前記記憶部に予め記憶されるものであるが、本体装置11に通信部を設けてインターネット等を介して接続可能としたコンテンツサーバ(図示しない)から入手(更新)可能な構成としても良いし、本体装置11に外部接続部(図示しない)を設けて外部記録媒体(CD,DVD、USBメモリ、HDD,SSD等)から入手(更新)可能な構成としても良い。
【0034】
次に、
図4に基づき、情報処理媒体の一例について具体的に説明する。
図4(A)及び(B)は、情報処理媒体の一例であるコンテンツ本を示した図である。
【0035】
前記コンテンツ本(情報表示媒体)2は、複数のシート体(紙)を備えた絵本(図鑑)であって、生物、キャラクタ、建物、アイコン、その他の表示物(オブジェクト)に関する絵や写真、線図、文字等のオブジェクト(絵柄2A~2D等)が印刷されており、各オブジェクトの少なくとも一部には、前記読取カメラ15によって光学的に読取り可能なドット情報(図示しない)が設けられている。
【0036】
具体的に説明すると、
図4(B)に示されるように、前記コンテンツ本2は、シート体に印刷された生物やキャラクタ、物、図形や文字等の表示物を示した絵柄2A~2Dの一部に、肉眼では視認し難いインク等によって印刷された不可視のドット情報、又は視認性の低いドット情報が印刷されている。これにより、コンテンツ本2は、ユーザから見ると、通常の図鑑や絵本等との違いが殆どないように構成されている。
【0037】
このドット情報には、少なくともコンテンツ本2を識別する情報と、識別されたコンテンツ本2の何頁目のどの表示物に関する絵柄が読取操作されたか識別することができる情報とが含まれている。
【0038】
また、ドット情報は、読取カメラ15によって読取可能に構成されていれば良く、肉眼で視認可能であるか否かも問わない。また、ドット情報は、シート体側への印刷以外の手段で設けたもの(エンボス加工等)であっても良い。
【0039】
次に、
図5及び
図6に基づき、前記情報処理装置の使用方法について説明する。
図5(A)は、ドット情報の読取操作をしている状態を示した図であり、
図5(B)は、待機状態の情報処理装置を示した図であり、
図6(A)及び(B)は、モニタに表示される出力画像の例を示した図である。
【0040】
前記情報処理装置1を用いたコンテンツ制御を実行する場合には、まず、ユーザはコンテンツ本2に印字された表示物(オブジェクト)に関する絵柄2A~2Dの中から任意に選択した絵柄(図示する例では2B)を、撮像カメラ14によってモニタ12に映る(収まる)ように撮影する読取操作を行う(
図5(A)参照)。これにより、読取カメラ15によってモニタ12に映した絵柄2B内に印字されたドット情報を自動的に読取ることができる。
【0041】
これにより、前記制御部10は、読取カメラ15によってコンテンツ本2に印字されたドット情報が読み取られたことが検出された場合には、ドット情報の読取操作が完了したことをユーザに報知する報知処理が実行され、その後、操作スイッチ13の押操作(開始操作)が検出され次第、ARコンテンツの実行が開始される状態(以下、待機状態)に切換えるように構成されている(
図5(B)参照)。
【0042】
具体的に説明すると、前記制御部10は、ドット情報の読取操作が完了した場合には、モニタ(報知手段)12上にドット情報が読み取られたことを示すマーク(図示する例では星マーク)31を表示したり、待機状態であることを示す文字(図示する例では「ボタンを押してね」)32を表示したりすることにより、ユーザに報知を行うように構成されている(
図5(B)参照)。また、前記制御部10は、ドット情報の読取操作が完了したことや、待機状態に切換えられたことを、スピーカ(報知手段)16を介したガイド音声を用いてユーザに報知しても良い。
【0043】
次に、前記制御部10は、待機状態中に操作スイッチ13の押操作(決定操作、実行操作)が検出された場合には、撮像カメラ14で撮影される入力画像に、読取ったドット情報に対応するコンテンツ情報に基づくコンテンツ画像(表示物の画像情報)を重ねた出力画像(ARコンテンツ)を生成し、生成された出力画像をモニタ12に表示するように構成されている(
図6(A)及び(B)参照)。
【0044】
上述の情報処理装置1(及びコンテンツ本2)によれば、ユーザは、撮像カメラ14によってコンテンツ本2に印刷された絵柄(オブジェクト)2A~2Dの中からARコンテンツを実行したい絵柄を撮影する(ドット情報を読取る)読取操作と、待機状態中の操作スイッチ13の押操作という、簡易な操作によって、拡張現実を体験できるARコンテンツを実行することができる。
【0045】
なお、前記制御部10は、コンテンツ本2からドット情報の読取操作が完了したことをユーザに報知した場合には、読取ったドット情報を含む絵柄2Bが撮像カメラ14の画角(撮影範囲)からフレームアウトしても、予め設定された所定時間内は待機状態が維持されるように構成されている。
【0046】
該構成によれば、ユーザは、対象の絵柄がモニタ12に表示される状態を維持したまま操作スイッチ13による決定操作を行う場合と比較して、コンテンツ本2に印刷された絵柄の中からARコンテンツを実行したい絵柄を撮影する読取操作と、待機状態での操作スイッチ13の決定操作とを、同時に行う必要がなくなり、両手順を一つずつ順番に落ち着いて実行することができるため、ユーザが機械操作に不慣れな小さい子供であっても慌てず簡単にARコンテンツの実行を操作することができる。
【0047】
ちなみに、本実施形態で示される例では、前記コンテンツ本2には、生物(表示物)の絵柄や写真が印刷された図鑑(絵本)が用いられている。これにより、前記記憶部18には、コンテンツ情報として、前記コンテンツ本2に印刷された生物(表示物の絵柄)に対応するコンテンツ画像(画像情報)と、対応する生物の鳴き声等の音声情報と、対応する生物を文字や音声で解説した説明情報等とを含む情報が格納されている。
【0048】
すなわち、上述の情報処理装置1(の制御部10)では、コンテンツ本2に印刷された生物(表示物)の絵柄(図示する例では、サメやトラ)を撮影することにより、絵柄内のドット情報を読取った場合には、撮像カメラ14により撮影した実空間を示す入力画像内に、読取ったドット情報に対応する生物のコンテンツ画像を重ねた出力画像(ARコンテンツ)を生成し、該出力画像をモニタ12に表示したり、スピーカ16を介して対応する生物に関する鳴き声を出力したりすることができる(
図6(A)及び(B)参照)。
【0049】
以上によれば、前記情報処理装置1は、虫眼鏡状の本体部11aに設けたモニタ12を介して、ユーザに実空間内に仮想的な生物を表示するARコンテンツを提供することができる。
【0050】
また、前記記憶部18に格納されたコンテンツ情報は、絵柄2A~2Dに対応する生物のコンテンツ画像(画像情報)の他、対応する生物のサイズ(大きさ)に関する情報を有しており、前記制御部10は、モニタ12上において、実空間上に重ねて表示される生物の画像情報が、実際に実空間内にいた場合に見える大きさと同程度のサイズ感となるように表示することができるように構成されている。また、モニタ12に表示される生物(の画像情報)は、モニタ12のピンチ操作によってサイズをある程度拡大、縮小できるようにしても良い。
【0051】
また、前記制御部10は、前記モーションセンサ17によって情報処理装置1(本体装置11)の操作位置(向き)を検出することができるため、虫眼鏡状の情報処理装置1を水平方向(若しくは水平上向き・水平下向き)の所定の向きに構えたことが検出された場合に、モニタ12上の実空間内に対応する生物(コンテンツ画像)が表示されるように構成されている。該構成によれば、情報処理装置1のモニタ12を介して実空間を見た際に、モニタ12に表示される生物(ARコンテンツ)の臨場感がより向上する。
【0052】
また、前記制御部10は、モニタ12に生物を含む出力画像が表示された状態で、ユーザによるタッチパネル式のモニタ12へのタッチ操作が検出された場合には、記憶部18に格納されたコンテンツ情報に基づいて、出力画像内の生物を動かす動画や差分の画像を出力したり、スピーカ16から表示された生物の鳴き声を出力したり、表示された生物に関する説明文を出力したりすることができるように構成されている。
【0053】
該構成によれば、ユーザは、情報処理装置1(モニタ12)を介して実空間上に表示された生物(コンテンツ画像)を触る(タッチ操作する)ことにより、生物を動かすことができるため、拡張現実の臨場感がより向上する。
【0054】
ちなみに、前記情報処理装置1は、コンテンツ本2からドット情報を読取った後、撮像カメラ14で撮影した入力画像を使用せずに、読取ったドット情報に対応するコンテンツ情報から取得したコンテンツ画像のみを出力画像としてモニタ12に表示する構成としても良い。
【0055】
次に、
図7及び
図8に基づき、前記情報処理装置の具体的な構成について説明する。
図7は、情報処理装置を示したブロック図である。
【0056】
前記制御部10の入力側には、前記撮像カメラ(撮像部)14と、前記読取カメラ(読取部)15と、モーションセンサ(センサ部)17と、操作スイッチ(入力部)13と、タッチ操作式のモニタ(入力部)12とが接続される一方で、前記制御部10の出力側には、前記モニタ(表示部)12と、スピーカ(スピーカ部)16とが接続されている。
【0057】
前記制御部10は、読取カメラ15によって読取られたコンテンツ本2に印刷されたドット情報を解析し、ドット情報に対応するコンテンツ情報を記憶部18から取得する処理を実行するコンテンツ情報取得部10aと、撮像カメラ14によって撮影された入力画像に取得されたコンテンツ情報に基づくコンテンツ画像を重ねた出力画像(ARコンテンツ)を生成する処理を実行するコンテンツ生成部10bと、生成された出力画像をモニタ12に表示する処理を実行するコンテンツ出力部10cとを備えている。
【0058】
前記記憶部18は、コンテンツ本に印字されたドット情報に基づくコンテンツを実行するためのコンテンツ情報18aと、撮像カメラ14で撮影された実空間を示す入力画像18bと、入力画像にコンテンツ情報に基づくコンテンツ画像を重ねた出力画像18cと、前記モーションセンサ17によって検出されたセンサ情報18d等のデータが格納されている。ここで、前記コンテンツ情報18aは、コンテンツ本2に印刷された生物(表示物)2A~2Dに対応する画像情報と、生物の鳴き声情報と、生物の解説をする説明情報と、生物のサイズ情報と含む。なお、生物(表示物)の画像情報は、生物を立体表示する3Dデータであっても良いし、2Dデータであっても良い。
【0059】
図8は、コンテンツ制御の処理フロー図である。コンテンツ制御の処理フローが開始されると、ステップS1に進む。ステップS1では、前記読取カメラ15によってコンテンツ本2に印刷されたドット情報が読取られたか否かが確認され、ドット情報の読取操作が検出された場合には、ステップS2に進む。なお、ステップS1において、ドット情報の読取操作が検出されなかった場合には、その後、リターンする。
【0060】
ステップS2では、読取カメラ15で読取られたドット情報に対応するコンテンツ情報18aを記憶部18から取得するコンテンツ情報取得処理が実行され、その後、ステップS3に進む。
【0061】
ステップS3では、モニタ12(及びスピーカ16)を用いて、コンテンツ本2からのドット情報の読取操作が完了したことと、操作スイッチ13の操作が検出され次第ARコンテンツの実行が開始される待機状態に切換えられたことを、ユーザに報知する報知処理が実行され、その後、ステップS4に進む。
【0062】
ステップS4では、待機状態に切換えられてから所定時間内に操作スイッチ13の押操作が検出されたか否かが確認され、操作スイッチ13の押操作が検出された場合には、ステップS5に進む。なお、ステップS4において、操作スイッチ13の押操作が検出されなかった場合には、その後、リターンする。
【0063】
ステップS5では、撮像カメラ14により取得された実空間が撮影された入力画像に、取得されたコンテンツ情報18aに基づくコンテンツ画像を重畳することにより、コンテンツ画像を実空間内にあるかのように見せる出力画像(ARコンテンツ)を生成し、生成した出力画像をモニタ12に表示するコンテンツ出力処理を実行し、その後、リターンする。
【0064】
次に、
図9に基づき、コンテンツ制御の別実施例について説明する。
図9は、コンテンツ本の別実施例を示したモデル図である。
【0065】
前記コンテンツ本2は、生成する出力画像(ARコンテンツ)で表示する表示物に関する絵柄2A~2D(及びドット情報)に代えて、情報処理装置1で実行可能なゲームコンテンツを選択する選択オブジェクト21A,21B、21C、21Dを印刷した構成としても良い。
【0066】
ここで、各選択オブジェクト21A,21B、21C、21Dの少なくとも一部には、前記絵柄2A~2Dと同様に読取カメラにより読取可能なドット情報が印字されており、各ドット情報には、情報処理装置1を用いて対応するゲームコンテンツの開始を指示するための情報が含まれている。
【0067】
これに応じて、前記記憶部18に格納されたコンテンツ情報は、各選択オブジェクト21A,21B、21C、21Dに対応するゲームコンテンツを実行するためのゲーム情報を含み、前記情報処理装置1を用いて、読取られた(選択された)ゲームコンテンツを実行することができるように構成されている。
【0068】
ここで、各選択オブジェクト21A,21B、21C、21Dに対応するゲームコンテンツについて具体的に説明すると、前記情報処理装置1は、選択オブジェクトの読取操作を行うことにより、パトロールゲーム21Aと、虫取りゲーム21Bと、宝探しゲーム21Cと、記念撮影モード21Dとが実行可能となるように構成されている。
【0069】
上述の構成によれば、本体装置11には、操作スイッチ13が一つしかないシンプルな構成であっても、スイッチ操作やモニタへのタッチ操作を何度も繰り返したりすることなく、搭載された複数のゲームコンテンツの切換え操作を簡易且つ直感的な操作(選択オブジェクトの読取操作)によってスムーズに実行することができる。これにより、ユーザが子供であっても簡単に操作できる。
【0070】
前記パトロールゲーム21Aは、モニタ12に撮像カメラ14で撮影された実空間上にパトロールする所定の(飛行する)キャラクタを表示し、解説を行う所定の解説物(表示物)とランダムエンカウントするまでパトロール(待機)する探索工程と、モニタ12に表示されたキャラクタがエンカウントした表示物の解説を行う解説工程とを有している。なお、前記探索工程でエンカウントし、前記解説工程で説明される解説物は、生物の他、飛行機等の物、キャラクタ等を含む。
【0071】
前記探索工程では、水平方向に向けた本体装置を左右に動かすことでモニタ12内に表示されるキャラクタが左右方向に移動したり、キャラクタの向きが変わったりするように構成されている。
【0072】
具体的に説明すると、前記制御部10は、本体装置11を右側に移動させたことが検出された場合には、モニタ12上のキャラクタを右向きに切換えるとともに、キャラクタをモニタ12内の右側に移動させ、スピーカ16を介して効果音を出力する。同様に、本体装置11を左側に移動させたことが検出された場合には、モニタ12上のキャラクタを左向きに切換えるとともに、キャラクタをモニタ12内の左側に移動させ、スピーカ16を介して効果音を出力する。該構成によれば、モニタ12内において、実空間内で飛ぶキャラクタをパトロールさせることができる。
【0073】
このとき、前記制御部10は、モーションセンサ17により所定時間本体装置に動きが検出されなかった場合には、モニタ12に表示するアイコンや又はスピーカ16を介したガイド音声(報知手段)を用いて、本体装置を動かすことを指示するように構成されている。
【0074】
前記虫取りゲーム21Bは、虫眼鏡状に形成された本体装置を虫取り網に見立てて、本体装置を動かすことにより虫を探す探索工程と、予め設定した所定のタイミング(若しくはランダムなタイミング)でモニタ12に虫のシルエットを表示する報知工程と、モニタにシルエットが表示された状態で本体装置を虫取り網のように振る捕獲工程と、モニタ12に映したシルエットを実物(又はイラスト)に切換えて虫取りを完了する終了工程とを含んでいる。
【0075】
前記宝探しゲーム21Cは、本体装置を下(地面)に向けて動かすことにより宝を探す探索工程と、予め設定した所定のタイミング(若しくはランダムなタイミング)でモニタ12に宝物発見のエフェクトを表示する報知工程と、モニタにエフェクトが表示された状態で本体装置をスコップで穴を掘るように動かす工程と、モニタ12に掘り出された宝物が表示される終了工程とを含んでいる。
【0076】
前記記念撮影モード21Dは、モニタ12に一緒に写真を撮る生物(動物)を選択する工程と、モニタ12に撮像カメラ14で撮像される実空間内に一緒に写真をとる生物が表示される位置を示した枠線を表示する準備工程と、操作スイッチによる決定操作をすることによって、枠内に選択した生物を表示した状態の写真を撮る撮影工程とを有し、実空間内で動物と並んでいる写真を撮ることができるように構成されている。
【符号の説明】
【0077】
10 制御部
12 モニタ(表示部、報知手段)
13 操作スイッチ
14 読取カメラ(読取部、読取装置)
15 撮像カメラ(撮像部)
16 スピーカ(スピーカ部、報知手段)
17 モーションセンサ(センサ部)
18 記憶部
18a コンテンツ情報