特許 5735861 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5735861

(24)【登録日】2015年4月24日

(45)【発行日】2015年6月17日

(54)【発明の名称】画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20150528BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】23

【全頁数】29

(21)【出願番号】特願2011-123218(P2011-123218)

(22)【出願日】2011年6月1日

(65)【公開番号】特開2012-252440(P2012-252440A)

(43)【公開日】2012年12月20日

【審査請求日】2014年4月25日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】110001276

【氏名又は名称】特許業務法人 小笠原特許事務所

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】桜井 政博

(72)【発明者】

【氏名】山岸 信将

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００５−１４３６５７（ＪＰ，Ａ）

【文献】 特開２００６−０７２６６８（ＪＰ，Ａ）

【文献】 特開２０１１−０６２３９０（ＪＰ，Ａ）

【文献】 特開平０８−００６９６９（ＪＰ，Ａ）

【文献】 特開２００７−３０４７３３（ＪＰ，Ａ）

【文献】 特開２００７−２８６７１５（ＪＰ，Ａ）

【文献】 特開２００５−２９３１４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １３／２０

Ａ６３Ｆ １３／００ − １３／９８

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

画像を表示する画像表示装置のコンピュータに実行させる画像表示プログラムであって、
撮像手段により撮像された撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中から単体である所定の認識対象を検出する認識対象検出手段と、
前記撮像画像のうち前記認識対象検出手段により検出された単体の認識対象に対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する識別情報取得手段と、
前記取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する仮想オブジェクト決定手段と、
前記認識対象検出手段によって検出された認識対象と前記撮像手段との相対的な位置関係を算出する位置関係算出手段と、
前記位置関係算出手段により算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する仮想カメラ設定手段と、
前記仮想オブジェクト決定手段で決定された仮想オブジェクトを前記仮想カメラで撮影することにより得られる画像を所定の表示部に表示する表示手段として前記コンピュータを機能させる、画像表示プログラム。

【請求項2】

前記仮想オブジェクト決定手段は、
前記第１の識別情報および第２の識別情報のいずれか一方の情報を用いて他方の情報を検証する検証手段を含み、
前記検証手段による検証の結果、妥当な情報であると判定されたときに、検証の対象となった前記他方の情報に基づいて前記仮想オブジェクトを決定する、請求項１に記載の画像表示プログラム。

【請求項3】

前記識別情報取得手段は、前記認識対象内の第１の領域に描かれている、あるいは印刷されている絵を識別することで前記第１の識別情報を取得し、当該第１の領域とは異なる領域である第２の領域に描かれている、あるいは印刷されている図形、記号、パターン画、および、前記第１の領域の絵よりも単調なデザインの絵のうちの少なくとも一つを識別することで前記第２の識別情報を取得する、請求項２に記載の画像表示プログラム。

【請求項4】

前記検証手段は、前記第１の識別情報を用いて前記第２の識別情報を検証する、請求項３に記載の画像表示プログラム。

【請求項5】

前記識別情報取得手段は、前記第２の領域に描かれている、あるいは印刷されているコード化された図形、記号、パターン画および絵のうちの少なくとも一つを識別することで前記第２の識別情報を取得する、請求項３または請求項４に記載の画像表示プログラム。

【請求項6】

前記識別情報取得手段は、前記第１の識別情報として複数の候補情報を取得し、
前記検証手段は、前記第２の識別情報を用いて前記複数の候補情報を検証し、当該検証の結果に基づいて当該候補情報のうちの１つを選択し、
前記仮想オブジェクト決定手段は、前記検証手段で選択された候補情報に基づいて前記仮想オブジェクトを決定する、請求項３に記載の画像表示プログラム。

【請求項7】

前記検証手段は、前記複数の候補情報のそれぞれで示される情報内容と第２の識別情報で示される情報内容とが一致するか否かを判断することで当該複数の候補情報の検証を行い、当該第２の識別情報で示される情報内容と一致した候補情報を選択する、請求項６に記載の画像表示プログラム。

【請求項8】

前記検証手段は、前記複数の候補情報に対して前記第２の識別情報を用いた絞り込みを行うことで当該候補情報の検証を行う、請求項６に記載の画像表示プログラム。

【請求項9】

前記識別情報取得手段は、
前記記憶媒体に予め記憶されている情報のうち、前記第１の領域に描かれている、あるいは印刷されている絵から得られる情報との類似度が所定の閾値を超える情報を前記候補情報として取得し、
前記記憶媒体に予め記憶されている情報のうち、前記第２の領域に描かれている、あるいは印刷されている図形、記号、パターン画および前記第１の領域の絵よりも単調なデザインの絵から得られる情報との類似度が最も高い情報を前記第２の識別情報として取得する、請求項６に記載の画像表示プログラム。

【請求項10】

前記識別情報取得手段は、前記第１の識別情報として複数の候補情報を取得し、
前記仮想オブジェクト決定手段は、
前記複数の候補情報に対して前記第２の識別情報を用いた絞り込みを行う絞り込み手段を含み、
絞り込みが行われた候補情報と前記第２の識別情報に基づいて、前記仮想オブジェクトを決定する、請求項１に記載の画像表示プログラム。

【請求項11】

前記仮想オブジェクト決定手段は、
前記絞り込みが行われた候補情報に対して前記第２の識別情報を用いて検証を行う検証手段を含み、
前記検証手段による検証の結果、妥当な情報であると判定されたときに、前記絞り込みが行われた候補情報に基づいて前記仮想オブジェクトを決定する、請求項１０に記載の画像表示プログラム。

【請求項12】

前記識別情報取得手段は、前記識別する処理を行うことによって第３の識別情報を更に取得し、
前記仮想オブジェクト決定手段は、前記取得された第１の識別情報、第２の識別情報、および第３の識別情報に基づいて前記仮想オブジェクトを決定する、請求項１に記載の画像表示プログラム。

【請求項13】

前記仮想オブジェクト決定手段は、前記第２の識別情報および第３の識別情報の組み合わせを用いて前記第１の識別情報を検証する検証手段を含む、請求項１２に記載の画像表示プログラム。

【請求項14】

前記識別情報取得手段は、前記認識対象内の第１の領域に描かれている、あるいは印刷されている絵を識別することで前記第１の識別情報を取得し、当該第１の領域とは異なる領域である第２の領域に描かれている、あるいは印刷されている図形、記号、パターン画、および、前記第１の領域の絵よりも単調なデザインの絵のうちの少なくとも一つを識別することで前記第２の識別情報を取得し、当該第１の領域および第２の領域とは異なる領域である第３の領域に描かれている、あるいは印刷されている図形、記号、パターン画、および、前記第１の領域の絵よりも単調なデザインの絵のうちの少なくとも一つを識別することで前記第３の識別情報を取得する、請求項１３に記載の画像表示プログラム。

【請求項15】

前記認識対象内の第２の領域および第３の領域の面積は、前記第１の領域の面積よりも小さい面積である、請求項１４に記載の画像表示プログラム。

【請求項16】

前記識別情報取得手段は、前記第２の領域に対する識別処理と第３の領域に対する識別処理とでは異なる識別手法を用いた識別処理を行う、請求項１４または請求項１５に記載の画像表示プログラム。

【請求項17】

前記識別情報取得手段は、前記第１の識別情報として複数の候補情報を取得し、
前記仮想オブジェクト決定手段は、
前記第２の識別情報および前記第３の識別情報を用いて前記複数の候補情報を検証する検証手段と、
前記検証手段による検証の結果に基づいて当該候補情報のうちの１つを選択する選択手段とを含み、
前記選択手段により選択された候補情報に基づいて前記仮想オブジェクトを決定する、請求項１４ないし請求項１６のいずれかに記載の画像表示プログラム。

【請求項18】

前記検証手段は、前記複数の候補情報に対して前記第２の識別情報または第３の識別情報を用いた絞り込みを行い、当該前記絞り込まれた候補情報に対して、前記第２の識別情報および第３の識別情報の組み合わせを用いて検証を行う、請求項１７に記載の画像表示プログラム。

【請求項19】

画像を表示する画像表示装置であって、
撮像手段により撮像された撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中から単体である所定の認識対象を検出する認識対象検出手段と、
前記撮像画像のうち前記認識対象検出手段により検出された単体の認識対象に対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する識別情報取得手段と、
前記取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する仮想オブジェクト決定手段と、
前記認識対象検出手段によって検出された認識対象と前記撮像手段との相対的な位置関係を算出する位置関係算出手段と、
前記位置関係算出手段により算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する仮想カメラ設定手段と、
前記仮想オブジェクト決定手段で決定された仮想オブジェクトを前記仮想カメラで撮影することにより得られる画像を所定の表示部に表示する表示手段とを備えた、画像表示装置。

【請求項20】

画像を表示する画像表示方法であって、
撮像手段により撮像された撮像画像を取得する撮像画像取得ステップと、
前記撮像画像の中から単体である所定の認識対象を検出する認識対象検出ステップと、
前記撮像画像のうち前記認識対象検出ステップにおいて検出された単体の認識対象に対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する識別情報取得ステップと、
前記取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する仮想オブジェクト決定ステップと、
前記認識対象検出ステップにおいて検出された認識対象と前記撮像手段との相対的な位置関係を算出する位置関係算出ステップと、
前記位置関係算出ステップにおいて算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する仮想カメラ設定ステップと、
前記仮想オブジェクト決定ステップにおいて決定された仮想オブジェクトを前記仮想カメラで撮影することにより得られる画像を所定の表示部に表示する表示ステップとを備えた、画像表示方法。

【請求項21】

マーカと情報処理装置で構成される画像表示システムであって、
前記情報処理装置は、
撮像手段と、
前記撮像手段により撮像された撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中から単体であるマーカを検出するマーカ検出手段と、
前記撮像画像のうち前記マーカ検出手段により検出された単体のマーカに対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する識別情報取得手段と、
前記取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する仮想オブジェクト決定手段と、
前記マーカ検出手段によって検出されたマーカと前記撮像手段との相対的な位置関係を算出する位置関係算出手段と、
前記位置関係算出手段により算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する仮想カメラ設定手段と、
前記仮想オブジェクト決定手段で決定された仮想オブジェクトを前記仮想カメラで撮影することにより得られる画像を所定の表示部に表示する表示手段とを備えた、画像表示システム。

【請求項22】

撮像手段によって撮像された撮像画像に対して所定の認識処理を行うことによって当該撮像手段とマーカとの位置関係を算出し、当該位置関係に基づいて仮想オブジェクトの画像を生成して表示する画像表示システムにおいて用いられるマーカであって、
前記マーカは、
単体のマーカであり、
前記撮像手段で撮影され前記所定の認識処理が行われることで第１の情報が得られる絵が描かれた第１領域と、
前記撮像手段で撮影され前記所定の認識処理が行われることで第２の情報が得られるパターン画、図形、記号、または第１の領域の絵よりも単調なデザインの絵のいずれかが描かれた少なくとも１つ以上の第２領域とを含み、
前記第１の情報および第２の情報は、前記表示する仮想オブジェクトを決定するために用いられる、マーカ。

【請求項23】

前記第２領域の面積は前記第１領域の面積よりも小さい面積である、請求項２２に記載のマーカ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想オブジェクトを表示するための画像表示プログラムに関し、より特定的には、マーカ型ＡＲにおけるマーカの識別と仮想オブジェクトの表示処理に関する。

【背景技術】

【0002】

従来から、いわゆるＡＲ（Augmented Reality:拡張現実）に関する技術として、マーカを用いたＡＲ（マーカ型ＡＲ）の技術が知られている（例えば、非特許文献１）。このマーカについては、例えば、一般的なトランプ程度の大きさの「カード」として提供されることもある。そして、このようなカードには、例えば、比較的単調な図柄が描かれており、当該カードを例えば所定のゲーム装置で撮像すると、ゲーム装置の画面には、当該カードに描かれている図柄に対応する３Ｄモデルの仮想オブジェクトが現実画像と合成された合成画像が表示される。このような処理を行う場合、カードに描かれている図柄を、いわゆるパターンマッチングの手法を用いて識別し、その図柄に対応する仮想オブジェクトを決定することが考えられる。このパターンマッチングの処理においては、その一致度を示す閾値が設定され、当該閾値を越えているか否かを判定することで、そのカードが認識できるか否かが判定されることが考えられる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】加藤博一, Mark Billinghurst, 浅野浩一, 橘啓八郎,「マーカー追跡に基づく拡張現実感システムと. そのキャリブレーション」, 日本バーチャルリアリティ学会論文誌, Vol. 4 (1999), No. 4

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した図柄をパターンマッチングによって識別する場合、例えば、上記閾値を高い値に設定すると、あるカードを撮像した場合に、本来であれば正常に認識されるべきものが、そのとき周囲光（環境光）の状況等によって、そのカードが認識されない場合があり得る。その一方で、当該閾値を低くすると、本来認識されるべきカードについての認識精度は高くなるが、その反面、本来は認識されるべきではないカードに対してまで正常なものとして認識されてしまうという問題があった。つまり、全く別のカードを撮像した場合であっても、本来認識されるべきカードと同等の扱いがなされてしまうという問題がある点に出願人は気付いた。

【0005】

それ故に、本発明の目的は、マーカ型ＡＲにおけるマーカの識別精度をより高めることのできる、画像表示プログラム、画像表示装置、画像表示方法、画像表示システムを提供することである。

【0006】

また、本発明の別の目的は、識別精度をより高めることのできるマーカを提供することである。

【課題を解決するための手段】

【0007】

本発明にかかる画像表示プログラムは、画像を表示する画像表示装置のコンピュータに実行させる画像表示プログラムであって、コンピュータを、撮像画像取得手段と、認識対象検出手段と、識別情報取得手段と、仮想オブジェクト決定手段と、位置関係算出手段と、仮想カメラ設定手段と、表示手段として機能させる。撮像画像取得手段は、撮像手段により撮像された撮像画像を取得する。認識対象検出手段は、撮像画像の中から所定の認識対象を検出する。識別情報取得手段は、撮像画像のうち認識対象検出手段により検出された認識対象に対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する。仮想オブジェクト決定手段は、取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する。位置関係算出手段は、認識対象検出手段によって検出された認識対象と撮像手段との相対的な位置関係を算出する。仮想カメラ設定手段は、位置関係算出手段により算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する。表示手段は、仮想オブジェクト決定手段で決定された仮想オブジェクトを仮想カメラで撮影することにより得られる画像を所定の表示部に表示する。

【0008】

上記構成により、検出した認識対象から少なくとも第１の識別情報および第２の識別情報を取得して、取得した少なくとも２つの情報により複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定するため、例えばマーカ等の認識対象の識別精度を高め、認識対象に対応した適切な仮想オブジェクトを表示することができる。

【0009】

他の構成例として、仮想オブジェクト決定手段は、第１の識別情報および第２の識別情報のいずれか一方の情報を用いて他方の情報を検証する検証手段を含み、検証手段による検証の結果、妥当な情報であると判定されたときに、検証の対象となった他方の情報に基づいて仮想オブジェクトを決定するようにしてもよい。

【0010】

上記構成例によれば、認識対象から得られた少なくとも２つの情報のうち、一方の情報で他方の情報を検証するため、より精度の高い識別が可能となる。

【0011】

更に他の構成例として、識別情報取得手段は、認識対象内の第１の領域に描かれている、あるいは印刷されている絵を識別することで第１の識別情報を取得し、当該第１の領域とは異なる領域である第２の領域に描かれている、あるいは印刷されている図形、記号、パターン画、および、第１の領域の絵よりも単調なデザインの絵のうちの少なくとも一つを識別することで第２の識別情報を取得してもよい。

【0012】

上記構成例によれば、認識対象内の第２の領域については、識別処理において誤認識の可能性が低くなることを意識したパターン画等を描くことができると共に、第１の領域については、誤認識については特に意識せず、比較的複雑なデザインの絵を自由に描くことができる。また、上記第１の領域から第１の識別情報を取得し、上記第２の領域から第２の識別情報を取得して、第２の識別情報を用いて第１の識別情報を検証すれば、第１の識別情報のみで認識対象を認識する場合と比較して、認識対象の識別精度を高めることが可能となる。

【0013】

更に他の構成例として、検証手段は、第１の識別情報を用いて第２の識別情報を検証してもよい。

【0014】

上記構成例によれば、比較的複雑なデザインの絵が描かれる第１の領域を用いて第２の領域の識別結果の妥当性を検証できるため、第２の領域に対する改変や改竄を抑止することができ、更に、認識対象の識別精度も高めることが可能となる。

【0015】

更に他の構成例として、識別情報取得手段は、第２の領域に描かれている、あるいは印刷されているコード化された図形、記号、パターン画および絵のうちの少なくとも一つを識別することで第２の識別情報を取得するよにしてもよい。

【0016】

上記構成例によれば、第２の領域のコードを用いて第１の領域の識別結果を検証することができ、第１の領域に対する識別精度をより高めることができる。

【0017】

更に他の構成例として、識別情報取得手段は、第１の識別情報として複数の候補情報を取得し、検証手段は、第２の識別情報を用いて複数の候補情報を検証し、当該検証の結果に基づいて当該候補情報のうちの１つを選択し、仮想オブジェクト決定手段は、検証手段で選択された候補情報に基づいて仮想オブジェクトを決定するようにしてもよい。

【0018】

上記構成例によれば、複雑なデザインの絵（第１の領域）を識別した結果、その候補を複数挙げて、誤認識の可能性が低い第２の領域の識別結果でこれら候補を検証することができる。これにより、認識対象の識別精度を低下させることなく、認識対象そのもの（第１の領域）に対してのデサインの自由度を高めて、認識対象自体のデザイン性も高めることができる。

【0019】

更に他の構成例として、検証手段は、複数の候補情報のそれぞれで示される情報内容と第２の識別情報で示される情報内容とが一致するか否かを判断することで当該複数の候補情報の検証を行い、当該第２の識別情報で示される情報内容と一致した候補情報を選択してもよい。

【0020】

上記構成例によれば、比較的簡便な処理で識別結果の検証を行うことができる。

【0021】

更に他の構成例として、検証手段は、複数の候補情報に対して第２の識別情報を用いた絞り込みを行うことで当該候補情報の検証を行うようにしてもよい。

【0022】

上記構成例によれば、候補の絞り込みを行うことができるので、識別の精度をより高めることが可能となる。

【0023】

更に他の構成例として、識別情報取得手段は、記憶媒体に予め記憶されている情報のうち、第１の領域に描かれている、あるいは印刷されている絵から得られる情報との類似度が所定の閾値を超える情報を候補情報として取得し、記憶媒体に予め記憶されている情報のうち、第２の領域に描かれている、あるいは印刷されている図形、記号、パターン画および第１の領域の絵よりも単調なデザインの絵から得られる情報との類似度が最も高い情報を第２の識別情報として取得してもよい。

【0024】

上記構成例によれば、第１の領域に描かれている内容について、本来正常に識別されるべきマーカが識別されない等の取りこぼしの可能性を軽減することができる。また、誤認識の可能性が低い第２の識別情報を検証に用いることで、本来識別されるべきではないマーカが誤って識別されてしまう等の誤認識の可能性を低減することができる。

【0025】

更に他の構成例として、識別情報取得手段は、第１の識別情報として複数の候補情報を取得し、仮想オブジェクト決定手段は、複数の候補情報に対して第２の識別情報を用いた絞り込みを行う絞り込み手段を含み、絞り込みが行われた候補情報と第２の識別情報に基づいて、仮想オブジェクトを決定してもよい。

【0026】

上記構成例によれば、第１の領域に描かれている内容について、その識別結果としての複数の候補を挙げ、第２の領域から得られた情報でこの候補のフィルタリングを行うため、第１の領域についての識別精度を高めることが可能となる。

【0027】

更に他の構成例として、仮想オブジェクト決定手段は、絞り込みが行われた候補情報に対して第２の識別情報を用いて検証を行う検証手段を含み、検証手段による検証の結果、妥当な情報であると判定されたときに、絞り込みが行われた候補情報に基づいて仮想オブジェクトを決定するようにしてもよい。

【0028】

上記構成例によれば、第１の領域に描かれている内容から得られた複数の候補をフィルタリングした後、更に検証を行う為、より識別精度を高めることができる。

【0029】

更に他の構成例として、識別情報取得手段は、識別する処理を行うことによって第３の識別情報を更に取得し、仮想オブジェクト決定手段は、取得された第１の識別情報、第２の識別情報、および第３の識別情報に基づいて仮想オブジェクトを決定するようにしてもよい。

【0030】

上記構成例によれば、少なくとも３つ以上の情報を用いるため、識別精度をより高めることができる。

【0031】

更に他の構成例として、仮想オブジェクト決定手段は、第２の識別情報および第３の識別情報の組み合わせを用いて第１の識別情報を検証する検証手段を含んでいてもよい。

【0032】

上記構成例によれば、第１の識別情報の妥当性を第２の識別情報と第３の識別情報という２つの情報を組みあわせて検証できるため、マーカの識別精度を高めることが可能となる。

【0033】

更に他の構成例として、識別情報取得手段は、認識対象内の第１の領域に描かれている、あるいは印刷されている絵を識別することで第１の識別情報を取得し、当該第１の領域とは異なる領域である第２の領域に描かれている、あるいは印刷されている図形、記号、パターン画、および、第１の領域の絵よりも単調なデザインの絵のうち少なくとも一つを識別することで第２の識別情報を取得し、当該第１の領域および第２の領域とは異なる領域である第３の領域に描かれている、あるいは印刷されている図形、記号、パターン画、および、第１の領域の絵よりも単調なデザインの絵のうち少なくとも一つを識別することで第３の識別情報を取得してもよい。

【0034】

上記構成例によれば、比較的複雑なデザインの絵の識別結果である第１の識別情報の妥当性を、図形、記号、パターン画や第１の領域の絵よりも単調なデザインの絵の識別結果である第２の識別情報と第３の識別情報という２つの情報を組みあわせて検証できるため、認識対象自体のデザイン性を損なわずに、且つ、認識対象に対する改変や改竄を抑止することができ、更に、認識対象の識別精度も高めることが可能となる。

【0035】

更に他の構成例として、認識対象内の第２の領域および第３の領域の面積は、第１の領域の面積よりも小さい面積であってもよい。

【0036】

上記構成例によれば、より広い領域である第１の領域に複雑な絵を描くことができるため、認識対象のデザイン性を高くすることができ、このようなデザイン性の高い認識対象を利用したＡＲ画像の表示が可能となる。

【0037】

更に他の構成例として、識別情報取得手段は、第２の領域に対する識別処理と第３の領域に対する識別処理とでは異なる識別手法を用いた識別処理を行うようにしてもよい。

【0038】

上記構成例によれば、第２の領域と第３の領域とで異なる識別手法を用いて識別処理を行うため、誤認識の可能性を低減することが可能となる。

【0039】

更に他の構成例として、識別情報取得手段は、第１の識別情報として複数の候補情報を取得し、仮想オブジェクト決定手段は、第２の識別情報および第３の識別情報を用いて複数の候補情報を検証する検証手段と、検証手段による検証の結果に基づいて当該候補情報のうちの１つを選択する選択手段とを含み、選択手段により選択された候補情報に基づいて仮想オブジェクトを決定してもよい。

【0040】

上記構成例によれば、第１の領域に対する識別精度をより高めることができる。

【0041】

更に他の構成例として、検証手段は、複数の候補情報に対して第２の識別情報または第３の識別情報を用いた絞り込みを行い、当該前記絞り込まれた候補情報に対して、第２の識別情報および第３の識別情報の組み合わせを用いて検証を行うようにしてもよい。

【0042】

上記構成例によれば、第１の領域に対する識別精度をより高めることができる。

【0043】

本発明にかかる画像表示装置は、画像を表示する画像表示装置であって、撮像画像取得手段と、認識対象検出手段と、識別情報取得手段と、仮想オブジェクト決定手段と、位置関係算出手段と、仮想カメラ設定手段と、表示手段とを備える。撮像画像取得手段は、撮像手段により撮像された撮像画像を取得する。認識対象検出手段は、撮像画像の中から所定の認識対象を検出する。識別情報取得手段は、撮像画像のうち認識対象検出手段により検出された認識対象に対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する。仮想オブジェクト決定手段は、取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する。位置関係算出手段は、認識対象検出手段によって検出された認識対象と撮像手段との相対的な位置関係を算出する。仮想カメラ設定手段は、位置関係算出手段により算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する。表示手段は、仮想オブジェクト決定手段で決定された仮想オブジェクトを仮想カメラで撮影することにより得られる画像を所定の表示部に表示する。

【0044】

本発明にかかる画像表示方法は、画像を表示する画像表示方法であって、撮像画像取得ステップと、認識対象検出ステップと、識別情報取得ステップと、仮想オブジェクト決定ステップと、位置関係算出ステップと、仮想カメラ設定ステップと、表示ステップとを備える。撮像画像取得ステップは、撮像ステップにより撮像された撮像画像を取得する。マーカ認識対象検出ステップは、撮像画像の中から所定の認識対象を検出する。識別情報取得ステップは、撮像画像のうち認識対象検出ステップにより検出された認識対象に対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する。仮想オブジェクト決定ステップは、取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する。位置関係算出ステップは、認識対象検出ステップにおいて検出された認識対象と撮像ステップとの相対的な位置関係を算出する。仮想カメラ設定ステップは、位置関係算出ステップにおいて算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する。表示ステップは、仮想オブジェクト決定ステップにおいて決定された仮想オブジェクトを仮想カメラで撮影することにより得られる画像を所定の表示部に表示する。

【0045】

本発明にかかる画像表示システムは、マーカと情報処理装置で構成されるシステムである。情報処理装置は、撮像手段と、撮像画像取得手段と、マーカ検出手段と、識別情報取得手段と、仮想オブジェクト決定手段と、位置関係算出手段と、仮想カメラ設定手段と、表示手段とを備える。撮像画像取得手段は、撮像手段により撮像された撮像画像を取得する。マーカ検出手段は、撮像画像の中からマーカを検出する。識別情報取得手段は、撮像画像のうちマーカ検出手段により検出されたマーカに対応する画像の少なくとも一部に対して当該画像の少なくとも一部の内容を識別する処理を行うことによって、少なくとも第１の識別情報および第２の識別情報を取得する。仮想オブジェクト決定手段は、取得された第１の識別情報および第２の識別情報に基づいて、所定の記憶媒体に予め記憶されている複数の仮想オブジェクトの中から少なくとも１つの仮想オブジェクトを表示対象として決定する。位置関係算出手段は、マーカ検出手段によって検出されたマーカと撮像手段との相対的な位置関係を算出する。仮想カメラ設定手段は、位置関係算出手段により算出された位置関係に基づいて、仮想空間内における仮想カメラを設定する。表示手段は、仮想オブジェクト決定手段で決定された仮想オブジェクトを仮想カメラで撮影することにより得られる画像を所定の表示部に表示する。

【0046】

本発明にかかるマーカは、撮像手段によって撮像された撮像画像に対して所定の認識処理を行うことによって撮像手段とマーカとの位置関係を算出し、当該位置関係に基づいて仮想オブジェクトの画像を生成して表示する画像表示システムにおいて用いられるマーカであって、第１領域と、少なくとも１つ以上の第２領域とを含む。第１領域には、撮像手段で撮影され所定の認識処理が行われることで第１の情報が得られる絵が描かれている。また、第２領域には、撮像手段で撮影され所定の認識処理が行われることで第２の情報が得られるパターン画、図形、記号、または第１の領域の絵よりも単調なデザインの絵のいずれかが描かれている。更に、第１の情報および第２の情報は、表示する仮想オブジェクトを決定するために用いられる。

【0047】

上記構成例によれば、複雑なイラストが描かれること等によるマーカ自体のデザイン性を高めつつ、識別精度を高めることが可能なマーカを提供することができる。

【0048】

更に他の構成例として、第２領域の面積は第１領域の面積よりも小さい面積であってもよい。

【0049】

上記構成例によれば、より大きな面積を有する第１領域にデザイン性の高い絵や複雑な絵を描くことができるため、マーカの識別精度を低下させることなく、マーカ自体のデザイン性を高めることができる。

【発明の効果】

【0050】

本発明によれば、マーカの識別精度をより高めることができ、各マーカに対応した仮想オブジェクトを適切に表示することができる。

【図面の簡単な説明】

【0051】

【図1】開状態におけるゲーム装置１０の正面図

【図2】ゲーム装置１０の内部構成を示すブロック図

【図3】本実施形態の処理において用いられるカード１０１を示す模式図

【図4A】カード１０１を撮像する様子を示す図

【図4B】撮像画像の模式図

【図4C】ＡＲ画像の模式図

【図5】ゲーム装置１０のメインメモリ３２に記憶される主なデータを示す図

【図6】カードテーブル２０１のデータ構成の一例を示す図

【図7】シンボルパターンテーブル２０２のデータ構成の一例を示す図

【図8】カラーコードテーブル２０３のデータ構成の一例を示す図

【図9】候補ＩＤデータ２０４のデータ構造の一例を示す図

【図10】ゲーム装置１０によって実行されるＡＲ画像表示処理の全体処理を示すフローチャート

【図11】ゲーム装置１０によって実行されるＡＲ画像表示処理の全体処理を示すフローチャート

【図12】図１０のステップＳ４で示したＩＤ取得処理の詳細を示すフローチャート

【発明を実施するための形態】

【0052】

以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。

【0053】

図１において、ゲーム装置１０は、折り畳み型の携帯ゲーム装置であり、開いた状態（開状態）のゲーム装置１を示している。ゲーム装置１０は、開いた状態においてもユーザが両手または片手で把持することができるようなサイズで構成される。

【0054】

ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に連結されている。図１の例では、下側ハウジング１１および上側ハウジング２１は、それぞれ横長の長方形の板状で形成され、互いの長辺部分で回転可能に連結されている。通常、ユーザは、開状態でゲーム装置１０を使用する。また、ユーザは、ゲーム装置１０を使用しない場合には閉状態としてゲーム装置１を保管する。

【0055】

下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２が設けられる。下側ＬＣＤ１２は横長形状であり、長辺方向が下側ハウジング１１の長辺方向に一致するように配置される。なお、本実施形態では、ゲーム装置１０に内蔵されている表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を利用してもよい。また、ゲーム装置１０は、任意の解像度の表示装置を利用することができる

【0056】

下側ハウジング１１には、入力装置として、各操作ボタン１４Ａ〜１４Ｌおよびタッチパネル１３が設けられる。各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌのうち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅは、十字状に配置される。ボタン１４Ａ〜１４Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオン／オフするために用いられる。

【0057】

アナログスティック１５は、方向を指示するデバイスであり、下側ハウジング１１の内側面の下側ＬＣＤ１２より左側領域の上部領域に設けられる。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。

【0058】

十字状に配置される、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅの４つのボタンは、下側ハウジング１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティック１５とは、下側ＬＣＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。

【0059】

また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイクが設けられ、当該マイクがゲーム装置１０の外部の音を検出する。

【0060】

なお、図１においては、操作ボタン１４Ｇ〜１４Ｉの図示を省略している。例えば、Ｌボタン１４Ｇは、下側ハウジング１１の上側面の左端部に設けられ、Ｒボタン１４Ｈは、下側ハウジング１１の上側面の右端部に設けられる。Ｌボタン１４ＧおよびＲボタン１４Ｈは、ゲーム装置１に対して、例えば撮影指示操作（シャッター操作）を行うために用いられる。さらに、音量ボタン１４Ｉは、下側ハウジング１１の左側面に設けられる。音量ボタン１４Ｉは、ゲーム装置１が備えるスピーカの音量を調整するために用いられる。

【0061】

また、ゲーム装置１０は、各操作ボタン１４Ａ〜１４Ｋとは別の入力装置として、さらにタッチパネル１３を備えている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネル１３は、例えば抵抗膜方式のタッチパネルが用いられる。ただし、タッチパネル１３は、抵抗膜方式に限らず、任意の押圧式のタッチパネルを用いることができる。また、本実施形態では、タッチパネル１３として、例えば下側ＬＣＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側ＬＣＤ１２の解像度とが一致している必要はない。また、下側ハウジング１１の上側面には挿入口１７（図１に示す点線）が設けられている。挿入口１７は、タッチパネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッチペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である。

【0062】

また、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃ（図示は省略）が設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタおよびそのカバー部１１Ｃは、下側ハウジング１１の右側面に設けられてもよい。

【0063】

さらに、下側ハウジング１１の上側面には、ゲーム装置１０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄ（図示は省略）が設けられ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入口１１Ｄは、下側ハウジング１１の他の側面（例えば、右側面等）に設けられてもよい。

【0064】

また、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂ（図示は省略）が設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は、例えば、ＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９（図示は省略）が設けられる

【0065】

一方、上側ハウジング２１には、上側ＬＣＤ２２が設けられる。上側ＬＣＤ２２は横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置される。なお、下側ＬＣＤ１２と同様、上側ＬＣＤ２２に代えて、他の任意の方式および任意の解像度の表示装置を利用してもよい。なお、上側ＬＣＤ２２上を覆うように、タッチパネルを設けてもかまわない。

【0066】

また、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられる。上側ＬＣＤ２２は、横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置される。上側ＬＣＤ２２は上側ハウジング２１の中央に配置される。上側ＬＣＤ２２の画面の面積は、下側ＬＣＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤ２２の画面は、下側ＬＣＤ１２の画面よりも横長に設定される。

【0067】

上側ＬＣＤ２２の画面は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、上側ハウジング２１に設けられた開口部から当該上側ＬＣＤ２２の画面が露出される。上側ＬＣＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。

【0068】

上側ＬＣＤ２２は、立体視可能な画像を表示することが可能な表示装置である。本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２はパララックスバリア方式のものとする。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる。このように、上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、スライドスイッチである３Ｄ調整スイッチ２５によって行われる。

【0069】

外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２（上側ハウジング２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。

【0070】

内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。

【0071】

３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示す。３Ｄインジケータ２６は、ＬＥＤであり、上側ＬＣＤ２２の立体表示モードが有効の場合に点灯する。

【0072】

また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。

【0073】

（ゲーム装置１０の内部構成）
次に、図２を参照して、ゲーム装置１０の内部の電気的構成について説明する。図２は、ゲーム装置１０の内部構成を示すブロック図である。図２に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、動きセンサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される。

【0074】

情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。情報処理部３１のＣＰＵ３１１は、ゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。

【0075】

情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。

【0076】

メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。

【0077】

外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。

【0078】

データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。

【0079】

無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（例えば独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

【0080】

また、情報処理部３１には、動きセンサ３９が接続される。動きセンサ３９には、加速度センサおよび角速度センサが含まれている。加速度センサは、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。また、角速度センサは、３軸（ｘｙｚ軸）の角速度を検出する。例えば、角速度センサはジャイロセンサであり、３軸のジャイロセンサ１チップで構成される。角速度センサはヨー角に関する（単位時間あたりの）角速度（Ｙ軸周りの角速度）、ロール角に関する（単位時間あたりの）角速度（Ｚ軸周りの角速度）、およびピッチ角に関する（単位時間あたりの）角速度（Ｘ軸周りの角速度）を検出するためのものである。動きセンサ３９は、下側ハウジング１１の内部に設けられる。

【0081】

また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。

【0082】

また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しないアンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。

【0083】

操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従った処理を実行する。

【0084】

下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示する。本実施形態では、情報処理部３１は、上側ＬＣＤ２２に立体画像（立体視可能な画像）を表示させる。

【0085】

外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。

【0086】

３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。

【0087】

また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。例えば、情報処理部３１は、上側ＬＣＤ２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。

【0088】

次に、図３〜図４を参照して、ゲーム装置１０において実行されるカード識別処理の概要を説明する。本実施形態では、マーカ型のＡＲにおけるマーカの役割を有するカード１０１（後述）を外側撮像部２３で撮像することで、上側ＬＣＤ２２に、拡張現実画像（以下、ＡＲ画像）を表示する処理を行う。特に、本実施形態で説明する処理は、主に上記カードの識別に関する処理となる。

【0089】

図３は、本実施形態の処理において用いられるカード１０１を示す模式図である。図３において、カード１０１には、以下のような絵や模様やパターンが描かれている（印刷されている）。すなわち、黒枠部１０２が描かれており、当該黒枠部１０２の内部に、イラスト領域１０３とシンボル領域１０４とカラーコード領域１０５とが描かれている。なお、本実施形態では、当該カードの種類として、２００種類のカードを用いる場合を例として説明する。つまり、本実施形態の処理では、この２００種類のカード１０１の種類を個別に識別するための処理が実行される。

【0090】

イラスト領域１０３は、後述のシンボル領域１０４およびカラーコード領域１０５よりもその面積が広く取られている領域である。イラスト領域１０３には、所定の絵（以下、単にイラストと呼ぶ）が描かれている。図３の例では、天使のイラストが描かれている。当該イラストは、典型的には、後述のシンボルやカラーコードに比べて多くの色が用いられた絵である。また、後述のシンボルやカラーコードに比べると複雑なデザインとなっている。本実施形態では、当該イラストとして所定のキャラクタが描かれ、このキャラクタに対応する仮想オブジェクトがＡＲ画像として表示される。本実施形態では、このキャラクタの数（すなわち、イラストの数）が、上記カードの種類の数と同じく２００体（すなわち、２００枚のイラスト）であるとする。

【0091】

シンボル領域１０４は、上記イラスト領域１０３よりも小さい面積が割り当てられている。また、本実施形態では、カラーコード領域１０５よりは少し広い面積が割り当てられている。シンボル領域１０４には、上記イラストに比べ、比較的単調なデザインの記号や図形、図柄や絵（以下、シンボルと呼ぶ）が描かれる。また、当該シンボルは、輝度の違いがはっきりするようにデザインされている（例えば、グラデーションのような技法を用いていないデザイン）。これは、後述するような画像認識処理において、誤認識が発生しにくいようなデザインとなるように考慮されているためである。また、本実施形態において、当該シンボルの種類の数は、上記イラストの種類よりも少ない数であり、具体的には５種類であるとする。

【0092】

カラーコード領域１０５は、上記イラスト領域１０３よりも小さな面積が割り当てられている。また、本実施形態では、上記シンボル領域１０４よりも小さな面積が割り当てられている。カラーコード領域１０５には、４つの円が横方向に並べて描かれている。各円は、所定の色で塗りつぶされており、本実施形態では、当該所定の色は、赤・青・緑の３色であるとする。すなわち、カラーコード領域１０５内の４つの各円はそれぞれ、赤・青・緑のいずれか一色で塗りつぶされている。換言すれば、１つの円からは、赤・青・緑の３つのパターンが判別できることになり、これら４つの円の組み合わせによるパターン画（以下、カラーコードと呼ぶ）として、３の４乗、すなわち、８１のカラーコードが存在することになる。すなわち、上記イラストの種類よりは少ない数となっている。

【0093】

なお、上記シンボルやカラーコードについて、その種類の数が上記イラストよりも少ないのは、次のような理由による。イラストについては、パターンマッチング等の画像認識処理を考慮せず、そのデザイン性等が優先されて描かれるものである。そのため、種類の数については特に限定されるべきものではない。その一方で、上記シンボルについては比較的単純な模様やパターンとし、更に、その種類を少ない数とすることで、パターンマッチング等の画像認識処理を考慮し、誤認識の可能性が低くなるようにデザインすることが可能となる。また、カラーコードについても、その識別処理に際しては、赤・青・緑の３色の判定で済むため、こちらについても誤認識は低いものとなっている。

【0094】

また、その他、カード１０１には、黒枠部１０２の上部に、イラスト領域１０３の描かれているキャラクタ等の名前や、当該カードを用いるゲームのタイトル等が描かれている。

【0095】

上記のような、イラスト領域１０３、シンボル領域１０４、カラーコード領域１０５の３つの領域を有するカード１０１を用いて、本実施形態では、以下のような処理を行う。まず、上記カード１０１を外側撮像部２３で撮像し（図４Ａ参照）、得られた画像から上記イラスト領域に描かれているイラストを認識して（図４Ｂ参照）、当該イラストに対応する第１のＩＤの候補を複数算出する。詳細は後述するが、本実施形態では、パターンマッチング処理により第１のＩＤの候補を算出する。

【0096】

次に、同様にして上記シンボル領域１０４を画像認識し、上記シンボルに対応する第２のＩＤを算出する（これについてもパターンマッチングの処理で行われる）。更に、カラーコード領域１０５に対して、上記４つの円で示されるカラーコードを識別し、これに対応する第３のＩＤを算出する。

【0097】

そして、上記第２のＩＤおよび第３のＩＤに基づいて得られるＩＤ（以下、チェック用ＩＤ）が、上記第１のＩＤの候補の中に存在するか否かをチェックする。つまり、チェック用ＩＤを用いて、第１のＩＤ候補の検証を行う。その結果、両ＩＤが一致した場合は、そのＩＤに対応する仮想オブジェクトが、表示すべき仮想オブジェクトとして決定される。そして、当該仮想オブジェクトを用いたＡＲ画像が生成されて表示される（図４Ｃ参照）。なお、このような処理が実行されるために、本実施形態では、第１のＩＤは、第２および第３のＩＤから得られるチェック用ＩＤのいずれかと一致するように予め設定されるものとする。

【0098】

このように、本実施形態では、イラスト領域１０３に基づき算出されるＩＤと、シンボル領域およびカラーコード領域に基づき算出されるＩＤの２つのＩＤとをマッチングする処理を行うことで、上記カードを識別する処理を行っている。これは、主に以下のような理由によるものである。まず、上記イラスト領域１０３に描かれているイラストのみで当該カードを識別しようとすると、次のような問題がある。まず、カードの周囲光の影響で、外側撮像部２３で得られた画像に映っているカードの識別精度が変動する。例えば、画像認識において、いわゆるパターンマッチングの手法を用いる場合、その一致度について何らかの閾値が設定されることが一般的であるが、この閾値を高い値に設定しすぎると、正当なカードを撮像しているにも関わらず、周囲光の加減等で、このカードが正常に認識されず、上記のような仮想オブジェクトの存在するＡＲ画像が表示されないという問題がある。逆に、当該閾値を低くすると、正当なカードの識別精度は高くなるが、その反面、正当なカードではない他のカードであって、ある程度イラストの配色パターンが似ているイラストが描かれているカードについても正当なカードであるとして識別されてしまうことがある。つまり、全く関係ないカードを撮像した場合に、本来であればＡＲ画像を表示すべきではないにも関わらず、正当なカードとして識別されて上記ＡＲ画像が表示されてしまうという問題がある。

【0099】

また、カードの識別手法として、カラーコードのみを用いるという手法も考えられるが、この場合は、以下のような問題がある。すなわち、上記カラーコード領域１０５に描かれているカラーコードでカードの識別が行われている、ということがユーザに類推されやすく、その結果、上記円の色がユーザによって別の色に塗りつぶされることにより、そのカードで本来予定（意図）されている仮想オブジェクトとは別の仮想オブジェクトが表示されてしまうという問題がある。

【0100】

上記のような問題に鑑みて、本実施形態では、イラスト領域１０３から得られるＩＤに対して、シンボル領域１０４およびカラーコード領域１０５の双方から得られるＩＤを用いて検証（本実施形態では、マッチング）することで、カードの識別を行うようにしている。これにより、正当なカードとそれ以外のカードとの識別精度をより高めることができる。

【0101】

ここで、イラスト領域１０３から得られるＩＤに関し、その候補として複数算出するのは、上記イラストは上述のように比較的複雑なデザインの絵であり、当該イラストの判別だけで一意に特定しようとした場合、上記のような周囲光の影響等で、配色等が類似した別のイラストと誤認識される可能性が残るためである。そのため、第１のＩＤについては一旦複数の候補を出し、上記第２のＩＤおよび第３のＩＤでこの候補を検証することで、結果として、イラストの識別精度を高めているのである。

【0102】

また、その他、上記カラーコードがユーザの手により改変されることによる、本来（開発者が）意図していないＡＲ画像が表示されてしまうことを防ぐこともできる。

【0103】

次に、ゲーム装置１０において行われるカード識別処理の詳細を説明する。まず、図５を参照して、本処理において用いられる主なデータについて説明する。なお、図５は、ゲーム装置１０のメインメモリ３２に記憶される主なデータを示す図である。図５において、メインメモリ３２には、カードテーブル２０１、シンボルパターンテーブル２０２、カラーコードテーブル２０３、候補ＩＤデータ２０４等が記憶される。このうち、カードテーブル２０１、シンボルパターンテーブル２０２、カラーコードテーブル２０３については、例えば、外部メモリ４４に予め記憶されたものが、本実施形態にかかる処理に際してメインメモリ３２にコピーされたものである。一方、候補ＩＤデータ２０４は、本処理の実行過程において適宜生成される一時ファイルである。

【0104】

カードテーブル２０１は、上述したようなカード１０１と、各カード１０１で示される仮想オブジェクト１１０等の対応を示すテーブルである。図６は、カードテーブル２０１のデータ構成の一例を示す図である。図６に示されたカードテーブルは、カードＩＤ２０１１、オブジェクトデータ２０１２、第１格子点パターン２０１３、シンボルＩＤ２０１４、カラーコードＩＤ２０１５を有する構造となっている。

【0105】

カードＩＤ２０１１は、上述した第１のＩＤに対応するものであり、各カード１０１を一意に識別するためのＩＤである。上記のように、本実施形態では、当該カードＩＤ２０１１の数は２００であるとする。

【0106】

オブジェクトデータ２０１２は、各カードに対応した上記仮想オブジェクトに関するデータである。例えば、ポリゴンモデルデータやテクスチャデータである。その他、このようなモデリングデータは別のファイルとして生成しておき、当該データには、当該別ファイルを参照して各オブジェクトを識別（指定）するための情報が格納されていても良い。

【0107】

第１格子点パターン２０１３は、上記イラスト領域１０３に描かれているイラストをパターンマッチングで識別する際に用いられるデータである。本実施形態では、パターンマッチングの手法として、イラスト領域１０３を縦横１６分割し、縦線と横線の交点、すなわち、格子点の画素を抽出し、この画素を用いてパターンマッチングを行う。そのため、当該第１格子点パターン２０１３は、例えば、当該各格子点の画素の色情報を示す値を、格子点の左上から右下の順に羅列したデータである。

【0108】

シンボルＩＤ２０１４は、上記第２のＩＤに対応するものであり、当該カード１０１のシンボル領域１０４に描かれたシンボルに対応するＩＤである。本実施形態では、シンボルは上記のように５種類であるため、このうちの何れかがシンボルＩＤ２０１４として定義されている。

【0109】

カラーコードＩＤ２０１５は、上記第３のＩＤに対応するものであり、当該カード１０１のカラーコード領域１０５に描かれたカラーコードに対応するＩＤである。本実施形態では、カラーコードは上記のように最大で８１パターンあり、このうちの４０パターンのみを使用するため、この４０パターンのうちの何れかがカラーコードＩＤ２０１５として定義されている。

【0110】

なお、図６の例では、カードＩＤ２０１１で示されるＩＤと、シンボルＩＤ２０１４およびカラーコードＩＤ２０１５の値を組み合わせて示されるＩＤ（上記チェック用ＩＤ）とが一致するように定義された例を示している。これは、上述したように、本実施形態では、仮想オブジェクトの決定に際して、第１のＩＤと、第２および第３のＩＤから得られるチェック用ＩＤとの一致を判定する処理を行うためである。例えば、シンボルＩＤ２０１４の値が１〜５、カラーコードＩＤ２０１５の値が１〜８０とした場合、カードＩＤ２０１１が”１０２”と定義されていれば、シンボルＩＤは”１”、カラーコードＩＤは”０２”と定義されていることになる。但し、このような定義の仕方に限らず、他の実施形態では、例えば、シンボルＩＤ２０１４およびカラーコードＩＤ２０１５は数字を用いるが、カードＩＤ２０１１には文字列を用いるようなＩＤの命名手法を用いても良い。つまり、当該カードテーブル２０１において、シンボルＩＤ２０１４およびカラーコードＩＤ２０１５からカードＩＤ２０１１が一意に導出されるように定義されていれば、各ＩＤの命名手法はどのようなものでもよい。

【0111】

次に、図７は、上記シンボルパターンテーブル２０２のデータ構成の一例を示す図である。シンボルパターンテーブル２０２は、シンボルＩＤ２０２１、および、第２格子点パターン２０２２を有する構造となっている。

【0112】

シンボルＩＤ２０２１は、上記第２のＩＤ（シンボルＩＤ２０１４）と対応するＩＤである。第２格子点パターン２０２２は、上記シンボルをパターンマッチングで識別する際に用いられるデータである。シンボルのパターンマッチングについても、上記イラストの場合と同様、シンボルの画像を格子状に分割したときのその格子点の画素の色を利用する。そのため、当該データにも、当該格子点の各画素の色を示す情報が定義される。

【0113】

次に、図８は、上記カラーコードテーブル２０３のデータ構成の一例を示す図である。カラーコードテーブル２０３は、カラーコードＩＤ２０３１、および、色パターン２０３２を有する構造となっている。

【0114】

カラーコードＩＤ２０３１は、上記第３のＩＤ（カラーコードＩＤ２０１５）に対応するＩＤである。色パターン２０３２は、上記カラーコードを識別する際に用いられるデータである。カラーコードの識別については、カメラ画像内の４つ円の色を取得し、その色の並びを判定することでカラーコードを判別する。そのため、当該データには、例えば、”赤赤青緑”や”赤赤緑青”のような色の並びのパターンを示す情報が定義される。

【0115】

次に、図９は、候補ＩＤデータ２０４のデータ構造の一例を示す図である。候補ＩＤデータ２０４には、候補ＩＤ２０４１が含まれている。本実施形態では、カードＩＤについては、上記イラスト領域１０３のパターンマッチングの結果、類似度（スコア）が所定の閾値以上のカードＩＤ２０１１が取得される。この複数のカードＩＤ２０１１を類似度の高い順にソートして格納したものが、当該候補ＩＤ２０４１である。

【0116】

次に、図１０〜図１２を参照して、ゲーム装置１０によって実行されるＡＲ画像表示処理について説明する。なお、図１０〜図１１はゲーム装置１０によって実行されるＡＲ画像表示処理の全体処理を示すフローチャートである。この処理は、所定のゲーム処理の実行中に適宜呼び出されることでその実行が開始される。例えば、あるゲームのメニュー画面から、「カード識別モード」という項目がユーザによって選択されることで、その実行が開始される。

【0117】

まず、ステップＳ１において、外側撮像部２３を用いて撮像された画像であるカメラ画像の取得処理が実行される。この際、上側ＬＣＤ２２には、外側撮像部２３で撮像される画像がリアルタイムで表示されている状態である。また、この際、ユーザは、ゲーム装置１０を持ってこれ自体を動かす事で、カード１０１の撮影距離を適宜調整することになる。

【0118】

次に、ステップＳ２において、カメラ画像から上記黒枠部１０２を認識する処理が実行される。具体的には、カメラ画像内における黒枠部１０２の四隅の座標を取得するための処理が行われる。なお、当該黒枠部１０２の認識についての基本的な制御手法等については当業者には既知であるため、詳しい説明は省略する。

【0119】

次に、ステップＳ３において、ステップＳ２の処理の結果、黒枠部１０２が認識できたか否かが判定される。その結果、黒枠部１０２が認識できていなければ（ステップＳ３でＮＯ）、後述するステップＳ１３に処理が進められる。一方、黒枠部１０２が認識できているときは（ステップＳ３でＹＥＳ）、このときのカメラ画像が適宜メインメモリ３２に記憶され、ステップＳ４において、当該カメラ画像を用いたＩＤ取得処理が実行される。この処理は、黒枠部１０２の内部の画像に基づき、上述した３つの領域からそれぞれに対応するＩＤを取得するための処理である。

【0120】

図１２は、上記ステップＳ４で示したＩＤ取得処理の詳細を示すフローチャートである。まず、ステップＳ３１において、上記ステップＳ２で取得された黒枠部１０２の四隅座標に基づき、カメラ画像内のイラスト領域１０３を特定する処理が実行される。

【0121】

次に、イラスト領域１０３のイラストについてのパターンマッチング処理が行われる。まず、ステップＳ３２において、当該特定されたイラスト領域１０３内の画像を、予め定義されている格子状に分割し（例えば縦横１６分割）、各格子点における画素が抽出される。その結果、各格子点における画素の色を示す格子点パターンが得られる。

【0122】

次に、ステップＳ３３において、上記カードテーブル２０１が参照され、上記第１格子点パターン２０１３と上記ステップＳ３２で抽出された格子点パターンとのパターンマッチングが実行される。そして、類似度が所定の閾値以上であるカードＩＤ２０１１が検索される。そして、その検索結果が類似度の高い順にソートされて候補ＩＤデータ２０４としてメインメモリ３２に記憶される。なお、この処理において、検索結果が０の場合（例えば、他のゲーム用のカードを撮像していた場合等）は、内容が０件の候補ＩＤデータ２０４（つまり、空ファイル）が生成される。また、このように、類似度が所定の閾値以上のものを複数取得する（候補ＩＤとする）のは、上記のように、イラストは複雑なデザインの絵であり、画像の識別処理を特段考慮して描かれるようなものではないことによる。つまり、当該パターンマッチングのみで一意に特定しようとすると誤認識の可能性があるため、ここでは、類似度の高いものを複数の候補として抽出している。

【0123】

なお、当該ステップＳ３２およびＳ３３の処理について、他の実施形態においては、上記のようにイラスト領域１０３を特定せず、単純に黒枠部１０２の内側全体（イラスト領域１０３、シンボル領域１０４、カラーコード領域１０５の全てを含んだ領域）に対して、上記のような格子点を用いたパターンマッチングを行っても良い。更には、パターンマッチングの手法についても、上記のような格子点を用いた処理方法は一例であり、これらに限らず、イラストの認識ができれば、どのような処理方法を用いても良い。

【0124】

イラスト領域１０３に関する候補ＩＤの抽出が終われば、次に、シンボル領域１０４についてのＩＤの取得処理が行われる。まず、ステップＳ３４において、上記黒枠部１０２の四隅座標に基づいて、カメラ画像内のシンボル領域１０４の特定が行われる。すなわち、シンボル領域１０４の四隅座標が算出される。次に、ステップＳ３５において、当該特定されたシンボル領域１０４から、上述したような格子点の画素が抽出され、シンボル領域１０４の格子点パターンが得られる。

【0125】

次に、ステップＳ３６において、シンボルパターンテーブル２０２の第２格子点パターン２０２２が参照されることでパターンマッチングが行われ、上記シンボル領域１０４の格子点パターンに対応するシンボルＩＤ２０２１が取得される。上記のように、シンボルはイラストのような複雑な絵ではなく、その種類も少ないため、当該パターンマッチングにおける誤認識の可能性は低い。そのため、ここでは、パターンマッチングの結果、類似度が最も高いシンボルのシンボルＩＤ２０２１が取得される。

【0126】

シンボルＩＤ２０２１が取得されれば、次に、カラーコード領域１０５についてのＩＤの取得処理が実行される。まず、ステップＳ３７において、上記黒枠部１０２の四隅座標に基づいて、カメラ画像内のカラーコード領域１０５の特定が行われる。すなわち、カラーコード領域１０５の四隅座標が算出される。続くステップＳ３８において、特定されたカラーコード領域１０５内の４つの円それぞれについて、各円の中の所定の画素が取得される。そして、これらの画素のそれぞれにつき、その色が、赤・青・緑のいずれであるかが判別される。これにより、４つの円で示されるカラーコードが取得されることになる。

【0127】

次に、ステップＳ３９において、上記カラーコードテーブル２０３が参照され、ステップＳ３８で得られたカラーコードに対応するカラーコードＩＤ２０３１が取得される。本実施形態でのカラーコードの判定は、赤・青・緑の３色の識別で済むため、当該カラーコードの誤認識の可能性は低い。以上で、ＩＤ取得処理は終了する。

【0128】

図１０に戻り、次に、ステップＳ５において、上記候補ＩＤデータ２０４が参照され、カードＩＤの候補（つまり、候補ＩＤ２０４１）が１つ以上存在するか否かが判定される。その結果、１つも存在していないときは（ステップＳ５でＮＯ）、後述のステップＳ１３に処理が進められる。一方、１つ以上存在していたときは（ステップＳ５でＹＥＳ）、次のステップＳ５１において、上記ステップＳ４の処理で、シンボルＩＤ２０２１およびカラーコードＩＤ２０３１が取得できたか否かが判定される。その結果、いずれか一方が取得できていなかったときは（ステップＳ５１でＮＯ）、後述するステップＳ１３に処理が進められる。一方、シンボルＩＤ２０２１およびカラーコードＩＤ２０３１共に取得されていれば（ステップＳ５１でＹＥＳ）、ステップＳ６において、当該シンボルＩＤ２０２１およびカラーコードＩＤ２０３１に基づいてカードテーブル２０１が検索され、当該シンボルＩＤ２０２１およびカラーコードＩＤ２０３１の値が一致しているカード１０１のカードＩＤ２０１１が、上記チェック用ＩＤとして取得される。

【0129】

次に、ステップＳ７において、候補ＩＤデータ２０４が参照され、上記チェック用ＩＤと一致する候補ＩＤ２０４１を検索する処理が実行される。続くステップＳ８において、当該検索の結果、一致する候補ＩＤ２０４１が見つかったか否かが判定される。その結果、見つからなかったときは（ステップＳ８でＮＯ）、後述のステップＳ１３に処理が進められる。

【0130】

一方、見つかったときは（ステップＳ８でＹＥＳ）、当該ＩＤで示される仮想オブジェクト１１０を用いてＡＲ画面を生成・表示するための処理が実行される。まず、ステップＳ９において、上記カード１０１と、外側撮像部２３との相対的な位置関係（距離や姿勢など）が算出される。これは、例えば、カメラ画像内における上記黒枠部１０２の四隅座標に基づいて算出される。そして、当該位置関係に基づき、仮想空間内における仮想カメラの位置および姿勢が設定される。

【0131】

次に、ステップＳ１０において、カードテーブル２０１が参照され、上記候補ＩＤ２０４１と同じ値のカードＩＤ２０１１を有するレコードが検索される。そして、当該検索されたレコードのオブジェクトデータ２０１２に基づき、仮想オブジェクトが決定される。

【0132】

次に、ステップＳ１１において、上記仮想オブジェクト１１０が適宜仮想空間内に配置される。そして、上記仮想カメラで当該仮想オブジェクトが撮影されることで、仮想オブジェクト１１０の画像が生成される。

【0133】

次に、ステップＳ１２において、上記カメラ画像と当該仮想オブジェクト１１０の画像が合成されることで上記ＡＲ画像が生成される。そして、当該ＡＲ画像が上側ＬＣＤ２２に表示される。

【0134】

一方、上記ステップＳ５の判定の結果、カードの候補が１つも見つからなかった場合や（ステップＳ５でＮＯ）、候補ＩＤデータ２０４の中にチェック用ＩＤと一致するものが見つからなかった場合は（ステップＳ８でＮＯ）、ステップＳ１３において、カメラ画像がそのまま上側ＬＣＤ２２に表示される。つまり、この場合は、仮想オブジェクト１１０は表示されないことになる。

【0135】

以上で、本実施形態にかかるＡＲ画像表示処理の説明を終了する。

【0136】

このように、本実施形態では、１つのカード１０１（マーカ）から、イラストから得られるＩＤ（の候補）、シンボルから得られるＩＤ、カラーコードのＩＤという３種のＩＤを取得する。そして、イラストのＩＤに対して、他のＩＤを用いて検証することでカードを識別し、表示すべき仮想オブジェクトを決定している。これにより、マーカとしてのカード１０１の識別精度を高め、その結果、あるカードを撮像した際に表示される仮想オブジェクトの表示について、表示されるべき仮想オブジェクトをより正確に決定して表示することが可能になる。

【0137】

なお、上記実施形態では、イラストを識別して得られた複数の候補ＩＤと、シンボルおよびカラーコードから得られるチェック用ＩＤとをマッチングする処理が行われている。この際、当該候補ＩＤに対してフィルタリングを行ってからマッチングを行うようにしても良い。例えば、当該候補ＩＤに対して、シンボルＩＤのみを用いて絞り込みを行う。そして、その結果に対して、上記チェック用ＩＤを用いたマッチングを行うようにしても良い。また、その他、候補ＩＤに対してシンボルＩＤのみを用いて絞り込みを行い、その結果の中から、最も類似度の高い候補ＩＤを採用するようにしてもよい。

【0138】

また、上記実施形態では、３種類のＩＤを用いた例を示したが、これに限らず、例えば、２種類のＩＤを用いるように構成しても良い。例えば、上記の実施形態から、カラーコードＩＤを省いた構成としても良い。例えば、上記の実施形態からシンボルＩＤを削除したような構成にしてもよい。この場合は、イラストから得られたＩＤをカラーコードから得られたＩＤで検証するような処理となる。そのため、カラーコード領域内の円の数を、例えば６つに増やせばよい。もちろん、４種類以上のＩＤを用いるようにしても良い。

【0139】

また、上記実施形態では、比較的複雑なデザインであるイラストに対して、比較的単純なデザインやパターンとなるシンボルやカラーコードを用いる場合を例に挙げたが、このようなシンボルやパターンに限らず、例えば、シンボルやカラーコードの代わりに、いわゆる２次元コード画像を利用しても良い。例えば、上記イラストと２次元コード画像だけを用いるように構成してもよいし、上記イラストとシンボルおよび２次元コードという組み合わせや、上記イラストと２次元コードおよびカラーコードというように組み合わせてもよい。

【0140】

また、上記実施形態では、イラスト領域１０３から得られたＩＤの検証方法として、チェック用ＩＤとのマッチング（一致するか否か）を例に挙げたが、検証手法はこれに限らない。例えば、上記シンボルＩＤやカラーコードＩＤに基づいて、いわゆるチェックサムとしての値が算出されるように構成しても良い。そして、当該チェックサムの値を用いて、イラスト領域１０３から得られたＩＤを検証することで、カードの識別と仮想オブジェクトの決定を行うようにしても良い。

【0141】

また、上記実施形態では、イラスト領域１０３から得られたＩＤに対して、他の領域から得られたＩＤを用いて検証するという処理の例を挙げたが、この関係は逆の関係でも良く、イラスト領域１０３から得られたＩＤを、他の領域から得られたＩＤ（に基づき算出されるカードＩＤ）の検証用のＩＤとして用いるように構成しても良い。この場合は、例えば、カラーコードがユーザによって改変されたような場合に、イラストから得られるＩＤ（イラストは複雑な絵であるため、改変しにくい）でカラーコードを検証することで、このようなカラーコードの改変を発見することも可能となる。つまり、カラーコードの改変防止を図ることができる。

【0142】

また、上記実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。

【0143】

また、上記実施形態では、認識対象のマーカとしてカード１０１を用いるようにしたが、他の実施形態では、ゲーム装置１０とは別の表示装置にカード１０１と同様な配色の画像を表示して、表示した画像を外側撮像部２３で撮像することにより得られる画像に基づいて、認識対象のＩＤを取得して、当該ＩＤに対応した仮想オブジェクトを表示すべきオブジェクトとして決定するようにしてもよい。

【0144】

また、上記実施形態においては、カード１０１を識別し、これに対応する仮想オブジェクトを表示するための一連の処理が単一の装置（ゲーム装置１０）において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。さらには、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

【符号の説明】

【0145】

１０ ゲーム装置
１１ 下側ハウジング
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
１６ ＬＥＤ
２１ 上側ハウジング
２２ 上側ＬＣＤ
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
２８ タッチペン
３１ 情報処理部
３２ メインメモリ
３３ 外部メモリＩ／Ｆ
３４ データ保存用外部メモリＩ／Ｆ
３５ データ保存用内部メモリ
３６ 無線通信モジュール
３７ ローカル通信モジュール
３８ ＲＴＣ
３９ 動きセンサ
４０ 電源回路
４２ マイク
４３ スピーカ
４４ 外部メモリ
４５ データ保存用外部メモリ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】