特許第6224327号(P6224327)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 任天堂株式会社の特許一覧
特許6224327情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム
<>
  • 特許6224327-情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム 図000002
  • 特許6224327-情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム 図000003
  • 特許6224327-情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム 図000004
  • 特許6224327-情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム 図000005
  • 特許6224327-情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6224327
(24)【登録日】2017年10月13日
(45)【発行日】2017年11月1日
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20171023BHJP
【FI】
   G06T19/00 600
【請求項の数】23
【全頁数】19
(21)【出願番号】特願2013-43161(P2013-43161)
(22)【出願日】2013年3月5日
(65)【公開番号】特開2014-170483(P2014-170483A)
(43)【公開日】2014年9月18日
【審査請求日】2016年1月15日
【前置審査】
(73)【特許権者】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1
(74)【代理人】
【識別番号】100113608
【弁理士】
【氏名又は名称】平川 明
(74)【代理人】
【識別番号】100105407
【弁理士】
【氏名又は名称】高田 大輔
(72)【発明者】
【氏名】早川 毅
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1 任天堂株式会社内
(72)【発明者】
【氏名】大田 辰郎
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1 任天堂株式会社内
【審査官】 村松 貴士
(56)【参考文献】
【文献】 特開2005−143657(JP,A)
【文献】 特開2011−062390(JP,A)
【文献】 特開2009−148497(JP,A)
【文献】 特開2012−141779(JP,A)
【文献】 特開2003−281504(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/048 − 3/0489
A63F 13/00 − 13/98
(57)【特許請求の範囲】
【請求項1】
複数の種類が存在し、前記複数の種類のうちの1つに該当する第1の特徴と、
前記第1の特徴とは異なる第2の特徴と、
撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、
前記画像から1又は複数の特徴を検出する特徴検出手段と、
仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成手段と、
前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
を備える情報処理装置と、
を備える情報処理システムであって、
前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から前記第1の特徴と前記第2の特徴とが検出された場合に、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた第1の仮想オブジェクトを配置
前記第1の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
前記第2の特徴は、対応付けられている前記第1の仮想オブジェクトの形態と関連性の低い形態である、
情報処理システム。
【請求項2】
前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から前記第2の特徴とともに前記第1の特徴が検出された場合に、前記仮想空間において、前記第1の仮想オブジェクトと、前記第2の特徴に対応付けられた仮想オブジェクトと、を、それぞれ、前記第2の特徴の位置に基づく位置に、配置する、
請求項1に記載の情報処理システム。
【請求項3】
前記画像生成手段は、前記特徴検出手段によって前記第2の特徴とともに検出される前記第1の特徴の種類が更新された場合に、前記第2の特徴の位置に基づく位置に配置する第1の仮想オブジェクトを、更新後の前記第1の特徴の種類と前記第2の特徴との組み合
わせに対応付けられた第1の仮想オブジェクトに更新する、
請求項1に記載の情報処理システム。
【請求項4】
前記画像生成手段は、前記特徴検出手段によって前記第2の特徴とともに検出される前記第1の特徴の種類が更新された場合に、前記第2の特徴の位置に基づく位置に、前記更新前に配置されていた第1の仮想オブジェクトに加えて、前記更新後の前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた第1の仮想オブジェクトも配置する、
請求項1に記載の情報処理システム。
【請求項5】
前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から、複数の第1の特徴と、前記第2の特徴と、が検出された場合には、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記複数の第1の特徴のそれぞれの種類と前記第2の特徴との組み合わせに対応付けられた第1の仮想オブジェクトを配置し、前記複数の第1の特徴の位置に基づくそれぞれの位置に、前記複数の第1の特徴のそれぞれに対応付けられた仮想オブジェクトを配置する、
請求項1に記載の情報処理システム。
【請求項6】
前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から、種類の異なる特徴を含む複数の前記第1の特徴と、前記第2の特徴と、が検出された場合には、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記複数の第1の特徴のそれぞれの種類と前記第2の特徴との組み合わせに対応付けられた前記第1の仮想オブジェクトのうち少なくとも一つを配置し、前記複数の第1の特徴の位置に基づくそれぞれの位置に、前記各第1の特徴の種類に対応付けられた仮想オブジェクトを配置する、
請求項5に記載の情報処理システム。
【請求項7】
前記画像生成手段は、前記仮想空間において、前記第2の特徴の位置に基づく位置に、所定の条件を満たす前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた前記第1の仮想オブジェクトを配置し、前記複数の第1の特徴の位置に基づくそれぞれの位置に、各前記第1の特徴の種類に対応付けられた仮想オブジェクトを配置する、
請求項5又は6に記載の情報処理システム。
【請求項8】
前記画像生成手段は、前記第2の特徴の位置に基づく位置に、前記所定の条件として、前記第2の特徴に対して所定の位置関係にある第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた前記第1の仮想オブジェクトを配置する、
請求項7に記載の情報処理システム。
【請求項9】
前記画像生成手段は、前記第2の特徴の位置に基づく位置に、前記所定の条件として、前記特徴検出手段によって検出された前記第1の特徴のうち、前記第1の特徴の種類毎に付された優先度の最も高い第1の特徴の種類と前記第2の特徴との組み合わせに対応付けらえた前記第1の仮想オブジェクトを配置する、
請求項7に記載の情報処理システム。
【請求項10】
前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から、互いに種類の異なる複数の前記第1の特徴と、前記第2の特徴と、が検出された場合には、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記複数の第1の特徴の種類と前記第2の特徴との組み合わせに応じた前記第1の仮想オブジェクトを配置し、前記複数の第1の特徴の位置に基づくそれぞれの位置に、前記各第1の特徴の種類に対応付けられた仮想オブジェクトを配置する、
請求項1に記載の情報処理システム。
【請求項11】
前記画像生成手段は、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第2の特徴に対する前記互いに種類の異なる複数の第1の特徴の追加順に応じた前記第1の仮想オブジェクトを配置し、前記複数の第1の特徴の位置に基づくそれぞれの位置に、前記各第1の特徴の種類に対応付けられた仮想オブジェクトを配置する、
請求項10に記載の情報処理システム。
【請求項12】
前記画像生成手段は、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第2の特徴に対する前記互いに種類の異なる複数の第1の特徴のそれぞれの位置関係に応じた前記第1の仮想オブジェクトを配置し、前記複数の第1の特徴の位置に基づくそれぞれの位置に、前記各第1の特徴の種類に対応付けられた仮想オブジェクトを配置する、
請求項10に記載の情報処理システム。
【請求項13】
前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から前記第1の特徴及び前記第2の特徴が検出されることによって、前記第2の特徴の位置に基づく位置に、前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた前記第1の仮想オブジェクトを配置して仮想空間の画像を生成している状態において、前記特徴検出手段によって、前記第2の特徴は検出されるものの前記第1の特徴が検出されなくなった場合に、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた前記第1の仮想オブジェクトを配置して前記仮想空間の画像を生成し続ける、
請求項1から4のいずれか一項に記載の情報処理システム。
【請求項14】
前記画像生成手段は、所定条件が満たされる場合に、前記第1の特徴が検出されなくなった後も前記第2の特徴に基づく位置に配置していた前記第1の仮想オブジェクトを、前記第2に基づく位置に配置せずに、前記仮想空間の画像を生成する、
請求項13に記載の情報処理システム。
【請求項15】
前記所定条件は、前記第1の特徴が検出されなくなってから所定時間が経過することである、
請求項14に記載の情報処理システム。
【請求項16】
前記画像生成手段は、前記特徴検出手段によって、前記画像から、前記第2の特徴が検出され、前記第1の特徴は検出されない場合には、前記仮想空間において、前記第2の特徴の位置に基づく位置に前記第2の特徴に対応付けられた仮想オブジェクトを配置して前記仮想空間の画像を生成する、
請求項1又は2に記載の情報処理システム。
【請求項17】
前記画像生成手段は、前記第1の特徴の位置に基づく位置に、前記第1の特徴に対応付けられた仮想オブジェクトを配置する、
請求項1から16のいずれか一項に記載の情報処理システム。
【請求項18】
前記画像生成手段は、前記第1の特徴の位置に基づく位置に、前記第1の仮想オブジェクトとは異なる前記第1の特徴に対応付けられた仮想オブジェクトを配置する、
請求項17に記載の情報処理システム。
【請求項19】
前記第1の特徴は、前記第1の特徴に対応付けられた仮想オブジェクトの形態の少なくとも一部を模した図形であり、前記第2の特徴は、前記第2の特徴に対応付けられた仮想
オブジェクトの形態を模した図形ではない、
請求項1から18のいずれか一項に記載の情報処理システム。
【請求項20】
前記第1の特徴は、所定のコンテンツをユーザーが取得可能な情報を保持し、前記所定のコンテンツをユーザーが取得した後もユーザーの手元に残る情報保持装置に印刷され、
前記第2の特徴は、前記情報保持装置の梱包材に印刷される、
請求項1から19のいずれか一項に記載の情報処理システム。
【請求項21】
撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、
前記画像から1又は複数の特徴を検出する特徴検出手段と、
仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成手段と、
前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
を備える情報処理装置であって、
前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から、複数の種類が存在し、前記複数の種類のうちの1つの種類に該当する第1の特徴と前記第1の特徴とは異なる第2の特徴とが検出された場合に、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた第1の仮想オブジェクトを配置し、
前記第1の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
前記第2の特徴は、対応付けられている前記第1の仮想オブジェクトの形態と関連性の低い形態である
情報処理装置。
【請求項22】
コンピュータが、
撮像装置によって撮像された現実空間の画像を取得する画像取得ステップと、
前記画像から1又は複数の特徴を検出する特徴検出ステップと、
仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成ステップと、
前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御ステップと、
を実行する情報処理方法であって、
前記画像生成ステップにおいて、前記画像取得ステップにおいて取得された現実空間の画像から、複数の種類が存在し、前記複数の種類のうちの1つの種類に該当する第1の特徴と前記第1の特徴とは異なる第2の特徴とが検出された場合に、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた第1の仮想オブジェクトを配置
前記第1の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
前記第2の特徴は、対応付けられている前記第1の仮想オブジェクトの形態と関連性の低い形態である、
情報処理方法。
【請求項23】
コンピュータを、
撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、
前記画像から1又は複数の特徴を検出する特徴検出手段と、
仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成手段と、
前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
として機能させる情報処理用プログラムであって、
前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から、複数の種類が存在し、前記複数の種類のうちの1つの種類に該当する第1の特徴と前記第1の特徴とは異なる第2の特徴とが検出された場合に、前記仮想空間において、前記第2の特徴の位置に基づく位置に、前記第1の特徴の種類と前記第2の特徴との組み合わせに対応付けられた第1の仮想オブジェクトを配置
前記第1の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
前記第2の特徴は、対応付けられている前記第1の仮想オブジェクトの形態と関連性の低い形態である、
情報処理用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間に各種情報を重畳する情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラムに関する。
【背景技術】
【0002】
現実空間に各種情報を重畳して提示することによって、現実世界を拡張することを拡張現実(AR:Augmented Reality)という。ARの技術の一つとして、例えば、カードに印刷された2次元バーコードを用いる技術がある。この技術では、カメラの撮像画像から2次元バーコードが識別され、該2次元バーコードに対応付けられた3次元画像データが2次元バーコードの位置に重畳して表示装置に表示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−322602号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、該拡張現実技術では、表示装置の撮像画像を表示する画面において、2次元バーコードの位置に、該2次元バーコードに対応する3次元画像データが重畳して表示されるだけであって、視覚的効果として、変化が乏しいものであった。
【0005】
本発明は、上記した問題に鑑み、視覚的な変化に富んだ拡張現実技術を提供することを課題とする。
【課題を解決するための手段】
【0006】
本発明では、上記課題を解決するために、以下の構成を採用した。即ち、本発明は、第1の特徴と、第1の特徴とは異なる第2の特徴と、情報処理装置とを含む情報処理システムである。情報処理装置は、撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、画像取得手段によって取得された現実空間の画像から1又は複数の特徴を検出する特徴検出手段と、仮想空間において、検出された特徴の位置に基づく位置に、特徴に対応付けられた仮想オブジェクトを配置して、仮想空間の画像を生成する画像生成手段と、仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、を備え、画像生成手段は、画像取得手段によって取得された現実空間の画像から第1の特徴と第2の特徴とが検出された場合に、仮想空間において、第2の特徴の位置に基づく位置に、第1の特徴に応じた第1の仮想オブジェクトを配置する。
【0007】
ここで、表示装置は、本発明に係る情報処理装置に周辺機器として接続されたものであってもよいし、通信網等を介して接続されたものであってもよい。また、本発明に係る情報処理装置は、所謂クラウド等の仮想的な環境に構築されたものであってもよい。
【0008】
また、現実空間に配置された特徴とは、例えば、所謂AR用のマーカー、または二次元バーコード等のコードである。そして、このような特徴は、例えばカード等の部品に付されてよい。また、このような特徴は、専用のマーカーやコード等に限られない。他用途に用いられる物品であっても、仮想オブジェクトの表示基準を取得可能なものであれば、特徴として用いることが出来る。
【0009】
本発明によれば、第2の特徴とともに検出される第1の特徴に応じて、第2の特徴の位置に基づく位置に表示される第1の仮想オブジェクトが決まるので、視覚的な変化に富んだ拡張現実技術を提供することができる。
【0010】
なお、本発明が適用される拡張現実技術の種類は限定されない。本発明は、例えば、撮像画像に仮想空間画像を合成した合成画像を表示することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術にも適用可能であるし、ユーザーの視界に仮想空間画像を映写することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術(例えば、HUD:Head−Up Display等)にも適用可能である。
【0011】
また、画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から第2の特徴とともに第1の特徴が検出された場合に、仮想空間において、第1の仮想オブジェクトと、第2の特徴に対応付けられた仮想オブジェクトと、を、それぞれ、第2の特徴の位置に基づく位置に、配置するようにしてもよい。
【0012】
また、第1の特徴は、複数の種類を有し、情報処理装置の画像生成手段は、第2の特徴とともに検出される第1の特徴の種類に応じて、第2の特徴の位置に基づく位置に配置する第1の仮想オブジェクトを決定するようにしてもよい。
【0013】
また、情報処理装置の画像生成手段は、特徴検出手段によって第2の特徴とともに検出される第1の特徴の種類が更新された場合に、第2の特徴の位置に基づく位置に配置する第1の仮想オブジェクトを、更新後の第1の特徴の種類に応じた第1の仮想オブジェクトに更新するようにしてもよい。
【0014】
また、情報処理装置の画像生成手段は、特徴検出手段によって第2の特徴とともに検出される第1の特徴の種類が更新された場合に、第2の特徴の位置に基づく位置に、更新前に配置されていた第1の仮想オブジェクトに加えて、更新後の第1の特徴の種類に応じた第1の仮想オブジェクトも配置するようにしてもよい。
【0015】
また、情報処理装置の画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から、複数の第1の特徴と、第2の特徴と、が検出された場合には、仮想空間において、第2の特徴の位置に基づく位置に、該複数の第1の特徴のそれぞれに応じた第1の仮想オブジェクトを配置し、該複数の第1の特徴の位置に基づくそれぞれの位置に、該複数の第1の特徴のそれぞれに対応付けられた仮想オブジェクトを配置するようにしてもよい。
【0016】
また、情報処理装置の画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から、種類の異なる特徴を含む複数の第1の特徴と、第2の特徴と、が検出された場合には、仮想空間において、第2の特徴の位置に基づく位置に、複数の第1の特徴のそれぞれの種類に応じた第1の仮想オブジェクトのうち少なくとも一つを配置し、該複数の第1の特徴の位置に基づくそれぞれの位置に、各第1の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。
【0017】
また、情報処理装置の画像生成手段は、特徴検出手段によって、撮像画像から、複数の複数の第1の特徴と、第2の特徴と、が検出された場合には、仮想空間において、第2の特徴の位置に基づく位置に、所定の条件を満たす第1の特徴の種類に応じた第1の仮想オブジェクトを配置し、複数の第1の特徴の位置に基づくそれぞれの位置に、各第1の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。
【0018】
また、情報処理装置の画像生成手段は、第2の特徴の位置に基づく位置に、該所定の条件として、第2の特徴に対して所定の位置関係にある第1の特徴の種類に応じた第1の仮想オブジェクトを配置するようにしてもよい。
【0019】
また、情報処理装置の画像生成手段は、第2の特徴の位置に基づく位置に、該所定の条件として、特徴検出手段によって検出された第1の特徴のうち、第1の特徴の種類毎に付された優先度の最も高い第1の特徴の種類に応じた第1の仮想オブジェクトを配置するようにしてもよい。
【0020】
また、情報処理装置の画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から、互いに種類の異なる複数の第1の特徴と、第2の特徴と、が検出された場合には、仮想空間において、第2の特徴の位置に基づく位置に、該複数の第1の特徴の種類の組み合わせに応じた第1の仮想オブジェクトを配置し、複数の第1の特徴の位置に基づくそれぞれの位置に、各第1の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。
【0021】
また、情報処理装置の画像生成手段は、特徴検出手段によって、現実空間の画像から、互いに種類の異なる複数の第1の特徴と、第2の特徴と、が検出された場合には、仮想空間において、第2の特徴の位置に基づく位置に、第2の特徴に対する第1の特徴の追加順に応じた第1の仮想オブジェクトを配置し、該複数の第1の特徴の位置に基づくそれぞれの位置に、各第1の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。
【0022】
また、情報処理装置の画像生成手段は、特徴検出手段によって、現実空間の画像から、互いに種類の異なる複数の第1の特徴と、第2の特徴と、が検出された場合には、仮想空間において、第2の特徴の位置に基づく位置に、第2の特徴に対する各第1の特徴の位置関係に応じた第1の仮想オブジェクトを配置し、該複数の第1の特徴の位置に基づくそれぞれの位置に、各第1の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。
【0023】
また、画像生成手段は、画像取得手段によって取得された現実空間の画像から第1の特徴及び第2の特徴が検出されることによって、第2の特徴の位置に基づく位置に、第1の特徴に応じた第1の仮想オブジェクトを配置して仮想空間の画像を生成している状態において、特徴検出手段によって、第2の特徴は検出されるものの第1の特徴が検出されなくなった場合に、仮想空間において、第2の特徴の位置に基づく位置に、第1の特徴に応じた第1の仮想オブジェクトを配置して仮想空間の画像を生成し続けるようにしてもよい。この場合、画像生成手段は、所定条件が満たされる場合に、第1の特徴が検出されなくなった後も第2の特徴に基づく位置に配置していた第1の仮想オブジェクトを、第2の特徴に基づく位置に配置せずに、仮想空間の画像を生成するようにしてもよい。所定条件は、例えば、第1の特徴が検出されなくなってから所定時間が経過することである。
【0024】
また、画像生成手段は、特徴検出手段によって、現実空間の画像から、第2の特徴が検出され、第1の特徴は検出されない場合には、仮想空間において、第2の特徴の位置に基づく位置に第2の特徴に対応付けられた仮想オブジェクトを配置して仮想空間の画像を生成するようにしてもよい。
【0025】
また、画像生成手段は、第1の特徴の位置に基づく位置に、第1の特徴に対応付けられた仮想オブジェクトを配置するようにしてもよい。第1の特徴に対応付けられた仮想オブジェクトは、第2の特徴の位置に基づく位置に第1の特徴に応じて配置される第1の仮想
オブジェクトとは異なる仮想オブジェクトであってもよい。
【0026】
また、第1の特徴は、第1の特徴に対応付けられた仮想オブジェクトの形態の少なくとも一部を模した図形であり、第2の特徴は、第2の特徴に対応付けられた仮想オブジェクトの形態を模した図形ではないようにしてもよい。これによって、第2の特徴は、第2の特徴に対応付けられた仮想オブジェクトの原型に縛られることなく、例えば、第2の特徴に対応付けられた仮想オブジェクトの原型である所定のキャラクタが登場するゲーム以外の用途でも使用することができる。
【0027】
また、第1の特徴は、所定のコンテンツをユーザーが取得可能な情報を保持し、該所定のコンテンツをユーザーが取得した後もユーザーの手元に残る情報保持装置に印刷され、第2の特徴は、情報保持装置の梱包材に印刷されるようにしてもよい。これによって、該所定のコンテンツをユーザーが取得した後にも、情報保持装置を再利用することができ、情報保持装置に新たな価値を付加することができる。
【0028】
また、本発明は、情報処理装置、1または複数の情報処理装置を有する情報処理システム、コンピュータによって実行される方法、またはコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【0029】
本発明によれば、視覚的な変化に富んだ拡張現実技術を提供することができる。
【図面の簡単な説明】
【0030】
図1】実施形態に係るシステムの構成を示す図である。
図2】実施形態に係る情報処理装置の機能構成の概略を示す図である。
図3】実施形態に係る情報処理の流れを示すフローチャートの一例である。
図4】実施形態において、共用マーカーと、1つの個別マーカーと、が検出された場合のディスプレイの画面の例である。
図5】実施形態において、共用マーカーと、1つの個別マーカーと、が検出された場合のディスプレイの画面の例である。
【発明を実施するための形態】
【0031】
以下、本発明の実施の形態を、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態毎に具体的構成が適宜採用されてよい。例えば、本発明は、携帯可能な情報処理装置のコンピュータにおいて実行される情報処理プログラム、情報処理装置、1または複数の情報処理装置を有する情報処理システムおよび情報処理方法等に適用することが出来る。
【0032】
<システムの構成>
図1は、本実施形態に係るシステム100の構成を示す図である。システム100には、情報処理装置1、および複数のカード2A,2B,2Y(但し、カードの種類を区別しない場合には、単に「カード2」と称する)が含まれる。
【0033】
情報処理装置1は、例えば、携帯ゲーム機,スマートフォン,携帯電話端末,タブレット端末等である。情報処理装置1は、CPU(Central Processing
Unit)11と、RAM(Random Access Memory)12、ROM(Read Only Memory)13、補助記憶装置14、撮像装置15、ディスプレイ(表示装置)16、および各種ボタンやタッチパネル等の入力装置17が電気的に接続された情報処理装置である。なお、情報処理装置1の具体的なハードウェア構成に関しては、実施の形態毎に適宜構成要素の省略や置換、追加が行われてよい。例えば、情報処理装置1が、据え置き型のゲーム装置である場合には、撮像装置15,ディスプレイ16,入力装置17等はそれぞれ独立した装置であり、周辺装置として情報処理装置1に接続される。
【0034】
CPU11は、中央処理装置であり、RAM12およびROM13等に展開された命令及びデータを処理することで、RAM12、補助記憶装置14等の、情報処理装置1に備えられた各構成要素を制御する。また、RAM12は、主記憶装置であり、CPU11によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、CPU11、RAM12、およびROM13は、情報処理装置1の制御部を構成する。
【0035】
補助記憶装置14は、不揮発性の記憶装置であり、主に情報処理装置1の電源を落としても保持したい情報、例えば、RAM12にロードされる情報処理装置1のOS(Operating System)や、後述する処理を実行するための各種プログラム、情報処理装置1によって使用される各種データ、等が書き込まれ、読み出される。補助記憶装置14としては、例えば、EEPROM(Electrically Erasable
Programmable ROM)やHDD(Hard Disk Drive)等を用いることが出来る。また、補助記憶装置14として、情報処理装置1に対して着脱可能に装着される可搬媒体が用いられてもよい。可搬媒体の例としては、EEPROM等によるメモリーカード、CD(Compact Disc)、DVD(Digital Versatile Disc)およびBD(Blu−ray Disc)等が挙げられる。可搬媒体による補助記憶装置14と、可搬型ではない補助記憶装置14とは、組み合わせて用いることも可能である。
【0036】
カード2A,2B,2Yには、印刷等の方法で互いに異なるマーカー3A,3B,3Y(但し、マーカーの種類を区別しない場合には、単に「マーカー3」と称する)が付されている。これらマーカー3は、情報処理装置1によって表示される仮想オブジェクトと対応付けられており、該マーカー3に対応付けられた仮想オブジェクトが表示される際の位置姿勢の基準を示す指標である。図1においてカード2は3枚示されているが、用いられるカード2は1枚であってもよいし、2枚以上のその他の枚数であってもよい。
【0037】
マーカー3A,3Bは、例えば、それぞれ、情報処理装置1によって、所定のキャラクタを模した仮想オブジェクトと対応付けられている。マーカー3A,3Bは、例えば、それぞれ、対応付けられている仮想オブジェクトの形態の少なくとも一部を模した図形である。具体的には、例えば、マーカー3A,3Bは、対応付けられた仮想オブジェクトの原型となるキャラクタの顔である。ただし、図面上では、便宜上、マーカー3A,3Bは、それぞれアルファベットで示されている。また、マーカー3A,3Bが印刷されているカード2A,2Bは、例えば、紙のカード,所定のコンテンツをユーザーが取得可能な情報を保持する情報保持装置等であってもよい。情報保持装置は、例えば、プリペイドカード等であり、所定のコンテンツはゲームアプリケーション、所定のコンテンツをユーザーが取得可能な情報は、ポイントやシリアルコード等である。情報保持装置は、ユーザーが所定のコンテンツを取得した後にもユーザーの手元に残るものである。
【0038】
マーカー3Yは、例えば、情報処理装置1によって、他のマーカー3との組み合わせに応じて異なる仮想オブジェクトと対応付けられている。また、マーカー3Yは、例えば、マーカー3A,3Bとは異なり、対応付けられている仮想オブジェクトの形態とは関連の
ない図形である。例えば、マーカー3Yとマーカー3Aとの組み合わせには、仮想オブジェクト(YA)が対応付けられており、マーカー3Yとマーカー3Bとの組み合わせには、仮想オブジェクト(YB)が対応付けられている。また、マーカー3Yは、例えば、紙のカード,マーカー3A、マーカー3Bが印刷されている情報保持装置の梱包材等に印刷されてもよい。情報保持装置の梱包材は、例えば、プリペイドカード等の台紙である。
【0039】
以降、マーカー3Yは、共用マーカー3Yと称することもある。また、マーカー3A,3Bを、個別マーカー3A,3B(区別しない場合には、個別マーカー3)と称する。個別マーカー3は、「第1の特徴」の一例である。共用マーカー3Yは、「第2の特徴」の一例である。
【0040】
本実施形態において、仮想オブジェクトは、情報処理装置1のディスプレイ16において、対応付けられたマーカー3に対して所定位置に合成表示される。また、仮想オブジェクトは、上下、前後、および左右の方向を有する。そのため、マーカー3は、仮想オブジェクトの表示姿勢を特定することが可能なものであることが好ましい。即ち、マーカー3は、撮像装置15を用いて撮像されることで、撮像装置15に対する位置および姿勢を特定可能な記号、文字、図形、絵、およびそれらの組み合わせ等であることが好ましい。
【0041】
次に、本実施形態に係る情報処理装置1が備える機能について説明する。本実施形態に係る情報処理装置1は、所謂AR機能を備えた情報処理装置である。情報処理装置1は、撮像装置15を用いて撮像された実空間の撮像画像に、仮想カメラを用いて描画(レンダリング)された仮想空間内の仮想オブジェクトを合成して、ディスプレイ16に表示する機能を有する。本実施形態において、仮想オブジェクトは、3次元の画像データである。但し、仮想オブジェクトは、2次元の画像データであってもよい。
【0042】
図2は、本実施形態に係る情報処理装置1の機能構成の概略を示す図である。本実施形態に係る情報処理装置1は、CPU11が、RAM12に展開された各種プログラムを解釈および実行することで、撮像画像取得部21,特徴検出部22,画像生成部25,及び表示制御部26を備える情報処理装置として機能する。本実施形態では、これらの機能がいずれも汎用のCPU11によって実行される例について説明しているが、これらの機能は、その一部または全部が、1または複数の専用のプロセッサによって実現されてもよい。
【0043】
撮像画像取得部21は、撮像装置15によって撮像された撮像画像を取得する。特徴検出部22は、撮像装置15によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカー3を検出することができる。マーカー3の検出は、例えば、画像認識エンジンを用いて行われる。また、特徴検出部22は、撮像された画像に含まれるマーカー3の検出とともに、該マーカー3の位置情報も検出することができる。マーカー3の位置情報は、例えば、ディスプレイ16の画面内のマーカー3の座標等である。
【0044】
画像生成部25は、仮想空間における、特徴検出部22によって検出されたマーカー3の位置に基づく位置に、マーカー3に対応する仮想オブジェクトを配置し、仮想カメラから見た仮想空間の画像を生成することで、仮想空間画像を描画(レンダリング)する。仮想オブジェクトは、仮想空間内で、マーカー3の座標系において、マーカー3の姿勢に応じた姿勢で、マーカー3の位置に基づく位置に配置される。マーカー3の座標系と姿勢とは、各マーカーについて、画像生成部25によって算出される。例えば、マーカー3のマーカー座標系は、マーカー3の中心点を原点とし、互いに直交する3軸によって構成される。現実空間に配置されたマーカー3を基準として仮想空間の座標系が定義されることにより、現実空間と仮想空間とを対応付けることができる。なお、実空間と仮想空間との対
応付けには、マーカー座標系を用いる方法以外の方法が採用されてもよい。マーカーの座標系及び姿勢の算出方法は、既知の方法のいずれが採用されてもよい。
【0045】
画像生成部25は、各マーカー3に対応付けられた仮想オブジェクトの情報を、後述のオブジェクト情報から取得する。ただし、共用マーカー3Yを含む複数のマーカーが検出された場合には、画像生成部25は、後述の組み合わせ情報から、共用マーカー3Y上に配置される仮想オブジェクトの情報を取得する。この場合に共用マーカー3Y上に配置される仮想オブジェクトは、共用マーカー3Yと組み合わされる個別マーカー3によって異なる。
【0046】
表示制御部26は、撮像画像取得部21によって取得された撮像画像に、画像生成部25によって生成された仮想オブジェクトを含む仮想空間画像を重畳した合成画像を、表示装置であるディスプレイ16によって表示させる。このようにすることで、ユーザーは、現実空間に、実際に仮想オブジェクトが存在するかのような感覚を得ることが出来る。
【0047】
次に、本実施形態に係る情報処理装置1が保持する情報について説明する。情報処理装置1は、補助記憶装置14に、マーカー情報,オブジェクト情報,及び組み合わせ情報を保持する。
【0048】
マーカー情報は、マーカー3に関する情報である。マーカー情報には、例えば、マーカー3を識別するためのマーカーID、マーカー画像、マーカーサイズ、対応オブジェクトID、仮想オブジェクトの位置姿勢、オブジェクトの表示サイズ等が含まれる。マーカー画像は、マーカー3の外観を示す画像である。また、マーカーサイズは、マーカー3の縦横の長さ等、マーカー3の大きさを示す情報である。画像生成部25は、マーカー画像とマーカーサイズに基づいて、撮像画像に含まれるマーカー3の見え方から、マーカー座標系を取得することができる。対応オブジェクトIDは、マーカー3に対応する位置に表示される仮想オブジェクトの識別番号である。なお、1つのマーカー3に対して2以上の仮想オブジェクトが対応付けられていてもよい。マーカー情報は、システム100において使用される各マーカー3に対して存在する。マーカー情報には、共用マーカー3Yの情報も含まれる。
【0049】
オブジェクト情報は、マーカー3に対応する位置に表示される仮想オブジェクトに関する情報である。オブジェクト情報には、例えば、仮想オブジェクトを識別するためのオブジェクトIDおよびオブジェクトのデータが含まれる。オブジェクト情報は、システム100において使用される各オブジェクトについて存在する。
【0050】
組み合わせ情報は、共用マーカー3Yと個別マーカー3との組み合わせと、共用マーカー3Yに対応する位置に表示される仮想オブジェクトのオブジェクトIDとの対応付けである。より具体的には、組み合わせ情報は、共用マーカー3Yと組み合わされる個別マーカー3のマーカーID、対応オブジェクトID、仮想オブジェクトの位置姿勢、オブジェクトの表示サイズ等が含まれる。組み合わせは、共用マーカー3Yに対して、1つの個別マーカー3の組み合わせであってもよいし、共用マーカー3Yに対して、複数の異なる個別マーカー3の組み合わせであってもよい。なお、1つの組み合わせに対して2以上の仮想オブジェクトが対応付けられていてもよい。
【0051】
<処理の流れ>
次に、本実施形態において実行される処理の流れを説明する。なお、本実施形態に係るフローチャートに示された処理の具体的な内容および処理順序は、本発明を実施するための一例である。具体的な処理内容および処理順序は、本発明の実施の形態毎に適宜選択されてよい。
【0052】
図3は、本実施形態に係る情報処理の流れを示すフローチャートの一例である。図3に示されるフローチャートは、情報処理装置1において、AR機能を起動するユーザー操作が受け付けられたことを契機として開始される。また、図3に示されるフローチャートは、例えば、撮像装置15から撮像画像が取得される周期である60フレーム/秒で分割されたフレーム毎に繰り返し実行される。
【0053】
ステップS1では、撮像画像取得部21は、撮像装置15によって撮像された撮像画像を取得する。ステップS2では、特徴検出部22が、撮像画像から、撮像された空間における特徴として、マーカー情報に含まれるマーカー画像に該当するマーカー3を検出し、マーカーが検出された場合には(S2:YES)、処理がステップS3に進む。マーカー3の検出は、一般的な画像認識エンジンを用いて行うことが可能である。マーカーが検出されない場合には(S2:NO)、図3に示される処理が終了する。
【0054】
ステップS3では、特徴検出部22によって検出されたマーカー3が複数である場合には(S3:YES)、処理がステップS5に進む。特徴検出部22によって検出されたマーカー3が1つである場合には(S3:NO)、処理がステップS4に進む。
【0055】
ステップS4では、画像生成部25は、仮想空間において、検出された1つのマーカー3に対応する位置に、マーカー3に対応する仮想オブジェクトを配置する。マーカー3に対応する仮想オブジェクトID及び仮想オブジェクトの表示位置等については、マーカー情報から取得される。仮想オブジェクトは、マーカー情報から取得されたオブジェクトIDによってオブジェクト情報から取得される。S2において検出された1つのマーカーが共用マーカー3Yである場合もステップS4に分岐し、共用マーカー3Yに対応する位置に、共用マーカー3Yに対応する仮想オブジェクトが配置される。
【0056】
ステップS5では、特徴検出部22は、検出した複数のマーカー3に共用マーカー3Yが含まれるか否かを判定する。共用マーカー3Yが含まれる場合には(S5:YES)、処理がステップS6に進む。共用マーカー3Yが含まれない場合には(S5:NO)、処理がステップS8に進む。
【0057】
ステップS6では、画像生成部25は、検出された共用マーカー3Yと個別マーカー3との組み合わせに対応する仮想オブジェクトのオブジェクトIDを組み合わせ情報から取得する。次に処理がステップS7に進む。
【0058】
ステップS7では、画像生成部25は、仮想空間において、共用マーカー3Yに対応する位置に、ステップS6で取得したオブジェクトIDの仮想オブジェクトを配置する。次に処理がステップS8に進む。
【0059】
ステップS8では、画像生成部25は、仮想空間において、個別マーカー3に対応する位置に、マーカー3に対応する仮想オブジェクトを配置する。次に処理がステップS9に進む。
【0060】
ステップS9では、画像生成部25は、仮想空間の画像を生成する。画像生成部25は、マーカー座標系に配置された1または複数の仮想オブジェクトを含む仮想空間の画像を、マーカー座標系において撮像装置15と同一の位置に配置された仮想カメラの視点から描画する。仮想オブジェクトを描画するためのオブジェクトのデータは、オブジェクト情報から取得される。なお、仮想オブジェクトは、1または数フレーム毎に変化することでアニメーションしてもよい。アニメーションは、例えば、仮想オブジェクトのキャラクタが表情を変えたり、動いたりするものとすることが出来る。その後、処理はステップS1
0へ進む。
【0061】
ステップS10では、表示制御部26は、撮像画像に仮想空間の画像を重畳した合成画像を生成し、この合成画像をディスプレイ16に出力し、表示させる。
【0062】
図4及び図5は、本実施形態に係る情報処理によってAR機能が提供される場合の、ディスプレイ16の表示画面の一例を示す図である。
【0063】
図4は、共用マーカー3Yと、個別マーカー3Aと、が検出された場合のディスプレイ16の画面の例である。図4に示される例では、個別マーカー3Aに対応する位置に仮想オブジェクト4Aが表示される。また、共用マーカー3Yに対応する位置に仮想オブジェクト4Y−Yと仮想オブジェクト4Y−Aとが表示される。
【0064】
図4に示される例の場合、マーカー情報において、個別マーカー3Aに仮想オブジェクト4Aが対応付けられている。組み合わせ情報において、共用マーカー3Yと個別マーカー3Aとの組み合わせに、仮想オブジェクト4Y−Yと仮想オブジェクト4Y−Aとが対応付けられている。画像生成部25は、このようなマーカー情報及び組み合わせ情報に従って、個別マーカー3Aに対応する位置に仮想オブジェクト4Aを、共用マーカー3Yに対応する位置に仮想オブジェクト4Y−Yと仮想オブジェクト4Y−Aとを配置する(図3、S6−S8)。
【0065】
図5は、共用マーカー3Yと、個別マーカー3Bと、が検出された場合のディスプレイ16の画面の例である。図5に示される例では、個別マーカー3Bに対応する位置に、仮想オブジェクト4Bが表示される。また、共用マーカー3Yに対応する位置には、仮想オブジェクト4Y−Yと仮想オブジェクト4Y−Bとが表示される。
【0066】
図5に示される例の場合、マーカー情報において、個別マーカー3Bに仮想オブジェクト4Bが対応付けられている。組み合わせ情報において、共用マーカー3Yと個別マーカー3Bとの組み合わせに、仮想オブジェクト4Y−Yと仮想オブジェクト4Y−Bとが対応付けられている。画像生成部25は、このようなマーカー情報及び組み合わせ情報に従って、個別マーカー3Bに対応する位置に仮想オブジェクト4Bを、共用マーカー3Yに対応する位置に仮想オブジェクト4Y−Yと仮想オブジェクト4Y−Bとを配置する(図3、S6−S8)。
【0067】
図4及び図5に示されるように、情報処理装置1では、共用マーカー3Yに対応する位置に表示される仮想オブジェクトは、共用マーカー3Yとともに検出される個別マーカー3の種類に応じて決められる。すなわち、1つの共用マーカー3Yに対して組み合わせる個別マーカー3によって、共用マーカー3Yに対応する位置に表示される仮想オブジェクトが変化する。これによって、視覚的に変化に富んだAR機能を提供することができる。
【0068】
なお、特徴検出部22が撮像画像から共用マーカー3Yのみを検出した場合には、画像生成部25は、マーカー情報において共用マーカー3Yに対応付けられている仮想オブジェクト(例えば、仮想オブジェクト4Y−Y)を、共用マーカー3Yに対応する位置に配置する。
【0069】
例えば、図4及び図5に示される例について、この後、個別マーカー3A又は個別マーカー3Bが撮像範囲から外された場合に、画像生成部25は、共用マーカー3Yに対応する位置に、仮想オブジェクト4Y−Y,4Y−Aの組み合わせの仮想オブジェクト,又は、仮想オブジェクト4Y−Y,4Y−Bの組み合わせの仮想オブジェクトを配置して仮想空間の画像を生成し続けてもよい。また、例えば、個別マーカー3A又は個別マーカー3
Bが検出されなくなってから所定時間経過後、又は、別の個別マーカー3が検出される場合等に、画像生成部25は、共用マーカー3Yに対応する位置に、仮想オブジェクト4Y−Y,4Y−Aの組み合わせの仮想オブジェクト,又は、仮想オブジェクト4Y−Y,4Y−Bの組み合わせの仮想オブジェクトを配置することをやめるようにしてもよい。
【0070】
また、図4及び図5に示される例において、組み合わせ情報において、共用マーカー3Yと個別マーカー3A又は個別マーカー3Bの組み合わせに対して、それぞれ、仮想オブジェクト4Y−Aのみ、又は、仮想オブジェクト4Y−Bのみを対応付けてもよい。この場合には、画像生成部25は、組み合わせ情報に基づいて、共用マーカー3Yに対応する位置に、仮想オブジェクト4Y−Aのみ、又は、仮想オブジェクト4Y−Bのみを配置する。
【0071】
また、上記実施形態では、共用マーカー3Yとともに検出される個別マーカー3が別の種類の個別マーカー3に更新されると、共用マーカー3Yに対応する位置に表示される仮想オブジェクトは、新たに検出された個別マーカー3と共用マーカー3Yとの組み合わせに対応づけられた仮想オブジェクトに更新される。ただし、これに限られず、共用マーカー3Yとともに検出される個別マーカー3が別の種類の個別マーカー3に更新されても、共用マーカー3Yに対応する位置に更新前から表示される仮想オブジェクトを維持し、新たに検出された個別マーカー3と共用マーカー3Yとの組み合わせに対応づけられた仮想オブジェクトを追加して表示するようにしてもよい。この場合には、例えば、個別マーカー3を撮像範囲から外し、共用マーカー3Yのみが所定時間検出され続けることによって、共用マーカー3Yに対応する位置に表示されていた複数の仮想オブジェクトをリセットするようにしてもよい。
【0072】
また、画像生成部25は、共用マーカー3Yと複数の個別マーカー3とが検出された場合には、図3のS7において、共用マーカー3Yに対応する位置に、組み合わせ情報において、共用マーカー3Yと該複数の個別マーカー3のそれぞれとの組み合わせに対応付けられている仮想オブジェクトを、すべて配置してもよい。この場合には、画像生成部25は、例えば、各仮想オブジェクトが重なり合わないように調整して配置する。例えば、特徴検出部22が、共用マーカー3Yと、個別マーカー3Aと、個別マーカー3Bと、を検出した場合には、画像生成部25は、共用マーカー3Yに対応する位置に、仮想オブジェクト4Y−Yと仮想オブジェクト4Aとを組み合わせた仮想オブジェクトと、仮想オブジェクト4Y−Yと仮想オブジェクト4Bとを組み合わせた仮想オブジェクトとを配置してもよい(図3、S7)。また、例えば、画像生成部25は、共用マーカー3Yの位置に基づく位置に、仮想オブジェクト4Y−Y,仮想オブジェクト4A,仮想オブジェクト4Bを、それぞれ単体で配置してもよい。
【0073】
または、情報処理装置1は、共用マーカー3Yと複数の個別マーカー3とを検出した場合には、共用マーカー3Yに対して所定の条件を満たす個別マーカー3を選択し、該個別マーカー3との組み合わせに対応付けられている仮想オブジェクトを共用マーカー3Yに対応する位置に表示してもよい。この場合、画像生成部25は、例えば、図3のS6の処理において、共用マーカー3Yに対して所定の条件を満たす個別マーカー3を選択し、組み合わせ情報から、共用マーカー3Yと該個別マーカー3との組み合わせに対応付けられた仮想オブジェクトの情報を取得する。
【0074】
例えば、所定の条件は、共用マーカー3Yに対する個別マーカー3の位置関係である。より具体的には、所定の条件は、個別マーカー3が共用マーカー3Yの最も近くに位置することであって、画像生成部25は、共用マーカー3Yの最も近くに位置する個別マーカー3を選択し、該個別マーカー3との組み合わせに対応する仮想オブジェクトを共用マーカー3Yに対応する位置に配置してもよい。又は、所定の条件は、個別マーカー3が共用
マーカー3Yから所定距離の範囲内に位置すること、個別マーカー3が共用マーカー3Yに向いていること、個別マーカー3が共用マーカー3Yとは反対の向きを向いていることであってもよい。なお、マーカー3の位置関係は、特徴検出部22によってマーカー3の検出とともに検出されるマーカー3の位置情報から、画像生成部25が判定する。
【0075】
または、例えば、所定の条件は、優先度であってもよい。組み合わせ情報において、共用マーカー3Yと各個別マーカー3との組み合わせに優先度を設定し、特徴検出部22が、共用マーカー3Yと複数の個別マーカー3とを検出した場合には、画像生成部25は、組み合わせ情報から、検出した中で最も高い優先度を有する共用マーカー3Yと個別マーカー3との組み合わせに対応付けられている仮想オブジェクトを選択し、共用マーカー3Yに対応する位置に選択した仮想オブジェクトを配置してもよい。
【0076】
また、組み合わせ情報において、共用マーカー3Yと複数の個別マーカー3との組み合わせに対して仮想オブジェクトを対応付けてもよい。このような対応付けがなされている場合には、特徴検出部22が、共用マーカー3Yと複数の個別マーカー3とを検出した場合には、画像生成部25は、共用マーカー3Yに対応する位置に、組み合わせ情報において、共用マーカー3Yと該複数の個別マーカー3との組み合わせに対応付けられた仮想オブジェクトを配置する。
【0077】
例えば、組み合わせ情報において、共用マーカー3Yと個別マーカー3Aと個別マーカー3Bとの組み合わせに対して仮想オブジェクト(Y)を対応付ける。特徴検出部22が、共用マーカー3Yと個別マーカー3Aと個別マーカー3Bとを検出する場合には、画像生成部25は、組み合わせ情報に基づいて、共用マーカー3Yに対応する位置に仮想オブジェクト(Y)を配置する(図3、S6、S7)。
【0078】
また、組み合わせ情報において、共用マーカー3Yと複数の個別マーカー3との組み合わせに対して仮想オブジェクトを対応付ける場合に、該複数の個別マーカー3の追加順によって仮想オブジェクトを設定してもよい。
【0079】
例えば、組み合わせ情報に、第1ステップとしての共用マーカー3Yと個別マーカー3Aとの組み合わせに仮想オブジェクト(A)を対応付け、該第1ステップに応じた第2ステップとしての共用マーカー3Y,個別マーカー3A,個別マーカー3Bの組み合わせに、仮想オブジェクト(X)を対応付ける。また、組み合わせ情報に、さらに、第1ステップとしての共用マーカー3Yと個別マーカー3Bとの組み合わせに仮想オブジェクト(B)を対応付け、該第1ステップに応じた第2ステップとしての共用マーカー3Y,個別マーカー3B,個別マーカー3Aの組み合わせに、仮想オブジェクト(Y)を対応付ける。
【0080】
特徴検出部22が、共用マーカー3Yと個別マーカー3Aとを検出した場合には、画像生成部25は、組み合わせ情報の第1ステップの組み合わせに基づいて、共用マーカー3Yに対応する位置に仮想オブジェクト(A)を配置する。次に、個別マーカー3Bが追加され、特徴検出部22が、共用マーカー3Y,個別マーカー3A,個別マーカー3Bを検出すると、画像生成部25は、組み合わせ情報の、共用マーカー3Yと個別マーカー3Aとの組み合わせの第1のステップに対応する第2ステップの組み合わせの情報に基づいて、共用マーカー3Yに対応する位置に仮想オブジェクト(X)を配置する(図3、S6、S7)。
【0081】
特徴検出部22が、共用マーカー3Yと個別マーカー3Bとを検出した場合には、画像生成部25は、組み合わせ情報の第1ステップの組み合わせに基づいて、共用マーカー3Yに対応する位置に仮想オブジェクト(B)を配置する。次に、個別マーカー3Aが追加され、特徴検出部22が、共用マーカー3Y,個別マーカー3B,個別マーカー3Aを検
出すると、画像生成部25は、組み合わせ情報の、共用マーカー3Yと個別マーカー3Bとの組み合わせの第1のステップに対応する第2ステップの組み合わせの情報に基づいて、共用マーカー3Yに対応する位置に仮想オブジェクト(Y)を配置する(図3、S6、S7)。
【0082】
このように、組み合わせ情報において、共用マーカー3Yと組み合わされる複数の個別マーカー3の追加順によって仮想オブジェクトを設定することで、例えば、共用マーカー3Y,個別マーカー3A,個別マーカー3Bの同じ組み合わせでも、個別マーカー3の追加順によって共用マーカー3Yに対応する位置に表示される仮想オブジェクトが異なる。
【0083】
また、組み合わせ情報において、共用マーカー3Yと複数の個別マーカー3との組み合わせに対して仮想オブジェクトを対応付ける場合に、共用マーカー3に対する各個別マーカー3の位置関係によって仮想オブジェクトを設定してもよい。
【0084】
例えば、組み合わせ情報の、共用マーカー3Y,個別マーカー3A,個別マーカー3Bの組み合わせにおいて、共用マーカー3Yに対する距離が個別マーカー3Aの方が個別マーカー3Bより近い場合には、仮想オブジェクト(X)を対応付け、共用マーカー3Yに対する距離が個別マーカー3Aの方が個別マーカー3Bより遠い場合には、仮想オブジェクト(Y)を対応付ける。この場合には、例えば、特徴検出部22が、共用マーカー3Y,個別マーカー3A,個別マーカー3Bの並びを検出すると、画像生成部25が組み合わせ情報に基づいて、共用マーカー3Yに対応する位置に仮想オブジェクト(X)を配置する(図3、S6,S7)。次に、個別マーカー3Aと個別マーカー3Bとの並びが入れ替えられると、特徴検出部22が、共用マーカー3Y,個別マーカー3B,個別マーカー3
Aの並びを検出し、画像生成部25が組み合わせ情報に基づいて共用マーカー3Yに対応する位置に仮想オブジェクト(Y)を配置する(図3、S6,S7)。
【0085】
このように、組み合わせ情報において、共用マーカー3Yに対する複数の個別マーカー3の位置関係によって仮想オブジェクトを設定することで、例えば、共用マーカー3Y,個別マーカー3A,個別マーカー3Bの同じ組み合わせでも、各個別マーカー3の共用マーカー3Yに対する位置関係によって、共用マーカー3Yに対応する位置に表示される仮想オブジェクトが異なる。
【0086】
以上のように、本実施形態によれば、共用マーカー3Yに対する個別マーカーの組み合わせ,又は、組み合わせ方法によって、共用マーカー3Yに対応する位置に表示される仮想オブジェクトが変化するので、AR機能を変化に富んだ娯楽性の高いものにすることができる。
【0087】
<実施形態のバリエーション>
上記説明した実施形態において、表示制御部26は、撮像画像に仮想空間の画像を重畳した合成画像を表示装置に表示させることで、ユーザーが、仮想空間の画像が現実空間に重畳されて視認可能とする。但し、表示制御部26は、仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させればよく、合成画像を表示する方式に限定されない。例えば、本発明は、HUD(Head−Up Display)や、ユーザーが装着しているメガネに仮想空間画像を映写する方式等、ユーザーの視界に仮想空間画像を映写することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術に適用されてもよい。
【0088】
上記説明した実施形態において、個別マーカー3は、個別マーカー3A,3Bの2つであったが、個別マーカー3の数は、2つに限られず、2以上であってもよい。
【0089】
上述した実施形態において、情報処理装置1は、単体で上述の処理を行ったが、これに限られない。上述した実施形態の処理は、複数の情報処理装置で分散して行われてもよい。例えば、組み合わせ情報は、ネットワーク上のデータベースに配置されており、情報処理装置1が該データベースにアクセスして組み合わせ情報を取得してもよい。また、例えば、画像生成部25の処理を、ネットワーク上のサーバに実行させるように設計することによって、情報処理装置1がマーカー3の検出結果をサーバに送信し、該サーバが仮想空間画像を生成して情報処理装置1に送信するようにしてもよい。
【符号の説明】
【0090】
1 情報処理装置
2A、2A、2Y カード
3A、3A、3Y マーカー
21 撮像画像取得部
22 特徴検出部
25 画像生成部
26 表示制御部
図1
図2
図3
図4
図5