特開 2025-22252 拡張現実表示方法及び拡張現実表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025022252

(43)【公開日】2025-02-14

(54)【発明の名称】拡張現実表示方法及び拡張現実表示プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250206BHJP

   G06F 3/0484 20220101ALI20250206BHJP

   A63H 3/00 20060101ALI20250206BHJP

   A63F 13/52 20140101ALN20250206BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

A63H3/00 Z

A63F13/52

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023126686

(22)【出願日】2023-08-03

(71)【出願人】

【識別番号】398034490

【氏名又は名称】株式会社ベナ

(74)【代理人】

【識別番号】100080838

【弁理士】

【氏名又は名称】三浦 光康

(74)【代理人】

【識別番号】100194261

【弁理士】

【氏名又は名称】栢原 崇行

(72)【発明者】

【氏名】渡邊 高明

【テーマコード（参考）】

2C150

5B050

5E555

【Ｆターム（参考）】

2C150CA02

2C150CA06

2C150CA08

2C150CA18

2C150DD14

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050BA20

5B050CA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5E555AA26

5E555AA63

5E555AA76

5E555BA05

5E555BA06

5E555BB05

5E555BB06

5E555BC08

5E555BE17

5E555CA12

5E555CA42

5E555CB12

5E555CB20

5E555CB33

5E555DA09

5E555DB57

5E555DC09

5E555DC13

5E555DC85

5E555DD06

5E555EA07

5E555EA22

5E555FA00

(57)【要約】

【課題】 様々な演出が可能な拡張現実表示方法及び拡張現実表示プログラムを提供すること。
【解決手段】玩具を携帯端末のカメラで画像認識し、前記玩具の特徴点を取得する特徴点取得工程と、前記特徴点と記憶装置に記憶されている特徴点を照合する特徴点照合工程と、前記特徴点照合工程で特徴点が一致した前記玩具に関連する拡張現実画像を前記携帯端末の表示部に表示する拡張現実画像表示工程と、前記拡張現実画像表示工程で前記表示部に前記拡張現実画像が表示された状態で所定の操作した場合に、前記玩具に関連する仮想現実画像を前記表示部に表示する仮想現実画像表示工程とから構成されることを特徴とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

玩具を携帯端末のカメラで画像認識し、前記玩具の特徴点を取得する特徴点取得工程と、前記特徴点と記憶装置に記憶されている特徴点を照合する特徴点照合工程と、前記特徴点照合工程で特徴点が一致した前記玩具に関連する拡張現実画像を前記携帯端末の表示部に表示する拡張現実画像表示工程と、前記表示部に前記拡張現実画像が表示された状態で所定の操作した場合に、前記玩具に関連する仮想現実画像を前記表示部に表示する仮想現実画像表示工程とから構成される拡張現実表示方法。

【請求項2】

前記仮想現実画像表示工程では、前記玩具の内部構造を表示するものであることを特徴とする請求項１に記載の拡張現実表示方法。

【請求項3】

前記仮想現実画像表示工程では、前記仮想現実画像が表示されている時に使用者が所定の操作を行った場合は、前記玩具に関連する情報を更に表示することを特徴とする請求項２に記載の拡張現実表示方法。

【請求項4】

前記玩具は、台座と前記台座に設けられた玩具本体とで構成されることを特徴とする請求項１乃至請求項３のいずれかに記載の拡張現実表示方法。

【請求項5】

携帯端末の表示部に拡張現実画像及び仮想現実画像を表示させる拡張現実表示プログラムであって、
玩具を携帯端末のカメラで画像認識する処理と、画像認識した前記玩具の特徴点を取得する処理と、取得した特徴点と記憶装置に記憶されている特徴点を照合する処理と、特徴点が一致した前記玩具に関連する前記拡張現実画像を前記携帯端末の表示部に表示させる処理と、前記拡張現実画像表示後、所定の操作がされたか判断し、所定の操作がされた場合には、前記玩具に関連する前記仮想現実画像を前記表示部に表示する処理とを含む拡張現実表示プログラム。

【請求項6】

前記仮想現実画像は、前記玩具の内部構造を表示するものであることを特徴とする請求項５に記載の拡張現実表示プログラム。

【請求項7】

前記仮想現実画像が表示されている時に使用者が所定の操作を行った場合は、前記玩具に関連する情報を前記仮想現実画像と合わせて更に表示する処理を行うことを特徴とする請求項６に記載の拡張現実表示プログラム。

【請求項8】

前記玩具は、台座と前記台座に設けられた玩具本体とで構成されることを特徴とする請求項５乃至請求項７のいずれかに記載の拡張現実表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は主にカプセルトイ等の玩具を携帯端末のカメラで読み込み、前記携帯端末の表示部に拡張現実画像等を表示させる拡張現実表示方法及び拡張現実表示プログラムに関する。

【背景技術】

【0002】

従来、カプセルトイ等の玩具を用いた拡張現実表示方法やプログラム等としては「所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部により前記玩具を撮影して得た画像を取得する処理と、前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の像の上に重ね合わせて前記表示部に表示する処理と、を実行させる端末プログラム。」が知られている（特許文献１）。

【0003】

しかしながら、このようなプログラムでは、フィギュアに演出用映像を重ね合わせて表示するだけであり、それ以上の演出や画像は表示できないものであった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－２１１８７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は以上のような従来の欠点に鑑み、様々な演出が可能な拡張現実表示方法及び拡張現実表示プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の請求項１に記載の拡張現実表示方法は、玩具を携帯端末のカメラで画像認識し、前記玩具の特徴点を取得する特徴点取得工程と、前記特徴点と記憶装置に記憶されている特徴点を照合する特徴点照合工程と、前記特徴点照合工程で特徴点が一致した前記玩具に関連する拡張現実画像を前記携帯端末の表示部に表示する拡張現実画像表示工程と、前記表示部に前記拡張現実画像が表示された状態で所定の操作した場合に、前記玩具に関連する仮想現実画像を前記表示部に表示する仮想現実画像表示工程とから構成されることを特徴とする。

【0007】

請求項２に記載の拡張現実表示方法の前記仮想現実画像表示工程では、前記玩具の内部構造を表示するものであることを特徴とする。

【0008】

請求項３に記載の拡張現実表示方法の前記仮想現実画像表示工程では、前記仮想現実画像が表示されている時に使用者が所定の操作を行った場合は、前記玩具に関連する情報を更に表示することを特徴とする。

【0009】

請求項４に記載の拡張現実表示方法の前記玩具は、台座と前記台座に設けられた玩具本体とで構成されることを特徴とする。

【0010】

請求項５に記載の拡張現実表示プログラムは、携帯端末の表示部に拡張現実画像を表示させる拡張現実表示プログラムであって、
玩具を携帯端末のカメラで画像認識する処理と、画像認識した前記玩具の特徴点を取得する処理と、取得した特徴点と記憶装置に記憶されている特徴点を照合する処理と、特徴点が一致した前記玩具に関連する拡張現実画像を前記携帯端末の表示部に表示させる処理と、前記拡張現実画像表示後、所定の操作がされたか判断し、所定の操作がされた場合には、前記玩具に関連する仮想現実画像を前記表示部に表示する処理とを含むことを特徴とする。

【0011】

請求項６に記載の拡張現実表示プログラムの前記仮想現実画像は、前記玩具の内部構造を表示するものであることを特徴とする。

【0012】

請求項７に記載の拡張現実表示プログラムの前記仮想現実画像が表示されている時に使用者が所定の操作を行った場合は、前記玩具に関連する情報を仮想現実画像と合わせて更に表示する処理を行うことを特徴とする。

【0013】

請求項８に記載の拡張現実表示プログラムの前記玩具は、台座と前記台座に設けられた玩具本体とで構成されることを特徴とする。

【発明の効果】

【0014】

以上の説明から明らかなように、本発明にあっては次に列挙する効果が得られる。
（１）請求項１乃至請求項８に記載された発明においては、拡張現実画像が表示された状態で所定の操作をすることにより、さらに仮想現実画像を表示することができる。
したがって、様々な演出が可能となる。

【図面の簡単な説明】

【0015】

図１乃至図３は本発明の第１の実施形態を示す説明図である。

【図1】第１実施形態の拡張現実表示方法の工程図。

【図2】携帯端末等のブロック図。

【図3】拡張現実表示プログラムのフロー図。

【発明を実施するための形態】

【0016】

以下、図面に示す本発明を実施するための形態により、本発明を詳細に説明する。

【0017】

図１乃至図３に示す本発明を実施するための第１の形態において、１は携帯端末に拡張現実画像を表示させる拡張現実表示方法である。

【0018】

この拡張現実表示方法１は、図１に示すように、玩具３を携帯端末２のカメラ４で画像認識し、前記玩具３の特徴点を取得する特徴点取得工程５と、前記特徴点と前記携帯端末２の記憶装置６に記憶されている特徴点を照合する特徴点照合工程７と、前記特徴点照合工程７で特徴点が一致した前記玩具３に関連する拡張現実画像を前記携帯端末２の表示部８に表示する拡張現実画像表示工程９と、前記拡張現実画像表示工程９で前記表示部８に表示された前記拡張現実画像又は前記カメラ４を介して前記表示部８に表示された前記玩具３のいずれかを操作した場合に、前記玩具３に関連する仮想現実画像を前記表示部８に表示する仮想現実画像表示工程１０とで構成されている。これらの工程は、後述する拡張現実表示プログラム１５によって実行される。

【0019】

なお、本発明において「画像」とは、静止画だけでなく動画も含まれ、携帯端末２を操作するものがタップ等することで変化する静止画や動画も含まれるものであり、また、表示部に表示される文字列等の情報も含まれる。

【0020】

玩具３は、本実施形態においては、いわゆるカプセルトイで、この玩具３は、台座１２と前記台座１２に設けられた玩具本体１１とで構成されており、この玩具本体１１は船や車両等の乗り物の形状に形成されている。

【0021】

なお、本実施形態では、玩具としてカプセルトイを用いているが、機械、乗り物、動物、昆虫、建築物等の模型等も含むものである。

【0022】

特徴点取得工程５は、使用者が携帯端末２を操作することで、玩具３を携帯端末２のカメラ４で画像認識し、玩具の特徴点を取得する工程である。具体的には、本実施形態では、玩具本体１１の外観形状を赤外線で計測するとともに、台座１２の外観形状を赤外線で計測し、玩具本体１１の特徴点と台座１２の特徴点を取得する。この特徴点は外形を示す点群データとして取得される。なお、この台座１２に、玩具本体１１の特徴点等の情報を記載した二次元コード等を記載しておき、この情報を認識してもよい。

【0023】

なお、本実施形態では台座１２と玩具本体１１で玩具３を構成し、玩具本体１１と台座１２の特徴点を取得して特徴点の照合を行っているが、台座１２が不要な形状・大きさ等である場合には玩具本体１１のみで玩具３を構成し、玩具本体１１の特徴点のみを取得して特徴点を照合してもよい。

【0024】

ところで、本実施形態において携帯端末２は、図２に示すように、カメラ４、記憶装置６、表示部８、スピーカー１４、演算装置１６等を備えるスマートフォンやタブレット等の電子機器が想定されているが、これらの限られず、カメラ４とカメラ４で画像認識した画像を表示できる表示部８を備える電子機器であればどのようなものであってもよい。

【0025】

特徴点照合工程７では、特徴点取得工程５で取得した玩具３の特徴点を携帯端末２の記憶装置６に記憶された特徴点データベース１３と照合し、特徴点が一致する玩具の拡張現実画像を抽出する。

【0026】

この特徴点データベース１３は、対象となる玩具３の点群データ、すなわち玩具３の多数の特徴点のＸＹＺ座標群が記録されており、その玩具３の拡張現実画像や仮想現実画像にも紐付けられている。

【0027】

ところで、本実施形態においては、携帯端末２の記憶装置６に特徴点データベース１３、拡張現実画像及び仮想現実画像が記憶されているが、携帯端末２にインターネットを介して接続された外部の記憶装置６に記憶されていてもよい。

【0028】

拡張現実画像表示工程９では、特徴点照合工程７で特徴点が一致した前記玩具３に関連する拡張現実画像を前記携帯端末２の表示部８に表示する。

【0029】

この拡張現実画像は、いわゆるＡＲ画像で、例えば玩具３が船の模型である場合、携帯端末２の表示部８には、船の周囲に水面の画像が表示され、船が航行しているような演出が行われる。

【0030】

仮想現実画像表示工程１０では、表示部８に拡張現実画像が表示された状態で所定の操作された場合に、前記玩具３に関連する仮想現実画像が表示部８に表示される。この所定の操作とは、例えば携帯端末２の表示部８の所定の位置をタッチする、携帯端末２のボタンやキー等をタッチ又は押下する等の操作をいう。本実施形態においては、カメラ４を介して表示部８に表示された玩具３の画像をタッチすることにより仮想現実画像が表示部８に表示される。

【0031】

仮想現実画像は、いわゆるＶＲ画像で、例えば玩具３が船の模型である場合、船の画像をタッチすることにより、船の屋根が外れて船の内部構造が表示される。さらに屋根が外れた状態で、船の内部をタッチすることにより、仮想現実画像として船内ＶＲ画像が表示され、この船内ＶＲ画像を操作することにより、船内を３６０度見渡すことや、船内をタッチ操作した方向に移動するように画像が表示される。

【0032】

また、この仮想現実画像が表示されている時に使用者が所定の操作を行った場合は、前記玩具３に関連する情報が更に表示される。例えば玩具３が船の模型である場合、船の所定の位置をタップすることにより、船の仕様に関する情報や設計者に関する情報等が表示される。

【0033】

ところで、拡張現実画像表示工程９や仮想現実画像表示工程１０で拡張現実画像や仮想現実画像を表示する際に、出現エフェクト等の演出的なＣＧを用いてさらに演出を行っても良い。また、拡張現実画像や仮想現実画像を表示する際や拡張現実画像や仮想現実画像を表示している時に、携帯端末２のスピーカー１４から音楽や効果音等を再生してもよい。本実施形態では、これらのＣＧや音楽等は携帯端末２の記憶装置６に記憶されているが、例えばこれらのデータをインターネットを介して接続された外部の記憶装置６に記憶するものであってもよい。

【0034】

本発明の拡張現実表示方法１に用いられ、前記携帯端末２にインストールされる拡張現実表示プログラム１５は、玩具３を携帯端末２のカメラ４で画像認識する処理と、画像認識した前記玩具３の特徴点を取得する処理と、取得した特徴点と記憶装置６に記憶されている特徴点を照合する処理と、特徴点が一致した前記玩具３に関連する拡張現実画像を前記携帯端末２の表示部８に表示させる処理と、前記拡張現実画像表示後、所定の操作がされたか判断し、所定の操作がされた場合には、前記玩具３に関連する仮想現実画像を前記表示部８に表示する処理とを含むものである。

【0035】

この拡張現実表示プログラム１５では図３に示すように、まず、携帯端末２のカメラ４を介して玩具３を画像認識すると、玩具３の特徴点を取得し、特徴点データベース１３に記憶された玩具３の特徴点と照合する。特徴点を取得する方法としては、二次元コード及びビジュアル・ポジショニング・システムを用いて行われている。ビジュアル・ポジショニング・システムは事前にスキャンし、特徴点データベース１３に記憶された玩具３の特徴点のデータを参照し、カメラ４で画像認識されている映像を元に携帯端末２で位置や方向を推定している。このビジュアル・ポジショニング・システムは本実施形態では、拡張現実画像の表示等にも利用される。

【0036】

照合した結果、一致した玩具３が発見できた場合には、出現エフェクトが再生された後、拡張現実画像を表示部８に表示する。

【0037】

照合した結果、一致する玩具３がない場合には、その旨を表示して終了するが、適宜再度照合を行ってもよい。

【0038】

拡張現実画像が表示部８に表示されている状態で、所定の操作が行われたかを判断し、操作が行われた場合には、出現エフェクト等が表示部８に表示された後、仮想現実画像が表示部８に表示される。

【0039】

ここで、所定の操作とは、例えば表示部８に表示された玩具３をタッチする、携帯端末２のボタンを押下又はタッチする、表示部８に表示された仮想現実画像表示、ＶＲモード等のボタン（ソフトキー）をタッチすること等が考えられる。

【0040】

この仮想現実画像が表示された状態では、玩具３の内部構造を使用者の操作によって表示可能で、必要に応じて玩具３についての情報等も使用者の操作によって表示することができる。

【0041】

ところで、仮想現実画像が表示された状態から表示部８の所定の部位をタッチする、携帯端末２のボタンを押下又はタッチ等の所定の操作が行われた場合には、仮想現実画像の表示が終了し、拡張現実画像のみが表示されるように処理してもよい。

【0042】

なお、拡張現実画像や仮想現実画像を表示している時に、表示部８に表示されている画像をスクリーンショットする機能やＳＮＳ等にシェアする処理を行えるようにしてもよい。

【産業上の利用可能性】

【0043】

本発明は拡張現実表示方法及び拡張現実表示プログラムを使用する産業で利用される。

【符号の説明】

【0044】

１：拡張現実表示方法、 ２：携帯端末、
３：玩具、 ４：カメラ、
５：特徴点取得工程、 ６：記憶装置、
７：特徴点照合工程、 ８：表示部、
９：拡張現実画像表示工程、 １０：仮想現実画像表示工程、
１１：玩具本体、 １２：台座、
１３：特徴点データベース、 １４：スピーカー、
１５：拡張現実表示プログラム、 １６：演算装置。

【図1】

【図2】

【図3】