特許 7172034 拡張現実（ＡＲ）映像の現実感を向上するＡＲ情報表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】拡張現実（ＡＲ）映像の現実感を向上するＡＲ情報表示方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221109BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 6

(21)【出願番号】P 2017248321

(22)【出願日】2017-12-25

(65)【公開番号】P2019114135

(43)【公開日】2019-07-11

【審査請求日】2020-11-18

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】石川 克則

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１４－２０３３２６（ＪＰ，Ａ）

【文献】特開２０１７－０１６４６６（ＪＰ，Ａ）

【文献】特開２００８－０６５６９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

カメラ、表示部及び制御部を有する端末装置上で、拡張現実（ＡＲ）映像を表示するための方法であって、
前記制御部が、前記カメラが取得した映像に関するカメラ品質情報を取得するステップと、
前記制御部が、前記カメラが取得した映像からＡＲマーカーを検出したか否かを判定するステップと、
前記制御部が、前記ＡＲマーカーが検出された場合、当該検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取得するステップと、
前記制御部が、当該取得したＡＲ情報を、前記カメラ品質情報を用いて加工するステップと、
前記制御部が、当該加工したＡＲ情報を前記カメラが撮影した映像に重畳することによりＡＲ映像を生成するステップと、
前記制御部が、当該生成したＡＲ映像を前記表示部で表示するステップと、
を含み、
前記カメラ品質情報は、前記カメラの解像度を示す解像度情報を含み、
前記加工するステップは、
前記取得したＡＲ情報を、前記解像度情報が示す解像度を有するバッファに描画することにより、前記取得したＡＲ情報の解像度を、前記解像度情報が示す解像度に変更するステップ
を含むことを特徴とする方法。

【請求項2】

前記カメラ品質情報は、前記カメラが撮影する映像が有するノイズを示すノイズ情報と、前記カメラの解像度を示す解像度情報と、のうちの少なくとも１つを含み、
前記加工するステップは、
前記取得したＡＲ情報に、前記ノイズ情報が示すノイズを付加するステップと、
前記取得したＡＲ映像の解像度を、前記解像度情報が示す解像度に変更するステップと、
のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記端末装置は、記憶部をさらに含み、
前記記憶部は、１又は複数のＡＲ情報を、前記ＡＲマーカーのパターン形状毎に対応付けて記憶しており、
前記ＡＲ情報を取得するステップは、前記記憶部から、前記検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取り出すステップを含むことを特徴とする請求項１又は２に記載の方法。

【請求項4】

カメラ、表示部及び制御部を有する端末装置上で、拡張現実（ＡＲ）映像を表示するためのプログラムであって、前記制御部に、
前記カメラが取得した映像に関するカメラ品質情報を取得するステップと、
前記カメラが取得した映像からＡＲマーカーを検出したか否かを判定するステップと、
前記ＡＲマーカーが検出された場合、当該検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取得するステップと、
当該取得したＡＲ情報を、前記カメラ品質情報を用いて加工するステップと、
当該加工したＡＲ情報を前記カメラが撮影した映像に重畳することによりＡＲ映像を生成するステップと、
当該生成したＡＲ映像を前記表示部で表示するステップと、
を実行させ、
前記カメラ品質情報は、前記カメラの解像度を示す解像度情報を含み、
前記加工するステップは、
前記取得したＡＲ情報を、前記解像度情報が示す解像度を有するバッファに描画することにより、前記取得したＡＲ情報の解像度を、前記解像度情報が示す解像度に変更するステップ
を含むことを特徴とするプログラム。

【請求項5】

前記カメラ品質情報は、前記カメラが撮影する映像が有するノイズを示すノイズ情報と、前記カメラの解像度を示す解像度情報と、のうちの少なくとも１つを含み、
前記加工するステップは、
前記取得したＡＲ情報に、前記ノイズ情報が示すノイズを付加するステップと、
前記取得したＡＲ映像の解像度を、前記解像度情報が示す解像度に変更するステップと、
のうちの少なくとも１つを含むことを特徴とする請求項４に記載のプログラム。

【請求項6】

前記端末装置は、記憶部をさらに含み、
前記記憶部は、１又は複数のＡＲ情報を、前記ＡＲマーカーのパターン形状毎に対応付けて記憶しており、
前記ＡＲ情報を取得するステップは、前記記憶部から、前記検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取り出すステップを含むことを特徴とする請求項４又は５に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実（ＡＲ）映像の現実感を向上するＡＲ情報表示方法及びプログラムに関する。

【背景技術】

【0002】

近年、例えばスマートフォンやタブレット端末用のアプリケーションとして、拡張現実（ＡＲ：Augmented Reality）技術を利用したものが盛んに開発されている（例えば、特許文献１参照）。ＡＲ技術とは、スマートフォン等のカメラで撮影して入力された現実の映像に対してＣＧで作成したデータや写真、ビデオ、テキストファイル等の電子データ（以下、ＡＲ情報）を重畳させる技術をいう。

【0003】

ＡＲ技術では、物や壁の表面に付されたＡＲマーカーを含んだ現実の映像をカメラで取得すると、取得した静止画像および動画像からＡＲマーカーの位置を算出し、カメラで取得した映像において当該算出した位置にＡＲ情報を重畳したＡＲ映像を端末の表示部に表示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－２１５９８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＡＲ技術においては、カメラで撮影した映像にはカメラセンサのノイズや低解像度による映像の劣化が生じるのに対し、ＡＲ情報には映像の劣化が生じない。そのため、重畳表示する際に、ＡＲ情報がカメラ映像に対して不自然に表示され、結果として出力されるＡＲ映像の現実感が失われてしまうという問題があった。

【0006】

本発明は、上記に鑑みてなされたものであり、ＡＲ映像の現実感を向上するＡＲ情報表示方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係るＡＲ情報表示方法は、カメラ、表示部及び制御部を有する端末装置上で、拡張現実（ＡＲ）映像を表示するための方法であって、前記制御部が、前記カメラが取得した映像に関するカメラ品質情報を取得するステップと、前記制御部が、前記カメラが取得した映像からＡＲマーカーを検出したか否かを判定するステップと、前記制御部が、前記ＡＲマーカーが検出された場合、当該検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取得するステップと、前記制御部が、当該取得したＡＲ情報を、前記カメラ品質情報を用いて加工するステップと、前記制御部が、当該加工したＡＲ情報を前記カメラが撮影した映像に重畳することによりＡＲ映像を生成するステップと、前記制御部が、当該生成したＡＲ映像を前記表示部で表示するステップと、を含み、前記カメラ品質情報は、前記カメラの解像度を示す解像度情報を含み、前記加工するステップは、前記取得したＡＲ情報を、前記解像度情報が示す解像度を有するバッファに描画することにより、前記取得したＡＲ情報の解像度を、前記解像度情報が示す解像度に変更するステップを含むことを特徴とする。

【0008】

本発明の他の態様に係るＡＲ情報表示プログラムは、カメラ、表示部及び制御部を有する端末装置上で、拡張現実（ＡＲ）映像を表示するためのプログラムであって、前記制御部に、前記カメラが取得した映像に関するカメラ品質情報を取得するステップと、前記カメラが取得した映像からＡＲマーカーを検出したか否かを判定するステップと、前記ＡＲマーカーが検出された場合、当該検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取得するステップと、当該取得したＡＲ情報を、前記カメラ品質情報を用いて加工するステップと、当該加工したＡＲ情報を前記カメラが撮影した映像に重畳することによりＡＲ映像を生成するステップと、当該生成したＡＲ映像を前記表示部で表示するステップと、を実行させ、前記カメラ品質情報は、前記カメラの解像度を示す解像度情報を含み、前記加工するステップは、前記取得したＡＲ情報を、前記解像度情報が示す解像度を有するバッファに描画することにより、前記取得したＡＲ情報の解像度を、前記解像度情報が示す解像度に変更するステップを含むことを特徴とする。

【発明の効果】

【0009】

本発明に係るＡＲ情報表示方法及びプログラムによると、ＡＲ映像の現実感を向上し、よりリアルなＡＲ体験を提供することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明に係るＡＲ情報表示プログラムがインストールされた端末装置の構成を示すブロック図である。

【図2】本発明に係るＡＲ情報表示方法を実行するための処理を示す処理フローを示す図である。

【図3】従来技術を利用して生成されたＡＲ映像と、本発明に係るＡＲ情報表示方法を利用して生成されたＡＲ映像とを比較するための図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。本発明では、映像に重畳する１又は複数のＡＲ情報を記憶した端末装置に、本発明の実施例に係るＡＲ情報表示プログラムがインストールされている。

【0012】

図１は、本発明に係るＡＲ情報表示プログラムがインストールされた端末装置の構成を示すブロック図である。図１には、制御部１１０と、カメラ１２０と、表示部１３０と、記憶部１４０と、を備えた端末装置１００が示されている。端末装置１００は、例えば、スマートフォンやタブレット端末等で構成することができる。

【0013】

制御部１１０は、例えば、ＣＰＵを含み、本発明に係るプログラムその他各種プログラムを実行し、端末装置１００における各処理を制御することができる。制御部１１０は、マーカー認識部１１１と、カメラ品質情報取得部１１２と、ＡＲ映像生成部１１３と、を含む。

【0014】

マーカー認識部１１１は、カメラ１２０が撮影した映像にＡＲマーカーが含まれているか否かを検出し、そのパターン形状を認識することができる。カメラ品質情報取得部１１２は、カメラ１２０が撮影した映像に関するカメラ品質情報を取得する。ＡＲ映像生成部１１３は、カメラ１２０が撮影した映像に、本発明に係るＡＲ情報表示方法を用いて生成したＡＲ情報を重畳することによりＡＲ映像を生成する。

【0015】

カメラ１２０は、例えば、スマートフォンやタブレット端末等の端末装置１００に搭載されたカメラとすることができる。

【0016】

表示部１３０は、制御部１１０が各種プログラムを実行することによって生成された各種画面、画像及び映像等を表示することができる。

【0017】

記憶部１４０は、例えば本発明に係るＡＲ情報表示プログラムやＡＲ情報など、種々の情報を記憶することができる。特に、記憶部１４０は、１又は複数のＡＲ情報を、それぞれＡＲマーカーのパターン形状毎に対応付けて記憶している。記憶部１４０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ、又はそれらの任意の組み合わせで構成される。

【0018】

ここで、カメラ品質情報は、例えば、カメラ１２０のノイズ情報及び解像度情報のうちの少なくとも１つを含むことができる。ノイズ情報は、例えば、カメラ１２０の映像におけるＡＲマーカーの一部（例えば無地部分）又は全部と、ＡＲマーカーに対応するＡＲ情報の一部又は全部との間で画素値の差分を事前又はカメラ撮影中に取得して、この差分をノイズパターンとすることにより、取得することができる。例えば、カメラ１２０の映像におけるＡＲマーカーの一部である無地部分と、記憶部１４０に記憶されているＡＲ情報において当該ＡＲマーカーの無地部分に対応する箇所の無地部分との画素値の差分を取得することが挙げられる。解像度情報は、カメラ１２０のドライバ等の情報から、サイズ、画素数（密度）、フレームレート等を事前又はカメラ撮影中に取得することにより、取得することができる。

【0019】

本発明では、ノイズ情報や解像度情報などのカメラ品質情報を取得し、カメラ品質情報に基づいてＡＲ情報を加工することによって、ＡＲ情報の現実感を高め、よりリアルなＡＲ体験を提供することが可能となる。

【0020】

図２は、本発明に係るＡＲ情報表示方法を実行するための処理を示す処理フローを示す。図２に示す以下のステップＳ２０１乃至Ｓ２０６は、制御部１１０によって実行される。

【0021】

図２に示すように、まず、ステップＳ２０１で、カメラ１２０が取得した映像に関するカメラ品質情報を取得する。カメラ品質情報は、例えばカメラ１２０が撮影する映像が有するノイズを示すノイズ情報と、カメラ１２０の解像度を示す解像度情報と、を含む。

【0022】

ステップＳ２０２で、カメラ１２０が取得した映像からＡＲマーカーを検出したか否かを判定する。上述のように、物や壁の表面にＡＲマーカーが付されており、当該ＡＲマーカーをカメラ１２０で撮影することによりＡＲマーカーを検出することができる。ＡＲマーカーを検出した場合、次のステップＳ２０３に進み、ＡＲマーカーが検出されない場合、ＡＲマーカーが検出されるまでステップＳ２０２を繰り返す。

【0023】

ステップＳ２０３で、検出したＡＲマーカーのパターン形状に対応するＡＲ情報を記憶部１４０から取り出して取得する。

【0024】

ステップＳ２０４で、取得したＡＲ情報をカメラ品質情報を用いて加工する。例えば、制御部１１０は、カメラ品質情報に含まれるノイズ情報が示すノイズをＡＲ情報に投影処理することにより、ＡＲ情報に対し実際の映像と同様のノイズを付加することができる。もしくは、制御部１１０は、ノイズ情報が示すノイズを含む描画用バッファにＡＲ情報を描画し、その描画用バッファに描画されたＡＲ情報を使用することにより、ＡＲ情報に対し実際の映像と同様のノイズを付加することができる。

【0025】

さらに例えば、制御部１１０は、カメラ品質情報に含まれる解像度情報が示す解像度を有する描画用バッファにＡＲ情報を描画し、その描画用バッファに描画されたＡＲ情報を使用することにより、ＡＲ情報の解像度を解像度情報が示す解像度（すなわち実際のカメラにおける解像度）に変更することができる。

【0026】

なお、ステップＳ２０４において例示した上述の加工の方法は、あくまで例示であってこれに限定されるものではなく、種々の方法を採用して、取得したＡＲ情報をカメラ品質情報を用いて加工することができる。

【0027】

ステップＳ２０５で、カメラ品質情報を用いて加工したＡＲ情報をカメラが撮影した映像に重畳することによりＡＲ映像を生成する。

【0028】

ステップＳ２０６で、生成したＡＲ映像を表示部１３０で表示する。

【0029】

ここで、ステップＳ２０３では、検出したＡＲマーカーのパターン形状に対応するＡＲ情報を記憶部１４０から取り出して取得するように構成したが、これに限定されず、端末装置１００の不図示の通信部を介してＡＲマーカーのパターン形状に対応するＡＲ情報をＡＲコンテンツサーバからダウンロードして取得するように構成してもよい。

【0030】

図３は、従来技術を利用して生成されたＡＲ映像と、本発明に係るＡＲ情報表示方法を利用して生成されたＡＲ映像とを例示的に比較するための図である。図３には、カメラを通して見える実映像３０１と、カメラを通して見える映像３０１に従来技術を利用してＣＧデータ（ＡＲ情報）を重畳した従来のＡＲ映像３０２と、ノイズ情報３０３と、本発明に係るＡＲ情報表示方法を利用してノイズ情報３０３を付加することにより生成されたＡＲ映像３０４と、が示されている。

【0031】

図３に示すように、カメラを通して見える実映像３０１には、恐竜の絵及びその題名をパターン形状とするＡＲマーカーのパネルが含まれている。従来のＡＲ映像３０２では、実映像３０１におけるＡＲマーカーが配置されている部分全体にＡＲ情報が重畳されている。ＡＲ情報は、ＡＲマーカーにおいて描かれた恐竜が骨の化石となってＡＲマーカーから飛び出したように見えるＣＧデータとなっている。従来のＡＲ映像３０２では、パネル部分及び飛び出した恐竜の化石部分のＣＧデータが周囲の映像に対して際立って不自然に表示されている。

【0032】

一方で、本発明に係るＡＲ情報表示方法を利用してノイズ情報３０３を付加することにより生成されたＡＲ映像３０４は、パネル部分全体及び飛び出した恐竜の化石部分全体にノイズが付加され、解像度が調整されることにより、ＣＧデータが周囲の映像となじんで表示されていることがわかる。

【0033】

このように、本発明に係るＡＲ情報表示方法によると、ＡＲ映像の現実感を向上し、よりリアルなＡＲ体験を提供することが可能となる。

【0034】

以上、本発明の実施例について説明したが、上記実施例は、本発明の単なる例示であって、当業者であれば、適宜設計変更可能である。

【図1】

【図2】

【図3】