特開 2022-102983 コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022102983

(43)【公開日】2022-07-07

(54)【発明の名称】コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220630BHJP

   G06F 3/0484 20220101ALI20220630BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2020218082

(22)【出願日】2020-12-26

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＨＯＴＯＳＨＯＰ

(71)【出願人】

【識別番号】720011380

【氏名又は名称】ネクストアール株式会社

(72)【発明者】

【氏名】堂下 雅弘

(72)【発明者】

【氏名】藤田 優介

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA08

5B050BA09

5B050BA12

5B050BA13

5B050BA18

5B050BA20

5B050CA07

5B050DA01

5B050EA03

5B050EA12

5B050EA19

5B050EA24

5B050EA26

5B050FA02

5E555AA25

5E555BA04

5E555BB04

5E555BC04

5E555BE17

5E555CB48

5E555DA02

5E555DC13

5E555DC85

5E555FA00

(57)【要約】      （修正有）

【課題】二次元コードを付加することによって、二次元コード情報から得られるテキストデータを元に任意の拡張現実（ＡＲ）コンテンツの提供するコンテンツ表示装置、コンテンツ表示方法、プログラム及びコンテンツ表示システムを提供する。
【解決手段】プログラムは、ユーザーがユーザー登録しソフトウエアに自分のIDを発行することで、自分のＡＲコンテンツ作成のための準備を実施し、ＡＲコンテンツの作成に必要なコンテンツ元画像をユーザーが提供すると、提供された情報から、ＡＲコンテツを作成し、ARマーカーを表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

拡張現実（ＡＲ）を提供するためのシステムに使用されるＡＲマーカーであって、ＡＲコンテンツの提供のために使用されるＡＲマーカーに内包する形で、QRコード（登録商標）を付加することによって、QRコード情報から得られるテキストデータを元に任意のＡＲコンテンツの提供を可能にしたシステム。前記のＡＲマーカーではＡＲコンテンツを表示する仮想的な場所を指定する役割を担い、ＱＲコード情報からはQRコード情報が持つテキストデータの情報を元に任意のＡＲコンテンツをユーザーに提供する。
ユーザーがQRコードをスマートフォンなどのデバイスによって読み込みをした、同位置にＡＲコンテンツを提供するように構成されているＡＲマーカー。

【請求項2】

（請求項１）において、QRコードが付加されたＡＲマーカを自動的に生成しユーザーに提供するシステム。

【請求項3】

ユーザーが設定するＡＲコンテンツにおいて、ＡＲコンテンツが人物またはそれに類するものであり、提供された画像が人物またはそれに類するものであった場合に、コンテンツに対してアニメーションなどの動きをつけるための前処理を自動的に行うシステム。前処理とは人の形をした画像に対して顔、胴体、手足のそれぞれの部位をそれぞれの部位として認識できるように記号づけをし、コンテンツとして自由に動かせるようにするための処理。

【請求項4】

ユーザーが設定するＡＲコンテンツにおいて、ＡＲコンテンツが人物またはそれに類するもの、または動物またはそれに類するものである場合にあって、上述の（請求項３）における前処理がほどこされたコンテンツに対してアニメーションなどの動きをその提供された画像を自動的に判別し動きをつけたＡＲコンテンツとして提供する一連のシステム。

【請求項5】

（請求項１）においてユーザーが設定するＡＲコンテンツにおいて、ＡＲコンテンツが人物またはそれに類するものであり、提供された画像が人物またはそれに類するものが背景を保持する画像であった場合に、背景のみを自動的に選択しそれを透過する。前記システムにおいて人物またはそれに類するものを自動的に抽出するシステム。

【請求項6】

提供するＡＲコンテンツを作成するシステムであって、ユーザーが任意の画像を4枚提供することによって四角形で囲まれた画像を縦に4つ連なるコンテンツとして生成する。各画像に対して任意の文章と吹き出しを追加することが可能である。4つの連なるコンテンツの外部にテキストを追加することが可能であり、これらを一つのＡＲコンテンツとして認識可能である。

【請求項7】

上述の（請求項３）（請求項４）（請求項５）（請求項６）において、コンテンツをウェブブラウザ上にて閲覧・体験可能なコンテンツとして配信が出来る。ウェブブラウザ内のｉｆｒａｍｅ内に表示する形式にＡＲコンテンツを画像として変換し、ＡＲコンテンツを確認することができる。変換においてはＡＲコンテンツが保有する各画像における位置情報、寸法情報、傾斜情報を二次元画像に置き換えることで可能になる。

【請求項8】

上述の（請求項１）（請求項２）で生成されたＡＲマーカ並びにQRコードにおいて出力先としてコンビニエンスストアで提供されるネットプリントに連携される。ＡＲマーカ並びにQRコード作成時にユーザーが任意のタイミングで指示することにより、APIを呼び出しＡＲマーカ並びにQRコードの二次元画像をデータとして提供する。また、これらの機能を実行可能にするシステム。

【請求項9】

上述の（請求項１）（請求項２）で生成されたＡＲマーカ並びにQRコードにおいて出力先として名刺に印刷物として出力することが出来る。ＡＲマーカ並びにQRコード作成時にユーザーが任意のタイミングで指示することにより、ＡＲマーカ並びにQRコードの二次元画像をデータとして印刷物として出力することができるシステム。

【請求項10】

上述の（請求項１）（請求項２）で生成されたＡＲマーカ並びにQRコードにおいてその二次元画像を印刷物として提供可能なデータ形式に変換し出力するシステム。データ形式は画像編集ソフトウェアＰｈｏｔｏｓｈｏｐ、Illustratorとして出力され、そのデータは印刷物として入稿が可能な状態として提供される。

【請求項11】

ユーザーからＡＲコンテンツに使用する為に提供された画像に対して、ユーザーの指示により画像に対して当該画像に対して似顔絵に類似した特徴を持つ画像を元画像から作成し、ＡＲコンテンツとして提供する。

【請求項12】

ＡＲマーカーにおいてそれをスマートフォンなどでユーザーが閲覧しているという情報、並びにユーザーから指示によりＡＲコンテンツの自体の操作を同時に同じＡＲマーカーを閲覧している別のユーザーが認識することが可能で、ユーザー同士においてＡＲマーカーを媒介としてお互いに指示することによりお互いが知覚するシステム。同時にやりとりされる情報にあって、各端末の情報ならびにユーザーの指示によるデータの発生を相互に確認することが可能。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実（ＡＲ）のコンテンツを提供するためのＡＲマーカーに係るものであって、ＡＲマーカーに内包される形でQRコード（登録商標）を付加しているものである。
ＡＲマーカーの提供に関してコンテンツの元となるデータを入力することで、自動的にＡＲマーカーとして生成するものである。ＡＲのコンテンツとして提供されるデータをコンテンツの元画像から自動的に生成する。

【背景技術】

【0002】

従来、印刷されたマーカーを読み取って、携帯端末の表示部にマーカーの情報に紐づけられた３次元画像等を表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）技術が開発され、出版物、Webページ、包装などに利用されている

【0003】

先行技術文献においては電子透かし技術を利用してARマーカーに足して情報を付加することにより、電子透かしに登録された情報を元にコンテンツの出しわけを行っているが、ユーザーに対して電子透かしを認識できる端末が無い場合はでは使用することが出来ない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特願２０１３ー９８１４０（Ｐ２０１３?９８１４０）

【発明の概要】

【発明が解決しようとする課題】

【0005】

通常であればＡＲマーカーとQRコードは別のものとして利用される、ＡＲマーカーにはそれ自体にはコンテンツの提供と仮想的な場所の情報が登録されており、QRコードで提供されるのはテキストデータでありURL情報などが登録されている。それぞれが担おう作業は別であるが故にユーザーはそれぞれに対して読み込みを実施しなくてはならない。

【0006】

ＡＲのコンテンツを作成することは通常であればそれぞれの３Dコンテンツデータを個別で用意し、サーバーなどのアップロードを経て提供されるものでありそのためには３Dに関する技術や３Dのコンテンツを作成するためのソフトウエアが必要である。

【課題を解決するための手段】

【0007】

〔発明１〕 上記目的を達成するために、図１のように、１ＡＲマーカーの中に２QRコードを内包した形で図１を生成する。

【0008】

〔発明２〕 上記目的を達成するために、ＡＲのコンテンツを作成するにあたりそのソフトウエアを提供することで可能にする。図２のシステムにおいて、３ユーザー登録にていユーザーはソフトウエアに自分のIDを発行することで自分のＡＲコンテンツ作成のための準備を実施する。次いで、５コンテンツ元画像提供にてユーザーはＡＲコンテンツの作成に必要な画像を提供する。
６ＡＲコンテンツ作成においては５コンテンツ元画像提供にて提供された情報から、ＡＲコンテツを作成し、７ARマーカーを表示する。

【0009】

上記、段落（０００８）において図２の５コンテンツ元画像において提供された画像が人またはそれに類するものであった場合には図３のとおり８人または類する画像かの処理を実施し、該当する場合においてはその画像に対してアニメーションをつけることができるように９画像に対してのボーン追加処理にて当該画像に対してボーンを追加する処理を行う。

【0010】

ボーンを入れる処理は図３においてコンテンツの元画像が図３(ａ)の１１であった場合に図４(ｂ)１２の状態として図３(ｂ)１３ボーンや1４ボーンに対する頂点をコンテンツ画像である図４(ａ)11に対して自動的に付加し、ＡＲコンテンツとして利用できる状態にすることである。

【0011】

上記、段落（０００８）において図２の５コンテンツ元画像において提供された画像が図５（ａ）の１４のように背景が存在した画像であり人またはそれに類するものであった場合に、図５（ｂ）の１５のように背景を取り除いた処理を加えてＡＲコンテンツとして提供をする。

【0012】

上記、段落（０００８）において図２の５コンテンツ元画像において提供された画像が4枚であり、ユーザーの指示により4コマ漫画として出力依頼があった場合においては図６の１７のようにタイトルとユーザーから提供された画像4枚を直列に配置した一枚の画像としてＡＲコンテンツを生成する。ユーザーから入力されたタイトルは１８タイトルとして配置され、ユーザーが１枚目に登録した画像は１９として表示、ユーザーが２枚目に登録した画像は２０として表示、ユーザーが３枚目に登録した画像は２１として表示、ユーザーが４枚目に登録した画像は２２として表示する。

【0013】

上記、段落（０００８）において図２の５コンテンツ元画像において提供された画像をユーザー直接Webページに埋め込むことができるｉｆｒａｍｅ出力する。

【0014】

図７において生成されたＡＲマーカーをシステムから表示するのではなく、コンビニエンスストアなどで利用できるネットプリントサービスが提供しているAPI（アプリケーション・プログラミング・インタフェース）にデータ送信し、ＡＲマーカーの印刷をコンビニエンスストアが提供している印刷サービスを持った複合機にて印刷することが可能となる。

【0015】

図８において生成されたＡＲマーカーをシステムから表示するのではなく、２４の形で名刺として利用できる印刷物に２５ARマーカーならびに名刺において２６必要な情報を添付した印刷物をユーザーに対して直接配送する。

【0016】

図９において生成されたＡＲマーカーをシステムから表示するのではなく、２７入稿データ作成し、２８入稿データダウンロードする。入稿データとは印刷物に必要なデータ形式であり、画像編集ソフトウェアＰｈｏｔｏｓｈｏｐにて使用が可能なデータ形式である。また、PDF（ポータブルドキュメントフォーマット）形式として出力する。

【0017】

図１０において段落（０００８）において図２の５コンテンツ元画像において提供された画像が人またはそれに類するものであった場合でユーザーからの入力によって似顔絵とする場合には、図１０（ａ）のとおり２９元の人の画像から図１０（ｂ）３０似顔絵の画像に変換を実施し、ARコンテンツとして生成をする。

【0018】

図１２において３１ARマーカーを３２のユーザーが読み取り、３３別のユーザーが３１ARマーカーを読み取る状況において、３２のユーザーの操作入力によってテキストの表示、ARコンテンツに対しての移動、回転、拡大をした場合に、３３のユーザーは読み取るコンテンツがリアルタイムに変更され３２のユーザーの指示した入力に対して３３のユーザーに出力される。また、どうように３３の支持した入力に対して３２のユーザーの見ているARコンテンツも３２ユーザーのデバイスに出力される。

【発明の効果】

【0019】

〔発明１〕 においては図１の１ＡＲマーカーの中に２QRコードが内包されることにより、ユーザーにおいてはQRコードを読み込んだ後に、そのままの状態でＡＲマーカーも読み込むこととなりユーザーに対しては１度の行動にてデータの取得を一度に実行するものである。

【0020】

また、ＡＲマーカーの生成についてはソフトウエアが自動的に生成することによりユーザーにおいては専門的な知識なくARコンテンツの配信を可能とするものである。

【0021】

〔発明２〕においては、 段落（０００９）、（００１０）、（００１１）、（００１２）、（００１３）、（００１４）、（００１５）、（００１６）、（００１７）におけるARコンテンツの生成に関して、ユーザーが本来は実施またはユーザーが作成することができないコンテンツをソフトウエアによって生成することが可能であり、ユーザーのコンテンツ作成を助けることができる。

【図面の簡単な説明】

【0022】

【図1】本発明に係るＡＲマーカの図である。

【図2】ソフトウエア並びにユーザー操作の処理図である。

【図3】ボーンを挿入する際の処理図である。

【図4】ボーン挿入した場合のARコンテンツの図である。

【図5】背景を切り抜いた場合のARコンテンツの図である。

【図6】ARコンテンツとして生成される４コマ漫画の図である。

【図7】ネットプリント利用時の処理図である。

【図8】名刺に印刷した場合の印刷物の図である。

【図9】入稿データ生成時の処理図である。

【図10】似顔絵を生成した場合のARコンテンツの図である。

【図11】複数人が同時に同一のARマーカを読み取った際の図である。

【発明を実施するための形態】

【0023】

本発明におけるARマーカーは出版物、Webページ、投影などの表示が可能な媒体により使用される。QRコードを認識できうる解像度の表示が担保されていれば媒体はどのようなものであってもかまわない。

【0024】

ARマーカーを認識する媒体は携帯電話装置、ヘッドマウントディスプレイ装置、カメラ装置にて利用され、媒体がインターネット通信が可能なこと並びにQRコードが認識できることが条件となる。

【符号の説明】

【0025】

１ ARマーカー
２ QRコード（登録商標）
３ ユーザー登録
４ ユーザー登録完了
５ コンテンツ元画像提供
６ ARコンテンツ作成
７ ARマーカー表示
８ 人または類する画像の判定
９ 画像に対してのボーンの挿入処理
１０ ARコンテンツ作成処理
１１ 元画像
１２ ボーンを入れた状態の画像イメージ
１３ ボーン
１４ ボーンに対する頂点
１５ 背景がある画像
１６ 背景を透過した画像
１７ ４コマ漫画として出力された画像
１８ ４コマ漫画タイトル
１９ ４コマ漫画１コマ目
２０ ４コマ漫画２コマ目
２１ ４コマ漫画３コマ目
２２ ４コマ漫画４コマ目
２３ ネットプリントAPIデータ送信処理
２４ ARマーカーを付随した名刺イメージ
２５ 名刺上のARマーカー
２６ 名刺に必要な情報
２７ 入稿データ作成処理
２８ 入稿データダウンロード作業
２９ 似顔絵元画像
３０ 似顔絵変換後画像
３１ ARマーカー
３２ ユーザーAの画面表示
３３ ユーザーBの画面表示

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】