(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6493772
(24)【登録日】2019年3月15日
(45)【発行日】2019年4月3日
(54)【発明の名称】ユーザー編集イメージを用いた拡張現実コンテンツの提供方法及びシステム
(51)【国際特許分類】
G06F 13/00 20060101AFI20190325BHJP
G06T 19/00 20110101ALI20190325BHJP
【FI】
G06F13/00 510C
G06T19/00 600
【請求項の数】3
【全頁数】10
(21)【出願番号】特願2017-201716(P2017-201716)
(22)【出願日】2017年10月18日
(65)【公開番号】特開2018-67315(P2018-67315A)
(43)【公開日】2018年4月26日
【審査請求日】2017年10月24日
(31)【優先権主張番号】10-2016-0134913
(32)【優先日】2016年10月18日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】516286280
【氏名又は名称】ディーエス グローバル
【氏名又は名称原語表記】DS GLOBAL
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】リ,サム ヒ
【審査官】
安藤 一道
(56)【参考文献】
【文献】
欧州特許出願公開第02355009(EP,A1)
【文献】
特開2013−026922(JP,A)
【文献】
欧州特許出願公開第02405349(EP,A1)
【文献】
特開2011−159274(JP,A)
【文献】
韓国公開特許第10−2011−0010666(KR,A)
【文献】
米国特許出願公開第2015/0221343(US,A1)
【文献】
米国特許出願公開第2015/0302623(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 13/00
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
ユーザー編集イメージを用いた端末の拡張現実の提供方法において、
前記端末にインストールされたアプリケーションを起動して、カメラ部から撮影するイメージ又は既に撮影されたイメージに複数のマーカーを有するフレームを追加するステップと、
前記フレームを追加したイメージの焼き付けを焼き付け装置に要請するステップと、
前記アプリケーションを起動して、前記焼き付け装置から焼き付けられた印刷物を撮影して映像を取得するステップと、
前記映像から前記マーカーを識別し、拡張現実(AR)コンテンツ提供サーバーに前記マーカーに対応する拡張現実(AR)オブジェクト及び拡張現実(AR)オブジェクト属性データを要請するステップと、および、
前記拡張現実(AR)コンテンツ提供サーバーから受信された拡張現実(AR)オブジェクトをディスプレイするステップと、
を含み、
複数のフレームの中から、前記複数のマーカーを有するフレームを選択するステップをさらに含み、
前記複数のフレームの各々は、異なるテーマを有し、
前記拡張現実(AR)オブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、2Dイメージ、ステッカー、動画のうちの少なくとも一つ以上を含む、
ユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
【請求項2】
前記拡張現実(AR)オブジェクト属性データは、前記拡張現実(AR)オブジェクトの識別子、前記拡張現実(AR)オブジェクトが位置する座標、前記拡張現実(AR)オブジェクトのカテゴリー、前記拡張現実(AR)オブジェクトの詳細情報を含む請求項1に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
【請求項3】
ユーザーが前記拡張現実(AR)オブジェクトを選択する場合、前記拡張現実(AR)コンテンツ提供サーバーから受信された前記拡張現実(AR)オブジェクトの詳細情報をディスプレイするステップを更に含む請求項1に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実コンテンツを提供する方法及びシステムに係り、特に、ユーザーが自らイメージを編集して埋め込まれたマーカーを識別し、これに対応する拡張現実コンテンツを端末に提供する方法及びシステムに関する。
【背景技術】
【0002】
拡張現実(augmented reality(オーグメンティッド・リアリティ)、以下、ARと称する。)は、ユーザーの目の前に広がる現実世界に仮想物体を重ね合わせて表示する技術であり、仮想の空間及び物事だけを対象とする既存の仮想現実(バーチャルリアリティ、VR)とは異なり、現実世界の基盤の上に仮想の物事を合成して現実世界だけでは得られ難い付加的な情報を強化・増強して提供することができるという特徴を有する。
【0003】
まず、韓国登録特許第10−1197630号公報(以下、「特許文献1」と称する。)に記載の発明は、共通コンテンツに関連する拡張コンテンツを個人向け端末に提供するためのシステムに関する発明でおり、多数のユーザーに提供される共通コンテンツが再生される間に、当該共通コンテンツに関連する様々な個人別の拡張コンテンツをリアルタイムにて視聴を妨げないながら個別のユーザーに提供する技術である。
【0004】
また、韓国登録特許第10−1539087号公報(以下、「特許文献2」と称する。)は、撮影された映像から被写体である人物の動作を認識して、拡張現実コンテンツと相互作用する技術である。
【0005】
しかしながら、特許文献1の場合、個人化拡張コンテンツを生成して、これを用いて個人別の拡張コンテンツを提供する技術を開示しているだけであり、特許文献2の場合、被写体及び端末の位置の変化に伴いコンテンツを提供する技術のみを開示しているだけである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】韓国登録特許第10−1197630号公報
【特許文献2】韓国登録特許第10−1539087号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、ユーザーが自らイメージを編集したイメージに埋め込まれたマーカーを識別して、これに対応する拡張現実コンテンツを端末に提供する方法及びシステムを提供することである。
【課題を解決するための手段】
【0008】
ユーザー編集イメージを用いた端末の拡張現実の提供方法は、端末にインストールされたアプリケーションを起動して、カメラ部から撮影するイメージ又は既に撮影されたイメージに多数のマーカーを有するフレームを追加するステップと、前記フレームを追加したイメージの焼き付けを焼き付け装置に要請するステップと、前記アプリケーションを起動して、前記焼き付け装置から焼き付けられた印刷物を撮影して映像を取得するステップと、前記映像から前記マーカーを識別し、ARコンテンツ提供サーバーに前記マーカーに対応するARオブジェクト及びARオブジェクト属性データを要請するステップと、前記ARコンテンツ提供サーバーから受信されたARオブジェクトをディスプレイするステップと、を含む。
【0009】
ユーザー編集イメージを用いた端末の拡張現実の提供システムは、マーカーを識別し、前記マーカーに対応するARオブジェクトをディスプレイするアプリケーションがインストールされる携帯端末と、前記携帯端末から前記マーカーに対応するARオブジェクト及びARオブジェクト属性データを送信するARコンテンツ提供サーバーと、前記携帯端末から受信されたイメージを焼き付ける焼き付け装置と、を備え、前記携帯端末は、イメージに多数のマーカーを有するフレームを追加するイメージ編集部と、前記編集されたイメージを焼き付け装置及びARコンテンツ提供サーバーに送信する通信部と、前記焼き付け装置から提供された印刷物を撮影し、映像を取得するカメラ部と、前記映像からマーカーを識別するマーカー識別部と、前記ARコンテンツ提供サーバーから前記ARオブジェクト及び前記ARオブジェクト属性データを受信し、前記ARオブジェクト属性データに基づいて前記ARオブジェクトをディスプレイするディスプレイ部と、を備える。
【発明の効果】
【0010】
上述したような課題の解決手段を通じて、本発明は、ユーザーが自ら編集したイメージを撮影して新たな方式で拡張現実コンテンツを提供することができる。とりわけ、編集されたイメージに埋め込まれたマーカーを識別して、マーカーに対応する拡張現実コンテンツを提供することにより、ユーザーの個性が反映されて、満足のいく拡張現実コンテンツを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。
【
図2】本発明を説明するために携帯端末のディスプレイ部に表示されるイメージ編集画面及び編集後のイメージを示す図である。
【
図3】本発明の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。
【
図4】本発明の他の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。
【
図5】本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を提供するシステムの構成を示すブロック図である。
【
図6】本発明の他の実施形態によりユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。
【発明を実施するための形態】
【0012】
本明細書に開示されている本発明の概念に基づく実施形態についての特定の構造的又は機能的な説明は、単に本発明の概念に基づく実施形態を説明するための目的で例示されたものに過ぎず、本発明の概念に基づく実施形態は、様々な形態に具体化可能であり、本明細書において説明された実施形態に限定されない。
【0013】
本発明の概念に基づく実施形態には様々な変更を加えることができ、種々の形態を有し得るため、実施形態を図面に例示し、本明細書において詳細に説明する。しかし、これは、本発明の概念に基づく実施形態を特定の開示の形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれているあらゆる変更、均等物、又は代替物を含む。
【0014】
本明細書において使用されたターミノロジーは、単に特定の実施形態を説明するために使用されたものに過ぎず、本発明を限定することを意図してはいない。単数の表現は、文脈からみて、明らかに断りのない限り、複数の表現を含む。本明細書において、「備える」又は「有する」などの用語は、本明細書に記載の特徴、数字、段階、動作、構成要素、部分品若しくはこれらを組み合わせたものが存在することを指定しようとするものに過ぎず、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部分品若しくはこれらを組み合わせたものの存在又は付加可能性を予め排除しないものであると理解されるべきである。
【0015】
以下、添付図面に基づき、本発明の実施形態について詳細に説明する。
【0016】
図1は、本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。
【0017】
図1を参照すると、ユーザー編集イメージを用いた拡張現実の提供方法は、携帯端末100がカメラ部を用いてイメージを撮影するか、又は既に撮影されたイメージを選択し(S110)、前記イメージに多数のマーカーを有するフレームを追加する(S120)。
【0018】
次いで、携帯端末100は、フレームを追加した編集イメージをARコンテンツ提供サーバー200及び焼き付け装置300に送信する(S121、S123)。焼き付け装置300は、受信された前記編集イメージを焼き付けて印刷物を出力してもよく、前記印刷物を携帯端末100のユーザーに提供する(S131)。ARコンテンツ提供サーバー200は、受信された前記編集イメージをデータベースに保存する(S135)。
【0019】
携帯端末100は、前記印刷物を撮影して映像を取得し(S140)、前記映像からマーカーを識別し(S150)、前記マーカーに対応するARオブジェクトをARコンテンツ提供サーバー200に要請する(S151)。マーカーは、拡張現実コンテンツと接続されるキーとなるものであって、様々な媒体をマーカーとして活用することができる。例えば、映画ポスター、特定のウェブページ画面、新聞や本などの印刷物の特定のイメージが挙げられ、実施形態においては、ユーザーが自ら編集したイメージフレームであってもよい。マーカーを識別すれば、当該マーカーのID値を取り出してARコンテンツ提供サーバー200にマーカーに関する情報を引き渡すことができる。
【0020】
ARコンテンツ提供サーバー200には、拡張現実(augmented reality)コンテンツが3次元立体映像情報として保存されており、既に保存された編集イメージに基づいて、前記マーカーに対応する拡張現実コンテンツであるARオブジェクトを取り出し(S160)、取り出されたARオブジェクト及びARオブジェクト属性データを送信する(S161)。
【0021】
前記ARオブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、2Dイメージ、ステッカー、動画のうちの少なくとも一つ以上を含んでいてもよく、前記ARオブジェクト属性データは、前記ARオブジェクトの識別子、前記ARオブジェクトが位置する座標、前記ARオブジェクトのカテゴリー、前記ARオブジェクトの詳細情報を含んでいてもよい。前記ARオブジェクト属性データは、ARオブジェクトと同じ識別子が与えられて管理されてもよい。
【0022】
携帯端末100は、ARアプリケーションを起動して、ARコンテンツ提供サーバー200から受信されたARオブジェクト属性データの識別子、座標、カテゴリー及び詳細情報に基づいて、前記ARオブジェクトをディスプレイしてもよい。
【0023】
ユーザーが前記ARオブジェクトを選択する場合、前記ARオブジェクトの詳細情報をディスプレイしてもよい。前記詳細情報は、既に保存されたテキストであってもよい。
【0024】
すなわち、本発明は、ユーザーが自ら編集したイメージを撮影して、新たな方式で拡張現実コンテンツを提供することができ、編集されたイメージに埋め込まれたマーカーを識別して、マーカーに対応する拡張現実コンテンツを提供することにより、ユーザーの個性が反映された拡張現実コンテンツを提供することができる。
【0025】
図2は、本発明を説明するために携帯端末のディスプレイ部に表示されるイメージ編集画面及び編集後のイメージを示す図である。
【0026】
図2の(a)及び(b)を参照すると、携帯端末100は、ディスプレイ部120の上に写真を選択して表示してもよく、イメージ編集画面モードの場合、多数のテーマを有するフレームを選択してもよい。例えば、ディスプレイ部120の下段にアイコン121を並べてもよく、前記アイコンは、多数のテーマを選択可能なように表示されてもよい。このとき、アイコン121のうち「聖誕祭」を選択する場合、編集後のイメージは、聖誕祭と関連する拡張現実オブジェクトを指示するマーカーを有するフレーム123が追加されて編集されてもよい。
【0027】
図3は、本発明の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。
【0028】
端末100は、焼き付け装置から出力された印刷物500を撮影し、端末100のマーカー識別部は、印刷物500のフレームに埋め込まれたマーカーを識別し、ARコンテンツ提供サーバー200から受信されたARオブジェクトをディスプレイする。
【0029】
前記ARオブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、2Dイメージ、ステッカー、動画のうちの少なくとも一つ以上を含んでいてもよく、前記ARオブジェクト属性データは、前記ARオブジェクトの識別子、前記ARオブジェクトが位置する座標、前記ARオブジェクトのカテゴリー、前記ARオブジェクトの詳細情報を含んでいてもよい。
【0030】
図4は、本発明の他の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。
【0031】
図4を参照すると、ユーザーがARオブジェクト131aを選択すれば、ユーザーが既に入力した詳細情報131dが更にディスプレイされてもよい。例えば、前記詳細情報131dは、テキストの形で示されているが、本発明はこれに何等限定されるものではなく、ARオブジェクト131aと関連する映像又はイメージを更にディスプレイしてもよい。
【0032】
図5は、本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を提供するシステムの構成を示すブロック図である。
【0033】
図5を参照すると、本発明のシステムは、携帯端末100と、ARコンテンツ提供サーバー200と、焼き付け装置300と、を備える。
【0034】
携帯端末100は、カメラ部110と、ディスプレイ部120と、マーカー識別部130と、通信部140と、イメージ編集部150と、制御部160と、を備える。カメラ部110は、イメージを撮影して保存してもよく、印刷物を撮影して映像を取得してもよい。ディスプレイ部120は、カメラ部から撮影された映像及び前記ARオブジェクトをディスプレイしてもよい。前記ARオブジェクトは、ユーザーの入力により縮尺が変更されてもよい。例えば、縮尺が小さくなるにつれて、より近い関心情報を表示してもよく、縮尺が大きくなるにつれて、より多くの関心情報を表示してもよい。
【0035】
マーカー識別部130は、取得した映像からマーカーを認識し、通信部140は、前記マーカーに対応するARオブジェクトをARコンテンツ提供サーバー200に要請してもよい。マーカーは、拡張現実コンテンツと接続されるキーとなるものであって、様々な媒体をマーカーとして活用することができる。例えば、映画ポスター、特定のウェブページ画面、新聞や本などの印刷物の特定のイメージが挙げられ、実施形態においては、ユーザーが自ら編集したイメージフレームであってもよい。マーカーを識別すれば、当該マーカーのID値を取り出してARコンテンツ提供サーバー200にマーカーに関する情報を引き渡すことができる。
【0036】
通信部140は、編集イメージを焼き付け装置300に送信してもよく、ARコンテンツ提供サーバーからARオブジェクト及びARオブジェクト属性データを受信してもよい。
【0037】
イメージ編集部150は、イメージにマーカーが埋め込まれたフレームを追加してもよい。
【0038】
制御部160は、アプリケーションソフトウェアの起動に関連するプロセスの処理を制御し、端末100の各構成要素の動作を制御する。制御部140は、アプリケーションソフトウェアだけではなく、ワールドワイドウェブを通じてウェブブラウザーを用いて起動に関連するプロセスの処理を制御してもよい。
【0039】
入力部(図示せず)は、入力手段により行われる入力イベントを受信する。入力部は、タッチスクリーンであってもよく、タッチイベントを制御部160に引き渡す。端末100がデスクトップPC、ラップトップPCである場合、入力部は、マウスの入力イベントを受信してもよい。
【0040】
本発明の明細書における携帯端末100は、コンピューティング装置であって、スマートフォン、タブレットPCのようにオーペレーティングシステムソフトウェア及び様々なアプリケーションソフトウェアにより定められたプロセッサーを起動してもよく、持ち運び易いことから、移動中であっても手軽に活用可能なモバイルコンピューティングデバイスが適用可能であるが、本発明はこれに限定されるものではなく、デスクトップPC、ラップトップPCも適用可能である。
【0041】
ARコンテンツ提供サーバー200には、拡張現実(augmented reality)コンテンツが3次元立体映像情報として保存されており、既に保存された編集イメージに基づいて、前記マーカーに対応する拡張現実コンテンツであるARオブジェクトを取り出し、取り出されたARオブジェクト及びARオブジェクト属性データを送信してもよい。
【0042】
焼き付け装置300は、近距離無線通信手段を備える携帯用焼き付け装置であって、備えられる近距離無線通信手段を介して携帯端末100から受信したイメージを焼き付けて印刷物を出力してもよい。前記近距離無線通信手段は、ブルートゥース(登録商標)(Bluetooth(登録商標)))やRFID(Radio Frequency Identification)、赤外線通信(IrDA, infrared Data Association)、超広帯域(UWB:Ultra Wideband)、ジグビー(Zigbee(IEEE 802.15.4))(登録商標)、ワイファイ(Wi−Fi)などの近距離無線通信プロトコールのうちのいずれか一つであってもよいが、本発明はこれに何等限定されるものではなく、有線通信を用いてイメージを受信するようになっていてもよい。
【0043】
図6は、本発明の他の実施形態によりユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。
【0044】
図6を参照すると、ユーザー編集イメージを用いた端末の拡張現実の提供方法は、第1の端末100aがカメラ部を用いてイメージを撮影するか、又は既に撮影されたイメージを選択し(S510)、前記イメージに多数のマーカーを有するフレームを追加する(S520)。
【0045】
次いで、第1の端末100aは、フレームを追加した編集イメージをARコンテンツ提供サーバー200a及び焼き付け装置300aに送信する(S521、S523)。焼き付け装置300aは、受信された前記編集イメージを焼き付けて印刷物を出力してもよく、前記印刷物を第2の端末400aのユーザーに提供する。ARコンテンツ提供サーバー200aは、受信された前記編集イメージをデータベースに保存する。
【0046】
第2の端末400aは、前記印刷物を撮影して映像を取得し(S540)、前記映像からマーカーを識別し(S550)、前記マーカーに対応するARオブジェクトをARコンテンツ提供サーバー200aに要請する(S551)。
【0047】
ARコンテンツ提供サーバー200aは、既に保存された編集イメージに基づいて、前記マーカーに対応するARオブジェクトを取り出し(S560)、取り出されたARオブジェクト及びARオブジェクト属性データを送信する(S561)。
【0048】
前記ARオブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、2Dイメージ、ステッカー、動画のうちの少なくとも一つ以上を含んでいてもよく、前記ARオブジェクト属性データは、前記ARオブジェクトの識別子、前記ARオブジェクトが位置する座標、前記ARオブジェクトのカテゴリー、前記ARオブジェクトの詳細情報を含んでいてもよい。
【0049】
第2の端末400aは、ARコンテンツ提供サーバー200から受信されたARオブジェクト属性データの識別子、座標、カテゴリー及び詳細情報に基づいて、前記ARオブジェクトをディスプレイしてもよい。なお、ユーザーが前記ARオブジェクトを選択する場合、前記ARオブジェクトの詳細情報をディスプレイしてもよい。前記詳細情報は、既に保存されたテキストであってもよい。
【0050】
本発明は、図示の実施形態に基づいて説明されたが、これは単なる例示的なものに過ぎず、この技術分野における通常の知識を有する者であれば、これから種々の変形例及び均等な他の実施形態が採用可能であるということが理解できる筈である。よって、本発明の真の技術的な保護範囲は、添付の登録請求範囲の技術的な思想により定められるべきである。
【符号の説明】
【0051】
100 携帯端末
110 カメラ部
120 ディスプレイ部
130 マーカー識別部
140 通信部
150 イメージ編集部
160 制御部
200 ARコンテンツ提供サーバー
300 焼き付け装置