(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139376
(43)【公開日】2024-10-09
(54)【発明の名称】ARコンテンツ表示システムおよびプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241002BHJP
【FI】
G06T19/00 600
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023050280
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】土屋 崇希
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050CA07
5B050DA04
5B050EA06
5B050EA12
5B050EA13
5B050EA19
5B050FA05
(57)【要約】 (修正有)
【課題】ARコンテンツを表示するための案内情報を読み取ってARコンテンツを表示する場合に、案内情報の準備作業の手間を削減する情報処理システム及びプログラムを提供する。
【解決手段】複数のユーザ端末と、管理サーバとが、ネットワークを介して接続されているARコンテンツ表示システムにおいて、管理サーバ20は、ユーザ端末から映像データを取得して案内情報を認識し、案内情報が貼付された近辺の領域の特徴点を抽出する物体認識部21と、ユーザ端末から受け付けた指示に応じて、必要な情報をARコンテンツ対象管理記憶部24から取得し、ユーザ端末に情報を送信するARコンテンツ対象管理部23と、を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
1または複数のプロセッサを備え、
前記1または複数のプロセッサは、
ARコンテンツを表示する案内情報が貼付された近辺の領域の特徴点を取得し、
前記特徴点を取得した前記領域と前記ARコンテンツとを関連付けて表示させる
ことを特徴とするARコンテンツ表示システム。
【請求項2】
前記1または複数のプロセッサは、前記近辺の領域のうち、特徴点の多い領域を特定し、特定した当該領域と前記ARコンテンツとを関連付ける
ことを特徴とする請求項1に記載のARコンテンツ表示システム。
【請求項3】
前記1または複数のプロセッサは、特定した前記領域の前記特徴点を評価する強度を算出する
ことを特徴とする請求項2に記載のARコンテンツ表示システム。
【請求項4】
前記1または複数のプロセッサは、前記強度が予め定められた閾値を上回る場合に、特定した前記領域と前記ARコンテンツとを関連付ける
ことを特徴とする請求項3に記載のARコンテンツ表示システム。
【請求項5】
前記1または複数のプロセッサは、前記強度が予め定められた閾値を下回る場合、前記案内情報を取り除いて再度特徴点を取得することを提案する
ことを特徴とする請求項3に記載のARコンテンツ表示システム。
【請求項6】
前記1または複数のプロセッサは、再度取得した前記特徴点の前記強度が予め定められた閾値を下回る場合、前記案内情報を使用することを提案する
ことを特徴とする請求項5に記載のARコンテンツ表示システム。
【請求項7】
前記1または複数のプロセッサは、前記案内情報が貼付された位置と、特徴点を取得した前記領域の位置との間の位置ずれを算出する
ことを特徴とする請求項1に記載のARコンテンツ表示システム。
【請求項8】
前記1または複数のプロセッサは、前記領域の前記特徴点を検知した場合に、当該領域に関連付けられた前記ARコンテンツを表示し、算出した位置ずれに基づいて前記ARコンテンツを表示する位置を補正する
ことを特徴とする請求項1に記載のARコンテンツ表示システム。
【請求項9】
1または複数のプロセッサを備え、
前記1または複数のプロセッサは、
ARコンテンツを表示したい対象物の特徴点を有する領域を認識し、認識した当該特徴点を有する当該領域に基づいて当該ARコンテンツを表示する場合に、当該特徴点を有する当該領域の位置と当該ARコンテンツを表示したい位置との位置ずれを補正して当該ARコンテンツを表示する
ことを特徴とするARコンテンツ表示システム。
【請求項10】
1または複数のプロセッサに実現させるプログラムであって、
ARコンテンツを表示する案内情報が貼付された近辺の領域の特徴点を取得する機能と、
前記特徴点を取得した前記領域と前記ARコンテンツとを関連付けて表示させる機能と、
を実現させるためのプログラム。
【請求項11】
1または複数のプロセッサに実現させるプログラムであって、
ARコンテンツを表示したい対象物の特徴点を有する領域を認識し、認識した当該特徴点を有する当該領域に基づいて当該ARコンテンツを表示する場合に、当該特徴点を有する当該領域の位置と当該ARコンテンツを表示したい位置との位置ずれを補正して当該ARコンテンツを表示する機能を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ARコンテンツ表示システムおよびプログラムに関する。
【背景技術】
【0002】
近年、データ処理により作成した情報を現実世界に重ね合わせて表示する拡張現実(Augmented Reality=AR)技術が実用化されている。例えば、QRコードを読み取り、対応するARコンテンツを表示する技術が知られている。
特許文献1には、QRコードを読み取りARコンテンツを表示する装置において、QRコードが撮影範囲外となった際にARコンテンツが表示されなくなることがある、という課題を解決するための拡張現実表示装置が記載されている。特許文献1に記載の発明は、鏡を用意することで本来情報コードが撮影できない範囲であってもARコンテンツの表示を可能とするものである。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
QRコード(登録商標)やARマーカーなどの案内情報を撮像装置で読み取り、ARコンテンツを表示するためには、案内情報が撮影されている状態でなければならない。また、ARコンテンツを表示するためには、作業対象物に案内情報を貼付する必要がある。そのため、作業ごとに案内情報を貼付する、さらに案内情報をはがして別の対象物に案内情報を貼付する、といった手間が発生する。
本発明の目的は、ARコンテンツを表示するための案内情報を読み取ってARコンテンツを表示する場合に、案内情報の準備作業の手間を削減することにある。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、1または複数のプロセッサを備え、前記1または複数のプロセッサは、ARコンテンツを表示する案内情報が貼付された近辺の領域の特徴点を取得し、前記特徴点を取得した前記領域と前記ARコンテンツとを関連付けて表示させることを特徴とするARコンテンツ表示システムである。
請求項2に記載の発明は、前記1または複数のプロセッサは、前記近辺の領域のうち、特徴点の多い領域を特定し、特定した当該領域と前記ARコンテンツとを関連付けることを特徴とする請求項1に記載のARコンテンツ表示システムである。
請求項3に記載の発明は、前記1または複数のプロセッサは、特定した前記領域の前記特徴点を評価する強度を算出することを特徴とする請求項2に記載のARコンテンツ表示システムである。
請求項4に記載の発明は、前記1または複数のプロセッサは、前記強度が予め定められた閾値を上回る場合に、特定した前記領域と前記ARコンテンツとを関連付けることを特徴とする請求項3に記載のARコンテンツ表示システムである。
請求項5に記載の発明は、前記1または複数のプロセッサは、前記強度が予め定められた閾値を下回る場合、前記案内情報を取り除いて再度特徴点を取得することを提案することを特徴とする請求項3に記載のARコンテンツ表示システムである。
請求項6に記載の発明は、前記1または複数のプロセッサは、再度取得した前記特徴点の前記強度が予め定められた閾値を下回る場合、前記案内情報を使用することを提案することを特徴とする請求項5に記載のARコンテンツ表示システムである。
請求項7に記載の発明は、前記1または複数のプロセッサは、前記案内情報が貼付された位置と、特徴点を取得した前記領域の位置との間の位置ずれを算出することを特徴とする請求項1に記載のARコンテンツ表示システムである。
請求項8に記載の発明は、前記1または複数のプロセッサは、前記領域の前記特徴点を検知した場合に、当該領域に関連付けられた前記ARコンテンツを表示し、算出した位置ずれに基づいて前記ARコンテンツを表示する位置を補正することを特徴とする請求項1に記載のARコンテンツ表示システムである。
請求項9に記載の発明は、1または複数のプロセッサを備え、前記1または複数のプロセッサは、ARコンテンツを表示したい対象物の特徴点を有する領域を認識し、認識した当該特徴点を有する当該領域に基づいて当該ARコンテンツを表示する場合に、当該特徴点を有する当該領域の位置と当該ARコンテンツを表示したい位置との位置ずれを補正して当該ARコンテンツを表示することを特徴とするARコンテンツ表示システムである。
請求項10に記載の発明は、1または複数のプロセッサに実現させるプログラムであって、ARコンテンツを表示する案内情報が貼付された近辺の領域の特徴点を取得する機能と、前記特徴点を取得した前記領域と前記ARコンテンツとを関連付けて表示させる機能と、を実現させるためのプログラムである。
請求項11に記載の発明は、1または複数のプロセッサに実現させるプログラムであって、ARコンテンツを表示したい対象物の特徴点を有する領域を認識し、認識した当該特徴点を有する当該領域に基づいて当該ARコンテンツを表示する場合に、当該特徴点を有する当該領域の位置と当該ARコンテンツを表示したい位置との位置ずれを補正して当該ARコンテンツを表示する機能を実現させるためのプログラムである。
【発明の効果】
【0006】
請求項1,10の発明によれば、ARコンテンツを表示するための案内情報を読み取ってARコンテンツを表示する場合に、案内情報の準備作業の手間を削減することができる。
請求項2の発明によれば、特徴点の多い領域をARコンテンツと関連付けることができる。
請求項3の発明によれば、特定した領域が認識され得るかを評価することができる。
請求項4の発明によれば、特定した領域が認識され得る場合にARコンテンツと関連付けることができる。
請求項5の発明によれば、特定した領域が認識され得ない場合に案内情報で隠れた部分について評価することができる。
請求項6の発明によれば、特定した領域が認識され得ない場合に案内情報を使用することができる。
請求項7の発明によれば、案内情報と実空間マーカーとの位置ずれを算出することができる。
請求項8の発明によれば、ARコンテンツを正しい位置に表示することができる。
請求項9,11の発明によれば、案内情報を貼付することなくARコンテンツを表示させる場合に、ARコンテンツを正しい位置に表示することができる。
【図面の簡単な説明】
【0007】
【
図1】本実施の形態に係るARコンテンツ表示システムの構成例を示す図である。
【
図2】ユーザ端末および管理サーバとして用いられるコンピュータのハードウェア構成例を示す図である。
【
図3】本実施の形態に係る管理サーバの機能構成例を示す図である。
【
図4】ARコンテンツ対象管理記憶部に格納される情報の例を示す図であり、(a)はARコンテンツがリスト化された図であり、(b)はARコンテンツ表示情報がリスト化された図であり、(c)は案内情報に関連付けられた情報がリスト化された図である。
【
図5】特徴点の抽出時の処理の流れの例を示すフローチャートである。
【
図6】抽出された特徴点が最も多い領域を特定する処理の例を示す図であり、(a)は案内情報の近辺の領域に対して、抽出された特徴点が最も多い領域を探索する例を示す図であり、(b)は特徴点が最も多い領域として特定された領域を示す図である。
【
図7】特定された領域とARコンテンツとを関連付ける処理の流れの例を示すフローチャートである。
【
図8】実空間マーカーを認識する処理の流れの例を示すフローチャートである。
【
図9】ARコンテンツを表示する際の処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
<ARコンテンツ表示システムの構成>
図1は、本実施の形態に係るARコンテンツ表示システムの構成例を示す図である。
ARコンテンツ表示システム1は、ユーザ端末10と、管理サーバ20とを備える。ユーザ端末10と管理サーバ20とは、ネットワーク30を介して接続されている。
【0009】
ユーザ端末10は、ユーザがARコンテンツを利用するために使用する情報処理装置である。ユーザ端末10は、案内情報の貼付された対象物を撮影し、案内情報の近辺の領域の映像データを管理サーバ20に送信する。案内情報とは、ARマーカーやQRコード等のARコンテンツを表示させるための目印のことである。例えば、端末等で対象物を撮影する際に案内情報が認識されると、その案内情報に対応付けられたARコンテンツが対象物を撮影する画面上に重畳表示される。そして管理サーバ20からの指示を受信し、画面に表示する。また、ユーザ端末10は、対象物を撮影した画面上にARコンテンツを重畳表示する。
ユーザ端末10は、例えば、コンピュータ、タブレット型情報端末、その他の情報処理装置により実現される。また、ユーザ端末10は、HMD(Head Mounted Display)のようなグラス型の端末であっても良い。
【0010】
管理サーバ20は、ユーザ端末10から送信される映像データを受信し、案内情報が貼付された近辺の領域の特徴点を取得する。そして、特徴点を取得した領域とARコンテンツとを関連付ける。ARコンテンツと関連付けられる領域を、以下では「実空間マーカー」と呼ぶことがある。管理サーバ20は、実空間マーカーを認識すると、実空間マーカーに関連付けられたARコンテンツをユーザ端末10に表示させる。
管理サーバ20は、例えば、コンピュータにより実現される。管理サーバ20は、単一のコンピュータにより構成しても良いし、複数のコンピュータによる分散処理により実現しても良い。
【0011】
ネットワーク30は、ユーザ端末10と管理サーバ20との間の通信を担う情報通信ネットワークである。ネットワーク30は、データの送受信が可能であれば、その種類は特に限定されず、例えばインターネット、LAN(Local Area Network)、WAN(Wide Area Network)等として良い。データ通信に用いられる通信回線は、有線であっても無線であっても良い。また、複数のネットワークや通信回線を介して各装置を接続する構成としても良い。
【0012】
<コンピュータのハードウェア構成>
図2は、ユーザ端末10および管理サーバ20として用いられるコンピュータのハードウェア構成例を示す図である。コンピュータ50は、プロセッサ51と、ROM(Read Only Memory)52と、RAM(Random Access Memory)53とを備える。プロセッサ51は、例えばCPU(Central Processing Unit)であり、RAM53を作業エリアに使用し、ROM52から読み出したプログラムを実行する。また、コンピュータ50は、ネットワークに接続するための通信インターフェイス54と、ディスプレイに表示出力を行うための表示機構55とを備える。また、コンピュータ50は、コンピュータ50の操作者による入力操作が行われる入力デバイス56を備える。なお、
図2に示すコンピュータ50の構成は例にすぎず、本実施形態で用いられるコンピュータは
図2の構成例に限定されるものではない。
なお、本実施の形態にて実行される各種処理は、1または複数のプロセッサによって実行される。
【0013】
<管理サーバの機能構成>
次に、管理サーバ20の機能構成について説明する。
図3は、本実施の形態に係る管理サーバ20の機能構成例を示す図である。
図3に示すように、管理サーバ20は、物体認識部21と、実空間マーカー処理部22と、ARコンテンツ対象管理部23と、ARコンテンツ対象管理記憶部24とを備える。
なお、管理サーバ20が備える各機能は、複数のサーバにより分散して実行させても良い。
【0014】
物体認識部21は、ユーザ端末10から映像データを取得し、案内情報を認識する。また、物体認識部21は、案内情報が貼付された近辺の領域の特徴点を抽出する。
実空間マーカー処理部22は、物体認識部21による特徴点の抽出結果を取得し、特徴点を抽出した領域を実空間マーカーとして使用できるか否か評価を行う。また、実空間マーカー処理部22は、貼付された案内情報と実空間マーカーとの位置ずれの算出および補正を行う。
ARコンテンツ対象管理部23は、実空間マーカーの情報、ARマーカーと実空間マーカーとの対応付け、ARマーカーと実空間マーカーとの位置ずれ等の情報をARコンテンツ対象管理記憶部24に格納する。また、ARコンテンツ対象管理部23は、ユーザ端末10から受け付けた指示に応じて、必要な情報をARコンテンツ対象管理記憶部24から取得し、ユーザ端末10に情報を送信する。
【0015】
ARコンテンツ対象管理記憶部24は、実空間マーカーの情報、ARマーカーと実空間マーカーとの対応付け、ARマーカーと実空間マーカーとの位置ずれ等の情報を格納する。ARコンテンツ対象管理記憶部24に格納される情報について、
図4を用いて説明する。
図4は、ARコンテンツ対象管理記憶部24に格納される情報の例を示す図であり、(a)はARコンテンツがリスト化された図であり、(b)はARコンテンツ表示情報がリスト化された図であり、(c)は案内情報に関連付けられた情報がリスト化された図である。
【0016】
図4(a)はARコンテンツがリスト化された図である。ARコンテンツ対象管理記憶部24は、ARコンテンツ識別子101と、ARコンテンツの説明102と、ARコンテンツのモデル103とを紐付けて格納する。例えばARコンテンツ識別子「AR1」には、「吹出説明1」というARコンテンツの説明と
図4(c)に示す「右方向にずらしカバーを外します」という吹出のモデルとが紐付けられている。
【0017】
図4(b)はARコンテンツ表示情報がリスト化された図である。ARコンテンツ対象管理記憶部24は、ARコンテンツの表示情報識別子104と、ARコンテンツ識別子105と、案内情報識別子106と、ARコンテンツを表示する位置107と、案内情報と実空間マーカーとの位置ずれ108と、ARコンテンツを表示する際の拡大率109と、ARコンテンツを表示する際の色110とを紐付けて格納する。例えば表示情報識別子「AD002」には、ARコンテンツ識別子「AR2」と、案内情報識別子「M002」と、ARコンテンツを表示する位置「X2,Y2,Z2」と、案内情報と実空間マーカーとの位置ずれ「Xd2,Yd2,Zd2」と、ARコンテンツを表示する際の拡大率「80%」と、ARコンテンツを表示する際の色「黄色」とが紐付けられている。
【0018】
図4(c)は案内情報に関連付けられた情報がリスト化された図である。ARコンテンツ対象管理記憶部24は、案内情報識別子111と、対象名112と、案内情報113と、実空間マーカー情報114とを紐付けて格納する。例えば案内情報識別子「M001」には、対象名「ランプ」と、
図4(c)に示すランプの案内情報と、
図4(c)に示す実空間マーカーの特徴点の情報が紐付けられている。
【0019】
<特徴点の抽出>
次に、特徴点の抽出時の処理の流れについて
図5を用いて説明する。
図5は、特徴点の抽出時の処理の流れの例を示すフローチャートである。
図5において、まず、物体認識部21は、案内情報が貼付された対象物を撮影した映像データを取得する(ステップS201)。ステップS201において、物体認識部21は、例えば、ユーザ端末10により撮影された対象物の映像データを取得する。映像データは、動画であっても、静止画像であっても良い。
【0020】
次に、物体認識部21は、映像データから案内情報を認識し、案内情報の認識が完了したことをユーザ端末10に表示する(ステップS202)。次に、物体認識部21は、案内情報の近辺の領域に対して、特徴点の抽出処理を行う(ステップS203)。特徴点の抽出は、例えばSIFT(Scale Invariant Feature Transform)等の従来技術を用いて実施される。
特徴点の抽出処理を行う近辺の領域は、例えば案内情報を貼付した位置を中心に、予め定められた範囲内の領域である。予め定められた範囲内の領域は、案内情報が貼付された対象物が存在すると認識できる領域である。すなわち、予め定められた範囲内の領域のうちから実空間マーカーとして使用できる領域を特定した場合に、実空間マーカーを認識した際に対象物を同時に認識できることが必要である。また近辺の領域は、案内情報を撮影した際に撮影された範囲内の領域であっても良い。
【0021】
次に、実空間マーカー処理部22は、近辺の領域のなかで、抽出された特徴点が最も多い領域を特定する(ステップS204)。ステップS204において実施される処理について詳細は後述する。そして、物体認識部21は、抽出された特徴点の情報をARコンテンツ対象管理記憶部24に格納する(ステップS205)。
図5のステップS204において実施される処理について、
図6を用いて説明する。
図6は、抽出された特徴点が最も多い領域を特定する処理の例を示す図であり、(a)は案内情報の近辺の領域に対して、抽出された特徴点が最も多い領域を探索する例を示す図であり、(b)は特徴点が最も多い領域として特定された領域を示す図である。
【0022】
物体認識部21は、対象物に貼付された案内情報211の近辺の領域212について、特徴点の抽出を行う。
図6(b)に示すように、領域212の内側において特徴点215が抽出される。そして、実空間マーカー処理部22は、近辺の領域のなかで、抽出された特徴点が最も多い領域を特定する。実空間マーカー処理部22は、例えば予め定められた範囲の領域213を近辺の領域212の中で矢印214に沿って移動させ、予め定められた範囲の領域213に含まれる特徴点が最も多い領域を特定する。
図6(b)に示す例においては、領域216が特徴点215を最も多く含む領域として特定される。
【0023】
<実空間マーカーの登録>
次に、特定された領域とARコンテンツとを関連付ける処理の流れについて
図7を用いて説明する。
図7は、特定された領域とARコンテンツとを関連付ける処理の流れの例を示すフローチャートである。
図7において、まず、実空間マーカー処理部22は、特定された領域における強度を算出する(ステップS301)。ステップS301において、実空間マーカー処理部22は、例えば特徴点数を強度として算出する。
図6(b)に示す例においては、領域216は特徴点215を6点含んでおり、強度は6となる。
【0024】
次に、実空間マーカー処理部22は、強度は閾値をこえているか否かを判定する(ステップS302)。ステップS302において、実空間マーカー処理部22は、案内情報が貼付されていた領域が実空間マーカーとして使用できるか否かを判定する。実空間マーカー処理部22は、算出した強度と予め定められた閾値とを比較する。例えば閾値が5と定められている場合、
図6(b)に示す例においては、領域216の強度は閾値を超えている、と判定される。
【0025】
算出された強度が閾値を超えている場合(ステップS302でYES)、ステップS308の処理に進む。一方、算出された強度が閾値を超えていない場合(ステップS302でNO)、物体認識部21は、案内情報を取り除く指示をユーザ端末10に表示する(ステップS303)。ステップS303において、物体認識部21は、例えば「必要な強度の領域が検出されませんでした。案内情報を剥がし、再度特徴点の抽出を行ってください。」というメッセージをユーザ端末10に表示する。
【0026】
次に、物体認識部21は、案内情報が取り除かれた対象物の映像を取得し、案内情報が貼付されていた領域に対して特徴点の抽出処理を行う(ステップS304)。次に、物体認識部21は、該当の領域における強度を算出する(ステップS305)。次に、実空間マーカー処理部22は、強度は閾値をこえているか否かを判定する(ステップS306)。ステップS306において、実空間マーカー処理部22は、案内情報が貼付されていた領域が実空間マーカーとして使用できるか否かを判定する。
【0027】
算出された強度が閾値を超えている場合(ステップS306でYES)、ステップS308の処理に進む。一方、算出された強度が閾値を超えていない場合(ステップS306でNO)、実空間マーカー処理部22は、案内情報を引き続き使用する指示をユーザ端末10に表示する(ステップS307)。ステップS307において、実空間マーカー処理部22は、例えば「必要な強度の領域が検出されませんでした。引き続き案内情報を使用してください。」というメッセージをユーザ端末10に表示する。
【0028】
ステップS302またはステップS306において強度が閾値を超えていると判定された場合、(ステップS302またはステップS306でYES)該当の領域は実空間マーカーとして使用することができる。この場合、実空間マーカー処理部22は、案内情報と該当領域との位置ずれを算出する(ステップS308)。ステップS308において、実空間マーカー処理部22は、貼付された案内情報の中心の位置から、該当領域の中心の位置までの3次元空間上のずれを算出する。
【0029】
次に、ARコンテンツ対象管理部23は、該当領域に関する情報を実空間マーカーに関する情報としてARコンテンツ対象管理記憶部24に格納する(ステップS309)。
ステップS309において、ARコンテンツ対象管理部23は、実空間マーカー処理部22から、該当領域に関する情報と、該当領域と案内情報との対応情報と、該当領域と案内情報との位置ずれの情報とを取得する。そしてARコンテンツ対象管理部23は、取得した情報をARコンテンツ対象管理記憶部24に格納する。ステップS309における処理により、
図4(b)に示すARコンテンツ表示情報および
図4(c)に示す案内情報に関連付けられた情報が更新される。
ARコンテンツ表示情報のリストには、該当領域と案内情報との位置ずれの情報が追加される。また、案内情報に関連付けられた情報のリストには、案内情報に対応付けられた該当領域に関する情報が追加される。該当領域に関する情報は、
図4(c)に示す実空間マーカー情報であり、特徴点に関する情報である。
【0030】
以上の処理により、特定された該当領域とARコンテンツとが関連付けられ、該当領域は実空間マーカーとして登録される。
実空間マーカーはARコンテンツと関連付けられているため、案内情報を貼付することなく、実空間マーカーを認識することでARコンテンツが表示される。
【0031】
<実空間マーカーの認識>
次に、実空間マーカーを認識する処理について
図8を用いて説明する。
図8は、実空間マーカーを認識する処理の流れの例を示すフローチャートである。
図8において、まず、物体認識部21は、対象物を撮影した映像データを取得する(ステップS401)。ステップS401において、物体認識部21は、例えば、ユーザ端末10により撮影された、案内情報の貼付されていない対象物の映像データを取得する。
【0032】
次に、物体認識部21は、映像データから特徴点を抽出する(ステップS402)。ステップS402において、物体認識部21は、映像データに撮影された範囲内において特徴点の抽出処理を行う。次に、実空間マーカー処理部22は、抽出された特徴点から実空間マーカーの認識を行う(ステップS403)。ステップS403において、実空間マーカー処理部22は、ARコンテンツ対象管理記憶部24に格納された実空間マーカー情報114(
図4(c)参照)を取得する。そして抽出された特徴点と、実空間マーカー情報114としてARコンテンツ対象管理記憶部24に格納された特徴点の情報とを照らし合わせ、実空間マーカーを認識する。
【0033】
次に、実空間マーカー処理部22は、実空間マーカーが認識できるか否かを判定する(ステップS404)。実空間マーカーが認識できる場合(ステップS404でYES)、実空間マーカー処理部22は、ユーザ端末10にARコンテンツを表示する(ステップS405)。ステップS405においてARコンテンツを表示する際に実行される処理について、詳細は後述する。
一方、実空間マーカーが認識できない場合(ステップS404でNO)、物体認識部21は、実空間マーカーが認識できない旨をユーザ端末10に表示する(ステップS406)。ステップS406において、物体認識部21は、例えば「ARコンテンツを表示可能なマーカーを認識できません。」というメッセージをユーザ端末10に表示する。
【0034】
<ARコンテンツの表示>
次に、
図8のステップS405においてARコンテンツを表示する際に実行される処理について、
図9を用いて説明する。
図9は、ARコンテンツを表示する際の処理の流れの例を示すフローチャートである。
図9において、まず、実空間マーカー処理部22は、表示対象のARコンテンツの情報と位置ずれの情報とを取得する(ステップS501)。ステップS501において、実空間マーカー処理部22は、表示対象のARコンテンツの情報と位置ずれの情報とをARコンテンツ対象管理部23に要求する。ARコンテンツ対象管理部23は、ARコンテンツ対象管理記憶部24から情報を取得し、実空間マーカー処理部22に情報を送信する。
【0035】
次に、実空間マーカー処理部22は、位置ずれが有るか否かを判定する(ステップS502)。位置ずれが無い場合(ステップS502でNO)、ステップS504の処理に進む。一方、位置ずれが有る場合(ステップS502でYES)、実空間マーカー処理部22は、位置ずれの情報をもとにARコンテンツの表示位置を修正する(ステップS503)。ステップS503において、もともと貼付されていた案内情報の位置と実空間マーカーとの位置ずれから、ARコンテンツを表示する位置を補正する。
【0036】
そして、実空間マーカー処理部22は、ユーザ端末10にARコンテンツを表示する(ステップS504)。ステップS504において、実空間マーカー処理部22は、ステップS502において位置ずれが有ると判定された場合には表示位置を補正してARコンテンツを表示する。一方でステップS502において位置ずれが無いと判定された場合には、実空間マーカー処理部22は、そのままの表示位置にARコンテンツを表示する。
【0037】
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記の実施の形態に記載の範囲には限定されない。上記の実施の形態を2つ以上組み合わせたものや、上記の実施の形態に種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0038】
(付記)
(((1)))
1または複数のプロセッサを備え、
前記1または複数のプロセッサは、
ARコンテンツを表示する案内情報が貼付された近辺の領域の特徴点を取得し、
前記特徴点を取得した前記領域と前記ARコンテンツとを関連付けて表示させる
ことを特徴とするARコンテンツ表示システム。
(((2)))
前記1または複数のプロセッサは、前記近辺の領域のうち、特徴点の多い領域を特定し、特定した当該領域と前記ARコンテンツとを関連付ける
ことを特徴とする(((1)))に記載のARコンテンツ表示システム。
(((3)))
前記1または複数のプロセッサは、特定した前記領域の前記特徴点を評価する強度を算出する
ことを特徴とする(((2)))に記載のARコンテンツ表示システム。
(((4)))
前記1または複数のプロセッサは、前記強度が予め定められた閾値を上回る場合に、特定した前記領域と前記ARコンテンツとを関連付ける
ことを特徴とする(((3)))に記載のARコンテンツ表示システム。
(((5)))
前記1または複数のプロセッサは、前記強度が予め定められた閾値を下回る場合、前記案内情報を取り除いて再度特徴点を取得することを提案する
ことを特徴とする(((3)))に記載のARコンテンツ表示システム。
(((6)))
前記1または複数のプロセッサは、再度取得した前記特徴点の前記強度が予め定められた閾値を下回る場合、前記案内情報を使用することを提案する
ことを特徴とする(((5)))に記載のARコンテンツ表示システム。
(((7)))
前記1または複数のプロセッサは、前記案内情報が貼付された位置と、特徴点を取得した前記領域の位置との間の位置ずれを算出する
ことを特徴とする(((1)))に記載のARコンテンツ表示システム。
(((8)))
前記1または複数のプロセッサは、前記領域の前記特徴点を検知した場合に、当該領域に関連付けられた前記ARコンテンツを表示し、算出した位置ずれに基づいて前記ARコンテンツを表示する位置を補正する
ことを特徴とする(((1)))に記載のARコンテンツ表示システム。
(((9)))
1または複数のプロセッサを備え、
前記1または複数のプロセッサは、
ARコンテンツを表示したい対象物の特徴点を有する領域を認識し、認識した当該特徴点を有する当該領域に基づいて当該ARコンテンツを表示する場合に、当該特徴点を有する当該領域の位置と当該ARコンテンツを表示したい位置との位置ずれを補正して当該ARコンテンツを表示する
ことを特徴とするARコンテンツ表示システム。
(((10)))
1または複数のプロセッサに実現させるプログラムであって、
ARコンテンツを表示する案内情報が貼付された近辺の領域の特徴点を取得する機能と、
前記特徴点を取得した前記領域と前記ARコンテンツとを関連付けて表示させる機能と、
を実現させるためのプログラム。
(((11)))
1または複数のプロセッサに実現させるプログラムであって、
ARコンテンツを表示したい対象物の特徴点を有する領域を認識し、認識した当該特徴点を有する当該領域に基づいて当該ARコンテンツを表示する場合に、当該特徴点を有する当該領域の位置と当該ARコンテンツを表示したい位置との位置ずれを補正して当該ARコンテンツを表示する機能を実現させるためのプログラム。
【0039】
(((1))),(((10)))の発明によれば、ARコンテンツを表示するための案内情報を読み取ってARコンテンツを表示する場合に、案内情報の準備作業の手間を削減することができる。
(((2)))の発明によれば、特徴点の多い領域をARコンテンツと関連付けることができる。
(((3)))の発明によれば、特定した領域が認識され得るかを評価することができる。
(((4)))の発明によれば、特定した領域が認識され得る場合にARコンテンツと関連付けることができる。
(((5)))の発明によれば、特定した領域が認識され得ない場合に案内情報で隠れた部分について評価することができる。
(((6)))の発明によれば、特定した領域が認識され得ない場合に案内情報を使用することができる。
(((7)))の発明によれば、案内情報と実空間マーカーとの位置ずれを算出することができる。
(((8)))の発明によれば、ARコンテンツを正しい位置に表示することができる。
(((9))),(((11)))の発明によれば、案内情報を貼付することなくARコンテンツを表示させる場合に、ARコンテンツを正しい位置に表示することができる。
【符号の説明】
【0040】
1…ARコンテンツ表示システム、10…ユーザ端末、20…管理サーバ、21…物体認識部、22…実空間マーカー処理部、23…ARコンテンツ対象管理部、24…ARコンテンツ対象管理記憶部、30…ネットワーク、50…コンピュータ