特許 6936306 ２次元コードの位置情報を認識する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6936306

(24)【登録日】2021年8月30日

(45)【発行日】2021年9月15日

(54)【発明の名称】２次元コードの位置情報を認識する方法及びシステム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20210906BHJP

   G06K 7/14 20060101ALI20210906BHJP

【ＦＩ】

   G06T7/70 Z

   G06K7/14 017

   G06K7/14 043

【請求項の数】16

【全頁数】14

(21)【出願番号】特願2019-503329(P2019-503329)

(86)(22)【出願日】2017年7月18日

(65)【公表番号】特表2019-523500(P2019-523500A)

(43)【公表日】2019年8月22日

(86)【国際出願番号】CN2017093370

(87)【国際公開番号】WO2018014828

(87)【国際公開日】20180125

【審査請求日】2019年2月21日

(31)【優先権主張番号】201610584889.1

(32)【優先日】2016年7月22日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】520015461

【氏名又は名称】アドバンスド ニュー テクノロジーズ カンパニー リミテッド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100117019

【弁理士】

【氏名又は名称】渡辺 陽一

(74)【代理人】

【識別番号】100173107

【弁理士】

【氏名又は名称】胡田 尚則

(72)【発明者】

【氏名】リウ フアン

(72)【発明者】

【氏名】リウ ウェンロン

(72)【発明者】

【氏名】ツー インハイ

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／０２１０８５７（ＵＳ，Ａ１）

【文献】 特開２０１４−１９９５１０（ＪＰ，Ａ）

【文献】 特開２０１５−１９１５３１（ＪＰ，Ａ）

【文献】 特開２００７−０９０４４８（ＪＰ，Ａ）

【文献】 特開２００７−２１３３５９（ＪＰ，Ａ）

【文献】 LI ほか，Reconstruct Argorithm of 2D Barcode for Reading the QR Code on Cylindrical Surface，2013 International Conference on Anti-Counterfeiting, Security and Identification (ASID)，米国，IEEE，２０１３年１０月２７日，pp.1-5，ＵＲＬ，https://ieeexplore.ieee.org/document/6825309

【文献】 廣瀬 誠 ほか，ＱＲコードを用いたカメラ内部パラメータの推定，電気学会研究会資料，日本，社団法人電気学会，２０１０年 ３月２６日，pp.33-38

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／７０

Ｇ０６Ｋ ７／１４

(57)【特許請求の範囲】

【請求項1】

２次元コードの位置情報を認識する方法であって、
画像の２次元コードを取得することと、
前記２次元コードの位置情報を認識するために前記２次元コードの一つ以上の主要配置ブロックに従って特徴検出を行うことであって、前記２次元コードの位置情報は、特徴点セットを有し、前記特徴点セットは、前記一つ以上の主要配置ブロックの複数の予め決定した点を備えることと、
前記２次元コードの位置情報の前記特徴点セットと、カメラによって撮影された前記２次元コードの正面図の位置である予め決定した標準的な位置の前記特徴点セットとの照合を行うことによって、前記２次元コードの位置情報に従って前記画像の前記２次元コードの空間位置情報を決定することと、
を備える方法。

【請求項2】

前記２次元コードの位置情報を追跡することを更に備える請求項１に記載の方法。

【請求項3】

前記２次元コードの一つ以上の主要配置ブロックに従って特徴検出を行うステップは、
前記２次元コードの一つ以上の主要配置ブロックを決定することと、
各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの複数の隅角点の位置情報をそれぞれ取得することと、
取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロック複数の隅角点の位置情報を、前記特徴検出を行うために前記特徴点セットとして用いることと、
を備える請求項１に記載の方法。

【請求項4】

各主要配置ブロックの１２個、８個又は４個の隅角点の位置情報を取得する請求項３に記載の方法。

【請求項5】

前記２次元コードの一つ以上の主要配置ブロックに従って特徴検出を行うステップは、
前記２次元コードの一つ以上の主要配置ブロックを決定することと、
各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報をそれぞれ取得することと、
取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報を、前記特徴検出を行うために前記特徴点セットとして用いることと、
を備える請求項１に記載の方法。

【請求項6】

各主要配置ブロックの黒色画素と白色画素の間の境界エッジの１２個、８個又は４個の中心点の位置情報を取得する請求項５に記載の方法。

【請求項7】

前記２次元コードは、クイックレスポンス（ＱＲ）コードである請求項１に記載の方法。

【請求項8】

前記２次元コードに対応する仮想アプリケーションデータを取得することと、
前記画像の前記２次元コードの空間位置に従って前記仮想アプリケーションデータの空間位置を決定することと、
を更に備える請求項１〜７のいずれか一項に記載の方法。

【請求項9】

２次元コードの位置情報を認識するシステムであって、
画像の２次元コードを取得するように構成された取得モジュールと、
前記２次元コードの位置情報を認識するために前記２次元コードの一つ以上の主要配置ブロックに従って特徴検出を行い、前記２次元コードの位置情報は、特徴点セットを有し、前記特徴点セットは、前記一つ以上の主要配置ブロックの複数の予め決定した点を備えるように構成された認識モジュールと、
前記２次元コードの位置情報の前記特徴点セットと、カメラによって撮影された前記２次元コードの正面図の位置である予め決定した標準的な位置の前記特徴点セットとの照合を行うことによって、前記２次元コードの位置情報に従って前記画像の前記２次元コードの空間位置情報を決定するように構成された空間位置決定モジュールと、
を備えるシステム。

【請求項10】

前記２次元コードの位置情報を追跡するように構成された追跡モジュールを更に備える請求項９に記載のシステム。

【請求項11】

前記認識モジュールは、
前記２次元コードの一つ以上の主要配置ブロックを決定するように構成された第１の決定モジュールと、
各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの複数の隅角点の位置情報をそれぞれ取得するように構成された第１の取得モジュールと、
取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロック複数の隅角点の位置情報を、特徴検出を行うために前記特徴点セットとして用いるように構成された第１の検出モジュールと、
を備える請求項９に記載のシステム。

【請求項12】

前記第１の取得モジュールは、各主要配置ブロックの１２個、８個又は４個の隅角点の位置情報を取得する請求項１１に記載のシステム。

【請求項13】

前記認識モジュールは、
前記２次元コードの一つ以上の主要配置ブロックを決定するように構成された第２の決定モジュールと、
各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報をそれぞれ取得するように構成された第２の取得モジュールと、
取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報を、特徴検出を行うために前記特徴点セットとして用いるように構成された第２の検出モジュールと、
を備える請求項９に記載のシステム。

【請求項14】

前記第２の取得モジュールは、各主要配置ブロックの黒色画素と白色画素の間の境界エッジの１２個、８個又は４個の中心点の位置情報を取得する請求項１３に記載のシステム。

【請求項15】

前記２次元コードは、クイックレスポンス（ＱＲ）コードである請求項９に記載のシステム。

【請求項16】

前記２次元コードに対応する仮想アプリケーションデータを取得するように構成された仮想アプリケーションデータ取得モジュールと、
前記画像の前記２次元コードの空間位置に従って前記仮想アプリケーションデータの空間位置を決定するように構成された仮想アプリケーションデータ位置更新モジュールと、
を更に備える請求項９〜１５のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピュータ技術の分野に関し、特に、２次元コードの位置情報を認識する方法及びシステムに関する。

【背景技術】

【0002】

拡張現実（ＡＲ）は、現実世界情報及び仮想世界情報を「シームレス」に結合する新技術である。現実世界の時空間範囲で経験するのが本来困難であるエンティティ（視覚情報、音、味、タッチ等）の情報を、人々が検知するためにコンピュータ技術を用いることによってシミュレートするとともに現実世界にオーバーレイすることができ、これによって、現実を超える感覚的経験を実現する。

【0003】

現在の技術において、マーカとして２次元コードを用いるＡＲ技術が、主に、以下の二つの方法で実現されている。

【0004】

（１）２次元コード輪郭法
この方法によれば、２次元コード輪郭を特徴点セットとして用いる。システムは、２次元コード輪郭特徴点セットを予め決定し、その後、他のスキャンした２次元コードと予め決定した特徴点セットとの照合を行う。この方法の主な欠点は、２次元コードが異なるコード値のために異なるパターンを有することであり、例えば、黒色ブロック及び白色ブロックのパターン寸法及び密度がさまざまに変化することがあり、したがって、２次元コード輪郭は一定ではない。その結果、追跡精度は一定でない（精度は、同様な輪郭に対しては高く、著しく異なる輪郭に対しては低い）。

【0005】

（２）再生法
この方法によれば、２次元コード輪郭は、先ず、コード値文字列を取得するために解読され、その後、スキャンした２次元コードと同一となるように標準的な２次元コード画像を再生する。次に、新たに生成された２次元コード画像から特徴点を抽出し、取得した特徴点セットは、システムの予め決定した特徴点セットとして用いられる。この方法の主な欠点は、新たな予め決定した特徴点セットを生成するために新たな２次元コードに対して上記のステップを繰り返す必要があることである。このプロセスは、比較的多くの時間を要し、これによって、全体のシステムの処理速度が低下する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

要約すれば、現在の技術によるマーカとして２次元コードを用いるＡＲ技術が低い認識速度及び低い追跡精度の問題を有することがわかる。

【0007】

本願の主な目的は、現在の技術によるマーカとして２次元コードを用いるＡＲの解決に存在する低い認識速度及び低い追跡精度の問題を解決するために２次元コードの位置情報を認識する方法及びシステムを提供することである。

【課題を解決するための手段】

【0008】

上述した問題を解決するために、本願の一部の実施の形態によれば、２次元コードの位置情報を認識する方法であって、画像の２次元コードを取得することと、２次元コードの位置情報を認識するために２次元コードの主要配置ブロックに従って特徴検出を行うことと、２次元コードの位置情報に従って画像の２次元コードの空間位置情報を決定することと、を備える方法を提供する。

【0009】

ここで、方法は、２次元コードの位置情報を追跡することを更に備える。

【0010】

ここで、２次元コードの主要配置ブロックに従って特徴検出を行うステップは、２次元コードの一つ以上の主要配置ブロックを決定することと、各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの複数の隅角点の位置情報をそれぞれ取得することと、取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロック複数の隅角点の位置情報を、特徴検出を行うために特徴点セットとして用いることと、を備える。

【0011】

ここで、各主要配置ブロックの１２個、８個又は４個の隅角点の位置情報を取得する。

【0012】

ここで、２次元コードの主要配置ブロックに従って特徴検出を行うステップは、２次元コードの一つ以上の主要配置ブロックを決定することと、各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報をそれぞれ取得することと、取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報を、特徴検出を行うために特徴点セットとして用いることと、を備える。

【0013】

ここで、各主要配置ブロックの黒色画素と白色画素の間の境界エッジの１２個、８個又は４個の中心点の位置情報を取得する。

【0014】

ここで、２次元コードの位置情報に従って画像の２次元コードの空間位置情報を決定するステップは、予め決定した標準的な位置情報を取得することと、画像の２次元コードの空間位置情報を取得するために、標準的な位置情報と２次元コードの位置情報との照合を行うことと、を備える。

【0015】

ここで、２次元コードは、クイックレスポンス（ＱＲ）コードである。

【0016】

ここで、方法は、２次元コードに対応する仮想アプリケーションデータを取得することと、画像の２次元コードの空間位置に従って仮想アプリケーションデータの空間位置を決定することと、を更に備える。

【0017】

本願の一部の実施の形態によれば、２次元コードの位置情報を認識するシステムであって、画像の２次元コードを取得するように構成された取得モジュールと、２次元コードの位置情報を認識するために２次元コードの主要配置ブロックに従って特徴検出を行うように構成された認識モジュールと、２次元コードの位置情報に従って画像の２次元コードの空間位置情報を決定するように構成された空間位置決定モジュールと、を備えるシステムを更に提供する。

【0018】

ここで、システムは、２次元コードの位置情報を追跡するように構成された追跡モジュールを更に備える。

【0019】

ここで、認識モジュールは、２次元コードの一つ以上の主要配置ブロックを決定するように構成された第１の決定モジュールと、各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの複数の隅角点の位置情報をそれぞれ取得するように構成された第１の取得モジュールと、取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロック複数の隅角点の位置情報を、特徴検出を行うために特徴点セットとして用いるように構成された第１の検出モジュールと、を備える。

【0020】

ここで、第１の取得モジュールは、各主要配置ブロックの１２個、８個又は４個の隅角点の位置情報を取得する。

【0021】

ここで、認識モジュールは、２次元コードの一つ以上の主要配置ブロックを決定するように構成された第２の決定モジュールと、各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報をそれぞれ取得するように構成された第２の取得モジュールと、取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報を、特徴検出を行うために特徴点セットとして用いるように構成された第２の検出モジュールと、を備える。

【0022】

ここで、第２の取得モジュールは、各主要配置ブロックの黒色画素と白色画素の間の境界エッジの１２個、８個又は４個の中心点の位置情報を取得する。

【0023】

ここで、空間位置決定モジュールは、予め決定した標準的な位置情報を取得し、画像の２次元コードの空間位置情報を取得するために、標準的な位置情報と２次元コードの位置情報との照合を行うように構成される。

【0024】

ここで、２次元コードは、クイックレスポンス（ＱＲ）コードである。

【0025】

ここで、システムは、２次元コードに対応する仮想アプリケーションデータを取得する仮想アプリケーションデータ取得モジュールと、画像の２次元コードの空間位置に従って仮想アプリケーションデータの空間位置を決定する位置更新モジュールと、を更に備える。

【0026】

要約すれば、本願は、２次元コードをマーカとして用いるとともに、２次元コードの位置情報を認識するために２次元コードの主要配置ブロックの予め決定した位置の特徴検出を行う。抽出された２次元コードの特徴点セットは、固定された相対位置を有し、非常に特有なものであり、互いに間違えにくく、良好な追跡性能を提供する。

【0027】

記載された添付図面は、本願の更なる理解を提供するとともに本願の一部を構成するために用いられる。本願の例示的な実施の形態及びその説明は、本願を説明するために用いられ、本願の不適切な限定を構成しない。

【図面の簡単な説明】

【0028】

【図1】本願の一部の実施の形態による２次元コードの位置情報を認識する方法のフローチャートである。

【図2A】本願の一部の実施の形態によるＱＲコード（登録商標）の主要配置ブロックの構成構造図である。

【図2B】本願の一部の実施の形態によるＱＲコード（登録商標）の主要配置ブロックの構成構造図である。

【図3A】本願の一部の実施の形態による特徴点抽出の模式図である。

【図3B】本願の一部の実施の形態による特徴点抽出の模式図である。

【図4】本願の一部の他の実施の形態による特徴点抽出の模式図である。

【図5】本願の一部の他の実施の形態による２次元コードの位置情報を認識する方法のフローチャートである。

【図6】本願の一部の実施の形態による２次元コードの位置情報を認識するシステムの構造ブロック図である。

【図7A】本願の一部の実施の形態による認識モジュールの構造ブロック図である。

【図7B】本願の一部の実施の形態による認識モジュールの構造ブロック図である。

【図8】本願の一部の他の実施の形態によるＡＲ技術の２次元コードの位置情報を認識するシステムの構造ブロック図である。

【発明を実施するための形態】

【0029】

目的、技術的解決及び利点を更に明確にするために、本願の技術的解決を、本願の例示的な実施の形態及び対応する添付図面を参照しながら以下で明瞭かつ完全に説明する。明らかに、説明する実施の形態は、本願の一部にすぎず、全てではない。創造的な活動を行くことなく本願の実施の形態に基づいて当業者によって取得することができる他の全ての実施の形態は、本願の範囲内にある。

【0030】

図１は、本願の一部の実施の形態による２次元コードの位置情報を認識する方法のフローチャートである。図１に示すように、方法は、以下のものを備える。

【0031】

ステップＳ１０２：画像の２次元コードを取得する。

【0032】

端末装置のカメラを、２次元コードを含む現実世界シナリオ画像を取得するために用いる。端末装置は、スマートフォン、タブレットコンピュータ、デジタルカメラ又は他の同様な端末装置であってもよい。その後、入力された２次元コード画像は、グレースケール画像を取得するための画像のグレースケール変換の実行及びグレースケール画像の２値化処理の実行を含む前処理がされる。本願の一部の実施の形態において、２次元コードはＱＲコード（登録商標）であってもよい。

【0033】

ステップＳ１０４：２次元コードの位置情報を認識するために２次元コードの主要配置ブロックに従って特徴検出を行う。

【0034】

本願において、２次元コードの位置情報は、２次元コードの主要配置ブロックの中心点、隅角点、黒色画素と白色画素の間の境界エッジの複数の中心点等の位置の情報を備える。上述した位置情報によって、平面上の２次元コードの位置を決定することができる、すなわち、２次元コードの方向、回転角、傾斜角等のような空間位置情報が決定される。

【0035】

図２Ａを参照すると、図２Ａは、ＱＲコード（登録商標）の主要配置ブロックの構成構造図である。ＱＲコード（登録商標）の配置ブロックは、二つのタイプ：主要配置ブロック及び補助配置ブロックを有し、主要配置ブロックは、左上隅角２０１、右上隅角２０１及び左下隅角２０３のような三つの大きい同心正方形領域を備え、それに対し、補助配置ブロックは、ＱＲコード（登録商標）の中央の小さい黒枠ブロックである。三つの主要配置ブロックのみが存在し、それに対し、補助配置ブロックの数を、２次元コードの密度が高くなるに従って増やすことができる。図２Ｂを参照すると、主要配置ブロックの特徴は、黒色画素及び白色画素によって形成された線分の長さ比は、１：１：３：１：１である。特徴抽出を２次元コードにおいて行うことができ、コードの位置をこの特徴に従って検出することができる。主要配置ブロックが全ての２次元コードの間で共通するとともにそのパターンが一定の形状及び位置を有するので、主要配置ブロックを２次元コードパターンの普遍の識別子として用いることができる、すなわち、主要配置ブロックを２次元コードパターンの普遍の特徴点セットとして用いることができる。主要配置ブロックの特徴抽出処理を、以下で詳しく説明する。

【0036】

本願の一部の実施の形態において、主要配置ブロックの中心点及び隅角点を特徴点セットとして用いることができる。図３Ａに示すように、隅角点は、主要配置ブロックの直角の点であり、隅角点は、画像の画素が極端に変化する点でもある。主要配置ブロックの中心点３０１を開始点として用いることによって、開始点の周辺の隅角点が検出される。第１の群の４個の隅角点（３１１，３１２，３１３及び３１４）が中心点３０１に最も近接し、第１の群の４個の隅角点の外側に第２の群の４個の隅角点（３２１，３２２，３２３及び３２４）が存在し、第２の群の４個の隅角点の外側に第３の群の４個の隅角点（３３１，３３２，３３３及び３３４）が存在することがわかる。本願において、中心点３０１と、上述した三つの群のいずれか一つ（すなわち、４個の隅角点）、三つの群のいずれか二つ（すなわち、８個の隅角点）又は三つ全ての群（すなわち、１２個の隅角点）とを、特徴点セットとして用いることができる。換言すれば、主要配置ブロックの特徴点セットは、５個、９個又は１３個の特徴点を有することができる。そのようにして、一つの２次元コードが三つの主要配置ブロックを有する場合において、５個の特徴点を各主要配置ブロックに対して選択する場合、合計で１５個の特徴点が存在し、９個の特徴点を各主要配置ブロックに対して選択する場合、合計で２７個の特徴点が存在し、１３個の特徴点を各主要配置ブロックに対して選択する場合、合計で３９個の特徴点が存在する。上述した説明において各主要配置ブロックに対して同数の特徴点が選択されることに留意されたい。他の実施の形態において、各主要配置ブロックに対して異なる数の特徴点を選択してもよく、ここでは説明しない。

【0037】

例えば、特徴点セットの特徴点の数を、実際の状況に従って選択してもよい。選択する特徴点が多くなるに従って、計算結果が更に正確になるが、計算量が多くなり、少ない特徴点を選択するとき、計算量が少なくなるが、計算結果が誤差を有することがある。図３Ｂは、特徴点セットの選択される最大数の特徴点の模式図である。図３Ｂを参照すると、３９個の特徴点を２次元コード画像の全体において取得することができ、これらの３９個の特徴点の相対位置は一定である、すなわち、これらの３９個の特徴点を独自に決定することができる。

【0038】

本願の一部の実施の形態において、主要配置ブロックの中心点及び主要配置ブロックの黒色画素と白色画素の間の境界エッジの中心点を特徴点セットとして用いることができる。一つの主要配置ブロックの一例を、以下で説明する。図４を参照すると、４０１は、主要配置ブロックの中心点を表す。中心点４０１を開始点として用いることによって、開始点の周辺の黒色画素と白色画素の間の境界エッジの中心点が検出される。第１の群の黒色画素と白色画素の間の境界エッジの４個の中心点（４１１，４１２，４１３及び４１４）は、中心点４０１に最も近接し、第１の群の４個の中心点の外側に第２の群の（符号を付さない）４個の中心点が存在し、第１の群の４個の中心点の外側に第３の群の（符号を付さない）４個の中心点が存在する。隅角点を取得する方法と同様に、黒色画素と白色画素の間の境界エッジの４個、８個又は１２個の中心点を一つの主要配置ブロックから取得することができ、一つの特徴点セットは、中心点が含まれるときに５個、９個又は１３個の特徴点を有することができる。１５個、２７個又は３９個の特徴点を、一つの２次元コードの三つの主要配置ブロックから取得することができる。

【0039】

本願において、２次元コードは、マーカとして用いられ、２次元コードの位置を、２次元コードの主要配置ブロック予め決定した位置の特徴検出を行うことによって有効に認識することができる。

【0040】

ステップＳ１０６：２次元コードの位置情報に従って画像の２次元コードの空間位置情報を決定する。

【0041】

例えば、予め決定した標準的な位置情報を取得し、（空間位置パラメータ及び回転パラメータを含む）画像の２次元コードの空間位置情報を取得するために標準的な位置情報と２次元コードの位置情報との照合を行う。例示的な用途において、２次元コードの空間位置を、２次元コードを含む現実世界シナリオ画像を継続的に取得することによって継続的に追跡することができ、２次元コードの取得した空間位置を、ＡＲ技術において用いることができ、それを、図５を参照しながら以下で詳しく説明する。

【0042】

図５は、本願の一部の他の実施の形態による２次元コードの位置情報を認識する方法のフローチャートである。図５に示すように、方法は、以下のものを備える。

【0043】

ステップＳ５０２：端末装置（例えば、スマートフォン、タブレットコンピュータ、デジタルカメラ等）のカメラを始動させ、２次元コードを含む現実世界シナリオ画像を撮影する。

【0044】

ステップＳ５０４：２次元コードをスキャンし、２次元コードの特徴点セットを抽出する。図３又は図４の記載を、２次元コードの特徴点セットの抽出のステップのために参照してもよい。特徴点セットの抽出を失敗した場合、方法はステップＳ５０２を繰り返す。

【0045】

ステップＳ５０６：焦点距離、画像中心等のカメラの内部パラメータを取得する。

【0046】

ステップＳ５０８：点群登録を行う。成功した場合、方法は、ステップＳ５１０の実行に進み、そうでない場合、方法は、ステップＳ５０２に戻る。

【0047】

例えば、予め決定した標準的な位置情報を取得する、例えば、カメラによって撮影された２次元コードの正面図の位置を、標準的な位置として用いることができる。標準的な位置情報と（焦点距離、画像中心等のような）カメラの予め取得した内部パラメータを組み合わせることによって、標準的な位置の特徴点セットの第１の点群データ（例えば、３ｄ点群）を取得することができる。同様に、２次元コードの抽出した特徴点セットとカメラの内部パラメータを組み合わせることによって、特徴点セットの第２の点群データ（例えば、３ｄ点群）を取得することができる。その後、点群登録を第１の点群データ及び第２の点群データに基づいて行い、画像の２次元コードの空間位置情報（すなわち、カメラの空間位置）を取得するために、第１の点群データと第２の点群データの間の位置関係を計算する。

【0048】

ステップＳ５１０：ＡＲの全体のフローを完了するためにカメラの空間位置を用いることによって仮想オブジェクトの空間位置を更新し、仮想オブジェクトは、テキスト、画像、ビデオ、３Ｄモデル、動画、音及び地理的な位置情報のいずれか一つ又は組合せを有する。

【0049】

図６は、本願の一部の実施の形態による２次元コードの位置情報を認識するシステムの構造ブロック図である。図６に示すように、システムは、
画像の２次元コードを取得するように構成された取得モジュール６１０と、
２次元コードの位置情報を認識するために２次元コードの主要配置ブロックに従って特徴検出を行うように構成された認識モジュール６２０と、
２次元コードの位置情報に従って画像の２次元コードの空間位置情報を決定するように構成された空間位置決定モジュール６３０であって、予め決定した標準的な位置情報を取得し、画像の２次元コードの空間位置情報を取得するために、標準的な位置情報と２次元コードの位置情報との照合を行うように構成された空間位置決定モジュール６３０と、
２次元コードの位置情報を追跡するとともに２次元コードの新たな位置情報に従って２次元コードの空間位置情報を決定するように構成された追跡モジュール６４０と、
を備える。

【0050】

本願の一部の実施の形態において、図７Ａを参照すると、認識モジュール６２０は、
２次元コードの一つ以上の主要配置ブロックを決定するように構成された第１の決定モジュール６２１と、
各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの複数の隅角点の位置情報をそれぞれ取得するように構成された第１の取得モジュール６２２であって、各主要配置ブロックの１２個、８個又は４個の隅角点の位置情報を取得するように構成された第１の取得モジュール６２２と、
取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロック複数の隅角点の位置情報を、特徴検出を行うために特徴点セットとして用いるように構成された第１の検出モジュール６２３と、
を更に備える。

【0051】

本願の一部の実施の形態において、図７Ｂを参照すると、認識モジュール６２０は、
２次元コードの一つ以上の主要配置ブロックを決定するように構成された第２の決定モジュール６２６と、
各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報をそれぞれ取得するように構成された第２の取得モジュール６２７であって、各主要配置ブロックの黒色画素と白色画素の間の境界エッジの１２個、８個又は４個の中心点の位置情報を取得するように構成された第２の取得モジュール６２７と、
取得した各主要配置ブロックの中心点の位置情報及び各主要配置ブロックの黒色画素と白色画素の間の境界エッジの複数の中心点の位置情報を、特徴検出を行うために特徴点セットとして用いるように構成された第２の検出モジュール６２８と、を備える。

【0052】

図８は、本願の一部の他の実施の形態によるＡＲ技術の２次元コードの位置情報を認識するシステムの構造ブロック図である。図８に示すように、システムは、
画像の２次元コードを取得するように構成された取得モジュール８１０と、
２次元コードの位置情報を認識するために２次元コードの主要配置ブロックに従って特徴検出を行うように構成された認識モジュール８２０と、
２次元コードの位置情報に従って画像の２次元コードの空間位置情報を決定するように構成された空間位置決定モジュール８３０と、
２次元コードに対応する仮想アプリケーションデータを取得するように構成された仮想アプリケーションデータ取得モジュール８４０と、
画像の２次元コードの空間位置に従って仮想アプリケーションデータの空間位置を決定するように構成された仮想アプリケーションデータ位置更新モジュール８５０と、
を備える。

【0053】

本願の方法の動作ステップは、システムの構造的な特徴に対応し、互いに参照することができ、一つずつ説明しない。

【0054】

要約すれば、本願は、２次元コードをマーカとして用いるとともに、２次元コードの位置情報を認識するために２次元コードの主要配置ブロックの予め決定した位置の特徴検出を行う。抽出された２次元コードの特徴点セットは、固定された相対位置を有し、非常に特有なものであり、互いに間違えにくく、良好な追跡性能を提供する。本願による技術的解決は、全てのＱＲコード（登録商標）に適用でき、予め決定した特徴点セットを毎回再生する必要がない。

【0055】

当業者は、本願の実施の形態を方法、システム又はコンピュータプログラム製品として提供できることを理解すべきである。したがって、本願を、完全にハードウェアの実施の形態、完全にソフトウェアの実施の形態又はソフトウェアとハードウェアとを組み合わせた実施の形態として実現してもよい。さらに、本願を、コンピュータ使用可能プログラムコードを備える（磁気ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ等を含むがそれに限定されない）一つ以上のコンピュータ使用可能記憶媒体で実現されるコンピュータプログラム製品の形態としてもよい。

【0056】

典型的な形態において、計算装置は、一つ以上のプロセッサ（ＣＰＵ）と、入出力インタフェースと、ネットワークインタフェースと、メモリと、を有する。

【0057】

メモリは、ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ、及び／又は、不揮発性メモリ、例えば、リードオンリーメモリ（ＲＯＭ）又はフラッシュＲＡＭのようなコンピュータ可読媒体を含んでもよい。メモリは、コンピュータ可読媒体の一例である。

【0058】

コンピュータ可読媒体は、任意の方法又は技術によって情報記憶を実現することができる永久的であり、揮発性であり、携帯性であり、かつ、固定された媒体を含む。情報を、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータとしてもよい。コンピュータの記憶媒体の例は、相変化ＲＡＭ（ＰＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）若しくは他の光メモリ、カセット、カセット及びディスクメモリ若しくは他の磁気記憶装置、又は、コンピュータ装置にアクセス可能な情報を記憶するのに用いることができる他の任意の非伝送媒体を含むがそれに限定されない。ここでの定義によれば、コンピュータ可読媒体は、変調データ信号及び搬送波のような一時的な媒体を含まない。

【0059】

さらに、一連の要素を備えるプロセス、方法、商品又は装置がこれらの要素を有するだけでなく特に挙げられていない他の要素も含む又はプロセス、方法、商品又は装置に固有の要素を更に含むように「有する」、「備える」又はその変形の用語が非排他的包含を含むことを意図していることに留意されたい。更なる限定が存在しないとき、「一つの・・・を備える」の文によって定義される要素は、上述したように定義された要素を備えるプロセス、方法、商品又は装置に含まれる追加の同一の要素を除外しない。

【0060】

上述したものは、本願を限定するのに用いられない本願の実施の形態にすぎない。当業者に対して、本願は種々の変更及び変形を有することができる。本願の精神及び原理の範囲内で行われるあらゆる変形、等価物の置換又は改善は、本願の特許請求の範囲に含まれるべきである。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】