特許 6167691 ＡＲマーカ及びＡＲマーカ表示媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6167691

(24)【登録日】2017年7月7日

(45)【発行日】2017年7月26日

(54)【発明の名称】ＡＲマーカ及びＡＲマーカ表示媒体

(51)【国際特許分類】

   G06K 19/06 20060101AFI20170713BHJP

【ＦＩ】

   G06K19/06 056

【請求項の数】6

【全頁数】10

(21)【出願番号】特願2013-133253(P2013-133253)

(22)【出願日】2013年6月26日

(65)【公開番号】特開2015-7927(P2015-7927A)

(43)【公開日】2015年1月15日

【審査請求日】2016年6月23日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】高橋 敦英

【審査官】 梅沢 俊

(56)【参考文献】

【文献】 国際公開第２０１２／０４９７９５（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／０３２７１１７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ １９／０６

(57)【特許請求の範囲】

【請求項1】

表示部を備える外部端末に読み取られることにより該表示部に情報を表示させるＡＲマーカであって、
第一の色領域内に、提供する情報に対応する第二の色のパターンが形成された大分類の情報に対応する第１のＡＲマーカの前記第一の色領域内に、第二の色枠で囲まれた、前記第１のＡＲマーカより小さいサイズの小分類の情報に対応する第２のＡＲマーカが配置されているＡＲマーカ。

【請求項2】

前記第２のＡＲマーカは複数配置されている請求項１に記載のＡＲマーカ。

【請求項3】

前記第２のＡＲマーカのパターンは、中分類を示す情報に対応する文字により構成されている請求項２に記載のＡＲマーカ。

【請求項4】

前記第１のＡＲマーカと前記第２のＡＲマーカは四角形である請求項１〜３の何れか一項に記載のＡＲマーカ。

【請求項5】

前記第一の色は、二値化処理後に黒となる色であって、
前記第二の色は、二値化処理後に白となる色である請求項１〜４の何れか一項に記載のＡＲマーカ。

【請求項6】

請求項１〜５の何れか一項に記載のＡＲマーカが上下左右に余白枠を設けて表示されるＡＲマーカ表示媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲマーカ及びＡＲマーカ表示媒体に関する。

【背景技術】

【0002】

近年、実空間に仮想物体が存在するかのように重畳させる拡張現実技術を用いた拡張現実感システム（ＡＲ（Augmented Reality：拡張現実）システム）が用いられるようになってきている。例えば、端末装置において、表示させたい仮想物体画像の種類に対応するＡＲ用のマーカ（ＡＲマーカ）を含む画像を撮影すると、このＡＲマーカの種類及び配置した位置に対応して、撮影画像中に仮想物体画像を合成して表示する拡張現実感システムが知られている。

【0003】

しかし、ＡＲマーカを用いた拡張現実感システムでは、表示する仮想物体画像に対応するだけの数のＡＲマーカがそれぞれ必要となる。そこで、例えば、特許文献１には、マーカ掲示用携帯端末に、複数種類のＡＲマーカと仮想物体画像とを対応付けて記憶させておき、ユーザにより選択されたＡＲマーカをマーカ掲示用携帯端末に表示することで、複数のＡＲマーカの印刷物等を持ち歩かなくても複数種類の仮想物体画像の中から表示する仮想物体画像を選択できるようにした技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−２５０９５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のようなマーカ掲示用携帯端末を実現するには、初期費用やメンテナンス費用がかかる。また、特許文献１に記載の技術においても、単一のＡＲマーカからはそのマーカに対応付けられた情報（仮想物体画像）の表示のみが可能であり、他の情報の表示をさせるためにはユーザが選択操作をして、マーカ掲示用携帯端末に表示させるＡＲマーカを切り替える必要があった。

【0006】

本発明の課題は、ＡＲマーカ自体を切り替えることなく、異なる複数の情報を提供できるようにすることである。

【課題を解決するための手段】

【0007】

上記課題を解決するため、請求項１に記載の発明のＡＲマーカは、
表示部を備える外部端末に読み取られることにより該表示部に情報を表示させるＡＲマーカであって、第一の色領域内に、提供する情報に対応する第二の色のパターンが形成された大分類の情報に対応する第１のＡＲマーカの前記第一の色領域内に、第二の色枠で囲まれた、前記第１のＡＲマーカより小さいサイズの小分類の情報に対応する第２のＡＲマーカが配置されている。

【発明の効果】

【0008】

本発明によれば、ＡＲマーカ自体を切り替えることなく、異なる複数の情報を提供することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本実施形態におけるＡＲマーカを示す図である。

【図2】ＡＲマーカを認識する端末装置の機能的構成を示すブロック図である。

【図3】ＡＲマーカ表示媒体の掲示例を示す図である。

【図4】ＡＲマーカと、それぞれのＡＲマーカに対応している情報の対応表を示す図である。

【図5】図２に示す端末装置により実行されるＡＲマーカ認識処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

【0011】

まず、本発明の実施形態におけるＡＲマーカ１について説明する。
図１は、ＡＲマーカ１を示す図である。ＡＲマーカ１は、当該ＡＲマーカ１を認識した端末装置６やそのユーザに対して情報を提供するための画像である。端末装置６は、図２に示すように、ＣＰＵ（Central Processing Unit）６０、ＲＡＭ（Random Access Memory）６１、記憶部６２、通信部６３、表示部（モニタ）６４、操作部６５、光学系（レンズ）及び撮像素子を備えるデジタルカメラ６６等を備えた移動型端末である。端末装置６としては、例えば、スマートフォン、タブレット端末、ノートＰＣ（Personal Computer）、ハンディターミナル等が適用可能である。

【0012】

ＡＲマーカ１は、例えば、図３に示すように、本やＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）等を陳列する図書館の棚の側面等に掲示され、端末装置６のユーザに対し、端末装置６を介して又は直接的に、棚に陳列されている物の大分類（例えば、本、ＣＤ、ＤＶＤ等）、中分類（例えば、雑誌、単行本、漫画、辞典等）、小分類（例えば、具体的に陳列されている本等のタイトル等）の情報を提供する。

【0013】

図１に示すように、ＡＲマーカ１は、ＡＲマーカ表示媒体である用紙Ｐに、上下左右に余白枠１ａを設けて表示されている。用紙Ｐは、光沢のない用紙であることが好ましい。ＡＲマーカ１は、黒い四角形の領域１ｂ内を画像領域とする画像であり、領域１ｂの中央部には、当該ＡＲマーカ１が提供する情報に対応する白色の標識（図形や記号等）であるパターン１ｃが形成されている。パターン１ｃは、ＡＲマーカ１が掲示されている棚に陳列されている物の大分類を示す情報に対応している。

【0014】

なお、ここでいう「黒」とは、グレースケールに変換してから所定の閾値（後述するＡＲマーカ認識処理のステップＳ２で二値化に使用される閾値）で二値化をしたときに、黒に変換される色である。「白」とは、グレースケールに変換してから所定の閾値（後述するＡＲマーカ認識処理のステップＳ２で二値化に使用される閾値）で二値化をしたときに、白に変換される色である。

【0015】

また、ＡＲマーカ１（第１のＡＲマーカ）の領域１ｂ内の四隅には、白い枠２ａ〜５ａで囲まれた、ＡＲマーカ１より小さいサイズのＡＲマーカ２〜５（第２のＡＲマーカ）が配置されている。それぞれのＡＲマーカ２〜５は、ＡＲマーカ１と同様に、黒い四角形の領域２ｂ〜５ｂ内の中央部に、そのＡＲマーカが提供する情報に対応する白色の標識であるパターン２ｃ〜５ｃが形成されている。

【0016】

ＡＲマーカ２〜５は、それぞれ、配置されている場所に応じた情報を提供する。
具体的に、右上に配置されているＡＲマーカ２のパターン２ｃは、ＡＲマーカ１が掲示されている位置からみて右側の棚の上方に陳列されている物の中分類を示す文字により構成され、右側の棚の上方に陳列されている物の小分類（陳列されている物のタイトル等）を示す情報に対応している。
右下に配置されているＡＲマーカ３のパターン３ｃは、ＡＲマーカ１が掲示されている位置からみて右側の棚の下方に陳列されている物の中分類を示す文字により構成され、右
側の棚の下方に陳列されている物の小分類（陳列されている物のタイトル等）を示す情報に対応している。
左上に配置されているＡＲマーカ４のパターン４ｃは、ＡＲマーカ１が掲示されている位置からみて左側の棚の上方に陳列されている物の中分類を示す文字により構成され、左側の棚の上方に陳列されている物の小分類（陳列されている物のタイトル等）を示す情報に対応している。
左下に配置されているＡＲマーカ５のパターン５ｃは、ＡＲマーカ１が掲示されている位置からみて左側の棚の下方に陳列されている物の中分類を示す文字により構成され、左側の棚の下側に陳列されている物の小分類（陳列されている物のタイトル等）を示す情報に対応している。

【0017】

図４に、ＡＲマーカ１〜５と、それぞれのＡＲマーカに対応している情報の対応表６２１を示す。図４に示すように、ＡＲマーカ１は、ＡＲマーカ１が掲示されている棚に陳列されている物（例えば、ここでは、「本」）の大分類を示す情報に対応している。ＡＲマーカ２〜５は、それぞれ、ＡＲマーカ１の大分類に分類される物の中分類（例えば、本のジャンル）、小分類（例えば、本のタイトル）を示す情報に対応している。なお、各ＡＲマーカに対応する情報は、テキストであってもよいし、画像であってもよい。または、その情報にアクセスするためのＵＲＬ情報やコマンドであってもよい。

【0018】

ＡＲマーカ１〜５は、端末装置６において、図５に示すＡＲマーカ認識処理が行われて読み取られることによって、端末装置６に認識・解釈され、それぞれのＡＲマーカに対応した情報の表示が行われる。端末装置６の記憶部６２には、図４に示す対応表６２１、ＡＲマーカ１〜５のそれぞれの領域１ｂ〜５ｂ内の画像を白黒を反転して数値化したパターンファイル６２２、ＡＲマーカ認識処理を実行するためのアプリケーションプログラム（ＡＲマーカ認識アプリケーションプログラム）６２３が記憶されており、ＣＰＵ６０は、操作部６５からの指示に応じてＡＲマーカ認識アプリケーションプログラム６２３を起動し、起動したプログラムとの協働により、ＡＲマーカ認識処理を実行する。

【0019】

以下、図５を参照してＡＲマーカ認識処理について説明する。
まず、ＣＰＵ６０は、デジタルカメラ６６を起動し、デジタルカメラ６６に対し、被写体としてのＡＲマーカへのピント合わせを行わせ、ＡＲマーカの撮影画像を取得させる（ステップＳ１）。
なお、ユーザは、デジタルカメラ６６でＡＲマーカ１〜５のうち所望するＡＲマーカにピントを合わせて撮影画像を取得することができるように、デジタルカメラ６６のレンズとＡＲマーカ１との位置関係（距離）を調整しておく。例えば、ＡＲマーカ１を認識させたい場合は、ＡＲマーカ１全体が撮影範囲内に入ってＡＲマーカ１にピントが合わせられるようにデジタルカメラ６６のレンズとＡＲマーカ１との位置関係を調整する。ＡＲマーカ２〜５の何れかを認識させたい場合は、その認識させたいＡＲマーカが撮影範囲内に入ってその認識させたいＡＲマーカにピントが合わせられるようにデジタルカメラ６６のレンズとＡＲマーカ１の位置関係を調整する。

【0020】

次いで、ＣＰＵ６０は、取得された撮影画像を二値化する（ステップＳ２）。例えば、撮影画像をグレースケールの画像に変換し、変換した画像の各画素値を予め定められた閾値と比較し、閾値を超えるか否かに従って、各画素の画素値を白又は黒に変換する。なお、ステップＳ２で使用される閾値は、デジタルカメラ６６の周辺の明るさに応じて設定することが好ましい。

【0021】

次いで、ＣＰＵ６０は、二値化された画像の白黒を反転し、反転した画像中の黒い枠で囲まれた白の四角形の領域（即ち、反転前において白い枠１ａ〜５ａで囲まれた黒の四角形の領域１ｂ〜５ｂ）をＡＲマーカの領域として認識し、認識したＡＲマーカ領域内のパ
ターン画像を解像度で分割し（ステップＳ３）、分割したそれぞれの領域を領域内の画素値で数値化する（ステップＳ４）。

【0022】

次いで、ＣＰＵ６０は、数値化されたデータを記憶部６２に記憶されている各パターンファイルと比較して一致度を算出する（ステップＳ５）。
一致度が予め定められた閾値以上のパターンファイルが存在した場合（ステップＳ６；ＹＥＳ）、ＣＰＵ６０は、撮影されたＡＲマーカが、一致度が閾値以上のパターンファイルに対応するＡＲマーカであると認識し（ステップＳ７）、認識されたＡＲマーカに対応する情報を記憶部６２に記憶されている対応表６２１から読み出して、表示部６４に表示させ（ステップＳ８）、ＣＰＵ６０は、ＡＲマーカ認識処理を終了する。なお、対応表６２１において、認識したＡＲマーカに複数の分類に亘って情報が対応付けられている場合は、ＣＰＵ６０は、対応付けられている複数の情報のうち最下層の分類の情報に基づいて表示部６４に表示を行わせる。例えば、対応表６２１において、認識したＡＲマーカに大分類〜小分類の情報が対応付けられている場合、小分類の情報に基づいて表示部６４に表示を行わせる。
一致度が予め定められた閾値以上のパターンファイルが存在しなかった場合（ステップＳ６；ＮＯ）、ＣＰＵ６０は、ＡＲマーカ認識処理を終了する。

【0023】

ここで、ＡＲマーカ１に対応する情報を表示部６４に表示させようとした場合、撮影画像に他の小さいサイズのＡＲマーカ２〜５の白枠２ａ〜５ａやパターン２ｃ〜５ｃが写ってしまうと、ステップＳ５でＡＲマーカ１のパターンファイルとの一致度が低くなり、ＡＲマーカ１として認識されなくなってしまう。或いは、ステップＳ３で複数のＡＲマーカの領域が認識されてしまい、処理不能となってしまう。そこで、ＡＲマーカ１とその中の小さいＡＲマーカ２〜５とのサイズ比率は、デジタルカメラ６６でＡＲマーカ１にピントを合わせたときにはＡＲマーカ２〜５がぼやけてＡＲマーカ１の認識に影響を与えない（二値化したときにマーカ２〜５の白枠やパターンが黒として認識される）比率となっている。

【0024】

一例として、大きなＡＲマーカ１の寸法をＸ１×Ｙ１、小さなＡＲマーカ２〜５の寸法をＸ２×Ｙ２とした場合、下記の条件下においては、Ｘ１：Ｘ２＝１００：１、Ｙ１：Ｙ２＝１００：１の比率であれば、ＡＲマーカ１にピントを合わせたときにＡＲマーカ１を正しく認識することが可能である。
（ａ）デジタルカメラ６６の画素数：８００万画素
（ｂ）表示部６４のモニタ解像度：９６０×６４０
（ｃ）ＡＲマーカ付近の照度：１０００ｌｘ
（ｄ）デジタルカメラ６６のレンズからの焦点距離：３０ｃｍ
（ｅ）ＡＲマーカの素材：再生紙にプリント

【0025】

或いは、上記のマーカ認識処理のステップＳ３においてＡＲマーカの領域として認識された領域内に、更に黒い枠で囲まれた白い四角形の領域（反転前の白い枠で囲まれた黒の四角形の領域）が検出される場合は、検出された枠及び四角形の領域をＡＲマーカの領域やＡＲマーカのパターンの一部としては認識しないようにしてもよい。これにより、ＡＲマーカ１が正しく認識されなくなることを防止することができる。

【0026】

以上説明したように、本実施形態におけるＡＲマーカ１によれば、黒い四角形の領域１ｂ内に、提供する情報に対応する白色のパターン１ｃが形成され、更に、黒い四角形の領域１ｂ内に、白い枠２ａ〜５ａで囲まれた、ＡＲマーカ１より小さいサイズのＡＲマーカ２〜５が配置されている。

【0027】

従って、端末装置６におけるデジタルカメラ６６のレンズとＡＲマーカ１の位置関係を
調整してＡＲマーカの認識を行わせるだけで、ＡＲマーカ自体の表示を切り替えることなく、異なる複数の情報を提供することが可能となる。

【0028】

また、ＡＲマーカ１に配置される小さいサイズのＡＲマーカを複数とすることで、一つのＡＲマーカ１からより多くの情報を提供することが可能となる。

【0029】

また、ＡＲマーカ１には、大分類を示す情報に対応するパターンが形成され、ＡＲマーカ１よりサイズの小さいＡＲマーカ２〜５には、小分類を示す情報に対応するパターンが形成されているので、１つのＡＲマーカ１によって、大分類を示す情報及び小分類を示す情報の双方を提供することができる。

【0030】

また、ＡＲマーカ２〜５のパターンは、中分類を示す情報に対応する文字により構成されているので、ユーザは目視するだけで中分類を示す情報を認識することが可能となる。

【0031】

なお、上記実施形態における記述内容は、本発明のＡＲマーカの好適な一例であり、これに限定されるものではない。

【0032】

例えば、上記実施形態においては、ＡＲマーカ１より小さいサイズのＡＲマーカ２〜５は、ＡＲマーカ１の四隅に配置した例を示したが、小さいサイズのＡＲマーカの配置位置は、一つの小さいＡＲマーカをデジタルカメラ６６で撮影するときに他の小さいＡＲマーカが画角に入らない配置であって、大きいサイズのＡＲマーカ１のパターンに重ならない配置あれば、特に限定されない。また、小さいサイズのＡＲマーカの数も特に限定されない。

【0033】

また、上記実施形態においては、第２のＡＲマーカとしてのＡＲマーカ２〜５は、全て同じサイズとしたが、第１のＡＲマーカとしてのＡＲマーカ１のサイズより小さいものであれば、ＡＲマーカ２〜５のサイズはそれぞれ異なるものとしてもよい。
また、上記実施形態においては、四角いＡＲマーカを用いたがこれに限らず、星型や丸型など形は限定されない。
また、ＡＲマーカの黒い部分と白い部分は反転しても良い。

【0034】

また、上記実施形態においては、ＡＲマーカ１を図書館の棚に陳列されている物の大分類、中分類、小分類の情報を提供する画像として説明したが、一例にすぎず、ＡＲマーカ１が提供する情報の対象は、これに限定されるものではない。

【0035】

その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

【0036】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
黒い領域内に、提供する情報に対応する白色のパターンが形成された第１のＡＲマーカの前記黒い領域内に、白い枠で囲まれた、前記第１のＡＲマーカより小さいサイズの第２のＡＲマーカが配置されているＡＲマーカ。
＜請求項２＞
前記第２のＡＲマーカは複数配置されている請求項１に記載のＡＲマーカ。
＜請求項３＞
前記第１のＡＲマーカには、大分類を示す情報に対応するパターンが形成され、前記第２のＡＲマーカには、小分類を示す情報に対応するパターンが形成されている請求項１又は２に記載のＡＲマーカ。
＜請求項４＞
前記第２のＡＲマーカのパターンは、中分類を示す情報に対応する文字により構成されている請求項３に記載のＡＲマーカ。
＜請求項５＞
前記第１のＡＲマーカと前記第２のＡＲマーカは四角形である請求項１〜４の何れか一項に記載のＡＲマーカ。
＜請求項６＞
請求項１〜５の何れか一項に記載のＡＲマーカが上下左右に余白枠を設けて表示されるＡＲマーカ表示媒体。

【符号の説明】

【0037】

１〜５ ＡＲマーカ
６ 端末装置
６０ ＣＰＵ
６１ ＲＡＭ
６２ 記憶部
６２１ 対応表
６２２ パターンファイル
６２３ ＡＲマーカ認識アプリケーションプログラム
６３ 通信部
６４ 表示部
６５ 操作部
６６ デジタルカメラ

【図1】

【図2】

【図3】

【図4】

【図5】