特許 6508730 発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6508730

(24)【登録日】2019年4月12日

(45)【発行日】2019年5月8日

(54)【発明の名称】発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190422BHJP

   G06K 19/06 20060101ALI20190422BHJP

   G06K 7/10 20060101ALI20190422BHJP

   G06T 7/00 20170101ALI20190422BHJP

【ＦＩ】

   H04N5/232 290

   G06K19/06 112

   G06K7/10 464

   G06T7/00 300E

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2016-243977(P2016-243977)

(22)【出願日】2016年12月16日

(65)【公開番号】特開2018-98716(P2018-98716A)

(43)【公開日】2018年6月21日

【審査請求日】2018年6月6日

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】遠藤 裕雄

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１４−１８３５６７（ＪＰ，Ａ）

【文献】 特開２００１−３２０７０２（ＪＰ，Ａ）

【文献】 特開２０１０−２３８１９６（ＪＰ，Ａ）

【文献】 特開２００８−０２６０４０（ＪＰ，Ａ）

【文献】 特開２００１−２９２１０７（ＪＰ，Ａ）

【文献】 特開２０１１−２０４０４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２− ５／２５７

Ｇ０６Ｋ ７／００ − ７／１４

Ｇ０６Ｋ １９／００ −１９／１８

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

複数の発光パターンで発光可能な発光部と、
所定のフレームレートで、前記複数の発光パターンのうちのいずれかの発光パターンによるフレームの表示を前記発光部が行うよう制御する発光制御手段と
を有し、
前記発光制御手段は、前記発光部を撮影した画像を取得するマーカ検出装置がマーカの位置を検出するために用いられるフレームである検出フレームの第１の発光パターンでの発光、前記検出フレームの第２の発光パターンでの発光、前記マーカ検出装置に情報を送信するためのフレームである情報伝達フレームの所定の発光パターンでの発光、前記マーカ検出装置に情報の送信の完了を通知するためのフレームである終了フレームとしての無発光を、順に、繰り返して前記発光部に行わせる
発光マーカ装置。

【請求項2】

前記マーカ検出装置は、前記発光部を前記所定のフレームレートで撮影した画像を取得し、
前記発光制御手段は、前記第１の発光パターンでの発光及び前記第２の発光パターンでの発光が、それぞれ１フレームとなるよう制御する
請求項１に記載の発光マーカ装置。

【請求項3】

前記発光制御手段は、前記所定の発光パターンでの発光において、同一の発光パターンを連続する複数フレームに亘って表示するよう制御する
請求項２に記載の発光マーカ装置。

【請求項4】

前記発光制御手段は、前記終了フレームを複数フレームに亘って表示するよう制御する
請求項２又は３に記載の発光マーカ装置。

【請求項5】

複数の発光パターンで発光可能な発光部を有する発光マーカ装置の前記発光部を撮影した画像を取得する画像取得手段と、
前記画像取得手段により取得された連続する２つの画像の差分画像を生成する差分画像生成手段と、
前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索する探索手段と、
前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行うパターン解析手段と、
前記パターン解析手段によるマッチング処理結果に応じた情報を出力する情報出力手段と
を有するマーカ検出装置。

【請求項6】

発光マーカ装置と、マーカ検出装置とを備え、
前記発光マーカ装置は、
複数の発光パターンで発光可能な発光部と、
所定のフレームレートで、前記複数の発光パターンのうちのいずれかの発光パターンによるフレームの表示を前記発光部が行うよう制御する発光制御手段と
を有し、
前記発光制御手段は、前記マーカ検出装置がマーカの位置を検出するために用いられるフレームである検出フレームの第１の発光パターンでの発光、前記検出フレームの第２の発光パターンでの発光、前記マーカ検出装置に情報を送信するためのフレームである情報伝達フレームの所定の発光パターンでの発光、前記マーカ検出装置に情報の送信の完了を通知するためのフレームである終了フレームとしての無発光を、順に、繰り返して前記発光部に行わせ、
前記マーカ検出装置は、
前記発光部を撮影した画像を取得する画像取得手段と、
前記画像取得手段により取得された連続する２つの画像の差分画像を生成する差分画像生成手段と、
前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索する探索手段と、
前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行うパターン解析手段と、
前記パターン解析手段によるマッチング処理結果に応じた情報を出力する情報出力手段と
を有する
伝送システム。

【請求項7】

複数の発光パターンで発光可能な発光部を用いて、所定のフレームレートでフレームの連続的な表示を行い、
前記連続的な表示では、
前記発光部を撮影した画像を取得するマーカ検出装置がマーカの位置を検出するために用いられるフレームである検出フレームを第１の発光パターンで前記発光部を発光させ、
前記検出フレームを第２の発光パターンで前記発光部に発光させ、
前記マーカ検出装置に情報を送信するためのフレームである情報伝達フレームを所定の発光パターンで前記発光部に発光させ、
前記マーカ検出装置に情報の送信の完了を通知するためのフレームである終了フレームとしての無発光を前記発光部に行わせる
という一連の表示を順に、繰り返す
マーカ発光方法。

【請求項8】

複数の発光パターンで発光可能な発光部を有する発光マーカ装置の前記発光部を撮影した画像を取得し、
取得された連続する２つの画像の差分画像を生成し、
前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索し、
前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行い、
マッチング処理結果に応じた情報を出力する
マーカ検出方法。

【請求項9】

複数の発光パターンで発光可能な発光部を有する発光マーカ装置の前記発光部を撮影した画像を取得する画像取得ステップと、
前記画像取得ステップで取得された連続する２つの画像の差分画像を生成する差分画像生成ステップと、
前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索する探索ステップと、
前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行うパターン解析ステップと、
前記パターン解析ステップでのマッチング処理結果に応じた情報を出力する情報出力ステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラムに関する。

【背景技術】

【0002】

近年、拡張現実に関する技術の開発が盛んになっている。拡張現実を実現する為には、自分の位置と対象物体の位置との対応付けを行うことが必要である。これを行うために、屋外ではＧＰＳ（Global Positioning System）が主に使用されるが、博物館や美術館等の屋内ではＧＰＳが使用できないので、電波、赤外線、又は画像処理等が用いられる。これに関し、例えば、特許文献１は、二次元マーカを画像処理により検出する技術について開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１４８５５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

最近では、スマートフォン等のモバイル機器に付属しているカメラを使用して得られた画像に対し、マーカを検出するための画像処理が行われることが多い。しかし、モバイル機器などにとって、このような画像処理の実施には、計算負荷の問題がある。

【0005】

本発明の目的は、上述した課題を鑑み、マーカを検出するための画像処理の計算負荷を抑制することができる発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる発光マーカ装置は、複数の発光パターンで発光可能な発光部と、所定のフレームレートで、前記複数の発光パターンのうちのいずれかの発光パターンによるフレームの表示を前記発光部が行うよう制御する発光制御手段とを有し、前記発光制御手段は、前記発光部を撮影した画像を取得するマーカ検出装置がマーカの位置を検出するために用いられるフレームである検出フレームの第１の発光パターンでの発光、前記検出フレームの第２の発光パターンでの発光、前記マーカ検出装置に情報を送信するためのフレームである情報伝達フレームの所定の発光パターンでの発光、前記マーカ検出装置に情報の送信の完了を通知するためのフレームである終了フレームとしての無発光を、順に、繰り返して前記発光部に行わせる。

【0007】

また、本発明の一態様にかかるマーカ検出装置は、複数の発光パターンで発光可能な発光部を有する発光マーカ装置の前記発光部を撮影した画像を取得する画像取得手段と、前記画像取得手段により取得された連続する２つの画像の差分画像を生成する差分画像生成手段と、前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索する探索手段と、前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行うパターン解析手段と、前記パターン解析手段によるマッチング処理結果に応じた情報を出力する情報出力手段とを有する。

【0008】

また、本発明の一態様にかかる伝送システムは、発光マーカ装置と、マーカ検出装置とを備え、前記発光マーカ装置は、複数の発光パターンで発光可能な発光部と、所定のフレームレートで、前記複数の発光パターンのうちのいずれかの発光パターンによるフレームの表示を前記発光部が行うよう制御する発光制御手段とを有し、前記発光制御手段は、前記マーカ検出装置がマーカの位置を検出するために用いられるフレームである検出フレームの第１の発光パターンでの発光、前記検出フレームの第２の発光パターンでの発光、前記マーカ検出装置に情報を送信するためのフレームである情報伝達フレームの所定の発光パターンでの発光、前記マーカ検出装置に情報の送信の完了を通知するためのフレームである終了フレームとしての無発光を、順に、繰り返して前記発光部に行わせ、前記マーカ検出装置は、前記発光部を撮影した画像を取得する画像取得手段と、前記画像取得手段により取得された連続する２つの画像の差分画像を生成する差分画像生成手段と、前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索する探索手段と、前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行うパターン解析手段と、前記パターン解析手段によるマッチング処理結果に応じた情報を出力する情報出力手段とを有する。

【0009】

また、本発明の一態様にかかるマーカ発光方法では、複数の発光パターンで発光可能な発光部を用いて、所定のフレームレートでフレームの連続的な表示を行い、前記連続的な表示では、前記発光部を撮影した画像を取得するマーカ検出装置がマーカの位置を検出するために用いられるフレームである検出フレームを第１の発光パターンで前記発光部を発光させ、前記検出フレームを第２の発光パターンで前記発光部に発光させ、前記マーカ検出装置に情報を送信するためのフレームである情報伝達フレームを所定の発光パターンで前記発光部に発光させ、前記マーカ検出装置に情報の送信の完了を通知するためのフレームである終了フレームとしての無発光を前記発光部に行わせるという一連の表示を順に、繰り返す。

【0010】

また、本発明の一態様にかかるマーカ検出方法では、複数の発光パターンで発光可能な発光部を有する発光マーカ装置の前記発光部を撮影した画像を取得し、取得された連続する２つの画像の差分画像を生成し、前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索し、前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行い、
マッチング処理結果に応じた情報を出力する。

【0011】

また、本発明の一態様にかかるプログラムは、複数の発光パターンで発光可能な発光部を有する発光マーカ装置の前記発光部を撮影した画像を取得する画像取得ステップと、前記画像取得ステップで取得された連続する２つの画像の差分画像を生成する差分画像生成ステップと、前記差分画像に基づいて、画像内における前記発光部の存在範囲を探索する探索ステップと、前記連続する２つの画像の後に撮影された画像における、前記存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行うパターン解析ステップと、前記パターン解析ステップでのマッチング処理結果に応じた情報を出力する情報出力ステップとをコンピュータに実行させる。

【発明の効果】

【0012】

本発明によれば、マーカを検出するための画像処理の計算負荷を抑制することができる発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施の形態にかかる伝送システムの概要構成を示すブロック図である。

【図2】複数の発光マーカ装置と複数のマーカ検出装置とを有する伝送システムについて示す模式図である。

【図3】実施の形態にかかる発光マーカ装置のハードウェア構成の一例を示すブロック図である。

【図4】発光部の一例を示す模式図である。

【図5】実施の形態にかかるマーカ検出装置のハードウェア構成の一例を示すブロック図である。

【図6】発光部の発光パターンの時間推移の一例を示すタイムチャートである。

【図7】ディスプレイにおける表示例を示す模式図である。

【図8】画像取得部の動作の一例を示すフローチャートである。

【図9】マーカ認識部の動作の一例を示すフローチャートである。

【図10】２枚の画像から差分画像を生成する様子を示す模式図である。

【図11】情報出力部の動作の一例を示すフローチャートである。

【図12】情報伝達フレームの発光パターンの変形例を示す模式図である。

【図13】情報伝達フレームの発光パターンの他の変形例を示す模式図である。

【図14】変形例にかかる発光パターンの時間推移の一例を示すタイムチャートである。

【図15】ＡＲＴｏｏｌＫｉｔにおける２次元マーカを示す模式図である。

【発明を実施するための形態】

【0014】

実施の形態について説明する前に、まず、比較例にかかるマーカ検出方法について説明する。この比較例にかかるマーカ検出方法では、ＡＲＴｏｏｌＫｉｔと呼ばれる技術が用いられ、カメラの撮影画像からマーカが検出される。この方法では、図１５に示すような、白色の正方形の枠線の中に、黒色の正方形の形状をした２次元マーカが使用される。この方法では、２次元マーカを検出するために、この２次元マーカをカメラによって撮影した画像の全体が２値化される。これにより、元の画像で黒く表されていた部分が白く表わされ、元の画像で白く表されていた部分が黒く表わされた画像が得られる。次に、得られた画像の左上から白い塊が探索される。そして、白い塊が発見されると、その付近の部分画像に対しパターンマッチング処理が行わる。これによってマーカが検出される。しかしこの方法では、マーカではないものの白い塊として表された部分に対し、パターンマッチング処理が行われる可能性が高くなる。カメラで撮影された画像に黒色の箇所（すなわち、２値化した画像において白い塊として表れる箇所）が多いほど、パターンマッチング処理が増え、計算負荷が大きくなる。また、２次元マーカは、色が白黒であるため、２次元マーカが暗い場所などに設置された場合、検出が難しくなるという課題もある。

【0015】

＜実施の形態の概要＞
次に、実施の形態について説明する。まず、実施の形態の詳細な説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、実施の形態にかかる伝送システム１の概要構成を示すブロック図である。図１に示されるように、伝送システム１は、発光マーカ装置１０と、マーカ検出装置２０とを含む。伝送システム１は、発光マーカ装置１０によって表示されるマーカをマーカ検出装置２０が検出し、マーカ検出装置２０がマーカに応じた情報の出力を行うシステムである。

【0016】

発光マーカ装置１０は、発光部１１と発光制御部１２とを有する。発光部１１は、複数の発光パターンで発光可能であり、発光部１１の各表示態様がそれぞれマーカをなす。発光制御部１２は、所定のフレームレートで、複数の発光パターンのうちのいずれかの発光パターンによるフレームの表示を発光部１１が行うよう制御する。なお、発光パターンには、発光が行われない無発光状態が含まれる。

【0017】

ここで、発光部１１は、発光制御部１２の制御の下、検出フレーム、情報伝達フレーム、及び終了フレームの３種類のマーカを表示する。検出フレームは、マーカ検出装置２０がマーカの位置を検出するために用いられるフレームである。また、情報伝達フレームは、マーカ検出装置２０に情報を送信するためのフレームである。換言すると、情報伝達フレームは、マーカ検出装置２０が、検出したマーカから情報を読み取るためのフレームである。また、終了フレームは、マーカ検出装置２０に情報の送信の完了を通知するためのフレームである。

【0018】

発光制御部１２は、検出フレームの第１の発光パターンでの発光、検出フレームの第２の発光パターンでの発光、情報伝達フレームの所定の発光パターンでの発光、終了フレームとしての無発光を、順に、繰り返して発光部１１に行わせるよう制御する。なお、第１の発光パターンと第２の発光パターンは異なる。

【0019】

マーカ検出装置２０は、図１に示されるように、画像取得部２１と、マーカ認識部２２と、情報出力部２３とを有する。画像取得部２１は、発光マーカ装置１０の発光部１１を撮影した画像を取得する。マーカ認識部２２は、差分画像生成部２２１と、探索部２２２と、パターン解析部２２３とを含む。

【0020】

差分画像生成部２２１は、画像取得部２１により取得された連続する２つの画像の差分画像を生成する。探索部２２２は、生成された差分画像に基づいて、画像内における発光部１１の存在範囲を探索する。パターン解析部２２３は、差分画像の生成に用いられた連続する２つの画像の後に撮影された画像における、上述の存在範囲に属する部分画像に対し、予め定められたパターン画像とのマッチング処理を行う。情報出力部２３は、パターン解析部２２３によるマッチング処理結果に応じた情報を出力する。

【0021】

伝送システム１によれば、発光マーカ装置１０は、上述のとおり、発光パターンを変化させつつ連続的にマーカを表示する。そして、マーカ検出装置２０は、発光部１１を撮影した画像の差分画像を生成する。差分画像では、変化のない背景画像部分が失われ、変化のある発光部１１の画像部分が抽出される。このため、画像内のどの位置に発光部１１が存在するのかを容易に特定することが可能となる。したがって、パターンマッチング処理を行う対象の部分画像を容易に正確に特定することができる。このことは、マーカを含まない部分画像に対してパターンマッチング処理が行われることを抑制することができる。すなわち、伝送システム１によれば、マーカを検出するための画像処理の計算負荷を抑制することができる。

【0022】

＜実施の形態の詳細＞
次に実施の形態の詳細について説明する。図２は、複数の発光マーカ装置１０と複数のマーカ検出装置２０とを有する伝送システム１について示す模式図である。図２に示されるように、伝送システム１は、複数の発光マーカ装置１０を含んでもよいし、複数のマーカ検出装置２０を含んでもよい。図２では、３つの発光マーカ装置１０と３つのマーカ検出装置２０とが示されているが、これらの数は一例であり、伝送システム１は、１以上の発光マーカ装置１０と１以上のマーカ検出装置２０とを含めばよい。

【0023】

なお、本実施の形態では、図２に示されるように、マーカ検出装置２０は、カメラ２０１と、ディスプレイ２０２とを有しており、例えば、スマートフォンなどのモバイル端末である。したがって、本実施の形態では、上述の画像取得部２１がカメラ２０１により撮影した画像を取得し、上述の情報出力部２３がディスプレイ２０２に情報を表示出力するものとして説明する。なお、これらは一例であり、画像取得部２１は、カメラを備えた他の装置からマーカ検出装置２０に伝送された画像を取得してもよい。この場合、マーカ検出装置２０はカメラ２０１を備えていなくてもよい。また、情報出力部２３は、表示出力に限らず、音声出力などの任意の出力を行ってもよい。

【0024】

図３は、実施の形態にかかる発光マーカ装置１０のハードウェア構成の一例を示すブロック図である。発光マーカ装置１０は、発光部１１、メモリ１０１、及びプロセッサ１０２を含む。

【0025】

発光部１１は、図４に示されるようなドットマトリクスＬＥＤ（Light Emitting Diode）であり、その発光パターンは、発光制御部１２によって自由に制御可能である。なお、そのようなＬＥＤの一例としては、ＰａｒａＬｉｇｈｔ社製のＡ−３８８０ＥＧが挙げられるが、これに限られない。本実施の形態では、図４に示すように、ＡＲＴｏｏｌＫｉｔにおける２次元マーカと同程度の検出距離を可能にする為に、ＬＥＤの個数が８×８のものが用いられている。なお、ＬＥＤの個数については、一例であり、使用するＬＥＤのサイズ等に応じて任意に変更可能である。

【0026】

メモリ１０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０１は、プロセッサ１０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０２は、図示されていない入出力インタフェースを介してメモリ１０１にアクセスしてもよい。メモリ１０１は、プロセッサ１０２により実行されるソフトウェア（コンピュータプログラム）などを格納するために使用される。

【0027】

プロセッサ１０２は、メモリ１０１からソフトウェア（コンピュータプログラム）を読み出して実行することで、発光制御部１２を実現する。このように、発光マーカ装置１０は、コンピュータとしての機能を備えている。プロセッサ１０２は、例えば、マイクロプロセッサ、ＭＰＵ、又はＣＰＵであってもよい。プロセッサ１０２は、複数のプロセッサを含んでもよい。

【0028】

発光マーカ装置１０は、例えば、美術館等の屋内の展示品の付近に予め設置されている。発光マーカ装置１０は、予め設定された発光パターンにより、検出フレーム、情報伝達フレーム、及び終了フレームの表示を繰り返す。発光マーカ装置１０の表示の具体例については、後述する。

【0029】

図５は、実施の形態にかかるマーカ検出装置２０のハードウェア構成の一例を示すブロック図である。マーカ検出装置２０は、カメラ２０１、ディスプレイ２０２、メモリ２０３、及びプロセッサ２０４を含む。

【0030】

カメラ２０１は、レンズ、ＣＣＤ(Charge Coupled Device)センサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えるデジタルカメラである。

【0031】

ディスプレイ２０２は、任意の画像を表示する表示装置であり、例えば液晶ディスプレイであってもよいし、有機ＥＬ（Electro-Luminescence）ディスプレイであってもよい。

【0032】

メモリ２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ２０３は、プロセッサ２０４から離れて配置されたストレージを含んでもよい。この場合、プロセッサ２０４は、図示されていない入出力インタフェースを介してメモリ２０３にアクセスしてもよい。メモリ２０３は、プロセッサ２０４により実行されるソフトウェア（コンピュータプログラム）、カメラ２０１により撮影された画像、マーカに応じて表示出力される情報等のデータなどを格納するために使用される。

【0033】

プロセッサ２０４は、メモリ２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、画像取得部２１、マーカ認識部２２、及び、情報出力部２３を実現する。このように、マーカ検出装置２０は、コンピュータとしての機能を備えている。プロセッサ２０４は、例えば、マイクロプロセッサ、ＭＰＵ、又はＣＰＵであってもよい。プロセッサ２０４は、複数のプロセッサを含んでもよい。

【0034】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0035】

次に、発光マーカ装置１０における発光制御部１２による発光部１１の制御について説明する。本実施の形態では、マーカ検出装置２０のカメラ２０１の撮影フレームレートが最も汎用的である３０ＦＰＳ（Frames Per Second）であると想定して、発光制御部１２は３０ＦＰＳで発光部１１にフレームの表示を行わせる。このように、本実施の形態では、カメラ２０１の撮影フレームレートと、発光部１１の表示のフレームレートとが同じである。図６は、発光部１１の発光パターンの時間推移の一例を示すタイムチャートである。上述の通り、発光制御部１２の制御に従い、発光部１１は、検出フレーム、情報伝達フレーム、終了フレームの順に、表示を行い、終了フレームの表示後、再び、検出フレーム、情報伝達フレーム、終了フレームの順に、表示を行う。すなわち、発光部１１は、一連の表示を繰り返す。上述の通り、３０ＦＰＳで表示が行わるため、発光制御部１２は、１フレームあたり３３ミリ秒の表示を行うよう発光を制御する。

【0036】

図６に示されるように、発光制御部１２は、発光パターン５１で検出フレームを発光部１１に表示させた後、発光パターン５２で検出フレームを発光部１１に表示させる。ここで、発光制御部１２は、発光パターン５１での発光及び発光パターン５２での発光が、それぞれ１フレームとなるよう制御する。このようにすることで、カメラ２０１の撮影フレームレートと、発光部１１の表示のフレームレートとが同期していない場合であっても、すなわち、両者のタイミングが異なる場合であっても、カメラ２０１のシャッタースピードに依らず、カメラ２０１は、検出フレームとして、異なるパターンの連続する２枚の画像を撮影することができる。つまり、この連続する２枚の画像の差分画像において、発光部１１の表示を残存させることができる。したがって、マーカ検出装置２０は、カメラ２０１の撮影フレームレートと、発光部１１の表示のフレームレートとが同期していない場合であっても、カメラ２０１のシャッタースピードに依らず、発光部１１の画像内の位置を検出することができる。

【0037】

これについて、具体的に説明する。例えば、カメラ２０１が、第１の撮影において、発光パターン５１の状態の発光部１１を撮影し、第２の撮影において、発光パターン５２の状態の発光部１１を撮影した場合（すなわち、図６のように、カメラ２０１の露光時間Ｔが、第１の撮影の際、発光パターン５１の状態が維持される時間内に収まり、第２の撮影の際、発光パターン５２の状態が維持される時間内に収まっている場合）、検出フレームとして、発光パターン５１の画像と発光パターン５２の画像の２枚が得られる。

【0038】

また、例えば、カメラ２０１が、第１の撮影において、発光パターン５１の状態及び発光パターン５２の状態の発光部１１を撮影し、第２の撮影において、発光パターン５２の状態及び発光パターン５３の状態の発光部１１を撮影した場合（すなわち、カメラ２０１の露光時間Ｔが、第１の撮影の際、発光パターン５１の状態と発光パターン５２の状態にまたがり、第２の撮影の際、発光パターン５２の状態と発光パターン５３の状態にまたがっている場合）、検出フレームとして、発光パターン５１及び発光パターン５２をマージした画像と発光パターン５２及び発光パターン５３をマージした画像の２枚が得られる。

【0039】

また、例えば、カメラ２０１が、第１の撮影において、発光パターン５５の状態及び発光パターン５１の状態の発光部１１を撮影し、第２の撮影において、発光パターン５１の状態及び発光パターン５２の状態の発光部１１を撮影した場合（すなわち、カメラ２０１の露光時間Ｔが、第１の撮影の際、発光パターン５５の状態と発光パターン５１の状態にまたがり、第２の撮影の際、発光パターン５１の状態と発光パターン５２の状態にまたがっている場合）、検出フレームとして、発光パターン５５及び発光パターン５１をマージした画像と発光パターン５１及び発光パターン５２をマージした画像の２枚が得られる。

【0040】

発光制御部１２は、発光パターン５２で検出フレームを発光部１１に表示させた後、所定の発光パターンの情報伝達フレームを発光部１１に表示させる。なお、情報伝達フレームの発光パターンは、検出フレームの発光パターンとは異なっている。本実施の形態では、発光制御部１２は、この所定の発光パターンでの発光において、同一の発光パターンを連続する複数フレームに亘って表示するよう制御する。具体的には、例えば、図６に示すように、検出フレームである発光パターン５３は２フレームに亘って表示され、検出フレームである発光パターン５４も２フレームに亘って表示される。このようにすることで、どのタイミングで撮影が行われても、１枚は必ず所定の発光パターンが表された画像が得られることとなる。したがって、発光マーカ装置１０は、所定の発光パターンをマーカ検出装置２０に伝達することができる。つまり、発光マーカ装置１０は、発光パターン５３及び発光パターン５４をそれぞれ伝達することができる。

【0041】

なお、図６に示した例では、４点を点灯させる発光パターンである発光パターン５３と３点を点灯させる発光パターン５４の２種類の発光パターンが、発光マーカ装置１０からマーカ検出装置２０に伝達されることとなる。このように、伝送システム１は、情報伝達フレームとして表示する発光パターンの種類を変更することで、伝送する情報量を任意に増減することができる。

【0042】

このように、伝送する情報量に応じて、情報伝達フレームの表示時間は可変となる。このため、情報の送信の完了を通知する必要がある。そこで、発光マーカ装置１０は、終了フレームの表示を行う。具体的には、発光制御部１２は、終了フレームとして、無発光の状態を発光部１１に表示させる。ここで、発光制御部１２は、終了フレームを複数フレームに亘って表示するよう制御する。具体的には、例えば、図６に示すように、終了フレームである発光パターン５５は２フレームに亘って表示される。このようにすることで、どのタイミングで撮影が行われても、１枚は必ず、何も点灯していない状態の画像が得られることとなる。したがって、マーカ検出装置２０は、発光マーカ装置１０からの情報の送信の完了を検出することができる。

【0043】

次に、マーカ検出装置２０の詳細について説明する。マーカ検出装置２０は、カメラ２０１により、発光マーカ装置１０の発光部１１を撮影する。そして、発光マーカ装置１０から送信された発光パターンに応じて、すなわち、発光マーカ装置１０が示すマーカに応じて、図７に示すように、ディスプレイ２０２に情報を表示する。図７に示した例では、対象物６０の付近に設置された発光マーカ装置１０の発光部１１をマーカ検出装置２０のカメラ２０１により撮影した際に、マーカに応じた情報６１が、ディスプレイ２０２に表示された様子を示している。

【0044】

これは、次のようにして行われる。まず、マーカ検出装置２０において、カメラ２０１を使用するための専用のアプリケーションソフトウェアが起動される。起動後、発光マーカ装置１０の発光部１１が映るようにカメラ２０１が向けられる。カメラ２０１により、発光部１１が撮影されると、検出されたマーカに応じた情報６１がディスプレイ２０２に表示される。マーカ検出装置２０は、このような、マーカ探索と情報の表示を繰り返す。

【0045】

なお、上述の通り、発光マーカ装置１０は、伝送システム１において、複数存在し得る。マーカ検出装置２０は、これら複数の発光マーカ装置１０の発光部１１を同時に撮影しても、それぞれについて、個別に認識可能である。また、一つの発光マーカ装置１０の発光部１１を、複数のマーカ検出装置２０のカメラ２０１でそれぞれ撮影し、それぞれのマーカ検出装置２０においてマーカに応じた情報を表示することも可能である。

【0046】

図１に示した通り、マーカ検出装置２０は、内部機能として、画像取得部２１と、マーカ認識部２２と、情報出力部２３とを有する。以下、これらの詳細について説明する。

【0047】

画像取得部２１は、カメラ２０１を用い、カメラ２０１により撮影した画像を共有メモリ（メモリ２０３）に保存する。カメラ２０１による撮影は連続的に行われ、共有メモリへの画像の保存も連続的に行われる。

【0048】

図８は、画像取得部２１の動作の一例を示すフローチャートである。ステップ１０（Ｓ１０）において、画像取得部２１は、カメラ２０１を起動する。続いて、ステップ１１（Ｓ１１）として、画像取得部２１は、撮影して画像データを取得し、共有メモリに保持する。画像取得部２１は、ステップ１１の動作を繰り返し行い、連続的に画像データを取得する。

【0049】

マーカ認識部２２は、画像取得部２１が取得した画像から、マーカが存在するかしないかを判定する機能を有する。マーカ認識部２２は、上述の通り、差分画像生成部２２１、探索部２２２、及びパターン解析部２２３を有する。図９は、マーカ認識部２２の動作の一例を示すフローチャートである。以下、図９を参照しつつ、マーカ認識部２２の処理について説明する。図９に示されるように、マーカ認識部２２の処理においては、まず、差分画像生成部２２１の処理が行われ、次に、探索部２２２の処理が行われ、最後に、パターン解析部２２３の処理が行われる。

【0050】

差分画像生成部２２１は、画像取得部２１が取得した連続する２枚の画像の差分画像を計算する。このため、まず、ステップ２０（Ｓ２０）において、差分画像生成部２２１は、共有メモリから画像を２枚取得する。次に、ステップ２１（Ｓ２１）において、差分画像生成部２２１は、図１０に示すように、ステップ２０で取得した２枚の画像の画素の差分を算出し、差分画像を取得する。ここで、図１０は、画像７１と画像７２との差分をとることで、背景物体７３が除去され、差分画像７４において、発光部１１の発光パターンのみが差分として抽出される様子を示している。なお、ステップ２１では、処理負荷を軽減するために、差分画像生成部２２１は、ＲＧＢ値の内、例えばＲ値のみを比較し差分を取る。また、ステップ２１において、差分画像生成部２２１は、得られた差分画像を白黒の２値化画像に変換する。ステップ２１の後、処理は、探索部２２２によるステップ２２へ移行する。

【0051】

探索部２２２は、差分画像に基づいてマーカを探索する。より詳細には、探索部２２２は、まず、差分画像に基づいて画像内における発光部１１の存在範囲を探索する。具体的には、ステップ２２（Ｓ２２）において、探索部２２２は、誤検出率を抑えるため、予め定められたサイズ（例えば、１０ピクセル×１０ピクセル）以上の大きさの黒い塊の画素群を探す。このような画素群が発見されれば、この画素群の存在範囲が発光部１１の存在範囲であると探索部２２２は判定する。すなわち、ステップ２３（Ｓ２３）において、探索部２２２は、黒い塊の画素群が差分画像内に存在するか否かを判定する。黒い塊の画素群が差分画像内に存在しない場合（ステップ２３でＮｏ）、処理はステップ２０に戻り、共有メモリから画像が２枚取得され、再度同様の処理が行われる。差分画像において発光部１１が発見されるまで、これらの処理が繰り返し行われる。黒い塊の画素群が差分画像内に存在する場合（ステップ２３でＹｅｓ）、ステップ２４（Ｓ２４）において、探索部２２２は、発光部１１の存在範囲を保持する。具体的には、探索部２２２は、メモリ２０３等にこれを一時的に記憶する。

【0052】

探索部２２２が差分画像中の発光部１１の存在範囲を検出できた場合は、続いて、パターン解析部２２３によるマーカのパターンの解析が行われる。すなわち、ステップ２４の後、処理は、パターン解析部２２３によるステップ２５へ移行する。

【0053】

パターン解析部２２３は、差分画像の生成に用いられた連続する２つの画像の後に撮影された画像に対し、マーカのパターンを解析する。具体的には、まず、ステップ２５（Ｓ２５）において、パターン解析部２２３は、情報伝達フレームの発光パターンを取得するため、共有メモリから新たに画像を取得する。本実施の形態では、パターン解析部２２３は、例えば２枚分の画像を取得する。これにより、パターン解析部２２３は、情報伝達フレームとして発光マーカ装置１０が表示した発光パターンの画像を必ず取得できる。

【0054】

続いて、ステップ２６（Ｓ２６）において、パターン解析部２２３は、ステップ２５で取得した画像に対し、ステップ２４で保持された発光部１１の存在範囲を含むようにトリミング処理を行う。このようにして、パターン解析部２２３は、マッチング処理を行う画像の対象範囲を限定している。また、パターン解析部２２３は、トリミング後の画像についてＲＧＢ値をＨＳＶ値に変換する。これは、発光している箇所を特定しやすいよう輝度情報を用いてマッチング処理が行われるためである。

【0055】

ステップ２６の後、ステップ２７（Ｓ２７）において、パターン解析部２２３は、ステップ２６における処理がなされた画像に対し、予め定められたマーカのパターン画像とのマッチング処理を行う。なお、このマッチング処理は、公知の任意のパターンマッチング処理を用いることができる。画像中において、予め定められたマーカのパターン画像が発見された場合（ステップ２８でＹｅｓ）、ステップ２９（Ｓ２９）において、パターン解析部２２３は、発見されたパターンに対応するＩＤ番号を保持する。具体的には、パターン解析部２２３は、メモリ２０３等にこれを一時的に記憶する。その後、処理は、ステップ２５に戻り、さらに共有メモリから画像が２枚取得される。すなわち、次の情報伝達フレームのパターンを取得するために、同様の処理が行われることとなる。これに対し、予め定められたマーカのパターン画像が発見されなかった場合（ステップ２８でＮｏ）、ステップ３０（Ｓ３０）において、パターン解析部２２３は、ステップ２５で取得された画像が、何も発光させていない終了フレームの画像であると判断する。続いて、ステップ３１（Ｓ３１）において、パターン解析部２２３は、ここまでで保持されたＩＤ番号を情報出力部２３に通知する。ステップ３１の後、処理は、情報出力部２３による処理へと移行する。

【0056】

情報出力部２３は、パターン解析部２２３によるマッチング処理結果に応じたＣＧ（Computer Graphics）等の情報をディスプレイ２０２に表示出力する。具体的には、情報出力部２３は、パターン解析部２２３から通知されたＩＤ番号に対応する情報の表示を行う。

【0057】

図１１は、情報出力部２３の動作の一例を示すフローチャートである。ステップ４０（Ｓ４０）において、情報出力部２３は、探索部２２２から通知されたＩＤ番号に対応する情報を検索する。なお、この情報は例えばメモリ２０３等に記憶されている。続いて、ステップ４１（Ｓ４１）として、情報出力部２３は、ディスプレイ２０２に、ステップ４０で検索された情報を表示する。情報出力部２３は、これらの処理を繰り返し行うことで、探索部２２２から新たなＩＤ番号が通知される毎に、ディスプレイ２０２に表示する情報を更新する。

【0058】

以上、実施の形態について説明した。本実施の形態では、２枚の画像の差分画像から、発光部１１の存在範囲が抽出される。そして、この存在範囲に限定して、パターンマッチング処理が行われる。このため、マーカが存在しない部分の画像に対しパターンマッチング処理をする回数を抑制することができ、計算負荷を抑制することができる。

【0059】

ＡＲＴｏｏｌＫｉｔにおける２次元マーカでは、単一のパターンのみを表示しているため、単一の情報しか伝達できない。また、屋内の美術館や科学館等では暗い場所が多く、そのような暗い場所ではＡＲＴｏｏｌＫｉｔにおける２次元マーカを正しく検出できなかった。これに対し、本実施の形態では、情報伝達フレームにより、任意の情報量を発光マーカ装置１０からマーカ検出装置２０へと伝送可能である。また、発光によりマーカが示されるので、暗い場所においてもマーカ検出装置２０はマーカを認識することができる。

【0060】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記の実施の形態では、フレームレートは、３０ＦＰＳであったが、６０ＦＰＳなど、他のフレームレートであってもよい。なお、ＬＥＤを点滅させると、人の目に付きやすくなり、視覚への影響が出るが、６０ＦＰＳ等のようにフレームレートを大きくすることで、視覚への影響を抑えることができる。

【0061】

また、上記の実施形態では、８×８のドットマトリクスＬＥＤを使用したが、１６×１６のドットマトリクスＬＥＤなどのように、より多くのＬＥＤを使用して発光部１１を構成することも可能である。また、発光部１１は、ＬＥＤの代わりに、液晶パネルを用いて発光させることも可能である。

【0062】

また、実施の形態で示した発光パターンは、一例であり、発光パターンは種々の変更が可能である。例えば図１２に示されるように、台形のような発光パターンにより情報を表現することも可能である。また、図１３に示されるように、円形のような発光パターンにより情報を表現することも可能である。これら２つの発光パターンの情報伝達フレームを使用した時の発光部１１の全体的な発光パターンの時間推移を図１４に示す。このように、発光パターンは、任意に設定可能である。

【符号の説明】

【0063】

１ 伝送システム
１０ 発光マーカ装置
１１ 発光部
１２ 発光制御部
２０ マーカ検出装置
２１ 画像取得部
２２ マーカ認識部
２３ 情報出力部
２０１ カメラ
２０２ ディスプレイ
２２１ 差分画像生成部
２２２ 探索部
２２３ パターン解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】