特許 6473475 情報を送信する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6473475

(24)【登録日】2019年2月1日

(45)【発行日】2019年2月20日

(54)【発明の名称】情報を送信する方法及びシステム

(51)【国際特許分類】

   G06K 19/06 20060101AFI20190207BHJP

   G06K 7/10 20060101ALI20190207BHJP

   G06K 7/12 20060101ALI20190207BHJP

   G06K 7/14 20060101ALI20190207BHJP

   G09B 29/10 20060101ALI20190207BHJP

【ＦＩ】

   G06K19/06 112

   G06K19/06 028

   G06K19/06 037

   G06K19/06 140

   G06K7/10 464

   G06K7/12

   G06K7/14 017

   G09B29/10 A

【請求項の数】12

【外国語出願】

【全頁数】25

(21)【出願番号】特願2017-84103(P2017-84103)

(22)【出願日】2017年4月21日

(65)【公開番号】特開2017-224282(P2017-224282A)

(43)【公開日】2017年12月21日

【審査請求日】2018年6月27日

(31)【優先権主張番号】10-2016-0055252

(32)【優先日】2016年5月4日

(33)【優先権主張国】KR

(31)【優先権主張番号】16199538.6

(32)【優先日】2016年11月18日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】アルデ， ビョルン

(72)【発明者】

【氏名】ジュロヴスキー， イーゴリ

【審査官】 甲斐 哲雄

(56)【参考文献】

【文献】 欧州特許出願公開第１６５５９４７（ＥＰ，Ａ１）

【文献】 米国特許出願公開第２０１３／０２４０６２７（ＵＳ，Ａ１）

【文献】 英国特許出願公開第２４７１５６７（ＧＢ，Ａ）

【文献】 特開２０１０−１１４５８４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１５７７６０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ １９／０６

Ｇ０６Ｋ ７／１０− ７／１４

Ｇ０９Ｂ ２３／００−２９／１４

(57)【特許請求の範囲】

【請求項1】

繰り返し変化する情報を視覚的に送信する方法であって、
以下の動作のセット：
前に受信したセットの情報の更新である、送信すべき第１のセットの情報を受信すること（Ｓ５１４）と、
前記第１のセットの情報を表す情報担持第１パターンを生成すること（Ｓ５１６）と、
第１の色で表示された前に生成された情報担持パターンに置き換わる前記情報担持第１パターンを前記第１の色で表示すること（Ｓ５１８）と、
前記第１のセットの情報の更新である、送信すべき第２のセットの情報を受信すること（Ｓ５２０）と、
前記第２のセットの情報を表す情報担持第２パターンを生成すること（Ｓ５２２）と、
前記第１の色とは異なる第２の色で表示された前に生成された情報担持パターンに置き換わる前記情報担持第２パターンを前記第２の色で表示すること（Ｓ５２４）と
を繰り返し実施することを含み、
前記第１又は第２の色で表示された前に生成された情報担持パターンに置き換わる間、前記第１又は第２の色の他方の情報担持パターンが静的に表示される、方法。

【請求項2】

前記情報担持第１及び／又は第２パターンは一次元グラフィカルコードを形成する、請求項１に記載の方法。

【請求項3】

前記一次元グラフィカルコードはバーコードである、請求項２に記載の方法。

【請求項4】

前記情報担持第１及び／又は第２パターンは二次元グラフィカルコードを形成する、請求項１に記載の方法。

【請求項5】

前記二次元グラフィカルコードはＱＲコード（登録商標）である、請求項４に記載の方法。

【請求項6】

前記情報担持第１及び第２パターンは同じディスプレイエリアに織り込まれる、請求項１から５のいずれか一項に記載の方法。

【請求項7】

各繰り返しにおいて、
前記第１のセットの情報又は前記第２のセットの情報の更新である、送信すべき第３のセットの情報を受信することと、
前記第３のセットの情報を表す情報担持第３パターンを生成することと、
前記第１の色、及び前記第２の色とは異なる第３の色で表示された前に生成された情報担持パターンに置き換わる前記情報担持第３パターンを第３の色で表示することと
を更に含む、請求項１から６のいずれか一項に記載の方法。

【請求項8】

視覚的に送信され、繰り返し更新される情報をキャプチャし、デコードする方法であって、
下記の動作のセット：
デジタル画像センサを用いることによって、異なる色の情報担持パターンを少なくとも２つ含むディスプレイの画像をキャプチャすること（Ｓ６０２）と、
キャプチャされた前記画像から第１の色の前記情報担持パターンを抽出すること（Ｓ６０６）と、
抽出された前記第１の色の情報担持パターンからの情報をデコードすること（Ｓ６１０）と
を繰り返し実施することを含み、更に
抽出された前記第１の色の情報担持パターンからのデコードされた情報が破損しているかどうかを確認すること（Ｓ６１２）と、
抽出された前記第１の色の情報担持パターンからのデコードされた情報が破損していない場合、
抽出された前記第１の色の情報担持パターンからのデコードされた情報を、現在前記情報の受信先であるアプリケーションに従って管理すること（Ｓ６１８）と、
抽出された前記第１の色の情報担持パターンからのデコードされた情報が破損している場合、
キャプチャされた前記画像から第２の色の情報担持パターンを抽出すること（Ｓ６１４）と、
抽出された前記第２の色の情報担持パターンからの情報をデコードすること（Ｓ６１６）と、
抽出された前記第２の色の情報担持パターンからのデコードされた情報を、現在前記情報の受信先であるアプリケーションに従って管理すること（Ｓ６１８）と
を繰り返し実施することを含む、方法。

【請求項9】

キャプチャされた前記画像から第３の色のパターンを抽出することと、抽出された前記第３の色のパターンをデコードすることとを更に含む、請求項８に記載の方法。

【請求項10】

画像キャプチャ機器（１４）とディスプレイ機器（１２）とを含むシステムであって、
前記ディスプレイ機器は、請求項１から７のいずれか一項に記載の方法を使用して繰り返し更新される情報を表示するようになっており、前記画像キャプチャ機器は、請求項８又は９に記載の方法を使用して、表示され且つ繰り返し更新される前記情報をキャプチャしデコードするようになっているシステム。

【請求項11】

前記ディスプレイ機器はハンドヘルドモバイルディスプレイ機器であり、前記画像キャプチャ機器はモーションビデオカメラである、請求項１０に記載のシステム。

【請求項12】

繰返し更新される前記情報は、前記ハンドヘルドモバイルディスプレイ機器の位置座標を含む、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、繰り返し更新される情報を視覚的に送信する方法及びシステムに関する。

【背景技術】

【0002】

監視システム、調査システム、アクセス制御システム等には一般に、モーションビデオ画像をキャプチャするビデオカメラが使用される。

【0003】

上記カメラの設定の多くは、カメラが取り付けられた環境のパラメータに依存する。調査／監視エリアを示すマップ上に調査カメラ及び／又は監視カメラをマッピングすることは従って、多くの用途において非常に有用である。例えば、そのマップを使用して、修理のために特定のカメラを見つけることができる、あるいは単にビデオにキャプチャされた特定の出来事が実際に起こった場所を見つけることができる。更に、マップのエリアに関するビデオストリームを選択しやすくするために、マップ上のカメラを、特定のカメラから送られたビデオストリームと組み合わせることができる。ビデオがどこでキャプチャされたかを識別することができるようにするために、カメラの位置データもビデオに記録することができる。

【0004】

この種のマッピングは当然ながら、全てのカメラがどこに位置づけされているかを人が確認して、それを紙のマップ又はデジタルマップ上に記入することによって手動で実施されうる。デジタルマップ内の地理的な位置付けは、ディスプレイに表示されるマップにおける位置を単純に選択することによって、又はカメラの位置を表す座標を入力することによって実施されうる。位置が一意的に識別される限り、任意の地理的な座標系においてこれらの座標を指定することができる。地理的位置もまた、又は代替的にビデオストリームに挿入することができ、これはしばしば「ジオタグ」と称される。従って、シーンを監視するカメラにとって有用な幾つかの設定は、カメラの地理的位置、カメラが向いた方向、水平面に対するカメラの傾斜角等である。拡声器、例えばドアステーション等を有するカメラにとって有用な他の設定は、拡声器が取り付けられた環境に多くの場合依存する音質パラメータである。

【0005】

上記設定の多くは、手動で行われうる。例えば、人がカメラの地理的位置を計算しうる、あるいは他の方法で取得しうる、カメラが画像をキャプチャしている方向の軸受を取得するためにコンパスを使用しうる、カメラの傾斜角を概算するために水準器を使用しうる、そしてまたこれらの値をカメラに挿入しうる。別の例は、人が拡声器から出ている音を聞いて、音が十分主観的に良くなるまで拡声器を制御している設定の調節を行う、拡声器の設定に関するものである。

【0006】

このような設定を行う代替的な方法は、カメラベースのシステムが正しい設定を行う助けとなる情報を表示するためのディスプレイ、機器の地理的位置を決定するための、ＧＰＳ回路、又は任意の同等の位置調整回路、水平面に対する機器の傾斜又は潜在的な回転を決定するための加速度センサ、機器の方向を決定するためのコンパス回路、環境音例えばカメラシステムの拡声器から送られた音声信号等を検出するためのマイクロホンを含む機器を提供し、カメラの設定に関する情報を機器に表示させることである。カメラベースのシステムが正しい設定を行う助けとなる情報は、ディスプレイにおけるグラフィカルコードとして表示することができ、グラフィカルコードには、ディスプレイを有する機器によって読み出し可能な上述したタイプの情報のいずれかが含まれうる。この種のシステムは、カメラシステムの設定を行うプロセスの助けとなる。しかしながら、例えばディスプレイを有する機器がハンドヘルド端末である時に、コンパスの表示数値、地理的位置、傾斜角等の繰り返し更新されるデータが手の動きによって全て変動するとなると、この情報を視覚的に伝達することに問題がある。更に、音に関して言えば、機器は拡声器によって送られる音に関する情報を提示するべきである。この情報は動的で、絶え間なく変化しうる。

【0007】

このような繰り返し更新される情報の伝達に伴う１つの問題は、転送される情報を提示しているディスプレイ上のグラフィカルコードが、カメラにおけるフレームキャプチャ中に更新される危険性があることである。これは、ディスプレイを介してタイムクリティカルな情報の受信に依存する用途において、又は例えば、損傷していない次の画像フレームの情報を解釈することをシステムに要求することによって情報の転送に待ち時間が導入されるような、破損したデータを含む１つの画像フレームが何らかの不利点となりうる用途において問題となり得、また、カメラの画像登録と情報送信表示の更新がたまたま同期した時、又はほとんど同期した時に損傷のない送信が達成できず、あるいはほとんど達成できず、この結果、ディスプレイ上の情報グラフィックの更新中にカメラが画像をキャプチャすることになる問題となり得る。

【発明の概要】

【0008】

本発明の１つの目的は、ディスプレイ上に情報を表示すること、及びカメラを使用して表示された情報をキャプチャすることを含む、視覚的に伝達する方法を使用してデータ送信の信頼性を高めることである。

【0009】

この目的は、請求項１に記載の方法、請求項８に記載の方法、及び請求項１３に記載のシステムを用いて達成される。本発明の更なる実施形態は、従属請求項に提示される。

【0010】

具体的に、少なくとも１つの実施形態によれば、
繰り返し変化する情報を視覚的に送信する方法は、
以下の動作のセット：
前に受信したセットの情報の更新である、第１のセットの送信すべき情報を受信することと、
第１のセットの情報を表す情報担持第１パターンを生成することと、
情報担持第１パターンを第１の色で表示することと、
第１のセットの情報の更新である、第２のセットの送信すべき情報を受信することと、
第２のセットの情報を表す情報担持第２パターンを生成することと、
情報担持第２パターンを、第１の色とは異なる第２の色で表示することと
を繰り返し実施すること含み、
情報担持パターンのうちの１つは、情報担持パターンのうちの別の１つが更新された時に静的に表示される。別の情報担持パターンが更新されるある期間中に情報担持パターンのうちの１つが静的に表示されることの利点は、常に有効な情報がデコードされるであろうこと、及び画像表示と画像のキャプチャとの同期が必要ないことである。更に、更新された情報の情報担持パターンを表示する色を交互に入れ替えるスキームにより、２つの異なる情報担持パターンを互いに区別しやすくなる。

【0011】

情報担持パターンは、バーコードであってよい一次元グラフィカルコードを形成しうる、あるいは、情報担持パターンは、ＱＲコードであってよい二次元グラフィカルコードを形成しうる。

【0012】

更に、情報担持第１及び第２パターンは、同じディスプレイエリアに織り込まれていてよく、これは情報担持パターンが各々ディスプレイの面積の大部分を用いることができ、これにより、情報担持パターンの情報密度が高くなりうるという利点がある。

【0013】

また、幾つかの実施形態は更に、各繰り返しにおいて、
第１のセット及び／又は第２のセットの情報の更新である第３のセットの送信すべき情報を受信することと、第３のセットの情報を表す情報担持第３パターンを生成することと、情報担持第３パターンを、第１の色、及び第２の色とは異なる第３の色で表示することと
を含む。

【0014】

本発明の別の態様によれば、視覚的に送信され、繰り返し更新される情報をキャプチャし、デコードする方法は、下記の動作のセット：
デジタル画像センサを用いることによって、異なる色の情報担持パターンを少なくとも２つ含むディスプレイの画像をキャプチャすることと、
キャプチャされた画像から第１の色の情報担持パターンを抽出することと、
抽出された第１の色の情報担持パターンからの情報をデコードすることと、
キャプチャされた画像から第２の色の情報担持パターンを抽出することと、
抽出された第２の色の情報担持パターンからの情報をデコードすることと
を繰り返し実施することを含む。異なる色の２つの情報担持パターンを読み取ることの利点は、例えばその情報担持パターンの更新の結果、情報担持パターンのうちの１つをデコードすることが失敗した場合、もう一方の色の情報担持パターンを代わりにデコードすることができるため、受信安定性が高まることである。従って、画像フレームが、情報担持パターンの更新中にキャプチャされたとしても、破損していない更新データを受信することが可能である。

【0015】

抽出された第２の色のパターンをデコードすることは、抽出された第１の色のパターンのデコードにおいて破損データが返されたことに応じて実施されうる。これにより必要に応じて、追加の情報担持パターンがデコードされるのみである。更に、キャプチャされた画像から第２の色のパターンを抽出することは、抽出された第１の色のパターンのデコードにおいて破損データが返されたことに応じて実施されうる。

【0016】

更なる実施形態では、本方法はまた、キャプチャされた画像から、第３の色のパターンを抽出することと、抽出された第３の色のパターンをデコードすることとを含む。また、実施形態は更に、キャプチャされたパターンのうちの１つの情報が破損したことを検出することと、上記検出に応じて、他のパターンからの情報を有効な情報として選択することとを含みうる。

【0017】

本発明の更に別の態様によれば、システムは、
画像キャプチャ機器とディスプレイ機器とを含み、
ディスプレイ機器は、上記の実施形態のうちのいずれか１つの方法を使用して繰り返し更新される情報を表示するようになっており、画像キャプチャ機器は、上記の実施形態のうちのいずれか１つの方法を使用して、表示され且つ繰り返し更新される情報をキャプチャしデコードするようになっている。上記システムの利点は、上に提示した対応する特徴の利点に対応する。

【0018】

ディスプレイ機器はハンドヘルドモバイルディスプレイ機器であってよく、画像キャプチャ機器は、システムを簡単に実行することを可能にし、可搬性の高い（つまりハンドヘルドモバイル機器は複数のシステムにおける使用が簡単であり、複数のシステム間で簡単に運搬できる）モーションビデオカメラであってよい。幾つかの実施形態では、繰り返し更新される情報は、ハンドヘルドモバイルディスプレイの位置座標を含む。

【0019】

本発明の利用可能性の更なる範囲は、以下の詳細な説明から明らかとなるであろう。しかしながら、この詳細な説明によって本発明の範囲内の様々な変更及び修正が当業者に明らかとなるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも単なる例であることを理解されたい。したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定のコンポーネント部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明するためのものにすぎず、限定するものではないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、一又は複数の要素があることを意味していると意図されることに留意されたい。したがって、例えば、「センサ」（ａ ｓｅｎｓｏｒ）又は「前記センサ」（ｔｈｅ ｓｅｎｓｏｒ）に言及した場合、これは幾つかのセンサなどを含んでもよい。更に、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを除外しない。

【0020】

本発明の他の特徴及び利点は、添付の図面を参照して、現在の好適な実施形態の以下の詳細説明から明らかになるであろう。

【図面の簡単な説明】

【0021】

【図1】本発明の幾つかの実施形態に係るシステムの概略ブロック図である。

【図2】本発明の実施形態に係る、視覚的に送信するために情報を表示するプロセスのフロー図である。

【図3a】第１のセットの情報を含む標準ＱＲコードの一例である。

【図3b】第２のセットの情報を含む標準ＱＲコードの一例である。

【図4】本発明の幾つかの実施形態により表示される、第１及び第２のセットの情報両方からの情報を含む、情報担持パターンの一部の一例である。

【図5】図２に関連して記載される、視覚的な送信から情報を受信するプロセスのフロー図である。

【図6】本発明の一実施形態に係る、使用中のカメラの空間特性を決定するシステムの概略図である。

【図7】ＱＲコードを表示し、本発明の一実施形態において使用されうるＱＲコードの幾つかの特徴を強調しているモバイル機器の一例である。

【図8】本発明の一実施形態に係る、モバイル機器によって実施されるプロセスを示すフロー図である。

【図9】本発明の一実施形態に係る、監視カメラによって実施されるプロセスを示すフロー図である。

【図10】本発明の一実施形態に係る、モバイル機器全体の概略ブロック図である。

【図11】本発明の一実施形態に係る監視カメラ全体の概略ブロック図である。

【図12】現実世界のポイントと、画像のポイントとの間の線形変換を示す図である。

【図13】画像の座標系におけるシーンポイントと、現実世界の座標系におけるシーンポイントとの間の関係を示す図である。

【図14】画像の座標系におけるシーンポイントと、現実世界の座標系におけるシーンポイントとの間の関係を示す図である。

【図15】使用中のレンズの焦点距離を計算する例示の方法で使用される機構を示す図である。

【図16】焦点距離を計算する例示の方法の別の機構を示す図である。

【発明を実施するための形態】

【0022】

更に、図面では、幾つかの図面を通して同様の部分又は対応する部分が同様の参照文字によって指定される。

【0023】

本発明は、視覚的な送信と、繰り返し更新される情報の受信に関する。視覚的な送信を実行するシステムの基本的な設定には、転送すべき情報を表示するディスプレイ機器と、ディスプレイ機器から転送すべき情報を受信する又は読み出すための幾つかの画像又はモーションビデオキャプチャ装置とが含まれる。幾つかの実施形態によれば、図１を参照すると、ディスプレイ機器１０は、ディスプレイ１２を有する電子機器、例えば携帯電話、携帯情報端末、タブレット、腕時計、ディスプレイを有するコンピュータ、又は妥当な大きさのディスプレイを有するその他いずれかの電子機器である。幾つかの実施形態では、モーションビデオキャプチャ機器１４はデジタルビデオカメラであり、幾つかの実施形態ではカメラはスピーカー１６に接続されうる。ディスプレイ機器１０とデジタルビデオカメラ１４とを使用した視覚的な送信における１つの問題は、ディスプレイが新たな情報で更新される期間中に、デジタルビデオカメラ１４がディスプレイ１２の画像をキャプチャすることである。上記状況において、キャプチャしたビデオフレームには、幾つかの新たな情報と幾つかの古い情報が含まれる、すなわち情報は最終的なものではない、あるいは破損している。情報がグラフィカルコード、すなわち情報を表すパターンを使用して表示された場合、情報を正確にデコードするためにおそらくグラフィカルコード全体をキャプチャしなければならないだろう。従って、ディスプレイ１２上の情報の更新中にビデオフレームがキャプチャされた場合、デジタルビデオカメラ側で情報を正確にデコードすることができない。

【0024】

デジタルビデオカメラ１４がディスプレイ機器１０のグラフィック表示の更新が原因で破損した情報を含むビデオフレームをキャプチャするこの問題は、デジタルビデオカメラ１４が同期していないために、デジタルビデオカメラ１４がディスプレイ機器１０に提示される完全に更新されたグラフィック情報のみをキャプチャした場合に、起こりうる。しかしながら、機器を同期させることと、機器を同期したまま維持することは簡単ではない。具体的には、この問題は、送信すべき情報が繰り返し更新されるため、破損した情報を含む画像フレームをキャプチャする危険性が高まる用途において明らかである。

【0025】

完全に更新されていない情報のグラフィック表示をキャプチャする問題は、繰返し更新される情報の少なくとも１つのグラフィック表示を常時ディスプレイに提示することによって、更新された情報の少なくとも１つのグラフィック表示をキャプチャすることができるようになっているディスプレイ機器を含む本発明の実施形態において対処される。用途の例は、カメラ設定、カメラの位置づけ、音声設定等であり、データの例は位置検出機器の地理的位置、測定機器の方向又は軸受、測定機器の回転又はピッチの度合い、マイクロホンでキャプチャされた音量レベル等であってよい。ディスプレイ機器１０には、位置検出機器、測定機器、及び／又はマイクロホンが含まれ得る。

【0026】

図２のフロー図は、この目的を達成する実施形態のプロセスを記載したものである。このプロセスはディスプレイ機器１０において実施されうる。転送プロセスＳ５００は、第１のセットの情報を受信するステップＳ５０２を含む。次に、この情報に基づいて、視覚的送信のためにこの情報を表示するように、情報担持パターンが生成されるＳ５０４。生成されたパターンは次に、ディスプレイ機器１０のディスプレイ１２に第１の色で表示されるＳ５０６。この情報は、用途に要求される解像度に依存する所定の周波数で繰り返し更新されうる。この解像度は、例えば音声又は他のタイムクリティカルなデータを表すときに、データセンサ情報を情報受信機器へ実況中継的に、また高品質のデータを得るのに十分な時間単位ごとのサンプルポイントで供給するために必要でありうる。幾つかの用途において、例えばグラフィックパターンに提示されたデータがカメラによってキャプチャされた画像の残り部分と関連付けされる時、あるいはディスプレイのキャプチャされた画像フレームにおける位置が、グラフィックパターンを介したデータとして転送された位置に関連付けされる状況では、待ち時間がより重要である。待ち時間は、ディスプレイの応答時間、及びカメラが画像フレームのサンプリングをするのにかかる時間によって変化しうる。更新された情報は、代替的に又は補完的に、ディスプレイ機器１０へ情報を供給する位置づけ機器の動き、キャプチャした音の変化、ディスプレイ機器１０、又は別々のコンパス機器の方向の変化、加速度センサからのセンサ入力の変化等に応じて更新されうる。更新された情報が受信されＳ５０８、この受信した更新情報に基づいて情報担持パターンが生成されるＳ５１０。この情報担持パターンはその後、第２の色でディスプレイ１２に表示される。第１の色の情報担持パターンがディスプレイ１２にまだ提示されているときに第２の色の情報担持パターンが表示されるため、第１の色及び第２の色の情報担持パターンが同時にディスプレイ１２に提示される。

【0027】

その後プロセスは継続し、別の更新情報が受信されるＳ５１４。新たな情報担持パターンが、受信された更新情報から生成されＳ５１６、第１の色で現在表示されている情報担持パターンが、これもまた第１の色で表示されるこの新たな情報担持パターンに置き換えられるＳ５１８。次に、更に別の情報の更新が受信されＳ５２０、新たな情報担持パターンがこの情報の更新から生成されるＳ５２２。この情報担持パターンは第２の色で表示され、前に表示された第２の色の情報担持パターンと置き換えられるＳ５２４。次にプロセスはＳ５１４に戻り、再びステップＳ５１４からＳ５２４までが実施され、これにより新たな更新情報が繰り返し受信され、更新情報から情報担持パターンが生成され、それぞれ交互に第１と第２の色で表示される。このプロセスは、ユーザ、タイマー、又は実行を妨げる別のプロセスによって停止されるまで、何度も何度も繰り返される。

【0028】

情報担持パターンは、カメラ１４を使用して読み取られデコードされうる任意のグラフィックコードであってよい。情報担持パターンの例は、バーコード、ＱＲコード、印刷された文字等である。例えばバーコード等の一次元グラフィックコードに対する、例えばＱＲコード等の二次元グラフィックコードに伴う利点は、二次元グラフィックコードの方が一次元グラフィックコードよりも高い情報密度、すなわち表面単位ごとにより多くのデータが可能になることである。

【0029】

図２に関連して記載されるプロセスでは、情報担持第１パターンは第１の色で表示され、情報担持第２パターンは第２の色で同じディスプレイ上に同時に表示される。情報担持パターンのうちの１つを更新中に、ディスプレイ機器１０に他の情報担持パターンが静的に表示される。これにより、最新の完全に更新された情報を常時読むことが可能になる。

【0030】

図３ａ及び３ｂにそれぞれ、情報担持第１パターン５５０と、情報担持第２パターン５５２の例を示す。本発明の実施形態によれば、２つの情報担持パターンを同時に表示することを可能にする、あるいは他のパターンが更新されている間に、情報担持パターンのうちの１つを静的パターンとして少なくとも表示することを可能にするために、各々独特の色を有する２つの情報担持パターン５５０、５５２を互いに組み合せる、又は織り込む。点線で示す図３ａ及び３ｂの、情報担持パターン５５０、５５２の部分５５３に対応する２つの情報担持パターン５５０、５５２を織り込む１つの方法を、図４に示す。２つのパターンを互いに区別するのに使用される色はそれぞれ、緑色及び赤色であってよい。しかしながら、当業者は他の色が使用されうることを認識する。

【0031】

図４に示す２つの異なる色の情報担持パターンを織り込むことにより、２つのパターンを各々、ディスプレイ面積の大部分に表示することが可能になり、これにより２つのパターンが隣り合わせに位置づけされた場合よりも情報担持パターンの解像度を高めることが可能になる。従って、この構成により、各送信に更に多くの情報を含むことが可能になる。２つの情報担持パターン５５０、５５２の織り込みは、各情報担持グラフィック要素、例えばこの情報位置のステータスによって普通白又は黒で色づけされた各四角形に対応するＱＲコードにおける情報の位置５５４等を、より小さいエリアに細かく分けることによって形成される。図４では、図示した情報の各位置は、情報の位置５５４を表す四角形内の小さい四角形として提示される各々１６の小さいエリアに細かく分けられる。情報担持パターン５５０、５５２の異なる色は、図４の異なる陰影によって示される。垂直の陰影パターンを有するサブエリア５５６等のサブエリアは、例えば緑等の第１の色を表し得、斜めの陰影パターンを有するサブエリア５５８等のサブエリアは、例えば赤色等の第２の色を表し得る。情報の位置５５４を表す同数のサブエリアはそれぞれ第１の色と第２の色とを表していてよく、図４に示すように、情報の位置５５４に代替的に配置されうる。従って、図３ａ及び３ｂに示す別々の情報パターンからの各部分５５３を有する図４に示す組み合わされた情報担持パターンは結果的に、各情報担持パターンの対応する位置が白である場合は情報の位置５５４は全て白であり、各情報担持パターンの対応する位置から生じる両方の色のサブエリアを含む情報の位置５５４は黒であり、第１の色のサブエリアと図３ａの第１の色の情報パターンの対応する位置を示す白いサブエリアとを含む情報位置５５４は黒であり、図３ｂの第２の色の情報パターンの対応する位置は白であり、第２の色のサブエリアと白いサブエリアとを含む情報の位置５５４は、図３ｂの第２の色の情報パターンの対応する位置が黒であり、図３ｂの第２の色の情報パターンの対応する位置が白であることを示す。

【0032】

ここで、本発明の実施形態による情報受信プロセスＳ６００全体のフロー図を示す図５を参照する。このプロセスは、モーションビデオカメラ、又は処理装置とモーションビデオカメラを備えるシステムにおいて実施される。モーションビデオカメラは、モーションビデオカメラの画像センサによってキャプチャされたモーションビデオフレームを記録しているＳ６０２。情報担持パターンを識別するために、記録された画像フレームが解析されるＳ６０４。情報担持パターンの識別は、当業者に周知の方法で実施され、使用されるグラフィックコードの種類によって変化しうる。識別された情報担持パターンにおいて、第１の色を有する情報の位置が識別され、抽出されて情報担持第１パターンが形成されるＳ６０６。この第１の色の情報担持パターンは次にデコードされＳ６１０、このデコードされた情報が破損していない場合Ｓ６１２、プロセスは、現在転送された情報の受信先であるアプリケーションに従ってデコードされた破損していない情報を管理することによって継続するＳ６１８。アプリケーションとは、システムにおいて実行されるコンピュータプログラムである。上述したように、上記アプリケーションは例えばカメラ位置づけアプリケーション、カメラ設定アプリケーション、音声構成アプリケーション等であってよい。次に、送信された情報が適切な受信先に伝達されると、プロセスはステップＳ６０２に戻り、デコードするために新たな画像が記録される。

【0033】

しかしながら、ステップＳ６１０においてデコードされた情報が破損したと判断された場合Ｓ６１２、第２の色を有する情報担持パターンの情報位置が識別され、抽出されて情報担持第２パターンが形成される。この第２の色の情報担持パターンは次にデコードされＳ６１６、このデコードされた破損していない情報は、現在転送された情報の受信先のアプリケーションに従って管理されＳ６１８、プロセスはＳ６０２に戻る。

【0034】

本発明の実施形態をシステムに使用して、以下に更に詳細に記載される固定調査及び／又は監視カメラの位置を決定することができる。以下の説明にも、上述した情報担持パターンに何が含まれるか、また情報担持パターン自体の更なる使用を示す実施例を記す。カメラは、可動でないという意味で固定である、すなわち、カメラはある場所から別の場所へ定期的に動かない。カメラはしかしながら、ＰＴＺカメラ、すなわちパン及びチルトが可能なカメラであってもよい。

【0035】

一実施形態によれば、図６を参照すると、ディスプレイ１２を有するモバイル機器１０が、少なくともモバイル機器１０の地理的位置を示す情報を含むＱＲコードを生成するように動作する。ＱＲコード以外の他のグラフィカルコード、例えばいずれかの二次元グラフィカルコード、いずれかの一次元グラフィカルコード、標準文字等も当然ながら使用することができるが、本発明を理解しやすくするために、本書の他の部分全体の実施例においてＱＲコードが使用される。あるいは、一時的なコード化、例えば、ディスプレイ上の一又は複数の位置の輝度の変化を使用した情報の転送を使用することができる。しかしながら、一時的なコード化が、幾つかの二次元グラフィカルコードに関する全ての利点を呈するとは限らない。モバイル機器は、携帯電話、ポータブルＧＰＳ、タブレットコンピュータ、又は実施形態間で異なり、以下に全て記載するディスプレイと、必要とされる機能的構成要素を有する他の何らかの機器であってよい。モバイル機器１０のディスプレイ１２にＱＲコードが表示され、カメラがモバイル機器のディスプレイに提示されたＱＲコードの画像をキャプチャし検出するために、監視システムの監視カメラ１４にモバイル機器１０のディスプレイが示される、すなわちモバイル機器のディスプレイは一時的に光入力、例えば監視カメラのレンズに向くように配置される。次にＱＲコードがデコードされ、監視カメラはコードに付与された位置情報でタグ付けされる、すなわち地理的位置情報がカメラに記憶され、カメラの位置として識別される、又はこの特定のカメラの位置として記憶される中央サーバに記憶される。

【0036】

図７は、モバイル機器１０のディスプレイ１２に提示されたＱＲコード２２の例を示し、図面のＱＲコード２２は本発明による情報を含まないが、ＱＲコード２２が監視カメラ１４及び／又は監視システムに依存しうる幾つかの追加のパラメータを説明するために含めた例である。一実施形態では、ＱＲコード２２は位置に加えて、ＱＲコード２２のディスプレイ固有の空間情報を含みうる。このディスプレイ固有の空間情報は、ディスプレイ１２に提示されるＱＲコード２２の実際のサイズ又は実際の距離に関するものでありうる。例えば、ディスプレイ固有の空間情報は、ＱＲコード２２の２つの角の間の距離ＬＱを表していてよく、これはＱＲコード２２における位置表示器Ｐの幅ＷＰ又は高さＨＰを表しうる。監視カメラ１４又はシステムによってこのディスプレイ固有の空間情報を使用して、監視カメラ１４とモバイル機器１０との間の距離を計算することができる。この計算された距離を次に、監視カメラ１４の実際の地理的位置により厳密に対応するように、監視カメラにおいて受信されるモバイル機器１０の地理的位置を調節するために用いることができる。ディスプレイ固有の空間情報を使用して、以下に説明する更なる調節及び計算を行うことができる。

【0037】

更に、ＱＲコード２２は、モバイル機器１０が面している水平方向に関する情報を含みうる。方向は、コンパスで使用されるように、北に対する度合いで示すことができ、この水平方向は、モバイル機器１０に含まれる電子コンパスによって生成されうる。水平方向は、監視カメラ１４のパン角又は方向として見ることができる。加えて、ＱＲコード２２は、モバイル機器１０が面している垂直方向、すなわち傾斜角に関する情報を含みうる。この傾斜角は、モバイル機器１０の傾斜センサによって生成されうる。

【0038】

モバイル機器１０によって提示されるパン方向及び／又は傾斜方向は、特にモバイル機器１０のディスプレイ１２が監視カメラ１４の光軸に対して直角の平面にほぼ保持されている場合、監視カメラの実際のパン方向及び傾斜方向と近似すると想定されうる。この場合、モバイル機器１０の裏面は、監視カメラ１４と同じ方向に向くようになっている。ユーザが、モバイル機器１０のディスプレイ１２をディスプレイに対してほぼ直角に保持しやすくするために、監視カメラ１４はモバイル機器１０のディスプレイ１２上のパターンを検出し、ディスプレイ１２に提示されたパターンの直線がほぼ直線としてキャプチャされているか、あるいはディスプレイ１２上に提示された同じサイズを有するグラフィック特徴が本当に同じサイズの特徴としてキャプチャされているかをチェックしうる。監視カメラ１４は、モバイル機器１０のディスプレイ１２が光軸に対してほぼ直角であることを監視カメラ１４が識別した時に、合図しうる、又は光源に光を放射させうる。ＱＲコード２２又は使用される他の何らかのコードを、この種の参照パターンとして使用可能である。更に、ＱＲコード２２のパターンが正しい位置にある時に監視カメラ１４が真方向をキャプチャすることができるように、モバイル機器１０の変化する方向を含むために、ＱＲコード２２が頻繁に変化しうる。

【0039】

あるいは、監視カメラ１４はＱＲコード２２を表すパターンをキャプチャし、次に光軸と、ＱＲコード２２で定められた方向との間のずれを計算する。この計算は、監視カメラ１４によってキャプチャされたパターンの射影ひずみに基づくものであってよい。上記計算の実施例を以下に提示する。

【0040】

別の実施形態では、ＱＲコード２２はロール角を含みうる。本願の説明において、ロール角は、モバイル機器１０がディスプレイ１２に対して直角の軸周囲で回転して、ディスプレイの底部又は上部エッジを水平面、すなわち現実世界の水平面に持ってくるべき角度と解釈されるべきである。監視カメラ１４において、ロール角は、監視カメラ１４がそれ自体の光軸周囲で回転して、キャプチャされた画像の底部又は上部エッジを水平面、すなわち現実世界の水平面に持ってくるべき角度と同様に定義される。モバイル機器１０のロール角は、ジャイロと組み合わされた幾つかの実施形態において加速度センサを用いることによって検出することができ、ディスプレイ１２のＱＲコード２２に提示される。この情報は次に監視カメラ１４によって使用され、監視カメラ１４のロール角が計算されうる。

【0041】

更に、一実施形態では、ＱＲコード２２は、位置データと潜在的な他の適用可能なデータを監視カメラ１４と監視システムへ供給するように認定されたモバイル機器１０として、モバイル機器１０を認定する暗号コードを含む。暗号コードは、公開鍵暗号、対称鍵暗号、又は他の何らかの暗号カテゴリを使用して実装されうる。様々な暗号作成法のカテゴリには、複数の周知の実装態様が存在する。

【0042】

ＱＲコード２２を介した位置データと潜在的な他のデータの転送の開始は、監視カメラ１４にＱＲコード２２検出プロセスを頻繁に実行させることによって達成される。このように、監視カメラ１４は常に、ＱＲコード２２を介して座標及び他のデータを受信するような態勢でいる。１つの不利点は、識別するＱＲコード２２がない時に長期間システムリソースが無駄になるということでありうる。従って、この方法はおそらく、ＱＲコードが他の目的のためにも使用されるシステムにおいて使用され、この他の目的のためのＱＲコードの使用は、ＱＲコード検出プロセスを頻繁に実行するシステムリソースの使用に無理な負担がかからないような高い頻度で実行される。ＱＲコードを検出するプロセスを実行する頻度は、用途によって変化しうる。しかしながら、検出のために人が３０秒を超えて待つ必要がないようにしなければならない。監視カメラ１４がＱＲコードを検出したときに、監視カメラ１４の幾つかの表示器、音又は光が、ＱＲコード２２が検出され、その処理が開始された、あるいは終了したことを、モバイル機器１０を制御している人に知らせるべきである。

【0043】

あるいは、ＱＲコード検出期間は、監視ネットワークを制御するように認定された機器からのネットワークを介した信号によって開始される。監視システムの監視カメラ１４の全て、あるいはサブセットが、その期間中に所定の間隔を置いてＱＲ検出プロセスを実行するように、システムを構成してもよい。好ましくは、プロセスは、監視カメラ１４にモバイル機器を見せているユーザが、コードが検出される前に気に障るほどのいかなる待ち時間にも気づかないほどしばしば実行されるべきである。検出プロセスが頻繁に実行されるＱＲコード検出期間は、全て監視システムの拡張範囲によって特定の長さ、例えば１時間又は３０分等に設定することができる。あるいは、監視ネットワークを制御するように認定された同じ機器から、又はこれもまた認定された別の機器から信号を送ることによって、ＱＲコード検出期間を手動で終了させることができる。

【0044】

上述の実施形態のいずれかにより、監視カメラ１４へ供給される情報は、多くの目的で監視カメラ１４によって、又は監視システムによって使用されうる。例えば、位置及び方向情報を使用して、マップ又は建築計画において監視カメラ１４を正確に位置づけすることができる。この位置を使用して、監視カメラ１４を正しい位置に描写することができる。監視カメラ１４によって監視されるエリアの数値表示を描写するためにパン方向を使用することができ、このエリアの計算は、カメラによって使用される焦点距離を考慮することによって、より精度の高いものとなり得る。

【0045】

斜めの水平線及び射影ひずみを除去するためにキャプチャされた画像を電子的に調節するため、監視カメラ１４のロール角、及び監視カメラ１４のチルト角が使用されうる。

【0046】

更に、監視カメラ１４間での追跡物体の引継ぎ、又は監視されていないエリアの識別を促進するために、監視カメラ１４の位置及びパン方向を監視システムに使用しうる。

【0047】

本発明の一実施形態によれば、監視カメラ１４の位置を決定するプロセスは、モバイル機器１０を持っている人が監視カメラ１４に向くこと、又はモバイル機器１０が配備された輸送体を監視カメラ１４に向けることを含む。モバイル機器１０が監視カメラ１４によってディスプレイ１２がキャプチャされる位置にある場合、図８及び９にそれぞれ参照しながら以下に説明するプロセスは、監視カメラ１４の位置を決定する一例を提示するものである。ここで、モバイル機器１０が位置センサから地理的座標を読み取っている（Ｓ３０２）図８を参照する。機器１０に電源が入ると連続的にモバイル機器１０によってこの地理的座標の読み取りが実施され、この読み取りは機器１０のユーザがプロセスを含むアプリケーションを開始したことに応じて開始しうる、また監視カメラ１４の位置を決定するのにモバイル機器１０が使用されることに関連して開始されうる。全ての実施形態においてではないが、利用可能であれば、ディスプレイ１２又はモバイル機器１０の裏面が向いている方向が方向センサから読み取られ（Ｓ３０４）、チルト方向がチルトセンサから読み取られ（Ｓ３０６）、ロール方向がロールセンサから読み取られる（Ｓ３０８）。同じセンサから、チルト方向及びロール方向に使用されるデータが読み取られうる。次に、センサから読み取られた少なくとも１つのデータポストを含むメッセージが、モバイル機器１０において生成される（Ｓ３１０）。モバイル機器１０に記憶された所定の認証コード、又はユーザによって入力された認証コードもまた、メッセージに含まれる。更に、図７に関して説明したように、ディスプレイ固有の空間情報もメッセージに含まれうる。メッセージが生成されると、メッセージはＱＲコード２２に符号化され（Ｓ３１２）、次にモバイル機器１０のディスプレイ１２に表示される（Ｓ３１４）。このプロセスは次に、潜在的に更新されたセンサデータを含む新たなＱＲコード２２を表示するために新たなセンサデータを読み取るため、Ｓ３０２へ戻る。

【0048】

ここで、監視カメラとしての動作の一部として、監視カメラ１４が所定の速さで連続的に画像をキャプチャしている図９を参照する（ステップ４０２）。現在キャプチャされている画像が次に、ＱＲコード２２についてチェックされる（Ｓ４０４）。ＱＲコード２２が見つからない（Ｓ４０６）場合、プロセスはＳ４０４へ戻り、後にキャプチャされた画像がＱＲコード２２についてチェックされる。キャプチャされた画像においてＱＲコード２２が見つかるまで、これが繰り返される。引続きキャプチャされる各画像が、必ずしもＱＲコード２２についてチェックされるわけではない。ＱＲコード２２が見つかると、ＱＲコード２２は監視カメラ１４によって処理されうる形態に翻訳され又はデコードされる（Ｓ４０８）。結果的に得られたメッセージが次に、有効な認証コードについてチェックされる（Ｓ４１０）。有効な認証コードがない（Ｓ４１２）場合、プロセスはＳ４０４へ戻り、ここで新たな画像がＱＲコード２２についてチェックされる。しかしながら、認証コードが有効である場合、メッセージは認定されたセンサデータを含み、このセンサデータが抽出される（Ｓ４１４）。抽出されたセンサデータポストは次に、監視カメラ１４に記憶され（Ｓ４１６）、そのまま使用される、あるいはセンサデータを、ＱＲコード２２に含まれるディスプレイ固有の空間情報と組み合わされたキャプチャされたＱＲコード２２の画像の解析から結果的に得られたデータと組み合わせることによって更に精度を上げて使用される。その後、それ自体のおおよその位置情報、例えば地理的座標、水平方向、垂直方向及び／又はロール方向が監視カメラ１４に記憶され、プロセスが終了する。

【0049】

ここで、図１０を参照しながら、本発明のプロセスを実施することが可能なモバイル機器１０の一実施形態を説明する。モバイル機器は、カラーディスプレイ１２、モバイル機器１０の機能を定義するコードを実行するようになっている処理装置１０２、揮発性メモリ１０４、非揮発性メモリ１０６、ディスプレイ１２にモバイル機器１０の情報を提示するためにモバイル機器１０の他の部分と連結するディスプレイドライバ１０８、モバイル機器にデータを手動で入力するための入力手段１１０、幾つかの地上位置づけサービスにアクセスすることによってモバイル機器の地理的位置を取得するＧＰＳ受信機１１２、モバイル機器１０が向いている方向を提供するコンパス１１４、及び単一のセンサであってよいが、２つの別々のセンサであってもよいチルト及びロールセンサ１１６を含む。更に、この実施形態によるモバイル機器１０は、処理装置１０２によって実行されるべきプログラムモジュールとして実装されるＱＲコード生成器１１８と、これもまた処理装置１０２によって実行されるべきプログラムモジュールとしても実装されるメッセージ生成器１２０とを含む。

【0050】

チルト及びロールセンサ１１６は、少なくともこれらの角度又は方向を検出するようになっている複数の加速度センサを含むモジュールであってよい。しかしながら、チルト及びロールセンサ１１６はまた、例えば１つは前後の傾き、すなわちチルト用であり、１つは左右の傾き、すなわちロール用である２つのチルトセンサであってもよい。

【0051】

ここで、本発明のプロセスを実施することが可能な監視カメラ１４の一実施形態を、図１１を参照しながら説明する。監視カメラ１４は、いずれかの普通の監視及び／又は調査カメラであってよい。本発明は、所定のエリアを監視する又は調査する固定カメラに有利に適用される。従って、監視カメラ１４は、例えばレンズ２０２、画像センサ２０４、画像プロセッサ２０６、中央処理装置２０８、揮発性メモリ２１０、及び非揮発性メモリ２１２等の標準の監視カメラの特徴を含む。加えて、監視カメラ１４はネットワーク化された監視カメラであってよく、この場合、監視カメラ１４は物理及び論理ネットワークインターフェース２１４を含む。更に、本発明の一実施形態の監視カメラ１４は、ＱＲコードデコーダ２１６、位置設定モジュール２１８、広範囲のパン方向設定モジュール２２０、及び広範囲のチルト及びロール設定モジュール２２２とを含む。

【0052】

ＱＲコードデコーダ２１６は、ＱＲコードを表すグラフィックスを処理して、モバイル機器１０においてＱＲコード２２に符号化されたメッセージを再作成するようになっており、この処理は、当業者に周知のアルゴリズムによって実施される。別のグラフィック表示が使用される用途では、代わりにデコーダがこれらのグラフィック表示に適合される。例えば、コードがモバイル機器のディスプレイに提示された標準文字である場合は代わりに、光学式文字認識（ＯＣＲ）ベースのデコーダが実装され、コードがバーコードである場合、バーコードデコーダが代わりに実装される。

【0053】

位置設定モジュール２１８は、後に使用するため、及び／又は中央サーバへ送るために、監視カメラ１４の位置を記憶するようになっている。ＱＲコード２２、及びキャプチャされたＱＲコード２２の画像において測定された特徴に含まれるディスプレイ固有の空間情報から計算された追加のデータを考慮することによって、監視カメラ１４の位置の精度が上がった場合に、位置づけモジュール２１８においても上記のような精度の高い計算が実施されうる。

【0054】

広範囲のパン方向設定モジュール２２０は、後に使用するため、及び／又は中央サーバへ送るために、監視カメラ１４の視野方向を表すコンパス方向を監視カメラ１４に記憶させるようになっている。ＱＲコード２２、及びキャプチャされたＱＲコード２２の画像において測定された特徴に含まれるディスプレイ固有の空間情報から計算された追加のデータを考慮することによって、監視カメラ１４のパン方向の精度が上がった場合に、広範囲のパン方向設定モジュール２２０においても上記のような精度の高い計算が実施されうる。

【0055】

広範囲のチルト及びロール設定モジュール２２２は、後に使用するため、及び／又は中央サーバへ送るための監視カメラ１４のカメラのチルトを表す値、及び監視カメラ１４のロールを表す値を記憶するようになっている。ＱＲコード２２、及びキャプチャされたＱＲコード２２の画像において測定された特徴に含まれるディスプレイ固有の空間情報から計算された追加のデータを考慮することによって、監視カメラ１４のチルト及び／又はロールの精度が上がった場合に、広範囲のチルト及びロール設定モジュール２２２においても上記のような精度の高い計算が実施されうる。

【0056】

監視カメラにはまた、監視カメラ１４の光学系２０２の現在の焦点距離に関するデータを提供するようになっている、焦点距離検出器２２４も含まれうる。焦点距離検出器２２４は、ステップモータ、又はカメラのズーム機能を制御している他の何らかの制御システムからの位置信号として実装されうる、あるいは、キャプチャされた画像データを解析する監視カメラの処理装置で実行される画像を解析する方法の実装態様であってよい。更に、焦点距離を変えることが出来ないシステムにおいては、計算に使用するために焦点距離の値が監視カメラに記憶されうる。

【0057】

画像プロセッサ２０６において、ＱＲコードがキャプチャされた画像に存在するか否かの検出が実施されうる。モバイル機器１０又は監視カメラ１４の前のフロー図及び他の機能に記載されたプロセスは、それぞれの機器の処理装置、例えばモバイル機器１０の処理装置１０２、監視カメラ１４の中央処理装置２０８において実行されるプログラムコードとして実装しうる、又はこれらのプロセス又は機能は、論理回路を使用して実装しうる。

【0058】

一実施形態によれば、監視カメラ１４は、上述したように取得された任意の位置及び方向データが更なる使用又は処理のために送られうる中央サーバ２０を含むネットワークに接続される。上記ネットワーク化されたシステムは、これもまた本発明を実行する追加の監視カメラ１６を含みうる。カメラの位置及び方向に関するデータを使用して、計画上の正確な位置に特定の監視カメラの姿を描き出し、カメラと、カメラの視野の表示を、それが取り付けられた方向に向けることができる。

【0059】

上述したように、ＱＲコードのサイズ及び形状の情報、又はモバイル機器に表示された他のパターンを使用して、モバイル機器の位置及び方向に基づいて、カメラの位置及び方向のさらに詳細な決定値が計算されうる。例えば、現実世界での３Ｄ座標と、カメラの３Ｄ座標との間の関係を表すホモグラフィが使用されうる。

【0060】

モバイル機器の地理的座標が決定され、ＱＲコードをキャプチャすることによってこの地理的座標が利用可能であり、ＱＲコードのサイズ及び形状の情報もまたＱＲコードに含まれる場合、モバイル機器とカメラの位置と方位との関係が決定されうる。従って、カメラとモバイル機器との間の位置及び方向の差を決定するために、それ自体周知であるカメラ較正手順の原理を使用することによって、またこれらの差を使用して、モバイル機器の位置及び方向からカメラの位置及び方向を決定することによって、より正確にカメラの位置を決定することができる。

【0061】

ＱＲコードのサイズ及び形状の情報が得られれば、ＱＲコード自体の座標系におけるＱＲコードのポイントの位置（例えば角又は位置インジケータ）が分かる。ＱＲコードの画像のポイントと、モバイル機器に表示されたＱＲコードの対応するポイントとを一致させることによって、座標の対が得られる。上記対の座標間の関係を、以下の公式で表すことができる。
（ｘ_ｉ、ｙ_ｉ）→（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）
上記式において、（ｘ_ｉ、ｙ_ｉ）は画像の２Ｄ座標を示し、（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）は現実世界の３Ｄ座標を示す。

【0062】

現実世界のポイント、例えば表示されたＱＲコードのポイント、及び画像のポイント、例えばカメラによってキャプチャされたＱＲコードのポイントは、同次ベクトルによって提示されうる。図１２を参照すると、その中心射影は線形変換であり、以下のように表すことができる。

上記式において、ｆはカメラの焦点距離であり、（ｘ_ｉ、ｙ_ｉ、ｆ）は画像のポイントの３Ｄ座標を示し、（ｘ_ｓ、ｙ_ｓ、ｚ_ｓ）はシーンにおける対応するポイントの３Ｄ座標を示す。

【0063】

ここに提示された計算は、現在の焦点距離が予め分かっていなくても実施することができるが、焦点距離がすでに分かっていれば計算はより速くなる。現在の焦点距離を取得する方法の幾つかの実施例を、本書において後に記載する。

【0064】

（ｘ_０、ｙ_０）で示される画像中心と、距離から画素へのスケーリングのための倍率を使用して、ｋｘとｋｙで示される距離から画素への変換を行うことができる。以下の２つの方程式において、ｘ_ｐｉｘ及びｙ_ｐｉｘは画素で測られる座標を示す。

【0065】

上記の長さで表される方程式と同様に、画素で表される以下の方程式を使用することができる。

ここで、画素で表される焦点距離と見なされうる下記が成り立つ。

【0066】

画素の座標は、次のように表すことができる。

【0067】

スキューパラメータＳを加えると、再配列は次のように行われ得る。

【0068】

３×３上三角行列Ｋは、較正行列と称される。行列Ｋのパラメータは、カメラの固有パラメータを含み、変換工程において重要な入力である。

【0069】

図１３及び１４を参照すると、画像座標系のシーンポイント（ｘ_ｓ、ｙ_ｓ、ｚ_ｓ）と、現実世界座標系のシーンポイント（Ｘ_ｓ、Ｙ_ｓ、Ｚ_ｓ）との間の関係は、並進ベクトルＣＯ＝Ｔを、画像座標系の開始ポイントから現実世界座標系の開始ポイントまで現実世界座標系におけるポイントＭを示すベクトルへ加えることによって、取得することができる。

【0070】

同次座標を使用すると、これは以下のようになりうる。

【0071】

あるいはこれを、下記のように表すことができる。

【0072】

は、世界座標系で表されるベクトルＯＣである。Ｔの代わりに

を使用することにより、以下の方程式を設定することができる。

【0073】

カメラの射影行列及び座標変換行列を、１つの行列Ｐに組み合わせることができる。

から、下記が得られる。

これは以下のように表すことができる。

又は
ｘ＝ＰＸ

【0074】

これは以下のように簡略化されうる。

【0075】

この行列Ｐは自由度１１を有し、そのうちの５は較正三角行列Ｋから、３はＲから、そして３は

からである。Ｐは３×４行列であり、左３×３部分行列ＫＲは非特異であることが挙げられる。シーンポイント、及び画像における対応するポイントとを使用して、Ｐを推定することができる。較正行列Ｋがすでに分かっている場合、この推定は大幅に簡略化される。しかしながら、十分な数の対のポイントを使用すれば、較正行列がまだ分かっていなくても、Ｐを推定することができる。

【0076】

カメラの並進を決定するためには、シーンにおけるＣの同次座標を見つけなければならない。Ｃは、行列Ｐのヌルベクトルであり、従って下記が成り立つ。

【0077】

特異値分解を使用して、ＰのヌルベクトルＣを得ることができる。

【0078】

更に、カメラの方位及び固有パラメータが得ることができる。ここで、Ｐの左３×３部分行列Ｍは、Ｍ＝ＫＲの形式であることに留意しうる。Ｋは上三角行列であり、Ｒは直交行列である。非特異な行列Ｍは、ＲＱ因数分解を使用してＫ及びＲの積に分解されうる。上ですでに述べたように、較正マトリクスＫがすでに分かっている、すなわちカメラは較正されている場合、計算は簡略化される。

【0079】

行列Ｐは、世界座標系の３ＤポイントＸ_ｉと、画像のＸ_ｉの対応する画像ｘ_ｉを取って、全てのｉに対してｘ_ｉ＝ＰＸ_ｉとすることによって計算可能である。この行列Ｐを次に使用して、Ｐ行列から計算されたパラメータによって調節される、モバイル機器に表示されたＱＲコードに規定されたモバイル機器の位置に基づいて、カメラの位置及び方位を計算することができる。現実世界座標、すなわちカメラによってキャプチャされた画像面の外の三次元世界に関する座標のＱＲコードに対するカメラの位置は、行列Ｃに付与され、現実世界座標系の三軸に対するカメラの方位、すなわち三軸の視野におけるカメラの回転は、行列Ｒに付与される。

【0080】

上記の計算は、例えばＯｐｅｎＣＶ、又はＭａｔｌａｂのＣａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘで利用可能なソフトウェアコードを使用して実施可能である。

【0081】

システム、すなわちレンズの焦点距離を、上記のＰマトリクスから抽出することができる。しかしながら、計算速度を上げて、上記のマトリクスを解くのに必要な処理力を抑えるために、焦点距離を前もって付与することができる。この場合、例えば固定焦点距離レンズを有するシステムにおいて焦点距離を予めセットすることができる、あるいは打ち込むことができる。あるいは、監視カメラは、自動で焦点距離を決定する方法を使用しうる。使用中のレンズの焦点距離を識別するように構成された方法は、たくさんある。上記方法の一実施例は、図１５を参照して以下の方程式に提示される近似値を用いる。

【0082】

方程式において、ｈ_１は例えば図７のグラフィカルコードの距離ＬＱ等の高さＨを有する物体のキャプチャされた高さ、又はモバイル機器全体の高さである。Ｌ_１はカメラから物体までの距離であり、ｆは使用中のレンズの焦点距離である。焦点距離ｆは、画像センサ上でキャプチャされた物体の高さｈ_１が、カメラから第１の距離Ｌ_１においてカメラによって決定された場合、画像センサ上でキャプチャされた物体の高さｈ_２が、第２の距離Ｌ_２においてカメラによって決定される（図１６参照）。

【0083】

これを達成するために、以下にｄで示される、キャプチャされた２つの物体画像間で移動した距離が測定される、あるいは推定される。
ｄ＝Ｌ_１−Ｌ_２

【0084】

物体の本当の高さは、同じく位置とは無関係であり、以下の結果となる。

及び
ｈ_１Ｌ_１＝ｈ_２Ｌ_２＝ｈ_２（Ｌ_１−ｄ）

【0085】

次に

【0086】

上記式の結果、以下の焦点距離の方程式が成り立つ。

【0087】

従って、２つの異なるキャプチャした瞬間においてグラフィカルコード間の所定距離で２つのグラフィカルコードの画像をキャプチャすることによって、カメラは焦点距離を計算することができる。

【0088】

他の実施形態では、モバイル機器を監視カメラ１４に接触させながら保持することによって、監視カメラ１４の位置を決定することができる。モバイル機器１０が監視カメラ１４とほぼ同じ地理的位置に位置づけされるようにモバイル機器１０をレンズの前で保持してもよく、モバイル機器１０の前又は後ろが監視カメラ１４のレンズの外側リムと同一平面上に保持された場合に、モバイル機器１０の方向と監視カメラ１４の方向はほぼ対応するようになる。更に、監視カメラ１４のロール角をモバイル機器１０のロール角にほぼ対応するようにするためには、モバイル機器１０を保持しているユーザが、携帯電話機のほぼ直線的なエッジが監視カメラ１４のほぼ直線的な特徴と視覚的に合致するまでモバイル機器１０のロール角を変えることができる、例えばユーザは、モバイル機器の上方エッジが監視カメラ１４の上方エッジ又は表面と平行するように保持することを目標にしうる。モバイル機器１０が上述したように適所に保持されると、ユーザはモバイル機器１０によって検出される地理的位置、方向、及びロール角のいずれか１つ、又はいずれかの組み合わせを少なくとも一時的に記憶するプロセスをトリガすることになる。この記憶プロセスは、ユーザがモバイル機器１０のボタンを押すことによって、又は他の何らかの可能なトリガ動作を行うことによって、トリガされうる。モバイル機器１０は上述したように、モバイル機器のディスプレイ１２に表示するためのグラフィカルコード２２を生成する。グラフィカルコード２２は、例えば地理的位置、方向、及び／又はロール角等の少なくとも幾つかの記憶されたデータを含む。本書で前述したように、グラフィカルコードはＱＲコードであってよい。モバイル機器１０は、モバイル機器１０のディスプレイが監視カメラ１４自体によってキャプチャ可能となる監視カメラ１４のレンズから、ある距離だけ移動する。次に、監視カメラはグラフィカルコードをデコードし、グラフィカルコードに符号化された特徴によって、それ自体の地理的位置、視野方向、及び／又はロール角を決定しうる。

【0089】

ロール角はこの設定では動的であってよい、すなわちモバイル機器１０が位置データの他の部分を記憶するためにトリガされた時に、ロール角がキャプチャされた値に固定されない。次に、監視カメラ１４は前述したように、ロール角のデータ、従ってＱＲコードが頻繁に更新される、ロール角のデータ上において動作しうる。

【0090】

その他の実施形態では、監視カメラ１４を設置している、又は修理している人がキャプチャされた画像の水平レベルを得やすくなるように上述のプロセスを使用することができる。モバイル機器１０は、上記いずれかの実施形態に記載されるカメラの前に保持される。モバイル機器のディスプレイ１２に提示されるグラフィカルコードは、モバイル機器１０のロール角に関連する情報を少なくとも用いて頻繁に更新される。カメラは、グラフィカルコードのキャプチャされた画像と、グラフィカルコードに含まれるデコードされた情報とに基づいて、カメラ自体のロール角を計算する、すなわち監視カメラは、キャプチャされた画像と、モバイル機器１０から提供された情報とに基づいて、カメラ自体のロール角を計算する。結果的に得られた監視カメラのロール角は次に、例えば監視カメラ自体によって、又はカメラに接続されたネットワークにおける計算手段によって評価され、ロール角が許容範囲にあるか否かを示すために監視カメラ１４によって生成される音又は光が制御される。音又は光は、ロール角が許容範囲内であるか、あるいは許容範囲外かのいずれかを示すために生成されうる。

【0091】

上記実装態様を理解しやすくするために、一実施例を提示する。モバイル機器は、カメラによってグラフィカルコードがキャプチャされうるようにグラフィカルコードを示すために監視カメラ１４の前に保持される。監視カメラの光軸周囲で、及び水平に対してカメラに角度がついている場合、光を放射させるための発光ダイオード（ＬＥＤ）が起動される。カメラを設置している、又は修理している人は次に、ＬＥＤが光の放射を停止するまで光軸周囲でカメラを回し、これによりロール角が許容範囲内にあることが示されうる。

【0092】

カメラの位置を決定する際に高い精度が所望される場合は、モバイル機器がカメラの前であちこち移動するときに、モバイル機器に表示されたＱＲコード又はその他のパターンを更新する必要がある。しかしながら、カメラが画像をキャプチャするフレームレートが必ずしもモバイル機器のディスプレイの更新頻度と同期しているわけではないため、これにより不完全な又は半端なＱＲコードをキャプチャする危険性が発生する。モバイル機器のディスプレイを更新している時点でキャプチャされた画像には、古いＱＲコードと新たなＱＲコードの混ざったものが含まれ得る。不完全なＱＲコードをキャプチャする問題を減らすためには、ディスプレイ上のパターンがカメラのフレームレートよりも少ない毎秒回数で更新されるように、モバイル機器のディスプレイの更新頻度を減らしてもよい。例えば、ディスプレイは、カメラによってキャプチャされた２つまたは３つのフレームに対応する間隔を置いて更新されうる。しかし、これによりカメラ位置の決定精度を低下させるような待ち時間が追加され、これはまた、ＱＲコード画像の複製が不必要に処理されることも暗に示される。

【0093】

代わりに、不完全なＱＲコードをキャプチャする危険性は、上述したようにカメラとディスプレイの異なる色チャンネルの利点を活用することによって、減らすことができる。ＱＲコードが更新される際に、最初は緑色チャネルでのみ更新され、赤色及び青色チャネルではまだ前のＱＲコードが示される。次の時点でＱＲコードが更新される際、赤色及び青色チャネルが更新されるが、緑色チャネルでは前と同じＱＲコードが表示される。従って、ディスプレイは２つのＱＲコードを同時に表示し、１つ又は２つの色チャネルには、モバイル機器の最新の決定された位置に対応するＱＲコードが表示され、１つ又は２つの他の色チャネルにはモバイル機器の前に決定された位置に対応するＱＲコードが表示される。更新を３つのステッププロセスとして実施することも可能であり、最初に色チャネルのうちの１つ（例えば赤色）を更新し、次に別の色チャネル（例えば緑色）を更新し、最後に残りの色チャネル（例えば青色）を更新する。ＱＲコードの地理的位置への変換はカメラ１において実施される、又は適用される場合、１度に２つの色チャネルが変換される。もしキャプチャされた画像の色チャネルが不完全な又は混ざり合ったＱＲコードを含む時は、他の色チャネル又は複数の色チャネルを使用してカメラの位置を決定してもよい。ＱＲコードはカメラによってキャプチャされた各画像に１度だけ位置させるだけでよく、それから２回（又は更新が分割される色チャネルの数によって３回）、すなわち適用可能な色チャネルごとに１回デコードされる、又は位置に変換される。

【0094】

当業者は、上記更新方法がＱＲコードに限定されず、前述したようなあらゆる種類のパターンでも使用可能であることを認識するだろう。この方法はまた、ＲＧＢ（赤、緑、青）色空間に限定されず、手元のモバイル機器のディスプレイ及びカメラの組み合わせによって使用されるいずれかの色空間で使用可能である。

【0095】

代替的な実施形態では、本書に記載されるように、情報の送信において異なる色のグラフィカルコードを使用した視覚的送信を、図１の拡声器によって示すように、オーディオ較正システム及びプロセスにおいても使用可能である。拡声器１６に電子音声信号を生成するシステムの設定を較正するために、拡声器１６を用いることによって音声の生成を制御する処理装置に接続されたモーションビデオカメラ１４と拡声器１６の配置が使用されうる。

【0096】

ディスプレイ機器１０のマイクロホン、又はディスプレイ１０に接続されたマイクロホンは、マイクロホンの位置で音声を記録し、登録された音声を解析し、ディスプレイ機器１０のディスプレイ１２に記録された音声に関する情報を連続的に提示する。モーションビデオカメラ１４は、前述したように、ディスプレイ機器１２のモーションビデオをキャプチャし、情報担持パターンがデコードされる。情報担持パターンを介して送信された情報は次に、拡声器のパラメータを設定するのに使用されうる。情報担持パターンを介して送信されうる、記録された音声に関する情報は、所定の期間にわたって検出された音レベルの平均値であってよく、平均値は頻繁に更新される場合があり、データはある期間にわたって記録された音波等を表す。音声システムはこの情報を使用して、音声信号の適切な増幅レベルを設定することができる。ＥＰ３０１８９１７号明細書に、上記音声システムの一実施例が開示されている。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】