(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5873864
(24)【登録日】2016年1月22日
(45)【発行日】2016年3月1日
(54)【発明の名称】オブジェクト追跡及び認識方法及び装置
(51)【国際特許分類】
G01S 5/02 20100101AFI20160216BHJP
G01S 11/06 20060101ALI20160216BHJP
G01S 13/74 20060101ALI20160216BHJP
G01S 13/86 20060101ALI20160216BHJP
G06K 7/10 20060101ALI20160216BHJP
H04N 5/225 20060101ALI20160216BHJP
H04N 5/232 20060101ALI20160216BHJP
【FI】
G01S5/02 A
G01S11/06
G01S13/74
G01S13/86
G06K7/10 100
H04N5/225 C
H04N5/232 Z
【請求項の数】5
【全頁数】11
(21)【出願番号】特願2013-516940(P2013-516940)
(86)(22)【出願日】2010年7月2日
(65)【公表番号】特表2013-537618(P2013-537618A)
(43)【公表日】2013年10月3日
(86)【国際出願番号】CN2010001000
(87)【国際公開番号】WO2012000138
(87)【国際公開日】20120105
【審査請求日】2013年7月1日
(73)【特許権者】
【識別番号】501263810
【氏名又は名称】トムソン ライセンシング
【氏名又は名称原語表記】Thomson Licensing
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】チョウ ウェイ
(72)【発明者】
【氏名】リー ジュン
(72)【発明者】
【氏名】マ シァオジュン
【審査官】
大和田 有軌
(56)【参考文献】
【文献】
特開2005−123932(JP,A)
【文献】
特開2004−289208(JP,A)
【文献】
特開2008−205548(JP,A)
【文献】
実開昭63−063897(JP,U)
【文献】
特開2006−127355(JP,A)
【文献】
米国特許出願公開第2004/0164858(US,A1)
【文献】
特開2008−281239(JP,A)
【文献】
中国特許出願公開第101673094(CN,A)
【文献】
特開2011−182305(JP,A)
【文献】
特開2007−074657(JP,A)
【文献】
特表2006−509422(JP,A)
【文献】
特開2005−286493(JP,A)
【文献】
特開2002−250768(JP,A)
【文献】
米国特許出願公開第2009/0322537(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 5/00 − 5/14
G01S 7/00 − 7/42
G01S 13/00 − 13/95
G06K 7/00 − 7/14
G06K 17/00 − 19/18
H04N 5/222 − 5/257
(57)【特許請求の範囲】
【請求項1】
オブジェクト追跡及び認識システムであって、
検出範囲に関する座標及び画像情報を取得するための座標及び画像モデルと、
前記検出範囲に入るオブジェクトにより送信されるRF信号の強度を検出するのに適合されたRFID装置と、
前記RFID装置により検出された前記RF信号の前
記強度が
、前記オブジェクトが検出範囲内でありかつビデオ装置からある距離内であることを示す予め定められた閾値に到達すると前記オブジェクトの画像情報を取得するために電源をオンするように適合されたビデオ装置と、
前記座標及び画像モデルから座標を受信し、前記オブジェクトの位置をマッピングして、前記検出範囲内の前記オブジェクトの位置を識別する情報発生器と、
前記座標及び画像モデルから座標を受信して前記ビデオ装置に対する前記オブジェクトの距離を検出する、座標発生器と、
前記ビデオ装置の検出範囲にある少なくとも2つの場所の前記RF信号の強度値の関係モデルに応じて前記予め定められた閾値を更新するように適合されたプロセッサーと、
を備
え、前記関係モデルは、
【数1】
で表される、前記検出範囲内の領域間の信号強度の線形行列モデルであり、ここでriはi番目のグリッドで検出された信号強度サンプルを表し、rjはj番目のグリッドで検出された信号強度を表し、
【数2】
及び
【数3】
は前記線形行列モデルの係数である、前記オブジェクト追跡及び認識システム。
【請求項2】
前記予め定められた閾値は、前記オブジェクトから前記RFID装置までの距離に対応する、請求項1に記載のオブジェクト追跡及び認識システム。
【請求項3】
前記予め定められた閾値は、前記関係モデルに基づいて単一点又は多点推定法によって更新される、請求項1に記載のオブジェクト追跡及び認識システム。
【請求項4】
前記オブジェクト追跡及び認識システムは、前記ビデオ装置及び前記RFID装置によって画像情報が検出されると、電子装置の電源をオン/オフするように前記電子装置上に配置されるように適合されている、請求項1又は2に記載のオブジェクト追跡及び認識システム。
【請求項5】
オブジェクト追跡及び認識システムにおいて使用される方法であって、
前記オブジェクト追跡及び認識システムの検出範囲に関する座標及び画像情報、並びに前記オブジェクト追跡及び認識システムの検出範
囲に入るオブジェクトの画像情報をビデオ装置によって取得するステップと、
前記オブジェクトの位置をマッピングして前記取得された座標に基づき前記検出範囲内の前記オブジェクトの位置を識別するステップと、
前記取得された座標に基づき前記ビデオ装置に対する前記オブジェクトの距離を検出するステップと、
前記オブジェクトのRFタグの信号強度をRFID装置によって検出するステップと、
前記RFID装置により検出された信号の前記信号強度が
、前記オブジェクトが前記検出範囲内にあることを示す予め定められた信号強度閾値に到達すると、前記オブジェクトの前記画像情報を取得するために前記ビデオ装置の電源をオンするステップと、
前記ビデオ装置の検出範囲にある少なくとも2つの場所の前記RFタグの信号強度の値の関係モデルに応じて前記予め定められた信号強度閾値を更新するステップと、
を含
み、前記関係モデルは、
【数4】
で表される、前記検出範囲内の領域間の信号強度の線形行列モデルであり、ここでriはi番目のグリッドで検出された信号強度サンプルを表し、rjはj番目のグリッドで検出された信号強度を表し、
【数5】
及び
【数6】
は前記線形行列モデルの係数である、前記方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的にオブジェクト追跡(トラッキング)及び認識システムに関し、特に、RFID及びビデオ装置を含むオブジェクト追跡及び認識方法及び装置に関する。
【背景技術】
【0002】
ユビキタスコンピューティングの考え方は、人々がコンピュータ又は他の電子装置を使用するときにそのコンピュータ又は他の電子装置からの恩恵をどの装置にも見出すことができない人々に有用である。人々の自然な行動では、明確なコマンドなしに必要に応じて実行されるアプリケーションを駆動する。
【0003】
ユビキタスコンピューティングプラットフォームを構築するための最初のタスクは、オブジェクト追跡及び認識を実行してユーザの活動状況を取得することである。例えば、ディジタルホーム環境では、活動状況は場所、動き、ジェスチャー、音声、又はユーザの顔の表現についての任意の情報であり得る。ユーザの活動状況についての検出及び分析を用いると、システムは、家庭用の装置で明白な操作をせずに、対応するアクションを取ることができる。
【0004】
簡単なアプリケーションシナリオを次のように説明することができる。1)例えば、TV(テレビジョン)セットはそのTVセットが置かれているリビングルームに出入りするユーザに関係なくオフ状態になっている。2)ユーザが例えば、コーチに座ったり、又はTVセットの前にじっと立っていることにより、テレビを視聴する意向を示すと、TVセットが(まばたくように)点滅する。3)ユーザが自分の手で数回、テレビに対して合図をするとテレビがオンになる。4)ユーザは、自分の手のジェスチャー又は音声コマンドを使用してテレビを操作し続けることができる。5)ユーザはリビングルームの外に移動すると、テレビ番組が一時停止され、そしてユーザが戻って来たときにテレビ番組が再開される。
【0005】
従来に、無線周波数識別(RFID)位置決定システムは、ユーザの位置を検出するために使用される。しかしながら、得られた電力の強さは、マルチパス屋内環境では常に安定していないので、位置検出を得ることは依然として困難である。加えて、追跡オブジェクトのためのビデオカメラは、当該技術分野において一般的である。オブジェクトの「現実世界」座標を含む位置、オブジェクトの「物理的」位置、オブジェクトの「3D」座標、動き、ジェスチャーなどのオブジェクトの画像情報は、1つ以上のカメラの視野内のオブジェクトの見かけから決定される。
【0006】
1つの簡単なハイブリッド位置検出及びオブジェクト認識方法は、次の通りである。各ホームユーザは、家庭内の受信機に無線信号を送信するアクティブRFIDタグを身に着けている。簡単なセットアップはテレビなどの制御されるべき電子装置の上に1つのRFID受信機の場所を見つけることである。タグはユーザの靴又は衣服に取り付け可能である。加えて、カメラ、ビデオトラッキング装置などの複数のビデオ装置がテレビの上又は部屋内の特定の場所に配置される。
【発明の概要】
【0007】
本発明は、オブジェクト追跡及び認識システムに関し、そのシステムはオブジェクト追跡及び認識システムの検出範囲内のオブジェクトの画像情報を取得するビデオ装置と、オブジェクトのRFタグの信号強度を検出するRFID装置とを備え、ビデオ装置は、検出信号強度が所定の信号強度閾値に到達すると、オブジェクトの信号強度を検出するために作動される。
【0008】
また、本発明は、オブジェクト追跡及び認識システムにおいて使用される方法に関し、その方法は、ビデオ装置によって、オブジェクト追跡及び認識システムの検出範囲内のオブジェクト画像情報を得るステップと、RFID装置によって、オブジェクトのRFタグの信号強度を検出するステップとを含み、所定の信号強度閾値に到達したときに検出された信号強度に基づいてオブジェクトの画像情報を得るためにビデオ装置を作動させる。
【図面の簡単な説明】
【0009】
本発明の例示的な実施形態は添付図面を参照しつつ説明される。
【
図1】
図1は、本発明の実施形態によるハイブリッドオブジェクト追跡及び認識システムを示している。
【
図2】
図2は、本発明の実施形態に係るRF信号強度分布を示す図である。
【
図3】
図3は、本発明の実施の形態に係る線形行列(リニアマトリックス)モデルを模式的に示す表である。
【
図4】
図4は、本発明の実施形態に係る線形行列モデルを用いる方法を示す図である。
【
図5】
図5は、本発明の実施形態に係るビデオ装置の検出範囲を示す図である。
【
図6】
図6は、本発明の実施形態に係るオブジェクト追跡及び認識のための方法を示すフロー図である。
【発明を実施するための形態】
【0010】
図1は、本発明の実施形態によるハイブリッドオブジェクト追跡及び認識システム100を示す。システム100はビデオ装置100を含み、ビデオ装置100は映像シーンに現れるオブジェクト又はユーザ画像情報を得る表示装置、TVなどの電子装置に配置された1つ以上のカメラであることができる。ビデオ装置110は画像情報発生器120と接続され、又はその画像情報発生器120を含み、画像情報発生器120は映像シーン内のオブジェクトの位置を表示装置の前面にある座標にマッピングするか、又は動き、ジェスチャー、音声又は表現などの画像情報を得る。座標は、緯度、経度、高度などの真の座標であっても良い。或いは、座標は特定のエリアに関連した、又はリファレンスの人工フィールドに関連したなどの座標であっても良い。座標は、オブジェクトが実際にシステム100の検出範囲に位置している場所を特定し、そのオブジェクトから表示装置までの距離を示すために使用される。通常、座標及び画像モデル150に基づいて座標及び他の画像情報を得ることができ、座標及び画像モデル150は、フロアプランモデル又は緯度及び経度線を有するグローバルモデル、及び画像データベースを含んでも良い。オブジェクトの座標又は他の画像情報を得るためにビデオ装置110及び画像情報発生器120を用いる技術は、当該技術分野の当業者に知られており、その詳細はここでは省略される。
【0011】
また、システム100はRFID装置130を含み、オブジェクト又はユーザに取り付けられたRFIDタグ(図示せず)の信号強度を検出してRFエネルギーを発するために、表示装置上に配置された1つ以上のRFID受信機を含む。RFID装置130は、座標及び画像モデル150に基づいてオブジェクトの位置を得て、ユーザから表示装置までの距離を検出するために座標発生器140に接続されるか、又は座標発生器140を含む。オブジェクトの座標及び距離を得るためにRFID装置130及び座標発生器140を用いる技術は、当該技術分野の当業者に知られており、その詳細はここでは省略される。
【0012】
ビデオ装置は、RFID装置よりもオブジェクトのより正確な画像情報を得ることができることが知られている。しかしながら、ユーザのプライバシ及びエネルギー消費量を考えると、必要な場合にのみ、特にビデオ装置として使用されるカメラが無線のものである場合にビデオ装置を作動させることが好ましい。よって、本発明の実施形態によれば、ビデオデ装置110及びRFID装置130を制御するために中央処理装置160が用いられ、それによりRF信号強度が所定の閾値よりも大きい場合にはオブジェクト又はユーザがTVなどの表示装置の近くに存在することを示し、ビデオ装置は電源オンとなり、一方、オブジェクト又はユーザがTVから離れている場合にはRF信号強度は低く、ビデオ装置の電源がオフとなる。
【0013】
所定の閾値は、オブジェクトが特定の場所に位置されたか又は表示装置から特定の距離(例えば、6メートルなど)を有しているときの信号の強さである。その閾値はそれが生成されるときの環境を表すことができる。環境が変化した場合に閾値が無効であっても良く、特定の場所又は距離の場合にはエラーになる。
【0014】
本発明の実施形態によれば、システム100の検出範囲内の2点を用いて閾値の信号強度を推定しかつ動的に更新するために、その2点間の信号強度の関係を記述するために関係モデルが構築される。
図2は本発明の実施形態に係るRF信号強度分布を示す図である。対応するRSS等高線が示されている。この図では、右側のバーは無線信号強度のRSS(dB)を表し、x軸及びy軸はオブジェクト認識システム100の検出範囲の座標を定義し、それはここではシステムで使用されるカメラに基づいている。カメラは、カメラセンサが正確な画像/ビデオを捕らえることができる角度である所定の視野(FoV)及び距離である観察深度(DoV)を有している。その図では、検出範囲を複数のグリッド(R1−R9及びDR1−DR3など)に分割することができ、DR1−DR3は閾値グリッドであり、その中において対応する信号強度は表示装置を電源オンする所定の閾値である。各グリッドの位置を中心点で表すことができ、それは、各グリッドの無線信号強度をその中心点での無線信号強度によって表すことができることを意味する。
【0015】
これらのグリッド(R1−R9及びDR1−DR3)のうちの2つのグリッド間の信号強度の関係を次の線形モデルによってモデル化することができることが知られている。
【0017】
ここで、r
iはi番目のグリッドでの受信信号強度サンプルを表し、r
jはj番目のグリッドでの受信信号強度サンプルを表し、
【0021】
は線形モデルの係数である。例えば、オフライントレーニングから収集されたi番目のグリッド及びj番目のグリッドで複数のサンプルによってこれらの係数を得ることができ、これらの係数を得るためにこれらのサンプルに最小平均二乗誤差(MMSE)を適用する。
【0022】
加えて、線形関係は安定または固定であることが知られている。すなわち、通常、環境の変化によってその関係に影響を与えることはできない。それ故、線形モデル行列(M*Nの要素からなると仮定する)は検出範囲内のMグリッド間の関係を記述するために用いられ、(i番目の行及びj番目の列の)要素はi番目グリッドとj番目グリッドとの間のRSS関係を表す係数
【0024】
である。そして、
図2の閾値範囲DR1、DR2、DR3内のRSS値のように、検出範囲内の信号強度を推定するために役立つオンラインフェーズ(段階)でこの線形モデル行列を用いることができる。加えて、本発明は、2つのグリッドから得られる線形モデルに限定されるものではなく、本発明の実施形態に係る2つ以上のグリッドの線形モデルを得ることは当該技術分野の当業者にとって明らかである。また、本発明は、線形モデル行列に限定されず、当該技術分野の当業者は、本発明の実施形態に対してグリッド間に他の安定した関係モデルを使用することができる。
【0025】
線形モデル行列の1つの例が
図3に示されている。その図では、2つのグリッド毎に要素が示されている。DR1とDR1、R7とR7などの、同一のグリッドに対する要素は本実施形態では使用されていないことに注意されるべきである。
【0026】
図4は、線形モデル行列を使用する方法を示す図である。本発明の実施形態によれば、線形モデル行列はDR1−DR3で所定の信号強度閾値を動的に更新するために使用される。例えば、t0で、線形モデル行列はオフライントレーニングによって得られる。オブジェクトがt1で検出範囲のグリッド(例えば、R7)において発生した場合には、オブジェクトに取り付けられたRFタグの信号強度が元の閾値よりも大きいのでカメラが作動される。この時、カメラとRF受信機の両方が有効になる。それにより表示装置からの距離及びオブジェクトが発生したグリッドはカメラによって得られ、また、取り付けられたタグの現在の信号強度も得られている。これらのサンプルデータによると、DR1などの閾値グリッドでの信号強度を線形モデル行列
【0028】
及び式(1)に基づいて求めることができる。この方法は、単一点推定と呼ばれている。同じ方法に基づいて、次にオブジェクトが検出エリアに移動するときに表示装置を電源オンするためにt1及びt2での推定閾値を更新することができる。
【0029】
加えて、線形モデル行列に基づいて多点推定法を用いることもできる。オンラインフェーズでカメラの画像解析によって捕らえられた複数の信号強度サンプルがあるときには、多点推定を使用することができる。それは、閾値が複数の点で複数のRSSサンプルによって推定されることを意味する。例えば、DR1に対応する閾値(r
i)が推定され、R4、R5、R7、R8での信号強度サンプルが画像解析によって捕らえられていると仮定されている。DR1に最も近い2つのグリッドである2つのグリッド(R7、R8)が推定のために選択される。そして、それぞれの線形モデルは、DR1の信号強度を推定するために独立して使用される。これらの2つの推定結果は1つの最大比率合成アルゴリズムによって合成される。その詳細は以下の通りである。
【0030】
2つの最も近いグリッド(R7、R8)を選択し、r
j,r
kはR7、R8各々の信号強度のサンプルを表す。より正確なグリッドを選択して推定値を得るために、各グリッドの信頼度r
jのC
1,i、r
kのC
2,iを次のように導くことができる。
【0031】
グリッドR7に隣接するグリッドR4(RIは、その信号強度である)を見つけて、式(1)を用いてr
lによってr
jを推定する。そして、式(2)によってR7の信頼度を得る。
【0033】
r
jは、R7で検出された信号強度であり、
【0035】
はr
l及び
図3の線形モデル行列を使用することによってR7で推定された信号強度である。式(2)から、C
l,iがより高くなるほどこのグリッドでのサンプルのより高い信頼度を表すことができることが分かる。
【0036】
次に、点R8に最も近いグリッドR5(r
mはその信号強度である)を見つけ出し、式(1)を用いてr
mによってr
kを推定する。そして、式(4)によってR8の信頼度を得る。
【0038】
次の式を用いてC
1,i及びC
2,iを正常化する。
【0040】
次の式を用いて最大比率合成(MRC)法で閾値r
iの推定を合成する。r
jを用いて閾値r
i(式でr
1,iと表された)を推定する。
【0042】
r
kを用いてr
i(式でr
2,iと表現された)を推定する。
【0044】
MRC法によってr
iの最終推定を得る。
【0046】
オブジェクトの状態情報を捕らえるために閾値グリッドにオブジェクトが移動しているときにカメラが電源オンできるように、閾値は得られたr
iを用いて更新される。
図5は、本発明の実施形態に係るビデオ装置の検出範囲を示す図である。
図5において、部屋内の壁(Wall)の輪郭(アウトライン)及び家具(Furniture)の分布が示されている。2つの境界線の間の検出範囲において、ユーザの特徴サイズ(例えば、顔の大きさなど)と、カメラとユーザとの間の距離との間の関係も示されている。例えば、大人の顔サイズ/子供の顔サイズに基づいたスナップショットシーケンス画像は、画像情報発生器120のメモリに用意され、それにより、新しいスナップショット画像のこれらのサンプルスナップショット画像との比較に基づいて表示装置からユーザまでの大まかな距離を定義することができる。実際には、ユーザ識別情報を含むRFIDタグは、比較を行うために使用される顔のタイプを選択するために役立つことができる。例えば、ユーザの顔の特徴をRFIDタグに保存することができる。同時に、顔がカメラ画像(左/右/中央)のどこにあるかの分析でユーザ方向情報を得ることができる。
【0047】
図6は、本発明の実施形態に係るオブジェクト認識のための方法を示すフロー図である。ステップ601では、オフライントレーニングが
図3に示された線形モデル行列と、閾値グリッドDR1−DR3での元の閾値信号強度を得るために実行される。次に、ステップ602では、オブジェクトが検出範囲内で生じたときに、カメラはそのオブジェクトの画像情報を得るために作動され、ステップ603では、オブジェクトが生じたグリッドが画像情報に応じてカメラによって判別される。この時点では、RF装置がステップ604においてオブジェクトに取り付けられたRFタグの信号強度を検出することが可能である。線形モデル行列によれば、ステップ605では閾値グリッドで現在の信号強度閾値を得て、ステップ606では元の閾値を更新することができる。
【0048】
上記したことは、単に本発明の実施形態を示し、当該技術分野の当業者は、明示的に本明細書に記載されないが、本発明の原理を具現化し、かつその精神及び範囲内にある多数の代替配置を工夫することができることが理解され得る。
(付記)
(付記1)
オブジェクト追跡及び認識システムであって、
前記オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報を取得するビデオ装置と、
前記オブジェクトのRFタグの信号強度を検出するRFID装置と、
を備え、
前記ビデオ装置は、当該検出信号強度が所定の信号強度閾値に到達すると、前記オブジェクトの画像情報を取得するために作動するように構成されている、前記オブジェクト追跡及び認識システム。
(付記2)
前記検出範囲内で信号強度の関係モデルを用いて前記所定の閾値を更新する中央処理装置を更に含む、付記1に記載のオブジェクト追跡及び認識システム。
(付記3)
前記関係モデルは、前記検出範囲内の領域間の信号強度の線形行列モデルである、付記1又は2に記載のオブジェクト追跡及び認識システム。
(付記4)
前記所定の閾値は、前記オブジェクトから前記RFID装置までの距離に対応する、付記1乃至3のいずれか1つに記載のオブジェクト追跡及び認識システム。
(付記5)
前記所定の閾値は、前記関係モデルに基づいて単一又は複数の点の推定法によって更新される、付記1乃至4のいずれか1つに記載のオブジェクト追跡及び認識システム。
(付記6)
座標モデル又は画像モデルを前記ビデオ装置及び前記RFID装置に提供する画像座標又は画像モデルを更に含む、付記1乃至5のいずれか1つに記載のオブジェクト追跡及び認識システム。
(付記7)
前記オブジェクト追跡及び認識システムは、前記ビデオ装置及び前記RFID装置によって画像情報が検出されると、電子装置の電源をオン/オフするように前記電子装置上に配置されるべく構成されている、付記1乃至6のいずれか1つに記載のオブジェクト追跡及び認識システム。
(付記8)
オブジェクト追跡及び認識システムにおいて使用される方法であって、
前記オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報をビデオ装置によって取得するステップと、
前記オブジェクトのRFタグの信号強度をRFID装置によって検出するステップと、含み、
当該検出信号強度が所定の信号強度閾値に到達すると、前記オブジェクトの画像情報を取得するために前記ビデオ装置を作動させる、前記方法。
(付記9)
前記方法は請求項2乃至7記載のオブジェクト追跡及び認識システムで使用される、方法。