特表 2023-516480 対象部位追跡方法、装置、電子機器及び読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-19

(54)【発明の名称】対象部位追跡方法、装置、電子機器及び読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230412BHJP

   G06T 7/00 20170101ALI20230412BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022554423

(86)(22)【出願日】2020-10-14

(85)【翻訳文提出日】2022-09-08

(86)【国際出願番号】 CN2020120965

(87)【国際公開番号】W WO2021227351

(87)【国際公開日】2021-11-18

(31)【優先権主張番号】202010415394.2

(32)【優先日】2020-05-15

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】ユー， ハイシャオ

(72)【発明者】

【氏名】フェン，ハオチェン

(72)【発明者】

【氏名】ワン， ケヤオ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA02

5L096FA09

5L096FA69

5L096GA30

5L096GA34

5L096GA51

5L096GA55

5L096HA02

5L096HA08

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

本開示の実施例は、対象部位追跡方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関し、人工知能の分野に関し、具体的にコンピュータビジョンに関する。当該方法は、ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するステップを含むことができる。当該方法は、前記対象部位が前記現在の検出領域内に位置する確率を決定するステップをさらに含む。また、当該方法は、前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するステップをさらに含むことができる。本開示の技術案は、追跡対象部位の位置情報を迅速で効率的かつ低コストで取得することにより、対象部位追跡の計算力及び時間的コストを低減させることができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するステップと、
前記対象部位が前記現在の検出領域内に位置する確率を決定するステップと、
前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するステップと、
を含む対象部位追跡方法。

【請求項2】

前記確率が前記予め設定された閾値より小さいことに応答し、前記後続フレームにおける前記対象部位を検出するステップと、
前記検出の結果に基づいて、前記後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するステップと、
を含む請求項１に記載の方法。

【請求項3】

前記後続フレームにおける前記対象部位を検出するステップが、
前記後続フレームを領域決定モデルに適用し、前記対象部位の後続の検出領域を決定するステップであって、前記領域決定モデルは参照フレーム及び予めラベル付けされた参照検出領域に基づいてトレーニングされるものであるステップを含む請求項２に記載の方法。

【請求項4】

前記確率を決定するステップが、
前記現在の検出領域を確率決定モデルに適用し、前記対象部位が前記現在の検出領域内に位置する確率を決定するステップであって、前記確率決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照確率に基づいてトレーニングされるものであるステップを含む請求項１に記載の方法。

【請求項5】

前記現在の検出領域を決定するステップが、
前記前の検出領域を位置予測モデルに適用し、前記現在の検出領域を決定するステップであって、前記位置予測モデルが、少なくとも、カルマンフィルタ、ウィーナーフィルタ及び強追尾フィルタのうちの１つであるステップを含む請求項１に記載の方法。

【請求項6】

前記対象部位が、前記オブジェクトの顔、目、指紋のうちの少なくとも１つである請求項１に記載の方法。

【請求項7】

前記現在の検出領域に基づいて前記対象部位のキーポイントを決定するステップを含む請求項１に記載の方法。

【請求項8】

前記キーポイントを決定するステップが、
前記現在の検出領域をキーポイント決定モデルに適用し、前記対象部位の前記キーポイントを決定するステップであって、前記キーポイント決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照キーポイントに基づいてトレーニングされるものであるステップを含む請求項１に記載の方法。

【請求項9】

ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するように構成される現在の検出領域決定モジュールと、
前記対象部位が前記現在の検出領域内に位置する確率を決定するように構成される確率決定モジュールと、
前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するように構成される後続の検出領域決定モジュールと、
を備える対象部位追跡装置。

【請求項10】

前記確率が前記予め設定された閾値より小さいことに応答し、前記後続フレームにおける前記対象部位を検出するように構成される対象部位検出モジュールと、
前記検出の結果に基づいて、前記後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するように構成される領域決定モジュールと、
を備える請求項９に記載の装置。

【請求項11】

前記対象部位検出モジュールが、
前記後続フレームを領域決定モデルに適用し、前記対象部位の後続の検出領域を決定するように構成される後続フレーム適用モジュールであって、前記領域決定モデルは参照フレーム及び予めラベル付けされた参照検出領域に基づいてトレーニングされるものである後続フレーム適用モジュールを備える請求項１０に記載の装置。

【請求項12】

前記確率決定モジュールが、
前記現在の検出領域を確率決定モデルに適用し、前記対象部位が前記現在の検出領域内に位置する確率を決定するように構成される現在の検出領域適用モジュールであって、前記確率決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照確率に基づいてトレーニングされるものである現在の検出領域適用モジュールを備える請求項９に記載の装置。

【請求項13】

前記現在の検出領域決定モジュールが、
前記前の検出領域を位置予測モデルに適用し、前記現在の検出領域を決定するように構成される前の検出領域適用モジュールであって、前記位置予測モデルが、少なくとも、カルマンフィルタ、ウィーナーフィルタ及び強追尾フィルタのうちの１つである前の検出領域適用モジュールを備える請求項９に記載の装置。

【請求項14】

前記対象部位が、前記オブジェクトの顔、目、指紋のうちの少なくとも１つである請求項９に記載の装置。

【請求項15】

前記現在の検出領域に基づいて前記対象部位のキーポイントを決定するように構成されるキーポイント決定モジュールを備える請求項９に記載の装置。

【請求項16】

前記キーポイント決定モジュールが、
前記現在の検出領域をキーポイント決定モデルに適用し、前記対象部位の前記キーポイントを決定するように構成される現在の検出領域適用モジュールであって、前記キーポイント決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照キーポイントに基づいてトレーニングされるものである現在の検出領域適用モジュールを備える請求項９に記載の装置。

【請求項17】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、
を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに請求項１から８のいずれか一項に記載の方法を実現させる電子機器。

【請求項18】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記プログラムがプロセッサによって実行される場合、請求項１から８のいずれか一項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。

【請求項19】

オブジェクトの対象部位に関連付けられたビデオを提供するように構成されるビデオ収集モジュールと、
該ビデオ収集モジュールに通信可能に接続されており、請求項１から８のいずれか一項に記載の方法を実現するように構成される計算モジュールと、
該計算モジュールの処理結果を提示するように構成される出力提示モジュールと、
を備える対象部位追跡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年０５月１５日に提出された中国特許出願第２０２０１０４１５３９４．２号の優先権権益を主張する。

【0002】

本開示の実施例は、主に人工知能の分野に関し、具体的にはコンピュータビジョンに関し、より具体的には、対象部位追跡方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

顔認証システムは、顔検出、顔追跡、顔位置合わせ、顔生体、顔認証などの技術によって顔の認識及び照合タスクを実現し、ビデオ監視、ビルの出入管理、顔ゲート、金融検査などの分野で広く応用されている。顔追跡技術とは、ビデオやフレームのシーケンスにおいて、あるオブジェクトの顔の運動の軌跡や大きさの変化を決定する技術である。当該技術は顔の位置座標を正確かつ迅速に取得する方法として、顔認証システムの重要な構成要素の一つである。従来の顔追跡技術では、現フレームの顔検出枠の座標しか取得できず、顔の追跡に成功した後、顔検出枠の座標を出力し、後続の顔位置合わせモデルに提供してキーポイントを決定することができる。顔が障害物に遮られたり、画像収集範囲を超えたりした場合、既存の顔追跡技術では、顔の追跡に失敗する問題があるか否かを正確に判断できず、顔認証機能が無効になる。

【発明の概要】

【0004】

本開示の例示的な実施例によれば、対象部位追跡方案が提供される。

【0005】

本開示の第１の態様において、対象部位追跡方法が提供される。当該方法は、ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するステップを含むことができる。当該方法は、前記対象部位が前記現在の検出領域内に位置する確率を決定するステップをさらに含む。また、当該方法は、前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するステップをさらに含むことができる。

【0006】

本開示の第２の態様によれば、対象部位追跡装置が提供され、前記対象部位追跡装置は、ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するように構成される現在の検出領域決定モジュールと、前記対象部位が前記現在の検出領域内に位置する確率を決定するように構成される確率決定モジュールと、前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するように構成される後続の検出領域決定モジュールと、を備える。

【0007】

本開示の第３の態様によれば、電子機器が提供され、前記電子機器は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するための記憶装置と、を備え、前記１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行される場合、１つ又は複数のプロセッサに本開示の第１の態様に記載の方法を実現させる。

【0008】

本開示の第４の態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体が提供され、当該プログラムがプロセッサによって実行される場合、本開示の第１の態様に記載の方法が実現される。

【0009】

本開示の第５の態様において、対象部位追跡システムが提供され、前記対象部位追跡システムは、オブジェクトの対象部位に関連付けられたビデオを提供するように構成されるビデオ収集モジュールと、ビデオ収集モジュールに通信可能に接続されており、本開示の第１の態様に記載の方法を実現するように構成される計算モジュールと、計算モジュールの処理結果を提示するように構成される出力提示モジュールと、を備える。

【0010】

なお、本部分に記載された内容は、本出願の実施例の肝心又は重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解されやすくなる。

【図面の簡単な説明】

【0011】

図面を組み合わせて以下の詳細な説明を参照して、本開示の各実施例の上記及び他の特徴、利点及び態様は、より明らかになる。図面において、同じ又は類似の図面符号は、同じ又は類似の要素を示す。

【図1】本開示の複数の実施例が実現され得る例示的な環境の概略図を示す。

【図2】本開示の複数の実施例が実現され得る詳しい例示的な環境の概略図を示す。

【図3】本開示の実施例に係る対象部位追跡の過程のフローチャートを示す。

【図4】本開示の実施例に係る対象部位追跡に関するシステムのブロック図を示す。

【図5】本開示の実施例に係る対象部位追跡の装置のブロック図を示す。

【図6】本開示の複数の実施例を実現することができる計算装置のブロック図を示す。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施例をより詳細に説明する。図面に本開示のいくつかの実施例が示されているが、本開示は様々な形態で実現することができ、本明細書に記載の実施例に限定されるものとして解釈されるべきではなく、むしろ、これらの実施例は本開示をより徹底的かつ完全に理解するために提供されることを理解すべきである。本開示の図面及び実施例は、例示的な作用のためにのみ使用されており、本開示の保護範囲を制限するために使用されるものではないことを理解すべきである。

【0013】

本開示の実施例の説明では、用語「含む」及びそれに類似する用語は、開放的な包含、すなわち「含むが、これに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に基づいて」と理解すべきである。用語「一実施例」又は「当該実施例」は、「少なくとも１つの実施例」と理解すべきである。用語「第１」、「第２」などは、異なる又は同じオブジェクトを指すことができる。以下に、他の明確的な定義と暗黙的な定義も含まれる場合がある。

【0014】

上述した干渉状況について、顔追跡技術では、一般的に次の３つの最適化案が存在する。

【0015】

（１）モデルに基づく顔追跡案。この方案は主に肌色モデル、テクスチャモデルなどに基づいて、顔の先験的知識を取得し、パラメータモデルを構築し、各フレームの画像に対するスライドウインドウを構築してモデルマッチングを行うことで、顔追跡を実現する。しかし、この方案は異なる寸法の顔及び顔が部分的に遮蔽される状況に対して追跡の精度が低く、しかも追跡中に追跡失敗したか否かを判断することができない。

【0016】

（２）運動情報に基づく顔追跡案。この方案はオプティカルフロー分析などの方法により顔の運動推定を行う。しかしながら、この方案は連続フレームにおける寸法が変わっている顔に対する追跡の精度が低く、しかも急速に運動する顔に対する追跡の効果が比較的に悪い。

【0017】

（３）ニューラルネットワークに基づく顔追跡案。この方案はニューラルネットワークを利用して顔の特徴を暗黙的に学習し、画像に対してスライディングウィンドウなどの方式により特徴のマッチングを行うことにより、顔の追跡を実現する。顔の特徴表現の点でこの方案は方式（１）より優れているが、計算量が膨大であり、組み込み側でリアルタイム性を確保することが困難である。

【0018】

上記のように、対象部位の位置情報を迅速で効率的かつ低コストで追跡し、対象部位追跡の計算力と時間的コストを削減するための対象部位追跡方法が急務となっている。

【0019】

本開示の実施例によれば、対象部位追跡案が提案される。当該方案において、対象部位の検出に加えて、対象部位に対する運動予測機能を追加することができる。前フレームに基づいて現フレームにおける対象部位が位置する検出領域を予測した後、当該検出領域に基づいて対象部位のキーポイントを決定するとともに、対象部位が当該検出領域内に位置するか否かを決定する。対象部位がまだ当該検出領域内に位置すると判断された場合、運動予測機能は正常であり、後続フレームにおける対象部位の検出領域を予測し続けることができるため、複雑で計算力に対する需要が大きい対象部位検出モデルを使用する必要がない。対象部位が当該検出領域内に位置しないと判断された場合、運動予測の結果が実際と一致しないことを示しており、この場合には対象部位検出モデルを直接呼び出して予測結果を補正することができる。これにより、監視対象の対象部位が遮蔽される場合や、監視対象が不規則な運動をする場合があっても、低コストかつ高精度に後続フレームの検出領域を決定することができる。

【0020】

以下、添付の図面を参照して、本開示の実施例を具体的に説明する。図１は、本開示の複数の実施例が実現され得る例示的な環境１００の概略図である。図１に示すように、例示的な環境１００には、監視ビデオ内のフレーム１１０、計算装置１２０、及び決定された検出領域１３０が含まれる。

【0021】

フレーム１１０は、計算装置１２０に接続された画像取得装置によって取得されたリアルタイム監視ビデオの１つ又は複数のフレームであってもよい。一例として、画像取得装置は、人通りの多い公共の場所（例えば、ビデオ監視、顔ゲート装置など）に設置して、当該場所を通過する人々の各々の画像情報を取得することができる。別の例として、画像取得装置は、人通りの少ないプライベートな場所（例えば、ビルの出入管理、金融検査など）に設置することができる。なお、画像情報を取得するオブジェクトは、ヒトに限定されず、一括して認識する必要がある動物（例えば、動物園や飼育施設内の動物）や静物（例えば、ベルトコンベア上の荷物）を含んでもよい。計算装置１２０は、フレーム１１０を受信して、監視対象の顔のような対象部位の検出領域１３０を決定することができる。

【0022】

なお、本明細書に記載された検出領域は、対象部位を検出するための領域であり、例えば、検出ボックス又は他の適切なツールによって画定されてもよいし、実際に画定されることなく、画像上の領域の一部を決定するだけであってもよい。一例として、検出領域は、複数の実施形態を有してもよく、例えば、ボックス、円形、楕円形、不規則な形状などの形状を有してもよく、実線、破線、一点鎖線などで描かれてもよい。

【0023】

フレーム１１０の検出領域１３０が決定された後、計算装置１２０は、実装された畳み込みニューラルネットワークＣＮＮなどの人工知能ネットワークを介して対象部位の検出領域１３０における複数のキーポイントを決定し、対象部位が検出領域１３０内にまだ存在するか否かを決定することができる。これにより、計算装置１２０の予測機能が正常であるか否かを監視する。また、対象部位が検出領域１３０内に位置しないと判定された場合、計算装置１２０は、実装された畳み込みニューラルネットワークＣＮＮなどの他の人工知能ネットワークを介して、後続フレームにおける対象部位の検出領域を決定する必要がある。

【0024】

計算装置１２０における人工知能ネットワークの構築及び使用について、図２を参照して、ＣＮＮを例として以下に説明する。

【0025】

図２は、本開示の複数の実施例が実現され得る詳しい例示的な環境２００の概略図である。図１と同様に、例示的な環境２００は、計算装置２２０、入力フレーム２１０及び出力結果２３０を含むことができる。例示的な環境２００は、全体として、モデルトレーニングシステム２６０及びモデルアプリケーションシステム２７０を含むことができることを相違とする。一例として、モデルトレーニングシステム２６０及び／又はモデルアプリケーションシステム２７０は、図１に示すような計算装置１２０又は図２に示すような計算装置２２０において実現することができる。なお、例示的な目的のためだけに例示的な環境２００の構造及び機能を記述することは、本願の主題の範囲を限定することを意図するものではない。本願の主題は、異なる構造及び／又は機能で実現することができる。

【0026】

前述したように、監視対象の顔などの対象部位のキーポイントと対象部位が検出領域内に位置するか否かを決定する過程と、対象部位の検出領域を決定する過程は、モデルトレーニング段階とモデル適用段階の２段階に分けることができる。一例として、対象部位のキーポイント及び対象部位が検出領域内に位置する確率を決定するプロセスについて、モデルトレーニング段階で、モデルトレーニングシステム２６０は、トレーニングデータセット２５０を利用してキーポイント及び確率を決定するＣＮＮ２４０をトレーニングすることができる。モデル適用段階では、モデル適用システム２７０は、トレーニングされたＣＮＮ２４０を受信して、入力フレーム２１０に基づいてＣＮＮ２４０によって出力結果２３０としてキーポイント及び確率を決定することができる。なお、トレーニングデータセット２５０は、大量のラベル付けされた参照フレームであってもよい。

【0027】

他の例として、モデルトレーニング段階において、対象部位の検出領域を決定するプロセスに対して、モデルトレーニングシステム２６０は、トレーニングデータセット２５０を利用して検出領域を決定するＣＮＮ２４０をトレーニングすることができる。モデル適用段階では、モデル適用システム２７０は、トレーニングされたＣＮＮ２４０を受信して、入力フレーム２１０に基づいてＣＮＮ２４０によって対象部位の検出領域を決定することができる。

【0028】

他の実施例では、ＣＮＮ２４０を学習ネットワークとして構築することができる。このような学習ネットワークを学習モデルと呼ぶこともできるし、単にネットワークやモデルと呼ぶこともできる。いくつかの実施例では、当該学習ネットワークは、例えば、監視対象の顔のような対象部位のキーポイントと、対象部位が検出領域内に位置するか否かの確率と、対象部位の検出領域を決定するための複数のネットワークを含むことができる。各ネットワークは、複数のニューロンから構成され得る多層ニューラルネットワークであってもよい。トレーニングプロセスによって、各ネットワーク内のニューロンの対応するパラメータを決定することができる。これらのネットワークにおけるニューロンのパラメータは、ＣＮＮ２４０のパラメータと総称される。

【0029】

ＣＮＮ２４０のトレーニングプロセスは、繰り返し実行することができる。具体的には、モデルトレーニングシステム２６０は、トレーニングデータセット２５０から参照画像を取得し、参照画像を利用してトレーニングプロセスの反復を行い、ＣＮＮ２４０の対応するパラメータを更新することができる。モデルトレーニングシステム２６０は、トレーニングデータセット２５０内の複数の参照画像に基づいて、ＣＮＮ２４０のパラメータのうちの少なくとも一部が収束するまで上記プロセスを繰り返し実行して、これにより最終的なモデルパラメータを得ることができる。

【0030】

上記の技術案は、本発明を限定するものではなく、例示として使用される。なお、個々のネットワークは、他の方法及び接続関係に従って配置されてもよい。上記の態様の原理をより明確に説明するために、以下に図３を参照して、対象部位追跡プロセスをより詳細に説明する。

【0031】

図３は、本開示の実施例に係る対象部位追跡のプロセス３００のフローチャートを示す。いくつかの実施例では、方法３００は、図１の計算装置１２０、図２の計算装置２２０、及び図６に示される機器において実現されてもよい。ここで、図１を参照して、本開示の実施例に係る対象部位を追跡するためのプロセス３００について説明する。理解を容易にするために、以下の説明において言及される具体的な実施例は、いずれも例示的なものであり、本開示の保護範囲を限定するものではない。

【0032】

３０２において、計算装置１２０は、ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、ビデオの現フレームにおける対象部位を検出するための現在の検出領域を決定することができる。いくつかの実施例では、計算装置１２０は、現在の検出領域を決定するために、前の検出領域を位置予測モデルに適用することができる。位置予測モデルは、一例として、カルマンフィルタ、ウィーナーフィルタ、強追尾フィルタ、一次移動平均予測モデル、二次移動平均予測モデル、単一指数平滑化モデル、二重指数平滑化モデル、ホルト指数平滑化モデルなどのうちの少なくとも１つであってもよい。

【0033】

カルマンフィルタを例にすると、監視ビデオ内のフレーム１１０の１つ前のフレームが受信された後、計算装置１２０内又は計算装置に接続されたカルマンフィルタは、当該フレーム及びカルマンフィルタ内の先験的情報に基づいて、次のフレームの検出領域を予測することができる。カルマンフィルタのアルゴリズムの計算式は以下の通りである。
状態方程式：Ｘ_ｋ＝Ａ_{ｋ，ｋ－１}・Ｘ_ｋ－１＋Ｖ_ｋ－１
観測方程式：Ｙ_ｋ＝Ｈ・Ｘ_ｋ＋Ｗ_ｋ

【0034】

上式におけるＸ_ｋ及びＸ_ｋ－１はそれぞれ第ｋフレーム及び第ｋ－１フレームの状態ベクトルであり、Ｙ_ｋは第ｋフレームの観測ベクトルであり、Ａ_{ｋ，ｋ－１}は状態遷移行列であり、Ｈは観測行列であり、Ｖ_ｋ－１とＷ_ｋは第ｋ－１フレームと第ｋフレームのシステム状態雑音と観測雑音であり、ＱとＲはそれぞれ対応する分散行列である。

【0035】

状態ベクトルをＸ_ｋ＝［Ｓ_ｘｋ，Ｓ_ｙｋ，Ｖ_ｘｋ，Ｖ_ｙｋ］とする。ここで、Ｓ_ｘｋ，Ｓ_ｙｋ，Ｖ_ｘｋ，Ｖ_ｙｋはそれぞれ現フレームの顔検出枠の中心点のｘ軸座標、ｙ軸座標、ｘ軸方向の速度、ｙ軸方向の速度であり、観測ベクトルはＹ_ｋ＝［Ｏ_ｘｋ，Ｏ_ｙｋ］であり、ここで、Ｏ_ｘｋ，Ｏ_ｙｋはそれぞれ現フレームの観測顔検出枠の中心点のｘ軸座標、ｙ軸座標であり、状態更新式は次の通りである。

【数1】

【0036】

式中、Ｘ_{ｋ，ｋ－１}は一次状態推定値、Ｘ_ｋは先験的推定Ｘ_{ｋ，ｋ－１}の補正値、Ｘ_ｋはカルマンフィルタゲイン行列、Ｐ_{ｋ，ｋ－１}はＸ_{ｋ，ｋ－１}の共分散行列、Ｐ_ｋはＸ_ｋの共分散行列、Ｉは単位行列である。

【0037】

これにより、計算装置１２０は、フレーム１１０を受信すると、予測された検出領域を用いて、フレーム１１０内の対象部位の複数のキーポイント情報、例えば各キーポイントの座標を決定することができる。なお、カルマンフィルタに基づく運動予測は、柔軟に実現され得る。例えば、次のフレームの検出領域は、前フレームにおける対象部位のキーポイント情報とカルマンフィルタにおける先験的情報とに基づいて予測されてもよい。

【0038】

いくつかの実施例では、対象部位は、オブジェクトの顔、目又は指紋などである。またオブジェクトはヒトに限らない。なお、本明細書に記載されるオブジェクトは、ヒトであってもよいし、動物又は運動状態にある物体（例えば、ベルトコンベア上の荷物）であってもよい。本開示の態様は、マルチオブジェクトシーンの認識に適用することができる。具体的には、本開示は、動物園又は牧場の動物が通過する区域で各動物又は各種の動物を認識することができ、ショッピングモール又は工場の貨物の搬送路で各商品又は各種の商品又は工業製品を認識することもできることにより、自動化された物流情報管理を可能にする。

【0039】

３０４において、計算装置１２０は、対象部位が現在の検出領域内に位置する確率を決定することができる。一例として、計算装置１２０は、現在の検出領域を確率決定モデル（例えば、上述したＣＮＮ２４０に含まれる１つのモデル）に適用して、対象部位が現在の検出領域内に位置する確率を決定することができる。当該確率決定モデルは、参照フレーム内の参照検出領域と、予めラベル付けされた参照確率とに基づいてトレーニングされ得る。いくつかの実施例では、当該確率決定モデルは、現在の検出領域内に特定の対象部位（例えば、顔）が存在する確率を決定することにより、より簡単に、対象部位が現在の検出領域内に位置する確率を迅速に決定する。当該確率は、スコアの形式で出力されてもよく、スコアの範囲が０～１である。スコアが高いほど、顔検出枠内に顔が存在する可能性が高いことを示している。好ましくは、顔が存在するか否かを判断する予め設定された閾値は、０.５又は他の数値であってもよい。

【0040】

いくつかの実施例では、計算装置１２０内の人工知能ネットワークは、対象部位が現在の検出領域内に位置する確率を決定すると同時に、現在の検出領域に基づいて対象部位の複数のキーポイントを決定することもできる。一例として、計算装置１２０は、現在の検出領域をキーポイント決定モデル（例えば、上述したＣＮＮ２４０に含まれる１つのモデル）に適用して、対象部位のキーポイントを決定することができる。当該キーポイント決定モデルは、参照フレーム内の参照検出領域と、予めラベル付けされた参照キーポイントとに基づいてトレーニングされるものである。代替的あるいは追加的に、キーポイント決定モデル及び上記の確率決定モデルは、現在の検出領域に基づいて、対象部位の複数のキーポイント及び対象部位が現在の検出領域内に位置する確率を同時に決定するために、１つのモデルに統合されてもよい。これにより、計算力を著しく増加させることなく、予測された検出領域が正しいか否かを知ることができる。

【0041】

その後、計算装置１２０は、当該確率が予め設定された閾値以上であるか否かを判定することができる。３０６において、当該確率が予め設定された閾値以上である場合、計算装置１２０は、少なくとも現在の検出領域及び前の検出領域に基づいて、ビデオの後続フレームにおける対象部位を検出するための後続の検出領域を決定することができる。一例として、計算装置１２０内の位置予測モデルは、現在の検出領域及び先験的情報に基づいて、後続の検出領域を決定することができる。当該位置予測モデルは、上述したように、カルマンフィルタ、ウィーナーフィルタ、強追尾フィルタ、一次移動平均予測モデル、二次移動平均予測モデル、単一指数平滑化モデル、二重指数平滑化モデル、ホルト指数平滑化モデルなどのうちの少なくとも１つであってもよい。このようにして、監視対象に異常な運動や遮蔽がない場合、計算装置１２０は、計算力の必要が少ない位置予測モデルを利用して、対象部位の検出領域を決定することにより、計算資源を大幅に節約することができる。

【0042】

また、計算装置１２０は、当該確率が予め設定された閾値よりも小さい場合に、後続フレームにおける対象部位を検出し、検出結果に基づいて後続フレームにおける対象部位を検出するための後続の検出領域を決定することができる。一例として、計算装置１２０は、後続フレームを領域決定モデル（例えば、上述したＣＮＮ２４０に含まれる１つのモデル）に適用して、対象部位の後続の検出領域を決定することができる。当該領域決定モデルは、参照フレーム及び予めラベル付けされた参照検出領域に基づいてトレーニングされるものである。このようにして、運動予測で発生した誤りを適時に発見し、より正確な領域決定モデルを使用して誤りを訂正し、領域追跡の精度を保証することができる。

【0043】

いくつかの実施例では、領域決定モデルは、フレーム１１０の顔領域を検出することができる。例えば、６層の畳み込みネットワークを介してフレーム１１０に対して顔基礎特徴抽出を行うことができ、各層の畳み込みネットワークごとに１回の画像ダウンサンプリングを実現し、最後の３層の畳み込みニューラルネットワークに基づいて、それぞれ固定数の異なるサイズの顔アンカー領域を予め設定して顔検出領域の回帰を行い、最終的に顔の検出領域を決定する。なお、上記の例は例示的なものにすぎず、他の層数の畳み込みネットワークを使用することもでき、また、顔の検出領域の決定にも限定されない。このようにして、領域決定モデルに基づいて、フレーム１１０内の対象部位の検出領域を迅速に認識することができる。

【0044】

このように、従来のシステムに運動予測モデルを追加することにより、本開示は、対象部位の検出領域を決定する作業の大部分を、計算力の必要性が少ない運動予測モデルに移行することができ、計算力資源を節約することができる。さらに、本開示は、キーポイント決定モデルに加えて上記の確率決定モデルを統合することにより、運動予測の結果をフレームごとに検査し、予測エラーが発生する可能性がある場合には、領域決定モデルを利用して正しい検出領域を取得することができる。これにより、本開示は、計算力を節約するとともに、検出領域予測の精度を向上させる。また、キーポイント決定モデルと確率決定モデルとが１つのモデルに統合されている場合、入力フレーム１１０に対する計算装置１２０の処理時間は増加しない。したがって、本開示は、計算装置１２０の検出領域を決定する性能をほぼ欠陥なく向上させ、ユーザ体験を最適化する。

【0045】

さらに、本開示は、対象部位追跡のためのシステム４００をさらに提供する。図４に示すように、当該システムは、画像収集モジュール４１０を備え、当該画像収集モジュールは、ＲＧＢカメラのような画像感知機器であってもよい。当該システム４００は、画像取得モジュール４１０と通信可能に接続された計算モジュール４２０をさらに備えることができ、当該計算モジュール４２０は、上述した様々な方法及び処理、例えば、プロセス３００のために使用される。さらに、当該システム４００は、ユーザに計算モジュール４２０の処理結果を提示するための出力提示モジュール４３０を備えることができる。例えば、出力提示モジュール４３０は、ユーザに監視対象の顔追跡結果を提示することができる。

【0046】

この方式により、システムレベルの顔追跡を実現でき、かつ顔追跡と認識の精度が変わらないという前提の下で計算力の需要を著しく低減できる。

【0047】

いくつかの実施例では、システム４００は、歩行者が多い顔追跡シーンに適用されてもよい。一例として、システム４００は、ビルの出入管理シーン又は金融検査シーンに適用することができる。監視対象の顔が監視視野に入ると、システム４００は、当該オブジェクトの顔を含む最初のフレームの監視対象及び先験的情報に基づいて次のフレームの監視画像における当該オブジェクトの顔の位置を予測し、キーポイントを決定するとともに当該位置に当該オブジェクトの顔がまだ含まれているか否かを決定することができる。このようにして、顔の位置を予測することにより、顔検出を繰り返す計算力を節約することができるとともに、その後の顔再検査により予測の精度を決定することもできる。予測が不正確であることが判明した場合、顔検出を再開し、顔追跡結果がいつでも利用可能であることを保証することができる。

【0048】

他の例として、システム４００は、ビデオ監視の分野、特に地下鉄又は会場の入口において複数の監視対象の体温を監視する場合にも適用することができる。例えば、複数の監視対象の顔が監視視野に入った場合、システム４００は、これらのオブジェクトの顔を含むそれぞれの第１のフレーム監視画像及び先験的情報に基づいて、それぞれの次のフレーム監視画像におけるこれらのオブジェクトの顔の位置を予測し、キーポイントを決定すると同時に、当該位置に対応するオブジェクトの顔がまだ含まれているか否かを決定することができる。複数の顔を同時に追跡する必要がある場合があるので、本開示のシステム４００は、顔追跡結果が正確であり、いつでも利用可能であることを保証しつつ、顔検出を繰り返す計算力を大幅に節約することができる。

【0049】

図５は、本開示の実施例に係る対象部位を追跡するための装置５００のブロック図を示す。図５に示すように、装置５００は、ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、ビデオの現フレームにおける対象部位を検出するための現在の検出領域を決定するように構成される現在の検出領域決定モジュール５０２、対象部位が現在の検出領域内に位置する確率を決定するように構成される確率決定モジュール、及び、確率が予め設定された閾値以上であることに応答し、少なくとも現在の検出領域及び前の検出領域に基づいて、ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するように構成される後続の検出領域決定モジュールを備える。

【0050】

いくつかの実施例では、装置５００は、確率が予め設定された閾値より小さいことに応答し、後続フレームにおける対象部位を検出するように構成される対象部位検出モジュール、及び、検出の結果に基づいて、後続フレームにおける対象部位を検出するための後続の検出領域を決定するように構成される領域決定モジュールをさらに備える。

【0051】

いくつかの実施例では、対象部位検出モジュールは、後続フレームを領域決定モデルに適用し、対象部位の後続の検出領域を決定するように構成される後続フレーム適用モジュールであって、領域決定モデルは参照フレーム及び予めラベル付けされた参照検出領域に基づいてトレーニングされるものである後続フレーム適用モジュールを備える。

【0052】

いくつかの実施例では、確率決定モジュール５０４は、現在の検出領域を確率決定モデルに適用し、対象部位が現在の検出領域内に位置する確率を決定するように構成される現在の検出領域適用モジュールであって、確率決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照確率に基づいてトレーニングされるものである現在の検出領域適用モジュールを備える。

【0053】

いくつかの実施例では、現在の検出領域決定モジュール５０２は、前の検出領域を位置予測モデルに適用し、現在の検出領域を決定するように構成される前の検出領域適用モジュールであって、位置予測モデルは、少なくともカルマンフィルタ、ウィーナーフィルタ、及び、強追尾フィルタのうちの１つである前の検出領域適用モジュールを備えることができる。

【0054】

いくつかの実施例では、対象部位は、オブジェクトの顔、目、指紋のうちの少なくとも１つであってもよい。

【0055】

いくつかの実施例では、装置５００は、現在の検出領域に基づいて対象部位のキーポイントを決定するように構成されるキーポイント決定モジュールをさらに備えることができる。

【0056】

いくつかの実施例では、キーポイント決定モジュールは、現在の検出領域をキーポイント決定モデルに適用し、対象部位の前記キーポイントを決定するように構成される現在の検出領域適用モジュールであって、キーポイント決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照キーポイントに基づいてトレーニングされるものである現在の検出領域適用モジュールを備えることができる。

【0057】

図６は、本開示の複数の実施例を実施することができる計算装置６００のブロック図を示す。装置６００は、図１の計算装置１２０又は図２の計算装置２２０を実現するために使用することができる。図示するように、装置６００は、リードオンリーメモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラム、又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロッドされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができるセントラルプロセッシングユニット（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、装置６００の動作に必要な様々なプログラム及びデータが記憶されていてもよい。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース６０５もバス６０４に接続されている。

【0058】

装置６００における、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット６０９と、を備える複数のコンポーネントは、入出力（Ｉ／Ｏ）インタフェース６０５に接続されている。通信ユニット６０９は、装置６００がインタネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

【0059】

処理ユニット６０１は、上述したそれぞれの方法及び処理、例えば、プロセス３００を実行する。例えば、いくつかの実施例で、プロセス３００は、記憶ユニット６０８のような機械読み取り可能な媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施例で、コンピュータの一部又は全部は、ＲＯＭ６０２及び／又は通信ユニット６０９を介して装置６００にロッド及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ６０３にロッドされてＣＰＵ６０１によって実行された場合、上述したプロセス３００の１つ又は複数のステップを実行することができる。あるいは、他の実施例で、ＣＰＵ６０１は、他の任意の適切な形態で（例えば、ファーとウェアにより）プロセス３００を実行するように構成されてもよい。

【0060】

本明細書で上述した機能は、少なくとも部分的に１つ又は複数のハードウェア論理コンポーネントによって実行することができる。例えば、使用できる例示的なハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・機器（ＣＰＬＤ）などを含むが、これらに限定されない。

【0061】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

【0062】

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又は機器によって使用されるために、又は命令実行システム、装置、又は機器と組み合わせて使用するためのプログラムを含むか、又は格納することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又は機器、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）又はフラッシュメモリ、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

【0063】

なお、特定の順序で各動作を示したが、これは、そのような動作が示されている特定の順序又は順序で実行されることを要求するか、又は示されているすべての動作が所望の結果を得るために実行されることを要求すると理解すべきである。ある環境では、マルチタスクや並列処理が有利になる場合がある。同様に、いくつかの具体的なインプリメンテーショの詳細が上記の論述に含まれているが、これらは本開示の範囲を制限するものとして解釈されるべきではない。個別の実施例の文脈で説明されたいくつかの特徴は、単一のインプリメンテーショで組み合わせてインプリメンテーショすることもできる。対照的に、単一のインプリメンテーションの文脈で説明された様々な特徴は、複数のインプリメンテーションにおいて個別に、又は任意の適切なサブ組み合わせでインプリメンテーションされてもよい。

【0064】

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語を用いて説明されているが、添付の特許請求の範囲において限定されるテーマは、上述した特定の特徴又は動作に必ずしも限定されないことを理解すべきである。対照的に、上述した特定の特徴及び動作は、特許請求の範囲を実装する例示的な形態にすぎない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2022-09-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するステップと、
前記対象部位が前記現在の検出領域内に位置する確率を決定するステップと、
前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するステップと、
を含む対象部位追跡方法。

【請求項2】

前記確率が前記予め設定された閾値より小さいことに応答し、前記後続フレームにおける前記対象部位を検出するステップと、
前記検出の結果に基づいて、前記後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するステップと、
を含む請求項１に記載の方法。

【請求項3】

前記後続フレームにおける前記対象部位を検出するステップが、
前記後続フレームを領域決定モデルに適用し、前記対象部位の後続の検出領域を決定するステップであって、前記領域決定モデルは参照フレーム及び予めラベル付けされた参照検出領域に基づいてトレーニングされるものであるステップを含む請求項２に記載の方法。

【請求項4】

前記確率を決定するステップが、
前記現在の検出領域を確率決定モデルに適用し、前記対象部位が前記現在の検出領域内に位置する確率を決定するステップであって、前記確率決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照確率に基づいてトレーニングされるものであるステップを含む請求項１に記載の方法。

【請求項5】

前記現在の検出領域を決定するステップが、
前記前の検出領域を位置予測モデルに適用し、前記現在の検出領域を決定するステップであって、前記位置予測モデルが、少なくとも、カルマンフィルタ、ウィーナーフィルタ及び強追尾フィルタのうちの１つであるステップを含む請求項１に記載の方法。

【請求項6】

前記対象部位が、前記オブジェクトの顔、目、指紋のうちの少なくとも１つである請求項１に記載の方法。

【請求項7】

前記現在の検出領域に基づいて前記対象部位のキーポイントを決定するステップを含む請求項１に記載の方法。

【請求項8】

前記キーポイントを決定するステップが、
前記現在の検出領域をキーポイント決定モデルに適用し、前記対象部位の前記キーポイントを決定するステップであって、前記キーポイント決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照キーポイントに基づいてトレーニングされるものであるステップを含む請求項７に記載の方法。

【請求項9】

ビデオの前フレームにおけるオブジェクトの対象部位の前の検出領域に基づいて、前記ビデオの現フレームにおける前記対象部位を検出するための現在の検出領域を決定するように構成される現在の検出領域決定モジュールと、
前記対象部位が前記現在の検出領域内に位置する確率を決定するように構成される確率決定モジュールと、
前記確率が予め設定された閾値以上であることに応答し、少なくとも前記現在の検出領域及び前記前の検出領域に基づいて、前記ビデオの後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するように構成される後続の検出領域決定モジュールと、
を備える対象部位追跡装置。

【請求項10】

前記確率が前記予め設定された閾値より小さいことに応答し、前記後続フレームにおける前記対象部位を検出するように構成される対象部位検出モジュールと、
前記検出の結果に基づいて、前記後続フレームにおける前記対象部位を検出するための後続の検出領域を決定するように構成される領域決定モジュールと、
を備える請求項９に記載の装置。

【請求項11】

前記対象部位検出モジュールが、
前記後続フレームを領域決定モデルに適用し、前記対象部位の後続の検出領域を決定するように構成される後続フレーム適用モジュールであって、前記領域決定モデルは参照フレーム及び予めラベル付けされた参照検出領域に基づいてトレーニングされるものである後続フレーム適用モジュールを備える請求項１０に記載の装置。

【請求項12】

前記確率決定モジュールが、
前記現在の検出領域を確率決定モデルに適用し、前記対象部位が前記現在の検出領域内に位置する確率を決定するように構成される現在の検出領域適用モジュールであって、前記確率決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照確率に基づいてトレーニングされるものである現在の検出領域適用モジュールを備える請求項９に記載の装置。

【請求項13】

前記現在の検出領域決定モジュールが、
前記前の検出領域を位置予測モデルに適用し、前記現在の検出領域を決定するように構成される前の検出領域適用モジュールであって、前記位置予測モデルが、少なくとも、カルマンフィルタ、ウィーナーフィルタ及び強追尾フィルタのうちの１つである前の検出領域適用モジュールを備える請求項９に記載の装置。

【請求項14】

前記対象部位が、前記オブジェクトの顔、目、指紋のうちの少なくとも１つである請求項９に記載の装置。

【請求項15】

前記現在の検出領域に基づいて前記対象部位のキーポイントを決定するように構成されるキーポイント決定モジュールを備える請求項９に記載の装置。

【請求項16】

前記キーポイント決定モジュールが、
前記現在の検出領域をキーポイント決定モデルに適用し、前記対象部位の前記キーポイントを決定するように構成される現在の検出領域適用モジュールであって、前記キーポイント決定モデルは参照フレームにおける参照検出領域及び予めラベル付けされた参照キーポイントに基づいてトレーニングされるものである現在の検出領域適用モジュールを備える請求項１５に記載の装置。

【請求項17】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、
を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに請求項１から８のいずれか一項に記載の方法を実現させる電子機器。

【請求項18】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項１から８のいずれか一項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。

【請求項19】

オブジェクトの対象部位に関連付けられたビデオを提供するように構成されるビデオ収集モジュールと、
該ビデオ収集モジュールに通信可能に接続されており、請求項１から８のいずれか一項に記載の方法を実現するように構成される計算モジュールと、
該計算モジュールの処理結果を提示するように構成される出力提示モジュールと、
を備える対象部位追跡システム。

【請求項20】

コンピュータによって実行される場合、請求項１から８のいずれか一項に記載の方法が実現されるコンピュータプログラム。

【国際調査報告】