特許 7416260 コンテキスト閾値を決定する方法、装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】コンテキスト閾値を決定する方法、装置及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240110BHJP

   G06V 20/52 20220101ALI20240110BHJP

【ＦＩ】

G06T7/00 660Z

G06V20/52

【請求項の数】 7

(21)【出願番号】P 2022541941

(86)(22)【出願日】2021-03-22

(65)【公表番号】

(43)【公表日】2023-03-17

(86)【国際出願番号】 JP2021011694

(87)【国際公開番号】W WO2021193526

(87)【国際公開日】2021-09-30

【審査請求日】2022-07-07

(31)【優先権主張番号】10202002676S

(32)【優先日】2020-03-23

(33)【優先権主張国・地域又は機関】SG

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】オング フイ ラム

(72)【発明者】

【氏名】ペー ウェイ ジアン

(72)【発明者】

【氏名】フォアン チンイー

(72)【発明者】

【氏名】山崎 智史

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１９－０２１０１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５０－２０／５２

(57)【特許請求の範囲】

【請求項1】

第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定する方法であって、
前記第１の被写体および前記第２の被写体が現れるフレーム内の、前記第１の被写体および前記第２の被写体の画像を識別することと、
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別することと、
前記第１の被写体および前記第２の被写体に関する、前記識別された多次元情報に基づいて、前記コンテキスト閾値を決定することと、
前記第１の被写体および前記第２の被写体のそれぞれの注意方向が互いに向かい合うかどうかを判定することと、
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向が互いに向かい合っていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を２本の腕の長さに設定することとを含み、
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別することは、
前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさ、目の位置、および腕の長さのうちの少なくとも１つを取得することと、
前記取得された前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさおよび目の位置のうちの少なくとも一方に基づいて、前記第１の被写体および前記第２の被写体のそれぞれの注意方向を決定することとを含む、
方法。

【請求項2】

前記第１の被写体および前記第２の被写体が現れる前記フレーム内の前記第１の被写体および前記第２の被写体の前記画像を識別することは、
前記フレーム内の複数の被写体に対して顔検出を行うことと、
前記顔検出の結果に基づいて、前記複数の被写体のそれぞれについて、対応する特徴を抽出することと、
前記コンテキスト閾値を決定するのに適した前記第１の被写体および前記第２の被写体を識別することと
を含む、請求項１に記載の方法。

【請求項3】

前記第１の被写体および前記第２の被写体の注意方向が互いに向き合っていないと判定された場合に、前記第１の被写体および前記第２の被写体の少なくとも一方の注意方向が前記第１の被写体および前記第２の被写体の他方に向いているかを判定することと、
前記第１の被写体および第２の被写体の少なくとも一方の注意方向が、前記第１の被写体および前記第２の被写体の他方に向いていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を１本の腕の長さに設定することと
をさらに備える請求項１に記載の方法。

【請求項4】

前記第１の被写体および前記第２の被写体の少なくとも一方の注意方向が、前記第１の被写体および前記第２の被写体の他方に向いていないと判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を腕の長さ０本分に設定することをさらに備える、請求項３に記載の方法。

【請求項5】

前記コンテキスト閾値は、前記閾値に基づいて決定される、請求項１～４のいずれか一項に記載の方法。

【請求項6】

第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定するための装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと
を備え、
前記少なくとも１つのメモリと、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体が現れるフレーム内で、前記第１の被写体および前記第２の被写体の画像を識別することと、
前記識別された画像に基づいて前記第１の被写体および前記第２の被写体に関する多次元情報を識別することと、
前記第１の被写体および前記第２の被写体に関する、前記識別された多次元情報に基づいて、前記コンテキスト閾値を決定することと、
前記第１の被写体および前記第２の被写体のそれぞれの注意方向が互いに向かい合うかどうかを判定することと、
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向が互いに向かい合っていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を２本の腕の長さに設定することとを行わせるように構成され、
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別することは、
前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさ、目の位置、および腕の長さのうちの少なくとも１つを取得することと、
前記取得された前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさおよび目の位置のうちの少なくとも一方に基づいて、前記第１の被写体および前記第２の被写体のそれぞれの注意方向を決定することとを含む、
装置。

【請求項7】

第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定するためのプログラムであって、コンピュータに対し、
前記第１の被写体および前記第２の被写体が現れるフレーム内の、前記第１の被写体および前記第２の被写体の画像を識別するステップと、
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別するステップと、
前記第１の被写体および前記第２の被写体に関する、前記識別された多次元情報に基づいて、前記コンテキスト閾値を決定するステップと、
前記第１の被写体および前記第２の被写体のそれぞれの注意方向が互いに向かい合うかどうかを判定するステップと、
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向が互いに向かい合っていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を２本の腕の長さに設定するステップとを実行させ、
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別ステップことは、
前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさ、目の位置、および腕の長さのうちの少なくとも１つを取得するステップと、
前記取得された前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさおよび目の位置のうちの少なくとも一方に基づいて、前記第１の被写体および前記第２の被写体のそれぞれの注意方向を決定するステップとを含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定するための方法に関するが、これに限定されるものではない。

【背景技術】

【0002】

オープンソースのアルゴリズムと手頃な価格のハードウェアが利用できるようになるにつれて、顔認識システムはますます一般的になってきている。顔認識技術は、リアルタイムセキュリティ監視および事故後調査のためのビデオ監視システムにしばしば使用される。

【0003】

共起検出を用いた関連発見は、調査の新しい方向に導くかもしれない関心のある人の接続の発見に役立つため、事後調査の重要な特徴の１つである。これは、１つのフレーム内に複数の被写体が存在する場合に特に顕著である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従って、上記の問題の１つ以上に対処するコンテキスト閾値を決定するための方法を提供する必要がある。コンテキスト閾値は、第１の被写体と第２の被写体との間の接続の尤度を示す。

【0005】

さらに、他の望ましい特徴および特徴は、添付図面および本開示の背景と関連して、後続の詳細な説明および添付の特許請求の範囲から明らかになるであろう。

【課題を解決するための手段】

【0006】

第１の態様によれば、第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定するための方法を提供する。上記方法は、第１の被写体と第２の被写体とが現れるフレーム内の第１の被写体および第２の被写体の画像を識別することと、識別された画像に基づいて第１の被写体および第２の被写体に関する多次元情報を識別することと、第１の被写体および第２の被写体に関する識別された多次元情報に基づいてコンテキスト閾値を決定することとを備える。

【図面の簡単な説明】

【0007】

本発明の実施形態は、例示のみを目的とし、かつ図面に関連して、以下の書面による説明から、当業者によりよく理解され、容易に理解されるであろう。

【0008】

【図1】コンテキスト閾値を決定することができるシステムのブロック図である。

【0009】

【図2】本発明の実施形態によるコンテキスト閾値を決定する方法を示すフローチャートである。

【0010】

【図3A】本発明の実施形態による第１の被写体および第２の被写体の画像を識別する方法に関する一例を示す図である。

【図3B】本発明の実施形態による第１の被写体および第２の被写体の画像を識別する方法に関する一例を示す図である。

【0011】

【図4A】本発明の実施形態による、異なる閾値パラメータに基づいてコンテキスト閾値を決定する方法に関する一例を示す図である。

【図4B】本発明の実施形態による、異なる閾値パラメータに基づいてコンテキスト閾値を決定する方法に関する一例を示す図である。

【図4C】本発明の実施形態による、異なる閾値パラメータに基づいてコンテキスト閾値を決定する方法に関する一例を示す図である。

【図4D】本発明の実施形態による、異なる閾値パラメータに基づいてコンテキスト閾値を決定する方法に関する一例を示す図である。

【図4E】本発明の実施形態による異なる閾値パラメータに基づいてコンテキスト閾値を決定する方法に関する一例を示す図である。

【0012】

【図5】本発明の実施形態によるコンテキスト閾値を決定する方法を示すフローチャートである。

【0013】

【図6】図２および図５の方法を実行するために使用され得る例示的なコンピュータデバイスを示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施形態を例示的に説明する。図面中の同様の参照番号および文字は、同様の要素または等価物を指す。

【0015】

以下の説明のいくつかの部分は、コンピュータメモリ内のデータに対する演算のアルゴリズムおよび機能的または記号的表現に関して、明示的または暗黙的に提示される。これらのアルゴリズムによる記述および機能的または記号的表現は、データ処理技術の当業者が、その仕事の内容を当業者に最も効果的に伝えるために用いる手段である。ここでは、アルゴリズムは、所望の結果を導く自己矛盾のない一連のステップを指すと考えられている。ステップは、記憶、転送、結合、比較、またはその他の方法で操作することができる電気信号、磁気信号または光信号などの物理量の物理的操作を必要とするステップである。

【0016】

特に明記されない限り、そして以下から明らかなように、本明細書を通して、「受信する」、「計算する」、「決定する」、「更新する」、「生成する」、「初期化する」、「出力する」、「受信する」、「取得する」、「識別する」、「分散する」、「認証する」などの用語を使用する議論は、コンピュータシステム内の物理量として表されるデータを操作して、コンピュータシステムや他の情報ストレージ、送信、またはディスプレイデバイス内の物理量として同様に表される他のデータに変換するコンピュータシステムまたは同様の電子デバイスの動作およびプロセスを指すことが理解されよう。

【0017】

本明細書はまた、方法の動作を実行するための装置を開示する。このような装置は、必要な目的のために特別に構成されていてもよいし、コンピュータまたはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される他の装置を含んでいてもよい。本明細書に提示されるアルゴリズムおよびディスプレイは、いかなる特定のコンピュータまたは他の装置にも本質的に関連していない。本明細書の記載に従って、様々な機械をプログラムと共に使用することができる。あるいは、必要な方法ステップを実施するために、より専門的な装置を構築することが適切である場合がある。コンピュータの構造については、以下の説明を参照されたい。

【0018】

さらに、本明細書はまた、本明細書に記載された方法の個々のステップがコンピュータコードによって実施され得ることが当業者に明らかであろうという点で、コンピュータプログラムを暗黙的に開示している。コンピュータプログラムは、特定のプログラミング言語およびその実装に限定されるものではない。種々のプログラミング言語およびそのコーディングが、本明細書に含まれる開示の教示を実施するために使用され得ることが理解されるであろう。さらに、コンピュータプログラムは、特定の制御フローに限定されることを意図していない。コンピュータプログラムには種々の変形例があり、本発明の意図または範囲から逸脱することなく種々の制御フローを使用し得る。

【0019】

さらに、コンピュータプログラムの１つ以上のステップは、順次ではなく並列に実行されてもよい。このようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納することができる。コンピュータ可読媒体は、磁気ディスクまたは光ディスクのような記憶装置、メモリチップ、またはコンピュータと接続するのに適した他の記憶装置を含むことができる。また、コンピュータ可読媒体は、インターネットシステムに代表されるようなハードディスク媒体、またはＧＳＭ携帯電話システムに代表されるような無線媒体を含んでもよい。コンピュータプログラムは、このようなコンピュータにロードされて実行されることにより、好ましい方法のステップを実施する装置を効果的にもたらす。

【0020】

本発明の様々な実施形態は、コンテキスト閾値を決定するための方法および装置に関する。コンテキスト閾値は、第１の被写体と第２の被写体との間の接続の尤度を示す。

【0021】

図１は、コンテキスト閾値を決定することができるシステムのブロック図を示す。図１を参照すると、このプロセスは、少なくとも１つの撮像デバイス１１０に動作可能に結合された装置１０２を必要とする。各撮像デバイス１１０は、ある位置にある被写体（例えば、第１の被写体および第２の被写体）の少なくとも１つの画像を撮影し、送信するように構成されている。画像内には、第１の被写体と第２の被写体とを含む複数の被写体が存在してもよい。撮像デバイス１１０は、とりわけ、顔検出システム、ビデオ撮像デバイス、カメラおよびモーションセンサを含むことができる。装置１０２は、被写体の画像を受信するように構成される。

【0022】

撮像デバイス１１０は、適切なプロトコルを用いて装置１０２と無線通信することができる。例えば、実施形態は、ＷｉＦｉ／Ｂｌｕｅｔｏｏｔｈに対応した装置１０２と通信できる撮像デバイス１１０を使用して実施することができる。使用される無線通信プロトコルに応じて、撮像デバイス１１０と装置１０２との間の通信を確立するために、適切なハンドシェーク手順を実行する必要があることが当業者には理解されよう。例えば、Ｂｌｕｅｔｏｏｔｈ通信の場合、撮像デバイス１１０と装置１０２とのディスカバリーおよびペアリングを行って通信を確立するようにしてもよい。

【0023】

一例では、被写体の画像は、撮像デバイス１１０において所定のフレーム／秒（またはｆｐｓ）で撮影（または検出）される。被写体が領域内を移動するにつれて被写体の画像を撮影し、複数の画像を撮影して、撮像デバイス１１０のｆｐｓを決定する。撮像デバイス１１０が５ｆｐｓの場合、対象被写体の５フレームが１秒以内に撮像され、装置１０２に送信される。種々の理由により、撮影された画像は、ある期間中に撮影された連続した画像が連続して送信される時系列的な方法で、装置１０２に送信されないことがある。

【0024】

装置１０２は、プロセッサ１０４およびメモリ１０６を含むことができる。本開示の実施形態では、メモリ１０６およびコンピュータプログラムコードは、プロセッサ１０４とともに、第１の被写体および第２の被写体が現れるフレーム内の第１の被写体および第２の被写体の画像を装置１０２に識別させ、識別された画像に基づいて第１の被写体および第２の被写体に関する多次元情報を識別させ、第１の被写体および第２の被写体に関する識別された多次元情報に基づいてコンテキスト閾値を決定させるように構成される。複数の被写体の画像を撮影できるフレームでは、より正確なビデオ監視を確立する目的で、２つの被写体のうちどちらがより密接に関連しているかを判断することは困難な場合がある。

【0025】

装置１０２は、サーバであってもよい。本発明の実施形態において、用語「サーバ」の使用は、単一のコンピュータデバイス、または少なくとも特定の機能を実行するために一緒に動作するコンピュータデバイスが相互接続されたコンピュータネットワークを意味してもよい。換言すれば、サーバは、単一のハードウェアユニット内に含まれていてもよいし、複数または多数の異なるハードウェアユニット間に分散されていてもよい。

【0026】

そのようなサーバは、図２および図５に示される方法２００を実施するために使用され得る。図２は、本発明の実施形態に従ってコンテキスト閾値を決定するための方法２００を示すフローチャートを示す。

【0027】

方法２００は、大まかに以下を含む。

【0028】

ステップ２０２：プロセッサにより、第１の被写体および第２の被写体が現れるフレーム内の第１の被写体および第２の被写体の画像を識別する。

【0029】

ステップ２０４：プロセッサにより、識別された画像に基づいて、第１の被写体および第２の被写体に関する多次元情報を識別する。

【0030】

ステップ２０６：プロセッサにより、第１の被写体と第２の被写体とに関する識別された多次元情報に基づいて、第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定する。

【0031】

図３Ａ～３Ｂは、本発明の実施形態による第１の被写体および第２の被写体の画像を識別する方法に関する一例を示す。これは、図２に示される方法２００のステップ２０２に類似するか、またはその一部であり得る。

【0032】

図３Ａには、被写体（または第１の対象）と共に他の被写体が現れ得るフレーム３０２が示されている。どの被写体が第１の被写体に接続しやすいかを判定するために、各被写体の頭部方向を判断してもよい。例えば、現フレームでは、第１の被写体の頭部方向は左方向であり、他の被写体の頭部方向は右方向である。３１０では、接触閾値が０に設定されているシナリオは除外されている。

【0033】

図３Ａに示されるように、フレーム３０４に示される被写体を処理し、コンテキスト閾値を決定する。次いでフレーム３０６に示されるように、どの被写体が接続しているかを決定するためにコンテキスト閾値を使用する。

【0034】

図３Ｂは、一実施形態による、第１の被写体および第２の被写体の画像を識別する方法に関する一例を示す。

【0035】

３２０に示すように、被写体の検出座標を入力として処理してもよい。例えば、３２０に示すように、座標は被写体の頭部および目に関連してもよい。
ＨＸ１、ＨＹ１：頭部左上
ＨＸ２、ＨＹ２：頭部右下
ＥＸ１，ＥＹ１：左眼点
ＥＸ２、ＥＹ２：右眼点

【0036】

これらの座標に基づいて、被写体の頭部の中心幅を以下の式から計算できる。
ＨＣＸ＝ＨＸ１＋（ＨＸ２－ＨＸ１）／２

【0037】

３２２は、被写体の方向を決定し得る方法を示す。
被写体の方向は、関数ｆ（ｖ１，ｖ２）＝（ｖ１－ｖ２）ｍｏｄ２に基づいて決定されてよい。

【0038】

左眼点と右眼点の両方が頭部の中央幅の左側にあると判定された場合、以下の関数を実行してよい。
ｆ（ＥＸ１，ＨＣＸ）＋ｆ（ＥＸ２，ＨＣＸ）
＝ｆ（１８，２５）＋ｆ（２３，２５）
＝－１＋０＝－１

【0039】

左眼点と右眼点の両方がそれぞれ頭部の中央幅の左側および右側にあると判定された場合、以下の関数を実行してよい。
ｆ（ＥＸ１，ＨＣＸ）＋ｆ（ＥＸ２，ＨＣＸ）
＝ｆ（２０，２５）＋ｆ（３０，２５）
＝－１＋１＝０

【0040】

左眼点と右眼点の両方が頭部の中央幅の右側にあると判定された場合、以下の関数を実行してよい。
ｆ（ＥＸ１，ＨＣＸ）＋ｆ（ＥＸ２，ＨＣＸ）
＝ｆ（２７，２５）＋ｆ（３２，２５）
＝１＋１＝２

【0041】

３２４は、被写体の頭部方向を用いて、２つの被写体が接続しているかどうかを判定し得る方法を示す。以下の開示では、被写体の頭部方向を、頭部高さおよび接触閾値などの他の情報とともにどのように示すかについて、より多くの情報を提供する。

【0042】

第１の被写体Ｐ１および第２の被写体Ｐ２の選択された接触閾値を“ＤＲ”とする。
ＤＲ＝（Ｐ２の腕の長さ）＝（Ｐ２の頭部の高さ×３）

【0043】

Ｐ１とＰ２との間の距離をＤとし、第１の被写体の立ち位置Ｇ１と第２の被写体の立ち位置Ｇ２とに基づいて導出する。両方の接地点（Ｇ１およびＧ２）は、身長が１７０ｃｍであると仮定して、各人の目の中心点から導出される。

【0044】

図４Ａ～４Ｅは、本発明の実施形態による、異なる閾値パラメータに基づいてコンテキスト閾値を決定する方法に関する一例を示す。

【0045】

４０２は、２つの被写体が出現するフレームのカメラ視野を示す。図４Ａに示された４０２を基準として、いずれの被写体も頭部の方向は右向きである。４０４は、両被写体が現れるフレームのトポロジー視野を示す。１人の被写体が同じ方向にａ_ＬおよびＰ_Ｌ→Ｒを有してもよく、この場合、これらのパラメータのドット積のステップ関数は１になる。他の被写体は、ａＬとＰ_Ｒ→Ｌを逆方向に有していてもよく、この場合、これらのパラメータのステップ関数は０になる。ここで、ａ_Ｌは左側の人の注意方向であり、ａ_Ｒは右側の人の注意方向であり、Ｐ_Ｒ→Ｌは右側の人から左側の人へ向かう方向であり、Ｐ_Ｌ→Ｒは左側の人から右側の人へ向かう方向である。

【0046】

図４Ｂは、本発明の実施形態に従って、以下に示す関数に基づいて図４Ａにおいて決定されたパラメータに基づく距離閾値を決定する方法に関する一例を示す。

【数1】

【0047】

４２２に示すように、第１の被写体と第２の被写体とが互いを見ていない場合は、上記の関数は０になる。

【0048】

４２４に示すように、左側の被写体が右側の被写体を見ていて、その逆はない場合、上記の関数はＤＬになる。

【0049】

４２６に示すように、右側の被写体が左側の被写体を見ていて、その逆はない場合、上記の関数はＤＲになる。

【0050】

４２８に示すように、右側の被写体が左側の被写体を見ていて、その逆もある（例えば、左側の被写体が右側の被写体を見ている）場合、上記の関数はＤＬ＋ＤＲとなる。

【0051】

図４Ｃは、カメラパラメータと被写体の身長の仮定に基づいて２つの被写体間の距離を計算する方法の一例を示す。２つの被写体を示す画像を４４２に示す。焦点距離３５ｍｍ、センサ３５ｍｍ、被写体高さ１７０ｃｍを前提として、撮像デバイスで撮影されてよい。４５０に示されるように、平面内のピクセル数および被写体の身長は、ｃｍ／ピクセルのパラメータを計算するために用いられてよい。

【0052】

４５２に示すように、被写体Ｂの距離は、以下のように計算することができる。
被写体Ｂの距離＝１７０ｃｍ＊３５ｍｍ／（（８０ｐ／７２０ｐ）＊３５ｍｍ）＝５９５０／３．８８８８＝１，５３０．０３５０ｃｍ

【0053】

４５２に示すように、被写体Ａの距離は、以下のように計算することができる。
被写体Ａの距離＝（１７０ｃｍ＊３５ｍｍ／（（１００ｐ／７２０ｐ）＊３５ｍｍ）＝５９５０／４．８６１１＝１，２２４．００２８ｃｍ

【0054】

被写体Ａと被写体Ｂの距離の計算結果に基づいて、被写体Ａと被写体Ｂの間の距離は、以下のように決定できる。
被写体Ａと被写体Ｂの間の距離
＝ａｂｓ（（カメラからの距離Ａ）－（カメラからの距離Ｂ））
＝ａｂｓ（１，２２４．００２８－１，５３０．０３５０）
＝３０６．０３２２ｃｍ＝～３０６ｃｍ

【0055】

４５４に示すように、カメラパラメータに基づいて、被写体ＡとＢとの間の距離は以下のように決定できる。
被写体ＡとＢとの間の距離
＝√（２０４＊２０４＋３０６＊３０６）
＝√（１３５２５２）
＝約３６８ｃｍ
＝～３．６８メートル

【0056】

図４Ｄは、本発明の実施形態による、フレーム内の被写体がどのように接続されるかを決定する方法に関する一例を示す。

【0057】

ステップ４６２において、フレーム内の複数の被写体を示す画像を受信してよい。複数の被写体は、１の被写体を含む。ステップ４６４において、多次元情報を用いて、各被写体について注意を決定してよい。ステップ４６６において、注意に基づいて接触閾値を分類してよい。ステップ４６８において、各被写体ペアに対する動的な “接触”閾値のセット（すなわち、閾値Ａ、閾値Ｂ、閾値Ｃ、閾値Ｄ）を決定する。ステップ４７０において、動的“接触”閾値のセットが“接触閾値”内にあるかどうかを判定する。ステップ４７２において、ステップ４７０で行われた判定に基づいて、今度は被写体が接続されているかどうかを判定する。

【0058】

図４Ｅは、接触内および非接触距離の一例を示す。４８２では、２つの被写体の一方がもう一方の被写体と向き合っていて、その逆はない。この場合、閾値は、１本の腕の長さ（例えば、被写体Ａに注意を向ける被写体Ｂの腕の長さ）であってよい。Ａ１では、被写体Ａの距離は被写体Ｂの腕の長さの範囲内であるので、Ａ１は接触距離内の例である。Ａ２では、被写体Ａの距離が被写体Ｂの腕の長さの範囲内にないので、Ａ２は接触距離外の例である。４８４では、両方の被写体が互いに注意を向けているダブルクロスアテンションが存在する。この場合、閾値は２本の腕の長さ（例えば、被写体Ａに注意を向ける被写体Ｂの腕の長さ、被写体Ｂに注意を向ける被写体Ａの腕の長さ）になります。Ｂ１では、被写体Ａの距離が被写体Ａと被写体Ｂの腕の長さの組み合わせの範囲内であるため、Ｂ１は接触距離内の例である。Ｂ２では、被写体Ａの距離が被写体Ａと被写体Ｂの腕の長さの組み合わせの範囲内にないため、Ｂ２は接触距離外の例である。

【0059】

図５は、本発明の実施形態によるコンテキスト閾値を決定する方法を示すフローチャートである。

【0060】

ステップ５０２において本方法は開始し、ステップ５０４に進み、ビデオフレームから被写体の画像を抽出する。これは、図１に記載された装置１０２を用いて行うことができる。

【0061】

ステップ５０６において、ある被写体（または第１の被写体）および他の被写体を含む個々の被写体を識別するために、顔照合技術を実行してよい。同一人物であるか、または同一人物と関係する尤度が高いと推定された個人は、ともにグループ化される。

【0062】

ステップ５０８において、ステップ５０６の出力をデータベースに格納する。データベースは、図１に記載された装置と一体であってもよいし、装置とは別個であってもよい。各サブジェクトを識別する対応する識別子は、各出力とともに格納される。

【0063】

ステップ５１０において、ある期間内の２つの被写体に関する画像を取得してよい。これは、第１の被写体（または対象被写体）および第２の被写体の画像が識別される図２のステップ２０２に関連してもよい。なお、画像は第１の被写体および第２の被写体が現れるフレームから識別される。

【0064】

ステップ５１２において、選択された被写体の画像を含むすべてのフレームを、ステップ５１０に従って処理する。このステップは、フレーム内に対象被写体（または第１の対象）以外の複数の他の被写体が存在する場合に実行される。

【0065】

ステップ５１４では、２つの被写体に関する属性情報を取得する。属性情報はメタ情報とも呼ばれる。属性情報は、第１の被写体および第２の被写体の各々の頭部の大きさ、目の位置および腕の長さを含む。このステップは、識別された画像に基づいて第１の被写体および第２の被写体に関する多次元情報を識別するステップ２０４と同様のステップであってよい。

【0066】

ステップ５１６において、第１の被写体および第２の被写体に関する多次元情報を取得してよい。このステップは、第１の被写体および第２の被写体の各々の注意方向（例えば、左、右、または中央）を推定することを含む。このステップは、識別された画像に基づいて第１の被写体および第２の被写体に関する多次元情報が識別されるステップ２０４に類似しているか、またはその一部のステップであってよい。

【0067】

ステップ５１８において、第１の被写体と第２の被写体の注意が互いを向いているか否かを判定する。このステップは、ステップ５１６に応答して、第１の被写体および第２の被写体の注意方向が決定された後に実行される。

【0068】

第１の被写体と第２の被写体の注意が互いに向いていると判定した場合、ステップ５２４を実行して、接触閾値パラメータをＢに設定する。接触閾値パラメータは、第１の被写体と第２の被写体との間の距離を示すパラメータであるコンテキスト閾値を決定するために用いられてよい。
一実施形態では、Ｂは２本の腕の長さであってもよい。

【0069】

第１の被写体と第２の被写体の注意が互いに向いていないと判定した場合、ステップ５２０を実行して、第１の被写体と第２の被写体の少なくとも一方が第１の被写体と第２の被写体の他方に向いているか否かを判定する。第１の被写体および第２の被写体の少なくとも一方が第１の被写体および第２の被写体の他方に向かっていると判定した場合、ステップ５２２を実行して、接触閾値パラメータをＡに設定する。接触閾値パラメータは、第１の被写体と第２の被写体との間の距離を示すパラメータであるコンテキスト閾値を決定するために用いられてよい。一実施形態では、Ａは１本の腕の長さであってもよい。

【0070】

ステップ５２６において、ステップ５２２および５２４で計算された接触閾値パラメータに基づいてコンテキスト閾値を決定する。コンテキスト閾値は、第１の被写体と第２の被写体との間の接続の尤度を示す。このステップは、第１の被写体および第２の被写体に関する識別された多次元情報に基づいてコンテキスト閾値を決定するステップ２０６に類似しているか、またはその一部のステップであってよい。

【0071】

ステップ５２８において、すべてのフレームデータを処理したか否かを判定する。全てのフレームデータが処理されたと判定した場合、方法はステップ５３０に進み、終了する。全てのフレームデータが処理されていないと判定した場合、方法はステップ５１２に進む。

【0072】

図６は、以下互換的にコンピュータシステム６００と呼ばれる例示的なコンピュータデバイス６００を示している。このようなコンピュータデバイス６００は、図５の方法を実行するために使用することができる。例示的なコンピュータデバイス６００を使用して、図２および図５に示すシステム２００，５００を実装できる。コンピュータデバイス６００の以下の説明は、単なる例として提供され、限定することを意図していない。

【0073】

図６に示すように、例示的なコンピュータデバイス６００は、ソフトウェアルーチンを実行するためのプロセッサ６０７を含む。明確にするために単一のプロセッサが示されているが、コンピュータデバイス６００はマルチプロセッサシステムを含んでもよい。プロセッサ６０７は、コンピュータデバイス６００の他の構成要素と通信するための通信インフラ６０６に接続される。
通信インフラ６０６は、例えば、通信バス、クロスバー、またはネットワークを含むことができる。

【0074】

コンピュータデバイス６００はさらに、ランダムアクセスメモリ（ＲＡＭ）などのメインメモリ６０８と、二次メモリ６２０とを含む。二次メモリ６２０は、例えば、ハードディスクドライブ、ソリッドステートドライブまたはハイブリッドドライブとすることができる記憶ドライブ６１７、および／または、磁気テープドライブ、光ディスクドライブ、ソリッドステート記憶ドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）などを含むことができるリムーバブル記憶ドライブ６１７を含むことができる。リムーバブル記憶ドライブ６１７は、リムーバブル記憶媒体６１４に対して周知の方法で読み出しおよび／または書き込みを行う。リムーバブル記憶媒体６１４は、リムーバブル記憶ドライブ６１７によって読み書きされる磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含むことができる。当業者には理解されるように、リムーバブル記憶媒体６１４は、コンピュータ実行可能プログラムコード命令および／またはデータを記憶したコンピュータ可読記憶媒体を含む。

【0075】

別の実施形態では、二次メモリ６２０は、コンピュータプログラムまたは他の命令をコンピュータデバイス６００にロードできるようにするための他の同様の手段を追加的または代替的に含むことができる。そのような手段は、例えば、リムーバブル記憶ユニット６１２およびインタフェース６１６を含むことができる。リムーバブル記憶ユニット６１２およびインタフェース６１６の例は、プログラムカートリッジおよびカートリッジインタフェース（例えば、ビデオゲームのコンソールデバイスに見られるもの）、リムーバブルメモリチップ（例えば、ＥＰＲＯＭまたはＰＲＯＭ）および関連するソケット、リムーバブルソリッドステート記憶ドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）、および他のリムーバブル記憶ユニット６１２およびインタフェース６１６を含み、ソフトウェアおよびデータをリムーバブル記憶ユニット６１２からコンピュータシステム６００に転送することを可能にする。

【0076】

コンピュータデバイス６００はまた、少なくとも１つの通信インタフェース６０９を含む。通信インタフェース６０９は、通信パス６１０を介してコンピュータデバイス６００と外部デバイスとの間でソフトウェアおよびデータを転送することを可能にする。本発明の種々の実施形態では、通信インタフェース６０９は、コンピュータデバイス６００と、公衆データまたはプライベートデータ通信ネットワークのようなデータ通信ネットワークとの間でデータを転送することを可能にする。通信インタフェース６０９は、このようなコンピュータデバイス６００が相互接続されたコンピュータネットワークを構成する異なるコンピュータデバイス６００間でデータを交換するために用いられてよい。通信インタフェース６０９の例は、モデム、ネットワークインタフェース（イーサネットカードなど）、通信ポート（シリアル、パラレル、プリンタ、ＧＰＩＢ、ＩＥＥＥ１３９４、ＲＪ４５、ＵＳＢなど）、関連回路を備えたアンテナなどを含むことができる。
通信インタフェース６０９は、有線であっても無線であってもよい。通信インタフェース６０９を介して転送されるソフトウェアおよびデータは、電子、電磁、光の信号または通信インタフェース６０９によって受信可能な他の信号の形態をとる。これらの信号は、通信パス６１０を介して通信インタフェースに供給される。

【0077】

図６に示すように、コンピュータデバイス６００は、さらに、関連するディスプレイ６２４に画像をレンダリングするための操作を実行するディスプレイインタフェース６２２と、関連するスピーカ６２８を介してオーディオコンテンツを再生するための操作を実行するオーディオインタフェース６２６とを含む。

【0078】

本明細書で使用される「コンピュータプログラム製品」という用語は、部分的に、リムーバブル記憶媒体６１４、リムーバブル記憶ユニット６１２、記憶ドライブ６１８にインストールされたハードディスク、または通信パス６１０（無線リンクまたはケーブル）を介して通信インタフェース６０９にソフトウェアを搬送する搬送波を指すことができる。コンピュータ可読記憶媒体とは、記録された命令および／またはデータを実行および／または処理するためにコンピュータデバイス６００に提供する、任意の非一時的な不揮発性の有形記憶媒体を指す。このような記憶媒体の例としては、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ハードディスクドライブ、ＲＯＭまたは集積回路、ソリッドステート記憶ドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）、ハイブリッドドライブ、光磁気ディスク、またはＰＣＭＣＩＡカードなどのコンピュータ可読カードが挙げられ、これらのデバイスがコンピュータデバイス６００の内部であるか外部であるかは問わない。コンピュータデバイス６００へのソフトウェア、アプリケーションプログラム、命令および／またはデータの提供にも関与し得る、非一時的なコンピュータ可読伝送媒体または有形でないコンピュータ可読伝送媒体の例は、無線または赤外線伝送チャネル、ならびに別のコンピュータまたはネットワーク化されたデバイスへのネットワーク接続、および電子メール送信およびウェブサイトなどに記録された情報を含むインターネットまたはイントラネットを含む。

【0079】

コンピュータプログラム（コンピュータプログラムコードとも呼ばれる）は、メインメモリ６０８および／または二次メモリ６２０に格納される。コンピュータプログラムは、通信インタフェース６０９を介して受信することもできる。このようなコンピュータプログラムを実行すると、コンピュータデバイス６００は、本明細書で説明する実施形態の１つ以上の特徴を実行することができる。様々な実施形態において、コンピュータプログラムは、実行されると、プロセッサ６０７が上述の実施形態の特徴を実行することを可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステム６００の制御装置を表す。

【0080】

ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブル記憶ドライブ６１７、リムーバブル記憶ユニット６１２、またはインタフェース６１６を使用してコンピュータデバイス６００にロードされ得る。コンピュータプログラム製品は、一時的でないコンピュータ可読媒体であってもよい。あるいは、コンピュータプログラム製品は、通信パス６１０を介してコンピュータシステム６００にダウンロードすることができる。ソフトウェアは、プロセッサ６０７によって実行されると、図５に示す方法５００を実行するために必要な動作をコンピュータデバイス６００に実行させる。

【0081】

図６の実施形態は、システム１００の動作および構造を説明するための単なる例として提示されることが理解されるべきである。したがって、いくつかの実施形態では、コンピュータデバイス６００の１つ以上の特徴を省略することができる。また、いくつかの実施形態では、コンピュータデバイス６００の１つ以上の特徴を一緒に組み合わせることができる。さらに、いくつかの実施形態では、コンピュータデバイス６００の１つ以上の特徴を１つ以上の構成要素に分割することができる。

【0082】

図６に示される要素は、上述の実施形態で説明したように、サーバの様々な機能および動作を実行するための手段を提供するように機能することが理解されるであろう。

【0083】

コンピュータデバイス６００がコンテキスト閾値を決定するように構成されている場合、コンピュータシステム６００は、実行されると、コンピュータシステム６００に、第１の被写体および第２の被写体が現れるフレーム内の第１の被写体および第２の被写体の画像を識別することと、識別された画像に基づいて第１の被写体および第２の被写体に関する多次元情報を識別することと、そして、第１の被写体および第２の被写体に関する識別された多次元情報に基づいてコンテキスト閾値を決定することとを含むステップを実行させるアプリケーションを格納した、非一時的なコンピュータ可読媒体を有する。

【0084】

おおまかに説明された本発明の意図または範囲から逸脱することなく、特定の実施形態に示されるように、多数の変形および／または修正が本発明に対してなされ得ることは、当業者によって理解されるであろう。したがって本実施形態は、あらゆる点で例示的であり、限定的ではないと考えられる。
なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定する方法であって、
前記第１の被写体および前記第２の被写体が現れるフレーム内の、前記第１の被写体および前記第２の被写体の画像を識別することと、
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別することと、
前記第１の被写体および前記第２の被写体に関する、前記識別された多次元情報に基づいて、前記コンテキスト閾値を決定することと
を備える方法。
（付記２）
前記第１の被写体および前記第２の被写体が現れる前記フレーム内の前記第１の被写体および前記第２の被写体の前記画像を識別する前記ステップは、
前記フレーム内の複数の被写体に対して顔検出を行うことと、
前記顔検出の結果に基づいて、前記複数の被写体のそれぞれについて、対応する特徴を抽出することと、
前記コンテキスト閾値を決定するのに適した前記第１の被写体および前記第２の被写体を識別することと
を備える付記１に記載の方法。
（付記３）
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別する前記ステップは、前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさ、目の位置、および腕の長さのうちの少なくとも１つを取得することを備える、付記１に記載の方法。
（付記４）
前記識別された画像に基づいて、前記第１の被写体および前記第２の被写体に関する多次元情報を識別する前記ステップは、前記第１の被写体および前記第２の被写体のそれぞれの注意方向を決定することを備える、付記３に記載の方法。
（付記５）
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向は、前記取得された前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさおよび目の位置のうちの少なくとも一方に基づいて決定される、付記４に記載の方法。
（付記６）
前記第１の被写体および前記第２の被写体のそれぞれの注意方向が互いに向かい合うかどうかを判定することと、
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向が互いに向かい合っていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を２本の腕の長さに設定することと
をさらに備える、付記５に記載の方法。
（付記７）
前記第１の被写体および前記第２の被写体の注意方向が互いに向き合っていないと判定された場合に、前記第１の被写体および前記第２の被写体の少なくとも一方の注意方向が前記第１の被写体および前記第２の被写体の他方に向いているかを判定することと、
前記第１の被写体および第２の被写体の少なくとも一方の注意方向が、前記第１の被写体および前記第２の被写体の他方に向いていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を１本の腕の長さに設定することと
をさらに備える付記６に記載の方法。
（付記８）
前記第１の被写体および前記第２の被写体の少なくとも一方の注意方向が、前記第１の被写体および前記第２の被写体の他方に向いていないと判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を腕の長さ０本分に設定することをさらに備える、付記７に記載の方法。
（付記９）
前記コンテキスト閾値は、前記閾値に基づいて決定される、付記６～８のいずれか一項に記載の方法。
（付記１０）
第１の被写体と第２の被写体との間の接続の尤度を示すコンテキスト閾値を決定するための装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと
を備え、
前記少なくとも１つのメモリと、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体が現れるフレーム内で、前記第１の被写体および前記第２の被写体の画像を識別することと、
前記識別された画像に基づいて前記第１の被写体および前記第２の被写体に関する多次元情報を識別することと、
前記第１の被写体および前記第２の被写体に関する、前記識別された多次元情報に基づいて、前記コンテキスト閾値を決定することと
を少なくとも行わせるように構成される、装置。
（付記１１）
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて前記装置に、
前記フレーム内の複数の被写体の顔検出を行うことと、
前記顔検出の結果に基づいて、前記複数の被写体のそれぞれについて、対応する特徴を抽出することと、
前記コンテキスト閾値を決定するのに適した前記第１の被写体および前記第２の被写体を識別することと
を少なくとも行わせるように構成されている、付記１０に記載の装置。
（付記１２）
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体の各々の頭部の大きさ、目の位置および腕の長さの少なくとも１つを取得すること
を少なくとも行わせるように構成されている、付記１０に記載の装置。
（付記１３）
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体のそれぞれの注意方向を決定することを少なくとも行わせるように構成されている、付記１２に記載の装置。
（付記１４）
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向は、前記取得された前記第１の被写体および前記第２の被写体のそれぞれの頭部の大きさおよび目の位置のうちの少なくとも一方に基づいて決定される、付記１３に記載の装置。
（付記１５）
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、少なくとも一つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体のそれぞれの注意方向が互いに向かい合うかどうかを判定することと、
前記第１の被写体および前記第２の被写体のそれぞれの前記注意方向が互いに向かい合っていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を２本の腕の長さ分に設定することと
を少なくとも行わせるように構成されている、付記１２に記載の装置。
（付記１６）
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体の注意方向が互いに向き合っていないと判定された場合に、前記第１の被写体および前記第２の被写体の少なくとも一方の注意方向が前記第１の被写体および前記第２の被写体の他方に向いているかを判定することと、
前記第１の被写体および第２の被写体の少なくとも一方の注意方向が、前記第１の被写体および前記第２の被写体の他方に向いていると判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を１本の腕の長さに設定することと
を少なくとも行わせるように構成されている、付記１５に記載の装置。
（付記１７）
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて前記装置に、
前記第１の被写体および前記第２の被写体の少なくとも一方の注意方向が、前記第１の被写体および前記第２の被写体の他方に向いていないと判定された場合に、前記第１の被写体と前記第２の被写体との間の閾値を腕の長さ０本分に設定することを少なくとも行わせるように構成されている、付記１６に記載の装置。
（付記１８）
前記コンテキスト閾値は、前記閾値に基づいて決定される、付記１５～１７のいずれか一項に記載の装置。

【0085】

本出願は、その全体の内容が参照により本明細書に組み込まれている、２０２０年３月２３日に出願されたシンガポール特許出願第１０２０２００２６７６Ｓ号に基づいており、その優先権の利益を主張している。

【符号の説明】

【0086】

１０２ 装置
１０４ プロセッサ
１０６ メモリ
１１０ 撮像デバイス
６００ コンピュータデバイス
６０６ 通信インフラ
６０７ プロセッサ
６０８ メインメモリ
６０９ 通信インタフェース
６１０ 通信パス
６１２ リムーバブル記憶ユニット
６１４ リムーバブル記憶媒体
６１６ インタフェース
６１７ リムーバブル記憶ドライブ
６１８ 記憶ドライブ（ハードディスクドライブ）
６２０ 二次メモリ
６２２ ディスプレイインタフェース
６２４ ディスプレイ
６２６ オーディオインタフェース
６２８ スピーカ

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】