特表 2024-530464 対象を含む領域の匿名化を解除する方法、装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-21

(54)【発明の名称】対象を含む領域の匿名化を解除する方法、装置、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240814BHJP

   G06T 7/00 20170101ALI20240814BHJP

   G06T 7/70 20170101ALI20240814BHJP

   G06T 7/174 20170101ALI20240814BHJP

   G06T 7/254 20170101ALI20240814BHJP

【ＦＩ】

H04N7/18 D

G06T7/00 660A

G06T7/70 A

G06T7/174

G06T7/254 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506552

(86)(22)【出願日】2022-03-03

(85)【翻訳文提出日】2024-02-01

(86)【国際出願番号】 JP2022009052

(87)【国際公開番号】W WO2023013125

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】10202108597X

(32)【優先日】2021-08-05

(33)【優先権主張国・地域又は機関】SG

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】オング フイ ラム

(72)【発明者】

【氏名】ペー ウェイ ジアン

(72)【発明者】

【氏名】オング ホン イェン

(72)【発明者】

【氏名】フォアン チンイー

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC03

5C054FC12

5C054GB02

5C054HA19

5L096AA06

5L096BA02

5L096BA06

5L096CA04

5L096FA16

5L096FA66

5L096FA69

5L096GA08

(57)【要約】

一つの側面において、入力画像内の対象が含まれる領域について匿名化を解除するための方法が提供され、前記入力画像は複数の識別されたサブジェクトを含み、前記方法は、前記対象が出現する履歴画像を取得することと、前記入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することと、 前記対象が含まれる前記領域について匿名化を解除することとを含む。
【選択図】図１１

【特許請求の範囲】

【請求項1】

入力画像内の対象が含まれる領域について匿名化を解除するための方法であって、前記入力画像は複数の識別されたサブジェクトを含み、前記方法は、
前記対象が出現する履歴画像を取得することと、
前記入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することと、
前記対象が含まれる前記領域について匿名化を解除することとを含む、方法。

【請求項2】

前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したと判定された場合に、前記方法はさらに、前記対象と前記少なくとも一つの前記識別されたサブジェクトとが含まれる前記領域について匿名化を解除することを含む、請求項１に記載の方法。

【請求項3】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別する前記ステップは、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用していないと判定することを含み、
前記識別された領域は前記入力画像内の前記対象を含む、請求項１に記載の方法。

【請求項4】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別する前記ステップは、前記取得した履歴画像内の前記対象と前記サブジェクトとについて顔マッチングを実行することにより、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することを含む、請求項１に記載の方法。

【請求項5】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別する前記ステップは、前記取得した履歴画像に基づいて、前記対象と相互作用した少なくとも一つのサブジェクトを識別することを含み、
前記識別された領域は、前記対象と前記識別された少なくとも一つのサブジェクトとを含む、請求項１から４いずれか一項に記載の方法。

【請求項6】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別する前記ステップは、前記取得した履歴画像に基づいて、前記対象と相互作用した少なくとも一つのさらなるサブジェクトを識別することを含み、
前記識別された領域は、前記対象と前記識別された少なくとも一つのさらなるサブジェクトとを含む、請求項５に記載の方法。

【請求項7】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別する前記ステップは、交差検出を行うことにより、前記対象の矩形座標を特定することを含む、請求項１から６いずれか一項に記載の方法。

【請求項8】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別する前記ステップは、交差検出を行うことにより、前記少なくとも一つのサブジェクトの矩形座標を特定することを含む、請求項５に記載の方法。

【請求項9】

前記領域を特定する前記ステップは、前記特定した矩形領域に基づいて行われる、請求項８に記載の方法。

【請求項10】

入力画像内の対象が含まれる領域について匿名化を解除するための装置であって、前記装置は、
命令を格納するように構成された少なくとも一つの記憶要素と、
前記命令を実行することにより、
前記対象が出現する履歴画像を取得することと、
前記入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することと、
前記対象が含まれる前記領域について匿名化を解除することと、を行うように構成された少なくとも一つのプロセッサとを有する、装置。

【請求項11】

前記少なくとも一つのプロセッサは、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したと判定された場合に、前記対象と前記少なくとも一つの前記識別されたサブジェクトとが含まれる前記領域について匿名化を解除することを実行するようにさらに構成される、請求項１０に記載の装置。

【請求項12】

前記少なくとも一つのプロセッサは、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用していないと判定することを実行するようにさらに構成され、
前記識別された領域は前記入力画像内の前記対象を含む、請求項１０に記載の装置。

【請求項13】

前記少なくとも一つのプロセッサは、前記取得した履歴画像内の前記対象と前記サブジェクトとについて顔マッチングを実行することにより、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することを実行するようにさらに構成される、請求項１０に記載の装置。

【請求項14】

前記少なくとも一つのプロセッサは、前記取得した履歴画像に基づいて、前記対象と相互作用した少なくとも一つのサブジェクトを識別することを実行するようにさらに構成され、
前記識別された領域は、前記対象と前記識別された少なくとも一つのサブジェクトとを含む、請求項１０から１３いずれか一項に記載の装置。

【請求項15】

前記少なくとも一つのプロセッサは、前記取得した履歴画像に基づいて、前記対象と相互作用した少なくとも一つのさらなるサブジェクトを識別することを実行するようにさらに構成され、
前記識別された領域は、前記対象と前記識別された少なくとも一つのさらなるサブジェクトとを含む、請求項１４に記載の装置。

【請求項16】

前記少なくとも一つのプロセッサは、交差検出を行うことにより、前記対象の矩形座標を特定することを実行するようにさらに構成される、請求項１０から１５いずれか一項に記載の装置。

【請求項17】

前記少なくとも一つのプロセッサは、交差検出を行うことにより、前記少なくとも一つのサブジェクトの矩形座標を特定することを実行するようにさらに構成される、請求項１６に記載の装置。

【請求項18】

前記少なくとも一つのプロセッサは、前記特定した矩形領域に基づいて前記領域を特定することを実行するようにさらに構成される、請求項１７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象とそれと相互作用するサブジェクトを含む領域の匿名化を解除する方法および装置に関するが、これに限定されるものではない。

【背景技術】

【0002】

ビデオ監視は、地域を監視し、犯罪やテロを防ぐための主要なツールとして、法や治安当局によって広く利用されている。ビデオ監視は、犯罪の予防や抑止、事後の捜査に有効であることから、一般の人々もその利用を支持しているが、一般の人々の日常生活に入り込むことから、その誤用や悪用に対するプライバシー上の懸念も高まっている。

【0003】

撮影された映像データにはプライバシーに関わる情報が含まれており、プライバシーを重視し、公開されることを望まない人々にとって、この無差別の撮影は重大な問題である。

【0004】

プライバシー侵害は重大な社会問題となる可能性がある。プライバシー侵害に対処するために、ビデオ監視は、その能力と性能を保ちつつ、無関係で不必要なデータを匿名化する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

既存の顔認識ソリューションでは、データのプライバシー保護のために、頻繁に、検出された顔に対して匿名化技術が適用される。他の全てのオブジェクト検出アルゴリズムの制限と同様に、顔認識ソリューションの顔検出アルゴリズムは、アルゴリズムの構成と訓練データセットのために、検出漏れに直面する可能性がある。

【課題を解決するための手段】

【0006】

入力画像内の対象が含まれる領域について匿名化を解除するための方法が提供され、前記入力画像は複数の識別されたサブジェクトを含み、前記方法は、前記対象が出現する履歴画像を取得することと、前記入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することと、前記対象が含まれる前記領域について匿名化を解除することとを含む。

【0007】

入力画像内の対象が含まれる領域について匿名化を解除するための装置が提供され、前記装置は、命令を格納するように構成された少なくとも一つの記憶要素と、前記命令を実行することにより、前記対象が出現する履歴画像を取得することと、前記入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することと、前記対象が含まれる前記領域について匿名化を解除することと、を行うように構成された少なくとも一つのプロセッサとを有する。

【図面の簡単な説明】

【0008】

添付の図は、同様の参照番号が別々の図全体にわたって同一または機能的に類似した要素を示しており、以下の詳細な説明と共に明細書に組み込まれ、明細書の一部を構成するものであるが、非限定的な例のみにより、様々な実施形態を例示し、本実施形態に従った様々な原理及び利点の説明を提供する。

【0009】

本発明の実施形態は、以下の記述による説明から、よりよく理解され、当業者にとって容易に明らかになるであろう。これは、例のみによって、図面と併せて説明される。

【0010】

【図1】図１は、本開示の一態様において、入力画像において対象と対象が相互作用した識別されたサブジェクトとを含む領域の匿名化を解除するためのシステムを示す。

【図2A】図２Ａは、従来技術による対象の匿名化の解除方法を示す。

【図2B】図２Ｂは、本開示による対象及び識別されたサブジェクトの匿名化の解除方法を示す。

【図3】図３は、本開示の一実施形態による主要な利点を示す。

【図4】図４は、本開示が、本開示の一実施形態に従って、識別されたサブジェクトが含まれる前景画像を生成するために、背景をどのように除去するかのステップを示す。

【図5】図５は、識別されたサブジェクトの１つが、本開示の一実施形態による対象人物と一致することを示す。

【図6】図６は、本開示の一実施形態において、履歴画像から対象人物の外観を検索するフローチャートである。

【図7】図７は、本開示の一実施形態において、対象人物の外観の中から、前景画像内の残りの識別されたサブジェクトを見つけるフローチャートを示す。

【図8】図８は、本開示の一実施形態において、履歴画像における対象サブジェクト及び識別されたサブジェクトの外観の座標を計算する方法を示す。

【図9】図９は、本開示の一実施形態において、履歴画像に対する交差検出によって、共出現の履歴がどのようにカウントされるかを示す。

【図10】図１０は、本開示の一実施形態において、長方形の左上点及び右下点から、最小及び最大のＸ座標及びＹ座標を決定する方法を示す。

【図11】図１１は、本開示の一実施形態において、対象サブジェクト及び識別されたサブジェクト（存在する場合）を適応的に表示するためのフローチャートを示す。

【図12】図１２は、本開示の一実施形態において、三次元距離計算を用いた相互作用検出の実施方法の別の例を示す。

【図13】図１３は、前出の図の方法を実行するために使用され得る例示的なコンピューティングデバイスを示す。

【発明を実施するための形態】

【0011】

本明細書に開示されるのは、上述の問題の１つ以上に対処する、対象が含まれる領域の匿名化を解除する装置及び方法の実施形態である。

【0012】

さらに、他の望ましい特徴及び特性は、本開示における添付の図面及びこの背景と共に、後述する詳細な説明及び添付の特許請求の範囲から明らかになるであろう。

【0013】

用語の説明
サブジェクト－サブジェクトは、個人、患者、及びユーザが含まれる任意の適切なタイプのエンティティである。

【0014】

対象または対象サブジェクトという用語は、ここでは、関心のある個人、ユーザ又は患者を識別するために使用される。対象サブジェクトは、ユーザの入力によって選択されたサブジェクト、又は、関心があると識別されたサブジェクトである。

【0015】

ここで、サブジェクト又は識別されたサブジェクトとは、入力画像において、対象サブジェクトに関連する人物や対象サブジェクトと一緒に現れる人物（例えば、パートナーや同伴者）を表すために利用される。例えば、パンデミックの発生という文脈において、サブジェクトは、対象と関連する人物、又は、対象と一緒に現れる人物である。

【0016】

コンタクト追跡サーバに登録されているユーザは、登録ユーザと呼ばれる。コンタクト追跡サーバに登録されていないユーザは、未登録ユーザと呼ばれる。ユーザは、ネットワークグラフ上の任意のサブジェクトのグラフィカル表現を得ることができる。

【0017】

コンタクト追跡サーバ－コンタクト追跡サーバは、入力を受信し、データを処理し、グラフィカル表現を客観的に提供するためのソフトウェアアプリケーションプログラムをホストするサーバである。コンタクト追跡サーバは、リクエストを管理するために他のサーバ（例えば、遠隔支援サーバ）と通信する。接触触追跡サーバは、遠隔支援サーバと通信して、潜在的なサブジェクト及び対象サブジェクトのグラフィック表現を表示する。コンタクト追跡サーバは、データを管理してグラフィカル表現を提供するために、様々なプロトコル及び手順を使用する場合がある。

【0018】

コンタクト追跡サーバは通常、リクエストの処理、データの管理、状況に役立つグラフィカル表現の表示を行うエンティティ（例えば、会社や組織）であるプロバイダによって管理される。サーバは、グラフィカル表現のリクエストの処理及び状況に応じたカスタマイズ可能なサービスの提供に使用される、１つ以上のコンピューティングデバイスを含むことができる。

【0019】

コンタクト追跡アカウント－コンタクト追跡アカウントは、コンタクト追跡サーバに登録されているユーザのアカウントである。状況によっては、遠隔支援サーバの使用において、コンタクト追跡アカウントは要求されない。コンタクト追跡アカウントには、ユーザの詳細（例えば、名称、住所、車両等。）が含まれる。

【0020】

コンタクト追跡サーバーは、ユーザのコンタクト追跡アカウントと、ユーザと他の外部サーバーとのやり取りを、交換されるデータと共に管理する。

【0021】

詳細な説明
添付図面のいずれか１つ以上において、同一の参照番号を有するステップ及び／又は特徴が参照されている場合、これらのステップ及び／又は特徴は、本説明の目的上、反対の意図がない限り、同一の機能又は動作を有する。

【0022】

なお、先行技術に関する「背景」セクション及び上述の議論は、その使用を通じて公知の知識を形成する装置の議論に関連する。そのようなものは、本発明者又は特許出願人が、そのような装置が何らかの方法で当技術における公知の知識の一部を形成することを表明するものと解釈されてはならない。

【0023】

システム１００

【0024】

図１は、履歴画像において、対象人物の領域と、対象人物と相互作用する任意の識別されたサブジェクトの領域との匿名化を解除するためのシステム１００のブロック図を示す。システム１００は、リクエスタ装置１０２と、コンタクト追跡サーバ１０８と、遠隔支援サーバ１４０と、遠隔支援ホスト１５０Ａ～１５０Ｎと、センサ１４２Ａ～１４２Ｎとを含む。

【0025】

リクエスタ装置１０２は、コンタクト追跡サーバ１０８及び／又は遠隔支援サーバ１４０と、それぞれコネクション１１６及び１２１を介して通信している。コネクション１１６及び１２１は、無線（例えば、NFC 通信、Bluetooth などを介して）又はネットワーク（例えば、インターネット）を介してもよい。コネクション１１６及び１２１は、ネットワーク（例えば、インターネット）のコネクションでもよい。

【0026】

コンタクト追跡サーバ１０８は、コネクション１２０を介して遠隔支援サーバ１４０とさらに通信している。コネクション１２０は、ネットワーク（例えば、インターネット）のコネクションであってもよい。ある構成では、コンタクト追跡サーバ１０８と遠隔支援サーバ１４０が組み合わされ、コネクション１２０は相互接続バスであってもよい。

【0027】

遠隔支援サーバ１４０は、それぞれのコネクション１２２Ａ～１２２Ｎを介して遠隔支援ホスト１５０Ａ～１５０Ｎと通信している。コネクション１２２Ａ～１２２Ｎは、ネットワーク（例えば、インターネット）であってもよい。

【0028】

遠隔支援ホスト１５０Ａ～１５０Ｎはサーバである。ここで、ホストという用語は、遠隔支援ホスト１５０Ａ～１５０Ｎと遠隔支援サーバ１４０とを区別するために使用される。遠隔支援ホスト１５０Ａ～１５０Ｎをまとめて遠隔支援ホスト１５０と呼び、遠隔支援ホスト１５０は遠隔支援ホスト１５０のいずれかを指す。遠隔支援ホスト１５０は、遠隔支援サーバ１４０と組み合わされてもよい。

【0029】

例えば、遠隔支援ホスト１５０は、病院が管理するものであってもよく、遠隔支援サーバ１４０は、緊急通報を管理し、どの遠隔支援ホスト１５０が画像入力のようなデータの転送や取得を行うのかを決定する中央サーバでありうる。

【0030】

センサ１４２Ａ～１４２Ｎは、コネクション１４４Ａ～１４４Ｎ又は１４４Ａ～１４４Ｎそれぞれを介して、遠隔支援サーバ１４０又はコンタクト追跡サーバ１０８に接続される。ここでは、センサ１４２Ａ～１４２Ｎを総称してセンサ１４２Ａ～１４２Ｎと呼ぶ。ここでは、コネクション１４４Ａ～１４４Ｎを総称してコネクション１４４と呼び、コネクション１４４はコネクション１４４のいずれかを指す。同様に、コネクション１４６Ａ～１４６Ｎを総称してコネクション１４６と呼び、コネクション１４６はコネクション１４６のいずれかを指す。コネクション１４４及び１４６は、ネットワークのコネクションであってもよい。センサ１４２は、画像キャプチャ装置、ビデオキャプチャ装置、及びモーションセンサのいずれかであってもよく、その種類に応じた入力をコンタクト追跡サーバ１０８の少なくとも一方に送信するように構成されてもよい。

【0031】

例示的な実施形態では、各装置１０２及び１４２、並びにサーバ１０８、１４０及び１５０は、他の接続された装置１０２及び１４２及び／又はサーバ１０８、１４０及び１５０との通信を可能にするためのインタフェースを提供する。このような通信は、アプリケーションプログラミングインタフェース（「API」）によって促進される。このような API は、グラフィカルユーザインタフェース（GUI）、ウェブベースのインタフェース、アプリケーションプログラミングインタフェース（API）及び／又はインタフェース要素に対応する一連のリモートプロシージャコール（RPC）などのプログラムインタフェース、インタフェース要素が通信プロトコルのメッセージに対応するメッセージングインタフェース、及び／又はそれらの適切な組み合わせを含むユーザインタフェースの一部であってもよい。

【0032】

本明細書における用語「サーバ」の使用は、特定の機能を実行するために一緒に動作する単一のコンピューティングデバイス又は相互に接続された複数のコンピューティングデバイスを意味することができる。すなわち、サーバは、単一のハードウェアユニットに含まれてもよいし、複数又は多数の異なるハードウェアユニットに分散されてもよい。

【0033】

遠隔支援サーバ１４０

【0034】

遠隔支援サーバ１４０は、エンティティ（例えば、サービスの会社、組織又はモデレータ）に関連付けられる。ある構成では、遠隔支援サーバ１４０は、サーバ１０８を操作するエンティティによって所有され、操作される。このような構成では、遠隔支援サーバ１４０は、サーバ１０８の一部（例えば、コンピュータプログラムモジュール、コンピューティングデバイスなど）として実装されうる。

【0035】

遠隔支援サーバ１４０は、ユーザの登録を管理するように構成されうる。登録されたユーザは、ユーザの詳細を含むコンタクト追跡アカウント（上記の説明を参照）を有する。登録手順はオンボーディングと呼ばれる。ユーザは、リクエスタ装置１０２のいずれかを使用して、遠隔支援サーバ１４０へのオンボーディングを実行することができる。

【0036】

遠隔支援サーバ１４０の機能にアクセスすることを目的として、遠隔支援サーバ１４０にコンタクト追跡アカウントを持つ必要はない。ただし、登録ユーザによって利用できる機能もある。例えば、他の管轄区域の対象サブジェクトや潜在的なサブジェクトをグラフィカルに表示できる。これらの追加機能については後述する。

【0037】

ユーザのオンボーディング処理は、リクエスタ装置１０２のいずれかを介してユーザが行う。一つの構成において、ユーザは、アプリケーション（遠隔支援サーバ１４０と対話するための API を含む）をセンサ１４２にダウンロードする。別の構成では、ユーザは、リクエスタ装置１０２上のウェブサイト（遠隔支援サーバ１４０と対話するための API を含む）にアクセスする。

【0038】

登録の詳細には、例えば、ユーザの名前、ユーザの住所、緊急連絡先、又は他の重要な情報と、遠隔支援アカウントの更新を許可されたセンサ１４２などが含まれる。

【0039】

オンボーディングされると、ユーザは全ての詳細が格納されたコンタクト追跡アカウントを持つことになる。

【0040】

リクエスタ装置１０２

【0041】

リクエスタ装置１０２は、リクエスタ装置１０２から開始されるコンタクト追跡リクエストの当事者であるサブジェクト（又はリクエスト）に関連付けられる。リクエスタは、ネットワークグラフのグラフィカル表現を得るために必要なデータを得ることを支援する、関心のある一般のメンバであってもよい。リクエスタ装置１０２は、デスクトップコンピュータ、対話型音声応答（IVR）システム、スマートフォン、ラップトップコンピュータ、パーソナルデジタルアシスタントコンピュータ（PDA）、モバイルコンピュータ、タブレットコンピュータなどのコンピューティングデバイスであってもよい。

【0042】

一例の構成では、リクエスタ装置１０２は、腕時計又は同様のウェアラブル内のコンピューティングデバイスであり、無線通信インターフェイスを備える。

【0043】

コンタクト追跡サーバ１０８

【0044】

コンタクト追跡サーバ１０８は、上記した用語の説明において説明した通りである。

【0045】

コンタクト追跡サーバ１０８は、履歴画像における対象人物の領域及び任意の識別されたサブジェクトの領域の匿名化の解除に関する処理を実行するように構成される。

【0046】

遠隔支援ホスト１５０

【0047】

遠隔支援ホスト１５０は、サブジェクトに関する情報を管理する（例えば、確立したり、管理したりする）エンティティ（例えば、会社や組織）に関連付けられたサーバである。

【0048】

ある構成では、エンティティは病院である。したがって、各エンティティは、遠隔アクセスホスト１５０を操作して、そのエンティティによってリソースを管理する。ある構成では、遠隔アクセスホスト１５０は、対象サブジェクトがウイルスのキャリアである可能性が高いという警告信号を受信する。

【0049】

有利なことに、そのような情報は法執行機関にとって重要である。それは、カメラの映像を見て、過去に交流があったと予測される注目人物間のつながりを調査する時間を削減する。

【0050】

その情報はパンデミックにおいて特に有用であり、ビル管理や保健部門がより効率的かつ効果的に接触者追跡を行うことができる。対象と他のサブジェクトとの相互作用のネットワークは、ある人から別の人への病気の拡がり方を特定するのに役立つ。

【0051】

従来、対象と相互作用した可能性のある関連サブジェクトは表示されない。つまり、対象に対してのみ匿名化が解除される。検出技術を使用して匿名化する他の従来技術もある。すなわち、入力画像中の検出された全ての人が匿名化される。既存の技術では、前景又は背景抽出を用いて、移動サブジェクトが匿名化される。より一般的には、画像の背景をぼかしたり、画像の事前定義されたセグメント／領域で画像匿名化を行ったり、又はその逆で、画像匿名化の関心領域を除外することができる。

【0052】

本開示は、無関係の人を保護しつつ、対象人物及びその人と相互作用した可能性のあるサブジェクトの匿名化を解除する、画像匿名化を提供する。対象人物の検出された顔アルゴリズムと完全な画像背景の匿名化を組み合わせることは、無関係の人のより良いプライバシーを保護するのに役立つが、それはまた、対象人物と、その人物の周囲におけるその人物の潜在的な関係者との相互作用の詳細を隠してしまいうる。

【0053】

センサ１４２

【0054】

センサ１４２は、リクエスタ装置１０２に関連付けられたユーザに関連付けられる。センサがどのように利用されうるかの詳細は、以下に提供される。

【0055】

図２Ａは、従来の技術が対象の匿名化をどのように解除するかを示す。図２Ａに示すように、従来の技術は対象２０２の匿名化を解除する。サブジェクト２０４は対象２０２と相互作用したサブジェクトであり、従来の技術によれば、サブジェクト２０４の匿名化は解除されない。

【0056】

図２Ｂは、対象及び識別されたサブジェクトに対する、本開示の匿名化が、どのように行われているかを示す。図２Ｂに示されているように、本開示は、対象２０２及び対象２０２と相互作用した可能性のあるサブジェクトであるサブジェクト２０４に対する匿名化を解除する。詳細な情報は、以下に提供することができる。

【0057】

図３は、本開示の一実施形態による主要な利点を示す。複数のサブジェクトのうち、対象２０２とサブジェクト２０４とを含む入力画像３０２が、受信されうる。３０４において、画像匿名化は、設定された又は事前に定義されたアルゴリズムに基づいて実行される。ステップ３０６では、事前に記憶され、ラベル付けされた全ての対象人物の履歴画像がデータベースから取得される。ステップ３０８では、取得された履歴情報について、二人の人物の矩形座標間の交差を計算することにより、対象と他のサブジェクトとの相互作用を検出する処理ステップが実行される。ステップ３１０では、対象及び対象と相互作用したサブジェクトを含む入力画像３０２内の領域が、非匿名化される。出力画像３１２が出力される。

【0058】

図４は、本開示の一実施形態による、本開示が対象及び識別されたサブジェクトの匿名化をどのように解除するかのステップを示す。

【0059】

図４において、入力画像４０２が受信される。この方法は、４０４に示すように、前景画像抽出のために入力画像４０２に背景画像減算を適用することを含む。抽出された前景画像のサンプルを４０６に示す。

【0060】

図５が、図４に続きうる。５０２に示すように、抽出された前景画像に対して、所定の対象リストについての顔認識を実行することができる。顔認識の結果、＃４は、対象人物リストの中から見つかった対象人物と一致しているとすることができる。

【0061】

図６が、図５に続きうる。図６において、検索は、６０２に示すように、一致した対象の、全ての事前に格納された履歴画像が取得される。すなわち、６０４に示すように、対象に関する履歴情報が取得され、対象が出現した画像が特定される。

【0062】

図７が、図６に続きうる。図７では、入力画像に対象と一緒に現れるサブジェクト（例えば、＃１、＃２、及び＃３）が識別される。いくつかの実施形態では、これは１つのサブジェクトだけでありうることが理解されるべきである。７０２では、識別された各サブジェクトの顔マッチングが、対象（＃４）について取得された画像に対して実行される。対象＃４について取得された履歴情報から、入力画像からのサブジェクト＃１及び＃３が検出される。対象＃４について取得された履歴情報において、＃１は２回出現し、対象＃４について取得された履歴情報において、＃３は１回出現する。したがって、＃４と＃１の共出現回数は２回であり、＃４と＃２の共出現回数は０であり、＃４と＃３の共出現回数は１である。

【0063】

図８が、図７に続きうる。８０２に示される履歴情報に基づいて、＃４と＃１の相互作用のカウントは２であり、＃４と＃２の相互作用のカウントは０であり、＃４と＃３の相互作用の回数のカウントは１である。

【0064】

８０４では、各サブジェクトのピクセル単位の矩形座標は、画像セグメンテーションによって計算され、ここで、X=Xの最小値（左端の位置）、Y=Y の最小値（上端の位置）、H= 画像セグメントの最大高さ、W= 画像セグメントの最大重み、である。一実施形態において、矩形座標は、XY1={X, Y}、XY2={X+W, Y}、XY3={X, Y+H}、及び XY4={X+W, Y+H} に基づいて計算されうる。

【0065】

８０６では、＃４と＃３の矩形座標が計算される。一実施形態では、＃４の矩形座標は、XY1#4={950,300}、XY2#4={1100,300}、XY3#4={950,600}、及び XY4#4={1100,600} である。加えて、又はこれに代えて、＃３の矩形座標は、XY1#3={650,300}、XY2#3={780,300}、XY3#3={650,610}、及び XY4#3={780,610} である。

【0066】

図９は、図８に続きうる。図７で述べたように、対象（＃４）について取得された画像に対して、識別されたサブジェクトごとの顔マッチングが行われる。対象人物＃４について取得された履歴情報から、入力画像からのサブジェクト＃１及び＃３が検出される。対象＃４について取得された履歴情報において、＃１は２回出現し、対象＃４について取得された履歴情報において、＃３は１回出現した。したがって、＃４と＃１の共出現は２回であり、＃４と＃２の共出現は０回であり、＃４と＃３の共出現は１回である。各履歴画像に対して画像セグメンテーションが行われ、９０２に示すように、＃４と＃３の矩形座標が交差していると判定されうる。この例では、入力画像において、＃３と＃４についての匿名化解除が行われうる。

【0067】

図１０は、図９に続きうる。図１０は、サブジェクトと対象サブジェクトとの間に交差があるかどうかを判定するために、矩形座標がどのように利用されるのかを、詳細に示す。次のものが使用されうる。

【数1】

【数2】

【0068】

Intersect-W と Intersect-H の値が両方とも０より大きい場合に、交差が検出される。Ａ、Ｂ、及びＣの矩形座標が１００２に示されており、A1 {100,100} であり、A2 {200,250} であり、B1 {20,200} であり、B2 {100,240} であり、C1 {250,90} であり、C2 {360,260} である。

【0069】

式（１）及び（２）に基づき、Ａ（Ｒ１）とＢ（Ｒ２）の間において、交差が検出される。
Intersect-W = Math.max(0, Math.min(200, 120) - Math.max(100, 40)) = Math.max(0, 120 - 100) = 20
Intersect-H = Math.max(0, Math.min(250, 240) - Math.max(100, 200)) = Math.max(0, 240 - 200) = 40

【0070】

式（１）及び（２）に基づき、Ａ（Ｒ１）とＣ（Ｒ２）の間において、交差が検出されない。
Intersect-W = Math.max(0, Math.min(200, 360) - Math.max(100, 250)) = Math.max(0, 200 - 250) = 0
Intersect-H = Math.max(0, Math.min(250, 260) - Math.max(100, 90)) = Math.max(0, 250 - 100) = 150

【0071】

図１１は、本開示の一形態において、対象を含む領域の匿名化を解除する方法を示す。ステップ１１０２で、この方法が開始される。ステップ１１０４で、対象とサブジェクトを含む入力画像が受信される。一形態において、ステップ１１０６で、事前設定されたカメラ背景を得ることができる。ステップ１１０８において、１１０２で受信された入力画像に対して背景差分が実行され、前景画像が得られる。ステップ１１１０において、背景差分後の前景画像に対して顔認識が実行される。ステップ１１１２で、検出された顔が事前定義された対象リストと照合される。

【0072】

ステップ１１１４で、対象人物が見つかったかどうかを判定する。対象人物が見つからないと判定された場合には、ステップ１１１６で、入力画像の全てのサブジェクトの匿名化が行われる。対象人物が見つかったと判定された場合には、ステップ１１１８で、一致した対象サブジェクトについて、予め記憶された全ての履歴画像が取得される。

【0073】

ステップ１１２０で、履歴画像が見つかったかどうかを判定する。履歴画像が見つからないと判定された場合、ステップ１１３２で、入力画像について、全てのサブジェクトを匿名化し、かつ、見つかった対象人物を明らかにする。履歴画像が見つかったと判定された場合、ステップ１１２２で、取得された全ての履歴画像に対して、入力画像で検出された全ての顔についての顔照合を実行する。

【0074】

ステップ１１２４で、相互作用した人物が見つかったかどうかを判定する。相互作用した人物が見つからないと判定された場合、ステップ１１３２で、全てのサブジェクトを匿名化し、入力画像中の対象人物を明らかにする処理が行われる。相互作用した人物が見つかったと判定された場合、ステップ１１２６で、入力画像において識別された、見つかった対象サブジェクトとの全ての共出現について交差検出を実行する。

【0075】

ステップ１１２８では、少なくとも一人の対象人物と交差した、検出された対象人物のリストが得られる。ステップ１１３０では、全てのサブジェクトを匿名化し、入力画像内の対象人物及び入力画像内の交差した人物のリストを明らかにする。次に、この方法の最後に進む。

【0076】

図１２は、本開示の一形態において、サブジェクトと対象サブジェクトの間の交差がどのように判断されるかを示す。図１２において、二人の人物間の三次元（3D: three-dimensional）距離は、二次元（2D: two-dimensional）画像の人物を現実の 3D 位置に変換することによって得られ、二人の人物間の距離を計算して、それが所定の距離（例えば１メートル）以内であるかどうかを決定する。

【0077】

f=35mm、sensor=35mm、height=170cm という入力を仮定すると、１２０２に示されるカメラからサブジェクトＢまでの距離は、以下のように計算される。
(170cm * 35mm / (80p/720p) * 35mm)
= 5950/3.8888
= 1,530.0350 cm

【0078】

１２０２に示されるカメラからサブジェクトＡまでの距離は、以下のように計算される。
(170cm * 35mm / (100p/720p) * 35mm)
= 5950/4.8611
= 1,224.0028 cm

【0079】

そのようにして、１２０４に示されるカメラからのＡとＢの距離は、以下のように計算される。
abs((distance A from camera)-(distance B from camera))
= abs(2,040.0466 - 1,530.0350)
= 510.0116 cm
= ~510 cm

【0080】

１２０４に示されるＡとＢの間の距離は、以下のように計算される。
√ (204 * 204 + 510 * 510)
= √ (41,616 + 260,100)
= √ (301,716)
= 549.2868 cm
= ~5.49 meter

【0081】

カメラから計算されたＡとＢの距離に基づいて、画像においてサブジェクトＡとＢが交差したかどうかが判定される。

【0082】

装置１３００（以下、「コンピュータシステム１３００」ともいう。）は、上記の方法を実行するために一つ以上のコンピュータ装置１３００を使用することができる。例示的なコンピュータ装置１３００は、図１に示すシステム１００を実行するために使用することができる。コンピュータ装置１３００の以下の説明は、単なる例示であり、制限することを意図していない。

【0083】

図１３に示されるように、コンピュータ装置１３００の例は、ソフトウェアルーチンを実行するためのプロセッサ１３０７を含む。明確にするために単一のプロセッサを示しているが、コンピュータ装置１３００は、マルチプロセッサシステムを含むこともできる。プロセッサ１３０７は、コンピュータ装置１３００の他のコンポーネントと通信するための通信インフラストラクチャ１３０６に接続される。通信インフラストラクチャ１３０６は、例えば、通信バス、クロスバー、又はネットワークを含むことができる。

【0084】

コンピュータ装置１３００は、さらに、ランダムアクセスメモリ（RAM: random access memory）などのメインメモリ１３０８と、セカンダリメモリ１３１０とを含む。セカンダリメモリ１３１０は、例えば、ハードディスクドライブ、ソリッドステートドライブ又はハイブリッドドライブである記憶ドライブ１３１２及び／又は磁気テープドライブ、光ディスクドライブ、ソリッドステート記憶ドライブ（USB フラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）などを含むリムーバブル記憶ドライブ１３１７を含むことができる。リムーバブル記憶ドライブ１３１７は、周知の方法でリムーバブル記憶媒体１３７７からの読み取り及び／又はリムーバブル記憶媒体への書き込みを行う。リムーバブル記憶媒体１３７７は、磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含み、リムーバブル記憶ドライブ１３１７によって読み取り及び書き込みが行われる。当業者には理解されるように、リムーバブル記憶媒体１３７７は、コンピュータ実行可能プログラムコード命令及び／又はデータを格納したコンピュータ読み取り可能な記憶媒体を含む。

【0085】

代替的な実装では、セカンダリメモリ１３１０は、コンピュータプログラム又は他の命令をコンピュータ装置１３００にロードすることを可能にする他の同様の手段を追加的に又は代替的に含むことができる。このような手段は、例えば、リムーバブル記憶装置１３２２及びインタフェース１３５０を含むことができる。リムーバブル記憶装置１３２２及びインタフェース１３５０の例には、プログラムカートリッジ及びカートリッジインタフェース（例えば、ビデオゲームコンソールデバイスに見られるもの）、リムーバブルメモリチップ（例えば、EPROM 又は PROM）及び関連するソケット、リムーバブルソリッドステート記憶ドライブ（USB フラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）、及びソフトウェア及びデータをリムーバブル記憶装置１３２２からコンピュータシステム１３００に転送することを可能にする他のリムーバブル記憶装置１３２２及びインタフェース１３５０が含まれる。

【0086】

コンピュータ装置１３００はまた、少なくとも一つの通信インタフェース１３２７を含む。通信インタフェース１３２７は、コンピュータ装置１３００と外部デバイスとの間で、通信インタフェース１３２７を介してソフトウェア及びデータを転送することを可能にする。本発明の様々な実施形態において、通信インタフェース１３２７は、コンピュータ装置１３００と、パブリックデータ又はプライベートデータ通信ネットワークのようなデータ通信ネットワークとの間でデータを転送することを可能にする。通信インタフェース１３２７は、そのようなコンピュータ装置１３００が相互接続されたコンピュータネットワークの一部を形成する異なるコンピュータ装置６００間でデータを交換するために使用することができる。通信インタフェース１３２７の例は、モデム、ネットワークインタフェース（イーサネットカードなど）、通信ポート（シリアル、パラレル、プリンタ、GPIB、IEEE 1394、RJ45、USB など）、関連する回路を有するアンテナなどを含むことができる。通信インタフェース１３２７は、有線であってもよいし、無線であってもよい。通信インタフェース１３２７を介して転送されるソフトウェア及びデータは、電子的、電磁的、光学的又は通信インタフェース１３２７によって受信可能な他の信号であり得る信号の形態である。これらの信号は、通信路１３２７を介して通信インタフェースに供給される。

【0087】

図１３に示すように、コンピュータ装置１３００は、関連するディスプレイ１３５０に画像をレンダリングする操作を行うディスプレイインタフェース１３０２と、関連するスピーカ１３５７を介してオーディオコンテンツを再生する操作を行うオーディオインタフェース１３５２とをさらに含む。

【0088】

ここで使用されるように、「コンピュータプログラム製品」という用語は、部分的には、リムーバブル記憶媒体１３７７、リムーバブル記憶装置１３２２、記憶ドライブ１３１２に取り付けられたハードディスク、又は通信路１３２７（無線リンク又はケーブル）を介して通信インタフェース１３２７に搬送波を搬送するソフトウェアを指すことができる。コンピュータ可読記憶媒体とは、記録された命令及び／又はデータを実行及び／又は処理のためにコンピュータ装置１３００に提供する任意の非一時的な不揮発性の有形記憶媒体を指す。そのような記憶媒体の例には、磁気テープ、CD-ROM、DVD、Blu-ray（登録商標）ディスク、ハードディスクドライブ、ROM 又は集積回路、ソリッドステート記憶ドライブ（USB フラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）、ハイブリッドドライブ、光磁気ディスク、又は PCMCIA カードなどのコンピュータ可読カードが含まれ、そのようなデバイスがコンピュータ装置１３００の内部又は外部であるかどうかは問わない。コンピュータ装置１３００へのソフトウェア、アプリケーションプログラム、命令及び／又はデータの提供にも関与することができる一時的又は非有形のコンピュータ可読伝送媒体の例には、無線又は赤外線伝送チャネル、他のコンピュータ又はネットワーク化されたデバイスへのネットワーク接続、及び電子メール送信及びウェブサイトなどに記録された情報を含むインターネット又はイントラネットが含まれる。

【0089】

コンピュータプログラム（コンピュータプログラムコードとも呼ばれる）は、メインメモリ１３０８及び／又はセカンダリメモリ１３１０に格納される。コンピュータプログラムは、通信インタフェース１３２７を介して受信することもできる。そのようなコンピュータプログラムが実行されると、コンピュータ装置１３００は、本明細書で説明する実施形態の一つ以上の特徴を実行することができる。様々な実施形態において、コンピュータプログラムが実行されると、プロセッサ１３０７は、上述の実施形態の特徴を実行することができる。従って、そのようなコンピュータプログラムは、コンピュータシステム１３００のコントローラを表す。

【0090】

ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブル記憶ドライブ１３１７、記憶ドライブ１３１２、又はインタフェース１３５０を使用してコンピュータ装置１３００にロードされてもよい。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体であってもよい。あるいは、コンピュータプログラム製品は、通信路１３２７を介してコンピュータシステム１３００にダウンロードされてもよい。ソフトウェアは、プロセッサ１３０７によって実行されると、上述のような方法を実行するために必要な操作をコンピュータ装置１３００に実行させる。

【0091】

図１３の実施形態は、システム１００の動作及び構造を説明するための例として提示されているに過ぎないことを理解されたい。したがって、いくつかの実施形態では、コンピュータ装置１３００の一つ以上の特徴を省略することができる。また、いくつかの実施形態では、コンピュータ装置１３００の一つ以上の特徴を一緒に組み合わせることができる。さらに、いくつかの実施形態では、コンピュータ装置１３００の一つ以上の特徴を一つ以上の構成部品に分割することができる。

【0092】

広く記載された本発明の精神又は範囲から逸脱することなく、特定の実施形態に示されるように、本発明に様々な変形及び／又は修正を加えることができることは、当業者には理解されるであろう。したがって、本実施形態は、全ての点において例示的であり、限定的ではないと考えられる。

【0093】

本出願は、２０２１年８月５日に出願されたシンガポール特許出願番号 10202108597X に基づき、優先権の利益を主張するものであり、その開示は、その全体が参照により本明細書に組み込まれている。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2024-02-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

対象が出現する履歴画像を取得することとと、
複数の識別されたサブジェクトが含まれる入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することとと、
前記対象が含まれる前記領域について匿名化を解除することとを含む、方法。

【請求項2】

前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したと判定された場合に、前記対象と前記少なくとも一つの前記識別されたサブジェクトとが含まれる前記領域について匿名化を解除することを含む、請求項１に記載の方法。

【請求項3】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別することは、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用していないと判定することを含み、
前記識別された領域は前記入力画像内の前記対象を含む、請求項１に記載の方法。

【請求項4】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別することは、前記取得した履歴画像内の前記対象と前記サブジェクトとについて顔マッチングを実行することにより、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することを含む、請求項１に記載の方法。

【請求項5】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別することは、前記取得した履歴画像に基づいて、前記対象と相互作用した少なくとも一つのサブジェクトを識別することを含み、
前記識別された領域は、前記対象と前記識別された少なくとも一つのサブジェクトとを含む、請求項１から４いずれか一項に記載の方法。

【請求項6】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別することは、前記取得した履歴画像に基づいて、前記対象と相互作用した少なくとも一つのさらなるサブジェクトを識別することを含み、
前記識別された領域は、前記対象と前記識別された少なくとも一つのさらなるサブジェクトとを含む、請求項５に記載の方法。

【請求項7】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別することは、交差検出を行うことにより、前記対象の矩形座標を特定することを含む、請求項１から６いずれか一項に記載の方法。

【請求項8】

前記入力画像と前記取得した履歴画像とを比較することによって前記領域を識別することは、交差検出を行うことにより、前記少なくとも一つのサブジェクトの矩形座標を特定することを含む、請求項５に記載の方法。

【請求項9】

対象が出現する履歴画像を取得することと、
複数の識別されたサブジェクトが含まれる入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することと、
前記対象が含まれる前記領域について匿名化を解除することと、を行う装置。

【請求項10】

対象が出現する履歴画像を取得することとと、
複数の識別されたサブジェクトが含まれる入力画像と前記取得した履歴画像とを比較することによって領域を識別することで、前記対象が少なくとも一つの前記識別されたサブジェクトと相互作用したかを判定することとと、
前記対象が含まれる前記領域について匿名化を解除することとをコンピュータに実行させる、プログラム。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正の内容】

【0048】

ある構成では、エンティティは病院である。したがって、各エンティティは、遠隔支援ホスト１５０を操作して、そのエンティティによってリソースを管理する。ある構成では、遠隔支援ホスト１５０は、対象サブジェクトがウイルスのキャリアである可能性が高いという警告信号を受信する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００６１

【補正方法】変更

【補正の内容】

【0061】

図６が、図５に続きうる。図６において、６０２に示すように、一致した対象の、全ての事前に格納された履歴画像が取得される。すなわち、６０４に示すように、対象に関する履歴情報が取得され、対象が出現した画像が特定される。

【国際調査報告】