特許 7553601 プライバシーを保護するための方法、デバイス、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】プライバシーを保護するための方法、デバイス、およびシステム

(51)【国際特許分類】

   G06F 21/62 20130101AFI20240910BHJP

   H04N 21/24 20110101ALI20240910BHJP

   H04N 21/2343 20110101ALI20240910BHJP

【ＦＩ】

G06F21/62 345

H04N21/24

H04N21/2343

【請求項の数】 16

(21)【出願番号】P 2022565897

(86)(22)【出願日】2021-05-25

(65)【公表番号】

(43)【公表日】2023-08-25

(86)【国際出願番号】 CN2021095806

(87)【国際公開番号】W WO2021249181

(87)【国際公開日】2021-12-16

【審査請求日】2023-06-01

(31)【優先権主張番号】202010523734.3

(32)【優先日】2020-06-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522380893

【氏名又は名称】北京沃▲東▼天▲駿▼信息技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｗｏｄｏｎｇ Ｔｉａｎｊｕｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ａ４０２，４／ｆ，Ｎｏ．２ Ｂｕｉｌｄｉｎｇ，Ｎｏ．１８ Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ，Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ，Ｂｅｉｊｉｎｇ １００１７６，Ｃｈｉｎａ

(73)【特許権者】

【識別番号】519274389

【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】栗 ▲鴻▼宇

(72)【発明者】

【氏名】申 作▲軍▼

【審査官】石坂 知樹

(56)【参考文献】

【文献】国際公開第２０２０／０４９９５８（ＷＯ，Ａ１）

【文献】特開２０１０－１６５０２７（ＪＰ，Ａ）

【文献】特開２００９－１９４６８７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６８０３９３０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／６２

Ｈ０４Ｎ ２１／２４

Ｈ０４Ｎ ２１／２３４３

(57)【特許請求の範囲】

【請求項1】

カメラによって収集されたビデオ情報を取得するステップと、
前記ビデオ情報に対してビデオセグメンテーション処理を実施して、オリジナルビデオフレームを得るステップと、
前記オリジナルビデオフレームがプライバシー情報を含んでいるかどうかを検出するステップと、
前記オリジナルビデオフレームが前記プライバシー情報を含んでいるという条件の下で、前記オリジナルビデオフレーム内の前記プライバシー情報を含むエリアをマスクして、マスク付きフレームを生成し、前記マスク付きフレームを出力ビデオフレームとして利用するステップと、
前記オリジナルビデオフレームが前記プライバシー情報を含んでいないという条件の下で、前記オリジナルビデオフレームを前記出力ビデオフレームとして利用するステップと、
前記マスク付きフレームが事前設定の行動情報を含んでいるかどうかを検出するステップと、
前記マスク付きフレームが前記事前設定の行動情報を含んでいるという条件の下で、前記マスク付きフレームを対応するブロックチェーンノードに送信し、それにより、前記ブロックチェーンノードが前記マスク付きフレームをストレージサーバ内に格納するステップと、
を含む、エッジデバイスによって実行される、プライバシーを保護するための方法。

【請求項2】

前記オリジナルビデオフレーム内の前記プライバシー情報を含む前記エリアをマスクする前記ステップが、
事前生成された公開鍵を使用することによって画像マスクを生成するステップと、
前記オリジナルビデオフレーム内の前記プライバシー情報を含む前記エリアを、前記画像マスクによってシールドして、前記マスク付きフレームを生成するステップと、
を含む、請求項1に記載の方法。

【請求項3】

前記オリジナルビデオフレーム内の前記プライバシー情報を含む前記エリアをマスクする前記ステップが、
前記公開鍵に対応する秘密鍵をブロックチェーンノードに送信し、それにより、前記ブロックチェーンノードが前記秘密鍵を格納するステップ
をさらに含む、請求項2に記載の方法。

【請求項4】

ユーザ端末によってブロックチェーンネットワークを通じて送信されたアクセス要求から、証明書を抽出するステップであって、前記証明書が、前記ユーザ端末が認証をパスした後でブロックチェーンノードによって前記ユーザ端末に発行される、ステップと、
前記証明書に従って前記ユーザ端末がアクセス権を有するかどうかを判定するステップと、
前記証明書に従って前記ユーザ端末が前記アクセス権を有すると判定されたという条件の下で、前記出力ビデオフレームを再生のために前記ユーザ端末に供給するステップと、
をさらに含む、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記ユーザ端末から提供された秘密鍵が受信されたという条件の下で、前記出力ビデオフレーム内の前記マスク付きフレームの画像マスクを、前記秘密鍵を使用することによって取り除いて、前記画像マスクのないビデオフレームを得るステップであって、前記秘密鍵が前記ユーザ端末によってブロックチェーンノードから得られる、ステップと、
前記画像マスクのない前記ビデオフレームを再生のために前記ユーザ端末に送信するステップと、
をさらに含む、請求項4に記載の方法。

【請求項6】

前記出力ビデオフレームを前記ユーザ端末に供給するプロセスにおいて、生成されたマスク付きフレームの数を検出するステップと、
前記生成されたマスク付きフレームの数が事前設定のしきい値よりも大きいという条件の下で、前記エッジデバイスと前記ブロックチェーンネットワークとの間の接続を遮断するステップと、
をさらに含む、請求項4に記載の方法。

【請求項7】

前記出力ビデオフレームを前記ユーザ端末に供給するプロセスにおいて、前記ユーザ端末によって送信された遮断命令に従って、前記エッジデバイスと前記ブロックチェーンネットワークとの間の接続を遮断するステップをさらに含む、請求項4に記載の方法。

【請求項8】

命令を格納するように構成されたメモリと、
前記メモリに結合されたプロセッサであって、前記メモリ内に格納された前記命令に基づいて、請求項1から7のいずれか一項に記載の方法を実施するように構成される、プロセッサと、
を備える、プライバシーを保護するためのエッジデバイス。

【請求項9】

ビデオ情報を取得するように構成されたカメラと、
請求項8に記載のプライバシーを保護するためのエッジデバイスである、エッジデバイスと、
を備える、ビデオ処理デバイス。

【請求項10】

請求項9に記載のビデオ処理デバイスと、
ブロックチェーンネットワーク内に配設されたブロックチェーンノードであって、前記ビデオ処理デバイスによって送信されたマスク付きフレームをストレージサーバ内に格納すること、前記マスク付きフレームのアクセス情報および検証情報を格納すること、ならびに前記マスク付きフレームの前記アクセス情報および前記検証情報を、前記ブロックチェーンネットワーク内の他のブロックチェーンノードに送信することを行うように構成された、ブロックチェーンノードと、
前記ブロックチェーンノードによって送信された前記マスク付きフレームを格納するように構成された、前記ストレージサーバと
を備える、プライバシーを保護するためのシステム。

【請求項11】

前記ブロックチェーンノードが、ユーザ端末によって送信されたアクセス要求を受信した後で前記ユーザ端末を認証することと、前記認証がパスした後で前記ユーザ端末に証明書を発行することとを行うように構成され、それにより、前記ユーザ端末が、前記ストレージサーバ内の指定のマスク付きフレームを取得する、請求項10に記載のシステム。

【請求項12】

前記ブロックチェーンノードが、ユーザ端末によって送信されたアクセス要求を受信した後で前記ユーザ端末を認証することと、前記認証がパスした後で前記ユーザ端末に証明書を発行することとを行うように構成され、それにより、前記ユーザ端末が、前記ビデオ処理デバイスの出力ビデオフレームを、前記証明書を使用することによって取得する、請求項10に記載のシステム。

【請求項13】

前記ストレージサーバが、前記ユーザ端末から提供された秘密鍵が受信されたという条件の下で、前記指定のマスク付きフレーム内の画像マスクを、前記秘密鍵を使用することによって取り除いて、前記画像マスクのないビデオフレームを得ることと、前記画像マスクのない前記ビデオフレームを再生のために前記ユーザ端末に送信することとを行うように構成され、前記秘密鍵が前記ユーザ端末によって前記ブロックチェーンノードから得られる、請求項11に記載のシステム。

【請求項14】

前記ブロックチェーンノードが、前記ビデオ処理デバイスによって送信された、公開鍵に対応する秘密鍵を格納するように構成される、請求項10に記載のシステム。

【請求項15】

プロセッサによって実行されると、請求項1から7のいずれか一項に記載の方法を実施するコンピュータ命令を格納する、非一時的コンピュータ可読記憶媒体。

【請求項16】

請求項1から7のいずれか一項に記載の方法をプロセッサに実行させるように構成された、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本開示は、その開示全体が本明細書に参照により組み込まれている、2020年に6月10日に出願した中国出願第202010523734.3号の優先権に基づいており、その優先権を主張するものである。

【0002】

本開示は、セキュリティの分野に関し、詳細には、プライバシーを保護するための方法、デバイス、およびシステムに関する。

【背景技術】

【0003】

セキュリティについての懸念がますます高まるにつれて、ますます多くの監視ビデオ機器がさまざまな公の場に設置されている。大衆の大多数は、犯罪抑制の点で集中監視に対して同意した態度をとっているものの、人々は一般にその私生活の侵害的なモニタリングを受け入れていない。現在、人々は、どこへ出かけようとも、またそれに気づいていようとなかろうと、無数の目によって観察されている。この状況が、個人のプライバシーの侵害に関して、広く注目を喚起させている。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施形態の第1の態様によれば、エッジデバイスによって実行される、プライバシーを保護するための方法が提供される。方法は、カメラによって収集されたビデオ情報を取得するステップと、ビデオ情報に対してビデオセグメンテーション処理を実施して、オリジナルビデオフレームを得るステップと、オリジナルビデオフレームがプライバシー情報を含んでいるかどうかを検出するステップと、オリジナルビデオフレームがプライバシー情報を含んでいるという条件の下で、オリジナルビデオフレーム内のプライバシー情報を含むエリアをマスクして、マスク付きフレームを生成し、マスク付きフレームを出力ビデオフレームとして利用するステップと、オリジナルビデオフレームがプライバシー情報を含んでいないという条件の下で、オリジナルビデオフレームを出力ビデオフレームとして利用するステップとを含む。

【0005】

いくつかの実施形態では、上記の方法は、マスク付きフレームが事前設定の行動情報を含んでいるかどうかを検出するステップと、マスク付きフレームが事前設定の行動情報を含んでいるという条件の下で、マスク付きフレームを対応するブロックチェーンノードに送信し、それにより、ブロックチェーンノードがマスク付きフレームをストレージサーバ内に格納するステップとをさらに含む。

【0006】

いくつかの実施形態では、オリジナルビデオフレーム内のプライバシー情報を含むエリアをマスクするステップが、事前生成された公開鍵を使用することによって画像マスクを生成するステップと、オリジナルビデオフレーム内のプライバシー情報を含むエリアを、画像マスクによってシールドして、マスク付きフレームを生成するステップとを含む。

【0007】

いくつかの実施形態では、オリジナルビデオフレーム内のプライバシー情報を含むエリアをマスクするステップが、公開鍵に対応する秘密鍵をブロックチェーンノードに送信し、それにより、ブロックチェーンノードが秘密鍵を格納するステップをさらに含む。

【0008】

いくつかの実施形態では、上記の方法は、ユーザ端末によってブロックチェーンネットワークを通じて送信されたアクセス要求から、証明書を抽出するステップであって、証明書が、ユーザ端末が認証をパスした後でブロックチェーンノードによってユーザ端末に発行される、ステップと、証明書に従ってユーザ端末がアクセス権を有するかどうかを判定するステップと、証明書に従ってユーザ端末がアクセス権を有すると判定されたという条件の下で、出力ビデオフレームを再生のためにユーザ端末に供給するステップとをさらに含む。

【0009】

いくつかの実施形態では、上記の方法は、ユーザ端末から提供された秘密鍵が受信されたという条件の下で、出力ビデオフレーム内のマスク付きフレームの画像マスクを、秘密鍵を使用することによって取り除いて、画像マスクのないビデオフレームを得るステップであって、秘密鍵がユーザ端末によってブロックチェーンノードから得られる、ステップと、画像マスクのないビデオフレームを再生のためにユーザ端末に送信するステップとをさらに含む。

【0010】

いくつかの実施形態では、上記の方法は、出力ビデオフレームをユーザ端末に供給するプロセスにおいて、生成されたマスク付きフレームの数を検出するステップと、生成されたマスク付きフレームの数が事前設定のしきい値よりも大きいという条件の下で、エッジデバイスとブロックチェーンネットワークとの間の接続を遮断するステップとをさらに含む。

【0011】

いくつかの実施形態では、上記の方法は、出力ビデオフレームをユーザ端末に供給するプロセスにおいて、ユーザ端末によって送信された遮断命令に従って、エッジデバイスとブロックチェーンネットワークとの間の接続を遮断するステップをさらに含む。

【0012】

本開示の実施形態の第2の態様によれば、プライバシーを保護するためのエッジデバイスが提供される。エッジデバイスは、命令を格納するように構成されたメモリと、メモリに結合されたであって、メモリ内に格納された命令に基づいて、上述した実施形態のいずれか1つによる方法を実施するように構成される、プロセッサとを備える。

【0013】

本開示の実施形態の第3の態様によれば、ビデオ処理デバイスが提供される。ビデオ処理デバイスは、ビデオ情報を取得するように構成されたカメラと、上述した実施形態のいずれか1つによるプライバシーを保護するためのエッジデバイスである、エッジデバイスとを備える。

【0014】

本開示の実施形態の第4の態様によれば、プライバシーを保護するためのシステムが提供される。システムは、上述した実施形態のいずれか1つによるビデオ処理デバイスと、ブロックチェーンネットワーク内に配設されたブロックチェーンノードであって、ビデオ処理デバイスによって送信されたマスク付きフレームをストレージサーバ内に格納すること、マスク付きフレームのアクセス情報および検証情報を格納すること、ならびにマスク付きフレームのアクセス情報および検証情報を、ブロックチェーンネットワーク内の他のブロックチェーンノードに送信することを行うように構成された、ブロックチェーンノードと、ブロックチェーンノードによって送信されたマスク付きフレームを格納するように構成された、ストレージサーバとを備える。

【0015】

いくつかの実施形態では、ブロックチェーンノードが、ユーザ端末によって送信されたアクセス要求を受信した後でユーザ端末を認証することと、認証がパスした後でユーザ端末に証明書を発行することとを行うように構成され、それにより、ユーザ端末が、ストレージサーバ内の指定のマスク付きフレームを取得する。

【0016】

いくつかの実施形態では、ブロックチェーンノードが、ユーザ端末によって送信されたアクセス要求を受信した後でユーザ端末を認証することと、認証がパスした後でユーザ端末に証明書を発行することとを行うように構成され、それにより、ユーザ端末が、ビデオ処理デバイスの出力ビデオフレームを、証明書を使用することによって取得する。

【0017】

いくつかの実施形態では、ストレージサーバが、ユーザ端末から提供された秘密鍵が受信されたという条件の下で、指定のマスク付きフレーム内の画像マスクを、秘密鍵を使用することによって取り除いて、画像マスクのないビデオフレームを得ることと、画像マスクのないビデオフレームを再生のためにユーザ端末に送信することとを行うように構成され、秘密鍵がユーザ端末によってブロックチェーンノードから得られる。

【0018】

いくつかの実施形態では、ブロックチェーンノードが、ビデオ処理デバイスによって送信された、公開鍵に対応する秘密鍵を格納するように構成される。

【0019】

本開示の実施形態の第5の態様によれば、非一時的コンピュータ可読記憶媒体が提供され、非一時的コンピュータ可読記憶媒体は、プロセッサによって実行されると、上述した実施形態のいずれか1つによる方法を実施するコンピュータ命令を格納する。

【0020】

本開示の実施形態の第6の態様によれば、コンピュータプログラムが提供され、コンピュータプログラムは、上述した実施形態のいずれか1つによる方法をプロセッサに実行させるように構成される。

【0021】

本開示の他の特徴および本開示の利点が、添付の図面を参照して進められる本開示の例示的実施形態の以下の詳細な説明から明らかとなろう。

【0022】

本明細書の一部をなす添付の図面は、本開示の実施形態を示し、本説明とともに、本開示の原理を解説する働きをする。

【0023】

本開示は、添付の図面を参照して以下の詳細な説明からより明確に理解することができる。

【図面の簡単な説明】

【0024】

【図1】本開示の一実施形態におけるプライバシーを保護するための方法の流れ図である。

【図2】本開示の別の実施形態におけるプライバシーを保護するための方法の流れ図である。

【図3】本開示の一実施形態におけるプライバシーを保護するためのエッジデバイスの概略構造図である。

【図4】本開示の別の実施形態におけるプライバシーを保護するためのエッジデバイスの概略構造図である。

【図5】本開示の一実施形態におけるビデオ処理デバイスの概略構造図である。

【図6】本開示の一実施形態におけるプライバシーを保護するためのシステムの概略構造図である。

【発明を実施するための形態】

【0025】

図面に示すさまざまな部分の寸法は、一定の比率で描かれていないことを理解されたい。さらに、同じまたは類似の参照番号は、同じまたは類似の構成要素を示している。

【0026】

次に、本開示のさまざまな例示的実施形態について、添付の図面を参照して詳細に説明する。例示的実施形態の説明は、例示的なものにすぎず、決して本開示、その適用分野、または使用を限定することは意図されていない。本開示は、多くのさまざまな形態で具現化することができ、本明細書において説明する実施形態に限定されない。これらの実施形態は、本開示が網羅的で完全なものとなるように、また本開示の範囲を当業者に十分に伝えるために、提供するものである。これらの実施形態において記載した、部分およびステップの相対的配置、材料の組成、ならびに値は、別段の明記のない限り、限定的なものではなく単なる例示的なものと解釈すべきであることに留意されたい。

【0027】

本開示における「含む(including)」または「備える(comprising)」などの使用は、先行する要素が、その後に列挙された要素を包含することを意味するものであり、他の要素も包含されることがあるという可能性を除外しない。

【0028】

別段の明確な定めのない限り、本明細書において使用される(技術用語および科学用語を含む)全ての用語は、本開示にふさわしい当業者によって一般に理解されるものと同じ意味を有する。一般に使用される辞書に定義されているような用語は、関連技術の文脈におけるそれらの意味と一致する意味を有するものと解釈すべきであり、本明細書において明示的にそのように定義されない限り、理想化された意味または過度に形式的な意味に解釈されないことが、さらに理解されよう。

【0029】

当業者に知られる技法、方法、およびデバイスについては、詳細に論じていないことがあるが、それらは、適切な場合、本明細書の一部であることが意図されている。

【0030】

本発明者らは、技術の発展に伴って、監視カメラが強力になるほど、プライバシー情報を収集するためにそれらが悪用される可能性が高くなる、と言及してきた。監視システムを担当することを認可されたセキュリティ担当者が、のぞき見およびネットワーク追跡にカメラを悪用し、認可のない状態で個人の活動または行動のデータを収集するおそれがある。パンチルトカメラ(PTZ(パン/チルト/ズーム、水平方向回転のパン/垂直方向回転のチルト/レンズのズーム制御))などの操作型カメラが、監視目的で個人宅の撮影に使用されることがある。現在のところ、監視カメラシステム内にプライバシー保護メカニズムは設けられておらず、したがって、プライバシー保護を効果的に実現することはできない。

【0031】

したがって、本開示は、監視システムがプライバシー認知能力を有することを可能にする、プライバシーを保護するための解決策を提供する。

【0032】

図1は、本開示の一実施形態におけるプライバシーを保護するための方法の流れ図である。いくつかの実施形態では、プライバシーを保護するための方法の以下のステップが、エッジデバイスによって実施される。

【0033】

ステップ101において、カメラによって捕捉されたビデオ情報が取得される。

【0034】

ステップ102において、ビデオ情報に対してビデオセグメンテーションプロセスが実施されて、オリジナルビデオフレームが得られる。

【0035】

ステップ103において、オリジナルビデオフレーム内にプライバシー情報が含まれているかどうかが検出される。

【0036】

いくつかの実施形態では、トレーニング済みのターゲット検出アルゴリズムがエッジデバイス上にデプロイされてその上で走り、ビデオ解析、情報抽出、オブジェクト検出などの機能が完了され、それにより、帯域幅の消費が大いに低減するように、エッジデバイス上にシングルボードコンピュータ(SBC)が設置される。

【0037】

例えば、エッジデバイス上にトレーニング済みのニューラルネットワークモデルをロードすることによって、オリジナルビデオフレームがプライバシー情報を含んでいるかどうかを判定するために、オリジナルビデオフレームが事前設定のプライバシーポリシーに従って検査される。

【0038】

オリジナルビデオフレームがプライバシー情報を含んでいるという条件の下で、ステップ104が実施され、オリジナルビデオフレームがプライバシー情報を含んでいないという条件の下で、ステップ105が実施される。

【0039】

ステップ104において、オリジナルビデオフレーム内のプライバシー情報を含むエリアがマスクされて、マスク付きフレームが生成し、マスク付きフレームが出力ビデオフレームとして利用される。

【0040】

いくつかの実施形態では、事前生成された公開鍵を使用することによって画像マスクが生成され、オリジナルビデオフレーム内のプライバシー情報を含むエリアが、画像マスクによってマスクされて、マスク付きフレームが生成する。公開鍵に対応する秘密鍵が、格納するためにブロックチェーンノードに送信される。

【0041】

出力ビデオフレーム内のプライバシー情報を含むエリアに対してマスクプロセスがすでに実施されているので、プライバシー情報の漏洩を効果的に回避することができる。

【0042】

ステップ105において、オリジナルビデオフレームが出力ビデオフレームとして利用される。

【0043】

本開示の上記の実施形態によって提供される、プライバシーを保護するための方法では、エッジデバイスが、ビデオフレームがプライバシー情報を含んでいることをエッジデバイスが検出したという条件の下で、プライバシー情報を含むエリアに対してマスクプロセスを実施し、それにより、プライバシー情報の保護を効果的に実施する。

【0044】

いくつかの実施形態では、エッジデバイスのコンピューティングリソースが限られており、リアルタイムビデオ解析の要件を満たすのに十分ではないという条件の下で、エッジコンピューテーションとフォグコンピューテーションとをミックスすることができ、コンピューテーションタスクの少なくとも一部分が、その近距離場内の、基地局、ラップトップ機、タブレット機、スマートフォンなどのフォグノード内にロードされる。

【0045】

いくつかの実施形態では、エッジデバイスがさらに、マスク付きフレーム内に事前設定の行動情報が含まれているかどうかを検出し、マスク付きフレーム内に事前設定の行動情報が含まれているという条件の下で、マスク付きフレームを対応するブロックチェーンノードに送信し、それにより、ブロックチェーンノードがマスク付きフレームをストレージサーバ内に格納する。

【0046】

例えば、事前設定の行動は、不法な犯罪行動とすることができ、マスク付きフレームをストレージサーバ内に格納することは、将来の関連作業にとっての助けとなることができる。

【0047】

ここで、ブロックチェーンノードは、格納されたビデオフレームに関連するアドレス情報、認証情報(例えばハッシュ、ダイジェストなど)、関連のアクセス情報などのみを格納することに留意されたい。例えば、ブロックチェーンネットワーク内のブロックチェーンノードは、エッジデバイスによって送信されたビデオフレームを受信した後で、そのビデオフレームのハッシュを計算する。ブロックチェーンノードは、ビデオフレームをストレージサーバ内に格納した後で、対応するハッシュおよびアドレス情報を格納し、格納されたハッシュおよびアドレス情報を、ブロックチェーンネットワーク内の他のブロックチェーンノードに流す。情報を受信したブロックチェーンノードは、ビデオフレームにアクセスし、そのビデオフレームのハッシュを計算する。ビデオフレームの完全性を確実なものにするために、計算されたハッシュを受信したハッシュと比較することによって、ビデオフレームが改ざんされていないことが効果的に保証される。

【0048】

図2は、本開示の別の実施形態におけるプライバシーを保護するための方法を示す流れ図である。いくつかの実施形態では、プライバシーを保護するための方法の以下のステップが、エッジデバイスによって実施される。

【0049】

ステップ201において、ユーザ端末によってブロックチェーンネットワークを通じて送信されたアクセス要求から、証明書が抽出される。

【0050】

ブロックチェーンノードは、ユーザ端末がブロックチェーンノードにアクセスしたという条件の下で、ユーザ端末に対して認証を実施し、認証がパスした後で、ユーザ端末に、対応する証明書を発行することに留意されたい。

【0051】

ステップ202において、証明書に従ってユーザ端末がアクセス権を有するかどうかが判定される。

【0052】

ステップ203において、証明書に従ってユーザ端末がアクセス権を有すると判定されたという条件の下で、出力ビデオフレームが再生のためにユーザ端末に供給される。

【0053】

すなわち、ユーザ端末がエッジデバイスにアクセスする権限を有することを証明書が示すという条件の下で、ユーザ端末はエッジデバイスにアクセスし、それによって、ユーザは、エッジデバイスによって出力されたリアルタイムビデオを視聴する。エッジデバイスは、プライバシー情報のないビデオフレームは直接出力するので、ユーザは、マスクのない明瞭なフレームを観視する。加えて、エッジデバイスは、プライバシー情報に関係のあるビデオフレームには画像マスクを追加し、それによって、ユーザが観視するものはマスク付きフレームとなる。

【0054】

いくつかの実施形態では、ユーザが画像マスクのないビデオフレームを観視したいという条件の下で、ユーザは、ユーザ端末を使用して、秘密鍵を求める要求をブロックチェーンノードに送信する。ブロックチェーンノードは、ユーザ端末の権限を検証した後で、ユーザ端末によってアクセスされたエッジデバイスに関連する秘密鍵をユーザ端末に送信する。エッジデバイスは、ユーザ端末から提供された秘密鍵を受信した後で、出力ビデオフレーム内のマスク付きフレームの画像マスクを、秘密鍵を使用することによって取り除き、それによって、画像マスクのないビデオフレームが得られる。したがって、ユーザによって観視されるビデオフレームのいずれも、画像マスクを含まない。

【0055】

いくつかの実施形態では、エッジデバイスは、出力ビデオフレームをユーザ端末に供給するプロセスにおいて、生成されたマスク付きフレームの数を検出する。生成されたマスク付きフレームの数が事前設定のしきい値よりも大きい場合、エッジデバイスとブロックチェーンネットワークとの間の接続が遮断される。

【0056】

例えば、ユーザが、公の場におけるリアルタイムビデオ情報を視聴するために、ブロックチェーンネットワークを通じてエッジデバイスにアクセスすることを認可される。このユーザが、別のユーザのプライバシーを得ようとして、カメラの方向を操作し家屋の窓を通じてのぞき見することによって個人宅の画像を捕捉する場合、このプロセスにおいて、エッジデバイスは大量のマスク付きフレームを生成することになり、この場合、エッジデバイスは、ブロックチェーンネットワークから退出するようにトリガされ、それによって、ユーザが別のユーザのプライバシーをのぞき見するために、認可された範囲を超過するという状況が、効果的に回避される。

【0057】

いくつかの実施形態では、出力ビデオフレームをユーザ端末に供給するプロセスにおいて、ユーザ端末によって送信された遮断命令に従って、エッジデバイスとブロックチェーンネットワークとの間の接続が遮断される。

【0058】

例えば、上述したエッジデバイスが装備された無人航空機は、いくつかのシーンにおいて、より多くのユーザプライバシーを捕捉することがあり、エッジデバイスは、多数のマスク付きフレームを生成することがある。この場合、認可されたユーザが、エッジデバイスをブロックチェーンネットワークから退出するようにトリガするための命令をエッジデバイスに送信し、それにより、エッジデバイスがユーザプライバシー情報にできるだけ関与しないことが確実になる。

【0059】

図3は、本開示の一実施形態によるプライバシーを保護するためのエッジデバイスの概略構造図である。図3に示すように、エッジデバイスは、情報取得モジュール31と、情報処理モジュール32と、プライバシー検出モジュール33と、保護モジュール34とを備える。

【0060】

情報取得モジュール31は、カメラによって収集されたビデオ情報を取得することを行うように構成される。

【0061】

情報処理モジュール32は、ビデオ情報に対してビデオセグメンテーション処理を実施して、オリジナルビデオフレームを得ることを行うように構成される。

【0062】

プライバシー検出モジュール33は、オリジナルビデオフレーム内にプライバシー情報が含まれているかどうかを検出することを行うように構成される。

【0063】

例えば、エッジデバイス上にトレーニング済みのニューラルネットワークモデルをロードすることによって、オリジナルビデオフレームがプライバシー情報を含んでいるかどうかを判定するために、オリジナルビデオフレームが事前設定のプライバシーポリシーに従って検査される。

【0064】

保護モジュール34は、オリジナルビデオフレームがプライバシー情報を含んでいるという条件の下で、オリジナルビデオフレームのプライバシー情報を含むエリアをマスクして、マスク付きフレームを得、マスク付きフレームを出力ビデオフレームとして利用することを行うように構成される。

【0065】

いくつかの実施形態では、保護モジュール34は、事前生成された公開鍵を使用して画像マスクを生成し、オリジナルビデオフレームのプライバシー情報を含むエリアを、画像マスクを用いてマスクして、マスク付きフレームを生成し、公開鍵に対応する秘密鍵を、格納するためにブロックチェーンノードに送信する。

【0066】

保護モジュール34はさらに、オリジナルビデオフレームがプライバシー情報を含んでいないという条件の下で、オリジナルビデオフレームを出力ビデオフレームとして利用することを行うように構成される。

【0067】

本開示の上記の実施形態によって提供される、プライバシーを保護するためのエッジデバイスは、ビデオフレームがプライバシー情報を含んでいることをエッジデバイスが検出したという条件の下で、プライバシー情報を含むエリアに対してマスクプロセスを実施し、それにより、プライバシー情報の保護を効果的に実施する。

【0068】

いくつかの実施形態では、エッジデバイスのコンピューティングリソースが限られており、リアルタイムビデオ解析の要件を満たすのに十分ではないという条件の下で、エッジコンピューテーションとフォグコンピューテーションとをミックスすることができ、コンピューテーションタスクの少なくとも一部分が、その近距離場内の、基地局、ラップトップ機、タブレット機、スマートフォンなどのフォグノード内にロードされる。

【0069】

いくつかの実施形態では、保護モジュール34はさらに、マスク付きフレームが事前設定の行動情報を含んでいるかどうかを検出し、保護モジュール34は、マスク付きフレームが事前設定の行動情報を含んでいるという条件の下で、マスク付きフレームを対応するブロックチェーンノードに送信し、それによって、ブロックチェーンノードがマスク付きフレームをストレージサーバ内に格納する。

【0070】

例えば、事前設定の行動は、不法な犯罪行動とすることができ、マスク付きフレームをストレージサーバ内に格納することは、将来の関連作業にとっての助けとなることができる。

【0071】

いくつかの実施形態では、保護モジュール34は、ユーザ端末によってブロックチェーンネットワークを通じて送信されたアクセス要求から、証明書を抽出し、証明書に従ってユーザ端末がアクセス権を有するかどうかを判定する。保護モジュール34は、証明書に従ってユーザ端末がアクセス権を有することが判定されたという条件の下で、出力ビデオフレームを再生のためにユーザ端末に供給する。

【0072】

すなわち、ユーザ端末がエッジデバイスにアクセスする権限を有することを証明書が示すという条件の下で、ユーザ端末はエッジデバイスにアクセスし、それによって、ユーザは、エッジデバイスによって出力されたリアルタイムビデオを視聴する。エッジデバイスは、プライバシー情報のないビデオフレームは直接出力するので、ユーザは、マスクのない明瞭なフレームを観視する。加えて、エッジデバイスは、プライバシー情報に関係のあるビデオフレームには画像マスクを追加し、それによって、ユーザが観視するものはマスク付きフレームとなる。

【0073】

いくつかの実施形態では、ユーザが画像マスクのないビデオフレームを観視したいという条件の下で、ユーザは、ユーザ端末を使用して、秘密鍵を求める要求をブロックチェーンノードに送信する。ブロックチェーンノードは、ユーザ端末の権限を検証した後で、ユーザ端末によってアクセスされたエッジデバイスに関連する秘密鍵をユーザ端末に送信する。保護モジュール34は、ユーザ端末から提供された秘密鍵を受信した後で、出力ビデオフレーム内のマスク付きフレームの画像マスクを、秘密鍵を使用することによって取り除き、それによって、画像マスクのないビデオフレームが得られる。したがって、ユーザによって観視されるビデオフレームのいずれも、画像マスクを含まない。

【0074】

いくつかの実施形態では、保護モジュール34は、出力ビデオフレームをユーザ端末に供給するプロセスにおいて、生成されたマスク付きフレームの数を検出する。生成されたマスク付きフレームの数が事前設定のしきい値よりも大きい場合、エッジデバイスとブロックチェーンネットワークとの間の接続が遮断される。

【0075】

いくつかの実施形態では、保護モジュール34は、出力ビデオフレームをユーザ端末に供給するプロセスにおいて、ユーザ端末によって送信された遮断命令に従って、エッジデバイスとブロックチェーンネットワークとの間の接続を遮断する。

【0076】

図4は、本開示の別の実施形態によるプライバシーを保護するためのエッジデバイスの概略構造図である。図4に示すように、エッジデバイスは、メモリ41と、プロセッサ42とを備える。

【0077】

メモリ41は、命令を格納するために使用され、プロセッサ42は、メモリ41に結合され、メモリ内に格納された命令に基づいて、プロセッサ42は、図1または図2の実施形態のいずれかによる方法を実施するように構成される。

【0078】

図4に示すように、エッジデバイスは、他のデバイスとの情報対話のための通信インターフェース43をさらに備える。一方、エッジデバイスはバス44をさらに備え、プロセッサ42、通信インターフェース43、およびメモリ41が、このバス44を通じて相互に通信する。

【0079】

メモリ41は、高速RAMメモリを備えることができ、少なくとも1つのディスクメモリなどの不揮発性メモリを備えることもできる。メモリ41は、メモリアレイとすることもできる。ストレージ41は、ブロックに区分することもでき、それらのブロックは、ある特定のルールに従って組み合わせて仮想ボリュームにすることができる。

【0080】

さらに、プロセッサ42は、中央処理装置CPUとすることもでき、本開示の実施形態を実装するように構成された特定用途向け集積回路ASICまたは1つもしくは複数の集積回路とすることもできる。

【0081】

本開示は、非一時的コンピュータ可読記憶媒体にも関し、非一時的コンピュータ可読記憶媒体内には、コンピュータ命令が格納され、命令は、プロセッサによって実行されると、図1または図2の実施形態のいずれか1つによる方法を実施する。

【0082】

図5は、本開示の一実施形態によるビデオ処理デバイスの概略構造図である。図5に示すように、ビデオ処理デバイスは、カメラ51と、エッジデバイス52とを備える。エッジデバイス52は、図3または図4の実施形態のいずれかによるエッジデバイスである。

【0083】

図6は、本開示の一実施形態によるプライバシーを保護するためのシステムの概略構造図である。図6に示すように、システムは、ブロックチェーンネットワーク60内に配設されたブロックチェーンノード61と、ビデオ処理デバイス62と、ストレージサーバ63とを備える。ブロックチェーンノード61、ビデオ処理デバイス62、およびストレージサーバ63の数は、必要に応じて調整できることに留意されたい。ビデオ処理デバイス62は、図5の実施形態のいずれかによるビデオ処理デバイスである。

【0084】

ブロックチェーンノード61は、ビデオ処理デバイス62によって送信されたマスク付きフレームをストレージサーバ63内に格納するように、マスク付きフレームのアクセス情報および認証情報を記録するように、かつマスク付きフレームのアクセス情報および認証情報を、ブロックチェーンネットワーク60内の他のブロックチェーンノードに送信するように構成される。

【0085】

ストレージサーバ63は、ブロックチェーンノードによって送信されたマスク付きフレームを格納するように構成される。

【0086】

いくつかの実施形態では、ブロックチェーンノード61は、ユーザ端末によって送信されたアクセス要求を受信した後でユーザ端末を認証することと、認証がパスした後でユーザ端末に証明書を発行することとを行うように構成され、それにより、ユーザ端末が、ビデオ処理デバイス62の出力ビデオフレームを、証明書を使用することによって取得するか、またはストレージサーバ内の指定のマスク付きフレームを取得する。

【0087】

ユーザ端末は、認証をパスした後で、指定のビデオ処理デバイスに、ブロックチェーンノードによって発行された証明書を使用することによってアクセスし、それによって、ユーザはリアルタイムビデオ情報を観視することができ、ここで、リアルタイムビデオ情報は、画像マスクのないビデオフレーム、および画像マスクのあるビデオフレームを含む。加えて、ユーザ端末は、認証をパスした後で、ストレージサーバ内の指定のビデオフレームのマスク付きフレームにも、ブロックチェーンノードによって発行された証明書を使用することによってアクセスすることができる。

【0088】

ここで、ストレージサーバ63内の全てのビデオフレームは、マスク付きフレームであることに留意されたい。ユーザが画像マスクのないビデオフレームを視聴したい場合、ユーザは、ユーザ端末を使用して、秘密鍵要求をブロックチェーンノード61に送信する。ブロックチェーンノード61は、ユーザ端末の権限を検証した後で、ユーザ端末によってアクセスされたエッジデバイスに関連する秘密鍵をユーザ端末に送信する。ストレージサーバ63は、ユーザ端末から提供された秘密鍵を受信した後で、出力ビデオフレーム内のマスク付きフレームの画像マスクを、秘密鍵を使用することによって取り除き、それによって、画像マスクのないビデオフレームが得られる。したがって、ユーザによって観視されるビデオフレームのいずれも、画像マスクを含まない。

【0089】

いくつかの実施形態では、上述した機能ユニットモジュールは、汎用プロセッサ、プログラマブルロジックコントローラ(PLC)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブルロジックデバイス、個別のゲートもしくはトランジスタ論理回路、個別のハードウェア構成要素、または本開示において説明した機能を実施するためのそれらの任意の適切な組合せとして実装することができる。

【0090】

以上、本開示の実施形態について詳細に説明してきた。当技術分野でよく知られている一部の詳細については、本開示の概念を不明瞭にしないようにするために説明していない。当業者はこの時点で、前述の説明に鑑みて、本明細書において開示した技術的解決策の実施の仕方を十分に理解することができよう。

【0091】

本開示のいくつかの特定の実施形態について、例によって詳細に説明してきたが、上記の例は、本開示の範囲を限定することが意図されているのではなく例示のためのものにすぎないことを、当業者には理解されたい。本開示の範囲および趣旨から逸脱することなく、さまざまな変更を加えることができ、技術的特徴の役割を均等物で置換できることが、当業者には理解されよう。本開示の範囲は、添付の特許請求の範囲によって定められる。

【符号の説明】

【0092】

31 情報取得モジュール
32 情報処理モジュール
33 プライバシー検出モジュール
34 保護モジュール
41 メモリ、ストレージ
42 プロセッサ
43 通信インターフェース
44 バス
51 カメラ
52 エッジデバイス
60 ブロックチェーンネットワーク
61 ブロックチェーンノード
62 ビデオ処理デバイス
63 ストレージサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】