特表 2024-534670 画像データのマスキング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-20

(54)【発明の名称】画像データのマスキング方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240912BHJP

   G06V 10/56 20220101ALI20240912BHJP

   G06V 10/25 20220101ALI20240912BHJP

   G06T 1/00 20060101ALI20240912BHJP

   G06T 5/20 20060101ALI20240912BHJP

【ＦＩ】

G06T7/00 Z

G06V10/56

G06V10/25

G06T1/00 500B

G06T5/20

G06T7/00 350B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024519628

(86)(22)【出願日】2022-09-22

(85)【翻訳文提出日】2024-03-29

(86)【国際出願番号】 CN2022120560

(87)【国際公開番号】W WO2023051377

(87)【国際公開日】2023-04-06

(31)【優先権主張番号】202111161187.X

(32)【優先日】2021-09-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522378775

【氏名又は名称】北京地平▲線▼信息技▲術▼有限公司

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ズオ、ツイリェン

(72)【発明者】

【氏名】ワン、グゥオリー

(72)【発明者】

【氏名】ジャン、チェン

(72)【発明者】

【氏名】フアン、チャン

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA12

5B057CB20

5B057CD08

5B057CE04

5B057CE08

5B057DB06

5L096AA02

5L096DA05

5L096EA02

5L096FA15

5L096HA11

(57)【要約】

【解決手段】本開示の実施例は、画像データのマスキング方法及び装置を開示し、ここで、当該マスキング方法は、オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するステップと、前記目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、前記目標画像チャネルの色成分に対応するシングルチャネル画像を得るステップと、前記シングルチャネル画像から目標対象を認識するステップと、前記目標対象に基づいて前記オリジナル画像における敏感領域を決定するステップと、前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うステップと、を含む。本開示の実施例は、後続のデジタル画像信号処理フローにおいて、プライベート画像データの保存及び漏洩を確実に防止することができ、画像データの生成元でプライベートデータを保護し、データの安全性を向上させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するステップと、
前記目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、前記目標画像チャネルの色成分に対応するシングルチャネル画像を得るステップと、
前記シングルチャネル画像から目標対象を認識するステップと、
前記目標対象に基づいて前記オリジナル画像における敏感領域を決定するステップと、
前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うステップと、を含む、画像データのマスキング方法。

【請求項2】

オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するステップは、
画像センサの配列分布情報に基づいて、前記オリジナル画像に対応する複数のシングルチャネル画像を決定するステップであって、前記複数のシングルチャネル画像の画像サイズは、いずれも前記オリジナル画像の画像サイズよりも小さいステップと、
前記複数のシングルチャネル画像に基づいて、前記目標画像チャネルを決定するステップと、を含む、請求項１に記載の画像データのマスキング方法。

【請求項3】

オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するステップは、
前記オリジナル画像に対して画像補間処理を行い、前記オリジナル画像に対応する複数のシングルチャネル画像を決定するステップであって、前記複数のシングルチャネル画像の画像サイズは、いずれも前記オリジナル画像の画像サイズと同じであるステップと、
前記複数のシングルチャネル画像に基づいて、前記目標画像チャネルを決定するステップと、を含む、請求項１に記載の画像データのマスキング方法。

【請求項4】

前記シングルチャネル画像から目標対象を認識するステップは、
予めトレーニングされた認識モデルにより、前記シングルチャネル画像から目標対象を認識するステップを含む、請求項１に記載の画像データのマスキング方法。

【請求項5】

前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うステップは、
前記敏感領域内の画素を目標画素値として設定するステップであって、前記目標画素値と画素境界値との間の差分値は、予め設定された差分値の範囲内にあるステップを含む、請求項１に記載の画像データのマスキング方法。

【請求項6】

前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うステップは、
前記敏感領域に対して画像ぼかし処理を行うステップを含む、請求項１に記載の画像データのマスキング方法。

【請求項7】

前記敏感領域に対して画像ぼかし処理を行うステップは、
予め設定された畳み込みカーネルにより前記オリジナル画像の敏感領域に対して画像ぼかし処理を行うステップを含む、請求項１に記載の画像データのマスキング方法。

【請求項8】

オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するための画像チャネル決定モジュールと、
前記目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、前記目標画像チャネルの色成分に対応するシングルチャネル画像を得るためのシングルチャネル画像取得モジュールと、
前記シングルチャネル画像から目標対象を認識するための画像認識モジュールと、
前記目標対象に基づいて前記オリジナル画像における敏感領域を決定するための敏感領域決定モジュールと、
前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うためのデータマスキングモジュールと、を含む、画像データのマスキング装置。

【請求項9】

請求項１～７のいずれか１項に記載の画像データのマスキング方法を実行するためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【請求項10】

プロセッサと、
前記プロセッサが実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を前記メモリから読み取り、前記命令を実行して、請求項１～７のいずれか１項に記載の画像データのマスキング方法を実現するために用いられる、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、２０２１年９月３０日に提出された、出願番号が２０２１１１１６１１８７．Ｘであり、発明の名称が「画像データのマスキング方法及び装置」の中国特許出願の優先権を主張し、その全ての内容は、参照により本開示に組み込まれる。

【0002】

本開示は、コンピュータビジョン技術に関し、特に画像データのマスキング方法及び装置に関する。

【背景技術】

【0003】

インテリジェント認識技術の発展に伴い、データプライバシー問題は、ますます広く注目されている。どのように収集された画像におけるプライベートデータの安全性を保証するかは、早急に解決すべき問題である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記技術的問題を解決するために、本開示を提案する。本開示の実施例は、画像データのマスキング方法及び装置を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例の第１の態様に係る画像データのマスキング方法は、
オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するステップと、
前記目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、前記目標画像チャネルの色成分に対応するシングルチャネル画像を得るステップと、
前記シングルチャネル画像から目標対象を認識するステップと、
前記目標対象に基づいて前記オリジナル画像における敏感領域を決定するステップと、
前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うステップと、を含む。

【0006】

本開示の実施例の第２の態様に係る画像データのマスキング装置は、
オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するための画像チャネル決定モジュールと、
前記目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、前記目標画像チャネルの色成分に対応するシングルチャネル画像を得るためのシングルチャネル画像取得モジュールと、
前記シングルチャネル画像から目標対象を認識するための画像認識モジュールと、
前記目標対象に基づいて前記オリジナル画像における敏感領域を決定するための敏感領域決定モジュールと、
前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うためのデータマスキングモジュールと、を含む。

【0007】

本開示の実施例の第３の態様は、上記第１の態様に記載の画像データのマスキング方法を実行するためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供する。

【0008】

本開示の実施例の第４の態様に係る電子機器は、
プロセッサと、
前記プロセッサが実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を前記メモリから読み取り、前記命令を実行して、上記第１の態様に記載の画像データのマスキング方法を実現するために用いられる。

【発明の効果】

【0009】

本開示の上記実施例に係る画像データのマスキング方法及び装置に基づいて、まずオリジナル画像における目標認識を行う必要がある目標画像チャネルを決定し、続いて目標画像チャネルのオリジナルデータに対してシングルチャネル画像を生成し、次にシングルチャネル画像において目標対象を認識し、さらに認識された目標対象に基づいてオリジナル画像における敏感領域を決定し、最後に敏感領域におけるオリジナルデータに対してデータマスキング処理を行い、後続のデジタル画像信号処理フローにおいて、プライベート画像データの保存及び漏洩を確実に防止し、画像データの生成元でプライベートデータを保護し、データの安全性を向上させる。

【0010】

以下、図面及び実施例により、本開示の技術的解決手段をさらに詳細に説明する。

【図面の簡単な説明】

【0011】

図面を参照して本開示の実施例をより詳細に説明し、本開示の上記及び他の目的、特徴や利点は、より明らかになる。図面は、本開示の実施例をさらに理解するために用いられ、明細書の一部になり、本開示の実施例とともに本開示を解釈するために用いられ、本開示を限定するものではない。図面において、一般的には、同じ符号は、同じ構成要素又はステップを示す。

【図1】本開示の実施例の画像データのマスキング方法のフローチャートである。

【図2】本開示の一例におけるオリジナル画像からオリジナル画像における敏感領域を決定する概略図である。

【図3】本開示の一実施例におけるステップＳ１のフローチャートである。

【図4】本開示の別の実施例におけるステップＳ１のフローチャートである。

【図5】本開示の別の例においてオリジナル画像に対して画像補間処理を行ってシングルチャネル画像を得る概略図である。

【図6】図５に対応する例においてシングルチャネル画像に基づいて局所的にオリジナル画像における敏感領域を決定する概略図である。

【図7】本開示の実施例の画像データのマスキング装置の構造のブロック図である。

【図8】本開示の一実施例における画像チャネル決定モジュール１００の構造のブロック図である。

【図9】本開示の別の実施例における画像チャネル決定モジュール１００の構造のブロック図である。

【図10】本開示の一例示的な実施例に係る電子機器の構造図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示による例示的な実施例を詳細に説明する。明らかに、説明される実施例は、本開示の一部の実施例に過ぎず、本開示の全ての実施例ではなく、理解すべきなのは、本開示は、本明細書に説明される例示的な実施例に限定されない。

【0013】

これらの実施例に述べる構成要素及びステップの相対的な配置、数字の表現式及び数値は、特に具体的に説明しない限り、本開示の範囲を限定しないことに留意されたい。

【0014】

当業者であれば理解されるように、本開示の実施例における「第１」、「第２」などの用語は、異なるステップ、機器又はモジュールなどを区別するために用いられ、いかなる特定の技術的意味を表すものではなく、それらの間の必然的な論理的順序を表すものでもない。

【0015】

また、理解すべきなのは、本開示の実施例では、「複数」は、２つ又は２つ以上を指すことができ、「少なくとも１つ」は、１つ、２つ又は２つ以上を指すことができる。

【0016】

本開示の実施例は、端末機器、コンピュータシステム、サーバなどの電子機器に適用することができ、他の多くの汎用又は専用のコンピューティングシステム環境又はコンフィギュレーションと共に操作することができる。端末機器、コンピュータシステム、サーバなどの電子機器と組み合わせて使用することに適する周知の端末機器、コンピューティングシステム、環境、及び／又はコンフィギュレーションの例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラム可能な家電製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム及び上記いずれかのシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

【0017】

例示的な方法
図１は、本開示の実施例の画像データのマスキング方法のフローチャートである。本実施例は、電子機器に適用することができ、図１に示すように、以下のステップを含む。

【0018】

Ｓ１において、オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定する。

【0019】

本開示の実施例において、オリジナル画像は、画像センサにより収集されるものである。例示的に、オリジナル画像は、車両の運転支援や自動運転の時に車内の画像センサで収集された、画像復元されていない運転者のｒａｗ画像や、車内の画像センサで収集された、画像復元されていない同乗者のｒａｗ画像であってもよい。

【0020】

オリジナル画像を取得した後に、自車制御システム又は自車を接続して制御することができる端末（例えば携帯電話又はサーバ）により、オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定する。

【0021】

図２は、本開示の一例におけるオリジナル画像からオリジナル画像における敏感領域を決定する概略図である。図２に示すように、本例において、オリジナル画像の解像度は、８×８であり、チャネル分離後に得られたシングルチャネル画像の解像度は、４×４（例えばＲチャネル画像の解像度は、４×４である）であってもよく、実際にオリジナル画像の解像度は、画像センサの解像度により決定され、図２に示す８×８の解像度及び４×４の解像度は、概略的な説明のみであり、本開示に対する制限を形成することができず、本開示の実施例は、オリジナル画像及びマスク画像の具体的なサイズを限定せず、例えば、オリジナル画像は、解像度１９２０×１２８０の画像、解像度１０２４×７６８の画像、又は他のサイズの画像を採用することができる。

【0022】

目標画像チャネルは、Ｒチャネル、Ｇチャネル及びＢチャネルのうちのいずれかであってもよく、具体的には、ユーザーの設定に基づいて決定され、又はＲチャネル画像、Ｇチャネル画像及びＢチャネル画像の画質に基づいて目標画像チャネルを決定する。

【0023】

なお、以下の実施例は、自車制御システムを例として画像データのマスキングを行うが、当業者であれば分かるように、自車を接続して制御することができる端末を採用して画像データのマスキングを行うことができる。

【0024】

Ｓ２において、目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、目標画像チャネルの色成分に対応するシングルチャネル画像を得る。例えば、目標画像チャネルがＲチャネルである場合、Ｒチャネルに対応するオリジナルデータに対して画像復元を行い、色成分がＲであるシングルチャネル画像、すなわちＲチャネル画像を得る。

【0025】

Ｓ３において、シングルチャネル画像から目標対象を認識する。

【0026】

具体的には、画像認識技術により、シングルチャネル画像における目標対象を決定する。ここで、目標対象は、行動認識タスクに基づいて決定される。例示的に、オリジナル画像が車内の運転者のｒａｗ画像であり、且つ行動認識タスクが運転者の電話をかけることによる認識である場合、Ｒチャネル画像における運転者の横顔領域及び手部領域を目標対象とすることができる。

【0027】

Ｓ４において、目標対象に基づいてオリジナル画像における敏感領域を決定する。

【0028】

具体的には、まず、目標対象のシングルチャネル画像における位置を決定し、例えば図２に示す例では、目標対象のシングルチャネル画像における位置は、シングルチャネル画像の中央の４格子の画像領域を含む。次にシングルチャネル画像とオリジナル画像との間の対応関係に基づき、オリジナル画像における敏感領域を決定することができ、例えば図２に示す例では、オリジナル画像における敏感領域は、オリジナル画像の中央の１６格子の画像領域である。

【0029】

Ｓ５において、敏感領域におけるオリジナルデータに対してデータマスキング処理を行う。ここで、データマスキング処理の方法は、敏感領域内の画素の画素値を調整すること、又は敏感領域に対して画像ぼかし処理を行うこと、などを含むことができる。

【0030】

本実施例において、まずオリジナル画像における目標認識を行う必要がある目標画像チャネルを決定し、続いて目標画像チャネルのオリジナルデータに対してシングルチャネル画像を生成し、次にシングルチャネル画像において目標対象を認識し、さらに認識された目標対象に基づいてオリジナル画像における敏感領域を決定し、最後に敏感領域におけるオリジナルデータに対してデータマスキング処理を行い、後続のデジタル画像信号処理フローにおいて、プライベート画像データの保存及び漏洩を確実に防止することができ、画像データの生成元でプライベートデータを保護し、データの安全性を向上させる。

【0031】

図３は、本開示の一実施例におけるステップＳ１のフローチャートである。図３に示すように、ステップＳ１は、以下を含む。

【0032】

Ｓ１－Ａ－１において、画像センサの配列分布情報に基づいて、オリジナル画像に対応する複数のシングルチャネル画像を決定する。当該配列分布情報は、各チャネルの設定位置、すなわち、Ｒチャネル、Ｇチャネル及びＢチャネルの設定位置を含む。オリジナル画像の配列分布情報に基づいて、オリジナル画像に対応するＲチャネル画像、Ｇチャネル画像及びＢチャネル画像を得ることができる。

【0033】

図２におけるオリジナル画像を再び参照し、オリジナル画像には、画像センサの配列分布情報が示される。当該配列分布情報に基づき、オリジナル画像に対応するＲチャネル画像、Ｇチャネル画像及びＢチャネル画像を得ることができる。例えば、Ｒチャネル画像の解像度は、４×４であり、オリジナル画像の解像度は、８×８であり、本例において、Ｒチャネル画像の画像サイズは、オリジナル画像の画像サイズよりも小さい。

【0034】

Ｓ１－Ａ－２において、複数のシングルチャネル画像に基づいて、目標画像チャネルを決定する。

【0035】

具体的には、システム設定に基づいて、又は、Ｒチャネル画像、Ｇチャネル画像及びＢチャネル画像の画質に基づいて、１つの画像チャネルを目標画像チャネルとして選択することができ、例えば、Ｒチャネルを目標画像チャネルとして選択する。

【0036】

本実施例において、オリジナル画像のシングルチャネル画像データに直接基づいて目標認識を行う利点は、補間ステップで補間してフル解像度の画像を取得する必要がないため、アルゴリズムの実現上の複雑度を大幅に低減させることである。

【0037】

図４は、本開示の別の実施例におけるステップＳ１のフローチャートである。図４に示すように、ステップＳ１は、以下を含む。

【0038】

Ｓ１－Ｂ－１において、オリジナル画像に対して画像補間処理を行い、オリジナル画像に対応する複数のシングルチャネル画像を決定する。ここで、複数のシングルチャネル画像の画像サイズは、いずれもオリジナル画像の画像サイズと同じである。

【0039】

図５は、本開示の別の例においてオリジナル画像に対して画像補間処理を行ってシングルチャネル画像を得る概略図である。図５に示すように、本例において、オリジナル画像の解像度は、８×８であり、画像補間処理後の複数のシングルチャネル画像の解像度も８×８である。例えば、本例において、Ｒチャネルの画像の解像度は、８×８であり、Ｇチャネルの画像の解像度は、８×８であり、Ｂチャネルの画像の解像度は、８×８であり、オリジナル画像の解像度も、８×８である。本例において、Ｒチャネル画像、Ｇチャネル画像及びＢチャネル画像の画像サイズは、いずれもオリジナル画像の画像サイズに等しい。

【0040】

なお、図５に示した８×８の解像度は、概略的な説明のみであり、実際にオリジナル画像及び画像補間処理後のシングルチャネル画像は、解像度１９２０×１２８０の画像、解像度１０２４×７６８の画像、又は他のサイズの画像を採用することができる。

【0041】

本開示の実施例において、画像補間処理の方法には、最近傍補間処理、バイリニア補間処理、バイキュービック補間処理及び画像エッジ勾配情報に基づく適応型画像補間処理などが含まれる。ここで、最近傍補間処理は、０次補間とも呼ばれ、変換後の画素の階調値を、それに最も近い入力画素の階調値に等しくさせる。バイリニア補間処理は、２方向にそれぞれ一回の線形補間を行い、例えば、まず水平方向に一回の線形補間を行い、続いて垂直方向にさらに一回の線形補間を行い、二回の線形補間により最終的にある位置の画素値を得ることができる。バイキュービック補間処理は、被補間画素の４×４近傍内の１６個のサンプリング点に対して加重平均を行うことにより得られ、２つの多項式を使用して三次関数を補間する必要があり、各方向は、１つを使用する。画像エッジ勾配情報に基づく適応型画像補間方法は、アップサンプリング補間を行う時に、距離に関連する重み情報を考慮する以外に、画像の勾配に基づいて、エッジ勾配に関連する重み情報を考慮する必要があり、画像エッジ方向に沿った場合、画像の勾配値が比較的小さく、画像エッジ方向に垂直な場合、画像の勾配値が比較的大きく、すなわちエッジ方向に沿った画素補間重みがより大きく、エッジ方向に垂直な画素補間重み値がより小さく、画像エッジ位置の補間表現がより良好であることを保証することができる。

【0042】

Ｓ１－Ｂ－２において、複数のシングルチャネル画像に基づき、目標画像チャネルを決定する。

【0043】

具体的には、目標画像チャネルは、Ｒチャネル、Ｇチャネル及びＢチャネルのうちのいずれかであってもよく、具体的には、ユーザーの設定に基づいて決定され、又はＲチャネル画像、Ｇチャネル画像及びＢチャネル画像の画質に基づいて決定される。

【0044】

図６は、図５に対応する例においてシングルチャネル画像に基づいてオリジナル画像における敏感領域を決定する概略図である。図６に示すように、シングルチャネル画像の画像サイズとオリジナル画像の画像サイズとが同じである場合、目標対象のシングルチャネル画像における位置は、シングルチャネル画像の中央の１６格子の画像領域を含み、オリジナル画像における敏感領域もオリジナル画像の中央の１６格子の画像領域であり、両者の画像領域の位置が対応する。

【0045】

本実施例において、オリジナル画像補間を利用してＲＧＢの３つのチャネルの
フル解像度の画像を取得し、例えば、解像度が８×８のオリジナル画像に対し、図５に示す画像補間処理により得られたシングルチャネル画像の解像度は、８×８であり、図２に示すチャネル分離により得られたシングルチャネル画像の解像度は、４×４であり、したがって、画像補間処理により得られたシングルチャネル画像は、オリジナル画像に対してチャネル分離を行って得られたシングルチャネル画像に対し、解像度がより高く、含まれる情報がより全面的であり、後続のステップが敏感情報の認識を行うことにより有利である。

【0046】

本開示の１つの実施例において、ステップＳ３は、具体的には、予めトレーニングされた認識モデルにより、シングルチャネル画像から目標対象を認識することを含む。

【0047】

本実施例において、以下の方法により認識モデルをトレーニングする。

【0048】

初期モデルに基づいてサンプルシングルチャネル画像から全層畳み込みネットワークによりダウンサンプリングを行う。

【0049】

次に、ダウンサンプリングした後、初期モデルに基づいてアップサンプリングを行ってサンプルシングルチャネル画像と同じ画像サイズに戻す。

【0050】

続いて、初期モデルに基づいて当該サンプルシングルチャネル画像に対して画素ごとに予測を行い、予測結果とサンプルシングルチャネル画像の分類ラベルとの間の差異に基づいて逆伝播を行って初期モデルのパラメータを更新し、反復停止条件を満たした後、最終的な認識モデルを得る。

【0051】

目標認識を行う必要があるシングルチャネル画像を認識モデルの入力とし、認識モデルによりシングルチャネル画像における目標対象を認識することができる。

【0052】

本実施例において、予めトレーニングされた認識モデルにより、シングルチャネル画像における目標対象を迅速かつ正確に認識することができ、後続のステップにおいてオリジナル画像における敏感領域を決定すること及び敏感領域におけるオリジナルデータに対してデータマスキング処理を行うことに役立つ。

【0053】

本開示の１つの実施例において、ステップＳ５は、敏感領域内の画素を目標画素値として設定することを含む。ここで、目標画素値と画素境界値との間の差分値は、予め設定された差分値の範囲内にあり、例えば、予め設定された差分値の範囲は、［０，５］であることができる。

【0054】

本開示の一例において、オリジナル画像における画素値の範囲が０から２５５である場合、予め設定された差分値の範囲は、［０，５］であり、この時の目標画素値は、０、１、２、３、４、２５１、２５２、２５３、２５４又は２５５であってもよい。

【0055】

本実施例において、オリジナル画像における目標敏感画像領域内の画素を目標画素値として設定することにより、実ユーザーのプライベートデータが逆復元されることを防止することができ、オリジナル画像を画像復元した後にＲＧＢトゥルーカラー画像を形成した後、ユーザーのプライベートデータも復元されることを回避し、それによりユーザーのプライバシーを効果的に保護する。

【0056】

本開示の別の実施例において、ステップＳ５は、敏感領域に対して画像ぼかし処理を行い、例えばガウスぼかし処理を採用することを含む。

【0057】

本実施例において、オリジナル画像における敏感領域に対して画像ぼかし処理を行うことにより、ユーザーのプライバシーを効果的に保護することができる。

【0058】

さらに、予め設定された畳み込みカーネル（ｃｏｎｖｏｌｕｔｉｏｎ ｋｅｒｎｅｌ）によりオリジナル画像の敏感領域に対してぼかし処理を行い、予め設定された畳み込みカーネルのサイズ及び畳み込みカーネルの重み分布は、敏感領域に対応する目標物の機密度レベルタイプに基づいて決定することができ、目標物の機密度レベルタイプ標識により目標物（例えばオリジナル画像における運転者の目の領域）が高い機密性を必要とすることを示すと、畳み込みカーネルの解像度を大きく設定することができ、また、畳み込みカーネルの重みをより高いぼかし強度を有するように設定する必要があり、例えば、予め設定された畳み込みカーネルのサイズは、２１×２１であってもよく、それにより敏感領域の目標物が後続で復元されることを回避するように確保し、目標物の機密度レベルタイプ標識により目標物（例えばオリジナル画像における運転者の額の領域）の密度が低いことを示すと、畳み込みカーネルの解像度を小さく設定することができ、また、畳み込みカーネルの重みを相対的に弱いぼかし強度を有するように設定する必要があり、例えば、予め設定された畳み込みカーネルのサイズは、５×５であってもよく、小さい畳み込みカーネルのサイズにより画像ぼかしを行うことにより、画像ぼかし処理の複雑度を低減させ、画像ぼかし処理の効率を大幅に向上させることができる。

【0059】

本実施例において、オリジナル画像の敏感領域に対して予め設定された畳み込みカーネルにより画像ぼかし処理を行うことにより、ユーザーのプライバシーを効果的に保護することができる。

【0060】

本開示の実施例に係るいずれかの画像データのマスキング方法は、データ処理能力を有する任意の適切な機器により実行されることができ、端末機器及びサーバなどを含むがそれらに限定されない。また、本開示の実施例に係るいずれかの画像データのマスキング方法は、プロセッサにより実行されることができ、例えば、プロセッサは、メモリに記憶された対応する命令を呼び出すことにより本開示の実施例に言及するいずれかの画像データのマスキング方法を実行する。以下、説明を省略する。

【0061】

例示的な装置
図７は、本開示の実施例の画像データのマスキング装置の構造のブロック図である。図７に示すように、本開示の実施例の画像データのマスキング装置は、画像チャネル決定モジュール１００、シングルチャネル画像取得モジュール２００、画像認識モジュール３００、敏感領域決定モジュール４００及びデータマスキングモジュール５００を含む。

【0062】

ここで、画像チャネル決定モジュール１００は、オリジナル画像における目標認識を行う必要がある目標画像チャネルを決定するために用いられ、シングルチャネル画像取得モジュール２００は、前記目標画像チャネルに対応するオリジナルデータに対して画像復元を行い、前記目標画像チャネルの色成分に対応するシングルチャネル画像を得るために用いられ、画像認識モジュール３００は、前記シングルチャネル画像から目標対象を認識するために用いられ、敏感領域決定モジュール４００は、前記目標対象に基づいて前記オリジナル画像における敏感領域を決定するために用いられ、データマスキングモジュール５００は、前記敏感領域におけるオリジナルデータに対してデータマスキング処理を行うために用いられる。

【0063】

図８は、本開示の一実施例における画像チャネル決定モジュール１００の構造のブロック図である。図８に示すように、画像チャネル決定モジュール１００は、
画像センサの配列分布情報に基づいて、前記オリジナル画像に対応する複数のシングルチャネル画像を決定するための第１の決定ユニット１０１であって、前記複数のシングルチャネル画像の画像サイズは、いずれも前記オリジナル画像の画像サイズよりも小さい第１の決定ユニット１０１と、
前記複数のシングルチャネル画像に基づいて、前記目標画像チャネルを決定するための第２の決定ユニット１０２と、を含む。

【0064】

図９は、本開示の別の実施例における画像チャネル決定モジュール１００の構造のブロック図である。図９に示すように、画像チャネル決定モジュール１００は、
前記オリジナル画像に対して画像補間処理を行い、前記オリジナル画像に対応する複数のシングルチャネル画像を決定するための第３の決定ユニット１０３であって、前記複数のシングルチャネル画像の画像サイズは、いずれも前記オリジナル画像の画像サイズと同じである第３の決定ユニット１０３と、
前記複数のシングルチャネル画像に基づいて、前記目標画像チャネルを決定するための第４の決定ユニット１０４と、を含む。

【0065】

本開示の１つの実施例において、画像認識モジュール３００は、予めトレーニングされた認識モデルにより、前記シングルチャネル画像から目標対象を認識する。

【0066】

本開示の１つの実施例において、データマスキングモジュール５００は、前記敏感領域内の画素を目標画素値として設定するために用いられ、ここで、前記目標画素値と画素境界値との間の差分値は、予め設定された差分値の範囲内にある。

【0067】

本開示の１つの実施例において、データマスキングモジュール５００は、前記敏感領域に対して画像ぼかし処理を行うために用いられる。

【0068】

本開示の１つの実施例において、データマスキングモジュール５００は、予め設定された畳み込みカーネルにより前記オリジナル画像の敏感領域に対して画像ぼかし処理を行うために用いられる。

【0069】

なお、本開示の実施例の画像データのマスキング装置の具体的な実施形態は、本開示の実施例の画像データのマスキング方法の具体的な実施形態と類似し、具体的には、画像データのマスキング方法部分を参照することができ、冗長性を減少するために、説明を省略する。

【0070】

例示的な電子機器
以下、図１０を参照して本開示の実施例による電子機器を説明する。図１０に示すように、電子機器は、１つ又は複数のプロセッサ１１０、及びメモリ１２０を含む。

【0071】

プロセッサ１１０は、中央処理装置（ＣＰＵ）、又はデータ処理機能及び／又は命令実行機能を有する他の形態の処理ユニットであってもよく、また、電子機器における他のコンポーネントを制御して所望の機能を実行してもよい。

【0072】

メモリ１２０は、１つ又は複数のコンピュータプログラム製品を含むことができ、前記コンピュータプログラム製品は、例えば、揮発性メモリ及び／又は不揮発性メモリなどの、各種類の形態のコンピュータ読み取り可能な記憶媒体を含むことができる。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含むことができる。前記不揮発性メモリは、例えば、リードオンリーメモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。１つ又は複数のコンピュータプログラム命令を前記コンピュータ読み取り可能な記憶媒体に記憶することができ、プロセッサ１１０は、上記の本開示の各実施例の画像データのマスキング方法及び／又は他の所望の機能を実現するように前記プログラム命令を実行することができる。入力信号、信号成分、ノイズ成分などの各種類のコンテンツを前記コンピュータ読み取り可能な記憶媒体に記憶することもできる。

【0073】

１つの例において、電子機器は、入力装置１３０及び出力装置１４０をさらに含むことができ、これらのコンポーネントは、バスシステム及び／又は他の形態の接続機構（図示せず）により互いに接続される。入力装置１３０は、例えば、キーボードやマウスなどであってもよい。出力装置１４０は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれに接続されたリモート出力機器などを含むことができる。

【0074】

当然ながら、図１０において、簡略化のため、当該電子機器のうち、本開示に関係するコンポーネントの一部のみが示され、バス、入力／出力インタフェースなどのコンポーネントが省略される。また、電子機器は、具体的な適用状況に応じて、その他の任意の適切なコンポーネントをさらに含むことができる。

【0075】

例示的なコンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体
本開示の実施例は、上記方法及び機器に加えて、プロセッサにより実行されると、前記プロセッサに、本明細書の上記の「例示的な方法」の部分で説明された本開示の各実施例の画像データのマスキング方法におけるステップを実行させる、コンピュータプログラム命令を含む、コンピュータプログラム製品であってもよい。

【0076】

コンピュータプログラム製品は、１つまたは複数のプログラミング言語の任意の組み合わせで本開示の実施例の操作を実行するためのプログラムコードを作成することができ、プログラミング言語は、Ｊａｖａ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語または類似なプログラミング言語などの従来の手続き型プログラミング言語とを含む。プログラムコードは、ユーザーのコンピューティングデバイスで全体的に実行されてもよく、ユーザーのデバイスで部分的に実行されてもよく、個別のソフトウェアパッケージとして実行されてもよく、一部はユーザーのコンピューティングデバイスで実行され別の一部はリモートコンピューティングデバイスで実行されてもよく、リモートコンピューティングデバイスあるいはサーバで全体的に実行されてもよい。

【0077】

また、本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であることもできる。このコンピュータプログラム命令がプロセッサにより実行されると、プロセッサに、本開示の上記の「例示的な方法」の部分で説明されたの各実施例の画像データのマスキング方法におけるステップを実行させる。

【0078】

前記コンピュータ可読記憶媒体は、１つまたは複数の可読媒体の任意の組み合わせを使用することができる。可読媒体は、可読信号媒体または可読記憶媒体であってもよい。可読記憶媒体には、例えば、電気、磁気、光、電磁、赤外線、または半導体のシステム、装置あるいはデバイス、またはそれらの任意の組み合わせが含まれることができるが、これらに限定されない。可読記憶媒体のより具体的な例（非網羅的なリスト）には、１つまたは複数の導線を有する電気的な接続、モバイルハードドライブ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、または上記の任意の適切な組み合わせが含まれる。

【0079】

以上、具体的な実施例を参照しながら本開示の基本的原理を説明してきたが、本開示に言及される利点、優位性、効果などは限定されず、例示されるものにすぎず、これらの利点、優位性、効果などは、本開示の各実施例が必ずしも有するものではない。また、以上で開示された具体的な細部は、限定されず、例示する役割及び理解を容易にする役割を果たすためのものにすぎず、上記細部は、本開示を必ずしも上記の具体的な細部により実現されるように限定するものではない。

【0080】

本開示に係るデバイス、装置、機器、システムのブロック図は、単に例示的な例に過ぎず、必ずブロック図に示される方式で接続、配置、構成を行うことを要求又は示唆することを意図していない。当業者であれば、これらのデバイス、装置、機器、システムを任意の方式で接続、配置、構成できることを認識することができる。例えば「含む」、「含有」、「有する」などの語は、開放的な語彙であり、「含むがそれらに限定されるものではなく」ことを意味し、それと交換して使用することができる。ここで使用される「又は」と「及び」は、コンテキストが明確にそうでないと指示しない限り、「及び／又は」を意味し、それと交換して使用することができる。ここで使用される「例えば」とは、「など、これらに限定されない」を意味し、それと交換して使用することができる。

【0081】

また、本開示の装置、機器及び方法において、各構成要素又は各ステップは、分解されてもよく、及び／又は再結合されてもよいことに留意されたい。これらの分解及び／又は再結合は、本開示の等価手段とみなされるべきである

【0082】

開示された態様の上記の説明は、当業者が本開示を作成又は使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者には明らかであり、本明細書で定義される一般原理は、本開示の範囲から逸脱することなく他の態様に適用されてもよい。したがって、本開示は、本明細書に示された態様に限定されることを意図しておらず、本明細書に開示された原理及び新規の特徴と一致する最も広い範囲に従う。

【0083】

上記の説明は、例示及び説明の目的で提示される。さらに、この説明は、本開示の実施例を本明細書に開示の形態に限定することを意図していない。以上、いくつかの例の形態及び実施例について検討したが、当業者は、それらの特定の変形、修正、変更、追加及び下位組み合わせを認識することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】