特許 6352512 信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6352512

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180625BHJP

   G06N 99/00 20100101ALI20180625BHJP

   G06N 3/04 20060101ALI20180625BHJP

【ＦＩ】

   G06T7/00 350C

   G06N99/00 153

   G06N3/04

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2017-159207(P2017-159207)

(22)【出願日】2017年8月22日

【審査請求日】2017年10月11日

【早期審査対象出願】

(73)【特許権者】

【識別番号】599115217

【氏名又は名称】株式会社 ディー・エヌ・エー

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100101890

【弁理士】

【氏名又は名称】押野 宏

(74)【代理人】

【識別番号】100098268

【弁理士】

【氏名又は名称】永田 豊

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(74)【代理人】

【識別番号】100166420

【弁理士】

【氏名又は名称】福川 晋矢

(74)【代理人】

【識別番号】100150865

【弁理士】

【氏名又は名称】太田 司

(72)【発明者】

【氏名】西野 剛平

(72)【発明者】

【氏名】李 天▲埼▼

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１７−０５９０９０（ＪＰ，Ａ）

【文献】 特開平０９−２８２４６６（ＪＰ，Ａ）

【文献】 福井 宏、外５名，“プライバシーに配慮したＤｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによるクラウド型顔照合システム”，第２２回 画像センシングシンポジウム ＳＳＩＩ２０１６，日本，画像センシング技術研究会，２０１６年 ６月 ８日，pp.1-6

【文献】 森田 龍彌、中島 和義，“バタフライ構造をもつニューラルネットの双方向学習”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９４年 ５月２５日，Vol.J77-D-II, No.5，pp.993-1000

【文献】 原田 達也，“画像識別と画像復元”，情報処理，日本，一般社団法人情報処理学会，２０１５年 ６月１５日，Vol.56, No.7，pp.640-645

【文献】 新家 歩、外３名，“畳み込みニューラルネットワークによる特定部分へのスタイル転移”，第７９回（平成２９年）全国大会講演論文集（２） 人工知能と認知科学，日本，一般社団法人情報処理学会，２０１７年 ３月１６日，pp.373-374

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０６Ｎ ３／０４，９９／００

(57)【特許請求の範囲】

【請求項1】

教師信号を学習することにより構築された階層型の識別器を有する入出力演算部を備え、
当該入出力演算部に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理結果である中間特徴量を、前記入力信号に関連付けられたアノテーション情報と共に中間処理データとして出力し、
前記中間処理データを復元した信号である、復元信号を生成する復元処理部と、
前記入力信号と前記復元信号を比較し、情報変化量の算出を行う比較処理部と、
を更に備え、
前記情報変化量が事前に設定された変化量を超えている場合に、前記中間層の事前に設定された深さにおける中間処理データを保存用データとして出力することを
特徴とする信号処理装置。

【請求項2】

前記事前に設定された深さが、事前に設定された階層数を超えている場合、当該事前に設定された階層における前記中間処理データを保存用データとして出力することを特徴とする請求項１に記載の信号処理装置。

【請求項3】

前記比較処理部は、
前記入力信号の注目領域が事前に設定された注目情報と一致する確率と、
前記中間層の事前に設定された深さにおける前記復元信号の前記注目領域が前記事前に設定された注目情報と一致する確率と、に基づいて前記情報変化量を算出することを特徴とする請求項１又は２に記載の信号処理装置。

【請求項4】

前記中間層の事前に設定された深さにおける前記復元信号の前記注目領域が前記事前に設定された注目情報と一致する確率が、事前に設定された確率を超えている場合に、前記事前に設定された階層についての前記中間処理データを保存用データとして出力することを特徴とする請求項３に記載の信号処理装置。

【請求項5】

前記入出力演算部における前記中間層の事前に設定された深さより下位の層の識別器が、前記識別器とは異なることを特徴とする請求項１から４の何れかに記載の信号処理装置。

【請求項6】

教師信号を学習することにより構築された階層型の識別器に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理を行う信号処理ステップと、
当該処理の結果である中間特徴量及を前記入力信号に関連付けられたアノテーション情報と共に中間処理データとして出力する出力ステップと、
前記中間処理データを復元した信号である、復元信号を生成する復元処理ステップと、
前記入力信号と前記復元信号を比較し、情報変化量の算出を行う比較処理ステップと、
前記情報変化量が事前に設定された変化量を超えている場合に、前記中間層の事前に設定された深さにおける中間処理データを保存用データとして出力するステップと、を備えることを特徴とする信号処理方法。

【請求項7】

教師信号を学習することにより構築された階層型の識別器を有する入出力演算部を備えた信号処理装置において、
当該入出力演算部に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理を行う信号処理ステップと、
当該処理の結果である中間特徴量及び、前記入力信号に関連付けられたアノテーション情報と共に中間処理データとして出力する出力ステップと、
前記中間処理データを復元した信号である、復元信号を生成する復元処理ステップと、
前記入力信号と前記復元信号を比較し、情報変化量の算出を行う比較処理ステップと、
前記情報変化量が事前に設定された変化量を超えている場合に、前記中間層の事前に設定された深さにおける中間処理データを保存用データとして出力するステップと、を実行させる信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、入力された信号を個人情報の保護に適した形式に処理し、出力する信号処理装置及び方法に関するものである。

【背景技術】

【0002】

従来、監視カメラ等から得られる音声や画像といった信号情報は、マーケティング等の多用な目的に利用できる情報財として認識されてきた。しかし、これらの信号情報は情報価値が高いものの、個人を特定可能な情報が含まれている。そのため、個人情報が多く含まれた信号情報は、プライバシーの観点等から長期保存が難しいという問題があり、いかに個人情報を保護しつつ、これらの情報を利用するかが課題となっている。

【0003】

このような課題に対して、特許文献１は、個人情報に該当する箇所を抽出し、モザイク化や削除といった処理を行う事により個人情報を匿名化する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４０１５９１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載されたような処理は、個人情報の保護は可能であるものの、各処理の非可逆性が高く、元画像に比して情報量が大幅に削減されてしまっている。そのため、情報財としての価値及び汎用性の観点から改善の余地があった。

【0006】

本発明は、上記の点に鑑み、個人情報を保護しつつ情報財としての価値及び汎用性の高い形式に入力信号を処理することを目的とする。

【課題を解決するための手段】

【0007】

（構成１）
教師信号を学習することにより構築された階層型の識別器を有する入出力演算部を備え、
当該入出力演算部に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理結果である中間特徴量を、前記入力信号に関連付けられたアノテーション情報と共に中間処理データとして出力することを特徴とする信号処理装置。

【0008】

（構成２）
前記事前に設定された深さが、事前に設定された階層数を超えている場合、当該事前に設定された階層における前記中間処理データを保存用データとして出力することを特徴とする構成１に記載の信号処理装置。

【0009】

（構成３）
前記中間処理データを復元した信号である、復元信号を生成する復元処理部と、
前記入力信号と前記復元信号を比較し、情報変化量の算出を行う比較処理部と、
を更に備える、構成１又は２に記載の信号処理装置。

【0010】

（構成４）
前記情報変化量が事前に設定された変化量を超えている場合に、前記中間層の事前に設定された深さにおける中間処理データを保存用データとして出力することを特徴とする構成３に記載の信号処理装置。

【0011】

（構成５）
前記比較処理部は、
前記入力信号の注目領域が事前に設定された注目情報と一致する確率と、
前記中間層の事前に設定された深さにおける前記復元信号の前記注目領域が前記事前に設定された注目情報と一致する確率と、に基づいて前記情報変化量を算出することを特徴とする構成３又は４の何れかに記載の信号処理装置。

【0012】

（構成６）
前記中間層の事前に設定された深さにおける前記復元信号の前記注目領域が前記事前に設定された注目情報と一致する確率が、事前に設定された確率を超えている場合に、前記事前に設定された階層についての前記中間処理データを保存用データとして出力することを特徴とする構成５に記載の信号処理装置。

【0013】

（構成７）
前記入出力演算部における前記中間層の事前に設定された深さより下位の層の識別器が、前記識別器とは異なることを特徴とする構成１から６の何れかに記載の信号処理装置。

【0014】

（構成８）
教師信号を学習することにより構築された階層型の識別器に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理を行う信号処理ステップと、
当該処理の結果である中間特徴量及を前記入力信号に関連付けられたアノテーション情報と共に中間処理データとして出力する出力ステップと、
を備えることを特徴とする信号処理方法。

【0015】

（構成９）
教師信号を学習することにより構築された階層型の識別器を有する入出力演算部を備えた信号処理装置において、
当該入出力演算部に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理を行う信号処理ステップと、
当該処理の結果である中間特徴量及び、前記入力信号に関連付けられたアノテーション情報と共に中間処理データとして出力する出力ステップを
実行させる信号処理プログラム。

【0016】

（構成１０）
教師信号を学習することにより構築された階層型の識別器を有する入出力演算部を備えた信号処理装置で用いられるデータ構造であって、
当該入出力演算部に信号が入力され、前記識別器の中間層の事前に設定された深さにおける当該入力信号の処理結果である中間特徴量を、前記入力信号に関連付けられた前記アノテーション情報と共に中間処理データとして出力する処理に用いられる、
データ構造。

【発明の効果】

【0017】

本発明の信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造によれば、個人情報を保護しつつ情報財としての価値及び汎用性の高い形式に入力信号を処理することが可能である。

【図面の簡単な説明】

【0018】

【図1】本発明に係る信号処理装置を示す概略構成図である。

【図2】本発明に係る信号処理の概要を示す概念図である。

【図3】本発明に係る信号処理装置の動作概要を説明したフロー図である。

【図4】本発明に係る信号処理装置において、入力画像と復元画像及び、情報変化量を示す概念図である。

【発明を実施するための形態】

【0019】

以下、この発明を実施するための形態について、添付の図面にしたがって説明する。

【0020】

＜実施形態＞
本発明は、音声や画像等の離散化された信号に対して適用可能であるが、本実施形態においては画像データを例にとって説明する。
図１はこの発明の実施形態による信号処理装置１００を示す概略構成図である。
信号処理装置１００はコンピュータにより構成されており、個人情報を保護しつつ情報財としての価値及び汎用性の高い形式に入力画像を処理する信号処理装置であり、処理部１１０を備える。

【0021】

処理部１１０は、入力画像を処理し、保存用データとして出力する入出力演算部１１１、後述する中間処理データを復元し、復元画像を生成する復元処理部１１２、及び入力画像と復元画像との比較を行い、後述する情報変化量を算出する比較処理部１１３を備える。以下、図２を参照しながら、各部の動作及び本発明の概念について説明する。

【0022】

［入出力の学習］
図２の上段に示されるように、入出力演算部１１１は、教師画像を学習することにより構築された階層型の識別器を有する。なお、教師画像には各画像に関連付けられたアノテーション情報が付与されていてもよい。アノテーションの内容としては種々のものが考えられるが、年齢及び性別、名前等の人物情報及び、人物が映っている領域の情報とする。

【0023】

また、入出力演算部１１１が有する識別器（以下、単に「識別器」とも称する）は、年齢及び性別の識別を目的とした識別器であり、学習モデルとして、ＣＮＮ (Convolutinal Neural Network) を利用するものであればよい。また、入力画像には各画像毎に関連付けられた任意のアノテーション情報が付与されていてもよい。本実施形態においては、年齢、性別、名前等の人物情報及び、人物が映っている領域の情報とする。

【0024】

［中間層］
図２のＬ１からＬｎは識別器の中間層を表し、入力画像に対する畳み込み層及びプーリング層を活性化関数で接続することにより構成されている。本実施の形態においては、活性化関数としてReLU (Rectified Linear Unit) を使用している。ここでは、プーリング層の有無に関わらず、１つ以上の畳み込み層を有する層を「中間層」と呼ぶ。中間層の数は任意に設定可能である。

【0025】

このような識別器においては、入力画像が畳み込み層を通過するごとに入力画像に対してフィルタ処理がなされ、特徴量以外の画素情報が減少してゆく。すなわち、畳み込み層を通過した中間層においては、識別器の構築等に必要となる特徴量の情報を残しつつ、特徴量以外の情報が削減されていると考えられる。また、削減された情報の中には当然に個人情報に関する情報も含まれていると考えられる。

【0026】

なお、個人情報を特定可能な画素情報（以下、単に個人情報とも称する）の削減量と、情報財としての価値はトレードオフの関係にある。例えば、中間層の深さが浅いほど入力画像に近い画素情報を有するため、情報財としての価値及び汎用性の観点では好適であるが、情報量の削減は進んでいないため、個人情報は多く残ってしまっている。一方、中間層の深さが深いほど、識別に使用されない情報量の削減が進むため、個人情報の観点では好適であるが、入力画像の有するオリジナルの画素情報も大幅に削減されてしまっている。

【0027】

入出力演算部１１１の備える識別器の中間層ｎ層目における処理結果は以下のように表される。

【0028】

【数1】

なお、第ｎ層の入力をｘ_n-1とし、入力に対するｎ層における処理結果をｘ_n とする。
また、入力Inputに対する畳み込み処理をｃ_n(Input)、プーリング処理をｐ_n(Input)、活性化関数をｒ_n(Input)とする。
なお、上記のように表される中間層における処理結果である中間特徴量ｘ_n及び、入力画像に関連付けられたアノテーション情報を合わせて「中間処理データ」とも称する。

【0029】

このように、入出力演算部１１１が識別器の中間層ｎ層目における中間処理データを保存用データとして出力することで、個人情報を保護しつつ情報財としての価値及び汎用性が高い形式に入力画像を処理することができる。ここで、「保存用データ」とは中間処理データに加えて、その他の入力画像に関する情報やデータベース用のヘッダー情報等を付与したものをいう。なお、保存用データは特徴量及びアノテーション情報だけではなく、後述する復元データを含むように構成されていてもよい。

【0030】

［復元画像の生成］
処理された入力画像が個人情報を保護できているかという点を考慮すると、指定した深さの中間層から出力された中間処理データについて、どの程度個人情報が削減されているかを評価する必要がある。そのため、本発明においては、個人情報に関する情報量の変化について、以下の方法にて定量的な評価を行う。

【0031】

まず、図２の下段に示されるように、復元処理部１１２により、上記のように出力された中間特徴量を入力画像と同一の形式（画素数、チャネル数等）に復元する処理を行う。以下、復元処理部１１２により復元された画像を「復元画像」とも称する。

【0032】

復元処理部１１２は、中間特徴量を入力画像に復元するためのモデル（以下、「復元モデル」とも称する。）を有する。なお、復元モデルとして、入出力演算部１１１の識別器における中間特徴量が出力された層までを利用するため、復元モデルの隠れ状態ベクトル及びモデルを構成するネットワークのパラメータは識別器と同一である。そのため、識別器とは別体の復元モデルを新たに構築しているわけではないが、復元の際に使用するモデルを便宜上、「復元モデル」と称する。この復元モデルに適当な画像を入力し、出力された特徴量と、上記の中間特徴量（すなわち原画像を復元モデルに入力した結果得られた特徴量）との差が無くなっていくように、入力画像を更新することで復元画像を得ることができる。
具体的には、原画像ｘを入出力演算部１１１の識別器に入力した時に得られる中間処理データをｘ_n、ランダムなノイズ画像ｘ’を上記の復元モデルに入力した時に得られる特徴量をｘ_ｎ’とする。このとき、ｘ_nと、ｘ_ｎ’との差として最小二乗誤差を用いて以下のように損失関数Lを設定し、Adam等の確率勾配降下法により損失関数Lが収束するように、ノイズ画像ｘ’を更新し、復元画像を得る。

【0033】

【数2】

なお、ここでは損失関数として最小二乗誤差を用いたが、差分を表す関数であればよい。

【0034】

復元処理部１１２における復元処理のアルゴリズムは、入力画像を指定した画風に変換する手法（L. A. Gatys, A. S. Ecker, and M. Bethge. A neural algorithm of artistic style. arXiv preprintarXiv:1508.06576, 2015.）の基本構造を採用し、画風の再現に用いる画像を本実施形態における入力画像とすることで、中間特徴量から復元画像を生成するようにしてもよい。

【0035】

［情報変化量の評価］
次に、図２の左列に示されるように、比較処理部１１３は、上記のように得られた復元画像と、入力画像とを比較することで個人情報に関する情報量がどの程度変化しているかどうかを算出する。以下、復元画像と入力画像との間の情報量の変化を「情報変化量」とも称する。

【0036】

上記情報変化量の算出のため、比較処理部１１３は、入力画像における個人情報に該当するものが映っている領域（以下、「注目領域」または「人物領域」とも称する）を抽出する。注目領域は人物の全体像や顔画像等が該当し、比較処理部１１３は任意の人物領域抽出手法及び顔画像認識手法により、注目領域を抽出するように構成される。なお、注目領域は事前に入力画像に関連付けられたアノテーション情報に設定されているものを用いてもよい。

【0037】

なお、入出力演算部１１１の学習モデルとして用いているＣＮＮは、階層が進んだとしても画素の位置情報は保持されるため、入力画像と復元画像の注目領域の位置情報は変化していない。そのため、入力画像における注目領域はそのまま復元画像の注目領域として設定することが可能である。

【0038】

このように抽出された入力画像の注目領域と復元画像の注目領域には同じ人物が映っており、両者の「ある人物らしさ」を比較することで、人物に関する情報、つまり個人情報がどれだけ削減されているかを定量的に評価することができる。

【0039】

個人情報の削減量評価のため、比較処理部１１３は、入力画像と復元画像との比較を行う。入力画像にＡという人物のアノテーションが付与されている場合（以下、入力画像に映っている人物の情報を「注目情報」とも称する）、入力画像に映っている人物がＡさんと同一人物である確率と、復元画像に映っている人物がＡさんと同一人物である確率と、をそれぞれ算出する。このように算出された確率から各画像における情報量を算出し、その差分を情報変化量として算出する。
なお、入力画像と、上記識別器の学習に使用した画像と、が別の画像であると正確な情報変化量の算出の観点から好適である。

【0040】

比較処理部１１３は上記情報変化量の算出を下記の手法により行う。

【0041】

まず、２枚の画像Ｉ_１、Ｉ_２にそれぞれ人物が映っているとして、その差分空間をΔ＝Ｉ_１−Ｉ_２として定義する。更に、ΔをΩ_I（同じ人物）とΩ_E（違う人物）で表される２つのクラスを用いて定義する。
また、Ω_IとΩ_Eは互いに排他的であり、且つ余事象であることを考慮すると、２つの画像の類似度Ｓはベイズの定理を用いて下記のように示される。

【0042】

【数3】

なお、P(Ω)の事前確率の部分に関しては上記の学習データセット中の割合等により求めることができる。なお、事前確率については両者が等しくなるように設定すると計算コストの面から好適である。

【0043】

また、P(Δ | Ω_I)とP(Δ | Ω_E)の２つの尤度をそれぞれガウス分布でモデル化すると以下のようになる。

【0044】

【数4】

【0045】

数４に示された尤度を算出することにより、２つの画像の類似度Ｓを算出することができる。

【0046】

上記尤度の算出方法は例えば、以下の論文（M. Koestinger, M. Hirzer, P. Wohlhart, P. M. Roth, and H. Bischof. Large scale metric learning from equivalence constraints. In CVPR, 2012）の手法を用いてもよい。また、以下の論文（S. Liao, Y. Hu, X. Zhu, and S. Z. Li. Person re-identification by local maximal occurrence representation and metric learning. In CVPR, 2015.）の手法を用いても良い。

【0047】

次に比較処理部１１３は、上記論文の手法に基づき、以下のように情報変化量を算出する。
まず、入力画像の人物領域に映っている人物が、アノテーション情報に記載された人物と同一人物である確率をP(O)とし、復元画像の人物領域に映っている人物が、アノテーション情報に記載された人物と同一人物である確率をP(R)とする。このように両者の確率を算出することを、人物同定処理とも称する。
この場合、各画像（の人物領域）が持っている情報量を、入力画像についてIOS、復元画像についてIRSとすると、個人情報量の差DeltaInfoを以下のように定義することができる。

【0048】

【数5】

【0049】

比較処理部１１３は、このように算出された情報変化量DeltaInfoについて判定し、事前に設定された変化量を超えていれば、十分に個人情報に関する情報量が削減されているものと判断し、中間処理データを保存用データとして出力するように入出力演算部１１１に指示を行う。
また、比較処理部１１３は、復元画像のみについて同一人物である確率を算出し、この結果を事前に設定された閾値と比較することで個人情報削減の評価を行うように構成されていてもよい。

【0050】

以上のように、信号処理装置１００は、識別器の中間層における中間処理データを出力し、中間処理データを復元画像へと復元する。次に、入力画像と復元画像とを比較することにより情報変化量を算出する。そして、情報変化量を判定することにより個人情報が削減されているかを判断し、条件を満たす場合は保存用データとして出力する。

【0051】

［動作］
続いて、図３を参照して信号処理装置１００の基本動作について説明する。なお、事前に教師信号を用いて、入出力演算部１１１における識別器が構築されているものとする。

【0052】

信号処理装置１００に画像が入力されると、まずステップＳ３０１において、入出力演算部１１１は識別器により入力画像を処理し、事前に設定された深さ（階層数）の中間層における中間処理データを出力する。

【0053】

次に、ステップＳ３０２において復元処理部１１２は入出力演算部１１１から出力された中間処理データを用いて、復元モデルから、復元画像を生成する。

【0054】

そして、ステップＳ３０３において、比較処理部１１３は入力画像と復元画像から情報変化量を算出し、情報変化量と事前に設定された変化量とを比較する。情報変化量が事前に設定された変化量を超えている場合、ステップＳ３０５へと移行し、（ステップＳ３０４：Ｙｅｓ→Ｓ３０５）入出力演算部１１１は中間処理データを保存用データとして出力して動作を終了する。一方、情報変化量が事前に設定された変化量を超えていない場合、動作を終了する（ステップＳ３０４：Ｎｏ→エンド）。

【0055】

［実験結果］
図４は、本実施形態における信号処理装置１００による処理結果の一例を示したものである。図４左側の入力画像には「人物Ａ、女性、２２歳」および人物領域の座標についてアノテーションが付与されている。入出力演算部１１１における識別器にこの画像を入力し、中間層４層目の出力を中間処理データとして出力した。そして、復元処理部１１２により中間処理データを復元した画像が、図４右側の画像である。

【0056】

例えば、比較処理部１１３により、入力画像と復元画像に対して人物同定処理を行い、入力画像の人物領域について人物Ａと同一である確率が0.6と算出された。また、復元画像の人物領域について人物Ａと同一である確率が0.3と算出された。従って、中間層４層目の中間処理データにおいては入力画像に対する情報変化量DeltaInfoはlog₂(0.6) - log₂(0.3) と算出することができる。

【0057】

［構成例及び効果］
このように、本実施形態における信号処理装置１００は、教師画像を学習することにより構築された階層型の識別器をそなえ、識別器の中間層における入力画像に対する処理結果を入力画像に関連付けられたアノテーション情報と共に中間処理データとして出力するように構成されているため、個人情報を保護しつつ情報財としての価値が高い形式に入力画像を処理することが可能である。また、必要最低限の情報を削除した状態に入力画像を処理することができるため、その後の汎用性が高い。

【0058】

本実施形態における信号処理装置１００は、比較処理部１１３における比較結果が事前に設定された閾値よりも大きい場合に中間処理データを保存用データとして出力するように構成されていたが、中間処理データを出力した階層の深さが、事前に設定された階層数を超えている場合に保存用データとして出力するように構成されていてもよい。このように構成されている場合、個人情報保護の観点から要求される条件に柔軟に対応することが可能である。

【0059】

また、復元処理部１１２が、中間処理データから復元画像を生成し、比較処理部により復元画像の人物領域についての情報変化量を算出するように構成されているため、中間処理データにおいてどの程度個人情報が削減できているかを定量的に評価することが可能である。

【0060】

また、入出力演算部１１１が、上記のように算出された情報変化量に基づき中間処理データを保存用データとして出力するかどうかを判断するように構成されているため、個人情報保護の観点から要求される条件に柔軟に対応することが可能である。

【0061】

また、比較処理部１１３が、入力画像の人物領域と、復元画像の人物領域とについて人物同定処理を行い情報変化量を算出するように構成されている。そのため、情報変化量は、同一の領域について特定の人物と同一人物である確率がどの程度低下したかという情報を表現している。従って、どの程度個人情報が削減されているかをより正確に評価することが可能である。

【0062】

また、比較処理部１１３が、復元画像の人物領域についての人物同定処理を行い、同定結果が事前に設定された確率を超えている場合に、入出力演算部１１１が中間処理データを保存用データとして出力するように構成されていてもよい。このように構成されていることで、保存用データを出力する際の個人情報削減量をより細かく判断及び設定することが可能である。

【0063】

また、入出力演算部１１１は、事前に設定された深さの中間層より下位の層の識別器が、それより上位の層の識別器とは異なる識別器（学習モデル）により構成されていてもよい。この場合の識別器は、中間特徴量の次元と、新たな識別器の入力の次元が一致していればよい。このように構成されている場合、中間処理データを出力した層より下層については、用途に合わせた識別器を利用する事ができ、より汎用性の高い形式に入力信号を処理することが可能である。

【0064】

[その他の構成例]
比較処理部１１３は情報変化量の算出において、入力画像と復元画像それぞれがある人物と同一人物である確率を用いているが、この確率の算出方法は上記の手法に限られるものではなく、任意の人物同定処理手法により算出するように構成されていてもよい。

【0065】

また、入出力演算部１１１は、中間層の各階層において中間処理データを出力し、各中間処理データについて情報変化量を算出するように構成されていてもよい。このように算出された全ての階層についての情報変化量を比較することにより、それぞれの層を通過することによりどの程度の情報量変化があったかについて定量的に計測することが可能である。また、複数の入力画像に対して、上記同様に全ての階層についての情報変化量を比較し、階層を進む毎の情報量変化の度合いを比較することにより、入力画像にどの程度個人情報が映っているかを判定することが可能である。つまり、入力画像に非常に鮮明に個人情報が映っている場合、例えば正面向きの顔が大きく映っているような場合は識別器の階層を進んだとしても、情報変化量はあまり変化しないと考えられる。一方、人物領域が小さく、個人情報の映り方が不鮮明である場合、識別器の階層を進む毎に情報変化量が大きく変化すると考えられる。このように、個人情報が多く含まれる画像のみを保存する（又は保存しない）といったように、本実施形態の信号処理装置１００にて処理を行う画像を目的に合わせて取捨選択することが可能である。

【0066】

また、入出力演算部１１１における学習モデルとしてＣＮＮを用いる例を説明したが、ＣＮＮを用いたモデルあればよく、たとえば、ResNet (Residual Network)や、DEX (Deep EXpectation: Rothe, R., Timofte, R. & Van Gool, L. Int J Comput Vis (2016).) 等を用いてもよい。

【0067】

また、比較処理部１１３における比較処理について、映っている人物のアノテーションが付与されている画像を入力画像として用いる例を説明したが、未知の画像（映っている人物が不明）を用いることも可能である。その場合は、比較処理部１１３は、入力画像に対する人物同定処理において任意の人物、（例えば、最も確率が高い人物）について、復元画像における確率と比較して情報変化量を算出する。
更に、入力画像と復元画像において共通する人物と比較を行うように構成されていればよく、事前に設定されたある１人物について比較を行うように構成されていてもよい。

【0068】

更に、比較処理部１１３が、復元画像について同一人物である確率を算出し、この結果を閾値と比較することで個人情報が削減されたかについて評価を行うように構成されている場合、どの程度個人情報を削減するかといった用途に応じて閾値が設定されてもよい。例えば、復元画像に対する仮説検定を行った場合における有意水準を考慮し、閾値を５％、すなわち復元画像についての同一人物である確率が５％以下である場合に個人情報が十分に削減されたものと設定すると、正確性の観点から好適である。

【0069】

以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態に限定されるものではない。本発明の構成及び動作については、本発明の趣旨を逸脱しない範囲において、当業者が理解しうる様々な変更を行うことができる。

【符号の説明】

【0070】

１００…信号処理装置
１１０…処理部
１１１…入出力演算部
１１２…復元処理部
１１３…比較処理部

【要約】

【課題】個人情報を保護しつつ情報財としての価値及び汎用性が高い形式に入力信号を処理する信号処理装置を提供する。
【解決手段】信号処理装置１００は、階層型の識別器を有する入出力演算部１１１を備える。信号処理装置１００に信号が入力されると、入出力演算部１１１は識別器の中間層における処理結果を出力する。復元処理部１１２はこの出力に基づき復元信号を生成する。比較処理部１１３は、入力信号と復元信号とについて比較することで、個人情報量がどれだけ削減されたかについて評価を行い、比較結果に基づき中間層からの処理結果を保存用データとして保存するかどうか判定する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】