知財求人 - 知財ポータルサイト「IP Force」
特許7584782アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ
(51)【国際特許分類】
G06T 7/00 20170101AFI20241111BHJP
G06N 3/02 20060101ALI20241111BHJP
【ＦＩ】
G06T7/00 350C
G06N3/02
【請求項の数】
12
(21)【出願番号】P 2020118795
(22)【出願日】2020-07-09
(65)【公開番号】P2022015750
(43)【公開日】2022-01-21
【審査請求日】2023-07-04
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、未来社会創造事業「エッジＡＩのハードウェアセキュリティに関する各種攻撃手法の網羅的抽出と対策手法の研究」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】藤野 毅
(72)【発明者】
【氏名】大倉 俊介
(72)【発明者】
【氏名】吉田 康太
【審査官】小池 正彦
(56)【参考文献】
【文献】国際公開第２０１９／０８７０３３（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０３１９８４（ＷＯ，Ａ１）
【文献】先崎佑弥、外２名，深層学習におけるＡｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇによる副作用とその緩和策，ＣＳＳ２０１７ コンピュータセキュリティシンポジウム２０１７ 論文集，Vol.2017 No.2，日本，一般社団法人情報処理学会 コンピュータセキュリティ研究会 セキュリティ心理学とトラスト研究会，2017年10月16日，p.385-392
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／０２
(57)【特許請求の範囲】
【請求項1】
アドバーサリアル攻撃に対する防御方法であって、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズを付加することで前記敵対的ノイズを真正乱数ノイズ化し、
真正乱数ノイズを除去するよう構成されたノイズ除去器によって、真正乱数ノイズ化した前記敵対的ノイズを除去したノイズ除去データを得て、
データ認識器によって、前記ノイズ除去データに対するデータ認識をする
アドバーサリアル攻撃に対する防御方法。
【請求項2】
前記ノイズ除去器は、真正乱数ノイズを除去するよう構成されたニューラルネットワークによって構成されている請求項１に記載の防御方法。
【請求項3】
前記ニューラルネットワークは、デノイジングオートエンコーダである請求項２に記載の防御方法。
【請求項4】
前記データ認識は、イメージデータの認識である請求項１から請求項３のいずれか１項に記載の防御方法。
【請求項5】
前記真正乱数ノイズは、前記アドバーサリアル・エグザンプルとなる検知対象が入力されるセンサにおける熱雑音に基づく請求項１から請求項４のいずれか１項に記載の防御方法。
【請求項6】
アドバーサリアル攻撃に対する防御性を有するデータ認識装置であって、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズを付加することで、前記敵対的ノイズを真正乱数ノイズ化し、真正乱数ノイズを除去するよう構成されたノイズ除去によって、真正乱数ノイズ化した前記敵対的ノイズを除去したノイズ除去データを生成し、前記ノイズ除去データに対するデータ認識をするよう構成されたデータ認識装置。
【請求項7】
センサと、
ノイズ除去器と、
を備え、
前記センサは、
センサ素子と、
前記センサ素子から読み出されたデータに、アドバーサリアル攻撃による敵対的ノイズを真正乱数ノイズ化するための真正乱数ノイズを付加するセンサ回路と、
を備え、
前記ノイズ除去器は、真正乱数ノイズを除去するよう構成されており、真正乱数ノイズ化された前記敵対的ノイズを除去する、
センサシステム。
【請求項8】
センサと、
ノイズ除去データを生成するノイズ除去器と、
前記ノイズ除去データに対するデータ認識をするデータ認識器と、
を備え、
前記センサは、
センサ素子と、
前記センサ素子から読み出されたデータに、アドバーサリアル攻撃による敵対的ノイズを真正乱数ノイズ化するための真正乱数ノイズを付加するセンサ回路と、
を備え、
前記ノイズ除去器は、真正乱数ノイズを除去するよう構成されており、真正乱数ノイズ化された前記敵対的ノイズを除去することで前記ノイズ除去データを生成する
センサシステム。
【請求項9】
センサと、
機械学習器と、
を備え、
前記センサは、
センサ素子と、
前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに、アドバーサリアル攻撃による敵対的ノイズを真正乱数ノイズ化するための真正乱数ノイズが付加された第２センサデータを生成するセンサ回路と、
前記機械学習器は、前記第１センサデータ及び前記第２センサデータを用いて、前記第２センサデータから真正乱数ノイズを除去するようにニューラルネットワークを学習させる
センサシステム。
【請求項10】
前記真正乱数ノイズの大きさを調整する調整器を更に備える請求項７から請求項９のいずれか１項に記載のセンサシステム。
【請求項11】
センサ素子と、前記センサ素子から読み出されたデータに、アドバーサリアル攻撃による敵対的ノイズを真正乱数ノイズ化するための真正乱数ノイズを付加するセンサ回路と、
を備える、
センサ。
【請求項12】
前記真正乱数ノイズは、前記センサ回路において生じる熱雑音に基づく請求項１１に記載のセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサに関する。
【背景技術】
【0002】
画像認識などのデータ認識に対する攻撃手段として、アドバーサリアル・エグザンプル（Adversarial Examples：敵対的サンプル）を用いたアドバーサリアル攻撃（Adversarial Attack）が知られている。アドバーサリアル攻撃は、例えば、通常の画像に、人間には認識できない微小ノイズを敵対的ノイズ（Adversarial Noise）として付加して、画像認識器に誤認識させる攻撃である。
【0003】
非特許文献１は、アドバーサリアル攻撃に対する防御手法として、デノイジングオートエンコーダ（denoising autoencoder：ＤＡＥ）を用いて、敵対的ノイズを除去することを開示している。デノイジングオートエンコーダは、正解画像と、正解画像にノイズを付加した入力画像と、を用いて、入力画像からノイズを除去する方法を学習した学習モデルである。ノイズが除去された画像が、画像認識器に与えられることで、誤認識が防止される。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第７，８７６，３７１号明細書
【非特許文献】
【0005】
【文献】Shixiang Gu et al., “TOWARDS DEEP NEURAL NETWORK ARCHITECTURES ROBUST TO ADVERSARIAL EXAMPLES”,[online], ICLR(Workshop)2015, < https://arxiv.org/abs/1412.5068 >
【文献】Yoshikazu Nitta et al., “High-Speed Digital Double Sampling with Analog CDS on Column Parallel ADC Architecture for Low-Noise Active Pixel Sensor”, 2006 IEEE International Solid State Circuits Conference - Digest of Technical Papers, San Francisco, CA, 2006, pp. 2024-2031.
【文献】Shinichiro Matsuo et al., “8.9-Megapixel Video Image Sensor With 14-b Column-Parallel SA-ADC”, IEEE Transactions on Electron Devices, vol. 56, no. 11, pp. 2380-2389, Nov. 2009.
【発明の概要】
【0006】
敵対的ノイズを除去するように学習されたデノイジングオートエンコーダを用いると、アドバーサリアル・エグザンプルから敵対的ノイズを除去することができる。しかし、攻撃者が、デノイジングオートエンコーダが除去可能なノイズを予測可能であると、デノイジングオートエンコーダが除去できない敵対的ノイズを生成することができる。
【0007】
したがって、敵対的ノイズを除去するように学習されたデノイジングオートエンコーダを用いた防御手法では、アドバーサリアル攻撃を防御しきれないことがある。
【0008】
したがって、アドバーサリアル攻撃に対する対処が望まれる。
【0009】
本開示のある側面は、アドバーサリアル攻撃に対する防御方法である。開示の防御方法は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを得て、前記真正乱数ノイズを除去するよう構成されたノイズ除去器によって、前記データから、前記真正乱数ノイズとともに前記敵対的ノイズを除去したノイズ除去データを得て、データ認識器によって、前記ノイズ除去データに対するデータ認識をすることを備える。
【0010】
本開示の他の側面は、アドバーサリアル攻撃に対する防御性を有するデータ認識装置である。開示のデータ認識装置は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを取得し、前記データから、前記真正乱数ノイズ及び前記敵対的ノイズを除去したノイズ除去データを生成するよう構成されたノイズ除去器と、前記ノイズ除去データに対するデータ認識をするよう構成された認識器と、を備える。
【0011】
本開示の他の側面は、センサシステムである。開示のセンサシステムは、センサ素子と、前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに真正乱数ノイズが付加された第２センサデータを生成するよう構成されたセンサ回路と、前記第２センサデータから前記真正乱数ノイズを除去した第３センサデータを生成するよう構成されたノイズ除去器と、を備える。
【0012】
ある実施形態において、開示のセンサシステムは、センサ素子と、前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに真正乱数ノイズが付加された第２センサデータを生成するセンサ回路と、前記第１センサデータ及び前記第２センサデータを用いて、前記第２センサデータから前記真正乱数ノイズを除去するようにニューラルネットワークを学習させるための機械学習器と、を備えることができる。
【0013】
本開示の他の側面は、センサである。開示のセンサは、センサ素子と、前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに真正乱数ノイズが付加された第２センサデータを生成するセンサ回路と、を備え、前記第１センサデータ及び前記第２センサデータを出力するよう構成されている。
【0014】
更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
＜１．アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサの概要＞
【0017】
（１）実施形態に係る防御方法は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを得て、前記真正乱数ノイズを除去するよう構成されたノイズ除去器によって、前記データから、前記真正乱数ノイズとともに前記敵対的ノイズを除去したノイズ除去データを得て、データ認識器によって、前記ノイズ除去データに対するデータ認識をすることを備える。ノイズ除去器が除去する真正乱数ノイズは予測が困難であるため、攻撃者はノイズ除去器が除去できない攻撃的ノイズを生成するのが困難である。この結果、アドバーサリアル攻撃に対する防御性能が高まる。
【0018】
（２）前記ノイズ除去器は、前記データから前記真正乱数ノイズを除去するよう構成されたニューラルネットワークによって構成されているのが好ましい。
【0019】
（３）前記ニューラルネットワークは、デノイジングオートエンコーダであるのが好まし。
【0020】
（４）前記データは、例えば、イメージデータである。
【0021】
（５）前記真正乱数ノイズは、前記アドバーサリアル・エグザンプルとなる検知対象が入力されるセンサにおける熱雑音に基づくのが好ましい。
【0022】
（６）実施形態に係るデータ認識装置は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを取得し、前記データから、前記真正乱数ノイズ及び前記敵対的ノイズを除去したノイズ除去データを生成するよう構成されたノイズ除去器と、前記ノイズ除去データに対するデータ認識をするよう構成された認識器と、を備える。
【0023】
（７）実施形態に係るセンサシステムは、前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに真正乱数ノイズが付加された第２センサデータを生成するよう構成されたセンサ回路と、前記第２センサデータから前記真正乱数ノイズを除去した第３センサデータを生成するよう構成されたノイズ除去器と、を備える。この場合、センサシステムは、アドバーサリアル攻撃に対する防御性能を持つことができる。
【0024】
（８）前記センサシステムは、前記第３センサデータに対するデータ認識をするデータ認識器を更に備えることができる。
【0025】
（９）実施形態に係るセンサシステムは、センサ素子と、前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに真正乱数ノイズが付加された第２センサデータを生成するセンサ回路と、前記第１センサデータ及び前記第２センサデータを用いて、前記第２センサデータから前記真正乱数ノイズを除去するようにニューラルネットワークを学習させるための機械学習器と、を備えることができる。この場合、センサシステムは、アドバーサリアル攻撃に対する防御性能を確保するためのノイズ除去器となるニューラルネットワークの学習をすることができる。
【0026】
（１０）前記センサシステムは、前記真正乱数ノイズの大きさを調整する調整器を更に備えるのが好ましい。
【0027】
（１１）実施形態に係るセンサは、センサ素子と、前記センサ素子から第１センサデータを読み出すとともに、前記第１センサデータに真正乱数ノイズが付加された第２センサデータを生成するセンサ回路と、を備え、前記第１センサデータ及び前記第２センサデータを出力するよう構成されている。この場合、アドバーサリアル攻撃に対する防御性能を確保するためのノイズ除去器となるニューラルネットワークの学習のための学習データとなる第１センサデータ及び第２センサデータを、センサが出力することができる。
【0028】
（１２）前記真正乱数ノイズは、前記センサ回路において生じる熱雑音に基づくのが好ましい。
【0029】
＜２．アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサの例＞
【0030】
図１は、アドバーサリアル攻撃に対する、実施形態に係る防御方法を示している。アドバーサリアル攻撃をする攻撃者は、オリジナルデータ１００に対して敵対的ノイズを付加する。敵対的ノイズは、一般に、人間には認識できない微小ノイズである。図２に示すように、オリジナルデータに敵対的ノイズが付加されることで、アドバーサリアル・エグザンプル１００Ａ（敵対的サンプル）が生成される。図２に示すように、アドバーサリアル・エグザンプル１００Ａが認識器５０に与えられると、認識器５０は、誤認識を生じることがある。
【0031】
敵対的ノイズは、例えば、オリジナルデータ１００に対して、信号処理によって付加されるノイズデータである。
【0032】
敵対的ノイズは、イメージセンサなどのセンサによる検知対象に施された加工又は細工であってもよい。加工又は細工が施された検知対象がセンサに入力されたときに得られたセンサデータが、アドバーサリアル・エグザンプル１００Ａになる。
【0033】
敵対的ノイズになる加工又は細工は、例えば、車両に搭載された画像認識器によって認識される道路標識に、画像認識器が誤認識するよう施された加工である。敵対的ノイズになる加工又は細工の他の例は、音響認識器によって認識される音に、音認識器が誤認識するよう他の音を混入させることである。センサによる検知対象に敵対的ノイズになる加工又は細工がされる場合、敵対的ノイズになる加工又は細工が「されていない」検知対象を、センサによって検知して得られたデータが、オリジナルデータ１００に相当する。
【0034】
図１に示すように、実施形態に係る防御方法では、アドバーサリアル攻撃に対する防御のため、アドバーサリアル・エグザンプルに真正乱数が付加される。付加される真正乱数を真正乱数ノイズともいう。アドバーサリアル・エグザンプルが、複数のデータ要素の集合からなるデータである場合、各データ要素に真正乱数が付加される。例えば、データ要素が画素データであるイメージデータの場合、各画素データに真正乱数が付加される。また、データ要素が音のサンプリングデータである音響データの場合、各サンプリングデータに真正乱数が付加される。なお、真正乱数ノイズは、ランダムノイズとも呼ばれる。
【0035】
真正乱数ノイズが付加されることで、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２が生成される。敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２は、オリジナルデータ１００に、敵対的ノイズと真正乱数ノイズとを加えたものに相当する。
【0036】
実施形態に係る防御方法では、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２が、ノイズ除去器４０に与えられる。実施形態に係るノイズ除去器４０は、真正乱数ノイズ除去器である。真正乱数ノイズ除去器４０は、真正乱数ノイズを除去するよう構成されている。
【0037】
実施形態に係る真正乱数ノイズ除去器４０は、一例として、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２から真正乱数ノイズを除去するよう構成されたニューラルネットワークによって構成されている。真正乱数ノイズを除去するよう構成されたニューラルネットワークは、一例として、真正乱数ノイズを除去するよう構成されたデノイジングオートエンコーダ（ＤＡＥ）である。
【0038】
実施形態に係る防御方法において、アドバーサリアル・エグザンプルに付加される真正乱数ノイズは、真正乱数ノイズ除去器４０によって除去可能なノイズである。換言すると、アドバーサリアル・エグザンプルに付加される真正乱数ノイズは、デノイジングオートエンコーダが、除去するように学習したノイズである。デノイジングオートエンコーダは、真正乱数ノイズが付加されたデータを用いて、真正乱数ノイズを除去するように学習されている。実施形態において、アドバーサリアル・エグザンプルに付加される真正乱数ノイズは、学習に用いられたデータに付加された真正乱数ノイズの発生源と同じ発生源から得られたものである。
【0039】
真正乱数ノイズ除去器４０は、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２から真正乱数ノイズを除去するとともに、敵対的ノイズも除去する。前述のように、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２は、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２は、オリジナルデータ１００に、敵対的ノイズと真正乱数ノイズとを加えたものに相当する。オリジナルデータ１００からみたノイズ成分である「敵対的ノイズ及び真正乱数ノイズ」は、敵対的ノイズをランダムに変化させたものであり、ノイズ成分全体としてみたときに「真正乱数ノイズ」である。
【0040】
したがって、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル１０２が、真正乱数ノイズ除去器４０に与えられると、真正乱数ノイズ除去器４０は、真正乱数ノイズ及び敵対的ノイズを除去したノイズ除去データを出力する。このように、実施形態に係る真正乱数ノイズ除去器４０は、真正乱数ノイズ及び敵対的ノイズを除去することができる。
【0041】
非特許文献１のように、敵対的ノイズを除去するように学習されたデノイジングオートエンコーダを用いた場合、攻撃者は、デノイジングオートエンコーダの特性を搾取することで、デノイジングオートエンコーダが除去可能なノイズを予測することができる。例えば、攻撃者は、攻撃者にとって既知の敵対的ノイズをノイズ除去器４０に与え、ノイズ除去器４０から生じるサイドチャネル情報によって、ノイズ除去器４０の特性を搾取することができる。攻撃者は、デノイジングオートエンコーダが除去可能なノイズがわかれば、デノイジングオートエンコーダが除去できず、かつ、認識器が誤認識するような敵対的ノイズを生成することが可能である。
【0042】
しかし、実施形態に係るノイズ除去器４０は、予測できないランダムノイズである真正乱数ノイズを除去するものであり、攻撃者は、ノイズ除去器４０が除去可能なノイズを予測することができない。攻撃者がどのような敵対的ノイズを用いても、敵対的ノイズに防御のための真正乱数ノイズが重畳されることで、敵対的ノイズは真正乱数ノイズになる。この結果、ノイズ除去器４０が除去できない敵対的ノイズを生成することは、攻撃者にとって困難になる。
【0043】
以上のように、実施形態に係るノイズ除去器４０は、真正乱数ノイズとともに敵対的ノイズを除去して、オリジナルデータ１００にほぼ等価なノイズ除去データ１０３を出力することができる。そして、データ認識器５０は、敵対的ノイズが除去されたデータに対して、データ認識をするため、認識結果を誤るおそれは少ない。
【0044】
図３は、アドバーサリアル攻撃に対して、前述のような防御性を有するデータ認識装置の一例としてのセンサシステム１０を示している。
【0045】
実施形態に係るセンサシステム１０は、エッジＡＩデバイスであり、センサ２０によってセンサデータを取得するとともに、センサ２０から出力されたセンサデータに対して、学習済みモデルによって、センサデータの識別などのデータ認識処理を実行する。エッジＡＩデバイスは、クラウドサーバによって構築されたＡＩデバイスとは異なり、攻撃者の手元に存在するため、サイドチャネル攻撃のほか、アドバーサリアル攻撃を受けやすい。しかし、実施形態に係るセンサシステム１０（データ認識装置）は、エッジＡＩデバイスであっても、アドバーサリアル攻撃に対する防御性を有しているため、安全性が高められている。
【0046】
実施形態に係るセンサシステム１０は、一例として、イメージセンサシステム１０である。イメージセンサシステム１０は、センサ２０として、イメージセンサをそなえる。イメージセンサシステム１０は、イメージセンサ２０から出力されたイメージデータに対して、画像認識をして、認識結果を出力する。イメージセンサシステム１０は、画像認識をする認識器５０を備える。なお、センサシステム１０は、センサ２０として、音センサを備え、音響認識をして、認識結果を出力するものであってもよい。
【0047】
イメージセンサ２０には、アドバーサリアル・エグザンプルとなる検知対象が入力されることがある。例えば、センサシステム１０が車両に搭載されている場合、イメージセンサ２０は、車両周囲の物体を検知する。画像認識において誤認識が生じるように加工又は細工が施されている物体の像をイメージセンサ２０が検知すると、アドバーサリアル攻撃を受けることになる。
【0048】
画像認識において誤認識が生じるように加工又は細工が施されている物体の像がイメージセンサ２０入力されると、イメージセンサ２０は、敵対的ノイズを有するイメージデータ（アドバーサリアル・エグザンプル）を出力することになる。仮に、敵対的ノイズを有するイメージデータが、そのまま、認識器５０に与えられると、認識器５０は、敵対的ノイズのため、誤認識をするおそれがある。
【0049】
アドバーサリアル攻撃に対する防御のため、実施形態に係るイメージセンサ２０は、通常のイメージデータ（第１イメージデータ；第１センサデータ）に対して、意図的に真正乱数ノイズを付加したイメージデータ（第２イメージデータ；第２センサデータ）を生成し、出力するよう構成されている。実施形態に係るイメージセンサ２０は、第１イメージデータ及び第２イメージデータの双方を、イメージセンサ２０の外部に出力するよう構成されている。
【0050】
アドバーサリアル攻撃を受けている場合、第１イメージデータは、オリジナルデータ１００に敵対的ノイズが付加されたアドバーサリアル・エグザンプル１００Ａ（図２参照）に相当する。また、アドバーサリアル攻撃を受けている場合、第２イメージデータは、オリジナルデータ１００に、敵対的ノイズ及び真正乱数ノイズを付加したアドバーサリアル・エグザンプル１０２（図１参照）に相当する。
【0051】
実施形態に係るイメージセンサシステム１０は、ノイズ除去器４０を備える。ノイズ除去器４０は、イメージセンサ２０から、第２イメージデータを取得する。ノイズ除去器４０は、第２イメージデータから真正乱数ノイズを除去するように構成されている。ノイズ除去器４０は、第２イメージデータから、真正乱数ノイズとともに敵対的ノイズを除去し、ノイズ除去データ１０３（第３センサデータ）を出力する。ノイズ除去器４０は、真正乱数ノイズを除去するよう学習されたデノイジングオートエンコーダによって構成されている。
【0052】
ノイズ除去器４０は、ノイズ除去データ１０３（第３センサデータ）を、認識器５０に与える。認識器５０は、ノイズ除去データ１０３に対して画像認識をして、認識結果を出力する。認識器５０は、例えば、画像認識をするよう予め学習されたニューラルネットワークによって構成されている。画像認識をするニューラルネットワークは、例えば、ディープニューラルネットワーク（ＤＮＮ）である。このように、実施形態においては、第２イメージデータから真正乱数ノイズを除去したノイズ除去イメージデータを用いて、画像認識などのデータ認識が行われる。なお、データ認識の際には、イメージセンサ２０から出力された第１イメージデータは用いられない。第１イメージデータは、ノイズ除去器４０のための学習モデルを生成する機械学習の際に用いられる。
【0053】
実施形態に係るイメージセンサシステム１０（データ認識装置）は、ノイズ除去器４０のための学習モデルを生成する機械学習器３０をそなえる。実施形態において、ノイズ除去器４０は、デノイジングオートエンコーダ（ＤＡＥ）によって構成されているため、機械学習器３０は、ＤＡＥ学習器であり、ＤＡＥのための学習モデルを生成する。なお、機械学習器３０は、真正乱数ノイズ除去器４０に備わっていてもよい。すなわち、真正乱数ノイズ除去器４０が学習機能を有していてもよい。
【0054】
機械学習器３０は、学習データを用いて機械学習処理を実行する。機械学習処理は、常時実行されるわけではなく、例えば、ノイズ除去器４０のための学習モデルを初期生成する場合、又は学習モデルを更新する場合など、必要な時に実行される。実施形態において、学習データは、イメージセンサ２０から出力された第１イメージデータ及び第２イメージデータである。学習は、アドバーサリアル攻撃を受けていない状態で行われ、正常な検知対象をイメージセンサ２０によって撮像して得られた第１イメージデータと第２イメージデータとが学習データとして用いられる。正常な検知対象からえられた第１イメージデータは、図１及び図２に示すオリジナルデータ１００に相当する。第２イメージデータは、オリジナルデータ１００に真正乱数ノイズを付加したデータである。
【0055】
図４は、デノイジングオートエンコーダ（ＤＡＥ）によって構成されたノイズ除去器４０のための機械学習処理の手順を示している。機械学習器３０は、イメージセンサ２０から出力された第１イメージデータ及び第２イメージデータを学習用データとして取得する（ステップＳ１１）。そして、機械学習器３０は、デノイジングオートエンコーダに、真正乱数ノイズを有する第２イメージデータが入力されると、デノイジングオートエンコーダが真正乱数ノイズ付加前の第１イメージデータを出力するようデノイジングオートエンコーダを学習させる（ステップＳ１２）。以上によって、真正乱数ノイズを除去するよう学習されたデノイジングオートエンコーダが得られる。
【0056】
実施形態に係るイメージセンサシステム１０は、ノイズ除去のための学習データに用いられる２つのイメージデータ（第１イメージデータ及び第２イメージデータ）を出力するよう構成されているため、イメージセンサシステム１０が有するノイズ除去器４０の学習に用いられる学習データを低コストで得られる。
【0057】
図５は、実施形態に係るセンサ２０の概略構成を示している。実施形態に係るセンサ２０は、センサ素子２１と、センサ回路２３と、を備えている。センサ２０は、例えば、イメージセンサである。センサ素子２１は、例えば、イメージセンサ素子である。イメージセンサ素子は、例えば、フォトダイオードである。センサ回路２３は、例えば、センサ素子２１からセンサデータを読み出すよう構成された読み出し回路を含む。センサ回路２３は、センサ素子２１から読み出したセンサデータを出力する。センサ回路２３は、読み出し回路のほか、センサデータをデジタルデータに変換するアナログ－デジタル変換器を備えていてもよい。
【0058】
センサ回路２３に含まれる回路素子は、熱雑音を発生させる。すなわち、センサ回路２３は、熱雑音の発生源２５を有する。実施形態に係るセンサ回路２３は、センサ素子２１から読み出された通常のセンサデータを第１センサデータとして出力するとともに、センサ素子２１から読み出された通常のセンサデータに対して意図的に真正乱数ノイズが付加された第２センサデータを出力するよう構成されている。センサ回路２３は、熱雑音の発生源２５から得られる熱雑音に基づいて真正乱数ノイズを生成し、その真正乱数ノイズを第１センサデータに付加することで第２センサデータを生成する。
【0059】
実施形態に係るセンサ２０は、第１センサデータに付加される真正乱数ノイズの大きさを調整する調整器２６を備える。第１センサデータに付加されるノイズ量を調整することで、認識器５０による認識精度と、アドバーサリアル攻撃に対する防御性能と、のバランスを最適化することができる。例えば、真正乱数ノイズを小さくすることで、認識精度を高くすることができる。また、真正乱数ノイズを大きくすることで、防御性能を高めることができる。調整器２６については後述する。
【0060】
図６は、イメージセンサ２０における１ピクセル分の回路２００を示している。回路２００をピクセルという。イメージセンサ２０は、ピクセル２００が２次元に配列されたピクセルアレイを有している。
【0061】
図６に示すように、ピクセル２００は、センサ素子２１としてのフォトダイオード２１０と、読み出し回路２３０と、を備える。フォトダイオード２１０は、光電変換素子の一例である。読み出し回路２３０は、フォトダイオード２１０に接続された転送ゲート２３１と、リセットトランジスタ２３２と、ソースフォロワトランジスタ２３３と、セレクトトランジスタ２３４と、を備える。なお、図６に示す回路２００は、一般的なイメージセンサに備わっている読み出し回路と同じである。
【0062】
転送ゲート２３１には、フォトダイオード２１０から電荷を、フローティングディフュージョンＦＤへ転送するため、転送ゲート信号ＴＧが与えられる。フローティングディフュージョンＦＤの電圧が、センサ出力（sensor output）になる。リセットトランジスタ２３２には、フローティングディフュージョンＦＤのリセットのためのリセット信号ＲＳＴが与えられる。セレクトトランジスタ２３４には、ピクセル２００の選択のためのセレクト信号ＳＥＬが与えられる。
【0063】
図７に示すように、ピクセルから出力されたセンサ出力は、アナログ－デジタル変換器３００に与えられ、デジタルデータに変換される。デジタルデータに変換されたイメージデータが、学習器３０及びノイズ除去器４０に与えられる。
【0064】
実施形態に係るセンサ２０は、図６に示す読み出し回路２３０を用いて、その駆動方法を一般的な駆動方法から変更することで、第１イメージデータとともに、第２イメージデータを生成する。実施形態に係るセンサ２０は、一般的なセンサ２０からの回路構成の大きな変更を伴うことなく、駆動方法の変更によって第２イメージデータを生成できる。したがって、第１イメージデータ及び第２イメージデータを出力するセンサ２０を低コストで生産できる。
【0065】
図８は、第１イメージデータ及び第２イメージデータ読み出しのための読み出し回路２３０の駆動方法の第１例を示している。図８に示す第１例では、真正乱数ノイズはアナログ信号として付加される。図８では、各ピクセルは、differential double sampling（ＤＤＳ）法によって読み出される。
【0066】
図８に示す第１イメージデータの読み出し手順は、図６に示す読み出し回路２３０の一般的な駆動方法である。図８に示す第１イメージデータの読み出し手順によって、真正乱数ノイズが付加されていない通常のイメージデータが、第１イメージデータとして得られる。
【0067】
図８に示す第１イメージデータの読み出し手順では、まず、セレクト信号ＳＥＬがＯＮ（Ｈｉｇｈ）になって、ピクセル２００が選択される。そして、リセット信号ＲＳＴがＯＮ（Ｈｉｇｈ）になることで、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴである。リセット後のタイミングｔ１において、ＶＲＳＴが取得される。
【0068】
タイミングｔ１の後、転送ゲート信号ＴＧがＯＮ（Ｈｉｇｈ）になって、フォトダイオード２１０に蓄えられた電荷が、転送され、その分、フローティングディフュージョンＦＤの電圧が低下し、ＶＳＩＧになる。転送後のタイミングｔ２において、ＶＳＩＧが取得される。
【0069】
ＶＲＳＴは、読み出し回路２３０における熱雑音の影響を受けているため、ＶＳＩＧも同様に熱雑音の影響を受けている。そこで、イメージセンサ２０のセンサ回路２３は、ＶＲＳＴ－ＶＳＩＧの演算を行うことで求まる値Ｓ１を、フォトダイオード２１０から得られるセンサデータとして出力する。ＶＲＳＴ－ＶＳＩＧの演算を行うことで、センサデータＳ１に含まれる熱雑音を除去することができる。
【0070】
以上の手順が、各ピクセル２００において行われることで、第１イメージデータが生成される。ここでは、correlated double sampling（ＣＤＳ：相関二重サンプリング）法によって、２つのタイミングｔ１，ｔ２において取得された２つの値ＶＲＳＴ，ＶＳＩＧから、ノイズの少ないセンサデータが読み出される。
【0071】
図８に示す第２イメージデータの読み出し手順は、真正乱数ノイズが意図的に付加された第２イメージデータを得るためのものである。図８に示す第２イメージデータの読み出し手順は、図８に示す第１イメージデータの読み出し手順とは異なり、転送の前にリセットが２回行われる。
【0072】
図８に示す第２イメージデータの読み出し手順では、まず、セレクト信号ＳＥＬがＯＮ（Ｈｉｇｈ）になって、ピクセル２００が選択される。そして、リセット信号ＲＳＴの１回目のＯＮ（Ｈｉｇｈ）によって、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴである。リセット後のタイミングｔ１において、ＶＲＳＴが取得される。
【0073】
タイミングｔ１の後、リセット信号ＲＳＴの２回目のＯＮ（Ｈｉｇｈ）が生じ、フローティングディフュージョンＦＤの電圧が再リセットされる。再リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴ’である。読み出し回路２３０において生じる熱雑音ｅのため、ＶＲＳＴとはＶＲＳＴ’とはわずかに異なる。
【0074】
再リセットの後、転送ゲート信号ＴＧがＯＮ（Ｈｉｇｈ）になって、フォトダイオード２１０に蓄えられた電荷が、転送され、その分、フローティングディフュージョンＦＤの電圧が低下し、ＶＳＩＧになる。転送後のタイミングｔ２において、ＶＳＩＧが取得される。
【0075】
イメージセンサ２０のセンサ回路２３は、ＶＲＳＴ’－ＶＳＩＧの演算を行うことで求まる値Ｓ２を、フォトダイオード２１０から得られるセンサデータとして出力する。ＶＲＳＴ’－ＶＳＩＧの演算は、前述の値Ｓ１に熱雑音ｅを付加したものに相当する。したがって、値Ｓ２は、値Ｓ１に、熱雑音由来の真正乱数ノイズが付加されたものに相当する。
【0076】
以上の手順が、各ピクセル２００において行われることで、第２イメージデータが生成される。この場合は、differential double sampling（ＤＤＳ）法によって、２つのタイミングｔ１，ｔ２において取得された２つの値ＶＲＳＴ，ＶＳＩＧから、ノイズの大きいセンサデータが読み出される。
【0077】
図８に示す手順の場合、第１イメージデータを読み出す手順を実行した後に、第２イメージデータを読み出す手順を実行することで、第１イメージデータ及び第２イメージデータが得られる。
【0078】
【0079】
図９に示す第１イメージデータ及び第２イメージデータの読み出し手順においては、第１イメージデータのためのセンサデータの読み出しと、第２イメージのためのセンサデータの読み出しが２回行われる。第１イメージデータ及び第２イメージデータの双方を得ることで、ノイズ除去器４０のための機械学習のための学習セットが得られる。ここで、同一のフォトダイオード２１０に蓄えられた電荷信号に対して第１イメージデータ及び第２イメージデータを取得することで、ノイズ除去器４０において精度の高いノイズ除去の学習が可能となる。一方、図９示す第２イメージデータの読み出し手順においては、第２イメージデータのためのセンサデータの読み出しが１回行われる。第２イメージデータだけを得ることで、ノイズ除去器４０及び認識器５０を用いた画像認識のために必要な入力データが得られる。
【0080】
図９に示す第１イメージデータ及び第２イメージデータの読み出し手順では、まず、セレクト信号がＯＮ（Ｈｉｇｈ）になって、ピクセル２００が選択される。そして、リセット信号ＲＳＴの１回目のＯＮ（Ｈｉｇｈ）によって、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴである。リセット後のタイミングｔ１において、ＶＲＳＴが取得される。
【0081】
タイミングｔ１の後、転送ゲート信号ＴＧがＯＮ（Ｈｉｇｈ）になって、フォトダイオード２１０に蓄えられた電荷が、転送され、その分、フローティングディフュージョンＦＤの電圧が低下し、ＶＳＩＧになる。転送後のタイミングｔ２において、ＶＳＩＧが取得される。
【0082】
イメージセンサ２０のセンサ回路２３は、ＶＲＳＴ－ＶＳＩＧの演算を行うことで求まる値Ｓ１を、フォトダイオード２１０から得られるセンサデータとして出力する。ここでは、correlated double sampling（ＣＤＳ：相関二重サンプリング）法によって、第１イメージデータのためのノイズの少ないセンサデータが得られる。以上によって、センサデータの１回目の読み出しが完了する。
【0083】
続いて、タイミングｔ２の後のタイミングｔ３において、再びＶＳＩＧが取得される。
【0084】
タイミングｔ３の後、リセット信号ＲＳＴの２回目のＯＮ（Ｈｉｇｈ）が生じ、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴ’である。読み出し回路２３０において生じる熱雑音ｅのため、ＶＲＳＴとはＶＲＳＴ’とはわずかに異なる。
【0085】
２回目のリセット後のタイミングｔ４において、ＶＲＳＴ’が取得される。
【0086】
イメージセンサ２０のセンサ回路２３は、ＶＲＳＴ’－ＶＳＩＧの演算を行うことで求まる値Ｓ２を、フォトダイオード２１０から得られるセンサデータとして出力する。ここでは、differential double sampling（ＤＤＳ）法によって、第２イメージデータのためのノイズの少ないセンサデータが得られる。以上によって、センサデータの２回目の読み出しが完了する。
【0087】
２回の読み出しによって得られた第１イメージデータ及び第２イメージデータは、学習データとして用いられる。
【0088】
図９に示す第２イメージデータのみの読み出し手順では、図９に示す第１イメージデータ及び第２イメージデータの読み出し手順における２回目の読み出しだけが行われる。図９に示す第２イメージデータのみの読み出し手順で得られた第２イメージデータは、画像認識に用いられる。
【0089】
図１０は、読み出し回路２３０の駆動方法の第３例を示している。図１０に示す第３例では、第１イメージデータの読み出しと真正乱数ノイズの読み出しとが行われる。第１例及び第２例では、熱雑音として物理的に付加された真正乱数ノイズを有する第２イメージデータが直接読み出されていたが、第３例では、イメージデータにとは別に真正乱数ノイズだけを読み出して、デジタル信号処理によって、読み出した真正乱数ノイズが第１イメージデータに事後的に付加されることで、第２イメージデータが生成される。
【0090】
イメージデータとは分離して、真正乱数ノイズだけを読み出すことで、第１イメージデータに対する真正乱数ノイズの相対的な大きさを、デジタル信号処理によって調整することができる。
【0091】
図１０に示す読み出し手順では、まず、セレクト信号がＯＮ（Ｈｉｇｈ）になって、ピクセル２００が選択される。そして、リセット信号ＲＳＴの１回目のＯＮ（Ｈｉｇｈ）によって、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴである。リセット後のタイミングｔ１において、ＶＲＳＴが取得される。
【0092】
タイミングｔ１の後、転送ゲート信号ＴＧがＯＮ（Ｈｉｇｈ）になって、フォトダイオード２１０に蓄えられた電荷が、転送され、その分、フローティングディフュージョンＦＤの電圧が低下し、ＶＳＩＧになる。転送後のタイミングｔ２において、ＶＳＩＧが取得される。
【0093】
イメージセンサ２０のセンサ回路２３は、ＶＲＳＴ－ＶＳＩＧの演算を行うことで求まる値Ｓ１を、フォトダイオード２１０から得られるセンサデータとして出力する。ここでは、correlated double sampling（ＣＤＳ：相関二重サンプリング）法によって、第１イメージデータのためのノイズの少ないセンサデータＳ１が得られる。以上によって、第１センサデータＳ１の読み出しが完了する。
【0094】
タイミングｔ２の後、リセット信号ＲＳＴの２回目のＯＮ（Ｈｉｇｈ）が生じ、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴ’である。
【0095】
リセット後のタイミングｔ３において、ＶＲＳＴ’が取得される。
【0096】
タイミングｔ３の後、リセット信号ＲＳＴの３回目のＯＮ（Ｈｉｇｈ）が生じ、フローティングディフュージョンＦＤの電圧がリセットされる。リセットされたフローティングディフュージョンＦＤの電圧はＶＲＳＴ”である。読み出し回路２３０において生じる熱雑音ｅのため、ＶＲＳＴ”とＶＲＳＴ’とはわずかに異なる。
【0097】
３回目のリセット後のタイミングｔ４において、ＶＲＳＴ”が取得される。
【0098】
イメージセンサ２０のセンサ回路２３は、ＶＲＳＴ”－ＶＲＳＴ’の演算を行うことで求まる真正乱数ノイズｅを出力する。ここでは、differential double sampling（ＤＤＳ）法によって、真正乱数ノイズが得られる。以上によって、真正乱数ノイズの読み出しが完了する。読み出された真正乱数ノイズは、必要に応じて大きさが調整され、センサデータＳ１に付加されて、真正乱数ノイズを有するセンサデータＳ２が得られる。
【0099】
真正乱数ノイズとして付加される値は、ＶＲＳＴ”－ＶＲＳＴ’の演算で得られる値の下位ビットだけであるのが好ましい。例えば、ＶＲＳＴ”－ＶＲＳＴ’の演算で得られる値が１２ビットである場合、例えば、その下位１ビット又は２ビットを、センサデータＳ１に付加することができる。この場合、真正乱数ノイズの大きさを十分に小さくすることができる。また、下位ビットはランダム性が高いため、有利である。また、下位ビットからなる真正乱数ノイズは一様分布になるため有利である。
【0100】
図１１及び図１２は、第４例を示している。第４例では、第３例と同様に、第１イメージデータの読み出しと真正乱数ノイズの読み出しとが行われる。第４例では、第１イメージデータの読み出しと真正乱数ノイズの読み出しに、読み出し回路２３０に接続されたＡＤＣ３０１（図１１参照）も用いられる。
【0101】
図１１に示すＡＤＣ３０１は、シングルスロープアナログ－デジタル変換器（シングルスロープＡＤＣ）である。シングルスロープＡＤＣ３１０は、例えば、非特許文献２に開示されている。シングルスロープＡＤＣ３１０は、ランプ電圧波を生じさせるデジタル－アナログ変換器３１１（ＤＡＣ）と、コンパレータ３１２と、アップ／ダウンカウンタ３１３と、を備える。
【0102】
第４例では、タイミングｔ１において、第３例におけるＶＲＳＴの大きさに応じて、カウンタ３１３がダウンカウントされる。その後、第４例では、タイミングｔ２において、第３例におけるＶＳＩＧの大きさに応じて、カウンタ３１３がアップカウントされる。アップカウント値が、第１センサデータＳ１に相当する。
【0103】
第４例では、タイミングｔ３において、第３例におけるＶＲＳＴ’の大きさに応じて、カウンタ３１３がダウンカウントされる。その後、第４例では、タイミングｔ４において、第３例におけるＶＲＳＴ”大きさに応じて、カウンタ３１３がアップカウントされる。アップカウント値が、真正乱数ノイズｅに相当する。
【0104】
真正乱数ノイズｅを取得する際に、カウンタ３１３に与えられるカウンタクロックの周波数を、第１センサデータＳ１を取得する際のカウンタクロックの周波数ｆＣＬＫの１／ｎ（ｎは任意の値）にすることで、真正乱数ノイズｅの大きさを小さくすることができる。つまり、カウンタクロック周波数の調整により、真正乱数ノイズの大きさを調整できる。第４例において、カウンタ３１３は、真正乱数ノイズの大きさの調整器として機能する。
【0105】
図１３から図１８は、第５例を示している。第５例では、第３例及び第４例と同様に、第１イメージデータの読み出しと真正乱数ノイズの読み出しとが行われる。第４例では、第１イメージデータの読み出しと真正乱数ノイズの読み出しに、Ｓｕｃｃｅｓｓｉｖｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ（ＳＡ）－ＡＤＣ４０３と、ＳＡ－ＡＤＣ４０３に接続されたカラムプロセッサ４０４（Ｃｏｌｕｍｎ Ｐｒｏｃｅｓｓｏｒ）とが用いられる。ＳＡ－ＡＤＣ４０３及びカラムプロセッサ４０４を用いたイメージセンサは、非特許文献３に開示されている。
【0106】
図１３に示すように、読み出し回路２３０のセンサ出力は、増幅器４０１及びスレッシュホールド回路４０２を介して、ＳＡ－ＡＤＣ４０３に与えられてデジタル信号に変換される。デジタル信号に変換されたセンサ出力は、カラムプロセッサ４０４に与えられる。
【0107】
図１４は、カラムプロセッサ４０４の概略構成を示している。カラムプロセッサ４０４は、ＳＡ－ＡＤＣ４０３の出力が与えられる算術演算装置５０１と、マルチプレクサ５０２と、ＳＡ－ＡＤＣ４０３の出力値の各ビットが格納されるレジスタ６００，６０１，６０２，６０３を備える。レジスタ６００，６０１，６０２，６０３は、フリップフロップによって構成される。
【0108】
図１５は、第５例に係るカラムプロセッサ４０４の動作を示している。第５例では、まず、タイミングｔ１におけるＶ１（第３例におけるＶＲＳＴに相当）の各ビットが、レジスタ６００，６０１，６０２，６０３に格納（加算）される（図１６のタイミングＳ１００からＳ１０３参照）。
【0109】
続いて、タイミングｔ２におけるＶ２（第３例におけるＶＳＩＧに相当）を減算した値の各ビットが、レジスタ６００，６０１，６０２，６０３に格納される（図１６のタイミングＳ２００，Ｓ２０３参照）。ここまでの処理で、レジスタ６００，６０１，６０２，６０３に格納された値は、Ｖ１－Ｖ２であり、第１センサデータＳ１に相当する。
【0110】
そして、タイミングｔ３におけるＶ３（第３例におけるＶＲＳＴ’に相当）を加算した値の各ビットが、レジスタ６００，６０１，６０２，６０３に格納される（図１７参照）。ただし、ここでは、Ｖ３の最下位ビットＬＳＢだけが加算される。
【0111】
さらに、タイミングｔ４におけるＶ４（第３例におけるＶＲＳＴ”相当）を減算した値の各ビットが、レジスタ６００，６０１，６０２，６０３に格納される（図１８参照）。ただし、ここでは、Ｖ４の最下位ビットＬＳＢだけが減算される。
【0112】
ここまでの処理で、レジスタ６００，６０１，６０２，６０３に格納された値は、（Ｖ１－Ｖ２）－（Ｖ３ＬＳＢ－Ｖ４ＬＳＢ）＝Ｓ１＋ｅＬＳＢであり、第１センサデータＳ１に真正乱数ノイズの最下位ビットを付加したものに相当する。
【0113】
以上のように、第５例では、カラムプロセッサ４０４を利用して、真正乱数ノイズが付加されたデータを得ることができる。
【0114】
図１６から図１８は、第５例におけるカラムプロセッサ４０４の動作の詳細を示している。図１６では、レジスタ６００，６０１，６０２，６０３がリセットされた状態から、（Ｖ１－Ｖ２）の値が格納されるまでを示している。
【0115】
ここでは、Ｖ１，Ｖ２，Ｖ３，Ｖ４は、それぞれ、４ビットの値である。Ｖ１の各ビットは、ｖ１（０），ｖ１（１），ｖ１（２），ｖ１（３）で表され、ｖ１（０）がＶ１の最下位ビットであり、ｖ１（３）がＶ１の最上位ビットである。同様に、Ｖ２の各ビットは、ｖ２（０），ｖ２（１），ｖ２（２），ｖ２（３）で表され、ｖ２（０）がＶ２の最下位ビットであり、ｖ２（３）がＶ２の最上位ビットである。Ｖ３の各ビットは、ｖ３（０），ｖ３（１），ｖ３（２），ｖ３（３）で表され、ｖ３（０）がＶ１の最下位ビットＶ３ＬＳＢであり、ｖ３（３）がＶ３の最上位ビットである。Ｖ４の各ビットは、ｖ４（０），ｖ４（１），ｖ４（２），ｖ４（３）で表され、ｖ４（０）がＶ４の最下位ビットＶ４ＬＳＢであり、ｖ４（３）がＶ４の最上位ビットである。
【0116】
図１６において、最初のタイミングＳ１００において、ｖ１（３）が、レジスタ６００（図１６に示すＤ０）に格納される。次のタイミングＳ１０１において、ｖ１（２）が、レジスタ６００に格納され、ｖ１（３）は右側のレジスタ６０１（図１６に示すＤ１）にシフトする。次のタイミングＳ１０２において、ｖ１（１）が、レジスタ６００に格納され、レジスタの各値は右側へシフトする。次のタイミングＳ１０３において、ｖ１（０）が、レジスタ６００に格納され、レジスタの各値は右側へシフトする。以上で、Ｖ１の全ビットがレジスタ６００，６０１，６０２，６０３に格納された状態になる。
【0117】
次のタイミングＳ２００において、ｖ１（３）－ｖ２（３）の値が、レジスタ６００に格納され、レジスタの各値は右側へシフトする。同様の処理が繰り返され、タイミングＳ２０３において、Ｖ１－Ｖ２の全ビットがレジスタ６００，６０１，６０２，６０３に格納された状態になる。
【0118】
図１７に示すように、タイミングＳ２０３に続くタイミングＳ３００、Ｓ３０１，Ｓ３０２において、ｖ３（３）、ｖ３（２）、ｖ３（１）が発生するが、カラムプロセッサ４０４における加算又は減算は行われず、スキップされる。タイミングＳ３０３において、Ｖ３の最下位ビットＶ３ＬＳＢであるｖ３（０）が発生すると、ｖ１（０）－ｖ２（０）に加算されて、レジスタ６００に格納される。以上で、Ｖ１－Ｖ２＋Ｖ３ＬＳＢの全ビットが、レジスタ６００，６０１，６０２，６０３に格納された状態になる。
【0119】
図１８に示すように、タイミングＳ３０３に続くタイミングＳ４００、Ｓ４０１，Ｓ４０２において、ｖ４（３）、ｖ４（２）、ｖ４（１）が発生するが、カラムプロセッサ４０４における加算又は減算は行われず、スキップされる。タイミングＳ４０３において、Ｖ４の最下位ビットＶ４ＬＳＢであるｖ４（０）が発生すると、ｖ１（０）－ｖ２（０）＋ｖ３（０）から減算されて、レジスタ６００に格納される。以上で、Ｖ１－Ｖ２＋Ｖ３ＬＳＢ－Ｖ４ＬＳＢの全ビットが、レジスタ６００，６０１，６０２，６０３に格納された状態になる。
【0120】
第５例では、カラムプロセッサ４０４が、真正乱数ノイズの大きさを調整する調整器として機能する。
【0121】
熱雑音から生成したランダムノイズは、ガウシアン分布をとるガウシアンノイズになるが、ガウシアンノイズの下位ビットだけを抽出すると、一様分布ノイズになる。ノイズが一様分布であると、ノイズの予測が一層困難になり有利である。
【0122】
＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0123】
１０ ：センサシステム
２０ ：センサ
２１ ：センサ素子
２３ ：センサ回路
２５ ：熱雑音の発生源
２６ ：調整器
３０ ：機械学習器
４０ ：真正乱数ノイズ除去器
５０ ：データ認識器
１００ ：オリジナルデータ
１００Ａ ：ランダムノイズを有するアドバーサリアル・エグザンプル
１０２ ：アドバーサリアル・エグザンプル
１０３ ：ノイズ除去データ
２００ ：ピクセル
２１０ ：フォトダイオード
２３０ ：読み出し回路
２３１ ：転送ゲート
２３２ ：リセットトランジスタ
２３３ ：ソースフォロワトランジスタ
２３４ ：セレクトトランジスタ
３００ ：アナログ－デジタル変換器
３１０ ：シングルスロープＡＤＣ
３１１ ：デジタル－アナログ変換器
３１２ ：コンパレータ
３１３ ：カウンタ
４０１ ：増幅器
４０２ ：スレッシュホールド回路
４０３ ：ＳＡ－ＡＤＣ
４０４ ：カラムプロセッサ
５０１ ：算術演算装置
５０２ ：マルチプレクサ
６００ ：レジスタ
６０１ ：レジスタ
６０２ ：レジスタ
６０３ ：レジスタ
２０ ：センサ
２１ ：センサ素子
２３ ：センサ回路
２５ ：熱雑音の発生源
２６ ：調整器
３０ ：機械学習器
４０ ：真正乱数ノイズ除去器
５０ ：データ認識器
１００ ：オリジナルデータ
１００Ａ ：ランダムノイズを有するアドバーサリアル・エグザンプル
１０２ ：アドバーサリアル・エグザンプル
１０３ ：ノイズ除去データ
２００ ：ピクセル
２１０ ：フォトダイオード
２３０ ：読み出し回路
２３１ ：転送ゲート
２３２ ：リセットトランジスタ
２３３ ：ソースフォロワトランジスタ
２３４ ：セレクトトランジスタ
３００ ：アナログ－デジタル変換器
３１０ ：シングルスロープＡＤＣ
３１１ ：デジタル－アナログ変換器
３１２ ：コンパレータ
３１３ ：カウンタ
４０１ ：増幅器
４０２ ：スレッシュホールド回路
４０３ ：ＳＡ－ＡＤＣ
４０４ ：カラムプロセッサ
５０１ ：算術演算装置
５０２ ：マルチプレクサ
６００ ：レジスタ
６０１ ：レジスタ
６０２ ：レジスタ
６０３ ：レジスタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】