(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-24
(54)【発明の名称】敵対的サンプルに対するロバストネスを改善するためのデバイス及び方法
(51)【国際特許分類】
G05B 13/02 20060101AFI20220316BHJP
G06N 20/00 20190101ALI20220316BHJP
【FI】
G05B13/02 L
G05B13/02 T
G06N20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021545397
(86)(22)【出願日】2020-01-10
(85)【翻訳文提出日】2021-08-03
(86)【国際出願番号】 IB2020050176
(87)【国際公開番号】W WO2020161546
(87)【国際公開日】2020-08-13
(32)【優先日】2019-02-04
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
【住所又は居所原語表記】Stuttgart, Germany
(71)【出願人】
【識別番号】591236068
【氏名又は名称】カーネギー-メロン ユニバーシティ
【氏名又は名称原語表記】CARNEGIE-MELLON UNIVERSITY
(74)【代理人】
【識別番号】100114890
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ジェレミー ジーグ コルター
(72)【発明者】
【氏名】フランク シュミット
(72)【発明者】
【氏名】ジェレマイア エム. コーエン
【テーマコード(参考)】
5H004
【Fターム(参考)】
5H004GA17
5H004GB12
5H004GB16
5H004KD31
5H004KD61
(57)【要約】
センサ(30)から受信されたセンサ信号を分類するための平滑化分類器(g)のロバストネスを評価するためのコンピュータ実装方法であって、前記センサ信号(S)に依存して入力信号(x)を提供するステップと、前記入力信号(x)がノイズを被っている場合に、前記入力信号(x)が所定の複数のクラスのうちの第1のクラス(cA)に属するものとして分類される確率を特徴付ける第1の値(pA)を、平滑化分類器(g)により求めるステップであって、前記第1のクラス(cA)は、最も確率の高いクラスである、ステップと、前記入力信号(x)が前記ノイズ(特にガウシアンノイズ)を被っている場合に、前記入力信号(x)が前記所定の複数のクラスのうちの第2のクラス(cB)に属するものとして分類される確率を特徴付ける第2の値(pB)を、平滑化分類器(g)により求めるステップであって、前記第2のクラス(cB)は、2番目に確率の高いクラスである、ステップと、前記第1の値(pA)における標準ガウス累積分布関数(Φ)の第1の逆値(Φ-1(pA))に依存して、及び/又は、前記第2の値(pB)における前記標準ガウス累積分布関数(Φ)の第2の逆値(Φ-1(pB))に依存して、ロバストネス値(R)を求めるステップと、を含む方法である。
【特許請求の範囲】
【請求項1】
センサ(30)から受信されたセンサ信号を分類するための平滑化分類器(g)のロバストネスを評価するためのコンピュータ実装方法であって、
前記センサ信号(S)に応じて入力信号(x)を提供するステップと、
前記入力信号(x)がノイズを被っている場合に、前記入力信号(x)が所定の複数のクラスのうちの第1のクラス(c
A)に属するものとして分類される確率を特徴付ける第1の値(p
A)を、前記平滑化分類器(g)により求めるステップであって、前記第1のクラス(c
A)は、最も確率の高いクラスである、ステップと、
前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記所定の複数のクラスのうちの第2のクラス(c
B)に属するものとして分類される確率を特徴付ける第2の値(p
B)を、前記平滑化分類器(g)により求めるステップであって、前記第2のクラス(c
B)は、2番目に確率の高いクラスである、ステップと、
前記第1の値(p
A)における標準ガウス累積分布関数(Φ)の第1の逆値(Φ
-1(p
A))に依存して、及び/又は、前記第2の値(p
B)における前記標準ガウス累積分布関数(Φ)の第2の逆値(Φ
-1(p
B))に依存して、ロバストネス値(R)を求めるステップと、
を含む方法。
【請求項2】
前記ロバストネス値(R)は、標準偏差(σ)と、前記第1の逆値(Φ
-1(p
A))から前記第2の逆値(Φ
-1(p
B))を引いた差との積に依存して求められる、
請求項1に記載の方法。
【請求項3】
前記第1の値(p
A)を求める前に、前記方法は、前記所定の複数のクラスのうちのどのクラスが前記第1のクラス(c
A)であるかを推定するステップを含む、
請求項1又は2に記載の方法。
【請求項4】
前記第1の値(p
A)は、前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記第1のクラス(c
A)に属するものとして分類される確率の下界である、
請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
前記第2の値(p
B)は、前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記第2のクラス(c
B)に属するものとして分類される確率の上界である、
請求項1乃至4のいずれか一項に記載の方法。
【請求項6】
前記第2の値(p
B)は、p
B=1-p
Aとして求められる、
請求項5に記載の方法。
【請求項7】
前記ロバストネス値(R)は、標準偏差(σ)と、前記第1の逆値(Φ
-1(p
A))から前記第2の逆値(Φ
-1(p
B))を引いた差との積に依存して求められる、
請求項1乃至6のいずれか一項に記載の方法。
【請求項8】
センサ(30)から受信されたセンサ信号を分類するための平滑化分類器(g)の全体ロバストネス(R
ov)を評価するためのコンピュータ実装方法であって、
テスト入力信号(x
i)を含む訓練セットを提供するステップと、
請求項1乃至7のいずれか一項に記載の方法を用いて、前記センサ(30)から受信する代わりに、前記入力信号(x)として前記テスト入力信号(x
i)を使用することにより、前記テスト入力信号(x
i)の各々に対するテストロバストネス値を求めるステップと、
前記全体ロバストネス(R
ov)を、前記求められたテストロバストネス値(R
i)の集合を特徴付ける値として、特にその最小値として求めるステップと、
を含む方法。
【請求項9】
前記平滑化分類器(g)がロバストであるか否かを、前記ロバストネス値(R)及び前記全体ロバストネス値(R
ov)の相対サイズに基づいて判別する、
請求項1及び7に記載のコンピュータ実装方法。
【請求項10】
平滑化分類器(g)を訓練するためのコンピュータ実装方法であって、
前記平滑化分類器(g)を訓練するステップと、
請求項8に記載の方法を使用して前記分類器(g)がロバストであるか否かを判別するステップと、
前記平滑化分類器(g)が非ロバストであると判別された場合に、訓練を継続するステップと、
を含む方法。
【請求項11】
平滑化分類器(g)を操作するためのコンピュータ実装方法であって、
請求項9に記載の方法を使用して、前記平滑化分類器(g)がロバストであるか否かを判別するステップと、
前記平滑化分類器(g)が非ロバストであると判別された場合に、
前記入力信号(x)をリモートサーバに送信するステップと、
前記リモートサーバから、前記入力信号(x)の目標分類を受け取るステップと、
前記入力信号(x)及び前記目標分類を使用して、前記平滑化分類器(g)をさらに訓練するステップと、
を含む方法。
【請求項12】
平滑化分類器(g)と、入力信号(x)を前記平滑化分類器(g)に提供するセンサ(30)とを含むシステムを操作するためのコンピュータ実装方法であって、
請求項1乃至7のいずれか一項に記載の方法を使用して、前記入力信号(x)が提供されたときに前記平滑化分類器(g)のロバストネス値(R)を求めるステップと、
前記ロバストネス値(R)に依存して、前記センサ(30)の動作パラメータを調整するステップ、特にズームインを行うステップと、
を含む方法。
【請求項13】
平滑化分類器(g)の出力信号(y)に依存してアクチュエータ(10)を制御するためのアクチュエータ制御信号(A)を提供するコンピュータ実装方法であって、
請求項1乃至7のいずれか一項に記載の方法を使用して、前記平滑化分類器(g)がロバストであるか否かを評価し、前記評価の結果に従って前記アクチュエータ制御信号(A)を決定し、特に前記評価の結果として前記平滑化分類器(g)がロバストでないとみなされた場合に前記アクチュエータ制御信号(A)を決定することにより前記アクチュエータ(10)をセーフモードで動作させる、ステップ
を含む方法。
【請求項14】
前記アクチュエータ(10)は、少なくとも部分的に自律的なロボット(100)及び/又は製造機械(200)及び/又はアクセス制御システム(300)を制御する、
請求項13に記載の方法。
【請求項15】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ(45,145)によって実行されるときに、コンピュータに請求項1乃至14のいずれか一項に記載の方法の全ステップを実施させるために構成されているコンピュータプログラム。
【請求項16】
請求項15に記載のコンピュータプログラムを記憶した機械可読記憶媒体(46,146)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、平滑化分類器のロバストネスを評価するための方法、平滑化分類器の全体ロバストネスを評価するための方法、平滑化分類器を訓練するための方法、平滑化分類器を操作するための方法、アクチュエータ制御信号を提供する方法、コンピュータプログラム及び機械可読記憶媒体に関する。
【背景技術】
【0002】
背景技術
安全性が重要な用途、例えば、高度な自動運転においては、システムのさらなるアクションのうちいずれが選択されるかに応じて、入力信号の分類及び/又はセマンティックセグメンテーションが正しく行われることが重要である。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Mathias Lecuyer, Vaggelis Atlidakis, Roxana Geambasu, Daniel Hsu, Suman Jana, “Certified Robustness to Adversarial Examples with Differential Privacy”, arXiv preprint arXiv:1802.03471v3,2018
【非特許文献2】Bai Li, Changyou Chen, Wenlin Wang, Lawrence Carin, “Second-Order Adversarial Attack and Certifiable Robustness”, arXiv preprint arXiv:1809.03113v1,2018
【発明の概要】
【発明が解決しようとする課題】
【0004】
ただし、適当な対策を講じなければ、例えばニューラルネットワーク分類システムなどの分類器は、容易に欺かれ得ることが広く知られている。深層学習に基づき得る分類器は、小さい摂動に対して敏感であり得ることが広く知られている。かかるシステムを物理的世界に展開するには、システムのロバストネスを証明することが重要である。
【0005】
「Mathias Lecuyer, Vaggelis Atlidakis, Roxana Geambasu, Daniel Hsu, Suman Jana, “Certified Robustness to Adversarial Examples with Differential Privacy”, arXiv preprint arXiv:1802.03471v3,2018」及び「Bai Li, Changyou Chen, Wenlin Wang, Lawrence Carin, “Second-Order Adversarial Attack and Certifiable Robustness”, arXiv preprint arXiv:1809.03113v1,2018」には、入力信号をクラスKにマッピングする所与の分類器fに基づいて、証明可能なロバストな分類器を作成するランダム化手法が開示されている。この文脈においては、分類器fは、ベース分類器とも称される。これらの文献はまた、かかる平滑化分類器の証明可能なロバストな境界を示している。
【課題を解決するための手段】
【0006】
発明の効果
平滑化分類器gは、次のように定義することができる。即ち、入力xが与えられると、平滑化分類器gにより、ノイズのもとで、特に、入力信号xのランダムなガウス摂動のもとで、ベース分類器fによる最も確率の高い予測、即ち、
【数1】
が返される。ここで、所定の分散σ
2について、ε~N(0,σ
2I)である。
【0007】
前記平滑化分類器gの分類が正しいことの確証を得るために、ロバストネスが保証されていることが重要である。独立請求項1の特徴を有する方法により、ロバストネス値(ロバストネス境界とも称される)Rが生成される。ここで、ロバストネス値Rは、平滑化分類器gによって生成される分類が、入力信号xの周囲の半径Rの球内にある全ての入力ベクトルに対して同一であることを保証するものである。
【0008】
発明の開示
従って、第1の態様においては、本発明は、センサ(30)から受信されたセンサ信号を分類するための平滑化分類器(g)のロバストネスを評価するためのコンピュータ実装方法に関し、当該方法は、
前記センサ信号に依存して入力信号を特定するステップと、
前記入力信号(x)がノイズを被っている場合に、前記入力信号(x)が所定の複数のクラスのうちの第1のクラス(cA)に属するものとして分類される確率を特徴付ける第1の値(pA)を、平滑化分類器(g)により求めるステップであって、前記第1のクラス(cA)は、最も確率の高いクラスである、ステップと、
前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記所定の複数のクラスのうちの第2のクラス(cB)に属するものとして分類される確率を特徴付ける第2の値(pB)を、平滑化分類器(g)により求めるステップであって、前記第2のクラス(cB)は、2番目に確率の高いクラスである、ステップと、
前記第1の値(pA)における標準ガウス累積分布関数の第1の逆値(Φ-1(pA))に依存して、及び/又は、前記第2の値(pB)における前記標準ガウス累積分布関数の第2の逆値(Φ-1(pB))に依存して、ロバストネス値Rを求めるステップと、
を含む。
【0009】
ここで、前記ロバストネス値Rが所定の閾値よりも大きい場合にのみ、平滑化分類器(g)がロバストであると判別することができる。
【0010】
例えば、前記所定の閾値は、センサ信号におけるノイズを特徴付ける量によって与えられるものとしてもよい。
【0011】
好ましい実施形態においては、前記ロバストネス値Rは、Φ-1(pA)-Φ-1(pB)、好ましくはσ・(Φ-1(pA)-Φ-1(pB))に比例して求められる。
【0012】
前記ロバストネス値Rが、
R=σ/2(Φ
-1(p
A)-Φ
-1(p
B)) (2)
に等しくなるように選択された場合、境界は狭いものとなる。当該境界は、先行して既知となっている境界よりも実質的に大きいため、より有用である。数学的に言えば、p
Aは、
【数2】
の下界、p
Bは、
【数3】
の上界である。入力信号xの周囲のロバストネス値Rを計算するためには、p
A及びp
Bを計算する必要がある。ただし、入力信号が高次元の場合、可能なクラスKの集合上の離散分布であるf(x+ε)の分布を正確に計算することは不可能である。これは、g(x)を正確に計算するために、全ての可能な状態x+εに対してf(x+ε)を計算し、集合S
A={x+ε|f(x+E)=c
A}に沿ってガウス関数を積分する必要があるためである。
【0013】
モンテカルロ推定により、モンテカルロサンプル上において任意に高い確率1-αによって、
【数4】
を満たす境界p
A及びp
Bを構築することにより、良好な近似を得ることができる。
【0014】
上位クラスc
Aを同時に識別しながら、p
A及びp
Bを推定することは、潜在的に非効率的である。単純な実装形態においては、全てのクラスc
iに対して
【数5】
を計算し、最大のp
iを有するクラスとしてc
Aを識別する。これは正確であることが保証されているが、計算にはコストを要する。
【0015】
1つの方法として、2段階手順がある。まず、f(x+ε)のn
0個のサンプルを使用して、上位クラスc
Aの恒等写像
【数6】
を推定する。有意に大きい半径は、f(x+ε)がそのほぼ全ての集団を上位クラスに置く場合にのみ証明することができるため、n
0を非常に小さくすることができ、例えば、n
0=3である。次に、f(x+ε)からn個のサンプルを使用して、所定のαの値に対して確率1-αで(2)を満たすp
A及びp
Bを取得する。上位クラスc
Aの外側にあるf(x+ε)の集団は、残余の全てのクラスに均一に分散されるよりも、残余の1つのクラスに完全に割り当てられる方が極めて一般的であることがわかる。従って、p
Bをp
B=1-p
Aとして求めることができる。これは非常に効率的であると同時に、非常に正確な上界である。
【0016】
本発明のさらなる態様においては、複数のテスト入力信号(xi)を含むテスト集合に上記の方法を適用することが可能である。上記のように入力信号(x)として前記テスト入力信号(xi)を使用すると、複数のテストロバストネス値(Ri)を求めることができ、各々がテスト入力信号(xi)のうちの1つに対応する。次に、求められたテストロバストネス値(Ri’)の集合を特徴付ける全体ロバストネス値(Rov)、例えばその最小値を求めることが可能である。
【0017】
次に、前記全体ロバストネス値Rovが所定の閾値よりも大きい場合にのみ、平滑化分類器(g)がロバストであると判別することができる。
【0018】
代替的に、前記平滑化分類器(g)がロバストであるか否かを、前記ロバストネス値(R)及び前記全体ロバストネス値(Rov)の相対サイズに基づいて判別することが可能である。前記相対サイズは、前記入力信号(x)がテスト集合によって有意に表現されているか否か、換言すれば、前記入力信号(x)が前記テスト集合を代表しているか否かの指標である。例えば、前記平滑化分類器(g)は、前記相対サイズ、例えば商R/Rovが第2の所定の閾値よりも大きい場合にのみ、ロバストであると判別することができる。
【0019】
本発明のさらなる態様においては、この平滑化分類器(g)がロバストであるか否かの判別を、前記平滑化分類器(g)の訓練のカットオフ基準として使用することが想定され得る。ここで、前記平滑化分類器(g)が非ロバストであると判別された場合、訓練は継続される。
【0020】
本発明のさらに他の態様においては、前記平滑化分類器の動作中の訓練に相対サイズを使用することが可能である。前記平滑化分類器(g)がロバストであるか否かを上記の方法を使用して判別し、前記平滑化分類器(g)を操作することを想定することができ、前記平滑化分類器(g)が前記相対サイズに基づいて非ロバストであると判別された場合、前記入力信号(x)をリモートサーバに送信し、前記リモートサーバから前記入力信号(x)の目標分類を受け取り、前記入力信号(x)及び前記目標分類を使用して、前記平滑化分類器(g)をさらに訓練することが想定され得る。例えば、前記目標分類は、人間の専門家によって提供されたものであってもよい。「リモート」とは、前記リモートサーバ及び前記平滑化分類器を実施するコンピュータが単一のユニットに統合されていないことを意味し得る。
【0021】
本発明のさらに他の態様においては、前記入力信号(x)が提供されたときに前記平滑化分類器(g)の前記ロバストネス値(R)を、上記の方法を用いて求め、前記ロバストネス値に依存して前記センサ(30)の動作パラメータを調整することにより、前記ロバストネス値Rを精密検査のトリガとして使用することが可能である。特に、前記センサ(30)は、非ロバストとして分類される領域にズームインするように制御され得る。
【0022】
本発明のさらに他の態様においては、上記の方法を使用して前記平滑化分類器(g)がロバストであるか否かを評価することにより、アクチュエータの安全な動作のために前記ロバストネス値Rを使用することが可能であり、前記評価の結果に従って、前記アクチュエータを制御するためのアクチュエータ制御信号(A)を決定し、特に、前記評価の結果として前記平滑化分類器(g)がロバストでないとみなされた場合、前記アクチュエータ制御信号(A)を決定することにより、前記アクチュエータをセーフモードで動作させることが可能である。
【0023】
もちろん、上記方法は、自動運転への適用に限定されるものではない。他の用途においては、少なくとも部分的に自律的なロボット(100)及び/又は製造機械(200)及び/又はアクセス制御システム(300)を制御する前記アクチュエータを有することが想定され得る。
【0024】
本発明の実施形態は、以下の図を参照してより詳細に議論される。
【図面の簡単な説明】
【0025】
【
図1】その環境内においてアクチュエータを制御する分類器を備えた制御システムの図である。
【
図2】少なくとも部分的に自律的なロボットを制御する制御システムを示す図である。
【
図3】製造機械を制御する制御システムを示す図である。
【
図4】自動パーソナルアシスタントを制御する制御システムを示す図である。
【
図5】アクセス制御システムを制御する制御システムを示す図である。
【
図6】監視システムを制御する制御システムを示す図である。
【
図7】撮像システムを制御する制御システムを示す図である。
【
図8】前記分類器の構造の実施形態を示す図である。
【
図9】ロバストネス値Rを求めるアルゴリズムのフローチャート図である。
【
図10】ロバストネス値Rを求めるための代替アルゴリズムの一部のフローチャート図である。
【
図11】分類器がロバストであるか否かを判別する方法のフローチャート図である。
【
図12】分類器60が全体的にロバストであるか否かを判別する方法を示すフローチャート図である。
【
図13】入力信号xがテスト集合において良好に代表されているか否かを判別する方法を示すフローチャート図である。
【
図14】分類器60を操作するための他の方法を示すフローチャート図である。
【
図15】分類器60を操作するための他の方法を示すフローチャート図である。
【
図16】分類器60を操作するための他の方法を示すフローチャート図である。
【
図17】アクチュエータ制御信号Aを提供する方法を示すフローチャート図である。
【発明を実施するための形態】
【0026】
実施形態の説明
図1は、その環境20におけるアクチュエータ10の一実施形態を示している。アクチュエータ10は、制御システム40との相互作用を有する。アクチュエータ10及びその環境20は、合わせてアクチュエータシステムと称される。センサ30は、好適には均等に離間された間隔において、アクチュエータシステムの状態を測定する。センサ30は、複数のセンサを含み得る。センサ30は、環境20の画像を撮影する光学センサであることが好ましい。測定された状態を符号化するセンサ30の出力信号S(又は、センサ30が複数のセンサを含む場合、センサの各々に対する出力信号S)が、制御システム40に送信される。
【0027】
これにより、制御システム40は、センサ信号Sのストリームを受信する。次に、センサ信号ストリームSに応じて、一連のアクチュエータ制御コマンドAが計算され、その後、アクチュエータ10に送信される。
【0028】
制御システム40は、任意手段としての受信ユニット50において、センサ30のセンサ信号Sのストリームを受信する。受信ユニット50は、センサ信号Sを入力信号xに変換する。代替的に、受信ユニット50がない場合には、各センサ信号Sを直接的に入力信号xとしてもよい。入力信号xは、例えば、センサ信号Sから抜粋して与えられるものとしてもよい。代替的に、センサ信号Sを処理して入力信号xを生成するものとしてもよい。入力信号xには、センサ30によって記録された画像に対応する画像データが含まれる。換言すれば、入力信号xは、センサ信号Sに従って提供される。
【0029】
入力信号xは、次に、分類器60に渡されるが、この分類器は、例えば、人工ニューラルネットワークによって与えられるものとしてもよい。
【0030】
分類器60は、パラメータφによってパラメータ化される。このパラメータφは、パラメータストレージSt1に記憶されており、パラメータストレージSt1によって提供される。
【0031】
分類器60は、入力信号xから出力信号yを求める。出力信号yには、上位クラスcA及びロバストネス値Rが含まれる。無論、上位クラスcA及びロバストネス値Rは、入力信号x全体の分類に対応し得る。代替的に、例えば、バウンディングボックスにクラスを割り当てることにより、セマンティックセグメンテーションとして与えられるものとしてもよい。出力信号yは、任意手段としての変換ユニット80に送信される。変換ユニット80は、アクチュエータ制御コマンドAを決定するように構成されている。次に、アクチュエータ制御コマンドAがアクチュエータ10に送信され、これに応じてアクチュエータ10が制御される。代替的に、出力信号yを直接的に制御コマンドAとして取得するものとしてもよい。
【0032】
アクチュエータ10は、アクチュエータ制御コマンドAを受信し、これに応じて制御され、アクチュエータ制御コマンドAに対応する動作を実行する。アクチュエータ10は、アクチュエータ制御コマンドAをさらなる制御コマンドに変換するための制御ロジックを含み得る。この場合、さらなる制御コマンドは、アクチュエータ10を制御するために使用される。
【0033】
さらなる実施形態においては、制御システム40は、センサ30を含み得る。さらに他の実施形態においては、制御システム40は、代替的又は付加的にアクチュエータ10を含み得る。
【0034】
さらに他の実施形態においては、制御システム40がアクチュエータ10の代わりにディスプレイ10aを制御することが想定され得る。
【0035】
さらに、制御システム40は、単一のプロセッサ45(又は複数のプロセッサ)及び少なくとも1つの機械可読記憶媒体46を含み得る。この場合、少なくとも1つの機械可読記憶媒体46には、実行されるときに、制御システム40に本発明の一態様による方法を実施させるための命令が記憶されている。
【0036】
図2は、少なくとも部分的に自律的なロボット、例えば、少なくとも部分的に自律的な車両100を制御するために制御システム40が使用される実施形態を示している。
【0037】
センサ30には、1つ以上のビデオセンサ及び/又は1つ以上のレーダセンサ及び/又は1つ以上の超音波センサ及び/又は1つ以上のLiDARセンサ及び/又は1つ以上の位置センサ(例えば、GPSなど)が含まれるものとしてもよい。これらのセンサの一部又は全ては、車両100に組み込まれることが好ましいが、必ずしもそうでなくてもよい。代替的又は付加的に、センサ30は、アクチュエータシステムの状態を特定するための情報システムを含み得る。かかる情報システムの一例は、環境20における気象の現在又は将来の状態を特定する気象情報システムである。
【0038】
例えば、入力信号xを使用して、分類器60は、例えば、少なくとも部分的に自律的なロボットの近傍にある物体を検出するものとしてもよい。出力信号yは、物体が少なくとも部分的に自律的なロボットの近傍に位置する場所を特徴付ける情報を含み得る。次に、制御コマンドAを、例えば、前記検出された物体との衝突を回避するために、当該情報に従って決定することができる。
【0039】
好ましくは、車両100に組み込まれるアクチュエータ10は、車両100のブレーキ、推進システム、エンジン、ドライブトレイン又はステアリングによって与えられ得る。アクチュエータ制御コマンドAを決定して、車両100が前記検出された物体との衝突を回避するように、単一のアクチュエータ(又は複数のアクチュエータ)10を制御することができる。検出された物体を、分類器60が最も可能性が高いとみなしたもの、例えば、歩行者又は樹木によって分類し、分類に応じてアクチュエータ制御コマンドAを決定することができる。
【0040】
さらなる実施形態において、少なくとも部分的に自律的なロボットは、例えば、飛行、水泳、潜水又は歩行によって移動し得る他の移動ロボット(図示せず)によって与えられ得る。移動ロボットは、特に、少なくとも部分的に自律的な芝刈り機、又は、少なくとも部分的に自律的な掃除ロボットであるものとしてよい。上記の全ての実施形態において、アクチュエータコマンド制御Aが決定され、移動ロボットが前記識別された物体との衝突を回避し得るように、移動ロボットの推進ユニット及び/又はステアリング及び/又はブレーキを制御することができる。
【0041】
さらなる実施形態においては、少なくとも部分的に自律的なロボットは、環境20内の植物の状態を特定するためにセンサ30、好ましくは光学センサを使用する園芸ロボット(図示せず)によって与えられ得る。アクチュエータ10は、化学薬品を噴霧するためのノズルであるものとしてよい。識別された植物の種及び/又は識別された植物の状態に応じて、アクチュエータ制御コマンドAは、アクチュエータ10に適当な量の適当な化学物質を植物に散布させるように決定することができる。
【0042】
さらなる実施形態において、少なくとも部分的に自律的なロボットは、例えば、洗濯機、コンロ、オーブン、電子レンジ又は食器洗浄機のような家電製品(図示せず)によって与えられ得る。センサ30、例えば光学センサは、家電製品による処理される物体の状態を検出することができる。例えば、家電製品が洗濯機である場合、センサ30は、洗濯機内の洗濯物の状態を検出するものとしてもよい。この場合、アクチュエータ制御信号Aは、検出された洗濯物の材料に応じて決定可能である。
【0043】
図3には、制御システム40が、例えば、製造ラインの一部として、製造システム200の製造機械11(例えば、パンチカッタ、カッタ又はガンドリル)を制御するために使用される実施形態が示されている。制御システム40がアクチュエータ10を制御し、アクチュエータ10が製造機械11を制御する。
【0044】
センサ30は、例えば、製造製品12の特性を捕捉する光学センサによって与えられ得る。分類器60は、これらの捕捉された特性から製造製品12の状態を特定することができる。次に、製造機械11を制御するアクチュエータ10が、製造製品12の後続の製造ステップのために、特定された製造製品12の状態に応じて制御され得る。代替的に、アクチュエータ10は、特定された製造製品12の状態に応じて、後続の製造製品12の製造中に制御されることが想定され得る。
【0045】
図4は、自動パーソナルアシスタント250を制御するために制御システム40が使用される実施形態を示している。センサ30は、例えば、ユーザ249のジェスチャのビデオ画像を受信するための光学センサであるものとしてよい。代替的に、センサ30は、例えば、ユーザ249の音声コマンドを受信するためのオーディオセンサであるものとしてもよい。
【0046】
この場合、制御システム40は、自動パーソナルアシスタント250を制御するためのアクチュエータ制御コマンドAを決定する。アクチュエータ制御コマンドAは、センサ30からのセンサ信号Sに従って決定される。センサ信号Sは、制御システム40に送信される。例えば、分類器60は、ジェスチャ認識アルゴリズムなどを実行して、ユーザ249によって行われたジェスチャを識別するように構成されるものとしてもよい。この場合、制御システム40は、自動パーソナルアシスタント250に送信するためのアクチュエータ制御コマンドAを決定するものとしてもよい。次に、前記アクチュエータ制御コマンドAが自動パーソナルアシスタント250に送信される。
【0047】
例えば、アクチュエータ制御コマンドAは、分類器60によって認識された、識別されたユーザジェスチャに従って決定されるものとしてもよい。これには、自動パーソナルアシスタント250にデータベースから情報を取得させ、この取得された情報をユーザ249による受信に適した形式において出力させる情報が含まれるものとしてもよい。
【0048】
さらなる実施形態においては、自動パーソナルアシスタント250の代わりに、制御システム40が、識別されたユーザジェスチャに従って制御される家電製品(図示せず)を制御することが想定され得る。家電製品は、洗濯機、コンロ、オーブン、電子レンジ又は食器洗浄機であるものとしてもよい。
【0049】
図5は、制御システムがアクセス制御システム300を制御する実施形態を示している。アクセス制御システムは、アクセスを物理的に制御するように設計することができる。例えば、当該システムには、ドア401が含まれるものとしてもよい。センサ30は、アクセスが許可されるか否かを判別するために関連するシーンを検出するように構成される。センサ30は、例えば、人間の顔を検出するための画像又はビデオデータを提供するための光学センサであるものとしてよい。分類器60は、例えば、識別情報をデータベースに記憶されている既知の人々と照合することにより、この画像又はビデオデータを解釈するように構成されているものとしてよく、これにより、個人の識別情報が判別される。次に、アクチュエータ制御信号Aは、分類器60の解釈に応じて、例えば、判別された識別情報に従って、決定され得る。アクチュエータ10は、アクチュエータ制御信号Aに応じてアクセスを許可する又は許可しないロックであるものとしてよい。非物理的で論理的なアクセス制御も可能である。
【0050】
図6は、制御システム40が監視システム400を制御する実施形態を示している。この実施形態は、
図5に示す実施形態とほぼ同様である。従って、異なる点のみを詳細に説明する。センサ30は、監視下にあるシーンを検出するように構成される。制御システムは必ずしもアクチュエータ10を制御するものではなく、ディスプレイ10aを制御するものである。例えば、機械学習システム60は、シーンの分類、例えば、光学センサ30によって検出されたシーンが疑わしいか否かを判別するものとしてもよい。次に、ディスプレイ10aに送信されるアクチュエータ制御信号Aは、例えば、機械学習システム60によって疑わしいとみなされる物体を強調表示するために、特定された分類に応じてディスプレイ10aに表示コンテンツを調整させるように構成されているものとしてよい。
【0051】
図7は、例えば、MRI装置、X線画像装置又は超音波画像装置などの画像システム500を制御するための制御システム40の実施形態を示している。センサ30は、例えば、撮像センサであるものとしてよい。次に、機械学習システム60は、測定された画像の全部又は一部の分類を特定することができる。次に、この分類に従ってアクチュエータ制御信号Aを選択することができ、これにより、ディスプレイ10aを制御することができる。例えば、機械学習システム60は、測定された画像の領域を潜在的に異常であると解釈することができる。この場合、アクチュエータ制御信号Aは、ディスプレイ10aに、潜在的に異常な領域を撮像させ、当該領域を強調表示させるように決定され得る。
【0052】
図8は、分類器60の一実施形態の構造を概略的に示している。分類器60は、平滑化分類器g及びベース分類器f、例えば深層ニューラルネットワークを含む。入力信号xは、平滑化分類器gに入力され、平滑化分類器gは、所定の標準偏差σを有する標準ガウス分布から複数の乱数εをサンプリングし、これらを入力信号xに加算するように構成されている。ベース分類器fは、乱数εごとに対応する分類f(x+ε)を返すように構成されている。この複数の分類f(x+ε)を使用して、平滑化分類器gは、例えば、
図9及び
図10に示すアルゴリズムを使用して、上位クラスc
A及びロバストネス値Rを求め、上位クラスc
A及びロバストネス値Rを合わせて出力信号yとして出力するように構成されている。分類器60の構造上、平滑化分類器g及び分類器60は、交換可能に使用される。
【0053】
図9は、ロバストネス値Rを求める方法の一実施形態のフローチャート図を示している。最初に、所定の数であるn
0個のサンプルが提供され、n
0個の乱数εが、所定の標準偏差σを有する標準ガウス分布からサンプリングされ、入力信号xに加算される(901)。乱数εごとに、ベース分類器fは対応する分類f(x+ε)を返す。推定上位クラス
【数7】
は、これらの対応する分類f(x+ε)の中で最も頻繁に発生するクラスとして求められる。
【0054】
次に、所定の第2の数であるn個のサンプルが提供され、n個の乱数εが、所定の標準偏差σを有する標準ガウス分布からサンプリングされ、入力信号xに加算される(902)。乱数εごとに、ベース分類器fは対応する分類f(x+ε)を返す。推定上位クラス
【数8】
の出現回数を数えることにより、推定上位クラス
【数9】
の相対頻度
【数10】
が計算される。ここで、推定上位クラス
【数11】
の出現の絶対頻度は、kにより表される。
【0055】
次に、n個のデータポイントを有する統計サンプルが変動の影響を受けるため、
【数12】
を満たす下界p
Aは、少なくとも1-αの確率で信頼限界の下界として計算される(903)。当該式は、パラメータk及びn-k+1を有するベータ分布のα分位数によって容易に与えられ得る。
【0056】
例えば、Fa,b,cが、パラメータa及びbを有するF分布の1-c分位数であるとすると、下界pAは、次式
pA=(1+(n-k+1)/k・F2k,2(n-k+1),1-α)-1
で与えられ得る。上界pBは、pB=1-pAとして計算される。
【0057】
次に、pA≧pBであるか否かがチェックされる(905)。この場合、ロバストネス値Rは式(2)を使用して計算される。pA<pBの場合、アルゴリズムは省略され、例えばR=-1に設定され、デフォルトのエラーメッセージが表示される。これにより、この方法は終了する。
【0058】
図10は、f(x+ε)の2つの上位クラスが同等の集団を有する場合に棄権の確率が低い上位クラスc
Aを求めるための方法の代替実施形態を示している。最初に、n個の乱数εが、所定の標準偏差σを有する標準ガウス分布からサンプリングされ、入力信号xに加算される(911)。乱数εごとに、ベース分類器fは対応する分類f(x+ε)を返す。次に、2つの上位クラスc
A、c
Bが、これらの分類f(x+ε)の中で最も頻繁に発生する2つのクラスとして選択される(912)。n
A及びn
Bは、その絶対頻度を示す。次に、n
Aが二項式(1/2,n
A+n
B)から引き出されるという両側二項仮説テストにより、αより小さいp値が返されるか否かをチェックする。この場合、上位クラスc
Aが返される。それ以外の場合、アルゴリズムは棄権される。
【0059】
図11に、分類器60がロバストであるか否かを判別する方法の一実施形態のフローチャート図を示している。まず、センサ信号Sから得られる入力信号xが提供される(1100)。センサ信号Sがノイズを含む可能性があるため、入力信号xには、ノイズが含まれる可能性がある。次に、所定の閾値τが提供される(1200)。例えば、センサ30が供される環境条件、例えば、センサ30の周囲の空気の温度又は湿度の値を提供することが可能である。次に、例えばルックアップテーブルによって、前記環境条件に応じて閾値τを求めることができる。センサ30が画像又はビデオセンサである場合、閾値τを選択して、センサ30によって生成されるノイズ、例えば、標準偏差又はピクセル値の統計的変動を特徴付けることができる。次に、入力信号xに対してロバストネス値Rが提供される。次に、ロバストネス値Rがτより大きいか否かが判別される(1400)。ロバストネス値Rがτより大きい場合(1500)、分類器60は、ロバストであると判別される。それ以外の場合(1600)、分類器60は、ロバストではないと判別される。
【0060】
図12は、分類器60が全体的にロバストであるか否かを判別する方法の一実施形態のフローチャート図を示している。この目的のために、テスト入力信号x
iを含むテストデータセットが提供される(2100)。好ましくは、前記テストデータセットは、現実世界の入力データを表している。次に、各テスト入力信号x
iに対して、対応するロバストネス値R
iが、例えば、
図9に示される方法を使用して、入力信号xとしてテスト入力信号x
iを提供することによって求められる(2200)。次に、全体ロバストネス値R
ovは、ロバストネス値の集合{R
i}から、この集合を特徴付ける値、例えば、最小値、即ち、
【数13】
を取得することによって求められる(2300)。代替的に、全体ロバストネス値は、全てのR
iの中央値又は平均値など、異なる方法によって選択することができる。次に、前記全体ロバストネス値R
ovが、ステップ(1200)における閾値τのように提供され得る第2の閾値τ
2より大きいか否かが判別される(2400)。前記全体ロバストネス値R
ovが第2の閾値τ
2より大きい場合、分類器60は、全体的にロバストであるとみなされ(2500)、それ以外の場合(2600)、分類器60は、全体的にロバストではないとみなされる。
【0061】
図13は、入力信号xがテスト集合{x
i}において良好に代表されているか否か、従って、前記テスト集合を使用して訓練された分類器60が入力信号xに対してロバストであるか否かを判別する方法の一実施形態のフローチャート図を示している。
【0062】
ステップ(2100)及び(2200)は、
図12に示した方法におけるステップと同一であり、ステップ(1100)、(1200)及び(1300)は、
図11に示した方法におけるステップと同一である。ロバストネス値R及び全体ロバストネス値R
ovが求められた後、これらが不等式
R≦R
ov・c (4)
を満たすか否かが検査される(2600)。
【0063】
当該不等式が満たされる場合(2700)、入力信号xがテスト集合において良好に代表されていないとみなされるため、テスト集合を使用して訓練された分類器60は、ロバストでないとみなされる。それ以外の場合(2800)、入力信号xはテスト集合において良好に代表されているとみなされるため、分類器60は、ロバストであるとみなされる。
【0064】
図14に、平滑化分類器gを訓練する方法の一実施形態のフローチャート図を示している。これは、平滑化分類器gに関連するベース分類器fを訓練することによって容易に実現され、単に「訓練分類器60」とも称される。最初に、分類器60が訓練される(3100)。次に、訓練において使用されたテスト集合に基づいて全体ロバストネスR
ovが求められ、分類器60が全体的にロバストであるか否かが判別される。全体的にロバストであると判別された場合、この方法は終了する(3300)。それ以外の場合、この方法は分岐して(3100)に戻り、訓練が続行される。
【0065】
この場合、アクチュエータ制御信号(A)を前記パラメータvuに従って決定することができ(916)、アクチュエータ(10)を前記アクチュエータ制御信号(A)に従って制御することができる。例えば、前記パラメータvuが非脆弱性を示す場合、前記アクチュエータ制御信号(A)は通常の動作モードに対応すると判別することが可能であり、一方、前記パラメータvuが脆弱性を示す場合、前記アクチュエータ制御信号(A)は、例えば、前記アクチュエータ(10)の運動のダイナミクスを低減することによるフェールセーフ動作モードに対応すると判別することが可能である。
【0066】
図15は、分類器60を操作する方法の一実施形態のフローチャート図を示している。最初に、分類器60が動作させられる(4100)。新規の入力信号xが提供されると、請求項9に記載の方法を使用して、分類器60がロバストであるか否かが判別される(4200)。ロバストでない場合、この方法は終了する(4500)。しかし、ロバストである場合、新規の入力信号xがリモートサーバに送信され(4300)、人間の専門家に提示され、例えば、前記リモートサーバは、人間の専門家から手動分類を目標分類として受け取る。この場合、前記目標分類が前記リモートサーバから受け取られ(4400)、新規の入力信号(x)の対と受信された目標分類とが、動作が再開される前又は後の時点において、分類器60を訓練するために使用可能な訓練セットに追加される。次に、この方法は分岐してステップ(4100)に戻る。
【0067】
図16は、分類器60を操作する方法の一実施形態のフローチャート図を示している。最初に、分類器60が動作させられる(5100)。新規の入力信号xが提供されると、請求項9に記載の方法を使用して、分類器60がロバストであるか否かが判別される(5200)。ロバストである場合、この方法は終了する(5400)。しかし、ロバストでない場合、センサ30の動作パラメータが調整され(5300)、特に、分類器60がロバストでないとされた新規の入力信号xの領域に、ズームセンサ30がズームイン可能となる。
【0068】
図17は、分類器60の出力信号yに応じてアクチュエータ10を制御するためのアクチュエータ制御信号Aを提供する方法の一実施形態のフローチャート図を示している。最初に、分類器60が動作させられる(6100)。新規の入力信号xが提供されると、例えば、
図9に示すアルゴリズムを使用することにより、分類器60がロバストであるか否かが判別される(6200)。アクチュエータ制御信号は、前記評価の結果に従って決定される。分類器60がロバストであるとみなされた場合(6300)、アクチュエータ制御信号Aは、アクチュエータ10を通常モードで動作させるように決定される。それ以外の場合、前記アクチュエータ制御信号(A)は、アクチュエータ(10)をセーフモードで動作させるように決定される。
【0069】
「コンピュータ」なる用語は、所定の計算命令を処理するためのあらゆるデバイスを指す。これらの計算命令は、ソフトウェアの形式若しくはハードウェアの形式、又は、ソフトウェア及びハードウェアの混合形式とすることができる。
【0070】
さらに、各手順は、既述のように、ソフトウェアのみでは完全には実装し得ないことも理解される。各手順は、ハードウェアにおける実装も、ソフトウェア及びハードウェアの混合形式における実装も可能である。
【手続補正書】
【提出日】2021-08-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
センサ(30)から受信されたセンサ信号を分類するための平滑化分類器(g)のロバストネスを評価するためのコンピュータ実装方法であって、
前記センサ信号(S)に応じて入力信号(x)を提供するステップと、
前記入力信号(x)がノイズを被っている場合に、前記入力信号(x)が所定の複数のクラスのうちの第1のクラス(c
A)に属するものとして分類される確率を特徴付ける第1の値(p
A)を、前記平滑化分類器(g)により求めるステップであって、前記第1のクラス(c
A)は、最も確率の高いクラスである、ステップと、
前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記所定の複数のクラスのうちの第2のクラス(c
B)に属するものとして分類される確率を特徴付ける第2の値(p
B)を、前記平滑化分類器(g)により求めるステップであって、前記第2のクラス(c
B)は、2番目に確率の高いクラスである、ステップと、
前記第1の値(p
A)における標準ガウス累積分布関数(Φ)の第1の逆値(Φ
-1(p
A))に依存して、及び/又は、前記第2の値(p
B)における前記標準ガウス累積分布関数(Φ)の第2の逆値(Φ
-1(p
B))に依存して、ロバストネス値(R)を求めるステップと、
を含む方法。
【請求項2】
前記ロバストネス値(R)は、標準偏差(σ)と、前記第1の逆値(Φ
-1(p
A))から前記第2の逆値(Φ
-1(p
B))を引いた差との積に依存して求められる、
請求項1に記載の方法。
【請求項3】
前記第1の値(p
A)を求める前に、前記方法は、前記所定の複数のクラスのうちのどのクラスが前記第1のクラス(c
A)であるかを推定するステップを含む、
請求項1又は2に記載の方法。
【請求項4】
前記第1の値(p
A)は、前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記第1のクラス(c
A)に属するものとして分類される確率の下界である、
請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
前記第2の値(p
B)は、前記入力信号(x)が前記ノイズを被っている場合に、前記入力信号(x)が前記第2のクラス(c
B)に属するものとして分類される確率の上界である、
請求項1乃至4のいずれか一項に記載の方法。
【請求項6】
前記第2の値(p
B)は、p
B=1-p
Aとして求められる、
請求項5に記載の方法。
【請求項7】
前記ロバストネス値(R)は、標準偏差(σ)と、前記第1の逆値(Φ
-1(p
A))から前記第2の逆値(Φ
-1(p
B))を引いた差との積に依存して求められる、
請求項1乃至6のいずれか一項に記載の方法。
【請求項8】
センサ(30)から受信されたセンサ信号を分類するための平滑化分類器(g)の全体ロバストネス
値(R
ov)を評価するためのコンピュータ実装方法であって、
テスト入力信号(x
i)を含む訓練セットを提供するステップと、
請求項1乃至7のいずれか一項に記載の方法を用いて、前記センサ(30)から受信する代わりに、前記入力信号(x)として前記テスト入力信号(x
i)を使用することにより、前記テスト入力信号(x
i)の各々に対するテストロバストネス値
(R
i
)を求めるステップと、
前記全体ロバストネス
値(R
ov)を、前記求められたテストロバストネス値(R
i)の集合を特徴付ける値として、特にその最小値として求めるステップと、
を含む方法。
【請求項9】
前記平滑化分類器(g)がロバストであるか否かを、前記ロバストネス値(R)及び前記全体ロバストネス値(R
ov)の相対サイズに基づいて判別する、
請求項
8に記載のコンピュータ実装方法。
【請求項10】
平滑化分類器(g)を訓練するためのコンピュータ実装方法であって、
前記平滑化分類器(g)を訓練するステップと、
請求項8に記載の方法を使用して前記分類器(g)がロバストであるか否かを判別するステップと、
前記平滑化分類器(g)が非ロバストであると判別された場合に、訓練を継続するステップと、
を含む方法。
【請求項11】
平滑化分類器(g)を操作するためのコンピュータ実装方法であって、
請求項9に記載の方法を使用して、前記平滑化分類器(g)がロバストであるか否かを判別するステップと、
前記平滑化分類器(g)が非ロバストであると判別された場合に、
前記入力信号(x)をリモートサーバに送信するステップと、
前記リモートサーバから、前記入力信号(x)の目標分類を受け取るステップと、
前記入力信号(x)及び前記目標分類を使用して、前記平滑化分類器(g)をさらに訓練するステップと、
を含む方法。
【請求項12】
平滑化分類器(g)と、入力信号(x)を前記平滑化分類器(g)に提供するセンサ(30)とを含むシステムを操作するためのコンピュータ実装方法であって、
請求項1乃至7のいずれか一項に記載の方法を使用して、前記入力信号(x)が提供されたときに前記平滑化分類器(g)のロバストネス値(R)を求めるステップと、
前記ロバストネス値(R)に依存して、前記センサ(30)の動作パラメータを調整するステップ、特にズームインを行うステップと、
を含む方法。
【請求項13】
平滑化分類器(g)の出力信号(y)に依存してアクチュエータ(10)を制御するためのアクチュエータ制御信号(A)を提供するコンピュータ実装方法であって、
請求項1乃至7のいずれか一項に記載の方法を使用して、前記平滑化分類器(g)がロバストであるか否かを評価
するステップと、
前記評価の結果に従って前記アクチュエータ制御信号(A)を決定
するステップ
と、
前記評価の結果として前記平滑化分類器(g)がロバストでないとみなされた場合に、決定された前記アクチュエータ制御信号(A)により前記アクチュエータ(10)をセーフモードで動作させるステップと、
を含む方法。
【請求項14】
前記アクチュエータ(10)は、少なくとも部分的に自律的なロボット(100)及び/又は製造機械(200)及び/又はアクセス制御システム(300)を制御する、
請求項13に記載の方法。
【請求項15】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ(45,145)によって実行されるときに、コンピュータに請求項1乃至14のいずれか一項に記載の方法の全ステップを実施させるために構成されているコンピュータプログラム。
【請求項16】
請求項15に記載のコンピュータプログラムを記憶した機械可読記憶媒体(46,146)。
【国際調査報告】