特開 2024-80386 頑健性測定装置、頑健性測定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080386

(43)【公開日】2024-06-13

(54)【発明の名称】頑健性測定装置、頑健性測定方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240606BHJP

   G06V 10/776 20220101ALI20240606BHJP

【ＦＩ】

G06T7/00 350B

G06V10/776

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022193533

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】鶴山 智也

(72)【発明者】

【氏名】大平 英貴

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096EA15

5L096EA16

5L096EA39

5L096FA16

5L096FA25

5L096FA31

5L096FA32

5L096FA33

5L096FA62

5L096FA64

5L096FA69

5L096GA34

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】教師ありまたは教師なしに関わらず、機械学習モデルの頑健性を簡易的且つ高精度に測定可能にすること。
【解決手段】実施形態の頑健性測定装置は、取得部と、推論結果群生成部と、頑健性測定部とを持つ。取得部は、入力画像を取得する。ノイズ付与部は、入力画像に対してノイズを付与することにより少なくとも１つのノイズ付与画像を生成する。推論結果群生成部は、入力画像およびノイズ付与画像の少なくとも１つに対する推論結果のうち、相互に関連付けられる推論結果をグループ化した推論結果群を生成する。頑健性測定部は、推論結果群に基づいて、検査対象モデルの頑健性を測定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力画像を取得する取得部と、
前記入力画像に対してノイズを付与することにより少なくとも１つのノイズ付与画像を生成するノイズ付与部と、
前記入力画像および前記ノイズ付与画像の少なくとも１つに対する推論結果のうち、相互に関連付けられる前記推論結果をグループ化した推論結果群を生成する推論結果群生成部と、
前記推論結果群に基づいて、検査対象モデルの頑健性を測定する頑健性測定部と、
を備える、頑健性測定装置。

【請求項2】

前記推論結果は、前記入力画像および前記ノイズ付与画像の少なくとも１つにおける物体検出結果であり、
前記推論結果群は、前記物体検出結果の物体領域候補群である、
請求項１に記載の頑健性測定装置。

【請求項3】

前記入力画像および前記ノイズ付与画像の少なくとも１つを、前記検査対象モデルに入力する画像入力部と、
前記物体検出結果として、前記入力画像および前記ノイズ付与画像の少なくとも１つが入力されたときの前記検査対象モデルの出力結果を取得する物体検出結果取得部と、
をさらに備える、
請求項２に記載の頑健性測定装置。

【請求項4】

前記頑健性測定部は、前記物体領域候補群に含まれる前記物体検出結果に対して統計処理を行うことによって、前記検査対象モデルの頑健性を測定する、
請求項２または３に記載の頑健性測定装置。

【請求項5】

前記頑健性測定部は、前記入力画像および前記ノイズ付与画像ごとの前記物体検出結果同士を比較し、重複比率が最大となる前記物体検出結果同士を、同一物体を示す前記物体領域候補群としてグループ化する、
請求項２または３に記載の頑健性測定装置。

【請求項6】

前記頑健性測定部は、前記統計処理として、前記物体領域候補群に含まれる前記物体検出結果の各々により示される物体の座標の分散、最大値、平均値、および中央値の少なくとも１つを算出する、
請求項４に記載の頑健性測定装置。

【請求項7】

前記頑健性測定部は、前記物体検出結果に含まれる前記物体を識別するラベルの分散を算出し、前記物体の座標の頑健性と、前記ラベルによるクラス識別の頑健性とを算出する、
請求項６に記載の頑健性測定装置。

【請求項8】

前記頑健性測定部は、同一物体を示す前記物体領域候補群において、他の物体検出結果と重複しない物体検出結果に付与された未検出ラベルに基づいて前記物体領域候補群内における検出率を算出し、算出した前記検出率に基づいて過検出指標を算出する、
請求項２または３に記載の頑健性測定装置。

【請求項9】

ノイズ条件ごとの重要性を示すノイズ重みを設定するノイズ重み設定部をさらに備え、
前記頑健性測定部は、設定された前記ノイズ重みに基づいて、前記頑健性を測定する、
請求項１から３のいずれか一項に記載の頑健性測定装置。

【請求項10】

前記取得部は、さらに、前記物体検出結果の正解値を取得し、
前記推論結果群生成部は、前記入力画像および前記ノイズ付与画像ごとの前記物体検出結果および前記正解値に基づいて、前記物体領域候補群を生成する、
請求項２または３に記載の頑健性測定装置。

【請求項11】

コンピュータが、
入力画像を取得し、
前記入力画像に対してノイズを付与することにより少なくとも１つのノイズ付与画像を生成し、
前記入力画像および前記ノイズ付与画像の少なくとも１つに対する推論結果のうち、相互に関連付けられる前記推論結果をグループ化した推論結果群を生成し、
前記推論結果群に基づいて、検査対象モデルの頑健性を測定する、
頑健性測定方法。

【請求項12】

コンピュータに、
入力画像を取得させ、
前記入力画像に対してノイズを付与することにより少なくとも１つのノイズ付与画像を生成させ、
前記入力画像および前記ノイズ付与画像の少なくとも１つに対する推論結果のうち、相互に関連付けられる前記推論結果をグループ化した推論結果群を生成させ、
前記推論結果群に基づいて、検査対象モデルの頑健性を測定させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、頑健性測定装置、頑健性測定方法、およびプログラムに関する。

【背景技術】

【0002】

従来、機械学習（Artificial Intelligence：ＡＩ）技術の分野において、クラス分類や回帰問題に対して、特定の入力画像に対する検査対象モデルのノイズ耐性を評価する手法が提案されている。この手法においては、正解データを元に任意のノイズを入力画像に付与した際の正解率を算出し、検査対象モデルのノイズ耐性を評価する。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】“Understanding Local Robustness of Deep Neural Networks under Natural Variations”，[online]，[令和４年１１月１０日検索]、インターネット<URL:https://arxiv.org/abs/2010.04821>

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の評価手法は、正解率の算出が必要となるため、推論時（評価時）に教師となる正解データ（正解ラベル）が存在することが前提となっていた。このため、推論時に教師となる正解データが存在しない場合には、機械学習モデルのノイズ耐性を評価することはできなかった。また、従来の評価手法は、物体検出に使用される機械学習モデルには対応できていなかった。

【0005】

本発明が解決しようとする課題は、教師ありまたは教師なしに関わらず、機械学習モデルの頑健性を簡易的且つ高精度に測定可能な頑健性測定装置、頑健性測定方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の頑健性測定装置は、取得部と、推論結果群生成部と、頑健性測定部とを持つ。取得部は、入力画像を取得する。ノイズ付与部は、入力画像に対してノイズを付与することにより少なくとも１つのノイズ付与画像を生成する。推論結果群生成部は、入力画像およびノイズ付与画像の少なくとも１つに対する推論結果のうち、相互に関連付けられる推論結果をグループ化した推論結果群を生成する。頑健性測定部は、推論結果群に基づいて、検査対象モデルの頑健性を測定する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態に係る頑健性測定装置１の機能構成の一例を示す機能ブロック図。

【図2】第１実施形態に係る画像に対してバウンダリーボックスＢＢが設定される様子を示す図。

【図3】第１実施形態に係る画像に対してバウンダリーボックスＢＢが設定される様子の他の例を示す図。

【図4】第１実施形態に係る画像に対してバウンダリーボックスＢＢが設定される様子のさらに他の例を示す図。

【図5】第１実施形態に係る頑健性測定処理の一例を示すフローチャート。

【図6A】第１実施形態に係る頑健性測定の第１手法の一例を示すフローチャート。

【図6B】第１実施形態に係る頑健性測定の第２手法の一例を示すフローチャート。

【図6C】第１実施形態に係る頑健性測定の第３手法の一例を示すフローチャート。

【図6D】第１実施形態に係る頑健性測定の第４手法の一例を示すフローチャート。

【図7】第２実施形態に係る頑健性測定装置１Ａの機能構成の一例を示す機能ブロック図。

【図8】第２実施形態に係るノイズ条件ごとの重みの設定処理を説明する図。

【図9】第３実施形態に係る過検出および未検出の判定結果（教師あり）の一例を示す図。

【図10】第３実施形態に係る正検出および過検出の判定結果（教師なし）の一例を示す図。

【発明を実施するための形態】

【0008】

以下、実施形態の頑健性測定装置、頑健性測定方法、およびプログラムを、図面を参照して説明する。

【0009】

＜第１実施形態＞
第１実施形態の頑健性測定装置は、任意のノイズに対する機械学習モデルの頑健性を測定する。この頑健性測定装置によれば、教師ありまたは教師なしに関わらず（正解データの有無に関わらず）、機械学習モデルの頑健性を簡易的且つ高精度に測定可能にすることができる。頑健性とは、様々なデータに対して、推論を正確に行うことができる性質のことをいう。例えば、頑健性とは、様々なノイズが付与された画像が検査対象モデルに入力された場合に、推論結果にずれが生じない性質のことをいう。

【0010】

以下の説明において、頑健性測定装置は、ネットワークを介してユーザの端末装置および推論装置と接続される単一のサーバ装置により実現される場合を例に挙げて説明する。しかしながら、頑健性測定装置は、複数の装置によって実現されるものであってもよいし、ユーザの端末装置内にインストールされることで実現されるものであってもよい。その他、頑健性測定装置は、クラウドコンピューティングの技術を用いて実現されるものであってもよい。頑健性測定装置と推論装置とは、同一の装置によって実現されるものであってもよい。

【0011】

［装置構成］
図１は、第１実施形態に係る頑健性測定装置１の機能構成の一例を示す機能ブロック図である。頑健性測定装置１は、通信ネットワークＮＷを介して、端末装置Ｔおよび推論装置ＩＤと通信可能に接続されている。通信ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local1 Area Network）、プロバイダ装置、無線基地局等を含む。

【0012】

端末装置Ｔは、例えば、検査対象とする機械学習モデル（以下、「検査対象モデル」という）または機械学習モデルを用いて推論処理を行うソフトウェアの検査を行うユーザＵによって操作される。端末装置Ｔは、例えば、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ等の装置である。

【0013】

推論装置ＩＤは、例えば、外部装置（頑健性測定装置１）からの要求に応じて、入力された入力画像に対して所定の推論処理（例えば、物体検出処理）を行い、推論結果を要求元に提供する。推論装置ＩＤは、例えば、プラグイン機能により動作するソフトウェアによって実現されるものであってよい。推論装置ＩＤは、例えば、推論部１００と、記憶部１１０とを備える。推論部１００は、外部から入力された入力画像を機械学習モデルに入力し、この機械学習モデルの出力である推論結果を要求元に提供する。記憶部１１０には、機械学習モデル（検査対象モデルＭ）が記憶されている。

【0014】

検査対象モデルＭは、ニューラルネットワーク、サポートベクターマシン、決定木等の様々な記述方法により生成される。ニューラルネットワークは、例えば、オートエンコーダ、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）等を含む。

【0015】

頑健性測定装置１は、例えば、制御部１０と、記憶部２０とを備える。制御部１０は、例えば、取得部１１と、ノイズ付与部１２と、画像入力部１３と、推論結果取得部１４と、推論結果群生成部１５と、頑健性測定部１６と、提供部１７とを備える。制御部１０の各機能部は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のコンピュータがプログラムを実行することによって、実現される。また、制御部１０の機能部の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することにより実現されてもよい。プログラムは、予め記憶部２０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0016】

取得部１１は、ネットワークＮＷを介して、端末装置Ｔから送信される頑健性測定のリクエストを取得する。頑健性測定のリクエストには、検査に使用される入力画像Ｄおよび検査対象モデルＭ（推論装置ＩＤ）の情報が含まれている。取得部１１は、入力画像Ｄを端末装置Ｔから直接取得してもよいし、リクエストに含まれる情報に基づいて、他の記憶装置（不図示）やカメラ等のデバイスから取得してもよい。また、予め、記憶部２０に入力画像Ｄが記憶されている場合には、取得部１１は、記憶部２０から入力画像Ｄを取得してもよい。取得部１１は、「取得部」の一例である。

【0017】

ノイズ付与部１２は、入力画像Ｄに対して任意のノイズを付与することにより、ノイズが付与された少なくとも１つのノイズ付与画像ＮＤを生成する。ノイズ付与部１２は、例えば、入力画像Ｄの回転、反転、樽型・糸巻型・せん断歪、ガウスノイズ、色チャンネルの入れ替え、グレースケール化、ヒストグラム平坦化等の他、雨や雪等の天候ノイズの再現等により、入力画像Ｄに対してノイズを付与する。これにより、検査対象モデルＭを実運用する際に想定されるノイズに対して頑健性を測定することが可能となる。例えば、ノイズ付与部１２は、１つの入力画像Ｄに対して、互いに異なる種類の複数のノイズ（例えば、３つのノイズＡ、ノイズＢ、ノイズＣ）の各々を付与し、複数のノイズ付与画像ＮＤ（例えば、３つのノイズ付与画像ＮＤ）を生成する。互いに異なる種類の複数のノイズとは、例えば、ノイズレベルが互いに異なるノイズである。各ノイズ条件は、上記の回転等のノイズを複合したノイズも可能であり、回転と雪のノイズ付与、反転と雨のノイズ付与等、実運用環境に合わせてユーザＵが設計したノイズを与えることが可能である。ノイズ付与部１２は、「ノイズ付与部」の一例である。

【0018】

画像入力部１３は、通信ネットワークＮＷを介して、推論装置ＩＤの推論部１００を呼び出し、推論部１００を介して検査対象モデルＭに入力画像Ｄおよびノイズ付与画像ＮＤの少なくとも１つを入力する。これにより、推論部１００は、入力画像Ｄおよびノイズ付与画像ＮＤの少なくとも１つを検査対象モデルＭに入力し、検査対象モデルＭの出力として、所定の推論結果を取得する。例えば、推論結果は、画像内に含まれる物体の検出結果を含む。物体の検出結果は、例えば、物体を囲む所定の矩形の境界線（バウンダリーボックスＢＢ：BoundaryBox）と、物体の分類示すクラスラベルとによって表される。或いは、クラスラベルの代わりに検出対象の全クラスに対する推定確率分布を出力する手法や、矩形の代わりに画素毎のクラスラベルを推定するセマンティックセグメンテーションが使用されてもよい。画像入力部１３は、「画像入力部」の一例である。

【0019】

図２は、第１実施形態に係る画像に対してバウンダリーボックスＢＢが設定される様子を示す図である。図２に示す例では、対象物体（人）ＴＡが撮像された入力画像Ｄ上において、入力画像Ｄ（ノイズなし）を検査対象モデルＭに入力することにより得られる対象物体ＴＡのバウンダリーボックスＢＢ０と、入力画像Ｄに対してノイズＡを付与したノイズ付与画像ＮＤを検査対象モデルＭに入力することにより得られる対象物体ＴＡのバウンダリーボックスＢＢ１と、入力画像Ｄに対してノイズＢを付与したノイズ付与画像ＮＤを検査対象モデルＭに入力することにより得られる対象物体ＴＡのバウンダリーボックスＢＢ２と、入力画像Ｄに対してノイズＣを付与したノイズ付与画像ＮＤを検査対象モデルＭに入力することにより得られる対象物体ＴＡのバウンダリーボックスＢＢ３とが示されている。

【0020】

推論結果取得部１４は、推論部１００により出力される画像ごとの推論結果を取得して集約し、推論結果群生成部１５に入力する。推論結果取得部１４は、「物体検出結果取得部」の一例である。推論結果取得部１４は、物体検出結果として、入力画像Ｄおよびノイズ付与画像ＮＤの少なくとも１つが入力されたときの検査対象モデルＭの出力結果を取得する。

【0021】

推論結果群生成部１５は、画像ごと（ノイズ条件ごと）の推論結果に基づいて、相互に関連付けられる推論結果群（物体領域候補群）を生成する。推論結果群生成部１５は、例えば、入力画像Ｄおよびノイズ付与画像ＮＤごとの推論結果に含まれるバウンダリーボックス同士を全数探索で比較し、その重なり度合いに基づいて、相互に関連付けされる推論結果群を生成する。推論結果群生成部１５は、例えば、重複率ＩｏＵ（Intersection over Union）に基づいて、物体検出領域（バウンダリーボックス）同士の重複比率を算出し、ノイズ条件ごとの検出結果同士を比較して最大となる候補同士を同一物体を示す物体領域候補としてグループ化し、推論結果群を生成する。推論結果群生成部１５は、例えば、ノイズなし画像である入力画像ＤのバウンダリーボックスＢＢ０を基準として、このバウンダリーボックスＢＢ０に対する重複率ＩｏＵが所定の閾値を上回る（例えば、０．５を上回る）バウンダリーボックスを、相互に関連付けされる推論結果群として生成する。或いは、推論結果群生成部１５は、例えば、ノイズレベルが最も低い（或いは最も高い）ノイズ付与画像ＮＤのバウンダリーボックスを基準として、このバウンダリーボックスに対する重複率ＩｏＵが所定の閾値を上回る（例えば、０．５を上回る）バウンダリーボックスを、相互に関連付けされる推論結果群として生成してもよい。推論結果群生成部１５は、「推論結果群生成部」の一例である。

【0022】

図２に示す例では、例えば、バウンダリーボックスＢＢ０（ノイズなし）を基準として、このバウンダリーボックスＢＢ０との重複率ＩｏＵが所定の閾値を上回るバウンダリーボックスＢＢ１、バウンダリーボックスＢＢ２、およびバウンダリーボックスＢＢ３（計４つのバウンダリーボックス）が推論結果群としてグループ化される。

【0023】

図３は、第１実施形態に係る画像に対してバウンダリーボックスＢＢが設定される様子の他の例を示す図である。図３に示す例では、バウンダリーボックスＢＢ０に対するバウンダリーボックスＢＢ３の重複率ＩｏＵは所定の閾値以下となっている。この場合、このバウンダリーボックスＢＢ０との重複率ＩｏＵが所定の閾値を上回るバウンダリーボックスＢＢ１およびバウンダリーボックスＢＢ２（バウンダリーボックスＢＢ３は除く、計３つのバウンダリーボックス）が、推論結果群としてグループ化される。

【0024】

図４は、実施形態に係る画像に対してバウンダリーボックスＢＢが設定される様子のさらに他の例を示す図である。図４に示す例では、入力画像Ｄに対してノイズＡを付与したノイズ付与画像ＮＤに基づくバウンダリーボックスＢＢ１と、入力画像Ｄに対してノイズＢを付与したノイズ付与画像ＮＤに基づくバウンダリーボックスＢＢ２－１およびＢＢ２－２とが示されている。バウンダリーボックスＢＢ２－１およびＢＢ２－２はどちらもバウンダリーボックスＢＢ１と重複しているが、バウンダリーボックスＢＢ２－１の方が重複率ＩｏＵが高いため（閾値を上回るため）、ここではバウンダリーボックスＢＢ１とバウンダリーボックスＢＢ２－１とが同一物体を示す物体領域候補としてグループ化され、推論結果群として設定される。

【0025】

頑健性測定部１６は、生成された推論結果群に基づいて、検査対象モデルＭの頑健性を測定する。頑健性測定部１６は、推論結果群に統計処理を行い、頑健性指標を算出する。物体領域は、矩形の中心を示す座標、矩形の幅および高さ、矩形の隅を表す１点の座標と幅および高さ、矩形の対角を示す２点の座標等で表すことができる。統計処理は、これらの測定値全てに適用可能であり、複数のノイズ条件間で同一物体について、矩形座標を元に、分散、最大値、平均値、および中央値の少なくとも１つを算出することで、ノイズの付与によって物体検出領域が移動、拡大、縮小する様子をとらえることが可能となる。同一物体を示す物体領域が変化しない場合、検出対象モデルＭはノイズに頑健であると考えられ、逆に変化が大きい場合は脆弱であると言える。尚、検出領域ごとの頑健性の他に、画像毎の頑健性を考えることもできる。画像内に複数の物体検出候補が存在するため、検出領域ごとの頑健性を平均化するか最大値を採用することで、画像全体の頑健性を算出できる。最小値でなく最大値を採用するのは頑健性判定においては最も脆弱な例を代表とすることが望ましいためである。

【0026】

また、推論結果群に含まれる物体領域は推定されたクラスラベル（推定クラスラベル）を有する。同一物体を示す物体領域候補は通常同一の推定クラスラベルを有することが想定されるが、ノイズによって推定クラスラベルが変化する場合があり、推定クラスラベルの分散が小さい場合には頑健であると考えられ、逆に分散が大きい場合には脆弱であると言える。推定クラスラベルの頑健性判定処理を行うため、通常の物体検出では教師データ（正解データ）との比較による正解判定等は、全て教師データと同一のクラスラベルを有する物体領域候補にのみ適用されるが、本実施形態では推定クラスラベルを区別せずに同一物体の判定を行う。推定クラスラベルについても検出領域ごとの頑健性を平均化するか最大値を採用することで、画像の頑健性を算出できる。最小値でなく最大値を採用するのは頑健性判定においては最も脆弱な例を代表とすることが望ましいためである。すなわち、頑健性測定部１６は、物体検出結果に含まれる物体を識別するラベルの分散を算出し、物体の座標の頑健性と、ラベルによるクラス識別の頑健性とを算出する。

【0027】

推論結果群生成部１５にて、ノイズ毎の物体検出結果同士を比較し、推論結果群を生成する際、重複率ＩｏＵが閾値を上回る候補同士を同一物体を示す物体領域候補としてグループ化するが、他のノイズ条件で検出されなかった物体領域は重複率ＩｏＵが閾値以下となり、グループが生成されない、若しくは、一部ノイズ条件で候補が欠けた状態となる。推論結果群生成部１５は、一定の閾値以下では同一物体とみなさない、またグループ内に重複比率が閾値を上回る候補が存在しないノイズ条件があった場合、未検出ラベルを付与する。同一物体を示す推論結果群において、ノイズ付与部１２により付与されたノイズのうち、未検出ラベルが付与された割合に応じて、過検出か否かを判定する。例えば、ノイズを２条件、非ノイズ条件を１条件とし、閾値を０．５と設定した場合には未検出が２条件となった場合に検出率が３３．３％となり、閾値以下となる。閾値以下となる場合は疑似過検出（ＦＰ’；FalsePositive’）として、逆に閾値を上回る場合は疑似正検出（ＴＰ’；TruePositive’）とする。過検出指標として疑似適合率Ｐｒｅｃｉｓｉｏｎ’が算出でき、以下式（１）によって表される。また、過検出指標としては画像毎の疑似過検出率（ＦＰＰＩ’；FalsePositive Per Image’）を採用することも可能である。

【0028】

【数1】

【0029】

提供部１７は、測定された頑健性の情報を、例えば、通信ネットワークＮＷを介して、要求元の端末装置Ｔに提供する。ユーザＵは、端末装置Ｔの表示部等に表示されたこの頑健性の情報を見ることで、検査対象モデルＭの頑健性を確認することができる。

【0030】

記憶部２０は、例えば、入力画像Ｄ、ノイズ付与画像ＮＤ等を記憶する。記憶部２０は、例えば、ＨＤＤ（Hard Disk Drive）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の記憶装置である。尚、記憶部２０は、ＮＡＳ（Network Attached Storage）や外部ストレージサーバ装置といった通信ネットワークＮＷを介して接続される他の記憶装置によって実現されてもよい。

【0031】

［処理フロー］
次に、頑健性測定装置１による頑健性測定処理の流れについて説明する。図５は、第１実施形態に係る頑健性測定処理の一例を示すフローチャートである。

【0032】

まず、取得部１１は、ネットワークＮＷを介して、端末装置Ｔから送信される頑健性測定のリクエスト（入力画像Ｄ）を取得する（ステップＳ１０１）。尚、取得部１１は、入力画像Ｄを、他の記憶装置（不図示）やカメラ等のデバイスから取得してもよいし、記憶部２０から取得してもよい。

【0033】

次に、ノイズ付与部１２は、入力画像Ｄに対してノイズを付与し、少なくとも１つのノイズ付与画像ＮＤを生成する（ステップＳ１０３）。ノイズ付与部１２は、例えば、入力画像Ｄの回転、反転、樽型・糸巻型・せん断歪、ガウスノイズ、色チャンネルの入れ替え、グレースケール化、ヒストグラム平坦化等の他、雨や雪等の天候ノイズの再現等により、入力画像Ｄに対してノイズを付与する。

【0034】

次に、画像入力部１３は、通信ネットワークＮＷを介して、推論装置ＩＤの推論部１００を呼び出し、推論部１００を介して検査対象モデルＭに入力画像Ｄおよびノイズ付与画像ＮＤの少なくとも１つを入力する（ステップＳ１０５）。次に、推論結果取得部１４は、推論部１００により出力される画像ごとの推論結果（例えば、物体検出結果）を取得する（ステップＳ１０７）。

【0035】

次に、推論結果群生成部１５は、画像ごと（ノイズ条件ごと）の推論結果に基づいて、推論結果群（物体領域候補群）を生成する（ステップＳ１０９）。推論結果群生成部１５は、例えば、入力画像Ｄおよびノイズ付与画像ＮＤごとの推論結果に含まれるバウンダリーボックス同士を全数探索で比較し、その重なり度合いに基づいて、相互に関連付けされる推論結果群を生成する。

【0036】

次に、頑健性測定部１６は、推論結果群に基づいて、検査対象モデルＭの頑健性を測定する（ステップＳ１１１）。頑健性測定部１６は、推論結果群に統計処理を行い、頑健性指標を算出する。頑健性指標は、入力画像Ｄに含まれるバウンダリーボックスごとの頑健性（局所頑健性）と、入力画像Ｄ自体の頑健性（全体頑健性）と、に大別される。また、頑健性は、検査対象モデルＭが「教師あり」または「教師なし」のいずれに対応するものであるか、「回帰」または「分類」のいずれに対応するものであるかに応じて、異なる手法に基づいて、測定される。

【0037】

＜バウンダリーボックスの頑健性（局所頑健性）の測定＞
（１）第１手法（「教師あり」且つ「回帰」の場合）
図６Ａは、第１実施形態に係る頑健性測定の第１手法の一例を示すフローチャートである。まず、頑健性測定部１６は、推論結果群に基づいて、正解データである正解バウンダリーボックスに対する、入力画像Ｄ（ノイズなし）およびノイズ付与画像ＮＤの各々に含まれるバウンダリーボックスＢＢの重複率ＩｏＵを算出する（ステップＳ２０１）。次に、頑健性測定部１６は、算出された重複率ＩｏＵの分散または平均を算出し、頑健性の値として採用する（ステップＳ２０３）。以上により、本フローチャートの処理が完了する。

【0038】

（２）第２手法（「教師あり」且つ「分類」の場合）
図６Ｂは、第１実施形態に係る頑健性測定の第２手法の一例を示すフローチャートである。まず、頑健性測定部１６は、推論結果群に基づいて、正解データである正解クラスラベルと、入力画像Ｄ（ノイズなし）およびノイズ付与画像ＮＤの各々の推定クラスラベルとを比較し、両者が一致するか否かを判定する（ステップＳ２１１）。次に、頑健性測定部１６は、推定クラスラベルの数（画像数と同等）に対する、正解クラスラベルと一致する推定クラスラベルの数の割合である正解率を算出し、頑健性の値として採用する（ステップＳ２１３）。以上により、本フローチャートの処理が完了する。尚、頑健性測定部１６は、推定クラスラベル同士を直接評価し（未検出の場合は未検出クラスラベル）、Neighbor Accuracyを算出し、頑健性の値として採用するようにしてもよい。

【0039】

（３）第３手法（「教師なし」且つ「回帰」の場合）
図６Ｃは、第１実施形態に係る頑健性測定の第３手法の一例を示すフローチャートである。まず、頑健性測定部１６は、同一の推論結果群に含まれるバウンダリーボックスＢＢの矩形座標に基づいて、その分散を算出し、頑健性の値として採用する（ステップＳ２２１）。以上により、本フローチャートの処理が完了する。

【0040】

（４）第４手法（「教師なし」且つ「分類」の場合）
図６Ｄは、第１実施形態に係る頑健性測定の第４手法の一例を示すフローチャートである。まず、頑健性測定部１６は、同一の推論結果群に含まれるバウンダリーボックスＢＢのクラスラベルの分散を算出し、頑健性の値として採用する（ステップＳ２３１）。以上により、本フローチャートの処理が完了する。

【0041】

＜画像全体の頑健性（全体頑健性）の測定＞
上記のバウンダリーボックスの頑健性（局所頑健性）の測定と同様に、画像全体の頑健性（全体頑健性）の測定にも、上記の第１から第４手法に準じた手法を適用可能である。例えば、上記の第１から第４手法と同様に、推論結果群ごとの分散または平均（頑健性）を算出し、得られた複数の頑健性の平均または最大値をとることで、全体頑健性が測定される。

【0042】

図５に戻り、次に、提供部１７は、測定された頑健性の情報を、例えば、通信ネットワークＮＷを介して、要求元の端末装置Ｔに提供する（ステップＳ１１３）。ユーザＵは、端末装置Ｔの表示部等に表示されたこの頑健性の情報を見ることで、検査対象モデルＭの頑健性を確認することができる。以上により、本フローチャートの処理が終了する。

【0043】

以上において説明した第１実施形態の頑健性測定装置１によれば、教師ありまたは教師なしに関わらず、機械学習モデルの頑健性を簡易的且つ高精度に測定可能にすることが可能となる。また、ノイズ付与部１２により任意の機械学習モデルの頑健性を任意のノイズ条件でテストすることができる。また、推論結果群生成部１５により正解データを有さない場合（教師なし）においても、頑健性測定部１６にて、推論結果群に含まれる推論結果の統計情報から頑健性指標が測定可能となる。また、回帰および分類のいずれの推論処理に関しても、頑健性指標が測定可能となる。

【0044】

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態の頑健性測定装置は、ノイズ条件ごとの重要性を考慮して、頑健性指標の算出を行う点において第１の実施形態と異なる。以下、第１実施形態との相違点を中心として、第２実施形態の頑健性測定装置について説明する。

【0045】

図７は、第２実施形態に係る頑健性測定装置１Ａの機能構成の一例を示す機能ブロック図である。頑健性測定装置１Ａの制御部１０Ａは、例えば、取得部１１と、ノイズ付与部１２と、画像入力部１３と、推論結果取得部１４と、推論結果群生成部１５と、頑健性測定部１６と、提供部１７とに加えて、ノイズ重み設定部１８を備える。

【0046】

ノイズ重み設定部１８は、ノイズ付与部１２により付与されるノイズ条件ごとの重要性を考慮して、ノイズ条件ごとの重み（ノイズ重み）を設定する。ノイズ重みは、例えば、端末装置ＴのユーザＵや、頑健性測定装置の管理者や等により定義される。図８は、第２実施形態に係るノイズ条件ごとの重みの設定処理を説明する図である。図８に示すように、３つのノイズ（ノイズａ，ノイズｂ，ノイズｃ）を用いて３つのバウンダリーボックスＢＢ１からＢＢ３が生成された場合、以下の式（２）のように物体検出候補群の中心座標が求められる。式（２）において、（X_a, Y_a）、（X_b, Y_b）、および（X_c, Y_c）は、バウンダリーボックスＢＢ１、バウンダリーボックスＢＢ２、およびバウンダリーボックスＢＢ３の代表点（中心座標、左上座標、左下座標、右上座標、右下座標、各辺の中点等）であり、（X_center, Y_center）は中心座標である。

【0047】

【数2】

【0048】

ノイズ重みの一例として、ノイズａに対するノイズ重みをＭａ＝０．５とし、ノイズｂに対するノイズ重みをＭｂ＝０．３、ノイズｃに対するノイズ重みをＭｃ＝０．２とすると、ノイズＡが優先されることとなる。中心座標（X_center, Y_center）を基準として、各バウンダリーボックスＢＢ１，ＢＢ２，ＢＢ３の代表点（例えば、中央座標）までの距離をＬａ，Ｌｂ，Ｌｃとすると、各重み付き距離はＭａＬａ，ＭｂＬｂ，ＭｃＬｃとなる。頑健性測定部１６は、例えば、重み付き距離はＭａＬａ，ＭｂＬｂ，ＭｃＬｃの分散または平均値を算出することで、検査対象モデルＭの頑健性を測定する。このように重み付き距離を統計処理することで、設定したノイズ重みに応じた頑健性指標が算出される。例えば、車載画像処理の例で考えると、夜間の事故率の高さを考慮して夜を模擬したノイズを優先し、比較的遭遇確立の低い雨や雪を模擬したノイズの優先度を下げる、等といった適用例が考えられる。

【0049】

上記においてはノイズの数が３の場合を例に挙げて説明したが、本実施形態はこれに限られない。ノイズの数がｎの場合、各ノイズに対応するバウンダリーボックスの代表点のｘ座標の和およびｙ座標の和の各々をｎで除することで中心座標を算出し、上記のように重み付き距離を算出することで、検査対象モデルＭの頑健性を測定することができる。

【0050】

以上において説明した第２実施形態の頑健性測定装置１Ａによれば、教師ありまたは教師なしに関わらず、機械学習モデルの頑健性を簡易的且つ高精度に測定可能にすることが可能となる。また、ノイズ付与部１２により任意の機械学習モデルの頑健性を任意のノイズ条件でテストすることができる。また、推論結果群生成部１５により正解データを有さない場合（教師なし）においても、頑健性測定部１６にて、推論結果群に含まれる推論結果の統計情報から頑健性指標が測定可能となる。また、回帰および分類のいずれの推論処理に関しても、頑健性指標が測定可能となる。また、ノイズ重み設定部１８により、所望のノイズ条件を優先した頑健性測定が可能となる。

【0051】

＜第３実施形態＞
以下、第３実施形態について説明する。第３実施形態の頑健性測定装置は、物体検出結果の正解データに基づいて物体領域候補群を生成することで、過検出および未検出を判定可能である点において第１の実施形態と異なる。以下、第１実施形態との相違点を中心として、第３実施形態の頑健性測定装置について説明する。

【0052】

取得部１１は、入力画像Ｄに対応する物体検出結果（バウンダリーボックスＢＢ）の正解データ（正解値）を取得する。取得部１１は、例えば、端末装置Ｔ、記憶部２０、他の記憶装置（不図示）等から正解データを取得する。推論結果群生成部１５は、入力画像Ｄおよびノイズ付与画像ＮＤごとの物体検出結果および正解値に基づいて、物体領域候補群を生成する。推論結果群生成部１５は、物体領域候補群を生成した後、教師となる正解データ（物体領域）に対する、物体領域候補群に含まれる各バウンダリーボックスＢＢの重複率ＩｏＵを算出する。重複率ＩｏＵが所定の閾値（例えば、０．５）を上回る場合、物体領域候補群は教師と対応すると考えられ、閾値以下の場合は対応する教師を有さないといえる。対応する教師を有さない場合は、過検出と考えられる。

【0053】

頑健性測定部１６は、検出対象モデルＭの回帰指標の頑健性については、教師となる正解データに対する重複率ＩｏＵに基づいて算出する。教師となる正解データに対する重複率ＩｏＵの分散や平均を計算することで、推定した物体検出領域が安定しているかを知ることができる。頑健性測定部１６は、分類指標の頑健性については、教師となる正解クラスラベルと比較し、正解率に基づいて算出する。画像全体の頑健性（全体頑健性）については、回帰指標は検出領域ごとの頑健性を平均化するか最大値を採用することで、画像の頑健性を算出できる。分類指標も同様に平均値か最大値を採用し、画像全体の頑健性指標を算出できる。

【0054】

過検出および未検出については、同一物体を示す物体検出候補群において、ノイズ付与部１２により与えられたノイズのうち、未検出ラベルが付与された割合に応じて、判定される。図９は、第３実施形態に係る過検出および未検出の判定結果（教師あり）の一例を示す図である。図９では、２つのノイズ付与画像（ノイズＡ，ノイズＢ）と、１つの非ノイズ画像（非ノイズ）の計３つの画像を用い、検出判定の閾値を０．５と設定する場合を例に挙げる。ケース１は、同一物体を示す物体検出候補群の３つの画像において、ノイズＡおよび非ノイズについては、正解データとの重複率ＩｏＵが重複率の閾値を上回り且つ推定クラスラベルが正解データと一致しているが（○：正解）、一方、ノイズＢについては、正解データとの重複率ＩｏＵが重複率の閾値以下であるか或いは推定クラスラベルが正解データと不一致であった（×：不正解）場合を示している。この場合、検出率が３分の２（０．６６）となり閾値を上回る。このケース１については、「正検出（ＴＰ；TruePositive）」と判定される。一方、ケース２は、同一物体を示す物体検出候補群の３つの画像において、非ノイズについては、正解データとの重複率ＩｏＵが重複率の閾値を上回り且つ推定クラスラベルが正解データと一致しているが（○：正解）、一方、ノイズＡおよびノイズＢについては、正解データとの重複率ＩｏＵが重複率の閾値以下であるか或いは推定クラスラベルが正解データと不一致であった（×：不正解）場合を示している。この場合、検出率が３分の１（０．３３）となり閾値以下となる。このケース２については、「未検出（ＦＮ；FalseNegative）」と判定される。すなわち、検出率が閾値以下となり、教師を有する場合は未検出（ＦＮ）として、逆に閾値を上回って教師を有する場合は正検出（ＴＰ）となる。

【0055】

一方、ケース３および４は、同一物体を示す物体検出候補群の３つの画像において、正解データと重複していない（重複率ＩｏＵがゼロ）となったケース（すなわち、正解データとの紐づかないケース）である。ここで、ケース３についてはノイズＡおよび非ノイズに推定クラスラベルが付与されており、ケース４についてはノイズＡに推定クラスラベルが付与されているが、これらの推定クラスラベルは誤りである可能性が高いと考えられる。このため、このケース３および４については、「過検出（ＦＰ；FalsePositive）」と判定される。すなわち、正解データとの紐づかないケースにおいて、推定クラスラベルが付与されている場合は、検出率によらず過検出（ＦＰ）として扱う。以上、正検出（ＴＰ），未検出（ＦＮ），過検出（ＦＰ）からＰｒｅｃｉｓｉｏｎやＲｅｃａｌｌ、Ｆ値といった検出性能指標が算出できる。また、画像毎の過検出率（ＦＰＰＩ；FalsePositive Per Image）も同様に算出可能である。

【0056】

尚、正解データが存在しない場合（教師なし）であっても、以下のように正検出、過検出を判定することが可能である。図１０は、第３実施形態に係る正検出および過検出の判定結果（教師なし）の一例を示す図である。図１０では、２つのノイズ付与画像（ノイズＡ，ノイズＢ）と、１つの非ノイズ画像（非ノイズ）の計３つの画像を用い、検出判定の閾値を０．５と設定する場合を例に挙げる。ケース５では、ノイズＡおよび非ノイズは同一物体を示す物体検出候補群に設定され、両者の推定クラスラベルが一致しているが、ノイズＢは、ノイズＡおよび非ノイズの物体検出候補群には含まれていない。この場合、検出率が３分の２（０．６６）となり閾値を上回る。このケース５については、「疑似正検出（ＴＰ’）」と判定される。「疑似」とされているのは、教師なしの場合には正解データが存在しないため、正解の確証がないためである。一方、ケース６では、非ノイズには推定クラスラベルが付与されているが、ノイズＡおよびＢには未検出ラベルが付与されている。この場合、検出率が３分の１（０．３３）となり閾値を上回る。このケース６については、「疑似過検出（ＦＰ’）」と判定される。

【0057】

すなわち、頑健性測定部１６は、同一物体を示す物体領域候補群において、他の物体検出結果と重複しない物体検出結果に付与された未検出ラベルに基づいて物体領域候補群内における検出率を算出し、算出した検出率に基づいて過検出指標を算出する。

【0058】

以上において説明した第３実施形態の頑健性測定装置１によれば、教師ありまたは教師なしに関わらず、機械学習モデルの頑健性を簡易的且つ高精度に測定可能にすることが可能となる。また、ノイズ付与部１２により任意の機械学習モデルの頑健性を任意のノイズ条件でテストすることができる。また、推論結果群生成部１５により正解データを有さない場合（教師なし）においても、頑健性測定部１６にて、推論結果群に含まれる推論結果の統計情報から頑健性指標が測定可能となる。また、回帰および分類のいずれの推論処理に関しても、頑健性指標が測定可能となる。

【0059】

また、物体検出において重要となる過検出の指標を得ることが可能となる。検出結果の頑健性と別に、検出自体が過検出である可能性が示唆されることで、頑健性の低いデータを元に再学習する際に、物体検出の検出閾値を調整する、一定以上の過検出性を有する結果を学習に用いない等の方策がとれるようになる。また、教師データ（正解データ）を活用してより正確な頑健性測定が可能となる。

【0060】

＜活用例＞
上記のように測定された頑健性指標の用途として、信頼度としての活用が考えられる。ディープニューラルネットワーク（ＤＮＮ：Deep neural Network）にベイズ推定等を組み合わせて結果の信頼度を出力する手法はよく用いられている。頑健性が高いということは信頼度が高いと考えられるため、信頼度出力を有さない機械学習モデルに対して頑健性計測を適用し、信頼度の代用をすることが可能である。また、信頼度出力を有する手法であっても、ベイズ推定による信頼度出力がどの程度実用的なノイズ耐性と相関を持つか、頑健性の計測結果と比較することも可能で、信頼度出力がどの程度信用できるかを測ることが可能となる。

【0061】

信頼度としての活用例として、１つ脆弱なデータを見つけた場合、その推論結果は信頼できない、と判断することが可能と考えられる。例えば、自動運転支援システム等の車載監視システムにおいてカメラ画像が信頼できない場合にはＬｉＤＡＲ等の他のセンサの検出結果を優先する等の方策を取ることが可能となる。このように、随時データが更新され、随時信頼性を計測する必要があるアプリケーションでは頑健性測定が有効となりうる。監視カメラで指名手配犯を追跡する、トラブルが起きているかを検出する等のＡＩを使用する際もこれに該当する。列車に搭載したカメラで線路内への不審物の侵入を撮影および検知するシステム等も該当する。

【0062】

一方で、リアルタイム性を有さず、後からデータを解析する際に特定のシーンが重要視される場合も同様に信頼度が活用できる。例えば、ドライブレコーダーで記録した事故映像等、事故の瞬間の数フレームのみに着目し、その画像上での物体検出結果が重要視される場合等が該当する。監視カメラも場合によっては後から解析する事例も考えられ、犯行現場を撮影した場合に後から現場検証する事例等が考えられ得る。また、スポーツの映像記録においては、得点を得たシーンやファウルのあったシーン等の特定のシーンに着目する必要があり、チームのプレイを振り返る際等には有効と考えられる。スポーツの事例ではリアルタイムに審判のアシストを行うシステムも考えられる。

【0063】

頑健性測定は信頼度としての活用の他、再学習のための活用が考えられる。頑健性測定の結果、脆弱と判定されたデータを集め、検査対象となっていた物体検出モデルを再学習することで、脆弱なデータに対してより頑健なモデルの構築が可能となる。脆弱と判定されたデータをそのまま活用するのではなく、クラスラベルの脆弱性に着目し、脆弱なデータが所属するクラスの追加学習を検討するという方策も可能である。例えば、検査した物体検出モデルが２輪車に弱いモデルと判断されたら、２輪車の写ったシーンを集めてきて再学習を行う、といった事例が考えられる。新規に学習データの取得が難しい場合には、学習データとテストデータの分割を調整し、２輪車の画像がより学習データに多く含まれるよう調整するといった対応も可能である。

【0064】

頑健性指標には検出物体領域（バウンダリーボックス）ごとの頑健性、画像ごとの頑健性の２通りが存在する。頑健性指標を信頼度として活用する場合は、バウンダリーボックスごとの頑健性を計測できればよい。一方で、再学習の観点では脆弱な画像を用いて再学習することから、画像ごとの頑健性を採用できる。ただし、再学習もカテゴリ追加の場合はバウンダリーボックスごとに情報を集め、脆弱ラベルを特定して使用する。

【0065】

また、物体検出は検出座標の回帰と検出クラスの分類の２種のタスクの複合と考えられるが、頑健性指標は回帰指標と分類指標の２通りが独立して算出可能である。検出した車両と３次元計測技術を組み合わせて車両位置や距離を推定し、自動運転に用いる例では、避けるべき障害物の位置が重要視されることから回帰指標を採用し、一方、監視カメラで指名手配犯を見つける場合等は検出結果の分類ラベルが重要視されると考えられ、アプリケーションに依存して採用すべき指標が変化するといえる。回帰と分類の両方を重視する場合は、回帰指標と分類指標の２種類の指標を線形結合する等して１つの頑健性指標に統合することも可能である。

【0066】

教師なしの例での疑似Ｐｒｅｃｉｓｉｏｎ、教師ありの例でのＦ値等、過検出指標は画像ごとの頑健性の一種として考える。データセット全体での過検出指標の平均を監視し、閾値を超えた場合には物体検出モデルの物体検出閾値を調整する等といった対応が可能となる。尚、これらの指標について、絶対的に頑健および脆弱を２値分類するためには頑健性指標の閾値を定める必要があり、これを定めるには複数のデータセットを使用し、検査対象のドメインでの閾値を定めるといった作業が必要になる。一方で、検査対象のデータセット内で頑健性指標を比較し、相対的に脆弱なデータ点を検出することは容易であり、例えば、頑健性指標の下位１０％のデータを抽出して再学習するといった方策が可能となる。

【0067】

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0068】

１，１Ａ…頑健性測定装置、１０…制御部、１１…取得部、１２…ノイズ付与部、１３…画像入力部、１４…推論結果取得部、１５…推論結果群生成部、１６…頑健性測定部、１７…提供部、１８…ノイズ重み設定部、２０…記憶部、１００…推論部、１１０…記憶部、Ｔ…端末装置、ＮＷ…通信ネットワーク，ＩＤ…推論装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10】