特開 2024-70100 能動学習支援装置、及び、能動学習支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070100

(43)【公開日】2024-05-22

(54)【発明の名称】能動学習支援装置、及び、能動学習支援方法

(51)【国際特許分類】

   G06V 10/778 20220101AFI20240515BHJP

【ＦＩ】

G06V10/778

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022180487

(22)【出願日】2022-11-10

(71)【出願人】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】荒井 浩

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA02

5L096DA02

5L096FA02

5L096FA16

5L096FA64

5L096FA69

5L096GA30

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】機械学習モデルの検出精度の向上を効率的に実現することができる能動学習支援装置を提供する。
【解決手段】能動学習支援装置２のＣＰＵ７Ａは、機械学習モデルＭを用いて未アノテーション画像上の物体を検出し、検出した物体の信頼度ｐに基づいて、機械学習モデルＭの強化目的に応じた物体のエントロピＨ（ｘ）を算出し、強化目的に応じた物体の特徴量（物体情報）を画像から取得し、物体のエントロピＨ（ｘ）及び特徴量を要素として含む画像のスコアＳを算出し、スコアＳに基づいて複数の未アノテーション画像の中から画像を選別する。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の画像の中から機械学習モデルを能動学習させるための画像を選別する能動学習支援装置であって、
前記機械学習モデルを用いて画像上の物体を検出する物体検出手段と、
検出した前記物体の信頼度に基づいて、前記機械学習モデルの強化目的に応じた前記物体のエントロピを算出するエントロピ算出手段と、
前記強化目的に応じた前記物体の特徴量を前記画像から取得する特徴量取得手段と、
前記物体の前記エントロピ及び前記特徴量を要素として含む前記画像のスコアを算出するスコア算出手段と、
前記スコアに基づいて前記画像を選別する画像選別手段と、を備えたことを特徴とする能動学習支援装置。

【請求項2】

前記特徴量は、前記画像上において前記物体を囲む枠のサイズであることを特徴とする請求項１に記載の能動学習支援装置。

【請求項3】

前記スコア算出手段は、前記物体のエントロピと前記特徴量との乗算値に基づいて前記画像のスコアを算出することを特徴とする請求項１に記載の能動学習支援装置。

【請求項4】

複数の画像の中から機械学習モデルを能動学習させるための画像を選別する能動学習支援装置であって、
プロセッサを備え、
前記プロセッサは、前記機械学習モデルを用いて画像上の物体を検出し、検出した前記物体の信頼度に基づいて、前記機械学習モデルの強化目的に応じた前記物体のエントロピを算出し、前記強化目的に応じた前記物体の特徴量を前記画像から取得し、前記物体の前記エントロピ及び前記特徴量を要素として含む前記画像のスコアを算出し、前記スコアに基づいて前記画像を選別することを特徴とする能動学習支援装置。

【請求項5】

複数の画像の中から機械学習モデルを能動学習させるための画像を選別する能動学習支援方法であって、
前記機械学習モデルを用いて画像上の物体を検出し、
検出した前記物体の信頼度に基づいて、前記機械学習モデルの強化目的に応じた前記物体のエントロピを算出し、
前記強化目的に応じた前記物体の特徴量を前記画像から取得し、
前記物体の前記エントロピ及び前記特徴量を要素として含む前記画像のスコアを算出し、
前記スコアに基づいて前記画像を選別することを特徴とする能動学習支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から物体を検出する機械学習モデルに対する更なる能動学習を支援する能動学習支援装置及び能動学習支援方法に関する。

【背景技術】

【0002】

従来、人工知能（ＡＩ：Artificial Intelligence）の分野では、画像から物体検出を行う技術が開発されている。このような物体検出を行う機械学習モデルは、例えば、ニューラルネットワーク等を機械学習させることによって構築される。

【0003】

また、構築された機械学習モデルには、一般に、更なる物体検出精度を向上するための能動学習が行われる。能動学習では、ラベルの付されていない複数のデータ（画像データ）の中から、機械学習モデルの高精度化に有効なデータが選択される。これにより、ラベル付け作業（アノテーション）を行うデータの数が低減され、学習データの作成コストが削減される。

【0004】

能動学習に有効なデータを選択するための技術として、例えば、非特許文献１には、自律走行のための物体検出の領域において、スケーラブルな能動学習システムが開示されている。この能動学習システムは、ＡＩの推論結果として出力される物体らしさの確率に基づいてエントロピを算出する。そして、能動学習システムは、エントロピが高い物体が写っている画像を順に選別する。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Elmar Haussmann, Michele Fenzi, Kashyap Chitta, Jan Ivanecky, Hanson Xu, Donna Roy, Akshita Mittel, Nicolas Koumchatzky, Clement Farabet, Jose M. Alvarez，"Scalable Active Learning for Object Detection"，２０２０年４月９日<ＵＲＬ：https://arxiv.org/pdf/2004.04699.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述の非特許文献１に開示された技術のように、単に推論結果のエントロピを評価値として用いただけでは、機械学習モデルの検出精度の向上を効率的に実現するには限界がある。

【0007】

本発明は、機械学習モデルの検出精度の向上を効率的に実現することができる能動学習支援装置及び能動学習支援方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様による能動学習支援装置は、複数の画像の中から機械学習モデルを能動学習させるための画像を選別する能動学習支援装置であって、前記機械学習モデルを用いて画像上の物体を検出する物体検出手段と、検出した前記物体の信頼度に基づいて、前記機械学習モデルの強化目的に応じた前記物体のエントロピを算出するエントロピ算出手段と、前記強化目的に応じた前記物体の特徴量を前記画像から取得する特徴量取得手段と、前記物体の前記エントロピ及び前記特徴量を要素として含む前記画像のスコアを算出するスコア算出手段と、前記スコアに基づいて前記画像を選別する画像選別手段と、を備えている。

【0009】

本発明の他態様による能動学習支援装置は、複数の画像の中から機械学習モデルを能動学習させるための画像を選別する能動学習支援装置であって、プロセッサを備え、前記プロセッサは、前記機械学習モデルを用いて画像上の物体を検出し、検出した前記物体の信頼度に基づいて、前記機械学習モデルの強化目的に応じた前記物体のエントロピを算出し、前記強化目的に応じた前記物体の特徴量を前記画像から取得し、前記物体の前記エントロピ及び前記特徴量を要素として含む前記画像のスコアを算出し、前記スコアに基づいて前記画像を選別する。

【0010】

本発明の一態様による能動学習支援方法は、複数の画像の中から機械学習モデルを能動学習させるための画像を選別する能動学習支援方法であって、前記機械学習モデルを用いて画像上の物体を検出し、検出した前記物体の信頼度に基づいて、前記機械学習モデルの強化目的に応じた前記物体のエントロピを算出し、前記強化目的に応じた前記物体の特徴量を前記画像から取得し、前記物体の前記エントロピ及び前記特徴量を要素として含む前記画像のスコアを算出し、前記スコアに基づいて前記画像を選別する。

【発明の効果】

【0011】

本発明によれば、機械学習モデルの検出精度の向上を効率的に実現することができる。

【図面の簡単な説明】

【0012】

【図1】能動学習システムを示す図

【図2】能動学習システムによる処理の概要を示す図

【図3】信頼度とエントロピとの関係を示す特性図

【図4】未アノテーション画像を例示する図

【図5】学習データ生成ルーチンを示すフローチャート

【図6】機械学習モデルに対する能動学習ルーチンを示すフローチャート

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の一形態を説明する。図１は能動学習システムを示す図である。

【0014】

図１に示す機械学習システム１は、人工知能（ＡＩ：Artificial Intelligence）を構成する機械学習モデルＭ（図２参照）に対し、能動学習を行うためのシステムである。

【0015】

ここで、本実施形態の機械学習モデルＭは、例えば、車載カメラからの情報に基づいて運転支援制御を行う車両に適用される。このため、機械学習モデルＭは、例えば、車載カメラによって撮像された画像に対する物体検出処理を行う。この物体検出処理において、機械学習モデルＭは、画像から検出した各物体について、各クラスに対する信頼度ｐを算出する。各クラスとしては、例えば、歩行者、及び、車両等のカテゴリが予め設定されている。物体の各クラスに対する信頼度ｐは、例えば、「０」～「１」の範囲にて設定される。

【0016】

例えば、注目する物体が歩行者である確率が高い場合、当該物体のクラスを歩行者とする信頼度ｐは「１」に近い値となる。この場合、当該物体が車両である確率が相対的に低くなるため、当該物体のクラスを車両とする信頼度ｐは「０」に近い値となる。一方、注目する物体が歩行者である確率が低い場合、当該物体のクラスを歩行者とする信頼度ｐは「０」に近い値となる。この場合、当該物体が車両である確率が相対的に高くなるため、当該物体のクラスを車両とする信頼度ｐは「１」に近い値となる。

【0017】

機械学習システム１は、能動学習支援装置２と、能動学習装置３と、を有する。

【0018】

能動学習支援装置２及び能動学習装置３は、例えば、パーソナルコンピュータによって構成されている。具体的には、能動学習支援装置２及び能動学習装置３は、例えば、ストレージデバイス５と、メモリ６と、中央演算処理装置（ＣＰＵ：Central Processing Unit）７と、通信部８と、ディスプレイ９と、入力デバイス１０と、をそれぞれ有する。これらの各構成部品は、バスライン１１を介して相互接続されている。

【0019】

ストレージデバイス５は、非一時的な有形の記録媒体である。このストレージデバイス５には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、及び、これらのプログラムに付随する各種データ等が記憶されている。

【0020】

メモリ６は、プロセッサとしてのＣＰＵ７によって各種処理を実行する際のワークメモリである。ＣＰＵ７は、ストレージデバイス５からメモリ６にロードしたプログラム等に従った処理を実行する。

【0021】

通信部８は、ネットワーク１２を介した各種情報の伝達制御を行うネットワークインターフェースである。

【0022】

ディスプレイ９は、例えば、ＣＰＵ７において処理された各種情報を表示する。入力デバイス１０は、例えば、キーボード、マウス、及び、タッチパネルのうちの少なくとも何れか１つを含む。

【0023】

なお、以下の説明では、上述したコンピュータの各構成部品について、能動学習支援装置２に係る構成部品に添字「Ａ」を付し、能動学習装置３に係る構成部品に添字「Ｂ」を付する。

【0024】

能動学習支援装置２のストレージデバイス５Ａには、例えば、アプリケーションプログラムとして、機械学習モデルＭ、及び、学習データ生成プログラム等が記憶されている。なお、機械学習モデルＭは、後述する機械学習システム１によって随時更新される。ストレージデバイス５Ａには、現時点までに更新された機械学習モデルＭのうち、最新の機械学習モデルＭが記憶されている。

【0025】

さらに、ストレージデバイス５Ａには、複数の画像（画像データ）が記憶されている。これらの画像は、例えば、車載カメラを用いて走行環境を撮像した走行環境画像である。各走行環境画像は、例えば、車両を走行させながら撮像される。なお、各走行環境画像には、後述するアノテーション処理によるラベル等が付されていない。以下の説明において、このようなアノテーション処理が行われていない画像を、適宜、「未アノテーション画像」と称する。

【0026】

能動学習支援装置２のＣＰＵ７Ａは、所定の強化目的に応じた能動学習を行うための画像を、膨大な未アノテーション画像（未アノテーション画像群）の中から選別して所定数に絞り込む。なお、以下の説明において、このように選別された画像を、適宜、「選別画像」と称する。ここで、強化目的は、例えば、入力デバイス１０を用いてオペレータ等によって入力される情報である。この強化目的には、強化対象となるクラス、及び、未アノテーション画像から抽出すべき物体の特徴量の種別等の情報が含まれる。

【0027】

このような画像選別を含む学習データの生成は、例えば、機械学習モデルＭ及び学習データ生成プログラムを用いて行われる。

【0028】

例えば、図２に示すように、画像選別に際し、ＣＰＵ７Ａは、未アノテーション画像毎に、機械学習モデルを用いた物体検出処理を行う。これにより、ＣＰＵ７Ａは、未アノテーション画像内の物体情報を取得（検出）する。この物体情報には、検出した各物体のクラス毎の信頼度ｐが含まれる。

【0029】

次に、ＣＰＵ７Ａは、未アノテーション画像に対するスコア付けを行う。このスコア付けは、例えば、機械学習モデルＭを用いて取得した物体情報と、機械学習モデルＭに対する強化目的と、に基づいて行われる。

【0030】

例えば、強化対象として、車両（自車両）の近傍に存在する歩行者の検出精度向上が設定されている場合、ＣＰＵ７Ａは、各物体のクラスを歩行者とする信頼度ｐに基づいて、各物体のエントロピＨ（ｘ）を算出する。

【0031】

このエントロピＨ（ｘ）は、例えば、以下の（１）式に基づいて算出される。

【数1】

【0032】

例えば、図３に示すように、（１）式によって算出されるエントロピＨ（ｘ）は、信頼度ｐ＝０．５において最大となる。すなわち、例えば、物体が明確に歩行者であると判断できる場合であるほど、物体のクラスを歩行者とするエントロピＨ（ｘ）は低くなる。また、物体が明確に歩行者でないと判断できる場合であるほど、物体のクラスを歩行者とするエントロピＨ（ｘ）は低くなる。逆に、例えば、物体が歩行者であるか否かの判断が曖昧であるほど、物体のクラスを歩行者とするエントロピＨ（ｘ）は高くなる。

【0033】

また、例えば、強化対象として、車両（自車両）の近傍に存在する歩行者の検出精度向上が設定されている場合、ＣＰＵ７Ａは、各物体の特徴量として、各物体を囲む枠のサイズ（枠の幅（width）及び高さ（height））を未アノテーション画像から取得する（図４参照）。未アノテーション画像上において、物体を囲む枠のサイズは、一般に、自車両の近傍に存在する物体を囲む枠であるほど大きくなるためである。

【0034】

そして、ＣＰＵ７Ａは、各物体のエントロピＨ（ｘ）と、各物体の特徴量（各物体を囲む枠のサイズ）と、に基づいて、未アノテーション画像に対するスコアＳを算出する。

【0035】

このスコアＳは、例えば、以下の（２）式、或いは、（３）式に基づいて算出される。

【数2】

【数3】

【0036】

ここで、（２）式は、未アノテーション画像内に存在する各物体のスコアの中の最大値を、当該未アノテーション画像のスコアＳとして算出するための式である。

【0037】

また、（３）式は、未アノテーション画像内に存在する各物体のスコアの合算値を、当該未アノテーション画像のスコアＳとして算出するための式である。

【0038】

なお、詳細な説明は省略するが、未アノテーション画像に対するスコアＳを算出する際の特徴量は、機械学習モデルＭに対する強化目的に応じてそれぞれ異なる。

【0039】

例えば、自車両の遠方に存在する歩行者の検出精度向上が強化目的として設定されている場合、ＣＰＵ７Ａは、各物体を囲む枠の大きさの逆数を、特徴量として用いることが可能である。また、例えば、昼間における歩行者の検出精度向上が強化目的として設定されている場合、ＣＰＵ７Ａは、各物体の輝度を、特徴量として用いることが可能である。また、例えば、夜間における歩行者の検出精度向上が強化目的として設定されている場合、ＣＰＵ７Ａは、各物体の輝度の逆数を、特徴量として用いることが可能である。また、例えば、所定の色（衣服の色等）に応じた歩行者の検出精度向上が強化目的として設定されている場合、ＣＰＵ７Ａは、各物体の色に応じて設定された評価値を、特徴量として用いることが可能である。また、例えば、歩行者の姿勢や体型等に応じた検出精度向上が強化目的として設定されている場合、ＣＰＵ７Ａは、予め設定されたテンプレートに対する歩行者の姿勢や体型等の乖離度に応じた評価値を、特徴量として用いることが可能である。

【0040】

強化対象が車両等である場合も、強化対象が歩行者である場合と同様に、未アノテーション画像のスコアＳを算出することが可能である。また、上述の（２）式及び（３）式では、エントロピＨ（ｘ）に特徴量を乗算した値を用いてスコアＳを算出する一例について示しているが、スコアＳの算出方法は、このような算出方法に限定されない。例えば、エントロピＨ（ｘ）に特徴量を加算した値を用いてスコアＳを算出することも可能である。

【0041】

次に、ＣＰＵ７Ａは、未アノテーション画像の選別処理を行う。この選別処理に際し、ＣＰＵ７Ａは、スコア付けされた未アノテーション画像を、スコアＳが大きい順にソートする。そして、ＣＰＵ７Ａは、ソートした未アノテーション画像の中から、上位に並べられた設定数の画像を選別画像として抽出する。

【0042】

次に、ＣＰＵ７Ａは、各選別画像に基づいて、学習データを生成する。この学習データの生成に際し、ＣＰＵ７Ａは、選別画像をディスプレイ９Ａに表示させ、オペレータに対してアノテーション処理を指示する。これにより、オペレータは、選別画像内の各物体に対し、アノテーション処理によるラベル付けを行う。このアノテーション処理により、例えば、選別画像内の各物体には、オペレータが人為的に認識した物体のクラス等の情報がラベル付される。なお、アノテーション処理は、入力デバイス１０Ａを用いて行われる。

【0043】

これにより、ＣＰＵ７Ａは、学習データを生成する。この学習用データは、学習用入力画像と、アノテーション画像と、を含む。この場合において、学習用入力画像は、アノテーション処理が行われる前の選別画像によって構成されている。また、アノテーション画像は、アノテーション処理が行われた後の選択画像によって構成されている。

【0044】

このように、本実施形態において、ＣＰＵ７Ａは、物体検出手段、エントロピ算出手段、特徴量取得手段、スコア算出手段、及び、画像選別手段としての一具体例に相当する。

【0045】

能動学習装置３は、能動学習支援装置２によって生成された学習データを用いて、機械学習モデルＭに対する能動学習を行う。このため、能動学習装置３のストレージデバイス５Ｂには、例えば、アプリケーションプログラムとして、機械学習モデルＭ、及び、能動学習プログラム等が記憶されている。

【0046】

例えば、図２に示すように、能動学習支援装置２から能動学習装置３に学習データが入力されると、ＣＰＵ７Ｂは、機械学習モデルＭを用いて、学習用入力画像に対する物体検出を行う。

【0047】

また、ＣＰＵ７Ｂは、学習用出力画像を生成する。この学習用出力画像は、例えば、機械学習モデルＭを用いて取得した物体情報を学習用入力画像にタグ付けすることによって構成されている。ここで、機械学習モデルＭを用いて取得した物体情報には、例えば、物体のクラス、物体の各クラスに対する信頼度ｐ、物体の大きさ（物体を囲む枠の大きさ）、物体の輝度、及び、物体の色等が含まれている。

【0048】

さらに、ＣＰＵ７Ｂは、機械学習モデルＭによる物体情報の検出結果を評価する。この評価は、生成した学習用出力画像と、アノテーション画像と、を比較することにより実現される。すなわち、ＣＰＵ７Ｂは、例えば、学習用出力画像にタグ付けされた各種情報と、アノテーション画像にタグ付けされた各種情報と、を比較する。これにより、ＣＰＵ７Ｂは、機械学習モデルＭによる各種物体情報の検出精度等について評価する。

【0049】

そして、ＣＰＵ７Ｂは、物体情報に対する評価結果に基づいて、機械学習モデルＭを更新する。例えば、ＣＰＵ７Ｂは、物体検出精度が低い項目に関する情報をニューラルネットワークにフィードバックすることにより、機械学習モデルＭを更新する。

【0050】

なお、能動学習支援装置２に記憶されている機械学習モデルＭは、能動学習装置３によって更新された機械学習モデルＭによって適宜更新される。

【0051】

次に、能動学習支援装置２によって行われる学習データ生成処理の詳細について、図５に示す学習データ生成ルーチンのフローチャートに従って説明する。このルーチンは、ストレージデバイス５Ａに記録された学習データ生成プログラム等に基づき、ＣＰＵ７Ａにおいて実行される。

【0052】

ルーチンがスタートすると、ＣＰＵ７Ａは、ステップＳ１０１において、機械学習モデルＭに対する強化目的を読み込む。すなわち、ＣＰＵ７Ａは、例えば、入力デバイス１０Ａを用いて能動学習装置３に入力された強化目的を、ストレージデバイス５Ａから読み込む。

【0053】

続くステップＳ１０２において、ＣＰＵ７Ａは、スコアＳを算出する際に用いる特徴量の種別を設定する。この特徴量の種別は、例えば、機械学習モデルＭに対する強化目的に基づいて設定される。

【0054】

続くステップＳ１０３において、ＣＰＵ７Ａは、能動学習装置３における機械学習モデルＭの更新の有無を調べる。

【0055】

そして、ステップＳ１０３において、機械学習モデルＭが更新されていないと判定した場合（ステップＳ１０３：ＮＯ）、ＣＰＵ７Ａは、ステップＳ１０５に進む。

【0056】

一方、ステップＳ１０３において、機械学習モデルＭが更新されていると判定した場合（ステップＳ１０３：ＹＥＳ）、ＣＰＵ７Ａは、ステップＳ１０４に進む。

【0057】

ステップＳ１０４において、ＣＰＵ７Ａは、更新された機械学習モデルＭを能動学習装置３から読み込んだ後、ステップＳ１０４に進む。

【0058】

ステップＳ１０３、或いは、ステップＳ１０４からステップＳ１０５に進むと、ＣＰＵ７Ａは、ストレージデバイス５Ａに記録されている未アノテーション画像群を読み込む。

【0059】

続くステップＳ１０６において、ＣＰＵ７Ａは、全ての未アノテーション画像を抽出したか否かを調べる。

【0060】

そして、ステップＳ１０６において、全ての未アノテーション画像を抽出したと判定した場合（ステップＳ１０６：ＹＥＳ）、ＣＰＵ７Ａは、ステップＳ１１２に進む。

【0061】

一方、ステップＳ１０６において、未だ全ての未アノテーション画像を抽出していないと判定した場合（ステップＳ１０６：ＮＯ）、ＣＰＵ７Ａは、ステップＳ１０７に進む。

【0062】

ステップＳ１０７において、ＣＰＵ７Ａは、未アノテーション画像群の中から、未だ抽出されていない未アノテーション画像を抽出する。

【0063】

続くステップＳ１０８において、ＣＰＵ７Ａは、抽出した未アノテーション画像に対し、機械学習モデルＭを用いた物体情報の検出を行う。

【0064】

続くステップＳ１０９において、ＣＰＵ７Ａは、検出した物体情報の中から、強化対象となるクラスの信頼度ｐを用いて、各物体のエントロピＨ（ｘ）を算出する。すなわち、ＣＰＵ７Ａは、例えば、上述の（１）式に基づいてエントロピＨ（ｘ）を算出する。

【0065】

続くステップＳ１１０において、ＣＰＵ７Ａは、検出した物体情報の中から強化目的に応じた各物体の特徴量を抽出する。

【0066】

続くステップＳ１１１において、ＣＰＵ７Ａは、現在抽出している未アノテーション画像のスコアＳを算出した後、ステップＳ１０６に戻る。すなわち、ＣＰＵ７Ａは、例えば、上述の（２）式或いは（３）式に基づいてスコアＳを算出する。

【0067】

ステップＳ１０６からステップＳ１１２に進むと、ＣＰＵ７Ａは、未アノテーション画像群をスコアＳが高い順にソートする。

【0068】

続くステップＳ１１３において、ＣＰＵ７Ａは、ソートした未アノテーション画像群の中から上位に並べられた設定数の未アノテーション画像を選別する。

【0069】

続くステップＳ１１４において、選別した未アノテーション画像群（選別画像群）の中から抽出した画像をディスプレイ９Ａに表示し、オペレータに対してアノテーション処理の実行を指示する。

【0070】

続くステップＳ１１５において、ＣＰＵ７Ａは、全ての選別画像に対するアノテーション処理が完了したか否かを調べる。

【0071】

そして、ステップＳ１１５において、全ての選別画像に対するアノテーション処理が完了していないと判定した場合（ステップＳ１１５：ＮＯ）、ＣＰＵ７Ａは、ステップＳ１１４に戻る。

【0072】

一方、ステップＳ１１５において、全ての選別画像に対するアノテーション処理が完了したと判定した場合（ステップＳ１１５：ＹＥＳ）、ＣＰＵ７Ａは、ステップＳ１１６に進む。

【0073】

ステップＳ１１６において、ＣＰＵ７Ａは、アノテーション処理が行われる前の選別画像（学習用入力画像）と、アノテーション処理が行われた後の選択画像と、の各ペアを学習データとして生成する。そして、ＣＰＵ７Ａは、生成した学習データ群を能動学習装置３に出力した後、ルーチンを抜ける。

【0074】

次に、能動学習装置３によって行われる機械学習処理の詳細について、図６に示す機械学習ルーチンのフローチャートに従って説明する。このルーチンは、ストレージデバイス５Ｂに記録された能動学習プログラム等に基づき、ＣＰＵ７Ｂにおいて実行される。

【0075】

ルーチンがスタートすると、ＣＰＵ７Ｂは、ステップＳ２０１において、学習データ群を読み込む。すなわち、ＣＰＵ７Ｂは、能動学習支援装置２から入力されてストレージデバイス５Ｂに記録されている学習データ群を読み込む。

【0076】

続くステップＳ２０２において、ＣＰＵ７Ｂは、学習データ群に属する全ての学習データの抽出が完了したか否かを調べる。

【0077】

そして、ステップＳ２０２において、全ての学習データを抽出していないと判定した場合（ステップＳ２０２：ＮＯ）、ＣＰＵ７Ｂは、ステップＳ２０３に進む。

【0078】

ステップＳ２０３において、ＣＰＵ７Ｂは、学習データ群の中から、未抽出の学習データを抽出する。

【0079】

続くステップＳ２０４において、ＣＰＵ７Ｂは、抽出した学習データの学習用入力画像に対し、機械学習モデルＭを用いた物体検出を行う。すなわち、ＣＰＵ７Ｂは、学習用入力画像内に存在する物体を検出し、さらに、各物体の物体情報を検出する。

【0080】

続くステップＳ２０５において、ＣＰＵ７Ｂは、学習用出力画像を生成する。すなわち、ＣＰＵ７Ｂは、機械学習モデルＭを用いて検出した物体情報を学習用入力画像にタグ付けすることにより、学習用出力画像を生成する。

【0081】

続くステップＳ２０６において、ＣＰＵ７Ｂは、生成した学習用出力画像の評価を行う。すなわち、ＣＰＵ７Ｂは、学習用出力画像にタグ付けされている物体情報と、アノテーション画像にタグ付けされている物体情報と、を比較する。これにより、ＣＰＵ７Ｂは、現在の機械学習モデルＭによる各種物体情報の検出精度等について評価する。

【0082】

続くステップＳ２０７において、ＣＰＵ７Ｂは、評価結果に基づいて機械学習モデルＭを更新した後、ステップＳ２０２に戻る。すなわち、ＣＰＵ７Ｂは、物体検出精度が低い項目に関する情報をニューラルネットワークにフィードバックし、機械学習モデルＭを更新する。

【0083】

また、ステップＳ２０２において、全ての学習データを抽出したと判定した場合（ステップＳ２０２：ＹＥＳ）、ＣＰＵ７Ｂは、ルーチンを抜ける。

【0084】

このような実施形態において、能動学習支援装置２のＣＰＵ７Ａは、機械学習モデルＭを用いて未アノテーション画像上の物体を検出する。また、ＣＰＵ７Ａは、検出した物体の信頼度ｐに基づいて、機械学習モデルＭの強化目的に応じた物体のエントロピＨ（ｘ）を算出する。また、ＣＰＵ７Ａは、強化目的に応じた物体の特徴量（物体情報）を画像から取得する。さらに、ＣＰＵ７Ａは、物体のエントロピＨ（ｘ）及び特徴量を要素として含む画像のスコアＳを算出する。そして、ＣＰＵ７Ａは、スコアＳに基づいて複数の未アノテーション画像の中から画像を選別する。これにより、機械学習モデルＭの向上を効率的に実現することができる。

【0085】

すなわち、能動学習支援装置２は、強化目的に応じたクラスに対する物体の信頼度ｐ（エントロピＨ（ｘ））のみならず、強化目的に応じた物体の特徴量を取得する。そして、能動学習支援装置２は、エントロピＨ（ｘ）及び特徴量に基づいて算出したスコアＳを用いて、未アノテーション画像群からの画像選別を行う。これにより、機械学習モデルＭの強化目的に応じた最適な画像を、未アノテーション画像群から効果的に選別することができる。

【0086】

例えば、機械学習モデルＭの強化目的として、自車両の近傍に存在する歩行者の検出精度の向上が設定されている場合、能動学習支援装置２は、複数のクラス毎に算出される物体の信頼度ｐの中から、物体のクラスを歩行者とした場合の信頼度ｐを選択する。そして、能動学習支援装置２は、選択した信頼度ｐに基づいて、物体の検出精度の曖昧さの指標であるエントロピＨ（ｘ）を算出する。加えて、能動学習支援装置２は、物体のサイズ（物体を囲む枠のサイズ）を、物体の特徴量として選択する。そして、能動学習支援装置２は、物体を歩行者とした場合の信頼度ｐ及び物体のサイズに基づいて、未アノテーション画像のスコアＳを算出する。さらに、能動学習支援装置２は、未アノテーション画像群の中から、スコアＳの高い順に未アノテーション画像を選別する。これにより、能動学習支援装置２は、歩行者であるか否かが曖昧な物体が自車両の近くに写し出された未アノテーション画像を優先的に選別することができる。

【0087】

この場合において、能動学習支援装置２は、エントロピＨ（ｘ）と特徴量との乗算値をスコアＳとして算出する。これにより、スコアＳに対し、特徴量を適切に反映させることができる。

【0088】

なお、上述の実施形態において、プロセッサの全部若しくは一部の機能は、論理回路あるいはアナログ回路によって構成してもよい。また、各種プログラムの処理を、ＦＰＧＡなどの電子回路により実現するようにしてもよい。

【0089】

以上の実施の形態に記載した発明は、その形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施することが可能である。

【0090】

例えば、機械学習モデルＭが車載の運転支援制御を行う車両に特化して適用される場合、走行レーン毎に異なる評価値を特徴量として用いることも可能である。そして、例えば、自車走行レーンに存在する物体の評価値を、他の走行レーンに存在する物体の評価値よりも高く設定すれば、自車走行レーン上の物体検出精度を強化するための未アノテーション画像を優先的に選別することができる。

【0091】

また、画像選別を行うための強化目的は、オペレータ等によって入力されたものに限定されないことは勿論である。この強化目的は、例えば、能動学習装置３における機械学習モデルＭの評価結果に基づいて、能動学習装置３において設定されるものであっても良い。

【0092】

さらに、上記形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得るものである。例えば、上記形態に示される全構成要件から幾つかの構成要件が削除されても、述べられている課題が解決でき、述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得るものである。

【符号の説明】

【0093】

１ … 機械学習システム
２ … 能動学習支援装置
３ … 能動学習装置
５ … ストレージデバイス
６ … メモリ
７ … ＣＰＵ
８ … 通信部
９ … ディスプレイ
１０ … 入力デバイス
１１ … バスライン
１２ … ネットワーク
Ｈ（ｘ） … エントロピ
Ｍ … 機械学習モデル
Ｓ … スコア
ｐ … 信頼度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】