特開 2024-29936 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029936

(43)【公開日】2024-03-07

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240229BHJP

   G06T 7/00 20170101ALI20240229BHJP

   G06V 10/778 20220101ALI20240229BHJP

   G06N 20/00 20190101ALI20240229BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06V10/778

G06N20/00

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022132418

(22)【出願日】2022-08-23

(71)【出願人】

【識別番号】000233169

【氏名又は名称】株式会社日立ソリューションズ・テクノロジー

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】劉 鳴

(72)【発明者】

【氏名】小野 豪一

(72)【発明者】

【氏名】猪貝 光祥

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096DA02

5L096GA30

5L096GA51

5L096HA09

5L096HA11

5L096JA11

5L096JA22

5L096KA04

(57)【要約】

【課題】機械学習モデルに対する学習を効率化することが可能な画像処理装置を提供するする。
【解決手段】特徴量抽出器２０は、複数の第１の画像データを用いて学習が行われた機械学習モデル２２に第２の画像データＰＤを入力することで得られる、第２の画像データＰＤの特徴量ＦＶを抽出する。画像分類器２１は、機械学習モデル２２に複数の第１の画像データを入力することで得られる特徴量の範囲を基準範囲ＲＲとして予め記憶しており、入力された第２の画像データＰＤに対して特徴量抽出器２０で抽出された特徴量ＦＶが基準範囲ＲＲの内部か外部かを判別することで、入力された第２の画像データＰＤを分類する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の第１の画像データを用いて学習が行われた機械学習モデルに第２の画像データを入力することで得られる、前記第２の画像データの特徴量を抽出する特徴量抽出器と、
前記機械学習モデルに前記複数の第１の画像データを入力することで得られる特徴量の範囲を基準範囲として予め記憶しており、入力された前記第２の画像データに対して前記特徴量抽出器で抽出された前記特徴量が前記基準範囲の内部か外部かを判別することで、入力された前記第２の画像データを分類する画像分類器と、
を備える、
画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記画像分類器は、前記特徴量抽出器で抽出された前記特徴量が前記基準範囲の外部である前記第２の画像データを、追加学習用の画像データを蓄積するための追加学習用カテゴリに分類する、
画像処理装置。

【請求項3】

請求項１記載の画像処理装置において、
前記特徴量抽出器は、前記機械学習モデルのいずれかの中間層における次元毎の前記特徴量を抽出し、
前記基準範囲は、前記特徴量抽出器が対象とする前記中間層と同じ層かつ同じ次元の特徴量に基づいて次元毎に予め定められる、
画像処理装置。

【請求項4】

請求項３記載の画像処理装置において、
前記特徴量抽出器が対象とする前記中間層は、入力層よりも出力層に近い層に定められる、
画像処理装置。

【請求項5】

請求項１記載の画像処理装置において、
前記画像分類器は、前記特徴量抽出器で抽出された前記特徴量の前記基準範囲からの逸脱量を算出し、算出された前記逸脱量に基づいて、入力された前記第２の画像データを、前記逸脱量がゼロである第１カテゴリか、ゼロから予め定められた第１閾値までの範囲である第２カテゴリか、前記第１閾値を超える第３カテゴリかに分類する、
画像処理装置。

【請求項6】

請求項５記載の画像処理装置において、
前記第１閾値は、背景の画像データに基づいて定められる、
画像処理装置。

【請求項7】

請求項６記載の画像処理装置において、
前記第２カテゴリは、追加学習用の画像データを蓄積するための追加学習用カテゴリに定められる、
画像処理装置。

【請求項8】

請求項５記載の画像処理装置において、
前記画像分類器は、前記第１閾値よりも小さい値であり予め定められた第２閾値を用いて、前記第２カテゴリに分類される前記第２の画像データを、更に、ゼロから前記第２閾値までの範囲である第４カテゴリか、前記第２閾値から前記第１閾値までの範囲である第５カテゴリかに分類する、
画像処理装置。

【請求項9】

請求項８記載の画像処理装置において、
前記画像分類器は、前記第４カテゴリに分類する画像データの枚数と前記第５カテゴリに分類する画像データの枚数との枚数比と、物体検出の要求精度との対応関係を表す割合データを予め記憶しており、前記割合データに基づいて、入力された前記要求精度に対応する前記枚数比となるように、入力された前記第２の画像データを、追加学習用の画像データを蓄積するための追加学習用カテゴリに分類する、
画像処理装置。

【請求項10】

複数の第１の画像データを用いて学習が行われた機械学習モデルに前記複数の第１の画像データを入力することで得られる特徴量の範囲を基準範囲として予め記憶し、
前記機械学習モデルに第２の画像データを入力することで得られる、前記第２の画像データの特徴量を抽出し、
入力された前記第２の画像データから抽出された前記特徴量が前記基準範囲の内部か外部かを判別することで、入力された前記第２の画像データを分類する、
画像処理方法。

【請求項11】

請求項１０記載の画像処理方法において、
前記第２の画像データから抽出された前記特徴量が前記基準範囲の外部である前記第２の画像データを、追加学習用の画像データを蓄積するための追加学習用カテゴリに分類する、
画像処理方法。

【請求項12】

請求項１０記載の画像処理方法において、
前記第２の画像データから抽出された前記特徴量の前記基準範囲からの逸脱量を算出し、算出された前記逸脱量に基づいて、入力された前記第２の画像データを、前記逸脱量がゼロである第１カテゴリか、ゼロから予め定められた第１閾値までの範囲である第２カテゴリか、前記第１閾値を超える第３カテゴリかに分類する、
画像処理方法。

【請求項13】

請求項１２記載の画像処理方法において、
前記第２カテゴリを、追加学習用の画像データを蓄積するための追加学習用カテゴリに定める、
画像処理方法。

【請求項14】

請求項１２記載の画像処理方法において、
前記第１閾値よりも小さい値であり予め定められた第２閾値を用いて、前記第２カテゴリに分類される前記第２の画像データを、更に、ゼロから前記第２閾値までの範囲である第４カテゴリか、前記第２閾値から前記第１閾値までの範囲である第５カテゴリかに分類する、
画像処理方法。

【請求項15】

請求項１４記載の画像処理方法において、
前記第４カテゴリに分類する画像データの枚数と前記第５カテゴリに分類する画像データの枚数との枚数比と、物体検出の要求精度との対応関係を表す割合データを予め記憶し、
前記割合データに基づいて、入力された前記要求精度に対応する前記枚数比となるように、入力された前記第２の画像データを、追加学習用の画像データを蓄積するための追加学習用カテゴリに分類する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関し、例えば、ＡＩ（Artificial Intelligence）を用いた画像処理技術に関する。

【背景技術】

【0002】

特許文献１には、学習モデルの精度を効率的に向上させることが可能な医用画像処理装置が示される。当該医用画像処理装置は、学習モデルに入力された医用画像と、学習モデルから出力された推定結果と、教師データとに基づいて、学習モデルの推定結果の評価値を算出し、当該評価値が閾値以下である場合に、当該医用画像の特徴を特定する。そして、当該医用画像処理装置は、特定された特徴を有する医用画像を選別し、選別後の医用画像で学習処理を実行する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１１４１７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ＡＩのシステム形態として、クラウドＡＩに代わってエッジＡＩが着目されている。クラウドＡＩとは、クラウド装置が機械学習モデルの作成と共に、学習を行うことで学習済みの機械学習モデルを作成し、エッジ装置が、当該学習済みの機械学習モデルを用いて推論を行う形態である。一方、エッジＡＩとは、クラウド装置が機械学習モデルを作成し、エッジ装置が、当該機械学習モデルに対する学習を行うことで学習済みの機械学習モデルを作成し、当該学習済みの機械学習モデルを用いて推論を行う形態である。

【0005】

エッジＡＩを用いると、ＡＩの適用現場で学習を行えるため、適用現場毎に最適化された学習済みの機械学習モデルを作成することができる。また、エッジＡＩを用いると、クラウド装置に学習を行わせる際の遅延を無くすことや、エッジ装置で取得した学習用のデータをクラウド装置に送信する際の通信コストを削減すること等も可能になる。ただし、エッジ装置は、通常、クラウド装置と比較して処理能力が低い。このため、特に、エッジＡＩを用いる場合には、学習を効率化することが望まれる。詳細には、より少ない枚数の画像を学習することで、高い認識精度を実現することが望まれる。

【0006】

そこで、本発明の目的の一つは、機械学習モデルに対する学習を効率化することが可能な画像処理装置を提供することにある。

【課題を解決するための手段】

【0007】

本願において開示される実施の形態のうち代表的なものの概要を簡単に説明すれば下記の通りである。

【0008】

本発明の代表的な実施の形態による画像処理装置は、特徴量抽出器と、画像分類器と、を備える。特徴量抽出器は、複数の第１の画像データを用いて学習が行われた機械学習モデルに第２の画像データを入力することで得られる、第２の画像データの特徴量を抽出する。画像分類器は、機械学習モデルに複数の第１の画像データを入力することで得られる特徴量の範囲を基準範囲として予め記憶しており、入力された第２の画像データに対して特徴量抽出器で抽出された特徴量が基準範囲の内部か外部かを判別することで、入力された第２の画像データを分類する。

【発明の効果】

【0009】

本願において開示される発明のうち、代表的な実施の形態によって得られる効果を簡単に説明すると、画像処理装置において、機械学習モデルに対する学習を効率化することが可能になる。

【0010】

上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１による画像処理装置の主要部の構成例を示す概略図である。

【図2】図１における機械学習モデルの構成例を示す模式図である。

【図3A】図１における画像分類器の処理内容の一例を説明する模式図である。

【図3B】図１における画像分類器の処理内容の一例を説明する模式図である。

【図4】図１における基準範囲データを作成する際の処理内容の一例を示すフロー図である。

【図5】図１におけるコントローラで画像データを分類する際の処理内容の一例を示すフロー図である。

【図6】実施の形態２による画像処理装置の主要部の構成例を示す概略図である。

【図7】図６における画像分類器の動作例を説明する図である。

【図8】図６に示される機械学習モデルにおいて、一部の詳細な構成例を示す模式図である。

【図9】図８に示される機械学習モデルに対して、特徴量の基準範囲からの逸脱量を定量化する方法の一例を説明する図である。

【図10】図８に示される機械学習モデルを用いることを前提として、図６における特徴量抽出器および画像分類器の詳細な動作例を説明する図である。

【図11】図６における画像処理装置を用いて、追加学習を行った場合の効果の一例を示す図である。

【図12】実施の形態３による画像処理装置の主要部の構成例を示す概略図ある。

【図13】図１２における画像分類器の動作例を説明する図である。

【図14】図１２における割合テーブルの構成例を示す概略図である。

【図15】図１２における画像処理装置において、追加学習の設定画面の一例を説明する図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態を説明する。実施の形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0013】

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

【0014】

各種情報の例として、「テーブル」、「リスト」、「キュー」等の表現にて説明することがあるが、各種情報はこれら以外のデータ構造で表現されてもよい。例えば、「ＸＸテーブル」、「ＸＸリスト」、「ＸＸキュー」等の各種情報は、「ＸＸ情報」としてもよい。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

【0015】

同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0016】

実施の形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。

【0017】

プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施の形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0018】

（実施の形態１）
＜画像処理装置の概略＞
例えば、Ａ現場での画像に基づいて学習を行った学習済みの機械学習モデルを用いて、Ｂ現場で推論、詳細には物体検出を行う場合を想定する。この場合、例えば、現場毎の物体の見え方の違い、例えば物体の大きさ、位置、色、体勢の違いや背景の違い等により、物体検出の精度が不十分となることがある。具体的には、誤った不検出、ひいては検出漏れを表すＦＮ（False Negative）や、誤った検出を表すＦＰ（False Positive）が多く発生し得る。そこで、図１に示されるような画像処理装置を用いることが有益となる。

【0019】

図１は、実施の形態１による画像処理装置の主要部の構成例を示す概略図である。図１に示される画像処理装置１０は、例えば、Ｂ現場に設置されるエッジカメラ等である。当該画像処理装置１０は、コントローラ１５と、メモリ１６と、カメラモジュール１７と、レンズ１８とを備える。メモリ１６は、例えば、フラッシュメモリ等の不揮発性メモリと、ＤＲＡＭ等の揮発性メモリとの組み合わせで実現される。

【0020】

カメラモジュール１７は、Ｂ現場での画像データＰＤをレンズ１８を介して取得し、取得した画像データＰＤをコントローラ１５に出力する。この際に、画像データＰＤは、メモリ１６に一旦書き込まれたのちに、コントローラ１５から読み出されてもよい。カメラモジュール１７は、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサや、イメージセンサによって撮影された画像データを処理するＩＳＰ（Image Signal Processor）等で実現される。

【0021】

コントローラ１５は、カメラモジュール１７で取得された画像データＰＤに対して、ＡＩによる画像処理によって物体検出等を行う。コントローラ１５は、例えば、ＭＣＵ（Micro Controller Unit）、ＳｏＣ（System on a Chip）、ＦＰＧＡ、ＡＳＩＣ等や、これらの組み合わせで実現される。コントローラ１５は、ＡＩによる画像処理を行うため、例えばＧＰＵ等のプロセッサを含んだ形態で実現されることが望ましい。

【0022】

コントローラ１５は、特徴量抽出器２０と、画像分類器２１と、機械学習モデル２２と、学習制御器２３とを備える。機械学習モデル２２は、例えば、プロセッサが、メモリ１６に記憶されたプログラムを実行すること等で実現される。なお、実際には、コントローラ１５自身も、フラッシュメモリ、ＤＲＡＭ、ＳＲＡＭ等のメモリを備え得る。明細書では、説明の便宜上、図１に示したメモリ１６には、コントローラ１５が備えるメモリも含まれるものとする。

【0023】

ここで、機械学習モデル２２は、既に、Ａ現場で取得された複数の画像データＰＤを用いて学習が行われているものである。明細書では、Ａ現場での画像データＰＤを画像データ（第１の画像データ）ＰＤ１と呼び、Ｂ現場での画像データＰＤを画像データ（第２の画像データ）ＰＤ２と呼ぶ。コントローラ１５は、当該機械学習モデル２２に、Ｂ現場で取得された未知の画像データＰＤ２を入力することで、画像データＰＤ２に含まれる物体を検出する。そして、コントローラ１５は、物体検出結果ＤＲを出力する。

【0024】

特徴量抽出器２０は、機械学習モデル２２に、未知の画像データＰＤ２を入力することで得られる、画像データＰＤ２の特徴量ＦＶを抽出する。詳細には、特徴量ＦＶは、例えば、機械学習モデル２２による推論処理の過程で、特徴マップとして適宜メモリ１６に書き込まれる。特徴量抽出器２０は、このメモリ１６に書き込まれた特徴量ＦＶを読み出せばよい。

【0025】

画像分類器２１は、予め、メモリ１６に基準範囲データ２６を記憶している。基準範囲データ２６は、機械学習モデル２２にＡ現場で取得された複数の画像データＰＤ１を入力することで得られる特徴量の範囲を定めたものであり、例えば、Ａ現場で作成されたものである。明細書では、当該特徴量の範囲を基準範囲ＲＲと呼ぶ。画像分類器２１は、Ｂ現場で入力された未知の画像データＰＤ２に対して特徴量抽出器２０で抽出された特徴量ＦＶが基準範囲ＲＲの内部か外部かを判別することで、未知の画像データＰＤ２を分類する。そして、画像分類器２１は、分類結果ＣＲを出力する。

【0026】

更に、画像分類器２１は、特徴量抽出器２０で抽出された特徴量ＦＶが基準範囲ＲＲの外部である画像データＰＤ２を、追加学習用の画像データを蓄積するための追加学習用カテゴリに分類する。具体的には、メモリ１６には、当該追加学習用カテゴリに相当する追加学習用画像領域２５が設けられる。画像分類器２１は、分類結果ＣＲに基づいて、対象の画像データＰＤ２を、追加学習用画像領域２５に書き込む。

【0027】

学習制御器２３は、追加学習用カテゴリに分類された画像データＰＤ２、すなわち、追加学習用画像領域２５が記憶している画像データＰＤ２を用いて、機械学習モデル２２の追加学習を行う。詳細には、例えば、追加学習用画像領域２５が記憶している画像データＰＤ２に対して、別途、正解ラベルが付加された上で、追加学習が行われる。なお、特徴量抽出器２０、画像分類器２１および学習制御器２３は、例えば、プロセッサが、メモリ１６に記憶されたプログラムを実行すること等で実現される。

【0028】

＜特徴量について＞
図２は、図１における機械学習モデルの構成例を示す模式図である。機械学習モデル２２は、一般的に、入力層ＩＬと、その後段に配置される複数、ここではｎ個の中間層ＭＬ１～ＭＬ［ｎ］と、最終層ＬＬ、言い換えれば出力層とを備える。例えば、最終段の中間層ＭＬ［ｎ］は、複数、ここでは５個の次元Ｄ１～Ｄ５を備える。次元は、ノードとも呼ばれ、機械学習モデル２２は、前段層に含まれるノードと、後段層に含まれるノードとを所定の重み係数を介して結合することで構成される。

【0029】

このような機械学習モデル２２に対して、特徴量抽出器２０は、いずれかの中間層、ここでは中間層ＭＬ［ｎ］における次元Ｄ１～Ｄ５毎の特徴量ＦＶを抽出する。言い換えれば、５個の次元Ｄ１～Ｄ５に該当する５個のノードに書き込まれる値を抽出する。一方、基準範囲ＲＲは、当該特徴量抽出器２０が対象とする中間層ＭＬ［ｎ］と同じ層かつ同じ次元Ｄ１～Ｄ５の特徴量に基づいて次元Ｄ１～Ｄ５毎に予め定められる。なお、特徴量ＦＶの抽出対象となる中間層は、入力層ＩＬよりも最終層ＬＬに近い層に定められることが望ましい。これは、より後段の中間層ＭＬになるほど、最終結果、ひいてはＦＮやＦＰとの関係性が強くなると考えられるためである。

【0030】

図３Ａおよび図３Ｂは、図１における画像分類器の処理内容の一例を説明する模式図である。図３Ａには、次元Ｄ１，Ｄ２，…，Ｄ５毎の基準範囲ＲＲ１，ＲＲ２，…，ＲＲ５と、次元Ｄ１，Ｄ２，…，Ｄ５毎の特徴量ＦＶ１，ＦＶ２，…，ＦＶ５との関係の一例が示される。基準範囲ＲＲ１～ＲＲ５のそれぞれは、例えば、Ａ現場での画像データＰＤ１から得られた、次元Ｄ１～Ｄ５毎の特徴量ＦＶの最小値から最大値の範囲で定められる。

【0031】

図３Ａの例では、特徴量ＦＶ１，ＦＶ２は、それぞれ、基準範囲ＲＲ１，ＲＲ２の外部となっており、特徴量ＦＶ５は、基準範囲ＲＲ５の内部となっている。例えば、画像分類器２１は、全ての次元Ｄ１～Ｄ５で、特徴量ＦＶ１～ＦＶ５が基準範囲ＲＲ１～ＲＲ５の内部であった場合には、最終結果として、基準範囲ＲＲの内部と判別する。一方、画像分類器２１は、複数の次元Ｄ１～Ｄ５の中の１以上の次元で、特徴量ＦＶが基準範囲ＲＲの外部であった場合には、最終結果として基準範囲ＲＲの外部と判別する。したがって、図３Ａに示される例では、基準範囲ＲＲの外部と判別され、その画像データＰＤ２は、追加学習用カテゴリに分類される。

【0032】

図３Ｂには、図３Ａにおける、次元Ｄ１～Ｄ５毎の特徴量ＦＶ１～ＦＶ５の基準範囲ＲＲ１～ＲＲ５からの逸脱量Δ１～Δ５が示される。次元Ｄ５のように、特徴量ＦＶ５が基準範囲ＲＲ５の内部である場合、逸脱量Δ５はゼロである。画像分類器２１は、全ての次元Ｄ１～Ｄ５で逸脱量Δ１～Δ５がゼロであった場合には、最終結果として、基準範囲ＲＲの内部と判別する。一方、画像分類器２１は、複数の次元Ｄ１～Ｄ５の中の１以上の次元で、逸脱量Δが非ゼロであった場合には、最終結果として基準範囲ＲＲの外部と判別する。

【0033】

ここで、前述したように、Ａ現場での機械学習モデル２２を用いて、Ｂ現場で物体検出を行った場合、ＦＮや、ＦＰが多く発生し得る。言い換えれば、物体検出の精度が低下する。物体検出の精度は、検出を表すＰ（Positive）や不検出を表すＮ（Negative）と、ＰおよびＮが実際に正しいか否かを表す正解ラベルとに基づいて定められる。具体的には、物体検出の精度は、ＦＮ、ＦＰ、ＴＰ（True Positive）、ＴＮ（True Negative）に基づいて定められる。ＴＰは、正しい検出を表し、ＴＮは、正しい不検出、ひいては背景を表す。

【0034】

物体検出の精度を高める一般的な方式として、例えば、Ｂ現場で取得した全ての画像データＰＤ２に対して、予め正解ラベルを付加し、当該正解ラベルを付加した画像データで推論を行うことで、画像データＰＤ２を、ＦＮ、ＦＰ、ＴＰ、ＴＮに分類する方法が挙げられる。この場合、主に、ＦＮやＦＰに分類された画像データを用いて追加学習を行うことで物体検出の精度を高めることができる。しかしながら、この方式では、全ての画像データＰＤ２に対して予め正解ラベルを付加する必要があるため、膨大な工数が必要とされ得る。

【0035】

そこで、例えば、正解ラベルが付加されない画像データＰＤ２で推論を行い、最終的な推論結果であるコンフィデンス値を指標として、追加学習用の画像データＰＤ２を選定する方式が挙げられる。詳細には、コンフィデンス値がある程度低い画像データＰＤ２を、ＦＮやＦＰに分類される可能性が高い画像データＰＤ２として選定する。この場合、例えば、全ての画像データＰＤ２ではなく、選定した画像データＰＤ２に対して正解ラベルを付加すればよいため、工数を削減できる。なお、コンフィデンス値とは、概略的には、ＰやＮに対するＡＩによる自信度（％）を表す。コンフィデンス値は、高いほどＰに自信があることを意味し、低いほどＮに自信があることを意味する。

【0036】

しかしながら、このようにコンフィデンス値に基づいて追加学習用の画像データＰＤ２を選定する方式では、より効率的な学習を行う上で、十分とは言えない場合がある。その理由の一つとして、コンフィデンス値に基づいて選定された画像データＰＤ２は、必ずしも、ＦＮやＦＰに分類されるとは限らず、実際には、ある程度の割合でしかＦＮやＦＰに分類されないことが挙げられる。

【0037】

そこで、図１に示したように、特徴量ＦＶに基づいて追加学習用の画像データＰＤ２を選定する方式を用いることが有益となる。特徴量ＦＶを用いると、コンフィデンス値を用いる場合と比較して、より多くの情報に基づいて画像データＰＤ２を選定できる。すなわち、最終的な推論結果であるコンフィデンス値は、例えば、図２における最終層ＬＬに含まれる値、または、最終層ＬＬに含まれる値を更に処理することで得られる値である。その結果、特徴量ＦＶに基づいて選定された画像データＰＤ２は、コンフィデンス値に基づいて選定された画像データＰＤ２と比較して、ＦＮやＦＰに分類される可能性がより高まると考えられる。これにより、より効率的な学習が可能となる。

【0038】

＜コントローラの動作＞
図４は、図１における基準範囲データを作成する際の処理内容の一例を示すフロー図である。基準範囲データ２６は、例えば、図１に示したコントローラ１５を用いて作成することができる。また、基準範囲データ２６を作成する際に、画像分類器２１と学習制御器２３は、不要である。図４に示されるフローは、例えば、プロセッサを含んだコントローラ１５によるプログラム処理によって実現される。

【0039】

図４において、まず、コントローラ１５は、Ａ現場での画像データＰＤ１を用いて学習された機械学習モデル２２に、Ｂ現場ではなくＡ現場での画像データＰＤ１を入力する（ステップＳ１０１）。続いて、コントローラ１５は、特徴量抽出器２０を用いて、予め設定した中間層の次元毎に、図２の例では中間層ＭＬ［ｎ］の次元Ｄ１～Ｄ５毎に、特徴量ＦＶを抽出する（ステップＳ１０２）。

【0040】

コントローラ１５は、予め設定した画像枚数に到達するまで、Ａ現場での画像データＰＤ１を変更しながら、ステップＳ１０１，Ｓ１０２の処理を繰り返し実行する（ステップＳ１０３：Ｎｏ）。そして、予め設定した画像枚数に到達した場合（ステップＳ１０３：Ｙｅｓ）、コントローラ１５は、次元毎に、ステップＳ１０２で抽出した特徴量ＦＶの最小値と最大値を検出する（ステップＳ１０４）。

【0041】

ステップＳ１０４に際しては、例えば、ステップＳ１０２で抽出された特徴量ＦＶをメモリ１６に書き込んでおき、それを参照することで最小値と最大値を検出する方式であってよい。または、ステップＳ１０２で特徴量ＦＶを抽出する毎に、抽出した特徴量ＦＶと、メモリ１６に格納された最小値および最大値とを比較し、最小値または最大値の更新要否に応じて、メモリ１６に格納された最小値および最大値を更新する方式であってもよい。すなわち、メモリ１６に最小値および最大値のみを残していく方式であってもよい。

【0042】

その後、コントローラ１５は、ステップＳ１０４で次元毎に検出した、特徴量ＦＶの最小値と最大値の範囲を、基準範囲ＲＲとしてメモリ１６に書き込む（ステップＳ１０５）。これにより、コントローラ１５は、図１における基準範囲データ２６を作成する。

【0043】

図５は、図１におけるコントローラで画像データを分類する際の処理内容の一例を示すフロー図である。図５に示されるフローは、例えば、プロセッサを含んだコントローラ１５によるプログラム処理によって実現される。図５において、まず、コントローラ１５は、Ａ現場での画像データＰＤ１を用いて学習された機械学習モデル２２に、Ｂ現場での画像データＰＤ２を入力する（ステップＳ２０１）。続いて、コントローラ１５は、特徴量抽出器２０を用いて、予め設定した中間層の次元毎に、図２の例では中間層ＭＬ［ｎ］の次元Ｄ１～Ｄ５毎に、特徴量ＦＶを抽出する（ステップＳ２０２）。

【0044】

次いで、コントローラ１５は、画像分類器２１を用いて、次元毎に、抽出した特徴量ＦＶが基準範囲ＲＲの内部か外部かを判別する（ステップＳ２０３）。そして、コントローラ１５は、抽出した特徴量ＦＶが全ての次元で基準範囲ＲＲの内部である場合（ステップＳ２０４：Ｙｅｓ）、その画像データＰＤ２を第１カテゴリＣ１に分類する（ステップＳ２０５ａ）。一方、コントローラ１５は、抽出した特徴量ＦＶが１以上の次元で基準範囲ＲＲの外部である場合（ステップＳ２０４：Ｎｏ）、その画像データＰＤ２を第２カテゴリＣ２に分類する（ステップＳ２０５ｂ）。

【0045】

第１カテゴリＣ１に分類された画像データＰＤ２は、物体検出に適した画像とみなされる。一方、第２カテゴリＣ２に分類された画像データＰＤ２は、物体検出に適していない画像とみなされる。その後、コントローラ１５は、第２カテゴリＣ２の画像データＰＤ２を追加学習用の画像データＰＤ２として記憶する（ステップＳ２０６）。すなわち、コントローラ１５は、第２カテゴリＣ２の画像データＰＤ２を、追加学習用画像領域２５に書き込む。なお、コントローラ１５は、追加学習用の画像枚数が設定した枚数に達するまで、図５のフローを繰り返し実行する。

【0046】

＜実施の形態１の主要な効果＞
以上、実施の形態１の方式を用いると、特徴量ＦＶに基づいて画像データＰＤを分類でき、ひいては、特徴量ＦＶに基づいて追加学習用の画像データＰＤを選定できる。その結果、代表的には、機械学習モデル２２に対する学習を効率化することが可能になる。また、学習を効率化することで、特に、クラウドＡＩに代わるエッジＡＩの適用を容易化することが可能になる。ただし、実施の形態１の方式は、必ずしもエッジＡＩに限らず、クラウドＡＩに適用されてもよい。

【0047】

（実施の形態２）
＜画像処理装置の概略＞
図６は、実施の形態２による画像処理装置の主要部の構成例を示す概略図である。図７は、図６における画像分類器の動作例を説明する図である。実施の形態２による画像処理装置は、図１の場合と同様の構成を備える。図６には、図１との相違点に着目した一部の構成例が示される。ここでは、図１の場合との相違点に着目して説明を行う。

【0048】

図６において、メモリ１６は、図１の場合と異なり、更に、閾値データ４０を予め記憶している。閾値データ４０は、第１閾値ＴＨ１を定めるデータである。また、コントローラ１５内の画像分類器２１ａは、図３Ｂで述べたように、特徴量抽出器２０で抽出された特徴量ＦＶの基準範囲ＲＲからの逸脱量Δを算出する。そして、画像分類器２１ａは、算出された逸脱量Δに基づいて、入力されたＢ現場での画像データＰＤ２を分類する。

【0049】

ここで、実施の形態１では、画像分類器２１は、逸脱量Δがゼロ、すなわち特徴量ＦＶが基準範囲ＲＲの内部か、逸脱量Δが非ゼロ、すなわち特徴量ＦＶが基準範囲ＲＲの外部かで分類を行った。一方、実施の形態２では、画像分類器２１ａは、逸脱量Δが非ゼロの場合に、画像データＰＤ２を、更に、第１閾値ＴＨ１に基づいて分類する。具体的には、画像分類器２１ａは、図７に示されるように、画像データＰＤ２を、逸脱量Δがゼロである第１カテゴリＣ１か、ゼロから第１閾値ＴＨ１までの範囲である第２カテゴリＣ２か、第１閾値ＴＨ１を超える第３カテゴリＣ３かに分類する。

【0050】

第１閾値ＴＨ１、すなわち、閾値データ４０は、背景の画像データに基づいて予め定められ、背景と物体とを区別する境界値の役目を担う。これにより、第３カテゴリＣ３の分類された画像データＰＤ２は、背景の画像データとみなされる。また、第２カテゴリＣ２は、追加学習用の画像データＰＤ２を蓄積するための追加学習用カテゴリに定められる。具体的には、画像分類器２１ａは、第２カテゴリＣ２に分類した画像データＰＤ２を、メモリ１６内の追加学習用画像領域２５に書き込む。これにより、追加学習用の画像データとして、背景の画像データを除外できるため、より学習効果が高い追加学習用の画像データを選定することが可能になる。

【0051】

第１閾値ＴＨ１は、具体的には、例えば、次のいずれかの方法で定められる。第１の方法として、背景のみの画像データと、ＦＮやＦＰに分類された画像データとを複数準備し、これらの画像データの特徴量を抽出することで、背景と、ＦＮ／ＦＰとの境界となる特徴量を実験的に求める方法が挙げられる。第２の方法として、最終的な推論結果であるコンフィデンス値が０．１％以下の画像データを複数準備し、これらの画像データの特徴量を抽出すると共に基準範囲ＲＲからの逸脱量Δをそれぞれ算出し、最も小さい逸脱量Δを第１閾値ＴＨ１に定める方法が挙げられる。最も小さい逸脱量Δを用いることで、背景のみの画像データをより多く除外することができる。

【0052】

＜特徴量抽出および画像分類の具体例＞
図８は、図６に示される機械学習モデルにおいて、一部の詳細な構成例を示す模式図である。図８には、図２に示した最終段の中間層ＭＬ［ｎ］と、最終層ＬＬの具体例が示される。図８に示される機械学習モデル２２は、例えば、物体検出で広く用いられるＹＯＬＯ（You Only Look Once）モデルの一例である。

【0053】

図８において、最終層ＬＬは、例えば、幅×高さ×深さ＝２０×２０×２１個のノードＮＤで構成される。各ノードＮＤは、図２で述べたように、次元でもある。幅方向および高さ方向に位置する２０×２０個のノードＮＤは、それぞれ、画像データＰＤの幅方向および高さ方向の位置に対応する。そして、２０×２０個のノードＮＤの位置毎に、２１個の深さ方向のノードＮＤによって、その位置に存在する物体の特徴量が表現される。物体の特徴量には、物体の中心位置、幅方向および高さ方向のサイズ、物体の種類等に関する推測情報に加えて、当該推測情報に対するコンフィデンス値が含まれる。

【0054】

中間層ＭＬ［ｎ］は、幅×高さ×深さ＝２０×２０×１０２４個のノードＮＤで構成される。この中間層ＭＬ［ｎ］に対して、１×１×２１のフィルタを用いて畳み込み演算を行うことで最終層ＬＬにおける各ノードＮＤの特徴量が得られる。例えば、中間層ＭＬ［ｎ］におけるノード空間３０ａ内の１０２４個の特徴量は、畳み込み演算によって、最終層ＬＬにおけるノード空間３０ｂ内の２１個の特徴量に集約される。

【0055】

このような構成において、特徴量は、図２で述べたように、例えば、中間層ＭＬ［ｎ］における２０×２０×１０２４個のノードＮＤ毎、言い換えれば、２０×２０×１０２４個の次元毎に抽出され得る。そして、２０×２０×１０２４個の次元毎に、画像分類器２１ａによって逸脱量Δが算出され、逸脱量Δと第１閾値ＴＨ１との比較が行われ得る。ただし、このように次元の数が多くなると、例えば、逸脱量Δと第１閾値ＴＨ１との比較に伴う処理負荷が増大し得る。また、２０×２０×１０２４個の次元毎に背景との境界を表す第１閾値ＴＨ１を作成することは、容易でない場合もある。そこで、次のような方式を用いて、次元の数を削減してもよい。

【0056】

図９は、図８に示される機械学習モデルに対して、特徴量の基準範囲からの逸脱量を定量化する方法の一例を説明する図である。図９には、一例として、図８におけるノード空間３１での特徴量と基準範囲とが示される。ノード空間３１は、深さ方向に１０２４個の次元を有する。そして、次元毎に基準範囲ＲＲが予め設定されている。図９では、３９０番目の次元における基準範囲ＲＲ３９０と、７８５番目の次元における基準範囲ＲＲ７８５とが例示されている。

【0057】

そして、Ｂ現場での画像データＰＤ２に対して特徴量ＦＶを抽出した結果、当該ノード空間３１における３９０番目の次元で非ゼロの逸脱量Δ３９０が生じ、７８５番目の次元で非ゼロの逸脱量Δ７８５が生じている。なお、その他の次元では、図示は省略されているが、逸脱量Δは非ゼロ、すなわち、特徴量ＦＶは基準範囲ＲＲの内部となっている。

【0058】

画像分類器２１ａは、式（１）によって、当該ノード空間３１における逸脱量を１個の全体逸脱量ΔＡＬＬに集約する。そして、画像分類器２１ａは、当該全体逸脱量ΔＡＬＬを第１閾値ＴＨ１と比較する。この場合、図８に示される中間層ＭＬ［ｎ］において、２０×２０×１０２４個ではなく２０×２０個の第１閾値ＴＨ１が予め作成されることになる。
ΔＡＬＬ＝（Δ１＋Δ２＋…＋Δ１０２４）／１０２４ …（１）

【0059】

図１０は、図８に示される機械学習モデルを用いることを前提として、図６における特徴量抽出器および画像分類器の詳細な動作例を説明する図である。図１０には、Ｂ現場での画像データＰＤ２に対して、図８に示されるようなＹＯＬＯモデルを用いて物体検出を行った結果、すなわち最終的な推論結果の一例が示される。ＹＯＬＯモデルでは、画像データＰＤ２をグリッド３５と呼ばれる領域に分割して物体検出が行われる。図１０の例では、画像データＰＤ２は、２０×２０のグリッド３５に分割されている。この２０×２０のグリッド３５は、図８に示した最終層ＬＬにおける２０×２０のノードＮＤにそれぞれ対応する。

【0060】

各グリッド３５は、物体の中心位置、幅方向および高さ方向のサイズ、物体の種類等に関する情報と、当該情報に対するコンフィデンス値とを有している。そして、コンフィデンス値が極大値を示すグリッド３５の情報に基づいて物体検出が行われる。図１０の例では、コンフィデンス値が０．６７であるグリッド３５［１０，９］の情報に基づいて、物体、ここでは飛行機が検出される。

【0061】

具体的には、当該グリッド３５［１０，９］の情報に基づいて、物体の中心がグリッド３５［１０，９］の位置にあることと、当該物体が境界ボックス３６で示されるサイズを有することと、物体が飛行機であることとが検出される。なお、例えば、当該グリッド３５［１０，９］の隣のグリッド３５［９，９］も、グリッド３５［１０，９］と同様の情報を有する。ただし、グリッド３５［９，９］のコンフィデンス値は、グリッド３５［１０，９］よりもが小さいため、当該グリッド３５［９，９］が有する情報は、最終的な推論結果に反映されない。

【0062】

このようなＹＯＬＯモデルを用いる場合、図８に示される２０×２０×１０２４個のノードＮＤ全てに対して、特徴量ＦＶを抽出する必要はなく、グリッド３５［１０，９］に対応する１個のノード空間３１に対して、特徴量ＦＶを抽出すればよい。すなわち、特徴量抽出器２０は、最終的な推論結果からコンフィデンス値が極大値となるグリッド３５を検出し、検出したグリッド３５に対応するノード空間３１を対象として特徴量ＦＶを抽出すればよい。

【0063】

一方、基準範囲ＲＲに関しては、極大値を有するグリッド３５の位置が画像データＰＤ２毎に異なり得るため、図８に示される２０×２０×１０２４個のノードＮＤのそれぞれに対して予め作成される。この際に、例えば、Ａ現場において、あるグリッド３５が常に背景となるような場合には、当該グリッド３５に対応する基準範囲ＲＲの作成が困難となる場合もある。このような場合には、当該グリッド３５に対応する基準範囲ＲＲを、別のグリッド３５の基準範囲ＲＲに基づいて定めてもよい。

【0064】

画像分類器２１ａは、グリッド３５［１０，９］に対応する１個のノード空間３１から抽出された１０２４次元の内の１以上の次元で逸脱量Δが非ゼロであるか否か、ひいては、当該ノード空間３１の全体逸脱量ΔＡＬＬが非ゼロであるか否かを判別する。全体逸脱量ΔＡＬＬが非ゼロの場合、画像分類器２１ａは、更に、全体逸脱量ΔＡＬＬが当該ノード空間３１に対して予め定められた第１閾値ＴＨ１を超えるか否かを判別する。

【0065】

そして、画像分類器２１ａは、全体逸脱量ΔＡＬＬが第１閾値ＴＨ１を超える場合には、その画像データＰＤ２を第３カテゴリＣ３、すなわち背景に分類し、超えない場合には、その画像データＰＤ２を第２カテゴリＣ２、すなわち追加学習用に分類する。このように、特定のノード空間３１を対象として特徴量ＦＶを抽出し、当該ノード空間３１の全体逸脱量ΔＡＬＬを用いて分類を行うことで、特徴量抽出器２０および画像分類器２１ａの処理負荷を軽減することが可能になる。

【0066】

また、図１０の例では、画像データＰＤ２の中に、１個の物体のみが含まれているが、実際には、複数の物体が含まれ得る。例えば、２個の物体が含まれる場合、最終的な推論結果として、極大値を有するグリッド３５、すなわち、周辺よりもコンフィデンス値が高いグリッド３５が２個存在し、当該２個のグリッド３５を中心する２個の境界ボックス３６が作成されることになる。この場合、当該２個のグリッド３５に対応する２個のノード空間３１を対象に特徴量ＦＶを抽出し、抽出した特徴量に基づいて画像を分類すればよい。

【0067】

このように、２個のノード空間３１を対象に、言い換えれば、２個の物体を含む１個の画像データＰＤ２を対象に分類を行う場合、少なくとも一方の物体において非ゼロの逸脱量Δが生じると、当該画像データＰＤ２は、追加学習用カテゴリに分類される。ただし、より学習効果が高い画像を選定する観点では、両方の物体において非ゼロの逸脱量Δが生じた画像データＰＤ２を、追加学習用カテゴリに分類することが望ましい。更には、種類、すなわちクラスが異なる複数の物体において非ゼロの逸脱量Δが生じた画像データＰＤ２を、追加学習用カテゴリに分類することが望ましい。

【0068】

このため、画像分類器２１ａは、複数の物体において非ゼロの逸脱量Δが生じた画像データＰＤ２を、追加学習用カテゴリに分類するように構成されてもよい。または、画像分類器２１ａは、クラスが異なる複数の物体において非ゼロの逸脱量Δが生じた画像データＰＤ２を、追加学習用カテゴリに分類するように構成されてもよい。具体的には、例えば、予めクラス毎の基準範囲ＲＲを作成しておく。そして、画像分類器２１ａは、当該クラス毎の基準範囲ＲＲを用いてクラス毎に画像データＰＤ２を分類し、複数のクラスで第２カテゴリＣ２に分類された画像データＰＤ２を追加学習用カテゴリに分類すればよい。

【0069】

＜その他の変形例＞
画像分類器２１ａは、図７に示したように、逸脱量Δがゼロである画像データＰＤ２、すなわち、物体検出に適した画像データＰＤ２を第１カテゴリＣ１に分類した。画像分類器２１ａは、当該第１カテゴリＣ１に分類された画像データＰＤ２を、更に、最終的な推定結果となるコンフィデンス値によって分類してもよい。この場合、物体検出に適した画像データＰＤ２は、例えば、強く適した画像データＰＤ２と、弱く適した画像データＰＤ２とに分類される。

【0070】

追加学習を行う場合、実際には、過学習を防止するため、第１カテゴリＣ１に分類された画像データＰＤ２をある程度含ませる場合がある。ただし、物体検出に強く適した画像データＰＤ２、すなわち、コンフィデンス値がかなり高い画像データＰＤ２は、学習効果が低い画像データとなる場合が多い。そこで、このような方式によって、物体検出に弱く適した画像データＰＤ２を、追加学習用として選定することも有益である。

【0071】

＜検証結果＞
図１１は、図６における画像処理装置を用いて、追加学習を行った場合の効果の一例を示す図である。図１１には、追加学習で用いた画像枚数と物体検出の精度との関係が示される。また、図１１には、図６に示した画像処理装置を用いて追加学習用の画像データと選定した場合の検証結果４３ａと、比較例として、実施の形態１で述べたようなコンフィデンス値に基づいて追加学習用の画像データと選定した場合の検証結果４３ｂとが示される。図１１から分かるように、検証結果４３ａでは、検証結果４３ｂと比較して、同一の検出精度を得るための画像枚数が０．４倍に削減され、また、画像枚数が同一ならば、検出精度を９％高めることができる。

【0072】

＜実施の形態２の主要な効果＞
以上、実施の形態２の方式を用いると、特徴量ＦＶに基づいて画像データを３以上に分類でき、ひいては、背景となる画像データを除外して追加学習用の画像データを選定できる。その結果、実際の形態１で述べた効果と同様の効果が得られ、更に、背景となる画像データを除外することで、機械学習モデルに対する学習をより効率化することが可能になる。

【0073】

（実施の形態３）
＜画像処理装置の概略＞
図１２は、実施の形態３による画像処理装置の主要部の構成例を示す概略図ある。図１３は、図１２における画像分類器の動作例を説明する図である。図１２に示される画像処理装置は、図６に示した構成例と比較して、次の３点が異なっている。第１の相違点として、メモリ１６が予め記憶している閾値データ４０ｃは、第１閾値ＴＨ１に加えて第２閾値ＴＨ２を定めるデータとなっている。第２の相違点として、メモリ１６は、更に、割合テーブル４５を予め記憶している。

【0074】

第３の相違点として、図６の場合とは異なる画像分類器２１ｃが設けられる。画像分類器２１ｃは、図１３に示されるように、メモリ１６が記憶している第２閾値ＴＨ２を用いて、第２カテゴリＣ２に分類されるＢ現場での画像データＰＤ２を、更に、第４カテゴリＣ４か、第５カテゴリＣ５かに分類する。第２閾値ＴＨ２は、第１閾値ＴＨ１よりも小さい値である。第４カテゴリＣ４は、逸脱量Δがゼロから第２閾値ＴＨ２までの範囲である。第５カテゴリＣ５は、逸脱量Δが第２閾値ＴＨ２から第１閾値ＴＨ１までの範囲である。

【0075】

また、画像分類器２１ｃは、メモリ１６内の割合テーブル４５に、第４カテゴリＣ４に分類する画像データＰＤ２の枚数と第５カテゴリＣ５に分類する画像データＰＤ２の枚数との枚数比と、物体検出の要求精度との対応関係を表す割合データを記憶している。画像分類器２１ｃは、当該割合データに基づいて、入力された要求精度に対応する枚数比となるように、入力されたＢ現場での画像データＰＤ２を、追加学習用カテゴリに分類する。

【0076】

図１４は、図１２における割合テーブルの構成例を示す概略図である。図１４に示される割合テーブル４５は、要求精度と、追加学習用の画像枚数の比率との対応関係を表す。図１４に示される例では、要求精度が７５％までの範囲では、第１カテゴリＣ１の枚数比は１である。要求精度が７５％から８０％までの範囲では、第１カテゴリＣ１および第４カテゴリＣ４の枚数比は、Ｃ１：Ｃ４＝０．７：０．３である。要求精度が８０％から８５％までの範囲では、第１カテゴリＣ１、第４カテゴリＣ４および第５カテゴリＣ５の枚数比は、Ｃ１：Ｃ４：Ｃ５＝０．５：０．３：０．２である。

【0077】

一方、図１３に示されるように、ＡＩによる学習では、例えば、ＴＰに分類される画像データを用いると例えば７５％の要求精度を達成できる。更に、弱いＦＰや弱いＦＮに分類される画像データを加えると例えば８０％の要求精度を達成できる。更に、強いＦＰや強いＦＮに分類される画像データを加えると例えば８５％の要求精度を達成できる。

【0078】

ただし、例えば、弱いＦＰや強いＦＰ等は、概念的なものであり、ＦＰを何らかの指標で区別することで得られるものである。また、例えば、弱いＦＰや弱いＦＮに分類される画像データのみを用いると、過学習が生じ得る。このため、実際には、例えば、ＴＰに分類される画像データも適宜加えた上で、学習を行わせることが望ましい。

【0079】

ここで、実施の形態３の方式では、第４カテゴリＣ４に分類される画像データＰＤ２は、弱いＦＰまたは弱いＦＮに分類される画像データとみなされる。第５カテゴリＣ５に分類される画像データＰＤ２は、強いＦＰまたは強いＦＮに分類される画像データとみなされる。すなわち、第２閾値ＴＨ２を設けることで、弱いＦＰまたは弱いＦＮと、強いＦＰまたは強いＦＮとを区別することができる。

【0080】

図１５は、図１２における画像処理装置において、追加学習の設定画面の一例を説明する図である。図１５に示される設定画面５０は、画像処理装置に設けられる図示しないディスプレイ、または、画像処理装置に通信ネットワークを介して接続されるサーバ等の管理装置のディスプレイに表示される。ユーザは、図１５に示されるような設定画面５０を介して、物体精度の要求精度を選択し、また、追加学習で用いる画像枚数を入力する。

【0081】

このような設定に基づいて、画像分類器２１ｃは、割合テーブル４５を参照し、設定された要求精度に対応する枚数比を満たしつつ、かつ、入力された画像枚数に達するまで、入力された画像データＰＤ２を、メモリ１６内の追加学習用画像領域２５に書き込んでいく。例えば、画像枚数が１０００枚であり、要求精度が７５％～８０％の場合、画像分類器２１ｃは、第１カテゴリＣ１の画像データＰＤ２を７００枚、第４カテゴリＣ４の画像データＰＤ２を３００枚収集する。

【0082】

＜実施の形態３の主要な効果＞
以上、実施の形態３の方式を用いると、実施の形態１，２で述べた各種効果と同様の効果が得られる。更に、割合テーブル４５を設けることで、追加学習用の画像データを、物体の要求精度に応じて効率的に選定することができ、より効率的な学習を行うことが可能になる。

【符号の説明】

【0083】

１０…エッジカメラ（画像処理装置）、１５…コントローラ、１６…メモリ、２０…特徴量抽出器、２１…画像分類器、２５…追加学習用画像領域、４５…割合テーブル、Ｃ１～Ｃ５…カテゴリ、Ｄ１～Ｄ５…次元、ＦＶ…特徴量、ＩＬ…入力層、ＬＬ…最終層（出力層）、ＭＬ…中間層、ＰＤ…画像データ、ＲＲ…基準範囲、ＴＨ１，ＴＨ２…閾値、Δ１～Δ１０２４…逸脱量

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】