特開 2022-29169 画像から関心オブジェクトを同定するためのモデルを生成する装置、方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022029169

(43)【公開日】2022-02-17

(54)【発明の名称】画像から関心オブジェクトを同定するためのモデルを生成する装置、方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220209BHJP

   G06T 7/194 20170101ALI20220209BHJP

   G06N 3/08 20060101ALI20220209BHJP

   G06N 20/00 20190101ALI20220209BHJP

【ＦＩ】

G06T7/00 350B

G06T7/194

G06N3/08

G06N20/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020132371

(22)【出願日】2020-08-04

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110001678

【氏名又は名称】特許業務法人藤央特許事務所

(72)【発明者】

【氏名】レイ アニールバン

(72)【発明者】

【氏名】服部 英春

(72)【発明者】

【氏名】柿下 容弓

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA02

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】画像から関心オブジェクトを同定するモデルを生成できる。
【解決手段】画像から関心オブジェクトを同定するためのモデルを生成する装置が開示される。装置は、入力画像を受け付ける入力部と、入力部から入力画像を受け付けて関心オブジェクトの領域と背景領域とを分離するオブジェクトセグメンテーション部と、オブジェクトセグメンテーション部が使用するモデルを学習する学習部と、を含む。学習部は、訓練データと訓練データに対する既存モデルの出力とを使用して、新しいモデルの訓練を行い、訓練した新しいモデルを既存モデルへ追加し、新しいモデルの訓練及び訓練した新しいモデルの既存モデルへの追加を繰り返す。
【選択図】図９Ｃ

【特許請求の範囲】

【請求項1】

画像から関心オブジェクトを同定するためのモデルを生成する装置であって、
入力画像を受け付ける入力部と、
前記入力部から前記入力画像を受け付けて関心オブジェクトの領域と背景領域とを分離するオブジェクトセグメンテーション部と、
前記オブジェクトセグメンテーション部が使用するモデルを学習する学習部と、を含み、
前記学習部は、
訓練データと前記訓練データに対する既存モデルの出力とを使用して、新しいモデルの訓練を行い、
訓練した前記新しいモデルを前記既存モデルへ追加し、
前記新しいモデルの訓練及び訓練した前記新しいモデルの前記既存モデルへの追加を繰り返す、装置。

【請求項2】

請求項１に記載の装置であって、
前記既存モデルが計算した画素のセグメンテーションスコアと閾値とを比較することで、前記訓練データにおける前記画素が関心オブジェクトに含まれるか否かを判定し、前記関心オブジェクトのラベルを出力する、閾値処理部を含み、
前記学習部は、前記訓練データと前記閾値処理部が出力した関心オブジェクトのラベルとを使用して、前記新しいモデルの訓練を行う、装置。

【請求項3】

請求項１に記載の装置であって、
前記学習部において、次のモデルの訓練を実行するかを判定する停止点判定部を含み、
前記停止点判定部は、今回訓練されたモデルの推定の正確性と前回訓練されたモデルの推定の正確性とに基づいて、前記次のモデルの訓練を実行するか判定する、装置。

【請求項4】

画像中の関心オブジェクトの定量的情報を算出する定量分析装置であって、
請求項１に記載の装置と、
前記オブジェクトセグメンテーション部により分離された前記関心オブジェクトを既知クラス及び未知グループに分類するオブジェクト分類部と、
前記既知クラス及び前記未知グループについての定量的情報を算出する定量演算部と、
前記定量演算部が算出する定量的情報を、ユーザに提示する、表示部と、を含み、
前記表示部は、前記定量演算部が算出する前記定量的情報、及び、前記オブジェクト分類部が算出する前記関心オブジェクトの前記既知クラス及び前記未知グループの分類結果の少なくとも一つを、前記入力画像に重畳した結果を表示する、定量分析装置。

【請求項5】

請求項４に記載の定量分析装置であって、
前記既存モデルを使用して、入力された画像データから関心オブジェクトを分離し、
分離された前記関心オブジェクトを既知クラス及び未知グループに分類し、
前記未知グループのオブジェクトを異常オブジェクトとして、前記入力された画像において強調した画像を出力する、定量分析装置。

【請求項6】

請求項４に記載の定量分析装置と、
一連の画像を取得する撮像装置と、
前記定量分析装置の出力から未知サンプルの特性を分析する未知サンプル分析装置と、
前記未知サンプル分析装置が出力する分析結果を表示する表示装置と、を含み、
前記定量分析装置は前記一連の画像それぞれについて、
前記既存モデルを使用して、入力された画像データから関心オブジェクトを分離し、
分離された前記関心オブジェクトを既知クラス及び未知グループに分類し、
前記既知クラス及び前記未知グループについての定量的情報を算出し、
前記未知サンプル分析装置は、前記一連の画像における前記定量的情報の変化の分析結果を出力する、システム。

【請求項7】

請求項４記載の定量分析装置と、
第１サンプルの一連の画像と、外部の介在手法が適用された第２サンプルの一連の画像とを取得する撮像装置と、
前記定量分析装置の出力から未知サンプルの特性を分析する未知サンプル分析装置と、
前記未知サンプル分析装置が出力する分析結果を表示する表示装置と、を含み、
前記定量分析装置は前記第１サンプル及び前記第２サンプルの一連の画像それぞれについて、
前記既存モデルを使用して、入力された画像データから関心オブジェクトを分離し、
分離された前記関心オブジェクトを既知クラス及び未知グループに分類し、
前記既知クラス及び前記未知グループについての定量的情報を算出し、
前記未知サンプル分析装置は、前記第１サンプル及び前記第２サンプルの一連の画像における前記定量的情報の違いを分析結果として出力する、システム。

【請求項8】

画像から関心オブジェクトを同定するためのモデルを生成する方法であって、
入力画像を受け付ける入力ステップと、
前記入力画像を受け付けて関心オブジェクトの領域と背景領域とを分離するオブジェクトセグメンテーションステップと、
前記オブジェクトセグメンテーションステップが使用するモデルを学習する学習ステップと、を含み、
前記学習ステップは、
訓練データと前記訓練データに対する既存モデルの出力とを使用して、新しいモデルの訓練を行い、
訓練した前記新しいモデルを前記既存モデルへ追加し、
前記新しいモデルの訓練及び訓練した前記新しいモデルの前記既存モデルへの追加を繰り返す、方法。

【請求項9】

請求項８に記載の方法であって、
前記既存モデルが計算した画素のセグメンテーションスコアと閾値とを比較することで、前記訓練データにおける前記画素が関心オブジェクトに含まれるか否かを判定し、前記関心オブジェクトのラベルを出力する、閾値処理ステップを含み、
前記学習ステップは、前記訓練データと前記閾値処理ステップにて算出した前記関心オブジェクトのラベルとを使用して、前記新しいモデルの学習を行う、方法。

【請求項10】

請求項８に記載の方法であって、
前記学習ステップにおいて、次のモデルの訓練を実行するかを判定する停止点判定ステップを含み、
前記停止点判定ステップは、今回訓練されたモデルの推定の正確性と前回訓練されたモデルの推定の正確性とに基づいて、前記次のモデルの訓練を実行するか判定する、方法。

【請求項11】

画像中の関心オブジェクトの定量的情報を算出する定量分析方法であって、
請求項８に記載の方法を実行するステップと、
前記オブジェクトセグメンテーションステップにより分離された前記関心オブジェクトを既知クラス及び未知グループに分類するオブジェクト分類ステップと、
前記既知クラス及び前記未知グループについての定量的情報を算出する定量演算ステップと、
前記定量演算ステップが算出する前記定量的情報を、ユーザに提示する、表示ステップと、を含み、
前記表示ステップは、前記定量演算ステップが算出する前記定量的情報、及び、前記オブジェクト分類ステップが算出する前記関心オブジェクトの前記既知クラス及び前記未知グループの分類結果の少なくとも一方を、前記入力画像に重畳した結果を表示する、定量分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の関心オブジェクトの同定に関する。

【背景技術】

【0002】

近年、画像又は他のビジュアルメディアにおける未知のオブジェクトの検出のための提案がなされている。例えば、特許文献１は、画像において異なるオブジェクトタイプをｓａｌｉｅｎｃｙスコアと複数の統計モデルに基づいてクラスタリングにすることによって、新たなオブジェクトを発見する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許第９２２４０７１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像におけるオブジェクトの定量分析の主要な要素は、必要な関心オブジェクトを正確に識別することである。画像内のオブジェクトは、既に知られた関心オブジェクトであることもあれば、未知の関心オブジェクトであることもあり、また、関心オブジェクト以外のオブジェクトである場合もある。例えば、画像は多くの部分を占める背景領域と共に、必要なオブジェクトに視覚的に類似する多くの不要なオブジェクトを含み得る。定量分析のために画像内の必要な部分を取得するためには、必要な前景を画像から分離し、詳細な定量分析のために分類することが必要である。しかし、特許文献１は、未知の関心オブジェクトを発見することは可能だが分類することはできない。関心オブジェクトの種類を同定することは詳細な定量分析のために重要である。

【課題を解決するための手段】

【0005】

本発明の一態様は、画像から関心オブジェクトを同定するためのモデルを生成する装置であって、入力画像を受け付ける入力部と、前記入力部から前記入力画像を受け付けて関心オブジェクトの領域と背景領域とを分離するオブジェクトセグメンテーション部と、前記オブジェクトセグメンテーション部が使用するモデルを学習する学習部と、を含む。前記学習部は、訓練データと前記訓練データに対する既存モデルの出力とを使用して、新しいモデルの訓練を行い、訓練した前記新しいモデルを前記既存モデルへ追加し、前記新しいモデルの訓練及び訓練した前記新しいモデルの前記既存モデルへの追加を繰り返す。

【発明の効果】

【0006】

本発明の一態様は、画像から関心オブジェクトを同定するモデルを生成できる。

【図面の簡単な説明】

【0007】

【図1】実施例１に係る、画像における関心オブジェクトのための定量分析装置の機能構成を示すブロック図である。

【図2】実施例１に係る定量分析装置のハードウェア構成の例を示す模式図である。

【図3】オブジェクトセグメンテーション部による処理の例を模式的に示す。

【図4】オブジェクト分類部による処理の例を模式的に示す。

【図5】表示部の処理結果の例を模式的に示す。

【図6】実施例１に係る閾値処理部により実行される方法の例のフローチャート示す。

【図7】閾値処理部による処理の例を示す。

【図8】実施例１に係る、停止点判定部が実行する方法の例を示す。

【図9A】入力部、オブジェクトセグメンテーション部及び学習部の基本的な連携を示す。

【図9B】図９Ａのフローと共に閾値処理部が不要なごみ領域を破棄する処理を示す。

【図9C】図９Ｂのフローと共に、停止点判定部が、反復ステップの適切回数を自動的に判定する処理を示す。

【図10】実施例１に係る、オブジェクト分類部として使用できる技術のフローチャート例を示す。

【図11】定量演算部による定量解析処理例の動作のフローチャートを示す。

【図12】実施例１に係る定量分析装置が、オブジェクトセグメンテーション部、オブジェクト分類部、定量演算部及び表示部の連係動作により定量的情報をユーザに提示する例を、示す。

【図13】実施例２に係る、異常検出システムの機能構成例を模式的に示す。

【図14】実施例２に係る、異常検出システムのハードウェア構成例を模式的に示す。

【図15】実施例３に係る、定量分析システムを含む画像検査システムの構成例を模式的に示す。

【図16】実施例３に係る他のシステム構成例を示す。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態について図面を用いて詳細に説明する。便宜上その必要があるときは、複数のセクションまたは実施例に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0009】

本装置及び本システムは、物理的な計算機システム（一つ以上の物理的な計算機）でもよいし、クラウド基盤のような計算リソース群（複数の計算リソース）上に構築された装置あるいはシステムでもよい。計算機システムあるいは計算リソース群は、１以上のインタフェース装置（例えば通信装置及び入出力装置を含む）、１以上の記憶装置（例えば、メモリ（主記憶）及び補助記憶装置を含む）及び１以上の演算装置を含む。

【0010】

命令コードを含むプログラムが演算装置によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／またはインタフェース装置等を用いながら行われるため、機能は演算装置の少なくとも一部とされてもよい。機能を主語として説明された処理は、演算装置あるいはその演算装置を有するシステムが行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記憶媒体（例えば計算機読み取り可能な非一過性記憶媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0011】

［概略］
まず、本実施形態の概略を説明する。本発明で対象とする画像は、関心オブジェクトによって構成されており、ユーザが画像内の関心オフジェクト、又は、関心オブジェクトに関する画像全体あるいは部分画像の特性の検査を必要としているとする。ただし、画像内の全てのオブジェクトが既知のものであるとは限らない。また、画像は必要とされるオブジェクトのみで構成されていると限らず、関心のないオブジェクトや検査のために不要なオブジェクトを含むことがある。なお、本明細書で言及される未知又は既知のオブジェクトは、任意の形状、色又はテクスチャ属性を持ち得る。本明細書で言及されるオブジェクトは、任意の天然色が欠けていてもよく、裸眼検査によって観察され得なくてもよい。

【0012】

既知のオブジェクトの検出は、人が容易に行うことができる。しかし、関心オブジェクトが多数存在し、オブジェクトの特徴が未知の場合、数千から数百万の画像を短時間で処理するためには、自動処理が必要とされる。従って、この処理を自動化するためには、画像において必要なオブジェクトを検出し、不要なオブジェクト及び画像内の部分を破棄することが必要である。その観点から、以下に説明される本明細書の一実施例は、必要な前景オブジェクトを検出し、関心のない不要なオブジェクトを破棄することを可能とする。

【0013】

学習部は、オブジェクトセグメンテーション部が新しい未知オブジェクトグループについて学習することを助ける。閾値処理部は、学習部が学習データから不要なオブジェクトを破棄することを助ける。停止点判定部は、学習部が新しい未知オブジェクトについて学習するために必要なステップ数（繰り返し回数）を判定する。オブジェクト分類部は、関心オブジェクトを、既知オブジェクトのそれぞれのクラスカテゴリ及び未知オブジェクトのそれぞれのグループに分ける。その後、定量計算部はオブジェクトの正確な定量分析を行い、最後に表示部が、必要な定量的情報をユーザに提示する。

【0014】

入力部は、定量分析装置において、入力画像を受け取る機能部である。入力画像は、オブジェクトセグメンテーション部に送られ、定量分析装置によるさらなる処理の対象となる。関心オブジェクト及び不要オブジェクトを含む画像は、まず、オブジェクトセグメンテーション部に送られる。

【0015】

オブジェクトセグメンテーション部は、予め設定された規則に基づいて、不要オブジェクトから必要なオブジェクトを見分けることができる機能部である。セグメンテーションの規則は、学習部から得られる。学習部は、前景としてのオブジェクトと背景としての他のオブジェクトを分離（セグメンテーション）するように学習する。閾値処理部は、学習部が、背景として検出される不要な関心のないオブジェクトを破棄することを助ける。学習部は、データを複数回繰り返し使用することによって、セグメンテーションを学習する。

【0016】

停止点判定部は、学習部により必要とされる最適なステップ回数を判定する。セグメンテーションにおける規則は、オブジェクトセグメンテーション部においてコード化できる。例えば、オブジェクトセグメンテーション部は、必要な前景のオブジェクトを同定するために任意の構成を有することができる。オブジェクトセグメンテーション部は、例えばニューラルネットワークで構成することができ、ラベルが入手できる場合は画像とラベルのペアを使用して、実際の画像とラベルが入手できない場合はそれ自体が生成したラベルを使用して訓練（学習）されており、前景オブジェクトを正確に検出することができる。または、オブジェクトセグメンテーション部は、同様に前景領域を生成する他の方法を使用することができる。

【実施例0017】

図１は、実施例１に係る、画像における関心オブジェクトのための定量分析装置１の機能構成を示すブロック図である。図１に示すように、定量分析装置１は、入力部１０、オブジェクトセグメンテーション部１１、閾値処理部１３、学習部１２、停止点判定部１４、オブジェクト分類部１５、定量演算部１６、表示部１７、記憶部９０、及び制御部９１を含む。さらに、図１に示す定量分析装置１の各機能部は、種々のハードウェア、ソフトウェア又はそれらの組み合わせにより実現することができ、例えば、パソコンやサーバのような１又は複数の情報処理装置により実現できる。

【0018】

入力部１０は、定量分析装置１の処理対象となる入力画像を、外部から取得する。そのデータは、任意の画像撮像装置（不図示）によって得られ、入力部１０に入力画像として与えられる。さらに、情報通信ネットワーク又は記録媒体（不図示）を介して得られたカメラにより撮影された画像が、入力画像として使用することができる。入力画像は静止画であってもよく、動画におけるフレームが抽出されて入力画像が生成されてもよい。静止画のデータフォーマットは、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧ又はＢＭＰ等を使用できる。一方、動画のデータフォーマットとしては、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２４６、又はＨＤ／ＳＤＩ等を使用できる。

【0019】

オブジェクトセグメンテーション部１１は、画像を、オブジェクトを含む前景領域と背景領域とに分割することによって、必要な前景領域を不要な領域から分離する。

【0020】

閾値処理部１３は、学習部１２が、背景として検出される不要な関心のないオブジェクトを破棄することを助ける。画像は、関心オブジェクトを含むことがあり、画像はさらに、不要オブジェクトを含むことがある。閾値処理部１３は、学習部１２が不要オブジェクトを前景オブジェクトとして学習しないようにする。

【0021】

学習部１２は、オブジェクトセグメンテーション部１１のために、新しいモデルの学習（訓練）を行う。学習部１２は、新しい未知オブジェクトの種類を既知オブジェクトと共に学習し、オブジェクトセグメンテーション部１１が、画像内の関心オブジェクトを他のオブジェクトから分離可能にする。学習部１２は、入力画像を受け取り、画像における未知関心オブジェクトについて反復的に学習する。

【0022】

停止点判定部１４は、学習部１２が画像における未知関心オブジェクトについて学習するために必要とする反復の最適回数を判定する。オブジェクト分類部１５は、オブジェクトセグメンテーション部１１による前景領域に基づいて、元画像の前景領域を、定量分析のため、既知オブジェクト及び未知オブジェクトの各グループに分類する。定量演算部１６は、前景として同定済みのオブジェクトについての必要な定量的情報を演算する。定量的情報は、様々なタイプの情報であり得、例えば、数や比率である（これらに限定されない）。

【0023】

記憶部９０は、入力、出力及び定量分析装置１内の各構成要素の中間結果を格納する。制御部９１は、定量分析装置１の上記各構成要素に接続され、それら構成要素の動作を制御する。他の例において、各構成要素は、制御部９１に制御されることなく、必要に応じて自動的に動作してもよい。
［定量分析装置のハードウェア構成］

【0024】

図２は、実施例１に係る定量分析装置１のハードウェア構成の例を示す模式図である。図２に示すように、定量分析装置１は、一例において、ＣＰＵ２０１、メモリ２０２、記憶装置２０６、出力装置２０３、入力装置２０４、通信装置２０５、及び構成要素を相互に接続するバス２０７を含む。これら構成要素の数は２以上であってもよい。

【0025】

ＣＰＵ２０１は、プロセッサであって、種々のプログラムをメモリ２０２から必要に応じて読み取り、そのプログラムに従って処理を実行する。図１に示す入力部１０、オブジェクトセグメンテーション部１１、閾値処理部１３、学習部１２、停止点判定部１４、オブジェクト分類部１５、定量演算部１６、表示部１７、制御部９１を含む各機能構成要素は、例えば、処理を実行するＣＰＵ２０１により実現され得る。

【0026】

記憶装置２０６は、定量分析装置１で使用される種々のデータを格納し、図１を参照して説明した記憶部９０を実装できる。例えば、記憶装置２０６は、上述のような、入力画像、オブジェクト、学習部による学習の反復毎の学習済みモデル、クラス別の分類画像等を格納する。

【0027】

出力装置２０３は、オブジェクトセグメンテーション画像（オブジェクト分離画像）、分類オブジェクト画像、オブジェクトについての必要な定量的情報等を出力し、表示装置、プリンタ、スピーカ等によって構成される。例えば、出力装置２０３として表示装置が使用される場合、オブジェクトセグメンテーション部１１により生成されたセグメンテーション画像、オブジェクト分類部１５による分類オブジェクト画像、定量演算部１６によるオブジェクトについての必要な定量的情報は、表示装置のスクリーンに表示される。

【0028】

入力装置２０４は、ユーザが指示等を入力するための装置であり、キーボード、マウス、マイク等によって構成される。例えば、定量分析装置１における処理対象となる入力画像は、入力装置２０４を介してユーザによる指示と共に決定される。

【0029】

通信装置２０５は、他の装置と通信するための装置である。例えば、通信装置２０５を使用して、撮像装置から転送された入力画像を受信することができ、また、種々のデータを、ネットワークを介して接続されたサーバと送受信することができる。他の例において、定量分析装置１内に通信装置２０５を実装することに代えて、外部に実装された通信装置２０５が定量分析装置１に接続されてもよい。

【0030】

［各構成要素の構成及び動作］
次に、オブジェクトセグメンテーション部１１、学習部１２、閾値処理部１３、停止点判定部１４、オブジェクト分類部１５、定量演算部１６、及び表示部１７それぞれの動作を、以下において詳細に説明する。

【0031】

図３は、オブジェクトセグメンテーション部１１による処理の例を模式的に示す。図３において、画像Ｃは、入力画像の例であり、画像背景Ｒ１００２、前景オブジェクトＲ１００３及び他の不要オブジェクトＲ１００４を有している。図３において、前景オブジェク及び不要オブジェクトのそれぞれ一つが、符号Ｒ１００３及びＲ１００４で指示されている。

【0032】

画像ＣＡは、オブジェクトセグメンテーション部１１によって、前景領域（オブジェクト）Ｒ２００１と背景領域Ｒ２００２に変換された（セグメンテーション）後の入力画像の例を示す。前景オブジェクトの一つが符号Ｒ２００１で指示されている。オブジェクトセグメンテーション部１１によって得られるセグメンテーション（分離）後の画像ＣＡは、記憶部９０に格納される。

【0033】

図４は、オブジェクト分類部１５による処理の例を模式的に示す。図４において、画像ＣＡは、オブジェクトセグメンテーション部１１によって、背景領域Ｒ２００２と前景オブジェクトＲ２００１に分離された（セグメンテーションされた）画像の例を示す。画像ＣＢは、オブジェクト分類後の入力画像の例を示す。

【0034】

分類された画像において、符号Ｒ４００１、Ｒ４００２、Ｒ４００３は、オブジェクト分類部１５によって分類された異なるクラスのオブジェクトを指示する。図４において、異なるクラスそれぞれの一つのオブジェクトが符号Ｒ４００１、Ｒ４００２、Ｒ４００３で指示されている。オブジェクト分類部１５によって得られる分類後の画像ＣＢは、記憶部９０に格納される。

【0035】

図５は、表示部１７の処理結果の例を模式的に示す。表示部１７は、オブジェクト分類部１５から情報と出力画像を受け取り、所定の画像フォーマットＤＳ１でユーザに対して提示する。例えば、実際のオブジェクト画像ＯＶ１上にクラスを示すパターンを重ね、数や比率のような定量的情報ＱＮ１と共に提示する。

【0036】

［オブジェクトセグメンテーション部１１］
入力部１０により受け取られた入力画像は、関心オブジェクトと共に、不要なオブジェクトや一般的な画像背景を含み得る。オブジェクトセグメンテーション部１１は、入力画像を必要な背景及び前景領域に変換する。オブジェクトセグメンテーション部１１は、入力部１０の出力である画像Ｃを受け取り、処理を実行してセグメンテーション後の画像ＣＡを生成する。例えば、セグメンテーションの一般的な方法は、畳み込みニューラルネットワークを使用して実行できる。

【0037】

オブジェクトセグメンテーション部１１の一例は、畳み込みニューラルネットワークを使用することができ、従来の畳み込み処理又は広く知られた全畳み込み処理（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｏｐｅｒａｔｉｏｎ）を行って、画像ＣＡに示すような、前景領域Ｒ２００１と背景領域Ｒ２００２とを有するセグメンテーション画像を生成する。しかし、任意の技術を使用して、同様のセグメンテーション画像を生成することができる。

【0038】

［学習部１２］
学習部１２は、ユーザが、新しいデータ（訓練データ）についての学習を必要とする場合に起動される。新しいデータは、未知と既知の両方のタイプのオブジェクトを含み得る。

【0039】

学習部１２のタスクは、オブジェクトセグメンテーション部１１のための新しいモデルを、所与のデータにおいて新しい未知関心オブジェクトを発見することによって、生成することである。このタスクを実現するため、学習部１２は、入力部１０から、入力画像を既知クラスのラベルと共に受け取る。

【0040】

学習部１２の一例は、畳み込みニューラルネットワークを使用することができ、その畳み込みニューラルネットワークは、従来の畳み込み処理又は広く知られた全畳み込み処理を行って、画像ＣＡに示すような、前景領域Ｒ２００１と背景領域Ｒ２００２とを有する分離画像を生成する。

【0041】

しかし、従来の畳み込みニューラルネットワーク処理は、全ての未知関心オブジェクト領域を発見する目的には不十分である。一つの可能な解法は、学習部１２が、既知クラス情報を使用して、入力データに対して何度も反復を行い、徐々に全ての未知関心オブジェクトの領域を発見することである。なお、全ての未知関心オブジェクトの領域を発見する任意の方法を使用することができる。

【0042】

学習部１２は、各反復において、未知の関心オブジェクトの候補領域を生成することも行う。候補領域は、学習部１２が所与のデータに対して複数間反復を繰り返すにつれて、徐々に増加する。学習部１２は、既知オブジェクトの情報を使用して、他の未知オブジェクトにおけるパターンの類似性を検出する。

【0043】

各反復において、既知オブジェクトのパターンの量は、より多くの未知の関心オブジェクトが学習され検出されると共に、累積的に増加する。候補領域は、各反復サイクルにおいて累積され、次の反復において新しい学習ラベルとして使用することができる。しかし、全ての新たに生成された候補領域が実際の関心領域であるとは限らず、不要オブジェクトを含む場合もある。これを除去するため、次に説明する閾値処理部１３を使用することができる。

【0044】

［閾値処理部１３］
閾値処理部１３は、学習部１２が起動されるときに合わせて起動されることができ、例えばユーザが、新しいデータについての学習を必要とするときに起動される。新しいデータは、既知及び未知のオブジェクトタイプのオブジェクトを含み得る。新しいデータがオブジェクトセグメンテーション部１１の処理対象となるとき、不要オブジェクトを常に正しく破棄できるとは限らない。そのため、不要オブジェクトが関心オブジェクトとなることで学習部１２における間違った学習が行われないように、閾値処理部１３が使用される。

【0045】

学習部１２が新しい未知関心オブジェクトの領域を正しく検出することを学習するために、学習部１２が、未知関心オブジェクトと不要オブジェクトを画像データにおいて正しく区別することができることが重要である。しかし、学習部１２における反復訓練の間、未知オブジェクトのために利用できる教師（ラベル）は存在しないので、不要オブジェクトが検出される可能性がある。これを防ぐために、閾値処理方法が使用され、学習部１２において不要オブジェクトが破棄される。

【0046】

図６は、実施例１に係る閾値処理部１３により実行される方法の例のフローチャート示す。

【0047】

ステップＴ１
オブジェクトセグメンテーション部１１は、画像における各画素に対してセグメンテーションスコアを算出する。セグメンテーションスコアに基づいて、画素は前景又は背景に分類される。ステップＴ１において、閾値処理部１３は、オブジェクトセグメンテーション部１１の出力を受け取り、既知オブジェクトの画素毎のセグメンテーションスコアを決定する

【0048】

ステップＴ２
閾値処理部１３は、既知オブジェクトの全ての画素のセグメンテーションスコアのヒストグラムを算出する。

【0049】

ステップＴ３
閾値処理部１３は、生成したヒストグラムに基づき、既知オブジェクトの画素として適切なセグメンテーションスコアを決定する。

【0050】

ステップＴ４
不要オブジェクトと関心オブジェクトは、全てではないが、既知クラスのいくつかの特徴を共有するため、不要オブジェクトが、時に、関心オブジェクトとして検出され得る。従って、前景として検出される不要画素のセグメンテーションスコア値は、真の関心オブジェクトの前景画素の上記適切な値よりも小さい値となる。この情報を使用して、学習部１２におけるセグメンテーションモデルの訓練の間に、セグメンテーションスコア値が、真の関心オブジェクトの前景画素の適切な値よりも小さい画素を無視することができる。

【0051】

図７は、閾値処理部１３による処理の例を示す。図７において、画像ＣＡは、オブジェクトセグメンテーション部１１の出力の例を示し、背景領域Ｒ２００２、複数の前景オブジェクトＲ２００１及び他の複数の不要オブジェクトＲ２００３を含む。画像ＣＴは、閾値処理部１３の出力の例を示し、不要オブジェクト（領域）Ｒ２００３が削除されている。画像ＣＴは、学習部１２におけるモデルの訓練のための正確なラベルとして使用することができる。画像ＣＡ及び画像ＣＴの双方が、記憶部９０に格納される。

【0052】

［停止点判定部１４］
停止点判定部１４は、学習部１２が起動されるときに起動され得る。例えばユーザが、装置による新しいデータについての学習を必要とするときに起動される。停止点判定部１４は、学習部１２がデータにおける新しい未知関心オブジェクトを全て適切に学習するために必要とする反復ステップの適切な回数を判定する。

【0053】

学習部１２が新しい未知関心オブジェクト領域を正しく学習するために、学習部１２が、入力部１０から受け取った訓練データを反復学習し、新しい未知関心オブジェクトを蓄積的に学び、発見することが重要である。しかし、停止点を判定することができるように、適切な反復回数を判定することが重要である。適切な停止点を判定するため、停止点判定部１４が使用される。停止点判定部１４は、背景領域の検出正確性及び前景（関心オブジェクト）領域の検出正確性の情報を使用して、学習部１２の停止点を決定することができる。背景又は前景の検出正確性は、例えば、既知背景画素又は既知前景画素を背景又は前景と判定する割合で表すことができる。

【0054】

図８は、実施例１に係る、停止点判定部１４が実行する方法の例を示す。下記ステップにおいて言及される正確性は、一つのモデルが出力する正確性、又は、複数モデルが出力する正確性の移動平均値を用いてもよい。
ステップＳ０

【0055】

停止点判定部１４は、学習部１２からの評価データに対する正確性を算出する。評価データは、前景領域の既知オブジェクト、既知の背景領域及び未知の領域を含むことができる。

【0056】

ステップＳ１
評価データの既知オブジェクトの前景領域についての新しいモデルの推定の正確性ＡＦ_ｔが増加して、ＡＦ_ｔ＞ＡＦ_ｔ－１である場合、停止点判定部１４は、ステップＳ２に進み、そうでなければステップＳ４に進む。

【0057】

ステップＳ２
評価データの既知背景領域ＡＢ_ｔについての新しいモデルの正確性が増加してＡＢ_t＞ＡＢ_t-1である場合、停止点判定部１４は、ステップＳ５に進み、そうでなければステップＳ３に進む。

【0058】

ステップＳ３
評価データの既知背景領域についての新しいモデルの背景領域に対する正確性が減少して、ＡＢ_t＜ＡＢ_ｔ－１である場合、停止点判定部１４は、背景についての正確性が許容レベルＢ_ａ内にあるかチェックする。ＡＢ_t＞Ｂ_ａである場合（許容レベル内である場合）、停止点判定部１４は、ステップＳ５に進み、そうでなければステップＳ４に進む。これにより、前景領域の検出正確性を高めることができると共に、背景検出正確性の所望レベルを得ることができる。許容レベルは、例えば、ユーザにより予め設定される。

【0059】

ステップＳ４
反復を終了する。
ステップＳ５
次の反復を行う。

【0060】

図９Ａから９Ｃは、上記異なる機能部が反復的に未知及び既知のオブジェクトの領域を検出するために連携し行う処理フローの三つの例を示す。定量分析装置１は、これらフローを個別に行うことができ、各フローの実行に不要な機能部を省略することができる。図９Ａは、入力部１０、オブジェクトセグメンテーション部１１及び学習部１２の基本的な連携を示す。図９Ｂは、図９Ａに閾値処理部１３による不要なごみ領域を破棄する処理を追加した例である。

【0061】

図９Ｃは、図９Ｂに、停止点判定部１４による、反復ステップの適切回数を自動的に判定する処理を追加した例である。全てのフローにおいて、目的は、既知オブジェクトの情報のみ開始時のセグメンテーションラベルとして、学習によって新たに生成されたラベルを既存セグメンテーションラベルに追加し、次の反復ステップにおいてモデルの訓練に使用できるようにすることである。

【0062】

図９Ａを参照して、実施例１に係る、新しい未知オブジェクトの学習が必要であるときの、入力部１０、オブジェクトセグメンテーション部１１及び学習部１２の連携動作の例を説明する。これは、本明細書で説明される一つの実施例の基本的構成の一つである。

【0063】

ステップＵＤ１
オブジェクトセグメンテーション部１１が、入力部１０からの新しいデータを受け取り、暫定の前景及び背景のセグメンテーションラベルとして、セグメンテーション結果を出力する。暫定のラベルは過去のモデルの出力に基づいており、次回以降の反復において生成されるモデルが新たに発見する前景関心領域によって変化することができる。
ステップＵＤ２
学習部１２は、新しいセグメンテーションモデルＭを、上記セグメンテーションラベルを使用して訓練する。

【0064】

ステップＵＤ３
オブジェクトセグメンテーション部１１は、学習部１２から新しいモデルＭを受け取り、既存のモデルに追加する。このように、オブジェクトセグメンテーション部１１が保持するモデルは反復と共に累積され、ステップＵＤ１でのセグメンテーションで使用できるモデルを増加させることができる。
ステップＵＤ４
ユーザ要求又は反復ステップの所定の必要総回数に基づいて、さらなる反復が必要である場合、フローはステップＵＤ１に戻る。

【0065】

図９Ｂを参照して、実施例１に係る、新しい未知オブジェクトの学習が必要であるときの、入力部１０、オブジェクトセグメンテーション部１１、学習部１２及び閾値処理部１３の連携動作の例を説明する。この構成は、図９Ａに示す基本構成に対して、さらに閾値処理部１３の処理を含む。

【0066】

ステップＵＤＴ１
オブジェクトセグメンテーション部１１は、新しいデータを入力部１０から受け取り、既存の１以上のモデル（例えば既存の全てのモデル）の出力に基づき、セグメンテーション結果を出力する。

【0067】

ステップＵＤＴ２
閾値処理部１３が、オブジェクトセグメンテーション部１１からの出力を受け取り、閾値処理部１３の予め設定されているポリシに従って、上述のように、セグメンテーションラベルの画素の閾値処理を実行する。閾値処理部１３は、暫定の前景及び背景のセグメンテーションラベルを生成する。暫定のラベルは、オブジェクトセグメンテーション部１１の既存のモデルの出力に基づき、後に続く反復において、次のモデルで新たに発見された前景関心領域に基づき変化することができる。

【0068】

ステップＵＤＴ３
学習部１２は、閾値処理部１３の出力を受け取り、セグメンテーションラベルを使用して新しいセグメンテーションモデルＭを訓練する。

【0069】

ステップＵＤＴ４
オブジェクトセグメンテーション部１１は、既存のモデルに、学習部１２から取得した新しいモデルＭを追加する。このように、オブジェクトセグメンテーション部１１のモデルが蓄積される。ステップＵＤＴ１において、オブジェクトセグメンテーション部１１は、蓄積されたモデルを使用してセグメンテーション結果を出力する。

【0070】

ステップＵＤＴ５
さらなる反復が必要である場合にフローはステップＵＤＴ１に戻り、そうでなければ終了する。

【0071】

図９Ｃは、実施例１に係る、新しい未知オブジェクトの学習が必要であるときの、オブジェクトセグメンテーション部１１、学習部１２、閾値処理部１３及び停止点判定部１４の連携動作の例を説明する。この構成は、図９Ｂに示す基本構成に対して、さらに停止点判定部１４の処理を含む。

【0072】

ステップＵＤＴＳ１
オブジェクトセグメンテーション部１１は、新しいデータを入力部１０から受け取り、既存の１以上のモデル（例えば既存の全てのモデル）の出力に基づき、セグメンテーション結果を出力する。

【0073】

ステップＵＤＴＳ２
閾値処理部１３が、オブジェクトセグメンテーション部１１からの出力を受け取り、閾値処理部１３の予め設定されているポリシに従って、上述のように、セグメンテーションラベルの画素の閾値処理を実行する。閾値処理部１３は、暫定の前景及び背景のセグメンテーションラベルを生成する。暫定のラベルは、オブジェクトセグメンテーション部１１の既存のモデルの出力に基づき、後に続く反復において、次のモデルで新たに発見された前景関心領域に基づき変化することができる。

【0074】

ステップＵＤＴＳ３
学習部１２は、閾値処理部１３の出力を受け取り、既知のセグメンテーションラベルを使用して新しいセグメンテーションモデルＭを訓練する。
ステップＵＤＴＳ４
停止点判定部１４は、新しいモデルＭを評価する。

【0075】

ステップＵＤＴＳ５
停止点判定部１４は、図８を参照して説明したように、次に反復の実行の要否を判定する。停止点判定部１４の出力において、次の反復が必要である場合、フローはステップＵＤＴＳ１に進む。そうではない場合、ステップＵＤＴＳ６に進む。
ステップＵＤＴＳ６
オブジェクトセグメンテーション部１１は、既存のモデルに、学習部１２から取得した新しいモデルＭを追加する。

【0076】

［オブジェクト分類部１５］
オブジェクト分類部１５は分類器（例えば、畳み込み出力値を使用してオブジェクトタイプを分類する畳み込みニューラルネットワーク）を含み、分離済みの前景領域を既知オブジェクトクラスと未知オブジェクトグループに分類する。

【0077】

例えば畳み込みニューラルネットワークを分類器として使用する場合、予め既知オブジェクトクラスを分類するように訓練した分類モデルが算出する特徴量を利用する。分類モデルは特徴量抽出部と識別部から構成されているとする。一例として、分類モデルは複数層の畳み込みニューラルネットワークから構成されており、最終層を識別部、それ以外の層を特徴量抽出部とする。

【0078】

訓練時には、識別部の出力が既知オブジェクトクラスを分類するように、特徴量抽出部と識別部が訓練される。この識別部の出力は既知オブジェクトの種類（クラス）を表しているが、未知オブジェクトグループを分類することはできない。そこで、上記特徴量抽出部の出力を用いてクラスタリングを行うことで既知オブジェクトクラスと未知オブジェクトグループの分類を行う。

【0079】

クラスタリング方法としては、例えば二つのオブジェクトの画像を上記特徴量抽出部に入力して得られる特徴量のベクトルを比較して、コサイン類似度等の類似度が一定以上であれば同一クラスと判定する方法がある。この閾値はユーザによって予め定められていてもよいし、既知オブジェクトクラス同士の類似度を元に装置が自動的に算出してもよい。

【0080】

上記は一例であり、特徴量ベクトルの類似度の指標として、ユークリッド距離やマンハッタン距離等を用いてもよいし、クラスタリング方法として、自己組織化マップ等の教師無し学習や、ＥＭアルゴリズム等を用いてもよい。また、クラスタリングに用いる特徴量として、畳み込みニューラルネットワーク以外の機械学習手法を用いてもよいし、ＨＯＧやＳＩＦＴ等のハンドクラフト特徴量を用いてもよい。また、上記のようにクラスタリングした結果を教師として、分類器向けの機械学習を行った結果を利用してもよい。

【0081】

図１０は、実施例１に係る。オブジェクト分類部１５として使用できる技術のフローチャート例を示す。オブジェクトセグメンテーション部１１は、入力部１０から入力データを受け取り、保持している１以上のモデル、例えば全てのモデルを使用してセグメンテーション処理を行った後の画像ＣＡを、オブジェクト分類部１５に出力する。

【0082】

ステップＣＯＮ１
画像ＣＡの前景領域は、オブジェクト分類部１５の分類器に入力可能な複数のパッチに分割される。パッチサイズは装置のメモリの許容量に依存する。
ステップＣＯＮ２
オブジェクト分類部１５は、ステップＣＯＮ１で生成された複数のパッチから、一つの新しいパッチを選択する。

【0083】

ステップＣＯＮ３
オブジェクト分類部１５は、ステップＣＯＮ２で選択されたパッチを分類器に入力し、分類器は、入力部１０からからの元画像の前景領域を、オブジェクトセグメンテーション部１１からの前景領域に基づいて、既知オブジェクトタイプ又は未知オブジェクトタイプに分類する。未知オブジェクトは、畳み込みニューラルネットワークからの分類器出力値（例えば、畳み込み出力値）に基づいて、各オブジェクトタイプとして分類することができる

【0084】

ステップＣＯＮ４
オブジェクト分類部１５は、全てのパッチが分類されたかチェックを行い、そうであればステップＣＯＮ５に進み、そうでなければステップＣＯＮ２に戻る。
ステップＣＯＮ５
オブジェクト分類部１５は、分類されたパッチを配列して、記憶装置２０６に画像ＣＢとして格納する。

【0085】

［定量演算部１６］
定量演算部１６は、画像ＣＢにおいて、分類された前景オブジェクトＲ２００１の定量的情報を演算する。定量的情報は、例えば実施例２や実施例３に示すように、別のタスクのための特別な情報として使用することも可能である。

【0086】

図１１は、定量演算部１６による定量処理例の動作のフローチャートを示す。本例において、演算される定量的情報は、検出されたオブジェクトをカウントして得られるオブジェクトの総数、及び、入力画像ＣＢにおける関心オブジェクトの比率である。

【0087】

ステップＱ１
定量演算部１６は、オブジェクト分類部１５の出力である画像ＣＢを受け取り、結合された前景領域の一つを選択する。
ステップＱ２
定量演算部１６は、オブジェクト分類部１５の分類結果である画像ＣＢに基づいて、領域のクラスを判定し、その特定の既知クラス又は未知グループのカウンタを１単位インクリメントする。

【0088】

ステップＱ３
定量演算部１６は、画像ＣＢにおける全ての前景領域がカウントされたか判定する。ＹＥＳである場合はステップＱ４に進み、そうでなければステップＱ１に戻る。
ステップＱ４
定量演算部１６は、クラス毎に総カウント数をまとめる。
ステップＱ５
定量演算部１６は、クラスそれぞれの比率を計算する。

【0089】

ステップＱ４及びＱ５における定量的情報は、出力されて記憶装置２０６に格納される。定量的情報は、出力装置２０３内の表示装置を使用して表示することもできる。上記例の定量的情報は、オブジェクトの数及びそれらの比率である。この情報を使用して、様々な方法でサンプルを分析することができる。

【0090】

［表示部１７］
表示部１７は、定量演算部１６の出力をユーザに提示する。定時される情報は、例えば、既知オブジェクトと未知オブジェクトグループの比率を含む。表示部１７の出力は、入力画像に重ねて表示することができ、重ねて表示される情報は、例えば、既知クラス及び未知グループに属するオブジェクトを示す。

【0091】

図１２は、実施例１に係る定量分析装置１が、定量的情報をユーザに提示することが必要なとき、例えば、推定フェーズにおいて、実施例１に係るオブジェクトセグメンテーション部１１、オブジェクト分類部１５、定量演算部１６及び表示部１７の連係動作の例を、示す。

【0092】

ステップＩＮ１
オブジェクトセグメンテーション部１１は、新しいデータを入力部１０から受け取り、既存の１以上のモデル（例えば既存の全てのモデル）の出力に基づき、セグメンテーション結果を出力する。
ステップＩＮ２
オブジェクト分類部１５は、オブジェクトセグメンテーション部１１の出力を受け取り、関心オブジェクトを１以上の既知オブジェクトタイプと１以上の未知オブジェクトグループに分類する。

【0093】

ステップＩＮ３
定量演算部１６は、オブジェクト分類部１５からの出力を受け取り、必要な定量的情報を生成する。
ステップＩＮ４
表示部１７は、定量演算部１６からの定量的情報を受け取り、定量的情報をユーザに表示する。

【0094】

上述のように、本明細書の実施例によれば、入力部１０からの入力画像は、前景関心オブジェクト領域及び背景領域を表す画像に変換される。
さらに、前景領域は、オブジェクト分類部１５を使用して分類され、各既知オブジェクトの正確なクラスカテゴリ及び１以上の未知オブジェクトグループを高精度に判定できる。

【0095】

分類された画像からの定量的情報は、例えば、オブジェクト数及びオブジェクト比率等であり、定量演算部１６から得られる。さらに、定量的情報及び定性的情報の結果は、表示部１７によって、入力画像と共にユーザに提示することができる。ユーザは、提示された情報を使用して、検出されたオブジェクトの特性とそれらの共起パターンを研究することができ、これらの結果から検出されたオブジェクトについての現象を判定することができる。

【0096】

本明細書の上記実施例１のまとめを以下に記載する。定量分析装置１は、入力部１０及びオブジェクトセグメンテーション部１１を含む。入力部１０は、例えば撮像装置から画像を受け取り、それをオブジェクトセグメンテーション部１１に出力する。オブジェクトセグメンテーション部１１は、入力画像から、効率的かつ正確に、必要な背景領域及び関心オブジェクトを含む前景領域を表すことができる。

【0097】

定量分析装置１は、さらに、学習部１２を含み、データから新しい未知オブジェクトグループを学習するために使用できる。学習部１２からの出力は、新しいセグメンテーションモデルであり、オブジェクトセグメンテーション部１１で使用することができる。学習部１２は、累積的にデータを反復使用して、未知オブジェクト領域を検出できるようになる。学習部１２からのモデルを使用して、オブジェクトセグメンテーション部１１は、新たな未知オブジェクトを検出できる。

【0098】

定量分析装置１は、さらに、閾値処理部１３を含む。閾値処理部１３は、学習部１２が不要オブジェクトを関心領域のオブジェクトとして検出することを防ぐことができる。閾値処理部１３を使用することで、学習部１２が高精度のモデルを生成することを助けることができ、オブジェクトセグメンテーション部１１が、そのモデルによって、既知オブジェクト及び未知オブジェクトグループと背景領域とを高精度に分離（セグメンテーション）することができる。

【0099】

定量分析装置１は、さらに、停止点判定部１４を含み、学習部１２における最適な反復回数を判定できる。学習部１２は、新しい未知オブジェクトを反復的な方法で学習する。したがって、学習部１２の最適動作のため、最適反復回数を判定することが重要となる。停止点判定部１４は学習部１２のデータを使用し、所定の品質ポリシに基づいて学習部１２における反復の停止点を判定する。

【0100】

定量分析装置１は、さらに、オブジェクト分類部１５を含み、効率的かつ正確にオブジェクトを既知クラスカテゴリ及び未知オブジェクトグループに分類することができる。一例として、一般的な畳み込みニューラルネットワークを、このタスクに最適化することができる。畳み込みニューラルネットワークは、画像特徴量把捉モデルであり、手動で訓練される必要がなく、画像から特徴量を自動的に学習することができ、所定の分類スコアに基づいて未知オブジェクトをグループ化できる。

【0101】

定量分析装置１は、さらに、定量演算部１６を含み、効率的かつ正確に、前景オブジェクトについての定量的情報を演算することができる。一例として、上述のように、オブジェクトのクラス毎の数を演算し、さらに、オブジェクト比率を演算する。

【0102】

定量分析装置１は、さらに、表示部１７を含み、定量演算部１６の出力をユーザに提示することができる。提示される情報は、例えば、既知オブジェクト及び未知オブジェクトグループの比率を含むことができる。表示部１７の出力は、入力画像に重ねることができ、その情報は、例えば、既知クラス及び未知グループに属するオブジェクトを示すことができる。

【0103】

本実施例の構成によれば、既知及び未知の関心オブジェクトを、画像内において正確に同定することができ、それらオブジェクトについての定量的な情報を正確に決定できる。なお、例えば、入力部１０、オブジェクトセグメンテーション部１１、学習部１２、閾値処理部１３及び停止点判定部１４は、定量解析装置と異なる装置やシステムに実装することができ、装置やシステムの設計に応じて、閾値処理部１３や停止点判定部１４等を省略してもよい。

【実施例0104】

所与の画像において異常オブジェクトを検出し、ユーザに対してその異常オブジェクトを明示することが必要なことがある。この状況は、例えば、画像内のほとんどのオブジェクトが既知のオブジェクトであると推定される場合に起こり得る。そのため、以下において、実施例２に係る、異常検出システムを説明する。

【0105】

異常検出システムＡ１は、オブジェクト分類部１５により分類された未知グループの関心オブジェクトを異常オブジェクトと判定する。異常検出システムＡ１は、表示部１７を介して、入力画像に対して強調表示を重ねることで、検出された異常オブジェクトの情報をユーザに提示することができる。

【0106】

図１３は、実施例２に係る、異常検出システムＡ１の機能構成例を模式的に示す。異常検出システムＡ１は、図１に示すような定量分析装置１の構成要素から、定量演算部１６を除いた構成を有している。また、異常検出システムＡ１において表示部１７は、検出された異常オブジェクトについての情報を、ユーザに対して、強調表示領域を入力画像に重ねることで提示することができる。

【0107】

図１４は、実施例２に係る、異常検出システムＡ１のハードウェア構成例を模式的に示す。図１４に示すように、異常検出システムＡ１は、定量分析装置１と同様のハードウェア構成を有することができる。実施例２において、ＣＰＵ２０１は定量演算部１６として機能することはない。