特開 2024-25442 オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025442

(43)【公開日】2024-02-26

(54)【発明の名称】オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240216BHJP

   G06T 7/60 20170101ALI20240216BHJP

【ＦＩ】

G06T7/00 300F

G06T7/60 150S

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022128897

(22)【出願日】2022-08-12

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】柿下 容弓

(72)【発明者】

【氏名】服部 英春

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096EA28

5L096FA13

5L096JA11

(57)【要約】

【課題】画像内に様々な大きさ、長さ、形状等を有するオブジェクトが混在する場合でも、精度よくオブジェクトの種類または状態を分類する。
【解決手段】オブジェクト分類装置は、オブジェクトの領域的な情報を表す領域単位情報を生成し、領域単位情報から抽出した領域単位特徴量と、入力画像の部分領域から抽出した部分領域単位特徴量とに基づいてオブジェクトの種類又は状態を判別してオブジェクトを分類し、オブジェクトの分類結果をユーザに提示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像内のオブジェクトを分類するオブジェクト分類装置であって、
演算装置と、
前記演算装置が実行するプログラムを格納する記憶装置と、を含み、
前記演算装置は、
画像内の一つのオブジェクト全体のオブジェクト領域を決定し、
前記オブジェクト領域に基づいて、オブジェクト領域単位の情報を生成し、
前記オブジェクト領域単位の情報から、オブジェクト領域単位特徴量を抽出し、
前記オブジェクト領域内の１以上の部分領域それぞれから、部分領域単位特徴量を抽出し、
前記オブジェクト領域単位特徴量と前記部分領域単位特徴量とに基づいて、前記オブジェクトを分類する、オブジェクト分類装置。

【請求項2】

請求項１に記載のオブジェクト分類装置であって、
前記オブジェクト領域単位の情報は、前記オブジェクト領域の特徴を表す固定サイズの一次元又は二次元の信号である、オブジェクト分類装置。

【請求項3】

請求項２に記載のオブジェクト分類装置であって、
前記演算装置は、前記オブジェクト領域内の一点を定め、前記一点を原点とした極座標形式で前記オブジェクト領域単位の情報を生成する、オブジェクト分類装置。

【請求項4】

請求項１に記載のオブジェクト分類装置であって、
前記演算装置は、前記オブジェクト領域と前記画像の画素の情報に基づいて、前記オブジェクト領域単位の情報を生成する、オブジェクト分類装置。

【請求項5】

請求項３に記載のオブジェクト分類装置であって、
前記演算装置は、前記オブジェクト領域の形状に基づいて、前記極座標形式で前記オブジェクト領域単位の情報を生成する際の偏角の始点を決定する、オブジェクト分類装置。

【請求項6】

請求項１に記載のオブジェクト分類装置であって、
前記演算装置は、前記オブジェクト領域単位特徴量及び／または前記部分領域単位特徴量と前記オブジェクトの分類結果とを解析して、前記分類結果に対する前記オブジェクト領域単位の情報及び／または前記部分領域単位特徴量の評価値を決定し、前記評価値をユーザに提示する、オブジェクト分類装置。

【請求項7】

請求項１に記載のオブジェクト分類装置であって、
前記演算装置は、
前記オブジェクト領域単位特徴量と複数の部分領域の前記部分領域単位特徴量とに基づいて、部分領域単位の分類結果を決定し、
前記部分領域単位の分類結果に基づいて前記オブジェクトの分類を行う、オブジェクト分類装置。

【請求項8】

請求項１から７のいずれかに記載のオブジェクト分類装置と、
前記オブジェクト分類装置に入力する１枚以上の画像を撮像する撮像装置と、
前記１枚以上の画像に対する前記オブジェクト分類装置の分類結果から、前記１枚以上の画像に含まれるオブジェクトの種類毎の定量値を算出する定量演算装置と、
前記定量値に基づき前記１枚以上の画像を分類する、オブジェクト分類システム。

【請求項9】

画像内のオブジェクトを分類するオブジェクト分類方法であって、
装置が、画像内の一つのオブジェクト全体のオブジェクト領域を決定し、
前記装置が、前記オブジェクト領域に基づいて、オブジェクト領域単位の情報を生成し、
前記装置が、前記オブジェクト領域単位の情報から、オブジェクト領域単位特徴量を抽出し、
前記装置が、前記オブジェクト領域内の１以上の部分領域それぞれから、部分領域単位特徴量を抽出し、
前記装置が、前記オブジェクト領域単位特徴量と前記部分領域単位特徴量とに基づいて、前記オブジェクトを分類する、オブジェクト分類方法。

【請求項10】

請求項９に記載のオブジェクト分類方法であって、
前記オブジェクト領域単位の情報は、前記オブジェクト領域の特徴を表す固定サイズの一次元又は二次元の信号である、オブジェクト分類方法。

【請求項11】

請求項１０に記載のオブジェクト分類方法であって、
前記装置が、前記オブジェクト領域内の一点を定め、前記一点を原点とした極座標形式で前記オブジェクト領域単位の情報を生成する、オブジェクト分類方法。

【請求項12】

請求項９に記載のオブジェクト分類方法であって、
前記装置が、前記オブジェクト領域と前記画像の画素の情報に基づいて、前記オブジェクト領域単位の情報を生成する、オブジェクト分類方法。

【請求項13】

請求項１１に記載のオブジェクト分類方法であって、
前記装置が、前記オブジェクト領域の形状に基づいて、前記極座標形式で前記オブジェクト領域単位の情報を生成する際の偏角の始点を決定する、オブジェクト分類方法。

【請求項14】

請求項９に記載のオブジェクト分類方法であって、
前記装置が、前記オブジェクト領域単位特徴量及び／または前記部分領域単位特徴量と前記オブジェクトの分類結果とを解析して、前記分類結果に対する前記オブジェクト領域単位の情報及び／または前記部分領域単位特徴量の評価値を決定し、前記評価値をユーザに提示する、オブジェクト分類方法。

【請求項15】

請求項９に記載のオブジェクト分類方法であって、
前記装置が、前記オブジェクト領域単位特徴量と複数の部分領域の前記部分領域単位特徴量とに基づいて、部分領域単位の分類結果を決定し、
前記装置が、前記部分領域単位の分類結果に基づいて前記オブジェクトの分類を行う、オブジェクト分類方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内のオブジェクトを分類する技術に関する。

【背景技術】

【0002】

細胞や材料等の検査を行う場合、光学顕微鏡、電子顕微鏡、ＣＣＤカメラ、ＣＭＯＳカメラ等で撮像した検査用画像が用いられる場合がある。しかし、肉眼による検査用画像の観察は、非常に時間がかかり、かつ、専門的な知識を必要とする場合が多い。そこで、検査用画像を用いた細胞や材料の検査を支援するために、例えば画像内のオブジェクトを自動的に分類する技術が開発されている。

【0003】

例えば特許文献１には固定サイズの低倍率画像を用いて大局的な分類を行った後で、高倍率画像を用いて局所的な分類を行う手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－２０３９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、検査対象によっては、画像内に含まれるオブジェクトの大きさや長さ等が極端に異なる場合があり、固定サイズの低倍率画像を用いた手法では、全てのオブジェクトに対して領域的な情報を正確に抽出できない場合がある。例えば小さなオブジェクトに合わせて低倍率画像のサイズを決定した場合、大きなオブジェクトの全体像がパッチの中に入らないため、大きなオブジェクトの領域的な情報を正確に抽出することが難しい。また、大きなオブジェクトに合わせて低倍率画像のサイズを決定した場合、小さなオブジェクトの周辺に存在する他オブジェクトやゴミなどが多く含まれる恐れがあり、分類対象オブジェクトの正確な領域情報抽出に影響する可能性がある。

【0006】

本発明の目的は、画像内に様々な大きさ、長さ、形状等を有するオブジェクトが混在する場合でも、精度よくオブジェクトを分類することである。

【課題を解決するための手段】

【0007】

本発明の一態様のオブジェクト分類装置は、演算装置と、前記演算装置が実行するプログラムを格納する記憶装置と、を含み、前記演算装置は、画像内の一つのオブジェクト全体のオブジェクト領域を決定し、前記オブジェクト領域に基づいて、オブジェクト領域単位の情報を生成し、前記オブジェクト領域単位の情報から、オブジェクト領域単位特徴量を抽出し、前記画像の前記オブジェクト領域内の１以上の部分領域それぞれから、部分領域単位特徴量を抽出し、前記オブジェクト領域単位特徴量と前記部分領域単位特徴量とに基づいて、前記オブジェクトを分類する。

【発明の効果】

【0008】

本発明の一態様によれば、画像内に様々な大きさ、長さ、形状等を有するオブジェクトが混在する場合でも、精度よくオブジェクトを分類することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施例１に係るオブジェクト分類システムのハードウェア構成の一例を示す図である。

【図2】実施例１に係るオブジェクト分類装置の機能ブロック図の一例を示す図である。

【図3A】領域単位情報の算出方法の一例を示す図である。

【図3B】領域単位情報の算出方法の一例を示す図である。

【図4】領域単位情報の一例を示す図である。

【図5A】部分領域単位特徴量の抽出方法の一例を示す図である。

【図5B】部分領域単位特徴量の抽出方法の一例を示す図である。

【図6】オブジェクト分類方法の一例を示す図である。

【図7】分類部における多数決算出結果の一例を示す図である。

【図8A】分類結果の提示方法の一例を示す図である。

【図8B】分類結果の提示方法の一例を示す図である。

【図8C】分類結果の提示方法の一例を示す図である。

【図9A】分類結果に対する各特徴量の貢献度を表示するＧＵＩの一例を示す図である。

【図9B】分類結果に対する各特徴量の貢献度を表示するＧＵＩの一例を示す図である。

【図9C】分類結果に対する各特徴量の貢献度を表示するＧＵＩの一例を示す図である。

【図9D】分類結果に対する各特徴量の貢献度を表示するＧＵＩの一例を示す図である。

【図10】実施例１に係るオブジェクト分類方法の処理フローの一例を示す図である。

【図11】実施例２に係るオブジェクト分類システムのハードウェア構成の一例を示す図である。

【図12】実施例２に係る画像群の評価規則の一例を示す図である。

【図13】領域単位情報の一例を示す図である。

【図14】領域単位情報の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面に従って本発明に係るオブジェクト分類装置、方法、及びシステムの実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【実施例0011】

図１を用いて実施例１に係る画像内のオブジェクト分類システムの一例について説明する。オブジェクト分類システム１００は、オブジェクト分類装置１０１と、撮像装置１２０と、表示装置１２１と、を含む。オブジェクト分類装置１０１は、インターフェース１１０と、演算装置１１１と、メモリ１１２と、バス１１３とを含む。インターフェース１１０、演算装置１１１、メモリ１１２はバス１１３を介して情報の送受信を行う。オブジェクト分類装置１０１は、インターフェース１１０を介して撮像装置１２０及び表示装置１２１に接続する。

【0012】

オブジェクト分類装置１０１の各部について説明する。インターフェース１１０は、オブジェクト分類装置１０１の外部にある装置と信号の送受信を行う通信装置である。インターフェース１１０と通信を行う装置の例としては、撮像装置１２０及び表示装置１２１がある。撮像装置１２０及び表示装置１２１の詳細は後述する。

【0013】

演算装置１１１は、オブジェクト分類装置１０１内での各種の処理を実行する装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等である。演算装置１１１によって実行される機能については、図２を用いて後述する。

【0014】

メモリ１１２は、演算装置１１１が実行するプログラムや、パラメタ、係数、処理結果等を保存する装置であり、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等である。

【0015】

オブジェクト分類装置１０１は、物理的な計算機システム（一つ以上の物理的な計算機）でもよいし、クラウド基盤のような計算リソース群（複数の計算リソース）上に構築されたシステムでもよい。計算機システムあるいは計算リソース群は、１以上のインターフェース装置（例えば通信装置及び入出力装置を含む）、１以上の記憶装置（例えば、メモリ（主記憶）及び補助記憶装置を含む）及び１以上の演算装置を含むことができる。

【0016】

命令コードを含むプログラムが演算装置によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／またはインターフェース装置等を用いながら行われるため、機能は演算装置の少なくとも一部とされてもよい。機能を主語として説明された処理は、演算装置あるいはその演算装置を有するシステムが行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。

【0017】

プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記憶媒体（例えば計算機読み取り可能な非一過性記憶媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0018】

撮像装置１２０はオブジェクトの画像を撮像する装置であり、例えばカメラや顕微鏡等である。撮像装置１２０は撮像した画像をオブジェクト分類装置１０１に送信する。尚、撮像装置１２０は、ネットワーク等を介して画像を受け付ける通信装置や、記録媒体に記録された画像を読み取ることで画像を受け付ける記録装置などで代替してもよい。

【0019】

表示装置１２１はオブジェクト分類装置１０１が出力するオブジェクト分類情報を表示するための装置であり、例えばディスプレイやプリンタ等である。

【0020】

以降、オブジェクト分類装置１０１について詳しく説明する。

【0021】

図２はオブジェクト分類装置１０１の実施例１に係る機能ブロック図の一例である。なおこれらの機能は、専用のハードウェアで構成されてもよいし、ソフトウェアに従って動作する演算装置１１１であってもよい。

【0022】

オブジェクト分類装置１０１は、画像入力部２０１と、オブジェクト領域算出部２０２と、領域単位情報算出部２０３と、領域単位特徴量抽出部２０４と、部分領域単位特徴量抽出部２０５と、オブジェクト分類部２０６と、出力部２０７と、を含む。以下、各部について説明する。

【0023】

画像入力部２０１はインターフェース１１０より入力された分類対象となるオブジェクト含む画像を受け付ける。入力画像はメモリ１１２を介してオブジェクト領域算出部２０２、部分領域単位特徴量抽出部２０５、出力部２０７に入力される。

【0024】

オブジェクト領域算出部２０２について説明する。オブジェクト領域算出部２０２は、画像入力部２０１が受け付けた入力画像を用いて、分類対象となるオブジェクト領域を抽出する。オブジェクト領域の抽出方法の一例として、領域分割器を用いた場合を説明する。

【0025】

領域分割とは、ピクセル単位で画像を意味的な集合に分割する手法であり、例えば分類対象のオブジェクトが存在するピクセルを前景、それ以外のピクセルを背景として二値分類し、前景として分類された領域の結合領域を検出することでオブジェクト毎に領域を検出する。

【0026】

領域分割の手法としては、Ｕ－ＮｅｔやＳｅｇＮｅｔ等を用いた方法がある。また、検査用画像内にオブジェクトが密集して存在する場合があるため、通常の領域分割ではなく、オブジェクト毎に領域分割結果を算出するインスタンスセグメンテーション等を用いてもよい。

【0027】

領域単位情報算出部２０３について説明する。領域単位情報算出部２０３は、オブジェクト領域算出部２０２が出力するオブジェクト領域情報に基づいて、各オブジェクトの大きさ、長さ、変形具合、輝度、色等の領域的な情報を固定サイズの一次元又は二次元の情報として表現して出力する。

【0028】

領域単位情報の一例を、図３Ａ及び図３Ｂを用いて説明する。図３Ａ及び図３Ｂに示す領域単位情報の算出例は、オブジェクト領域内の一点から、領域の各輪郭点までの距離を極座標形式でプロットすることで、領域の形状を固定サイズの波形情報（二次元情報）として表現する例である。

【0029】

図３Ａは領域分割結果３０１を示し、図３Ｂは、領域単位情報３０２を示す。領域分割結果３０１は、オブジェクト領域算出部２０２が出力するオブジェクト領域情報に含まれる。オブジェクト領域３０３は、領域分割結果３０１内のオブジェクト領域である。点３０４は、オブジェクト領域３０３内の点である。

【0030】

領域単位情報３０２は、オブジェクト領域３０３に基づいて算出される領域単位情報である。点３０５はオブジェクト領域３０３の輪郭上の一点である。偏角３０６は点３０４から鉛直方向（図における下方向）を０度とした場合の点３０５に対する偏角である。距離３０７は点３０４を原点とした場合の点３０５までの画像上の距離である。図３Ｂにおいて、横軸は偏角３０６を示し、縦軸は距離３０７を示す。偏角３０６は時計回りに増加する。縦軸は、図の下方向に増加する距離３０７を示す。

【0031】

領域単位情報算出部２０３は、まず、入力された領域分割結果３０１内に含まれるオブジェクト領域３０３から点３０４を算出する。点３０４の算出方法は例えばオブジェクト領域３０３の重心又は内心を使用すればよい。これらにより、より高精度な分類を可能とする領域単位情報を得ることができる。これらと異なるオブジェクト領域内の点を使用してもよい。次に、領域単位情報算出部２０３は、点３０４から鉛直方向に領域分割結果３０１内の画素をスキャンし、点３０４からオブジェクト領域３０３の輪郭までの距離を計測する。領域単位情報算出部２０３は、計測した距離を領域単位情報３０２内にプロットする。

【0032】

領域単位情報３０２の横軸は点３０４から鉛直方向を０度とした場合の偏角、縦軸は点３０４から輪郭までの距離を表す。例えば、点３０４から偏角３０６の方向に存在する輪郭線上の点３０５について、点３０４から点３０５までの距離が距離３０７であった場合、領域単位情報３０２内の偏角３０６と距離３０７に対応した点にプロットされる。これによりオブジェクト領域３０３の形状は、領域単位情報３０２のように固定サイズの波形情報として表現される。

【0033】

図４に様々な形状のオブジェクトに対する上記領域単位情報の抽出例を示す。オブジェクト４０１、オブジェクト４０２、オブジェクト４０３、オブジェクト４０４は、それぞれ形状の異なるオブジェクトの例である。領域単位情報４１１、領域単位情報４１２、領域単位情報４１３、領域単位情報４１４は、オブジェクト４０１、オブジェクト４０２、オブジェクト４０３、オブジェクト４０４それぞれから抽出した領域単位情報の例である。尚、図４においてはオブジェクト領域内の基準点として重心を使用しているとする。領域単位情報の表現方法は、図３Ｂを参照した領域単位情報３０２と同様である。

【0034】

オブジェクト４０１は円形状をしたオブジェクトであり、オブジェクト領域内の点から輪郭までの距離はどの方向に対しても同一であるため、領域単位情報４１１は直線として表現される。オブジェクト４０２も円形状であるが、オブジェクト４０１よりもサイズが大きい。よって領域単位情報４１２は領域単位情報４１１と同様に直線的であるが、領域単位情報４１１よりも低い位置にプロットされている。

【0035】

オブジェクト４０３は細長い形状をしているため、領域単位情報４１３は周期的な波として表現される。オブジェクト４０４は輪郭がなめらかでなく歪である。これに対応する領域単位情報４１４も歪さが反映される。このようにここで説明した領域単位情報は、様々な大きさ、長さ、形状のオブジェクトの形状を固定サイズの波形情報として表現可能な情報となっている。

【0036】

もし、これらのオブジェクトの領域情報を固定サイズの低倍率画像で表現しようとした場合、画像サイズを小さいオブジェクトに合わせれば形状全体を画像に含めることができないオブジェクトが発生してしまい、画像サイズを大きいオブジェクトに合わせれば、小さいオブジェクトに対しては分類対象のオブジェクトとは無関係の領域を多く含んでしまう。対象のオブジェクトが、他種類のオブジェクトが密集した領域内や、ゴミ等の非分類対象オブジェクトの周辺に存在している場合、周囲のオブジェクトやゴミの影響を受けて正しく形状情報を抽出できない可能性がある。

【0037】

これに対して、本明細書の実施例に記載の領域単位情報を用いれば、様々な大きさ、長さ、形状のオブジェクトが混在している場合でも、他のオブジェクトの影響を抑制しつつ、対象オブジェクトの形状を固定サイズの情報として表現可能となる。その結果、後述の領域単位特徴量抽出部２０４、部分領域単位特徴量抽出部２０５、オブジェクト分類部２０６との連携により、高い分類精度でオブジェクトの分類が可能となる。

【0038】

尚、ここではオブジェクト領域算出部２０２が出力するオブジェクト領域情報だけを用いた領域単位情報について説明した。他の例は、画像入力部２０１より入力画像を受け付けて、入力画像とオブジェクト領域情報の両方を用いて領域単位情報を抽出してもよい。

【0039】

例えば図３Ａ及び３Ｂを参照して説明した例において、領域単位情報算出部２０３は、点３０４から輪郭線上の点３０５を結ぶ線上の入力画像の輝度の平均値や分散値等の定量値を算出し、偏角に対してプロットすることで領域単位情報を抽出してもよい。また、領域単位情報は、一次元情報であってもよく、例えば、オブジェクト領域の面積や、円形度、輝度や色味の統計値等の指標を用いてもよい。尚、領域単位情報算出部２０３は、複数種類の領域単位情報を出力してもよい。

【0040】

上記では領域単位情報の例としてオブジェクト内の一点から領域の各輪郭点までの距離等の情報を極座標形式で抽出する方法を説明したが、領域単位情報の生成方法はこれに限らず、領域的な情報を抽出し、固定サイズの一次元または二次元の情報として表現する手法であれば良い。

【0041】

一例として周波数変換を用いて領域単位情報を得る例を、図１３を用いて説明する。画像１３０１は入力画像であり、オブジェクト１３０２を含む。周波数変換前画像１３０３はオブジェクト１３０２の領域のみを画像の中心に配置した周波数変換用の画像であり、周波数変換後画像１３０４は周波数変換前画像１３０３を周波数変換した画像である。領域単位情報１３０５は周波数変換後画像１３０４の一部を抽出した画像である。

【0042】

まず、領域単位情報算出部２０３は、画像１３０１よりオブジェクト領域算出部２０２が出力するオブジェクト領域情報に基づいてオブジェクト領域１３０２を抽出する。抽出したオブジェクト領域１３０２を周波数変換前画像１３０３の中心に配置する。この時周波数変換前画像１３０３のオブジェクト領域１３０２以外の領域の輝度値は固定値（例えば０）とする。オブジェクト領域１３０２は画像１３０１からオブジェクト領域を抜き出した画像でもよいし、オブジェクト領域算出部２０２が出力するオブジェクト領域情報（オブジェクト領域とそれ以外の領域を二値で表した画像）でもよい。

【0043】

領域単位情報算出部２０３は、周波数変換前画像１３０３のサイズを、入力画像に含まれるオブジェクトの最大サイズに設定する。その後、フーリエ変換などの周波数変換により周波数変換後画像１３０４を生成する。周波数変換後画像１３０４は、中心から離れるほど高い周波数成分を示し、より大きい成分をより高い輝度で表す。

【0044】

オブジェクト領域の全体的な形状情報は低周波数成分が重要となるため、領域単位情報算出部２０３は、周波数変換後画像１３０４の低周波成分を表す領域を抽出して領域単位情報１３０５とする。図１３の例では、周波数変換後画像１３０４の中央に低周波成分が表れているため、中央の部分画像を予め定めた固定サイズで抽出する。

【0045】

尚、周波数変換前画像も固定サイズの二次元の情報ではあるが、例えば細長いオブジェクトの場合にはほとんどの領域が上記固定値であり、メモリの使用効率が悪い。周波数変換後画像の低周波成分を用いることで、オブジェクトの形状を効率よく、固定サイズの二次元情報として表現できる。

【0046】

尚、周波数変換前画像１３０３の中心にオブジェクト１３０２を配置する際に、例えばオブジェクトの長軸が垂直になるように回転させるなどの正規化処理を行ってもよい。また、図１３の例では、周波数変換後画像１３０４の中央に低周波成分が表れているため、中央の部分画像を予め定めた固定サイズで抽出する方法を説明したが、他の周波数変換方法を用いてもよく、変換方法に応じて、必要な周波数成分に関する情報のみを抽出すればよい。例えば、入力画像から周波数成分の異なる周波数変換結果を複数抽出するような周波数変換方法の場合、必要な周波数成分に関する周波数変換結果のみを抽出し、領域単位情報とすればよい。

【0047】

また、別の領域単位情報の例として、オブジェクトの輪郭上の各点における接線の角度をプロットし、領域単位情報とする例を、図１４を用いて説明する。領域分割結果１４０１は、オブジェクト領域算出部２０２が出力するオブジェクト領域情報である。オブジェクト領域１４０２は、領域分割結果１４０１内のオブジェクト領域である。オブジェクト輪郭画像１４０３は、領域分割結果１４０１に対してオブジェクトの輪郭のみを抽出する画像処理を適用した結果である。

【0048】

オブジェクト輪郭線１４０４は、オブジェクト領域１４０２の輪郭である。輪郭上の点１４０５は、オブジェクト輪郭線１４０４上の一点である。輪郭上の点１４０９は、輪郭上の点１４０５に隣接する輪郭線１４０４上の一点である。接線１４０６は輪郭上の点１４０５におけるオブジェクト輪郭線１４０４の接線である。角度１４０７は接線１４０６と水平線の成す角度である。領域単位情報１４０８は各輪郭上の点１４０５における角度１４０７をプロットした結果である。

【0049】

まず、領域単位情報算出部２０３は、オブジェクト領域算出部２０２が出力する領域分割結果１４０１に対してソベルフィルタ等のエッジ抽出処理を適用することでオブジェクト輪郭画像１４０３及びオブジェクト輪郭線１４０４を得る。次にオブジェクト輪郭線１４０４上に輪郭上の点１４０５を配置する。輪郭上の点１４０５の個数Ｅは予め定めた固定値とする。例えばオブジェクト輪郭線１４０４の全長をＥで除算した値に基づいて、等間隔に輪郭上の点１４０５を複数配置する。

【0050】

そして、領域単位情報算出部２０３は、各輪郭上の点１４０５に対して接線１４０６を算出し、角度１４０７を求める。ここでは角度１４０７は水平線を０度として－９０度から９０度の範囲であるとする。各角度１４０７をグラフ状にプロットすることで領域単位情報１４０８を得る。領域単位情報１４０８における横軸が各輪郭上の点１４０５の位置、縦軸が角度１４０７に対応している。横軸の値域は１からＥであり、オブジェクトサイズに寄らず、領域単位情報１４０８のサイズは固定となる。

【0051】

上記の手法により、オブジェクトの輪郭線の形状情報を固定サイズのグラフ（二次元情報）として表現することが可能となる。極座標形式との違いとしては、中心点を定める必要が無い点と、オブジェクトの大きさの情報が含まれない点がある。また、図１４では理解を助けるために領域単位情報１４０８を二次元情報として記載したが、角度１４０７を信号の強度（画像であれば輝度）とすることで一次元情報として表現することも可能である。また、ここでは水平方向を角度の基準とする例を説明したが、ある輪郭上の点１４０５に隣接する輪郭上の点１４０９における接線を角度の基準としてもよい。

【0052】

このように領域単位情報算出部２０３はオブジェクト全体の領域的な情報を固定サイズの一次元または二次元の情報として表現した領域単位情報を算出及び出力する。

【0053】

領域単位特徴量抽出部２０４について説明する。領域単位特徴量抽出部２０４では、前述の領域単位情報算出部２０３が出力する領域単位情報から、分類対象オブジェクト全体の領域的な特徴量を抽出する。特徴量抽出方法としてはＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）やパーセプトロン等の機械学習手法を用いてもよいし、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）等の手動設計した特徴量抽出手法を用いてもよい。

【0054】

また、領域単位情報算出部２０３が出力する領域単位情報が複数ある場合は、複数の領域単位情報から統合的に特徴量を抽出してもよいし、各領域単位情報から個別に特徴量を抽出してもよい。

【0055】

部分領域単位特徴量抽出部２０５について説明する。部分領域単位特徴量抽出部２０５では、前述のオブジェクト領域算出部２０２が出力するオブジェクト領域情報に基づいて、画像入力部２０１が出力する入力画像の部分領域からテクスチャや輝度、色味等に関する特徴量を抽出する。特徴量抽出方法としてはＣＮＮやパーセプトロン等の機械学習手法を用いてもよいし、ＨＯＧ等の手動設計した特徴量、あるいは部分領域内の輝度や分散等の定量値を特徴量として用いてもよい。

【0056】

図５Ａ及び図５Ｂを用いて部分領域単位特徴量抽出の一例を説明する。図５Ａはオブジェクト領域情報の例を示し、図５Ｂは、図５Ａに示すオブジェクト領域情報が抽出される入力画像の例を示す。

【0057】

オブジェクト領域情報５０１はオブジェクト領域算出部２０２が出力した単一のオブジェクトに対するオブジェクト領域情報の例である。オブジェクト領域５０３が白、背景領域がグレーで示されている。入力画像５０２は、オブジェクト領域情報５０１に対応する入力画像の領域である。オブジェクト５０４はオブジェクト領域５０３に対応するオブジェクトであり、ここでは細胞が腔に対して配列している腺管構造全体をオブジェクトとしている。ＲＯＩ５０５及び５０６はオブジェクト領域情報５０１及び入力画像５０２内の関心領域である。

【0058】

部分領域単位特徴量抽出部２０５は、まず、オブジェクト領域情報５０１の関心領域をオブジェクト領域情報５０１の左上に設定する（ＲＯＩ５０５）。尚、関心領域の幅と高さは予めユーザにより定められるものとする。部分領域単位特徴量抽出部２０５は、関心領域内のオブジェクト領域情報に基づいて、部分領域単位特徴量を抽出するか否かを決定する。

【0059】

例えば関心領域内にオブジェクト領域５０３に属するピクセルがあらかじめ定めた閾値以上の割合で存在している場合、部分領域単位特徴量抽出部２０５は、部分領域単位特徴量を抽出する。例えば閾値を５０％以上と定めた場合、図５の例ではＲＯＩ５０５内にはオブジェクト領域５０３に属するピクセルは存在せず閾値を下回るため、ＲＯＩ５０５の領域からは部分領域単位特徴量を抽出しない。一方、ＲＯＩ５０６内にはオブジェクト領域５０３に属する領域が５０％以上存在するため、ＲＯＩ５０６の領域から部分領域単位特徴量を抽出する。

【0060】

部分領域単位特徴量抽出部２０５は、ある関心領域における部分領域単位特徴量の抽出可否判定及び抽出処理が完了したら、例えばラスタスキャン状に関心領域の位置を変更させながら同様の処理を行う。入力されたオブジェクト領域全体に対する処理が完了したら、部分領域単位特徴量抽出部２０５は部分領域単位特徴量を出力する。

【0061】

オブジェクト分類部２０６について説明する。オブジェクト分類部２０６は、領域単位特徴量抽出部２０４が出力する領域単位特徴量と、部分領域単位特徴量抽出部２０５が出力する部分領域単位特徴量に基づいて、オブジェクトの分類を行う。

【0062】

図６を用いてオブジェクト分類方法の一例を説明する。入力画像６０１は画像入力部２０１が出力する入力画像である。オブジェクト領域情報６０２はオブジェクト領域算出部２０２が出力するオブジェクト領域情報である。部分領域単位特徴量６０３は部分領域単位特徴量抽出部２０５が出力する部分領域単位特徴量である。領域単位特徴量６０４は領域単位情報算出部２０３と領域単位特徴量抽出部２０４により抽出される領域単位特徴量である。

【0063】

分類器６０５は部分領域単位特徴量６０３の一部及び領域単位特徴量６０４に基づいて部分領域単位のオブジェクト分類結果６０６を算出するための分類器である。分類結果マップ６０７は上記部分領域単位の分類結果６０６を、分類器に入力した部分領域単位特徴量６０３の抽出位置に応じてマッピングした結果の一例である。尚、オブジェクト分類部２０６の処理は図６内の破線内の範囲である。

【0064】

オブジェクト分類部２０６への入力は領域単位特徴量６０４と部分領域単位特徴量６０３である。領域単位特徴量６０４は一つのオブジェクトに対して一つの特徴量ベクトルで表されるのに対して、部分領域単位特徴量６０３は、部分領域毎の特徴量ベクトルで構成される。オブジェクト分類部２０６は、内部に一つの分類器６０５を有し、分類器６０５は、部分領域単位特徴量６０３の内の部分領域それぞれから抽出した特徴量ベクトルと領域単位特徴量６０４を入力として、部分領域単位の分類結果６０６を出力する。

【0065】

図６の例では、分類結果としてオブジェクトの種類（オブジェクトＡからＣ）が出力されているとする。分類器６０５による分類方法としてはＬｏｇｉｓｔｉｃ ＲｅｇｒｅｓｓｉｏｎやＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）等の機械学習手法を用いてもよいし、手動設計した分類式を用いる方法でもよい。部分領域単位の分類結果６０６は、分類器６０５に入力した部分領域単位特徴量６０３の抽出位置に応じて分類結果マップ６０７に記録される。

【0066】

部分領域単位特徴量６０３の全ての部分に対する分類結果を算出し、分類結果マップ６０７に記録した後、オブジェクト分類部２０６は分類結果マップ６０７の内容に基づいてオブジェクトに対する総合的な分類結果を算出する。総合的な分類結果の算出方法としては、例えば分類結果マップ６０７内の分類結果の多数決を取る方法がある。

【0067】

図７に分類結果マップ６０７内の分類結果から算出した、多数決算出結果の一例を示す。図７の例ではオブジェクトＡに対する分類結果が最も多いため、入力画像６０１内のオブジェクトは総合的にオブジェクトＡと判定される。このようにオブジェクト分類部２０６は画像内の各オブジェクトに対する分類結果を算出する。

【0068】

出力部２０７について説明する。出力部２０７はオブジェクト分類部２０６による分類結果をユーザに提示する。図８Ａ、８Ｂ、８Ｃを用いてユーザへの分類結果の提示方法の一例を説明する。図８Ａは、入力画像の例を示す。入力画像８０１は、画像入力部２０１が受け付ける入力画像の例であり、粒状素材を撮像した検査用画像であるとする。図８Ａの例の粒状素材は、各粒子の形状が円くて大きく、傷等が無い場合に品質が良い素材であるとする。ここでは、粒子８０３は品質の良い粒子であり、粒子８０４及び粒子８０５は品質の悪い粒子であるとする。

【0069】

図８Ｂは、分類結果ウィンドウの例を示す。分類結果ウィンドウ８０２はユーザに分類結果を提示するためのウィンドウである。分類結果８０６、分類結果８０７、分類結果８０８はそれぞれ、粒子８０３、粒子８０４、粒子８０５に対する分類結果を示す。図８Ｃは、定量値表示ウィンドウの例を示す。定量値表示ウィンドウ８０９は画像内の各オブジェクトの割合を表示するウィンドウの例である。

【0070】

図８Ａ、８Ｂ、８Ｃに示す例では、オブジェクト分類部２０６は各オブジェクト（粒子）を品質の良い粒子と悪い粒子に分類するものとし、粒子８０３は品質の良い粒子、粒子８０４及び粒子８０５は品質の悪い粒子に分類されたとする。分類結果ウィンドウ８０２では、例えば分類結果に応じてオブジェクト領域を色分けすることで分類結果を可視化したり、可視化結果を入力画像とブレンディングして表示する。本例では、品質の良い粒子と悪い粒子をそれぞれ異なるテクスチャで表現している。

【0071】

また、出力部２０７は入力画像内の各種オブジェクトの数や割合等の定量値を算出して、算出結果を定量値表示ウィンドウ８０９に表示してもよい。

【0072】

また、出力部２０７は各オブジェクトについて、分類結果に対する領域単位特徴量及び部分領域単位特徴量の貢献度や有効度のようは評価値を表示してもよい。図９Ａ～９Ｄは分類結果に対する各特徴量の貢献度を表示するＧＵＩの例である。

【0073】

図９ＡのＧＵＩ画面は、分類結果ウィンドウ８０２上にポインタ９０１を表示する。ポインタ９０１は、分類結果ウィンドウ８０２内のオブジェクトに対する分類結果をユーザが選択するためのポインタである。

【0074】

図９Ｂは、貢献度表示ウィンドウの例を示す。貢献度表示ウィンドウ９０２は、オブジェクトの分類結果に対する領域単位情報及び部分領域単位情報の貢献度を表示するウィンドウである。

【0075】

図９Ｂは、領域単位情報表示ウィンドウの例を示す。図９Ｃの領域単位情報表示ウィンドウ９０３は領域単位情報を表示するウィンドウである。図９Ｄは部分領域単位貢献度表示ウィンドウの例を示す。部分領域単位貢献度表示ウィンドウ９０４は部分領域毎の貢献度を表示するウィンドウである。

【0076】

出力部２０７は、まず、オブジェクト分類部２０６が分類結果を算出した後で、分類結果に対する各特徴量の貢献度を算出する。貢献度の算出には例えばＧｒａｄＣＡＭ等の解析手法を用いればよい。部分領域毎の分類結果について領域単位特徴量及び部分領域単位特徴量の貢献度を求め、領域全体に渡って総和を取ることで、オブジェクト領域全体における各特徴量の貢献度を算出する。算出した貢献度は貢献度表示ウィンドウ９０２を介してユーザに提示する。

【0077】

図９Ａに示すように、分類結果ウィンドウ８０２をユーザに提示した後、ユーザからの入力を待つ。例えばユーザが分類結果ウィンドウ８０２内のあるオブジェクトをポインタ９０１によりクリックしたら、図９Ｂに示すように、そのオブジェクトの分類結果に対する各特徴量の貢献度を、貢献度表示ウィンドウ９０２上に表示する。

【0078】

図９Ｂの例では領域単位特徴量のうち、“形状”の貢献度が高く、次いで部分領域単位特徴量の貢献度が高いことを示している。ここでの“形状”に関する領域単位情報とは、領域単位情報算出部２０３にて説明した、オブジェクト領域内の点から各偏角方向への輪郭線までの距離の情報であるとする。なお、領域単位情報及び部分領域単位情報の一方のみの貢献度の情報が提示されてもよい。

【0079】

出力部２０７は、図９Ｃに示すように、例えば最も貢献度が高い、“形状”の領域単位特徴量を領域単位情報表示ウィンドウ９０３に自動的に表示する。尚、領域単位情報表示ウィンドウ９０３の表示内容はユーザの選択によって切り替えてもよい。例えば貢献度表示ウィンドウ９０２内の領域単位情報の項目名をユーザがクリックした場合、クリックした領域単位情報を領域単位情報表示ウィンドウ９０３に表示してもよい。

【0080】

図９Ｄに示すように、部分領域単位貢献度表示ウィンドウ９０４は、部分領域毎の貢献度のマップを表示する。例えば部分領域単位貢献度表示ウィンドウ９０４の例では貢献度の高さを輝度値で表している(白：貢献度低、黒：貢献度高)。上述のように、オブジェクトの分類結果についての情報を提示することで、ユーザの理解を助けることができる。

【0081】

上記では、実施例１の詳細について機能ブロック毎に説明した。しかし、本発明の実施形例は必ずしも図２の機能ブロックで構成される必要はなく、各機能ブロックの動作を実現する処理が実現できればよい。図１０に実施例１に係る処理フロー図の一例を示す。各ステップは図２に示した機能ブロック図の各要素と対応している。

【0082】

画像入力ステップ１００１では、インターフェース１１０より入力されたオブジェクトを撮像した画像を受付ける。

【0083】

オブジェクト領域算出ステップ１００２では、画像入力ステップ１００１にて受付けた入力画像を用いて分類対象となるオブジェクト領域を抽出する。オブジェクト領域の抽出方法については、前述のオブジェクト領域算出部２０２について説明した通りである。

【0084】

領域単位情報算出ステップ１００３では、オブジェクト領域算出ステップ１００２にて算出したオブジェクト領域情報に基づいて、各オブジェクトの大きさや長さ、変形具合といった領域的な情報を固定サイズの情報として表現して出力する。領域単位情報の生成方法については、前述の領域単位情報算出部２０３について説明した通りである。

【0085】

領域単位特徴量抽出ステップ１００４では、前述の領域単位情報算出ステップ１００３にて算出した領域単位情報から、分類対象オブジェクトの領域的な特徴量を抽出する。領域単位特徴量の抽出方法については、前述の領域単位特徴量抽出部２０４について説明した通りである。

【0086】

部分領域単位特徴量抽出ステップ１００５では、前述のオブジェクト領域算出ステップ１００２にて算出したオブジェクト領域情報に基づいて、画像入力ステップ１００１にて受け付けた入力画像の部分領域からテクスチャや輝度、色味等に関する特徴量を抽出する。部分領域単位特徴量の抽出方法については、前述の部分領域単位特徴量抽出部２０５について説明した通りである。

【0087】

オブジェクト分類ステップ１００６では、領域単位特徴量抽出ステップ１００４にて算出した領域単位特徴量と、部分領域単位特徴量抽出ステップ１００５にて算出した部分領域単位特徴量に基づいて、オブジェクトの分類を行う。オブジェクトの分類方法については、前述のオブジェクト分類部２０６について説明した通りである。

【0088】

出力ステップ１００７では、オブジェクト分類ステップ１００６にて算出した分類結果をユーザに提示する。ユーザへの提示方法については、前述の出力部２０７について説明した通りである。

【0089】

以上により、実施例１に記載のオブジェクト分類装置及び方法によれば、画像内に様々な大きさ、長さ、形状、テクスチャ等を有するオブジェクトが混在する場合でも、精度よくオブジェクトの種類または状態を分類することが可能となる。

【実施例0090】

実施例２は実施例１に記載のオブジェクト分類装置を用いて、画像全体又は複数の画像群から、総合的に種類や状態を判別するオブジェクト分類システムを説明する。

【0091】

実施例２に係るハードウェア構成図を図１１に示す。オブジェクト分類システム１１００は、カメラや顕微鏡等の撮像装置１２０と、ユーザからの操作を受け付ける入力装置１１０１と、実施例１にて説明したオブジェクト分類装置１０１とを含む。オブジェクト分類システム１１００は、さらに、オブジェクト分類装置１０１が出力するオブジェクト分類結果から各オブジェクトの総数や割合等の定量値を算出し、画像全体あるいは画像群の種類や状態の判別結果を算出する定量演算装置１１０２と、定量演算装置１１０２が出力する判別結果をユーザに提示する表示装置１２１と、を含む。

【0092】

撮像装置１２０及び表示装置１２１は、実施例１のハードウェア構成要素と同様であるため説明を省略する。以下、入力装置１１０１と定量演算装置１１０２について説明する。

【0093】

入力装置１１０１はキーボードやマウス等のユーザからの操作信号を受け付けるための装置である。入力装置１１０１は主に撮像装置１２０が撮像した画像群の中から、定量演算装置１１０２が定量演算を行う画像群を選択するために使用される。

【0094】

定量演算装置１１０２は１枚以上の画像群に対して、オブジェクト分類装置１０１が出力したオブジェクト分類結果から定量値を算出する。定量値は、例えば各オブジェクトの総数や割合、識別スコアの総和や平均等であり、入力装置１１０１を介してユーザが選択した画像群に対するオブジェクト分類結果全体から定量値を算出する。その後、算出した定量値に基づいて画像群の種類や状態を判別する。

【0095】

実施例２に係るオブジェクト分類システム処理の流れを粒状素材の品質評価を例として説明する。品質は粒子素材の状態である。まず、撮像装置１２０が粒状素材の複数の箇所から画像を撮像する。撮像した画像はオブジェクト分類装置１０１に入力され、各画像内の各粒子がオブジェクト分類装置１０１により品質の良い粒子と悪い粒子に分類される。

【0096】

ユーザは入力装置１１０１を介して、一つの素材から撮像された画像群から定量値を算出するように定量演算装置１１０２を操作する。定量演算装置１１０２は入力された画像群全てに対するオブジェクト分類結果を統合し、品質の良い粒子と悪い粒子の割合を算出する。定量演算装置１１０２は例えば図１２に示す規則に従い、品質の良い粒子の割合に応じて、素材の評価結果を算出する。算出された素材の評価結果を、表示装置１２１を介してユーザに提示する。

【0097】

これにより、ユーザは１枚以上の入力画像の中に存在するオブジェクトの分類結果に応じて、入力画像群の種類や状態を判別可能となる。