特開 2023-7599 画像処理装置、方法及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023007599

(43)【公開日】2023-01-19

(54)【発明の名称】画像処理装置、方法及び画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230112BHJP

【ＦＩ】

G06T7/00 300F

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021110546

(22)【出願日】2021-07-02

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】柿下 容弓

(72)【発明者】

【氏名】服部 英春

(72)【発明者】

【氏名】鈴木 洋一郎

(72)【発明者】

【氏名】田上 英嗣

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA18

5L096CA01

5L096EA03

5L096JA11

(57)【要約】

【課題】画像内の対象物体を高精度かつ高速に識別する装置、方法およびシステムを提供する。
【解決手段】入力画像を受付ける画像入力部２０１と、前記入力画像から特徴量抽出のための画像を生成する画像生成部２０２と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部２０３と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部２０５と、前記識別部が出力する識別結果を出力する出力部２０６と、前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部２０４とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像内の物体を識別する画像処理装置であって、
入力画像を受付ける画像入力部と、
前記入力画像から特徴量抽出のための画像を生成する画像生成部と、
前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部と、
前記識別部が出力する識別結果を出力する出力部と、
前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部と
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記画像生成部は、前記入力画像を縮小して最初の生成画像を生成し、
前記特徴量マップ生成部は、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示することを特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記特徴量マップ生成部は、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成することを特徴とする画像処理装置。

【請求項4】

請求項１に記載の画像処理装置であって、
前記特徴量マップ生成部は、既存の特徴量の抽出結果に基づいて、新たな生成画像の生成条件と、当該新たな生成画像から抽出すべき特徴量の種別とを決定することを特徴とする画像処理装置。

【請求項5】

請求項１に記載の画像処理装置であって、
前記特徴量マップ生成部は、所定の条件が成立した場合に、特徴量抽出処理の終了を示す抽出終了信号を前記識別部に出力し、
前記識別部は、前記抽出終了信号を受けた場合に、それまでに生成された１又は複数の生成画像に係る特徴量を総合的に用いて、前記画像内の物体を識別する
ことを特徴とする画像処理装置。

【請求項6】

請求項１に記載の画像処理装置であって、
前記特徴量マップ生成部は、前記特徴量抽出部がそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成することを特徴とする画像処理装置。

【請求項7】

請求項１に記載の画像処理装置であって、
前記特徴量マップ生成部が出力する特徴量抽出マップを、前記出力部を介して外部に出力することを特徴とする画像処理装置。

【請求項8】

画像内の物体を高速に検出する画像処理システムであって、
対象物体を撮像して前記入力画像を得る撮像装置と、
前記撮像装置が出力する前記入力画像に基づいて領域分割結果または識別結果を出力する請求項１に記載の画像処理装置と、
検出に関連する設定や情報を指定するための信号である検出関連指定信号として、検出対象を指定するための検出対象指定信号を出力する記憶装置と、
前記画像処理装置が出力する領域分割結果または識別結果と、前記記憶装置が出力する検出対象指定信号とに基づいて物体を検出する物体検出装置と、
前記物体検出装置が出力した物体検出結果をユーザーに提示する表示装置と、
を備えることを特徴とする画像処理システム。

【請求項9】

請求項８に記載の画像処理システムであって、
前記画像処理装置は前記入力画像に基づく領域分割結果を出力し、
前記記憶装置は検出関連指定信号として、前記入力画像内に存在する複数物体の配置情報を検出するための検出対象指定信号と、予めユーザーによって設定された対象物体の正配置状態指定信号を出力し、
前記物体検出装置は前記領域分割結果と、前記検出対象指定信号を受付け、画像内に存在する複数物体の配置情報を検出し、
前記物体検出装置が出力する物体の配置情報と前記記憶装置が出力する正配置状態指定信号に基づいて、前記対象物体の配置が正しい配置であるか否かを検証する物体配置検証装置
をさらに備え、
前記表示装置は前記物体配置検証装置が出力する物体配置検証結果をユーザーに提示することを特徴とする画像処理システム。

【請求項10】

請求項８に記載の画像処理システムであって、
前記撮像装置は試料を格納した容器を撮像して前記入力画像を取得し、
前記画像処理装置は前記入力画像に基づく領域分割結果または識別結果を出力し、
前記記憶装置は検出関連指定信号として、前記入力画像内に存在する容器の種別を検出するための検出対象指定信号と、前記試料及び／又は前記容器の状態を判定するための試料状態判定対象指定信号及び／又は容器状態判定対象指定信号を出力し、
前記物体検出装置は前記領域分割結果または識別結果と、前記検出対象指定信号に基づいて容器の種別を判定し、
前記物体検出装置が出力する前記容器の種別と、前記記憶装置が出力する前記試料状態判定対象指定信号及び／又は容器状態判定対象指定信号に基づいて、前記試料及び／又は前記容器の状態を判定する検体状態判定装置と、
前記検体状態判定装置が判定した前記試料及び／又は前記容器の状態に基づいて、前記試料の採取制御を行う試料採取装置と、
前記試料採取装置が採取した試料と試薬を混合することで血液分析を行う分析装置と、
をさらに備え、
前記表示装置は前記分析装置による血液分析結果をユーザーに提示することを特徴とする画像処理システム。

【請求項11】

画像内の物体を識別する画像処理方法であって、
入力画像を受付ける画像入力ステップと、
前記入力画像から特徴量抽出のための画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された生成画像から特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにて算出した特徴量を用いて、画像内の物体を検出あるいは識別する識別ステップと、
前記識別ステップにて算出した識別結果を出力する出力ステップと、を含み、
前記特徴量抽出ステップが出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成ステップにより行わせるとともに、前記特徴量抽出ステップにおける当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成する特徴量マップ生成ステップをさらに含むことを特徴とする画像処理方法。

【請求項12】

請求項１１に記載の画像処理方法であって、
前記画像生成ステップは、前記入力画像を縮小して最初の生成画像を生成し、
前記特徴量マップ生成ステップは、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示することを特徴とする画像処理方法。

【請求項13】

請求項１１に記載の画像処理方法であって、
前記特徴量マップ生成ステップは、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成することを特徴とする画像処理方法。

【請求項14】

請求項１１に記載の画像処理方法であって、
前記特徴量マップ生成ステップは、前記特徴量抽出ステップがそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成することを特徴とする画像処理方法。

【請求項15】

請求項１１に記載の画像処理方法であって、
前記特徴量マップ生成ステップが出力する特徴量抽出マップを、前記出力ステップにて外部に出力することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像中の物体を識別する画像処理装置、方法及び画像処理システムに関する。

【背景技術】

【0002】

近年、カメラや顕微鏡で撮像した画像の解析のために、深層学習等の機械学習を用いた領域分割や識別が多く利用される。機械学習を用いた識別は、高い識別精度を実現できる一方で、手動設計した特徴量を用いた識別よりも一般的に処理コストが高いという課題がある。リアルタイム性や計算能力の低いデバイスでの実行が求められる場合には、計算量の削減が必要となる。例えば特許文献１には「解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域を処理対象領域として解像度の高い画像に対する領域分割を行う」との記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１７６２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では低解像度画像に対する領域分割結果の境界を、高解像度画像から抽出した特徴量を用いて高精度化する手法であるため、低解像度画像の段階で各領域を正しいクラスに分割する必要がある。しかし、入力画像を正しく領域分割あるいは特定のクラスに識別するためには高解像度画像が必要な場合が多々ある。例えば顕微鏡画像による細胞や細菌解析において、各細胞や細菌の状態を正しく推定するためには低解像度画像のみでは判断が難しい。また、顕微鏡画像による半導体向け検査においても、低解像度画像だけでは判断できない異常が含まれる可能性がある。可視光画像を用いた検査においても、例えば局所的に存在する文字やパターンの有無によって領域全体のクラスが決定される場合がある。これらの場合には低解像度画像のみを用いて領域を正しいクラスに分割することは難しく、高解像度画像の特徴を用いて初めてクラスを特定することが可能となる。

【0005】

そこで本発明は、識別に必要な最低限の特徴量を高速に抽出することで、高精度かつ高速に領域分割や識別処理を行う画像処理装置、方法およびシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために本発明で開示される画像処理装置は、画像内の物体を識別する画像処理装置であって、入力画像を受付ける画像入力部と、前記入力画像から特徴量抽出のための画像を生成する画像生成部と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部と、前記識別部が出力する識別結果を出力する出力部と、前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部とを備える。
また、本発明で開示される画像処理方法は、画像内の物体を識別する画像処理方法であって、入力画像を受付ける画像入力ステップと、前記入力画像から特徴量抽出のための画像を生成する画像生成ステップと、前記画像生成ステップにより生成された生成画像から特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにて算出した特徴量を用いて、画像内の物体を検出あるいは識別する識別ステップと、前記識別ステップにて算出した識別結果を出力する出力ステップと、を含み、前記特徴量抽出ステップが出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成ステップにより行わせるとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出ステップによる処理に反映させる特徴量マップ生成ステップをさらに含む。

【発明の効果】

【0007】

本発明によれば、画像内の対象物体を高精度かつ高速に識別する装置、方法およびシステムを提供可能となる。

【図面の簡単な説明】

【0008】

【図1】実施例１に係る画像処理装置のハードウェア構成の一例を示す図である。

【図2】実施例１に係る画像処理装置の機能ブロック図の一例を示す図である。

【図3】特徴量抽出マップの一例を示す図である。

【図4】画素単位識別処理の一例を示す図である。

【図5】実施例１に係る画像処理方法の処理フローの一例を示す図である。

【図6】実施例３に係る画像処理システムのハードウェア構成の一例を示す図である。

【図7】物体配置判定における画像処理装置の入力と出力の一例を示す図である。

【図8A】物体配置検証結果の表示例を示す図である。

【図8B】物体配置検証結果の表示例を示す図である。

【図8C】物体配置検証結果の表示例を示す図である。

【図9】実施例４に係る画像処理システムのハードウェア構成の一例を示す図である。

【図10A】実施例３に係る画像処理装置１００への入力画像例を示す図である。

【図10B】実施例３に係る画像処理装置１００への入力画像例を示す図である。

【図11】確信度を用いた物体配置検証結果の表示例を示す図である。

【図12】実施例２に係る画像処理システムのハードウェア構成の一例を示す図である。

【図13A】実施例４に係る領域分割結果の一例を示す図である。

【図13B】実施例４に係る領域分割結果の一例を示す図である。

【図14】カップ種別および底上げ容器と容器種別の対応表の一例を示す図である。

【図15】底上げ容器の長さ算出方法の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面に従って本発明に係る画像処理装置、方法およびシステムの実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【実施例0010】

＜画像処理装置のハードウェア構成＞
図１を用いて実施例１に係る画像処理装置のハードウェア構成について説明する。画像処理装置１００は、インターフェース部１１０と、演算部１１１と、メモリ１１２と、バス１１３とを備え、インターフェース部１１０、演算部１１１、メモリ１１２はバス１１３を介して情報の送受信を行う。

【0011】

画像処理装置１００の各部について説明する。
インターフェース部１１０は、画像処理装置１００の外部にある装置と信号の送受信を行う通信装置である。インターフェース部１１０と通信を行う装置としてはカメラや顕微鏡などの撮像装置１２０、モニタやプリンタ等の表示装置１２１がある。

【0012】

演算部１１１は、画像処理装置１００内での各種の処理を実行する装置であり、例えばＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等である。演算部１１１によって実行される機能については、図２を用いて後述する。
メモリ１１２は、演算部１１１が実行するプログラムや、パラメタ、係数、処理結果等を保存する装置であり、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等である。

【0013】

＜画像処理装置の機能構成＞
図２は画像処理装置１００の第一の実施例に係る機能ブロック図の一例である。これらの各機能部は、演算部１１１上で動作するソフトウェアで実現しても良いし、専用のハードウェアで実現しても良い。

【0014】

画像処理装置１００は、機能部として画像入力部２０１と、画像生成部２０２と、特徴量抽出部２０３と、特徴量マップ生成部２０４と、識別部２０５と、出力部２０６と、を含む。以下、各機能部について説明する。

【0015】

画像入力部２０１は、インターフェース部１１０から入力される可視光画像や顕微鏡画像等の入力画像を受付ける。

【0016】

画像生成部２０２は、前記入力画像を用いて特徴量抽出のための画像を生成する。尚、画像生成部２０２は後述する特徴量マップ生成部２０４から生成画像信号を受付けた場合には、生成画像信号に基づいて生成する画像を決定する。生成画像信号の入力が無い場合には予め定めた設定で画像を抽出する。

【0017】

特徴量抽出部２０３は、前記画像生成部２０２が生成した画像から特徴量を抽出する。尚、特徴量抽出部２０３は、後述する特徴量マップ生成部２０４から特徴量抽出マップを受付けた場合には、特徴量抽出マップ内の領域や特徴量種別の内、予め設定された閾値以上の値を有する領域や特徴量に対してのみ特徴量を抽出する。特徴量抽出マップの入力が無い場合には、画像全体から全種別の特徴量を抽出する、あるいは予め定めた領域および特徴量のみを抽出する。

【0018】

特徴量マップ生成部２０４は、前記特徴量抽出部２０３が出力する特徴量を用いて、特徴量抽出マップを生成する。特徴量抽出マップは、画像生成部２０２が次に生成する画像と、特徴量抽出部２０３にて次に特徴量を抽出する領域や特徴量の種別を指定する。

【0019】

識別部２０５は、特徴量抽出部２０３が出力した全てあるいは一部の特徴量を用いて識別処理を行う。識別処理は入力画像を予め定めたクラスに分類する画像単位の識別処理、画素単位の識別処理（領域分割）、物体の位置を矩形で検出する処理等を含む。この識別処理により、物体の存在の検出や、物体の種類の判別が可能である。

【0020】

出力部２０６は、前記識別部２０５が出力する識別結果を装置外部に出力する。識別結果が画像単位である場合には、画像毎のクラス情報や尤度情報を数値データの形で出力しても良いし、それらの情報を文字列等の視覚的に理解できる形で出力しても良い。識別結果が画素単位である場合には、画素毎のクラスや尤度の情報を数値データの形で出力しても良いし、クラスを固有の色で表現した画像として出力しても良い。識別結果が矩形情報である場合には、各矩形のクラスや尤度、矩形情報を数値データの形で出力しても良いし、画像上に矩形とクラス情報を枠線と色等で表現した画像として出力しても良い。

【0021】

尚、上記の各機能は、図２の機能部の通りに構成される必要はなく、各機能ブロックの動作を実現する処理が実現できればよい。図５に実施例１に係る処理フロー図の一例を示す。各ステップは図２に示した機能ブロック図の各要素と対応している。

【0022】

画像入力ステップ５０１は、インターフェース部１１０から入力される可視光画像や顕微鏡画像等の入力画像を受付ける。

【0023】

画像生成ステップ５０２は、前記入力画像を用いて特徴量抽出のための画像を生成する。尚、画像生成ステップ５０２は後述する特徴量マップ生成ステップ５０４にて生成される生成画像信号を受付けた場合には、生成画像信号に基づいて生成する画像を決定する。生成画像信号の入力が無い場合には予め定めた設定で画像を生成する。

【0024】

特徴量抽出ステップ５０３は、前記画像生成ステップ５０２にて生成した画像から特徴量を抽出する。尚、特徴量抽出ステップ５０３は、後述する特徴量マップ生成ステップ５０４から特徴量抽出マップを受付けた場合には、特徴量抽出マップ内の領域や特徴量種別の内、予め設定された閾値以上の値を有する領域や特徴量に対してのみ特徴量を抽出する。特徴量抽出マップの入力が無い場合には、画像全体から全種別の特徴量を抽出する、あるいは予め定めた領域および特徴量のみを抽出する。

【0025】

特徴量マップ生成ステップ５０４は、前記特徴量抽出ステップ５０３にて算出した特徴量を用いて、特徴量抽出マップを生成する。特徴量抽出マップは、画像生成ステップ５０２にて次に生成する画像と、特徴量抽出ステップ５０３にて次に抽出する特徴量の種別や領域を指定する。

【0026】

識別ステップ５０５は、特徴量抽出ステップ５０３にて出力する全てあるいは一部の特徴量を用いて識別処理を行う。識別処理は入力画像を予め定めたクラスに分類する画像単位の識別処理、画素単位の識別処理（領域分割）、物体の位置を矩形で特定する検出処理等を含む。

【0027】

出力ステップ５０６は、前記識別ステップ５０５にて算出した識別結果を装置外部に出力する。識別結果が画像単位である場合には、画像毎のクラス情報や尤度情報を数値データの形で出力しても良いし、それらの情報を文字列等の視覚的に理解できる形で出力しても良い。識別結果が画素単位である場合には、画素毎のクラスや尤度の情報を数値データの形で出力しても良いし、クラスを固有の色で表現した画像として出力しても良い。識別結果が矩形情報である場合には、各矩形のクラスや尤度、矩形情報を数値データの形で出力しても良いし、画像上に矩形とクラス情報を枠線と色等で表現した画像として出力しても良い。

【0028】

以降、各機能部を主語として詳細な動作について説明するが、各機能部に対応する各ステップを主語として読み替えても差し支えない。

【0029】

＜各部の構成と動作＞
以下、機能部の内、画像生成部２０２、特徴量抽出部２０３、特徴量マップ生成部２０４、識別部２０５の動作について詳しく説明する。

【0030】

画像生成部２０２は、入力画像を用いて特徴量抽出のための画像を生成する。画像生成部は後述する特徴量マップ生成部２０４から生成画像信号を受付けているか否かで動作が異なる。生成画像信号を受付けている場合、生成画像信号に基づいて画像を生成する。生成画像信号は例えば画像の縮小率や画像サイズが指定される。尚、指定される画像はローパスフィルタやハイパスフィルタ、バンドパスフィルタ等を用いた特定の周波数成分を有する画像、補正・強調・ノイズ除去等の画像処理を適用した画像、後述する特徴量抽出マップを用いたマスキング処理を施した画像等を候補としても良い。また、これらの画像処理を組合せた画像を候補としても良い。尚、候補画像の種類は予め定めておくものとする。

【0031】

また、生成画像信号の入力が無い場合、画像生成部２０２は予め定めた初期設定で画像を設定する。例えば予め定めた縮小率や画像サイズで入力画像を縮小した画像を生成する。生成画像の初期設定は、上記候補画像の内、一つを表していれば良い。

【0032】

特徴量抽出部２０３は、前記画像生成部２０２が出力する生成画像から特徴量を抽出する。抽出する特徴量はＨＯＧやＨａａｒ－Ｌｉｋｅ特徴などのハンドクラフト特徴量でも良いし、深層学習やランダムフォレスト等の機械学習により自動的に求めたものでも良い。また、生成画像信号に基づいて抽出する特徴量や特徴量のパラメタを変更しても良い。

【0033】

特徴量抽出部２０３は、後述する特徴量マップ生成部２０４から特徴量抽出マップを受付けた場合、特徴量抽出マップに基づいて、特徴量を抽出する領域や特徴量の種類を限定する。特徴量抽出マップは特徴量の種類や領域に対応した配列であり、特徴量抽出マップ内の値が予め設定した閾値よりも高い場合、該当する特徴量や領域に対して特徴抽出を行う。

【0034】

図３に特徴量抽出マップの一例を示す。画像３００は画像生成部２０２より入力された特徴抽出対象の画像、特徴量抽出マップ３０１、３０２、３０３はそれぞれ特徴量Ａ，Ｂ，Ｃに対する特徴量抽出マップである。特徴量抽出マップ３０１、３０２、３０３内の白の領域は特徴量抽出マップ内の値が予め設定した閾値以上の領域を表しており、黒は閾値未満の領域を表している。対象物体３０４は検出対象の物体であり、ここではボトルを例示している。対象物体３０４はボトル本体とキャップ、そしてラベルから構成されているとする。領域３０５、３０６は特徴抽出マップ内で閾値以上の値を持つ領域である。

【0035】

例えば特徴量抽出マップ３０１では領域３０５のみが閾値以上であるため、生成画像内の領域３０５に対応する領域のみから特徴量Ａを抽出する。すなわち特徴量Ａはボトル周辺の領域のみに適用され、背景や床の領域に対しては適用されない。また、特徴量抽出マップ３０２では領域３０６のみが閾値以上であるため、生成画像内の領域３０６に対応する領域のみから特徴量Ｂを抽出する。すなわち特徴量Ｂはラベル領域のみに適用され、その他の領域には適用されない。また、特徴量抽出マップ３０３は全ての領域が閾値未満であるため、特徴抽出処理を実行しない。この特徴抽出マップは、一つ前の生成画像から抽出した特徴量に基づいて決定されるため、特徴量によって有効化される領域は変化する。

【0036】

また、特徴量抽出マップは全特徴量に共通の特徴量マップを指定しても良い。すなわち特徴抽出する領域のみを示したマップである。例えば図３の特徴量抽出マップ３０１が、全特徴量の共通の特徴量マップとして入力された場合、領域３０５に対して特徴量Ａ，Ｂ，Ｃの抽出を行い、その他の領域に対しては特徴量抽出を行わない。

【0037】

また、特徴量抽出マップは抽出する領域を指定せず、抽出する特徴量だけを指定しても良い。例えば特徴抽出マップは特徴量Ａ、Ｂ、Ｃに対応した三つの配列を有し、特徴量マップ算出の結果、閾値以上となった特徴量のみを抽出し、その他の特徴量は抽出しないという方式でも良い。

【0038】

このように特徴量抽出部２０３は、特徴量抽出マップに基づいて特徴量を抽出する領域や特徴量の種類を限定することで特徴抽出処理を削減し、識別部２０５での高速な識別処理を実現する。

【0039】

特徴量マップ生成部２０４は、画像生成部２０２が生成する画像の種類を指定する生成画像信号と、特徴量抽出部２０３が特徴量を抽出する領域や特徴量の種類を限定するために用いる特徴量抽出マップを生成する。

【0040】

生成画像信号の生成方法について説明する。生成画像信号は特徴量抽出部２０３が出力した特徴量に基づいて画像生成部２０２が次に生成する画像を決定する。例えば特徴量抽出部２０３にて生成画像に含まれる周波数成分量を特徴量として算出し、周波数成分の分布に基づいて生成する画像を決定する。また機械学習等により決定しても良い。例えば次に生成する画像の候補をＮ個用意し、特徴量抽出部２０３から出力された特徴量を入力、出力ユニット数をＮとした深層学習のネットワークを設計する。入力された特徴量に基づいて識別に有効な特徴量を抽出する生成画像が選択されるように学習することで、次の生成画像を選択する選択器を生成可能である。

【0041】

次に特徴量抽出マップの生成方法について説明する。例えば、現在までに抽出した特徴量を用いて仮の識別を行い、識別の確信度に基づいて特徴量抽出マップを生成する方法がある。すなわち、これまでに抽出した特徴量のみを用いて高い確信度で識別している領域に対しては新たな特徴抽出を行わず、確信度が低い領域に対しては確信度向上のために新たな特徴抽出を行う。また、どの特徴量あるいは領域から識別に有効な特徴量を抽出できるかを機械学習により推定しても良い。方法は前述の生成画像信号と同様であり、特徴量種別や領域を候補として、そこから抽出される特徴がどの程度識別に有効かを推定する。

【0042】

尚、特徴量マップ生成部２０４は識別部２０５に対して特徴量抽出処理の終了を示す、抽出終了信号を出力する。特徴量抽出処理の終了条件は予めユーザーにより決定されるものとし、例えば上記仮の識別の確信度や、生成した画像数、抽出した特徴量数、処理時間等に基づいて決定する。確信度による終了条件は、例えば画素単位識別では、全領域に対する確信度が一定以上の場合、あるいは確信度の平均が一定以上の場合等がある。画像単位識別では、一画像に対して出力される識別の確信度が一定以上になった場合、あるいは識別スコアが一定以上になった場合等がある。生成画像数、抽出特徴量数、処理時間等に対して上限を定めて、いずれかの上限あるいは全ての上限に達した場合に終了する方法でも良い。また、生成画像数、抽出特徴量数、処理時間と、識別の確信度から総合的に終了を判定しても良い。

【0043】

識別部２０５は、特徴量マップ生成部２０４が出力する抽出終了信号の入力を受けて、特徴量抽出部２０３が抽出した特徴量の内、全てあるいは一部を用いて最終的な識別を行い、識別結果を出力する。

【0044】

図４に画素単位識別処理の一例を示す。図４は生成画像として複数の縮小画像を用いた場合の例である。生成画像４００、４０１、４０２はそれぞれ１／４縮小画像、１／２縮小画像、非縮小画像である。特徴量４１０、４１１、４１２はそれぞれ生成画像４００、４０１、４０２から特徴量抽出部２０３が抽出した特徴量である。原画像単位特徴量４２０、４２１はそれぞれ特徴量４１０、４１１を４倍、２倍に拡大した特徴量である。生成画像信号４３０、４３１は特徴量マップ生成部２０４が出力する生成画像信号である。特徴量抽出マップ４４０、４４１は特徴量マップ生成部２０４が出力する特徴量抽出マップである。結合後特徴量４５０は特徴量４１２および原画像単位特徴量４２０、４２１を結合した特徴量である。識別結果４６０は結合後特徴量４５０を識別部２０５に入力して得られる画素単位の識別結果の例である。ここで、生成画像４００、４０１、４０２は垂直方向ｙ、水平方向ｘ、チャンネルｃｈの次元を有する。また、特徴量４１０、４１１、４１２、原画像単位特徴量４２０、４２１、特徴量抽出マップ４４０、４４１および結合後特徴量４５０は、垂直方向ｙ、水平方向ｘ、特徴量種別ｃｈの次元を有する。また、識別結果４６０は、垂直方向ｙ、水平方向ｘ、クラスｃｈの次元を有する。

【0045】

図４の例では、まず、特徴量抽出部２０３が生成画像４００を受付け、特徴量４１０を出力する。尚、生成画像４００は画像生成部２０２が生成画像信号の入力が無い場合に入力画像から生成する画像であり、図４の例では１／４縮小画像を生成している。次に、特徴量マップ生成部２０４が特徴量４１０を受付け、生成画像信号４３０および特徴量抽出マップ４４０を出力する。生成画像信号４３０は前述のとおり、特徴量マップ生成部２０４が画像生成部２０２に対して出力する、次に生成すべき画像を決定するための信号である。図４の例では生成画像信号として画像縮小率を選択する。生成画像信号４３０、４３１内の丸印が選択可能な画像縮小率を表しており、黒丸は特徴量マップ生成部２０４が選択した画像縮小率を表す。生成画像信号４３０では縮小率１／２が選択されているものとし、画像生成部２０２は生成画像信号４３０に基づいて生成画像４０１（１／２縮小画像）を出力する。また、特徴量抽出マップ４４０は、特徴量抽出部２０３が生成画像４０１から特徴量抽出すべき領域を示している。図４の例では特徴量抽出マップ４４０内の白で示した領域のみから特徴量を抽出する。特徴量抽出部２０３は、生成画像４０１および特徴量抽出マップ４４０を受付けて、特徴量４１１を出力する。特徴量４１１は特徴量抽出マップ４４０が白の領域のみから抽出されており、それ以外の領域からは抽出されていない。特徴量４１１内の特徴量抽出対象外の領域には例えば０などの予め定めた値が格納される。

【0046】

同様に、特徴量マップ生成部２０４が特徴量４１１を受付け、生成画像信号４３１および特徴量抽出マップ４４１を出力する。画像生成部２０２は生成画像信号４３１に基づいて生成画像４０２（非縮小画像）を出力する。また、特徴量抽出マップ４４１は、特徴量抽出部２０３が生成画像４０２から特徴量抽出すべき領域を示している。特徴量抽出部２０３は、生成画像４０２および特徴量抽出マップ４４１を受付けて、特徴量４１２を出力する。特徴量４１２は特徴量抽出マップ４４１内の白で示した領域のみから抽出されており、それ以外の領域からは抽出されていない。

【0047】

特徴量４１０、４１１はそれぞれ特徴抽出元である生成画像と同じ倍率で縮小されているため、そのままでは各画素に対する特徴量として割り当てることができない。そこで例えば原画像単位特徴量４２０、４２１のように、特徴量４１０、４１１を原画像の各画素に割り当て可能な形に変換する。例えば図４の例では特徴量４１０および４１１を４倍および２倍に拡大している。その後、結合後特徴量４５０のように全ての特徴量を結合することで各画素に対応する総括的な特徴量を得ることができる。最後に識別部２０５が結合後特徴量４５０を入力として、識別結果４６０を出力する。識別結果４６０は画素毎のクラス情報を表す。

【0048】

上述した原画像単位特徴量４２０、４２１の作成方法は一例であり、各特徴量を原画像内の各画素に割り当てることができればその他の方法でも構わない。例えば特徴量４１０を２倍拡大した特徴量と特徴量４１１を結合し、結合した特徴量に基づいて新たな特徴量を生成した後に更に２倍拡大する等、段階的に特徴量を原画像に割り当てる方法でも良い。

【0049】

画像単位識別の場合は、特徴量を画素に割り当てるステップを省き、得られた全特徴量を用いて識別を行っても良いし、例えば領域毎の最大値を取るなどの方法で更に間引いた特徴量を用いて識別を行ってもよい。

【0050】

出力部２０６は、識別部２０５が出力する識別結果を装置外部に出力する。識別結果の配列や数値をそのまま出力しても良いし、領域分割の場合は各画素を識別結果に応じて色付けした画像を出力しても良い。また画像単位識別の場合は識別結果を文字列等のユーザーが理解しやすい形で出力しても良い。

【0051】

以上により、画像内の対象物体を高精度かつ高速に検出あるいは識別する装置および方法を提供可能となる。

【実施例0052】

実施例２は実施例１に記載の画像処理装置が出力する領域分割結果または識別結果と、検出に関する設定や情報を指定する検出関連指定信号とに基づいて高速に物体を検出する画像処理システムである。

【0053】

実施例２に係るハードウェア構成図を図１２に示す。実施例２に係る画像処理システム１２００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、表示装置１２０３と、記憶装置１２０４から構成される。

【0054】

撮像装置１２０１は、対象物体を撮像するための装置であり、例えばカメラ等である。
画像処理装置１００は、実施例１に記載の画像処理装置であり、前記撮像装置１２０１で撮像した画像から特定の物体領域の領域分割または識別結果、あるいはその両方を算出する。
物体検出装置１２０２は、前記画像処理装置１００が出力する領域分割結果または識別結果と、記憶装置１２０４が出力する検出関連指定信号の内、検出対象を指定する信号である検出対象指定信号に基づいて物体の検出情報を出力する。
表示装置１２０３は、前記物体検出装置１２０２による物体検出結果をユーザーに提示する。

【0055】

記憶装置１２０４は、ユーザーにより予め設定された検出関連指定信号を保持している。検出関連指定信号は検出に関連する種々の設定・情報を指定するための信号である。実施例２における検出関連指定信号は、物体検出装置１２０２における検出対象を指定する検出対象指定信号を含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に対して出力する。尚、図１２には特に図示していないが、画像処理システム１２００はキーボード等のユーザーインターフェース装置を含み、システム運用中に記憶装置１２０４に記録した検出関連指定信号をユーザーが書き換え可能な構成としても良い。

【0056】

＜各装置の動作＞
撮像装置１２０１、表示装置１２０３、および記憶装置１２０４の動作は上述の通りである。また、画像処理装置１００の動作は実施例１にて説明した通りである。そのためここでは物体検出装置１２０２について説明する。

【0057】

画像処理装置１００が領域分割結果を出力する場合について説明する。図７に撮像装置１２０１が撮像した画像と、画像処理装置１００が出力した領域分割結果の一例を示す。画像７０１は複数の薬品ボトルを撮像した画像の例、領域分割結果７０２は画像７０１を画像処理装置１００により領域分割した結果の一例である。ボトル７０３，７０４，７０５はそれぞれ薬品Ａ，Ｂ，Ｃのボトルであり、ボトル領域７０６，７０７，７０８は領域分割により得た薬品Ａ，Ｂ，Ｃのボトル領域である。ボトル領域７０６，７０７，７０８はそれぞれ異なるクラスとして領域分割されており、テクスチャの違いはクラスの違いを表している。

【0058】

領域分割結果７０２はユーザーが視覚的に状況を確認するためには有効である。しかし、ユーザーが物体単位の情報（例えば特定の種類のボトルの有無や、画像内にボトルが何個あるか、ボトルはどのような順番で配置されているかといった情報）を必要とする場合には、別の処理が必要となる。そこで物体検出装置１２０２は記憶装置１２０４から検出対象指定信号を受付け、検出対象指定信号に基づいて物体情報を抽出し、検出結果として出力する。

【0059】

物体検出装置１２０２は、各クラスに属する物体の有無、個数、座標情報、配置情報、あるいはそれらの組合せによって決定される情報を検出結果として出力することが可能であり、どの情報を出力するかは前記の検出対象指定信号により指定する。以降、各情報の抽出方法について説明する。

【0060】

まず、物体検出装置１２０２が各クラスに属する物体の有無を検出する方法を説明する。領域分割結果内の結合領域を抽出し、各クラスに属する結合領域が存在するか否かを判定することで、各クラスに属する物体の有無を検出できる。このとき、領域分割結果には誤識別領域を含む可能性があるため、結合領域の状態に基づいて誤識別領域を除外した後で結合領域を抽出してもよい。誤識別領域の除外方法の一例としては、予め結合領域のサイズに対する閾値を設定しておき、結合領域のピクセル数が閾値を下回る場合、誤識別領域と判定して除外する方法がある。これは誤識別領域の結合領域のサイズが、正解領域の結合領域のサイズよりも小さい傾向があることを利用した除外方法である。他にも画像の幾何学変換（収縮・膨張処理等）やメディアンフィルタ等のノイズ除去処理を用いて除外してもよいし、各画素あるいは結合領域内の識別結果の確信度に基づいて算出した定量値に対して閾値処理を行う方法等で除外してもよい。

【0061】

また、物体検出装置１２０２は前記の手法により領域分割結果内の各クラスに属する結合領域を抽出し、各クラスの結合領域の数をカウントすることで、各クラスに属する物体の個数を算出可能である。

【0062】

また、物体検出装置１２０２は、前記の手法により各クラスの結合領域を抽出し、結合領域の代表点（例えば上端、下端、左端、右端、重心等）を算出することで、代表点の座標位置を検出結果として出力することが可能である。

【0063】

また、物体検出装置１２０２は、領域分割結果内の各結合領域の配置位置を検出結果として出力することが可能である。例えば前記の手法により領域分割結果内の各結合領域から代表点の座標情報を抽出し、各結合領域のクラス情報と紐づけて記録する。その後、水平方向(あるいは垂直方向)の座標情報に基づいてソートし、ソート結果からクラス情報を抽出することで、画像内の物体の水平方向(あるいは垂直方向)の配置順を配置情報として得ることが可能である。他にも画像をグリッド状に分割して、各グリッドにおける結合領域の専有面積に基づき、グリッド内の各クラスの物体有無を決定することで、グリッド状の物体配置情報を得るなどしてもよい。

【0064】

また、上述の各クラスに属する物体の有無、個数、座標情報、配置情報を組合せて一つあるいは複数の物体の総合的な状態を検出してもよい。
以上により、画像内の対象物体を高速に検出する画像処理システムを提供可能となる。