IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人金沢工業大学の特許一覧

特開2022-112542生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム
<>
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図1
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図2
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図3
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図4
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図5
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図6
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図7
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図8
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図9
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図10
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図11
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図12
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図13
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図14
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図15
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図16
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図17
  • 特開-生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022112542
(43)【公開日】2022-08-03
(54)【発明の名称】生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220727BHJP
   G06T 1/00 20060101ALI20220727BHJP
【FI】
G06T7/00 300E
G06T7/00 614
G06T1/00 290Z
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021008363
(22)【出願日】2021-01-22
(71)【出願人】
【識別番号】593165487
【氏名又は名称】学校法人金沢工業大学
(74)【代理人】
【識別番号】100115749
【弁理士】
【氏名又は名称】谷川 英和
(72)【発明者】
【氏名】金道 敏樹
(72)【発明者】
【氏名】田島 和正
(72)【発明者】
【氏名】田村 一希
【テーマコード(参考)】
5B057
5L096
【Fターム(参考)】
5B057AA07
5B057BA05
5B057BA07
5B057BA25
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC03
5B057CD03
5B057CD10
5B057CE05
5B057CE16
5B057DA02
5B057DB02
5B057DB09
5B057DC04
5B057DC05
5B057DC08
5B057DC33
5B057DC36
5L096AA06
5L096BA06
5L096BA13
5L096CA22
5L096DA01
5L096EA03
5L096EA06
5L096EA16
5L096EA18
5L096FA35
5L096FA52
5L096FA67
5L096GA02
5L096GA19
5L096GA30
5L096GA51
5L096JA03
5L096JA11
(57)【要約】
【課題】従来、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得ることが困難であった。
【解決手段】1以上の有用キー領域情報が格納される有用キー領域情報格納部と、対象画像を分割し、2以上の小画像片を取得する画像分割部と、画像分割部が取得した2以上の小画像片ごとに、1以上のキー領域を決定するキー領域決定部と、当該1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する小画像片情報量取得部と、当該2以上の小画像片情報量を反映させた出力画像を構成する画像構成部と、出力画像を出力する画像出力部とを具備する画像処理装置により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られる。
【選択図】図2
【特許請求の範囲】
【請求項1】
画像が格納される画像格納部と、
キー条件を満たす1以上のキー領域を前記画像から決定するキー領域決定部と、
目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である情報量を取得する情報量取得部と、
前記情報量取得部が取得した情報量を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、
前記有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部とを具備する有用キー領域情報の生産装置。
【請求項2】
目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部をさらに具備し、
前記情報量取得部は、
前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記1以上の各キー領域の情報量を取得する、請求項1記載の生産装置。
【請求項3】
前記有用キー領域決定部は、
前記情報量取得部が取得した情報量を用いて、前記1以上の各キー領域の識別価値を取得し、当該識別価値が前記選択条件を満たす1以上の有用領域を決定する、請求項1または請求項2記載の生産装置。
【請求項4】
1以上の有用キー領域情報が格納される有用キー領域情報格納部と、
処理対象の画像である対象画像が格納される対象画像格納部と、
前記対象画像を分割し、2以上の小画像片を取得する画像分割部と、
前記画像分割部が取得した2以上の小画像片ごとに、1以上のキー領域を決定するキー領域決定部と、
前記キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する小画像片情報量取得部と、
前記小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた情報を出力する出力部とを具備する画像処理装置。
【請求項5】
前記小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた出力画像を構成する画像構成部をさらに具備し、
前記小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた情報は、前記出力画像である、請求項4記載の画像処理装置。
【請求項6】
前記小画像片情報量取得部が取得した2以上の小画像片情報量を用いて、小画像片の識別価値である小画像片識別価値を取得する小画像片識別価値取得部をさらに具備し、
前記出力部は、
前記対象画像に対して、前記2以上の小画像片情報量に加えて、または前記2以上の小画像片情報量に代えて、前記識別価値取得部が取得した2以上の小画像片識別価値を反映させた情報を出力する、請求項4または請求項5記載の画像処理装置。
【請求項7】
前記小画像片情報量取得部は、
類似条件の変更が受け付けられた場合に、当該変更された類似条件に基づいて、前記キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた新たな小画像片情報量を、2以上の小画像片ごとに取得し、
前記出力部は、
前記新たな小画像片情報量を反映させた情報を出力する、請求項4から請求項6いずれか一項に記載の画像処理装置。
【請求項8】
前記有用キー領域情報格納部には、
1以上の目的有用キー領域情報と1以上の他有用キー領域情報とが格納され
前記小画像片情報量取得部は、
前記キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各目的有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた目的小画像片情報量を、2以上の小画像片ごとに取得し、かつ
前記キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各他有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた他小画像片情報量を、2以上の小画像片ごとに取得し、
前記出力部は、
前記対象画像に対して、小画像片ごとの、前記小画像片情報量取得部が取得した目的小画像片情報量と他小画像片情報量とを反映させた情報を出力する、請求項4から請求項7いずれか一項に記載の画像処理装置。
【請求項9】
前記小画像片情報量取得部が取得した小画像片情報量と閾値とを比較し、前記小画像片情報量が前記閾値より大きい場合に検知信号を取得する検知信号取得部をさらに具備し、
前記出力部は、前記検知信号を出力する、請求項4から請求項8いずれか一項に記載の画像処理装置。
【請求項10】
前記対象画像は、医用画像である、請求項4から請求項9いずれか一項に記載の画像処理装置。
【請求項11】
キー領域決定部と、情報量取得部と、有用キー領域決定部と、蓄積部とにより実現される有用キー領域情報の生産方法であって、
前記キー領域決定部が、キー条件を満たす1以上のキー領域を画像から決定するキー領域決定ステップと、
前記情報量取得部が、目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定ステップで決定された前記1以上の各キー領域に関する情報である情報量を取得する情報量取得ステップと、
前記有用キー領域決定部が、前記情報量取得ステップで取得された情報量を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定ステップと、
前記蓄積部が、前記有用キー領域決定ステップで決定された1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積ステップとを具備する有用キー領域情報の生産方法。
【請求項12】
1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部と、画像分割部と、キー領域決定部と、小画像片情報量取得部と、画像構成部と、出力部とにより実現される画像処理方法であって、
前記画像分割部が、前記対象画像を分割し、2以上の小画像片を取得する画像分割ステップと、
前記キー領域決定部が、前記画像分割ステップで取得された2以上の小画像片ごとに、1以上のキー領域を決定するキー領域決定ステップと、
前記小画像片情報量取得部が、前記キー領域決定ステップで決定された1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する小画像片情報量取得ステップと、
前記出力部が、前記小画像片情報量取得ステップで取得された2以上の小画像片情報量を反映させた情報を出力する出力ステップとを具備する画像処理方法。
【請求項13】
コンピュータを、
キー条件を満たす1以上のキー領域を画像から決定するキー領域決定部と、
目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である情報量を取得する情報量取得部と、
前記情報量取得部が取得した情報量を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、
前記有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部として機能させるためのプログラム。
【請求項14】
1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部とにアクセス可能なコンピュータを、
前記対象画像を分割し、2以上の小画像片を取得する画像分割部と、
前記画像分割部が取得した2以上の小画像片ごとに、1以上のキー領域を決定するキー領域決定部と、
前記キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する小画像片情報量取得部と、
前記小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた情報を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象画像から目的とするカテゴリの領域を検出する画像処理装置等に関するものである。
【背景技術】
【0002】
従来、ガン領域であるか否かの2値を示す識別する識別器に関する技術があった(例えば、特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】IEEE TRANSACTION MEDICAL IMAGING VOL.38, NO.2 FEBRUARY 2019, From Detection of Individual Metastases to Classification of Lymph Node Status at the Patient Level: The CAMELYON17 Challenge
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術においては、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得ることが困難であった。
【0005】
さらに具体的には、従来技術においては、ガン領域であるか否かの2値の識別しかできなかったので、医師に検出された領域を見ることを強いるー方、誤検出・未検出は避けられないため、医師はしばしば医療経験上は無視できる領域を診断することを強いられていた。
【課題を解決するための手段】
【0006】
本第一の発明の有用キー領域情報の生産装置は、画像が格納される画像格納部と、キー条件を満たす1以上のキー領域を画像から決定するキー領域決定部と、目的カテゴリの領域を決定する能力に関する情報であり、キー領域決定部が決定した1以上の各キー領域に関する情報である情報量を取得する情報量取得部と、情報量取得部が取得した情報量を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部とを具備する有用キー領域情報の生産装置である。
【0007】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得るための有用な情報を取得できる。
【0008】
また、本第二の発明の生産装置は、第一の発明に対して、目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部をさらに具備し、情報量取得部は、キー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である第一検査、およびキー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各他参照画像に存在するか否かの検査である第二検査を行い、第一検査および第二検査の結果を用いて、1以上の各キー領域の情報量を取得する、請求項1記載の生産装置である。
【0009】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得るための有用な情報を取得できる。
【0010】
また、本第三の発明の生産装置は、第一または第二の発明に対して、有用キー領域決定部は、情報量取得部が取得した情報量を用いて、1以上の各キー領域の識別価値を取得し、識別価値が選択条件を満たす1以上の有用領域を決定する、生産装置である。
【0011】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得るための有用な情報を取得できる。
【0012】
また、本第四の発明の画像処理装置は、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部と、対象画像を分割し、2以上の小画像片を取得する画像分割部と、画像分割部が取得した2以上の小画像片ごとに、1以上のキー領域を決定するキー領域決定部と、キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する小画像片情報量取得部と、小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた情報を出力する出力部とを具備する画像処理装置である。
【0013】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報が得られる。
【0014】
また、本第五の発明の画像処理装置は、第四の発明に対して、小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた出力画像を構成する画像構成部をさらに具備し、小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた情報は、出力画像である、画像処理装置である。
【0015】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られる。
【0016】
また、本第六の発明の画像処理装置は、第四または第五の発明に対して、小画像片情報量取得部が取得した2以上の小画像片情報量を用いて、小画像片の識別価値である小画像片識別価値を取得する小画像片識別価値取得部をさらに具備し、出力部は、対象画像に対して、2以上の小画像片情報量に加えて、または2以上の小画像片情報量に代えて、小画像片識別価値取得部が取得した2以上の小画像片識別価値を反映させた情報を出力する、画像処理装置である。
【0017】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域をより精度高く検出するための情報が得られる。
【0018】
また、本第七の発明の画像処理装置は、第四から第六いずれか1つの発明に対して、小画像片情報量取得部は、類似条件の変更が受け付けられた場合に、当該変更された類似条件に基づいて、キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた新たな小画像片情報量を、2以上の小画像片ごとに取得し、出力部は、新たな小画像片情報量を反映させた情報を出力する、画像処理装置である。
【0019】
かかる構成により、受け付けられた類似条件の変更に応じて、動的に、出力画像を変更できる。
【0020】
また、本第八の発明の画像処理装置は、第四から第七のいずれかの発明に対して、有用キー領域情報格納部には、1以上の目的有用キー領域情報と1以上の他有用キー領域情報とが格納され小画像片情報量取得部は、キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部に格納されている各目的有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた目的小画像片情報量を、2以上の小画像片ごとに取得し、かつキー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部に格納されている各他有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた他小画像片情報量を、2以上の小画像片ごとに取得し、出力部は、対象画像に対して、小画像片ごとの、小画像片情報量取得部が取得した目的小画像片情報量と他小画像片情報量とを反映させた情報を出力する、画像処理装置である。
【0021】
かかる構成により、2以上のカテゴリを含む医用画像から目的カテゴリの領域をより精度高く検出するための情報が得られる。
【0022】
また、本第九の発明の画像処理装置は、第四から第八のいずれかの発明に対して、小画像片情報量取得部が取得した小画像片情報量と閾値とを比較し、小画像片情報量が閾値より大きい場合に検知信号を取得する検知信号取得部をさらに具備し、
出力部は、検知信号を出力する、画像処理装置である。
【0023】
かかる構成により、2以上のカテゴリを含む医用画像から目的カテゴリの領域をより精度高く検出するための情報が得られる。
【0024】
また、本第十の発明の画像処理装置は、第四から第九のいずれかの発明に対して、対象画像は、医用画像である、画像処理装置である。
【0025】
かかる構成により、2以上のカテゴリを含む医用画像から目的カテゴリ(例えば、癌)の領域を精度高く検出するための画像が得られる。
【発明の効果】
【0026】
本発明による画像処理装置によれば、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られる。
【図面の簡単な説明】
【0027】
図1】実施の形態1における生産装置1のブロック図
図2】同画像処理装置2のブロック図
図3】同生産装置1の動作例について説明するフローチャート
図4】同情報量取得処理の例について説明するフローチャート
図5】同識別価値取得処理の例について説明するフローチャート
図6】同画像処理装置2の動作例について説明するフローチャート
図7】同キー領域決定部131の処理例を説明するための図
図8】同キー領域決定部131の処理例を説明するための図
図9】同キー領域決定部131の処理例を説明するための図
図10】同キー領域決定部131の処理例を説明するための図
図11】同キー領域決定部131の処理例を説明するための図
図12】同キー領域情報と目的有用キー領域情報との対応の概念を説明する図
図13】同小画像片情報量取得部233の処理例を説明するための図
図14】同小画像片情報量取得部233の処理例を説明するための図
図15】同小画像片情報量取得部233の処理例を説明するための図
図16】同小画像片識別価値取得部234の処理例を説明するための図
図17】上記実施の形態におけるコンピュータシステムの概観図
図18】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0028】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0029】
(実施の形態1)
本実施の形態において、画像からキー領域を決定し、当該キー領域の情報量を取得し、当該情報量を用いて、有用キー領域を決定し、当該有用キー領域情報を蓄積する有用キー領域情報の生産装置について説明する。なお、本実施の形態において、情報量を用いて、識別価値を取得し、情報量に基づく当該識別価値を用いて、有用キー領域を決定することは好適である。
【0030】
また、本実施の形態において、処理対象の画像を分割し、取得した2以上の各小画像片ごとに、1以上のキー領域を決定し、当該1以上の各キー領域のキー領域情報が有用キー領域情報に類似するか否かを判断し、判断結果に応じた各小画像片の画像を含む出力画像を構成し、出力する画像処理装置について説明する。
【0031】
なお、判断結果に応じた各小画像片の画像を含む出力画像は、例えば、類似する有用キー領域情報の数に応じた小画像片ごとの情報量を反映させた出力画像である。また、判断結果に応じた各小画像片の画像を含む出力画像は、例えば、小画像片ごとの情報量を用いて取得された識別価値を反映させた出力画像である。また、判断結果に応じた各小画像片の画像を含む出力画像は、例えば、情報量と識別価値とを反映させた出力画像である。
【0032】
図1は、本実施の形態における生産装置1のブロック図である。なお、生産装置1は、後述する有用キー領域情報を取得し、蓄積する装置である。また、有用キー領域情報は、通常、実施の形態2で説明する画像処理装置が使用する情報である。
【0033】
生産装置1は、第一格納部11、第一受付部12、第一処理部13、および第一出力部14を備える。第一格納部11は、画像格納部111、参照画像格納部112、条件格納部113、および有用キー領域情報格納部114を備える。第一処理部13は、キー領域決定部131、情報量取得部132、有用キー領域決定部133、および蓄積部134を備える。
【0034】
図2は、本実施の形態における画像処理装置2のブロック図である。画像処理装置2は、第二格納部21、第二受付部22、第二処理部23、および第二出力部24を備える。第二格納部21は、有用キー領域情報格納部114、および対象画像格納部211を備える。第二処理部23は、画像分割部231、キー領域決定部232、小画像片情報量取得部233、小画像片識別価値取得部234、および画像構成部235を備える。第二出力部24は、画像出力部241を備える。
【0035】
なお、生産装置1と画像処理装置2とは、一体の装置でも良い。また、生産装置1と画像処理装置2とが実現する処理を、3以上の装置で分担して行っても良い。
【0036】
生産装置1を構成する第一格納部11には、各種の情報が格納される。各種の情報とは、例えば、後述する画像、後述する判断条件、後述する有用キー領域情報である。
【0037】
画像格納部111は、1または2以上の画像が格納される。ここでの画像は、後述する有用キー領域情報を取得する元になる画像である。画像は、例えば、医用画像である。画像は、例えば、fMRI画像、PET画像、超音波画像等であり、その種類やデータ構造等は問わない。
【0038】
参照画像格納部112は、2以上の参照画像が格納される。参照画像は、キー領域の情報量を取得する際に使用される画像である。2以上の各参照画像は、2以上のカテゴリのうちのいずれかのカテゴリに対応付いている。2以上の各参照画像には、カテゴリを識別するカテゴリ識別子が対応付いている。例えば、カテゴリが「ガン」または「正常」である場合、2以上の各参照画像は、「ガン」の画像であるか、「正常」である画像である。
【0039】
キー領域とは、画像の中の領域であり、情報量の多い領域である。キー領域は、例えば、画像から取得されたSIFT特徴量を用いて取得されるキーポイントである。なお、領域とは、1つの画素または2以上の画素の集合である。キー領域は、対象画像の前記カテゴリを区別するために有用な少領域であればよく、例えば、歩行者、車両認識に用いられるViola-Jones法のモザイク状の特徴画像であってもよい。
【0040】
カテゴリとは、画像の中の一部の領域の種類である。カテゴリは、例えば、「ガン」の領域、「正常」である細胞の領域である。また、カテゴリは、2でも良いし、3以上でも良い。カテゴリが3以上である場合は、例えば、「ガン」「肝硬変」「正常」である。なお、ここで、検出対象のカテゴリ(例えば、「ガン」の領域)を、適宜、目的カテゴリと言う。また、検出対象以外のカテゴリ(例えば、「正常」の領域)を、適宜、他カテゴリと言う。
【0041】
参照画像は、例えば、目的参照画像、または他参照画像である。目的参照画像は、目的カテゴリの画像(例えば、「ガン」の領域からなる画像)であり、目的カテゴリに対応付く参照画像である。他参照画像は、他カテゴリの画像(例えば、「正常」の領域からなる画像)であり、他カテゴリに対応付く参照画像である。
【0042】
条件格納部113には、1以上の条件が格納される。条件は、例えば、キー条件、選択条件、後述する類似条件である。
【0043】
キー条件は、画像からキー領域を決定するための条件である。キー条件は、例えば、画像から取得されたSIFT特徴量を用いて取得されるキーポイントであると判断されるための条件である。
【0044】
選択条件は、キー領域から、後述する有用キー領域を選択するための条件である。選択条件は、例えば、後述する識別価値が閾値以上であること、後述する識別価値が閾値より大きいことである。
【0045】
有用キー領域情報格納部114には、1または2以上の有用キー領域情報が格納される。有用キー領域情報は、蓄積部134が蓄積した情報である。
【0046】
有用キー領域情報は、有用キー領域に関する情報である。有用キー領域情報は、例えば、有用キー領域の2以上の特徴量の集合である特徴量ベクトルである。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のSIFT特徴量を含む。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のHOG特徴量を含む。有用キー領域は、キー領域の中で、目的カテゴリの領域(例えば、ガン領域)を識別するために有用な領域である。
【0047】
有用キー領域情報格納部114には、1以上の目的有用キー領域情報と、1以上の他有用キー領域情報とが格納されることは好適である。なお、目的カテゴリを識別する能力の高い有用キー領域の有用キー領域情報を目的有用キー領域情報と言う。また、他カテゴリを識別する能力の高い有用キー領域の有用キー領域情報を他有用キー領域情報と言う。
【0048】
第一受付部12は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、開始指示、画像、参照画像、類似条件である。開始指示とは、有用キー領域情報の取得の開始の指示である。
【0049】
類似条件の受け付けとは、2つのベクトルが類似するか否かを判断する際の閾値の受け付けでも良い。また、類似条件の受け付けは、例えば、数値である閾値の受け付け、スライダーバーによる閾値の受け付け等であり、受け付け方法は問わない。
【0050】
なお、ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【0051】
また、各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0052】
第一処理部13は、各種の処理を行う。各種の処理とは、例えば、キー領域決定部131、情報量取得部132、有用キー領域決定部133、蓄積部134が行う処理である。
【0053】
キー領域決定部131は、条件格納部113のキー条件を満たす1以上のキー領域を画像から決定する。なお、画像は、画像格納部111の画像である。キー領域を決定することは、キー領域情報を取得すること、キー領域を特定する情報(例えば、画像内の1以上の座標値)を取得することである。キー領域情報とは、キー領域に関する情報である。キー領域情報は、例えば、キー領域の2以上の特徴量の集合である特徴量ベクトルである。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のSIFT特徴量を含む。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のHOG特徴量を含む。
【0054】
キー領域決定部131は、1または2以上のキーポイントを画像から決定する。なお、画像からキーポイントを決定する処理は公知技術であるので、ここでの詳細な説明は省略する。また、キー領域決定部131は、例えば、対象となる画像から、キーポイントのキー領域情報を取得する。
【0055】
情報量取得部132は、キー領域決定部131が決定した1以上の各キー領域の情報量を取得する。
【0056】
情報量とは、キー領域に関する情報である。情報量は、目的カテゴリの領域を決定する能力に関する情報である。
【0057】
情報量取得部132は、例えば、第一検査と第二検査とを行い、第一検査の結果と第二検査の結果とを用いて、1以上の各キー領域の情報量を取得する、
【0058】
第一検査とは、キー領域決定部131が決定した1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である。
【0059】
第二検査とは、キー領域決定部131が決定した1以上の各キー領域に対応する領域が1以上の各他参照画像に存在するか否かの検査である。
【0060】
なお、キー領域に対応する領域とは、キー領域情報に類似する領域情報に対する領域である。キー領域に対応する領域とは、例えば、キー領域情報と類似条件を満たす領域情報に対する領域である。類似条件は、2つの領域情報(例えば、ベクトル)の類似度が閾値以上であること、または閾値より大きいことである。類似条件は、条件格納部113に格納されている。
【0061】
情報量取得部132は、例えば、第一検査の結果、キー領域に対応する領域が存在する目的参照画像が多いほど、当該キー領域に対して、大きな情報量を取得する。
【0062】
情報量取得部132は、例えば、第二検査の結果、キー領域に対応する領域が存在する他参照画像が多いほど、当該キー領域に対して、大きい情報量を取得する。情報量取得部132は、例えば、第二検査の結果、キー領域に対応する領域が存在する他参照画像が多いほど、当該キー領域に対して、小さい情報量を取得しても良い。
【0063】
情報量取得部132は、例えば、1以上の各目的参照画像に対して、キー領域情報と最も類似する領域情報を取得し、かかる類似度をパラメータとする増加関数(例えば、加算)により、情報量を取得する。
【0064】
情報量取得部132は、例えば、1以上の各他参照画像に対して、キー領域情報と最も類似する領域情報を取得し、かかる類似度をパラメータとする増加関数により、情報量を取得する。情報量取得部132は、例えば、1以上の各他参照画像に対して、キー領域情報と最も類似する領域情報を取得し、かかる類似度をパラメータとする減少関数(例えば、減算)により、情報量を取得する。
【0065】
情報量取得部132は、例えば、以下の数式1、数式2、数式3を用いて、キー領域に対応する情報量を算出する。
【0066】
【数1】
【0067】
【数2】
【0068】
【数3】
【0069】
ここで、上記の数式において、「Ki」「Ki’」は、i番目のキー領域(例えば、i番目のキーポイント)である。「h(Ki)」は、i番目のキー領域の情報量である。「C」「C’」は、カテゴリである。ここで、カテゴリは、例えれば、「ガン」は「C=1」、「正常」は「C=2」である。また、「p(Ki,C)」は、キー領域
??
??
のカテゴリCについての確率分布である。「q(C)」は、キー領域全体のカテゴリCについての確率分布である。数式3において、「q(C)」は、参照画像を一枚選んだ時に、それがカテゴリCの画像である確率である。「Nc」は、対象とするカテゴリの数である。例えば、ガンと正常の識別の場合は、「Nc=2」である。もカテゴリである。「N(Ki,C)」は、カテゴリCの参照画像の内、キー領域に類似するキー領域がある画像の枚数である。
【0070】
なお、情報量取得部132は、数式3に代えて、数式4、数式5により、「q(C)」を算出しても良い。
【0071】
【数4】
【0072】
【数5】
【0073】
数式4、5を用いて「q(C)」を算出する方法は、キー領域「Ki」に類似するキー領域がある画像の枚数を用いて計算する方法である。数式4、5では、「n(C)」の代わりに、カテゴリの参照画像の内、キー領域に類似するキー領域がある画像の枚数を全てのキー領域について足し上げた枚数「Nk(C)」(数式4参照)を使用して、情報量取得部132は、「q(C)」を算出する(数式5参照)。
【0074】
有用キー領域決定部133は、情報量取得部132が取得した情報量を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する。
【0075】
有用キー領域決定部133は、例えば、情報量取得部132が取得した情報量を用いて、1以上の各キー領域の識別価値を取得し、識別価値が選択条件を満たす1以上の有用領域を決定する。なお、識別価値とは、目的カテゴリを識別する能力に関する情報である。なお、一のキー領域の識別価値を取得する際に用いる情報量は、当該一のキー領域の情報量である。
【0076】
また、選択条件は、例えば、識別価値が閾値以上、識別価値が閾値より大きいこと、識別価値が上位N個のキー領域であること等である。
【0077】
なお、有用キー領域決定部133は、例えば、以下の数式6を用いて、識別価値「v(Ki,C)」を算出する。
【0078】
【数6】
【0079】
ここで、採り得るカテゴリCが「ガン」「正常」の2つである場合、有用キー領域「Ki」の「ガン」を識別する識別価値「v(Ki,ガン)」は、以下の数式7により算出され得る。
【0080】
【数7】
【0081】
有用キー領域決定部133は、例えば、目的参照情報が大きいほど、大きな識別価値を取得する。有用キー領域決定部133は、例えば、目的参照情報をパラメータとする増加関数により識別価値を取得する。なお、目的参照情報とは、キー領域に対応する領域を有する目的参照画像に関する情報である。目的参照情報は、例えば、キー領域に対応する領域を有する目的参照画像の数をパラメータとする増加関数により算出される数である。目的参照情報は、例えば、上述した「p(Ki,目的カテゴリ)」(数式2)である。
【0082】
有用キー領域決定部133は、例えば、他参照情報が小さいほど、大きな識別価値を取得する。有用キー領域決定部133は、例えば、他参照情報をパラメータとする減少関数により識別価値を取得する。なお、他参照情報とは、キー領域に対応する領域を有する他参照画像に関する情報である。他参照情報は、例えば、キー領域に対応する領域を有する他参照画像の数をパラメータとする増加関数により算出される数である。他参照情報は、例えば、上述した「p(Ki,他カテゴリ)」(数式2)である。
【0083】
有用キー領域決定部133は、情報量取得部132が取得した情報量が選択条件を満たす1以上の有用領域を決定しても良い。かかる場合、選択条件は、例えば、情報量が閾値以上であること、情報量が閾値より大きいことである。なお、かかる場合の情報量は、キー領域に対応する領域が存在する目的参照画像が多いほど大きな情報量であり、キー領域に対応する領域が存在する他参照画像が多いほど小さな情報量となる情報である。
【0084】
有用キー領域決定部133は、上記では、目的カテゴリを識別する能力の高い有用キー領域を決定した。しかし、有用キー領域決定部133は、他カテゴリを識別する能力の高い有用キー領域を決定しても良い。有用キー領域決定部133は、目的カテゴリと他カテゴリとを入れ替えて、上述した処理を行えば、有用キー領域決定部133は、他カテゴリを識別する能力の高い有用キー領域を決定できる。3以上のカテゴリが存在する場合、有用キー領域決定部133は、カテゴリごとに、当該カテゴリを識別する能力の高い有用キー領域を決定することは好適である。
【0085】
蓄積部134は、有用キー領域決定部133が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する。蓄積部134は、例えば、有用キー領域情報を有用キー領域情報格納部114に蓄積する。
【0086】
蓄積部134は、有用キー領域情報を、情報量取得部132が取得した情報量に対応付けて蓄積することは好適である。また、蓄積部134は、有用キー領域情報を、有用キー領域決定部133が取得した識別価値に対応付けて蓄積することは好適である。
【0087】
蓄積部134は、1以上の目的有用キー領域情報と、1以上の他有用キー領域情報とを蓄積することは好適である。かかる場合、蓄積部134は、カテゴリ識別子に対応付けて有用キー領域情報を蓄積することは好適である。なお、カテゴリは3以上でも良い。
【0088】
第一出力部14は、各種の情報を出力する。各種の情報は、例えば、有用キー領域情報、処理が終了した旨の情報である。
【0089】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0090】
画像処理装置2を構成する第二格納部21には、各種の情報が格納される。各種の情報とは、例えば、後述する対象画像、有用キー領域情報である。なお、有用キー領域情報格納部114の1または2以上の有用キー領域情報は、生産装置1が取得した有用キー領域情報であることは好適である。
【0091】
対象画像格納部211には、1または2以上の対象画像が格納される。対象画像とは、処理対象の画像である。対象画像は、後述する出力画像の元になる画像である。対象画像は、例えば、医用画像である。対象画像は、例えば、ガンの領域を含む医用画像である。対象画像は、例えば、fMRI画像、PET画像、超音波画像等であり、その種類は問わない。対象画像は、例えば、TIFF、PNG、JPEG等の画像であるが、そのデータ構造等は問わない。
【0092】
第二受付部22は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、開始指示、対象画像、有用キー領域情報、変更される類似条件である。開始指示とは、出力画像の出力処理の開始の指示である。
【0093】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0094】
第二処理部23は、各種の処理を行う。各種の処理とは、例えば、画像分割部231、キー領域決定部232、小画像片情報量取得部233、小画像片識別価値取得部234、画像構成部235が行う処理である。
【0095】
第二処理部23は、例えば、後述する小画像片情報量取得部233が取得した小画像片情報量と閾値とを比較し、小画像片情報量が閾値より大きい場合に検知信号を取得する。かかる検知信号の取得処理は、図示しない検知信号取得部が行っても良い。また、検知信号は、例えば、小画像片が目的カテゴリに該当することを示す情報である。なお、閾値は、第二格納部21に格納されている。
【0096】
画像分割部231は、対象画像を分割し、2以上の小画像片を取得する。対象画像の分割方法は問わない。小画像片は、対象画像が分割された結果の一の部分である。小画像片は、固定サイズ(例えば、xドット×yドットのサイズ(x,yは自然数))であることは好適であるが、固定のサイズでなくても良い。小画像片のサイズも問わない。小画像片は、2以上の画素を有する。また、小画像片は、矩形であることは好適であるが、その形状は問わない。
【0097】
キー領域決定部232は、画像分割部231が取得した2以上の小画像片ごとに、1以上のキー領域を決定する。キー領域決定部232が、画像からキー領域を決定する処理は、キー領域決定部131と同じ処理で良い。
【0098】
小画像片情報量取得部233は、キー領域決定部232が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部114に格納されている各有用キー領域情報とが類似するか否かを検査し、検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する。小画像片情報量とは、小画像片の情報量である。
【0099】
なお、類似することは、通常、類似条件を満たすことである。ここでの類似条件は、例えば、「類似度が閾値以上であること」「類似度が閾値より大きいこと」である。
【0100】
また、小画像片情報量取得部233は、通常、キー領域情報と有用キー領域情報格納部114に格納されている1以上の各有用キー領域情報との類似度を算出し、類似度が類似条件を満たすか否かにより、類似するか否かを判断する。
【0101】
小画像片情報量取得部233は、例えば、上記の検査の結果、類似する有用キー領域情報が多いほど、大きな小画像片情報量を取得する。
【0102】
小画像片情報量取得部233は、例えば、小画像片の中の1以上の各キー領域のキー領域情報のうち、いずれかの有用キー領域情報と類似するキー領域情報が多いほど、大きな小画像片情報量を取得する。
【0103】
小画像片情報量取得部233は、例えば、小画像片の中の1以上の各キー領域のキー領域情報のうち、いずれかの有用キー領域情報と類似すると判断した1以上の各キー領域情報の情報量をパラメータとする増加関数により、小画像片情報量を算出する。なお、かかる増加関数は、例えば、加算である。
【0104】
小画像片情報量取得部233は、例えば、小画像片の中の1以上の各キー領域のキー領域情報と類似する1以上の各有用キー領域情報と対になる情報量を有用キー領域情報格納部114から取得し、当該情報量をパラメータとする増加関数(例えば、加算)により、小画像片情報量を算出する。
【0105】
小画像片情報量取得部233は、2以上の小画像片ごとに、目的小画像片情報量と他小画像片情報量とを取得することは好適である。つまり、小画像片情報量取得部233は、キー領域決定部232が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部114に格納されている各目的有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた目的小画像片情報量を、2以上の小画像片ごとに取得し、かつキー領域決定部232が決定した1以上の各キー領域に関するキー領域情報と、有用キー領域情報格納部114に格納されている各他有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた他小画像片情報量を、2以上の小画像片ごとに取得することは好適である。
【0106】
小画像片識別価値取得部234は、小画像片ごとに、小画像片情報量取得部233が取得した小画像片情報量を用いて、小画像片の識別価値である小画像片識別価値を取得する。
【0107】
小画像片識別価値取得部234は、例えば、小画像片の中の1以上の各キー領域のキー領域情報のうち、いずれかの有用キー領域情報と類似すると判断した1以上の各キー領域情報の識別価値をパラメータとする増加関数により、小画像片情報量を算出する。なお、かかる増加関数は、例えば、加算である。
【0108】
また、小画像片識別価値取得部234は、例えば、小画像片の中の1以上の各キー領域のキー領域情報と類似する1以上の各有用キー領域情報と対になる識別価値を有用キー領域情報格納部114から取得し、当該識別価値をパラメータとする増加関数(例えば、加算)により、小画像片識別価値を算出する。
【0109】
また、小画像片識別価値取得部234は、例えば、小画像片情報量をパラメータとする増加関数により、小画像片識別価値を算出する。
【0110】
小画像片識別価値取得部234は、例えば、小画像片ごとに、目的小画像片情報量と他小画像片情報量との差異に関する情報(例えば、差、比)を算出し、当該差異に関する情報を用いて小画像片識別価値を取得する。なお、小画像片識別価値は、差異に関する情報でも良い。小画像片識別価値取得部234は、例えば、小画像片ごとに、目的小画像片情報量をパラメータとする増加関数であり、他小画像片情報量をパラメータとする減少関数を用いて、小画像片識別価値を算出する。
【0111】
画像構成部235は、小画像片情報量取得部233が取得した2以上の小画像片情報量を反映させた出力画像を構成する。画像構成部235は、例えば、小画像片ごとに、小画像片情報量を反映させた出力画像を構成する。
【0112】
なお、小画像片情報量を反映させた出力画像とは、小画像片識別価値を反映させた出力画像でも良い。画像構成部235は、例えば、小画像片識別価値取得部234が取得した2以上の小画像片識別価値を反映させた出力画像を構成する。
【0113】
画像構成部235は、例えば、小画像片情報量取得部233が取得した2以上の小画像片情報量、および小画像片識別価値取得部234が取得した2以上の小画像片識別価値を反映させた出力画像を構成する。小画像片の小画像片情報量、または/および小画像片識別価値を反映させた出力画像とは、当該小画像片の小画像片情報量に対応する画像パラメータ、または/および当該小画像片の小画像片識別価値に対応する画像パラメータを有する小画像片を配置した出力画像である。画像パラメータとは、画像のパラメータであり、例えば、輝度、明度、彩度、色である。
【0114】
画像構成部235は、対象画像に対して、小画像片ごとの小画像片情報量または小画像片識別価値を反映させた出力画像を構成しても良い。
【0115】
第二出力部24は、各種の情報を出力する。各種の情報とは、例えば、小画像片情報量取得部233が取得した2以上の小画像片情報量を反映させた情報である。小画像片情報量取得部233が取得した2以上の小画像片情報量を反映させた情報は、上述した小画像片識別価値を反映させた情報でも良い。また、かかる小画像片情報量取得部233が取得した2以上の小画像片情報量を反映させた情報は、例えば、出力画像である。また、かかる小画像片情報量取得部233が取得した2以上の小画像片情報量を反映させた情報は、例えば、検知信号である。なお、第二出力部24が出力画像を出力しない場合、画像構成部235や画像出力部241は不要である。
【0116】
画像出力部241は、画像構成部235が構成した出力画像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0117】
第一格納部11、画像格納部111、参照画像格納部112、条件格納部113、有用キー領域情報格納部114、第二格納部21、および対象画像格納部211は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0118】
第一格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が第一格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が第一格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が第一格納部11等で記憶されるようになってもよい。
【0119】
第一受付部12、および第二受付部22は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0120】
第一処理部13、キー領域決定部131、情報量取得部132、有用キー領域決定部133、蓄積部134、第二処理部23、画像分割部231、キー領域決定部232、小画像片情報量取得部233、小画像片識別価値取得部234、および画像構成部235は、通常、プロセッサやメモリ等から実現され得る。第一処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、例えば、CPU、MPU、GPU等であり、その種類は問わない。
【0121】
第一出力部14、第二出力部24、および画像出力部241は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第一出力部14は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0122】
次に、生産装置1の動作例について、図3のフローチャートを用いて説明する。なお、例えば、第一受付部12が開始指示を受け付けた場合に、ステップS301以降の処理が行われる。
【0123】
(ステップS301)第二処理部23は、カウンタiに1を代入する。
【0124】
(ステップS302)第二処理部23は、画像格納部111にi番目の画像が存在するか否かを判断する。i番目の画像が存在する場合はステップS303に行き、i番目の画像が存在しない場合は処理を終了する。
【0125】
(ステップS303)キー領域決定部131は、画像格納部111からi番目の画像を取得する。
【0126】
(ステップS304)キー領域決定部131は、ステップS303で取得したi番目の画像から1以上のキー領域情報を取得し、図示しないバッファに一時蓄積する。なお、画像からキー領域情報を取得する処理は公知技術により可能である。
【0127】
(ステップS305)第二処理部23は、カウンタjに1を代入する。
【0128】
(ステップS306)第二処理部23は、図示しないバッファに、j番目のキー領域情報が存在するか否かを判断する。j番目のキー領域情報が存在する場合はステップS307に行き、存在しない場合はステップS312に行く。
【0129】
(ステップS307)情報量取得部132は、j番目のキー領域情報の情報量を取得する。かかる情報量取得処理の例について、図4のフローチャートを用いて説明する。
【0130】
(ステップS308)有用キー領域決定部133は、j番目のキー領域情報の識別価値を取得する。かかる識別価値取得処理の例について、図5のフローチャートを用いて説明する。
【0131】
(ステップS309)有用キー領域決定部133は、条件格納部113から選択条件を取得する。有用キー領域決定部133は、ステップS308で取得した識別価値が選択条件を満たすか否かを判断する。選択条件を満たす場合はステップS310に行き、選択条件を満たさない場合はステップS311に行く。
【0132】
(ステップS310)蓄積部134は、j番目のキー領域情報と、j番目のキー領域情報の情報量と、j番目のキー領域情報の識別価値とを対応付けて、有用キー領域情報格納部114に蓄積する。
【0133】
(ステップS311)第二処理部23は、カウンタjを1、インクリメントする。ステップS306に戻る。
【0134】
(ステップS312)第二処理部23は、カウンタiを1、インクリメントする。ステップS302に戻る。
【0135】
次に、ステップS307の情報量取得処理の例について、図4のフローチャートを用いて説明する。
【0136】
(ステップS401)情報量取得部132は、初期化の処理を行う。つまり、情報量取得部132は、変数「目的参照情報」、変数「他参照情報」に0を代入する。
【0137】
なお、変数「目的参照情報」は、目的参照画像から取得される情報であり、対象となるキー領域の情報量を取得するための元になる情報である。変数「目的参照情報」は、例えば、対象となるキー領域情報と類似する(類似条件を満たす)キー領域情報を有する目的参照画像の数である。変数「目的参照情報」は、例えば、対象となるキー領域情報と類似するキー領域情報を有する目的参照画像における、類似するキー領域情報の類似度を加算した値である。
【0138】
変数「他参照情報」は、他参照画像から取得される情報であり、対象となるキー領域の情報量を取得するための元になる情報である。変数「他参照情報」は、例えば、対象となるキー領域情報と類似する(類似条件を満たす)キー領域情報を有する他参照画像の数である。変数「他参照情報」は、例えば、対象となるキー領域情報と類似するキー領域情報を有する他参照画像における、類似するキー領域情報の類似度を加算した値である。
【0139】
(ステップS402)情報量取得部132は、カウンタiに1を代入する。
【0140】
(ステップS403)情報量取得部132は、i番目の目的参照画像が参照画像格納部112に存在するか否かを判断する。i番目の目的参照画像が存在する場合はステップS404に行き、存在しない場合はステップS413に行く。
【0141】
(ステップS404)情報量取得部132は、i番目の目的参照画像を参照画像格納部112から取得する。
【0142】
(ステップS405)キー領域決定部131は、ステップS404で取得されたi番目の目的参照画像から、キー領域情報である1以上の参照キー領域情報を取得する。
【0143】
(ステップS406)情報量取得部132は、カウンタjに1を代入する。
【0144】
(ステップS407)情報量取得部132は、ステップS405で取得した参照キー領域情報のうち、j番目の参照キー領域情報が存在するか否かを判断する。j番目の参照キー領域情報が存在する場はステップS408に行き、存在しない場合はステップS411に行く。
【0145】
(ステップS408)情報量取得部132は、対象となるキー領域情報とj番目の参照キー領域情報との類似度を算出する。
【0146】
(ステップS409)情報量取得部132は、ステップS408で算出した類似度が類似条件を満たすか否かを判断する。類似条件を満たす場合(類似する場合)はステップS410に行き、類似条件を満たさない場合(類似しない場合)はステップS412に行く。
【0147】
(ステップS410)情報量取得部132は、変数「目的参照情報」を更新する。なお、情報量取得部132は、通常、変数「目的参照情報」を増加させる。情報量取得部132は、例えば、変数「目的参照情報」に1を加える。情報量取得部132は、例えば、変数「目的参照情報」に、ステップS408で算出した類似度を加える。
【0148】
なお、次に、ステップS411に移行せずに、キー領域情報と、i番目の目的参照画像のすべての参照キー領域情報との類似度を取得し、当該類似度を用いて、当該キー領域情報の目的参照情報を取得しても良い。
【0149】
(ステップS411)情報量取得部132は、カウンタiを1、インクリメントする。ステップS402に戻る。
【0150】
(ステップS412)情報量取得部132は、カウンタjを1、インクリメントする。ステップS407に戻る。
【0151】
(ステップS413)情報量取得部132は、カウンタkに1を代入する。
【0152】
(ステップS414)情報量取得部132は、k番目の他参照画像が参照画像格納部112に存在するか否かを判断する。k番目の他参照画像が存在する場合はステップS415に行き、存在しない場合はステップS424に行く。
【0153】
(ステップS415)情報量取得部132は、k番目の他参照画像を参照画像格納部112から取得する。
【0154】
(ステップS416)キー領域決定部131は、ステップS415で取得されたk番目の他参照画像から、キー領域情報である1以上の参照キー領域情報を取得する。
【0155】
(ステップS417)情報量取得部132は、カウンタlに1を代入する。
【0156】
(ステップS418)情報量取得部132は、ステップS416で取得した参照キー領域情報のうち、l番目の参照キー領域情報が存在するか否かを判断する。l番目の参照キー領域情報が存在する場はステップS419に行き、存在しない場合はステップS422に行く。
【0157】
(ステップS419)情報量取得部132は、対象となるキー領域情報とl番目の参照キー領域情報との類似度を算出する。
【0158】
(ステップS420)情報量取得部132は、ステップS419で算出した類似度が類似条件を満たすか否かを判断する。類似条件を満たす場合はステップS421に行き、類似条件を満たさない場合はステップS423に行く。
【0159】
(ステップS421)情報量取得部132は、変数「他参照情報」を更新する。なお、情報量取得部132は、通常、変数「他参照情報」を増加させる。情報量取得部132は、例えば、変数「他参照情報」に1を加える。情報量取得部132は、例えば、変数「他参照情報」に、ステップS408で算出した類似度を加える。
【0160】
なお、次に、ステップS422に移行せずに、キー領域情報と、i番目の他参照画像のすべての参照キー領域情報との類似度を取得し、当該類似度を用いて、当該キー領域情報の他参照情報を取得しても良い。
【0161】
(ステップS422)情報量取得部132は、カウンタkを1、インクリメントする。ステップS414に戻る。
【0162】
(ステップS423)情報量取得部132は、カウンタlを1、インクリメントする。ステップS418に戻る。
【0163】
(ステップS424)情報量取得部132は、変数「目的参照情報」と変数「他参照情報」とを用いて、情報量を算出する。上位処理にリターンする。なお、情報量取得部132は、通常、変数「目的参照情報」の値をパラメータとする増加関数により、情報量を算出する。また、情報量取得部132は、通常、変数「他参照情報」の値をパラメータとする減少関数により、情報量を算出する。なお、「目的参照情報」と「他参照情報」は一方が大きくなれば他方が小さくなるという性質を持っているから、カテゴリを区別する効果を得るために、情報量取得部132は、変数「他参照情報」の値をパラメータとする増加関数により、情報量を算出しても良い。
【0164】
次に、ステップS408の識別価値取得処理の例について、図5のフローチャートを用いて説明する。
【0165】
(ステップS501)有用キー領域決定部133は、変数「目的参照情報」の値を取得する。
【0166】
(ステップS502)有用キー領域決定部133は、変数「他参照情報」の値を取得する。
【0167】
(ステップS503)有用キー領域決定部133は、変数「目的参照情報」の値と変数「他参照情報」の値とを用いて、識別価値を算出し、当該識別価値を、対象とするキー領域情報に対応付け、図示しないバッファに一時蓄積する。上位処理にリターンする。
【0168】
なお、有用キー領域決定部133は、常、変数「目的参照情報」の値をパラメータとする増加関数により、識別価値を算出する。また、有用キー領域決定部133は、例えば、変数「他参照情報」の値をパラメータとする減少関数により、識別価値を算出する。
【0169】
次に、画像処理装置2の動作例について、図6のフローチャートを用いて説明する。なお、ここでは、一の対象画像から出力画像を取得する処理について説明する。
【0170】
(ステップS601)画像分割部231は、対象画像格納部211から対象画像を取得する。
【0171】
(ステップS602)画像分割部231は、ステップS601で取得した対象画像を分割し、2以上の小画像片を取得する。
【0172】
(ステップS603)第二処理部23は、カウンタiに1を代入する。
【0173】
(ステップS604)第二処理部23は、初期化処理を行う。初期化処理は、変数「小画像片情報量」に0を代入する処理、および変数「小画像片識別価値」に0を代入する処理である。
【0174】
(ステップS605)キー領域決定部232は、ステップS602で取得された小画像片の中に、i番目の小画像片が存在するか否かを判断する。i番目の小画像片が存在する場合はステップS606に行き、存在しない場合はステップS620に行く。
【0175】
(ステップS606)キー領域決定部232は、i番目の小画像片の中の1以上のキー領域情報を取得する。
【0176】
(ステップS607)第二処理部23は、カウンタjに1を代入する。
【0177】
(ステップS608)第二処理部23は、ステップS606で取得されたキー領域情報の中に、j番目のキー領域情報が存在するか否かを判断する。j番目のキー領域情報が存在する場合はステップS609に行き、存在しない場合はステップS617に行く。
【0178】
(ステップS609)第二処理部23は、カウンタkに1を代入する。
【0179】
(ステップS610)第二処理部23は、有用キー領域情報格納部114に、k番目の有用キー領域情報が存在するか否かを判断する。k番目の有用キー領域情報が存在する場合はステップS611に行き、存在しない場合はステップS616に行く。
【0180】
(ステップS611)小画像片情報量取得部233は、j番目のキー領域情報とk番目の有用キー領域情報との類似度を算出する。
【0181】
(ステップS612)小画像片情報量取得部233は、ステップS611で算出した類似度が類似条件を満たすか否かを判断する。類似条件を満たす場合はステップS613に行き、類似条件を満たさない場合はステップS615に行く。
【0182】
(ステップS613)小画像片情報量取得部233は、変数「小画像片情報量」を更新する。小画像片情報量取得部233は、例えば、変数「小画像片情報量」に、k番目の有用キー領域情報と対になる情報量を加算する。小画像片情報量取得部233は、例えば、変数「小画像片情報量」に1を加算する。
【0183】
(ステップS614)小画像片識別価値取得部234は、変数「小画像片識別価値」を更新する。小画像片情報量取得部233は、例えば、変数「小画像片識別価値」に、k番目の有用キー領域情報と対になる識別価値を加算する。小画像片識別価値取得部234は、例えば、変数「小画像片識別価値」に1を加算する。
【0184】
(ステップS615)カウンタkを1、インクリメントする。ステップS610に戻る。
【0185】
(ステップS616)カウンタjを1、インクリメントする。ステップS608に戻る。
【0186】
(ステップS617)画像構成部235は、i番目の小画像片に対する変数「小画像片情報量」と変数「小画像片識別価値」との値を用いて、対象画像内のi番目の小画像片の画像を取得する。なお、画像構成部235は、例えば、対象画像内のi番目の小画像片の輝度や明度や色等の属性値を、変数「小画像片情報量」または/および変数「小画像片識別価値」の値を用いて決定し、i番目の小画像片の画像を構成する。
【0187】
(ステップS618)画像構成部235は、ステップS617で取得したi番目の小画像片の画像を、i番目の小画像片の位置に配置する。
【0188】
(ステップS619)第二処理部23は、カウンタiを1、インクリメントする。ステップS605に戻る。
【0189】
(ステップS620)画像出力部241は、ステップS618における処理により構成された出力画像を出力する。処理を終了する。
【0190】
なお、図6のフローチャートにおいて、小画像片情報量取得部233は、小画像片ごとに、目的小画像片情報量と他小画像片情報量とを取得しても良い。
【0191】
また、図6のフローチャートにおいて、小画像片識別価値取得部234は、小画像片ごとに、目的小画像片情報量と他小画像片情報量とを用いて、小画像片識別価値を取得しても良い。
【0192】
以下、本実施の形態における生産装置1の具体的な動作例について説明する。
【0193】
生産装置1の画像格納部111には、1または2以上の医用画像が格納されている、とする。医用画像は、ガンの領域と正常な領域とを含む、とする。
【0194】
また、参照画像格納部112には、カテゴリ識別子「ガン」に対応付いた2以上の参照画像が格納されている、とする。かかる参照画像は、ガン細胞の領域の画像である。また、参照画像格納部112には、カテゴリ識別子「正常」に対応付いた2以上の参照画像が格納されている、とする。かかる参照画像は、正常な細胞の領域の画像である。
【0195】
かかる状況において、ユーザは、生産装置1に対して、開始指示を入力した、とする。次に、生産装置1の第一受付部12は、開始指示を受け付ける。
【0196】
すると、画像格納部111の1以上の各医用画像に対して、以下のような処理が行われ、多数の有用キー領域情報が有用キー領域情報格納部114に蓄積される。
【0197】
つまり、まず、キー領域決定部131は、画像格納部111から医用画像(以下、適宜「画像」と言う)を取得する。
【0198】
次に、キー領域決定部131は、取得した画像から、1以上のキーポイント(キー領域の一例)を決定する。好ましい画像特徴量としてS I F Tを用いて説明すると、、キー領域決定部131は、図7に示すように、取得した画像701に対して、異なるスケール(σ、kσ、kσ、kσ、kσ・・・(σ、kは正の数、xは自然数)の平滑化画像を取得する。次に、キー領域決定部131は、スケールが隣接する2つの平滑化画像の差分の画像であるDoc画像を取得する(図7参照)。
【0199】
次に、キー領域決定部131は、各Doc画像から極値を検出する。キー領域決定部131は、注目画素のDoG値を画像スケール空間の26近傍と比較する。その26近傍よりも極大・極小の場合、その点をキーポイントの候補とする(図8参照)。なお、図8において、キー領域決定部131は、注目画素(3枚1組のDoc画像の真ん中のDoc画像の中の色付きの画素の中央の画素)のDoG値と、当該注目画素に隣接する画素のDoG値、および3枚1組のDoc画像の上のDoc画像と下のDoc画像の中の対応する画素(上のDoc画像と下のDoc画像の中の色付きの画素)のDoc画像とを比較し、注目画素のDoG値が比較対象の他の画素のDoG値よりも極大または極小の場合、当該注目画素をキーポイントの候補とする。
【0200】
また、キー領域決定部131は、キーポイントの候補から、エッジ上の点やDoG値が小さいもの(例えば、0.03以下のもの)を除外すること等により、キーポイントの候補の絞り込みを行う。なお、キー領域決定部131は、サブピクセル位置推定、およびコントラストの閾値処理を行うことは好適である。
【0201】
次に、キー領域決定部131は、残った1以上の各キーポイントが持つスケールに対応する領域から、勾配方向を算出する。かかる概念図は図9である。また、キー領域決定部131は、ガウス窓と勾配強度を掛け合わせた重みを、36方向の勾配方向ヒストグラムに加算する。また、キー領域決定部131は、ヒストグラムの最大値から、ここでは、例えば、80%以上となるピークを、キーポイントのオリエンテーションとして割り当てる(図10参照)。かかる割り当てられたキーポイントが、選択されたキーポイントである。なお、キーポイントによっては、オリエンテーションが2つとなる場合もある。
【0202】
次に、キー領域決定部131は、検出されたオリエンテーションをもとにして、キー領域情報として、128次元の特徴量のベクトルを取得する。まず、キー領域決定部131は、特徴量を記述する領域をキーポイントがもつオリエンテーションに合わせて回転させる。特徴量のベクトルは、キーポイント周辺の勾配情報を要素とする。この勾配情報は、キーポイントを中心として、そのキーポイントがもつスケールを半径とした円から求められる情報である。この領域は4×4のブロックに分割した各ブロック単位となり、1つのブロックは8つの方向からなるため、領域には、合計して128次元の特徴量が存在することとなる。キー領域決定部131は、この特徴量を用いて、図11のような勾配方向ヒストグラムを作成する。その際、キー領域決定部131は、128次元の特徴ベクトルの長さをベクトルの総和で正規化する。これにより、キー領域決定部131は、照明変化に耐性のあるSIFT特徴量ベクトルを取得することとなる。
【0203】
以上の処理もしくはカテゴリの違いを評価するために有用な小さな画像領域を抽出できる他の処理を、複数の医用画像に対して行うことにより、多数のキー領域情報が取得される。キー領域情報は、ここでは、SIFT特徴量として計算された128次元の特徴ベクトルである。
【0204】
次に、情報量取得部132 キー領域決定部131により取得された1以上の各キー領域情報の情報量を、上述した数式1、数式2、数式3を用いて、算出する。
【0205】
次に、有用キー領域決定部133は、1以上の各キー領域情報の情報量を上述した数式7(数式6とも言える)に代入し、当該数式7を実行することにより、1以上の各キー領域情報の「ガン」を識別する識別価値「v(Ki,ガン)」を算出する。
【0206】
次に、有用キー領域決定部133は、1以上の各キー領域情報の識別価値が、選択条件に合致するか否かを判断し、選択条件に合致しる1以上の各キー領域情報を、有用キー領域情報として取得する。
【0207】
次に、蓄積部134は、1以上の各有用キー領域情報と、各有用キー領域情報の情報量と、各有用キー領域情報の識別価値とを対応付けて、有用キー領域情報格納部114に蓄積する。
【0208】
以上の処理により、生産装置1は、「ガン」を識別する能力の高い多数の有用キー領域情報を蓄積できた。なお、ここで、「ガン」を識別する能力の高い有用キー領域情報を目的有用キー領域情報と言う。
【0209】
また、上記の処理と同じアルゴリズムの処理を行い、生産装置1は、「正常」を識別する能力の高い多数の有用キー領域情報を蓄積できた、とする。なお、ここで、「ガン」の画像と、「正常」の画像とを入れ替えて、上記と同じアルゴリズムで生産装置1が動作すれば、「正常」を識別する能力の高い多数の有用キー領域情報を蓄積できる。また、ここで、「正常」を識別する能力の高い有用キー領域情報を他有用キー領域情報と言う。
【0210】
次に、画像処理装置2は、以下に示す処理により、生産装置1が蓄積した多数の有用キー領域情報を用いて、ガン領域を含む医用画像から出力画像を構成し、出力する。なお、画像処理装置2の有用キー領域情報格納部114には、生産装置1が取得した多数の目的有用キー領域情報と多数の他有用キー領域情報とが蓄積されている、とする。また、対象画像格納部211には、ガン領域を含む医用画像(以下、適宜、「対象画像」と言う。)が格納されている、とする。
【0211】
かかる状況において、ユーザは、画像処理装置2に対して、開始指示を入力した、とする。すると、画像処理装置2の第二受付部22は、開始指示を受け付ける。
【0212】
次に、画像分割部231は、対象画像格納部211から対象画像を取得する。次に、画像分割部231は、取得した対象画像を分割し、2以上の小画像片を取得する。
【0213】
次に、キー領域決定部232は、例えば、2以上の各小画像片ごとに、キーポイントのキー領域情報を取得する。なお、ここで、キー領域情報は、SIFT特徴量のベクトルである、とする。
【0214】
次に、小画像片情報量取得部233は、2以上の各小画像片ごとに、キー領域決定部232が取得した1以上の各キー領域情報に対応する目的有用キー領域情報を決定する。そして、小画像片情報量取得部233は、2以上の各小画像片ごとに、目的有用キー領域情報に対応するキー領域情報の数を算出する。なお、キー領域情報に対応する有用キー領域情報とは、キー領域情報に対して類似条件を満たす有用キー領域情報である。また、キー領域情報と目的有用キー領域情報とが対応する概念を、図12に示す。図12の(a)は、「ガン」を識別する能力の高い目的有用キー領域を含む画像であり、(b)は対象画像である。対象画像の中の(a)の画像との対応が良く付いている領域は「ガン」細胞のある領域である、と判断できる。
【0215】
また、小画像片情報量取得部233が行う処理のイメージを図13に示す。図13の1301は、「ガン」を識別する能力の高い目的有用キー領域情報(キーポイントのベクトル)に対応する画像(「ガン」の領域の画像)である。また、1301の○は、目的有用キー領域情報である。また、1302は、対象画像であり、多数の小画像片を有する。そして、1303は、小画像片ごとの目的有用キー領域情報に対応するキー領域情報の数である。かかる数が小画像片情報量である。つまり、小画像片情報量取得部233は、小画像片ごとに、目的有用キー領域情報に対応するキー領域情報の数を算出する。
【0216】
なお、ここで、小画像片情報量取得部233が取得した小画像片ごとの目的有用キー領域情報を用いて構成される画像の例は、図14である。図14の1401は、目的有用キー領域情報に対応する画像であり、ガン領域の標本画像である。1402は、対象画像である。対象画像は、ガン領域と正常領域とが含まれる。そして、図13の1303の小画像片ごとの数値(目的有用キー領域情報に対応するキー領域情報の数)が大きいほど濃い色となる小画像片を配置した画像が1403である。1403は、ガンらしさが認められる小画像片が明示された画像である。
【0217】
次に、小画像片情報量取得部233は、2以上の各小画像片ごとに、キー領域決定部232が取得した1以上の各キー領域情報に対応する他有用キー領域情報を決定する。そして、小画像片情報量取得部233は、2以上の各小画像片ごとに、他有用キー領域情報に対応するキー領域情報の数を算出する。
【0218】
なお、ここで、小画像片情報量取得部233が取得した小画像片ごとの目的有用キー領域情報を用いて構成される画像の例は、図15である。図15の1501は、他有用キー領域情報に対応する画像であり、正常領域の標本画像である。1502は、対象画像である。対象画像は、ガン領域と正常領域とが含まれる。そして、小画像片ごとの数値(他有用キー領域情報に対応するキー領域情報の数)が大きいほど濃い色となる小画像片を配置した画像が1503である。1503は、正常らしさが認められる小画像片が明示された画像である。
【0219】
次に、小画像片識別価値取得部234は、2以上の各小画像片ごとに、目的有用キー領域情報に対応するキー領域情報の数と他有用キー領域情報に対応するキー領域情報の数との差を算出する。なお、かかる差が、各小画像片ごとの小画像片識別価値である。
【0220】
次に、画像構成部235は、各小画像片ごとの小画像片識別価値を用いて、出力画像を構成する。
【0221】
次に、画像出力部241は、当該出力画像を出力する。
【0222】
なお、小画像片識別価値取得部234と画像出力部241の動作を説明する図は、図16である。図16の1601は、ガンらしさが認められる小画像片が明示された画像であり、1403と同じである。1602は、正常らしさが認められる小画像片が明示された画像であり、1503と同じである。そして、1603は、ガンらしさから正常らしさを除いた図であり、1403よりガンらしい領域の小画像片の色が濃くなっており、人がガン領域を認識し易い画像になっている。
【0223】
なお、画像処理装置2の出力を、画像ではなく、閾値より大きい小画像片情報量を持つ対象画像中の小画像片位置とする簡便な構成をとることも可能である。なお、閾値は、例えば、予め格納されている情報、または入力され、第二受付部22が受け付けた情報である。また、小画像片位置は、一つの座標、領域を表す長方形の対角の2点の座標、円の中心と半径等であっても良い。
【0224】
以上、本実施の形態の生産装置1によれば、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像を得るための有用な情報を取得できる。
【0225】
また、本実施の形態の画像処理装置2によれば、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られる。
【0226】
さらに、本実施の形態の画像処理装置2によれば、受け付けられた類似条件の変更に応じて、動的に、出力画像を変更できる。
【0227】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における生産装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、キー条件を満たす1以上のキー領域を画像から決定するキー領域決定部と、目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である情報量を取得する情報量取得部と、前記情報量取得部が取得した情報量を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、前記有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部として機能させるためのプログラムである。
【0228】
また、画像処理装置2を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部とにアクセス可能なコンピュータを、前記対象画像を分割し、2以上の小画像片を取得する画像分割部と、前記画像分割部が取得した2以上の小画像片ごとに、1以上のキー領域を決定するキー領域決定部と、前記キー領域決定部が決定した1以上の各キー領域に関するキー領域情報と、前記有用キー領域情報格納部に格納されている各有用キー領域情報とが類似するか否かを検査し、当該検査結果に応じた小画像片情報量を、2以上の小画像片ごとに取得する小画像片情報量取得部と、前記小画像片情報量取得部が取得した2以上の小画像片情報量を反映させた情報を出力する出力部として機能させるためのプログラムである。
【0229】
また、図17は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の生産装置1、画像処理装置2を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図17は、このコンピュータシステム300の概観図であり、図18は、システム300のブロック図である。
【0230】
図17において、コンピュータシステム300は、CD-ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
【0231】
図18において、コンピュータ301は、CD-ROMドライブ3012に加えて、MPU3013と、CD-ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0232】
コンピュータシステム300に、上述した実施の形態の画像処理装置2等の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
【0233】
プログラムは、コンピュータ301に、上述した実施の形態の画像処理装置2等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
【0234】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0235】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0236】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0237】
分散処理の一例として、以下が挙げられる。つまり、十分な通信帯域の確保が難しい離島と拠点診断センターとにおいて分散処理を行う場合は、離島に対象画像を入力する遠隔入力部(図示しない)と異常画像小片位置受信部(図示しない)とをおき、前記画像処理装置2の出力を異常画像小片の位置だけとすることにより、拠点診断センターから離島への出力結果の送信を素早く行うことができる。
【0238】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0239】
以上のように、本発明にかかる画像処理装置は、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られるという効果を有し、画像処理装置等として有用である。
【符号の説明】
【0240】
1 生産装置
2 画像処理装置
11 第一格納部
12 第一受付部
13 第一処理部
14 第一出力部
21 第二格納部
22 第二受付部
23 第二処理部
24 第二出力部
111 画像格納部
112 参照画像格納部
113 条件格納部
114 有用キー領域情報格納部
131、232 キー領域決定部
132 情報量取得部
133 有用キー領域決定部
134 蓄積部
211 対象画像格納部
231 画像分割部
233 小画像片情報量取得部
234 小画像片識別価値取得部
235 画像構成部
241 画像出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18