(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024014265
(43)【公開日】2024-02-01
(54)【発明の名称】生産装置、画像処理装置、生産方法、画像処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/11 20170101AFI20240125BHJP
【FI】
G06T7/11
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022116962
(22)【出願日】2022-07-22
(71)【出願人】
【識別番号】593165487
【氏名又は名称】学校法人金沢工業大学
(74)【代理人】
【識別番号】100115749
【弁理士】
【氏名又は名称】谷川 英和
(72)【発明者】
【氏名】金道 敏樹
(72)【発明者】
【氏名】陸田 駿弥
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA03
5L096BA13
5L096CA21
5L096DA01
5L096EA16
5L096FA09
5L096FA32
5L096FA35
5L096FA54
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096GA30
5L096GA51
5L096JA03
5L096JA05
5L096JA22
(57)【要約】
【課題】対象画像から目的カテゴリの領域を精度高く検出することが困難であった。
【解決手段】対象画像から2以上の小画像片を取得する画像分割部と、対象画像から2以上のキー領域を決定するキー領域決定部と、小画像片ごとに、1以上の有用キー領域情報を用いて、小画像片の中の1以上のキー領域の識別価値を取得し、当該1以上の識別価値の識別代表値を取得する局所処理部と、1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が1以上の各他参照画像に存在するか否かの検査である第二検査を行い、1以上の各キー領域の信頼度を取得する信頼度処理部と、識別代表値と信頼度とを用いて、境界線を決定する境界線決定部と、対象画像に対して境界線が明示された画像を構成し、出力する画像処理装置により、上記課題を解決できる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
画像が格納される画像格納部と、
キー領域のサイズに関する2以上の各サイズ情報ごとに、キー条件を満たす1以上のキー領域を前記画像から決定するキー領域決定部と、
目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である識別価値を取得する識別価値取得部と、
前記識別価値取得部が取得した識別価値を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、
前記2以上の各サイズ情報に対応付けて、前記有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部とを具備する有用キー領域情報の生産装置。
【請求項2】
目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部をさらに具備し、
前記識別価値取得部は、
前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記1以上の各キー領域の識別価値を取得する、請求項1記載の生産装置。
【請求項3】
目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部と、
2以上の各サイズ情報に対応付けて、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、
処理対象の画像である対象画像が格納される対象画像格納部と、
前記対象画像から、各々、異なる領域の2以上の小画像片を取得する画像分割部と、
前記対象画像から2以上のキー領域を決定するキー領域決定部と、
前記画像分割部が取得した2以上の各小画像片ごとに、前記1以上の有用キー領域情報を用いて、当該小画像片の中の1以上のキー領域の識別価値を取得し、当該1以上の識別価値の代表値である識別代表値を取得する局所処理部と、
前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記1以上の各キー領域の信頼度を取得する信頼度処理部と、
前記識別代表値が第一閾値以下または第一閾値より小さい値に対応する小画像片であり、当該小画像片の1以上のキー領域の前記信頼度が信頼度条件を満たす程度に大きな値である小画像片または当該小画像片の中のキー領域を検知し、当該小画像片または当該キー領域に対応する境界線を決定する境界線決定部と、
前記対象画像に対して前記境界線決定部が決定した境界線が明示された画像を構成する画像構成部と、
前記画像構成部が構成した前記画像を出力する出力部とを具備する画像処理装置。
【請求項4】
前記信頼度処理部は、
前記キー領域決定部が決定した前記1以上の各キー領域ごとに、各キー領域に対応する領域が前記1以上の各目的参照画像に存在する数が多いほど、大きな第一検査値を取得し、各キー領域に対応する領域が前記1以上の各他参照画像に存在する数が多いほど、大きな第二検査値を取得し、当該第一検査値と当該第二検査値とをパラメータとする増加関数により、信頼度を算出し、
かつ前記キー領域に対応するサイズ情報に応じて、異なる第一検査値および異なる第二検査値を取得する請求項3記載の画像処理装置。
【請求項5】
前記信頼度処理部は、
前記キー領域決定部が決定した前記1以上の各キー領域ごとに、各キー領域に対応する領域が前記1以上の各目的参照画像に存在する数が多いほど、大きな第一検査値を取得し、各キー領域に対応する領域が前記1以上の各他参照画像に存在する数が多いほど、大きな第二検査値を取得し、当該第一検査値と当該第二検査値とをパラメータとする増加関数により、信頼度を算出し、2以上の各小画像片ごとに、各小画像片に属する1以上の各キー領域の信頼度の代表値である信頼代表値を取得し、
前記境界線決定部は、
前記識別代表値が第一閾値以下または第一閾値より小さい値に対応する2以上の小画像片であり、前記信頼代表値が第二閾値以上または第二閾値より大きい値に対応する2以上の小画像片を決定し、当該2以上の各小画像片の代表点を結んだ境界線を決定する、請求項4または請求項4記載の画像処理装置。
【請求項6】
前記対象画像は、医用画像である、請求項3から請求項5いずれか一項に記載の画像処理装置。
【請求項7】
画像が格納される画像格納部と、キー領域決定部と、識別価値取得部と、有用キー領域決定部と、蓄積部とにより実現される有用キー領域情報の生産方法であって、
前記キー領域決定部が、キー領域のサイズに関する2以上の各サイズ情報ごとに、キー条件を満たす1以上のキー領域を前記画像から決定するキー領域決定ステップと、
前記識別価値取得部が、目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である識別価値を取得する識別価値取得ステップと、
前記有用キー領域決定部が、前記識別価値取得ステップで取得された識別価値を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定ステップと、
前記蓄積部が、前記2以上の各サイズ情報に対応付けて、前記有用キー領域決定ステップで決定された1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積ステップとを具備する有用キー領域情報の生産方法。
【請求項8】
目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部と、2以上の各サイズ情報に対応付けて、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部と、画像分割部と、キー領域決定部と、局所処理部と、信頼度処理部と、境界線決定部と、画像構成部と、出力部とにより実現される画像処理方法であって、
前記る画像分割部が、前記対象画像から、各々、異なる領域の2以上の小画像片を取得する画像分割ステップと、
前記キー領域決定部が、前記対象画像から2以上のキー領域を決定するキー領域決定ステップと、
前記局所処理部が、前記画像分割ステップで取得された2以上の各小画像片ごとに、前記1以上の有用キー領域情報を用いて、当該小画像片の中の1以上のキー領域の識別価値を取得し、当該1以上の識別価値の代表値である識別代表値を取得する局所処理ステップと、
前記信頼度処理部が、前記キー領域決定ステップで決定された前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定ステップで決定された前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記1以上の各キー領域の信頼度を取得する信頼度処理ステップと、
前記境界線決定部が、前記識別代表値が第一閾値以下または第一閾値より小さい値に対応する小画像片であり、当該小画像片の1以上のキー領域の前記信頼度が信頼度条件を満たす程度に大きな値である小画像片または当該小画像片の中のキー領域を検知し、当該小画像片または当該キー領域に対応する境界線を決定する境界線決定ステップと、
前記画像構成部が、前記対象画像に対して前記境界線決定ステップで決定された境界線が明示された画像を構成する画像構成ステップと、
前記出力部が、前記画像構成ステップで構成された前記画像を出力する出力ステップとを具備する画像処理方法。
【請求項9】
画像が格納される画像格納部にアクセス可能なコンピュータを、
キー領域のサイズに関する2以上の各サイズ情報ごとに、キー条件を満たす1以上のキー領域を前記画像から決定するキー領域決定部と、
目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である識別価値を取得する識別価値取得部と、
前記識別価値取得部が取得した識別価値を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、
前記2以上の各サイズ情報に対応付けて、前記有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部として機能させるためのプログラム。
【請求項10】
目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部と、2以上の各サイズ情報に対応付けて、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部とにアクセス可能なコンピュータを、
前記対象画像から、各々、異なる領域の2以上の小画像片を取得する画像分割部と、
前記対象画像から2以上のキー領域を決定するキー領域決定部と、
前記画像分割部が取得した2以上の各小画像片ごとに、前記1以上の有用キー領域情報を用いて、当該小画像片の中の1以上のキー領域の識別価値を取得し、当該1以上の識別価値の代表値である識別代表値を取得する局所処理部と、
前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記1以上の各キー領域の信頼度を取得する信頼度処理部と、
前記識別代表値が第一閾値以下または第一閾値より小さい値に対応する小画像片であり、当該小画像片の1以上のキー領域の前記信頼度が信頼度条件を満たす程度に大きな値である小画像片または当該小画像片の中のキー領域を検知し、当該小画像片または当該キー領域に対応する境界線を決定する境界線決定部と、
前記対象画像に対して前記境界線決定部が決定した境界線が明示された画像を構成する画像構成部と、
前記画像構成部が構成した前記画像を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象画像から目的とするカテゴリの領域を検出する画像処理装置等に関するものである。
【背景技術】
【0002】
従来、ガン領域であるか否かの2値を示す識別する識別器に関する技術があった(例えば、特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】IEEE TRANSACTION MEDICAL IMAGING VOL.38, NO.2 FEBRUARY 2019, From Detection of Individual Metastases to Classification of Lymph Node Status at the Patient Level: The CAMELYON17 Challenge
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術においては、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得ることが困難であった。
【0005】
さらに具体的には、従来技術においては、ガン領域であるか否かの2値の識別しかできなかったので、医師に検出された領域を見ることを強いるー方、誤検出・未検出は避けられないため、医師はしばしば医療経験上は無視できる領域を診断することを強いられていた。
【課題を解決するための手段】
【0006】
本第一の発明の有用キー領域情報の生産装置は、画像が格納される画像格納部と、キー領域のサイズに関する2以上の各サイズ情報ごとに、キー条件を満たす1以上のキー領域を画像から決定するキー領域決定部と、目的カテゴリの領域を決定する能力に関する情報であり、キー領域決定部が決定した1以上の各キー領域に関する情報である識別価値を取得する識別価値取得部と、識別価値取得部が取得した識別価値を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、2以上の各サイズ情報に対応付けて、有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部とを具備する有用キー領域情報の生産装置である。
【0007】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得るための有用な情報を取得できる。
【0008】
また、本第二の発明の生産装置は、第一の発明に対して、目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部をさらに具備し、識別価値取得部は、キー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である第一検査、およびキー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各他参照画像に存在するか否かの検査である第二検査を行い、第一検査および第二検査の結果を用いて、1以上の各キー領域の識別価値を取得する、生産装置である。
【0009】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための情報を得るための有用な情報を取得できる。
【0010】
また、本第三の発明の画像処理装置は、目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部と、2以上の各サイズ情報に対応付けて、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部と、対象画像から、各々、異なる領域の2以上の小画像片を取得する画像分割部と、対象画像から2以上のキー領域を決定するキー領域決定部と、画像分割部が取得した2以上の各小画像片ごとに、小画像片の中の1以上のキー領域の識別価値を取得し、1以上の識別価値の代表値である識別代表値を取得する局所処理部と、キー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である第一検査、およびキー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各他参照画像に存在するか否かの検査である第二検査を行い、第一検査および第二検査の結果を用いて、1以上の各キー領域の信頼度を取得する信頼度処理部と、識別代表値が第一閾値以下または第一閾値より小さい値に対応する小画像片であり、小画像片の1以上のキー領域の信頼度が信頼度条件を満たす程度に大きな値である小画像片または小画像片の中のキー領域を検知し、小画像片またはキー領域に対応する境界線を決定する境界線決定部と、対象画像に対して境界線決定部が決定した境界線が明示された画像を構成する画像構成部と、画像構成部が構成した画像を出力する出力部とを具備する画像処理装置である。
【0011】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出した画像を取得できる。
【0012】
また、本第四の発明の画像処理装置は、第三の発明に対して、信頼度処理部は、キー領域決定部が決定した1以上の各キー領域ごとに、各キー領域に対応する領域が1以上の各目的参照画像に存在する数が多いほど、大きな第一検査値を取得し、各キー領域に対応する領域が1以上の各他参照画像に存在する数が多いほど、大きな第二検査値を取得し、第一検査値と第二検査値とをパラメータとする増加関数により、信頼度を算出し、かつキー領域に対応するサイズ情報に応じて、異なる第一検査値および異なる第二検査値を取得する画像処理装置である。
【0013】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出した画像を取得できる。
【0014】
また、本第五の発明の画像処理装置は、第四または第四の発明に対して、信頼度処理部は、キー領域決定部が決定した1以上の各キー領域ごとに、各キー領域に対応する領域が1以上の各目的参照画像に存在する数が多いほど、大きな第一検査値を取得し、各キー領域に対応する領域が1以上の各他参照画像に存在する数が多いほど、大きな第二検査値を取得し、第一検査値と第二検査値とをパラメータとする増加関数により、信頼度を算出し、2以上の各小画像片ごとに、各小画像片に属する1以上の各キー領域の信頼度の代表値である信頼代表値を取得し、境界線決定部は、識別代表値が第一閾値以下または第一閾値より小さい値に対応する2以上の小画像片であり、信頼代表値が第二閾値以上または第二閾値より大きい値に対応する2以上の小画像片を決定し、2以上の各小画像片の代表点を結んだ境界線を決定する、画像処理装置である。
【0015】
かかる構成により、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出した画像を取得できる。
【0016】
また、本第六の発明の画像処理装置は、目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部と、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部と、対象画像から2以上のキー領域を決定するキー領域決定部と、1以上の有用キー領域情報を用いて、キー領域決定部が取得した2以上の各キー領域の識別価値を取得する局所処理部と、キー領域決定部が決定した前記1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である第一検査、およびキー領域決定部が決定した1以上の各キー領域に対応する領域が1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、2以上の各キー領域の信頼度を取得する信頼度処理部と、キー領域の識別価値が正の値の領域と、キー領域の識別価値が負の値の領域とを分ける境界線であり、境界線上または境界線から近い1以上のキー領域の信頼度が信頼度条件を満たす境界線を決定する境界線決定部と、対象画像に対して境界線決定部が決定した境界線が明示された画像を構成する画像構成部と、画像構成部が構成した画像を出力する画像出力部とを具備する画像処理装置である。
【0017】
かかる構成により、2以上のカテゴリを含む対象画像に対して、目的カテゴリの領域を精度高く検出するための境界線を引ける。
【0018】
また、本第七の発明の画像処理装置は、第三から第六いずれか1つの発明に対して、対象画像は、医用画像である、画像処理装置である。
【0019】
かかる構成により、2以上のカテゴリを含む対象画像医用画像から目的カテゴリ(例えば、癌)の領域を精度高く検出した画像を取得できる。
【発明の効果】
【0020】
本発明による画像処理装置によれば、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出された画像が得られる。
【図面の簡単な説明】
【0021】
【
図1】実施の形態1における生産装置1のブロック図
【
図3】同生産装置1の動作例について説明するフローチャート
【
図4】同識別価値取得処理の例について説明するフローチャート
【
図5】同画像処理装置2の動作例について説明するフローチャート
【
図6】同境界線決定処理の例について説明するフローチャート
【
図7】同画像構成処理の例について説明するフローチャート
【
図8】同キー領域決定部131の処理例を説明するための図
【
図9】同キー領域決定部131の処理例を説明するための図
【
図10】同キー領域決定部131の処理例を説明するための図
【
図11】同キー領域決定部131の処理例を説明するための図
【
図12】同キー領域決定部131の処理例を説明するための図
【
図13】同キーポイントサイズによるキー領域の特性を説明するための図
【発明を実施するための形態】
【0022】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0023】
(実施の形態1)
本実施の形態において、画像から、2以上の各サイズ情報ごとのキー領域を決定し、当該キー領域の識別価値を取得し、当該識別価値を用いて、有用キー領域を決定し、当該有用キー領域情報をサイズ情報に対応付けて蓄積する有用キー領域情報の生産装置について説明する。なお、本実施の形態において、識別価値を用いて、識別価値を取得し、識別価値に基づく当該識別価値を用いて、有用キー領域を決定することは好適である。
【0024】
また、本実施の形態において、処理対象の画像から2以上の小画像片を取得し、当該2以上の各小画像片ごとに、1以上のキー領域を決定し、当該1以上の各キー領域の識別価値の代表値である識別代表値と信頼度とを取得し、当該識別代表値と信頼度とを用いて、第一カテゴリ(例えば、癌)の領域と第二カテゴリ(例えば、正常)の領域との境界を決定し、画像を構成し、出力する画像処理装置について説明する。
【0025】
図1は、本実施の形態における生産装置1のブロック図である。なお、生産装置1は、キー領域の2以上の各サイズ情報ごとに、後述する有用キー領域情報を取得し、蓄積する装置である。また、有用キー領域情報は、通常、実施の形態2で説明する画像処理装置が使用する情報である。
【0026】
生産装置1は、第一格納部11、第一受付部12、第一処理部13、および第一出力部14を備える。第一格納部11は、サイズ情報格納部110、画像格納部111、参照画像格納部112、条件格納部113、および有用キー領域情報格納部114を備える。第一処理部13は、制御部130、キー領域決定部131、識別価値取得部132、有用キー領域決定部133、および蓄積部134を備える。
【0027】
図2は、本実施の形態における画像処理装置2のブロック図である。画像処理装置2は、第二格納部21、第二受付部22、第二処理部23、および第二出力部24を備える。第二格納部21は、参照画像格納部112、有用キー領域情報格納部114、および対象画像格納部211を備える。第二処理部23は、画像分割部231、キー領域決定部232、局所処理部233、信頼度処理部234、境界線決定部235、および画像構成部236を備える。第二出力部24は、画像出力部241を備える。
【0028】
なお、生産装置1と画像処理装置2とは、一体の装置でも良い。また、生産装置1と画像処理装置2とが実現する処理を、3以上の装置で分担して行っても良い。
【0029】
生産装置1を構成する第一格納部11には、各種の情報が格納される。各種の情報とは、例えば、後述するサイズ情報、後述する画像、後述する判断条件、後述する有用キー領域情報である。
【0030】
サイズ情報格納部110には、2以上のサイズ情報が格納される。サイズ情報とは、後述するキー領域のサイズの範囲またはサイズを特定する情報である。サイズ情報は、例えば、キー領域の最大長(例えば、直径)の範囲である。サイズ情報は、例えば、「0<サイズ<=2」「2<サイズ<=4」「4<サイズ<=6」「6<サイズ<=8」「8<サイズ<=10」「10<サイズ<=12」「12<サイズ」である、なお、サイズ情報が有する「2」「4」等の数値は、例えば、画素数である。
【0031】
なお、例えば、キー領域が円である場合、キー領域のサイズは、例えば、円の直径、または円の半径である。また、キー領域のサイズに応じて、後述の
図13に示すように、各カテゴリ(例えば、「ガン」「正常」)の分布が異なる。さらに具体的には、サイズが小さいキー領域には「ガン」がよく表われ、サイズが大きなキー領域には「正常」がよく表れる。
【0032】
画像格納部111には、1または2以上の画像が格納される。ここでの画像は、後述する有用キー領域情報を取得する元になる画像である。画像は、例えば、医用画像である。画像は、例えば、fMRI画像、PET画像、超音波画像等であり、その種類やデータ構造等は問わない。
【0033】
参照画像格納部112には、2以上の参照画像が格納される。参照画像は、キー領域の識別価値を取得する際に使用される画像である。2以上の各参照画像は、2以上のカテゴリのうちのいずれかのカテゴリに対応付いている。2以上の各参照画像には、カテゴリを識別するカテゴリ識別子が対応付いている。例えば、カテゴリが「ガン」または「正常」である場合、2以上の各参照画像は、「ガン」の画像であるか、「正常」である画像である。
【0034】
キー領域とは、画像の中の領域であり、識別価値の多い領域である。キー領域は、例えば、画像から取得されたSIFT特徴量を用いて取得されるキーポイントである。なお、領域とは、1つの画素または2以上の画素の集合である。キー領域は、対象画像の前記カテゴリを区別するために有用な少領域であればよく、例えば、歩行者、車両認識に用いられるViola-Jones法のモザイク状の特徴画像であってもよい。
【0035】
カテゴリとは、画像の中の一部の領域の種類である。カテゴリは、例えば、「ガン」の領域、「正常」である細胞の領域である。また、カテゴリは、2でも良いし、3以上でも良い。カテゴリが3以上である場合は、例えば、「ガン」「肝硬変」「正常」である。なお、ここで、検出対象のカテゴリ(例えば、「ガン」の領域)を、適宜、目的カテゴリと言う。また、検出対象以外のカテゴリ(例えば、「正常」の領域)を、適宜、他カテゴリと言う。
【0036】
参照画像は、例えば、目的参照画像、または他参照画像である。目的参照画像は、目的カテゴリの画像(例えば、「ガン」の領域からなる画像)であり、目的カテゴリに対応付く参照画像である。他参照画像は、他カテゴリの画像(例えば、「正常」の領域からなる画像)であり、他カテゴリに対応付く参照画像である。
【0037】
条件格納部113には、1以上の条件が格納される。条件は、例えば、キー条件、選択条件、後述する類似条件である。
【0038】
キー条件は、画像からキー領域を決定するための条件である。キー条件は、例えば、画像から取得されたSIFT特徴量を用いて取得されるキーポイントであると判断されるための条件である。
【0039】
選択条件は、キー領域から、後述する有用キー領域を選択するための条件である。選択条件は、例えば、後述する識別価値が閾値以上であること、後述する識別価値が閾値より大きいことである。
【0040】
有用キー領域情報格納部114には、1または2以上の有用キー領域情報が格納される。有用キー領域情報は、蓄積部134が蓄積した情報である。有用キー領域情報格納部114には、2以上の各サイズ情報ごとに、1以上の有用キー領域情報が格納される。
【0041】
有用キー領域情報は、有用キー領域に関する情報である。有用キー領域情報は、例えば、有用キー領域の2以上の特徴量の集合である特徴量ベクトルである。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のSIFT特徴量を含む。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のHOG特徴量を含む。有用キー領域は、キー領域の中で、目的カテゴリの領域(例えば、ガン領域)を識別するために有用な領域である。
【0042】
有用キー領域情報格納部114には、1以上の目的有用キー領域情報と、1以上の他有用キー領域情報とが格納されることは好適である。なお、目的カテゴリを識別する能力の高い有用キー領域の有用キー領域情報を目的有用キー領域情報と言う。また、他カテゴリを識別する能力の高い有用キー領域の有用キー領域情報を他有用キー領域情報と言う。有用キー領域情報格納部114には、2以上の各サイズ情報ごとに、1以上の目的有用キー領域情報と、1以上の他有用キー領域情報とが格納されることは好適である。
【0043】
第一受付部12は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、開始指示、画像、参照画像、類似条件である。開始指示とは、有用キー領域情報の取得の開始の指示である。
【0044】
類似条件の受け付けとは、2つのベクトルが類似するか否かを判断する際の閾値の受け付けでも良い。また、類似条件の受け付けは、例えば、数値である閾値の受け付け、スライダーバーによる閾値の受け付け等であり、受け付け方法は問わない。
【0045】
なお、ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【0046】
また、各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0047】
第一処理部13は、各種の処理を行う。各種の処理とは、例えば、制御部130、キー領域決定部131、識別価値取得部132、有用キー領域決定部133、蓄積部134が行う処理である。
【0048】
制御部130は、サイズ情報格納部110に格納されている2以上の各サイズ情報を取得し、当該各サイズ情報をキー領域決定部131に渡す。
【0049】
キー領域決定部131は、制御部130から渡された2以上の各サイズ情報ごとに、サイズ情報に合致する1以上のキー領域であり、条件格納部113のキー条件を満たす1以上のキー領域を画像から決定する。なお、画像は、画像格納部111の画像である。キー領域を決定することは、キー領域情報を取得すること、キー領域を特定する情報(例えば、画像内の1以上の座標値)を取得することである。
【0050】
キー領域決定部131は、例えば、2以上の各サイズ情報に対応付けて、キー領域情報。または/およびキー領域を特定する情報を取得する。
【0051】
キー領域情報とは、キー領域に関する情報である。キー領域情報は、例えば、キー領域の2以上の特徴量の集合である特徴量ベクトルである。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のSIFT特徴量を含む。特徴量ベクトルを構成する2以上の特徴量は、例えば、画像から取得される1以上のHOG特徴量を含む。
【0052】
キー領域決定部131は、1または2以上のキーポイントを画像から決定する。なお、画像からキーポイントを決定する処理は公知技術であるので、ここでの詳細な説明は省略する。また、キー領域決定部131は、例えば、対象となる画像から、キーポイントのキー領域情報を取得する。
【0053】
識別価値取得部132は、キー領域決定部131が決定した1以上の各キー領域の識別価値を取得する。識別価値取得部132は、サイズ情報ごとに、キー領域決定部131が決定した1以上の各キー領域の識別価値を取得することは好適である。
【0054】
識別価値とは、キー領域に関する情報である。識別価値は、目的カテゴリの領域を決定する能力に関する情報である。識別価値は、目的カテゴリ以外の特定のカテゴリ(例えば、「正常」)の領域を決定する能力に関する情報であることは好適である。
【0055】
識別価値取得部132は、例えば、キー領域ごとに、第一検査と第二検査とを行い、第一検査の結果と第二検査の結果とを用いて、1以上の各キー領域の識別価値を取得する。識別価値取得部132は、例えば、サイズ情報ごとに、キー領域ごとに、第一検査と第二検査とを行う。そして、識別価値取得部132は、サイズ情報ごとに、キー領域ごとに、第一検査の結果と第二検査の結果とを用いて、1以上の各キー領域の識別価値を取得することは好適である。
【0056】
第一検査とは、キー領域決定部131が決定した1以上の各キー領域に対応する領域が1以上の各目的参照画像に存在するか否かの検査である。なお、1以上の各目的参照画像は、参照画像格納部112に格納されている。
【0057】
第二検査とは、キー領域決定部131が決定した1以上の各キー領域が1以上の各他参照画像に存在するか否かの検査である。なお、1以上の各他参照画像は、参照画像格納部112に格納されている。
【0058】
なお、キー領域に対応する領域とは、キー領域情報に類似する領域情報に対する領域である。キー領域に対応する領域とは、例えば、キー領域情報と類似条件を満たす領域情報に対する領域である。類似条件は、2つの領域情報(例えば、ベクトル)の類似度が閾値以上であること、または閾値より大きいことである。類似条件は、条件格納部113に格納されている。
【0059】
識別価値取得部132は、例えば、第一検査の結果、キー領域に対応する領域が存在する目的参照画像が多いほど、当該キー領域に対して、大きな識別価値を取得する。
【0060】
識別価値取得部132は キー領域の第一検査の結果を用いて、当該キー領域の異常(例えば、癌)らしさの値である第一検査値を取得することは好適である。識別価値取得部132は、キー領域に対応するサイズ情報に応じて、異なる第一検査値を取得することは好適である。
【0061】
識別価値取得部132は、例えば、第二検査の結果、キー領域に対応する領域が存在する他参照画像が多いほど、当該キー領域に対して、小さな識別価値を取得する。識別価値取得部132は キー領域の第二検査の結果を用いて、当該キー領域の正常らしさの値である第二検査値を取得することは好適である。
【0062】
識別価値取得部132は、キー領域に対応するサイズ情報に応じて、異なる第二検査値を取得することは好適である。
【0063】
識別価値取得部132は、例えば、1以上の各目的参照画像に対して、キー領域情報と最も類似する領域情報を取得し、かかる領域情報との類似度をパラメータとする増加関数(例えば、加算)により、識別価値を取得する。
【0064】
識別価値取得部132は、例えば、1以上の各他参照画像に対して、キー領域情報と最も類似する領域情報を取得し、かかる領域情報との類似度をパラメータとする減少関数(例えば、減算)により、識別価値を取得する。
【0065】
識別価値取得部132は、キー領域情報に対応付けて、識別価値を図示しないバッファに蓄積することは好適である。識別価値取得部132は、キー領域情報に対応付けて、第一検査値、第二検査値も図示しないバッファに蓄積することは好適である。
【0066】
識別価値取得部132は 例えば、以下の数式1により、第一検査値を取得する。なお、カテゴリが「ガン」である場合、第一検査値はガンらしさを示す値であり、ガン特徴である、と言っても良い。
【0067】
【0068】
識別価値取得部132は、例えば、以下の数式2により、第二検査値を取得する。なお、カテゴリが「ガン」である場合、第二検査値は正常らしさを示す値であり、正常特徴ある、と言っても良い。
【0069】
【0070】
識別価値取得部132は、例えば、以下の数式3により、識別価値を取得する。なお、カテゴリが「ガン」または「正常」である場合、識別価値はガンらしさから正常らしさを減算した値であり、中立特徴である、と言っても良い。
【0071】
【0072】
ここで、上記の数式において、「P(fs)」は、カテゴリが「ガン」である場合、サイズ情報sの範囲にある特徴量fsがある場合に「ガン」である確率である。「P(fs
0)」は、サイズ情報sの範囲にある中立的な特徴量fs
0がある場合に「ガン」である確率である。「C(fs,fs
0)」は、サイズ情報sの範囲にある特徴量fsが持つ「ガン」である場合を正の値で、「正常」であることを負の値で示す識別価値である。
【0073】
識別価値取得部132は、キー領域に対応するサイズ情報に応じて、異なるP(fs
o)を用いて、第一検査値、および第二検査値を算出することは好適である。識別価値取得部132は、キー領域に対応するサイズを取得し、当該サイズに対応するサイズ情報に対応するP(fs
o)の値を、第一格納部11のテーブルから取得する。なお、テーブルは、2以上の各サイズ情報とP(fs
o)との対応を管理する表である。
【0074】
有用キー領域決定部133は、2以上の各サイズ情報ごとに、識別価値取得部132が取得した識別価値を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する。なお、サイズ情報ごとに選択条件が異なることは好適である。
【0075】
有用キー領域決定部133は、2以上の各サイズ情報ごとに、例えば、識別価値取得部132が取得した識別価値が選択条件を満たす1以上の有用領域を決定する。識別価値とは、目的カテゴリを識別する能力に関する情報である。
【0076】
また、選択条件は、例えば、識別価値が閾値以上、識別価値が閾値より大きいこと、識別価値が上位N個のキー領域であること等である。
【0077】
蓄積部134は、2以上の各サイズ情報ごとに、有用キー領域決定部133が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する。蓄積部134は、例えば、2以上の各サイズ情報ごとに、有用キー領域情報を有用キー領域情報格納部114に蓄積する。蓄積部134は、例えば、2以上の各サイズ情報を特定する識別子と対にして、1または2以上の有用キー領域情報を蓄積する
【0078】
蓄積部134は、有用キー領域情報を、識別価値取得部132が取得した識別価値に対応付けて蓄積することは好適である。
【0079】
蓄積部134は、1以上の目的有用キー領域情報と、1以上の他有用キー領域情報とを蓄積することは好適である。かかる場合、蓄積部134は、カテゴリ識別子に対応付けて有用キー領域情報を蓄積することは好適である。なお、カテゴリは3以上でも良い。また、目的有用キー領域情報とは、目的とするカテゴリ(例えば、「ガン」)のキー領域を特定する情報である。他有用キー領域情報とは、目的としないカテゴリ(例えば、「正常」)のキー領域を特定する情報である。
【0080】
第一出力部14は、各種の情報を出力する。各種の情報は、例えば、有用キー領域情報、処理が終了した旨の情報である。
【0081】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0082】
画像処理装置2を構成する第二格納部21には、各種の情報が格納される。各種の情報とは、例えば、参照画像、後述する対象画像、有用キー領域情報、1または2以上の小画像片サイズである。なお、有用キー領域情報格納部114の1または2以上の有用キー領域情報は、生産装置1が取得した有用キー領域情報であることは好適である。小画像片サイズは、小画像片のサイズを特定する情報である。
【0083】
対象画像格納部211には、1または2以上の対象画像が格納される。対象画像とは、処理対象の画像である。対象画像は、後述する出力画像の元になる画像である。対象画像は、例えば、医用画像である。対象画像は、例えば、ガンの領域を含む医用画像である。対象画像は、例えば、fMRI画像、PET画像、超音波画像等であり、その種類は問わない。対象画像は、例えば、TIFF、PNG、JPEG等の画像であるが、そのデータ構造等は問わない。
【0084】
第二格納部21の有用キー領域情報格納部114には、2以上の各サイズ情報ごとに、有用キー領域情報が格納される。有用キー領域情報格納部114には、2以上の各サイズ情報ごとに、1以上の目的有用キー領域情報と、1以上の他有用キー領域情報とが格納されていることは好適である。かかる有用キー領域情報には、カテゴリ識別子が対応付いている。
【0085】
第二受付部22は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、開始指示、対象画像、サイズ変更、有用キー領域情報、変更される類似条件である。開始指示とは、出力画像の出力処理の開始の指示である。
【0086】
サイズ変更とは、小画像片のサイズの変更の指示である。サイズ変更は、小画像片のサイズ情報を有する。サイズ情報は、例えば、小画像片の直径、小画像片の縦と横の長さである。
【0087】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0088】
第二処理部23は、各種の処理を行う。各種の処理とは、例えば、画像分割部231、キー領域決定部232、局所処理部233、信頼度処理部234、境界線決定部235、画像構成部236が行う処理である。
【0089】
画像分割部231は、対象画像から、各々、異なる領域の2以上の小画像片を取得する。なお、小画像片の形状は問わない。小画像片の形状は、例えば、円形、楕円形、矩形であえる。2以上の小画像片の領域に重なりがあっても良い。小画像片は、固定サイズ(例えば、xドット×yドットのサイズ(x,yは自然数))であることは好適であるが、第二受付部22が受け付けた可変のサイズでも良いし、画像分割部231が2以上の各サイズを自動的に取得して、サイズ毎に2以上の小画像片を取得しても良い。小画像片は、通常、2以上の画素を有する。
【0090】
キー領域決定部232は、対象画像から、2以上のキー領域を決定する。キー領域決定部232は、通常、画像分割部231が取得した2以上の各小画像片ごとに、1以上のキー領域を決定する。キー領域決定部232は、2以上のサイズ情報ごとに、1以上のキー領域を決定することは好適である。キー領域決定部232が、画像からキー領域を決定する処理は、キー領域決定部131と同じ処理で良い。
【0091】
局所処理部233は、画像分割部231が取得した2以上の各小画像片ごとに、当該小画像片の中の1以上のキー領域の識別価値を取得し、当該1以上の識別価値の代表値である識別代表値を取得する。
【0092】
局所処理部233は、画像分割部231が取得した2以上の各小画像片ごとに、当該小画像片の中の1以上の各キー領域ごとに、キー領域に関するキー領域情報と、有用キー領域情報格納部114に格納されている各有用キー領域情報とが類似するか否かを検査し、検査結果に応じた識別価値を、キー領域ごとに取得する。次に、局所処理部233は、画像分割部231が取得した2以上の各小画像片ごとに、当該小画像片の中の1以上のキー領域の識別価値の代表値の絶対値である識別代表値を取得する。なお、1以上の各キー領域の識別価値の代表値は、識別価値の平均値が好適でるが、中央値等でも良い。また、識別代表値は、1以上のキー領域の識別価値の絶対値は、1以上のキー領域の識別価値の代表値としても良い。
【0093】
局所処理部233は、1以上の各キー領域ごとに、当該キー領域情報と、有用キー領域情報格納部114に格納されている各有用キー領域情報とが類似条件を満たすか否かを検査し、類似条件を満たす有用キー領域情報が多いほど、大きな識別価値を取得する。
【0094】
局所処理部233は、例えば、1以上の各キー領域ごとに、当該キー領域情報と、有用キー領域情報格納部114に格納されている各目的有用キー領域情報とが類似条件を満たすか否かを検査し、類似条件を満たす目的有用キー領域情報が多いほど、大きな第一検査値を取得する。局所処理部233は、例えば、上述した数式1により第一検査値を取得する。なお、目的カテゴリは、例えば、「ガン」である。
【0095】
局所処理部233は、例えば、1以上の各キー領域ごとに、当該キー領域情報と、有用キー領域情報格納部114に格納されている各他有用キー領域情報とが類似条件を満たすか否かを検査し、類似条件を満たす目的有用キー領域情報が多いほど、大きな第二検査値を取得する。局所処理部233は、例えば、上述した数式2により第二検査値を取得する。なお、他カテゴリは、例えば、「正常」である。
【0096】
信頼度処理部234は、キー領域決定部232が決定した1以上の各キー領域に対応する第一検査、および第二検査を行い、当該第一検査および当該第二検査の結果を用いて、1以上の各キー領域の信頼度を取得する。なお、信頼度処理部234が第一検査を行うことは、既に実施されている第一検査の結果を取得することでも良い。信頼度処理部234が第二検査を行うことは、既に実施されている第二検査の結果を取得することでも良い。第一検査の結果は、例えば、第一検査値である。第二検査の結果は、例えば、第二検査値である。既に取得されている第一検査値、第二検査値は、通常、局所処理部233が取得した値である。
【0097】
なお、信頼度とは、識別価値に対する信頼の度合いを示す情報である。信頼度は、後述する境界線を決定する場合に利用される。また、癌のキー領域の信頼度は大きな値を示す、脂肪の領域の信頼度は小さな値を示す。
【0098】
信頼度処理部234は、例えば、キー領域決定部232が決定した1以上の各キー領域ごとに、各キー領域に対応する領域が1以上の各目的参照画像に存在する数が多いほど、大きな第一検査値を取得し、各キー領域に対応する領域が1以上の各他参照画像に存在する数が多いほど、大きな第二検査値を取得する。そして、信頼度処理部234は、例えば、キー領域ごとに、当該第一検査値と当該第二検査値とをパラメータとする増加関数により、信頼度を算出する。次に、信頼度処理部234は、2以上の各小画像片ごとに、各小画像片に属する1以上の各キー領域の信頼度の代表値である信頼代表値を取得する。ここで、信頼代表値は、信頼度の平均値であることは好適であるが、中央値等でも良い。なお、1以上の目的参照画像、1以上の他参照画像は、第二格納部21に格納されていても良い。
【0099】
信頼度処理部234は、キー領域決定部232が決定した1以上の各キー領域ごとに、以下の数式4により、信頼度を取得する。
【0100】
【数4】
信頼度は特徴量fが「ガン」または「正常」のいずれかを示す典型的な特徴量である場合に、正の値を示す。
【0101】
境界線決定部235は、1または2以上の各キー領域の識別価値が正の値の領域(例えば、カテゴリ「ガン」の領域)と、1または2以上の各キー領域の識別価値が負の値の領域(例えば、カテゴリ「正常」の領域)とを分ける境界線を決定する。
【0102】
境界線決定部235は、例えば、1または2以上の各キー領域の識別価値が正の値の領域(例えば、カテゴリ「ガン」の領域)と、1または2以上の各キー領域の識別価値が負の値の領域(例えば、カテゴリ「正常」の領域)とを分ける境界線であり、境界線上または境界線から近い(例えば、閾値以内の距離、閾値より少ない距離)1以上のキー領域の信頼度が信頼度条件を満たす境界線を決定する。
【0103】
境界線決定部235は、例えば、小画像片の識別代表値が識別条件を見たし、かつ当該小画像片の1以上のキー領域の信頼度が信頼度条件を満たす小画像片、または当該小画像片の中のキー領域に対応する境界線を決定する。
【0104】
識別条件とは、小画像片の中のいずれかの点または領域が境界に相応しいための条件である。識別条件は、識別代表値の値が小さいことである。識別条件は、識別代表値が第一閾値以下または第一閾値より小さいことである。識別条件は、例えば、「識別代表値=0」「識別代表値<=0.1」である。
【0105】
識別代表値の好適なものは、小画像片中(もしくは、適切な画像範囲について)の特徴量fについて和をとったものΣC(f,f0)である。前記識別代表値の好適なものにあっては小画像片中に、「ガン」を示す典型的な特徴と「正常」を示す典型的な特徴が混在している時には、互いに値が打ち消しあって0に近い値となるという性質を持つ。
【0106】
信頼度条件とは、小画像片の1以上のキー領域の信頼度が境界に相応しいための条件である。信頼度条件は、小画像片の1以上のキー領域の信頼度が大きいことである。
【0107】
信頼度代表値の好適なものは、小画像片中(もしくは、適切な画像範囲について)のfについて和をとったものΣD(f,f0)である。前記信頼度代表値の好適なものにあっては小画像片中に、「ガン」を示す典型的な特徴と「正常」を示す典型的な特徴が混在している時には、前記識別代表値と異なり互いに値が打ち消し会うことはなく、互いに補完するようになり大きな正の値となるという性質を持つ。前記信頼度代表値の好適なものが0に近い値を持つ場合とは、「ガン」または「正常」のいずれかを示す典型的な特徴量が小画像片中(もしくは、適切な画像範囲について)に含まれない場合、またはそもそも特徴量がほとんどない場合などである。
信頼度条件は、例えば、信頼代表値が第二閾値以上または第二閾値より大きいことである。なお、信頼代表値とは、小画像片の1以上のキー領域の信頼度の代表値である。信頼代表値は、例えば、1以上のキー領域の信頼度の平均値であるが、中央値等でも良い。信頼度条件は、例えば、小画像片の1以上のキー領域のうち、第三閾値以上または第三閾値より大きい値の信頼度の割合いが第四閾値以上または第四閾値より大きいことである。信頼度条件は、例えば、小画像片の1以上のキー領域のうち、第五閾値以上または第五閾値より小さい値の信頼度の割合いが第六閾値以下または第六閾値より小さいことである。信頼度条件は、例えば、小画像片の1以上のキー領域のうち、第七閾値以上または第七閾値より大きい値の信頼度の数が第八閾値以上または第八閾値より多いことである。信頼度条件は、例えば、小画像片の1以上のキー領域のうち、第九閾値以下または第九閾値より小さい値の信頼度の数が第十閾値以下または第十閾値より少ないことである。
【0108】
境界線決定部235は、例えば、小画像片の識別代表値が識別条件を見たし、かつ当該小画像片の1以上のキー領域の信頼度が信頼度条件を満たす小画像片を決定し、当該2以上の各小画像片の代表点を結んだ境界線を決定する。なお、代表点は、小画像片の重心点や中心点であることは好適であるが、小画像片の輪郭を構成する点等でも良い。
【0109】
画像構成部236は、対象画像に対して境界線決定部235が決定した境界線が明示された画像を構成する。対象画像に対する画像とは、対象画像をそのまま使った画像でも良いし、対象画像に対して取得された2以上の各小画像片の識別価値を用いた画像等でも良い。
【0110】
画像構成部236は、例えば、対象画像の上に、境界線を明示した画像を構成しても良いし、局所処理部233が取得した2以上の各小画像片の識別代表値を反映させた画像の上に、境界線を明示した画像を構成しても良い。
【0111】
第二出力部24は、各種の情報を出力する。各種の情報とは、例えば、画像である。
【0112】
画像出力部241は、画像構成部236が構成した画像を出力する。かかる画像を出力画像と言っても良い。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0113】
第一格納部11、サイズ情報格納部110、画像格納部111、参照画像格納部112、条件格納部113、有用キー領域情報格納部114、第二格納部21、および対象画像格納部211は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0114】
第一格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が第一格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が第一格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が第一格納部11等で記憶されるようになってもよい。
【0115】
第一受付部12、および第二受付部22は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。第一受付部12、および第二受付部22は、通信手段で実現されても良い。
【0116】
第一処理部13、制御部130、キー領域決定部131、識別価値取得部132、有用キー領域決定部133、蓄積部134、第二処理部23、画像分割部231、キー領域決定部232、局所処理部233、信頼度処理部234、境界線決定部235、および画像構成部236は、通常、プロセッサやメモリ等から実現され得る。第一処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、例えば、CPU、MPU、GPU等であり、その種類は問わない。
【0117】
第一出力部14、第二出力部24、および画像出力部241は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第一出力部14は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。なお、第一出力部14、第二出力部24、および画像出力部241は、通信手段で実現されても良い。
【0118】
次に、生産装置1の動作例について、
図3のフローチャートを用いて説明する。なお、例えば、第一受付部12が開始指示を受け付けた場合に、ステップS301以降の処理が行われる。
【0119】
(ステップS301)制御部130は、カウンタiに1を代入する。
【0120】
(ステップS302)制御部130は、画像格納部111にi番目の画像が存在するか否かを判断する。i番目の画像が存在する場合はステップS303に行き、i番目の画像が存在しない場合は処理を終了する。
【0121】
(ステップS303)キー領域決定部131は、画像格納部111からi番目の画像を取得する。
【0122】
(ステップS304)制御部130は、カウンタjに1を代入する。
【0123】
(ステップS305)制御部130は、サイズ情報格納部110にj番目のサイズ情報が格納されているか否かを判断する。j番目のサイズ情報が格納されている場合はステップS306に行き、j番目のサイズ情報が格納されていない場合はステップS315に行く。
【0124】
(ステップS306)制御部130は、j番目のサイズ情報をサイズ情報格納部110から取得する。
【0125】
(ステップS307)キー領域決定部131は、ステップS303で取得したi番目の画像から、ステップS306で取得されたj番目のサイズ情報に合致するサイズの1以上のキー領域のキー領域情報を取得し、j番目のサイズ情報と対にして、図示しないバッファに一時蓄積する。なお、画像から、特定のサイズのキー領域のキー領域情報を取得する処理は公知技術により可能である。
【0126】
(ステップS308)制御部130は、カウンタkに1を代入する。
【0127】
(ステップS309)制御部130は、図示しないバッファに、j番目のサイズ情報と対になるk番目のキー領域情報が存在するか否かを判断する。k番目のキー領域情報が存在する場合はステップS310に行き、存在しない場合はステップS314に行く。なお、k番目のキー領域情報は、ステップS307で蓄積された情報である。
【0128】
(ステップS310)識別価値取得部132は、j番目のサイズ情報と対になるk番目のキー領域情報の識別価値を取得する。かかる識別価値取得処理の例について、
図4のフローチャートを用いて説明する。
【0129】
(ステップS311)有用キー領域決定部133は、条件格納部113から選択条件を取得する。有用キー領域決定部133は、ステップS310で取得した識別価値が選択条件を満たすか否かを判断する。選択条件を満たす場合はステップS312に行き、選択条件を満たさない場合はステップS313に行く。
【0130】
(ステップS312)蓄積部134は、j番目のサイズ情報と、k番目のキー領域情報と、k番目のキー領域情報の識別価値とを対応付けて、有用キー領域情報格納部114に蓄積する。
【0131】
(ステップS313)制御部130は、カウンタkを1、インクリメントする。ステップS309に戻る。
【0132】
(ステップS314)制御部130は、カウンタjを1、インクリメントする。ステップS305に戻る。
【0133】
(ステップS315)制御部130は、カウンタiを1、インクリメントする。ステップS302に戻る。
【0134】
次に、ステップS310の識別価値取得処理の例について、
図4のフローチャートを用いて説明する。
【0135】
(ステップS401)識別価値取得部132は、初期化の処理を行う。つまり、識別価値取得部132は、変数「目的参照情報」、変数「他参照情報」に0を代入する。
【0136】
なお、変数「目的参照情報」は、目的参照画像から取得される情報であり、対象となるキー領域の識別価値を取得するための元になる情報である。変数「目的参照情報」は、例えば、対象となるキー領域情報と類似する(類似条件を満たす)キー領域情報を有する目的参照画像の数である。変数「目的参照情報」は、例えば、対象となるキー領域情報と類似するキー領域情報を有する目的参照画像における、類似するキー領域情報の類似度を加算した値である。
【0137】
変数「他参照情報」は、他参照画像から取得される情報であり、対象となるキー領域の識別価値を取得するための元になる情報である。変数「他参照情報」は、例えば、対象となるキー領域情報と類似する(類似条件を満たす)キー領域情報を有する他参照画像の数である。変数「他参照情報」は、例えば、対象となるキー領域情報と類似するキー領域情報を有する他参照画像における、類似するキー領域情報の類似度を加算した値である。
【0138】
(ステップS402)識別価値取得部132は、カウンタiに1を代入する。
【0139】
(ステップS403)識別価値取得部132は、i番目の目的参照画像が参照画像格納部112に存在するか否かを判断する。i番目の目的参照画像が存在する場合はステップS404に行き、存在しない場合はステップS413に行く。
【0140】
(ステップS404)識別価値取得部132は、i番目の目的参照画像を参照画像格納部112から取得する。
【0141】
(ステップS405)キー領域決定部131は、ステップS404で取得されたi番目の目的参照画像から、キー領域情報である1以上の参照キー領域情報を取得する。
【0142】
(ステップS406)識別価値取得部132は、カウンタjに1を代入する。
【0143】
(ステップS407)識別価値取得部132は、ステップS405で取得した参照キー領域情報のうち、j番目の参照キー領域情報が存在するか否かを判断する。j番目の参照キー領域情報が存在する場合はステップS408に行き、存在しない場合はステップS411に行く。
【0144】
(ステップS408)識別価値取得部132は、対象となるキー領域情報(S309のk番目のキー領域情報)とj番目の参照キー領域情報との類似度を算出する。
【0145】
(ステップS409)識別価値取得部132は、ステップS408で算出した類似度が類似条件を満たすか否かを判断する。類似条件を満たす場合(類似する場合)はステップS410に行き、類似条件を満たさない場合(類似しない場合)はステップS412に行く。
【0146】
(ステップS410)識別価値取得部132は、変数「目的参照情報」を更新する。なお、識別価値取得部132は、通常、変数「目的参照情報」を増加させる。識別価値取得部132は、例えば、変数「目的参照情報」に1を加える。識別価値取得部132は、例えば、変数「目的参照情報」に、ステップS408で算出した類似度を加える。
【0147】
なお、次に、ステップS411に移行せずに、キー領域情報と、i番目の目的参照画像のすべての参照キー領域情報との類似度を取得し、当該類似度を用いて、当該キー領域情報の目的参照情報を取得しても良い。
【0148】
(ステップS411)識別価値取得部132は、カウンタiを1、インクリメントする。ステップS402に戻る。
【0149】
(ステップS412)識別価値取得部132は、カウンタjを1、インクリメントする。ステップS407に戻る。
【0150】
(ステップS413)識別価値取得部132は、カウンタkに1を代入する。
【0151】
(ステップS414)識別価値取得部132は、k番目の他参照画像が参照画像格納部112に存在するか否かを判断する。k番目の他参照画像が存在する場合はステップS415に行き、存在しない場合はステップS424に行く。
【0152】
(ステップS415)識別価値取得部132は、k番目の他参照画像を参照画像格納部112から取得する。
【0153】
(ステップS416)キー領域決定部131は、ステップS415で取得されたk番目の他参照画像から、キー領域情報である1以上の参照キー領域情報を取得する。
【0154】
(ステップS417)識別価値取得部132は、カウンタlに1を代入する。
【0155】
(ステップS418)識別価値取得部132は、ステップS416で取得した参照キー領域情報のうち、l番目の参照キー領域情報が存在するか否かを判断する。l番目の参照キー領域情報が存在する場はステップS419に行き、存在しない場合はステップS422に行く。
【0156】
(ステップS419)識別価値取得部132は、対象となるキー領域情報とl番目の参照キー領域情報との類似度を算出する。
【0157】
(ステップS420)識別価値取得部132は、ステップS419で算出した類似度が類似条件を満たすか否かを判断する。類似条件を満たす場合はステップS421に行き、類似条件を満たさない場合はステップS423に行く。
【0158】
(ステップS421)識別価値取得部132は、変数「他参照情報」を更新する。なお、識別価値取得部132は、通常、変数「他参照情報」を増加させる。識別価値取得部132は、例えば、変数「他参照情報」に1を加える。識別価値取得部132は、例えば、変数「他参照情報」に、ステップS408で算出した類似度を加える。
【0159】
なお、次に、ステップS422に移行せずに、キー領域情報と、i番目の他参照画像のすべての参照キー領域情報との類似度を取得し、当該類似度を用いて、当該キー領域情報の他参照情報を取得しても良い。
【0160】
(ステップS422)識別価値取得部132は、カウンタkを1、インクリメントする。ステップS414に戻る。
【0161】
(ステップS423)識別価値取得部132は、カウンタlを1、インクリメントする。ステップS418に戻る。
【0162】
(ステップS424)識別価値取得部132は、変数「目的参照情報」と変数「他参照情報」とを用いて、識別価値を算出する。上位処理にリターンする。
【0163】
なお、識別価値取得部132は、通常、変数「目的参照情報」の値をパラメータとする増加関数により、識別価値を算出する。また、識別価値取得部132は、通常、変数「他参照情報」の値をパラメータとする減少関数により、識別価値を算出する。なお、「目的参照情報」と「他参照情報」は一方が大きくなれば他方が小さくなるという性質を持っているから、カテゴリを区別する効果を得るために、識別価値取得部132は、変数「他参照情報」の値をパラメータとする増加関数により、識別価値を算出しても良い。
【0164】
識別価値取得部132は、例えば、変数「目的参照情報」の値をパラメータとする増加関数(例えば、数式1)により、癌らしさを特定する第一検査値を算出する。また、識別価値取得部132は、例えば、変数「他参照情報」の値をパラメータとする増加関数(例えば、数式2)により、正常らしさを特定する第二検査値を算出する。次に、識別価値取得部132は、例えば、「第一検査値-第二検査値」(数式3)により識別価値を算出する。
【0165】
次に、画像処理装置2の動作例について、
図5のフローチャートを用いて説明する。なお、ここでは、一の対象画像から出力画像を取得する処理について説明する。
【0166】
(ステップS501)第二受付部22は、対象画像を受け付けたか否かを判断する。対象画像を受け付けた場合はステップS502に行き、対象画像を受け付けなかった場合はステップS521に行く。なお、対象画像の受け付けは、例えば、対象画像格納部211に格納されている一の対象画像の識別子の受け付けである。
【0167】
(ステップS502)キー領域決定部232は、ステップS501で受け付けられた対象画像を取得する。次に、キー領域決定部232は、対象画像から1以上のキー領域を決定し、当該1以上の各キー領域のキー領域情報を取得する。
【0168】
(ステップS503)画像分割部231は、カウンタiに1を代入する。
【0169】
(ステップS504)画像分割部231は、i番目の小画像片サイズが第二格納部21に存在するか否かを判断する。i番目の小画像片サイズが存在する場合はステップS505に行き、存在しない場合はステップS501に戻る。なお、最初に取得される小画像片サイズは、第二格納部21の小画像片サイズの中の最大のサイズであることは好適である。
【0170】
(ステップS505)画像分割部231は、i番目の小画像片サイズを第二格納部21から取得する。
【0171】
(ステップS506)画像分割部231は、カウンタjに1を代入する。
【0172】
(ステップS507)画像分割部231は、対象画像の中に、i番目の小画像片サイズの小画像片であり、j番目の小画像片が取れるか否か(存在するか否か)を判断する。j番目の小画像片が取れる場合はステップS507に行き、j番目の小画像片が取れない場合はステップS515に行く。
【0173】
(ステップS508)局所処理部233は、カウンタkに1を代入する。
【0174】
(ステップS509)局所処理部233は、j番目の小画像片の中に、k番目のキー領域情報が存在するか否かを判断する。k番目のキー領域情報が存在する場合はステップS510、k番目のキー領域情報が存在しない場合はステップS513に行く。
【0175】
(ステップS510)局所処理部233は、k番目のキー領域情報の識別価値を取得する。なお、キー領域情報の識別価値を取得する処理は、有用キー領域情報格納部114に格納されている各有用キー領域情報を使用することは好適である。ただし、キー領域情報の識別価値を取得する処理は、
図4で説明した処理と同じでも良い。
【0176】
(ステップS511)信頼度処理部234は、k番目のキー領域情報の信頼度を取得する。信頼度処理部234は、例えば、ステップS510で取得された第一検査値と第二検査値との和を算出し、信頼度を取得する。
【0177】
(ステップS512)局所処理部233は、カウンタkを1、インクリメントする。ステップS509に戻る。
【0178】
(ステップS513)局所処理部233は、j番目の小画像片の中の1以上のキー領域の識別価値の代表値の絶対値である識別代表値を取得し、j番目の小画像片に対応付けて、当該識別代表値を図示しないバッファに蓄積する。
【0179】
(ステップS514)画像分割部231は、カウンタjを1、インクリメントする。ステップS507に戻る。
【0180】
(ステップS515)境界線決定部235は、2以上の各小画像片の識別代表値と信頼度とを用いて、境界線決定処理を行う。境界線決定処理の例について、
図6のフローチャートを用いて説明する。
【0181】
(ステップS516)画像構成部236は、画像構成処理を行う。画像構成処理の例について、
図7のフローチャートを用いて説明する。
【0182】
(ステップS517)画像構成部236は、ステップS516で構成した画像を、対象画像、および小画像片のサイズに対応付けて蓄積する。なお、当該画像の蓄積先は、例えば、第二格納部21であるが、問わない。
【0183】
(ステップS518)画像出力部241は、画像を出力するか否かを判断する。画像を出力する場合はステップS519に行き、出力しない場合はステップS520に行く。なお、画像を出力する場合は、例えば、画像が出力されていない場合、受け付けられたサイズ変更に対応する画像を取得した場合である。
【0184】
(ステップS519)画像出力部241は、ステップS516で構成した画像を出力する。
【0185】
(ステップS520)画像分割部231は、カウンタiを1、インクリメントする。ステップS504に戻る。
【0186】
(ステップS521)第二受付部22は、サイズ変更を受け付けたか否かを判断する。サイズ変更を受け付けた場合はステップS522に行き、サイズ変更を受け付けなかった場合はステップS501に戻る。
【0187】
(ステップS522)第二処理部23は、ステップS521で受け付けられたサイズ変更に対応するサイズの小画像片により構成された画像が、既に蓄積されているか否かを判断する。当該画像が存在する場合はステップS524に行き、存在しない場合はステップS506に行く。
【0188】
(ステップS523)画像出力部241は、ステップS521で受け付けられたサイズ変更に対応する小画像片サイズに対応する画像を取得する。
【0189】
(ステップS524)画像出力部241は、ステップS523で取得した画像を出力する。ステップS501に戻る。
【0190】
なお、
図5のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0191】
次に、ステップS515の境界線決定処理の例について、
図6のフローチャートを用いて説明する。
【0192】
(ステップS601)境界線決定部235は、カウンタiに1を代入する。
【0193】
(ステップS602)境界線決定部235は、i番目の小画像片が存在するか否かを判断する。i番目の小画像片が存在する場合はステップS603に行き、i番目の小画像片が存在しない場合はステップS609に行く。
【0194】
(ステップS603)境界線決定部235は、i番目の小画像片の識別代表値を取得する。
【0195】
(ステップS604)境界線決定部235は、ステップS603で取得した識別代表値が識別条件を満たすか否かを判断する。識別条件を満たす場合はステップS605に行き、識別条件を満たさない場合はステップS608に行く。
【0196】
(ステップS605)境界線決定部235は、i番目の小画像片の中の1以上の各キー領域の信頼度を取得する。
【0197】
(ステップS606)境界線決定部235は、ステップS605で取得した1以上の信頼度が信頼度条件を満たすか否かを判断する。信頼度条件を満たす場合はステップS607に行き、信頼度条件を満たさない場合はステップS608に行く。
【0198】
(ステップS607)境界線決定部235は、境界線決定部235は、i番目の小画像片の領域の代表点を取得し、図示しないバッファに代表点(例えば、座標値)を一時蓄積する。なお、かかる代表点は、境界線情報を構成する。
【0199】
(ステップS608)境界線決定部235は、カウンタiを1、インクリメントする。ステップS602に戻る。
【0200】
(ステップS609)境界線決定部235は、ステップS607で取得した1以上の代表点が通過する境界線の情報である境界線情報を取得し、当該境界線情報を図示しないバッファに蓄積する。上位処理にリターンする。
【0201】
次に、ステップS516の画像構成処理の例について、
図7のフローチャートを用いて説明する。
【0202】
(ステップS701)画像構成部236は、対象画像を取得する。
【0203】
(ステップS702)画像構成部236は、カウンタiに1を代入する。
【0204】
(ステップS703)画像構成部236は、対象画像に、i番目の小画像片が存在するか否かを判断する。i番目の小画像片が存在する場合はステップS704に行き、存在しない場合はステップS707に行く。
【0205】
(ステップS704)画像構成部236は、i番目の小画像片に対応する識別価値を取得する。
【0206】
(ステップS705)画像構成部236は、対象画像において、i番目の小画像片の領域に、ステップS704で取得した識別価値を反映された画像とする。画像構成部236は、例えば、対象画像におけるi番目の小画像片の領域の色を、ステップS704で取得した識別価値に対応する色にする。
【0207】
(ステップS706)画像構成部236は、カウンタiを1、インクリメントする。ステップS703に戻る。
【0208】
(ステップS707)画像構成部236は、ステップS705で対象画像が加工された画像に対して、図示しないバッファに格納されている境界線情報を用いて、境界線を引き、境界線が明示された画像を構成する。上位処理にリターンする。
【0209】
なお、境界線は、例えば、癌の領域と正常な領域との境界線である。
【0210】
以下、本実施の形態における生産装置1の具体的な動作例について説明する。
【0211】
生産装置1のサイズ情報格納部110には、「0<サイズ<=2」「2<サイズ<=4」「4<サイズ<=6」「6<サイズ<=8」「8<サイズ<=10」「10<サイズ<=12」「12<サイズ」の7つのサイズ情報が格納されている、とする。なお、サイズ情報は、検知すべきキー領域のサイズを決定するための条件である。サイズ情報は、ここでは、画素数である。
【0212】
画像格納部111には、1または2以上の医用画像が格納されている、とする。医用画像は、ガンの領域と正常な領域とを含む、とする。
【0213】
参照画像格納部112には、カテゴリ識別子「ガン」に対応付いた2以上の参照画像が格納されている、とする。かかる参照画像は、ガン細胞の領域の画像である。また、参照画像格納部112には、カテゴリ識別子「正常」に対応付いた2以上の参照画像が格納されている、とする。かかる参照画像は、正常な細胞の領域の画像である。
【0214】
かかる状況において、ユーザは、生産装置1に対して、開始指示を入力した、とする。次に、生産装置1の第一受付部12は、開始指示を受け付ける。
【0215】
すると、画像格納部111の1以上の各医用画像に対して、以下のような処理が行われ、サイズ情報ごとに、多数の有用キー領域情報が有用キー領域情報格納部114に蓄積される。
【0216】
つまり、まず、制御部130は、サイズ情報格納部110からサイズ情報「0<サイズ<=2」を取得する。
【0217】
また、キー領域決定部131は、画像格納部111から医用画像(以下、適宜「画像」と言う)を取得する。
【0218】
次に、キー領域決定部131は、取得した画像から、サイズ情報「0<サイズ<=2」に合致するサイズを有する1以上のキーポイント(キー領域の一例)を決定する。好ましい画像特徴量としてSIFT特徴量を用いて説明すると、キー領域決定部131は、
図8に示すように、取得した画像801に対して、異なるスケール(σ、k
1σ、k
2σ、k
3σ、k
4σ・・・(σ、k
xは正の数、xは自然数)の平滑化画像を取得する。次に、キー領域決定部131は、スケールが隣接する2つの平滑化画像の差分の画像であるDoc画像を取得する(
図8参照)。
【0219】
次に、キー領域決定部131は、各Doc画像から極値を検出する。キー領域決定部131は、注目画素のDoG値を画像スケール空間の26近傍と比較する。その26近傍よりも極大・極小の場合、その点をキーポイントの候補とする(
図9参照)。なお、
図9において、キー領域決定部131は、注目画素(3枚1組のDoc画像の真ん中のDoc画像の中の色付きの画素の中央の画素)のDoG値と、当該注目画素に隣接する画素のDoG値、および3枚1組のDoc画像の上のDoc画像と下のDoc画像の中の対応する画素(上のDoc画像と下のDoc画像の中の色付きの画素)のDoc画像とを比較し、注目画素のDoG値が比較対象の他の画素のDoG値よりも極大または極小の場合、当該注目画素をキーポイントの候補とする。
【0220】
また、キー領域決定部131は、キーポイントの候補から、エッジ上の点やDoG値が小さいもの(例えば、0.03以下のもの)を除外すること等により、キーポイントの候補の絞り込みを行う。なお、キー領域決定部131は、サブピクセル位置推定、およびコントラストの閾値処理を行うことは好適である。
【0221】
次に、キー領域決定部131は、残った1以上の各キーポイントが持つサイズ情報「0<サイズ<=2」に合致するスケールに対応する領域から、勾配方向を算出する。かかる概念図は
図10である。また、キー領域決定部131は、ガウス窓と勾配強度を掛け合わせた重みを、36方向の勾配方向ヒストグラムに加算する。また、キー領域決定部131は、ヒストグラムの最大値から、ここでは、例えば、80%以上となるピークを、キーポイントのオリエンテーションとして割り当てる(
図11参照)。かかる割り当てられたキーポイントが、選択されたキーポイントである。なお、キーポイントによっては、オリエンテーションが2つとなる場合もある。
【0222】
次に、キー領域決定部131は、検出されたオリエンテーションをもとにして、キー領域情報として、128次元の特徴量のベクトルを取得する。まず、キー領域決定部131は、特徴量を記述する領域をキーポイントがもつオリエンテーションに合わせて回転させる。特徴量のベクトルは、キーポイント周辺の勾配情報を要素とする。この勾配情報は、キーポイントを中心として、そのキーポイントがもつスケールを半径とした円から求められる情報である。例えば、この領域は4×4のブロックに分割した各ブロック単位となり、1つのブロックは8つの方向からなるため、領域には、合計して128次元の特徴量が存在することとなる。キー領域決定部131は、この特徴量を用いて、
図12のような勾配方向ヒストグラムを作成する。その際、キー領域決定部131は、128次元の特徴ベクトルの長さをベクトルの総和で正規化する。これにより、キー領域決定部131は、照明変化に耐性のあるSIFT特徴量ベクトルを取得することとなる。
【0223】
キー領域決定部131は、以上の処理を、サイズ情報格納部110のサイズ情報ごとに行い、サイズ情報ごとにキー領域を決定する。
【0224】
なお、発明者の実験では、
図13に示すように、小さいサイズ(キーポイントサイズ)のキー領域はがん領域であることが多く、大きいサイズのキー領域は正常領域であることが多いことが分かった。つまり、
図13において、キーポイントサイズが小さい場合(a)はがん領域であることが多く、キーポイントサイズが大きい場合(b)は正常領域であることが多い。
【0225】
以上の処理もしくはカテゴリの違いを評価するために有用な小さな画像領域を抽出できる他の処理を、複数の医用画像に対して行うことにより、多数のキー領域情報が取得される。キー領域情報は、ここでは、SIFT特徴量として計算された128次元の特徴ベクトルである。
【0226】
次に、識別価値取得部132は、キー領域決定部131により取得された1以上の各キー領域情報の識別価値を、上述した数式1、数式2、数式3を用いて、算出する。
【0227】
次に、有用キー領域決定部133は、1以上の各キー領域情報の識別価値が、選択条件に合致するか否かを判断し、選択条件に合致しる1以上の各キー領域情報を、有用キー領域情報として取得する。
【0228】
次に、蓄積部134は、サイズ情報格納部110のサイズ情報ごとに、1以上の各有用キー領域情報と、各有用キー領域情報の識別価値とを対応付けて、有用キー領域情報格納部114に蓄積する。蓄積部134は、第一検査値、第二検査値をも、各有用キー領域情報対応付けて、有用キー領域情報格納部114に蓄積することは好適である。
【0229】
以上の処理により、生産装置1は、サイズ情報格納部110のサイズ情報ごとに、「ガン」を識別する能力の高い多数の有用キー領域情報を蓄積できた。なお、ここで、「ガン」を識別する能力の高い有用キー領域情報を目的有用キー領域情報と言う。
【0230】
また、上記の処理と同じアルゴリズムの処理を行い、生産装置1は、サイズ情報格納部110のサイズ情報ごとに、「正常」を識別する能力の高い多数の有用キー領域情報を蓄積できた、とする。なお、ここで、「ガン」の画像と、「正常」の画像とを入れ替えて、上記と同じアルゴリズムで生産装置1が動作すれば、「正常」を識別する能力の高い多数の有用キー領域情報を蓄積できる。また、ここで、「正常」を識別する能力の高い有用キー領域情報を他有用キー領域情報と言う。
【0231】
次に、画像処理装置2は、以下に示す処理により、生産装置1が蓄積した、サイズ情報格納部110のサイズ情報ごとの多数の有用キー領域情報を用いて、ガン領域を含む医用画像から出力画像を構成し、出力する。なお、画像処理装置2の有用キー領域情報格納部114には、サイズ情報格納部110のサイズ情報ごとに、生産装置1が取得した多数の目的有用キー領域情報と多数の他有用キー領域情報とが蓄積されている、とする。また、対象画像格納部211には、ガン領域を含む医用画像(以下、適宜、「対象画像」と言う。)が格納されている、とする。
【0232】
かかる状況において、ユーザは、画像処理装置2に対して、開始指示を入力した、とする。すると、画像処理装置2の第二受付部22は、開始指示を受け付ける。
【0233】
次に、キー領域決定部232は、対象画像格納部211から、開始指示に対応する対象画像を取得する。次に、キー領域決定部232は、対象画像から1以上のキー領域を決定し、各キー領域のキー領域情報を取得する。
【0234】
次に、画像分割部231は、開始指示に含まれる小画像片サイズ、またはデフォルトの小画像片サイズを取得する。なお、ここでは、小画像片は円形であり、小画像片サイズは円の直径である、とする。
【0235】
画像分割部231は、小画像片サイズの中心をずらしながら、対象画像から、取得した小画像片サイズの2以上の小画像片を取得する。
【0236】
次に、局所処理部233は、2以上の各小画像片ごとに、小画像片の中のキー領域のキー領域情報の識別価値を取得する。キー領域情報の識別価値を取得する処理は、上記の数式1、数式2、および数式3を用いた処理である。
【0237】
次に、局所処理部233は、2以上の各小画像片ごとに、小画像片の中の1以上のキー領域の識別価値の平均値の絶対値である識別代表値を取得する。
【0238】
また、信頼度処理部234は、2以上の各小画像片ごとに、小画像片の中のキー領域のキー領域情報の信頼度を取得する。キー領域情報の信頼度を取得する処理は、上記の数式1、数式2、および数式4を用いた処理である。
【0239】
次に、信頼度処理部234は、2以上の各小画像片ごとに、小画像片の中の1以上のキー領域の信頼度の平均値である信頼代表値を取得する。
【0240】
次に、境界線決定部235は、2以上の各小画像片の中から、識別代表値が識別条件(例えば、「識別代表値<=第一閾値」)を満たし、かつ信頼代表値が信頼度条件(例えば、「識別代表値<=第二閾値」)を満たす2以上の小画像片を決定する。次に、境界線決定部235は、決定した2以上の各小画像片の中心点の座標値(例えば、「(x1,y1)(x2,y2)・・・(xn,yn)」を含む境界線情報を構成する。
【0241】
次に、画像構成部236は、対象画像を取得する。次に、画像構成部236は、対象画像の2以上の各小画像片に対応する識別価値を取得する。次に、画像構成部236は、対象画像の2以上の各小画像片の領域に、識別価値を反映させる。画像構成部236は、例えば、対象画像に対して、2以上の各小画像片の中心の円の領域を、小画像片の識別価値が+の場合は赤色で、―の場合は青色で塗りつぶす。次に、画像構成部236は、境界線決定部235が構成した境界線情報を用いて、境界線情報に含まれる2以上の点を近い順に線で繋ぎ、対象画像の上に線を引く。以上の処理により、画像構成部236は、出力する画像を構成できた。
【0242】
次に、画像出力部241は、画像構成部236が構成した当該画像を出力する。かかる出力例は、
図14である。
図14では、癌領域と正常領域とが塗り分けられ、2つの領域の境界を明示できる。
図14において、対象画像1401の中の1402は、癌領域1403と正常領域1404との境界線である。癌領域と正常領域とが狭い範囲に存在する領域1405を拡大した領域が1406、1407である。
【0243】
なお、画像処理装置2の出力を、画像ではなく、境界線情報とする簡便な構成をとることも可能である。
【0244】
以上、本実施の形態の生産装置1によれば、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像を得るための有用な情報を取得できる。
【0245】
また、本実施の形態の画像処理装置2によれば、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られる。
【0246】
また、本実施の形態の画像処理装置2によれば、ガン領域と正常領域との境界線を提示できることにより、ガンの領域の形状が明示できる。その結果、当該ガンの領域が原発性ガンか転移ガンかを判断できやすくなる。なお、転移ガンの領域は円形に類似する傾向にあり、原発性ガンの形状は歪な形状である傾向にある。
【0247】
さらに、本実施の形態の画像処理装置2によれば、受け付けられた類似条件の変更に応じて、動的に、出力画像を変更できる。
【0248】
なお、本実施の形態における画像処理装置2は、対象画像から小画像片を取得せずに、対象画像に対する境界線を取得しても良い。かかる場合の画像処理装置2のブロック図は、
図15である。また、画像処理装置2は、目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部112と、1以上の有用キー領域情報が格納される有用キー領域情報格納部114と、処理対象の画像である対象画像が格納される対象画像格納部211と、前記対象画像から2以上のキー領域を決定するキー領域決定部131と、前記1以上の有用キー領域情報を用いて、前記キー領域決定部が取得した2以上の各キー領域の識別価値を取得する局所処理部233と、前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記2以上の各キー領域の信頼度を取得する信頼度処理部234と、キー領域の識別価値が正の値の領域と、キー領域の識別価値が負の値の領域とを分ける境界線であり、境界線上または境界線から近い1以上のキー領域の信頼度が信頼度条件を満たす境界線を決定する境界線決定部235と、前記対象画像に対して前記境界線決定部が決定した境界線が明示された画像を構成する画像構成部236と、前記画像構成部が構成した前記画像を出力する画像出力部241とを具備する画像処理装置2である。
【0249】
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における生産装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、画像が格納される画像格納部にアクセス可能なコンピュータを、キー領域のサイズに関する2以上の各サイズ情報ごとに、キー条件を満たす1以上のキー領域を前記画像から決定するキー領域決定部と、目的カテゴリの領域を決定する能力に関する情報であり、前記キー領域決定部が決定した前記1以上の各キー領域に関する情報である識別価値を取得する識別価値取得部と、前記識別価値取得部が取得した識別価値を用いて、有用なキー領域を選択するための選択条件を満たす1以上の有用キー領域を決定する有用キー領域決定部と、前記2以上の各サイズ情報に対応付けて、前記有用キー領域決定部が決定した1以上の有用キー領域に関する有用キー領域情報を蓄積する蓄積部として機能させるためのプログラムである。
【0250】
また、画像処理装置2を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、目的カテゴリの領域を含む画像である1以上の目的参照画像と、目的カテゴリの領域を含まない画像である1以上の他目的参照画像とが格納される参照画像格納部と、2以上の各サイズ情報に対応付けて、1以上の有用キー領域情報が格納される有用キー領域情報格納部と、処理対象の画像である対象画像が格納される対象画像格納部とにアクセス可能なコンピュータを、前記対象画像から、各々、異なる領域の2以上の小画像片を取得する画像分割部と、前記対象画像から2以上のキー領域を決定するキー領域決定部と、前記画像分割部が取得した2以上の各小画像片ごとに、前記1以上の有用キー領域情報を用いて、当該小画像片の中の1以上のキー領域の識別価値を取得し、当該1以上の識別価値の代表値である識別代表値を取得する局所処理部と、前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各目的参照画像に存在するか否かの検査である第一検査、および前記キー領域決定部が決定した前記1以上の各キー領域に対応する領域が前記1以上の各他参照画像に存在するか否かの検査である第二検査を行い、当該第一検査および当該第二検査の結果を用いて、前記1以上の各キー領域の信頼度を取得する信頼度処理部と、前記識別代表値が第一閾値以下または第一閾値より小さい値に対応する小画像片であり、当該小画像片の1以上のキー領域の前記信頼度が信頼度条件を満たす程度に大きな値である小画像片または当該小画像片の中のキー領域を検知し、当該小画像片または当該キー領域に対応する境界線を決定する境界線決定部と、前記対象画像に対して前記境界線決定部が決定した境界線が明示された画像を構成する画像構成部と、前記画像構成部が構成した前記画像を出力する出力部として機能させるためのプログラムである。
【0251】
また、
図16は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の生産装置1、画像処理装置2を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。
図16は、このコンピュータシステム300の概観図であり、
図17は、システム300のブロック図である。
【0252】
図16において、コンピュータシステム300は、CD-ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
【0253】
図17において、コンピュータ301は、CD-ROMドライブ3012に加えて、MPU3013と、CD-ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0254】
コンピュータシステム300に、上述した実施の形態の画像処理装置2等の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
【0255】
プログラムは、コンピュータ301に、上述した実施の形態の画像処理装置2等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
【0256】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0257】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0258】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0259】
分散処理の一例として、以下が挙げられる。つまり、十分な通信帯域の確保が難しい離島と拠点診断センターとにおいて分散処理を行う場合は、離島に対象画像を入力する遠隔入力部(図示しない)と境界線情報受信部(図示しない)とをおき、前記画像処理装置2の出力を境界線情報だけとすることにより、拠点診断センターから離島への出力結果の送信を素早く行うことができる。
【0260】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0261】
以上のように、本発明にかかる画像処理装置2は、2以上のカテゴリを含む対象画像から目的カテゴリの領域を精度高く検出するための画像が得られるという効果を有し、画像処理装置等として有用である。
【符号の説明】
【0262】
1 生産装置
2 画像処理装置
11 第一格納部
12 第一受付部
13 第一処理部
14 第一出力部
21 第二格納部
22 第二受付部
23 第二処理部
24 第二出力部
110 サイズ情報格納部
111 画像格納部
112 参照画像格納部
113 条件格納部
114 有用キー領域情報格納部
130 制御部
131、232 キー領域決定部
132 識別価値取得部
133 有用キー領域決定部
134 蓄積部
211 対象画像格納部
231 画像分割部
233 局所処理部
234 信頼度処理部
235 境界線決定部
236 画像構成部
241 画像出力部