特許 7426712 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-25

(45)【発行日】2024-02-02

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240126BHJP

   G06T 7/00 20170101ALI20240126BHJP

   G06T 7/11 20170101ALI20240126BHJP

【ＦＩ】

A61B6/00 350D

G06T7/00 612

G06T7/11

【請求項の数】 8

(21)【出願番号】P 2020103593

(22)【出願日】2020-06-16

(65)【公開番号】P2021194294

(43)【公開日】2021-12-27

【審査請求日】2023-04-24

(73)【特許権者】

【識別番号】505210115

【氏名又は名称】国立大学法人旭川医科大学

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(72)【発明者】

【氏名】堂下 和志

(72)【発明者】

【氏名】沖崎 貴琢

【審査官】下村 一石

(56)【参考文献】

【文献】特開２００７－１１１５２６（ＪＰ，Ａ）

【文献】特開２０１８－１７５２２７（ＪＰ，Ａ）

【文献】特開２０１５－０５８３５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２６６４３６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１１

(57)【特許請求の範囲】

【請求項1】

生体透過画像が格納される画像格納部と、
前記生体透過画像について、関心領域の輪郭を特定する複数の領域であって、関心領域の輪郭近傍の特徴的な画像を有する部分である複数の特徴領域を、当該複数の各特徴領域の特徴に基づいて検出する特徴領域検出部と、
前記特徴領域検出部が検出した複数の特徴領域で特定される領域を検出する関心領域検出部と、
前記関心領域検出部が検出した領域の画像である関心領域の画像を出力する画像出力部と、を備えた画像処理装置。

【請求項2】

前記生体透過画像は、胸部透過画像であり、
前記関心領域は、肺野部であり、
前記特徴領域検出部は、肺野部の左肺尖部、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角をそれぞれ含む４つの特徴領域を検出する請求項１記載の画像処理装置。

【請求項3】

前記特徴領域検出部は、各特徴領域を、それぞれの領域の画像の特徴に基づいて、学習モデルを用いて検出する請求項１または２記載の画像処理装置。

【請求項4】

前記特徴領域検出部は、Ｈａａｒ－Ｌｉｋｅ特徴量を利用して、前記各特徴領域を検出する請求項３記載の画像処理装置。

【請求項5】

前記関心領域検出部は、前記複数の特徴領域を含む最小矩形領域を検出する請求項１から請求項４いずれか一項記載の画像処理装置。

【請求項6】

前記画像出力部は、前記関心領域の画像を、予め指定されたサイズおよび形状を有する画像に変形して出力する請求項１から請求項５いずれか一項記載の画像処理装置。

【請求項7】

生体透過画像が格納される画像格納部と、特徴領域検出部と、関心領域検出部と、画像出力部とを用いて行われる画像処理方法であって、
前記特徴領域検出部が、前記生体透過画像について、関心領域の輪郭を特定する複数の領域であって、関心領域の輪郭近傍の特徴的な画像を有する部分である複数の特徴領域を、当該複数の各特徴領域の特徴に基づいて検出する特徴領域検出ステップと、
前記関心領域検出部が、前記特徴領域検出ステップで検出した複数の特徴領域で特定される矩形領域を検出する関心領域検出ステップと、
前記画像出力部が、前記関心領域検出ステップで検出した矩形領域の画像である関心領域の画像を出力する画像出力ステップと、を備えた画像処理方法。

【請求項8】

生体透過画像が格納される画像格納部にアクセス可能なコンピュータを、
前記生体透過画像について、関心領域の輪郭を特定する複数の領域であって、関心領域の輪郭近傍の特徴的な画像を有する部分である複数の特徴領域を、当該複数の各特徴領域の特徴に基づいて検出する特徴領域検出部と、
前記特徴領域検出部が検出した複数の特徴領域で特定される領域を検出する関心領域検出部と、
前記関心領域検出部が検出した領域の画像である関心領域の画像を出力する画像出力部と、して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体透過画像を処理する画像処理装置等に関するものである。

【背景技術】

【0002】

近年、胸部レントゲン画像等の、生体の肺等を透過的に撮影した２以上の生体透過画像に対して、病変がある１以上の正例画像と病変がない１以上の負例画像とを用いて、機械学習のアルゴリズムにより病変の有無を出力する研究が進められている。このような機械学習における精度向上を目的として、関心領域である肺以外の周辺領域から偽陽性陰影を検出しないようにするため、肺領域を検出する技術も研究が進められている。このような関心領域を検出する従来の技術として、大きな肺の領域でＲＯＩ（関心領域）を完全に自動的に選択するために、胸郭と横隔膜のエッジを自動的に見つけることによって大きな肺の周辺領域が最初に特定し、次に、所定のマトリクスサイズの数多くのＲＯＩが、特定された領域の境界内を満たす格子の形で選択され、背景の不均一さが個々のＲＯＩから除去された後、重み付けエッジ勾配ヒストグラム分析によってシャープなエッジを持つＲＯＩが取り除かれる技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３４００００８号公報（第１頁、第１図等）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のようなエッジ検出を用いた技術においては、生体透過画像から肺野部等の関心領域の画像を適切に取得することが困難である、という課題があった。例えば、胸部の生体透過画像（例えば、胸部レントゲン画像）においては、肺野に乳房などの軟部組織構造が重なって描出されていることから肺野の画像上の輝度が比較的不均一であり、更に縦隔や骨が複雑に重なり合って画像上複雑な輝度のエッジが多数検出されてしまうため、適切なエッジを検出することが難しく、関心領域である肺野を適切に検出することが困難であった。このため、関心領域以外の周辺部分を除去して、関心領域の画像を適切に取得することができなかった。

【0005】

本願は、このような課題を解消するためになされたものであり、生体透過画像から関心領域の画像を適切に取得することができる画像処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、生体透過画像が格納される画像格納部と、生体透過画像について、関心領域の画像の特徴に基づいて検出される領域である特徴領域であって、関心領域全体を含む領域の輪郭を特定する複数の特徴領域を検出する特徴領域検出部と、特徴領域検出部が検出した複数の特徴領域で特定される領域を検出する関心領域検出部と、関心領域検出部が検出した矩形領域の画像である関心領域の画像を出力する画像出力部と、を備えた画像処理装置である。

【0007】

かかる構成により、関心領域の画像を適切に取得することができる。

【0008】

また、本発明の画像処理装置は、前記画像処理装置において、生体透過画像は、胸部透過画像であり、関心領域は、肺野部であり、特徴領域検出部は、肺野部の左肺尖部、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角をそれぞれ含む４つの特徴領域を検出するようにしてもよい。

【0009】

かかる構成により、胸部透過画像から、肺野部の画像を適切に取得することができる。

【0010】

また、本発明の画像処理装置は、前記画像処理装置において、特徴領域検出部は、各特徴領域を、それぞれの領域の画像の特徴に基づいて、学習モデルを用いて検出するようにしてもよい。

【0011】

かかる構成により、学習モデルを用いて精度よく関心領域の画像を取得することができる。

【0012】

また、本発明の画像処理装置は、前記画像処理装置において、特徴領域検出部は、Ｈａａｒ－Ｌｉｋｅ特徴量を利用して、各特徴領域を検出するようにしてもよい。

【0013】

かかる構成により、Ｈａａｒ－Ｌｉｋｅ特徴量を利用して精度よく関心領域の画像を取得することができる。

【0014】

また、本発明の画像処理装置は、前記画像処理装置において、関心領域検出部は、複数の特徴領域を含む最小矩形領域を検出するようにしてもよい。

【0015】

かかる構成により、関心領域の画像を適切に取得することができる。

【0016】

また、本発明の画像処理装置は、前記画像処理装置において、画像出力部は、関心領域の画像を、予め指定されたサイズおよび形状を有する画像に変形して出力するようにしてもよい。

【0017】

かかる構成により、機械学習等の後処理に適した関心領域の画像を出力することができる。

【発明の効果】

【0018】

本発明による画像処理装置等によれば、生体透過画像から関心領域の画像を適切に取得することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施の形態における画像処理装置のブロック図

【図2】同画像処理装置を説明するための画像の表示例を示す図

【図3】同画像処理装置の動作について説明するフローチャート

【図4】同画像処理装置の画像管理表（図４（ａ））および胸部レントゲン画像の表示例を示す図（図４（ｂ））

【図5】同画像処理装置の特徴領域検出部が検出した特徴領域を説明するための図

【図6】同画像処理装置の関心領域の画像を取得する処理を説明するための図（図６（ａ）－図６（ｃ））

【図7】本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図

【図8】同コンピュータシステムの構成の一例を示す図

【発明を実施するための形態】

【0020】

以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

【0021】

（実施の形態）
図１は、本実施の形態における画像処理装置１のブロック図である。

【0022】

画像処理装置１は、画像格納部１０１、特徴領域検出部１０２、関心領域検出部１０３、画像出力部１０４、学習データ格納部１０５、および学習モデル生成部１０６を備える。

【0023】

画像格納部１０１には、１または２以上の生体透過画像が格納される。生体透過画像は、人体や動物等の生体を透過的に撮影した画像である。生体透過画像は、例えば、レントゲン画像（Ｘ線画像）や、ＭＲＩ（magnetic resonance imaging）画像、超音波検査画像等である。ここでの生体透過画像は、複数の画素で構成されるデジタル画像である。生体透過画像は、通常、デジタル画像データとして画像格納部１０１に格納される。生体透過画像のデータ構造やファイル形式等は問わない。生体透過画像は、通常、グレースケール画像であるが、カラー画像であってもよい。生体透過画像のサイズや形状、画素数、色深度等は問わない。生体透過画像は、通常、静止画像であるが、動画像であってもよい。本実施の形態においては、主として、画像格納部１０１に格納される生体透過画像が、例えば、生体の胸部を正面から撮影した胸部透過画像、具体的には胸部レントゲン画像である場合について説明する。胸部透過画像とは、胸部の生体透過画像である。ただし、生体透過画像は、生体のどの部分を撮影した画像であってもよい。画像格納部１０１に格納される胸部レントゲン画像は、例えば、１０２４×１０２４ピクセル以上の画像であることが好ましいが、サイズはこれに限定されるものではない。

【0024】

画像格納部１０１に格納される１または２以上の生体透過画像は、予め決められた１または２以上の画像処理が行われた画像であってもよい。１または２以上の画像処理は、例えば、標準化処理等の機械学習等の前処理等として用いられる画像処理や、縦横比の変更、画素数の変更等である。また、カラー画像をグレースケール画像に変換する処理や、レベル補正やコントラストを補正する処理等の画質に関する処理、および画像の傾き等を補正する処理等であってもよい。

【0025】

画像格納部１０１には、例えば、画像受付部（図示せず）が受け付けた１または２以上の生体透過画像が蓄積される。画像格納部１０１への生体透過画像の蓄積は、例えば、画像受付部が受け付けた生体透過画像の一時記憶であってもよい。ただし、生体透過画像が画像格納部１０１にどのように蓄積されるかは問わない。画像格納部１０１には、例えば、他の装置で撮影されて蓄積された生体透過画像が格納されていてもよい。

【0026】

画像格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部についても同様である。

【0027】

特徴領域検出部１０２は、画像格納部１０１に格納されている１または２以上の生体透過画像のそれぞれについて、複数の特徴領域を検出する。特徴領域検出部１０２は、画像格納部１０１に格納されている１または２以上の生体透過画像を読み出し、読みだした生体透過画像について複数の特徴領域を検出する。

【0028】

特徴領域とは、生体透過画像内の関心領域の画像の特徴に基づいて検出される領域である。特徴領域は、例えば、関心領域の部分的な、または局所的な画像の特徴に基づいて検出される領域である。特徴領域を検出するということは、特徴領域に相当する領域に位置する画像を、画像の特徴に基づいて検出することであってもよい。特徴領域は、例えば、関心領域の輪郭近傍の特徴的な画像を有する部分である。特徴領域は、例えば、関心領域の輪郭に位置している領域である。関心領域の輪郭に位置している領域とは、関心領域の輪郭に接している領域や、関心領域の輪郭と交わる領域である。ただし、特徴領域は、関心領域の輪郭に位置していなくてもよい。

【0029】

特徴領域検出部１０２が検出する各特徴領域は、通常、矩形の領域であるが、各特徴領域の形状は問わない。特徴領域検出部１０２が検出する各特徴領域は、例えば、上下左右の辺が、それぞれ、生体透過画像の上下左右の辺と平行となる矩形の領域である。特徴領域検出部１０２が検出する各特徴領域のサイズは、同じであってもよく、異なっていてもよい。特徴領域検出部１０２が複数の特徴領域を検出する順序は問わない。特徴領域検出部１０２は、一度に複数の特徴領域を検出してもよく、複数の特徴領域を順番に検出してもよい。

【0030】

関心領域（ＲＯＩ：Region of Interest）とは、生体透過画像内の観察対象となる領域や検査対象の領域、異常検出対象の領域、評価対象の領域、判別対象の領域等である。例えば、胸部レントゲン画像を用いて肺野部を評価する場合、関心領域は、肺野部と考えてもよい。また、例えば、胸部レントゲン画像を用いて右の肺野部を評価する場合、関心領域は、右の肺野部と考えてもよい。胸部レントゲン画像を用いて肺野部を評価する場合、関心領域は、肺野部と考えてもよい。関心領域全体を含む領域（例えば、関心領域全体を含む矩形領域）は、関心領域以外の部分を極力含まない領域であることが好ましい。関心領域全体を含む矩形領域は、例えば、関心領域全体を含む最小矩形領域であることが好ましい。この関心領域全体を含む領域の画像が、例えば、後述する画像出力部１０４により関心領域の画像として出力される。

【0031】

特徴領域検出部１０２は、各生体透過画像の関心領域全体を含む領域の輪郭を特定する複数の特徴領域を検出する。例えば、特徴領域検出部１０２は、各生体透過画像の関心領域全体を含む矩形領域の輪郭である四辺を特定する複数の特徴領域を検出する。特徴領域検出部１０２は、各生体透過画像の、関心領域全体を含む矩形領域の四辺、すなわち、上辺、下辺、左辺、および右辺を特定する複数の特徴領域を検出する。例えば、生体透過画像の横方向をｘ座標、高さ方向（縦方向）をｙ座標と考えると、関心領域全体を含む矩形領域の上辺を特定する特徴領域とは、例えば、特徴領域の最上部のｙ座標が、関心領域全体を含む矩形領域の上辺のｙ座標となる特徴領域である。また、関心領域全体を含む矩形領域の上辺を特定する特徴領域とは、例えば、特徴領域の最上部の座標から、予め決められた距離だけ上下に移動させたｙ座標が、矩形領域の上辺のｙ座標となる特徴領域であってもよい。特徴領域の最上部のｙ座標は、例えば、矩形である特徴領域の右上隅、または左上隅の座標である。なお、かかることは、下辺についても同様である。また、関心領域全体を含む矩形領域の左辺を特定する特徴領域とは、例えば、特徴領域の最も左側の部分のｘ座標が、関心領域全体を含む矩形領域の左辺のｘ座標となる特徴領域である。また、関心領域全体を含む矩形領域の左辺を特定する特徴領域とは、例えば、特徴領域の最も左側の部分の座標から、予め決められた距離だけ左右に移動させたｘ座標が、矩形領域の左辺のｘ座標となる特徴領域であってもよい。特徴領域の最も左側の部分のｙ座標は、例えば、矩形である特徴領域の左上隅、または左下隅の座標である。なお、かかることは、右辺についても同様である。

【0032】

なお、特徴領域検出部１０２が検出する複数の特徴領域は、関心領域全体を含む矩形領域の四辺を特定する複数の領域に限定されるものではなく、例えば、関心領域全体を含む予め決められた形状の領域の輪郭を特定する複数の特徴領域であればよい。特徴領域検出部１０２が検出する複数の特徴領域は、例えば、矩形以外の形状の領域の輪郭を特定する複数の特徴領域であってもよい。予め決められた形状の領域とは、多角形や、真円や楕円等の円形や、角丸四角形等の形状の領域である。ただし、予め決められた形状の領域は、分類上の形状が同じであれば、サイズや、縦横比等が異なっていてもよい。例えば、予め決められた多角形の領域は、角の数が同じであれば、サイズや、各辺の比率や、各角の角度等は、同じでなくてもよい。また、予め決められた円形の領域は、サイズや、長径と短径との比率が異なっていてもよい。また、角丸四角形の領域は、矩形形状の領域と同様に、縦の辺と、横の辺の比率が異なっていてもよい。関心領域全体を含む予め決められた領域の輪郭を特定する複数の特徴領域とは、関心領域全体を含む予め決められた領域の輪郭の位置を特定する複数の特徴領域であってもよく、関心領域全体を含む予め決められた領域の配置を特定する複数の特徴領域であってもよい。複数の特徴領域は、例えば、予め決められた形状の領域のサイズを特定可能な複数の特徴領域であってもよい。例えば、特徴領域検出部１０２が検出する複数の特徴領域は、関心領域全体を含む角丸四角形領域の四辺を特定する複数の領域であってもよい。

【0033】

なお、関心領域全体を含む矩形領域の四辺を特定する複数の特徴領域とは、複数の特徴領域全体で、結果的に関心領域全体を含む矩形領域の四辺を特定することができる複数の特徴領域であればよく、例えば、複数の特徴領域のすべてが、それぞれ、関心領域全体を含む矩形領域の四辺の１以上を特定する特徴領域であってもよく、その一部の２以上の特徴領域のみが関心領域全体を含む矩形領域の四辺を特定するものであってもよい。ただし、特徴領域検出部１０２が検出する複数の特徴領域のうちの関心領域全体を含む矩形領域の四辺を特定しない特徴領域は、関心領域全体を含む矩形領域内に位置する特徴領域であることが好ましい。関心領域全体を含む矩形領域の四辺を特定する複数の特徴領域は、例えば、関心領域全体を含む矩形領域の四辺を特定する複数の特徴領域のみで構成されていてもよく、関心領域全体を含む矩形領域の四辺を特定する複数の特徴領域と、関心領域全体を含む矩形領域内に位置する関心領域全体を含む矩形領域の四辺を特定しない１以上の特徴領域との組み合わせで構成されていてもよい。例えば、特徴領域検出部１０２が検出する複数の特徴領域は、各生体透過画像の、関心領域全体を含む矩形領域の四辺を特定可能な複数の特徴領域を含む複数の特徴領域と考えてもよい。なお、かかることは、関心領域全体を含む矩形以外の領域の輪郭を特定する複数の特徴領域についても同様である。

【0034】

特徴領域を、画像の特徴に基づいて検出するということは、例えば、特徴領域を、画像を構成する複数の画素の画素値に基づいて検出することである。生体透過画像がグレースケール画像である場合、画素の画素値は、例えば、画素の輝度値や階調値と考えてもよい。例えば、生体透過画像が、８ビットのグレースケールである場合、画素の画素値は、０から２５５までの範囲の値の輝度値である。通常、輝度値０は、黒を表し、輝度値２５５は白を表す。

【0035】

特徴領域検出部１０２は、例えば、胸部レントゲン画像から、関心領域である肺野部全体を含む矩形領域を特定する複数の特徴領域として、肺野部の左肺尖部、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角をそれぞれ含む４つの特徴領域を検出する。例えば、特徴領域検出部１０２は、左肺尖部を含む特徴領域と、右肺尖部を含む特徴領域と、左肋骨横隔膜角を含む特徴領域と、右肋骨横隔膜角を含む特徴領域と、をそれぞれ検出する。以下、主として、特徴領域検出部１０２が、胸部レントゲン画像から、肺野部の左肺尖部、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角をそれぞれ含む４つの特徴領域を検出する場合を例に挙げて説明する。

【0036】

特徴領域検出部１０２が検出する左肺尖部を含む特徴領域は、例えば、上辺近傍に左肺尖部が位置し、左辺が右肺と重ならず、右辺が、左肋骨横隔膜角よりも左側に位置する矩形領域であることが好ましい。なお、ここでの左右は、被検者を正面から撮影した胸部レントゲン画像を、正面から見た場合の左右であるとする。かかることは以下においても同様である。特徴領域検出部１０２が検出する右肺尖部を含む特徴領域は、例えば、上辺近傍に右肺尖部が位置し、右辺が左肺と重ならず、左辺が、右肋骨横隔膜角よりも左側に位置する矩形領域であることが好ましい。特徴領域検出部１０２が検出する左肋骨横隔膜角を含む特徴領域は、例えば、右下角またはその近傍に左肋骨横隔膜角が位置し、左辺が右肺と重ならず、上辺が、左肺尖部よりも下側に位置する矩形領域であることが好ましい。特徴領域検出部１０２が検出する右肋骨横隔膜角を含む特徴領域は、例えば、左下角またはその近傍に右肋骨横隔膜角が位置し、右辺が左肺と重ならず、上辺が、右肺尖部よりも下側に位置する矩形領域であることが好ましい。

【0037】

特徴領域検出部１０２は、生体透過画像から、各特徴領域を、それぞれの領域の画像の特徴に基づいて、学習モデルを用いて検出する。学習モデルは、例えば、学習器や識別器と考えてもよい。例えば、特徴領域検出部１０２は、特徴領域ごとに用意された複数の学習データを用いて機械学習を行って生成された学習モデルを用いて、生体透過画像について各特徴領域を検出する。特徴領域ごとに用意された学習データは、例えば、各特徴領域を表す画像である。学習データは、例えば、正解データであるか不正解データであるか等を示すラベルが付与された（言い換えれば対応付けられた）画像である。学習データは、教師データと考えてもよい。特徴領域ごとに用意された学習データは、例えば、各特徴領域を表す１または２以上の画像、および各特徴領域以外を表す１または２以上の画像であってもよい。

【0038】

特徴領域検出部１０２は、例えば、Ｈａａｒ－Ｌｉｋｅ特徴量を利用して、各特徴領域を検出する。特徴領域検出部１０２は、例えば、特徴領域ごとに取得されたＨａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルを用いて各特徴領域を検出する。ここで用いるＨａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルは、Ｈａａｒ－Ｌｉｋｅ特徴量を利用したカスケード分類器であることが好ましい。Ｈａａｒ－Ｌｉｋｅ特徴量とは、生体透過画像に設定される探索窓内の複数の局所領域の明暗差から求めた特徴量である。探索窓は、探索領域を考えてもよい。Ｈａａｒ－Ｌｉｋｅ特徴量を利用した特徴領域の検出処理は、例えば、生体透過画像に探索窓を設定し、探索窓内に学習モデルに対応する白領域と黒領域とを有する矩形の局所領域のパターンを複数設定し、各パターンについて取得した白領域に対応する画素値の和と、黒領域に対応する画素値の和との差の値等を用いて、探索窓のＨａａｒ－Ｌｉｋｅ特徴量を取得し、取得した特徴量を利用して、探索領域が目的の領域であるか認識する処理である。例えば、局所領域について取得された差の値には、局所領域の識別力に応じた重み付けが行われる。また識別力の低い局所領域についての特徴量は、特徴領域の検出に利用しないようにしてもよい。なお、探索窓内に設定される学習モデルに対応する複数の局所領域の形状およびサイズは同じでなくてよい。

【0039】

以下、特徴領域検出部１０２が、Ｈａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルを利用して、一の特徴領域を検出する処理について、簡単に説明する。ここで利用する学習モデルは、一の特徴領域を検出するために生成された学習モデルであるとする。特徴領域検出部１０２は、特徴領域の検出対象となる生体透過画像において、大きさと場所を変えながら同じ矩形形状の探索窓を設定し、設定した各探索窓について、探索窓内の複数の局所領域からそれぞれ、局所領域内の白と黒の領域の画素値の和の差等を取得し、これらを用いてＨａａｒ－Ｌｉｋｅ特徴量を取得し、各探索窓について取得したＨａａｒ－Ｌｉｋｅ特徴量を用いて、一の特徴領域を示す探索窓を検出する。そして、検出された探索窓が配置されている領域を一の特徴領域として検出する。特徴領域を検出することは、例えば、生体透過画像において、特徴領域を特定可能な情報（例えば、輪郭を示す情報や、四隅の座標等）を取得することである。同じ矩形形状の探索窓とは、例えば、縦横比が同じ矩形形状である。生体透過画像において、大きさと場所を変えながら同じ矩形形状の探索窓を設定することは、大きさの異なる探索窓で、生体透過画像を走査することと考えてもよい。なお、複数の特徴領域を検出する場合、特徴領域ごとに取得された学習モデルを用いて、特徴領域ごとに上記の処理を行うようにすればよい。

【0040】

例えば、特徴領域の検出対象となる生体透過画像が、１０２４×１０２４ピクセルの画像であり、探索窓が正方形形状である場合、最小サイズが２５０×２５０ピクセル、最大サイズが５００×５００ピクセルの探索窓を設定して特徴領域の探索を行う。これにより検出される特徴領域は２５０×２５０から５００×５００ピクセルの間の任意のサイズの正方形で認識される。なお、生体透過画像のサイズや、探索窓の最小サイズや最大サイズは、上記に限定されるものではない。また、探索窓は、正方形形状に限定されるものではない。例えば、探索する生体透過画像の大きさによって、探索窓の大きさと認識される特徴領域の大きさは異なる。

【0041】

例えば、特徴領域検出部１０２は、肺野部の左肺尖部を含む領域の複数の画像データ、好ましくは、左肺尖部を含む領域の画像データである複数の正解データと、左肺尖部を含まない画像データである複数の不正解データを用いて取得された、左肺尖部を含む領域を検出するためのＨａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルを用いて、左肺尖部を含む特徴領域を検出する。かかることは、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角を含む特徴領域をそれぞれ検出する場合においても同様であり、これらの特徴領域を検出する処理においては、上記の説明の左肺尖部を、それぞれ、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角を読み替えた処理を行うようにすればよい。なお、検出する特徴領域の形状は、いずれも、例えば、正方形であるが、正方形以外の矩形形状であってもよい。検出される左肺尖部、右肺尖部、左肋骨横隔膜角、および右肋骨横隔膜角をそれぞれ含む特徴領域のサイズは、同じであっても異なっていてもよい。

【0042】

Ｈａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルについては、公知技術であるため、ここでは詳細な説明を省略する。Ｈａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルについては、例えば、以下の非特許文献１－３等を参照されたい。非特許文献１「"Haar-like特徴量を用いたカスケード分類器による前方車両の識別-OhtaLabWiki"、［online］、［令和２年６月３日検索］、インターネット<URL: http://www.ail.cs.gunma-u.ac.jp/ailwiki/index.php?Haar-like%E7%89%B9%E5%BE%B4%E9%87%8F%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%82%AB%E3%82%B9%E3%82%B1%E3%83%BC%E3%83%89%E5%88%86%E9%A1%9E%E5%99%A8%E3%81%AB%E3%82%88%E3%82%8B%E5%89%8D%E6%96%B9%E8%BB%8A%E4%B8%A1%E3%81%AE%E8%AD%98%E5%88%A5#te0b4608>」、非特許文献２「"局所特徴量と統計学習手法による物体検出"、［online］、［令和２年６月３日検索］、インターネット<URL: https://www.slideshare.net/MPRG_Chubu_University/ss-32258845>」、非特許文献３「"コンピュータビジョンのセカイ-今そこにあるミライ 第11回「顔検出」を高速化する技術"、［online］、［令和２年６月３日検索］、インターネット<URL: https://news.mynavi.jp/article/computer_vision-11/>」。

【0043】

なお、複数の特徴領域を検出するために用いる学習モデルは、画像処理装置１が、１または２以上の学習データを用いて生成してもよく、他の装置等が、１または２以上の学習データを用いて生成した学習モデルを用いてもよい。

【0044】

ここでは、一例として画像処理装置１の後述する学習モデル生成部１０６が学習データ格納部１０５に格納された１または２以上の学習データを用いて各特徴領域の検出に用いる学習モデルを生成し、特徴領域検出部１０２が、この学習モデルを用いて特徴領域を検出する場合について説明する。

【0045】

なお、特徴領域検出部１０２は、複数の特徴領域を検出する処理の前に、予め決められた１または２以上の画像処理を行ってもよい。１または２以上の画像処理は、例えば、標準化処理等の機械学習等の前処理等として用いられる画像処理や、縦横比の変更、画素数の変更等である。また、画像の傾き等を補正する処理であってもよい。

【0046】

関心領域検出部１０３は、特徴領域検出部１０２が検出した複数の特徴領域で特定される領域を検出する。関心領域検出部１０３が検出する領域は、通常、矩形領域であるが、上述したように矩形以外の形状の領域であってもよい。関心領域検出部１０３は、通常、特徴領域検出部１０２が検出した複数の特徴領域のすべてを含む矩形領域を検出する。関心領域検出部１０３は、特徴領域検出部１０２が検出した複数の特徴領域を含む最小矩形領域を検出することが好ましい。例えば、関心領域検出部１０３は、特徴領域検出部１０２が検出した複数の特徴領域の輪郭上の点のうちの、最も上方に位置する点を通過する上辺と、特徴領域検出部１０２が検出した複数の特徴領域の輪郭上の座標のうちの最も下方に位置する点を通過する下辺と、特徴領域検出部１０２が検出した複数の特徴領域の輪郭上の座標のうちの最も右側に位置する点を通過する右辺と、特徴領域検出部１０２が検出した複数の特徴領域の輪郭上の座標のうちの最も左側に位置する点を通過する左辺と、を有する矩形領域を検出する。ここでの矩形領域は、上下左右の辺が、それぞれ、生体透過画像の上下左右の辺と平行となる矩形領域である。なお、複数の領域を含む最小矩形領域を検出する処理は公知技術であるため、ここでは詳細な説明を省略する。

【0047】

関心領域検出部１０３が検出する矩形領域は、例えば、関心領域全体を含む矩形領域である。この関心領域全体を含む矩形領域は、関心領域以外の部分を極力含まない領域であることが好ましい。関心領域全体を含む矩形領域は、例えば、関心領域全体を含む最小矩形領域であることが好ましい。

【0048】

なお、関心領域検出部１０３が検出する矩形領域は、特徴領域検出部１０２が検出した複数の特徴領域で特定される関心領域を含む矩形領域、好ましくは、関心領域を含む最小矩形領域であれば、特徴領域検出部１０２が検出した複数の特徴領域を含む最小矩形領域でなくてもよい。例えば、特徴領域検出部１０２が検出した複数の特徴領域を含む最小矩形領域に対して、予め決められた画素数または比率だけサイズが異なる（例えば、サイズが大きい、または小さい）矩形領域であってもよい。なお、関心領域検出部１０３は、特徴領域検出部１０２が、関心領域に対して、どのような位置関係にある複数の特徴領域を検出するかに応じて、上記のような最小矩形領域以外の矩形領域を検出してもよい。

【0049】

画像出力部１０４は、関心領域検出部１０３が検出した領域の画像である関心領域の画像を出力する。画像出力部１０４は、例えば、関心領域検出部１０３が検出した矩形領域の画像である関心領域の画像を出力する。例えば、画像出力部１０４は、関心領域の画像を、予め指定されたサイズおよび形状を有する画像に変形して出力してもよい。例えば、画像出力部１０４は、関心領域検出部１０３が検出した矩形領域の画像を、予め決められた画素数を有する正方形の画像に変形して出力してもよい。なお、ここでの矩形領域の画像である関心領域の画像を出力する、ということは、関心領域検出部１０３が検出した矩形領域の画像を、関心領域の画像として生体透過画像から切り出して出力することであってもよく、生体透過画像の、矩形領域以外の領域の画像をマスク等で隠した画像や、矩形領域以外の領域の画像を、黒色の画素のように、その後の関心領域の画像を用いた処理で無視可能な画像で更新した画像を出力することであってもよい。

【0050】

ここでの関心領域の画像の出力は、関心領域の画像の、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。画像出力部１０４は、例えば、送信手段等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバソフトまたは、出力デバイスのドライバソフトと出力デバイス等で実現され得る。

【0051】

学習データ格納部１０５には、複数の学習データが格納される。学習データは、学習モデルを生成する特徴領域ごとに用意された画像である。学習データには、正解のデータであるか否かを示すラベル等の情報が付与されていてもよい。学習データは、教師データと考えてもよい。複数の学習データは、例えば、複数の生体透過画像から、ユーザが目視等により取得した各特徴領域に相当する画像である複数の正解画像と、正解の画像以外の画像である複数の不正解画像である。学習データ格納部１０５には、学習モデル生成部１０６が学習モデルを生成する処理において利用する複数の生体透過画像等のデータがさらに格納されていてもよい。また、学習データ格納部１０５には、学習データを生成する処理において取得された画像がさらに格納されてもよい。ただし、学習データ格納部１０５に格納されている学習データや、その他のデータ等は、特徴領域ごとの学習モデルの生成に必要な学習データ等のデータであれば、上記の学習データ等に限定されるものではない。学習データ格納部１０５には、例えば、右肺尖部を含む特徴領域に相当する複数の画像、左肺尖部を含む特徴領域に相当する複数の画像、右肋骨横隔膜角を含む特徴領域に相当する複数の画像、および左肋骨横隔膜角を含む複数の特徴領域に相当する画像が、正解画像の複数の学習データとして格納される。

【0052】

学習モデル生成部１０６は、学習データ格納部１０５に格納されている複数の学習データを用いて、特徴領域検出部１０２が複数の特徴領域をそれぞれ検出するために用いる複数の学習モデルを生成する。学習モデル生成部１０６は、例えば、複数の学習データを用いて、Ｈａａｒ－Ｌｉｋｅ特徴量の学習モデルを生成する。ただし、学習モデル生成部１０６が生成する学習モデルは、Ｈａａｒ－Ｌｉｋｅ特徴量の学習モデルに限定されるものではなく、他の学習モデルを生成してもよい。学習モデル生成部１０６は、例えば、取得する学習モデルに応じた処理を行って学習モデルを取得する。

【0053】

以下、学習モデル生成部１０６がＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを生成する処理の一例について、上述した右肺尖部を含む特徴領域の検出に用いられる学習モデルを生成する処理を例に挙げて説明する。ここで生成する学習モデルは、例えば、カスケード型識別器と呼ばれる学習モデルである。なお、学習データ格納部１０５には、学習データとして、複数の胸部レントゲン画像から、ユーザが目視および手動でそれぞれ切り出した複数の右肺尖部を含む特徴領域に相当する正解画像と、正解画像以外の複数の不正解画像とが格納されているものとする。正解画像は、８ビットグレースケール画像であるとする。不正解画像は、どのような色深度の画像であってもよく、例えば、８ビットグレースケール画像であってもよく、２４ビットカラー画像であってもよく、複数の不正解画像にはこれらが混在していてもよい。学習データは、２５０×２５０ピクセルから５００×５００ピクセルまでの間の任意のサイズの正方形の画像であるとする。また、学習データ格納部１０５には、評価用の複数の胸部レントゲン画像が格納されているものとする。

【0054】

まず、学習モデル生成部１０６は、学習データ格納部１０５に格納されている学習データである複数の正解画像と複数の不正解画像とを用いてＨａａｒ－Ｌｉｋｅ特徴量についての機械学習を行い、右肺尖部を含む特徴領域についての第一の学習モデルを取得する。Ｈａａｒ－Ｌｉｋｅ特徴量についての機械学習については公知技術であるため、詳細な処理は省略する。

【0055】

次に、第一の学習モデルを利用して、特徴領域検出部１０２により、学習データ格納部１０５に格納されている複数の評価用の胸部レントゲン画像から、それぞれ、右肺尖部の特徴領域を検出し、特徴領域の画像を切り出す。なお、ここでは、特徴領域検出部１０２を用いて特徴領域を検出したが、学習モデル生成部１０６が、特徴領域検出部１０２と同様の、特徴領域を検出するための構成を有するようにして、学習モデル生成部１０６が学習モデルを用いて、特徴領域を検出してもよい。かかることは、以下においても同様である。

【0056】

学習モデル生成部１０６は、切り出した特徴領域の複数の画像を、右肺尖部を含む特徴領域の画像であるか否か評価し、特徴領域の画像であれば正解画像とする。

【0057】

ここでは、以下のように、特徴領域の画像であるか評価する。まず、上記で第一の学習モデルの生成に用いられた学習データ格納部１０５に格納されている複数の正解画像を、それぞれ１００×１００ピクセルの８ビットグレースケール画像に変換し、変換した正解画像を、各画素の画素値を要素とした行列に変換し、変換により得られた複数の行列の各要素の平均を算出して、平均された要素を有する行列を取得する。この行列は、目視および手動で取得された複数の正解画像の平均画像を表す行列に相当する。図２は、例えば、このような行列に対応する正解画像の平均画像の一例を示す図である。この行列は予め用意しておくようにしてもよい。

【0058】

そして、上記で第一の学習モデルを用いて取得した複数の特徴領域の画像を、それぞれ、１００×１００ピクセルの画像に変換し、変換した各画像について各画素の画素値を要素とした行列を取得し、各画像について取得した行列と、上記で取得した平均された画像の行列との要素の分散を数値化して比較し、平均された画像の行列に近い行列に対応する特徴領域の画像を、正解画像と判断する。正解画像は、例えば、学習データ格納部１０５に蓄積する。

【0059】

学習モデル生成部１０６は、さらに、第一の学習モデルを用いて取得された正解画像と、正解画像以外の画像である不正解画像とを用いて、Ｈａａｒ－Ｌｉｋｅ特徴量についての機械学習を行い、右肺尖部を含む特徴領域についての第二の学習モデルを取得する。

【0060】

取得した第二の学習モデルを利用して、特徴領域検出部１０２により、学習データ格納部１０５に格納されている複数の胸部レントゲン画像から、それぞれ、右肺尖部の特徴領域を検出し、特徴領域の画像を切り出し、切り出した特徴領域の画像を、上記と同様に、目視および手動で取得された複数の正解画像の平均画像を表す行列を利用して評価して、正解画像を取得する。

【0061】

そして、学習モデル生成部１０６は、正解画像を精度良く検出できるようになるまで、取得した正解画像と、不正解画像とを用いて、新たに学習モデルを取得し、学習モデルにより取得される特徴領域を評価する処理を繰り返す。精度良く正解画像が検出できた時点の学習モデルを、特徴領域検出部１０２が利用する学習モデルとする。例えば、ある時点で生成された学習モデルにより取得した特徴領域の画像のうちの正解画像の比率が、しきい値以上である場合に、精度良く正解画像が検出できたと判断する。学習モデルの情報は、例えば、格納部（図示せず）等に蓄積する。

【0062】

なお、上記においては、胸部レントゲン画像から、右肺尖部を含む特徴領域を検出する学習モデルを生成する処理について説明したが、同様の処理を行うことにより、左肺尖部、右肋骨横隔膜角、および左肋骨横隔膜角をそれぞれ含む特徴領域を検出することが可能である。なお、左肺尖部、右肋骨横隔膜角、および左肋骨横隔膜角をそれぞれ含む特徴領域を検出する場合、例えば、上記の処理の説明において、右肺尖部を、左肺尖部、右肋骨横隔膜角、および左肋骨横隔膜角のそれぞれに置き換えた処理を行うようにすればよい。

【0063】

なお、学習モデルを生成する処理は、上記の処理に限定されるものではない。学習モデルを生成する処理としては、例えば、公知の処理が利用可能であり、ここでは詳細な説明を省略する。

【0064】

また、画像処理装置１において特徴領域を検出するための学習モデルを生成しない場合、学習データ格納部１０５および学習モデル生成部１０６は省略してもよい。

【0065】

次に、画像処理装置１の動作の一例について図３のフローチャートを用いて説明する。
なお、ここでは、特徴領域の検出に用いる学習モデルが取得済みであるとし、学習モデルを取得する処理等の説明は省略する。また、ここでは、学習モデルとして、Ｈａａｒ－Ｌｉｋｅ特徴量を利用した学習モデルを用いる場合について説明する。

【0066】

（ステップＳ１０１）特徴領域検出部１０２は、カウンターｍに値「１」を代入する。

【0067】

（ステップＳ１０２）特徴領域検出部１０２は、画像格納部１０１にｍ番目の生体透過画像があるか判断する。ある場合、ステップＳ１０３に進み、ない場合、処理を終了する。

【0068】

（ステップＳ１０３）特徴領域検出部１０２は、カウンターｋに値「１」を代入する。

【0069】

（ステップＳ１０４）特徴領域検出部１０２は、ｋ番目の特徴領域を検出するか判断する。例えば、生体透過画像から複数の異なる特徴領域を検出する場合において、検出対象となる複数の特徴領域の中に、ｋ番目の特徴領域があるか判断し、ある場合、ｋ番目の特徴領域の検出を行うことを決定する。ｋ番目の特徴領域の検出を行う場合、ステップＳ１０５に進み、行わない場合、ステップＳ１１３に進む。例えば、胸部レントゲン画像から、右肺尖部、左肺尖部、右肋骨横隔膜角、および左肋骨横隔膜角をそれぞれ含む４つの特徴領域を検出する場合、それぞれの特徴領域を予め決められた順番に検出し、全てを検出した場合（例えば、ｋの値が「５」となった場合）に、ｋ番目の特徴領域を検出しないと判断して、ステップＳ１１３に進むようにすればよい。

【0070】

（ステップＳ１０５）特徴領域検出部１０２は、画像格納部１０１からｍ番目の生体透過画像を読み出し、予め決められた初期サイズの探索窓を、ｍ番目の生体透過画像内の初期位置に配置する。例えば、２５０×２５０ピクセルの探索窓を、ｍ番目の生体透過画像内の左上隅に配置する。なお、初期サイズおよび初期位置は、上記のサイズおよび位置に限定されるものではない。

【0071】

（ステップＳ１０６）特徴領域検出部１０２は、ｋ番目の特徴領域を検出するための学習モデルを用いて、ｍ番目の生体透過画像内に設定された探索窓内の画像についてＨａａｒ－Ｌｉｋｅ特徴量を取得する。取得した特徴量は、例えば、探索窓のサイズと位置とに対応付けて、図示しない格納部等に一時記憶する。

【0072】

（ステップＳ１０７）特徴領域検出部１０２は、同じサイズの探索窓で生体透過画像全体を走査したか判断する。例えば、特徴領域検出部１０２は、探索窓が、走査が終了した場合に探索窓が位置すべき位置に、探索窓が配置されているか判断し、配置されていれば、走査が終了したと判断し、配置されていなければ、走査が終了していないと判断する。走査が終了した場合、ステップＳ１０９に進み、終了していない場合、ステップＳ１０８に進む。

【0073】

（ステップＳ１０８）特徴領域検出部１０２は、直前に利用した探索窓を移動させる。例えば、探索窓を、予め決められた走査経路に沿って、予め決められた移動量だけ移動させる。例えば、特徴領域検出部１０２は、探索窓が初期位置として左上に配置される場合、探索窓を、直前に配置されている位置から、右方向に１ピクセル移動させる。また、探索窓の右辺が、生体透過画像の右辺に達している場合、探索窓を１ピクセル下方に移動させた位置であって、左辺に接する位置に移動させる。これにより、最終的に、一のサイズの探索窓により、生体透過画像全体を左上からスタートして右下に向かってジグザグに走査することができる。なお、この場合、例えば、ステップＳ１０７において、探索窓が、例えば、生体透過画像の右下隅に位置している場合、走査が終了したと判断する。なお、ここでの探索窓の移動経路や移動量は一例であり、最終的に、一のサイズの探索窓で生体透過画像全体を走査できれば、その移動経路や移動量は問わない。そして、ステップＳ１０６に戻る。

【0074】

（ステップＳ１０９）特徴領域検出部１０２は、直前に用いられた探索窓のサイズが、予め決められた最大サイズであるか判断する。最大サイズである場合、ステップＳ１１１に進み、最大サイズでない場合、ステップＳ１１０に進む。

【0075】

（ステップＳ１１０）特徴領域検出部１０２は、探索窓のサイズを、予め決められたサイズだけ大きくし、初期位置に配置する。例えば、探索窓のサイズを、直前に利用された探索窓に対して１ピクセル大きくし、生体透過画像の左上隅に配置する。そして、ステップＳ１０６に戻る。

【0076】

（ステップＳ１１１）特徴領域検出部１０２は、サイズおよび位置を変えて配置した探索窓についてステップＳ１０６においてそれぞれ取得した、ｋ番目の特徴領域についてのＨａａｒ－Ｌｉｋｅ特徴量を用いて、ｋ番目の特徴領域を検出する。例えば、最も特徴量のスコアが高かった探索窓が配置された領域を、ｋ番目の特徴領域として検出する。特徴領域検出部１０２は、ｋ番目の特徴領域を特定可能な情報を格納部（図示せず）に蓄積する。ここでの蓄積は、一時記憶であってもよい。

【0077】

（ステップＳ１１２）特徴領域検出部１０２は、カウンターｋの値を１インクリメントする。そして、ステップＳ１０４に戻る。

【0078】

（ステップＳ１１３）関心領域検出部１０３は、ｍ番目の生体透過画像について検出した複数の特徴領域で四辺が特定される矩形領域を、ｍ番目の生体透過画像において検出する。例えば、ｍ番目の生体透過画像について検出した複数の特徴領域を含む最小矩形領域を、ｍ番目の生体透過画像において検出する。

【0079】

（ステップＳ１１４）画像出力部１０３は、ステップ１１３で検出した矩形領域の画像である関心領域の画像を、ｍ番目の生体透過画像について取得した関心領域の画像として出力する。例えば、画像出力部１０３は、検出した矩形領域の画像である関心領域の画像を、サイズや形状を予め決められたサイズや形状に変更して出力する。

【0080】

（ステップＳ１１５）特徴領域検出部１０２は、カウンターｍの値を１インクリメントする。そして、ステップＳ１０２に戻る。

【0081】

なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0082】

以下、本実施の形態における画像処理装置１の具体的な動作について説明する。ここでは、画像格納部１０１に格納されている生体透過画像である胸部レントゲン画像から、関心領域の画像として、肺野部の画像を取得し出力する場合を例に挙げて説明する。なお、ここでは、特徴領域検出部１０２が特徴領域の検出に利用する複数の学習モデルが予め用意されているものとし、学習モデル生成部１０６を用いて学習モデルを生成する動作については、説明を省略する。

【0083】

図４（ａ）は、画像格納部１０１に格納されている複数の胸部レントゲン画像を管理する画像管理表である。画像管理表は、「ファイル名」と、「画像」という属性を有している。「ファイル名」は、胸部レントゲン画像のファイル名であり、「画像」は、画像のデータである。ここでは、画像格納部１０１に格納されている各胸部レントゲン画像は、被検者の胸部を正面から撮影した画像であるとする。各胸部レントゲン画像は、８ビットのグレースケール画像であり、サイズは、例えば、１０２４×１０２４ピクセルであるとする。

【0084】

図４（ｂ）は、画像格納部１０１に格納されているファイル名が「ＩＭＧ０００１」である胸部レントゲン画像の表示例を示す図である。

【0085】

この具体例においては、特徴領域検出部１０２が、各胸部レントゲン画像において、右肺尖部、左肺尖部、右肋骨横隔膜角、および左肋骨横隔膜角をそれぞれ含む特徴領域を検出する場合について説明する。

【0086】

まず、特徴領域検出部１０２が、一つ目の胸部レントゲン画像として、図４（ｂ）に示すようなファイル名が「ＩＭＧ０００１」である胸部レントゲン画像（以下、胸部レントゲン画像「ＩＭＧ０００１」と称す場合がある）を、画像格納部１０１から読み出したとする。

【0087】

特徴領域検出部１０２は、右肺尖部を含む特徴領域を検出するために予め用意されたＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを用いて、読み出した胸部レントゲン画像「ＩＭＧ０００１」から、右肺尖部を含む特徴領域を検出する。具体的には、サイズの異なる探索窓を移動させて、サイズの異なる探索窓で、読み出した胸部レントゲン画像上を走査させるとともに、探索窓を移動するごとに、右肺尖部を含む特徴領域を検出するために予め用意されたＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを用いて探索窓内の画像のＨａａｒ－Ｌｉｋｅ特徴量を順次算出し、算出した特徴量が最も右肺尖部を含む特徴領域に類似していることを示す探索窓が位置する領域を、右肺尖部を含む特徴領域として検出する。そして、検出した右肺尖部を含む特徴領域を示す情報を格納部（図示せず）に蓄積する。

【0088】

例えば、初期値のサイズの探索窓を、胸部レントゲン画像「ＩＭＧ０００１」の左上隅に、探索窓の左上隅が、胸部レントゲン画像の左上隅に一致するよう配置する。初期値のサイズは、ここでは２５０×２５０ピクセルであるとする。そして、右肺尖部を含む特徴領域を検出するために予め用意されたＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを用いて、探索窓内の画像の特徴量を算出する。そして、算出した特徴量を、この探索窓のサイズと位置とを対応付けて、図示しない格納部等に一時記憶する。さらに、同じサイズの探索窓を１ピクセル左に移動させるごとに、上記と同様に、特徴量を算出し一時記憶する。探索窓が右端に達すると、探索窓を左端の１ピクセル下げた位置から、上記と同様に、同じサイズの探索窓を１ピクセル左に移動させるごとに、上記と同様に、特徴量を算出しする。この一連の処理を、探索窓が、右下隅に達するまで行う。探索窓が、右下隅に達すると、探索窓のサイズを、１ピクセル拡大して、上記と同様に、探索窓を胸部レントゲン画像「ＩＭＧ０００１」上で移動させながら特徴量を算出し一時記憶する。これを、探索窓が予め決められた最大サイズになるまで繰り返す。最大サイズは、ここでは、５００×５００ピクセルであるとする。そして、探索窓のサイズと位置とに対応付けられたＨａａｒ－Ｌｉｋｅ特徴量の中から、最も右肺尖部を含む特徴領域に類似していることを示す特徴量（例えば、スコアの高い特徴量）を検出し、この特徴量と対応付けられたサイズの探索窓が位置する領域を、右肺部を含む特徴領域として検出し、この特徴領域を示す情報（例えば、特徴領域の４隅の座標）を、例えば、右肺部を含む特徴領域の情報として図示しない格納部等に一時記憶する。

【0089】

次に、特徴領域検出部１０２は、左肺尖部を含む特徴領域を検出するために予め用意されたＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを用いて、上記の右肺尖部を含む特徴領域を検出する処理と同様の処理を行って、読み出した胸部レントゲン画像「ＩＭＧ０００１」から、左肺尖部を含む特徴領域を検出し、検出した左肺尖部を含む特徴領域を示す情報を格納部（図示せず）に蓄積する。

【0090】

同様に、特徴領域検出部１０２は、右肋骨横隔膜角を含む特徴領域を検出するために予め用意されたＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを用いて、読み出した胸部レントゲン画像「ＩＭＧ０００１」から、右肋骨横隔膜角を含む特徴領域を検出し、検出した右肋骨横隔膜角を含む特徴領域を示す情報を格納部（図示せず）に蓄積する。

【0091】

同様に、特徴領域検出部１０２は、左肋骨横隔膜角を含む特徴領域を検出するために予め用意されたＨａａｒ－Ｌｉｋｅ特徴量の学習モデルを用いて、読み出した胸部レントゲン画像「ＩＭＧ０００１」から、左肋骨横隔膜角を含む特徴領域を検出し、検出した左肋骨横隔膜角を含む特徴領域を示す情報を格納部（図示せず）に蓄積する。

【0092】

図５は、上記のように、胸部レントゲン画像「ＩＭＧ０００１」について、特徴領域検出部１０２が取得した４つの特徴領域を説明するための図であり、右肺尖部４１ａを含む特徴領域４１と、左肺尖部４２ａを含む特徴領域４２と、右肋骨横隔膜角４３ａを含む特徴領域４３、左肋骨横隔膜角４４ａを含む特徴領域４４と、を胸部レントゲン画像「ＩＭＧ０００１」上に重ねて示した図である。なお、ここでの特徴領域の図は、説明のための図であり、必ずしも実際に学習モデルを用いて検出された特徴領域ではない。

【0093】

図６（ａ）－図６（ｃ）は、複数の特徴領域４１－４４から関心領域の画像を取得する処理を説明するための図である。

【0094】

関心領域検出部１０３は、特徴領域検出部１０２が検出した４つの特徴領域４１－４４を含む最小矩形領域を検出する。ここでは、関心領域検出部１０３は、図６（ａ）に示すように、右肺尖部４１ａを含む特徴領域４１の左上角の点４１ｂと、左肺尖部４２ａを含む特徴領域４２の右上角の点４２ｂとのうちの、高さ方向の位置が高いほうの点４２ｂを通る上辺と、右肋骨横隔膜角４３ａを含む特徴領域４３の左下角の点４３ｂと、左肋骨横隔膜角４４ａを含む特徴領域４４の右下角の点４４ｂとのうちの高さ方向の位置が低いほうの点４３ｂを通る下辺と、右肺尖部４１ａを含む特徴領域４１の左上角の点４１ｂと、右肋骨横隔膜角４３ａを含む特徴領域４３の左下角の点４３ｂと、のうちの、左側に位置する点４３ｂを通る左辺と、左肺尖部４２ａを含む特徴領域４２の右上角の点４２ｂと、左肋骨横隔膜角４４ａを含む特徴領域４４の右下角の点４４ｂと、のうちの、右側に位置する点４４ｂを通る右辺とを有する矩形領域を最小矩形領域４５として検出する。なお、ここでの胸部レントゲン画像における高さ方向は、胸部レントゲン画像に撮影されている被検者の高さ方向と同じ方向であるとする。また、検出される最小矩形領域の上下左右の辺は、それぞれ胸部レントゲン画像の上下左右の辺と平行な辺であるとする。

【0095】

画像出力部１０４は、図６（ｂ）に示すように、関心領域検出部１０３が検出した最小矩形領域４５内の画像を、関心領域の画像として、胸部レントゲン画像「ＩＭＧ０００１」から切り取る。さらに、ここでは、関心領域の画像を、肺野部の異常影検出の機械学習に利用できるようにするため、画像出力部１０４は、図６（ｃ）に示すように、切り取った画像を、予め決められた画素数を有する正方形の画像にリサイズする。そして、画像出力部１０４は、リサイズした関心領域の画像、すなわち肺野部の画像を出力する。例えば、リサイズした関心領域の画像のファイルに、元のファイル名「ＩＭＧ０００１」に応じて予め決められたルールにより決定されるファイル名を対応付けて、格納部（図示せず）に蓄積する。

【0096】

同様にして、画像処理装置１は、図５（ａ）に示した画像管理表で管理されているファイル名が「ＩＭＧ０００１」である胸部レントゲン画像以外の胸部レントゲン画像についても同様の処理を行って、リサイズした関心領域（ここでは肺野部）の画像を取得し、蓄積する。

【0097】

このようにして、複数の胸部レントゲン画像から、それぞれ、図６（ｃ）に示すような関心領域である肺野部の画像を取得することができる。

【0098】

以上、本実施の形態によれば、複数の生体透過画像から、それぞれ、関心領域の画像を精度よく取得することができる。これにより、例えば、機械学習等に適した関心領域の画像を精度よくかつ容易に提供することができる。

【0099】

なお、上記実施の形態においては、Ｈａａｒ－Ｌｉｋｅ特徴量を利用した学習モデル以外の学習モデルを用いて特徴領域を検出してもよい。この場合、例えば、学習モデル生成部１０６は、このような学習モデルを生成するようにしてもよい。

【0100】

また、上記実施の形態においては、学習モデルを用いて複数の特徴領域を検出したが、学習モデルを利用せずに、１または２以上の特徴領域を検出してもよい。例えば、サイズを変えて走査される探索窓内の画像の中から、特徴ベクトル間の距離等を利用して、予め用意されたテンプレート画像と類似する画像を検出することで特徴領域を検出してもよい。

【0101】

また、上記実施の形態においては、肺野部を特徴領域として検出するために４つの特徴領域を検出する場合について説明したが、５以上の特徴領域を検出するようにしてもよい。

【0102】

また、上記実施の形態においては、主として、胸部レントゲン画像から、肺野部を検出する場合を例に挙げて説明したが、検出する関心領域は、肺野部に限定されるものではなく、例えば、肺野部以外の心臓や、腸等の臓器や、特定の骨等を関心領域として検出してもよい。この場合においても、特徴領域検出部１０２が、検出する関心領域の画像の特徴に基づいて検出される特徴領域であって、関心領域全体を含む領域の輪郭（例えば、矩形領域の四辺）を特定する複数の特徴領域を検出するようにすればよい。また、生体透過画像は、胸部の画像に限定されるものではなく、胸部以外の画像であってもよい。また、胸部レントゲン画像の代わりに、他の胸部透過画像を用いてもよい。

【0103】

なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

【0104】

また、上記実施の形態では、画像処理装置がスタンドアロンである場合について説明したが、画像処理装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部等は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。

【0105】

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部（例えば、ハードディスクやメモリ等の記録媒体）にアクセスしながらプログラムを実行してもよい。

【0106】

なお、上記各実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、生体透過画像が格納される画像格納部にアクセス可能なコンピュータを、生体透過画像について、関心領域の画像の特徴に基づいて検出される領域である特徴領域であって、関心領域全体を含む領域の輪郭を特定する複数の特徴領域を検出する特徴領域検出部と、特徴領域検出部が検出した複数の特徴領域で特定される領域を検出する関心領域検出部と、関心領域検出部が検出した領域の画像である関心領域の画像を出力する画像出力部と、して機能させるためのプログラムである。

【0107】

なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

【0108】

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

【0109】

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

【0110】

図７は、上記プログラムを実行して、上記実施の形態による画像処理装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

【0111】

図７において、コンピュータシステム９００は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

【0112】

図８は、コンピュータシステム９００の内部構成を示す図である。図８において、コンピュータ９０１は、ＣＤ－ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

【0113】

コンピュータシステム９００に、上記実施の形態による画像処理装置等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ９２１に記憶されて、ＣＤ－ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ－ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。

【0114】

プログラムは、コンピュータ９０１に、上記実施の形態による画像処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

【0115】

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

【産業上の利用可能性】

【0116】

以上のように、本発明にかかる画像処理装置等は、生体透過画像等を処理する装置として適しており、特に、生体透過画像から関心領域の画像等を取得する画像処理装置として有用である。

【符号の説明】

【0117】

１ 画像処理装置
１０１ 画像格納部
１０２ 特徴領域検出部
１０３ 関心領域検出部
１０４ 画像出力部
１０５ 学習データ格納部
１０６ 学習モデル生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】