特開 2022-155871 画像識別プログラム、画像識別方法、画像識別装置および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155871

(43)【公開日】2022-10-14

(54)【発明の名称】画像識別プログラム、画像識別方法、画像識別装置および情報処理システム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

【ＦＩ】

A61B6/03 370Z

G06T7/00 612

G06T7/00 350C

A61B6/03 360J

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021059306

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】特許業務法人扶桑国際特許事務所

(72)【発明者】

【氏名】武部 浩明

(72)【発明者】

【氏名】宮▲崎▼ 信浩

(72)【発明者】

【氏名】馬場 孝之

(72)【発明者】

【氏名】岩村 尚

(72)【発明者】

【氏名】中川 真智子

(72)【発明者】

【氏名】嶋田 雅彦

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA18

4C093DA03

4C093FD03

4C093FF17

5L096BA13

5L096HA11

5L096KA04

(57)【要約】

【課題】医用画像から病変に関する状態を高精度に識別する。
【解決手段】画像識別装置１は、人体の内部を撮影した画像３に基づいて、撮影された領域が病変に関する状態（１）～（５）のうちのいずれの状態であるかを識別する第１の識別処理を実行する。ここで、第１の識別処理による識別結果が状態（１）であった場合、画像識別装置１は、画像３に基づいて、撮影された領域が状態（１），（２）のいずれであるかを識別する第２の識別処理を実行する。例えば、撮影された画像から状態（１），（２）を区別しにくい場合があり、第１の識別処理では状態（２）を誤って状態（１）と識別してしまう可能性がある場合に、状態（１），（２）のいずれであるかを高精度に識別できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
人体の内部を撮影した画像に基づいて、撮影された領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を実行し、
前記第１の識別処理による識別結果が前記複数の状態のうち第１の状態であった場合には、前記画像に基づいて、前記領域が前記第１の状態であるか、または前記複数の状態のうち第２の状態であるかを識別する第２の識別処理を実行する、
処理を実行させる画像識別プログラム。

【請求項2】

前記画像は、肺野の断面を撮影することで取得され、
前記複数の状態は、それぞれ陰影の種別を示す、
請求項１記載の画像識別プログラム。

【請求項3】

前記第１の状態は、前記領域が正常であることを示し、
前記第２の状態は、前記領域がすりガラス影であることを示す、
請求項２記載の画像識別プログラム。

【請求項4】

前記第１の状態は、前記領域が浸潤影であることを示し、
前記第２の状態は、前記領域が正常であることを示す、
請求項２記載の画像識別プログラム。

【請求項5】

前記第１の識別処理は、ニューラルネットワークを用いた学習によって生成された第１の学習モデルに基づいて実行され、
前記第２の識別処理は、前記ニューラルネットワークをファインチューニングして再学習することで生成された第２の学習モデルに基づいて実行される、
請求項１乃至４のいずれか１項に記載の画像識別プログラム。

【請求項6】

コンピュータが、
人体の内部を撮影した画像に基づいて、撮影された領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を実行し、
前記第１の識別処理による識別結果が前記複数の状態のうち第１の状態であった場合には、前記画像に基づいて、前記領域が前記第１の状態であるか、または前記複数の状態のうち第２の状態であるかを識別する第２の識別処理を実行する、
画像識別方法。

【請求項7】

人体の内部を撮影した画像に基づいて、撮影された領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を実行し、
前記第１の識別処理による識別結果が前記複数の状態のうち第１の状態であった場合には、前記画像に基づいて、前記領域が前記第１の状態であるか、または前記複数の状態のうち第２の状態であるかを識別する第２の識別処理を実行する、処理部、
を有する画像識別装置。

【請求項8】

ニューラルネットワークを用いた学習によって、人体の内部を撮影した画像の領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を実行するための第１の学習モデルを生成し、前記領域が前記複数の状態のうち第１の状態と第２の状態のいずれの状態であるかを識別する第２の識別処理を実行するための第２の学習モデルを、前記ニューラルネットワークをファインチューニングして再学習することで生成する学習処理部と、
識別対象の人体の内部を撮影した撮影画像を取得し、前記撮影画像の領域が前記複数の状態のうちのいずれの状態であるかを識別する前記第１の識別処理を、前記第１の学習モデルに基づいて実行し、前記第１の識別処理による識別結果が前記複数の状態のうち第１の状態であった場合には、前記撮影画像の領域が前記第１の状態と前記第２の状態のいずれの状態であるかを識別する前記第２の識別処理を、前記第２の学習モデルに基づいて実行する画像識別部と、
を有する情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像識別プログラム、画像識別方法、画像識別装置および情報処理システムに関する。

【背景技術】

【0002】

肺などの各種疾患の診断には、ＣＴ（Computed Tomography）画像などの医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。

【0003】

医用画像を用いた診断支援技術として、次のような提案がある。例えば、第１画質の医療画像群を用いた学習により、第１画質の医療画像に対して画像認識を行う第１モデルを生成し、第１モデルを基に、第２画質の医療画像群を用いた学習により、第２画質の医療画像に対して画像認識を行う第２モデルを生成する学習装置が提案されている。また、医用画像の各画素を複数種類の症例領域に分類した第１の分類結果を出力し、複数の変換定義情報から選択された変換定義情報に基づいて、第１の分類結果を変換して第２の分類結果を出力する医用画像分類装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２０／００３９９２号

【特許文献2】特開２０１８－１７５２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、医用画像から、撮影された領域が病変に関する複数の状態のいずれであるかを識別する識別処理では、疾患によっては特定の２つの状態の識別が難しい場合がある。例えば、同じ種類の病変の状態であっても画像上での濃さや明るさが異なる場合があるために、別の病変の状態との識別が難しいというケースがある。あるいは、ある１つの病変の状態であっても、画像上に血管などの特定の物体が写っていると、誤って別の病変の状態と識別してしまうケースがある。

【0006】

１つの側面では、本発明は、医用画像から病変に関する状態を高精度に識別可能にした画像識別プログラム、画像識別方法、画像識別装置および情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、コンピュータに、人体の内部を撮影した画像に基づいて、撮影された領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を実行し、第１の識別処理による識別結果が複数の状態のうち第１の状態であった場合には、画像に基づいて、領域が第１の状態であるか、または複数の状態のうち第２の状態であるかを識別する第２の識別処理を実行する、処理を実行させる画像識別プログラムが提供される。

【0008】

また、１つの案では、上記の画像識別プログラムに基づく処理と同様の処理をコンピュータが実行する画像識別方法が提供される。
さらに、１つの案では、上記の画像識別プログラムに基づく処理と同様の処理を実行する画像識別装置が提供される。

【0009】

また、１つの案では、次のような学習処理部と画像識別部とを有する情報処理システムが提供される。この情報処理システムにおいて、学習処理部は、ニューラルネットワークを用いた学習によって、人体の内部を撮影した画像の領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を実行するための第１の学習モデルを生成し、領域が複数の状態のうち第１の状態と第２の状態のいずれの状態であるかを識別する第２の識別処理を実行するための第２の学習モデルを、ニューラルネットワークをファインチューニングして再学習することで生成する。画像識別部は、識別対象の人体の内部を撮影した撮影画像を取得し、撮影画像の領域が複数の状態のうちのいずれの状態であるかを識別する第１の識別処理を、第１の学習モデルに基づいて実行し、第１の識別処理による識別結果が複数の状態のうち第１の状態であった場合には、撮影画像の領域が第１の状態と第２の状態のいずれの状態であるかを識別する第２の識別処理を、第２の学習モデルに基づいて実行する。

【発明の効果】

【0010】

１つの側面では、医用画像から病変に関する状態を高精度に識別できる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態に係る画像識別装置の構成例および処理例を示す図である。

【図2】第２の実施の形態に係る診断支援処理システムの構成例を示す図である。

【図3】画像識別装置のハードウェア構成例を示す図である。

【図4】陰影識別処理の基本的な流れを示す図である。

【図5】第２の実施の形態で実行される２段階の識別処理を示す図である。

【図6】学習処理装置が備える処理機能の構成例を示す図である。

【図7】サブ識別器を示す学習モデルの生成方法を示す図である。

【図8】学習処理装置による学習処理手順を示すフローチャートの例である。

【図9】画像識別装置が備える処理機能の構成例を示す図である。

【図10】画像識別装置による陰影識別処理手順を示すフローチャートの例である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像識別装置の構成例および処理例を示す図である。図１に示す画像識別装置１は、人体の内部を撮影した画像３を取得し、この画像３に基づいて、撮影された領域が病変に関する複数の状態のうちのいずれの状態であるかを識別する情報処理装置である。例えば、肺野の断面が撮影された場合において、複数の状態として陰影の種別が識別される。

【0013】

この画像識別装置１は、処理部２を有する。処理部２は、例えば、プロセッサとして実現される。処理部２は、以下のような処理を実行する。
処理部２は、取得した画像３に基づいて第１の識別処理を実行する（ステップＳ１）。この第１の識別処理では、撮影された領域が上記の複数の状態のうちのいずれの状態であるかが識別される。本実施の形態では例として、状態（１）～（５）のうちのいずれの状態であるかが識別されるものとする。

【0014】

処理部２は、第１の識別処理による識別結果が、状態（１）～（５）のうちあらかじめ決められた第１の状態であるかを判定する（ステップＳ２）。本実施の形態では例として、識別結果が状態（１）であるかが判定されるものとする。

【0015】

第１の識別処理による識別結果が状態（１）でない場合、処理部２は、第１の識別処理による識別結果を、最終的な識別結果として出力する（ステップＳ３）。この出力としては、状態（２）～（５）のいずれかが出力されることになる。

【0016】

一方、第１の識別処理による識別結果が状態（１）である場合、処理部２は、画像３に基づいて第２の識別処理を実行する（ステップＳ４）。この第２の識別処理では、撮影された領域が、状態（１）か、または、上記の複数の状態のうち状態（１）とは別の第２の状態かが識別される。本実施の形態では、状態（１）と状態（２）のいずれであるかが識別されるものとする。そして、第２の識別処理による識別結果が、最終的な識別結果として出力される。

【0017】

以上の処理によれば、撮影された画像から病変に関する状態を識別する精度を向上させることができる。特に、撮影された画像から状態（１）と状態（２）とを区別しにくい場合があり、第１の識別処理では状態（２）を誤って状態（１）と識別してしまう可能性がある場合に、状態（１）と状態（２）のいずれであるかを高精度に識別できるようになる。

【0018】

〔第２の実施の形態〕
次に、病変に関する複数の状態として、肺野における複数の陰影種別を識別できるようにしたシステムについて説明する。

【0019】

図２は、第２の実施の形態に係る診断支援処理システムの構成例を示す図である。図２に示す診断支援システムは、ＣＴ撮影による画像診断を支援するシステムであり、学習処理装置１００、画像識別装置２００およびＣＴ装置３００を含む。なお、画像識別装置２００は、図１に示した画像識別装置１の一例である。

【0020】

ＣＴ装置３００は、人体のＸ線ＣＴ画像を撮影する。本実施の形態では、ＣＴ装置３００は、胸部領域におけるアキシャル断面のＣＴスライス画像を、人体の高さ方向（アキシャル断面に垂直な方向）に対する位置を所定間隔で変えながら所定枚数撮影する。

【0021】

画像識別装置２００は、ＣＴ装置３００によって撮影された各スライス画像から肺野領域を特定し、肺野領域の画像を一定の大きさの「画像ブロック」に分割する。画像識別装置２００は、画像ブロックのそれぞれについて、陰影の種別を識別する。この識別処理は、あらかじめ学習された学習モデルを用いて行われる。

【0022】

学習処理装置１００は、画像識別装置２００による陰影種別の識別処理で利用される学習モデルを、機械学習によって生成する。学習処理装置１００によって生成された学習モデルのデータは、例えばネットワークを介して、あるいは可搬型の記録媒体を介して画像識別装置２００に読み込まれる。

【0023】

図３は、画像識別装置のハードウェア構成例を示す図である。画像識別装置２００は、例えば、図３に示すようなハードウェア構成のコンピュータとして実現される。図３に示すように、画像識別装置２００は、プロセッサ２０１、ＲＡＭ（Random Access Memory）２０２、ＨＤＤ（Hard Disk Drive）２０３、ＧＰＵ（Graphics Processing Unit）２０４、入力インタフェース（Ｉ／Ｆ）２０５、読み取り装置２０６および通信インタフェース（Ｉ／Ｆ）２０７を有する。

【0024】

プロセッサ２０１は、画像識別装置２００全体を統括的に制御する。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ２０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

【0025】

ＲＡＭ２０２は、画像識別装置２００の主記憶装置として使用される。ＲＡＭ２０２には、プロセッサ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、プロセッサ２０１による処理に必要な各種データが格納される。

【0026】

ＨＤＤ２０３は、画像識別装置２００の補助記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

【0027】

ＧＰＵ２０４には、表示装置２０４ａが接続されている。ＧＰＵ２０４は、プロセッサ２０１からの命令にしたがって、画像を表示装置２０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

【0028】

入力インタフェース２０５には、入力装置２０５ａが接続されている。入力インタフェース２０５は、入力装置２０５ａから出力される信号をプロセッサ２０１に送信する。入力装置２０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0029】

読み取り装置２０６には、可搬型記録媒体２０６ａが脱着される。読み取り装置２０６は、可搬型記録媒体２０６ａに記録されたデータを読み取ってプロセッサ２０１に送信する。可搬型記録媒体２０６ａとしては、光ディスク、半導体メモリなどがある。

【0030】

通信インタフェース２０７は、ネットワークを介して、ＣＴ装置３００などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像識別装置２００の処理機能を実現することができる。なお、学習処理装置１００も、図３に示すようなハードウェア構成のコンピュータとして実現可能である。

【0031】

次に、画像識別装置２００で実行される陰影識別処理の概要について説明する。
まず、図４は、陰影識別処理の基本的な流れを示す図である。ＣＴ装置３００によって撮影対象者の胸部領域が撮影されると、画像識別装置２００は、撮影によって得られた複数のスライス画像を取得する。画像識別装置２００は、取得したスライス画像の中から肺野領域が写っているスライス画像を抽出する（ステップＳ１１）。以下、抽出されたスライス画像のセットを「肺野画像セット」と記載する。

【0032】

次に、画像識別装置２００は、肺野画像セット内の各スライス画像を一定の大きさの画像ブロックに分割する（ステップＳ１２）。本実施の形態では例として、スライス画像は１６×１６画素の画像ブロックに分割される。これとともに、画像識別装置２００は、肺野画像セット内の各スライス画像から肺野領域を特定する。この特定処理は、例えば、機械学習によって事前に学習された肺野領域特定用の学習モデルを用いて実行される。このような処理より、各スライス画像の画像ブロックは、肺野領域内の画像ブロックと肺野領域外の画像ブロックとに分類される。

【0033】

次に、画像識別装置２００は、肺野領域内の各画像ブロックについて陰影種別を識別する（ステップＳ１３）。陰影種別は、陰影の種別を示すものであり、本実施の形態では、すりガラス影、浸潤影、蜂巣肺、肺気腫、その他の陰影のいずれかを示すものとする。さらに、陰影種別の１つとして正常も含まれる。このような陰影種別の識別は、機械学習によって事前に学習された陰影識別用の学習モデルを用いた識別器によって実行される。

【0034】

ところで、新型コロナウィルス感染症（ＣＯＶＩＤ－１９：coronavirus disease 2019）におけるウィルス性肺炎では、非常に薄いすりガラス影が発生する場合がある。このため、上記の６種類の陰影種別を識別する１つの識別器を用いた場合に、すりガラス影の領域を誤って正常と識別してしまうことがある。

【0035】

また、上記のウィルス性肺炎では、画像ブロックの大きさを、実空間では１平方センチメートル程度の面積となる大きさとした場合に、血管を含む正常な領域と浸潤影の領域との区別がつきにくい。このため、上記の６種類の陰影種別を識別する１つの識別器を用いた場合に、正常の領域を誤って浸潤影と識別してしまうことがある。

【0036】

このように、１つの識別器を用いた場合に、すりガラス影と浸潤影と正常とを正確に識別することが難しいという問題がある。そこで、本実施の形態の画像識別装置２００は、次の図５に示すように２段階の陰影識別を実行する。

【0037】

図５は、第２の実施の形態で実行される２段階の識別処理を示す図である。図５に示すように、画像識別装置２００は、１段目の識別器（メイン識別器２１１）と２段目の識別器（第１サブ識別器２１２および第２サブ識別器２１３）とを用いて陰影識別処理を実行する。

【0038】

メイン識別器２１１は、入力された画像ブロックの病変の状態が、上記のようなすりガラス影、浸潤影、蜂巣肺、肺気腫、その他の陰影、正常という６種類の陰影種別のいずれであるかを識別する。ここで、メイン識別器２１１による識別結果がすりガラス影、蜂巣肺、肺気腫、その他の陰影のいずれかであった場合には、その識別結果が最終結果としてそのまま出力される。

【0039】

一方、メイン識別器２１１による識別結果が正常であった場合には、画像ブロックは第１サブ識別器２１２に入力される。第１サブ識別器２１２は、入力された画像ブロックの病変の状態が、正常とすりガラス影のどちらであるかを識別する。このように、正常とすりガラス影との識別に特化された第１サブ識別器２１２を用いることで、すりガラス影の領域を誤って正常と識別する可能性が低くなり、識別精度を高めることができる。

【0040】

また、メイン識別器２１１による識別結果が浸潤影であった場合には、画像ブロックは第２サブ識別器２１３に入力される。第２サブ識別器２１３は、入力された画像ブロックの病変の状態が、浸潤影と正常のどちらであるかを識別する。このように、浸潤影と正常との識別に特化された第２サブ識別器２１３を用いることで、正常な領域（特に血管を含む正常な領域）を誤って浸潤影と識別する可能性が低くなり、識別精度を高めることができる。

【0041】

ところで、本実施の形態では、メイン識別器２１１、第１サブ識別器２１２および第２サブ識別器２１３のいずれも、機械学習によって事前に学習された学習モデルを用いて実行される。本実施の形態では、ＣＮＮ（Convolutional Neural Network）を用いた深層学習によって学習モデルが生成されるものとする。

【0042】

この場合、上記の６種類の陰影種別のいずれかが正解ラベルとして付加された画像ブロックが陰影種別ごとに多数用意され、これらの画像ブロックを教師画像として用いてメイン識別器２１１の学習が行われる。また、正常またはすりガラス影という２種類の陰影種別のいずれかが正解ラベルとして付加された画像ブロックが陰影種別ごとに多数用意され、これらの画像ブロックを教師画像として用いて第１サブ識別器２１２の学習が行われる。さらに、浸潤影または正常という２種類の陰影種別のいずれかが正解ラベルとして付加された画像ブロックが陰影種別ごとに多数用意され、これらの画像ブロックを教師画像として用いて第２サブ識別器２１３の学習が行われる。

【0043】

ここで、第１サブ識別器２１２および第２サブ識別器２１３の識別精度の向上のためには、これらの学習のための教師画像はメイン識別器２１１の学習用の教師画像とは別個に用意されることが望ましい。特に、第１サブ識別器２１２の学習用の教師画像のうちすりガラス影がラベリングされた教師画像としては、薄いすりガラス影が写っている画像が多数含まれていることが望ましい。また、第２サブ識別器２１３の学習用の教師画像のうち「正常」がラベリングされた教師画像としては、血管が写っている画像が多数含まれていることが望ましい。

【0044】

このように、図５のような２段階の識別器を学習によって生成しようとすると、１段目の識別器の学習とは別に２段目の識別器の学習用の教師画像を用意しなければならない。このため、このような多数の教師画像を収集して正解ラベルを付加する作業（アノテーション）に大きな手間がかかるという問題がある。例えば、病院内で実際の患者から撮影されたＣＴ画像を教師画像として利用する場合、一般的に病院間でこのような教師画像を共用することは難しいため、病院ごとに教師画像を収集してアノテーションする必要が生じる。

【0045】

また、正常と薄いすりガラス影、および浸潤影と血管を含む正常とを正確に識別する別の方法としては、例えば、上記の６種類の陰影種別の他に「薄いすりガラス影」と「血管を含む正常」を加えた８種類のクラスを識別する１つの識別器を用いる方法が考えられる。しかし、この場合でも、識別器の学習のために、薄いすりガラス影がラベリングされた多数の教師画像と血管を含む正常がラベリングされた多数の教師画像とが必要になることに変わりはない。

【0046】

そこで、学習処理装置１００は、メイン識別器２１１の学習により得られたネットワークを微調整（ファインチューニング）することによって、第１サブ識別器２１２および第２サブ識別器２１３の学習を行う。これにより、第１サブ識別器２１２および第２サブ識別器２１３の学習用として比較的少ない数の教師画像を用いても、これらの識別器において十分な識別精度が得られるようにする。

【0047】

図６は、学習処理装置が備える処理機能の構成例を示す図である。図６に示すように、学習処理装置１００は、記憶部１１０、メイン識別器学習部１２１、第１サブ識別器学習部１２２および第２サブ識別器学習部１２３を備える。なお、記憶部１１０は、学習処理装置１００が備える記憶装置の記憶領域として実現される。メイン識別器学習部１２１、第１サブ識別器学習部１２２および第２サブ識別器学習部１２３の処理は、例えば、学習処理装置１００が備えるプロセッサが所定のプログラムを実行することで実現される。

【0048】

記憶部１１０には、学習モデル１１１～１１３の各データが記憶される。学習モデル１１１は、メイン識別器２１１のモデルであり、メイン識別器学習部１２１によって生成される。学習モデル１１２は、第１サブ識別器２１２のモデルであり、第１サブ識別器学習部１２２によって生成される。学習モデル１１３は、第２サブ識別器２１３のモデルであり、第２サブ識別器学習部１２３によって生成される。なお、学習モデル１１１～１１３の各データとしては、各モデルのネットワーク構造を示すデータやネットワーク上のノード間に設定される重み係数などが記憶される。

【0049】

メイン識別器学習部１２１は、教師画像セット１３１を学習用データとして用いて、メイン識別器２１１を示す学習モデル１１１を学習によって生成する。教師画像セット１３１には、すりガラス影、浸潤影、蜂巣肺、肺気腫、その他の陰影、正常のいずれかの陰影種別がラベリングされた画像ブロック（教師画像）が、陰影種別ごとに複数含まれる。

【0050】

第１サブ識別器学習部１２２は、教師画像セット１３２を学習用データとして用いるとともに、学習モデル１１１のデータの一部を用いて、第１サブ識別器２１２を示す学習モデル１１２を学習によって生成する。教師画像セット１３２には、正常またはすりガラス影の陰影種別がラベリングされた画像ブロック（教師画像）が、陰影種別ごとに複数含まれる。陰影種別としてすりガラス影がラベリングされた画像ブロックとしては、薄いすりガラス影が写った画像ブロックが含まれる。

【0051】

第２サブ識別器学習部１２３は、教師画像セット１３３を学習用データとして用いるとともに、学習モデル１１１のデータの一部を用いて、第２サブ識別器２１３を示す学習モデル１１３を学習によって生成する。教師画像セット１３３には、浸潤影または正常の陰影種別がラベリングされた画像ブロック（教師画像）が、陰影種別ごとに複数含まれる。正常の陰影種別がラベリングされた画像ブロックとしては、血管が写った画像ブロックが含まれる。

【0052】

図７は、サブ識別器を示す学習モデルの生成方法を示す図である。前述のように、メイン識別器２１１、第１サブ識別器２１２および第２サブ識別器２１３の学習は、ＣＮＮを用いた深層学習によって行われる。図７に示すネットワーク２１１ａは、メイン識別器２１１を実現するネットワーク（ＣＮＮ）の例である。ネットワーク２１１ａは、入力層２１１ａ１、中間層（隠れ層）２１１ａ２および出力層２１１ａ３を含む。

【0053】

入力層２１１ａ１は、例えば、画像ブロックの画素数（１６×１６）分のノードを含む。一方、出力層２１１ａ３は、前述した６種類の陰影種別にそれぞれ対応するノードを含む。教師画像セット１３１に含まれる各画像ブロックの各画素値が入力層２１１ａ１に入力され、誤差逆伝播法などによって、各画像ブロックの正解ラベルに応じた出力値（確率）の誤差が最小になるようにノード間の重み係数が最適化されていく。これにより、メイン識別器２１１に対応する学習モデル１１１が生成される。

【0054】

一方、第１サブ識別器２１２の学習は、メイン識別器２１１のネットワーク２１１ａをファインチューニングすることで行われる。図７に示すように、第１サブ識別器２１２を実現するネットワーク２１２ａは、入力層２１２ａ１、中間層（隠れ層）２１２ａ２および出力層２１２ａ３を含む。

【0055】

出力層２１２ａ３は、正常およびすりガラス影の各陰影種別に対応する２つのノードを含み、これらの各ノードと前階層のノードとの間の重み係数としてはランダムな初期値が設定される。一方、入力層２１２ａ１および中間層２１２ａ２のネットワーク構造としては、メイン識別器２１１のネットワーク２１１ａにおける入力層２１１ａ１および中間層２１１ａ２のネットワーク構造がそのまま利用される。そして、入力層２１２ａ１および中間層２１２ａ２におけるノード間の重み係数の初期値として、入力層２１１ａ１および中間層２１１ａ２における同じ位置の重み係数が設定されて、教師画像セット１３２を用いた学習が開始される。

【0056】

このような第１サブ識別器２１２の学習により、メイン識別器２１１の学習済みデータを用いずに学習する場合と比較して、少ない数の教師画像を用いてほぼ同等な識別精度を有する第１サブ識別器２１２の学習モデル１１２を生成することができる。

【0057】

なお、図示しないが、第２サブ識別器２１３の学習も、上記と同様に、メイン識別器２１１における入力層２１１ａ１および中間層２１１ａ２のネットワーク構造をそのまま用い、これらの層におけるノード間の重み係数を初期値として用いることで実行される。これにより、メイン識別器２１１の学習済みデータを用いずに学習する場合と比較して、少ない数の教師画像を用いてほぼ同等な識別精度を有する第２サブ識別器２１３の学習モデル１１３を生成することができる。

【0058】

図８は、学習処理装置による学習処理手順を示すフローチャートの例である。
［ステップＳ２１］メイン識別器学習部１２１は、メイン識別器２１１のネットワーク（ＣＮＮ）を設定する。

【0059】

［ステップＳ２２］メイン識別器学習部１２１は、教師画像セット１３１を用いてメイン識別器２１１の学習を実行する。これにより、メイン識別器２１１を示す学習モデル１１１が生成される。

【0060】

［ステップＳ２３］第１サブ識別器学習部１２２は、生成された学習モデル１１１のデータの一部を用いて、第１サブ識別器２１２のネットワーク（ＣＮＮ）を設定する。このとき、学習モデル１１１のデータに基づき、メイン識別器２１１のネットワークにおける入力層および中間層の構成が、第１サブ識別器２１２のネットワークにおける入力層および中間層の構成としてそのまま用いられる。そして、メイン識別器２１１についての入力層および中間層に含まれるノード間の重み係数が、第１サブ識別器２１２のネットワークにおける入力層および中間層に含まれるノード間の重み係数の初期値として設定される。

【0061】

［ステップＳ２４］第１サブ識別器学習部１２２は、教師画像セット１３２を用いて第１サブ識別器２１２の学習を実行する。これにより、第１サブ識別器２１２を示す学習モデル１１２が生成される。

【0062】

［ステップＳ２５］第２サブ識別器学習部１２３は、生成された学習モデル１１１のデータの一部を用いて、第２サブ識別器２１３のネットワーク（ＣＮＮ）を設定する。このとき、学習モデル１１１のデータに基づき、メイン識別器２１１のネットワークにおける入力層および中間層の構成が、第２サブ識別器２１３のネットワークにおける入力層および中間層の構成としてそのまま用いられる。そして、メイン識別器２１１についての入力層および中間層に含まれるノード間の重み係数が、第２サブ識別器２１３のネットワークにおける入力層および中間層に含まれるノード間の重み係数の初期値として設定される。

【0063】

［ステップＳ２６］第２サブ識別器学習部１２３は、教師画像セット１３３を用いて第２サブ識別器２１３の学習を実行する。これにより、第２サブ識別器２１３を示す学習モデル１１３が生成される。

【0064】

図９は、画像識別装置が備える処理機能の構成例を示す図である。図９に示すように、画像識別装置２００は、記憶部２２０、肺野領域特定部２３０および陰影識別処理部２４０を備える。なお、記憶部２２０は、画像識別装置２００が備える記憶装置の記憶領域として実現される。肺野領域特定部２３０および陰影識別処理部２４０の処理は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。

【0065】

記憶部２２０には、学習処理装置１００によって生成された学習モデル１１１～１１３のデータが記憶される。学習モデル１１１～１１３のデータは、学習処理装置１００からネットワークや可搬型記録媒体を介して画像識別装置２００に入力され、記憶部２２０に格納される。また、記憶部２２０には、肺野領域特定用の学習モデル２２１のデータが記憶される。

【0066】

肺野領域特定部２３０は、ＣＴ装置３００によって撮影対象者の胸部領域を撮影することで得られた複数のスライス画像を取得する。肺野領域特定部２３０は、取得した複数のスライス画像の中から、肺野領域が写っているスライス画像のセット（肺野画像セット）を抽出する。肺野領域特定部２３０は、抽出された肺野画像セットに基づき、肺野領域特定用の学習モデル２２１を用いて、肺野画像セット内の各スライス画像から肺野領域を特定する。

【0067】

陰影識別処理部２４０は、陰影識別用の学習モデル１１１～１１３を用いて、肺野画像セット内の各スライス画像から画像ブロック単位で陰影種別を識別する。この陰影識別処理部２４０は、メイン識別部２４１、第１サブ識別部２４２、第２サブ識別部２４３および識別制御部２４４を備える。

【0068】

メイン識別部２４１は、学習モデル１１１のデータを読み込み、メイン識別器２１１の処理を実行する。第１サブ識別部２４２は、学習モデル１１２のデータを読み込み、第１サブ識別器２１２の処理を実行する。第２サブ識別部２４３は、学習モデル１１３のデータを読み込み、第２サブ識別器２１３の処理を実行する。識別制御部２４４は、メイン識別部２４１、第１サブ識別部２４２および第２サブ識別部２４３を用いた陰影識別処理を制御する。

【0069】

図１０は、画像識別装置による陰影識別処理手順を示すフローチャートの例である。
［ステップＳ３１］ＣＴ装置３００により、撮影対象者の胸部領域が撮影される。肺野領域特定部２３０は、撮影によって得られたスライス画像のセット（入力画像セット）を取得し、その中から肺野領域が写っているスライス画像のセット（肺野画像セット）を抽出する。

【0070】

例えば、肺野領域特定部２３０は、入力画像セットに含まれるスライス画像を基に最小値投影法によって正面投影画像を生成し、生成された正面投影画像を、所定閾値を用いて２値化する。これにより肺野領域の投影領域が現れるので、肺野領域特定部２３０は、入力画像セットの中から肺野領域の上端および下端を示すスライス画像を特定する。入力画像セットに含まれるスライス画像のうち、特定された上端のスライス画像から、特定された下端のスライス画像までのものが、肺野領域が写っているスライス画像として抽出される。

【0071】

［ステップＳ３２］肺野領域特定部２３０は、抽出された肺野画像セットに基づき、肺野領域特定用の学習モデル２２１を用いて、肺野画像セット内の各スライス画像から肺野領域を特定する。この学習モデル２２１は、例えば、教師画像としての多数のスライス画像と、スライス画像内の各画素が肺野内の領域、肺野外の領域のいずれであるかを示す教師ラベルとを用いた深層学習によって生成される。この場合、ステップＳ３２では、肺野画像セットに含まれる各スライス画像をこのような学習モデル２２１に基づく識別器に入力することで、各スライス画像の画素ごとに、肺野内の領域、肺野外の領域のいずれであるかが判定される。

【0072】

次に、肺野領域特定部２３０は、肺野画像セットに含まれる各スライス画像を一定サイズ（１６×１６画素）の画像ブロックに分割する。分割された各画像ブロックは、上記のような肺野領域の判定結果と照合することで、肺野内の領域と肺野外の領域とに分類される。

【0073】

［ステップＳ３３］ステップＳ４０までの識別処理ループが、肺野画像セットに含まれる各スライス画像の画像ブロックのうち、肺野内の全画像ブロックを識別処理対象として、陰影識別処理部２４０によって実行される。

【0074】

［ステップＳ３４］識別制御部２４４は、画像ブロックをメイン識別部２４１に入力して陰影識別処理を実行させる。メイン識別部２４１は、入力された画像ブロックを処理して、画像ブロックの陰影種別がすりガラス影、浸潤影、蜂巣肺、肺気腫、その他の陰影のいずれであるかを識別する。

【0075】

［ステップＳ３５］識別制御部２４４は、メイン識別部２４１による識別結果が正常であったかを判定する。識別結果が正常である場合、処理がステップＳ３８に進められ、識別結果が正常でない場合、処理がステップＳ３６に進められる。

【0076】

［ステップＳ３６］識別制御部２４４は、メイン識別部２４１による識別結果が浸潤影であったかを判定する。識別結果が浸潤影である場合、処理がステップＳ３９に進められ、識別結果が浸潤影でない場合、処理がステップＳ３７に進められる。

【0077】

［ステップＳ３７］識別制御部２４４は、画像ブロックについての最終的な陰影識別結果として、メイン識別部２４１による識別結果を出力する。
［ステップＳ３８］識別制御部２４４は、画像ブロックを第１サブ識別部２４２に入力して陰影識別処理を実行させる。第１サブ識別部２４２は、入力された画像ブロックを処理して、画像ブロックの陰影種別が正常とすりガラス影のいずれであるかを識別する。識別制御部２４４は、画像ブロックについての最終的な陰影識別結果として、第１サブ識別部２４２による識別結果を出力する。

【0078】

［ステップＳ３９］識別制御部２４４は、画像ブロックを第２サブ識別部２４３に入力して陰影識別処理を実行させる。第２サブ識別部２４３は、入力された画像ブロックを処理して、画像ブロックの陰影種別が浸潤影と正常のいずれであるかを識別する。識別制御部２４４は、画像ブロックについての最終的な陰影識別結果として、第２サブ識別部２４３による識別結果を出力する。

【0079】

［ステップＳ４０］肺野内の全画像ブロックについての識別処理ループの実行が完了すると、陰影識別処理が終了する。
以上の処理により、各画像ブロックの陰影種別を正確に識別できる。特に、正常な領域と薄いすりガラス影とを高精度に識別できる。また、血管を含む正常な領域と浸潤影とを高精度に識別できる。

【0080】

なお、上記の第２の実施の形態では、識別器の学習処理機能と、学習結果を用いた識別器による識別処理機能とがそれぞれ別の情報処理装置に搭載されていたが、これらは同じ情報処理装置に搭載されていてもよい。例えば、図６に示したメイン識別器学習部１２１、第１サブ識別器学習部１２２および第２サブ識別器学習部１２３が、画像識別装置２００に搭載されていてもよい。

【0081】

なお、上記の各実施の形態に示した装置（例えば、画像識別装置１，２００、学習処理装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

【0082】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0083】

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

【符号の説明】

【0084】

１ 画像識別装置
２ 処理部
３ 画像
Ｓ１～Ｓ４ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】