知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024098848
(43)【公開日】2024-07-24
(54)【発明の名称】画像識別方法および画像識別プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240717BHJP
A61B 5/055 20060101ALI20240717BHJP
【ＦＩ】
G06T7/00 612
G06T7/00 350B
G06T7/00 660Z
A61B5/055 380
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023002604
(22)【出願日】2023-01-11
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】烏谷 あゆ
(72)【発明者】
【氏名】石原 正樹
【テーマコード（参考）】
4C096
5L096
【Ｆターム（参考）】
4C096AA01
4C096AB37
4C096AB44
4C096AC05
4C096AD14
4C096AD24
4C096DB06
4C096DC20
4C096DC21
4C096DC28
4C096DC36
5L096AA09
5L096BA06
5L096BA13
5L096CA01
5L096FA59
5L096GA30
5L096GA34
5L096GA51
5L096HA13
5L096JA28
5L096KA04
5L096KA15
(57)【要約】
【課題】入力画像が特定の病変領域の画像かを高精度に識別する。
【解決手段】コンピュータが、人体の内部を撮影した断層画像から、断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された確率の寄与度が高くなるような計算により、複数の部分画像のそれぞれから算出された確率を統合して統合値を算出し、統合値が所定の閾値を超える場合に同一位置が特定の病変の領域であると識別する。
【選択図】図７
【解決手段】コンピュータが、人体の内部を撮影した断層画像から、断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された確率の寄与度が高くなるような計算により、複数の部分画像のそれぞれから算出された確率を統合して統合値を算出し、統合値が所定の閾値を超える場合に同一位置が特定の病変の領域であると識別する。
【選択図】図７
【特許請求の範囲】
【請求項1】
コンピュータが、
人体の内部を撮影した断層画像から、前記断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、
前記複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、
前記複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された前記確率の寄与度が高くなるような計算により、前記複数の部分画像のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
画像識別方法。
人体の内部を撮影した断層画像から、前記断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、
前記複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、
前記複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された前記確率の寄与度が高くなるような計算により、前記複数の部分画像のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
画像識別方法。
【請求項2】
前記確率の算出は、入力画像が前記特定の病変の領域であるかを識別する学習済みモデルを用いて実行され、
前記学習済みモデルは、前記特定の病変の領域であることを示すラベルが付与された学習用画像として、前記特定の病変が写っている画像のうち、画像における前記特定の病変の領域の面積の割合が、０より大きい所定の下限閾値以上であり、１より小さい所定の上限閾値以下である画像を用いた機械学習によって生成される、
請求項１記載の画像識別方法。
前記学習済みモデルは、前記特定の病変の領域であることを示すラベルが付与された学習用画像として、前記特定の病変が写っている画像のうち、画像における前記特定の病変の領域の面積の割合が、０より大きい所定の下限閾値以上であり、１より小さい所定の上限閾値以下である画像を用いた機械学習によって生成される、
請求項１記載の画像識別方法。
【請求項3】
前記統合値は、前記複数の部分画像のそれぞれから算出された前記確率のうち中央値として算出される、
請求項１記載の画像識別方法。
請求項１記載の画像識別方法。
【請求項4】
前記統合値は、前記複数の部分画像のうち、中間的な第１のサイズの前記部分画像から算出された前記確率と、前記第１のサイズより大きい第２のサイズの前記部分画像から算出された前記確率、または、前記第１のサイズより小さい第３のサイズの前記部分画像から算出された前記確率のうちの大きい値との寄与度が高くなるような計算によって算出される、
請求項１記載の画像識別方法。
請求項１記載の画像識別方法。
【請求項5】
コンピュータが、
人体の内部を撮影した複数の断層画像に基づいて生成された三次元のボリュームデータから、前記ボリュームデータ内の同一位置を含み、かつサイズが異なる複数の三次元部分領域を切り出し、
前記複数の三次元部分領域のそれぞれについて、対応する三次元部分領域の各ボクセルの値を互いに直交する複数の方向に対して最小値投影または最大値投影することで複数の投影画像を生成し、生成された前記複数の投影画像に基づいて前記同一位置が特定の病変の領域である確率を算出し、
前記複数の三次元部分領域のうち、少なくとも中間的なサイズに対応する三次元部分領域から算出された前記確率の寄与度が高くなるような計算により、前記複数の三次元部分領域のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
画像識別方法。
人体の内部を撮影した複数の断層画像に基づいて生成された三次元のボリュームデータから、前記ボリュームデータ内の同一位置を含み、かつサイズが異なる複数の三次元部分領域を切り出し、
前記複数の三次元部分領域のそれぞれについて、対応する三次元部分領域の各ボクセルの値を互いに直交する複数の方向に対して最小値投影または最大値投影することで複数の投影画像を生成し、生成された前記複数の投影画像に基づいて前記同一位置が特定の病変の領域である確率を算出し、
前記複数の三次元部分領域のうち、少なくとも中間的なサイズに対応する三次元部分領域から算出された前記確率の寄与度が高くなるような計算により、前記複数の三次元部分領域のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
画像識別方法。
【請求項6】
前記確率の算出は、三次元画像の各ボクセルの値を前記複数の方向に対して最小値投影または最大値投影することで生成された複数の入力投影画像の入力を受けて、前記三次元画像が前記特定の病変の領域であるかを識別する学習済みモデルを用いて実行され、
前記学習済みモデルは、
人体の内部を撮影した複数の学習用断層画像に基づく三次元の学習用ボリュームデータから、それぞれ所定サイズの三次元領域である複数の学習用部分領域を切り出し、
前記複数の学習用部分領域の中から、前記特定の病変の領域の体積の割合が、０より大きい所定の下限閾値以上であり、１より小さい所定の上限閾値以下である病変部分領域を特定し、
特定された前記病変部分領域の各ボクセルの値を前記複数の方向に対して最小値投影または最大値投影することで生成された複数の学習用投影画像を、前記特定の病変の領域であることを示すラベルが付与された学習用データとして用いて機械学習を実行する、
処理を含むモデル生成処理によって生成される、
請求項５記載の画像識別方法。
前記学習済みモデルは、
人体の内部を撮影した複数の学習用断層画像に基づく三次元の学習用ボリュームデータから、それぞれ所定サイズの三次元領域である複数の学習用部分領域を切り出し、
前記複数の学習用部分領域の中から、前記特定の病変の領域の体積の割合が、０より大きい所定の下限閾値以上であり、１より小さい所定の上限閾値以下である病変部分領域を特定し、
特定された前記病変部分領域の各ボクセルの値を前記複数の方向に対して最小値投影または最大値投影することで生成された複数の学習用投影画像を、前記特定の病変の領域であることを示すラベルが付与された学習用データとして用いて機械学習を実行する、
処理を含むモデル生成処理によって生成される、
請求項５記載の画像識別方法。
【請求項7】
コンピュータに、
人体の内部を撮影した断層画像から、前記断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、
前記複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、
前記複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された前記確率の寄与度が高くなるような計算により、前記複数の部分画像のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
処理を実行させる画像識別プログラム。
人体の内部を撮影した断層画像から、前記断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、
前記複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、
前記複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された前記確率の寄与度が高くなるような計算により、前記複数の部分画像のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
処理を実行させる画像識別プログラム。
【請求項8】
コンピュータに、
人体の内部を撮影した複数の断層画像に基づいて生成された三次元のボリュームデータから、前記ボリュームデータ内の同一位置を含み、かつサイズが異なる複数の三次元部分領域を切り出し、
前記複数の三次元部分領域のそれぞれについて、対応する三次元部分領域の各ボクセルの値を互いに直交する複数の方向に対して最小値投影または最大値投影することで複数の投影画像を生成し、生成された前記複数の投影画像に基づいて前記同一位置が特定の病変の領域である確率を算出し、
前記複数の三次元部分領域のうち、少なくとも中間的なサイズに対応する三次元部分領域から算出された前記確率の寄与度が高くなるような計算により、前記複数の三次元部分領域のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
処理を実行させる画像識別プログラム。
人体の内部を撮影した複数の断層画像に基づいて生成された三次元のボリュームデータから、前記ボリュームデータ内の同一位置を含み、かつサイズが異なる複数の三次元部分領域を切り出し、
前記複数の三次元部分領域のそれぞれについて、対応する三次元部分領域の各ボクセルの値を互いに直交する複数の方向に対して最小値投影または最大値投影することで複数の投影画像を生成し、生成された前記複数の投影画像に基づいて前記同一位置が特定の病変の領域である確率を算出し、
前記複数の三次元部分領域のうち、少なくとも中間的なサイズに対応する三次元部分領域から算出された前記確率の寄与度が高くなるような計算により、前記複数の三次元部分領域のそれぞれから算出された前記確率を統合して統合値を算出し、
前記統合値が所定の閾値を超える場合に前記同一位置が前記特定の病変の領域であると識別する、
処理を実行させる画像識別プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像識別方法および画像識別プログラムに関する。
【背景技術】
【0002】
各種疾患の診断には、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）などによる医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。
【0003】
医用画像を用いた診断支援技術として、次のような提案がある。例えば、医用画像における病変領域候補を識別する第１の識別器と、第１の識別器によって識別された病変候補領域が血管領域かを識別する第２の識別器とを有し、第２の識別器によって血管領域と識別されなかった病変候補領域を病変領域として検出する医用画像処理装置が提案されている。また、医用画像に含まれる病変候補領域を特定し、病変候補領域を複数の分割領域に分割し、分割された複数の部分領域に対応する特徴量をそれぞれ抽出する医用画像処理装置も提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１７５３４３号公報
【特許文献2】特開２０１６－７２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、医用画像から、撮影された領域が病変の領域かを識別する識別処理では、疾患によっては識別が難しい場合がある。例えば、特定の病変領域と、体内の正常な特定部位とが、画像上では類似する明るさで写るが、前者の病変領域と後者の特定部位の三次元形状は異なるというケースがある。このケースでは、病変領域と特定部位とが画像上に異なる形状で写っていれば、両者を識別できる可能性が高い。しかし、場合によっては両者が類似する形状で画像に写ることがあり、その場合には両者を正確に識別できない可能性がある。
【0006】
上記のケースでは、病変領域や特定部位が画像内に写っている大きさによって、識別精度に違いが生じる。そこで、医用画像の同一位置からサイズが異なる複数の部分画像を切り出し、各部分画像について病変領域かを識別する識別処理を実行し、得られた識別結果を組み合わせて最終的な識別結果を出力する方法が考えられる。しかし、この方法では、部分画像ごとに得られた識別結果をどのように組み合わせて最終的な識別結果を求めるかという点に課題がある。
【0007】
１つの側面では、本発明は、入力画像が特定の病変領域の画像かを高精度に識別可能な画像識別方法および画像識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
１つの案では、コンピュータが、人体の内部を撮影した断層画像から、断層画像上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出し、複数の部分画像のそれぞれについて、特定の病変の領域である確率を算出し、複数の部分画像のうち、少なくとも中間的なサイズに対応する部分画像から算出された確率の寄与度が高くなるような計算により、複数の部分画像のそれぞれから算出された確率を統合して統合値を算出し、統合値が所定の閾値を超える場合に同一位置が特定の病変の領域であると識別する、画像識別方法が提供される。
【0009】
また、１つの案では、上記の画像識別方法と同様の処理をコンピュータに実行させる画像識別プログラムが提供される。
さらに、１つの案では、コンピュータが、人体の内部を撮影した複数の断層画像に基づいて生成された三次元のボリュームデータから、ボリュームデータ内の同一位置を含み、かつサイズが異なる複数の三次元部分領域を切り出し、複数の三次元部分領域のそれぞれについて、対応する三次元部分領域の各ボクセルの値を互いに直交する複数の方向に対して最小値投影または最大値投影することで複数の投影画像を生成し、生成された複数の投影画像に基づいて同一位置が特定の病変の領域である確率を算出し、複数の三次元部分領域のうち、少なくとも中間的なサイズに対応する三次元部分領域から算出された確率の寄与度が高くなるような計算により、複数の三次元部分領域のそれぞれから算出された確率を統合して統合値を算出し、統合値が所定の閾値を超える場合に同一位置が特定の病変の領域であると識別する、画像識別方法が提供される。
さらに、１つの案では、コンピュータが、人体の内部を撮影した複数の断層画像に基づいて生成された三次元のボリュームデータから、ボリュームデータ内の同一位置を含み、かつサイズが異なる複数の三次元部分領域を切り出し、複数の三次元部分領域のそれぞれについて、対応する三次元部分領域の各ボクセルの値を互いに直交する複数の方向に対して最小値投影または最大値投影することで複数の投影画像を生成し、生成された複数の投影画像に基づいて同一位置が特定の病変の領域である確率を算出し、複数の三次元部分領域のうち、少なくとも中間的なサイズに対応する三次元部分領域から算出された確率の寄与度が高くなるような計算により、複数の三次元部分領域のそれぞれから算出された確率を統合して統合値を算出し、統合値が所定の閾値を超える場合に同一位置が特定の病変の領域であると識別する、画像識別方法が提供される。
【0010】
また、１つの案では、上記の画像識別方法と同様の処理をコンピュータに実行させる画像識別プログラムが提供される。
【発明の効果】
【0011】
１つの側面では、入力画像が特定の病変領域の画像かを高精度に識別できる。
【図面の簡単な説明】
【0012】
【図1】第１の実施の形態に係る画像識別装置の構成例および処理例を示す図である。
【図2】第２の実施の形態に係る診断支援システムの構成例を示す図である。
【図3】画像識別装置のハードウェア構成例を示す図である。
【図4】病変識別処理の比較例を示す第１の図である。
【図5】病変識別処理の比較例を示す第２の図である。
【図6】病変識別処理の比較例を示す第３の図である。
【図7】第２の実施の形態における病変識別処理の例を示す図である。
【図8】学習用パッチの生成処理例を示す図である。
【図9】スコア統合処理例を示す第１の図である。
【図10】スコア統合処理例を示す第２の図である。
【図11】スコア統合処理例を示す第３の図である。
【図12】スコア統合処理例を示す第４の図である。
【図13】学習処理装置および画像識別装置が備える処理機能の構成例を示す図である。
【図14】学習処理装置による学習処理の手順を示すフローチャートの例である。
【図15】学習用パッチ生成処理の手順を示すフローチャートの例である。
【図16】画像識別装置による画像識別処理の手順を示すフローチャートの例である。
【図17】スコア算出処理の手順を示すフローチャートの例である。
【図18】識別結果出力処理の手順を示すフローチャートの例である。
【図19】結合パッチの生成処理を説明するための第１の図である。
【図20】結合パッチの生成処理を説明するための第２の図である。
【図21】学習用パッチ生成処理の手順を示すフローチャートの例である。
【図22】スコア算出処理の手順を示すフローチャートの例である。
【図23】識別結果出力処理の手順を示すフローチャートの例である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像識別装置の構成例および処理例を示す図である。図１に示す画像識別装置１は、人体の内部を撮影した断層画像の入力を受け付けて、断層画像を分割した部分領域のそれぞれが特定の病変の領域かを識別する情報処理装置である。例えば、肝臓を含む領域の断層が撮影された場合において、各部分領域が腫瘤の領域と正常の領域のどちらであるかが識別される。なお、断層画像は、例えば、ＣＴ画像、ＭＲ画像などの医用画像である。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像識別装置の構成例および処理例を示す図である。図１に示す画像識別装置１は、人体の内部を撮影した断層画像の入力を受け付けて、断層画像を分割した部分領域のそれぞれが特定の病変の領域かを識別する情報処理装置である。例えば、肝臓を含む領域の断層が撮影された場合において、各部分領域が腫瘤の領域と正常の領域のどちらであるかが識別される。なお、断層画像は、例えば、ＣＴ画像、ＭＲ画像などの医用画像である。
【0014】
ここで、病変領域と体内の正常な特定部位とが、部分画像上では類似する明るさで写るが、前者の病変領域と後者の特定部位の三次元形状は異なるというケースがある。このケースでは、病変領域と特定部位とが部分画像上に異なる形状で写っていれば、両者を識別できる可能性が高い。しかし、場合によっては両者が類似する形状で部分画像に写ることがあり、その場合には両者を正確に識別できない可能性がある。
【0015】
一方、断層画像から切り出される部分画像のサイズが異なる場合には、部分画像内に写る病変領域や特定部位の大きさも異なる。上記のように、病変領域と特定部位とは三次元形状が異なることから、断層画像から切り出す部分画像のサイズを変化させた場合、部分画像には形状の特徴が写りやすくなる場合もあれば、そうでない場合もある。このため、部分画像のサイズが異なり、部分画像に写っている病変領域や特定部位の大きさも異なっていれば、病変領域であるかの識別精度に違いが生じ得る。
【0016】
そこで、画像識別装置１は、断層画像上の同一位置について、サイズの異なる複数の部分画像を断層画像から切り出す。画像識別装置１は、切り出された複数の部分画像のそれぞれについて、病変領域である確率を算出し、算出された確率を統合することによって、上記の同一位置が病変領域であるかを最終的に識別する。
【0017】
画像識別装置１は、処理部１ａを有する。処理部１ａは、例えば、プロセッサである。処理部１ａは、以下のような処理を実行する。
処理部１ａは、入力された断層画像２から、断層画像２上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出す。図１の例では、断層画像２上の位置２ａを含む３つのサイズの部分画像３ａ～３ｃが切り出される。この例では、部分画像３ａのサイズが最も大きく、部分画像３ｂのサイズは部分画像３ａより小さく、部分画像３ｃのサイズは部分画像３ｂより小さい。また、部分画像３ａ～３ｃには、上記の正常な特定部位が写っているものとする。なお、複数の部分画像は、例えば、同一位置を中心としたサイズの異なる画像として切り出されてもよい。
処理部１ａは、入力された断層画像２から、断層画像２上の同一位置を含み、かつサイズが異なる複数の部分画像を切り出す。図１の例では、断層画像２上の位置２ａを含む３つのサイズの部分画像３ａ～３ｃが切り出される。この例では、部分画像３ａのサイズが最も大きく、部分画像３ｂのサイズは部分画像３ａより小さく、部分画像３ｃのサイズは部分画像３ｂより小さい。また、部分画像３ａ～３ｃには、上記の正常な特定部位が写っているものとする。なお、複数の部分画像は、例えば、同一位置を中心としたサイズの異なる画像として切り出されてもよい。
【0018】
処理部１ａは、切り出された部分画像３ａ～３ｃのそれぞれについて、病変領域である確率を算出する。この算出では、例えば、入力画像が病変領域であるかを識別する学習済みモデルを用いて実行される。図１の例では、確率は０から１の値をとるものとする。そして、部分画像３ａからは確率が「０」と算出され、部分画像３ｂからは確率が「０．３」と算出され、部分画像３ｃからは確率「０．８」と算出されたとする。
【0019】
処理部１ａは、部分画像３ａ～３ｃのそれぞれから算出された確率の値を統合して、統合値を算出する。そして、処理部１ａは、算出された統合値が所定の閾値を超える場合に、位置２ａが病変領域であると識別する。本実施の形態では、例として閾値は「０．５」であるとする。
【0020】
ここで、確率の統合処理の例としては、部分画像３ａ～３ｃのそれぞれから算出された確率の最大値を統合値として算出する方法が考えられる。しかし、この方法では正常領域（例えば、上記の正常な特定部位を含む領域）が病変領域であると誤って識別される可能性がある。例えば図１では、確率の最大値は「０．８」となり、算出された統合値が閾値「０．５」を超えてしまうので、位置２ａは病変領域であると誤って識別されてしまう。
【0021】
これに対して、本実施の形態の処理部１ａは、部分画像３ａ～３ｃのうち、少なくとも中間的なサイズに対応する部分画像から算出された確率の寄与度が高くなるような計算によって、統合値を算出する。図１の例では、中間的なサイズに対応する部分画像は部分画像３ｂであり、部分画像３ｂから算出された確率「０．３」の寄与度が高くなるような計算が行われる。これにより、算出された統合値が閾値「０．５」を超えない可能性が高くなり、位置２ａは正常領域であると識別される可能性が高くなる。
【0022】
一方、例えば、部分画像３ｃの領域に、図１の特定部位と同じような面積で病変領域が写っていたとする。この場合、部分画像３ｂ，３ｃで閾値「０．５」を超える確率が算出される可能性が高くなる。一方、部分画像３ａでは、病変領域が相対的に小さ過ぎることから、確率は比較的低い値になる可能性が高い。このため、中間的なサイズに対応する部分領域から算出された確率の寄与度が高くなるような計算によって統合値が算出されることで、病変領域であると正しく識別される可能性が高くなる。
【0023】
以上のように、本実施の形態の画像識別装置１によれば、入力画像が特定の病変領域の画像かを高精度に識別できる。
〔第２の実施の形態〕
次に、病変の一例として肝臓内の腫瘤を検出可能なシステムについて説明する。
〔第２の実施の形態〕
次に、病変の一例として肝臓内の腫瘤を検出可能なシステムについて説明する。
【0024】
図２は、第２の実施の形態に係る診断支援システムの構成例を示す図である。図２に示す診断支援システムは、ＭＲＩ撮影による画像診断作業を支援するシステムであり、ＭＲＩ装置１１，２１、学習処理装置１２および画像識別装置２２を含む。なお、画像識別装置２２は、図１に示した画像識別装置１の一例である。
【0025】
ＭＲＩ装置１１，２１は、人体のＭＲ画像を撮影する。本実施の形態では、ＭＲＩ装置１１，２１は、肝臓を含む腹部領域におけるアキシャル面の断層画像を、人体の高さ方向（アキシャル面に垂直な方向）に対する位置（スライス位置）を所定間隔で変えながら所定枚数撮影する。また、本実施の形態では、ＭＲＩ装置１１，２１は、ガドキセト酸ナトリウム（Ｇｄ－ＥＯＢ－ＤＴＰＡ，ＥＯＢ：Ethoxybenzyl，ＤＴＰＡ：Diethylenetriamine Penta－acetic Acid）を有効成分とする肝臓用造影剤を用いた撮影を行い、肝細胞造影相を用いるものとする。以下、この造影剤を「ＥＯＢ造影剤」と記載する。
【0026】
画像識別装置２２は、ＭＲＩ装置２１によって撮影された各断層画像から病変領域を検出する。本実施の形態では、病変領域として肝臓内の腫瘤が検出されるものとする。また、画像識別装置２２は、機械学習によって生成された病変識別モデルを用いて病変領域を検出する。また、画像識別装置２２は、例えば、病変領域の識別結果を示す情報を表示装置に表示させる。これにより画像識別装置２２は、ユーザ（例えば読影医）の画像診断作業を支援する。
【0027】
学習処理装置１２は、画像識別装置２２で利用される病変識別モデルを、機械学習によって生成する。このモデル生成処理のために、学習処理装置１２は、ＭＲＩ装置１１によって撮影された各断層画像から学習用データを生成し、生成された学習用データを用いて機械学習を実行する。学習処理装置１２によって生成された病変識別モデルを示すデータ（モデルパラメータ）は、例えばネットワークを介して、あるいは可搬型の記録媒体を介して画像識別装置２２に読み込まれる。
【0028】
なお、学習処理装置１２と画像識別装置２２とに対しては、同一のＭＲＩ装置から撮影画像が入力されてもよい。また、学習処理装置１２は、ＭＲＩ装置から撮影画像を直接的に取得するのではなく、記録媒体などを介して取得してもよい。さらに、学習処理装置１２と画像識別装置２２は、同一の情報処理装置であってもよい。
【0029】
図３は、画像識別装置のハードウェア構成例を示す図である。画像識別装置２２は、例えば、図３に示すようなコンピュータとして実現される。図３に示すように、画像識別装置２２は、プロセッサ２０１、ＲＡＭ（Random Access Memory）２０２、ＨＤＤ（Hard Disk Drive）２０３、ＧＰＵ（Graphics Processing Unit）２０４、入力インタフェース（Ｉ／Ｆ）２０５、読み取り装置２０６および通信インタフェース（Ｉ／Ｆ）２０７を備える。
【0030】
プロセッサ２０１は、画像識別装置２２全体を統括的に制御する。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ２０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、プロセッサ２０１は、図１に示した処理部１ａの一例である。
【0031】
ＲＡＭ２０２は、画像識別装置２２の主記憶装置として使用される。ＲＡＭ２０２には、プロセッサ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、プロセッサ２０１による処理に必要な各種データが格納される。
【0032】
ＨＤＤ２０３は、画像識別装置２２の補助記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。
【0033】
ＧＰＵ２０４には、表示装置２０４ａが接続されている。ＧＰＵ２０４は、プロセッサ２０１からの命令にしたがって、画像を表示装置２０４ａに表示させる。表示装置２０４ａとしては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。
【0034】
入力インタフェース２０５には、入力装置２０５ａが接続されている。入力インタフェース２０５は、入力装置２０５ａから出力される信号をプロセッサ２０１に送信する。入力装置２０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0035】
読み取り装置２０６には、可搬型記録媒体２０６ａが脱着される。読み取り装置２０６は、可搬型記録媒体２０６ａに記録されたデータを読み取ってプロセッサ２０１に送信する。可搬型記録媒体２０６ａとしては、光ディスク、半導体メモリなどがある。
【0036】
通信インタフェース２０７は、ネットワークを介して、ＭＲＩ装置２１などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像識別装置２２の処理機能を実現することができる。なお、学習処理装置１２も、図３に示すようなハードウェア構成のコンピュータとして実現可能である。
以上のようなハードウェア構成によって、画像識別装置２２の処理機能を実現することができる。なお、学習処理装置１２も、図３に示すようなハードウェア構成のコンピュータとして実現可能である。
【0037】
次に、図４～図６を用いて、病変識別処理の比較例について説明する。
図４は、病変識別処理の比較例を示す第１の図である。病変識別の方法として、機械学習によって生成された病変識別モデルを用いる方法がある。例えば図４に示すように、各断層画像から一定サイズの画像領域である「パッチ」を切り出し、パッチを単位として病変識別処理を実行する方法がある。
図４は、病変識別処理の比較例を示す第１の図である。病変識別の方法として、機械学習によって生成された病変識別モデルを用いる方法がある。例えば図４に示すように、各断層画像から一定サイズの画像領域である「パッチ」を切り出し、パッチを単位として病変識別処理を実行する方法がある。
【0038】
図４の例では、ＭＲＩ装置から断層画像セットが取得され（ステップＳ１１）、断層画像セットに含まれる各断層画像からパッチが生成される（ステップＳ１２）。パッチは、例えば、１６画素×１６画素などの一定サイズで断層画像を分割することで生成される。
【0039】
このようにして生成されたパッチが、事前の機械学習によって生成された病変識別モデルに入力される。これによって、パッチにおける病変が識別される（ステップＳ１３）。図４の例では、病変識別モデルによって病変Ａ、病変Ｂ、正常（病変でない）のどれであるかが識別される。実際には、病変Ａ、病変Ｂ、正常のクラスごとに、クラスに属する確率を示すスコアが算出される。あるクラスに対応するスコアが所定の閾値を超えた場合に、そのクラスに属すると判定される。
【0040】
学習モデルを生成するための学習用データも、上記と同様の手順で断層画像から切り出されたパッチとして生成される。すなわち、学習用のパッチに対して病変Ａ、病変Ｂ、正常のどれかを示すラベルが付加され、ラベルが付加された学習用のパッチによって機械学習が行われ、病変識別モデルが生成される。
【0041】
本実施の形態の画像識別装置２２では、断層画像としてＥＯＢ造影剤を用いたＭＲ画像を入力として、腫瘤（病変の一例）と正常（腫瘤でない）のどちらであるかを識別する病変識別モデルが利用される。ここで、ＥＯＢ造影剤を用いたＭＲ画像において、臓器（ここでは肝細胞相に写る肝臓）内の腫瘤は臓器に対して暗く描出されるが、臓器内の血管も同様に臓器に対して暗く描出される。このため、図４の方法を用いて腫瘤を識別する場合、血管の領域（すなわち正常の領域）が腫瘤の領域と誤って識別される可能性がある。
【0042】
図５は、病変識別処理の比較例を示す第２の図である。図５（Ａ）は小さいパッチ（小パッチ）を用いた場合の識別例を示し、図５（Ｂ）は大きいパッチ（大パッチ）を用いた場合の識別例を示し、図５（Ｃ）は大パッチを用いた場合の他の識別例を示す。
【0043】
図５（Ａ）において、パッチＰ１には、腫瘤の一部がある程度以上の大きさで写っている。このようなパッチＰ１が病変識別モデルに入力された場合、腫瘤である確率を示すスコアとしては比較的高い値が算出されるので、パッチＰ１は腫瘤と正しく識別される。
【0044】
また、パッチＰ２には、血管が管状の形状で写っている。このようなパッチＰ２が病変識別モデルに入力された場合、比較的低いスコアが算出されるので、パッチＰ２は正常と正しく識別される。すなわち、パッチＰ２のようなケースでは、腫瘤との形状の違いから誤識別が発生しにくい。
【0045】
しかし、パッチＰ３は、血管の一部をかすめるように配置されている。このため、パッチＰ３には、管状という血管の形状の特徴が表れていない。なおかつ、パッチＰ３には、パッチＰ１における腫瘤の領域と同程度の面積で血管の領域が写っている。このようなパッチＰ３が病変識別モデルに入力された場合、パッチＰ１と同程度のスコアが算出される可能性がある。その場合、パッチＰ３は腫瘤と誤って識別されてしまう。
【0046】
図５（Ｂ）は、パッチＰ１～Ｐ３より大きなパッチＰ４，Ｐ５を用いた場合の識別例を示している。パッチＰ４には腫瘤が写っており、比較的高いスコアが算出される。このため、パッチＰ４は腫瘤と正しく判定される。パッチＰ５には、血管が管状の形状で写っており、比較的低いスコアが算出される。このため、パッチＰ５は正常と正しく判定される。
【0047】
図５（Ａ）のように小パッチを用いた場合には、血管に対するパッチの位置によっては誤識別が発生する可能性がある。一方で、図５（Ｂ）のように大パッチを用いた場合には、血管の形状の特徴がパッチ上に表れやすく、誤識別が発生しにくい。
【0048】
しかし、パッチが大きいほど誤識別が発生しにくいとは言えない。例えば、図５（Ｃ）には、パッチＰ４，Ｐ５と同じ大きさのパッチＰ６に、腫瘤が小さく写っている。この場合、腫瘤の大きさが小さ過ぎることから比較的低いスコアが算出される場合があり、その場合には正常と誤って識別されてしまう。
【0049】
以上のように、パッチの大きさが変わることで誤識別の発生の仕方も変わる。ある大きさのパッチは、ある種類の識別対象に対しては誤識別しにくくなるが、別の種類の識別対象に対しては逆に誤識別しやすくなる可能性がある。すなわち、腫瘤や血管などの識別対象の種類ごとに、適切なパッチサイズは異なる可能性があり、病変識別のための適切なパッチサイズを事前に知ることは不可能である。
【0050】
このような課題に対して、複数サイズ（複数スケール）のパッチを用いて病変識別を行い、それらの識別結果を統合して最終結果を出力する方法が考えられる。この方法は、マルチスケール法と呼ばれる場合もある。マルチスケール法を用いた場合の識別例を図６に示す。
【0051】
図６は、病変識別処理の比較例を示す第３の図である。図６では、あるサイズのパッチ（ここでは「大パッチ」とする）と、縦横のサイズがその大パッチの１／２であるパッチ（ここでは「小パッチ」とする）とを用いた場合の識別例を示している。また、各パッチを病変識別モデルに入力したときのスコアを、４段階の値で示している。
【0052】
なお、大パッチを用いた病変識別処理と小パッチを用いた病変識別処理は、同一の病変識別モデルを用いて実行可能である。例えば、大パッチと同じサイズのパッチを用いて学習された病変識別モデルが用いられたとする。この場合、大パッチはそのまま病変識別モデルに入力されればよい。一方、小パッチは大パッチと同じサイズに拡大され、拡大された小パッチが病変識別モデルに入力されればよい。
【0053】
図６に示すように、１つの大パッチ、および４つの小パッチのそれぞれについて、病変識別モデルを用いてスコアが算出される。そして、各小パッチと、大パッチにおける小パッチに対応する領域との間でスコアが統合される。なお、実際には例えば、大パッチが小パッチの大きさに分割され、分割された各パッチに大パッチのスコアが対応付けられる（スコア補間）。そして、分割された各パッチと、各パッチの位置に対応する小パッチとの間でスコアが統合される。
【0054】
スコア統合方法の一例として、統合対象の各パッチのスコアの最大値を算出する方法が考えられる。この方法では、スケールの異なるパッチのうちの少なくとも１つでスコアが高ければ、腫瘤と識別されることになる。例えば、大パッチでは小さく写った腫瘤も、小パッチでは適切な大きさで写り、小パッチでは高いスコアが算出される。このため、最大値で統合することで小さな腫瘤を検出できる可能性が高まる。
【0055】
しかし、図６のように血管が写った場合、血管を腫瘤と誤って識別する場合があり得る。例えば、小パッチＰ１１，Ｐ１２には、血管の一部が写っているが、管状という血管の形状の特徴が明確には表れていない。このため、小パッチＰ１１，Ｐ１２については比較的高いスコアが算出される。この場合、大パッチと小パッチとの間で最大値によってスコアを統合すると、小パッチＰ１１，Ｐ１２にそれぞれ対応する統合後のパッチＰ１１ａ，Ｐ１２ａについては、比較的高いスコアが算出される。したがって、パッチＰ１１ａ，Ｐ１２ａは腫瘤であると誤って識別されてしまう。また、上記の課題は３つ以上のサイズのパッチを用いた場合でも出現する。
【0056】
そこで、本実施の形態の画像識別装置２２は、３つ以上のサイズのパッチを用いて病変識別処理を実行した上で、上記とは異なるスコア統合処理を実行する。
図７は、第２の実施の形態における病変識別処理の例を示す図である。図７は、腫瘤および血管を、小パッチ、中パッチおよび大パッチという３つのサイズのパッチを用いて識別する場合を示している。なお、パッチサイズとしては、次のようなパターンを採用可能である。例えば、小パッチのサイズが現実空間での６ｍｍ×６ｍｍの領域であり、中パッチのサイズが現実空間での１２ｍｍ×１２ｍｍの領域であり、大パッチのサイズが現実空間での２４ｍｍ×２４ｍｍの領域である。
図７は、第２の実施の形態における病変識別処理の例を示す図である。図７は、腫瘤および血管を、小パッチ、中パッチおよび大パッチという３つのサイズのパッチを用いて識別する場合を示している。なお、パッチサイズとしては、次のようなパターンを採用可能である。例えば、小パッチのサイズが現実空間での６ｍｍ×６ｍｍの領域であり、中パッチのサイズが現実空間での１２ｍｍ×１２ｍｍの領域であり、大パッチのサイズが現実空間での２４ｍｍ×２４ｍｍの領域である。
【0057】
腫瘤と血管とで、パッチサイズによってスコアの傾向に違いが生じ得るという特徴がある。具体的には、腫瘤は、適切なサイズのパッチで高いスコアとなり、そのサイズに比較的近く、それより大きいサイズと小さいサイズの各パッチで、中程度のスコアとなる場合が多い。一方、血管に関しては、画像上の血管が大きく写るような小さいサイズのパッチで高いスコアとなり（すなわち、誤識別され）、それよりサイズが大きく、血管が管状に写るようなパッチで低いスコアとなる場合が多い。
【0058】
図７は、小パッチで病変識別処理を実行した場合に誤識別が発生しやすいケースを示している。この例では、腫瘤は小パッチに適切な大きさで写っており、小パッチからは高いスコアが算出される。また、中パッチにおいては腫瘤の大きさが適切な大きさより小さくなることから、中パッチからは中程度のスコアが算出される。そして、大パッチにおいては腫瘤の大きさが小さ過ぎることから、大パッチからは低いスコアが算出される。
【0059】
一方、図７に示す血管は、その幅が腫瘤の直径と同程度であるとする。この場合、小パッチには、血管の形状の特徴が表れない状態で血管の一部が含まれることから、小パッチからは高いスコアが算出される。すなわち、誤識別が発生している。また、中パッチおよび大パッチには、血管の形状の特徴が表れた状態で血管の一部が含まれることから、中パッチおよび大パッチからは低いスコアが算出される。
【0060】
以上の特徴に鑑みて、本実施の形態の画像識別装置２２は、近いサイズの複数のパッチで閾値を超えるスコアが算出されている場合に腫瘤であると判定されるような計算方法を用いて、異なるサイズのパッチ間でスコアを統合する。図７の例では、腫瘤に関しては小パッチと中パッチとである程度高いスコアが算出されているので、腫瘤であると正しく識別される。一方、血管に関しては、小パッチでのみ高いスコアが算出され、中パッチおよび大パッチでは低いスコアが算出されているので、正常であると正しく識別される。このようなスコア統合処理によれば、血管のパッチに関して、誤識別が発生しているサイズのスコアが抑制されるような計算が行われるので、血管が腫瘤と誤って識別される可能性を低減できる。
【0061】
スコア統合のための具体的な計算方法としては、次のような方法を採用可能である。ここでは、統合後のスコアＳを計算するための処理Ｆを、Ｓ＝Ｆ（ｓi-k，ｓi，ｓi+k）と定義する。この処理Ｆにおいて、ｓiは、着目するｉ番目のサイズのパッチのスコアを示す。変数ｋは、任意の自然数であり、パッチサイズを小さい順に並べた場合に、ｉ番目のサイズからｋ番だけ離れたパッチサイズを指定するために利用される。すなわち、ｓi-kは、ｉ番目のサイズよりｋ番だけ小さいサイズのパッチのスコアを示し、ｓi+kは、ｉ番目のサイズよりｋ番だけ大きいサイズのパッチのスコアを示す。パッチサイズが３つの場合、ｋ＝１となる。パッチサイズが４つ以上の場合、ｋは、パッチサイズの個数（スケール数）の１／２（上限値）より小さい任意の自然数となる。後者の場合、ｋは例えばユーザによって設定されればよいが、上記の上限値に近過ぎない値の方が望ましい。
【0062】
処理Ｆを示す計算式としては、例えば、次の式（１）～（４）のいずれかを用いることができる。
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｍｅｄｉａｎ（ｓi-k，ｓi，ｓi+k） ・・・（１）
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｍａｘ（ｍｉｎ（ｓi-k，ｓi），ｍｉｎ（ｓi，ｓi+k）） ・・・（２）
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｓi-k／４＋ｓi／２＋ｓi+k／４ ・・・（３）
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｓi／２＋ｍａｘ（ｓi-k，ｓi+k）／２ ・・・（４）
ただし、ｍｅｄｉａｎ（ｘ1，ｘ2，ｘ3，・・・）は、ｘ1，ｘ2，ｘ3，・・・を昇順または降順に並べたときの中央値（順位が中央の値）を示す。ｍａｘ（ｘ，ｙ）は、ｘ，ｙのうち大きい方の値を示し、ｍｉｎ（ｘ，ｙ）は、ｘ，ｙのうち小さい方の値を示す。
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｍｅｄｉａｎ（ｓi-k，ｓi，ｓi+k） ・・・（１）
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｍａｘ（ｍｉｎ（ｓi-k，ｓi），ｍｉｎ（ｓi，ｓi+k）） ・・・（２）
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｓi-k／４＋ｓi／２＋ｓi+k／４ ・・・（３）
Ｆ（ｓi-k，ｓi，ｓi+k）＝ｓi／２＋ｍａｘ（ｓi-k，ｓi+k）／２ ・・・（４）
ただし、ｍｅｄｉａｎ（ｘ1，ｘ2，ｘ3，・・・）は、ｘ1，ｘ2，ｘ3，・・・を昇順または降順に並べたときの中央値（順位が中央の値）を示す。ｍａｘ（ｘ，ｙ）は、ｘ，ｙのうち大きい方の値を示し、ｍｉｎ（ｘ，ｙ）は、ｘ，ｙのうち小さい方の値を示す。
【0063】
上記の式（１）～（４）のいずれも、実質的には、中間的なパッチサイズのスコアの寄与度が高くなるような計算が行われる。例えば、式（３）では、中間的なパッチサイズでのスコアに対して大きな重みが付与される。血管の場合、中間的なパッチサイズでのみスコアが高くなる可能性は低いため、式（３）により血管が腫瘤と誤って識別される可能性が低減される。
【0064】
また、式（１）では、中間的なパッチサイズのスコアが中間値として出力される可能性が高くなる。これは上記のように、血管の場合には中間的なパッチサイズでのみスコアが高くなる可能性が低いためである。例えば図７のケースで式（１）が適用された場合、腫瘤に関してはスコアの中央値が中間的な値となり、腫瘤と識別される。一方、血管に関してはスコアの中央値が低い値となり、正常と識別される。
【0065】
式（２）および式（４）では、中間的なパッチサイズと、それに近いいずれかのパッチサイズの両方でスコアが高い場合に、統合後のスコアが高くなる可能性が高い。この理由も上記の通り、血管の場合には中間的なパッチサイズでのみスコアが高くなる可能性が低いためである。
【0066】
このように、本実施の形態の画像識別装置２２によれば、腫瘤の検出精度を高めつつ、血管を腫瘤と誤って識別する可能性を低減でき、病変検出精度を向上させることができる。
【0067】
また、上記のように、腫瘤と血管とで、パッチサイズによってスコアの傾向に違いが生じ得るという特徴がある。このような特徴を病変識別処理においてより顕著に出現させるために、病変識別モデルを機械学習する際の学習用データを以下のように作成することが望ましい。
【0068】
図８は、学習用パッチの生成処理例を示す図である。腫瘤ラベルが付与される学習用パッチ（腫瘤パッチ）を生成する場合、学習処理装置１２はまず、断層画像をパッチに分割し、分割されたパッチの中から腫瘤が写っているパッチを腫瘤パッチ候補として特定する。次に、学習処理装置１２は、腫瘤パッチ候補のそれぞれについて、パッチの領域のうち腫瘤が写っている領域の面積の割合（占有率）を算出する。そして、学習処理装置１２は、腫瘤パッチ候補の中から、占有率が所定の下限閾値ＴＨmin以上であり、かつ所定の上限閾値ＴＨmax以内であるパッチだけを腫瘤パッチとして決定し、それ以外のパッチを除外する。
【0069】
下限閾値ＴＨminから上限閾値ＴＨmaxまでの範囲は、パッチ内に写っている腫瘤の大きさが適切と判定される範囲を示す。例えば、腫瘤は断層画像上でほぼ円状となる。そこで、学習処理装置１２は、一辺がパッチの幅の１／２となる正方形に収まる円の面積を基に下限閾値ＴＨminを下記の式（５ａ）により算出し、パッチに収まる円の面積を基に上限閾値ＴＨmaxを下記の式（５ｂ）により算出する。
ＴＨmin＝π（１／４）2 ・・・（５ａ）
ＴＨmax＝π（１／２）2 ・・・（５ｂ）
また、撮影された複数の断層画像に基づく三次元の画像データを基に下限閾値ＴＨminおよび上限閾値ＴＨmaxを算出することもできる。例えば、学習処理装置１２は、複数の断層画像を基に生成される三次元のボリュームデータから、パッチを一面またはその内部（例えば中央部）に含む立方体のブロックを切り出す。腫瘤はほぼ球状であることから、学習処理装置１２は、一辺がブロックの一辺の１／２となる立方体に収まる球の体積を基に下限閾値ＴＨminを下記の式（６ａ）により算出し、ブロックに収まる球の体積を基に上限閾値ＴＨmaxを下記の式（６ｂ）により算出する。
ＴＨmin＝（４／３）π（１／４）3 ・・・（６ａ）
ＴＨmax＝（４／３）π（１／２）3 ・・・（６ｂ）
一例として、式（６ａ）および式（６ｂ）を用いた場合の実際の処理では、式（６ａ）の値が約０．０６５となり、式（６ｂ）の値が約０．５２４となることから、ＴＨmin＝６％、ＴＨmax＝５２％を使用することができる。
ＴＨmin＝π（１／４）2 ・・・（５ａ）
ＴＨmax＝π（１／２）2 ・・・（５ｂ）
また、撮影された複数の断層画像に基づく三次元の画像データを基に下限閾値ＴＨminおよび上限閾値ＴＨmaxを算出することもできる。例えば、学習処理装置１２は、複数の断層画像を基に生成される三次元のボリュームデータから、パッチを一面またはその内部（例えば中央部）に含む立方体のブロックを切り出す。腫瘤はほぼ球状であることから、学習処理装置１２は、一辺がブロックの一辺の１／２となる立方体に収まる球の体積を基に下限閾値ＴＨminを下記の式（６ａ）により算出し、ブロックに収まる球の体積を基に上限閾値ＴＨmaxを下記の式（６ｂ）により算出する。
ＴＨmin＝（４／３）π（１／４）3 ・・・（６ａ）
ＴＨmax＝（４／３）π（１／２）3 ・・・（６ｂ）
一例として、式（６ａ）および式（６ｂ）を用いた場合の実際の処理では、式（６ａ）の値が約０．０６５となり、式（６ｂ）の値が約０．５２４となることから、ＴＨmin＝６％、ＴＨmax＝５２％を使用することができる。
【0070】
学習処理装置１２は、上記のように決定された腫瘤パッチを学習用データとして用いて機械学習を行い、病変識別モデルを生成する。これにより、腫瘤が適切な面積で写っているパッチからは高いスコアが算出されるが、腫瘤の面積が小さ過ぎるパッチや大き過ぎるパッチからはより低いスコアが算出されるような病変識別モデルを生成することができる。そして、このような病変識別モデルを用いて図７に示したスコア統合処理を実行することで、腫瘤の検出精度を高めつつ、血管を腫瘤と誤って識別する可能性を低減でき、病変検出精度を向上させることができる。
【0071】
次に、図９～図１２を用いてスコア統合処理の例について説明する。図９～図１２では例として、前述の式（１）を用いてスコアが統合されるものとする。
図９は、スコア統合処理例を示す第１の図である。図９では、腫瘤が写っている画像領域でのスコア統合処理を例示している。スコアは０から１までの値をとるものとし、腫瘤と判定するための閾値を０．５とする。
図９は、スコア統合処理例を示す第１の図である。図９では、腫瘤が写っている画像領域でのスコア統合処理を例示している。スコアは０から１までの値をとるものとし、腫瘤と判定するための閾値を０．５とする。
【0072】
画像識別装置２２は、断層画像を大パッチ、中パッチおよび小パッチに分割する。次に、画像識別装置２２は、大パッチ、中パッチおよび小パッチを病変識別モデルに入力して、パッチごとのスコアを算出する。次に、画像識別装置２２は、異なるサイズのパッチ間でスコアを統合するために、スコア補間を実行する。スコア補間では、例えば、最近傍補間法が用いられる。この場合、大パッチが小パッチのサイズに分割され、分割された各パッチに対して元の大パッチのスコアが割り当てられる。中パッチも同様に、小パッチのサイズに分割され、分割された各パッチに対して元の中パッチのスコアが割り当てられる。
【0073】
なお、スコア補間としては、このような最近傍補間法に限らず、例えば双一次補間法、双三次補間法などの他の方法が用いられてもよい。また、上記の例では小パッチを単位としてスコア補間が行われたが、例えばピクセル単位やボクセル単位でスコア補間が行われてもよい。特に、ピクセル単位やボクセル単位の場合には、双一次補間法や双三次補間法を用いてスコア補間が行われることが望ましい。
【0074】
次に、画像識別装置２２は、同じ位置のパッチ同士で式（１）を用いてスコアを統合する。例えば、パッチＰ２１ａ～Ｐ２１ｃの統合では、中央値の「０．１」が統合後のスコアとして算出される。また、腫瘤が写っているパッチＰ２２ａ～Ｐ２２ｃの統合では、中央値の「０．７」が統合後のスコアとして算出される。そして、画像識別装置２２は、統合後のスコアが閾値「０．５」を超えた場合に、そのパッチを腫瘤と識別する。図９の例では、腫瘤が含まれるパッチＰ２２のみが腫瘤と識別され、その他のパッチが正常と識別される。なお、図９の例では、中パッチに基づくパッチＰ２２ｂのスコアと小パッチであるパッチＰ２２ｃのスコアがともに閾値「０．５」を超えている。
【0075】
図１０は、スコア統合処理例を示す第２の図である。図１０では、血管が写っている画像領域でのスコア統合処理を例示している。図９と同様に、スコアは０から１までの値をとるものとし、腫瘤と判定するための閾値を０．５とする。
【0076】
図９の場合と同様に、画像識別装置２２は、断層画像を大パッチ、中パッチおよび小パッチに分割し、分割された各パッチを病変識別モデルに入力して、パッチごとのスコアを算出する。次に、画像識別装置２２は、スコア補間を実行して小パッチ単位の領域のスコアを算出し、同じ位置のパッチ同士で式（１）を用いてスコアを統合する。そして、画像識別装置２２は、統合後のスコアが閾値を超えた場合に、そのパッチを腫瘤と識別する。
【0077】
図１０の例では、すべてのパッチが正常と識別される。例えば、パッチＰ２３ａ～Ｐ２３ｃの統合では、中央値の「０．３」が統合後のスコアとして算出される。このスコアは閾値以下であるため、パッチＰ２３ａ～Ｐ２３ｃに対応するパッチＰ２３は正常と識別される。
【0078】
ここで、図１０では、図６に示したように最大値によってスコアを統合した場合の例を、比較例として示している。この比較例では、パッチＰ２３についての統合後のスコアは「０．８」となって閾値を超えるので、パッチＰ２３は腫瘤であると誤って識別される。また、比較例ではその他に、パッチＰ２４，Ｐ２５でも統合後のスコアが閾値を超え、パッチＰ２４，Ｐ２５も腫瘤であると誤って識別される。これに対して、本実施の形態のスコア統合処理によれば、このような誤識別の発生を抑止できる。
【0079】
図１１は、スコア統合処理例を示す第３の図である。また、図１２は、スコア統合処理例を示す第４の図である。
図１１では、図９の例より腫瘤が大きく写っている画像領域でのスコア統合処理例を示している。図１２では、図１１の例よりさらに腫瘤が大きく写っている画像領域でのスコア統合処理例を示している。なお、図１１および図１２では、スコアを４段階で示し、高スコア側の２つの段階について閾値判定により腫瘤と判定されるものとする。図１１および図１２によれば、腫瘤がより大きく写っている場合でも腫瘤を検出可能であることがわかる。
図１１では、図９の例より腫瘤が大きく写っている画像領域でのスコア統合処理例を示している。図１２では、図１１の例よりさらに腫瘤が大きく写っている画像領域でのスコア統合処理例を示している。なお、図１１および図１２では、スコアを４段階で示し、高スコア側の２つの段階について閾値判定により腫瘤と判定されるものとする。図１１および図１２によれば、腫瘤がより大きく写っている場合でも腫瘤を検出可能であることがわかる。
【0080】
次に、学習処理装置１２および画像識別装置２２の処理について詳しく説明する。
図１３は、学習処理装置および画像識別装置が備える処理機能の構成例を示す図である。
図１３は、学習処理装置および画像識別装置が備える処理機能の構成例を示す図である。
【0081】
学習処理装置１２は、記憶部１１０、学習用データ生成部１２１および学習処理部１２２を備える。
記憶部１１０は、学習処理装置１２が備える記憶装置に確保される記憶領域である。記憶部１１０には、腫瘤識別用の学習済みモデル（腫瘤識別モデル）を示すモデルパラメータ１１１が記憶される。例えば、腫瘤識別モデルがニューラルネットワークによって形成される場合、モデルパラメータ１１１にはニューラルネットワーク上のノード間の重み係数が含まれる。
記憶部１１０は、学習処理装置１２が備える記憶装置に確保される記憶領域である。記憶部１１０には、腫瘤識別用の学習済みモデル（腫瘤識別モデル）を示すモデルパラメータ１１１が記憶される。例えば、腫瘤識別モデルがニューラルネットワークによって形成される場合、モデルパラメータ１１１にはニューラルネットワーク上のノード間の重み係数が含まれる。
【0082】
学習用データ生成部１２１および学習処理部１２２の処理は、例えば、学習処理装置１２が備えるプロセッサが所定のプログラムを実行することで実現される。学習用データ生成部１２１は、ＭＲＩ装置１１による撮影によって得られた１組以上の断層画像セットに基づいて、腫瘤識別モデルを機械学習によって生成するための学習用データを生成する。学習処理部１２２は、生成された学習用データを用いて機械学習を実行することで腫瘤識別モデルを生成し、腫瘤識別モデルを示すモデルパラメータ１１１を記憶部１１０に格納する。
【0083】
画像識別装置２２は、記憶部２１０、入力データ生成部２２１、スコア算出部２２２、スコア統合部２２３および病変領域識別部２２４を備える。
記憶部２１０は、ＲＡＭ２０２やＨＤＤ２０３など、画像識別装置２２が備える記憶装置に確保される記憶領域である。記憶部２１０には、臓器領域識別用の学習済みモデル（臓器領域識別モデル）を示すモデルパラメータ２１１と、腫瘤識別モデルを示すモデルパラメータ１１１が記憶される。
記憶部２１０は、ＲＡＭ２０２やＨＤＤ２０３など、画像識別装置２２が備える記憶装置に確保される記憶領域である。記憶部２１０には、臓器領域識別用の学習済みモデル（臓器領域識別モデル）を示すモデルパラメータ２１１と、腫瘤識別モデルを示すモデルパラメータ１１１が記憶される。
【0084】
臓器領域識別モデルは、断層画像セットにおける臓器（肝臓）の領域を識別するための識別器を示す学習済みモデルであり、機械学習によってあらかじめ生成される。モデルパラメータ１１１は、学習処理装置１２によって生成され、例えばネットワークを介して、あるいは可搬型の記録媒体を介して画像識別装置２２に読み込まれ、記憶部２１０に格納される。
【0085】
入力データ生成部２２１、スコア算出部２２２、スコア統合部２２３および病変領域識別部２２４の処理は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。
【0086】
入力データ生成部２２１は、ＭＲＩ装置２１による撮影によって得られた断層画像セットに基づいて、三次元のボリュームデータを生成する。入力データ生成部２２１は、モデルパラメータ２１１に基づく学習済みモデルに対してボリュームデータを入力して、ボリュームデータのボクセルの中から臓器領域のボクセルを特定する。入力データ生成部２２１は、ボリュームデータに複数のスライス面を設定し、スライス面ごとに断層画像を生成して、各断層画像から複数サイズ（本実施の形態では３つのサイズ）のパッチを生成する。ただし、臓器領域を含むパッチのみが病変識別の対象として選択される。
【0087】
スコア算出部２２２は、モデルパラメータ１１１に基づく病変識別モデルに対して生成されたパッチを入力し、パッチごとに腫瘤である確率を示すスコアを算出する。このスコア算出では、入力されるパッチが、病変識別モデルにおいて規定されたパッチサイズ（学習時に使用されたパッチのサイズ）に必要に応じて拡大または縮小されて、病変識別モデルに入力される。
【0088】
スコア統合部２２３は、サイズの異なるパッチの間でスコアを統合する。この統合処理では、スコア補間処理により、大パッチおよび中パッチが小パッチと同じサイズに分割され、分割されたパッチに元のパッチのスコアが割り当てられる。そして、小パッチの領域を単位としてスコアが統合される。
【0089】
病変領域識別部２２４は、統合されたスコアを所定の閾値と比較し、スコアが閾値を超えた領域を病変（腫瘤）の領域と識別する。病変領域識別部２２４は、病変識別結果を示す表示画像を生成し、表示画像を表示装置２０４ａに表示させる。
【0090】
図１４は、学習処理装置による学習処理の手順を示すフローチャートの例である。
［ステップＳ１１］学習用データ生成部１２１は、ＭＲＩ装置１１から断層画像セットを取得する。学習用データ生成部１２１は、取得した断層画像セットに基づいて三次元のボリュームデータを生成する。
［ステップＳ１１］学習用データ生成部１２１は、ＭＲＩ装置１１から断層画像セットを取得する。学習用データ生成部１２１は、取得した断層画像セットに基づいて三次元のボリュームデータを生成する。
【0091】
［ステップＳ１２］学習用データ生成部１２１は、生成されたボリュームデータの各ボクセルを腫瘤領域と正常領域とにアノテーションする。
［ステップＳ１３］学習用データ生成部１２１は、アノテーションされたボリュームデータに基づいて、学習用パッチを生成する。学習用パッチとしては、腫瘤ラベルが付与された腫瘤パッチと、正常ラベルが付与された正常パッチとが生成される。
［ステップＳ１３］学習用データ生成部１２１は、アノテーションされたボリュームデータに基づいて、学習用パッチを生成する。学習用パッチとしては、腫瘤ラベルが付与された腫瘤パッチと、正常ラベルが付与された正常パッチとが生成される。
【0092】
［ステップＳ１４］学習処理部１２２は、生成された学習用パッチを用いて機械学習を実行し、入力パッチが腫瘤領域か正常領域かを識別する病変識別モデルを生成する。例えば、学習処理部１２２は、ニューラルネットワークを用いた深層学習によって病変識別モデルを生成する。学習処理部１２２は、生成された病変識別モデルを示すモデルパラメータ１１１を記憶部１１０に格納する。
【0093】
図１５は、学習用パッチ生成処理の手順を示すフローチャートの例である。
［ステップＳ２１］学習用データ生成部１２１は、例えば、ボリュームデータをパッチの縦横のサイズと同じ間隔でスライスすることで、複数の断層画像を再生成し、各断層画像をパッチに分割する。パッチのサイズは、病変識別モデルに入力される画像のサイズと同じである。
［ステップＳ２１］学習用データ生成部１２１は、例えば、ボリュームデータをパッチの縦横のサイズと同じ間隔でスライスすることで、複数の断層画像を再生成し、各断層画像をパッチに分割する。パッチのサイズは、病変識別モデルに入力される画像のサイズと同じである。
【0094】
［ステップＳ２２］学習用データ生成部１２１は、生成されたパッチの中から、臓器領域（肝臓領域）内の腫瘤を含むパッチを、腫瘤パッチ候補として抽出する。
［ステップＳ２３］学習用データ生成部１２１は、腫瘤パッチ候補を１つ選択し、ボクセル単位のアノテーション結果に基づいて、腫瘤パッチ候補の画像領域における腫瘤の面積の占有率を算出する。
［ステップＳ２３］学習用データ生成部１２１は、腫瘤パッチ候補を１つ選択し、ボクセル単位のアノテーション結果に基づいて、腫瘤パッチ候補の画像領域における腫瘤の面積の占有率を算出する。
【0095】
［ステップＳ２４］学習用データ生成部１２１は、算出された占有率が前述の下限閾値ＴＨminから上限閾値ＴＨmaxまでの範囲に含まれるかを判定する。占有率が閾値範囲に含まれる場合、処理がステップＳ２６に進められ、占有率が閾値範囲に含まれない場合、処理がステップＳ２５に進められる。なお、下限閾値ＴＨminおよび上限閾値ＴＨmaxは、例えばそれぞれ前述の式（５ａ），（５ｂ）を用いて算出される。
【0096】
［ステップＳ２５］学習用データ生成部１２１は、腫瘤パッチ候補を除外して、腫瘤パッチとして抽出されないようにする。
［ステップＳ２６］学習用データ生成部１２１は、すべての腫瘤パッチ候補を選択済みかを判定する。未選択の腫瘤パッチ候補がある場合、処理がステップＳ２３に進められ、未選択の腫瘤パッチ候補の１つが選択される。一方、すべての腫瘤パッチ候補を選択済みの場合、処理がステップＳ２７に進められる。
［ステップＳ２６］学習用データ生成部１２１は、すべての腫瘤パッチ候補を選択済みかを判定する。未選択の腫瘤パッチ候補がある場合、処理がステップＳ２３に進められ、未選択の腫瘤パッチ候補の１つが選択される。一方、すべての腫瘤パッチ候補を選択済みの場合、処理がステップＳ２７に進められる。
【0097】
［ステップＳ２７］学習用データ生成部１２１は、現在残っている腫瘤パッチ候補のそれぞれについて、統計情報として輝度の平均値と輝度の標準偏差とを算出する。
［ステップＳ２８］学習用データ生成部１２１は、腫瘤パッチ候補の中から、輝度の平均値および輝度の標準偏差が分散するように、所定個数（２以上）の腫瘤パッチを抽出する。
［ステップＳ２８］学習用データ生成部１２１は、腫瘤パッチ候補の中から、輝度の平均値および輝度の標準偏差が分散するように、所定個数（２以上）の腫瘤パッチを抽出する。
【0098】
ＭＲ画像において、腫瘤の領域はその周囲の臓器内の領域と比較して暗く描出される。このため、上記手順により輝度の分布の仕方が互いに異なる腫瘤パッチが抽出されることで、大きさの異なる腫瘤や内部のグラデーションの状態が異なる腫瘤など、多様な形態の腫瘤を含む腫瘤パッチが抽出されるようになる。その結果、腫瘤の領域を腫瘤と正しく識別可能な病変識別モデルを生成可能になる。
【0099】
［ステップＳ２９］学習用データ生成部１２１は、生成されたパッチの中から、臓器領域（肝臓領域）内の腫瘤を含まないパッチを、正常パッチ候補として抽出する。
［ステップＳ３０］学習用データ生成部１２１は、正常パッチ候補のそれぞれについて、統計情報として輝度の平均値と輝度の標準偏差とを算出する。
［ステップＳ３０］学習用データ生成部１２１は、正常パッチ候補のそれぞれについて、統計情報として輝度の平均値と輝度の標準偏差とを算出する。
【0100】
［ステップＳ３１］学習用データ生成部１２１は、正常パッチ候補の中から、輝度の平均値および輝度の標準偏差が分散するように、所定個数（２以上）の腫瘤パッチを抽出する。これにより、輝度の分布の仕方が互いに異なる正常パッチが抽出されるので、血管を含む領域と血管を含まない領域とがバランスよく抽出されるようになる。その結果、血管の領域を正常と正しく識別可能な病変識別モデルを生成可能になる。
【0101】
図１６は、画像識別装置による画像識別処理の手順を示すフローチャートの例である。
［ステップＳ４１］入力データ生成部２２１は、ＭＲＩ装置２１から断層画像セットを取得し、取得した断層画像セットに基づいて三次元のボリュームデータを生成する。
［ステップＳ４１］入力データ生成部２２１は、ＭＲＩ装置２１から断層画像セットを取得し、取得した断層画像セットに基づいて三次元のボリュームデータを生成する。
【0102】
［ステップＳ４２］入力データ生成部２２１は、モデルパラメータ２１１によって形成される臓器領域識別用の学習済みモデルを用いて、ボリュームデータから臓器領域（肝臓領域）を識別する。
【0103】
この学習済みモデルは、例えば、教師画像としての多数の断層画像と、断層画像内の各画素が臓器内領域、臓器外領域のどちらであるかを示す教師ラベルとを用いた深層学習によって生成される。この場合、ステップＳ４２では、断層画像セットに含まれる各断層画像をこのような学習済みモデルに入力することで、各断層画像の画素ごとに臓器内領域、臓器外領域のどちらであるかが判定される。そして、断層画像ごとの判定結果に基づいて、ボリュームデータ内のボクセルのうち、臓器領域のボクセルが特定される。
【0104】
［ステップＳ４３］入力データ生成部２２１およびスコア算出部２２２により、スコア算出処理が実行される。この処理では、ボリュームデータに基づいて、サイズの異なるパッチが生成され、各パッチが病変識別モデルに入力されることで、パッチごとに腫瘤である確率を示すスコアが算出される。
【0105】
［ステップＳ４４］スコア統合部２２３および病変領域識別部２２４により、識別結果出力処理が実行される。この処理では、スコア統合部２２３は、小パッチの領域を単位として、サイズの異なるパッチ間でスコアを統合する。病変領域識別部２２４は、統合後のスコアを所定の閾値と比較し、スコアが閾値を超えた領域を病変（腫瘤）の領域と識別する。病変領域識別部２２４は、病変識別結果を示す表示画像を生成し、表示画像を表示装置２０４ａに表示させる。
【0106】
図１７は、スコア算出処理の手順を示すフローチャートの例である。
［ステップＳ５１］入力データ生成部２２１は、パッチサイズ（スケール）を１つ選択する。入力データ生成部２２１は、ボリュームデータを、選択したパッチサイズ（パッチの縦横サイズ）と同じ間隔でスライスすることで、複数の断層画像を再生成する。
［ステップＳ５１］入力データ生成部２２１は、パッチサイズ（スケール）を１つ選択する。入力データ生成部２２１は、ボリュームデータを、選択したパッチサイズ（パッチの縦横サイズ）と同じ間隔でスライスすることで、複数の断層画像を再生成する。
【0107】
［ステップＳ５２］入力データ生成部２２１は、断層画像を１つ選択する。
［ステップＳ５３］入力データ生成部２２１は、選択された断層画像を、ステップＳ５１で選択されたパッチサイズで分割して、パッチを生成する。ただし、図１６のステップＳ４２で識別された臓器領域に含まれるパッチのみが、ステップＳ５４以降の処理対象となる。
［ステップＳ５３］入力データ生成部２２１は、選択された断層画像を、ステップＳ５１で選択されたパッチサイズで分割して、パッチを生成する。ただし、図１６のステップＳ４２で識別された臓器領域に含まれるパッチのみが、ステップＳ５４以降の処理対象となる。
【0108】
［ステップＳ５４］スコア算出部２２２は、生成されたパッチを１つ選択する。
［ステップＳ５５］スコア算出部２２２は、モデルパラメータ１１１によって形成される病変識別モデルに対して、選択されたパッチを入力し、腫瘤である確率を示すスコアを算出する。
［ステップＳ５５］スコア算出部２２２は、モデルパラメータ１１１によって形成される病変識別モデルに対して、選択されたパッチを入力し、腫瘤である確率を示すスコアを算出する。
【0109】
ステップＳ５５では、選択されているパッチサイズが病変識別モデルで規定された規定パッチサイズと一致しない場合には、スコア算出部２２２は、選択されたパッチを規定パッチサイズに合わせて拡大または縮小してから病変識別モデルに入力する。一例として、小パッチ、中パッチおよび大パッチのうち大パッチのサイズが規定パッチサイズと一致しているとする。この場合、小パッチおよび中パッチは大パッチのサイズに拡大され、拡大されたパッチが病変識別モデルに入力される。一方、大パッチは病変識別モデルにそのまま入力される。
【0110】
［ステップＳ５６］スコア算出部２２２は、すべてのパッチを選択済みかを判定する。未選択のパッチがある場合、処理がステップＳ５４に進められ、未選択のパッチの１つが選択される。一方、すべてのパッチを選択済みの場合、処理がステップＳ５７に進められる。
【0111】
［ステップＳ５７］スコア算出部２２２は、すべての断層画像を選択済みかを判定する。未選択の断層画像がある場合、処理がステップＳ５２に進められ、未選択の断層画像の１つが選択される。一方、すべての断層画像を選択済みの場合、処理がステップＳ５８に進められる。
【0112】
［ステップＳ５８］スコア算出部２２２は、すべてのパッチサイズを選択済みかを判定する。未選択のパッチサイズがある場合、処理がステップＳ５１に進められ、未選択のパッチサイズの１つが選択される。一方、すべてのパッチサイズを選択済みの場合、処理が終了する。
【0113】
図１８は、識別結果出力処理の手順を示すフローチャートの例である。
［ステップＳ６１］スコア統合部２２３は、大パッチおよび中パッチについて、スコア補間により小パッチ単位のスコアを算出する。具体的には、スコア統合部２２３は、大パッチおよび中パッチを小パッチのサイズに分割し、分割後の領域に対して元のパッチのスコアを割り当てる。
［ステップＳ６１］スコア統合部２２３は、大パッチおよび中パッチについて、スコア補間により小パッチ単位のスコアを算出する。具体的には、スコア統合部２２３は、大パッチおよび中パッチを小パッチのサイズに分割し、分割後の領域に対して元のパッチのスコアを割り当てる。
【0114】
［ステップＳ６２］スコア統合部２２３は、小パッチを１つ選択する。
［ステップＳ６３］スコア統合部２２３は、選択された小パッチと、ステップＳ６１で大パッチおよび中パッチから分割された領域のうち、選択された小パッチと同じ位置の領域とから算出されたスコアを取得する。スコア統合部２２３は、前述の式（１）～（４）のいずれかを用いてスコアを統合する。
［ステップＳ６３］スコア統合部２２３は、選択された小パッチと、ステップＳ６１で大パッチおよび中パッチから分割された領域のうち、選択された小パッチと同じ位置の領域とから算出されたスコアを取得する。スコア統合部２２３は、前述の式（１）～（４）のいずれかを用いてスコアを統合する。
【0115】
［ステップＳ６４］病変領域識別部２２４は、統合後のスコアを所定の閾値と比較する。病変領域識別部２２４は、スコアが閾値を超えた場合、小パッチに対応する領域を病変（腫瘤）の領域と識別し、スコアが閾値以下の場合、小パッチに対応する領域を正常の領域と識別する。
【0116】
［ステップＳ６５］病変領域識別部２２４は、すべての小パッチを選択済みかを判定する。未選択の小パッチがある場合、処理がステップＳ６２に進められ、未選択の小パッチの１つが選択される。一方、すべての小パッチを選択済みの場合、処理がステップＳ６６に進められる。
【0117】
［ステップＳ６６］病変領域識別部２２４は、病変識別結果を示す表示画像を生成し、表示画像を表示装置２０４ａに表示させる。
以上説明した第２の実施の形態によれば、腫瘤を大きさによらず漏れなく検出できる可能性を高めることができ、なおかつ、血管を腫瘤と誤って識別する可能性を低減できる。したがって、腫瘤の識別精度を向上させることができる。
以上説明した第２の実施の形態によれば、腫瘤を大きさによらず漏れなく検出できる可能性を高めることができ、なおかつ、血管を腫瘤と誤って識別する可能性を低減できる。したがって、腫瘤の識別精度を向上させることができる。
【0118】
〔第３の実施の形態〕
上記の第２の実施の形態では、断層画像から切り出されたパッチがそのまま病変識別モデルに入力されることで、スコアが算出された。これに対して、第３の実施の形態では、次の図１９に示すような結合パッチが生成され、結合パッチが病変識別モデルに入力される。これにより、血管を腫瘤と誤って識別する可能性をさらに低減できる。
上記の第２の実施の形態では、断層画像から切り出されたパッチがそのまま病変識別モデルに入力されることで、スコアが算出された。これに対して、第３の実施の形態では、次の図１９に示すような結合パッチが生成され、結合パッチが病変識別モデルに入力される。これにより、血管を腫瘤と誤って識別する可能性をさらに低減できる。
【0119】
図１９は、結合パッチの生成処理を説明するための第１の図である。なお、以下の説明では、立位状態の人体における右から左への方向をＸ軸とし、後ろから前への方向をＹ軸とし、上から下への方向をＺ軸とする。この場合、アキシャル面の断層画像はＸ－Ｙ平面に沿う画像となり、サジタル面の断層画像はＹ－Ｚ平面に沿う画像となり、コロナル面の断層画像はＸ－Ｚ平面に沿う画像となる。
【0120】
本実施の形態では、病変識別モデルに対する入力データとして、ボリュームデータから切り出された、一辺がパッチの縦横サイズと同じである三次元のブロックを基に、３軸方向に対する最小値投影画像が用いられる。図１９に示すように、ブロック３０におけるＸ－Ｙ平面（アキシャル面）上の画素ごとにＺ軸方向に対して最小値投影が行われることで、Ｚ軸方向に対する最小値投影画像３１が生成される。また、ブロック３０におけるＹ－Ｚ平面（サジタル面）上の画素ごとにＸ軸方向に対して最小値投影が行われることで、Ｘ軸方向に対する最小値投影画像３２が生成される。さらに、ブロック３０におけるＸ－Ｚ平面（コロナル面）上の画素ごとにＹ軸方向に対して最小値投影が行われることで、Ｙ軸方向に対する最小値投影画像３３が生成される。
【0121】
なお、例えば、Ｚ軸方向に対する最小値投影画像３１の画素値は、次のような計算によって求められる。ここでは、ブロックからｎ枚の断層画像（ここではアキシャル面の断層画像）が生成されるものとし、ｉ番目の断層画像における座標（ｘ，ｙ）の画素値をｇi（ｘ，ｙ）とする。このとき、最小値投影画像３１における座標（ｘ，ｙ）の画素値ｈ（ｘ，ｙ）は、次の式（７）を用いて算出される。「ｍｉｎ（・・・）」は、（・・・）に含まれる値のうちの最小値を示す。
ｈ（ｘ，ｙ）＝ｍｉｎ（ｇi（ｘ，ｙ）），ｉ＝１，２，・・・，ｎ ・・・（７）
なお、検出したいサイズの腫瘤が、ボリュームデータから切り出したブロック内に含まれるように、ｎの値を定めることが望ましい。例えば、検出したい腫瘤の最小サイズをｒとし、断層画像間の距離をｄとして、パッチサイズ（ブロックの一辺のサイズ）の半分より大きな腫瘤を検出できるようにする場合、ｎ＊ｄ／２＜ｒを満たすようにｎが決定される。
ｈ（ｘ，ｙ）＝ｍｉｎ（ｇi（ｘ，ｙ）），ｉ＝１，２，・・・，ｎ ・・・（７）
なお、検出したいサイズの腫瘤が、ボリュームデータから切り出したブロック内に含まれるように、ｎの値を定めることが望ましい。例えば、検出したい腫瘤の最小サイズをｒとし、断層画像間の距離をｄとして、パッチサイズ（ブロックの一辺のサイズ）の半分より大きな腫瘤を検出できるようにする場合、ｎ＊ｄ／２＜ｒを満たすようにｎが決定される。
【0122】
例えば、図１９に示す血管３０ａは曲線的に伸びているが、血管がどのような形状であっても、最小値投影画像３１～３３のうちの少なくとも１つにおいて、血管は長細い形状で描出される。図１９の例では、最小値投影画像３１においては血管３０ａが楕円形に描出されているが、最小値投影画像３２，３３においては血管３０ａが長細い形状で描出されている。したがって、このような三方向の最小値投影画像を入力データとして用いることで、血管を腫瘤と誤って識別する可能性を低減でき、病変識別モデルによる識別精度を向上させることができる。
【0123】
また、本実施の形態では、ブロックを基に生成された三方向の最小値投影画像が、１枚の画像である結合パッチ３４として結合される。なお、図１９では混同を避けるため、結合パッチ３４におけるＸ軸、Ｙ軸をそれぞれＸ’軸、Ｙ’軸と示している。
【0124】
図１９に示すように、結合パッチ３４においては、Ｚ軸方向に対する最小値投影画像３１と、Ｘ軸方向に対する最小値投影画像３２とが、互いのＹ座標を一致させた状態で隣接して結合される。また、Ｚ軸方向に対する最小値投影画像３１と、Ｙ軸方向に対する最小値投影画像３３とが、互いのＸ座標を一致させた状態で隣接して結合される。
【0125】
この場合、最小値投影画像３１におけるＸ座標およびＹ座標は、結合パッチ３４におけるＸ’座標およびＹ’座標としてそれぞれそのまま用いられる。また、最小値投影画像３２におけるＹ座標は、結合パッチ３４におけるＹ’座標としてそのまま用いられ、最小値投影画像３２におけるＺ座標にパッチサイズを加算した値が、結合パッチ３４におけるＸ’座標として用いられる。さらに、最小値投影画像３３におけるＸ座標は、結合パッチ３４におけるＸ’座標としてそのまま用いられ、最小値投影画像３３におけるＺ座標にパッチサイズを加算した値が、結合パッチ３４におけるＹ’座標として用いられる。
【0126】
このようにして、病変識別モデルに対して、二次元の画像データである結合パッチが入力されるようになる。また、病変識別モデルの学習に用いられる学習用データも、元のブロックから生成された三方向の最小値投影画像を結合した結合パッチとなる。すなわち、学習用の結合パッチに対して腫瘤または正常を示すラベルが付加され、それらの結合パッチを用いて病変識別モデルの機械学習が実行される。
【0127】
なお、ブロックを基に生成される最小値投影画像は、必ずしも座標軸に沿う方向に対して投影された画像である必要はない。ただし、各最小値投影画像は、互いに直交する方向に投影された画像であることが望ましい。また、ブロックを基に、互いに直交する２方向に対して投影された２枚の最小値投影画像が生成されてもよい。この場合でも、ブロック内の血管は、少なくとも一方の最小値投影画像において、画像上の一辺から同じ辺または他の一辺に到達する長細い形状で描出される。
【0128】
また、ＥＯＢ造影剤を用いた肝細胞造影相では、肝臓の内部において、腫瘤および血管は、いずれもその周囲より暗く描出される。このため、結合パッチは最小値投影画像を結合することで生成される。しかし、撮影方法の違いや識別対象の病変によっては、周囲の領域より明るく描出される場合があり得る。この場合には、結合パッチは最大値投影画像を結合することで生成されればよい。
【0129】
図２０は、結合パッチの生成処理を説明するための第２の図である。本実施の形態において、入力データ生成部２２１は、ボリュームデータから大ブロック、中ブロックおよび小ブロックを切り出す。小ブロックの一辺の長さをＬとすると、中ブロックの一辺の長さは例えば２Ｌであり、大ブロックの一辺の長さは例えば４Ｌとなる。
【0130】
入力データ生成部２２１は、大ブロック、中ブロックおよび小ブロックのそれぞれについて、３軸方向のそれぞれに対する最小値投影画像を生成し、生成された最小値投影画像を図１９に示した手順で結合して結合パッチを生成する。これにより、ボリュームデータ上の同一の位置（同一のボクセル）に対して、大ブロック、中ブロックおよび小ブロックのそれぞれに対応する結合パッチが生成される。
【0131】
スコア算出部２２２は、このようにして生成された結合パッチを病変識別モデルに入力して、結合パッチに対応する（すなわち元のブロックに対応する）スコアを算出する。スコア統合部２２３は、ボリュームデータ上の同一ボクセルに対応する大ブロック、中ブロックおよび小ブロックに基づいて生成された各結合パッチを選択し、各結合パッチから算出されたスコアを前述の式（１）～（４）のいずれかを用いて統合する。病変領域識別部２２４は、統合されたスコアを閾値と比較することで、上記のボクセルが腫瘤か正常かを識別する。
【0132】
次に、第３の実施の形態における学習用結合パッチの生成処理について説明する。本実施の形態では、図１４のステップＳ１３の処理として次の図２１の処理が実行される。
図２１は、学習用パッチ生成処理の手順を示すフローチャートの例である。
図２１は、学習用パッチ生成処理の手順を示すフローチャートの例である。
【0133】
［ステップＳ７１］学習用データ生成部１２１は、ボリュームデータをブロックに分割する。
［ステップＳ７２］学習用データ生成部１２１は、ブロックの中から、臓器領域（肝臓領域）内の腫瘤を含むブロックを、腫瘤ブロック候補として抽出する。
［ステップＳ７２］学習用データ生成部１２１は、ブロックの中から、臓器領域（肝臓領域）内の腫瘤を含むブロックを、腫瘤ブロック候補として抽出する。
【0134】
［ステップＳ７３］学習用データ生成部１２１は、腫瘤ブロック候補を１つ選択し、ボクセル単位のアノテーション結果に基づいて、選択した腫瘤ブロック候補の三次元領域における腫瘤の体積の占有率を算出する。
【0135】
［ステップＳ７４］学習用データ生成部１２１は、占有率が前述の下限閾値ＴＨminから上限閾値ＴＨmaxまでの範囲に含まれるかを判定する。占有率が閾値範囲に含まれる場合、処理がステップＳ７６に進められ、占有率が閾値範囲に含まれない場合、処理がステップＳ７５に進められる。なお、下限閾値ＴＨminおよび上限閾値ＴＨmaxは、例えばそれぞれ前述の式（６ａ），（６ｂ）を用いて算出される。
【0136】
［ステップＳ７５］学習用データ生成部１２１は、腫瘤ブロック候補を除外して、腫瘤ブロックとして抽出されないようにする。
［ステップＳ７６］学習用データ生成部１２１は、すべての腫瘤ブロック候補を選択済みかを判定する。未選択の腫瘤ブロック候補がある場合、処理がステップＳ７３に進められ、未選択の腫瘤ブロック候補の１つが選択される。一方、すべての腫瘤ブロック候補を選択済みの場合、処理がステップＳ７７に進められる。
［ステップＳ７６］学習用データ生成部１２１は、すべての腫瘤ブロック候補を選択済みかを判定する。未選択の腫瘤ブロック候補がある場合、処理がステップＳ７３に進められ、未選択の腫瘤ブロック候補の１つが選択される。一方、すべての腫瘤ブロック候補を選択済みの場合、処理がステップＳ７７に進められる。
【0137】
［ステップＳ７７］学習用データ生成部１２１は、残っている腫瘤ブロック候補のそれぞれについて、統計情報として輝度の平均値と輝度の標準偏差とを算出する。
［ステップＳ７８］学習用データ生成部１２１は、腫瘤ブロック候補の中から、輝度の平均値および輝度の標準偏差が分散するように所定個数（２以上）の腫瘤ブロックを抽出する。そして、学習用データ生成部１２１は、抽出された腫瘤ブロックのそれぞれについて、３軸方向のそれぞれに対する最小値投影画像を生成し、生成された最小値投影画像を結合して、腫瘤ラベルが付与される結合腫瘤パッチを生成する。
［ステップＳ７８］学習用データ生成部１２１は、腫瘤ブロック候補の中から、輝度の平均値および輝度の標準偏差が分散するように所定個数（２以上）の腫瘤ブロックを抽出する。そして、学習用データ生成部１２１は、抽出された腫瘤ブロックのそれぞれについて、３軸方向のそれぞれに対する最小値投影画像を生成し、生成された最小値投影画像を結合して、腫瘤ラベルが付与される結合腫瘤パッチを生成する。
【0138】
［ステップＳ７９］学習用データ生成部１２１は、生成されたブロックの中から、臓器領域（肝臓領域）内の腫瘤を含まないブロックを正常ブロック候補として抽出する。
［ステップＳ８０］学習用データ生成部１２１は、正常ブロック候補のそれぞれについて、統計情報として輝度の平均値と輝度の標準偏差とを算出する。
［ステップＳ８０］学習用データ生成部１２１は、正常ブロック候補のそれぞれについて、統計情報として輝度の平均値と輝度の標準偏差とを算出する。
【0139】
［ステップＳ８１］学習用データ生成部１２１は、正常ブロック候補の中から、輝度の平均値および輝度の標準偏差が分散するように所定個数（２以上）の正常ブロックを抽出する。そして、学習用データ生成部１２１は、抽出された正常ブロックのそれぞれについて、３軸方向のそれぞれに対する最小値投影画像を生成し、生成された最小値投影画像を結合して、正常ラベルが付与される結合正常パッチを生成する。
【0140】
このようにして学習用結合パッチが生成されると、学習処理部１２２は、生成された学習用結合パッチを用いて機械学習を実行し、入力された結合パッチが腫瘤領域か正常領域かを識別する病変識別モデルを生成する。学習処理部１２２は、生成された病変識別モデルを示すモデルパラメータ１１１を記憶部１１０に格納する。
【0141】
【0142】
図２２は、スコア算出処理の手順を示すフローチャートの例である。
［ステップＳ９１］入力データ生成部２２１は、臓器領域内のボクセルの中から、ブロックの中心点を選択する。ブロックの中心点は、少なくとも小ブロックの中心となる点であり、例えば、小ブロックの一辺と同じサイズの三次元ウィンドウを所定距離（例えば、パッチサイズの半分）ずつ移動させることで生成される。
［ステップＳ９１］入力データ生成部２２１は、臓器領域内のボクセルの中から、ブロックの中心点を選択する。ブロックの中心点は、少なくとも小ブロックの中心となる点であり、例えば、小ブロックの一辺と同じサイズの三次元ウィンドウを所定距離（例えば、パッチサイズの半分）ずつ移動させることで生成される。
【0143】
［ステップＳ９２］入力データ生成部２２１は、パッチサイズ（スケール）を１つ選択する。
［ステップＳ９３］入力データ生成部２２１は、選択された中心点を中心とし、選択されたパッチサイズを一辺の長さとするブロックを、ボリュームデータから切り出す。
［ステップＳ９３］入力データ生成部２２１は、選択された中心点を中心とし、選択されたパッチサイズを一辺の長さとするブロックを、ボリュームデータから切り出す。
【0144】
［ステップＳ９４］入力データ生成部２２１は、切り出されたブロックに基づいて、３軸方向のそれぞれに対する最小値投影画像を生成する。
［ステップＳ９５］入力データ生成部２２１は、生成された各最小値投影画像を図１９に示した方法で結合して、結合パッチを生成する。
［ステップＳ９５］入力データ生成部２２１は、生成された各最小値投影画像を図１９に示した方法で結合して、結合パッチを生成する。
【0145】
［ステップＳ９６］スコア算出部２２２は、モデルパラメータ１１１によって形成される病変識別モデルに対して、選択された結合パッチを入力し、腫瘤である確率を示すスコアを算出する。ステップＳ９６では、選択されているパッチサイズが病変識別モデルで規定された規定パッチサイズ（学習用結合パッチの生成元となったブロックまたはパッチのサイズ）と一致しない場合には、スコア算出部２２２は、選択された結合パッチを規定パッチサイズに合わせて拡大または縮小してから病変識別モデルに入力する。
【0146】
［ステップＳ９７］スコア算出部２２２は、すべてのパッチサイズを選択済みかを判定する。未選択のパッチサイズがある場合、処理がステップＳ９２に進められ、未選択のパッチサイズの１つが選択される。一方、すべてのパッチサイズを選択済みの場合、処理がステップＳ９８に進められる。後者の場合、選択された中心点を中心とする大ブロック、中ブロックおよび小ブロックのそれぞれを基に生成された各結合パッチから、スコアが算出された状態となる。
【0147】
［ステップＳ９８］スコア算出部２２２は、すべてのブロックの中心点を選択済みかを判定する。未選択の中心点がある場合、処理がステップＳ９１に進められ、未選択の中心点の１つが選択される。一方、すべての中心点を選択済みの場合、処理が終了する。
【0148】
図２３は、識別結果出力処理の手順を示すフローチャートの例である。
［ステップＳ１０１］スコア統合部２２３は、臓器領域内のボクセルの中から、ブロックの中心点を選択する。
［ステップＳ１０１］スコア統合部２２３は、臓器領域内のボクセルの中から、ブロックの中心点を選択する。
【0149】
［ステップＳ１０２］スコア統合部２２３は、選択された中心点を中心とする大ブロック、中ブロックおよび小ブロックのそれぞれを基に生成された各結合パッチを特定し、特定された各結合パッチから算出されたスコアを取得する。スコア統合部２２３は、前述の式（１）～（４）のいずれかを用いてスコアを統合する。
【0150】
［ステップＳ１０３］病変領域識別部２２４は、統合後のスコアを所定の閾値と比較する。病変領域識別部２２４は、スコアが閾値を超えた場合、選択された中心点の位置を病変（腫瘤）の領域と識別し、スコアが閾値以下の場合、選択された中心点の位置を正常の領域と識別する。
【0151】
［ステップＳ１０４］病変領域識別部２２４は、すべての中心点を選択済みかを判定する。未選択の中心点がある場合、処理がステップＳ１０１に進められ、未選択の中心点の１つが選択される。一方、すべての中心点を選択済みの場合、処理がステップＳ１０５に進められる。
【0152】
［ステップＳ１０５］病変領域識別部２２４は、病変識別結果を示す表示画像を生成し、表示画像を表示装置２０４ａに表示させる。
以上説明した第３の実施の形態によれば、第２の実施の形態と比較して、腫瘤と正常（特に血管）とを精度よく識別できるようになる。
以上説明した第３の実施の形態によれば、第２の実施の形態と比較して、腫瘤と正常（特に血管）とを精度よく識別できるようになる。
【0153】
なお、上記の各実施の形態に示した装置（例えば、画像識別装置１、学習処理装置１２、画像識別装置２２）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。
【0154】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0155】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【符号の説明】
【0156】
１ 画像識別装置
１ａ 処理部
２ 断層画像
２ａ 位置
３ａ～３ｃ 部分画像
１ａ 処理部
２ 断層画像
２ａ 位置
３ａ～３ｃ 部分画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】