特開 2024-77825 病変検出方法および病変検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077825

(43)【公開日】2024-06-10

(54)【発明の名称】病変検出方法および病変検出プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240603BHJP

   A61B 5/055 20060101ALI20240603BHJP

【ＦＩ】

A61B6/03 360J

A61B6/03 360T

A61B5/055 380

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022190010

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】武部 浩明

(72)【発明者】

【氏名】宮▲崎▼ 信浩

(72)【発明者】

【氏名】馬場 幸三

(72)【発明者】

【氏名】馬場 孝之

【テーマコード（参考）】

4C093

4C096

【Ｆターム（参考）】

4C093AA22

4C093CA35

4C093FD09

4C093FF17

4C093FF42

4C096AB44

4C096AD14

4C096AD24

4C096DC20

4C096DC21

4C096DC28

4C096DC35

4C096DC36

(57)【要約】

【課題】断層画像からの病変領域の検出精度を向上させる。
【解決手段】病変検出装置は、人体の内部を撮影した複数の断層画像を基に生成された三次元のボリュームデータから特定の病変の領域を検出する第１の病変検出処理を利用して、複数の断層画像のそれぞれに含まれる単位画像領域ごとに特定の病変の領域である確率を算出する。病変検出装置は、複数の断層画像のうち一の断層画像と、一の断層画像に含まれる単位画像領域ごとに算出された確率とに基づいて、一の断層画像から特定の病変の領域を検出する第２の病変検出処理を実行する。
【選択図】図８

【特許請求の範囲】

【請求項1】

コンピュータが、
人体の内部を撮影した複数の断層画像を基に生成された三次元のボリュームデータから特定の病変の領域を検出する第１の病変検出処理を利用して、前記複数の断層画像のそれぞれに含まれる単位画像領域ごとに前記特定の病変の領域である確率を算出し、
前記複数の断層画像のうち一の断層画像と、前記一の断層画像に含まれる前記単位画像領域ごとに算出された前記確率とに基づいて、前記一の断層画像から前記特定の病変の領域を検出する第２の病変検出処理を実行する、
病変検出方法。

【請求項2】

前記算出では、前記単位画像領域ごとの前記確率を、前記病変検出処理の途中で出力される処理結果から取得する、
請求項１記載の病変検出方法。

【請求項3】

前記算出では、三次元空間の画像データを有する入力ボリュームデータから前記特定の病変の領域を検出する第１の機械学習モデルに対して、前記生成されたボリュームデータを入力することで、前記単位画像領域ごとに前記確率を算出する、
請求項１記載の病変検出方法。

【請求項4】

前記第１の機械学習モデルはニューラルネットワークを含み、
前記単位画像領域ごとの前記確率は、前記ニューラルネットワークの出力層から出力される、
請求項３記載の病変検出方法。

【請求項5】

前記第２の病変検出処理では、
二次元空間の画像データを有する入力画像と、前記入力画像に含まれる前記単位画像領域のそれぞれに対応する、前記特定の病変の領域である前記確率とが入力されると、前記入力画像に含まれる前記単位画像領域のそれぞれが前記特定の病変の領域であるか否かを示す情報を出力する第２の機械学習モデルを用いて、前記一の断層画像から前記特定の病変の領域を検出する、
請求項１記載の病変検出方法。

【請求項6】

コンピュータに、
人体の内部を撮影した複数の断層画像を基に生成された三次元のボリュームデータから特定の病変の領域を検出する第１の病変検出処理を利用して、前記複数の断層画像のそれぞれに含まれる単位画像領域ごとに前記特定の病変の領域である確率を算出し、
前記複数の断層画像のうち一の断層画像と、前記一の断層画像に含まれる前記単位画像領域ごとに算出された前記確率とに基づいて、前記一の断層画像から前記特定の病変の領域を検出する第２の病変検出処理を実行する、
処理を実行させる病変検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、病変検出方法および病変検出プログラムに関する。

【背景技術】

【0002】

各種疾患の診断には、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）などによる医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。

【0003】

そのような技術の例として、機械学習によって生成された学習済みモデルを用いて、医用画像から病変領域を検出する技術がある。例えば、複数の異なる断面方向の断層画像を取得し、各断層画像について各画素の病変の種類を特定する一次分類処理を、機械学習によって生成された判別器を用いて実行し、各断層画像で共通する画素について一次分類処理の結果を評価する画像処理装置が提案されている。また、３Ｄ画像ボリュームのＮ個の異なる平面にしたがってＮ個の異なるＣＮＮ（Convolutional Neural Network）を結合する複合計算システムにおいて、２Ｄ画像を解析してセグメント化するために、知られているＣＮＮの使用を３Ｄ画像に拡張することが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１７５２１７号公報

【特許文献2】国際公開第２０１９／１３７９９７号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、二次元の断層画像を入力として、断層画像上の単位画像領域ごとに特定の病変か否かを判定して病変領域を検出する処理では、病変の形状によっては病変領域を正しく検出できない場合がある。例えば、検出対象の病変の断層画像における像の形状が、検出対象でない他の病変の断層画像における像の形状と類似している場合に、前者の像の領域が病変領域として正しく検出されない場合がある。

【0006】

１つの側面では、本発明は、断層画像からの病変領域の検出精度を向上させることが可能な病変検出方法および病変検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、コンピュータが、人体の内部を撮影した複数の断層画像を基に生成された三次元のボリュームデータから特定の病変の領域を検出する第１の病変検出処理を利用して、複数の断層画像のそれぞれに含まれる単位画像領域ごとに特定の病変の領域である確率を算出し、複数の断層画像のうち一の断層画像と、一の断層画像に含まれる単位画像領域ごとに算出された確率とに基づいて、一の断層画像から特定の病変の領域を検出する第２の病変検出処理を実行する、病変検出方法が提供される。

【0008】

また、１つの案では、上記の病変検出方法と同様の処理をコンピュータに実行させる病変検出プログラムが提供される。

【発明の効果】

【0009】

１つの側面では、断層画像からの病変領域の検出精度が向上する。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態に係る病変検出装置の構成例および処理例を示す図である。

【図2】第２の実施の形態に係る診断支援システムの構成例を示す図である。

【図3】病変検出装置のハードウェア構成例を示す図である。

【図4】病変領域の検出のための機械学習モデルの第１の例を示す図である。

【図5】病変形状の例を示す図である。

【図6】断層画像上の病変形状の例を示す図である。

【図7】病変領域の検出のための機械学習モデルの第２の例を示す図である。

【図8】第２の実施の形態における病変検出処理の概要を示す図である。

【図9】第２の実施の形態における２Ｄセグメンテーションモデルの学習処理の概要を示す図である。

【図10】学習処理装置および病変検出装置が備える処理機能の構成例を示す図である。

【図11】学習処理装置の処理手順を示すフローチャートの例である。

【図12】病変検出装置の処理手順を示すフローチャートの例である。

【図13】病変領域の検出結果を示す表示画像の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る病変検出装置の構成例および処理例を示す図である。図１に示す病変検出装置１は、医用画像から特定の病変の領域（病変領域）を検出する装置である。この病変検出装置１は、処理部２を有する。処理部２は、例えばプロセッサである。この場合、処理部２による以下の処理は、例えば、プロセッサが所定のプログラムを実行することで実現される。

【0012】

処理部２は、医用画像として、人体の内部を撮影した複数の断層画像３ａ，３ｂ，３ｃ，・・・を取得する。断層画像３ａ，３ｂ，３ｃ，・・・は、例えば、ＣＴやＭＲＩによる断層画像である。また、断層画像３ａ，３ｂ，３ｃ，・・・は、例えば、所定の臓器を含む人体の内部領域における同じ方向の断面（スライス面）に沿った画像であり、その断面に垂直な方向に対する位置を所定の間隔（スライス間隔）で変えながら撮影することで得られる。

【0013】

処理部２は、断層画像３ａ，３ｂ，３ｃ，・・・に基づいて三次元のボリュームデータ４を生成する。処理部２は、ボリュームデータ４から上記の病変領域を検出する病変検出処理５ａを利用して、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれに含まれる単位画像領域ごとに病変領域である確率を算出する。病変検出処理５ａは、三次元空間の画像データを有するボリュームデータから病変領域を検出する、いわゆる「３Ｄセグメンテーション」である。なお、単位画像領域とは、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれにおける病変領域の検出単位であり、例えば画素である。

【0014】

単位画像領域ごとの確率は、例えば、病変検出処理５ａの途中で出力される処理結果から取得される。例えば、病変検出処理５ａは、ニューラルネットワークを用いた機械学習モデルによって実行される。この場合、ニューラルネットワークの最終層（出力層）から、単位画像領域ごとに病変領域である確率と病変領域でない確率とが出力される。処理部２ａは、前者の確率を取得することができる。

【0015】

次に、処理部２は、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれを処理単位として、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれから病変領域を検出する病変検出処理５ｂを実行する。病変検出処理５ｂは、処理対象の断層画像と、この断層画像に含まれる単位画像領域ごとの確率とが入力されることで実行される。

【0016】

図１では例として、病変検出処理５ａを用いて確率マップ６ａ，６ｂ，６ｃ，・・・が生成されるものとする。確率マップ６ａ，６ｂ，６ｃ，・・・は、それぞれ断層画像３ａ，３ｂ，３ｃ，・・・に対応しており、１つの確率マップには、対応する断層画像の単位画像領域ごとに確率がマッピングされている。

【0017】

例えば断層画像３ａから病変領域を検出する場合、処理部２は、断層画像３ａと、この断層画像３ａに対応する確率マップ６ａとに基づいて病変検出処理５ｂを実行する。これにより、断層画像３ａに含まれる単位画像領域を単位として、断層画像３ａから病変領域が検出される。

【0018】

ここで、二次元の断層画像を入力として、この断層画像から病変領域を検出する処理（いわゆる「２Ｄセグメンテーション」）では、病変の形状によっては病変領域を正しく検出できない場合がある。例えば、検出対象の病変の断層画像における像の形状が、検出対象でない他の病変の断層画像における像の形状と類似している場合に、前者の像の領域が病変領域として正しく検出されない場合がある。

【0019】

一方、３Ｄセグメンテーションでは、２Ｄセグメンテーションと比較して、病変領域の三次元空間上での形状を正確に捉えた病変検出を行うことが可能となる。このため、上記のように二次元の断層画像上で複数種類の病変の像の形状が類似する場合でも、病変の三次元形状が異なれば病変領域の誤検出は発生しにくい。

【0020】

しかし、３Ｄセグメンテーションでは、ボリュームデータの生成元となる断層画像３ａ，３ｂ，３ｃ，・・・のスライス間隔が、病変検出の精度に影響を与え得る。すなわち、スライス間隔が大きいほど、生成されたボリュームデータにおける病変領域の形状信頼性が低くなり、ボリュームデータが病変領域の三次元形状を正確に維持できなくなる。その結果、病変検出の精度が低下する。

【0021】

実際の医療現場では、一度に撮影される断層画像数を多くできず、その結果としてスライス間隔を小さくできない場合がある。そのため、３Ｄセグメンテーションによる病変検出の精度は、２Ｄセグメンテーションによる病変検出の精度より高いとはいえない。

【0022】

これに対して、上記の病変検出処理５ｂでは、入力データとして二次元の断層画像に加えて、３Ｄセグメンテーションである病変検出処理５ａによって判定された、病変領域である確率が用いられる。これにより、病変検出処理５ｂでは、断層画像における病変領域の二次元形状だけでなく、病変領域の三次元形状も考慮した２Ｄセグメンテーションが実行されることになる。このため、病変検出処理５ｂでは、例えば複数種類の病変の像の二次元形状が類似している場合でも、像の領域が特定の病変の領域か否かを精度よく判定できる。したがって、断層画像からの病変領域の検出精度を向上させることができる。

【0023】

〔第２の実施の形態〕
次に、ＣＴ画像から肝臓の病変領域を検出可能なシステムについて説明する。
図２は、第２の実施の形態に係る診断支援システムの構成例を示す図である。図２に示す診断支援システムは、ＣＴ撮影による画像診断作業を支援するシステムであり、ＣＴ装置１１，２１、学習処理装置１２および病変検出装置２２を含む。なお、病変検出装置２２は、図１に示した病変検出装置１の一例である。

【0024】

ＣＴ装置１１，２１は、人体のＸ線ＣＴ画像を撮影する。本実施の形態において、ＣＴ装置１１，２１は、肝臓を含む腹部領域におけるアキシャル面の断層画像を、人体の高さ方向（アキシャル面に垂直な方向）に対する位置（スライス位置）を所定間隔で変えながら所定枚数撮影する。

【0025】

病変検出装置２２は、ＣＴ装置２１によって撮影された各断層画像から病変領域を検出する。本実施の形態では、病変領域として、肝内胆管の拡張が検出されるものとする。また、病変検出装置２２は、機械学習によって生成された病変識別モデルを用いて病変領域を検出する。また、病変検出装置２２は、例えば、病変領域の検出結果を示す情報を表示装置に表示させる。これにより病変検出装置２２は、ユーザ（例えば読影医）の画像診断作業を支援する。

【0026】

学習処理装置１２は、病変検出装置２２で利用される病変識別モデルを、機械学習によって生成する。このモデル生成処理のために、学習処理装置１２は、ＣＴ装置１１によって撮影された各断層画像から学習用データを生成し、生成された学習用データを用いて機械学習を実行する。学習処理装置１２によって生成された病変識別モデルを示すデータ（モデルパラメータ）は、例えばネットワークを介して、あるいは可搬型の記録媒体を介して病変検出装置２２に読み込まれる。

【0027】

なお、学習処理装置１２と病変検出装置２２とに対しては、同一のＣＴ装置から撮影画像が入力されてもよい。また、学習処理装置１２は、ＣＴ装置から撮影画像を直接的に取得するのではなく、記録媒体などを介して取得してもよい。さらに、学習処理装置１２と病変検出装置２２は、同一の情報処理装置であってもよい。

【0028】

図３は、病変検出装置のハードウェア構成例を示す図である。病変検出装置２２は、例えば、図３に示すようなコンピュータとして実現される。図２に示すように、病変検出装置２２は、プロセッサ２０１、ＲＡＭ（Random Access Memory）２０２、ＨＤＤ（Hard Disk Drive）２０３、ＧＰＵ（Graphics Processing Unit）２０４、入力インタフェース（Ｉ／Ｆ）２０５、読み取り装置２０６および通信インタフェース（Ｉ／Ｆ）２０７を備える。

【0029】

プロセッサ２０１は、病変検出装置２２全体を統括的に制御する。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ２０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、プロセッサ２０１は、図１に示した処理部２の一例である。

【0030】

ＲＡＭ２０２は、病変検出装置２２の主記憶装置として使用される。ＲＡＭ２０２には、プロセッサ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、プロセッサ２０１による処理に必要な各種データが格納される。

【0031】

ＨＤＤ２０３は、病変検出装置２２の補助記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

【0032】

ＧＰＵ２０４には、表示装置２０４ａが接続されている。ＧＰＵ２０４は、プロセッサ２０１からの命令にしたがって、画像を表示装置２０４ａに表示させる。表示装置２０４ａとしては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

【0033】

入力インタフェース２０５には、入力装置２０５ａが接続されている。入力インタフェース２０５は、入力装置２０５ａから出力される信号をプロセッサ２０１に送信する。入力装置２０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0034】

読み取り装置２０６には、可搬型記録媒体２０６ａが脱着される。読み取り装置２０６は、可搬型記録媒体２０６ａに記録されたデータを読み取ってプロセッサ２０１に送信する。可搬型記録媒体２０６ａとしては、光ディスク、半導体メモリなどがある。

【0035】

通信インタフェース２０７は、ネットワークを介して、ＣＴ装置２１などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、病変検出装置２２の処理機能を実現することができる。なお、学習処理装置１２も、図３に示すようなハードウェア構成のコンピュータとして実現可能である。

【0036】

ところで、医用画像からの病変領域の検出処理は、例えば、機械学習モデルを用いて実行可能である。
図４は、病変領域の検出のための機械学習モデルの第１の例を示す図である。図４に示す２Ｄセグメンテーションモデル３０は、断層画像３２が入力されると、断層画像３２の画素ごとに特定の病変領域か否かを分類する学習済みモデルである。ここでは、断層画像３２はアキシャル面の断層画像であるとする。なお、図４の２Ｄセグメンテーションモデル３０は、入力データが二次元画像であることから、その名称に「２Ｄ」を付加して示している。

【0037】

この２Ｄセグメンテーションモデル３０は、同じくアキシャル面の断層画像３１ａ，３１ｂ，３１ｃ，・・・を教師データとして用いた機械学習（例えば深層学習）によって生成される。これらの断層画像３１ａ，３１ｂ，３１ｃ，・・・には、画素ごとに病変領域か否かを示すラベルが付加されており、機械学習の際にはこれらのラベルが正解データとして用いられる。

【0038】

このような２Ｄセグメンテーションモデル３０を用いた病変検出では、断層画像の面に沿った形状の病変を比較的精度よく検出可能であるが、三次元的に断層画像の面に沿っていない形状の病変の検出精度が低いという問題がある。例えば、肝内胆管の拡張などの管状の病変が断層画像の面に沿っていない場合、その病変は断層画像上で円形または楕円形に投影されるので、腫瘤などの球状の病変と区別することが難しい。

【0039】

すなわち、管状の病変を検出するための２Ｄセグメンテーションモデル３０の学習時には、断層画像上で円形や楕円形に写る病変が不正解（Ｎｏｔ）と学習される。このため、その２Ｄセグメンテーションモデル３０を用いた推論時には、三次元的には管状の病変であっても、断層画像上で円形や楕円形に写っている場合には病変でないと判定される可能性がある。

【0040】

図５は、病変形状の例を示す図である。また、図６は、断層画像上の病変形状の例を示す図である。
図５の例では、斜視図４１に示すように、Ｘ軸、Ｙ軸、Ｚ軸による三次元空間に管状の病変領域４０が存在している。また、画像４２は、病変領域４０を人体の上側から見た（Ｚ軸方向に見た）場合の画像である。画像４３は、病変領域４０を人体の左側から見た（Ｘ軸方向に見た）場合の画像である。画像４４は、病変領域４０を人体の前側から見た（Ｙ軸方向に対する反対方向に見た）場合の画像である。

【0041】

図６に示す断層画像５１，５２，５３は、病変領域４０における三次元位置４５を通るアキシャル面、サジタル面、コロナル面の断層画像をそれぞれ示している。三次元位置４５において、病変領域４０はアキシャル面、サジタル面、コロナル面のいずれにも沿っていない。このため、断層画像５１～５３のいずれにおいても、病変の領域は管状の形状には写っておらず、円形または楕円形に写っている。

【0042】

上記の２Ｄセグメンテーションモデル３０については、アキシャル面の断層画像で学習された場合、アキシャル面の断層画像を用いて推論が行われる。同様に、サジタル面の断層画像で学習された場合、サジタル面の断層画像を用いて推論が行われ、コロナル面の断層画像で学習された場合、コロナル面の断層画像を用いて推論が行われる。しかし、上記の三次元位置４５の領域は、アキシャル面、サジタル面、コロナル面のいずれの断層画像からも管状の病変と判定されない可能性が高い。

【0043】

また、病変領域がアキシャル面、サジタル面、コロナル面のうち１つの断層画像に沿っていた場合でも、他の２つの断層画像上では病変が円形または楕円形に写る。このため、学習および推論時にアキシャル面、サジタル面、コロナル面のいずれの断層画像を用いたとしても、管状の病変の領域が病変であると正しく判定されないことが生じ得る。

【0044】

このような問題を解決するための方法の例として、次の図７に示す方法が考えられる。 図７は、病変領域の検出のための機械学習モデルの第２の例を示す図である。病変検出装置２２は、ＣＴ装置２１によってスライス位置を変えながら撮影された複数の断層画像（断層画像セット）を基に、三次元のボリュームデータを生成可能である。図７に示す３Ｄセグメンテーションモデル６０は、このようなボリュームデータ６２の入力を受けると、ボリュームデータ６２のボクセルごとに特定の病変領域か否かを分類する学習済みモデルである。なお、図７の３Ｄセグメンテーションモデル６０は、入力データが三次元空間の画像データであることから、その名称に「３Ｄ」を付加して示している。

【0045】

この３Ｄセグメンテーションモデル６０は、ボリュームデータ６１ａ，６１ｂ，６１ｃ，・・・を教師データとして用いた機械学習（例えば深層学習）によって生成される。これらのボリュームデータ６１ａ，６１ｂ，６１ｃ，・・・には、ボクセルごとに病変領域か否かを示すラベルが付加されており、機械学習の際にはこれらのラベルが正解データとして用いられる。

【0046】

このような３Ｄセグメンテーションモデル６０を用いることで、前述の２Ｄセグメンテーションモデル３０を用いた場合と比較して、病変領域４０の三次元空間上の形状を正確に捉えた病変検出を行うことが可能となる。このため、管状の病変の領域だけを検出できる可能性が高く、球状などの他の形状の病変の領域を誤検出する可能性は低い。

【0047】

しかし、３Ｄセグメンテーションモデル６０を用いた場合、学習時や推論時に用いるボリュームデータの生成元となる断層画像セットのスライス間隔が、病変検出の精度に影響を与え得る。例えば、断層画像セットに含まれる各断層画像の画素の大きさより、断層画像間のスライス間隔の方が大きい場合、ボリュームデータの生成時においては断層画像間のボクセルのデータが補間演算によって算出される。一例としてアキシャル面（Ｘ－Ｙ平面）の断層画像が用いられる場合、上下方向（Ｚ軸方向）に対する補間演算が実行される。このため、スライス間隔が大きいほど、ボリュームデータにおけるＺ軸方向への病変領域の形状信頼性が低くなり、ボリュームデータが病変領域の三次元形状を正確に保持できなくなる。

【0048】

したがって、３Ｄセグメンテーションモデル６０の学習時においては、教師データとしてスライス間隔が小さい断層画像セットに基づくボリュームデータを用いるほど、病変検出精度の高い３Ｄセグメンテーションモデル６０を生成可能となる。一方、３Ｄセグメンテーションモデル６０を用いた推論時においては、学習時よりスライス間隔が大きい断層画像セットに基づくボリュームデータを３Ｄセグメンテーションモデル６０に入力すると、病変検出精度が低下する可能性がある。

【0049】

実際の医療現場では、一度に撮影される断層画像数を多くできない場合がある。このため、３Ｄセグメンテーションモデル６０を用いた推論時に用いる断層画像セットのスライス間隔が、３Ｄセグメンテーションモデル６０の学習時に用いられた断層画像セットのスライス間隔より大きくなる場合がある。この場合、３Ｄセグメンテーションモデル６０を用いた推論精度が低下してしまう。このような観点から、３Ｄセグメンテーションモデル６０による病変検出精度は、２Ｄセグメンテーションモデル３０より高いとはいえない。

【0050】

そこで、本実施の形態の病変検出装置２２は、二次元画像を用いたセグメンテーション処理に対して、３Ｄセグメンテーションモデル６０を用いた処理結果を補助的に用いることで、病変検出精度を向上させる。

【0051】

図８は、第２の実施の形態における病変検出処理の概要を示す図である。
病変検出装置２２は、まず、ＣＴ装置２１によって撮影された複数の断層画像を含む断層画像セット７１に基づいて、三次元のボリュームデータを生成し、生成されたボリュームデータを３Ｄセグメンテーションモデル６０に入力する。ここで、３Ｄセグメンテーションモデル６０は、ニューラルネットワーク層と閾値判定部６４とを含む。図８では、ニューラルネットワーク層の一例としてＣＮＮ層６３を示している。

【0052】

ＣＮＮ層６３は、ボリュームデータが入力されると、ＣＮＮ層６３の最終層である出力層６５から、各断層画像の画素ごとに、病変領域である確率と、病変領域でない確率とを出力する。閾値判定部６４は、例えば、出力層６５から出力された病変領域である確率を所定の閾値と比較し、確率が閾値以上である場合に、対応する画素が病変領域であると判定する。

【0053】

病変検出装置２２は、出力層６５から出力された病変領域である確率を取得する。取得される確率は、０以上１以下の値をとる。病変検出装置２２は、断層画像セット７１に含まれる各断層画像と、各断層画像の画素ごとの確率とに基づいて、各断層画像に対応する２チャネル画像を生成する。２チャネル画像は、対応する断層画像の各画素に対して、断層画像の画素値（例えば輝度値）と確率とが対応付けられたデータである。

【0054】

図８では、断層画像セット７１に含まれる断層画像のうち、ｎ番目のスライス面に対応する断層画像７２ａに関する処理を例示している。この断層画像７２ａは、画素ごとに輝度値を有している。また、図８では、出力層６５から取得された確率は「確率マップ」として取り扱われるものとする。図８に示す確率マップ７２ｂは、断層画像７２ａの画素ごとに確率がマッピングされたデータである。図８の例では、病変検出装置２２は、断層画像７２ａと確率マップ７２とを結合することで、ｎ番目のスライス面に対応する２チャネル画像７２を生成する。

【0055】

病変検出装置２２は、このような２チャネル画像７２を２Ｄセグメンテーションモデル７３に入力する。２Ｄセグメンテーションモデル７３は、断層画像の画素ごとに輝度値と確率とが対応付けられた２チャネル画像が入力されると、断層画像の画素ごとに病変領域か否かを判定してどの断層画像のセグメンテーション結果を出力するように学習された機械学習モデルである。したがって、２Ｄセグメンテーションモデル７３に２チャネル画像７２が入力されると、ｎ番目のスライス面に対応する断層画像から病変領域が検出される。

【0056】

上記の２Ｄセグメンテーションモデル７３による病変検出処理では、入力データとして二次元の断層画像に加えて、３Ｄセグメンテーションモデル６０を用いて判定された、病変領域である確率が用いられる。これにより、この病変検出処理では、断層画像における病変領域の二次元形状だけでなく、病変領域の三次元形状も考慮した２Ｄセグメンテーションが実行されることになる。

【0057】

このため、入力データとして二次元の断層画像のみを用いた場合と比較して、管状の病変の領域を球状などの他の形状の病変の領域とは区別して検出できる可能性が高くなる。すなわち、腫瘤などの球状の病変の領域を、肝内胆管の拡張などの管状の病変の領域であると誤検出する可能性が低減される。したがって、断層画像からの病変領域の検出精度を向上させることができる。

【0058】

なお、上記のように、３Ｄセグメンテーションモデル６０に関しては、閾値判定部６４の出力データは利用されず、ＣＮＮ層６３の出力層６５の出力データのみが利用される。このため、３Ｄセグメンテーションモデル６０を用いた処理では、少なくともＣＮＮ層６３での演算処理が実行されればよい。

【0059】

図９は、第２の実施の形態における２Ｄセグメンテーションモデルの学習処理の概要を示す図である。図８に示した２Ｄセグメンテーションモデル７３は、例えば、次のような学習処理によって生成される。

【0060】

学習処理では、ＣＴ装置１１によって撮影された複数の断層画像（断層画像セット）が、学習用データとして用意される。各断層画像はアノテーション済みの画像となっており、画素ごとに病変領域か否かを示す正解ラベルが対応付けられている。図９に例示した学習用データ８０は、断層画像セット８１と正解画像セット８２を含んでいる。正解画像セット８２は、複数の正解画像を含み、各正解画像は断層画像セット８１に含まれる各断層画像に対応付けられている。正解画像には、画素ごとに正解ラベルがマッピングされている。なお、実際には、断層画像セット８１および正解画像セット８２を含む学習用データ８０が、複数組用意されて学習処理が実行される。

【0061】

学習処理装置１２は、断層画像セット８１に基づいて三次元のボリュームデータを生成し、生成されたボリュームデータを３Ｄセグメンテーションモデル６０に入力する。学習処理装置１２は、３Ｄセグメンテーションモデル６０の出力層６５から、断層画像セット８１に含まれる各断層画像の画素ごとに確率を取得する。そして、学習処理装置１２は、断層画像セット８１に含まれる各断層画像と、各断層画像の画素ごとの確率とに基づいて、各断層画像に対応する２チャネル画像を生成する。図９では例として、図８と同様に、ｎ番目のスライス面に対応する断層画像８２ａおよび確率マップ８２ｂを結合することで、このスライス面に対応する２チャネル画像８２が生成されている。

【0062】

このようにして、学習用データ８０に含まれる各断層画像に対応する２チャネル画像が生成される。学習処理装置１２は、各２チャネル画像を学習用の入力データとし、各２チャネル画像に対応する正解画像を正解データとして用いた機械学習を実行し、入力された２チャネル画像から病変領域を検出する２Ｄセグメンテーションモデル７３（図８参照）を生成する。実際には、２Ｄセグメンテーションモデル７３を形成するためのデータである２Ｄモデルパラメータ１１２が生成される。２Ｄモデルパラメータ１１２には、ニューラルネットワーク上のノード間の重み係数が含まれる。

【0063】

図１０は、学習処理装置および病変検出装置が備える処理機能の構成例を示す図である。
学習処理装置１２は、記憶部１１０、３Ｄセグメンテーション処理部１２１、２チャネル画像生成部１２２および２Ｄセグメンテーション学習部１２３を備える。

【0064】

記憶部１１０は、学習処理装置１２が備える記憶装置に確保される記憶領域である。記憶部１１０には、３Ｄモデルパラメータ１１１と２Ｄモデルパラメータ１１２が記憶される。３Ｄモデルパラメータ１１１は、３Ｄセグメンテーションモデル６０を形成するためのデータであり、主として重み係数を含む。２Ｄモデルパラメータ１１２は、２Ｄセグメンテーションモデル７３を形成するためのデータであり、主として重み係数を含む。２Ｄモデルパラメータ１１２は、２Ｄセグメンテーション学習部１２３によって生成されて、記憶部１１０に格納される。

【0065】

３Ｄセグメンテーション処理部１２１、２チャネル画像生成部１２２および２Ｄセグメンテーション学習部１２３の処理は、例えば、学習処理装置１２が備えるプロセッサがアプリケーションプログラムを実行することで実現される。

【0066】

３Ｄセグメンテーション処理部１２１は、学習用データとして用意された断層画像セットを基にボリュームデータを生成する。３Ｄセグメンテーション処理部１２１は、３Ｄモデルパラメータ１１１に基づく３Ｄセグメンテーションモデル６０に対してボリュームデータを入力して病変検出処理を実行する。３Ｄセグメンテーション処理部１２１は、３Ｄセグメンテーションモデル６０に含まれるニューラルネットワークの出力層から、病変領域である確率を各断層画像の画素ごとに出力する。

【0067】

２チャネル画像生成部１２２は、断層画像の各画素の画素値（輝度値）と、３Ｄセグメンテーション処理部１２１から出力された各画素の確率とを用いて２チャネル画像を生成する。以上の３Ｄセグメンテーション処理部１２１および２チャネル画像生成部１２２の処理により、２Ｄセグメンテーションモデル７３を機械学習によって生成するための入力データが生成される。

【0068】

２Ｄセグメンテーション学習部１２３は、学習用データに含まれる各断層画像に対応する２チャネル画像を入力データとして用い、各２チャネル画像に対応する正解画像を正解データとして用いて機械学習を実行する。この機械学習によって２Ｄセグメンテーションモデル７３が生成され、２Ｄセグメンテーション学習部１２３は、生成された２Ｄセグメンテーションモデル７３に対応する２Ｄモデルパラメータ１１２を記憶部１１０に格納する。

【0069】

病変検出装置２２は、記憶部２１０、３Ｄセグメンテーション処理部２２１、２チャネル画像生成部２２２、２Ｄセグメンテーション処理部２２３および表示処理部２２４を備える。

【0070】

記憶部２１０は、ＲＡＭ２０２、ＨＤＤ２０３など、病変検出装置２２が備える記憶装置に確保される記憶領域である。記憶部２１０には、３Ｄモデルパラメータ１１１と２Ｄモデルパラメータ１１２が記憶される。３Ｄモデルパラメータ１１１は、３Ｄセグメンテーションモデル６０を形成するためのデータであり、学習処理装置１２の記憶部１１０に記憶された３Ｄモデルパラメータ１１１と同一である。２Ｄモデルパラメータ１１２は、２Ｄセグメンテーションモデル７３を形成するためのデータであり、学習処理装置１２からネットワークや可搬型記録媒体などを介して病変検出装置２２に入力され、記憶部２１０に格納される。

【0071】

３Ｄセグメンテーション処理部２２１、２チャネル画像生成部２２２、２Ｄセグメンテーション処理部２２３および表示処理部２２４の処理は、例えば、プロセッサ２０１がアプリケーションプログラムを実行することで実現される。

【0072】

３Ｄセグメンテーション処理部２２１は、ＣＴ装置２１によって撮影された複数の断層画像を含む断層画像セットを基にボリュームデータを生成する。３Ｄセグメンテーション処理部２２１は、３Ｄモデルパラメータ１１１に基づく３Ｄセグメンテーションモデル６０に対してボリュームデータを入力して病変検出処理を実行する。３Ｄセグメンテーション処理部２２１は、３Ｄセグメンテーションモデル６０に含まれるニューラルネットワークの出力層から、病変領域である確率を各断層画像の画素ごとに出力する。

【0073】

２チャネル画像生成部２２２は、断層画像の各画素の画素値（輝度値）と、３Ｄセグメンテーション処理部１２１から出力された各画素の確率とを用いて２チャネル画像を生成する。

【0074】

２Ｄセグメンテーション処理部２２３は、生成された２チャネル画像を、２Ｄモデルパラメータ１１２に基づく２Ｄセグメンテーションモデル７３に対して入力することで、病変検出処理を実行する。

【0075】

表示処理部２２４は、２Ｄセグメンテーション処理部２２３による病変検出結果を示す表示画像を生成し、表示画像を表示装置２０４ａに表示させる。
次に、学習処理装置１２および病変検出装置２２の処理について、フローチャートを用いて説明する。

【0076】

図１１は、学習処理装置の処理手順を示すフローチャートの例である。
［ステップＳ１１］３Ｄセグメンテーション処理部１２１は、学習用データとして用意された断層画像セットを１つ選択する。

【0077】

［ステップＳ１２］３Ｄセグメンテーション処理部１２１は、選択した断層画像セットを基にボリュームデータを生成する。
［ステップＳ１３］３Ｄセグメンテーション処理部１２１は、３Ｄモデルパラメータ１１１に基づく３Ｄセグメンテーションモデル６０を用いて、ボリュームデータからの病変領域の検出処理を実行する。３Ｄセグメンテーション処理部１２１は、３Ｄセグメンテーションモデル６０に含まれるニューラルネットワークの出力層から、病変領域である確率を各断層画像の画素ごとに出力し、各断層画像に対応する確率マップを生成してＲＡＭなどの記憶領域に格納する。

【0078】

［ステップＳ１４］２チャネル画像生成部１２２は、スライス面を１つ選択する。
［ステップＳ１５］２チャネル画像生成部１２２は、ステップＳ１３で記憶領域に格納された確率マップの中から、選択されたスライス面に対応する確率マップを取得する。２チャネル画像生成部１２２は、選択されたスライス面に対応する断層画像（輝度値の画像）と、取得した確率マップとを結合して、選択されたスライス面に対応する２チャネル画像を生成する。

【0079】

［ステップＳ１６］２チャネル画像生成部１２２は、すべてのスライス面を選択済みかを判定する。未選択のスライス面がある場合、処理がステップＳ１４に進められ、未選択スライス面の中から１つが選択される。一方、すべてのスライス面を選択済みの場合、処理がステップＳ１７に進められる。

【0080】

［ステップＳ１７］３Ｄセグメンテーション処理部１２１は、学習用データとして用意されたすべての断層画像セットを選択済みかを判定する。未選択の断層画像セットがある場合、処理がステップＳ１１に進められ、未選択の断層画像セットの中から１つが選択される。一方、すべての断層画像セットを選択済みの場合、処理がステップＳ１８に進められる。

【0081】

［ステップＳ１８］２Ｄセグメンテーション学習部１２３は、生成された各２チャネル画像を入力データとして用い、各２チャネル画像に対応する正解画像を正解データとして用いて機械学習を実行する。この機械学習によって２Ｄセグメンテーションモデル７３が生成され、２Ｄセグメンテーション学習部１２３は、生成された２Ｄセグメンテーションモデル７３に対応する２Ｄモデルパラメータ１１２を記憶部１１０に格納する。

【0082】

図１２は、病変検出装置の処理手順を示すフローチャートの例である。
［ステップＳ２１］３Ｄセグメンテーション処理部２２１は、ＣＴ装置２１によって撮影された複数の断層画像を含む断層画像セットを基にボリュームデータを生成する。

【0083】

［ステップＳ２２］３Ｄセグメンテーション処理部２２１は、３Ｄモデルパラメータ１１１に基づく３Ｄセグメンテーションモデル６０を用いて、ボリュームデータからの病変領域の検出処理を実行する。３Ｄセグメンテーション処理部２２１は、３Ｄセグメンテーションモデル６０に含まれるニューラルネットワークの出力層から、病変領域である確率を各断層画像の画素ごとに出力し、各断層画像に対応する確率マップを生成してＲＡＭ２０２などの記憶領域に格納する。

【0084】

［ステップＳ２３］２チャネル画像生成部２２２は、スライス面を１つ選択する。
［ステップＳ２４］２チャネル画像生成部２２２は、ステップＳ２２で記憶領域に格納された確率マップの中から、選択されたスライス面に対応する確率マップを取得する。２チャネル画像生成部２２２は、選択されたスライス面に対応する断層画像（輝度値の画像）と、取得した確率マップとを結合して、選択されたスライス面に対応する２チャネル画像を生成する。

【0085】

［ステップＳ２５］２Ｄセグメンテーション処理部２２３は、生成された２チャネル画像を、２Ｄモデルパラメータ１１２に基づく２Ｄセグメンテーションモデル７３に対して入力することで、２チャネル画像に対応する断層画像からの病変領域の検出処理を実行する。これにより、２チャネル画像に対応する断層画像の各画素について、病変領域か否かが判定される。

【0086】

［ステップＳ２６］２チャネル画像生成部２２２は、すべてのスライス面を選択済みかを判定する。未選択のスライス面がある場合、処理がステップＳ２３に進められ、未選択スライス面の中から１つが選択される。一方、すべてのスライス面を選択済みの場合、処理がステップＳ２７に進められる。

【0087】

［ステップＳ２７］表示処理部２２４は、２Ｄセグメンテーション処理部２２３による病変領域の検出結果を示す表示画像を生成し、表示画像を表示装置２０４ａに表示させる。

【0088】

図１３は、病変領域の検出結果を示す表示画像の例を示す図である。病変検出装置２２は、２Ｄセグメンテーション処理部２２３の処理結果に基づいて、病変領域の検出結果を示す情報を出力することができる。例えば、表示処理部２２４は、図１３に示すような結果表示画像９０を生成して表示装置２０４ａに表示させることができる。結果表示画像９０は、スライス選択部９１、病変領域表示部９２および確率マップ表示部９３を含む。

【0089】

スライス選択部９１では、スライダ上のハンド９１ａを移動させることで、病変領域表示部９２に表示させる断層画像のスライス面を選択できるようになっている。病変領域表示部９２には、スライス選択部９１で選択されたスライス面に対応する断層画像が表示される。この断層画像には、同じスライス面に対する２Ｄセグメンテーション処理部２２３の処理結果に基づいて、病変領域９２ａが重畳表示される。

【0090】

確率マップ表示部９３には、病変領域表示部９２と同じ断層画像が表示される。また、この断層画像における病変領域９３ａには、選択されたスライス面に対応する確率マップの情報が重畳表示される。例えば、病変領域９３ａ内の各画素は、断層画像とは異なる色を用いて、確率マップ上の確率の値に応じた明るさで表示される。

【0091】

ユーザ（読影医）は、上記のような結果表示画像９０を視認することで、最終的な病変領域の検出結果と、検出された病変領域における確率とを対比して確認できる。これによってユーザは、例えば、病変領域の検出結果の信頼性を判断することが可能となる。

【0092】

なお、以上の第２の実施の形態では、確率は０以上１以下の値であったが、他の例として、確率値は０または１であってもよい。この場合、病変検出装置２２は例えば、３Ｄセグメンテーションモデル６０の閾値判定部６４による画素ごとのセグメンテーション結果を基に確率を取得してもよい。すなわち、画素が病変領域であると判定された場合、確率は１となり、画素が病変領域でないと判定された場合、確率は０となる。このような確率を用いた場合でも、２Ｄセグメンテーションモデル７３を用いた病変検出処理において病変の三次元形状が考慮されるので、病変検出精度を向上させる効果が得られる。

【0093】

しかし、上記の第２の実施の形態のように確率として０と１以外の値も利用されることで、２Ｄセグメンテーションモデル７３を用いた病変検出処理に対して、病変の三次元形状に基づく判定結果を細かく反映させることが可能となる。その結果、確率として０と１以外の値も利用されることで、病変検出精度を高めることが可能となる。

【0094】

また、上記の第２の実施の形態では、断層画像と、その断層画像の各画素の確率とが２Ｄセグメンテーションモデル７３に入力された。しかし、他の例として、断層画像のみが入力される、図４に示した２Ｄセグメンテーションモデル３０が用いられ、２Ｄセグメンテーションモデル３０による判定結果が確率によって補正されてもよい。例えば、２Ｄセグメンテーションモデル３０に含まれるニューラルネットワークの出力層から出力される、画素が病変領域である確率が、３Ｄセグメンテーションモデル６０から取得された、その画素に対応する確率によって補正される。前者の確率は、後者の確率が高いほど高い値に補正される。そして、２Ｄセグメンテーションモデル３０では、補正後の確率を用いて閾値判定が行われ、補正後の確率が所定の閾値以上の場合に対応する画素が病変領域であると判定される。

【0095】

このような方法では、２Ｄセグメンテーションモデル３０による病変検出結果が、３Ｄセグメンテーションモデル６０による、病変の三次元形状が考慮された病変検出結果によって補正される。このため、病変検出精度を向上させる効果が得られる。ただし、上記の第２の実施の形態のように、断層画像の画素ごとの画素値と確率の両方を入力として学習された２Ｄセグメンテーションモデル７３を用いた方が、病変の三次元形状に基づく判定結果を適切に反映させた病変検出を実行できるようなる。このため、２Ｄセグメンテーションモデル７３を用いた方が病変検出精度を高めることが可能となる。

【0096】

なお、上記の各実施の形態に示した装置（例えば、病変検出装置１，２２、学習処理装置１２）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

【0097】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0098】

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

【符号の説明】

【0099】

１ 病変検出装置
２ 処理部
３ａ～３ｃ 断層画像
４ ボリュームデータ
５ａ，５ｂ 病変検出処理
６ａ～６ｃ 確率マップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】