特開 2024-32079 病変検出方法および病変検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024032079

(43)【公開日】2024-03-12

(54)【発明の名称】病変検出方法および病変検出プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240305BHJP

   A61B 6/46 20240101ALI20240305BHJP

   A61B 5/055 20060101ALI20240305BHJP

【ＦＩ】

A61B6/03 360T

A61B6/03 360Q

A61B6/03 360J

A61B5/055 380

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022135519

(22)【出願日】2022-08-29

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】馬場 幸三

(72)【発明者】

【氏名】武部 浩明

(72)【発明者】

【氏名】宮▲崎▼ 信浩

【テーマコード（参考）】

4C093

4C096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093FF13

4C093FF16

4C093FF17

4C093FF35

4C093FF42

4C096DC16

4C096DC19

4C096DC20

4C096DC33

4C096DC36

(57)【要約】

【課題】複数の断層画像からの病変領域の検出精度に対するスライス間隔の影響を低減する。
【解決手段】コンピュータが、二次元空間の画像データを有する入力画像から特定の病変の領域を検出する第１の機械学習モデルを用いて、人体の内部を撮影した複数の断層画像のそれぞれから特定の病変を示す第１の病変領域を検出し、三次元空間の画像データを有する入力ボリュームデータから特定の病変の領域を検出する第２の機械学習モデルを用いて、複数の断層画像を基に作成された三次元のボリュームデータから特定の病変を示す第２の病変領域を検出し、第１の病変領域と第２の病変領域との重複状態に基づいて、複数の断層画像のそれぞれから特定の病変を示す第３の病変領域を検出する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

コンピュータが、
二次元空間の画像データを有する入力画像から特定の病変の領域を検出する第１の機械学習モデルを用いて、人体の内部を撮影した複数の断層画像のそれぞれから前記特定の病変を示す第１の病変領域を検出し、
三次元空間の画像データを有する入力ボリュームデータから前記特定の病変の領域を検出する第２の機械学習モデルを用いて、前記複数の断層画像を基に作成された三次元のボリュームデータから前記特定の病変を示す第２の病変領域を検出し、
前記第１の病変領域と前記第２の病変領域との重複状態に基づいて、前記複数の断層画像のそれぞれから前記特定の病変を示す第３の病変領域を検出する、
病変検出方法。

【請求項2】

前記第１の病変領域と、前記第２の病変領域の少なくとも一部とが重複する場合に、前記第１の病変領域が前記第３の病変領域として検出される、
請求項１記載の病変検出方法。

【請求項3】

前記第３の病変領域の検出では、
前記複数の断層画像のそれぞれからの前記第１の病変領域の検出結果に基づいて、三次元空間における前記特定の病変を示す第１の閉領域を検出し、
前記ボリュームデータからの前記第２の病変領域の検出結果に基づいて、三次元空間における前記特定の病変を示す第２の閉領域を検出し、
前記第１の閉領域と前記第２の閉領域との重複状態に基づいて前記第３の病変領域を検出する、
請求項１記載の病変検出方法。

【請求項4】

前記第３の病変領域の検出では、
前記第１の閉領域と、前記第２の閉領域の少なくとも一部とが重複する場合に、前記複数の断層画像のそれぞれにおける、前記第１の閉領域に対応する領域を前記第３の病変領域として検出する、
請求項３記載の病変検出方法。

【請求項5】

前記第３の病変領域の検出では、
前記ボリュームデータから前記第２の閉領域が複数検出された場合、複数の前記第２の閉領域の中から体積が最大の第３の閉領域を選択し、
前記複数の断層画像から、前記第３の閉領域を含む第１の断層画像を選択し、
前記第１の断層画像における前記第３の病変領域を拡大した拡大領域と、前記第１の断層画像における前記第２の病変領域に対応する領域との間で重複する領域を、前記第１の断層画像における前記第３の病変領域として追加する、
請求項４記載の病変検出方法。

【請求項6】

前記第３の病変領域の検出では、
選択された前記第１の断層画像から前記第３の病変領域が検出されていない場合、前記第１の断層画像における前記第３の閉領域に対応する領域を、前記第１の断層画像における前記第３の病変領域として追加して検出する、
請求項５記載の病変検出方法。

【請求項7】

コンピュータに、
二次元空間の画像データを有する入力画像から特定の病変の領域を検出する第１の機械学習モデルを用いて、人体の内部を撮影した複数の断層画像のそれぞれから前記特定の病変を示す第１の病変領域を検出し、
三次元空間の画像データを有する入力ボリュームデータから前記特定の病変の領域を検出する第２の機械学習モデルを用いて、前記複数の断層画像を基に作成された三次元のボリュームデータから前記特定の病変を示す第２の病変領域を検出し、
前記第１の病変領域と前記第２の病変領域との重複状態に基づいて、前記複数の断層画像のそれぞれから前記特定の病変を示す第３の病変領域を検出する、
処理を実行させる病変検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、病変検出方法および病変検出プログラムに関する。

【背景技術】

【0002】

各種疾患の診断には、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）などによる医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。

【0003】

そのような技術の例として、機械学習によって作成された学習済みモデルを用いて、医用画像から病変領域を検出する技術がある。例えば、複数の異なる断面方向の断面画像を取得し、各断面画像について各画素の病変の種類を特定する一次分類処理を、多層ニューラルネットワークを含む判別器を用いて実行し、各断面画像で共通する画素について一次分類処理の結果を評価する画像処理装置が提案されている。また、３Ｄ画像ボリュームのＮ個の異なる平面にしたがってＮ個の異なるＣＮＮ（Convolutional Neural Network）を結合する複合計算システムにおいて、２Ｄ画像を解析してセグメント化するために、知られているＣＮＮの使用を３Ｄ画像に拡張することが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０２２－５２５１９８号公報

【特許文献2】特表２０１９－５００１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、学習済みモデルを用いて病変領域を検出する方法としては、例えば、二次元の断層画像を入力として画素ごとに病変か否かを分類する第１の方法と、複数の断層画像を基に作成された三次元のボリュームデータを入力としてボクセルごとに病変か否かを分類する第２の方法とがある。一般的に、第２の方法の方が、病変領域の三次元的な形状特徴を正確に捉えて病変領域を検出可能であるので、検出精度を高めることができる。しかし、第２の方法では、ボリュームデータの作成元となる複数の断層画像のスライス間隔が、学習時より推論時の方が大きい場合に、推論用のボリュームデータにおける病変領域の形状の信頼性が低下する。このため、病変領域の検出精度も低下しやすいという問題がある。

【0006】

１つの側面では、本発明は、複数の断層画像からの病変領域の検出精度に対するスライス間隔の影響を低減可能な病変検出方法および病変検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、コンピュータが、二次元空間の画像データを有する入力画像から特定の病変の領域を検出する第１の機械学習モデルを用いて、人体の内部を撮影した複数の断層画像のそれぞれから特定の病変を示す第１の病変領域を検出し、三次元空間の画像データを有する入力ボリュームデータから特定の病変の領域を検出する第２の機械学習モデルを用いて、複数の断層画像を基に作成された三次元のボリュームデータから特定の病変を示す第２の病変領域を検出し、第１の病変領域と第２の病変領域との重複状態に基づいて、複数の断層画像のそれぞれから特定の病変を示す第３の病変領域を検出する、病変検出方法が提供される。

【0008】

また、１つの案では、上記の病変検出方法と同様の処理をコンピュータに実行させる病変検出プログラムが提供される。

【発明の効果】

【0009】

１つの側面では、複数の断層画像からの病変領域の検出精度に対するスライス間隔の影響を低減できる。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態に係る病変検出装置の構成例および処理例を示す図である。

【図2】第２の実施の形態に係る診断支援システムの構成例を示す図である。

【図3】病変領域の検出のための機械学習モデルの第１の例を示す図である。

【図4】病変領域の検出のための機械学習モデルの第２の例を示す図である。

【図5】複数方向の断面の断層画像を用いた病変検出方法の例を示す図である。

【図6】病変形状の例を示す図である。

【図7】セグメンテーション精度に対するスライス間隔の影響について説明するための図である。

【図8】診断支援装置が備える処理機能の構成例を示す図である。

【図9】２Ｄモデルおよび３Ｄモデルを用いたセグメンテーション処理の手順を示すフローチャートの例である。

【図10】組合せ判定処理を示す第１の図である。

【図11】組合せ判定処理を示す第２の図である。

【図12】組合せ判定処理の手順を示すフローチャートの例（その１）である。

【図13】組合せ判定処理の手順を示すフローチャートの例（その２）である。

【図14】病変領域の検出結果の画面表示例を示す図である。

【図15】変形例における組合せ判定処理の手順を示すフローチャートの例である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る病変検出装置の構成例および処理例を示す図である。図１に示す病変検出装置１は、医用画像から所定の病変の領域を検出する装置である。この病変検出装置１は、処理部２を有する。処理部２は、例えばプロセッサである。この場合、処理部２による以下の処理は、例えば、プロセッサが所定のプログラムを実行することで実現される。

【0012】

処理部２は、医用画像として、人体の内部を撮影した複数の断層画像３ａ，３ｂ，３ｃ，・・・を取得する。断層画像３ａ，３ｂ，３ｃ，・・・は、例えば、ＣＴやＭＲＩによる断層画像である。また、断層画像３ａ，３ｂ，３ｃ，・・・は、所定の臓器を含む人体の内部領域における同じ方向の断面（スライス面）に沿った画像であり、その断面に垂直な方向に対する位置を所定の間隔（スライス間隔）で変えながら撮影することで得られる。

【0013】

処理部２は、二次元空間の画像データを有する入力画像から上記の病変の領域を検出する機械学習モデル５ａを用いて、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれから上記の病変を示す第１の領域を検出する。この処理により、例えば、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれにおいて、画素が病変の領域とそれ以外の領域とに分類される。図１では、第１の領域を示す情報の例として、病変領域の画素値を「１」とし、それ以外の領域の画素値を「０」とした検出結果画像６ａ，６ｂ，６ｃ，・・・が出力されている。

【0014】

また、処理部２は、断層画像３ａ，３ｂ，３ｃ，・・・に基づいて三次元のボリュームデータ４を作成する。処理部２は、三次元空間の画像データを有する入力ボリュームデータから上記の病変の領域を検出する機械学習モデル５ｂを用いて、作成されたボリュームデータ４から上記の病変を示す第２の領域を検出する。この処理により、例えば、ボリュームデータ４の各ボクセルが病変の領域とそれ以外の領域とに分類される。図１では、第２の領域を示す情報の例として、病変領域のボクセル値を「１」とし、それ以外の領域のボクセル値を「０」としたボリュームデータ７が出力されている。

【0015】

処理部２は、検出された第１の病変領域と、検出された第２の病変領域との重複状態に基づいて、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれから上記の病変を示す第３の病変領域を検出する。処理部２は、例えば、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれから検出された第１の病変領域を基に、三次元空間における病変領域を算出し、算出された病変領域と、三次元空間における領域として検出された第２の領域との重複状態を認識する。処理部２は、この重複状態に基づいて、断層画像３ａ，３ｂ，３ｃ，・・・のそれぞれから第３の病変領域を検出する。図１では、第３の領域を示す情報の例として、病変領域の画素値を「１」とし、それ以外の領域の画素値を「０」とした検出結果画像８ａ，８ｂ，８ｃ，・・・が出力される。

【0016】

以上の処理によれば、ボリュームデータ４に基づく病変領域の検出結果だけでなく、二次元の断層画像３ａ，３ｂ，３ｃ，・・・に基づく病変領域の検出結果も用いて最終的な検出結果を作成する。これにより、複数の断層画像からの病変領域の検出精度に対する、ボリュームデータ４の作成元となった断層画像３ａ，３ｂ，３ｃ，・・・のスライス間隔の影響を低減できる。その結果、スライス間隔に依存せずに、病変領域の検出が高精度化する可能性を高めることができる。

【0017】

〔第２の実施の形態〕
次に、ＣＴ画像から肝臓の病変領域を検出可能なシステムについて説明する。
図２は、第２の実施の形態に係る診断支援システムの構成例を示す図である。図２に示す診断支援システムは、ＣＴ撮影による画像診断作業を支援するシステムであり、診断支援装置１００とＣＴ装置２００を含む。なお、診断支援装置１００は、図１に示した病変検出装置１の一例である。

【0018】

ＣＴ装置２００は、人体のＸ線ＣＴ画像を撮影する。本実施の形態において、ＣＴ装置２００は、肝臓を含む腹部領域におけるアキシャル面の断層画像を、人体の高さ方向（アキシャル面に垂直な方向）に対する位置（スライス位置）を所定間隔で変えながら所定枚数撮影する。

【0019】

診断支援装置１００は、ＣＴ装置２００によって撮影された各断層画像から肝臓の領域を抽出し、抽出された領域の画像情報に基づいて病変領域を検出する。本実施の形態では、病変領域として、肝内胆管の拡張が検出されるものとする。診断支援装置１００は、例えば、病変領域の検出結果を示す情報を表示装置に表示させる。これにより診断支援装置１００は、ユーザ（例えば読影医）の画像診断作業を支援する。

【0020】

以下、図２を用いて診断支援装置１００のハードウェア構成について説明する。診断支援装置１００は、例えば、図２に示すようなコンピュータとして実現される。図２に示すように、診断支援装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６および通信インタフェース（Ｉ／Ｆ）１０７を備える。

【0021】

プロセッサ１０１は、診断支援装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、プロセッサ１０１は、図１に示した処理部２の一例である。

【0022】

ＲＡＭ１０２は、診断支援装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

【0023】

ＨＤＤ１０３は、診断支援装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

【0024】

ＧＰＵ１０４には、表示装置１０４ａが接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置１０４ａとしては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

【0025】

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0026】

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、半導体メモリなどがある。

【0027】

通信インタフェース１０７は、ネットワークを介して、ＣＴ装置２００などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、診断支援装置１００の処理機能を実現することができる。

【0028】

ところで、医用画像からの病変領域の検出処理は、例えば、機械学習モデルを用いて実行可能である。
図３は、病変領域の検出のための機械学習モデルの第１の例を示す図である。図３に示す病変分類モデル１０は、断層画像１２の入力を受けると、断層画像１２の画素ごとに特定の病変領域か否かを分類する学習済みモデルである。ここでは、断層画像１２はアキシャル面の断層画像であるとする。

【0029】

この病変分類モデル１０は、同じくアキシャル面の断層画像１１ａ，１１ｂ，１１ｃ，・・・を教師データとして用いた機械学習（例えば深層学習）によって作成される。これらの断層画像１１ａ，１１ｂ，１１ｃ，・・・には、画素ごとに病変領域か否かを示すラベルが付加されており、機械学習の際にはこれらのラベルが正解データとして用いられる。

【0030】

図４は、病変領域の検出のための機械学習モデルの第２の例を示す図である。ＣＴ装置２００によってスライス位置を変えながら撮影された複数の断層画像（断層画像セット）を基に、三次元のボリュームデータを作成可能である。図４に示す病変分類モデル２０は、このようなボリュームデータ２２の入力を受けると、ボリュームデータ２２のボクセルごとに特定の病変領域か否かを分類する学習済みモデルである。

【0031】

この病変分類モデル２０は、ボリュームデータ２１ａ，２１ｂ，２１ｃ，・・・を教師データとして用いた機械学習（例えば深層学習）によって作成される。これらのボリュームデータ２１ａ，２１ｂ，２１ｃ，・・・には、ボクセルごとに病変領域か否かを示すラベルが付加されており、機械学習の際にはこれらのラベルが正解データとして用いられる。

【0032】

以下、二次元空間の画像データによって形成される断層画像に対するセグメンテーションを行う上記の病変分類モデル１０を、「２Ｄモデル１０」と記載する。一方、三次元空間の画像データによって形成されるボリュームデータに対するセグメンテーションを行う上記の病変分類モデル２０を、「３Ｄモデル２０」と記載する。

【0033】

ここで、２Ｄモデル１０を用いたセグメンテーションでは、断層画像の面に沿った形状の病変を比較的精度よく検出可能であるが、三次元的に断層画像の面に沿っていない形状の病変の検出精度が低いという問題がある。例えば、管状の病変が断層画像の面に沿っていない場合、その病変は断層画像上で円形または楕円形に投影されるので、腫瘤などの球状の病変と区別することが難しい。この問題を解決するための方法の例として、次の図５に示す方法が考えられる。

【0034】

図５は、複数方向の断面の断層画像を用いた病変検出方法の例を示す図である。図５に示す方法では、アキシャル面、サジタル面、コロナル面の各断層画像を用いて病変領域が検出される。

【0035】

具体的には、アキシャル面の断層画像を用いた機械学習によって作成された第１の２Ｄモデルと、サジタル面の断層画像を用いた機械学習によって作成された第２の２Ｄモデルと、コロナル面の断層画像を用いた機械学習によって作成された第３の２Ｄモデルとが用いられる。そして、第１の２Ｄモデルを用いてアキシャル面の断層画像１５のセグメンテーションが実行され、第２の２Ｄモデルを用いてサジタル面の断層画像１６のセグメンテーションが実行され、第３の２Ｄモデルを用いてコロナル面の断層画像１７のセグメンテーションが実行される。これにより、断層画像１５～１７で共通する画素１８の分類結果が各２Ｄモデルから算出され、これらの分類結果を基に、例えば多数決をとることによって画素１８の最終的な分類結果が得られる。

【0036】

このような方法により、１つの断面の断層画像を用いた場合より、セグメンテーション精度を高めることが可能にはなる。しかし、複数方向の断面の断層画像を用いたとしても、あくまで二次元空間上の形状特徴を捉えた２Ｄモデルを用いたセグメンテーションが行われるので、三次元空間上の病変形状によっては高精度なセグメンテーションが不可能となる。

【0037】

図６は、病変形状の例を示す図である。図６において、画像３２は、病変領域３０を人体の上側から見た（Ｚ軸方向に見た）場合の画像であり、アキシャル面の断層画像に相当する。画像３３は、病変領域３０を人体の左側から見た（Ｘ軸方向に見た）場合の画像であり、サジタル面の断層画像に相当する。画像３４は、病変領域３０を人体の前側から見た（Ｙ軸方向に対する反対方向に見た）場合の画像であり、コロナル面の断層画像に相当する。

【0038】

この病変領域３０の形状は、斜視図３１に示すように、Ｘ軸、Ｙ軸、Ｚ軸のいずれに対しても対称性を有さない管状の形状となっている。この場合、アキシャル面、サジタル面、コロナル面のいずれの断層画像にも、病変領域３０の全体像が写らない。このため、図５に示した方法を用いたとしても、病変領域３０の三次元空間上の形状を十分に捉えたセグメンテーションを行っているとはいえず、高精度なセグメンテーションを行うことは難しい。すなわち、管状の病変領域を球状の病変領域と正確に区別してセグメンテーションを行うことが難しい。

【0039】

これに対して、図４に示した３Ｄモデル２０を用いた方法により、病変領域３０の三次元空間上の形状を十分に捉えたセグメンテーションを行うことが可能となり、セグメンテーションの精度を向上させることができる。しかし、３Ｄモデル２０を用いた場合、学習時や推論時に用いるボリュームデータの作成元となる断層画像セットのスライス間隔が、セグメンテーションの精度に影響を与え得る。

【0040】

図７は、セグメンテーション精度に対するスライス間隔の影響について説明するための図である。
断層画像セットに含まれる各断層画像の画素の大きさより、断層画像間のスライス間隔の方が大きい場合、ボリュームデータの作成時においては断層画像間のボクセルのデータが補間演算によって算出される。本実施の形態のようにアキシャル面（Ｘ－Ｙ平面）の断層画像が用いられる場合、上下方向（Ｚ軸方向）に対する補間演算が実行される。このため、スライス間隔が大きいほど、ボリュームデータにおけるＺ軸方向への病変領域の形状信頼性が低くなり、ボリュームデータにおいて病変領域の三次元形状を正確に保持できなくなる。

【0041】

図７では、Ｙ軸方向に見た場合の病変領域４０の形状を例示している。この病変領域４０の形状は、Ｘ－Ｙ平面、Ｙ－Ｚ平面、Ｚ－Ｘ平面のいずれに対しても非対称である。この場合、病変領域４０がＸ－Ｙ平面に細長く投影される場合と、病変領域４０がＺ軸方向に細長く投影される場合とが混在することになる。肝内胆管の拡張を示す病変領域の形状は、このようにＸ－Ｙ平面、Ｙ－Ｚ平面、Ｚ－Ｘ平面のいずれに対しても非対称であることが多い。

【0042】

このような病変領域４０は、撮影面４１ではＸ－Ｙ平面に対して長い線状に写り、撮影面４２，４３では微小な円状に写る。このため、例えば、撮影面４１，４３の各断層画像を用いて補間演算を行った場合と、撮影面４１，４２，４３の各断層画像を用いて補間演算を行った場合とでは、ボリュームデータ上に現れる病変領域４０の形状が異なる。すなわち、前者より後者の方が、ボリュームデータ上に現れる病変領域４０の形状は本来の形状に近くなる。

【0043】

したがって、３Ｄモデル２０の学習時においては、教師データとしてスライス間隔が小さい断層画像セットに基づくボリュームデータを用いるほど、セグメンテーション精度の高い３Ｄモデル２０を作成可能となる。一方、３Ｄモデル２０を用いた推論時においては、学習時よりスライス間隔が大きい断層画像セットに基づくボリュームデータを３Ｄモデル２０に入力すると、セグメンテーション精度が低下する可能性がある。

【0044】

実際の医療現場では、コスト削減の観点から、一度に撮影される断層画像数を多くできないことが多い。このため、３Ｄモデル２０を用いた推論時に用いる断層画像セットのスライス間隔が、３Ｄモデル２０の学習時に用いられた断層画像セットのスライス間隔より大きくなる場合が多い。この場合、３Ｄモデル２０を用いた推論精度が低下してしまう。

【0045】

そこで、本実施の形態の診断支援装置１００は、２Ｄモデル１０によるセグメンテーション結果と３Ｄモデル２０によるセグメンテーション結果とを組み合わせて、最終的なセグメンテーション結果を取得する。これにより、高精度な病変のセグメンテーション処理を可能とする。

【0046】

図８は、診断支援装置が備える処理機能の構成例を示す図である。図８に示すように、診断支援装置１００は、記憶部１１０、臓器領域抽出部１２１、２Ｄセグメンテーション処理部１２２、３Ｄセグメンテーション処理部１２３および組合せ判定部１２４を備える。

【0047】

記憶部１１０は、ＲＡＭ１０２、ＨＤＤ１０３などの診断支援装置１００が備える記憶装置に確保された記憶領域である。記憶部１１０には、臓器領域分類モデルデータ１１１、２Ｄモデルデータ１０ａおよび３Ｄモデルデータ２０ａが記憶される。

【0048】

臓器領域分類モデルデータ１１１は、入力された断層画像から肝臓の領域をセグメンテーションする学習済みモデルを示すデータである。この学習済みモデル（臓器領域分類モデル）は、肝臓の領域か否かを示すラベルが画素ごとに付加された断層画像を多数、教師データとして用いて機械学習することで作成される。臓器領域分類モデルがニューラルネットワークとして形成される場合、臓器領域分類モデルデータ１１１には、ニューラルネットワーク上のノード間の重み係数が含まれる。

【0049】

２Ｄモデルデータ１０ａは、前述した２Ｄモデル１０を示すデータである。２Ｄモデル１０がニューラルネットワークとして形成される場合、２Ｄモデルデータ１０ａには、ニューラルネットワーク上のノード間の重み係数が含まれる。３Ｄモデルデータ２０ａは、前述した３Ｄモデル２０を示すデータである。３Ｄモデル２０がニューラルネットワークとして形成される場合、３Ｄモデルデータ２０ａには、ニューラルネットワーク上のノード間の重み係数が含まれる。

【0050】

臓器領域抽出部１２１、２Ｄセグメンテーション処理部１２２、３Ｄセグメンテーション処理部１２３および組合せ判定部１２４の処理は、例えば、プロセッサ１０１が所定のアプリケーションプログラムを実行することで実現される。

【0051】

臓器領域抽出部１２１は、断層画像セットに含まれる各断層画像を、臓器領域分類モデルデータ１１１に基づく臓器領域分類モデルに入力することで、断層画像から肝臓領域を抽出する。

【0052】

２Ｄセグメンテーション処理部１２２は、断層画像セットに含まれる各断層画像における肝臓領域の画像を、２Ｄモデルデータ１０ａに基づく２Ｄモデル１０に入力する。これにより２Ｄセグメンテーション処理部１２２は、画素ごとに肝内胆管の拡張を示す病変領域か否かを分類する２Ｄセグメンテーション処理を実行する。

【0053】

３Ｄセグメンテーション処理部１２３は、断層画像セットに基づいてボリュームデータを作成し、ボリュームデータから肝臓領域を抽出して、３Ｄモデルデータ２０ａに基づく３Ｄモデル２０に入力する。これにより３Ｄセグメンテーション処理部１２３は、ボクセルごとに肝内胆管の拡張を示す病変領域か否かを分類する３Ｄセグメンテーション処理を実行する。

【0054】

組合せ判定部１２４は、２Ｄセグメンテーションの処理結果と３Ｄセグメンテーションの処理結果とを組み合わせて、断層画像セットに含まれる各断層画像についての最終的なセグメンテーション結果を算出して出力する。

【0055】

図９は、２Ｄモデルおよび３Ｄモデルを用いたセグメンテーション処理の手順を示すフローチャートの例である。
［ステップＳ１１］臓器領域抽出部１２１は、スライス面を１つ選択する。

【0056】

［ステップＳ１２］臓器領域抽出部１２１は、入力された断層画像セットから、選択されたスライス面に対応する断層画像を抽出する。臓器領域抽出部１２１は、抽出された断層画像を、臓器領域分類モデルデータ１１１に基づく臓器領域分類モデルに入力することで、断層画像から肝臓領域を抽出する。この処理により、例えば、断層画像のうち、肝臓領域の画素を「１」とし、それ以外の領域の画素「０」としたマスク画像が作成される。

【0057】

［ステップＳ１３］２Ｄセグメンテーション処理部１２２は、抽出された肝臓領域の画像を、２Ｄモデルデータ１０ａに基づく２Ｄモデル１０に入力することで、病変領域のセグメンテーション（２Ｄセグメンテーション）を実行する。これにより、断層画像の各画素が、病変領域とそれ以外の領域とに分類される。

【0058】

［ステップＳ１４］２Ｄセグメンテーション処理部１２２は、ステップＳ１３の処理結果に基づき、断層画像のうち、病変領域の画素を「１」とし、それ以外の領域の画素を「０」とした２Ｄ結果画像を作成する。

【0059】

［ステップＳ１５］２Ｄセグメンテーション処理部１２２は、全スライス面を選択済みかを判定する。未選択のスライス面がある場合、処理がステップＳ１１に進められ、未選択のスライス面のうちの１つが選択される。一方、全スライス面を選択済みの場合、処理がステップＳ１６に進められる。

【0060】

［ステップＳ１６］３Ｄセグメンテーション処理部１２３は、断層画像セットに基づいて、ボリュームデータを作成する。
［ステップＳ１７］３Ｄセグメンテーション処理部１２３は、作成されたボリュームデータを、３Ｄモデルデータ２０ａに基づく３Ｄモデル２０に適するサイズにリサイズする。

【0061】

［ステップＳ１８］３Ｄセグメンテーション処理部１２３は、リサイズされたボリュームデータを３Ｄモデル２０に入力することで、病変領域のセグメンテーション（３Ｄセグメンテーション）を実行する。これにより、ボリュームデータの各ボクセルが、病変領域とそれ以外の領域とに分類される。

【0062】

［ステップＳ１９］３Ｄセグメンテーション処理部１２３は、ステップＳ１８の処理結果に基づき、各スライス面に対応する３Ｄ結果画像を作成する。３Ｄ結果画像は、リサイズされたボリュームデータにおけるスライス面に対応する画像のうち、病変領域の画素を「１」とし、それ以外の領域の画素を「０」とした画像を、入力された断層画像セットの断層画像と同じサイズにリサイズすることで作成される。

【0063】

次に、組合せ判定部１２４により、２Ｄセグメンテーションの処理結果と３Ｄセグメンテーションの処理結果との組合せに基づいて最終的なセグメンテーション結果が算出される。

【0064】

２Ｄセグメンテーションでは、肝内胆管の拡張を示す病変領域の形状特徴がアキシャル面に現れている場合には、その病変領域を比較的精度よく検出可能である。しかし、アキシャル面に現れる形状が類似する他の病変（例えば、嚢胞）の領域を過検出する場合がある。

【0065】

一方、３Ｄセグメンテーションでは、目的の病変領域の三次元的な形状特徴を捉えることができるので、肝内胆管の拡張を示す病変領域だけを検出できる可能性が高く、嚢胞などの他の病変領域を過検出する可能性は低い。しかし、前述したように、推論時に入力されるボリュームデータの作成元となった断層画像セットのスライス間隔が学習時より大きい場合に、肝内胆管の拡張を示す病変領域を精度よく検出できない可能性がある。例えばこのような場合には、スライス面上で実際の病変領域より広く検出される可能性がある。

【0066】

そこで、組合せ判定部１２４は基本的に、２Ｄセグメンテーションによって検出された病変領域が、３Ｄセグメンテーションによって検出された病変領域の少なくとも一部と重複している場合には、前者の病変領域を正しく検出された領域と判定する。一方、組合せ判定部１２４は、前者の病変領域が後者の病変領域と重複していない場合、前者の病変領域は過検出されたものであると判定し、この病変領域を最終的な検出結果に採用せずに棄却する。

【0067】

図１０は、組合せ判定処理を示す第１の図である。この図１０を用いて、上記のような基本的な組合せ判定処理の手順について説明する。
組合せ判定部１２４は、まず、図９のステップＳ１４でスライス面ごとに作成された２Ｄ結果画像（２Ｄ結果画像セット）に基づいて、３Ｄラベリング処理を実行する。また、組合せ判定部１２４は、図９のステップＳ１９でスライス面ごとに作成された３Ｄ結果画像（３Ｄ結果画像セット）に基づいて、３Ｄラベリング処理を実行する。

【0068】

３Ｄラベリング処理では、同一断層画像上および隣接する断層画像間で同一の画素値「１」を有する画素が連続する場合に、それらの画素に同一値のラベルが割り当てられる。そして、同一値のラベルが割り当てられた画素の領域が連結される。これにより、画素が連結された連結領域（閉領域）のそれぞれに対して異なる値のラベルが割り当てられた状態となり、ラベルの値によって連結領域を識別可能になる。

【0069】

画素（ボクセル）の連結性は、例えば、６連結方式、１８連結方式、２６連結方式などを用いて判定される。６連結方式では、ボクセル値「１」の対象ボクセルに対して面を介して接する周囲の６ボクセルのそれぞれについて、ボクセル値が同じ「１」である場合に対象ボクセルと同一値のラベルが割り当てられ、これらが連結される。１８連結方式では、ボクセル値「１」の対象ボクセルに対して面および辺を介して接する周囲の１８ボクセルのそれぞれについて、ボクセル値が同じ「１」である場合に対象ボクセルと同一値のラベルが割り当てられ、これらが連結される。２６連結方式では、ボクセル値「１」の対象ボクセルに対して面、辺および頂点を介して接する周囲の２６ボクセルのそれぞれについて、ボクセル値が同じ「１」である場合に対象ボクセルと同一値のラベルが割り当てられ、これらが連結される。

【0070】

次に、組合せ判定部１２４は、２Ｄ結果画像セットを基に検出された連結領域と、３Ｄ結果画像セットを基に検出された連結領域とを比較する。組合せ判定部１２４は、前者の連結領域が、後者の連結領域の少なくとも一部と重複する場合に、前者の連結領域を正しく検出された領域と判定し、最終的な検出結果として採用する。

【0071】

図１０では、２Ｄ結果画像セットに基づく連結領域と３Ｄ結果画像セットに基づく連結領域との組合せパターンについて、複数の例を示している。なお、図１０にパターンごとに示す２Ｄ結果画像、３Ｄ結果画像および分類結果画像は、同一のスライス面に対応する画像を示している。また、分類結果画像は、最終的に病変領域として検出された画素を「１」とし、それ以外の画素を「０」とした画像である。

【0072】

パターン１では、２Ｄ結果画像セットから連結領域５１ａ，５１ｂが検出されており、これらが２Ｄ結果画像に写っている。また、３Ｄ結果画像セットから連結領域５１ｃが検出されており、これが同じスライス面の３Ｄ結果画像に写っている。連結領域５１ａは、連結領域５１ｃの一部と重複していることから、最終的な病変領域の検出結果として採用される。一方、連結領域５１ｂは、３Ｄ結果画像セットから検出された連結領域と重複していないので、病変領域の検出結果から棄却される。

【0073】

パターン２では、２Ｄ結果画像セットから連結領域５２ａ，５２ｂが検出されており、これらが２Ｄ結果画像に写っている。また、３Ｄ結果画像セットから連結領域５２ｃが検出されており、これが同じスライス面の３Ｄ結果画像に写っている。連結領域５２ａは、連結領域５２ｃの一部と重複していることから、最終的な病変領域の検出結果として採用される。一方、連結領域５２ｂは、３Ｄ結果画像セットから検出された連結領域と重複していないので、病変領域の検出結果から棄却される。

【0074】

パターン３では、２Ｄ結果画像セットから連結領域５３ａ，５３ｂが検出されており、これらが２Ｄ結果画像に写っている。また、３Ｄ結果画像セットから連結領域５３ｃが検出されており、これが同じスライス面の３Ｄ結果画像に写っている。連結領域５３ａは、３Ｄ結果画像セットから検出された連結領域と重複していないので、病変領域の検出結果から棄却される。一方、連結領域５３ｂは、連結領域５３ｃの一部と重複していることから、最終的な病変領域の検出結果として採用される。

【0075】

パターン４では、２Ｄ結果画像セットから連結領域５４ａが検出されており、これが２Ｄ結果画像に写っている。また、３Ｄ結果画像セットから連結領域５４ｂが検出されており、これが同じスライス面の３Ｄ結果画像に写っている。連結領域５４ａは、連結領域５４ｂの一部と重複していることから、最終的な病変領域の検出結果として採用される。

【0076】

以上の手順により、２Ｄ結果画像セットから検出された連結領域のうち、３Ｄ結果画像セットから検出された連結領域の少なくとも一部と重複している連結領域のみが、最終的な病変領域の検出結果として採用される。組合せ判定部１２４は、このような検出結果に基づいて、スライス面ごとの分類結果画像を作成する。

【0077】

このような組合せ判定処理により、２Ｄセグメンテーションによる過検知の発生を抑制でき、セグメンテーション精度を向上させることができる。すなわち、２Ｄセグメンテーションによって検出された連結領域の中には、誤って検出された領域が含まれ得る。一方、３Ｄセグメンテーションでは、病変領域の三次元形状をより正確に捉えた検出処理を期待できる。しかし、入力された断層画像セットのスライス数によっては、検出精度が低下する可能性がある。これに対して、２Ｄセグメンテーションによって検出された連結領域が、３Ｄセグメンテーションによって検出された連結領域の少なくとも一部と重複している場合には、前者の連結領域は信頼性が高いと推定される。したがって、このような処理によってセグメンテーション精度を向上させることができる。

【0078】

また、２Ｄセグメンテーションによる検出結果の中から最終的な検出結果が選択される。これにより、推論時に入力された断層画像セットのスライス数と、学習時に用いられたボリュームデータの作成元となった断層画像セットのスライス数との一致・不一致に関係なく、上記のセグメンテーション精度の向上効果を得ることが可能となる。

【0079】

図１１は、組合せ判定処理を示す第２の図である。組合せ判定部１２４は、図１０で説明した処理を実行した後、以下のような処理を追加的に実行する。
組合せ判定部１２４は、３Ｄ結果画像セットから検出された連結領域の中から、体積が最大の連結領域を選択する。組合せ判定部１２４は、選択された連結領域を含むスライス面を選択し、このスライス面に対応する分類結果画像に病変領域が存在するかを判定する。

【0080】

図１１に示す分類結果画像６１には、病変領域６１ａが存在している。この場合、組合せ判定部１２４は、病変領域６１ａに対して、その周囲を拡大する膨張処理を施す。図１１の例では、病変領域６１ａの外縁に接する１画素分の領域を病変領域６１ａに加える膨張処理を施すことで、膨張領域６１ｂが設定されている。

【0081】

組合せ判定部１２４は、膨張領域６１ｂと、同一スライス面の３Ｄ結果画像６２に含まれる病変領域６２ａとのＡＮＤ（論理積）演算を実行する。組合せ判定部１２４は、このＡＮＤ演算の結果、膨張領域６１ｂと病変領域６２ａとの間で重複すると判定された画素を、分類結果画像に対して病変領域として追加する。実際の処理としては、膨張領域６１ｂと病変領域６２ａとの間で重複すると判定された画素のうち、分類結果画像６１において画素値「０」の画素について、画素値が「１」に更新される。図１１では、このように画素値が更新された分類結果画像６３において、病変領域６１ａより拡大された病変領域６３ａが設定されている。

【0082】

この例では、分類結果画像６１に含まれる病変領域６１ａは、２Ｄ結果画像セットから検出された病変領域のうち、信頼性の高い病変領域を示している。このような信頼性の高い病変領域の周囲に位置する、３Ｄ結果画像セットから検出された病変領域も、検出結果としての信頼性が高いと推定される。そこで、後者の病変領域も最終結果に組み入れることで、より正確な病変検出が可能となる。

【0083】

なお、膨張処理における膨張数（病変領域の周囲に拡大する画素の数）は、任意に設定可能である。膨張数を高くするほど、再現率が上昇するが、適合率が低下する傾向がある。

【0084】

一方、図示しないが、組合せ判定部１２４は、最大体積の連結領域を含むスライス面に対応する分類結果画像に、病変領域が存在しない場合には、同一スライス面の３Ｄ結果画像に含まれる病変領域を正しい検出結果と判定し、この病変領域を分類結果画像に追加する。実際の処理としては、分類結果画像の画素のうち、３Ｄ結果画像に含まれる病変領域の画素について、画素値が「０」から「１」に更新される。

【0085】

３Ｄ結果画像セットから検出された連結領域のうち、体積が小さい連結領域は、誤って検出された可能性が高いが、体積が大きい連結領域は正確に検出された可能性が高い。上記処理によれば、後者の連結領域に含まれる分類結果画像の画素も病変領域として検出することで、２Ｄセグメンテーションによる病変領域の検出漏れの発生を抑制し、セグメンテーション精度を向上させることができる。

【0086】

図１２、図１３は、組合せ判定処理の手順を示すフローチャートの例である。
［ステップＳ２１］組合せ判定部１２４は、２Ｄセグメンテーションによって作成された２Ｄ結果画像セットに基づいて３Ｄラベリング処理を実行し、三次元空間における病変の連結領域を検出する。

【0087】

［ステップＳ２２］組合せ判定部１２４は、３Ｄセグメンテーションによって作成された３Ｄ結果画像セットに基づいて３Ｄラベリング処理を実行し、三次元空間における病変の連結領域を検出する。

【0088】

［ステップＳ２３］組合せ判定部１２４は、２Ｄ結果画像セットに基づく連結領域を１つ選択する。
［ステップＳ２４］組合せ判定部１２４は、選択された連結領域が、３Ｄ結果画像セットに基づいて検出された連結領域の少なくとも一部と重なっているかを判定する。前者の連結領域が後者の連結領域の少なくとも一部と重なっている場合、処理がステップＳ２５に進められ、前者の連結領域が後者のいずれの連結領域とも重なっていない場合、処理がステップＳ２６に進められる。

【0089】

［ステップＳ２５］組合せ判定部１２４は、ステップＳ２３で選択された連結領域を正しい病変領域と判定する。
［ステップＳ２６］組合せ判定部１２４は、２Ｄ結果画像セットに基づいて検出された連結領域のすべてを選択済みかを判定する。未選択の連結領域がある場合、処理がステップＳ２３に進められ、未選択の連結領域の中から１つが選択される。一方、すべての連結領域を選択済みの場合、処理がステップＳ２７に進められる。

【0090】

［ステップＳ２７］組合せ判定部１２４は、ステップＳ２５での判定結果に基づいて、各スライス面に対応する分類結果画像を作成する。分類結果画像は、該当するスライス面の断層画像において、ステップＳ２５で病変領域と判定された領域に含まれる画素を「１」とし、それ以外の画素を「０」とした画像である。

【0091】

［ステップＳ２８］組合せ判定部１２４は、３Ｄ結果画像セットに基づいて検出された連結領域の中から、最大体積の連結領域を選択する。
［ステップＳ２９］組合せ判定部１２４は、ステップＳ２８で選択された連結領域を含むスライス面を選択する。

【0092】

［ステップＳ３０］組合せ判定部１２４は、選択されたスライス面に対応する分類結果画像に病変領域が存在するかを判定する。病変領域が存在する場合、処理がステップＳ３１に進められ、病変領域が存在しない場合、処理がステップＳ３３に進められる。

【0093】

［ステップＳ３１］組合せ判定部１２４は、分類結果画像上の病変領域に膨張処理を施し、病変領域が拡大された膨張領域を設定する。
［ステップＳ３２］組合せ判定部１２４は、設定された膨張領域と、同じスライス面の３Ｄ結果画像に存在する病変領域とのＡＮＤ演算を実行する。組合せ判定部１２４は、ＡＮＤ演算の結果、前者の膨張領域と後者の病変領域との間で重複すると判定された画素を、正しい病変領域と追加的に判定する。組合せ判定部１２４は、分類結果画像上の画素値「０」の画素のうち、ＡＮＤ演算によって重複すると判定された画素の画素値を「１」に更新する。

【0094】

［ステップＳ３３］組合せ判定部１２４は、３Ｄ結果画像上に存在する病変領域（最大体積の連結領域に対応する領域）を、正しい病変領域と追加的に判定する。組合せ判定部１２４は、分類結果画像上の画素値「０」の画素のうち、３Ｄ結果画像から病変領域と判定された画素の画素値を「１」に更新する。

【0095】

［ステップＳ３４］組合せ判定部１２４は、ステップＳ２８で選択された連結領域を含むすべてのスライス面を選択済みかを判定する。未選択のスライス面がある場合、処理がステップＳ２９に進められ、未選択のスライス面の１つが選択される。一方、該当するすべてのスライス面を選択済みの場合、組合せ判定処理が終了し、この時点におけるスライス面ごとの分類結果画像が出力される。

【0096】

図１４は、病変領域の検出結果の画面表示例を示す図である。診断支援装置１００は、スライス面ごとに作成された分類結果画像を用いて、病変領域の検出結果を示す情報を出力することができる。例えば、診断支援装置１００は、図１４に示すような結果表示画面を表示装置に表示させることができる。結果表示画面７０は、スライス選択部７１、断層画像表示部７２および病変検出領域表示部７３を含む。

【0097】

スライス選択部７１では、スライダ上のハンドル７１ａを移動させることで、断層画像表示部７２に表示させる断層画像のスライス面を選択できるようになっている。断層画像表示部７２には、スライス選択部７１で選択されたスライス面に対応する断層画像が表示される。この断層画像には、同じスライス面に対応する分類結果画像に基づいて、病変領域７２ａが重畳表示される。すなわち、病変領域７２ａは、分類結果画像における画素値「１」の領域を示す。

【0098】

病変検出領域表示部７３は、スライス選択部７１におけるハンドル７１ａの可動領域のうち、病変領域が検出されているスライス面（画素値「１」の画素が存在する分類結果画像に対応するスライス面）の範囲を示す。この病変検出領域表示部７３の表示により、ユーザは、病変領域が検出されているスライス面を容易に認識し、それらのスライス面に対応する断層画像を迅速に表示させ、その断層画像上の病変領域を確認できるようになる。

【0099】

なお、診断支援装置１００の上記処理によれば、推論時に入力された断層画像セットのスライス数と、学習時に用いられたボリュームデータの作成元となった断層画像セットのスライス数との一致・不一致に関係なく、セグメンテーション精度を向上させることができる。このような観点に加えて、３Ｄモデル２０の学習時において、教師データとして用いられる各ボリュームデータは、必ずしも同一のスライス間隔の断層画像セットを基に作成されたものとは限らない。スライス間隔の異なる断層画像セットに基づくボリュームデータを用いて機械学習が行われることで、作成された３Ｄモデル２０のセグメンテーション精度が低下する可能性がある。上記の診断支援装置１００は、このような３Ｄモデル２０によるセグメンテーション結果を２Ｄモデル１０によるセグメンテーション結果と組み合わせて最終結果を出力することで、前者の結果だけを用いた場合よりセグメンテーション精度を改善することもできる。

【0100】

また、上記の第２の実施の形態では、臓器として肝臓を適用し、検出対象の病変として肝内胆管の拡張を適用した例について説明した。しかし、臓器や病変は上記の例に限定されるものではなく、他の臓器における他の病変の検出のために上記技術を適用することも可能である。

【0101】

＜第２の実施の形態の変形例＞
次に、第２の実施の形態における診断支援装置１００の処理の一部を変形した変形例について説明する。この変形例では、特定の病変として、球状の病変の領域、特に腫瘤の領域を検出する場合について示す。

【0102】

例えば、周辺の領域より暗い腫瘤の領域は、機械学習により作成された学習済みモデルを用いて検出可能であるが、正常な臓器領域（腫瘤が存在しない臓器領域）に対する過検出が発生する場合がある。過検出が多いと、読影は断層画像セットの中から余計な断層画像を確認する必要が生じ、確認に要する時間が長くなり、作業効率が低下する。一方、機械学習を用いた画像認識では、一般的に過検出と検出漏れとはトレードオフの関係にあり、検出漏れを増やさずに過検出の発生を抑制することは容易でない。

【0103】

そこで、２Ｄセグメンテーションの結果と３Ｄセグメンテーションの結果との組合せから病変領域を最終的に検出することで、過検出および検出漏れの発生を抑制し、病変領域の検出精度を向上させる。

【0104】

腫瘤領域の２Ｄセグメンテーションは、色に対する感度が強い。このため、周囲より暗い腫瘤領域の特徴を機械学習した場合、色への感度が強くなり、暗い円形の正常臓器領域を過検出しやすくなる。例えば、血管は２Ｄ画像上では円形で現れるので、腫瘤と誤って検出される場合がある。

【0105】

一方、３Ｄセグメンテーションは、三次元的な形状の特徴を機械学習するため、血管を過検出する可能性は低い。しかし、臓器の陰影の具合によっては、腫瘤と類似する形状の正常臓器領域を過検出する可能性がある。

【0106】

このように、球状の病変の検出では、２Ｄセグメンテーションと３Ｄセグメンテーションの両方で過検出が発生する可能性があるが、過検出の傾向は異なる。そこで、２Ｄセグメンテーションによって検出された病変領域と、３Ｄセグメンテーションによって検出された病変領域とが重複していない場合に過検出と判定することで、過検出の発生を抑制することが可能となる。

【0107】

この変形例において、診断支援装置１００は、検出対象の病変を腫瘤として図９と同様の２Ｄおよび３Ｄのセグメンテーション処理を実行する。その後、次の図１５に示す処理が実行される。

【0108】

図１５は、変形例における組合せ判定処理の手順を示すフローチャートの例である。図１５では、図１２と同じ処理が実行される処理ステップには同じ符号を付して示している。

【0109】

診断支援装置１００は、作成された２Ｄ結果画像セットおよび３Ｄ結果画像セットを用いてステップＳ２１，Ｓ２２の処理を実行する。その後、図１５に示すステップＳ４１～Ｓ４５の処理が実行される。

【0110】

［ステップＳ４１］組合せ判定部１２４は、３Ｄ結果画像セットに基づく連結領域を１つ選択する。
［ステップＳ４２］組合せ判定部１２４は、選択された連結領域が、２Ｄ結果画像セットに基づいて検出された連結領域の少なくとも一部と重なっているかを判定する。前者の連結領域が後者の連結領域の少なくとも一部と重なっている場合、処理がステップＳ４３に進められ、前者の連結領域が後者のいずれの連結領域とも重なっていない場合、処理がステップＳ４４に進められる。

【0111】

［ステップＳ４３］組合せ判定部１２４は、ステップＳ４１で選択された連結領域を正しい病変領域（腫瘤領域）と判定する。
［ステップＳ４４］組合せ判定部１２４は、３Ｄ結果画像セットに基づいて検出された連結領域のすべてを選択済みかを判定する。未選択の連結領域がある場合、処理がステップＳ４１に進められ、未選択の連結領域の中から１つが選択される。一方、すべての連結領域を選択済みの場合、処理がステップＳ４５に進められる。

【0112】

［ステップＳ４５］組合せ判定部１２４は、ステップＳ４３での判定結果に基づいて、各スライス面に対応する分類結果画像を作成する。分類結果画像は、該当するスライス面の断層画像において、ステップＳ４３で病変領域と判定された領域に含まれる画素を「１」とし、それ以外の画素を「０」とした画像である。

【0113】

上記処理では、２Ｄセグメンテーションと比較して３Ｄセグメンテーションの方が腫瘤領域の検出精度が高いと考えられることから、前者による連結領域が、後者による連結領域の少なくとも一部と重複する場合に、前者による連結領域が正しい病変領域と判定されている。これにより、過検出および検出漏れの発生を抑制し、病変領域の検出精度を向上させることができる。

【0114】

なお、上記の各実施の形態に示した装置（例えば、病変検出装置１、診断支援装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

【0115】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0116】

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

【符号の説明】

【0117】

１ 病変検出装置
２ 処理部
３ａ～３ｃ 断層画像
４，７ ボリュームデータ
５ａ，５ｂ 機械学習モデル
６ａ～６ｃ，８ａ～８ｃ 検出結果画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】