特開 2024-127821 セグメンテーションモデル学習方法、処理回路、プログラム及び医用情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127821

(43)【公開日】2024-09-20

(54)【発明の名称】セグメンテーションモデル学習方法、処理回路、プログラム及び医用情報処理装置

(51)【国際特許分類】

   A61B 5/00 20060101AFI20240912BHJP

   G06T 7/00 20170101ALI20240912BHJP

   G06T 7/11 20170101ALI20240912BHJP

   G06V 10/82 20220101ALI20240912BHJP

【ＦＩ】

A61B5/00 G

G06T7/00 350B

G06T7/11

G06V10/82

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024032203

(22)【出願日】2024-03-04

(31)【優先権主張番号】202310224271.4

(32)【優先日】2023-03-08

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】シュエ シャオ

(72)【発明者】

【氏名】リー ゴンワン

(72)【発明者】

【氏名】ハン ビン

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XD23

4C117XE05

4C117XK01

4C117XK04

5L096AA09

5L096BA06

5L096BA13

5L096DA02

5L096FA02

5L096FA72

5L096GA19

5L096GA30

5L096HA11

5L096JA11

5L096JA16

5L096JA22

5L096KA04

(57)【要約】

【課題】学習過程の効率及び精度を向上させること。
【解決手段】実施形態に係るセグメンテーションモデル学習方法は、損失関数値に基づいて、医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行う学習ステップを含み、学習ステップは、医用画像データにおいて、所定の構造物のボクセルについて、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報を用いて、セグメンテーションモデルに所定の構造物から複数のカテゴリをセグメンテーションさせるための直接教師あり学習を行わせ、塊状領域のボクセルについて、所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報を用いて、セグメンテーションモデルに塊状領域から複数のカテゴリをセグメンテーションさせるための間接教師あり学習を行わせて、セグメンテーションモデルのネットワークパラメータを最適化することを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得する取得ステップと、
損失関数値に基づいて、前記医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行う学習ステップと、
を含み、
前記学習ステップは、前記医用画像データにおいて、前記所定の構造物のボクセルについて前記第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける前記所定の構造物から前記複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、前記塊状領域のボクセルについて前記第２ラベリング情報を用いて、前記セグメンテーションモデルに前記セグメンテーション対象の医用画像データにおける前記塊状領域から前記複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせて、前記セグメンテーションモデルのネットワークパラメータを最適化することを含む、
弱教師あり学習に基づくセグメンテーションモデル学習方法。

【請求項2】

前記学習ステップは、前記間接教師あり学習において、前記塊状領域のボクセルについて、ボクセル毎に、当該ボクセルが所属するブロックに対応する複数のカテゴリの確率マップにおける各ボクセルの数値の最大値を取得し、前記数値の最大値について前記第２ラベリング情報を用いて教師あり学習を行う、
請求項１に記載のセグメンテーションモデル学習方法。

【請求項3】

前記間接教師あり学習において、前記数値の最大値が１であり、且つ、ボクセルが所属するブロックに対応する複数のカテゴリのうちの一のカテゴリの確率マップにおいて数値の最大値が１である場合に、該一のカテゴリ以外の他のカテゴリの確率マップにおいて数値が０となるように、教師あり学習を行う、
請求項２に記載のセグメンテーションモデル学習方法。

【請求項4】

前記学習ステップは、更に、近接するボクセルが同一のラベリングを有するように、当該近接するボクセルのラベリング一貫性を学習することを含む、
請求項１～３のいずれか１項に記載のセグメンテーションモデル学習方法。

【請求項5】

前記所定の構造物は管状領域である、
請求項１～３のいずれか１項に記載のセグメンテーションモデル学習方法。

【請求項6】

前記管状領域は血管または気管である、
請求項５に記載のセグメンテーションモデル学習方法。

【請求項7】

前記塊状領域は、肺、肺葉、肝、肝葉のうちのいずれかである、
請求項１～３のいずれか１項に記載のセグメンテーションモデル学習方法。

【請求項8】

医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得し、
損失関数値に基づいて、前記医用画像データにおける一部のボクセルについて前記第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける前記所定の構造物から前記複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、前記塊状領域のボクセルについて前記第２ラベリング情報を用いて、前記セグメンテーションモデルに前記セグメンテーション対象の医用画像データにおける前記塊状領域から前記複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせることにより、前記医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行い、前記セグメンテーションモデルのネットワークパラメータを最適化する、
処理回路。

【請求項9】

コンピュータに、
医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得させる処理と、
損失関数値に基づいて、前記医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行う処理と、
を実行させるためのプログラムであって、
前記教師あり学習を行う処理は、前記医用画像データにおいて、前記所定の構造物のボクセルについて前記第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける前記所定の構造物から前記複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、前記塊状領域のボクセルについて前記第２ラベリング情報を用いて、前記セグメンテーションモデルに前記セグメンテーション対象の医用画像データにおける前記塊状領域から前記複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせて、前記セグメンテーションモデルのネットワークパラメータを最適化する処理を含む、プログラム。

【請求項10】

検査対象から収集されたセグメンテーション対象の医用画像データ及び学習済みセグメンテーションモデルを取得する取得部と、
前記学習済みセグメンテーションモデルを用いて前記セグメンテーション対象の医用画像データをセグメンテーションして、所定の構造物と前記所定の構造物を被覆する塊状領域とが何れも複数のカテゴリにセグメンテーションされたセグメンテーション結果を得る処理部と、
前記セグメンテーション結果を出力する出力部と、
を備え、
前記学習済みセグメンテーションモデルは、請求項１～３のいずれか１項に記載のセグメンテーションモデル学習方法を用いて学習したものである、
医用情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、セグメンテーションモデル学習方法、処理回路、プログラム及び医用情報処理装置に関する。

【背景技術】

【0002】

疾患の診断における病巣の位置決めは、治療計画を立てる肝心なステップであることが知られている。肺部を例として挙げて説明すると、肺部における肺葉と肺区域（Ｐulmonary segment）のセグメンテーションは病巣位置を位置決めする第一歩である。

【0003】

これに対して、従来技術では、まず血管又は気管等の肺区域ラベリング付きの特徴領域を生成し、さらにボクセルから血管又は気管等の特徴領域までの距離に基づいて他の領域に対して肺区域ラベリングを行い、それにより完全な肺区域ラベリングを生成するという方法が提案されている。しかし、この方法で生成されたセグメンテーション結果には、一般的に鋸歯状の境界が含まれており、表示結果が医師の観察に不利である。

【0004】

また、従来技術では、完全な肺区域ラベリングを用意し、完全な教師あり学習の方式を用いてニューラルネットワーク等のモデルの訓練（学習）を行って肺区域をセグメンテーションする方法がさらに提案されているが、肺部の構造が複雑であり、また肺葉の肺区域への区分（セグメンテーション）が明確な物理的境界がないため、一般的に、ラベリングが困難で時間がかかり、また、異なる医師によってラベリングされた境界が大きく異なり、学習結果に影響を与える場合がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０２２－５３８８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、学習過程の効率及び精度を向上させることである。

【課題を解決するための手段】

【0007】

実施形態に係る弱教師あり学習に基づくセグメンテーションモデル学習方法は、医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得する取得ステップと、損失関数値に基づいて、医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行う学習ステップと、を含み、学習ステップは、医用画像データにおいて、所定の構造物のボクセルについて第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける所定の構造物から複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、塊状領域のボクセルについて第２ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける塊状領域から複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせて、セグメンテーションモデルのネットワークパラメータを最適化することを含む。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係るセグメンテーションモデル学習方法の学習時のフローチャート及び学習済みのセグメンテーションモデルを用いてセグメンテーションを行う運用時の使用フローチャートである。

【図2】図２は、実施形態に係る第１ラベリング情報及び第２ラベリング情報の一例を示す図である。

【図3】図３は、実施形態に係るセグメンテーションモデル学習方法の詳細フローチャートである。

【図4】図４は、ステップ１００で生成した確率マップとステップ２０１で直接教師あり学習が行われた確率マップとの関係の一例を示す模式図である。

【図5】図５は、ステップ１００で生成された確率マップとステップ２０２で間接教師あり学習が行われた確率マップとの関係を示す模式図である。

【図6】図６は、ステップ２０２において、右上肺葉に対応する複数のカテゴリの確率マップについて最大値を取った右上肺葉の確率マップを示す図である。

【図7】図７は、ラベリング一貫性を学習する前の確率マップと、ラベリング一貫性を学習した後の確率マップとを示す図である。

【図8】図８は、学習済みのセグメンテーションモデルを用いてセグメンテーションしたセグメンテーション結果を示す図である。

【図9】図９は、実施形態に係る医用情報処理装置の一例を示す図である。

【発明を実施するための形態】

【0009】

以下で説明する実施形態は、以下の技術案一～八を含む。

【0010】

技術案一に係る弱教師あり学習に基づくセグメンテーションモデル学習方法は、医用画像データと、所定の構造物をマルチセグメント（複数のカテゴリ）に区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得する取得ステップと、損失関数値に基づいて、前記医用画像データにおけるボクセルを所属領域に応じて教師あり学習を行い、一部のボクセルについて第１ラベリング情報を用いて直接教師あり学習を行い、他部のボクセルについて第２ラベリング情報を用いて間接教師あり学習を行って、セグメンテーションモデルのネットワークパラメータを最適化する学習ステップと、を備える。

【0011】

技術案二に係る処理回路は、医用画像データと、所定の構造物をマルチセグメントに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得し、損失関数値に基づいて、前記医用画像データにおけるボクセルを所属領域に応じて教師あり学習を行い、一部のボクセルについて第１ラベリング情報を用いて直接教師あり学習を行い、他部のボクセルについて第２ラベリング情報を用いて間接教師あり学習を行って、セグメンテーションモデルのネットワークパラメータを最適化する。

【0012】

技術案三に係るコンピュータで読み取り可能な記憶媒体はプログラムを記憶する。前記プログラムは以下の処理を行う。医用画像データと、所定の構造物をマルチセグメントに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得し、損失関数値に基づいて、前記医用画像データにおけるボクセルについて所属領域別に教師あり学習を行い、一部のボクセルについて第１ラベリング情報を用いて直接教師あり学習を行い、他部のボクセルについて第２ラベリング情報を用いて間接教師あり学習を行って、セグメンテーションモデルのネットワークパラメータを最適化する。

【0013】

技術案四に係る医用情報処理装置は、検査対象から収集されたセグメンテーション対象の医用画像データ及び学習済みのセグメンテーションモデルを取得する取得部と、前記学習済みセグメンテーションモデルを用いて前記セグメンテーション対象の医用画像データをセグメンテーションして、所定の構造物と前記所定の構造物を被覆する塊状領域とが何れもマルチセグメントにセグメンテーションされたセグメンテーション結果を得る処理部と、前記セグメンテーション結果を出力する出力部と、を備え、前記学習済みセグメンテーションモデルは、技術案一に記載のセグメンテーションモデル学習方法を用いて学習したものである。

【0014】

技術案五に係る弱教師あり学習に基づくセグメンテーションモデル学習方法は、医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得する取得ステップと、損失関数値に基づいて、前記医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行う学習ステップと、を含み、前記学習ステップは、前記医用画像データにおいて、前記所定の構造物のボクセルについて前記第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける前記所定の構造物から前記複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、前記塊状領域のボクセルについて前記第２ラベリング情報を用いて、前記セグメンテーションモデルに前記セグメンテーション対象の医用画像データにおける前記塊状領域から前記複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせて、前記セグメンテーションモデルのネットワークパラメータを最適化することを含む。

【0015】

技術案六に係る処理回路は、医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得し、損失関数値に基づいて、前記医用画像データにおける一部のボクセルについて前記第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける前記所定の構造物から前記複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、前記塊状領域のボクセルについて前記第２ラベリング情報を用いて、前記セグメンテーションモデルに前記セグメンテーション対象の医用画像データにおける前記塊状領域から前記複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせることにより、前記医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行い、前記セグメンテーションモデルのネットワークパラメータを最適化する。

【0016】

技術案七に係るプログラムは、コンピュータに、医用画像データと、所定の構造物を複数のカテゴリに区分するための第１ラベリング情報と、前記所定の構造物を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを学習データとして取得させる処理と、損失関数値に基づいて、前記医用画像データにおけるボクセルに対して所属領域に応じた教師あり学習を行う処理と、を実行させるためのプログラムであって前記教師あり学習を行う処理は、前記医用画像データにおいて、前記所定の構造物のボクセルについて前記第１ラベリング情報を用いて、セグメンテーションモデルにセグメンテーション対象の医用画像データにおける前記所定の構造物から前記複数のカテゴリをセグメンテーションさせるための学習である直接教師あり学習を行わせ、前記塊状領域のボクセルについて前記第２ラベリング情報を用いて、前記セグメンテーションモデルに前記セグメンテーション対象の医用画像データにおける前記塊状領域から前記複数のカテゴリをセグメンテーションさせるための学習である間接教師あり学習を行わせて、前記セグメンテーションモデルのネットワークパラメータを最適化する処理を含む。

【0017】

技術案八に係る医用情報処理装置は、検査対象から収集されたセグメンテーション対象の医用画像データ及び学習済みのセグメンテーションモデルを取得する取得部と、前記学習済みセグメンテーションモデルを用いて前記セグメンテーション対象の医用画像データをセグメンテーションして、所定の構造物と前記所定の構造物を被覆する塊状領域とが何れもマルチセグメントにセグメンテーションされたセグメンテーション結果を得る処理部と、前記セグメンテーション結果を出力する出力部と、を備え、前記学習済みセグメンテーションモデルは、技術案五に記載のセグメンテーションモデル学習方法を用いて学習したものである。

【0018】

実施形態に係るセグメンテーションモデル学習方法を利用することにより、気管又は血管のボクセルについて、肺区域ラベリング情報を用いて教師あり学習を行い、肺葉のボクセルについて、所属する肺葉に対応する複数のカテゴリの確率マップにおける数値の最大値を取得し、肺葉ラベリング情報を用いて前記数値の最大値について教師あり学習を行い、学習過程において完全な肺区域ラベリングを用いる必要がなく、それによって、学習効率を向上させると共に、完全なラベリングの難しさや差異による精度低下を回避することができる。また学習済みのセグメンテーションモデルを用いて実際セグメンテーションを行う時には、肺区域ラベリングを生成することなくセグメンテーションすることができ、比較的滑らかなセグメンテーション境界を得ることができる。

【0019】

以下、図面を参照しながら実施形態について説明する。後述する実施形態は、本発明を限定するものではない。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一の図面符号を付し、必要な場合にのみ重複説明を行う。また、各図面において、同一の部材であっても、異なる割合で表示される場合がある。

【0020】

人体内の一部の構造（例えば肺部、肝部）は、血管等の供給情報（位置情報）に基づいて、さらにマルチセグメント（複数のセグメント（領域、部分））のサブ構造にセグメンテーションされ得ることが知られている。肺部を例として挙げて説明すると、一般的に肺部は左肺と右肺とを含み、左肺及び右肺は、明らかな物理的境界を有する葉間の裂によって５つの肺葉に分かれ、左肺は２つの肺葉を有し、右肺は３つの肺葉を有する。また、５つの肺葉は、気管、血管の供給関係（位置関係）に応じて、さらに１８つの肺区域に区分（セグメンテーション）され得る。

【0021】

肺と肺葉及び気管と血管は、明らかな物理的境界を有するため、セグメンテーションの難易度が大きくなく、医師が手動でラベリングすることができる。また、深層学習に基づく従来アルゴリズムを用いてラベリングする場合、コストが低くてラベリング精度が高いため、深層学習を用いてラベリングを行ってもよい。しかし、気管や血管を内包する外層構造としての肺葉は、内部に明確な物理的境界を持たないため、５つの肺葉を１８つの肺区域となるようにラベリングすることは困難である。前述したように、肺葉から肺区域への手動ラベリング（完全なラベリング）を行うと、困難であるだけでなく時間もかかり、また、異なる医師によってラベリングされた境界に大きな違いがあり、学習結果に影響を与える場合がある。

【0022】

本実施形態で提案されている弱教師あり学習に基づくセグメンテーションモデル学習方法は、肺区域ラベリングがある気管や血管のボクセルに対して第１ラベリング情報を用いて直接教師あり学習を行い、肺区域ラベリングがないが肺葉ラベリングがある他のボクセルに対して間接教師あり学習を用い、前記間接教師あり学習において、前記他のボクセルについてボクセル毎に、所属する肺葉に対応する複数のカテゴリの確率マップにおける各ボクセルの数値の最大値を取得し、第２ラベリング情報を用いて前記数値の最大値に対して教師あり学習を行う。

【0023】

前記直接教師あり学習とは、対象目標領域のボクセルに対して対象目標領域のラベリング情報で教師あり学習を行うことであり、前記間接教師あり学習とは、対象目標領域のボクセルに対して対象目標領域の上層構造ラベリング情報で教師あり学習を行うことであり、前記弱教師あり学習とは、一の画像の各ボクセルのうちの一部がラベリング情報を有し、他部がラベリング情報を有しない場合における学習である。

【0024】

以下では、肺を例に挙げて実施形態を説明するが、説明の便宜上、特許請求の範囲における「管状領域」、「塊状領域」、「複数のブロック」、「所属するブロックに対応する複数のカテゴリ」を、それぞれ、「気管、血管」、「肺領域」、「複数の肺葉」（即ち、肺領域に対応する複数のカテゴリの肺葉）、「該肺葉に対応する複数の肺区域」で示す場合がある。また、本実施形態では直接ラベル付け可能な構造物として管状特徴を有する気管、血管を用いているが、これに限定されるものではなく、他の構造物であってもよく、例えば、直接ラベル付け可能な領域を「所定の構造物」で示すことができる。

【0025】

図１は、実施形態に係るセグメンテーションモデル学習方法の学習時のフローチャート及び学習済みのセグメンテーションモデルを用いてセグメンテーションを行う運用時の使用フローチャートである。

【0026】

図１に示すように、学習段階では、まず、ステップ１００において、３次元医用画像データと、管状領域をマルチセグメント（例えば、複数のカテゴリ）に区分（セグメンテーション）するための第１ラベリング情報と、前記管状領域を被覆する塊状領域を複数のブロックに区分するための第２ラベリング情報とを、学習データとして取得する。前記学習データは、セグメンテーションモデルを経た後、セグメンテーションモデルは、セグメンテーションカテゴリの数と同数の確率マップを出力する。本実施形態では、セグメンテーションモデルは、学習データが入力されると、１８の肺区域に対応する１８のカテゴリ（チャネル）の確率マップ及び背景に対応する一のカテゴリ（チャネル）の確率マップを含む１９のカテゴリ（換言すれば、１９のチャンネル）の確率マップを出力する。各カテゴリの確率マップのボクセル値は、該ボクセルが対応するカテゴリに属する確率を表し、値の範囲は［０，１］である。ステップ１００で生成される確率マップは、気管や血管等の管状領域、肺領域及び背景領域を含む全てのボクセルの確率マップである。

【0027】

図２は、実施形態に係る第１ラベリング情報及び第２ラベリング情報の一例を示す図である。その中、第１ラベリング情報は気管又は血管等の管状領域をマルチセグメントに区分するためのものであり、図示のように、管状領域は１８の肺区域に区分されている。例えば、第１ラベリング情報は、気管又は血管等の管状領域を構成する複数のボクセルのそれぞれに対して、１８の肺区域のうちのいずれの肺区域に属するかを示すラベルが付与された情報である。第２ラベリング情報は、肺領域を複数の肺葉に区分するためのものであり、図示のように、肺領域は５つの肺葉に区分されている。例えば、第２ラベリング情報は、肺領域を構成する複数のボクセルのそれぞれに対して、５つの肺葉のうちのいずれの肺葉に属するかを示すラベルが付与された情報である。

【0028】

学習用のデータとして、画像断層スキャンによって得られた肺領域を有する３次元医用画像データを、第１ラベリング情報及び第２ラベリング情報と共にセグメンテーションモデルに入力して学習する。

【0029】

次に、ステップ２００において、ボクセルが所属する領域に応じて、異なる教師あり学習方式を選択して教師あり学習を行う。深層学習に基づく従来アルゴリズムによって、ボクセルの所属する領域が背景領域であるか、気管や血管等の管状領域であるか、それとも肺領域であるかを確認（判定）することができ、その後、所属する領域ごとに、領域に対応する教師あり学習方式を選択する。すなわち、深層学習に基づく従来アルゴリズムによって、３次元医用画像データから背景領域、管状領域及び肺領域がセグメンテーションされ、各領域に対応する学習方式が選択される。ステップ２００については、後で詳細に説明する。

【0030】

次に、ステップ３００において、ステップ２００で得られた損失関数値（損失又は損失値とも称される）に基づいて、損失関数値ができるだけ小さくなるように、セグメンテーションモデルに適用される各種ネットワークパラメータを最適化する。

【0031】

損失関数値に基づいてセグメンテーションモデルのネットワークパラメータを調整するプロセスでは、数多くのサンプルデータによってステップ１００～ステップ３００のプロセスを繰り返す必要がある。回帰精度が満たされた後、セグメンテーションモデルは、医用画像データ（入力された医用画像データ）に基づいて肺部セグメンテーション、肺葉セグメンテーション及び肺区域セグメンテーションを直接出力する能力を備えるようになる。このとき、このセグメンテーションモデルを学習済みと認定して学習済みセグメンテーションモデルを出力する（ステップ４００）。例えば、学習済みセグメンテーションモデルは、入力された医用画像データから２つの肺部（２つの肺部の領域）及び管状領域（気管や血管等の領域）を深層学習に基づく従来アルゴリズムによりセグメンテーションする。そして、学習済みセグメンテーションモデルは、２つの肺部から５つの肺葉（５つの肺葉の領域）をセグメンテーションし、５つの肺葉から１８の肺区域（１８の肺区域の領域）をセグメンテーションする。また、学習済みセグメンテーションモデルは、管状領域から１８の肺区域をセグメンテーションする。そして、学習済みセグメンテーションモデルは、セグメンテーション結果を出力する。ここまで、学習段階のフローが終了する。

【0032】

また、図１には、学習済みセグメンテーションモデルを用いて実際にセグメンテーションを行うフローチャートも示されている。

【0033】

まず、ステップ５００においてセグメンテーション対象の３次元医用画像データを取得し、次にステップ６００において学習済みのセグメンテーションモデルを用いて、セグメンテーション対象の医用画像データをセグメンテーションし、セグメンテーション結果を得る。本実施形態の学習済みセグメンテーションモデルによれば、実際の使用過程において、気管、血管等の肺区域ラベリングを取得することを必要とせずに、正確なセグメンテーションを完了することができ、従来技術に比べて利便性が向上する。

【0034】

次に、図３～図６を参照して本実施形態のステップ２００の教師あり学習プロセスを説明する。図３におけるステップ１００、３００、４００に係る記載は、図１と同一であるので、重複説明を省略し、ステップ２００のみを説明する。

【0035】

ステップ２００は、さらに、ステップ２０１、ステップ２０２、ステップ２０３に分けることができる。

【0036】

ステップ２０１では、気管や血管等の管状領域には参照としての第１ラベリング情報があるため、各確率マップにおける気管や血管等の管状領域に属するボクセルについて直接教師あり学習を行う。ここでの教師あり学習の目標は以下の通りである。ボクセルは、所属する肺区域カテゴリの確率マップにおいて数値が１であり、他のカテゴリの確率マップにおいて数値が０である。右１セグメントの肺区域におけるあるボクセルを例とすれば、右１セグメントを表す確率マップにおいてその数値が１であり、且つ、右２セグメント、右３セグメント、右４セグメント、右５セグメント、右６セグメント、右７セグメント、右８セグメント、右９セグメント、右１０セグメント、左１セグメント、左２セグメント、左３セグメント、左４セグメント、左５セグメント、左６セグメント、左７セグメント、左８セグメント及び背景のそれぞれを表す各確率マップにおいて、その数値が０であることが望ましい。右２セグメントにおけるあるボクセルを例とすれば、右２セグメントを表す確率マップにおいてそのボクセル値が１であり、且つ、右１セグメント、右３セグメント、右４セグメント、右５セグメント、右６セグメント、右７セグメント、右８セグメント、右９セグメント、右１０セグメント、左１セグメント、左２セグメント、左３セグメント、左４セグメント、左５セグメント、左６セグメント、左７セグメント、左８セグメント及び背景のそれぞれを表す各確率マップにおいてそのボクセル値が０であることが望ましい。

【0037】

また、背景に属するボクセルについても直接教師あり学習の方式を用い、教師あり学習の目標は以下の通りである。ボクセルは、背景を表す確率マップにおいて数値が１であり、その他の１８の確率マップにおいて数値が０である。

【0038】

図４に示すように、ステップ１００では１８の肺区域の確率マップと１つの背景の確率マップが生成されたが、１８の肺区域の確率マップについて、各肺区域の確率マップには、該肺区域に属する気管や血管のボクセルも該肺区域に属する肺葉のボクセルも含まれている。ただし、ステップ２０１では、１つの背景の確率マップと１８の肺区域の確率マップのうち、気管や血管に関するボクセルのみを用いて直接教師あり学習を行う。

【0039】

前記直接教師あり学習では、Dice+CEを利用して損失関数値を算出し、損失関数値に基づいてネットワークパラメータを調整する。ここで、Dice+CEを利用することは一例であり、Dice、交差エントロピ（Cross Entropy）、Recallのうちの１つ又は複数の組み合わせであってもよく、損失関数は特に限定されない。

【0040】

ステップ２０２において、肺領域としての塊状領域のボクセルに対して間接教師あり学習を行う。ここでの教師あり学習の目標は以下の通りである。ボクセルは、所属するブロックに対応する複数のカテゴリ（所属する肺葉の複数の肺区域）の確率マップにおいての数値の最大値が１であり、且つ、所属するブロックに対応する複数のカテゴリのうちの一のカテゴリ（所属する肺葉の一の肺区域）の確率マップにおいて１という数値の最大値を有する場合に、該一のカテゴリ以外の他のカテゴリ（該一の肺区域以外の他の肺区域）の確率マップにおいて、そのボクセルの数値が０である。右上肺葉におけるあるボクセルを例にとると、深層学習に基づく従来アルゴリズムによってそれが右上肺葉に属することを特定（判定）できるが、右上肺葉における右１セグメントに属するか、右２セグメントに属するか、それとも右３セグメントに属するかは、特定することができない。この場合、右１セグメントの確率マップ、右２セグメントの確率マップおよび右３セグメントの確率マップのそれぞれから、該ボクセルに対応するボクセルを抽出し、抽出された３つのボクセルのうちの最大値を新たな確率マップにおけるボクセルとすることによって、右１セグメントの確率マップ、右２セグメントの確率マップおよび右３セグメントの確率マップに基づいて、右上肺葉の確率マップを合成することができる。

【0041】

図５に示すように、ステップ１００では１８の肺区域の確率マップと１つの背景の確率マップが生成されており、１８の肺区域の確率マップについて、各肺区域の確率マップには、該肺区域に属する気管や血管のボクセルも該肺区域に属する肺葉のボクセルも含まれている。ステップ２０２では、肺葉ごとに第２ラベリング情報を用いて肺葉に関するボクセルに対して教師あり学習を行い、上述した目標を実現するためには、肺葉毎に、それ（肺葉）に対応する複数の肺区域の確率マップにおける各ボクセルについて最大値をとって、それにより、確率マップを１８の肺区域カテゴリ（チャンネル）から５つの肺葉カテゴリ（チャンネル）に絞り込む必要がある。

【0042】

図６では、一例として、右上肺葉に対応する３つのカテゴリの確率マップについて最大値をとって得られた右上肺葉の確率マップが示されている。図中左側にはステップ１００で出力された３つのカテゴリ（チャンネル）の確率マップが示されており、それぞれが右１セグメントの確率マップ、右２セグメントの確率マップ及び右３セグメントの確率マップであり、右１セグメント、右２セグメント、右３セグメントは右上肺葉に属する３つの肺区域カテゴリである。

【0043】

間接教師あり学習では、ボクセルが所属するブロックに対応する複数のカテゴリの確率マップに対して、同時に教師あり学習を行う。換言すれば、間接教師あり学習では、第２ラベリング情報を用いて複数のカテゴリの確率マップにおける最大値に対して教師あり学習を行う。つまり、医用画像データにおける右１セグメントに図示されたボクセルＰ１に対応するボクセルに対し、それが右１セグメント、右２セグメント及び右３セグメントの確率マップにおいて得られる数値はそれぞれ（１，０，０）であり、医用画像データにおける右２セグメントに図示されたボクセルＰ２に対応するボクセルに対し、それが右１セグメント、右２セグメント及び右３セグメントの確率マップにおいて得られる数値はそれぞれ（０，１，０）であり、医用画像データにおける右３セグメントに図示されたボクセルＰ３に対応するボクセルに対し、それが右１セグメント、右２セグメント及び右３セグメントの確率マップにおいて得られる数値は、それぞれ（０，０，１）である。これにより、ボクセルＰ１に対し、最大値を有する右１セグメントにおけるボクセルを新たな右上肺葉確率マップ中のボクセルとし、ボクセルＰ２に対し、最大値を有する右２セグメントにおけるボクセルを新たな右上肺葉確率マップ中のボクセルとし、ボクセルＰ３に対し、最大値を有する右３セグメントにおけるボクセルを新たな右上肺葉確率マップ中のボクセルとする。また、上述した最大値は１であることが望ましいが、実際の学習では１に達しない可能性があり、選別に際しては複数のカテゴリの確率マップ中の最大のものを選別すればよい。他のボクセルについても同様に、３つの確率マップのうちの最大値をとり、右上肺葉に対応する確率マップを生成する。生成された右上肺葉の確率マップ及び第２ラベリング情報に基づいて、Dice+CEを利用して損失関数値を算出し、損失関数値に基づいてネットワークパラメータを調整する。ここで、Dice+CEを利用することは一例であり、Dice、交差エントロピ（Cross Entropy）、Recallのうちの１つ又は複数の組み合わせであってもよく、損失関数は特に限定されない。

【0044】

また、ステップ２０１、ステップ２０２の実行中に、さらにステップ２０３を実行する。ステップ２０３では近接（隣接を含む）するボクセルのラベリング一貫性について教師あり学習を行い、ここでは近接するボクセル同士が同一のラベリングを持つことが望ましい。近接するボクセルのラベリングを可能な限り同一であるようにすることで、セグメントとセグメントの境界における鋸歯現象を抑制し、滑らかな境界を得ることができる。ラベリング一貫性を実現する手段として、ステップ２０３で用いられる目的関数は特に限定されず、確率マップの損失関数L1、Laplacianなどであり得る。

【0045】

【数1】

【0046】

図７は、ラベリング一貫性を学習する前の確率マップと、ラベリング一貫性を学習した後の確率マップとを示す図である。図７から分かるように、ラベリング一貫性の教師あり学習を行うことにより、境界が滑らかなセグメンテーション結果を得ることができる。

【0047】

ステップ１００～４００の学習を経た後、学習済みのセグメンテーションモデルが得られる。学習済みのセグメンテーションモデルに対してセグメンテーション対象の３次元医用画像データを入力すると、図８に示すような異なる表示形態による良好なセグメンテーション結果を得ることができる。例えば、図８の左側の図に示すように、５つの肺葉から１８の肺区域がセグメンテーションされたセグメンテーション結果を得ることができる。また、例えば、図８の右側の図に示すように、管状領域から１８の肺区域がセグメンテーションされたセグメンテーション結果を得ることができる。

【0048】

（その他の実施形態）
以上、ステップ２０２において、対応する複数のカテゴリの確率マップにおける数値の最大値を異なる肺葉ごとに取得する例を説明した。しかし、特殊な場合には、肺葉間の裂をはっきりと見分けることができず、肺葉を区分することができない場合がある。この場合では、左肺、右肺に基づいてラベリングして、肺領域を２つのブロックに区分するための第２ラベリング情報を取得し、左肺、右肺に従って対応する複数のカテゴリの確率マップにおける数値の最大値を取得し、第２ラベリング情報で数値の最大値に対して教師あり学習を行ってネットワークパラメータを最適化してもよい。

【0049】

また、塊状領域は、肺葉であってもよい。

【0050】

また、肝臓領域セグメンテーションにおける肝葉と肝についても本実施形態における間接教師あり学習を適用してもよい。この場合、塊状領域は、肝葉又は肝となる。

【0051】

上述した実施形態において、セグメンテーションモデル学習方法について説明したが、セグメンテーションモデル学習方法における各機能を実現することができればよく、前記機能は、ハードウェアによって実現されてもよいし、ハードウェアとソフトウェアとの混合によって実現されてもよいと理解される。

【0052】

例えば、セグメンテーションモデル学習方法を処理回路であるプロセッサで実現する場合、プロセッサが有する各処理機能は、コンピュータで実行可能なプログラムの形態で記憶回路に記憶される。プロセッサは、記憶回路から各プログラムを読み出して実行することにより、各プログラムに対応する機能を実現する。また、記憶回路にプログラムを格納する代わりに、プロセッサの回路内に直接プログラムを組み込むように構成してもよい。このような場合に、プロセッサは、回路内に組み込まれたプログラムを読み出して実行することにより機能を実現する。また、上述した実施形態に係るプロセッサは、単一の回路として構成されるものに限定されず、複数の独立した回路を組み合わせて１つのプロセッサとして構成され、その機能を実現するようにしてもよい。

【0053】

上述したプロセッサは、例えば、サーバ等の医用情報処理装置に備えられてもよい。例えば、図９に示すように、サーバ等の医用情報処理装置７００が、上述したプロセッサ７０１を備えてもよい。

【0054】

上述した説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマグル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。

【0055】

プロセッサによって実行されるプログラムは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や記憶回路等に予め組み込まれて提供されることが可能である。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、ＣＤ－Ｒ（Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。

【0056】

また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に保存され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。

【0057】

また、セグメンテーションモデル学習方法の代わりに、学習済みのセグメンテーションモデルをサーバ又はインターネット等のネットワークに接続されたコンピュータ上に保存し、他の医用情報処理装置によりネットワーク経由でダウンロードして使用するようにしてもよい。他の医用情報処理装置は、この学習済みのセグメンテーションモデルを呼び出すことでセグメンテーション効果を実現することができる。例えば、他の医用情報処理装置は、検査対象から収集されたセグメンテーション対象の医用画像データ及び学習済みのセグメンテーションモデルを取得する入力部（取得部）と、前記学習済みセグメンテーションモデルを用いて前記セグメンテーション対象の医用画像データをセグメンテーションし、管状領域と前記管状領域を被覆する塊状領域とが何れもマルチセグメント（例えば、１８の肺区域）にセグメンテーションされたセグメンテーション結果を得る処理部と、前記セグメンテーション結果を出力する出力部と、を備える。ここで、出力部は、例えば、セグメンテーション結果を表示するディスプレイである。

【0058】

以上説明した少なくとも１つの実施形態によれば、完全な肺区域ラベリングを用いることなく、学習効率を向上させると共に、完全なラベリングの難しさや差異による精度低下を回避し、また学習済みのセグメンテーションモデルを用いて実際セグメンテーションを行う時には、肺区域ラベリングを生成することなくセグメンテーションすることができ、比較的滑らかなセグメンテーション境界を得ることができる。

【0059】

以上説明した少なくとも一つの実施形態によれば、学習過程の効率及び精度を向上させることができる。

【0060】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0061】

７００ 医用情報処理装置
７０１ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】