特開 2023-88848 医用画像処理装置、方法及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023088848

(43)【公開日】2023-06-27

(54)【発明の名称】医用画像処理装置、方法及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230620BHJP

   G06T 7/11 20170101ALI20230620BHJP

   A61B 6/03 20060101ALI20230620BHJP

   A61B 5/055 20060101ALI20230620BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 350C

G06T7/11

A61B6/03 360D

A61B6/03 360J

A61B5/055 380

A61B6/03 360T

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022175338

(22)【出願日】2022-11-01

(31)【優先権主張番号】202111534705.8

(32)【優先日】2021-12-15

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】ワン フーユェ

(72)【発明者】

【氏名】ワン ヤンホア

(72)【発明者】

【氏名】シャオ チリン

【テーマコード（参考）】

4C093

4C096

5L096

【Ｆターム（参考）】

4C093AA22

4C093CA35

4C093DA02

4C093DA03

4C093FA44

4C093FF15

4C093FF28

4C093FF33

4C093FF50

4C093FG01

4C096AB44

4C096AC04

4C096AD14

4C096AD15

4C096AD24

4C096DC18

4C096DC28

4C096DC33

4C096DC35

4C096DD07

5L096BA06

5L096BA13

5L096FA02

5L096HA11

(57)【要約】

【課題】対象領域のセグメンテーション及び分類をより精度良く行うこと。
【解決手段】実施形態に係る医用画像処理装置は、入力部と、画像ペア生成部と、セグメンテーション分類部とを備える。入力部は、対象領域の医用画像を入力する。画像ペア生成部は、入力された医用画像に基づいて、対象領域のローカル特徴を含むローカル画像と対象領域のグローバル特徴を含むグローバル画像とで構成された画像ペアを生成する。セグメンテーション分類部は、ニューラルネットワークにより、画像ペアに対して対象領域のセグメンテーションと分類とを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象領域の医用画像を入力する入力部と、
入力された前記医用画像に基づいて、前記対象領域のローカル特徴を含むローカル画像と前記対象領域のグローバル特徴を含むグローバル画像とで構成された画像ペアを生成する画像ペア生成部と、
ニューラルネットワークにより、前記画像ペアに対して前記対象領域のセグメンテーションと分類とを実行するセグメンテーション分類部と、
を備える、医用画像処理装置。

【請求項2】

前記セグメンテーション分類部は、前記ローカル特徴と前記グローバル特徴とをそれぞれ反映した、セグメンテーション結果及び分類結果を用いて前記対象領域の分類画像を生成する、請求項１に記載の医用画像処理装置。

【請求項3】

前記セグメンテーション分類部は、深層学習ネットワークにより前記ローカル画像に対して前記対象領域のセグメンテーションを実行してローカルマスク画像を取得し、深層学習ネットワークにより前記グローバル画像に対して前記対象領域の分類を実行してグローバル分類画像を取得し、前記ローカルマスク画像と前記グローバル分類画像とに基づいて、前記対象領域の前記分類画像を生成する、請求項２に記載の医用画像処理装置。

【請求項4】

前記セグメンテーション分類部は、
第１の深層学習ネットワークにより前記ローカル画像に対するセグメンテーションを実行して、前記対象領域の前記ローカルマスク画像を取得する処理と、
前記第１の深層学習ネットワークにより前記グローバル画像に対するセグメンテーションを実行して、前記対象領域のグローバルマスク画像を取得する処理と、
前記グローバル画像と前記グローバルマスク画像とに基づいて、第２の深層学習ネットワークにより前記対象領域の前記グローバル分類画像を生成する処理と、
前記グローバル分類画像から、前記ローカル画像に対応する部分をローカル分類画像として抽出する処理と、
前記ローカル画像と、前記ローカルマスク画像と、前記ローカル分類画像とを用いて、第３の深層学習ネットワークにより前記対象領域の前記分類画像を生成する処理と、
を実行する、請求項３に記載の医用画像処理装置。

【請求項5】

前記対象領域が管状構造であり、
前記画像ペア生成部は、
前処理された前記医用画像から、前記管状構造の根元以外のローカル構造を含む画像を前記ローカル画像として抽出する処理と、
前処理された前記医用画像から、少なくとも前記ローカル画像及び前記管状構造の根元を含む画像を予備グローバル画像として抽出する処理と、
前記予備グローバル画像に対してダウンサンプリングを実行して、ファイルサイズが前記ローカル画像と同一の画像を前記グローバル画像として生成する処理と、
を実行する、請求項４に記載の医用画像処理装置。

【請求項6】

前記セグメンテーション分類部は、前記ローカル分類画像を抽出する際に、前記グローバル分類画像に対して前記ダウンサンプリングに対応するアップサンプリングを実行し、ファイルサイズが前記予備グローバル画像と同一の予備グローバル分類画像を取得し、前記グローバル画像と前記ローカル画像との間の関係を表す変換行列を用いて、前記予備グローバル分類画像から前記ローカル分類画像を抽出する、請求項５に記載の医用画像処理装置。

【請求項7】

前記対象領域が血管であり、
前記セグメンテーション分類部は、前記血管を静脈血管と動脈血管とに分類する、請求項１～６のいずれか１つに記載の医用画像処理装置。

【請求項8】

対象領域を含む医用画像と、前記医用画像に対して前記対象領域のセグメンテーションを実行して得られたマスク画像と、前記医用画像に対して前記対象領域の粗分類を実行して得られた粗分類画像とを入力する入力部と、
入力された前記医用画像と前記マスク画像と前記粗分類画像とを用いて、ニューラルネットワークにより、前記対象領域を分類した分類画像を生成する分類部と、
を備える、医用画像処理装置。

【請求項9】

対象領域の医用画像を入力し、
入力された前記医用画像に基づいて、前記対象領域のローカル特徴を含むローカル画像と前記対象領域のグローバル特徴を含むグローバル画像とで構成された画像ペアを生成し、
ニューラルネットワークにより、前記画像ペアに対して前記対象領域のセグメンテーションと分類とを実行する、
ことを含む、方法。

【請求項10】

対象領域の医用画像を入力し、
入力された前記医用画像に基づいて、前記対象領域のローカル特徴を含むローカル画像と前記対象領域のグローバル特徴を含むグローバル画像とで構成された画像ペアを生成し、
ニューラルネットワークにより、前記画像ペアに対して前記対象領域のセグメンテーションと分類とを実行する、
各処理をコンピュータに実行させるプログラムを非一時的に記憶した記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用画像処理装置、方法及び記憶媒体に関する。

【0002】

具体的には、本実施形態は、医用画像に含まれる対象領域（例えば、管状構造）のセグメンテーション及び分類を実行する医用画像処理装置、方法および記憶媒体に関し、特に、ニューラルネットワークを利用して対象領域（例えば、管状構造）の画像に対してセグメンテーションと分類を実行する医用画像処理装置、方法および記憶媒体に関する。

【背景技術】

【0003】

人体の器官または組織構造は、例えば、血管、気管などの管状の器官または組織構造を含む。本明細書では、それら管状の器官または組織構造をまとめて管状構造と言う。セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）により、血管などの管状構造に対し抽出と分離を行うことは、疾病の診断、評価および治療決定の重要な一環である。

【0004】

従来、例えば、ヘッセ行列（Ｈｅｓｓｉａｎ Ｍａｔｒｉｘ）、グラフカット（ｇｒａｐｈ ｃｕｔ）、血管構造のマッチングなどの伝統的な方法が、管状構造の抽出と分離に用いられている。また、深層学習の方法と伝統的な方法とを組み合わせ、それぞれ独立したステップで、管状構造の抽出と分離を実行することも提案されている。

【0005】

ここで、深層学習に基づいた血管のセグメンテーション方法がいくつか提案されている。例えば、深層学習に基づいたＣＴ画像の肺血管のセグメンテーション方法およびシステムが知られている。これは、血管のセグメンテーションステップと血管の動静脈区分ステップとを含み、且つ、血管の動静脈区分により得られた動静脈の確率図と血管の初歩的セグメンテーション結果とを組み合わせ、肺内小血管と肺外大血管とをセグメンテーションするとともに、動脈と静脈とを区分することができる。

【0006】

また、体内の他の構造物に対する多段階抽出の技術も提案されている。例えば、医用画像診断装置において収集した画像データから、目的断面の画像を少ない演算量で高速に抽出する技術が知られている。具体的には、サイズの異なる複数の断面画像に対して、学習済みモデルの入力画像サイズに合わせた画像サイズの変換を行い、学習済みモデルにより断面画像の構造物の多段階抽出を行う。より具体的には、人体の腹部内の胎児を対象とし、第１の構造物と、第１の構造物の内部に位置する第２の構造物とが目的断面に含まれている場合、学習データの学習用目的断面画像には、第１の構造物の画像と第２の構造物の画像とが含まれている。この場合、学習用関心領域断面画像として、目的断面画像の第１の構造物を含む一部領域を切り出して拡大した画像を用いることができる。そして、画像データから得られる断面画像に学習済みモデルを適用することにより、第１の構造物が検出された場合、当該断面画像から第１の構造物が含まれる領域を切り出して画像を生成し、切り出した画像に学習済みモデルを適用することで、第２の構造物を検出することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】中国特許出願公開第１１１０９１５７３号明細書

【特許文献2】特開２０２０－０６８７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、対象領域のセグメンテーション及び分類をより精度良く行うことである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。

【課題を解決するための手段】

【0009】

実施形態に係る医用画像処理装置は、入力部と、画像ペア生成部と、セグメンテーション分類部とを備える。入力部は、対象領域の医用画像を入力する。画像ペア生成部は、入力された前記医用画像に基づいて、前記対象領域のローカル特徴を含むローカル画像と前記対象領域のグローバル特徴を含むグローバル画像とで構成された画像ペアを生成する。セグメンテーション分類部は、ニューラルネットワークにより、前記画像ペアに対して前記対象領域のセグメンテーションと分類とを実行する。

【図面の簡単な説明】

【0010】

【図1】図１は、第１の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。

【図2】図２は、第１の実施形態に係る医用画像処理装置が実行する処理の特徴を説明する比較図である。

【図3】図３は、第１の実施形態に係る医用画像処理装置が実行する血管セグメンテーション分類処理の一例を示すフローチャートである。

【図4】図４は、第１の実施形態に係る医用画像処理装置のネットワーク構造およびそれが実行する各処理のステップとの関係を示す図である。

【図5】図５は、第１の実施形態に係る医用画像処理装置が実行するステップＳ２００の処理手順を示す図である。

【図6】図６は、第１の実施形態に係る医用画像処理装置が実行するステップＳ３０１の処理手順を示す図である。

【図7】図７は、第１の実施形態に係る医用画像処理装置が実行するステップＳ３０２の処理手順を示す図である。

【図8】図８は、第１の実施形態に係る医用画像処理装置が実行するステップＳ３０３の処理手順を示す図である。

【図9】図９は、第２の実施形態に係る医用画像処理装置が実行する血管分類処理の一例を示す図である。

【発明を実施するための形態】

【0011】

従来技術では、血管などの管状構造に対する抽出と分離方法により、より精度の高い管状構造の抽出性能を得ることができない場合がある。特に、深層学習と伝統的な後処理方法とを組み合わせた方法では、別々のステップで深層学習の処理と後処理をそれぞれ行うため、多くの仮定を基にパラメータを調整する必要があり、血管などの管状構造の分離と抽出に失敗する場合もある。

【0012】

本実施形態は、上記従来技術の課題を解決するために提案されたものである。具体的には、本実施形態は、対象領域（例えば、管状構造）のセグメンテーションおよび分類を同時に行い、伝統的な後処理を必要とすることなく、対象領域（例えば、管状構造）の精細な抽出と分離を完成させるように、対象領域（例えば、管状構造）を含む画像のローカル特徴とグローバル特徴とを組み合わせる対象領域（例えば、管状構造）の画像セグメンテーション分類方法および装置を提供する。

【0013】

本実施形態では、まず、前処理においてローカル特徴とグローバル特徴を反映した画像ペアを生成し、次に、ローカル特徴とグローバル特徴の両方を組み合わせた深層学習の方法に基づいた対象領域（例えば、管状構造）のセグメンテーションおよび分類を実行するため、後処理を必要とせず、医学画像から対象領域（例えば、管状構造）を抽出し分離することができる。

【0014】

本実施形態の一つの側面によれば、ニューラルネットワークを利用して管状構造の画像に対しセグメンテーションと分類をする管状構造の画像セグメンテーション分類装置（医用画像処理装置）であって、管状構造の画像を入力する入力手段と、入力された前記画像に基づいて、前記管状構造のローカル特徴を含むローカル画像及び対応する前記管状構造のグローバル特徴を含むグローバル画像で構成された画像ペアを生成する画像ペア生成手段と、前記ニューラルネットワークにより前記画像ペアに対しセグメンテーションと分類をするセグメンテーション分類手段と、を備える管状構造の画像セグメンテーション分類装置を提供する。

【0015】

本実施形態では、ローカル特徴とグローバル特徴の両方を組み合わせた深層学習の方法に基づいた対象領域（例えば、管状構造）のセグメンテーションおよび分類を実行し、パラメータの調整および後処理を必要とせず、信頼性の高い深層学習の方法で、多数のシナリオに適用することができる。本実施形態によれば、例えば、血管などの長い管状構造をセグメンテーションし、動脈や静脈などの分類を精度高く行うことができる。

【0016】

以下、添付図面を参照して、本願に係る医用画像処理装置、方法および記憶媒体の実施形態を詳細に説明する。なお、本願に係る医用画像処理装置、方法および記憶媒体は、以下に示す実施形態によって限定されるものではない。また、以下の説明において、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。

【0017】

（第１の実施形態）
まず、第１の実施形態に係る医用画像処理装置について説明する。本実施形態に係る医用画像処理装置は、超音波診断装置、ＭＲＩイメージング装置等の医用画像診断装置の形で存在してもよいし、ワークステーション等の形で独立して存在してもよい。なお、以下では、医用画像処理装置によるセグメンテーション及び分類の対象となる対象領域が、管状構造である場合について説明する。

【0018】

図１は、第１の実施形態に係る医用画像処理装置１の構成の一例を示すブロック図である。本実施形態に係る医用画像処理装置１は、ニューラルネットワークを利用して管状構造の画像に対しセグメンテーションと分類を実行する。図１に示すように、医用画像処理装置１は、処理回路２を有し、主に、管状構造の画像を入力する入力機能１０と、入力された画像に基づいて、管状構造のローカル特徴を含むローカル画像及び対応する管状構造のグローバル特徴を含むグローバル画像で構成された画像ペアを生成する画像ペア生成機能２０と、ニューラルネットワークにより画像ペアに対しセグメンテーションと分類をするセグメンテーション分類機能３０と、を実行する。

【0019】

医用画像処理装置１は、例えば、超音波診断装置などの医用画像診断装置に装備されてもよい。この場合、医用画像処理装置１は、図示を省略した超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体などをさらに備え、入力機能１０、画像ペア生成機能２０およびセグメンテーション分類機能３０を実行する処理回路２が、これらの超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体などと通信可能に接続され、それらを制御する。超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体の構成及び機能などは当業者に周知であるため、その詳細な説明を省略する。

【0020】

以下、本実施形態に係る医用画像処理装置１が実行する処理について、詳細に説明する。

【0021】

図２は、第１の実施形態に係る医用画像処理装置が実行する処理の特徴を説明する比較図である。

【0022】

図２は、従来技術のフローと比較する方式により、本実施形態に係る処理の特徴を説明する。ここで、図２における左側が従来技術に係る管状構造のセグメンテーションおよび分類のフローチャートであり、右側が第１の実施形態に係る医用画像処理装置が実行する処理のフローチャートである。図２に示すように、第１の実施形態に係る医用画像処理装置１が実行する処理のうち、ステップＳ２００とステップＳ３００が本実施形態における特徴ステップである。そのうち、ステップＳ２００において、画像ペア生成機能２０が入力された画像に基づいて、管状構造のローカル特徴を含むローカル画像及び対応する、管状構造のグローバル特徴を含むグローバル画像で構成された画像ペアを生成する。次に、ステップＳ３００において、セグメンテーション分類機能３０が画像ペア生成機能２０により生成された画像ペアに対し、深層学習に基づいたセグメンテーションおよび分類を実行し、管状構造の画像セグメンテーション分類結果を取得する。

【0023】

本実施形態では、まず、管状構造のローカル特徴を含むローカル画像及びこのローカル画像に対応する、管状構造のグローバル特徴を含むグローバル画像で構成された画像ペアを生成する（ステップＳ２００）。さらに、この画像ペアに基づいて、ローカル特徴とグローバル特徴の両方を用いた深層学習により管状構造のセグメンテーションおよび分類を実行する（ステップＳ３００）。このように、本実施形態は、パッチ（ステップＳ２００’）を処理対象とし、まずパッチに基づいたセグメンテーションおよび分類（ステップＳ３０１’）を行なった後、セグメンテーションおよび分類結果の修正（ステップＳ３０２’）を行う従来技術とは異なっており、後処理および従来技術におけるパラメータの調整を必要とせず、信頼性の高い深層学習の方法で精細なセグメンテーションおよび分類結果を取得することができる。

【0024】

以下、血管を例にして、本実施形態に係る医用画像処理装置の処理の全体的状況について、図３および図４を用いて説明する。

【0025】

図３は、第１の実施形態に係る医用画像処理装置が実行する血管セグメンテーション分類処理の一例を示すフローチャートである。

【0026】

まず、ステップＳ１００において、入力機能１０により、処理対象としての血管を含む医用画像データを医用画像処理装置１に入力する。

【0027】

次に、ステップＳ２００において、前処理として、画像ペア生成機能２０は、管状構造のローカル特徴を含むローカル画像及びこのローカル画像に対応し且つ管状構造のグローバル特徴を含むグローバル画像で構成された画像ペアを生成する。ステップＳ２００における処理の詳細については、以下で図５を参照しながら説明する。

【0028】

続いて、ステップＳ３００における処理として、セグメンテーション分類機能３０は、ローカル特徴を用いた深層学習に基づいた血管のセグメンテーション（ステップＳ３０１）、グローバル特徴を用いた深層学習に基づいた動脈／静脈の粗分類（ステップＳ３０２）、および、ローカル特徴とグローバル特徴の両方を用いた深層学習に基ついた動脈／静脈の精細分類（ステップＳ３０３）を、それぞれ実行する。ステップＳ３００における処理の詳細については、以下で図６を参照しながら説明する。

【0029】

最後に、ステップＳ４００において、血管の動脈／静脈セグメンテーション分類結果を出力する。

【0030】

第１の実施形態に係る医用画像処理装置１は、深層学習に基ついた血管のセグメンテーションおよび分類処理を実行する。セグメンテーションおよび分類処理の各ステップを詳しく説明する前に、まず、第１の実施形態に係る医用画像処理装置１のネットワーク構造について説明する。図４は、第１の実施形態に係る医用画像処理装置１のネットワーク構造およびそれが実行する各ステップとの関係を示す図である。

【0031】

図４に示すように、第１の実施形態に係る医用画像処理装置１のネットワーク構造は、ステップＳ３０１におけるローカル特徴を用いた血管のセグメンテーションを実行するためのセグメンテーション用ニューラルネットワーク（ニューラルネットワークＡ）、ステップＳ３０２におけるグローバル特徴を用いた動脈／静脈の粗分類を実行するための分類用ニューラルネットワーク１（ニューラルネットワークＢ）、および、ステップＳ３０３におけるローカル特徴とグローバル特徴の両方を用いた動脈／静脈の精細分類を実行するための分類用ニューラルネットワーク２（ニューラルネットワークＣ）のような三つのディープニューラルネットワークを含んでもよい。

【0032】

ステップＳ１００において医学画像が入力された後、画像ペア生成機能２０は、ステップＳ２００により管状構造のローカル特徴を含むローカル画像ＳＰ及び当該ローカル画像に対応し且つ管状構造のグローバル特徴を含むグローバル画像ＬＰで構成された画像ペアを取得する。そのうち、ローカル画像ＳＰとグローバル画像ＬＰとの間には、空間変換関係が存在している。

【0033】

ステップＳ３００は、サブステップＳ３０１～Ｓ３０３を含む。

【0034】

まず、サブステップＳ３０１において、セグメンテーション分類機能３０は、セグメンテーション用ニューラルネットワーク（ニューラルネットワークＡ）により、画像ペアに含まれたローカル画像ＳＰとグローバル画像ＬＰに対し、管状構造のセグメンテーションをそれぞれ実行して、ローカル画像ＳＰのマスク画像Ｖ－ＳＰとグローバル画像ＬＰのマスク画像Ｖ－ＬＰをそれぞれ取得する。この二つのセグメンテーション処理は、互いに独立した処理にしてもよく、図４では、ローカル画像のセグメンテーションとグローバル画像のセグメンテーション各自のデータフローが、それぞれ実線の矢印と点線の矢印で示されている。

【0035】

この後、サブステップＳ３０２において、セグメンテーション分類機能３０は、分類用ニューラルネットワーク１（ニューラルネットワークＢ）により、グローバル特徴を反映したグローバル画像ＬＰおよびグローバル画像ＬＰのマスク画像Ｖ－ＬＰに対し、例えば、静脈／動脈の粗分類を行い、分類後のグローバル分類画像Ａ／Ｖ－ＬＰを取得する。

【0036】

この後、サブステップＳ３０３において、セグメンテーション分類機能３０は、ローカル画像ＳＰのマスク画像Ｖ－ＳＰ、および、グローバル分類画像Ａ／Ｖ－ＬＰに対し逆空間変換を行うことにより取得した予備ローカル分類画像Ａ／Ｖ－ＳＰ１を入力とし、分類用ニューラルネットワーク２（ニューラルネットワークＣ）により、例えば、静脈／動脈の精細分類を行い、精細分類後のローカル分類画像Ａ／Ｖ－ＳＰを取得する。

【0037】

最後、ステップＳ４００において、処理回路２は、セグメンテーション分類結果を出力する。

【0038】

これにより、本実施形態の深層学習に基づいた管状構造のセグメンテーション分類処理は、ローカル特徴とグローバル特徴の両方を組み合わせ、パラメータの調整および後処理を必要とせず、信頼性の高い深層学習の方法で、多数のシナリオに適用することができる。本実施形態によれば、例えば、血管などの長い管状構造をセグメンテーションし、動脈や静脈などの分類を精度高く行うことができる。

【0039】

以下、第１の実施形態に係る医用画像処理装置が実行する処理の各ステップについて、図５～９を参照しながら詳細に説明する。

【0040】

図５は、第１の実施形態に係る医用画像処理装置が実行するステップＳ２００の処理手順を示す図である。

【0041】

まず、画像ペア生成機能２０は、ステップＳ２０１において、ステップＳ１００において入力された医学画像データに対し、画像の前処理を行なってもよい。画像の前処理は、画像における無関係の情報を除去し、有用かつ真実な情報をリカバーすることで、特徴の抽出、画像のセグメンテーション、分類などの信頼性を向上させるためのものである。ステップＳ２０１における画像の前処理は、伝統的なグレースケール、幾何学的変換、画像の補強などのステップを含んでもよく、従来技術の様々な方法により実現することができ、ここで詳細に説明しない。また、本実施形態にとって、前処理は必須ではなく、状況に応じて前処理のステップを省略してもよい。

【0042】

次に、ステップＳ２０２およびＳ２０３において、画像ペア生成機能２０は、前処理された画像の中から、血管のローカル特徴を含む小パッチＳＰをローカル画像として抽出し、少なくともこの小パッチを含み且つこの血管のグローバル特徴を含む大パッチＬＰ１を予備グローバル画像として抽出する。いわゆる血管のローカル特徴は具体的に、血管のローカル形態を反映した特徴であり、例えば、血管末端の形状、分岐などが挙げられる。いわゆる血管のグローバル特徴は具体的に、血管のグローバル形態を反映した特徴であり、例えば、血管根元の形状と分岐および末端の形状と分岐などが挙げられる。

【0043】

図５に示すように、ステップＳ２０２において抽出された小パッチが対象血管の末端を含んでいるが、対象血管の根元を含んでおらず、ステップＳ２０３において抽出された大パッチが、図中のＬＰ１における枠で示すように、この小パッチＳＰを含み、また、対象血管の根元を含んでいる。入力の画像データからパッチを抽出する方法は、特に限定されるものではなく、伝統的なサンプリング、クロッピングなどの方法にしてもよく、ここで詳細に説明しない。

【0044】

また、画像ペア生成機能２０は、ステップＳ２０３において、抽出された大パッチ、即ち、予備グローバル画像ＬＰ１に対し、サイズの調整をさらに行い、それをファイルサイズがローカル画像と同じである画像ＬＰに調整してグローバル画像とする。大パッチに対して行うサイズの調整は、ダウンサンプリングなどにより実現してもよく、また、例えば、解像度の調整、スケーリングなどの伝統的な幾何学的変換方法により実現してもよく、特に限定されるものではない。

【0045】

さらに、画像ペア生成機能２０は、ステップＳ２０４において、ステップＳ２０３において取得されたグローバル画像ＬＰとステップＳ２０２において取得されたローカル画像ＳＰを利用して、グローバル画像ＬＰとローカル画像ＳＰとの間の空間変換関係を表す変換行列θを取得し、後続の処理に用いる。グローバル画像ＬＰがローカル画像ＳＰを含むため、グローバル画像ＬＰおよびローカル画像ＳＰは、スケーリング、クロッピングなどの伝統的な空間変換により相互から得ること（なお、ローカル画像ＳＰからグローバル画像ＬＰを得るには、オリジナル画像も必要としている）が可能な画像と見なしてもよい。画像の空間変換は、例えば行列演算により実現することができ、行列演算によりローカル画像ＳＰ及びオリジナル画像からグローバル画像ＬＰを得た際に用いられた変換行列を本発明の変換行列θとして定義する。変換行列θは、グローバル画像ＬＰおよびローカル画像ＳＰを基に、仮想空間変換を介してローカル画像ＳＰをグローバル画像ＬＰに変換した（図５における点線の矢印、ここでは、オリジナル画像の図示は略する）際のマトリックスアルゴリズムなどにより、従来技術の様々な方法で求めることができ、ここで詳細に説明しない。

【0046】

上述したステップＳ２０２～Ｓ２０４における処理によれば、第１の実施形態に係る医用画像処理装置１は、血管のローカル特徴を含むローカル画像ＳＰ及びこのローカル画像に対応する血管のグローバル特徴を含むグローバル画像ＬＰで構成された画像ペアを取得し、グローバル画像ＬＰとローカル画像ＳＰとの間の空間変換関係を表す変換行列θを取得する。

【0047】

なお、管状構造のローカル特徴を含むローカル画像ＳＰ及び当該ローカル画像に対応し且つ管状構造のグローバル特徴を含むグローバル画像ＬＰで構成された画像ペアを取得する上記処理は一例に過ぎず、ステップＳ２００において画像ペアを取得する方法は、これに限定されるものではない。例えば、ステップＳ２０２とステップＳ２０３により小パッチと大パッチをそれぞれ抽出することで、ローカル画像ＳＰとグローバル画像ＬＰを取得する例について説明したが、ローカル画像ＳＰとグローバル画像ＬＰの取得は勿論、他の方式により実現することができる。例えば、ステップＳ２０２における処理を省略し、ステップＳ２０３において抽出された大パッチＬＰ１から、クロッピングなどの空間変換により、所望の小パッチをローカル画像ＳＰとして取得してもよい。また、ステップＳ２０３におけるサイズの調整も必須ではなく、この点について、以下で詳細に説明する。本実施形態に基づいて、管状構造のローカル特徴を含むローカル画像ＳＰ及びこのローカル画像に対応し且つ管状構造のグローバル特徴を含むグローバル画像ＬＰで構成された画像ペアが取得されればよい。

【0048】

図６は、第１の実施形態に係る医用画像処理装置が実行するステップＳ３０１の処理手順を示す図である。

【0049】

ステップＳ３０１では、セグメンテーション用ネットワークを利用して、画像ペアから血管のマスク画像をセグメンテーションする。具体的に、セグメンテーション分類機能３０は、例えば、Ｕ－ＮｅｔなどのニューラルネットワークＡを用い、ステップＳ２００において取得された画像ペア中のローカル画像ＳＰとグローバル画像ＬＰを入力として、血管のローカル特徴を含むローカルマスク画像Ｖ－ＳＰと血管のグローバル特徴を含むグローバルマスク画像Ｖ－ＬＰをそれぞれセグメンテーションする。ディープニューラルネットワークの詳細、および、ディープニューラルネットワークを利用して画像をセグメンテーションしマスク画像を取得する方法は、本分野に周知であり、ここで詳細に説明しない。また、グローバル画像ＬＰは、前文で図５を参照しながら説明したように、予備グローバル画像ＬＰ１からダウンサンプリングなどによりサイズの調整を行ったものであり、ローカル画像ＳＰと比べて精度のより低い画像である。したがって、ニューラルネットワークＡを利用してグローバル画像ＬＰをセグメンテーションする際に、ローカル画像ＳＰに対して行う通常のセグメンテーションとは異なり、トレーニング段階でグローバル画像ＬＰを片方向のみにネットワークＡに進入させ、損失の逆伝播を許さない（すなわち、トレーニング段階において、グローバル画像ＬＰの出力結果を用いたパラメータの調整を行わない）ことにより、最適化を繰り返した場合のネットワークＡの性能低下を避けることができる。図６では、グローバル画像ＬＰのセグメンテーションとローカル画像ＳＰのセグメンテーションが、それぞれ点線の矢印と実線の矢印で示されている。

【0050】

図７は、第１の実施形態に係る医用画像処理装置が実行するステップＳ３０２の処理手順を示す図である。

【0051】

ステップＳ３０２では、分類用ネットワーク１（ネットワークＢ）を利用して、グローバル画像に対し動脈／静脈の粗分類を行い、サブステップＳ３０２１～Ｓ３０２３を含む。

【0052】

具体的には、セグメンテーション分類機能３０は、まず、サブステップＳ３０２１において、ステップＳ２００において取得されたグローバル画像ＬＰとステップＳ３０１において取得されたグローバルマスク画像Ｖ－ＬＰを入力する。この後、サブステップＳ３０２２において、セグメンテーション分類機能３０は、例えば、Ｕ－ＮｅｔなどのニューラルネットワークＢを用い、グローバル画像ＬＰとグローバルマスク画像Ｖ－ＬＰに基づき、分類アルゴリズムにより、グローバル画像の血管の動脈／静脈分類結果を表すグローバル分類画像Ａ／Ｖ－ＬＰを取得する。グローバル画像にはグローバル的な特徴が含まれているので、ローカル特徴のみを用いた分類と比べると、グローバル画像に基づいて行う分類は、根元を含むグローバル形態について考慮するため、分類ミスがより少なく、より正確な動脈静脈の分類結果などを得ることができる。ディープニューラルネットワークの詳細、および、ディープニューラルネットワークを利用して画像を分類する方法は、本分野に周知であり、ここで詳細に説明しない。

【0053】

この後、サブステップＳ３０２３において、セグメンテーション分類機能３０は、この前にステップＳ２０４において取得された変換行列θを利用して、サブステップＳ３０２２において取得されたグローバル分類画像Ａ／Ｖ－ＬＰに対し、変換行列θを求めた際に行った仮想空間変換と逆の逆空間変換を行い、ローカル画像の血管の動脈／静脈粗分類結果を表す予備ローカル分類画像Ａ／Ｖ－ＳＰ１を取得する。

【0054】

なお、サブステップＳ３０２３における処理は、以下のように行ってもよい。まず、既に取得された予備グローバル画像ＬＰ１のサイズに従って、例えば、アップサンプリングにより、ファイルサイズが予備グローバル画像ＬＰ１と同一になるように、グローバル分類画像Ａ／Ｖ－ＬＰに対しサイズの調整を行う。この後、変換行列θに基づき、サイズが調整された後のグローバル分類画像に対し逆空間変換を行うことで、予備ローカル分類画像Ａ／Ｖ－ＳＰ１を取得する。この逆空間変換は、ステップＳ２０４において変換行列θを求めた際に行った仮想空間変換と逆の空間変換であり、具体的に、逆空間変換を実行した結果は、図７に示すように、サイズが調整された後のグローバル分類画像から、例えば、クロッピングにより、ＳＰのサイズに対応した画像を切り出したことに相当する。

【0055】

サブステップＳ３０２３では、逆空間変換の前に、まずアップサンプリングが行われた。このアップサンプリングは、ステップＳ２０３におけるダウンサンプリングに対応した逆処理であり、これら二つの処理はいずれも必須ではなく、例えば、ステップＳ２０３におけるダウンサンプリングを省略した場合、サブステップＳ３０２３におけるアップサンプリングを対応して省略してもよい。ステップＳ２０３におけるダウンサンプリングと対応したサブステップＳ３０２３におけるアップサンプリングによれば、セグメンテーション用ネットワークに入力された処理対象画像および分類用ネットワーク２に入力された処理対象画像のサイズを同一にし、処理速度および処理精度の向上に寄与し、ＧＰＵメモリの使用量を低減することができる。

【0056】

図７の分類画像Ａ／Ｖ－ＬＰおよびＡ／Ｖ－ＳＰ１では、動脈／静脈の分類結果が色の濃さで表され、例えば、静脈が濃い色の領域で表され、動脈が薄い色の領域で表される。なお、図７の当該表示形態が同様に他の図にも適用される。また、動脈／静脈の分類結果を色の濃さで表すこと、および、静脈を濃い色の部分で表し、動脈を薄い色の部分で表すことは、一例に過ぎず、静脈と動脈の表示形態は、これに限定されるものではない。

【0057】

図８は、第１の実施形態に係る医用画像処理装置が実行するステップＳ３０３の処理手順を示す図である。

【0058】

ステップＳ３０３では、分類用ネットワーク２（ネットワークＣ）を利用して、ローカル画像に対し動脈／静脈の精細分類を行う。具体的には、動脈／静脈の精細分類結果を取得するために、セグメンテーション分類機能３０は、この前にステップＳ２００において取得されたローカル画像ＳＰ、ステップＳ３０１において取得されたローカルマスク画像Ｖ－ＳＰ、および、ステップＳ３０２において取得された予備ローカル分類画像Ａ／Ｖ－ＳＰ１を入力とし、例えば、Ｕ－ＮｅｔなどのニューラルネットワークＣを用いて動脈静脈分類処理を行う。

【0059】

上述のように、ステップＳ３０１において取得されたローカルマスク画像Ｖ－ＳＰは、直接ローカル画像を用いて、深層学習ネットワークに基づいたセグメンテーションにより取得したマスク画像であり、それが対象血管のローカル特徴を含む正確なセグメンテーション結果を反映している。一方、ステップＳ３０２において取得された予備ローカル分類画像Ａ／Ｖ－ＳＰ１は、血管根元特徴などのグローバル特徴を用いた深層学習ネットワークに基づいた分類の結果から得られたものであり、ローカル特徴のみを用いた分類と比べると、血管根元などのグローバル特徴を用いる分類は、根元を含むグローバル形態について考慮するため、より正確な動脈／静脈の分類結果を得ることができる。ステップＳ３０３では、このようなローカル特徴の対象血管セグメンテーション結果を反映したローカルマスク画像Ｖ－ＳＰおよびグローバル特徴の対象血管分類結果を反映した予備ローカル分類画像Ａ／Ｖ－ＳＰ１を共に入力とし、ローカル特徴とグローバル特徴とを組み合わせるので、ローカルマスク画像Ｖ－ＳＰを基に、予備ローカル分類画像Ａ／Ｖ－ＳＰ１における、例えば、血管の縁部の分類ミスを修正し、対象血管に対するより正確な動脈／静脈セグメンテーションおよび分類結果を取得することができる。

【0060】

第１の実施形態に係る医用画像処理装置は、ローカル特徴とグローバル特徴とを組み合わせるため、例えば、深層学習に基づいた血管の動脈／静脈セグメンテーション分類処理において、パラメータの調整および後処理を必要とせず、信頼性の高い深層学習の方法で、多数のシナリオに適用することができる。本実施形態によれば、例えば、血管などの長い管状構造をセグメンテーションし、動脈や静脈などの分類を精度高く行うことができる。且つ、ローカル特徴とグローバル特徴とを組み合わせた本実施形態は、ローカルパッチおよびグローバルパッチにも関わらず、いずれも単一のパッチサイズのみを用いた方法と比べて、セグメンテーションおよび分類の精度がより高い。

【0061】

また、第１の実施形態に係る医用画像処理装置は、フレーム学習の際に、入力画像のサイズが小さいため、ＧＰＵメモリの使用量を低減することができる。

【0062】

以上、第１の実施形態を説明したが、上述した第１の実施形態以外にも、種々の異なる形態にて実施することが可能である。

【0063】

（第２の実施形態）
上述した第１の実施形態では、画像の前処理から血管のセグメンテーション、動脈／静脈の粗分類、動脈静脈の精細分類を含む完全的な過程を例にして説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、第１の実施形態に係るステップＳ３０３における精細分類処理を単独でモジュール化させ、即ち、動脈／静脈の精細分類結果を取得するように、他の方法により取得された対象血管のセグメンテーション結果と動脈／静脈の粗分類結果とを、深層学習に基づいた分類用ニューラルネットワークに直接入力してもよい。以下、図９を例として、精細分類処理を単独でモジュール化させた第２の実施形態を説明する。

【0064】

図９は、第２の実施形態に係る医用画像処理装置が実行する血管分類処理の一例を示す図であり、第２の実施形態の説明においては、上述した第１の実施形態との相違点を中心に説明する。なお、第２の実施形態の説明においては、上述した第１の実施形態と同様の構成について、同一の図面符号を付してその説明を省略する。

【0065】

第２の実施形態に係る医用画像処理装置は、他の方法により予め取得された対象血管のオリジナル画像、このオリジナル画像に対してセグメンテーションを実行して得られた対象血管のマスク画像、及び、このオリジナル画像に対して分類を実行して得られた対象血管の動脈／静脈の粗分類結果画像を分類用ニューラルネットワークに直接入力することで、血管の動脈／静脈の精細分類結果を取得する。

【0066】

図９に示すように、例えば、円で囲まれた静脈末端部分の粗分類結果には明らかにミスが含まれており、分類用ニューラルネットワークが、対象血管のセグメンテーション結果を基に、これら分類ミスを修正できるため、第２の実施形態に係る方法により、より明瞭な分類結果を取得し、真値（ＧＴ：ｇｒｏｕｎｄ ｔｒｕｔｈ）により近くなる。

【0067】

第１の実施形態と比べると、第２の実施形態では、血管の精細分類モジュールを後処理モジュールとして単独で用いたため、第１の実施形態による効果以外に、さらに、動脈／静脈の精細分類モジュールを従来のシステムに独立に応用することで、信頼性の高い分類結果を取得できるという有益な技術的効果を奏している。

【0068】

上述した実施形態では、血管と動脈／静脈の分類を例にして説明したが、上記した実施形態と同様に、血管以外の管状構造、及び、動脈／静脈以外の分類に適用することができる。例えば、肝血管に応用した場合、肝静脈と門脈を肝血管の異なる種類とし、上記した実施形態の応用により、肝静脈と門脈の正確なセグメンテーションと分類の結果を得ることができる。また、対象領域は上記した管状構造に限られず、セグメンテーションと分類の対象となる部位であれば、どのような部位を対象領域とする場合でもよい。

【0069】

上述した実施形態では、Ｕ－Ｎｅｔを例にしてニューラルネットワークＡ、ニューラルネットワークＢ、ニューラルネットワークＣを説明したが、ニューラルネットワークＡ、ニューラルネットワークＢ、ニューラルネットワークＣは、Ｕ－Ｎｅｔに限定されるものではなく、他の畳み込みニューラルネットワークにしてもよい、または、他の深層学習ネットワークにしてもよい。また、ニューラルネットワークＡ、ニューラルネットワークＢ、ニューラルネットワークＣは、同じタイプのニューラルネットワークであってもよく、または、異なるタイプのニューラルネットワークであってもよい。

【0070】

上述した実施形態で説明する画像処理、セグメンテーション、分類、深層学習ニューラルネットワークのトレーニング及び推論などは、いずれも従来技術中の従来の方法で実現することができ、ここでは詳細な説明を省略する。

【0071】

本実施形態は、上述した医用画像処理装置として実現されてもよいし、対象領域（例えば、管状構造）のセグメンテーション分類方法、プログラム、対象領域（例えば、管状構造）のセグメンテーション分類プログラムが記憶された媒体として実現されてもよい。

【0072】

本願に係る医用画像処理装置は、医用画像診断装置に組み込まれてもよいし、医用画像処理装置が単独で処理を実行する場合でもよい。かかる場合には、医用画像処理装置は、上述した各ステップと同様の処理を実行する処理回路２と、各機能に対応するプログラムや各種の情報などを記憶するメモリとを有する。そして、処理回路２は、ネットワークを経由して、超音波診断装置等の医用画像診断装置或いは画像保管装置から、２次元又は３次元の医用画像データを取得し、取得した医用画像データを用いて上述した処理を実行する。ここで、処理回路２は、メモリからプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。

【0073】

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリに保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。

【0074】

なお、上記の実施形態の説明で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0075】

また、上述した実施形態で説明した処理方法は、あらかじめ用意された処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＵＳＢメモリ及びＳＤカードメモリ等のＦｌａｓｈメモリ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって非一時的な記録媒体から読み出されることによって実行することもできる。

【0076】

以上説明した少なくとも一つの実施形態によれば、対象領域のセグメンテーション及び分類をより精度良く行うことができる。

【0077】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0078】

１ 医用画像処理装置
２ 処理回路
１０ 入力機能
２０ 画像ペア生成機能
３０ セグメンテーション分類機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】