特許 7601879 医療画像セグメント化及びアトラス画像選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】医療画像セグメント化及びアトラス画像選択

(51)【国際特許分類】

   G06T 7/11 20170101AFI20241210BHJP

   G06T 7/00 20170101ALI20241210BHJP

   G06V 10/82 20220101ALI20241210BHJP

【ＦＩ】

G06T7/11

G06T7/00 614

G06T7/00 350C

G06V10/82

【請求項の数】 13

(21)【出願番号】P 2022535108

(86)(22)【出願日】2020-12-07

(65)【公表番号】

(43)【公表日】2023-02-08

(86)【国際出願番号】 EP2020084860

(87)【国際公開番号】W WO2021116011

(87)【国際公開日】2021-06-17

【審査請求日】2023-12-06

(31)【優先権主張番号】19214693.4

(32)【優先日】2019-12-10

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】レンガ マティアス

(72)【発明者】

【氏名】ウィッセル トビアス

(72)【発明者】

【氏名】ウェーゼ ロルフ ユルゲン

【審査官】菊池 伸郎

(56)【参考文献】

【文献】国際公開第２０１１／０４０４７３（ＷＯ，Ａ１）

【文献】特表２００９－５１５５９９（ＪＰ，Ａ）

【文献】Heran Yang, 外4名，"Neural Multi-Atlas Label Fusion: Application to Cardiac MR Images"，arXiv，2017年09月27日，[検索日 2024.10.24], インターネット, ＜URL:https://arxiv.org/pdf/1709.09641v1＞

【文献】Yu Zhao, 外7名，"Knowledge-Aided Convolutional Neural Network for Small Organ Segmentation"，IEEE Journal of Biomedical and Health Informatics，vol.23, no.4，2019年01月09日，pp.1363-1373

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

医療入力画像を受信して画像セグメントを生成するセグメント化関数を取得するステップと、
複数のアトラス画像を取得するステップと、
医療画像を受信するステップと、
前記複数のアトラス画像と受信された前記医療画像とを位置合わせして、複数の位置合わせされた画像を取得し、受信された前記医療画像を前記複数のアトラス画像に位置合わせする複数の対応する位置合わせ変換を取得するステップと、
前記複数の位置合わせされた画像に前記セグメント化関数を適用して、複数の位置合わせされた画像セグメントを取得するステップと、
複数の前記位置合わせされた画像セグメントに前記複数の対応する位置合わせ変換の逆変換を適用して、複数の画像セグメントを取得するステップと、
前記複数の画像セグメントから出力セグメントを決定するステップと、
を有する、医療画像セグメント化のための方法。

【請求項2】

前記セグメント化関数が、複数の訓練画像と、対応する訓練画像セグメントとに基づいて訓練された機械学習関数であり、アトラス画像が、前記複数の訓練画像から選択された、
請求項１に記載の方法。

【請求項3】

医療画像セグメント化のための方法における使用のためのアトラス画像を選択する方法であって、前記方法が、
入力画像を受信して画像セグメントを生成するためのセグメント化関数を取得するステップと、
複数のテスト画像と、対応するテスト画像セグメントとを取得するステップと、
関連する前記テスト画像セグメントを、前記セグメント化関数により生成された画像セグメントと比較することにより、前記複数のテスト画像に対するセグメント化品質を決定するステップと、
閾値より高いセグメント化品質をもつ前記アトラス画像として前記テスト画像のうちの１つ又は複数を選択するステップと、
を有する、方法。

【請求項4】

まだ選択されていない前記テスト画像に対して、
選択されていない前記テスト画像から選択されたテスト画像に位置合わせを適用し、及び、位置合わせされた前記テスト画像を前記選択されたテスト画像と比較することにより位置合わせ品質を決定するステップと、
閾値未満の位置合わせ品質をもつ更なるアトラス画像としてテスト画像を選択するステップと、
を有する、請求項３に記載の方法。

【請求項5】

まだ選択されていない前記テスト画像に対して、
前記テスト画像から選択された前記テスト画像に位置合わせを適用し、及び、複数の位置合わせ品質を決定するステップと、
決定された前記複数の位置合わせ品質から全体的な位置合わせ品質を決定するステップと、
閾値未満の全体的な位置合わせ品質をもつ更なるアトラス画像としてテスト画像を選択するステップと、
を有する、請求項４に記載の方法。

【請求項6】

前記位置合わせが、並進移動位置合わせ、剛体位置合わせ、類似性位置合わせ、アフィン位置合わせ、又は非剛体位置合わせのうちのいずれか１つである、
請求項４又は請求項５に記載の方法。

【請求項7】

セグメント化品質及び／又は位置合わせ品質を決定するステップが、ダイススコアを決定するステップを有する、
請求項５又は請求項６に記載の方法。

【請求項8】

前記セグメント化関数が、複数の訓練画像に基づいて訓練されたものであり、前記テスト画像が、前記訓練画像に含まれる、
請求項３から請求項７のいずれか一項に記載の方法。

【請求項9】

前記セグメント化関数が、ニューラルネットワークである、
請求項１から請求項８のいずれか一項に記載の方法。

【請求項10】

請求項３から請求項９のいずれか一項に記載のアトラス画像を選択する方法を有する、
請求項１に記載の医療画像セグメント化のための方法。

【請求項11】

セグメント化関数を記憶するセグメント化関数ストレージであって、前記セグメント化関数が、医療入力画像を受信する、及び画像セグメントを生成する、セグメント化関数ストレージと、
複数のアトラス画像を記憶するアトラスストレージと、
医療画像を受信する通信インターフェースと、
プロセッサシステムであって、
受信された前記医療画像を前記複数のアトラス画像に位置合わせし、したがって、複数の位置合わせされた画像と、受信された前記医療画像を前記複数のアトラス画像に位置合わせする複数の対応する位置合わせ変換とを取得することと、
前記複数の位置合わせされた画像に前記セグメント化関数を適用して、複数の位置合わせされた画像セグメントを取得することと、
複数の前記位置合わせされた画像セグメントに前記複数の対応する位置合わせ変換の逆変換を適用して、複数の画像セグメントを取得することと、
前記複数の画像セグメントから出力セグメントを決定することと、
をするための、プロセッサシステムと、
を備える、医療画像セグメント化システム。

【請求項12】

セグメント化関数を記憶するセグメント化関数ストレージであって、前記セグメント化関数が、医療入力画像を受信する、及び画像セグメントを生成する、セグメント化関数ストレージと、
複数のテスト画像と対応するテスト画像セグメントとを記憶するテスト画像ストレージと、
プロセッサシステムであって、
関連する前記テスト画像セグメントを、前記セグメント化関数により生成された画像セグメントと比較することにより、前記複数のテスト画像に対するセグメント化品質を決定することと、
閾値より高いセグメント化品質をもつアトラス画像として前記テスト画像のうちの１つ又は複数を選択することと、
をするための、プロセッサシステムと、
を備える、医療画像セグメント化方法又はデバイスにおける使用のためのアトラス画像選択システム。

【請求項13】

プロセッサシステムにより実行されたとき、請求項１から請求項１０のいずれか一項に記載の方法を前記プロセッサシステムに実施させる命令を表すデータを含む、
一時的な又は非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書において開示される主題は、医療画像セグメント化のための方法、医療画像セグメント化方法における使用のためのアトラス画像を選択する方法、医療画像セグメント化システム、アトラス画像選択システム、及びコンピュータ可読媒体に関する。

【背景技術】

【0002】

正確な、及びロバストな医療画像セグメント化は依然として困難を伴うタスクである。

【0003】

医療画像セグメント化に対する１つのアプローチは、マルチアトラスベースの画像セグメント化方法である。これらの方法は、アトラスとして知られるセグメント化された参照画像の限られた集合を使用して構築され得る。残念ながら、アトラスベースの方法は多くの場合、所望の正確さを欠いている。位置合わせ方法、及び医療画像セグメント化に対するその適用の例は、Ａ． Ｓｏｔｉｒａｓらによる「Ｄｅｆｏｒｍａｂｌｅ ｍｅｄｉｃａｌ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ：ａ ｓｕｒｖｅｙ」、又は、Ｂ．Ｂ．Ａｖａｎｔｓらによる「Ｓｙｍｍｅｔｒｉｃ ｄｉｆｆｅｏｍｏｒｐｈｉｃ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｗｉｔｈ ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ：ｅｖａｌｕａｔｉｎｇ ａｕｔｏｍａｔｅｄ ｌａｂｅｌｉｎｇ ｏｆ ｅｌｄｅｒｌｙ ａｎｄ ｎｅｕｒｏｄｅｇｅｎｅｒａｔｉｖｅ ｂｒａｉｎ」に記載されており、両方の論文が参照により本明細書に含まれる。

【0004】

医療画像セグメント化に対する別のアプローチは、ニューラルネットワーク、例えば畳み込みニューラルネットワークである。医療画像セグメント化に適したニューラルネットワークの例は、Ｇｒｏｚａらによる論文「Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ－ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｏｒｇａｎ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ａｂｄｏｍｉｎａｌ ＣＴ ｉｍａｇｅｓ」、又は、Ｔ．Ｂｒｏｓｃｈ及びＡ．Ｓａａｌｂａｃｈによる「Ｆｏｖｅａｌ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｓ ｆｏｒ ｍｕｌｔｉ－ｏｒｇａｎ ｓｅｇｍｅｎｔａｔｉｏｎ」に記載されており、両方の論文が参照により本明細書に含まれる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ニューラルネットワークベースのアプローチは、正確なセグメント化アルゴリズムの効率的な構成を可能にする。残念ながら、ニューラルネットワークは、わずかに異なる特性を伴う新しいデータ集合に対して適切に一般化しない。訓練されたニューラルネットワークに、それが訓練されるときに基礎とした画像からわずかでも外れている新しい画像を提示するとき、結果として得られるセグメント化は完全に正しくない。

【0006】

一方では正確なセグメント化を可能にするが、また一方では馴染みのない画像に対してより良く一般化する医療画像セグメント化方法に対する要望が存在する。

【課題を解決するための手段】

【0007】

これらの課題及び他の課題を解決するために、セグメント化関数と複数のアトラス画像との両方を使用する医療セグメント化方法が提供される。更に、医療画像セグメント化方法における使用のためのアトラス画像を選択する方法が提供される。更に、対応するデバイス及びソフトウェアが提供される。

【0008】

医療画像の正確な、及びロバストなセグメントを生成しながら、更に、わずかに異なる特性を伴う新しいデータ集合に対して適切に一般化する機械学習ベースのセグメント化アルゴリズムが取得される。改善された一般化は、訓練データの量を減らすために使用される。

【0009】

セグメント化関数が馴染みのあるアトラス画像、例えばセグメント化関数が適切にパフォーマンスを発揮するアトラス画像に画像を位置合わせすることにより、正確なセグメント化が実現される可能性が高い。例えばセグメント化能力の崩壊を示す障害モードのセグメントをセグメント化関数が生成する対象となる画像に対して、セグメント化関数が適用されることが避けられる。複数のアトラス画像に画像を位置合わせすることにより、それらの大部分が悪いセグメント化出力を示す確率が小さくされ、処理の精度が改善される。例えばアトラス又は入力画像の偶発的な異常性が結果を支配することが避けられる。複数のプレディクタの集合を適切な投票スキームと組み合わせることにより、それらの予測パフォーマンスを改善する。

【0010】

アトラス画像選択の実施形態の利点は、セグメント化関数の訓練が完了した後にアトラス画像選択が実施されることである。実際、セグメント化関数の訓練は、アトラス画像選択に依存しない。このことは、実施形態により既存のセグメント化関数を強化することを可能にする。

【0011】

例えば、一実施形態において、セグメント化関数は、機械学習セグメント化関数である。例えば、訓練画像は、セグメント化関数を訓練するために使用される。例えば、セグメント化関数は、例えばニューラルネットワーク、例えば畳み込みニューラルネットワーク（ＣＮＮ）である。ニューラルネットワークに代えて、機械学習セグメント化関数は、デシジョンフォレストである。機械学習セグメント化関数は、ニューラルネットワークの集合体である。例えば、最終結果は、集合体における個々のネットワーク応答の結果から組み立てられる。例えば、ニューラルネットワークの集合体は、異なるパラメータを使用して訓練される。

【0012】

ｎ個の訓練画像の部分集合が、アトラス画像として選択される。新しい画像をセグメント化するために、新しい画像が選択されたｎ個のアトラス画像と位置合わせされ、セグメント化関数が、ｎ個のセグメントを取得するために、位置合わせされた画像に適用される。例えば、これらは、ピクセル又はボクセルセグメントである。対応する逆変換をｎ個のセグメントの各々に適用した後、結果として得られるセグメントは、例えば、最終的なセグメントを取得するために多数決を使用して融合される。

【0013】

セグメント化のための方法及び／又はアトラス画像を選択する方法は、電子デバイスにおいて、例えばコンピュータにおいて実現される。本明細書において説明されているセグメント化方法は、広範囲の実用的な用途に、例えば、診断、定量化、又は処置計画のための臨床ワークステーション又はウェブ／クラウドベースの臨床アプリケーションに適用される。

【0014】

例えば、これらに限定されないが、標準的なＸ線イメージング、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、陽電子放射断層撮影（ＰＥＴ）、単光子放射型コンピュータ断層撮影（ＳＰＥＣＴ）、及び核医学（ＮＭ）といった様々な獲得モダリティにより獲得された多次元画像データに、例えば二次元（２Ｄ）、三次元（３Ｄ）、又は四次元（４Ｄ）画像に本方法が適用されることを当業者は理解する。

【0015】

本方法の一実施形態は、コンピュータにより実現される方法としてコンピュータにおいて、若しくは、特別なハードウェアにおいて、又は、両方の組み合わせとして実現されてもよい。本方法の一実施形態のための実行可能コードは、コンピュータプログラムプロダクトに格納されてもよい。コンピュータプログラムプロダクトの例は、メモリデバイス、光ストレージデバイス、集積回路、サーバー、オンラインソフトウェアなどを包含する。好ましくは、コンピュータプログラムプロダクトは、プログラムプロダクトがコンピュータにおいて実行されたときに本方法の実施形態を実施するためのコンピュータ可読媒体に記憶された非一時的プログラムコードを含む。

【0016】

一実施形態において、コンピュータプログラムは、コンピュータプログラムがコンピュータにおいて実行されたときに本方法の実施形態のステップの全部又は一部を実施するように適応されたコンピュータプログラムコードを含む。好ましくは、コンピュータプログラムは、コンピュータ可読媒体において具現化される。

【0017】

更なる詳細、態様、及び実施形態が、図面を参照しながら例示として説明される。図における要素は、簡潔かつ明確であるように描かれ、一定の縮尺で描かれているとは限らない。図において、既に説明されている要素に対応した要素が、同じ参照符号を付されている場合がある。

【図面の簡単な説明】

【0018】

【図1a】医療画像セグメント化システムの実施形態の例を概略的に示す図である。

【図1b】アトラス画像選択システムの実施形態の例を概略的に示す図である。

【図2a】セグメント化関数の実施形態の例を概略的に示す図である。

【図2b】画像セグメント化の実施形態の例を概略的に示す図である。

【図2c】セグメント化品質決定の実施形態の例を概略的に示す図である。

【図3】医療画像セグメント化のための方法の実施形態の例を概略的に示す図である。

【図4a】医療画像セグメント化方法における使用のためのアトラス画像を選択する方法の実施形態の例を概略的に示す図である。

【図4b】医療画像セグメント化方法における使用のためのアトラス画像を選択する方法の実施形態の例を概略的に示す図である。

【図5a】医療画像セグメント化のための方法の実施形態の例を概略的に示す図である。

【図5b】医療画像セグメント化方法における使用のためのアトラス画像を選択する方法の実施形態の例を概略的に示す図である。

【図6a】医療画像の実施形態の例を概略的に示す図である。

【図6b】医療画像の実施形態の例を概略的に示す図である。

【図6c】正しく動作しているセグメント化関数の実施形態の例に対するダイススコアを概略的に示す図である。

【図6d】障害モードを示すセグメント化関数の実施形態の例に対するダイススコアを概略的に示す図である。

【図7a】実施形態によるコンピュータプログラムを含む書き込み可能部分を含むコンピュータ可読媒体を概略的に示す図である。

【図7b】実施形態によるプロセッサシステムの表現を概略的に示す図である。

【発明を実施するための形態】

【0019】

本明細書において開示される主題は多くの異なる形態をとる実施形態を許容するものであるが、本開示は本明細書において開示される主題の原理の例と考えられ、本明細書において開示される主題を示される、及び説明される特定の実施形態に限定することを意図したものではないという理解のもとに、１つ又は複数の特定の実施形態が図面に示されており、及び本明細書において詳細に説明される。

【0020】

以下で、理解のために、動作中における実施形態の要素が説明される。しかし、それぞれの要素により実施されると説明されている機能を実施するようにそれぞれの要素が構成されていることが明らかとなる。

【0021】

更に、本明細書において説明されている、又は相互に異なる従属請求項に記載されている特徴が組み合わされてもよいので、本明細書において開示される主題は実施形態に限定されない。

【0022】

図１ａは、医療画像セグメント化システム１１０の実施形態の例を概略的に示す。例えば、画像セグメント化システム１１０は、例えば本明細書に示されている画像セグメント化方法のために構成される。図１ｂは、アトラス画像選択システム１６０の実施形態の例を概略的に示す。例えば、システム１６０は、本明細書に示されているアトラス画像を選択する方法のために構成される。例えば、システム１６０において選択されたアトラス画像は、画像セグメント化のためのシステム１１０において使用される。

【0023】

医療画像セグメント化システム１１０とアトラス選択システム１６０とは、別々のシステムであってもよい。医療画像セグメント化システム１１０とアトラス選択システム１６０とは、機械学習システム１００において組み合わされてもよい。システム１００は、アトラス選択のために、及び画像セグメント化のために構成される。それは、セグメント化関数訓練の一部及び／又は新しい画像におけるセグメント化の一部である。

【0024】

例えば、医療画像セグメント化システム１１０は、生成環境において使用される。例えば、医療画像セグメント化システム１１０は、新しい画像のセグメントを生成するために医療専門家又は医療イメージングシステムのオペレーターなどにより使用される。医療画像セグメント化システム１１０におけるセグメント化関数は、典型的には機械学習セグメント化関数であり、例えばセグメント化関数は、複数の訓練画像に基づいて訓練されるか、又は訓練されたものである。便宜上、セグメント化関数は機械学習タイプのものであることが仮定されるが、これが厳密に必要とされるとは限らない。例えば、手作りされるセグメント化関数、例えば専門家システムなどが実施形態により更に改善され得る。機械学習セグメント化関数は、例えば、入力として画像を受信するように、及び出力としてセグメントを生成するように構成されたニューラルネットワークを含むが、これが必須というわけではない。例えば、セグメント化関数は、例えば深層フォレストといった他の機械学習関数を備え、又は、１つ又は複数の機械学習関数の集合体を備える。

【0025】

例えば、アトラス画像選択システム１６０は、画像セグメント化システム１１０を準備するときに使用される。例えば、システム１６０は、システム１１０のセグメント化関数を訓練するためにシステムと一緒に使用される。例えば、システム１６０は、画像セグメント化システム１１０において使用されるセグメント化関数のパラメータを訓練するように更に構成される。それは任意選択的であるが、例えばセグメント化関数の訓練は、異なるデバイスにより実施されてもよい。実際、セグメント化関数の訓練が完了した後にアトラス画像が選択され得ることは利点である。興味深いことに、完全に訓練されたセグメント化関数は、任意のソースから、例えば何らかのサードパーティーから取得され、その後、アトラス画像がそのために選択される。この手法により、画像セグメント化のための任意の既存のセグメント化関数の精度及びロバスト性が後で高められる。アトラス画像の使用がセグメント化関数の設計又は訓練中に意図したものでも予測されたものでもない場合でも、これが維持される。

【0026】

画像セグメント化システム１１０は、プロセッサシステム１３０、メモリ１４０、及び通信インターフェース１５０を備える。画像セグメント化システム１１０は、セグメント化関数ストレージ１１２と及びアトラス画像ストレージ１１４と通信するように構成される。

【0027】

セグメント化関数ストレージ１１２は、セグメント化関数を記憶するように構成され、セグメント化関数は、医療入力画像を受信するように、及び画像セグメントを生成するように構成される。アトラスストレージ１１４は、複数のアトラス画像を記憶するように構成される。

【0028】

アトラス画像選択システム１６０は、プロセッサシステム１７０、メモリ１８０、及び通信インターフェース１９０を備える。システム１６０は、例えばシステム１１０におけるものと同様なセグメント化関数ストレージ１１２、及びテスト画像ストレージ１６４を備える。

【0029】

セグメント化関数ストレージ１１２は、セグメント化関数を記憶するように構成される。セグメント化関数は、医療入力画像を受信するように、及び画像セグメントを生成するように構成される。

【0030】

テスト画像ストレージ１６４は、複数のテスト画像及び対応するテスト画像セグメントを記憶するように構成される。

【0031】

ストレージ１１２、１１４及び１６４は、例えばローカルハードドライブ又はメモリといった、システム１１０又は１６０のローカルストレージである。ストレージ１１２、１１４及び１６４は、例えばクラウドストレージといった非ローカルストレージであってもよい。その場合において、ストレージ１１２、１１４及び１６４は、非ローカルストレージに対するストレージインターフェースとして実現されてもよい。

【0032】

システム１１０及び／又は１６０は、コンピュータネットワークを介して、相互に、外部ストレージ、入力デバイス、出力デバイス、及び／又は、１つ又は複数のセンサーと通信する。コンピュータネットワークは、インターネット、イントラネット、ＬＡＮ、ＷＬＡＮなどであってもよい。コンピュータネットワークは、インターネットであってもよい。システムは、システム内において、又は必要に応じてシステムの外部と通信するように構成された接続インターフェースを備える。例えば、接続インターフェースは、コネクタ、例えば有線コネクタ、例えばＥｔｈｅｒｎｅｔコネクタ、光コネクタなど、又は、無線コネクタ、例えばアンテナ、例えばＷｉ－Ｆｉ、４Ｇ又は５Ｇアンテナを備える。

【0033】

通信インターフェースは、セグメント化のための入力画像、アトラス画像、セグメント化関数パラメータ、出力画像などを送信する、又は受信するために使用される。

【0034】

システム１１０及び１６０の実行は、プロセッサシステム、例えば１つ又は複数のプロセッサ回路、例えばマイクロプロセッサにおいて実現され、その例が本明細書に示されている。システム１１０は、ストレージ部を含んでもよく、含んでいなくてもよい１つのデバイスにおいて実現される。システム１６０は、ストレージを含んでいてもよく、含んでいなくてもよい１つのデバイスにおいて実現される。システム１１０及び１６０は、１つのシステム又はデバイスなどにおいて実現される。システム１１０及び／又は１６０は、画像セグメント化方法及び／又はアトラス選択方法の実施形態の要素、例えばステップ、又は部分などのために構成される機能ユニットを備える。機能ユニットは、システム１１０及び１６０に、例えばシステム１１０及び１６０の電子メモリに記憶されたコンピュータ命令により全体的に、又は部分的に実現され、システム１１０及び１６０のマイクロプロセッサにより実行可能である。ハイブリッド型の実施形態において、機能ユニットは、ハードウェア、例えばコプロセッサ、例えばセグメント化関数コプロセッサ、グラフィックコプロセッサなどにより部分的に実現され、及び、システム１１０及び１６０において記憶された、及び実行されるソフトウェアにおより部分的に実現される。セグメント化関数のパラメータ及び／又は訓練データは、システム１１０及び１６０においてローカルに記憶され、又は、クラウドストレージに記憶される。

【0035】

図２ａは例えば、画像セグメント化方法の実施形態において、及び／又はアトラス画像選択方法の実施形態において使用されるセグメント化関数２１０の実施形態の例を概略的に示す。例えば、セグメント化関数２１０は、医療入力画像２１２を受信するように、及び画像セグメント２１４を生成するように構成される。例えば、セグメント化関数は、２Ｄ又は３Ｄ画像Ｉを受信するように、及び、注釈、例えばセグメントＡを生成するように構成される。セグメントは、２値画像である。例えば、画像は肺の画像であり、セグメントは、入力画像のピクセル／ボクセルが肺に対応するか否かを示す２値画像である。セグメント化関数２１０は、対応する注釈Ａ_１，Ａ_２，…，Ａ_ｍを伴う画像集合Ｉ_１，Ｉ_２，…，Ｉ_ｍに基づいて訓練され、又は訓練されたものである。セグメント化関数の訓練は、従来の手法で行われる。例えば、ニューラルネットワークは、例えばバックプロパゲーションを使用して訓練される。訓練は、Ａｄａｍオプティマイザーを使用する。

【0036】

図２ｂは、画像セグメント化の実施形態の例を概略的に示す。医療画像２１３が図２ｂに示されている。医療画像２１３は、例えば肺、腎臓、心臓などといった関心オブジェクトだけでなく、関心のないオブジェクトを示す。画像２１３において、関心オブジェクトは、正方形により概略的に示されている。セグメント２１５は、この場合、黒色ピクセルが関心オブジェクトの存在を示す２値画像である。

【0037】

２値画像に代えて、セグメントは、例えば１つより多い関心オブジェクトを示すために、２つより多い異なる分類を含んでもよい。例えば、セグメントは、入力におけるピクセル又はボクセルに対して、それらがどのオブジェクトに属するかを示す二次元又は三次元アレイである。その次元に沿ったセグメントのサイズは、入力画像のものと同じであってもよいが、サイズは、より小さくてもよく、例えば、１つの出力要素は、例えばピクセル／ボクセルといった複数の入力要素を分類する。その次元に沿ったセグメントのサイズは、より大きいものでもよく、例えば形状ベースの補間が結果をアップサンプリングするために使用される。

【0038】

一実施形態において、入力画像は腹部ＣＴであり、関心オブジェクトは、肝臓、脾臓、左腎、及び右腎である。セグメント化関数は、例えばＵタイプの、又はＦタイプの、例えば深層畳み込みニューラルネットワーク（ＣＮＮ）といったニューラルネットワークである。セグメント化関数は、他のオブジェクト及び画像モダリティ、例えば動脈、骨など、又はＭＲＩ、ｘ線などに対して更に訓練される。セグメント化方法は、例えば解剖学的に正常な、例えば平均的なヒトに対して存在する解剖学的特徴といった医療画像の共通の解剖学的特徴を示す。セグメント化方法は、更に、又は代替的に医療異常、例えば腫瘍、骨折などを示す。

【0039】

図３は、医療画像セグメント化のための方法の実施形態の例を概略的に示す。図５ａは、医療画像セグメント化のための方法４００の実施形態の例を概略的に示す。図３は、方法４００に使用されるデータ構造体及びデータ項目を示す。また一方では図３に示されるデータ構造体及びデータ項目などは、方法４００の実施形態を使用して操作される。

【0040】

方法４００は、セグメント化関数２１０を取得すること４１０を有し、セグメント化関数は、医療入力画像を受信するように、及び画像セグメントを生成するように構成される。

【0041】

例えば、セグメント化関数２１０は、畳み込みネットワーク、又はＲｅｓＮｅｔタイプアーキテクチャなどである。セグメント化関数を取得することは、ストレージからセグメント化関数を入手すること、又はコンピュータネットワークなどからセグメント化関数を受信することを有する。セグメント化関数は、セグメント化関数パラメータの集合体として表される。

【0042】

典型的には、セグメント化関数２１０は、アトラス画像選択前に完全に訓練されるが、これが必須というわけではない。例えば、アトラス選択後に、入力画像位置合わせが含められながら、セグメント化関数が更に訓練される。例えば、これは、微調整である。実際、訓練中、複数の位置合わせされた入力画像に対して複数のセグメント化関数アプリケーションを実施しさえし、及び、例えば一実施形態において、結果として得られる複数のセグメントを融合し、及び、最終的な融合されたセグメントからの誤差信号を演算する。その誤差信号は、更なる訓練、例えば微調整のために使用される。このアプローチの利点は、セグメント化関数が選択されたアトラス画像とともに使用するために最適化されることである。しかし、この微調整は必要とされず、例えば、それを更に訓練することを必要とせずにセグメント化関数のパフォーマンスをブーストする手法としてアトラス選択を使用してもよい。

【0043】

方法４００は、複数のアトラス画像３２０を取得すること４２０を有する。アトラス画像３２１、３２２及び３２３が図３に示されている。より多い、又はより少ないアトラス画像が存在してもよい。例えば、４つ以上の、８つ以上の、１６個以上のアトラス画像が存在してもよい。アトラス画像は、アトラス画像選択のための方法に従って選択されたものである。例えば、アトラス画像は、様々なポジティブな特性に対して選択されたものである。例えば、アトラス画像は、適切にセグメント化する。例えば、アトラス画像は、画像母集団の良い断面を表す。

【0044】

方法４００は、医療画像３１２を受信すること４３０を有する。例えば、医療画像は、医療イメージングデバイス、例えばＣＴデバイス、ＭＲＩデバイス、Ｘ線デバイスなどから取得される。例えば、画像は、ピクセルの２Ｄアレイ、又はボクセルの３Ｄアレイとして表される。画像は圧縮されてもよく、又は、生の形式などによるものであってもよい。

【0045】

方法４００は、受信された画像３１２を複数のアトラス画像に位置合わせすること４４０を有し、ひいては複数の位置合わせされた画像３３０、及び複数のアトラス画像に受信された画像を位置合わせするように構成された複数の対応する位置合わせ変換を取得することを有する。図３は、位置合わせされた画像３３１、３３２及び３３３を示す。明確となるように、対応する変換は図３に示されていない。図３は、アトラス画像３２０に画像３１２を位置合わせするように構成された位置合わせ関数３２５を示す。

【0046】

画像位置合わせは、ソース画像が、対象画像とより良くアライメントするように変換される工程である。関数３２５の場合、画像３１２はソース画像であり、続いてアトラス画像は対象画像として機能する。位置合わせ関数は、変換の規定のクラスから許容される変換を選択するように構成される。例えば、変換のクラスは、例えば、並進移動位置合わせ、剛体位置合わせ、類似性位置合わせ、アフィン位置合わせ、又は非剛体位置合わせである。剛体変換は並進移動と回転とを含む。類似性変換は並進移動、回転、及び拡大縮小を含む。位置合わせの選択は、損失関数を最適化することを通したものである。

【0047】

位置合わせ関数３２５に対して、弾性位置合わせが使用される。例えば、微分同相写像が、位置合わせ関数３２５により選択される。弾性変換は、ソース画像と対象画像との間の近いアライメントを可能にする。したがって、アトラス画像のセグメント化品質は、変換された画像によりマッチングさせられることが想定される。

【0048】

１つの入力３１２の位置合わせの後、例えば各アトラス画像に対して１つというように、複数の位置合わせされた画像が取得される。画像３１２をアトラス画像と位置合わせするとき、関数３２５は位置合わせされた画像だけでなく、更に画像３１２をアトラス画像に写像する変換を生成する。例えば、入力画像Ｉ及びアトラス画像Ｉ_ｉが与えられたとき、結果として得られる変換は変換クラスから選択され、したがって、Ｔ_ｉ（Ｉ）は少なくともある程度画像Ｉ_ｉとアライメントする。

【0049】

方法４００は、複数の位置合わせされた画像３３０にセグメント化関数２１０を適用すること（４５０）を有し、ひいては複数の位置合わせされた画像セグメント３４０を取得することを有する。例えば、セグメント化関数ＮＮはＮＮ（Ｔ_ｉ（Ｉ））として適用され、ここで、ｉはアトラス画像の数の範囲の値をとる。セグメント化関数の出力は、画像３１２と同じか、又はより小さい次元の二次元又は三次元アレイである。アレイの要素は、セグメント化関数により決定されたセグメントを示す。セグメント要素は、対応するピクセル／ボクセルのタイプを示す値であるが、ベクトルであってもよい。例えば、ｐ個のオブジェクトへのセグメント化が望まれる場合である。セグメント化関数の出力アレイにおける要素は、ｐ次元ベクトルである。ベクトルにおける要素は、観測されたオブジェクトを示す。ベクトルの和は１であり、又は１などにスケール調整される。

【0050】

方法４００は、複数の位置合わせ変換の逆変換を複数の画像セグメント３４０に適用すること（４６０）を有し、ひいては、複数の画像セグメント３５０を取得することを有する。例えば、方法は、

【数1】

を演算する。セグメント化関数の入力及び出力のサイズが異なる場合、逆変換

【数2】

は、より小さいアレイに適合するようにダウンサンプリングされる必要がある。例えば、それは、補間により実行され得る。

【0051】

方法４００は、複数の画像セグメントから出力セグメント３６１を決定すること（４７０）を有する。例えば、決定することは、多数決を有する。例えば、画像セグメント３５０は２値画像を含み、セグメント３１６は２値画像を更に含み、２値画像において、ピクセル値は、セグメント３５０の対応するピクセルにおいて最も頻繁に発生する値により決定される。同じアプローチは、２値画像の代わりに多値画像に対して使用されてもよい。セグメント３５０が、ｐ次元ベクトルを含む例えば２Ｄ又は３Ｄアレイといったアレイである場合、対応するベクトル要素は、何らかの平均関数に従って平均化される。例えば、セグメント３５０の例えばピクセルなどといった同じ要素に各々が対応したベクトルｖ_ｉの集合が与えられたとき、１／ｎΣｖ_ｉとしてセグメント３６１における対応するベクトルを決定し得る。興味深いことに、多数決関数は、例えば二乗平均平方根といったべき乗平均を使用することにより近似される。例えば、

【数3】

であり、ここで、ｄ乗は成分毎に演算される。例えば、ｄ≧２を選択する。例えば２以上といった、より大きい値のｄを使用することは、多数決に似た決定が演算されるという利点をもつとともに、単一値分類器に代えてベクトルを使用した多オブジェクトセグメント化を依然として可能にする。

【0052】

上述のとおり、画像セグメント化のために訓練されたセグメント化関数は、アトラス画像に向けて画像を位置合わせすることにより拡張される。これは、１つのセグメントの代わりに、セグメント化関数が、複数のセグメントを提供するように強制されるという利点をもつ。これらのセグメントは本質的には同じ画像に対するものであるが、この情報はセグメント化関数にとって利用可能ではない。

【0053】

幾つかの種類のセグメント化関数は、何らかの変換に対して不変である。例えば、セグメント化関数が畳み込みニューラルネットワークを含む場合、セグメント化関数は、少なくともある程度、並進移動のもとで不変であるが、これはわずかに更に複雑な変換に対して維持されない。実際、畳み込みネットワークは、例えば微分同相変換といった弾性変換はもちろんのこと、典型的には剛体変換のもとでも不変ではない。したがって、画像３１２がセグメント化関数２１０の障害モードに陥るということが発生した場合、これは、位置合わせされたバージョンの画像３１２に対して正しくない可能性があり、更には位置合わせされた画像３３０の大部分に対して発生する可能性がより低い。

【0054】

一実施形態において、セグメント化関数は位置合わせ品質を決定するために使用される、及び／又は画像セグメント化のために使用される変換クラスのもとで不変でない。例えば、一実施形態において、セグメント化関数は第１の変換集合のもとで不変であり、第２の変換集合が、位置合わせ品質を決定するために使用され、及び／又は画像セグメント化のために使用され、ここで、第２の集合は第１の集合より大きく、例えば第１の集合は第２の集合の部分集合である。例えば、一実施形態において、セグメント化関数は畳み込みニューラルネットワークを含み、位置合わせ品質を決定するために使用される、及び／又は画像セグメント化のための変換は、変換集合より大きく、例えば、回転を更に含む。

【0055】

例えば、画像３１２が誤ってセグメント化される確率が約５％であり、及び１０個のアトラス画像が使用されると仮定した場合、過半数が誤ってセグメント化される確率は、おおむね、

【数4】

である。それは、はるかに小さい値である。上述の演算は、セグメント化関数の様々な適用の間の独立を仮定しているが、セグメント化関数から取得された複数のセグメント間の依存の主な要因は、イメージングの障害によりもたらされる。例えば、入力画像が例えばイメージングデバイスの障害によりもたらされる非常に低い品質のものである場合、セグメント化関数のあらゆる適用は、あらゆる位置合わせに対して失敗する。しかし、このような障害モードは、セグメント化関数技術とは異なる要因に起因し得る。上述の１０個のアトラス画像の数は例である。障害確率の低減は、より少ないアトラス画像によっても実現される。

【0056】

アトラス画像は、セグメント化関数が訓練される基礎になった画像から選択され得る。例えば、ランダムにアトラス画像を選択し得る。訓練画像からアトラス画像を選択することは、セグメント化関数がそれらの画像に馴染みがある可能性があるという利点をもつ。しかし、より良い結果は、例えば本明細書において説明されているような、より注意深い選択により達成される。

【0057】

図４ａは、医療画像セグメント化方法における使用のためのアトラス画像を選択する方法の実施形態の例を概略的に示す。図５ｂは、医療画像セグメント化方法における使用のためのアトラス画像を選択する方法５００の実施形態の例を概略的に示す。アトラス画像は、例えば方法４００といった方法のために選択される。

【0058】

例えば、方法５００は、図４ａに示されているデータ項目及び構造体を使用し、及び逆も同様である。方法５００は、以下で説明される図４ｂに示されるデータを更に使用する。

【0059】

方法５００は、入力画像を受信するように、及び画像セグメントを生成するように構成されたセグメント化関数２１０を取得すること（５１０）を有する。セグメント化関数２１０は、生成用途に使用されるセグメント化関数と同じである。上述のように、セグメント化関数はニューラルネットワークを含み、例えばＵ又はＦ ｎｅｔ、ＣＮＮなどが使用される。

【0060】

方法５００は、複数のテスト画像６１０及び対応するテスト画像セグメント６２０を取得すること（５２０）を有する。例えば、複数のテスト画像６１０は、セグメント化関数２１０の訓練から取得される。例えば、セグメント化関数２１０は、訓練画像及び訓練画像セグメントの複数のペアに基づいて訓練される。例えば、バックプロパゲーション方法が、訓練集合に基づいてニューラルネットワークを訓練するために使用される。典型的には、何らかの画像集合が、テスト目的のために、例えばセグメント化関数の集束をテストするために残される。テスト画像６１０は、訓練のために使用される画像から、及び／又は、セグメント化関数をテストするために使用されるものから取得される。テスト画像６１０は、セグメント化関数が訓練される基礎になった画像が引き出された元になったものと同じ又は同様の画像分布から取得されることが好ましい。

【0061】

特に、全ての画像が例えば約１００未満の比較的少ない画像であった場合、テスト画像６１０は、セグメント化関数２１０が訓練される、及び／又はテストされる基礎になった全ての画像である。テスト画像６１０は、部分集合、例えば訓練及び／又はテストのために使用される画像のランダムな選択物であってもよい。それは、訓練／テスト画像の数が多かった場合に有用である。

【0062】

方法５００は、関連するテスト画像セグメント６２０を、セグメント化関数により生成された画像セグメントと比較することにより複数のテスト画像に対するセグメント化品質６３０を決定すること（５３０）を有する。例えば、テスト画像６１０は、例えばグランドトゥルースセグメント６２０といった関連するセグメントを含む。それは同様に、訓練又はテストにおいて使用されたものであってもよい。セグメント化品質を演算するための幾つかの手法が存在する。そうするための１つの手法は、グランドトゥルース画像セグメントとセグメント化関数により生成されたセグメントとの間のダイススコアを演算することである。例えば、セグメント化品質は、セグメント６２１とセグメント６３１との間のダイススコアを演算することにより画像６１１に対して取得される。高いダイススコアは良い重なりを示し、ひいては高いセグメント化品質を示す。

【0063】

方法５００は、閾値より高いセグメント化品質をもつアトラス画像として、テスト画像のうちの１つ又は複数を選択すること（５４０）を有する。例えば、例えば０．８より高いダイススコアといった、閾値より高いダイススコアが必要とされる。閾値は事前に規定される。閾値は動的であってもよい。例えば、アトラス画像は、最もパフォーマンスの良い画像から選択される。例えば、最悪のスコアの画像のうちのある割合は破棄される。

【0064】

本発明者らは、実際にはほとんどの画像がセグメント化において適切にパフォーマンスを発揮するが、例えば画像の約５％といったある割合は、ほとんどの画像より更に悪いセグメント化を示すことを見出した。画像のうちの最もパフォーマンスの良い９５％、又は９０％、又は８０％などからアトラス画像を選択することにより、セグメント化関数が悪いパフォーマンスを発揮する画像に基づいて入力画像３１２が位置合わせされること、ひいては、セグメント化関数が更に位置合わせされた画像に対して悪いパフォーマンスを発揮する可能性を高くすることが避けられる。

【0065】

例えば、一実施形態において、例えば下位５％といった、画像６１０の最悪のパフォーマンスを発揮する部分は破棄される。次に、アトラス画像が残りの画像から選択され、これはランダムに実行され、例えば、ランダムに１０個の画像を選択する。

【0066】

例えばセグメント化品質に加えて、又は場合によってはセグメント化品質に代えて、アトラス画像を選択することに対して更なる基準が課せられる。

【0067】

図２ｃは、セグメント化品質決定の実施形態の例を概略的に示す。例えばグランドトゥルースセグメントといった関連する真の画像セグメントとともに画像２１２が示されている。画像２１２は、生成された画像セグメント２１４を取得するためにセグメント化関数２１０によりセグメント化される。次に、生成された画像セグメント２１４及び真の画像セグメント２１６が、例えばセグメント化品質２１７を取得するために比較部２２０を使用して比較される。例えば、比較器２２０はダイススコアを演算する。

【0068】

図４ｂは、医療画像セグメント化方法における使用のためのアトラス画像を選択する方法の実施形態の例を概略的に示す。アトラス画像としてまだ選択されていない、及び、例えば過度に悪いセグメント化品質をもつという理由といった他の理由によりまだ破棄されていない画像６１０’が図４ｂに示されている。アトラス画像として既に選択された画像６５１が図４ｂにおいて更に示されている。例えば、画像６５１は、最良のセグメント化品質をもつものとして選択されたものであり、又は、良いセグメント化品質をもつ画像からランダムに選択されたものである。

【0069】

位置合わせ関数は、選択された画像６５１において画像６１０’に適用される。位置合わせ品質は、位置合わせされたテスト画像を選択されたテスト画像６５１と比較することにより取得される。この手法により、位置合わせ品質６４０が取得される。比較は、例えばダイススコアといった比較器２２０を使用する。例えば相関といった他の類似度の尺度がダイススコアの代わりに使用されてもよい。

【0070】

興味深いことに、及びセグメント化品質と異なり、低い位置合わせ品質をもつアトラス画像が選択される。低い位置合わせ品質は、画像が、アトラス画像として既に選択された画像と非常に異なることを示す。例えば、画像は、最低の位置合わせスコアをもつ。例えば、最良の位置合わせ品質をもつ画像が破棄され、１つ又は複数のランダムな画像が次に選択される。例えば、画像は、最低の位置合わせ品質をもつ画像のうちの５０％から選択される。

【0071】

一実施形態において、方法４００において、例えば位置合わせ関数３２５において実施される位置合わせは、位置合わせ品質を演算するために行われた位置合わせと同じクラスの変換から位置合わせを選択する。特に、アトラス画像選択及びフォーム画像セグメント化のための位置合わせタイプは、並進移動のみの変換、例えばシフト変換、剛体変換、類似性変換、アフィン変換、又は非剛体変換、例えば弾性変換、例えば微分同相変換である。その変換は、非弾性であるか、又は少なくともはるかに低弾性である。

【0072】

興味深いことに、方法４００において、例えば位置合わせ関数３２５において実施される位置合わせのために、異なる、例えば位置合わせ品質を演算するために行われた位置合わせより大きいクラスの変換から位置合わせを選択することが可能である。特に前者は、弾性位置合わせ、例えば微分同相変換である。その一方で後者の変換は、非弾性又は少なくともはるかに低弾性のものである。例えば、位置合わせ品質を演算するために剛体位置合わせを使用し得る。剛体変換は、変換及び回転を可能にするのみである。若干大きいクラスは、例えば変換、回転、及び拡大縮小、又はアフィン変換を可能にされる。

【0073】

方法４００における弾性位置合わせは、画像ができる限り近くでアトラス画像にマッチングすることを可能にし、したがって、アトラス画像のセグメント化品質と同等のセグメント化品質を取得することを可能にする。また一方では、弾性位置合わせは画像を過度に類似させるので、剛体変換は、より良い種々の画像が観測されることを可能にする。

【0074】

図４ｂでは、複数のテスト画像が１つのアトラス画像と比較される。例えば、セグメント化品質のみに基づいて第１のアトラス画像が選択された後に、第２のアトラス画像を選択するためにこれを使用する。例えば、これは、特定の以前に選択されたアトラス画像とは位置合わせタームの異なるアトラス画像を足し合わせるために使用される。そのアトラス画像は、既に選択されたアトラス画像からランダムに選択され、又は、例えば、選択された画像の各々を例えば１つずつ繰り返し使用する。

【0075】

別のアプローチは、テスト画像６１０’を１つの選択されたアトラス画像６５１と比較するのではなく、複数のアトラス画像と比較し、及び、現時点で選択されている全てのアトラス画像と比較しさえする。例えば、テスト画像６１０’と現時点で選択されているアトラス画像との間の位置合わせ品質を演算する。次に、テスト画像６１０’に対する全体的な位置合わせ品質を決定し得る。それは、例えば位置合わせ品質の平均である。高い平均は、位置合わせ品質が多くの場合高いことを示す。算術平均の代わりに、べき乗算術が使用されてもよく、これは、ほとんどのものと同様である場合でも、幾つかと非常に異なるアトラス画像を強調する。低い全体的な位置合わせ品質をもつ更なるアトラス画像を選択することは、セグメント化関数により独立したセグメントを与える可能性がより高い。また一方では、更なるアトラス画像が高いセグメント化品質をもつ場合、セグメント化関数は、それに対して適切なパフォーマンスをもたらす可能性がある。

【0076】

全体的な位置合わせに基づいて選択することは、過度に類似した画像を破棄すること、及び残りのものからランダムに選択することにより実行される。例えば本明細書に示されているように、他の選択方法も同様に可能である。

【0077】

例えば、以下の工程を使用する。

【0078】

１．関連する真のセグメントを含む、例えば１００個又は１０００個の訓練画像といった、テスト画像のランダムなプールを選択する。

【0079】

２．最悪のセグメント化品質をもつ、プールのａ％を破棄する。例えばａは５％である。

【0080】

３．現在のプールからランダムなアトラス画像を選択し、プールから選択された画像を除去する。

【0081】

４．選択されたアトラス画像と比較された、テスト画像のプールに対する全体的な位置合わせ品質を演算する。

【0082】

５．過度に高い全体的な位置合わせ品質をもつ画像をプールから破棄する。

【0083】

６．プールが空でない限り、又は十分な数のアトラス画像が選択されていない限り、パート３に進む。

【0084】

ステップ２は、相対スコアの代わりに絶対スコアを使用する。例えば、生成されたセグメントと真のセグメントとの間に０．８未満のダイススコアをもつ画像は破棄される。

【0085】

個々のテスト画像とアトラス画像との間の位置合わせ品質は記憶され、再度演算される必要はないので、ステップ４は効率的に実施される。したがって、１つのアトラス画像が追加された場合、テスト画像と追加されたアトラス画像との間の位置合わせ品質のみが演算される必要がある。

【0086】

ステップ５は、プールのｂ％、例えば同様に５％、又は若干高い、例えば２５％を除去する。しかし、固定のパーセンテージの代わりに更に絶対閾値が使用されてもよい。絶対閾値は、経験的に決定される。

【0087】

ランダムな選択に代えて、例えばステップ３において、最良のセグメント化品質をもつ画像、及び／又は、最悪の位置合わせ品質をもつ画像、又はそれらの組み合わせ、例えば加算したものなどを選択してもよい。上述のアトラス画像選択アルゴリズムは例であるが、異なる実施形態も可能である。

【0088】

概して、セグメント化品質及び／又は位置合わせ品質に対する限度は、絶対的であるか又は相対的であるかによらず、セグメント化問題の困難さ、セグメント化関数の品質、例えば訓練データの量、誤検出の許容範囲などに依存する。セグメント化関数がニューラルネットワークを含む場合、その品質はその深さに依存する。限度は、訓練画像の集合をテストデータとして分けて保持すること、及び結果として得られるセグメント化システムを評価することにより経験的に確立される。

【0089】

システム１１０及び１６０の様々な実施形態において、通信インターフェースは、様々な代替例から選択されてもよい。例えば、インターフェースは、ローカルエリアネットワーク又は広域ネットワーク、例えば、インターネットへのネットワークインターフェース、内部又は外部データストレージへのストレージインターフェース、キーボード、アプリケーションインターフェース（ＡＰＩ）などであってもよい。

【0090】

システム１１０及び１６０は、例えば、１つ又は複数のボタン、キーボード、ディスプレイ、タッチスクリーンなどのよく知られた要素を包含するユーザーインターフェースを含んでもよい。ユーザーインターフェースは、システムを構成すること、訓練集合に基づいてセグメント化関数を訓練すること、又は新しい画像データにシステムを適用すること、又はアトラス画像を選択することなどのためのユーザー対話に適応するように構成されてもよい。

【0091】

ストレージは、電子メモリ、例えばフラッシュメモリ、又は、磁気メモリ、例えばハードディスクなどとして実現されてもよい。ストレージは、ストレージ１４０、１８０を一緒に構成する複数の独立したメモリを備えてもよい。ストレージは、一時的なメモリ、例えばＲＡＭを包含する。ストレージは、クラウドストレージであってもよい。

【0092】

システム１１０は、１つのデバイスにおいて実現されてもよい。システム１６０は、１つのデバイスにおいて実現されてもよい。典型的には、システム１１０及び１６０の各々が、システムに記憶された適切なソフトウェアを実行するマイクロプロセッサを備え、例えば、そのソフトウェアは、ダウンロードされたもの、及び／又は、例えば揮発性メモリ、例えばＲＡＭ、又は不揮発性メモリ、例えばフラッシュといった対応するメモリに記憶されたものであってもよい。代替的に、システムは、プログラム可能論理部、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）において全体的に、又は部分的に実現されてもよい。システムは、いわゆる特定用途向け集積回路（ＡＳＩＣ）、例えば、それらの特定の使用のためにカスタマイズされた集積回路（ＩＣ）として全体的に、又は部分的に実現されてもよい。例えば、回路は、例えばハードウェア記述言語、例えばＶｅｒｉｌｏｇ、ＶＨＤＬなどを使用してＣＭＯＳにおいて実現されてもよい。特にシステム１１０及び１６０は、セグメント化関数の評価のための回路を備えてもよい。

【0093】

プロセッサ回路は、例えば複数のサブプロセッサ回路として分散された手法により実現されてもよい。ストレージは、複数の分散したサブストレージにわたって分散されてもよい。メモリの一部又は全てが、電子メモリ、磁気メモリなどであってもよい。例えば、ストレージは、揮発性の、及び不揮発性の部分を含んでもよい。ストレージの一部は、読み出し専用であってもよい。

【0094】

一実施形態において、テスト時間データ拡大が例えば方法４００に含まれる。セグメント化関数、例えばセグメント化関数２１０は、従来のセグメント化関数の訓練を使用し、例えば、セグメント化関数は、従来の機械学習アルゴリズムのために構成される。例えば、機械学習アルゴリズムは、デシジョンフォレストである。例えば、機械学習アルゴリズムは、ニューラルネットワークである。例えば、セグメント化関数は、ニューラルネットワーク、例えば畳み込みニューラルネットワーク（ＣＮＮ）、例えばＵ－ｎｅｔ又はＦ－ｎｅｔなどを含む。アトラス画像は、訓練画像から選択される。以下、幾つかの更なる任意選択的な修正、詳細事項、及び実施形態が示される。

【0095】

一実施形態において、ｎ≧２、例えばｎ＝１０個などのアトラス画像が使用される。セグメント化のための新しい画像は、ｎ個のアトラスに位置合わせされ、ｎ個の可逆変換をもたらす。セグメント化関数、例えばＣＮＮが、ｎ個の変換された画像の各々に適用され、ｎ個の注釈画像、例えばセグメント化画像をもたらす。位置合わせによりもたらされる逆変換が注釈画像に適用され、変換された注釈画像のラベルは、最終的なセグメント化を取得するために融合される。

【0096】

基本的なアイデアはより概括的には（例えばＲｅｓＮｅｔタイプニューラルネットワークアーキテクチャを使用して）画像分類などの他のタスクにも適用される。この場合においてセグメント化関数の適用後の逆変換ステップはスキップされ得る。

【0097】

セグメント化関数訓練は、対応する注釈Ａ_１，…，Ａ_ｍを伴うｍ個の２Ｄ又は３Ｄ画像Ｉ_１，…，Ｉ_ｍの集合を使用する。画像セグメント化のための２Ｄ／３Ｄセグメント化関数の訓練は、従来と同様に行われ得る。例えば、ニューラルネットワークは、例えばバックプロパゲーションを使用して、例えばＡｄａｍｓオプティマイザーを使用して訓練される。対応する注釈を伴うｍ個の画像は全体として、セグメント化関数の訓練のために使用され、又は訓練及びテスト集合に再分割される。

【0098】

アトラス選択は、アトラスとしてｍ個の画像のうちの部分集合であるｎ（≦ｍ）個を選択する。アトラスとして使用される個々の画像は、様々な基準を使用して選択される。１つの基準は、訓練中に観測されたセグメント化品質（例えば、訓練データの一部であるときの、訓練後の画像のダイススコア）であり得る。別の基準は、テスト中に観測されたセグメント化品質（例えば、テストデータの一部であるときの、訓練後の画像のダイススコア）であり得る。別の基準は、画像の差であり得る。例えば、剛体位置合わせが訓練画像に（例えばアトラス候補に）適用され、次に、既に選択された候補に対する位置合わせ後のダイススコアの観点から最小の相互の注釈の重なりを伴う候補が選択され、この処理は、ｎ個のアトラス画像を選択するために反復して繰り返される。

【0099】

画像対アトラス位置合わせ及び画像変換のために、多数のアルゴリズムが提示されており、医療画像位置合わせに適用されてきた。最近深層学習及びニューラルネットワークを利用した位置合わせアルゴリズムが更に使用されている。微分同相変換をもたらすアルゴリズムは、逆変換が簡単に取得され得るという利点をもつ。取り扱われる画像に応じて、相互相関などの同じモダリティの画像の位置合わせに適した、又は、相互情報量などの異なるタイプの画像の位置合わせに適した類似度の尺度が使用され得る。画像Ｉ_ｎｅｗ及びアトラス画像Ｉ_１，…，Ｉ_ｎへの（非剛体）位置合わせアルゴリズムの適用は、例えばＴ_ｉ（Ｉ_ｎｅｗ）として、新しい画像を対応するアトラスの空間に変換するｎ個の変換Ｔ_１，…，Ｔ_ｎをもたらす。

【0100】

アトラス画像が、セグメント化される新しい画像より大きい視野をもっている場合、アトラス画像は、新しい画像の視野を補完するために使用され得る。

【0101】

空間画像変換に加えて、新しい画像Ｉ_ｎｅｗの画像グレー値は、アトラス画像をより良く表すように変換されてもよい。この変換は、変換Ｔ_ｉに含まれる。例えば、パラメトリック変換が強度に適用され、強度変換後に新しい画像の結果として得られるヒストグラムがアトラス画像に対応するように、パラメータが決定される。

【0102】

変換された画像Ｔ_１（Ｉ_ｎｅｗ），…，Ｔ_ｎ（Ｉ_ｎｅｗ）、例えば複数の位置合わせされた画像は、以前に訓練されたセグメント化関数を使用してセグメント化され、注釈Ａ_{１，ｎｅｗ}，…，Ａ_{ｎ，ｎｅｗ}をもたらす。セグメント化後に、注釈は、新しい画像の空間に戻るように変換され、注釈

【数5】

，…，

【数6】

をもたらす。セグメント化関数は、例えば、ニューラルネットワーク、例えばＵ－Ｎｅｔ又はＦ－Ｎｅｔアーキテクチャを使用して実現され得るが、どの特定のタイプのネットワークにも限定されない。他のニューラルネットワークが代替的に使用され得る。

【0103】

ラベルの融合：注釈

【数7】

，…，

【数8】

が与えられたとき、新しい画像の最終的な注釈は、例えば多数決により構築され得、例えば、位置ｘにおける各ボクセルに対して、融合される注釈における位置ｘにおける最も頻度の高いラベルに対応したラベルが割り当てられる。他のラベルの融合技術が代替的に使用されてもよい。一実施形態において、例えば投票といった融合に関する情報は、更なる処理又はユーザーに対する標示のために使用され得る。例えば、オペレーターが可能性のある第２の選択肢が何であったかを知ることができるように、第２の、又は上位ｋ個のラベルが表示される。それは、迅速なフィードバックのために使用される。例えば、オペレーターが誤ったセグメントに直面したが、第２の、又は上位ｋ個の選択肢が正しかった可能性がある場合、この情報は、例えばセグメント化デバイスの入力デバイスを使用して提供される。例えば、オペレーターは、特定のオブジェクト又はピクセル／ボクセルが２番目に頻度の高いラベルに属することなどを示すためにマウスなどを使用し得る。この情報は、セグメント化関数を再訓練するために、又は微調整するために後で使用され得る。

【0104】

３Ｄ ＣＴ画像における肋骨及び脊柱のセグメントの例を使用した実施形態が示されている。図６ａは、このようなＣＴ－スキャンの視覚表現を示す。特に、Ｆ－ｎｅｔニューラルネットワークがこのタスクを解決するために訓練された。図６ａの画像は、ニューラルネットワークを含むセグメント化関数を使用してセグメント化されており、セグメント化関数の出力と専門家のセグメントとの間のダイススコアが演算されている。図６ｃの図は、６５２における脊椎に対するダイススコア、及び６６２における肋骨に対するダイススコアを示す。両方のスコアが高く、このことは、セグメント化関数が図６ａの画像において適切に機能していることを示すことに留意されたい。

【0105】

セグメント化関数におけるニューラルネットワークの訓練中に、この場合はＣＴデータ集合の最大７°の回転といった、データ拡大が使用された。正確な出力はこの範囲にわたるセグメント化関数から想定される。図６ｂは、図６ａと同じだが大幅に異なる配向、すなわち本例では４５°の回転を伴う画像を示す。この回転は別として、画像が同じであることに留意されたい。セグメント化関数が図６ｂに適用されたとき、結果として得られるダイススコアは、実質的により小さくなる。図６ｄの図は、６５４における脊椎に対するダイススコア、及び６６４における肋骨に対するダイススコアを示す。両方のスコアがより小さいことに留意されたく、このことは、セグメント化関数が図６ｂの画像において適切にパフォーマンスを発揮しないことを示す。脊椎に対するスコアが以前の値の約半分であることに留意されたく、このことは、この場合における脊椎オブジェクトに対する予測能力の崩壊を示す。

【0106】

図６ａのものに類似したアトラス画像に対する図６ｂに対する剛体位置合わせさえも、セグメント化関数のセグメント化能力を返す。より捉えにくい予測崩壊、例えば独特な解剖学的バリエーションによる要因が、非剛体位置合わせにより対処され得る。テスト画像ラベル融合の変換されたバージョンにセグメント化関数を適用することが、セグメントを改善する。

【0107】

例えば、セグメント化関数、アトラス画像、又はテスト画像は、内部的なものである、又は、例えばコンピュータケーブル又はコンピュータネットワークなどを介してアドレスされる外部的なものである電子記憶システムから取得される。セグメント化関数は、医療イメージングデバイス、例えばＣＴスキャナなどから取得される、例えば医療画像といった画像に基づいて訓練される。セグメント化のための医療画像を受信することは、上述の取得することと同じ手法により行われる。受信することは、内部的な、又は外部的な、ＡＰＩ又は他のインターフェースを介したものである。画像は、イメージングデバイスから医療端末において受信される。画像を位置合わせすること、位置合わせ又はセグメント化品質を決定することなどは、コンピュータなどの電子デバイスにおいて行われる。セグメント化関数に対するニューラルネットワークは、訓練中及び／又は適用中、例えば畳み込み層などを含む複数の層を含む。例えば、セグメント化関数におけるニューラルネットワークは、少なくとも２つ、５つ、１０個、１５個、２０個、又は４０個、又はそれより多くの隠れ層などを含む。ニューラルネットワークにおけるニューロンの数は、例えば少なくとも１０、１００、１０００、１００００、１０００００、１００００００、又は更に多くの数などである。

【0108】

当業者に明らかなように、例えば方法４００及び／又は５００といった本明細書における方法を実行する多くの異なる手法が可能である。例えば、ステップは、示される順序により実施され得るが、ステップの順序は変更されてもよく、又は幾つかのステップが並行して実行されてもよい。更に、ステップ間に他の方法のステップが挿入されてもよい。挿入されたステップは、例えば本明細書において説明されている方法の改良例を表してもよく、又は本方法に無関係であってもよい。幾つかの部分は、少なくとも部分的に並行して実行されてもよい。更に、所与の部分が、次のステップが始められる前に完全に終わっていなくてもよい。

【0109】

方法の実施形態は、プロセッサシステムに方法４００及び／又は５００を実施させるための命令を含むソフトウェアを使用して実行されてもよい。ソフトウェアは、システムの特定のサブエンティティにより行われるステップのみを有するものであってもよい。ソフトウェアは、例えばハードディスク、フロッピー、メモリ、光ディスクなどの適切な記憶媒体に記憶されてもよい。ソフトウェアは、有線により、又は無線により、又はデータネットワーク、例えばインターネットを使用して信号として送信されてもよい。ソフトウェアは、ダウンロードのために、及び／又は、サーバーにおける遠隔使用のために利用可能とされてもよい。方法の実施形態は、本方法を実施するようにプログラム可能論理部、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を形成するように構成されたビットストリームを使用して実行されてもよい。

【0110】

本明細書において開示される主題が本明細書において開示される主題を実現するように適応されたコンピュータプログラム、特に媒体上の、又は媒体内のコンピュータプログラムにも及ぶことが理解される。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び例えば部分的にコンパイルされた形態のオブジェクトコードの形態によるもの、又は本方法の実施形態の実現における使用に適した任意の他の形態によるものであってもよい。コンピュータプログラムプロダクトに関する一実施形態は、記載されている方法のうちの少なくとも１つの処理ステップの各々に対応したコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割されてもよく、及び／又は、静的に、又は動的にリンクされる１つ又は複数のファイルに記憶されてもよい。コンピュータプログラムプロダクトに関する別の実施形態は、記載されているシステム及び／又は製品のうちの少なくとも１つのデバイス、ユニット、及び／又は部分の各々に対応したコンピュータ実行可能命令を含む。

【0111】

図７ａは、コンピュータプログラム１０２０を含む書き込み可能部分１０１０を含むコンピュータ可読媒体１０００を示し、コンピュータプログラム１０２０は、実施形態によるセグメント化方法及び／又はアトラス選択方法をプロセッサシステムに実施させる命令を含む。コンピュータプログラム１０２０は、物理的なマークとして、又はコンピュータ可読媒体１０００の磁化によりコンピュータ可読媒体１０００において具現化されてもよい。しかし、任意の他の適切な実施形態も更に考えられる。更に、本例ではコンピュータ可読媒体１０００が光ディスクとして示されるが、コンピュータ可読媒体１０００は、任意の適切なコンピュータ可読媒体、例えばハードディスク、ソリッドステートメモリ、フラッシュメモリなどであってもよく、書き込み不能であってもよく、又は書き込み可能であってもよいことが理解される。コンピュータプログラム１０２０は、セグメント化方法及び／又はアトラス選択方法をプロセッサシステムに実施させるための命令を含む。

【0112】

図７ｂは、セグメント化デバイス及び／又はシステム及び／又はアトラス選択デバイス及び／又はシステムの実施形態に従ったプロセッサシステム１１４０の概略図を示す。プロセッサシステムは、１つ又は複数の集積回路１１１０を備える。１つ又は複数の集積回路１１１０のアーキテクチャが、図７ｂに概略的に示されている。回路１１１０は、一実施形態による方法を実行するように、及び／又はそのモジュール又はユニットを実現するようにコンピュータプログラムコンポーネントを動作させるための、処理ユニット１１２０、例えばＣＰＵを備える。回路１１１０は、プログラミングコード、データなどを記憶するためのメモリ１１２２を備える。メモリ１１２２の一部が読み出し専用であってもよい。回路１１１０は、通信要素１１２６、例えば、アンテナ、コネクタ、又はその両方などを備える。回路１１１０は、本方法において規定される処理の一部又は全てを実施するための専用集積回路１１２４を備える。プロセッサ１１２０、メモリ１１２２、専用ＩＣ１１２４、及び通信要素１１２６は、バスなどの相互接続体１１３０を介して互いに接続されてもよい。プロセッサシステム１１１０は、アンテナ及び／又はコネクタをそれぞれ使用した接触及び／又は非接触通信のために構成されてもよい。

【0113】

例えば、一実施形態において、プロセッサシステム１１４０、例えばセグメント化デバイス及び／又はシステム及び／又はアトラス選択デバイス及び／又はシステムは、プロセッサ回路とメモリ回路とを備える。プロセッサは、メモリ回路に記憶されたソフトウェアを実行するように構成される。例えば、プロセッサ回路は、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ、ＡＲＭ Ｃｏｒｔｅｘ－Ｒ８などである。一実施形態において、プロセッサ回路は、ＡＲＭ Ｃｏｒｔｅｘ Ｍ０である。メモリ回路は、ＲＯＭ回路、又は不揮発性メモリ、例えばフラッシュメモリであってもよい。メモリ回路は、揮発性メモリ、例えばＳＲＡＭメモリであってもよい。後者の場合において、デバイスは、ソフトウェアを提供するために構成された不揮発性ソフトウェアインターフェース、例えばハードドライブ、ネットワークインターフェースなどを備えてもよい。

【0114】

デバイス１１００は、説明されているコンポーネントの各々のうちの１つを含むように示されているが、様々なコンポーネントは、様々な実施形態において重複していてもよい。例えば、複数のプロセッサが連携して本明細書において説明されている機能を実現するように、プロセッサ１１２０は、本明細書において説明されている方法を独立して実行するように構成された、又は、本明細書において説明されている方法のステップ又はサブルーチンを実施するように構成された複数のマイクロプロセッサを含んでもよい。更に、デバイス１１００はクラウドコンピューティングシステムにより実現される場合、様々なハードウェアコンポーネントは、別々の物理的なシステムに属してもよい。例えば、プロセッサ１１２０は、第１のサーバーに第１のプロセッサを含み、第２のサーバーに第２のプロセッサを含んでもよい。

【0115】

上述の実施形態が、本明細書において開示される主題を限定するのではなく例示すること、及び、当業者が多くの代替的な実施形態を設計することができることに留意されなければならない。

【0116】

特許請求の範囲において、括弧内に記載されたいずれの参照符号も、請求項を限定すると解釈されてはならない。「備える（含む、有する、もつ）」という動詞及びその活用形の使用は、請求項に記載された要素及びステップ以外の要素及びステップの存在を否定するわけではない。単数形の要素の表現は、複数のこのような要素の存在を否定するわけではない。「のうちの少なくとも１つ」などの表現は、要素のリストの前に記載されている場合、リストからの要素のうちの全て又は任意の部分集合の選択を表す。例えば、「ＡとＢとＣとのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢとの両方、ＡとＣとの両方、ＢとＣとの両方、又はＡとＢとＣとの全てを包含すると理解されなければならない。本明細書において開示される主題は、幾つかの区別される要素を備えるハードウェアにより、及び適切にプログラムされたコンピュータにより実現されてもよい。幾つかの部分を列記したデバイスの請求項において、これらの部分のうちの幾つかは、同じ１つのハードウェア物品により具現化されてもよい。単に特定の手段が相互に異なる従属請求項に記載されているということが、利点を得るためにこれらの手段の組み合わせが使用不可能なことを示すわけではない。

【0117】

特許請求の範囲において、括弧内の参照符号は、例示的な実施形態の図面における参照符号を表すこと、又は、実施形態の式を表すことにより、請求項を理解しやすくしている。これらの参照符号は、請求項を限定すると解釈されてはならない。

【符号の説明】

【0118】

１００ 機械学習システム
１１０ 医療画像セグメント化システム
１１２ セグメント化関数ストレージ
１１４ アトラス画像ストレージ
１３０ プロセッサシステム
１４０ メモリ
１５０ 通信インターフェース
１６０ アトラス画像選択システム
１６４ テスト画像ストレージ
１７０ プロセッサシステム
１８０ メモリ
１９０ 通信インターフェース
２１０ セグメント化関数
２１２、２１３ 医療入力画像
２１４、２１５ 画像セグメント
２１６ 真の画像セグメント
２２０ 比較器
２１７ セグメント化品質
３２０ 複数のアトラス画像
３２１～３２３ アトラス画像
３１２ 医療画像
３２５ 位置合わせ関数
３３０ 複数の位置合わせされた画像
３３１～３３３ 位置合わせされた画像
３４０ 複数の位置合わせされた画像セグメント
３４１～３４３ 位置合わせされた画像セグメント
３５０ 複数のデレジスタされた画像セグメント
３５１～３５３ デレジスタされた画像セグメント
３６１ 出力セグメント
６１０ 複数のテスト画像
６１０’ まだ選択されていないテスト画像
６１１～６１３ テスト画像
６２０ 複数のテスト画像セグメント
６２１～６２３ テスト画像セグメント
６３０ 複数のセグメント化品質
６３１～６３３ セグメント化品質
６５１ アトラス画像
６４０ 複数の位置合わせ品質
６４１～６４３ 位置合わせ品質
６５２、６５４ 脊椎に対するダイススコア
６６２、６６４ 肋骨に対するダイススコア
４００ 医療画像セグメント化のための方法
４１０ セグメント化関数を取得する。セグメント化関数は、医療入力画像を受信するように、及び画像セグメントを生成するように構成される。
４２０ 複数のアトラス画像を取得する。
４３０ 医療画像を受信する。
４４０ 受信された画像を複数のアトラス画像に位置合わせし、したがって、複数の位置合わせされた画像、及び、受信された画像を複数のアトラス画像に位置合わせするように構成された複数の対応する位置合わせ変換を取得する。
４５０ 複数の位置合わせされた画像にセグメント化関数を適用して、複数の位置合わせされた画像セグメントを取得する。
４６０ 複数の位置合わせされた画像セグメントに複数の位置合わせ変換の逆変換を適用して、複数の画像セグメントを取得する。
４７０ 複数の画像セグメントから出力セグメントを決定する。
５００ 医療画像セグメント化方法における使用のためのアトラス画像を選択する方法
５１０ 入力画像を受信するように、及び画像セグメントを生成するように構成されたセグメント化関数を取得する。
５２０ 複数のテスト画像及び対応するテスト画像セグメントを取得する。
５３０ 関連するテスト画像セグメントをセグメント化関数により生成された画像セグメントと比較することにより、複数のテスト画像に対するセグメント化品質を決定する。
５４０ 閾値より高いセグメント化品質をもつアトラス画像として、テスト画像のうちの１つ又は複数を選択する。
１０００ コンピュータ可読媒体
１０１０ 書き込み可能部分
１０２０ コンピュータプログラム
１１１０ 集積回路
１１２０ 処理ユニット
１１２２ メモリ
１１２４ 専用集積回路
１１２６ 通信要素
１１３０ 相互接続体
１１４０ プロセッサシステム

【図1a】

【図1b】

【図2a】

【図2b】

【図2c】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図6c】

【図6d】

【図7a】

【図7b】