特許 7467336 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240408BHJP

   A61B 5/00 20060101ALI20240408BHJP

   G06N 3/088 20230101ALI20240408BHJP

   G06N 3/09 20230101ALI20240408BHJP

   G06N 3/096 20230101ALI20240408BHJP

【ＦＩ】

G06T7/00 350C

A61B5/00 G

G06N3/088

G06N3/09

G06N3/096

【請求項の数】 13

(21)【出願番号】P 2020524235

(86)(22)【出願日】2018-11-02

(65)【公表番号】

(43)【公表日】2021-02-22

(86)【国際出願番号】 US2018058855

(87)【国際公開番号】W WO2019090023

(87)【国際公開日】2019-05-09

【審査請求日】2020-12-18

【審判番号】

【審判請求日】2023-01-16

(73)【特許権者】

【識別番号】390041542

【氏名又は名称】ゼネラル・エレクトリック・カンパニイ

(74)【代理人】

【識別番号】100105588

【弁理士】

【氏名又は名称】小倉 博

(74)【代理人】

【識別番号】100129779

【弁理士】

【氏名又は名称】黒川 俊久

(74)【代理人】

【識別番号】100151286

【弁理士】

【氏名又は名称】澤木 亮一

(72)【発明者】

【氏名】ヴァイジャ，ヴィヴェク・プラバカー

(72)【発明者】

【氏名】ムリック，ラケシュ

(72)【発明者】

【氏名】シュリラム，クリシュナ・シーサラム

(72)【発明者】

【氏名】ランジャン，ソハン・ラシュミ

(72)【発明者】

【氏名】アナンギ，パヴァン・クマル・ヴイ

(72)【発明者】

【氏名】シルヴェンカダム，シェシャドゥリ

(72)【発明者】

【氏名】アラダハリ，チャンダン・クマル・マラッパ

(72)【発明者】

【氏名】スリークマリ，アラシ

【合議体】

【審判長】畑中 高行

【審判官】樫本 剛

【審判官】川崎 優

(56)【参考文献】

【文献】特表２０２０－５００３７７（ＪＰ，Ａ）

【文献】特表２０２０－５００３７８（ＪＰ，Ａ）

【文献】松岡拓未 外７名、「ＣｙｃｌｅＧＡＮによる異種モダリティ画像生成を用いた股関節ＭＲＩの筋骨格セグメンテーション」、第３７回日本医用画像工学会大会、２０１８年７月２５日、ＯＰ１－４、７５～８０頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00

G06N 3/096

A61B 5/00

(57)【特許請求の範囲】

【請求項1】

第１の撮像モダリティから第１の入力画像データセット（２２０）を、および前記第１の撮像モダリティとはその種類が異なる第２の撮像モダリティから第２の入力画像データセット（２２２）を少なくとも得ること（２０２）と、
新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられたラベルに基づいて第１の教師あり学習畳み込みニューラルネットワーク（ＣＮＮ）（１１６）を訓練し、前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられたラベルに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）とは異なる第２の教師あり学習ＣＮＮ（１１６）を訓練し、前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられた前記ラベルと前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられた前記ラベルとに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）を強度マッピング関数を介して訓練すること（３０８）、ならびに新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０）で訓練し、前記第１の教師なし学習ＣＮＮ（１１４）とは異なる第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２）で訓練し、前記第１の入力画像データセット（２２０）と前記第２の入力画像データセット（２２２）で、前記第１の教師なし学習ＣＮＮ（１１４）を強度マッピング関数を介して訓練することと、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納すること（２１８、３１２）と
を含む、方法（２００、３００、４００）。

【請求項2】

前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後に、
少なくとも１つの未知の入力画像データセット（４０４）を得ることと、
前記少なくとも１つの未知の入力画像データセット（４０４）からパラメータおよびピクセルレベルの出力（４０８、４２０）を得ること（４０２）と、
前記パラメータおよび前記ピクセルレベルの出力（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよびマッピング関数を得ること（４１２）と、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数を組み合わせて前記少なくとも１つの未知の入力画像データセット（４０４）を学習するためのＣＮＮを生成すること（４１４）と、
少なくとも前記未知の入力画像データセット（４０４）で生成された前記ＣＮＮを訓練すること（４１６）と、
をさらに含み、
前記パラメータは、前記少なくとも１つの未知の入力画像データセット（４０４）に対応する撮像モダリティ及び、解剖学的構造を含み、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の少なくとも前記１つまたは複数の特徴プリミティブは、対応する解剖学的構造（１２６）を特徴付け、
１つまたは複数のフィルタが前記少なくとも１つのマッピング関数に設定されており、
前記１つまたは複数のフィルタは、入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化し、
前記少なくとも１つのマッピング関数は、前記第１及び／または第２の入力画像データセット（２２０、２２２）を前記少なくとも１つの特徴プリミティブにマップする、請求項１に記載の方法（２００、３００、４００）。

【請求項3】

前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後で、
前記第１の入力画像データセット（２２０）および前記第２の入力画像データセット（２２２）が前記マッピング関数により共通の特徴プリミティブにマッピングされる、請求項１に記載の方法（２００、３００、４００）。

【請求項4】

前記第１及び第２の入力画像データセットを得た後に、
前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０）の画素の強度を前記第２の入力画像データセット（２２２）の強度特徴を持つように変換して強度が変換された第１の入力画像データセットを得ることと、
前記第２の教師なし学習ＣＮＮ（１１４）を前記強度が変換された第１の入力画像データセットで訓練することをさらに含む、請求項１乃至３のいずれかに記載の方法（２００、３００、４００）。

【請求項5】

前記強度が変換された第１の入力画像データセットの画素の強度が決定されるに際し回帰が使用される、請求項４に記載の方法（２００、３００、４００）。

【請求項6】

メモリユニット（１１０）を備え、１つまたは複数のプロセッサユニット（１０８）により実行可能な処理ユニット（１０４）であって、
第１の撮像モダリティから第１の入力画像データセット（２２０）を、および前記第１の撮像モダリティとはその種類が異なる第２の撮像モダリティから第２の入力画像データセット（２２２）を少なくとも得て、
新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられたラベルに基づいて第１の教師あり学習畳み込みニューラルネットワーク（ＣＮＮ）（１１６）を訓練し、前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられたラベルに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）とは異なる第２の教師あり学習ＣＮＮ（１１６）を訓練し、前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられた前記ラベルと前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられた前記ラベルとに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）を強度マッピング関数を介して訓練すること、ならびに新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０）で訓練し、前記第１の教師なし学習ＣＮＮ（１１４）とは異なる第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２）で訓練し、前記第１の入力画像データセット（２２０）と前記第２の入力画像データセット（２２２）とに基づいて、前記第１の教師なし学習ＣＮＮ（１１４）を強度マッピング関数を介して訓練し、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納するように構成される、処理ユニット（１０４）。

【請求項7】

前記処理ユニット（１０４）は、
前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後に、
少なくとも１つの未知の入力画像データセット（４０４）を得て、
前記少なくとも１つの未知の入力画像データセット（４０４）からパラメータおよびピクセルレベルの出力（４０８、４２０）を得て、
前記パラメータおよび前記ピクセルレベルの出力（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよびマッピング関数を得て、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数を組み合わせて前記少なくとも１つの未知の入力画像データセット（４０４）を学習するためのＣＮＮを生成し、
少なくとも前記未知の入力画像データセット（４０４）で生成された前記ＣＮＮを訓練する
ようにさらに構成され、
前記パラメータは、前記少なくとも１つの未知の入力画像データセット（４０４）に対応する撮像モダリティ及び、画像解剖学的構造を含み、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の少なくとも前記１つまたは複数の特徴プリミティブは、対応する解剖学的構造（１２６）を特徴付け、
１つまたは複数のフィルタが前記少なくとも１つのマッピング関数に設定されており、
前記１つまたは複数のフィルタは、入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化し、
前記少なくとも１つのマッピング関数は、前記第１及び／または第２の入力画像データセット（２２０）を前記少なくとも１つの特徴プリミティブにマップする、請求項６に記載の処理ユニット（１０４）。

【請求項8】

前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後で、
前記第１の入力画像データセット（２２０）および前記第２の入力画像データセット（２２２）が前記マッピング関数により共通の特徴プリミティブにマッピングされる、請求項６に記載の処理ユニット（１０４）。

【請求項9】

前記第１及び第２の入力画像データセットを得た後に、
前記処理ユニット（１０４）は、前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０）の画素の強度を前記第２の入力画像データセット（２２２）の強度特徴を持つように変換して強度が変換された第１の入力画像データセットを得、
前記第２の教師なし学習ＣＮＮ（１１４）を前記強度が変換された第１の入力画像データセットで訓練するように構成される、請求項６に記載の処理ユニット（１０４）。

【請求項10】

前記強度が変換された第１の入力画像データセットの画素の強度が決定されるに際し回帰が使用される、請求項９に記載の処理ユニット（１０４）。

【請求項11】

プロセッサユニット（１０８）と、
前記プロセッサユニット（１０８）に動作可能に結合されたメモリユニット（１１０）と、
前記プロセッサユニット（１０８）に動作可能に結合され、
第１の撮像モダリティから第１の入力画像データセット（２２０）を、および前記第１の撮像モダリティとはその種類が異なる第２の撮像モダリティから第２の入力画像データセット（２２２）を少なくとも得て、
新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられたラベルに基づいて第１の教師あり学習ＣＮＮ（１１６）を訓練し、前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられたラベルに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）とは異なる第２の教師あり学習ＣＮＮ（１１６）を訓練し、前記第１の入力画像データセット（２２０）と前記第１の入力画像データセット（２２０）に付けられた前記ラベルと前記第２の入力画像データセット（２２２）と前記第２の入力画像データセット（２２２）に付けられた前記ラベルとに基づいて、前記第１の教師あり学習ＣＮＮ（１１６）を強度マッピング関数を介して訓練すること、ならびに新しい医療画像分析に使用される１つまたは複数の特徴プリミティブおよびマッピング関数を生成するために第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０）で訓練し、前記第１の教師なし学習ＣＮＮ（１１４）とは異なる第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２）で訓練し、前記第１の入力画像データセット（２２０）と前記第２の入力画像データセット（２２２）で、前記第１の教師なし学習ＣＮＮ（１１４）を強度マッピング関数を介して訓練し、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納するように構成され、
前記処理ユニット（１０４）は、１つまたは複数のプロセッサユニット（１０８）により実行可能である、システム（１００）。

【請求項12】

前記処理ユニット（１０４）は、
前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後に、
少なくとも１つの未知の入力画像データセット（４０４）を得て、
前記少なくとも１つの未知の入力画像データセット（４０４）からパラメータおよびピクセルレベルの出力（４０８、４２０）を得て、
前記パラメータおよび前記ピクセルレベルの出力（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよびマッピング関数を得て、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数を組み合わせて前記少なくとも１つの未知の入力画像データセット（４０４）を学習するためのＣＮＮを生成し、
少なくとも前記未知の入力画像データセット（４０４）で生成された前記ＣＮＮを訓練する
ようにさらに構成され、
前記パラメータは、前記少なくとも１つの未知の入力画像データセット（４０４）に対応する撮像モダリティ及び、画像解剖学的構造を含み、
前記第１及び第２の教師あり学習ＣＮＮ（１１６）または前記第１及び第２の教師なし学習ＣＮＮ（１１４）の少なくとも前記１つまたは複数の特徴プリミティブは、対応する解剖学的構造（１２６）を特徴付け、
１つまたは複数のフィルタが前記少なくとも１つのマッピング関数に設定されており、
前記１つまたは複数のフィルタは、入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化し、
前記少なくとも１つのマッピング関数は、前記第１及び／または第２の入力画像データセット（２２０）を前記少なくとも１つの特徴プリミティブにマップする、請求項１１に記載のシステム（１００）。

【請求項13】

前記処理ユニット（１０４）は、
前記１つまたは複数の特徴プリミティブおよび前記マッピング関数を格納した後で、
前記第１の入力画像データセット（２２０）および前記第２の入力画像データセット（２２２）を前記マッピング関数により共通の特徴プリミティブにマッピングする
ようにさらに構成される、請求項１１に記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の実施形態は、一般に、学習ネットワークで使用するための様々な撮像モダリティから得られた様々な解剖学的構造の医療画像データの転送可能な表現学習を生成するためのシステムおよび方法に関する。具体的には、システムおよび方法は、第１および／または第２の撮像モダリティの物理学および解剖学的構造の生物学に基づいて特徴プリミティブのセットとして医療画像データの表現学習を決定し、他の撮像モダリティからの医療画像データの分類およびセグメンテーションなどの問題を学習するための新しい畳み込みネットワークを構成することを目的とする。

【背景技術】

【0002】

理解されるように、機械学習は、「明示的にプログラムされることなく学習する能力をコンピュータに与える」コンピュータサイエンスのサブフィールドである。機械学習は、データから学習し、データを予測することができるアルゴリズムの研究および構成を探索する。機械学習では、特徴学習または表現学習は、生データ入力を機械学習タスクで効果的に利用することができる表現に変換する一連の手法である。表現学習は、分類などの機械学習タスクが、数学的にも計算的にも処理に便利な入力を必要とすることが多いという事実によって動機付けられる。しかし、画像、ビデオ、およびセンサ測定などの実際のデータは通常、複雑かつ冗長であり、非常に変動しやすい。したがって、生データから有用な特徴または表現を識別することが望ましい。現在、手動による特徴識別方法は、高価な人間の労力を必要とし、専門家の知識に依存している。また、手動で生成された表現は通例、一般化には向いておらず、したがって効率的な表現学習手法の設計を動機付けし、特徴または表現学習を自動化および一般化する。

【0003】

さらに、機械学習では、畳み込みニューラルネットワーク（ＣＮＮまたはＣｏｎｖＮｅｔ）または深層畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワークの一種であり、そのニューロン間の接続パターンは、動物の視覚皮質の組織に触発されている。畳み込みニューラルネットワーク（ＣＮＮ）は、生物学的に触発された多層パーセプトロンの変形であり、最小限の前処理で視覚皮質の挙動をエミュレートするように設計されている。多層パーセプトロンネットワーク（ＭＬＰ）は、入力データのセットを適切な出力のセットにマップするフィードフォワード人工ニューラルネットワークモデルであることに留意されたい。ＭＬＰは、有向グラフのノードの複数の層を含み、各層は次の層に完全に接続されている。現在の展開では、ＣＮＮは、画像およびビデオ認識、レコメンダシステム、ならびに自然言語処理において幅広い用途を有する。ＣＮＮはまた、重み共有アーキテクチャおよび並進不変特性に基づくシフト不変または空間不変人工ニューラルネットワーク（ＳＩＡＮＮ）としても知られている。

【0004】

深層ＣＮＮアーキテクチャでは、畳み込み層がコアビルディングブロックであることに留意されたい。畳み込み層に関連付けられたパラメータは、学習可能なフィルタまたはカーネルのセットを含む。フォワードパスの間、各フィルタは、入力ボリュームの幅および高さにわたって畳み込まれ、フィルタの項目と入力との間の点乗積を計算し、そのフィルタの二次元（２Ｄ）活性化マップをもたらす。したがって、ネットワークは、ネットワークが入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化されるフィルタを学習する。深層ＣＮＮアーキテクチャは、典型的には、深層学習する問題専用に構築される。深層学習は、人間のような知覚や意思決定を伴う多くのタスクで効果的であることが知られている。深層学習の典型的な用途は、手書き認識、画像認識、および音声認識である。深層学習手法は、訓練データおよびそのデータに対応する成果を使用することによってネットワークモデルを構成する。ネットワークモデルが構成されると、モデルは成果を決定するための新しいデータで使用することができる。さらに、特定の成果について一度学習された深層学習ネットワークは、関連する成果のために有利に再利用され得ることが理解されよう。

【0005】

さらに、ＣＮＮは、入力データセットがラベル付けされている教師あり学習に、ならびに入力データセットがラベル付けされていない教師なし学習に使用することができる。ラベル付けされた入力データセットは、データセットの要素がラベルによって表される分類スキームに事前に関連付けられているデータセットである。したがって、ＣＮＮは、データセットのラベル付けされたサブセットで訓練され、別のサブセットでテストされて正確な分類結果を検証し得る。

【0006】

深層ＣＮＮアーキテクチャは、層が階層的に接続された多層型である。各層の入力から出力へのマッピングおよびフィルタの数が増えると、多層深層ＣＮＮは、その動作のために構成する必要のある膨大な数のパラメータをもたらす可能性がある。そのようなＣＮＮの訓練データが不足している場合、学習する問題は、未決定である。この状況では、事前学習したＣＮＮモデルから特定のパラメータを転送することが有利である。転送学習は、層のサブセットで事前学習したパラメータを凍結することによって最適化されるパラメータの数を減らし、残りの層を調整するための適切な初期化を提供する。医療画像の問題のドメインでは、転送学習を使用して分類および識別の様々な問題のためにＣＮＮを事前構成することは、データが不足している状況、複数の撮像モダリティおよび解剖学的構造による異種データタイプの課題、ならびに他の臨床課題の改善に有利である。

【発明の概要】

【0007】

本明細書の一態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のための方法が提示される。方法は、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得ることを含む。さらに、方法は、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行することであって、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むことを含む。加えて、方法は、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を特徴プリミティブリポジトリに格納することを含む。

【0008】

本明細書の別の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のためのインタラクティブ表現学習転送（ＩＲＬＴ）ユニットが提示される。ＩＲＬＴユニットは、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得て、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むように構成されたインタラクティブ学習ネットワークコンフィギュレータを含む。さらに、ＩＲＬＴユニットは、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリを含む。

【0009】

本明細書のさらに別の態様によれば、マルチモダリティ転送学習システムが提示される。マルチモダリティ転送学習システムは、プロセッサユニットと、プロセッサユニットに通信可能かつ動作可能に結合されたメモリユニットとを含む。さらに、マルチモダリティ転送学習システムは、プロセッサユニットに動作可能に結合され、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得て、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むように構成されたインタラクティブ学習ネットワークコンフィギュレータを含むインタラクティブ表現学習転送（ＩＲＬＴ）ユニットを含む。加えて、ＩＲＬＴユニットは、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリを含む。

【0010】

本明細書の実施形態のこれらおよび他の特徴および態様は、以下の詳細な説明を添付の図面を参照して検討することでさらによく理解されると考えられ、添付の図面において、類似の符号は、図面の全体を通して類似の部分を表している。

【図面の簡単な説明】

【0011】

【図1】本明細書の態様による、特徴オントロジーの深層学習によるインタラクティブ表現学習転送のための例示的なシステムの概略図である。

【図2】本明細書の態様による、ラベル付けされていない画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を示すフローチャートである。

【図3】本明細書の態様による、ラベル付けされた画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を示すフローチャートである。

【図4】本明細書の態様による、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて未知のデータセットを学習するための方法を示すフローチャートである。

【図5】本明細書の態様による、インタラクティブ学習ネットワークコンフィギュレータの一実施形態の概略図である。

【発明を実施するための形態】

【0012】

以下で詳細に説明するように、特徴オントロジーの深層学習によるインタラクティブ表現学習転送（学習転移）のための例示的なシステムおよび方法の様々な実施形態が提示される。これらの実施形態の簡潔な説明を提供しようと努力しても、実際の実施態様のすべての特徴を本明細書に記載することができるというわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないことを理解されたい。

【0013】

本明細書の様々な実施形態の要素を説明するとき、「１つの（ａ、ａｎ）」、「この（ｔｈｅ）」、および「前記（ｓａｉｄ）」という冠詞は、それらの要素が１つまたは複数存在することを意味することを意図している。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語は、包括的であることを意図し、列挙された要素以外にもさらなる要素が存在してもよいことを意味する。さらに、「構築する」および「構成する」という用語ならびにそれらの変形は、数学的決定または数学的構成の計算を意味することを意図している。「任意のドメイン上に描かれたデータ」または「任意のドメイン上のデータ」という用語は、ドメイン、例えば、ソーシャルメディアデータ、センサデータ、企業データなどに対応するデータを意味することを意図している。

【0014】

本明細書で使用される「転送学習」または「帰納的転送」という用語は、ある問題から異なる関連する問題を解決しながら得られた知識または学習を適用することに焦点を当てた機械学習のアプローチを意味することを意図している。この知識または学習は、典型的には伝達関数、マッピング関数、グラフ、行列、および他のプリミティブの組み合わせおよび変形によって、様々な方法で特徴付けおよび／または表現することができる。また、本明細書で使用される「転送学習プリミティブ」という用語は、上述の機械学習問題を解決することによって得られる知識または学習の特徴付けおよび／または表現を意味することを意図している。

【0015】

さらに、本明細書で使用される「特徴プリミティブ」という用語は、入力データセットの態様の特徴付け、典型的には、解剖学的構造の画像に対応する関心領域（ＲＯＩ）の外観、形状ジオメトリ、または形態を意味することを意図しており、画像は、超音波撮像システム、コンピュータ断層撮影（ＣＴ）撮像システム、陽電子放射断層撮影－ＣＴ（ＰＥＴ－ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システムなどの撮像モダリティから得ることができる。また、解剖学的構造は、限定はしないが、肺、肝臓、腎臓、胃、心臓、脳などの人体の内部器官を含んでもよい。

【0016】

本明細書の態様による、特徴オントロジーの深層学習によるインタラクティブ表現学習転送のための例示的なシステム１００が図１に示されている。現在考えられている図１の構成では、システム１００は、マルチモダリティ転送学習（ＭＴＬ）サブシステム１０２を含む。ＭＴＬサブシステム１０２は、インタラクティブ表現学習転送（ＩＲＬＴ）ユニット１０４と、プロセッサユニット１０８と、メモリユニット１１０と、ユーザインターフェース１０６とを含む。プロセッサユニット１０８は、メモリユニット１１０に通信可能に結合される。ユーザインターフェース１０６は、ＩＲＬＴユニット１０４に動作可能に結合される。また、ＩＲＬＴユニット１０４は、プロセッサユニット１０８およびメモリユニット１１０に動作可能に結合される。システム１００および／またはＭＴＬサブシステム１０２は、ディスプレイユニット１３４を含み得る。ＭＴＬサブシステム１０２は、他の構成要素またはハードウェアを含むことができ、図１に示す構成要素に限定されないことに留意されたい。

【0017】

ユーザインターフェース１０６は、入力画像１２８の特性に対応するユーザ入力１３０を受信するように構成される。ユーザ入力１３０は、限定はしないが、撮像モダリティ、入力画像１２８によって一般に表される解剖学的構造、入力画像１２８に対応するＲＯＩの外観などの入力画像１２８の態様または特性を含み得る。

【0018】

特定の実施形態では、ＩＲＬＴユニット１０４は、１つまたは複数のプロセッサユニット１０８を介して実行可能であり、メモリユニット１１０に格納されるソフトウェアシステムまたはコンピュータ命令として実装されてもよい。他の実施形態では、ＩＲＬＴユニット１０４は、例えば、ＦＰＧＡ、カスタムチップ、集積回路（ＩＣ）、特定用途向けＩＣ（ＡＳＩＣ）などを介してハードウェアシステムとして実装されてもよい。

【0019】

図１に示されるように、ＩＲＬＴユニット１０４は、インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）１１２と、教師なし学習用に構成された１つまたは複数のＣＮＮ（教師なし学習ＣＮＮ）１１４と、教師あり学習用に構成された１つまたは複数のＣＮＮ（教師あり学習ＣＮＮ）１１６と、特徴プリミティブリポジトリ１１８とを含み得る。ＩＬＮＣ１１２は、教師なし学習ＣＮＮ１１４、教師あり学習ＣＮＮ１１６、および特徴プリミティブリポジトリ１１８に動作可能に結合される。一実施形態では、ＩＮＬＣ１１２は、ユーザが１つまたは複数の教師あり学習ＣＮＮ１１６または教師なし学習ＣＮＮ１１４を構成することを可能にするように構成されたグラフィカルユーザインターフェースサブシステムであり得る。

【0020】

特徴プリミティブリポジトリ１１８は、入力画像１２８のＲＯＩに対応する１つまたは複数の特徴プリミティブおよび１つまたは複数の対応するマッピング関数を格納するように構成される。本明細書で使用される「マッピング関数」という用語は、ＣＮＮの出力がＲＯＩの態様に基づいて入力画像１２８のＲＯＩを特徴付ける特徴プリミティブになるようにＲＯＩを圧縮表現にマップする伝達関数またはＣＮＮフィルタを表すことを意図している。一例では、ＲＯＩの態様は、形状ジオメトリ、外観、形態などを含み得る。したがって、特徴プリミティブリポジトリ１１８は、１つまたは複数のマッピング関数を格納するように構成される。これらのマッピング関数は、対応する特徴プリミティブと併せて、ＣＮＮを事前構成して新しい訓練セットを学習するために使用することができる。したがって、特徴プリミティブリポジトリ１１８は、他のＣＮＮから得られた転送学習である特徴プリミティブおよびマッピング関数を格納し、新しいＣＮＮを事前構成して未知のデータセットを学習するように構成される。図１に示すように、特徴プリミティブリポジトリ１１８が格納するように構成される特徴プリミティブのいくつかの非限定的な例は、画像１２８のＲＯＩに対応する外観１２０、画像１２８のＲＯＩに対応する形状ジオメトリ１２４、および画像１２８に対応する解剖学的構造１２６を特徴付ける特徴プリミティブを含む。

【0021】

現在考えられている図１の構成では、ＩＬＮＣ１１２は、入力画像１２８に対応するＲＯＩの１つまたは複数の態様をインタラクティブに特徴付けるための様々なツールおよびオプションをユーザに提示するように構成される。ＩＬＮＣ１１２の例示的な実施形態が図５に示されており、ＩＬＮＣ１１２の作業は、図４および図５を参照してより詳細に説明される。

【0022】

システム１００は、特徴プリミティブおよびマッピング関数のポートフォリオを特徴プリミティブリポジトリ１１８に格納される１つまたは複数の解剖学的構造および撮像モダリティにわたって開発するように構成される。その後、システム１００は、ＩＬＮＣ１１２をユーザに提供し、ユーザが未知の画像データセットの１つまたは複数のＲＯＩに対応するモダリティ、解剖学的構造、形状ジオメトリ、形態などの選択に基づいて新しい未知の画像データセットを学習するためにＣＮＮを事前構成することを可能にする。例として、ＣＮＮの１つの学習成果は、画像データセットを分類する分類スキームであり得る。学習成果の他の非限定的な例は、ピクセルレベルのセグメンテーション、回帰などを含んでもよい。システム１００の作業は、図２～図５を参照してより詳細に説明される。

【0023】

加えて、システム１００および／またはＭＴＬサブシステム１０２は、特徴プリミティブ、マッピング関数、画像データセットなどの１つまたは複数をディスプレイユニット１３４上で視覚化するように構成され得る。

【0024】

次に図２を参照すると、本明細書の態様による、ラベル付けされていない画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を概して表すフローチャート２００が提示される。方法２００は、図１の構成要素を参照して説明される。

【0025】

フローチャート２００は、ラベル付けされていない画像データから特徴プリミティブのセットを構築し、特徴プリミティブリポジトリ１１８などの特徴プリミティブリポジトリを増強するための方法の主要なステップを示すことに留意されたい。いくつかの実施形態では、図２の方法２００の様々なステップ、より具体的には、ステップ２０２～２０８は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ２１０は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。また、ステップ２１４～２１６は、メモリユニット１１０および１つまたは複数の教師なし学習ＣＮＮ１１４と併せてプロセッサユニット１０８によって実行され得る。

【0026】

方法２００は、ステップ２０２で開始し、第１の撮像モダリティおよび第２の撮像モダリティに対応する少なくとも第１の入力画像データセット２２０および第２の入力画像データセット２２２が得られる。一実施形態では、第１および第２の入力画像データセット２２０、２２２は、肝臓、肺、腎臓、心臓、脳、胃などの人体の解剖学的構造に対応し得る。また、第１および第２の撮像モダリティは、超音波撮像システム、ＭＲ撮像システム、ＣＴ撮像システム、ＰＥＴ－ＣＴ撮像システム、またはそれらの組み合わせを含み得る。

【0027】

ステップ２０４において、入力画像データセット２２０、２２２がラベル付けされているかどうかを決定するためにチェックが実施される。前述のように、入力画像データセットを参照するラベルは、形状ジオメトリ、外観、形態など、入力画像の態様を特徴付ける分類スキームまたはスコアを概して表すものとすることができる。ステップ２０４において、入力画像データセットがラベル付けされていると決定される場合、制御はステップ２１０に移り、第１のＣＮＮおよび第２のＣＮＮは、入力画像データセット２２０、２２２の教師あり学習用に構成される。ステップ２１０は、図３を参照してより詳細に説明される。ステップ２１０に続いて、方法２００は、ステップ２１２によって示されるように終了する。

【0028】

再びステップ２０４を参照すると、入力画像データセットがラベル付けされていないと決定される場合、制御はステップ２０６に移り、第２のチェックが実施され、第１の入力画像データセット２２０および第２の入力画像データセット２２２が１つまたは複数のＣＮＮを適切に訓練するのに十分なデータを含むかどうかを決定する。ステップ２０６において、第１および第２の入力画像データセット２２０、２２２が十分なデータを含むと決定される場合、制御はステップ２１４に移る。しかし、ステップ２０６において、第１および第２の入力画像データセット２２０、２２２が十分なデータを有さないと決定されると、制御はステップ２０８に移る。

【0029】

一例では、ステップ２０８において、第１の入力画像データセット２２０が十分なデータを含み、第２の入力画像データセット２２２が十分なデータを含まないと決定され得る。したがって、この例では、ステップ２０８において、第２の撮像モダリティに対応する第２の入力画像データセット２２２は、追加のデータで増強される。第２の入力画像データセット２２２を増強するための追加のデータは、強度マッピング関数を介して第１の撮像モダリティに対応する第１の入力画像データセット２２０を処理することによって得ることができる。強度マッピング関数の１つの非限定的な例は、１つまたは複数の対象、例えば、ＣＴおよびＭＲに対応する第１の撮像モダリティおよび第２の撮像モダリティの使用を介してマルチモダリティで取得を行い、深層学習、手作業により生成された強度の特徴、またはそれらの組み合わせを使用して、第１のモダリティから第２のモダリティへのパッチレベルマッピングを学習し、第１のモダリティの強度を第２のモダリティにマップする回帰フレームワークを含むことができる。その後、制御はステップ２１４に移る。

【0030】

ステップ２１４において、第１の教師なし学習ＣＮＮおよび第２の教師なし学習ＣＮＮは、第１の入力画像データセット２２０および第２の入力画像データセット２２２で共同で訓練されて入力画像データセット２２０、２２２の圧縮表現を学習し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含む。

【0031】

１つまたは複数の特徴プリミティブは、第１の入力画像データセット２２０の画像の態様を特徴付ける。マッピング関数は、入力画像データセットを対応する特徴プリミティブにマップすることに留意されたい。一実施形態では、マッピング関数は、式（１）に従って定義することができる。

【0032】

【数1】

式（１）において、ｈ_ＣＴは、画像Ｐ_ＣＴの関心領域がマッピング関数ｆおよび重み

【0033】

【数2】

を使用してマップされるときに得られる特徴プリミティブのセットである。この例では、画像Ｐ_ＣＴは、ＣＴ撮像システムの使用を介して得られた画像に対応する。

【0034】

ステップ２１４の結果として、第１の撮像モダリティおよび第２の撮像モダリティに対応する１つまたは複数のマッピング関数が生成されることに留意されたい。これらのマッピング関数は、第１および第２の入力画像データセット２２０、２２２を同じ特徴プリミティブにマップすることに留意されたい。一実施形態では、第２のマッピング関数は、式（２）に従って定義することができる。

【0035】

【数3】

式（２）において、ｈ_ＭＲは、画像Ｐ_ＭＲの関心領域がマッピング関数ｆおよび重み

【0036】

【数4】

を使用してマップされるときに得られる特徴プリミティブのセットである。この例では、画像Ｐ_ＭＲは、ＭＲ撮像システムを使用して得られる。

【0037】

さらに、ステップ２１８において、少なくとも１つまたは複数の特徴プリミティブおよび対応するマッピング関数は、特徴プリミティブリポジトリ１１８に格納される。次に、制御はステップ２１２に移り、方法２００を終了する。

【0038】

次に図３を参照すると、本明細書の態様による、ラベル付けされた画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を概して表すフローチャート３００が提示される。より具体的には、方法３００は、より詳細に図２のステップ２１０を説明する。また、方法３００は、図１の構成要素を参照して説明される。

【0039】

フローチャート３００は、ラベル付けされた画像データから特徴プリミティブのセットを構築し、特徴プリミティブリポジトリを増強するための方法の主要なステップを示すことに留意されたい。いくつかの実施形態では、図３の方法３００の様々なステップ、より具体的には、ステップ３０２～３０８は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ３１０～３１４は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。

【0040】

方法３００は、ステップ３０２で開始し、少なくとも第１の撮像モダリティおよび第２の撮像モダリティに対応する少なくとも第１の入力画像データセット３１６および第２の入力画像データセット３１８が得られる。一実施形態では、第１および第２の入力画像データセット３１６、３１８は、人体の解剖学的構造、例えば、肝臓、肺、腎臓、心臓、脳、胃などに対応し得る。また、第１および第２の撮像モダリティは、超音波撮像システム、ＭＲ撮像システム、ＣＴ撮像システム、ＰＥＴ－ＣＴ撮像システム、またはそれらの組み合わせを含み得る。１つまたは複数の教師ありＣＮＮの学習成果は、第１および第２の入力画像データセット３１６、３１８における画像の分類であり得ることに留意されたい。

【0041】

ステップ３０４において、チェックが実施され、第１の入力画像データセット３１６および第２の入力画像データセット３１８が１つまたは複数のＣＮＮを適切に訓練するのに十分なデータを含むかどうかを決定する。ステップ３０４において、第１および第２の入力画像データセット３１６、３１８が十分なデータを含むと決定される場合、制御はステップ３０８に移る。しかし、ステップ３０４において、第１および第２の入力画像データセット３１６、３１８が十分なデータを有さないと決定されると、制御はステップ３０６に移る。一例では、ステップ３０６において、第１の入力画像データセット３１６が十分なデータを含み、第２の入力画像データセット３１８が十分なデータを含まないと決定され得る。したがって、この例では、ステップ３０６において、第２のモダリティに対応する第２の入力画像データセット３１８は、追加のデータで増強される。追加のデータは、強度マッピング関数を介して第１の撮像モダリティに対応する第１の入力画像データセット３１６を処理することによって得られることに留意されたい。前述のように、強度マッピング関数の１つの非限定的な例は、１つまたは複数の対象、例えば、ＣＴおよびＭＲに対応する第１の撮像モダリティおよび第２の撮像モダリティの使用を介してマルチモダリティ取得を行い、深層学習、手作りの強度特徴、またはそれらの組み合わせを使用して、第１のモダリティから第２のモダリティへのパッチレベルマッピングを学習し、第１のモダリティの強度を第２のモダリティにマップする回帰フレームワークを含むことができる。その後、制御はステップ３０８に移る。

【0042】

さらに、ステップ３０８において、第１の教師あり学習ＣＮＮおよび第２の教師あり学習ＣＮＮは、第１の入力画像データセット３１６に関連付けられたラベルおよび第２の入力画像データセット３１８に関連付けられたラベルに基づいて共同で訓練され、１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成する。

【0043】

一実施形態では、学習成果は、第１の入力画像データセット３１６の画像の態様および第２の入力画像データセット３１８の画像の態様ならびに対応するマッピング関数を特徴付ける１つまたは複数の特徴プリミティブを含むことができ、マッピング関数は、対応する第１の入力画像データセット３１６および第２の入力画像データセット３１８を１つまたは複数の特徴プリミティブにマップする。したがって、特徴プリミティブは、第１の入力画像データセット３１６および第２の入力画像データセット３１８を取得するために使用される撮像モダリティから独立している。次にステップ３１２を参照すると、１つまたは複数の特徴プリミティブおよび対応するマッピング関数は、特徴プリミティブリポジトリに格納される。

【0044】

上述の方法２００および３００は、複数のモダリティにわたる複数の解剖学的構造に対して生成された画像に対応する特徴プリミティブおよびマッピング関数のポートフォリオの作成を可能にする。特徴プリミティブおよびマッピング関数は、特徴プリミティブリポジトリ１１８に格納される。また、特徴プリミティブおよびマッピング関数のこのポートフォリオは、入力画像データセットを用いたＣＮＮの訓練で得られた学習を特徴付ける。さらに、学習を転送して新しいＣＮＮを事前構成し、異なる未知のデータセットの学習成果を得ることができる。

【0045】

前述を念頭に置いて、図４は、本明細書の態様による、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて未知のデータセットを学習するための方法を図示するフローチャート４００を示す。方法４００は、図１、図２および図３を参照して説明される。フローチャート４００は、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて未知のデータセットを学習するための方法４００の主要なステップを示すことに留意されたい。いくつかの実施形態では、図４の方法４００の様々なステップ、より具体的には、ステップ４０２～４０６は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ４０８～４１０は、メモリユニット１１０および
１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。

【0046】

方法４００は、ステップ４０２で開始し、少なくとも１つの入力画像データセット４０４を得ることができる。少なくとも１つの入力画像データセット４０４は、未知の入力画像データセットを表す。加えて、入力画像データセット４０４に対応する少なくとも１つの学習パラメータ４０６および学習成果４０８を得ることができる。特定の実施形態では、入力画像データセット４０４、学習パラメータ４０６、および学習成果４０８は、ユーザ入力４１０として得られてもよい。一実施形態では、学習パラメータ４０６は、撮像モダリティ、画像解剖学的構造、またはそれらの組み合わせを含むことができる。また、学習成果４０８は、分類スキーム、回帰スキーム、またはセグメンテーションのようなピクセルレベルの出力を含み得る。

【0047】

ステップ４１２において、学習パラメータ４０６および学習成果４０８に対応する少なくとも１つの特徴プリミティブおよび対応するマッピング関数が特徴プリミティブリポジトリ１１８から得られる。その後、ＣＮＮは、ステップ４１４によって示されるように、少なくとも１つの特徴プリミティブおよび少なくとも１つのマッピング関数を使用して入力画像データセット４０４を学習するように構成される。特定の実施形態では、ＣＮＮの構成は、特徴プリミティブリポジトリ１１８から得られた１つまたは複数のフィルタをマッピング関数に設定することを伴う場合がある。ステップ４１４の処理の結果として、事前構成されたＣＮＮが生成される。さらに、ステップ４１６において、事前構成されたＣＮＮは、少なくとも入力画像データセット４０４の訓練サブセットで最適化される。

【0048】

一実施形態では、第１の撮像モダリティに対応するラベル付けされたデータを使用する教師あり学習用の訓練された畳み込みオートエンコーダ（ＣＡＥ）は、式（３）に従って、いくつかのパラメータで入力画像データセット４０４に適合される。

【0049】

【数5】

式（３）において、ｗは、第１の撮像モダリティに対応する画像Ｐ_１の関心領域がマッピング関数ｆおよび重み

【0050】

【数6】

を使用してマップされるときに得られる特徴プリミティブのセットであり、αは、ＣＡＥパラメータの疎なセットである。このようにして、フィルタの数を減らすことができる。ＣＡＥパラメータαは、少なくとも入力画像データセット４０４の訓練サブセットでさらに最適化され得る。このようにして、第２の撮像モダリティに対応する教師あり学習の問題について、学習用のフレームワークは、以下の定式化に従って定義され得る。

【0051】

【数7】

定式化（４）では、式（３）で得られたマッピング関数ｆは、第２の撮像モダリティに対応する画像の関心領域に対応するマッピング関数

【0052】

【数8】

に適用される。その後、ステップ４１８において、入力画像データセット４０４は、最適化されたＣＮＮを介して処理され、要求された学習成果４０８に対応する学習成果４２０を得る。

【0053】

方法４００で実施されるワークフローは、図５を参照してより詳細に説明される。図５は、本明細書の態様による、図１のインタラクティブ表現学習転送ユニット１０４のインタラクティブ学習ネットワークコンフィギュレータ１１２の一実施形態の概略図５００である。図５に示されるように、ブロック図５００は、図１に示すＩＬＮＣ１１２を概して表す。参照番号５０２～５０８は、それぞれ撮像モダリティ、解剖学的構造、外観、および形状ジオメトリに対応する特徴プリミティブの視覚化を概して表す。視覚化５０２～５０８のデータは、図１の特徴プリミティブリポジトリ１１８から得ることができる。

【0054】

図５では、ＩＬＮＣ５００は、インタラクティブなメニューの選択をユーザに提供する。特に、ＩＬＮＣ５００を使用して、ユーザは、ＣＮＮによって学習される未知の画像データセットの１つまたは複数の態様を選択することができる。参照番号５１０～５１６は、未知の画像データセットの特徴付けを支援するためにユーザにとって利用可能であり得るインタラクティブなメニューオプションを概して表す。例として、参照番号５１０は、未知の画像データセットの撮像モダリティに関係し得る。ブロック５１０のメニューオプションは、ＣＴ、ＭＲ、ＰＥＴ、超音波などを含み得る。同様に、参照番号５１２～５１６は、未知の画像データセットのそれぞれ外観、形状ジオメトリ、および解剖学的構造に関係するメニューオプションを示し得る。

【0055】

インタラクティブなメニューからユーザによって行われた選択により、メニュー選択に対応する特徴プリミティブおよびマッピング関数によるＣＮＮの事前構成が可能になる。参照番号５１８は、事前構成されたＣＮＮの視覚化を概して表す。特定の実施形態では、参照番号５１８は、図１のＩＲＬＴユニット１０４の１つまたは複数の教師あり学習ＣＮＮ１１６に対応し得る。加えて、ユーザは、ブロック５０２～５０８の特徴プリミティブをグラフィカルに閲覧、視覚化、および組み合わせて、事前構成されたＣＮＮ５１８を作成することができる。

【0056】

上述の特徴オントロジーの深層学習によるインタラクティブ表現学習転送のためのシステムおよび方法は、学習した特徴プリミティブおよびマッピング関数のポートフォリオを組み合わせてＣＮＮを構成し、新しい医療画像分析の問題を解決することができる転送学習パラダイムを提供する。有利には、ＣＮＮは、画像の外観および形態を学習するように訓練され得る。例として、腫瘍は、斑点、円柱、円形、明るい／暗いまたは縞模様などに分類され得る。全体として、ネットワークは、解剖学的構造、モダリティ、外観、および形態（形状ジオメトリ）の様々な組み合わせに対して訓練され、事前学習した特徴を今ある新しい問題に即座に転送するように構成された豊富なポートフォリオを生成することができる。

【0057】

任意の実施形態に従って、上述したすべてのそのような物体または利点が必ずしも達成することができるわけではないことを理解されたい。したがって、例えば、当業者には明らかなように、本明細書に記載のシステムおよび手法は、本明細書で教示または示唆されるように他の目的または利点を必ずしも達成することなく、本明細書で教示される１つの利点または１群の利点を達成または改善する態様で具現化または実施されてもよい。

【0058】

本技術は限られた数の実施形態のみに関連して詳細に説明されているが、本明細書がそのような開示された実施形態に限定されないことは容易に理解されるべきである。むしろ、本技術は、これまでに説明されていないが特許請求の範囲の精神および範囲に相応する、任意の数の変形、代替、置換または同等の構成を組み込むように修正することができる。加えて、本技術の様々な実施形態が説明されているが、本明細書の態様は、説明した実施形態のいくつかのみを含んでもよいことを理解されたい。したがって、本明細書は、前述の説明によって限定されるべきではなく、添付の特許請求の範囲によってのみ限定される。

【符号の説明】

【0059】

１００ システム
１０２ マルチモダリティ転送学習（ＭＴＬ）サブシステム
１０４ インタラクティブ表現学習転送（ＩＲＬＴ）ユニット
１０６ ユーザインターフェース
１０８ プロセッサユニット
１１０ メモリユニット
１１２ インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）
１１４ 教師なし学習畳み込みニューラルネットワーク（ＣＮＮ）
１１６ 教師あり学習ＣＮＮ
１１８ 特徴プリミティブリポジトリ
１２０ 外観
１２４ 形状ジオメトリ
１２６ 解剖学的構造
１２８ 入力画像
１３０ ユーザ入力
１３４ ディスプレイユニット
２００ フローチャート、方法
２０２ ステップ
２０４ ステップ
２０６ ステップ
２０８ ステップ
２１０ ステップ
２１２ ステップ
２１４ ステップ
２１６ ステップ
２１８ ステップ
２２０ 第１の入力画像データセット
２２２ 第２の入力画像データセット
３００ フローチャート、方法
３０２ ステップ
３０４ ステップ
３０６ ステップ
３０８ ステップ
３１０ ステップ
３１２ ステップ
３１４ ステップ
３１６ 第１の入力画像データセット
３１８ 第２の入力画像データセット
４００ フローチャート、方法
４０２ ステップ
４０４ 入力画像データセット
４０６ 学習パラメータ
４０８ 学習成果
４１０ ユーザ入力
４１２ ステップ
４１４ ステップ
４１６ ステップ
４１８ ステップ
４２０ 学習成果
５００ 概略図、ブロック図、ＩＬＮＣ
５０２ 視覚化、ブロック
５０４ 視覚化、ブロック
５０６ 視覚化、ブロック
５０８ 視覚化、ブロック
５１０ ブロック
５１２ ブロック
５１４ ブロック
５１６ ブロック
５１８ 事前構成されたＣＮＮ

【図1】

【図2】

【図3】

【図4】

【図5】