知財求人 - 知財ポータルサイト「IP Force」
▶ シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-24
(45)【発行日】2022-02-01
(54)【発明の名称】画像処理のためのシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220125BHJP
G06N 3/08 20060101ALI20220125BHJP
【ＦＩ】
G06T7/00 350C
G06N3/08
【請求項の数】
12
(21)【出願番号】P 2020531487
(86)(22)【出願日】2018-06-06
(65)【公表番号】
(43)【公表日】2021-02-18
(86)【国際出願番号】 CN2018090032
(87)【国際公開番号】W WO2019109613
(87)【国際公開日】2019-06-13
【審査請求日】2020-08-05
(31)【優先権主張番号】201711288530.0
(32)【優先日】2017-12-07
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514190349
【氏名又は名称】シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100185269
【弁理士】
【氏名又は名称】小菅 一弘
(72)【発明者】
【氏名】リュウ チュアンフェン
【審査官】山田 辰美
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０２７７９８１（ＵＳ，Ａ１）
【文献】特開２００２－２１６１３３（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７３５８２６２（ＣＮ，Ａ）
【文献】特開２０１６－００６６２６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／０８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
訓練された深層学習モデルを決定するように構成されるモデル決定モジュールと、入力画像を取得するデータ取得モジュールと、
前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するように構成される画像処理モジュールと、を備え、
前記モデル決定モジュールは、
予備深層学習モデルを取得し、
サンプル画像を取得し、
前記サンプル画像に基づいて複数のサブ画像を生成する
ように構成されるサブ画像生成ユニットと、
前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するように構成されるモデル訓練ユニットと、を含み、
前記複数のサブ画像のうちの少なくとも２つは、前記サンプル画像の同一部分を共有し、
前記サンプル画像に基づいて前記複数のサブ画像を生成するために、前記サブ画像生成ユニットは、
前記同一部分の幅を決定し、
前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定し、
前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも１つに基づいて前記複数のサブ画像を生成する
ように構成され、
前記予備深層学習モデルは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記少なくとも１つのＣＮＮは、少なくとも１つのカーネルを含み、前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、
前記少なくとも１つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定するように構成される、
システム。
【請求項2】
前記サンプル画像の前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、前記サンプル画像の前記同一部分の幅に対応するピクセル又はボクセルの数を基準値Ｒ以上として決定するように構成され、前記基準値Ｒは、前記少なくとも１つのカーネルの幅、又は前記少なくとも１つのカーネルを含む少なくとも１つのダウンサンプリングレイヤの数のうちの少なくとも１つに関連する、請求項１に記載のシステム。
【請求項3】
前記サンプル画像に基づいて前記複数のサブ画像を生成するために、前記サブ画像生成ユニットは、拡張データを得るために、前記サンプル画像、又は１以上の方向に沿う前記複数のサブ画像の１以上でデータエクステンションを行うように構成され、前記拡張データに対応するピクセル／ボクセルの幅は、前記基準値Ｒの２分の１以上である、請求項２に記載のシステム。
【請求項4】
前記基準値Ｒは、以下の式によって求められ、【数1】
【請求項5】
前記複数のサブ画像は、第１のサブ画像、第２のサブ画像及び第３のサブ画像を含み、前記第１のサブ画像及び前記第２のサブ画像は、第１の同一部分を共有し、
前記第１のサブ画像及び前記第３のサブ画像は、第２の同一部分を共有し、
前記第１の同一部分は、前記第２の同一部分の第２の幅と同一である第１の幅を有する、
請求項１から４のいずれか一項に記載のシステム。
【請求項6】
前記予備深層学習モデルを訓練するために、前記モデル訓練ユニットは、グラフィックプロセッシングユニット（ＧＰＵ）によって前記予備深層学習モデルを訓練するように構成される、請求項１から５のいずれか一項に記載のシステム。
【請求項7】
前記ＧＰＵによって前記予備深層学習モデルを訓練するために、前記モデル訓練ユニットは、
第１のサブ画像を前記ＧＰＵにロードし、
更新された深層学習モデルを得るために、前記第１のサブ画像を用いて前記予備深層学習モデルを訓練し、
第２のサブ画像を前記ＧＰＵにロードし、
訓練された深層学習モデルを得るために、前記第２のサブ画像を用いて前記更新された深層学習モデルを訓練する
ように構成される、請求項６に記載のシステム。
【請求項8】
前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定するために、前記サブ画像生成ユニットは、前記サンプル画像のサイズ及び前記ＧＰＵの利用可能なメモリスペースに基づいて、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定するように構成される、請求項６又は７に記載のシステム。
【請求項9】
前記訓練された深層学習モデルに基づいて前記入力画像を処理することは、前記入力画像を分割することを含み、前記処理結果は、前記分割に基づく分割画像を含む、請求項１から８のいずれか一項に記載のシステム。
【請求項10】
前記複数のサブ画像の少なくとも２つは、同一サイズを有し、前記複数のサブ画像は、同一サイズを有する、請求項１から９のいずれか一項に記載のシステム。
【請求項11】
各々が少なくとも１つのプロセッサ及びストレージを有する少なくとも１つの機械で実施される方法であって、訓練された深層学習モデルを決定するステップと、
入力画像を取得するステップと、
前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップであって、前記訓練された深層学習モデルは、処理に従って取得される、ステップと、を備え、
前記処理は、
予備深層学習モデルを取得するステップと、
サンプル画像を取得するステップと、
前記サンプル画像に基づいて複数のサブ画像を生成するステップと、
前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップと、
を含み、
前記複数のサブ画像のうちの少なくとも２つは、前記サンプル画像の同一部分を共有し、
前記サンプル画像に基づいて前記複数のサブ画像を生成するために、サブ画像生成ユニットは、
前記同一部分の幅を決定し、
前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定し、
前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも１つに基づいて前記複数のサブ画像を生成する
ように構成され、
前記予備深層学習モデルは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記少なくとも１つのＣＮＮは、少なくとも１つのカーネルを含み、前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、
前記少なくとも１つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定するように構成される、方法。
【請求項12】
命令を格納する非一時的コンピュータ可読媒体であって、前記命令が、少なくとも１つのプロセッサによって実行されたとき、前記少なくとも１つのプロセッサに方法を実施させ、前記方法は、訓練された深層学習モデルを決定するステップと、
入力画像を取得するステップと、
前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップであって、前記訓練された深層学習モデルは、処理に従って取得される、ステップと、を備え、
前記処理は、
予備深層学習モデルを取得するステップと、
サンプル画像を取得するステップと、
前記サンプル画像に基づいて複数のサブ画像を生成するステップと、
前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップと、
を含み、
前記複数のサブ画像のうちの少なくとも２つは、前記サンプル画像の同一部分を共有し、
前記サンプル画像に基づいて前記複数のサブ画像を生成するために、サブ画像生成ユニットは、
前記同一部分の幅を決定し、
前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定し、
前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも１つに基づいて前記複数のサブ画像を生成する
ように構成され、
前記予備深層学習モデルは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記少なくとも１つのＣＮＮは、少なくとも１つのカーネルを含み、前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、
前記少なくとも１つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定するように構成される、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０１７年１２月７日出願の中国特許出願第２０１７１１２８８５３０．０号の優先権を主張するものであり、その内容全体が参照により本明細書に援用される。
本願は、２０１７年１２月７日出願の中国特許出願第２０１７１１２８８５３０．０号の優先権を主張するものであり、その内容全体が参照により本明細書に援用される。
【0002】
本開示は、概して、画像処理に関連し、より具体的には、画像処理のための深層学習モデルを訓練するためのシステム及び方法に関する。
【背景技術】
【0003】
深層学習モデルは、画像処理において用いられる。例えば、深層学習モデルは、画像分割、画像分類、画像認識において採用される。深層学習モデルは、画像処理前に訓練される。深層学習モデルは、１以上のサンプル画像に基づいて訓練される。したがって、グラフィックプロセッシングユニット（ＧＰＵ）において相対的に大きいサイズを有するサンプル画像に基づいて深層学習モデルを訓練するシステム及び方法を開発することが望まれている。
【発明の概要】
【0004】
本開示の一態様では、方法が提供される。前記方法は、各々が少なくとも１つのプロセッサ及びストレージを有する少なくとも１つの機械で実施されてもよい。前記方法は、訓練された深層学習モデルを決定するステップと、入力画像を取得するステップと、前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップと、を含んでもよい。前記訓練された深層学習モデルは、処理に従って取得されてもよい。前記処理は、予備深層学習モデルを取得するステップ、サンプル画像を取得するステップ、前記サンプル画像に基づいて複数のサブ画像を生成するステップ、及び前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップのうちの１以上を含む。
【0005】
本開示の別の態様では、システムが提供される。前記システムは、少なくとも１つのプロセッサと、命令を格納するように構成されるストレージと、を含んでもよく、前記少なくとも１つのプロセッサは、前記命令を実行するときに、前記システムに、訓練された深層学習モデルを決定させ、入力画像を取得させ、前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成させるように構成されてもよい。前記訓練された深層学習モデルは、処理に従って取得されてもよい。前記処理は、予備深層学習モデルを取得することと、サンプル画像を取得することと、前記サンプル画像に基づいて複数のサブ画像を生成することと、前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練することと、を含んでもよい。
【0006】
本開示の更に別の態様では、非一時的コンピュータ可読媒体が提供される。前記非一時的コンピュータ可読媒体は、命令を格納するように構成され、前記命令は、少なくとも１つのプロセッサによって実行されたとき、前記少なくとも１つのプロセッサに方法を実施させる。前記方法は、訓練された深層学習モデルを決定するステップ、入力画像を取得するステップ、及び前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップのうちの１以上を含んでもよい。前記訓練された深層学習モデルは、処理に従って取得されてもよい。前記処理は、予備深層学習モデルを取得するステップ、サンプル画像を取得するステップ、前記サンプル画像に基づいて複数のサブ画像を生成するステップ、及び前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップのうちの１以上を含んでもよい。
【0007】
本開示の更に別の態様では、システムが提供される。前記システムは、少なくとも１つのプロセッサと、命令を格納するように構成されるストレージと、を含んでもよい。前記システムは、訓練された深層学習モデルを決定するように構成されるモデル決定モジュールと、入力画像、予備深層学習モデル及びサンプル画像を取得するように構成されるデータ取得モジュールと、前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するように構成される画像処理モジュールと、前記サンプル画像に基づいて複数のサブ画像を生成するように構成されるサブ画像生成ユニットと、前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するように構成されるモデル訓練ユニットと、のうちの１以上を更に含んでもよい。
【0008】
一部の実施形態では、前記複数のサブ画像のうちの少なくとも２つは、前記サンプル画像の同一部分を共有してもよい。
【0009】
一部の実施形態では、前記サンプル画像に基づいて前記複数のサブ画像を生成することは、前記同一部分の幅を決定することと、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定することと、前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも１つに基づいて前記複数のサブ画像を生成することと、のうちの１以上を含んでもよい。
【0010】
一部の実施形態では、前記予備深層学習モデルは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を含んでもよい。前記少なくとも１つのＣＮＮは、少なくとも１つのカーネルを含んでもよい。前記同一部分の幅を決定することは、前記少なくとも１つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定することを含んでもよい。
【0011】
一部の実施形態では、前記サンプル画像の前記同一部分の幅を決定することは、前記サンプル画像の前記同一部分の幅に対応するピクセル又はボクセルの数を基準値Ｒ以上として決定することを含んでもよい。前記基準値Ｒは、前記少なくとも１つのカーネルの幅、又は前記少なくとも１つのカーネルを含む少なくとも１つのダウンサンプリングレイヤの数のうちの少なくとも１つに関連されてもよい。
【0012】
一部の実施形態では、前記サンプル画像に基づいて前記複数のサブ画像を生成することは、拡張データを得るために、前記サンプル画像、又は１以上の方向に沿う前記複数のサブ画像の１以上でデータエクステンションを行うことを更に含んでもよい。前記拡張データに対応するピクセル／ボクセルの幅は、前記基準値Ｒの２分の１以上であってもよい。
【0013】
一部の実施形態では、前記基準値Ｒは、以下の式によって求められ、
ここで、Ｐｉは、Ｓｉ＋１（１＋Ｐｉ＋１）に等しく、ｉは、１より大きい整数であり、Ｎは、１以上のカーネルを含むダウンサンプリングレイヤの数であり、Ｎ番目のレイヤは、出力レイヤであり、ＰＮ－１は、ＳＮに等しく、Ｓｊは、（Ｗｊ－１）／２に等しく、ｊは、１より大きい整数であり、Ｗｊは、ｊ番目のレイヤにおけるカーネルの最大幅を示してもよい。
【数1】
ここで、Ｐｉは、Ｓｉ＋１（１＋Ｐｉ＋１）に等しく、ｉは、１より大きい整数であり、Ｎは、１以上のカーネルを含むダウンサンプリングレイヤの数であり、Ｎ番目のレイヤは、出力レイヤであり、ＰＮ－１は、ＳＮに等しく、Ｓｊは、（Ｗｊ－１）／２に等しく、ｊは、１より大きい整数であり、Ｗｊは、ｊ番目のレイヤにおけるカーネルの最大幅を示してもよい。
【0014】
一部の実施形態では、前記複数のサブ画像は、第１のサブ画像、第２のサブ画像及び第３のサブ画像を含んでもよい。前記第１のサブ画像及び前記第２のサブ画像は、第１の同一部分を共有してもよい。前記第１のサブ画像及び前記第３のサブ画像は、第２の同一部分を共有してもよい。
【0015】
一部の実施形態では、前記第１の同一部分は、前記第２の同一部分の第２の幅と同一の第１の幅を有してもよい。
【0016】
一部の実施形態では、前記予備深層学習モデルを訓練することは、グラフィックプロセッシングユニット（ＧＰＵ）によって前記予備深層学習モデルを訓練することを含んでもよい。
【0017】
一部の実施形態では、前記ＧＰＵによって前記予備深層学習モデルを訓練することは、第１のサブ画像を前記ＧＰＵにロードすること、更新された深層学習モデルを得るために、前記第１のサブ画像を用いて前記予備深層学習モデルを訓練すること、第２のサブ画像を前記ＧＰＵにロードすること、訓練された深層学習モデルを得るために、前記第２のサブ画像を用いて前記更新された深層学習モデルを訓練すること、のうちの１以上を含んでもよい。
【0018】
一部の実施形態では、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定することは、前記サンプル画像のサイズ及び前記ＧＰＵの利用可能なメモリスペースに基づいて、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定することを含んでもよい。
【0019】
一部の実施形態では、前記訓練された深層学習モデルに基づいて前記入力画像を処理することは、前記入力画像を分割することを含んでもよい。前記処理結果は、前記分割に基づく分割画像を含んでもよい。
【0020】
一部の実施形態では、前記複数のサブ画像の少なくとも２つは、同一サイズを有してもよい。
【0021】
一部の実施形態では、前記複数のサブ画像は、同一サイズを有してもよい。
【0022】
更なる特徴は、以下の説明に部分的に記載され、以下及び添付の図面を検討したときに当業者に部分的に明らかになるか、又は実施例の生産又は運用により習得されてもよい。本開示の特徴は、以下に論じられる詳細な実施例に示される方法論、人工物、及び組み合わせの様々な態様の実践又は使用によって実現及び達成されてもよい。
【図面の簡単な説明】
【0023】
本開示は、例示的な実施形態の観点で更に説明される。これらの例示的な実施形態は、図面を参照しながら詳細に説明される。これらの実施形態は、非限定的な例示的実施形態であり、同様の参照番号は、図面のいくつかの図を通じて同様の構造を表す。
【0024】
【発明を実施するための形態】
【0025】
以下の詳細な説明では、関連出願の十分な理解を提供するために、多数の具体的な詳細が例示によって述べられる。しかし、本願は、このような詳細なしに実施されてもよいことが当業者にとって明示的であるべきである。他の例では、既知の方法、工程、システム、コンポーネント、及び／又は回路は、本願の不要で不明瞭な態様を避けるために、詳細なしに、相対的にハイレベルで説明されている。開示される実施形態に対する様々な変更は、当業者にとって明示的に明らかであり、本明細書で定義される一般概念は、本願の趣旨及び範囲から逸脱しない限り、他の実施形態及び用途に適用されてもよい。よって、本願は、示される実施形態に限定されないが、特許請求の範囲と一致する最も広い範囲と一致される。
【0026】
本明細書で用いられる用語「システム」、「エンジン」、「ユニット」、「モジュール」及び／又は「ブロック」は、昇順で異なるレベルの異なるコンポーネント、エレメント、パーツ、セクション又はアセンブリを区別するための１つの方法である。しかし、用語は、それらが同一の目的を実現するために他の表現によって取って代わられてもよい。
【0027】
一般的に、本明細書で用いられる単語「モジュール」、「ユニット」又は「ブロック」は、ハードウェア又はファームウェアで具現化されるロジック、又はソフトウェア命令の集合を示す。本明細書で説明されるモジュール、ユニット又はブロックは、任意のタイプの非一時的なコンピュータ可読媒体又は他のストレージ装置に格納されてもよい。一部の実施形態では、ソフトウェアモジュール／ユニット／ブロックは、実行可能なプログラムにコンパイル及びリンクされてもよい。ソフトウェアモジュールは、他のモジュール／ユニット／ブロック又はそれら自体から呼び出し可能であることができる、及び／又は検出されたイベント又はインタラプトに応答して呼び出されることができることが理解されるであろう。コンピューティング装置（例えば、図２に示されるプロセッサ２１０）上で実行するために構成されるフトウェアモジュール／ユニット／ブロックは、コンパクトディスク、デジタルビデオディスク、フラッシュドライブ、磁気ディスク又は他の有形媒体等のようなコンピュータ可読媒体上、又はデジタルダウンロード（及び実行前に、インストール、展開又は復号を必要とする圧縮又はインストール可能なフォーマットで本来格納されうる）として提供されてもよい。このようなソフトウェアコードは、コンピューティング装置によって実行するために、実行するコンピューティング装置のストレージ装置に部分的又は完全に格納されてもよい。ソフトウェア命令は、ＥＰＲＯＭ等のようなファームウェアに組み込まれてもよい。ハードウェアモジュール／ユニット／ブロックは、ゲート及びフリップフロップ等のような結合されたロジックコンポーネントに含まれてもよい、及び／又はプログラマブルゲートアレイ又はプロセッサ等のようなプログラム可能なユニットに含まれうることが更に理解されるであろう。モジュール／ユニット／ブロック又は本明細書で説明されるコンピューティング装置の機能は、ソフトウェアモジュール／ユニット／ブロックとして実装されてもよいが、ハードウェア又はファームウェアで表されてもよい。概して、本明細書で説明されるモジュール／ユニット／ブロックは、それらの物理的な組織又は記憶装置に関わらず、他のモジュール／ユニット／ブロックと組み合わせられる、又はサブモジュール／サブユニット／サブブロックに分割される、論理的なモジュール／ユニット／ブロックを示す。詳細な説明は、システム、エンジン又はその一部に適用されてもよい。
【0028】
ユニット、モジュール又はブロックが、他のユニット、モジュール又はブロック「上にある」、「に接続される」、「と通信される」、「に結合される」として示されるとき、他に明確に示されていない限り、他のユニット、モジュール又はブロックに直接接続、接続、結合又は通信する、若しくは、介在するユニット、エンジン、モジュール又はブロックが存在してもよい。本明細書で用いられるように、用語「及び／又は」は、関連する列挙された項目の１以上の任意及び全ての組み合わせを含む。
【0029】
本明細書で用いられる用語は、特定の実施例及び実施形態を説明するためだけのものであり、限定的となることは意図されない。本明細書で用いられるように、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、他に明確に示されていない限り、複数形態も含むことが意図されてもよい。用語「含む」及び／又は「備える」は、本開示で用いられるとき、整数、装置、態様、状態特性、ステップ、要素、動作、及び／又は構成要素の存在を特定するが、１以上の他の整数、装置、態様、特徴、ステップ、要素、動作、構成要素及び／又はそのグループの存在又は追加を排除するものではないことが更に理解されるであろう。
【0030】
一部の実施形態では、イメージングシステムは、ディジタルサブトラクション血管造影（ＤＳＡ）、磁気共鳴画像（ＭＲＩ）、磁気共鳴血管造影（ＭＲＡ）、コンピュータ断層撮影（ＣＴ）、コンピュータ断層撮影血管造影（ＣＴＡ）、超音波スキャニング（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単光子放射型コンピュータ断層撮影（ＳＰＥＣＴ）、ＣＴ－ＭＲ、ＣＴ－ＰＥＴ、ＣＥ－ＳＰＥＣＴ、ＤＳＡ－ＭＲ、ＰＥＴ－ＭＲ、ＰＥＴ－ＵＳ、ＳＰＥＣＴ－ＵＳ、ＴＭＳ（ｔｒａｎｓｃｒａｎｉａｌ ｍａｇｎｅｔｉｃ ｓｔｉｍｕｌａｔｉｏｎ）－ＭＲ、ＵＳ－ＣＴ、ＵＳ－ＭＲ、Ｘ線－ＣＴ、Ｘ線－ＭＲ、Ｘ線－ポータル、Ｘ線－ＵＳ、ビデオ－ＣＴ、Ｖｉｄｅ－ＵＳ又は同様のもの、又はそれらの組み合わせを含む１以上のモダリディを含んでもよい。一部の実施形態では、対象領域は、臓器、組織、物体、病変、腫瘍、又は同様のもの、又はその組み合わせであってもよい。単に例として、対象領域は、頭部、胸部、肺、肋骨、椎骨、胸膜、縦隔、腹部、大腸、小腸、膀胱、胆嚢、三焦、骨盤腔、背骨、四肢、骨格、血管、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、画像は、２Ｄ画像及び／又は３Ｄ画像を含んでもよい。２Ｄ画像では、その最小の区別可能な要素は、ピクセルと呼ばれる。３Ｄ画像では、その最小の区別可能な要素は、ボクセル（「ａ ｖｏｌｕｍｅｔｒｉｃ ｐｉｘｅｌ」又は「ａ ｖｏｌｕｍｅ ｐｉｘｅｌ」）と呼ばれる。一部の実施形態では、３Ｄ画像は、一連の２Ｄスライス又は２Ｄレイヤとしてもみなされてもよい。
【0031】
簡略化のために、物体（例えば、被験者（例えば患者）の組織、臓器、腫瘍）に対応する画像又はその一部（例えば、画像における関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ（ＲＯＩ））は、物体の、物体を含む、又は物体自体の画像又はその一部（例えばＲＯＩ）として示されてもよい。例えば、肋骨に対応するＲＯＩは、ＲＯＩが肋骨を含むものとして説明されてもよい。別の例として、肋骨の画像又は肋骨を含む画像は、肋骨画像又は単に肋骨と呼ばれてもよい。簡略化のために、物体に対応する画像の一部は、物体が処理される（例えば、抽出、分割）として説明されてもよい。例えば、肋骨に対応する画像の一部が画像の残りの部分から抽出されていることは、肋骨が抽出されていると説明されてもよい。
【0032】
本開示の一態様は、画像処理（例えば画像セグメンテーション）のための深層学習モデルを訓練するシステム及び方法に関する。深層学習モデルを訓練するために、システムは、予備深層学習モデルを取得し、少なくとも１つのサンプル画像を取得し、少なくとも１つのサンプル画像に基づいて複数のサブ画像を生成し、訓練された深層学習モデルを得るために、複数のサブ画像を用いて予備深層学習モデルを訓練してもよい。各サブ画像は、１以上の他のサブ画像としてサンプル画像の同一部分を有してもよい。サブ画像は、決定された同一部分の幅、及び決定されたサブ画像の数（又は決定された各サブ画像のサイズ）に基づいて生成されてもよい。
【0033】
説明の目的のために、以下の記載は、訓練された深層学習モデルを得るために、訓練処理に関して提供される。本開示の範囲を限定することが意図されないことが理解される。当業者にとって、特定量の変動、変更及び／又は修正は、本開示の指針の下に推論されてもよい。それらの変動、変更及び／又は修正は、本開示の範囲を逸脱するものではない。
【0034】
図１Ａ及び１Ｂは、本開示の一部の実施形態に係る例示的なイメージングシステムを示す概略図である。図１に示すように、イメージングシステム１００は、スキャナ１１０と、ネットワーク１２０と、１以上の端末１３０と、処理装置１４０と、ストレージ装置１５０と、を含んでもよい。イメージングシステム１００の構成要素は、１以上の可変な手法で接続されてもよい。単に例として、図１Ａに示すように、スキャナ１１０は、ネットワーク１２０を通じて処理装置１４０に接続されてもよい。別の例として、スキャナ１１０は、処理装置１４０に直接的に接続されてもよい。更に別の例として、ストレージ装置１５０は、直接的に又はネットワーク１２０を通じて処理装置１４０に接続されてもよい。更に別の例として、端末１３０は、直接的に又はネットワーク１２０を通じて処理装置１４０に接続されてもよい。
【0035】
スキャナ１１０は、物体を走査し、物体に関する走査されたデータを生成する。一部の実施形態では、スキャナ１１０は、医療イメージング装置であってもよく、例えば、ＰＥＴ装置、ＳＰＥＣＴ装置、ＣＴ装置、ＭＲＩ装置又は同様のもの又はその組み合わせ（例えばＰＥＴ－ＣＴ装置、ＰＥＴ－ＭＲＩ装置又はＳＰＥＣＴ－ＭＲＩ装置）であってもよい。スキャナ１１０は、ガントリー１１１と、検出器１１２と、検出領域１１３と、テーブル１１４と、を含んでもよい。一部の実施形態では、スキャナ１１０は、放射性走査源１１５も含んでもよい。ガントリー１１１は、検出器１１２及び放射性走査源１１５を支持してもよい。物体は、走査のためにテーブル１１４上に配置されてもよい。本開示では、「物体」及び「被写体」は、互いに交換可能に用いられる。放射性走査源１１５は、物体に放射線を放出してもよい。一部の実施形態では、検出器１１２は、検出領域１１３から放出された放射イベント（例えば、ガンマ光子）を検出してもよい。一部の実施形態では、スキャナ１１０は、ＭＲＩ走査装置であってもよく、検出器１１２は、無線周波数（ＲＦ）信号を検出及び／又は受信する電気回路を含んでもよい。
【0036】
ネットワーク１２０は、イメージングシステム１００のための情報及び／又はデータの交換を容易にしうる適切なネットワークを含んでもよい。一部の実施形態では、イメージングシステム１００の１以上の構成要素（例えば、スキャナ１１０、端末１３０、処理装置１４０、ストレージ装置１５０）は、ネットワーク１２０を介してイメージングシステム１００の１以上の他の構成要素と情報及び／又はデータを伝達してもよい。例えば、処理装置１４０は、ネットワーク１２０を介してスキャナ１１０から画像データを得てもよい。別の例として、処理装置１４０は、ネットワーク１２０を介して端末１３０からユーザ指示を得てもよい。ネットワーク１２０は、パブリックネットワーク（例えば、インターネット）、プライベートネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ））、有線ネットワーク（例えばイーサネットネットワーク）、無線ネットワーク（例えば８０２．１１ネットワーク、Ｗｉ－Ｆｉネットワーク）、セルラーネットワーク（例えばロングタームエボリューション（ＬＴＥ）ネットワーク）、フレームリレーネットワーク、バーチャルプライベートネットワーク（“ＶＰＮ”）、衛星ネットワーク、電話ネットワーク、ルーター、ハブ、スイッチ、サーバコンピュータ、及び／又はその組み合わせであってもよい、及び／又は含んでもよい。単に例として、ネットワーク１２０は、ケーブルネットワーク、ワイヤラインネットワーク、ファイバーオプティックネットワーク、遠距離通信ネットワーク、イントラネット、無線ローカルエリアネットワーク（ＷＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、公衆交換電話網（ｐｕｂｌｉｃ ｔｅｌｅｐｈｏｎｅ ｓｗｉｔｃｈｅｄ ｎｅｔｗｏｒｋ （ＰＳＴＮ））、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、ＺｉｇＢｅｅ（登録商標）ネットワーク、近距離無線通信（ＮＦＣ）ネットワーク、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、ネットワーク１２０は、１以上のネットワークアクセスポイントを含んでもよい。例えば、ネットワーク１２０は、データ及び／情報を交換するために、それを介してイメージングシステム１００の１以上の構成要素がネットワーク１２０に接続されてもよい基地局及び／又はインターネット相互接続点等のような有線及び／又は無線ネットワークアクセスポイントを含んでもよい。
【0037】
端末１３０は、モバイル装置１３１、タブレットコンピュータ１３２、ラップトップコンピュータ１３３、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、モバイル装置１３１は、スマートホームデバイス、ウェアラブルデバイス、モバイルデバイス、仮想現実デバイス、拡張現実デバイス、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、スマートホームデバイスは、スマート照明デバイス、インテリジェント家電の制御デバイス、スマート監視デバイス、スマートテレビ、スマートビデオカメラ、インターフォン、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、ウェアラブルデバイスは、ブレスレット、履物、眼鏡、ヘルメット、腕時計、衣服、バックパック、スマートアクセサリ、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、モバイル装置は、モバイルフォン、パーソナルデジタルアシスタント（ＰＤＡ）、ゲーミングデバイス、ナビゲーションデバイス、販売時点管理（ＰＯＳ）デバイス、ラップトップ、タブレットコンピュータ、デスクトップ、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、仮想現実デバイス及び／又は拡張現実デバイスは、仮想現実ヘルメット、仮想現実眼鏡、仮想現実パッチ、拡張現実ヘルメット、拡張現実眼鏡、拡張現実パッチ、又は同様のもの、又はその組み合わせを含んでもよい。例えば、仮想現実デバイス及び／又は拡張現実デバイスは、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）、Ｏｃｕｌｕｓ Ｒｉｆｔ（登録商標）、Ｈｏｌｏｌｅｎｓ（登録商標）、Ｇｅａｒ ＶＲ（登録商標）を含んでもよい。一部の実施形態では、端末１３０は、処理装置１４０の一部であってもよい。
【0038】
処理装置１４０は、スキャナ１１０、端末１３０及び／又はストレージ装置１５０から得られるデータ及び／又は情報を処理してもよい。一部の実施形態では、処理装置１４０は、単一サーバ又はサーバグループであってもよい。サーバグループは、中央集権化又は分散化されてもよい。一部の実施形態では、処理装置１４０は、ローカル又はリモートであってもよい。例えば、処理装置１４０は、ネットワーク１２０を介してスキャナ１１０、端末１３０及び／又はストレージ装置１５０に格納された情報及び／又はデータにアクセスしてもよい。別の例として、処理装置１４０は、格納された情報及び／又はデータにアクセスするために、スキャナ１１０、端末１３０及び／又はストレージ装置１５０に直接接続されてもよい。一部の実施形態では、処理装置１４０は、クラウドプラットフォーム上に実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウド、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、処理装置１４０は、図２に示されるような１以上の構成要素を有するコンピューティング装置２００によって実施されてもよい。一部の実施形態では、処理装置１４０又は処理装置１４０の一部は、スキャナ１１０に一体化されてもよい。
【0039】
ストレージ装置１５０は、データ、命令及び／又は他の情報を格納してもよい。一部の実施形態では、ストレージ装置１５０は、端末１３０及び／又は処理装置１４０から得られたデータを格納してもよい。一部の実施形態では、ストレージ装置１５０は、処理装置１４０が、本開示に記載される例示的な方法を行うために実行又は使用するデータ及び／又は命令を格納してもよい。一部の実施形態では、ストレージ装置１５０は、マスストレージ、リムーバブルストレージ、揮発性読出し書込み用メモリ、読出し用メモリ（ＲＯＭ）、又は同様のもの、又はその組み合わせを含んでもよい。例示的なマスストレージは、磁気ディスク、光学ディスク、ソリッドステートディスク等を含んでもよい。例示的なリムーバブルストレージは、フラッシュドライブ、フロッピーディスク、光学ディスク、メモリカード、ジップディスク、磁気テープ等を含んでもよい。例示的な揮発性読出し書込み用メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよい。例示的なＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ｄｏｕｂｌｅ ｄａｔｅ ｒａｔｅ ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ－ＲＡＭ）、及びゼロ－キャパシタＲＡＭ（Ｚ－ＲＡＭ）等を含んでもよい。例示的なＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ （ＣＤ－ＲＯＭ）、及びデジタルバーサタイルディスクＲＯＭ等を含んでもよい。一部の実施形態では、ストレージ装置１５０は、クラウドプラットフォーム上に実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウド、又は同様のもの、又はその組み合わせを含んでもよい。
【0040】
一部の実施形態では、ストレージ装置１５０は、イメージングシステム１００の１以上の他の構成要素（例えば、処理装置１４０、端末１３０）と通信するためにネットワーク１２０に接続されてもよい。イメージングシステム１００の１以上の構成要素は、ネットワーク１２０を介してストレージ装置１５０に格納されたデータ又は命令にアクセスしてもよい。一部の実施形態では、ストレージ装置１５０は、イメージングシステム１００の１以上の他の構成要素（例えば、処理装置１４０、端末１３０）と通信するために直接接続されてもよい。一部の実施形態では、ストレージ装置１５０は、処理装置１４０の一部であってもよい。
【0041】
図２は、本開示の一部の実施形態に係る、処理装置１４０が実装されたコンピューティング装置の例示的なハードウェア及び／又はソフトウェア構成要素を示す概略図である。図２に示すように、コンピューティング装置２００は、プロセッサ２１０、ストレージ２２０、入力／出力（Ｉ／Ｏ）２３０、通信ポート２４０を含んでもよい。
【0042】
プロセッサ２１０は、本明細書に記載の技術に従って、コンピュータ命令（例えば、プログラムコード）を実行し、処理装置１４０の機能を行ってもよい。コンピュータ命令は、例えば、本明細書に記載の特定の機能を行う、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、及び機能を含んでもよい。例えば、プロセッサ２１０は、スキャナ１１０、端末１３０、ストレージ装置１５０及び／又はイメージングシステム１００の他の構成要素から得られた画像データを処理してもよい。一部の実施形態では、プロセッサ２１０は、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣｓ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、物理処理装置（ＰＰＵ）、マイクロコントローラユニット、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ａｄｖａｎｃｅｄ ＲＩＳＣ ｍａｃｈｉｎｅ（ＡＲＭ）、プログラマブルロジックデバイス（ＰＬＤ）、１以上の機能を実行可能な回路又はプロセッサ、又は同様のもの、又はその組み合わせを含むもの、等のような１以上のハードウェアプロセッサを含んでもよい。
【0043】
一部の実施形態では、プロセッサ２１０におけるＧＰＵは、画像処理のために構成されてもよい。ＧＰＵは、１以上のラスタオペレーションユニット（ＲＯＰｓ）、バスインターフェース、１以上のシェーダー又は同様のものを含んでもよい。ＧＰＵは、ディスプレイ装置（例えば、Ｉ／Ｏ２３０のディスプレイ装置）に出力するために意図されるフレームバッファにおいて１以上の画像の形成を促進するための１以上の電子回路を含んでもよい。一部の実施形態では、ＧＰＵは、深層学習モデルのための１以上の訓練処理における画像処理を行ってもよい。ＧＰＵは、訓練処理に含まれる１以上の畳み込み演算（例えば、多重行列乗算）を行ってもよい。例示的なＧＰＵの製造元は、ＮＶＩＤＩＡ、Ｉｎｔｅｌ、ＡＭＤ等を含む。なお、本開示における用語「グラフィック処理（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ）」及び「画像処理（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）」は、異なっていることを留意すべきである。画像処理は、１以上の画像処理のための全体処理（例えば、画像セグメンテーション、画像分類、画像レジストレーション、画像ヒュージョン）を示す。上述されたようにグラフィック処理は、１以上の画像により深層学習モデルに用いられる１以上の畳み込み演算を含んでもよい。一部の実施形態では、グラフィック処理は、深層学習モデル訓練の一部であってもよい。一部の実施形態では、グラフィック処理は、深層学習モデルに基づく画像処理の一部であってもよい。
【0044】
単に例として、１つのみのプロセッサがコンピューティング装置２００において説明されてもよい。しかし、本開示におけるコンピューティング装置２００もまた複数のプロセッサを含んでもよく、よって、本開示において記載されるような１つのプロセッサにより行われるオペレーション及び／又はステップもまた、複数のプロセッサによって共同で又は別々に行われてもよいことを留意すべきである。
【0045】
ストレージ２２０は、スキャナ１１０、端末１３０、ストレージ装置１５０及び／又はイメージングシステム１００の他の構成要素から得られたデータ／情報を格納してもよい。一部の実施形態では、ストレージ２２０は、マスストレージ、リムーバブルストレージ、揮発性読出し書込み用メモリ、読出し用メモリ（ＲＯＭ）、又は同様のもの、又はその組み合わせを含んでもよい。例示的なマスストレージは、磁気ディスク、光学ディスク、ソリッドステートディスク等を含んでもよい。リムーバブルストレージは、フラッシュドライブ、フロッピーディスク、光学ディスク、メモリカード、ジップディスク、磁気テープ等を含んでもよい。揮発性読出し書込み用メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよい。ＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ｄｏｕｂｌｅ ｄａｔｅ ｒａｔｅ ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ－ＲＡＭ）、及びゼロ－キャパシタＲＡＭ （Ｚ－ＲＡＭ）等を含んでもよい。ＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ－ＲＯＭ）、及びデジタルバーサタイルディスクＲＯＭ等を含んでもよい。一部の実施形態では、ストレージ２２０は、本開示に記載される例示的な方法を行うために１以上のプログラム及び／又は命令を格納してもよい。例えば、ストレージ２２０は、正規化アイテムを求めるために処理装置１４０のためのプログラムを格納してもよい。
【0046】
Ｉ／Ｏ２３０は、信号、データ、情報等を入力及び／又は出力してもよい。一部の実施形態では、Ｉ／Ｏ２３０は、処理装置１４０とのユーザインタラクションを可能にしてもよい。一部の実施形態では、Ｉ／Ｏ２３０は、入力装置及び出力装置を含んでもよい。入力装置の例は、キーボード、マウス、タッチスクリーン、マイクロフォン、又は同様のもの、又はその組み合わせを含んでもよい。出力装置の例は、ディスプレイ装置、ラウドスピーカー、プリンタ、プロジェクタ、又は同様のもの、又はその組み合わせを含んでもよい。ディスプレイ装置の例は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードベースのディスプレイ、フラットパネルディスプレイ、湾曲ディスプレイ、テレビジョンディスプレイ、陰極線管（ＣＲＴ）、タッチスクリーン、又は同様のもの、又はその組み合わせを含んでもよい。
【0047】
通信ポート２４０は、データ通信を容易にするためにネットワーク（例えば、ネットワーク１２０）に接続されてもよい。通信ポート２４０は、処理装置１４０と、スキャナ１１０、端末１３０及び／又はストレージ装置１５０との間の接続を確立してもよい。接続は、有線接続、無線接続、データ伝送及び／又は受信を可能にする他の通信接続、及び／又はそれらの接続の組み合わせであってもよい。有線接続は、例えば、電気ケーブル、光学ケーブル、電話ケーブル、又は同様のもの、又はその組み合わせを含んでもよい。無線接続は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク、Ｗｉ－Ｆｉ（登録商標）リンク、ＷｉＭａｘ（登録商標）リンク、ＷＬＡＮリンク、ＺｉｇＢｅｅリンク、モバイルネットワークリンク（例えば、３Ｇ、４Ｇ、５Ｇ）、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、通信ポート２４０は、ＲＳ２３２、ＲＳ４８５等のような標準化された通信ポートであってもよい、及び／又は含んでもよい。一部の実施形態では、通信ポート２４０は、特別に設計された通信ポートであってもよい。例えば、通信ポート２４０は、ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）プロトコルに従って設計されてもよい。
【0048】
図３は、本開示の一部の実施形態に係る、端末１３０が実装されるモバイル装置３００の例示的なソフトウェア及び／又はソフトウェア構成要素を示す概略図である。図３に示すように、モバイル装置３００は、通信プラットフォーム３１０、ディスプレイ３２０、グラフィックプロセッシングユニット（ＧＰＵ）３３０、中央演算処理装置（ＣＰＵ）３４０、Ｉ／Ｏ３５０、メモリ３６０及びストレージ３９０を含んでもよい。一部の実施形態では、これに限定されないがシステムバス又はコントローラ（図示せず）を含む任意の他の適切な構成要素もモバイル装置３００に含まれてもよい。一部の実施形態では、モバイルオペレーティングシステム３７０（例えば、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ（登録商標））、及び１以上のアプリケーション３８０は、ＣＰＵ３４０によって実行されるために、ストレージ３９０からメモリ３６０にロードされてもよい。アプリケーション３８０は、画像処理に関する情報又は処理装置１４０からの他の情報を受信及びレンダリングするためのブラウザ又は他の適切なモバイルアプリケーションを含んでもよい。情報ストリームを有するユーザインタラクションは、Ｉ／Ｏ３５０を介して実現され、ネットワーク１２０を介して処理装置１４０及び／又はイメージングシステム１００の他のコンポーネントに提供されてもよい。
【0049】
一部の実施形態では、ＧＰＵ３３０は、グラフィックプロセッシングのために構成されてもよい。ＧＰＵ３３０は、１以上のラスターオペレーティングユニット（ＲＯＰｓ）、バスインターフェース、１以上のシェーダー又は同様のものを含んでもよい。ＧＰＵ３３０は、ディスプレイ装置（例えば、ディスプレイ３２０）への出力を意図するフレームバッファにおいて１以上の画像の形成を加速するために１以上の電子回路を含んでもよい。一部の実施形態では、ＧＰＵ３３０は、深層学習モデルを訓練するために１以上の訓練処理においてグラフィックプロセッシングを行ってもよい。ＧＰＵ３３０は、訓練処理において含まれる１以上の畳み込み演算（例えば、多重行列乗算）を行ってもよい。ＧＰＵ３３０の例示的な製造元は、ＮＶＩＤＩＡ、Ｉｎｔｅｌ、ＡＭＤ等を含んでもよい。
【0050】
本開示において記載される様々なモジュール、ユニット及びそれらの機能を実施するために、コンピュータハードウェアプラットフォームは、本明細書に記載の要素の１以上のためのハードウェアプラットフォームとして用いられてもよい。ユーザインターフェース要素を有するコンピュータは、パーソナルコンピュータ（ＰＣ）又は他の種類のワークステーション又は端末装置を実施するために用いられてもよい。コンピュータは、また、適切にプログラムされる場合、サーバとして用いられてもよい。
【0051】
図４Ａは、本開示の一部の実施形態に係る、例示的な処理装置を示す概略図である。処理装置１４０は、データ取得モジュール４０２、モデル決定モジュール４０４及び画像処理モジュール４０６を含んでもよい。処理装置１４０の少なくとも一部は、図２に示されるコンピューティング装置２００又は図３に示されるモバイル装置３００上に実装されてもよい。
【0052】
データ取得モジュール４０２は、データを取得する。データは、画像データ、画像データを処理するための１以上の命令、画像データを処理するための１以上のパラメータ、又はイメージングシステム１００の１以上の構成要素（例えば、処理装置１４０）の性能状態に関するデータを含んでもよい。例えば、データ取得モジュール４０２は、図２に示されるコンピューティング装置２００のＧＰＵ、又は図３に示されるモバイル装置３００のＧＰＵ３００の利用可能なメモリスペースに関するデータを取得してもよい。一部の実施形態では、データ取得モジュール４０２は、イメージングシステム１００の内部データソース（例えば、スキャナ１１０又はストレージ装置１５０）又はネットワークを介してイメージングシステム１００に接続された外部データソース（例えば、クラウドプラットフォーム上にあるデータベース）から画像データを取得してもよい。
【0053】
画像データは、オブジェクトに関連してもよい。一部の実施形態では、画像データは、オブジェクトのボディ全体の完全なスキャニングによって生成されてもよく、生成される画像データは、オブジェクトのボディ全体に関する情報を含んでもよい。一部の実施形態では、画像データは、オブジェクトの１以上の部分をスキャンすることによって生成されてもよく、生成される画像データは、オブジェクトの１以上の部分に関する情報を含んでもよい。１以上の部分は、胸部、胴、上肢、下肢、頭部、器官、組織等を含んでもよい。画像データは、２Ｄ画像データ又は３Ｄ画像データであってもよい。３Ｄ画像データは、複数のボクセルを含んでもよい。２Ｄ画像データは、複数のピクセルを含んでもよい。画像データは、ＭＲＩ画像データ、ＣＴ画像データ、Ｘ線画像データ、超音波画像データ、ＰＥＴ画像データ、又は同様のもの、又はその組み合わせを含んでもよい。画像データは、スキャナ１１０によって生成された元データ、元データに基づいて生成される画像、画像生成のためのパラメータ、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、画像データは、１以上のサンプル画像に関する訓練データを含んでもよい。データ取得モジュール４０２は、さらなる処理のために処理装置１４０の１以上の他のモジュール（例えば、モデル決定モジュール４０４）又は１以上のユニット（例えば、図５に示されるモデル訓練ユニット）に訓練データを送信してもよい。
【0054】
モデル決定モジュール４０４は、１以上のモデル（例えば、１以上の訓練された深層学習モデル）を決定してもよい。一部の実施形態では、モデル決定モジュール４０４は、訓練データに基づく深層学習モデルを訓練することによって、訓練された深層学習モデルを決定してもよい。一部の実施形態では、深層学習モデルは、１以上のディープニューラルネットワーク（ＤＮＮｓ）を含んでもよい。一部の実施形態では、ＤＮＮは、マルチレイヤ構造を含んでもよい。一部の実施形態では、モデル決定モジュール４０４は、訓練データの１以上の特徴を深層学習モデルに学習させ、マルチレイヤ構造の１以上のレイヤ（又は１以上のパラメータ）を調整してもよい。画像処理のために、訓練データは、１以上のサンプル画像に関連してもよい。一部の実施形態では、サンプル画像は、相対的に大きいサイズを有し、モデル決定モジュール４０４は、サンプル画像に基づく複数のサブ画像を生成し、サブ画像に対応する訓練データを得てもよい。一部の実施形態では、訓練された深層学習モデルは、イメージングシステム１００の内部及び／又は外部の１以上のプロセッサによって生成されても良く、モデル決定モジュール４０４は、訓練された深層学習モデルを直接得てもよい。一部の実施形態では、モデル決定モジュール４０４は、図５Ａで説明されるように、１以上のユニットを含んでもよい。
【0055】
画像処理モジュール４０６は、１以上の画像を処理してもよい。一部の実施形態では、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて画像を処理してもよい。例えば、画像処理モジュール４０６は、画像（例えば、入力画像）を、訓練された深層学習モデルにもたらし、訓練された深層学習モデルにおけるマルチレイヤ構造の１以上の（例えば全ての）レイヤ上で入力画像を処理し、処理結果を生成してもよい。画像処理モジュール４０６は、訓練された深層学習モデルにおいて１以上のアルゴリズムに基づいて入力画像を処理してもよい。処理は、画像セグメンテーション、画像分類、画像認識、画像品質改善、又は同様のもの、又はその組み合わせを含んでもよい。例えば、一部の実施形態では、入力画像は、関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ（ＲＯＩ））を含んでもよく、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて入力画像からＲＯＩを分割又は抽出してもよい。別の例として、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて、入力画像が属する、予め設定されたグループを決定してもよい。更に別の例として、入力画像は、ＲＯＩ（例えば、人間の顔）を含んでもよく、画像処理モジュール４０６は、訓練された深層学習モデルに基づいてＲＯＩを有する人物を認識してもよい。また、更に別の例として、入力画像は、相対的に低品質の画像であってもよく、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて画像品質を改善してもよい。
【0056】
図４Ｂは、本開示の一部の実施形態に係る、入力画像を処理する例示的な処理を示すフローチャートである。一部の実施形態では、入力画像を処理するために図４Ｂに示される処理４００の１以上のオペレーションは、図１に示されるイメージングシステム１００において実施されてもよい。例えば、図４Ｂに示される処理４００は、命令の形態でストレージ装置１５０に格納され、処理装置１４０（例えば、図２に示されるコンピューティング装置２００のプロセッサ２１０、図３に示されるモバイル装置３００のＣＰＵ３４０）によって呼び出し及び／又は実行されてもよい。別の例として、処理４００の一部は、スキャナ１１０上で実施されてもよい。以下に提示される、例示の処理の動作は、例示を目的とするものである。一部の実施形態では、処理は、記載されていない１以上の追加の動作で達成されてもよく、及び／又は、記載されている動作のうちの１以上がなくてもよい。更に、図４Ｂに図示され、以下に説明されるようなプロセスの動作の順序は、限定することを意図していない。
【0057】
４０１において、処理装置１４０（例えば、モデル決定モジュール４０４）は、訓練された深層学習モデルを決定してもよい。深層学習モデルは、入力画像データに基づいて出力結果（例えば、画像処理結果）を生成するために用いられる１以上のアルゴリズムを含んでもよい。一部の実施形態では、深層学習モデルは、１以上のディープニューラルネットワーク（ＤＮＮ）、１以上のディープボルツマンマシン（ＤＢＭ）、１以上のスタックドオートエンコーダ、１以上のディープスタッキングネットワーク（ＤＳＮ）等を含んでもよい。ＤＮＮは、コンボリューションニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、ディープブリーフネットワーク（ＤＢＮ）等を含んでもよい。一部の実施形態では、ＤＮＮは、マルチレイヤ構造を含んでもよい。訓練された深層学習モデルは、訓練データ（例えば、１以上のサンプル画像）を用いて訓練された深層学習モデルを示してもよい。訓練された深層学習モデルに基づく画像処理の精度が、実際の使用の要求を満たすように、訓練された深層学習モデルは、深層学習モデルのアルゴリズム（例えばＤＮＮ）に関連する１以上の相対的に最適化されたパラメータを含んでもよい。一部の実施形態では、モデル決定モジュール４０４は、訓練データに基づいて深層学習モデルを訓練することによって、訓練された深層学習モデルを決定してもよい。一部の実施形態では、モデル決定モジュール４０４は、訓練データの１以上の特徴を深層学習モデルに学習させ、マルチレイヤ構造の１以上のレイヤ（又は１以上のパラメータ）を調整してもよい。一部の実施形態では、サンプル画像は、相対的に大きいサイズを有し、モデル決定モジュール４０４は、サンプル画像に基づいて複数のサブ画像を生成し、サブ画像に対応する訓練データを得てもよい。一部の実施形態では、訓練された深層学習モデルは、イメージングシステム１００の内部及び／又は外部の１以上の他のプロセッサによって生成されてもよく、モデル決定モジュール４０４は、訓練された深層学習モデルを直接得てもよい。訓練された深層学習モデルの決定の更なる詳細は、本開示の他の記載（例えば、図５Ｂ及び７及びその説明）にある。
【0058】
４０３において、処理装置１４０（例えば、データ取得モジュール４０２）は、入力画像を取得してもよい。一部の実施形態では、動作４０３は、動作４０１の前に行われてもよい。一部の実施形態では、入力画像は、深層学習モデルを訓練するために用いられるサンプル画像の少なくとも１つと同様のサイズのレベルを有してもよい。一部の実施形態では、データ取得モジュール４０２は、イメージングシステム１００のスキャナ１１０、ストレージ装置１５０、及び／又は端末１３０から入力画像を取得してもよい。一部の実施形態では、データ取得モジュール４０２は、通信ポート２４０を介してコンピューティング装置２００のＩ／Ｏ２３０、及び／又は通信プラットフォーム３１０を介してモバイル装置３００のＩ／Ｏ３５０から入力画像を取得してもよい。一部の実施形態では、データ取得モジュール４０２は、ネットワーク１２０を介してイメージングシステム１００に接続される外部データソースから入力画像を取得してもよい。イメージングシステム１００の内部及び／又は外部の１以上のプロセッサは、データ取得モジュール４０２が入力画像を取得する前及び／又は後に、入力画像を前処理してもよい。前処理は、画像正規化、画像再構築、画像平滑化、抑制、弱体化、ノイズ低減、ディティール低減、変異（例えばグレーレベル変異）低減、リサイジング、又は同様のもの、又はその組み合わせを含んでもよい。例えば、入力画像は、前処理において、定められたスケールにリサイズされてもよい。定められたスケールは、入力画像の元のスケールよりも大きい又は小さくてもよい。
【0059】
４０５において、処理装置１４０（例えば、画像処理モジュール４０６）は、４０１において決定された、訓練された深層学習モデルに基づいて入力画像を処理することによって処理結果を生成してもよい。画像処理モジュール４０６は、入力画像を、訓練された深層学習モデルにもたらし、訓練された深層学習モデルにおけるマルチレイヤ構造を１以上の（例えば、全ての）レイヤにおいて入力画像を処理し、及び／又は処理結果を生成してもよい。画像処理モジュール４０６は、訓練された深層学習モデルにおける１以上のアルゴリズムに基づいて入力画像を処理してもよい。処理は、画像セグメンテーション、画像分類、画像認識、画像品質改善、又は同様のもの、又はその組み合わせを含んでもよい。例えば、一部の実施形態では、入力画像は、関心領域（ＲＯＩ）を含んでもよく、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて入力画像からＲＯＩを分割する又は抽出してもよい。画像セグメンテーションのために、処理結果は、セグメンテーションに基づく分割画像（例えば、１以上の分割された肋骨を含む画像）を含んでもよい。別の例として、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて、入力画像が属する、予め設定されたグループを決定してもよい。更に別の例として、入力画像は、ＲＯＩ（例えば、人間の顔）を含んでもよく、画像処理モジュール４０６は、訓練された深層学習モデルに基づいてＲＯＩを所有する人物を認識してもよい。また、更に別の例として、入力画像は、相対的に低品質の画像であってもよく、画像処理モジュール４０６は、訓練された深層学習モデルに基づいて画像品質を改善してもよい。
【0060】
図５Ａは、本開示の一部の実施形態に係る、例示的なモデル決定モジュールを示すブロック図である。モデル決定モジュール４０４は、サブ画像生成ユニット５０２と、モデル訓練ユニット５０４と、を含んでもよい。モデル決定モジュール４０４の少なくとも一部は、図２に示されるコンピューティング装置２００又は図３に示されるモバイル装置３００上に実装されてもよい。
【0061】
サブ画像生成ユニット５０２は、１以上のサンプリングに基づいて複数のサブ画像を生成してもよい。一部の実施形態では、サブ画像は、１以上の他のサブ画像として、サンプル画像の１以上の同一部分を有してもよい。２以上のサブ画像によって共有される同一部分は、サンプル画像における各ピクセル／ボクセルが、後続の訓練処理に含まれうることを確実にしてもよい。サブ画像生成ユニット５０２は、決定された同一部分の幅、決定されたサブ画像の数、及び／又は決定された各サブ画像のサイズに基づいてサブ画像を生成してもよい。一部の実施形態では、複数のサブ画像の少なくとも２つは、同一サイズを有してもよい。一部の実施形態では、複数のサブ画像は、同一サイズを有してもよい。
【0062】
モデル訓練ユニット５０４は、１以上のモデル（例えば、１以上の深層学習モデル）を訓練してもよい。一部の実施形態では、モデル訓練ユニット５０４は、訓練された深層学習モデルを得るために、複数のサブ画像を用いてモデルを訓練してもよい。モデル訓練ユニット５０４は、サブ画像を予備深層学習モデルにもたらし、予備深層学習モデルを訓練してもよい。一部の実施形態では、モデル訓練ユニット５０４は、全てのサブ画像が訓練に用いられるまで、１以上の訓練処理を行ってもよい。一部の実施形態では、モデル訓練ユニット５０４は、各訓練処理において、更新された深層学習モデルを生成してもよい。例えば、モデル訓練ユニット５０４は、第１の訓練処理のために、一度にサブ画像の１以上を予備深層学習モデルにもたらし、第１の更新された深層学習モデルを生成し、その後、第２の訓練処理のために、一度に１以上の他のサブ画像を第１の更新された深層学習モデルにもたらし、第２の更新された深層学習モデルを生成してもよい。なお、訓練処理の回数は、単に例示の目的のために提供され、本開示の範囲を限定するためのものではない。
【0063】
図５Ｂは、本開示の一部の実施形態に係る、訓練された深層学習モデルを決定するための例示的な処理を示すフローチャートである。一部の実施形態では、訓練された深層学習モデルを決定するための図５Ｂに示される処理５００の１以上の動作は、図１に示されるイメージングシステム１００で実施されてもよい。例えば、図５Ｂに示される処理５００は、命令の形式でストレージ装置１５０に格納されてもよく、処理装置１４０（例えば、図２に示されるコンピューティング装置２００のプロセッサ２１０、図３に示されるモバイル装置３００のＣＰＵ３４０）によって呼びされる及び／又は実行されてもよい。別の例として、処理５００の一部は、スキャナ１１０上で実施されてもよい。一部の実施形態では、処理５００の１以上の動作は、イメージングシステム１００の内部及び／又は外部の１以上のプロセッサによって行われてもよい。例えば、動作５０７は、イメージングシステム１００の外部のプロセッサによって行われてもよい。以下に表される図示された処理の動作は、例示的であることが意図される。一部の実施形態では、処理は、記載されない１以上の追加動作、及び／又は説明されない動作の１以上により実現されてもよい。また、図５Ｂに示され、以下に記載される処理の動作の順序は、限定的なものを意図しない。
【0064】
５０１において、処理装置１４０（例えば、データ取得モジュール４０２）は、予備深層学習モデルを取得してもよい。一部の実施形態では、動作５０１は、動作５０３及び／又は動作５０５の後に行われてもよい。予備深層学習モデルは、訓練される深層学習モデルを示してもよい。予備深層学習モデルは、マルチレイヤ構造を含んでもよい。予備深層学習モデルは、例えば、ディープブリーフネットワーク、コンボリューショナルニューラルネットワーク、コンボリューショナルディープブリーフネットワーク、ディープボルツマンマシン、スタックドオートエンコーダ、ディープスタッキングネットワーク、ディープコーディングネットワーク、ディープカーネルマシン、又は同様のもの、又はその組み合わせのような１以上のディープニューラルネットワークを含んでもよい。予備深層学習モデルは、１以上のモデルパラメータを含んでもよい。一部の実施形態では、モデルパラメータは、１以上の初期値を有してもよい。一部の実施形態では、モデルパラメータの初期値は、イメージングシステム１００によって決定されたデフォルト値であってもよく、端末１３０を介してユーザ又はオペレータによって予め設定されてもよい。一部の実施形態では、データ取得モジュール４０２は、ストレージ装置１５０、端末１３０及び／又は外部データソース（図示せず）から初期値を取得してもよい。
【0065】
単に例として、予備深層学習モデルは、予備コンボリューショナルニューラルネットワーク（ＣＮＮ）を含んでもよい。予備深層学習モデルは、１以上の予備コンボリューションレイヤを含んでもよい。予備コンボリューションレイヤは、１以上のカーネル及び１以上の活性化関数を含んでもよい。カーネルは、特定のサイズの行列（例えば、３×３行列、５×５行列、３×５行列、５×７行列）を示してもよく、これは、１以上の要素を含んでもよい。カーネルは、入力画像により畳み込まれてもよく、特徴は、入力画像から抜き出されてもよい。特徴マップは、入力画像がカーネルにより畳み込まれた後に、生成されてもよい。なお、カーネルのサイズに対する数は、単に例示の目的のために提供され、本開示の範囲を限定するものではないことを留意すべきである。カーネルは、コンボリューショナルニューラルネットワークの１以上の畳み込み演算で用いられてもよい。活性化関数は、特徴マップを処理するために用いられる関数を示す。一部の実施形態では、活性化関数は、特徴マップに非線形性を導入してもよい。一部の実施形態では、予備深層学習モデルは、また、完全接続されたレイヤ及び／又は完全接続されたレイヤの予備的な重み行列を含んでもよい。完全接続されたレイヤは、特定の数のノードを含むレイヤを示し、各ノードは、以前のレイヤにおける全てのノードに接続される。完全接続されたレイヤは、重み行列を含んでもよい。重み行列は、完全接続されたレイヤの各ノード間及び以前のレイヤの各ノード間の接続を表してもよい。
【0066】
一部の実施形態では、データ取得モジュール４０２は、イメージングシステム１００のストレージ装置１５０及び／又は端末１３０から予備深層学習モデルを取得してもよい。一部の実施形態では、データ取得モジュール４０２は、通信ポート２４０を介してコンピューティング装置２００のＩ／Ｏ２３０及び／又は通信プラットフォーム３１０を介してモバイル装置３００のＩ／Ｏ３５０から予備深層学習モデルを取得してもよい。一部の実施形態では、予備深層学習モデルは、ネットワーク１２０を介してイメージングシステム１００に接続される外部データソースから取得されてもよい。
【0067】
５０３において、処理装置１４０（例えば、データ取得モジュール４０２）は、１以上のサンプル画像を取得してもよい。一部の実施形態では、動作５０３は、動作５０１の前に行われてもよい。一部の実施形態では、データ取得モジュール４０２は、深層学習モデルの意図された使用に基づいてサンプル画像を取得してもよい。一部の実施形態では、データ取得モジュール４０２は、深層学習モデルの意図された使用に基づいてサンプル画像に関する予め決定された情報を取得してもよい。サンプル画像に関する予め決定された情報は、サンプル画像の予め決定されたＲＯＩ、サンプル画像の分類情報等を含んでもよい。例えば、深層学習モデルが画像セグメンテーションのために意図される場合、データ取得モジュール４０２は、事前に分割されている関心領域（ＲＯＩ）を含むサンプル画像を取得してもよい。別の例として、深層学習モデルが画像分類のために意図される場合、データ取得モジュール４０２は、事前に決定されている分類情報を含むサンプル画像を取得してもよい。一部の実施形態では、サンプル画像は、１以上のポジティブサンプル画像及び１以上のネガティブサンプル画像を含んでもよい。一部の実施形態では、画像セグメンテーションのために、ポジティブサンプル画像は、適切に分割されたＲＯＩを含んでもよく、一方、ネガティブサンプル画像は、ＲＯＩを含まない、又は不適切に分割された領域を含んでもよい。例えば、肋骨セグメンテーションのために、ポジティブサンプル画像は、適切に分割された肋骨を含んでもよく、一方、ネガティブサンプル画像は、肋骨を含まない、又は分割された、肋骨に接合される椎骨を含んでもよい。
【0068】
一部の実施形態では、データ取得モジュール４０２は、イメージングシステム１００のスキャナ１１０、ストレージ装置１５０、及び／又は端末１３０から取得してもよい。一部の実施形態では、データ取得モジュール４０２は、通信ポート２４０を介してコンピューティング装置２００のＩ／Ｏ２３０及び／又は通信プラットフォーム３１０を介してモバイル装置３００のＩ／Ｏ３５０から予備深層学習モデルを取得してもよい。一部の実施形態では、データ取得モジュール４０２は、ネットワーク１２０を介してイメージングシステム１００に接続される外部データソースからサンプル画像を取得してもよい。
【0069】
５０５において、処理装置１４０（例えば、サブ画像生成ユニット５０２）は、５０３において取得されたサンプル画像に基づいて複数のサブ画像を生成してもよい。一部の実施形態では、サブ画像は、１以上の他のサブ画像として、サンプル画像の１以上の同一部分を有してもよい。２以上のサブ画像によって共有される同一部分は、サンプル画像における各ピクセル／ボクセルが、後続の訓練処理に含まれうることを確実にしてもよい。サブ画像生成ユニット５０２は、決定された同一部分の幅、決定されたサブ画像の数、及び／又は決定された各サブ画像のサイズに基づいてサブ画像を生成してもよい。一部の実施形態では、複数のサブ画像の少なくとも２つは、同一サイズを有してもよい。一部の実施形態では、複数のサブ画像は、同一サイズを有してもよい。サブ画像の生成の更なる説明は、本開示の他の箇所（例えば、図６及びその説明）において見出される。
【0070】
５０７において、処理装置１４０（例えば、モデル訓練ユニット５０４）は、訓練された深層学習モデルを得るために、５０５において生成された複数のサブ画像に基づいて予備深層学習モデルを訓練してもよい。一部の実施形態では、モデル訓練ユニット５０４の１以上の動作は、図２に示されるコンピューティング装置２００のＧＰＵ又は図３に示されるモバイル装置３００のＧＰＵ３３０上で実施されてもよい。モデル訓練ユニット５０４は、サブ画像を予備深層学習モデルにもたらし、予備深層学習モデルを訓練してもよい。一部の実施形態では、モデル訓練ユニット５０４は、全てのサブ画像が訓練に使用されるまで１以上の訓練処理を行ってもよい。一部の実施形態では、モデル訓練ユニット５０４は、各訓練処理において、更新された深層学習モデルを生成してもよい。例えば、モデル訓練ユニット５０４は、第１の訓練処理のために、一度にサブ画像の１以上を予備深層学習モデルにもたらし、第１の更新された深層学習モデルを生成し、その後、第２の訓練処理のために、一度に１以上の他のサブ画像を第１の更新された深層学習モデルにもたらし、第２の更新された深層学習モデルを生成してもよい。一部の実施形態では、訓練処理の１以上の繰り返しは、全てのサブ画像が訓練に用いられるまで行われてもよく、訓練された深層学習モデルが得られてもよい。なお、訓練処理の回数は、単に例示の目的のために提供され、本開示の範囲を限定するものではないことを留意すべきである。
【0071】
訓練処理において、モデル訓練ユニット５０４は、深層学習モデル（例えば、予備的な又は更新された深層学習モデル）の初期レイヤにおける複数のサブ画像の１以上のサブ画像を処理してもよく、処理結果は、予備的な又は更新された深層学習モデルの次のレイヤのための入力データの機能を果たしてもよい。モデル訓練ユニット５０４は、以前のレイヤから得られた予備的な又は更新された深層学習モデルの各レイヤの入力データを処理してもよい。モデル訓練ユニット５０４は、予備的な又は更新された深層学習モデルの最後のレイヤから出力を生成してもよい。最後のレイヤから生成された出力は、深層学習モデル、サブ画像が深層学習モデルの全てのレイヤを通過した後に生成された画像等に関する１以上の更新されたモデルパラメータを含んでもよい。一部の実施形態では、モデル訓練ユニット５０４は、サブ画像の予め決定された情報と出力とを比較してもよい。一部の実施形態では、モデル訓練ユニット５０４は、新たに更新された深層学習モデルを得るために、比較の結果に基づいて、予備的な又は更新された深層学習モデルのモデルパラメータを更新し、そうすることによって、新たに更新された深層学習モデルは、以前の深層学習モデル（例えば、予備的な又は更新された深層学習モデル）よりも予め決定された情報に近い出力を生成するために用いられてもよい。
【0072】
単に例として、予備深層学習モデルは、画像セグメンテーションのためのＣＮＮを含み、モデル訓練ユニット５０４は、以下に説明される例示的な訓練処理を行ってもよい。ＣＮＮの１以上のモデルパラメータは、初期値を有してもよい。モデルパラメータは、各コンボリューションレイヤのカーネル、各コンボリューションレイヤの活性化関数、完全接続されたレイヤの重み行列を含んでもよい。モデル訓練ユニット５０４は、サブ画像を予備深層学習モデルにもたらしてもよい。サブ画像は、対応するサンプル画像から以前に分割されているＲＯＩの一部を含んでもよい。コンボリューションレイヤにおいて、モデル訓練ユニット５０４は、サブ画像に対応する特徴画像を得るために、コンボリューションレイヤのカーネル及び活性化関数を用いてサブ画像に基づいて畳み込み演算及び最大プーリング演算を行ってもよい。モデル訓練ユニット５０４は、セグメンテーション結果を得るために、完全接続されたレイヤの重み行列を用いて特徴画像を処理してもよい。モデル訓練ユニット５０４は、セグメンテーション結果と、サブ画像において以前に分割されたＲＯＩの一部との差を求めてもよい。モデル訓練ユニット５０４は、また、求められた差に基づいて予備深層学習モデルのモデルパラメータを更新してもよい。一部の実施形態では、モデル訓練ユニット５０４は、更に、上述されたものと同様の手法で以前に更新された深層学習モデルを更新してもよい。例えば、モデル訓練ユニット５０４は、何回も例示的な訓練処理を繰り返してもよく、そうすることによって、複数のサブ画像は、訓練のために異なる回数用いられてもよい。よって、モデル訓練ユニット５０４は、対応する更新されたモデルパラメータを有する訓練された深層学習モデルを得てもよい。訓練処理の更なる説明は、本開示の他の箇所（例えば、図７及びその説明）で見出される。
【0073】
図６は、本開示の一部の実施形態に係る１以上のサンプル画像に基づいて複数のサブ画像を生成する例示的な処理を示すフローチャートである。一部の実施形態では、複数のサブ画像を生成する図６に示される処理６００の１以上の動作は、図１に示されるイメージングシステム１００で実施されてもよい。例えば、図６に示される処理６００は、命令の形式でストレージ装置１５０に格納され、処理装置１４０（例えば、図２に示されるコンピューティング装置２００のプロセッサ２１０、図３に示されるモバイル装置３００のＣＰＵ３４０）によって呼び出される及び／又は実行されてもよい。別の例として、処理６００の一部は、スキャナ１１０上で実施されてもよい。一部の実施形態では、処理６００の１以上の動作は、イメージングシステム１００の内部及び／又は外部の１以上のプロセッサによって行われてもよい。一部の実施形態では、図５Ｂに示される動作５０５は、処理６００に従って行われてもよい。以下に表される図示された処理の動作は、例示的であることが意図される。一部の実施形態では、処理は、記載されない１以上の追加動作、及び／又は説明されない動作の１以上により実現されてもよい。また、図６に示され、以下に記載される処理の動作の順序は、限定的なものを意図しない。
【0074】
６０１において、処理装置１４０（例えば、データ取得モジュール４０２）は、１以上のサンプル画像を取得してもよい。サンプル画像を取得するための動作６０１は、動作５０３に従って行われてもよく、本明細書では繰り返されない。一部の実施形態では、５０３において取得されたサンプル画像は、以下の動作の１以上で用いられ、よって、動作６０１は省略されてもよい。
【0075】
６０３において、処理装置１４０（例えば、サブ画像生成ユニット５０２）は、複数のサブ画像の数及び／又は複数のサブ画像の各々のサイズを決定してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、イメージングシステム１００のデフォルト設定又は端末１３０を介したユーザ又はオペレータによるプリセットに従って複数のサブ画像の数及び／又は複数のサブ画像の各々のサイズを決定してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、サンプル画像のサイズ及び／又はグラフィックプロセッシングユニット（ＧＰＵ）（例えば、プロセッサ２１０のＧＰＵ、ＧＰＵ３３０）の利用可能なスペースに基づいて、複数のサブ画像の数及び／又は複数のサブ画像の各々のサイズを決定してもよい。ＧＰＵは、１以上のグラフィックス演算を行うように設計されたプロセッサを示す。一部の実施形態では、グラフィックス演算は、画像（例えば、サブ画像）及びカーネルに基づいて畳み込み演算（すなわち、多重行列乗算）を含んでもよい。ＧＰＵの更なる説明は、本開示の他の箇所（例えば、図２及び３及びその説明）で見出される。
【0076】
一部の実施形態では、ＧＰＵは、一度に相対的に大きいサイズのサンプル画像を処理することができず、よって、ＧＰＵは、深層学習モデルの訓練を実現できない。一部の実施形態では、相対的に大きいサイズとは、ＧＰＵの利用可能なメモリスペースに近い又はＧＰＵの利用可能なメモリスペースよりも大きいサイズを示す。したがって、サンプル画像は、ＧＰＵにおける処理を促進するためにダウンスケールされる必要がある。一部の実施形態では、サブ画像生成ユニット５０２は、サンプル画像に基づいて複数のサブ画像を生成してもよい。複数のサブ画像の各々は、ＧＰＵにおいて処理されるために適切なサイズを有してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、ＧＰＵの利用可能なメモリスペースに基づいてＧＰＵで処理されるために適したサブ画像のサイズ範囲を決定してもよい。サブ画像の各々は、サイズ範囲内のサイズを有してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、ＧＰＵの利用可能なメモリスペースに基づいてサイズ閾値を決定してもよい。サイズ閾値は、ＧＰＵにおいて処理されるために適切なサブ画像の最も大きい画像サイズであってもよい。サイズ閾値は、ＧＰＵの利用可能なメモリスペースのパーセンテージに関連する値を有してもよい。例えば、パーセンテージは、１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、９０％又は同様のものであってもよい。一部の実施形態では、サイズ閾値、サイズ範囲、及び／又はパーセンテージは、デフォルト値に基づいて決定されてもよい。一部の実施形態では、デフォルト値は、イメージングシステム１００によって決定されてもよく、端末１３０を介してユーザ又はオペレータによってプリセットされてもよい。一部の実施形態では、サブ画像生成ユニット５０２は、サイズ範囲及び／又はサイズ閾値に基づいてサブ画像の各々のサイズを決定してもよい。なお、一部の実施形態では、サイズ範囲の上限は、ＧＰＵの利用可能なメモリスペース未満であってもよいことを留意すべきである。一部の実施形態では、サイズ範囲の下限は、ＧＰＵの利用可能なメモリスペースの利用を改善するために、ＧＰＵの利用可能なメモリスペースのプリセット値又はプリセットパーセンテージであってもよい。
【0077】
一部の実施形態では、サブ画像生成ユニット５０２は、サイズ閾値で割られたサンプル画像のサイズの商に基づいてサブ画像の数を決定してもよい。サブ画像の数は、１以上の整数であってもよい。例えば、サイズ閾値で割られたサンプル画像のサイズの商は、整数であり、サブ画像の数は、整数として決定されてもよい。サイズ閾値で割られたサンプル画像のサイズの商が、小数である場合、サブ画像の数は、小数に１を加えた整数部分として決定されてもよい。一部の実施形態では、複数のサブ画像は、同一サイズ及び／又は同一形状を有してもよい。一部の実施形態では、複数のサブ画像は、様々なサイズ及び／又は様々な形状を有してもよく、各サブ画像のサイズは、サイズ範囲内又はサイズ閾値未満であってもよい。サブ画像は、矩形、正方形、円、三角形等の形状を有してもよい。一部の実施形態では、サブ画像は、１以上の他のサブ画像と同一のサンプル画像の部分を有してもよい。例えば、２つのサブ画像は、互いに部分的に重複してもよい。別の例として、複数のサブ画像は、第１のサブ画像、第２のサブ画像及び第３のサブ画像を含み、その第１のサブ画像及び第２のサブ画像は、サンプル画像の第１の部分（例えば、第１の同一部分）を含み、第１のサブ画像及び第３のサブ画像の各々は、サンプル画像の第２の部分（又は第２の同一部分）を含んでもよい。畳み込み演算の特性に従って、サブ画像エッジに関する情報は、１以上の畳み込み演算において失われてもよい。２以上のサブ画像によって共有される同一部分は、同一画像におけるピクセル／ボクセルが訓練処理に含まれうることを確実にし、よって、サンプル画像に関連する情報損失は、訓練処理において回避されてもよい。
【0078】
６０５において、処理装置１４０（例えば、サブ画像生成ユニット５０２）は、複数のサブ画像の２以上のサブ画像（例えば、２つの隣接するサブ画像）によって共有されるサンプル画像の同一部分の幅を決定してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、１以上の訓練処理で訓練される深層学習モデル（例えば、５０１において取得される予備深層学習モデル、更新された深層学習モデル）のモデルパラメータに基づいて同一部分の幅を決定してもよい。一部の実施形態では、深層学習モデルは、動作５０１及び５０７において説明されるように１以上のカーネルを含んでもよく、サブ画像生成ユニット５０２は、１以上のカーネルのサイズに基づいて同一部分の幅を決定してもよい。
【0079】
一部の実施形態では、サブ画像生成ユニット５０２は、基準値Ｒ以上の同一部分の幅に対応するピクセル又はボクセルの数を決定してもよい。一部の実施形態では、深層学習モデルにおいて１つのみのカーネルが存在し、サブ画像のピクセル／ボクセルに関する情報は、畳み込み中に失われてもよく、そのピクセル／ボクセルは、カーネルの幅の約１／２の幅（すなわち、（Ｗ－１）／２）を有してもよい。基準値Ｒは、カーネルＷから１を引いた幅（すなわち、Ｒ＝Ｗ－１）と等しくてもよく、そうすることによって、サンプル画像の各ピクセル／ボクセルは、訓練処理において含まれてもよく、情報損失が回避されてもよい。例えば、予備深層学習モデルにおけるカーネルが５×５行列で表される場合、サブ画像生成ユニット５０２は、（５－１）、つまり４以上を、同一部分の幅に対応するピクセル又はボクセルの数として決定してもよい。このように、カーネルによって処理されるとき、同一部分を共有する２以上のサブ画像の各々が、（Ｗ－１）／２の幅のピクセル／ボクセルに対応する情報を損失する場合であっても、同一部分のデータのみが失われ、サンプル画像全体のデータは、更なる訓練のために完全に維持されてもよい。
【0080】
一部の実施形態では、深層学習モデルにおいて複数のダウンサンプリングレイヤ（又は一部の例ではプーリングレイヤとも呼ばれる）が存在し、各ダウンサンプリングレイヤは、１以上のカーネルを含んでもよい。ダウンサンプリングレイヤは、プーリングレイヤ又はサブサンプリングレイヤとも呼ばれ、これは、深層学習モデルの以前のレイヤからの出力をダウンサンプリングする（例えば、ピクセル／ボクセルのセットを１つの値にダウンサンプリングする）。基準値Ｒは、１以上のカーネルの幅及び／又は１以上のカーネルを含むダウンサンプリングレイヤの数に関連してもよい。一部の実施形態では、基準値Ｒは、式（１）として求められうる。
【0081】
【数2】
【0082】
ここで、Ｐｉ＝Ｓｉ＋１（１＋Ｐｉ＋１）、ｉは１より大きい整数（例えば、１，２，．．．，Ｎ－２）であり、Ｎは、１以上のカーネルを含むダウンサンプリングレイヤの数であり、Ｎ番目のレイヤは、出力レイヤであり、ＰＮ－１＝ＳＮ，Ｓｊ＝（Ｗｊ－１）／２、ｊは、１より大きい整数であり、Ｗｊは、ｊ番目のレイヤにおけるカーネルの最大幅を示す。
【0083】
なお、２つのサブ画像によって共有されるサンプル画像の第１の同一部分及び他の２つのサブ画像によって共有されるサンプル画像の第２の同一部分は、同一又は異なっていてもよい。サブ画像の同一部分の更なる説明は、本開示の他の箇所（例えば、図８Ａ－８Ｂ及びその説明）で見出される。
【0084】
６０７において、処理装置１４０（例えば、サブ画像生成ユニット５０２）は、同一部分の幅、複数のサブ画像の数、及び／又は複数のサブ画像の各々のサイズに基づいて複数のサブ画像を生成してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、複数のサブ画像の数及び／又は複数のサブ画像の各々のサイズに基づいて、サンプル画像を分割することによって複数の予備的なサブ画像を生成してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、同一部分の幅に基づいて予備的なサブ画像の１以上のエッジを拡大してもよい。例えば、サブ画像生成ユニット５０２は、Ｒ／２ピクセル／ボクセルについて予備的なサブ画像のエッジを拡大してもよく、そうすることによって、２つの隣接するサブ画像によって共有される同一部分の幅は、Ｒ以上となってもよい。一部の実施形態では、サブ画像生成ユニット５０２は、サンプル画像のエッジの１以上のピクセル／ボクセルに基づいてＲ／２ピクセル／ボクセルについてサンプル画像のエッジに位置付けられる予備的なサブ画像を拡大してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、左から右、上から下の順に複数のサブ画像を生成してもよい。例えば、サブ画像生成ユニット５０２は、サンプル画像の上部左隅における第１のサイズの１番目のサブ画像、及び１番目のサブ画像に隣接する第２のサイズの２番目のサブ画像を生成し、サブ画像生成ユニット５０２は、第１のサイズ及び第２のサイズに基づいて２番目のサブ画像の範囲及び／又は位置を決定してもよく、そうすることによって、１番目のサブ画像及び２番目のサブ画像の共有部分は、Ｒ以上の幅を有してもよい。
【0085】
各サブ画像は、ＧＰＵにおいて処理されるために適したサイズを有してもよい。各サブ画像は、１以上の他のサブ画像としてサンプル画像の同一部分を有してもよい。一部の実施形態では、サブ画像の２以上は、同一サイズを有してもよい。一部の実施形態では、サブ画像は、異なるサイズを有してもよい。一部の実施形態では、サブ画像生成ユニット５０２は、格納するために、生成されたサブ画像をストレージ装置（例えば、ストレージ装置１５０）に送信してもよく、よって、サブ画像は、１以上の更なる訓練処理のために用いられてもよい。
【0086】
一部の実施形態では、処理装置１４０（例えば、サブ画像生成ユニット５０２）は、拡張データを得るために、１以上の方向にサンプル画像上でデータ拡張演算又はデータ充填演算を行ってもよい。方向は、サンプル画像の次元に関連してもよい。例えば、サンプル画像が２次元画像（例えば、Ｘ－Ｙ面における画像）である場合、データ充填演算は、Ｘ軸方向及び／又はＹ軸方向に沿って行われてもよい。別の例として、サンプル画像が３次元画像（例えば、Ｘ－Ｙ－Ｚ空間における画像）である場合、データ充填演算は、Ｘ軸方向、Ｙ軸方向及び／又はＺ軸方向に沿って行われてもよい。拡張又は充填データに対応するピクセル／ボクセルの幅は、基準値Ｒの１／２以上であってもよい。
【0087】
一部の実施形態では、サンプル画像のデータ拡張又は充填は、サブ画像が生成される前に行われてもよい。処理装置１４０は、サンプル画像の外部に向かってサンプル画像を充填又は拡張してもよい。例えば、処理装置１４０は、Ｘ軸の正方向、Ｙ軸の正方向、Ｘ軸の負方向、及び／又はＹ軸の負方向に沿ってサンプル画像を充填又は拡張してもよい。
【0088】
一部の実施形態では、サンプル画像のデータ拡張又は充填は、サブ画像が生成された後に行われてもよい。例えば、処理装置１４０は、サンプル画像のマージンに位置付けられる１以上のサブ画像（例えば、図８Ａ－８Ｄ及び８Ｆ－８Ｉに示されるサブ画像８２０－１、サブ画像８２０－２、サブ画像８２０－３、サブ画像８２０－４、サブ画像８２０－６、サブ画像８２０－７、サブ画像８２０－８及びサブ画像８２０－９）を充填又は拡張してもよい。処理装置１４０は、サンプル画像の外側に向かってサブ画像を充填又は拡張してもよい。例えば、処理装置１４０は、Ｘ軸の正方向及びＹ軸の正方向に沿ってサブ画像８２０－１を充填又は拡張し、処理装置１４０は、Ｙ軸の正方向に沿ってサブ画像８２０－２を充填又は拡張し、処理装置１４０は、Ｘ軸の正方向及びＹ軸の正方向に沿ってサブ画像８２０－３を充填又は拡張し、処理装置１４０は、Ｘ軸の負方向に沿ってサブ画像８２０－４を充填又は拡張し、処理装置１４０は、Ｘ軸の正方向に沿ってサブ画像８２０－６を充填又は拡張し、処理装置１４０は、Ｘ軸の負方向及びＹ軸の負方向に沿ってサブ画像８２０－７を充填又は拡張し、処理装置１４０は、Ｙ軸の負方向に沿ってサブ画像８２０－８を充填又は拡張し、処理装置１４０は、Ｘ軸の正方向及びＹ軸の負方向に沿ってサブ画像８２０－９を充填又は拡張してもよい。拡張又は充填されたデータに対応するピクセル／ボクセルの幅は、畳み込み中の情報損失の回避を確実にするためにＲ／２以上であってもよい。
【0089】
一部の実施形態では、拡張又は充填されたデータは、イメージングシステム１００又はユーザによって決定される、又はサンプル画像のピクセル／ボクセルに基づいて得られてもよい。例えば、拡張又は充填されたデータは、０であってもよい。別の例として、拡張又は充填されたデータは、サンプル画像のマージンに位置付けられるピクセル又はボクセルのものと同一であってもよい。更に別の例として、拡張又は充填されたデータは、サンプル画像の重み付けられた計算及び／又は１以上のピクセル／ボクセルの指数関数的減衰に基づいて得られてもよい。
【0090】
なお、処理６００の上記の説明は、単に例示の目的のために提供され、本開示の範囲を限定するものではないことを留意すべきである。当業者にとって、複数の変形及び変更が本開示の教示の下になされてもよい。しかし、それらの変形及び変更は、本開示の範囲から逸脱しない。例えば、動作６０５は、動作６０３の前又は同時に行われてもよい。別の例として、サンプル画像は、３Ｄ画像であってもよく、予備深層学習モデルのカーネルは、３Ｄカーネルであってもよく、サンプル画像の同一部分は、また、３Ｄ部分であってもよい。また、更に別の例として、２以上のサブ画像によって共有される３Ｄ画像の同一部分の３Ｄサイズは、カーネルの３Ｄサイズに基づいて決定されてもよい。
【0091】
図７は、本開示の一部の実施形態に係る、予備深層学習モデルを訓練する例示的な処理を示すフローチャートである。一部の実施形態では、予備深層学習モデルを訓練する図７に示される処理７００の１以上の動作は、図１に示されるイメージングシステム１００で実施されてもよい。例えば、図７に示される処理７００は、命令の形式でストレージ装置１５０に格納されてもよく、処理装置１４０（例えば、図２に示されるコンピューティング装置２００のプロセッサ２１０、図３に示されるモバイル装置３００のＣＰＵ３４０）によって呼び出される及び／又は実行されてもよい。別の例として、処理７００の一部は、スキャナ１１０上で実施されてもよい。一部の実施形態では、処理７００の１以上の動作は、イメージングシステム１００の内部及び／又は外部の１以上のプロセッサによって行われてもよい。一部の実施形態では、図５に示される動作５０７は、処理７００に従って行われてもよい。以下に提示される示された処理の動作は、例示的であることが意図される。一部の実施形態では、処理は、記載されない１以上の追加動作により実現されてもよい、及び／又は説明される１以上の動作なしに実現されてもよい。また、図７に示され、以下に説明される処理の動作の順序は、限定的であることが意図されない。
【0092】
７０１において、処理装置１４０（モデル訓練ユニット５０４）は、第１のサブ画像をＧＰＵ（例えば、プロセッサ２１０のＧＰＵ、ＧＰＵ３３０）にロードしてもよい。一部の実施形態では、第１のサブ画像は、複数のサブ画像からランダムに選択されてもよい。一部の実施形態では、第１のサブ画像は、プリセットルールに基づいて選択されてもよい。プリセットルールは、複数のサブ画像の順序に関連してもよい。モデル訓練ユニット５０４は、サブ画像の位置情報に基づいて複数のサブ画像の順序を決定してもよい。例えば、モデル訓練ユニット５０４は、１番目のサブ画像としてサンプル画像の上部左隅のサブ画像を決定してもよく、残りのサブ画像を、左から右へ、上から下へ、２番目のサブ画像、３番目のサブ画像、Ｎ番目のサブ画像として決定してもよい。数Ｎは、１より大きい整数であってもよい。一部の実施形態では、モデル訓練ユニット５０４は、ＧＰＵにロードされる第１のサブ画像として１番目のサブ画像を決定してもよい。なお、１番目のサブ画像は、必ずしもＧＰＵにロードされるべき第１のサブ画像となる必要はなく、Ｎ番目のサブ画像は、必ずしもＧＰＵにロードされる最後のサブ画像となる必要はないことを留意すべきである。サブ画像の連番（例えば、１，２，３，…，Ｎ）は、必ずしも、サブ画像の生成の順序又はＧＰＵへのサブ画像のロードの順序を表さなくてもよい。一部の実施形態では、複数のサブ画像は、ストレージ装置（例えば、ストレージ装置１５０）に格納されてもよく、モデル訓練ユニット５０４は、第１のサブ画像をストレージ装置からＧＰＵにロードしてもよい。一部の実施形態では、モデル訓練ユニット５０４は、第１のサブ画像をサブ画像生成ユニット５０２からＧＰＵへ直接的にロードしてもよい。
【0093】
７０３において、処理装置１４０（例えば、モデル訓練ユニット５０４）は、更新された深層学習モデルを得るために、第１のサブ画像を用いて予備深層学習モデルを訓練してもよい。予備深層学習モデルの訓練は、動作５０７に記載されるものに対応してもよい。一部の実施形態では、予備深層学習モデルは、１以上のＣＮＮを含んでもよい。ＣＮＮの１以上のモデルパラメータは、初期値を有してもよい。モデルパラメータは、各コンボリューションレイヤのカーネル、各コンボリューションレイヤの活性化関数、及び／又は完全接続されたレイヤの重み行列を含んでもよい。モデル訓練ユニット５０４は、第１のサブ画像を予備深層学習モデルにもたらしてもよい。第１のサブ画像は、対応するサンプル画像から以前に分割されているＲＯＩの一部を含んでもよい。コンボリューションレイヤにおいて、モデル訓練ユニット５０４は、第１のサブ画像に対応する特徴画像を得るために、コンボリューションレイヤのカーネル及び活性化関数を用いて第１のサブ画像に基づいて畳み込み演算及び最大プーリング演算を行ってもよい。モデル訓練ユニット５０４は、セグメンテーション結果を得るために、完全接続されたレイヤの重み行列に基づいて特徴画像を処理してもよい。モデル訓練ユニット５０４は、セグメンテーション結果と第１のサブ画像において以前に分割されたＲＯＩの一部との差を求めてもよい。その後、モデル訓練ユニット５０４は、更新された深層学習モデルを得るために、差に基づいて予備深層学習モデルのモデルパラメータを更新してもよい。
【0094】
７０５において、処理装置１４０（例えば、モデル訓練ユニット５０４）は、ｉ番目のサブ画像をＧＰＵにロードしてもよい。数値ｉは、現在の繰り返しカウントを表してもよい。数値ｉは、０より大きい整数であってもよい。例えば、ｉは、１，２，３，４，５，…，Ｎであってもよい。数値Ｎは、訓練処理において用いられるサブ画像の数を表してもよい。一部の実施形態では、ｉは、例えば１、２又は同様のもののような初期値を有してもよい。一部の実施形態では、モデル訓練ユニット５０４は、１以上の残りのサブ画像（すなわち、訓練のためにＧＰＵに既にロードされているサブ画像を除いた１以上のサブ画像）からランダムにｉ番目のサブ画像を選択してもよい。一部の実施形態では、モデル訓練ユニット５０４は、動作７０１において説明されるように、複数のサブ画像の連番に基づいてｉ番目のサブ画像を選択してもよい。一部の実施形態では、モデル訓練ユニット５０４は、ｉ番目のサブ画像をストレージ装置（例えば、ストレージ装置１５０）からＧＰＵへロードしてもよい。一部の実施形態では、モデル訓練ユニット５０４は、ｉ番目のサブ画像をサブ画像生成ユニット５０２からＧＰＵへ直接的にロードしてもよい。
【0095】
７０７において、処理装置１４０（例えば、モデル訓練ユニット５０４）は、ｉ番目のサブ画像を用いて７０３において決定された、更新された深層学習モデルを訓練してもよい。更新された深層学習モデルの訓練処理は、７０３に記載される予備深層学習モデルのものと対応してもよく、本明細書では繰り返されない。モデルパラメータは、７０７で再び更新されてもよい。
【0096】
一部の実施形態では、処理７００は、複数の繰り返しを含んでもよい。例えば、各繰り返しにおいて、処理装置１４０（例えば、モデル訓練ユニット５０４）は、７０９においてどの条件が満たされるかを決定してもよい。条件は、行われた繰り返しの回数を表す繰り返しカウント、以前の繰り返しで更新されたものと比較した現在の繰り返しで更新されるモデルパラメータの変化の度合い、現在の更新された深層学習モデルを用いて生成されるセグメンテーション結果とサンプル画像において以前に分割されたＲＯＩの一部との差、又は同様のもの、又はその組み合わせに関連してもよい。条件が満たされた（例えば、繰り返しカウントが第１の閾値以上である、又は逐次反復間のモデルパラメータにおける変更の度合いが第２の閾値以下である、又はセグメンテーション結果とＲＯＩの一部との差が第３の閾値以下である）ことの決定に応じて、処理７００は、７１３へ進み、そうでない場合、処理７００は、７１１へ進む。
【0097】
７１１において、処理装置１４０（例えば、モデル訓練ユニット５０４）は、ｉに１を加えることによって数ｉを更新してもよい。その後、処理７００は、７０５へ戻り、モデル訓練ユニット５０４は、次の繰り返しを行ってもよい。
【0098】
７１３において、処理装置１４０（例えば、モデル訓練ユニット５０４）は、訓練された深層学習モデルを得てもよい。一部の実施形態では、モデル訓練ユニット５０４は、訓練された深層学習モデルとして、最後に更新された深層学習モデルを指定してもよい。一部の実施形態では、モデル訓練ユニット５０４は、最後に更新された深層学習モデルの１以上のモデルパラメータを調整し、訓練された深層学習モデルとして、調整された深層学習モデルを指定してもよい。
【0099】
図８Ａ－８Ｉは、本開示の一部の実施形態に係る、２Ｄサンプル画像８１０の複数の例示的なサブ画像を示す概略図である。２Ｄサンプル画像８１０は、深層学習モデルが訓練されるＧＰＵの利用可能なメモリスペースに近い又はよりも大きい、相対的に大きなサイズを有してもよい。複数のサブ画像８２０は、サンプル画像８１０の完全な情報を含んでもよい。サブ画像８２０－ｎ（ｎ＝１，２，…，９）は、２Ｄサンプル画像において斜線部分によって表されてもよい。各サブ画像８２０－ｎは、ＧＰＵで処理されるのに適したサイズを有してもよい。一部の実施形態では、複数のサブ画像８２０は、同一サイズを有してもよい。一部の実施形態では、各サブ画像８２０－ｎは、１以上の他のサブ画像と同一の２Ｄサンプル画像の部分を有してもよい。例えば、サブ画像８２０－１は、サブ画像８２０ー２と同一の２Ｄサンプル画像８１０の第１の同一部分を有してもよい。別の例として、サブ画像８２０－１は、サブ画像８２０－４と同一の２Ｄサンプル画像８１０の第２の同一部分を有してもよい。
【0100】
図９は、本開示の一部の実施形態に係る、２Ｄサンプル画像８１０の複数のサブ画像８２０の同一の例示的な部分を示す概略図である。図９に示されるように、同一部分Ａ１は、サブ画像８２０－１及び８２０－２によって共有されてもよい。同一部分Ａ２は、サブ画像８２０－２及び８２０－３によって共有されてもよい。同一部分Ｂ１は、サブ画像８２０－１及び８２０－４によって共有されてもよい。同一部分Ｂ２は、サブ画像８２０－１、８２０－２、８２０－４及び８２０－５によって共有されてもよい。同一部分Ｂ３は、サブ画像８２０－２及び８２０－５によって共有されてもよい。同一部分Ｂ４は、サブ画像８２０－２、８２０－３、８２０－５及び８２０－６によって共有されてもよい。同一部分Ｂ５は、サブ画像８２０－３及び８２０－６によって共有されてもよい。同一部分Ｃ１は、サブ画像８２０－４及び８２０－５によって共有されてもよい。同一部分Ｃ２は、サブ画像８２０－５及び８２０－６によって共有されてもよい。同一部分Ｄ１は、サブ画像８２０－４及び８２０－７によって共有されてもよい。同一部分Ｄ２は、サブ画像８２０－４、８２０－５、８２０－７及び８２０－８によって共有されてもよい。同一部分Ｄ３は、サブ画像８２０－５及び８２０－８によって共有されてもよい。同一部分Ｄ４は、サブ画像８２０－５、８２０－６、８２０－８及び８２０－９によって共有されてもよい。同一部分Ｄ５は、サブ画像８２０－６及び８２０－９によって共有されてもよい。同一部分Ｅ１は、サブ画像８２０－７及び８２０－８によって共有されてもよい。同一部分Ｅ２は、サブ画像８２０－８及び８２０－９によって共有されてもよい。
【0101】
畳み込み演算の特性に従って、サブ画像エッジに関連する情報は、失われてもよい。同一部分（例えば、同一部分Ａ１－Ａ２、Ｂ１－Ｂ５、Ｃ１－Ｃ２、Ｄ１－Ｄ５及びＥ１－Ｅ２）は、２Ｄサンプル画像８１０における各ピクセル／ボクセルが、訓練処理において呼び出されることができ、よって、２Ｄサンプル画像８１０に関連する情報損失が訓練処理において回避されることを確実にしてもよい。一部の実施形態では、同一部分は、同一の幅ｄを有してもよい。一部の実施形態では、同一部分は、異なる幅（図示せず）を有してもよい。同一部分の幅は、訓練される深層学習モデルのモデルパラメータに基づいて決定されてもよい。深層学習モデルは、１以上のカーネルを有してもよい。一部の実施形態では、同一部分の幅は、１以上のカーネルに基づいて決定されてもよい。一部の実施形態では、同一部分の幅に対応するピクセル又はボクセルの数は、基準値Ｒ以上として決定されてもよい。基準値Ｒは、カーネルの幅Ｗから１を引いた値と等しくてもよい（すなわち、Ｒ＝Ｗ－１）。例えば、深層学習モデルにおけるカーネルが５×５行列によって表される場合、同一部分の幅に対応するピクセル又はボクセルの数は、（５－１）、つまり、４以上であると決定されてもよい。Ｘ軸及びＹ軸を含む座標系は、また、図９に示され、サンプル画像及びサブ画像の異なる方向を示す。
【0102】
図１０Ａ及び１０Ｂは、本開示の一部の実施形態に係る、ＧＰＵに関連する例示的なハードウェア試験情報を示す図である。ＣＮＮ（例えばＶｎｅｔ （ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｏｌｕｍｅｔｒｉｃ ｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ））を含む深層学習モデルは、訓練処理において訓練される。訓練処理は、８１９２ＭＢの利用可能なメモリスペースを有するＧＰＵ（ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ １０７０）において行われる。ＧＰＵは、ウィンドウズ（登録商標）ディスプレイドライバモデル（ＷＤＤＭ）によって駆動される。図１０Ａに示されるように、１０２４×１０２４の解像度のサブ画像が、訓練のためにＧＰＵにロードされた後、ＧＰＵの６５７９ＭＢのメモリスペースが専有された。図１０Ａに示されるＧＰＵは、ＧＰＵ ＩＤ１を有し、図示されるＧＰＵファン速度は５８％であった。ＧＰＵ温度は６８℃であった。ＧＰＵの電力使用は、１７３Ｗであり、ＧＰＵの電力能力は、１５１Ｗであった。ＧＰＵのパフォーマンス状態はＰ２であった。揮発性ＧＰＵ使用率は９４％であった。図１０Ｂに示されるように、５１２×５１２の解像度を有するサブ画像が、訓練のためにＧＰＵにロードされた後、ＧＰＵの２４３９ＭＢのメモリスペースが専有された。図１０Ｂに示されるＧＰＵは、ＧＰＵ ＩＤ０を有し、図示されるＧＰＵファン速度は７２％であった。ＧＰＵ温度は８２℃であった。ＧＰＵの電力使用は、１３４Ｗであり、ＧＰＵの電力能力は、１５１Ｗであった。ＧＰＵのパフォーマンス状態はＰ２であった。揮発性ＧＰＵ使用率は９８％であった。なお、より小さいサイズのサブ画像は、ＧＰＵのメモリスペースを少なく専有し、ＧＰＵの性能を改善することを留意すべきである。
【0103】
このように基本的な概念を説明したので、前記の詳細な開示は、例示のためだけに提示されることを意図しており、限定的ではないことは、この詳細な開示を読んだ後に、当業者にはむしろ明らかであろう。本明細書に明示的に記載されていないが、様々な変更、改良、及び修正が起こり得るし、当業者に意図されている。これらの変更、改良、及び修正は、本開示によって示唆されることが意図されており、本開示の例示的な実施形態の趣旨及び範囲内にある。
【0104】
更に、本開示の実施形態を説明するために、特定の用語が使用されてきた。例えば、「１つの実施形態」、「ある実施形態」、及び／又は「いくつかの実施形態」という用語は、実施形態に関連して記載された特定の特徴、構造又は特性が、本開示の少なくとも１つの実施形態に含まれることを意味するしたがって、本明細書の様々な部分における「ある実施形態」又は「１つの実施形態」又は「代替実施形態」への２つ以上の参照は、必ずしもすべてが同じ実施形態を参照しているわけではないことが強調され、理解されるべきである更に、特定の特徴、構造又は特徴は、本開示の１つ以上の実施形態において好適に組み合わせてもよい。
【0105】
更に、当業者であれば理解されるであろうが、本開示の側面は、新規かつ有用なプロセス、機械、製造、又は物質の組成物、又はそれらの新規かつ有用な改良を含む、多数の特許可能なクラス又は文脈のいずれかで図示され、本明細書に記載されてもよい。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードを含む）、又はすべての一般的に本明細書で「ユニット」、「モジュール」、又は「システム」と呼ばれるかもしれないソフトウェアとハードウェアの実装を組み合わせて実装されてもよい。更に、本開示の側面は、そこに具現化されたコンピュータ読み取り可能なプログラムコードを有する１つ以上のコンピュータ読み取り可能な媒体に具現化されたコンピュータプログラム製品の形態をとってもよい。
【0106】
コンピュータ読み取り可能な信号媒体は、例えばベースバンドで、又は搬送波の一部として、そこに具現化されたコンピュータ読み取り可能なプログラムコードを有する伝搬データ信号を含んでもよい。このような伝搬信号は、電磁的、光学的等の様々な形態、又はそれらの適切な組み合わせを含む任意の形態をとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない任意のコンピュータ可読媒体であってもよく、命令実行システム、装置、又は装置によって、又はそれに関連して使用するためのプログラムを通信、伝搬、又は転送することができる。コンピュータ読み取り可能な信号媒体上に具現化されたプログラムコードは、無線、有線、光ファイバーケーブル、ＲＦ等を含む任意の適切な媒体、又は前記の任意の適切な組み合わせを使用して送信されてもよい。
【0107】
本開示の態様に係る動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎ等のオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｆｏｒｔｒａｎ ２１０３、Ｐｅｒｌ、ＣＯＢＯＬ ２１０２、ＰＨＰ、ＡＢＡＰ等の従来の手続き型プログラミング言語、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｇｒｏｏｖｙ等の動的プログラミング言語、又は他のプログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、ユーザのコンピュータ上で全体的に実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、スタンドアロンのソフトウェアパッケージとして実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、リモートコンピュータ上で部分的に実行されてもよいし、リモートコンピュータ又はサーバ上で全体的に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザーのコンピュータに接続することができる、又は接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを使用してインターネットを介して）又はクラウドコンピューティング環境で行われるか、又はそのようなソフトウェア・アズ・ア・サービス（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）（ＳａａＳ）として提供される．
【0108】
更に、言及された処理要素又はシーケンスの順序、又は数字、文字、又は他の指定の使用は、したがって、請求項に記載されたプロセス及び方法を、特許請求の範囲に記載されている場合を除き、任意の順序に限定することを意図するものではない。上記開示は、現在、本開示の様々な有用な実施形態と考えられるものを様々な例を通して論じているが、そのような詳細は、もっぱらその目的のためのものであり、添付の請求項は、開示された実施形態に限定されるものではなく、それどころか、開示された実施形態の精神及び範囲内にある改変及び同等の配置をカバーすることを意図していることが理解されよう。例えば、上述した各種構成要素の実装は、ハードウェア装置に具現化されていてもよいが、例えば、既存のサーバやモバイル装置へのインストール等、ソフトウェアのみのソリューションとして実装されていてもよい。
【0109】
同様に、本開示の実施形態の前記の説明において、様々な特徴は、開示を合理化し、様々な発明的実施形態の１つ以上の理解を助ける目的で、１つの実施形態、図、又はその説明にまとめられていることがあることが理解されるべきである。しかしながら、この開示方法は、請求された主題が、各請求項で明示的に言及されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、発明的な実施形態は、前記開示された単一の実施形態のすべての特徴よりも少ないところにある。
【0110】
一部の実施形態では、本出願の特定の実施形態を説明し、主張するために使用される量又は特性を表す数値は、「約」、「ほぼ」、「実質的に」という用語によって修正される場合があると理解される。例えば、「約」、「ほぼ」、「実質的に」等は、特に断りのない限り、それが記述する値の±２０％の変動を示してもよい。したがって、いくつかの実施形態では、書面による説明及び添付の特許請求の範囲に記載されている数値パラメータは、特定の実施形態によって得られるように求められる所望の特性に応じて変化し得る近似値である。一部の実施形態では、いくつかの実施形態では、数値パラメータは、報告された有効数字の数に照らして、通常の丸め技術を適用して解釈されるべきである。本願のいくつかの実施形態の広い範囲を規定する数値範囲及びパラメータは近似値であることにかかわらず、特定の実施例で規定された数値は、実施可能な限り正確に報告される。
【0111】
本明細書で参照される特許、特許出願、特許出願公開、及び論文、書籍、明細書、出版物、文書、物、及び／又はそのようなもののような他の資料の各々は、全ての目的のために、本明細書にその全体を参照することによって本明細書に組み込まれるが、これに関連する出願ファイルの履歴、本明細書と矛盾しているか又は矛盾しているもの、又は本明細書に関連する現在又は将来の特許請求の範囲の最も広い範囲に関して制限的な影響を及ぼす可能性のあるものを除いては、全ての目的のために本明細書に組み込まれている。例として、組み込まれた材料のいずれかに関連する用語の記述、定義、及び／又は使用と、本文書に関連する用語の使用との間に矛盾又は矛盾がある場合は、本文書における記述、定義、及び／又は用語の使用が優先される。
【0112】
最後に、本明細書に開示された本願の実施形態は、本願の実施形態の原理を例示するものであることが理解される。採用される可能性のあるその他の修正は、本願の範囲内となってもよい。このように、例示的ではあるが、これに限定されるものではなく、本願の実施形態の代替的な構成が、本明細書の教示に従って利用されてもよい。したがって、本願の実施形態は、示され、説明されているように正確には限定されない。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図8F】
【図8G】
【図8H】
【図8I】
【図9】
【図10A】
【図10B】