(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-26
(54)【発明の名称】画像をセグメント化する方法及びシステム
(51)【国際特許分類】
G06T 7/10 20170101AFI20221219BHJP
G06T 7/00 20170101ALI20221219BHJP
【ＦＩ】
G06T7/10
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022522409
(86)(22)【出願日】2020-10-22
(85)【翻訳文提出日】2022-04-13
(86)【国際出願番号】 EP2020079679
(87)【国際公開番号】W WO2021078823
(87)【国際公開日】2021-04-29
(31)【優先権主張番号】19204772.8
(32)【優先日】2019-10-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(72)【発明者】
【氏名】レンガ マティアス
(72)【発明者】
【氏名】ブールヘル クリスティアン
(72)【発明者】
【氏名】レニス ステフェン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA20
5L096CA01
5L096KA04
5L096KA15
(57)【要約】
画像内の特徴をセグメント化する方法において、画像に関連する画像プロダクトが、機械学習プロセスを用いて訓練されたモデルに提供される（１０２）。画像内の特徴に関する形状記述子の標示が、前記画像プロダクトに基づいて、モデルから受け取られる（１０４）。次に、モデルベースのセグメンテーションＭＢＳにおいて、標示された形状記述子を使用して該ＭＢＳを初期化し、特徴をセグメント化する（１０６）。
【特許請求の範囲】
【請求項1】
画像内の特徴をセグメント化する方法であって、機械学習プロセスを用いて訓練されるモデルに、画像の全体又は一部に関する画像プロダクトを提供するステップであって、前記モデルは、ｉ）事例画像プロダクトと、ｉｉ）各事例画像プロダクトごとの対応するグランドトゥルース形状記述子と、を有する訓練データに基づいて、形状記述子の標示を予測するように訓練される、ステップと、
前記画像プロダクトに基づいて、前記モデルから前記画像内の前記特徴に関する前記形状記述子の標示を受け取るステップと、
前記画像に対するモデルベースのセグメンテーションにおいて前記標示される形状記述子を使用して当該モデルベースのセグメンテーションを初期化し、前記特徴をセグメント化するステップと、
前記画像内の前記特徴に反復的に適応されるターゲット構造のメッシュを使用するステップと、
を有する方法。
【請求項2】
前記方法が、機械学習ベースのセグメンテーションプロセスを用いて前記画像の初期セグメンテーションを行うステップを有し、前記モデルに提供される前記画像プロダクトが、前記機械学習ベースのセグメンテーションプロセスによって生成されるセグメントを有する、請求項１に記載の方法。
【請求項3】
前記モデルベースのセグメンテーションにおいて前記標示される形状記述子を使用する前記ステップが、前記標示される形状記述子を使用して、前記モデルベースのセグメンテーションに関連付けられた平均モデルメッシュの形状を、前記機械学習ベースのセグメンテーションプロセスによって生成された前記セグメントの形状にアラインすることによって、前記モデルベースのセグメンテーションを初期化することを含む、請求項２に記載の方法。
【請求項4】
機械学習プロセスを使用して訓練された前記モデルが、回帰ニューラルネットワークを含む、請求項１乃至３のいずれか１項に記載の方法。
【請求項5】
機械学習プロセスを使用して訓練された前記モデルが分類ニューラルネットワークを含み、前記形状記述子の出力される前記標示が離散値に区分される、請求項１乃至４のいずれか１項に記載の方法。
【請求項6】
前記モデルから前記形状記述子の標示を受け取る前記ステップが、前記分類ニューラルネットワークから、区分された離散値に関連する区分要素を受け取ることを含み、前記区分要素が、前記画像内の前記特徴に関する前記形状記述子の上限又は下限を表す、請求項５に記載の方法。
【請求項7】
前記方法が更に、前記区分要素の重心を決定し、前記重心を前記特徴に関する前記形状記述子として使用すること、又は
前記区分要素を中心とした分布のランダムサンプリングに基づいて前記形状記述子の推定値を決定し、前記形状記述子の推定値を、前記特徴に関する形状記述子として使用すること、
のいずれかによって、前記区分要素から前記画像内の前記特徴に関する前記形状記述子を決定するステップを有する、請求項６に記載の方法。
【請求項8】
前記画像に関連する前記画像プロダクトが、前記画像の部分、又は前処理プロセスを経た前記画像の部分を有する、請求項４、５、６又は７に記載の方法。
【請求項9】
画像内の特徴をセグメント化するためのセグメンテーションプロセスにおいて使用される機械学習モデルを訓練する方法であって、訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像の全体又は部分に関連している該事例画像プロダクトと、ｉｉ）各事例画像プロダクト内の特徴の対応するグランドトゥルース形状記述子と、を有する、ステップと、
前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記機械学習モデルを訓練するステップと、
を有する方法。
【請求項10】
前記新しい形状記述子は、それぞれの新しい画像をモデルベースのセグメンテーションを初期化するために使用される、請求項９に記載の方法。
【請求項11】
前記方法が更に、前記訓練データ内のグランドトゥルース形状記述子の値を、前記グランドトゥルース形状記述子の上限又は下限を表す離散値に区分するステップを有し、前記新しい画像プロダクトの新しい形状記述子を予測するように前記機械学習モデルを訓練する前記ステップが、前記訓練データに基づいて、新しい画像プロダクトのための形状記述子の区分値を予測するように前記機械学習モデルを訓練することを含む、請求項９又は１０に記載の方法。
【請求項12】
画像内の特徴をセグメント化するシステムであって、命令セットを表す命令データを含むメモリと、
前記メモリと通信し、前記命令セットを実行するように構成されるプロセッサと、を有し、
前記命令セットは、前記プロセッサによって実行される場合、前記プロセッサに、
画像の全体又は部分に関連する画像プロダクトを、機械学習プロセスを用いて訓練されたモデルに提供するステップであって、前記モデルは、ｉ）事例画像プロダクトと、ｉｉ）各事例画像プロダクトの対応するグランドトゥルース形状記述子と、を有する訓練データに基づいて、形状記述子の標示を予測するように訓練されている、ステップと、
前記画像プロダクトに基づいて、前記モデルから、前記画像内の前記特徴の前記形状記述子の標示を受け取るステップと、
前記画像に対するモデルベースのセグメンテーションにおいて前記標示された形状記述子を使用して前記モデルベースのセグメンテーションを初期化し、１又は複数の前記特徴をセグメント化するステップと、
前記画像内の特徴に対し反復的に適応されるターゲット構造のメッシュを使用するステップと、
を実行させる、システム。
【請求項13】
画像内の特徴をセグメント化するセグメンテーションプロセスで使用される機械学習モデルを訓練するシステムであって、命令セットを表す命令データを含むメモリと、
前記メモリと通信し、前記命令セットを実行するように構成されるプロセッサと、
を有し、前記命令セットは、前記プロセッサによって実行される場合、前記プロセッサに、
訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像の全体又は部分に関連している該事例画像プロダクトと、ｉｉ）各事例画像プロダクトにおける特徴に関する対応するグランドトゥルース形状記述子と、を有する、ステップと、
前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記機械学習モデルを訓練するステップと、
を実行させる、システム。
【請求項14】
コンピュータ可読媒体であって、その中に具体化されたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに、請求項１乃至１１のいずれか１項に記載の方法を実行させる、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の実施形態は、画像処理に関する。本明細書の実施形態は、特に、非排他的に、画像の１又は複数の特徴をセグメント化することに関する。
【背景技術】
【0002】
本開示は、画像セグメンテーションの分野にある。本明細書の開示は、例えば医用画像のような多様な範囲の画像に適用されることができる。画像セグメンテーションは、画像内で捕らえられる物体又は形状に関する形状／形態情報を抽出することを含む。これは、画像内の異なる特徴を表す構成ブロック又は「セグメント」に画像を変換することによって達成されることができる。幾つかの方法では、画像セグメンテーションは、モデルを画像内の１又は複数の特徴にフィットさせることを有することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
画像セグメンテーションの１つの方法は、モデルベースのセグメンテーション（Model-Based Segmentation、ＭＢＳ）であり、これにより、ターゲット構造（例えば、心臓、脳、肺など）の三角形メッシュが、画像内の特徴に反復的に適応される。セグメンテーションモデルは、一般に、母集団ベースの外観特徴及び形状情報を符号化する。このような情報は、母集団のメンバにおけるターゲット構造の実際の形状に基づいて、許容される形状バリエーションを記述する。形状バリエーションは、例えば、モデルのある部分に対する変更が、モデルの他の部分の形状に制約される、又は依存する態様を記述する固有モードの形で、符号化されることができる。
【0004】
モデルベースのセグメンテーションは、医用画像から１又は複数のターゲット臓器をセグメント化する様々な応用例において使用されており、例えば、 Ecabert, O., et al. 2008 entitled "Automatic Model-Based Segmentation of the Heart in CT Images"; IEEE Trans. Med. Imaging 27 (9), 1189-1201を参照されたい。三角形表面メッシュの使用により、ＭＢＳは一般的に滑らかなセグメンテーション結果を提供することになった。更に、ＭＢＳは、一般に、画質のバリエーションのような画像アーチファクトに対してロバストであると考えられる。
【0005】
別のセグメンテーション方法は、機械学習（ＭＬ）モデルを使用して、類似のピクセル／ボクセル値及び画像勾配に基づいて、画像を複数の構成形状（例えば、ブロック形状又はブロックボリューム）に変換する。これは、例えば、Long et al. "Fully Convolutional Networks for Semantic Segmentation"に記載されている。
【0006】
本明細書の実施形態の目的は、これらの方法を改良することである。
【課題を解決するための手段】
【0007】
前述したように、画像セグメンテーションの２つの一般的な方法には、モデルベースのセグメンテーションＭＢＳと機械学習ＭＬセグメンテーションがある。ＭＢＳは、フィッティングプロセス中にメッシュ変形の特定の固有モードのみが許可されるため、メッシュに事前の形状知識を含む（形状制約など）。これは、一般的に、セグメント化される物体に関連する典型的な形状と一致する正確なフィットをもたらし得る。例えば、ＭＢＳモデルが心臓の場合、実際のヒト集団で観察される心臓の形状をもたらす、許容される変形のみが許容され得る。ただし、モデルをモデルの許容範囲の限界に向けて変形する必要があるエッジのケースは、スプリアスフィットになりうる。
【0008】
対照的に、機械学習（ＭＬ）アプローチは、ボクセル単位で動作し、従って一般的に形状制約を受けない。その結果、それらは任意の形状にフィットすることができるが、事前の形状知識が無いことにより、精度が低くなりうる。これはまた、滑らかでない又はリークのあるセグメンテーション結果を与えうる。
【0009】
本明細書の実施形態の目的は、特にＭＢＳモデルでは十分に処理されないことがあるエッジのケースに関して、このような方法を改良して改善されたセグメンテーションを提供することである。
【0010】
従って、本明細書の第１の態様によれば、画像内の特徴をセグメント化する方法がある。この方法は、機械学習プロセスを用いて訓練されたモデルに、画像に関連する画像プロダクトを提供するステップと、画像プロダクトに基づいて、画像内の特徴に関する形状記述子の標示を前記モデルから受け取るステップと、前記標示された形状記述子をモデルベースのセグメンテーションＭＢＳにおいて使用して、ＭＢＳを初期化し、特徴をセグメント化するステップと、を有する。
【0011】
このようにして、機械学習プロセスを使用して訓練されたモデルは、ＭＢＳモデルの初期化に使用される１又は複数の形状記述子を予測するために使用されることができる。このようにして、以下により詳細に説明されるように、例えば、ＭＬ（機械学習）モデルの粗いセグメンテーション結果を使用して、より正確なＭＢＳセグメンテーションを開始することができる。
【0012】
第２の態様によれば、画像内の特徴をセグメント化するセグメンテーションプロセスにおいて使用される機械学習モデルを訓練する方法がある。本方法は、訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している該事例画像プロダクトと、ｉｉ）各事例画像プロダクト内の特徴の対応するグランドトゥルース形状記述子と、を有する、ステップと、前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するよう前記モデルを訓練するステップと、を有する。
【0013】
第３の態様によれば、画像内の特徴をセグメント化するシステムがある。システムは、命令セットを表す命令データを含むメモリと、メモリと通信し、命令セットを実行するように構成されたプロセッサと、を有する。命令セットは、プロセッサによって実行される場合、プロセッサに、機械学習プロセスを使用して訓練されたモデルに、画像に関連する画像プロダクトを提供するステップと、画像プロダクトに基づいて、画像内の特徴に関する形状記述子の標示を前記モデルから受信するステップと、前記標示された形状記述子をモデルベースのセグメンテーションＭＢＳにおいて使用して、ＭＢＳを初期化し、１又は複数の特徴を初期化するステップと、を実行させる。
【0014】
第４の態様によれば、画像内の特徴をセグメント化するセグメンテーションプロセスにおいて使用される機械学習モデルを訓練するシステムがある。システムは、命令セットを表す命令データを含むメモリと、メモリと通信し、命令セットを実行するように構成されたプロセッサと、を有する。命令セットは、プロセッサによって実行される場合、プロセッサに、訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している事例画像プロダクトと、ｉｉ）各事例画像プロダクトにおける特徴の対応するグランドトゥルースの形状記述子と、を有するステップと、前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するよう前記モデルを訓練するステップと、を実行させる。
【0015】
第５の態様によれば、コンピュータ可読媒体を含むコンピュータ可読媒体を有するコンピュータプログラム製品があり、前記コンピュータ可読媒体は、コンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、コンピュータ又はプロセッサに第１又は第２の態様のいずれかの実施形態を実行させるように構成される。
【0016】
より良い理解のために、また、本明細書中の実施形態がどのように実施され得るかをより明確に示すために、ここでは、単なる例として、以下の添付図面を参照する。
【図面の簡単な説明】
【0017】
【図1】本明細書のいくつかの実施形態による方法を示す図。
【図2】方法１００の一実施形態を示す図。
【図3】いくつかの実施形態によるモデルの事例的なアーキテクチャを示す図。
【図4】本明細書のいくつかの実施形態による事例的な方法を示す図。
【図5】本明細書中のいくつかの実施形態による別の方法を示す図。
【図6】本明細書中のいくつかの実施形態によるシステムを示す図。
【発明を実施するための形態】
【0018】
簡単に上述したように、機械学習（ＭＬ）セグメンテーションは、機械学習モデルがピクセル／ボクセル値及び画像勾配に基づいて画像をその構成形状に変換するように訓練されるものであり、ある程度の精度で任意の画像をセグメント化することができるが、この方法は、一般に、ＭＬセグメンテーションが、事前の形状知識によって制約されないという点で、制限されることがある。これはまた、滑らかでない又はリークのあるセグメンテーション結果を与えうる。
【0019】
対照的、モデルベースセグメンテーションＭＢＳは、事前の形状知識の組み込みにより、高精度のセグメンテーションを提供することができるが、ＭＢＳモデルは、それらがフィットさせている物体がモデルの許容変形モードの極限に向かう形状を有する場合に、質の悪い（又は誤った）フィットを提供し得る。
【0020】
本明細書の実施形態の目的は、画像をセグメント化するための改良された方法及びシステムを提供することである。
【0021】
図１は、本明細書のいくつかの実施形態に従う、画像内の特徴をセグメント化する方法１００を示す。第１のブロック１０２において、方法１００は、機械学習プロセスを使用して訓練されたモデルに、画像に関連する画像プロダクトを提供することを含む。第２のブロック１０４において、本方法は、画像プロダクトに基づいて、前記モデルから、画像内の特徴の形状記述子の標示を受け取ることを含む。第３のブロック１０６において、モデルベースのセグメンテーションＭＢＳにおいて前記標示された形状記述子を使用することで、ＭＢＳを初期化し、特徴をセグメント化する。
【0022】
このようにＭＢＳモデルの初期化に使用する近似の形状記述子を予測するためにモデル（機械学習モデルなど）を使用することは、ＭＢＳモデルがより正確なフィットを生成することを可能にする。例えば、解剖学的形状が「あまりに極端」であり、従ってＭＢＳ捕捉範囲外である場合、ＭＢＳ階層適応は、捕捉範囲内で最良のモデルフィットをもたらす（これは局所的な最小フィット解と考えられることができる）。
【0023】
従って、（例えば、ここで説明したようにＭＬアルゴリズムからの形状記述子を使用することによって）モデルをより良く初期化できれば、ＭＬ形状記述子を使用しない場合には捕捉範囲外であった「極端な」解剖学的ジオメトリが、捕捉可能になる（別の言い方をすれば、フィッティングアルゴリズムの大域的な最小値を求めることができる）。
【0024】
より詳細には、画像（例えば、セグメント化されるべき画像）は、任意の種類の画像であってよい。いくつかの実施形態では、画像は科学的な画像を含みうる。いくつかの実施形態では、例えば、画像は医用画像を含みうる。
【0025】
医用画像は、任意の撮像モダリティを用いて取得された画像を有することができる。医療用画像の例としては、ＣアームＣＴ画像、スペクトルＣＴ画像又は位相コントラストＣＴ画像などの（例えばＣＴスキャンからの）コンピュータトモグラフィ（ＣＴ）画像、（例えばＸ線スキャンからの）Ｘ線画像、（例えばＭＲスキャンからの）磁気共鳴（ＭＲ）画像、（例えば超音波スキャンからの）超音波（ＵＳ）画像、透視画像、核医学画像、又は任意の他の３次元医用画像が挙げられるが、これらに限定されない。
【0026】
より一般的には、画像は、カメラ内にあるような荷電結合素子ＣＣＤを用いて捕捉された画像を有することができる。当業者であれば、本明細書の実施形態が、セグメント化され得る他のタイプの画像及び／又は他のデータセットに適用され得ることを理解するであろう。
【0027】
一般に、画像は、２次元画像又は３次元画像を含むことができる。画像は、複数の（又はセットの）画像コンポーネントを有することができる。例えば、画像が２次元画像を含む実施形態では、画像コンポーネントはピクセルを有することができる。画像が３次元画像を含む実施態様では、３次元画像は、画像コンポーネントがボクセルを有することができる。
【0028】
画像内の特徴は、画像内で目に見える（例えば識別可能である）任意の（例えば、実際の又はシミュレートされた）物体、物体の形状、又は物体若しくはその形状の部分を有することができる。画像が医用画像を含む実施形態では、特徴は、解剖学的特徴、又は肺、心臓、脳、又は任意の他の解剖学的特徴の部分のような解剖学的特徴の部分を有することができる。
【0029】
方法１００のブロック１０２及び１０４（「機械学習プロセスを使用して訓練されたモデルに、画像に関連する画像プロダクトを提供すること」及び「画像プロダクトに基づいて、画像内の１又は複数の特徴に関する形状記述子の標示を前記モデルから受け取ること」）に移る；本明細書の実施形態では、ＭＢＳモデルを初期化するために、機械学習モデルを使用して、ＭＢＳモデルによって使用され得る画像内の特徴に関する１又は複数の形状記述子を予測する。
【0030】
以下でより詳細に説明するように、機械学習モデルは、例えば画像自体に基づいて、又は機械学習セグメンテーションプロセスのような別のタイプのセグメンテーションプロセスによって実行される初期セグメンテーションによるセグメント出力に基づいて、形状記述子を予測することができる。このようにして、ＭＢＳモデルを初期化するために使用され得るパラメータを予測するために、機械学習モデル（ニューラルネットワークなど）によって初期の粗いセグメンテーションが使用されることができる。このようにして、ＭＢＳモデルにより、より正確なセグメンテーションが実施されることができる。
【0031】
モデルは、例えば、機械学習プロセスを用いて訓練されるモデルのような、任意のタイプのモデルを有することができる。本明細書で使用され得るモデルの例は、深層学習ニューラルネットワークのようなニューラルネットワークモデル、及びランダムフォレストモデルを含むが、これらに限定されない。
【0032】
当業者はニューラルネットワークに精通しているであろうが、簡単に言えば、ニューラルネットワークは教師つき機械学習モデルの一種であり、与えられた入力データに対して所望の出力を予測するように訓練されることができる。ニューラルネットワークは、事例入力データと、望まれる対応する「正しい」又はグランドトゥルース結果とを含む訓練データを提供することによって訓練される。ニューラルネットワークは、ニューロンの複数の層を含み、各ニューロンは、入力データに適用される数学的演算を表す。ニューラルネットワークの各層の出力は、次の層に供給され、出力が生成される。訓練データの各部分について、対応するグランドトゥルースを反映する訓練事例の予測を生成する最適重みが見つけられるまで、ニューロンに関連する重みが調整される。
【0033】
本明細書では、ニューラルネットワークの例が提供されるが、一般に、訓練済みモデルは、画像プロダクトを入力として取得し、画像内の１又は複数の特徴に関する形状記述子の標示を出力（例えば、予測）するように訓練され得る任意のモデルを有することができることが、当業者には理解されよう。
【0034】
いくつかの実施態様において、画像に関連する画像プロダクトは、画像自体を有することができる。例えば、画像に関する画像プロダクトは、画像の部分（例えば、元の画像の全体又は部分）を有することができる。言い換えると、いくつかの実施形態では、モデルを使用して、画像自体に基づいて（例えば、画像を入力として得る）、画像内の特徴の形状記述子を予測することができる。他の例では、画像プロダクトは、前処理プロセスを受けた画像の部分（例えば、元の画像の全体又は部分）を有することができる。前処理プロセスの例には、例えば、特徴を強調する（又は背景ノイズを滑らかにする）ために画像を平滑化する又はフィルタリングすることが含まれるが、これらに限定されない。
【0035】
いくつかの実施形態では、モデルに提供される画像プロダクトは、別のピクセル又はボクセルベースのセグメンテーション（例えば（それぞれ２Ｄ又は３Ｄで）ピクセル又はボクセルを有するセグメントを結果として生成するセグメンテーションプロセス）によって生成されるセグメントを有することができ。言い換えると、いくつかの実施形態では、画像の初期セグメンテーションにおいて生成されるセグメントに基づいて、画像内の特徴に係る形状記述子を予測するために、モデルが使用されることができる。初期セグメンテーションは、粗い（例えば、近似の又は迅速な）セグメンテーションでありうる。
【0036】
いくつかの実施形態では、モデルに提供される画像プロダクトは、機械学習（ＭＬ）に基づくセグメンテーションプロセスによって生成されるセグメントを有することができる。実施形態では、ＭＬに基づくセグメンテーションプロセスは、ＭＬベースのボリュームセグメンテーションプロセスを有することができる。一般に、ＭＬベースのセグメンテーションプロセスは、意味的（ｓｅｍａｎｔｉｃ）画像セグメンテーション（２Ｄ又は３Ｄセグメンテーション）のための任意の機械学習方法を有することができる。当業者であれば、ＭＬセグメンテーションプロセスに精通しているであろう。このようなプロセスの一例は、Ｌｏｎｇ他の"Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ"と題する前述の論文に記載されている。
【0037】
この方法は、したがって、機械学習（ＭＬ）ベースのセグメンテーションプロセスを使用して、画像の初期セグメンテーションを実行することを更に含むことができる。次いで、ＭＬベースのセグメンテーションプロセスによって実行される初期セグメンテーションからのセグメントが、モデルへの入力として提供されることができ、入力に基づいて、モデルは、形状記述子の標示を出力し又は予測することができる。
【0038】
いくつかの実施形態では、モデルが形状パラメータを予測するために、元の画像（又はその前処理バージョン）及び初期セグメンテーションによって生成されたセグメントの両方が、機械学習プロセスを用いて訓練されたモデルに、提供されることができることに更に留意されたい。言い換えると、いくつかの実施形態では、モデルは、画像及びＭＬセグメンテーションアルゴリズムによって生成されたセグメントを、入力として得ることができる。
【0039】
これは図２に示されており、図２は、医用画像上で実行されるセグメンテーションのＭＬベースのボリュームセグメンテーション結果から臓器の形状記述子を推定するために、深層学習（ＤＬ）ニューラルネットワークが使用される実施形態を示す。
【0040】
この例では、セグメント化されるフィーチャーは、画像の上部に向かって上方に曲げられた、シミュレーションされた３Ｄシリンダを通るスライスを含む。この実施態様において、図２ａに示されるように、画像スライスが、ＭＬセグメンテーションプロセスによってセグメント化されることにより、シリンダのセグメント２０２が生成される。
【0041】
図２ｂは、セグメント上に重ねられたシリンダのＭＢＳモデル２０４のアウトラインを示す。この実施形態では、シリンダ２０２は、モデル２０４の許容される変形の限界に向かって変形されている。ＭＢＳモデルがこのシリンダに適用される場合、不十分な（又は誤った）フィットが生じる可能性があり、例えば、図２の２０４ａとラベル付けされたモデルの角部が、正しい角部２０２ｂの代わりに、シリンダの角部２０２ａに誤ってフィットする可能性がある。
【0042】
しかしながら、本明細書の実施形態によれば、ＭＬセグメンテーションプロセスによって生成されたセグメント２０２が、深層学習ニューラルネットワークへの入力として提供され、深層学習ニューラルネットワークは、セグメント２０２に基づいて、画像内の特徴に関する形状記述子の標示を出力し又は予測する。
【0043】
形状記述子は、ＭＢＳベースのモデルメッシュに、入力パラメータとして提供され、それにより、平均モデルメッシュの形状をＭＬ結果の形状と（例えば、おおまかに）アラインすることにより、ＭＢＳメッシュが初期化される。これは、図２ｃに示されており、図２ｃは、形状記述子を使用して初期化された場合の初期化されたＭＢＳメッシュ２０６を示す。ここで、ＭＢＳメッシュは物体とほぼアラインされており、局所的なＭＢＳ微細セグメンテーションが、元の画像に（古典的な／通常の方法で）適用されることで、物体のより正確なセグメンテーション２０８が提供されることができ、その結果が図２ｄに示されている。
【0044】
このようにして、深層学習（ＤＬ）モデルのようなモデルは、ＭＬセグメンテーションによって生成されたセグメントからＭＢＳメッシュを初期化するための近似変形を推定することができる。これは、ＭＢＳモデル変形の極限に向かって形状をセグメント化する場合に、ＭＢＳモデルを使用することに関連する前述の問題を回避することができる。これは、ＭＬ（形状にかかわらず粗いセグメンテーションを提供する）とＭＢＳセグメンテーションプロセス（正しく初期化される場合、高精度のセグメンテーションを提供する）の強みを組み合わせて、全体的な改善されたセグメンテーションプロセスを提供する。
【0045】
ここで方法１００に戻って説明すると、いくつかの実施形態において、モデルは、訓練データに基づいて、形状記述子の指示を予測するように訓練されることができ、かかる訓練データは、ｉ）事例画像プロダクト、及びｉｉ）各事例画像プロダクトの対応するグランドトゥルース形状記述子、を含む。例えば、訓練データセットは、事例画像プロダクトと、各事例入力画像について「正しい」又は所望の出力と、を含むように集められることができる。訓練についての更なる詳細は、図４に関して、以下に提供される。
【0046】
いくつかの実施形態では、形状記述子は、ＭＢＳモデルを初期化するために、ＭＢＳモデルに使用され得る（例えば、入力）１又は複数のパラメータを含むことができる。例えば、これは、標示された形状記述子に従って、ＭＢＳに関連付けられる平均モデルメッシュの形状を、ＭＬベースのボリュメトリックセグメンテーションプロセスによって生成された１又は複数のセグメントの形状にアラインすることによって、実行される。
【0047】
一般に、形状記述子は、モデルの形状を初期化するために使用され得る１又は複数の重み又は固有値を有することができる。いくつかの実施形態では、形状記述子は、ＭＢＳモデルにおける個々の頂点のオフセットを記述することができる。いくつかの実施形態では、形状記述子は、適当な境界条件を有するメッシュの部分に適用されるアフィン変換（又は一組のアフィン変換）を規定することができ、それにより、病理に関するメッシュ変形（例えば、自己交差）が生じるようにしてもよい。しかしながら、これらは単なる例であり、当業者は、ＭＢＳモデルを初期化することができる他の方法、従って、本明細書の実施形態を実施するために形状記述子がとり得る他の形態に精通するであろう。
【0048】
上述したように、形状記述子の標示は、ＭＢＳモデルを初期化するために使用され得る１又は複数の値を有することができる。いくつかの実施形態では、形状記述子の標示は、１又は複数の値又は分類を有することができ、かかる値又は分類から、形状記述子が決定され又は計算されることができる。いくつかの例では、値は連続値であってもよい。他の例では、値を離散化してもよい。従って、一般に、形状記述子のニューラルネットワークに基づく推定は、回帰タスク又は分類タスクとして扱われることができる。
【0049】
いくつかの実施形態では、モデルは回帰ニューラルネットワークを含む。この意味で、ニューラルネットワークによって出力される形状記述子は、連続値の形であってもよい。
【0050】
一実施形態として、一実施形態では、ＭＬベースのセグメンテーションは、整数クラスラベルを含む３Ｄボリュームとして提供される（例えば、ボリューム内の各ボクセルは、１又は０とラベル付けされることができ、これにより、ボクセルがセグメント化されたボリュームの部分を形成するか、又はセグメント化された物体の部分ではないことを示す）。この実施形態では、ＭＢＳモデルの形状記述子は、ｎ次元の実数値ベクトルに対応する。上述したように、このパラメトリゼーションωは、病理に関するメッシュ変形（自己交差のようである）が生じるように、例えば個々の頂点のオフセットを記述することによって（この場合、ωの次元数はかなり高くなるであろう）、又は、適当な境界条件でメッシュの部分に適用されるアフィン変換の集合を記述することによって、元のモデル形状の変形を表現することができる：後者（アフィン変換の集合の記述）の場合、パラメトリゼーションベクトルωは、より少ない次元数を有することになり、これによって、推定作業が単純化され得ることに留意されたい。
【0051】
この実施形態では、セグメンテーション画像ボリュームＩから形状記述子、
を推定するために、回帰ネットワークＮが使用される。別の言い方をすれば、Ｉは、図２に関して上述したように、ＭＬセグメンテーションプロセスからのセグメント出力を含む。古典的な回帰分析で典型的であるように、この実施形態では、損失関数Ｌ及びベクトルθによってパラメータ化されたネットワークアーキテクチャが使用される。セグメンテーションボリュームと関連する形状記述子のペアを含む訓練セットＴが与えられる場合、最適ネットワークパラメトリゼーションθ＊は、訓練データ全体の平均損失を最小化することによって、すなわち最適化タスク：
を解くことによって得ることができる。
【0052】
ネットワークアーキテクチャの例を図３に示す。この例では、ネットワークは、畳み込み、バッチ正規化、正規化線形ユニット（ＣＢＲ）ブロック３０２、プーリング層３０４、及び線形層３０６の３つの異なるタイプの層モジュールを含む。入力層３００は、入力画像を受け取り、出力層３０８は、（複数の）形状記述子の予測を提供する。ＣＢＲブロックは、３×３×３のパディング畳み込み（Ｃ）に続き、バッチ正規化（Ｂ）とリーキー正規化線形ユニット活性化（leaky rectified linear unit activation）（Ｒ）で構成される。プーリングについては、各ステップで空間テンソル次元を０．５倍減少させるストライド２の２×２×２の平均プーリングが選択される：すなわち(Hm,Wm,Dm)=0.5*(Hm-1,Wm-1,Dm-1)。ネットワーク重みは、ＳＧＤ、ＡｄａＤｅｌｔａ、又はＡｄａｍのような顕著な更新規則と共に正規化Ｌ２損失を用いてミニバッチで訓練されることができる。この訓練セットアップのハイパーパラメータ、特に隠れ層の数ｄ及び畳み込みによって生成される特徴チャネルの数Ｆｍは、特定の用途に応じて変わりうる。前処理ステップとして、入力セグメンテーションボリュームは、それらの空間的拡張がネットワーク入力テンソルの形状に一致するように、再サンプリング、パッド、及びクロップされる。
【0053】
このようにして、回帰ディープニューラルネットワークを用いて、形状記述子の値を直接予測することができる。
【0054】
いくつかの実施形態では、訓練セット全体にわたる形状記述子の分布の事前統計的知識が、損失関数に組み込まれてもよいことに留意されたい。例えば、平均形状記述子ベクトルからの強い偏差は、ペナルティを受ける可能性がある。これは、ネットワークが非常に「起こりそうにない」形状記述子を生成する確率を低減する。これは、形状記述子分布に課された事前知識がバイアスを導入するかもしれないが、分散を減少させるという意味で、ベイズ最適化に類似していると考えることができる。
【0055】
ここで分類アプローチに移ると、いくつかの実施形態では、モデルは分類ニューラルネットワークを含む。このような実施形態では、形状記述子の出力標示は、離散値に区分される。すなわち、ニューラルネットワークが出力する形状記述子は、離散化されることができる。これにより、この方法を実行するために必要な計算能力が低下させることができる。
【0056】
例えば、学習した回帰モデルを通じてセグメンテーションボリュームＩを形状記述子に直接関連付ける代わりに、ニューラルネットワークを使用して、関連する形状記述子の各コンポーネントの上限及び下限を予測することができる。
【0057】
一例として、以下のアプローチを用いることができる：
【0058】
セグメンテーションボリュームと形状記述子のペア（Ｉ，ω）を含むグランドトゥルースデータセットＳが与えられる場合、形状記述子ベクトルの分布に基づいてＲｎの区分（partition）が決定されることができる。
【0059】
説明のために、以下の例を考える。標本平均、
に基づいて、Ｒｎは、「＞」と「＜」の関係のすべての可能な組み合わせにわたる反復により、
の互いに素な２ｎの集合に分解されることができる。
【0060】
分解Ｒｎ＝ＵｉＣｉを選択した後、グランドトゥルースデータセットに含まれる各形状記述子は、関連する区分要素に基づいてクラスラベルを割り当てられることができ、すなわち、形状記述子ωは、ωがＣｉに包含される場合はラベルlω：＝ｉを割り当てられる。
【0061】
得られた画像ラベル（Ｉ，ｌω）は、分類ネットワークの訓練データとして機能する。ニューラルネットワークを用いて分類タスクを解くことは、文献で集中的に議論されており、従って、当業者であれば可能なネットワーク規格と訓練レジメに精通するであろう。
【0062】
上で概説したステップに続いて得られるニューラルネットワークは、関連する形状記述子を含む区分要素Ｃｉを予測するために、見えない分割ボリュームに適用されることができる。区分要素の重心を取る又はＣｉに集中した分布からランダムにサンプリングすることにより、ＭＢＳ初期化に使用することができる明示的な形状記述子の推定値が得られる。
【0063】
より形式的には、いくつかの実施形態では、形状記述子の標示をモデルから受け取ることは、区分された離散値に関連する区分要素を分類ニューラルネットワークから受け取ることを含むことができる。区分要素は、画像内の特徴に関する形状記述子の上限又は下限を表すことができる。
【0064】
形状記述子の（例えば、値ではなく）区分要素がモデルから受け取られる実施形態において、本方法は、区分要素を、ＭＢＳモデルを初期化するために使用され得る値又は他の形に変換することを含むことができる。いくつかの実施形態では、方法は、区分要素の重心を決定し、この重心を特徴の形状記述子として使用することによって、区分要素から、画像内の特徴の形状記述子を決定することを更に含むことができる。代替として、本方法は、区分要素を中心とする分布のランダムサンプリングに基づいて形状記述子の推定値を決定するステップと、形状記述子の推定値を、特徴の形状記述子として使用するステップとを更に有することができる。
【0065】
方法１００に戻って説明すると、標示された形状記述子をモデルベースのセグメンテーションにおいて使用してＭＢＳを初期化し特徴をセグメント化するブロック１０６は、形状記述子を使用してＭＢＳモデルを初期化し、初期化されたＭＢＳモデルを使用して、画像上でセグメンテーションを実行するステップを有することができる。例えば、形状記述子は、画像（例えば、元の又は前処理された画像）上でセグメンテーションを実行するための入力パラメータとしてＭＢＳモデルに提供されることができる。
【0066】
このアプローチは、ＭＢＳモデルの初期化に使用できるＭＬセグメントからの形状予測因子を予測するモデルを使用することにより、ＭＢＳ（画像のターゲット臓器形状がモデルの形状から強く逸脱する場合に範囲境界外になること）とＭＬセグメンテーション（形状の正則化がないこと）のいくつかのマイナス面を克服することができる。このようにして、２つのアプローチを併用することで、改善された成果を生み出すことができる。それは、特に、ＭＬアルゴリズムによって生成されるものにも、臓器の粗いボリュメトリックセグメンテーションのような、任意のボクセルベースのセグメンテーションに適用されることができる。
【0067】
いくつかの実施形態では、上述のように、提案したアルゴリズムは、ＭＬ結果から形状記述子を推定し、その記述子をＭＢＳモデル上にマッピングし、それにより、ＭＬ結果とほぼ整合するようにモデルの平均メッシュ形状を効果的に変形する。その結果、ＭＢＳは、セグメンテーション結果を微調整するために局所的にのみ適用され、従って、多くの場合に現在採用されている複雑なマルチレベルモデル階層も単純化する。この方法は、モデルが検出すべき臓器境界の捕捉範囲内に良好に収まるように、良好な初期化を必要とするＭＢＳアプローチの一般的な問題を克服することができる。
【0068】
他の実施形態は、図４に示されており、図４は、機械学習セグメンテーションプロセスが、機械学習プロセスを使用して訓練された（第２の）モデルへの入力として提供されるセグメントを生成するために使用される方法の要約を示す。モデルは、機械学習セグメンテーションプロセスによって生成されたセグメントを使用して、ＭＢＳの初期化に使用するための形状記述子を予測する。
【0069】
この方法は、ブロック４０２で始まり、ブロック４０２において、画像が、機械学習セグメンテーションモデル（図４ではＭＬアルゴリズム＊とラベル付けされている）に提供され、ブロック４０４において、画像がセグメント化され、画像内の特徴の１又は複数のセグメントが生成される。この機械学習セグメンテーションモデルは、元の画像データ上で動作し、ボクセル／ピクセルレベルで画像のセグメンテーションを導出する。
【0070】
機械学習セグメンテーションモデルによるセグメント出力は、機械学習プロセスを用いて訓練されたモデル（図４ではＭＬアルゴリズム＊＊とラベル付けされている）への入力として提供される。このモデルは、例えば、ニューラルネットワークを含み、セグメントを使用して当該セグメントに関する形状記述子（４０６）を予測し又は推定することができる。
【0071】
予測／推定された形状記述子は、モデルベースのセグメンテーションプロセスＭＢＳ４０８を初期化するために使用される。ＭＢＳ４０８は、画像４０２及び形状記述子４０６を入力として取り込む。形状記述子は、ＭＢＳを初期化するために使用される。モデルベースのセグメンテーションは、（メッシュベースの）セグメンテーション出力を生成する。
【0072】
別の実施形態において、機械学習プロセス（例えば、図４のＭＬアルゴリズム＊＊）を用いて訓練されたモデルは更に、元の画像を入力として取り込むことができる。例えば、ニューラルネットワークは、ＭＬベースのセグメンテーションからのセグメンテーション及び元の画像に基づいて形状予測因子を予測するために使用されることができる。
【0073】
次に図５を参照して、いくつかの実施形態では、画像内の特徴をセグメント化するためのセグメンテーションプロセスで使用するための機械学習モデルを訓練する方法５００が存在する。簡単に説明すると、本方法は、第１のブロック５０２において、訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している該事例画像プロダクトと、ｉｉ）各事例画像プロダクト内の特徴の対応するグランドトゥルース形状記述子と、を有する、ステップを有する。第２のブロック５０４では、本方法は、訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記モデルを訓練するステップを有する。
【0074】
画像及びその中の特徴は、方法１００に関して上述した画像及び特徴のタイプを含む、任意のタイプの画像及び任意のタイプの特徴を含むことができる。更に、モデルは、方法１００に関して上述したように、画像プロダクトから形状記述子を予測するのに適した任意のタイプのモデルでありうる。図１ー図３に関して上述したモデルの詳細及び実施形態は、方法５００の実施形態にも同様に適用されることが理解されるであろう。
【0075】
訓練データを取得するブロック５０２は、事例画像プロダクトを取得するステップであって、各事例画像プロダクトがそれぞれの画像に関連している、ステップと、取得された事例画像プロダクトに、各事例画像プロダクト内の特徴の対応するグランドトゥルース（「正しい」）形状記述子を付す（アノテートする）ステップと、を含むことができる。
【0076】
上記のとおり、画像プロダクトは、画像又は画像から導出されたプロダクトを含むことができる。いくつかの実施態様において、上に詳述したように、画像プロダクトは、例えば、ＭＬセグメンテーションプロセスによって生成されたセグメントを有することができる。
【0077】
訓練データは、多くの訓練事例を含むことができる。一般に、当業者によって理解されるように、形状記述子を予測する際のモデルの精度は、訓練セットが大きくなるほど一層改善されることができる。従って、いくつかの実施形態では、訓練データは、数百又は数千の訓練事例を含むことができる。
【0078】
方法１００に関して上で詳述したように、いくつかの実施形態では、モデルは分類ニューラルネットワークを有することができる。このような実施形態では、グランドトゥルース値は離散化されることができる。そのように、方法５００は、訓練データ内のグランドトゥルース形状記述子の値を離散値に区分するステップを更に有することができる。新しい画像プロダクトのための形状記述子を予測するためのモデルの訓練５０４は、訓練データに基づいて、新しい画像プロダクトに係る形状記述子の新しい区分値を予測するようにモデルを訓練することを含み得る。
【0079】
いくつかの実施態様において、区分値は、形状記述子の上限又は下限を表す。方法１００に関して上述したように、このような上側又は下限は、ＭＢＳモデルを初期化するために使用され得る形状区分の値を決定するために使用されることができ、ＭＢＳモデルの初期化は、例えば、区分要素の重心を決定し、かかる重心を特徴の形状記述子として使用することによって、又は、区分要素を中心とする分布のランダムサンプリングに基づいて形状記述子の推定値を算出し、形状記述子の推定値を特徴の形状記述子として使用することによって、実行されることができる。
【0080】
上記で詳述したように、１又は複数の新しい形状記述子は、新しい画像のセグメンテーションのためにモデルベースのセグメンテーションＭＢＳを初期化する際に使用される。
【0081】
ここで、いくつかの実施形態において図６を参照すると、２次元ディスプレイ上に画像の３次元ボリュームを表示するシステム６００が存在する。システムは、特化した医療機器のような特化した機器の部分を形成することができ、代替的に、システムは、例えばラップトップ、デスクトップＰＣ又は他の装置のようなコンピュータシステムの部分を形成することができ、あるいは、システム６００は、クラウド／分散コンピューティング構成の部分を形成することができる。
【0082】
システムは、命令セットを表す命令データを含むメモリ６０４と、メモリと通信し、命令セットを実行するように構成されるプロセッサ６０２と、を有する。一般に、命令セットは、プロセッサによって実行される場合、プロセッサに、上述した方法１００又は５００の実施形態のいずれかを実行させることができる。いくつかの実施形態では、命令セットは、それぞれが本明細書に記載する方法の個々のステップ又は複数のステップを各々が実行する又は実行するように構成された複数のソフトウェア及び／又はハードウェアモジュールを含むことができる。
【0083】
より具体的には、いくつかの実施形態では、命令セットは、プロセッサによって実行される場合、プロセッサに、機械学習プロセスを用いて訓練されたモデルに、画像に関連する画像プロダクトを提供するステップと、画像プロダクトに基づいて、画像内の特徴の形状記述子の標示を前記モデルから受け取るステップと、モデルベースのセグメンテーションＭＢＳにおいて前記標示された形状記述子を使用してＭＢＳを初期化し、１又は複数の特徴を初期化するステップと、を実行させる。
【0084】
機械学習プロセスを用いて訓練されたモデルに、画像に関連する画像プロダクトを提供すること、画像プロダクトに基づいて、前記モデルから、画像内の特徴に関する形状記述子の標示を受け取ること、モデルベースのセグメンテーションにおいて前記標示された形状記述子を使用することで該ＭＢＳを初期化し、１又は複数の特徴をセグメント化することが、方法１００及びブロック１０２、１０４及び１０６に関して詳細に説明されたが、それらの詳細は、システム６００の構成にも等しく適用されることが理解されるであろう。
【0085】
他の実施形態では、命令セットは、プロセッサによって実行される場合、プロセッサに、訓練データを取得するステップであって、該訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している事例画像プロダクトと、ｉｉ）各事例画像プロダクトにおける特徴の対応するグランドトゥルースの形状記述子と、を有する、ステップと、新しい画像プロダクトに関する新しい形状記述子を予測するように前記訓練データに基づいて前記モデルを訓練するステップと、を実行させる。
【0086】
訓練データを取得すること、及び新しい画像プロダクトに関する新しい形状記述子を予測するように訓練データに基づいて前記モデルを訓練することは、方法５００に関して詳しく上記で説明されたが、その詳細は、システム６００にも等しく適用されることが理解されるであろう。
【0087】
システム６００の実施形態のいずれにおいても、プロセッサ６０２は、本明細書に記載される方法でシステム６００を制御するように構成され又はプログラムされる、１つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。実現例において、プロセッサ６０２は、それぞれが本明細書に記載される方法の個々の又は複数のステップを実行する又は実行するように構成される複数のソフトウェア及び／又はハードウェアモジュールを有することができる。プロセッサ６０２は、本明細書に記載される態様でシステム６００を制御するように構成され又はプログラムされる、１つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ及び／又はモジュールを有することができる。一部の実施形態において、例えば、プロセッサ６０２は、複数の（例えば、相互運用された）プロセッサ、処理ユニット、マルチコアプロセッサ及び／又は分散処理のために構成されたモジュールを有することができる。このようなプロセッサ、処理ユニット、マルチコアプロセッサ及び／又はモジュールは、それぞれ異なる位置に配置されることができ、本明細書に記載される方法の異なるステップ及び／又は単一ステップの異なる部分を実行することができることが当業者には理解されるであろう。
【0088】
メモリ６０４は、本明細書に記載する方法を実行するためにプロセッサ１０２によって実行可能なプログラムコードを記憶するように構成される。代替的に又は付加的に、１又は複数のメモリ６０４は、システム６００の外部にあってもよい（すなわち、分離していてもよいし、遠隔にあってもよい）。例えば、１又は複数のメモリ６０４は、別の装置の部分でありうる。メモリ６０４は、装置６００のプロセッサ６０２によって、又はシステム６００の外部にある任意のインタフェース、メモリ又は装置から、受信され、計算され、又は決定された、画像、画像プロダクト、モデル、形状記述子、セグメント、情報及び／又はデータを格納するために使用されることができる。プロセッサ６０２は、画像、画像プロダクト、モデル、形状記述子、セグメント、情報及び／又は受信された、計算された又は決定されたデータを格納するようにメモリ６０４を制御するように構成されることができる。
【0089】
いくつかの実施形態では、メモリ６０４は、複数のサブメモリを有することができ、各サブメモリは、命令データの部分を記憶することができる。例えば、少なくとも１つのサブメモリは、命令セットの少なくとも１つの命令を表す命令データを記憶することができ、少なくとも１つの他のサブメモリは、命令セットの少なくとも１つの他の命令を表す命令データを記憶することができる。
【0090】
幾つかの実施形態では、システム６００は、画像、画像プロダクト、ＭＢＳモデル、及び／又はシステム６００に入力され又はシステム６００から出力される（例えば決定される／計算される）任意の他の情報を表示する／レンダリングするディスプレイを更に有することができる。ディスプレイは、例えば、コンピュータスクリーン、携帯電話又はタブレット上のスクリーン、医療機器又は医療診断ツールの一部を形成するスクリーン、ゴーグル又はバーチャルリアリティディスプレイに関連するバイザの一部を形成するスクリーン、又は任意の他のディスプレイを有することができる。
【0091】
システムは、例えば、本明細書に記載する態様で使用される初期入力パラメータを提供するために、ユーザがシステムと対話することを可能にするキーボード、マウス又は他の入力デバイスのようなユーザ入力を更に有することができる。
【0092】
図６は、開示のこの態様を示すために必要なコンポーネントのみを示しており、実際の実現例において、システム６００は、図示されたものに対する追加コンポーネントを有することができる。例えば、システム６００は、システム６００に給電するためのバッテリ又は他の電源、又はシステム６００を主電源に接続するための手段を有することができる。
【0093】
別の実施形態において、コンピュータ可読媒体を含むコンピュータプログラム製品であって、コンピュータ可読媒体は、その中に具体化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行時に、コンピュータ又はプロセッサに本明細書に記載する１又は複数の方法を実行させる。
【0094】
従って、本開示は、実施形態を実現するように構成されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解されるであろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、例えば、部分的にコンパイルされた形のオブジェクトコードの形であってもよく、又は、本明細書に記載される実施形態による方法の実施において使用するのに適した任意の他の形式であってもよい。
【0095】
また、このようなプログラムは、多くの異なる構造的な設計を有することも認められるであろう。例えば、方法又はシステムの機能を実装するプログラムコードは、１又は複数のサブルーチンにサブ分割されてもよい。これらのサブルーチン間で機能性を分配する多くの異なる方法は、当業者に明らかであろう。サブルーチンは、１つの実行可能ファイルに一緒に記憶されて、自己完結型プログラムを形成することができる。このような実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び／又はインタプリタ命令（例えば、Ｊａｖａインタプリタ命令）を含むことができる。代替として、１若しくは複数又はすべてのサブルーチンは、少なくとも１つの外部ライブラリファイルに記憶され、実行時などに静的又は動的にメインプログラムとリンクされることができる。メインプログラムには、少なくとも１つのサブルーチンへの呼び出しが少なくとも１つ含まれている。サブルーチンは、互いに関数呼び出しを含むこともできる。
【0096】
コンピュータプログラムの担体は、プログラムを搬送することができる任意のエンティティ又は装置でありうる。例えば、担体は、ＲＯＭのようなデータ記憶装置、例えば、ＣＤ－ＲＯＭ又は半導体ＲＯＭ、又は磁気記録媒体、例えば、ハードディスクを含むことができる。更に、担体は、電気又は光信号のような伝送可能な担体であってもよく、電気又は光ケーブルを介して、又は無線又は他の手段によって伝送されることができる。プログラムがこのような信号で具体化される場合、担体は、このようなケーブル又は他のデバイス又は手段によって構成されることができる。代替として、担体は、プログラムが埋め込まれている集積回路でありえ、この集積回路は、関連する方法の性能を実行するように構成され、又は、その実行において使用されるように構成される。
【0097】
開示された実施形態に対する変形は、図面、開示及び特許請求範囲の研究から、当業者によって理解され、実施されることができる。請求項において、単語「有する、含む（comprising）」は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布されることができるが、インターネット又は他の有線若しくは無線電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、その請求項の範囲を限定するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】