特開 2022-141619 血管内光断層画像での生分解性ステントを含むディープラーニング基盤の画像分割方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022141619

(43)【公開日】2022-09-29

(54)【発明の名称】血管内光断層画像での生分解性ステントを含むディープラーニング基盤の画像分割方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220921BHJP

   A61B 1/00 20060101ALI20220921BHJP

   A61B 1/313 20060101ALI20220921BHJP

   A61B 1/045 20060101ALI20220921BHJP

【ＦＩ】

G06T7/00 350C

A61B1/00 526

A61B1/313 510

A61B1/045 614

A61B1/045 618

G06T7/00 612

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022040272

(22)【出願日】2022-03-15

(11)【特許番号】

(45)【特許公報発行日】2022-07-27

(31)【優先権主張番号】10-2021-0033568

(32)【優先日】2021-03-15

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0058636

(32)【優先日】2021-05-06

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】521553818

【氏名又は名称】ドッター インコーポレイテッド

(71)【出願人】

【識別番号】518174905

【氏名又は名称】韓國科學技術院

【氏名又は名称原語表記】ＫＯＲＥＡ ＡＤＶＡＮＣＥＤ ＩＮＳＴＩＴＵＴＥ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ

【住所又は居所原語表記】２９１， Ｄａｅｈａｋ－ｒｏ Ｙｕｓｅｏｎｇ－ｇｕ Ｄａｅｊｅｏｎ ３４１４１ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】ナム、ヒョン・スー

(72)【発明者】

【氏名】ドルゴフ・アレクサンドル

(72)【発明者】

【氏名】リー、サンウォン

(72)【発明者】

【氏名】チョイ、ソキ

(72)【発明者】

【氏名】ユー、ホンキ

(72)【発明者】

【氏名】キム、フンギル

【テーマコード（参考）】

4C161

5L096

【Ｆターム（参考）】

4C161AA22

4C161BB08

4C161CC07

4C161FF40

4C161FF46

4C161MM10

4C161SS21

5L096BA13

5L096GA55

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】血管組織及びステントを正確に高速で自動抽出する画像分割装置を提供する。
【解決手段】画像分割装置は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を格納する格納部と、分割モデルに入力データを入力し、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割する少なくとも一つのプロセッサと、を含む。分割モデル３００は、入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むエンコーダ３１０と、少なくとも一つの次元減少ブロックから出力されるデータを用いて、エンコーダから出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むデコーダ３２０と、出力データの入力を受け、出力データに特定のオブジェクトが含まれているか否かを認識する補助分類モデル３３０と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも一つの既に設定されたオブジェクトを分割するように、学習用画像で学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を格納する格納部；および
前記分割モデルに入力データを入力し、前記入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割する少なくとも一つのプロセッサ；
を含み、
前記分割モデルは、
前記入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むエンコーダ；
前記少なくとも一つの次元減少ブロックから出力されるデータを用いて、前記エンコーダから出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むデコーダ；および
前記出力データの入力を受け、前記出力データに特定のオブジェクトが含まれているか否かを認識する補助分類モデル；
を含み、
前記少なくとも一つの既に設定されたオブジェクトは、
生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）および組織（ｔｉｓｓｕｅ）のうち少なくとも一つを含み、
前記入力データは、
血管内光断層画像（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）の画像であり、
前記学習用画像は、
第１厚さを有するストラットで構成された第１生分解性ステントを含む複数の第１学習用画像；および
前記第１厚さとは異なる第２厚さを有するストラットで構成された第２生分解性ストラットを含む複数の第２学習用画像；
を含む、画像分割装置。

【請求項2】

前記プロセッサは、
前記分割モデルを学習させる際に、前記補助分類モデルを介して前記学習用画像に前記特定のオブジェクトが含まれているか否かが認識できるように、前記エンコーダおよび前記補助分類モデルに含まれた重み値を最適化することと連動して、前記デコーダの最終特徴値マップに前記学習用画像に含まれた前記少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、前記分割モデルに含まれた重み値を最適化する、請求項１に記載の画像分割装置。

【請求項3】

前記学習用画像は、
前記少なくとも一つの既に設定されたオブジェクトそれぞれがラベリングされた画像をランダムクロップしたパッチを少なくとも一つ以上含む、請求項２に記載の画像分割装置。

【請求項4】

前記デコーダの最終出力端は、
前記少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための境界が改善されるように、最終分類演算に入力される最終特徴マップを調整する境界改善モジュール；
をさらに含む、請求項１に記載の画像分割装置。

【請求項5】

前記最終分類演算は、
少なくとも一つの畳み込み層およびソフトマックス活性化関数による演算を含む、請求項４に記載の画像分割装置。

【請求項6】

前記境界改善モジュールは、
残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）構造を有する、請求項４に記載の画像分割装置。

【請求項7】

前記少なくとも一つの次元減少ブロックおよび前記少なくとも一つの次元増加ブロックは、
互いに異なる拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）を有する複数の畳み込み層が並列的に配置され、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）が含まれたマルチスケール拡張残差ブロック（ｍｕｌｔｉ－ｓｃａｌｅ ｄｉｌａｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を含む、請求項１に記載の画像分割装置。

【請求項8】

前記少なくとも一つの次元減少ブロックのうち最終層に配置される次元減少ブロックは、
過剰適合を防止するためのドロップアウト層（ｄｒｏｐｏｕｔ ｌａｙｅｒ）を含む、請求項１に記載の画像分割装置。

【請求項9】

前記プロセッサは、
前記分割モデルに前記入力データを入力して出力された最終データおよび前記入力データを用いて３次元レンダリングを行う、請求項１に記載の画像分割装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、血管内光断層画像にディープラーニングを用いた画像分割法であるセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）技法を適用するものであって、具体的に、生分解性ステントが挿入された血管画像において自動で組織領域およびステントのストラットを分割する方法に関する。

【背景技術】

【0002】

閉塞性動脈硬化症患者を治療するために、血管内イメージング技術を用いて閉塞部位を確認し、ステント挿入術を施すことができる。既に広く用いられている金属材質のステントは、生体異物として施術後にも残り、また、血栓症のリスクが高いという短所がある。そこで、施術後、時間の経過につれて徐々に溶ける生分解性ステント（Ｂｉｏｒｅｓｏｒｂａｂｌｅ ｓｔｅｎｔ）が代案として提示されており、血管機能の自然な回復を図ることができた。血管内光断層画像（ＩＶ－ＯＣＴ）の優れた分解能は、血管内壁の微細構造とステントの画像化を可能にすることができる。従来は、施術後、ステント術に対する定量評価のために、ＩＶ－ＯＣＴ画像から血管組織およびステントを手作業で抽出し、ステントの付着程度および施術後の新生内膜の増殖程度を定量的に把握してきた。しかし、これは、多くの時間がかかり、労働強度が非常に高い作業である。これを解決するために高速で血管組織およびステントを正確に自動抽出する方法が開発される必要があり、これに基づいて自動的・定量的にステント術後の評価が行われるべきである。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、前述した背景技術に対応してなされたものであって、Ａｕｒｉｏｓ製品の生分解性ステントセグメンテーションソフトウェア（ＢＩＯＤＥＧＲＡＤＡＢＬＥ ＳＴＥＮＴ（ＢＲＳ） ＳＥＧＭＥＮＴＡＴＩＯＮ ＳＯＦＴＷＡＲＥ）を提供する。
本開示の技術的課題は、以上で言及した技術的課題に制限されず、言及していないまた他の技術的課題は、下記の記載から当業者に明らかに理解できるものである。

【課題を解決するための手段】

【0004】

前述したような課題を解決するための本開示の一実施形態による画像分割装置が開示される。前記画像分割装置は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を格納する格納部；および前記分割モデルに入力データを入力し、前記入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割する少なくとも一つのプロセッサ；を含み、前記分割モデルは、前記入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むエンコーダ；前記少なくとも一つの次元減少ブロックから出力されるデータを用いて、前記エンコーダから出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むデコーダ；および前記出力データの入力を受け、前記出力データに特定のオブジェクトが含まれているか否かを認識する補助分類モデル；を含み、前記少なくとも一つの既に設定されたオブジェクトは、生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）および組織（ｔｉｓｓｕｅ）のうち少なくとも一つを含み、前記入力データは、血管内光断層画像（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）の画像であってもよい。

【0005】

また、前記プロセッサは、前記分割モデルを学習させる際に、前記補助分類モデルを介して学習用画像に前記特定のオブジェクトが含まれているか否かが認識できるように、前記エンコーダおよび前記補助分類モデルに含まれた重み値を最適化することと連動して、前記デコーダの最終特徴値マップに前記学習用画像に含まれた前記少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、前記分割モデルに含まれた重み値を最適化することができる。

【0006】

なお、前記学習用画像は、前記少なくとも一つの既に設定されたオブジェクトそれぞれがラベリングされた画像をランダムクロップしたパッチを少なくとも一つ以上含むことができる。

【0007】

また、前記学習用画像は、第１厚さを有するストラットで構成された第１生分解性ステントを含む複数の第１学習用画像；および前記第１厚さとは異なる第２厚さを有するストラットで構成された第２生分解性ストラットを含む複数の第２学習用画像；を含むことができる。

【0008】

なお、前記デコーダの最終出力端は、前記少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための境界が改善されるように、最終分類演算に入力される最終特徴マップを調整する境界改善モジュール；をさらに含むことができる。

【0009】

また、前記最終分類演算は、少なくとも一つの畳み込み層およびソフトマックス活性化関数による演算を含むことができる。

【0010】

なお、前記境界改善モジュールは、残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）構造を有することができる。

【0011】

また、前記少なくとも一つの次元減少ブロックおよび前記少なくとも一つの次元増加ブロックは、互いに異なる拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）を有する複数の畳み込み層が並列的に配置され、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）が含まれたマルチスケール拡張残差ブロック（ｍｕｌｔｉ－ｓｃａｌｅ ｄｉｌａｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を含むことができる。

【0012】

なお、前記少なくとも一つの次元減少ブロックのうち最終層に配置される次元減少ブロックは、過剰適合を防止するためのドロップアウト層（ｄｒｏｐｏｕｔ ｌａｙｅｒ）を含むことができる。

【0013】

また、前記プロセッサは、前記分割モデルに前記入力データを入力して出力された最終データおよび前記入力データを用いて３次元レンダリングを行うことができる。

【0014】

本開示から得ることができる技術的解決手段は、以上で言及した解決手段に制限されず、言及していないまた他の解決手段は、下記の記載から本開示が属する技術分野における通常の知識を有する者に明らかに理解できるものである。

【発明の効果】

【0015】

本発明で提示されるＩＶ－ＯＣＴ画像において血管組織および生分解性ステントのストラットを検出する方法は、生分解性ステント術後の予後観察に有用に使用することができる。また、本方法を用いて生分解性ステント挿入術の結果を３次元レンダリング（ステント位置、新生内膜の生成程度などを含む）するのに使用することができ、これに基づいて生分解性ステントの有効性／安全性を検証する臨床研究に活用できるものと見られており、また、これに基づいて最適の生分解性ステントデザインを導き出すのに活用することができる。

【0016】

本開示から得ることができる効果は、以上で言及した効果に制限されず、言及していないまた他の効果は、下記の記載から本開示が属する技術分野における通常の知識を有する者に明らかに理解できるものである。

【図面の簡単な説明】

【0017】

多様な態様が図面を参照して記載されており、ここで、類似の参照番号は、総括的に類似の構成要素を指すのに用いられる。以下の実施形態において、説明の目的のため、多数の特定の細部事項が一つ以上の態様の総体的な理解を提供するために提示される。しかし、そのような態様がこのような特定の細部事項なしに実施できることは明らかである。他の例示において、公知の構造および装置が一つ以上の態様の記載を容易にするためにブロック図の形態で示される。

【0018】

【図1】本開示の幾つかの実施形態による画像分割装置の一例を説明するためのブロック構成図である。

【図2】本開示の幾つかの実施形態による分割モデルの一例を説明するための図である。

【図3】本開示の幾つかの実施形態によるマルチスケール拡張残差ブロックの一例を説明するための図である。

【図4】本開示の幾つかの実施形態による学習用画像の一例を説明するための図である。

【図5】本開示の幾つかの実施形態による学習された分割モデルの性能評価について説明するための図である。

【図6】本開示の幾つかの実施形態による画像分割装置が行った３次元レンダリング結果の一例を説明するための図である。

【図7】本開示の幾つかの実施形態による画像分割装置が行った３次元レンダリング結果の他の一例を説明するための図である。

【図8】本開示内容の実施形態が実現可能な例示的なコンピューティング環境に対する一般的な概略図である。

【発明を実施するための形態】

【0019】

多様な実施形態および／または態様が図面を参照して開示される。下記の説明においては、説明の目的のため、一つ以上の態様の全般的な理解を助けるために多数の具体的な細部事項が開示される。しかし、このような態様は、このような具体的な細部事項がなくても実行可能であるということも、本開示の技術分野における通常の知識を有する者に検知できるものである。以後の記載および添付された図面は、一つ以上の態様の特定の例示的な態様を詳しく記述する。しかし、このような態様は、例示的なものであって、多様な態様の原理における多様な方法のうち一部が用いられてもよく、記述される説明は、そのような態様およびその均等物のいずれも含もうとする意図である。具体的に、本明細書で用いられる「実施形態」、「例」、「態様」、「例示」などは、記述される任意の態様または設計が他の態様または設計よりも良好であるか、または利点があるものと解釈されなくてもよい。

【0020】

以下、図面符号に関係なく同一または類似の構成要素には同一の参照番号を付し、これに対する重複する説明は省略する。また、本明細書に開示された実施形態を説明するにおいて、関連の公知技術に関する具体的な説明が本明細書に開示された実施形態の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明を省略する。また、添付された図面は、本明細書に開示された実施形態を容易に理解できるようにするためのものにすぎず、添付された図面により本明細書に開示された技術的思想が制限されるものではない。

【0021】

第１、第２などが多様な素子や構成要素を述べるために用いられるが、これらの素子や構成要素は、これらの用語により制限されないことはいうまでもない。これらの用語は、単に一つの素子や構成要素を他の素子や構成要素と区別するために用いるものである。したがって、以下に言及される第１素子や構成要素は、本発明の技術的思想の範囲内で第２素子や構成要素であってもよいことはいうまでもない。

【0022】

他の定義がない限り、本明細書で用いられる全ての用語（技術および科学的用語を含む）は、本発明が属する技術分野における通常の知識を有する者に共通に理解できる意味として用いられてもよい。また一般的に用いられる辞書に定義されている用語は、明らかに特に定義されていない限り、理想的にまたは過度に解釈されない。

【0023】

さらに、用語「または」は、排他的「または」ではなく、内包的「または」を意味するものと意図される。すなわち、別に特定されていないかまたは文脈上明らかでない場合に、「Ｘは、ＡまたはＢを用いる」は、自然的な内包的置換のうち一つを意味するものと意図される。すなわち、ＸがＡを用いるか；ＸがＢを用いるか；またはＸがＡおよびＢの両方を用いる場合、「ＸはＡまたはＢを用いる」がこれらの場合のいずれでも適用されてもよい。また、本明細書で用いられた「および／または」という用語は、列挙された関連アイテムのうち一つ以上のアイテムの可能な全ての組み合わせを指し且つ含むものと理解しなければならない。

【0024】

また、「備える」および／または「含む」という用語は、当該特徴および／または構成要素が存在することを意味するが、一つ以上の他の特徴、構成要素および／またはこれらのグループの存在または追加を排除するものではないことを理解しなければならない。また、別に特定されていないかまたは単数の形態を指示するものとして文脈上明らかでない場合に、本明細書および請求範囲における単数は、一般的に「一つまたはそれ以上」を意味するものと解釈しなければならない。

【0025】

さらに、本明細書で用いられる用語「情報」および「データ」は、互いに交換可能に用いられることが多い。

【0026】

ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及された際には、当該他の構成要素に直接的に連結されているかまたは接続されていてもよいが、その間にまた他の構成要素が存在してもよいものと理解しなければならない。これに対し、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及された際には、その間にまた他の構成要素が存在しないものと理解しなければならない。

【0027】

以下の説明で用いられる構成要素に対する接尾辞「モジュール」および「部」は、明細書の作成の容易性だけを考慮して付与または混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。

【0028】

本開示の目的および効果、そしてそれらを達成するための技術的構成は、添付される図面とともに詳しく後述している実施形態を参照すれば明らかになるものである。本開示を説明するにおいて、公知の機能または構成に関する具体的な説明が本開示の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明を省略する。そして、後述する用語は本開示における機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などにより異なってもよい。

【0029】

しかしながら、本開示は、以下に開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現されてもよい。本実施形態は、単に本開示が完全になるようにし、本開示が属する技術分野における通常の知識を有する者に開示の範疇を完全に知らせるために提供されるものであり、本開示は、請求項の範疇により定義されるのみである。したがって、その定義は、本明細書の全般にわたった内容に基づいて下されなければならない。

【0030】

本開示において、画像分割装置は、学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を用いて、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割することができる。一例として、画像分割装置は、学習された分割モデルを用いて、血管内光断層画像（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）において生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）を分割することができる。ここで、ストラットは、ステントの円周方向に沿って配置され、複数のセルを形成する部材であってもよい。

【0031】

具体的に、生分解性ステントは、血管、食道、胆管などの管状構造の身体の器官に挿入され、管状構造内部の内容物の流れを円滑にする医療機器であってもよい。そして、生分解性ステントは、施術後、時間の経過につれて、体内で徐々に溶ける材質からなることができる。この際、従来の金属ステントは、光源を反射する材質であるため、光断層撮影画像において目立って表示されることができた。しかし、生分解性ステントの場合、光源が透過する材質からなるため、ユーザが明らかに識別し難いことがある。

【0032】

より具体的に、血管内光断層画像技術で用いられる光源は、１２４０ｎｍ～１３５０ｎｍの帯域幅を有することができる。このような光源下で、金属ステントは、影などが表現されて目立って表れることができる。これに対し、生分解性ステントの場合は、造影剤（血管内部）と血管壁の中間の陰影を帯び、レンガのような長方形の形状であることができる。そして、高さ（ストラット厚さ）は８０～１６０ｍｉｃｒｏｎを有し、長さ（ストラット幅）は１００～３００ｍｉｃｒｏｎ有することができる。また、生分解性ステントは、金属ステントとは異なり、影などが表現されないことがある。換言すれば、生分解性ステントのストラットは、光断層撮影画像においてユーザが明らかに識別し難いことがある。したがって、本開示における画像分割装置は、分割モデルを用いて、血管内光断層画像において生分解性ステントを分割することができる。以下、図１～図７を通じて本開示に係る画像分割装置について説明する。

【0033】

図１は、本開示の幾つかの実施形態による画像分割装置の一例を説明するためのブロック構成図である。

【0034】

図１を参照すれば、画像分割装置１０００は、格納部１００およびプロセッサ２００を含むことができる。ただし、上述した構成要素は、画像分割装置１０００を実現する際に必須のものではないため、画像分割装置１０００は、上記で列挙された構成要素よりも多いか、または少ない構成要素を有してもよい。

【0035】

画像分割装置１０００は、ユーザが所有しているＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートブック（ｎｏｔｅ ｂｏｏｋ）、モバイル端末（ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｃ）などを含むことができ、有線／無線ネットワークに接続可能な全ての種類の端末を含むことができる。ただし、これに限定されず、画像分割装置１０００は、マイクロプロセッサ、メインフレームコンピュータ、デジタルプロセッサ、携帯用デバイスまたはデバイスコントローラなどのような任意のタイプのサーバであってもよい。

【0036】

本開示において、画像分割装置１０００は、学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）に入力データを入力し、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割することができる。ここで、分割モデルは、入力データの次元を減少させるエンコーダ、およびエンコーダから出力される出力データの次元を増加させるデコーダを含むモデルであってもよい。一例として、分割モデルは、エンコーダとデコーダが対称形態をなすＵ－ネットワーク（Ｕ－Ｎｅｔｗｏｒｋ）を変形した構造を有することができる。ただし、これに限定されるものではない。以下、本開示に係る分割モデルに対しては、図２～図３を通じて説明する。

【0037】

一方、少なくとも一つの既に設定されたオブジェクトは、生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）および組織（ｔｉｓｓｕｅ）のうち少なくとも一つを含むことができる。ここで、ストラットは、ステントの円周方向に沿って配置され、複数のセルを形成する部材であってもよい。そして、組織は、皮膚組織であってもよい。ただし、これに限定されるものではない。

【0038】

一方、格納部１００は、メモリおよび／または永久記憶媒体を含むことができる。メモリは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの記憶媒体を含むことができる。

【0039】

本開示において、格納部１００は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデルを格納することができる。ただし、これに限定されるものではない。

【0040】

本開示において、格納部１００は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデルを格納することができる。ただし、これに限定されるものではない。

【0041】

一方、プロセッサ２００は、一つ以上のコアで構成されることができ、画像分割装置の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、汎用グラフィックス処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンソル処理装置（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などのデータ分析、ディープラーニングのためのプロセッサを含むことができる。プロセッサ２００は、格納部１００に格納されたコンピュータプログラムを読み取り、本開示の一実施形態による機械学習のためのデータ処理を実行することができる。本開示の一実施形態によるプロセッサ２００は、ニューラルネットワークの学習のための演算を実行することができる。プロセッサ２００は、ディープラーニング（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）において、学習のための入力データの処理、入力データにおけるフィーチャー抽出、誤差計算、逆伝搬（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いたニューラルネットワークの重みアップデートなどのニューラルネットワークの学習のための計算を実行することができる。プロセッサ２００のＣＰＵ、ＧＰＧＰＵおよびＴＰＵのうち少なくとも一つがネットワーク関数の学習を処理することができる。例えば、ＣＰＵおよびＧＰＧＰＵがともにネットワーク関数の学習、ネットワーク関数を用いたデータ分類を処理することができる。また、本開示の一実施形態において、複数の画像分割装置のプロセッサをともに用いて、ネットワーク関数の学習、ネットワーク関数を用いたデータ分類を処理することができる。また、本開示の一実施形態による画像分割装置で行われるコンピュータプログラムは、ＣＰＵ、ＧＰＧＰＵまたはＴＰＵ実行可能プログラムであってもよい。

【0042】

本開示において、プロセッサ２００は、格納部１００に格納された分割モデルに入力データを入力し、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割することができる。ただし、これに限定されるものではない。

【0043】

一方、本明細書の全般にわたって、演算モデル、ニューラルネットワーク、ネットワーク関数およびニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、互いに交換可能な意味として使用できる。すなわち、本開示において、演算モデル、（人工）ニューラルネットワーク、ネットワーク関数およびニューラルネットワークは、互いに交換可能に使用できる。以下では、説明の便宜上、ニューラルネットワークに統一して記述する。

【0044】

ニューラルネットワークは、一般的にノードと称される互いに連結された計算単位の集合で構成されることができる。このようなノードは、ニューロン（ｎｅｕｒｏｎ）と称されてもよい。ニューラルネットワークは、少なくとも一つ以上のノードを含んで構成される。ニューラルネットワークを構成するノード（またはニューロン）は、一つ以上のリンクにより互いに連結されることができる。

【0045】

ニューラルネットワーク内で、リンクを介して連結された一つ以上のノードは、相対的に入力ノードおよび出力ノードの関係を形成することができる。入力ノードおよび出力ノードの概念は相対的なものであって、一つのノードに対して出力ノードの関係にある任意のノードは、他のノードとの関係において入力ノードの関係にあることができ、その逆も成立することができる。上述したように、入力ノードに対する出力ノードの関係は、リンクを中心に生成されることができる。一つの入力ノードに一つ以上の出力ノードがリンクを介して連結されることができ、その逆も成立することができる。

【0046】

一つのリンクを介して連結された入力ノードおよび出力ノードの関係において、出力ノードのデータは、入力ノードに入力されたデータに基づいてその値が決定されることができる。ここで、入力ノードと出力ノードを互いに連結するリンクは、重み（ｗｅｉｇｈｔ）を有することができる。重みは、可変的であってもよく、ニューラルネットワークが所望の機能を実行するために、ユーザまたはアルゴリズムにより可変してもよい。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクにより互いに連結された場合、出力ノードは、前記出力ノードと連結された入力ノードに入力された値およびそれぞれの入力ノードに対応するリンクに設定された重みに基づいて出力ノード値を決定することができる。

【0047】

上述したように、ニューラルネットワークは、一つ以上のノードが一つ以上のリンクを介して互いに連結され、ニューラルネットワーク内で入力ノードおよび出力ノードの関係を形成する。ニューラルネットワーク内で、ノードとリンクの個数およびノードとリンクとの間の相関関係、リンクそれぞれに付与された重みの値に応じて、ニューラルネットワークの特性が決定されることができる。例えば、同一数のノードおよびリンクが存在し、リンクの重み値が異なる二つのニューラルネットワークが存在する場合、二つのニューラルネットワークは、互いに異なるものと認識されることができる。

【0048】

ニューラルネットワークは、一つ以上のノードの集合で構成されることができる。ニューラルネットワークを構成するノードの部分集合は、層（ｌａｙｅｒ）を構成することができる。ニューラルネットワークを構成するノードの一部は、最初入力ノードからの距離に基づいて、一つの層（ｌａｙｅｒ）を構成することができる。例えば、最初入力ノードから距離がｎであるノードの集合は、ｎ層を構成することができる。最初入力ノードからの距離は、最初入力ノードから当該ノードまで到達するために経なければならないリンクの最小数により定義されることができる。しかし、このような層の定義は、説明のための任意的なものであって、ニューラルネットワーク内での層の次数は、上述したものとは異なる方法で定義されてもよい。例えば、ノードの層は、最終出力ノードからの距離により定義されてもよい。

【0049】

最初入力ノードは、ニューラルネットワーク内のノードのうち、他のノードとの関係においてリンクを経ずにデータが直接入力される一つ以上のノードを意味し得る。または、ニューラルネットワークネットワーク内で、リンクを基準としたノード間の関係において、リンクに連結された他の入力ノードを有しないノードを意味し得る。これと同様に、最終出力ノードは、ニューラルネットワーク内のノードのうち、他のノードとの関係において、出力ノードを有しない一つ以上のノードを意味し得る。また、隠れノードは、最初入力ノードおよび最後出力ノードではなく、ニューラルネットワークを構成するノードを意味し得る。

【0050】

本開示の一実施形態によるニューラルネットワークは、入力層のノードの個数が出力層のノードの個数と同一であってもよく、入力層から隠れ層に進行するにつれて、ノードの数が減少し再び増加する形態のニューラルネットワークであってもよい。また、本開示の他の一実施形態によるニューラルネットワークは、入力層のノードの個数が出力層のノードの個数よりも少なくてもよく、入力層から隠れ層に進行するにつれて、ノードの数が減少する形態のニューラルネットワークであってもよい。また、本開示のまた他の一実施形態によるニューラルネットワークは、入力層のノードの個数が出力層のノードの個数よりも多くてもよく、入力層から隠れ層に進行するにつれて、ノードの数が増加する形態のニューラルネットワークであってもよい。本開示のさらに他の一実施形態によるニューラルネットワークは、上述したニューラルネットワークの組み合わせられた形態のニューラルネットワークであってもよい。

【0051】

ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、入力層および出力層の他に、複数の隠れ層を含むニューラルネットワークを意味し得る。ディープニューラルネットワークを用いると、データの潜在構造（ｌａｔｅｎｔ ｓｔｒｕｃｔｕｒｅｓ）を把握することができる。すなわち、写真、テキスト、ビデオ、音声、音楽の潜在構造（例えば、ある物体が写真に存在するか、テキストの内容と感情が何であるか、音声の内容と感情が何であるかなど）を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、回帰型ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、オートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、ＤＢＮ（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑ－ネットワーク、Ｕ－ネットワーク、シャムネットワーク、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などを含むことができる。前述したディープニューラルネットワークの記載は例示にすぎず、本開示はこれに制限されない。

【0052】

ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、または強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）のうち少なくとも一つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を実行するための知識をニューラルネットワークに適用する過程であってもよい。

【0053】

ニューラルネットワークは、出力のエラーを最小化する方向に学習されることができる。ニューラルネットワークの学習において、学習データをニューラルネットワークに繰り返し入力させ、学習データに対するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向にニューラルネットワークのエラーをニューラルネットワークの出力層から入力層の方向に逆伝搬（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）してニューラルネットワークの各ノードの重みをアップデートする過程である。教師あり学習の場合は、それぞれの学習データに正解がラベリングされている学習データを用い（すなわち、ラベリングされた学習データ）、教師なし学習の場合は、それぞれの学習データに正解がラベリングされていなくてもよい。すなわち、例えば、データ分類に関する教師あり学習の場合の学習データは、学習データそれぞれにカテゴリがラベリングされたデータであってもよい。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリ）と学習データのラベルを比較することで、エラー（ｅｒｒｏｒ）が計算されることができる。他の例として、データ分類に関する教師なし学習の場合は、入力である学習データがニューラルネットワークの出力と比較されることで、エラーが計算されることができる。計算されたエラーは、ニューラルネットワークにおいて逆方向（すなわち、出力層から入力層の方向）に逆伝搬され、逆伝搬に応じてニューラルネットワークの各層の各ノードの連結重みがアップデートされることができる。アップデートされる各ノードの連結重みは、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）に応じて変化量が決定されることができる。入力データに対するニューラルネットワークの計算およびエラーの逆伝搬は、学習サイクル（ｅｐｏｃｈ）を構成することができる。学習率は、ニューラルネットワークの学習サイクルの繰り返し回数に応じて異に適用されることができる。例えば、ニューラルネットワークの学習初期には、高い学習率を用いてニューラルネットワークが速く一定レベルの性能を確保するようにして効率性を高め、学習後期には、低い学習率を用いて適合率を高めることができる。

【0054】

ニューラルネットワークの学習において、一般的に学習データは、実際データ（すなわち、学習されたニューラルネットワークを用いて処理しようとするデータ）の部分集合であってもよい。したがって、学習データに対するエラーは減少するが実際データに対してはエラーが増加する学習サイクルが存在することができる。過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）は、このように、学習データを過剰に学習して実際データに対するエラーが増加する現象である。例えば、黄色の猫を見せて猫を学習したニューラルネットワークが、黄色以外の猫を見ると、猫であることを認識できない現象が過剰適合の一種であってもよい。過剰適合は、機械学習アルゴリズムのエラーを増加させる原因として作用し得る。このような過剰適合を防ぐために、多様な最適化方法を用いることができる。過剰適合を防ぐためには、学習データを増加させるか、またはレギュライゼーション（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）、学習過程でネットワークのノードの一部を非活性化するドロップアウト（ｄｒｏｐｏｕｔ）、バッチ正規化層（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ）の活用などの方法が適用されることができる。

【0055】

一方、本開示の幾つかの実施形態によれば、分割モデルは、エンコーダとデコーダが対称形態をなすＵ－ネットワークを変形した構造を有することができる。以下、図２～図４を通じて本開示に係る分割モデルについて説明する。

【0056】

図２は、本開示の幾つかの実施形態による分割モデルの一例を説明するための図である。図３は、本開示の幾つかの実施形態によるマルチスケール拡張残差ブロックの一例を説明するための図である。図４は、本開示の幾つかの実施形態による学習用画像の一例を説明するための図である。

【0057】

図２を参照すれば、分割モデル３００は、エンコーダ３１０、デコーダ３２０および補助分類モデル３３０を含むことができる。ただし、これに限定されるものではない。

【0058】

エンコーダ３１０は、入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むことができる。ただし、これに限定されるものではない。

【0059】

一例として、少なくとも一つの次元減少ブロックのうち入力データが最初に入力される第１次元減少ブロック３１１は、少なくとも一つの畳み込み層を含むことができる。そして、第１次元減少ブロック３１１は、少なくとも一つの畳み込み層を介して入力データの次元を減少させることができる。

【0060】

より具体的に、第１次元減少ブロック３１１は、入力データを次元を有する行列で表して処理することができる。例えば、入力データがＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）でエンコードされたイメージデータである場合、Ｒ、Ｇ、Ｂ色別にそれぞれ２次元（例えば、２次元イメージである場合）行列で表されることができる。すなわち、入力データの各ピクセルの色値が行列の成分となることができ、行列の大きさは、イメージの大きさと同一であることができる。したがって、入力データは、３個の２次元行列（３次元のデータアレイ）で表されることができる。この場合、第１次元減少ブロック３１１は、少なくとも一つの畳み込み層を介して畳み込みフィルタを移動しつつ、畳み込みフィルタとイメージの各位置での行列成分同士で乗じることで、畳み込み過程（畳み込み層の入出力）を実行することができる。畳み込みフィルタは、ｎ＊ｎ形態の行列で構成されることができ、一般的にイメージの全体ピクセルの数よりは少ない固定された形態のフィルタで構成されることができる。すなわち、ｍ＊ｍイメージを畳み込み層（例えば、畳み込みフィルタのサイズがｎ＊ｎである畳み込み層）に入力させる場合、イメージの各ピクセルを含むｎ＊ｎピクセルを表す行列が畳み込みフィルタとの成分積（すなわち、行列の各成分同士の積）となることができる。畳み込みフィルタとの積により、イメージから畳み込みフィルタとマッチングする成分が抽出されることができる。例えば、イメージから上下直線成分を抽出するための３＊３畳み込みフィルタは、［［０、１、０］、［０、１、０］、［０、１、０］］のようにに構成されることができ、このような畳み込みフィルタが入力イメージに適用されると、イメージから畳み込みフィルタとマッチングする上下直線成分が抽出されて出力されることができる。畳み込み層は、イメージを示したそれぞれのチャネルに対するそれぞれの行列（すなわち、Ｒ、Ｇ、Ｂコーディングイメージの場合、Ｒ、Ｇ、Ｂ色）に畳み込みフィルタを適用することができる。畳み込み層は、入力イメージに畳み込みフィルタを適用し、入力イメージから畳み込みフィルタとマッチングするフィーチャーを抽出することができる。畳み込みフィルタのフィルタ値（すなわち、行列の各成分の値）は、分割モデルの学習過程で逆伝搬（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）によりアップデートされることができる。

【0061】

一方、本開示において、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれに示された数字は、それぞれフィルタのサイズ、拡張比率およびチャネル数に対する例示的な一例であってもよい。

【0062】

例えば、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれは、７＊７畳み込みフィルタを用いることができる。そして、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれの拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）は１であってもよい。ここで、拡張比率は、カーネル間の間隔を意味し得る。そして、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれに示されたｋ６４は、例示的なチャネルの数であってもよい。ただし、これに限定されるものではない。

【0063】

一方、第１次元減少ブロック３１１から出力されるデータが入力される第２次元減少ブロック３１２は、平均プーリング層（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）およびマルチスケール拡張残差ブロック（Ｍｕｌｔｉ－Ｓｃａｌｅ Ｄｉｌａｔｅｄ Ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を含むことができる。

【0064】

平均プーリング層は、第１次元減少ブロック３１１から出力されるデータを単純化してメモリ使用量および演算量を減らすための層であってもよい。例えば、２＊２平均プーリングフィルタを有するプーリング層に第１次元減少ブロック３１１の出力を入力させる場合、イメージの各ピクセルにおいて２＊２パッチごとに各パッチに含まれる平均値を出力してイメージを圧縮することができる。前述したプーリングは、パッチにおいて最小値を出力するか、またはパッチの最大値を出力する方式であってもよく、任意のプーリング方式が本開示に含まれてもよい。

【0065】

一方、マルチスケール拡張残差ブロックは、互いに異なる拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）を有する複数の畳み込み層、バッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）層およびＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層が並列的に配置されているブロックであってもよい。

【0066】

例えば、図３を参照すれば、マルチスケール拡張残差ブロックは、第１～第５残差（ｒｅｓｉｄｕａｌ）ブロック３１２１、３１２２、３１２３、３１２４、３１２５、スキップブロック３１２６およびＲｅＬＵ層３１２７を含むことができる。ただし、これに限定されるものではない。

【0067】

第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４それぞれは、入力データに対する畳み込みを実行することができる。この際、第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４それぞれは、互いに異なる拡張比率を有することができる。

【0068】

具体的に、第１残差ブロック３１２１は、カーネル間の間隔が１である少なくとも一つの畳み込み層を含むことができる。そして、第２残差ブロック３１２２は、カーネル間の間隔が２である少なくとも一つの畳み込み層を含むことができる。そして、第３残差ブロック３１２３は、カーネル間の間隔が４である少なくとも一つの畳み込み層を含むことができる。また、第４残差ブロック３１２４は、カーネル間の間隔が８である少なくとも一つの畳み込み層を含むことができる。この場合、一つのステップ（例えば、第２次元減少ブロック３１２が入力データの次元を減少させて出力するステップ）において、さらに多様な収容領域に対する情報が利用されることができる。ただし、これに限定されるものではない。

【0069】

一方、第１残差ブロック３１２１をさらに調べると、第１残差ブロック３１２１は、少なくとも一つのバッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）層およびＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）（ＲｅＬＵ）層を含むことができる。そして、第１残差ブロック３１２１は、バッチ正規化活性化関数および正規化線形活性化関数による演算を実行することができる。また、第２～第４残差ブロック３１２２、３１２３、３１２４それぞれも、少なくとも一つのバッチ正規化層および正規化線形ユニットを含むことができる。ただし、これに限定されるものではない。

【0070】

一方、本開示において、第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４それぞれは、拡張比率は異なるが、フィルタのサイズおよびチャネルの数は同一であってもよい。ただし、これに限定されるものではない。

【0071】

一方、第５残差ブロック３１２５は、１＊１畳み込みフィルタを有する畳み込み層およびバッチ正規化層を含むことができる。仮に第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４から出力されたそれぞれの出力データがＲｅＬＵ層３１２７に入力される場合、演算に行われるパラメータが過度に多い。したがって、第５残差ブロック３１２５は、１＊１畳み込みフィルタを有する畳み込み層およびバッチ正規化層を用いて、パラメータの数を減少または最適化させることができる。ただし、これに限定されるものではない。

【0072】

一方、スキップブロック３１２６は、１＊１畳み込みフィルタを有する畳み込み層およびバッチ正規化層を含むことができる。そして、スキップブロック３１２６は、マルチスケール拡張残差ブロックに入力される入力データに１＊１フィルタリングおよびバッチ正規化を行ったデータを第５残差ブロック３１２５から出力されるデータに連結することができる。この場合、分割モデルの学習過程において、マルチスケール拡張残差ブロックは、入力データと第５残差ブロック３１２５から出力されるデータとの相違点に基づいて学習を実行することができる。ただし、これに限定されるものではない。

【0073】

一方、ＲｅＬＵ層３１２７は、マルチスケール拡張残差ブロックの最終端に配置され、出力値が非線形になるように活性化する役割を行うことができる。具体的に、少なくとも一つの畳み込み層で計算された値はいずれも線形演算であるため、畳み込み層のみでは非線形関数の出力を学習することができない。したがって、マルチスケール拡張残差ブロックは、ＲｅＬＵ層３１２７を介して出力されるデータに非線形性を加えることができる。ただし、これに限定されるものではない。

【0074】

再び図２を参照すれば、少なくとも一つの次元減少ブロックは、第２次元減少ブロック３１２から出力されるデータが入力される第３次元減少ブロック３１３、および第３次元減少ブロック３１３から出力されるデータが入力される第４次元減少ブロック３１４をさらに含むことができる。そして、第３次元減少ブロック３１３および第４次元減少ブロック３１４は、第２次元減少ブロック３１２と同一の構造を有することができる。ただし、これに限定されるものではない。

【0075】

一方、少なくとも一つの次元減少ブロックのうちエンコーダ３１０の最終層に配置されるボトルネックブロック３１５は、第２次元減少ブロック３１２と同一の構造を有し、この際、過剰適合を防止するためのドロップアウト層（ｄｒｏｐｏｕｔ ｌａｙｅｒ）をさらに含むことができる。ここで、ドロップアウト層は、学習過程でネットワークのノードの一部を省略することで過剰適合を防止可能な層であってもよい。

【0076】

一方、本開示の幾つかの実施形態によれば、ドロップアウト層は、２次元構造の入力データに対する過剰適合を防止するための２Ｄ（ｄｉｍｅｎｓｉｏｎ）ドロップアウト層であってもよい。ただし、これに限定されるものではない。

【0077】

一方、デコーダ３２０は、少なくとも一つの次元減少ブロックから出力されるデータを用いて、エンコーダ３１０から出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むことができる。

【0078】

一例として、少なくとも一つの次元増加ブロックのうちエンコーダ３１０から出力された出力データが最初に入力される第１次元増加ブロック３２１は、アップサンプリング層（ｕｐｓａｍｐｌｉｎｇ ｌａｙｅｒ）、接合層（ｃｏｎｃａｔｅｎａｔｉｏｎ ｌａｙｅｒ）およびマルチスケール拡張残差ブロックを含むことができる。そして、少なくとも一つの次元増加ブロック中、エンコーダ３１０から出力された出力データは、アップサンプリング層に入力されることができる。この場合、第１次元増加ブロック３２１は、アップサンプリングを行った後に畳み込みを行う転置畳み込みまたは補間法（ｂｉｌｉｎｅａｒ）などによりボトルネックブロック３１５から出力された出力イメージの次元を増加させることができる。この際、少なくとも一つの次元減少ブロックにおいて減少した次元を第１次元増加ブロック３２１において増加させる過程で、ピクセルの位置情報などが流失し得る。これを防止するために、接合層は、次元増加のための情報（例えば、ピクセルの位置情報、高レベルフィーチャーなど）の伝達を受けることができる。一例として、第１次元増加ブロック３２１の接合層は、第４次元減少ブロック３１４から次元増加のための情報の伝達を受けることができる。これにより、第１次元増加ブロック３２１は、データの次元を減少させてから次元を増加させる過程で流失し得るピクセルの位置情報を復元することができる。

【0079】

一方、少なくとも一つの次元増加ブロックは、第１次元増加ブロック３２１から出力されるデータが入力される第２次元増加ブロック３２２、および第２次元増加ブロック３２２から出力されるデータが入力される第３次元増加ブロック３２３を含むことができる。そして、第２次元増加ブロック３２２および第３次元増加ブロック３２３は、第１次元増加ブロック３２１と同一の構造を有することができる。ただし、これに限定されるものではない。

【0080】

一方、第２次元増加ブロック３２２の接合層は、第３次元減少ブロック３１３から次元増加のための情報の伝達を受けることができる。そして、第３次元増加ブロック３２３の接合層は、第２次元減少ブロック３１２から次元増加のための情報の伝達を受けることができる。ただし、これに限定されるものではない。

【0081】

一方、少なくとも一つの次元増加ブロックのうちデコーダ３２０の最終層に配置される最終出力端３２４は、アップサンプリング層、接合層、少なくとも一つの畳み込み層、境界改善（Ｂｏｕｎｄａｒｙ Ｒｅｆｉｎｅ）モジュール、逆畳み込み層およびソフトマックス（Ｓｏｆｔｍａｘ）層のうち少なくとも一つを含むことができる。ただし、これに限定されるものではない。

【0082】

一方、最終出力端３２４は、入力データに含まれた少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための最終分類演算を実行することができる。ここで、最終分類演算は、少なくとも一つの畳み込み層およびソフトマックス活性化関数による演算を含むことができる。この際、最終分類演算のため少なくとも一つの畳み込み層は、１＊１畳み込みフィルタを用いる層であってもよい。また、ソフトマックス活性化関数は、ソフトマックス層により行われる関数であって、少なくとも一つの既に設定されたオブジェクトを分割するための関数であってもよい。ただし、これに限定されるものではない。

【0083】

一方、最終出力端３２４の接合層は、第１次元減少ブロック３１１から次元増加のための情報の伝達を受けることができる。

【0084】

一方、本開示において、境界改善モジュールは、少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための境界が改善されるように、最終分類演算に入力される最終特徴マップを調整することができる。

【0085】

具体的に、境界改善モジュールは、３＊３畳み込みフィルタを有する少なくとも一つの畳み込み層と、１＊１畳み込みフィルタを有する少なくとも一つの畳み込み層との間に位置することができる。そして、境界改善モジュールは、入力データの各ピクセルに対する最終分類演算が起こる１＊１畳み込み層を経る前に、少なくとも一つの既に設定されたオブジェクトに対する境界を改善する最終調整作業を実行することができる。ただし、これに限定されるものではない。

【0086】

一方、本開示の幾つかの実施形態によれば、境界改善モジュールは、残差ブロック構造を有することができる。

【0087】

具体的に、境界改善モジュールは、少なくとも一つの畳み込み層およびＲｅＬＵ層を含むスキップブロックを有する構造であってもよい。この場合、分割モデルの学習過程において、境界改善モジュールは、入力データと境界改善を実行して出力されるデータとの相違点に基づいて学習を実行することができる。ただし、これに限定されるものではない。

【0088】

一方、補助分類モデル３３０は、エンコーダ３１０から出力される出力データの入力を受け、出力データに特定のオブジェクトが含まれているか否かを認識することができる。ここで、特定のオブジェクトは、ストラットであってもよい。ただし、これに限定されるものではない。

【0089】

一方、補助分類モデル３３０は、畳み込み層、グローバル平均プーリング（Ｇｌｏｂａｌ Ａｖｇ Ｐｏｏｌ）層、全結合（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）層およびシグモイド（Ｓｉｇｍｏｉｄ）層を含むことができる。グローバル平均プーリング層は、入力されたデータに対して各チャネル別フィーチャーマップの単一平均値を抽出して代表性を付与するための層であってもよい。そして、全結合層は、一つの層に存在する全てのニューロンと隣接した層に存在する全てのニューロンが連結される層であってもよい。また、シグモイド層は、非線形値を求めるための関数であってもよい。補助分類モデル３３０は、これらの活性化関数により、学習過程で入力データに特定のオブジェクトが含まれたか否かを認識することができる。ただし、これに限定されるものではない。

【0090】

一方、本開示の幾つかの実施形態によれば、画像分割装置１０００のプロセッサ２００は、分割モデル３００を学習させる際に、補助分類モデル３３０を介して学習用画像に特定のオブジェクトが含まれているか否かを認識できるように、エンコーダ３１０および補助分類モデル３３０に含まれた重み値を最適化することができる。ここで、特定のオブジェクトは、生分解性ステントのストラットおよび組織のうち少なくとも一つを含むことができる。この際、プロセッサ２００は、前記動作と連動して、デコーダ３２０の最終特徴値マップに学習用画像に含まれた少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、分割モデル３００に含まれた重み値を最適化することができる。

【0091】

具体的に、プロセッサ２００は、分割モデル３００に含まれた少なくとも一つの層それぞれの損失関数（Ｌｏｓｓ Ｆｕｎｃｔｉｏｎ）を最小化する方向に逆伝搬させ、重み値を最適化することができる。ここで、損失関数は、実際値（Ｇｒｏｕｎｄ ｔｒｕｔｈ）と予測値（ｐｒｅｄｉｃｔｉｏｎ）との差を数値化する関数であってもよい。

【0092】

以下では、画像分割装置１０００のプロセッサ２００が、損失関数が最適化できるように、本開示に係る分割モデル３００を学習させた方法の一例を説明する。

【0093】

本開示においては、総４０個体から得られた学習用画像から３０枚ずつランダムでＩＶ－ＯＣＴ（Ｉｎｔｒａｖａｓｃｕｌａｒ－Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）画像（直交座標系で構成された画像）を抽出し、１，２００枚のデータセットを確保した。この際、多様な厚さのステントに対しても画像分割がなされるように、学習用画像は、複数の第１学習用画像および複数の第２学習用画像を含んでいる。

【0094】

第１学習用画像は、第１厚さを有するストラットで構成された第１生分解性ステントを含む複数の画像であってもよい。一例として、総４０個体のうち２０個体のデータは、ストラット厚さ１５７ｕｍの第１ステントが挿入された結果であってもよい。

【0095】

一方、第２学習用画像は、第１厚さとは異なる第２厚さを有するストラットで構成された第２生分解性ストラットを含む複数の画像であってもよい。一例として、総４０個体のうち残りの２０個体のデータは、ストラット厚さ１００ｕｍの第２ステントが挿入された結果であってもよい。これにより、多様な厚さのステントに対しても画像分割がなされるように、データセットを構成した。前記データセットにおいて組織領域およびストラット領域の手作業分割結果を得て、個体単位で訓練（７０％＝２８個体）、検証（１０％＝４個体）、試験（２０％＝８個体）セットを構成した。

【0096】

一方、本開示において、分割モデルの学習は、ＧＰＵメモリの限界の理由および過剰適合の防止のために、ランダムクロップ（ｒａｎｄｏｍ ｃｒｏｐ）パッチを基盤として進行することができる。

【0097】

具体的に、総４０個体から得られた学習用画像は、少なくとも一つの既に設定されたオブジェクトそれぞれがラベリングされた画像をランダムクロップしたパッチを少なくとも一つ以上含むことができる。

【0098】

例えば、図４の（ａ）を参照すれば、学習用画像は、少なくとも一つの既に設定されたオブジェクト４１０を含むことができる。そして、図４の（ｂ）を参照すれば、学習用画像に含まれた少なくとも一つの既に設定されたオブジェクト４１０は、ラベリングされていてもよい。ただし、これに限定されるものではない。

【0099】

一方、本開示の幾つかの実施形態によれば、補助分類モデル３３０は、ランダムクロップしたパッチに特定のオブジェクトが含まれたか否かが認識できるように学習されることができる。

【0100】

具体的に、画像分割装置１０００のプロセッサ２００は、分割モデル３００を学習させる際に、補助分類モデル３３０を介して学習用画像に特定のオブジェクトが含まれているか否かが認識できるように、エンコーダ３１０および補助分類モデル３３０に含まれた重み値を最適化することができる。そして、プロセッサ２００は、これと連動して、デコーダ３２０の最終特徴値マップに学習用画像に含まれた少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、分割モデル３００に含まれた重み値を最適化することができる。これにより、本開示に係る分割モデル３００は、エンコーダ３１０およびデコーダ３２０のストラット分割のための特徴値がさらに最適化される方向に学習されることができる。

【0101】

一方、分割モデル３００に含まれた少なくとも一つの層の重みは、損失関数Ｌを最小化する方向に逆伝搬されて最適化されることができる。ここで、重みは、少なくとも一つの畳み込み層それぞれのカーネル値、少なくとも一つのバッチ正規化層それぞれにおける大きさ（ｓｃａｌｅ）、または少なくとも一つのバッチ正規化層それぞれにおけるオフセットなどであってもよい。ただし、これに限定されるものではない。

【0102】

一方、本開示においては、ＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）最適化アルゴリズムが用いられ、学習率は、１０^－３から始まって２０ｅｐｏｃｈの間性能向上がない場合に、学習率を１／１０だけ減少させて学習を進行するようにした。また、学習率が１０^－９に達すると、学習を終了するようにした。

【0103】

一方、本開示において、損失関数Ｌは、下記の数式により計算されることができる。

【数1】

ここで、λｉは、重みであってもよい。そして、Ｌ_{ｌｏｇｌｏｓｓ}は、三つのチャネルに対して得られた加重平均ｃｒｏｓｓ ｅｎｔｒｏｐｙ項であってもよい。そして、Ｌ_Ｌ１は、ストラット領域を分割する際にｓｐａｒｓｉｔｙを考慮するためのＬ１距離項であってもよい。そして、Ｌ_ａｕｘは、補助分類モデル３３０の二項分類結果に対するｃｒｏｓｓ ｅｎｔｒｏｐｙ項であってもよい。

【数2】

各項は、重みλiにより加重合算されて最適化のための全体損失関数として構成されることができる。

【0104】

一方、本開示において、加重平均ｃｒｏｓｓ ｅｎｔｒｏｐｙ項Ｌ_{ｌｏｇｌｏｓｓ}は、下記の数式により計算されることができる。

【数3】

ここで、ｇ（ｘ）は、実際値（Ｇｒｏｕｎｄ ｔｒｕｔｈ）であってもよい。そして、ｐ（ｘ）は、デコーダ３２０の最終層に配置された最終出力端３２４に含まれたソフトマックス層の確率算出物であってもよい。そして、ｗ（ｘ）は、ベクトルｘに対する重みであってもよい。

【0105】

一方、本開示において、Ｌ_Ｌ１は、下記の数学式により計算されることができる。

【数4】

加重平均ｃｒｏｓｓ ｅｎｔｒｏｐｙ項Ｌ_{ｌｏｇｌｏｓｓ}は、組織領域、生分解性ステントのストラット領域、背景領域のピクセル個数の偏差を補正するために導入され、それぞれ１：２：１０の比率に設定されるようにした。一方、ストラット領域をさらによく捉えるために、重み項を大きく設定することや、ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔのように領域の重なり程度を示す項を追加することは、かえってストラット領域の過大分割を誘発するため、本数学式では考慮していない。ただし、実施形態によっては、ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔのように領域の重なり程度を示す項を追加する一例も可能である。

【0106】

一方、学習された分割モデル３００の性能評価は、分割領域の実際値との一致度を把握するために、組織領域およびストラット領域それぞれに対してｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔを算出して行った。以下、本開示に係る学習された分割モデル３００の性能評価結果について説明する。

【0107】

図５は、本開示の幾つかの実施形態による学習された分割モデルの性能評価について説明するための図である。

【0108】

図５のＩｎｐｕｔ Ｉｍａｇｅは、分割モデル３００に入力される入力データ５１０であってもよい。そして、入力データ５１０は、少なくとも一つのストラット５１１を含むことができる。Ｇｒｏｕｎｄ Ｔｒｕｔｈは、実際値５２０であってもよい。そして、実際値５２０は、入力データ５１０に含まれた少なくとも一つのストラット５１１に対応する少なくとも一つのストラット５２１を示すことができる。また、Ｐｒｅｄｉｃｔｉｏｎは、予測値５３０であってもよい。すなわち、予測値５３０は、分割モデル３００により入力データ５１０に対する画像分割が行われた結果であってもよい。そして、予測値５３０は、入力データ５１０に含まれた少なくとも一つのストラット５１１に対応する少なくとも一つのストラット５３１を分割して示すことができる。ただし、これに限定されるものではない。

【0109】

本開示において、学習された分割モデル３００の性能評価は、分割領域の実際値５２０との一致度を把握するために、組織領域およびストラット領域のそれぞれに対してｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔを算出することができた。ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔは、下記の数式により計算されることができる。

【数5】

ここで、ｐ_ｃ（ｘ）は、ソフトマックス層の確率算出物（ｐｒｅｄｉｃｔｉｏｎ）イメージにおいて、特定のチャネルだけ選択された既に設定された大きさの画像であってもよい。そして、ｇ_ｃ（ｘ）は、実際値５２０において、特定のチャネルだけ選択された既に設定された大きさの画像であってもよい。

【0110】

また、ストラット検出性能は、実際値５２０との比較により誤検出（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）および検出漏れ（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）の個数を把握し、適合率（ｐｒｅｃｉｓｉｏｎ：ＰＲ）、再現率（ｒｅｃａｌｌ：ＲＣ）、Ｆ－スコアを計算することができた。各測定値は、下記の数式のように定義されることができる。

【数6】

ここで、ＰＲは、適合率（ｐｒｅｃｉｓｉｏｎ）であってもよい。そして、ＲＣは、再現率（ｒｅｃａｌｌ）であってもよい。そして、ＴＰは、正検出（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）であってもよい。そして、ＦＰは、誤検出（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）であってもよい。そして、ＦＮは、検出漏れ（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）であってもよい。

【0111】

画像分割結果に対する定量性能の評価結果は、下記の表１のように示すことができた。

【表1】

【0112】

表１を参照すれば、本開示に係る分割モデル３００を用いて画像分割を行った結果、ストラット検出に対する適合率は９１．２％を示した。そして、ストラット検出に対する再現率は９６％を示した。また、ストラット検出に対するＦ－スコアは９３．５％を示した。これは、単純Ｕ－ｎｅｔ構造、残差（Ｒｅｓｉｄｕａｌ）Ｕ－Ｎｅｔ構造、マルチスケール拡張（Ｍｕｌｔｉ－ｓｃａｌｅ Ｄｉｌａｔｅｄ）Ｕ－Ｎｅｔ構造よりも顕著に高い数値である。また、単にマルチスケール拡張（Ｍｕｌｔｉ－ｓｃａｌｅ Ｄｉｌａｔｅｄ）Ｕ－Ｎｅｔ構造に境界改善モジュールを追加するかまたは本開示に係る補助分類モデル３３０を追加した結果よりも高い結果を示すことができた。

【0113】

また、組織領域およびストラット領域に対するｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔも０．９３２、０．８５２を示しており、手作業結果と非常に高いレベルの一致度を示すことを確認することができた。また、ストラットを覆っている新生内膜の厚さに応じた性能評価も行っており、新生内膜の増殖が多い場合にも約８５％以上の性能を示すことを確認することができた。

【0114】

一方、本開示の幾つかの実施形態によれば、画像分割装置１０００は、分割モデル３００を用いて出力された最終データおよび入力データを用いて、３次元レンダリングを行うことができる。以下、図６および図７を通じて本開示に係るプロセッサ２００が３次元レンダリングを行った一例を説明する。

【0115】

図６は、本開示の幾つかの実施形態による画像分割装置が行った３次元レンダリング結果の一例を説明するための図である。

【0116】

本開示の幾つかの実施形態によれば、画像分割装置１０００のプロセッサ２００は、分割モデル３００を用いて出力された最終データおよび入力データを用いて、新生内膜増殖２Ｄマップを生成することができる。一例として、図６の（ａ）は、ステントが挿入された場合、ステントおよび新生内膜の増殖程度を２Ｄマップで示した結果であってもよい。

【0117】

一方、画像分割装置１０００のプロセッサ２００は、分割モデル３００に入力データを入力して出力された最終データおよび入力データを用いて生成した３次元レンダリングを行うことができる。一例として、図６の（ｂ）は、プロセッサ２００が最終データおよび入力データを用いて再構成した血管の３次元画面であってもよい。

【0118】

一方、図６の（ｃ）を参照すれば、画像分割装置１０００のプロセッサ２００は、生分解性ステントの挿入後の週次による新生内膜の増殖に対する程度を定量測定比較できるようにグラフを生成してもよい。ただし、これに限定されるものではない。

【0119】

図７は、本開示の幾つかの実施形態による画像分割装置が行った３次元レンダリング結果の他の一例を説明するための図である。

【0120】

画像分割装置１０００のプロセッサ２００は、分割モデル３００に入力データを入力して出力された最終データおよび入力データを用いて生成した３次元レンダリングを行うことができる。この場合、プロセッサ２００は、画像分割装置１０００のディスプレイ部を介して３次元レンダリング結果をユーザに提供することができる。

【0121】

一例として、図７は、プロセッサ２００が最終データおよび入力データを用いて血管およびステントに対して３次元レンダリングを行った後にユーザに提供する画面であってもよい。

【0122】

図８は、本開示内容の実施形態が実現可能な例示的なコンピューティング環境に対する一般的な概略図である。

【0123】

本開示内容が一般的に一つ以上のコンピュータ上で実行可能なコンピュータ実行可能命令語と関連して前述されたが、当業者であれば、本開示内容がその他のプログラムモジュールと結合され、および／またはハードウェアとソフトウェアの組み合わせとして実現可能であることは周知である。

【0124】

一般的に、本明細書におけるモジュールは、特定のタスクを実行するかまたは特定の抽象データ類型を実現するルーチン、手順、プログラム、コンポーネント、データ構造、その他のものを含む。また、当業者であれば、本開示の方法が単一プロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータはもちろん、パーソナルコンピュータ、ハンドヘルドコンピューティング装置、マイクロプロセッサ基盤またはプログラム可能な家電製品、その他のもの（これらのそれぞれは、一つ以上の関連装置と連結されて動作することができる）をはじめとする他のコンピュータシステム構成で実施可能であることは周知である。

【0125】

また、本開示の説明された実施形態は、あるタスクが通信ネットワークを介して連結されている遠隔処理装置により行われる分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルおよび遠隔メモリ記憶装置の両方に位置することができる。

【0126】

コンピュータは、通常、多様なコンピュータ読み取り可能な媒体を含む。コンピュータによりアクセス可能な媒体として、揮発性および不揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）および非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）媒体、移動式および非移動式媒体を含む。非制限的な例として、コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な記憶媒体およびコンピュータ読み取り可能な伝送媒体を含むことができる。

【0127】

コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他のデータのような情報を格納する任意の方法または技術で実現される揮発性および不揮発性媒体、一時的および非一時的媒体、移動式および非移動式媒体を含む。コンピュータ読み取り可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶装置、またはコンピュータによりアクセス可能であるとともに所望の情報を格納するのに使用可能な任意のその他の媒体を含むが、これに限定されない。

【0128】

コンピュータ読み取り可能な伝送媒体は、通常、搬送波（ｃａｒｒｉｅｒ ｗａｖｅ）またはその他の伝送メカニズム（ｔｒａｎｓｐｏｒｔ ｍｅｃｈａｎｉｓｍ）のような被変調データ信号（ｍｏｄｕｌａｔｅｄ ｄａｔａ ｓｉｇｎａｌ）にコンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他のデータなどを実現し、全ての情報伝達媒体を含む。被変調データ信号という用語は、信号内に情報をエンコードするようにその信号の特性のうち一つ以上を設定または変更させた信号を意味する。非制限的な例として、コンピュータ読み取り可能な伝送媒体は、有線ネットワークまたは直接有線接続（ｄｉｒｅｃｔ－ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）のような有線媒体、そして音響、ＲＦ、赤外線、その他の無線媒体のような無線媒体を含む。上述した媒体のうち任意のものの組み合わせも、コンピュータ読み取り可能な伝送媒体の範囲内に含まれるものとする。

【0129】

コンピュータ１１０２を含む本開示の多様な側面を実現する例示的な環境１１００が示されており、コンピュータ１１０２は、処理装置１１０４、システムメモリ１１０６およびシステムバス１１０８を含む。システムバス１１０８は、システムメモリ１１０６（これに限定されない）をはじめとするシステムコンポーネントを処理装置１１０４に連結させる。処理装置１１０４は、多様な商用プロセッサのうち任意のプロセッサであってもよい。デュアルプロセッサおよびその他のマルチプロセッサアーキテクチャも、処理装置１１０４として用いられることができる。

【0130】

システムバス１１０８は、メモリバス、周辺装置バス、および多様な商用バスアーキテクチャのうち任意のものを用いるローカルバスにさらに互いに連結可能な幾つかの類型のバス構造のうち任意のものであってもよい。システムメモリ１１０６は、読み取り専用メモリ（ＲＯＭ）１１１０およびランダムアクセスメモリ（ＲＡＭ）１１１２を含む。基本入力／出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性メモリ１１１０に格納され、このＢＩＯＳは、始動中のようなときにコンピュータ１１０２内の構成要素間に情報を伝送することを手伝う基本的なルーチンを含む。また、ＲＡＭ１１１２は、データをキャッシングするための静的ＲＡＭなどの高速ＲＡＭを含むことができる。

【0131】

また、コンピュータ１１０２は、内蔵型ハードディスクドライブ（ＨＤＤ）１１１４（例えば、ＥＩＤＥ、ＳＡＴＡ）－この内蔵型ハードディスクドライブ１１１４は、また、適したシャシ（図示せず）内で外装型用途として構成されてもよい－、磁気フロッピーディスクドライブ（ＦＤＤ）１１１６（例えば、移動式ディスケット１１１８から読み取りをするかまたはそれに書き込みをするためのものである）、および光ディスクドライブ１１２０（例えば、ＣＤ－ＲＯＭディスク１１２２を読み取りするか、ＤＶＤなどのその他の高容量光媒体から読み取りをするか、またはそれに書き込みをするためのものである）を含む。ハードディスクドライブ１１１４、磁気ディスクドライブ１１１６および光ディスクドライブ１１２０は、それぞれハードディスクドライブインターフェース１１２４、磁気ディスクドライブインターフェース１１２６および光ドライブインターフェース１１２８によりシステムバス１１０８に連結されることができる。外付けドライブを実現するためのインターフェース１１２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）およびＩＥＥＥ １３９４インターフェース技術のうち少なくとも一つまたは両方を含む。

【0132】

これらのドライブおよびそれと関連したコンピュータ読み取り可能な媒体は、データ、データ構造、コンピュータ実行可能命令語、その他の不揮発性格納を提供する。コンピュータ１１０２の場合、ドライブおよび媒体は、任意のデータを適当なデジタル形式で格納することに対応する。上記でのコンピュータ読み取り可能な記憶媒体に関する説明が、ＨＤＤ、移動式磁気ディスク、およびＣＤまたはＤＶＤなどの移動式光媒体を言及しているが、当業者であれば、ジップドライブ（ｚｉｐ ｄｒｉｖｅ）、磁気カセット、フラッシュメモリカード、カートリッジ、その他のコンピュータにより読み取り可能な他類型の記憶媒体も例示的なオペレーティング環境で用いられることができ、また、任意のこのような媒体が本開示の方法を実行するためのコンピュータ実行可能命令語を含み得ることは周知である。

【0133】

オペレーティングシステム１１３０、一つ以上のアプリケーションプログラム１１３２、その他のプログラムモジュール１１３４およびプログラムデータ１１３６をはじめとする多数のプログラムモジュールがドライブおよびＲＡＭ１１１２に格納されることができる。オペレーティングシステム、アプリケーション、モジュールおよび／またはデータの全部またはその一部がまたＲＡＭ１１１２にキャッシングされることができる。本開示が種々の商業的に利用可能なオペレーティングシステムまたはオペレーティングシステムの組み合わせで実現可能であることは周知である。

【0134】

ユーザは、一つ以上の有線／無線入力装置、例えば、キーボード１１３８およびマウス１１４０などのポインティング装置を介してコンピュータ１１０２に命令および情報を入力することができる。その他の入力装置（図示せず）としては、マイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他のものが挙げられる。これらおよびその他の入力装置がシステムバス１１０８に連結されている入力装置インターフェース１１４２を介して処理装置１１０４に連結されることが多いが、並列ポート、ＩＥＥＥ １３９４直列ポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース、その他のインターフェースにより連結されてもよい。

【0135】

モニタ１１４４または他類型のディスプレイ装置も、ビデオアダプタ１１４６などのインターフェースを介してシステムバス１１０８に連結される。モニタ１１４４に加え、コンピュータは、一般的にスピーカ、プリンタ、その他の周辺出力装置（図示せず）を含む。

【0136】

コンピュータ１１０２は、有線および／または無線通信を介した遠隔コンピュータ１１４８などの一つ以上の遠隔コンピュータへの論理的連結を用いてネットワーク化された環境で動作することができる。遠隔コンピュータ１１４８は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、携帯用コンピュータ、マイクロプロセッサ基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードであってもよく、一般的にコンピュータ１１０２に対して記述された構成要素の多数またはその全部を含むが、簡略性のために、メモリ記憶装置１１５０のみが示されている。示されている論理的連結は、近距離通信網（ＬＡＮ）１１５２および／またはさらに大きいネットワーク、例えば、遠距離通信網（ＷＡＮ）１１５４への有線／無線連結を含む。このようなＬＡＮおよびＷＡＮネットワーキング環境は、事務室および会社で一般的なものであり、イントラネットなどの企業規模のコンピュータネットワーク（ｅｎｔｅｒｐｒｉｓｅ－ｗｉｄｅ ｃｏｍｐｕｔｅｒ ｎｅｔｗｏｒｋ）を容易にし、これらの全ては、全世界コンピュータネットワーク、例えば、インターネットに連結されることができる。

【0137】

ＬＡＮネットワーキング環境で用いられる際に、コンピュータ１１０２は、有線および／または無線通信ネットワークインターフェースまたはアダプタ１１５６を介してローカルネットワーク１１５２に連結される。アダプタ１１５６は、ＬＡＮ１１５２への有線または無線通信を容易にすることができ、また、このＬＡＮ１１５２は、無線アダプタ１１５６と通信するためにそれに設けられている無線アクセスポイントを含んでいる。ＷＡＮネットワーキング環境で用いられる際に、コンピュータ１１０２は、モデム１１５８を含むか、ＷＡＮ１１５４上の通信サーバに連結されるか、またはインターネットを媒介するなど、ＷＡＮ１１５４を介して通信を設定するその他の手段を有する。内蔵型または外装型および有線または無線装置であってもよいモデム１１５８は、直列ポートインターフェース１１４２を介してシステムバス１１０８に連結される。ネットワーク化された環境において、コンピュータ１１０２について説明されたプログラムモジュールまたはその一部が遠隔メモリ／記憶装置１１５０に格納されることができる。示されたネットワーク連結は例示的なものであり、コンピュータの間に通信リンクを設定するその他の手段が使用可能であることは周知である。

【0138】

コンピュータ１１０２は、無線通信で配置されて動作する任意の無線装置または個体、例えば、プリンタ、スキャナ、デスクトップおよび／または携帯用コンピュータ、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄａｔａ ａｓｓｉｓｔａｎｔ）、通信衛星、無線検出可能タグと関連した任意の装置または場所、および電話と通信をする動作をする。これは、少なくともＷｉ－Ｆｉおよびブルートゥース（登録商標）無線技術を含む。したがって、通信は、従来のネットワークのように予め定義された構造であるか、または単に少なくとも２個の装置間のアドホック通信（ａｄ ｈｏｃ ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。

【0139】

Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）は、有線がなくてもインターネットなどへの連結を可能にする。Ｗｉ－Ｆｉは、このような装置、例えば、コンピュータが室内および室外で、すなわち、基地局の通話圏内のいなかる所でもデータを送信および受信できるようにするセル電話のような無線技術である。Ｗｉ－Ｆｉネットワークは、安全且つ信頼性があるとともに高速の無線連結を提供するために、ＩＥＥＥ ８０２．１１（ａ、ｂ、ｇ、その他）という無線技術を用いる。コンピュータを互いに、インターネットにおよび有線ネットワーク（ＩＥＥＥ ８０２．３またはイーサネットを用いる）に連結させるためにＷｉ－Ｆｉが用いられることができる。Ｗｉ－Ｆｉネットワークは、非認可２．４および５ＧＨｚ無線帯域において、例えば、１１Ｍｂｐｓ（８０２．１１ａ）または５４Ｍｂｐｓ（８０２．１１ｂ）データレートで動作するか、または両帯域（デュアル帯域）を含む製品にて動作することができる。

【0140】

本開示の技術分野における通常の知識を有するものであれば、これに開示された実施形態と関連して説明された多様な例示的な論理ブロック、モジュール、プロセッサ、手段、回路およびアルゴリズムステップが電子ハードウェア、（便宜上、ここでは「ソフトウェア」と称される）多様な形態のプログラムまたは設計コードまたはこれらの全ての結合により実現可能であることを理解することができる。ハードウェアおよびソフトウェアのこのような互換性を明らかに説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路およびステップがこれらの機能と関連して上記で一般的に説明された。このような機能がハードウェアまたはソフトウェアとして実現されるか否かは、特定のアプリケーションおよび全体システムに対して課される設計制約により左右される。本開示の技術分野における通常の知識を有する者であれば、それぞれの特定のアプリケーションに対して多様な方式で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲から外れるものとして解釈してはならない。

【0141】

これに提示された多様な実施形態は、方法、装置、または標準プログラミングおよび／またはエンジニアリング技術を用いた製造物品（ａｒｔｉｃｌｅ）で実現されることができる。用語「製造物品」は、任意のコンピュータ読み取り可能な装置からアクセス可能なコンピュータプログラムまたは媒体（ｍｅｄｉａ）を含む。例えば、コンピュータ読み取り可能な記憶媒体は、磁気記憶装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップなど）、光学ディスク（例えば、ＣＤ、ＤＶＤなど）、スマートカード、およびフラッシュメモリ装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブなど）を含むが、これらに制限されるものではない。用語「機械読み取り可能な媒体」は、命令および／またはデータを格納、保有、および／または伝達可能な無線チャネルおよび多様な他の媒体を含むが、これらに制限されるものではない。

【0142】

提示されたプロセスに存在するステップの特定の順序または階層構造は、例示的な接近の一例であることを理解しなければならない。設計の優先順位に基づいて、本開示の範囲内で、プロセスに存在するステップの特定の順序または階層構造が再配列可能であることを理解しなければならない。添付された方法の請求項はサンプル順に多様なステップのエレメントを提供するが、提示された特定の順序または階層構造に限定されることを意味しない。

【0143】

提示された実施形態に関する説明は、任意の本開示の技術分野における通常の知識を有する者が本開示を利用または実施できるように提供される。このような実施形態に対する多様な変形は、本開示の技術分野における通常の知識を有する者に明らかなものであり、これに定義された一般的な原理は、本開示の範囲から外れずに他の実施形態に適用されることができる。それにより、本開示は、これに提示された実施形態に限定されるものではなく、これに提示された原理および新規の特徴と一貫する最も広義の範囲で解釈しなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】