特表2023-549044 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ビュノ　インコーポレイテッドの特許一覧

特表2023-549044画像解析のためのユーザーインターフェース

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9a
9b
10
11
12

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-22

(54)【発明の名称】画像解析のためのユーザーインターフェース

(51)【国際特許分類】

G16H 30/00 20180101AFI20231115BHJP

G06T 7/00 20170101ALI20231115BHJP

G06T 7/62 20170101ALI20231115BHJP

G06V 10/82 20220101ALI20231115BHJP

G06F 3/0484 20220101ALI20231115BHJP

A61B 6/03 20060101ALI20231115BHJP

【ＦＩ】

G16H30/00

G06T7/00 350C

G06T7/00 614

G06T7/62

G06V10/82

G06F3/0484

A61B6/03 360P

A61B6/03 360J

A61B6/03 360T

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023523006

(86)(22)【出願日】2021-10-13

(85)【翻訳文提出日】2023-06-13

(86)【国際出願番号】 KR2021014091

(87)【国際公開番号】W WO2022080848

(87)【国際公開日】2022-04-21

(31)【優先権主張番号】10-2020-0133098

(32)【優先日】2020-10-15

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0019002

(32)【優先日】2021-02-10

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】520047532

【氏名又は名称】ビュノインコーポレイテッド

【氏名又は名称原語表記】ＶＵＮＯ，ＩＮＣ．

【住所又は居所原語表記】９Ｆ，４７９，Ｇａｎｇｎａｍ－ｄａｅｒｏ，Ｓｅｏｃｈｏ－ｇｕ，Ｓｅｏｕｌ０６５４１ＲＥＰＵＢＬＩＣＯＦＫＯＲＥＡ

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】パクヒョンホ

(72)【発明者】

【氏名】パクグァンビーン

(72)【発明者】

【氏名】イソンホ

【テーマコード（参考）】

4C093

5E555

5L096

5L099

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093DA03

4C093FA44

4C093FF17

4C093FF18

4C093FF22

4C093FF23

4C093FG04

4C093FG13

4C093FG16

4C093FG18

5E555AA22

5E555AA25

5E555AA29

5E555BA02

5E555BA04

5E555BB02

5E555BB04

5E555BC04

5E555BD01

5E555CA02

5E555CA03

5E555CA12

5E555CA15

5E555CA18

5E555CA42

5E555CA47

5E555CB05

5E555CB08

5E555CB12

5E555CB33

5E555CB34

5E555CB39

5E555CB59

5E555DB04

5E555DB18

5E555DB20

5E555DB21

5E555DB22

5E555DB53

5E555DC09

5E555DC13

5E555DC19

5E555DC21

5E555DC23

5E555DC25

5E555DC31

5E555DC33

5E555DC34

5E555DC35

5E555DC36

5E555DC45

5E555DC84

5E555EA19

5E555FA00

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096CA18

5L096CA24

5L096DA01

5L096FA64

5L096FA69

5L096HA09

5L096HA11

5L096KA04

5L099AA26

(57)【要約】

本開示の一実施例に基づき、ユーザー端末において画像解析を行うためのユーザーインターフェース（ＵＩ）を提供する方法であり、前記方法は、第１画像に係る第１断面画像、第２断面画像、及び第３断面画像を、前記ユーザーインターフェースの第１領域にディスプレイする段階；前記第１画像に係る候補結節情報を、前記第１断面画像、前記第２断面画像、又は前記第３断面画像のうち、少なくとも１つにディスプレイする段階；前記ユーザーインターフェースにおけるユーザー入力に基づき、前記ユーザー入力に係る前記候補結節情報を、前記第１画像に係る第１結節情報として決定する段階；前記ユーザー入力に係る前記候補結節情報が前記第１結節情報に差し替えられる方式で、前記第１結節情報をディスプレイする段階；を含むことが可能である。

【特許請求の範囲】

【請求項1】

ユーザー端末において画像解析を行うためのユーザーインターフェース（ＵＩ）を提供する方法であって、
第１画像に係る第１断面画像、第２断面画像、第３断面画像を、前記ユーザーインターフェースの第１領域にディスプレイする段階；
前記第１画像に係る候補結節情報を、前記第１断面画像、前記第２断面画像、前記第３断面画像のうち、少なくとも１つにディスプレイする段階；
前記ユーザーインターフェースにおけるユーザー入力に基づき、前記ユーザー入力に係る前記候補結節情報を、前記第１画像に係る第１結節情報として決定する段階；及び
前記ユーザー入力に係る前記候補結節情報が前記第１結節情報に差し替えられる方式で、前記第１結節情報をディスプレイする段階；
を含み、
前記候補結節情報は、
サーバーにおいて、深層学習アルゴリズムに、前記第１画像を入力して取得した第１結節データセットに基づいて生成される、
方法。

【請求項2】

請求項１において、
前記候補結節情報を、前記第１画像に係る前記第１結節情報として決定する段階は、
前記ユーザー入力が変更入力の場合、前記変更入力に基づき前記候補結節情報を変更し、そして、変更された前記候補結節情報を、前記第１結節情報として決定する段階；及び
前記変更入力を受信できなかった場合や、前記ユーザー入力が、情報を確認するための確認入力の場合、前記候補結節情報を前記第１結節情報に決定する段階；
を含む、
方法。

【請求項3】

請求項１において、
前記第１結節データセットに基づき、前記候補結節情報又は前記第１結節情報に紐づけられるように生成される第１結節詳細情報を、前記ユーザーインターフェースの第２領域にディスプレイする段階；
をさらに含み、
前記第１結節詳細情報がディスプレイされる前記第２領域は、前記ユーザー入力を受信する、
方法。

【請求項4】

請求項３において、
前記第１結節情報又は前記第１結節詳細情報を、前記第１結節データセットに反映し、第２結節データセットを生成する段階；
をさらに含み、
生成された前記第２結節データセットは、前記サーバーへ転送される、
方法。

【請求項5】

請求項１において、
前記第１結節データセットは、１つ以上の結節データを含み、そして
前記結節データは、結節の識別データ、位置データ、分割（ｓｅｇｍｅｎｔａｔｉｏｎ）データ、直径（ｄｉａｍｅｔｅｒ）データ、体積（ｖｏｌｕｍｅ）データ、類型分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、又は悪性危険度（ｍａｌｉｇｎａｎｃｙｒｉｓｋ）データのうち、少なくとも１つを含む、
方法。

【請求項6】

請求項５において、
前記第１画像に係る前記候補結節情報を、前記第１断面画像、前記第２断面画像、前記第３断面画像のうち、少なくとも１つにディスプレイする段階は、
前記直径データに少なくとも基づき、前記第１断面画像、前記第２断面画像、又は、前記第３断面画像のうち、前記結節の直径の寸法が最も大きい値を持つ断面画像に、前記候補結節情報をディスプレイする、
方法。

【請求項7】

請求項１において、
前記第１断面画像、前記第２断面画像、前記第３断面画像における、ユーザーによる結節追加入力に対する応答として、前記結節追加入力に対応する領域に存在する、追加結節に係る追加結節データの入力を受ける段階；及び
前記追加結節データに基づいて生成された追加結節情報をディスプレイする段階；
をさらに含む、
方法。

【請求項8】

請求項１において、
前記第１断面画像、前記第２断面画像、又は前記第３断面画像における、ユーザーの結節追加入力に対する応答として、前記サーバーに対して前記結節追加入力に対する演算を要請する段階；及び
前記演算から取得される追加結節データを、前記サーバーから受信し、且つ、受信された前記追加結節データに基づいて生成された追加結節情報をディスプレイする段階；
をさらに含み、
前記演算は、
前記サーバーにおいて、前記結節追加入力に対応する領域を前記深層学習アルゴリズムに入力し、前記結節追加入力に対応する領域に存在する追加結節に係るデータである前記追加結節データを取得するものである、
方法。

【請求項9】

請求項７又は請求項８において、
前記追加結節情報をディスプレイする段階は、
前記追加結節データに基づいて生成された前記追加結節情報を、前記第１断面画像、前記第２断面画像、又は前記第３断面画像のうち、少なくとも１つに追加でディスプレイし、且つ、前記追加結節データに基づき、前記追加結節情報に紐づけられるように生成された追加結節詳細情報を、前記ユーザーインターフェースの第２領域にディスプレイする段階；
を含む、
方法。

【請求項10】

請求項１において、
前記第１画像を含む画像リストを、前記ユーザーインターフェースの第３領域にディスプレイする段階；
をさらに含む、
方法。

【請求項11】

請求項３において、
前記第１画像に対する選択入力に対する応答として、前記第１画像に関連する関連画像のリストを、前記ユーザーインターフェースの第４領域にディスプレイする段階；
をさらに含み、
前記関連画像は、
前記第１画像の撮影時点より以前の時点に前記第１画像の被撮影者と同一の被撮影者を対象に撮影された画像である、
方法。

【請求項12】

請求項１１において、
前記関連画像のうち、第２画像に対するユーザーの比較選択入力に対する応答として、前記第１画像に係る第１比較用断面画像及び前記第２画像に係る第２比較用断面画像を、前記第１領域にディスプレイする段階；
をさらに含む、
方法。

【請求項13】

請求項１２において、
前記第１比較用断面画像及び前記第２比較用断面画像を、連動してディスプレイする、
方法。

【請求項14】

請求項１２において、
第３結節データセットに基づいて生成された第２結節情報を前記第１比較用断面画像に追加でディスプレイする段階；
をさらに含み、
前記第３結節データセットは、
前記第１画像に存在する結節の変化を識別するために、前記深層学習アルゴリズムを通じて、前記第１画像と前記第２画像とを整合することで取得され、
前記第１結節情報は、
決定された前記第１結節情報を反映して更新された前記第３結節データセットに基づいて生成される、
方法。

【請求項15】

請求項１４において、
更新された前記第３結節データセットに基づき、前記第２結節情報に紐づけられている第２結節詳細情報を、前記第２領域に追加でディスプレイする段階；
をさらに含み、
前記第２結節詳細情報は、前記第１結節詳細情報と、視覚的に区別できる、
方法。

【請求項16】

請求項１４において、
前記第１画像に係るレポート要請入力を受信する段階；
前記第２結節情報が存在しない場合、前記第１結節情報を基にレポートを生成する段階；及び
前記第２結節情報が存在する場合、前記第２結節情報を基にレポートを生成する段階；
をさらに含む、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像解析技術に係り、具体的には肺ＣＴ画像等の医療画像解析のためのユーザーインターフェースに関する。

【背景技術】

【0002】

医療画像、特にエックス線、ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）、超音波（ＵｌｔｒａＳｏｕｎｄ）等の医療画像は、体内、例えば、肺、気管支、心臓等の異常を観察することが可能であり、読影用の資料としてよく利用される。

【0003】

医療画像の読影を通じて把握することのできる所見の中には、画像医学科の医師でも、その特徴と形態を判別するためには、長年の修行を要するほど、その読影が難しく、人間の医師は見過しやすいものがある。特に、結節（ｎｏｄｕｌｅ）のように、読影の難易度が高いほど、医師が細心注意を払っても見過ごしてしまう場合があり、問題になる可能性がある。

【0004】

このように、人間が見過ごす恐れがある医療画像の読影をサポートするために、コンピューター補助診断システム（ＣＡＤ；ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｉａｇｎｏｓｉｓ）の必要性が注目されているが、従来のＣＡＤ技術は、医師の判断を補助できる領域が限られている。

【0005】

例えば、大韓民国公開特許公報第１０－２０１４－００９１１７６号には、病変の診断を補助するための装置と方法が開示されている。しかし、この先行技術文献には、病変の周辺領域を判断する判断モデル（若しくは、先行技術文献において、当該用語と混用されている用語としての「判定モデル」）が実行される過程や統計学的乃至電算学的段階が具体的に開示されておらず、当該技術分野における通常の知識を持つ者（以下、「通常の技術者」という）が、その開示内容を読み、技術を実行できないという問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示は、前述背景技術に対応して案出されたものであり、画像解析のためのユーザーインターフェースの提供に関するものである。

【0007】

本開示における技術的課題は、前述の技術的課題に限定されるものではなく、当業者は以下の記載内容に基づき、前述の技術的課題以外の課題についても明確に理解することが可能である。

【課題を解決するための手段】

【0008】

前述の背景技術に対応して案出された、ユーザー端末において画像解析を行うためのユーザーインターフェース（ＵＩ）を提供する方法として、前記方法は、第１画像に係る第１断面画像、第２断面画像、第３断面画像を、前記ユーザーインターフェースの第１領域にディスプレイする段階；前記第１画像に係る候補結節情報を、前記第１断面画像、前記第２断面画像、前記第３断面画像のうち、少なくとも１つにディスプレイする段階；前記ユーザーインターフェースにおけるユーザー入力に基づき、前記ユーザー入力に係る前記候補結節情報を、前記第１画像に係る第１結節情報として決定する段階；及び前記ユーザー入力に係る前記候補結節情報が前記第１結節情報に差し替えられる方式で、前記第１結節情報をディスプレイする段階；を含むが、前記候補結節情報は、サーバーにおいて深層学習アルゴリズムに前記第１画像を入力して取得した第１結節データセットに基づいて生成することが可能である。

【0009】

また、前記候補結節情報を、前記第１画像に係る前記第１結節情報として決定する段階は；及び前記ユーザー入力が、情報を変更するための入力である変更入力の場合、前記変更入力に基づき前記候補結節情報を変更し、前記変更された候補結節情報を、前記第１結節情報として決定する段階；及び前記変更入力を受信できなかった場合や、前記ユーザー入力が情報を確認するための確認入力の場合、前記候補結節情報を前記第１結節情報に決定する段階；を含むことが可能である。

【0010】

また、前記方法は、前記第１結節データセットに基づき、前記候補結節情報又は前記第１結節情報に紐づけられるように生成される第１結節詳細情報を、前記ユーザーインターフェースの第２領域にディスプレイする段階；をさらに含み、前記第１結節詳細情報がディスプレイされる前記第２領域は、前記ユーザー入力を受信できるようにすることが可能である。

【0011】

また、前記方法は、前記第１結節情報又は前記第１結節詳細情報を前記第１結節データセットに反映し、第２結節データセットを生成する段階；をさらに含み、前記生成された第２結節データセットは、前記サーバーへ転送できるようにすることが可能である。

【0012】

また、前記第１結節データセットは、１つ以上の結節データを含み、前記結節データは、前記結節の識別データ、位置データ、分割（ｓｅｇｍｅｎｔａｔｉｏｎ）データ、直径（ｄｉａｍｅｔｅｒ）データ、体積（ｖｏｌｕｍｅ）データ、類型分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、又は悪性危険度（ｍａｌｉｇｎａｎｃｙｒｉｓｋ）データのうち、少なくとも１つを含むことが可能である。

【0013】

また、前記第１画像に係る前記候補結節情報を、前記第１断面画像、前記第２断面画像、前記第３断面画像のうち、少なくとも１つにディスプレイする段階は、前記直径データに少なくとも基づき、前記第１断面画像、前記第２断面画像、又は前記第３断面画像のうち、前記結節の直径が最も大きい値を持つ断面画像に、前記候補結節情報をディスプレイすることが可能である。

【0014】

また、前記方法は、前記第１断面画像、前記第２断面画像、前記第３断面画像における、ユーザーの結節追加入力に対する応答として、前記結節追加入力に対応する領域に存在する追加結節に係る追加結節データの入力を受ける段階；前記追加結節データに基づいて生成された追加結節情報をディスプレイする段階；をさらに含むことが可能である。

【0015】

また、前記方法は、前記第１断面画像、前記第２断面画像、前記第３断面画像における、ユーザーの結節追加入力に対する応答として、前記サーバーに対して前記結節追加入力に対する演算を要請する段階；前記演算から取得される追加結節データを、前記サーバーから受信し、且つ、前記受信された追加結節データに基づいて生成された追加結節情報をディスプレイする段階；をさらに含み、前記演算は、前記サーバーにおいて、前記結節追加入力に対応する領域を前記深層学習アルゴリズムに入力し、前記結節追加入力に対応する領域に存在する追加結節に係るデータである前記追加結節データを取得するものになり得る。

【0016】

また、前記追加結節情報をディスプレイする段階は；前記追加結節データに基づいて生成された追加結節情報を、前記第１断面画像、前記第２断面画像、又は前記第３断面画像のうち、少なくとも１つに追加でディスプレイし、且つ、前記追加結節データに基づき、前記追加結節情報に紐づけられるように生成された追加結節詳細情報を、前記ユーザーインターフェースの第２領域にディスプレイする段階；を含むことが可能である。

【0017】

また、前記方法は、前記第１画像を含む画像リストを、前記ユーザーインターフェースの第３領域にディスプレイする段階；をさらに含むことが可能である。

【0018】

また、前記方法は、前記第１画像に対する選択入力に対する応答として、前記第１画像に係る関連画像のリストを前記ユーザーインターフェースの第４領域にディスプレイする段階；をさらに含み、前記関連画像は、前記第１画像の撮影時点より以前の時点に前記第１画像の被撮影者と同一の被撮影者を対象に撮影された画像になり得る。

【0019】

また、前記方法は、前記関連画像のうち、第２画像に対するユーザーの比較選択入力に対する応答として、前記第１画像に係る第１比較用断面画像及び前記第２画像に係る第２比較用断面画像を、前記第１領域にディスプレイする段階；をさらに含むことが可能である。

【0020】

また、前記第１比較用断面画像及び前記第２比較用断面画像を、連動してディスプレイすることが可能である。

【0021】

また、前記方法は、第３結節データセットに基づいて生成された第２結節情報を前記第１比較用断面画像に追加でディスプレイする段階；をさらに含み、前記第３結節データセットは、前記第１画像に存在する結節の変化を識別するために、前記深層学習アルゴリズムを通じて前記第１画像と前記第２画像とを整合することで取得され、前記第２結節情報は、前記決定された第１結節情報を反映して更新された前記第３結節データセットに基づいて生成されることが可能である。

【0022】

また、前記方法は、前記更新された第３結節データセットに基づき、前記第２結節情報に紐づけられるように生成される第２結節詳細情報を、前記第２領域に追加でディスプレイする段階；をさらに含み、前記第２結節詳細情報は、前記第１結節詳細情報と、視覚的に区別できるものになり得る。

【0023】

また、前記方法は、前記第１画像に係るレポート要請入力を受信する段階；前記第２結節情報が存在しない場合、前記第１結節情報を基にレポートを生成する段階；前記第２結節情報が存在する場合、前記第２結節情報を基にレポートを生成する段階；をさらに含むことが可能である。

【0024】

本開示から得られる技術的解決手段は、前述の解決手段に限定されることなく、本開示が属する技術分野における通常の知識を有する者は、以下の記載内容から、前述の解決手段以外の解決手段についても明確に理解することが可能である。

【発明の効果】

【0025】

本開示の複数の実施例に基づき、画像解析のためのユーザーインターフェースを提供することが可能である。

【0026】

本開示から得られる効果は、前述の効果に限定されることなく、本開示が属する技術分野における通常の知識を有する者は、以下の記載内容に基づき、前述の効果以外の効果についても明確に理解することが可能である。

【図面の簡単な説明】

【0027】

図面を参照して多様な実施例について説明する。以下の図面の記載において、類似の図面番号は総体として類似の構成要素を示すために使われる。以下の実施例において、説明のために、多数の特定の細部事項が、１つ以上の様相の総合的な理解を助けるために提供される。しかし、かかる（複数の）様相を、かかる特定の細部事項がなくても実施できるということは明白である。

【図1】図１は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースを提供するコンピューティング装置を示すブロック図である。

【図2】図２は、本開示の一実施例におけるネットワーク関数を示す概略図である。

【図3】図３は、本開示の複数の実施例における、画像解析のためのユーザーインターフェースを構成できる第１領域乃至第４領域の一例を示す図面である。

【図4】図４は、本開示の複数の実施例における、画像リストを生成するためのユーザーインターフェースの一例を示す図面である。

【図5】図５は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースを提供するためのフローチャートである。

【図6】図６は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースの一例を示す図面である。

【図7】図７は、図６におけるＡの部分を拡大したものであり、本開示の複数の実施例における、画像解析のためのユーザーインターフェースにおけるユーザー入力の一例を示す図面である。

【図8】図８は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースにおけるユーザー入力の一例を示す図面である。

【図9a】図９ａは、本開示の複数の実施例における結節追加入力を処理するためのフローチャートである。

【図9b】図９ｂは、本開示の複数の実施例における結節追加入力を処理するためのフローチャートである

【図10】図１０は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースの一例を示す図面である。

【図11】図１１は、本開示の複数に実施例における、レポートをディスプレイする方法の一例を示す図面である。

【図12】図１２は、本開示の複数実施例を具現化できる例示的なコンピューティング環境に係る簡略で一般的な概略図である。

【発明を実施するための形態】

【0028】

多様な実施例が以下に図面を参照しながら説明されるが、図面を通して類似の図面番号は類似の構成要素を表すために使われる。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例がこれらの具体的な説明がなくても間違いなく実施されることができる。

【0029】

本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順（ｐｒｏｃｅｄｕｒｅ）、プロセッサー、オブジェクト、実行スレッド、プログラム、及び／またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。１つ以上のコンポーネントは、プロセッサー及び／または実行スレッドの中に常駐することができ、１つのコンポーネントは１つのコンピューターの中でローカル化されることができ、または２つ以上のコンピューターに配分されることもできる。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を持つ、多様なコンピューター可読媒体から実行することができる。コンポーネントは、例えば１つ以上のデータパケットを持つ信号（例えば、ローカルシステム、分散システムにおいて他のコンポーネントと相互作用する１つのコンポーネントからのデータ及び／または信号を通じて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ）によってローカル及び／または遠隔処理等を通じて通信することができる。

【0030】

用語「または」は、排他的な「または」ではなく、内包的な「または」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「ＸはＡまたはＢを利用する」は、自然な内包的置換のうち１つを意味するものとする。つまり、ＸがＡを利用したり；ＸがＢを利用したり；またはＸがＡ及びＢの両方を利用する場合、「ＸはＡまたはＢを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び／または」という用語は、取り挙げられた関連アイテムのうち、１つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。

【0031】

また、述語としての「含む（含める）」及び／または修飾語として「含む（含める）」という用語は、当該特徴及び／または構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む（含める）」及び／または修飾語として「含む（含める）」という用語は、１つ以上の他のさらなる特徴、構成要素及び／またはこれらのグループが存在すること、または追加されることを排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「１つまたはそれ以上」を意味するものと解釈されるべきである。

【0032】

そして、「Ａ又はＢのうち少なくとも１つ」という用語については、「Ａだけを含む場合」、「Ｂだけを含む場合」、「ＡとＢの組み合わせの場合」を意味するものと解釈されたい。

【0033】

当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現されることができることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述された。そのような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、全般的なシステムに係る特定のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。

【0034】

ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。

【0035】

本開示において、ネットワーク関数、人工神経回路網及びニューラルネットワーク（ｎｅｕｒａｌｎｅｔｗｏｒｋ）は、相互置換可能に用いることが可能である。

【0036】

本開示内容において「画像」という用語は、コンピューター断層撮影（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ；ＣＴ）等のあらゆる医療画像撮影装置により提供される医療画像を意味するものとして用いることが可能である。例えば、画像は、任意の被検体を任意の時点に撮影した胸部ＣＴ画像になり得る。前述の例示は、一例に過ぎず、本開示を限定するものではない。例えば、腹部ＣＴ画像や磁気共鳴画像（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ；ＭＲＩ）、陽電子放出断層撮影（ＰｏｓｉｔｒｏｎＥｍｉｓｓｉｏｎＴｏｍｏｇｒａｐｈｙ；ＰＥＴ）等になり得る。各画像は、被検体を撮影する各方向における１つ以上の断面画像を含むことが可能である。

【0037】

本開示内容において「断面画像」という用語は、被検体を撮影する各方向において撮影された画像を意味することが可能である。例えば、断面画像は、Ａｘｉａｌｖｉｅｗ（軸面）画像、Ｃｏｒｏｎａｌｖｉｅｗ（冠状面）画像、又は、Ｓａｇｉｔｔａｌｖｉｅｗ（矢状面）画像を指す用語として用いることが可能である。任意の被検体を任意の時点に撮影した画像の各々は、１つ以上の断面画像（本開示内容における「第１断面画像」、「第２断面画像」、「第３断面画像」）を含むことが可能であり、各断面画像は、例えば、被検体を撮影する、各方向における軸面画像、冠状面画像、矢状面画像のうち、いずれか１つになり得る。前述の例示は一例に過ぎず、本開示を限定するものではない。

【0038】

本開示内容において、「結節」という用語は、画像解析を通じて探索しようとする、被検体に存在し得る結節（腫瘤、しこり等）を指す用語として用いることが可能である。本開示における複数の実施例において、各画像から深層学習アルゴリズムに基づき結節を検出することが可能であり、検出された結節に係る結節データを含む結節データセットを生成することが可能である。前述の例示は一例に過ぎず、過ぎず本開示を限定するものではない。

【0039】

本開示内容における「結節データ」という用語は、各画像を深層学習アルゴリズムに入力することで検出された１つ以上の結節に係るデータを指す用語として用いることが可能である。各結節に係る結節データは、結節に係る「識別データ」、「位置データ」、「分割（ｓｅｇｍｅｎｔａｔｉｏｎ）データ」、「直径（ｄｉａｍｅｔｅｒ）データ」、「体積（ｖｏｌｕｍｅ）データ」、「類型分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）データ」、「Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ」及び、「悪性危険度（ｍａｌｉｇｎａｎｃｙｒｉｓｋ）データ」のうち、少なくとも１つを含むことが可能である。

【0040】

識別データは、各結節を識別するために、各結節に対して与えられているデータになり得るとともに、各結節のＩＤや識別番号等になり得る。例えば、任意の画像から検出された３つの結節の各々に対し、Ｃ０、Ｃ１、Ｃ２等の識別データを付与することが可能である。

【0041】

位置データは、各結節の位置に係るデータになり得る。例えば、各結節が位置している断面画像の番号、又は各結節の中央座標（ｃｅｎｔｅｒｐｏｓｉｔｉｏｎ）等になり得る。

【0042】

分割データは、各結節に係るマスク（ｍａｓｋ）データになり得る。例えば、各断面画像において、各結節が占める領域をハイライト表示したマスクデータになり得る。一方、各断面画像から観察される各結節の陰影の濃度によって異なる色相のマスクデータが生成されるようにすることが可能である。例えば、各結節の全体領域（ｏｖｅｒａｌｌ）に対しては、赤色のマスクデータが生成されるようにする一方、各結節領域において、完全に不透明に見える領域（ｓｏｌｉｄｐｏｒｔｉｏｎ）が存在する場合、当該領域に対しては、明るい緑色のマスクデータを生成することが可能である。

【0043】

直径データは、各結節の直径に係るデータになり得るが、例えば、各断面画像において観察される各結節の直径に係るデータを含むことが可能である。各結節の直径データは、上述の各結節の分割データを基に決定することが可能である。

【0044】

体積データは、各結節の体積に係るデータになり得る。各結節の体積データは、各結節の分割データを基に決定することが可能である。

【0045】

類型分類データは、各結節の類型に係るデータになり得る。例えば、断面画像において観察される各結節の陰影の濃度により、各結節をＳｏｌｉｄタイプ、Ｐａｒｔ－Ｓｏｌｉｄタイプ、Ｎｏｎ－Ｓｏｌｉｄタイプのうち、いずれか１つとして決定することに係るデータになり得る。

【0046】

Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータは、各結節のＬｕｎｇ－ＲＡＤＳＳｃｏｒｅに係るデータになり得る。Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅは、肺癌スクリーニングのためのＣＴの読影及び管理上の留意事項を標準化するためのツール（ｔｏｏｌ）であるＬｕｎｇ－ＲＡＤＳ(登録商標)に基づき、各結節に対して決定することが可能な等級（Ｓｃｏｒｅ）であり、特に各結節の直径データ、体積データ、又は類型分類データに基づいて決定することが可能である。例えば、Ｌｕｎｇ－ＲＡＤＳＶｅｒｓｉｏｎ１．１によると、直径６ｍｍ未満のＳｏｌｉｄタイプの結節は、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅが２であると決定することが可能であり、これは癌に発展する可能性が非常に低い結節を意味すると同時に、毎年ＬＤＣＴを通じて定期的にスクリーニングを行っていくことを推奨する結節を意味することが可能である。

【0047】

悪性危険度データは、各結節の悪性危険度に係るデータになり得る。例えば、各結節が悪性であると判断されるか否かに係るデータ（悪性と判断された場合はＰｏｓｉｔｉｖｅ、陰性と判断された場合はＮｅｇａｔｉｖｅ）、又は、各結節が悪性である確率の値に係るデータを含むことが可能である。各結節の悪性危険度データを、上述の位置データ、直径データ、体積データ、又は類型分類データ等に基づいて決定することが可能である。ただし、前述の例示は、一例に過ぎず、本開示を限定するものではない。

【0048】

本開示内容において、「結節データセット」という用語は、画像を深層学習アルゴリズムに入力することで獲得されるデータセットであり、入力された画像に存在する結節の各々に係る結節データの集合体を指す用語として用いることが可能である。例えば、第１画像を深層学習アルゴリズムに入力することで取得された「第１結節データセット」は、第１画像から検出された「結節Ａ」に係る「結節データＡ」と、「結節Ｂ」に係る「結節データＢ」とを含むことが可能であり、この場合、「結節データＡ」は、「結節Ａ」に係る識別データ、位置データ、分割データ、直径データ、体積データ、類型分類データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、悪性危険度データのうち、少なくとも１つを含むことが可能である。

【0049】

又は、本開示内容において、「結節データセット」という用語は、画像を深層学習アルゴリズムに入力することで獲得されるデータセットにユーザー入力を反映して生成されるデータセットを指す用語として用いることが可能である。例えば、上述の「第１結節データセット」に含まれている「結節データＡ」の少なくとも一部を変更しようとするユーザー入力を反映し、「変更された結節データＡ」と「結節データＢ」を含む第２結節データセットを生成することが可能である。前述の例示は一例に過ぎず、本開示を限定するものではない。

【0050】

本開示内容において、「深層学習アルゴリズム」という用語は、画像から１つ以上の結節を検出し、検出された結節の各々に係る結節データを生成する一連のインファレンス（ｉｎｆｅｒｅｎｃｅ）の過程及び／又はインファレンスを実行する１つ以上のモジュールを指す用語として用いることが可能である。本開示内容において、深層学習アルゴリズムは、サーバーのメモリーに保存されているコンピュータープログラムを構成するものになり得る。つまり、サーバーのプロセッサーは、サーバーに保存されているコンピュータープログラムを読み取り、深層学習アルゴリズムに画像を入力し、検出された結節に係るデータを取得することが可能である。そして、サーバーは、取得されたデータをユーザー端末に転送し、ユーザーインターフェースを生成するようにすることが可能である。ただし、これらに限らず、深層学習アルゴリズムは、ユーザー端末のメモリーに保存されているコンピュータープログラムを構成するものになり得る。つまり、ユーザー端末は、深層学習アルゴリズムを通じて、画像に存在する結節に係るデータを取得し、これに基づきユーザーインターフェースを生成することが可能である。

【0051】

本開示の複数の実施例において、深層学習アルゴリズムを、「結節検出モジュール（ＮｏｄｕｌｅＤｅｔｅｃｔｉｏｎＭｏｄｕｌｅ）」、「結節測定モジュール（ＮｏｄｕｌｅＭｅａｓｕｒｅｍｅｎｔＭｏｄｕｌｅ）、又は「結節類型分類モジュール（ＮｏｄｕｌｅＣｌａｓｓｉｆｉｃａｔｉｏｎＭｏｄｕｌｅ）」のうち、少なくとも１つを含むように構成することが可能である。

【0052】

結節検出モジュールは、入力された画像に基づき、１つ以上の結節を検出し、検出された結節の位置データを取得することが可能である。

【0053】

結節測定モジュールは、結節の位置データに基づき、結節の分割（ｓｅｇｍｅｎｔａｔｉｏｎ）データを取得することが可能である。又は、結節の位置データ及び分割データに基づき、結節の直径データ及び体積データを取得することが可能である。

【0054】

結節類型分類（ｔｙｐｅｃｌａｓｓｉｆｉｃａｔｉｏｎ）モジュールは、結節の位置データ及び分割データに基づき、結節の類型分類データを取得することが可能である。又は、結節の直径データ、体積データ、類型分類データに基づき、結節のＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ及び／又は悪性危険度データを取得することが可能である。ただし前述の例示は、一例に過ぎず、本開示を限定するものではない。

【0055】

本開示内容の「結節情報」という用語は、結節データセットに基づいて生成され、本開示の複数の実施例におけるユーザーインターフェースにおいて画像の上にディスプレイされるオブジェクトを指す用語として用いることが可能である。例えば、上述の第１結節データセットに基づき、「結節Ａ」に係る「結節情報Ａ」と、「結節情報Ｂ」に係る「結節情報Ｂ」を生成することが可能であり、且つ、ユーザーインターフェースにおいて、第１画像の上にディスプレイすることが可能である。

【0056】

一方、「結節情報」は、「候補結節情報」又は決定された「第１結節情報」になり得る。

【0057】

「候補結節情報」は、サーバーの深層学習アルゴリズムを通じて取得された結節データセットから生成され、ユーザーインターフェースの画像の上に初期値としてディスプレイされる結節情報になり得る。例えば、ユーザー端末において、第１画像が始めてディスプレイされる場合に、第１画像とともに初期値としてディスプレイされる結節情報になり得る。

【0058】

これとは対象的に、決定された「第１結節情報」は、「候補結節情報」が、ユーザー入力に基づいて画像に関連する結節情報として決定されたものになり得る。例えば、ユーザー入力の有無、及び／又は、ユーザー入力の内容に基づき、「候補結節情報」がそのまま「第１結節情報」として決定されたり、変更された「候補結節情報」が「第１結節情報」として決定されたり、「候補結節情報」が「第１結節情報」ではないと決定される場合がある。前述の例示は、一例に過ぎず、過ぎず本開示を限定するものではない。

【0059】

一方、「結節情報」を、以下に説明する「結節詳細情報」と紐づけて生成することが可能である。

【0060】

本開示内容の「結節詳細情報」という用語は、結節データセットに基づき、「結節情報」と紐づけて生成され、本開示の複数の実施例におけるユーザーインターフェースにおいてディスプレイされるオブジェクトを指す用語として用いることが可能である。例えば、上述の「第１結節データセット」に基づき「結節Ａ」に係る「結節情報Ａ」と紐づけて「結節詳細情報Ａ」を生成することが可能であり、「結節Ｂ」に係る「結節情報Ｂ」と紐づけて「結節詳細情報Ｂ」を生成することが可能である。

【0061】

結節詳細情報は、紐づけられている結節情報と連動することが可能である。例えば、ユーザーは、「結節情報Ａ」に係るユーザー入力を、「結節情報Ａ」を通じて入力したり、又は、「結節詳細情報Ａ」を通じて入力することが可能である。つまり、「結節詳細情報Ａ」を通じて入力されるユーザー入力に基づき、「結節詳細情報Ａ」と紐づけられている「結節情報Ａ」を第１画像に係る結節情報として決定することが可能である。前述の例示は一例に過ぎず、本開示を限定するものではない。

【0062】

一方、「結節詳細情報」は、ユーザーインターフェースにおいて、「結節情報」とは、異なる領域においてディスプレイされることが可能である。例えば、「結節情報」を、ユーザーインターフェースの第１領域にディスプレイする場合、「結節詳細情報」は、第１領域とは異なる第２領域にディスプレイすることが可能である。ただし、これに限定されるわけではない。

【0063】

本開示内容における「ユーザー入力」という用語は、ユーザーインターフェースにおける任意の形態のユーザー入力になり得る。一例として、ユーザー入力を、深層学習アルゴリズムを通じて取得した結節データを確認する目的で行うことが可能である。深層学習アルゴリズムに画像を入力することで検出された結節は、画像に実際に存在する結節とは異なる場合がある。例えば、深層学習アルゴリズムを通じて検出された結節が、実際には画像に存在しない結節である場合があり（ＦＰ）、逆に深層学習アルゴリズムを通じて検出されていない結節が、実際には画像に存在する結節である場合があり（ＦＮ）、深層学習アルゴリズムを通じて検出された結節が画像においても実際存在する結節である場合（ＴＰ）や、結節について深層学習アルゴリズムを通じて取得されたデータの少なくとも一部を変更する必要がある場合があり得る。つまり、深層学習アルゴリズムを通じて取得された結節データを、ユーザー入力を通じて変更したり及び／又は確定することで、結節データ値の正確度（つまり、画像に対する読影の正確度）を高めることが可能である。

【0064】

具体的に、「ユーザー入力」は、「候補結節情報」（つまり、深層学習アルゴリズムを通じて取得され、ユーザーインターフェース上に初期値としてディスプレイされる結節情報）を、第１画像に係る「第１結節情報」（つまり、ユーザー入力によって「第１画像」に関連するものとして決定される結節情報）として決定する、ユーザー入力になり得る。「ユーザーの入力」は、候補結節情報を少なくとも一部変更するための「変更入力」及び／又は候補結節情報を確定するための「確認入力」になり得る。

【0065】

「変更入力」は、変更入力に係る候補結節情報を少なくとも一部変更しようとするユーザー入力になり得る。つまり、サーバーの深層学習アルゴリズムを通じて取得された結節データセットから生成されて、初期値としてディスプレイされた候補結節情報が、第１画像に実際に存在する結節に該当するが、一部のデータ（例えば、直径データ、分割データ等）の値を変更する必要がある場合、ユーザーは、変更入力を通じて変更入力に係る候補結節情報を変更し、変更された候補結節情報を、第１画像に係る第１結節情報として決定することが可能である。ただし、これに限られるわけではない。

【0066】

「確認入力」は、確認入力に係る候補結節情報を確定しようとするユーザー入力になり得る。つまり、サーバーの深層学習アルゴリズムを通じて取得された結節データセットから生成されて、初期値としてディスプレイされた候補結節情報が、第１画像に実際に存在する結節に該当し、データの値を変更する必要がない場合、ユーザーは、確認入力を通じて確認入力に係る候補結節情報を第１画像に係る第１結節情報として決定することが可能である。ただし、これに限られるわけではない。

【0067】

一方、上述の通り、「ユーザー入力」は、結節情報及び／又は結節詳細情報を通じて受信することが可能である。例えば、「ユーザー入力」は、結節情報及び／又は結節詳細情報に対するクリック、ドラッグアンドドロップ、その他可能なすべての形態の入力になり得る。しかし、これに限らず、結節情報及び／又は結節詳細情報に含まれるグラフィック要素（指示子、マスク画像等）又は対応するグラフィック要素（チェックボックス、アイコン、入力ウィンドウ等）に対するクリック、ドラッグアンドドロップ、値の入力、又は、その他可能なすべての形態のユーザー入力になり得る。前述の例示は一例に過ぎず、本開示を限定するものではない。

【0068】

図１は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースを提供するコンピューティング装置を示すブロック図である。

【0069】

図１に図示されたコンピューティング装置（１００）の構成は、簡略化して示した例示に過ぎない。本開示の一実施例において、コンピューター装置（１００）には、コンピューター装置（１００）のコンピューティング環境を実装するための他の構成が含まれることが可能であり、開示されている構成のうち一部だけでコンピューター装置（１００）を構成することも可能である。

【0070】

本開示の一実施例におけるコンピューティング装置（１００）は、ネットワーク部（１１０）、プロセッサー部（１２０）、メモリー（１３０）、出力部（１４０）、入力部（１５０）を含むことが可能である。

【0071】

本開示の実施例において、他のコンピューティング装置（１００）は、ＰＣ（ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ）、モバイル端末（ｍｏｂｉｌｅｔｅｒｍｉｎａｌ）、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔｐｃ）等を含むことが可能であり、有線・無線ネットワークにアクセスできるあらゆる種類の端末を含むことが可能である。

【0072】

本開示の一実施例において、ネットワーク部（１１０）は、任意の形態の有線又は無線の通信システムを使用することが可能である。

【0073】

本開示におけるネットワーク（１１０）は、有線や無線等といった通信の様態を問わず、構成することができ、短距離通信網（ＰＡＮ：ＰｅｒｓｏｎａｌＡｒｅａＮｅｔｗｏｒｋ）、近距離通信網（ＷＡＮ：ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等の多様な通信網で構成することが可能である。また、前述のネットワークは、公知のワールドワイドウェブ（ＷＷＷ：ＷｏｒｌｄＷｉｄｅＷｅｂ）になり得るとともに、赤外線通信（ＩｒＤＡ：ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）又は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）のように、短距離通信に利用される無線伝送技術を利用することも可能である。

【0074】

本明細書において説明された技術は、前記のネットワークだけでなく、他のネットワークで使われることも可能である。

【0075】

本開示の一実施例において、プロセッサー（１２０）は、１つ以上のコアで構成されることが可能であり、コンピューティング装置の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、汎用グラフィック処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌｐｕｒｐｏｓｅｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、テンサー処理装置（ＴＰＵ：ｔｅｎｓｏｒｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）等のデータ解析、深層学習及び／又はユーザーインターフェースを提供するためのプロセッサーを含むことが可能である。プロセッサー（１２０）は、メモリー（１３０）に保存されたコンピュータープログラムを読み取り、本開示の一実施例における機械学習のためのデータ処理を行ったり、及び／又は、ユーザーインターフェースを提供することが可能である。本開示の一実施例に基づき、プロセッサー（１２０）は、神経回路網の学習のための演算を行うことが可能である。プロセッサー（１２０）は、深層学習（ＤＬ：ｄｅｅｐｌｅａｒｎｉｎｇ）において、学習のための入力データの処理、入力データからのフィーチャーの抽出、誤差計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用した神経回路網の重みの更新等の神経回路網の学習のための計算を実行することが可能である。プロセッサー（１２０）のＣＰＵ、ＧＰＧＰＵ、ＴＰＵのうち、少なくとも１つが、ネットワーク関数の学習を処理することが可能である。例えば、ＣＰＵ、ＧＰＧＰＵが一緒にネットワーク関数の学習、ネットワーク関数を利用したデータの分類を行うことが可能である。尚、本開示の一実施例において、複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習、ネットワーク関数を利用したデータ分類を行うことが可能である。又、本開示の一実施例における、コンピューティング装置において実行されるコンピュータープログラムは、ＣＰＵ、ＧＰＧＰＵ又はＴＰＵで実行可能なプログラムになり得る。

【0076】

本開示の一実施例において、メモリー（１３０）は、プロセッサー（１２０）が生成したり、決定した任意の形態の情報や、ネットワーク部（１１０）が受信した任意の形態の情報を保存することが可能である。

【0077】

本開示の一実施例において、メモリー（１３０）は、フラッシュメモリータイプ（ｆｌａｓｈｍｅｍｏｒｙｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄｄｉｓｋｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａｃａｒｄｍｉｃｒｏｔｙｐｅ）、カードタイプのメモリー（例えばＳＤ又はＸＤメモリー等）、ラム（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ロム（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ＰＲＯＭ（ＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも１つのタイプの保存媒体を含むことができる。コンピューティン装置（１００）は、インターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリー（１３０）の保存機能を実行するウェブストレージ（ｗｅｂｓｔｏｒａｇｅ）と連携して動作することも可能である。前述のメモリーに係る記述は、例示に過ぎず、本開示はこれらに限定されない。

【0078】

本開示の一実施例において、出力部（１４０）は、本開示の一実施例におけるユーザーインターフェースを表示することが可能である。出力部（１４０）は、図３、図４、図６乃至８，図１０及び図１１に示すようなユーザーインターフェースを表示することが可能である。図面に示されており、且つ、後述される複数のユーザーインターフェースは、一例にすぎず、本開示はこれらに限定されない。

【0079】

本開示の一実施例において、出力部（１４０）は、プロセッサー（１２０）が生成したり、決定した任意の形態の情報及びネットワーク部（１１０）が受信した任意の形態の情報を出力することが可能である。

【0080】

本開示の一実施例において、出力部（１４０）は、液晶ディスプレイ（ｌｉｑｕｉｄｃｒｙｓｔａｌｄｉｓｐｌａｙ，ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎｆｉｌｍｔｒａｎｓｉｓｔｏｒ－ｌｉｑｕｉｄｃｒｙｓｔａｌｄｉｓｐｌａｙ，ＴＦＴＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃｌｉｇｈｔ－ｅｍｉｔｔｉｎｇｄｉｏｄｅ，ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄｄｉｓｐｌａｙ）のうち、少なくとも１つを含むことが可能である。これらのうち、一部のディスプレイモジュールは、それを通じて外部を見ることができるように、透明性又は光透過性の素材で作られることが可能である。それらを透明ディスプレイモジュールと称することができるが、前記透明ディスプレイモジュールの代表例として、ＴＯＬＥＤ（ＴｒａｎｓｐａｒｅｎｔＯＬＥＤ）等がある。

【0081】

本開示に一実施例において、入力部（１５０）を通じてユーザー入力を受信することが可能である。本開示の一実施例において、入力部（１５０）は、ユーザー入力を受信するためのキー及び／又はボタンを備えることが可能である。入力部（１５０）を通じて受け取ったユーザー入力に応じ、本開示の実施例において、ユーザーインターフェースを提供するためのコンピュータープログラムを実行することが可能である。

【0082】

本開示の実施例において、入力部（１５０）は、ユーザーのボタン操作又はタッチ入力を感知して信号を受信したり、カメラやマイクロフォンを通じて、ユーザー等の音声や動作を受信し、これを入力信号に変換することも可能である。そのために、音声認識（ＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ）技術や動作認識（ＭｏｔｉｏｎＲｅｃｏｇｎｉｔｉｏｎ）技術を活用することが可能である。

【0083】

本開示の実施例において、入力部（１５０）は、コンピューティング装置（１００）と繋がっている外部入力装置として実装することが可能である。例えば、入力装置は、ユーザー入力を受信するためのタッチパッド、タッチペン、キーボード、又はマウスのうち、少なくとも１つになり得るが、これは一例にすぎず、本開示はこれらに限定されない。

【0084】

本開示の一実施例において、入力部（１５０）は、ユーザーのタッチ入力を認識することが可能である。本開示の一実施例において、入力部（１５０）は、出力部（１４０）と同様の構成を有することも可能である。入力部（１５０）は、ユーザーの選択入力を受信するように作られたタッチスクリーンの形になり得る。タッチスクリーンは、接触式静電容量方式、赤外線光感知方式、表面超音波方式（ＳＡＷ）、圧電方式、抵抗膜方式のうち、少なくとも１つを用いることが可能である。前述のタッチスクリーンに関する詳細な記載は、本発明の一実施例における例示にすぎず、多様なタッチスクリーンパネルをコンピューティング装置（１００）に採用することが可能である。入力部（１５０）がタッチスクリーンになっている場合、入力部（１５０）は、タッチセンサーを含むことが可能である。タッチセンサーは、入力部（１５０）の特定の部位に加えられた圧力又は入力部（１５０）の特定の部位で発生する静電容量等の変化を、電気的入力信号に変換するように構成されることが可能である。タッチセンサーは、タッチする位置や面積だけでなく、タッチ時の圧力まで感知できるように構成されることが可能である。タッチセンサーに対するタッチ入力があった場合、それに対応する（複数の）信号は、タッチ制御器に送られる。タッチ制御器は、その（複数の）信号を処理し、対応するデータをプロセッサー（１２０）に伝送する。そうすることで、プロセッサー（１２０）は、入力部（１５０）のどの領域がタッチされたか等のことを認識することが可能になる。

【0085】

本開示の一実施例において、サーバー（図示は省略）は、サーバーのサーバー環境を構築するための他の構成を含むことも可能である。サーバーは任意の形態の装置をすべて含むことが可能である。サーバーは、デジタル機器として、ラップトップコンピューター、ノートパソコン、デスクトップコンピューター、ウェブパッド、携帯電話のように、プロセッサーが搭載され、メモリーが備えられ、演算機能を有する、デジタル機器になり得る。

【0086】

本開示の一実施例において、画像解析のためのユーザーインターフェースを、ユーザー端末に提供するための動作を行うサーバーは、ネットワーク部、プロセッサー及びメモリーを含むことが可能である。

【0087】

サーバーは、本開示の一実施例に基づくユーザーインターフェースを生成するための結節データセットを取得したり、及び／又は、取得した結節データセットに基づき、ユーザーインターフェースを生成することが可能である。サーバーは、クライアント（例えば、ユーザー端末）にネットワークを通じて情報を提供するコンピューティングシステムになり得る。サーバーは、画像及び／又は画像から取得した結節データセットをユーザー端末に転送したり、又は、取得した結節データセットを基にユーザーインターフェースを生成し、生成したユーザーインターフェースをユーザー端末に送信することが可能である。この場合、ユーザー端末は、サーバーにアクセスできる任意の形態のコンピューティング装置（１００）になり得る。サーバープロセッサーは、ネットワーク部を介して、ユーザー端末に画像及び画像に係る結節データセットを転送したり、又は、結節データセットを基に生成したユーザーインターフェースを転送することが可能である。本開示の実施例におけるサーバーは、例えば、クラウドサーバーになり得る。サーバーは、サービスを処理するウェブサーバーになり得る。前述のサーバーの種類は、例示に過ぎず、本開示はこれらに限定されない。

【0088】

本開示の実施例において、サーバーに含まれているネットワーク部、プロセッサー、メモリーの各々は、前述のコンピューティング装置（１００）に含まれているネットワーク部（１１０）、プロセッサー（１２０）、メモリー（１３０）と同様の役割を担ったり、同様に構成されることが可能である。

【0089】

本開示の一実施例において、領域は、ユーザーインターフェースにディスプレイされる、互いに重ならない画面上の一空間になり得る。又は、２つ以上の領域を重ねて表示することも可能である。２つ以上の領域を重ねて表示する場合、１つの領域がもう１つの領域により隠され、見えなくなる場合がある。又は、２つ以上の領域を重ねて表示する場合、上位領域の一部が半透明に表示される場合、下位領域の少なくとも一部が見えることが可能である。２つ以上の領域は同一の大きさを有することが可能である。又、２つ以上の領域の大きさが相異なる場合もあり得る。１つの領域は、１つの領域だけを含む場合もあり、複数のサブ領域を含む場合もある。１つの領域は、１つ以上のディスプレイオブジェクトを含むことが可能である。

【0090】

本開示の一実施例において、オブジェクトは、プログラムや命令、各データに対応する絵、記号、文字の集合になり得る。本開示の一実施例において、オブジェクトを、ユーザーの選択入力を受信するために用いることが可能である。例えば、オブジェクトに対するユーザー入力を受信した場合、プロセッサー（１２０）は、当該オブジェクトと対応する、保存された命令又はデータを実行し、ユーザーインターフェースに表示することが可能である。本開示の一実施例において、オブジェクトとディスプレイオブジェクトは、同一の意味として解釈することが可能である。

【0091】

本開示の一実施例において、「表示」は、出力部（１４０）を介してデータを見せるための動作になり得る。「表示」と「ディスプレイ」は、相互互換可能に用いることが可能である。

【0092】

以下に、本開示の一実施例に基づき、画像解析のためのユーザーインターフェースを提供する方法について説明する。

【0093】

図２は、本開示の一実施例において、ネットワーク関数を示す概略図である。

【0094】

本明細書の全体を通して、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワーク（ｎｅｕｒａｌｎｅｔｗｏｒｋ）は、同一の意味で用いることができる。例えば、本開示内容におけるディープラーニングアルゴリズムを構成する１つ以上のモジュールそれぞれは、以下で具体的に説明されるニューラルネットワークに基づいて動作することができる。

【0095】

神経回路網は、一般的にノードと呼ばれる相互連結された計算単位の集合で構成されることが多い。このようなノードは、ニューロン（ｎｅｕｒｏｎ）と称することもできる。神経回路網は、少なくとも１つ以上のノードを含めて構成される。神経回路網を構成するノード（またはニューロン）は１つ以上のリンクによって相互連結されることが可能である。

【0096】

神経回路網において、リンクを介して繋がっている１つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。１つの入力ノードに１つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。

【0097】

１つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードのデータは入力ノードに入力されたデータに基づきその値が決められることが可能である。ここで入力ノードと出力ノードとを相互連結するノードは加重値（ｗｅｉｇｈｔ）を持つことができる。加重値は可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者またはアルゴリズムによって変わることが可能である。例えば、１つの出力ノードに１つ以上の入力ノードが各リンクによって相互連結されている場合、出力ノードは前記出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された加重値に基づき出力ノードの値を決定することができる。

【0098】

前述のように、神経回路網は、１つ以上のノードが１つ以上のリンクを介して相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網において、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された加重値の値によって、神経回路網の特性が決まることが可能である。例えば、同数のノード及びリンクが存在し、リンクの加重値の値がそれぞれ異なる２つの神経回路網が存在する場合、その２つの神経回路網を、相異なるものと認識することができる。

【0099】

神経回路網は、１つ以上のノードの集合で構成することができる。神経回路網を構成するノードの部分集合は、レイヤー（ｌａｙｅｒ）を構成できる。神経回路網を構成する複数のノードのうち一部は、第１入力ノードからの距離に基づき、１つのレイヤー（ｌａｙｅｒ）を構成することができる。例えば、第１入力ノードからの距離がｎであるノードの集合は、ｎレイヤーを構成することができる。第１入力ノードからの距離は、第１入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数を基に定義することができる。しかし、このようなレイヤーの定義は、説明のために任意に取り挙げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離を基に定義することもできる。

【0100】

第１入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される１つ以上のノードを意味することができる。または、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクを介して繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない１つ以上のノードを意味することができる。また、ヒドンノードは、第１入力ノード及び最終出力ノードではないノードで、神経回路網を構成するノードを意味することができる。

【0101】

本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードと同数で、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が一度減ってから、再び増加する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より少なく、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が減少していく形の神経回路網になり得る。また、本開示の他の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より多く、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が増加していく形の神経回路網になり得る。本開示の他の一実施例における神経回路網は、上述の神経回路網を組み合わせた形の神経回路網になり得る。

【0102】

ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ、深層神経回路網）は、入力レイヤーと出力レイヤー以外に複数のヒドンレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造（ｌａｔｅｎｔｓｔｒｕｃｔｕｒｅｓ）を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造（例えば、ある物が写真に映っているか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等）を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）、リカレントニューラルネットワーク（ＲＮＮ；：ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ）、オートエンコーダー（ａｕｔｏｅｎｃｏｄｅｒ）、ＧＡＮ（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄｂｏｌｔｚｍａｎｎｍａｃｈｉｎｅ）、深層信頼ネットワーク（ＤＢＮ：ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋ）、Ｑネットワーク、Ｕネットワーク、シャムネットワーク、敵対的生成ネットワーク（ＧＡＮ：ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）等を含むことができる。前述のディープニューラルネットワークは、例示に過ぎず本開示はこれらに限定されない。

【0103】

本開示の一実施例において、ネットワーク関数は、オートエンコーダー（ａｕｔｏｅｎｃｏｄｅｒ）を含むこともできる。オートエンコーダーは、入力データに類似した出力データを出力するための人工神経回路網の一種になり得る。オートエンコーダーは、少なくとも１つのヒドンレイヤーを含むことができ、奇数個のヒドンレイヤーが入出力レイヤーの間に配置されることができる。各レイヤーのノード数は、入力レイヤーのノード数から、ボトルネックレイヤー（エンコード）という中間レイヤーに向かって減っていき、ボトルネックレイヤーから出力レイヤー（入力レイヤーと対称を成す）に向かって、縮小と対照する形で、拡張することもできる。オートエンコーダーは、非線形次元減少を行うことができる。入力レイヤー及び出力レイヤーの数は、入力データの前処理後に次元に対応することができる。オートエンコーダー構造において、エンコーダーに含まれたヒドンレイヤーのノードの数は、入力データから遠くなるほど減っていく構造を持つことができる。ボトルネックレイヤー（エンコーダーとデコーダーの間に位置する、ノードの数が最も少ないレイヤー）のノードの数が少なすぎる場合、十分な量の情報が伝わらない可能性があるため、特定の数以上（例えば、入力レイヤーの半分以上等）に維持されることもあり得る。

【0104】

ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ）、または、強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）のうち、少なくともいずれか１つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに提供する過程になり得る。

【0105】

ニューラルネットワークは、出力のエラーを最小化する方向で学習されることが可能である。ニューラルネットワークの学習において、繰り返し学習データをニューラルネットワークに入力させ、学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向としてニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤーの方向へ逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）してニューラルネットワークの各ノードの加重値を更新するプロセスが行われる。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い（つまり、ラベリングされた学習データ）、教師なし学習の場合は、個々の学習データに正解がラベリングされていない場合がある。つまり、例えばデータ分類に関する教師あり学習における学習データは、学習データの各々にカテゴリがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリ）と学習データのラベルを比較することでエラー（ｅｒｒｏｒ）を計算することが可能である。他の例として、データ分類に関する教師なし学習の場合、入力である学習データをニューラルネットワークの出力と比較することでエラーを計算することが可能である。計算されたエラーは、ニューラルネットワークにおいて逆方向（つまり、出力レイヤーから入力レイヤー方向）へ逆伝播され、逆伝播を通じてニューラルネットワークの各レイヤーの各ノードの連結加重値を更新することが可能である。更新される各ノードの連結加重値は、学習率（ｌｅａｒｉｎｇｒａｔｅ）によって変化量が決まることが可能である。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル（ｅｐｏｃｈ）を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって適用方式が変わることが可能である。例えば、ニューラルネットワークの学習初期においては、学習率を高くしてニューラルネットワークが早く一定のレベルの性能を確保するようにすることで効率を高め、学習の後半においては学習率を低くして精度を上げることが可能である。

【0106】

ニューラルネットワークの学習において、一般的に学習データは実際のデータ（つまり、学習されたニューラルネットワークを利用して処理しようとするデータ）の部分集合であることが可能であり、そのため学習データに係るエラーは減少するが、実際のデータに係るエラーは増加する学習サイクルが存在し得る。過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）は、このように学習データについて過度に学習したため、実際のデータにおいてエラーが増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムのエラーを増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法を適用できる。過剰適合を防ぐためには、学習データを増加させる方法、正則化（ｒｅｇｕｌａｉｚａｔｉｏｎ）、学習の過程でネットワークのノードの一部を非活性化するドロップアウト（ｄｒｏｐｏｕｔ）、バッチ正規化レイヤー（ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎｌａｙｅｒ）の活用等の方法を適用できる。

【0107】

図３は、本開示の複数の実施例における、画像解析のためのユーザーインターフェースを構成できる第１領域乃至第４領域の一例を示す図面である。

【0108】

図４は、本開示の複数の実施例における、画像リストを生成するためのユーザーインターフェースの一例を示す図面である。

【0109】

図３を参照すると、ユーザーインターフェース（２００）は、少なくとも一つの画像及び画像に係る結節情報をディスプレイする第１領域（２１０）、結節情報に紐づけられている結節詳細情報（２２２ａ，２２２ｂ：２２２）をディスプレイする第２領域（２２０）、画像リスト（２３１）をディスプレイする第３領域（２３０）、又は、画像リストから選択した画像に係る関連画像のリストをディスプレイする第４領域（２４０）を含むことが可能である。プロセッサー（１２０）は、少なくとも１つの画像及び画像に係る結節情報をディスプレイする第１領域（２１０）、結節情報に紐づけられている結節詳細情報（２２２）をディスプレイする第２領域（２２０）、画像リスト（２３１）をディスプレイする第３領域（２３０）、又は、画像リスト（２３１）から選択した画像（２３１ａ）に関連する画像のリスト（２４１）をディスプレイする第４領域（２４０）を表示するように出力部（１４０）を制御することが可能である。また、プロセッサー（１２０）は、各領域の表示するための少なくとも１つの画像及び画像に係る結節データセットを、ネットワーク部（１１０）を介してサーバーから受信することが可能である。ただし、上述の構成要素は、ユーザーインターフェース（２００）を実装するに当たり、必須のものではなく、ユーザーインターフェース（２００）に含まれる構成要素は、上述の構成要素より多い場合もあれば、少ない場合もある。

【0110】

第１領域（２１０）は、少なくとも１つの画像及び画像に係る少なくとも１つの断面画像をディスプレイすることが可能である。一方、第１領域（２１０）は、少なくとも１つの画像に係る結節情報をディスプレイすることが可能であり、ユーザー入力を受信することが可能である。プロセッサー（１２０）は、少なくとも１つの画像に係る少なくとも１つの断面画像と、少なくとも１つの断面画像に係る結節情報とを表示するように、出力部（１４０）を制御することが可能である。また、プロセッサー（１２０）は、第１領域（２１０）においてユーザー入力を受信するように、入力部（１５０）を制御することが可能である。

【0111】

図３は、第１領域（２１０）に第１画像（２１３ａ）に係る３つの断面画像（３１０、３２０、３３０）がディスプレイされる例を図示する。

【0112】

より具体的に、図３に示す本開示の複数の実施例によると、第１領域（２１０）は、第１画像（２３１ａ）に係る軸面画像（３１０）と、冠状面画像（３２０）と、矢状面画像（３３０）とを、一緒にディスプレイすることが可能である。例えば、第１領域（２１０）を、３つのサブ領域に分割して各サブ領域において３つの断面画像（３１０、３２０、３３０）をディスプレイすることが可能である。

【0113】

この場合、第１領域（２１０）は、第１断面画像（３１０）の上に、第１ガイド線（４１１）及び第２ガイド線（４１２）を、第２断面画像（３２０）の上に第３ガイド線（４１３）及び第４ガイド線（４１４）を、第３断面画像（３３０）の上に第５ガイド線（４１５）及び第６ガイド線（４１６）を追加でディスプレイすることが可能である。

【0114】

一方、第１断面画像（３１０）においてユーザーが注目したい箇所を識別するために、第１基準表示（４２０）を追加でディスプレイすることが可能であり、第１基準表示（４２０）は、互いに交差する第１ガイド線（４１１）と第２ガイド線（４１２）との交差点を含むように構成することが可能である。第１基準表示（４２０）は、ユーザー入力に対応して、第１断面画像（３１０）において移動できるようにすることが可能である。

【0115】

一方、第１ガイド線（４１１）は、第３ガイド線（４１３）と連動し、第２ガイド線（４１２）は、第５ガイド線（４１５）と連動して移動することが可能である。第１ガイド線（４１１）の移動に沿って、ディスプレイされる第３断面画像（３３０）が変わるように構成することが可能である。又は、第２ガイド線（４１２）の移動に沿って、ディスプレイされる第２断面画像（３２０）が変わるように構成することが可能である。

【0116】

一方、第４ガイド線（４１４）は、第６ガイド線（４１６）と連動して移動することが可能である。第４ガイド線（４１４）及び第６ガイド線（４１６）の移動に沿って、ディスプレイされる第１断面画像（３１０）が変わるように構成することが可能である。

【0117】

一方、第１断面画像（３１０）において、第１断面画像（３１０）の深さに係る情報を示す要素（例えば、スクロールバー等）をディスプレイすることが可能である。例えば、ユーザーが第１断面画像（３１０）上のスクロールバーを上下に移動させた場合、ディスプレイされる第１断面画像（３１０）が変わると同時に、第２断面画像（３２０）上の第４ガイド線（４１４）及び第３断面画像（３３０）上の第６ガイド線（４１６）も一緒に上下に移動することが可能である。ただし、これに限らず、断面画像の深さに係る情報を示すスクロールバー等の要素を、第２断面画像（３２０）及び／又は第３断面画像（３３０）上にもディスプレイすることが可能であり、上述の動作と同じ動作を行うことが可能である。例えば、ユーザーが第２断面画像（３２０）上のスクロールバーを上下に移動させた場合、ディスプレイされる第２断面画像（３２０）が変わると同時に、第２ガイド線（４１２）が上下に移動することが可能であり、第５ガイド線（４１５）が上下に移動することが可能である。又は、ユーザーが第３断面画像（３３０）上のスクロールバーを上下に移動させた場合、ディスプレイされる第３断面画像（３３０）が変わると同時に、第１ガイド線（４１１）及び第３ガイド線（４１３）も一緒に上下に移動することが可能である。

【0118】

図３は、本開示の複数の実施例に基づく、第１ガイド線（４１１）乃至第６ガイド線（４１６）が、実線で表示されている例を示している。ただし、これに限られる、例えば、ガイド線を、実線や破線等の任意の形態の線で表示したり、又は、線以外の図形の形で表示することが可能である。また、本開示の複数の実施例におけるガイド線の長さを、各断面の画像の高さ及び／又は面積に対応させたり、又は、より短く表示したり、より長く表示したりすることが可能である。ガイド線の形態について記載した前述の内容は、一例に過ぎず、本開示を限定するものではない。

【0119】

一方、第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のうち、少なくとも１つの断面画像を、ユーザー入力で操作することが可能である。例えば、ズームイン（ｚｏｏｍｉｎ）又はズームアウト（ｚｏｏｍｏｕｔ）したり、明暗を変更したり、各断面画像が第１領域（２１０）において占める領域の大きさを変えることが可能である。又は、ユーザー入力を通じて、第１領域（２１０）上に、第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のうち、いずれか１つの断面画像のみディスプレイされるように操作することが可能である。前述の例示は、一例に過ぎず、本開示を限定するものではない。

【0120】

第２領域（２２０）は、結節情報に紐づけられている結節詳細情報（２２２）をディスプレイすることが可能であり、ユーザー入力を受信することが可能である。プロセッサー（１２０）は、結節情報に紐づけられている結節詳細情報（２２２）を表示するように出力部（１４０）を制御することが可能である。また、プロセッサー（１２０）は、第２領域（２１０）においてユーザー入力を受信するように、入力部（１５０）を制御することが可能である。

【0121】

結節詳細情報（２２２）を、第１結節データセットに基づいて生成することが可能であり、各々の結節詳細情報（２２２）が紐づけられている結節情報より、多くの項目の結節データを含むことが可能である。例えば、結節情報が、分割データ及び直径データを含む場合、結節情報に対応する結節詳細情報は、分割データや直径データ以外にも、体積データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、及び／又は、悪性危険度データを追加で含むことが可能である。つまり、結節詳細情報（２２２）は、対応する結節情報より各々の結節に係るより詳細な情報を、ユーザーに提供することが可能である。ただし、これに限られるわけではない。

【0122】

一方、図３は、第２領域（２２０）にディスプレイされる２つ以上の結節詳細情報（２２２）がリストの形に並べられている例を示しているが、これに限られるわけではなく、碁盤の形態等、多様な方式で並べることが可能である。

【0123】

一方、第２領域（２２０）は、結節詳細情報（２２２）の代表的な数値を追加でディスプレイすることが可能である。例えば、各結節詳細情報に含まれているＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ値のうち、最大のＬｕｎｇ－ＲＡＤＳＳｃｏｒｅの値を、第２領域（２２０）の上部に別途ディスプレイすることが可能である。前述の例示は、一例に過ぎず、本開示を限定するものではない。

【0124】

第１領域（２１０）及び第２領域（２２０）に係るより詳しい説明は、図５乃至１０を用いて後述する。

【0125】

第３領域（２３０）は、第１画像を含む画像リスト（２３１）をディスプレイすることが可能であり、第１画像（２３１ａ）に対するユーザーの選択を受信することが可能である。プロセッサー（１２０）は、第１画像を含む画像リスト（２３１）を表示するように出力部（１４０）を制御することが可能である。又、プロセッサー（１２０）は、第３領域（２３０）において第１画像（２３１ａ）に対するユーザーの選択を受信するように、入力部（１５０）を制御することが可能である。

【0126】

画像リスト（２３１）は、撮影されたすべての画像を含むか、撮影後に深層学習アルゴリズムに入力され、結節データセットが取得された画像を含むか、ユーザーによって選択された１つ以上の画像を含むように構成することが可能である。

【0127】

図４を参照すると、画像リスト（２３１）を、全体画像リスト（２３２）から、ユーザーによって選択された（例えば、各画像に対応するチェックボックス（２３３）をクリックすることで選択された）１つ以上の画像を含むように構成することが可能である。また、図４を参照すると、「Ｇｏｔｏｗｏｒｋ」のアイコン（２３４）をクリックすることで、画像リスト（２３１）を第３領域（２３０）にディスプレイすることが可能である。

【0128】

第１画像（２３１ａ）に対するユーザーの選択は、画像リスト（２３１）における第１画像（２３１ａ）に対するクリックになり得る。ただし、これに限らず、第１画像（２３１ａ）に対応するグラフィック要素（チェックボックス、アイコン等）に対するクリック、又は、画像リスト（２３１）のうち、予め設定されている画像（例えば、最も最近撮影された画像、第１領域（２１０）に最も最近ディスプレイされた画像、その他ユーザーが任意に指定した画像等）を自動的に選択するようにすることが可能である。ただし、これに限られるわけではない。

【0129】

第１画像（２３１ａ）に対するユーザーの選択に対する応答として、第１領域（２１０）は、第１画像（２３１ａ）に係る３つの断面画像（３１０、３２０、３３０）及び第１画像（２３１ａ）に係る候補結節情報とをディスプレイすることが可能である。これについては、図５乃至８を用いてより詳しく後述する。

【0130】

一方、第１画像（２３１ａ）に対する選択に対する応答として、第１画像（２３１ａ）に係る関連画像リスト（２４１）をディスプレイするための第４領域（２４０）をレンダリングすることが可能である。プロセッサー（１２０）は、入力部（１５０）を介して入力された第１画像（２３１ａ）に対するユーザーの選択に対する応答として、第１画像（２３１ａ）に係る関連画像リスト（２４１）をディスプレイする第４領域（２４０）を表示するように、出力部（１４０）を制御することが可能である。

【0131】

第４領域（２４０）は、第１画像（２３１ａ）の関連画像リスト（２４１）をディスプレイすることが可能であり、関連画像の１つである第２画像（２４１ａ）に対するユーザーの比較選択入力を許容することが可能である。プロセッサー（１２０）は、第２画像（２４１ａ）を含む関連画像リスト（２４１）を表示するように出力部（１４０）を制御することが可能である。又、プロセッサー（１２０）は、第４領域（２４０）において、第２画像（２４１ａ）に係るユーザーの選択入力を受信するように入力部（１５０）を制御することが可能である。

【0132】

関連画像は、第１画像（２３１ａ）と異なる時点において、第１画像（２３１ａ）と同一の被撮影者を対象に撮影された画像になり得る。より具体的には、関連画像は、第１画像の（２３１ａ）撮影時点より以前の時点に、第１画像（２３１ａ）の被撮影者と同一の被撮影者を対象に撮影された画像になり得る。例えば、被撮影者のホン・ギルトンを２０２０年１２月に撮影した画像（以下、「画像Ｍ」という）と、２０１９年１２月に撮影した画像（以下、「画像Ｎ」という」とがそれぞれ存在し、画像Ｍが第１画像（２３１ａ）である場合、画像Ｎは、画像Ｍに係る関連画像になり得る。

【0133】

関連画像リスト（２４１）は、撮影されたすべての画像の中から、又は、撮影後に深層学習アルゴリズムに入力され、結節データセットが取得された画像の中から、又は、画像リスト（２３１）に含まれている画像の中から、探索された少なくとも１つの関連画像で構成することが可能である。

【0134】

比較選択入力は、関連画像リスト（２４１）における、第２画像（２４１ａ）に対するクリックになり得る。ただし、これに限らず、第２画像（２４１ａ）に対応するグラフィック要素（チェックボックス、アイコン等）に対するクリック、又は、関連画像リスト（２４１）のうち、予め設定されている画像（例えば、関連画像のうち、最も最近撮影された画像、第１領域（２１０）に最も最近ディスプレイされた画像、その他ユーザーが任意に指定した画像等）を自動的に選択するようにすることが可能である。

【0135】

第２画像（２４１ａ）に対するユーザーの比較選択入力に対する応答として、第１領域（２１０）は、第１画像（２３１ａ）に係る第１比較用断面画像（３４０）及び第２画像（２４１ａ）に係る第２比較用断面画像（３５０）をディスプレイすることが可能である。これについては、図１０を用いてより詳しく後述する。

【0136】

図５は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースを提供するためのフローチャートである。

【0137】

図６は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースの一例を示す図面である。

【0138】

図７は、図６におけるＡの部分を拡大したものであり、本開示の複数の実施例における、画像解析のためのユーザーインターフェースにおけるユーザー入力の一例を示す図面である。

【0139】

図８は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースにおけるユーザー入力の一例を示す図面である。

【0140】

図５を参照すると、ユーザーインターフェース（２００）は、第１画像に係る第１断面画像、第２断面画像、第３断面画像をユーザーインターフェースの第１領域（２１０）にディスプレイすることが可能である（段階Ｓ１１０）。プロセッサー（１２０）は、第１画像に係る第１断面画像、第２断面画像、第３断面画像を、第１領域（２１０）に表示するように出力部（１４０）を制御することが可能である。

【0141】

例えば、図６を参照すると、第３領域（３２０）における第１画像（２３１ａ）に対するユーザーの選択に応じて、第１領域（２１０）は、第１画像（２３１ａ）に係る３つの断面画像（３１０、３２０、３３０）をディスプレイすることが可能である。

【0142】

再び図５を参照すると、ユーザーインターフェース（２００）は、第１画像（２３１ａ）に係る候補結節情報を、前記第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のうち、少なくとも１つにディスプレイすることが可能である（段階Ｓ１２０）。プロセッサー（１２０）は、第１画像（２３１ａ）に係る候補結節情報を、第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のうち、少なくとも１つに表示するように出力部（１４０）を制御することが可能である。

【0143】

例えば、図６を参照すると、第３領域（２３０）における第１画像（２３１ａ）に対するユーザーの選択に対する応答として、第１領域（２１０）は、第１画像（２３１ａ）に係る候補結節情報（Ａ）を、第１画像（２３１ａ）に係る３つの断面画像（３１０、３２０、３３０）に重ねてディスプレイすることが可能である。

【0144】

候補結節情報（Ａ）は、第１画像（２３１ａ）に係る第１結節データセットに基づいて生成することが可能である。第１結節データセットは、サーバーにおいて第１画像（２３１ａ）を深層学習アルゴリズムに入力することで取得でき、第１画像（２３１ａ）から検出された結節に係る結節データを含むことが可能である。

【0145】

図６及び図７は、第１結節データセットに含まれている結節の位置データ、分割データ及び直径データに基づいて生成された候補結節情報（Ａ）が、第１領域（２１０）にディスプレイされる例を示している。より具体的には、図６及び図７は、分割データ（５１０）及び直径データ（５２０）を含む候補結節情報（Ａ）を示している。ただし、これに限らず、各候補結節情報は、各結節に係る体積データ、類型分類データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、又は、悪性危険度データを追加で含むように生成することが可能である。

【0146】

一方、候補結節情報（Ａ）は、第１領域（２１０）にディスプレイされる第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のうち、少なくとも１つの断面画像にディスプレイすることが可能である。例えば、候補結節情報（Ａ）を、各結節の直径データに基づいて決定された、各結節が最も大きく見える断面画像の上にディスプレイすることが可能である。例えば、Ｃ０結節が、第１断面画像に含まれている１８７番断面画像において直径が最も大きい場合、第１断面画像の１８７番断面画像上に、Ｃ０結節に係る候補結節情報（Ａ）をディスプレイすることが可能である。又は、候補結節情報（Ａ）を、ユーザーが指定した任意の断面画像上にディスプレイすることが可能である。例えば、ユーザーは、すべての結節情報が第１断面画像上にのみディスプレイされるように指定することが可能である。

【0147】

ただし、これに限らず、候補結節情報（Ａ）に２つ以上の結節データが含まれている場合、各結節データを、相異なる方式で断面画像上にディスプレイすることが可能である。図６を参照すると、候補結節情報（Ａ）に含まれている直径データ（５２０）は、第１断面画像（３１０）にのみ重ねてディスプレイするとともに、候補結節情報（Ａ）に含まれている分割データ（５１０）は、第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のすべてにおいて、重ねてディスプレイすることが可能である。

【0148】

再び図５を参照すると、ユーザーインターフェース（２００）におけるユーザー入力に基づき、ユーザー入力に係る候補結節情報（Ａ）は、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である（段階Ｓ１３０）。プロセッサー（１２０）は、入力部（１５０）を介して受信したユーザー入力に基づき、ユーザー入力に係る候補結節情報（Ａ）を、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。

【0149】

ユーザー入力は、第１領域（２１０）又は第２領域（２２０）を介して受信することが可能である。具体的に、第１領域（２１０）の候補結節情報（Ａ）又は第２領域（２２０）の第１結節詳細情報（２２２）を介して受信することが可能である。

【0150】

ユーザー入力は、変更入力又は確認入力を含むことが可能である。

【0151】

「変更入力」は、変更入力に係る候補結節情報を少なくとも一部変更しようとするユーザーの入力になり得る。つまり、サーバーの深層学習アルゴリズムを通じて取得された結節データセットから生成されて、初期値としてディスプレイされた候補結節情報が、第１画像（２３１ａ）に実際に存在する結節に該当するが、一部データ（例えば、直径データ、分割データ等）の値を変更する必要がある場合、ユーザーは、変更入力をすることが可能である。

【0152】

「確認入力」は、確認入力に係る候補結節情報を確定しようとするユーザーの入力になり得る。つまり、サーバーの深層学習アルゴリズムを通じて取得された結節データセットから生成されて、初期値としてディスプレイされた候補結節情報が、第１画像（２３１ａ）に実際に存在する結節に該当し、データ値を変更する必要がない場合、ユーザーは、確認入力をすることが可能である。

【0153】

一方、ユーザー入力に基づき、ユーザー入力に係る候補結節情報を、第１画像に係る第１結節情報として決定することが可能である。

【0154】

例えば、ユーザー入力が変更入力の場合、ユーザー入力に係る候補結節情報を、変更入力に基づいて変更し、変更された候補結節情報は、別途の確認入力無しに、そのまま第１結節情報として決定することが可能である。

【0155】

又は、変更された候補結節情報に対する確認入力が行われた場合、変更された候補結節情報を、第１結節情報として決定することが可能である。つまり、変更入力に続いて確認入力が行われた場合、変更された候補結節情報を、第１結節情報として決定することが可能である。

【0156】

又は、ユーザー入力が確認入力である場合、ユーザー入力に係る候補結節情報を、第１結節情報として決定することが可能である。上述のように、確認入力より先に変更入力が行われた場合、変更された候補結節情報を、確認入力によって第１結節情報として決定することが可能である。

【0157】

又は、ユーザー入力が行われない場合、ユーザー入力が行われていない候補結節情報を、そのまま第１結節情報として決定することが可能である。つまり、候補結節情報に対して、変更入力と確認入力のいずれも行われていない場合、当該候補結節情報を、そのまま第１結節情報として決定することが可能である。ただし、これに限らず、ユーザーは、ユーザー入力が何も行われていない候補結節情報は、第１結節情報ではないと決定するように設定することも可能である。

【0158】

又は、ユーザーは、候補結節情報に対し、第１結節情報ではないと決定する入力を行うことも可能である。前述の例示は、一例に過ぎず、本開示を限定するものではない。

【0159】

本開示の複数に実施例におけるユーザー入力について、図６乃至図８を参照することが可能である。

【0160】

第１領域（２１０）における変更入力について、図７は、候補結節情報（Ａ）に含まれている直径データ（５２０ａ）が、指示子の形でディスプレイされ、（図７（ａ）を参照）、指示子に対する変更入力によって候補結節情報（Ａ）に含まれている直径データ（５２０ｂ）が変更される（図７（ｂ）を参照）例を図示する。この場合、ユーザーの変更入力は、指示子の一端に対するクリックなどの選択や選択された指示子の一端が所望の長さや方向に延長されるようにするドラッグアンドドロップになり得る。この場合、ユーザーインターフェース（２００）は、ユーザーに対して指示子の一端が選択可能な状態にある、又は、選択されていることを直観的に示すためのグラフィック的な要素を追加でディスプレイすることが可能である。例えば、ユーザーのマウスポインターが、指示子の一端の上に重ねられる（ｈｏｖｅｒ）場合、指示子の一端の周辺部がハイライト表示されるようにすることが可能である。ただし、これに限られず、変更入力は、例えば、指示子と併記される直径データの値そのものを変更することを含む任意の形態の入力になり得る。

【0161】

図７に示す変更入力に基づき、変更入力に係る候補結節情報（Ａ）の直径データ（５２０）を、１１．９５ｍｍ（５２０ａ）から２２．７０ｍｍ（５２０ｂ）へ変更することが可能である。さらに、直径データに係る体積データ、分割データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、及び／又は、悪性危険度データを、変更された直径データを反映して同時に変更することが可能である。例えば、候補結節情報（Ａ）の直径データを１１．９５ｍｍから２２．７０ｍｍへ上方調整することにより、分割データは、変更された直径分拡大されたマスク画像に変更することが可能である一方、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ及び悪性危険度データも合わせて上方調整されるようにすることが可能である。そして、直径データの値が２２．７０ｍｍに変更されている候補結節情報、又は、直径データの値と共に、関連するデータ（つまり、体積データ、分割データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、及び／又は、悪性危険度データ）も併せて変更されている候補結節情報を、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。また、上述のように変更されている候補結節情報を、確認入力を受信した場合にはじめて第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。前述の例示は、変更入力に対する応答として、候補結節情報に係るデータの変更を表現することの一実施例に過ぎず、本開示を制限するものではない。

【0162】

第１領域（２１０）における変更入力について、図８は、候補結節情報（Ａ）に含まれている分割データがマスク画像の形でディスプレイされ、マスク画像に対する変更入力によってマスク画像に含まれる領域が追加されるように変更されたり（図８（ａ）を参照）、又は、マスク画像が既存の領域の一部を排除するように変更される（図８（ｂ）を参照）例を示している。この場合、ユーザーの変更入力は、マスク画像の一部の領域に対するクリック等の選択、又は、選択された領域が隣接した領域に延長されるようにしたり、選択された領域が排除されるようにするドラッグアンドドロップになり得る。この場合、ユーザーインターフェース（２００）は、ユーザーに対して、変更入力によって延長されたり、排除される領域を直観的に表示するためのグラフィック要素を追加でディスプレイすることが可能である。例えば、ユーザーのマウスポインターを中心に、任意の大きさの円の要素をディスプレイし、当該円の要素に含まれるマスク画像の一部の領域が延長されたり、排除されることを直観的に表示することが可能である。

【0163】

図８に示す変更入力に基づき、変更入力に係る候補結節情報（Ａ）の分割データの値を、さらなる領域を含むように変更したり（図８（ａ）を参照）、又は、既存の領域の一部を排除するように変更することが可能である（図８（ｂ）を参照）。そして、このように分割データの値が変更されている候補結節情報を、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。又は、上述のように変更されている候補結節情報を、確認入力を受信した場合にはじめて第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。

【0164】

第２領域（２２０）における変更入力及び／又は確認入力について、図６に示す第２領域（２２０）を参照することが可能である。

【0165】

第２領域（２２０）における変更入力は、拡張された結節詳細情報（Ｉ）おけるチェックボックスに対する選択又は選択解除になり得る。図６は、結節詳細情報（２２２ａ）が識別データ、分割データ、位置データ、直径データ、体積データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータにより構成され、拡張された結節詳細情報（Ｉ）が類型分類データ及びその他の特徴データで構成される一例を示している。拡張された結節詳細情報（Ｉ）に含まれている１つ以上の特徴データは、対応する結節のスピキュラ（ｓｐｉｃｕｌａｔｉｏｎ）有無、石灰化（ｃａｌｃｉｆｉｃａｔｉｏｎ）有無等、結節の細部の特徴に係るデータを含むことが可能である。

【0166】

第２領域（２２０）における変更入力を通じて、変更入力に係る候補結節情報を変更し、それを第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。例えば、第１結節詳細情報（２２２ａ）の拡張された結節詳細情報（Ｉ）において、ＮｏｄｕｌｅＴｙｐｅのＳｏｌｉｄのチェックボックスの選択が解除され、ＧＧＮチェックボックスが選択された場合、第１結節詳細情報（２２２ａ）に係る候補結節情報の類型分類データの値が、ＳｏｌｉｄからＧＧＮに変更され、変更された候補結節情報を、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。又は、上述のように変更されている候補結節情報を、確認入力を受信した場合にはじめて第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。

【0167】

一方、第２領域（２２０）における確認入力は、第１結節詳細情報（２２２ａ）の右側に図示されているアイコン（Ｃ）に対する選択になり得る。

【0168】

第２領域（２２０）における変更入力を通じて、確認入力に係る候補結節情報を、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。例えば、第１結節詳細情報（２２２ａ）のチェックアイコン（Ｃの上部）を選択する確認入力を通じて、第１結節詳細情報（２２２ａ）に係る候補結節情報を、第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。

【0169】

又、第２領域（２２０）の第１結節情報を（２２２ａ）に対する変更入力と確認入力が連続して入力された場合、つまり、拡張された結節詳細情報（Ｉ）を通じて変更入力が受信されてからアイコン（Ｃ）に対する選択が入力された場合、第１結節詳細情報（２２２ａ）に係る候補結節情報が変更入力に基づいて変更され、変更された候補結節情報を、確認入力に基づいて第１画像（２３１ａ）に係る第１結節情報として決定することが可能である。

【0170】

前記のように、ユーザーインターフェースにおけるユーザー入力に基づいて候補結節情報を第１結節情報として決定することで、直観的且つ容易に作業を行うことが可能である。つまり、ユーザーは、注目したい結節情報において直接ユーザー入力を行うことが可能になり、これに基づいて候補結節情報を第１結節情報として決定することが可能になるため、深層学習アルゴリズムを通じて取得した結節データに対する確認を直観的且つ簡単に行うことが可能である。さらに、画像に対する読影の正確度を高めることが可能である。

【0171】

一方、決定された第１結節情報又は第１結節詳細情報は、第１結節データセットに反映され、第２結節データセットを生成することが可能である。プロセッサー（１２０）は第１結節情報又は第１結節詳細情報を、第１結節データセットに反映し、第２結節データセットを生成することが可能である。例えば、第１結節データセットに基づいて生成された候補結節情報のうち一部は、変更入力に基づいて変更されてから第１結節情報として決定され、残りの候補結節情報は、確認入力に基づいて第１結節情報として決定された場合、プロセッサー（１２０）は、第１結節データセットに変更された候補結節情報の内容を反映し、第２結節データセットを新たに生成することが可能である。つまり、画像を深層学習アルゴリズムに入力して取得した第１結節データセットとは別途に、ユーザー入力を反映した第２結節データセットを新たに生成することが可能である。

【0172】

生成された第２結節データセットをサーバーに転送することが可能である。プロセッサー（１２０）は、第２結節データセットを生成し、これをサーバーに転送するように、ネットワーク部（１１０）を制御することが可能である。第２結節データセットは、生成された後に直ちに、又は予め設定されている条件（例えば、第２結節データセットが生成されてから予め設定されている時間が経過した場合）を満たした場合、自動的にサーバーに転送されるようにすることが可能である。又は、第２結節データセットをサーバーに転送する旨のユーザー入力に対する応答として、第２結節データセットをサーバーに転送することが可能である。

【0173】

代案として、プロセッサー（１２０）は、第２結節データセットを直接生成する代わりに、第１結節情報又は第１結節詳細情報をサーバーに転送して、サーバーで第２結節データセットが生成されるようにすることが可能である。つまり、ユーザー入力に基づいて決定された第１結節情報又は第１結節詳細情報をサーバーに転送し、サーバーのプロセッサーが第１結節情報又は第１結節詳細情報を第１結節データセットに反映して第２結節データセットを直接生成するようにすることが可能である。

【0174】

再び図５を参照すると、第１結節情報を、ユーザー入力に係る候補結節情報が第１結節情報に差し替えられる方式でディスプレイすることが可能である（段階Ｓ１４０）。プロセッサー（１２０）は、候補結節情報が第１結節情報に差し替えられる方式で、第１結節情報をディスプレイするように、出力部（１４０）を制御することが可能である。

【0175】

例えば、ユーザーインターフェースにおいて、変更入力が行われた場合、変更入力に基づいて、変更入力に係る候補結節情報を変更し、それまでディスプレイされていた候補結節情報（つまり、変更前の候補結節情報）を、第１結節情報（つまり、変更された候補結節情報）に差し替えてディスプレイすることが可能である。ただし、これに限らず、第１結節情報を候補結節情報とともに見せることが可能である。例えば、それまでディスプレイされていた候補結節情報（つまり、変更前の候補結節情報）と第１結節情報（つまり、変更された候補結節情報）とを重ねてディスプレイしたり、又は、重ならないように見せるために、隣り合うように配置してディスプレイすることが可能である。

【0176】

又は、ユーザーインターフェースにおいて確認入力が行われた場合、それまでディスプレイされていた候補結節情報を、確認入力に沿って決定された第１結節情報に差し替えてディスプレイすることが可能である。候補結節情報に対する変更入力無しにすぐに確認入力が行われた場合、候補結節情報は変更されずに、そのまま第１結節情報として決定されるため、候補結節情報を、第１結節情報に差し替えることは、ユーザーに目視で認識されない可能性がある。ただし、これに限らず、例えば、候補結節情報に対する変更入力無しにすぐに確認入力が行われた場合、候補結節情報を第１結節情報に差し替えることなく、候補結節情報をディスプレイし続けることが可能である。

【0177】

図９ａ、ｂは、本開示の複数の実施例における結節追加入力を処理するためのフローチャートである。

【0178】

結節追加入力は、深層学習アルゴリズムを通じて検出されていないものの、読影の結果、画像には存在すると考えられる結節を追加するためのユーザー入力になり得る。

【0179】

ユーザーインターフェース（２００）は、第１領域（２１０）の第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）において、ユーザーの結節追加入力を許容することが可能である。プロセッサー（１２０）は、入力部（１５０）を介して、ユーザーの結節追加入力を受信することが可能である（段階Ｓ２１０）。

【0180】

結節追加入力を、第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）におけるドラッグアンドドロップ動作、又は、１つ以上のポイントをクリックする動作で構成することが可能である。又は、ユーザーインターフェース（２００）上の「ＡｄｄＮｏｄｕｌｅ」ボタンをクリックする動作に繋げることが可能である。又は、「ＡｄｄＮｏｄｕｌｅ」ボタンをクリックする動作と、第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）におけるドラッグアンドドロップ動作、又は、１つ以上のポイントをクリックする動作との組み合わせで構成することが可能である。

【0181】

一方、結節追加入力に対する応答として、結節追加入力に対応する領域に存在する追加結節に係る追加結節データを取得することが可能である（Ｓ２２０乃至Ｓ２４０）。

【0182】

追加結節データは、結節追加入力に対応する領域に存在する追加結節に対する識別データ、位置データ、分割データ、直径データ、体積データ、類型分類データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、悪性危険度データを含むことが可能である。

【0183】

追加結節データを取得する方法について、図９ａは、ユーザーから追加結節データの入力を受けて追加結節データを取得する方法の一例を示しており、一方、図９ｂは、サーバーにおいて深層学習アルゴリズムにより行われる演算を通じて追加結節データを取得する方の一例を示している。ただし、これに限らず、例えば追加結節データを、ユーザー入力を通じて取得する方法と、サーバーにおける演算を通じて取得する方法とを組み合わせて用いることが可能である。又は、予め設定されている条件に基づき、追加結節データを取得するための方法を選択することが可能である。例えば、ユーザーが任意に指定した、いずれか１つの方法のみ用いたり、又は結節追加入力に対応する領域において結節が検出されるか否かに基づき、いずれか１つの方法が自動的に用いられるようにすることが可能である。

【0184】

先ず、図９ａを参照すると、結節追加入力に対する応答として、結節追加入力に対応する領域に存在する追加結節に係る追加結節データを、ユーザーが入力するようにすることが可能である。例えば、追加結節に係る識別データ、位置データ、分割データ、直径データ、体積データ、類型分類データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、悪性危険度データの値をユーザーが入力するようにすることが可能である。

【0185】

又は、追加結節データの少なくとも一部のデータについて、ユーザーが値を入力し、ユーザー入力を通じて取得したデータを基に、追加結節データの残りのデータを算出することが可能である。

【0186】

【0187】

又は、ユーザーが追加結節の直径データの値を入力し、ユーザーの入力を通じて取得した直径データの値を基に、追加結節データの体積データ及びＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータの値を算出し、これを含む追加結節データを生成することが可能である。ただし、これに限られるわけではない。

【0188】

代案として、図９ｂを参照すると、結節追加入力に対する応答として、サーバーに結節追加入力に対する演算を要請することが可能である（Ｓ２３０）。プロセッサー（１２０）は、入力部（１５０）を介して受信した結節追加入力に対する応答として、サーバーに結節追加入力に対する演算を要請するようにネットワーク部（１１０）を制御することが可能である。

【0189】

このとき、サーバーにおいて行われる演算は、結節追加入力に対応する領域を深層学習アルゴリズムに入力し、結節追加入力に対応する領域に存在する追加結節に係るデータである追加結節データを取得することになり得る。

【0190】

演算は、深層学習アルゴリズムに基づき、結節追加入力に対応する第１領域（２１０）上の領域において結節が検出されるか否かを先ず判断することが可能である。例えば、結節検出モジュールを用いて、結節追加入力に対応する第１領域（２１０）上の領域において追加結節が検出されるか否かを先ず判断することが可能である。

【0191】

結節が検出される場合、深層学習アルゴリズムに基づき、追加結節データを生成することが可能である。例えば、結節検出モジュールを介して取得した追加結節の位置データを基に、結節測定モジュールを介して追加結節の分割（ｓｅｇｍｅｎｔａｔｉｏｎ）データを取得することが可能である。又は、追加結節の位置データ及び分割データを基に、追加結節の直径データ及び体積データを取得することが可能である。又は、追加結節の位置データ及び分割データを基に、結節類型分類モジュールを通じて追加結節の類型分類データを取得することが可能である。又は、追加結節の直径データ、体積データ、類型分類データを基に、追加結節のＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ及び／又は悪性危険度データを取得することが可能である。

【0192】

一方、追加結節データを基に生成された追加結節情報を、ユーザーインターフェース（２００）にディスプレイすることが可能である（Ｓ２５０）。

【0193】

ユーザーインターフェース（２００）は、追加結節データを基に生成された追加結節情報を、第１領域（２１０）にディスプレイされている第１断面画像（３１０）、第２断面画像（３２０）、第３断面画像（３３０）のうち、少なくとも１つにディスプレイすることが可能である。例えば、追加結節データの直径データに基づいて決定された、追加結節が最も大きく見える断面画像の上に、追加結節情報をディスプレイすることが可能である。前述の記載は、追加結節データを基に生成された追加結節情報がディスプレイされる１つの実施例を示しているだけで、追加結節情報をユーザーにとって直観的且つ最も見やすい形で見せることのできる、任意のディスプレイ方式も、本開示内容は含むことが可能である。

【0194】

また、ユーザーインターフェース（２００）は、追加結節データに基づき、追加結節情報に紐づけられるように生成される追加結節詳細情報を、第２領域（２２０）にディスプレイすることが可能である。

【0195】

このように、画像においてユーザーの結節追加入力を可能にすることで、ユーザーは追加すべき結節に係る画像の上においてすぐに追加入力を行うことが可能であり、これによって直観的且つ容易に作業を遂行することが可能である。又、深層学習アルゴリズム、又はユーザーの結節追加入力に基づいて追加結節データを生成することで、ユーザーは、追加しようとする結節に係るデータを一々入力する手間を省くことが可能である。さらに、深層学習アルゴリズムを通じて取得した結節データセットに漏れている結節データを、ユーザーが追加することが可能になるため、画像に対する読影の正確度を高めることが可能である。

【0196】

図１０は、本開示の複数に実施例における、画像解析のためのユーザーインターフェースの一例を示した図面である。

【0197】

図１０を参照すると、第４領域（２４０）を、第１画像（２３１ａ）に対する選択に対する応答として、第１画像（２３１ａ）に係る関連画像リスト（２４１）を含むようにディスプレイすることが可能である。関連画像は、第１画像（２３１ａ）と異なる時点において、第１画像（２３１ａ）と同一の被撮影者を対象に撮影された画像になり得る。より具体的には、関連画像は、第１画像（２３１ａ）の撮影時点より以前の時点に、第１画像（２３１ａ）の被撮影者と同一の被撮影者を対象に撮影された画像になり得る。

【0198】

一方、ディスプレイされた第４領域（２４０）において、第２画像（２４１ａ）を選択するユーザーの比較選択入力に基づき、第１画像（２３１ａ）に係る第１比較用断面画像（３４０）及び第２画像（２４１ａ）に係る第２比較用断面画像（３５０）を、第１領域（２１０）にディスプレイすることが可能である。

【0199】

第１比較用断面画像（３４０）及び第２比較用断面画像（３５０）は、第１断面画像、第２断面画像、第３断面画像のうち１つになり得る。例えば、第１比較用断面画像（３４０）が、第１画像（２３１ａ）の軸面画像（第１断面画像）の場合、第２比較用断面画像（３５０）は、第２画像（２４１ａ）の軸面画像（第１断面画像）になり得る。又は、第１比較用断面画像（３４０）が、第１画像（２３１ａ）の冠状面画像（第２断面画像）の場合、第２比較用断面画像（３５０）は、第２画像（２４１ａ）の冠状面画像（第２断面画像）になり得る。又は、第１比較用断面画像（３４０）が、第１画像（２３１ａ）矢状面画像（第３断面画像）の場合、第２比較用断面画像（３５０）は、第２画像（２４１ａ）の矢状面画像（第３断面画像）になり得る。ただし、これに限らず、第１比較用断面画像（３４０）及び第２比較用断面画像（３５０）は、ユーザーが任意の方向の断面画像に指定することが可能である。

【0200】

一方、第１比較用断面画像（３４０）及び第２比較用断面画像（３５０）を、互いに連動させてディスプレイすることが可能である。例えば、第１比較用断面画像（３４０）が、ユーザー入力により任意の比率でズームイン又はズームアウトされる場合、第２比較用断面画像（３５０）もそれに対応する比率でズームイン又はズームアウトされることが可能である。

【0201】

又は、第２比較用断面画像（３５０）において任意の座標を有するポイント（ｐｏｉｎｔ）が、ユーザー入力によってハイライト表示される場合、第１比較用断面画像（３４０）に対応する座標のポイントをハイライト表示することが可能である。

【0202】

又は、第２領域（２２０）において、任意の結節詳細情報が選択されることに対する応答として、選択された結節詳細情報に対応する第１比較用断面画像（３４０）及び第２比較用断面画像（３５０）をディスプレイすることが可能である。例えば、ユーザーが第２領域（２００）において結節詳細情報（２２２ａ）を選択した場合、選択された結節詳細情報（２２２ａ）に対応する領域を、各比較用断面画像（つまり、第１比較用断面画像及び第２比較用断面画像）の中央にディスプレイしたり、又は、選択された結節詳細情報（２２２ａ）に対応する領域を、各比較用断面画像においてズームインさせてディスプレイすることが可能である。

【0203】

一方、比較選択入力に対する応答として、第１比較用断面画像（３４０）及び第２比較用断面画像（３５０）をディスプレイする場合、第３結節データセットを基に生成された第２結節情報を、第１比較用断面画像（３４０）に追加でディスプレイすることが可能である。また、第３結節データセットを基に、第２結節情報に紐づけられるように生成されて第２結節詳細情報を、第２領域（２２０）に追加でディスプレイすることが可能である。

【0204】

第３結節データセットは、第１画像（２３１ａ）に存在する結節の変化を、第２画像（２４１ａ）と比べて識別するために、サーバーにおいて深層学習アルゴリズムを用いて第１画像（２３１ａ）と第２画像（２４１ａ）とを整合することで取得することが可能である。

【0205】

第１画像（２３１ａ）と第２画像（２４１ａ）とを整合することは、撮影時間の差異又は撮影主体の差異を考慮して、撮影された２つの画像間の相対的な位置関係を合わせる動作を含むことが可能である。例えば、各画像における特徴点や明るさを比較して第１画像（２３１ａ）と第２画像（２４１ａ）とを整合することが可能であり、これを基に第１画像（２３１ａ）に存在する任意の結節が、第２画像（２４１ａ）と比べて変化している様相を識別することが可能である。

【0206】

上述した第１結節データセットと比較すると、第３結節データセットは、第１画像（２３１ａ）において検出された結節の変化の様相、つまり、第１画像（２３１ａ）と第２画像（２４１ａ）との対比を通じて識別された結節における変化の様相に係るデータを含むという点で、第１画像（２３１ａ）において検出された結節そのもののデータを含む第１結節データセットと比較することが可能である。

【0207】

例えば、Ｌｕｎｇ－ＲＡＤＳＶｅｒｓｉｏｎ１．１によると、第１画像（２３１ａ）において検出された直径６ｍｍ未満のＳｏｌｉｄタイプの結節（以下、「第１結節」という）のＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ値は２になり得て、悪性危険度データは＜１％になり得る。つまり、第１画像（２３１ａ）に係る第１結節データセットは、検出された第１結節に係る、｛直径データ＝６ｍｍ；類型分類データ＝Ｓｏｌｉｄ；Ｌｕｎｇ－ＲＡＤｓＳｃｏｒｅデータ＝２；悪性危険度データ＝＜１％｝のような結節データを含むことが可能である。

【0208】

しかし、第１画像（２３１ａ）と第２画像（２４１ａ）とを対比させたとき、第１結節が第１画像（２３１ａ）においてのみ検出された場合、つまり、第１結節が第２画像（２４１ａ）の撮影時点には存在しなかった、新たに生成された結節として識別された場合、第１結節のＬｕｎｇ－ＲＡＤＳＳｃｏｒｅのデータ値は３に上方調整することが可能であり、悪性危険度データも１－２％に上方調整することが可能である。つまり、第１画像（２３１ａ）に係る第３結節データセットは、検出された第１結節に係る、｛直径データ＝６ｍｍ；類型分類データ＝Ｓｏｌｉｄ；Ｌｕｎｇ－ＲＡＤｓＳｃｏｒｅデータ＝３；悪性危険度データ＝１－２％｝のような結節データを含むことが可能である。

【0209】

その他にも、第２画像（２４１ａ）に比べて第１結節が大きくなっている（ｇｒｏｗｉｎｇ）ことが識別されたり、第１結節が一定の大きさを保っていることが識別されたり、又は、第１結節が小さくなっていることが識別される場合等、多様な変化の様相を識別することが可能である。前述の例示は、一例に過ぎず、本開示を限定するものではない。

【0210】

一方、第３結節データセットを、サーバーから受信して第１結節情報が反映されるように更新することが可能であり、更新された第３データセットを基に、第２結節情報を生成することが可能である。

【0211】

例えば、上述の第１結節に対応する第１候補結節情報は、ユーザーインターフェースにおけるユーザー入力に基づいて変更され、且つ、第１結節情報として決定されることが可能である。仮に、第１候補結節情報の直径データが６ｍｍだったとしても、変更入力であるユーザー入力に基づき、第１候補結節情報における直径データを７ｍｍに変更し、直径データが７ｍｍに変更された第１候補結節情報を第１結節情報として決定することが可能である。かかる第１結節情報を反映し、第３結節データセットを更新する場合、第３結節情報を第１結節に対して、｛直径データ＝７ｍｍ；類型分類データ＝Ｓｏｌｉｄ；Ｌｕｎｇ－ＲＡＤＳｓＳｃｏｒｅデータ＝４Ａ；悪性危険度データ＝５－１５％｝のような結節データを含むように更新することが可能である。

【0212】

前記のように更新された第３結節データセットに基づき、第２結節情報を生成することが可能である。つまり、上述の例示によると、｛直径データ＝７ｍｍ；類型分類データ＝Ｓｏｌｉｄ；Ｌｕｎｇ－ＲＡＤＳｓＳｃｏｒｅデータ＝４Ａ；悪性危険度データ＝５－１５％｝に少なくとも一部基づいて、第２結節情報を生成することが可能である。前述の例示は一例に過ぎず、本開示を限定するものではない。例えば、第１候補結節情報に対して、変更入力が受信されていない場合、第３結節データセットの結節データの値に基づき、つまり、｛直径データ＝６ｍｍ；類型分類データ＝Ｓｏｌｉｄ；Ｌｕｎｇ－ＲＡＤｓＳｃｏｒｅデータ＝３；悪性危険度データ＝１－２％｝に少なくとも一部基づいて、第２結節情報を生成することが可能である。

【0213】

生成された第２結節情報を、第１比較用断面画像にディスプレイすることが可能である。例えば、第１画像（２３１ａ）に係る第１比較用断面画像（３４０）に、第１画像（２３１ａ）に係る第１結節情報をディスプレイすることが可能であり、第２結節情報の少なくとも一部を追加でディスプレイすることが可能である。例えば、第２結節情報の少なくとも一部が第１結節情報と重なるようにディスプレイしたり、又は、重ならないように、隣り合うように並べてディスプレイすることが可能である。この場合、第２結節情報を、第１結節情報と視覚的に区別できるようにディスプレイすることが可能である。又は、第１比較用断面画像にディスプレイされている第１結節情報を第２結節情報に差し替える方式で、第２結節情報を第１比較用断面画像にディスプレイすることが可能である。又は、第１比較用断面画像に、第２結節情報のみをディスプレイすることが可能である。

【0214】

一方、第２結節情報に紐づかれている第２結節詳細情報を、更新された第３結節データセットを基に生成することが可能である。生成された第２結節情報を、第２領域（２２０）にディスプレイすることが可能である。例えば、第２領域（２２０）に第１画像（２３１ａ）に係る第１結節詳細情報をディスプレイすることが可能であり、第２結節詳細情報の少なくとも一部を追加でディスプレイすることが可能である。仮に、第２結節詳細情報の少なくとも一部を、第１結節詳細情報と重なるようにディスプレイしたり、又は、重ならないように、隣り合うように並べてディスプレイすることが可能である。この場合、第２結節詳細情報を、第１結節詳細情報と視覚的に区別できるようにディスプレイすることが可能である。

【0215】

【0216】

つまり、第１結節詳細情報（ここでは、Ｌｕｎｇ－ＲＡＤＳ：３）と、第２結節詳細情報（ここでは、Ｌｕｎｇ－ＲＡＤＳ：４Ａ）とを隣り合うようにディスプレイするが、第１結節詳細情報を、取り消し線と一緒に表示することで、第２結節詳細情報が第１結節詳細情報と視覚的に区別できるようにすることが可能である。ただし、これに限らず、例えば、矢印等の記号を用いたり、補助的なハイライト表示としての図形の挿入、テキストの形（太字、斜体、下線、フォント、色）の変形等を通じて、第２結節詳細情報が第１結節詳細情報と視覚的に区別できるようにすることが可能である。

【0217】

このように、第１画像（２３１ａ）及び関連画像である第２画像（２４１ａ）を一緒にディスプレイし、特にこれらの２つの画像を連動してディスプレイすることで、各結節に経過に係る直観的な読影が可能になる。又、結節の変化の様相を反映した第２結節情報及び第２結節詳細情報が自動的に生成されて、ユーザーインターフェース（２００）においてディスプレイされるため、ユーザーは、第１画像（２３１ａ）と第２画像（２４１ａ）とを目視で一々比較して第１結節情報、及び／又は、第１結節詳細情報を第２結節情報、及び／又は、第２結節詳細情報に更新する手間を省くことが可能である。さらに、特にＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータの精度を高めることができるため、画像に対する読影の正確度を高め、より適切な管理方法を適用することが可能である。

【0218】

図１１は、本開示の複数に実施例における、レポートをディスプレイする方法の一例を示す図面である。

【0219】

図１１を参照すると、ユーザーのレポート要請入力に対する応答として、第１画像（２３１ａ）に係るレポートを生成することが可能である。

【0220】

ユーザーのレポート要請入力は、例えば、「Ｒｅｐｏｒｔ」のボタン（６１０）に対するクリックになり得る。ユーザーのレポート要請入力に対する応答として、ユーザーインターフェース（２００）は、第１領域（２１０）に、生成されたレポート（６００）をディスプレイすることが可能である。

【0221】

第２結節情報が存在する場合、レポートを第２結節情報に基づいて生成することが可能である。

【0222】

例えば、第１画像（２３１ａ）の関連画像である第２画像（２４１ａ）が存在する場合、第１画像（２３１ａ）及び第２画像（２４１ａ）を基に、サーバーにおいて第３結節データセットを取得することが可能であり、これに基づきユーザーインターフェース（２００）にディスプレイするための第２結節情報が生成されて、存在することが可能である。

【0223】

つまり、第１画像（２３１ａ）の関連画像である第２画像（２４１ａ）が存在する場合、第２画像（２４１ａ）に対するユーザーの比較選択入力に沿って、結節の変化の様相を反映した第２結節情報を生成する過程が必要となり、これに沿って生成された第２結節情報を基に、第１画像（２３１ａ）に係るレポートを生成することが可能である。

【0224】

第２結節情報を生成する過程が求められるため、ユーザーが第１画像（２３１ａ）を関連画像（つまり、第２画像（２４１ａ））と比較するプロセス（つまり、関連画像のリスト（２４１）から第２画像（２４１ａ）を選択し、第１領域（２２０）に第１比較用断面画像（３４０）と、第２比較用断面画像（３５０）とを連動させて一緒にディスプレイするプロセス）を欠かさないように補助することが可能であり、これにより、ユーザーは、より正確なＬｕｎｇ－ＲＡＤＳＳｃｏｒｅデータを含むレポートを生成することが可能である。

【0225】

又は、第２結節情報が存在しない場合、レポートを第１結節情報に基づいて生成することが可能である。

【0226】

例えば、第１画像（２３１ａ）の関連画像が存在しない場合、つまり、第１画像（２３１ａ）が被撮影者を撮影したはじめての画像の場合、第１画像（２３１ａ）を基に、サーバーにおいて第１結節データセットを取得することが可能であり、これに基づきユーザーインターフェース（２００）にディスプレイするための第１結節情報を生成することが可能である。ただし、第１画像（２３１ａ）と第２画像（２４１ａ）との対比を通じて結節の変化の様相を反映した第２結節情報は生成できない。

【0227】

即ち、第１画像（２３１ａ）の関連画像である第２画像（２４１ａ）が存在しない場合、ユーザーは、第１画像（２３１ａ）を関連画像と比較するプロセスを踏まずに、第１画像（２３１ａ）において検出された結節に係る第１結節情報に基づいて第１画像（２３１ａ）に係るレポートを生成することが可能である。

【0228】

一方、レポートを生成する場合、ユーザーはレポートに含まれる項目を選択することが可能である。例えば、第１結節情報又は第２結節情報が含むことが可能なデータ項目、つまり、位置データ、分割データ、直径データ、体積データ、類型分類データ、Ｌｕｎｇ－ＲＡＤＳＳｃｏｒｅデータ、悪性危険度データのうち、少なくとも一部を含めてレポートを生成するように設定することが可能である。

【0229】

レポートは、その他にも被撮影者の識別情報、レポートを生成するユーザーの識別情報（例えば、病院の識別情報、画像読影者又は医療スタッフの識別情報等）等をさらに含むことが可能である。

【0230】

一方、第１領域（２１０）にディスプレイされているレポート（６００）は、コンピューティング装置（１００）にダウンロードしたり、保存することが可能である。

【0231】

図１２は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図である。

【0232】

本開示が一般的にコンピューティング装置により具現化されることができると前述されているが、当業者であれば本開示が一つ以上のコンピューター上で実行されることのできるコンピューター実行可能命令及び／またはその他のプログラムモジュールと結合して及び／またはハードウェアとソフトウェアの組み合わせとして具現化されることができるということをよく理解できるだろう。

【0233】

一般的に、本明細書におけるモジュールは、特定のタスクを実行したり、特定の抽象的なデータ類型を実装するルーティン、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサーまたはマルチプロセッサーコンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルド（ｈａｎｄｈｅｌｄ）コンピューティング装置、マイクロプロセッサー基盤、またはプログラム可能な家電製品、その他等々（これらは、それぞれ１つ以上の関連する装置と繋がって動作することができる）をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。

【0234】

本開示において説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって実行される分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。

【0235】

コンピューターは、多様なコンピューター可読媒体を含む。コンピューターによってアクセス可能な媒体はいずれもコンピューター可読媒体になり得るが、このようなコンピューター可読媒体は揮発性及び非揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）及び非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）媒体、移動式及び非移動式媒体を含む。制限ではなく例として、コンピューター可読媒体は、コンピューター可読保存媒体及びコンピューター可読伝送媒体を含むことができる。コンピューター可読保存媒体は、コンピューター可読命令、データ構造、プログラムモジュール又はその他のデータのような情報を保存する任意の方法又は技術により実装される揮発性及び非揮発性媒体、一時的及び非一時的媒体、移動式及び非移動式媒体を含む。コンピューター可読保存媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリーまたはその他のメモリー技術、ＣＤ－ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌｖｉｄｅｏｄｉｓｋ）またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。

【0236】

コンピューター可読伝送媒体は、通常、搬送波（ｃａｒｒｉｅｒｗａｖｅ）またはその他の伝送メカニズム（ｔｒａｎｓｐｏｒｔｍｅｃｈａｎｉｓｍ）のような被変調データ信号（ｍｏｄｕｌａｔｅｄｄａｔａｓｉｇｎａｌ）にコンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち１つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューター可読伝送媒体は、有線ネットワークまたは直接配線接続（ｄｉｒｅｃｔ－ｗｉｒｅｄｃｏｎｎｅｃｔｉｏｎ）のような有線媒体、そして音響、ＲＦ、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のいずれかによる任意の組み合わせもまたコンピューター可読伝送媒体の範囲に含まれるものとする。

【0237】

コンピューター（１１０２）を含む本開示の多様な側面を実現する例示的な環境（１１００）が示されており、コンピューター（１１０２）は、処理装置（１１０４）、システムメモリー（１１０６）、システムバス（１１０８）を含む。システムバス（１１０８）は、システムメモリー（１１０６）（これに限定されない）をはじめとするシステムコンポーネントを処理装置（１１０４）につなげる。処理装置（１１０４）は、多様な商用プロセッサーのうち任意のプロセッサーになり得る。デュエルプロセッサーとその他のマルチプロセッサーアーキテクチャもまた処理装置（１１０４）として利用されることができる。

【0238】

システムバス（１１０８）は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー（１１０６）は、読み取り専用メモリー（ＲＯＭ）（１１１０）やランダムアクセスメモリー（ＲＡＭ）（１１１２）を含む。基本的な入出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の非揮発性メモリー（１１１０）に保存され、このＢＩＯＳは、起動中の時等にコンピューター（１１０２）の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。ＲＡＭ（１１１２）は、またデータをキャッシュするための静的ＲＡＭ等の高速ＲＡＭを含むことができる。

【0239】

コンピューター（１１０２）においては、また、内蔵型ハードディスクドライブ（ＨＤＤ）（１１１４）（例えば、ＥＩＤＥ、ＳＡＴＡ）―この内蔵型ハードディスクドライブ（１１１４）はまた適切なシャシー（図示は省略）の中で外付け型の用途で構成されることができる―、磁気フロッピーディスクドライブ（ＦＤＤ）（１１１６）（例えば、移動式ディスケット（１１１８）から読み取ったりそれに書き込むためのものである）及び光ディスクドライブ（１１２０）（例えば、ＣＤ－ＲＯＭディスク（１１２２）を読み取ったり、ＤＶＤ等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである）を含む。ハードディスクドライブ（１１１４）、磁気ディスクドライブ（１１１６）及び光ディスクドライブ（１１２０）は、それぞれハードディスクドライブインターフェース（１１２４）、磁気ディスクドライブインターフェース（１１２６）及び光ドライブインターフェース（１１２８）によってシステムバス（１１０８）に繋がることができる。外付け型ドライブの実装のためのインターフェース（１１２４）は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）やＩＥＥＥ１３９４インターフェース技術のうち、少なくとも１つまたはその両方を含む。

【0240】

これらのドライブ及びこれらに係るコンピューター可読媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター（１１０２）の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューター可読保存媒体に係る説明が、ＨＤＤ、移動式磁気ディスク及びＣＤまたはＤＶＤ等の移動式光媒体について触れているが、当業者ならジップドライブ（ｚｉｐｄｒｉｖｅ）、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。

【0241】

運営システム（１１３０）、１つ以上のアプリケーションプログラム（１１３２）、その他のプログラムモジュール（１１３４）及びプログラムデータ（１１３６）をはじめとする多数のプログラムモジュールが、ドライブ及びＲＡＭ（１１１２）に保存されることができる。運営システム、アプリケーション、モジュール及び／またはデータの全部またはその一部分がまたＲＡＭ（１１１２）にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。

【0242】

ユーザーは、１つ以上の有線・無線の入力装置、例えば、キーボード（１１３８）及びマウス（１１４０）等のポインティング装置を通じてコンピューター（１１０２）に命令及び情報を入力することができる。その他の入力装置（図示は省略）としてはマイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス（１１０８）に繋がっている入力装置インターフェース（１１４２）を通じて処理装置（１１０４）に繋がることがあるが、並列ポート、ＩＥＥＥ１３９４直列ポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース、その他等々のその他のインターフェースによって繋がることができる。

【0243】

モニター（１１４４）または他の類型のディスプレイ装置も、ビデオアダプター（１１４６）等のインターフェースを通じてシステムバス（１１０８）に繋がる。モニター（１１４４）に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置（図示は省略）を含む。

【0244】

コンピューター（１１０２）は、有線及び／または無線通信による（複数の）遠隔コンピューター（１１４８）等の１つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。（複数の）遠隔コンピューター（１１４８）は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター（１１０２）について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置（１１５０）のみ図示されている。図示されている論理的接続は、近距離通信網（ＬＡＮ）（１１５２）及び／または、より大きいネットワーク、例えば、遠距離通信網（ＷＡＮ）（１１５４）における有線・無線の接続を含む。このようなＬＡＮ及びＷＡＮのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク（ｅｎｔｅｒｐｒｉｓｅ－ｗｉｄｅｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋ）を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。

【0245】

ＬＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、有線及び／または無線通信ネットワークインターフェース、または、アダプター（１１５６）を通じてローカルネットワーク（１１５２）に繋がる。アダプター（１１５６）は、ＬＡＮ（１１５２）への有線または無線通信を容易にすることができ、このＬＡＮ（１１５２）は、また無線アダプター（１１５６）と通信するためにそれに設置されている無線アクセスポイントを含む。ＷＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、モデム（１１５８）を含むことができたり、ＷＡＮ（１１５４）上の通信サーバーに繋がったり、またはインターネットを通じる等、ＷＡＮ（１１５４）を通じて通信を設定するその他の手段を持つ。内蔵型又は外付け型、そして、有線または無線装置になり得るモデム（１１５８）は、直列ポートインターフェース（１１４２）を通じてシステムバス（１１０８）に繋がる。ネットワーク化された環境において、コンピューター（１１０２）について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー／保存装置（１１５０）に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということは容易に理解できることである。

【0246】

コンピューター（１１０２）は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び／または携帯用コンピューター、ＰＤＡ（ｐｏｒｔａｂｌｅｄａｔａａｓｓｉｓｔａｎｔ）、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともＷｉ－Ｆｉ及びブルートゥース無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも２つの装置の間でのアドホック通信（ａｄｈｏｃｃｏｍｍｕｎｉｃａｔｉｏｎ）になり得る。

【0247】

Ｗｉ－Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）は、有線で繋がっていなくても、インターネット等への接続を可能にする。Ｗｉ－Ｆｉは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Ｗｉ－Ｆｉネットワークは、安全で信頼性があり、高速である無線接続を提供するためにＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、その他）という無線技術を使う。コンピューターを互いに、インターネット及び有線ネットワーク（ＩＥＥＥ８０２．３またはイーサネットを使う）に接続するためにＷｉ－Ｆｉが使われることができる。Ｗｉ－Ｆｉネットワークは、非認可２．４や５ＧＨｚの無線帯域において、例えば、１１Ｍｂｐｓ（８０２．１１ａ）または５４Ｍｂｐｓ（８０２．１１ｂ）のデータレートで動作したり、両帯域（デュエル帯域）を含む製品において動作することができる。

【0248】

本開示の技術分野における通常の知識を持つ者は情報及び信号が任意の多様な異なる技術及び手法を利用して示されることができることを理会できる。例えば、前記の説明において参照できるデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁気派、磁場等または粒子、光学場等または粒子、またはこれらの任意の組み合わせによって示されることができる。

【0249】

本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー、手段、回路、アルゴリズム段階が電子ハードウェア、（利便性のために、ここでは「ソフトウェア」と称される）多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、及び段階がこれらの機能に着目して前記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーションおよび全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。

【0250】

ここに示された多様な実施例は、方法、装置、または標準プログラミング及び／またはエンジニアリング技術を使った製造物品（ａｒｔｉｃｌｅ）によって実現できる。用語「製造物品」は、任意のコンピューターで可読な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体（ｍｅｄｉａ）を含む。例えば、コンピューターで可読保存媒体は、磁気保存装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップ等）、光学ディスク（例えば、ＣＤ、ＤＶＤ等）、スマートカード及びフラッシュメモリー装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブ等）を含むが、これらに限定されるものではない。また、ここに示されている多様な保存媒体は、情報を保存するための１つ以上の装置及び／または他の機械可読媒体を含む。

【0251】

示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が再配列されることができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。

【0252】

示された実施例に関する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものであり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。

【0253】

上述のように、発明の実施のための最善の形態において、関連する内容を述べた。

【産業上の利用可能性】

【0254】

本発明は、画像解析のためのユーザーインターフェースを提供するコンピューティング装置等に利用することが可能である。

【図1】