(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】データ処理方法、手段、および、システム
(51)【国際特許分類】
G06V 10/70 20220101AFI20241001BHJP
G16H 30/00 20180101ALI20241001BHJP
G06T 7/00 20170101ALI20241001BHJP
【FI】
G06V10/70
G16H30/00
G06T7/00 350B
G06T7/00 612
(21)【出願番号】P 2022552300
(86)(22)【出願日】2021-03-24
(86)【国際出願番号】 US2021023958
(87)【国際公開番号】W WO2021202204
(87)【国際公開日】2021-10-07
【審査請求日】2022-10-24
(31)【優先権主張番号】202010244916.7
(32)【優先日】2020-03-31
(33)【優先権主張国・地域又は機関】CN
(32)【優先日】2021-03-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】510330264
【氏名又は名称】アリババ・グループ・ホールディング・リミテッド
【氏名又は名称原語表記】ALIBABA GROUP HOLDING LIMITED
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】スー・ミンフェン
(72)【発明者】
【氏名】タン・ジェ
(72)【発明者】
【氏名】リュー・シャンルイ
(72)【発明者】
【氏名】グオ・ウェンチャオ
(72)【発明者】
【氏名】マ・ジャンキャン
【審査官】菊池 伸郎
(56)【参考文献】
【文献】米国特許出願公開第2016/0300351(US,A1)
【文献】米国特許出願公開第2018/0253843(US,A1)
【文献】米国特許出願公開第2020/0058126(US,A1)
【文献】国際公開第2020/044840(WO,A1)
【文献】中国特許出願公開第108335282(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 10/70
G16H 30/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
方法であって、
1または複数のプロセッサによって、対象画像を取得し、
前記1または複数のプロセッサによって、対象画像ソースを決定し、
前記1または複数のプロセッサによって、前記対象画像ソースに少なくとも部分的に基づいて対象分類処理を選択し、前記対象分類処理は、
前記1または複数のプロセッサによって、前記対象画像から対象領域画像をセグメント化し、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
前記1または複数のプロセッサによって、前記対象物領域に含まれる病変を特定するために病変セグメンテーションモデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、前記病変セグメンテーションモデルは、前記対象物領域に含まれる臓器に少なくとも部分的に基づいて選択され、前記病変セグメンテーションモデルは機械学習モデルであり、
前記1または複数のプロセッサによって、前記対象画像に関連付けられている患者が疾患または他の異常を有しているかを決定し、前記患者を苦しめる全ての疾患または異常を分類するために、疾患認識モデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、前記疾患認識モデルは、
固有の疾患または特定可能な疾患と関連付けられており、
前記1または複数のプロセッサによって、前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供すること、
を備える、方法。
【請求項2】
請求項1に記載の方法であって、前記疾患または異常を分類することは、
前記対象領域画像の前記解析に少なくとも部分的に基づいて、1または複数の第1カテゴリ対象に対応する1または複数の確率を決定し、
前記1または複数の第1カテゴリ対象に対応する前記1または複数の確率に少なくとも部分的に基づいて、前記疾患または異常を決定すること、
を含む、方法。
【請求項3】
請求項2に記載の方法であって、前記1または複数の第1カテゴリ対象に対応する前記1または複数の確率は、前記対象画像の画像解析に従って患者が1または複数の疾患を有する1または複数の確率である、方法。
【請求項4】
請求項2に記載の方法であって、
前記第1カテゴリ対象は、第1対象、第2対象、および、第3対象の内の少なくとも1つを含み、
前記1または複数の第1カテゴリ対象に対応する前記1または複数の確率を決定することは、対象認識モデルに少なくとも部分的に基づいて前記対象画像を解析し、前記対象画像の解析と前記対象認識モデルとに基づいて、前記対象画像内の病変が前記第1対象である確率、前記病変が前記第2対象である確率、および、前記病変が前記第3対象である確率を決定すること、を含む、方法。
【請求項5】
請求項4に記載の方法であって、前記対象認識モデルは、1セットのトレーニング画像に少なくとも部分的に基づいてトレーニングまたは規定され、前記1セットのトレーニング画像の少なくとも一部は、前記第1対象に関連付けられている疾患、前記第2対象に関連付けられている疾患、および、前記第3対象に関連付けられている疾患に罹った対象臓器に対応する画像を含む、方法。
【請求項6】
請求項1に記載の方法であって、
前記対象物領域における病変を特定することは、
前記病変セグメンテーションモデルに少なくとも部分的に基づいて、前記対象画像内の前記病変をセグメント化し、
前記病変セグメンテーションモデルに少なくとも部分的に基づいて、前記病変の位置および前記病変のサイズを決定し、
前記病変の前記位置にラベルを追加し、前記病変の前記サイズに少なくとも部分的に基づいて、前記対象画像内の前記病変の体積の割合を決定し、
前記病変の前記体積の割合に少なくとも部分的に基づいて、前記疾患または異常を決定すること、
を含む、方法。
【請求項7】
請求項6に記載の方法であって、さらに、
前記1または複数のプロセッサによって、病変分類を学習するためのマルチタスク深層学習ネットワークを構築し、
エンコーディングモジュールを用いて、1セットの履歴医用画像内の対象臓器から基本的な特徴を抽出し、
前記抽出された基本的な特徴に少なくとも部分的に基づいて、分類タスクを構築し、前記分類タスクは、前記対象臓器内の病変を分類するタスクに対応し、
前記分類タスクに少なくとも部分的に基づいて、損失関数を構築し、
前記損失関数を用いたトレーニングに少なくとも部分的に基づいて、前記病変セグメンテーションモデルを取得すること、
を備える、方法。
【請求項8】
請求項1に記載の方法であって、前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供することは、
前記病変の画像および前記表示をクライアント端末に提供し、
前記クライアント端末に、前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示が閲覧可能であること、を示すプロンプトメッセージを提供させること、
を備える、方法。
【請求項9】
請求項1に記載の方法であって、さらに、
患者の第1医用画像に対してデータマスキングを実行して、第2医用画像を取得し、
前記第2医用画像に対してデータフィルタリングを実行して、前記対象画像を取得すること、
を備える、方法。
【請求項10】
請求項1に記載の方法であって、
前記対象領域画像は、肺領域画像であり、
前記対象画像から前記対象領域画像をセグメント化することは、
前記セグメンテーションモデルを用いて、前記対象画像から前記肺領域画像をセグメント化することを含み、前記セグメンテーションモデルは、肺セグメンテーションモデルに対応する、方法。
【請求項11】
請求項1に記載の方法であって、前記対象領域画像をセグメント化することに関連して用いられる前記セグメンテーションモデルは、前記対象画像内に含まれる臓器に少なくとも部分的に基づいて選択される、方法。
【請求項12】
医用イメージング解析システムであって、
患者をスキャンして前記患者の第1医用画像を生成するよう構成されている医用イメージング装置と、
フロントエンドプロセッサと、を備え、
前記フロントエンドプロセッサは、
第2医用画像を取得するために、前記第1医用画像に対してデータマスキングを実行し、
対象画像を取得するために、前記第2医用画像に対してデータフィルタリングを実行し、
認識される画像を解析端末へ通信するよう構成されており、
前記解析端末は、
前記対象画像を取得し、
対象画像ソースを決定し、
前記対象画像ソースに少なくとも部分的に基づいて対象分類処理を選択し、前記対象分類処理は、
前記対象画像から対象領域画像をセグメント化し、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
前記対象物領域に含まれる病変を特定するために病変セグメンテーションモデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、前記病変セグメンテーションモデルは、前記対象物領域に含まれる臓器に少なくとも部分的に基づいて選択され、前記病変セグメンテーションモデルは機械学習モデルであり、
前記対象画像に関連付けられている患者が疾患または他の異常を有しているかを決定し、前記患者を苦しめる全ての疾患または異常を分類するために、疾患認識モデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、前記疾患認識モデルは、
固有の疾患または特定可能な疾患と関連付けられており、
前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供する、よう構成されている、医用イメージング解析システム。
【請求項13】
請求項12に記載の解析システムであって、前記解析端末は、さらに、前記疾患または異常を画像ファイリング/通信システムへ同期的に通信し、または、前記疾患または異常をクライアント端末へ通信して、前記クライアント端末にプロンプトメッセージを表示させるよう構成されている、解析システム。
【請求項14】
デバイスであって、
1または複数のプロセッサであって、
対象画像を取得し、
対象画像ソースを決定し、
前記対象画像ソースに少なくとも部分的に基づいて対象分類処理を選択し、前記対象分類処理は、
前記対象画像から対象領域画像をセグメント化し、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
前記対象物領域に含まれる病変を特定するために病変セグメンテーションモデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、前記病変セグメンテーションモデルは、前記対象物領域に含まれる臓器に少なくとも部分的に基づいて選択され、前記病変セグメンテーションモデルは機械学習モデルであり、
前記対象画像に関連付けられている患者が疾患または他の異常を有しているかを決定し、前記患者を苦しめる全ての疾患または異常を分類するために、疾患認識モデルに少なくとも部分的に基づいて、前記対象領域画像を解析
することを備え、前記疾患認識モデルは、
固有の疾患または特定可能な疾患と関連付けられており、
前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供するよう構成されている、1または複数のプロセッサと、
前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成された1または複数のメモリと、
を備える、デバイス。
【請求項15】
方法であって、
1または複数のプロセッサによって、対象画像ソースから対象画像を取得し、前記対象画像は、ユーザ選択に対応する1または複数の入力に少なくとも部分的に基づいて取得され、
前記1または複数のプロセッサによって、画像解析プロセスに関するユーザ選択を受信し、
前記1または複数のプロセッサによって、前記画像解析プロセスの前記ユーザ選択に少なくとも部分的に基づいて、対象画像解析プロセスを決定し、
前記1または複数のプロセッサによって
、対象物領域に含まれる病変を特定するために病変セグメンテーションモデルに少なくとも部分的に基づいて
、対象領域画像を解析し、前記病変セグメンテーションモデルは、前記対象物領域に含まれる臓器に少なくとも部分的に基づいて選択され、前記病変セグメンテーションモデルは機械学習モデルであり、
前記1または複数のプロセッサによって、前記対象画像に関連付けられている患者が疾患または他の異常を有しているかを決定し、前記患者を苦しめる全ての疾患または異常を分類するために、疾患認識モデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、前記疾患認識モデルは、
固有の疾患または特定可能な疾患と関連付けられており、
前記1または複数のプロセッサによって、前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供すること、
を備える、方法。
【請求項16】
請求項15に記載の方法であって、前記ユーザ選択に少なくとも部分的に基づいて、前記対象画像解析プロセスを決定すること、
前記対象画像ソースに対応する少なくとも1つの画像解析プロセスを取得し、
前記少なくとも1つの画像解析プロセスを提示し、
前記ユーザによって入力された選択信号を受信し、
前記選択信号に少なくとも部分的に基づいて、前記少なくとも1つの画像解析プロセスの中から前記対象画像解析プロセスを決定すること、
を含む、方法。
【請求項17】
コンピュータプログラムであって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、1または複数のプロセッサによって、
対象画像を取得するためのコンピュータ命令と、
対象画像ソースを決定するためのコンピュータ命令と、
前記対象画像ソースに少なくとも部分的に基づいて対象分類処理を選択するためのコンピュータ命令と、前記対象分類処理は、
前記対象画像から対象領域画像をセグメント化するためのコンピュータ命令と、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
前記対象物領域に含まれる病変を特定するために病変セグメンテーションモデルに少なくとも部分的に基づいて、前記対象領域画像を解析するためのコンピュータ命令と、前記病変セグメンテーションモデルは、前記対象物領域に含まれる臓器に少なくとも部分的に基づいて選択され、前記病変セグメンテーションモデルは機械学習モデルであり、
前記対象画像に関連付けられている患者が疾患または他の異常を有しているかを決定し、前記患者を苦しめる全ての疾患または異常を分類するために、疾患認識モデルに少なくとも部分的に基づいて、前記対象領域画像を解析するためのコンピュータ命令と、前記疾患認識モデルは、
固有の疾患または特定可能な疾患と関連付けられており、
前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供するためのコンピュータ命令と、
を備える、コンピュータプログラム。
【請求項18】
コンピュータプログラムであって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、1または複数のプロセッサによって、
対象画像ソースから対象画像を取得するためのコンピュータ命令と、前記対象画像は、ユーザ選択に対応する1または複数の入力に少なくとも部分的に基づいて取得され、
画像解析プロセスに関するユーザ選択を受信するためのコンピュータ命令と、
前記画像解析プロセスの前記ユーザ選択に少なくとも部分的に基づいて、対象画像解析プロセスを決定するためのコンピュータ命令と、
対象物領域に含まれる病変を特定するために病変セグメンテーションモデルに少なくとも部分的に基づいて
、対象領域画像を解析するためのコンピュータ命令と、前記病変セグメンテーションモデルは、前記対象物領域に含まれる臓器に少なくとも部分的に基づいて選択され、前記病変セグメンテーションモデルは機械学習モデルであり、
前記対象画像に関連付けられている患者が疾患または他の異常を有しているかを決定し、前記患者を苦しめる全ての疾患または異常を分類するために、疾患認識モデルに少なくとも部分的に基づいて、前記対象領域画像を解析するためのコンピュータ命令と、前記疾患認識モデルは、
固有の疾患または特定可能な疾患と関連付けられており、
前記病変の画像および前記患者が特定の疾患または異常を有しているか否かの表示を提供するためのコンピュータ命令と、
を備える、コンピュータプログラム。
【請求項19】
請求項1に記載の方法であって、前記疾患または異常の分類は、患者の個性、前記対象物領域に含まれる前記臓器の少なくとも部分的な色、前記臓器の大きさ、前記臓器における色のバリエーション、および前記臓器に対応する臓器種、の少なくともいずれか1つに部分的に基づく、方法。
【請求項20】
請求項1に記載の方法であって、さらに、
前記1または複数のプロセッサによって、(i)患者の特性、および(ii)前記対象物領域に含まれる前記病変および前記分類された疾患または異常、の1つまたは複数に少なくとも部分的に基づいて、1または複数の治療法案を決定し、
前記1または複数のプロセッサによって、ユーザインターフェースを介して前記1または複数の治療法案を提供すること、を備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
他の出願の相互参照
本願は、2020年3月31日出願の「DATA PROCESSING METHOD,MEANS AND SYSTEM」と題する中国特許出願第202010244916.7号に基づく優先権を主張し、当該出願は、すべての目的のために参照により本明細書に組み込まれる。
【0002】
本願は、画像処理技術の分野に関する。特に、本願は、データ処理方法、手段、および、システムに関する。
【背景技術】
【0003】
近年、コンピュータ技術が急速に発展し、コンピュータ技術と密接に関連している画像処理技術が、現代の医療および診断に不可欠な方法になった。社会が高齢化し続けるのに伴って、画像処理サービスへの需要が高まり続けている。例えば、画像が医用画像である場合、放射線科医は、毎日数千の画像、場合によっては数万の画像を見直して検討する必要がある。しかしながら、放射線科医は、現在、一度に一枚ずつ各画像を読み、各画像を読み取るのに費やす時間は比較的長い。したがって、画像の読み取りには、大きい作業負荷および比較的低い効率が伴う。
【0004】
上述の問題に対処するのに有効な解決法はまだ提示されていない。
【図面の簡単な説明】
【0005】
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
【0006】
ここで説明する図面は、本発明の理解を深めるよう意図されており、本願の一部を形成する。本発明の例示的実施形態およびそれらの記載は、本発明を説明するよう意図されており、本発明の不適切な限定となるものではない。以下の図面が含まれる。
【0007】
【
図1】本願の様々な実施形態に従って、端末を示すハードウェア構造ブロック図。
【0008】
【
図2】本願の様々な実施形態に従って、データ処理のための方法を示すフローチャート。
【0009】
【
図3】本願の様々な実施形態に従って、データ処理のための方法に関連して用いられるデバイスを示すブロック図。
【0010】
【
図4】本願の様々な実施形態に従って、データ処理のための方法を示すブロック図。
【0011】
【
図5】本願の様々な実施形態に従って、データ処理のための方法を示す図。
【0012】
【
図6】本願の様々な実施形態に従って、データ処理のための方法を示すフローチャート。
【0013】
【
図7】本願の様々な実施形態に従って、画像を処理することに関連して用いられるインターフェースを示す図。
【0014】
【
図8】本願の様々な実施形態に従って、画像を処理することに関連して用いられるインターフェースを示す図。
【発明を実施するための形態】
【0015】
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および/または、プロセッサ(プロセッサに接続されたメモリに格納および/またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ)を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書で用いられているように、「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するよう構成されている1または複数のデバイス、回路、および/または、処理コアを指す。
【0016】
以下では、本発明の原理を示す図面を参照しつつ、本発明の1または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
【0017】
当業者が本発明をよりよく理解できるように、本発明の実施形態の図面に照らして本発明の実施形態における技術的スキームを明確かつ完全に説明する。明らかに、記載されている実施形態は、本発明の実施形態の一部にすぎず、すべての実施形態ではない。さらなる創造的努力が費やされない限り、本発明における実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護の範囲内に含まれる。
【0018】
本発明の記載、特許請求の範囲、および、図面における「第1」、「第2」などの用語は、類似した対象を区別するために用いられ、必ずしも特定の配列または順序を記載するために用いられるものではないことを理解されたい。このように用いられるデータは、必要に応じて交換されてもよいことを理解されたい。したがって、本明細書に記載されている本発明の実施形態は、本明細書に図示または記載されている以外の配列で実施されてもよい。さらに、「備える」および「有する」という用語ならびにそれらの変化形は、非排他的であることを意図されている。例えば、一連の工程またはユニットを含む処理、方法、システム、製品、または、装置は、明示的に列挙されたそれらの工程またはユニットに限定される必要はなく、明示的に列挙されていない他の工程またはユニット、もしくは、これらの処理、方法、製品、または、装置に内在する他の工程またはユニットも含みうる。
【0019】
本明細書で用いられているように、「端末」とは、一般に、1または複数のプロセッサを備えているデバイスを指す。端末は、ネットワークシステム内で(例えば、ユーザによって)利用され、1または複数のサーバと通信するために利用されるデバイスでありうる。本開示の様々な実施形態によれば、端末は、通信機能をサポートする構成要素を備えてよい。例えば、端末は、スマートフォン、サーバ、共用モバイルバッテリのマシン、情報センタ(交通または気象などの情報を提供する1または複数のサービスなど)、タブレットデバイス、携帯電話、ビデオ電話、電子書籍リーダ、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ、パーソナルデジタルアシスタント(PDA)、携帯型マルチメディアプレーヤ(PMP)、携帯型メディカルデバイス、カメラ、ウェアラブルデバイス(例えば、ヘッドマウントデバイス(HMD)、電子衣服、電子装具、電子ネックレス、電子アクセサリ、電子タトゥー、または、スマートウォッチ)、自動販売機などのキオスク、スマート家電、車載移動局などであってよい。端末は、様々なオペレーティングシステムを実行できる。
【0020】
本明細書で用いられているように、クライアントとは、サーバと通信する端末を指す。クライアントは、端末上で実行する1または複数のアプリケーションによって端末上に実装されてよい。例えば、クライアントとは、1または複数のネットワークを介してサーバと通信するモバイル端末を指す。モバイル端末は、モバイル端末で1または複数の動作を実行することに関連してサーバと通信するアプリケーション(例えば、クライアントアプリケーション)を実行できる。クライアントは、情報をサーバへ通信できる。いくつかの実施形態において、クライアントからサーバへ通信される情報は、1または複数の要求などを含む。クライアントは、サーバから(例えば、1または複数のネットワークとの通信を介して)情報を受信してもよい。いくつかの実施形態において、クライアントがサーバから受信する情報は、医用画像などの画像に関して実行された画像解析に関する情報を含む。例えば、画像解析に関する情報は、画像の分類、および/または、画像(例えば、医用画像)に少なくとも部分的に基づいて決定された対象データの識別を含む。
【0021】
本明細書で用いられているように、医用画像とは、臓器(例えば、生物の臓器)の表現を含む画像を意味しうる。医用画像は、医用イメージング技術を用いてキャプチャされてよい。一例として、医用イメージング技術は、X線、ガンマ線、核磁気共鳴、または、超音波であってよいが、それらに限定されない。様々な医用イメージング技術が、異なる対象臓器に対応する医用画像をキャプチャするために用いられてよい。一例として、医用画像内に表現が提供される臓器は、患者(例えば、人間、動物、生物、など)の体内の臓器を含みうる。臓器の例は、脳、心臓、肺、などを含む。
【0022】
本明細書で用いられているように、強化学習とは、期待される利益を得るために環境に基づいた行動を取ることのできるタイプの学習を指す。
【0023】
本明細書で用いられているように、エンコーダ・デコーダモデルとは、深層学習におけるモデルフレームワークを指す。エンコーダ・デコーダモデルは、2つの部分(すなわち、エンコーダネットワークおよびデコーダネットワーク)に分けることができる。
【0024】
本明細書で用いられているように、UNetとは、畳み込みニューラルネットワークを指す。UNetは、2つの部分(すなわち、特徴抽出に関連して用いられる前半部分、および、アップサンプリングに関連して用いられる後半部分)に分けることができる。
【0025】
本明細書で用いられているように、ピラミッド・シーン・パーシング・ネットワーク(PSPNet)とは、グローバルコンテキスト情報機能を利用するために異なる領域に基づいてコンテキスト情報を集約するネットワークを指す。
【0026】
本明細書で用いられているように、DeepLabV3+(DeepLab)とは、深層畳み込みニューラルネットワーク(DCNN)および確率的グラフィカルモデル(DenseCRF)を組み合わせた方法を指す。DeepLabは、Atrous空間ピラミッドプーリングモジュールを提示する。Atrous空間ピラミッドプーリングモジュールは、特徴を取得するために、マルチスケール畳み込み特徴を探し、画像層に基づいてグローバルバックグラウンドを符号化することに関連して用いられる。
【0027】
本明細書で用いられているように、resnextとは、均質なニューラルネットワークを指す。resnextは、同じ位相構造を用いる複数のブランチを備える。各ブランチによって生成される特徴マップのチャネルの数は、nである。
【0028】
本明細書で用いられているように、Atrous空間ピラミッドプーリング(ASPP)構造とは、マルチスケール情報を用いてセグメンテーション結果をさらに強化するモジュールを指す。
【0029】
本明細書で用いられているように、剛体変換とは、オブジェクトの位置(平行移動変換)および方向(回転変換)のみが変更されるが形状は変化しないオブジェクトの変換を指す。
【0030】
本明細書で用いられているように、アフィン変換とは、グラフィックの任意の傾斜と、2方向でのグラフィックの任意の拡大または縮小とを含む変換を指す。
【0031】
本明細書で用いられているように、モデルとは、画像を解析するためのプロセスなど、定義されたプロセスのことを指しうる。モデルは、プロセスを実行するための1または複数の条件または命令を含んでよい。
【0032】
様々な実施形態によると、データ処理のための方法が提供されている。データ処理のための方法は、医用画像などの画像に解析を実行する工程を備えてよい。医用画像は、医用画像を分類しならびに/もしくは医用画像内の(例えば、キャプチャされた対象臓器上の)異常またはその他の疾患を識別する情報を提供することに関連して処理されてよい。医用画像は、対象データ(医用画像の特定の領域に関する情報など)を取得するために処理されてよい。いくつかの実施形態において、医用画像の処理は、1または複数の病変領域および/または臓器領域(例えば、人間の臓器領域)を抽出する工程を備える。1または複数の病変領域および/または臓器領域の抽出は、医用画像のセグメンテーションと、医用画像または医用画像のセグメント化された部分の定量的解析とに少なくとも部分的に基づいてよい。図面内のフローチャートで図示する工程は、コマンドを実行できるコンピュータのグループなど、コンピュータシステムにおいて実行されうることに注意されたい。さらに、論理的順序がフローチャートに図示されているが、図示または記載されている工程は、いくつかの状況において、ここに示した以外の順序で実行されてもよい。
【0033】
図1は、本願の様々な実施形態に従って、端末を示すハードウェア構造ブロック図である。
【0034】
様々な実施形態によると、端末100は、
図2の処理200、
図4の処理400、
図5の処理500、
図6の処理600、
図7のインターフェース700、および/または、
図8のインターフェース800、の内の少なくとも一部を実装する。
【0035】
図1に示すように、端末100は、1または複数のプロセッサ102(図では、102a、102b、・・・、102nと示されている)を備えてよい。プロセッサ102は、マイクロプロセッサ(MCU)またはプログラマブルロジックデバイス(FPGA)などの処理手段を含みうるが、これらに限定されない。端末100は、データ(例えば、情報、実行可能な命令、医療情報、医療情報の定量的解析に関するデータ、など)を格納するためのメモリ104と、通信機能のための通信モジュール106と、を備えてよい。端末100は、ディスプレイデバイス、入力/出力インターフェース(I/Oインターフェース)、ユニバーサルシリアルバス(USB)ポート(バスポートの中の1つのポートとして備えられてよい)、ネットワークインターフェース、電源、および/または、カメラを備えてよい。
図1の端末100は、例示であり、上述の電子デバイスの構造に制約を課すものではない。例えば、端末100は、
図1に示すよりも多いまたは少ない構成要素を備えてもよいし、
図1に示す構成とは異なる構成を有してもよい。
【0036】
1または複数のプロセッサ102および/またはその他のデータ処理回路は、一般に、本明細書では「データ処理回路」と呼ばれうることに注意されたい。データ処理回路の全部または一部が、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組みあわせとして実施されてよい。さらに、データ処理回路は、単一の独立した処理モジュールであってもよいし、端末100と完全にまたは部分的に一体化された他の構成要素のいずれかであってもよい。本願の様々な実施形態のデータ処理回路は、或る種のプロセッサ制御(例えば、インターフェースに接続するための可変抵抗端末パスの選択)として用いられる。
【0037】
メモリ104は、アプリケーションソフトウェアのソフトウェアプログラムおよびモジュールを格納するために用いられてよい(例えば、本願の様々な実施形態に従って医用画像を処理するための方法など、データ処理のための方法に対応するプログラム命令/データ格納手段)。メモリ104に格納されているソフトウェアプログラムおよびモジュールの実行に関連して、プロセッサ102は、様々な関数アプリケーションよびデータ処理を実行する(例えば、プロセッサは、本願の様々な実施形態に従って医用画像を処理するための方法を実行する)。メモリ104は、高速ランダムアクセスメモリを含みうる。メモリ104は、1または複数の磁気ストレージデバイス、フラッシュメモリ、または、その他の不揮発性ソリッドステートメモリなど、不揮発性メモリを含む。いくつかの実施形態において、メモリ104は、プロセッサ102に対してリモートに配置されたメモリを含む。かかるリモートメモリは、1または複数のネットワークを介して端末100に接続されていてよい。上述のネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、それらの組み合わせを含むが、これらに限定されない。
【0038】
通信モジュール106は、情報(例えば、医用画像に関する情報など)を、ネットワーク(例えば、有線ネットワークおよび/または無線ネットワーク)を介して受信および/または送信するよう構成されていてよい。ネットワークの例は、無線ネットワーク(Bluetooth(登録商標)、WiFi、セルラーネットワーク、無線パーソナルエリアネットワーク(WPAN)、無線ローカルエリアネットワーク(WLAN)、無線ワイドエリアネットワーク(WWAN)、無線メトロポリタンエリアネットワーク(WMAN)、など)を含む。いくつかの実施形態において、通信モジュール106は、ネットワークインターフェースコントローラ(NIC)を備えており、これは、基地局などを介して他のネットワークに接続することにより、インターネットと通信することができる。いくつかの実施形態において、通信モジュール106は、高周波(RF)モジュールを備えており、そのモジュールは、インターネットと無線通信するよう構成されている。
【0039】
ディスプレイデバイスは、例えば、タッチスクリーン液晶ディスプレイ(LCD)であってよい。液晶ディスプレイは、ユーザが、端末100(例えば、モバイル端末)のユーザインターフェースと相互作用することを可能にしうる。いくつかの実施形態において、ディスプレイデバイスは、医用画像および/または医用画像の定量的解析に関する情報(例えば、対象領域など)が提供されるユーザインターフェースを表示するように制御される。ディスプレイデバイスは、端末100に一体化されてもよいし、端末100へ動作可能に接続されてもよい。
【0040】
様々な実施形態によれば、端末100は、ハードウェア構成要素(例えば、回路を含む)、ソフトウェア構成要素(例えば、コンピュータ読み取り可能な媒体に格納されているコンピュータコードを含む)、もしくは、ハードウェア構成要素およびソフトウェア構成要素の両方の組みあわせ、を備える。
図1は、上述のコンピュータデバイス(またはモバイルデバイス)内に存在しうる構成要素のタイプを提示する目的で示した特定の具体的な実施形態の一例にすぎないことに注意されたい。
【0041】
様々な実施形態が、データ処理のための方法を提供している。データ処理は、医用画像が、キャプチャされた対象臓器における異常またはその他の疾患の兆候を含むか否かを判断することなどに関連して、医用画像を処理することを含んでよい。いくつかの実施形態において、医用画像は、医用画像に定量的解析を実行することに関連して処理される。例えば、医用画像は、1または複数の対象領域(例えば、病変領域および/または臓器領域)を決定するために処理されてよい。対象領域に関する情報は、端末上のユーザインターフェースを介してユーザに提供されてよい。いくつかの実施形態において、データ処理の結果は、クライアントで(例えば、端末のユーザインターフェース上で)ユーザに提供される。データ処理の結果は、結果が提供されるクライアントにとってリモートである1または複数の端末によって生成されてよい(例えば、データ処理が実行されてよい)。例えば、データ処理は、ウェブサービスなどのサーバによって実行されてよい。
【0042】
図2は、本願の様々な実施形態に従って、データ処理のための方法を示すフローチャートである。
【0043】
様々な実施形態によると、処理200が、
図1の端末100によって実行される。
図7のインターフェース700および/または
図8のインターフェース800が、処理200に関連して実装されてよい。
【0044】
工程210において、対象画像が取得される。いくつかの実施形態において、対象画像は、医用画像である。いくつかの実施形態において、対象画像は、端末(サーバなど)によって取得される。一例として、対象画像は、クライアントを介してユーザによってアップロードされてよい。別の例として、サーバは、医用イメージング技術を提供する装置から、または、その装置が対象画像を格納するストレージから、直接的に対象画像を取得してもよい。サーバは、画像解析および/または医療診断サービスなど、データ処理に関連付けられているウェブサービスを提供するよう構成されていてよい。
【0045】
様々な実施形態によると、クラウドサーバが、認識される画像(例えば、対象画像)を受信する。画像を受信したことに応じて、および/または、クライアントを介するなどして画像に関するデータ解析を実行するための要求を受信したことに応じて、クラウドサーバ(または別の関連サーバ)は、画像を処理してよい。認識される画像は、処理された医用画像または処理される医用画像であってよい。医用画像の処理は、第2医用画像を取得するために患者データから取得された第1医用画像をマスクする工程、および/または、認識される画像を取得するために第2医用画像にフィルタを適用する工程、を含んでよい。
【0046】
第1医用画像は、医用イメージング技術によって取得された対象臓器の画像に対応してよい。例えば、医用イメージング技術は、X線、ガンマ線、核磁気共鳴、超音波、などであってよいが、それらに限定されない。様々な医用イメージング技術が、異なる対象臓器に用いられてよい。本願は、この点で具体的な制約を課さない。CT(コンピュータ断層撮影)画像である第1医用画像の例が、説明のために用いられている。対象臓器は、患者の体内の臓器であってよい。例えば、臓器は、脳、心臓、または、肺、などであってよい。患者は、人間の患者、動物、などであってよい。
【0047】
工程220において、対象領域画像が、対象画像からセグメント化される。いくつかの実施形態において、対象領域画像は、対象画像の対象物領域を含む。サーバが、対象領域画像を取得するために、対象画像を処理/フィルタリングしてよい。いくつかの実施形態において、対象領域画像は、画像解析(例えば、医用画像内の特定の臓器を決定/識別する解析)に少なくとも部分的に基づいてセグメント化される。医用画像内の臓器の特定のタイプは、医用画像に対して実行された画像解析に基づいて(自動的に)決定されてよく、または、臓器のタイプは、医用画像の処理を実行するための要求に関連して、クライアント上に提供されているユーザインターフェースを介するなどして、画像解析の前に識別されてもよい。いくつかの実施形態において、医用画像の処理を実行するための要求は、特定のタイプのセグメンテーションモデル、または、実行される画像解析を示す。データ処理の実行に利用されおよび/または画像が提供されるウェブサービスが、特定の臓器のためのセグメンテーションモデルを実装するよう特に構成されていてよい。
【0048】
一例として、対象領域画像が肺領域画像である場合、対象画像から対象領域画像をセグメント化する工程は、肺セグメンテーションモデルを用いて、対象画像から肺領域画像をセグメント化する工程を含む。
【0049】
様々な実施形態によると、臓器固有のセグメンテーションモデルが、深層学習ベースのセグメンテーションネットワークを用いた機械学習モデルのトレーニングに少なくとも基づいて構築される。例えば、肺セグメンテーションモデル(例えば、肺に固有のセグメンテーションモデル)が、肺セグメンテーションモデルを取得するために、深層学習ベースのセグメンテーションネットワークをトレーニングし、学習済みの事前知識から肺形状情報および肺局所空間ピクセル情報を用いて第1損失関数を構築し、第1損失関数を用いて肺セグメンテーションモデル学習を導きつつ、敵対的生成ネットワークを用いて肺の情報(例えば、平均的な形状、平均サイズ、平均的な色などの肺に関する情報、および/または、肺の特徴に関する統計情報)の事前知識を学習することに少なくとも部分的に基づいて構築されてよい。いくつかの実施形態において、臓器に関する情報(例えば、肺情報)は、患者の1または複数の特徴(年齢など)にマッピングされる。臓器に関する情報は、正常な臓器(例えば、異常を持たない臓器、または、疾患に罹っていない臓器、など)を規定する範囲(サイズの範囲、色のバリエーション、など)を含んでよい。
【0050】
一例として、肺の場合、肺の色は、一般に、肺炎のCT画像では白く見える。しかしながら、肺の白くなった外観は、肺領域と周辺組織とを極度に区別しにくい。人間の肺の輪郭は、(例えば、プロファイル(年齢など)の類似した患者間では)おおよそ同様であるので、様々な実施形態が、肺の形状の事前知識を学習するために用いられる敵対的生成ネットワークを備える。敵対的生成ネットワークは、(例えば、対象画像から臓器を識別することなどに関連して用いるための)機械学習モデルをトレーニングするために用いられてよい。深層学習ベースのセグメンテーションネットワークをトレーニングすることに関連して、臓器情報(例えば、事前形状情報および局所空間ピクセル情報など、臓器を規定する情報)が、第1損失関数を構築するために用いられる。第1損失関数は、肺セグメンテーションモデルの学習を導くことに関連して用いられてよい。臓器のためのセグメンテーションモデルは、臓器病理学に関する情報に少なくとも部分的に基づいている(例えば、モデルは、臓器に関連付けられている病理学の基礎を提供するデータセットを用いてトレーニングされる)。したがって、トレーニングされた肺セグメンテーションモデルは、良好な病理学的肺セグメンテーション結果を提供する。
【0051】
様々な実施形態によると、対象領域は、対象臓器内の病変の可能性がある領域に対応する。病変の可能性のある領域は、炎症が起きている対象臓器の領域または対象臓器の感染領域に対応しうる。病変の可能性のある領域は、対象臓器の統計的表現(例えば、患者における統計的に関連のあるセグメントの範囲内で定義された閾値、など)に少なくとも部分的に基づいて規定されてよい。いくつかの実施形態において、対象領域は、対象臓器から抽出される特定領域に対応する。特定領域は、正常な臓器の組織とは異なる(例えば、1または複数の閾値などに従って統計的に異なる)領域に対応してよい。
【0052】
工程230において、対象領域画像が取得される。いくつかの実施形態において、対象領域画像は、(例えば、対象画像を解析するための)機械学習モデルの利用に少なくとも部分的に基づいて取得される。一例として、機械学習モデルは、解析されている臓器(例えば、医用画像内の臓器)に固有であってよい。機械学習モデルは、解析されている臓器に少なくとも部分的に基づいて選択されてよい。サーバが、対象領域画像を認識するための機械学習モデルを実装してよい。いくつかの実施形態において、認識結果が、機械学習モデルを用いて対象画像を解析することに少なくとも部分的に基づいて取得される。
【0053】
工程240において、患者が対象疾患を有するリスクの測度が決定される。いくつかの実施形態において、リスクの測度は、対象画像の解析を実行するコンピュータ(サーバなど)によって取得される。例えば、リスクの測度は、機械学習モデルによる解析または機械学習モデルの利用に少なくとも部分的に基づいて決定されてよい。リスクの測度は、(例えば、機械学習モデルを用いて取得された)対象領域画像を用いて決定されてよい。いくつかの実施形態において、対象疾患の診断に対応するイメージングエビデンスが、決定され、ならびに/もしくは、患者または医療従事者に提供される。イメージングエビデンスは、感染領域を示唆または識別するヒートマップなどを含んでよい。
【0054】
様々な実施形態によると、患者が対象疾患を有するリスクの測度は、確率を含む。リスクの測度は、患者が対象疾患を有するリスクの測度に関する信頼度(例えば、信頼区間)も含んでよい。リスクの測度は、異なる対象疾患にそれぞれ対応する1または複数の確率を含んでもよい。対象画像および/または対象領域画像の解析または処理に関連付けられている認識結果は、患者が1または複数の対象疾患を有するリスクの1または複数の測度を含んでよい。リスクの測度の決定は、特定の対象疾患を有する臓器に関連付けられている1セットの医用画像および/または特定の疾患を有していない臓器(正常に機能している臓器)に関連付けられている1セットの医用画像を用いたモデル(例えば、機械学習モデル)のトレーニングに基づいていてよい。
【0055】
様々な実施形態によると、認識結果は、異なる対象臓器に対して事前に設定される。異なる対象臓器が、異なる認識結果または1セットの認識結果に対応しうる。例えば、臓器に対する認識結果のマッピングが、(例えば、対象領域画像の取得または機械学習モデルを用いた対象画像の解析の前に)規定/格納されてよい。
【0056】
様々な実施形態によると、機械学習モデルは、トレーニング済みモデルであってよく、または、機械学習モデルは、強化学習モデルであってもよい。本願の実施形態において、トレーニング済みモデルの例は、説明のために用いられている。第1機械学習モデルは、「エンコーダ・デコーダ」構造を用いてよく、その構造に従って、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力に対応してよい。いくつかの実施形態において、エンコーダネットワークおよびデコーダネットワークの両方の内の1以上が、三次元畳み込み層を用いる。一例として、エンコーダネットワークおよびデコーダネットワークの両方が、三次元畳み込み層を用いる。例えば、機械学習モデルは、三次元ネットワークモデルであってよい。いくつかの実施形態において、エンコーダネットワークは、resnext50ネットワークアーキテクチャを用いる。デコーダネットワークは、ASPP構造およびアップサンプリング層を備えてよく、分類ネットワークは、一連の畳み込み層およびグローバルプーリング層を備えてよい。ただし、エンコーダネットワーク、デコーダネットワーク、および、分類ネットワークは、上述のものには限定されない。
【0057】
いくつかの実施形態において、対象領域画像を認識し、機械学習モデルの利用に少なくとも部分的に基づいて認識結果を取得する工程は、機械学習モデルを用いて、認識される画像(例えば、対象画像)を認識(例えば、解析)し、第1カテゴリ対象である1または複数の確率を認識する工程と、認識結果として第1カテゴリである確率に少なくとも部分的に基づいて認識結果を決定する工程と、を含む。確率は、履歴情報のサンプルセットを用いた機械学習モデルのトレーニングに基づいて決定されてよい(例えば、同様の特徴を有する100サンプル中の75サンプルを含む履歴サンプルセットが疾患も有している場合、決定される確率は、75%になる)。一例として、認識結果は、最高確率に関連付けられているカテゴリに対応してよい。別の例として、機械学習モデルは、第1カテゴリ対象を具体的に識別するようにトレーニングされ、対象画像が第1カテゴリ対象を含む確率および/または対象画像が第1カテゴリ対象を含まない確率を返す。画像の認識は、画像が1または複数の特徴(例えば、1または複数の疾患との統計的な関連など、疾患に関連しうる1または複数の特徴)を有するか否かを判定することに関連して、画像を解析する工程を含んでよい。いくつかの実施形態において、第1カテゴリ対象は、第1対象、第2対象、および、第3対象の内の少なくとも1つを含む。認識結果は、第1対象、第2対象、および、第3対象の内の少なくとも1つが対象画像に含まれる確率にそれぞれ対応する確率のセットを含んでよい。機械学習モデルは、対象認識モデルであってよく、機械学習モデルは、対象画像(例えば、認識される画像)を認識するために用いられてよい。第1カテゴリ対象である確率の認識は、対象認識モデルに少なくとも部分的に基づいて対象画像を処理(例えば、解析)する工程と、(i)対象画像の少なくとも一部が第1対象に対応する確率、(ii)対象画像の少なくとも一部が第2対象に対応する確率、および、(iii)対象画像の少なくとも一部が第3対象に対応する確率の内の1または複数を決定する工程と、を含んでよい。
【0058】
一例として、肺の医用画像の場合、第1カテゴリ対象は、肺疾患に対応してよく、認識される(例えば、決定される)第1カテゴリ対象確率は、非定型肺炎(例えば、第1対象)の確率、一般的な肺炎(例えば、第2対象)の確率、および、その他の肺疾患(例えば、第3対象)の確率を含んでよい。対象の様々なカテゴリが、実施されてよい(例えば、モデルを用いた画像の解析によって規定され識別可能であってよい)。様々なその他の対象が、各カテゴリ内に含まれてもよい。例えば、各カテゴリ内に含まれる対象は、モデルが識別などをするようにトレーニング/規定された対象に対応してよい。
【0059】
いくつかの実施形態において、第1カテゴリの対象確率を決定した後、対象確率は、対象画像(例えば、医用画像)に関連付けて格納される。例えば、対象確率は、画像ファイリング/通信システムへ同期的に転送されてよい。画像ファイリング/通信システムは、認識結果を報告端末(例えば、ユーザインターフェースを介してユーザに認識結果を提供するクライアント端末)へ通信(例えば、同期的に転送)してよい。
【0060】
図3は、本願の様々な実施形態に従って、データ処理のための方法に関連して用いられるデバイスを示すブロック図である。
【0061】
様々な実施形態によると、システム300は、
図2の処理200、
図4の処理400、
図5の処理500、
図6の処理600、
図7のインターフェース700、および/または、
図8のインターフェース800、の内の少なくとも一部を実装する。システム300の少なくとも一部は、
図1の端末100によって実装されてよい。
【0062】
図3を参照すると、システム300は、CT装置310と、PACSサーバ320と、クライアント端末330と、フロントエンドプロセッサ340と、AI支援型疾患診断解析サービス350と、を備える。システム300は、CTスキャンに対応する医用イメージング技術の文脈で説明されているが、様々なその他の医用イメージング技術が実装されてもよく、様々なタイプの医用画像が取得されてよい。したがって、いくつかの実施形態において、CT装置310は、様々なその他のイメージング技術に対応してもよい。
【0063】
様々な実施形態によると、CT装置310は、患者のイメージングを実行する。患者のイメージングに関連して、CT装置310は、画像(医用画像など)を取得(例えば、生成)する。CT装置310は、患者および/または患者のイメージングに関する画像およびその他の情報を格納してよい。例えば、CT装置310は、画像およびかかるその他の情報をローカルにならびに/もしくはネットワークまたはリモートストレージに格納してよい。
【0064】
CT装置310が患者のイメージングを完了した後、医用イメージングデータ(例えば、患者および/または患者のイメージングに関する医用画像および/または情報)は、画像保管通信システム(PACS)サーバ320などのサーバに送信される。PACSサーバ320は、画像ファイリング/通信システムに対応しうる。PACSサーバ320は、医用イメージングデータを患者に対応する電子カルテに関連付けてよい。いくつかの実施形態において、PACSサーバ320は、電子カルテシステムのためのデータベースを格納する。PACSサーバ320は、複数のサーバを含んでよい。PACSサーバ320は、クライアント端末330および/またはフロントエンドプロセッサ340に接続されてよい。例えば、PACSサーバ320は、1または複数のネットワーク(例えば、有線、無線、など)を介して、もしくは、1または複数のサーバを介して、クライアント端末330および/またはフロントエンドプロセッサ340に接続されてよい。
【0065】
フロントエンドプロセッサ340は、PACSサーバ320から医用画像を取得してよい。いくつかの実施形態において、フロントエンドプロセッサ340は、医用画像を処理および/または解析するための要求に応じて、PACSサーバ320から医用画像を取得する。例えば、ユーザが、クライアント端末330上に提供されたユーザインターフェースを介して、医用画像を処理および/または解析するための要求を入力してよい。フロントエンドプロセッサ340は、医用画像を処理するよう構成されていてよい。例えば、フロントエンドプロセッサ340は、キャプチャされた医用画像に、データマスキング、データフィルタリング、および、その他のかかるタスクを実行してよい。いくつかの実施形態において、フロントエンドプロセッサ340は、CT装置310が医用イメージングを実行したことに応じて医用画像を処理する。いくつかの実施形態において、フロントエンドプロセッサ340は、キャプチャされた医用画像に対するデータマスキング、データフィルタリング、および、その他のかかるタスクを完了した後に、1または複数の端末(パブリッククラウドに対応するサーバなど)に処理済みの医用画像データを提供する。例えば、フロントエンドプロセッサ340は、パブリッククラウドに対応するサーバ(例えば、ウェブサービスに関連付けられているサーバ)へ処理済みの医用画像を通信してよい。
【0066】
フロントエンドプロセッサ340が医用画像を処理した後に、処理済みの医用画像の解析がトリガされてよい。例えば、フロントエンドプロセッサ340がパブリッククラウドに医用画像を提供したことに応じて、AI支援型疾患診断解析サービス350がトリガされる(例えば、呼び出される)。別の例として、AI支援型疾患診断解析サービス350は、クライアント端末330によって提供されているユーザインターフェースを介してユーザから要求が受信されたことに応じて、トリガされる(例えば、呼び出される)。様々な実施形態によると、トリガに応じて、AI支援型疾患診断解析サービス350は、医用画像に対する解析を実行させられる。いくつかの実施形態において、トリガに応じて、AI支援型疾患診断解析サービス350は、医用画像の解析の結果(例えば、患者が1または複数の疾患を有するリスクの測度の示唆、など)を提供する。
【0067】
様々な実施形態によると、AI支援型疾患診断解析サービス350は、医用画像の解析に関する情報(例えば、認識結果)を含む応答を提供する。AI支援型疾患診断解析サービス350は、認識された1または複数の第1カテゴリ対象確率を取得した後に、応答を提供してよい。AI支援型疾患診断解析サービス350は、フロントエンドプロセッサ340へ応答を提供してよい。AI支援型疾患診断解析サービス350が応答(例えば、AI支援型疾患診断解析サービス350からの認識結果)を提供したことに応じて、フロントエンドプロセッサ340は、認識結果を取得し、そして、フロントエンドプロセッサ340は、PACSサーバ320へ認識結果を転送(例えば、同期的に転送)してよい。いくつかの実施形態において、認識結果は、医用画像に関連付けて格納される。例えば、認識結果を(例えば、フロントエンドプロセッサ340から)受信したことに応じて、PACSサーバ320は、対応する医用画像に関連付けて(例えば、マッピングして)認識結果を格納してよい。認識結果に関してAI支援型疾患診断解析サービス350によって通信される情報は、さらに、認識結果が対応する医用画像の示唆(例えば、医用画像の識別子、患者の識別子、など)を含んでもよい。
【0068】
様々な実施形態によると、PACSサーバ320は、クライアント端末330に認識結果を提供(例えば、同期的に通信)する。例えば、PACSサーバ320は、医師が認識結果をすぐに取得できるように、認識結果をクライアント端末へ通信する。いくつかの実施形態において、PACSサーバ320は、(例えば、認識結果を送信するのではなく)認識結果が利用可能である旨の示唆をクライアント端末330に提供する。例えば、クライアント端末330は、ウェブサービスを介して認識結果および/または医用画像にアクセスしてよい。いくつかの実施形態において、認識結果の通信は、認識結果、または、結果にアクセス可能である旨の示唆と共に、メールをユーザ(例えば、医師)に送信することを含む。いくつかの実施形態において、認識結果の通信は、ウェブサービスを提供するためのアプリケーションにおいてウェブサービスのユーザに通知を送信することを含む。
【0069】
医師またはその他の医療従事者は、第1カテゴリ対象に対応する治療法を迅速に決定(例えば、取得)しうる(例えば、医用画像が対応する疾患の存在を示唆することを、認識結果が示している場合)。第1カテゴリ対象に対応する治療法は、データベース(病院のデータベース、または、ウェブサービスに関連してホストされているデータベース、など)に格納されているイメージング解析結果および対応する治療法から取得されてよい。様々な実施形態によると、データベースは、治療法に対するイメージング解析結果(例えば、認識結果、リスクの測度、など)のマッピングを格納している。1つのタイプのイメージング解析結果が複数の治療法に対応する場合、医師またはその他の医療従事者は、患者に適した治療法を選択するために複数の治療法をスクリーニングしてよい。例えば、医師またはその他の医療従事者がイメージング解析結果および/または治療法を閲覧する際に用いるアプリケーションは、患者の1または複数の特徴(例えば、年齢、病歴、処方薬、アレルギー、医療保険会社、など)に従って複数の治療法をフィリタリングできるフィルタリング機能を備えてよい。いくつかの実施形態において、ウェブサービスは、イメージング解析結果、対応する治療法、ならびに/もしくは、患者の1または複数の特徴を解析して、医師またはその他の医療従事者に推奨を提供する。いくつかの実施形態において、医師またはその他の医療従事者は、適応患者の病状に合わせて治療法をカスタマイズするために、治療法を編集してよい。医師またはその他の医療従事者は、クライアント端末330への1または複数の入力を介して、治療法を編集してよい。クライアント端末330で実行しているアプリケーション、または、サービスによってホストされているウェブサービスは、医師またはその他の医療従事者によって入力された1または複数の入力に少なくとも部分的に基づいて、治療法を編集してよい。
【0070】
医師またはその他の医療従事者の作業効率が、本明細書に記載の実施形態によって改善されうる。さらに、疾患診断の精度と、患者のための治療法の開発が改善されうる。上記のスキームが、スクリーニングの速度および精度の観点で多大な利点を提供し、大多数の医師による手動での画像の読み取りよりもはるかに優れていることが、実践によって証明された。さらに、深層学習が継続するのに伴って、画像読み取りの精度は高まり続ける。放射線科医および/またはその他の医療従事者への負荷を低減することに加えて、様々な実施形態は、診断および治療の効率を高める。様々な実施形態によって提供されているデータ処理方法は、医師および/またはその他の医療従事者が、複数種類の特定の疾患(肺炎、肺気腫、および、肺がんなど)に関する正確な評価を行うのに役立つ。様々なその他の疾患が、解析および/または特定されてもよい。様々な実施形態が、継続的な認識カテゴリの増大および品質の向上に関連して深層学習を利用する。様々な実施形態は、基本的な医療サービス能力における現在の欠陥を是正し、大規模に病院(例えば、基本レベルの病院)の診断の質を高めるための技術的サポートを提供しうる。本願の様々な実施形態によって提供されているデータ処理方法は、病院のイメージング部門における既存のシステムのワークフローに影響を与えることなしに、医師および/またはその他の医療従事者の画像読み取り効率および利便性を改善する。したがって、様々な実施形態は、医師の作業効率を大幅に高める。
【0071】
様々な実施形態によると、機械学習モデルが、画像を解析する(例えば、自動的に認識または解析する)。機械学習モデルに少なくとも部分的に基づいた画像(例えば、医用画像)の認識は、認識される画像(例えば、対象画像)を受信する工程と、対象画像からの対象領域画像をセグメント化する工程であって、対象領域画像は、対象画像内の対象物領域を含む、工程と、機械学習モデルを用いて、対象領域画像を決定(例えば、認識)する工程と、対象領域画像に少なくとも部分的に基づいて認識結果(例えば、リスクの測度)を取得する工程と、を備える。医用画像を解析することに関連して機械学習モデルを利用することで、自動画像解析および認識の目標を達成し、それによって画像解析効率を高める。様々な実施形態が、関連技術で画像解析の効率が低いという技術的課題を解決する。
【0072】
現在、現行のスキームに従った病変セグメンテーションの精度は比較的低く、関連技術に従ったスキームの結果として、病変領域の不正確なセグメンテーションが起きる。したがって、より正確なセグメンテーション結果は、現行のスキームでは不可能である。データ処理の様々な実施形態は、現行のスキームに関する先述の課題を解決する。様々な実施形態は、機械学習モデルの実装を含む。機械学習モデルは、病変セグメンテーションモデルであってよい。いくつかの実施形態において、画像(例えば、医用画像)の解析に関連付けられている病変セグメンテーションモデルの利用は、病変セグメンテーションモデルに少なくとも部分的に基づいて対象画像内の病変をセグメント化する工程と、病変(例えば、対象画像の解析に基づいて特定された病変)の位置およびサイズを決定する工程と、を含む。様々な実施形態によると、対象画像は、病変に関する情報で注釈を付される(または、その情報に関連付けられる)。いくつかの実施形態において、病変位置のラベルが(例えば、対象画像に)追加される。病変に関する特徴が決定されてよい。例えば、対象画像に対する病変の体積の割合が決定(例えば、計算)されてよい。病変の体積は、病変サイズ(例えば、対象画像または対象画像内の臓器に対する比較/割合での病変のサイズ)に基づいて決定されてよい。対象画像に対する病変の体積は、認識結果とみなされてよい。別の例として、病変の色、形状、位置などが決定されてもよい。
【0073】
様々な実施形態が、病変の定量的解析を含んでおり、医師が患者の疾患をより良く診断して治療する助けとして用いられる。病変の位置にラベル付けし、病変の特徴(対象領域画像(または対象臓器)に対する病変の体積の割合など)を決定(および提供)することは、医師またはその他の医療従事者が患者の疾患に関するデータをより迅速に取得または決定することに役立ちうる。
【0074】
図4は、本願の様々な実施形態に従って、データ処理のための方法を示すブロック図である。
【0075】
様々な実施形態によると、処理400が、
図1の端末100によって実行される。
図7のインターフェース700および/または
図8のインターフェース800が、処理400に関連して実装されてよい。処理400は、
図3のシステム300に関連して実施されてよい。
【0076】
図4に示すように、(例えば、上述の医用画像に対応する)CT画像410が、CT装置(
図3のCT装置310など)の利用など、医用イメージングの実装に少なくとも部分的に基づいて取得される。CT装置が患者(例えば、患者の少なくとも対象臓器)のイメージングを完了した後、CT画像410が取得および格納されてよい。一例として、対象臓器が肺である場合、肺疾患病変セグメンテーションモデルが、肺領域画像をセグメント化するために用いられてよい。いくつかの実施形態において、肺疾患病変セグメンテーションモデルは、病変の特徴(病変の位置、体積、サイズ、など)を特定および/またはラベル付けすることに関連して用いられてよい。病変または病変位置が(例えば、対象画像または対象領域画像上に)ラベル付けされてよく、対象領域画像内の病変の体積の割合が決定されてよい。
【0077】
いくつかの実施形態において、病変セグメンテーションモデル(例えば、
図4の肺病変セグメンテーションモデル440などの肺病変セグメンテーションモデル)は、トレーニング済みモデルまたは強化学習モデルであってよい。肺セグメンテーションモデルは、対象画像内の病変を正確にセグメント化する。様々な実施形態によると、病変セグメンテーションモデルは、病変分類を学習するためのマルチタスク深層学習ネットワークを構築し、エンコーディングモジュールを用いて、履歴医用画像内の対象臓器から基本的な特徴を抽出し、抽出された基本的な特徴を用いて、分類タスクを構築し、分類タスクを含む第2損失関数を構築することに少なくとも部分的に基づいて、構築(例えば、決定)される。いくつかの実施形態において、分類タスクは、対象臓器内の病変を分類するタスクである。様々な実施形態によると、第2損失関数は、病変セグメンテーションモデルを取得するために病変セグメンテーションモデルの学習を導く(例えば、情報を与える)ことに関連して用いられる。
【0078】
いくつかの実施形態において、機械学習モデルを用いて、対象領域画像を解析して認識結果を取得した後、認識結果は、クライアント端末(例えば、
図3のクライアント端末330)へ通信され、プロンプトメッセージがトリガされる。プロンプトメッセージのトリガは、クライアント端末上のユーザインターフェースにメッセージの示唆を提供させる工程、および/または、画像解析の結果を見るようにクライアント端末のユーザにプロンプトする工程を含んでよい。プロンプトメッセージは、クライアント端末のユーザに遅延なく認識結果をチェックさせるプロンプトであってよく、または、認識結果内の情報に少なくとも部分的に基づいて警告プロンプトをトリガしてもよい。
【0079】
図4に示すように、様々な実施形態によると、CT画像(例えば、対象画像)は、肺画像セグメンテーションモデル420に少なくとも部分的に基づいて解析/処理される。例えば、肺画像セグメンテーションモデル420は、CT画像410から対象領域(例えば、対象領域画像)をセグメント化することに関連して用いられてよい。対象領域をセグメント化したことに応じて、対応する対象領域は、疾患認識モデル430および/または肺病変セグメンテーションモデル440に少なくとも部分的に基づいて処理されてよい。いくつかの実施形態において、対象領域画像は、患者が、疾患(例えば、モデルに固有の疾患、または、モデルを用いて特定可能な任意の疾患)ならびに/もしくは疾患の1または複数の特徴を有することをCT画像が示すか否かを判定することに関連して、疾患認識モデル430に少なくとも部分的に基づいて解析される。臓器が肺である場合、いくつかの実施形態において、対象領域画像は、肺病変セグメンテーションモデル440に少なくとも部分的に基づいて解析される。肺病変セグメンテーションモデル440は、対象領域画像から肺病変を特定および/またはセグメント化してよい。いくつかの実施形態において、肺病変セグメンテーションモデル440は、対象領域画像に含まれている病変を特徴付ける(例えば、病変に関連付けられている1または複数の特徴を特定する)ことに関連して用いられる。
【0080】
図5は、本願の様々な実施形態に従って、データ処理のための方法を示す図である。
【0081】
様々な実施形態によると、処理500が、
図1の端末100によって実行される。
図7のインターフェース700および/または
図8のインターフェース800が、処理500に関連して実装されてよい。処理500は、
図3のシステム300および/または
図4の処理400に関連して実施されてよい。処理500の少なくとも一部は、1または複数のサーバ(クラウドサーバなど)によって実施されてもよい。
【0082】
一例として肺のCT画像を用いて、
図5を参照しつつ、本願の様々な実施形態の詳細な説明を提供する。患者のCT画像が取得されたことに応じて、CT画像は、肺セグメンテーションモデルに入力されてよい。いくつかの実施形態において、肺セグメンテーションモデルは、エンコーダネットワーク、認識ネットワーク、および/または、デコーダネットワークを備えてよい。例えば、肺セグメンテーションモデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークからの出力は、認識ネットワーク(例えば、分類ネットワーク)およびデコーダネットワークが並列で動作するように、認識ネットワークおよびデコーダネットワークの両方への入力に対応してよい。いくつかの実施形態において、エンコーダネットワークおよびデコーダネットワークの一方または両方が、三次元畳み込み層を用いる。一例として、エンコーダネットワークおよびデコーダネットワークの両方が、三次元畳み込み層を用いる。例えば、第1機械学習モデルは、三次元ネットワークモデルであってよい。いくつかの実施形態において、エンコーダネットワークは、resnext50ネットワークアーキテクチャを用いる。デコーダネットワークは、ASPP構造およびアップサンプリング層を備えてよく、認識ネットワーク(例えば、分類ネットワーク)は、一連の畳み込み層およびグローバルプーリング層を備えてよい。ただし、エンコーダネットワーク、デコーダネットワーク、および、認識ネットワークは、上述のものには限定されない。
【0083】
CT画像が肺セグメンテーションモデルに入力されたことに応じて、CT画像は、エンコーダネットワークに少なくとも部分的に基づいて処理されてよい。例えば、エンコーダネットワークは、CT画像を抽出および処理する。エンコーダネットワークは、CT画像から対象領域の特徴を抽出してよい。対象領域の特徴を取得した後、認識ネットワークは、対象領域の特徴を処理し、画像認識結果を取得するために用いられてよい。対象領域の特徴を取得した後、デコーダネットワークは、対象領域の特徴を処理し、対象領域の画像を抽出するために用いられてよい。対象領域の特徴の処理および対象領域の画像の抽出は、医師および/またはその他の医療従事者が患者の病状を迅速に判断するのを支援し、医師および/またはその他の医療従事者が、患者の病状が深刻またはさらには重篤になることを防ぐために早期の介入および治療を実行するのを容易にする助けとなり、ひいては、死亡率を下げることができる。さらに、様々な実施形態が、パブリッククラウドベースの配備スキームとして実装されてよい。このように、医用画を処理するための方法およびシステムは、簡便、高速、および、柔軟である。いくつかの実施形態において、手動でのトリガは、解析プロセスを通して必要とされない。様々な実施形態が、病院内に迅速に配備されてよく、非常に効率的である。
【0084】
様々な実施形態によると、医用画像内の対象領域の第1画像(例えば、対象領域画像)を取得した後、画像解析は、第2機械学習モデルを用いて、医用画像を処理して対象臓器の第2画像を取得する工程を含む。第2機械学習モデルは、医用画像を取得し、医用画像を病変セグメンテーションモジュールに入力し、病変および/または対象臓器の画像を取得することを含む。いくつかの実施形態において、病変セグメンテーションモジュールは、病変の画像を取得して、医用画像および病変画像に少なくとも部分的に基づいて、対象臓器における対象領域(例えば、病変)の割合を取得するために、医用画像をエンコーダネットワークに入力し、病変に関する特徴情報を取得し、病変に関する特徴情報をデコーダネットワークに入力することを含め、医用画像を処理する。
【0085】
様々な実施形態によると、医用画像解析システムが、本明細書に記載のデータ処理および/または画像解析を実施することに関連して提供されている。システムは、患者の第1医用画像をキャプチャするよう構成されている医用イメージング装置(例えば、CT装置)を備えてよい。システムは、第2医用画像を取得するために第1医用画像にデータマスキングを実行し、認識される画像(例えば、対象画像)を取得するためにデータフィルタリングに少なくとも部分的に基づいて第2医用画像を処理し、認識される画像を解析装置に提供するよう構成されているフロントエンドプロセッサを備えてよい。システムは、認識される画像(例えば、対象画像)を受信し、認識される画像から対象領域画像をセグメント化し、対象領域画像を解析して認識結果を取得することに関連して機械学習モデルを利用するよう構成されている解析装置を備えてよい。対象領域画像は、認識される画像内の対象物画像を含んでよい。
【0086】
いくつかの実施形態において、システムの解析装置は、さらに、認識結果を画像ファイリング/通信システム(例えば、サーバ)へ同期的に通信し、および/または、認識結果をクライアント端末に提供して、プロンプトメッセージ(例えば、クライアント端末のユーザインターフェースに表示されるプロンプトメッセージ)を通信させるよう構成される。
【0087】
図6は、本願の様々な実施形態に従って、データ処理のための方法を示すフローチャートである。
【0088】
様々な実施形態によると、処理600が、
図1の端末100によって実行される。
図7のインターフェース700および/または
図8のインターフェース800が、処理600に関連して実装されてよい。
【0089】
工程610において、対象画像が取得される。いくつかの実施形態において、対象画像は、医用画像である。いくつかの実施形態において、対象画像は、端末(サーバなど)によって取得される。一例として、対象画像は、クライアントを介してユーザによってアップロードされてよい。別の例として、サーバは、医用イメージング技術を提供する装置から、または、その装置が対象画像を格納するストレージから、直接的に対象画像を取得してもよい。サーバは、画像解析および/または医療診断サービスなど、データ処理に関連付けられているウェブサービスを提供するよう構成されていてよい。
【0090】
いくつかの実施形態において、対象画像は、ユーザの選択または嗜好に少なくとも部分的に基づいて取得される。例えば、ユーザは、クライアント端末に提供されているユーザインターフェースに選択を入力してよい。ユーザは、1または複数の画像(例えば、医用画像)を格納しているファイルシステムをブラウズしてよく、ユーザは、対象画像ソースから対象画像を選択してよい。対象画像ソースは、(例えば、医用イメージング装置によってキャプチャされた)医用画像に関するデータベース(電子カルテのためのデータベースなど)であってよい。
【0091】
様々な実施形態に従って、ユーザは、患者、医師、または、患者へ医療サービス(例えば、診断サービス、治療サービス、など)を提供することに関連して医用画像を見るその他の医療従事者である。いくつかの実施形態において、ユーザは、様々な他の役割を有する個人であってもよい。
【0092】
対象画像ソースは、医用イメージング技術によって取得された対象臓器の医用画像であってよい。対象臓器は、患者の体内の人間の臓器であってよい。例えば、それは、脳、心臓、または、肺などであってよい。患者は、人間の患者、動物、などであってよい。医用イメージング技術は、X線、ガンマ線、核磁気共鳴、または、超音波であってよいが、それらに限定されない。様々なその他の医用イメージング技術が実装されてもよい。
【0093】
工程620において、対象画像解析プロセスが選択される。いくつかの実施形態において、対象画像解析プロセスは、データソースを解析するための処理である(例えば、第1医用画像に実行される定量的解析の選択)。対象プロセスは、ユーザによる1または複数の入力(ユーザインターフェースへの入力など)に少なくとも部分的に基づいて選択されてよい。
【0094】
対象画像解析プロセスは、処理アルゴリズムまたは処理方法に対応してよい。対象画像解析プロセスは、システムによって提供された複数の解析プロセス(例えば、処理アルゴリズム)の中から選択されてよい。異なる解析プロセス(例えば、処理アルゴリズム)が、異なるイメージング技術で取得された医用画像のために予め提供されてよい。例えば、イメージング技術に対する解析プロセスのマッピングが格納されていてよい。イメージング技術に対応する解析プロセスのグループが、イメージング技術に対する解析プロセスのマッピングに基づいて決定されてよい。医用画像(例えば、データソース)をキャプチャすることに関連して用いられる画像技術の決定に応じて、ユーザが、解析プロセスのグループ内の一部のプロセスの中から対象プロセスを選択することを可能にするために、解析プロセスのグループ内の少なくとも一部のプロセスがユーザに提供される。解析プロセスは、特定のイメージング技術からキャプチャされた画像を解析するための既存のプロセスを含んでよい。異なる解析プロセスは、異なる処理時間、精度、などを有する。
【0095】
工程630において、対象画像は、対象画像解析プロセスに少なくとも部分的に基づいて処理される。例えば、対象画像解析プロセスは、対象画像(例えば、認識される画像)を処理するために用いられる。対象画像(例えば、認識される画像)に対応する認識結果、および/または、対象画像内の対象データが、対象画像解析プロセスを用いて対象画像を処理することに少なくとも部分的に基づいて取得されてよい。対象画像解析プロセスは、認識結果および/または対象データを取得することに関連して対象画像を処理するために、対象機械学習モデルを呼び出す(例えば、起動する)ことを含んでよい。
【0096】
様々な実施形態によると、対象機械学習モデルは、トレーニング済みモデルまたは強化学習モデルである。本願の実施形態において、トレーニング済みモデルの例は、説明のために用いられている。対象機械学習モデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークの後に、デコーダネットワークと並列の分類ネットワーク(例えば、認識ネットワーク)へ接続してよい。例えば、ネットワークモデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力に対応してよい。いくつかの実施形態において、エンコーダネットワークおよびデコーダネットワークの一方または両方が、三次元畳み込み層を用いてよい。一例として、エンコーダネットワークおよびデコーダネットワークの両方が、三次元畳み込み層を用いる。例えば、対象機械学習モデルは、三次元ネットワークモデルであってよい。いくつかの実施形態において、エンコーダネットワークは、resnext50ネットワークアーキテクチャを用いる。デコーダネットワークは、ASPP構造およびアップサンプリング層を備えてよく、分類ネットワークは、一連の畳み込み層およびグローバルプーリング層を備えてよい。ただし、エンコーダネットワーク、デコーダネットワーク、および、分類ネットワークは、上述のものには限定されない。
【0097】
工程640において、認識結果および/または対象データが提供される。いくつかの実施形態において、認識結果および対象データは、端末のグラフィカルユーザインターフェースを介して提供される。認識結果および対象データは、ユーザ(患者、医師、または、その他の医療従事者、など)に提供されてよい。
【0098】
様々な実施形態によると、認識結果は、1または複数の認識された第1カテゴリ対象確率を含む。肺の医用画像の場合、第1カテゴリ対象は、肺疾患であってよく、第1カテゴリ確率の認識は、非定型肺炎の確率、一般的な肺炎の確率、および、その他の肺疾患の確率を含んでよいが、それらに限定されない。様々なその他の確率が、計算および/または提供されてもよく、解析される対象臓器に少なくとも部分的に基づいて決定されるカテゴリなど、様々なその他の疾患カテゴリが実装されてもよい。
【0099】
様々な実施形態によると、対象データは、対象画像内の病変の体積の割合を含む。様々な実施形態は、医師が患者の疾患のより良い診断および治療を提供する助けになるように病変の定量的解析を含む。
【0100】
様々な実施形態は、対象画像に対して実行される画像解析を選択し/呼び出すことに関連して、および/または、画像解析の結果を閲覧する(例えば、認識結果および/または対象データを表示する)ために、ユーザに提供されているインターフェースを含む。
【0101】
図7は、本願の様々な実施形態に従って、画像を処理することに関連して用いられるインターフェースを示す図である。
【0102】
様々な実施形態によると、インターフェース700が、
図1の端末100によって実装される。インターフェース700は、
図2の処理200、
図4の処理400、
図5の処理500、
図6の処理600、および/または、
図8のインターフェース800に関連して実装されてよい。
【0103】
図7に示すように、インターフェース700は、医用画像が入力(または選択)されてよいエリア720および/または結果表示エリア750を備えてよい。インターフェース700は、選択された時に、実行されるべき1または複数の機能またはプロセスを呼び出す選択可能な要素730および/または要素740を備えてよい。要素730は、(例えば、医用画像/対象画像の処理を呼び出すために)定量的処理に対応していてよい。要素740は、(例えば、2つの医用画像の間の比較を呼び出すために)画像比較に対応していてよい。いくつかの実施形態において、要素740は、画像解析の実行を引き起こす機能、または、画像解析の結果(患者の疾患に関するリスクの測度など)を取得するための機能に対応する。
【0104】
いくつかの実施形態において、医用画像(例えば、対象画像)は、エリア720とのユーザ相互作用(例えば、エリア720に対するユーザ入力)を通して取得される。一例として、インターフェース700は、1または複数の選択可能な要素を備えてよく、要素に関して、ユーザは、医用画像、または、医用画像に対して実行される機能を選択してよい。いくつかの実施形態において、インターフェース700は、ユーザ入力を介した選択に応じて、ユーザが医用画像をアップロードするのを容易にするよう構成されている要素710を備える。一例として、要素710の選択に応じて、ユーザが所望の医用画像を選択するためにファイルシステムを閲覧することを可能にする別のインターフェースまたはウィンドウ(例えば、フローティング要素)が表示されてよい。別の例として、要素710の選択に応じて、ユーザが所望の医用画像を選択する元となる1セットの複数の画像をユーザに提供する別のインターフェースまたはウィンドウ(例えば、フローティング要素)が表示されてもよい。様々な実施形態によると、医用画像をアップロードする目的を達成するために、ユーザは、「医用画像をアップロード」(例えば、要素710)をクリックすることによって、アップロードの必要のある医用画像を選択してよく、または、ユーザは、破線で囲んだボックス(エリア720)内に医用画像ファイルを直接的にドラッグしてもよい。
【0105】
様々な実施形態によると、分類結果(例えば、認識結果)および/または対象領域画像は、結果表示エリア750に表示される。対象データが、結果表示エリア750に表示されてよい。一例として、結果表示エリア750は、ユーザが見る時に便利なように、右側に表示されてよい。インターフェース700は、ユーザ(例えば、医師または医療従事者)が、医用画像(例えば、対象臓器または対象領域など、医用画像の一部)および/または医用画像の定量的解析に関する情報へ便利にアクセスして閲覧するのを支援するために、患者に関する情報および結果表示エリア750を表示してよい。
【0106】
説明のために、医師であるユーザの例を挙げる。患者の医用画像を取得した後、医師は、医用画像をアップロードし、表示エリアに表示された分類結果および対象領域を閲覧しうる。したがって、医師は、分類結果および対象領域に基づいて、患者の病状を判断し、治療の提案を提供することができる。
【0107】
一例として、ユーザが患者である場合、ユーザが患者の医用画像を取得した後、患者は、医用画像を(例えば、
図7のインターフェース700のエリア720に)アップロードし、表示領域(例えば、
図7のインターフェース700のエリア750)に表示された認識結果および対象データを閲覧してよい。したがって、患者は、患者自身の病状の或る程度の理解を得ることができ、それに基づいて、すみやかに治療のために病院に行くことができる。インターフェース700は、患者が、診断検査(例えば、CTスキャン)の結果を見て、診断検査の結果内の異常/疾患(または異常のないこと)に関する或る程度の情報を得られるようにする。同様に、医療従事者(例えば、医師)は、インターフェース700を用いて、定量的解析の結果(例えば、分類結果、対象領域の画像、および/または、1セットの医用画像での変形関係に関する情報、など)をすみやかに見ることができる。
【0108】
図8は、本願の様々な実施形態に従って、画像を処理することに関連して用いられるインターフェースを示す図である。
【0109】
様々な実施形態によると、インターフェース800が、
図1の端末100によって実装される。インターフェース800は、
図2の処理200、
図4の処理400、
図5の処理500、
図6の処理600、および/または、
図7のインターフェース700に関連して実装されてよい。
【0110】
図8に示すように、インターフェース800は、データソースが入力(または選択)されるエリア810(例えば、データソース選択エリア)および/または結果表示エリア880を備えてよい。インターフェース800は、さらに、対象プロセスが(例えば、1または複数の入力を介して)選択されるエリア840(例えば、プロセス選択エリア)を備えてよい。
【0111】
インターフェース800は、選択可能な要素820および/または要素830を備えてよく、要素を用いて、1または複数のデータソースが選択されてよい。要素820および/または要素830の選択は、データソースが選択される元となる1セットの医用画像をユーザに提供してよい。一例として、要素820および/または要素830の選択に応じて、ファイルシステムが、データソースの格納されているディレクトリにナビゲートするために、ユーザによってアクセスされおよび/またはユーザに提供されてよい。いくつかの実施形態において、データソースの選択は、ユーザが、医用画像を要素820および/または830の上にドラッグするなど、1または複数の医用画像をデータソース選択エリア(例えば、エリア810)にドラッグアンドドロップすることを含む。要素830は、定量的処理が選択または決定される(例えば、それにより、医用画像の処理を呼び出すための入力が入力されてよい)エリア(または、そのエリアを備えている要素)に対応していてよい。要素840は、画像比較が選択または決定される(例えば、それにより、2つの医用画像の間の比較を呼び出すための入力が入力されてよい)エリア(または、そのエリアを備えている要素)に対応していてよい。いくつかの実施形態において、要素840は、画像解析の実行を引き起こす機能、または、画像解析の結果(患者の疾患に関するリスクの測度など)を取得するための機能に対応する。
【0112】
様々な実施形態によると、インターフェース800は、ユーザに提供され、ユーザは、処理すべき対象画像ソースを画像ソース選択エリアから選択してよく、ユーザによって選択された認識される画像の格納位置および具体的なタイプが、このエリアに表示されてよい。認識される画像(例えば、対象画像)の選択に応じて、ユーザは、認識される画像に適合する少なくとも1つのプロセスをプロセス選択エリアで見ることができる。具体的には、ユーザは、画像解析プロセスに関連する名称、処理時間、価格、および、その他の情報を見ることができ、ユーザのニーズに合った画像解析を選択することにより、対象画像解析プロセスを取得してよい。例えば、データソースの選択に応じて、データソース(例えば、対象画像)に対応する解析プロセスのグループが決定されてよい。データソースに対応する解析プロセスのグループの決定は、データソースに関連付けられているイメージング技術を決定し、イメージング技術に少なくとも部分的に基づいて解析プロセスのグループを決定することを含んでよい。例えば、イメージング技術に対する解析プロセスのマッピングが格納されていてよい。イメージング技術に対応する解析プロセスのグループが、イメージング技術に対する解析プロセスのマッピングに基づいて決定されてよい。医用画像(例えば、データソース)をキャプチャすることに関連して用いられる画像技術の決定に応じて、ユーザが、解析プロセスのグループ内の一部のプロセスの中から対象プロセスを選択することを可能にするために、解析プロセスのグループ内の少なくとも一部のプロセスがユーザに提供される。解析プロセスのグループ内の少なくとも一部のプロセスが、プロセス選択エリア840を介してユーザに提供されてよい。いくつかの実施形態において、解析プロセスのグループ内の少なくとも一部のプロセスを提供することは、対応する解析プロセスに関する名称860、処理時間、位置850、価格870、および、その他の情報の表示を提供することを含む。いくつかの実施形態において、解析プロセスの一部は、プロセス選択エリア840内のドロップダウンメニューに提供される。いくつかの実施形態において、解析プロセスの一部は、対応するラジアルボタンと共に提供される。ドロップダウンメニューまたはラジアルボタンによる解析プロセスの選択に応じて、プロセス選択エリアは、解析プロセスに対応する名称、処理時間、価格、および、対応する解析プロセスに関するその他の情報を反映するように更新されてよい。ユーザは、ユーザのニーズに合った解析プロセスを選択することにより、対象プロセスを取得しうる。
【0113】
対象プロセスの選択に応じて、ユーザによって選択された対象プロセスが、データソースを処理するために用いられる。データソース(例えば、医用画像)の処理からの結果が、結果表示エリア880に提供されてよい。いくつかの実施形態において、データソースおよびその解析からの結果が、結果表示エリア880に提供される。
【0114】
いくつかの実施形態において、ユーザによって選択される対象プロセスを決定することは、対象画像ソース(例えば、データソース)のデータタイプに対応する少なくとも1つの解析プロセスを取得し、少なくとも1つの解析プロセス(例えば、解析プロセスの表示)を提供し、ユーザによる(例えば、インターフェース800への)選択入力を受信し、選択入力に少なくとも部分的に基づいて少なくとも1つの解析プロセスの中から対象プロセスを決定することを含む。
【0115】
異なる解析プロセスが、画像ソースの異なるタイプに対して予め設定(例えば、規定)されてよい。例えば、医用画像の分類およびセグメンテーションを説明のための例とすると、従来の特徴ベースの抽出方法または二次元中立ネットワーク画像セグメンテーション方法が提供されてよい。本願の実施形態によって提供される対象機械学習モデルに対応する処理方法も提供されてよい。
【0116】
(例えば、対象プロセスの選択に対応する)選択入力は、ユーザが解析プロセスをクリックすることによって生成されたクリック信号であってよい。いくつかの実施形態において、クリック信号を取得したことに応じて、(例えば、クリック位置に基づいてユーザによってクリックされた)クリック信号に対応する解析プロセスが決定されてよく、対象プロセスがそれに対応して取得される。
【0117】
いくつかの実施形態において、解析プロセスの処理情報が提供される。処理情報は、処理デバイス、処理時間、および、リソース転送量、の内の少なくとも1つを含む。ユーザは、処理情報に少なくとも部分的に基づいて、対象プロセスの選択を行ってよい。
【0118】
(例えば、対象プロセスを実行するために用いられる)処理デバイスは、ローカルデバイスおよびクラウドデバイスを含んでよい。処理時間は、データソースを処理してユーザに対応する結果を生成するために解析プロセスが必要とする時間であってよい。リソース転送量は、処理アルゴリズムを用いてデータソースを処理するために支払う価格を意味しうる。
【0119】
様々なユーザの利便性のために、様々な実施形態によると、ユーザは、異なる解析プロセスに適合された選択オプションを提供されてよい。例えば、ローカルデバイス対クラウドデバイスの場合、ローカルデバイス解析プロセスのオプションが限られており、かかる解析プロセスは、処理精度が限られうる。したがって、ローカルデバイス上で実行される処理アルゴリズムの価格が低くてよく、クラウドデバイス上で実行される処理アルゴリズムの価格が高くてよい。別の例として、異なる解析プロセスの処理時間は異なりうる。したがって、短い処理時間を有する解析プロセスに対応する価格が、より高くてよい。
【0120】
様々な実施形態によると、対象機械学習モデルは、複数の第1トレーニングサンプルおよび複数の第2トレーニングサンプルの利用を交互に行って対象機械学習モデルをトレーニングすることによって取得される。各第1トレーニングサンプルは、データと、データの分類ラベルと、データ内の対象データのラベル情報と、を含んでよく、各第2トレーニングサンプルは、データと、データの分類ラベルと、を含む。
【0121】
上述の第1トレーニングデータおよび第2トレーニングデータ内の医用画像は、トレーニング結果を強化するために様々なチャネル(病院および画像保管通信システム(PACS)企業など)を通して収集された匿名データであってよい。各医用画像は、異なる病状に従って分類ラベルを手動で割り当てられてよく、対象領域も同様にラベル付けされてよい。
【0122】
メモリは、本発明の実施形態におけるデータ処理方法および手段に対応するプログラム命令/モジュールなど、アプリソフトウェアプログラムおよびモジュールを格納するためのものであってよい。メモリに格納されているソフトウェアプログラムおよびモジュールを実行することにより、プロセッサは、様々な機能アプリおよびデータ処理を実行する。すなわち、それらは、上述のように、アプリケーションプログラムデータ処理方法を実施する。メモリは、高速ランダムアクセスメモリを含みうる。メモリは、さらに、1または複数の磁気ストレージデバイス、フラッシュメモリ、または、その他の不揮発性ソリッドステートメモリなど、不揮発性メモリを含みうる。いくつかの実施形態において、メモリは、さらに、プロセッサに対してリモートに配置されたメモリを含みうる。かかるリモートメモリは、ネットワークを介して端末Aに接続されてよい。上述のネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、それらの組み合わせを含むが、これらに限定されない。
【0123】
プロセッサは、さらに、通信モジュールを介して、以下の工程を実行するためにメモリに格納された情報およびアプリケーションを呼び出してよい。機械学習モデルを用いて、対象領域画像を認識して認識結果の取得する前に、方法は、さらに、病変分類を学習するためのマルチタスク深層学習ネットワークを構築する工程と、エンコーディングモジュールを用いて、履歴医用画像内の対象臓器から基本的な特徴を抽出する工程と、抽出された基本的な特徴を用いて、分類タスクを構築する工程であって、分類タスクは対象臓器内の病変を分類するタスクである、工程と、分類タスクを含む第2損失関数を構築する工程と、病変セグメンテーションモデルを取得するために、第2損失関数を用いて、病変セグメンテーションモデルの学習を導く工程と、を備える。
【0124】
上述の様々な実施形態は、コンピュータ端末関連ハードウェアに命令するプログラムを通して実施されてよい。プログラムは、コンピュータ読み取り可能な記憶媒体に格納されてよく、記憶媒体は、フラッシュドライブ、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク、または、光学ディスクを含みうる。
【0125】
様々な実施形態が、記憶媒体を提供する。いくつかの実施形態において、記憶媒体は、本明細書に記載の方法によって実行されるプログラムコードを保存するよう構成されている。
【0126】
いくつかの実施形態において、記憶媒体は、コンピュータネットワーク内のコンピュータ端末グループの中の任意のコンピュータ上に配置されてもよいし、モバイル端末グループの中の任意のモバイル端末上に配置されてもよい。
【0127】
上述の様々な実施形態は、説明を簡単にするために一連の動作の組みあわせとして提示されているが、本願は、記載されている動作シーケンスによって限定されない。工程の一部は、本願に従って、別のシーケンスを用いてもよいし、同時に実施されてもよい。さらに、様々な実施形態に関連して記載されている動作およびモジュールの内のいくつかは、本願によって必ずしも必要とされない。
【0128】
上記の実装例の記載を通して、様々な実施形態は、ソフトウェアおよび汎用ハードウェアプラットフォームを用いて実装されてよい。ハードウェアが、
図2の処理200、
図3のシステム300、
図4の処理400、
図5の処理500、
図6の処理600、
図7のインターフェース700、および/または、
図8のインターフェース800など、様々な実施形態を実施するために用いられてよい。様々な実施形態を実施することに関連して用いられるコンピュータソフトウェア製品は、記憶媒体(ROM/RAM、磁気ディスク、および、光学ディスクなど)に格納され、端末装置(携帯電話、コンピュータ、サーバ、または、ネットワーク装置であってよい)に、本願の実施形態に記載された方法を実行させるために用いられる特定の数の命令を含みうる。
【0129】
本願によって提供されたいくつかの実施形態において、開示された技術的内容は、他の方法で実施されてもよいことを理解されたい。上述した手段の実施形態は、単に例示である。例えば、ユニットへの分割は、単に論理機能による分割である。実際に実装される場合、他の形態の分割もありうる。例えば、複数のユニットまたは構成要素が、別のシステムに組み合わせまたは一体化されてもよく、また、一部の特徴が省略されるかまたは実行されなくてもよい。また、表示または論じられているものの間の結合もしくは直接的な結合または通信接続は、いくつかのインターフェースを通していてもよい。ユニットまたはモジュールの間の間接的な結合または通信接続は、電気的または別の方法であってよい。
【0130】
別個の構成要素としてのユニットは、物理的に離れていても離れていなくてもよく、ユニットとして図示された構成要素は、物理的ユニットであってもなくてもよい。それらは、1つの場所に配置されてもよいし、複数のネットワークユニットにわたって分散されてもよい。本実施形態の具現化スキームは、実際のニーズに従って、ユニットの一部またはすべてを選択することによって実現できる。
【0131】
さらに、本発明の様々な実施形態における機能ユニットすべてを、処理ユニットに統合してもよい。あるいは、各ユニットが物理的に単体で存在してもよいし、2または3またはそれより多くのユニットが、1つのユニットに統合されてもよい。上述した統合ユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。
【0132】
統合ユニットが、独立した製品として販売または利用するためにソフトウェア機能ユニットの形態で実装される場合、それらは、コンピュータ読み取り可能な記憶媒体に格納されてよい。かかる理解に基づいて、本発明の技術的スキームは、本質的であるか従来技術に寄与する部分によるかに関わらず、また、技術的スキームの全部であるか一部であるかに関わらず、ソフトウェア製品の形態で具現化されうることが明らかになる。これらのソフトウェア製品は、記憶媒体に格納され、本発明の様々な実施形態における方法の中の工程の全部または一部を(パーソナルコンピュータ、サーバ、または、ネットワークデバイスであってよい)コンピュータデバイスに実行させるためのいくつかの命令を含む。上述した記憶媒体は、USBフラッシュドライブ、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、モバイルハードドライブ、磁気または光学ディスク、もしくは、プログラムコードを格納できる様々な他の媒体、を含む。
【0133】
以上は、本発明の好ましい実施形態にすぎない。当業者であれば、特定の改良および追加を行うこともでき、これらの改良および追加も、本発明の原理から逸脱しない限りは、本発明の保護範囲内にあるとみなされるべきであることに注意されたい。
【0134】
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
[適用例1」方法であって、
1または複数のプロセッサによって、対象画像を取得し、
前記1または複数のプロセッサによって、前記対象画像から対象領域画像をセグメント化し、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
前記1または複数のプロセッサによって、機械学習モデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、
前記1または複数のプロセッサによって、前記対象領域画像の前記解析に少なくとも部分的に基づいて、認識結果を取得すること、
を備える、方法。
[適用例2]適用例1に記載の方法であって、前記認識結果を取得することは、
前記対象領域画像の前記解析に少なくとも部分的に基づいて、1または複数の第1カテゴリ対象に対応する1または複数の確率を決定し、
前記1または複数の第1カテゴリ対象に対応する前記1または複数の確率に少なくとも部分的に基づいて、前記認識結果を決定すること、
を含む、方法。
[適用例3]適用例2に記載の方法であって、前記1または複数の第1カテゴリ対象に対応する前記1または複数の確率は、前記対象画像の画像解析に従って患者が1または複数の疾患を有する1または複数の確率である、方法。
[適用例4]適用例2に記載の方法であって、
前記第1カテゴリ対象は、第1対象、第2対象、および、第3対象の内の少なくとも1つを含み、
前記機械学習モデルは、対象認識モデルであり、
前記機械学習モデルは、前記対象画像を解析するために用いられ、
前記1または複数の第1カテゴリ対象に対応する前記1または複数の確率を決定することは、前記対象認識モデルに少なくとも部分的に基づいて前記対象画像を解析し、前記対象画像の解析と前記対象認識モデルとに基づいて、前記対象画像内の病変が前記第1対象である確率、前記病変が前記第2対象である確率、および、前記病変が前記第3対象である確率を決定すること、を含む、方法。
[適用例5]適用例4に記載の方法であって、前記対象認識モデルは、1セットのトレーニング画像に少なくとも部分的に基づいてトレーニングまたは規定され、前記1セットのトレーニング画像の少なくとも一部は、前記第1対象に関連付けられている疾患、前記第2対象に関連付けられている疾患、および、前記第3対象に関連付けられている疾患に罹った対象臓器に対応する画像を含む、方法。
[適用例6]適用例1に記載の方法であって、
前記機械学習モデルは、病変セグメンテーションモデルであり、
前記機械学習モデルに少なくとも部分的に基づいて前記対象領域画像を解析し、前記認識結果を取得することは、
前記病変セグメンテーションモデルに少なくとも部分的に基づいて、前記対象画像内の病変をセグメント化し、
前記病変セグメンテーションモデルに少なくとも部分的に基づいて、前記病変の位置および前記病変のサイズを決定し、
前記病変の前記位置にラベルを追加し、前記病変の前記サイズに少なくとも部分的に基づいて、前記対象画像内の前記病変の体積の割合を決定し、
前記病変の前記体積の割合に少なくとも部分的に基づいて、前記認識結果を決定すること、
を含む、方法。
[適用例7]適用例6に記載の方法であって、さらに、
前記1または複数のプロセッサによって、病変分類を学習するためのマルチタスク深層学習ネットワークを構築し、
エンコーディングモジュールを用いて、1セットの履歴医用画像内の対象臓器から基本的な特徴を抽出し、
前記抽出された基本的な特徴に少なくとも部分的に基づいて、分類タスクを構築し、前記分類タスクは、前記対象臓器内の病変を分類するタスクに対応し、
前記分類タスクに少なくとも部分的に基づいて、損失関数を構築し、
前記損失関数を用いたトレーニングに少なくとも部分的に基づいて、前記病変セグメンテーションモデルを取得すること、
を備える、方法。
[適用例8]適用例1に記載の方法であって、さらに、
前記認識結果をクライアント端末に提供し、
前記クライアント端末に、前記認識結果、または、前記認識結果が閲覧可能であること、を示すプロンプトメッセージを提供させること、
を備える、方法。
[適用例9]適用例1に記載の方法であって、さらに、
患者の第1医用画像に対してデータマスキングを実行して、第2医用画像を取得し、
前記第2医用画像に対してデータフィルタリングを実行して、前記対象画像を取得すること、
を備える、方法。
[適用例10]適用例1に記載の方法であって、
前記対象領域画像は、肺領域画像であり、
前記対象画像から前記対象領域画像をセグメント化することは、
前記セグメンテーションモデルを用いて、前記対象画像から前記肺領域画像をセグメント化することを含み、前記セグメンテーションモデルは、肺セグメンテーションモデルに対応する、方法。
[適用例11]適用例1に記載の方法であって、前記対象領域画像をセグメント化することに関連して用いられる前記セグメンテーションモデルは、前記対象画像内に含まれる臓器に少なくとも部分的に基づいて選択される、方法。
[適用例12]医用イメージング解析システムであって、
患者をスキャンして前記患者の第1医用画像を生成するよう構成されている医用イメージング装置と、
フロントエンドプロセッサと、を備え、
前記フロントエンドプロセッサは、
第2医用画像を取得するために、前記第1医用画像に対してデータマスキングを実行し、
対象画像を取得するために、前記第2医用画像に対してデータフィルタリングを実行し、
認識される画像を解析端末へ通信するよう構成されており、
前記解析端末は、
前記対象画像を取得し、
前記対象画像から対象領域画像をセグメント化し、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
機械学習モデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、
前記対象領域画像の前記解析に少なくとも部分的に基づいて、認識結果を取得するよう構成されている、医用イメージング解析システム。
[適用例13]適用例12に記載の解析システムであって、前記解析端末は、さらに、前記認識結果を画像ファイリング/通信システムへ同期的に通信し、または、前記認識結果をクライアント端末へ通信して、前記クライアント端末にプロンプトメッセージを表示させるよう構成されている、解析システム。
[適用例14]デバイスであって、
1または複数のプロセッサであって、
対象画像を取得し、
前記対象画像から対象領域画像をセグメント化し、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
機械学習モデルに少なくとも部分的に基づいて、前記対象領域画像を解析し、
前記対象領域画像の前記解析に少なくとも部分的に基づいて、認識結果を取得するよう構成されている、1または複数のプロセッサと、
前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成された1または複数のメモリと、
を備える、デバイス。
[適用例15]方法であって、
1または複数のプロセッサによって、対象画像ソースから対象画像を取得し、前記対象画像は、ユーザ選択に対応する1または複数の入力に少なくとも部分的に基づいて取得され、
前記1または複数のプロセッサによって、画像解析プロセスに関するユーザ選択を受信し、
前記1または複数のプロセッサによって、前記画像解析プロセスの前記ユーザ選択に少なくとも部分的に基づいて、対象画像解析プロセスを決定し、
前記1または複数のプロセッサによって、前記対象画像解析プロセスに少なくとも部分的に基づいて、前記対象画像を処理し、前記対象画像解析プロセスは、前記対象画像を処理するために対象機械学習モデルを呼び出すことを含み、
前記1または複数のプロセッサによって、前記対象画像に対して実行された前記画像解析プロセスに少なくとも部分的に基づいて、前記対象画像に関連付けられている認識結果または前記対象画像に関連付けられている対象データを取得し、
前記1または複数のプロセッサによって、クライアント端末上のユーザインターフェースを介して前記認識結果または前記対象データをユーザに提供すること、
を備える、方法。
[適用例16]適用例15に記載の方法であって、前記ユーザ選択に少なくとも部分的に基づいて、前記対象画像解析プロセスを決定すること、
前記対象画像ソースに対応する少なくとも1つの画像解析プロセスを取得し、
前記少なくとも1つの画像解析プロセスを提示し、
前記ユーザによって入力された選択信号を受信し、
前記選択信号に少なくとも部分的に基づいて、前記少なくとも1つの画像解析プロセスの中から前記対象画像解析プロセスを決定すること、
を含む、方法。
[適用例17]適用例15に記載の方法であって、前記対象機械学習モデルは、複数の第1トレーニングサンプルおよび複数の第2トレーニングサンプルを交互に利用して前記対象機械学習モデルをトレーニングすることに少なくとも部分的に基づいて取得され、各第1トレーニングサンプルは、データと、前記データの分類ラベルと、前記データ内の対象データのラベル情報と、を含み、各第2トレーニングサンプルは、データと、前記データの分類ラベルと、を含む、方法。
[適用例18]コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
1または複数のプロセッサによって、対象画像を取得するためのコンピュータ命令と、
前記1または複数のプロセッサによって、前記対象画像から対象領域画像をセグメント化するためのコンピュータ命令と、
前記対象領域画像は、セグメンテーションモデルの利用に少なくとも部分的に基づいて、前記対象画像からセグメント化され、
前記セグメンテーションモデルは、機械学習プロセスを用いてトレーニングされ、
前記対象領域画像は、前記対象画像内の対象物領域を含み、前記対象物領域は、前記セグメンテーションモデルを用いて識別され、
前記1または複数のプロセッサによって、機械学習モデルに少なくとも部分的に基づいて、前記対象領域画像を解析するためのコンピュータ命令と、
前記1または複数のプロセッサによって、前記対象領域画像の前記解析に少なくとも部分的に基づいて、認識結果を取得するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
[適用例19] コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
1または複数のプロセッサによって、対象画像ソースから対象画像を取得するためのコンピュータ命令と、前記対象画像は、ユーザ選択に対応する1または複数の入力に少なくとも部分的に基づいて取得され、
前記1または複数のプロセッサによって、画像解析プロセスに関するユーザ選択を受信するためのコンピュータ命令と、
前記1または複数のプロセッサによって、前記画像解析プロセスの前記ユーザ選択に少なくとも部分的に基づいて、対象画像解析プロセスを決定するためのコンピュータ命令と、
前記1または複数のプロセッサによって、前記対象画像解析プロセスに少なくとも部分的に基づいて、前記対象画像を処理するためのコンピュータ命令と、前記対象画像解析プロセスは、前記対象画像を処理するために対象機械学習モデルを呼び出すことを含み、
前記1または複数のプロセッサによって、前記対象画像に対して実行された前記画像解析プロセスに少なくとも部分的に基づいて、前記対象画像に関連付けられている認識結果または前記対象画像に関連付けられている対象データを取得するためのコンピュータ命令と、
前記1または複数のプロセッサによって、クライアント端末上のユーザインターフェースを介して前記認識結果または前記対象データをユーザに提供するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。