特表 2024-545047 多モード医学データ融合の評価方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-05

(54)【発明の名称】多モード医学データ融合の評価方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G16H 10/00 20180101AFI20241128BHJP

   G06T 7/00 20170101ALI20241128BHJP

   A61B 5/055 20060101ALI20241128BHJP

   A61B 1/045 20060101ALI20241128BHJP

【ＦＩ】

G16H10/00

G06T7/00 350C

A61B5/055 380

A61B5/055 390

A61B1/045 614

A61B1/045 615

A61B1/045 620

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024532692

(86)(22)【出願日】2022-11-23

(85)【翻訳文提出日】2024-06-07

(86)【国際出願番号】 CN2022133614

(87)【国際公開番号】W WO2023098524

(87)【国際公開日】2023-06-08

(31)【優先権主張番号】202111454543.7

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521464721

【氏名又は名称】天津御▲錦▼人工智能医▲療▼科技有限公司

(74)【代理人】

【識別番号】100088904

【弁理士】

【氏名又は名称】庄司 隆

(74)【代理人】

【識別番号】100124453

【弁理士】

【氏名又は名称】資延 由利子

(74)【代理人】

【識別番号】100135208

【弁理士】

【氏名又は名称】大杉 卓也

(74)【代理人】

【識別番号】100183656

【弁理士】

【氏名又は名称】庄司 晃

(74)【代理人】

【識別番号】100224786

【弁理士】

【氏名又は名称】大島 卓之

(74)【代理人】

【識別番号】100225015

【弁理士】

【氏名又は名称】中島 彩夏

(74)【代理人】

【識別番号】100231647

【弁理士】

【氏名又は名称】千種 美也子

(72)【発明者】

【氏名】ワン，ユーフェン

【テーマコード（参考）】

4C096

4C161

5L096

5L099

【Ｆターム（参考）】

4C096AA18

4C096AC05

4C096AD14

4C096DC20

4C096DC21

4C161AA05

4C161CC06

4C161HH51

4C161JJ09

4C161SS21

5L096AA02

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096HA11

5L096JA11

5L096KA04

5L099AA03

(57)【要約】

本願には、医療技術分野に関し、多モード医学データ融合の評価方法、装置、機器及び記憶媒体が開示される。前記方法は、目標対象におけるマルチモードの評価待ちの医学データを得るステップと、各モードの評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得て融合することによって、融合の特徴ベクトルを得るステップと、融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、このモデルにより出力される評価結果を得るステップとを含む。本願は、人工知能に基づいて多モード医学データに対して、特徴抽出と特徴融合を行うことによって、融合の特徴ベクトル得る。また、融合の特徴ベクトルに基づいて、多モード融合の評価モデルを用いて、目標対象における病状緩和程度を予測・評価し、病理レベルでの病状緩和程度を正確に評価することを支援することができ、よって、判定の精度を高め、医療リスクを減らすことができる。本願では、多モード医学データ融合の評価をさらに開示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

多モード医学データ融合の評価方法であって、
目標対象におけるマルチモードの評価待ちの医学データを得るステップと、
各モードの評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るステップと、
前記複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るステップと、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、前記予め訓練された多モード融合の評価モデルにより出力される前記マルチモードの評価待ちの医学データの評価結果を得るステップとを含むことを特徴とする、方法。

【請求項2】

前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、前記予め訓練された多モード融合の評価モデルにより出力される前記マルチモードの評価待ちの医学データの評価結果を得ることは、
前記融合の特徴ベクトルにおける各特徴ベクトルを水平スティッチングし、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）を得、第１の関数で特徴ベクトルの第１のマトリクスＷ（Ｉｎ）に対して位置符号化して、特徴ベクトルの第２のマトリクスＷ（Ｐ）を得るステップと、採用する公式は以下のとおりであり、

【数1】

ここで、ｔは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）における特定サブベクトルを表し、ｐ（ｔ）はｔ値に対応する符号化の結果を表し、ｐｏｓはベクトルｔが何番目の特徴ベクトルに属するかを表し、ｉは、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）におけるベクトルｔの番号ビットを表し、ｄは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）のマトリクスが水平方向での次元数を表し、
前記特徴ベクトルの第２のマトリクスＷ（Ｐ）を第２の関数に入力し、サブ空間上での高次元の特徴表現マトリクスＷ（Ｍ）を計算して得るステップと、採用する公式は以下のとおりであり、

【数2】

ここで、ＣＯＮＣＡＴ関数は第２の関数を表し、Ｆ（１）、Ｆ（２）……Ｆ（ｉ）は、特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルに対して、式Ｆ計算を行うことを表し、Ｗ^ｏ は特徴ベクトルの第１のマトリクスＷ（Ｉｎ）の転置を表し、
Ｆ（ｉ）におけるｘは、入力された特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルを表し、Ｑ、Ｋ、Ｖは、多モード融合の評価モデルにおける暗黙層のパラメータｎの線形知覚層を表し、Ｑ（ｘ）はｘに対して線形回帰を行うことを表し、
多モード融合の評価モデルのエンコーダにより、各画像の前記特徴ベクトルを符号化し、前記エンコーダの出力Ｗ（Ｏｕｔ）を線形回帰層に入力し、線形回帰層によりＷ（Ｏｕｔ）を低次元の特徴表現マトリクスに変換し、最終的にｓｏｆｔｍａｘ関数の演算を経て評価結果を出力するステップとを含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記目標対象におけるマルチモードの評価待ちの医学データを得るには、以下の方法、
第１のモードデータとして、前記目標対象における直腸癌の画像のデータセットを得る方法であり、ここで、前記直腸癌の画像データセットには、少なくとも腫瘍領域または既に萎縮した腫瘍領域に基づいて決定されたマクロ視角画像、近視角画像及びミクロ視角画像が含まれ、
第２のモードデータとして、前記目標対象における直腸癌の磁気共鳴の画像データセットを得る方法であり、ここで、前記直腸癌の磁気共鳴の画像データセットには、初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データが含まれ、前記初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データにおける腫瘍領域または既に萎縮した腫瘍領域に対してそれぞれレーベリングすることによって、腫瘍領域または既に萎縮した腫瘍領域を含むいくつかのスライス画像を得、
第３のモードデータとして、前記目標対象における初期臨床のデータセット及び目標臨床のデータセットを得る方法であり、ここで、前記初期臨床のデータセット及び目標臨床のデータセットには、少なくとも目標対象の個人情報と症例情報が含まれ、
第４のモードデータとして、前記目標対象における初期腫瘍のマーカー情報、目標腫瘍のマーカー情報、初期血液の情報及び目標血液の情報を得る方法のうち、少なくとも３つの方法を含むことを特徴とする、請求項１に記載の方法。

【請求項4】

各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
前記第１のモードデータ及び第２のモードデータを予め訓練されたニューラル・ネットワークモデルにそれぞれ入力するステップと、
前記ニューラル・ネットワークモデルのハードワイヤ層を介して、前記第１のモードデータ及び第２のモードデータにおける医学画像に対して、それぞれマトリクス接続するステップと、
前記ニューラル・ネットワークモデルのα個の３次元畳み込みモジュールを介して、マトリクス接続された前記医学画像に対して、畳み込み計算と最大プール化操作を行うことによって、高次元の特徴マップを抽出するステップと、
前記ニューラル・ネットワークモデルのβ個のアップサンプリングモジュールと完全接続層を介して、最後の３次元畳み込みコアから抽出された高次元の特徴マップを１次元の特徴ベクトルに変換し、第１の特徴ベクトルと第２の特徴ベクトルをそれぞれ得るステップとを含むことを特徴とする、請求項３に記載の方法。

【請求項5】

各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
前記第３のモードデータ及び第４のモードデータにおける文字記述特徴を対応する数値特徴にマッピングするステップと、
前記数値特徴を２次元のマトリクスにマッピングすることによって、第３の特徴ベクトルと第４の特徴ベクトルをそれぞれ得るステップとを含むことを特徴とする、請求項３に記載の方法。

【請求項6】

前記ニューラル・ネットワークモデルを訓練する過程には、
取得した予め設定された評価待ちの医学データを、訓練サンプルとして対応する初期ニューラル・ネットワークモデルに入力することによって、前記初期ニューラル・ネットワークモデルに対応する初期特徴ベクトルを出力させるステップと、
前記初期特徴ベクトルが予め設定された要求を満たす場合、前記初期ニューラル・ネットワークモデルの訓練が成功し、前記予め訓練されたニューラル・ネットワークモデルを得るステップと、
前記初期特徴ベクトルが予め設定された要求を満たしていない場合、前記初期ニューラル・ネットワークモデルにおける損失パラメータを調整することにより、前記損失パラメータがフィッティングして予め設定された損失パラメータ閾値に達するまで、前記初期ニューラル・ネットワークモデルの訓練を継続することによって、前記予め訓練されたニューラル・ネットワークモデルを得るステップとを含むことを特徴とする、請求項４に記載の方法。

【請求項7】

前記多モード融合の評価モデルを訓練する過程において、交差エントロピー損失関数を用いて、前記交差エントロピー損失関数がフィッティングされるまでパラメータの逆伝播と更新を行うことを特徴とする、請求項１に記載の方法。

【請求項8】

多モード医学データ融合の評価装置であって、
目標対象におけるマルチモードの評価待ちの医学データを得るように構成された医学データ取得モジュールと、
各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るように構成された特徴ベクトル抽出モジュールと、
前記複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るように構成された特徴ベクトル融合モジュールと、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力することによって、前記予め訓練された多モード融合の評価モデルによって出力される前記マルチモードの評価待ちの医学データの評価結果を得るように構成された多モード融合の評価モジュールとを含むことを特徴とする、装置。

【請求項9】

電子機器であって、
プロセッサ、通信インタフェース、メモリ及び通信バスを備え、ここで、プロセッサ、通信インタフェース及びメモリは、通信バスを通じて相互に通信を完了し、
メモリは、コンピュータプログラムを格納するために用いられ、
プロセッサは、メモリに格納されたプログラムを実行する際、請求項１に記載の方法のステップを実現するために用いられることを特徴とする、電子機器。

【請求項10】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、プロセッサによって実行される際、請求項１に記載のような方法のステップを実現することを特徴とする、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

相互参照の説明
本願は、２０２１年１２月０２日に中国特許庁に出願され、出願番号が第２０２１１１４５４５４３．７で、発明の名称が「多モード医学データ融合の評価方法、装置、機器及び記憶媒体」である中国特許出願を優先権として主張し、その全ての内容は参照により本願に組み込まれる。

【0002】

本願は、医療技術分野に関し、例えば、多モード医学データ融合の評価方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0003】

直腸癌はわが国の住民の生命健康を脅かす主な癌の１つであり、深刻な社会負担をもたらしている。直腸癌の主な治療方法は手術、放射線治療、化学治療、標的治療などの総合的な治療手段を含む。標準化された総合的な治療手段があるにも係らず、低位直腸癌の患者には、腫瘍や手術による損傷により、肛門機能の低下、肛門無力化、結腸ストーマが引き起こされ、患者の生存治療に深刻な影響を与える可能性がある。局所進行性直腸癌患者の多くは、１回の手術では根治目的を達成できず、手術治療には適さない。現在、局所進行性直腸癌（≧ｃＴ３またはＮ＋）の標準治療法は、ネオアジュバント放射線治療に直腸腸間膜全摘出術及びアジュバント化学療法を併用する総合的治療である。ネオアジュバント療法は、有効的に腫瘍のステージを下げ、切除率や肛門温存率を高めることができる。ネオアジュバント療法は低位直腸癌患者の臓器機能を温存するためにより良い選択肢を提供した。直腸癌に対するネオアジュバント療法の治療効果評価、すなわち、治療後に臨床的緩和が得られるどうか、病理学的緩和が得られる可能性はどの程度かなどの評価は、臨床的意思決定や患者の予後を評価する重要な一環である。

【0004】

現段階において、直腸癌に対するネオアジュバント療法効果の評価、多くの臨床ガイドライン及び専門家のコンセンサスは、内視鏡、直腸指検査、直腸核磁気、血清腫瘍のマーカーレベル及び胸腹盆増強ＣＴなどの多モードデータを通じて患者が臨床的緩和に達するか、臨床的緩和に近いかを総合的に判断することを提案している。直腸癌に対するネオアジュバント療法効果の評価は、外科、内科、放射線治療科、画像科、消化内視鏡及び病理科などの科経験が豊富な専門家を含む腫瘍多学科診療チームに依存している。特定の専門的方向性の専門家が不足しているため、多くの医療機関では直腸癌のネオアジュバント療法をうまく展開できてない。また、専門家の経験に頼ることは、直腸癌に対するネオアジュバント療法効果の評価も人為的要因による判断誤差や意思決定基準の違いをもたらす可能性がある。臨床では、多モード医学データを統合し、直腸癌に対するネオアジュバント療法効果を客観的に一致して評価するツールと方法が必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下、開示される実施形態のいくつかの態様を基本的に理解するように、簡単な要約を示す。この要約は、一般的な説明ではなく、重要性／重要な要素を決定したり、これらの実施形態の保護範囲を説明したりするのではなく、後述する詳細な説明の前置きとして用いられる。

【0006】

本開示の実施形態では、臨床医師が患者の病状緩和状況を手動で正確に評価することが困難であり、その結果、患者の医療リスクが高くなるという関連技術における技術課題を解決するための多モード医学データ融合の評価方法、装置、機器及び記憶媒体を提供する。

【0007】

いくつかの実施形態において、本開示の実施形態では、
目標対象におけるマルチモードの評価待ちの医学データを得るステップと、
各モードの評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るステップと、
前記複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るステップと、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、前記予め訓練された多モード融合の評価モデルにより出力される前記マルチモードの評価待ちの医学データの評価結果を得るステップとを含む多モード医学データ融合の評価方法を提供する。

【0008】

いくつかの実施形態において、前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、前記予め訓練された多モード融合の評価モデルにより出力される前記マルチモードの評価待ちの医学データの評価結果を得ることは、前記融合の特徴ベクトルにおける各特徴ベクトルを水平スティッチングし、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）を得、第１の関数で特徴ベクトルの第１のマトリクスＷ（Ｉｎ）に対して位置符号化して、特徴ベクトルの第２のマトリクスＷ（Ｐ）を得るステップと、採用する公式は以下のとおりであり、

【数1】

ここで、ｔは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）における特定サブベクトルを表し、ｐ（ｔ）はｔ値に対応する符号化の結果を表し、ｐｏｓはベクトルｔが何番目の特徴ベクトルに属するかを表し、ｉは、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）におけるベクトルｔの番号ビットを表し、ｄは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）のマトリクス水平方向での次元数を表し、
前記特徴ベクトルの第２のマトリクスＷ（Ｐ）を第２の関数に入力して、サブ空間における高次元特徴表現マトリクスＷ（Ｍ）を計算して得るステップと、採用する公式は以下のとおりである。

【数2】

ここで、ＣＯＮＣＡＴ関数は第２の関数を表し、Ｆ（１）、Ｆ（２）……Ｆ（ｉ）は、特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルに対して式Ｆ計算を行うことを表し、 Ｗ^ｏは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）の転置を表し、
Ｆ（ｉ）におけるｘは、入力された特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルを表し、Ｑ、Ｋ、Ｖは、多モード融合の評価モデルにおける暗黙層のパラメータｎの線形知覚層を表し、Ｑ（ｘ）はｘに対して線形回帰を行うことを表し、
多モード融合の評価モデルのエンコーダにより、各画像の前記特徴ベクトルを符号化し、前記エンコーダの出力Ｗ（Ｏｕｔ）を線形回帰層に入力し、線形回帰層によりＷ（Ｏｕｔ）を低次元の特徴表現マトリクスに変換し、最終的にｓｏｆｔｍａｘ関数の演算を経て評価結果を出力するステップとを含む。

【0009】

いくつかの実施形態において、前記目標対象におけるマルチモードの評価待ちの医学データを得るには、以下の方法中少なくとも３つを含む。

【0010】

第１のモードデータとして、前記目標対象における直腸癌の画像データセットを得る方法であり、ここで、前記直腸癌の画像データセットには、少なくとも腫瘍領域または既に萎縮した腫瘍領域に基づいて決定されたマクロ視角画像、近視角画像及びミクロ視角画像が含まれる。

【0011】

第２のモードデータとして、前記目標対象における直腸癌の磁気共鳴の画像データセットを得る方法であり、ここで、前記直腸癌の磁気共鳴の画像データセットには、初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データが含まれ、前記初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データにおける腫瘍領域または既に萎縮した腫瘍領域に対してそれぞれレーベリングすることによって、腫瘍領域または既に萎縮した腫瘍領域を含むいくつかのスライス画像を得る。

【0012】

第３のモードデータとして、目標対象における初期臨床のデータセット及び目標臨床のデータセットを得る方法であり、ここで、前記初期臨床のデータセット及び目標臨床のデータセットには、少なくとも目標対象の個人情報と症例情報が含まれる。

【0013】

第４のモードデータとして、目標対象における初期腫瘍のマーカー情報、目標腫瘍のマーカー情報、初期血液の情報及び目標血液の情報を得る方法である。

【0014】

いくつかの実施形態において、各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトル得ることは、
前記第１のモードデータ及び第２のモードデータを予め訓練されたニューラル・ネットワークモデルにそれぞれ入力するステップと、
前記ニューラル・ネットワークモデルのハードワイヤ層を介して、前記第１のモードデータ及び第２のモードデータにおける医学画像に対して、それぞれマトリクス接続するステップと、
前記ニューラル・ネットワークモデルのα個の３次元畳み込みモジュールを介して、マトリクス接続された前記医学画像に対して、畳み込み計算と最大プール化操作を行うことによって、高次元の特徴マップを抽出するステップと、
前記ニューラル・ネットワークモデルのβ個のアップサンプリングモジュールと完全接続層を介して、最後の３次元畳み込みコアから抽出された高次元の特徴マップを１次元の特徴ベクトルに変換し、第１の特徴ベクトルと第２の特徴ベクトルをそれぞれ得るステップとを含む。

【0015】

いくつかの実施形態において、各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
前記第３のモードデータ及び第４のモードデータにおける文字記述特徴を対応する数値特徴にマッピングするステップと、
前記数値特徴を２次元のマトリクスにマッピングすることによって、第３の特徴ベクトルと第４の特徴ベクトルをそれぞれ得るステップとを含む。

【0016】

いくつかの実施形態において、前記ニューラル・ネットワークモデルを訓練する過程には、
取得した予め設定された評価待ちの医学データを、訓練サンプルとして対応する初期ニューラル・ネットワークモデルに入力することによって、前記初期ニューラル・ネットワークモデルに対応する初期特徴ベクトルを出力させるステップと、
前記初期の特徴ベクトルが予め設定された要求を満たす場合、前記初期ニューラル・ネットワークモデルの訓練が成功し、前記予め訓練されたニューラル・ネットワークモデルを得るステップと、
前記初期特徴ベクトルが予め設定された要求を満たしていない場合、前記初期ニューラル・ネットワークモデルにおける損失パラメータを調整することにより、前記損失パラメータがフィッティングして予め設定された損失パラメータ閾値に達するまで、前記初期ニューラル・ネットワークモデルの訓練を継続することによって、前記予め訓練されたニューラル・ネットワークモデルを得るステップとを含む。

【0017】

いくつかの実施形態において、前記多モード融合の評価モデルを訓練する過程において、交差エントロピー損失関数を用いて、前記交差エントロピー損失関数がフィッティングするまでパラメータの逆伝播と更新を行う。

【0018】

いくつかの実施形態において、本開示の実施形態では、多モード医学データ融合の評価装置を提供し、多モード医学データ融合の評価装置は、
目標対象におけるマルチモードの評価待ちの医学データを得るように構成された医学データ取得モジュールと、
各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るように構成された特徴ベクトル抽出モジュールと、
前記複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るように構成された特徴ベクトル融合モジュールと、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力することによって、前記予め訓練された多モード融合の評価モデルによって出力される前記マルチモードの評価待ちの医学データの評価結果を得るように構成された多モード融合の評価モジュールとを含む。

【0019】

いくつかの実施形態において、本開示の実施形態では、プロセッサ、通信インタフェース、メモリ及び通信バスを備える電子機器を提供する。ここで、プロセッサ、通信インタフェース及びメモリは、通信バスを通じて相互に通信を完了する。

【0020】

メモリは、コンピュータプログラムを格納するために用いられる。

【0021】

プロセッサは、メモリに格納されたプログラムを実行する際、上記に記載の方法のステップを実現するために用いられる。

【0022】

いくつかの実施形態において、本開示の実施形態では、プロセッサによって実行される際、上記に記載の方法のステップを実現するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。

【発明の効果】

【0023】

本開示の実施形態では、以下の技術効果が実現できる多モード医学データ融合の評価方法、装置、機器及び記憶媒体を提供する。

【0024】

本開示の実施形態では、人工知能に基づいて多モード医学データに対して、特徴抽出を行うことによって、複数の特徴ベクトルを得、得られた複数の特徴ベクトルを融合して、融合の特徴ベクトルを得ると共に、融合の特徴ベクトルに基づいて、訓練された多モード融合の評価モデルを用いて、目標対象の病状緩和程度を予測・評価し、目標対象の治療後の病理レベルでの病状緩和程度を正確に評価することを支援することができ、それによって、判定の精度を高め、目標対象の医療リスクを減らすことができる。

【0025】

以上の全体的な説明と以下の説明は、例示的及び説明的なものにすぎず、本願を限定することを意図するものではない。

【図面の簡単な説明】

【0026】

少なくとも１つの実施形態は、それに対応する添付図面によって例示的に説明されており、これらの例示的な説明及び添付図面は、実施形態の限定を構成するものではない。添付図面において、同じ参照番号を有する要素は類似する要素であり、添付図面は比例制限を構成しない。

【図1】本開示の実施形態によって提供される多モード医学データ融合の評価方法のフローチャートである。

【図2】本開示の実施形態によって提供される多モード医学データに対して特徴抽出とデータ評価を行う概略図である。

【図3】本開示の実施形態によって提供される多モード医学データ融合の評価装置の構造を示す概略図である。

【図4】本開示の実施形態によって提供される電子機器の構造を示す概略図である。

【発明を実施するための形態】

【0027】

本開示の実施形態の特徴及び技術内容をより詳細に理解できるようにするために、以下、添付図面を参照して本開示の実施形態の実施について詳細に述べる。添付図面は、参照して説明するものであり、本開示の実施形態を限定するものではない。以下の技術的説明では、説明を容易にするために、開示される実施形態を充分に理解できるように、複数の詳細を通じて提供される。しかし、これらの詳細がない場合、少なくとも１つの実施形態は依然として実施することができる。他の場合、添付図面を簡略化するために、周知の構造と装置を簡略化して示すことができる。

【0028】

本開示の実施形態では、図１に示すように、以下のステップを含む多モード医学データ融合の評価方法を提供する。
Ｓ１０１：目標対象におけるマルチモードの評価待ちの医学データを得る。
Ｓ１０２：各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得る。
Ｓ１０３：複数の特徴ベクトルを融合し、融合の特徴ベクトルを得る。
Ｓ１０４：融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、予め訓練された多モード融合の評価モデルによって出力されるマルチモードの評価待ちの医学データの評価結果を得る。

【0029】

いくつかの実施形態において、目標対象におけるマルチモードの評価待ちの医学データを得ることは、以下の方法のうち少なくとも３つを含む。

【0030】

内視鏡検査により、第１のモードデータとして目標対象の直腸癌の画像データセットを取得する方法であり、ここで、直腸癌の画像データセットには、少なくとも腫瘍領域または既に萎縮した腫瘍領域に基づいて決定されたマクロ視角画像（通常は１枚を採用）、近視角画像（通常は１枚を採用）及びミクロ視角画像（通常は２枚を採用）が含まれる。マクロ視角画像とは、腫瘍領域または既に退縮した腫瘍領域から第１の予め設定された距離区間内で、かつ腸腔の中心に相対する領域のパノラマ画像であり、例えば、「腫瘍領域」または「既に退縮した腫瘍領域」から０．８ｍｍ～２０ｍｍ離れて、かつ腸腔の中心に相対する領域で撮影したパノラマ画像をマクロ視角画像とする。近視野角画像とは、腫瘍領域または既に萎縮した腫瘍領域の最長境界が予め設定された視野境界のスケール割合よりも小さい画像であり、例えば、「腫瘍領域」または「既に萎縮した腫瘍領域」の最長境界が視野境界の１０％未満で撮影した画像を近視角画像とする。ミクロ視角画像とは、腫瘍領域または既に収縮した領域から予め設定された閾値範囲内（例えば、０．８ｍｍの範囲内）で、かつ腫瘍表面に相対する局所画像を指す。

【0031】

第２のモードデータとして、目標対象における直腸癌の磁気共鳴の画像データセットを得る方法であり、ここで、直腸癌の磁気共鳴の画像データセットには、初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データが含まれる。初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データにおける腫瘍領域または既に萎縮した腫瘍領域に対してそれぞれ自動レーベリングまたは手動レーベリング方法を用いてレーベリングすることによって、腫瘍領域または既に萎縮した腫瘍領域を含むいくつかのスライス画像を得ることができる。ここで、初期直腸癌の磁気共鳴の画像データは、治療を受ける前の目標対象のデータであってもよく、目標直腸癌の磁気共鳴の画像データは、治療を受けた後の目標対象のデータであってもよい。

【0032】

第３のモードデータとして、前記目標対象における初期臨床のデータセット及び目標臨床のデータセットを得る方法であり、ここで、前記初期臨床のデータセット及び目標臨床のデータセットには、少なくとも目標対象の個人情報と症例情報が含まれる。初期臨床のデータセットは、治療を受ける前の目標対象のデータであってもよく、目標臨床のデータセットは、治療を受けた後の目標対象のデータであってもよい。目標対象の個人情報には、年齢、身長及び体重などの情報が含まれてもよいが、これらに限定されない。目標対象の症例情報には、悪性腫瘍の家族歴、腫瘍の個人歴、治療案、腫瘍の位置、腫瘍の分化度、治療前のＴステージ、治療前のＮステージ、腫瘍の浸潤深さ、肛門縁から腫瘍の距離などの情報が含まれてもよいが、これらに限定されない。

【0033】

第４のモードデータとして、目標対象における初期腫瘍のマーカー情報、目標腫瘍のマーカー情報、初期血液の情報及び目標血液の情報を得る方法である。ここで、初期腫瘍のマーカー情報及び初期血液の情報は、治療を受ける前の目標対象のデータであってもよく、目標腫瘍のマーカー情報及び目標血液の情報は、治療を受けた後の目標対象のデータであってもよい。選択的に、初期腫瘍のマーカー情報及び目標腫瘍のマーカー情報は、糖類抗原１２５（ＣＡ１２５）、糖類抗原１５３（ＣＡ１５３）、糖類抗原１９９（ＣＡ１９９）、癌胚抗原（ＣＥＡ）及びアルファフェトプロテイン（ＡＦＰ）のデータを含んでもよいが、これらに限定されない。初期血液の情報及び目標血液の情報は、赤血球、ヘモグロビン、血小板、血小板容積、白血球、好中球、リンパ球、単核細胞、Ｃ反応タンパク質、超敏感Ｃ反応タンパク質、総タンパク質、アルブミン及びプレアルブミンなどの血液常規データを含んでもよいが、これらに限定されない。

【0034】

いくつかの実施形態において、各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
第１のモードデータを予め訓練された第１のニューラル・ネットワークモデルに入力するステップと、
第１のニューラル・ネットワークモデルのハードワイヤ層を通じて、マクロ視角画像、近視角画像及びミクロ視角画像に対して、マトリクス接続するステップと、
第１のニューラル・ネットワークモデルにおけるα個の３次元畳み込みモジュールを通じて、マトリクス接続されたマクロ視角画像、近視角画像及びミクロ視角画像に対して、畳み込み計算と最大プール化操作を行い、高次元の特徴マップを抽出するステップと、
第１のニューラル・ネットワークモデルにおけるβ個のアップサンプリングモジュールと完全接続層を通じて、最後の３次元畳み込みコアから抽出された高次元の特徴マップを１次元の特徴ベクトルに変換して、第１の特徴ベクトルを得るステップとを含み、ここで、α値は７を、β値は５を取ることができる。

【0035】

いくつかの実施形態において、各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
第２のモードデータを予め訓練された第２のニューラル・ネットワークモデルに入力するステップと、
第２のニューラル・ネットワークモデルのハードワイヤ層を通じて、第２のモードデータでレーベリングされた腫瘍領域または既に萎縮した腫瘍領域を含むいくつかのスライス画像に対して、マトリクス接続するステップと、
第２のニューラル・ネットワークモデルにおけるα個の３次元畳み込みモジュールを通じて、マトリクス接続されたスライス画像に対して畳み込み計算と最大プール化操作を行い、高次元の特徴マップを抽出するステップと、
第２のニューラル・ネットワークモデルにおけるβ個のアップサンプリングモジュールと完全接続層を通じて、最後の３次元畳み込みコアから抽出された高次元の特徴マップを１次元の特徴ベクトルに変換し、第２の特徴ベクトルを得るステップとを含み、ここで、α値は５を、β値は３を取ることができる。

【0036】

いくつかの実施形態において、第１のニューラル・ネットワークモデル及び第２のニューラル・ネットワークモデルを訓練する過程には、
取得した予め設定された評価待ちの医学データを、訓練サンプルとして対応する初期ニューラル・ネットワークモデルに入力することによって、初期ニューラル・ネットワークモデルに対応する初期特徴ベクトルを出力させるステップと、
初期特徴ベクトルが予め設定された要求を満たす場合、初期ニューラル・ネットワークモデルの訓練が成功し、予め訓練されたニューラル・ネットワークモデルを得るステップと、
初期特徴ベクトルが予め設定された要求を満たしていない場合、初期ニューラル・ネットワークモデルにおける損失パラメータを調整することにより、損失パラメータがフィッティングして予め設定された損失パラメータ閾値に達するまで、初期ニューラル・ネットワークモデルの訓練を継続することによって、予め訓練されたニューラル・ネットワークモデルを得るステップとを含む。

【0037】

選択的に、第１のニューラル・ネットワークモデル及び第２のニューラル・ネットワークモデルは、３次元畳み込みネットワーク（３ＤＣＮＮ）を採用することができ、本開示の実施形態ではこれに対して限定しない。

【0038】

いくつかの実施形態において、各モード評の価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
第３のモードデータ及び第４のモードデータにおける文字記述特徴を対応する数値特徴にマッピングするステップと、
数値特徴を２次元のマトリクスにマッピングすることによって、第３の特徴ベクトルと第４の特徴ベクトルをそれぞれ得るステップとを含む。

【0039】

選択的に、第３のモードデータに対して特徴抽出する過程において、目標対象に悪性腫瘍の家族歴がなければ、数字０にマッピングし、目標対象に悪性腫瘍の家族歴があれば、数字１にマッピングする。同様に、他の文字記述特徴は対応する数値特徴にマッピングすることは以下のように示される。

【0040】

腫瘍の個人歴（無し：０、有り：１）、再発性腫瘍（はい：１、いいえ：０）、ネオアジュバント化学療法（はい：１、いいえ：０）、ネオアジュバント放射線治療（はい：１、いいえ：０）、治療案（単薬：１、双薬：２、三薬：３）、腫瘍の位置（直腸の上部：１、直腸の中部：２、直腸の下部：３）、腫瘍の分化程度（１：分化程度が高い、２：分化程度が中、３：分化程度が低い）、大きさ（０：腸周径の１／３を占める、１：腸周径の２／３を占める、２：腸周径の１周を占める）。

【0041】

図２に示すように、いくつかの実施形態において、融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、予め訓練された多モード融合の評価モデルによって出力されるマルチモードの評価待ちの医学データの評価結果を得ることは、
融合の特徴ベクトルにおける各特徴ベクトルを水平スティッチングすることによって、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）を得、第１の関数を介して特徴ベクトルの第１のマトリクスＷ（Ｉｎ）を位置符号化して、特徴ベクトルの第２のマトリクスＷ（Ｐ）を得るステップと、採用する公式は以下のとおりであり、

【数3】

ここで、ｔは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）における特定のサブベクトルを表し、ｐ（ｔ）はｔ値に対応する符号化の結果を表し、ｐｏｓはベクトルｔが何番目の特徴ベクトルに属するかを表し、ｉは、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）におけるベクトルｔの番号ビットを表し、ｄは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）のマトリクス水平方向での次元数を表し、
特徴ベクトルの第２のマトリクスＷ（Ｐ）を第２の関数に入力し、サブ空間上の高次元の特徴表現マトリクスＷ（Ｍ）を計算して得るステップと、採用する公式は以下のとおりであり、

【数4】

ここで、ＣＯＮＣＡＴ関数は第２の関数を表し、Ｆ（１）、Ｆ（２）……Ｆ（ｉ）は、特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルに対して式Ｆ計算を行うことを表し、 Ｗ^ｏは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）の転置を表し、
Ｆ（ｉ）におけるｘは、入力された特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルを表し、Ｑ、Ｋ、Ｖは、多モード融合の評価モデルにおける暗黙層のパラメータｎの線形知覚層を表し、Ｑ（ｘ）はｘに対して線形回帰を行うことを表し、
多モード融合の評価モデルのエンコーダにより、各画像の特徴ベクトルを符号化し、エンコーダの出力Ｗ（Ｏｕｔ）を線形回帰層に入力し、線形回帰層によりＷ（Ｏｕｔ）を低次元の特徴表現マトリクスに変換し、最終的にｓｏｆｔｍａｘ関数の演算を経て評価結果を出力するステップとを含む。上記の第１、２、３、４の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力し、決定を完了することにより、最終的には、目標対象となる病状の完全緩和または非完全緩和の評価結果、及び評価結果に対応する確率、例えば、完全緩和の確率、非完全緩和の確率が得られる。

【0042】

選択的に、多モード融合の評価モデルを訓練する過程において、交差エントロピー損失関数を用いて、交差エントロピー損失関数がフィッティングされるまでパラメータの逆伝播と更新を行う。

【0043】

本開示の実施形態では、図３に示すように、目標対象におけるマルチモードの評価待ちの医学データを得るように構成された医学データ取得モジュール３０１と、
各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るように構成された特徴ベクトル抽出モジュール３０２と、
複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るように構成された特徴ベクトル融合モジュール３０３と、
融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力することによって、予め訓練された多モード融合の評価モデルによって出力されるマルチモードの評価待ちの医学データの評価結果を得るように構成された多モード融合の評価モジュール３０４とを含む。

【0044】

本開示の実施形態では、図４に示すような構造を有する電子機器を提供する。電子機器は、プロセッサ４００及びメモリ４０１を備え、さらに、通信インタフェース４０２及び通信バス４０３を備える。ここで、プロセッサ４００、通信インタフェース４０２及びメモリ４０１は、通信バス４０３を通じて相互の通信を完了することができる。通信インタフェース４０２は、情報の送信に使用されてもよい。メモリ４００は、上述の実施形態における多モード医学データ融合の評価方法を実行するために、メモリ４０１における論理命令を呼び出すことができる。

【0045】

また、上述したメモリ４０１における論理命令は、ソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。

【0046】

メモリ４０１は、本開示の実施形態における方法に対応するプログラム命令／モジュールのようなソフトウェアプログラム及びコンピュータ実行可能プログラムを記憶するためのコンピュータ可読記憶媒体として使用することができる。プロセッサ４００は、メモリ４０１に記憶されたプログラム命令／モジュールを実行することにより、機能アプリケーション及びデータ処理を実行、すなわち、上記方法の実施形態における多モード医学データ融合の評価方法を実現する。

【0047】

メモリ４０１は、プログラム記憶領域とデータ記憶領域とから構成されてもよい。ここで、プログラム記憶領域には、オペレーティングシステム及び少なくとも１つの機能に必要なアプリケーション・プログラムが記憶されてもよく、データ記憶領域には、端末装置の使用状況に応じて作成されたデータなどが記憶されてもよい。また、メモリ４０１は、高速ランダムアクセスメモリを備えてもよく、不揮発性メモリをさらに備えてもよい。

【0048】

本開示の実施形態では、上述した多モード医学データ融合の評価方法を実行するように設定されたコンピュータ実行可能命令を記憶するコンピュータ可読記憶媒体を提供する。

【0049】

本開示の実施形態は、コンピュータ可読記憶媒体に記憶されたコンピュータプログラムを含む、コンピュータ製品を提供し、このコンピュータプログラムは、コンピュータによって実行される際、上記のコンピュータに上記した多モード医学データ融合の評価方法を実行させるプログラム命令を含む。

【0050】

上記のコンピュータ可読記憶媒体は、一時的コンピュータ可読記憶媒体であってもよいし、非一時的コンピュータ可読記憶媒体であってもよい。

【0051】

本開示の実施例によって提供される多モード医学データ融合の評価方法、装置、機器及び記憶媒体は、三次元畳み込みネットワーク（３ＤＣＮＮ）技術を用いて、多視角画像を融合し、内視鏡下で直腸癌のマクロ視角画像、近視角画像及びミクロ視角画像に対して融合特徴抽出を行う。従来の機械学習の予測モデルに鑑み、その入力要求には標準化されたデータフォーマットがあり、入力要求を満たさなければその性能に大きな影響を与える可能性がある。したがって、本願によって提案される人工知能に基づく多モード融合評価モデルは、優れた性能に加えて、自己注意重みをさらに有しており、その自己知覚能力に頼ることができる。データが部分的に欠落している場合（本発明の４つのモードデータは、少なくとも３つのモードデータを入力する必要がある）、依然として比較的に優れた性能を有しており、高速かつ正確な評価結果を出力することができ、臨床使用シーンにより近い。治療後の病理レベルにおける目標対象の病状緩和程度を正確に評価することを支援することができ、それによって、判断の精度を高め、目標対象の医療リスクを減らすことができる。

【0052】

本開示の実施形態の技術案は、１台のコンピュータ装置（パーソナルコンピュータ、サーバまたはネットワークデバイスなどであってもよい）が本開示の実施形態の方法のすべてまたは一部のステップを実行するように少なくとも１つの命令を含む記憶媒体に記憶されるコンピュータソフトウェア製品の形態で具現化することができる。前述の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクまたは光ディスクなど、プログラムコードを記憶することができる複数の媒体、または一時的記憶媒体を含む非一時的記憶媒体であってもよい。

【0053】

上記の説明及び添付図面は、当業者が実施形態を実施できるようにするために、本開示の実施形態を充分に示している。他の実施形態は、構造的、論理的、電気的、プロセス的及び他の変更を含むことができる。実施例は可能な変化のみを表す。明示的に要求されない限り、個別の部品と機能は選択可能であり、操作の順序を変更することができる。いくつかの実施形態の一部及び特徴は、他の実施形態の一部及び特徴に含まれてもよく、または置換されてもよい。本開示の実施形態の範囲は、特許請求範囲の全範囲、及び特許請求範囲のすべての取得可能な均等物を含む。本願に使用される場合、「第１」、「第２」などの用語は、本願で使用されて各要素を記述することができるが、これらの要素はこれらの用語によって制限されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明の意味を変更せずに、第１の要素を第２の要素と呼ぶことができ、同様に、第２の要素を第１の要素と呼ぶことができ、出現されたすべての「第１の要素」が一致して名前を変更し、出現されたすべての「第２の要素」が一致して名前を変更すればよい。第１の要素と第２の要素はいずれも要素であるが、同じ要素でなくてもよい。また、本願で使用される用語は、実施形態を説明するためにのみ使用され、特許請求範囲を制限するために使用されない。実施形態及び請求項の説明で使用されているように、上下文脈で明確に示さない限り、単数形の「１つ」及び「前記」は同様に複数形を含むことを意図する。同様に、本願で使用されるように、用語「及び／または」は、１つ以上の関連するリストを含む任意の、及び可能なすべての組み合わせを意味する。さらに、本願で使用される場合、用語「含む」及び「備える」などは、記述された特徴、全体、ステップ、操作、要素、及び／またはコンポネントの存在を意味するが、１つ以上の他の特徴、全体、ステップ、操作、要素、コンポネント及び／またはこれらの組分けの存在または追加を排除するものではない。これ以上の制限がない場合、語句「１つを…を含む」によって限定される要素は、この要素を含む過程、方法または機器に他に同じ要素が存在することを除外するものでない。本明細書では、各実施形態は他の実施形態と異なる点に重点を置いて説明することができ、各実施形態の間の同じ類似部分は互いに参照することができる。実施形態に開示された方法、製品などについて、それが実施形態に開示された方法の部分に対応する場合、関連する点は方法の部分の説明を参照することができる。

【0054】

当業者は、本明細書に開示された実施形態に関連して説明した各例示のユニット及びアルゴリズムステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組み合わせで実装可能であることが理解できる。これらの機能がハードウェアでされるかソフトウェアで実行されるかは、技術案の特定のアプリケーション及び設計制約に依存することができる。当業者は、説明された機能を実現するために、各特定のアプリケーションに対して異なる方法を使用することができるが、このような実装は、本開示の実施形態の範囲を超えているとは考えられない。当業者は、説明の容易さと簡潔さのために、上述したシステム、装置、及びユニットの動作過程は、上述した方法の実施形態における対応過程を参照することができ、ここではこれ以上説明しないことを明確に理解することができる。

【0055】

本明細書に開示された実施形態において、開示された方法、製品（装置、機器などを含むが、これらに限定されない）は他の方法で実現することができる。例えば、上述した装置の実施形態は単なる例示的なものであり、例えば、ユニットの分割は、１つの論理機能の分割にすぎず、実際に実現される場合には、複数のユニットまたはコンポネントが結合されてもよく、または別のシステムに統合されてもよく、またはいくつかの特徴が無視されてもよく、実行されなくてもよいなど、別の分割方法があってもよい。また、表示または議論される相互間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。分離部品として説明されるユニットは、物理的に分離されていてもよいし、ユニットとして表示される部品は、物理的なユニットであってもよいし、すなわち、一カ所にあってもよいし、複数のネットワークユニットに分散されていてもよい。本実施形態は、実際の必要に応じて、その一部または全部のユニットを選択して実現することができる。また、本開示の実施形態における各機能ユニットは、１つの処理ユニットに統合されていてもよいし、各ユニットが物理的に単独で存在していてもよいし、２つ以上のユニットが１つのユニットに統合されていてもよい。

【0056】

添付図面におけるフローチャート及びブロック図は、本開示の実施形態によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を示す。この点で、フローチャートまたはブロック図の各ブロックは、所定の論理機能を実現するための少なくとも１つの実行可能命令を含むモジュール、プログラムセグメント、またはコードの一部を表すことができる。代替としてのいくつかの実装では、ブロックに表示される機能は、添付図面に表示される順序とは異なる順序で発生することができる。例えば、連続する２つのブロックは、実際には基本的に並列して実行されることができ、それらは、関連する機能に応じて異なる順序で実行することもできる。添付図面のフローチャートやブロック図に対応する説明では、異なるブロックに対応する操作またはステップは、説明に開示された順序とは異なる順序で発生することもでき、異なる操作またはステップの間に特定の順序が存在しないこともある。例えば、連続する２つの操作またはステップは、実際には基本的に並列して実行することができ、それらは、関連する機能に応じて異なる順序で実行することもできる。ブロック図及び／またはフローチャートにおける各ブロック、及びブロック図及び／またはフローチャートにおけるブロックの組み合わせは、所定の機能または動作を実行する専用のハードウェアベースのシステムに基づいて実現することができ、または専用のハードウェアとコンピュータ命令の組み合わせで実現することができる。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-06-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

多モード医学データ融合の評価方法であって、
目標対象におけるマルチモードの評価待ちの医学データを得るステップと、
各モードの評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るステップと、
前記複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るステップと、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、前記予め訓練された多モード融合の評価モデルにより出力される前記マルチモードの評価待ちの医学データの評価結果を得るステップとを含み、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力して、前記予め訓練された多モード融合の評価モデルにより出力される前記マルチモードの評価待ちの医学データの評価結果を得ることは、
前記融合の特徴ベクトルにおける各特徴ベクトルを水平スティッチングし、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）を得、第１の関数で特徴ベクトルの第１のマトリクスＷ（Ｉｎ）に対して位置符号化して、特徴ベクトルの第２のマトリクスＷ（Ｐ）を得るステップと、採用する公式は以下のとおりであり、

【数1】

ここで、ｔは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）における特定サブベクトルを表し、ｐ（ｔ）はｔ値に対応する符号化の結果を表し、ｐｏｓはベクトルｔが何番目の特徴ベクトルに属するかを表し、ｉは、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）におけるベクトルｔの番号ビットを表し、ｄは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）のマトリクスが水平方向での次元数を表し、
前記特徴ベクトルの第２のマトリクスＷ（Ｐ）を第２の関数に入力し、サブ空間上での高次元の特徴表現マトリクスＷ（Ｍ）を計算して得るステップと、採用する公式は以下のとおりであり、

【数2】

ここで、ＣＯＮＣＡＴ関数は第２の関数を表し、Ｆ（１）、Ｆ（２）……Ｆ（ｉ）は、特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルに対して、式Ｆ計算を行うことを表し、Ｗ ^ｏ は特徴ベクトルの第１のマトリクスＷ（Ｉｎ）の転置を表し、
Ｆ（ｉ）におけるｘは、入力された特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルを表し、Ｑ、Ｋ、Ｖは、多モード融合の評価モデルにおける暗黙層のパラメータｎの線形知覚層を表し、Ｑ（ｘ）はｘに対して線形回帰を行うことを表し、
多モード融合の評価モデルのエンコーダにより、各画像の前記特徴ベクトルを符号化し、前記エンコーダの出力Ｗ（Ｏｕｔ）を線形回帰層に入力し、線形回帰層によりＷ（Ｏｕｔ）を低次元の特徴表現マトリクスに変換し、最終的にｓｏｆｔｍａｘ関数の演算を経て評価結果を出力するステップとを含むことを特徴とする、方法。

【請求項2】

前記目標対象におけるマルチモードの評価待ちの医学データを得るには、以下の方法、
第１のモードデータとして、前記目標対象における直腸癌の画像のデータセットを得る方法であり、ここで、前記直腸癌の画像データセットには、少なくとも腫瘍領域または既に萎縮した腫瘍領域に基づいて決定されたマクロ視角画像、近視角画像及びミクロ視角画像が含まれ、
第２のモードデータとして、前記目標対象における直腸癌の磁気共鳴の画像データセットを得る方法であり、ここで、前記直腸癌の磁気共鳴の画像データセットには、初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データが含まれ、前記初期直腸癌の磁気共鳴の画像データ及び目標直腸癌の磁気共鳴の画像データにおける腫瘍領域または既に萎縮した腫瘍領域に対してそれぞれレーベリングすることによって、腫瘍領域または既に萎縮した腫瘍領域を含むいくつかのスライス画像を得、
第３のモードデータとして、前記目標対象における初期臨床のデータセット及び目標臨床のデータセットを得る方法であり、ここで、前記初期臨床のデータセット及び目標臨床のデータセットには、少なくとも目標対象の個人情報と症例情報が含まれ、
第４のモードデータとして、前記目標対象における初期腫瘍のマーカー情報、目標腫瘍のマーカー情報、初期血液の情報及び目標血液の情報を得る方法のうち、少なくとも３つの方法を含むことを特徴とする、請求項１に記載の方法。

【請求項3】

各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
前記第１のモードデータ及び第２のモードデータを予め訓練されたニューラル・ネットワークモデルにそれぞれ入力するステップと、
前記ニューラル・ネットワークモデルのハードワイヤ層を介して、前記第１のモードデータ及び第２のモードデータにおける医学画像に対して、それぞれマトリクス接続するステップと、
前記ニューラル・ネットワークモデルのα個の３次元畳み込みモジュールを介して、マトリクス接続された前記医学画像に対して、畳み込み計算と最大プール化操作を行うことによって、高次元の特徴マップを抽出するステップと、
前記ニューラル・ネットワークモデルのβ個のアップサンプリングモジュールと完全接続層を介して、最後の３次元畳み込みコアから抽出された高次元の特徴マップを１次元の特徴ベクトルに変換し、第１の特徴ベクトルと第２の特徴ベクトルをそれぞれ得るステップとを含むことを特徴とする、請求項２に記載の方法。

【請求項4】

各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得ることは、
前記第３のモードデータ及び第４のモードデータにおける文字記述特徴を対応する数値特徴にマッピングするステップと、
前記数値特徴を２次元のマトリクスにマッピングすることによって、第３の特徴ベクトルと第４の特徴ベクトルをそれぞれ得るステップとを含むことを特徴とする、請求項２に記載の方法。

【請求項5】

前記ニューラル・ネットワークモデルを訓練する過程には、
取得した予め設定された評価待ちの医学データを、訓練サンプルとして対応する初期ニューラル・ネットワークモデルに入力することによって、前記初期ニューラル・ネットワークモデルに対応する初期特徴ベクトルを出力させるステップと、
前記初期特徴ベクトルが予め設定された要求を満たす場合、前記初期ニューラル・ネットワークモデルの訓練が成功し、前記予め訓練されたニューラル・ネットワークモデルを得るステップと、
前記初期特徴ベクトルが予め設定された要求を満たしていない場合、前記初期ニューラル・ネットワークモデルにおける損失パラメータを調整することにより、前記損失パラメータがフィッティングして予め設定された損失パラメータ閾値に達するまで、前記初期ニューラル・ネットワークモデルの訓練を継続することによって、前記予め訓練されたニューラル・ネットワークモデルを得るステップとを含むことを特徴とする、請求項３に記載の方法。

【請求項6】

前記多モード融合の評価モデルを訓練する過程において、交差エントロピー損失関数を用いて、前記交差エントロピー損失関数がフィッティングされるまでパラメータの逆伝播と更新を行うことを特徴とする、請求項１に記載の方法。

【請求項7】

多モード医学データ融合の評価装置であって、
目標対象におけるマルチモードの評価待ちの医学データを得るように構成された医学データ取得モジュールと、
各モード評価待ちの医学データに対してそれぞれ特徴抽出し、複数の特徴ベクトルを得るように構成された特徴ベクトル抽出モジュールと、
前記複数の特徴ベクトルを融合し、融合の特徴ベクトルを得るように構成された特徴ベクトル融合モジュールと、
前記融合の特徴ベクトルを予め訓練された多モード融合の評価モデルに入力することによって、前記予め訓練された多モード融合の評価モデルによって出力される前記マルチモードの評価待ちの医学データの評価結果を得るように構成された多モード融合の評価モジュールとを含み、前記多モード融合の評価モジュールは、具体的には、
前記融合の特徴ベクトルにおける各特徴ベクトルを水平スティッチングし、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）を得、第１の関数で特徴ベクトルの第１のマトリクスＷ（Ｉｎ）に対して位置符号化して、特徴ベクトルの第２のマトリクスＷ（Ｐ）を得るステップと、採用する公式は以下のとおりであり、

【数3】

ここで、ｔは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）における特定サブベクトルを表し、ｐ（ｔ）はｔ値に対応する符号化の結果を表し、ｐｏｓはベクトルｔが何番目の特徴ベクトルに属するかを表し、ｉは、特徴ベクトルの第１のマトリクスＷ（Ｉｎ）におけるベクトルｔの番号ビットを表し、ｄは特徴ベクトルの第１のマトリクスＷ（Ｉｎ）のマトリクスが水平方向での次元数を表し、
前記特徴ベクトルの第２のマトリクスＷ（Ｐ）を第２の関数に入力し、サブ空間上での高次元の特徴表現マトリクスＷ（Ｍ）を計算して得るステップと、採用する公式は以下のとおりであり、

【数4】

ここで、ＣＯＮＣＡＴ関数は第２の関数を表し、Ｆ（１）、Ｆ（２）……Ｆ（ｉ）は、特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルに対して、式Ｆ計算を行うことを表し、Ｗ ^ｏ は特徴ベクトルの第１のマトリクスＷ（Ｉｎ）の転置を表し、
Ｆ（ｉ）におけるｘは、入力された特徴ベクトルの第２のマトリクスＷ（Ｐ）における第ｉ個の特徴サブベクトルを表し、Ｑ、Ｋ、Ｖは、多モード融合の評価モデルにおける暗黙層のパラメータｎの線形知覚層を表し、Ｑ（ｘ）はｘに対して線形回帰を行うことを表し、
多モード融合の評価モデルのエンコーダにより、各画像の前記特徴ベクトルを符号化し、前記エンコーダの出力Ｗ（Ｏｕｔ）を線形回帰層に入力し、線形回帰層によりＷ（Ｏｕｔ）を低次元の特徴表現マトリクスに変換し、最終的にｓｏｆｔｍａｘ関数の演算を経て評価結果を出力するように構成されることを特徴とする、装置。

【請求項8】

電子機器であって、
プロセッサ、通信インタフェース、メモリ及び通信バスを備え、ここで、プロセッサ、通信インタフェース及びメモリは、通信バスを通じて相互に通信を完了し、
メモリは、コンピュータプログラムを格納するために用いられ、
プロセッサは、メモリに格納されたプログラムを実行する際、請求項１～６のいずれか１項に記載の方法のステップを実現するために用いられることを特徴とする、電子機器。

【請求項9】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、プロセッサによって実行される際、請求項１～６のいずれか１項に記載のような方法のステップを実現することを特徴とする、コンピュータ可読記憶媒体。

【国際調査報告】