特開2023-183367時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム及び構築方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183367
(43)【公開日】2023-12-27
(54)【発明の名称】時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム及び構築方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231220BHJP
A61B 6/03 20060101ALI20231220BHJP
G06V 10/82 20220101ALI20231220BHJP
G06N 3/042 20230101ALI20231220BHJP
【ＦＩ】
G06T7/00 350C
A61B6/03 360T
G06T7/00 612
G06V10/82
G06N3/042
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2023007862
(22)【出願日】2023-01-23
(31)【優先権主張番号】202210672853.4
(32)【優先日】2022-06-15
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521162399
【氏名又は名称】之江実験室
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】朱 聞▲タオ▼
(72)【発明者】
【氏名】呉 元鋒
(72)【発明者】
【氏名】薛 梦凡
(72)【発明者】
【氏名】江 浩東
【テーマコード（参考）】
4C093
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA24
4C093AA26
4C093DA02
4C093FD03
4C093FF20
4C093FH03
4C093FH09
5L096BA06
5L096BA13
5L096DA01
5L096DA02
5L096GA19
5L096GA30
5L096GA34
5L096HA02
5L096HA11
5L096JA16
5L096JA18
(57)【要約】 （修正有）
【課題】多時相ＣＴ画像を組み合わせて処理することにより、計算の冗長性を低減し、分類の効率及び精度を向上させるＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像分類システム及び構築方法を提供する。
【解決手段】ＣＴ画像分類システムは、データ取得ユニットと、第１埋め込み層ネットワークユニットと、空間的アテンションユニットと、第２埋め込み層ネットワークユニットと、時間的アテンションユニットと、分類層ユニットと、を含む。埋め込み層ユニットによって多時相ＣＴ画像をベクトル化し、次に空間的アテンションユニットを用いて空間的特徴を抽出し、多時相ＣＴ画像の空間的特徴を合わせた後に時間的アテンションユニットに入力して、空間的特徴及び時間的特徴を有するベクトルを得て、分類層ユニットによって分類を行う。
【選択図】図１
【解決手段】ＣＴ画像分類システムは、データ取得ユニットと、第１埋め込み層ネットワークユニットと、空間的アテンションユニットと、第２埋め込み層ネットワークユニットと、時間的アテンションユニットと、分類層ユニットと、を含む。埋め込み層ユニットによって多時相ＣＴ画像をベクトル化し、次に空間的アテンションユニットを用いて空間的特徴を抽出し、多時相ＣＴ画像の空間的特徴を合わせた後に時間的アテンションユニットに入力して、空間的特徴及び時間的特徴を有するベクトルを得て、分類層ユニットによって分類を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得る、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡとＬ１層の第１多層パーセプトロンは順にインターリーブ接続され、前記第１マルチヘッドアテンションネットワークＭＳＡは、最終的な空間的アテンション関数を生成し、最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとするために用いられ、前記第１多層パーセプトロンは正規化された入力ベクトルを符号化して前記第１多層パーセプトロンの入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルと前記第１多層パーセプトロンの入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴とする、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラスラベルベクトルと合わせて埋め込み層ベクトルを得るための第２埋め込み層ネットワークユニットと、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、前記第２マルチヘッドアテンションネットワークＭＳＡは、最終的な時間的アテンション関数を生成し、最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとするために用いられ、前記第２多層パーセプトロンは正規化された入力ベクトルを符号化して前記第２多層パーセプトロンの入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルと前記第２多層パーセプトロンの入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルを得る、時間的アテンションユニットと、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを得るために用いられ、Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ）となり、Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｃはクラスの総数を表す、分類層ユニットと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム。
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得る、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡとＬ１層の第１多層パーセプトロンは順にインターリーブ接続され、前記第１マルチヘッドアテンションネットワークＭＳＡは、最終的な空間的アテンション関数を生成し、最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとするために用いられ、前記第１多層パーセプトロンは正規化された入力ベクトルを符号化して前記第１多層パーセプトロンの入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルと前記第１多層パーセプトロンの入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴とする、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラスラベルベクトルと合わせて埋め込み層ベクトルを得るための第２埋め込み層ネットワークユニットと、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、前記第２マルチヘッドアテンションネットワークＭＳＡは、最終的な時間的アテンション関数を生成し、最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとするために用いられ、前記第２多層パーセプトロンは正規化された入力ベクトルを符号化して前記第２多層パーセプトロンの入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルと前記第２多層パーセプトロンの入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルを得る、時間的アテンションユニットと、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを得るために用いられ、Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ）となり、Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｃはクラスの総数を表す、分類層ユニットと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム。
【請求項2】
ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、動脈相ＣＴ画像と、門脈相ＣＴ画像と、遅発相ＣＴ画像との少なくとも２つを含むことを特徴とする請求項１に記載のシステム。
【請求項3】
前記埋め込みベクトルは、
Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１ ｐ；Ｘ２ ｐ…ＸＮ ｐ］＋Ｘｐｏｓ であり、
ただし、Ｘｃｌａｓｓはクラスラベルベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｎは分割後の画像ブロックの数を表すことを特徴とする請求項１に記載のシステム。
Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１ ｐ；Ｘ２ ｐ…ＸＮ ｐ］＋Ｘｐｏｓ であり、
ただし、Ｘｃｌａｓｓはクラスラベルベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｎは分割後の画像ブロックの数を表すことを特徴とする請求項１に記載のシステム。
【請求項4】
前記マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ、キーワード行列Ｋ及び値行列Ｖの３つの異なる行列に変換し、クエリ行列Ｑ、キーワード行列Ｋ及び値行列Ｖの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成するために用いられ、
ただし、ｄｋはキーワード行列Ｋ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的又は時間的アテンション関数を得るために用いられることを特徴とする請求項１に記載のシステム。
【数1】
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的又は時間的アテンション関数を得るために用いられることを特徴とする請求項１に記載のシステム。
【請求項5】
前記第１マルチヘッドアテンションネットワークＭＳＡ、第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは、
であり、
ＬＮは正規化方法を表し、ｘｌは第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表し、ＭＬＰ（）は対応する第１多層パーセプトロン又は第２多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表すことを特徴とする請求項１に記載のシステム。
【数2】
ＬＮは正規化方法を表し、ｘｌは第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表し、ＭＬＰ（）は対応する第１多層パーセプトロン又は第２多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表すことを特徴とする請求項１に記載のシステム。
【請求項6】
前記第１多層パーセプトロン、第２多層パーセプトロンの入力ベクトルは、
であり、
ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は対応する第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表すことを特徴とする請求項１に記載のシステム。
【数3】
ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は対応する第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表すことを特徴とする請求項１に記載のシステム。
【請求項7】
サンプルを収集してデータセットを構築するステップであって、前記データセットの各サンプルは１人の患者のｓ個の時相のＣＴ画像を含むステップと、
請求項１～６のいずれか１項に記載の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法。
請求項１～６のいずれか１項に記載の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理技術分野に関し、特に、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム及び構築方法に関する。
【背景技術】
【0002】
ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）は、コンピュータ断層撮影であり、精密に平行化されたＸ線ビーム、γ線、超音波などを用いて、非常に高感度な検出器と共に人体のある部位を次々に断面的にスキャンするものであり、スキャン時間が短く、画像が鮮明であるなどの特徴を有し、治療方法の改良につれて、ＣＴ画像スキャンは様々な腫瘍（例えば、肝がん）の診断で普及しており、腫瘍の部位、大きさ及び範囲を素早く見つけることができ、病変部の壊死、出血などの変化の有無を直接観察でき、腫瘍の転移の有無も検出できるため、腫瘍の検出率を高めている。
【0003】
単純ＣＴスキャンは病変を素早く見つけ、さらには一部の疾患を検出できるが、血管奇形、早期がん、転移性腫瘍などの一部の病変は単純ＣＴスキャンでは診断できない。病変の表示率を高め、病巣の範囲と臨床病期を決定するために、造影ＣＴスキャン（Ｃｏｎｔｒａｓｔ‐Ｅｎｈａｎｃｅｄ ＣＴ、ＣＥＣＴ）が必要となる。例えば脳ＣＴ検査の場合、単純ＣＴ診断の正確率は８２％であり、造影ＣＴスキャンの正確率は９２～９５％に上がっていることから、造影ＣＴは診断率向上に役立つことが分かる。造影ＣＴスキャンでは一般的に造影剤を静脈注射し、現在一般的な静脈注射方法には２つがあり、１つは人力手押し注射であり、もう１つは高圧注射器を用いた注射である。造影剤を注射すると、造影ＣＴは単純ＣＴより多くの情報を提供することができ、動脈相、門脈相、遅発相の血流を観察できるため、診断には非常に役立つ。異なるサブタイプの腫瘍の治療方法もそれぞれ異なり、現在、多時相造影ＣＴは腫瘍のサブタイプの術前診断で重要なツールとなっている。
【0004】
ディープラーニングの医用画像処理への応用も１つの大きな方向性であり、機械学習にそれを導入することで、その本来の目標である人工知能に一層近づけ、サンプルデータの内在する法則及び表現レベルを学習し、これらの学習プロセスで得られる情報はテキスト、画像、音声などのデータの解釈に大いに役立つ。その最終的な目標は、機械が人間のように分析・学習能力を有し、テキスト、画像、音声などのデータを認識できるようにすることである。ディープラーニングは複雑な機械学習アルゴリズムであり、音声・画像認識で収めている効果は、これまでの関連技術をはるかに超えており、検索技術、データマイニング、機械学習、機械翻訳、自然言語処理、マルチメディア学習、音声、推薦、個別化技術、及び他の関連分野でいずれも多くの成果を上げている。ディープラーニングは、機械が視聴覚や思考などの人間の活動を模倣するようにし、多くの複雑なパターン認識の難題を解決しており、人工知能の関連技術に大きな進歩をもたらしている。ディープラーニングの発展につれて、畳み込みニューラルネットワークの更新は繰り返され、画像認識の分野でますます多くの応用が実現され、あまりに人力の介入を必要とせず、画像特徴を自動的に抽出でき、学習能力が高いなどの利点が、特にがんの分類や病変の検出などの医用画像分析タスクで競争力の高い性能を示している。
【0005】
しかしながら、悪性腫瘍の判定と診断は依然として困難であり、術前の誤診は治療方針の決定を誤らせる可能性があり、腫瘍イメージングレポートとデータシステムの複雑化に伴い、大規模な実践での実施は難しくなることで、仕事の効率を高めるため、計算による意思決定支援ツールの臨床的ニーズの拡大が必要となり、従来の畳み込みニューラルネットワークはＣＴ画像の局所特徴抽出に一定の優位性があり、病巣の状況を素早く確認することができるが、造影ＣＴの複数の時相（ｐｈａｓｅ）の画像を利用できないため、時間的な情報のつながりが弱まり、情報の利用が不完全になり、最終的な診断結果に影響を与える。
【0006】
中国特許出願ＣＮ１１０４４３２６８Ａはディープラーニングに基づく肝がんＣＴ画像を良性・悪性に分類する方法を開示しており、当該方法は、既存のＲｅｓｎｅｔ３４ネットワークモデルを基に設計・改良を行い、患者の肝臓情報の最大のスライスを選んで、データ処理と強調により、モデルに入れて分類を行う。しかしながら、ＣＴ画像は３Ｄであるため、当該方法で抽出された空間的特徴は不完全であり、しかも多時相ＣＴ画像の状況が考慮されていないため、患者の複数の時相の病変を効果的に組み合わせて処理することができず、診断結果の正確さと精度は低下している。
【0007】
そこで、上記の課題に対しては、多時相のＣＴを組み合わせて処理して、分類の精度と速度を高められる方法が必要である。既存の医用画像処理方法及びディープラーニングの発展の現状を踏まえ、アテンションメカニズム及びｔｒａｎｓｆｏｒｍｅｒによって構成されたエンコーダの使用が考えられ、そのうちアテンションメカニズムは単純スキャン相ＣＴ画像と造影ＣＴ画像の時間的なつながりを強化することができ、ｔｒａｎｓｆｏｒｍｅｒはもともと２０１７年に自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）分野で提案されたモデルであり、２０２０年に初めて視覚分野で用いられ、ＮＬＰ類似しており、画像をシリアル化し、画像分類タスクをうまく実行することができ、最終的な分類結果は最適な畳み込みニューラルネットワークにも負けず、また、必要な計算リソースは大幅に低減しており、分類の効率及び正確率を高めている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、通常のＣＴスキャン及び造影ＣＴスキャンの時に患者の病巣構造に大きな変化がないことを考慮して、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム及び構築方法を提案し、従来の畳み込みニューラルネットワークに基づいて、多時相ＣＴ画像を組み合わせて処理できないという問題を解決する。
【課題を解決するための手段】
【0009】
本発明では、まず専門の医用画像科医師が多時相ＣＴ画像をラベル付けし、次に画像の前処理を行って、病巣部分を分割し、画像サイズをモデルの入力に適合するように調整し、データを強調し、埋め込み層を構築し、入力は通常の単純スキャンＣＴ画像及び造影剤注射後の多時相造影ＣＴ画像であり、出力は通常の単純スキャンＣＴ画像及び造影剤注射後の多時相造影ＣＴ画像の埋め込みベクトルであり、空間的アテンションネットワークを構築し、当該ネットワークモデルの入力は上記のＣＴ画像の埋め込みベクトルであり、通常の単純スキャンＣＴ画像及び造影剤注射後の多時相ＣＴ画像の空間的特徴をそれぞれ出力することができ、さらに上記の空間的特徴を組み合わせて、時間的アテンションネットワークを構築し、当該ネットワークモデルの入力は組み合わせられた空間的特徴であり、時間的特徴と空間的特徴を組み合わせたベクトルを出力することができ、さらに分類層を通じて最終的な分類結果を出力し、最後にラベルと計算して損失を得て、トレーニングと最適化を繰り返すことで損失を最小にし、最適な分類モデルを得て、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムとする。
【0010】
本発明で採用される技術的解決手段は、具体的に次のとおりである。
時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムであって、
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得る、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡとＬ１層の第１多層パーセプトロンは順にインターリーブ接続され、前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に変換し、クエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成するために用いられ、ｉ＝１，２…は、空間的アテンションユニット中のｉ番目の自己アテンションモジュールＳＡを表し、スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし（当該ネットワークは、マルチヘッドアテンションモジュールにより異なるベクトル間のつながりを互いに比較し、重要な部分を強化することができる）、前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴とする、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラスラベルベクトルと合わせて埋め込み層ベクトルを得るための第２埋め込み層ネットワークユニット、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に変換し、クエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成するために用いられ、スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得るために用いられ、ｊ＝１，２…は、時間的アテンションユニット中のｊ番目の自己アテンションモジュールＳＡを表し、最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルを得る、時間的アテンションユニットと、
分類層を含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果を得るための分類層ユニットと、を含む。
時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムであって、
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得る、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡとＬ１層の第１多層パーセプトロンは順にインターリーブ接続され、前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に変換し、クエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成するために用いられ、ｉ＝１，２…は、空間的アテンションユニット中のｉ番目の自己アテンションモジュールＳＡを表し、スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし（当該ネットワークは、マルチヘッドアテンションモジュールにより異なるベクトル間のつながりを互いに比較し、重要な部分を強化することができる）、前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴とする、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラスラベルベクトルと合わせて埋め込み層ベクトルを得るための第２埋め込み層ネットワークユニット、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に変換し、クエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成するために用いられ、スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得るために用いられ、ｊ＝１，２…は、時間的アテンションユニット中のｊ番目の自己アテンションモジュールＳＡを表し、最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力とし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルを得る、時間的アテンションユニットと、
分類層を含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果を得るための分類層ユニットと、を含む。
【0011】
さらに、ｓは２以上であり、ｓ個の時相のＣＴ画像は、具体的に、単純スキャン相ＣＴ画像と、動脈相ＣＴ画像と、門脈相ＣＴ画像と、遅発相ＣＴ画像との少なくとも２つを含む。
【0012】
さらに、前記埋め込みベクトルは、具体的に、
Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１ ｐ；Ｘ２ ｐ…ＸＮ ｐ］＋Ｘｐｏｓ であり、
ただし、Ｘｃｌａｓｓはクラスラベルベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｎは分割後の画像ブロックの数を表す。
Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１ ｐ；Ｘ２ ｐ…ＸＮ ｐ］＋Ｘｐｏｓ であり、
ただし、Ｘｃｌａｓｓはクラスラベルベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｎは分割後の画像ブロックの数を表す。
【0013】
さらに、クエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成することは、具体的に、
であり、
ただし、ｄｋはキーワード行列Ｋ１ｉ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数である。
【数1】
ただし、ｄｋはキーワード行列Ｋ１ｉ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数である。
【0014】
同様に、クエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成することは、具体的に、
であり、
ただし、ｄｋはキーワード行列Ｋ２ｊ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数である。
【数2】
ただし、ｄｋはキーワード行列Ｋ２ｊ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数である。
【0015】
さらに、前記第１マルチヘッドアテンションネットワークＭＳＡ、第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは、
であり、
ＬＮは正規化方法を表し、ｘｌは第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表し、ＭＬＰ（）は対応する第１多層パーセプトロン又は第２多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表す。
【数3】
ＬＮは正規化方法を表し、ｘｌは第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表し、ＭＬＰ（）は対応する第１多層パーセプトロン又は第２多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表す。
【0016】
さらに、前記第１多層パーセプトロン、第２多層パーセプトロンの入力ベクトルは、
であり、
ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は対応する第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表す。
【数4】
ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロン又は第２多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は対応する第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークＭＳＡ又は第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルを表す。
【0017】
時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法であって、
サンプルを収集してデータセットを構築するステップであって、前記データセットの各サンプルは１人の患者のｓ個の時相のＣＴ画像を含むステップと、
上記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、を含む。
サンプルを収集してデータセットを構築するステップであって、前記データセットの各サンプルは１人の患者のｓ個の時相のＣＴ画像を含むステップと、
上記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、を含む。
【発明の効果】
【0018】
本発明の有益な効果は次のとおりである。
（１）本発明は、空間的アテンションネットワーク及び時間的アテンションネットワークの２種類のアテンションネットワークを含む、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを提案する。空間的アテンションネットワークはＣＴ画像の空間的特徴を抽出することができ、時間的アテンションネットワークは異なる時相のＣＴ画像間のつながりを抽出することができ、各時相のＣＴ間のグローバルなアテンションを強化する。
（１）本発明は、空間的アテンションネットワーク及び時間的アテンションネットワークの２種類のアテンションネットワークを含む、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを提案する。空間的アテンションネットワークはＣＴ画像の空間的特徴を抽出することができ、時間的アテンションネットワークは異なる時相のＣＴ画像間のつながりを抽出することができ、各時相のＣＴ間のグローバルなアテンションを強化する。
【0019】
（２）本発明は、多時相のＣＴ画像に基づいて診断する必要のある様々な疾患に普遍性を有し、異なる時相の病巣の特徴をより効果的に利用して、時間的なつながりを強化し、従来の畳み込みニューラルネットワークをメインモデルとした設計を捨て、アテンションメカニズムにより、より多くの計算を重要な領域に投入し、注目すべき目標のより多くの詳細情報を得ることができ、これによって他の無用な情報を抑制し、計算の冗長性と遅延を低減し、ＣＴ画像の診断をより短時間で実現しやすく、診断の精度を高くし、診断の効果をより安定的にする。
【図面の簡単な説明】
【0020】
【図1】本発明の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構造図である。
【図2】本発明の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムによる分類のフローチャートである。
【図3】本発明の時空間的アテンションモデルに基づく肝がんの多時相ＣＴ画像分類システムの構築方法のフローチャートである。
【発明を実施するための形態】
【0021】
例示的な実施例をここで詳細に説明し、その例示は添付の図面に示される。以下の説明が図面に言及している場合、特に断りのない限り、異なる図面の同じ番号は、同じ又は類似の要素を示す。以下の例示的な実施例に記載の実施形態は、本発明と一致する全ての実施形態を表すわけではない。それどころか、それらは、添付の特許請求の範囲に詳述されているような、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
【0022】
本発明で使用される用語は、特定の実施例を説明するためのものに過ぎず、本発明を限定するものではない。
【0023】
本発明及び添付の特許請求の範囲で使用される単数形「一種」、「前記」及び「当該」は、文脈が明らかに他の意味を示さない限り、複数形も含むことを意図している。また、本明細書において使用される用語「及び／又は」は、１つ又は複数の関連する列挙された項目の任意の又は全ての可能な組み合わせを指し、包含することを理解されたい。
【0024】
なお、本発明では「第１」、「第２」、「第３」などの用語で様々な情報を説明するかもしれないが、これらの情報はこれらの用語に限定されない。これらの用語は同じタイプの情報を互いに区別するためだけに用いられる。例えば、本発明の範囲から逸脱しない限り、第１情報は第２情報とも呼ばれてもよいし、同様に、第２情報は第１情報と呼ばれてもよい。文脈によって、ここで使用される言葉「もし」は、「…とき」又は「…と」又は「決定に応じて」と解釈されてもよい。
【0025】
本発明の趣旨は、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム及び構築方法を提案することであり、従来の畳み込みニューラルネットワークに基づいて、多時相ＣＴ画像を組み合わせて処理できないという問題を解決する。なお、本発明の多時相ＣＴ画像は、臨床で通常どおりスキャンするＣＴ画像及び造影剤注射後にスキャンする造影ＣＴ画像を含み、通常どおりスキャンするＣＴ画像は単純スキャン相ＣＴ画像であり、造影剤注射後にスキャンする造影ＣＴ画像は動脈相、門脈相、遅発相のＣＴ画像を含む。
【0026】
本発明の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムは、図１に示されるとおり、以下を含む。
データ取得ユニットであって、分類される患者のｓ個の時相のＣＴ画像を取得するために用いられ、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得るために用いられ、各時相のＣＴ画像のサイズは
であり、Ｈ、Ｗは一枚のＣＴ画像の長さ、幅であり、ＣはＣＴ画像の層数である。分割後の画像ブロックのサイズはＰ×Ｐ×Ｃであり、Ｐは分割後の画像ブロックの長さ及び幅であり、各画像ブロックは畳み込み層に通じて画像ブロックベクトルに展開され、埋め込みベクトルＸ０として線形投影され、埋め込みベクトルＸ０は、
Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１ ｐ；Ｘ２ ｐ…ＸＮ ｐ］＋Ｘｐｏｓ，Ｘｐ∈Ｒ１×Ｄ，Ｘｐｏｓ∈Ｒ（１＋Ｎ）×Ｄ （１）
であり、
ただし、Ｘｃｌａｓｓはクラスラベルベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｎは分割後の画像ブロックの数を表し、Ｎ＝ＨＷ／Ｐ２である。Ｄは畳み込み層の畳み込みカーネルの数であり、畳み込み層を通過した画像ブロックベクトルと学習可能なクラスラベルベクトルを合わせることで、ラベルベクトル全体の表現情報を集めることができ、さらに学習可能な同次元の位置ベクトルと加算すると、データ情報を強調することができる。
データ取得ユニットであって、分類される患者のｓ個の時相のＣＴ画像を取得するために用いられ、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得るために用いられ、各時相のＣＴ画像のサイズは
【数5】
Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１ ｐ；Ｘ２ ｐ…ＸＮ ｐ］＋Ｘｐｏｓ，Ｘｐ∈Ｒ１×Ｄ，Ｘｐｏｓ∈Ｒ（１＋Ｎ）×Ｄ （１）
であり、
ただし、Ｘｃｌａｓｓはクラスラベルベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｎは分割後の画像ブロックの数を表し、Ｎ＝ＨＷ／Ｐ２である。Ｄは畳み込み層の畳み込みカーネルの数であり、畳み込み層を通過した画像ブロックベクトルと学習可能なクラスラベルベクトルを合わせることで、ラベルベクトル全体の表現情報を集めることができ、さらに学習可能な同次元の位置ベクトルと加算すると、データ情報を強調することができる。
【0027】
前記多時相ＣＴ画像分類システムは、ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットも含み、各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡとＬ１層の第１多層パーセプトロンは順にインターリーブ接続され、前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に変換するために用いられ、具体的には、まず入力ベクトルをクエリベクトルｑ、キーワードベクトルｋ及び値ベクトルｖの３つの異なるベクトルに変換し、そのうちクエリベクトルｑは他のベクトルとマッチングするために用いられ、キーワードベクトルｋはマッチングされ、値ベクトルｖは抽出される情報を表し、ｑ、ｋ、ｖの３種類のベクトルは学習可能な行列と入力ベクトルを乗算して得られる。埋め込みベクトルは多次元であることを考慮して、グローバルな視点から表すと、
Ｑ１ｉ＝ＸＷ１ｉ Ｑ，Ｋ１ｉ＝ＸＷ１ｉ Ｋ，Ｖ１ｉ＝ＸＷ１ｉ Ｖ （２）
となり、
ただし、Ｗ１ｉ Ｑ、Ｗ１ｉ Ｋ、Ｗ１ｉ Ｖはｉ番目のトレーニング可能な重み行列を表し、Ｘは入力ベクトルを表す。
Ｑ１ｉ＝ＸＷ１ｉ Ｑ，Ｋ１ｉ＝ＸＷ１ｉ Ｋ，Ｖ１ｉ＝ＸＷ１ｉ Ｖ （２）
となり、
ただし、Ｗ１ｉ Ｑ、Ｗ１ｉ Ｋ、Ｗ１ｉ Ｖはｉ番目のトレーニング可能な重み行列を表し、Ｘは入力ベクトルを表す。
【0028】
クエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成し、具体的には、クエリベクトルｑと各キーワードベクトルｋのドット積を求め、ドット積をキーワードベクトルｋの次元の平方根で割り、ｓｏｆｔｍａｘ層を通じて値ベクトルｖと乗算して和を求め、ｓｏｆｔｍａｘ関数は入力値を区間（０，１）にマッピングするために用いられる。入力ベクトル間のアテンション関数の算式は、
（３）
であり、
ただし、ｄｋはキーワード行列Ｋ１ｉ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、ｈｅａｄ１ｉはｉ番目の自己アテンションモジュールＳＡの出力を表す。
【数6】
であり、
ただし、ｄｋはキーワード行列Ｋ１ｉ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、ｈｅａｄ１ｉはｉ番目の自己アテンションモジュールＳＡの出力を表す。
【0029】
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ１１，…，ｈｅａｄ１ｉ，…）Ｗ１ Ｏ （４）
と表され、
ＭＳＡ（）は空間的アテンションネットワークの出力であり、Ｗ１ Ｏはトレーニング可能な重み行列である。
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ１１，…，ｈｅａｄ１ｉ，…）Ｗ１ Ｏ （４）
と表され、
ＭＳＡ（）は空間的アテンションネットワークの出力であり、Ｗ１ Ｏはトレーニング可能な重み行列である。
【0030】
当該ネットワークは、マルチヘッドアテンションモジュールにより異なるベクトル間のつながりを互いに比較し、重要な部分を強化することができる。第１マルチヘッドアテンションネットワークＭＳＡを基に第１多層パーセプトロンＭＬＰを使用し、ＭＬＰは非線形層としてＧｅｌｕ関数を有する多層パーセプトロンを表し、Ｇｅｌｕ関数は、高性能のニューラルネットワーク活性化関数であり、その非線形変化は予想に合致するランダム正則変換方式であるためである。具体的には、最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし、
（５）
ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表す。
【数7】
ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表す。
【0031】
前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、
（６）
ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表す。
【数8】
ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表す。
【0032】
１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、即ちｘ１＝Ｘ０であり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴とするために用いられ、
（７）
ｘ０ Ｌは全ての符号化層を通過した後のｘＬの第１次元のデータを表し、Ｌ＝２Ｌ１である。
【数9】
ｘ０ Ｌは全ての符号化層を通過した後のｘＬの第１次元のデータを表し、Ｌ＝２Ｌ１である。
【0033】
単純スキャン相、動脈相、門脈相及び遅発相のＣＴ画像に対して、それぞれ、対応する単純スキャン相、動脈相、門脈相及び遅発相のＣＴ画像の空間的特徴を得る。
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラスラベルベクトルと合わせて埋め込み層ベクトルｘを得るために用いられ、
ｘ＝［Ｘｃｌａｓｓ；ｘｓｐａｃｅ］，ｘｓｐａｃｅ∈Ｒｓ×Ｄ，Ｘｃｌａｓｓ∈Ｒ１×Ｄ （８）
ただし、ｘｓｐａｃｅは合わせられた空間的特徴を表す。
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラスラベルベクトルと合わせて埋め込み層ベクトルｘを得るために用いられ、
ｘ＝［Ｘｃｌａｓｓ；ｘｓｐａｃｅ］，ｘｓｐａｃｅ∈Ｒｓ×Ｄ，Ｘｃｌａｓｓ∈Ｒ１×Ｄ （８）
ただし、ｘｓｐａｃｅは合わせられた空間的特徴を表す。
【0034】
前記多時相ＣＴ画像分類システムは、１つの時間的アテンションネットワークを含む時間的アテンションユニットも含み、時間的アテンションネットワークの構造及び機能は空間的アテンションネットワークの構造と同じであり、具体的には、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、式（２）に従って、正規化された入力ベクトルをクエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に変換し、クエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に基づいて、式（３）に従って入力ベクトル中の各ベクトル間のアテンション関数を生成し、ｊは時間的アテンションユニット中の自己アテンションモジュールＳＡのインデックスであり、スプライシング層は式（４）に従って各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得て、式（５）に従って最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、式（６）に従って、前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルｘｔｉｍｅを得るために用いられ、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを得るために用いられ、
Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ） （９）
Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｃはクラスの総数を表す。
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを得るために用いられ、
Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ） （９）
Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｃはクラスの総数を表す。
【0035】
図２は、本発明の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムによる分類のフローチャートであり、具体的には次のとおりである。
データ取得ユニットにより取得された分類される患者のｓ個の時相のＣＴ画像を第１埋め込み層ネットワークユニットに入力し、各第１埋め込み層ネットワークは、対応する単一の時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得て、
得られた対応する時相のＣＴ画像の埋め込みベクトルを空間的アテンションユニット中の対応する空間的アテンションネットワークに入力して対応する時相のＣＴ画像の空間的特徴を得て、
ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を第２埋め込み層ネットワークユニットに入力し、ｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後、クラスラベルベクトルと重ねて埋め込み層ベクトルを構成し、
埋め込み層ベクトルを時間的アテンションユニットに入力して、空間的特徴及び時間的特徴を有するベクトルを得て、最後に、得られた空間的特徴及び時間的特徴を有するベクトルを分類層ユニットに入力して、最終的な分類結果が出力される。
データ取得ユニットにより取得された分類される患者のｓ個の時相のＣＴ画像を第１埋め込み層ネットワークユニットに入力し、各第１埋め込み層ネットワークは、対応する単一の時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ画像ブロックベクトルに展開し、全ての画像ブロックベクトルとクラスラベルベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得て、
得られた対応する時相のＣＴ画像の埋め込みベクトルを空間的アテンションユニット中の対応する空間的アテンションネットワークに入力して対応する時相のＣＴ画像の空間的特徴を得て、
ｓ個の空間的アテンションネットワークの出力するｓ個の対応する時相のＣＴ画像の空間的特徴を第２埋め込み層ネットワークユニットに入力し、ｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後、クラスラベルベクトルと重ねて埋め込み層ベクトルを構成し、
埋め込み層ベクトルを時間的アテンションユニットに入力して、空間的特徴及び時間的特徴を有するベクトルを得て、最後に、得られた空間的特徴及び時間的特徴を有するベクトルを分類層ユニットに入力して、最終的な分類結果が出力される。
【0036】
本発明のシステムは、異なる種類の腫瘍又はサブタイプのＣＴ画像における違いに基づいてＣＴ画像の分類を実現し、さらに、腫瘍の病型／病期の診断上の分類を実現するものである。本発明のシステムは、２種類以上の腫瘍の分類に用いることができ、具体的に、システムの構築方法によって決定される。例えば、肝がんは一般的に原発性及び続発性の２種類に分けられる。原発性肝臓悪性腫瘍は肝臓の上皮又は間葉組織から発生するものであり、続発性（転移性とも呼ばれる）肝がんとは、全身の複数の臓器に由来する悪性腫瘍が肝臓に浸潤するものを指す。一般的には、胃、胆道、膵臓、結腸・直腸、卵巣、子宮、肺、乳腺などの臓器の悪性腫瘍の肝転移が多く見られる。
【0037】
図３に示すのは、本発明の時空間的アテンションモデルに基づく肝がん多時相ＣＴ画像分類システムの構築方法のフローチャートであり、当該方法は、具体的には以下を含む。
（１）サンプルを収集してデータセットを構築し、前記データセットの各サンプルは１人の患者のｓ個の時相の肝がんＣＴ画像を含み、
肝がんＣＴ画像に対して肝細胞がん及び肝内胆管細胞がんの二項分類を例にとると、肝細胞がん（ｈｅｐａｔｏｃｅｌｌｕｌａｒ ｃａｒｃｉｎｏｍａ、ＨＣＣ）は死亡率の高い原発性肝がんであり、肝内胆管細胞がん（ｉｎｔｒａｈｅｐａｔｉｃ ｃｈｏｌａｎｇｉｏｃａｒｃｉｎｏｍａ、ＩＣＣ）とは、二次胆管及びその枝の上皮から発生する腺がんを指し、肝細胞がんに次ぐ発生率を有する原発性肝臓悪性腫瘍である。合計４００件のサンプルが収集されており、そのうちＨＣＣサンプルは２００件、ＩＣＣサンプルは２００件があり、全てのサンプルのラベル付けは専門の医用画像科医師によって実施され、具体的には次のとおりである。
（１．１）最初に、病院から肝がん患者の単純スキャン相肝臓ＣＴ画像及び造影ＣＴ画像（動脈相、門脈相、遅発相の肝臓ＣＴ画像）を収集し、データスクリーニングにより完全な研究情報を有する患者データを選択し、データマスキング技術により患者個人のプライベートな情報を除去し、患者のプライバシーを保護し、データの機密性を向上させるために役立ち、最終的にＨＣＣ及びＩＣＣ患者から合計４００件の肝臓ＣＴ画像及び対応する肝機能検査報告を収集し、そのうちＨＣＣ患者は２００件、ＩＣＣ患者は２００件があり、属するクラスに従ってラベル付けし、ＨＣＣ患者は１とラベル付けし、ＩＣＣ患者は０とラベル付けする。
（１）サンプルを収集してデータセットを構築し、前記データセットの各サンプルは１人の患者のｓ個の時相の肝がんＣＴ画像を含み、
肝がんＣＴ画像に対して肝細胞がん及び肝内胆管細胞がんの二項分類を例にとると、肝細胞がん（ｈｅｐａｔｏｃｅｌｌｕｌａｒ ｃａｒｃｉｎｏｍａ、ＨＣＣ）は死亡率の高い原発性肝がんであり、肝内胆管細胞がん（ｉｎｔｒａｈｅｐａｔｉｃ ｃｈｏｌａｎｇｉｏｃａｒｃｉｎｏｍａ、ＩＣＣ）とは、二次胆管及びその枝の上皮から発生する腺がんを指し、肝細胞がんに次ぐ発生率を有する原発性肝臓悪性腫瘍である。合計４００件のサンプルが収集されており、そのうちＨＣＣサンプルは２００件、ＩＣＣサンプルは２００件があり、全てのサンプルのラベル付けは専門の医用画像科医師によって実施され、具体的には次のとおりである。
（１．１）最初に、病院から肝がん患者の単純スキャン相肝臓ＣＴ画像及び造影ＣＴ画像（動脈相、門脈相、遅発相の肝臓ＣＴ画像）を収集し、データスクリーニングにより完全な研究情報を有する患者データを選択し、データマスキング技術により患者個人のプライベートな情報を除去し、患者のプライバシーを保護し、データの機密性を向上させるために役立ち、最終的にＨＣＣ及びＩＣＣ患者から合計４００件の肝臓ＣＴ画像及び対応する肝機能検査報告を収集し、そのうちＨＣＣ患者は２００件、ＩＣＣ患者は２００件があり、属するクラスに従ってラベル付けし、ＨＣＣ患者は１とラベル付けし、ＩＣＣ患者は０とラベル付けする。
【0038】
（１．２）専門の医用画像科医師は４つの時相の肝臓ＣＴ画像中の病巣部分をラベル付けし、分割して、データセットを構築する。
【0039】
さらに、患者の個人差により検査科医師は異なる患者に異なるスキャン回数を設定する可能性があるため、オリジナルのＣＴ画像中のスライス数は異なり、研究の便宜上、各時相のＣＴ画像のサイズ及び数は一律に定義される。本実施例では、各サンプルの肝臓ＣＴ画像のサイズを６４×１２８×１２８×４とし、ここで６４は各時相の肝臓ＣＴ画像の層数を表し、１２８、１２８は各肝臓ＣＴ画像の長さ及び幅を表し、４は４つの時相を表し、
さらに、データを強調し、データが不十分な場合に、データからより多くの価値を生み出し、入力はデータの前処理を完了された４時相肝臓ＣＴ画像であり、ランダムな回転、ランダムな反転などの操作を行って、データセットのサンプルを補足する。
さらに、データを強調し、データが不十分な場合に、データからより多くの価値を生み出し、入力はデータの前処理を完了された４時相肝臓ＣＴ画像であり、ランダムな回転、ランダムな反転などの操作を行って、データセットのサンプルを補足する。
【0040】
（２）データ取得ユニットと、第１埋め込み層ネットワークユニットと、空間的アテンションユニットと、第２埋め込み層ネットワークユニットと、時間的アテンションユニットと、分類層ユニットとを含む上記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、バイナリクロスエントロピー損失関数でシステムの出力する分類結果と分類ラベルとの誤差の計算を例にとると、次のとおりに表す。
Ｌｏｓｓ＝－ｙｌｏｇ（Ｐｒｏｂ）－（１－ｙ）ｌｏｇ（１－Ｐｒｏｂ） （１０）
ただし、ｙ∈｛０，１｝であり、０はＩＣＣ患者を表し、１はＨＣＣ患者を表す。
Ｌｏｓｓ＝－ｙｌｏｇ（Ｐｒｏｂ）－（１－ｙ）ｌｏｇ（１－Ｐｒｏｂ） （１０）
ただし、ｙ∈｛０，１｝であり、０はＩＣＣ患者を表し、１はＨＣＣ患者を表す。
【0041】
確率的勾配降下アルゴリズムを用いてシステム全体を最適化し、目標は最小の誤差損失を見つけて、最終的に最適な分類モデルを得ることである。本実施例では、Ａｄａｍ確率的最適化アルゴリズムを用いて勾配の逆伝播と最適化を行い、学習率は０．０００１に設定し、最終的に肝細胞がん及び肝内胆管細胞がんの二項分類を実現する時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得る。
【0042】
本発明の方法は多時相のＣＴ画像に基づいて診断する必要のある様々な疾患に普遍性を有し、異なる時相の病巣の特徴をより効果的に利用して、時間的なつながりを強化し、従来の畳み込みニューラルネットワークをメインモデルとした設計を捨て、アテンションメカニズムにより、より多くの計算を重要な領域に投入し、注目すべき目標のより多くの詳細情報を得ることができ、これによって他の無用な情報を抑制し、計算の冗長性と遅延を低減し、ＣＴ画像の診断をより短時間で実現しやすく、診断の精度を高くし、診断の効果をより安定的にする。
【0043】
なお、本発明に記載されている実施例は、本発明の実施形態に対する限定ではなく、本発明を明瞭に説明するために挙げた例に過ぎない。当業者は、上記の説明を踏まえて他の様々な形式の修正又は変更を行うことができる。ここでは全ての実施形態を挙げる必要はなく、そうすることもできない。本発明の趣旨と原則内の修正、同等な置換、改良など、いずれも本発明の特許請求の範囲に含まれる。本発明で主張する保護範囲は、特許請求の範囲の内容に従うものとし、明細書の発明を実施するための形態などの記載は特許請求の範囲の内容を解釈するために用いてもよい。そこから生まれる自明な変化又は変更は依然として本発明の保護範囲に含まれる。
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2023-08-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ＣＴ画像から空間的特徴および時間的特徴を得て腫瘍の分類を行う、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムであって、
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットであって、ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、造影ＣＴにおける動脈相ＣＴ画像と、造影ＣＴにおける門脈相ＣＴ画像と、造影ＣＴにおける遅発相ＣＴ画像との少なくとも２つを含む、データ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、前記ｓ個の第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ畳み込み層によって展開し、線形化後の画像ブロックベクトルを得、全ての前記画像ブロックベクトルとクラストークンベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得、ここで、各時相のＣＴ画像のサイズは、
であり、Ｈ、Ｗは一枚のＣＴ画像の長さ、幅であり、ＣはＣＴ画像の層数であり、分割後の画像ブロックのサイズはＰ×Ｐ×Ｃであり、Ｐは分割後の画像ブロックの長さ及び幅であり、前記埋め込みベクトルは、
Ｘ ０ ＝［Ｘ ｃｌａｓｓ ；Ｘ １ ｐ ；Ｘ ２ ｐ …Ｘ Ｎ ｐ ］＋Ｘ ｐｏｓ ，Ｘ ｐ ∈Ｒ １×Ｄ ，Ｘ ｐｏｓ ∈Ｒ （１＋Ｎ）×Ｄ
であり、Ｘ ｃｌａｓｓ はクラストークンベクトルを表し、Ｘ ｐｏｓ は位置ベクトルを表し、Ｘ ｐ は線形化後の画像ブロックベクトルを表し、Ｒは実数全体の集合を表し、Ｎは分割後の画像ブロックの数を表し、Ｎ＝ＨＷ／Ｐ ２ であり、Ｄは畳み込み層の畳み込みカーネルの数である、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、前記ｓ個の各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１は任意の正の整数であり、前記Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと前記Ｌ１層の第１多層パーセプトロンは順にインターリーブ接続され、
前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ １ｉ 、キーワード行列Ｋ １ｉ 及び値行列Ｖ １ｉ の３つの異なる行列に変換するために用いられ、入力ベクトルをクエリベクトルｑ、キーワードベクトルｋ及び値ベクトルｖの３つの異なるベクトルに変換し、そのうちクエリベクトルｑは他のベクトルとマッチングするために用いられ、キーワードベクトルｋはマッチングされ、値ベクトルｖは抽出される情報を表し、ｑ、ｋ、ｖの３種類のベクトルは学習可能な行列と入力ベクトルを乗算して得られ、埋め込みベクトルは多次元であることを考慮して、グローバルな視点から表すと、
Ｑ １ｉ ＝ＸＷ １ｉ Ｑ ，Ｋ １ｉ ＝ＸＷ １ｉ Ｋ ，Ｖ １ｉ ＝ＸＷ １ｉ Ｖ （２）
となり、
ただし、Ｗ １ｉ Ｑ 、Ｗ １ｉ Ｋ 、Ｗ １ｉ Ｖ はｉ番目のトレーニング可能な重み行列を表し、Ｘは入力ベクトルを表し、
クエリ行列Ｑ １ｉ 、キーワード行列Ｋ １ｉ 及び値行列Ｖ １ｉ の３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成し、クエリベクトルｑと各キーワードベクトルｋのドット積を求め、ドット積をキーワードベクトルｋの次元の平方根で割り、ｓｏｆｔｍａｘ層を通じて値ベクトルｖと乗算して和を求め、ｓｏｆｔｍａｘ関数は入力値を区間（０，１）にマッピングするために用いられ、入力ベクトル間のアテンション関数の算式（３）は、
（３）であり、
ただし、ｄｋはキーワード行列Ｋ １ｉ 中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、ｈｅａｄ １ｉ はｉ番目の自己アテンションモジュールＳＡの出力を表し、
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、スプライシング層は下記式（４）で表され、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ １１ ，…，ｈｅａｄ １ｉ ，…）Ｗ １ Ｏ （４）
ここで、ＭＳＡ（）は空間的アテンションネットワークの出力であり、Ｗ １ Ｏ はトレーニング可能な重み行列であり、
（５）
ここで、ＬＮは正規化方法を表し、ｘ’ ｌ は第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘ ｌ はｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし、
（６）
ここで、ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ ｌ－１ はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表し、
前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、
１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴を得る、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、前記ｓ個の空間的アテンションネットワークから出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラストークンベクトルと合わせて埋め込み層ベクトルｘを下記式で得る、
ｘ＝［Ｘ ｃｌａｓｓ ； ｘｓｐａｃｅ ］， ｘｓｐａｃｅ ∈Ｒ ｓ×Ｄ ，Ｘ ｃｌａｓｓ ∈Ｒ １×Ｄ （７）
ただし、ｘ ｓｐａｃｅ は合わせられた空間的特徴を表す、第２埋め込み層ネットワークユニットと、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、前記時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２は任意の正の整数であり、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、
前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、下記式（８）に従って、
Ｑ ２ｉ ＝ＸＷ ２ｉ Ｑ ，Ｋ ２ｉ ＝ＸＷ ２ｉ Ｋ ，Ｖ ２ｉ ＝ＸＷ ２ｉ Ｖ （８）
正規化された入力ベクトルをクエリ行列Ｑ ２ｊ 、キーワード行列Ｋ ２ｊ 及び値行列Ｖ ２ｊ の３つの異なる行列に変換し、クエリ行列Ｑ ２ｊ 、キーワード行列Ｋ ２ｊ 及び値行列Ｖ ２ｊ の３つの異なる行列に基づいて、下記式（９）に従って、
head 2i =Attention 2i (Q 2i ,K 2i ,V 2i )=Softmax(Q 2i K 2i T /√d k )V 2i （９）
入力ベクトル中の各ベクトル間のアテンション関数を生成し、ｊは時間的アテンションユニット中の自己アテンションモジュールＳＡのインデックスであり、スプライシング層は下記式（１０）に従って、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ ２１ ，…，ｈｅａｄ ２ｉ ，…）Ｗ ２ Ｏ （１０）
各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得て、下記式（１１）に従って、
ｘ′ ｌ ＝MSA（LN(ｘ ｌ )）＋ｘ ｌ , ｌ＝１・・・L2 （１１）
ここで、ＬＮは正規化方法を表し、ｘ’ ｌ は第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘ ｌ はｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、下記式（１２）に従って、
ｘ ｌ ＝MSA（LN(ｘ´ ｌ－１ )）＋ｘ′ ｌ－１ , ｌ＝２・・・L１ （１２）
ここで、ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ ｌ－１ はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表し、
前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルｘ ｔｉｍｅ を得る、時間的アテンションユニットと、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを下記式（１３）により得るために用いられ、
Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ） （１３）
ｘ ｔｉｍｅ Ｔ は前記空間的特徴及び時間的特徴を有するベクトルであり、Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｒは実数全体の集合を表し、Ｃはクラスの総数を表す、分類層ユニットと、
を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム。
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットであって、ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、造影ＣＴにおける動脈相ＣＴ画像と、造影ＣＴにおける門脈相ＣＴ画像と、造影ＣＴにおける遅発相ＣＴ画像との少なくとも２つを含む、データ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、前記ｓ個の第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ畳み込み層によって展開し、線形化後の画像ブロックベクトルを得、全ての前記画像ブロックベクトルとクラストークンベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得、ここで、各時相のＣＴ画像のサイズは、
【数1】
Ｘ ０ ＝［Ｘ ｃｌａｓｓ ；Ｘ １ ｐ ；Ｘ ２ ｐ …Ｘ Ｎ ｐ ］＋Ｘ ｐｏｓ ，Ｘ ｐ ∈Ｒ １×Ｄ ，Ｘ ｐｏｓ ∈Ｒ （１＋Ｎ）×Ｄ
であり、Ｘ ｃｌａｓｓ はクラストークンベクトルを表し、Ｘ ｐｏｓ は位置ベクトルを表し、Ｘ ｐ は線形化後の画像ブロックベクトルを表し、Ｒは実数全体の集合を表し、Ｎは分割後の画像ブロックの数を表し、Ｎ＝ＨＷ／Ｐ ２ であり、Ｄは畳み込み層の畳み込みカーネルの数である、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、前記ｓ個の各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１は任意の正の整数であり、前記Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと前記Ｌ１層の第１多層パーセプトロンは順にインターリーブ接続され、
前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ １ｉ 、キーワード行列Ｋ １ｉ 及び値行列Ｖ １ｉ の３つの異なる行列に変換するために用いられ、入力ベクトルをクエリベクトルｑ、キーワードベクトルｋ及び値ベクトルｖの３つの異なるベクトルに変換し、そのうちクエリベクトルｑは他のベクトルとマッチングするために用いられ、キーワードベクトルｋはマッチングされ、値ベクトルｖは抽出される情報を表し、ｑ、ｋ、ｖの３種類のベクトルは学習可能な行列と入力ベクトルを乗算して得られ、埋め込みベクトルは多次元であることを考慮して、グローバルな視点から表すと、
Ｑ １ｉ ＝ＸＷ １ｉ Ｑ ，Ｋ １ｉ ＝ＸＷ １ｉ Ｋ ，Ｖ １ｉ ＝ＸＷ １ｉ Ｖ （２）
となり、
ただし、Ｗ １ｉ Ｑ 、Ｗ １ｉ Ｋ 、Ｗ １ｉ Ｖ はｉ番目のトレーニング可能な重み行列を表し、Ｘは入力ベクトルを表し、
クエリ行列Ｑ １ｉ 、キーワード行列Ｋ １ｉ 及び値行列Ｖ １ｉ の３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成し、クエリベクトルｑと各キーワードベクトルｋのドット積を求め、ドット積をキーワードベクトルｋの次元の平方根で割り、ｓｏｆｔｍａｘ層を通じて値ベクトルｖと乗算して和を求め、ｓｏｆｔｍａｘ関数は入力値を区間（０，１）にマッピングするために用いられ、入力ベクトル間のアテンション関数の算式（３）は、
【数2】
ただし、ｄｋはキーワード行列Ｋ １ｉ 中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、ｈｅａｄ １ｉ はｉ番目の自己アテンションモジュールＳＡの出力を表し、
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、スプライシング層は下記式（４）で表され、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ １１ ，…，ｈｅａｄ １ｉ ，…）Ｗ １ Ｏ （４）
ここで、ＭＳＡ（）は空間的アテンションネットワークの出力であり、Ｗ １ Ｏ はトレーニング可能な重み行列であり、
【数3】
ここで、ＬＮは正規化方法を表し、ｘ’ ｌ は第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘ ｌ はｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし、
【数4】
ここで、ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ ｌ－１ はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表し、
前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、
１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴を得る、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、前記ｓ個の空間的アテンションネットワークから出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラストークンベクトルと合わせて埋め込み層ベクトルｘを下記式で得る、
ｘ＝［Ｘ ｃｌａｓｓ ； ｘｓｐａｃｅ ］， ｘｓｐａｃｅ ∈Ｒ ｓ×Ｄ ，Ｘ ｃｌａｓｓ ∈Ｒ １×Ｄ （７）
ただし、ｘ ｓｐａｃｅ は合わせられた空間的特徴を表す、第２埋め込み層ネットワークユニットと、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、前記時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２は任意の正の整数であり、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、
前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、下記式（８）に従って、
Ｑ ２ｉ ＝ＸＷ ２ｉ Ｑ ，Ｋ ２ｉ ＝ＸＷ ２ｉ Ｋ ，Ｖ ２ｉ ＝ＸＷ ２ｉ Ｖ （８）
正規化された入力ベクトルをクエリ行列Ｑ ２ｊ 、キーワード行列Ｋ ２ｊ 及び値行列Ｖ ２ｊ の３つの異なる行列に変換し、クエリ行列Ｑ ２ｊ 、キーワード行列Ｋ ２ｊ 及び値行列Ｖ ２ｊ の３つの異なる行列に基づいて、下記式（９）に従って、
head 2i =Attention 2i (Q 2i ,K 2i ,V 2i )=Softmax(Q 2i K 2i T /√d k )V 2i （９）
入力ベクトル中の各ベクトル間のアテンション関数を生成し、ｊは時間的アテンションユニット中の自己アテンションモジュールＳＡのインデックスであり、スプライシング層は下記式（１０）に従って、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ ２１ ，…，ｈｅａｄ ２ｉ ，…）Ｗ ２ Ｏ （１０）
各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得て、下記式（１１）に従って、
ｘ′ ｌ ＝MSA（LN(ｘ ｌ )）＋ｘ ｌ , ｌ＝１・・・L2 （１１）
ここで、ＬＮは正規化方法を表し、ｘ’ ｌ は第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘ ｌ はｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、下記式（１２）に従って、
ｘ ｌ ＝MSA（LN(ｘ´ ｌ－１ )）＋ｘ′ ｌ－１ , ｌ＝２・・・L１ （１２）
ここで、ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ ｌ－１ はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表し、
前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルｘ ｔｉｍｅ を得る、時間的アテンションユニットと、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを下記式（１３）により得るために用いられ、
Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ） （１３）
ｘ ｔｉｍｅ Ｔ は前記空間的特徴及び時間的特徴を有するベクトルであり、Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｒは実数全体の集合を表し、Ｃはクラスの総数を表す、分類層ユニットと、
を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム。
【請求項2】
サンプルを収集してデータセットを構築するステップであって、前記データセットの各サンプルは１人の患者のｓ個の時相のＣＴ画像を含み、ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、造影ＣＴにおける動脈相ＣＴ画像と、造影ＣＴにおける門脈相ＣＴ画像と、造影ＣＴにおける遅発相ＣＴ画像との少なくとも２つを含む、ステップと、
請求項１に記載の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、
を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法。
請求項１に記載の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、
を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法。
【手続補正書】
【提出日】2023-12-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ＣＴ画像から空間的特徴および時間的特徴を得て腫瘍の分類を行う、時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムであって、
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットであって、ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、造影ＣＴにおける動脈相ＣＴ画像と、造影ＣＴにおける門脈相ＣＴ画像と、造影ＣＴにおける遅発相ＣＴ画像との少なくとも２つを含む、データ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、前記ｓ個の第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ畳み込み層によって展開し、線形化後の画像ブロックベクトルを得、全ての前記画像ブロックベクトルとクラストークンベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得、ここで、各時相のＣＴ画像のサイズは、
であり、Ｈ、Ｗは一枚のＣＴ画像の長さ、幅であり、ＣはＣＴ画像の層数であり、分割後の画像ブロックのサイズはＰ×Ｐ×Ｃであり、Ｐは分割後の画像ブロックの長さ及び幅であり、前記埋め込みベクトルは、Ｘ０＝［Ｘｃｌａｓｓ；Ｘ１
ｐ；Ｘ２
ｐ…ＸＮ
ｐ］＋Ｘｐｏｓ，Ｘｐ∈Ｒ１×Ｄ，Ｘｐｏｓ∈Ｒ（１＋Ｎ）×Ｄであり、Ｘｃｌａｓｓはクラストークンベクトルを表し、Ｘｐｏｓは位置ベクトルを表し、Ｘｐは線形化後の画像ブロックベクトルを表し、Ｒは実数全体の集合を表し、Ｎは分割後の画像ブロックの数を表し、Ｎ＝ＨＷ／Ｐ２であり、Ｄは畳み込み層の畳み込みカーネルの数である、第１埋め込み層ネットワークユニットと、
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、前記ｓ個の各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１は任意の正の整数であり、前記Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと前記Ｌ１層の第１多層パーセプトロンは順にインターリーブ接続され、
前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に変換するために用いられ、入力ベクトルをクエリベクトルｑ、キーワードベクトルｋ及び値ベクトルｖの３つの異なるベクトルに変換し、そのうちクエリベクトルｑは他のベクトルとマッチングするために用いられ、キーワードベクトルｋはマッチングされ、値ベクトルｖは抽出される情報を表し、ｑ、ｋ、ｖの３種類のベクトルは学習可能な行列と入力ベクトルを乗算して得られ、埋め込みベクトルは多次元であることを考慮して、グローバルな視点から表すと、
Ｑ１ｉ＝ＸＷ１ｉ Ｑ，Ｋ１ｉ＝ＸＷ１ｉ Ｋ，Ｖ１ｉ＝ＸＷ１ｉ Ｖ （２）となり、
ただし、Ｗ１ｉ Ｑ、Ｗ１ｉ Ｋ、Ｗ１ｉ Ｖはｉ番目のトレーニング可能な重み行列を表し、Ｘは入力ベクトルを表し、
クエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成し、クエリベクトルｑと各キーワードベクトルｋのドット積を求め、ドット積をキーワードベクトルｋの次元の平方根で割り、ｓｏｆｔｍａｘ層を通じて値ベクトルｖと乗算して和を求め、ｓｏｆｔｍａｘ関数は入力値を区間（０，１）にマッピングするために用いられ、入力ベクトル間のアテンション関数の算式（３）は、
（３）であり、
ただし、ｄｋはキーワード行列Ｋ１ｉ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、ｈｅａｄ１ｉはｉ番目の自己アテンションモジュールＳＡの出力を表し、
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、スプライシング層は下記式（４）で表され、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ１１，…，ｈｅａｄ１ｉ，…）Ｗ１ Ｏ （４）
ここで、ＭＳＡ（）は空間的アテンションネットワークの出力であり、Ｗ１ Ｏはトレーニング可能な重み行列であり、
（５）
ここで、ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし、
（６）
ここで、ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表し、
前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、
１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴を得る、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、前記ｓ個の空間的アテンションネットワークから出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラストークンベクトルと合わせて埋め込み層ベクトルｘを下記式で得る、ｘ＝［Ｘｃｌａｓｓ；ｘｓｐａｃｅ］，ｘｓｐａｃｅ∈Ｒｓ×Ｄ，Ｘｃｌａｓｓ∈Ｒ１×Ｄ （７）
ただし、ｘｓｐａｃｅは合わせられた空間的特徴を表す、第２埋め込み層ネットワークユニットと、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、前記時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２は任意の正の整数であり、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、
前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、下記式（８）に従って、
Ｑ２ｉ＝ＸＷ２ｉ Ｑ，Ｋ２ｉ＝ＸＷ２ｉ Ｋ，Ｖ２ｉ＝ＸＷ２ｉ Ｖ （８）正規化された入力ベクトルをクエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に変換し、クエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に基づいて、下記式（９）に従って、
head2i=Attention2i(Q2i,K2i,V2i)=Softmax(Q2iK2i T/√dk)V2i （９）入力ベクトル中の各ベクトル間のアテンション関数を生成し、ｊは時間的アテンションユニット中の自己アテンションモジュールＳＡのインデックスであり、スプライシング層は下記式（１０）に従って、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ２１，…，ｈｅａｄ２ｉ，…）Ｗ２ Ｏ （１０）各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得て、下記式（１１）に従って、
ｘ′ｌ＝MSA（LN(ｘｌ)）＋ｘｌ, ｌ＝１・・・L2 （１１）
ここで、ＬＮは正規化方法を表し、ｘ’ｌは第２多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第２マルチヘッドアテンションネットワークの出力を表し、ｘｌはｌ層目の第２マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、下記式（１２）に従って、
ｘｌ＝MLP（LN(ｘ´ｌ－１)）＋ｘ′ｌ－１, ｌ＝２・・・L2 （１２）
ここで、ＭＬＰ（）は第２多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第２多層パーセプトロンの入力ベクトルを表し、
前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルｘｔｉｍｅを得る、時間的アテンションユニットと、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを下記式（１３）により得るために用いられ、
Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ） （１３）
ｘｔｉｍｅ Ｔは前記空間的特徴及び時間的特徴を有するベクトルであり、Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｒは実数全体の集合を表し、Ｃはクラスの総数を表す、分類層ユニットと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム。
分類される患者のｓ個の時相のＣＴ画像を取得するためのデータ取得ユニットであって、ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、造影ＣＴにおける動脈相ＣＴ画像と、造影ＣＴにおける門脈相ＣＴ画像と、造影ＣＴにおける遅発相ＣＴ画像との少なくとも２つを含む、データ取得ユニットと、
ｓ個の第１埋め込み層ネットワークを含む第１埋め込み層ネットワークユニットであって、前記ｓ個の第１埋め込み層ネットワークは、それぞれ、各時相のＣＴ画像を複数の画像ブロックに分割し、各画像ブロックをそれぞれ畳み込み層によって展開し、線形化後の画像ブロックベクトルを得、全ての前記画像ブロックベクトルとクラストークンベクトルを合わせた後に同次元の位置ベクトルと加算して対応する時相のＣＴ画像の埋め込みベクトルを得、ここで、各時相のＣＴ画像のサイズは、
【数1】
ｓ個の空間的アテンションネットワークを含む空間的アテンションユニットであって、前記ｓ個の各空間的アテンションネットワークは、Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと、Ｌ１層の第１多層パーセプトロンと、１層の第１正規化層とを含み、Ｌ１は任意の正の整数であり、前記Ｌ１層の第１マルチヘッドアテンションネットワークＭＳＡと前記Ｌ１層の第１多層パーセプトロンは順にインターリーブ接続され、
前記第１マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、正規化された入力ベクトルをクエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に変換するために用いられ、入力ベクトルをクエリベクトルｑ、キーワードベクトルｋ及び値ベクトルｖの３つの異なるベクトルに変換し、そのうちクエリベクトルｑは他のベクトルとマッチングするために用いられ、キーワードベクトルｋはマッチングされ、値ベクトルｖは抽出される情報を表し、ｑ、ｋ、ｖの３種類のベクトルは学習可能な行列と入力ベクトルを乗算して得られ、埋め込みベクトルは多次元であることを考慮して、グローバルな視点から表すと、
Ｑ１ｉ＝ＸＷ１ｉ Ｑ，Ｋ１ｉ＝ＸＷ１ｉ Ｋ，Ｖ１ｉ＝ＸＷ１ｉ Ｖ （２）となり、
ただし、Ｗ１ｉ Ｑ、Ｗ１ｉ Ｋ、Ｗ１ｉ Ｖはｉ番目のトレーニング可能な重み行列を表し、Ｘは入力ベクトルを表し、
クエリ行列Ｑ１ｉ、キーワード行列Ｋ１ｉ及び値行列Ｖ１ｉの３つの異なる行列に基づいて入力ベクトル中の各ベクトル間のアテンション関数を生成し、クエリベクトルｑと各キーワードベクトルｋのドット積を求め、ドット積をキーワードベクトルｋの次元の平方根で割り、ｓｏｆｔｍａｘ層を通じて値ベクトルｖと乗算して和を求め、ｓｏｆｔｍａｘ関数は入力値を区間（０，１）にマッピングするために用いられ、入力ベクトル間のアテンション関数の算式（３）は、
【数2】
ただし、ｄｋはキーワード行列Ｋ１ｉ中の各キーワードベクトルｋの次元を表し、ｓｏｆｔｍａｘ（）はｓｏｆｔｍａｘ関数であり、ｈｅａｄ１ｉはｉ番目の自己アテンションモジュールＳＡの出力を表し、
スプライシング層は、各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な空間的アテンション関数を得るために用いられ、スプライシング層は下記式（４）で表され、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ１１，…，ｈｅａｄ１ｉ，…）Ｗ１ Ｏ （４）
ここで、ＭＳＡ（）は空間的アテンションネットワークの出力であり、Ｗ１ Ｏはトレーニング可能な重み行列であり、
【数3】
ここで、ＬＮは正規化方法を表し、ｘ’ｌは第１多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第１マルチヘッドアテンションネットワークの出力を表し、ｘｌはｌ層目の第１マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な空間的アテンション関数と入力ベクトルを加算するものを次の層の第１多層パーセプトロンに対応する入力ベクトルとし、
【数4】
ここで、ＭＬＰ（）は第１多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第１多層パーセプトロンの入力ベクトルを表し、
前記第１多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第１マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、
１層目の第１マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは埋め込みベクトルであり、第１正規化層は、最終層の第１多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、対応する時相のＣＴ画像の空間的特徴を得る、空間的アテンションユニットと、
１つの第２埋め込み層ネットワークを含む第２埋め込み層ネットワークユニットであって、前記ｓ個の空間的アテンションネットワークから出力するｓ個の対応する時相のＣＴ画像の空間的特徴を合わせた後にクラストークンベクトルと合わせて埋め込み層ベクトルｘを下記式で得る、ｘ＝［Ｘｃｌａｓｓ；ｘｓｐａｃｅ］，ｘｓｐａｃｅ∈Ｒｓ×Ｄ，Ｘｃｌａｓｓ∈Ｒ１×Ｄ （７）
ただし、ｘｓｐａｃｅは合わせられた空間的特徴を表す、第２埋め込み層ネットワークユニットと、
１つの時間的アテンションネットワークを含む時間的アテンションユニットであって、前記時間的アテンションネットワークは、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡと、Ｌ２層の第２多層パーセプトロンと、１層の第２正規化層とを含み、Ｌ２は任意の正の整数であり、Ｌ２層の第２マルチヘッドアテンションネットワークＭＳＡとＬ２層の第２多層パーセプトロンは順にインターリーブ接続され、
前記第２マルチヘッドアテンションネットワークＭＳＡは、複数の自己アテンションモジュールＳＡと、１つのスプライシング層とを含み、自己アテンションモジュールＳＡは、下記式（８）に従って、
Ｑ２ｉ＝ＸＷ２ｉ Ｑ，Ｋ２ｉ＝ＸＷ２ｉ Ｋ，Ｖ２ｉ＝ＸＷ２ｉ Ｖ （８）正規化された入力ベクトルをクエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に変換し、クエリ行列Ｑ２ｊ、キーワード行列Ｋ２ｊ及び値行列Ｖ２ｊの３つの異なる行列に基づいて、下記式（９）に従って、
head2i=Attention2i(Q2i,K2i,V2i)=Softmax(Q2iK2i T/√dk)V2i （９）入力ベクトル中の各ベクトル間のアテンション関数を生成し、ｊは時間的アテンションユニット中の自己アテンションモジュールＳＡのインデックスであり、スプライシング層は下記式（１０）に従って、
ＭＳＡ（）＝Ｃｏｎｃａｔ（ｈｅａｄ２１，…，ｈｅａｄ２ｉ，…）Ｗ２ Ｏ （１０）各自己アテンションモジュールＳＡの出力するアテンション関数をスプライシングして最終的な時間的アテンション関数を得て、下記式（１１）に従って、
ｘ′ｌ＝MSA（LN(ｘｌ)）＋ｘｌ, ｌ＝１・・・L2 （１１）
ここで、ＬＮは正規化方法を表し、ｘ’ｌは第２多層パーセプトロンの入力ベクトルを表し、ＭＳＡ（）は第２マルチヘッドアテンションネットワークの出力を表し、ｘｌはｌ層目の第２マルチヘッドアテンションネットワークの入力ベクトルを表し、
最終的な時間的アテンション関数と入力ベクトルを加算するものを次の層の第２多層パーセプトロンに対応する入力ベクトルとし、下記式（１２）に従って、
ｘｌ＝MLP（LN(ｘ´ｌ－１)）＋ｘ′ｌ－１, ｌ＝２・・・L2 （１２）
ここで、ＭＬＰ（）は第２多層パーセプトロンの出力を表し、ｘ’ｌ－１はｌ－１層目の第２多層パーセプトロンの入力ベクトルを表し、
前記第２多層パーセプトロンは正規化された入力ベクトルを符号化してその入力ベクトルと加算し、加算結果を次の層の第２マルチヘッドアテンションネットワークＭＳＡに対応する入力ベクトルとし、１層目の第２マルチヘッドアテンションネットワークＭＳＡの入力ベクトルは第２埋め込み層ネットワークユニットの出力する埋め込み層ベクトルであり、第２正規化層は、最終層の第２多層パーセプトロンの出力するベクトルとその入力ベクトルを加算して得られたベクトルの第１次元ベクトルを正規化し、空間的特徴及び時間的特徴を有するベクトルｘｔｉｍｅを得る、時間的アテンションユニットと、
分類層Ｗを含む分類層ユニットであって、空間的特徴及び時間的特徴を有するベクトルに基づいて分類結果Ｐｒｏｂを下記式（１３）により得るために用いられ、
Ｐｒｏｂ＝Ｗ（ｘｔｉｍｅ Ｔ） （１３）
ｘｔｉｍｅ Ｔは前記空間的特徴及び時間的特徴を有するベクトルであり、Ｐｒｏｂ∈ＲＣはクラスの確率分布を表し、Ｒは実数全体の集合を表し、Ｃはクラスの総数を表す、分類層ユニットと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システム。
【請求項2】
サンプルを収集してデータセットを構築するステップであって、前記データセットの各サンプルは１人の患者のｓ個の時相のＣＴ画像を含み、ｓは２以上であり、ｓ個の時相のＣＴ画像は、単純スキャン相ＣＴ画像と、造影ＣＴにおける動脈相ＣＴ画像と、造影ＣＴにおける門脈相ＣＴ画像と、造影ＣＴにおける遅発相ＣＴ画像との少なくとも２つを含む、ステップと、
請求項１に記載の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法。
請求項１に記載の時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを構築し、データセット中の各サンプルをシステムの入力として、システムの出力する分類結果と分類ラベルとの誤差を最小にすることを目標としてトレーニングし、前記時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムを得るステップと、を含むことを特徴とする時空間的アテンションモデルに基づく多時相ＣＴ画像分類システムの構築方法。