特表 2023-544466 ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-24

(54)【発明の名称】ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置

(51)【国際特許分類】

   A61B 6/03 20060101AFI20231017BHJP

   G06T 7/00 20170101ALI20231017BHJP

   G01T 1/161 20060101ALI20231017BHJP

【ＦＩ】

A61B6/03 360Z

G06T7/00 350C

G06T7/00 612

A61B6/03 377

G01T1/161 D

A61B6/03 360T

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022562000

(86)(22)【出願日】2022-01-27

(85)【翻訳文提出日】2022-10-10

(86)【国際出願番号】 CN2022074386

(87)【国際公開番号】W WO2023040164

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】202111075570.3

(32)【優先日】2021-09-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521162399

【氏名又は名称】之江実験室

(74)【代理人】

【識別番号】100128347

【弁理士】

【氏名又は名称】西内 盛二

(72)【発明者】

【氏名】朱 ▲聞▼▲タオ▼

(72)【発明者】

【氏名】金 源

(72)【発明者】

【氏名】黄 ▲海▼亮

(72)【発明者】

【氏名】薛 ▲夢▼凡

【テーマコード（参考）】

4C093

4C188

5L096

【Ｆターム（参考）】

4C093AA22

4C093CA36

4C093DA03

4C093FF18

4C093FF28

4C188EE02

4C188FF07

4C188KK24

5L096AA06

5L096BA06

5L096BA13

5L096DA02

5L096FA59

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】 本発明はＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置を提供する。
【解決手段】
本発明はマルチタスク学習方法を使用し、病理画像に基づく診断分類により取得されたニューラルネットワークを訓練して病理特徴を抽出して、ＰＥＴ／ＣＴ画像に基づく診断分類ニューラルネットワークを訓練することを補助する。本発明はＰＥＴ／ＣＴ画像に基づく肺癌診断分類精度を向上させるとともに、病理画像が訓練過程における先験知識として使用されるだけであり、実際の応用ではネットワークの入力として使用される必要がない。この方法は複数の尺度で融合される理念によって、ＰＥＴ／ＣＴ画像が肺癌診断分類として使用される精度を向上させ、早期肺癌診断の手段として更に普及及び応用されることに寄与し、臨床医師による患者の診断及び後続の治療案に助けを与え、それと同時に、病理画像が先験知識の補助とされる解決手段も病理切片の解釈可能性を更に向上させ、病理科医師による病理特徴のさらなる抽出に貢献する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練方法であって、
対応のＰＥＴ／ＣＴ画像、病理画像及び臨床肺腺癌扁平上皮癌診断結果データを取得し、且つ病理画像を訓練済みのニューラルネットワークＡに入力して病理特徴を取得することと、
初期ニューラルネットワークモデルを構築し、ＰＥＴ／ＣＴ画像を入力とし、予測された病理特徴及び肺腺癌扁平上皮癌診断結果を出力とし、取得されたＰＥＴ／ＣＴ画像、病理特徴及び臨床肺腺癌扁平上皮癌診断結果データを利用して前記初期ニューラルネットワークモデルを訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得することとを含み、
前記初期ニューラルネットワークモデルの出力と対応の真理値との誤差を計算し、誤差が最も小さくなるまで、誤差に基づいて前記初期ニューラルネットワークモデルのパラメータを更新して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得し、
損失は、以下の式５で示され、

【数5】

、
ｌｏｓｓ１及びｌｏｓｓ２がそれぞれ肺腺癌扁平上皮癌診断結果、及び病理特徴と対応の真理値との誤差であり、

がハイパーパラメータであり、

であり、
前記ニューラルネットワークＡの入力が病理画像であり、出力が肺腺癌扁平上皮癌診断結果であり、診断分類精度が０．９５以上であり、前記病理特徴がニューラルネットワークＡの特徴抽出層の出力である
ことを特徴とするＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練方法。

【請求項2】

前記病理画像は、以下の式３を満足し、

【数3】

ここで、Ｓ_ｍａｓｋ及びＳ_ａｌｌはそれぞれ医者が注釈した肺癌情報プロファイルの画像面積、及び背景を含む全面積である
ことを特徴とする請求項１に記載の訓練方法。

【請求項3】

前記ニューラルネットワークＡには、ＲｅｓＮｅｔ－５０構造が用いられる
ことを特徴とする請求項１に記載の訓練方法。

【請求項4】

前記初期ニューラルネットワークモデルはＤｅｎｓｅＮｅｔ－１２１構造を用い、ＰＥＴ及びＣＴ画像がチャネル次元に沿って融合される特徴を入力とする
ことを特徴とする請求項１に記載の訓練方法。

【請求項5】

前記ｌｏｓｓ１は交差エントロピー損失関数を用い、ｌｏｓｓ２は平均二乗損失関数を用いる
ことを特徴とする請求項１に記載の訓練方法。

【請求項6】

ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練装置であって、前記訓練装置は、請求項１～５のいずれか１項に記載の訓練方法に基づく装置であり、
対応のＰＥＴ／ＣＴ画像、病理画像及び肺腺癌扁平上皮癌診断結果データを取得することに用いられるデータ取得ユニットと、
病理画像を訓練済みのニューラルネットワークＡに入力して病理特徴を取得することに用いられる病理特徴取得ユニットと、
初期ニューラルネットワークモデルを構築し、且つＰＥＴ／ＣＴ画像を入力とし、予測された病理特徴及び肺腺癌扁平上皮癌診断結果を出力とし、データ取得ユニット及び病理特徴取得ユニットが取得したデータを利用して前記初期ニューラルネットワークモデルを訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得することに用いられる訓練ユニットと、を備える
ことを特徴とするＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練装置。

【請求項7】

対応のＰＥＴ／ＣＴ画像及び病理画像を、大きさが一致するピクチャに処理することに用いられるデータ前処理ユニットを更に備える
ことを特徴とする請求項６に記載の訓練装置。

【請求項8】

ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類装置であって、
診断対象のＰＥＴ／ＣＴ画像を取得することに用いられるデータ取得モジュールと、
診断対象のＰＥＴ／ＣＴ画像を請求項１～６のいずれか１項に記載の訓練方法で訓練して取得されたＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルに入力して、診断分類結果を取得することに用いられる肺腺癌扁平上皮癌診断分類モジュールと、を備える
ことを特徴とするＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は医用画像分野及び深層学習分野に関し、特にＰＥＴ／ＣＴ及び病理切片に基づく全自動的な肺腺癌扁平上皮癌のインテリジェント診断モデルの訓練方法及び装置に関する。

【背景技術】

【0002】

陽電子放射断層撮影装置（ＰＥＴ：ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）は分子レベルにおける機能的なイメージング装置の１種である。走査前に患者に放射性トレーサを注入する必要があり、トレーサが患者の体内で崩壊して隠滅し、発射方向が約１８０°逆である１対の５１１ｋｅＶガンマ線光子を発生させ、検出器はこれらのガンマ線光子が結晶体に到達する位置及び時間情報を収集することとなる。画像再構成アルゴリズムを使用して収集された情報を再構成して後処理すれば、トレーサが患者の体内で代謝及び摂取する状況を反映するものを取得することができる。医者はＰＥＴ／ＣＴの画像結果に基づいて各項の臨床指標を参照して患者の病状を総合的に分析することにより、治療案を決定する。

【0003】

病理検査、即ち人体の器官、組織又は細胞における病理の変化を検査する病理形態学方法はすべての検査の中で診断精度が最も高い検査方法である。病理科医者は患者の体の病変部位から小塊の組織を取り出し（異なる状況に応じてバイスで取ること、切除又は穿刺して吸い取ることなどの方法を用いてもよい）、又は手術で標本を切除して病理切片に作り、細胞及び組織の形態構造の変化を観察し、それにより病変性質を決定して病理診断を行い、これは生体組織検査（ｂｉｏｐｓｙ）と称され、生体と略称される。病理検査は腫瘍診断方法の中でよく使用されている比較的正確な方法であり、診断の「至適基準」と称される。

【0004】

深層畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は近年以来に医学人工知能モデルを構築するよく使用されている方法の１つであり、階層化された畳み込み処理によって画像の異なる次元の特徴情報を抽出し、抽出された特徴を後続の特定のネットワークに入力して特定のタスク例えば分類、分割、レジストレーション、検出、騒音低減等を行う。該方法の優位性は、サンプルにより特定のタスクに顕著な意味を有する高次特徴を自動的に学習することができることにあるが、訓練のためのデータ量に対して一定の要件を求めている。

【0005】

従来のＰＥＴ／ＣＴに基づく肺癌診断分類モデルについては、データ規模及び精度の制限により、該モデルが単一センターデータに基づいて訓練されるか、それともマルチセンターデータに基づいて訓練されるかにかかわらず、その診断分類精度がいずれも実用要求を満足することができない。そして、癌症診断の「至適基準」として見なされる病理切片は、サンプリングするために常に患者に対して侵入的ひいては侵襲的検査を行う必要があるため、早期診断に応用される場合が少ない。従って、比較的高い正確度で肺癌を早期診断・分類することができるＰＥＴ／ＣＴに基づくモデルを開発することは、病院による早期肺癌の診断率をある程度で向上させ、及び臨床医者による後続の治療を助けることができる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、従来技術の欠点に対して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置を提供することにあり、本発明はマルチタスク学習（Ｍｕｌｔｉ－Ｔａｓｋ Ｌｅａｒｎｉｎｇ）アルゴリズムに基づいて、病理特徴によりＰＥＴ／ＣＴに基づく深層学習ネットワークを最適化し、それによりＰＥＴ／ＣＴネットワークの訓練効率及び精度の上限を向上させる。そして、臨床応用過程において、ＰＥＴ／ＣＴ画像を入力すれば肺腺癌扁平上皮癌の診断分類情報を取得することができ、病理情報の参加を必要としない。

【課題を解決するための手段】

【0007】

本発明の目的は以下の技術案により実現される。

【0008】

ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練方法であって、具体的には、
対応のＰＥＴ／ＣＴ画像、病理画像及び肺腺癌扁平上皮癌診断結果データを取得し、病理画像を訓練済みのニューラルネットワークＡに入力して病理特徴を取得することと、
初期ニューラルネットワークモデルを構築し、ＰＥＴ／ＣＴ画像を入力とし、予測された病理特徴及び肺腺癌扁平上皮癌診断結果を出力とし、取得されたデータを利用して前記初期ニューラルネットワークモデルを訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得することと、を含み、
前記ニューラルネットワークＡは、入力が病理画像であり、出力が肺腺癌扁平上皮癌診断結果であって、取得された病理画像データにより訓練して取得されたものであり、病理画像が肺癌に対して「至適基準」の診断分類効果を有するため、ネットワークＡを訓練して入力された病理画像に極めて高い分類精度を有させることができ、本発明において診断分類精度が０．９５以上であるように求められ、前記病理特徴がニューラルネットワークＡの特徴抽出層の出力である。好ましくは、ニューラルネットワークＡの出力層の前の層の入力である。

【0009】

好ましくは、前記初期ニューラルネットワークモデルは具体的に以下の特徴を有する。

【0010】

特徴１には、ネットワークは２つの入力を含み、それぞれ入力されたＰＥＴ及びＣＴ画像が前処理畳み込み層を通過した後、サイズが標準化され、且つチャネル次元に沿って重ねられ、その後の主畳み込み層に入る。

【0011】

特徴２には、ネットワークはマルチタスク目標ネットワークであり、主に正則化フレームワークに基づいて確立され、目標関数は、以下の式１に示され、

【数1】

（１）

ここで、ｍがタスク数を示し、ｎ_ｉが訓練サンプル数を示し、ｙ^ｉ _ｊがｊ番目の訓練サンプル及びｉ番目のタスクのタグを示し、ｌ（．，．）が損失関数の１種例えば交差エントロピー損失又は平均二乗偏差損失を代表し、ｂ＝（ｂ_１，…ｂ_ｍ）^Ｔがすべてのタスクにおけるオフセット補償であり、Ｕ∈Ｒ^ｄ×ｄが正方変換行列であり、Ａ∈Ｒ^ｄ×ｍが各タスクのパラメータを含み、ｄがパラメータの次元であるが、｜｜Ａ｜｜^２ _２，１がそのＬ２正則化行列であり、ａ^ｉがｉ番目のタスクのモデルパラメータを示し、Ｉが単位行列であるが、λが正則化パラメータである。目標関数の第１部分がすべてのタスクの経験損失を代表し、第２部分がＬ２正則化により解の行のスパース性及び制約行列Ｕの直交化を確保し、そうすると、式（１）は更に、以下の式２にに示されてもよい、

【数2】

（２）、

ここで、

が公式（１）における総訓練損失を示し、ｔｒ（．）が行列の跡を代表し、Ｗ^ｉ＝Ｕａ^ｉがｉ番目のタスクのモデルパラメータを代表するが、

はＤ行列が半確定行列であることを示す。そして、マルチタスク目標ネットワークの最適化が共分散行列Ｄの解を求めて複数のタスク問題をデカップリングさせ、それらの並列計算を促進するものである。

【0012】

特徴３には、初期ニューラルネットワークモデルの主なタスクは肺癌の診断分類であり、補助タスクは病理特徴のフィッティングである。入力された画像は主畳み込み層を通過した後に高次特徴を出力し、特徴が主タスクの完全接続層により処理された後に診断分類結果を出力し、補助タスクの畳み込み層により処理された後にフィッティング病理特徴を出力する。２つの出力をそれぞれ症例の真の診断結果及びネットワークＡが出力した病理特徴と比較して損失を求め、２つの損失は共同で初期ニューラルネットワークモデルのパラメータの更新を決定する。

【0013】

更に、初期ニューラルネットワークモデルのパラメータ量をニューラルネットワークＡのパラメータ量以下にすべきであり、初期ニューラルネットワークモデルはニューラルネットワークＡが出力した診断分類特徴を学習できるようにし、それにより過フィッティングを回避する。

【0014】

更に、前記病理画像は、以下の式３を満足し、

【数3】

ここで、Ｓ_ｍａｓｋ及びＳ_ａｌｌはそれぞれ医者が注釈した肺癌情報プロファイルの画像面積、及び背景を含む全面積である。

【0015】

更に、前記ニューラルネットワークＡには、ＲｅｓＮｅｔ－５０構造が用いられる。

【0016】

更に、前記肺腺癌扁平上皮癌診断分類モデルはＤｅｎｓｅＮｅｔ－１２１構造を用い、ＰＥＴ及びＣＴ画像がチャネル次元に沿って融合される特徴を入力とする。

【0017】

更に、取得されたデータを利用して前記初期ニューラルネットワークモデルを訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得することは、具体的に、
前記初期ニューラルネットワークモデルの出力と対応の真理値との誤差を計算し、誤差が最も小さくなるまで、誤差に基づいて前記初期ニューラルネットワークモデルのパラメータを更新して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得し、前記損失は、以下の式５で示され、

【数5】

、
ここで、ｌｏｓｓ１及びｌｏｓｓ２がそれぞれ肺腺癌扁平上皮癌診断結果及び病理特徴と対応の真理値との誤差であり、

がハイパーパラメータである。

【0018】

更に、前記ｌｏｓｓ１は交差エントロピー損失関数を用い、ｌｏｓｓ２は平均二乗損失関数を用いる。

【0019】

同じ発明構想に基づいて、本発明はＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練装置を更に提供し、
対応のＰＥＴ／ＣＴ画像、病理画像及び肺腺癌扁平上皮癌診断結果データを取得するためのデータ取得ユニットと、
病理画像を訓練済みのニューラルネットワークＡに入力して病理特徴を取得するための病理特徴取得ユニットと、
初期ニューラルネットワークモデルを構築し、且つＰＥＴ／ＣＴ画像を入力とし、予測された病理特徴及び肺腺癌扁平上皮癌診断結果を出力とし、データ取得ユニット及び病理特徴取得ユニットが取得したデータを利用して前記初期ニューラルネットワークモデルを訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得するための訓練ユニットと、を備える。

【0020】

更に、対応のＰＥＴ／ＣＴ画像及び病理画像を、大きさが一致するピクチャに処理するためのデータ前処理ユニットを更に備える。

【0021】

訓練済みの肺腺癌扁平上皮癌診断分類モデルはＰＥＴ／ＣＴ画像に基づいて直接に診断分類結果を出力することができ、病理データの参加を必要としない。具体的に、
ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類装置であって、
診断対象のＰＥＴ／ＣＴ画像を取得するためのデータ取得モジュールと、
診断対象のＰＥＴ／ＣＴ画像を上記いずれか１項に記載の訓練方法で訓練して取得したＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルに入力して、診断分類結果を取得するための肺腺癌扁平上皮癌診断分類モジュールと、を備える。

【発明の効果】

【0022】

本発明はマルチタスク学習方法を使用し、病理画像に基づく診断分類ニューラルネットワークによって、ＰＥＴ／ＣＴ画像に基づく肺腺癌扁平上皮癌診断分類モデルを訓練することを補助する。本方法は病理特徴により肺腺癌扁平上皮癌診断分類モデルの訓練を補助し、ＰＥＴ／ＣＴ画像に基づく肺癌診断分類精度を向上させるように意図されている。同時に、病理画像は訓練過程における先験知識として使用されるだけであり、実際の応用ではネットワークの入力として使用される必要がない。この方法は、複数の尺度で融合される理念によって、ＰＥＴ／ＣＴ画像が肺癌診断分類として使用される精度を向上させ、早期肺癌診断の手段として更に普及及び応用されることに寄与し、臨床医師による患者の診断及び後続の治療案に助けを与え、それと同時に、病理画像が先験知識の補助とされる解決手段も病理切片の解釈可能性を更に向上させ、病理科医師による病理特徴のさらなる抽出に貢献する。

【図面の簡単な説明】

【0023】

【図1】図１はＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練フローチャートである。

【図2】図２はＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練のニューラルネットワークの構造図である。

【0024】

以下、実例によって本方法をどのように具体的に応用してＰＥＴ／ＣＴに基づく肺癌診断分類ネットワークにおいて病理情報を導入するかについて説明する。

【0025】

図１～２に示すように、本発明のＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断モデルの訓練方法は、具体的に以下の通りである。

【0026】

ステップ１では、対応のＰＥＴ／ＣＴ画像、病理画像及び肺腺癌扁平上皮癌診断結果データを取得し、単一の入力及び出力の分類畳み込みニューラルネットワークを構築し、同じＰＥＴ／ＣＴ画像に対応する病理画像及び肺腺癌扁平上皮癌診断結果を分類畳み込みニューラルネットワークに導入し、病理画像が肺癌に対して「至適基準」の診断分類効果を有するため、分類畳み込みニューラルネットワークを訓練して入力された病理画像に極めて高い分類精度を有させることができ、その後、パラメータを保存して訓練済みのニューラルネットワークＡを取得する。且つ、病理画像を訓練済みのニューラルネットワークＡに入力して病理特徴を取得し、具体的に以下のサブステップを含む。

【0027】

サブステップ（１．１）では、分類畳み込みニューラルネットワークを構築し、本実例において分類畳み込みニューラルネットワークはＲｅｓＮｅｔ－５０構造を用い、具体的な構造は表１に示される。

【0028】

表１：ＲｅｓＮｅｔ－５０ネットワーク構造

【0029】

サブステップ（１．２）では、訓練に用いられる病理切片データセットを構築し、使用されるオリジナルの病理画像がいずれもホールスライドイメージ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ）であるため、極めて高い解像度を有する。ニューラルネットワークの入力寸法要求及びネットワーク訓練に必要な計算リソースを満足するために、本実施例は前処理段階においてすべてのオリジナルの病理画像を２２４＊２２４サイズの切片に切り出す。切片が満たすべき条件は、

【数3】

であり、
ここで、Ｓ_ｍａｓｋ及びＳ_ａｌｌはそれぞれ医者が注釈した肺癌情報プロファイルの画像面積、及び背景を含む全面積である。式（３）の目的は入力された病理切片画像がいずれも一定の肺癌分類特徴を含むように確保することである。異なるオリジナルの病理画像における肺癌情報は画像面積が異なることを示すため、訓練過程における各サンプル量の分布バランスを確保するために、本実例においてオーバーラップタイル戦略（Ｏｖｅｒｌａｐ－ｔｉｌｅ ｓｔｒａｔｅｇｙ）を使用して各オリジナルの画像から切る出された切片の数を一致させるように維持する。

【0030】

サブステップ（１．３）では、サンプルを訓練セット及び検証セットに分け、検証セットはすべての症例の切片画像を含むように確保する必要があり、訓練セットを使用してステップ（１．１）において構築された分類畳み込みニューラルネットワークを訓練し、訓練済みのネットワークはテストセットにおいて０．９５以上の極めて高い正確度を有するように確保する必要があり、本実例において訓練済みのニューラルネットワークＡによる病理切片の肺癌診断分類精度が０．９９であるように要求される。

【0031】

サブステップ（１．４）では、各組の症例に対しては、対応のＰＥＴ、ＣＴ及び病理画像があり、ステップ（１．３）において構築された病理画像の検証セットデータをステップ１における訓練済みのニューラルネットワークＡに入力して、それに対応する診断分類結果を取得するとともに、ニューラルネットワークＡの出力層の前の層の入力を該症例の病理特徴として抽出して保存し、保存される特徴を予め標準化する必要があり、本実例においてＳｉｇｍｏｉｄ関数（式４）を使用して標準化し、各例のＰＥＴ／ＣＴ画像が１枚の病理切片から抽出された特徴に対応する。

【数4】

Ｓ（ｘ）及びｘがそれぞれ活性化関数の入力及び出力を示す。

【0032】

ステップ２では、マルチ入力及びマルチタスク目標出力の初期ニューラルネットワークモデルを構築し、ペアリングされたＰＥＴ及びＣＴ画像を入力とし、対応の診断分類結果及び病理特徴を出力とし、初期ニューラルネットワークモデルを訓練する。具体的に以下のサブステップを含む。

【0033】

サブステップ（２．１）では、ＰＥＴ／ＣＴに基づく肺癌診断分類の初期ニューラルネットワークモデルを構築し、且つ病理特徴のフィッティング出力を含む。本実例において初期ニューラルネットワークモデルはＤｅｎｓｅＮｅｔ－１２１構造を用い、主な構造は表２に示される。

【0034】

表２：ＤｅｎｓｅＮｅｔ－１２１ネットワーク構造

【0035】

サブステップ（２．２）では、前処理段階において、肺癌の病巣位置に基づいてＰＥＴ／ＣＴオリジナル画像から２２４＊２２４サイズの肺癌切片を切り出し、切片をチャネル層に沿って重ねた後に初期ニューラルネットワークモデルに入力し、ネットワークの目標出力１は該症例の肺癌診断分類結果であり、目標出力２はステップ２において保存される該症例の病理特徴である（Ｓｉｇｍｏｉｄ関数を使用して標準化することもある）。２つの目標出力及びそれに対応する真理値に対して、それぞれ誤差を求め（本実例において目標出力１が交差エントロピー損失関数を使用し、目標出力２が平均二乗損失関数を使用する）、ネットワークの実際の誤差は、

【数5】

（５）であり、
ここで、ｌｏｓｓ１及びｌｏｓｓ２がそれぞれ目標出力１と目標出力２との誤差であり、

はハイパーパラメータ即ち目標出力２の誤差が全ネットワークの誤差を占める比率であり、

である。実際の誤差によりネットワークパラメータを更新して調整し、即ち２つの目標タスクによりネットワークを共同で訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得する。

【0036】

訓練して取得された肺腺癌扁平上皮癌診断分類モデルはＰＥＴ／ＣＴ画像に基づいて直接に診断分類結果を出力することができ、病理データの参加を必要としない。

【0037】

病理画像による先験知識のおかげで、肺腺癌扁平上皮癌診断分類モデルはＰＥＴ／ＣＴ画像の肺癌診断分類に対して一層高い精度を有するが、病理画像はネットワークの訓練過程のみに作用し、臨床応用において提供される必要がない。これにより、訓練して取得したＰＥＴ／ＣＴ肺癌診断分類ネットワークはＰＥＴ／ＣＴ画像のみにより訓練して取得したネットワークよりも精度が一層高く、安定性が一層高く、肺癌の早期診断に臨床上の実際の意味を有する。

【0038】

また、１つの好適な解決手段として、上記訓練方法に基づいて構築されたＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルの訓練装置は、
対応のＰＥＴ／ＣＴ画像、病理画像及び肺腺癌扁平上皮癌診断結果データを取得するためのデータ取得ユニットと、
病理画像を訓練済みのニューラルネットワークＡに入力して病理特徴を取得するための病理特徴取得ユニットと、
初期ニューラルネットワークモデルを構築し、且つＰＥＴ／ＣＴ画像を入力とし、予測された病理特徴及び肺腺癌扁平上皮癌診断結果を出力とし、データ取得ユニット及び病理特徴取得ユニットが取得したデータを利用して前記初期ニューラルネットワークモデルを訓練して、ＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルを取得するための訓練ユニットと、を備える。

【0039】

訓練済みの肺腺癌扁平上皮癌診断分類モデルはＰＥＴ／ＣＴ画像に基づいて直接に診断分類結果を出力することができ、病理データの参加を必要としない。具体的に、
１つの好適な解決手段として、訓練して取得された肺腺癌扁平上皮癌診断分類モデルによる１種のＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類装置は、
診断対象のＰＥＴ／ＣＴ画像を取得するためのデータ取得モジュールと、
診断対象のＰＥＴ／ＣＴ画像を上記いずれか１項に記載の訓練方法で訓練して取得されたＰＥＴ／ＣＴに基づく肺腺癌扁平上皮癌診断分類モデルに入力して、診断分類結果を取得するための肺腺癌扁平上皮癌診断分類モジュールと、を備える。

【0040】

明らかに、上記実施例は単に明確に説明するために挙げた例であり、実施形態を限定するものではない。当業者であれば、上記説明を基に更に他の異なる形式の変化又は修正を行うことができる。ここで、すべての実施形態を網羅する必要がなく、すべての実施形態を網羅することもできない。これにより派生した明らかな変化又は修正は依然として本発明の保護範囲に含まれる。

【図1】

【図2】

【国際調査報告】