特開 2024-27854 がん評価方法、がん評価システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024027854

(43)【公開日】2024-03-01

(54)【発明の名称】がん評価方法、がん評価システム及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240222BHJP

【ＦＩ】

A61B1/045 614

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022131003

(22)【出願日】2022-08-19

(71)【出願人】

【識別番号】504159235

【氏名又は名称】国立大学法人 熊本大学

(74)【代理人】

【識別番号】100136180

【弁理士】

【氏名又は名称】羽立 章二

(72)【発明者】

【氏名】田中 靖人

(72)【発明者】

【氏名】脇 幸太郎

(72)【発明者】

【氏名】長岡 克弥

(72)【発明者】

【氏名】尼崎 太樹

(72)【発明者】

【氏名】木山 真人

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA02

4C161AA08

4C161AA13

4C161CC06

4C161DD03

4C161NN05

4C161NN07

4C161WW02

4C161YY12

4C161YY13

(57)【要約】

【課題】 食道内視鏡検査によらずに食道がんなどが存在する可能性を評価することに適したがん評価方法等を提案する。
【解決手段】 サーバ３が備える学習処理部１３は、複数の教師データを用いた学習処理により学習済みモデルを得る。情報端末５が備える撮影部２５が、対象者の軟口蓋を撮影して軟口蓋画像データを得る。サーバ３が備える判定処理部１５が、軟口蓋画像データに対して、学習済みモデルによって対象者にがんが存在する可能性を評価する。情報端末５が備える入出力部３５が、判定処理部１５の判定結果を出力する。教師データは、対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者にがんが存在するか否かの存否データを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者のがんを評価するがん評価方法であって、
コンピュータが備える学習処理部が、複数の教師データを用いた学習処理により学習済みモデルを得る学習ステップと、
コンピュータが備える撮影部が、前記対象者の軟口蓋を撮影して軟口蓋画像データを得る撮影ステップと、
コンピュータが備える判定処理部が、前記軟口蓋画像データに対して、前記学習済みモデルによって前記対象者にがんが存在する可能性を評価する判定ステップと、
コンピュータが備える入出力部が、前記判定処理部の判定結果を出力する出力ステップを含み、
前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者にがんが存在するか否かの存否データを含む、がん評価方法。

【請求項2】

前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者に食道がんが存在するか否かの存否データを含み、
前記軟口蓋画像データは、前記対象者の軟口蓋の画像を含み、前記対象者の食道の画像を含まず、
前記学習処理部は、前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して前記学習済みモデルを得、
前記判定処理部は、前記学習済みモデルによって、前記軟口蓋画像データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して、前記対象者に食道がんが存在する可能性を判定する、請求項１記載のがん評価方法。

【請求項3】

前記教師データは、前記軟口蓋画像教師データ及びアノテーションデータを含み、
前記アノテーションデータは、
前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化を示す粘膜黒色変化アノテーションデータ、
前記軟口蓋画像教師データに含まれる軟口蓋の画像における白色粘膜付着を示す白色粘膜付着アノテーションデータ、
前記軟口蓋画像教師データに含まれる軟口蓋の画像における毛細血管拡張を示す毛細血管拡張アノテーションデータ、及び、
前記対象者とは異なる者に食道がんが存在するか否かの存否データを含み、
前記学習ステップにおいて、前記学習処理部は、前記アノテーションデータを利用して前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を個々に評価する前記学習済みモデルを得、
前記判定処理部は、前記学習済みモデルを用いて前記対象者の食道がんが存在する可能性を判定するとともに、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を併せて判定し、
前記入出力部は、前記対象者に食道がんが存在する可能性の判定結果と併せて、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を出力する、請求項１記載のがん評価方法。

【請求項4】

前記軟口蓋画像教師データの少なくとも一部は、前記対象者とは異なる者の口の中から軟口蓋を撮影したものであり、
前記撮影ステップにおいて、前記撮影部は、前記対象者の口の外及び／又は口腔から前記対象者の軟口蓋を撮影して前記軟口蓋画像データを得る、請求項１記載のがん評価方法。

【請求項5】

前記判定処理部は、前記対象者の食道がん、口腔がん、咽頭がん及び肺がんの少なくとも一つが存在する可能性の有無を判定する、請求項１記載のがん評価方法。

【請求項6】

対象者のがんを評価するがん評価システムであって、
サーバと、情報端末を備え、
前記サーバが備える学習処理部は、複数の教師データを用いた学習処理により学習済みモデルを得、
前記情報端末が備える撮影部は、前記対象者の軟口蓋を撮影して軟口蓋画像データを得、
前記サーバが備える判定処理部は、前記軟口蓋画像データに対して、前記学習済みモデルによって前記対象者にがんが存在する可能性を評価し、
前記情報端末が備える入出力部は、前記判定処理部の判定結果を出力し、
前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者にがんが存在するか否かの存否データを含む、がん評価システム。

【請求項7】

前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者に食道がんが存在するか否かの存否データを含み、
前記軟口蓋画像データは、前記対象者の軟口蓋の画像を含み、前記対象者の食道の画像を含まず、
前記学習処理部は、前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して前記学習済みモデルを得、
前記判定処理部は、前記学習済みモデルによって、前記軟口蓋画像データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して、前記対象者に食道がんが存在する可能性を判定する、請求項６記載のがん評価システム。

【請求項8】

前記教師データは、前記軟口蓋画像教師データ及びアノテーションデータを含み、
前記アノテーションデータは、
前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化を示す粘膜黒色変化アノテーションデータ、
前記軟口蓋画像教師データに含まれる軟口蓋の画像における白色粘膜付着を示す白色粘膜付着アノテーションデータ、
前記軟口蓋画像教師データに含まれる軟口蓋の画像における毛細血管拡張を示す毛細血管拡張アノテーションデータ、及び、
前記対象者とは異なる者に食道がんが存在するか否かの存否データを含み、
前記学習処理部は、前記アノテーションデータを利用して前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を個々に評価する前記学習済みモデルを得、
前記判定処理部は、前記学習済みモデルを用いて前記対象者の食道がんが存在する可能性を判定するとともに、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を併せて判定し、
前記入出力部は、前記対象者に食道がんが存在する可能性の判定結果と併せて、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を出力する、請求項６記載のがん評価システム。

【請求項9】

前記軟口蓋画像教師データの少なくとも一部は、前記対象者とは異なる者の口の中から軟口蓋を撮影したものであり、
前記撮影部は、前記対象者の口の外及び／又は口腔から前記対象者の軟口蓋を撮影して前記軟口蓋画像データを得る、請求項６記載のがん評価システム。

【請求項10】

前記判定処理部は、前記対象者の食道がん、口腔がん、咽頭がん及び肺がんの少なくとも一つが存在する可能性の有無を判定する、請求項６記載のがん評価システム。

【請求項11】

コンピュータを、請求項６記載の学習処理部及び／又は判定処理部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、がん評価方法、がん評価システム及びプログラムに関し、特に、対象者のがんを評価するがん評価方法等に関する。

【背景技術】

【0002】

特許文献１には、被検体由来の試料を利用して、食道がんなどを検出することが記載されている。

【0003】

非特許文献１及び非特許文献２は、発明者らが発表したものである。食道がんは、食道の組織内にがん細胞が認められる病気である。食道がんには、例えば、食道扁平上皮がんがある。非特許文献１及び非特許文献２には、軟口蓋における粘膜黒色変化（Melanosis）、白色粘膜付着（Whitish epithelium）及び毛細血管拡張（Vasodilation）が、食道扁平上皮がんハイリスク者（既往（軟口蓋画像を撮影した内視鏡検査を受ける前に食道扁平上皮がんの治療歴がある者。）又は併存（軟口蓋画像を撮影した内視鏡検査を受けたときに食道扁平上皮がんがある者。）の患者）と関連することを示した。軟口蓋内視鏡所見は、高い陽性尤度比(2.8-7.2)を有した。飲酒歴、喫煙歴との組み合わせで、さらに高い陽性尤度比(7.23-19.1)となった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０９１２４３号公報

【非特許文献】

【0005】

【非特許文献1】Waki K (1st), et al. Endoscopic findings in the soft palatal mucosa are associated with the risk of esophageal squamous cell carcinoma. J Gastroenterol Hepatol. 2020. doi: 10.1111/jgh.15291.

【非特許文献2】Waki K (1st), et al. Soft palate findings associated with a high risk of esophageal squamous cell carcinoma using an endoscopic system with enhanced depth-of-field imaging. VideoGIE. 2021. doi: https://doi.org/10.1016/j.vgie.2021.04.008.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、現在、食道がん検診としてはバリウム検査か内視鏡検査を受けるしかなく、費用と利用者への侵襲が発生する。食道がんを早期に発見するには、より簡易な方法で内視鏡検査を受けるべき対象の絞り込みを可能にすることが必要である。

【0007】

また、特許文献１記載の検出法では、被検体由来の試料という物体の分析が必要である。そのため、このような試料を利用するものは、システム化して早期発見のために利用することが困難であった。

【0008】

また、非特許文献１及び非特許文献２について検討する。図８は、（ａ）正常な軟口蓋と、（ｂ）粘膜黒色変化が生じている軟口蓋と、（ｃ）粘膜黒色変化が生じている箇所の拡大図を示す。図９は、（ａ）正常な軟口蓋と、（ｂ）白色粘膜付着が生じている軟口蓋と、（ｃ）白色粘膜付着が生じている箇所の拡大図を示す。図１０は、（ａ）正常な軟口蓋と、（ｂ）毛細血管拡張が生じている軟口蓋と、（ｃ）毛細血管拡張が生じている箇所の拡大図を示す。軟口蓋における粘膜黒色変化、白色粘膜付着及び毛細血管拡張の評価は、判定する人によって異なる。そのため、例えば、ある判定人が軟口蓋に粘膜黒色変化が認められるとしても、別の判定人は粘膜黒色変化が認められないとする可能性があった。そのため、非特許文献１及び非特許文献２については、一致率が課題となり、複数の判定人の間で判断が一致するようにすることが求められた。

【0009】

そこで、本願発明は、食道内視鏡検査によらずに食道がんなどが存在する可能性を評価することに適したがん評価方法等を提案することを目的とする。

【課題を解決するための手段】

【0010】

本願発明の第１の側面は、対象者のがんを評価するがん評価方法であって、コンピュータが備える学習処理部が、複数の教師データを用いた学習処理により学習済みモデルを得る学習ステップと、コンピュータが備える撮影部が、前記対象者の軟口蓋を撮影して軟口蓋画像データを得る撮影ステップと、コンピュータが備える判定処理部が、前記軟口蓋画像データに対して、前記学習済みモデルによって前記対象者にがんが存在する可能性を評価する判定ステップと、コンピュータが備える入出力部が、前記判定処理部の判定結果を出力する出力ステップを含み、前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者にがんが存在するか否かの存否データを含む。

【0011】

本願発明の第２の側面は、第１の側面のがん評価方法であって、前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者に食道がんが存在するか否かの存否データを含み、前記軟口蓋画像データは、前記対象者の軟口蓋の画像を含み、前記対象者の食道の画像を含まず、前記学習処理部は、前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して前記学習済みモデルを得、前記判定処理部は、前記学習済みモデルによって、前記軟口蓋画像データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して、前記対象者に食道がんが存在する可能性を判定する。ここで、食道がんは、例えば、食道扁平上皮がんである。

【0012】

本願発明の第３の側面は、第１又は第２の側面のがん評価方法であって、前記教師データは、前記軟口蓋画像教師データ及びアノテーションデータを含み、前記アノテーションデータは、前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化を示す粘膜黒色変化アノテーションデータ、前記軟口蓋画像教師データに含まれる軟口蓋の画像における白色粘膜付着を示す白色粘膜付着アノテーションデータ、前記軟口蓋画像教師データに含まれる軟口蓋の画像における毛細血管拡張を示す毛細血管拡張アノテーションデータ、及び、前記対象者とは異なる者に食道がんが存在するか否かの存否データを含み、前記学習ステップにおいて、前記学習処理部は、前記アノテーションデータを利用して前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を個々に評価する前記学習済みモデルを得、前記判定処理部は、前記学習済みモデルを用いて前記対象者の食道がんが存在する可能性を判定するとともに、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を併せて判定し、前記入出力部は、前記対象者に食道がんが存在する可能性の判定結果と併せて、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を出力する。

【0013】

本願発明の第４の側面は、第１から第３のいずれかの側面のがん評価方法であって、前記軟口蓋画像教師データの少なくとも一部は、前記対象者とは異なる者の口の中から軟口蓋を撮影したものであり、前記撮影ステップにおいて、前記撮影部は、前記対象者の口の外及び／又は口腔から前記対象者の軟口蓋を撮影して前記軟口蓋画像データを得る。

【0014】

本願発明の第５の側面は、第１から第４のいずれかの側面のがん評価方法であって、前記判定処理部は、前記対象者の食道がん、口腔がん、咽頭がん及び肺がんの少なくとも一つが存在する可能性の有無を判定する。

【0015】

本願発明の第６の側面は、対象者のがんを評価するがん評価システムであって、サーバと、情報端末を備え、前記サーバが備える学習処理部は、複数の教師データを用いた学習処理により学習済みモデルを得、前記情報端末が備える撮影部は、前記対象者の軟口蓋を撮影して軟口蓋画像データを得、前記サーバが備える判定処理部は、前記軟口蓋画像データに対して、前記学習済みモデルによって前記対象者にがんが存在する可能性を評価し、前記情報端末が備える入出力部は、前記判定処理部の判定結果を出力し、前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者にがんが存在するか否かの存否データを含む。

【0016】

本願発明の第７の側面は、第６の側面のがん評価システムであって、前記教師データは、前記対象者とは異なる者の軟口蓋の画像を含む軟口蓋画像教師データ及びこの者に食道がんが存在するか否かの存否データを含み、前記軟口蓋画像データは、前記対象者の軟口蓋の画像を含み、前記対象者の食道の画像を含まず、前記学習処理部は、前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して前記学習済みモデルを得、前記判定処理部は、前記学習済みモデルによって、前記軟口蓋画像データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を評価して、前記対象者に食道がんが存在する可能性を判定する。ここで、食道がんは、例えば、食道扁平上皮がんである。

【0017】

本願発明の第８の側面は、第６又は第７の側面のがん評価システムであって、前記教師データは、前記軟口蓋画像教師データ及びアノテーションデータを含み、前記アノテーションデータは、前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化を示す粘膜黒色変化アノテーションデータ、前記軟口蓋画像教師データに含まれる軟口蓋の画像における白色粘膜付着を示す白色粘膜付着アノテーションデータ、前記軟口蓋画像教師データに含まれる軟口蓋の画像における毛細血管拡張を示す毛細血管拡張アノテーションデータ、及び、前記対象者とは異なる者に食道がんが存在するか否かの存否データを含み、前記学習処理部は、前記アノテーションデータを利用して前記軟口蓋画像教師データに含まれる軟口蓋の画像における粘膜黒色変化、白色粘膜付着及び毛細血管拡張を個々に評価する前記学習済みモデルを得、前記判定処理部は、前記学習済みモデルを用いて前記対象者の食道がんが存在する可能性を判定するとともに、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を併せて判定し、前記入出力部は、前記対象者に食道がんが存在する可能性の判定結果と併せて、前記軟口蓋画像データに含まれる軟口蓋の画像に存在する粘膜黒色変化、白色粘膜付着及び毛細血管拡張を出力する。

【0018】

本願発明の第９の側面は、第６から第８のいずれかの側面のがん評価システムであって、前記軟口蓋画像教師データの少なくとも一部は、前記対象者とは異なる者の口の中から軟口蓋を撮影したものであり、前記撮影部は、前記対象者の口の外及び／又は口腔から前記対象者の軟口蓋を撮影して前記軟口蓋画像データを得る。

【0019】

本願発明の第１０の側面は、第６から第９のいずれかの側面のがん評価システムであって、前記判定処理部は、前記対象者の食道がん、口腔がん、咽頭がん及び肺がんの少なくとも一つが存在する可能性の有無を判定する。

【0020】

本願発明の第１１の側面は、コンピュータを、第６から第１０のいずれかの側面の学習処理部及び／又は判定処理部として機能させるためのプログラムである。

【0021】

本願発明を、第１１の側面のプログラムを記録するコンピュータ読み取り可能な記録媒体として捉えてもよい。

【発明の効果】

【0022】

本願発明の各側面によれば、軟口蓋を撮影した画像データによって食道がんなどが存在する可能性を評価するため、食道内視鏡検査が必要ない。また、学習済みモデルを使用するため、高い一致率を実現することができる。

【図面の簡単な説明】

【0023】

【図1】本願発明の実施の形態であるがん評価システム１の構成の一例を示すブロック図である。

【図2】（ａ）図１の教師データ記憶部１７が記憶する教師データの一例と、（ｂ）図１の判定結果記憶部２３が記憶する判定結果データの一例を示す図である。

【図3】図１のがん評価システム１の動作の一例を示すフロー図である。

【図4】図１の学習処理部１３が利用するモデルの一例であるResNetのモデルを説明するための図である。

【図5】（ａ）撮影された軟口蓋と（ｂ）食道内視鏡検査において撮影された食道がんの一例を示す。

【図6】（ａ）粘膜黒色変化、（ｂ）白色粘膜付着、並びに、（ｃ）及び（ｄ）毛細血管拡張が生じている軟口蓋を撮影したものである。

【図7】軟口蓋画像データから食道がん、口腔がん、咽頭がん及び肺がんのハイリスク群に分類するための（ａ）教師データ８１及び（ｂ）判断結果データ９３の一例を示す図である。

【図8】（ａ）正常な軟口蓋と、（ｂ）粘膜黒色変化が生じている軟口蓋と、（ｃ）粘膜黒色変化が生じている箇所の拡大図を示す。

【図9】（ａ）正常な軟口蓋と、（ｂ）白色粘膜付着が生じている軟口蓋と、（ｃ）白色粘膜付着が生じている箇所の拡大図を示す。

【図10】（ａ）正常な軟口蓋と、（ｂ）毛細血管拡張が生じている軟口蓋と、（ｃ）毛細血管拡張が生じている箇所の拡大図を示す。

【発明を実施するための形態】

【0024】

以下では、図面を参照して、本願発明の実施例について説明する。なお、本願発明は、この実施例に限定されるものではない。

【実施例0025】

図１は、本願発明の実施の形態であるがん評価システム１の構成の一例を示すブロック図である。

【0026】

がん評価システム１は、サーバ３と、情報端末５を備える。

【0027】

サーバ３は、情報端末５と通信可能なコンピュータなどで実現されるものである。サーバ３は、通信部７と、処理部９と、記憶部１１を備える。

【0028】

通信部７は、無線及び／又は有線で通信を行う通信機である。

【0029】

処理部９は、例えばプログラムによって制御されるプロセッサを用いて実現され、データ処理を実行する装置である。処理部９は、学習処理部１３と、判定処理部１５を備える。

【0030】

記憶部１１は、例えばメモリを用いて実現され、データを記憶する装置である。記憶部１１は、教師データ記憶部１７と、学習済みモデル記憶部１９と、撮影データ記憶部２１と、判定結果記憶部２３を備える。

【0031】

情報端末５は、例えば、スマートフォン、パソコンなどのサーバ３と通信可能な情報処理端末である。情報端末５は、撮影部２５と、撮影データ記憶部２７と、通信部２９と、判定結果記憶部３１と、表示処理部３３と、入出力部３５を備える。

【0032】

撮影部２５は、例えばカメラを用いて実現される。撮影部２５は、撮影して動画及び／又は静止画である撮影データを得る。

【0033】

撮影データ記憶部２７は、例えばメモリを用いて実現される。撮影データ記憶部２７は、撮影部２５が撮影して得られた撮影データを記憶する。

【0034】

通信部２９は、無線及び／又は有線で通信を行う通信機を用いて実現される。

【0035】

判定結果記憶部３１は、例えばメモリを用いて実現される。判定結果記憶部３１は、判定処理部１５による判定結果を記憶する。

【0036】

表示処理部３３は、例えばプログラムによって制御されるプロセッサを用いて実現される。入出力部３５に対して、判定結果記憶部３１が記憶する判定結果を出力させる。

【0037】

入出力部３５は、例えば、ディスプレイ、タッチパネル、マウス、キーボードなどであり、情報端末５の利用者（本願請求項の「対象者」の一例）に情報を出力したり、利用者から情報を入力したりする。

【0038】

図２は、（ａ）図１の教師データ記憶部１７が記憶する教師データの一例と、（ｂ）図１の判定結果記憶部２３が記憶する判定結果データの一例を示す図である。

【0039】

図１の教師データ記憶部１７は、複数の教師データを記憶する。学習処理部１３は、複数の教師データを用いて学習処理を行う。図２（ａ）を参照して、教師データ４１は、軟口蓋画像教師データ４３と、アノテーションデータ４５を含む。

【0040】

軟口蓋画像教師データ４３は、医師の診察などにおいて患者の軟口蓋を撮影して得られた画像データである。軟口蓋画像教師データ４３は、口の外から患者の軟口蓋を撮影したものでもよい。食道内視鏡検査で食道に内視鏡を挿入する際に口腔にあるカメラで撮影されたもののように、患者の口腔で軟口蓋を撮影したものであってもよい。図５（ａ）は、撮影された軟口蓋の一例を示す。軟口蓋画像教師データ４３は、静止画でも動画でもよい。患者は、通常、情報端末５の利用者とは異なる。

【0041】

軟口蓋は、口蓋の一部であり、口腔の中の硬口蓋の奥にあるやわらかい部分である。飲食するときに鼻孔への通路を塞いで食物が鼻に入るのを防ぐことなどの機能を果たす。

【0042】

食道は、咽頭と胃をつなぐ管状の臓器である。口腔からは、食道を直接観察することはできない。そのため、口腔内にあるカメラや口の外にあるカメラでは、食道を撮影することはできない。そのため、食道がんを観察するには、通常、食道内視鏡検査により内視鏡を口から食道に挿入し、粘膜の色や凹凸などを直接観察して病変を観察する。図５（ｂ）は、食道内視鏡検査において撮影された食道がんの一例を示す。

【0043】

食道がんの診察では、通常、患者の軟口蓋を診察しない。そのため、食道がんの有無は、食道の撮影データと関連付けられている。一般的に、食道がんの有無と関連付けられた患者の軟口蓋の画像データは用いられていない。

【0044】

アノテーションデータ４５は、軟口蓋画像教師データ４３を利用した学習処理のために付けられる注釈のデータである。アノテーションデータ４５は、粘膜黒色変化アノテーションデータ４７と、白色粘膜付着アノテーションデータ４９と、毛細血管拡張アノテーションデータ５１と、食道がんの存否データ５３を含む。

【0045】

粘膜黒色変化アノテーションデータ４７は、領域抽出（Image Semantic Segmentation）のためのアノテーションデータである。粘膜黒色変化アノテーションデータ４７は、軟口蓋画像教師データ４３における軟口蓋の画像の中の粘膜黒色変化が生じている領域を特定し、その領域に粘膜黒色変化が生じていることのタグ付けを行うものである。図６（ａ）は、粘膜黒色変化が生じている軟口蓋を撮影したものである。▽の印が付されている２か所において、粘膜黒色変化が生じている。

【0046】

白色粘膜付着アノテーションデータ４９は、領域抽出のためのアノテーションデータである。白色粘膜付着アノテーションデータ４９は、軟口蓋画像教師データ４３における軟口蓋の画像の中の白色粘膜付着が生じている領域を特定し、その領域に白色粘膜付着が生じていることのタグ付けを行うものである。図６（ｂ）は、白色粘膜付着が生じている軟口蓋を撮影したものである。▽の印が付されている箇所において、白色粘膜付着が生じている。

【0047】

毛細血管拡張アノテーションデータ５１は、領域抽出のためのアノテーションデータである。毛細血管拡張アノテーションデータ５１は、軟口蓋画像教師データ４３における軟口蓋の画像の中の毛細血管拡張が生じている領域を特定し、その領域に毛細血管拡張が生じていることのタグ付けを行うものである。図６（ｃ）は、毛細血管拡張が生じている軟口蓋を撮影したものである。全体的に毛細血管拡張が生じている。図６（ｄ）は、毛細血管拡張が生じている軟口蓋を撮影したものである。▽の印が付されている箇所に毛細血管拡張が生じている。

【0048】

食道がんの存否データ５３は、画像分類（Image Classification）のためのアノテーションデータである。軟口蓋画像教師データ４３を得るために軟口蓋を撮影された患者に、食道がんがあるか否かを示すデータである。

【0049】

図１の判定結果記憶部２３は、判定処理部１５による判定結果を示す判定結果データを記憶する。図２（ｂ）を参照して、判定結果データ６１は、関連所見データ６３と、食道がんのリスク評価データ６５を含む。関連所見データ６３は、粘膜黒色変化領域データ６７と、白色粘膜付着領域データ６９と、毛細血管拡張領域データ７１を含む。

【0050】

判定処理部１５は、情報端末５の利用者の軟口蓋を撮影した軟口蓋画像データを用いて、利用者に食道がんがある可能性が高いか低いかを判定する。食道がんのリスク評価データ６５は、判定処理部１５が利用者に食道がんがある可能性が高いか低いかの判定結果を示すデータである。

【0051】

判定処理部１５は、情報端末５の利用者の軟口蓋を撮影した軟口蓋画像データにおいて、粘膜黒色変化が生じている領域、白色粘膜付着が生じている領域、及び、毛細血管拡張が生じている領域を検出する。粘膜黒色変化領域データ６７、白色粘膜付着領域データ６９及び毛細血管拡張領域データ７１は、それぞれ、軟口蓋画像データにおいて粘膜黒色変化、白色粘膜付着及び毛細血管拡張が生じている領域を特定するデータである。

【0052】

図３は、図１のがん評価システム１の動作の一例を示すフロー図である。

【0053】

学習処理部１３は、教師データ記憶部１７が記憶する複数の教師データ４１を用いて学習処理を行い、学習済みモデルを得る（ステップＳＴ１）（本願請求項の「学習ステップ」の一例）。学習済みモデル記憶部１９は、学習済みモデルを記憶する。

【0054】

学習済みモデルは、例えば、Residual Network（ResNet）などのニューラルネットワークのモデルを利用して得ることができる。図４は、図１の学習処理部１３が利用するモデルの一例であるResNetのモデルを説明するための図である。図４にあるように、ResNetは、勾配消失問題を解決するため、Shortcut Connectionという構造を導入し、ある層で求める最適な出力を学習するのではなく、層の入力を参照した残差関数を学習することで最適化しやすくしているモデルである。

【0055】

学習処理部１３は、アノテーションデータ４５を利用して学習済みモデルを得る。そのため、学習済みモデルは、食道がんの存否データ５３を利用した学習処理により、軟口蓋が撮影された画像データを入力して、食道がんのリスクを評価する評価結果を得るために用いることができる。併せて、学習済みモデルは、粘膜黒色変化アノテーションデータ４７、白色粘膜付着アノテーションデータ４９及び毛細血管拡張アノテーションデータ５１を利用した学習処理により、軟口蓋が撮影された画像データを入力して、粘膜黒色変化、白色粘膜付着及び毛細血管拡張のそれぞれが生じている領域を特定するために用いることができる。

【0056】

図３を参照して、情報端末５の撮影部２５は、情報端末５の利用者の軟口蓋を撮影して、軟口蓋画像データを得る（ステップＳＴ２）（本願請求項の「撮影ステップ」の一例）。軟口蓋画像データは、静止画でも動画でもよい。撮影データ記憶部２７は、撮影された軟口蓋画像データを記憶する。利用者による情報端末５の入出力部３５の操作によって、撮影部２５が、例えば、利用者の口の外から自身の軟口蓋を撮影してもよく、利用者の口腔から自身の軟口蓋を撮影してもよい。撮影部２５は、口の外及び／又は口腔から撮影されるため、利用者の食道を撮影することはできない。そのため、軟口蓋画像データは、利用者の食道を撮影した画像を含まない。軟口蓋画像データは、内視鏡検査を行わずに取得することができる。

【0057】

通信部２９は、サーバ３に対して、撮影データ記憶部２７が記憶する軟口蓋画像データを送信する（ステップＳＴ３）。通信部７は、軟口蓋画像データを受信する。撮影データ記憶部２１は、受信した軟口蓋画像データを記憶する。

【0058】

判定処理部１５は、学習済みモデル記憶部１９が記憶する学習済みモデルに対して、撮影データ記憶部２１が記憶する軟口蓋画像データを入力して判定結果データを得る（ステップＳＴ４）（本願請求項の「判定ステップ」の一例）。判定結果記憶部２３は、判定結果データを記憶する。

【0059】

判定処理部１５が軟口蓋画像データを入力して学習済みモデルを処理すれば、学習済みモデルから、食道がんの存否データ５３を利用して学習処理によって、情報端末５の利用者に食道がんがある可能性が高いか低いかを示す食道がんのリスク評価データ６５が出力される。

【0060】

判定処理部１５が軟口蓋画像データを入力して学習済みモデルを処理すれば、粘膜黒色変化アノテーションデータ４７を利用して学習処理が行われているため、学習済みモデルから、軟口蓋画像データに撮影された軟口蓋における粘膜黒色変化が生じている領域を示す粘膜黒色変化領域データ６７が出力される。

【0061】

同様に、判定処理部１５が軟口蓋画像データを入力して学習済みモデルを処理すれば、白色粘膜付着アノテーションデータ４９を利用して学習処理が行われているため、学習済みモデルから、軟口蓋画像データに撮影された軟口蓋における白色粘膜付着が生じている領域を示す白色粘膜付着領域データ６９が出力される。

【0062】

同様に、判定処理部１５が軟口蓋画像データを入力して学習済みモデルを処理すれば、毛細血管拡張アノテーションデータ５１を利用して学習処理が行われているため、学習済みモデルから、軟口蓋画像データに撮影された軟口蓋における毛細血管拡張が生じている領域を示す毛細血管拡張領域データ７１が出力される。

【0063】

通信部７は、情報端末５に対して、判定結果記憶部２３が記憶する判定結果データを送信する。

【0064】

通信部２９は、判定結果データを受信する。判定結果記憶部３１は、受信した判定結果データを記憶する。

【0065】

表示処理部３３は、入出力部３５に対して、判定結果記憶部３１が記憶する判定結果を出力させる（ステップＳＴ５）（本願請求項の「出力ステップ」の一例）。

【0066】

なお、図２において、粘膜黒色変化アノテーションデータ４７、白色粘膜付着アノテーションデータ４９及び毛細血管拡張アノテーションデータ５１の一部又は全部を省略してもよい。この場合、判定結果データ６１では、関連所見データ６３において、省略したアノテーションデータに対応する領域データの検出を省略したものとなる。

【0067】

発明者らが、本願発明による判定を実証するために行った実験を説明する。９４９枚の軟口蓋内視鏡画像と畳み込みニューラルネットワークのモデルを用いて行った。ここで、軟口蓋内視鏡画像は、教師データとして７５９枚、テストデータとして１９０枚使用した。

【0068】

教師データにおける食道がんの有無は、食道・咽頭がんの既往又は併存ありの場合を食道扁平上皮がんのリスクが高いこととし、食道・咽頭がんの既往も併存もない場合を食道扁平上皮がんのリスクが低いこととした。

【0069】

判定処理において、あるテストデータに対して学習済みモデルがハイリスク群に含まれると出力した場合に、当該テストデータの患者が食道・咽頭がんの既往又は併存ありのときに分類が成功したものとし、当該テストデータの患者が食道・咽頭がんの既往も併存もないときに分類が失敗したものとした。同様に、判定処理において、あるテストデータに対して学習済みモデルがハイリスク群に含まれないと出力した場合に、当該テストデータの患者が食道・咽頭がんの既往又は併存ありのときに分類が失敗したものとし、当該テストデータの患者が食道・咽頭がんの既往も併存もないときに分類が成功したものとした。

【0070】

このモデルによる食道扁平上皮がんのハイリスク群の分類成功率は８６．８４％であった。これは、十分に高い値である。この精度は、画像データの更なる蓄積により、さらに高めることが可能である。

【0071】

そして、粘膜黒色変化、白色粘膜付着及び毛細血管拡張の各領域を示すアノテーションデータを利用して学習処理を行うことにより、３種類の軟口蓋所見を人工知能（ＡＩ）技術により自動的に分類することができるとともに、物体検出及び領域抽出の精度を向上させることができる。さらに、説明可能な人工知能（Explainable AI）の技術を用いることで、人工知能が最終的に判断したハイリスク群への分類の根拠となる領域をホットスポットで明示することができる。

【0072】

このように、本願発明によれば、科学的根拠に基づく方法での精度の高い方法で、食道がんのために内視鏡検査を受けるべき対象の絞り込みを可能にする。さらに、軟口蓋所見と食道がんの関連について、検者の知識に依存しない検証や、食道がんに関連する新しい軟口蓋所見の発見が期待できる。

【0073】

また、軟口蓋所見は、食道がんだけでなく、口腔がん、咽頭がん及び肺がんのハイリスクと関連している潜在性がある。そのため、軟口蓋所見は、歯科、耳鼻咽喉科、呼吸器科など、診療科横断的な複数のがんのリスク予測につながることも想定される。

【0074】

図７は、軟口蓋画像データから食道がん、口腔がん、咽頭がん及び肺がんのハイリスク群に分類するための（ａ）教師データ８１及び（ｂ）判断結果データ９３の一例を示す図である。図１及び図３のがん評価システム１と同様の構成及び処理によって実現することができる。

【0075】

図７（ａ）を参照して、教師データ８１は、軟口蓋画像教師データ８３と、アノテーションデータ８４を含む。アノテーションデータ８４は、食道がんの存否データ８５と、口腔がんの存否データ８７と、咽頭がんの存否データ８９と、肺がんの存否データ９１を含む。

【0076】

図７（ｂ）を参照して、判断結果データ９３は、食道がんのリスク評価データ９５と、口腔がんのリスク評価データ９７と、咽頭がんのリスク評価データ９９と、肺がんのリスク評価データ１０１を含む。

【0077】

学習処理部１３は、教師データ記憶部１７が記憶する複数の教師データ８１を用いて学習処理を行い、学習済みモデルを得る。学習済みモデル記憶部１９は、学習済みモデルを記憶する。

【0078】

学習処理部１３は、アノテーションデータ８４を利用して学習済みモデルを得る。そのため、学習済みモデルは、食道がんの存否データ８５を利用した学習処理により、軟口蓋が撮影された画像データを入力して、食道がんのリスクを評価する評価結果を得るために用いることができる。同様に、学習済みモデルは、口腔がんの存否データ８７、咽頭がんの存否データ８９及び肺がんの存否データ９１を利用した学習処理により、それぞれ、軟口蓋が撮影された画像データを入力して、口腔がん、咽頭がん及び肺がんのリスクを評価する評価結果を得るために用いることができる。

【0079】

情報端末５の撮影部２５は、情報端末５の利用者の軟口蓋を撮影して、軟口蓋画像データを得る。撮影データ記憶部２７は、撮影された軟口蓋画像データを記憶する。

【0080】

通信部２９は、サーバ３に対して、撮影データ記憶部２７が記憶する軟口蓋画像データを送信する。通信部７は、軟口蓋画像データを受信する。撮影データ記憶部２１は、受信した軟口蓋画像データを記憶する。

【0081】

判定処理部１５は、学習済みモデル記憶部１９が記憶する学習済みモデルに対して、撮影データ記憶部２１が記憶する軟口蓋画像データを入力して判定結果データを得る。判定結果記憶部２３は、判定結果データを記憶する。

【0082】

判定処理部１５が軟口蓋画像データを入力して学習済みモデルを処理すれば、学習済みモデルから、食道がんの存否データ８５を利用した学習処理により、情報端末５の利用者に食道がんがある可能性が高いか低いかを示す食道がんのリスク評価データ９５が出力される。同様に、判定処理部１５が軟口蓋画像データを入力して学習済みモデルを処理すれば、学習済みモデルから、口腔がんの存否データ８７、咽頭がんの存否データ８９及び肺がんの存否データ９１を利用した学習処理により、それぞれ、情報端末５の利用者に口腔がん、咽頭がん及び肺がんがある可能性が高いか低いかを示す口腔がんのリスク評価データ９７、咽頭がんのリスク評価データ９９及び肺がんのリスク評価データ１０１が出力される。

【0083】

通信部７は、情報端末５に対して、判定結果記憶部２３が記憶する判定結果データを送信する。通信部２９は、判定結果データを受信する。判定結果記憶部３１は、受信した判定結果データを記憶する。

【0084】

表示処理部３３は、入出力部３５に対して、判定結果記憶部３１が記憶する判定結果を出力させる。

【符号の説明】

【0085】

１ がん評価システム
３ サーバ
５ 情報端末
７ 通信部
９ 処理部
１１ 記憶部
１３ 学習処理部
１５ 判定処理部
１７ 教師データ記憶部
１９ 学習済みモデル記憶部
２１ 撮影データ記憶部
２３ 判定結果記憶部
２５ 撮影部
２７ 撮影データ記憶部
２９ 通信部
３１ 判定結果記憶部
３３ 表示処理部
３５ 入出力部
４１ 教師データ
４３ 軟口蓋画像教師データ
４５ アノテーションデータ
４７ 粘膜黒色変化アノテーションデータ
４９ 白色粘膜付着アノテーションデータ
５１ 毛細血管拡張アノテーションデータ
５３ 食道がんの存否データ
６１ 判定結果データ
６３ 関連所見データ
６５ 食道がんのリスク評価データ
６７ 粘膜黒色変化領域データ
６９ 白色粘膜付着領域データ
７１ 毛細血管拡張領域データ
８１ 教師データ
８３ 軟口蓋画像教師データ
８４ アノテーションデータ
８５ 食道がんの存否データ
８７ 口腔がんの存否データ
８９ 咽頭がんの存否データ
９１ 肺がんの存否データ
９３ 判断結果データ
９５ 食道がんのリスク評価データ
９７ 口腔がんのリスク評価データ
９９ 咽頭がんのリスク評価データ
１０１ 肺がんのリスク評価データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】