特許 7520362 判別装置、判別端末装置、判別装置の制御方法及び制御プログラム、並びに判別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】判別装置、判別端末装置、判別装置の制御方法及び制御プログラム、並びに判別システム

(51)【国際特許分類】

   A61B 1/24 20060101AFI20240716BHJP

   A61B 1/00 20060101ALI20240716BHJP

   A61B 1/045 20060101ALI20240716BHJP

【ＦＩ】

A61B1/24

A61B1/00 511

A61B1/045 614

A61B1/045 618

【請求項の数】 9

(21)【出願番号】P 2020194146

(22)【出願日】2020-11-24

(65)【公開番号】P2022082952

(43)【公開日】2022-06-03

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】304036754

【氏名又は名称】国立大学法人山形大学

(74)【代理人】

【識別番号】100160543

【弁理士】

【氏名又は名称】河野上 正晴

(74)【代理人】

【識別番号】100170874

【弁理士】

【氏名又は名称】塩川 和哉

(74)【代理人】

【識別番号】100196209

【弁理士】

【氏名又は名称】松崎 義邦

(74)【代理人】

【識別番号】100196829

【弁理士】

【氏名又は名称】中澤 言一

(72)【発明者】

【氏名】深見 忠典

(72)【発明者】

【氏名】石川 恵生

【審査官】小野 健二

(56)【参考文献】

【文献】特開２０２０－０５４４４４（ＪＰ，Ａ）

【文献】特表２００９－５１２５２８（ＪＰ，Ａ）

【文献】特表平１０－５００５８８（ＪＰ，Ａ）

【文献】特開２０１２－０２６９８２（ＪＰ，Ａ）

【文献】特開２０１０－１５８３４３（ＪＰ，Ａ）

【文献】特開２００５－２４５８３０（ＪＰ，Ａ）

【文献】特開平４－１５６８２８（ＪＰ，Ａ）

【文献】特表２０１１－５２１２３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置であって、
前記撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換部と、
学習済みの第１判別モデルに対して前記空間周波数スペクトルを入力し、入力された前記空間周波数スペクトルに対応する前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第１判別部と、
学習済みの第２判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第２判別部と、
前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、又は、前記第２判別部によって前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が、良性の前記口腔内腫瘍を含む画像、悪性の前記口腔内腫瘍を含む画像、及び前記口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別部と、
前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別され且つ前記第２判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、又は、前記第３判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、前記患者の口腔内に前記口腔内腫瘍が存在しないことを示す健常情報を出力し、
前記第３判別部によって前記撮影画像が前記良性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、
前記第３判別部によって前記撮影画像が前記悪性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力部と
を有することを特徴とする判別装置。

【請求項2】

前記第２判別部は、前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合に限り、学習済みの第２判別モデルに対して前記撮影画像を入力し、前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する、請求項１に記載の判別装置。

【請求項3】

前記出力部によって出力された各情報を表示する表示部を有する、請求項１又は２に記載の判別装置。

【請求項4】

前記空間周波数スペクトルを入力データとし、前記空間周波数スペクトルに対応する前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを示すデータを出力データとして、前記第１判別モデルを学習させ、
前記撮影画像を入力データとし、前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを示すデータを出力データとして、前記第２判別モデルを学習させ、
前記撮影画像を入力データとし、前記撮影画像が、良性の前記口腔内腫瘍を含む画像、悪性の前記口腔内腫瘍を含む画像、及び前記口腔内腫瘍を含まない画像、のいずれかであることを示すデータを出力データとして、前記第３判別モデルを学習させる学習部を有する、請求項１－３のいずれか一項に記載の判別装置。

【請求項5】

前記第２判別モデル及び前記第３判別モデルを学習させるために用いられる前記入力データは、前記撮影した撮影画像を複数に分割した分割画像、並びに、前記分割画像を左右回転した画像、及び前記分割画像を左右反転した画像よりなる群から選択される一種以上の画像を含む、請求項４に記載の判別装置。

【請求項6】

青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別端末装置であって、
前記青色光を照射する照射部と、
所定の撮影方向の撮影対象空間を撮影する撮影部と、
前記撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換部と、
学習済みの第１判別モデルに対して前記空間周波数スペクトルを入力し、入力された前記空間周波数スペクトルに対応する前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第１判別部と、
学習済みの第２判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第２判別部と、
前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、又は、前記第２判別部によって前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が、良性の前記口腔内腫瘍を含む画像、悪性の前記口腔内腫瘍を含む画像、及び前記口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別部と、
前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別され且つ前記第２判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、又は、前記第３判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、前記患者の口腔内に前記口腔内腫瘍が存在しないことを示す健常情報を出力し、
前記第３判別部によって前記撮影画像が前記良性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、
前記第３判別部によって前記撮影画像が前記悪性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力部と
を有することを特徴とする判別端末装置。

【請求項7】

青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置の制御方法であって、
前記撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成し、
学習済みの第１判別モデルに対して前記空間周波数スペクトルを入力し、入力された前記空間周波数スペクトルに対応する前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第１判別ステップと、
学習済みの第２判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第２判別ステップと、
前記第１判別ステップにおいて前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、又は、前記第２判別ステップにおいて前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が、良性の前記口腔内腫瘍を含む画像、悪性の前記口腔内腫瘍を含む画像、及び前記口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別ステップと、
前記第１判別ステップにおいて前記撮影画像が前記口腔内腫瘍を含まない画像であると判別され且つ前記第２判別ステップにおいて前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、又は、前記第３判別ステップにおいて前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、前記患者の口腔内に前記口腔内腫瘍が存在しないことを示す健常情報を出力し、
前記第３判別ステップにおいて前記撮影画像が前記良性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、
前記第３判別ステップにおいて前記撮影画像が前記悪性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力ステップと
を含むことを特徴とする制御方法。

【請求項8】

青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置の制御プログラムであって、
前記撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換機能と、
学習済みの第１判別モデルに対して前記空間周波数スペクトルを入力し、入力された前記空間周波数スペクトルに対応する前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第１判別機能と、
学習済みの第２判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第２判別機能と、
前記第１判別機能において前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、又は、前記第２判別機能において前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が、良性の前記口腔内腫瘍を含む画像、悪性の前記口腔内腫瘍を含む画像、及び前記口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別機能と、
前記第１判別機能において前記撮影画像が前記口腔内腫瘍を含まない画像であると判別され且つ前記第２判別機能において前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、又は、前記第３判別機能において前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、前記患者の口腔内に前記口腔内腫瘍が存在しないことを示す健常情報を出力し、
前記第３判別機能において前記撮影画像が前記良性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、
前記第３判別機能において前記撮影画像が前記悪性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力機能と
を前記判別装置に実現させるための制御プログラム。

【請求項9】

青色光が照射された患者の口腔内を撮影し、撮影された撮影画像を出力する端末装置と、前記撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置とを有する判別システムであって、
前記端末装置は、
前記青色光を照射する照射部と、
所定の撮影方向の撮影対象空間を撮影する撮影部と、
前記撮影された撮影画像を出力する端末出力部とを有し、
前記判別装置は、
前記撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換部と、
学習済みの第１判別モデルに対して前記空間周波数スペクトルを入力し、入力された前記空間周波数スペクトルに対応する前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第１判別部と、
学習済みの第２判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が前記口腔内腫瘍を含む画像であるか否かを判別する第２判別部と、
前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、又は、前記第２判別部によって前記撮影画像が前記口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して前記撮影画像を入力し、入力された前記撮影画像が、良性の前記口腔内腫瘍を含む画像、悪性の前記口腔内腫瘍を含む画像、及び前記口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別部と、
前記第１判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別され且つ前記第２判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、又は、前記第３判別部によって前記撮影画像が前記口腔内腫瘍を含まない画像であると判別された場合、前記患者の口腔内に前記口腔内腫瘍が存在しないことを示す健常情報を出力し、
前記第３判別部によって前記撮影画像が前記良性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、
前記第３判別部によって前記撮影画像が前記悪性の口腔内腫瘍を含む画像であると判別された場合、前記患者の口腔内に前記悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力部とを有する
ことを特徴とする判別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示された実施形態は、口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行うための、判別装置、判別端末装置、判別装置の制御方法及び制御プログラム、並びに判別システムに関する。

【背景技術】

【0002】

従来、口腔癌のスクリーニングは、主に医師による視診及び触診によって実施される。近年、口腔癌のスクリーニングにおいて用いられるスクリーニングデバイスとして、蛍光観察装置が実用化されている。

【0003】

蛍光観察装置は、外部からの光照射に対する口腔内の健常組織及び病的組織における励起光の特徴を利用した光学機器であり、４３５～４６０ｎｍの波長の青色光を照射する。口腔内の健常組織はコラーゲンを有するため、蛍光観察装置によって照射された青色光により、健常組織において蛍光可視が保持される。一方、口腔内の病的組織では、コラーゲンが壊れているため、蛍光観察装置により青色光が照射されても蛍光可視の低下が起こり、暗色が観察される。このように、医師は、蛍光観察装置を用いることにより、患部に接触することなく、非常に簡便で非侵襲的なスクリーニング検査を実施することができる。

【0004】

例えば、特許文献１には、標的組織から発光する蛍光又は他の微弱光を検出する検査鏡、及び、標的組織を覆うことで周囲室内光等の不都合な光の観察領域への侵入を防止する覆装置又は前置装置について記載されている。また、特許文献２には、カメラ及び蛍光可視装置によって撮影された患者の口腔内のデジタル画像データを管理し、口腔内検診を支援する口腔内検診管理システムについて記載されている。

【0005】

特許文献３には、特定健診項目の測定値を要素とする特徴ベクトルを入力値とし、所定の腫瘍マーカーの測定値を教師値として用いて学習した予測モデルに基づいて、所定の疾病について罹病の可能性を予測する機械学習装置について記載されている。また、特許文献４及び５には、医療画像を用いて学習した学習モデルに基づいて、腫瘍の良悪性を判別する技術について記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許５６８１１６２号公報

【文献】特許６４５３６０７号公報

【文献】特開２０１８－６８７５２号公報

【文献】特開２０１８－１８３５８３号公報

【文献】特表２００２－５３０１３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の蛍光観察に係る技術が用いられることで、健常粘膜から口腔粘膜病変をスクリーニングする可能性が向上したが、蛍光観察に係る技術だけでは、経験の浅い医師にとって、口腔内の腫瘍の良悪性の鑑別を行うことは難しかった。このため、口腔癌のスクリーニングにおいて、蛍光観察装置が用いられたとしても、医師の主観的な判断に頼らざるを得ず、診断の精度は、担当医師の経験に依存してしまうという問題が生じていた。

【0008】

また、従来の機械学習を用いた腫瘍の判別技術では、医療画像又は検査装置による測定値を単に入力データとして学習するだけであり、熟練した専門医の知見を効果的に反映した判別処理が実現されていなかった。このような機械学習では、人間によって入力された特徴量が教師データとして用いられることがあり、学習済みの判別モデルによる識別性能は、特徴量を設定した人に依存し、有用且つ潜在的な特徴を見逃している可能性があった。

【0009】

開示された判別装置、判別端末装置、判別装置の制御方法及び制御プログラム、並びに判別システムは、熟練した専門医の知見を効果的に判別処理に適用し、精度の高い口腔内腫瘍の判別を実現することを可能とする。

【課題を解決するための手段】

【0010】

開示された判別装置は、青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置であって、撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換部と、学習済みの第１判別モデルに対して空間周波数スペクトルを入力し、入力された空間周波数スペクトルに対応する撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第１判別部と、学習済みの第２判別モデルに対して撮影画像を入力し、入力された撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第２判別部と、第１判別部によって撮影画像が口腔内腫瘍を含む画像であると判別された場合、又は、第２判別部によって撮影画像が口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して撮影画像を入力し、入力された撮影画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別部と、第１判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別され且つ第２判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合、又は、第３判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合、患者の口腔内に口腔内腫瘍が存在しないことを示す健常情報を出力し、第３判別部によって撮影画像が良性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、第３判別部によって撮影画像が悪性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力部とを有する。

【0011】

また、開示された判別装置において、第２判別部は、第１判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合に限り、学習済みの第２判別モデルに対して撮影画像を入力し、撮影画像が口腔内腫瘍を含む画像であるか否かを判別することが好ましい。

【0012】

また、開示された判別装置は、出力部によって出力された各情報を表示する表示部を有することが好ましい。

【0013】

また、開示された判別装置は、空間周波数スペクトルを入力データとし、空間周波数スペクトルに対応する撮影画像が口腔内腫瘍を含む画像であるか否かを示すデータを出力データとして、第１判別モデルを学習させ、撮影画像を入力データとし、撮影画像が口腔内腫瘍を含む画像であるか否かを示すデータを出力データとして、第２判別モデルを学習させ、撮影画像を入力データとし、撮影画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像、のいずれかであることを示すデータを出力データとして、第３判別モデルを学習させる学習部を有することが好ましい。

【0014】

また、開示された判別装置は、第２判別モデル及び第３判別モデルを学習させるために用いられる入力データは、撮影した撮影画像を複数に分割した分割画像、並びに、分割画像を左右回転した画像、及び分割画像を左右反転した画像よりなる群から選択される一種以上の画像を含むことが好ましい。

【0015】

開示された判別端末装置は、青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別端末装置であって、青色光を照射する照射部と、所定の撮影方向の撮影対象空間を撮影する撮影部と、撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換部と、学習済みの第１判別モデルに対して空間周波数スペクトルを入力し、入力された空間周波数スペクトルに対応する撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第１判別部と、学習済みの第２判別モデルに対して撮影画像を入力し、入力された撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第２判別部と、第１判別部によって撮影画像が口腔内腫瘍を含む画像であると判別された場合、又は、第２判別部によって撮影画像が口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して撮影画像を入力し、入力された撮影画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別部と、第１判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別され且つ第２判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合、又は、第３判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合、患者の口腔内に口腔内腫瘍が存在しないことを示す健常情報を出力し、第３判別部によって撮影画像が良性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、第３判別部によって撮影画像が悪性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力部と、を有する。

【0016】

開示された制御方法は、青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置の制御方法であって、撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成し、学習済みの第１判別モデルに対して空間周波数スペクトルを入力し、入力された空間周波数スペクトルに対応する撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第１判別ステップと、学習済みの第２判別モデルに対して撮影画像を入力し、入力された撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第２判別ステップと、第１判別ステップにおいて撮影画像が口腔内腫瘍を含む画像であると判別された場合、又は、第２判別ステップにおいて撮影画像が口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して撮影画像を入力し、入力された撮影画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別ステップと、第１判別ステップにおいて撮影画像が口腔内腫瘍を含まない画像であると判別され且つ第２判別ステップにおいて撮影画像が口腔内腫瘍を含まない画像であると判別された場合、又は、第３判別ステップにおいて撮影画像が口腔内腫瘍を含まない画像であると判別された場合、患者の口腔内に口腔内腫瘍が存在しないことを示す健常情報を出力し、第３判別ステップにおいて撮影画像が良性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、第３判別ステップにおいて撮影画像が悪性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力ステップとを含む。

【0017】

開示された制御プログラムは、青色光が照射された患者の口腔内を撮影した撮影画像を用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行う判別装置の制御プログラムであって、撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換機能と、学習済みの第１判別モデルに対して空間周波数スペクトルを入力し、入力された空間周波数スペクトルに対応する撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第１判別機能と、学習済みの第２判別モデルに対して撮影画像を入力し、入力された撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第２判別機能と、第１判別機能において撮影画像が口腔内腫瘍を含む画像であると判別された場合、又は、第２判別機能において撮影画像が口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して撮影画像を入力し、入力された撮影画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別機能と、第１判別機能において撮影画像が口腔内腫瘍を含まない画像であると判別され且つ第２判別機能において撮影画像が口腔内腫瘍を含まない画像であると判別された場合、又は、第３判別機能において撮影画像が口腔内腫瘍を含まない画像であると判別された場合、患者の口腔内に口腔内腫瘍が存在しないことを示す健常情報を出力し、第３判別機能において撮影画像が良性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、第３判別機能において撮影画像が悪性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力機能とを判別装置に実現させる。

【0018】

開示された判別システムは、青色光が照射された患者の口腔内を撮影し、撮影された撮影画像を出力する端末装置と、撮影画像を用いて口腔内腫瘍の存否を判別する判別装置とを有する判別システムであって、端末装置は、青色光を照射する照射部と、所定の撮影方向の撮影対象空間を撮影する撮影部と、撮影された撮影画像を出力する端末出力部とを有し、判別装置は、撮影画像をフーリエ変換することにより、空間周波数スペクトルを生成する変換部と、学習済みの第１判別モデルに対して空間周波数スペクトルを入力し、入力された空間周波数スペクトルに対応する撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第１判別部と、学習済みの第２判別モデルに対して撮影画像を入力し、入力された撮影画像が口腔内腫瘍を含む画像であるか否かを判別する第２判別部と、第１判別部によって撮影画像が口腔内腫瘍を含む画像であると判別された場合、又は、第２判別部によって撮影画像が口腔内腫瘍を含む画像であると判別された場合、学習済みの第３判別モデルに対して撮影画像を入力し、入力された撮影画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像のいずれであるかを判別する第３判別部と、第１判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別され且つ第２判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合、又は、第３判別部によって撮影画像が口腔内腫瘍を含まない画像であると判別された場合、患者の口腔内に口腔内腫瘍が存在しないことを示す健常情報を出力し、第３判別部によって撮影画像が良性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に良性の口腔内腫瘍が存在することを示す良性腫瘍情報を出力し、第３判別部によって撮影画像が悪性の口腔内腫瘍を含む画像であると判別された場合、患者の口腔内に悪性の口腔内腫瘍が存在することを示す悪性腫瘍情報を出力する出力部とを有する。

【発明の効果】

【0019】

判別装置、判別端末装置、判別装置の制御方法及び制御プログラム、並びに判別システムによって、熟練した専門医の知見を効果的に判別処理に適用し、精度の高い口腔内腫瘍の判別を実現することが可能となる。

【図面の簡単な説明】

【0020】

【図1】判別システムの概要構成の一例を示す図である。

【図2】端末装置の概略構成の一例を示す図である。

【図3】（ａ）は、端末装置の一例を示す斜視図であり、（ｂ）は、端末装置の使用方法の一例を示す図である。

【図4】判別装置の概略構成の一例を示す図である。

【図5】（ａ）及び（ｂ）は、青色光照射画像の一例を示す図であり、（ｃ）及び（ｄ）は、空間周波数スペクトルの一例を説明するためのスペクトル画像を示す図である。

【図6】（ａ）は、教師データの入力データの一例を説明するための模式図であり、（ｂ）は、第１判別モデルの一例を示す模式図である。

【図7】（ａ）は、第２判別モデルの一例を示す模式図であり、（ｂ）は、第３判別モデルの一例を示す模式図である。

【図8】判別処理の概要を説明するための模式図である。

【図9】判別処理の動作フローの一例を示す図である。

【図10】判別端末装置の概略構成の一例を示す図である。

【発明を実施するための形態】

【0021】

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0022】

（判別システム１の概要）
図１は、判別システム１の概略構成の一例を示す図である。判別システム１は、青色光が照射された患者の口腔内を撮影し、撮影された撮影画像に用いて口腔内腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を実行する。判別システム１は、医師又は看護師等の医療従事者によって操作される端末装置２と、患者の口腔内における腫瘍の存否の判別及び口腔内腫瘍の良悪性の判別を行うための判別装置３とを備える。以下、端末装置２を操作する医療従事者を「ユーザ」と称する場合がある。

【0023】

口腔は、口裂から咽頭に連なる器官であり、舌、口底、頬、口蓋、口唇、歯肉、唾液腺等の部位によって構成される。口腔内腫瘍（口腔腫瘍）は、口腔に生じる腫瘍であり、悪性の口腔内腫瘍と良性の口腔内腫瘍とに分類される。悪性の口腔内腫瘍の多くは、粘膜の上皮から発生する扁平上皮癌（Squamous Cell Carcinoma：SCC）であり、発生部位により、舌がん、歯肉がん及び口底がん等と呼ばれる。良性の口腔内腫瘍は、悪性の口腔内腫瘍と同様に細胞が異常増殖した組織の塊であるが、所謂「浸潤と転移」及び「悪液質」を引き起こさない腫瘍である。

【0024】

端末装置２は、青色光照射機能及び撮影機能を有する口腔内蛍光観察装置である。端末装置２の青色光照射機能により、４３５～４６０ｎｍの波長の青色光が照射される。端末装置２の撮影機能により、青色光が照射された口腔内の撮影対象空間が撮影され、撮影された撮影画像が青色光照射画像として出力される。

【0025】

照射された青色光の深達度は４００～６００μｍ程度であり、健常組織では蛍光可視が保持（Fluorescence Visualization Retention：FVR）される。このため、青色光照射画像において、健常組織に対応するピクセルは青緑色（Apple-Green）の色情報を有する。これに対して、ＳＣＣ等の病的組織では蛍光可視の低下が起こる（Fluorescence Visualization Loss：FVL）ため、青色光照射画像において、病的組織に対応するピクセルは暗色の色情報を有する。

【0026】

端末装置２は、多機能携帯電話（所謂「スマートフォン」）、タブレット端末、タブレットＰＣ（Personal Computer）、ウェアラブルコンピュータ等の携帯端末機と、蛍光観察装置とを組み合わせたものでもよい。この場合、蛍光観察装置は、撮影機能を有さず、携帯端末機が、蛍光観察装置によって青色光が照射された口腔内の青色光照射画像を撮影する。例えば、端末装置２として、「ベルスコープ（登録商標）」、「オーラルック（登録商標）」等の、スマートフォンを収容可能な収容部を備える蛍光観察装置が用いられてもよい。

【0027】

判別装置３は、コンピュータ、サーバ等の情報処理装置である。判別装置３は、端末装置２によって撮影された青色光照射画像が、良性の口腔内腫瘍を含む画像、悪性の口腔内腫瘍を含む画像、及び口腔内腫瘍を含まない画像のいずれであるかを判別する判別機能を有する。

【0028】

図１では、１台の判別装置３が判別システム１の構成要素として図示されているが、判別装置３は複数の物理的に別体のコンピュータの集合であってもよい。この場合、複数のコンピュータのそれぞれは、同一の機能を有するものでもよく、１台の判別装置３の機能を分散して有するものでもよい。

【0029】

（端末装置２）
図２は、端末装置２の概略構成の一例を示す図である。

【0030】

端末装置２は、所定の照射方向の一定範囲に向けて青色光を照射する機能と、所定の照射方向と略同一方向の撮影方向の撮影対象空間を撮影する機能とを少なくとも有する。また、端末装置２は、青色光照射画像の画像データを無線通信によって判別装置３に送信する機能を有する。そのために、端末装置２は、端末通信部２１と、端末記憶部２２と、端末表示部２３と、端末操作部２４と、照射部２５と、撮影部２６と、端末制御部２７とを備える。

【0031】

端末通信部２１は、図示しない無線ＬＡＮ（Local Area Network）のアクセスポイントとの間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う通信インターフェース回路を備える。端末通信部２１は、端末制御部２７から取得した青色光照射画像の画像データを無線通信により判別装置３に送信する。また、端末通信部２１は、図示しない基地局により割り当てられるチャネルを介して、基地局との間でＬＴＥ（Long Term Evolution）方式、第５世代（５Ｇ）移動通信システム等による無線信号回線を確立し、基地局との間で通信を行ってもよい。また、端末通信部２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方式に従った近距離無線通信を行うためのインターフェース回路を有し、判別装置３に向けて電波を送信してもよい。また、端末通信部２１は、青色光照射画像の画像データに対応する各種信号を赤外線通信等によって送信するための送信回路を有してもよい。また、端末通信部２１は、有線ＬＡＮの通信インターフェース回路を備えてもよい。これにより、端末装置２は、端末通信部２１を介して判別装置３に青色光照射画像を提供することができる。

【0032】

なお、端末装置２は、端末通信部２１に代えて又は端末通信部２１とともに、可搬型記憶媒体を着脱可能に保持する入出力装置を備えてもよい。この場合、入出力装置は、端末制御部２７から取得した青色光照射画像の画像データを可搬型記憶媒体に記憶する。これにより、端末装置２は、可搬型記憶媒体を介して判別装置３に青色光照射画像を提供することができる。

【0033】

端末記憶部２２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ装置である。端末記憶部２２は、端末制御部２７における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム及びデータ等を記憶する。端末記憶部２２に記憶されるドライバプログラムは、端末通信部２１を制御する通信デバイスドライバプログラム、端末表示部２３を制御する出力デバイスドライバプログラム、端末操作部２４を制御する入力デバイスドライバプログラム、照射部２５を制御する照射デバイスドライバプログラム、及び、撮影部２６を制御する撮影デバイスドライバプログラム等である。端末記憶部２２に記憶されるアプリケーションプログラムは、ユーザによる端末操作部２４の操作に応じて入力された指示に基づいて、照射部２５を動作させて所定の照射方向の一定範囲に向けて青色光を照射させる照射処理、撮影部２６を動作させて青色光照射画像の画像データを取得する撮影処理、取得された青色光照射画像の画像データを判別装置３に送信する送信処理等を端末制御部２７に実行させるための制御プログラム等である。また、端末記憶部２２は、所定の処理に係るデータを一時的に記憶してもよい。

【0034】

端末表示部２３は、液晶ディスプレイである。なお、端末表示部２３は、有機ＥＬ（Electro-Luminescence）ディスプレイ等でもよい。端末表示部２３は、撮影された青色光照射画像等を表示する。

【0035】

端末操作部２４は、タッチパネル、マウス等のポインティングデバイスである。端末操作部２４は、入力キー等でもよい。タッチパネルは、静電容量式の近接センサを備え、ユーザの非接触操作を検出可能に構成されてもよい。ユーザは、端末操作部２４を用いて、文字、数字及び記号、若しくは、端末表示部２３の表示画面上の位置等を入力することができる。端末操作部２４は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、端末操作部２４は、発生した信号をユーザの指示として、端末制御部２７に供給する。

【0036】

照射部２５は、狭帯域光を出射するレーザダイオード（Laser Diode）等の半導体レーザにより構成される。照射部２５は、狭帯域の青色光（例えば４３５～４６０ｎｍの波長帯域の波長を有する光）を励起光として照射出力する。

【0037】

撮影部２６は、光学レンズ及び撮像素子等を有する。光学レンズは、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。撮影部２６は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。撮影部２６は、画像データを出力する際に、画像データの取得時刻を対応付けてもよい。なお、撮影部２６は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力してもよい。

【0038】

端末制御部２７は、端末記憶部２２に記憶されているオペレーティングシステムプログラム、ドライバプログラム及びアプリケーションプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する処理装置である。端末制御部２７は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）等の電子回路、又は各種電子回路の組み合わせである。図２においては、端末制御部２７が単一の構成要素として図示されているが、端末制御部２７は複数の物理的に別体のプロセッサの集合であってもよい。

【0039】

端末制御部２７は、制御プログラムに含まれる各種命令を実行することにより、照射制御部２７１、撮影制御部２７２、及び送信制御部２７３として機能する。以下、照射制御部２７１、撮影制御部２７２、及び送信制御部２７３の機能の一例を、図３を参照して説明する。

【0040】

図３（ａ）は、端末装置２の一例を示す斜視図である。

【0041】

図３（ａ）に示される端末装置２は略板状であり、端末装置２の表面（例えば、最も広い一対の面の一方の面）に、照射部２５及び撮影部２６が設置される。照射部２５の照射方向及び撮影部２６の撮影方向は、ともに表面の垂直方向と略同一である。これにより、照射部２５によって照射された青色光の照射空間の少なくとも一部は、撮影部２６の撮影対象空間に含まれる。

【0042】

図３（ｂ）は、端末装置の使用方法の一例を示す図である。端末装置２の裏面（例えば、最も広い一対の面の他方の面）に、端末表示部２３が設置される。

【0043】

照射制御部２７１は、ユーザによる端末操作部２４の操作に応じて照射指示が入力された場合、所定の照射方向の一定範囲に向けて青色光を照射するように照射部２５を制御する。

【0044】

ユーザによる端末操作部２４の操作に応じて撮影指示が入力された場合、撮影部２６は、所定時間（例えば、１／３０秒、１／１５秒、又は１秒）ごとに照射方向と略同一方向の撮影方向の撮影対象空間を撮影する。撮影制御部２７２は、撮影部２６による撮影のたびに、撮影された撮影画像を端末表示部２３に表示する。

【0045】

図３（ｂ）に示される例では、端末装置２の表面は、ユーザによって患者Ｐの口腔の方向に向けられている。これにより、照射部２５によって照射される青色光の照射方向は患者Ｐの口腔の方向となる。図３（ｂ）に示される照射範囲Ｒ１は、患者Ｐに照射された青色光の照射範囲の一例である。

【0046】

また、図３（ｂ）に示される例では、撮影部２６の撮影方向は、照射部２５の照射方向と略同一であるため、撮影部２６の撮影方向は口腔の方向である。図３（ｂ）に示される撮影範囲Ｒ２は、患者Ｐに対する撮影範囲の一例である。端末表示部２３には、撮影範囲Ｒ２に対応する撮影画像が所定時間ごとに表示される。これにより、ユーザは、撮影部２６によって現在撮影されている撮影範囲Ｒ２をリアルタイムに確認しながら、端末装置２の向きを調整することが可能となる。

【0047】

ユーザによる端末操作部２４の操作に応じて取得指示が入力された場合、撮影制御部２７２は、当該取得指示が入力されたタイミングで撮影された撮影画像を青色光照射画像として取得し、青色光照射画像の画像データを端末記憶部２２に記憶する。撮影制御部２７２は、撮影された撮影画像のうちの少なくとも一部の範囲の画像を、診断範囲の青色光照射画像として取得してもよい。撮影制御部２７２による診断範囲の青色光照射画像の取得処理は、例えば、撮影された撮影画像のうちの、ユーザによる端末操作部２４の操作によって指定された診断範囲に対応する画像が、診断範囲の青色光照射画像として取得される処理である。また、撮影制御部２７２による診断範囲の青色光照射画像の取得処理は、撮影された撮影画像のうちの、検出領域を抽出する公知の画像処理を用いて自動的に設定された診断範囲に対応する画像が、診断範囲の青色光照射画像として取得される処理でもよい。また、端末装置２は、これら手動による診断範囲設定及び自動による診断範囲設定を切替えるための操作手段（例えばタッチパネルに表示される切替ボタン等）を備えてもよい。なお、以下で述べる「青色光照射画像」は、診断範囲の青色光照射画像（撮影された撮影画像のうちの少なくとも一部の診断範囲の画像）を含む。

【0048】

撮影制御部２７２は、青色光照射画像の画像データの記憶前及び／又は記憶後に、取得された青色光照射画像を、端末表示部２３に表示してもよい。

【0049】

ユーザによる端末操作部２４の操作に応じて送信指示が入力された場合、送信制御部２７３は、端末記憶部２２に記憶された青色光照射画像の画像データを取得し、端末通信部２１を介して判別装置３に送信する。

【0050】

端末装置２の形状及びサイズは、図３に示される例に限定されない。例えば、端末装置２は、患者Ｐの口腔内に挿入可能な形状及びサイズであってもよい。

【0051】

（判別装置３）
図４は、判別装置３の概略構成の一例を示す図である。

【0052】

判別装置３は、端末装置２から送信された青色光照射画像の画像データを受信する受信機能、青色光照射画像を空間周波数スペクトルに変換する変換機能を有する。また、判別装置３は、判別モデルを学習させる学習機能、学習済みの判別モデルを用いて口腔内腫瘍の存否及び口腔内腫瘍の良悪性を判別する判別機能、判別機能による判別結果を出力する出力機能等を有する。そのために、判別装置３は、通信部３１と、記憶部３２と、表示部３３と、操作部３４と、処理部３５とを備える。

【0053】

通信部３１は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。判別装置３は、通信部３１を介して、端末装置２から青色光照射画像の画像データを受信することができる。また、通信部３１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方式に従った近距離無線通信を行うためのインターフェース回路を有し、端末装置２からの電波を受信してもよい。また、通信部３１は、青色光照射画像の画像データに対応する各種信号を赤外線通信等によって受信するための受信回路を有してもよい。また、通信部３１は、有線ＬＡＮの通信インターフェース回路を備えてもよい。これにより、判別装置３は、通信部３１を介して端末装置２から青色光照射画像を取得することができる。

【0054】

なお、判別装置３は、通信部３１に代えて又は通信部３１とともに、可搬型記憶媒体を着脱可能に保持する入出力装置を備えてもよい。この場合、入出力装置は、可搬型記憶媒体に記憶された青色光照射画像の画像データを取得し、取得した画像データを処理部３５に供給する。これにより、判別装置３は、可搬型記憶媒体を介して端末装置２から青色光照射画像を取得することができる。

【0055】

記憶部３２は、例えば、ＲＯＭ、ＲＡＭ等の半導体メモリ装置である。記憶部３２は、例えば、磁気ディスク、光ディスク、又はデータを記憶可能な前記以外の各種記憶装置でもよい。記憶部３２は、処理部３５における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム及びデータ等を記憶する。記憶部３２に記憶されるコンピュータプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部３２にインストールされてもよい。

【0056】

記憶部３２に記憶されるデータは、後述する、第１判別モデルＭ１、第２判別モデルＭ２、及び第３判別モデルＭ３、教師データＴＤ等である。また、記憶部３２は、端末装置２から取得した青色光照射画像の画像データを記憶する。記憶部３２は、所定の処理に係るデータを一時的に記憶してもよい。

【0057】

表示部３３は、液晶ディスプレイである。なお、表示部３３は、有機ＥＬディスプレイ等でもよい。表示部３３は、処理部３５から供給される画像データに基づく青色光照射画像、判別処理の結果情報等を表示する。

【0058】

操作部３４は、キーボード、及び／又はマウスである。操作部３４は、タッチパネル等のポインティングデバイスでもよい。ユーザは、操作部３４を用いて、文字や数字、記号、若しくは、表示部３３の表示画面上の位置等を入力することができる。操作部３４は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として処理部３５に供給される。

【0059】

処理部３５は、記憶部３２に記憶されているオペレーティングシステムプログラム、ドライバプログラム及びアプリケーションプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する処理装置である。処理部３５は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ等の電子回路、又は各種電子回路の組み合わせである。図４においては、処理部３５が単一の構成要素として図示されているが、処理部３５は複数の物理的に別体のプロセッサの集合であってもよい。

【0060】

処理部３５は、記憶部３２に記憶されたアプリケーションプログラム（制御プログラム）に含まれる各種命令を実行することにより、受信処理部３５１、変換処理部３５２、学習処理部３５３、判別処理部３５４、及び出力処理部３３５として機能する。以下、受信処理部３５１、変換処理部３５２、学習処理部３５３、判別処理部３５４、及び出力処理部３３５の機能の一例を、図５－８を参照して説明する。

【0061】

受信処理部３５１は、端末装置２から送信された青色光照射画像の画像データを、通信部３１を介して受信し、受信した青色光照射画像の画像データを記憶部３２に記憶する。

【0062】

図５（ａ）及び（ｂ）は、青色光照射画像の一例を示す図である。

【0063】

図５（ａ）に示される青色光照射画像は、口腔内腫瘍を含まない画像（健常組織のみを含む画像）の一例であり、図５（ｂ）に示される青色光照射画像は、悪性の口腔内腫瘍を含む画像である。

【0064】

学習処理部３５３は、記憶部３２に記憶された３種類の教師データＴＤのそれぞれを用いて学習させた第１判別モデルＭ１、第２判別モデルＭ２、及び第３判別モデルＭ３を生成し、生成した各判別モデルＭ１－Ｍ３を記憶部３２に記憶する。

【0065】

３種類の教師データＴＤのうちの第１教師データＴＤ１は、青色光照射画像をフーリエ変換することにより生成された空間周波数スペクトルを入力データとし、「青色光照射画像が口腔内腫瘍を含む画像であること」及び「青色光照射画像が口腔内腫瘍を含まない画像であること」のいずれか一方を示すラベルデータを出力データとする教師データである。また、３種類の教師データＴＤのうちの第２教師データＴＤ２は、青色光照射画像の画像データを入力データとし、「青色光照射画像が口腔内腫瘍を含む画像であること」及び「青色光照射画像が口腔内腫瘍を含まない画像であること」のいずれか一方を示すラベルデータを出力データとする教師データである。また、３種類の教師データＴＤのうちの第３教師データＴＤ３は、青色光照射画像の画像データを入力データとし、「青色光照射画像が悪性の口腔内腫瘍を含む画像であること」、「青色光照射画像が良性の口腔内腫瘍を含む画像であること」及び「青色光照射画像が口腔内腫瘍を含まない画像であること」のいずれかを示すラベルデータを出力データとする教師データである。

【0066】

第２教師データＴＤ２及び第３教師データＴＤ３は、ユーザ又は判別装置３の管理者等によって生成されたデータである。第１教師データＴＤ１の入力データである空間周波数スペクトルは、変換処理部３５２によって生成される。以下、変換処理部３５２の変換処理の一例について説明する。

【0067】

変換処理部３５２は、記憶部３２に記憶された第２教師データＴＤ２を抽出する。次に、変換処理部３５２は、抽出した第２教師データＴＤ２の入力データである青色光照射画像の画像データを、以下の式（１）で表される公知のフーリエ変換を行った後、式（２）により空間周波数スペクトルを生成する。なお、生成された空間周波数スペクトルは、画像データの中心からの距離ｒに対応する成分量ｐ（ｒ）である。そして、変換処理部３５２は、生成された空間周波数スペクトルのデータを入力データとし、抽出した第２教師データＴＤ２のラベルデータを出力データとする第１教師データＴＤ１を生成し、記憶部３２に記憶する。

【0068】

【数1】

【0069】

【数2】

【0070】

図５（ｃ）及び（ｄ）は、空間周波数スペクトルの一例を説明するためのスペクトル画像を示す図である。

【0071】

図５（ｃ）に示されるスペクトル画像は、図５（ａ）に示される青色光照射画像の画像データを、式（１）で表される公知のフーリエ変換によって算出されたＦ（ｕ，ｖ）に係るパワースペクトルを示す画像を説明するための一例の図である。また、図５（ｄ）に示されるスペクトル画像は、図５（ｂ）に示される青色光照射画像の画像データを、式（１）で表される公知のフーリエ変換によって算出されたＦ（ｕ，ｖ）に係るパワースペクトルを示す画像を説明するための一例の図である。

【0072】

スペクトル画像では、画像の中心付近が低周波成分であり且つ中心から離れるほど高周波成分になる空間周波数スペクトルが示される。例えば、図５（ａ）に示されるように、青色光照射画像が口腔内腫瘍を含まない画像（健常組織のみを含む画像）である場合、健常組織（健常粘膜）では粘膜表面は滑らかであり、ピクセルの位置の変化に対する輝度（画素値）の変化は小さい。このため、図５（ａ）に示される青色光照射画像の画像データをフーリエ変換することによって算出されたＦ（ｕ，ｖ）に係るスペクトル画像は、低周波成分を多く含むスペクトル画像（図５（ｃ））となる。

【0073】

一方、図５（ｂ）に示されるように、青色光照射画像が口腔内腫瘍を含む画像である場合、口腔内腫瘍では粘膜表面に凹凸があり、ピクセルの位置の変化に対して輝度（画素値）が大きく変化する。このため、図５（ｂ）に示される青色光照射画像の画像データをフーリエ変換することによって算出されたＦ（ｕ，ｖ）に係るスペクトル画像は、図５（ｃ）に示されるスペクトル画像に比べて、より高周波の画素値変動成分を含むスペクトル画像（図５（ｄ））となる。

【0074】

図６（ａ）は、第２教師データＴＤ２及び第３教師データＴＤ３の入力データの一例を説明するための模式図である。

【0075】

図６（ａ）に示される青色光照射画像の画像データは、縦及び横が１，６００ピクセルの画像である。なお、青色光照射画像の画像データの画像サイズは、図６（ａ）に示されるものに限らず、どのようなサイズであってもよい。学習処理部３５３は、青色光照射画像の画像データを、２，５００個の縦及び横が３２ピクセルの画像データに分割する。そして、学習処理部３５３は、分割された画像データを入力データとし、「青色光照射画像が口腔内腫瘍を含む画像であること」及び「青色光照射画像が口腔内腫瘍を含まない画像であること」のいずれか一方を示すラベルデータを出力データとする第２教師データＴＤ２を生成する。すなわち、図６（ａ）に示される青色光照射画像の画像データから、２，５００の教師データが生成される。なお、学習処理部３５３は、２，５００の青色光照射画像の画像データのそれぞれに対して、左回転した画像（２，５００）、右回転した画像（２，５００）、上下反転した画像（２，５００）、及び左右反転した画像（２，５００）を生成し、これらの合計１２，５００の画像の画像データを教師データとしてもよい。学習処理部３５３は、２，５００の青色光照射画像、左回転した画像（２，５００）、右回転した画像（２，５００）、上下反転した画像（２，５００）、及び左右反転した画像（２，５００）よりなる群から選択される一種類以上の画像の画像データを教師データとしてもよい。例えば、２，５００の青色光照射画像、及び、左回転した画像（２，５００）の、合計５，０００の画像の画像データが教師データとして用いられてもよい。このように、学習処理部３５３は、口腔内腫瘍を含む青色光照射画像の入手が難しい場合でも、教師データの数を増加させることを可能とする。

【0076】

同様に、学習処理部３５３は、分割された画像データを入力データとし、「青色光照射画像が悪性の口腔内腫瘍を含む画像であること」、「青色光照射画像が良性の口腔内腫瘍を含む画像であること」及び「青色光照射画像が口腔内腫瘍を含まない画像であること」のいずれかを示すラベルデータを出力データとする第３教師データＴＤ３を生成する。

【0077】

次に、学習処理部３５３による学習処理について説明する。

【0078】

図６（ｂ）は、第１判別モデルの一例を示す模式図である。図６（ｂ）に示される第１判別モデルＭ１は、入力層Ｍ１－１、隠れ層Ｍ１－２及び出力層Ｍ１－３を有するニューラルネットワークモデルである。入力層Ｍ１－１の所謂「ニューロン」のそれぞれは、第１教師データＴＤ１の空間周波数スペクトルの各ｒに対応する成分量ｐ（ｒ）が入力されるものである。入力層Ｍ１－１の各ニューロンに、空間周波数スペクトルが入力される。なお、入力層Ｍ１－１のニューロンのうち、空間周波数スペクトルのｒに対応しないニューロンが存在してもよく、この場合、当該ニューロンはバイアスとして機能する。

【0079】

隠れ層Ｍ１－２のニューロンの数は、入力層Ｍ１－１のニューロンの数よりも多くても少なくてもよい。また、出力層Ｍ１－３に含まれる２つのニューロンは、それぞれ「青色光照射画像が口腔内腫瘍を含む画像であること」を示すラベルデータ及び「青色光照射画像が口腔内腫瘍を含まない画像であること」を示すラベルデータに対応する。

【0080】

図７（ａ）は、第２判別モデルの一例を示す模式図である。図７（ａ）に示される第２判別モデルＭ２は、入力層Ｍ２－１、畳み込み層Ｍ２－２、プーリング層Ｍ２－３及び出力層Ｍ２－４を有する畳み込みニューラルネットワークなどを含む深層ニューラルネットワークモデルである。畳み込み層Ｍ２－２及びプーリング層Ｍ２－３は、それぞれ２以上であってもよい。入力層Ｍ２－１のニューロンは、第２教師データＴＤ２の（分割された）青色光照射画像の画像データの各ピクセルに対応する色情報（Ｒ値、Ｇ値、Ｂ値）に対応する。出力層Ｍ２－４に含まれる２つのニューロンは、それぞれ「青色光照射画像が口腔内腫瘍を含む画像であること」を示すラベルデータ及び「青色光照射画像が口腔内腫瘍を含まない画像であること」を示すラベルデータに対応する。

【0081】

図７（ｂ）は、第３判別モデルの一例を示す模式図である。図７（ｂ）に示される第３判別モデルＭ３は、入力層Ｍ３－１、畳み込み層Ｍ３－２、プーリング層Ｍ３－３及び出力層Ｍ３－４を有する畳み込みニューラルネットワークなどを含む深層ニューラルネットワークモデルである。入力層Ｍ３－１、畳み込み層Ｍ３－２及びプーリング層Ｍ３－３は、入力層Ｍ２－１、畳み込み層Ｍ２－２及びプーリング層Ｍ２－３と同様である。出力層Ｍ３－４に含まれる３つのニューロンは、それぞれ「青色光照射画像が悪性の口腔内腫瘍を含む画像であること」を示すラベルデータ、「青色光照射画像が良性の口腔内腫瘍を含む画像であること」を示すラベルデータ及び「青色光照射画像が口腔内腫瘍を含まない画像であること」を示すラベルデータに対応する。

【0082】

学習処理部３５３は、第１教師データＴＤ１を用いて公知のマシンラーニング学習を実行することにより、ニューラルネットワークにおける各ニューロンの重みが学習された第１判別モデルを生成又は更新する。また、学習処理部３５３は、第２教師データＴＤ２を用いて公知のディープラーニング学習を実行することにより、多層構造のニューラルネットワークにおける各ニューロンの重みが学習された第２判別モデルを生成又は更新する。また、学習処理部３５３は、第３教師データＴＤ３を用いて公知のディープラーニング学習を実行することにより、多層構造のニューラルネットワークにおける各ニューロンの重みが学習された第３判別モデルを生成又は更新する。

【0083】

図８は、判別処理の概要を説明するための模式図である。判別処理は、変換処理部３５２、判別処理部３５４及び出力処理部３５５によって実行される。判別処理では、端末装置２から新たな患者の（教師データＴＤとは異なる）青色光照射画像の画像データが取得された場合、取得された青色光照射画像に対応する判定結果（悪性腫瘍情報、良性腫瘍情報又は健常情報）が出力される。

【0084】

まず、変換処理部３５２は、取得された青色光照射画像の画像データをフーリエ変換することにより、第１判定処理で用いられる空間周波数スペクトルを生成する。なお、変換処理部３５２は、取得された青色光照射画像を小サイズ（３２画素×３２画素）に分割した画像データ又は後述する出力画像の画像データをフーリエ変換することにより、第１判定処理で用いられる空間周波数スペクトルを生成してもよい。

【0085】

次に、判別処理部３５４は、（取得された青色光照射画像が分割されている場合は）小サイズ（３２画素×３２画素）に分割された画像から、元の大きさの画像（取得された青色光照射画像）を再構成する。判別処理部３５４は、青色光照射画像における口腔内の任意の画素について、その画素を含む複数の分割画像を生成し、多数決により判定を行う。判別処理部３５４は、多数決による判定処理を口腔内領域の全画素に対して行うことで、後述する第２判別処理及び第３判別処理にて用いる最終的な出力画像を出力する。なお、出力画像は、判別対象となる青色光照射画像のうちの一部の画像である。

【0086】

次に、判別処理部３５４は、第１判別処理及び第２判別処理を実行する。第１判別処理では、判別処理部３５４は、生成した空間周波数スペクトルを示すデータを入力データとして推定されるラベルデータの確率を、第１判別モデルＭ１を用いて算出する。そして、判別処理部３５４は、算出したラベルデータの確率に基づいて、「空間周波数スペクトルに対応する青色光照射画像（取得された青色光照射画像）が口腔内腫瘍を含む画像である」又は「空間周波数スペクトルに対応する青色光照射画像が口腔内腫瘍を含まない画像である」のいずれか一方を判別する。例えば、判別処理部３５４は、「青色光照射画像が口腔内腫瘍を含む画像であること」を示すラベルデータの確率として８２％を算出し、「青色光照射画像が口腔内腫瘍を含まない画像であること」を示すラベルデータの確率として１８％を算出した場合、「青色光照射画像が口腔内腫瘍を含む画像である」と判別する。

【0087】

第２判別処理では、判別処理部３５４は、出力画像（青色光照射画像のうちの一部の画像）の画像データを入力データとして推定されるラベルデータの確率を、第２判別モデルＭ２を用いて算出する。そして、判別処理部３５４は、算出したラベルデータの確率に基づいて、「青色光照射画像が口腔内腫瘍を含む画像である」及び「青色光照射画像が口腔内腫瘍を含まない画像である」のいずれか一方を判別する。

【0088】

次に、判別処理部３５４は、第１判別処理及び第２判別処理の判別結果がともに「青色光照射画像が口腔内腫瘍を含まない画像である」という結果か否かを判定する。第１判別処理及び第２判別処理の判別結果がともに「青色光照射画像が口腔内腫瘍を含まない画像である」という結果である場合、判別処理部３５４は、当該判別結果を出力処理部３５５に送信する。そして、出力処理部３５５は、第１判別処理及び第２判別処理の判別結果がともに「青色光照射画像が口腔内腫瘍を含まない画像である」という結果を取得すると、健常情報を出力する。健常情報は、取得された青色光照射画像が撮影された患者の口腔内に口腔内腫瘍が存在しないことを示す情報である。また、健常情報の出力は、表示部３３への健常情報の表示、及び／又は、他装置への健常情報の送信等である。

【0089】

第１判別処理及び第２判別処理の判別結果がともに「青色光照射画像が口腔内腫瘍を含まない画像である」という結果でない場合（第１判別処理の判定結果及び第２判別処理の判定結果の少なくとも一方が「青色光照射画像が口腔内腫瘍を含む画像である」という結果である場合）、判別処理部３５４は、第３判別処理を実行する。

【0090】

第３判別処理では、判別処理部３５４は、出力画像（青色光照射画像のうちの一部の画像）の画像データを入力データとして推定されるラベルデータの確率を、第３判別モデルＭ３を用いて算出する。そして、判別処理部３５４は、算出したラベルデータの確率に基づいて、「青色光照射画像が悪性の口腔内腫瘍を含む画像である」、「青色光照射画像が良性の口腔内腫瘍を含む画像である」及び「青色光照射画像が口腔内腫瘍を含まない画像である」のいずれかを判別する。例えば、判別処理部３５４は、「青色光照射画像が悪性の口腔内腫瘍を含む画像であること」を示すラベルデータの確率が６８％と算出し、「青色光照射画像が良性の口腔内腫瘍を含む画像であること」を示すラベルデータの確率が２３％と算出し、「青色光照射画像が口腔内腫瘍を含まない画像であること」を示すラベルデータの確率が９％と算出した場合、「青色光照射画像が悪性の口腔内腫瘍を含む画像である」と判別する。

【0091】

次に、判別処理部３５４は、第３判別処理の判別結果を出力処理部３５５に送信する。出力処理部３５５は、第３判別処理の判別結果が「青色光照射画像が悪性の口腔内腫瘍を含む画像である」という結果を取得すると、悪性腫瘍情報を出力する。出力処理部３５５は、第３判別処理の判別結果が「青色光照射画像が良性の口腔内腫瘍を含む画像である」という結果を取得すると、良性腫瘍情報を出力する。出力処理部３５５は、第３判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含まない画像である」という結果を取得すると、健常情報を出力する。なお、悪性腫瘍情報は、取得された青色光照射画像が撮影された患者の口腔内に悪性の口腔内腫瘍が存在することを示す情報である。また、良性腫瘍情報は、取得された青色光照射画像が撮影された患者の口腔内に良性の口腔内腫瘍が存在することを示す情報である。また、悪性腫瘍情報の出力は、表示部３３への悪性腫瘍情報の表示、及び／又は、他装置への悪性腫瘍情報の送信等であり、良性腫瘍情報の出力は、表示部３３への良性腫瘍情報の表示、及び／又は、他装置への良性腫瘍情報の送信等である。

【0092】

図９は、変換処理部３５２、判別処理部３５４及び出力処理部３５５による判別処理の動作フローの一例を示す図である。

【0093】

まず、変換処理部３５２は、青色光照射画像の画像データが端末装置２から取得された場合、取得された青色光照射画像の画像データをフーリエ変換することにより、空間周波数スペクトルを生成する（ステップＳ１０１）。

【0094】

次に、判別処理部３５４は、第１判別処理を実行する（ステップＳ１０２）。

【0095】

次に、判別処理部３５４は、第１判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含む画像である」という結果であるか否かを判定する（ステップＳ１０３）。

【0096】

第１判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含む画像である」という結果である場合（ステップＳ１０３－Ｙｅｓ）、判別処理部３５４は、処理をステップＳ１０６に進める。

【0097】

第１判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含まない画像である」という結果である場合（ステップＳ１０３－Ｎｏ）、判別処理部３５４は、第２判別処理を実行する（ステップＳ１０４）

【0098】

次に、判別処理部３５４は、第２判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含む画像である」という結果であるか否かを判定する（ステップＳ１０５）。

【0099】

第１判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含む画像である」という結果である場合（ステップＳ１０５－Ｙｅｓ）、判別処理部３５４は、処理をステップＳ１０６に進める。

【0100】

第１判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含まない画像である」という結果である場合（ステップＳ１０５－Ｎｏ）、判別処理部３５４は、処理をステップＳ１１１に進める。

【0101】

ステップＳ１０６では、判別処理部３５４は、第３判別処理を実行する。

【0102】

次に、判別処理部３５４は、第３判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含む画像である」という結果であるか否かを判定する（ステップＳ１０７）。

【0103】

第３判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含まない画像である」という結果である場合（ステップＳ１０７－Ｎｏ）、判別処理部３５４は、処理をステップＳ１１１に進める。

【0104】

第３判別処理の判別結果が「青色光照射画像が口腔内腫瘍を含む画像である」という結果である場合（ステップＳ１０７－Ｙｅｓ）、第３判別処理の判別結果が「青色光照射画像が悪性の口腔内腫瘍を含む画像である」という結果であるか否かを判定する（ステップＳ１０８）。

【0105】

第３判別処理の判別結果が「青色光照射画像が悪性の口腔内腫瘍を含む画像である」という結果である場合（ステップＳ１０８－Ｙｅｓ）、出力処理部３５５は、悪性腫瘍情報を出力し（ステップＳ１０９）、判別処理を終了する。

【0106】

第３判別処理の判別結果が「青色光照射画像が良性の口腔内腫瘍を含む画像である」という結果である場合（ステップＳ１０８－Ｎｏ）、出力処理部３５５は、良性腫瘍情報を出力し（ステップＳ１１０）、判別処理を終了する。

【0107】

ステップＳ１１１では、出力処理部３５５は、健常情報を出力して判別処理を終了する。

【0108】

以上、詳述したとおり、本実施形態の判別システム１は、青色光照射画像を教師データとして学習済みの第２及び第３判別モデルを用いた第２及び第３判別処理を実行するとともに、口腔内の腫瘍の粘膜表面及び口腔内の健常組織の粘膜表面における青色光照射画像での輝度の違いに着目した第１判別モデルを用いた第１判別処理を実行する。これにより、本実施形態の判別システム１において、熟練した専門医の知見を効果的に判別処理に適用することができ、精度の高い口腔内腫瘍の判別を実現することが可能となる。

【0109】

また、本実施形態の判別システム１では、それぞれが異なる第１、第２及び第３判別モデルを用いた第１、第２及び第３判別処理を段階的に実行することで、青色光照射画像を悪性腫瘍、良性腫瘍及び健常に分類する。このため、本実施形態の判別システム１では、第２及び第３判別モデルの教師データの数が十分でなくとも、１種類の判別モデルのみで分類する場合に比べ、より精度の高い判別処理が可能となる。また、第２及び第３判別モデルの教師データとして、１種類の画像データから画像処理（分割、回転、及び／又は反転処理）した複数種類の画像データを用いることで、青色光照射画像の入手が困難であっても判別処理の精度を向上させることが可能となる。このように、判別モデルに用いる教師データの数を低減させることができ、判別装置３の処理負荷及び／又は端末装置２と判別装置３との間の通信負荷を軽減させ、判別装置３の処理リソースを過度に消費することなく、精度の高い口腔内腫瘍の判別を実現することが可能となる。

【0110】

（変形例１）
なお、本発明は、本実施形態に限定されるものではない。例えば、判別装置３を使用せずに、端末装置２に、判別装置３の変換機能、学習機能、判別機能及び出力機能を備えさせた判別端末装置４が用いられてもよい。

【0111】

図１０は、判別端末装置４の概略構成の一例を示す図である。判別端末装置４は、判別装置３の変換機能、学習機能、判別機能及び出力機能を備える端末装置２である。なお、図１０において、図２及び図４と同じ構成については同じ符号を付し、その説明を省略する。

【0112】

判別端末装置４の変換処理部３５２、学習処理部３５３及び判別処理部３５４は、端末記憶部２２に記憶された青色光照射画像（撮影制御部２７２によって記憶された青色光照射画像）を用いて、それぞれ変換処理、学習処理及び判別処理を実行する。

【0113】

また、出力処理部３５５は、判別結果（健常情報、悪性腫瘍情報、良性腫瘍情報）を、端末表示部２３に表示出力する。

【0114】

このように、判別端末装置４では、１台の装置によって、青色光照射画像の撮影処理、判別処理、及び判別結果の表示が実行されるため、他の装置へのデータの送信処理が不要となるとともに、ユーザは青色光照射画像の撮影後に即座に判別結果を確認することができる。このように、判別端末装置４によって、口腔内腫瘍の判別精度の向上及びスクリーニングに係る時間の短縮が可能となる。

【0115】

（変形例２）
第１判別処理において用いられる第１判別モデルは、サポートベクターマシン（Support Vector Machine，SVM）等であってもよい。この場合、周波数スペクトルが特徴量として用いられ、「青色光照射画像」が、「口腔内腫瘍を含む画像である」及び「口腔内腫瘍を含まない画像である」のいずれかに分類される。

【符号の説明】

【0116】

１ 判別システム
２ 端末装置
２１ 端末通信部
２２ 端末記憶部
２３ 端末表示部
２４ 端末操作部
２５ 照射部
２６ 撮影部
２７ 端末制御部
２７１ 照射制御部
２７２ 撮影制御部
２７３ 送信制御部
３ 判別装置
３１ 通信部
３２ 記憶部
３３ 表示部
３４ 操作部
３５ 処理部
３５１ 受信処理部
３５２ 変換処理部
３５３ 学習処理部
３５４ 判別処理部
３５５ 出力処理部
４ 判別端末装置
Ｍ１ 第１判別モデル
Ｍ２ 第２判別モデル
Ｍ３ 第３判別モデル
ＴＤ 教師データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】