特開 2024-107095 推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024107095

(43)【公開日】2024-08-08

(54)【発明の名称】推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240801BHJP

   G16H 50/20 20180101ALI20240801BHJP

   A61B 1/24 20060101ALI20240801BHJP

【ＦＩ】

A61B1/045 618

G16H50/20

A61B1/24

A61B1/045 614

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024090826

(22)【出願日】2024-06-04

(62)【分割の表示】P 2020567715の分割

【原出願日】2020-01-24

(31)【優先権主張番号】PCT/JP2019/002196

(32)【優先日】2019-01-24

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 平成３０年 １月２５日に、第３６回日本口腔腫瘍学会総会・学術大会にて公開 ［刊行物等］ 平成３０年 ２月１２日に、読売新聞 朝刊２８面、朝刊３２面にて公開 ［刊行物等］ 平成３０年 ２月１３日に、株式会社読売新聞のウェブサイトにて公開 （ｈｔｔｐｓ：／／ｙｏｍｉｄｒ．ｙｏｍｉｕｒｉ．ｃｏ．ｊｐ／ａｒｔｉｃｌｅ／２０１８０２１３－ＯＹＴＥＴ５００００／） ［刊行物等］ 平成３０年 ２月１３日に、やまもと歯科医院のウェブサイトにて公開（ｈｔｔｐｓ：／／ｙａｍａｍｏｔｏ－ｄｃ．ｃｏｍ／ｂｌｏｇ／１７６８／） ［刊行物等］ 平成３０年 ２月２０日に、日本電気株式会社のウェブサイトにて公開 （ｈｔｔｐｓ：／／ｊｐｎ．ｎｅｃ．ｃｏｍ／ｐｒｅｓｓ／２０１８０２／２０１８０２２０＿０１．ｈｔｍｌ） ［刊行物等］ 平成３０年 ２月２１日に、合同会社ソシオタンクが運営するＭｅｄ ＩＴ Ｔｅｃｈのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｍｅｄｉｔ．ｔｅｃｈ／ｏｓａｋａ－ｕｎｉｖｅｒｓｉｔｙ－ａｎｄ－ｎｅｃ－ａｎｎｏｕｎｃｅｄ－ｓｍａｒｔ－ｏｒａｌ－ｈｅａｌｔｈ－ｃａｒｅ－ｗｉｔｈ－ｔｈｒｅｅ－ａｉ／） ［刊行物等］ 平成３０年 ３月 ９日に、Ｓ２ＤＨ／キックオフシンポジウム／プログラムにて公開 ［刊行物等］ 平成３０年１１月 ３日に、第６３回公益社団法人日本口腔外科学会総会・学術大会にて公開

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】平岡 慎一郎

(57)【要約】

【課題】推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラムの提供。
【解決手段】被検者の口腔内を撮像して得られる口腔画像を取得する取得部と、口腔画像の入力に対して口腔粘膜における病変に関する情報を出力するように構成された学習モデルを用いて、取得部が取得した口腔画像から、被検者の口腔粘膜における病変の有無を推定する推定部と、推定部の推定結果を出力する出力部とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

被検者の口腔内を撮像して得られる口腔画像を取得する取得部と、
口腔画像の入力に対して口腔粘膜における病変に関する情報を出力するように構成された学習モデルを用いて、前記取得部が取得した口腔画像から、被検者の口腔粘膜における病変の有無を推定する推定部と、
該推定部の推定結果を出力する出力部と
を備える推定装置。

【請求項2】

前記口腔画像から前記被検者の口腔粘膜に対応する領域を抽出する領域抽出部
を更に備え、
前記推定部は、前記領域抽出部が抽出した領域の口腔画像から、前記被検者の口腔粘膜における病変の有無を推定する
請求項１に記載の推定装置。

【請求項3】

前記口腔画像に前処理を施す画像処理部
を更に備え、
前記推定部は、前記画像処理部により前処理が施された口腔画像を前記学習モデルに入力する
請求項１又は請求項２に記載の推定装置。

【請求項4】

前記口腔画像は、上皮細胞核の形状を観察できる程度に観察対象部位を拡大して撮像される拡大画像である
請求項１に記載の推定装置。

【請求項5】

前記観察対象部位に応じて個別に学習された学習モデルを設定してある
請求項４に記載の推定装置。

【請求項6】

前記推定結果は、口腔内の病変部の位置を示す情報を含み、
前記観察対象部位を撮像する際、前記出力部は、事前に推定された前記病変部の位置を示す情報を出力する
請求項４又は請求項５に記載の推定装置。

【請求項7】

前記推定部は、口腔悪性腫瘍、前癌病変、良性腫瘍、外傷性潰瘍、炎症性疾患、ウイルス性疾患、真菌感染症、自己免疫疾患、口内炎、口角炎、褥瘡性潰瘍、舌表面粘膜の器質的変化、又は移植片対宿主病に属する少なくとも１つの病変の有無を推定する
請求項１から請求項６の何れか１つに記載の推定装置。

【請求項8】

前記学習モデルは、口腔画像と、該口腔画像に対するアノテーションとを教師データに用いて、前記口腔画像と前記病変に関する情報との関係を学習した学習モデルである
請求項１から請求項７の何れか１つに記載の推定装置。

【請求項9】

前記学習モデルは、畳み込みニューラルネットワークを用いて学習した学習モデルである
請求項１から請求項８の何れか１つに記載の推定装置。

【請求項10】

被検者の口腔内を撮像して得られる口腔画像が入力される入力層、
口腔粘膜における病変に関する情報を出力する出力層、及び
口腔画像と該口腔画像に対するアノテーションとを教師データに用いて、前記入力層に入力される口腔画像と前記出力層が出力する情報との関係を学習した中間層
を備え、
前記入力層に口腔画像が入力された場合、前記中間層にて演算し、口腔粘膜における病変に関する情報を前記出力層から出力するようコンピュータを機能させる
学習モデル。

【請求項11】

コンピュータを用いて、
被検者の口腔内を撮像して得られる口腔画像と、該口腔画像に対するアノテーションとを含む教師データを取得し、
取得した教師データに基づき、口腔画像の入力に対して口腔粘膜における病変に関する情報を出力する学習モデルを生成する
学習モデルの生成方法。

【請求項12】

コンピュータに、
被検者の口腔内を撮像して得られる口腔画像を取得し、
口腔画像の入力に対して口腔粘膜における病変に関する情報を出力するように構成された学習モデルを用いて、取得した口腔画像から、口腔粘膜における病変の有無を推定し、
推定結果を出力する
処理を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

口腔粘膜疾患には、口腔悪性腫瘍、口内炎等の様々なものがあるが、診断に苦慮することが多い。特に、初期の口腔悪性腫瘍については、口内炎に似た臨床所見を呈することも多く、専門外の医療従事者による見落としも多く経験する。口腔悪性腫瘍については、現在多くの施設で原因遺伝子や予後因子についての研究が進められており、発明者らも口腔悪性腫瘍の病理学的予後予測因子について報告している（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Al-Shareef H, Hiraoka S, et al. ONCOLOGY REPORTS:2016

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、他領域に比較して口腔領域は研究が遅れており、実用化できる簡便な診断支援システム確立の目処は立っていない。

【0005】

本発明は、口腔粘膜における病変を推定できる推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る推定装置は、被検者の口腔内を撮像して得られる口腔画像を取得する取得部と、口腔画像の入力に対して口腔粘膜における病変に関する情報を出力するように構成された学習モデルを用いて、前記取得部が取得した口腔画像から、被検者の口腔粘膜における病変の有無を推定する推定部と、該推定部の推定結果を出力する出力部とを備える。

【0007】

本発明の一態様に係る学習モデルは、被検者の口腔内を撮像して得られる口腔画像が入力される入力層、口腔粘膜における病変に関する情報を出力する出力層、及び口腔画像と該口腔画像に対するアノテーションとを訓練データに用いて、前記入力層に入力される口腔画像と前記出力層が出力する情報との関係を学習した中間層を備え、前記入力層に口腔画像が入力された場合、前記中間層にて演算し、口腔粘膜における病変に関する情報を前記出力層から出力するようコンピュータを機能させる。

【0008】

本発明の一態様に係る学習モデルの生成方法は、コンピュータを用いて、被検者の口腔内を撮像して得られる口腔画像と、該口腔画像に対するアノテーションとを含む訓練データを取得し、取得した訓練データに基づき、口腔画像の入力に対して口腔粘膜における病変に関する情報を出力する学習モデルを生成する。

【0009】

本発明の一態様に係るコンピュータプログラムは、コンピュータに、被検者の口腔内を撮像して得られる口腔画像を取得し、口腔画像の入力に対して口腔粘膜における病変に関する情報を出力するように構成された学習モデルを用いて、取得した口腔画像から、口腔粘膜における病変の有無を推定し、推定結果を出力する処理を実行させるためのコンピュータプログラムである。

【発明の効果】

【0010】

本願によれば、口腔粘膜における病変を推定できる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る推定装置の構成を説明するブロック図である。

【図2】口腔画像の一例を示す模式図である。

【図3】学習モデルの構成例を示す模式図である。

【図4】実施の形態１に係る推定装置が実行する処理の手順を説明するフローチャートである。

【図5】推定装置の出力例を示す模式図である。

【図6】実施の形態２に係る推定装置１が実行する処理の手順を説明するフローチャートである。

【図7】実施の形態３に係る推定装置の構成を説明するブロック図である。

【図8】抽出例を示す模式図である。

【図9】実施の形態３に係る推定装置が実行する処理の手順を説明するフローチャートである。

【図10】サーバ装置の構成を説明するブロック図である。

【図11】口腔画像データベースの一例を示す概念図である。

【図12】学習モデルの生成手順を説明するフローチャートである。

【図13】実施の形態５に係る推定装置の構成を説明するブロック図である。

【図14】拡大画像の一例を示す模式図である。

【図15】学習モデルの構成例を示す模式図である。

【図16】実施の形態５における口腔画像データベースの一例を示す概念図である。

【図17】学習モデルの生成手順を説明するフローチャートである。

【図18】学習モデルを用いた推定手順を示すフローチャートである。

【図19】観察部位の提示例を示す模式図である。

【図20】対象部位の指定を受付けるインタフェース画面の一例を示す模式図である。

【発明を実施するための形態】

【0012】

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は実施の形態１に係る推定装置１の構成を説明するブロック図である。推定装置１は、病院等の施設に設置されるコンピュータ装置であり、被検者の口腔内を撮像して得られる口腔画像から、被検者の口腔粘膜における病変の有無を推定する。推定装置１は、診断者である医師等に推定結果を提示することによって診断支援を行う。

【0013】

推定装置１は、入力部１１、制御部１２、記憶部１３、出力部１４、通信部１５、及び操作部１６を備える。

【0014】

入力部１１は、口腔画像の画像データが入力される入力インタフェースを備える。入力インタフェースは、例えば、被検者の口腔内を撮像するための撮像装置を接続するインタフェースである。撮像装置は、デジタルカメラ又はデジタルビデオカメラであり、例えば、各画素がＲＧＢの階調値により表現される画像データを出力する。入力部１１は、入力インタフェースに接続された撮像装置から口腔画像の画像データを取得する。入力インタフェースは、撮像済みの画像データが記録されている記録媒体にアクセスするためのインタフェースであってもよい。入力部１１は、記録媒体に記録されている画像データを読み出すことによって、口腔画像に係る画像データを取得する。入力部１１が取得した画像データは、制御部１２へ出力され、制御部１２を介して記憶部１３に記憶される。

【0015】

制御部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１２が備えるＲＯＭには、推定装置１が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１２内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部１３に記憶された各種コンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、口腔画像から口腔粘膜における病変の有無を推定する機能を実現する。制御部１２が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。

【0016】

制御部１２は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部１２は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

【0017】

記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read Only Memory）などの記憶装置を備える。記憶部１３には、制御部１２によって実行されるコンピュータプログラム、口腔粘膜における病変の有無を推定する処理に用いられる学習モデル１３０等が記憶される。

【0018】

記憶部１３に記憶されるコンピュータプログラムは、取得した口腔画像から、学習モデル１３０を用いて、口腔粘膜における病変の有無を推定する処理を推定装置１に実行させるための推定処理プログラムＰ１を含む。

【0019】

記憶部１３に記憶されるコンピュータプログラムは、このコンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍ１により提供されてもよい。記録媒体Ｍ１は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部１２は、例えば入力部１１を通じて、記録媒体Ｍ１から各種プログラムを読み取り、読み取った各種プログラムを記憶部１３にインストールする。

【0020】

学習モデル１３０は、口腔画像の入力に対して口腔粘膜における病変に関する情報を出力するように構成された学習モデルである。学習モデル１３０は、その定義情報によって記述される。学習モデル１３０の定義情報は、学習モデル１３０の構造情報、学習モデル１３０で用いられるノード間の重み及びバイアスなどの各種パラメータ等を含む。本実施の形態では、口腔画像と、この口腔画像に対するアノテーションとを訓練データに用いて、所定の学習アルゴリズムによって予め学習された学習モデル１３０が記憶部１３に記憶される。

【0021】

制御部１２は、記憶部１３に記憶されている推定処理プログラムＰ１を実行し、口腔画像の画像データを学習モデル１３０に与えることによって、学習モデル１３０から病変に関する情報を取得する。制御部１２は、学習モデル１３０から取得した病変に関する情報を基に口腔粘膜における病変の有無を推定する。

【0022】

出力部１４は、出力装置を接続する出力インタフェースを備える。出力装置の一例は、液晶パネル又は有機ＥＬ（Electro-Luminescence）パネル等を備えた表示装置１４０である。制御部１２は、推定結果を出力する際、表示装置１４０に表示させる表示データを生成し、生成した表示データを出力部１４を通じて表示装置１４０へ出力することによって、表示装置１４０に推定結果を表示させる。

【0023】

通信部１５は、各種データを送受信する通信インタフェースを備える。通信部１５が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部１５は、送信すべきデータが制御部１２から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部１５は、外部装置から送信されたデータを受信した場合、受信したデータを制御部１２へ出力する。

【0024】

操作部１６は、各種操作ボタン、スイッチ、タッチパネル等の入力インタフェースを備えており、各種の操作情報及び設定情報を受付ける。制御部１２は、操作部１６から入力される操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１３に記憶させる。

【0025】

次に、推定装置１に入力される口腔画像について説明する。
図２は口腔画像の一例を示す模式図である。本実施の形態における口腔画像は、被検者の口腔内を撮像装置により撮像して得られる画像である。図２の例では、被検者の舌の左側面を含むように撮像した口腔画像を示している。

【0026】

本実施の形態では、口腔粘膜の少なくとも一部が口腔画像に含まれていればよい。口腔粘膜は、被検者の舌、上唇、硬口蓋、軟口蓋、口蓋垂、口蓋扁桃、頬粘膜、口腔底、歯肉、及び下唇の少なくとも一部を含む。また、口腔画像には、被検者の歯、撮像者の指、その他の構造物等の口腔粘膜以外のものが含まれていてもよい。

【0027】

次に、推定装置１において用いられる学習モデル１３０について説明する。
図３は学習モデル１３０の構成例を示す模式図である。学習モデル１３０は、例えば、ＣＮＮ（Convolutional Neural Networks）による学習モデルであり、入力層１３１、中間層１３２、及び、出力層１３３を備える。学習モデル１３０は、口腔画像の入力に対して、口腔粘膜における病変に関する情報を出力するように予め学習される。

【0028】

入力層１３１には、口腔画像の画像データが入力される。入力層１３１に入力された口腔画像の画像データは、中間層１３２へ送出される。

【0029】

中間層１３２は、例えば、畳み込み層１３２ａ、プーリング層１３２ｂ、及び全結合層１３２ｃにより構成される。畳み込み層１３２ａ及びプーリング層１３２ｂは交互に複数設けられてもよい。畳み込み層１３２ａ及びプーリング層１３２ｂは、各層のノードを用いた演算によって、入力層１３１を通じて入力される口腔画像の特徴を抽出する。全結合層１３２ｃは、畳み込み層１３２ａ及びプーリング層１３２ｂによって特徴部分が抽出されたデータを１つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層１３２ｃを通じて出力層１３３へ出力される。

【0030】

出力層１３３は、１つ又は複数のノードを備える。出力層１３３は、中間層１３２の全結合層１３２ｃから入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、口腔画像が各カテゴリに該当する確率を各ノードから出力する。すなわち、本実施の形態では、病変に関する情報として口腔画像が各カテゴリに属する確立を出力する。口腔画像を分類するカテゴリは、口腔悪性腫瘍、前癌病変、良性腫瘍、外傷性潰瘍、炎症性疾患、ウイルス性疾患、真菌感染症、自己免疫疾患、口内炎、口角炎、褥瘡性潰瘍、舌表面粘膜の器質的変化、又は移植片対宿主病に属する少なくとも１つの病変を含むように任意に設定することができる。例えば、分類するカテゴリは、口腔悪性腫瘍に属する口腔癌及び口腔肉腫、前癌病変に属する白板症、紅班症、及び扁平苔癬、炎症性疾患に属する歯肉炎、歯周炎、顎炎、顎骨骨髄炎、及び薬剤性顎骨壊死、ウイルス性疾患に属するヘルペス、帯状疱疹、ヘルパンギーナ、及び手足口病、真菌感染症に属する口腔カンジダ症、自己免疫疾患に属する天疱瘡、類天疱瘡、及びＢｅｈｃｅｔ病、並びに、舌表面粘膜の器質的変化に属する地図状舌、溝状舌、黒毛舌、及び正中菱形舌炎の少なくとも１つを含んでもよい。更に、分類するカテゴリは、病変に属さない色素沈着を含んでもよく、病変及び色素沈着に属さない正常状態を含んでもよい。

【0031】

図３の例は、口腔画像を分類するカテゴリとして、ｎ個のカテゴリを設定した学習モデル１３０を示している。この学習モデル１３０は、出力層１３３の各ノードから、口腔悪性腫瘍である確率Ｘ１，白板症である確率Ｘ２，扁平苔癬である確率Ｘ３，…，正常である確率Ｘｎを出力するように構成されている。なお、設定するカテゴリの数（＝ｎ）は、１個であってもよく、複数個であってもよい。

【0032】

推定装置１の制御部１２は、学習モデル１３０の出力層１３３から、分類すべきカテゴリとして設定された病変のそれぞれについての確率を取得し、取得した確率に基づき、口腔粘膜における病変の有無を推定する。例えば、口腔悪性腫瘍である確率Ｘ１のみが閾値（例えば８０％）を超える場合、制御部１２は、被検者の口腔内に悪性腫瘍が発症していると推定することができる。確率Ｘ２，Ｘ３，…，Ｘｎ－１の何れか１つが閾値を超える場合についても同様である。一方、確率Ｘ１，Ｘ２，…，Ｘｎ－１の何れも閾値を超えない場合、若しくは、正常であることを示す確率Ｘｎが閾値を超える場合、制御部１２は、被検者の口腔内に病変が存在しないと推定できる。

【0033】

なお、図３の例ではＣＮＮによる学習モデル１３０を示したが、学習モデル１３０を構築する機械学習のモデルは任意に設定することができる。例えば、ＣＮＮに代えて、Ｒ－ＣＮＮ（Region-based CNN）、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Detector）等に基づく学習モデルを設定してもよい。また、Ｕ－Ｎｅｔなどのアルゴリズムを利用して、病変と推定した領域の情報を出力してもよい。

【0034】

図４は実施の形態１に係る推定装置１が実行する処理の手順を説明するフローチャートである。推定装置１の制御部１２は、記憶部１３に記憶されている推定処理プログラムＰ１を実行することにより、以下の推定処理を実行する。

【0035】

制御部１２は、入力部１１を通じて口腔画像を取得し（ステップＳ１０１）、取得した口腔画像を学習モデル１３０の入力層１３１に与えることによって、学習モデル１３０を用いた演算を実行する（ステップＳ１０２）。学習モデル１３０の入力層１３１に与えられた口腔画像の画像データは中間層１３２へ送出される。中間層１３２では、ノード間の重み及びバイアスを含む活性化関数を用いた演算が実行される。中間層１３２の畳み込み層１３２ａ及びプーリング層１３２ｂでは画像の特徴が抽出される。畳み込み層１３２ａ及びプーリング層１３２ｂによって抽出された特徴部分のデータは、全結合層１３２ｃの構成する各ノードに結合され、活性化関数によって特徴変数に変換される。変換された特徴変数は、全結合層１３２ｃを通じて出力層１３３へ出力される。出力層１３３は、中間層１３２の全結合層１３２ｃから入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、各カテゴリに属する確率を各ノードから出力する。

【0036】

制御部１２は、学習モデル１３０から演算結果を取得し、取得した演算結果を基に口腔粘膜における病変の有無を推定する（ステップＳ１０３）。上述したように、学習モデル１３０の出力層１３３を構成する各ノードからは、分類すべきカテゴリとして設定された病変のそれぞれについての確率が出力される。制御部１２は、出力層１３３の各ノードから出力される確率に基づき、病変の有無を推定できる。

【0037】

制御部１２は、出力部１４を通じて、推定結果を出力する（ステップＳ１０４）。具体的には、制御部１２は、推定結果を表示装置１４０に表示させるための表示データを生成し、生成した表示データを表示装置１４０へ出力することによって、推定結果を表示装置１４０に表示させる。推定結果の表示態様は任意に設定することができる。例えば、制御部１２は、特定の病変（例えば口腔悪性腫瘍）の有無を表す文字又は図形を含んだ表示データを生成して表示装置１４０へ出力し、表示装置１４０において特定の病変の有無を文字又は図形により表示してもよい。また、制御部１２は、各病変に該当する確率の値を含んだ表示データを生成して表示装置１４０へ出力し、表示装置１４０において各病変に該当する確率の値を数字情報として表示してもよい。

【0038】

図５は推定装置１の出力例を示す模式図である。図５の例では、被検者を識別する被検者ＩＤ、被検者の氏名、推定処理に用いた口腔画像、各カテゴリに該当する確率、及び推定結果を示す文字情報を表示装置１４０に表示させた状態を示している。また、学習モデル１３０を用いて、口腔画像内の病変部の位置を特定し、特定した病変部の位置の情報を併せて表示してもよい。

【0039】

以上のように、本実施の形態では、深層学習を含む機械学習の学習モデル１３０を用いて口腔粘膜における病変の有無を推定し、推定結果を出力するので、推定結果を診断支援に用いることによって、病変の見落としが発生する可能性を低減できる。

【0040】

なお、本実施の形態では、推定装置１を病院等の施設に設置されるコンピュータ装置として説明したが、推定装置１を病院等の施設に設置されるコンピュータ装置から通信によってアクセス可能なサーバ装置としてもよい。この場合、推定装置１は、病院等のコンピュータ装置から、被検者の口腔内を撮像した口腔画像を通信により取得し、取得した口腔画像に基づき、口腔粘膜における病変の有無を推定する。推定装置１は、推定結果を通信により病院等のコンピュータ装置へ送信する。コンピュータ装置は、推定装置１から受信した推定結果を表示装置に表示することによって、医師等に対する診断支援を行う。

【0041】

（実施の形態２）
実施の形態２では、学習モデル１３０を用いた演算を実行する前に、口腔画像に対して前処理を施す構成について説明する。

【0042】

図６は実施の形態２に係る推定装置１が実行する処理の手順を説明するフローチャートである。推定装置１の制御部１２は、記憶部１３に記憶されている推定処理プログラムＰ１を実行することにより、以下の推定処理を実行する。

【0043】

制御部１２は、入力部１１を通じて口腔画像を取得し（ステップＳ２０１）、取得した口腔画像に対して前処理を施す（ステップＳ２０２）。制御部１２は、口腔画像に対する前処理として、例えばガンマ補正を施すことが可能である。すなわち、補正前の各画素における輝度値をｘ、補正後の各画素における輝度値をｙ、ガンマ値をγとして、制御部１２は、補正後の各画素の輝度値ｙ＝ｘ^1/γ により計算する。撮像装置を用いて口腔内を撮像する際、ストロボ光等のように発光時間が短く、かつ、強い光を照射する場合がある。この場合、口腔画像の全体が不必要に明るくなり（白っぽくなり）、またストロボ光等が口腔内の粘膜により反射されて、明るい部分の階調が失われる現象（白飛び）も発生するため、病変部を的確に判別することが困難となる可能性がある。一方、ガンマ値を例えば０．２未満の小さな値に設定すると、画像全体が暗くなり過ぎて病変部を見出すことが困難となる。このため、ガンマ値は、０．２以上、１．０未満の値に設定することが好ましい。なお、制御部１２は、補正前の口腔画像に関して各画素の輝度値を統計的に解析し、例えば輝度値の中央値に基づきガンマ値を設定してもよい。また、制御部１２は、口腔内を撮像する際に用いた撮像装置やストロボ等の機種情報を取得し、取得した機種情報に応じて設定してもよい。後者の場合、撮像装置の機種情報とガンマ値との対応関係を定めたテーブルを記憶部１３に用意しておき、このテーブルを参照してガンマ値を決定すればよい。

【0044】

また、口腔画像に対する前処理としてレベル補正を行ってもよい。補正対象の口腔画像が、例えば、０～２５５の入力レベルのうち、１００～２４０の範囲にヒストグラムの山がある画像である場合、シャドウポイントをそのヒストグラムの山の内側（例えば１１０）に変更する補正を行えばよい。このような前処理により、ストロボ光等の影響により全体的に白っぽく撮像された画像の階調値を補正することができ、補正後の口腔画像を用いることにより、病変部を良好に判別することが可能となる。なお、ハイライトポイントについては補正を行わなくてもよい。

【0045】

制御部１２は、前処理を施した口腔画像を学習モデル１３０の入力層１３１に与えることによって、学習モデル１３０による演算を実行する（ステップＳ２０３）。すなわち、制御部１２は、実施の形態１と同様に、学習モデル１３０を構成する入力層１３１、中間層１３２、及び出力層１３３の各ノードにおいて、重み及びバイアスを用いた演算を実行する。

【0046】

制御部１２は、学習モデル１３０から演算結果を取得し、取得した演算結果を基に口腔粘膜における病変の有無を推定する（ステップＳ２０４）。学習モデル１３０の出力層１３３を構成する各ノードからは、分類すべきカテゴリとして設定された病変のそれぞれについての確率が出力される。制御部１２は、出力層１３３の各ノードから出力される確率に基づき、病変の有無を推定する。

【0047】

制御部１２は、出力部１４を通じて、推定結果を出力する（ステップＳ２０５）。具体的には、制御部１２は、推定結果を表示装置１４０に表示させるための表示データを生成し、生成した表示データを表示装置１４０へ出力することにより、推定結果を表示装置１４０に表示させる。推定結果の表示態様は実施の形態１と同様である。

【0048】

なお、本実施の形態では、口腔画像の前処理としてガンマ補正を行う構成について説明したが、ガンマ補正に限らず、予め設定したトーンカーブに従って、輝度補正を行う構成としてもよい。また、輝度補正に限らず、コントラスト補正、彩度補正などの前処理を行ってもよい。

【0049】

（実施の形態３）
実施の形態３では、推定装置１において、口腔画像から口腔粘膜に対応する領域を抽出し、抽出した領域の口腔画像から、口腔粘膜における病変の有無を推定する構成について説明する。

【0050】

図７は実施の形態３に係る推定装置１の構成を説明するブロック図である。推定装置１は、入力部１１、制御部１２、記憶部１３、出力部１４、通信部１５、及び操作部１６を備える。これらの構成は、実施の形態１と同様であるため、その詳細な説明を省略することとする。

【0051】

記憶部１３には、前述の学習モデル１３０及び推定処理プログラムＰ１に加え、領域抽出プログラムＰ２が記憶される。領域抽出プログラムＰ２は、口腔画像から、被検者の口腔粘膜に対応する領域を抽出する処理を推定装置１に実行させるためのコンピュータプログラムである。領域抽出プログラムＰ２には、公知の領域抽出アルゴリズムが用いられる。

【0052】

領域抽出アルゴリズムの一例はＧｒａｂＣｕｔアルゴリズムである。ＧｒａｂＣｕｔアルゴリズムでは、混合正規分布モデル（GMM : Gaussian Mixture Model）を用いて前景領域及び背景領域の画素値の分布を学習し、未知の領域として設定された画素に対して、画素値の統計値を基に前景領域及び背景領域の関係から前景らしさ及び背景らしさを計算することによって、前景領域及び背景領域を分離して抽出する。

【0053】

本実施の形態に係る推定装置１は、口腔画像の全画像領域のうち口腔粘膜に対応する領域を前景領域として抽出し、全画像領域のうち口腔粘膜に対応する領域を除いた領域を背景領域として抽出する。背景領域には、被検者の歯、撮影者の指、様々な器具などが写り込んでいる可能性があるが、ＧｒａｂＣｕｔアルゴリズム等の領域抽出アルゴリズムを用いることによって、前景領域を背景領域から分離して抽出することができる。

【0054】

なお、本実施の形態では、口腔粘膜に対応する領域（前景領域）と、それ以外の領域（背景領域）とを分離する構成としたが、特定の口腔粘膜（例えば舌）に対応する領域を前景領域として抽出し、それ以外の口腔粘膜を含む領域を背景領域として抽出してもよい。

【0055】

図８は抽出例を示す模式図である。図８の例は、口腔画像の全画像領域を、被検者の口腔粘膜に対応する領域（前景領域）と、それ以外の領域（背景領域）とに分離した結果を示している。図８において、背景領域はハッチングを付した領域として示されている。背景領域には、被検者の歯に対応する領域、及び口腔外の領域が含まれていることが分かる。推定装置１は、被検者の口腔粘膜に対応する領域（前景領域）の口腔画像を学習モデル１３０へ引き渡すことによって、口腔粘膜における病変の有無を推定する。

【0056】

図９は実施の形態３に係る推定装置１が実行する処理の手順を説明するフローチャートである。推定装置１の制御部１２は、記憶部１３に記憶されている推定処理プログラムＰ１及び領域抽出プログラムＰ２を実行することにより、以下の推定処理を実行する。

【0057】

制御部１２は、入力部１１を通じて口腔画像を取得し（ステップＳ３０１）、取得した口腔画像の全画像領域から、口腔粘膜に対応する領域を抽出する（ステップＳ３０２）。ステップＳ３０２の処理によって、口腔画像からは、被検者の歯、撮像者の指、様々な器具に対応する部分が除去される。

【0058】

次いで、制御部１２は、口腔領域に対応する領域が抽出された口腔画像（被検者の歯等に対応した部分を除去した画像）を学習モデル１３０の入力層１３１に与えることによって、学習モデル１３０を用いた演算を実行する（ステップＳ３０３）。学習モデル１３０の入力層１３１に与えられた口腔画像のデータは中間層１３２へ送出される。中間層１３２では、ノード間の重み及びバイアスを含む活性化関数を用いた演算が実行される。中間層１３２の畳み込み層１３２ａ及びプーリング層１３２ｂにおいて画像の特徴が抽出される。畳み込み層１３２ａ及びプーリング層１３２ｂによって抽出された特徴部分のデータは、全結合層１３２ｃの構成する各ノードに結合され、活性化関数によって特徴変数に変換される。変換された特徴変数は、全結合層１３２ｃを通じて出力層１３３へ出力される。出力層１３３は、中間層１３２の全結合層１３２ｃから入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、各カテゴリに属する確率を各ノードから出力する。

【0059】

制御部１２は、学習モデル１３０から演算結果を取得し、取得した演算結果を基に口腔粘膜における病変の有無を推定する（ステップＳ３０４）。上述したように、学習モデル１３０の出力層１３３を構成する各ノードからは、分類すべきカテゴリとして設定された病変のそれぞれについての確率が出力される。制御部１２は、出力層１３３の各ノードから出力される確率に基づき、病変の有無を推定できる。

【0060】

制御部１２は、出力部１４を通じて、推定結果を出力する（ステップＳ３０５）。具体的には、制御部１２は、推定結果を表示装置１４０に表示させるための表示データを生成し、生成した表示データを表示装置１４０へ出力することによって、推定結果を表示装置１４０に表示させる。推定結果の表示態様は任意に設定することができる。例えば、制御部１２は、特定の病変（例えば口腔悪性腫瘍）の有無を表す文字又は図形を含んだ表示データを生成して表示装置１４０へ出力し、表示装置１４０において特定の病変の有無を文字又は図形により表示してもよい。また、制御部１２は、各病変に該当する確率の値を含んだ表示データを生成して表示装置１４０へ出力し、表示装置１４０において各病変に該当する確率の値を数字情報として表示してもよい。

【0061】

以上のように、実施の形態３では、病変の推定に不要な部分を除去した上で、推定処理を実行できるので、推定精度の向上を図ることができる。

【0062】

なお、実施の形態３においても、学習モデル１３０に口腔画像を入力する前処理として、ガンマ補正などの画像処理を施してもよい。

【0063】

（実施の形態４）
実施の形態４では、学習モデル１３０の生成方法について説明する。

【0064】

推定装置１において使用される学習モデル１３０は、例えば、推定装置１と通信可能に接続されるサーバ装置２において生成される。

【0065】

図１０はサーバ装置２の構成を説明するブロック図である。サーバ装置２は、制御部２１、記憶部２２、入力部２３、通信部２４、操作部２５、及び表示部２６を備える。

【0066】

制御部２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部２１が備えるＲＯＭには、サーバ装置２が備えるハードウェア各部の動作を制御するための制御プログラム等が記憶される。制御部２１内のＣＰＵは、ＲＯＭに記憶された制御プログラム、及び記憶部２２に記憶された各種プログラムを実行し、ハードウェア各部の動作を制御する。

【0067】

制御部２１は上述の構成に限定されない。制御部２１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えた構成に限定されない。制御部２１は、例えば、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、揮発性または不揮発性のメモリ等を含む１又は複数の制御回路または演算回路であってもよい。また、制御部２１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

【0068】

記憶部２２は、ハードディスクドライブなどの記憶装置を備える。記憶部２２には、制御部２１によって実行される各種コンピュータプログラム、当該コンピュータプログラムによって利用される各種データ、外部から取得したデータ等が記憶される。記憶部２２に記憶されるコンピュータプログラムの一例は、学習モデルを生成するためのモデル生成プログラムＰ３である。また、記憶部２２は、口腔画像と口腔画像のアノテーションとを関連付けて記憶する口腔画像データベース（口腔画像ＤＢ）２２０を備える。

【0069】

入力部２３は、各種データ又はプログラムを記録した記録媒体から、データ及びプログラムを取得するための入力インタフェースを備える。入力部２３を通じて入力された各種データ及びプログラムは、記憶部２２に記憶される。

【0070】

通信部２４は、通信ネットワークＮに接続する通信インタフェースを備える。通信ネットワークＮは、インターネット網、特定用途向けのＬＡＮ又はＷＡＮ（Wide Area Network）などである。通信部２４は、推定装置１へ送信すべきデータを、通信ネットワークＮを介して推定装置１へ送信する。また、通信部２４は、サーバ装置２を宛先として推定装置１から送信されるデータを、通信ネットワークＮを介して受信する。

【0071】

操作部２５は、キーボードやマウスなどの入力インタフェースを備えており、各種の操作情報や設定情報を受付ける。制御部２１は、操作部２５から入力される操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部２２に記憶させる。

【0072】

表示部２６は、液晶表示パネル、有機ＥＬ表示パネル等の表示デバイスを備えており、制御部２１から出力される制御信号に基づいて、サーバ装置２の管理者等に通知すべき情報を表示する。

【0073】

なお、本実施の形態では、サーバ装置２が操作部２５及び表示部２６を備える構成としたが、操作部２５及び表示部２６は必須ではなく、外部に接続されたコンピュータを通じて操作を受付け、通知すべき情報を外部のコンピュータへ出力する構成であってもよい。

【0074】

図１１は口腔画像データベース２２０の一例を示す概念図である。口腔画像データベース２２０では、口腔画像と、口腔画像に対するアノテーションとを関連付けて記憶する。口腔画像は、例えば、悪性腫瘍が発症している口腔の画像、口腔粘膜疾患に特異的な形態（例えば、潰瘍、びらん、膨隆など）を有する口腔の画像等を含む。アノテーションには医師の診断結果が含まれる。診断結果は、病理診断結果若しくは確定診断結果を含み、本実施の形態では、関連付けて記憶される口腔画像が正常であることを示すラベルデータ、又は何れの病変であるのかを示すラベルデータとして用いられる。また、アノテーションには、被検者ＩＤ及び被検者氏名等の情報が含まれていてもよい。

【0075】

以下、サーバ装置２にて学習モデルを生成する手順について説明する。
図１２は学習モデルの生成手順を説明するフローチャートである。サーバ装置２の制御部２１は、記憶部２２の口腔画像データベース２２０にアクセスし、学習モデルの生成に用いる訓練データを取得する（ステップＳ４０１）。訓練データは、例えば、口腔画像と、口腔画像に対するアノテーションとを含む。学習モデルを生成する初期段階では、訓練データは、サーバ装置２の運営者等によって用意されたものが設定される。また、学習が進めば、学習モデル１３０による推定結果と、推定処理に用いた口腔画像とを推定装置１から取得し、取得したデータを訓練データとして設定してもよい。

【0076】

次いで、制御部２１は、訓練データとして含まれる画像データを学習用の学習モデルへ入力し（ステップＳ４０２）、学習モデルから演算結果を取得する（ステップＳ４０３）。学習が開始される前の段階では、学習モデルを記述する定義情報には、初期設定値が与えられているものとする。この学習モデルによる演算は、推定処理における学習モデル１３０の演算と同様である。

【0077】

次いで、制御部２１は、ステップＳ４０３で得られた演算結果を評価し（ステップＳ４０４）、学習が完了したか否かを判断する（ステップＳ４０５）。具体的には、制御部２１は、ステップＳ４０３で得られる演算結果と訓練データとに基づく誤差関数（目的関数、損失関数、コスト関数ともいう）を用いて、演算結果を評価することができる。制御部２１は、最急降下法などの勾配降下法により誤差関数を最適化（最小化又は最大化）する課程で、誤差関数が閾値以下（又は閾値以上）となった場合、学習が完了したと判断する。なお、過学習の問題を避けるために、交差検定、早期打ち切りなどの手法を取り入れ、適切なタイミングにて学習を終了させてもよい。

【0078】

学習が完了していないと判断した場合（Ｓ４０５：ＮＯ）、制御部２１は、学習モデルのノード間の重み及びバイアスを更新し（ステップＳ４０６）、処理をステップＳ４０１へ戻す。制御部２１は、学習モデルの出力層から入力層に向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、各ノード間の重み及びバイアスを更新することができる。

【0079】

学習が完了したと判断した場合（Ｓ４０５：ＹＥＳ）、制御部２１は、学習済みの学習モデルとして記憶部２２に記憶させ（ステップＳ４０７）、本フローチャートによる処理を終了する。

【0080】

以上のように、本実施の形態では、推定装置１において用いられる学習モデル１３０をサーバ装置２において生成することができる。サーバ装置２は、推定装置１からの要求に応じて、生成した学習モデルを推定装置１へ送信する。推定装置１は、サーバ装置２から学習モデルを受信し、記憶部１３に記憶させた後、推定処理プログラムＰ１を実行することによって、病変の推定処理を実行することができる。

【0081】

更に、サーバ装置２は、学習完了後の適宜のタイミングで、新たに口腔画像と、口腔画像に対するアノテーションとを収集し、これらのデータを用いて学習モデルを再学習する構成としてもよい。口腔画像は、口腔粘膜の少なくとも一部を含むように撮像して得られる口腔画像（図２を参照）であってもよく、口腔粘膜に対応する領域を抽出して得られる口腔画像（図８を参照）であってもよい。また、推定装置１は、推定結果を表示する際に、その推定結果が正しいか否かの選択（診断結果）を受付け、受付けた診断結果をアノテーションとしてサーバ装置２へ送信してもよい。再学習の手順は、学習モデルの生成手順と全く同様であり、訓練データに含まれる口腔画像を学習モデルへ入力し、学習モデルの出力として得られる演算結果と訓練データに含まれるアノテーションとの間の誤差を評価することによって、再学習が実行される。

【0082】

（実施の形態５）
実施の形態５では、口腔内の拡大画像を用いて、口腔粘膜における病変の有無を推定する構成について説明する。

【0083】

図１３は実施の形態５に係る推定装置１の構成を説明するブロック図である。推定装置１は、入力部１１、制御部１２、記憶部１３、出力部１４、通信部１５、及び操作部１６を備える。これらの構成は、実施の形態１と同様であるため、その詳細な説明を省略する
こととする。

【0084】

実施の形態５では、舌、上唇、硬口蓋、軟口蓋、口蓋垂、口蓋扁桃、頬粘膜、口腔底、歯肉、下唇などの口腔の部位毎に学習モデルが用意される。部位毎の学習モデル１３０－ｋ（ｋ＝１，２，…，ｍ；ｍは１以上の整数）は、記憶部１３に記憶される。学習モデル１３０－ｋは、後述する拡大画像の入力に応じて、口腔粘膜における病変に関する情報を出力するように構成される。なお、本実施の形態では、口腔の部位毎に学習モデル１３０－ｋを用意する構成としたが、幾つかの部位に対して共通の学習モデルを用いてもよい。例えば、硬口蓋及び軟口蓋について共通の学習モデルを用意し、上唇及び下唇について共通の学習モデルを用意してもよい。また、特定の部位を分割した分割領域毎に異なる学習モデルを用いてもよい。例えば、舌の上面領域と下面領域とで異なる学習モデルを用意してもよい。

【0085】

図１４は拡大画像の一例を示す模式図である。本実施の形態における拡大画像は、被検者の口腔内を拡大して撮像した口腔画像である。このような拡大画像は、例えば接触型内視鏡システムなどの接触型細胞観察装置を用いて被検者の口腔内を撮像することにより得られる。本実施の形態では、上皮細胞核の形状や分布を観察するために、メチレンブルーなどの染色剤により観察部位を染色し、接触型細胞観察装置の撮像部を観察部位に圧接させた状態にて５００倍程度の拡大倍率で観察部位を撮像した。

【0086】

図１４の例は被検者の舌の一部を５００倍に拡大して撮像した拡大画像を示している。紙面の都合上、拡大画像をグレースケールで示しているが、接触型細胞観察装置から得られる実際の拡大画像はカラー画像である。拡大画像では、染色剤により染色された上皮細胞核が観察される。図１４の例は、円形状、若しくは、円形状が細長くつぶれた長円形状の小領域として、上皮細胞核が多数観察されている様子を示している。本実施の形態では、正常な上皮細胞核の形状、染色性、分布や配列、核／細胞質比などの特徴と、病変領域の上皮細胞核の形状、染色性、分布や配列、核／細胞質比などの特徴とを上述した部位毎に学習することにより、学習モデル１３０－ｋが生成される。学習モデル１３０－ｋの生成方法については後に詳述する。

【0087】

図１５は学習モデル１３０－ｋの構成例を示す模式図である。学習モデル１３０－ｋの構成は、実施の形態１で説明した学習モデル１３０の構成と同様である。すなわち学習モデル１３０－ｋは、ＣＮＮによる学習モデルであり、入力層１３１、中間層１３２、及び、出力層１３３を備える。学習モデル１３０は、上述した拡大画像が入力層１３１に入力された場合、中間層１３２にて演算を行い、口腔粘膜における病変に関する情報を出力層１３３から出力するよう構成される。

【0088】

図１５の例は、拡大画像を分類するカテゴリとして、ｎ個のカテゴリを設定した学習モデル１３０－ｋを示している。この学習モデル１３０－ｋは、出力層１３３の各ノードから、口腔悪性腫瘍である確率Ｘ１，白板症である確率Ｘ２，扁平苔癬である確率Ｘ３，…，正常である確率Ｘｎを出力するように構成されている。なお、設定するカテゴリの数（＝ｎ）は、１個であってもよく、複数個であってもよい。また、拡大画像を分類するカテゴリは、対象の部位毎に設定すればよい。例えば、対象部位が舌である場合、口腔悪性腫瘍、白板症、扁平苔癬のほか、地図状舌、溝状舌、黒毛舌、及び正中菱形舌炎など舌表面粘膜の器質的変化に属する病変を分類するカテゴリとして設定してもよい。また、対象部位が歯肉である場合、口腔悪性腫瘍、白板症、扁平苔癬のほか、歯肉炎や歯周炎などを分類するカテゴリとして設定してもよい。他の対象部位についても同様であり、対象部位毎に分類するカテゴリを設定すればよい。

【0089】

なお、図１５の例ではＣＮＮによる学習モデル１３０を示したが、学習モデル１３０－ｋを構築する機械学習のモデルは任意に設定することができる。例えば、ＣＮＮに代えて、Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤ等に基づく学習モデルを設定してもよい。また、Ｕ－Ｎｅｔなどのアルゴリズムを利用して、病変と推定した領域の情報を出力してもよい。

【0090】

学習モデル１３０－ｋは、例えば、推定装置１からアクセス可能なサーバ装置２において生成される。サーバ装置２は、学習モデル１３０－ｋの生成に先立ち、対象部位毎に拡大画像、被検者ＩＤ、被検者氏名、及び医師の診断結果を含むデータを収集し、これらの情報を関連付けて口腔画像データベース２２０に登録する。図１６は実施の形態５における口腔画像データベース２２０の一例を示す概念図である。

【0091】

サーバ装置２は、口腔画像データベース２２０に登録されたデータを訓練データに用いて学習モデル１３０－ｋを生成する。図１７は学習モデル１３０－ｋの生成手順を説明するフローチャートである。サーバ装置２の制御部２１は、例えば操作部２５を通じて対象部位の指定を受付け（ステップＳ５０１）、指定された対象部位に関連付けられて口腔画像データベース２２０に記憶されている拡大画像、拡大画像に対するアノテーション（診断結果）等のデータを訓練データとして選択する（ステップＳ５０２）。学習モデル１３０－ｋを生成する初期段階では、訓練データは、サーバ装置２の運営者等によって用意されたものが設定される。また、学習が進めば、学習モデル１３０－ｋによる推定結果と、推定処理に用いた拡大画像とを推定装置１から取得し、取得したデータを訓練データとして設定してもよい。

【0092】

制御部２１は、訓練データとして選択した拡大画像の画像データを学習用の学習モデル１３０－ｋへ入力し（ステップＳ５０３）、学習モデル１３０－ｋから演算結果を取得する（ステップＳ５０４）。学習が開始される前の段階では、学習モデル１３０－ｋを記述する定義情報には、初期設定値が与えられているものとする。この学習モデル１３０－ｋを用いた演算手順は、実施の形態４と同様である。

【0093】

次いで、制御部２１は、ステップＳ５０４で得られた演算結果を評価し（ステップＳ５０５）、学習が完了したか否かを判断する（ステップＳ５０６）。具体的には、制御部２１は、ステップＳ５０４で得られる演算結果と訓練データとに基づく誤差関数（目的関数、損失関数、コスト関数ともいう）を用いて、演算結果を評価することができる。制御部２１は、最急降下法などの勾配降下法により誤差関数を最適化（最小化又は最大化）する課程で、誤差関数が閾値以下（又は閾値以上）となった場合、学習が完了したと判断する。なお、過学習の問題を避けるために、交差検定、早期打ち切りなどの手法を取り入れ、適切なタイミングにて学習を終了させてもよい。

【0094】

学習が完了していないと判断した場合（Ｓ５０６：ＮＯ）、制御部２１は、学習モデルのノード間の重み及びバイアスを更新し（ステップＳ５０７）、処理をステップＳ５０２へ戻す。制御部２１は、学習モデルの出力層から入力層に向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、各ノード間の重み及びバイアスを更新することができる。

【0095】

学習が完了したと判断した場合（Ｓ５０６：ＹＥＳ）、制御部２１は、学習済みの学習モデル１３０－ｋとして記憶部２２に記憶させ（ステップＳ５０８）、本フローチャートによる処理を終了する。

【0096】

サーバ装置２は、生成した学習モデル１３０－ｋを対象部位の情報と共に、推定装置１へ送信する。推定装置１は、サーバ装置２から送信されてきた学習モデル１３０－ｋを対象部位の情報に関連付けて記憶部１３に記憶させる。

【0097】

図１８は学習モデル１３０－ｋを用いた推定手順を示すフローチャートである。推定装置１の制御部１２は、記憶部１３に記憶されている推定処理プログラムＰ１を実行することにより、以下の推定処理を実行する。

【0098】

制御部１２は、例えば接触型細胞観察装置を用いて口腔内を撮像することにより得られる拡大画像を取得する（ステップＳ５１１）。制御部１２は、入力部１１を通じて拡大画像を取得してもよく、通信部１５を通じて拡大画像を取得してもよい。なお、通常倍率の口腔画像を用いた推定結果（例えば図５に示すような推定結果）が事前に得られている場合、接触型細胞観察装置を用いた観察を行う際に、制御部１２は、被検者ＩＤ、被検者氏名、推定された病変名、病変の位置を表示装置１４０に表示させ、観察者に観察部位の情報を提示してもよい。例えば、一次診療機関において、通常倍率の口腔画像を学習モデル１３０へ与えることにより事前推定を行い、二次診療機関において、接触型細胞観察装置を用いた観察を行う際に、一次診療機関において得られた推定結果を二次診療機関に提示してもよい。この場合、学習モデル１３０がインストールされた推定装置１を一次診療機関に設け、学習モデル１３０－ｋがインストールされた推定装置１を二次診療機関に設けてもよい。また、一次診療機関及び二次診療機関の双方からアクセス可能なサーバ装置に学習モデル１３０及び学習モデル１３０－ｋをインストールする構成としてもよい。図１９は観察部位の提示例を示す模式図である。観察者は、表示装置１４０に提示される観察部位の情報に基づき、観察位置を調整し、接触型細胞観察装置を用いて口腔内を撮像すればよい。

【0099】

次いで、制御部１２は、対象部位の指定を受付ける（ステップＳ５１２）。制御部１２は、対象部位の指定を受付ける際にインタフェース画面を表示装置１４０に表示させてもよい。図２０は対象部位の指定を受付けるインタフェース画面１４００の一例を示す模式図である。インタフェース画面１４００には、例えば、対象部位の選択を受付けるためのプルダウンメニュー１４０１と、推定処理の開始指示を受付けるための開始ボタン１４０２とが配置される。プルダウンメニュー１４０１は、操作部１６を用いた操作により、指定可能な対象部位の名称（舌、上唇、硬口蓋、軟口蓋、口蓋垂、口蓋扁桃、頬粘膜、口腔底、歯肉、下唇など）を表示させ、表示させた対象部位の名称から推定対象の部位の指定を受付けるように構成されている。開始ボタン１４０２は、操作部１６を用いた操作により、推定処理の開始指示を受付けるように構成されている。なお、図２０の例では、通常倍率で撮像された口腔画像を示しているが、接触型細胞観察装置を用いて撮像された拡大画像をインタフェース画面１４００に表示させてもよい。

【0100】

ステップＳ５１２において対象部位の指定を受付け、推定処理の開始指示を受付けた場合、制御部１２は、指定された対象部位に応じて学習モデル１３０－ｋを選択し（ステップＳ５１３）、選択した学習モデル１３０－ｋにステップＳ５１１で取得した拡大画像を与えることにより、学習モデル１３０－ｋによる演算を実行する（ステップＳ５１４）。学習モデル１３０－ｋを用いた演算手順は実施の形態１と同様である。

【0101】

制御部１２は、学習モデル１３０－ｋから演算結果を取得し、取得した演算結果を基に口腔粘膜における病変の有無を推定する（ステップＳ５１５）。上述したように、学習モデル１３０－ｋの出力層１３３を構成する各ノードからは、分類すべきカテゴリとして設定された病変のそれぞれについての確率が出力される。制御部１２は、出力層１３３の各ノードから出力される確率に基づき、病変の有無を推定できる。

【0102】

制御部１２は、出力部１４を通じて、推定結果を出力する（ステップＳ５１６）。具体的には、制御部１２は、推定結果を表示装置１４０に表示させるための表示データを生成し、生成した表示データを表示装置１４０へ出力することによって、推定結果を表示装置１４０に表示させる。推定結果の表示態様は任意に設定することができる。例えば、制御部１２は、特定の病変（例えば口腔悪性腫瘍）の有無を表す文字又は図形を含んだ表示データを生成して表示装置１４０へ出力し、表示装置１４０において特定の病変の有無を文字又は図形により表示してもよい。また、制御部１２は、各病変に該当する確率の値を含んだ表示データを生成して表示装置１４０へ出力し、表示装置１４０において各病変に該当する確率の値を数字情報として表示してもよい。推定装置１の出力例は図５と同様である。

【0103】

以上のように、実施の形態５では、学習モデル１３０－ｋを用いることにより、拡大画像により観察される上皮細胞核の形状、染色性、分布や配列、核／細胞質比などの特徴に基づき、口腔粘膜における病変の有無を推定することができる。また、このような学習モデル１３０－ｋを用いて病変の有無を推定することにより、低侵襲かつ的確な診断が可能であり、生検診断に引けを取らない組織診断が行える可能性が示唆されている。また、学習モデル１３０による診断結果を記憶部１３に蓄積し、口腔粘膜における病変の発現リスク、予後予測因子等の開明に役立ててもよい。

【0104】

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0105】

１ 推定装置
２ サーバ装置
１１ 入力部
１２ 制御部
１３ 記憶部
１４ 出力部
１５ 通信部
１６ 操作部
２１ 制御部
２２ 記憶部
２３ 入力部
２４ 通信部
２５ 操作部
２６ 表示部
１３０ 学習モデル
１３０－１，１３０－２，…，１３０－ｍ 学習モデル
２２０ 口腔画像データベース
Ｐ１ 推定処理プログラム
Ｐ２ 領域抽出プログラム
Ｐ３ モデル生成プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】