(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024053118
(43)【公開日】2024-04-12
(54)【発明の名称】推定システム、推定装置、制御プログラム
(51)【国際特許分類】
G16H 50/20 20180101AFI20240405BHJP
【FI】
G16H50/20
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2024037350
(22)【出願日】2024-03-11
(62)【分割の表示】P 2023047218の分割
【原出願日】2019-03-28
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】吉川 弘章
(57)【要約】
【課題】推定結果の信頼性を向上させること。
【解決手段】本発明の一実施形態に係る推定システムは、第1データから疾患に関連する推定結果を出力する近似器と、前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力部と、を備え、前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1データから疾患に関連する推定結果を出力する近似器と、
前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力部と、
を備え、
前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される、
推定システム。
【請求項2】
前記近似器は、前記参考データを検索する、請求項1に記載の推定システム。
【請求項3】
前記参考データは、前記学習用データ及び前記教師用データを含む、請求項1または2に記載の推定システム。
【請求項4】
前記参考データは、前記学習用データに付随する個人データを含む、請求項1から3のいずれか1項に記載の推定システム。
【請求項5】
前記参考データは、前記教師用データの診断情報を含む、請求項1から4のいずれか1項に記載の推定システム。
【請求項6】
前記推定結果は、病変部位に関連する、請求項1から5のいずれか1項に記載の推定システム。
【請求項7】
前記第1データは画像データである、請求項1から6のいずれか1項に記載の推定システム。
【請求項8】
前記第1データは診断対象の部位が写る、請求項1から7のいずれか1項に記載の推定システム。
【請求項9】
前記推定結果は、画像データである、請求項1から8のいずれか1項に記載の推定システム。
【請求項10】
前記参考データは画像データであり、
前記近似器は、前記推定結果及び前記参考データの違いを強調する、請求項1から9のいずれか1項に記載の推定システム。
【請求項11】
第1データから疾患に関連する推定結果を出力する近似器と、
前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力部と、
を備え、
前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される、
推定装置。
【請求項12】
コンピュータに、
近似器に、第1データから疾患に関連する推定結果を出力させるステップと、
前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力ステップと、
を実行させる制御プログラムであって、
前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される、
制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、推定システム、推定装置、制御プログラムに関する。
【背景技術】
【0002】
従来、ニューラルネットワークを含む診断支援装置が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような診断支援装置では、信頼性を向上させることが求められている。
【課題を解決するための手段】
【0005】
本開示の一態様に係る推定システムは、第1データから疾患に関連する推定結果を出力する近似器と、前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力部と、を備え、前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される。
【0006】
また、本開示の一態様に係る推定装置は、第1データから疾患に関連する推定結果を出力する近似器と、前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力部と、を備え、前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される。
【0007】
また、本開示の一態様に係る制御プログラムは、コンピュータに、近似器に、前記第1データから疾患に関連する推定結果を出力させるステップと、前記推定結果、及び前記推定結果の根拠を示す参考データを出力する出力ステップと、を実行させる制御プログラムであって、前記近似器は、前記第1データと同種の第2データを含む学習用データと、前記学習用データに関連する診断結果を含む教師用データとによって学習される。
【発明の効果】
【0008】
推定結果の信頼性を使用者が確認することができる。よって、推定結果の信頼性を向上させることができる。
【図面の簡単な説明】
【0009】
【
図1】疾患予測システムの構成の一例を示す図である。
【
図2】疾患予測システムの一部の構成の一例を示す図である。
【
図3】疾患予測システムの一部の構成の一例を示す図である。
【
図4】疾患予測システムの一部の構成の一例を示す図である。
【
図5】疾患予測システムの一部の構成の一例を示す図である。
【
図6】疾患予測システムの一部の動作の一例を示す図である。
【
図7】疾患予測システムの一部の動作の一例を示す図である。
【発明を実施するための形態】
【0010】
本開示の疾患推定システム1は、入力データIからAI(Artificial Intelligence)を用いて疾患を推定することができる。入力データIは、例えば画像データであればよい。本発明によって推定される疾患は、医師が画像データに基づいて診断可能な疾患であればよい。例えば、子宮頸がん、皮膚疾患、であればよい。
【0011】
図1に、本開示の疾患推定システム1の構成を概念的に示す。
【0012】
本開示の疾患推定システム1は、端末装置2と、推定装置3と、を有している。端末装置2は、疾患の診断に使用される患者の入力データIを取得するものである。推定装置3は、端末装置2で取得されたデータに基づき、疾患の種類や部位を推定することができる。
【0013】
端末装置2は、画像データを取得することができる。端末装置2で取得された入力データIは、推定装置3に入力される。端末装置2は、子宮頸がんの場合は、例えばコルポスコピー画像を撮影可能な装置であればよい。また皮膚疾患の場合は、ダーモスコピー画像を撮影可能な装置であればよい。入力データIは、例えば、子宮頸がんの場合は、コルポスコピー画像であり、皮膚疾患という疾患の場合は、ダーモスコピー画像であればよい。
【0014】
端末装置2は、通信部21を有しており、入力データIを取得した後に、推定装置3に入力データIを転送してもよい。
【0015】
なお、端末装置2は、入力データIを推定装置3に直接転送しなくてもよい。この場合、例えば端末装置2で取得された入力データIが、記憶媒体に記憶されて、記憶媒体を介して、推定装置3に入力データIが入力されてもよい。
【0016】
図2に、本実施形態に係る推定装置3の構成を概念的に示す。
【0017】
推定装置3は、推定装置3に入力される入力データIから、患者の疾患を推定することができる。例えば、疾患推定システム1が子宮頸がんを推定する場合、推定装置3は、端末装置2で取得した入力データIから患者の子宮頸がんの種類や病変部位を推定し、推定した推定結果Oを出力することができる。
【0018】
推定装置3は、入力部31と、近似器32と、出力部33と、を有している。入力部31は、端末装置2から入力データIが入力されるものである。近似器32は、入力データIから所定の演算を行い、疾患の分類や病変部位を推定することができる。出力部33は、近似器32の推定した推定結果Oを出力することができる。
【0019】
入力部31は、上記の通り、入力データIが入力される。本開示の入力部31は、ネットワークを介して端末装置2の通信部21と接続可能な通信装置であればよい。また入力部31は、記憶媒体を介して入力データIを受信可能な、例えばUSBポートなどのポートであってもよい。また、入力部31は、入力データIの他の情報を入力可能な入力装置を備えていてもよい。入力装置は、例えば、キーボード、タッチパネル、マウスまたはUSBポートなどであればよい。
【0020】
近似器32は、入力部31に入力された入力データIから患者の疾患を予測することができる。近似器32は、いわゆるAI(Artificial Intelligence)である。具体的には、近似器32は、AIとして機能するための複数の電子部品、回路で構成されるハードウェアを有している。
【0021】
上記の通り、近似器32は、複数の電子部品および回路を有している。言い換えれば近似器32の一部は、複数の電子部品および回路によって構成されている。複数の電子部品は、例えば、トランジスタまたはダイオードなどの能動素子、あるいはコンデンサなどの受動素子であればよく、従来周知の方法によって、形成されていればよい。
【0022】
また、学習処理された近似器32は、疾患の推定時に、既に学習処理された学習済みモデルに従って、演算を行なう。すなわち、疾患推定システム1は、近似器32を通じて、教師用データを用いて、近似器32の演算時に必要なパラメータ等を予め獲得している。その結果、近似器32は、入力データIから推定結果Oを算出することができる。なお、学習用データまたは教師用データは、推定装置3に入力する入力データIと、推定装置3から出力する推定結果Oに対応したデータであればよい。
【0023】
図3は、本開示の近似器32で行う処理を概念的に示す。
【0024】
本実施形態に係る近似器32は、例えば、CNNである。近似器32は、機能部として、入力層3aと、隠れ層3bと、出力層3cとを備えている。隠れ層3bは、例えば、中間層とも呼ばれる。入力層3a、隠れ層3bおよび出力層3cのそれぞれは、複数のノード3dと複数のノード3d同士を結んだ複数のエッジ3eを有しており、全体として、いわゆるニューラルネットワークを形成している。それぞれの機能部は、上記の通り、近似器32が有する複数の電子部品、回路などによって実現することができる。
【0025】
なお、近似器32は、学習済みモデルを適用されることによって、複数のノード3dと複数のエッジ3eとの接続関係などが、疾患推定のために最適化されることになる。即ち、学習処理された近似器32は、疾患推定のために適したパラメータを用いて演算を実行することができる。
【0026】
入力層3aは、入力データIを入力する層である。入力層3aの各ノード3dには、入力データIを構成するデータが入力される。例えば、入力データIが画像データの場合、画像データのピクセル毎の色または濃淡を示す数値が、各ノード3dに入力される。
【0027】
図4、5に、本開示の隠れ層3bの一部の構成を概念的に示す。
【0028】
隠れ層3bは、入力層3aに入力された画像データの情報に基づいて、演算を行なうことができる。隠れ層3bは、畳み込み層3b1と、プーリング層3b2と、全結合層3b3とを有している。隠れ層3bは、畳み込み層3b1およびプーリング層3b2と、全結合層3b3によって、入力層3aに入力されたデータから特徴を抽出することができる。
【0029】
畳み込み層3b1は、直前の層の各ノード3dに入力されたデータをフィルタリングすることによって、いわゆるデータを畳み込むことができる。言い換えれば、入力データIの特徴を維持しつつデータを縮小化することができる。具体的には、直前の層の各ノード3dに入力されている数値に、学習処理で得られたフィルタ係数に基づいて演算を行ない、特徴量を維持しつつデータを縮小することができる。なお、複数の畳み込み層3b1のそれぞれは、それぞれのフィルタ係数に基づいて演算処理を行なう。
【0030】
プーリング層3b2は、畳み込み層3b1の後に位置している。プーリング層3b2は、直前の畳み込み層3b1で計算された各ノード3dの数値に基づいて、畳み込み層3b1のデータの特徴を維持しつつ、データを低次元化することができる。例えば、プーリング層3b2は、直前の畳み込み層3b1の各ノード3dの数値のうち、任意の範囲内で最も大きい値を抽出すればよい。
【0031】
1つの畳み込み層3b1と1つのプーリング層3b2は1つのセットを構成している。また、隠れ層3bが、複数の畳み込み層3b1と複数のプーリング層3b2を有していてもよい。この場合、複数の畳み込み層3b1と複数のプーリング層3b2とは交互に配置されて、隠れ層3bの中に畳み込み層3b1とプーリング層3b2との複数のセットが構成されることになり、その結果、入力データIの特徴を徐々に絞り込んでいくことができる。なお、複数の畳み込み層3b1および複数のプーリング層3b2の数は、必要な精度で近似器32が機能するような数であればよい。
【0032】
全結合層3b3は、直前のプーリング層3b2の各ノード3dに入力されたデータから、入力データIの特徴を抽出することができる。具体的には、直前の層の各ノード3dに入力されている数値に、学習処理で得られた重み付け係数に基づいて演算を行ない、特徴量を抽出することができる。
【0033】
出力層3cは、全結合層3b3で計算した各ノード3dの数値に基づいて、推定結果Oを出力することができる。具体的には、全結合層3b3の各ノード3dの数値パターンに基づいて、例えば、疾患の可能性がどの程度か、出力することができる。
【0034】
出力部33は、出力層3cで推定した推定結果Oを表示することができる。出力部33は、例えば、液晶表示ディスプレイあるいは有機ELディスプレイである。出力部33は、文字、記号、図形などの各種情報を表示することが可能である。出力部33は、例えば、数字または画像などを表示することができる。
【0035】
なお、推定結果Oは、例えば、文字列として出力される。
【0036】
推定装置3は、制御部34をさらに有している。制御部34は、推定装置3の他の構成要素を制御することによって、推定装置3の動作を統括的に管理することができる。すなわち、制御部34は、近似器32の演算などを制御することができる。制御部34は、複数の電子部品および回路を有しており、例えば、CPU(Central Processing Unit)などを構成している。複数の電子部品は、例えば、トランジスタまたはダイオードなどの能動素子、あるいはコンデンサなどの受動素子であればよく、従来周知の方法によって、形成されていればよい。
【0037】
また、推定装置3は、記憶部35をさらに有している。記憶部35は、推定装置3の制御のためのプログラムなどを記憶することができる。記憶部35は、例えば、ROM(Read-Only Memory)やHDD(Hard-Disc-Drive)などであればよい。なお、入力データI、学習用データに対する近似器の演算結果、教師用データおよび学習済みモデル(学習済みパラメータ)なども記憶部35に記憶されてもよい。
【0038】
<入力データ、学習用データおよび教師用データの一例>
入力データIは、前記疾患の診断に使用される、例えば患者の画像データなどのデータであればよい。入力データIは、例えばコルポスコピー画像であればよい。コルポスコピー画像からは、例えば、子宮頸がんの分類が推定可能である。また、入力データIが、例えばダーモスコピー画像であれば、皮膚疾患を推定可能である。
【0039】
また、入力データIは、診断対象の部位が撮影されている。例えば、子宮頸がんの疾患を推定したい場合は、入力データIは子宮頸部が撮影されたものであればよい。また、皮膚疾患を推定した場合は、病変部位を含む皮膚が撮影されていればよい。
【0040】
学習用データは、第1入力データI1と同種のデータを有している。例えば、第1入力データI1がコルポスコピー画像であれば、学習用データもコルポスコピー画像を有していればよい。
【0041】
教師用データは、学習用データに対応した疾患の診断結果を有している。例えば子宮頸がんを推定する場合には、教師用データは、複数の学習用画像データのそれぞれに対応した、診断結果である。診断結果は、学習用画像データが撮影された時期とほぼ同じ時期に評価されていればよい。
【0042】
教師用データは、例えば子宮頸がんの場合には、医師の診断結果であればよい。
【0043】
<ニューラルネットワークの学習例>
近似器32は、入力データIから推定結果Oを算出可能なように、学習用データと教師用データを用いた機械学習によって最適化される。すなわち、学習処理前の近似器32は、未学習の数学モデルに基づいて学習用データから疑似推定結果を算出し、疑似推定結果と教師用データとの差が小さくなるように、近似器32内のパラメータを調整することによって、機械学習される。その結果、近似器32は、入力データIに対して学習済みモデルに基づく演算を行なって推定結果Oを出力することができる。
【0044】
パラメータの調整方法としては、例えば、誤差逆伝播法が採用される。パラメータには、例えば、複数の畳み込み層3b1で行なう演算に適用されるフィルタ係数や、全結合層3b3で行なう演算に適用される重み付け係数などであればよい。
【0045】
図6に、本実施形態に係る近似器32の演算順序を示す。
【0046】
疾患推定システム1では、入力データIに基づいて近似器32で演算を行なうとこによって、疾患を推定することができる。また、本発明に係る疾患推定システム1では、近似器32が、推定した疾患の推定結果Oと推定結果Oに類似する参考データRを、推定結果Oの根拠として検索し、その検索結果を出力することができる。
【0047】
ここで、例えば、従来の診断支援装置では、ニューラルネットワークを用いて疾患の判定を支援しているが、単にニューラルネットワークでの推定結果を出力するだけであり、推定結果の信頼性を確認することができなかった。すなわち、ニューラルネットワークを用いた診断支援装置において、結果を導出する過程を人間が理解することは困難(いわゆるブラックボックス化)であるため、診断支援装置には結果を導出した根拠を使用者に示すことが求められている。また、診断対象外のデータが入力された際、それを使用者に検知・通知することも求められている。
【0048】
これに対して、本発明に係る疾患推定システム1では、上記の通り、近似器32が、推定した疾患の推定結果Oとそれに類似する参考データRを検索して、出力部Oが推定結果Oとともに検索結果を出力することができる。すなわち、本発明に係る疾患推定システム1は、例えば、類似する参考データRがある場合には参考データRを出力することができ、一方で、類似する参考データRがない場合には、参考データRが無いことを出力することが可能となる。したがって、疾患推定システム1の推定結果Oの信頼性を確認することができる。
【0049】
図7に、本実施形態に係る近似器32の推定結果Oを算出したのち演算順序をより具体的に示す。
【0050】
本実施形態に係る疾患推定システム1では、近似器32が、参考データRを学習用データの中から検索してもよい。具体的には、近似器32が、入力データIの演算時の全結合層3b3の各ノード3dの数値と、学習時の学習用データの全結合層3b3の各ノード3dの数値とを比較することによって、推定結果Oに類似する学習用データを検索してもよい。
【0051】
すなわち、この場合、本実施形態に係る疾患推定システム1では、学習処理が完了後に、改めて学習用データを用いて近似器32で演算処理を行い、その過程で算出される数値及び教師用データの情報を記憶部35に記憶しておけばよい。その結果、入力部31に入力されたデータに対して近似器32が演算処理の過程で算出した数値と、記憶部35に記憶された数値の一致率の高い教師用データを推定結果Oと併せて使用者に示すことができる。使用者は、示された教師用データと入力データIとを視覚的に比較することで推定結果の信頼性を確認することができる。
【0052】
なお、類似か否かの判断は、各ノード3dの数値を比較して判断すればよい。例えば、各ノード3dを比較した場合に、各ノード3dの各数値の一致率が±20%以下であるノード3dが、比較対象とする複数のノード3dのうち80%以上存在する場合は、一致すると判断してもよい。
【0053】
また近似器32は、入力データIの演算時の全結合層3b3および各プーリング層3b2の各ノード3dの数値と、学習時の学習用データの数値とを比較することによって、推定結果Oに類似する学習用データを検索してもよい。
【0054】
近似器32は、参考データRとして学習用データを出力するとともに、出力する学習用データに関連する教師用データも併せて出力してもよい。
【0055】
近似器32は、参考データRとして学習用データおよび教師用データを出力するとともに、その学習用データに付随する個人データを主力してもよい。なお個人データとは、年齢または性別などであればよい。
【0056】
また、近似器32は、参考データRとして学習用データおよび教師用データを出力するとともに、その教師用データの診断情報などを出力してもよい。なお診断情報とは、診断者、診断機器などの情報であればよい。
【0057】
近似器32は、推定結果Oとして、入力データIと同種のデータとして出力されてもよい。すなわち、例えば、入力データIが画像データの場合、推定結果Oとして画像データを出力してもよい。なお、この場合、推定結果Oとして画像データを出力するために、近似器32を学習処理される必要がある。この場合、例えば、近似器32として、CNN(Convolutional Neural Network)およびLSTM(Long short-term memory)を組み合わせたConvLSTMネットワークが適用されればよい。
【0058】
近似器32は、検索結果O´として学習用データの画像データを出力してもよい。その結果、入力データIおよび学習用データを比較することが容易になる。
【0059】
近似器32は、推定結果Oおよび検索結果O´が、画像データとして出力される場合、推定結果Oと検索結果O´との違いを強調してもよい。
【0060】
なお、本発明は上述の実施形態の例に限定されるものではなく、その内容に矛盾をきたさない限り、種々の変形を含むものである。また、本発明に係る各実施形態は、適宜、組合せ可能である。
【0061】
例えば、上記の例では、近似器32としてニューラルネットワークを使用した場合、CNNを適用した例を説明したが、本発明はこれに限られない。例えば、近似器32は、CNN(Convolutional Neural Network)およびLSTM(Long short-term memory)を組み合わせたConvLSTMネットワーク、RNN(Recurrent Neural Network)またはGAN(Generative Adversarial Network)を用いてもよい。また、近似器32は、複数のニューラルネットワークを組み合わせてもよい。具体的には、ConvLSTMネットワークと畳み込みニューラルネットワークを組わせた複合的なニューラルネットワークでもよい。
【0062】
〔その他の態様1〕
本開示の一態様に係る疾患推定システムは、画像から疾患を推定可能なシステムである。疾患推定システムは、入力部と近似器とを備えている。入力部は、入力データを入力可能なものである。近似器は、入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されているものである。そして、近似器は、前記入力部に入力された前記入力データから推定した前記疾患の推定結果と、前記推定結果に類似する参考データを検索するとともに、その検索結果を出力することができる。
【0063】
〔その他の態様2〕
本発明には、以下の態様も含まれる。
【0064】
本開示の一態様に係る推定装置は、入力データを入力可能な入力部と、前記入力データから、病変部位に関連する推定結果を出力可能な近似器と、を備え、前記近似器は、前記入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されており、前記推定結果、及び前記推定結果の根拠として検索した検索結果である該推定結果に類似する参考データを出力する。
【0065】
また、本開示の一態様に係る制御プログラムは、コンピュータに、入力データと同種のデータを含む学習用データと、前記学習用データに関連した診断結果を含む教師用データとによって学習処理されている近似器であって、病変部位に関連する推定結果を推定可能な近似器に、前記入力データを入力する入力ステップと、前記推定結果及び前記推定結果の根拠として検索した検索結果である該推定結果に類似する参考データを出力する出力ステップと、を実行させる。
【符号の説明】
【0066】
1 疾患推定システム(推定システム)
2 端末装置
21 通信部
3 推定装置
31 入力部
32 近似器
33 出力部
34 制御部
35 記憶部
3a 入力層
3b 隠れ層
3b1 畳み込み層
3b2 プーリング層
3b3 全結合層
3c 出力層
I 入力データ(第1データ)
O 推定結果
O´ 検索結果
R 参考データ