IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 宮崎大学の特許一覧

<>
  • 特許-診断支援システム及びプログラム 図1
  • 特許-診断支援システム及びプログラム 図2
  • 特許-診断支援システム及びプログラム 図3
  • 特許-診断支援システム及びプログラム 図4
  • 特許-診断支援システム及びプログラム 図5
  • 特許-診断支援システム及びプログラム 図6
  • 特許-診断支援システム及びプログラム 図7
  • 特許-診断支援システム及びプログラム 図8
  • 特許-診断支援システム及びプログラム 図9
  • 特許-診断支援システム及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-17
(45)【発行日】2023-04-25
(54)【発明の名称】診断支援システム及びプログラム
(51)【国際特許分類】
   A61B 10/00 20060101AFI20230418BHJP
【FI】
A61B10/00 H
【請求項の数】 10
(21)【出願番号】P 2019137406
(22)【出願日】2019-07-26
(65)【公開番号】P2021019746
(43)【公開日】2021-02-18
【審査請求日】2022-05-09
(73)【特許権者】
【識別番号】504224153
【氏名又は名称】国立大学法人 宮崎大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100168114
【弁理士】
【氏名又は名称】山中 生太
(74)【代理人】
【識別番号】100133592
【弁理士】
【氏名又は名称】山口 浩一
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(72)【発明者】
【氏名】望月 仁志
(72)【発明者】
【氏名】石井 信之
(72)【発明者】
【氏名】望月 優輝
【審査官】磯野 光司
(56)【参考文献】
【文献】特開2019-046056(JP,A)
【文献】米国特許出願公開第2005/0053269(US,A1)
【文献】GALLI, Manuela et al.,Spiral analysis in subjects with parkinson's disease before and after levodopa treatment: A new protocol with stereophotogrammetric systems,Journal of Applied Biomaterials & Functional Materials,2014年,Vol.12, No.2,pp.107-112,DOI:10.5301/JABFM.2012.9265
【文献】PEREIRA, Clayton R. et al.,Handwritten dynamics assessment through convolutional neural networks: An application to Parkinson's disease identification,Artificial intelligence in medicine,2018年,Vol.87,pp.67-77,DOI:10.1016/j.artmed.2018.04.001
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/398
A61B 10/00
G06V 30/00-30/424
JSTPlus/JMEDPlus/JST7580(JDreamIII)
Scopus
(57)【特許請求の範囲】
【請求項1】
基準線パターンが印刷され、被検者が筆記具を用いて前記基準線パターンをなぞって描いた筆跡パターンが形成されたシートを撮像する撮像部と、
前記撮像部で撮像された撮像データに基づいて、前記被検者の脳又は神経に関する症状を判定する判定部と、
を備え、
前記撮像部は、携帯端末に実装され、
前記判定部は、前記携帯端末と通信可能なサーバコンピュータに実装されている、
診断支援システム。
【請求項2】
前記判定部は、前記被検者の症状の判定結果が既知である撮像データを教師データとして用いて深層学習を行うことにより、前記被検者の症状を判定する、
請求項1に記載の診断支援システム。
【請求項3】
前記判定部は、
前記撮像データを入力とするとともに前記被検者の症状の判定結果を出力とし、前記教師データを用いて学習された畳込みニューラルネットワークを用いて、前記被検者の症状を判定する、
請求項2に記載の診断支援システム。
【請求項4】
前記判定結果には、
前記被検者が健常者である可能性が高いこと、前記被検者が本態性振戦を罹患している可能性が高いこと、前記被検者が小脳障害を罹患している可能性が高いこと、の少なくとも1つが含まれる、
請求項3に記載の診断支援システム。
【請求項5】
前記判定部は、
前記撮像データに基づいて、前記基準線パターンと前記筆跡パターンとの誤差の総量と、前記基準線パターンと前記筆跡パターンとの全長の差との少なくとも一方を指標値として算出し、
算出された前記指標値に基づいて、前記被検者の症状を判定する、
請求項1に記載の診断支援システム。
【請求項6】
前記判定部は、
前記指標値が、第1の閾値より小さい場合、前記被検者が健常者である可能性が高いと判定し、
前記指標値が、前記第1の閾値以上第2の閾値未満の場合、前記被検者が本態性振戦を罹患している可能性が高いと判定し、
前記指標値が、前記第2の閾値以上の場合、前記被検者が小脳障害を罹患している可能性が高いと判定する、
請求項5に記載の診断支援システム。
【請求項7】
前記シートには、前記基準線パターンを内包する仮想的な矩形の頂点に位置合わせ用パターンが印刷されており、
前記撮像データには、前記筆跡パターンの画像とともに、前記位置合わせ用パターンの画像が含まれており、
前記撮像データにおける前記位置合わせ用パターンの画像の相対的な位置関係に基づいて、前記撮像データを補正する補正部を備え、
前記判定部は、前記補正部で補正された前記撮像データに基づいて、前記被検者の症状を判定する、
請求項1から6のいずれか一項に記載の診断支援システム。
【請求項8】
前記位置合わせ用パターンのうちの第1の位置合わせ用パターンは、グレースケールで表現した場合に第1の濃度で印刷され、残りの第2の位置合わせ用パターンは前記第1の濃度より低い第2の濃度で印刷されており、
前記基準線パターンは、グレースケールで表現した場合に、前記第2の濃度で印刷されており、
前記筆跡パターンは、グレースケールで表現した場合に、前記第1の濃度と前記第2の濃度との間の第3の濃度で描かれており、
前記補正部は、前記第1の位置合わせ用パターンの画像の輝度から、前記第2の位置合わせ用パターンの画像の輝度までの範囲の輝度の変化により前記筆跡パターンの画像を抽出しつつ、前記撮像データを二値化し、
前記判定部は、前記補正部で二値化された前記撮像データに基づいて、前記被検者が健常者であるか否かを判定する、
請求項7に記載の診断支援システム。
【請求項9】
前記基準線パターンは、螺旋である、
請求項1から8のいずれか一項に記載の診断支援システム。
【請求項10】
携帯端末として動作するコンピュータを、
基準線パターンが印刷され、被検者が筆記具を用いて前記基準線パターンをなぞって描いた筆跡パターンが形成されたシートを撮像する撮像部として機能させ、
前記携帯端末と通信可能なサーバコンピュータを、
前記撮像部で撮像された撮像データに基づいて、前記被検者の脳又は神経に関する症状を判定する判定部として機能させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断支援システム及びプログラムに関する。
【背景技術】
【0002】
「手の震え(振戦)」は、神経疾患を診断する上で重要な診察項目である。しかし、振戦には、病気が原因ではなく生理的な理由によるものも多いため、手の震えがあっても医療機関を受診するべきなのかどうか迷うことが多い。また、振戦が病的なものであるか否かを判定するには、神経内科医としての一定の経験が必要になり、精度の高い診断は、ごくごく限られた医師しかできないというのが実情であった。
【0003】
そのような実情から、振戦が診断・治療を要するものであるか否かを、定量的かつ簡易的に判定することができる診断支援システムの登場が望まれている。例えば、非特許文献1には、タブレットコンピュータのタッチパネル上にスタイラスペンで被検者に螺旋を描かせ、その描画結果に基づいて、被検者が健常者であるか否かの解析を行うシステムが開示されている。
【0004】
また、特許文献1には、汎用のコンピュータシステムにペンの描画を位置情報として読取る手段を取りつけ、被検者の描画作業の運動軌跡を時間経過情報とともにコンピュータに取りこんで、脳・神経系疾患の病状診断を支援する支援システムが開示されている。この支援システムでは、被検者の描画作業に関するパラメータと、そのパラメータに係る健常者の標準的数値又は脳・神経系疾病特有の現象・症状を表す数値とを比較表示する。
【先行技術文献】
【非特許文献】
【0005】
【文献】Jonathan A. Sisti, Brandon Christophe, Audrey Rakovich Seville, Andrew L.A. Garton, Vivek P. Gupta, Alexander J. Bandin, Qiping Yu, and Seth L. Pullman, "Computerized Spiral Analysis Using the iPad", HHS Public Access Auther manuscript J Neurosci Methods. Author manuscript; Published online 2016 Nov 10. doi: 10.1016/j.jneumeth.2016.11.004
【特許文献】
【0006】
【文献】特許第4524054号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記非特許文献1に開示されたシステムでは、タブレットコンピュータを揃えて、そのタブレットコンピュータに解析プログラムをインストールするなど、導入までに煩雑な作業を必要とする。また、このシステムで描かれる螺旋は、健常者でもその大きさや形はまちまちであり、そのことが定量的な診断の障害となる。さらに、このシステムでは、描画時の筆圧や描画速度なども考慮して診断が行われるので、複雑な計算を必要とするため、簡易的な判定には不向きである。このような背景から、このシステムの臨床現場への導入は進んでいないのが実情である。
【0008】
また、上記特許文献1に開示されたシステムは、被検者の描画作業に関するパラメータを健常者又は脳・神経系疾病特有のそれとを比較表示するだけであり、病状の診断自体は、実質的に医師に委ねられているのが実情である。
【0009】
本発明は、上記実情の下になされたものであり、被検者の症状をより正確かつ簡便に判定することができる診断支援システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明の第1の観点に係る診断支援システムは、
基準線パターンが印刷され、被検者が筆記具を用いて前記基準線パターンをなぞって描いた筆跡パターンが形成されたシートを撮像する撮像部と、
前記撮像部で撮像された撮像データに基づいて、前記被検者の脳又は神経に関する症状を判定する判定部と、
を備え、
前記撮像部は、携帯端末に実装され、
前記判定部は、前記携帯端末と通信可能なサーバコンピュータに実装されている。
【0011】
この場合、前記判定部は、前記被検者の症状の判定結果が既知である撮像データを教師データとして用いて深層学習を行うことにより、前記被検者の症状を判定する、
こととしてもよい。
【0012】
また、前記判定部は、
前記撮像データを入力とするとともに前記被検者の症状の判定結果を出力とし、前記教師データを用いて学習された畳込みニューラルネットワークを用いて、前記被検者の症状を判定する、
こととしてもよい。
【0013】
前記判定結果には、
前記被検者が健常者である可能性が高いこと、前記被検者が本態性振戦を罹患している可能性が高いこと、前記被検者が小脳障害を罹患している可能性が高いこと、の少なくとも1つが含まれる、
こととしてもよい。
【0014】
前記判定部は、
前記撮像データに基づいて、前記基準線パターンと前記筆跡パターンとの誤差の総量と、前記基準線パターンと前記筆跡パターンとの全長の差との少なくとも一方を指標値として算出し、
算出された前記指標値に基づいて、前記被検者の症状を判定する、
こととしてもよい。
【0015】
前記判定部は、
前記指標値が、第1の閾値より小さい場合、前記被検者が健常者である可能性が高いと判定し、
前記指標値が、前記第1の閾値以上第2の閾値未満の場合、前記被検者が本態性振戦を罹患している可能性が高いと判定し、
前記指標値が、前記第2の閾値以上の場合、前記被検者が小脳障害を罹患している可能性が高いと判定する、
こととしてもよい。
【0016】
前記シートには、前記基準線パターンを内包する仮想的な矩形の頂点に位置合わせ用パターンが印刷されており、
前記撮像データには、前記筆跡パターンの画像とともに、前記位置合わせ用パターンの画像が含まれており、
前記撮像データにおける前記位置合わせ用パターンの画像の相対的な位置関係に基づいて、前記撮像データを補正する補正部を備え、
前記判定部は、前記補正部で補正された前記撮像データに基づいて、前記被検者の症状を判定する、
こととしてもよい。
【0017】
前記位置合わせ用パターンのうちの第1の位置合わせ用パターンは、グレースケールで表現した場合に第1の濃度で印刷され、残りの第2の位置合わせ用パターンは前記第1の濃度より低い第2の濃度で印刷されており、
前記基準線パターンは、グレースケールで表現した場合に、前記第2の濃度で印刷されており、
前記筆跡パターンは、グレースケールで表現した場合に、前記第1の濃度と前記第2の濃度との間の第3の濃度で描かれており、
前記補正部は、前記第1の位置合わせ用パターンの画像の輝度から、前記第2の位置合わせ用パターンの画像の輝度までの範囲の輝度の変化により前記筆跡パターンの画像を抽出しつつ、前記撮像データを二値化し、
前記判定部は、前記補正部で二値化された前記撮像データに基づいて、前記被検者が健常者であるか否かを判定する、
こととしてもよい。
【0018】
前記基準線パターンは、螺旋である、
こととしてもよい。
【0019】
本発明の第2の観点に係るプログラムは、
携帯端末として動作するコンピュータを、
基準線パターンが印刷され、被検者が筆記具を用いて前記基準線パターンをなぞって描いた筆跡パターンが形成されたシートを撮像する撮像部として機能させ、
前記携帯端末と通信可能なサーバコンピュータを、
前記撮像部で撮像された撮像データに基づいて、前記被検者の脳又は神経に関する症状を判定する判定部として機能させる。
【発明の効果】
【0020】
本発明によれば、被検者の手元に、シートとそのシートを撮像可能なものがあるだけで被検者の症状の判定を行うことができる。また、本発明によれば、基準線パターンをなぞって描かれた筆跡パターンを用いるので、健常者であれば均一となる条件で被検者の症状を判定することができる。さらに、本発明によれば、被検者の症状の判定には筆跡パターンの撮像データのみが用いられる。そのため、被検者の症状をより正確かつ簡便に判定することができる。
【図面の簡単な説明】
【0021】
図1】本発明の実施の形態1に係る診断支援システムの構成を示す模式図である。
図2】シートに印刷されるパターンの一例を示す図である。
図3】(A)は、健常者が描いた筆跡パターンの一例を示す図である。(B)は、本態性振戦を罹患した被検者が描いた筆跡パターンの一例を示す図である。(C)は、小脳障害を罹患した被検者が描いた筆跡パターンの一例を示す図である。
図4】(A)は、基準線パターンと筆跡パターンとの誤差面積を示すグラフである。(B)は、基準線パターンの全長に対する筆跡パターンの全長との比を示すグラフである。
図5】(A)は、補正前の撮像データの一例を示す図である。(B)は、台形補正後の撮像データの一例を示す図である。(C)は、二値化後の撮像データの一例を示す図である。
図6】深層学習を行う構成を示す模式図である。
図7】携帯端末のハードウエア構成を示す図である。
図8】サーバコンピュータのハードウエア構成を示す図である。
図9図1の診断支援システムの処理の流れを示すフローチャートである。
図10】本発明の実施の形態2に係る診断支援システムにおいて、基準線パターンと筆跡パターンとの誤差を算出する流れを示す模式図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態について図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。
【0023】
実施の形態1
まず、本発明の実施の形態1について説明する。図1に示すように、本実施の形態に係る診断支援システム1では、シート2が用いられる。図2に示すように、シート2は、基準線パターンBLが印刷された用紙である。基準線パターンBLは、被検者Eが筆記具Fを用いて描く筆跡パターンWLの基準となる。本実施の形態では、基準線パターンBLは螺旋(渦巻き状の線)である。
【0024】
シート2には、基準線パターンBLの他に、4つの位置合わせ用パターンP1、P2、P3、P4が印刷されている。位置合わせ用パターンP1~P4は、基準線パターンBLを内包する仮想的な矩形の頂点に配置されている。位置合わせ用パターンP1~P4の位置関係は既知であり、位置合わせ用パターンP1~P4と基準線パターンBLとの位置関係も既知となっている。
【0025】
被検者Eは、筆記具F、例えば赤いマジックペンを用いて基準線パターンBLをなぞって螺旋を描く。これにより、筆跡パターンWLがシート2上に形成される。図3(A)に示すように、被検者Eが健常者である場合には、筆跡パターンWLは、基準線パターンBLとほぼ一致するようになる。
【0026】
しかしながら、図3(B)に示すように、被検者Eが本態性振戦を罹患している場合には、筆跡パターンWLは基準線パターンBLから小刻みにずれ、その全長(道のり)が長くなる傾向にある。また、図3(C)に示すように、被検者Eが小脳障害を罹患している場合には、筆跡パターンWLは基準線パターンBLから大幅にずれ、その全長は大幅に長くなる傾向にある。
【0027】
このように、被検者Eが健常者であるか否かによって、筆跡パターンWLには変化が現れる。この変化は、基準線パターンBLからのずれによって表される。
【0028】
基準線パターンBLからのずれを表す指標値として、例えば、基準線パターンBLと筆跡パターンWLとで囲まれた部分の面積がある。これを、誤差面積と呼ぶ。健常者(Normal;22人)、本態性振戦(ET)の罹患者(13人)、小脳障害(CD)の罹患者(16人)で誤差面積を実測したところ、データの集積結果は図4(A)に示すようになった。図4(A)に示すように、被検者Eが健常者である場合には、誤差面積は500~950mm2(第一、第二、第三四分位数は650、700、750mm2)に分布している。また、被検者Eが本態性振戦(ET)を罹患している場合には、誤差面積が500~1500mm2(第一、第二、第三四分位数は800、1050、1200mm2)に分布している。また、被検者Eが小脳障害(CD)を罹患している場合には、誤差面積が900~3000mm2(第一、第二、第三四分位数は1000、1300、1900mm2)に分布している。健常者と本態性振戦とでは5%水準で有意差が認められ、健常者と小脳障害、本態性振戦と小脳障害とでは、1%水準で有意差が認められた。
【0029】
また、基準線パターンBLからのずれを表す指標値としては、例えば、基準線パターンBLの全長と筆跡パターンWLの全長との違いがある。この違いは、基準線パターンBLの全長と、筆跡パターンWLの全長との比、すなわち筆跡全長[%]で表現することができる。健常者(Normal;22人)、本態性振戦(ET)の罹患者(13人)、小脳障害(CD)の罹患者(16人)で筆跡全長[%]を実測したところ、データの集積結果は図4(B)に示すようになった。図4(B)に示すように、被検者Eが健常者である場合には、筆跡全長がほぼ98~103%(第一、第二、第三四分位数が101%程度)となっており、被検者Eが本態性振戦(ET)を罹患している場合には、筆跡全長が98~110%(第一、第二、第三四分位数が103、104、109%)となっている。また、被検者Eが小脳障害(CD)を罹患している場合には、筆跡全長が100~145%(第一、第二、第三四分位数が105、110、120%)となっている。健常者と本態性振戦とでは1%水準で有意差が認められ、本態性振戦と小脳障害とでは、5%水準で有意差が認められた。
【0030】
これらのデータの集積結果は、基準線パターンBLからの筆跡パターンWLのずれを解析することにより(上述の誤差面積又は筆跡全長[%]の指標値を用いることにより)、被検者Eが健常者であるか否か、さらには、本態性振戦を罹患しているか否か、小脳障害を罹患しているか否かの判定が可能であることを示唆している。
【0031】
図1に示すように、被検者Eの症状の判定を行うべく、診断支援システム1は、携帯端末10と、サーバコンピュータ20との組み合わせで構築されている。携帯端末10は、例えばスマートフォンであるがこれに限定されず、撮像機能と通信機能とを有する端末(例えばデジタルカメラ又はタブレットコンピュータ)であってもよい。携帯端末10と、サーバコンピュータ20とは、インターネット等のネットワーク15を介して接続され、互いに通信可能となっている。
【0032】
図1に示すように、携帯端末10には、診断支援システム1の構成要素として、撮像部10aと、表示部10bと、送受信部10cとが実装されている。また、サーバコンピュータ20には、診断支援システム1の構成要素として、補正部20aと、判定部20bと、送受信部20cとが実装されている。
【0033】
携帯端末10に実装された撮像部10aは、被検者Eが筆記具Fを用いて基準線パターンBLをなぞって描いた筆跡パターンWLが形成されたシート2を撮像する。
【0034】
携帯端末10に実装された表示部10bは、判定結果3を表示する。
【0035】
携帯端末10に実装された送受信部10cは、サーバコンピュータ20とのデータの送受信を行う。具体的には、送受信部10cは、シート2の撮像結果である撮像データ2aを、ネットワーク15を介して、サーバコンピュータ20に送信する。さらに、送受信部10cは、サーバコンピュータ20からネットワーク15を介して送信された判定結果3を受信する。
【0036】
サーバコンピュータ20に実装された補正部20aは、サーバコンピュータ20に送られた撮像データ2aの補正を行う。この補正は、以下の2段階で行われる。
【0037】
(A)傾き補正
シート2と携帯端末10との撮影時の位置関係によっては、シート2の撮像データ2aは、図5(A)に示すような台形状又は平行四辺形状となる。撮像データ2aには、筆跡パターンWLの画像WLaとともに、位置合わせ用パターンP1、P2、P3、P4の画像P1a、P2a、P3a、P4aが含まれている。補正部20aは、撮像データ2aにおける位置合わせ用パターンP1~P4の画像P1a~P4aの相対的な位置関係に基づいて、図5(A)に示す撮像データ2aを図5(B)に示す撮像データ2bに補正(傾き補正)する。この補正は、撮像データ2aにおける4つの位置合わせ用パターンP1~P4の画像P1a、P2a、P3a、P4aの位置が、設計上の位置合わせ用パターンP1~P4の画像P1b、P2b、P3b、P4bの位置に合致するように、撮像データ2aの各画素の位置を変更することにより行われる。これにより、撮像データ2aの基準線パターンBLの画像BLa、筆跡パターンWLの画像WLaは、撮像データ2bの基準線パターンBLの画像BLb、筆跡パターンWLの画像WLbに変換される。
【0038】
(B)撮像データの二値化
被検者Eが健常者であるか否かは、筆跡パターンWLに現れている。そこで、補正部20aは、基準線パターンBLの画像BLbを消去して筆跡パターンWLの画像WLbを抽出して、筆跡パターンWLの画像WLcが二値化された撮像データ2cを得る。
【0039】
ここで、図2に示すように、4つの位置合わせ用パターンP1~P4のうち、位置合わせ用パターン(第1の位置合わせ用パターン)P1~P3はグレースケールで表現した場合に第1の濃度(例えば黒)で印刷されており、残りの位置合わせ用パターン(第2の位置合わせ用パターン)P4は第1の濃度より低い第2の度(白と黒の間の色、例えば薄い灰色)で印刷されている。また、基準線パターンBLは、グレースケールで表現した場合に、位置合わせ用パターンP4と同じ第2の濃度(薄い灰色)で印刷されている。
【0040】
さらに、筆跡パターンWLは、グレースケールで表現した場合に、第1の濃度と第2の濃度との間の第3の濃度となる筆記具F(赤いマジックペン)で描かれている。このため、基準線パターンBLと、筆跡パターンWLとは区別可能となっている。
【0041】
補正部20aは、位置合わせ用パターンP1~P3の画像の輝度から、位置合わせ用パターンP4の画像の輝度までの範囲の輝度の変化により筆跡パターンWLの画像WLcを抽出しつつ、図5(B)に示す撮像データ2bを二値化し、図5(C)に示す撮像データ2cを得る。すなわち、撮像データ2bは、筆跡パターンWLの画像WLcが黒となり、他の部分が白となる二値化画像データとなる。
【0042】
サーバコンピュータ20に実装された判定部20bは、撮像部10aで撮像され補正部20aで台形補正され二値化された撮像データ2cに基づいて、被検者Eが健常者である可能性が高いか、本態性振戦を罹患している可能性が高いか、小脳障害を罹患している可能性が高いかを判定する。本実施の形態では、判定部20bは、被検者Eの症状の判定結果が既知である(症状の診断結果が確定している)撮像データを教師データとして用いて深層学習を行うことにより、被検者Eの症状を判定する。
【0043】
判定部20bは、撮像データ2cを入力とするとともに診断結果を出力とし、教師データを用いて学習された畳込みニューラルネットワーク21を用いて、被検者Eの診断が必要であるか否かを判定する。図6には、この畳込みニューラルネットワーク21の一例が示されている。
【0044】
図6に示すように、畳込みニューラルネットワーク21は、入力層、中間層、出力層の3層で構成されている。入力層は、撮像データ2cの画素P(m,n)の数だけ設けられており、各画素P(m,n)の値、0又は1が入力される。画素P(m,n)の数は、M×N(64×64)個である。出力層には、健常者の可能性が高いと判定した場合、本態性振戦の可能性が高いと判定した場合、小脳障害の可能性が高いと判定した場合の3つのパーセプトロンが設けられている。出力層では、いずれかのパーセプトロンの出力が1となり、残りは0となる。
【0045】
入力層に撮像データの各画素P(m,n)の値が入力されれば、入力層からの出力が中間層に伝えられ、中間層の出力が出力層に伝えられて、被検者Eが健常者である可能性が高いか、本態性振戦である可能性が高いか、小脳障害である可能性が高いかが出力される。すなわち、判定結果3は、被検者Eが健常者である可能性が高いか、被検者Eが本態性振戦を罹患している可能性が高いか、被検者Eが小脳障害を罹患している可能性が高いか、のいずれかとなる。
【0046】
パラメータ調整部22は、教師データ23を用いて畳込みニューラルネットワーク21を学習させる。教師データ23としては、例えば、図4(A)及び図4(B)のグラフを算出するのに用いられた撮像データ2cと、その被検者Eの医師による診断結果(判定結果)とを対応付けられたものが用いられる。深層学習の方法としては、例えば、出力層の出力と教師データ23との誤差を表す関数を誤差関数として設定し、誤差関数を入力層に向かって逆伝播させていき、各層のパラメータに関する誤差関数の勾配を求めていく誤差逆伝搬法を用いることができる。
【0047】
サーバコンピュータ20に実装された送受信部20cは、携帯端末10とのデータ送受信を行う。具体的には、送受信部20cは、携帯端末10からネットワーク15を介して送られた撮像データ2aを受信する。さらに、送受信部20cは、判定部20bの判定結果3を、ネットワーク15を介して携帯端末10に送る。
【0048】
図7に示すように、携帯端末10として動作するコンピュータは、制御部31、主記憶部32、外部記憶部33、カメラ34、タッチパネル35及び無線通信インターフェイス36をハードウエア構成として備えている。主記憶部32、外部記憶部33、カメラ34、タッチパネル35及び無線通信インターフェイス36は、いずれも内部バス30を介して制御部31に接続されている。
【0049】
制御部31は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部33に記憶されているプログラム39に従って撮像部10a、表示部10b及び送受信部10cの処理を実行することにより、ハードウエアとソフトウエアが協働して、図1に示す携帯端末10の機能が実現される。
【0050】
主記憶部32は、RAM(Random-Access Memory)等から構成されている。主記憶部32には、外部記憶部33に記憶されているプログラム39がロードされる。この他、主記憶部32は、制御部31の作業領域(データの一時記憶領域)として用いられる。
【0051】
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部33には、制御部31に実行させるためのプログラム39があらかじめ記憶されている。また、外部記憶部33は、制御部31の指示に従って、このプログラム39の実行の際に用いられるデータを制御部31に供給し、制御部31から供給されたデータを記憶する。
【0052】
カメラ34は、携帯端末10に内蔵されている。カメラ34は、光学系と撮像素子とを有する。光学系を介した光を撮像素子で受光することにより撮像データ2aが得られる。撮像データ2aは、外部記憶部33に記憶される。
【0053】
タッチパネル35は、操作入力可能な表示画面である。このタッチパネル35への操作入力は、制御部31に送られ、制御部31は、その操作入力に従って処理を行う。この処理に従って、制御部31は、表示画面に画像を表示させる。
【0054】
無線通信インターフェイス36は、例えばネットワーク15に接続された近くのWiFiルータと無線接続するインターフェイス回路である。ネットワーク15を介したサーバコンピュータ20とのデータ通信は、この無線通信インターフェイス36を介して行われる。
【0055】
携帯端末10では、制御部31がプログラム39を実行することにより、撮像部10a、表示部10b及び送受信部10cの機能が実現される。具体的には、制御部31、主記憶部32、外部記憶部33、カメラ34、タッチパネル35によって撮像部10aの機能が実現され、制御部31、主記憶部32、外部記憶部33、タッチパネル35によって表示部10bの機能が実現され、制御部31、主記憶部32、外部記憶部33、無線通信インターフェイス36によって送受信部10cの機能が実現される。
【0056】
図8に示すように、サーバコンピュータ20として動作するコンピュータは、制御部41、主記憶部42、外部記憶部43及び通信インターフェイス44をハードウエア構成として備えている。主記憶部42、外部記憶部43及び通信インターフェイス44はいずれも内部バス40を介して制御部41に接続されている。
【0057】
制御部41は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部43に記憶されているプログラム49に従って補正部20a、判定部20b及び送受信部20cの処理を実行することにより、ハードウエアとソフトウエアが協働して、図1に示すサーバコンピュータ20の機能が実現される。
【0058】
主記憶部42は、RAM(Random-Access Memory)等から構成されている。主記憶部42には、外部記憶部43に記憶されているプログラム49がロードされる。この他、主記憶部42は、制御部41の作業領域(データの一時記憶領域)として用いられる。
【0059】
外部記憶部43は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部43には、制御部41に実行させるためのプログラム49があらかじめ記憶されている。また、外部記憶部43は、制御部41の指示に従って、このプログラム49の実行の際に用いられるデータを制御部41に供給し、制御部41から供給されたデータを記憶する。
【0060】
通信インターフェイス44は、ネットワーク15を介してデータ通信を行うための通信インターフェイス回路である。
【0061】
サーバコンピュータ20では、制御部41がプログラム49を実行することにより、補正部20a及び判定部20bの機能が実現される。具体的には、制御部41、主記憶部42、外部記憶部43によって補正部20a及び判定部20bの機能が実現され、制御部41、主記憶部42、外部記憶部43、通信インターフェイス44によって送受信部20cの機能が実現される。
【0062】
次に、本発明の実施の形態に係る診断支援システム1の動作について説明する。
【0063】
図9に示すように、被検者Eがシート2に筆跡パターンWLを描いた後、携帯端末10において、診断支援システム1のアプリケーションが起動され、撮像部10aがシート2を撮像する(ステップS11)。具体的には、シート2の筆跡パターンWLが描かれた面が撮像視野内に収まった状態で、タッチパネル35上に表示された撮像ボタンが押下されると、制御部31は、カメラ34を駆動してシート2を撮像する。制御部31は、シート2の撮像データ2aを、外部記憶部33に記憶する。
【0064】
続いて、携帯端末10の送受信部10cは、撮像データ2aを、サーバコンピュータ20へ送信する(ステップS12)。具体的には、制御部31は、無線通信インターフェイス36を介してネットワーク15に接続する。続いて、制御部31は、外部記憶部33から撮像データ2aを読み出して、ネットワーク15を介してサーバコンピュータ20に送信する。
【0065】
続いて、携帯端末10の送受信部10cは、判定結果3の受信待ちとなる(ステップS13;No)。具体的には、制御部31は、無線通信インターフェイス36を介して、サーバコンピュータ20から判定結果3が送られてくるのを待っている。
【0066】
一方、サーバコンピュータ20において、送受信部20cは、携帯端末10から撮像データ2aを受信するまで待つ、すなわち受信待ちとなっている(ステップS21;No)。
【0067】
携帯端末10から撮像データ2aを受信すると(ステップS21;Yes)、サーバコンピュータ20の補正部20aは、撮像データ2aの補正を行う(ステップS22)。具体的には、制御部41は、携帯端末10から受信した撮像データ2aを読み込んで、図5(A)に示す撮像データ2aを図5(B)に示す撮像データ2bに変換し、撮像データ2bを図5(C)に示す撮像データ2cに変換する。
【0068】
さらに、サーバコンピュータ20の判定部20bは、判定処理を行う(ステップS23)。具体的には、制御部41は、図6に示すように、撮像データ2cを畳込みニューラルネットワーク21に入力して、その出力を判定結果として得る。判定結果は、外部記憶部43に記憶される。
【0069】
続いて、サーバコンピュータ20の送受信部20cは、判定結果3を携帯端末10に送信する(ステップS24)。具体的には、制御部41は、通信インターフェイス44を介して、ネットワーク15に接続し、判定結果3を、外部記憶部43から読み込んで、携帯端末10に送信する。
【0070】
携帯端末10の送受信部10cがサーバコンピュータ20から判定結果3を受信すると(ステップS13;Yes)、携帯端末10の表示部10bは、判定結果を表示する(ステップS14)。具体的には、制御部31は、無線通信インターフェイス36を介して判定結果3を受信し、受信した判定結果3をタッチパネル35に表示する。タッチパネル35に表示された判定結果3を見れば、被検者Eが健常者である可能性が高いか、本態性振戦を罹患している可能性が高いか、小脳障害を罹患している可能性が高いかを知ることができる。
【0071】
実施の形態2
次に、本発明の実施の形態2について説明する。本実施の形態に係る診断支援システム1の構成は、図1に示す上記実施の形態1に係る診断支援システム1の構成と同じである。本実施の形態に係る診断支援システム1は、判定部20bの動作が上記実施の形態1の判定部20bと異なる。
【0072】
本実施の形態では、判定部20bは、撮像データ2aに基づいて、基準線パターンBLと筆跡パターンWLとの誤差の総量と、基準線パターンBLと筆跡パターンWLとの全長の差との少なくとも一方を指標値として算出する。さらに、判定部20bは、算出されたこれらの指標値に基づいて、被検者Eの症状を判定する。
【0073】
まず、基準線パターンBLと筆跡パターンWLとの誤差の総量の算出方法について説明する。図10に示すように、基準線パターンBLには、微小な間隔dLで、点h(k=0~N)が規定されている。ここで、基準線パターンBLにおいて、螺旋の中心の端部を原点Oとする。原点Oと各点hを通過する直線を引いた場合、基準線パターンBLと筆跡パターンWLとがずれていれば、その点は点hとは異なる点Wとなる。判定部20bは、点hと点Wとの距離を誤差として算出する。判定部20bは、点h、・・・、点hについてそれぞれ点hと点Wとの距離を求め、その距離を積算し、積算結果を、面積誤差として算出する。
【0074】
図4(A)に示すように、誤差面積は、健常者、本態性振戦、小脳障害の順に大きくなる傾向がある。そこで、判定部20bは、第1の閾値T1を基準として、誤差面積が第1の閾値T1より小さい場合には、被検者Eが健常者である可能性が高いと判定する。また、判定部20bは、第1の閾値T1と第2の閾値T2との間にあるか否かにより、例えば誤差面積が第1の閾値T1以上第2の閾値T2未満である場合には、被検者Eが本態性振戦を罹患している可能性があると判定する。さらに、判定部20bは、第2の閾値T2を基準として、誤差面積が第2の閾値T2以上である場合には、小脳障害を罹患している可能性があると判定する。第1の閾値T1は、例えば800mm2とすることができ、第2の閾値T2を例えば1200mm2とすることができる。第1の閾値T1、第2の閾値T2については他の数値を設定することも可能である。
【0075】
次に、基準線パターンBLの全長と筆跡パターンWLの全長との違いの算出方法について説明する。筆跡パターンWLを微小線分dL毎に区切り、そのdLを積算する。その積算結果が、筆跡パターンWLの全長となる。dLとしては、直線に近似できる長さとすればよい。基準線パターンBLの全長は既知となっており、筆跡パターンWLの全長がわかれば、基準線パターンBLの全長に対する筆跡パターンWLの全長との比、すなわち筆跡全長[%]を求めることができる。
【0076】
図4(B)に示すように、筆跡全長[%]は、健常者、本態性振戦、小脳障害の順に大きくなる傾向がある。そこで、判定部20bは、第1の閾値S1を基準として、筆跡全長が第1の閾値S1より小さい場合には、被検者Eが健常者である可能性が高いと判定する。また、判定部20bは、第1の閾値S1と第2の閾値S2との間にあるか否かにより、例えば筆跡全長が第1の閾値S1以上第2の閾値S2未満である場合には、被検者Eが本態性振戦を罹患している可能性があると判定する。さらに、判定部20bは、第2の閾値S2を基準として、筆跡全長が第2の閾値S2以上である場合には、小脳障害を罹患している可能性があると判定する。第1の閾値S1は、例えば103%とすることができ、第2の閾値T2を例えば105%とすることができる。第1の閾値S1、第2の閾値S2については他の数値を設定することも可能である。
【0077】
なお、判定部20bは、誤差面積及び筆跡全長[%]の両方を用いて、上述の判定を行うようにしてもよい。このとき、例えば、誤差面積では、本態性振戦の可能性があると判定され、筆跡全長[%]では、小脳障害の可能性があると判定された場合には、判定結果を両方の可能性があるとすることができる。
【0078】
以上詳細に説明したように、本実施の形態によれば、被検者Eの手元に、シート2とそのシート2を撮像可能な携帯端末10があるだけで被検者Eの症状の判定を行うことができる。また、本実施の形態によれば、基準線パターンBLをなぞって描かれた筆跡パターンWLを用いるので、健常者であれば均一となる条件で被検者Eの症状を判定することができる。さらに、本発明によれば、被検者Eの症状の判定には筆跡パターンWLの撮像データ2aのみが用いられる。そのため、被検者Eの症状をより正確かつ簡便に判定することができる。
【0079】
また、本実施の形態によれば、被検者Eが健常者である可能性が高いか否かだけでなく、被検者Eが本態性振戦を罹患している可能性が高いか否か、被検者Eが小脳障害を罹患している可能性が高いか否かを判定する。このようにすれば、被検者Eの疾患の種類についてもより正確かつ簡便に判定することができる。
【0080】
本実施の形態によれば、携帯端末10には、シート2を撮像する撮像部10aと、判定結果3を表示する表示部10bと、データ送受信を行う送受信部20cとが備えられていればよく、被検者Eの症状の判定などの複雑な処理を行うソフトウエアをインストールする必要はない。また、本実施の形態によれば、シート2に描かれた筆跡パターンWLだけで判定を行うので、簡易的な判定に向いているうえ、判定に要する時間を短縮することが可能となる。
【0081】
さらに、携帯端末10とサーバーコンピュータ20との間で送受信される撮像データ2a及び判定結果3は、匿名化することができるので、個人情報の流出も防止することが可能となる。
【0082】
診断支援システム1の判定結果は、一般の人が、自身が健常者なのか、要受診なのかを判断するのに用いることができるし、神経科医でない医者が患者を診断する診断材料として用いることができる。
【0083】
なお、上記実施の形態では、被検者Eが健常者である可能性が高いか、本態性振戦である可能性が高いか、小脳障害である可能性が高いかを判定したが、本発明はこれには限られない。被検者Eが健常者である可能性が高いかを判定するだけでもよいし、本態性振戦である可能性が高いか否か、小脳障害である可能性が高いか否かだけを判定するだけでもよい。
【0084】
なお、上記実施の形態では、被検者Eが健常者である可能性が高いか、本態性振戦である可能性が高いか、小脳障害である可能性が高いかを判定したが、本発明はこれには限られない。それぞれの可能性を確率で表現するようにしてもよい。例えば、健常者である可能性が80%、本態性振戦を罹患している可能性が20%などと表示するようにしてもよい。この確率は、図4(A)及び図4(B)などの統計データから求めることができる。
【0085】
診断支援システム1で判定可能な症状には、本態性振戦及び小脳障害には限られない。本発明は、例えば、他の不随運動、例えばミオクローヌス、舞踏症などの判定にも適用可能である。
【0086】
また、上記実施の形態1では、畳込みニューラルネットワーク21の層数を3層としたが、本発明はこれには限られない。畳込みニューラルネットワーク21の層数は4層以上であってもよい。また、畳込みニューラルネットワーク21としてR-CNN(Regions with CNN feature)やFast R-CNN、SegNet、U-Netなど、応用的な畳込みニューラルネットワークを用いるようにしてもよい。また、学習方法も、誤差逆伝播法に限られず、他の方法を適用することが可能である。
【0087】
また、上記実施の形態1では、畳込みニューラルネットワーク21へ画像そのものを入力したが、本発明はこれには限られない。上記実施の形態2で求めた誤差面積及び筆跡全長[%]などの筆跡パターンWLのパラメータを入力としてもよい。
【0088】
また、上記実施の形態2では、基準線パターンBLに対する筆跡パターンWLの誤差面積及び筆跡全長[%]を指標値として、判定を行った。しかしながら、本発明はこれには限られない。他の指標、例えば、基準線パターンBLに対する筆跡パターンWLのずれ方が小刻みであるか否かを示す指標値(例えば基準線パターンBLと筆跡パターンWLとが交差する交差数)を用いて判定を行うようにしてもよい。
【0089】
なお、上記各実施の形態に係る診断支援システム1では、基準線パターンBLを螺旋(渦巻き)としたが、本発明はこれには限られない。基準線パターンBLは直線であってもよいし、円、四角形又は三角形であってもよい。基準線パターンBLとしては、螺旋又は円弧のように、描線の方向が様々な方向に変化する図形であるのが望ましい。
【0090】
その他、携帯端末10及びサーバコンピュータ20のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【0091】
制御部31、主記憶部32、外部記憶部33、カメラ34、タッチパネル35及び無線通信インターフェイス36、内部バス30などから構成される携帯端末10の処理を行う中心となる部分は、上述のように、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。制御部41、主記憶部42、外部記憶部43、及び通信インターフェイス44、内部バス40などから構成される携帯端末10の処理を行う中心となる部分も同様である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する携帯端末10及びサーバコンピュータ20を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで診断支援システム1を構成してもよい。
【0092】
コンピュータの機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0093】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0094】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0095】
本発明は、医療分野において利用することができる。
【符号の説明】
【0096】
1 診断支援システム、2 シート、2a,2b,2c 撮像データ、3 判定結果、10 携帯端末、10a 撮像部、10b 表示部、10c 送受信部、15 ネットワーク、20 サーバコンピュータ、20a 補正部、20b 判定部、20c 送受信部、21 畳込みニューラルネットワーク、22 パラメータ調整部、23 教師データ、30 内部バス、31 制御部、32 主記憶部、33 外部記憶部、34 カメラ、35 タッチパネル、36 無線通信インターフェイス、39 プログラム、40 内部バス、41 制御部、42 主記憶部、43 外部記憶部、44 通信インターフェイス、49 プログラム、BL 基準線パターン、BLa,BLb 画像、E 被検者、F 筆記具、P1、P2、P3、P4 位置合わせ用パターン、P1a,P2a,P3a,P4a,P1b,P2b,P3b,P4b 画像、WL 筆跡パターン、WLa,WLb,WLc 画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10