(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-30
(45)【発行日】2024-02-07
(54)【発明の名称】判定装置、モデル生成装置、判定方法及び判定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240131BHJP
A61B 10/00 20060101ALI20240131BHJP
【FI】
G06T7/00 350C
A61B10/00 H
(21)【出願番号】P 2020029654
(22)【出願日】2020-02-25
【審査請求日】2023-02-06
【新規性喪失の例外の表示】特許法第30条第2項適用 ・令和1年10月26日、丸田純平、内田健太郎、松田泰範、黒住日出夫、野木怜、赤田聡、及び井上幸紀が、アジアオセアニア老年医学会にて、丸田純平及び内田健太郎の発明した、畳み込みニューラルネットワークを使用して、五角形模写試験により得られた模写線図から脳機能の能力レベルを判定する方法についてポスター発表により公開。
(73)【特許権者】
【識別番号】519135633
【氏名又は名称】公立大学法人大阪
(74)【代理人】
【識別番号】100124039
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100179213
【氏名又は名称】山下 未知子
(74)【代理人】
【識別番号】100170542
【氏名又は名称】桝田 剛
(72)【発明者】
【氏名】丸田 純平
(72)【発明者】
【氏名】内田 健太郎
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開2014-138873(JP,A)
【文献】特許第6528024(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
検査対象者に対して図形の模写試験を実施した結果として生成された試験画像を取得する画像取得部と、
前記検査対象者の画力レベルを示す画力情報を取得するレベル取得部と、
取得された前記試験画像及び前記画力情報を機械学習により生成された訓練済みの判定モデルに入力し、当該訓練済みの判定モデルの演算処理を実行することで、前記検査対象者の脳機能の能力レベルを判定した結果を取得する判定部と、
前記能力レベルを判定した結果を示す情報を出力する出力部と、
を備え、
前記訓練済みの判定モデルは、学習データを使用した機械学習により、前記図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築されたものである、
判定装置。
【請求項2】
前記画力情報は、オペレータの入力により取得される、
請求項1に記載の判定装置。
【請求項3】
前記画力レベルは、前記検査対象者の画力に関する属性から特定される、
請求項1又は2に記載の判定装置。
【請求項4】
前記画力レベルは、前記検査対象者により描画された参考画像から特定される、
請求項1から3のいずれか1項に記載の判定装置。
【請求項5】
前記レベル取得部は、他の学習データを使用した機械学習により、参考画像から画力レベルを特定するように構築された訓練済みの特定モデルを有し、
前記レベル取得部は、前記検査対象者の前記参考画像を前記訓練済みの特定モデルに入力し、前記訓練済みの特定モデルの演算処理を実行することで、特定された前記画力レベルを示す前記画力情報を取得する、
請求項4に記載の判定装置。
【請求項6】
前記判定モデルは、畳み込みニューラルネットワークにより構成される、
請求項1から5のいずれか1項に記載の判定装置。
【請求項7】
被験者に対して模写試験を実施した結果として生成された学習試験画像、前記被験者の画力レベルを示す学習画力情報、及び前記被験者の脳機能の能力レベルを示す正解ラベルの組み合わせによりそれぞれ構成される複数の学習データセットを取得するデータ取得部と、
取得された複数の学習データセットを使用して、判定モデルの機械学習を実施する学習処理部であって、機械学習を実施することは、前記各学習データセットについて、前記学習試験画像及び前記学習画力情報を前記判定モデルに入力することで前記判定モデルから取得される前記被験者の脳機能の能力レベルを判定した結果が前記正解ラベルに適合するように前記判定モデルを訓練することにより構成される、学習処理部と、
を備える、
モデル生成装置。
【請求項8】
前記データ取得部は、被験者により描画された学習参考画像、及び前記被験者の画力レベルを示す他の正解ラベルによりそれぞれ構成される複数の他の学習データセットを更に取得し、
前記学習処理部は、取得された複数の他の学習データセットを使用して、特定モデルの機械学習を更に実施し、
前記特定モデルの機械学習を実施することは、前記各他の学習データセットについて、前記学習参考画像を前記特定モデルに入力することで前記特定モデルから取得される前記被験者の画力レベルを特定した結果が前記他の正解ラベルに適合するように前記特定モデルを訓練することにより構成される、
請求項7に記載のモデル生成装置。
【請求項9】
前記判定モデルは、畳み込みニューラルネットワークにより構成される、
請求項7又は8に記載のモデル生成装置。
【請求項10】
コンピュータが、
検査対象者に対して図形の模写試験を実施した結果として生成された試験画像を取得するステップと、
前記検査対象者の画力レベルを示す画力情報を取得するステップと、
取得された前記試験画像及び前記画力情報を機械学習により生成された訓練済みの判定モデルに入力し、当該訓練済みの判定モデルの演算処理を実行することで、前記検査対象者の脳機能の能力レベルを判定した結果を取得するステップであって、前記訓練済みの判定モデルは、学習データを使用した機械学習により、前記図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築されたものである、ステップと、
前記能力レベルを判定した結果を示す情報を出力するステップと、
を実行する、
判定方法。
【請求項11】
コンピュータに、
検査対象者に対して図形の模写試験を実施した結果として生成された試験画像を取得するステップと、
前記検査対象者の画力レベルを示す画力情報を取得するステップと、
取得された前記試験画像及び前記画力情報を機械学習により生成された訓練済みの判定モデルに入力し、当該訓練済みの判定モデルの演算処理を実行することで、前記検査対象者の脳機能の能力レベルを判定した結果を取得するステップであって、前記訓練済みの判定モデルは、学習データを使用した機械学習により、前記図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築されたものである、ステップと、
前記能力レベルを判定した結果を示す情報を出力するステップと、
を実行させるための、
判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、モデル生成装置、判定方法及び判定プログラムに関する。
【背景技術】
【0002】
従来、大脳高次の脳機能を客観的及び定量的に診断する方法として、立体透視図、交差する2つの五角形等の図形を検査対象者に模写させ、得られた画像において適切にその図形が模写されているか否かに応じて脳機能の能力レベルを診断する方法が知られている。特許文献1には、この診断方法に利用可能な診断装置が提案されている。具体的には、特許文献1で提案される診断装置は、被診断者が立体透視斜視線図を模写することで生成された模写線図の二次元座標データを取得し、取得した模写線図の二次元座標コードの対称性を数値化することで被診断者の立体把握能力を測定する。当該診断装置によれば、被診断者に対して立体透視図の模写による試験を実施し、被診断者の高次脳機能の能力レベルを診断することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本件発明者は、従来の診断方法には次のような問題点があることを見出した。すなわち、検査対象者の画力レベルが適正であれば、図形を模写する能力は、脳機能の能力レベルに依存するため、模写により得られた画像から検査対象者の脳機能の能力レベルを適切に判定可能である。しかしながら、検査対象者の画力レベルが適正ではない場合、その画力レベルが模写画像に反映されてしまい、脳機能の能力レベルを適切に判定できない可能性がある。具体的には、検査対象者の脳機能の能力レベルは低下していないにも関わらず、画力レベルが低いことで、脳機能の能力レベルが低下していると誤判定してしまう可能性がある。
【0005】
図1A~
図1Cは、MMSE(Mini-Mental State Examination)の交差する2つの五角形を模写する試験に関して、画力レベルが低いことでそのままの評価基準では脳機能の能力が低いと判定される症例の一例を示す。
図1A~
図1Cの模写画像は、大阪市立大学附属病院において無作為に抽出した患者から得られたものである。MMSEの評価基準では、
図1A~
図1Cの各患者の脳機能の能力レベルは低下していると判定された。しかしながら、各患者の脳機能の能力レベルは実際には低下しておらず、模写試験の実施の際に、各患者の画力レベルが、手の不全麻痺等により、認知機能と無関係に低下しており、これが影響して誤判定されたことが分かった。すなわち、これらの症例から、検査対象者の脳機能の能力レベルは低下していないにも関わらず、画力レベルが低いことで、脳機能の能力レベルが低下していると誤判定してしまう可能性があり、画力レベルに応じて判定結果を補正することで、誤判定を抑制できることが分かった。
【0006】
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、検査対象者の脳機能の能力レベルをより正確に判定するための技術を提供することである。
【課題を解決するための手段】
【0007】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【0008】
すなわち、本発明の一側面に係る判定装置は、検査対象者に対して図形の模写試験を実施した結果として生成された試験画像を取得する画像取得部と、検査対象者の画力レベルを示す画力情報を取得するレベル取得部と、取得された試験画像及び画力情報を機械学習により訓練済みの判定モデルに入力し、当該訓練済みの判定モデルの演算処理を実行することで、検査対象者の脳機能の能力レベルを判定した結果を取得する判定部と、能力レベルを判定した結果を示す情報を出力する出力部と、を備える。前記訓練済みの判定モデルは、学習データを使用した機械学習により、前記図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築されたものである。
【0009】
当該構成では、機械学習により生成された訓練済みの判定モデルの入力に、図形の模写試験を実施した結果として得られた試験画像に加えて、検査対象者の画力レベルを示す画力情報を用いる。すなわち、判定モデルは、試験画像及び画力情報の入力を受け付けるように構成される。これにより、模写試験の結果のみではなく、画力レベルに応じて、検査対象者の脳機能の能力レベルを判定することができる。その結果、脳機能の能力レベルは低下していないにも関わらず、画力レベルが低いことで、脳機能の能力レベルが低下していると誤判定してしまうのを抑制することができる。したがって、当該構成によれば、検査対象者の脳機能の能力レベルをより正確に判定することができる。
【0010】
上記一側面に係る判定装置において、画力情報は、オペレータの入力により取得されてよい。上記一側面に係る判定装置において、画力レベルは、検査対象者の画力に関する属性から特定されてよい。また、上記一側面に係る判定装置において、検査対象者により描画された参考画像から特定されてもよい。上記一側面に係る判定装置において、参考画像から画力レベルを特定する場合、上記レベル取得部は、他の学習データを使用した機械学習により、参考画像から画力レベルを特定するように構築された訓練済みの特定モデルを有してもよい。そして、上記レベル取得部は、検査対象者の前記参考画像を前記訓練済みの特定モデルに入力し、訓練済みの特定モデルの演算処理を実行することで、特定された画力レベルを示す画力情報を取得してもよい。また、上記一側面に係る判定装置において、畳み込みニューラルネットワークにより構成されてよい。各構成によれば、検査対象者の脳機能の能力レベルをより正確にかつ適切に判定可能な判定装置を提供することができる。
【0011】
本発明の形態は、上記判定装置の形態に限られなくてよい。本発明の一側面は、上記判定装置で使用可能な訓練済みの判定モデル及び訓練済みの特定モデルの少なくともいずれかを生成するモデル生成装置であってよい。なお、モデル生成装置は、学習装置と読み替えられてよい。
【0012】
例えば、本発明の一側面に係るモデル生成装置は、被験者に対して模写試験を実施した結果として生成された学習試験画像、被験者の画力レベルを示す学習画力情報、及び被験者の脳機能の能力レベルを示す正解ラベルの組み合わせによりそれぞれ構成される複数の学習データセットを取得するデータ取得部と、取得された複数の学習データセットを使用して、判定モデルの機械学習を実施する学習処理部であって、機械学習を実施することは、各学習データセットについて、学習試験画像及び学習画力情報を判定モデルに入力することで判定モデルから取得される被験者の脳機能の能力レベルを判定した結果が正解ラベルに適合するように判定モデルを訓練することにより構成される、学習処理部と、を備える。
【0013】
上記一側面に係るモデル生成装置において、データ取得部は、被験者により描画された学習参考画像、及び被験者の画力レベルを示す他の正解ラベルによりそれぞれ構成される複数の他の学習データセットを更に取得してよい。学習処理部は、取得された複数の他の学習データセットを使用して、特定モデルの機械学習を更に実施してよい。特定モデルの機械学習を実施することは、各他の学習データセットについて、学習参考画像を特定モデルに入力することで特定モデルから取得される被験者の画力レベルを特定した結果が他の正解ラベルに適合するように特定モデルを訓練することにより構成されてよい。また、上記一側面に係るモデル生成装置において、判定モデルは、畳み込みニューラルネットワークにより構成されてよい。
【0014】
上記各形態に係る判定装置及びモデル生成装置それぞれの別の態様として、本発明の一側面は、以上の各構成の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、本発明の一側面は、上記いずれかの形態に係る判定装置及び判定装置により構成される判定システムであってよい。
【0015】
例えば、本発明の一側面に係る判定方法は、コンピュータが、検査対象者に対して図形の模写試験を実施した結果として生成された試験画像を取得するステップと、検査対象者の画力レベルを示す画力情報を取得するステップと、取得された試験画像及び画力情報を機械学習により訓練済みの判定モデルに入力し、当該訓練済みの判定モデルの演算処理を実行することで、検査対象者の脳機能の能力レベルを判定した結果を取得するステップであって、訓練済みの判定モデルは、学習データを使用した機械学習により、図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築されたものである、ステップと、能力レベルを判定した結果を示す情報を出力するステップと、を実行する、情報処理方法である。
【0016】
また、例えば、本発明の一側面に係る判定プログラムは、コンピュータに、検査対象者に対して図形の模写試験を実施した結果として生成された試験画像を取得するステップと、検査対象者の画力レベルを示す画力情報を取得するステップと、取得された試験画像及び画力情報を機械学習により訓練済みの判定モデルに入力し、当該訓練済みの判定モデルの演算処理を実行することで、検査対象者の脳機能の能力レベルを判定した結果を取得するステップであって、訓練済みの判定モデルは、学習データを使用した機械学習により、図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築されたものである、ステップと、能力レベルを判定した結果を示す情報を出力するステップと、を実行させるためのプログラムである。
【発明の効果】
【0017】
本発明によれば、検査対象者の脳機能の能力レベルをより正確に判定することができる。
【図面の簡単な説明】
【0018】
【
図1A】
図1Aは、画力レベルが低いことでそのままの評価基準では脳機能の能力レベルが低いと誤判定される症例の一例を示す。
【
図1B】
図1Bは、画力レベルが低いことでそのままの評価基準では脳機能の能力レベルが低いと誤判定される症例の一例を示す。
【
図1C】
図1Cは、画力レベルが低いことでそのままの評価基準では脳機能の能力レベルが低いと誤判定される症例の一例を示す。
【
図2】
図2は、本発明が適用される場面の一例を模式的に例示する。
【
図3】
図3は、実施の形態に係るモデル生成装置のハードウェア構成の一例を模式的に例示する。
【
図4】
図4は、実施の形態に係る判定装置のハードウェア構成の一例を模式的に例示する。
【
図5】
図5は、実施の形態に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。
【
図6】
図6は、実施の形態に係る判定装置のソフトウェア構成の一例を模式的に例示する。
【
図7】
図7は、実施の形態に係るモデル生成装置の処理手順の一例を示す。
【
図8】
図8は、実施の形態に係る判定装置の処理手順の一例を示す。
【
図9】
図9は、変形例に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。
【
図10】
図10は、変形例に係る判定装置のソフトウェア構成の一例を模式的に例示する。
【発明を実施するための形態】
【0019】
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な擬似言語、コマンド、パラメータ、マシン語等で指定される。
【0020】
§1 適用例
図2は、本発明を適用した場面の一例を模式的に例示する。本実施形態に係る判定システム100は、モデル生成装置1及び判定装置2を備える。
【0021】
本実施形態に係るモデル生成装置1は、機械学習を実施することで、訓練済みのモデルを生成するように構成されたコンピュータである。具体的に、本実施形態に係るモデル生成装置1は、複数の学習データセット31を取得する。各学習データセット31は、被験者に対して模写試験を実施した結果として生成された学習試験画像311、被験者の画力レベルを示す学習画力情報312、及び被験者の脳機能の能力レベルを示す正解ラベル313の組み合わせにより構成される。
【0022】
次に、本実施形態に係るモデル生成装置1は、取得された複数の学習データセット31を使用して、判定モデル6の機械学習を実施する。判定モデル6は、試験画像及び画力情報の入力を受け付け、入力された試験画像及び画力情報から脳機能の能力レベルを判定(推論)した結果に対応する出力値を出力するように構成される。機械学習を実施することは、各学習データセット31について、学習試験画像311及び学習画力情報312を判定モデル6に入力することで判定モデル6から取得される被験者の脳機能の能力レベルを判定した結果が正解ラベル313に適合するように判定モデル6を訓練することにより構成される。この機械学習を実施した結果、図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定するように構築された訓練済みの判定モデル6を生成することができる。
【0023】
一方、本実施形態に係る判定装置2は、訓練済みの判定モデル6を使用して、検査対象者の脳機能の能力レベルを判定するように構成されたコンピュータである。具体的に、本実施形態に係る判定装置2は、検査対象者に対して図形の模写試験を実施した結果として生成された試験画像221、及び検査対象者の画力レベルを示す画力情報222を取得する。次に、本実施形態に係る判定装置2は、取得された試験画像221及び画力情報222を上記機械学習により生成された訓練済みの判定モデル6に入力し、当該訓練済みの判定モデル6の演算処理を実行することで、検査対象者の脳機能の能力レベルを判定した結果に対応する出力を訓練済みの判定モデル6から取得する。そして、本実施形態に係る判定装置2は、検査対象者の脳機能の能力レベルを判定した結果を示す情報を出力する。
【0024】
以上のとおり、本実施形態では、モデル生成装置1の機械学習により、図形の模写試験を実施した結果として得られた試験画像及び画力レベルを示す画力情報を脳機能の能力レベルの判定に用いるように構成された訓練済みの判定モデル6が生成される。これにより、判定装置2において、模写試験の結果のみではなく、画力レベルに応じて、検査対象者の脳機能の能力レベルを判定することができる。その結果、脳機能の能力レベルは低下していないにも関わらず、画力レベルが低いことで、脳機能の能力レベルが低下していると誤判定してしまうのを抑制することができる。したがって、本実施形態によれば、検査対象者の脳機能の能力レベルをより正確に判定することができる。
【0025】
なお、図形の模写試験は、高次脳機能の能力を測る目的の模写を行うものであれば、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。模写対象の図形は、例えば、紙媒体、電子媒体等で提示される他、文章、口頭等で指示されてよい。模写試験の対象となる図形は、例えば、垂直菱形、二次元十字形、三次元立方体、立方体透視図、三次元パイプ、三角内三角、MMSEにおける交差した2つの五角形等でよい。口頭で図形を提示する場合、模写試験の対象となる図形は、時計、鉢植え、遠近法による家等であってよい。画力レベルは、脳機能(特に、認知機能)に無関係に評価されるのが好ましい。すなわち、画力レベルは、対象者(検査対象者、被験者)の脳機能が正常である際に得られる情報に基づいて測定されるのが好ましい。画力レベルの評価尺度及び数値幅は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。例えば、5段階評価、100点満点評価等により画力レベルが評価されてもよい。脳機能の能力レベルは、例えば、複合的な認知機能(記憶、言語、視空間認知、注意機能、前頭葉機能等を含む)を反映するものである。能力レベルは、例えば、MMSE、HDS-R(Hasegawa Dementia Scale Revised)、MoCA-J(Japanese Version of Montreal Cognitive Assessment)、N式老年者精神状態評価尺度、日本語版COGNISTAT、日本語版Alzheimer病評価スケール、SIB(Severe Impairment Battery)日本語版等と対応していてもよい。
【0026】
判定モデル6は、試験画像及び画力情報から能力レベルを推定する演算処理を実行するための複数の演算パラメータを備える。判定モデル6には、機械学習を実施可能な任意の学習モデルが用いられてよい。本実施形態では、後述するとおり、判定モデル6は、畳み込みニューラルネットワークにより構成される。能力レベルの判定結果は、訓練済みの判定モデル6から直接的又は間接的に取得されてよい。すなわち、判定モデル6は、脳機能の能力レベルを直接的に示す出力値を出力するように構成されてよい。或いは、脳機能の能力レベルは、判定モデル6から得られる出力値に対して所定の演算(例えば、閾値判定等)を実行することにより導出されてもよい。
【0027】
図2の例では、モデル生成装置1及び判定装置2は、ネットワークを介して互いに接続されている。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。ただし、モデル生成装置1及び判定装置2の間でデータをやりとりする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、モデル生成装置1及び判定装置2の間では、記憶媒体を利用して、データがやりとりされてよい。
【0028】
また、
図2の例では、モデル生成装置1及び判定装置2は、それぞれ別個のコンピュータにより構成されている。しかしながら、本実施形態に係る判定システム100の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、モデル生成装置1及び判定装置2は一体のコンピュータであってもよい。また、例えば、モデル生成装置1及び判定装置2のうちの少なくとも一方は、複数台のコンピュータにより構成されてもよい。
【0029】
§2 構成例
[ハードウェア構成]
<モデル生成装置>
図3は、本実施形態に係るモデル生成装置1のハードウェア構成の一例を模式的に例示する。
図3に示されるとおり、本実施形態に係るモデル生成装置1は、制御部11、記憶部12、通信インタフェース13、入力装置14、出力装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、
図3では、通信インタフェースを「通信I/F」と記載している。後述の
図4でも同様の表記を用いる。
【0030】
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。CPUは、プロセッサ・リソースの一例である。記憶部12は、メモリ・リソースの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、モデル生成プログラム81、複数の学習データセット31、学習結果データ125等の各種情報を記憶する。
【0031】
モデル生成プログラム81は、機械学習により訓練済みの判定モデル6を生成する後述の情報処理(
図7)をモデル生成装置1に実行させるためのプログラムである。モデル生成プログラム81は、当該情報処理の一連の命令を含む。複数の学習データセット31は、判定モデル6の機械学習に使用される。複数の学習データセット31は、学習データの一例である。学習結果データ125は、判定モデル6の機械学習の結果に関する情報を示す。本実施形態では、学習結果データ125は、モデル生成プログラム81を実行した結果として生成される。
【0032】
通信インタフェース13は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。モデル生成装置1は、この通信インタフェース13を利用して、他の情報処理装置との間で、ネットワークを介したデータ通信を実行してもよい。
【0033】
入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置15は、例えば、ディスプレイ(表示装置)、スピーカ等の出力を行うための装置である。入力装置14及び出力装置15は、例えば、タッチパネルディスプレイ等により、一体的に構成されてもよい。ユーザ等のオペレータは、入力装置14及び出力装置15を利用することで、モデル生成装置1を操作することができる。
【0034】
ドライブ16は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体91に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体91は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。上記モデル生成プログラム81及び複数の学習データセット31の少なくともいずれかは、記憶媒体91に記憶されていてもよい。この場合、モデル生成装置1は、記憶媒体91から、モデル生成プログラム81及び複数の学習データセット31の少なくともいずれかを取得してもよい。なお、
図3では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ16の種類は、記憶媒体91の種類に応じて任意に選択されてよい。
【0035】
なお、モデル生成装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、プロセッサ・リソースは、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)、GPU(Graphics Processing Unit)等で構成されてよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。通信インタフェース13、入力装置14、出力装置15及びドライブ16の少なくともいずれかは省略されてもよい。モデル生成装置1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、モデル生成装置1は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
【0036】
<判定装置>
図4は、本実施形態に係る判定装置2のハードウェア構成の一例を模式的に例示する。
図4に示されるとおり、本実施形態に係る判定装置2は、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、及びドライブ26が電気的に接続されたコンピュータである。
【0037】
判定装置2の制御部21~ドライブ26及び記憶媒体92はそれぞれ、上記モデル生成装置1の制御部11~ドライブ16及び記憶媒体91それぞれと同様に構成されてよい。制御部21は、ハードウェアプロセッサであるCPU、RAM、ROM等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部22は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部22は、判定プログラム82、学習結果データ125等の各種情報を記憶する。
【0038】
判定プログラム82は、訓練済みの判定モデル6を使用して、検査対象者の脳機能の能力レベルを判定する後述の情報処理(
図8)を判定装置2に実行させるためのプログラムである。判定プログラム82は、当該情報処理の一連の命令を含む。判定プログラム82及び学習結果データ125の少なくともいずれかは、記憶媒体92に記憶されていてもよい。これに応じて、判定装置2は、これらのうちの少なくともいずれかを記憶媒体92から取得してもよい。
【0039】
なお、判定装置2の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、判定装置2のプロセッサ・リソースは、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA、GPU等で構成されてよい。記憶部22は、制御部21に含まれるRAM及びROMにより構成されてもよい。通信インタフェース23、入力装置24、出力装置25、及びドライブ26の少なくともいずれかは省略されてもよい。判定装置2は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、判定装置2は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のPC等であってもよい。
【0040】
[ソフトウェア構成]
<モデル生成装置>
図5は、本実施形態に係るモデル生成装置1のソフトウェア構成の一例を模式的に例示する。モデル生成装置1の制御部11は、記憶部12に記憶されたモデル生成プログラム81をRAMに展開する。そして、制御部11は、CPUにより、RAMに展開されたモデル生成プログラム81に含まれる命令を解釈及び実行して、各構成要素を制御する。これにより、
図5に示されるとおり、本実施形態に係るモデル生成装置1は、データ取得部111、学習処理部112、及び保存処理部113をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部11(CPU)により実現される。
【0041】
データ取得部111は、被験者に対して模写試験を実施した結果として生成された学習試験画像311、被験者の画力レベルを示す学習画力情報312、及び被験者の脳機能の能力レベルを示す正解ラベル313の組み合わせによりそれぞれ構成される複数の学習データセット31を取得する。学習処理部112は、取得された複数の学習データセット31を使用して、判定モデル6の機械学習を実施する。機械学習では、学習処理部112は、各学習データセット31について、学習試験画像311及び学習画力情報312を判定モデル6に入力することで判定モデル6から取得される被験者の脳機能の能力レベルを判定した結果が正解ラベル313に適合するように判定モデル6を訓練する。保存処理部113は、訓練済みの判定モデル6に関する情報を学習結果データ125として生成する。保存処理部113は、生成された学習結果データ125を所定の記憶領域に保存する。
【0042】
(判定モデルの一例)
判定モデル6は、複数の演算パラメータを有する機械学習可能なモデルにより構成される。
図5に示されるとおり、本実施形態では、判定モデル6には、畳み込みニューラルネットワークが用いられる。判定モデル6は、畳み込み層61、プーリング層62、及び全結合層(63、64)を備えている。
【0043】
畳み込み層61は、与えられたデータに対する畳み込み演算を行うように構成される。畳み込み演算とは、与えられたデータと所定のフィルタとの相関を算出する処理に相当する。例えば、画像の畳み込みを行うことで、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。畳み込み層61は、この畳み込み演算に対応するニューロン(ノード)であって、入力又は自分の層よりも前(入力側)に配置された層の出力の一部の領域に結合するニューロン(ノード)を備えている。プーリング層62は、プーリング処理を行うように構成される。プーリング処理は、与えられたデータのフィルタに対する応答の強かった位置の情報を一部捨て、当該データ内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。例えば、プーリング処理では、フィルタ内の最も大きな値が抽出され、それ以外の値が削除されてよい。全結合層(63、64)1又は複数のニューロンを備え、隣接する層の間のニューロン全てを結合した層である。
【0044】
判定モデル6に含まれる各層61~64の数は、実施の形態に応じて適宜決定されてよい。全結合層の数は、2つに限られなくてよい。また、畳み込み層61及びプーリング層62の配置も、実施の形態に応じて適宜決定されてよい。例えば、畳み込み層61及びプーリング層62は交互に配置されてよい。また、例えば、複数の畳み込み層61が連続して配置された後に、1又は複数のプーリング層62が配置されてもよい。
図5の例では、最も入力側(図の左側)には、畳み込み層61が配置され、最も出力側(図の右側)には全結合層(63、64)が配置され、全結合層63の直前には、プーリング層62が配置されている。これにより、最も入力側の畳み込み層61が試験画像の入力層を構成し、全結合層63が画力情報の入力層を構成し、全結合層64が出力層を構成している。ただし、判定モデル6の構造は、このような例に限定されなくてよい。例えば、判定モデル6は、畳み込み層61及びプーリング層62に対して並列に配置される1つ以上の層を更に備えてもよい。この場合、判定モデル6は、最も入力側に配置される層に画力情報が入力され、最も出力側に配置される層の出力が全結合層63に入力されるように構成されてよい。全結合層63の直前には、畳み込み層61が配置されてもよい。更に、判定モデル6に含まれる層の種類は、これらに限られなくてよい。判定モデル6は、例えば、正規化層、ドロップアウト層等の他の種類の層を含んでもよい。
【0045】
各全結合層(63、64)に含まれるニューロンの数は、実施の形態に応じて適宜決定されてよい。例えば、出力層を構成する全結合層64に含まれるニューロンの数は、能力レベルの判定結果の形式に応じて決定されてよい。畳み込み層61及び全結合層(63、64)の各結合には、重み(結合荷重)が設定される。各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。閾値は、活性化関数により表現されてもよい。この場合、各入力及び各重みの積の和を活性化関数に入力し、活性化関数の演算を実行することで、各ニューロンの出力が決定される。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。判定モデル6に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、判定モデル6の演算処理に利用される演算パラメータの一例である。
【0046】
判定モデル6の各演算パラメータの値は、上記機械学習の過程で所望の能力を獲得するように調整される。まず、学習処理部112は、各学習データセット31の学習試験画像311及び学習画力情報312を判定モデル6の入力層に入力し、判定モデル6の順伝播の演算処理を実行する。順伝播の演算処理は、入力側から順に各層に含まれる各ニューロンの発火判定を行うことである。この演算処理により、各学習データセット31の学習試験画像311及び学習画力情報312から被験者の脳機能の能力レベルを判定した結果に対応する出力値を出力層から得ることができる。学習処理部112は、各学習データセット31について、出力層から得られる判定結果及び正解ラベル313により示される正解の間の誤差を算出し、算出される誤差が小さくなるように、判定モデル6の各演算パラメータの値を調整する。これにより、訓練済みの判定モデル6を生成することができる。
【0047】
保存処理部113は、上記機械学習により生成された訓練済みの判定モデル6の構造及び各演算パラメータの値を示す情報を学習結果データ125として生成する。構造は、例えば、ニューラルネットワークにおける入力層から出力層までの層の数、各層の種類、各層に含まれるニューロンの数、隣接する層のニューロン同士の結合関係等により特定されてよい。システム内でモデルの構造が共通化される場合、この構造に関する情報は学習結果データ125から省略されてもよい。保存処理部113は、生成された学習結果データ125を所定の記憶領域に保存する。
【0048】
<判定装置>
図6は、本実施形態に係る判定装置2のソフトウェア構成の一例を模式的に例示する。判定装置2の制御部21は、記憶部22に記憶された判定プログラム82をRAMに展開する。そして、制御部21は、CPUにより、RAMに展開された判定プログラム82に含まれる命令を解釈及び実行して、各構成要素を制御する。これにより、
図6に示されるとおり、本実施形態に係る判定装置2は、画像取得部211、レベル取得部212、判定部213、及び出力部214をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、判定装置2の各ソフトウェアモジュールは、上記モデル生成装置1と同様に、制御部21(CPU)により実現される。
【0049】
画像取得部211は、検査対象者に対して図形の模写試験を実施した結果として生成された試験画像221を取得する。レベル取得部212は、検査対象者の画力レベルを示す画力情報222を取得する。判定部213は、学習結果データ125を保持することで、訓練済みの判定モデル6を備える。判定部213は、取得された試験画像221及び画力情報222を訓練済みの判定モデル6に入力し、訓練済みの判定モデル6の演算処理を実行する。本実施形態では、判定部213は、取得された試験画像221及び画力情報222を訓練済みの判定モデル6の入力層に入力し、訓練済みの判定モデル6の順伝播の演算処理を実行する。この演算処理により、判定部213は、検査対象者の脳機能の能力レベルを判定した結果に対応する出力値を訓練済みの判定モデル6の出力層から取得する。出力部214は、検査対象者の脳機能の能力レベルを判定した結果を示す情報を出力する。
【0050】
§3 動作例
[モデル生成装置]
図7は、本実施形態に係るモデル生成装置1の処理手順の一例を示すフローチャートである。以下のモデル生成装置1の処理手順は、モデル生成方法の一例である。ただし、以下のモデル生成装置1の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下のモデル生成装置1の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0051】
(ステップS101)
ステップS101では、制御部11は、学習試験画像311、学習画力情報312、及び正解ラベル313の組み合わせによりそれぞれ構成される複数の学習データセット31を取得する。
【0052】
各学習データセット31は、被験者の実績を示すように適宜生成されてよい。例えば、1又は複数の被験者に対して図形の模写試験を実施する。被験者の数は実施の形態に応じて適宜決定されてよい。被験者は、仮想上の人物であってもよい。模写試験の種類は、判定装置2による判定に際して検査対象者に対して実施する模写試験に応じて選択される。これにより、学習試験画像311を取得することができる。学習試験画像311の電子データは、例えば、タッチパネルディスプレイ等を利用することで直接的に取得されてもよいし、或いは、例えば、カメラ、スキャナ等を利用することで間接的に取得されてもよい。
【0053】
また、学習試験画像311に表れる被験者の画力レベルを特定し、特定された画力レベルを示す情報を学習画力情報312として取得する。画力レベルを特定する方法は、実施の形態に応じて適宜選択されてよい。一例として、被験者の脳機能の能力レベルを考慮した上で、学習試験画像311から被験者の画力レベルが特定されてよい。その他の例として、被験者の画力に関する属性から画力レベルが特定されてもよい。画力に関する属性は、画力に影響を与え得る人物の特徴に関するものであれば、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。画力に関する属性は、例えば、手の動作能力(例えば、麻痺の有無)、年齢、性別、教育歴、日常生活の動作又はこれらの組み合わせにより構成されてよい。更にその他の例として、被験者に参考画像を描画させ、得られた参考画像から被験者の画力レベルが特定されてよい。参考画像として描画させる内容は、被験者の画力レベルを測定可能であれば、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。また、被験者の脳機能の能力レベルが正常である場合、同一又は他の種類の模写試験を被験者に対して実施した結果として得られる試験画像を参考画像として取得してもよい。これらの方法によれば、被験者の画力レベルを適切に測定可能である。
【0054】
画力レベルの特定は、医師、その他専門家等の人手により行われてもよいし、或いは、訓練済みの機械学習モデル等により機械的に行われてもよい。画力に関する属性から画力レベルを特定する場合、これらの間の対応関係を規定する評価指標は、例えば、関数式、ルールベース等で適宜生成されてよい。関数式は、例えば、回帰モデル等の機械学習モデルにより構成されてよい。或いは、関数式の係数、定数等のパラメータの値は人手により指定されてもよい。パラメータの値の調整は、学習データセット31を収集する過程において機械学習又は人手により行われてよい。同様に、学習試験画像311又は参考画像から画力レベルを特定する場合、これらの間の対応関係を規定する評価指標は、例えば、画像処理の演算モデル、ルールベース等で適宜生成されてよい。評価指標は、所定の画像処理(例えば、エッジ抽出、エッジの角度測定等)により抽出される1又は複数の特徴量に対して設定されてもよい。なお、学習画力情報312のデータ形式は、実施の形態に応じて適宜決定されてよい。
【0055】
そして、取得された学習試験画像311及び学習画力情報312に対して、その被験者の脳機能の能力レベルを示す正解ラベル313を関連付ける。被験者の脳機能の能力レベルは、任意の方法で測定されてよい。これにより、各学習データセット31を生成することができる。
【0056】
各学習データセット31は、コンピュータの動作により自動的に生成されてもよいし、少なくとも部分的にオペレータの操作を含むことで手動的に生成されてもよい。また、各学習データセット31の生成は、モデル生成装置1により行われてもよいし、モデル生成装置1以外の他のコンピュータにより行われてもよい。各学習データセット31をモデル生成装置1が生成する場合、制御部11は、自動的に又は入力装置14を介したオペレータの操作により手動的に上記一連の生成処理を実行することで、複数の学習データセット31を取得する。一方、各学習データセット31を他のコンピュータが生成する場合、制御部11は、例えば、ネットワーク、記憶媒体91等を介して、他のコンピュータにより生成された複数の学習データセット31を取得する。一部の学習データセット31がモデル生成装置1により生成され、その他の学習データセット31が1又は複数の他のコンピュータにより生成されてもよい。
【0057】
取得する学習データセット31の件数は、実施の形態に応じて適宜決定されてよい。複数の学習データセット31を取得すると、制御部11は、次のステップS102に処理を進める。
【0058】
(ステップS102)
ステップS102では、制御部11は、学習処理部112として動作し、取得された複数の学習データセット31を使用して、判定モデル6の機械学習を実施する。本実施形態では、制御部11は、各学習データセット31について、学習試験画像311及び学習画力情報312を判定モデル6に入力することで判定モデル6から取得される脳機能の能力レベルを判定した結果が正解ラベル313に適合するように判定モデル6を訓練する。すなわち、制御部11は、学習試験画像311及び学習画力情報312を訓練データ(入力データ)として使用し、正解ラベル313を教師信号(正解データ)として使用して、判定モデル6の教師あり学習を実行する。この訓練処理には、例えば、バッチ勾配降下法、確率的勾配降下法、ミニバッチ勾配降下法等が用いられてよい。
【0059】
なお、機械学習の処理対象となる判定モデル6を構成する畳み込みニューラルネットワークは適宜用意されてよい。判定モデル6の構造、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部11は、過去の機械学習を行うことで得られた学習結果データに基づいて、判定モデル6を用意してもよい。
【0060】
判定モデル6の訓練処理の一例として、まず、制御部11は、各学習データセット31の学習試験画像311及び学習画力情報312それぞれを判定モデル6の対応する各入力層に入力し、判定モデル6の順伝播の演算処理を実行する。この演算処理により、制御部11は、学習試験画像311及び学習画力情報312から脳機能の能力レベルを判定した結果に対応する出力値を出力層から取得する。
【0061】
制御部11は、各学習データセット31について、当該演算処理で出力層から得られる出力値と正解ラベル313により示される正解との間の誤差を算出する。誤差の算出には、損失関数が用いられてよい。損失関数は、機械学習モデルの出力と正解との差分(すなわち、相違の程度)を評価する関数であり、出力値と正解(所望の値)との差分値が大きいほど、損失関数により算出される誤差の値は大きくなる。誤差の計算に利用する損失関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。損失関数には、例えば、平均二乗誤差、交差エントロピー誤差等の公知の損失関数が用いられてよい。
【0062】
制御部11は、誤差逆伝播(Back propagation)法により、算出された誤差の勾配を用いて、判定モデル6の各演算パラメータの値の誤差を算出する。制御部11は、算出された各誤差に基づいて、判定モデル6の各演算パラメータの値を更新する。各演算パラメータの値を更新する程度は、学習率により調節されてよい。学習率は、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。
【0063】
制御部11は、上記一連の更新処理により、算出される誤差の和が小さくなるように、判定モデル6の各演算パラメータの値を調整する。例えば、規定回数実行する、算出される誤差の和が閾値以下になる等の所定の条件を満たすまで、制御部11は、上記一連の処理による各演算パラメータの値の調整を繰り返してもよい。これにより、制御部11は、各学習データセット31について、学習試験画像311及び学習画力情報312を判定モデル6に入力することで判定モデル6から取得される脳機能の能力レベルを判定した結果が正解ラベル313に適合するように判定モデル6を訓練することができる。
【0064】
この機械学習を実施した結果、判定モデル6は、図形の模写試験の結果及び画力レベルから脳機能の能力レベルを判定する能力を獲得する。つまり、そのような能力を獲得した訓練済みの判定モデル6が構築される。判定モデル6の訓練処理が完了すると、制御部11は、次のステップS103に処理を進める。
【0065】
(ステップS103)
ステップS103では、制御部11は、保存処理部113として動作し、ステップS102の機械学習の結果に関する情報を学習結果データ125として生成する。本実施形態では、制御部11は、上記機械学習により構築された訓練済みの判定モデル6の構造及び各演算パラメータの値を示す情報を学習結果データ125として生成する。そして、制御部11は、生成された学習結果データ125を所定の記憶領域に保存する。
【0066】
所定の記憶領域は、例えば、制御部11内のRAM、記憶部12、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。記憶メディアは、例えば、CD、DVD等であってよく、制御部11は、ドライブ16を介して記憶メディアに学習結果データ125を格納してもよい。外部記憶装置は、例えば、NAS(Network Attached Storage)等のデータサーバであってよい。この場合、制御部11は、通信インタフェース13を利用して、ネットワークを介してデータサーバに学習結果データ125を格納してもよい。また、外部記憶装置は、例えば、モデル生成装置1に接続された外付けの記憶装置であってもよい。学習結果データ125の保存が完了すると、制御部11は、本動作例に係る処理手順を終了する。
【0067】
なお、生成された学習結果データ125は、任意のタイミングで判定装置2に提供されてよい。例えば、制御部11は、ステップS103の処理として又はステップS103の処理とは別に、学習結果データ125を判定装置2に転送してもよい。判定装置2は、この転送を受信することで、学習結果データ125を取得してもよい。また、判定装置2は、通信インタフェース23を利用して、モデル生成装置1又はデータサーバにネットワークを介してアクセスすることで、学習結果データ125を取得してもよい。また、例えば、判定装置2は、記憶媒体92を介して、学習結果データ125を取得してもよい。また、例えば、学習結果データ125は、判定装置2に予め組み込まれてもよい。
【0068】
更に、制御部11は、上記ステップS101~ステップS103の処理を定期又は不定期に繰り返すことで、学習結果データ125を更新又は新たに生成してもよい。この繰り返しの際に、複数の学習データセット31の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。そして、制御部11は、更新した又は新たに生成した学習結果データ125を任意の方法で判定装置2に提供することで、判定装置2の保持する学習結果データ125を更新してもよい。
【0069】
[判定装置]
図8は、本実施形態に係る判定装置2の処理手順の一例を示すフローチャートである。以下の判定装置2の処理手順は、判定方法の一例である。ただし、以下の判定装置2の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下の判定装置2の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0070】
(ステップS201)
ステップS201では、制御部21は、画像取得部211として動作し、検査対象者に対して図形の模写試験を実施した結果として生成された試験画像221を取得する。
【0071】
試験画像221の生成は適宜行われてよい。試験画像221の生成には、例えば、タッチパネルディスプレイ等の入力デバイスが利用されてよい。或いは、模写試験を紙媒体で実施した場合、試験画像221の生成には、例えば、カメラ、スキャナ等の読取装置が利用されてよい。試験画像221の生成は、判定装置2により行われてもよいし、判定装置2以外の他のコンピュータにより行われてもよい。すなわち、制御部21は、試験画像221を直接的に取得してもよいし、他のコンピュータを介して間接的に取得してもよい。制御部21は、複数の試験画像221を取得してもよい。
【0072】
試験画像221を取得すると、制御部21は、次のステップS202に処理を進める。なお、複数の試験画像221を取得した場合、制御部21は、試験画像221毎にステップS202以降の処理を実行する。
【0073】
(ステップS202)
ステップS202では、制御部21は、レベル取得部212として動作し、検査対象者の画力レベルを示す画力情報222を取得する。
【0074】
検査対象者の画力レベルを特定する方法は、上記学習データセット31を収集する際と同様に、実施の形態に応じて適宜選択されてよい。一例として、検査対象者の画力レベルは、自己申告、問診等により特定されてよい。その他の例として、検査対象者の画力に関する属性を示す属性情報を取得し、取得された属性情報により示される画力に関する属性から検査対象者の画力レベルが特定されてもよい。上記のとおり、画力に関する属性は、例えば、手の動作能力(例えば、麻痺の有無)、年齢、性別、教育歴、日常生活の動作又はこれらの組み合わせにより構成されてよい。更にその他の例として、検査対象者に参考画像を描画させ、得られた参考画像から検査対象者の画力レベルが特定されてよい。上記のとおり、参考画像として描画させる内容は、検査対象者の画力レベルを測定可能であれば、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。また、参考画像には、検査対象者の脳機能の能力レベルが正常であると診断された際に模写試験を実施した結果として得られた試験画像が用いられてよい。これらの方法によれば、検査対象者の画力レベルを適切に測定可能である。
【0075】
各方法において、画力レベルの特定は、医師、その他専門家等の人手により行われてよい。上記のとおり、評価指標は、適宜生成されてよい。画力に関する属性から画力レベルを特定する場合、画力レベルは、評価指標に従って、属性情報により示される属性の各値から機械的に又は人手により算出されてもよい。同様に、参考画像から画力レベルを特定する場合、画力レベルは、評価指標に従って、参考画像から機械的に又は人手により算出されてよい。人手又は機械的に特定された画力レベルを示す画力情報222は、医師、その他ユーザ等のオペレータの入力により入力装置14又は他のコンピュータの入力装置を介して取得されてよい。特定された画力レベルを示す画力情報222の生成は、判定装置2により行われてもよいし、判定装置2以外の他のコンピュータにより行われてもよい。すなわち、制御部21は、上記処理により画力レベルを特定することで画力情報222を直接的に取得してもよいし、他のコンピュータを介して画力情報222を間接的に取得してもよい。
【0076】
画力情報222を取得すると、制御部21は、次のステップS203に処理を進める。なお、ステップS202を実行する処理タイミングは、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ステップS202の処理は、ステップS201の前に実行されてもよい。或いは、ステップS202の処理は、ステップS201の処理と並列的に実行されてもよい。
【0077】
(ステップS203)
ステップS203では、制御部21は、判定部213として動作し、訓練済みの判定モデル6を使用して、取得された試験画像221及び画力情報222から検査対象者の脳機能の能力レベルを判定する。
【0078】
本実施形態では、制御部21は、学習結果データ125を参照して、訓練済みの判定モデル6を用意する。制御部21は、取得された取得された試験画像221及び画力情報222を訓練済みの判定モデル6の入力層に入力し、訓練済みの判定モデル6の順伝播の演算処理を実行する。この演算処理により、制御部21は、検査対象者の脳機能の能力レベルを判定した結果に対応する出力値を訓練済みの判定モデル6の出力層から取得する。能力レベルの判定結果を取得すると、制御部21は、次のステップS204に処理を進める。
【0079】
(ステップS204)
ステップS204では、制御部21は、出力部214として動作し、検査対象者の脳機能の能力レベルを判定した結果を示す情報を出力する。出力先及び出力する情報の内容はそれぞれ、実施の形態に応じて適宜決定されてよい。出力先は、例えば、出力装置25、他のコンピュータの出力装置、RAM、記憶部22、データサーバ、外部記憶装置、他のコンピュータの記憶装置等であってよい。一方、出力情報の内容に関して、制御部21は、例えば、判定結果を示す結果情報をそのまま出力してもよい。また、制御部21は、判定結果に基づいて、所定の情報処理を実行してもよい。そして、制御部21は、所定の情報処理の結果を示す情報を判定情報として出力してもよい。一例として、制御部21は、判定結果に応じて特定のメッセージ(例えば、能力レベルが悪化していることを知らせるための警告)を出力してもよい。結果情報は、試験画像221と共に出力されてもよいし、或いは単独で出力されてもよい。判定結果に関する情報の出力が完了すると、制御部21は、本動作例に係る処理手順を終了する。
【0080】
[特徴]
以上のとおり、本実施形態では、モデル生成装置1において、上記ステップS101及びステップS102の処理により、図形の模写試験を実施した結果として得られた試験画像及び画力レベルを示す画力情報を脳機能の能力レベルの判定に用いるように構成された訓練済みの判定モデル6が生成される。これにより、判定装置2の上記ステップS203において、模写試験の結果のみではなく、画力レベルに応じて、検査対象者の脳機能の能力レベルを判定することができる。その結果、脳機能の能力レベルは低下していないにも関わらず、画力レベルが低いことで、脳機能の能力レベルが低下していると誤判定してしまうのを抑制することができる。したがって、本実施形態によれば、検査対象者の脳機能の能力レベルをより正確に判定することができる。
【0081】
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【0082】
<4.1>
本実施形態では、判定モデル6には、畳み込みニューラルネットワークが用いられている。しかしながら、判定モデル6に用いるニューラルネットワークの種類は、このような例に限定されなくてよく、実施の形態に応じて適宜選択されてよい。例えば、判定モデル6には、全結合型ニューラルネットワークが用いられてよい。また、判定モデル6には、ニューラルネットワーク以外の機械学習モデルが用いられてよい。例えば、判定モデル6には、回帰モデル、サポートベクタマシン、決定木モデル等により構成されてよい。判定モデル6の演算処理は、判定モデル6に使用する機械学習モデルの種類、機械学習モデルの構造等に応じて適宜決定されてよい。更に、判定モデル6の入力及び出力の形式は、上記実施形態の例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。例えば、判定モデル6は、試験画像及び画力情報以外の情報の入力を更に受け付けるように構成されてよい。また、例えば、判定モデル6は、脳機能の能力レベルの判定結果以外の情報を更に出力するように構成されてよい。この情報は、例えば、判定モデル6の判定結果が正しいか否かを検証するのに利用されてよい。
【0083】
<4.2>
上記実施形態において、属性情報、参考画像等の他の情報から画力レベルを特定するのに、機械学習により生成された訓練済みの特定モデルが使用されてよい。特に、参考画像から画力レベルを特定するケースにおいて、訓練済みの特定モデルが使用されてよい。
【0084】
(モデル生成装置)
図9は、本変形例に係るモデル生成装置1のソフトウェア構成の一例を模式的に例示する。本変形例に係るモデル生成装置1は、特定モデル7の機械学習を更に実施するように構成される。特定モデル7の機械学習に関する処理手順は、上記判定モデル6の機械学習に関する処理手順とほぼ同様であってよい。
【0085】
本変形例では、まず、制御部11は、データ取得部111として動作し、被験者により描画された学習参考画像331、及び被験者の画力レベルを示す他の正解ラベル333によりそれぞれ構成される複数の他の学習データセット33を更に取得する。複数の他の学習データセット33は、他の学習データの一例である。
【0086】
各他の学習データセット33の生成は、被験者の実績を示すように適宜生成されてよい。例えば、1又は複数の被験者に参考画像を描画させることで、学習参考画像331を取得することができる。そして、被験者の画力レベルを特定し、特定された被験者の画力レベルを示す情報を他の正解ラベル333として学習参考画像331に関連付ける。学習参考画像331に表れる被験者の画力レベルは、上記実施形態と同様の方法で適宜特定されてよい。これにより、各他の学習データセット33を生成することができる。他の学習データセット33を得る被験者と学習データセット31を得る被験者とは、少なくとも部分的に一致してもよいし、或いは、異なっていてもよい。
【0087】
各他の学習データセット33の生成は、各学習データセット31と同様に、モデル生成装置1により行われてもよいし、他のコンピュータにより行われてもよい。すなわち、制御部11は、各他の学習データセット33を直接的に取得してもよいし、他のコンピュータを介して間接的に取得してもよい。取得する他の学習データセット33の件数は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。
【0088】
次に、制御部11は、学習処理部112として動作し、取得された複数の他の学習データセット33を使用して、特定モデル7の機械学習を更に実施する。特定モデル7は、参考画像の入力を受け付け、入力された参考画像から画力レベルを特定(推論)した結果に対応する出力値を出力するように構成される。特定モデル7の機械学習を実施することは、各他の学習データセット33について、学習参考画像331を特定モデル7に入力することで特定モデル7から取得される被験者の画力レベルを特定した結果が他の正解ラベル333に適合するように特定モデル7を訓練することにより構成される。
【0089】
図9の例では、特定モデル7は、判定モデル6と同様に、畳み込みニューラルネットワークにより構成されている。本変形例では、特定モデル7は、畳み込み層71、プーリング層72、及び全結合層(73、74)を備えている。畳み込み層71、プーリング層72、及び全結合層(73、74)は、上記畳み込み層61、プーリング層62、及び全結合層(63、64)と同様に構成されてよい。上記判定モデル6の構造に関する内容は、特定モデル7の構造にも該当するまた、上記<4.1>に記載の判定モデル6の変形例と同様に、特定モデル7を構成するニューラルネットワークの種類は、畳み込みニューラルネットワークに限られなくてよい。特定モデル7には、ニューラルネットワーク以外の他の機械学習モデルが採用されてよい。特定モデル7の入力及び出力の形式は、実施の形態に応じて適宜決定されてよい。
【0090】
本変形例では、制御部11は、各他の学習データセット33の学習参考画像331を特定モデル7の入力層に入力し、特定モデル7の順伝播の演算処理を実行する。この演算処理により、制御部11は、学習参考画像331から画力レベルを特定した結果に対応する出力値を出力層から得ることができる。制御部11は、各他の学習データセット33について、出力層から得られる特定結果及び他の正解ラベル333により示される正解の間の誤差を算出する。制御部11は、例えば、誤差逆伝播法により、算出される誤差の和が小さくなるように、特定モデル7の各演算パラメータの値を調整する。この訓練処理の結果、参考画像から画力レベルを特定する能力を獲得した訓練済みの特定モデル7を構築することができる。
【0091】
制御部11は、保存処理部113として動作し特定モデル7の機械学習の結果に関する情報を他の学習結果データ127として生成する。本変形例では、上記機械学習により構築された訓練済みの特定モデル7の構造及び各演算パラメータの値を示す情報を他の学習結果データ127として生成する。判定モデル6と同様に、システム内でモデルの構造が共通化される場合、特定モデル7の構造に関する情報は他の学習結果データ127から省略されてもよい。制御部11は、生成された他の学習結果データ127を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部11内のRAM、記憶部12、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。他の学習結果データ127の保存先は、学習結果データ125と同じであってもよいし、異なっていてもよい。
【0092】
他の学習結果データ127の保存が完了すると、制御部11は、特定モデル7の機械学習に関する処理手順を終了する。なお、上記学習結果データ125と同様に、他の学習結果データ127は、任意のタイミングで判定装置2に提供されてよい。また、上記の処理が定期又は不定期に繰り返されてよい。この繰り返しの際に、複数の他の学習データセット33の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。そして、更新又は新たに生成された他の学習結果データ127が任意の方法で判定装置2に提供されることで、判定装置2の保持する他の学習結果データ127が更新されてもよい。また、特定モデル7の機械学習及び他の学習結果データ127の生成は、モデル生成装置1以外の他のコンピュータにより行われてもよい。すなわち、判定モデル6及び特定モデル7の機械学習は異なるコンピュータにより行われてもよい。
【0093】
(判定装置)
図10は、本変形例に係る判定装置2のソフトウェア構成の一例を模式的に例示する。本変形例では、レベル取得部212は、他の学習結果データ127を保持することで、参考画像から画力レベルを特定するように機械学習により構築された訓練済みの特定モデル7を有する。
【0094】
上記ステップS202において、制御部21は、レベル取得部212として動作し、検査対象者の参考画像225を取得する。参考画像225は、試験画像221と同様に、直接的に取得されてもよいし、他のコンピュータを介して間接的に取得されてもよい。制御部21は、取得された参考画像225を訓練済みの特定モデル7に入力し、訓練済みの特定モデル7の演算処理を実行する。本変形例では、制御部21は、訓練済みの特定モデル7の入力層に参考画像225を入力し、訓練済みの特定モデル7の順伝播の演算処理を実行する。これにより、制御部21は、参考画像225から検査対象者の画力レベルを特定した結果に対応する出力値を訓練済みの特定モデル7の出力層から取得し、特定された画力レベルを示す画力情報222を取得することができる。
【0095】
これらの処理以外は、上記実施形態と同様の処理手順により、本変形例では、制御部21は、検査対象者の脳機能の能力レベルを判定し、判定結果を示す情報を出力することができる。本変形例によれば、機械学習により生成された訓練済みの特定モデル7を使用することで、参考画像225から検査対象者の画力レベルを比較的に正確に特定可能であり、これによって、脳機能の能力レベルを判定する精度の向上を図ることができる。
【符号の説明】
【0096】
1…モデル生成装置、
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
91…記憶媒体、81…モデル生成プログラム、
111…データ取得部、112…学習処理部、
113…保存処理部、
125…学習結果データ、
2…判定装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…ドライブ、
92…記憶媒体、82…判定プログラム、
211…画像取得部、212…レベル取得部、
213…判定部、214…出力部、
221…試験画像、222…画力情報、
31…学習データセット、
311…学習試験画像、312…学習画力情報、
313…正解ラベル、
6…判定モデル、
61…畳み込み層、62…プーリング層、
63・64…全結合層