(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086558
(43)【公開日】2024-06-27
(54)【発明の名称】パーキンソン病予測装置および方法
(51)【国際特許分類】
A61B 10/00 20060101AFI20240620BHJP
G10L 25/66 20130101ALI20240620BHJP
G10L 25/30 20130101ALI20240620BHJP
【FI】
A61B10/00 H
G10L25/66
G10L25/30
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023144892
(22)【出願日】2023-09-06
(31)【優先権主張番号】10-2022-0177620
(32)【優先日】2022-12-16
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0044734
(32)【優先日】2023-04-05
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】521502757
【氏名又は名称】イモコグ インク.
【氏名又は名称原語表記】Emocog Inc.
【住所又は居所原語表記】(Bongcheon-dong,Character Greenville) 411-ho 7 Boramae-ro 5ga-gil Gwanak-gu, Seoul 08708 (KR)
(74)【代理人】
【識別番号】110001139
【氏名又は名称】SK弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】ノ、ユフン
(72)【発明者】
【氏名】ジョ、ジュンサン
(72)【発明者】
【氏名】キム、ハイリン
(57)【要約】 (修正有)
【課題】発話者の音声分析によって発話者のパーキンソン病を予測するパーキンソン病予測装置及び方法を提供する。
【解決手段】方法は、発話者の発話結果を含む音声データから構文の組み合せを抽出するステップと、音声データを前処理する条件および構文の組み合せを変更してパーキンソン病予測モデルの精度を検証するステップと、パーキンソン病予測モデルの精度を検証した結果から上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定するステップと、パーキンソン病予測のための音声データに対応する発話者の発話結果をパーキンソン病予測モデルに入力し、パーキンソン病予測モデルの出力で発話者に対するパーキンソン病予測結果を取得するステップと、を含む。
【選択図】
図34
【特許請求の範囲】
【請求項1】
パーキンソン病予測装置のプロセッサによって実行されるパーキンソン病予測方法であって、
発話者の発話結果を含む音声データから構文の組み合せを抽出するステップと、
前記音声データを前処理する条件および前記構文の組み合せを変更してパーキンソン病予測モデルの精度を検証するステップと、
前記パーキンソン病予測モデルの精度を検証した結果から、上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定するステップと、
前記パーキンソン病予測のための音声データに対応する発話者の発話結果を前記パーキンソン病予測モデルに入力し、前記パーキンソン病予測モデルの出力で前記発話者のパーキンソン病予測結果を取得するステップとを含む、
パーキンソン病予測方法。
【請求項2】
前記構文の組み合せは、
所定の子音(consonant)と所定の母音(vowel)とを組み合わせた少なくとも1つの第1音節(syllable)からなる複数の異なる第1構文の組み合せ(syntactic combination)であるか、
基本母音セット(basic vowel set)と、所定の双子音および所定の母音を組み合わせた第2音節と、前記第1構文の組み合せのうちの少なくとも1つ以上が組み合わせられた複数の異なる第2構文の組み合せであるか、
任意の子音と任意の母音とを組み合わせた少なくとも1つの第3音節と、前記複数の異なる第2構文の組み合せも含まれるいずれかの構文の組み合せを含む複数の異なる第3構文の組み合せを含む、
請求項1に記載のパーキンソン病予測方法。
【請求項3】
前記複数の異なる第1構文の組み合せに含まれる前記所定の子音は、言語規則(language regulation)に従う子音順序(consonant order)通りに前記所定の母音と組み合わせられ、
前記複数の異なる第1構文の組み合せに含まれる前記所定の母音は、いずれかの単一母音として決定される、
請求項2に記載のパーキンソン病予測方法。
【請求項4】
前記データから構文の組み合せを抽出するステップは、
前記音声データから、前記子音順序に応じたn番目の子音からn+k番目の子音を前記所定の母音と組み合わせて前記第1音節を生成し、前記第1音節を予め設定された数の回数繰り返して前記第1構文の組み合せとして抽出するステップを含み、
前記nは自然数を含み、前記kは0および自然数を含む、
請求項3に記載のパーキンソン病予測方法。
【請求項5】
前記構文の組み合せを抽出するステップの前に、
前記パーキンソン病予測モデルを生成するステップをさらに含み、
前記パーキンソン病予測モデルは、
発話者の発話結果を含む音声データを用いて、前記発話者に対するパーキンソン病を予測するために予め訓練されたディープニューラルネットワークモデルを訓練することによって生成され、
前記ディープニューラルネットワークモデルは、
発話者の発話結果を含む音声データを入力とし、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症のいずれかをラベルとする訓練データにより指導学習方式で訓練されたモデルである、
請求項4に記載のパーキンソン病予測方法。
【請求項6】
前記精度を検証するステップは、
前記音声データを前処理する第2前処理条件、および前記複数の異なる第2構文の組み合せに基づいて前記パーキンソン病予測モデルの精度を検証するステップを含み、
前記第2前処理条件は、
前記音声データを録音するチャンネルを統一し、前記音声データのサンプリングレートを統一した第1音響前処理を実行する条件を含む、
請求項5に記載のパーキンソン病予測方法。
【請求項7】
前記音声データで決定するステップは、
前記パーキンソン病予測モデルの精度を検証した結果から、最上位にランクされた前記基本母音セットを、パーキンソン病予測のための音声データとして決定するステップを含む、
請求項6に記載のパーキンソン病予測方法。
【請求項8】
前記精度を検証するステップは、
前記音声データを前処理する第7前処理条件、前記複数の異なる第1構文の組み合せ、および前記複数の異なる第2構文の組み合せに基づいて前記パーキンソン病予測モデルの精度を検証するステップを含み、
前記第7前処理条件は、
前記音声データを録音するチャンネルを統一し、前記音声データのサンプリングレートを統一し、平均音量に応じて前記音声データを正規化し、予め設定された帯域で前記音声データをフィルタリングし、前記音声データからDCオフセットを除去し、前記音声データからノイズを除去する第2音響前処理と、前記音声データの無音区間特定値を満たして前記音声データのサイズを均一化処理するデータパディングの種類のうちエッジ(edge)の使用を実行する条件を含む、
請求項5に記載のパーキンソン病予測方法。
【請求項9】
前記音声データで決定するステップは、
前記パーキンソン病予測モデルの精度を検証した結果から、最上位にランクされた第1構文の組み合せと、上位2位にランクされた第1構文の組み合せとをパーキンソン病予測のための音声データとして決定するステップを含み、
前記最上位にランクされた第1構文の組み合せは、
前記子音順序に応じた1番目の子音から9番目の子音を前記所定の母音と組み合わせて生成した複数の異なる前記第1音節を予め設定された数の回数繰り返したものであり、
前記上位2位にランクされた第1構文の組み合せは、
前記子音順序に応じた1番目の子音から7番目の子音を前記所定の母音と組み合わせて生成した複数の異なる前記第1音節を予め設定された数の回数繰り返したものである、
請求項8に記載のパーキンソン病予測方法。
【請求項10】
コンピュータを用いて請求項1に記載の方法を実行するためのコンピュータプログラムが記憶されたコンピュータで読み取り可能な記録媒体。
【請求項11】
パーキンソン病予測装置であり、
プロセッサと、
前記プロセッサと動作可能に連結され、前記プロセッサで実行される少なくとも1つのコードを保存するメモリとを含み、
前記メモリは、前記プロセッサを介して実行される際、前記プロセッサが発話者の発話結果を含む音声データから構文の組み合せを抽出し、
前記音声データを前処理する条件および前記構文の組み合せを変更してパーキンソン病予測モデルの精度を検証し、
前記パーキンソン病予測モデルの精度を検証した結果から、上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定し、
前記パーキンソン病予測のための音声データに対応する発話者の発話結果を前記パーキンソン病予測モデルに入力し、前記パーキンソン病予測モデルの出力で前記発話者のパーキンソン病予測結果を取得するように引き起こすコードを保存する、
パーキンソン病予測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パーキンソン病予測装置および方法に関する。
【背景技術】
【0002】
パーキンソン病は、神経変性疾患の一つであり、脳幹の中央に存在する脳の黒質のドーパミン神経系が破壊することで体の動きに障害が現れる疾患を意味することができる。
【0003】
パーキンソン病患者の大半は言葉(speech)の問題を抱えていると知られている。これは、パーキンソン病である可能性がある患者の発話方式や、患者が発話した文からパーキンソン病の有無を間接的に把握できることを意味し得る。
【0004】
上述した背景技術は、発明者が本発明の導出のために保有していたか、本発明の導出過程で習得した技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術とは限らない。
【0005】
本発明は、ソウル特別市ソウル産業振興院2022年度成長段階スケールアップ技術事業化支援事業の課題番号SU220002、「ビズコール(bizcall)基盤高齢者最適化認知症早期選別技術事業化」を通じて開発された技術である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の一課題は、発話者の音声分析を通じて発話者のパーキンソン病を予測するパーキンソン病予測装置および方法を提供することにある。
【0007】
本発明が解決しようとする課題は、以上で述べた課題に限定されず、言及していない本発明の他の課題および利点は、以下の説明によって理解することができ、本発明の実施形態でより明らかに理解されるであろう。さらに、本発明が解決しようとする課題および利点は、特許請求の範囲に示される手段およびその組み合わせによって実現され得ることが理解されるであろう。
【課題を解決するための手段】
【0008】
本実施形態に係るパーキンソン病予測方法は、パーキンソン病予測装置のプロセッサによって実行されるパーキンソン病予測方法であり、発話者の発話結果を含む音声データから構文の組み合せを抽出するステップと、音声データを前処理する条件および構文の組み合せを変更してパーキンソン病予測モデルの精度を検証するステップと、パーキンソン病予測モデルの精度を検証した結果から上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定するステップと、パーキンソン病予測のための音声データに対応する発話者の発話結果をパーキンソン病予測モデルに入力し、パーキンソン病予測モデルの出力で発話者に対するパーキンソン病予測結果を取得するステップとを含むことができる。
【0009】
本実施形態に係るパーキンソン病予測装置は、プロセッサおよびプロセッサと動作可能に連結されて、プロセッサで実行される少なくとも1つのコードを保存するメモリを含み、メモリは、プロセッサを介して実行される際、プロセッサが発話者の発話結果を含む音声データから構文の組み合せを抽出し、音声データを前処理する条件および構文の組み合せを変更してパーキンソン病予測モデルの精度を検証し、パーキンソン病予測モデルの精度を検証した結果から上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定し、パーキンソン病予測のための音声データに対応する発話者の発話結果をパーキンソン病予測モデルに入力し、パーキンソン病予測モデルの出力で前記発話者に対するパーキンソン病予測結果を取得するよう引き起こすコードを保存することができる。
【0010】
これに加えて、本発明を実施するための他の方法、他のシステム、および前記方法を実行するためのコンピュータプログラムを記憶したコンピュータで読み取り可能な記録媒体をさらに提供することができる。
【0011】
前述以外の他の態様、特徴、利点が、以下の図面、特許請求の範囲、および発明の詳細な説明から明らかになるであろう。
【発明の効果】
【0012】
本発明によれば、発話者の音声分析によって発話者のパーキンソン病を予測するパーキンソン病予測装置および方法を提供することができる。
【0013】
本発明の効果は以上で言及したものに限定されず、言及していない他の効果は以下の説明から当業者には明確に理解されるであろう。
【図面の簡単な説明】
【0014】
【
図1】
図1は、本実施形態に係るパーキンソン病予測装置の構成を概略的に説明するために示すブロック図である。
【
図2】
図2は、本実施形態に係るハングルの子音(consonant)および母音(vowel)の数と順序が示された言語規則(language regulation)の例示図である。
【
図3】
図3は、本実施形態に係るパーキンソン病予測装置に抽出する構文の組み合せの例示図である。
【
図4】
図4は、本実施形態に係るパーキンソン病予測装置に抽出する構文の組み合せの例示図である。
【
図5】
図5は、本実施形態に係るパーキンソン病予測装置に抽出する構文の組み合せの例示図である。
【
図6】
図6は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図7】
図7は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図8】
図8は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図9】
図9は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図10】
図10は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図11】
図11は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図12】
図12は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図13】
図13は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図14】
図14は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図15】
図15は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図16】
図16は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図17】
図17は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図18】
図18は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図19】
図19は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図20】
図20は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図21】
図21は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図22】
図22は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図23】
図23は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図24】
図24は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図25】
図25は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図26】
図26は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図27】
図27は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図28】
図28は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図29】
図29は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図30】
図30は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図31】
図31は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図32】
図32は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【
図33】
図33は、他の実施形態に係るパーキンソン病予測装置の構成を概略的に説明するために示すブロック図である。
【
図34】
図34は、本実施形態に係るパーキンソン病予測方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0015】
本発明の利点および特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照すれば明らかになるであろう。しかしながら、本発明は、以下に提示される実施形態に限定されるものではなく、様々な異なる形態で実施することができ、本発明の精神および技術範囲に含まれるすべての変換、等価物ないし代替物を含むことと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明が属する技術分野において通常の知識を有する者に発明の範囲を完全に知らせるために提供されるものである。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明は省略する。
【0016】
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定しようとするものであり、1つまたは複数の他の特徴や、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を予め排除しないことと理解されるべきである。第1、第2などの用語は様々な構成要素を説明するために使用することができるが、構成要素は前記用語によって限定されるべきではない。前記用語は、ある構成要素を他の構成要素から区別する目的でのみ使用される。
【0017】
さらに、本出願において、「部」は、プロセッサまたは回路などのハードウェア構成(hardware component)、および/またはプロセッサなどのハードウェア構成によって実行されるソフトウェア構成(software component)であり得る。
【0018】
さらに、本出願書類において、角括弧([])の中には、角括弧の前に記載された音節(syllable)、構文(syntactic)、または構文の組み合せ(syntactic combination)の英文表記が含められるし、該当英文表記は音節、構文、もしくは構文の組み合わせの韓国語発音を表すことができる。ここで、音節とは、発話時に最も容易に直感できる発話の最小単位を意味することができる。本実施形態における音節は、例えば、[ga]、[ha]などを含むことができる。また、構文は文の成分の最小単位として分かち書き単位とすることができる。本実施形態における構文は、例えば、"[aeiou]"、"[nanana]"、"[rarara]"などを含むことができる。さらに、構文の組み合せは、上述した1つ以上の構文を組み合わせた結果を含むことができる。本実施形態における構文の組み合せは、例えば、"[gagagananana]"、"[aeiougagagananana]"、"[nananasasasa]"などを含むことができる。
【0019】
以下、本発明による実施形態を添付図面を参照して詳細に説明するが、添付図面を参照して説明するにあたり、同一または対応する構成要素には同一の図面番号を付し、重複する説明は省略する。
【0020】
以下の実施形態では、第1、第2などの用語は、限定的な意味ではなく、ある構成要素を他の構成要素と区別する目的で使用されている。
【0021】
以下の実施形態では、単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。
【0022】
以下の実施形態では、「含む」または「有する」などの用語は、本明細書に記載の特徴、または構成要素が存在することを意味するものであり、1つまたは複数の他の特徴、または構成要素が追加される可能性を予め排除するものではない。
【0023】
ある実施形態が他に実施可能である場合に特定のプロセス順序は、説明された順序とは異なる方法で実行され得る。 例えば、連続して説明される2つのプロセスは実質的に同時に実行されてもよく、記載された順序とは逆の順序で進行されてもよい。
【0024】
図1は、本実施形態に係るパーキンソン病予測装置の構成を概略的に説明するために示すブロック図であり、
図2は、本実施形態に係るハングル子音および母音の数と順序を示す語文規則の例示図であり、
図3~
図5は、本実施形態に係るパーキンソン病予測装置に抽出する構文の組み合せの例示図であり、
図6~
図32は、本実施形態に係るパーキンソン病予測装置の精度検証を説明する例示図である。
【0025】
本実施形態に係るパーキンソン病予測装置100は、サーバ形態で独立して存在するか、パーキンソン病予測装置100が提供するパーキンソン病予測機能をアプリケーション形態で具現してユーザー端末(図示せず)に搭載することができる。ユーザー端末は、パーキンソン病予測装置100が提供するパーキンソン病予測アプリケーションおよび/またはパーキンソン病予測サイトに接続してパーキンソン病予測サービスを受けることができる。
【0026】
図1~
図32を参照すると、パーキンソン病予測装置100は、収集部110、生成部120、抽出部130、検証部140、決定部150、取得部160および制御部170を含むことができる。
【0027】
収集部110は、発話者の発話結果を含む音声データを収集することができる。本実施形態では、音声データは、予め設定された資料を朗読した音声録音ファイルを含むことができる。ここで、予め設定された資料は、後述する音節、構文、または構文の組み合せを含む文書、ファイルなどを含むことができる。さらに、音声データは、後述する音節、構文、または構文の組み合せのうちの1つを予め設定された時間(例えば、1~2秒)発話したデータを含むことができる。また、音声データは、後述する音節、構文、または構文の組み合せを高音で発話したデータおよび低音で発話したデータを含むことができる。
【0028】
本実施形態では、音声データと音声信号とは同じ意味で組み合わせて記述することができる。
【0029】
生成部120は、パーキンソン病予測モデルを生成してもよい。本実施形態では、パーキンソン病予測モデルは、発話者の発話結果を含む音声データを用いて発話者のパーキンソン病を予測するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは発話者の発話結果を含む音声データを入力とし、パーキンソン病関連疾患に含まれる正常(normal)、パーキンソン病(parkinson)、多系統萎縮症(multiple system atrophy)および小脳萎縮症(cerebellar atrophy)のいずれかをラベルとする訓練データによって指導学習方式で訓練されたモデルであり得る。
【0030】
生成部120は、ラベル付けされた訓練データを用いて初期に設定されたディープニューラルネットワークモデルを指導学習方式で訓練することができる。ここで、初期に設定されたディープニューラルネットワークモデルは、パーキンソン病予測モデルで構成されるように設計された初期モデルであり、パラメータ値は任意の初期値に設定されている状態である。初期に設定されたディープニューラルネットワークモデルは、上述の訓練データを介して訓練されてパラメータ値が最適化されることによって、発話者のパーキンソン病を正確に予測できるパーキンソン病予測モデルに完成することができる。
【0031】
抽出部130は、発話者の発話結果を含む音声データから構文の組み合せを抽出することができる。本実施形態における構文の組み合せは、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せを含むことができる。
【0032】
抽出部130が音声データから抽出する複数の異なる第1構文の組み合せは、所定の子音(consonant)と所定の母音(vowel)を組み合わせた少なくとも1つの第1音節(syllable)から構成されてもよい。
【0033】
複数の異なる第1構文の組み合せに含まれる所定の子音は、語文規則に従った子音順序で上述した母音と組み合わせることができる。
図2には、語文規則による子音順序201が示されている。
図2を参照すると、子音順序201は、「[giyeok]、[nieun]、[digeut]、[rieul]、[mieum]、[bieup]、[shiot]、[ieung]、[jieut]、[chieut]、[kiuek]、[tieut]、[pieup]、[hieut]」とすることができる。
【0034】
複数の異なる第1構文の組み合せに含まれる所定の母音は、いずれかの単一母音として決定されてもよい。本実施形態における所定の母音は、
図2に示した語文規則に開示された母音順序202のうちの第1母音である[a]であってもよい。
【0035】
抽出部130は、音声データから、子音順序に応じたn番目の子音からn+k番目の子音を所定の母音と組み合わせて第1音節を生成し、第1音節を予め設定された数(例えば、3個)の回数繰り返すことで、第1構文の組み合せとして抽出することができる。ここで、nは自然数を含み、kは0および自然数を含むことができる。
【0036】
一実施形態では、n=1でk=0である場合、第1構文の組み合せは"[gagaga]"であり得る。本実施形態では、"[gagaga]"は、上記の定義に従って構文とも名付けることができる。他の実施形態では、n=1でk=3の場合、第1構文の組み合せは"[gagaganananadadadararara]"であり得る。
【0037】
図3には、抽出部130が音声データから抽出する第1構文の組み合せが示されている。
図3を参照すると、第1構文の組み合せは"[gagaga]"から"[gagaga...hahaha]"までを含めることができる。
【0038】
抽出部130が音声データから抽出する複数の異なる第2構文の組み合せは、基本母音セット(basic vowel set)と、第2音節と、第1構文の組み合せのうちの1つ以上が結合された構成であってもよい。
【0039】
本実施形態では、基本母音セットは"[aeiou]"を含むことができる。本実施形態では、第2音節は、所定の双子音および所定の母音を組み合わせて生成することができる。本実施形態において第2音節に含まれる所定の双子音は、
図2に開示された語文規則による双子音順序203のうちの第3双子音である[ssan bieup]であってもよい。また、第2音節に含まれる所定の母音は、
図2に開示された語文規則による二重母音順序204の第4二重母音である[wa]であってもよい。これから第2音節は[ppawa]であり得る。本実施形態では、第2音節は、第2構文の組み合せに含まれるように予め設定された数(例えば、3個)の回数繰り返すことができる。
【0040】
図4には、抽出部130が音声データから抽出する第2構文の組み合せが示されている。
図4を参照すると、第2構文の組み合せは"[aeiou]"から"[aeiou...ppawappawappawa]"までを含むことができる。
【0041】
抽出部130が音声データから抽出する複数の異なる第3構文の組み合せは、第3音節と、複数の異なる第2構文の組み合せに含まれるいずれかの構文の組み合せを含むことができる。
【0042】
本実施形態では、第3音節は、任意の子音と任意の母音とを組み合わせて生成することができる。本実施形態において第3音節に含まれる任意の子音は、
図2に示した語文規則による子音順序201のうち、"[nieun]、[digeut]、[shiot]、[ieung]、[hieut]"と指定することができる。また、第3音節に含まれる任意の母音は、
図2に示した語文規則による母音順序202のうちの第1母音である[a]であってもよい。これから第3音節は、"[na]"、"[da]"、"[sa]"、"[a]"、"[ha]"として特定され得る。本実施形態では、第3音節は、第3構文の組み合せに含まれるように予め設定された数(例えば、3個)の回数繰り返すことができる。
【0043】
なお、本実施形態において、第3構文の組み合せは、第2構文の組み合せに含まれるいずれかの構文の組み合せである、"[aeiougagaga...mamama]"として指定できる。
【0044】
本実施形態において、複数の異なる第3構文の組み合せは、複数の異なる第2構文の組み合せおよび複数の異なる第3構文の組み合せと異なり、音声データを増強した後、パーキンソン病予測モデルの精度が上位1~4位にランクされた構文の組み合せとして特定することができる。
【0045】
図5には、抽出部130が音声データから抽出する複数の異なる第3構文の組み合せが示されている。
図5を参照すると、複数の異なる第3構文の組み合せは、第3音節を予め設定された数の回数繰り返して組み合わせた"[nananasasasa]"や、"[dadadaaaa]"や"[aaahahaha]"と、複数の異なる第2構文の組み合わせに含まれる"[aeiougagaga...mamam]"と特定され得る。
【0046】
検証部140は、音声データを前処理する条件および構文の組み合せを変更してパーキンソン病予測モデルの精度を検証することができる。
【0047】
本実施形態において、音声データを前処理する条件は、音響前処理、構文、データパディング、統計的特性、データ分割、ラベル不均衡の補完、スケーリング、外れ値(outlier)の除去、浮動小数点フォーマットのうちの1つ以上を実行する条件を含むことができる。
【0048】
音響前処理は、第1音響前処理および第2音響前処理に分類することができる。制御部170は、第1音響前処理および第2音響前処理のいずれかを選択して検証部140に出力することができる。検証部140は、選択された第1音響前処理および第2音響前処理のいずれかを実行してパーキンソン病予測モデルの精度を検証することができる。
【0049】
本実施形態における第1音響前処理は、チャンネル均一化処理およびサンプリングレート均一化処理を含むことができる。チャンネル均一化処理は、音声データを録音するチャンネルを1つ(モノラル)に統一したことを意味することができる。サンプリングレート均一化処理は、サンプリングレートを毎秒一定回数(例えば、16000回)に統一したことを意味することができる。ここで、サンプリングレートとは、アナログ音声信号をデジタル音声信号に変換するときの時間当たりのサンプリング回数を意味することができる。
【0050】
本実施形態において、第2音響前処理は、チャンネル均一化処理、サンプリングレート均一化処理、音量正規化処理、ハイパスフィルタリング処理、DCオフセット(offset)除去処理、ノイズリダクション(noise reduction、stationary、40%)処理を含むことができる。チャンネル均一化処理およびサンプリングレート均一化処理は、上記と同様であるので省略する。音声データの音量は、発話者の声の大きさ、または発話者が録音装置(図示せず)からどれだけ離れて録音されたかなどによって異なり得る。音量正規化処理とは、上述したように異なる形で録音された音声データの音量を比較的均一にするために、音声データの平均音量に応じて全体の音声データを正規化することを意味することができる。ハイパスフィルタリング処理は、カットオフ周波数(例えば、90Hz)より高い周波数の音声信号のみを通過させることを意味することができる。DCオフセット除去処理は、DCオフセットをゼロにすることを意味し得る。ここで、DCオフセットは波形の平均強度を表すことができる。DCオフセットが0でない場合があるが、この場合DCオフセットが発生したと言える。DCオフセットは、音声がきちんと録音されていない場合、または録音装置に不具合がある場合に発生する可能性がある。ノイズリダクション処理は、きれいな信号を得るためにノイズを軽減することを意味し得る。ここで、stationaryとは、音声信号の全区間にノイズしきい値(threshold)を適用することを意味し、40%はノイズ発見時に音声信号の振幅を40%に減らすことを意味することができる。
【0051】
構文は、上述した複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに分類することができる。制御部170は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せのうちの1つ以上を選択して検証部140に出力することができる。検証部140は、選択された複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せのうちの1つ以上を実行してパーキンソン病予測モデルの精度を検証することができる。本実施形態における構文は、説明の便宜上、音声データを前処理する条件から除外することができる。
【0052】
データパディングは、データの前後の空き区間に特定の値を追加することによってデータのサイズを均一化することを示すことができる。本実施形態では、データパディングは音声データパディングを含むことができ、音声データの前後の無音区間に特定の値を追加して音声データのサイズを均一化することを示すことができる。データパディングの種類は、エッジ(edge)、リピート(repeat)、タイル(tile)、ゼロ(zero)を含むことができる。エッジ(edge)は、前の無音区間をデータの開始値で埋め、後の無音区間をデータの終了値で埋めることができる。リピート(repeat)は、無音区間を繰り返される個別値(例えば、1)で埋めることができる。タイル(tile)は、無音区間を繰り返される全体値(例えば、1234)で埋めることができる。ゼロ(zero)は無音区間を0で埋めることができる。制御部170は、データパディングの種類のうちの1つ以上を選択して検証部140に出力することができる。検証部140は、選択されたデータパディングの種類のうちの1つ以上を実行してパーキンソン病予測モデルの精度を検証することができる。
【0053】
統計的特性は、音声データから抽出可能な性別、音量、サイズ(root mean square、二乗平均平方根)、最大振幅、長さ、および話者別の平均構文の長さのうちの少なくとも1つを含み得る。制御部170は、統計的特性のうちの1つ以上を選択して検証部140に出力することができる。検証部140は、選択された統計的特性のうちの1つ以上を実行してパーキンソン病予測モデルの精度を検証することができる。
【0054】
データ分割は、パーキンソン病予測モデルに用いられるデータセット(data set)全体を一定の割合で分割することを含み得る。本実施形態では、データセット全体を学習セット(train set)、検証セット(validation set)、テストセット(test set)に分割することができる。たとえば、学習セット:検証セット:テストセットは64:16:20に分割できる。制御部170は、データセット全体の分割率を決定して検証部140に出力することができる。検証部140は、決定されたデータセット全体の分割率(64:16:20)で音声データを分割してパーキンソン病予測モデルの精度を検証することができる。
【0055】
データ不均衡の補完は、音声データを増強して不均衡を補うことを意味し得る。データ不均衡を補うために、SMOTE(synthetic minority over sampling technique)アルゴリズム、SMOTE-NC(synthetic minority over sampling technique of nominal and continuous)アルゴリズム、およびクラス重み付け(weight-balancing)アルゴリズムのうちの1つ以上を用いることができる。SMOTEアルゴリズムは、低比率で存在するクラスのデータをk-NNアルゴリズムを活用して新たに生成して増強することができる。SMOTE-NCアルゴリズムは、カテゴリテータと連続データが混合されたデータに用いることができる。クラス重み付けアルゴリズムは、クラス比が低い側のデータがより大きな損失(loss)重みを持つようにしてパーキンソン病予測モデルの学習を調整することができる。制御部170は、SMOTEアルゴリズム、SMOTEーNCアルゴリズムおよびクラス重み付けアルゴリズムのうちの1つ以上を選択して検証部140に出力することができる。検証部140は、選択されたSMOTEアルゴリズム、SMOTE-NCアルゴリズムおよびクラス重み付けアルゴリズムのうちの1つ以上を実行してパーキンソン病予測モデルの精度を検証することができる。
【0056】
スケーリング(scaling)は、データ値の範囲を調整することを意味することができる。データをスケーリングする理由は、データの値が大きすぎるか小さすぎると、モデル学習過程で0に収斂するか、無限に発散してしまう可能性があるからである。本実施形態では、スケーリングは正規化(normalization)または標準化(standardization)スケーリングに分類することができる。正規化は、特性(feature)値が0と1の間に存在するようにスケーリングすることを示し得る。 標準化は、特性値の平均を0とし、特性値の分散を1にスケーリングすることを示すことができる。制御部170は、データスケーリングのうち正規化または標準化を選択して検証部140に出力することができる。検証部140は、選択されたデータスケーリングのうち正規化または標準化を用いてパーキンソン病予測モデルの精度を検証することができる。
【0057】
外れ値(outlier)除去は、訓練時のモデルの精度を向上させるために実行されることができる。本実施形態では、外れ値を除去するアルゴリズムとして分離フォレスト(isolation forest)アルゴリズムを用いることができる。制御部170は、外れ値を除去するか、外れ値を除去しないかを選択して検証部140に出力することができる。検証部140は、選択された外れ値の除去または外れ値の除去なしを実行してパーキンソン病予測モデルの精度を検証することができる。
【0058】
浮動小数点フォーマットはデータの表現方法であり、本実施形態ではfloat32およびfloat64に分類することができる。float32はデータを32ビットで表し、float64はデータを64ビットで表すことを示す。float32はfloat64と比較して半分の容量でデータを表現できるが、データの損失がある可能性がある。float64が少ない損失でデータをより詳細に表現できる。制御部170は、データ表現をfloat32にするか、float64にするかを選択して検証部140に出力することができる。検証部140は、選択されたfloat32またはfloat64で音声データを表現してパーキンソン病予測モデルの精度を検証することができる。
【0059】
任意の実施形態では、音声データを前処理する条件は、音声特徴量抽出をさらに含み得る。本実施形態において音声特徴量を抽出する方法は、STFT(short-time fourier transform chromagram)、CQT(constant-Q transform chromagram)、CENS(chroma energy normalized statistics)、Mel-scaled spectrogram, MFCC(mel-frequency cepstral coefficients)およびTEMPOGRAMに分類することができる。STFTは、音声信号を一定の長さの区間に分割し、各区間にフーリエ変換を適用して時間の経過と伴うスペクトルを抽出することができる。CQTは音声信号を周波数領域に変換してピッチの周波数分布を表すベクトル値を抽出することができる。CENSは、音声信号の短期間の高調波を利用して正規化したクロマ(chroma)ベクトル値を抽出できる。Mel-scaled spectrogramは、メル尺度(Mel-Scaled)のスペクトログラムを分析して特徴を抽出することができる。MFCCは、音声データを所定時間単位でサンプリングした後、スペクトルを分析して特徴音のベクトル値を抽出することができる。TEMPOGRAMは、音声信号のローカルテンポ特性を表す中間レベルの特徴を抽出することができる。本実施形態では、制御部170は、上述した音声特徴量を抽出する方法のうちの1つ以上をデフォルトで実行するように設定して検証部140に出力することができる。検証部140は、パーキンソン病予測モデルの精度を検証する際に、上述した音声特徴量を抽出する方法のうちの1つ以上をデフォルトで実行することができる。任意の実施形態では、制御部170は、上述した音声特徴量を抽出する方法のうちの1つ以上を選択して検証部140に出力することができる。検証部140は、選択された音声特徴量を抽出する方法のうちの1つ以上を実行して、パーキンソン病予測モデルの精度を検証することができる。
【0060】
任意の実施形態では、音声データを前処理する条件は、音節処理をさらに含み得る。本実施形態では、音節処理を平均(mean)処理および連結(concat:concatenation)処理に分類することができる。平均(mean)処理は、高音で発話した音節および低音で発話した音節の平均を求める処理を含むことができる。連結(concat)処理は、高音で発話した音節の後に低音で発話した音節をつなぎ合わせる処理を含むことができる。例えば、複数の異なる第1構文の組み合せのいずれかである"[gagagananan]"を連結(concat)処理する場合、高音の"[gagaga]"と低音の"[nanana]"をつなぎ合わせた結果であり得る。本実施形態では、制御部170は、平均(mean)処理および連結(concat)処理のうちの1つ以上をデフォルトで実行するように設定して検証部140に出力することができる。検証部140は、パーキンソン病予測モデルの精度を検証する際に、上述した平均(mean)処理および連結(concat)処理のうちの1つ以上をデフォルトで実行することができる。任意の実施形態では、制御部170は、平均(mean)処理および連結(concat)処理のうちの1つ以上を選択して検証部140に出力することができる。検証部140は、選択された平均(mean)処理および連結(concat)処理のうちの1つ以上を実行して、パーキンソン病予測モデルの精度を検証することができる。
【0061】
本実施形態では、検証部140は、パーキンソン病予測モデルの精度を検証するために、第1検証~第7検証を実行してもよい。
【0062】
検証部140は、音声データを前処理する第1前処理条件および、複数の異なる第1構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第1検証を実行することができる。
【0063】
図6は、第1検証実行のために音声データを前処理する第1条件を表形式で示す図である。
図6を参照すると、第1前処理条件は、上述した音声データを前処理する条件のうち、第2音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマット実行する条件を含むことができる。
【0064】
検証部140は、音声データを前処理する第2前処理条件および、複数の異なる第2構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第2検証を実行することができる。
【0065】
図9は、第2検証実行のために音声データを前処理する第2条件を表形式で示す図である。
図9を参照すると、第2前処理条件は、上述した音声データを前処理する条件のうち、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマット実行する条件を含むことができる。本実施形態では、第2検証は、第1検証と比較する際に音響前処理と構文の組み合せが異なる場合がある。
【0066】
検証部140は、音声データを前処理する第3前処理条件および、複数の異なる第3構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第3検証を実行することができる。
【0067】
図12は、第3検証実行のために音声データを前処理する第3条件を表形式で示す図である。
図12を参照すると、第3前処理条件は、上述した音声データを前処理する条件のうち、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマット実行する条件を含むことができる。本実施形態では、第3検証は、第2検証と比較する際に構文の組み合せが異なる場合がある。
【0068】
検証部140は、音声データを前処理する第4前処理条件および、複数の異なる第3構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第4検証を実行することができる。
【0069】
図15は、第4検証実行のために音声データを前処理する第4条件を表形式で示す図である。
図15を参照すると、第4前処理条件は、上述した音声データを前処理する条件のうち、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマット実行する条件を含むことができる。本実施形態では、第4検証は、第3検証と比較する際に音響前処理が異なる場合がある。
【0070】
検証部140は、音声データを前処理する第5前処理条件および、複数の異なる第3構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第5検証を実行することができる。
【0071】
図18は、第5検証実行のために音声データを前処理する第5条件を表形式で示す図である。
図18を参照すると、第5前処理条件は、上述した音声データを前処理する条件のうち、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTEアルゴリズムおよびクラス重み付けアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、外れ値(outlier)の除去なしを実行し、float64を含む浮動小数点フォーマット実行する条件を含むことができる。本実施形態では、第5検証は、第4検証と比較する際に音響前処理、統計的特性、データ不均衡の補完、外れ値(outlier)の除去が異なる場合がある。
【0072】
検証部140は、音声データを前処理する第6前処理条件、複数の異なる第1構文の組み合せ、および複数の異なる第2構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第6検証を実行することができる。
【0073】
図21は、第6検証実行のために音声データを前処理する第6条件を表形式で示す図である。
図21を参照すると、第6前処理条件は、上述した音声データを前処理する条件のうち、第1音響前処理を実行し、エッジ(edge)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。本実施形態では、第6検証は、第5検証と比較する際に構文の組み合せ、データパディング、統計的特性、データ不均衡の補完、外れ値(outlier)の除去が異なる場合がある。
【0074】
検証部140は、音声データを前処理する第7前処理条件、複数の異なる第1構文の組み合せ、および複数の異なる第2構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第7検証を実行することができる。
【0075】
図24は、第7検証実行のために音声データを前処理する第7条件を表形式で示す図である。
図24を参照すると、第7前処理条件は、上述した音声データを前処理する条件のうち、第2音響前処理を実行し、エッジ(edge)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。本実施形態では、第7検証は、第6検証と比較する際に音響前処理が異なる場合がある。
【0076】
決定部150は、検証部140から出力されるパーキンソン病予測モデルの精度検証結果から上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。
【0077】
決定部150は、検証部140から出力される第1検証の結果から、最上位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から11番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0078】
図7は、第1検証の結果に応じて、それぞれ異なる第1構文の組み合せの精度を上位1位から上位10位まで示す図である。
図7を参照すると、決定部150は、最上位(上位1位)にランクされた第1構文の組み合せの一つである[gagagananana...kakaka]をパーキンソン病予測のための音声データとして決定することができる。
【0079】
図8は、第1検証の結果に応じて、第1前処理条件に含まれる要素の精度平均を比較した結果を示す図である。
図8を参照すると、801は、それぞれ異なる第1構文の組み合せの精度平均を比較した結果である。802は、音声特徴量に対する精度平均を、音声特徴量を抽出する方法別に比較した結果である。803は音節処理別の精度平均を比較した結果である。804はデータパディングの種類別の精度平均を比較した結果である。
【0080】
決定部150は、検証部140から出力される第2検証の結果から、最上位にランクされた基本母音セットをパーキンソン病予測のための音声データとして決定することができる。
【0081】
図10は、第2検証の結果に応じて、それぞれ異なる第2構文の組み合せの精度を上位1位から上位10位まで示す図である。
図10を参照すると、決定部150は、最上位(上位1位)にランクされた第2構文の組み合せのうちの1つである基本母音セット、すなわち[aeiou]をパーキンソン病予測のための音声データとして決定することができる。
【0082】
図11は、第2検証の結果に応じて、第2前処理条件に含まれる要素の精度平均を比較した結果を示す図である。
図11を参照すると、1101は、それぞれ異なる第2構文の組み合せの精度平均を比較した結果である。1102は、音声特徴量に対する精度平均を、音声特徴量を抽出する方法別に比較した結果である。1103は音節処理別の精度平均を比較した結果である。1104はデータパディングの種類別の精度平均を比較した結果である。
【0083】
決定部150は、検証部140から出力される第3検証の結果から、最上位にランクされた第3構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じて3番目の子音および8番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0084】
図13は、第3検証の結果に応じて、それぞれ異なる第3構文の組み合せの精度を上位1位から上位10位まで示す図である。
図13を参照すると、決定部150は、最上位(上位1位)にランクされた第3構文の組み合せの一つである[dadadaaaa]をパーキンソン病予測のための音声データとして決定することができる。本実施形態において最上位(上位1位)にランクされた[dadadaaaa]は、第3前処理条件に含まれる音声特徴量の抽出でMel-scaled spectrogram抽出方法が実行され、音節処理で平均(mean)処理が実行され、データパディングの種類としてゼロ(zero)が実行された第3構文の組み合せのうちの1つであり得る。
【0085】
図14は、第3検証の結果に応じて、第3前処理条件に含まれる要素の精度平均を比較した結果を示す図である。
図14を参照すると、1401は、それぞれ異なる第3構文の組み合せの精度平均を比較した結果である。1402は、音声特徴量に対する精度平均を、音声特徴量を抽出する方法別に比較した結果である。1403は音節処理別の精度平均を比較した結果である。1404は、データパディングの種類別の精度平均を比較した結果である。
【0086】
決定部150は、検証部140から出力される第4検証の結果から、最上位にランクされた第3構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じた8番目の子音および14番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0087】
図16は、第4検証の結果に応じて、それぞれ異なる第3構文の組み合せの精度を上位1位から上位10位まで示す図である。
図16を参照すると、決定部150は、最上位(上位1位)にランクされた第3構文の組み合せの一つである[aaahahaha]をパーキンソン病予測のための音声データとして決定することができる。本実施形態において最上位(上位1位)にランクされた[aaahahaha]は、第4前処理条件に含まれる音声特徴量の抽出でMel-scaled spectrogram抽出方法が実行され、音節処理で平均(mean)処理が実行され、データパディングの種類としてエッジ(edge)が実行された第3構文の組み合せのうちの1つであり得る。
【0088】
図17は、第4検証の結果に応じて、第4前処理条件に含まれる要素の精度平均を比較した結果を示す図である。
図17を参照すると、1701は、それぞれ異なる第3構文の組み合せの精度平均を比較した結果である。1702は、音声特徴量に対する精度平均を、音声特徴量を抽出する方法別に比較した結果である。1703は音節処理別の精度平均を比較した結果である。1704は、データパディングの種類別の精度平均を比較した結果である。
【0089】
決定部150は、検証部140から出力される第5検証の結果から、最上位にランクされた第3構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じた2番目の子音および7番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0090】
図19は、第5検証の結果に応じて、それぞれ異なる第3構文の組み合せの精度を上位1位から上位10位まで示す図である。
図19を参照すると、決定部150は、最上位(上位1位)にランクされた第3構文の組み合せの一つである[nananasasasa]をパーキンソン病予測のための音声データとして決定することができる。本実施形態において最上位(上位1位)にランクされた[nananasasasa]は、第5前処理条件に含まれる音声特徴量の抽出でMel-scaled spectrogram抽出方法が実行され、音節処理で連結(concat)処理が実行され、データパディングの種類としてエッジ(edge)が実行された第3構文の組み合せのうちの1つであり得る。
【0091】
図20は、第5検証の結果に応じて、第5前処理条件に含まれる要素の精度平均を比較した結果を示す図である。
図20を参照すると、2001は、それぞれ異なる第3構文の組み合せの精度平均を比較した結果である。2002は、音声特徴量に対する精度平均を、音声特徴量を抽出する方法別に比較した結果である。2003は音節処理別の精度平均を比較した結果である。2004は、データパディングの種類別の精度平均を比較した結果である。
【0092】
決定部150は、検証部140から出力される第6検証の結果から、最上位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から9番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0093】
また、決定部150は、上位2位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位2位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0094】
また、決定部150は、上位3位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位3位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から6番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0095】
また、決定部150は、上位4位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位4位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から5番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0096】
図22は、第6検証の結果に応じて、それぞれ異なる第1構文の組み合せおよびそれぞれ異なる第2構文の組み合せの精度を上位1位から上位10位まで示す図である。
図22を参照すると、決定部150は、最上位(上位1位)にランクされた第1構文の組み合せの一つである[gagagananana...jajaja]は、パーキンソン病予測のための音声データとして決定できる。
【0097】
また、決定部150は、上位2位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、パーキンソン病予測のための音声データとして決定できる。
【0098】
また、決定部150は、上位3位にランクされた第1構文の組み合せの一つである[gagagananana...bababa]をパーキンソン病予測のための音声データとして決定することができる。
【0099】
また、決定部150は、上位4位にランクされた第1構文の組み合せの一つである[gagagananana...mamama]をパーキンソン病予測のための音声データとして決定することができる。
【0100】
図23は、第6検証の結果に応じて、それぞれ異なる第1構文の組み合せおよびそれぞれ異なる第2構文の組み合せに対する精度平均を比較した結果を示している。
【0101】
決定部150は、検証部140から出力される第7検証の結果から、最上位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から9番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0102】
また、決定部150は、上位2位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位2位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0103】
図25は、第7検証の結果に応じて、それぞれ異なる第1構文の組み合せおよびそれぞれ異なる第2構文の組み合せの精度を上位1位から上位10位まで示す図である。
図25を参照すると、決定部150は、最上位(上位1位)にランクされた第1構文の組み合せの一つである[gagagananana...jajaja]は、パーキンソン病予測のための音声データとして決定できる。
【0104】
また、決定部150は、上位2位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、パーキンソン病予測のための音声データとして決定できる。
【0105】
図26は、第7検証の結果に応じて、それぞれ異なる第1構文の組み合せおよびそれぞれ異なる第2構文の組み合せに対する精度平均を比較した結果を示している。
【0106】
取得部160は、決定部150が決定したパーキンソン病予測のための音声データに対応する発話者の発話結果をパーキンソン病予測モデルに入力し、パーキンソン病予測モデルの出力で発話者に対するパーキンソン病予測結果を取得することができる。
【0107】
制御部170は、パーキンソン病予測装置100全体の動作を制御することができる。制御部170は、プロセッサ(processor)などのデータを処理することができるあらゆる種類の装置を含むことができる。ここで、「プロセッサ(processor)」とは、例えば、プログラムに含まれるコードまたは命令で表現された機能を実行するために物理的に構造化された回路を有する、ハードウェアに組み込まれたデータ処理装置を意味することができる。このようにハードウェアに組み込まれたデータ処理装置の一例として、マイクロプロセッサ(microprocessor)、中央処理装置(central processing unit:CPU)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated)、FPGA(field programmable gate array)などの処理装置を網羅することができるが、本発明の範囲がこれに限定されるものではない。
【0108】
任意の実施形態では、生成部120は、性別分類モデルを生成することができる。本実施形態における性別分類モデルは、発話者の発話結果を含む音声データを用いて発話者の性別を分類するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、発話者の性別をラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。
【0109】
生成部120は、ラベル付けされた訓練データを用いて初期に設定されたディープニューラルネットワークモデルを指導学習方式で訓練することができる。ここで、初期に設定されたディープニューラルネットワークモデルは、性別分類モデルで構成されるように設計された初期モデルであり、パラメータ値は任意の初期値に設定されている状態である。初期に設定されたディープニューラルネットワークモデルは、上述の訓練データを介して訓練されてパラメータ値が最適化されることによって、発話者の性別を正確に分類できる性別分類モデルに完成することができる。
【0110】
検証部140は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに基づいて性別分類モデルの精度を検証することができる。検証部140は、性別分類モデルの精度を検証する際に上述した音声データを前処理する条件を適用することができる。
【0111】
決定部150は、性別分類モデルの精度を検証した結果から、最上位にランクされた第3構文の組み合せを、性別分類のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じて3番目の子音および8番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0112】
図27は、性別分類モデルの精度検証の結果に応じて、それぞれ異なる第1構文の組み合せ、それぞれ異なる第2構文の組み合せおよびそれぞれ異なる第3構文の組み合せに対する精度を上位1位から上位10位まで示す図面である。
図27を参照すると、決定部150は、最上位(上位1位)にランク付けされた第3構文の組み合せのうちの1つである[dadadaaaa]を性別分類のための音声データとして決定することができる。
【0113】
図28は、性別分類モデルの精度検証の結果に応じて、それぞれ異なる第1構文の組み合せおよびそれぞれ異なる第2構文の組み合せに対する精度平均を比較した結果を示している。
【0114】
取得部160は、決定部150が決定した音声データに対応する発話者の発話結果を性別分類モデルに入力し、性別分類モデルの出力で発話者に対する性別分類結果を取得することができる。
【0115】
任意の実施形態では、生成部120は、構文の性能比較モデルを生成することができる。本実施形態では、構文の性能比較モデルは、発話者の発話結果を含む音声データを用いて音声データに含まれる構文別の性能比較結果を出力するように予め訓練されたディープニューラルネットワークモデルを訓練して生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、構文別の性能比較結果をラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。
【0116】
生成部120は、ラベル付けされた訓練データを用いて初期に設定されたディープニューラルネットワークモデルを指導学習方式で訓練することができる。ここで、初期に設定されたディープニューラルネットワークモデルは、構文の性能比較で構成されるように設計された初期モデルであり、パラメータ値は任意の初期値に設定されている状態である。初期に設定されたディープニューラルネットワークモデルは、上述の訓練データを介して訓練されてパラメータ値が最適化されることによって、構文別の性能を正確に比較できる構文の性能比較モデルに完成することができる。
【0117】
検証部140は、発話者の発話結果を含む音声データから抽出された所定の構文に基づいて、パーキンソン病予測のための構文の性能比較モデルの精度を検証することができる。検証部140は、構文の性能比較モデルの精度を検証する際に上述した音声データを前処理する条件を適用することができる。
【0118】
決定部150は、パーキンソン病予測のための構文の性能比較モデルの精度を検証した結果から、上位にランクされた構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。
【0119】
決定部150は、パーキンソン病予測のための構文の性能比較モデルの精度を検証した結果から、第1上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第1上位にランクされた第1構文は、子音順序に応じた4番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0120】
また、決定部150は、第2上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第2上位にランクされた第1構文は、子音順序に応じた8番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0121】
また、決定部150は、第3上位にランクされた基本母音セットを、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。
【0122】
また、決定部150は、第4上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第4上位にランクされた第1構文は、子音順序に応じた11番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0123】
また、決定部150は、第5上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第5上位にランクされた第1構文は、子音順序に応じた2番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0124】
また、決定部150は、第6上位にランクされた第1構文は、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第6上位にランクされた第1構文は、子音順序に応じた6番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0125】
また、決定部150は、第7上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第7上位にランクされた第1構文は、子音順序に応じた12番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0126】
また、決定部150は、第8上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第8上位にランクされた第1構文は、子音順序に応じた14番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0127】
また、決定部150は、第9上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第9上位にランクされた第1構文は、子音順序に応じた13番目の子音を所定の母音と組み合わせて生成した第1音節と、12番目の子音を所定の母音と組み合わせて生成した第1音節と11番目の詩音を所定の母音と組み合わせて生成した第1音節とを組み合わせたものである。
【0128】
また、決定部150は、第10上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第10上位にランクされた第1構文は、子音順序に応じた5番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0129】
図29は、構文の性能比較モデルの精度検証の結果に応じて、複数の異なる第1構文の精度を上位1位から上位10位まで示す図である。
図29を参照すると、決定部150は、第1位にランクされた第1構文のうちの1つである[rarara]を構文の性能比較のための音声データとして決定することができる。決定部150は、第2位にランクされた第1構文のうちの1つである[aaa]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第3位にランクされた基本母音セットである[aeiou]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第4位にランクされた第1構文のうちの1つである[kakaka]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第5位にランクされた第1構文の一つである[nanana]を構文の性能比較のための音声データとして決定することができる。決定部150は、第6位にランクされた第1構文のうちの1つである[bababa]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第7位にランクされた第1構文のうちの1つである[tatata]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第8位にランクされた第1構文のうちの1つである[hahaha]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第9位にランクされた第1構文のうちの1つである[pataka]を、構文の性能比較のための音声データとして決定することができる。決定部150は、第10位にランクされた第1構文のうちの1つである[mamama]を、構文の性能比較のための音声データとして決定することができる。
【0130】
図30は、構文の性能比較モデルの精度検証の結果に応じて、それぞれ異なる第1構文および基本母音セットに対する精度平均を比較した結果を示している。
【0131】
取得部160は、決定部150が決定した音声データに対応する発話者の発話結果を構文の性能比較モデルに入力し、構文の性能比較モデルの出力で発話者に対するパーキンソン病予測のための構文の性能比較結果を取得することができる。
【0132】
任意の実施形態では、生成部120は、第1パーキンソン病精度分類モデルを生成することができる。本実施形態における第1パーキンソン病精度分類モデルは、発話者の発話結果を含む音声データを用いて発話者のパーキンソン病の精度を分類するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、第1クラスおよび第2クラスのうちの1つ以上と第3クラスをラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。本実施形態における第1クラスは、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症の中で最上位の精度を有する疾患を含むことができる。第2クラスは、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症のうち、上位2位の精度を有する疾患を含み得る。第3クラスは、第1クラスまたは第2クラスを除いた残りのパーキンソン病関連疾患を含み得る。
【0133】
生成部120は、ラベル付けされた訓練データを用いて初期に設定されたディープニューラルネットワークモデルを指導学習方式で訓練することができる。ここで、初期に設定されたディープニューラルネットワークモデルは、第1パーキンソン病精度分類モデルで構成されるように設計された初期モデルであり、パラメータ値は任意の初期値に設定されている状態である。初期に設定されたディープニューラルネットワークモデルは、上述の訓練データを介して訓練されてパラメータ値が最適化されることによって、パーキンソン病の精度を正確に分類できる第1パーキンソン病の精度分類モデルに完成することができる。
【0134】
検証部140は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに基づいて、第1パーキンソン病精度分類モデルの精度を検証することができる。検証部140は、第1パーキンソン病精度分類モデルの精度を検証する際に上述した音声データを前処理する条件を適用することができる。
【0135】
決定部150は、検証部140から出力される第1パーキンソン病精度分類モデルの精度検証結果から、上位にランクされた構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。
【0136】
決定部150は、検証部140から出力される第1パーキンソン病精度分類モデルの精度検証結果から、最上位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで最上位にランクされた第3構文の組み合せは、第1クラスとしての小脳萎縮症および小脳萎縮症を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、最上位にランクされた第3構文の組み合せは、子音順序に応じた3番目の子音および8番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0137】
また、決定部150は、上位2位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで、上位2位にランクされた第3構文の組み合せは、第1クラスとしての正常および正常を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、上位2位にランクされた第3構文の組み合せは、子音順序に応じた8番目の子音および14番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0138】
また、決定部150は、上位3位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで上位3位にランクされた第3構文の組み合せは、第1クラスとしての多系統萎縮症および多系統萎縮症を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、上位3位にランクされた第3構文の組み合せは、子音順序に応じた2番目の子音および7番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0139】
また、決定部150は、上位4位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで上位4位にランクされた第3構文の組み合せは、第1クラスとしてのパーキンソン病およびパーキンソン病を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、上位4位にランクされた第3構文の組み合せは、子音順序に応じた8番目の子音および14番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0140】
図31は、第1パーキンソン病精度分類モデルの精度検証の結果に応じて、それぞれ異なる第1構文の組み合せ、それぞれ異なる第2構文の組み合せおよびそれぞれ異なる第3構文の組み合せに対する精度を上位1から上位10位まで示す図である。
【0141】
図31を参照すると、決定部150は、第1位にランクされた第3構文の組み合せのうちの1つである[dadadaaaa]を、第1パーキンソン病精度分類のための音声データとして決定することができる。ここで、第1位にランクされた[dadadaaaa]は、第1クラスとしての小脳萎縮症(D)と、第3クラスとしての小脳萎縮症を除いた残りのパーキンソン病関連疾患(X)である正常、パーキンソン病、小脳萎縮症を最も高い精度で区別できる構文の組み合せであり得る。
【0142】
また、決定部150は、第2位にランクされた第3構文の組み合せの一つである[aaahahaha]を第1パーキンソン病精度分類のための音声データとして決定することができる。ここで、第2位にランクされた[aaahahaha]は、第1クラスとしての正常(A)と、第3クラスとしての正常を除いた残りのパーキンソン病関連疾患(X)であるパーキンソン病、多系統萎縮症、小脳萎縮症を最も高い精度で区別できる構文の組み合せであり得る。
【0143】
また、決定部150は、第3位にランクされた第3構文の組み合せの一つである[nananasasasa]を第1パーキンソン病精度分類のための音声データとして決定することができる。ここで、第3位にランクされた[nananasasasa]は、第1クラスとしての多系統萎縮症(C)と、第3クラスとしての多系統萎縮症を除いた残りのパーキンソン病関連疾患(X)である正常、パーキンソン病、小脳萎縮症を最も高い精度で区別できる構文の組み合せであり得る。
【0144】
また、決定部150は、第4位にランクされた第3構文の組み合せの一つである[aaahahaha]を第1パーキンソン病精度分類のための音声データとして決定することができる。ここで、第3位にランクされた[aaahahaha]は、第1クラスとしてのパーキンソン病(B)と、第3クラスとしてのパーキンソン病を除いた残りのパーキンソン病関連疾患(X)である正常、多系統萎縮症、小脳萎縮症を最も高い精度で区別できる構文の組み合せであり得る。
【0145】
取得部160は、決定部150が決定した音声データに対応する発話者の発話結果を第1パーキンソン病精度分類モデルに入力し、パーキンソン病精度分類モデルの出力で発話者に対する第1パーキンソン病精度分類結果を取得ことができる。
【0146】
任意の実施形態では、生成部120は、第2パーキンソン病精度分類モデルを生成することができる。本実施形態における第2パーキンソン病精度分類モデルは、発話者の発話結果を含む音声データを用いて発話者のパーキンソン病の精度を分類するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、第4クラス、第5クラス、および第6クラスのうちの2つ以上をラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。本実施形態における第4クラスは、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症の中で最上位の精度を有する疾患を含むことができる。第5クラスは、第4クラスを除いた残り3つのパーキンソン病関連疾患のうちより高い精度を有する疾患を含み得る。第6クラスは、第4クラスおよび第5クラスを除いた残り2つのパーキンソン病関連疾患のうち最上位の精度を有する疾患を含み得る。
【0147】
生成部120は、ラベル付けされた訓練データを用いて初期に設定されたディープニューラルネットワークモデルを指導学習方式で訓練することができる。ここで、初期に設定されたディープニューラルネットワークモデルは、第2パーキンソン病精度分類モデルで構成されるように設計された初期モデルであり、パラメータ値は任意の初期値に設定されている状態である。初期に設定されたディープニューラルネットワークモデルは、上述の訓練データを介して訓練されてパラメータ値が最適化されることによって、パーキンソン病の精度を正確に分類できる第2パーキンソン病の精度分類モデルに完成することができる。
【0148】
検証部140は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに基づいて、第2パーキンソン病精度分類モデルの精度を検証することができる。検証部140は、第2パーキンソン病精度分類モデルの精度を検証する際に上述した音声データを前処理する条件を適用することができる。
【0149】
決定部150は、第2パーキンソン病精度分類モデルの精度を検証した結果から、上位にランクされた構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。
【0150】
決定部150は、第2パーキンソン病精度分類モデルの精度を検証した結果から、第1上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第1上位にランクされた第1構文の組み合せは、第4クラスとしての正常および第5クラスとしての小脳萎縮症に対応することができる。また、第1上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0151】
また、決定部150は、第2上位にランクされた第1構文の組み合せをパーキンソン病の精度を分類する音声データとして決定することができる。ここで第2上位にランクされた第1構文の組み合せは、第4クラスとしての正常および第5クラスとしての多系統萎縮症に対応することができる。また、第2上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0152】
また、決定部150は、第3上位にランクされた第1構文の組み合せを、パーキンソン病の精度を分類する音声データとして決定することができる。ここで第3上位にランクされた第1構文の組み合せは、第4クラスとしての多系統萎縮症および第5クラスとしての小脳萎縮症に対応することができる。また、第3上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0153】
また、決定部150は、第4上位にランクされた第1構文の組み合せを、パーキンソン病の精度を分類する音声データとして決定することができる。ここで第4位にランクされた第1構文の組み合せは、第4クラスとしてのパーキンソン病および第5クラスとしての小脳萎縮症に対応することができる。また、第4上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0154】
また、決定部150は、第5上位にランクされた第1構文の組み合せを、パーキンソン病の精度を分類する音声データとして決定することができる。ここで第5上位にランクされた第1構文の組み合せは、第4クラスとしての正常、第5クラスとしての多系統萎縮症および第6クラスとしての小脳萎縮症に対応することができる。また、第5上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0155】
また、決定部150は、第6上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第6上位にランクされた第1構文の組み合せは、第4クラスとしての正常および第5クラスとしてのパーキンソン病に対応することができる。また、第6上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から9番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0156】
また、決定部150は、第7上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第7上位にランクされた第1構文の組み合せは、第4クラスとしての正常、第5クラスとしてのパーキンソン病および第6クラスとしての小脳萎縮症に対応することができる。また、第7上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0157】
また、決定部150は、第8上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第8位にランクされた第1構文の組み合せは、第4クラスとしてのパーキンソン病および第5クラスとしての多系統萎縮症に対応することができる。また、第8上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から9番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0158】
また、決定部150は、第9上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第9上位にランクされた第1構文の組み合せは、第4クラスとしての正常、第5クラスとしてのパーキンソン病および第6クラスとしての多系統萎縮症に対応することができる。また、第9上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて第1音節を生成し、第1音節を予め設定された数の回数繰り返したものであってもよい。
【0159】
また、決定部150は、第10上位にランクされた第1構文の組み合せを、パーキンソン病の精度を分類する音声データとして決定することができる。ここで第10上位にランクされた構文の組み合せは、第4クラスとしてのパーキンソン病、第5クラスとしての多系統萎縮症および第6クラスとしての小脳萎縮症に対応することができる。また、第10上位にランクされた構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0160】
図32は、第2パーキンソン病精度分類モデルの精度検証の結果に応じて、それぞれ異なる第1構文の組み合せ、それぞれ異なる第2構文の組み合せおよびそれぞれ異なる第3構文の組み合せに対する精度を上位1位から上位10位まで示す図面である。
【0161】
図32を参照すると、決定部150は、第1位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第1位にランクされた[gagagananana...sasasa]は、第4クラスとしての正常(A)と、第5クラスとしての小脳萎縮症(D)を最も高い精度で区別できる構文の組み合せであり得る。
【0162】
また、決定部150は、第2位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第2位にランクされた[gagagananana...sasasa]、第4クラスとしての正常(A)と、第5クラスとしての多系統萎縮症(C)を最も高い精度で区別できる構文の組み合せであり得る。
【0163】
また、決定部150は、第3位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第3位にランクされた[gagagananana...sasasa]は、第4クラスとしての多系統萎縮症(C)と、第5クラスとしての小脳萎縮症(D)を最も高い精度で区別できる構文の組み合せであり得る。
【0164】
また、決定部150は、第4位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第4位にランクされた[gagagananana...sasasa]は、第4クラスとしてのパーキンソン病(B)と、第5クラスとしての小脳萎縮症(D)を最も高い精度で区別できる構文の組み合せであり得る。
【0165】
また、決定部150は、第5位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第5位にランクされた[gagagananana...sasasa]は、第4クラスとしての正常(A)と、第5クラスとしての多系統萎縮症(C)と、第6クラスとしての小脳萎縮症(D)を最も高い精度で区別できる構文の組み合せであり得る。
【0166】
また、決定部150は、第6位にランクされた第1構文の組み合せの一つである[gagagananana...jajaja]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第6位にランクされた[gagagananana...jajaja]は、第4クラスとしての正常(A)と、第5クラスとしてのパーキンソン病(B)を最も高い精度で区別できる構文の組み合せであり得る。
【0167】
また、決定部150は、第7位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第7位にランクされた[gagagananana...sasasa]は、第4クラスとしての正常(A)と、第5クラスとしてのパーキンソン病(B)と、第6クラスとしての小脳萎縮症(D)を最も高い精度で区別できる構文の組み合せであり得る。
【0168】
また、決定部150は、第8位にランクされた第1構文の組み合せの一つである[gagagananana...jajaja]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第8位にランクされた[gagagananana...jajaja]は、第4クラスとしてのパーキンソン病(B)と、第5クラスとしての多系統萎縮症(C)を最も高い精度で区別できる構文の組み合せであり得る。
【0169】
また、決定部150は、第9位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第9位にランクされた[gagagananana...sasasa]は、第4クラスとしての正常(A)と、第5クラスとしてのパーキンソン病(B)と、第6クラスとしての多系統萎縮症(C)を最も高い精度で区別できる構文の組み合せであり得る。
【0170】
また、決定部150は、第10位にランクされた第1構文の組み合せの一つである[gagagananana...sasasa]は、第2パーキンソン病精度分類のための音声データとして決定できる。ここで、第10位にランクされた[gagagananana...sasasa]は、第4クラスとしてのパーキンソン病(B)と、第5クラスとしての多系統萎縮症(C)と、第6クラスとしての小脳萎縮症(D)を最も高い精度で区別できる構文の組み合せであり得る。
【0171】
取得部160は、決定部150が決定した音声データに対応する発話者の発話結果を第2パーキンソン病精度分類モデルに入力し、第2パーキンソン病精度分類モデルの出力で発話者に対するパーキンソン病精度分類結果を取得ことができる。
【0172】
図33は、他の実施形態に係るパーキンソン病予測装置の構成を概略的に説明するために示すブロック図である。以下の説明において
図1~
図32の説明と重複する部分はその説明を省略する。
図33を参照すると、他の実施形態に係るパーキンソン病予測装置100は、プロセッサ180とメモリ190とを含むことができる。
【0173】
本実施形態において、プロセッサ180は、
図1に開示された収集部110、生成部120、抽出部130、検証部140、決定部150、取得部160、および制御部170が実行する機能を処理することができる。
【0174】
そのようなプロセッサ180は、パーキンソン病予測装置100全体の動作を制御することができる。ここで、「プロセッサ(processor)」とは、例えば、プログラムに含まれるコードまたは命令で表現された機能を実行するために物理的に構造化された回路を有する、ハードウェアに組み込まれたデータ処理装置を意味することができる。このようにハードウェアに組み込まれたデータ処理装置の一例として、マイクロプロセッサ、中央処理装置、プロセッサコア、マルチプロセッサ、ASIC、FPGAなどの処理装置を網羅することができるが、本発明の範囲がこれに限定されるものではない。
【0175】
メモリ190はプロセッサ180と動作可能に連結され、プロセッサ180で実行される動作に関連して少なくとも1つのコードを保存することができる。
【0176】
さらに、メモリ190は、プロセッサ180が処理するデータを一時的または恒久的に記憶する機能を実行することができる。ここで、メモリ190は磁気記録媒体またはフラッシュメモリを含むことができるが、本発明の範囲はこれに限定されない。そのようなメモリ190は、内蔵メモリおよび/または外部メモリを含むことができ、DRAM、SRAM、またはSDRAMなどの揮発性メモリ、OTPROM、PROM、EPROM、EEPROM、マスクROM、フラッシュROM、NAND型フラッシュメモリ、またはNOR型フラッシュメモリなどの不揮発性メモリ、SSD、CFカード、SDカード、Micro-SDカード、Mini-SDカード、xDカード、またはメモリースティックなどのフラッシュドライブ、またはHDDなどの記憶装置を含むことができる。
【0177】
図34は、本実施形態に係るパーキンソン病予測方法を説明するためのフローチャートである。以下の説明において、
図1~
図33の説明と重複する部分はその説明を省略する。本実施形態に係るパーキンソン病予測方法は、パーキンソン病予測装置100が周辺構成要素の助けを借りてプロセッサ180で実行すると仮定して説明する。
【0178】
図34を参照すると、ステップS3410において、プロセッサ180は、発話者の発話結果を含む音声データから構文の組み合せを抽出することができる。
【0179】
プロセッサ180は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、または複数の異なる第3構文の組み合せを含む構文の組み合せを抽出することができる。複数の異なる第1構文の組み合せは、音声データから、所定の子音と所定の母音とを組み合わせた少なくとも1つの第1音節から構成することができる。複数の異なる第1構文の組み合せに含まれる所定の子音は、語文規則に従った子音順序で所定の母音と組み合わせられ、複数の異なる第1構文の組み合せに含まれる所定の母音は、いずれかの単一母音として決定されてもよい。音声データから、子音順序に応じたn番目の子音からn+k番目の子音を所定の母音と組み合わせて第1音節を生成し、第1音節を予め設定された数の回数繰り返して第1構文の組み合せとして抽出し、nは自然数を含み、kは0および自然数を含み得る。複数の異なる第2構文の組み合せは、基本母音セットと、所定の双子音および所定の母音を組み合わせた第2音節と、第1構文の組み合せのうちの1つ以上が組み合わせられた構成であってもよい。複数の異なる第3構文の組み合せは、任意の子音と任意の母音とを組み合わせた少なくとも1つの第3音節と、複数の異なる第2構文の組み合せに含まれるいずれかの構文の組み合せを含むことができる。
【0180】
本実施形態では、プロセッサ180は、構文の組み合せを抽出する前にパーキンソン病予測モデルを生成することができる。本実施形態におけるパーキンソン病予測モデルは、発話者の発話結果を含む音声データを用いて発話者に対するパーキンソン病を予測するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発火結果を含む音声データを入力とし、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症のうちの1つをラベルとする訓練データにより指導学習方式で訓練されたモデルであってもよい。
【0181】
ステップS3420で、プロセッサ180は、音声データを前処理する条件および構文の組み合せを変更して、パーキンソン病予測モデルの精度を検証することができる。
【0182】
プロセッサ180は、音声データを前処理する第1前処理条件および、複数の異なる第1構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第1検証を実行することができる。本実施形態において、第1前処理条件は、第2音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0183】
プロセッサ180は、音声データを前処理する第2前処理条件および、複数の異なる第2構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第2検証を実行することができる。本実施形態において、第2前処理条件は、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0184】
プロセッサ180は、音声データを前処理する第3前処理条件および、複数の異なる第3構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第3検証を実行することができる。本実施形態において、第3前処理条件は、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0185】
プロセッサ180は、音声データを前処理する第4前処理条件および、複数の異なる第4構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第4検証を実行することができる。本実施形態において、第4前処理条件は、第2音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0186】
プロセッサ180は、音声データを前処理する第5前処理条件および、複数の異なる第3構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第5検証を実行することができる。本実施形態において、第5前処理条件は、第1音響前処理を実行し、エッジ(edge)、リピート(repeat)、タイル(tile)およびゼロ(zero)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さおよび話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTEアルゴリズムおよびクラス重み付けアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、外れ値(outlier)の除去なしを実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0187】
プロセッサ180は、音声データを前処理する第6前処理条件、複数の異なる第1構文の組み合せ、および複数の異なる第2構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第6検証を実行することができる。本実施形態では、第6前処理条件は、第1音響前処理を実行し、エッジ(edge)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0188】
プロセッサ180は、音声データを前処理する第7前処理条件、複数の異なる第1構文の組み合せ、および複数の異なる第2構文の組み合せに基づいてパーキンソン病予測モデルの精度を検証する第7検証を実行することができる。本実施形態では、第7前処理条件は、第2音響前処理を実行し、エッジ(edge)を含むデータパディングを実行し、性別、音量、サイズ、最大振幅、長さ、および話者別の平均構文の長さを含む統計的特性を実行し、学習セット:検証セット:テストセットが64:16:20に分割されるデータ分割を実行し、SMOTE-NCアルゴリズムを含むデータ不均衡の補完を実行し、標準化を含むスケーリングを実行し、分離フォレストを含む外れ値(outlier)の除去を実行し、float64を含む浮動小数点フォーマットを実行する条件を含むことができる。
【0189】
ステップS3430で、プロセッサ180は、パーキンソン病予測モデルの精度を検証した結果から、上位にランクされた構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。
【0190】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第1検証の結果から、最上位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から11番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。
【0191】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第2検証の結果から、最上位にランクされた基本母音セットをパーキンソン病予測のための音声データとして決定することができる。
【0192】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第3検証の結果から、最上位にランクされた第3構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じて3番目の子音および8番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0193】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第4検証の結果から、最上位にランクされた第3構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じた8番目の子音および14番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0194】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第5検証の結果から、最上位にランクされた第3構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じた2番目の子音および7番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。
【0195】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第6検証の結果から、最上位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から9番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位2位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位2位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位3位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位3位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から6番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位4位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位4位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から5番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0196】
プロセッサ180は、パーキンソン病予測モデルの精度に対する第7検証の結果から、最上位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、最上位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から9番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位2位にランクされた第1構文の組み合せをパーキンソン病予測のための音声データとして決定することができる。ここで、上位2位にランクされた第1構文の組み合せは、子音順序に応じた1番目の子音から7番目の子音を所定の母音と組み合わせて生成した複数の異なる第1音節を予め設定された数の回数繰り返したものであってもよい。
【0197】
ステップS3440で、プロセッサ180はパーキンソン病予測のための音声データに対応する発話者の発話結果をパーキンソン病予測モデルに入力し、パーキンソン病予測モデルの出力で発話者に対するパーキンソン病予測結果を取得することができる。
【0198】
任意の実施形態では、プロセッサ180は性別分類モデルを生成することができる。本実施形態における性別分類モデルは、発話者の発話結果を含む音声データを用いて発話者の性別を分類するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、発話者の性別をラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。プロセッサ180は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに基づいて性別分類モデルの精度を検証することができる。プロセッサ180は、性別分類モデルの精度を検証した結果から、最上位にランクされた第3構文の組み合せを、性別分類のための音声データとして決定することができる。ここで、最上位にランクされた第3構文の組み合せは、子音順序に応じて3番目の子音および8番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、決定された音声データに対応する発話者の発話結果を性別分類モデルに入力し、性別分類モデルの出力で発話者に対する性別分類結果を取得することができる。
【0199】
任意の実施形態では、プロセッサ180は、構文の性能比較モデルを生成することができる。本実施形態では、構文の性能比較モデルは、発話者の発話結果を含む音声データを用いて音声データに含まれる構文別の性能比較結果を出力するように予め訓練されたディープニューラルネットワークモデルを訓練して生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、構文別の性能比較結果をラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。プロセッサ180は、発話者の発話結果を含む音声データから抽出された所定の構文に基づいて、パーキンソン病予測のための構文の性能比較モデルの精度を検証することができる。プロセッサ180は、パーキンソン病予測のための構文の性能比較モデルの精度を検証した結果から、上位にランクされた構文をパーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。プロセッサ180は、パーキンソン病予測のための構文の性能比較モデルの精度を検証した結果から、第1上位にランクされた第1構文をパーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第1上位にランクされた第1構文は、子音順序に応じた4番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第2上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第2上位にランクされた第1構文は、子音順序に応じた8番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第3上位にランクされた基本母音セットを、パーキンソン病予測のための構文の性能比較のための音声データとして決定することができる。プロセッサ180は、第4上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第4上位にランクされた第1構文は、子音順序に応じた11番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第5上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第5上位にランクされた第1構文は、子音順序に応じた2番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第6上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第6上位にランクされた第1構文は、子音順序に応じた6番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第7上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第7上位にランクされた第1構文は、子音順序に応じた12番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第8上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第8上位にランクされた第1構文は、子音順序に応じた14番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第9上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第9上位にランクされた第1構文は、子音順序に応じた13番目の子音を所定の母音と組み合わせて生成した第1音節と、12番目の子音を所定の母音と組み合わせて生成した第1音節と11番目の詩音を所定の母音と組み合わせて生成した第1音節とを組み合わせたものであってもよい。プロセッサ180は、第10上位にランクされた第1構文を、パーキンソン病予測のための構文の性能比較に向けた音声データとして決定することができる。ここで、第10上位にランクされた第1構文は、子音順序に応じた5番目の子音および所定の母音を組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、決定された音声データに対応する発話者の発話結果を構文の性能比較モデルに入力し、構文の性能比較モデルの出力で発話者に対するパーキンソン病予測のための構文の性能比較結果を取得することができる。
【0200】
任意の実施形態では、プロセッサ180は、第1パーキンソン病精度分類モデルを生成することができる。本実施形態における第1パーキンソン病精度分類モデルは、発話者の発話結果を含む音声データを用いて発話者のパーキンソン病の精度を分類するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、第1クラスおよび第2クラスのうちの1つ以上と第3クラスをラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。本実施形態における第1クラスは、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症の中で最上位の精度を有する疾患を含むことができる。第2クラスは、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症のうち、上位2位の精度を有する疾患を含み得る。第3クラスは、第1クラスまたは第2クラスを除いた残りのパーキンソン病関連疾患を含み得る。プロセッサ180は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに基づいて、第1パーキンソン病精度分類モデルの精度を検証することができる。プロセッサ180は、第1パーキンソン病精度分類モデルの精度を検証した結果から、上位にランクされた構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。プロセッサ180は、第1パーキンソン病精度分類モデルの精度を検証した結果から、最上位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで最上位にランクされた第3構文の組み合せは、第1クラスとしての小脳萎縮症および小脳萎縮症を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、最上位にランクされた第3構文の組み合せは、子音順序に応じた3番目の子音および8番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位2位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで、上位2位にランクされた第3構文の組み合せは、第1クラスとしての正常および正常を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、上位2位にランクされた第3構文の組み合せは、子音順序に応じた8番目の子音および14番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位3位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで上位3位にランクされた第3構文の組み合せは、第1クラスとしての多系統萎縮症および多系統萎縮症を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、上位3位にランクされた第3構文の組み合せは、子音順序に応じた2番目の子音および7番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、上位4位にランクされた第3構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで上位4位にランクされた第3構文の組み合せは、第1クラスとしてのパーキンソン病およびパーキンソン病を除いた残りのパーキンソン病関連疾患を含む第3クラスに対応することができる。また、上位4位にランクされた第3構文の組み合せは、子音順序に応じた8番目の子音および14番目の子音を所定の母音と組み合わせて生成したそれぞれ異なる第3音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、決定された音声データに対応する発話者の発話結果を第1パーキンソン病精度分類モデルに入力し、パーキンソン病精度分類モデルの出力で発話者に対する第1パーキンソン病精度分類結果を取得ことができる。
【0201】
任意の実施形態では、プロセッサ180は、第2パーキンソン病精度分類モデルを生成することができる。本実施形態における第2パーキンソン病精度分類モデルは、発話者の発話結果を含む音声データを用いて発話者のパーキンソン病の精度を分類するように予め訓練されたディープニューラルネットワークモデルを訓練することによって生成することができる。ここで、ディープニューラルネットワークモデルは、発話者の発話結果を含む音声データを入力とし、第4クラス、第5クラス、および第6クラスのうちの2つ以上をラベルとする訓練データによって指導学習方式で訓練されたモデルであってもよい。本実施形態における第4クラスは、パーキンソン病関連疾患に含まれる正常、パーキンソン病、多系統萎縮症および小脳萎縮症の中で最上位の精度を有する疾患を含むことができる。第5クラスは、第4クラスを除いた残り3つのパーキンソン病関連疾患のうちより高い精度を有する疾患を含み得る。第6クラスは、第4クラスおよび第5クラスを除いた残り2つのパーキンソン病関連疾患のうち最上位の精度を有する疾患を含み得る。プロセッサ180は、複数の異なる第1構文の組み合せ、複数の異なる第2構文の組み合せ、および複数の異なる第3構文の組み合せに基づいて、第2パーキンソン病精度分類モデルの精度を検証することができる。プロセッサ180は、第2パーキンソン病精度分類モデルの精度を検証した結果から、上位にランクされた構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。プロセッサ180は、第2パーキンソン病精度分類モデルの精度を検証した結果から、第1上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第1上位にランクされた第1構文の組み合せは、第4クラスとしての正常および第5クラスとしての小脳萎縮症に対応することができる。また、第1上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第2上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第2上位にランクされた第1構文の組み合せは、第4クラスとしての正常および第5クラスとしての多系統萎縮症に対応することができる。また、第2上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第3上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第3上位にランクされた第1構文の組み合せは、第4クラスとしての多系統萎縮症および第5クラスとしての小脳萎縮症に対応することができる。また、第3上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第4上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第4位にランクされた第1構文の組み合せは、第4クラスとしてのパーキンソン病および第5クラスとしての小脳萎縮症に対応することができる。また、第4上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第5上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第5上位にランクされた第1構文の組み合せは、第4クラスとしての正常、第5クラスとしての多系統萎縮症および第6クラスとしての小脳萎縮症に対応することができる。また、第5上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第6上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第6上位にランクされた第1構文の組み合せは、第4クラスとしての正常および第5クラスとしてのパーキンソン病に対応することができる。また、第6上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から9番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第7上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第7上位にランクされた第1構文の組み合せは、第4クラスとしての正常、第5クラスとしてのパーキンソン病および第6クラスとしての小脳萎縮症に対応することができる。また、第7上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第8上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第8位にランクされた第1構文の組み合せは、第4クラスとしてのパーキンソン病および第5クラスとしての多系統萎縮症に対応することができる。また、第8上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から9番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第9上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第9上位にランクされた第1構文の組み合せは、第4クラスとしての正常、第5クラスとしてのパーキンソン病および第6クラスとしての多系統萎縮症に対応することができる。また、第9上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、第10上位にランクされた第1構文の組み合せをパーキンソン病に対する精度を分類する音声データとして決定することができる。ここで第10上位にランクされた第1構文の組み合せは、第4クラスとしてのパーキンソン病、第5クラスとしての多系統萎縮症および第6クラスとしての小脳萎縮症に対応することができる。また、第10上位にランクされた第1構文の組み合せは、子音順序に応じて1番目の子音から7番目の子音を所定の母音と組み合わせて生成した第1音節を予め設定された数の回数繰り返したものであってもよい。プロセッサ180は、決定部150が決定した音声データに対応する発話者の発話結果を第2パーキンソン病精度分類モデルに入力し、第2パーキンソン病精度分類モデルの出力で発話者に対するパーキンソン病精度分類結果を取得ことができる。
【0202】
上述した本発明による実施形態は、コンピュータ上で様々な構成要素を介して実行することができるコンピュータプログラムの形態で実施することができ、そのようなコンピュータプログラムはコンピュータで読み取り可能な媒体に記録することができる。 このとき、媒体は、ハードディスク、フロッピーディスク、および磁気テープなどの磁気媒体、CD-ROMおよびDVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの光磁気記録媒体(magneto-optical medium)および、ROM、RAM、フラッシュメモリなどのようなプログラム命令を記憶して実行するように特別に構成されたハードウェア装置を含むことができる。
【0203】
一方、前記コンピュータプログラムは、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知で利用可能なものであってもよい。 コンピュータプログラムの例には、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行することができる高水準言語コードも含まれ得る。
【0204】
本発明の明細書(特に、特許請求の範囲において)における用語「前記」および同様の指示用語の使用は、単数および複数の両方に対応するものであり得る。また、本発明において範囲(range)を記載した場合、前記範囲に属する個別の値を適用した発明を含むものとして(これに反する記載がない場合)、発明の詳細な説明に前記範囲を構成する各個別の値を記載したものと同じである。
【0205】
本発明による方法を構成するステップについて明らかに順序を記載または反対する記載がなければ、前記ステップは適切な順序で行われてもよい。必ずしも前記ステップの記載順序によって本発明が限定されるわけではない。本発明におけるすべての例または例示的な用語(例えば、等)の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲によって限定されない限り、前記例または例示的な用語によって本発明の範囲が限定されるわけではない。さらに、当業者は、様々な修正、組み合わせ、および変更が追加された特許請求の範囲またはその均等物の範囲内で設計条件および要因に従って構成され得ることと理解するであろう。
【0206】
したがって、本発明の精神は、前記説明した実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等またはそれから等価的に変更された全ての範囲は、本発明の精神の範囲に属するというだろう。