7634089 機械学習モデルを用いてうつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-12

(45)【発行日】2025-02-20

(54)【発明の名称】機械学習モデルを用いてうつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体

(51)【国際特許分類】

   G16H 50/20 20180101AFI20250213BHJP

   G10L 15/10 20060101ALI20250213BHJP

   G10L 15/00 20130101ALI20250213BHJP

   G10L 25/66 20130101ALI20250213BHJP

   A61B 10/00 20060101ALI20250213BHJP

【ＦＩ】

G16H50/20

G10L15/10 200W

G10L15/00 200L

G10L25/66

A61B10/00 H

【請求項の数】 14

(21)【出願番号】P 2023530207

(86)(22)【出願日】2021-11-25

(65)【公表番号】

(43)【公表日】2023-12-19

(86)【国際出願番号】 KR2021017512

(87)【国際公開番号】W WO2022149720

(87)【国際公開日】2022-07-14

【審査請求日】2023-05-18

(31)【優先権主張番号】10-2021-0000837

(32)【優先日】2021-01-05

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】521298034

【氏名又は名称】ジェネシス ラボ インコーポレイテッド

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】キム，ジュンホン

(72)【発明者】

【氏名】ユー，デハン

(72)【発明者】

【氏名】リー，ヨンボク

【審査官】梅岡 信幸

(56)【参考文献】

【文献】国際公開第２０１９／２４６２３９（ＷＯ，Ａ１）

【文献】特開２０２２－０３２７９６（ＪＰ，Ａ）

【文献】特開２００４－１９９６９６（ＪＰ，Ａ）

【文献】特開２００６－２７６７５４（ＪＰ，Ａ）

【文献】特表２０１０－５１１９３６（ＪＰ，Ａ）

【文献】浅田 太郎，エージェントに対する応答時の表情分析システム，Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ ２０１７ ヒューマンインタフェースシンポジウム２０１７ ＤＶＤ－ＲＯＭ論文集，日本，2017年09月07日，pp.533-536

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ１０Ｌ １５／００－１７／２６

Ｇ１０Ｌ １９／００－９９／００

Ａ６１Ｂ ９／００－１０／０６

(57)【特許請求の範囲】

【請求項1】

１つ以上のプロセッサ及び１つ以上のメモリを有するコンピューティング装置で行われる機械学習モデルを用いて、うつ病予備診断情報を提供する方法であって、
前記コンピューティング装置から、患者端末機に対して質問情報を提示する提示ステップと、
前記質問情報に対する前記患者の返答内容を撮影した画像情報及び音声情報を含む返信画像を収集する返信画像収集ステップと、
機械学習されたモデルを用いて、１つ以上の前記返信画像から、うつ病予備診断情報を導出する診断ステップと、
うつ病予備診断情報を使用者に提供する提供ステップとを含み、
前記提供ステップにおいてディスプレイされる第１の表示画面は、
前記返信画像が表示される返信画像レイヤと、
前記患者端末機に対して提示した前記質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤとを含み、
前記スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、うつ病予備診断情報を提供する方法。

【請求項2】

前記第１の表示画面は、時間軸により診断されたうつ病程度がディスプレイされるうつ病グラフレイヤを含み、
前記うつ病グラフレイヤにおいて、使用者の入力により選択された時間軸位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項3】

前記診断ステップは、前記返信画像に含まれる音声から抽出したテキストに含まれる、複数の単語、前記複数の単語のそれぞれに対応する複数の画像フレーム、及び前記複数の単語のそれぞれに対応する複数の音声情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項4】

前記診断ステップは、
前記返信画像に含まれる音声から抽出したテキストに含まれる、複数の単語、複数の画像フレーム、及び複数の音声情報を抽出する第１のステップと、
前記複数の単語、前記複数の画像フレーム、及び前記複数の音声情報から、それぞれの詳細機械学習モデル又はアルゴリズムを用いて、複数の第１の特徴情報、複数の第２の特徴情報、及び複数の第３の特徴情報を導出する第２のステップと、
複数の前記第１の特徴情報、複数の前記第２の特徴情報、及び複数の前記第３の特徴情報から、シーケンスデータを考えた人工ニューラルネットワークを用いて、うつ病程度を有する導出情報を導出する第３のステップとを含む、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項5】

前記診断ステップは、前記返信画像に含まれる音声から抽出したテキストに含まれる、複数の単語、複数の画像フレーム、音声情報のうち、２つ以上の情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項6】

前記シーケンスデータを考えた人工ニューラルネットワークは、循環ニューラルネットワーク又はアテンションメカニズムを基にするトランスフォーマー系列機械学習モデルに該当し、前記複数の単語のそれぞれに対応する第１の特徴情報、第２の特徴情報、及び第３の特徴情報が併合した形態で、循環ニューラルネットワーク又はトランスフォーマー系列機械学習モデルに入力される、請求項４に記載のうつ病予備診断情報を提供する方法。

【請求項7】

前記スクリプトレイヤに表示される返答テキストの部分は、該当返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度及びうつ病の種類のうち、１つ以上により、ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項8】

前記ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される前記返答テキストの部分は、該当返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度が所定の基準以上に該当し、
前記ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される前記返答テキストの部分を使用者が選択する場合、該当返答テキストの部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、請求項７に記載のうつ病予備診断情報を提供する方法。

【請求項9】

前記うつ病グラフレイヤは、前記うつ病程度が所定の第１の基準を超えるか、又は、うつ病詳細種類を示す第１の基準表示エレメントを含む、請求項２に記載のうつ病予備診断情報を提供する方法。

【請求項10】

前記第１の表示画面は、更に、前記スクリプトレイヤのスクロール情報を表示するスクロールレイヤを含み、
前記スクロールレイヤには、前記うつ病予備診断情報のうつ病の程度及びうつ病の種類の１つ以上により表示されるそれぞれの時点における情報表示エレメントが表示され、
前記情報表示エレメントを使用者が選択すると、前記スクリプトレイヤでは、選択された前記情報表示エレメントに対応する返答テキストの位置に移動する、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項11】

前記提供ステップにおいてディスプレイされる第２の表示画面は、
前記返信画像が表示される返信画像レイヤと、
前記返信画像から抽出された要約返答テキスト情報がディスプレイされる要約スクリプトレイヤとを含み、
前記要約返答テキスト情報は、返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度が、所定の基準以上である返答テキストの１つ以上の部分を含み、
前記要約スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、請求項１に記載のうつ病予備診断情報を提供する方法。

【請求項12】

前記第２の表示画面は、更に、前記要約返答テキスト情報のそれぞれに対応する１つ以上の選択入力エレメントを含み、
使用者の入力により選択された前記選択入力エレメント又は要約返答テキスト情報の一部に対応する返信画像の部分が再生される、請求項１１に記載のうつ病予備診断情報を提供する方法。

【請求項13】

１つ以上のプロセッサ及び１つ以上のメモリを有するコンピューティング装置で具現される機械学習モデルを用いて、うつ病予備診断情報を提供する装置であって、
前記コンピューティング装置から、患者端末機に対して質問情報を提示する提示部と、
前記質問情報に対する前記患者の返答内容を撮影した画像情報及び音声情報を含む返信画像を収集する返信画像収集部と、
機械学習されたモデルを用いて、１つ以上の前記返信画像から、うつ病予備診断情報を導出する診断部と、
うつ病予備診断情報を使用者に提供する提供部とを含み、
前記提供部によりディスプレイされる第１の表示画面は、
前記返信画像が表示される返信画像レイヤと、
前記患者端末機に対して提示した前記質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤとを含み、
前記スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、うつ病予備診断情報を提供する装置。

【請求項14】

１つ以上のプロセッサ及び１つ以上のメモリを有するコンピューティング装置で行われる機械学習モデルを用いて、うつ病予備診断情報を提供する方法を具現するためのコンピュータプログラムであって、
コンピュータに、
前記コンピューティング装置から、患者端末機に対して質問情報を提示する提示機能と、
前記質問情報に対する前記患者の返答内容を撮影した画像情報及び音声情報を含む返信画像を収集する返信画像収集機能と、
機械学習されたモデルを用いて、１つ以上の前記返信画像から、うつ病予備診断情報を導出する診断機能と、
うつ病予備診断情報を使用者に提供する提供機能とを実現させ、
前記提供機能においてディスプレイされる第１の表示画面は、
前記返信画像が表示される返信画像レイヤと、
前記患者端末機に対して提示した前記質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤとを含み、
前記スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルを用いて、うつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体に関し、被評価者が行った返信画像に対するうつ病に対する分析結果、及びこれに対する根拠情報を、医療スタッフ、使用者、カウンセラーなどに特殊なユーザインターフェースを通じて提供することで、うつ病に対する判断をより効率的にするための、機械学習モデルを用いて、うつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体に関する。

【背景技術】

【0002】

最近、新型コロナのため、国民精神健康への赤信号が明らかになることにつれ、より積極的な自殺予防対策に対する必要性が発生している。現在の方式では、精神疾患初期と自ら診断した患者が精神科病院を訪問して、診断を受けるような形態であるが、一般人の場合、容易に病院を訪問して診断及び相談を受けることは難しい実情である。

【0003】

特に、最近、２０代、３０代、学生、及び女性の自殺率が急増しているが、このような若い年齢層の場合、精神科疾患治療に対する心理的拒否感があるか、又は、精神科疾患の治療履歴が自分の履歴に残ることに対する拒否感があり、容易に精神科病院を訪問し難い。

【0004】

また、うつ病治療を目的にカウンセラーが対応するためには、うつ病状態及び程度を知らなければならないが、ＰＨＱ－９のようなアンケート調査に依存する場合が殆どである。アンケート調査は、正確に自分の状態を作成することができず、診断することに限界がある。

【0005】

一方、先行特許１(韓国登録特許１０－２１７５４９０号)は、人工知能スピーカーを通じて、使用者に対話方式のインターフェースを提供し、提供される対話による使用者の応答に基づいて、うつ病測定のためのアンケートにそれぞれ対応する所定文の１つを選択して、使用者に対話内容として提供して、うつ病測定のためのアンケートの応答を全て受信し、これを分析して、うつ病を測定する技術を開示している。

【0006】

また、先行特許２(韓国公開特許１０－２０２０－００４２３７３号)は、脳波データを取得し、脳波データを基に、細分化した複合マルチスケール順列エントロピー(refined composite multi-scale permutation entropy; RCMPE)指標を検出し、細分化した複合マルチスケール順列エントロピー指標を用いて、脳波データに対する脳波変異度を検出するように構成する技術を開示している。

【0007】

しかし、先行特許１の場合、使用者に便宜性を提供することはできるが、単に、音声情報だけでは、うつ病を正確に診断することができないという問題点があり、先行特許２の場合、多くの使用者に該当診断を受けるための装備が必要であって、違和感が発生し、使用者の便宜性が低下するという問題点がある。

【0008】

また、うつ病に対する正確な診断は、結局、医者だけが可能であり、これに対する処方及び患者への助言も、最終的にうつ病などの精神疾患を病む人々が所望することであるため、専門的な医者の活動がない前記先行技術１、２のような方式は、基本的に限界がある。

【0009】

一方、最近、遠隔技術が台頭することにつれ、精神科医者やカウンセラーの場合も、画像コミュニケーションを通じて、患者との相談及び診断を行うことができるようになった。しかし、このような遠隔技術の場合、医者と患者が同一時間に合わせて、相談及び診断を行わなければならないので、医者立場では、結局、同様な時間がかかり、むしろ、診療便宜性が低下するため、このような理由で積極的に推進していない実情である。

【0010】

一方、最近、急激な社会変化により、うつ病対象年齢層が拡がっており、多数の相談及び診断が必要な人々が急増しているが、精神科医者の場合、その数が制限されているので、実際の診療や相談でも、十分な分析による診断が難しい実情である。

【先行技術文献】

【特許文献】

【0011】

【文献】韓国登録特許１０－２１７５４９０号

【文献】韓国公開特許１０－２０２０－００４２３７３号

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は、被評価者が行った返信画像に対するうつ病に対する分析結果、及びこれに対する根拠情報を医療スタッフ、使用者、カウンセラーなどに、特殊なユーザインターフェースを通じて提供することで、うつ病に対する判断をより効率的にするための、機械学習モデルを用いて、うつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体を提供することを目的とする。

【課題を解決するための手段】

【0013】

前記のような課題を解決するために、本発明の一実施例は、１つ以上のプロセッサ及び１つ以上のメモリを有するコンピューティング装置で行われる機械学習モデルを用いて、うつ病予備診断情報を提供する方法であって、１つ以上の返信画像に対して、機械学習されたモデルを用いて、うつ病予備診断情報を導出する診断ステップと、うつ病予備診断情報を使用者に提供する提供ステップとを含み、前記提供ステップにおいてディスプレイされる第１の表示画面は、前記返信画像が表示される返信画像レイヤと、前記返信画像に関する質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤとを含み、前記スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、うつ病予備診断情報を提供する方法を提供する。

【0014】

前記第１の表示画面は、時間軸により診断されたうつ病程度がディスプレイされるうつ病グラフレイヤを含み、前記うつ病グラフレイヤにおいて、使用者の入力により選択された時間軸位置に対応する時点に、前記返信画像レイヤの画像時点が変わる。

【0015】

前記診断ステップは、前記返信画像から音声のテキストより抽出した複数の単語、前記複数の単語のそれぞれに対応する複数の画像フレーム、及び前記複数の単語のそれぞれに対応する複数の音声情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する。

【0016】

前記診断ステップは、前記返信画像から音声のテキストより抽出した複数の単語、複数の画像フレーム、及び複数の音声情報を抽出する第１のステップと、前記複数の単語、前記複数の画像フレーム、及び前記複数の音声情報から、それぞれの詳細機械学習モデル又はアルゴリズムを用いて、複数の第１の特徴情報、複数の第２の特徴情報、及び複数の第３の特徴情報を導出する第２のステップと、複数の前記第１の特徴情報、複数の前記第２の特徴情報、及び複数の前記第３の特徴情報から、シーケンスデータを考えた人工ニューラルネットワークを用いて、うつ病程度を有する導出情報を導出する第３のステップとを含む。

【0017】

前記診断ステップは、前記返信画像から抽出した音声のテキストより抽出した複数の単語、複数の画像フレーム、音声情報のうち、２つ以上の情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する。

【0018】

前記シーケンスデータを考えた人工ニューラルネットワークは、循環ニューラルネットワーク又はアテンションメカニズムを基にするトランスフォーマー系列機械学習モデルに該当し、前記複数の単語のそれぞれに対応する第１の特徴情報、第２の特徴情報、及び第３の特徴情報が併合した形態で、循環ニューラルネットワーク又はトランスフォーマー系列機械学習モデルに入力される。

【0019】

前記スクリプトレイヤに表示される返答テキストの部分は、該当返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度及びうつ病の種類のうち、１つ以上により、ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される。

【0020】

前記ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される前記返答テキストの部分は、該当返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度が所定の基準以上に該当し、前記ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される前記返答テキストの部分を使用者が選択する場合、該当返答テキストの部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる。

【0021】

前記うつ病グラフレイヤは、前記うつ病程度が所定の第１の基準を超えるか、又は、うつ病詳細種類を示す第１の基準表示エレメントを含む。

【0022】

前記第１の表示画面は、更に、前記スクリプトレイヤのスクロール情報を表示するスクロールレイヤを含み、前記スクロールレイヤには、前記うつ病予備診断情報のうつ病の程度及びうつ病の種類の１つ以上により表示されるそれぞれの時点における情報表示エレメントが表示され、前記情報表示エレメントを使用者が選択すると、前記スクリプトレイヤでは、選択された前記情報表示エレメントに対応する返答テキストの位置に移動する。

【0023】

前記提供ステップにおいてディスプレイされる第２の表示画面は、前記返信画像が表示される返信画像レイヤと、前記返信画像から抽出された要約返答テキスト情報がディスプレイされる要約スクリプトレイヤとを含み、前記要約返答テキスト情報は、返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度が、所定の基準以上である返答テキストの１つ以上の部分を含み、前記要約スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる。

【0024】

前記第２の表示画面は、更に、前記要約返答テキスト情報のそれぞれに対応する１つ以上の選択入力エレメント含み、使用者の入力により選択された前記選択入力エレメント又は要約返答テキスト情報の一部に対応する返信画像の部分が再生される。

【0025】

前記のような課題を解決するために、本発明の一実施例は、１つ以上のプロセッサ及び１つ以上のメモリを有するコンピューティング装置で具現される機械学習モデルを用いて、うつ病予備診断情報を提供する装置であって、１つ以上の返信画像に対して、機械学習されたモデルを用いて、うつ病予備診断情報を導出する診断部と、うつ病予備診断情報を使用者に提供する提供部とを含み、前記提供ステップによりディスプレイされる第１の表示画面は、前記返信画像が表示される返信画像レイヤと、前記返信画像に関する質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤとを含み、前記スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる。

【0026】

前記のような課題を解決するために、本発明の一実施例は、１つ以上のプロセッサ及び１つ以上のメモリを有するコンピューティング装置で行われる機械学習モデルを用いて、うつ病予備診断情報を提供する方法を具現するためのコンピュータ読取り可能な媒体であって、１つ以上の返信画像に対して、機械学習されたモデルを用いて、うつ病予備診断情報を導出する診断ステップと、うつ病予備診断情報を使用者に提供する提供ステップとを含み、前記提供ステップにおいてディスプレイされる第１の表示画面は、前記返信画像が表示される返信画像レイヤと、前記返信画像に関する質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤとを含み、前記スクリプトレイヤにおいて、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤの画像時点が変わる、コンピュータ読取り可能な媒体を提供する。

【発明の効果】

【0027】

本発明によると、被評価者が行った返信画像に対するうつ病に対する分析結果、及びこれに対する根拠情報を医療スタッフに、特殊なユーザインターフェースを通じて提供することで、医療スタッフのうつ病に対する判断をより効率的にするための、機械学習モデルを用いて、うつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体を提供することができる。

【0028】

また、本発明によると、多数の２０代及び３０代の使用者も違和感なく、自分のうつ病に対する診断を受けることができる。

【0029】

更に、本発明によると、一種の遠隔診療の概念で、多数の人々に対するうつ病可否を診断することができ、医者個々人が、患者又は使用者と時間を正確に決めてリアルタイムで行うことではなく、患者と医者が分離した時間帯で行うことができる。

【0030】

また、本発明によると、診療スタッフ側で画像全体を全部再生することなく、診療スタッフ側で機械学習モデルにより選別された重要な部分だけを、速い時間に確認することができる。

【0031】

また、本発明によると、機械学習モデルが重要であると判断される部分を自動的に抽出して、効率的なユーザインターフェースで画像を確認することができる。

【0032】

また、本発明によると、音声特徴、表情、及びテキスト全体に対して、マルチモーダル的に判断して、うつ病症状に対する総合的な判断を提供することができる。

【0033】

更に、本発明によると、単に、機械学習モデルの判断結果を提供することではなく、機械学習モデルの判断根拠又は説明に対する情報を医療スタッフに提供することで、医療スタッフが該当意見に対する収容可否を速い時間に判断することができる。

【図面の簡単な説明】

【0034】

【図1】本発明の一実施例によるうつ病予備診断情報を提供するシステムにおける全体的な実行ステップを概略的に示す図である。

【図2】本発明の一実施例によるサーバシステムの内部構成を概略的に示す図である。

【図3】本発明の一実施例による診断部が行う第１のステップの過程を概略的に示す図である。

【図4】本発明の一実施例による診断部が行う第２のステップの過程を概略的に示す図である。

【図5】本発明の一実施例による診断部が行う第３のステップの過程を概略的に示す図である。

【図6】本発明の一実施例による第１の表示画面を概略的に示す図である。

【図7】本発明の一実施例による返信画像レイヤ及びスクリプトレイヤを概略的に示す図である。

【図8】本発明の一実施例による返信画像レイヤ及びスクリプトレイヤを概略的に示す図である。

【図9】本発明の一実施例による返信画像レイヤ及びうつ病グラフレイヤを概略的に示す図である。

【図10】本発明の一実施例による第２の表示画面を概略的に示す図である。

【図11】本発明の一実施例によるサーバシステム、使用者端末機などが該当するコンピューティング装置について示す図である。

【発明を実施するための形態】

【0035】

以下では、添付の図面を参照して、本発明が属する技術分野における通常の知識を有する者が容易に実施できるように、本発明の実施例を詳しく説明する。しかし、本発明は、様々な異なる形態で具現可能であり、ここで説明する実施例に限定されるものではない。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は省略しており、明細書全体に亘って、同様な部分に対しては、同様な符号を付している。

【0036】

明細書全体に亘り、ある部分が他の部分に「連結」されているとすると、これは、「直接的に連結」されている場合だけではなく、その中間に他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とすると、これは、特に反対される記載がない限り、他の構成要素を除くことではなく、他の構成要素を更に含むことができることを意味する。

【0037】

また、第１、第２などのように序数を含む用語は、様々な構成要素を説明することに使われるが、前記構成要素は、前記用語により限定されるものではない。前記用語は、１つの構成要素を、他の構成要素から区別する目的としてのみ使われる。例えば、本発明の権利範囲を逸脱することなく、第１の構成要素は、第２の構成要素と称することができ、同様に、第２の構成要素も、第１の構成要素と称することができる。「及び/又は」という用語は、複数の関連する記載された項目の組み合わせ、又は複数の関連する記載された項目のいずれか１つの項目を含む。

【0038】

本明細書において、「部」とは、ハードウェアにより実現されるユニット、ソフトウェアにより実現されるユニット、両方を用いて実現されるユニットを含む。また、１つのユニットが２つ以上のハードウェアを用いて実現されてもよく、２つ以上のユニットが、１つのハードウェアにより実現されても良い。一方、「～部」は、ソフトウェア又はハードウェアに限定される意味ではなく、「～部」は、アドレッシング可能な格納媒体にあるように構成されることもでき、１つ又はそれ以上のプロセッサを再生するように構成されることもできる。そこで、一例として、「～部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素、及びタスク構成要素のような構成要素と、プロセス、関数、属性、手続き、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素と「～部」から提供される機能は、より小さい数の構成要素及び「～部」に結合されるか、更なる構成要素と「～部」へ更に分離可能である。その上で、構成要素及び「～部」は、デバイス又は保安マルチメディアカードのいずれか１つ、又はそれ以上のＣＰＵを再生するように具現されることもできる。

【0039】

以下で言及する「患者端末機」及び「医療スタッフ端末機」とネットワークを介して、サーバや他の端末に接続可能なコンピュータや携帯用端末機として具現可能である。ここで、コンピュータは、例えば、ウェブブラウザ(WEB Browser)が搭載されたノート型パソコン、デスクトップ、ラップトップなどを含み、携帯用端末機は、例えば、可搬性が保障される無線通信装置であって、ＰＣＳ(Personal Communication System)、ＧＳＭ(Global System for Mobile communications)、ＰＤＣ(Personal Digital Cellular)、ＰＨＳ(Personal Handyphone System)、ＰＤＡ(Personal Digital Assistant)、ＩＭＴ(International Mobile Telecommunication)－２０００、ＣＤＭＡ(Code Division Multiple Access)－２０００、Ｗ－ＣＤＭＡ(W-Code Division Multiple Access)、Ｗｉｂｒｏ(Wireless Broadband Internet)端末などのような全ての種類のハンドヘルド(Handheld)基盤の無線通信装置を含む。また、「ネットワーク」は、近距離通信網(Local Area Network;LAN)、広域通信網(Wide Area Network; WAN)、又は付加価値通信網(Value Added Network; VAN)などのような有線ネットワークや、移動通信網(mobile radio communication network)又は衛星通信網などのような全ての種類の無線ネットワークとして具現可能である。

【0040】

図１は、本発明の一実施例によるうつ病予備診断情報を提供するシステムにおける全体的な実行ステップを概略的に示す図である。

【0041】

本発明のうつ病予備診断情報を提供する方法は、１以上のプロセッサ及び１以上のメモリを有するコンピューティング装置で行われる機械学習モデルを用いて提供される。

【0042】

ステップＳ１０では、サーバシステム１０００から、患者端末機に対して質問情報を提供する。質問情報は、テキスト、音声、及び画像のうち、１つ以上を含む情報に該当し、テキストだけ提示されるか、画像だけ提示されるか、音声だけ提示されるか、又は、仮想のヒューマンエージェントに音声が合成した形態にメディアとして提示される。本明細書において、「患者」という広義の概念における返信画像を提供する被評価者又は被診断者として理解されるべきであり、うつ病に対する診断を受けるオブジェクトは、本明細書で説明の便宜のために、「患者」と称することがあるが、ここで、患者は、病院の概念での患者ではなく、被評価者の一例を示す。例えば、企業などの組織において、本発明によるシステムを適用する場合、診断を受けようとする職員などもいずれも、本明細書における「患者」の範疇として理解されるべきである。

【0043】

ステップＳ２０では、患者端末機において、カメラ及びMICを用いて撮影された返信画像が、サーバシステム１０００に転送されるステップに該当する。

【0044】

本発明の実施例では、ステップＳ１０、Ｓ２０が行われた後に、他の質問に対して、再度、ステップＳ１０、Ｓ２０が行われることにつれ、複数の返信画像がサーバシステム１０００に受信されることもできる。

【0045】

ステップＳ３０では、１つ以上の返信画像に対して機械学習されたモデルを用いて、うつ病予備診断情報を導出する診断ステップが行われる。

【0046】

本明細書における診断は、患者の返信画像に基づいて、うつ病などの精神疾患に関する情報を導出することであって、該当患者のうつ病可否を判断する情報から、該当患者のうつ病の種類、程度などを導出するか、又は、該当患者のうつ病の種類、程度などに対する判断根拠を導出するなどを含む最広義で解析されるべきである。また、うつ病予備診断情報は、前記診断の結果だけでなく、診断に関する詳細情報、総合情報、及び加工情報をいずれも含む最広義で解析されるべきである。

【0047】

、前記うつ病予備診断情報を、使用者に提供する提供ステップが行われる。

【0048】

前記使用者は、精神健康医学科専門医、看護師などの医療スタッフ、カウンセラー、又は該当面接画像を撮影した被評価者、該当被評価者の業務などに関する組織における管理者又は構成員など、いずれも該当する。

【0049】

ステップＳ５０では、医療スタッフ端末機から受信したうつ病予備診断情報が、特殊なUIによりディスプレイされる。ステップＳ５０では、前記使用者が医療スタッフである場合を仮定したが、本発明の適用範囲は、これに限定されず、様々な形態の使用者が、うつ病予備診断情報を提供されることができる。但し、以下では、説明の便宜のために、うつ病予備診断情報を提供される使用者を医療スタッフとして説明する。また、被評価者の場合は、患者端末機が医療スタッフ端末機と同一の端末機、又は同一のアプリケーションで表示されることもできる。

【0050】

医療スタッフ、カウンセラー、又は管理者などの使用者の端末機では、うつ病予備診断情報から、患者端末機で撮影された返信画像全体を見ず、一次的に機械学習モデルで評価した結果、及びこれに対する評価根拠を要約して見ることができる。後述するステップＳ５０において、医療スタッフ端末機でディスプレイされる画面は、医療スタッフで直観的に該当患者の状態を把握することができる形態に該当し、このようにディスプレイされる画面において、医療スタッフは、１次的に予備情報を受け、自分が重要であると判断される画面時点を効率よく確認することで、医療スタッフが該当患者に対して、遠隔で診療を行うことができるだけでなく、診療時間を効率よく使用することができる。

【0051】

ステップＳ６０では、医療スタッフが自分の診断情報を入力し、これをサーバシステム１０００に転送する。診断情報は、うつ病に対する診断情報だけでなく、該当患者が実際に病院に来院が必要であるか否か、又は病院診断予約に関する情報を含むこともできる。うつ病に対する診断情報は、機械学習モデルを学習することに用いられるため、モデル学習部１５００に入力データとして活用される。

【0052】

ステップＳ７０では、サーバシステム１０００において、前記医療スタッフが入力した診断情報の一部又は全体を、患者端末機に転送するステップである。このような過程において、患者端末機に予備診断情報の一部又は全体が加工した形態に提供される。このような過程により、患者は、自分のうつ病に対する機械学習モデルが診断した情報、及び/又は実際に医療スタッフが診断した情報、及び/又は病院との予約に関する情報を受信する。

【0053】

本発明のいくつの実施例では、サーバシステム１０００は、複数のコンピューティングシステムで構成されることもできる。 又は、患者端末機及び/又は医療スタッフ端末機は、前記サーバシステム１０００に物理的に結合した形態又は分離した端末機に該当することもできる。

【0054】

図２は、本発明の一実施例によるサーバシステム１０００の内部構成を概略的に示す図である。

【0055】

前記返信画像収集部１１００は、前記ステップＳ１０、Ｓ２０を行うモジュールに該当する。
望ましくは、返信画像収集部１１００は、構造的な質問形態でステップＳ１０を行うこともでき、又は、使用者の返信画像に対する分析結果を用いて、質問を選択する形態に進行される。

【0056】

このように返信画像収集部１１００により収集された返信画像は、サーバシステム１０００のＤＢ１６００に保存される。

【0057】

診断部１２００は、１つ以上の返信画像に対して、機械学習モデルを用いて、うつ病予備診断情報を導出する。

【0058】

具体的に、前記機械学習モデルは、被評価者(患者)が行った返信画像に対する評価を行う様々な詳細機械学習モデルを含む。前記詳細機械学習モデルは、ディープラーニングを基に学習されて評価を行うことができる詳細機械学習モデルに該当するか、又は、学習ではなく、所定のルーチン又はアルゴリズムにより、該当返信画像に対する特徴情報を導出し、導出された特徴情報に対する評価を行う詳細機械学習モデルに該当する。

【0059】

本発明の一実施例において、前記診断部１２００は、基本的に複数の連続した画像情報及び音声情報を含む被評価者(患者)が行った返信画像を入力され、ディープラーニングのような機械学習技術で学習された機械学習モデルにより、うつ病予備診断情報を導出する。また、更に、前記診断部１２００は、一部過程で機械学習ではなく、所定の規則を基に返信画像を分析し、特定評価値を導出することもできる。前記診断部１２００は、複数の連続した画像及び音声を含む返信画像から、画像及び音声情報を抽出し、これをそれぞれの詳細機械学習モデルに入力して、結果値を導出するか、又は、画像及び音声情報を総合して、詳細機械学習モデルに入力して、結果値を導出する。

【0060】

情報提供部１３００は、うつ病予備診断情報を使用者に提供する。これに関する具体的な事項に対しては、後述する。

【0061】

通知部１４００は、前記ステップＳ６０及びＳ７０を行うモジュールに該当する。

【0062】

モデル学習部１５００は、前記診断部１２００による診断において用いられる機械学習モデルを、学習データを用いて持続的に学習させるためのモジュールに該当する。ここに、医療スタッフ診断情報(Ｓ６０)が学習データとして活用される。

【0063】

一方、ＤＢ１６００には、前記返信画像収集部１１００において、患者端末機に提示する質問情報に対する質問コンテンツ、前記返信画像収集部１１００で受信した返信画像、前記診断部１２００で診断を行うための学習された機械学習モデル、及び前記ステップＳ６０、Ｓ７０の実行に関する通知情報が保存されている。

【0064】

本発明の他の実施例では、前記サーバシステム１０００は、２つ以上のサーバを含み、それぞれのサーバには、前述した構成の一部を含み、それぞれのサーバが通信を行って、機械学習モデルを用いて、うつ病予備診断情報を提供する方法を行うこともできる。例えば、返信画像収集部１１００に関する機能は、特定のサーバに含まれ、診断部１２００及びモデル学習部１５００に関する機能は、更に他の特定サーバに含まれて、前記特定サーバ及び前記更に他の特定サーバ間の通信を通じて、本発明の機械学習モデルを用いて、うつ病予備診断情報を提供する方法が行われる。

【0065】

図３は、本発明の一実施例による診断部１２００が行う第１のステップの過程を概略的に示す図である。

【0066】

本発明の好適な実施例では、前記診断ステップは、前記返信画像より音声のテキストから抽出した複数の単語、前記複数の単語のそれぞれに対応する複数の画像フレーム、及び前記複数の単語のそれぞれに対応する複数の音声情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する。

【0067】

図３における第１のステップは、前記返信画像より音声のテキストから抽出した複数の単語、前記複数の単語のそれぞれに対応する複数の画像フレーム、及び前記複数の単語のそれぞれに対応する複数の音声情報を抽出する。

【0068】

具体的に、前記第１のステップでは、前記返信画像において、画像情報及び音声ロウデータを分離する過程に該当する。具体的に、診断部１２００は、画像音声分離モジュールを含み、前記画像音声分離モジュールは、該当返信画像を、画像情報及び音声ロウデータに分離する。

【0069】

前記診断部１２００は、ＳＴＴモジュールを含み、前記ＳＴＴモジュールは、入力された返信画像に対して、Speech to Text(STT)変換を行って、使用者が行った返信画像の音声に対するテキスト情報を導出する。前記ＳＴＴモジュールで行うSpeech to Text変換方法は、既存に存在する様々なＳＴＴ変換方法を使用することができる。

【0070】

本発明の好適な実施例では、音声認識機により認識された音声を形態素(又は単語)別に分離し、それぞれの形態素にマッチングされる画像イメージ及び特定区間による音声ロウデータを抽出する。

【0071】

例えば、図３に示している実施例では、「死に」、「たい」、「気が」、「しました」と計４つの形態素が導出され、それぞれの形態素に対応する画像フレームを選択する。図３では、該当形態素の発音が始まる時点での画像フレームが選択されたが、これに限定されず、該当形態素に関する１つ以上の画像フレームが選択されることができる。このような方式は、特定区間による音声情報にも同様に適用される。

【0072】

すなわち、本発明では、全ての時間シーケンスを同一に扱うことではなく、音声認識機により認識された形態素別にシーケンスを扱うことで、更に音声情報が存在するマルチモーダル分析における精度を高め、且つ、演算負荷を減らすことができる効果を奏する。

【0073】

図３に示している実施例では、音声認識機により認識された形態素別にシーケンスを合わせて、画像フレーム、音声ロウデータを抽出したが、本発明の他の実施例では、画像フレーム、時間などにシーケンスを合わせて、残りの情報を抽出して、アライメント(ALIGNMENT)を用いて、初期データを取得することができる。

【0074】

一方、本発明の他の実施例では、図３に示している実施例と異なり、画像フレーム、音声ロウデータ、テキスト(形態素)間でのアライメント(ALIGNMENT)を行わず、それぞれをマルチモーダルモデル(図４及び図５のモデル)に入力して、結果を導出することもできる。この場合、それぞれのデータにおいて、全体を利用するか、又は、所定の規則によってサンプリングを行うことができる。

【0075】

本発明の他の実施例では、画像フレーム、音声ロウデータ、テキストのうち１つ以上、望ましくは、２つ以上を用いて、入力データを抽出することができる。例えば、テキストに対する情報を考えることなく、画像フレーム及び音声ロウデータだけで判断を行うこともできる。

【0076】

図４は、本発明の一実施例による診断部１２００が行う第２のステップの過程を概略的に示す図である。

【0077】

第２のステップでは、前記複数の単語、前記複数の画像フレーム、及び前記複数の音声情報からそれぞれの詳細機械学習モデルを用いて、複数の第１の特徴情報、複数の第２の特徴情報、及び複数の第３の特徴情報を導出するステップが行われる。

【0078】

前記音声情報は、音声に対するロウデータ、及び音声に対するロウデータから抽出された１以上の音声特徴情報のうち、１以上を含む。

【0079】

具体的に、第２のステップでは、前記複数の単語、前記複数の画像フレーム、及び前記複数の音声情報がそれぞれのプリプロセッサにより前処理が行われ、以後、前処理されたデータが特徴情報抽出器、例えば、ＣＮＮモジュールを通じて導出される情報を、ＦＤ過程を行って、データ列を抽出する抽出器により、それぞれの入力データに対する第１の特徴情報、第２の特徴情報、及び第３の特徴情報を導出する。前記特徴情報抽出器は、機械学習されたモデル及び所定の規則によるアルゴリズムのうち、１以上により特徴情報を抽出する。一方、実施例によりプリプロセッサは、単語、画像フレーム、音声情報のそれぞれにおいて、一部省略してもよい。

【0080】

音声テキスト情報は、テキスト情報をベクトルとして表現する埋め込みを行うステップにより、詳細特徴情報を抽出する。また、音声情報に対する特徴情報抽出器、又は図５におけるＲＮＮモジュールには、該当質問に対する埋め込みされたベクトルが更に入力されることもできる。そこで、該当詳細機械学習モデルは、返信画像だけではなく、返信画像に対する質問を更に考えて、さらに精度高い第３の特徴情報を導出することができる。

【0081】

本発明の他の実施例では、音声情報に対する特徴情報抽出器に含まれる埋め込みモディユルは、One-hot encoding、CountVectorizer、TfidVectorizer、及びWord2Vecなど、様々な埋め込み方法を用いて、それぞれのテキスト情報をベクトル形態として表現する。

【0082】

の好適な実施例では、返信画像の画像情報及び音声特徴情報、及びテキスト情報を、前記機械学習モデルにそれぞれ入力して、テキストだけでは把握し難い返信画像での使用者返答の脈絡及び意図を把握することができ、もって、より正確なうつ病診断情報を導出することができる。

【0083】

望ましくは、画像音声分離モジュールにより分離された画像情報(画像フレーム)及び音声ロウデータはそれぞれ、個別的に前処理されて、前記機械学習モデルに入力される。診断部１２００に含まれる前処理モジュールは、前記画像情報及び前記音声ロウデータのそれぞれを前処理する。このように、前記前処理モジュールにより、前記機械学習モデルのアルゴリズムに適当な形態に、前記画像情報及び前記音声情報が変換し、前記機械学習モデルの性能を改善することができる

【0084】

このために、前記前処理モジュールでは、画像情報及び音声情報に対して、Data Cleaningステップにおいて、missing value又はfeatureを処理し、Handling Text and Categorical Attributesステップにおいて、one hot encoding方式などにより、数字型データでエンコードし、Custom Transformersステップにおいて、データを変換し、Feature Scalingステップにおいて、データの範囲を設定し、Transformation Pipelinesステップにおいて、このような過程を自動化し、前記前処理モジュールで行うステップは、前述したステップに限定されず、機械学習モデルのための様々な前処理ステップを含むことができる。

【0085】

図５は、本発明の一実施例による診断部１２００が行う第３のステップの過程を概略的に示す図である。

【0086】

第３のステップでは、複数の前記第１の特徴情報、複数の前記第２の特徴情報、及び複数の前記第３の特徴情報から、人工ニューラルネットワークを用いて、うつ病程度を含む導出情報を導出する過程が行われる。

【0087】

前記人工ニューラルネットワークは、複数の機械学習された推論モジュールを含み、図３のように、４つの形態素がある場合、一番目の形態素に対する画像フレームの第１の特徴情報、一番目の形態素に対する音声特徴情報に対する第２の特徴情報、及び一番目の形態素テキストに対する第３の特徴情報がCONCATした形態で、一番目の推論モジュールに入力され、残りの二番目、三番目、及び四番目の形態素に対する第１の特徴情報、第２の特徴情報、及び第３の特徴情報も、同様な方式で処理される。

【0088】

図５に示している実施例では、人工ニューラルネットワークに入力されるそれぞれの特徴情報は、アライメントされた状態に該当するが、本発明の他の実施例では、アライメントされない形態で人工ニューラルネットワークに入力されることもできる。

【0089】

望ましくは、前記人工ニューラルネットワークは、シーケンスデータを考えた人工ニューラルネットワークに該当し、より望ましくは、循環ニューラルネットワーク又はトランスフォーマー系列モデルに該当し、この場合、前記複数の単語のそれぞれに対応する第１の特徴情報、第２の特徴情報、及び第３の特徴情報が併合した形態で、人工ニューラルネットワークの詳細モジュールに入力される。更に望ましくは、前記トランスフォーマー系列モデルは、アテンションメカニズムを基にするトランスフォーマー系列機械学習モデルを含む。

【0090】

このような循環ニューラルネットワーク又はトランスフォーマー系列機械学習モデルは、最終的に、複数のデータ列の推論結果を出力することができ、複数のデータ列は、第１の診断情報、第２の診断情報、 ... 、第Ｎの診断情報を含む。このような診断情報は、うつ病予測情報、及び/又はうつ病種類を含む。

【0091】

このような推論結果は、複数の推論結果に該当する。例えば、１つ以上の返信画像全体に対して、特定区間別に音声のテキストから抽出した複数の単語、前記複数の単語のそれぞれに対応する複数の画像フレーム、及び前記複数の単語のそれぞれに対応する複数の音声特徴情報に対して、図５でのような最終的な診断情報を導出することができる。

【0092】

このようなそれぞれの最終的な診断情報に基づいて、特定区間別にうつ病予測点数及び/又はうつ病種類を把握することができ、これを全体として取り寄せる場合、面談画像全体において、どの位置で高いうつ病予測点数が出るか、又は、高いうつ病予測点数が出ると、うつ病種類がどうであるかが分かる。

【0093】

望ましくは、本発明の一実施例では、前記診断部１２００は、それぞれの最終的な診断情報におけるうつ病予測情報及び/又はうつ病種類を取り寄せて、全体的な評価情報を導出することができる。

【0094】

あるいは、本発明の他の実施例では、図５の最終的な診断情報にうつ病から予測される原因がある部分に対する情報(例えば、画像の位置又はテキスト位置)を含めて出力することもできる。

【0095】

このような方式で、本発明では、単に、返信画像全体又は個別返信画像に対して、判断結果だけでなく、判断結果の根拠となる部分に対する詳細情報を、医療スタッフに提供することができ、医療スタッフは、該当部分のみを直ぐ確認又は関連する画像部分を再生することで、より診断を効率よくすることができる。

【0096】

本発明の他の実施例では、前記返信画像から抽出した音声のテキストより抽出した複数の単語、複数の画像フレーム、音声情報のうち、２つ以上の情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する。

【0097】

本発明の他の実施例では、前記返信画像から抽出した複数の画像フレーム、音声情報に基づいて、機械学習されたモデルを用いて、前記うつ病予備診断情報を導出する。この場合、診断部は、画像フレーム及び音声情報に基づく診断、予測、又は推論モデルを含み、Interpretability技術(Grad-CAM、Integrated Gradientなど)を用いて、どの位置部分のため、推論結果が影響を受けたか(点数がこのようになったか)を確認した後に、その時間を求めて、対応するテキストの位置を推定し、これを図６、図７、図８などに表示する。

【0098】

図６は、本発明の一実施例による第１の表示画面を概略的に示す図である。

【0099】

本発明のうつ病予備診断情報を提供する方法は、うつ病予備診断情報を使用者に提供する提供ステップを含む。

【0100】

前記提供ステップにおいてディスプレイされる第１の表示画面は、前記返信画像が表示される返信画像レイヤ(L1)と、前記返信画像に関する質問情報及び前記返信画像から抽出された返答テキスト情報がディスプレイされるスクリプトレイヤ(L4)とを含み、前記スクリプトレイヤ(L4)において、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤ(L1)の画像時点が変更される。

【0101】

前記第１の表示画面は、医療スタッフの端末機又は必要に応じて、被評価者(患者)の端末機でディスプレイされることができる。

【0102】

返信画像レイヤ(L1)は、返信画像の再生を行うレイヤに該当し、使用者(医療スタッフ、カウンセラー、管理者など)は、再生/停止を選択し、再生速度を制御することができ、画像における再生時点を変更することができる。このような機能は、コントロールエレメント(E1)を入力することで行われる。

【0103】

スクリプトレイヤ(L4)では、前記診断部１２００において、ＳＴＴを通じてテキストに変換した患者の音声テキストがディスプレイされる。このような方式で、医療スタッフは、患者又は被診断者又は被評価者の返答内容を迅速に確認することができ、自分が重要であると判断される返答内容部分を、クリック又は選択入力をすると、返信画像レイヤ(L1)の画像時点が対応する画像時点に変わることになり、実際に画像を早く確認することができる。

【0104】

望ましくは、前記第１の表示画面は、時間軸により診断されたうつ病程度がディスプレイされるうつ病グラフレイヤ(L2)を含み、前記うつ病グラフレイヤ(L2)において、使用者の入力により選択された時間軸位置に対応する時点に、前記返信画像レイヤ(L1)の画像時点が変更される。

【0105】

このようなインターフェースでは、使用者は、うつ病グラフレイヤ(L2)で判断されたうつ病程度が高い部分を選択する場合、前記返信画像レイヤ(L1)の画像の再生時点が自動的に変わることになり、そこで、機械学習モデルがうつ病的要素があると判断された部分だけを選別して確認することができ、返信画像全体を全部見ることなく、早くうつ病に関する重要部分を確認することができ、また、機械学習モデルが導出した判断の理由に対して、医療スタッフが自ら判断し、これに対する収容可否を決める。

【0106】

望ましくは、前記スクリプトレイヤ(L4)に表示される返答テキストの部分は、該当返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度、及びうつ病の種類のうち、１つ以上により、ハイライト、フォント、サイズ、色、及び下線のうち、１つ以上が変わって表示される。

【0107】

このような方式で医療スタッフは、診断部１２００における判断理由を把握し、診断部１２００でうつ病の程度が所定の基準以上又はうつ病に関するテキスト部分を直観的に把握することができるだけでなく、返信画像全体を再生しなくても、重要であると判断された該当部分に対する画像再生を早く行うことができる。

【0108】

望ましくは、前記うつ病グラフレイヤ(L2)は、前記うつ病程度が所定の第１の基準を超えることを示す第１の基準表示エレメント(E3)と、前記うつ病程度が所定の第２の基準を超えることを示す第２の基準表示エレメント(E4)とを含む。

【0109】

前記第１の基準表示エレメント(E3)は、うつ病軽症境界に該当し、第２の基準表示エレメント(E4)は、うつ病重症境界に該当する。このような表示インターフェースにより、使用者は、うつ病程度に対する基準値を超える部分を効率よく探索することができる。すなわち、前記第１の基準表示エレメント及び前記第２の基準表示エレメントは、うつ病詳細種類を表示することができる。

【0110】

前記第１の表示画面は、前記スクリプトレイヤ(L4)のスクロール情報を表示するスクロールレイヤ(L5)を更に含み、前記スクロールレイヤ(L5)には、前記うつ病予備診断情報のうつ病の程度及びうつ病の種類のうち、１つ以上により表示されるそれぞれの時点での情報表示エレメント(E6)が表示され、前記情報表示エレメント(E6)を使用者が選択すると、前記スクリプトレイヤ(L4)では、選択された前記情報表示エレメント(E6)に対応する返答テキストの位置に移動する。

【0111】

望ましくは、前記情報表示エレメント(E6)の色、サイズ、形態などは、うつ病の程度及びうつ病の種類のうち、１つ以上により変わる。これにより、医療スタッフは、直観的に全体的な該当患者のうつ病程度をグラフィック的に判断することができるだけでなく、うつ病程度が大きいと判断される該当位置への速い移動が可能であるという効果を奏する。

【0112】

また、返信画像におけるテキストの内容が長い場合は、１つの画面に全てのテキストが表示されない。この場合、使用者は、スクロールレイヤ(L5)を用いることで、自分が所望するテキスト及び画像再生時点に移動することができる。

【0113】

ページ選択レイヤ(L3)では、図６でのような全体に対するページ、及び図１０でのような要約に対するページの変更を入力可能なインターフェースを提供する。

【0114】

このような第１の表示画面の構成により、複数の返信画像を医療スタッフが個別的に確認しなくても、重要部分を確認することができ、また、機械学習モデルで判断した根拠に対して、妥当であるか否かを迅速に確認し、長期間の画像に対する全体的な評価結果を把握することができ、これにより、更に正確なうつ病に対する判断を効率よくすることができる。

【0115】

図７は、本発明の一実施例による返信画像レイヤ(L1)及びスクリプトレイヤ(L4)を概略的に示し、図８は、本発明の一実施例による返信画像レイヤ(L1)及びスクリプトレイヤ(L4)を概略的に示す図である。

【0116】

図７に示しているように、返信画像レイヤ(L1)には、複数の返信画像のうち、いずれか１つの特定時点の画像が表示される。一方、スクリプトレイヤ(L4)には、それぞれの質問に対する患者の応答のテキスト情報が表示される。

【0117】

前述したように、診断部１２００で診断したうつ病の種類及び程度のうち、１つ以上により、テキストが表示される形態が、図７のように変わり、これは、スクロールレイヤ(L5)にも反映されて、情報表示エレメント(E6)がディスプレイされる。

【0118】

前記ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される前記返答テキストの部分は、該当返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度が、所定の基準以上に該当し、前記ハイライト、フォント、サイズ、色、及び下線の１つ以上が変わって表示される前記返答テキストの部分を、使用者が選択する場合、該当返答テキスト部分の位置に対応する時点に、前記返信画像レイヤ(L1)の画像時点が変わる。

【0119】

図７において、上端側のハイライト色と下端側のハイライト色は、うつ病の種類によって選択された色に該当する。うつ病の種類は、例えば、メランコリア型、非定型うつ病、青少年うつ病、老人性うつ病、アルコール中毒に伴ううつ病、更年期うつ病などが該当する。

【0120】

図７における画面は、スクリプトレイヤ(L4)の上端側の部分を選択入力した場合に、返信画像レイヤ(L1)の画像再生時点が変わった場合を示し、図８における画面は、スクリプトレイヤ(L4)の下端側の部分を選択入力した場合に、返信画像レイヤ(L1)のビデオ１番が２番に変わることで、画像再生時点も共に変わった場合を示している。

【0121】

図９は、本発明の一実施例による返信画像レイヤ(L1)及びうつ病グラフレイヤ(L2)を概略的に示している。

【0122】

前述したように、前記第１の表示画面は、時間軸により診断されたうつ病程度がディスプレイされるうつ病グラフレイヤ(L2)を含み、前記うつ病グラフレイヤ(L2)において、使用者の入力により選択された時間軸位置に対応する画像及び/又は時点に、前記返信画像レイヤ(L1)の画像及び/又は画像時点が変わる。

【0123】

図１０は、本発明の一実施例による第２の表示画面を概略的に示している。

【0124】

望ましくは、図１０において表示される第２の表示画面は、使用者がページ選択レイヤ(L3)から要約部分を選択する場合に表示される画面に該当する。

【0125】

前記提供ステップにおいてディスプレイされる第２の表示画面は、前記返信画像が表示される返信画像レイヤ(L1)と、前記返信画像から抽出された要約返答テキスト情報がディスプレイされる要約スクリプトレイヤ(L6)とを含む。

【0126】

望ましくは、前記要約返答テキスト情報は、返答テキストの部分に対応する前記うつ病予備診断情報のうつ病の程度が、所定の基準以上である返答テキストの１つ以上の部分を含む。

【0127】

望ましくは、前記要約スクリプトレイヤ(L6)において、使用者の入力により選択されたスクリプト部分の位置に対応する時点に、前記返信画像レイヤ(L1)の画像時点が変わる。

【0128】

このような第２の表示画面においても、前述したスクロールレイヤ(L5)がディスプレイされる。

【0129】

前記第２の表示画面は、前記要約返答テキスト情報のそれぞれに対応する１つ以上の選択入力エレメントを更に含み、使用者の入力により選択された前記選択入力エレメント又は要約返答テキスト情報の一部に対応する複数の返信画像の部分が再生される。

【0130】

望ましくは、前記第２の表示画面は、前記要約返答テキスト情報のそれぞれに対応する１つ以上のチェックボックス(E7)を更に含む。例えば、図１０では、それぞれのチェックボックス(E7)は、それぞれの要約返答テキスト情報に対応する位置に表示される。前記チェックボックス(E7)は、前記選択入力エレメントの一例に該当する。

【0131】

望ましくは、使用者の入力により、使用者が前記チェックボックス(E7)を選択した複数の要約返答テキスト情報に対応する複数(又は、１つ以上)の返信画像の部分が再生される。又は、本発明の他の実施例では、要約返答テキスト情報の一部、すなわち、文章などを複数(又は、１つ以上)選択し、これに対応する返信画像の部分が再生される。

【0132】

具体的に、本発明の一実施例では、使用者は、前記要約スクリプトレイヤ(L6)において、自分が再生しようとするスクリプトに対するチェックボックス(E7)を選択した後に、再生に表示されたエレメント(E8)を選択する場合、チェックボックス(E7)が選択されたスクリプトに対して、再生が行われる。このような再生は、繰返し再生で行うこともできる。

【0133】

すなわち、第２の表示画面では、診断部１２００でうつ病の程度が高いと判断されるスクリプトを集めて見せ、この状態で使用者が選択した部分に対してのみ、すなわち、機械学習モデルの推論結果に対して、使用者が２次的に選別した画像部分に対して再生をすることで、結果として、医療スタッフは、全体返信画像を確認しなくても、診断をより容易にして、機械学習モデルの判断結果を用いて、より正確な判断をすることができる。カウンセラーのような場合は、どの部分に問題があるか、更に明確に把握することで、内談者に更に正確な相談をすることができる。

【0134】

図１１は、本発明の一実施例によるサーバシステム、使用者端末機などが該当するコンピューティング装置について、示している。

【0135】

例えば、上述した図２におけるサーバシステム１０００は、前記図１１におけるコンピューティング装置の構成要素を含む。

【0136】

図１１に示しているように、コンピューティング装置１１０００は、少なくとも１つのプロセッサ１１１００、メモリ１１２００、周辺装置インターフェース１１３００、入出力ザブシステム１１４００、電力回路１１５００、及び通信回路１１６００を少なくとも含む。ここで、コンピューティング装置１１０００は、図１におけるサーバシステム１０００、又は前記サーバシステム１０００に含まれる１つ以上のサーバに１９該当する。

【0137】

メモリ１１２００は、一例として、高速ランダムアクセスメモリ、磁気ディスク、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ、フラッシュメモリ、又は不揮発性メモリを含む。メモリ１１２００は、コンピューティング装置１１０００の動作に必要なソフトウェアモジュール、コマンド集合、又はその他に様々なデータを含む。

【0138】

ここで、プロセッサ１１１００や周辺装置インターフェース１１３００などの他のコンポネントからメモリ１１２００にアクセスすることは、プロセッサ１１１００により制御される。

【0139】

周辺装置インターフェース１１３００は、コンピューティング装置１１０００の入力及び/又は出力周辺装置を、プロセッサ１１１００及びメモリ１１２００に結合させる。プロセッサ１１１００は、メモリ１１２００に保存されたソフトウェアモジュール又はコマンド集合を行って、コンピューティング装置１１０００のための様々な機能を行い、データを処理する。

【0140】

入出力ザブシステムは、様々な入出力周辺装置を、周辺装置インターフェース１１３００に結合させる。例えば、入出力ザブシステムは、モニタやキーボード、マウス、プリンター、又は必要に応じて、タッチスクリーンやセンサーライトの周辺装置を周辺装置インターフェース１１３００に結合させるためのコントローラを含む。他の側面によると、入出力周辺装置は、入出力ザブシステムを介することなく。周辺装置インターフェース１１３００に結合されることもできる。

【0141】

電力回路１１５００は、端末機のコンポネントの全部又は一部に電力を供給することができる。例えば、電力回路１１５００は、電力管理システム、バッテリーや交流(AC)などのような１つ以上の電源、充電システム、電力失敗感知回路(power failure detection circuit)、電力変換器やインバータ、電力状態表示子、又は電力生成、管理、分配のための任意の他のコンポネントを含む。

【0142】

通信回路１１６００は、少なくとも１つの外部ポートを用いて、他のコンピューティング装置と通信を可能にする。

【0143】

又は、前述したように、必要に応じて、通信回路１１６００は、ＲＦ回路を含めて、電磁気信号(electromagnetic signal)とも知られたＲＦ信号を送受信することで、他のコンピューティング装置と通信を可能にすることもできる。

【0144】

このような図１１の実施例は、コンピューティング装置１１０００の一例に過ぎず、コンピューティング装置１１０００は、図１１における一部コンポネントを省略、又は図示していない更なるコンポネントを備えるか、２つ以上のコンポネントを結合させる構成又は配置を有する。例えば、モバイル環境の通信端末のためのコンピューティング装置は、図１１におけるコンポネントの他にも、タッチスクリーンやセンサなどを更に含み、通信回路１１６００に様々な通信方式(WiFi、3G、LTE、Bluetooth、NFC、Zigbeeなど)のＲＦ通信のための回路が含まれる。コンピューティング装置１１０００に含まれるコンポネントは、１つ以上の信号処理又はアプリケーションに特化された集積回路を含むハードウェア、ソフトウェア、又はハードウェア及びソフトウェア両者の組み合わせで具現可能である。

【0145】

前記では、うつ病を基にして、本発明の予備診断情報を提供する方法及びシステムについて説明したが、本発明は、様々な精神疾患に利用可能であり、この場合、「うつ病」という用語は、「精神疾患」に入れ替えることができる。

【0146】

本発明の実施例による方法は、様々なコンピューティング装置を通じて行われるプログラム命令(instruction)の形態に具現されて、コンピュータ読取り可能な媒体に記録される。特に、本実施例によるプログラムは、ＰＣに基づくプログラム又はモバイル端末専用のアプリケーションで構成される。本発明が適用されるアプリケーションは、ファイル配布システムが提供するファイルを通じて、使用者端末又は加盟店端末に設置される。一例として、ファイル配布システムは、使用者端末又は加盟店端末での要請により、前記ファイルを転送するファイル転送部(図示せず)を含む。

【0147】

以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び/又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現される。例えば、実施例で説明された装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は命令(instruction)を実行し応答することができる他のいずれの装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現可能である。処理装置は、運営体制(OS)及び前記運営体制上で行われる１つ以上のソフトウェアアプリケーションを行う。また、処理装置は、ソフトウェアの実行に応答して、データを接近、保存、操作、処理、及び生成することもできる。理解の便宜のために、処理装置は、１つが使用されることと説明した場合もあるが、該当技術分野における通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことができることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ、及び１つのコントローラを含む。また、並列プロセッサのような他の処理構成(processing configuration)も可能である。

【0148】

ソフトウェアは、コンピュータプログラム、コード、命令、又は、これらのうち、１つ以上の組み合わせを含み、所望する動作をするように処理装置を構成するか、独立して又は結合的に(collectively)処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置により解析されるか、処理装置に命令又はデータを提供するために、どの類型の機械、構成要素(component)、物理的装置、仮想装置(virtual equipment)、コンピュータ保存媒体又は装置、又は転送される信号波(signal wave)に永久的に又は一時的に具体化(embody)することができる。ソフトウェアは、ネットワークで連結されたコンピューティング装置上に分散し、分散した方法で保存又は実行されることもできる。ソフトウェア及びデータは、１つ以上のコンピュータ読取り可能記録媒体に記録される。

【0149】

実施例による方法は、様々なコンピュータ手段を通じて行われるプログラム命令形態で具現されて、コンピュータ読取り可能な媒体に記録される。前記コンピュータ読取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含む。前記媒体に記録されるプログラム命令は、実施例のために、特別に設計され構成されたものや、コンピュータソフトウェア当業者に公知されて、使用可能なものでもある。コンピュータ読取り可能な記録媒体としては、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、プロブティコルディスクのような磁気-光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存し実行するように特に構成されたハードウェア装置が含まれる。プログラム命令としては、コンパイラーにより作られるような機械語コードだけでなく、インタプリターなどを用いて、コンピュータにより実行される高級言語コードを含む。前記したハードウェア装置は、実施例の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。

【0150】

本発明の一実施例によると、被評価者が行った返信画像に対するうつ病に対する分析結果及びこれに対する根拠情報を医療スタッフに特殊なユーザインターフェースを通じて提供することで、医療スタッフのうつ病に対する判断をより効率的にするための、機械学習モデルを用いて、うつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体を提供することができる。

【0151】

本発明の一実施例によると、多数の２０代及び３０代の使用者も違和感なく、自分のうつ病に対する診断を受けることができる。

【0152】

本発明の一実施例によると、一種の遠隔診療の概念として、多数の人々に対するうつ病可否を診断することができ、医者個々人が患者又は使用者と時間を正確に決めてリアルタイムで行うことではなく、患者と医者が分離した時間帯で行うことができる。

【0153】

本発明の一実施例によると、診療スタッフ側で画像全体を全部再生してみることなく、診療スタッフ側で、機械学習モデルにより選別された重要な部分だけを迅速に確認することができる。

【0154】

本発明の一実施例によると、機械学習モデルが重要であると判断される部分を自動的に抽出して、効率的なユーザインターフェースで画像を確認することができる。

【0155】

本発明の一実施例では、音声特徴、表情、及びテキスト全体に対して、マルチモーダル的に判断して、うつ病症状に対する総合的な判断を提供することができる。

【0156】

本発明の一実施例では、単に機械学習モデルの判断結果を提供することではなく、機械学習モデルの判断根拠又は説明に対する情報を医療スタッフに提供することで、医療スタッフが該当意見に対する収容可否を速い時間に判断することができる。

【0157】

本発明の一実施例は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能なコマンドを含む記録媒体の形態にも具現可能である。コンピュータ読取り可能な媒体は、コンピュータによりアクセスされる任意の可用媒体であり、揮発性及び不揮発性媒体、分離型及び非分離型媒体を含む。また、コンピュータ読取り可能な媒体は、コンピュータ保存媒体及び通信媒体を含む。コンピュータ保存媒体は、コンピュータ読取り可能コマンド、データ構造、プログラムモジュール、又はその他のデータのような情報の保存のための任意の方法、又は技術で具現された揮発性及び不揮発性、分離型及び非分離型媒体を含む。通信媒体は、典型的にコンピュータ読取り可能なコマンド、データ構造、プログラムモジュール、又は搬送波のような変調したデータ信号のその他のデータ、又はその他の転送メカニズムを含み、任意の情報伝達媒体を含む。

【0158】

本発明の方法及びシステムは、特定の実施例に関して説明されたが、それらの構成要素又は動作の一部又は全部は、汎用ハードウェアアーキテクチャーを有するコンピュータシステムを用いて、具現可能である。

【0159】

前述した本発明の説明は、例示に過ぎず、本発明が属する技術分野における通常の知識を有する者は、本発明の技術思想や必須的な特徴を変更することなく、他の具体的な形態に容易に変形できることを理解だろう。そのため、以上で記述した実施例は、あらゆる面で例示的なことであり、限定的ではないことと理解すべきである。例えば、単一型で説明されている各構成要素は、分散して実施されることもでき、同様に分散したことと説明されている構成要素も、結合した形態に実施されることができる。

【0160】

本発明の範囲は、前記詳細な説明よりは、後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその均等概念から導出される全ての変更又は変形した形態が、本発明の範囲に含まれることと解析すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】