▶ アクティブレイン バイオ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-05
(45)【発行日】2023-07-13
(54)【発明の名称】デジタルコンテンツに基づく治療情報提供装置
(51)【国際特許分類】
A61B 10/00 20060101AFI20230706BHJP
G16H 50/30 20180101ALI20230706BHJP
【ＦＩ】
A61B10/00 E
G16H50/30
A61B10/00 H
【請求項の数】
1
(21)【出願番号】P 2021147861
(22)【出願日】2021-09-10
(65)【公開番号】P2023004800
(43)【公開日】2023-01-17
【審査請求日】2021-09-10
(31)【優先権主張番号】10-2021-0085714
(32)【優先日】2021-06-30
(33)【優先権主張国・地域又は機関】KR
【前置審査】
(73)【特許権者】
【識別番号】521327529
【氏名又は名称】アクティブレイン バイオ インコーポレイテッド
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100221729
【弁理士】
【氏名又は名称】中尾 圭介
(72)【発明者】
【氏名】キム・ソンヨン
【審査官】門田 宏
(56)【参考文献】
【文献】韓国公開特許第１０－２０２０－００４９９３０（ＫＲ，Ａ）
【文献】国際公開第２０２１／０９０３３１（ＷＯ，Ａ１）
【文献】特表２０２１－５１１６１２（ＪＰ，Ａ）
【文献】特表２０１７－５３６５６６（ＪＰ，Ａ）
【文献】韓国登録特許第１０－２２１１０４８（ＫＲ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００－５／３９８
Ａ６１Ｂ １０／００
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
脳信号測定部と、脳信号刺激部と、
診断部と、
管理部と、を含み、
前記診断部は、使用者に関する身体情報及び前記使用者に関する医療画像情報の少なくとも１つを収集し、
前記身体情報は、前記使用者の聴力損傷程度、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態及び集中力変化、ＥＥＧ変化及び酸素飽和度変化の少なくとも１つを含み、前記医療画像情報は、前記使用者に関するＭＲＩ画像、前記使用者に関するＣＴ画像、前記使用者に関するｆＭＲＩ画像、前記使用者に関するＰＥＴ画像、及び前記使用者に関するＸ－Ｒａｙ画像の少なくとも１つを含み、
前記脳信号刺激部は、前記脳信号測定部の信号収集の動作のために、前記使用者が着用した機器を通じて前記使用者に脳刺激コンテンツを提供することにより、前記使用者の脳を刺激し、
前記脳信号測定部は、
前記脳信号刺激部による脳刺激を基に、複数の光源を通じて前記使用者の頭皮に光を照射し、前記複数の光源のそれぞれに対応する検出部により、前記光が照射された頭皮から、前記使用者のｆＮＩＲＳデータを取得し、前記ｆＮＩＲＳデータは、前記頭皮を通じて伝達される近赤外線光強度の変化を示し、フィルターを通じてアーティファクトが除去されたデータであり、
前記取得されたｆＮＩＲＳデータを用いて、前記使用者の脳の複数の領域のうち、活性化された第１の脳活性化領域を抽出し、
前記診断部は、予め蓄積されたデータベースを基に、前記複数の領域のそれぞれに関する活性化情報、前記身体情報、及び前記医療画像情報の間の相関関係を更に用いて、前記第１の脳活性化領域を基に、前記使用者の動きを制御する脳領域であるＳＭＡ領域に対する分析データを算出し、前記算出された分析データを基に、前記使用者の第１の脳状態を判断し、
前記管理部は、ＸＲ環境において、前記判断された第１の脳状態に対応して、前記第１の脳活性化領域の活性化のためのコンテンツを決め、決められたコンテンツを、前記使用者が着用した機器を通じて前記使用者に提供し、
前記コンテンツのプレイ進行程度により変化するミッションを、前記使用者が行う場合、
前記脳信号測定部は、
前記使用者が前記ミッションを行う状態の前記使用者の脳に関する信号を収集し、
前記ミッションを行った使用者のｆＮＩＲＳデータを基準に、前記複数の領域のうち、活性化された第２の脳活性化領域を抽出し、
前記診断部は、
前記第２の脳活性化領域を基に、前記使用者の第２の脳状態を判断し、
前記第１の脳状態の情報及び前記第２の脳状態の情報を用いて、前記使用者の脳状態改善に関する情報を決め、
前記管理部は、前記脳状態改善に関する情報を前記使用者に提供する、
ことを特徴とするデジタルコンテンツに基づく治療情報提供装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルコンテンツに基づく治療情報提供装置及び方法に関し、より詳しくは、使用者が活動する状態で、脳に関する信号を収集し、これを基に使用者の脳状態を判断し、デジタル治療剤（ｄｉｇｉｔａｌ ｔｈｅｒａｐｅｕｔｉｃｓ）を提供する装置及び方法に関する。
【背景技術】
【0002】
脳は、人間の行動と環境によって、回路を新しく替えたり、新たな機能を作り出したり、細胞を作って成長したりする。そして、人間がどのような考えをするかにつれ、脳領域の機能が変わることもある。
【0003】
脳領域のうち、学習と記憶力を担当する海馬（ｈｉｐｐｏｃａｍｐｕｓ）は、新しい神経細胞（ｎｅｕｒｏｎ）を生産（ｎ・ｅｕｒｏｇｅｎｅｓｉｓ）する役割を果たし、最も神経発生が活発に起きる領域である。海馬の次に、神経細胞の生産と神経の発生が活発な部位は、嗅覚に関する領域であって、新しいにおいをかぐと、脳は、においを鑑別する新しい脳細胞を作り出す。
【0004】
しかし、脳細胞を含む全ての神経繊維素は、長期間生存することではなく、時間が経つことにつれ、消滅する。細胞の消滅は、老化又は退化を意味するので、消滅よりは、細胞の生産及び神経発達が活発でなければならない。そこで、神経繊維素、特に、脳細胞を活発にするためには、神経発生の速度、そして、神経細胞の生存期間に影響する要因を見出すのが非常に重要である。
【0005】
脳細胞の生産、神経発生、神経発生の速度及び生存期間などを活発にすることを活性化というと、既存には、脳を活性化するための方法として、運動や食べ物、刺激剤、ゲーム、音楽、冥想などが活用していた。しかし、最近、神経科学者により前記要因が発見され、発見された要因を適用して脳を活性化して、脳機能を向上させる方法が開発されている。
【0006】
一方、脳機能を検査又は診断する場合は、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ、ＣＴ）、磁気共鳴画像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｃｅ Ｉｍａｇｉｎｇ、ＭＲＩ）、陽電子放出断層撮影（Ｐｒｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ、ＰＥＴ）、脳電図（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ、ＥＥＧ）、脳磁図（ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ、ＭＥＧ）、機能的磁気共鳴画像（Ｆｕｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｃｅ Ｉｍａｇｉｎｇ、ＦＭＲＩ）など、様々な方式を利用している。
【先行技術文献】
【特許文献】
【0007】
【文献】大韓民国特許登録番号第１０－１７５４２９１号公報（２０１７．０７．０６．公告）
【文献】大韓民国特許公開番号第１０－２０１６－００５８８１２号公報（２０１６．０５．２５．公開）
【文献】大韓民国特許登録番号１０－１７６８３９３号公報（２０１７．０８．１７．公告）
【文献】大韓民国特許登録番号１０－１２９５１８７号公報（２０１３．０８．０９．公告）
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前記のような従来の問題点を解消するために、デジタルコンテンツに基づく治療情報提供装置及び方法を提供することである。
【0009】
具体的に、本発明は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断して、デジタル治療剤を提供する装置及び方法を提供することである。
【0010】
また、本発明は、使用者に対する脳刺激を行って、前記使用者のｆＮＩＲＳ（ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ－ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓｃｏｐｙ）データを取得し、取得されたｆＮＩＲＳデータを用いて、脳の複数の領域のうち、活性化された領域を抽出し、脳活性化領域を基に、使用者の脳状態を判断し、ＸＲ（Ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）環境で、判断された脳状態に対応して決められたコンテンツを使用者に提供し、コンテンツに対応して、使用者がミッションを行う過程を通じて、デジタル治療剤を提供する装置及び方法を提供することである。
【0011】
また、本発明は、前記ミッションを行った使用者のｆＮＩＲＳデータを基準に、活性化された脳活性化領域を更に抽出して、更に取得された脳活性化領域から脳状態を判断した後、初期の脳状態の情報及び更に取得した脳状態の情報を用いて、使用者の脳状態改善に関する情報を決定及び提供するデジタル治療剤の提供装置及び方法を提供することである。
【0012】
また、本発明は、無症状期の脳機能測定を通じて、事前予測及び早期診断が可能な人工知能に基づく脳分析技術を使用者に提供することである。
【0013】
また、本発明は、活動状態の脳を測定して、画像化した脳活性化データを基に、チャンネル位置別に機能的近赤外線分光機器信号の時系列ブロック平均を頭にマッピングする方式で、非侵襲的に脳機能を計測する技術を使用者に提供することである。
【0014】
また、本発明は、脳活性化領域及び状態認知アルゴリズムと分析時刻化の技術を、使用者に提供することである。
【0015】
また、本発明は、脳活性化情報取得のための刺激技術を、使用者に提供することである。
【0016】
また、本発明は、複数人の脳変化と、Ｉｎｔｅｒ－ｂｒａｉｎ ｓｙｎｃｈｒｏｎｙ（同時性）を測定するハイパースキャニング技術を、使用者に提供することである。
【0017】
また、本発明は、聴覚情報を活用して脳活性化状態を判断する技術を、使用者に提供することである。
【0018】
また、本発明は、生体情報（遺伝子情報、聴力情報、足取りパターン、ストレス情報、心電図変化情報、睡眠状態及び集中力変化情報、ＥＥＧ変化、及び酸素飽和度変化情報など）を活用して、脳活性化状態を判断する技術を使用者に提供することである。
【0019】
また、本発明は、画像情報（ＭＲＩ、ＰＥＴ、ＣＴ、ｆＭＲＩ、Ｘ－ｒａｙなど）を活用して、脳活性化状態を判断する技術を使用者に提供することである。
【0020】
また、本発明は、複数のデータ間の相関関係処理を基にした予測、診断、治療技術を使用者に提供することである。
【0021】
また、本発明は、バイオマーカーで活用可能なリアルタイムデータ取得及び分析技術を、使用者に提供することである。
【0022】
また、本発明は、認知症、軽度認知障害（ＭＣＩ）、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害に関して、予防、管理、診断、治療技術を使用者に提供することである。
【0023】
また、本発明は、メタバース環境を基に脳機能を測定して、使用者にフィードバックを提供する技術を提供することである。
【0024】
一方、本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、下記の記載から、本発明が属する技術分野における通常の知識を有する者にとって、明確に理解されるだろう。
【課題を解決するための手段】
【0025】
前記の技術的課題を達成するための本発明の一様態であるデジタルコンテンツに基づく治療情報提供方法は、使用者に対する脳刺激を行って、前記使用者のｆＮＩＲＳデータを取得する第１のステップと、前記取得されたｆＮＩＲＳデータを用いて、前記使用者の脳の複数の領域のうち、活性化された第１の脳活性化領域を抽出する第２のステップと、前記第１の脳活性化領域を基に、前記使用者の第１の脳状態を判断する第３のステップと、ＡＲ、ＶＲ、及びＭＲの少なくとも１つを含むＸＲ環境で、前記判断された第１の脳状態に対応して決められたコンテンツを、前記使用者に提供する第４のステップと、前記コンテンツに対応して、前記使用者がミッションを行う第５のステップと、前記ミッションを行った使用者のｆＮＩＲＳデータを基準に、前記複数の領域のうち、活性化された第２の脳活性化領域を抽出する第６のステップと、前記第２の脳活性化領域を基に、前記使用者の第２の脳状態を判断する第７のステップと、前記第１の脳状態の情報及び前記第２の脳状態の情報を用いて、前記使用者の脳状態改善に関する情報を決める第８のステップとを含むことを特徴とする。
【0026】
前記第４のステップは、前記第１の脳状態をベースラインと決める第４－１のステップと、前記第１の脳状態に対応して、前記第１の脳活性化領域の活性化のための前記コンテンツを決める第４－２のステップと、前記ＸＲ環境の体験のために、前記使用者が着用した機器を通じて、前記コンテンツを前記使用者に提供する第４－３のステップとを含む。
【0027】
前記第５のステップは、前記コンテンツのプレイ進行程度により変化する前記ミッションを、前記使用者が行う第５－１のステップと、前記使用者がミッションを行う状態の前記使用者の脳に関する情報をリアルタイムで提供する第５－２のステップとを含む。
【0028】
前記コンテンツは、情緒安定のためのコンテンツ、ストレス状況管理コンテンツ、参加度合管理コンテンツ、感情調節コンテンツ、及び衝動行動コントロールコンテンツを含む。
【0029】
前記使用者は、複数であり、更に、前記コンテンツは、前記複数の使用者のうち、少なくとも一部が共に前記ミッションを行うグループセラピーコンテンツを含む。
【0030】
前記第３のステップにおいて、前記第１の脳状態を基に、前記使用者の脳疾患を判断し、前記脳疾患は、認知症、軽度認知障害（ＭＣＩ）、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0031】
前記第４のステップにおいて、前記判断した脳疾患の治療に関して、前記コンテンツが決められる。
【0032】
更に、前記第１のステップの前に、前記使用者に関する身体情報及び前記使用者に関する医療画像情報を収集する第０．５のステップを含み、前記第３のステップにおいて、前記第１の脳活性化領域の情報、前記身体情報、及び前記医療画像情報を共に用いて、前記第１の脳状態を判断する。
【0033】
前記第３のステップにおいて、予め蓄積されたデータベースを基に、前記複数の領域のそれぞれに関する活性化情報、前記身体情報、及び前記医療画像情報の間の相関関係を更に用いて、前記第１の脳状態を判断する。
【0034】
前記身体情報は、前記使用者の聴力損傷程度、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態及び集中力変化、ＥＥＧ変化及び酸素飽和度変化の少なくとも１つを含み、
前記医療画像情報は、前記使用者に関するＭＲＩ画像、前記使用者に関するＣＴ画像、前記使用者に関するｆＭＲＩ画像、前記使用者に関するＰＥＴ画像、及び前記使用者に関するＸ－Ｒａｙ画像の少なくとも１つを含む。
前記医療画像情報は、前記使用者に関するＭＲＩ画像、前記使用者に関するＣＴ画像、前記使用者に関するｆＭＲＩ画像、前記使用者に関するＰＥＴ画像、及び前記使用者に関するＸ－Ｒａｙ画像の少なくとも１つを含む。
【0035】
更に、前記第８のステップの後には、前記第１の脳状態の情報、前記第２の脳状態の情報、及び前記脳状態改善の情報の少なくとも１つを前記使用者に提供する第９のステップを含む。
【0036】
前記第１のステップは、複数の光源を通じて前記使用者の頭皮に光を照射する第１－１のステップと、前記複数の光源のそれぞれに対応する検出部を通じて、前記光が照射された頭皮から、前記ｆＮＩＲＳデータを検出する第１－２のステップとを含み、前記ｆＮＩＲＳデータは、前記頭皮を通じて伝達される近赤外線光強度の変化を示し、フィルターを通じてアーティファクトが除去されたデータであり、前記第３のステップにおいて、前記第１の脳状態を判断するために、時系列に基づく分析方法、パワースペクトル分析方式、及びｚ－ｓｃｏｒｅ分析方式の少なくとも１つが利用される。
【0037】
前記第３のステップにおいて、前記第１の脳活性化領域を基に、前記使用者の動きを制御するＳＭＡ領域に対する分析データを算出し、前記算出された分析データを基に、前記第１の脳状態を決める。
【0038】
前記第３のステップにおいて、前記使用者に特定のイベントが発生した状況で、前記ＳＭＡ領域に対する分析データ値が基準線を中心に増加するほど、前記対象体が動きに制約がある状態であると決め、分析データ値が基準線を中心に減少するほど、前記対象体が動きに熟達した状態であると決める。
【0039】
また、前記技術的課題を達成するための本発明の他の様態であるデジタルコンテンツに基づく治療情報提供装置は、使用者の脳に関する信号を収集する脳信号測定部と、前記脳信号測定部の信号収集の動作のために、前記使用者の脳を刺激する脳信号刺激部と、前記収集された信号を基に、前記使用者の脳状態を判断する診断部とを含み、前記脳信号測定部は、前記脳信号刺激部による脳刺激を基に、前記使用者のｆＮＩＲＳデータを取得し、前記取得されたｆＮＩＲＳデータを用いて、前記使用者の脳の複数の領域のうち、活性化された第１の脳活性化領域を抽出し、前記診断部は、前記第１の脳活性化領域を基に、前記使用者の第１の脳状態を判断し、ＸＲ環境において、前記判断された第１の脳状態に対応して決められたコンテンツを、前記使用者に提供する管理部を更に含み、前記コンテンツに対応して、前記使用者がミッションを行う場合、前記脳信号測定部は、前記ミッションを行った使用者のｆＮＩＲＳデータを基準に、前記複数の領域のうち、活性化された第２の脳活性化領域を抽出し、前記診断部は、前記第２の脳活性化領域を基に、前記使用者の第２の脳状態を判断し、前記第１の脳状態の情報及び前記第２の脳状態の情報を用いて、前記使用者の脳状態改善に関する情報を決めることを特徴とする。
【発明の効果】
【0040】
本発明によると、デジタルコンテンツに基づく治療情報提供装置及び方法を提供することができる。
【0041】
具体的に、本発明は、使用者が活動する状態で脳に関する信号を収集し、これを基に、使用者の脳状態を判断して、デジタル治療剤を提供する装置及び方法を提供することができる。
【0042】
また、本発明は、使用者に対する脳刺激を行って、前記使用者のｆＮＩＲＳデータを取得し、取得されたｆＮＩＲＳデータを用いて、脳の複数の領域のうち、活性化された領域を抽出し、脳活性化領域から使用者の脳状態を判断し、ＸＲ環境で、判断された脳状態に対応して決められたコンテンツを使用者に提供し、コンテンツに対応して使用者がミッションを行う過程を通じて、デジタル治療剤を提供する装置及び方法を提供することができる。
【0043】
また、本発明は、前記ミッションを行った使用者のｆＮＩＲＳデータを基準に、活性化された脳活性化領域を更に抽出し、更に取得された脳活性化領域から脳状態を判断した後、初期の脳状態の情報及び更に取得した脳状態の情報を用いて、使用者の脳状態改善に関する情報を決定及び提供するデジタル治療剤を提供する装置及び方法を提供することができる。
【0044】
また、本発明は、無症状期の脳機能測定を通じて、事前予測及び早期診断が可能な人工知能に基づく脳分析技術を使用者に提供することができる。
【0045】
また、本発明は、活動状態の脳を測定して画像化した脳活性化データを基に、チャンネル位置別に機能的な近赤外線分光機器信号の時系列ブロック平均を頭にマッピングする方式で、非侵襲的に脳機能を計測する技術を使用者に提供することである。
【0046】
また、本発明は、脳活性化領域及び状態認知アルゴリズムと分析時刻化技術を使用者に提供することができる。
【0047】
また、本発明は、脳活性化情報取得のための刺激技術を使用者に提供することができる。
【0048】
また、本発明は、複数人の脳変化とＩｎｔｅｒ－ｂｒａｉｎ ｓｙｎｃｈｒｏｎｙ（同時性）を測定するハイパースキャニング技術を使用者に提供することができる。
【0049】
また、本発明は、聴覚情報を活用して脳活性化状態を判断する技術を使用者に提供することができる。
【0050】
また、本発明は、生体情報（遺伝子情報、聴力情報、足取りパターン情報、ストレス情報、心電図変化情報、睡眠状態及び集中力変化情報、ＥＥＧ変化及び酸素飽和度変化情報など）を活用して、脳活性化状態を判断する技術を使用者に提供することができる。
【0051】
また、本発明は、画像情報（ＭＲＩ、ＰＥＴ、ＣＴ、ｆＭＲＩ、Ｘ－ｒａｙなど）を活用して、脳活性化状態を判断する技術を使用者に提供することができる。
【0052】
また、本発明は、複数のデータ間の相関関係処理を基にした予測、診断、治療技術を、使用者に提供することができる。
【0053】
また、本発明は、バイオマーカーで活用可能なリアルタイムデータ取得及び分析技術を使用者に提供することができる。
【0054】
また、本発明は、認知症、軽度認知障害（ＭＣＩ）、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害に関して、予防、管理、診断、治療技術を使用者に提供することができる。
【0055】
また、本発明は、メタバース環境を基に脳機能を測定して、使用者にフィードバックを提供する技術を提供することができる。
【0056】
一方、本発明で得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、下記の記載から、本発明が属する技術分野における通常の知識を有する者に明確に理解されるだろう。
【図面の簡単な説明】
【0057】
【図1】本発明において、人工知能に基づく脳情報提供装置のブロック構成図である。
【図2】本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号測定部のブロック構成図である。
【図3】本発明において、脳信号測定部の動作を説明するための図である。
【図4A】本発明に適用される機能的近赤外線分光分析法を説明するための図である。
【図4B】本発明に適用される機能的近赤外線分光分析法を説明するための図である。
【図5】本発明において、脳信号測定部が測定した信号を脳に関する情報に視覚化して表示する一例を示す図である。
【図7A】本発明において、視覚化された情報の一例を示す図である。
【図7B】本発明において、脳信号測定部が測定した信号、視覚化された情報、及び処理済み情報の一例を示す図である。
【図8】本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号刺激部のブロック構成図である。
【図9】本発明において、使用者データ収集部のブロック構成図である。
【図10】本発明において、画像取得部のブロック構成図である。
【図11】本発明の実施例によるｚ－ｓｃｏｒｅ分析方式を用いて算出されたＳＭＡ領域における分析データを示す例示図である。
【図12】本発明によるマルチセンサバイオデータに基づく活性型ＸＲデジタル治療提供モデルの一例を説明するための図である。
【図13】本発明により取得される生体データの一例を示す図である。
【図14】本発明により取得される生体データの一例を示す図である。
【図15】本発明によるデジタルコンテンツに基づく治療情報提供方法及びシステムの適用一例を説明するための図である。
【図16】本発明が提供するデジタルコンテンツに基づく治療情報提供方法を説明するシーケンス図の一例を示す図である。
【図17】本発明において、複数のデータ間の相関関係処理を基にした予測、診断、治療技術を使用者に提供する方法を説明するための図である。
【図18】本発明において、複数のデータ間の相関関係処理を基にした予測、診断、治療技術を使用者に提供する方法を説明するための図である。
【図19A】ＸＲ環境で、使用者の脳状態に対応して決められたコンテンツを提供する一例を示す図である。
【図19B】ＸＲ環境で、使用者の脳状態に対応して決められたコンテンツを提供する一例を示す図である。
【図19C】ＸＲ環境で、使用者の脳状態に対応して決められたコンテンツを提供する一例を示す図である。
【図20A】ＸＲ環境で提供されたコンテンツに対応して、使用者がミッションを行い、脳状態をモニタリングする一例を示す図である。
【図20B】ＸＲ環境で提供されたコンテンツに対応して、使用者がミッションを行い、脳状態をモニタリングする一例を示す図である。
【図20C】ＸＲ環境で提供されたコンテンツに対応して、使用者がミッションを行い、脳状態をモニタリングする一例を示す図である。
【発明を実施するための形態】
【0058】
［退行性脳疾患］
２０１９年を基準に、大韓民国の高齢人口（６５歳以上）の割合は、全体人口の１３．２％であるが、高齢人口の急速な増加で２０２５年を基点に、その割合が２０％に達する初高齢化社会に進入すると予想される。
２０１９年を基準に、大韓民国の高齢人口（６５歳以上）の割合は、全体人口の１３．２％であるが、高齢人口の急速な増加で２０２５年を基点に、その割合が２０％に達する初高齢化社会に進入すると予想される。
【0059】
今後４５年間の幼少年及び生産可能人口の比重はそれぞれ、３．７％、２３．３％ずつ減少すると予測され、２０６０年には、高齢人口の割合が、４０．１％を占めると予想される。
【0060】
今後の老人扶養費は、持続的に上昇して、２０５０年には、米国の２倍水準に達し、２０６０年には、日本と共に、世界で一番高い国になると予想される。
【0061】
超高齢化社会で予見される認知症人口の急激な増加傾向が現れるが、認知症の有病率は、年齢であるほど増加する傾向を見せ、６０歳からは、有病率が４－５年毎に二倍ずつ増加して、８０歳人口の１／３以上が認知症症状を見せている。
【0062】
そこで、認知症は、今後、超高齢化社会に入る現代で克服すべき重要な当面課題の１つであり、世界認知症患者の数は、スペイン人口よりも多い４千６百であって、２０年毎に２倍ずつ増加して、２０５０年には、１億３千万人に急増すると予想される。
【0063】
東アジアの認知症の人口数は、２０５０年まで１９３％増加すると予想され、国内認知症患者の数は、２０５０年に２７１万人に到達すると推定される。
【0064】
そこで、国家認知症管理費用の上昇及び、経済、社会的負担が発生しており、認知症患者数の急増は、国家認知症管理費用の上昇を引き起こし、２０１９年基準、年間約１兆ウォン（ＧＤＰの約０．７％）の国家認知症管理費用が発生しており、今後１０年毎に２倍ずつ増加して、２０５０年には、１３０兆ウォン（ＧＤＰの約２．０％）を上回ると推定される。
【0065】
このような認知症誘発による経済的費用は、心臓病や癌よりもそれぞれ、２倍、３倍以上であり、認知症による全世界的な社会・経済的費用は、２０１５年基準８１８億ドルがかかっており、２０３０年２兆ドルに増加すると見込まれる。
【0066】
認知症による国内の社会・経済的損失が年間２兆ウォンに迫っており、最近４年間、２倍以上急増している（出処：健康保険政策研究員照射報告書）。
【0067】
世界的な人口高齢化による退行性脳疾患の発病率増加と、これによる社会的問題が増大しているが、認知症など退行性脳疾患治療剤及び予防のための研究が活発であるが、依然として足踏み状態であり、現在の認知症診断技術は、大学病院及び専門病院で高価の精密検査を通じて行われて、低い心理的、地理的、経済的な接近性を見せる問題がある。
【0068】
現在、認知症患者の検診率が４５％に過ぎず（４大癌有病者９０％以上）、認知症患者の非侵襲認知症診断法は、様々な分野で提案されているが、リアルタイムモニタリングを通じて情報を総合して診断する研究は行っていない。
【0069】
また、認知症治療剤の開発失敗率は、約９．６％であり、多くの期待を集めたアミロイドβ標的治療剤であるソラネズマブは、最近、臨床３相試験で失敗を発表するなど、足踏み状態である。
【0070】
認知症治療剤の開発成功率が１％に及ばない理由は、認知症の発病機転を未だ明確に究明していないからである。
【0071】
［従来診断技術の問題点］
現在の認知症診断は、脳イメージング、脳波検査、血液検査、脳脊髄液検査、神経心理テストなど、多くの検査を基に、総合的な判断に基づいて行われる。
現在の認知症診断は、脳イメージング、脳波検査、血液検査、脳脊髄液検査、神経心理テストなど、多くの検査を基に、総合的な判断に基づいて行われる。
【0072】
費用に関して、脳イメージングは、脳萎縮などの形態を直接見ることができるので広く利用され、磁気共鳴撮影（ＭＲＩ）、単一光子放出撮影（ＳＰＥＣＴ）、量子放出断層撮影（ＰＥＴ）など、様々なイメージング技術を用い、このうち、ＰＥＴイメージングは、早期診断に役に立っている。
【0073】
神経心理検査は、記憶力、注意集中力、言語能力、時空間感覚、計算能力などを検査して、全般的な認知機能の低下をみる検査で、早期診断だけでなく、病気の進行過程モニタリング又は治療薬物の効果を判断する用途として用いられる。
【0074】
しかし、この検査の最も大きな問題は、検査の正確度が認知症進行率と比例することであり、明らかな症状がない非常に初期段階では、誤診率が大きいという問題点がある。
【0075】
また、脳脊髄液検査の場合、直接的に脳の蓄積したバイオマーカーを検出することができるというメリットがあるが、脳脊髄液の採集過程が苦しく且つ不便であるという不都合がある。
【0076】
［児童の脳発達に関する従来技術の問題点］
２０１９年現在、知的障害人口は、２１．３万名、自閉性障害は、２．９万名、ＡＤＨＤ人口は、２０６万人と現れている。
２０１９年現在、知的障害人口は、２１．３万名、自閉性障害は、２．９万名、ＡＤＨＤ人口は、２０６万人と現れている。
【0077】
知的障害と自閉性障害の場合、治療による効果が遅い一方、ＡＤＨＤ人口は、小児時期に適切な治療を受けることになると、成人期に持続しないため、初期に診断と治療を要する。
【0078】
既存のＭＲＩ、ｆＭＲＩ、ＣＴなどで児童の脳状態を測定するためには、児童の発達特性と異なり、動きが少なくなければならず、幼児の場合は、睡眠薬及び麻酔剤の投与が必須である。
【0079】
この時、２歳未満の幼児が複数回麻酔剤に露出した時、永久的学習障害発生の危険性が２倍以上増加する。
【0080】
また、脳発達など、各種の新薬を作るためには、多くの時間投資をすべきであるだけでなく、リアルタイムで一定期間のバイオデータ収集が必要である。
【0081】
脳発達の場合、多者間相互作用を通じて、脳の発達を確認する方法もあるが、既存の製品は、多者間脳状態測定のためのハイパースキャニングが難しくて、脳発達測定方法の多様性が求められ、これを解決するための製品開発及び移動型脳状態測定機器の開発要求が拡大している実情である。
【0082】
［本発明の目的］
そこで、本明細書では、人口高齢化により急増する退行性脳疾患疾病及び希少疾患の早期診断、及び治癒機能の技術開発のためのディープラーニング学習用データセット構築を通じて、脳神経疾患の社会問題の解決に寄与しようとする。
そこで、本明細書では、人口高齢化により急増する退行性脳疾患疾病及び希少疾患の早期診断、及び治癒機能の技術開発のためのディープラーニング学習用データセット構築を通じて、脳神経疾患の社会問題の解決に寄与しようとする。
【0083】
すなわち、前記問題点を解消するために、Ａｃｔｉｖｅ ＭＲＩ認知症脳活動評価及び早期診断ディープラーニング技術が必要である。
【0084】
臨床的な症状が観察される以前から、脳の構造及び機能の減退が発生するので、脳機能測定による予測や早期診断が、認知症発病や予後に重要である。
【0085】
ＡＩが自ら認識、理解するためには、ＡＩ ＳＷが事物間関連性を理解することができる形態で加工された大規模ＡＩ学習用データ確保が重要であり、機械学習に基づくＡＩ性能は、多様な環境で収集された膨大なデータの活用に左右され、今後は、データとＡＩ間のシナジーが重要である。
【0086】
他の本発明の目的として、本明細書では、児童のリアルタイム脳測定のための多者間無線脳信号測定機器及び脳発達検査サービスを提供することである。
【0087】
本発明の技術を通じて、児童の脳発達状態を確認し、健康に成長できるように、
１）ＡＤＨＤなどの脳疾患を予防及び診断し、
２）日常生活及び学習での集中力を育てる、
ことにおいて、経験値を提供することである。
１）ＡＤＨＤなどの脳疾患を予防及び診断し、
２）日常生活及び学習での集中力を育てる、
ことにおいて、経験値を提供することである。
【0088】
また、本明細書では、脳状態測定の結果を一定期間の間、収集できるデバイスを提案し、収集されたデータを基に、脳疾患など、疾病の危険度を予測し、日常生活及び学習で適用可能な集中力などの脳発達プログラムを提供するソリューションを提供することである。
【0089】
更に、他の本発明の目的として、本明細書では、非対面学習及び感情労働分野支援のために、マルチモーダル感性データネットワーク構築とＮ次元の感性マッピング空間を活用した感性認知／交感用人工知能（Ｈｕｍａｎ－ｃｅｎｔｅｒｅｄ ＡＩ）サービスを提供することができる。
【0090】
感性認識技術では、ＩＣＴを活用したイベントストリーム（使用者行動）、及び非接触生体反応による社会感性認知と感性交感の知能水準を定義し、Ｎ次元の感性マッピング空間で基本感性と社会感性を認識することができる技術が適用される。
【0091】
また、非接触生体反応では、日常生活で使用するセンサカメラ、ＡＩスピーカーなどを活用して、五感に基づく生体信号を測定し活用することができる。
【0092】
また、使用者の行動イベントと非接触生体反応をユニモーダル形態のデータネットワークにおいて、社会感性とマッピングが可能なマルチモーダルデータネットワークに段階的に拡張し、人工知能を通じて、成長と進化が可能なデータネットワークを提案及び構築することができる。
【0093】
また、感性ＡＩサービスとして、マルチモーダル感性データネットワークを活用して、学習者と感情労働者の予測不可な行為や感性を認知的水準で直観的水準に克服する新次元の人間中心的な人工知能サービスを提供することである。
【0094】
このような本発明の目的を達成するために、本発明は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断して、デジタル治療剤を提供する装置及び方法を提供することである。
【0095】
また、本発明は、使用者に対する脳刺激を行って、前記使用者のｆＮＩＲＳデータを取得し、取得されたｆＮＩＲＳデータを用いて、脳の複数の領域のうち、活性化された領域を抽出し、脳活性化領域を基に、使用者の脳状態を判断し、ＸＲ環境で、判断された脳状態に対応して決められたコンテンツを使用者に提供し、コンテンツに対応して、使用者がミッションを行う過程を通じて、デジタル治療剤を提供する装置及び方法を提供することである。
【0096】
また、本発明は、前記ミッションを行った使用者のｆＮＩＲＳデータを基準に、活性化された脳活性化領域を更に抽出し、更に取得された脳活性化領域から脳状態を判断した後、初期の脳状態の情報及び更に取得した脳状態の情報を用いて、使用者の脳状態改善に関する情報を決定及び提供するデジタル治療剤の提供装置及び方法を提供することである。
【0097】
また、本発明は、無症状期の脳機能測定を通じて、事前予測及び早期診断が可能な人工知能に基づく脳分析技術を、使用者に提供することである。
【0098】
また、本発明は、活動状態の脳を測定して画像化した脳活性化データを基に、チャンネル位置別に機能的近赤外線分光機器信号の時系列ブロック平均を頭にマッピングする方式で、非侵襲的に脳機能を計測する技術を使用者に提供することである。
【0099】
また、本発明は、脳活性化領域及び状態認知アルゴリズムと分析時刻化技術を、使用者に提供することである。
【0100】
また、本発明は、脳活性化情報取得のための刺激技術を、使用者に提供することである。
【0101】
また、本発明は、複数人の脳変化とＩｎｔｅｒ－ｂｒａｉｎ ｓｙｎｃｈｒｏｎｙ（同時性）を測定するハイパースキャニング技術を、使用者に提供することである。
【0102】
また、本発明は、聴覚情報を活用して脳活性化状態を判断する技術を、使用者に提供することである。
【0103】
また、本発明は、生体情報（遺伝子情報、聴力情報、足取りパターン、ストレス情報、心電図変化情報、睡眠状態及び集中力変化情報、ＥＥＧ変化、及び酸素飽和度変化情報など）を活用して、脳活性化状態を判断する技術を使用者に提供することである。
【0104】
また、本発明は、画像情報（ＭＲＩ、ＰＥＴ、ＣＴ、ｆＭＲＩ、Ｘ－ｒａｙなど）を活用して、脳活性化状態を判断する技術を使用者に提供することである。
【0105】
また、本発明は、複数のデータ間の相関関係処理を基にした予測、診断、治療技術を、使用者に提供することである。
【0106】
また、本発明は、バイオマーカーで活用可能なリアルタイムデータ取得及び分析技術を、使用者に提供することである。
【0107】
また、本発明は、認知症、軽度認知障害（ＭＣＩ）、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害に関して、予防、管理、診断、治療技術を使用者に提供することである。
【0108】
また、本発明は、メタバース環境を基に脳機能を測定して、使用者にフィードバックを提供する技術を使用者に提供することである。
【0109】
以下、本発明の好適な実施例による人工知能に基づく脳情報提供装置及び方法を、添付の図面を参照して詳しく説明する。
【0110】
以下、図面を参照して、本発明の好適な一実施例について説明する。また、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を限定することではなく、本実施形態で説明する構成全体が、本発明の解決手段として必須的であるとは言えない。
【0111】
［人工知能に基づく脳情報提供装置］
図１は、本発明において、人工知能に基づく脳情報提供装置のブロック構成図である。
図１は、本発明において、人工知能に基づく脳情報提供装置のブロック構成図である。
【0112】
図１に示しているように、本発明による人工知能に基づく脳情報提供装置１は、脳信号測定部１０と、脳信号刺激部２０と、使用者データ収集部３０と、画像取得部４０と、診断部５０と、管理部６０とを含む。
【0113】
まず、脳信号測定部１０は、使用者の脳に関する信号を収集する。
【0114】
具体的に、本発明による脳信号測定部１０は、使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出し、検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断し、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する機能を提供する。
【0115】
本発明の主な特徴として、脳信号測定部１０の信号収集動作は、前記使用者が動く状態で行われる。
【0116】
ついで、脳信号刺激部２０は、脳信号測定部１０の信号収集動作のために、前記使用者の脳を刺激する。
【0117】
更には、脳信号刺激部２０は、管理部６０の制御により、使用者の脳状態改善のために、使用者の脳を刺激する機能を提供することもできる。
【0118】
また、使用者データ収集部３０は、使用者に関する身体情報を収集する。
【0119】
使用者に関する身体情報は、使用者の聴覚情報、足取り情報、ストレス情報、心電図情報、睡眠情報、集中情報、感情変化情報などを含む。
【0120】
また、画像取得部４０は、使用者に関する医療画像を収集する。
【0121】
本発明による画像取得部４０は、使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部、前記使用者に関するＣＴ画像を収集するＣＴ画像取得部、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部などが利用される。
【0122】
また、診断部５０は、脳信号測定部１０が収集した信号を基に、前記使用者の脳状態を判断する機能を提供する。
【0123】
診断部５０は、使用者の脳疾患を判断し、対象となる脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0124】
最後に、管理部６０は、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する機能を提供する。
【0125】
例えば、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害のうち、少なくとも１つに該当すると予測される場合、管理部６０の制御によって、前記使用者の脳状態改善のために、前記使用者の脳を刺激するための脳信号刺激部２０の動作がトリガーとなり得る。
【0126】
以下では、本発明のそれぞれの構成要素の具体的な構造及び機能について、図面を参照して説明する。
【0127】
［脳信号測定部］
図２は、本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号測定部のブロック構成図である。
図２は、本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号測定部のブロック構成図である。
【0128】
図２に示しているように、脳信号測定部１０は、脳信号取得部１１と、脳信号処理部１２と、脳信号分析部１３と、通信部１４と、ディスプレイ部１５とを含む。
【0129】
まず、脳信号取得部１１は、使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出する。
【0130】
ここで、脳信号取得部１１の信号収集動作は、前記使用者が動く状態で行われる特徴を有する。
【0131】
ついで、脳信号処理部１２は、前記検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する。
【0132】
脳信号処理部１２は、検出された光を基に、前記使用者の脳血流内の酸化ヘモグロビン濃度（Ｏｘｙ Ｈｂ）と還元ヘモグロビン濃度（Ｄｅｏｘｙ Ｈｂ）を抽出することで、前記ヘモグロビン酸素化程度を判断する。
【0133】
また、脳信号分析部１３は、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する機能を提供する。
【0134】
ここで、少なくとも１つの脳活性化領域では、脳血流内の酸化ヘモグロビンにより輸送された酸素が消費されることで、酸化ヘモグロビン濃度（Ｏｘｙ Ｈｂ）が減少し、前記酸化ヘモグロビン濃度（Ｏｘｙ Ｈｂ）の減少に対応して、前記還元ヘモグロビン濃度（Ｄｅｏｘｙ Ｈｂ）が増加するという特性を有する。
【0135】
前記酸化ヘモグロビン濃度（Ｏｘｙ Ｈｂ）と前記還元ヘモグロビン濃度（Ｄｅｏｘｙ Ｈｂ）は、可視光領域と近赤外光領域で変化する光特性を有し、結果として、本発明による脳信号測定部１０は、前記近赤外線照射による近赤外分光法（ｆＮＩＲＳ）により、前記信号を収集することになる。
【0136】
一方、脳信号分析部１３は、使用者の脳領域を複数に分割し、前記複数に分割された脳領域のそれぞれが、一定時間単位で前記脳活性化領域に変化しているか、又は、前記脳活性化領域から非活性化領域に変化しているか否かを判断することができる。
【0137】
これを基に、診断部５０は、一定時間単位を基準に、複数の分割された脳領域のそれぞれの脳活性化変化を用いて、前記使用者の脳状態を判断することができる。
【0138】
また、通信部１４は、脳信号測定部１０と他の構成要素（脳信号刺激部２０、使用者データ収集部３０、画像取得部４０、診断部５０、管理部６０など）と間のネットワークを構築して、データを通信できるように支援する。
【0139】
ここで、前記無線通信技術としては、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ－Ｆｉ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などが利用される。
【0140】
また、近距離通信の技術としては、ブルートゥース（登録商標）、ＲＦＩＤ、赤外線通信（ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅなどが利用される。
【0141】
また、ディスプレイ部１５は、前記複数の分割された脳領域のそれぞれの脳活性化変化を、時間によって表示する機能を提供する。
【0142】
ディスプレイ部１５は、液晶ディスプレイ（ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フレキシブルディスプレイ、３次元ディスプレイのうち、少なくとも１つを含む。
【0143】
図３は、本発明において、脳信号測定部の動作を説明するための図である。
【0144】
図３に示しているように、使用者が動く状態でリアルタイムで、多者間脳状態及び発達状況を測定することになる。すなわち、特別な制限なく、リアルタイム及び無線で脳信号を測定し、分析するように、多重使用者の脳信号を同時に測定可能な脳信号測定機器が提案される。
【0145】
本発明による脳信号測定部１０は、使用者のヘッドを全て覆うフルカバー（ｆｕｌｌ ｃｏｖｅｒ）形状、又は、使用者ヘッドの前面部に密着される前面部形状である。
【0146】
また、児童用として活用されることを考えて、本発明による脳信号測定部１０は、児童オーダーメード型デザインを適用し、使用者の親和的環境を構成し、経験値を提供するために、ＵＩ／ＵＸオーダーメード型デザインが考えられる。
【0147】
本発明では、低電力のブルートゥース（登録商標）プロトコル（ＢＬＥ）を用いた長時間使用が可能なウェアラブル脳信号測定技術が適用され、フレキシブル基板を用いて、乳児の頭状に合うように設計された脳信号測定機器の超軽量化が可能である。
【0148】
また、脳活性化分析による集中力、脳発達を生理学的側面で測定することができる。
【0149】
脳信号分析アルゴリズム、チャンネル状態が変わっても、データの信頼性を保証することができるデータ伝送アルゴリズム、及び脳活性化領域状態認知アルゴリズムなどが活用可能である。
【0150】
【0151】
図４Ａに示しているように、本発明に適用される機能的近赤外線分光分析法（Ｆｎｉｒｓ）技術において、ｆＮＩＲＳとは、約６５０～１０００ｎｍの波長を有する近赤外線領域の光を脳に照射し、脳組織を透過した光を検出することで、非侵襲的に脳の血流変化によるヘモグロビンの濃度の変化を、手術などの危険なく、計測可能な画像技術である。
【0152】
本発明に適用されるｆＮＩＲＳ技術は、患者が固定された状況ではなく、動くことができるＬｉｖｅ状況で、リアルタイムで脳測定を行うための機能的近赤外線分光分析法を使用する。
【0153】
機能的近赤外線分光分析法は、約６５０～１０００ｎｍの波長を有する近赤外線領域の光を脳に照射し、脳組織を透過した光を検出して、非侵襲的に脳の血流変化によるヘモグロビンの濃度の変化を、手術などの危険なく、計測可能な画像技術である。
【0154】
このような機能的近赤外線分光分析法は、既存の評価方式よりも、リアルタイムで結果を見せており、機器購入及び管理コストが低く、測定された結果が社会性を直接的に見せており、信頼度を高めることができる。
【0155】
図４Ｂは、現在の脳測定技術と、本発明に適用される機能的近赤外線分光分析法とを比較して示している。
【0156】
本発明では、非識別化されたＭＲＩ脳イメージを収集し、活性化されたＭＲＩ脳撮影術画像資料と判読臨床資料を収集し、脳画像判読専門医のフィードバックを受けて、これを総合し、画像前処理を通じて、ラベルされた脳撮影画像とエクセルファイルなどで臨床情報を構造化する。
【0157】
すなわち、病院で運営している医療データベースから、ＭＲＩ診断のために撮影した非活性化されたＭＲＩ脳を撮影した撮影画像及び臨床情報などを収集し、これにより、画像判読文及び病理判読文を活用して、正確な難聴、耳鳴り、更には認知症の基準を定義するのが可能である。
【0158】
また、ＭＲＩ撮影画像の診断結果は、難聴、耳鳴り、正常のＰＳＡＰ結果データとＭＲＩ脳イメージ画像に区分し、難聴、耳鳴り、正常の場合、判読当時、誤診があり得るので、特殊な環境でデータを構築することができる。
【0159】
後述する難聴細部基準として、ＰＳＡＰ検査結果、難聴と確診された患者の脳撮影画像イメージが利用され、耳鳴り細部基準として、ＰＳＡＰ検査結果、耳鳴りと確診された患者の脳撮影画像イメージが利用され、正常細部基準として、ＰＳＡＰ検査結果、正常と確診された患者の脳撮影画像イメージが利用される。
【0160】
また、バックグラウンドサービスを登録し、機関訪問前にアンケート作成を行い、脳測定当日、機関を訪問し、脳測定前、気持ち、活力などのインタビューを施し、脳測定のための行動（ｔａｓｋ）を選択し、行動を行い、十分な資料が収集されたか否かを判断し、測定を終了するか、前ステップを再度行うことになる。
【0161】
また、本発明に適用される画像データは、活性化脳ＭＲＩ画像撮影イメージデータとして定義することができる。
【0162】
更に、画像データ非識別化は、非識別化方法及び非識別化ｔａｇ構造（ＲＡＷ ｄａｔａ様式）として処理される。
【0163】
また、本発明に適用されるメタデータは、画像情報に対する患者のメタ情報を収集して、難聴、耳鳴り患者に限っては、更なる情報を通じて品質検収に活用することで、信頼性を確保することと定義することができる。
【0164】
【0165】
図５の（ａ）～（ｃ）及び図６に示しているように、脳に近赤外線を照射すると、大脳皮質を透過した光を検出して処理すると、酸化ヘモグロビンと還元ヘモグロビンの濃度を測定して、脳の活性化領域を手術することなく、安全な方法で確認することができる。
【0166】
また、使用において危険性がほとんどなく、周辺ノイズの影響をほとんど受けないというメリットがある。
【0167】
また、便宜性と携帯性が非常に高く、他の脳測定画像装備に比べて、安いというメリットがある。
【0168】
【0169】
図７Ｂの（ａ）～（ｃ）に、チャンネル位置別機能的近赤外線分光機器信号の時系列ブロック平均を示している。
【0170】
また、チャンネル位置別機能的近赤外線分光機器信号の時系列ブロック平均を、頭にマッピングした一例を示している。
【0171】
また、本発明では、機械学習への適用のために、アルゴリズム偏向の防止のためのデータ構成及び収集方法が、以下のように利用される。
【0172】
サンプル偏向に関して、収集されたデータがＡＩシステムが行われると予想される環境を代表するか、正確に表していないとき、発生することができる。
【0173】
いずれのアルゴリズムも、全体のデータセットについて学習することはできず、全体データセットにおいて、慎重に選択した部分集合のデータセットを学習する。そこで、サンプル偏向を減らすためには、部分集合のデータセットを選択するとき、十分大きいデータセットだけではなく、全体データセットを代表するサブセットを選択するのが重要である。
【0174】
また、測定偏向に関して、あるものを観察又は測定することに用いられた装置により、システム的に値に歪みが生じる場合に発生し、このような種類の偏向は、データを特定方向に歪むという傾向がある。
【0175】
測定偏向がある道具は、モデルが作動する環境をそのまま複製することができず、学習データが実データを歪み、偏向結果をもたらすことになり、測定偏向は、単に、より多くのデータを収集すると避けられることではない。
【0176】
そこで、これを解決するために、データ収集に際して、偏向結果をもたらさない環境を構築して、データを収集することができる。
【0177】
非侵襲的な脳機能計測方法として、近赤外分光法（ｆＮＩＲＳ）は、近赤外光を用いて、脳の血流変化を非侵襲的に計測する方法であり、計測原理は、近赤外光を用いた脳血流のヘモグロビン酸素化程度の測定に基づいている。
【0178】
生体に近赤外光を照射し、組織を透過したｆＮＩＲＳ信号を検出して処理すると、酸化ヘモグロビン濃度（Ｏｘｙ Ｈｂ）と還元ヘモグロビン濃度（Ｄｅｏｘｙ Ｈｂ）を測定することができる。
【0179】
脳の活性化領域は、血液中のＯｘｙ Ｈｂにより輸送された酸素を消費し、Ｏｘｙ Ｈｂは、Ｄｅｏｘｙ Ｈｂに変わり、この２つのヘモグロビンは、可視光と近赤外光領域で光特性を有し、機能的近赤外分光法で測定したこれらの濃度は、脳活動の尺度として使用可能である。
【0180】
このような本発明による方式は、平常時、走る又は動く状態で測定が可能であり、検査後、ＡＩを通じて短い時間内で結果を提供されるというメリットがある。
【0181】
また、薬物を使用することなく、測定が可能であり、周辺音の統制が可能であるというメリットがある。
【0182】
本発明では、好適なモデルを作るために、異常探知対象項目と関連性が高いと判断した変数から、説明力が最も高い変数を選定する。
【0183】
また、各部分集合に対して、ａｄｊｕｓｔ Ｒ＾２を測定して、値が最も大きい部分集合のうち、最も少ない個数の変数から構成された項目を選定することになる。
【0184】
さらに、人工知能学習用データ構築を効率よく行うために、著作道具が必要である。
【0185】
すなわち、イメージラベリングアプリソリューションでサーバに格納されたラベリングプロジェクトの情報とラベリング対象イメージ、ラベルリスト、参照イメージなど、自動にタギング、ラベリングする機能が必要である。
【0186】
人工知能学習用データ運営管理のための著作道具方案として、イメージ追加、格納、及び生成機能が利用される。
【0187】
該当自動化ツール著作道具を用いて、検査したいイメージを追加することができ、携帯用ＭＲＩを活用して、脳や骨折部位を追加した後、プラスボタンを押して、追加格納及び生成機能を組み合わせることもできる。
【0188】
また、アノテーション機能を活用した著作道具として、アノテーション機能を活用して、追加格納及び生成したイメージに対して、タギング作業と特利点及びメモ機能により、追加情報書込作業を行うことができる。
【0189】
人工知能学習用データ運営管理のための活用方案として、活性化されたＭＲＩ脳のイメージに対して、正常と難聴、耳鳴り判読試験モデルの検証のために、交差検証（ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ）を行うことができる。
【0190】
また、様々な判読尺度を活用して、性能を評価し、評価尺度として、敏感度、特異度、ＲＯＣ曲線のＡＵＣを測定し、これを基準に、ｇｉｔｈｕｂを通じて、医療人口知能学習データの判読試験モデルを構築することができる。
【0191】
前述したように、脳信号測定部１０は、使用者の脳に関する信号を収集し、脳信号測定部１０の信号収集動作は、前記使用者が動く状態で行われる。
【0192】
一方、診断部５０は、前記収集された信号を基に、前記使用者の脳状態を判断することになる。
【0193】
具体的に、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断することができる。
【0194】
ここで、診断部５０は、使用者の脳疾患を判断し、脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0195】
さらには、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部６０が更に活用される。
【0196】
例えば、所定の基準を適用して、前記使用者の脳状態を基に、一定期間内に、前記使用者が認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、管理部６０は、後述する脳信号刺激部２０を制御して、使用者の脳状態改善のために、前記使用者の脳を刺激するための信号が、使用者に提供されるようにすることができる。
【0197】
［脳信号刺激部］
脳信号刺激部２０は、脳信号測定部１０の信号収集動作のために、前記使用者の脳を刺激する。
脳信号刺激部２０は、脳信号測定部１０の信号収集動作のために、前記使用者の脳を刺激する。
【0198】
さらに、脳信号刺激部２０は、管理部６０の制御によって、使用者の脳状態改善のために、使用者の脳を刺激する機能を提供することもできる。
【0199】
図８は、本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号刺激部のブロック構成図である。
【0200】
脳信号刺激部２０は、脳細胞が疎通するために連結される部分を意味するシナプスを集中的に刺激する。長期記憶で脳領域を活性化するためには、場所（ｐｌａｃｅ）、感情（ｅｍｏｔｉｏｎ）、ストーリー（ｓｔｏｒｙ）を通じて、脳領域を刺激しなければならない。
【0201】
そこで、脳信号刺激部２０は、展示、音楽、動きなどの活動が行われる空間に配置された自然物を基にして、多次元的な環境的刺激を通じて、集中的にターゲティングされた脳領域の活動を強化し、脳領域の機能を選択的に活性化させる。米国精神課協会で定義したＤＳＭ－Ｖ（Ｄｉａｇｎｏｓｔｉｃ ａｎｄ Ｓｔａｔｉｓｔｉｃａｌ Ｍａｎｕａｌ ｏｆ Ｍｅｎｔａｌ Ｄｉｓｏｒｄｅｒｓ）の脳領域分類基準によると、脳領域は、主として、注意集中力、時空間能力、記憶力、執行能力、言語能力、計算能力、及び音認知力などに分類することができる。すなわち、本発明は、自然物、特に、植物と音、触感、香、視覚、記憶など、多次元的な環境的刺激を通じて、集中力、共感力、創意力、記憶力、ヒーリングなど、様々な脳領域の活動を集中的に強化して、機能を活性化する。
【0202】
本発明の好適な実施例による脳活性化システムは、図１２及び図１３に示しているように、自然物が設置された空間内で予めターゲティングされた脳領域の活動を集中的に強化して、脳領域の機能を活性化するようにシステム化された多次元的な環境的刺激を加える脳活性化装置２４と、前記空間でターゲティングされた脳領域に多次元的な環境的刺激を加えるように、脳活性化装置２４の駆動を制御する管理サーバ２１とを含む。
【0203】
脳活性化装置２４は、予めターゲティングされた脳領域の活動を集中的に強化し、脳領域の機能を活性化するために、空間で演出しようとするコンセプトに対応するメディアアートを具現するメディア部３０と、音響を出力する音響部４０と、光を照射又は照明する照明部５０と、自然物の香りを使用者に伝達する香り伝達部６０とを含む。
【0204】
［使用者データ収集部、画像取得部、診断部、及び管理部］
使用者データ収集部３０は、使用者に関する身体情報を収集する。
使用者データ収集部３０は、使用者に関する身体情報を収集する。
【0205】
使用者に関する身体情報は、使用者の聴覚情報、足取り情報、ストレス情報、心電図情報、睡眠情報、集中情報、感情変化情報、脳波情報、酸素飽和度などを含む。
【0206】
図９は、本発明において、使用者データ収集部のブロック構成図である。
【0207】
図９に示しているように、使用者データ収集部３０は、使用者の聴覚情報を収集する聴覚情報収集部３１を含む。
【0208】
ここで、診断部５０は、前記収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、少なくとも１つの脳活性化領域、及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断することができる。
【0209】
具体的に、使用者の聴力損傷は、難聴によることであり、前記診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0210】
他の一例として、使用者の聴力損傷は、耳鳴りによることであり、診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0211】
一方、脳信号測定部１０の信号収集動作は、前記使用者の聴力損傷が発生した状態で、前記使用者が動く間、行われる。
【0212】
また、使用者データ収集部３０は、使用者の足取り情報を収集する足取り情報収集部３２と、使用者のストレス情報を収集するストレス情報収集部３３と、使用者の心電図情報を収集する心電図情報収集部３４と、使用者の睡眠情報を収集する睡眠情報収集部３５と、使用者の集中情報を収集する集中情報収集部３６と、非接触式感情変化収集部３７と、使用者のＥＥＧ（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）情報を収集する脳波情報収集部３８と、使用者の酸素飽和度（ｏｘｙｇｅｎ ｓａｔｕｒａｔｉｏｎ）情報を収集する酸素飽和度収集部３９とを含む。
【0213】
ここで、診断部５０は、使用者データ収集部３０により収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、収集された情報を基に、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、ＥＥＧ変化及び酸素飽和度変化の少なくとも１つを判断する。
【0214】
また、診断部５０は、使用者の聴力損傷程度、足取りパターン、ストレス程度、心電図変化、睡眠状態及び集中力変化、ＥＥＧ変化、及び酸素飽和度変化の少なくとも１つと、前記少なくとも１つの脳活性化領域を共に用いて、前記使用者の脳状態を判断する。
【0215】
また、脳信号測定部１０の信号収集動作は、前記使用者の足取りが変化する状態、前記使用者のストレスが変化する状態、前記使用者の心電図が変化する状態、前記使用者の睡眠条件が変化する状態、及び前記使用者の集中力が変化する状態のうち、少なくとも１つが適用された状況で、前記使用者が動く間、行われる。
【0216】
また、使用者データ収集部３０は、使用者との関係で、非接触式感情変化収集部３７を含む。
【0217】
このような非接触式感情変化収集部３７は、使用者のアイトラッキング（Ｅｙｅ ｔｒａｃｋｉｎｇ）を基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部が利用される。
【0218】
ここで、診断部５０は、前記少なくとも１つの脳活性化領域、及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断する。
【0219】
また、非接触式感情変化収集部３７は、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部が利用される。
【0220】
ここで、診断部５０は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断する。
【0221】
具体的に、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断することができる。
【0222】
ここで、診断部５０は、使用者の脳疾患を判断することができ、脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0223】
さらには、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部６０が更に活用される。
【0224】
以下では、使用者データ収集部３０の種類のうち、代表的に、聴覚情報収集部３１と非接触式感情変化収集部３７を用いた診断部５０の機能について説明する。
【0225】
まず、聴覚情報収集部３１を用いる実施例について、具体的に説明する。
【0226】
高齢社会による認知症人口が急増しており、我が国は、高齢社会に進入して、年寄りの問題としてのみ認識された認知症が、最近は、若者にまで拡大して、社会的問題として認識されている。
【0227】
特に、認知症患者のうち、重症認知症患者の割合は、２０１６年 ３２％から、２０１８年 ３０％に減少傾向に転換され、これは、重症認知症患者に対する薬物治療、及び様々な認知症プログラムを通じて、患者の症状が好転しているが、反対に、初期認知症が増加されることと分析される。
【0228】
騒音性難聴に関して、つらくて所望しない大きい声を騒音というが、このような騒音により発生する減音神経性難聴を、騒音性難聴という。
【0229】
これは、音を感知する機関、すなわち、蝸牛が損傷した場合であり、特に、外有毛細胞が主に損傷することになり、普通７５ｄＢ以下の音は、難聴を誘発しないが、事務室や対話環境が６０ｄＢ程度であり、バス、地下鉄、食堂内の騒音が８０ｄＢ程度、ＭＰ３や携帯用ＣＤプレイヤーをイヤホンできく場合、最大音量が１００ｄＢ程度、モータサイクルは、１２０ｄＢ、飛行機騒音が１４０ｄＢ、銃声が１７０ｄＢに至る。隣の人が聞こえるほど、イヤホンで聞くことは、１００－１１５ｄＢ程度となる。８５ｄＢ以上の騒音に持続的に露出するときは、耳に損傷を与えることができる。
【0230】
１００ｄＢで保護装置なしに１５分以上露出するとき、１１０ｄＢで１分以上規則的に露出するとき、聴力損失の危険に置かれ、バス、地下鉄内の騒音が普通８０ｄＢ程度であるが、このような場所で青少年が音楽を聞くためには、９０ｄＢ以上の音を維持しなければならず、これを繰り返すと、難聴に至ることになる。
【0231】
音の強度は、音波の振幅により決まり、ｄＢ（デシベル）で測定し、音の強度が１０ｄＢずつ増加する度に、騒音のサイズは、２倍ずつ増加し、略７５ｄＢ以下では、聴力に損傷を及ぼさない。
【0232】
騒音性難聴症状に関して、騒音性難聴発生時、テレビやラジオなども大きくつけておく様態を見せ、友達の話をよく聞き分けられないことになる。
【0233】
周辺が少しだけうるさくても、相手の話を正確に理解できず、他の言葉をいい、共通的に高音領域、特に４ｋＨｚで聴力低下を見せ、耳が鳴くような耳鳴りを伴う場合が多い。
【0234】
聴覚損傷、耳鳴りの他にも、不快感、不安感、不眠症、疲労、ストレス、頭痛に苦しむなど、正常生活に困難があり得、ひどい場合、脈拍と血圧にも影響して、消化障害及び自律神経系の異常を招くことができる。
【0235】
騒音性難聴診断に関して、唇音聴力検査及び耳鳴り検査、耳音響放射検査、聽性脳幹誘発反応検査など、聴力を周波数別に正確に測定する検査を施し、長期間騒音露出後、徐々に進行される聴力消失、特に、４ｋＨｚ周辺の高音領域の聴力損失が明らかな場合、診断をすることになる。
【0236】
騒音性難聴で損傷した聴力を根本的に戻す方法ないが、これは、既に損傷した聴覚細胞は、回復しないからである。特に、数日以内に急に音が聞こえないと、突発性難聴であり、このような場合、正確な検査と共に、ステロイドホルモン、血管拡張剤、抗ウイルス剤などで治療を受けなければならない。
【0237】
この場合は、必ず、一定の期間、耳を休ませることで、回復を期待することができる。
【0238】
突発性難聴は、明らかな原因なく、急に発生する感覚神経性難聴（よく聞こえないこと）を突発性難聴といい、一般に、一方耳に生じるか、珍しく両側性である場合もあり、時々難聴と共に耳鳴り及びめまいを伴う場合もある。
【0239】
普通、応急疾患と見なして、早期に入院治療を始めなければならず、未だ明確でないが、聴覚神経に発生したウイルス感染、内耳血流の障害、蝸牛内膜の破裂、そして、内耳免疫疾患、神経学的疾患、腫瘍、耳毒性薬物などと発生原因を推定している。
【0240】
突発性難聴患者の１～２％程度で聴神経腫瘍があり得るが、これは、磁気共鳴画像（ＭＲＩ）撮影を通じて診断し、殆ど入院して、静かな雰囲気で安定を取って、副腎皮質ホルモン剤、血管拡張及び血流改善剤、代謝改善剤、鎮静剤などの併用療法を行っている。その他に、減塩食、高たんぱく食事を勧誘している。また、初期に積極的に治療した患者において、治療率が高いことと知られている。
【0241】
治療の結果は、略１／３で完全な回復を見せ、１／３は、発生時よりは聴力が改善するが、正常に回復できず、１／３以下では、治療に大きな反応を見せていない。
【0242】
認知症にかかる危険は、軽い聴力損失がある年寄りの場合、２倍、中間程度の聴力損失がある場合、３倍となる。
【0243】
深刻な聴力損失を有している人々に、その危険は、聴力損失を経験しない人々より５倍の発生危険があり、Ｌａｎｃｅｔ研究によると、認知症発病に対する９種類の潜在的危険要因のうち、難聴が９％と最も高かった。
【0244】
聴力損失は、特に背景騒音がある状態で、言語知覚力を低下させるアルツハイマー病の初期症状となり得る。
【0245】
また、聴力損失は、認知資源に対するニーズを増加し、脳は、聴覚能力が落ちることにつれ、より熱心に働かなければならない。
【0246】
対話を理解し、理解しようとする努力は、脳が脳の他の部分、特に記憶力から認知能力を借りて行くことを要求し、基本的により多くの情報を受け入れるほど、記憶に伝達される情報が減ることになる。
【0247】
聴力損失は、脳組織改編及び又は社会的剥奪を招いて認知能力の低下を招き、聴覚能力の減少は、たびたび、社会的相互作用と関与の減少を引き起こす。
【0248】
このため、環境に接近し、相互作用することに必要な認知機能が減少し、難聴予防による認知症の進行を７５％まで遅らせる研究結果がある。
【0249】
また、難聴のような早期感知及び治療は、認知機能の低下を予防するか、減少することに非常に重要である。
【0250】
６０歳以上の年寄りのうち、軽度難聴がある場合、正常聴力人口よりも２倍、ひどい難聴の場合、認知症確率が５倍高く現れている（Ｌｉｎ、Ａｌｂｅｒｔ、２０１４）。
【0251】
難聴人口のうち、３０％が耳鳴り経験、難聴治療と共に耳鳴りに対する検査、治療が更に必要であり（Ｈｅａｌｔｈｙ Ｈｅａｒｉｎｇ、２０１９）、耳鳴り患者を対象に実験した結果、耳鳴りは、聴覚機能に影響を及ぼした後、認知機能に影響し（特に、集中と思考）、認知症に影響することを確認した。
【0252】
結果として、耳鳴りは、認知症に繋がる確率が高い（Ｍａｈｏｎｅｙ、Ｒｏｈｒｅｒ、Ｇｏｌｌ、Ｆｏｘ、Ｒｏｓｓｏｒ、Ｗａｒｒｅｎ、２０１０）。
【0253】
１９９６年から２０１４年まで、耳鳴りに関する文献１８編を分析した結果、耳鳴りは、認知能力を下げ、不安／鬱病を高めている（Ｔｅｇｇ－Ｑｕｉｎｎ、Ｂｅｎｎｅｔｔ、Ｅｉｋｅｌｂｏｏｍ、 ＆ Ｂａｇｕｌｅｙ、２０１６）。
【0254】
結果として、聴覚問題 ＞ 文章聞取り問題 ＞ 単語聞取り ＞ 全体的な理解問題 ＞ 反応問題 ＞ 軽度認知障害に繋がることになる。
【0255】
３０ｄＢ毎に聴覚損傷があると、２倍程度認知障害を有する確率があり、これらのものが順次発生することではなく、聴覚、認知、視覚の１つでも問題があると、認知障害に繋がることになる（イ ス ジョン、イ スン ジン、ソン ジ ヨン、キム ヒョン ヒ、２０１４）。
【0256】
本発明において、使用者データ収集部３０は、使用者の聴覚情報を収集する聴覚情報収集部３１を含む。
【0257】
ここで、診断部５０は、前記収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、少なくとも１つの脳活性化領域及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断することができる。
【0258】
具体的に、使用者の聴力損傷は、難聴によることであり、前記診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0259】
他の一例として、使用者の聴力損傷は、耳鳴りによることであり、診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0260】
一方、脳信号測定部１０の信号収集動作は、前記使用者の聴力損傷が発生した状態で、前記使用者が動く間、行われる。
【0261】
ついで、非接触式感情変化収集部３７を用いた診断部５０の機能について、説明する。
【0262】
非接触式感情変化収集部３７を基に、個人感性認識のための生体データ収集、及びデータ増強が可能となる。
【0263】
様々なドメイン（年齢層、性別、アクセサリーの有無など）について、均一な分布で６種類の基本感情を表わしているテキスト及び表情データを収集することができる。
【0264】
基本感性の６種類（怒り、嫌悪、恐怖、幸せ、悲しみ、驚異）及び中立に対して、性別、年齢、地域を考慮した大規模の日常音声データ及び該当感性を表わすラベリングデータを収集することができる。
【0265】
収集したデータに対する基本感情ラベルをタギングし、アイトラッキングを含む顔ランドマークマスキングデータを収集することができる。
【0266】
また、対象の意図把握のための姿勢推定（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）画像及びイメージを収集し、感性間のデータ不均衡の解消のための音声増強技術が提供される。
【0267】
生体データに基づく個人感性認識に関して、収集したデータを用いて、訓練されたＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルによる感情を認識する。
【0268】
感性認識性能の向上のために、収集されたデータに対するノイズ除去、音声区間抽出など、前処理技術が開発及び適用され、感性認識に適した音声特徴の選別、及び特徴抽出モジュールが適用される。
【0269】
また、ディープラーニングに基づく発話単位基本感情認識モデルが適用され、対象データに対する基本感情推論、及び音声データを活用した個人感情認識のために、音声の時系列特徴抽出が可能である。
【0270】
ディープラーニング技術のうち、時系列データを考えた循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、注意集中技法を用いるトランスフォーマ（ｔｒａｎｓｆｏｒｍｅｒ）などを活用した感情認識ＡＩモデルが適用され、設計した感情認識ＡＩモデル学習、及びベイズ的最適化（ｂａｙｅｓｉａｎ ｏｐｔｉｍｉｚａｔｉｏｎ）などのようなハイパーパラメータチューニング技術を用いて、最適の感情認識を可能とする。
【0271】
また、イメージと画像において、目、鼻、口、眉毛、顔輪郭に対する認識が可能であり、収集されたアイトラッキングデータと顔ランドマーク時系列データから、集中度抽出が可能である（連続したデータを用いるので、アテンション（ａｔｔｅｎｔｉｏｎ）に基づく人工神経網技術の使用が可能）。
【0272】
個人感性及び日常状況追跡による社会感性認識技術が適用され、感情埋め込み高度化、感情を１つに分類するのではなく、連続的な空間に表現することができ、時系列データの連続性を反映する埋め込み空間に強化、視覚、音声、自然語から抽出した感情埋め込みを結合し、マルチモーダル（ｍｕｌｔｉ－ｍｏｄａｌ）感情分析などがこれに適用される。
【0273】
社会感性の認識のために、音声から、テキスト、ｄ－ｖｅｃｔｏｒに基づく話者埋め込み、既開発した音声感性認識技術を用いて、個人感性を抽出及びベクトル化技術が適用される。
【0274】
感情により口調が平坦でない日常対話音声に対して、性能低下を抑制するためのＣＭＶＮ（Ｃｅｐｓｔｒａｌ ｍｅａｎ ａｎｄ ｖａｒｉａｎｃｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）を適用した特徴を抽出して適用可能であり、状況情報によって変わる語法、単語の特徴を考えるように、ドメイン適応（Ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ）を適用した言語モデルが適用される。
【0275】
非接触式感情変化収集部３７は、使用者のアイトラッキングを基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部が利用される。
【0276】
ここで、診断部５０は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することができる。
【0277】
また、非接触式感情変化収集部３７は、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部が利用される。
【0278】
ここで、診断部５０は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することができる。
【0279】
具体的に、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断することができる。
【0280】
ここで、診断部５０は、使用者の脳疾患を判断することができ、脳疾患は、認知症、軽度認知障害（ＭＣＩ）、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0281】
さらには、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部６０を、更に活用することができる。
【0282】
図１０は、本発明において、画像取得部のブロック構成図である。
【0283】
本発明による画像取得部４０は、使用者に関する医療画像を収集する。
【0284】
本発明による画像取得部４０は、使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部４１、前記使用者に関するＣＴ画像を収集するＣＴ画像取得部４２、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部４３、ＰＥＴ画像を取得するＰＥＴ画像取得部４４、Ｘ－Ｒａｙ画像を取得するＸ－Ｒａｙ画像取得部４５などが利用される。
【0285】
ここで、診断部５０は、前記少なくとも１つの脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断することができる。
【0286】
診断部５０は、使用者の脳疾患を判断し、対象となる脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0287】
最後に、管理部６０は、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する。
【0288】
例えば、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、管理部６０の制御により、前記使用者の脳状態改善のために、前記使用者の脳を刺激するための脳信号刺激部２０の動作がトリガーとなり得る。
【0289】
［収集された信号を基に、前記使用者の脳状態を判断する診断部］
まず、脳信号刺激部２０は、対象体の脳に刺激を与えるための刺激信号を生成し、生成された刺激信号を出力する。例えば、脳信号刺激部２０は、脳刺激のための仮想現実（ＶＲ）画像を提供するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）装置であるが、これに限定されない。様々な実施例において、脳信号刺激部２０は、対象体の視覚、聴覚、及び触覚などの少なくとも１つに関して、脳刺激のためのコンテンツを提供するための様々な装置である。
まず、脳信号刺激部２０は、対象体の脳に刺激を与えるための刺激信号を生成し、生成された刺激信号を出力する。例えば、脳信号刺激部２０は、脳刺激のための仮想現実（ＶＲ）画像を提供するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）装置であるが、これに限定されない。様々な実施例において、脳信号刺激部２０は、対象体の視覚、聴覚、及び触覚などの少なくとも１つに関して、脳刺激のためのコンテンツを提供するための様々な装置である。
【0290】
このような脳信号刺激部２０がＨＭＤ装置である場合、ＨＭＤ装置は、対象体の頭に装着されて、対象体が実際と類似した空間的、時間的体験ができるように、対象体に仮想現実のための脳刺激コンテンツを提供すると共に、使用者の生体データを取得して、仮想体験中である使用者の身体的、認知的、感情的変化を感知可能な複合仮想体験装置である。例えば、脳刺激コンテンツは、映画、アニメーション、広告、又は広報画像などのような非インタラクティブ型画像、及びゲーム、電子マニュアル、電子百科事典、又は広報画像などのように、使用者と相互活動的に行われるインタラクティブ型画像を含むが、これに限定されない。ここで、画像は、３次元画像であり、ステレオスコピック画像が含まれることができる。
【0291】
このようなＨＭＤ装置は、使用者の頭に着用可能な構造で形成され、仮想現実のための様々な脳刺激コンテンツを、ＨＭＤ装置内の表示部により表示する形態で具現される。
【0292】
また、ＨＭＤ装置が表示部を備える場合、対象体がＨＭＤ装置を着用すると、対象体が脳刺激コンテンツを確認できるように、表示部の一面が、対象体の顔に対向して配置される。
【0293】
様々な実施例において、脳信号刺激部２０は、対象体が実際に見触る感覚的効果を感じて、生々しい仮想現実環境に没入するように、手袋、服などのような特殊装備をさらに含むことができる。
【0294】
ついで、脳信号測定部１０は、対象体の脳刺激で生じるｆＮＩＲＳデータを取得するための装置であって、ｆＮＩＲＳデータを取得するために用いられる複数の光源、及び複数の光源にそれぞれ対応する検出部を含む。
【0295】
具体的に、脳信号測定部１０は、複数の光源と、複数の光源のそれぞれから近赤外線を検出し、各光源と一対で配置される検出部とを含む。このような脳信号測定部１０は、光源及び検出部がｎ×ｍのマトリックス状に配置され（ｎ、ｍは、自然数）、対象体の頭皮全体を覆うためのハット状に具現される。しかし、脳信号測定部１０は、このような形状に限定されず、対象体の頭皮から近赤外線を検出するための様々な形態で具現可能である。このように配置された光源と検出部の間の領域にチャンネルが形成され、形成されたチャンネル内で近赤外線が検出される。
【0296】
脳信号測定部１０は、複数の光源により、対象体の頭皮に光を照射し、照射された光により、頭皮から放出された近赤外線のうち、対象体の動きを制御する脳領域であるＳＭＡ（ｓｕｐｐｌｅｍｅｎｔａｒｙ ｍｏｔｏｒ ａｒｅａ）領域に該当する近赤外線を、各光源と対を成す検出部により検出して、ＳＭＡ領域のｆＮＩＲＳデータを取得することができる。脳信号測定部１０は、取得されたｆＮＩＲＳデータを診断部５０に伝達する。
【0297】
診断部５０は、ｆＮＩＲＳデータを用いて、対象体の状態を決めるための装置であって、タブレットＰＣ、ノート型パソコン及び／又はＰＣの少なくとも１つを含む。
【0298】
具体的に、診断部５０は、脳信号測定部１０から受信されたｆＮＩＲＳデータを用いて、ＳＭＡ領域に対する分析データを算出し、算出された分析データを基に、対象体の状態を決める。ここで、ＳＭＡ領域は、対象体の動きを計画し、これを実現又は統制する役割を果たす脳領域であり、例えば、人間の上肢又は下肢の運動、目運動、又は手運動などをする場合、活性化される。
【0299】
分析データを算出するために、診断部５０は、パワースペクトル分析（ｐｏｗｅｒ ｓｐｅｃｔｒｕｍ ａｎａｌｙｓｉｓ）及びｚ－ｓｃｏｒｅ分析を行うが、これに限定されず、対象体の状態を決めるための様々なデータ分析方式が利用可能である。
【0300】
このような分析方式により算出された分析データを基に、対象体の状態を決めるため、診断部５０は、パターン分析方式（ｐａｔｔｅｒｎ ｍｉｎｉｎｇ）及びマシンランニング方式（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）の少なくとも１つを利用する。
【0301】
パターン分析方式を利用する場合、診断部５０は、分析データを基に分析パターンを生成するように、学習されたパターン生成モデルを用いて、対象体の分析パターンを生成する。ここで、パターン生成モデルは、クラストリングアルゴリズムに基づくモデルである。
【0302】
診断部５０は、このように生成された分析パターンを基に、使用者の状態を確率的に予測するように学習された状態予測モデルを用いて、対象体の状態を決める。ここで、対象体の状態は、対象体が特定の疾病患者である場合、治療のための刺激コンテンツを提供したとき、提供された刺激コンテンツにより変化する行動的パターンを意味する。例えば、診断部５０は、運動能力がある程度であるか、均衡感覚がある程度であるか、学習効能を有するか、運動感覚があるか、動きを計画するか、及び／又は共感覚があるか否かのような対象体状態を決めるが、これに限定されない。
【0303】
マシンランニング方式を用いる場合、診断部５０は、分析データを基に対象体の状態を予測するための予測モデルを用いて、対象体の状態を決める。例えば、予測モデルは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）モデル、又はＵ－ｎｅｔに基づく予測モデルであるが、これに限定しない。
【0304】
様々な実施例において、診断部５０は、このように決められた状態をモニタリングするか、決められた状態に対するフィードバックデータを提供することができる。例えば、診断部５０は、対象体の運動能力がある程度であるか、均衡感覚がある程度であるか、学習効能を有するか、運動感覚があるか、動きを計画するか、及び／又は共感覚があるかなどを示すモニタリングデータ又はフィードバックデータを提供することができる。
【0305】
様々な実施例において、全体システムは、外部刺激に対する脳領域ｆＮＩＲＳデータを、対象体の動き状態として測定して、脳活性化、脳疾患などの脳状態を診断することができる。
【0306】
このように、本発明は、人間の動きを制御するＳＭＡ領域のｆＮＩＲＳデータを用いて、対象体の状態を決め、これをモニタリング又はフィードバックデータとして提供することで、パーキンソン病患者、又は事故により身体一部が麻痺した患者のように自由に動くことができない対象体に、治療のための適切な刺激信号を与え、対象体の脳が正しく作動するか、又は正常であるか否かを時空間的又はリアルタイムで確認することができる。
【0307】
脳信号刺激部２０は、画像再生装置及び入力装置を含む。画像再生装置は、入力装置と有無線通信で連結される。提示された実施例において、脳信号刺激部２０は、図１の脳信号刺激部２０を意味し、画像再生装置は、仮想現実画像を再生するＨＭＤ装置と仮定して説明する。
【0308】
まず、画像再生装置は、通信部と、感知部と、表示部と、格納部と、制御部とを含む。
【0309】
通信部は、画像再生装置が外部装置と通信可能に連結する。通信部は、有無線通信を用いて、診断部５０に連結され、様々なデータを送受信する。ここで、様々なデータは、仮想現実コンテンツであり、仮想現実コンテンツは、１人称又は３人称ゲームコンテンツである。例えば、３人称ゲームコンテンツは、対象体とマッチングされるアバターを含み、アバターは、対象体の外形と同様に具現される。
【0310】
感知部は、使用者の頭動きを感知するための動きセンサを含み、動きセンサにより、使用者の頭動きを感知し、感知信号を出力する。しかし、これに限定されず、頭動きを感知するための様々なセンサを利用することができる。
【0311】
表示部は、使用者に各種のコンテンツ（例：テキスト、イメージ、ビデオ、アイコン、バナー、又はシンボルなど）を表示する。具体的に、表示部は、通信部により受信されるか、格納部に格納された仮想現実コンテンツを表示する。
【0312】
格納部は、対象体の脳に刺激を与えるために用いられる様々なデータを格納する。例えば、格納部は、仮想現実コンテンツを格納することができる。
【0313】
様々な実施例において、格納部は、フラッシュメモリ型、ハードディスク型、マルチメディアカードマイクロ型、カード型のメモリ（例えば、ＳＤ又はＸＤメモリなど）、ＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＰＲＯＭ、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つの格納媒体を含む。画像再生装置は、インターネット上で前記格納部の格納機能を行うウェブストレージに関して動作することもできる。
【0314】
制御部は、通信部、感知部、表示部，及び格納部と動作可能に連結され、対象体の脳に刺激を与えるために用いられる仮想現実コンテンツを提供するための様々な指令を行うことができる。
【0315】
具体的に、制御部は、通信部により受信されるか、格納部に格納された仮想現実コンテンツを、表示部により表示する。例えば、仮想現実コンテンツが３人称ゲームコンテンツである場合、３人称ゲームコンテンツは、対象体に対応するアバターを含む。このような場合、制御部は、アバターを生成するためのユーザインターフェースを提供する。
【0316】
様々な実施例において、制御部は、対象体の入力装置操作により、仮想現実コンテンツに関するユーザインターフェースを制御する。例えば、制御部は、対象体の入力装置操作により、アバター生成のためのユーザインターフェースを制御して、対象体と類似した外形を有するアバターを生成することができる。
【0317】
様々な実施例において、制御部は、感知部により使用者の頭動きを感知し、使用者の頭方向に対応して、仮想現実コンテンツを再生して表示することができる。
【0318】
入力装置（例：コントローラなど）は、画像再生装置に連結され、対象体が画像再生装置に連結された入力装置を操作して、画像再生装置の表示部により表示される仮想現実コンテンツに関するユーザインターフェースを制御する。
【0319】
脳信号測定部１０は、光源と、検出部と、データ送信部とを含む。
【0320】
光源は、複数個に設けられ、ｎ×ｍのマトリックス状に配置され、光を頭皮に照射する。
【0321】
検出部は、光源に対応して、光源と一対に設けられ、ｎ×ｍのマトリックス状に配置される。
【0322】
このように配列された光源及び検出部の間にチャンネルが形成され、検出部は、チャンネル内で近赤外線を検出して、ｆＮＩＲＳデータを取得する。
【0323】
データ送信部は、取得されたｆＮＩＲＳデータを有線又は無線通信により、診断部５０に伝達する。
【0324】
診断部５０は、データ受信部と、前処理部と、分析データ算出部と、状態決定部とを含む。
【0325】
まず、データ受信部は、脳信号測定部１０から、ｆＮＩＲＳデータを受信する。
【0326】
前処理部は、ｆＮＩＲＳデータの生物学的又は技術的なアーティファクト（ａｒｔｉｆａｃｔ）を除去するための前処理を行う。例えば、前処理部は、移動平均低帯域フィルター（ｍｏｖｉｎｇ ａｖｅｒａｇｅ ｌｏｗ－ｐａｓｓ ｆｉｌｔｅｒ）を適用して、前処理を行うが、これに限定されず、アーティファクトを除去するための様々なフィルターが利用可能である。
【0327】
分析データ算出部は、特定のサンプリング時間間隔で、ＳＭＡ領域に関するチャンネルに対応して前処理されたデータを収集し、収集されたデータを基に、オキシ（ｏｘｙ）及びデオキシ（ｄｅｏｘｙ）ヘモグロビンの濃度変化を示すΔデータを取得する。
【0328】
分析データ算出部は、Δデータを分析して、分析データを生成する。具体的に、分析データ算出部は、２つの分析方式を用いて分析データを生成し、例えば、２つの分析方式は、パワースペクトル分析方式、及びｚ－ｓｃｏｒｅ分析方式を含む。
【0329】
まず、分析データ算出部は、脳領域を識別するためにパワースペクトル分析方式を用いて、パワースペクトル値を算出する。例えば、分析データ算出部は、高速フーリエ変換を用いて、時系列データ（すなわち、特定のサンプリング時間間隔で収集されたΔデータ）を周波数領域に変換し、特定の周波数範囲を有する近接周波数ウィンドウ内で、パワーを算出することができる。
【0330】
ついで、ｚ－ｓｃｏｒｅ分析方式を用いて分析データを算出するために、分析データ算出部は、ｘ（ｔ）≡ΔであるｆＮＩＲＳデータを、ｚ（ｔ）＝［ｘ（ｔ）－Ｍ０］／ＳＤ０のような式を用いて、時系列ｚ－ｓｃｏｒｅ値（ｚ（ｔ））に変換することができる。ここで、Ｍ０及びＳＤ０は、基準時間範囲（ｔ）の間、Δデータの平均値及び標準偏差を意味する。
【0331】
分析データ算出部は、このような分析方式を用いて、パワー値及びｚ－ｓｃｏｒｅ値を、ＳＭＡ領域に対する分析データとして算出することができる。
【0332】
状態決定部は、算出された分析データを基に、対象体の状態を決める。具体的に、状態決定部は、パターン分析方式及びマシンランニング方式の少なくとも１つを用いて、対象体の状態を決める。ここで、状態決定部は、対象体の運動能力がある程度であるか、均衡感覚がある程度であるか、学習効能を有するか、運動感覚があるか、動きを計画するか、及び／又は共感覚があるか否かを、対象体の状態として決めることができる。
【0333】
まず、パターン分析方式を利用する場合、状態決定部は、分析データパターンを生成するように学習されたパターン生成モデルを用いて、ＳＭＡ領域の分析データパターンを生成する。ここで、パターン生成モデルは、クラスタリングアルゴリズムに基づくモデルである。例えば、分析データパターンを生成するために、パターン生成モデルは、クラスタリングアルゴリズムを繰返し行うことで、複数のＳＭＡ領域の分析データのそれぞれに対するシルエットの平均値を算出し、平均値が最も急激に増加するパターンの数のうち、最も小さい値を有するパターンの数を、最適パターン数と決めることができる。更には、パターン生成モデルは、クラスタリングアルゴリズムを用いて、決められた最適のパターン数を基に、複数のＳＭＡ領域の分析データに対するパターンをグループ化することで、１つのＳＭＡ領域の分析データパターンを生成することができる。
【0334】
様々な実施例において、状態決定部は、パターン生成モデルを用いて、所定の時間間隔で対象体に対するＳＭＡ領域の分析データを複数回算出することで生成された複数の同一のＳＭＡ領域の分析データに対するクラスタリングを行うことができる。
【0335】
様々な実施例において、状態決定部は、パターン生成モデルを用いて、複数のＳＭＡ領域の分析データのうち、２つの選択された分析データに対する類似度及び非類似度マトリックスを算出し、算出された類似度及び非類似度を基に、前記２つの分析データに対する相関関係を決める。更には、状態決定部４０４は、分析データ間の相関関係及び最適パターン数を基に、１つの分析データパターンを生成することができる。
【0336】
ついで、状態決定部は、ＳＭＡ領域の分析データパターンを基に、対象体の状態を確率的に予測するように学習された状態予測モデルを用いて、対象体の状態を予測することができる。ここで、状態予測モデルは、対象体と異なる複数の標本対象体に対して、ＳＭＡ領域の分析データを算出し、状態予測モデルを用いて、複数のＳＭＡ領域の分析データのそれぞれに対するパターンを生成し、生成された各パターンをグループ化して、複数の標本対象体のそれぞれに対する１つの分析データパターンを生成し、生成された各分析データのうち、対象体の状態に関するパターンを決めるステップにより、トレーニングされた予測モデルであり得る。
【0337】
状態決定部は、状態予測モデルを用いて、所定の状態に連関するパターン及び対象体に対する分析データパターンを比較し、比較結果を基に、対象体の状態を確率的に決めることができる。例えば、状態決定部４０４は、対象体の運動能力がある程度であるか、均衡感覚がある程度であるか、学習効能を有するか、運動感覚があるか、動きを計画するか、及び／又は共感覚があるかなどを決める。
【0338】
ついで、マシンランニング方式を用いる場合、状態決定部は、分析データを基に、対象体の状態を予測するように事前学習された状態予測モデルを利用する。例えば、状態予測モデルは、他の対象体の分析データを基に学習される様々な学習モデルに基づく。例えば、本発明の様々な実施例で用いられる予測モデルは、ＤＮＮ、ＣＮＮ、ＤＣＮＮ、ＲＮＮ、ＲＢＭ、ＤＢＮ、ＳＳＤモデル、又はＵ－ｎｅｔに基づく予測モデルであるが、これに制限されるのではない。
【0339】
言い換えて、状態結晶部は、対象体の分析データを入力にして、対象体の状態、すなわち、運動能力がある程度であるか、均衡感覚がある程度であるか、学習効能を有するか、運動感覚があるか、動きを計画するか、及び／又は共感覚があるかなどを予測するように、事前学習された状態予測モデルを用いて、対象体の状態を予測することができる。
【0340】
このように、本発明は、対象体のＳＭＡ領域に対する分析データを用いて、対象体の状態を決めることで、対象体が脳疾患者であるかを決めるか、脳疾患予防のための指標を提供することができる。
【0341】
以下では、人工知能に基づく脳情報提供装置１において、機能的近赤外線分光法を用いて、対象体の状態を決めるための方法について、図５を参照して説明することにする。
【0342】
人工知能に基づく脳情報提供装置１は、対象体に対する脳刺激を行って、対象体の動きを制御するＳＭＡ領域のｆＮＩＲＳデータを取得する。具体的に、人工知能に基づく脳情報提供装置１は、脳信号刺激部２０により対象体への脳刺激を行い、脳信号測定部１０により、対象体のＳＭＡ領域に対するｆＮＩＲＳデータを取得する。ここで、ＳＭＡ領域に対するｆＮＩＲＳデータは、複数の対をなす光源及び検出部の間に形成されたチャンネルのうち、ＳＭＡ領域に関するチャンネル内で取得されて、診断部５０に伝達される。
【0343】
人工知能に基づく脳情報提供装置１は、取得されたｆＮＩＲＳデータを用いて、ＳＭＡ領域に対する分析データを算出する（Ｓ５１０）。具体的に、人工知能に基づく脳情報提供装置１は、診断部５０により、パワースペクトル分析及びｚ－ｓｃｏｒｅ分析を用いて、ＳＭＡ領域に対する分析データを算出する。このような算出方式は、前述したように行われる。
【0344】
人工知能に基づく脳情報提供装置１は、算出された分析データを基に、対象体の状態を決める。具体的に、人工知能に基づく脳情報提供装置１は、診断部５０により、パターン分析方式及びマシンランニング方式の少なくとも１つを用いて、対象体の状態を決める。このように決められた状態は、疾病患者である対象体の疾病治療又は疾病進行を遅らせるためのフィードバックデータとして提供されるか、疾病予防のためのモニタリングデータとして提供される。また、このようなフィードバックデータ及びモニタリングデータにより、使用者は、対象体の脳が正しく作動するか、又は正常であるか否かを時空間的又はリアルタイムで確認することができる。
【0345】
以下では、ｚ－ｓｃｏｒｅ分析方式を用いて算出されたＳＭＡ領域における分析データを基に、対象体の状態を決めるための方法を、図１１を参照して説明することにする。
【0346】
図１１は、本発明の実施例によるｚ－ｓｃｏｒｅ分析方式を用いて算出されたＳＭＡ領域における分析データを示す例示図である。
【0347】
図１１に示しているように、分析データは、ＳＭＡ領域において時系列ｚ－ｓｃｏｒｅ値として示すことができる。一般に、ＳＭＡ領域は、対象体の動きを計画して統制する領域であるので、対象体がなんらの動きを行う場合、ＳＭＡ領域の活動が増加して、ＳＭＡ領域の時系列ｚ－ｓｃｏｒｅ値は、ベースライン（ｚ－ｓｃｏｒｅ＝０）を中心に、逐次増加する値を有する。
【0348】
対象体に対する特定のイベントが発生すると、特定のイベントが発生した区間（６００、６０２、６０４、６０６）におけるＳＭＡ領域の時系列ｚ－ｓｃｏｒｅ値は、逐次基準線よりも小さい値を有するように減少する。ここで、特定のイベントは、対象体が動きを習得し、熟達される場合を意味する。対象体が動きを早く習得するほど、時系列ｚ－ｓｃｏｒｅ値の勾配は、急激に減少する。
【0349】
対象体の動きに制約があるか、対象体がしにくい動きをする場合でも、対象体のＳＭＡ領域活動が増加して、脳活性化が増加する。例えば、対象体が新たな動き又は運動（例：テニス、水泳、ボクシングなど）を行う場合、動きを主観するＳＭＡ領域の活動は増加し、ＳＭＡ領域において新たな動き又は運動を行い、習得しようとする計画が活性化される。これにより、対象体は、新たな動き又は運動を習得又は実行する。対象体がこのような動き又は運動に熟達されると、ＳＭＡ領域の活動は、逐次減少することになることで、以前より手間をかけることなく、該当動き又は運動を行うことができる。また、パーキンソン病患者又は事故で身体一部が麻痺した患者の場合、患者の頭に脳信号刺激部２０を着用させ、脳信号刺激部２０により、様々な脳刺激コンテンツを再生することで、患者の脳疾患治療のための刺激信号を与えることができる。このような場合、診断部５０は、脳信号測定部１０から取得されたｆＮＩＲＳデータを基に、患者のＳＭＡ領域に対する分析データを算出し、算出された分析データを用いて、患者の状態を決めた後、決められた患者の状態を基に、治療のための脳刺激コンテンツを提供することができる。パーキンソン病患者又は身体の一部が麻痺した患者は、ＳＭＡ領域の活動が少ないか、ＳＭＡ領域が非活動であるので、脳信号刺激部２０により、患者のＳＭＡ領域活動を逐次増加するための脳刺激コンテンツを提供することで、このような患者の脳疾患治療を助けることができる。
【0350】
このように、本発明は、対象体の運動能力又は均衡感覚などのような行動的具現に関するＳＭＡ領域におけるｆＮＩＲＳデータを用いて、対象体の状態を決めることで、対象体がＳＭＡ領域の活性化が落ちる脳疾患にかかっているかを診断することができる。
【0351】
また、本発明は、対象体の決定状態をモニタリングデータ又はフィードバックデータとして提供することで、このようなデータを用いて、パーキンソン病のような脳疾患を予防又は治療するための適切な刺激信号を生成することができる。
【0352】
また、本発明は、ＳＭＡ領域における分析データを用いて、対象体の脳領域が正しく動作しているか、又は正常であるか否かを、時空間的に又はリアルタイムで確認することができる。
【0353】
［マルチセンサバイオデータに基づく活性型ＸＲデジタル治療提供モデル］
図１２は、本発明によるマルチセンサバイオデータに基づく活性型ＸＲデジタル治療提供モデルの一例を説明するための図である。
図１２は、本発明によるマルチセンサバイオデータに基づく活性型ＸＲデジタル治療提供モデルの一例を説明するための図である。
【0354】
ここで、ＸＲ環境は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、及びＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の少なくとも１つを含む。
【0355】
図１２に示しているように、マルチセンサバイオデータに基づく活性型ＸＲデジタル治療提供は、３段階からなる。
【0356】
Ｍｅａｓｕｒｅ －＞ Ｅｖａｌｕａｔｉｏｎ －＞ Ｓｏｌｕｔｉｏｎ
Ｍｅａｓｕｒｅ段階では、医療機器（ＰＥＴ、ＣＴ、ＭＲＩ、Ｘ－Ｒａｙ）情報、遺伝子検査、血液検査結果などの情報が収集される。
Ｍｅａｓｕｒｅ段階では、医療機器（ＰＥＴ、ＣＴ、ＭＲＩ、Ｘ－Ｒａｙ）情報、遺伝子検査、血液検査結果などの情報が収集される。
【0357】
また、ウェアラブル機器（スマートウォッチ、バンド、心泊計）により情報が収集され、アンケート紙とアプリケーションにより取得された情報が更に活用可能である。
【0358】
ついで、Ｅｖａｌｕａｔｉｏｎ段階では、アクティブブレインによる脳活性化評価、ＸＲ環境による脳活性化極大化、行動治療方法論（ＣＥＢＴ）などが適用される。
【0359】
また、脳疾患初期バイオマーカーとして活用するか、バイオデータを持続的に追跡管理する機能が適用される。
【0360】
さらには、早期診断に該当情報が活用される。
【0361】
最後で、Ｓｏｌｕｔｉｏｎ段階では、認知障害改善などの複数のデジタル治療剤として活用可能であり、並行使用して、服薬行動を改善することと活用可能である。
【0362】
また、新薬開発補助に活用可能である。
【0363】
【0364】
一方、図１５は、本発明によるデジタルコンテンツに基づく治療情報提供方法及び治療情報提供装置並びにシステムの適用一例を説明する図である。
【0365】
図１５には、スマート病院システムと連携したマルチモーダルバイオデータに基づくＸＲコンテンツプラットホーム構成の一例が示されている。
【0366】
図１５に示しているように、休息するときの脳だけでなく、ある行動をするときの動的な脳の活性状態を測定し、複数種類の脳に関するバイオデータを収集、分析し、ＸＲ環境の脳活性化に対して、バイオデータとして検証することができる。
【0367】
また、ＸＲ環境で鬱病に作用する脳部位、該当部分を活性化させるＣＢＴ方法の適用が可能であり、治療用ＸＲコンテンツだけを開発することではなく、動的な状態の脳測定と各種のバイオセンサを用いたバイオデータ収集を、ＸＲコンテンツ体験と同時に行うことで、リアルタイムで個人状態にオーダーメードで提供、治療効果の増大を誘導することができる。
【0368】
今後の前記測定＋治療モデルは、既存の鬱病診断に活用していない新規のデータであり、すなわち、治療モジュールが予防モジュールとして活用可能である。
【0369】
［デジタルコンテンツに基づく治療情報提供方法］
図１６は、本発明が提供するデジタルコンテンツに基づく治療情報提供方法を説明するシーケンス図の一例を示している。
図１６は、本発明が提供するデジタルコンテンツに基づく治療情報提供方法を説明するシーケンス図の一例を示している。
【0370】
図１６に示しているように、まず、使用者に対する脳刺激を行い、前記使用者のｆＮＩＲＳデータを取得するステップ（Ｓ１）が行われる。
【0371】
ついで、前記取得されたｆＮＩＲＳデータを用いて、前記使用者の脳の複数の領域のうち、活性化された第１の脳活性化領域を抽出するステップ（Ｓ２）が行われる。
【0372】
以後、第１の脳活性化領域を基に、前記使用者の第１の脳状態を判断するステップ（Ｓ３）が行われる。
【0373】
ステップＳ３において、第１の脳状態から前記使用者の脳疾患を判断し、前記脳疾患は、認知症、軽度認知障害（ＭＣＩ）、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0374】
ステップＳ１の前に、前記使用者に関する身体情報、及び前記使用者に関する医療画像情報を収集する第０．５のステップを更に含み、前記ステップＳ３において、第１の脳活性化領域の情報、前記身体情報、及び前記医療画像情報を共に用いて、前記第１の脳状態を判断する過程を行う。
【0375】
ステップＳ３において、予め蓄積されたデータベースを基に、前記複数の領域のそれぞれに関する活性化情報、前記身体情報、及び前記医療画像情報の間の相関関係を更に用いて、前記第１の脳状態を判断することができる。
【0376】
ここで、身体情報は、前記使用者の聴力損傷程度、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態及び集中力変化、ＥＥＧ変化及び酸素飽和度変化の少なくとも１つを含む。
【0377】
また、医療画像情報は、前記使用者に関するＭＲＩ画像、前記使用者に関するＣＴ画像、及び前記使用者に関するｆＭＲＩ画像の少なくとも１つを含む。
【0378】
ステップＳ１は、複数の光源により、前記使用者の頭皮に光を照射する第１－１のステップと、前記複数の光源のそれぞれに対応する検出部により、前記光が照射された頭皮から、前記ｆＮＩＲＳデータを検出する第１－２のステップとを含む。
【0379】
ここで、ｆＮＩＲＳデータは、前記頭皮を通じて伝達される近赤外線光の強度の変化を示し、移動平均低帯域フィルターを通じて、アーティファクトが除去されたデータである。
【0380】
また、ステップＳ３において、前記第１の脳状態を判断するために、パワースペクトル分析方式、及びｚ－ｓｃｏｒｅ分析方式が用いられる。
【0381】
また、第１の脳活性化領域を基に、前記使用者の動きを制御するＳＭＡ領域に対する分析データを算出し、前記算出された分析データを基に、前記第１の脳状態を決める。
【0382】
また、前記使用者に特定のイベントが発生した状況で、前記ＳＭＡ領域に対する分析データ値が基準線を中心に増加するほど、前記対象体が動きに制約がある状態であると決め、分析データ値が基準線を中心に減少するほど、前記対象体が動きに熟達した状態であると決めることができる。
【0383】
一方、ＸＲ環境で、前記判断された第１の脳状態に対応して決められたコンテンツを、前記使用者に提供するステップ（Ｓ４）が行われる。
【0384】
ステップＳ４は、第１の脳状態をベースラインと決める第４－１のステップと、第１の脳状態に対応して、前記第１の脳活性化領域の活性化のための前記コンテンツを決める第４－２のステップと、ＸＲ環境の体験のために、前記使用者が着用した機器を通じて、前記コンテンツを、前記使用者に提供する第４－３のステップとを含む。
【0385】
また、前記コンテンツは、情緒安定のためのコンテンツ（Ｒｅｌａｘａｔｉｏｎ）、ストレス状況管理コンテンツ（Ｐｒｏｂｌｅｍ－ｓｏｌｖｉｎｇ）、参加度合管理コンテンツ（Ｅｎｇａｇｅｍｅｎｔ）、感情調節コンテンツ（Ｓｅｌｆ－ｃｏｎｔｒｏｌ）、及び衝動行動コントロールコンテンツ（Ｉｍｐｕｌｓｅ Ｃｏｎｔｒｏｌ）を含む。
【0386】
また、使用者は複数であり、前記コンテンツは、前記複数の使用者のうち、少なくとも一部が共に前記ミッションを行うグループセラピー（Ｇｒｏｕｐ ｔｈｅｒａｐｙ）コンテンツを更に含むことができる。
【0387】
また、判断した脳疾患の治療に関して、前記コンテンツを決めることができる。
【0388】
また、コンテンツに対応して、前記使用者がミッションを行うステップ（Ｓ５）が行われる。
【0389】
ステップＳ５は、コンテンツのプレイ進行程度により変化する前記ミッションを、前記使用者が行う第５－１のステップと、使用者がミッションを行う状態の前記使用者の脳に関する情報をリアルタイムで提供する第５－２のステップとを含む。
【0390】
また、図示していないが、ステップＳ５では、ミッションを行う過程中の前記使用者のｆＮＩＲＳデータを基準に、前記複数の領域のうち、活性化された第３の脳活性化領域を抽出し、前記第３の脳活性化領域を基に、前記使用者の第３の脳状態を判断する過程を更に含むことができる。
【0391】
また、ミッションを行った使用者のｆＮＩＲＳデータを基準に、前記複数の領域のうち、活性化された第２の脳活性化領域を抽出するステップ（Ｓ６）が行われる。
【0392】
また、第２の脳活性化領域を基に、前記使用者の第２の脳状態を判断するステップ（Ｓ７）が行われる。
【0393】
また、第１の脳状態の情報及び前記第２の脳状態の情報を用いて、前記使用者の脳状態改善に関する情報を決めるステップ（Ｓ８）が行われる。
【0394】
もし、ステップＳ５において、ミッションを行う過程中の前記使用者のｆＮＩＲＳデータを基準に、前記複数の領域のうち、活性化された第３の脳活性化領域を抽出し、前記第３の脳活性化領域を基に、前記使用者の第３の脳状態を判断する過程を更に含む場合、ステップＳ８は、第１の脳状態の情報、第２の脳状態の情報、及び第３の脳状態の情報を共に用いて、前記使用者の脳状態改善に関する情報を決めることもできる。
【0395】
また、第１の脳状態の情報、前記第２の脳状態の情報、及び前記脳状態改善の情報の少なくとも１つを、前記使用者に提供するステップ（Ｓ９）が行われる。
【0396】
【0397】
図１７に示しているように、ｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲ、ＥＭＧを基に、正常対照群の記憶力、判断力、集中力、感情変化、ストレスデータを測定し、ｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲ、ＥＭＧデータ間の相関を確認し、ＸＲコンテンツの適用環境にいて、デジタル治療剤による治療を行い、治療過程におけるアクティブブレイン（Ａｃｔｉｖｅ Ｂｒａｉｎ）データ（ｆＮＩＲＳ）、及び他のバイオデータ（ＥＣＧ、ＥＥＧ、ＧＳＲ、ＥＭＧ）間の相関を確認することができる。
【0398】
図１７では、アクティブブレインスキャナー、スマートウォッチ、ＥＣＧパッチなどを着用した後、ＸＲコンテンツ適用環境でアクション行動（ａｃｔｉｏｎ ｔａｓｋ）を行い、正常対照群のｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲ、ＥＭＧデータ取得することができる。
また、アクション行動を行う過程における正常対照群の記憶力、判断力、集中力、感情変化、ストレス変化を判断することができる。
また、アクション行動を行う過程における正常対照群の記憶力、判断力、集中力、感情変化、ストレス変化を判断することができる。
【0399】
また、アクティブブレインデータ（ｆＮＩＲＳ）、及び他のバイオデータ（ＥＣＧ、ＥＥＧ、ＧＳＲ、ＥＭＧ）間の相関を確認することができる。
【0400】
また、アクティブブレインスキャナー、スマートウォッチ、ＥＣＧパッチなどを着用した後、ＸＲコンテンツ適用環境で治療行動を行い、治療行動を行う過程における脳活性化及びＣＮＳ効率の増進から、正常対照群の記憶力増加、判断力向上、集中力増加、感情変化、ストレス減少効果を確認することができる。
【0401】
また、治療過程におけるアクティブブレインデータ（ｆＮＩＲＳ）、及び他のバイオデータ（ＥＣＧ、ＥＥＧ、ＧＳＲ、ＥＭＧ）間の相関を確認することができる。
【0402】
一方、図１８に示しているように、認知症群、軽度認知障害群、正常対照群のそれぞれに対して、ｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲを基に、記憶力、判断力、集中力、感情変化、ストレスデータを測定し、脳ＭＲＩ画像データ及びＳＮＳＢ（認知症選別検査）データを取得し、ＭＲＩ画像データの認知症群、軽度認知障害群、正常対照群の分類を基準に、アクティブブレインデータ（ｆＮＩＲＳ）、他のバイオデータ（ＥＣＧ、ＥＥＧ、ＧＳＲ）、ＭＲＩ画像データ、及びＳＮＳＢデータ間の相関を確認することができる。
【0403】
図１８では、認知症群、軽度認知障害群、正常対照群のそれぞれに対して、アクティブブレインスキャナー、ＥＣＧパッチなどを着用した後、ＸＲコンテンツ適用環境でアクション行動を行い、ＳＮＳＢ（認知症選別検査）を施し、脳ＭＲＩ画像を取得し、認知症群、軽度認知障害群、正常対照群のそれぞれのｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲデータ、ＳＮＳＢデータ、及び脳ＭＲＩ画像データを取得するステップを行うことができる。
【0404】
また、アクション行動を行う過程における認知症群、軽度認知障害群、正常対照群のそれぞれのｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲデータを確認し、ＭＲＩ画像データを基準に判断された認知症群、軽度認知障害群、正常対照群のそれぞれに対するｆＮＩＲＳ、ＥＣＧ、ＥＥＧ、ＧＳＲデータとＳＮＳＢデータの間の相関を確認することができる。
【0405】
【0406】
【0407】
すなわち、使用者は、アクティブブレインスキャナーを初めて、スマートバンド、ＥＣＧパッチなどのバイオセンサ ＆ ＸＲ体験のためのＡＲグラス着用し、穏やかな背景のＸＲコンテンツで使用者のベースラインの脳状態、マルチモーダルバイオデータを測定、憂鬱尺度を診断し、使用者が直接確認できるように見せてくれる。
【0408】
また、測定されたデータを基に、個人オーダーメード型コンテンツを構成し、多数のＸＲアクティビティ種類とＣＢＴ方法論を融合、２０個以上の様々なＸＲ－ＣＢＴコンテンツ組み合わせで、個人のリアルタイムの脳状態を最も効果的に活性させるキューレーション後、提供することができる。
【0409】
また、コンテンツを行い、使用者が動きを取る状態で、リアルタイムで、脳状態、活性度、及びバイオデータを見せてくれることで、脳に及ぶ効果を自ら確認できるようにする。
【0410】
また、コンテンツの体験後、データに基づいて、次に進行するコンテンツキューレーション後、提供し、コンテンツ体験終了後、ベースライン測定時のデータと、体験後データを比較分析した結果を提供して、治療効果を確認することができる。
【0411】
そこで、使用者が動くときや、ある行動（Ｔａｓｋ）を取るときの脳活性状態を、リアルタイムで測定することができる技術力を基に、ＸＲコンテンツを用いるときの脳状態をアクティブブレインスキャナーで収集する脳活性データ、マルチモーダルバイオセンサで収集する複数の生体データ（ＥＣＧ、ＲＥＰなど）を収集及び分析することで、使用者オーダーメードの効果的な治療コンテンツ構成及び提供が可能である。
【0412】
また、使用者が経験するＸＲコンテンツは、ＣＢＴ方法論と融合、治療効果を伴い、没入感（Ｅｎｇａｇｅｍｅｎｔ）と体内化（ｅｍｂｏｄｉｍｅｎｔ）を極大化（ｍａｘｉｍｉｚａｔｉｏｎ）する方法で、ゲーム化（ｇａｍｉｆｉｃａｔｉｏｎ）方法を用いて刺激を与えることで、短い時間でも、使用者の脳を最大限に活性化することができる。
【0413】
また、休息状態の脳ではなく（ＭＲＩなど）、活性化された脳を測定して、より精度良い治療に寄与し、脳の活性化部位と程度をリアルタイムで使用者本人が確認することができ、使用者オーダーメード型ＸＲ－ＣＢＴコンテンツキューレーションの提供、及び治療効果の検証が可能であり、複数のバイオデータの測定と融合することで、鬱病の早期診断と治療への活用が可能である。
【0414】
【0415】
【0416】
認知行動治療（ＣＢＴ）は、思考・信念・価値などの認知的側面と同時に、具体的に現れた精神身体行動（ｐｓｙｃｈｏｍｏｔｏｒ ｂｅｈａｖｉｏｒ）の側面に関する概念・原理・理論を体系的に統合して、不適応行動を治療しようとする精神治療の方法であって、相談者が内談者の肯定的な行動、思考変化を導出するために、各種の技法を活用して相談する心理治療方法である。
【0417】
鬱病の場合、鬱病を病む人が鬱病を誘発する否定的な思考パターン又は行動を認知し、替えるように手伝うことが１つの方法であり、現在の問題に集中し、その問題をどう解決するかに尽力し、「実際の世の中」で新しいスキルを練習することなどが、鬱病ＣＢＴとなり得る。
【0418】
また、Ｏｎｌｉｎｅ ＣＢＴ（オンライン認知行動治療）は、多数の研究結果、鬱病に抗うつ剤と同様に、鬱病症状の緩和に助けになることを見出した。
【0419】
国内では、Ｏｎｌｉｎｅ ＣＢＴが多く普及していないが、海外では、Ｏｎｌｉｎｅ ＣＢＴを、鬱病治療及び管理方法で多く使用している。
【0420】
また、Ｇａｍｉｆｉｅｄ ＣＢＴは、コンピュータを用いた治療法（ｃｏｍｐｕｔｅｒｉｚｅｄ）とゲーム化（ｇａｍｉｆｉｃａｔｉｏｎ）したもので、対面接触を最小化しながら、効果的にＣＢＴを行うことができる方法である。使用者の参加度を高め、没入度と楽しさを極大化することで、新しい使用者経験（ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を提供し、集中力向上、学習促進、及び肯定的な行動変化を誘導して、治療効果を作り出すことができる。
【0421】
本発明によるＸＲは、没入感と共存感を通じて、使用者に拡張した経験を提供することで、回復と治癒の効果を向上することができる。
【0422】
仮想環境で使用者に目標意識と共に、治療動機を与えることで、ややもすると退屈になる繰返し訓練を成功的に終えることができる。
【0423】
また、使用者の心理的不安とストレスを下げることができる最適の環境を構成して、没入感の高い冥想と精神的治癒を経験することができる。
【0424】
既存の鬱病ＣＢＴは、長期間にわたって、多くのセッションを進行しなければならず、没入度及び自己参加度が低く、本人状態又は治療効果を直ぐ確認しにくくて、治療の動機づけが難しいという限界がある。
【0425】
鬱病治療のための「脳活性化」のためには、没入度を向上させるのが非常に重要であるが、特定の空間に適した環境でコンテンツ体験を提供して、ＸＲ体験の進行時、行動変化に影響する没入度を極大化して、脳の状態に対する効果的な測定だけでなく、治療の手段としても活用可能である。
【0426】
本発明によるＸＲ－ＣＢＴ結合型ＤＴｘは、既存のＸＲ環境のメリットである没入感と共存感などを感じ、Ｏｎｌｉｎｅ ＣＢＴと類似した治療効果を期待することができ、様々な使用者のそれぞれ異なる症状及び脳活性状態によるＸＲ－ＣＢＴコンテンツキューレーションにより、治療の幅を拡げることができる。
【0427】
［コンテンツ種類］
（１）情緒安定のためのコンテンツ（Ｒｅｌａｘａｔｉｏｎ）
弛緩行動と弛緩訓練は、特に、不安及び憂鬱症状の改善に高い効果があることを、メタ分析により証明している。沈着性維持と感情調節だけで、不安症状が大幅減少し、過度な心配と否定的な思考を無力化させる。
（１）情緒安定のためのコンテンツ（Ｒｅｌａｘａｔｉｏｎ）
弛緩行動と弛緩訓練は、特に、不安及び憂鬱症状の改善に高い効果があることを、メタ分析により証明している。沈着性維持と感情調節だけで、不安症状が大幅減少し、過度な心配と否定的な思考を無力化させる。
【0428】
（２）ストレス状況管理コンテンツ（Ｐｒｏｂｌｅｍ－ｓｏｌｖｉｎｇ）
問題解決（Ｐｒｏｂｌｅｍ－Ｓｏｌｖｉｎｇ）治療は、ストレス状況を管理する能力を訓練する。問題的状況に対する解決を通じて、ストレスの否定的影響を低くし、自己効能感を高めてくれる。
問題解決（Ｐｒｏｂｌｅｍ－Ｓｏｌｖｉｎｇ）治療は、ストレス状況を管理する能力を訓練する。問題的状況に対する解決を通じて、ストレスの否定的影響を低くし、自己効能感を高めてくれる。
【0429】
（３）参加度合管理コンテンツ（Ｅｎｇａｇｅｍｅｎｔ）
使用者の参加度を高めて、集中力向上、学習効果を向上させる。実状況で経験をするように、促進技術（技量）を学ぶ足場を設け、このような経験がより没入され、面白くする。
使用者の参加度を高めて、集中力向上、学習効果を向上させる。実状況で経験をするように、促進技術（技量）を学ぶ足場を設け、このような経験がより没入され、面白くする。
【0430】
（４）感情調節コンテンツ（Ｓｅｌｆ－ｃｏｎｔｒｏｌ）
アクティブブレインとマルチモーダルバイオデータで、リアルタイムで使用者の感情又は自分の反応を確認することができるため、使用者本人の行動（又は、無活動）が及ぶ影響又は生成させる感情を確認し、本人の感情と行動を調節することができるということを認識させて、不安、心配を減少することができる。
アクティブブレインとマルチモーダルバイオデータで、リアルタイムで使用者の感情又は自分の反応を確認することができるため、使用者本人の行動（又は、無活動）が及ぶ影響又は生成させる感情を確認し、本人の感情と行動を調節することができるということを認識させて、不安、心配を減少することができる。
【0431】
（５）グループセラピー（Ｇｒｏｕｐ ｔｈｅｒａｐｙ）
一人で課題（ｔａｓｋ）を行うことではなく、他人と共に行う感じを与えることで、他人との相互作用を激励し、肯定心理学的に重要な要素の１つである感謝する心を誘導する。感謝（ｇｒａｔｉｔｕｄｅ）を表現することは、臨床的にウェルビングと幸福感を引き起こして、鬱病と不安に関する症状を緩和することができる。
一人で課題（ｔａｓｋ）を行うことではなく、他人と共に行う感じを与えることで、他人との相互作用を激励し、肯定心理学的に重要な要素の１つである感謝する心を誘導する。感謝（ｇｒａｔｉｔｕｄｅ）を表現することは、臨床的にウェルビングと幸福感を引き起こして、鬱病と不安に関する症状を緩和することができる。
【0432】
（６）衝動行動コントロールコンテンツ（Ｉｍｐｕｌｓｅ Ｃｏｎｔｒｏｌ）
指示によって適切な瞬間が来るまで衝動を抑制することで、指示に集中しなければならない状況での注意力を高め、衝動統制力を向上させる。適切な注意を注いで、状況変化によって、注意を注ぐ対象も適切に替えて、注意転換技術を向上させる。
指示によって適切な瞬間が来るまで衝動を抑制することで、指示に集中しなければならない状況での注意力を高め、衝動統制力を向上させる。適切な注意を注いで、状況変化によって、注意を注ぐ対象も適切に替えて、注意転換技術を向上させる。
【0433】
［コンテンツシナリオ］
（１）コンテンツを始めることに先立って、自分の状態を確認できるように構成し、該当内容に基づいて、使用者オーダーメード型コンテンツをお勧めする。
（１）コンテンツを始めることに先立って、自分の状態を確認できるように構成し、該当内容に基づいて、使用者オーダーメード型コンテンツをお勧めする。
【0434】
（２）自分の状況にあうコンテンツをおすすめされて体験することができる。リアルタイムで体験中にデータを伝達されて、該当内容を通じて、次のコンテンツを連携的にすすめることができるように構成して、治療の効果を極大化するようにする。
【0435】
（３）コンテンツ完了後、再度、状態を確認して、コンテンツ体験前のデータと比較分析を通じて、使用者の変化を確認し、これをデータセットに基づく分析により、後の治療時に反映することができる。
【0436】
複数種のＸＲアクティビティにそれぞれ適用可能なＣＢＴ方法をマッチングすることで、２０種類以上の様々なＸＲ－ＣＢＴ融合コンテンツを構成する予定である。該当コンテンツをアクティブブレインスキャナーとバイオセンサで得るマルチモーダルバイオデータを基に、使用者オーダーメードでキューレーションして、治療の繰返し又は再訪問が必要な状況でも、退屈しないように持続的に治療参加の誘導が可能である。
【0437】
一例として、リフティング－Ｒｅｌａｘａｔｉｏｎコンテンツを体験した使用者の感情が安定するかと、リアルタイム脳活性状態を、Ａｃｔｉｖｅ Ｂｒａｉｎ Ｓｃｒｅｅｎｉｎｇ及びバイオデータで確認する。使用者本人も状態を確認することで、コンテンツの効果を目で見て実感することができる。
【0438】
収集されたデータで体験後、次の体験コンテンツをキューレーションする。既にリフティングアクティビティを経験したので、野球－グループセラピー又は釣り－Ｉｍｐｕｌｓｅ Ｃｏｎｔｒｏｌコンテンツのいずれかを選択することで、コンテンツによる期待効果を知らせ、新しいアクティビティを経験し、成就度を確認するようにする。
【0439】
全体の体験終了後、体験前のデータと体験後のデータを比較分析した結果を確認することで、治療効果を自ら感じることができる。
【0440】
上述した本発明の実施例は、様々な手段により具現可能である。例えば、本発明の実施例は、ハードウェア、ファームウエア、ソフトウェア、又はそれらの組み合わせなどにより具現される。
【0441】
ハードウェアによる具現の場合、本発明の実施例による方法は、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより具現される。
【0442】
ファームウエアやソフトウェアによる具現の場合、本発明の実施例による方法は、以上で説明した機能又は動作を行うモジュール、手続き、又は関数などの形態で具現される。ソフトウェアコードは、メモリユニットに格納されて、プロセッサにより駆動される。前記メモリユニットは、前記プロセッサ内部又は外部に位置して、公知の様々な手段により、前記プロセッサとデータを授受することができる。
【0443】
上述したように開示された本発明の好適な実施例に対する詳細な説明は、当業者が本発明を具現して実施できるように提供されている。前記では、本発明の好適な実施例を参照して説明したが、当該技術分野における熟練した当業者は、本発明の領域から逸脱しない範囲内で、本発明を様々に修正及び変更できることを理解するだろう。例えば、当業者は、上述した実施例に記載された各構成を互いに組み合わせる方式で利用可能である。そこで、本発明は、ここに示された実施形態に制限されることではなく、ここで開示された原理及び新規の特徴と一致する範囲を付与しようとすることである。
【0444】
本発明は、本発明の精神及び必須の特徴を逸脱しない範囲で、他の特定の形態に具体化される。そこで、前記の詳細な説明は、全ての面で制限的に解析されてはいけず、例示的なことと考えるべきである。本発明の範囲は、添付の請求項の合理的解析により決められるべきであり、本発明の等価的な範囲内での全ての変更は、本発明の範囲に含まれる。本発明は、ここに示された実施形態に制限されることではなく、ここで開示された原理及び新規の特徴と一致する範囲を付与しようとすることである。また、特許請求の範囲で明示的な引用関係がない請求項を組み合わせて、実施例を構成するか、出願後の補正により、新しい請求項として含むことができる。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図20A】
【図20B】
【図20C】
