▶ アクティブレイン バイオ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-31
(45)【発行日】2023-08-08
(54)【発明の名称】人工知能に基づく脳情報提供装置及び方法
(51)【国際特許分類】
A61B 10/00 20060101AFI20230801BHJP
A61B 5/1455 20060101ALI20230801BHJP
A61B 5/12 20060101ALI20230801BHJP
A61B 5/16 20060101ALI20230801BHJP
【ＦＩ】
A61B10/00 E
A61B10/00 H
A61B5/1455
A61B5/12
A61B5/16 110
【請求項の数】
14
(21)【出願番号】P 2021121408
(22)【出願日】2021-07-26
(65)【公開番号】P2022022204
(43)【公開日】2022-02-03
【審査請求日】2021-07-26
(31)【優先権主張番号】10-2020-0091205
(32)【優先日】2020-07-22
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0091206
(32)【優先日】2020-07-22
(33)【優先権主張国・地域又は機関】KR
【前置審査】
(73)【特許権者】
【識別番号】521327529
【氏名又は名称】アクティブレイン バイオ インコーポレイテッド
(74)【代理人】
【識別番号】110002022
【氏名又は名称】弁理士法人コスモ国際特許事務所
(72)【発明者】
【氏名】キム ソン ユン
【審査官】磯野 光司
(56)【参考文献】
【文献】国際公開第２００９／１０２０５２（ＷＯ，Ａ１）
【文献】特表２０１１－５１４２２０（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０２０－０００５９８６（ＫＲ，Ａ）
【文献】国際公開第２０２０／０１３３０２（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１８８４０５（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１０２７４９（ＷＯ，Ａ１）
【文献】GUVEN, Aysegul et al.，Combining functional near-infrared spectroscopy and EEG measurements for the diagnosis of attention-deficit hyperactivity disorder，Neural Computing and Applications，2019年07月03日，Vol.32，pp.8367-8380，DOI：10.1007/s00521-019-04294-7
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００－５／３９８
Ａ６１Ｂ １０／００
(57)【特許請求の範囲】
【請求項1】
脳信号測定部の脳信号取得部が、使用者の脳の大脳皮質に照射されて前記大脳皮質を透過した近赤外線領域の光を検出する第１のステップと、前記第１のステップの前に、 前記脳信号測定部の信号収集動作のために、前記使用者の脳を刺激する状況を生成する信号を脳信号刺激部が出力する第０.５のステップを含み、
前記第０．５のステップは、前記脳信号刺激部の脳活性化装置が、一定空間内で予めターゲティングされた脳領域の活動を集中的に強化し、前記脳領域の機能を活性化するように、多次元的な環境的刺激を与えるステップ(ａ)と、前記脳信号刺激部の管理サーバが、前記一定空間内で前記ターゲティングされた脳領域に多次元的な環境的刺激を与えるように、前記脳活性化装置の駆動を制御するステップ(ｂ)とを含み、
前記一定空間は、複数の空間に区画され、前記ステップ(ａ)は、メディア部が前記複数の空間のそれぞれで演出しようとするコンセプトに対応するメディアアートを備えるステップと、音響部が音響を出力するステップと、照明部が光を照射又は照明するステップと、香り伝達部が香りを前記使用者に伝達するステップとを含み、
前記ステップ(ｂ)において、前記管理サーバは、前記複数の空間のそれぞれのコンセプトに対応する複数のメディア情報と音響情報、前記脳活性化装置の駆動を制御するためのプログラムが格納されるデータベースを含み、前記データベースに格納された各種の情報とプログラムから、各空間のコンセプトに対応する複数のメディア情報、音響ファイルとプログラムから１つ以上を選択し、選択された情報とプログラムによって変更するように、前記脳活性化装置の駆動を制御し、
前記脳信号測定部の脳信号処理部が、前記第１のステップにおける前記検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する第２のステップと、
前記脳信号測定部の脳信号分析部が、前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する第３のステップと、
診断部が、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断する第４のステップとを含み、
前記第１のステップの脳信号取得部の信号収集動作は、前記使用者が動く状態で行われ、
前記第３のステップと前記第４のステップの間には、更に
使用者データ収集部が、前記使用者に関する身体情報を収集する第３．５のステップを含み、
前記第３．５のステップにおいて、
前記使用者データ収集部は、
前記使用者の聴覚情報を収集する聴覚情報収集部、前記使用者の足取り情報を収集する足取り情報収集部、前記使用者のストレス情報を収集するストレス情報収集部、前記使用者の心電図情報を収集する心電図情報収集部、前記使用者の睡眠情報を収集する睡眠情報収集部、前記使用者の集中情報を収集する集中情報収集部、及び前記使用者の酸素飽和度情報を収集する酸素飽和度収集部のうち、少なくとも１つを含み、
前記脳信号測定部の信号収集動作は、前記使用者の聴力損傷が発生した状態、前記使用者の足取りが変化する状態、前記使用者のストレスが変化する状態、前記使用者の心電図が変化する状態、前記使用者の睡眠状態が変化する状態及び、前記使用者の集中力が変化する状態のうち、少なくとも１つが適用された状況で、前記使用者が動く間、行われ、
前記第４のステップにおいて、
前記診断部は、
前記収集された使用者に関する身体情報を基に、前記使用者の聴力損傷程度、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、及び酸素飽和度変化のうち、少なくとも１つを判断し、
前記使用者の聴力損傷程度、足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、及び酸素飽和度変化の少なくとも１つと、前記少なくとも１つの脳活性化領域を共に用いて、前記診断部が脳の状態を判断することを特徴とする人工知能に基づく脳情報提供方法。
【請求項2】
前記第２のステップでは、前記検出された光を基に、前記使用者の脳血流内の酸化ヘモグロビン濃度(Oxy Hb)と還元ヘモグロビン濃度(Deoxy Hb)を抽出することで、前記ヘモグロビン酸素化程度を判断し、
前記少なくとも１つの脳活性化領域では、
前記脳血流内の酸化ヘモグロビンによって輸送された酸素が消費することで、酸化ヘモグロビン濃度(Oxy Hb)が減少し、前記酸化ヘモグロビン濃度(Oxy Hb)の減少に対応して、前記還元ヘモグロビン濃度(Deoxy Hb)が増加し、
前記酸化ヘモグロビン濃度(Oxy Hb)と前記還元ヘモグロビン濃度(Deoxy Hb)は、可視光領域と近赤外光領域で変化する光特性を有し、
前記第１のステップにおいて、前記脳信号測定部は、前記近赤外線照射による近赤外分光法により、前記信号を収集することを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項3】
前記第３のステップにおいて、前記脳信号分析部は、前記使用者の脳領域を複数に分割し、
前記複数に分割された脳領域のそれぞれが、一定時間単位で前記脳活性化領域に変化しているか、又は前記脳活性化領域から非活性化領域に変化しているか否かを判断することを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項4】
前記第４のステップにおいて、前記診断部は、前記一定時間単位を基準に、前記複数の分割された脳領域のそれぞれの脳活性化変化を用いて、前記使用者の脳状態を判断することを特徴とする請求項３に記載の人工知能に基づく脳情報提供方法。
【請求項5】
更に、前記第３のステップと前記第４のステップの間には、前記脳信号測定部のディスプレイ部が、前記複数の分割された脳領域のそれぞれの脳活性化変化を、時間によって表示するステップを含むことを特徴とする請求項４に記載の人工知能に基づく脳情報提供方法。
【請求項6】
前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断することを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項7】
前記使用者の聴力損傷は、難聴によることであり、前記診断部は、前記使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断し、
前記使用者の聴力損傷は、耳鳴りによることであり、
前記診断部は、前記使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することを特徴とする請求項６に記載の人工知能に基づく脳情報提供方法。
【請求項8】
前記第３．５のステップにおいて、更に、前記使用者データ収集部は、前記使用者のアイトラッキングを基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部を含み、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域、及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項9】
前記第３．５のステップにおいて、更に、前記使用者データ収集部は、前記使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部を含み、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項10】
更に、前記第３.５のステップと前記第４のステップの間には、画像収集部が、前記使用者に関する医療画像を収集する第３.７のステップを含み、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断することを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項11】
前記第３.７のステップにおける前記画像収集部は、前記使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部と、前記使用者に関するＣＴ画像を収集するＣＴ画像取得部と、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部とを含むことを特徴とする請求項１０に記載の人工知能に基づく脳情報提供方法。
【請求項12】
前記第４のステップにおいて、前記診断部は、前記使用者の脳疾患を判断し、前記脳疾患は、認知症、軽度認知障害(MCI)、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害を含み、
更に、前記第４のステップの後には、
管理部が、前記診断部が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する第５のステップを含むことを特徴とする請求項１に記載の人工知能に基づく脳情報提供方法。
【請求項13】
所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、軽度認知障害(MCI)、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害のうち、少なくとも１つに該当すると予測される場合、前記第５のステップは、更に、
前記管理部の制御によって、前記使用者の脳状態改善のために、前記使用者の脳を刺激する状況を生成する信号を脳信号刺激部が出力するステップを含むことを特徴とする請求項１２に記載の人工知能に基づく脳情報提供方法。
【請求項14】
使用者の脳に関する信号を収集する脳信号測定部と、前記脳信号測定部の信号収集動作のために、前記使用者の脳を刺激するための脳信号刺激部と、
前記収集された信号を基に、前記使用者の脳状態を判断する診断部と、を含み、
前記脳信号刺激部は、前記脳信号測定部の信号収集動作のために、前記使用者の脳を刺激する状況を生成する信号を出力するものであって脳活性化装置を含み、
前記脳活性化装置は、空間で演出しようとするコンセプトに対応するメディアアートを具現するメディア部と、音響を出力する音響部と、光を照射又は照明する照明部と、香りを使用者に伝達する香り伝達部とを含み、
前記メディア部は、前記空間のコンセプトに対応するメディアアートを具現する複数のメディアモジュールを含み、前記各メディアモジュールは、メディアアートを投射するプロジェクタやディスプレイパネルを含み、前記音響部は、前記空間のコンセプトに対応する音響を出力する複数の音響モジュールを含み、各音響モジュールは音響を出力するスピーカとアンプを含み、前記照明部は、前記空間のコンセプトに対応する光を照射又は照明する複数の照明モジュールを含み、各照明モジュールは、レーザ発生器、ＬＥＤ、ネオン照明から１つ又は２つ以上を組み合わせて構成され、前記香り伝達部は、自然物の香りを使用者に伝達する複数の伝達モジュールを含み、各伝達モジュールは、前記空間に配置された自然物で発生する香り、又は自然物の香りを模倣した香りを前記空間内部の使用者に伝達するように空気を送風する送風機を含み、
前記脳信号測定部は、
前記使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出する脳信号取得部と、
前記検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する脳信号処理部と、
前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する脳信号分析部とを含み、
前記脳信号測定部の信号収集動作は、前記使用者が動く状態で行われ、
前記診断部は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断し、
更に、前記使用者に関する医療画像を収集する画像収集部と、
前記使用者に関する身体情報を収集する使用者データ収集部とを含み、
前記診断部は、前記少なくとも１つの脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断し、
前記診断部は、
前記使用者の脳疾患を判断し、
前記脳疾患は、認知症、軽度認知障害(MCI)、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害を含み、
更に、前記診断部が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部を含み、
前記使用者データ収集部は、
前記使用者の聴覚情報を収集する聴覚情報収集部、前記使用者の足取り情報を収集する足取り情報収集部、前記使用者のストレス情報を収集するストレス情報収集部、前記使用者の心電図情報を収集する心電図情報収集部、前記使用者の睡眠情報を収集する睡眠情報収集部、前記使用者の集中情報を収集する集中情報収集部、及び前記使用者の酸素飽和度情報を収集する酸素飽和度収集部のうち、少なくとも１つを含み、
前記脳信号測定部の信号収集動作は、前記使用者の聴力損傷が発生した状態、前記使用者の足取りが変化する状態、前記使用者のストレスが変化する状態、前記使用者の心電図が変化する状態、前記使用者の睡眠状態が変化する状態及び、前記使用者の集中力が変化する状態のうち、少なくとも１つが適用された状況で、前記使用者が動く間、行われ、
前記診断部は、
前記収集された使用者に関する身体情報を基にした前記使用者の聴力損傷程度、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、及び酸素飽和度変化のうち、少なくとも１つを判断し、
前記診断部は、
前記使用者の聴力損傷程度、足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、及び酸素飽和度変化の少なくとも１つと、前記少なくとも１つの脳活性化領域を共に用いて、前記使用者の脳状態を判断することを特徴とする人工知能に基づく脳情報提供装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能に基づく脳情報提供装置及び方法に関し、より詳しくは、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断し、フィードバックする人工知能に基づく脳情報提供方法に関する。
【背景技術】
【0002】
脳は、人間の行動と環境によって、回路を新しく替えたり、新たな機能を作り出したり、細胞を作って成長したりする。そして、人間がどのような考えをするかにつれ、脳領域の機能が変わることもある。
【0003】
脳領域のうち、学習と記憶力を担当する海馬(hippocampus)は、新しい神経細胞(neuron)を生産(neurogenesis)する役割を果たし、最も神経発生が活発に起きる領域である。海馬の次に、神経細胞の生産と神経の発生が活発な部位は、嗅覚に関する領域であって、新しいにおいをかぐと、脳は、においを鑑別する新しい脳細胞を作り出す。
【0004】
しかし、脳細胞を含む全ての神経繊維素は、長期間生存することはなく、時間が経つことにつれ、消滅する。細胞の消滅は、老化又は退化を意味するので、消滅よりは、細胞の生産及び神経発達が活発でなければならない。そこで、神経繊維素、特に、脳細胞を活発にするためには、神経発生の速度、そして、神経細胞の生存期間に影響する要因を見出すのが非常に重要である。
【0005】
脳細胞の生産、神経発生、神経発生の速度、及び生存期間などを活発にすることを活性化という。既存には、脳を活性化するための方法として、運動や食べ物、刺激剤、ゲーム、音楽、冥想などが活用されていた。しかし、最近、神経科学者により前記要因が発見され、発見された要因を適用して脳を活性化して、脳機能を向上させる方法が開発されている。
【0006】
一方、脳機能を検査又は診断する場合は、コンピュータ断層撮影(Computer Tomography、CT)、磁気共鳴映像(Magnetic Resonace Imaging、MRI)、陽電子放出断層撮影(Proton Emission Tomography、PET)、脳電図(electroencephalograph、EEG)、脳磁図(magnetoencephalography、MEG)、機能的磁気共鳴映像(Fuctional Magnetic Resonace Imaging、FMRI)など、様々な方式を利用している。
【先行技術文献】
【特許文献】
【0007】
【文献】大韓民国特許登録番号第１０－１７５４２９１号公報(2017.07.06.公告)
【文献】大韓民国特許公開番号第１０－２０１６－００５８８１２号公報(2016.05.25.公開)
【文献】大韓民国特許登録番号１０－１７６８３９３号公報(2017.08.17.公告)
【文献】大韓民国特許登録番号１０－１２９５１８７号公報(2013.08.09.公告)
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前記のような従来の問題点を解消するために、人工知能に基づく脳情報提供方法を提案する。
【0009】
具体的に、本発明は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックすることができる人工知能に基づく脳情報提供方法を提供することである。
【0010】
また、本発明は、使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出する脳信号取得部、検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する脳信号処理部、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する脳信号分析部を含む脳信号測定部と、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断する診断部とを含むシステム及び方法を提案することである。
【0011】
更に、本発明は、脳信号測定部の信号収集動作のために、使用者の脳を刺激するための脳信号刺激部を含むシステム及び方法を提供することである。
【0012】
また、本発明は、使用者の聴覚情報を収集する聴覚情報収集部、使用者の足取り情報を収集する足取り情報収集部、使用者のストレス情報を収集するストレス情報収集部、使用者の心電図情報を収集する心電図情報収集部、使用者の睡眠情報を収集する睡眠情報収集部、使用者の集中情報を収集する集中情報収集部、使用者のアイトラッキング(Eye tracking)を基に、使用者の顔ランドマークマスキングデータを収集し、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部などを更に活用して、使用者の脳状態をより精密に判断するシステム及び方法を提供することである。
【0013】
更に、本発明は、使用者に関する医療画像を収集する画像収集部を更に用いて、脳活性化領域、使用者に関する身体情報、及び使用者に関する医療画像を共に用いて、使用者の脳状態をより精密に判断する人工知能に基づく脳情報提供装置及び方法を提供することである。
【0014】
また、本発明は、使用者の認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む脳疾患を判断する診断部と、診断部が判断した前記使用者の脳状態に対応して、脳状態改善のための情報を提供する管理部とを含むシステム及び方法を提案することである。
【0015】
更に、本発明によると、所定の基準を適用して、使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、使用者の脳状態改善のために、使用者の脳を刺激するための脳信号刺激部を更に活用するシステム及び方法を提供することである。
【0016】
一方、本発明で達成しようとする技術的課題は、以上で言及した技術的課題に限定されず、言及していない更に他の技術的課題は、下記の記載から、本発明が属する技術分野における通常の知識を有する者にとって、明確に理解される。
【課題を解決するための手段】
【0017】
前記技術的課題を達成するための本発明の一様態である人工知能に基づく脳情報提供装置及び方法は、脳信号測定部の脳信号取得部が、使用者の脳の大脳皮質に照射されて前記脳の大脳皮質を透過した近赤外線を検出する第１のステップと、前記脳信号測定部の脳信号処理部が、前記検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する第２のステップと、前記脳信号測定部の脳信号分析部が、前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する第３のステップと、診断部が一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断する第４のステップとを含み、前記第１のステップの脳信号取得部の信号収集動作は、前記使用者が動く状態で行われる。
【0018】
前記第２のステップでは、前記検出された光を基に、前記使用者の脳血流内の酸化ヘモグロビン濃度(Oxy Hb)と還元ヘモグロビン濃度(Deoxy Hb)を抽出することで、前記ヘモグロビン酸素化程度を判断する。
【0019】
前記少なくとも１つの脳活性化領域では、前記脳血流内の酸化ヘモグロビンによって輸送された酸素が消費することで、酸化ヘモグロビン濃度(Oxy Hb)が減少し、前記酸化ヘモグロビン濃度(Oxy Hb)の減少に対応して、前記還元ヘモグロビン濃度(Deoxy Hb)が増加する。
【0020】
前記酸化ヘモグロビン濃度(Oxy Hb)と前記還元ヘモグロビン濃度(Deoxy Hb)は、可視光領域と近赤外光領域で変化する光特性を有し、前記第１のステップにおいて、前記脳信号測定部は、前記近赤外線照射による近赤外分光法により、前記信号を収集する。
【0021】
前記第３のステップにおいて、前記脳信号分析部は、前記使用者の脳領域を複数に分割し、前記複数に分割された脳領域のそれぞれが、一定時間単位で前記脳活性化領域に変化しているか、又は前記脳活性化領域から非活性化領域に変化しているか否かを判断する。
【0022】
前記第４のステップにおいて、前記診断部は、前記一定時間単位を基準に、前記複数の分割された脳領域のそれぞれの脳活性化変化を用いて、前記使用者の脳状態を判断する。
【0023】
前記第３のステップと前記第４のステップの間には、更に、前記脳信号測定部のディスプレイ部が、前記複数の分割された脳領域のそれぞれの脳活性化変化を、時間によって表示するステップを含む。
【0024】
前記第１のステップにおいて、前記脳信号測定部は、前記使用者のヘッドを全て覆うフルカバー形状、又は、前記使用者ヘッドの前面部に密着される前面部形状である。
【0025】
前記第１のステップの前に、更に、前記脳信号測定部の信号収集動作のために、脳信号刺激部が前記使用者の脳を刺激する状況を生成する信号を出力する第０.５のステップを含む。
【0026】
前記第０．５のステップは、前記脳信号刺激部の脳活性化装置が、一定空間内で予めターゲティングされた脳領域の活動を集中的に強化し、前記脳領域の機能を活性化するように、多次元的な環境的刺激を与えるステップ(ａ)と、前記脳信号刺激部の管理サーバが、前記空間内で前記ターゲティングされた脳領域に多次元的な環境的刺激を与えるように、前記脳活性化装置の駆動を制御するステップ(ｂ)とを含む。
【0027】
前記空間は、複数の空間に区画され、前記ステップ(ａ)は、メディア部が前記複数の空間のそれぞれで演出しようとするコンセプトに対応するメディアアートを備えるステップと、音響部が音響を出力するステップと、照明部が光を照射又は照明するステップと、香り伝達部が香りを前記使用者に伝達するステップとを含む。
【0028】
前記ステップ(ｂ)において、管理サーバは、前記複数の空間のそれぞれのコンセプトに対応する複数のメディア情報と音響情報、前記脳活性化装置の駆動を制御するためのプログラムが格納されるデータベースを含み、前記データベースに格納された各種の情報とプログラムから、各空間のコンセプトに対応する複数のメディア情報、音響ファイルとプログラムから１つ以上を選択し、選択された情報とプログラムによって変更するように、前記脳活性化装置の駆動を制御することができる。
【0029】
前記メディア部は、各空間のコンセプトに対応するメディアアートを具現する複数のメディアモジュールを含み、前記各メディアモジュールは、写真や動画を含むメディアアートを投射するプロジェクタやディスプレイパネルを含み、前記音響部は、各空間のコンセプトに対応する音響を出力する複数の音響モジュールを含み、各音響モジュールは、音楽や自然の白色騒音を含む音響を出力するスピーカとアンプを含む。
【0030】
前記照明部は、各空間のコンセプトに対応する光を照射又は照明する複数の照明モジュールを含み、各照明モジュールは、レーザを照射するレーザ発生器、光を照射するＬＥＤ、ネオン照明から１つ又は２つ以上を組み合わせて構成され、前記香り伝達部は、各空間で配置された自然物の香りを使用者に伝達する複数の伝達モジュールを含み、各伝達モジュールは、各空間に配置された自然物で発生する香り、又は自然物の香りを模倣した香りを各空間内部の使用者に伝達するように空気を送風する送風機を含む。
【0031】
前記ステップ(ｂ)以後には、管理者の操作に基づいて、前記脳活性化装置の駆動を制御する管理者端末が、各空間に設置される各モジュールに対して、前記管理サーバのデータベースに格納された複数の情報ファイルとプログラムから１つ以上を選択し、選択された情報ファイルとプログラムによって、メディア、音響、照明などを、選択された周期的又は不規則に変更するように制御するステップ(ｃ)を更に含む。
【0032】
また、前記ステップ(ｂ)以後には、前記管理サーバと通信可能であり、前記使用者の操作命令を入力する使用者端末が、前記使用者から、年齢、性別、趣向、心理状態を含む使用者情報を入力し、入力された使用者情報を前記管理サーバへ伝達するステップ(ｃ)と、管理サーバが受信された使用者情報によって、使用者の年齢、性別、趣向、心理状態を判断し、判断された結果に基づいて、個人に合うコンセプトに対応するメディア、音響、照明を提供するように制御するステップ(ｄ)を更に含む。
【0033】
前記第３のステップと前記第４のステップの間には、更に、使用者データ収集部が、前記使用者に関する身体情報を収集する第３．５のステップを含む。
【0034】
前記第３．５のステップにおいて、前記使用者データ収集部の聴覚情報収集部は、前記使用者の聴覚情報を収集し、前記第４のステップにおいて、前記診断部は、前記収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断する。
【0035】
前記使用者の聴力損傷は、難聴によることであり、前記診断部は、前記使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断する。
【0036】
また、前記使用者の聴力損傷は、耳鳴りによることであり、前記診断部は、前記使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断する。
【0037】
前記第１のステップにおいて、前記脳信号測定部の信号収集動作は、前記使用者の聴力損傷が発生した状態で、前記使用者が動く間、行える。
【0038】
前記第３．５のステップにおいて、前記使用者データ収集部は、前記使用者の足取り情報を収集する足取り情報収集部、使用者のストレス情報を収集するストレス情報収集部、使用者の心電図情報を収集する心電図情報収集部、使用者の睡眠情報を収集する睡眠情報収集部、前記使用者の集中情報を収集する集中情報収集部のうち、少なくとも１つを含み、前記第４のステップにおいて、前記診断部は、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化の少なくとも１つと、前記少なくとも１つの脳活性化領域を共に用いて、前記使用者の脳状態を判断することができる。
【0039】
前記脳信号測定部の信号収集動作は、前記使用者の足取りが変化する状態、前記使用者のストレスが変化する状態、前記使用者の心電図が変化する状態、前記使用者の睡眠条件が変化する状態、及び前記使用者の集中力が変化する状態のうち、少なくとも１つが適用された状況で、前記使用者が動く間、行える。
【0040】
前記第３．５のステップにおいて、前記使用者データ収集部は、更に、前記使用者のアイトラッキングを基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部を含み、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することができる。
【0041】
前記第３．５のステップにおいて、前記使用者データ収集部は、更に、前記使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部を含み、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することができる。
【0042】
更に、前記第３.５のステップと前記第４のステップの間には、画像収集部が、前記使用者に関する医療画像を収集する第３.７のステップを含み、前記第４のステップにおいて、前記診断部は、前記少なくとも１つの脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断することができる。
【0043】
前記第３.７のステップの前記画像収集部は、前記使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部と、前記使用者に関するＣＴ映像を収集するＣＴ画像取得部と、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部とを含む。
【0044】
前記第４のステップにおいて、前記診断部は、前記使用者の脳疾患を判断し、前記脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0045】
更に、前記第４のステップ以後には、管理部が、前記診断部が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する第５のステップを含む。
【0046】
また、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害のうち、少なくとも１つに該当すると予測される場合、前記第５のステップは、更に、前記管理部の制御によって、前記使用者の脳状態改善のために、脳信号刺激部が、前記使用者の脳を刺激する状況を生成する信号を出力するステップを含む。
【発明の効果】
【0047】
上述したように、本発明による人工知能に基づく脳情報提供装置及び方法は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックすることができる。
【0048】
また、本発明は、使用者の脳に照射されて前記脳の大脳皮質を透過した近赤外線の光を検出する脳信号取得部、検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する脳信号処理部、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する脳信号分析部を含む脳信号測定部と、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断する診断部とを含むシステム及び方法を提供することができる。
【0049】
更に、本発明は、脳信号測定部の信号収集動作のために、使用者の脳を刺激する状況を生成する信号を出力する脳信号刺激部を含むシステム及び方法を提供することができる。
【0050】
また、本発明は、使用者の聴覚情報を収集する聴覚情報収集部、使用者の足取り情報を収集する足取り情報収集部、使用者のストレス情報を収集するストレス情報収集部、使用者の心電図情報を収集する心電図情報収集部、使用者の睡眠情報を収集する睡眠情報収集部、使用者の集中情報を収集する集中情報収集部、使用者のアイトラッキングを基に、使用者の顔ランドマークマスキングデータ収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部などを更に活用して、使用者の脳状態をより精密に判断するシステム及び方法を提供することができる。
【0051】
また、本発明は、使用者に関する医療画像を収集する画像収集部を更に用いて、脳活性化領域、使用者に関する身体情報、及び使用者に関する医療画像を共に用いて、使用者の脳状態をより精密に判断する人工知能に基づく脳情報提供装置及び制御方法を提供することができる。
【0052】
また、本発明は、使用者の認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む脳疾患を判断する診断部と、診断部が判断した前記使用者の脳状態に対応して、脳状態改善のための情報を提供する管理部とを含むシステム及び方法を提供することができる。
【0053】
また、本発明によると、所定の基準を適用して、使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、使用者の脳状態改善のために、使用者の脳を刺激するための状況を生成する信号を出力する脳信号刺激部を更に活用するシステム及び方法を提供することができる。
【0054】
本発明は、退行性脳疾患メカニズムの研究結果として活用可能であり、脳画像及び認知能力測定実験の設計により、非侵襲診断及び治療モニタリングシステム開発並びに活用が可能であり、脳構造画像及び脳機能映像実験により、脳画像データベース構築基盤の用意及び共有が可能であり、ディープラーニング分析に基づく治療メカニズムの究明により、最適の治療技法の導出及び提案が可能となる。
【0055】
また、本発明は、退行性脳疾患早期診断のプラットホームとして活用可能であり、網膜画像、眼科疾患、及びアイトラッキングなどにより、非侵襲法認知症診断プラットホームの開発によって早期診断に活用することができ、時間と空間の制約なく、リアルタイム診断による生活の質改善が可能であり、他の脳疾患に対する新しい分子標的も導出可能であり、該当疾患の作用機転の研究及び早期診断用への拡張が可能である。
【0056】
また、本発明は、退行性脳疾患光治療・診断統合オーダーメード型医療機器として活用可能であり、退行性脳疾患用治療プラットホームの商用化のための試作品の具現が可能であり、研究結果を基に、業者と協業して、医療機器製品の商用化が可能であり、「認知症国家責任制」の地域認知症センターとの連携を通じて、治療医療機器の活用の極大化を図ることができる。
【0057】
更には、本発明によると、ＡＩ学習用データ構築分野別標準ガイドラインを設け、段階別の品質検証を通じて、高品質のＡＩデータセット確保が可能であり、ＡＩ技術開発に必須的な基盤データを提供し、民間でＡＩ技術発展によって自生的にデータを拡張、開放する好循環生態系を造成することができる。
【0058】
また、本発明によると、退行性脳疾患と難聴治療の関係を究明することで、脳科学分野を善導することができ、脳画像データ分析ディープラーニング技法による先端医療画像分析分野の競争力を確保することができる。
【0059】
また、本発明によると、非侵襲タイプの効果的な退行性脳疾患早期診断方法の新規で且つ独創的な技術確保が可能であり、脳画像及び認知能力実験を基にした非侵襲脳疾患診断及び治療経過モニタリングシステム開発が可能である。
【0060】
また、本発明によると、認知症疾病に関連する死亡率減少、治療率増加、治療費用減少の効果により、関連する社会問題の解決に寄与し、年寄りの社会参加活動の増加による生産性向上に寄与することができる。
【0061】
また、本発明によると、少子化時代に幼児及び児童の雷電症、脳卒中、脳腫瘍、発達障害などの脳疾患増加で、脳疾患を有しているか、脳疾患症状が疑われる場合、予防及び診断を通じて、脳健康状態を確認することができる。
【0062】
また、本発明によると、脳信号情報を測定することに当たり、ウェアラブルのタイプ及び児童親和的なデザイン製品が適用されることで、使用対象の経験値が上昇し、睡眠及び麻酔剤を使用しないため、元気な脳発達を助けることができる。
【0063】
また、本発明によると、非対面学習及び感情労働分野支援のために、マルチモーダル感性データネットワーク構築と、Ｎ次元の感性マッピング空間を活用した人間中心の人工知能サービスである感性交感ＡＩサービスを提供することができる。
【0064】
具体的に、本発明によると、使用者の社会的感性を認識し、感性データネットワーク構築及び個人感性ＡＩサービスを提供し、これを非対面学習及び産業現場支援のために活用することができる。
【0065】
一方、本発明から得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、以下の記載から、本発明が属する技術分野における通常の知識を有する者に、明確に理解される。
【図面の簡単な説明】
【0066】
【発明を実施するための形態】
【0067】
退行性脳疾患
２０１９年を基準に、大韓民国の高齢人口(６５歳以上)の割合は、全体人口の１３.２％であるが、高齢人口の急速な増加で２０２５年を基点に、その割合が２０％に達する初高齢化社会に進入すると予想される。
２０１９年を基準に、大韓民国の高齢人口(６５歳以上)の割合は、全体人口の１３.２％であるが、高齢人口の急速な増加で２０２５年を基点に、その割合が２０％に達する初高齢化社会に進入すると予想される。
【0068】
今後４５年間の幼少年及び生産可能人口の比重はそれぞれ、３.７％、２３.３％ずつ減少すると予測され、２０６０年には、高齢人口の割合が、４０.１％を占めると予想される。
【0069】
今後の老人扶養費は、持続的に上昇して、２０５０年には、米国の２倍水準に達し、２０６０年には、日本と共に、世界で一番高い国になると予想される。
【0070】
超高齢化社会で予見される認知症人口の急激な増加傾向が現れるが、認知症の有病率は、年齢であるほど増加する傾向を見せ、６０歳からは、有病率が４～５年毎に二倍ずつ増加して、８０歳人口の１/３以上が認知症症状を見せている。
【0071】
そこで、認知症は、今後、超高齢化社会に入る現代で克服すべき重要な当面課題の１つであり、世界認知症患者の数は、スペイン人口よりも多い４千６百人であって、２０年毎に２倍ずつ増加して、２０５０年には、１億３千万人に急増すると予想される。
【0072】
東アジアの認知症の人口数は、２０５０年まで１９３％増加すると予想され、国内認知症患者の数は、２０５０年に２７１万人に到達すると推定される。
【0073】
そこで、国家認知症管理費用の上昇及び、経済、社会的負担が発生しており、認知症患者数の急増は、国家認知症管理費用の上昇を引き起こし、２０１９年基準、年間約１兆ウォン(ＧＤＰの約０.７％)の国家認知症管理費用が発生しており、今後１０年毎に２倍ずつ増加して、２０５０年には、１３０兆ウォン(ＧＤＰの約２.０％)を上回ると推定される。
【0074】
このような認知症誘発による経済的費用は、心臓病や癌よりもそれぞれ、２倍、３倍以上であり、認知症による全世界的な社会・経済的費用は、２０１５年基準８１８億ドルがかかっており、２０３０年２兆ドルに増加すると見込まれる。
【0075】
認知症による国内の社会・経済的損失が年間２兆ウォンに迫っており、最近４年間で、２倍以上急増している(出処: 健康保険政策研究員照射報告書)。
【0076】
世界的な人口高齢化による退行性脳疾患の発病率増加と、これによる社会的問題が増大しているが、認知症など退行性脳疾患治療剤及び予防のための研究が活発であるが、依然として足踏み状態であり、現在の認知症診断技術は、大学病院及び専門病院で高価の精密検査を通じて行われて、低い心理的、地理的、経済的な接近性を見せる問題がある。
【0077】
現在、認知症患者の検診率が４５％に過ぎず(４大癌有病者９０％以上)、認知症患者の非侵襲認知症診断法は、様々な分野で提案されているが、リアルタイムモニタリングを通じて情報を総合して診断する研究は、未だない。
また、認知症治療剤の開発失敗率は、約９.６％であり、多くの期待を集めたアミロイドβ標的治療剤であるソラネズマブは、最近、臨床３相試験で失敗を発表するなど、足踏み状態である。
また、認知症治療剤の開発失敗率は、約９.６％であり、多くの期待を集めたアミロイドβ標的治療剤であるソラネズマブは、最近、臨床３相試験で失敗を発表するなど、足踏み状態である。
【0078】
認知症治療剤の開発成功率が１％に及ばない理由は、認知症の発病機転を未だ明確に究明していないからである。
【0079】
従来診断技術の問題点
現在の認知症診断は、脳イメージング、脳波検査、血液検査、脳脊髄液検査、神経心理テストなど、多くの検査を基に、総合的な判断に基づいて行われる。
現在の認知症診断は、脳イメージング、脳波検査、血液検査、脳脊髄液検査、神経心理テストなど、多くの検査を基に、総合的な判断に基づいて行われる。
【0080】
費用に関して、脳イメージングは、脳萎縮などの形態を直接見ることができるので広く利用され、磁気共鳴撮影(MRI)、単一光子放出撮影(SPECT)、量子放出断層撮影(PET)など、様々なイメージング技術を用い、このうち、ＰＥＴイメージングは、早期診断に役に立っている。
【0081】
神経心理検査は、記憶力、注意集中力、言語能力、視空間感覚、計算能力などを検査して、全般的な認知機能の低下をみる検査で、早期診断だけでなく、病気の進行過程モニタリング又は治療薬物の効果を判断する用途として用いられる。
【0082】
しかし、この検査の問題は、検査の正確度が認知症進行率と比例しており、明らかな症状がない非常に初期段階では、誤診率が大きいという問題点がある。
【0083】
また、脳脊髄液検査の場合、直接的に脳の蓄積したバイオマーカーを検出することができるというメリットがあるが、脳脊髄液の採集過程が苦しく且つ不便であるという不都合がある。
【0084】
児童の脳発達に関する従来技術の問題点
２０１９年現在、知的障害人口は、２１.３万人、自閉性障害は、２.９万人、ＡＤＨＤ人口は、２０６万人と現れている。
２０１９年現在、知的障害人口は、２１.３万人、自閉性障害は、２.９万人、ＡＤＨＤ人口は、２０６万人と現れている。
【0085】
知的障害と自閉性障害の場合、治療による効果が遅い一方、ＡＤＨＤ人口は、小児時期に適切な治療を受けることになると、成人期に持続しないため、初期に診断と治療を要する。
【0086】
既存のＭＲＩ、ｆＭＲＩ、ＣＴなどで児童の脳状態を測定するためには、児童の発達特性と異なり、動きが少なくなければならず、幼児の場合は、睡眠薬及び麻酔剤の投与が必須である。
【0087】
この時、２歳未満の幼児が複数回麻酔剤に露出した時、永久的学習障害発生の危険性が２倍以上増加する。
【0088】
また、脳発達など、各種の新薬を作るためには、多くの時間投資をすべきであるだけでなく、リアルタイムで一定期間のバイオデータ収集が必要である。
【0089】
脳発達の場合、多者間相互作用を通じて、脳の発達を確認する方法もあるが、既存の製品は、多者間脳状態測定のためのハイパースキャニングが難しくて、脳発達測定方法の多様性が求められ、これを解決するための製品開発及び移動型脳状態測定機器の開発要求が拡大している実情である。
【0090】
本発明の目的
そこで、本明細書では、人口高齢化により急増する退行性脳疾患疾病及び希少疾患の早期診断、及び治癒機能の技術開発のためのディープラーニング学習用データセット構築を通じて、脳神経疾患の社会問題の解決に寄与しようとする。
そこで、本明細書では、人口高齢化により急増する退行性脳疾患疾病及び希少疾患の早期診断、及び治癒機能の技術開発のためのディープラーニング学習用データセット構築を通じて、脳神経疾患の社会問題の解決に寄与しようとする。
【0091】
すなわち、前記問題点を解消するために、Active MRI認知症脳活動評価、及び早期診断ディープラーニング技術が必要である。
【0092】
臨床的な症状が観察される以前から、脳の構造及び機能の減退が発生するので、脳機能測定による予測や早期診断が、認知症発病や予後に重要である。
【0093】
ＡＩが自ら認識、理解するためには、ＡＩ ＳＷが事物間関連性を理解することができる形態で加工された大規模ＡＩ学習用データ確保が重要であり、機械学習に基づくＡＩ性能は、多様な環境で収集された膨大なデータの活用に左右され、今後は、データとＡＩ間のシナジーが重要である。
【0094】
他の本発明の目的として、本明細書では、児童の「リアルタイム脳測定のための多者間無線脳信号測定機器」及び「脳発達検査サービス」を提供することである。
【0095】
本発明の技術を通じて、児童の脳発達状態を確認し、健康に成長できるように、１) ＡＤＨＤなどの脳疾患を予防及び診断し、２) 日常生活及び学習での集中力を育てることにおいて、経験値を提供することである。
【0096】
また、本明細書では、脳状態測定の結果を一定期間の間、収集できるデバイスを提案し、収集されたデータを基に、脳疾患など、疾病の危険度を予測し、日常生活及び学習で適用可能な集中力などの脳発達プログラムを提供するソリューションを提供することである。
【0097】
更に、他の本発明の目的として、本明細書では、非対面学習及び感情労働分野支援のために、マルチモーダル感性データネットワーク構築とＮ次元の感性マッピング空間を活用した感性認知/交感用人工知能(Human-centered AI)サービスを提供することができる。
【0098】
感性認識技術では、ＩＣＴを活用したイベントストリーム(使用者行動)、及び非接触生体反応による社会感性認知と感性交感の知能水準を定義し、Ｎ次元の感性マッピング空間で基本感性と社会感性を認識することができる技術が適用される。
【0099】
また、非接触生体反応では、日常生活で使用するセンサカメラ、ＡＩスピーカーなどを活用して、五感に基づく生体信号を測定し活用することができる。
【0100】
また、使用者の行動イベントと非接触生体反応をユニモーダル形態のデータネットワークにおいて、社会感性とマッピングが可能なマルチモーダルデータネットワークに段階的に拡張し、人工知能を通じて、成長と進化が可能なデータネットワークを提案及び構築することができる。
【0101】
また、感性ＡＩサービスとして、マルチモーダル感性データネットワークを活用して、学習者と感情労働者の予測不可な行為や感性を認知的水準で直観的水準に克服する新しい次元の人間中心的な人工知能サービスを提供することである。
【0102】
このような本発明の目的を達成するために、本発明は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックする、人工知能に基づく脳情報提供装置を提供することである。
【0103】
また、本発明は、使用者の脳に照射されて前記脳の大脳皮質を透過した近赤外線の光を検出する脳信号取得部、検出された近赤外線光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する脳信号処理部、及び判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する脳信号分析部を含む脳信号測定部と、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断する診断部とを含むシステムを提案することである。
【0104】
また、本発明は、脳信号測定部の信号収集動作のために、使用者の脳を刺激するための状況を生成する信号を出力する脳信号刺激部を含むシステムを提供することである。
【0105】
また、本発明は、使用者の聴覚情報を収集する聴覚情報収集部、使用者の足取り情報を収集する足取り情報収集部、使用者のストレス情報を収集するストレス情報収集部、使用者の心電図情報を収集する心電図情報収集部、使用者の睡眠情報を収集する睡眠情報収集部、使用者の集中情報を収集する集中情報収集部、使用者のアイトラッキングを基に、使用者の顔ランドマークマスキングデータ収集し、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部などを更に活用して、使用者の脳状態をより精密に判断するシステムを提供することである。
【0106】
また、本発明は、使用者に関する医療画像を収集する画像収集部を更に用いて、脳活性化領域、使用者に関する身体情報、及び使用者に関する医療画像を共に用いて、使用者の脳状態をより精密に判断する、人工知能に基づく脳情報提供装置を提供することである。
【0107】
また、本発明は、使用者の認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む脳疾患を判断する診断部と、診断部が判断した前記使用者の脳状態に対応して、脳状態改善のための情報を提供する管理部とを含むシステムを提案することである。
【0108】
また、本発明によると、所定の基準を適用して、使用者の脳状態を基に、一定期間以内、前記使用者が認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害のうち少なくとも１つに該当すると予測される場合、使用者の脳状態改善のために、使用者の脳を刺激するための状況を生成する信号を出力する脳信号刺激部を更に活用するシステムを提供することである。
【0109】
以下、本発明の好適な実施例による人工知能に基づく脳情報提供装置及び方法を、添付の図面を参照して詳細に説明する。
【0110】
以下、図面を参照して、本発明の好適な一実施例について説明する。また、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を限定せず、本実施形態で説明される構成全体が、本発明の解決手段として必須的であるとは言えない。
【0111】
人工知能に基づく脳情報提供装置
図１は、本発明において、人工知能に基づく脳情報提供装置のブロック構成図である。
図１は、本発明において、人工知能に基づく脳情報提供装置のブロック構成図である。
【0112】
図１に示しているように、本発明による人工知能に基づく脳情報提供装置１は、脳信号測定部１０と、脳信号刺激部２０と、使用者データ収集部３０と、画像取得部４０と、診断部５０と、管理部６０とを含む。
【0113】
まず、脳信号測定部１０は、使用者の脳に関する信号を収集する。
【0114】
具体的に、本発明による脳信号測定部１０は、使用者の脳に照射されて前記脳の大脳皮質を透過した近赤外線光を検出し、検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断し、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する機能を提供する。
【0115】
本発明の主な特徴として、脳信号測定部１０の信号収集動作は、前記使用者が動く状態で行える。
【0116】
ついで、脳信号刺激部２０は、脳信号測定部１０の信号収集動作のために、前記使用者の脳を刺激する。
【0117】
更には、脳信号刺激部２０は、管理部６０の制御により、使用者の脳状態改善のために、使用者の脳を刺激する機能を提供することもできる。
【0118】
また、使用者データ収集部３０は、使用者に関する身体情報を収集する。
【0119】
使用者に関する身体情報は、使用者の聴覚情報、足取り情報、ストレス情報、心電図情報、睡眠情報、集中情報、感情変化情報などを含む。
【0120】
また、画像取得部４０は、使用者に関する医療画像を収集する。
【0121】
本発明による画像取得部４０は、使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部、前記使用者に関するＣＴ画像を収集するＣＴ画像取得部、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部などが利用される。
【0122】
また、診断部５０は、脳信号測定部１０が収集した信号を基に、前記使用者の脳状態を判断する機能を提供する。
【0123】
診断部５０は、使用者の脳疾患を判断し、対象となる脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0124】
最後に、管理部６０は、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する機能を提供する。
【0125】
例えば、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害のうち、少なくとも１つに該当すると予測される場合、管理部６０の制御によって、前記使用者の脳状態改善のために、前記使用者の脳を刺激するための脳信号刺激部２０の動作がトリガーとなり得る。
【0126】
以下では、本発明のそれぞれの構成要素の具体的な構造及び機能について、図面を参照して説明する。
【0127】
脳信号測定部
図２は、本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号測定部のブロック構成図である。
図２は、本発明において、人工知能に基づく脳情報提供装置の構成要素である脳信号測定部のブロック構成図である。
【0128】
図２に示しているように、脳信号測定部１０は、脳信号取得部１１と、脳信号処理部１２と、脳信号分析部１３と、通信部１４と、ディスプレイ部１５とを含む。
【0129】
まず、脳信号取得部１１は、使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出する。
【0130】
ここで、脳信号取得部１１の信号収集動作は、前記使用者が動く状態で行われる特徴を有する。
【0131】
ついで、脳信号処理部１２は、前記検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する。
【0132】
脳信号処理部１２は、検出された光を基に、前記使用者の脳血流内の酸化ヘモグロビン濃度(Oxy Hb)と還元ヘモグロビン濃度(Deoxy Hb)を抽出することで、前記ヘモグロビン酸素化程度を判断する。
【0133】
また、脳信号分析部１３は、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する機能を提供する。
【0134】
ここで、少なくとも１つの脳活性化領域では、脳血流内の酸化ヘモグロビンにより輸送された酸素が消費されることで、酸化ヘモグロビン濃度(Oxy Hb)が減少し、前記酸化ヘモグロビン濃度(Oxy Hb)の減少に対応して、前記還元ヘモグロビン濃度(Deoxy Hb)が増加するという特性を有する。
【0135】
前記酸化ヘモグロビン濃度(Oxy Hb)と前記還元ヘモグロビン濃度(Deoxy Hb)は、可視光領域と近赤外光領域で変化する光特性を有し、結果として、本発明による脳信号測定部１０は、前記近赤外線照射による近赤外分光法(fNIRS: functional Near-Infrared Spectroscopy)により、前記信号を収集することになる。
【0136】
一方、脳信号分析部１３は、使用者の脳領域を複数に分割し、前記複数に分割された脳領域のそれぞれが、一定時間単位で前記脳活性化領域に変化しているか、又は、前記脳活性化領域から非活性化領域に変化しているか否かを判断することができる。
【0137】
これを基に、診断部５０は、一定時間単位を基準に、複数の分割された脳領域のそれぞれの脳活性化変化を用いて、前記使用者の脳状態を判断することができる。
【0138】
また、通信部１４は、脳信号測定部１０と他の構成要素(脳信号刺激部２０、使用者データ収集部３０、画像取得部４０、診断部５０、管理部６０など)と間のネットワークを構築して、データを通信できるように支援する。
【0139】
ここで、前記無線通信技術としては、ＷＬＡＮ(Wireless LAN)(Wi-Fi)、Ｗｉｂｒｏ(Wireless broadband)、Ｗｉｍａｘ(World Interoperability for Microwave Access)、ＨＳＤＰＡ(High Speed Downlink Packet Access)などが利用される。
【0140】
また、近距離通信の技術としては、ブルートゥース（登録商標）、ＲＦＩＤ、赤外線通信(IrDA)、ＵＷＢ(Ultra-Wideband)、ＺｉｇＢｅｅなどが利用される。
【0141】
また、ディスプレイ部１５は、前記複数の分割された脳領域のそれぞれの脳活性化変化を、時間によって表示する機能を提供する。
【0142】
ディスプレイ部１５は、液晶ディスプレイ(LCD)、薄膜トランジスタ液晶ディスプレイ(TFT LCD)、有機発光ダイオード(OLED)、フレキシブルディスプレイ、３次元ディスプレイのうち、少なくとも１つを含む。
【0143】
図３は、本発明において、脳信号測定部の動作を説明するための図である。
【0144】
図３に示しているように、使用者が動く状態でリアルタイムで、多者間脳状態及び発達状況を測定することになる。すなわち、特別な制限なく、リアルタイム及び無線で脳信号を測定し、分析するように、多重使用者の脳信号を同時に測定可能な脳信号測定機器が提案される。
【0145】
一方、図４ａ及び図ｂは、本発明において、脳信号測定部１０の形状の一例を示している。
【0146】
本発明による脳信号測定部１０は、図４ａの(ａ)に示しているように、使用者のヘッドを全て覆うフルカバー(full cover)形状、又は、図４ａの(ｂ)に示しているように、使用者ヘッドの前面部に密着される前面部形状となる。
【0147】
また、児童用として活用されることを考えて、図４ｂの(ａ)及び(ｂ)に示しているように、本発明による脳信号測定部１０は、児童オーダーメード型デザインを適用し、使用者の親和的環境を構成し、経験値を提供するために、ＵＩ/ＵＸオーダーメード型デザインが考えられる。
【0148】
本発明では、低電力ブルートゥースプロトコル(BLE)を用いた長時間使用が可能なウェアラブル脳信号測定技術が適用され、フレキシブル基板を用いて、乳児の頭状に合うように設計された脳信号測定機器の超軽量化が可能である。
【0149】
また、脳活性化分析による集中力、脳発達を生理学的側面で測定可能な脳信号分析アルゴリズム、チャンネル状態が変わっても、データの信頼性を保証することができるデータ伝送アルゴリズム、及び脳活性化領域状態認知アルゴリズムなどが活用される。
【0150】
一方、図５ａ及び５図ｂは、本発明に適用される機能的近赤外線分光分析法を説明するための図である。
【0151】
図５ａに示しているように、本発明に適用される機能的近赤外線分光分析法(functional Near-infrared spectroscopy、fNIRS)技術において、fNIRSとは、約６５０～１０００ｎｍの波長を有する近赤外線領域の光を脳に照射し、脳組織を透過した光を検出することで、非侵襲的に脳の血流変化によるヘモグロビンの濃度の変化を、手術などの危険なく計測可能な画像技術である。
【0152】
本発明に適用されるｆＮＩＲＳ技術は、患者が固定された状況ではなく、動くことができるLive状況で、リアルタイムで脳測定を行うための機能的近赤外線分光分析法を使用する。
【0153】
機能的近赤外線分光分析法は、約６５０～１０００ｎｍの波長を有する近赤外線領域の光を脳に照射し、脳組織を透過した光を検出して、非侵襲的に脳の血流変化によるヘモグロビンの濃度の変化を、手術などの危険なく計測可能な画像技術である。
【0154】
このような機能的近赤外線分光分析法は、既存の評価方式よりも、リアルタイムで結果を見せており、機器購入及び管理コストが低く、測定された結果が社会性を直接的に見せており、信頼度を高めることができる。
【0155】
図５ｂは、現在の脳測定技術と、本発明に適用される機能的近赤外線分光分析法とを比較して示している。
【0156】
一方、図６ａ及び図ｂは、本発明において、脳信号測定部１０の測定動作を説明するシーケンス図であって、人工知能学習用データ構築のためのデータ収集手続を共に説明している。
【0157】
図６ａに示しているように、非識別化されたＭＲＩ脳イメージを収集し(Ｓ１)、活性化されたＭＲＩ脳撮影術映像資料と判読臨床資料を収集し(Ｓ２)、脳画像判読専門医のフィードバックを受けて(Ｓ４)、これを総合し(Ｓ３)、映像前処理(Ｓ５)を通じて、ラベルされた脳撮影画像とエクセルファイルなどで臨床情報を構造化する(Ｓ６)。
【0158】
すなわち、病院で運営している医療データベースから、ＭＲＩ診断のために撮影した非活性化されたＭＲＩ脳を撮影した撮影画像及び臨床情報などを収集し、これにより、画像判読文及び病理判読文を活用して、正確な難聴、耳鳴り、及び認知症の基準を定義することが可能である。
【0159】
また、ＭＲＩ撮影画像の診断結果は、難聴、耳鳴り、正常のＰＳＡＰ結果データとＭＲＩ脳イメージ画像に区分し、難聴、耳鳴り、正常の場合、判読当時、誤診があり得るので、特殊な環境でデータを構築することができる。
【0160】
後述する難聴細部基準として、ＰＳＡＰ検査結果、難聴と確診された患者の脳撮影画像イメージが利用され、耳鳴り細部基準として、ＰＳＡＰ検査結果、耳鳴りと確診された患者の脳撮影画像イメージが利用され、正常細部基準として、ＰＳＡＰ検査結果、正常と確診された患者の脳撮影画像イメージが利用される。
【0161】
また、図６ｂを参照すると、資料収集、測定を含むプロトコル過程の一例が示される。
【0162】
図６ｂに示しているように、バックグラウンドサービスを登録し(Ｓ７)、機関訪問前にアンケート作成を行い(Ｓ８)、脳測定当日、機関を訪問し(Ｓ９)、脳測定前、気持ち、活力などのインタビューを施し(Ｓ１０)、脳測定のためのタスクを選択し(Ｓ１１)、タスクを行い(Ｓ１２)、十分な資料が収集されたか否かを判断(Ｓ１３)し、測定を終了(Ｓ１４)するか、ステップＳ１１を再度行うことになる。
【0163】
また、本発明に適用される映像データは、活性化脳ＭＲＩ画像撮影イメージデータとして定義することができる。
【0164】
更に、映像データ非識別化は、非識別化方法及び、非識別化ｔａｇ構造(RAW data様式)として処理される。
【0165】
また、本発明に適用されるメタデータは、画像情報に対する患者のメタ情報を収集して、難聴、耳鳴り患者に限っては、更なる情報を通じて品質検収に活用することで、信頼性を確保することと定義することができる。
【0166】
一方、図７は、本発明において、脳信号測定部の全体システムの一例を示している。
【0167】
図７の(ａ)は、データ収集装備の一例を示しており、(ｂ)は、機能的近赤外線分光分析装備を使用者が着用した状態の一例を示しており、(ｃ)は、機能的近赤外線分光器機信号の時系列データの一例を示している。
【0168】
図７の(ａ)～(ｃ)に示しているように、脳に照射されて大脳皮質を透過した近赤外線光を検出して処理すると、酸化ヘモグロビンと還元ヘモグロビンの濃度を測定して、脳の活性化領域を手術することなく、安全な方法で確認することができる。
【0169】
また、使用において危険性がほとんどなく、周辺ノイズの影響をほとんど受けないというメリットがある。
【0170】
また、便宜性と携帯性が非常に高く、他の脳測定画像装備に比べて、安いというメリットがある。
【0171】
図８は、本発明において、脳信号測定部が測定した信号の一例を示している。
【0172】
図８には、チャンネル位置別機能的近赤外線分光機器信号の時系列ブロック平均が示されている。
【0173】
図９は、本発明において、脳信号測定部が測定した信号を脳関連情報に視覚化して表示する一例を示している。
【0174】
図９では、チャンネル位置別機能的近赤外線分光機器信号の時系列ブロック平均を頭にマッピングした一例が示されている。
【0175】
本発明では、機械学習への適用のために、アルゴリズム偏向の防止のためのデータ構成及び収集方法が、以下のように利用される。
【0176】
サンプル偏向に関して、収集されたデータがＡＩシステムが行われると予想される環境を代表するか、正確に表していないとき、発生することができる。
【0177】
いずれのアルゴリズムも、全体のデータセットに対いて学習することはできず、全体データセットにおいて、慎重に選択した部分集合のデータセットを学習する。そこで、サンプル偏向を減らすためには、部分集合のデータセットを選択するとき、十分に大きいデータセットだけではなく、全体データセットを代表するサブセットを選択するのが重要である。
【0178】
また、測定偏向に関して、あるものを観察又は測定することに用いられた装置により、システム的に値にムラが生じる場合に発生し、このような種類の偏向は、データを特定方向に歪むという傾向がある。
【0179】
測定偏向がある道具は、モデルが作動する環境をそのまま複製することができず、学習データが実データを歪み、偏向結果をもたらすことになり、測定偏向は、単に、より多くのデータを収集すると避けられることではない。
【0180】
そこで、これを解決するために、データ収集に際して、偏向結果をもたらさない環境を構成して、データを収集することができる。
【0181】
一方、図１０ａ～ｃは、本発明において、脳信号測定部が測定した信号、視覚化された情報、及び処理された情報の一例を示している。
【0182】
図１０ａは、非活性化ＭＲＩ脳イメージ撮影画像を示しており、人間の組織(骨、筋肉、内臓など)によって、水と脂肪の割合が異なることを、ＭＲＩを通じて水素原子を分布測定し、水と脂肪の割合が異なる生体組織の画像生成が可能である。
【0183】
しかし、図１０ａのような情報は、実際に人間が行動するか、活動状況であるときの現状把握が不可であるという不都合がある。
【0184】
これに対して、図１０ｂは、本発明による活性化ＭＲＩ脳イメージ撮影画像の一例を示している。
【0185】
図１０ｂでは、チャンネル位置別機能的近赤外線分光機器信号の時系列ブロック平均を、頭にマッピングしている。
【0186】
非侵襲的な脳機能計測方法として、近赤外分光法(fNIRS: functional Near-Infrared Spectroscopy)は、近赤外光を用いて、脳の血流変化を非侵襲的に計測する方法であり、計測原理は、近赤外光を用いた脳血流のヘモグロビン酸素化程度の測定に基づいている。
【0187】
生体に近赤外光を照射し、組織を透過したｆＮＩＲＳ信号を検出して処理すると、酸化ヘモグロビン濃度(Oxy Hb)と還元ヘモグロビン濃度(Deoxy Hb)を測定することができる。
【0188】
脳の活性化領域は、血液中のOxy Hbにより輸送された酸素を消費し、Oxy Hbは、Deoxy Hbに変わる。この２つのヘモグロビンは、可視光と近赤外光領域で光特性を有し、機能的近赤外分光法で測定したこれらの濃度は、脳活動の尺度として使用可能である。
【0189】
このような本発明による方式は、平常時、走る又は動くことで測定が可能であり、検査後、ＡＩを通じて短い時間内で結果を提供されるというメリットがある。
【0190】
また、薬物を使用することなく、測定が可能であり、周辺音の統制が可能であるというメリットがある。
【0191】
図１０ｃは、本発明において、機能的近赤外線分光器機信号の時系列データ精製結果の一例を示している。
【0192】
図１０ｃでは、好適なモデルを作るために、異常探知対象項目と関連性が高いと判断した変数から、説明力が最も高い変数を選定する。
【0193】
また、各部分集合に対して、adjust R^2を測定して、値が最も大きい部分集合のうち、最も少ない個数の変数から構成された項目を選定することになる。
【0194】
一方、図１１ａ～ｃは、本発明において、人工知能学習用データ運営管理のための著作道具の一例を示している。
【0195】
人工知能学習用データ構築を効率的に行うために、著作道具が必要である。
【0196】
すなわち、イメージラベリングアプリソリューションでサーバに格納されたラベリングプロジェクトの情報とラベリング対象イメージ、ラベルリスト、参照イメージなど、自動にタギング、ラベリングする機能が必要である。
【0197】
人工知能学習用データ運営管理のための著作道具方案として、イメージ追加、格納、及び生成機能が利用される。
【0198】
図１１ａに示しているように、該当自動化ツール著作道具を用いて、検査したいイメージを追加することができ、携帯用ＭＲＩを活用して、脳や骨折部位を追加した後、プラスボタンを押して、追加格納及び生成機能を組み合わせることもできる。
【0199】
また、アノテーション機能を活用した著作道具として、アノテーション機能を活用して、追加に格納及び生成したイメージに対して、タギング作業と特利点及びメモ機能により、追加情報記入作業を行うことができる。
【0200】
【0201】
人工知能学習用データ運営管理のための活用方案として、活性化されたＭＲＩ脳イメージに対して、正常と難聴、耳鳴り判読試験モデルの検証のために、交差検証(cross validation)を行うことができる。
【0202】
また、様々な判読尺度を活用して、性能を評価し、評価尺度として、敏感度、特異度、ＲＯＣ曲線のＡＵＣを測定し、これを基準に、githubを通じて、医療人口知能学習データの判読試験モデルを構築することができる。
【0203】
前述したように、脳信号測定部１０は、使用者の脳に関する信号を収集し、脳信号測定部１０の信号収集動作は、前記使用者が動く状態で行われる。
【0204】
一方、診断部５０は、前記収集された信号を基に、前記使用者の脳状態を判断することになる。
【0205】
具体的に、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断することができる。
【0206】
ここで、診断部５０は、使用者の脳疾患を判断し、脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0207】
さらに、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部６０が更に活用される。
【0208】
例えば、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、管理部６０は、後述する脳信号刺激部２０を制御して、使用者の脳状態改善のために、前記使用者の脳を刺激するための信号が、使用者に提供されるようにすることができる。
【0209】
脳信号刺激部
脳信号刺激部２０は、脳信号測定部１０の信号収集動作のために、前記使用者の脳を刺激する状況を生成する信号を出力する。
脳信号刺激部２０は、脳信号測定部１０の信号収集動作のために、前記使用者の脳を刺激する状況を生成する信号を出力する。
【0210】
さらに、脳信号刺激部２０は、管理部６０の制御によって、使用者の脳状態改善のために、使用者の脳を刺激する状況を生成する信号を出力する機能を提供することもできる。
【0211】
【0212】
脳信号刺激部２０は、脳細胞が疎通するために連結される部分を意味するシナプスを集中的に刺激する状況を生成する信号を展示空間１１０などに出力する。長期記憶で脳領域を活性化するためには、場所(place)、感情(emotion)、ストーリー(story)を通じて、脳領域を刺激しなければならない。
【0213】
そこで、脳信号刺激部２０は、展示、音楽、動きなどの活動が行われる空間に配置された自然物を基にして、多次元的な環境的刺激を通じて、集中的にターゲティングされた脳領域の活動を強化し、脳領域の機能を選択的に活性化させる。米国精神課協会で定義したＤＳＭ－Ｖ(Diagnostic and Statistical Manual of Mental Disorders)の脳領域分類基準によると、脳領域は、主として、注意集中力、視空間能力、記憶力、執行能力、言語能力、計算能力、及び音認知力などに分類することができる。すなわち、本発明は、自然物、特に、植物と音、触感、香、視覚、記憶など、多次元的な環境的刺激を通じて、集中力、共感力、創意力、記憶力、ヒーリングなど、様々な脳領域の活動を集中的に強化して、機能を活性化する。
【0214】
本発明の好適な実施例による脳活性化装置２４は、図１２及び図１３に示しているように、自然物が設置された空間内で予めターゲティングされた脳領域の活動を集中的に強化して、脳領域の機能を活性化するようにシステム化された多次元的な環境的刺激を加える脳活性化装置２４と、前記空間でターゲティングされた脳領域に多次元的な環境的刺激を加えるように、脳活性化装置２４の駆動を制御する管理サーバ２１とを含む。
【0215】
脳活性化装置２４は、図２に示しているように、予めターゲティングされた脳領域の活動を集中的に強化し、脳領域の機能を活性化するために、空間で演出しようとするコンセプトに対応するメディアアートを具現するメディア部３０と、音響を出力する音響部４０と、光を照射又は照明する照明部５０と、自然物の香りを使用者に伝達する香り伝達部６０とを含む。
【0216】
図１４は、本発明において、脳信号刺激部を空間で構築した一例を示している。
【0217】
図１４による実施例における空間、例えば、展示空間１１０は、展示空間１１０を照明する光によって、内面世界である本質的な自然に聞き入り、その中で探した新しい私の内面世界、すなわち自我に集中するための想像のフォレストをメインテーマとし、互いに異なるコンセプトを有する複数の空間を通じたストーリと感覚を刺激するメディアアートを具現する。
【0218】
このような展示空間１１０は、造景設置美術と生花配列、プロジェクションマッピング、ライトアート、インタラクティブコンテンツ、及び彫刻オブジェ(objet)を通じて演出される。
【0219】
例えば、図１４に示しているように、展示空間１１０は、それぞれのコンセプトを有する第１～第４の空間１２０～１５０と、体験空間とフォトトンネルを具現した第５の空間１６０とを含んで、計５個の空間に区画される。
【0220】
第１～第５の空間１２０～１６０は、様々な色を演出する照明、オブジェ、メディアアートを通じて交感神経を刺激し、使用者自分の特別な自我について探索したい使用者の心理的満足度を向上するように具現される。
【0221】
このために、脳活性化装置２４は、強烈なカラーの動きで多彩な彫刻作品とメディアオブジェが配置された空間への没入を誘導し、夢幻的メディアを自然物中に溶かして、使用者との交感を誘導することができる。
【0222】
例えば、第１の空間１２０のコンセプトは、'INTRO-Awaken Your Brain'であり、第２の空間１３０のコンセプトは、'STATE-Turning Back Your Nature'であり、第３の空間１４０のコンセプトは、'Creative-Feel Your Nature'であり、第４の空間１５０のコンセプトは、'Healing-That's Me!'であり、第５の空間１６０のコンセプトは、'Active-Vivid & Rejuvenation'である。
【0223】
すなわち、第１の空間１２０は、該当空間に入り、シナプスを集中的に刺激して脳を活性化させる空間であり、第２の空間１３０は、現在基点で、不慣れの刺激を提供して、脳の状態(state of Brain)を調べる空間であり、第３の空間１４０は、においを通じて脳を刺激して、剪定 (pruning)させる空間であり、第４の空間１５０は、第１の空間１２０から第３の空間１４０までを経て、第３者の立場で自分と向い合う空間であって、脳がヒーリングされる空間であり、第５の空間１６０は、体験を通じて、脳の感覚が活性化される空間である。
【0224】
メディア部３０は、第１～第５の空間１２０～１６０のコンセプトに対応するメディアアートを具現する第１～第５のメディアモジュール３１～３５を含み、音響部４０は、第１～第５の空間１２０～１６０のコンセプトに対応する音響を出力する第１～第５の音響モジュール４１～４５を含む。
【0225】
同様に、照明部５０は、光を照射又は照明する第１～第５の照明モジュール５１～５５を含み、香り伝達部６０は、展示空間１１０内に配置された自然物、すなわち、木と花などの香りを使用者に伝達する第１～第５の伝達モジュール６１～６５を含む。
【0226】
ここで、各メディアモジュール３１～３５は、写真や動画のメディアアートを、各空間や壁面、自然物に投射するプロジェクタやディスプレイパネルなど、様々な方式でディスプレイする装置として設けられる。
【0227】
各音響モジュール４１～４５は、音楽や音響、特に自然の白色騒音を出力するスピーカとアンプなどを含む。
【0228】
各照明モジュール５１～５５は、レーザを照射するレーザ発生器、光を照射するＬＥＤ、ネオン照明から、１つ又は２つ以上を組み合わせて構成される。
【0229】
各伝達モジュール６１～６５は、各空間に配置された自然物で発生する香り又は自然物の香りを模倣した香りを、各空間内部の使用者に効率よく伝達するように空気を送風する送風機を含む。
【0230】
ここで、各モジュールは、区画された各空間別に少なくとも１つ以上設けられる。
【0231】
一方、図１５は、本発明において、脳信号刺激部２０の脳活性化方法を説明するシーケンス図の一例を示している。
【0232】
図１５のステップＳ１０における脳活性化装置２４は、展示空間１１０の区画された各空間、すなわち、第１～第５の空間１２０～１６０のコンセプトに対応するメディアアートと音響、照明、香りを伝達する。
【0233】
使用者が展示空間１１０の第１の空間１２０に進入すると、第１の空間１２０に設けられた第１のメディアモジュール、音響モジュール、照明モジュール、及び伝達モジュール３１～６１はそれぞれ、第１の空間１２０に配置された自然物、すなわち、植物及びオブジェと共に、第１の空間１２０のコンセプトに対応するメディアアートと音響、照明を出力し、香りを使用者に伝達する。
【0234】
これにより、脳活性化装置２４は、使用者の視覚、聴覚、触覚、嗅覚など、多次元感覚を通じて、シナプスを刺激する(Ｓ１２)。
【0235】
ステップＳ１４において、使用者が第２の空間１３０に進入すると、第２の空間１３０に設けられた第２のメディアモジュール、音響モジュール、照明モジュール、及び伝達モジュール３２～６２はそれぞれ、第２の空間１３０に配置された自然物とオブジェと共に、第２の空間１３０のコンセプトに対応するメディアアートと音響、照明を出力し、香りを使用者に伝達する。
【0236】
これにより、脳活性化装置２４は、展示空間１１０と使用者の交感を誘導するニューラルネットワークを具現する。
【0237】
ステップＳ１６において、使用者が第３の空間１４０に進入すると、第３の空間１４０に設けられた第３のメディアモジュール、音響モジュール、照明モジュール、及び伝達モジュール３３～６３はそれぞれ、第３の空間１４０に配置された自然物とオブジェと共に、第３の空間１４０のコンセプトに対応するメディアアートと音響、照明、香りを使用者に伝達する。
【0238】
これにより、脳活性化装置２４は、使用者が移動する動線を案内し、使用者の脳機能を剪定する。
【0239】
モジュール、音響モジュール、照明モジュール、及び伝達モジュール３４～６４はそれぞれ、第４の空間１５０に配置された自然物及びオブジェと共に、第４の空間１５０のコンセプトに対応するメディアアートと音響、照明を出力し、香りを使用者に伝達する。
【0240】
これにより、脳活性化装置２４は、使用者が生きて動くように演出された森道を歩く間、脳の休息を通じてヒーリングを提供する。
【0241】
ステップＳ２０において、使用者が第５の空間１６０に進入すると、第５の空間１６０に設けられた第５のメディアモジュール、音響モジュール、照明モジュール、及び伝達モジュール３５～６５はそれぞれ、第５の空間１６０に配置された自然物及びオブジェと共に、第５の空間１６０のコンセプトに対応するメディアアートと音響、照明を出力し、香りを使用者に伝達する。
【0242】
これにより、脳活性化装置２４は、自然を素材とした様々な仕上げ材として演出された自然物と共に、使用者、特に、子供が直接触ってみて、体験とストーリを有るメディアアート童話を通じて、視覚、触覚など五感を刺激し、フォトトンネルを提供する。
【0243】
一方、本実施例では、第１～第５の空間の構成を説明するために、各空間を順次説明したが、使用者の観覧手順は、これに限定されるものではない。
【0244】
すなわち、第１の空間を介して第２の空間に進入した使用者は、図３における矢印方向に沿って、第３の空間だけでなく、第４の空間や第５の空間にも移動することができる。
【0245】
そして、使用者は、第３の空間から第４の空間だけでなく、第５の空間に移動するか、再度、第２の空間に移動することもできる。
【0246】
また、使用者は、第４の空間から第５の空間だけでなく、再度、第２の空間や第３空間に移動することもできる。
【0247】
また、使用者は、第５の空間から再度第２の空間や、第３空間又は第４の空間に移動することもできる。
【0248】
そこで、使用者は、各空間を一定の順序に沿って移動することではなく、選択的に移動可能であり、観覧した空間に再度移動して、繰返し観覧することで、各空間で活性化された脳領域を集中的に活性化させて、機能を強化することもできる。
【0249】
前記したような過程により、本発明は、展示空間に配置された自然物と共に、多次元刺激を通じて、要求される部分の脳機能を活性化させることができる。
【0250】
また、本発明は、自然物、特に、植物と音、触感、香、視覚、記憶など、多次元的な刺激を通じて、集中力、創意力、記憶力、共感、ヒーリングなど、様々な脳機能を活性化することができる。
【0251】
使用者データ収集部、画像取得部、診断部、及び管理部
使用者データ収集部３０は、使用者に関する身体情報を収集する。
使用者データ収集部３０は、使用者に関する身体情報を収集する。
【0252】
使用者に関する身体情報は、使用者の聴覚情報、足取り情報、ストレス情報、心電図情報、睡眠情報、集中情報、感情変化情報などを含む。
【0253】
図１６ａは、本発明において、使用者データ収集部３０のブロック構成図である。
【0254】
図１６ａに示しているように、使用者データ収集部３０は、使用者の聴覚情報を収集する聴覚情報収集部３１を含む。
【0255】
この時、診断部５０は、前記収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、少なくとも１つの脳活性化領域、及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断することができる。
【0256】
具体的に、使用者の聴力損傷は、難聴によることであり、前記診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部３１に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0257】
他の一例として、使用者の聴力損傷は、耳鳴りによることであり、診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部３１に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0258】
一方、脳信号測定部１０の信号収集動作は、前記使用者の聴力損傷が発生した状態で、前記使用者が動く間、行える。
【0259】
また、使用者データ収集部３０は、使用者の足取り情報を収集する足取り情報収集部３２と、使用者のストレス情報を収集するストレス情報収集部３３と、使用者の心電図情報を収集する心電図情報収集部３４と、使用者の睡眠情報を収集する睡眠情報収集部３５と、使用者の集中情報を収集する集中情報収集部３６とを含む。
【0260】
また、図示していないが、使用者データ収集部３０は、使用者のＥＥＧ(electroencephalogram)情報を収集する脳波情報収集部と、使用者の酸素飽和度(oxygen saturation)情報を収集する酸素飽和度収集部とを、更に含む。
【0261】
ここで、診断部５０は、使用者データ収集部３０により収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、収集された情報を基に、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、ＥＥＧ変化及び酸素飽和度変化の少なくとも１つを判断する。
【0262】
また、診断部５０は、使用者の聴力損傷程度、足取りパターン、ストレス程度、心電図変化、睡眠状態及び集中力変化、ＥＥＧ変化、及び酸素飽和度変化の少なくとも１つと、前記少なくとも１つの脳活性化領域を共に用いて、前記使用者の脳状態を判断する。
【0263】
また、脳信号測定部１０の信号収集動作は、前記使用者の足取りが変化する状態、前記使用者のストレスが変化する状態、前記使用者の心電図が変化する状態、前記使用者の睡眠条件が変化する状態、及び前記使用者の集中力が変化する状態のうち、少なくとも１つが適用された状況で、前記使用者が動く間、行える。
【0264】
また、使用者データ収集部３０は、使用者との関係で、非接触式感情変化収集部３７を含む。
【0265】
このような非接触式感情変化収集部３７は、使用者のアイトラッキングを基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部３７が利用される。
【0266】
この時、診断部５０は、前記少なくとも１つの脳活性化領域、及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断する。
【0267】
また、非接触式感情変化収集部３７は、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部３７が利用される。
【0268】
この時、診断部５０は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断する。
【0269】
具体的に、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断することができる。
【0270】
ここで、診断部５０は、使用者の脳疾患を判断することができ、脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0271】
さらには、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部６０が更に活用される。
【0272】
以下では、使用者データ収集部３０の種類のうち、代表的に、聴覚情報収集部３１と非接触式感情変化収集部３７を用いた診断部５０の機能について説明する。
【0273】
まず、聴覚情報収集部３１を用いる実施例について、具体的に説明する。
【0274】
【0275】
また、図１９は、本発明において、聴覚障害による認知機能損傷と認知症の間の関連性を説明する図である。
【0276】
図１７ａ～ｄに示しているように、高齢社会による認知症人口が急増しており、我が国は、高齢社会に進入して、年寄りの問題としてのみ認識された認知症が、最近は、若者にまで拡大して、社会的問題として認識されている。
【0277】
特に、認知症患者のうち、重症認知症患者の割合は、２０１６年 ３２％から、２０１８年 ３０％に減少傾向に転換され、これは、重症認知症患者に対する薬物治療、及び様々な認知症プログラムを通じて、患者の症状が好転しているが、反対に、初期認知症が増加されることと分析される。
【0278】
騒音性難聴に関して、つらくて所望しない大きい声を騒音というが、このような騒音により発生する減音神経性難聴を、「騒音性難聴」という。
【0279】
これは、音を感知する機関、すなわち、蝸牛が損傷した場合であり、特に、外有毛細胞が主に損傷することになり、普通７５ｄＢ以下の音は、難聴を誘発しないが、事務室や対話環境が６０ｄＢ程度であり、バス、地下鉄、食堂内の騒音が８０ｄＢ程度、ＭＰ３や携帯用ＣＤプレイヤーをイヤホンできく場合、最大音量が１００ｄＢ程度、モータサイクルは、１２０ｄＢ、飛行機騒音が１４０ｄＢ、銃声が１７０ｄＢに至る。隣の人が聞こえるほど、イヤホンで聞くことは、１００～１１５ｄＢ程度となる。８５ｄＢ以上の騒音に持続的に露出するときは、耳に損傷を与えることができる。
【0280】
１００ｄＢで保護装置なしに１５分以上露出するとき、１１０ｄＢで１分以上規則的に露出するとき、聴力損失の危険に置かれ、バス、地下鉄内の騒音が普通８０ｄＢ程度であるが、このような場所で青少年が音楽を聞くためには、９０ｄＢ以上の音を維持しなければならず、これを繰り返すと、難聴に至ることになる。
【0281】
音の強度は、音波の振幅により決まり、ｄＢ(デシベル)で測定し、音の強度が１０ｄＢずつ増加する度に、騒音のサイズは、２倍ずつ増加し、略７５ｄＢ以下では、聴力に損傷を及ぼさない。
【0282】
騒音性難聴症状に関して、騒音性難聴発生時、テレビやラジオなども大きくつけておく様態を見せ、友達の話をよく聞き分けられないことになる。
【0283】
周辺が少しだけうるさくても、相手の話を正確に理解できず、他の言葉を言い、共通的に高音領域、特に４ｋＨｚで聴力低下を見せ、耳が鳴くような耳鳴りを伴う場合が多い。
【0284】
聴覚損傷、耳鳴りの他にも、不快感、不安感、不眠症、疲労、ストレス、頭痛に苦しむなど、正常生活に困難があり得、ひどい場合、脈拍と血圧にも影響して、消化障害及び自律神経系の異常を招くことがある。
【0285】
騒音性難聴診断に関して、唇音聴力検査及び耳鳴り検査、耳音響放射検査、聽性脳幹誘発反応検査など、聴力を周波数別に正確に測定する検査を施し、長期間騒音露出後、徐々に進行される聴力消失、特に、４ｋＨｚ周辺の高音領域の聴力損失が明らかな場合、診断をすることになる。
【0286】
騒音性難聴で損傷した聴力を根本的に戻す方法ないが、これは、既に損傷した聴覚細胞は、回復しないからである。特に、数日以内に急に音が聞こえないと、突発性難聴であり、このような場合、正確な検査と共に、ステロイドホルモン、血管拡張剤、抗ウイルス剤などで治療を受けなければならない。
【0287】
この場合は、必ず、一定の期間耳を休ませることで、回復を期待することができる。
【0288】
突発性難聴は、明らかな原因なく、急に発生する感覚神経性難聴(よく聞こえないこと)を突発性難聴とし、一般に、一方耳に生じるか、珍しく両側性である場合もあり、時々難聴と共に耳鳴り及びめまいを伴う場合もある。
【0289】
普通、応急疾患と見なして、早期に入院治療を始めなければならず、未だ明確でないが、聴覚神経に発生したウイルス感染、内耳血流の障害、蝸牛内膜の破裂、そして、内耳免疫疾患、神経学的疾患、腫瘍、耳毒性薬物などと発生原因を推定している。
【0290】
突発性難聴患者の１～２％程度で聴神経腫瘍があり得るが、これは、磁気共鳴映像(MRI)撮影を通じて診断し、殆ど入院して、静かな雰囲気で安定を取って、副腎皮質ホルモン剤、血管拡張及び血流改善剤、代謝改善剤、鎮静剤などの併用療法を行っている。その他に、減塩食、高たんぱく食事を勧誘している。また、初期に積極的に治療した患者において、治療率が高いことが知られている。
【0291】
治療の結果は、略１/３で完全な回復を見せ、１/３は、発生時よりは聴力が改善するが、正常に回復できず、１/３以下では、治療に大きな反応を見せていない。
【0292】
【0293】
深刻な聴力損失を有している人々に、その危険は、聴力損失を経験しない人々より５倍の発生危険があり、Lancet研究によると、認知症発別に対する９種類の潜在的危険要因のうち、難聴が９％と最も高かった。
【0294】
聴力損失は、特に背景騒音がある状態で、言語知覚力を低下させるアルツハイマー病の初期症状となり得る。
【0295】
また、聴力損失は、認知資源に対するニーズを増加させ、脳は、聴覚能力が落ちることにつれ、より熱心に働かなければならない。
【0296】
対話を理解し、理解しようとする努力は、脳が脳の他の部分、特に記憶力から認知能力を「借りて行く」ことを要求し、基本的により多くの情報を受け入れるほど、記憶に伝達される情報が減ることになる。
【0297】
聴力損失は、脳組織改編及び又は社会的?奪を招いて認知能力低下を招き、聴覚能力の減少は、たびたび、社会的相互作用と関与の減少を引き起こす。
【0298】
このため、環境に接近し、相互作用することに必要な認知機能が減少し、難聴予防による認知症の進行を７５％まで遅らせることができる研究結果がある。
【0299】
また、難聴のような早期感知及び治療は、認知機能低下を予防するか、減少することに非常に重要である。
【0300】
６０歳以上の年寄りのうち、軽度難聴がある場合、正常聴力人口よりも２倍、ひどい難聴の場合、認知症確率が５倍高く現れている(Lin、Albert、２０１４)。
【0301】
図２０は、本発明において、聴力損失(耳鳴り)とアルツハイマー病(認知症)の相関関係を説明する図である。
【0302】
図２０に示しているように、難聴人口のうち、３０％が耳鳴り経験、難聴治療と共に耳鳴りに対する検査、治療が更に提供される(Healthy Hearing、2019)、耳鳴り患者を対象に実験した結果、耳鳴りは、聴覚機能に影響を及ぼした後、認知機能に影響し(特に、集中と思考)、認知症に影響することを確認した。
【0303】
結果として、耳鳴りは、認知症に繋がる確率が高い(Mahoney、Rohrer、Goll、Fox、Rossor、Warren、2010)。
【0304】
１９９６年から２０１４年まで、耳鳴りに関する文献１８便を分析した結果、耳鳴りは、認知能力を下げ、不安/鬱病を高めている(Tegg-Quinn、Bennett、Eikelboom、 & Baguley、2016)。
【0305】
図２１は、本発明において、聴覚と認知障害の相関関係を説明する図である。
【0306】
図２１のステップＳ２１～Ｓ２４に示しているように、聴覚損傷があると、認知障害にかかる確率が、３０ｄＢ毎に２倍ずつ高くなる。
【0307】
具体的に、３０ｄＢであると２倍、６０ｄＢであると４倍、認知症確率が高く(Uhlmann、Rees、1989)、２５ｄＢの変化によって、認知機能水準が低くなる(３４７人、５年間追跡した結果、Lin、Ferrucci、Metter、An、Zonderman、 & Resnick、2011)。
【0308】
結果として、聴覚問題 ＞ 文章聞取り問題 ＞ 単語聞取り ＞ 全体的な理解問題 ＞ 反応問題 ＞ 軽度認知障害に繋がることになる。
【0309】
３０ｄＢ毎に聴覚損傷があると、２倍程度認知障害を有した確率があり、これらのものが順次発生することではなく、聴覚、認知、視覚の１つでも問題があると、認知障害に繋がることになる(イ ス ジョン、イ スン ジン、ソン ジ ヨン、キム ヒョン ヒ、2014)。
【0310】
【0311】
図２３に示しているように、本発明において、使用者データ収集部３０は、使用者の聴覚情報を収集する聴覚情報収集部３１を含む。
【0312】
この時、診断部５０は、前記収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断し、少なくとも１つの脳活性化領域及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断することができる。
【0313】
具体的に、使用者の聴力損傷は、難聴によることであり、前記診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部３１に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0314】
他の一例として、使用者の聴力損傷は、耳鳴りによることであり、診断部５０は、使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部３１に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0315】
一方、脳信号測定部１０の信号収集動作は、前記使用者の聴力損傷が発生した状態で、前記使用者が動く間、行われることもできる。
【0316】
ついで、非接触式感情変化収集部３７を用いた診断部５０の機能について、説明する。
【0317】
非接触式感情変化収集部３７を基に、個人感性認識のための生体データ収集、及びデータ増強が可能となる。
【0318】
様々なドメイン(年齢層、性別、アクセサリーの有無など)について、均一な分布で６種類の基本感情を表わしているテキスト及び表情データを収集することができる。
【0319】
基本感性６種類(怒り、嫌悪、恐怖、幸せ、悲しみ、驚異)及び中立に対して、性別、年齢、地域を考慮した大規模の日常音声データ及び該当感性を表わすラベリングデータを収集することができる。
【0320】
収集したデータに対する基本感情ラベルをタギングし、アイトラッキングを含む顔ランドマークマスキングデータを収集することができる。
【0321】
また、対象の意図把握のための姿勢推定(pose estimation)画像及びイメージを収集し、感性間のデータ不均衡の解消のための音声増強技術が提供される。
【0322】
生体データに基づく個人感性認識に関して、収集したデータを用いて、訓練されたＤＮＮ(Deep Neural Network)モデルによる感情を認識する。
【0323】
感性認識性能の向上のために、収集されたデータに対するノイズ除去、音声区間抽出など、前処理技術が開発及び適用され、感性認識に適した音声特徴の選別、及び特徴抽出モジュールが適用される。
【0324】
また、ディープラーニングに基づく発話単位基本感情認識モデルが適用され、対象データに対する基本感情推論、及び音声データを活用した個人感情認識のために、音声の時系列特徴抽出が可能である。
【0325】
ディープラーニング技術のうち、時系列データを考えた循環神経網(Recurrent Neural Network)、注意集中技法を用いるトランスフォーマ(transformer)などを活用した感情認識ＡＩモデルが適用され、設計した感情認識ＡＩモデル学習、及びベイズ的最適化(bayesian optimization)などのようなハイパーパラメータチューニング技術を用いて、最適の感情認識を可能とする。
【0326】
また、イメージと画像において、目、鼻、口、眉毛、顔輪郭に対する認識が可能で、収集されたアイトラッキングデータと顔ランドマーク時系列データから、集中度抽出が可能である(連続的なデータを用いるので、アテンション(attention)に基づく人工神経網技術の使用が可能)。
【0327】
個人感性及び日常状況追跡による社会感性認識技術が適用され、感情埋め込み高度化、感情を１つに分類するのではなく、連続的な空間に表現することができ、時系列データの連続性を反映する埋め込み空間に強化、視覚、音声、自然語から抽出した感情埋め込みを結合し、マルチモーダル(multi-modal)感情分析などがこれに適用される。
【0328】
社会感性の認識のために、音声から、テキスト、d-vectorに基づく話者埋め込み、既開発した音声感性認識技術を用いて、個人感性を抽出及びベクトル化技術が適用される。
【0329】
感情により口調が平坦でない日常対話音声に対して、性能低下を抑制するためのＣＭＶＮ(Cepstral mean and variance normalization)を適用した特徴を抽出して適用可能であり、状況情報によって変わる語法、単語の特徴を考えるように、ドメイン適応(Domain adaptation)を適用した言語モデルが適用される。
【0330】
非接触式感情変化収集部３７は、使用者のアイトラッキングを基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部３７が利用される。
【0331】
この時、診断部５０は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することができる。
【0332】
また、非接触式感情変化収集部３７は、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部３７が利用される。
【0333】
この時、診断部５０は、前記少なくとも１つの脳活性化領域及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断することができる。
【0334】
具体的に、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断することができる。
【0335】
ここで、診断部５０は、使用者の脳疾患を判断することができ、脳疾患は、認知症、軽度認知障害(MCI)、パーキンソン病、鬱病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0336】
さらに、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する管理部６０が、更に活用可能である。
【0337】
一方、図１６bは、本発明において、画像取得部４０のブロック構成図である。
【0338】
本発明による画像取得部４０は、使用者に関する医療画像を収集する。
【0339】
本発明による画像取得部４０は、使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部４１、前記使用者に関するＣＴ画像を収集するＣＴ画像取得部４２、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部４３などが利用される。
【0340】
この時、診断部５０は、前記少なくとも１つの脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断することができる。
【0341】
診断部５０は、使用者の脳疾患を判断し、対象となる脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0342】
最後に、管理部６０は、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する機能を提供する。
【0343】
例えば、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、管理部６０の制御により、前記使用者の脳状態改善のために、前記使用者の脳を刺激するための脳信号刺激部２０の動作がトリガーとなり得る。
【0344】
人工知能データ活用応用サービス
アクティブブレーン医療生体ＡＩデータに関して、様々な画像分析で高い性能を見せ、画像分析ディープラーニングアルゴリズムのうち、最も広く使われているＣＮＮ(convolutional neural network)に基づくモデルのうち、inception v3を用いて、人工知能判読試験モデルが適用される。
アクティブブレーン医療生体ＡＩデータに関して、様々な画像分析で高い性能を見せ、画像分析ディープラーニングアルゴリズムのうち、最も広く使われているＣＮＮ(convolutional neural network)に基づくモデルのうち、inception v3を用いて、人工知能判読試験モデルが適用される。
【0345】
アクティブブレーン医療生体ＡＩデータの必要性に関して、本発明では、医療人工知能判読技術開発に必須的な基盤データを提供し、公共及び民間で人工知能技術発展によって自生的にデータを拡張、開放する好循環生態系を造成することを目標とし、そこで、構築されたデータの有効性を検証する必要がある。
【0346】
図２４は、本発明において、アクティブブレーン医療生体ＡＩデータモデル/アルゴリズムの一例を示している。
【0347】
図２４に示しているように、Inception v3は、広く使われる映像認識モデルであって、ImageNetデータセットで、７８.１％以上の正確性を実現し、ラベルが指定された大量イメージ集合を用いた地図学習の過程が必要である。
【0348】
イメージには、ラベルが指定されたオブジェのより正確な位置を指定する境界箱も含まれる。
【0349】
また、図２５は、本発明において、Inceptions V3の構造の一例を示している。
【0350】
図２５に示しているように、学習及び評価データセットは、意図的に分離して維持され、モデル学習には、学習データセットのイメージだけが用いられ、モデル正確性の評価には、評価データセットのイメージだけを用いる。
【0351】
モデル自体は、畳み込み、平均プリング、最大プリング、つなぎ合わせ、ドロップアウト、完全連結レイヤを始めとした対称/非対称構成要素からなる。
【0352】
図２６は、本発明において、人工知能学習用データ品質管理及び検証方案のＳＷ概念図の一例を示している。
【0353】
図２６に示しているように、ソースコードとリアルタイムデータ連結を通じて、データ品質の事前分析、診断、評価、改善し、格納装置であるリポジトリ(repository)を基準情報に合わせてデータ格納が行われ、格納されたデータを、人工知能エンジンを用いて品質管理を行う。
【0354】
図２７は、本発明において、人工知能学習用データ品質管理及び検証方案の前処理の一例を示している。
【0355】
図２７に示しているように、品質管理を事前分析して、人的費用最小化のための自動化を行い、データ類型別自動判別システムを構築して、指標及び方法自動マッチング生成が可能である。
【0356】
図２８は、本発明において、人工知能学習用データ品質管理及び検証方案の診断の一例を示している。
【0357】
図２８に示しているように、データ品質を測定して、様々な類型のデータ診断技術が適用され、テキスト、イメージ、数値、波形などに合わせて、データ品質測定が可能であり、産業別業務規則(法律、医療、金融など)によって、該当データ蓄積及びフィードバックが可能である。
【0358】
図２９は、本発明において、人工知能学習用データ品質管理及び検証方案の一例を示している。
【0359】
図２９に示しているように、改善及びフィードバックを進行して、品質評価ライフサイクル全過程を対象に進行し、評価は、様々な観点別品質診断水準評価、及びエラー類型分類及び改善をガイドし、改善は、群集度分析を改善データおすすめ、及び改善結果フィードバックを行う。
【0360】
データ収集のための方法として、学習者の日常データ及び学習生活特性を把握することができる。
【0361】
例えば、日常生活で収集されるデータ及び生体データを把握し、対象年齢を満６歳(未就学)～満１５歳(中学校３年生)、計１０個年生区間とし、生体データ収集のための要因探索及び構造化し、関連するデータ収集のための重要要因を探索(行動及び音声)することができる。
【0362】
図３０のステップＳ３１～Ｓ３９は、本発明において、生体データ収集のための要因探索及び構造化の一例を示している。
【0363】
また、感性マッピングのためのdesignに関して、学習者の特性による分類を通じて、社会感性に対する群集化、感性マッピングのために含まれなければならない要因決定及び分類などが適用される。
【0364】
感性マッピング正確度に対する例示として、図３１ａを示している。
【0365】
また、図３１ｂは、本発明において、収集されたデータの連携方案例示であって、信頼性のあるデータ伝送及びデータ間ネットワーク高度化のために、正確度向上のための高度化した生体データ収集が適用され、社会感性及び学習活動と連携された生体データの正確度向上のための収集方法が適用される。
【0366】
一方、図３２は、本発明において、児童の脳発達測定結果による６段階に区分された訓練プログラムの一例を示している。
【0367】
このモデルは、児童の「リアルタイム脳測定のための多者間無線脳信号測定機器」及び「脳発達検査サービス」であって、本発明が活用されるとき、適用される。
【0368】
図３２に示しているように、本発明は、「多者間無線脳信号測定機器」、「脳発達検査サービス」を基に、リアルタイム脳測定結果を基にして、オーダーメード型脳発達プログラムを提供する。
【0369】
すなわち、脳発達状態測定結果を提供(アプリケーション)、日常生活及び学習における集中力など、脳発達訓練プログラム提供することができるが、脳発達訓練プログラムの場合、主要内容としては、集中力測定による水準向上が必要な脳領域(前頭葉活性化程度、後頭葉活性化程度、側頭葉活性化程度)、及び集中力水準導出(Level I-５分、Level II-１０分、Level III-２０分)などを含むことができる。
【0370】
この時、それぞれの水準による適切な集中力訓練プログラム(不安減らし、没入の楽しみ分かり、よそみ時間減らし)、雷変化プログラム(身体的課題遂行、認知的課題遂行、視覚的訓練-単純選択、聴覚的訓練-単純選択、凍る製紙中、作業機能純方向/逆方向)が提供される。
【0371】
【0372】
図３３ａにおいて、赤色は、平均以下で、集中力に関する問題があることを示し、緑色は、平均以上で、集中力が高いことを示しており、図３３ｂにおける緑色は、平均以上で、集中力に関する問題がないことを示している。
【0373】
そこで、診断部５０は、ＡＩを基に、脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断し、対象となる脳疾患は、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む。
【0374】
また、管理部６０は、診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供する機能を提供する。
【0375】
使用者の脳状態を判断してフィードバックする方法
図３４は、本発明において、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックする方法を説明するシーケンス図である。
図３４は、本発明において、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックする方法を説明するシーケンス図である。
【0376】
図３４に示しているように、まず、脳信号測定部１０の脳信号取得部１１が、使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出するステップＳ１００を行う。
【0377】
特に、本発明によるステップＳ１００において、脳信号取得部１１の信号収集動作は、前記使用者が動く状態で行われることを技術的特徴とする。
【0378】
ここで、脳信号測定部１０は、前述したように、使用者のヘッドを全て覆うフルカバー形状、又は前記使用者ヘッドの前面部に密着される前面部形状として具現される。
【0379】
以後、前記脳信号測定部１０の脳信号処理部１２が前記検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断するステップＳ２００を行う。
【0380】
具体的に、ステップＳ２００では、検出された光を基に、前記使用者の脳血流内の酸化ヘモグロビン濃度(Oxy Hb)と、還元ヘモグロビン濃度(Deoxy Hb)を抽出することで、前記ヘモグロビン酸素化程度を判断する。
【0381】
また、少なくとも１つの脳活性化領域では、前記脳血流内の酸化ヘモグロビンにより輸送された酸素が消費することで、酸化ヘモグロビン濃度(Oxy Hb)が減少し、前記酸化ヘモグロビン濃度(Oxy Hb)の減少に対応して、前記還元ヘモグロビン濃度(Deoxy Hb)が増加する特性を有する。
【0382】
結果として、前記酸化ヘモグロビン濃度(Oxy Hb)と前記還元ヘモグロビン濃度(Deoxy Hb)は、可視光領域と近赤外光領域で変化する光特性を有し、本発明による脳信号測定部は、前記近赤外線照射による近赤外分光法(fNIRS: functional Near-Infrared Spectroscopy)により、前記信号を収集することになる。
【0383】
ステップＳ２００以後には、脳信号測定部１０の脳信号分析部１３が、前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出するステップＳ３００を行う。
【0384】
以後、診断部５０が一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断するステップＳ４００を行う。
【0385】
脳状態表示及び判断方法
脳信号測定部１０の脳信号分析部１３が前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出するステップＳ３００について、より具体的に説明する。
脳信号測定部１０の脳信号分析部１３が前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出するステップＳ３００について、より具体的に説明する。
【0386】
図３５は、本発明において、複数の分割された脳領域のそれぞれの脳活性化変化を、時間によって表示し、これにより、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0387】
図３５に示しているように、ステップＳ３００は、使用者の脳領域を複数に分割するステップＳ３１０と、複数に分割された脳領域のそれぞれが、一定時間単位で前記脳活性化領域に変化しているか、又は前記脳活性化領域から非活性化領域に変化しているか否かを判断するステップＳ３２０とを含む。
【0388】
以後、脳信号測定部１０のディスプレイ部１５が、前記複数の分割された脳領域のそれぞれの脳活性化変化を、時間によって表示するステップＳ３３０を行う。
【0389】
また、一定時間単位を基準に、前記複数の分割された脳領域のそれぞれの脳活性化変化を用いて、前記使用者の脳状態を判断するステップＳ４００が進行される。
【0390】
脳刺激方法
一方、ステップＳ１００の以前には、脳刺激するステップが更に活用可能である。
一方、ステップＳ１００の以前には、脳刺激するステップが更に活用可能である。
【0391】
図３６は、本発明において、脳信号測定部の信号収集動作のために、使用者の脳を刺激する方法を説明するシーケンス図である。
【0392】
図３６に示しているように、まず、脳信号測定部１０の信号収集動作のために、脳信号刺激部２０が、使用者の脳を刺激するステップＳ５０が行われる。
【0393】
以後、脳信号測定部１０の脳信号取得部１１が、使用者の脳に近赤外線を照射し、前記脳の大脳皮質を透過した光を検出するステップＳ１００を行うことになる。
【0394】
一方、ステップＳ５０は、脳信号刺激部２０の脳活性化装置が、一定空間内で予めターゲティングされた脳領域の活動を集中的に強化し、前記脳領域の機能を活性化するように、多次元的な環境的刺激を与えるステップ(ａ)と、前記脳信号刺激部２０の管理サーバが、前記空間内で前記ターゲティングされた脳領域に多次元的な環境的刺激を与えるように、前記脳活性化装置の駆動を制御するステップ(ｂ)とを含む。
【0395】
また、本発明による空間は、複数の空間に区画され、前記ステップ(ａ)は、メディア部が前記複数の空間のそれぞれで演出しようとするコンセプトに対応するメディアアートを備えるステップと、音響部が音響を出力するステップと、照明部が光を照射又は照明するステップと、香り伝達部が香りを前記使用者に伝達するステップとを含む。
【0396】
また、ステップ(ｂ)において、管理サーバは、前記複数の空間のそれぞれのコンセプトに対応する複数のメディア情報と音響情報、前記脳活性化装置の駆動を制御するためのプログラムが格納されるデータベースを含み、前記データベースに格納された各種の情報とプログラムから、各空間のコンセプトに対応する複数のメディア情報、音響ファイルとプログラムから１つ以上を選択し、選択された情報とプログラムによって変更するように、前記脳活性化装置の駆動を制御することができる。
【0397】
また、前記メディア部は、各空間のコンセプトに対応するメディアアートを具現する複数のメディアモジュールを含み、前記各メディアモジュールは、写真や動画を含むメディアアートを投射するプロジェクタやディスプレイパネルを含み、前記音響部は、各空間のコンセプトに対応する音響を出力する複数の音響モジュールを含み、各音響モジュールは、音楽や自然の白色騒音を含む音響を出力するスピーカとアンプを含む。
【0398】
また、照明部は、各空間のコンセプトに対応する光を照射又は照明する複数の照明モジュールを含み、各照明モジュールは、レーザを照射するレーザ発生器、光を照射するＬＥＤ、ネオン照明から１つ又は２つ以上を組み合わせて構成され、前記香り伝達部は、各空間で配置された自然物の香りを使用者に伝達する複数の伝達モジュールを含み、各伝達モジュールは、各空間に配置された自然物で発生する香り、又は自然物の香りを模倣した香りを各空間内部の使用者に伝達するように空気を送風する送風機を含む。
【0399】
また、前記ステップ(ｂ)以後には、管理者の操作に基づいて、前記脳活性化装置の駆動を制御する管理者端末が、各空間に設置される各モジュールに対して、前記管理サーバのデータベースに格納された複数の情報ファイルとプログラムから１つ以上を選択し、選択された情報ファイルとプログラムによって、メディア、音響、照明などを、選択された周期的又は不規則に変更するように制御するステップ(ｃ)を更に含むこともできる。
【0400】
また、前記ステップ(ｂ)以後には、管理サーバと通信可能であり、前記使用者の操作命令を入力する使用者端末が、前記使用者から、年齢、性別、趣向、心理状態を含む使用者情報を入力し、入力された使用者情報を前記管理サーバへ伝達するステップ(ｃ)と、管理サーバが受信された使用者情報によって、使用者の年齢、性別、趣向、心理状態を判断し、判断された結果に基づいて、個人に合うコンセプトに対応するメディア、音響、照明を提供するように制御するステップ(ｄ)を更に含む。
【0401】
使用者に関する身体情報を用いて脳状態を判断する方法
本発明の他の実施例によると、使用者に関する身体情報を用いて、脳状態を判断する方法が適用される。
本発明の他の実施例によると、使用者に関する身体情報を用いて、脳状態を判断する方法が適用される。
【0402】
図３７は、本発明において、使用者に関する身体情報を収集し、これを更に用いて、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0403】
図３７に示しているように、脳信号測定部１０の脳信号分析部１３が、前記判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出するステップＳ３００を行う。
【0404】
この時、ステップＳ４００に移る以前に、使用者データ収集部３０が、前記使用者に関する身体情報を収集するステップＳ３６０を行う。
【0405】
また、診断部５０は、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域と共に、ステップＳ３６０により取得された使用者に関する身体情報を共に用いて、使用者の脳状態を判断するステップＳ４００を行うことになる。
【0406】
以下では、ステップＳ３６０に関する具体的な本発明の実施例について説明する。
【0407】
まず、図３８は、本発明において、使用者の聴力損傷程度を判断し、これを更に用いて、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0408】
図３８に示しているように、前記ステップＳ４００は、診断部５０が収集された聴覚情報を基に、前記使用者の聴力損傷程度を判断するステップＳ４１０と、診断部５０が少なくとも１つの脳活性化領域及び前記使用者の聴力損傷程度を共に用いて、前記使用者の脳状態を判断するステップＳ４２０と構成される。
【0409】
例えば、使用者の聴力損傷は、難聴によることであり、診断部５０は、前記使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の難聴程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0410】
また、使用者の聴力損傷は、耳鳴りによることであり、診断部５０は、前記使用者に関する身体情報、前記使用者の左右唇音しきい平均値、前記使用者の耳鳴り程度、及び前記聴覚情報収集部に関する情報を更に用いて、前記使用者の脳状態を判断することができる。
【0411】
また、本実施例の場合、脳信号測定部１０の信号収集動作は、前記使用者の聴力損傷が発生した状態で、前記使用者が動く間、行える。
【0412】
また、図３９は、本発明において、使用者の足取り情報を収集する足取り情報収集部、使用者のストレス情報を収集するストレス情報収集部、使用者の心電図情報を収集する心電図情報収集部、使用者の睡眠情報を収集する睡眠情報収集部、使用者の集中情報を収集する集中情報収集部を更に用いて、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0413】
図３９に示しているように、使用者データ収集部３０が、使用者の足取り情報、使用者のストレス情報、使用者の心電図情報、使用者の睡眠情報、及び使用者の集中情報、使用者のＥＥＧ(electroencephalogram)情報、使用者の酸素飽和度(oxygen saturation)情報を収集するステップＳ３６０を行う。
【0414】
以後、診断部５０は、使用者データ収集部により収集された情報を基に、前記使用者の足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、ＥＥＧ変化、及び酸素飽和度変化の少なくとも１つを判断するステップＳ４１０を行う。
【0415】
以後、診断部５０は、前記使用者の聴力損傷程度、足取りパターン、ストレス程度、心電図変化、睡眠状態、及び集中力変化、ＥＥＧ変化、及び酸素飽和度変化の少なくとも１つと、前記少なくとも１つの脳活性化領域を共に用いて、前記使用者の脳状態を判断するステップＳ４２０を行うことになる。
【0416】
このような実施例の場合、脳信号測定部１０の信号収集動作は、前記使用者の足取りが変化する状態、前記使用者のストレスが変化する状態、前記使用者の心電図が変化する状態、前記使用者の睡眠条件が変化する状態、及び前記使用者の集中力が変化する状態のうち、少なくとも１つが適用された状況で、前記使用者が動く間、行われる。
【0417】
また、図４０は、本発明において、アイトラッキングを基にした非接触式感情変化収集部を更に用いて、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0418】
図４０に示しているように、使用者データ収集部３０が、使用者のアイトラッキングを基に、前記使用者の顔ランドマークマスキングデータを収集して、非接触式で前記使用者の感情変化情報を収集するステップＳ３６０を行う。
【0419】
以後、診断部５０は、少なくとも１つの脳活性化領域、及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断するステップＳ４２０を行う。
【0420】
また、図４１は、本発明において、音声変化を基にした非接触式感情変化収集部を更に用いて、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0421】
図４１に示しているように、使用者データ収集部３０は、使用者の音声変化を基に、前記使用者の感情変化情報を収集するステップＳ３６０を行う。
【0422】
以後、診断部５０は、少なくとも１つの脳活性化領域、及び前記使用者の感情変化情報を共に用いて、前記使用者の脳状態を判断するステップＳ４２０を行う。
【0423】
使用者に関する医療画像を用いて脳状態を判断する方法
一方、本発明の更に他の一実施例によると、使用者に関する医療画像を用いて、脳状態を判断する方法が提供される。
一方、本発明の更に他の一実施例によると、使用者に関する医療画像を用いて、脳状態を判断する方法が提供される。
【0424】
図４２は、本発明において、使用者に関する医療画像を更に収集及び活用して、使用者の脳状態を判断する方法を説明するシーケンス図である。
【0425】
図４２に示しているように、脳信号測定部１０の脳信号分析部１３が、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出するステップＳ３００を行う。
【0426】
以後、使用者データ収集部３０が、前記使用者に関する身体情報を収集するステップＳ３６０を行い、ステップＳ４００に進入する前に、画像取得部４０が、前記使用者に関する医療画像を収集するステップＳ３７０を行う。
【0427】
ステップＳ３７０では、使用者に関するＭＲＩ画像を収集するＭＲＩ画像取得部、前記使用者に関するＣＴ画像を収集するＣＴ画像取得部、前記使用者に関するｆＭＲＩ画像を収集するｆＭＲＩ画像取得部などが活用される。
【0428】
以後、診断部５０が少なくとも１つの脳活性化領域、前記使用者に関する身体情報、及び前記使用者に関する医療画像を共に用いて、前記使用者の脳状態を判断するステップＳ４００を行うことになる。
【0429】
使用者の脳状態に対応してフィードバックを提供する方法
また、本発明の実施例によると、使用者の脳状態に対応して、フィードバックを提供する方法が提供される。
また、本発明の実施例によると、使用者の脳状態に対応して、フィードバックを提供する方法が提供される。
【0430】
図４３は、本発明において、使用者の脳状態に対応して、使用者の脳状態改善のための情報を提供する方法を説明するシーケンス図である。
【0431】
図４３に示しているように、診断部５０が一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断するステップＳ４００を行う。
【0432】
以後、管理部６０が、前記診断部５０が判断した前記使用者の脳状態に対応して、前記使用者の脳状態改善のための情報を提供するステップＳ５００を行うことになる。
【0433】
ステップＳ５００に関して、図４４は、本発明において、使用者の脳状態改善のために、脳を刺激する方法を説明するシーケンス図である。
【0434】
図４４に示しているように、所定の基準を適用して、前記使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害のうち少なくとも１つに該当すると予測されるステップＳ４１０が進行される。
【0435】
これにより、管理部６０の制御によって、使用者の脳状態改善のために、脳信号刺激部２０が、前記使用者の脳を刺激するステップＳ５１０を行う
【0436】
この他にも、使用者の状態が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害に該当する場合、現在状態に対する判断を記録し、追って、該当障害の変化をトラッキングしながら、使用者の脳健康状態をチェック及び管理することが可能である。
【0437】
本発明による効果
上述したように、本発明による人工知能に基づく脳情報提供装置は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックすることができる。
上述したように、本発明による人工知能に基づく脳情報提供装置は、使用者が活動する状態で、脳に関する信号を収集し、これを基に、使用者の脳状態を判断してフィードバックすることができる。
【0438】
また、本発明は、使用者の脳に照射されて前記脳の大脳皮質を透過した近赤外線光を検出する脳信号取得部、検出された光を基に、前記使用者の脳血流内のヘモグロビン酸素化程度を判断する脳信号処理部、判断されたヘモグロビン酸素化程度を基に、前記使用者の脳の複数の領域のうち、活性化された少なくとも１つの脳活性化領域を抽出する脳信号分析部を含む脳信号測定部と、一定期間の間、連続して抽出された前記少なくとも１つの脳活性化領域を基に、前記使用者の脳状態を判断する診断部とを含むシステムを提供することができる。
【0439】
更に、本発明は、脳信号測定部の信号収集動作のために、使用者の脳を刺激するための状況を生成する信号を出力する脳信号刺激部を含むシステムを提供することができる。
できる。
できる。
【0440】
また、本発明は、使用者の聴覚情報を収集する聴覚情報収集部、使用者の足取り情報を収集する足取り情報収集部、使用者のストレス情報を収集するストレス情報収集部、使用者の心電図情報を収集する心電図情報収集部、使用者の睡眠情報を収集する睡眠情報収集部、使用者の集中情報を収集する集中情報収集部、使用者のアイトラッキングを基に、使用者の顔ランドマークマスキングデータ収集して、非接触式で前記使用者の感情変化情報を収集する非接触式感情変化収集部、使用者の音声変化を基に、前記使用者の感情変化情報を収集する非接触式感情変化収集部などを更に活用して、使用者の脳状態をより精密に判断するシステムを提供することができる。
【0441】
また、本発明は、使用者に関する医療画像を収集する画像収集部を更に用いて、脳活性化領域、使用者に関する身体情報、及び使用者に関する医療画像を共に用いて、使用者の脳状態をより精密に判断する人工知能に基づく脳情報提供装置を提供することができる。
【0442】
また、本発明は、使用者の認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害を含む脳疾患を判断する診断部と、診断部が判断した前記使用者の脳状態に対応して、脳状態改善のための情報を提供する管理部とを含むシステムを提供することができる。
【0443】
また、本発明によると、所定の基準を適用して、使用者の脳状態を基に、一定期間以内、前記使用者が、認知症、パーキンソン病、脳卒中、雷電症、脳腫瘍、及び発達障害の少なくとも１つに該当すると予測される場合、使用者の脳状態改善のために、使用者の脳を刺激するための状況を生成する信号を出力する脳信号刺激部を更に活用するシステムを提供することができる。
【0444】
本発明は、退行性脳疾患メカニズムの研究結果として活用可能であり、脳画像及び認知能力測定実験の設計により、非侵襲診断及び治療モニタリングシステム開発並びに活用が可能であり、脳構造画像及び脳機能画像像実験により、脳画像データベース構築基盤の用意及び共有が可能であり、ディープラーニング分析に基づく治療メカニズムの究明により、最適の治療技法の導出及び提案が可能となる。
【0445】
また、本発明は、退行性脳疾患早期診断のプラットホームとして活用可能であり、網膜画像、眼科疾患、及びアイトラッキングなどにより、非侵襲法認知症診断プラットホームの開発によって早期診断に活用することができ、時間と空間の制約なく、リアルタイム診断による生活の質改善が可能であり、他の脳疾患に対する新しい分子標的も導出可能であり、該当疾患の作用機転の研究及び早期診断用への拡張が可能である。
【0446】
また、本発明は、退行性脳疾患光治療・診断統合オーダーメード型医療機器として活用可能であり、退行性脳疾患用治療プラットホームの商用化のための試作品の具現が可能であり、研究結果を基に、業者と協業して、医療機器製品の商用化が可能であり、「認知症国家責任制」の地域認知症センターとの連携を通じて、治療医療機器の活用の極大化を図ることができる。
【0447】
更には、本発明によると、ＡＩ学習用データ構築分野別標準ガイドラインを設け、段階別の品質検証を通じて、高品質のＡＩデータセット確保が可能であり、ＡＩ技術開発に必須的な基盤データを提供し、民間でＡＩ技術発展によって自生的にデータを拡張、開放する好循環生態系を造成することができる。
【0448】
また、本発明によると、退行性脳疾患と難聴治療の関係を究明することで、脳科学分野を善導することができ、脳画像データ分析ディープラーニング技法による先端医療画像分析分野の競争力を確保することができる。
【0449】
また、本発明によると、非侵襲タイプの効果的な退行性脳疾患早期診断方法の新規で且つ独創的な技術確保が可能であり、脳画像及び認知能力実験を基にした非侵襲脳疾患診断及び治療経過モニタリングシステム開発が可能である。
【0450】
また、本発明によると、認知症疾病に関連する死亡率減少、治療率増加、治療費用減少の効果により、関連する社会問題の解決に寄与し、年寄りの社会参加活動の増加による生産性向上に寄与することができる。
【0451】
また、本発明によると、少子化時代に幼児及び児童の雷電症、脳卒中、脳腫瘍、発達障害などの脳疾患増加で、脳疾患を有しているか、脳疾患症状が疑われる場合、予防及び診断を通じて、脳健康状態を確認することができる。
【0452】
また、本発明によると、脳信号情報を測定することに当たり、ウェアラブルのタイプ及び児童親和的なデザイン製品が適用されることで、使用対象の経験値が上昇し、睡眠及び麻酔剤を使用しないため、健康な脳発達を助けることができる。
【0453】
また、本発明によると、非対面学習及び感情労働分野支援のために、マルチモーダル感性データネットワーク構築と、Ｎ次元の感性マッピング空間を活用した人間中心の人工知能サービスである感性交感ＡＩサービスを提供することができる。
【0454】
具体的に、本発明によると、使用者の社会的感性を認識し、感性データネットワーク構築及び個人感性ＡＩサービスを提供し、これを非対面学習及び産業現場支援のために活用することができる。
【0455】
一方、本発明から得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、以下の記載から、本発明が属する技術分野における通常の知識を有する者に、明確に理解される。
【0456】
上述した本発明の実施例は、様々な手段により具現可能である。例えば、本発明の実施例は、ハードウェア、ファームウエア、ソフトウェア、又はそれらの組み合わせなどにより、具現される。
【0457】
ハードウェアによる具現の場合、本発明の実施例による方法は、１つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより、具現可能である。
【0458】
ファームウエアやソフトウェアによる具現の場合、本発明の実施例による方法は、以上で説明された機能又は動作を行うモジュール、手続、又は関数などの形態で具現される。ソフトウェアコードは、メモリーユニットに格納されて、プロセッサによって駆動される。前記メモリユニットは、前記プロセッサの内部又は外部に位置し、既に公知の様々な手段により、前記プロセッサとデータを授受することができる。
【0459】
上述したように開示された本発明の好適な実施例に対する詳細な説明は、当業者が本発明を具現し、実施できるように提供されている。前記では、本発明の好適な実施例を参照して説明したが、当該技術分野の熟練した当業者は、本発明の領域から逸脱しない範囲内で、本発明を様々に修正及び変更できる。例えば、当業者は、上述した実施例に記載された各構成を、互いに組み合わせる方式で利用することができる。そこで、本発明は、ここに現れた実施形態に制限されるものではなく、ここで開示された原理及び新規の特徴と一致する最広の範囲を付与しようとすることである。
【0460】
本発明は、本発明の精神及び必須的特徴を逸脱しない範囲で、他の特定の形態に具体化されることができる。そこで、前記の詳細な説明は、あらゆる面で制限的に解析されてはいけず、例示的なこととして考えるべきである。本発明の範囲は、添付の請求項の合理的解析により決められるべきであり、本発明の等価的範囲内における全ての変更は、本発明の範囲に含まれる。 本発明は、ここに現れた実施形態に制限されるものではなく、ここで開示された原理及び新規の特徴と一致する最広の範囲を付与しようとすることである。また、特許請求の範囲で明示的な引用関係がない請求項を結合して実施例を構成するか、出願後の補正により、新たな請求項として含むことができる。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図6a】
【図6b】
【図7】
【図8】
【図9】
【図10a】
【図10b】
【図10c】
【図11a】
【図11b】
【図11c】
【図12】
【図13】
【図14】
【図15】
【図16a】
【図16b】
【図17a】
【図17b】
【図17c】
【図17d】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31a】
【図31b】
【図32】
【図33a】
【図33b】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
