(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-28
(54)【発明の名称】人工知能モデル学習のための標準化された脳波イメージ生成方法、装置およびコンピュータプログラム
(51)【国際特許分類】
A61B 5/372 20210101AFI20240521BHJP
【FI】
A61B5/372
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023571427
(86)(22)【出願日】2022-02-23
(85)【翻訳文提出日】2023-12-28
(86)【国際出願番号】 KR2022002655
(87)【国際公開番号】W WO2022244950
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】10-2021-0063879
(32)【優先日】2021-05-18
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0071393
(32)【優先日】2021-06-02
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】522270435
【氏名又は名称】アイメディシンク インコーポレイテッド
(74)【代理人】
【識別番号】100083138
【氏名又は名称】相田 伸二
(74)【代理人】
【識別番号】100189625
【氏名又は名称】鄭 元基
(74)【代理人】
【識別番号】100196139
【氏名又は名称】相田 京子
(74)【代理人】
【識別番号】100199004
【氏名又は名称】服部 洋
(72)【発明者】
【氏名】カン スンワン
(72)【発明者】
【氏名】パク ウケブ
(72)【発明者】
【氏名】ジョン テギュン
【テーマコード(参考)】
4C127
【Fターム(参考)】
4C127AA03
4C127GG11
4C127HH13
(57)【要約】
人工知能モデル学習のための標準化された脳波イメージ生成方法、装置およびコンピュータプログラムが提供される。本発明の多様な実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成方法は、コンピューティング装置によって遂行される方法において、使用者に対する複数の脳波信号を収集する段階、前記収集された複数の脳波信号を加工する段階および前記加工された複数の脳波信号を利用して脳波イメージを生成する段階を含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
コンピューティング装置によって遂行される方法において、
使用者に対する複数の脳波信号を収集する段階;
前記収集された複数の脳波信号を加工する段階;および
前記加工された複数の脳波信号を利用して脳波イメージを生成する段階を含む、人工知能モデル学習のための標準化された脳波イメージ生成方法。
【請求項2】
前記複数の脳波信号を収集する段階は、
前記使用者の頭の互いに異なる位置に付着される複数の脳波測定チャネルを通じて互いに異なる周波数帯域を有する複数の脳波信号を収集する段階を含む、請求項1に記載の人工知能モデル学習のための標準化された脳波イメージ生成方法。
【請求項3】
前記収集された複数の脳波信号を加工する段階は、
前記収集された複数の脳波信号それぞれに対する指標値を算出する段階;
前記指標値が算出された複数の脳波信号を前処理して前記指標値が算出された複数の脳波信号のうち特定周波数帯域の脳波信号をフィルタリングする段階;および
前記算出された指標値を利用して、前記前処理された複数の脳波信号それぞれに対応するピクセル値を決定する段階を含み、
前記脳波イメージを生成する段階は、
前記決定されたピクセル値を利用して前記脳波イメージを生成する段階を含む、請求項1に記載の人工知能モデル学習のための標準化された脳波イメージ生成方法。
【請求項4】
前記指標値を算出する段階は、
前記前処理された複数の脳波信号それぞれに対する絶対パワー(Absolute power)、相対パワー(Relative power)、標準値(Z-score)、複雑度(complexity)およびエントロピー(Entropy)のうち少なくとも一つを指標値として算出する段階を含む、請求項3に記載の人工知能モデル学習のための標準化された脳波イメージ生成方法。
【請求項5】
前記決定されたピクセル値を利用して前記脳波イメージを生成する段階は、
前記前処理された複数の脳波信号それぞれに対して決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階を含み、
前記予め設定されたテンプレートは、
第1軸に周波数変化によるピクセル値が配置され、前記第1軸と垂直方向である第2軸に前記使用者の脳の関心地点の位置変化によるピクセル値が配置され、
予め設定された基準周波数値を前記第1軸の中心軸として、前記中心軸を基準として左側領域には脳の左側領域から収集された脳波信号に対応するピクセル値が配置され、前記中心軸を基準として右側領域には脳の右側領域から収集された脳波信号に対応するピクセル値が配置される、請求項3に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項6】
前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、
前記中心軸を基準として前記第1軸の左右側それぞれを脳波信号の種類による周波数帯域別に分割して複数の単位区間を生成するものの、
前記脳波信号の種類による周波数帯域の範囲にかかわらず前記複数の単位区間が同じ長さを有するように前記第1軸を分割する段階を含む、請求項5に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項7】
前記第1軸を分割する段階は、
前記使用者から前記生成された複数の単位区間のうち第1単位区間に対する長さを延長させることの要請を受ける場合、前記第1単位区間に対する長さを延長させ、前記第1単位区間が延びた長さだけ残りの単位区間の長さを均等に短縮させる段階;および
前記使用者から前記生成された複数の単位区間のうち第2単位区間に対する長さを短縮させることの要請を受ける場合、前記第2単位区間に対する長さを短縮させ、前記第2単位区間が短縮された長さだけ残りの単位区間の長さを均等に延長させる段階を含む、請求項6に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項8】
前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、
前記第1軸を脳波信号の種類による周波数帯域別に分割して複数の単位区間を生成するものの、前記使用者から入力された周波数帯域別重要度に基づいて、前記複数の単位区間それぞれの長さを決定する段階を含む、請求項5に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項9】
前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、
前記前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を利用してピクセル値マトリクスを生成するものの、前記生成されたピクセル値マトリクスは、行方向に前記前処理された複数の脳波信号の周波数変化によるピクセル値が配列され、列方向に前記前処理された複数の脳波信号の関心地点の位置変化によるピクセル値が配列されるものである、段階;
前記生成されたピクセル値マトリクスを行または列を基準として、前記生成されたピクセル値マトリクスを正方マトリクスに変換する段階;および
前記正方マトリクスに変換されたピクセル値マトリクスを前記予め設定されたテンプレート上に配置して標準化された脳波イメージを生成する段階を含む、請求項5に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項10】
前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、
前記前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を前記予め設定されたテンプレート上の前記前処理された複数の脳波信号それぞれの周波数および関心地点の位置に対応する領域に配置するものの、前記複数のピクセル値それぞれに対して互いに隣接した位置に配置されたピクセル値とのイメージ平滑化(image smoothing)を遂行する段階;および
前記イメージ平滑化された脳波イメージを予め設定された大きさの正四角形に変更するイメージリサイジング(image resizing)を遂行して標準化された脳波イメージを生成する段階を含む、請求項5に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項11】
前記生成された脳波イメージを利用して人工知能モデルの学習のための学習データを生成するものの、前記生成された学習データは一つの標準化された脳波イメージを含むか、正四角形の形態で結合された複数の標準化された脳波イメージを含むものである、段階をさらに含む、請求項10に記載の人工知能モデルの学習のための標準化された脳波イメージ生成方法。
【請求項12】
プロセッサ;
ネットワークインターフェース;
メモリ;および
前記メモリにロード(load)され、前記プロセッサによって実行されるコンピュータプログラムを含むものの、
前記コンピュータプログラムは、
使用者に対する複数の脳波信号を収集するインストラクション(instruction);
前記収集された複数の脳波信号を加工するインストラクション;および
前記加工された複数の脳波信号を利用して脳波イメージを生成するインストラクションを含む、人工知能モデルの学習のための標準化された脳波イメージ生成装置。
【請求項13】
コンピューティング装置と結合されて、
使用者に対する複数の脳波信号を収集する段階;
前記収集された複数の脳波信号を加工する段階;および
前記加工された複数の脳波信号を利用して脳波イメージを生成する段階を実行させるためにコンピュータで読み取り可能な記録媒体に保存された、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の多様な実施例は人工知能モデル学習のための標準化された脳波イメージ生成方法、装置およびコンピュータプログラムに関し、より具体的には、イメージ化された脳波信号を分析する人工知能モデルの正確度、敏感度および特異度を向上させるための学習データであって、標準化された脳波イメージを生成する方法に関する。
【背景技術】
【0002】
脳波は神経系で脳神経の間に信号が伝達される時に発生する電気の流れであり、心身の状態により異なって現れる。このような脳の活動状態を信号形態で測定して分析すれば人の状態を判断することができる。このような脳波は人の心身の状態はもちろん、脳に疾患があるかどうかを判断できるところ、脳波を分析および判読する技術が活発に開発されている。
【0003】
典型的な脳波検査は頭皮の多くの部位に付着した電極を通じて、頭脳でニューロンの活動に伴って生成される自発的電気的活動を一定時間にかけて非侵襲的方法で測定することを意味し、特別な場合、侵襲的方法(例:electrocorticography)を使ったりもする。一般的に脳波を診断的に適用する時には脳波のスペクトル情報に焦点を合わせて進めることになるが、この時、脳波信号の周波数類型を利用することになる。
【0004】
しかし、このような典型的な脳波検査の場合、脳波の微細な差まで区分し難いという問題があり、これを改善するために、最近コンピュータ技術の発展に力づけられて脳波を分析できるソフトウェアがさらに改良発展している趨勢である。
【0005】
従来には脳波をイメージ化して生成された学習データを利用して予め学習されたマシンラーニング基盤の人工知能モデルを利用して、使用者に対する脳波を分析する方法が開発および活用されており、特に、人工知能モデルを学習させるための学習データとして、脳波をイメージ化することによって生成される脳波の地形図(Topographic map、Topomap)(例:
図1)を利用している。
【0006】
このような脳波の地形図の場合、医師などの専門家が患者の状態を推定し診断するには適切な形態のデータではあるが、
図1に図示された通り、イメージの縁(edge)部分のデータが不明確であるため、人工知能モデルの学習に不適切であるという問題があり、実際にこのような脳波の地形図を学習データにして学習された人工知能モデルは正確度が落ちるなど性能が良くないという問題があることが確認されている。
【0007】
前記の問題点を解決するための目的で、先行文献1(韓国登録特許第10-2151497号)では脳波情報に基づいて人工知能モデルを学習させるためのイメージマップを生成する構成が開示されており、先行文献2(韓国登録特許第10-1748731号)では脳波信号を利用して脳波イメージを生成する構成が開示されている。
【0008】
しかし、先行文献1に開示された構成は、特定の脳疾患を判別する動作の性能を向上させるために特定周波数帯域の脳波信号のみ選択的に考慮してイメージマップを生成するという点で、一つのイメージマップだけですべての周波数帯域の脳波信号を分析することが難しく、イメージマップのそれぞれの軸が単純に脳波信号を測定する左右側のチャネルの位置で構成されるという点で、周波数帯域の変化による脳波信号の変化を観測し難いという問題がある。
【0009】
また、先行文献2に開示された構成は、人工知能モデルの学習ではなくアイゲンフェース技術を活用して脳波を分類するための目的で、アイゲンフェース技術が適用可能な形態で脳波イメージを生成する構成であり、これを利用して人工知能モデルを学習させても、それぞれの周波数帯域別に重要度が考慮され難いという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明が解決しようとする課題は、使用者から収集される複数の脳波信号を利用して標準化された脳波イメージを生成し、これを利用してマシンラーニング基盤の人工知能モデルを学習させて脳波を分析するためのマシンラーニング基盤の人工知能モデルの性能(例:モデリング正確度、敏感度および特異度など)を向上させることによって、一つの標準化された脳波イメージだけで左右側のチャネルを通じて収集された脳波信号の比較できるだけでなく、すべての周波数帯域の脳波信号に対する分析が可能であり、周波数帯域別重要度を考慮して脳波信号の分析できる人工知能モデル学習のための標準化された脳波イメージ生成方法、装置およびコンピュータプログラムを提供することである。
【0011】
本発明が解決しようとする課題は、以上で言及された課題に制限されず、言及されていないさらに他の課題は下記の記載から通常の技術者に明確に理解され得るであろう。
【課題を解決するための手段】
【0012】
前述した課題を解決するための本発明の一実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成方法は、コンピューティング装置によって遂行される方法において、使用者に対する複数の脳波信号を収集する段階、前記収集された複数の脳波信号を加工する段階および前記加工された複数の脳波信号を利用して脳波イメージを生成する段階を含むことができる。
【0013】
多様な実施例において、前記複数の脳波信号を収集する段階は、前記使用者の頭の互いに異なる位置に付着される複数の脳波測定チャネルを通じて互いに異なる周波数帯域を有する複数の脳波信号を収集する段階を含むことができる。
【0014】
多様な実施例において、前記収集された複数の脳波信号を加工する段階は、前記収集された複数の脳波信号それぞれに対する指標値を算出する段階、前記指標値が算出された複数の脳波信号を前処理して前記指標値が算出された複数の脳波信号のうち特定周波数帯域の脳波信号をフィルタリングする段階および前記算出された指標値を利用して、前記前処理された複数の脳波信号それぞれに対応するピクセル値を決定する段階を含み、前記脳波イメージを生成する段階は、前記決定されたピクセル値を利用して前記脳波イメージを生成する段階を含むことができる。
【0015】
多様な実施例において、前記指標値を算出する段階は、前記前処理された複数の脳波信号それぞれに対する絶対パワー(Absolute power)、相対パワー(Relative power)、標準値(Z-score)、複雑度(complexity)およびエントロピー(Entropy)のうち少なくとも一つを指標値として算出する段階を含むことができる。
【0016】
多様な実施例において、前記決定されたピクセル値を利用して前記脳波イメージを生成する段階は、前記前処理された複数の脳波信号それぞれに対して決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階を含み、前記予め設定されたテンプレートは、第1軸に周波数変化によるピクセル値が配置され、前記第1軸と垂直方向である第2軸に前記使用者の脳の関心地点の位置変化によるピクセル値が配置され、予め設定された基準周波数値を前記第1軸の中心軸として、前記中心軸を基準として左側領域には脳の左側領域から収集された脳波信号に対応するピクセル値が配置され、前記中心軸を基準として右側領域には脳の右側領域から収集された脳波信号に対応するピクセル値が配置され得る。
【0017】
多様な実施例において、前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、前記中心軸を基準として前記第1軸の左右側それぞれを脳波信号の種類による周波数帯域別に分割して複数の単位区間を生成するものの、前記脳波信号の種類による周波数帯域の範囲にかかわらず前記複数の単位区間が同じ長さを有するように前記第1軸を分割する段階を含むことができる。
【0018】
多様な実施例において、前記第1軸を分割する段階は、前記使用者から前記生成された複数の単位区間のうち第1単位区間に対する長さを延長させることの要請を受ける場合、前記第1単位区間に対する長さを延長させ、前記第1単位区間が延びた長さだけ残りの単位区間の長さを均等に短縮させる段階および前記使用者から前記生成された複数の単位区間のうち第2単位区間に対する長さを短縮させることの要請を受ける場合、前記第2単位区間に対する長さを短縮させ、前記第2単位区間が短縮された長さだけ残りの単位区間の長さを均等に延長させる段階を含むことができる。
【0019】
多様な実施例において、前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、前記第1軸を脳波信号の種類による周波数帯域別に分割して複数の単位区間を生成するものの、前記使用者から入力された周波数帯域別重要度に基づいて、前記複数の単位区間それぞれの長さを決定する段階を含むことができる。
【0020】
多様な実施例において、前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、前記前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を利用してピクセル値マトリクスを生成するものの、前記生成されたピクセル値マトリクスは、行方向に前記前処理された複数の脳波信号の周波数変化によるピクセル値が配列され、列方向に前記前処理された複数の脳波信号の関心地点の位置変化によるピクセル値が配列されるものである、段階、前記生成されたピクセル値マトリクスを行または列を基準として、前記生成されたピクセル値マトリクスを正方マトリクスに変換する段階および前記正方マトリクスに変換されたピクセル値マトリクスを前記予め設定されたテンプレート上に配置して標準化された脳波イメージを生成する段階を含むことができる。
【0021】
多様な実施例において、前記決定されたピクセル値を予め設定されたテンプレート上に配置して前記脳波イメージを生成する段階は、前記前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を前記予め設定されたテンプレート上の前記前処理された複数の脳波信号それぞれの周波数および関心地点の位置に対応する領域に配置するものの、前記複数のピクセル値それぞれに対して互いに隣接した位置に配置されたピクセル値とのイメージ平滑化(image smoothing)を遂行する段階および前記イメージ平滑化された脳波イメージを予め設定された大きさの正四角形に変更するイメージリサイジング(image resizing)を遂行して標準化された脳波イメージを生成する段階を含むことができる。
【0022】
多様な実施例において、前記生成された脳波イメージを利用して人工知能モデルの学習のための学習データを生成するものの、前記生成された学習データは一つの標準化された脳波イメージを含むか、正四角形の形態で結合された複数の標準化された脳波イメージを含むものである、段階をさらに含むことができる。
【0023】
前述した課題を解決するための本発明の他の実施例に係る人工知能モデルの学習のための標準化された脳波イメージ生成装置は、プロセッサ、ネットワークインターフェース、メモリおよび前記メモリにロード(load)され、前記プロセッサによって遂行されるコンピュータプログラムを含むものの、前記コンピュータプログラムは、使用者に対する複数の脳波信号を収集するインストラクション(instruction)、前記収集された複数の脳波信号を加工するインストラクションおよび前記加工された複数の脳波信号を利用して脳波イメージを生成するインストラクションを含むことができる。
【0024】
前述した課題を解決するための本発明のさらに他の実施例に係るコンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムは、コンピューティング装置と結合され、使用者に対する複数の脳波信号を収集する段階、前記収集された複数の脳波信号を加工する段階および前記加工された複数の脳波信号を利用して脳波イメージを生成する段階を実行させるためにコンピュータで読み取り可能な記録媒体に保存され得る。
【0025】
本発明のその他の具体的な事項は詳細な説明および図面に含まれている。
【発明の効果】
【0026】
本発明の多様な実施例によると、使用者から収集される複数の脳波信号を利用して標準化された脳波イメージを生成し、これを利用してマシンラーニング基盤の人工知能モデルを学習させて脳波を分析するためのマシンラーニング基盤の人工知能モデルの性能(例:モデリング正確度、敏感度および特異度など)を画期的に向上させることによって、一つの標準化された脳波イメージだけで左右側のチャネルを通じて収集された脳波信号の比較できるだけでなく、すべての周波数帯域の脳波信号に対する分析が可能であり、周波数帯域別重要度を考慮して脳波信号の分析することができるという利点がある。
【0027】
本発明の効果は以上で言及された効果に制限されず、言及されていないさらに他の効果は下記の記載から通常の技術者に明確に理解され得るであろう。
【図面の簡単な説明】
【0028】
【
図1】従来の人工知能モデル学習に使われる脳波の地形図を図示した図面である。
【0029】
【
図2】本発明の一実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成システムを図示した図面である。
【0030】
【
図3】本発明の他の実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成装置のハードウェア構成図である。
【0031】
【
図4】本発明のさらに他の実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成方法のフローチャートである。
【0032】
【
図5】多様な実施例において、複数の脳波信号を加工する方法のフローチャートである。
【0033】
【
図6】多様な実施例において、加工された複数の脳波信号を利用して標準化された脳波イメージを生成する方法のフローチャートである。
【0034】
【
図7】多様な実施例に適用可能な標準化された脳波イメージ生成テンプレートを図示した図面である。
【
図8】多様な実施例に適用可能な標準化された脳波イメージ生成テンプレートを図示した図面である。
【0035】
【
図9】多様な実施例において、周波数帯域により第1軸を分割する過程を図示した図面である。
【0036】
【
図10】多様な実施例において、ピクセル値間のイメージ平滑化を遂行する過程を図示した図面である。
【0037】
【
図11】多様な実施例において、標準化された脳波イメージを例示的に図示した図面である。
【0038】
【
図12】多様な実施例において、人工知能モデルの学習のための学習データを例示的に図示した図面である。
【0039】
【
図13】多様な実施例に適用可能な標準化された脳波イメージシリーズを図示した図面である。
【発明を実施するための形態】
【0040】
本発明の利点および特徴、そしてそれらを達成する方法は添付される図面と共に詳細に後述されている実施例を参照すると明確となるであろう。しかし、本発明は以下で開示される実施例に制限されるものではなく互いに異なる多様な形態で具現され得、ただし本実施例は本発明の開示を完全なものとし、本発明が属する技術分野の通常の技術者に本発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるのみである。
【0041】
本明細書で使われた用語は実施例を説明するためのものであり本発明を制限しようとするものではない。本明細書で、単数型は文面で特に言及しない限り複数型も含む。明細書で使われる「含む(comprises)」および/または「含む(comprising)」は言及された構成要素の他に一つ以上の他の構成要素の存在または追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を指称し、「および/または」は言及された構成要素のそれぞれおよび一つ以上のすべての組み合わせを含む。たとえ「第1」、「第2」等が多様な構成要素を叙述するために使われるが、これら構成要素はこれらの用語によって制限されないことは言うまでもない。これら用語は単に一つの構成要素を他の構成要素と区別するために使うものである。したがって、以下で言及される第1構成要素は本発明の技術的思想内で第2構成要素であってもよいことは言うまでもない。
【0042】
他の定義がない限り、本明細書で使われるすべての用語(技術および科学的用語を含む)は、本発明が属する技術分野の通常の技術者に共通して理解され得る意味で使われ得るであろう。また、一般的に使われる辞書に定義されている用語は、明白に特に定義されていない限り理想的にまたは過度に解釈されない。
【0043】
明細書で使われる「部」または「モジュール」という用語はソフトウェア、FPGAまたはASICのようなハードウェア構成要素を意味し、「部」または「モジュール」は何らかの役割を遂行する。しかし、「部」または「モジュール」はソフトウェアまたはハードウェアに限定される意味ではない。「部」または「モジュール」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として「部」または「モジュール」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と「部」または「モジュール」内で提供される機能はさらに小さい数の構成要素および「部」または「モジュール」で結合されたり追加的な構成要素と「部」または「モジュール」にさらに分離され得る。
【0044】
空間的に相対的な用語である「下(below)」、「下(beneath)」、「下部(lower)」、「上(above)」、「上部(upper)」等は図面に図示されているように、一つの構成要素と他の構成要素との相関関係を容易に記述するために使われ得る。空間的に相対的な用語は図面に図示されている方向に加え、使用時または動作時の構成要素の互いに異なる方向を含む用語と理解されるべきである。例えば、図面に図示されている構成要素をひっくり返す場合、他の構成要素の「下(below)」または「下(beneath)」で記述された構成要素は他の構成要素の「上(above)」に置かれ得る。したがって、例示的な用語である「下」は、下と上の方向をすべて含むことができる。構成要素は他の方向へも配向され得、これに伴い、空間的に相対的な用語は配向によって解釈され得る。
【0045】
本明細書で、コンピュータは少なくとも一つのプロセッサを含むすべての種類のハードウェア装置を意味するもので、実施例により該当ハードウェア装置で動作するソフトウェア的構成も包括する意味として理解され得る。例えば、コンピュータはスマートフォン、タブレットPC、デスクトップ、ノートパソコンおよび各装置で駆動される使用者クライアントおよびアプリケーションをすべて含む意味で理解され得、また、これに制限されるものではない。
【0046】
以下、添付された図面を参照して本発明の実施例を詳細に説明する。
【0047】
本明細書で説明される各段階はコンピュータによって遂行されるものとして説明されるが、各端系の主体はこれに制限されるものではなく、実施例により各段階の少なくとも一部が互いに異なる装置で遂行されてもよい。
【0048】
【0049】
図2は、本発明の一実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成システムを図示した図面である。
【0050】
図2を参照すると、本発明の一実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成システムは、標準化された脳波イメージ生成装置100、使用者端末200および外部サーバー300を含むことができる。
【0051】
ここで、
図1に図示された人工知能モデル学習のための標準化された脳波イメージ生成システムは一実施例に従ったものであり、その構成要素が
図1に図示された実施例に限定されるものではなく、必要に応じて付加、変更または削除され得る。
【0052】
一実施例において、標準化された脳波イメージ生成装置100は使用者から収集される複数の脳波信号を利用して、人工知能モデル(例:脳波信号をイメージ化することによって生成される脳波イメージを入力データにして使用者の状態情報に関する結果データを出力するイメージ分析モデル)を学習させるための学習データとして標準化された脳波イメージを生成することができる。
【0053】
例えば、標準化された脳波イメージ生成装置100は使用者から収集される複数の脳波信号を加工し、加工された複数の脳波信号をピクセル値に変換し、変換されたピクセル値を予め設定されたテンプレート上に配置することによって、脳波イメージを生成することができる。
【0054】
また、標準化された脳波イメージ生成装置100は前記の過程で生成された脳波イメージを加工(例:イメージ平滑化(Image smoothing)およびイメージリサイジング(Image resizing))することにより、人工知能モデルを学習させるための標準化された脳波イメージを生成することができる。
【0055】
多様な実施例において、標準化された脳波イメージ生成装置100はネットワーク400を通じて脳波測定装置(図示されず)と連結され得、脳波測定装置を通じて収集される複数の脳波信号を収集することができる。
【0056】
ここで、ネットワーク400は複数の端末およびサーバーのようなそれぞれのノード相互間で情報交換が可能な連結構造を意味し得る。例えば、ネットワーク400は近距離通信網(LAN:Local Area Network)、広域通信網(WAN:Wide Area Network)、インターネット(WWW:World Wide Web)、有線・無線データ通信網、電話網、有線・無線テレビ通信網などを含む。
【0057】
また、ここで、無線データ通信網は3G、4G、5G、3GPP(3rd Generation Partnership Project)、5GPP(5th Generation Partnership Project)、LTE(Long Term Evolution)、WIMAX(World Interoperability for Microwave Access)、ワイファイ(Wi-Fi)、インターネット(Internet)、LAN(Local Area Network)、Wireless LAN(Wireless Local Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、RF(Radio Frequency)、ブルートゥース(Bluetooth)ネットワーク、NFC(Near-Field Communication)ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、DMB(Digital Multimedia Broadcasting)ネットワークなどが含まれるが、これに限定されはしない。
【0058】
多様な実施例において、標準化された脳波イメージ生成装置100は前記の方法により生成された標準化された脳波イメージを利用して学習データを生成し、生成された学習データを利用して人工知能モデルを学習させることができる。
【0059】
ここで、人工知能モデルは一つ以上のネットワーク関数で構成され、一つ以上のネットワーク関数は一般的に「ノード」と指称され得る相互に連結された計算単位の集合で構成され得る。このような「ノード」は「ニューロン(neuron)」と指称されてもよい。一つ以上のネットワーク関数は少なくとも一つ以上のノードを含んで構成される。一つ以上のネットワーク関数を構成するノード(またはニューロン)は一つ以上の「リンク」により相互に連結され得る。
【0060】
人工知能モデル内で、リンクを通じて連結された一つ以上のノードは相対的に入力ノードおよび出力ノードの関係を形成することができる。入力ノードおよび出力ノードの概念は相対的なものであって、一つのノードに対して出力ノードの関係にある任意のノードは他のノードとの関係で入力ノードの関係にあり得、その逆も成立できる。前述した通り、入力ノード対出力ノードの関係はリンクを中心に生成され得る。一つの入力ノードに一つ以上の出力ノードがリンクを通じて連結され得、その逆も成立できる。
【0061】
一つのリンクを通じて連結された入力ノードおよび出力ノードの関係において、出力ノードは入力ノードに入力されたデータに基づいてその値が決定され得る。ここで入力ノードと出力ノードを相互に連結するノードは加重値(weight)を有することができる。加重値は可変的であり得、人工知能モデルが所望の機能を遂行するために、使用者またはアルゴリズムによって可変され得る。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって相互に連結された場合、出力ノードは前記出力ノードと連結された入力ノードに入力された値およびそれぞれの入力ノードに対応するリンクに設定された加重値に基づいて出力ノード値を決定することができる。
【0062】
前述した通り、人工知能モデルは一つ以上のノードが一つ以上のリンクを通じて相互に連結されて人工知能モデル内で入力ノードおよび出力ノードの関係を形成する。人工知能モデル内でノードとリンクの個数およびノードとリンクの間の相関関係、リンクそれぞれに付与された加重値の値により、人工知能モデルの特性が決定され得る。例えば、同じ個数のノードおよびリンクが存在し、リンクの間の加重値の値が異なる二つの人工知能モデルが存在する場合、二つの人工知能モデルは互いに異なるものと認識され得る。
【0063】
人工知能モデルを構成するノードのうち一部は、最初の入力ノードからの距離に基づいて、一つのレイヤ(layer)を構成することができる。例えば、最初の入力ノードからの距離がnであるノードの集合は、nレイヤを構成することができる。最初の入力ノードからの距離は、最初の入力ノードから該当ノードまで到達するために経なければならないリンクの最小個数によって定義され得る。しかし、このようなレイヤの定義は説明のための任意的なものであり、人工知能モデル内でレイヤの次数は前述とは異なる方法で定義され得る。例えば、ノードのレイヤは最終出力ノードからの距離によって定義されてもよい。
【0064】
最初の入力ノードは、人工知能モデル内のノードのうち他のノードとの関係でリンクを経ずにデータが直接入力される一つ以上のノードを意味し得る。または人工知能モデルネットワーク内で、リンクを基準としたノード間の関係において、リンクに連結された他の入力ノードを有さないノードを意味し得る。これと同様に、最終出力ノードは人工知能モデル内のノードのうち他のノードとの関係で、出力ノードを有さない一つ以上のノードを意味し得る。また、隠れノードは最初の入力ノードおよび最後の出力ノードではなく人工知能モデルを構成するノードを意味し得る。本発明の一実施例に係る人工知能モデルは入力レイヤのノードが出力レイヤに近い隠れレイヤのノードより多くてもよく、入力レイヤから隠れレイヤに進行されるにつれてノードの数が減少する形態の人工知能モデルであり得る。
【0065】
人工知能モデルは一つ以上の隠れレイヤを含むことができる。隠れレイヤの隠れノードは以前のレイヤの出力と周辺の隠れノードの出力を入力にすることができる。各隠れレイヤ別隠れノードの数は同一であってもよく異なってもよい。入力レイヤのノードの数は入力データのデータフィールドの数に基づいて決定され得、隠れノードの数と同一であってもよく異なってもよい。入力レイヤに入力された入力データは隠れレイヤの隠れノードによって演算され得、出力レイヤである完全連結レイヤ(FCL:fully connected layer)により出力され得る。
【0066】
また、標準化された脳波イメージ生成装置100は標準化された脳波イメージを利用して人工知能モデルを学習させることができる。具体的には、標準化された脳波イメージ生成装置100はラベリング(Labeling)された学習データセットを利用して人工知能モデルを構成する一つ以上のネットワーク関数に対する学習を遂行できる。例えば、標準化された脳波イメージ生成装置100は学習入力データセットそれぞれを一つ以上のネットワーク関数に入力させ、一つ以上のネットワーク関数で演算された出力データそれぞれと学習入力データセットそれぞれのラベルに該当する学習出力データセットそれぞれを比較して誤差を導き出すことができる。すなわち、人工知能モデルの学習で学習入力データは一つ以上のネットワーク関数の入力レイヤに入力され得、学習出力データは一つ以上のネットワーク関数の出力と比較され得る。標準化された脳波イメージ生成装置100は学習入力データに対する一つ以上のネットワーク関数の演算結果と学習出力データ(ラベル)の誤差に基づいて人工知能モデルを学習させることができる。
【0067】
また、標準化された脳波イメージ生成装置100は誤差に基づいて一つ以上のネットワーク関数の加重値を逆伝播方式で調整することができる。すなわち、標準化された脳波イメージ生成装置100は、学習入力データに対する一つ以上のネットワーク関数の演算結果と学習出力データの誤差に基づいて一つ以上のネットワーク関数の出力が学習出力データに近づくように加重値を調整することができる。
【0068】
標準化された脳波イメージ生成装置100は一つ以上のネットワーク関数の学習が事前決定されたエポック以上遂行された場合、検証データを利用して学習の中断の有無を決定することができる。事前決定されたエポックは全体学習目標エポックの一部であり得る。検証データはラベリングされた学習データセットのうち少なくとも一部で構成され得る。すなわち、標準化された脳波イメージ生成装置100は学習データセットを通じて人工知能モデルの学習を遂行し、人工知能モデルの学習が事前決定されたエポック以上繰り返された後、検証データを利用して人工知能モデルの学習効果が事前決定された水準以上であるか否かを判断することができる。例えば、標準化された脳波イメージ生成装置100は100個の学習データを利用して目標反復学習回数が10回である学習を遂行する場合、事前決定されたエポックである10回の反復学習を遂行した後、10個の検証データを利用して3回の反復学習を遂行し、3回の反復学習の間人工知能モデル出力の変化が事前決定された水準以下である場合、さらに多くの学習が無意味であると判断して学習を終了することができる。すなわち、検証データは人工知能モデルの反復学習でエポック別学習の効果が一定以上であるか以下であるかに基づいて学習の完了を決定するのに利用され得る。前述した学習データ、検証データの数および反復回数は例示に過ぎず、これに限定されない。
【0069】
標準化された脳波イメージ生成装置100は、テストデータセットを利用して一つ以上のネットワーク関数の性能をテストして一つ以上のネットワーク関数の活性化の有無を決定することによって、人工知能モデルを生成することができる。テストデータは人工知能モデルの性能を検証するために使われ得、学習データセットのうち少なくとも一部で構成され得る。例えば、学習データセットのうち70%は人工知能モデルの学習(すなわち、ラベルと類似する結果値を出力するように加重値を調整するための学習)のために活用され得、30%は人工知能モデルの性能を検証するためのテストデータとして活用され得る。
【0070】
標準化された脳波イメージ生成装置100は、学習が完了した人工知能モデルにテストデータセットを入力し誤差を測定して事前決定された性能以上であるかどうかにより人工知能モデルの活性化の有無を決定することができる。標準化された脳波イメージ生成装置100は、学習が完了した人工知能モデルにテストデータを利用して学習完了した人工知能モデルの性能を検証して学習完了した人工知能モデルの性能が事前決定された基準以上の場合、該当人工知能モデルを他のアプリケーションで使うように活性化することができる。
【0071】
また、標準化された脳波イメージ生成装置100は、学習完了した人工知能モデルの性能が事前決定された基準以下である場合、該当人工知能モデルを非活性化して廃棄することができる。例えば、標準化された脳波イメージ生成装置100は、正確度(accuracy)、精密度(precision)、再現率(recall)等の要素を基準として生成された人工知能モデルモデルの性能を判断することができる。前述した性能評価基準は例示に過ぎず、これに限定されない。また、本発明の多様な実施例により標準化された脳波イメージ生成装置100は、それぞれの人工知能モデルを独立的に学習させて複数の人工知能モデルモデルを生成することができ、性能を評価して一定性能以上の人工知能モデルのみを脳波イメージ分析のために使うことができる。
【0072】
一実施例において、使用者端末200はネットワーク400を通じて標準化された脳波イメージ生成装置100と連結され得、標準化された脳波イメージ生成装置100が人工知能モデル学習のための標準化された脳波イメージ生成プロセスを遂行することによって生成される標準化された脳波イメージの提供を受けたり、標準化された脳波イメージを利用して学習された人工知能モデルを通じて複数の脳波信号を分析した結果の提供を受けることができる。
【0073】
ここで、使用者端末200は、携帯性と移動性が保障される無線通信装置であって、ナビゲーション、PCS(Personal Communication System)、GSM(Global System for Mobile communications)、PDC(Personal Digital Cellular)、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、IMT(International Mobile Telecommunication)-2000、CDMA(Code Division Multiple Access)-2000、W-CDMA(W-Code Division Multiple Access)、Wibro(Wireless Broadband Internet)端末、スマートフォン(Smartphone)、スマートパッド(Smartpad)、タブレットPC(Tablet PC)などのようなすべての種類のハンドヘルド(Handheld)基盤の無線通信装置を含むことができるが、これに限定されない。
【0074】
一実施例において、外部サーバー300はネットワーク400を通じて標準化された脳波イメージ生成装置100と連結され得、標準化された脳波イメージ生成装置100が人工知能モデル学習のための標準化された脳波イメージ生成プロセスを遂行するために必要な各種情報、データを保存および提供したり、人工知能モデル学習のための標準化された脳波イメージ生成プロセスを遂行することによって生成される各種データを収集して保存することができる。例えば、外部サーバー300は標準化された脳波イメージ生成装置100の外部に別途に備えられる保存サーバーであり得るが、これに限定されない。以下、
図3を参照して、人工知能モデル学習のための標準化された脳波イメージ生成プロセスを遂行する標準化された脳波イメージ生成装置100のハードウェア構成について説明することにする。
【0075】
【0076】
図3は、本発明の他の実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成装置のハードウェア構成図である。
【0077】
図3を参照すると、本発明の他の実施例に係る標準化された脳波イメージ生成装置100(以下、「コンピューティング装置100」)は一つ以上のプロセッサ110、プロセッサ110によって遂行されるコンピュータプログラム151をロード(Load)するメモリ120、バス130、通信インターフェース140およびコンピュータプログラム151を保存するストレージ150を含むことができる。ここで、
図3には本発明の実施例に関連する構成要素のみ図示されている。したがって、本発明が属した技術分野の通常の技術者であれば、
図3に図示された構成要素他に他の汎用的な構成要素がさらに含まれ得るということが分かる。
【0078】
プロセッサ110はコンピューティング装置100の各構成の全般的な動作を制御する。プロセッサ110はCPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、GPU(Graphic Processing Unit)または本発明の技術分野に広く知られている任意の形態のプロセッサを含んで構成され得る。
【0079】
また、プロセッサ110は本発明の実施例に係る方法を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を遂行でき、コンピューティング装置100は一つ以上のプロセッサを具備することができる。
【0080】
多様な実施例において、プロセッサ110はプロセッサ110の内部で処理される信号(またはデータ)を一時的および/または永久的に保存するラム(RAM:Random Access Memory、図示されず)およびロム(ROM:Read-Only Memory、図示されず)をさらに含むことができる。また、プロセッサ110はグラフィック処理部、ラムおよびロムのうち少なくとも一つを含むシステムオンチップ(SoC:system on chip)形態で具現され得る。
【0081】
メモリ120は各種データ、命令および/または情報を保存する。メモリ120は本発明の多様な実施例に係る方法/動作を実行するためにストレージ150からコンピュータプログラム151をロードすることができる。メモリ120にコンピュータプログラム151がロードされると、プロセッサ110はコンピュータプログラム151を構成する一つ以上のインストラクションを実行することによって前記方法/動作を遂行できる。メモリ120はRAMのような揮発性メモリで具現され得るであろうが、本開示の技術的範囲はこれに限定されるものではない。
【0082】
バス130はコンピューティング装置100の構成要素間通信機能を提供する。バス130はアドレスバス(address Bus)、データバス(Data Bus)および制御バス(Control Bus)等多様な形態のバスで具現され得る。
【0083】
通信インターフェース140はコンピューティング装置100の有線・無線インターネット通信を支援する。また、通信インターフェース140はインターネット通信以外の多様な通信方式を支援してもよい。このために、通信インターフェース140は本発明の技術分野に広く知られている通信モジュールを含んで構成され得る。いくつかの実施例で、通信インターフェース140は省略されてもよい。
【0084】
ストレージ150はコンピュータプログラム151を非臨時的に保存することができる。コンピューティング装置100を通じて人工知能モデル学習のための標準化された脳波イメージ生成プロセスを遂行する場合、ストレージ150は人工知能モデル学習のための標準化された脳波イメージ生成プロセスを提供するために必要な各種情報を保存することができる。
【0085】
ストレージ150はROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリなどのような不揮発性メモリ、ハードディスク、着脱型ディスク、または本発明が属する技術分野で広く知られている任意の形態のコンピュータで読み取り可能な記録媒体を含んで構成され得る。
【0086】
コンピュータプログラム151はメモリ120にロードされる時、プロセッサ110に本発明の多様な実施例に係る方法/動作を遂行させる一つ以上のインストラクションを含むことができる。すなわち、プロセッサ110は前記一つ以上のインストラクションを実行することによって、本発明の多様な実施例に係る前記方法/動作を遂行できる。
【0087】
一実施例において、コンピュータプログラム151は使用者に対する複数の脳波信号を収集する段階、収集された複数の脳波信号を加工する段階および加工された複数の脳波信号を利用して脳波イメージを生成する段階を含む人工知能モデル学習のための標準化された脳波イメージ生成方法を遂行するようにする一つ以上のインストラクションを含むことができる。
【0088】
本発明の実施例に関連して説明された方法またはアルゴリズムの段階は、ハードウェアで直接具現されたり、ハードウェアによって遂行されるソフトウェアモジュールで具現されたり、またはこれらの結合によって具現され得る。ソフトウェアモジュールはRAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ(Flash Memory)、ハードディスク、着脱型ディスク、CD-ROM、または本発明が属する技術分野で広く知られている任意の形態のコンピュータ読み取り可能記録媒体に常駐してもよい。
【0089】
本発明の構成要素は、ハードウェアであるコンピュータと結合されて実行されるためにプログラム(またはアプリケーション)で具現されて媒体に保存され得る。本発明の構成要素はソフトウェアプログラミングまたはソフトウェア要素で実行され得、これと同様に、実施例はデータ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせで具現される多様なアルゴリズムを含み、C、C++、ジャバ(Java)、アセンブラ(assembler)などのようなプログラミングまたはスクリプト言語で具現され得る。機能的な側面は一つ以上のプロセッサで実行されるアルゴリズムで具現され得る。以下、
図4~11を参照して、コンピューティング装置100が遂行する人工知能モデル学習のための標準化された脳波イメージ生成プロセスについて説明することにする。
【0090】
【0091】
図4は、本発明のさらに他の実施例に係る人工知能モデル学習のための標準化された脳波イメージ生成方法のフローチャートである。
【0092】
図4を参照すると、S110段階で、コンピューティング装置100は第1使用者(例:患者など脳波信号を分析する対象となる人)に対して複数の脳波信号を収集することができる。例えば、コンピューティング装置100は第1使用者の頭の互いに異なる位置に付着される複数の脳波測定チャネルを含む脳波測定装置(図示されず)を通じて互いに異なる周波数帯域を有する複数の脳波信号を収集することができる。
【0093】
ここで、脳波測定装置は第1使用者の頭の互いに異なる位置に付着される複数のチャネル(2、4、8、16、19、24、68、128または256個であり、キャップまたは個別電極を付着)を含み、脳波測定10-20システムに準じてそれぞれのチャネルを通じて独立的な脳波信号を測定する装置であり得、複数のチャネルそれぞれを通じて複数の脳波信号を収集することができる。例えば、脳波測定装置は19個のチャネル(例:Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz、Pz)(ここで、Fz、Cz、Pzは共通チャネル)を含むことができ、19個のチャネルを通じて独立的な19個の脳波信号を測定することができる。しかし、これに限定されない。
【0094】
多様な実施例において、コンピューティング装置100は脳波測定装置を通じて、第1使用者が別途の動作を取っていない平常時の状態で測定される複数の脳波信号を収集することができるが、これに限定されず、各種動作を取ったり各種テストを遂行する過程で測定される複数の脳波信号を収集することができる。
【0095】
S120段階で、コンピューティング装置100は脳波測定装置を通じて収集された第1使用者の複数の脳波信号を加工することができる。以下、
図5を参照して、コンピューティング装置100が遂行する複数の脳波信号を加工する方法について説明することにする。
【0096】
【0097】
図5は、多様な実施例において、複数の脳波信号を加工する方法のフローチャートである。
【0098】
図5を参照すると、S210段階で、コンピューティング装置100は複数の脳波信号を前処理して特定周波数帯域の脳波信号をフィルタリングすることができる。例えば、コンピューティング装置100は複数の脳波信号のうち必要でない周波数帯域または雑音(noise)に脆弱であり得る周波数帯域(例4Hz未満の周波数帯域に対応する脳波信号、45Hzを超過する周波数帯域に対応する脳波信号)をフィルタリングして1~45Hz範囲の周波数帯域に対応する脳波信号のみを抽出することができる。
【0099】
多様な実施例において、コンピューティング装置100は第2使用者(例:医師など脳波信号を分析した結果を得ようとする人または人工知能モデル学習のための標準化された脳波イメージ生成プロセスの管理者など)から特定周波数帯域の脳波信号(例:デルタ波、アルファ波、ベータ波、ガンマ波のうちいずれか一つの周波数帯域に対応する脳波信号)の選択を受ける場合、第2使用者から選択された特定周波数帯域の脳波信号を除いて残りの周波数帯域に対応する脳波信号をフィルタリング(またはNull処理)することができる。
【0100】
S220段階で、コンピューティング装置100はS210段階を通じて前処理された複数の脳波信号(特定周波数帯域に対応する脳波信号がフィルタリングされた結果)を利用して、前処理された複数の脳波信号それぞれに対する指標値を算出することができる。
【0101】
ここで、前処理された複数の脳波信号それぞれに対する指標値は絶対パワー(Absolute power)、相対パワー(Relative power)、標準値(Z-score)、複雑度(complexity)およびエントロピー(Entropy)のうち少なくとも一つを含むことができるが、これに限定されない。
【0102】
まず、コンピューティング装置100は複数の脳波信号それぞれに対する絶対パワー(Absolute power)を指標値として算出することができる。例えば、コンピューティング装置100は前処理された複数の脳波信号それぞれのパワー値(例:複数の脳波信号それぞれが出現した程度)の和を算出することによって、前処理された複数の脳波信号それぞれに対する絶対パワーを算出することができる。しかし、これに限定されず、脳波信号に対する絶対パワーを算出する多様な方法が適用され得る。
【0103】
また、コンピューティング装置100は複数の脳波信号それぞれに対する相対パワー(Relative power)を指標値として算出することができる。例えば、コンピューティング装置100は前処理された複数の脳波信号のパワー値の総和で、前処理された複数の脳波信号それぞれの周波数別パワー値の比率(%)を算出することによって、前処理された複数の脳波信号それぞれに対する相対パワーを算出することができる。例えば、コンピューティング装置100は特定周波数帯域に対するパワー値(PSD)を算出し、算出された値のうち最も大きいパワー値を基準として相対パワーを算出することができる。しかし、これに限定されず、脳波信号に対する相対パワーを算出する多様な方法が適用され得る。
【0104】
また、コンピューティング装置100は複数の脳波信号それぞれに対する標準値(Z-score)を指標値として算出することができる。例えば、コンピューティング装置100は前処理された複数の脳波信号を正規分布化することができ、正規分布化された複数の脳波信号を利用して標準値を算出(例:(脳波信号の強度-前処理された複数の脳波信号の強度の標準偏差値)/(前処理された複数の脳波信号の強度の平均値))することができる。しかし、これに限定されず、脳波信号に対する標準値を算出する多様な方法が適用され得る。
【0105】
また、コンピューティング装置100は複数の脳波信号それぞれに対する複雑度(complexity)およびエントロピー(Entropy)を指標値として算出することができる。例えば、コンピューティング装置100は近似エントロピー(approximate entropy)を利用した複雑度算出方法(例:m個のサンプル区間に対して他のm+1個のサンプル区間にも脳波信号の特性が類似しているように維持されるかを政略的に算出する方法)を利用して、前処理された複数の脳波信号それぞれに対する複雑度を算出することができる。しかし、これに限定されず、脳波信号に対する複雑度は算出する多様な方法が適用され得る。
【0106】
S230段階で、コンピューティング装置100は前記の方法により算出された指標値を利用して、前処理された複数の脳波信号それぞれに対応するピクセル値を決定することができる。ここで、ピクセル値を決定する方法は、指標値の大きさ別色相データ(例:指標値の大きさによる色相(例:赤色、だいだい色、黄色、緑色、青色、藍色、紫色)のピクセル値がマッチングされて保存されたデータ)に基づいて決定することができるが、これに限定されない。
【0107】
【0108】
再び、
図3を参照すると、S130段階で、コンピューティング装置100は前記の方法で決定されたピクセル値を利用して脳波イメージを生成することができる。
【0109】
多様な実施例において、コンピューティング装置100は前処理された複数の脳波信号それぞれに対して決定されたピクセル値を予め設定されたテンプレート上に配置して脳波イメージを生成することができる。以下、
図6~11を参照して、コンピューティング装置100が遂行する脳波イメージ生成方法について説明することにする。
【0110】
【0111】
図6は、多様な実施例において、加工された複数の脳波信号を利用して標準化された脳波イメージを生成する方法のフローチャートである。
【0112】
図6を参照すると、S310段階で、コンピューティング装置100は前処理された複数の脳波信号それぞれに対して決定されたピクセル値を予め設定されたテンプレート上に配置することができる。
【0113】
ここで、予め設定されたテンプレートは
図7(A)に図示された通り、第1軸(X軸)に周波数変化によるピクセル値が配置され得、第1軸と垂直方向である第2軸(Y軸)に第1使用者の脳の関心地点(Region of Interest、ROI)の位置変化によるピクセル値が配置され得る。しかし、これに限定されず、予め設定されたテンプレートは第1軸に周波数変化によるピクセル値が配置され、第2軸に第1使用者の頭に付着される複数の脳波測定チャネルそれぞれの位置によるピクセル値が配置され得る。
【0114】
また、予め設定されたテンプレートは予め設定された周波数値(例:前処理された複数の脳波信号の周波数値のうち最も低い周波数値である1Hz)を第1軸の中心軸として、中心軸である1Hzを基準として左側領域には脳の左側領域から収集された脳波信号に対応するピクセル値が配置され得、中心軸である1Hzを基準として右側領域には脳の右側領域から収集された脳波信号に対応するピクセル値が配置され得る。
【0115】
ここで、第1軸は予め設定された単位周波数の大きさ(例:0.25Hz)で分割され得、第2軸は関心地点の個数に合わせて分割(例:Desikan-Killiany atlas regions基盤の総34個の関心地点(例:banks-STS、Caudal-anterior-cingulate、Caudal-middle-fronta、cuneus、entorhinal、frontal-pole、fusiform、inferior-parietal、inferior-tempora、insula、isthmus-cingulate、lateral-occipital、lateral-orbitofrontal、lingual、medial-orbitofrontal、middle-temporal、paracentral、parahippocampal、pars-opercularis、pars-orbitalis、pars-triangularis、pericalcarine、post-central、posterior-cingulate、precentral、precuneus、rostral-anterior-cingulate、rostral-middle-frontal、superior-frontal、superior-parietal、superior-temporal、supramarginal、temporal-poleおよびtransverse-temporal)され得る。
【0116】
すなわち、予め設定されたテンプレートは第1軸に352分割され、第2軸に34分割されることによって、総11,968個のピクセル値が配置される領域を含むことができ、コンピューティング装置100はこれに伴い、前処理された脳波信号に対する指標値を0.25Hz単位、34個の関心地点別に算出して総11,968個の指標値を算出でき、算出された11,968個の指標値に対応して11,968個のピクセル値を決定することができる。しかし、これに限定されず、第1軸および第2軸の分割個数は多様に設定され得る。
【0117】
また、ここで、予め設定されるテンプレートの第2軸はDesikan-Killiany atlas regions基盤の34個の関心地点の位置により分割されるものとして説明しているが、これに限定されず、
図8(A)に図示された通り、第1使用者の頭に付着される複数の脳波測定チャネルの位置による11個の関心地点の位置(例:第1軸を基準として左右領域それぞれに11個の位置(F3、C3、C4、P3、O1、T3、T4、T5、Fz、Cz、Pzであり、このうちFz、Cz、Pzは左右側が重なった位置))により分割され得る。
【0118】
多様な実施例において、コンピューティング装置100は第1軸に設定される中心軸(1Hz)を基準として、第1軸の左右側それぞれを脳波信号の種類による周波数帯域別に分割して複数の単位区間を生成することができる。例えば、コンピューティング装置100は第1軸の中心軸を基準として左側1Hz~45Hz区間と右側1Hz~45Hz区間それぞれを脳波信号の種類によって総8個の区間(例:デルタ区間(1~4Hz区間)、シータ区間(4~8Hz区間)、アルファ1区間(8~10Hz区間)、アルファ2区間(10~12Hz区間)、ベータ1区間(12~15Hz区間)、ベータ2区間(15~20Hz区間)、ベータ3区間(20~30Hz区間)およびガンマ区間(30~45Hz区間))に分割することができる。
【0119】
この時、コンピューティング装置100は脳波信号の種類によって分割されたそれぞれの単位区間の長さを、周波数帯域の範囲にかかわらず同じ長さを有するように第1軸を分割することができる。
【0120】
例えば、
図9に図示された通り、デルタ区間とシータ区間はそれぞれ3Hzおよび4Hz範囲の区間を有するのに比べて、アルファ1区間とアルファ2区間は2Hz範囲の区間を有するところ、デルタ波とシータ波と比較した時に相対的に狭い区間にピクセル値が配置され得る。このように、すなわち、それぞれの脳波信号に対応するピクセル値が配置される領域が不均衡な場合、アルファ1区間やアルファ2区間のように相対的に狭い区間に配置される脳波信号に対しては学習および分析効果が低下し得るという問題がある。
【0121】
これを考慮して、コンピューティング装置100はそれぞれの周波数帯域の範囲にかかわらず周波数帯域別に同じ長さの区間を有するように第1軸を分割することができる。これを通じて、アルファ波、デルタ波などのように相対的に狭い範囲の周波数帯域を有する脳波信号(例:周波数帯域が4Hz範囲内の脳波信号)に対応するピクセル値は相対的に広い領域に配置され得、ベータ波、ガンマ波のように広い範囲の周波数帯域を有する脳波信号に対応するピクセル値は相対的に狭い領域に配置され得る。例えば、アルファ1波の場合、第1長さを有するアルファ1区間に第1軸方向に8個のピクセル値が配置され得るのに反して、ガンマ波の場合、アルファ1区間と同じ第1長さを有するガンマ区間に第1軸方向に60個のピクセル値が配置され得る。
【0122】
多様な実施例において、コンピューティング装置100は第1軸の左右側それぞれを脳波信号の種類による周波数帯域別に均等に分割して、同じ長さを有する複数の単位区間を生成するものの、第2使用者から特定区間に対する長さを調整することの要請を受ける場合、特定区間に対する長さを調整することによって変更される長さだけ残りの単位区間の長さを均等に調整することができる。
【0123】
例えば、コンピューティング装置100は第1単位区間に対する脳波信号をより精密に観測するために第2使用者から第1単位区間の長さを延長させることの要請を受ける場合、第1単位区間の長さを第2使用者が要請した大きさだけ延長させることができ、第1単位区間が延びた長さだけ、残りの単位区間の長さを均等に短縮(例:第1単位区間の長さを1だけ延長させる場合、残りの7個の単位区間それぞれを1/7だけ短縮)させることができる。
【0124】
また、コンピューティング装置100は第2単位区間の重要度が低いことによって第2使用者から第2単位区間の長さを短縮させることの要請を受ける場合、第2単位区間の長さを第2使用者が要請した大きさだけ短縮させることができ、第2単位区間が短縮された長さだけ残りの単位区間の長さを均等に延長(例:第2単位区間の長さを1だけ短縮させる場合、残りの7個の単位区間それぞれを1/7だけ延長)させることができる。
【0125】
多様な実施例において、コンピューティング装置100は第1軸に設定される中心軸(1Hz)を基準として、第1軸の左右側それぞれを脳波信号の種類による周波数帯域別に分割して複数の単位区間を生成するものの、第2使用者から入力された周波数帯域別重要度に基づいて複数の単位区間それぞれの長さを決定でき、決定された複数の単位区間それぞれの長さに合わせて第1軸を分割することができる。例えば、コンピューティング装置100は脳波信号の種類に基づいて総8種類の脳波信号(例:デルタ波、シータ波、アルファ1波、アルファ2波、ベータ1波、ベータ2波、ベータ3波およびガンマ波)それぞれに対する優先順位(例:1~8順位)の設定を受けることができ、設定された優先順位に基づいて優先順位が高い区間が低い区間より相対的に大きい長さを有するように第1軸を分割することができる。
【0126】
S320段階で、コンピューティング装置100は前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を予め設定されたテンプレート上に配置するものの、複数のピクセル値それぞれに対して互いに隣接した位置に配置されたピクセル値とのイメージ平滑化(image smoothing)を遂行できる。
【0127】
例えば、コンピューティング装置100は
図10に図示された通り、第1領域10に配置されたピクセル値および第1領域10に配置されたピクセル値と隣接した位置である第2領域20に配置されたピクセル値間のイメージ平滑化を遂行して、第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値が連続されるようにすることができる。
【0128】
ここで、第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値間のイメージ平滑化を遂行する方法は、第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値が接する領域である第3領域30に、第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値の平均値を配置する方法が適用され得るが、これに限定されない。
【0129】
また、より連続的な結果を導き出すために、第3領域30に第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値の平均値を配置する方法に対しても、第3領域30を複数の第3領域に細分化し、複数の細分化された領域に対して順次平均値を反映することができる。
【0130】
例えば、第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値が接する領域である第3領域30を3個の第3領域(例:第3-1領域、第3-2領域および第3-3領域)に分割した後、第1領域10に配置されたピクセル値と第2領域20に配置されたピクセル値の平均である第1平均値を第3-2領域に配置することができる。また、第1領域10に配置されたピクセル値と第1平均値の平均である第2平均値を第3-1領域に配置し、第1平均値と第2領域20に配置されたピクセル値の平均である第3平均値を第3-3領域に配置することができる。
【0131】
S330段階で、コンピューティング装置100はS320段階を経て予め設定されたテンプレート上に複数のピクセル値が配置されることによって生成された脳波イメージを予め設定された大きさの正四角形に変更するイメージリサイジング(image resizing)を遂行することによって、標準化された脳波イメージ(例:
図11)を生成することができる(ここで、
図11(A)は指標値が絶対パワーである時の標準化された脳波イメージであり、
図11(B)は指標値が相対パワーである時の標準化された脳波イメージである)。
【0132】
ここで、予め設定された大きさは第2使用者によって設定される値であり得るが、これに限定されない。また、標準化された脳波イメージは人工知能モデルの性能向上のために正四角形で生成され得るが、これに限定されず、多様な形態が適用され得る。
【0133】
また、ここで、コンピューティング装置100により遂行されるイメージ平滑化動作(S320段階)およびイメージリサイジング動作(S330段階)はそれぞれ順次遂行されるものとして説明しているが、これに限定されず、イメージリサイジングを通じて脳波イメージを正四角形に変更するとともに、イメージ平滑化を遂行できる。
【0134】
多様な実施例において、コンピューティング装置100は前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を利用してピクセル値マトリクスを生成し、これを利用して標準化された脳波イメージを生成することができる。
【0135】
まず、コンピューティング装置100は前処理された複数の脳波信号それぞれに対応して決定された複数のピクセル値を利用してピクセル値マトリクスを生成することができる。例えば、コンピューティング装置100は第1軸が予め設定された単位周波数の大きさである0.25Hzで分割されて352個の領域を形成し、第2軸が関心地点の個数により分割されて34個の領域を形成することを考慮して、行方向に前処理された複数の脳波信号の周波数変化によるピクセル値(352個)を配列し、列方向に前処理された複数の脳波信号の関心地点の位置変化によるピクセル値を配列(34個)することで、352×34のピクセル値マトリクスを生成することができる。
【0136】
以後、コンピューティング装置100は正四角形形態の標準化された脳波イメージを生成するために、352×34のピクセル値マトリクスの行または列を基準としてピクセル値マトリクスを正方マトリクス(例:行と列が同一の数を有するマトリクス)に変換することができる。この時、ピクセル値マトリクスの行または列のうち多くのピクセル値が配列された軸を基準として変換することが好ましい。例えば、コンピューティング装置100は行の個数を基準として352×34のピクセル値マトリクスを352×352のピクセル値マトリクスに変換することができる。この時、コンピューティング装置100は352×34のピクセル値マトリクスを352×352のピクセル値マトリクスに変換する過程でピクセル値に対する平滑化を遂行できる(例:S320段階)。
【0137】
以後、コンピューティング装置100は352×352のピクセルマトリクスを正四角形形態のテンプレート上に配置することによって、正四角形形態の標準化された脳波イメージを生成することができる。
【0138】
多様な実施例において、コンピューティング装置100は
図7(B)および
図8(B)に図示された通り、第1軸が周波数変化によるピクセル値であり、第2軸が関心地点の位置によるピクセル値または脳波測定チャネルの位置によるピクセル値である予め設定されたテンプレートを利用して生成された標準化された脳波イメージを脳波信号を測定した時間別にシリーズで生成することができる。
【0139】
S340段階で、コンピューティング装置100はS330段階を経て生成された標準化された脳波イメージを利用して、人工知能モデルの学習のための学習データを生成することができる。
【0140】
多様な実施例において、コンピューティング装置100は
図12(A)に図示された通り、一つの標準化された脳波イメージを利用して一つの学習データを生成することができる。
【0141】
多様な実施例において、コンピューティング装置100は
図12(B)に図示された通り、複数の標準化された脳波イメージを正四角形形態で結合して一つの学習データを生成することができる。
【0142】
この時、一つの学習データに含まれる複数の標準化された脳波イメージは、指標値が絶対パワーである時の標準化された脳波イメージを複数個結合するか、指標値が相対パワーである時の標準化された脳波イメージを複数個結合するなど、同じ指標値に基づいて生成された複数の標準化された脳波イメージを結合することができるが、これに限定されず、指標値が絶対パワー一時の標準化された脳波イメージ、指標値が相対パワーである時の標準化された脳波イメージ、指標値が標準値である時の標準化された脳波イメージおよび指標値が複雑度またはエントロピーである時の標準化された脳波イメージを結合すなわち、互いに異なる指標値を利用して生成された標準化された脳波イメージを複数個結合して一つの学習データを生成することができる。
【0143】
【0144】
前述した人工知能モデルの学習のための標準化された脳波イメージ生成方法は、図面に図示されたフローチャートを参照して説明した。簡単な説明のために、人工知能モデルの学習のための標準化された脳波イメージ生成方法は一連のブロックで図示して説明したが、本発明は前記ブロックの順序に限定されず、いくつかのブロックは本明細書に図示され叙述されたものとは異なる順序で遂行されるかまたは同時に遂行され得る。また、本明細書および図面に記載されていない新しいブロックが追加されたり、一部ブロックが削除または変更された状態で遂行され得る。
【0145】
また、本発明の多様な実施例に係る人工知能モデルの学習のための標準化された脳波イメージ生成方法では、第1軸に周波数変化によるピクセル値を配置し、第2軸に使用者の脳の関心地点の位置変化(または脳波測定チャネルの位置)によるピクセル値を配置することによって、人工知能モデルの学習のための標準化された脳波イメージを生成するものとして説明したが、これに限定されず、人工知能モデルの学習のための標準化された脳波イメージは
図13に図示された通り、脳波信号の周波数別にシリーズで生成されるものの、第1軸および第2軸に使用者の脳の関心地点の位置変化によるピクセル値(または脳波測定チャネルの位置によるピクセル値)が同一に配置されることによって生成されるものであり得る。
【0146】
【0147】
以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野の通常の技術者は本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施され得ることが理解できるであろう。したがって、以上で記述した実施例はすべての面で例示的なものであり、制限的ではないものと理解されるべきである。
【国際調査報告】