(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成方法及びこれを実行する装置
(51)【国際特許分類】
G06T 11/80 20060101AFI20241108BHJP
【FI】
G06T11/80 F
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024533031
(86)(22)【出願日】2022-12-02
(85)【翻訳文提出日】2024-08-02
(86)【国際出願番号】 KR2022019544
(87)【国際公開番号】W WO2023101526
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】10-2021-0172351
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0166146
(32)【優先日】2022-12-01
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】504314133
【氏名又は名称】ソウル ナショナル ユニバーシティ ホスピタル
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】キム ジュンヒ
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050CA07
5B050EA19
(57)【要約】
実施例は、ソース信号情報に基づいてトレーニング信号を生成し、予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択してトレーニング画像の出力物形式を決定し、決定された出力物形式の波形の時間区間の長さに基づいてトレーニング信号のチャンネル別出力区間を決定し、軸別スケールを選択して前記トレーニング画像の格子スケールを決定し、決定された格子スケールに従って格子パターンを2次元平面上に表記し、決定されたチャンネル別出力区間及び決定された格子スケールのうち少なくとも一つに基づいて前記トレーニング信号の波形内容の基準位置を設定し、前記トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記するトレーニング画像生成方法及びこれを実行する装置に関する。
【特許請求の範囲】
【請求項1】
プロセッサ及びメモリを含むコンピューティング装置によって実行される、トレーニング画像生成方法において、
ソース信号情報に基づいてトレーニング信号を生成する段階;
予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択してトレーニング画像の出力物形式を決定する段階;
決定された出力物形式の波形の時間区間の長さに基づいてトレーニング信号のチャンネル別出力区間を決定する段階;
軸別スケールを選択して前記トレーニング画像の格子スケールを決定する段階;
決定された格子スケールに従って格子パターンを2次元平面上に表記する段階;
決定されたチャンネル別出力区間及び決定された格子スケールのうち少なくとも一つに基づいて前記トレーニング信号の波形内容の基準位置を設定する段階;及び
前記トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記する段階
を含む、トレーニング画像生成方法。
【請求項2】
前記、ソース信号情報に基づいてトレーニング信号を生成する段階は、
予め設定された、複数の変形関数のうち少なくとも一つの変形関数を選択する段階;及び
選択された変形関数を用いてソース信号をトレーニング信号に変形する段階を含み、
前記変形関数は、入力信号の信号処理属性を変形することを示す、一つ以上の変形要素からなり、各変形要素は、信号処理属性に対応することを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項3】
前記信号処理属性を変形することは、信号の大きさ、波形、周波数範囲、周波数分布、信号立ち上がり時点、信号時間範囲のうちの一つ以上を処理するか、変更するか、または除去することを含み、
前記信号処理属性を変形することは、チャンネル毎に行われるか、チャンネルグループに対して行われるか、またはチャンネル全体に対して行われることを特徴とする、請求項2に記載のトレーニング画像生成方法。
【請求項4】
前記複数の変形関数のうち少なくとも一つの変形関数を選択する段階は、
前記複数の変形関数のセットに対して予め設定された第1-1の確率分布に従って複数の変形関数のうちのいずれか一つの変形関数を選択するか、複数の変形関数のうちの二つ以上の変形関数を選択することであって、
N個のうち1個の変形関数を選択する場合、前記第1-1の確率分布は多項分布であり、
N個のうち2個以上の変形関数を選択する場合、前記第1-1の確率分布は二項分布であることを特徴とする、請求項2に記載のトレーニング画像生成方法。
【請求項5】
前記、選択された変形関数を用いてソース信号をトレーニング信号に変形する段階は、
選択された変形関数をなす変形要素のうち少なくとも一つの変形要素値を新しい値に変更する段階;及び
次いで変更された変形要素値に従って変更された信号処理属性を反映した信号をトレーニング信号として生成する段階を含み、
前記新しい値は、当該変形要素に対して予め設定された第1-2の確率分布に従って選択された値であることを特徴とする、請求項2に記載のトレーニング画像生成方法。
【請求項6】
変形要素が数値型データにて具現された場合、前記変形要素の新しい値は連続確率分布に従って選択された値であり、
変形要素がバイナリ変数データにて具現された場合、前記変形要素の新しい値は離散確率分布に従って選択された値であり、
変形要素がカテゴリ型(categorical)変数にて具現された場合、前記変形要素の新しい値は多項確率分布(multinomial probability distribution)に従って選択された値であることを特徴とする、請求項5に記載のトレーニング画像生成方法。
【請求項7】
前記変形関数をなす変形要素のセットは、互いに相関関係を有する少なくとも一部の変形要素を含み、
新しい値に変更された変形要素が他の変形要素と相関関係を有する場合、前記相関関係を有する他の変形要素の値は、予め定義された多変量確率分布に従って選択された新しい値に変更されることを特徴とする、請求項5に記載のトレーニング画像生成方法。
【請求項8】
前記、予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択してトレーニング画像の出力物形式を決定する段階は、
前記予め設定された複数の出力物形式のセットに対して予め設定された第2-1の確率分布に従っていずれか一つの出力物形式を選択するか、複数の出力物形式のうちの二つ以上の出力物形式を選択する段階を含み、
N個のうち1個の出力物形式を選択する場合、前記第2-1の確率分布は多項分布であり、
N個のうち2個以上の変形関数を選択する場合、前記第2-1の確率分布は二項分布であることを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項9】
予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択して前記トレーニング画像の出力物形式を決定する段階は、
選択された出力物形式をなす形式要素のうち少なくとも一つの形式要素値を新しい値に変更する段階;及び
変更された形式要素値を有する出力物形式を前記トレーニング画像の出力物形式として決定する段階を含み、
前記複数の出力物形式のそれぞれは、当該出力物形式の配置構造を定義する、一つ以上の形式要素からなり、
前記新しい値は、当該形式要素に対して予め設定された第2-2の確率分布に従って選択された値であることを特徴とする、請求項8に記載のトレーニング画像生成方法。
【請求項10】
形式要素が数値型データにて具現された場合、前記形式要素の新しい値は連続確率分布に従って選択された値であり、
形式要素がバイナリ変数データにて具現された場合、前記形式要素の新しい値は離散確率分布に従って選択された値であり、
形式要素がカテゴリ型(categorical)変数にて具現された場合、前記形式要素の新しい値は多項確率分布(multinomial probability distribution)に従って選択された値であることを特徴とする、請求項9に記載のトレーニング画像生成方法。
【請求項11】
前記出力物形式をなす形式要素のセットは、互いに相関関係を有する少なくとも一部の形式要素を含み、
新しい値に変更された形式要素が他の形式要素と相関関係を有する場合、前記相関関係を有する他の形式要素の値は、予め定義された多変量確率分布に従って選択された新しい値に変更されることを特徴とする、請求項9に記載のトレーニング画像生成方法。
【請求項12】
前記、決定された出力物形式の波形の時間区間の長さに基づいてトレーニング信号のチャンネル別出力区間を決定する段階は、
受信されたソース信号の全長のうち前記トレーニング画像に出力するチャンネル別出力区間の開始地点及び終了地点のうちの少なくとも一つの地点を選択する段階;及び
選択された出力物形式の形式要素のうち波形の時間区間の長さ及び選択された地点に基づいて前記チャンネル別出力区間を算出する段階を含むことを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項13】
前記開始地点または終了地点は、各地点別の選択範囲から予め設定された第3の確率分布に従って選択された地点であり、
前記第3の確率分布は、開始地点、終了地点別の選択範囲から個々の値が指定される確率分布を定義したものであり、
前記開始地点の選択範囲は、トレーニング信号の立ち上がり地点と、トレーニング信号の立ち下がり地点から決定された波形の時間区間だけ負の時間方向に延長された、地点までの範囲であり、
前記終了地点の選択範囲は、トレーニング信号の立ち下がり地点と、トレーニング信号の立ち上がり地点から決定された波形の時間区間だけ正の時間方向に延長された、地点までの範囲であることを特徴とする、請求項12に記載のトレーニング画像生成方法。
【請求項14】
前記、軸別スケールを選択して前記トレーニング画像の格子スケールを決定する段階は、
予め設定された複数の横軸単位スケール全体に対して予め設定された第4-1の確率分布に従って複数の横軸単位スケールのうちのいずれか一つの横軸単位スケールを選択する段階;または
予め設定された複数の縦軸単位スケール全体に対して予め設定された第4-2の確率分布に従って複数の縦軸単位スケールのうちのいずれか一つの縦軸単位スケールを選択する段階を含み、
前記第4-1、4-2の確率分布は多項分布を有することを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項15】
前記、決定された格子スケールに従って格子パターンを2次元平面上に表記する段階は、
前記予め設定された複数の格子パターン形式のセットに対して予め設定された第5-1の確率分布に従って前記複数の格子パターン形式のうちのいずれか一つの格子パターン形式を選択する段階;を含み、
前記第5-1の確率分布は多項分布であることを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項16】
前記、前記決定された格子スケールに従って格子パターンを2次元平面上に表記する段階は、
選択された格子パターン形式のパターン要素値を調整する段階;及び
調整されたパターン要素値を有する格子パターン形式を前記トレーニング画像の格子パターン形式として決定する段階を含み、
前記複数の格子パターン形式のそれぞれは、パターンの表示線階層(hierarchy)またはパターンの固有の表示線デザインで格子パターンを定義する、一つ以上のパターン要素からなり、
調整された値は、形式要素に対して予め設定された第5-2の確率分布に従って選択された値であることを特徴とする、請求項15に記載のトレーニング画像生成方法。
【請求項17】
パターン要素が数値型データにて具現された場合、前記パターン要素の調整された値は連続確率分布に従って選択された値であり、
パターン要素がバイナリ変数データにて具現された場合、前記パターン要素の調整された値は離散確率分布に従って選択された値であることを特徴とする、請求項16に記載のトレーニング画像生成方法。
【請求項18】
前記格子パターン形式をなすパターン要素のセットは、互いに相関関係を有する少なくとも一部のパターン要素を含み、
新しい値に調整されたパターン要素が他のパターン要素と相関関係を有する場合、前記相関関係を有する他のパターン要素の値は、予め定義された多変量確率分布に従って選択された新しい値に調整されることを特徴とする、請求項16に記載のトレーニング画像生成方法。
【請求項19】
前記トレーニング信号の波形内容の基準位置は、前記格子パターンに基づく座標値として算出される、トレーニング信号の測定値の座標を含むことを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項20】
前記、前記トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記する段階は、
基準位置に基づいてチャンネル別トレーニング信号の波形内容をグラフィックにて表現するための表記関数を定義する段階、及び
定義された表記関数を用いてトレーニング信号の波形内容及び信号標識子を表記する段階を含み、
前記表記関数は、トレーニング信号の基準座標及び一つ以上の表記要素に基づくものであって、前記表記要素は、波形のデザインまたは信号標識子のデザインを定義することを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項21】
前記、定義された表記関数を用いてトレーニング信号の波形内容及び信号標識子を表記する段階は、
表記関数の表記要素の値を調整する段階;及び
調整された表記要素値を反映して前記トレーニング信号のチャンネル別波形内容を前記格子パターンが表記された2次元平面上に表記する段階を含み、
調整された値は、当該表記要素に対して予め設定された第6の確率分布に従って選択された値であることを特徴とする、請求項20に記載のトレーニング画像生成方法。
【請求項22】
表記要素が数値型データにて具現された場合、前記表記要素の調整された値は連続確率分布に従って選択された値であり、
表記要素がバイナリ変数データにて具現された場合、前記表記要素の調整された値は離散確率分布に従って選択された値であり、
表記要素がカテゴリ型(categorical)変数データにて具現された場合、前記表記要素の調整された値は多項確率分布(multinomial probability distribution)に従って選択された値であることを特徴とする、請求項21に記載のトレーニング画像生成方法。
【請求項23】
前記表記関数をなす表記要素のセットは、互いに相関関係を有する少なくとも一部の表記要素を含み、
新しい値に調整された表記要素が他の表記要素と相関関係を有する場合、前記相関関係を有する他の表記要素の値は、予め定義された多変量確率分布に従って選択された新しい値に調整されることを特徴とする、請求項21に記載のトレーニング画像生成方法。
【請求項24】
当該方法は、多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられることを特徴とする、請求項1に記載のトレーニング画像生成方法。
【請求項25】
ハードウェアと組み合わされて請求項1~24のいずれか一項に記載のトレーニング画像生成方法を実行するように媒体に格納されるコンピュータプログラム。
【請求項26】
トレーニング画像生成装置であって、
ソース信号を取得する取得部;及び
プロセッサ及びメモリを含む画像生成部;を含み、
前記画像生成部は、前記取得部によって受信されたソース信号情報を受信し、請求項1~24のいずれか一項に記載のトレーニング画像生成方法を実行することを特徴とする、トレーニング画像生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施例は、トレーニング画像生成技術、例えば、画像形式、信号パターンを多変化した大規模のトレーニング画像を生成することができる、多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成技術及びこれを実行する装置に関する。
【背景技術】
【0002】
心電図、脳波などのバイオシグナルなどのシグナルは、一般的に1次元シグナルの形態で測定される。このとき、測定されるシグナルは、当該チャンネルで測定される時間ドメイン上の数値で具現され、一般的にC×T形態の数値型アレイ構造で表現される。測定された数値は、前述した数値型アレイ構造に格納されて活用される。
【0003】
前記シグナルデータ数値は、ヒト読出者がそのままでは理解し難いため、紙や装置の画面上にヒトが理解し易い方式の波形をチャンネル別に描いた2次元画像出力として表示される。
【0004】
しかし、2次元画像出力の形式は多様である。特に、同じ目的で活用される2次元画像出力であっても、その形式は製品に応じて非常に異なることもある。
【0005】
2次元画像出力結果として示されるシグナル情報を分析する人工知能モデルを開発することを仮定してみることにする。仮にこの人工知能モデルを一つの出力形式のトレーニング画像を用いて学習した場合、前記人工知能モデルは他の出力形式の対象画像を分析することができず、低い分析性能を持つはずである。
【0006】
したがって、人工知能モデルが高い分析性能を持つように学習するためには、可能な限り多様な出力形式のトレーニング画像を準備する必要がある。しかし、実存する製品が使用中の実存の画像だけで十分な学習のための多数のトレーニング画像を準備することは現実的に極めて難しい。特に、新規製品の発売や既存製品のアップデートで新しい出力形式の画像が活用される、未来の変化には全く備えることができないという限界がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
一側面において、本出願の例示的な具現例では、形式の多様性を考慮せずに一つの形式だけで2次元画像をトレーニングした場合に生じる問題を解決するために、画像形式、信号パターンを多変化した大規模のトレーニング画像を生成することができる、トレーニング画像生成方法及び装置、例えば、多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成技術及びこれを実行する方法、並びに装置を提供することをその目的とする。
【課題を解決するための手段】
【0008】
本出願の実施例では、プロセッサ及びメモリを含むコンピューティング装置によって実行される、例えば、多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成方法において、多チャンネル1次元シグナルを含むソース信号情報に基づいてトレーニング信号を生成する段階;予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択してトレーニング画像の出力物形式を決定する段階;決定された出力物形式の波形の時間区間の長さに基づいてトレーニング信号のチャンネル別出力区間を決定する段階;軸別スケールを選択して前記トレーニング画像の格子スケールを決定する段階;決定された格子スケールに従って格子パターンを2次元平面上に表記する段階;決定されたチャンネル別出力区間及び決定された格子スケールのうち少なくとも一つに基づいて前記トレーニング信号の波形内容の基準位置を設定する段階;及び前記トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記する段階を含む、トレーニング画像生成方法及びこれを実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体、またはコンピュータ読み取り可能な記録媒体に格納されるコンピュータプログラムを提供する。
【0009】
また、本出願の実施例では、トレーニング画像生成装置であって、ソース信号を取得する取得部;及びプロセッサ及びメモリを含む画像生成部;を含み、前記画像生成部は、前記取得部によって受信されたソース信号情報を受信し、前述したトレーニング画像生成方法を実行する、トレーニング画像生成装置を提供する。
【発明の効果】
【0010】
一側面において、本出願の実施例によれば、例えば、多チャンネル1次元シグナルのようなソース信号から多様な形式の2次元信号画像を生成して優れた性能で2次元信号画像を分析する人工知能を開発するのに用いられるトレーニングデータセット(training data set)を供給することができる。
【0011】
前記多様な形式の2次元信号画像を活用すれば、かかる形式の多様性を考慮せずに一つの形式だけでトレーニングした場合に生じる問題、例えば、分布外(out-of-distribution)問題、形式が少し変わっただけでも解析が間違ってしまう問題を解決することができる。
【0012】
本出願の実施例に係る発明は、医療バイオ分野のシグナルだけでなく、1次元シグナルに基づいて2次元画像を分析する他の産業分野のシグナル分析にも拡張して適用され得る。
【0013】
本出願の効果は以上で言及したものに限定されず、言及されていない他の効果は請求の範囲の記載から通常の技術者にとって明確に理解できるはずである。
【図面の簡単な説明】
【0014】
本出願の例示的な実施例をより明確に説明するために、実施例に関する説明で必要な図面を以下で簡単に紹介する。以下の図面は本明細書の実施例を説明することを目的とするだけのものであって、限定の目的ではないことが理解されるべきである。また、説明の明瞭性のために、以下の図面では誇張や省略などの種々の変形が適用された一部の要素が示されることがある。
【
図1】本出願の一側面に係る、多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成方法の流れ図である。
【
図2】本出願の一実施例に係る、ソース信号情報の概略図である。
【
図3】本出願の一実施例に係る、トレーニング信号の概略図である。
【
図4】本出願の一実施例に係る、出力物形式の概略図である。
【
図5】本出願の一実施例に係る、格子スケールの概略図である。
【
図6】本出願の一実施例に係る、格子パターンが表記されることを示した図である。
【
図7】本出願の一実施例に係る、トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記する結果の概略図である。
【
図8】本出願の一実施例に係る、付加情報を表記したことの概略図である。
【
図9】本出願の他の一側面に係る、前記トレーニング画像生成方法を実行する装置のブロック図である。
【発明を実施するための形態】
【0015】
以下、本出願の一部の実施例を例示的な図面を参照して詳細に説明する。各図面の構成要素に参照符号を付するにあたり、同一の構成要素に対しては、たとえ別の図面上に示されるとしても可能な限り同一の符号を付することがある。また、本実施例を説明するにあたり、関連する公知の構成または機能についての具体的な説明が本技術思想の要旨を曖昧にし得ると判断される場合には、その詳細な説明を省略することがある。
【0016】
本明細書において「含む」、「有する」、「からなる」などが用いられる場合、「~のみ」が用いられない限り、別の部分が追加され得る。構成要素を単数で表現した場合、特に明示的な記載事項がない限り、複数を含む場合を含み得る。
【0017】
また、本出願の構成要素を説明するにあたり、第1、第2、A、B、(a)、(b)などの用語を用いることがある。特に明示しない限り、これらの用語は、その構成要素を他の構成要素と区別するために用いられたものであるに過ぎず、該用語によって当該構成要素の本質、順番、手順または個数などが限定されるものではない。
【0018】
本明細書において、「学習」あるいは「ラーニング」とは、手順に従うコンピューティング(computing)を通じて機械学習(machine learning)を実行することを指す用語である。
【0019】
本明細書において、ネットワークとは、機械学習アルゴリズムまたはモデルのニューラルネットワークを指す。
【0020】
本明細書において、「部(unit)」、「モジュール(module)」、「装置」、または「システム」などの用語は、ハードウェアだけでなく、当該ハードウェアによって駆動されるソフトウェアの組み合わせを指すこともあることが意図される。例えば、ハードウェアは、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)または他のプロセッサ(processor)を含むデータ処理機器であってよい。また、ソフトウェアは、実行中のプロセス、客体(object)、実行ファイル(executable)、実行スレッド(thread of execution)、プログラム(program)などを指すことがある。
【0021】
本明細書において、多チャンネルとは、一つまたは二つ以上のチャンネルであることを意味し、一つのチャンネルである場合を排除する意味ではないと定義される。
【0022】
特定の実施例において、多チャンネル1次元シグナルから得られた2次元画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成方法は、少なくとも一つのプロセッサ及びメモリを含むコンピューティング装置によって実行されてもよい。
【0023】
前記コンピューティング装置は、外部器機(例えば、信号測定機器)から信号データを受信しこれを処理するように構成される。
【0024】
図1は、本出願の一側面に係る、多チャンネル1次元シグナルから得られた画像を分析する画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成方法の流れ図である。
【0025】
図1を参照すると、前記トレーニング画像生成方法(以下、トレーニング画像生成方法)は、ソース信号情報に基づいてトレーニング信号を生成/変調する段階(S100)を含む。
【0026】
図2は、本出願の一実施例に係る、ソース信号情報の概略図であり、
図3は、本出願の一実施例に係る、トレーニング信号の概略図である。
【0027】
図2を参照すると、前記ソース信号情報は、対象者の身体に装着された一つ以上のチャンネルを介して測定された各チャンネル別の1次元信号を含んでもよい。例えば、入力されるソース信号は、チャンネル×時間(C×T)形態の配列であってもよい。前記ソース信号は、数値型配列(array)を有してもよい。
図2に示されたように、前記ソース信号情報は、12リードチャンネルを介して測定された、1次元心電図信号が12個からなるものであってもよい。
【0028】
前記ソース信号情報は、アナログソース信号、ソース信号の測定値(例えば、デジタル値)を含んでもよい。
【0029】
また、前記ソース信号情報は、ソース信号の対象者情報(識別情報、年齢、性別、読出情報など)、ソーススケール標識子、ソースチャンネル標識子、ソース格子スケールなどの信号以外のソース付加情報を更に含んでもよい。
【0030】
このようなソース信号は、トレーニング信号を生成するためのソースとして活用される。単一ソース信号から複数のトレーニング信号が生成されてもよい。
【0031】
一実施例において、前記段階(S100)は、予め設定された、複数の変形関数のうち少なくとも一つの変形関数を選択する段階;及び選択された変形関数を用いて前記ソース信号をトレーニング信号に変形する段階を含んでもよい。
【0032】
変形関数は、入力信号を他の信号に変形する関数である。このような信号変形は、トレーニング画像生成過程の前処理過程として扱われてもよい。前記変形関数は、例えば、多様な形態のノイズ除去や入力信号の無作為変更そのものを目的とする信号前処理関数であってもよい。
【0033】
複数の変形関数のそれぞれは、変形機能を実行する一つ以上の変形要素からなる。一部の実施例において、前記変形要素は、入力信号の信号属性を変形することを示すものであってもよい。n個(nは、1以上の自然数)の変形関数(fn
1)のそれぞれをなす一つ以上の変形要素が予め定義されて格納される。ちなみに、ここで、下付き文字nは、n個の関数が存在することを示す文字であり、上付き文字は、後述する他の関数と区別するための数字である。
【0034】
特定の実施例において、前記変形関数(fn
1)の変形要素ベクトル(Pn
1)は、m個の因子を含んでもよく、各因子は、変形要素Pnm
1で指示される(ここで、nは、変形関数識別字、mは要素識別字)。前記変形要素(Pnm
1)は、それぞれ固有の入力情報処理属性に対応してもよい。信号が変形関数(fn
1)に入力されると、それぞれの変形要素(Pnm
1)が信号処理属性の設定値となって信号が変形される。例えば、変形関数(fn
1)がノイズ除去関数である場合、変形要素(Pnm
1)は、ノイズ除去作業のある特性を規定(設定)する信号処理属性に該当する。
【0035】
前記信号処理属性は、例えば、信号の大きさ、波形、周波数範囲、周波数分布、信号立ち上がり時点、時間範囲及び/またはその他の信号属性などを処理あるいは変更、除去(信号の大きさを0のような固定された数値に置換)する方式を含んでもよい。そして、これは、チャンネル毎に別途に行われるか、チャンネルグループ、あるいはチャンネル全体に共通的に適用されてよい。
【0036】
特定の実施例において、前記変形関数の変形要素は、ハイパーパラメータにて具現されてもよい。一つの変形関数が多数の変形要素を含む場合、前記多数の変形要素は、ハイパーパラメータベクトルにて表現されてもよい。ここで、ベクトル値は前記変形要素値である。すると、それぞれの変形関数は、自己のハイパーパラメータベクトルに連関付けられてもよい。
【0037】
このような変形関数を用いてトレーニング信号を生成してもよい(S100)。複数の変形関数(fn
1)のそれぞれは、ソース信号(例えば、心電図信号、X)を受信して変形した信号X'=fn
1(X、Pnm
1)を生成してもよい(S100)。また、変形要素値が変更されると、対応した方式で信号属性が変更された値にて具現され、最終的に信号属性が変更された信号が生成される(S100)。
【0038】
一実施例において、前記少なくとも一つの変形関数を選択する段階は、前記複数の変形関数のセットに対して予め設定された第1-1の確率分布に従って複数の変形関数のうちのいずれか一つの変形関数を選択するか、複数の変形関数のうちの二つ以上の変形関数を選択してもよい。
【0039】
前記第1-1の確率分布は、複数の変形関数全体からトレーニング画像を生成するために特定の変形関数(複数でもよい)を選択する確率を定義する。
【0040】
一実施例において、前記第1-1の確率分布は、n個のうち1個の変形関数を選択する方式にて定義されてもよい。例えば、前記第1-1の確率分布は、多項分布(multinomial distribution)を有してもよい。この場合、ソース信号は単一変形処理される。
【0041】
他の一実施例において、前記第1-1の確率分布は、n個のうち2個以上の変形関数を選択する方式にて定義されてもよい。例えば、前記第1-1の確率分布は、二項分布(Binomial distribution)を有してもよい。この場合、互いに異なる変換が重複選択されてトレーニング信号を生成するのに用いられてもよい。すると、ソース信号は、選択された多数の変形関数を用いて多重変形処理される。
【0042】
代案的な実施例において、前記第1-1の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0043】
選択された変形関数は、そのまま用いられるか、または選択された変形関数の変形要素値を変更してトレーニング信号を生成してもよい(S100)。選択された変形関数は、少なくとも一つの変形要素に対する新しい値を入力引数として入力されて変形関数の機能を調節してもよい。
【0044】
一実施例において、選択された変形関数を用いて前記ソース信号をトレーニング信号に変形する段階は、選択された変形関数をなす変形要素のうち少なくとも一つの変形要素値を新しい値に変更する段階;及び変更された変形要素値に従って変更された信号属性を反映した信号をトレーニング信号として生成する段階を含んでもよい。変形要素値が変更されることは、確率分布に基づいて行われてもよい。
【0045】
一実施例において、個々の変形要素別に第1-2の確率分布が設定されてもよい。変形要素がm個である場合、m個の第1-2の確率分布が定義されて割り当てられる。前記第1-1の確率分布に従って選択された変形関数の変形要素のそれぞれに対して、既存の変形要素値は自己に予め設定された第1-2の確率分布に従って選択された新しい値に変更されてもよい。変更された新しい値がソース信号に反映されて新しいトレーニング信号が生成される。
【0046】
前記第1-2の確率分布は、変形関数の各変形要素が有し得る値の全範囲から個々の値が指定される確率分布を定義する。特定の実施例において、前記第1-2の確率分布は、連続確率分布としてガウス(正規)分布、ガンマ分布、指数分布、均等分布、カイ二乗分布、離散確率分布として二項分布、負の二項分布、初期下分布、ポアソン分布、そして多項分布及び/または多数の変形要素に対する多変量分布を含んでもよい。各変形要素別に同一または異なる第1-2の確率分布が設定されてもよい。また、上述した特定の形態の確率分布を定義した状態で変形要素を抽出するパラメトリックアプローチ方法の他にも、特定の分布を仮定せずに変形要素を無作為抽出してもよい。
【0047】
一実施例において、変形要素が数値型データにて具現された場合、前記第1-2の確率分布は、連続確率分布であるガウス(正規)分布、ガンマ分布、指数分布、均等分布、カイ二乗分布であってもよい。すると、当該変形要素の新しい値は前記連続確率分布で選択された値である。
【0048】
一実施例において、変形要素がバイナリ変数データにて具現された場合、前記第1-2の確率分布は離散確率分布である二項分布、負の二項分布、初期下分布、ポアソン分布であってもよい。前記バイナリ変数データは、「はい(yes)」を示す第1バイナリ値または「いいえ(No)」を示す第2バイナリ値にて表現されてもよい。当該変形要素の新しい値は前記離散確率分布に従って選択された値である。
【0049】
一実施例において、変形要素がカテゴリ型(categorical)変数にて具現された場合、前記第1-2の確率分布は、多項確率分布(multinomial probability distribution)であってもよい。すると、当該変形要素の新しい値は多項確率分布に従って選択された値である。
【0050】
一部の実施例において、変形関数をなす変形要素のセットは、互いに相関関係を有する少なくとも一部の変形要素を含んでもよい。新しい値に変更された変形要素が他の変形要素と相関関係を有する場合、前記相関関係を有する他の変形要素に対して設定された第1-2の確率分布は多変量確率分布であってもよい。すると、前記相関関係を有する他の変形要素の値は、予め定義された多変量確率分布に従って選択された新しい値に変更される。
【0051】
そして、上述したように前記特定の形態の確率分布を定義した状態で変形要素を抽出するパラメトリックアプローチ方法の他にも、特定の分布を仮定せずに変形要素を無作為抽出してもよい。
【0052】
代案的な実施例において、前記第1-2の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0053】
図3に示されたように、生成されたトレーニング信号から一部がトレーニング画像の2次元平面フレーム上に表示される。
【0054】
再び
図1を参照すると、前記トレーニング画像生成方法は、予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択して前記トレーニング画像の出力物形式を決定する段階(S200)を含む。
【0055】
図4は、本出願の一実施例に係る、出力物形式の概略図である。
【0056】
図4を参照すると、前記出力物形式は、2次元平面フレーム上にトレーニング画像の出力物構成要素を配置する構造を定義する。前記複数の出力物形式は、互いに異なる側面の出力物構成要素と関連付けられてもよい。特定の実施例において、複数の出力物形式は、波形の種類を定義する出力物形式、波形の配列位置を定義する出力物形式、波形表示領域の位置を定義する出力物形式及び/または付加情報表示領域の位置を定義する出力物形式を含んでもよい。
【0057】
波形の種類はチャンネル番号を含んでもよい。
【0058】
波形の配列位置は、チャンネル別の波形がどのような順序でどの位置に配置されるかを示すことであって、配列順序などを含んでもよい。
【0059】
波形表示領域の位置は、波形が表示される領域(例えば、格子領域)の座標範囲を含んでもよい。
【0060】
付加情報表示領域の位置は、波形以外の付加情報が表示される領域の座標範囲を含む。前記付加情報は、波形の対象者情報(例えば、年齢、性別)、波形解析、波形のスケール情報などを含んでもよい。
【0061】
前記波形表示領域及び付加情報表示領域は、互いに区別されるか、少なくとも一部が互いに重なり合ってもよい。
【0062】
複数の出力物形式のそれぞれは、当該出力物形式の配置構造を構成する一つ以上の形式要素からなる。したがって、変形要素に基づく変形関数と同様に、出力物形式も形式要素からなる関数で表現してよい。n個(nは、1以上の自然数)の出力物形式関数(fn
2)のそれぞれをなす一つ以上の形式要素が予め定義されて格納される。ちなみに、ここで、下付き文字nは、n個の関数が存在することを表示する文字であり、上付き文字は、前述及び後述する他の関数と区別するための数字である。
【0063】
特定の実施例において、前記出力物形式関数(fn
2)の形式ベクトル(Pn
2)は、m個の因子を含んでもよく、各因子は、形式要素Pnm
2で指示される(ここで、nは、出力物形式関数識別字、mは、元素識別字)。前記形式要素(Pnm
2)は、当該出力物形式で定義した配置対象、すなわち出力物構成要素に対応する。
【0064】
一実施例において、形式要素は、チャンネル番号、チャンネル順序、波形表示領域の位置、付加表示領域の位置、各波形間の上下間隔、個々の波形の左右間隔、及び/または波形の時間区間の長さなどを含んでもよい。例えば、波形表示領域の位置を定義する出力物形式の形式要素は、2次元平面上で波形表示領域の位置などを含んでもよい。
【0065】
形式要素が特定の値を有する場合、前記形式要素に対応した出力物要素が前記特定の値で当該出力物形式上に具現されてトレーニング画像上に表現される。
【0066】
前記変形関数と同様に、前記出力物形式関数の形式要素は、ハイパーパラメータにて具現されてもよい。一つの出力物形式関数が多数の変形要素を含む場合、前記多数の形式要素は、ハイパーパラメータベクトルにて表現されてもよい。ここで、ベクトル値は前記形式要素値である。すると、それぞれの出力物形式関数は、自己のハイパーパラメータベクトルに連関付けられてもよい。
【0067】
一実施例において、少なくとも一つの出力物形式関数を選択する段階(S200)は、前記予め設定された複数の出力物形式のセットに対して予め設定された第2-1の確率分布に従っていずれか一つの出力物形式関数を選択するか、複数の出力物形式関数のうちの二つ以上の出力物形式関数を選択してもよい。
【0068】
前記第2-1の確率分布は、複数の出力物形式関数全体からトレーニング画像を生成するために特定の出力物形式関数(複数でもよい)を選択する確率を定義する。前記第2-1の確率分布に従って出力物形式関数を選択することは、前記第1-1の確率分布に従って変換を選択することと同様である。
【0069】
一実施例において、前記第2-1の確率分布は、n個のうち1個の出力物形式関数を選択する方式で定義されてもよい。例えば、前記第2-1の確率分布は、多項分布(multinomial distribution)を有してもよい。
【0070】
他の一実施例において、前記第2-1の確率分布は、n個のうち2個以上の出力物形式関数を選択する方式で定義されてもよい。例えば、前記第2-1の確率分布は、二項分布(Binomial distribution)を有してもよい。この場合、互いに異なる出力物形式関数が重複選択されてトレーニング画像を生成するのに用いられてもよい。
【0071】
代案的な実施例において、前記第2-1の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0072】
選択された出力物形式は、そのまま用いられるか、または選択された出力物形式の形式要素の値を変更してトレーニング画像のための出力物形式として決定してもよい(S200)。選択された出力物形式関数は、少なくとも一つの形式要素に対する新しい値を入力引数として入力されて出力物形式関数の機能を調節してもよい。
【0073】
一実施例において、予め設定された複数の出力物形式のうち少なくとも一つの出力物形式を選択して前記トレーニング画像の出力物形式を決定する段階(S200)は、選択された出力物形式をなす形式要素のうち少なくとも一つの形式要素値を新しい値に変更する段階;及び変更された形式要素値を有する出力物形式を前記トレーニング画像の出力物形式として決定する段階を含んでもよい。形式要素の値が変更されることは確率に基づいて行なわれてもよい。
【0074】
一実施例において、個々の形式要素別に第2-2の確率分布が設定されてもよい。形式要素がm個である場合、m個の第2-2の確率分布が定義されて割り当てられる。前記第2-1の確率分布に従って選択された出力物形式関数の形式要素のそれぞれに対して、既存の形式要素値は、自己に予め設定された第2-2の確率分布に従って選択された新しい値に変更されてもよい。変更された新しい値が反映された出力物形式がトレーニング画像の生成のために用いられる。
【0075】
前記第2-2の確率分布は、出力物形式関数の各形式要素が有し得る値の全範囲から個々の値が指定される確率分布を定義する。特定の実施例において、前記第2-2の確率分布は、連続確率分布としてガウス(正規)分布、ガンマ分布、指数分布、均等分布、カイ二乗分布、離散確率分布として二項分布、負の二項分布、初期下分布、ポアソン分布、そして多項分布及び/または多数の変形要素に対する多変量分布を含んでもよい。各形式要素別に同一または異なる第2-2の確率分布が設定されてもよい。また、上述した特定の形態の確率分布を定義した状態で形式要素を抽出するパラメトリックアプローチ方法の他にも、特定の分布を仮定せずに形式要素を無作為抽出してもよい。
【0076】
一実施例において、形式要素が数値型データにて具現された場合、前記第2-2の確率分布は、連続確率分布であるガウス(正規)分布、ガンマ分布、指数分布、均等分布カイ二乗分布であってもよい。すると、当該形式要素の新しい値は、連続確率分布で選択された値である。
【0077】
一実施例において、形式要素がバイナリ変数データにて具現された場合、前記第2-2の確率分布は、離散確率分布である二項分布、負の二項分布、初期下分布、ポアソン分布であってもよい。前記バイナリ変数データは、「はい(yes)」を示す第2バイナリ値または「いいえ(No)」を示す第2バイナリ値で表現されてもよい。当該形式要素の新しい値は、前記離散確率分布に従って選択された値である。
【0078】
一実施例において、形式要素がカテゴリ型(categorical)変数にて具現された場合、前記第2-2の確率分布は、多項確率分布(multinomial probability distribution)であってもよい。すると、当該形式要素の新しい値は、多項確率分布に従って選択された値である。
【0079】
一部の実施例において、出力物形式関数をなす形式要素のセットは、互いに相関関係を有する少なくとも一部の形式要素を含んでもよい。新しい値に変更された形式要素が他の形式要素と相関関係を有する場合、前記相関関係を有する他の形式要素に対して設定された第2-2の確率分布は、多変量確率分布であってもよい。すると、前記相関関係を有する他の形式要素の値は、予め定義された多変量確率分布に従って選択された新しい値に変更される。
【0080】
そして、上述したように前記特定の形態の確率分布を定義した状態で形式要素を抽出するパラメトリックアプローチ方法の他にも、特定の分布を仮定せずに形式要素を無作為抽出してもよい。
【0081】
代案的な実施例において、前記第2-2の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0082】
このようにして前記第2-2の確率分布に従って変更された形式要素値を有する出力物形式で前記トレーニング画像を生成するための出力物形式として供給される(S200)。
【0083】
再び
図1を参照すると、前記トレーニング画像生成方法は、決定された出力物形式の波形の時間区間の長さに基づいてトレーニング信号のチャンネル別出力区間を決定する段階(S300)及び軸別スケールを選択してトレーニング画像の格子スケールを決定する段階(S400)を含む。
【0084】
前記トレーニング信号のチャンネル別出力区間を決定する段階(S300)は、受信されたソース信号の全長のうち前記トレーニング画像に出力するチャンネル別出力区間の開始地点及び終了地点のうちの少なくとも一つの地点を選択する段階;及び選択された出力物形式の形式要素のうち波形の時間区間の長さ及び選択された地点に基づいて前記チャンネル別区間を算出する段階を含んでもよい。
【0085】
測定される全信号のうち一部の信号だけが画像に出力されることが一般的である。出力区間の全体の長さは、段階(S200)で決定された出力物形式の形式属性のうちの波形の時間区間として決定される(S300)。
【0086】
前記開始地点または終了地点は、生成されたトレーニング信号の全区間のうち決定された波形の時間区間の全部が属する範囲から選択される。
【0087】
前記開始地点の選択範囲は、トレーニング信号の立ち上がり地点と、トレーニング信号の立ち下がり地点から段階(S200)で決定された波形の時間区間だけ負の時間方向に延長された、地点までの範囲であってもよい。一例において、トレーニング信号の全区間が[0、Ω]で波形の時間区間がwである場合、前記開始地点の分布は[0、Ω-w]であってもよい。この場合、終了地点は、選択された開始地点から正の時間方向に前記決定された波形の時間区間が延長された地点である。
【0088】
前記終了地点の選択範囲は前記開始地点の選択範囲と逆であり、前記終了地点の選択範囲は、トレーニング信号の立ち下がり地点と、トレーニング信号の立ち上がり地点から決定された波形の時間区間だけ正の時間方向に延長された、地点までの範囲であってもよい。前記一例において、前記終了地点の分布は[w、Ω]であってもよい。この場合、開始地点は、選択された終了地点から負の時間方向に前記決定された波形の時間区間が延長された地点である。
【0089】
一実施例において、前記開始地点または終了地点は、各地点別の選択範囲から予め設定された第3の確率分布に従って選択された地点であってもよい。前記第3の確率分布は、地点別の選択範囲から個々の値が指定される確率分布を定義する。
【0090】
前記第3の確率分布は、連続確率分布としてガウス(正規)分布、均等分布、カイ二乗分布であってもよい。均等確率分布などによって開始地点が選択されると、終了地点が自動で選択されてトレーニング信号から出力区間が決定されてもよい。
【0091】
一部の実施例において、複数のチャンネルは、少なくとも一部のチャンネルの出力区間が互いに一致する、同期化チャンネルを含んでもよい。他の一部の実施例において、複数のチャンネルは、互いに出力区間が異なる、非同期化チャンネルであってもよい。
【0092】
このような段階(S300)の動作によって、トレーニング信号の全区間でトレーニング画像に表示される、波形内容が決定される。
【0093】
前記トレーニング画像の格子スケールを決定する段階(S400)は、前記トレーニング信号を表示する座標系の横軸単位スケール及び/または縦軸単位スケールを選択して決定されてもよい。
【0094】
図5は、本出願の一実施例に係る、格子スケールの概略図である。
【0095】
図5を参照すると、格子スケールにおいて横軸(または、x軸)は時間を示し、縦軸(または、y軸)は信号測定値を示す。
【0096】
一部の実施例において、横軸単位スケール及び/または縦軸単位スケールを選択する段階は、予め設定された複数の横軸単位スケール全体に対して予め設定された第4-1の確率分布に従って複数の横軸単位スケールのうちのいずれか一つの横軸単位スケールを選択する段階;及び/または予め設定された複数の縦軸単位スケール全体に対して予め設定された第4-2の確率分布に従って複数の縦軸単位スケールのうちのいずれか一つの縦軸単位スケールを選択する段階を含んでもよい。
【0097】
前記第1-1の確率分布と同様に、前記第4-1、4-2の確率分布は、多項分布(multinomial distribution)を有してもよい。すると、選択された横軸単位及び/または縦軸単位で前記トレーニング画像上にトレーニング信号が表示される。
【0098】
再び
図1を参照すると、前記トレーニング画像生成方法は、段階(S400)で決定された格子スケールに従って格子パターンを2次元平面上に表記する段階(S500)を含む。
【0099】
図6は、本出願の一実施例に係る、格子パターンが表記することを示す。
【0100】
図6を参照すると、格子スケールによる格子パターンは、段階(S400)で決定された軸別格子スケール単位で格子が配列されるパターンである(S500)。
【0101】
一実施例において、前記格子パターンを2次元平面上に表記する段階(S500)は、予め設定された複数の格子パターン形式のうちのいずれか一つの格子パターン形式を選択する段階;を含んでもよい。
【0102】
前記格子パターン形式は、パターンの固有の表示線階層(hierarchy)及び/またはパターンの固有の表示線デザインを用いて格子パターンを定義したものである。前記階層は、例えば、大区間、中区間、小区間などを示す。
【0103】
出力物形式関数と同様に、複数の格子パターン形式のそれぞれは、当該格子パターン形式をなす一つ以上のパターン要素からなる。したがって、出力物形式関数と同様に、格子パターン形式もパターン要素からなる関数で表現してよい。n個(nは、1以上の自然数)の格子パターン形式関数(fn
3)のそれぞれをなす一つ以上のパターン要素が予め定義されて格納される。ちなみに、ここで、下付き文字nは、n個の関数が存在することを表示する文字であり、上付き文字は、前述及び後述する他の関数と区別するための数字である。
【0104】
特定の実施例において、前記格子パターン形式関数(fn
3)のパターンベクトル(Pn
3)は、m個の因子を含んでもよく、各因子はパターン要素Pnm
3で指示される(ここで、nは、格子パターン形式関数識別字、mは、元素識別字)。前記パターン要素(Pnm
2)は、当該格子パターン形式関数で定義したパターン構成要素に対応する。
【0105】
一実施例において、前記パターン要素は、格子パターンの表示線の模様(実線/点線/二重線などの仮想の線を表記するための多様な表示形式)、太さ、色相などを含んでもよい。前記色相は、RGB数値、CMYKチャンネル別数値などにて具現されてもよい。
【0106】
パターン要素が特定の値を有する場合、前記パターン要素に対応したパターン要素が前記特定の値で当該格子パターン形式上に具現されてトレーニング画像上に表現される。
【0107】
前記出力物形式関数と同様に、前記格子パターン形式関数のパターン要素は、ハイパーパラメータにて具現されてもよい。一つの格子パターン形式関数が多数のパターン要素を含む場合、前記多数のパターン要素は、ハイパーパラメータベクトルにて表現されてもよい。ここで、ベクトル値は前記パターン要素値である。すると、それぞれの格子パターン形式関数は、自己のハイパーパラメータベクトルに連関付けられてもよい。
【0108】
一実施例において、前記複数の格子パターン形式のうちのいずれか一つの格子パターン形式を選択する段階は、予め設定された第5-1の確率分布に従っていずれか一つの格子パターン形式を選択してもよい。
【0109】
前記第5-1の確率分布は、複数の格子パターン形式関数の全体からトレーニング画像を生成するために特定の格子パターン形式を選択する確率を定義する。前記第5-1の確率分布に従って出力物形式関数を選択することは、前記第1-1の確率分布に従って変換を選択することと同様である。
【0110】
一実施例において、前記第5-1の確率分布は、n個のうち1個の格子パターン形式関数を選択する方式で定義されてもよい。例えば、前記第5-1の確率分布は、多項分布(multinomial distribution)を有してもよい。
【0111】
代案的な実施例において、前記第5-1の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0112】
選択された格子パターン形式は、そのまま用いられるか、または選択された格子パターン形式のパターン要素の値を変更してトレーニング画像のための格子パターン形式として決定してもよい(S500)。選択された格子パターン形式は、少なくとも一つの形式要素に対する新しい値を入力引数として入力されて格子パターン形式関数の機能を調節してもよい。
【0113】
一実施例において、前記格子パターンを2次元平面上に表記する段階(S500)は、選択された格子パターン形式のパターン要素値を調整する段階;及び調整されたパターン要素値を有する格子パターン形式を前記トレーニング画像の格子パターン形式として決定する段階を含んでもよい。パターン要素の値が変更されることは確率に基づいて行なわれてもよい。
【0114】
一実施例において、個々のパターン要素別に第5-2の確率分布が設定されてもよい。パターン要素がm個である場合、m個の第5-2の確率分布が定義されて割り当てられる。前記第5-1の確率分布に従って選択された格子パターン形式関数のパターン要素のそれぞれに対して、既存のパターン要素値は自己に予め設定された第5-2の確率分布に従って選択された新しい値に変更されてもよい。変更された新しい値が反映された格子パターン形式がトレーニング画像の生成のために用いられる。
【0115】
前記第5-2の確率分布は、格子パターン形式関数の各パターン要素が有し得る値の全範囲から個々の値が指定される確率分布を定義する。特定の実施例において、前記第5-2の確率分布は、ガウス確率分布、均等確率分布、連続均等確率分布、正規分布、カイ二乗分布、二項確率分布、多項確率分布及び/または多変量確率分布を含んでもよい。各パターン要素別に同一または異なる第5-2の確率分布が設定されてもよい。
【0116】
一実施例において、パターン要素が数値型データにて具現された場合、前記第5-2の確率分布は、連続確率分布としてガウス(正規)分布、ガンマ分布、指数分布、均等分布、カイ二乗分布であってもよい。すると、当該パターン要素の新しい値は、連続確率分布で選択された値である。
【0117】
一実施例において、パターン要素がバイナリ変数データにて具現された場合、前記第5-2の確率分布は、離散確率分布である二項分布、負の二項分布、初期下分布、ポアソン分布であってもよい。前記バイナリ変数データは、「はい(yes)」を示す第2バイナリ値または「いいえ(No)」を示す第2バイナリ値で表現されてもよい。当該パターン要素の新しい値は、離散確率分布に従って選択された値である。
【0118】
一部の実施例において、格子パターン形式関数をなすパターン要素のセットは、互いに相関関係を有する少なくとも一部パターン要素を含んでもよい。新しい値に変更されたパターン要素が他のパターン要素と相関関係を有する場合、前記相関関係を有する他のパターン要素に対して設定された第5-2の確率分布は多変量確率分布であってもよい。すると、前記相関関係を有する他のパターン要素の値は、予め定義された多変量確率分布に従って選択された新しい値に変更される。
【0119】
すると、選択された格子パターン形式を調整した格子パターン形式で2次元平面上に格子パターンが表記される。
【0120】
代案的な実施例において、前記第5-2の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0121】
再び
図1を参照すると、前記トレーニング画像生成方法は、段階(S200)で決定された出力物形式、段階(S300)で決定されたチャンネル別出力区間及び段階(S400)で決定された格子スケールのうち少なくとも一つに基づいて段階(S300)で決定されたトレーニング信号の波形内容の基準位置を設定する段階(S600);及び前記トレーニング信号の波形内容及び信号標識子を段階(S500)で格子パターンが表記された2次元平面上に表記する段階(S700)を含む。
【0122】
段階(S200)でトレーニング画像のフレームをなす2次元平面上でチャンネル別トレーニング信号の位置及び出力物配置構造の位置が算出される。段階(S300)を通じてトレーニング画像に表示される波形の内容が決定される。
【0123】
前記段階(S400)で決定された格子スケールに合わせてトレーニング信号中の前記波形内容に対する測定値の座標が算出される(S600)。前記測定値の座標は、2次元平面上の位置であって、どのチャンネルの波形内容がどの位置に配置されるかを定義する。前記測定値の座標は、格子パターンに基づく座標値として算出される。
【0124】
算出されたトレーニング信号の測定値は、トレーニング信号の波形内容の基準座標として活用されてもよい。
図7は、本出願の一実施例に係る、トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記する結果の概略図である。
【0125】
図7を参照すると、前記トレーニング信号の波形内容及び信号標識子を格子パターンが表記された2次元平面上に表記する段階(S700)は、前記基準位置に基づいて前記トレーニング信号のチャンネル別波形内容及び信号標識子を前記パターンが表記された2次元平面上に表記してもよい。
【0126】
一実施例において、前記基準位置に基づいて前記トレーニング信号のチャンネル別波形内容を前記格子パターンが表記された2次元平面上に表記する段階(S700)は、前記基準位置に基づいてチャンネル別トレーニング信号の波形内容をグラフィックにて表現するための表記関数を定義する段階;及び定義された表記関数を用いてトレーニング信号の波形内容及び信号標識子を表記する段階を含んでもよい。
【0127】
前記表記関数(fn
4)は、トレーニング信号の基準座標及び一つ以上の表記ベクトル(Pnm
4)に基づく。表記ベクトル(Pn
4)は、m個の因子を含んでもよく、各因子は、表記要素Pnm
4で指示される(ここで、nは、表記関数識別字、mは、元素識別字)。ちなみに、ここで、下付き文字nは、n個の関数が存在することを表示する文字であり、上付き文字は、前述した他の関数と区別するための数字である。
【0128】
前記トレーニング信号の基準座標は、信号の横軸上の座標、縦軸上の座標のように、格子パターンに合わせて算出されたトレーニング信号の波形内容の測定値の座標を含んでもよい。
【0129】
前記表記要素(Pnm
4)は、波形のデザイン及び信号標識子を定義する。前記表記要素は、波形のデザインに関連した第1グループ及び信号標識子のデザインに関連した第2グループからなる。
【0130】
前記第1グループの表記要素は、波形の模様、太さ、色相などを含んでもよい。前記色相は、RGB数値、CMYKチャンネル別数値などにて具現されてもよい。
【0131】
前記信号標識子は、チャンネル標識子及びスケール標識子を含む。前記第2グループの表記要素は、標識子の位置、模様、フォント、色相、字(または、線)の太さなどを含んでもよい。前記標識子の位置は、表記されたトレーニング信号からの相対的位置で示される。
【0132】
このような定義は、ユーザの入力に応じて行なわれるか、予め設定されてもよい。
【0133】
前記表記関数を用いて2次元平面上にトレーニング信号の波形内容を表記してトレーニング信号の波形から一定の距離内にチャンネル標識子及びスケール標識子を表記してもよい(S700)。
【0134】
前記表記要素値が調整された場合、調整された表記要素値を反映してトレーニング信号の波形内容、チャンネル標識子、スケール標識子が前記2次元平面上に表記されてもよい(S700)。
【0135】
一実施例において、前記定義された表記関数を用いてトレーニング信号の波形内容及び信号標識子を表記する段階は、前記表記関数の表記要素の値を調整する段階;及び調整された表記要素値を反映して前記トレーニング信号のチャンネル別波形内容を前記格子パターンが表記された2次元平面上に表記する段階を含んでもよい。表記要素の値が変更されることは、確率に基づいて行なわれてもよい。
【0136】
一実施例において、個々の表記要素別に第6の確率分布が設定されてもよい。表記要素がm個である場合、m個の第5確率分布が定義されて割り当てられる。前記第6の確率分布に従って選択された表記関数の表記要素のそれぞれに対して、既存の表記要素値は、自己に予め設定された第6の確率分布に従って選択された新しい値に変更されてもよい。変更された新しい値が反映された表記方式でトレーニング画像が2次元平面上に表記される。
【0137】
前記第6の確率分布は、表記関数の各表記要素が有し得る値の全範囲から個々の値が指定される確率分布を定義する。特定の実施例において、前記第6の確率分布は、連続確率分布としてガウス(正規)分布、均等分布、カイ二乗分布、離散確率分布として二項分布、負の二項分布、初期下分布、ポアソン分布、そして多項分布及び/または多数の変形要素に対する多変量確率分布を含んでもよい。各表記要素別に同一または異なる第6の確率分布が設定されてもよい。また、上述した特定の形態の確率分布を定義した状態で表記要素を抽出するパラメトリックアプローチ方法の他にも、特定の分布を仮定せずに表記要素を無作為抽出してもよい。
【0138】
一実施例において、表記要素が数値型データにて具現された場合、前記第6の確率分布は、連続確率分布としてガウス(正規)分布、均等分布、連続均等確率分布、正規分布、またはカイ二乗分布であってもよい。すると、当該表記要素の新しい値は、前記連続確率分布で選択された値である。
【0139】
一実施例において、表記要素がバイナリ変数データにて具現された場合、前記第6の確率分布は、離散確率分布である二項分布、負の二項分布、初期下分布、ポアソン分布であってもよい。前記バイナリ変数データは、「はい(yes)」を示す第2バイナリ値または「いいえ(No)」を示す第2バイナリ値で表現されてもよい。当該表記要素の新しい値は、前記離散確率分布に従って選択された値である。
【0140】
一実施例において、表記要素がカテゴリ型(categorical)変数にて具現された場合、前記第6の確率分布は、多項確率分布(multinomial probability distribution)であってもよい。すると、当該表記要素の新しい値は、多項確率分布に従って選択された値である。
【0141】
一部の実施例において、表記関数をなす表記要素のセットは、互いに相関関係を有する少なくとも一部の表記要素を含んでもよい。新しい値に変更された表記要素が他の表記要素と相関関係を有する場合、前記相関関係を有する他の表記要素に対して設定された第6の確率分布は、多変量確率分布であってもよい。すると、前記相関関係を有する他の表記要素の値は、予め定義された多変量確率分布に従って選択された新しい値に変更される。
すると、変更された値を有する表記方式で2次元平面上にトレーニング信号の波形内容及び信号標識子が表記される(S700)。
【0142】
代案的な実施例において、前記第6の確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。これについては、以下でより詳しく述べる。
【0143】
また、前記トレーニング画像生成方法は、トレーニング信号の付加情報及び/またはスケール情報を更に表記する段階(S800)を含む。
【0144】
図8は、本出願の一実施例に係る、付加情報を表記したことの概略図である。
【0145】
図8を参照すると、前記トレーニング信号の付加情報は、ソース付加情報と同様に、前記トレーニング信号の元の属性(original attributes)である。前記トレーニング信号の付加情報は、年齢、性別、測定場所、測定時間または波形解析を意味するテキストにて具現されてもよい。
【0146】
一実施例において、前記トレーニング信号の付加情報を表記する段階は、予め設定された付加情報テキストから任意に選択された付加情報テキストを選択して表記する段階であってもよい。付加情報テキストの表記位置は、段階(S300)で決定された出力物形式に基づく。
【0147】
他の一部の実施例において、前記トレーニング信号の付加情報は、ソース付加情報であってもよい。この場合、トレーニング信号の付加情報とソース信号の付加情報とは一致する。
【0148】
前記スケール情報は、段階(S400)で決定された格子スケールを記述する情報であって、前記格子スケールを意味する記号、絵柄、テキストにて具現されてもよい。前記スケール情報の表記位置も段階(S200)で決定された出力物形式に基づく。
【0149】
一実施例において、前記スケール情報を表記する段階は、予め設定された複数のスケール表記方式のうちのいずれか一つのスケール表記方式を選択する段階;及び選択されたスケール表記方式で前記スケール情報を表記する段階を含んでもよい。
【0150】
一実施例において、予め設定された複数のスケール表記方式のうちのいずれか一つのスケール表記方式を選択する段階は、第7の確率分布に従って予め設定された複数のスケール表記方式のうちのいずれか一つのスケール表記方式を選択することであってもよい。
【0151】
前記第7の確率分布は、n個のうち1個を選択する方式で定義されてもよい。例えば、前記第7の確率分布は、多項分布(multinomial distribution)を有してもよい。
【0152】
また、前記トレーニング画像生成方法は、生成されたトレーニング画像を更に変形する段階(S900)をさらに含んでもよい。
【0153】
前記段階(S900)は、予め設定された複数の画像拡張(image augmentation)関数のうち少なくとも一つの画像拡張関数を選択する段階;及び選択された画像拡張関数を用いて前記トレーニング画像を更に変形する段階を含んでもよい。
【0154】
前記画像拡張関数は、多数の拡張要素からなってもよい。前記拡張要素は、変形の種類、頻度、強度及び/またはエポックナンバー(epoch number)を含んでもよい。
【0155】
前記拡張関数を選択する段階は、変形関数を選択するのと同様である。一実施例において、前記拡張関数を選択する段階は、前記複数の画像拡張関数のセットに対して予め設定された第8の確率分布に従って複数の変形関数のうちのいずれか一つの画像拡張関数を選択するか、複数の画像拡張関数のうちの二つ以上の画像拡張関数を選択してもよい。
【0156】
前記第8の確率分布は、複数の画像拡張関数の全体からトレーニング画像を生成するために特定の画像拡張関数(複数でもよい)を選択する確率を定義する。
【0157】
一実施例において、前記第8の確率分布は、n個のうち1個の画像拡張関数を選択する方式で定義されてもよい。例えば、前記第8の確率分布は、多項分布(multinomial distribution)を有してもよい。
【0158】
他の一実施例において、前記第8の確率分布は、n個のうち2個以上の画像拡張関数を選択する方式で定義されてもよい。例えば、前記第8の確率分布は、二項分布(Binomial distribution)を有してもよい。
【0159】
また、前記トレーニング画像生成方法は、生成されたトレーニング画像のデータをW×H×C'形態のテンソルに変換する段階(S1000)をさらに含んでもよい。ここで、Wは画像の横、Hは画像の縦、C'はカラーチャンネルの数(モノクロの場合、C'=1)を示す。C×T実数配列形態の多チャンネル1次元信号がソース信号に入力されると、このようなトレーニング画像生成方法によってトレーニング画像を生成してW*h*C形態の3次元実数配列に変換された結果物を出力することもできる。
【0160】
前記代案的な実施例において、確率分布は、任意の指定された初期確率分布をトレーニングを通じて最適化したものであってもよい。
【0161】
前述したように、ハイパーパラメータベクトルは、二項データ、多項データ(multinomial data)、数値型データ(numerical data)を含んでもよい。
【0162】
二項データは二項分布に従って選択される。前述したように、二項分布に従う選択は2回以上行われてもよい。前記二項データに対するラベルデータは、1個以上の項目に対して「はい」で選択される、マルチラベル選択(multilabel choice)にて具現される。
【0163】
多項データは多項分布に従って選択される。前述したように、多項分布に従う選択は単独で行なわれてもよい。すると、多項データに対するラベルデータは、単一ラベル選択(singlelabel choice)にて具現される。
【0164】
数値型データは限定されるか限定されない範囲を有する確率分布に従って選択される。このような確率分布は、連続確率分布としてガウス(正規)分布、ガンマ分布、指数分布、均等分布カイ二乗分布などを含んでもよい。前述したように、均等分布に従う選択は、限定されるか限定されていない範囲の実数(real number)を選択することである。
【0165】
前記データ形式にて具現される要素は、機械学習モデルのハイパーパラメータに該当し、最適化対象になってもよい。
【0166】
このようなハイパーパラメータは、生成されたトレーニング画像を活用して多チャンネル1次元シグナル画像を分析する画像ベースの人工知能モデルを学習する過程で最適化されてもよい。
【0167】
前記ハイパーパラメータは、次の目標下で最適化される:a)トレーニングされた人工知能のテキストデータセットで精度(accuracy)の向上、b)ドメインシフト及び敵対的攻撃(adversarial attack)に対する堅牢性(robustness)の向上、c)潜在ベクトル(latent vector)の埋め込みクォリティーの向上(すなわち、同一概念間の潜在空間(latent space)内の距離の最小化)。
【0168】
前記ハイパーパラメータの最適化は、Grid search、Random search、Gaussian process、Tree-structed Parzen Estimator(TPE)などの最適化アルゴリズムを通じて行なわれてもよいが、これらに制限されない。
【0169】
本出願の他の一側面によれば、前記トレーニング画像生成方法は、データを受信して処理するように構成された構成要素によって行なわれてもよい。
【0170】
図9は、本出願の他の一側面に係る、前記トレーニング画像生成方法を実行する装置のブロック図である。
【0171】
図9を参照すると、前記装置は、取得部10;及び画像生成部100を含む。
【0172】
前記取得部10は、多チャンネル1次元シグナルのようなソース信号を測定することができる装置からソース信号を取得する。例えば、対象体の身体の一部に取り付けられて対象体(ユーザ)の多チャンネル1次元シグナルである、例えば、心電図信号を測定する心電図測定装置から心電図信号を直接的または間接的に取得することができる。
【0173】
前記取得部10は、対象体の身体の一部に取り付けられたセンサを介して対象体の心電図信号を測定する心電図測定装置から情報を受信するように連結されてもよい。すると、前記取得部10は、前記心電図測定装置から前記心電図信号を直接取得することもできる。
【0174】
センサは、対象体の身体の一部に取り付けられて対象体(ユーザ)の心電図信号を測定するものであってよい。センサ及び心電図信号測定装置から取得された心電図信号は、アナログ-デジタル変換器(ADC、Analog-Digital Converter)を介してデジタル信号に変換されてよい。また、心電図測定装置(図示せず)は、タッチパネルを介してユーザの身体が予め決められた時間以上接触していると判断した場合、生体信号を測定することができる。また他の実施例によれば、取得部10は、心電図信号(raw signal)だけでなく、既に得られた心電図信号に基づいて用紙や画像に出力されて視覚化した心電図画像を取得することができる。
【0175】
前記取得部10は、対象体の身体の一部に取り付けられたセンサを介して対象体の心電図信号を測定する心電図測定装置から情報を受信するように連結されてもよい。すると、前記取得部10は、前記心電図測定装置から前記心電図信号を直接取得することもできる。
【0176】
または、取得部10は、外部機器と有・無線電気通信するように接続されてもよい。すると、前記取得部10は、外部機器に予め取得または格納されている心電図信号データから取得することもできる。外部機器は、自機が心電図測定装置に連結されているか、または心電図測定装置に連結されたまた他の外部機器を介して心電図信号データを取得するものである。したがって、前記取得部10の外部機器からの心電図信号データの取得は、心電図信号の間接的な取得として扱われてもよい。
【0177】
前記取得部10によって一つ以上のチャンネルを介して測定された、ソース信号情報が取得される。前記ソース信号情報は、アナログソース信号、デジタルソース信号情報、またはソース信号を表示したソース画像を含んでもよい。
【0178】
前記画像生成部100は、プロセッサ及びメモリを含むコンピューティング装置であって、取得部10によって受信されたソース信号情報を受信すると、
図1のトレーニング画像生成方法の段階(S100~S800)を実行してもよい。
【0179】
一実施例において、画像生成部100は、サーバで具現されてもよい。取得部10は、前記サーバに連結されてデータを入力する装置(例えば、ユーザ端末または信号入力装備)であってもよい。
【0180】
この場合、サーバは、ネットワークサーバで具現される多数のコンピュータシステムまたはコンピュータソフトウェアであって、多様な情報をウェブサイトで構成して提供することができる。ここで、ネットワークサーバとは、私設イントラネットまたはインターネットのようなコンピュータネットワークを介して他のネットワークサーバと通信することができる下位装置に連結されて作業実行要請を受け付け、それに応じて作業を実行しその実行結果を提供するコンピュータシステム及びコンピュータソフトウェア(ネットワークサーバプログラム)のことを意味する。しかし、このようなネットワークサーバプログラムの他にも、ネットワークサーバ上で動作する一連の応用プログラムと場合によっては内部に構築されている各種のデータベースを含む広い概念と読み取られるべきである。例えば、各種のデータベースを含む場合、サーバは、クラウドのような外部データベース情報を利用するように構成され、この場合、サーバは、動作によって外部データベースサーバ(例えば、クラウドサーバ)に接続してデータ通信することができる。
【0181】
以上で説明した実施例に係るトレーニング画像生成方法及びこれを実行する装置による動作は、少なくとも部分的にコンピュータプログラムで具現され、コンピュータ読み取り可能な記録媒体に記録されてよい。例えば、プログラムコードを含むコンピュータ読み取り可能な媒体で構成されるプログラム製品とともに具現され、これは、記述された任意のまたはすべての段階、動作、または過程を実行するためのプロセッサによって実行されてよい。
【0182】
前記コンピュータは、デスクトップコンピュータ、ラップトップコンピュータ、ノートブック、スマートフォン、またはこれらと類似したコンピューティング装置であってもよいし、統合されてもよい任意の装置であってよい。コンピュータは、一つ以上の代替的で特別な目的のプロセッサ、メモリ、格納空間、及びネットワーキング構成要素(無線または有線のいずれか)を有する装置である。前記コンピュータは、例えば、マイクロソフトのウィンドウと互換性のあるオペレーティングシステム、アップルOSX(登録商標)またはiOS、リヌックスディストリビューション(Linux(登録商標) distribution)、またはGoogleのAndroid OSのようなオペレーティングシステム(operating system)を実行することができる。
【0183】
前記コンピュータ読み取り可能な記録媒体はコンピュータによって読み取り可能なデータが格納されるすべての種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピー、光データ記憶装置などを含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納され実行されてもよい。また、本実施例を具現するための機能的なプログラム、コード、及びコードセグメント(segment)は、本実施例が属する技術分野の当業者によって容易く理解できるはずである。
【0184】
以上、本発明を図面に示された実施例を参照して説明したが、これは例示的なものに過ぎず、当業者であればこれに基づいて種々の変形及び実施例の変形が可能であることが理解できるはずである。しかし、このような変形は本発明の技術的保護範囲内にあるとみなすべきである。したがって、本発明の真正な技術的保護範囲は添付の特許請求の範囲の技術的思想によって定められるべきである。
【産業上の利用可能性】
【0185】
本発明は、画像ベースの人工知能モデルをトレーニングするのに用いられるトレーニング画像生成技術及びこれを実行する装置に関し、医療バイオ分野のシグナルやその他の1次元シグナルに基づいて2次元画像を分析する多様な産業分野のシグナル分析に適用され得る。
【国際調査報告】