(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】人工知能を用いた疾病分類方法およびそのための電子装置
(51)【国際特許分類】
A61B 7/04 20060101AFI20240409BHJP
G06N 20/00 20190101ALI20240409BHJP
G16H 50/20 20180101ALI20240409BHJP
【FI】
A61B7/04 Z
G06N20/00
G16H50/20
(21)【出願番号】P 2023119199
(22)【出願日】2023-07-21
【審査請求日】2023-07-21
(31)【優先権主張番号】10-2022-0090887
(32)【優先日】2022-07-22
(33)【優先権主張国・地域又は機関】KR
【早期審査対象出願】
(73)【特許権者】
【識別番号】523277781
【氏名又は名称】スマートサウンド・コーポレイション
【氏名又は名称原語表記】Smartsound Corporation
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】イ,ジョンホ
(72)【発明者】
【氏名】チョ,ウォンヤン
(72)【発明者】
【氏名】イ,ウンジュ
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特表平03-503962(JP,A)
【文献】特開2021-133005(JP,A)
【文献】特表2021-524958(JP,A)
【文献】韓国公開特許第10-2017-0064960(KR,A)
【文献】米国特許出願公開第2008/0082017(US,A1)
【文献】米国特許出願公開第2020/0146623(US,A1)
【文献】中国特許出願公開第112908291(CN,A)
【文献】国際公開第2013/089072(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 7/00- 7/04
A61B 5/00- 5/01
A61B 5/02- 5/03
A61B 5/06- 5/22
G06Q 50/22
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
電子装置によって遂行される、人工知能を用いた疾病分類方法であって、
前記電子装置は制御部を備え、
前記制御部が、聴診音データ、聴診位置データ、および身体部位に関する情報を含む設定データを獲得する段階と、
前記制御部が、前記聴診音データに基づいて特徴情報を獲得し、前記聴診位置データに基づいて聴診位置情報を獲得する段階と、
前記制御部が、前記特徴情報および前記聴診位置情報を組み合わせて、結合情報を生成する段階と、
前記制御部が、前記結合情報を人工知能モデルに入力して、前記結合情報に対応する少なくとも1つの疾病情報を
前記人工知能モデルから出力する段階と、を含み、
前記特徴情報、前記聴診位置情報、および前記結合情報は、ベクトルの形態を有し、
前記聴診位置情報を獲得する段階は、前記聴診位置データをエンベディングして前記聴診位置情報を獲得する段階を含み、
前記結合情報を生成する段階は、前記特徴情報および前記聴診位置情報を連結して前記結合情報を生成する段階を含み、
前記聴診位置情報は、聴診可能位置に対応する設定された数の成分を含み、
前記聴診可能位置に対応する設定された数の成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し、
前記設定された数は、前記身体部位に関する情報に基づいて決定される、疾病分類方法。
【請求項2】
前記疾病分類方法は、
前記制御部が、生体データを獲得する段階と、前記生体データに基づいて、生体情報を獲得する段階と、をさらに含み、
前記結合情報は、前記生体情報がさらに組み合わされた、請求項1に記載の疾病分類方法。
【請求項3】
前記生体データは、
心拍規則度データと、
呼吸数データと、
呼吸規則度データと、
体温データと、
年齢データと、
血圧データと、
血糖値データと、のうち少なくとも1つを含む、請求項2に記載の疾病分類方法。
【請求項4】
前記疾病分類方法は、
前記制御部が、生体データを獲得する段階と、前記生体データに基づいて、ベクトル形態の生体情報を獲得する段階と、をさらに含み、
前記結合情報は、前記生体情報がさらに連結された、請求項1に記載の疾病分類方法。
【請求項5】
前記電子装置は、前記生体データをエンベディングするための範疇の個数を予め設定しており、
前記生体情報
のベクトルは複数の成分を含み、前記複数の成分の各々は、
予め設定された
前記範疇に対応
し、
前記
複数の成分のうち、前記生体データの値が含まれた範疇に対応する成分は第1値を有し、残りの成分は第2値を有する、請求項4に記載の疾病分類方法。
【請求項6】
前記特徴情報および前記聴診位置情報は、マップの形態を有し、
前記結合情報を生成する段階は、前記特徴情報に前記聴診位置情報をチャンネルとして
追加して前記結合情報を生成する段階を含む、請求項1に記載の疾病分類方法。
【請求項7】
前記聴診位置情報は、聴診可能位置に対応する1つ以上のマップを含み、
前記聴診可能位置に対応する1つ以上のマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有する、請求項6に記載の疾病分類方法。
【請求項8】
前記疾病分類方法は、
前記制御部が、生体データを獲得する段階と、前記生体データに基づいて、マップ形態の生体情報を獲得する段階と、をさらに含み、
前記結合情報は、前記生体情報がチャンネルとしてさらに追加された、請求項6に記載の疾病分類方法。
【請求項9】
前記電子装置は、前記生体データをエンベディングするための範疇の個数を予め設定しており、
前記生体情報
は複数のマップから構成され、
前記複数のマップの各々は、
予め設定された
前記範疇に対応
し、
かつ、値を持つ成分を有し、
前記
複数のマップのうち、前記生体データの値が含まれた範疇に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有する、請求項8に記載の疾病分類方法。
【請求項10】
前記聴診音データは、心音データおよび肺音データのうち少なくとも1つを含み、
前記聴診位置データは、心音聴診位置に関するデータおよび肺音聴診位置に関するデータを含む、請求項1に記載の疾病分類方法。
【請求項11】
前記聴診音データは、心音データを含み、
前記人工知能モデルは、心臓に関する疾病を分類するための第1人工知能モデルを含み、
前記特徴情報を獲得する段階は、前記聴診音データから心音が存在する周波数以外の領域を除去する段階を含み、
前記少なくとも1つの疾病情報を
出力する段階は、前記結合情報を前記第1人工知能モデルに入力して前記結合情報に対応する心臓に関する少なくとも1つの疾病情報を確認する段階を含む、請求項1に記載の疾病分類方法。
【請求項12】
前記聴診音データは、肺音データを含み、
前記人工知能モデルは、肺に関する疾病を分類するための第2人工知能モデルを含み、
前記特徴情報を獲得する段階は、前記聴診音データから肺音が存在する周波数以外の領域を除去する段階を含み、
前記少なくとも1つの疾病情報を確認する段階は、前記結合情報を前記第2人工知能モデルに入力して前記結合情報に対応する肺に関する少なくとも1つの疾病情報を確認する段階を含む、請求項1に記載の疾病分類方法。
【請求項13】
前記聴診位置データを獲得する段階は、
診療記録データを獲得する段階と、
キーワードを抽出する人工知能モデルを用いて、前記診療記録データから前記聴診位置データを獲得する段階と、を含む、請求項1に記載の疾病分類方法。
【請求項14】
前記人工知能モデルは、
1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データを含む学習データセットに基づいて学習される、請求項1に記載の疾病分類方法。
【請求項15】
前記学習データセットは、
1つ以上の生体データをさらに含む、請求項14に記載の疾病分類方法。
【請求項16】
前記人工知能モデルは、心臓に関する疾病を分類するための第1人工知能モデルおよび肺に関する疾病を分類するための第2人工知能モデルを含み、
前記第1人工知能モデルは、1つ以上の心音データ、1つ以上の心音聴診位置データ、および1つ以上の心臓に関する疾病データを含む学習データセットに基づいて学習され、
前記第2人工知能モデルは、1つ以上の肺音データ、1つ以上の肺音聴診位置データ、および1つ以上の肺に関する疾病データを含む学習データセットに基づいて学習される、
請求項1に記載の疾病分類方法。
【請求項17】
請求項1に記載の方法をコンピュータにおいて実行させるためのプログラム。
【請求項18】
電子装置であって、
通信部と、
メモリーと、
制御部と、を含み、前記制御部は、
聴診音データ、聴診位置データ、および身体部位に関する情報を含む設定データを獲得し、
前記聴診音データに基づいて特徴情報を獲得し、前記聴診位置データに基づいて聴診位置情報を獲得し、
前記特徴情報および前記聴診位置情報を組み合わせて、結合情報を生成し、
前記結合情報を人工知能モデルに入力して、前記結合情報に対応する少なくとも1つの疾病情報を確認し、
前記特徴情報、前記聴診位置情報、および前記結合情報は、ベクトルの形態を有し、
前記制御部は、前記聴診位置情報を獲得するときに、前記聴診位置データをエンベディングして前記聴診位置情報を獲得し、
前記制御部は、前記結合情報を生成するときに、前記特徴情報および前記聴診位置情報を連結して前記結合情報を生成し、
前記聴診位置情報は、聴診可能位置に対応する設定された数の成分を含み、
前記聴診可能位置に対応する設定された数の成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し、
前記設定された数は、前記身体部位に関する情報に基づいて決定される、電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、聴診音データおよび聴診位置データを含む学習データに基づいて人工知能モデルを学習させ、学習された人工知能モデルを用いてより正確に疾病を分類するための電子装置およびその制御方法に関する。
【背景技術】
【0002】
インターネットの使用が普遍化し、人口の寿命が伸びることによって、ホームヘルスケア(home healthcare)市場に対する関心が高まっている。ホームヘルスケアは、ユーザーが病院を訪問せず、ユーザーの家において遠隔で医学的な管理、治療、および支援が提供されるサービスを意味する。
【0003】
特に、スマート聴診器のような製品を用いて、心臓、肺、または腸などの身体部位の聴診音を測定し、測定された聴診音に基づいて疾病の有無に関する情報を提供するか、疾病が診断されるサービスが脚光を浴びている。但し、現在の技術は、聴診音データのみに基づいて疾病診断サービスを提供するため、疾病診断の正確性において限界が存在する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
開示された実施形態は、人工知能を用いた疾病分類方法およびそのための電子装置を提供しようとする。より具体的には、聴診音データおよび聴診位置データを含む学習データに基づいて人工知能モデルを学習させ、学習された人工知能モデルを用いてより正確に疾病を分類するための電子装置およびその制御方法を提供することを目的とする。
【0005】
本実施形態が達成しようとする技術的課題は、前記のような技術的課題に限定されず、以下の実施形態からさらに他の技術的課題が類推され得る。
【課題を解決するための手段】
【0006】
本開示の一側面は、聴診音データおよび聴診位置データを獲得する段階と、前記聴診音データに基づいて特徴情報を獲得し、前記聴診位置データに基づいて聴診位置情報を獲得する段階と、前記特徴情報および聴診位置情報を組み合わせて、結合情報を生成する段階と、人工知能モデルを用いて、前記結合情報に対応する少なくとも1つの疾病情報を確認する段階と、を含む、疾病分類方法を提供することができる。
【0007】
また、本開示の一実施形態において、前記疾病分類方法は、生体データ(biometric data)を獲得する段階と、前記生体データに基づいて、生体情報を獲得する段階と、をさらに含み、前記結合情報は、前記生体情報がさらに組み合わされた、疾病分類方法を提供することができる。
【0008】
また、本開示の一実施形態において、前記生体データは、心拍規則度データと、呼吸数データと、呼吸規則度データと、体温データと、年齢データと、血圧データと、血糖値データのうち少なくとも1つを含む、疾病分類方法を提供することができる。
【0009】
また、本開示の一実施形態において、前記特徴情報および前記聴診位置情報は、ベクトルの形態を有し、前記結合情報を生成する段階は、前記特徴情報および前記聴診位置情報を連結(concatenation)して前記結合情報を生成する段階を含む、疾病分類方法を提供することができる。
【0010】
また、本開示の一実施形態において、前記聴診位置情報は、聴診可能位置に対応する1つ以上の成分を含み、前記聴診可能位置に対応する1つ以上の成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有する、疾病分類方法を提供することができる。
【0011】
また、本開示の一実施形態において、前記疾病分類方法は、生体データを獲得する段階と、前記生体データに基づいて、ベクトル形態の生体情報を獲得する段階と、をさらに含み、前記結合情報は、前記生体情報がさらに連結された、疾病分類方法を提供することができる。
【0012】
また、本開示の一実施形態において、前記生体情報は、設定された数の範疇に対応する1つ以上の成分を含み、前記設定された数の範疇に対応する1つ以上の成分のうち、前記生体データの値が含まれた範疇に対応する成分は第1値を有し、残りの成分は第2値を有する、疾病分類方法を提供することができる。
【0013】
また、本開示の一実施形態において、前記特徴情報および前記聴診位置情報は、マップ(map)の形態を有し、前記結合情報を生成する段階は、前記特徴情報に前記聴診位置情報をチャンネルとして追加して前記結合情報を生成する段階を含む、疾病分類方法を提供することができる。
【0014】
また、本開示の一実施形態において、前記聴診位置情報は、聴診可能位置に対応する1つ以上のマップを含み、前記聴診可能位置に対応する1つ以上のマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有する、疾病分類方法を提供することができる。
【0015】
また、本開示の一実施形態において、前記疾病分類方法は、生体データを獲得する段階と、前記生体データに基づいて、マップ形態の生体情報を獲得する段階と、をさらに含み、前記結合情報は、前記生体情報がチャンネルとしてさらに追加された、疾病分類方法を提供することができる。
【0016】
また、本開示の一実施形態において、前記生体情報は、設定された数の範疇に対応する1つ以上のマップを含み、前記設定された数の範疇に対応する1つ以上のマップのうち、前記生体データの値が含まれた範疇に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有する、疾病分類方法を提供することができる。
【0017】
また、本開示の一実施形態において、前記聴診音データは、心音(heart sound)データおよび肺音(lung sound)データのうち少なくとも1つを含み、前記聴診位置データは、心音聴診位置に関するデータおよび肺音聴診位置に関するデータを含む、疾病分類方法を提供することができる。
【0018】
また、本開示の一実施形態において、前記聴診音データは心音データを含み、前記人工知能モデルは心臓に関する疾病を分類するための第1人工知能モデルを含み、前記特徴情報を獲得する段階は、前記聴診音データから心音が存在する周波数以外の領域を除去する段階を含み、前記少なくとも1つの疾病情報を確認する段階は、前記第1人工知能モデルを用いて前記結合情報に対応する心臓に関する少なくとも1つの疾病情報を確認する段階を含む、疾病分類方法を提供することができる。
【0019】
また、本開示の一実施形態において、前記聴診音データは肺音データを含み、前記人工知能モデルは肺に関する疾病を分類するための第2人工知能モデルを含み、前記特徴情報を獲得する段階は、前記聴診音データから肺音が存在する周波数以外の領域を除去する段階を含み、前記少なくとも1つの疾病情報を確認する段階は、前記第2人工知能モデルを用いて前記結合情報に対応する肺に関する少なくとも1つの疾病情報を確認する段階を含む、疾病分類方法を提供することができる。
【0020】
また、本開示の一実施形態において、前記聴診位置データを獲得する段階は、診療記録データを獲得する段階と、キーワードを抽出する人工知能モデルを用いて、前記診療記録データから前記聴診位置データを獲得する段階と、を含む、疾病分類方法を提供することができる。
【0021】
また、本開示の一実施形態において、前記人工知能モデルは、1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データを含む学習データセットに基づいて学習される、疾病分類方法を提供することができる。
【0022】
また、本開示の一実施形態において、前記学習データセットは、1つ以上の生体データをさらに含む、疾病分類方法を提供することができる。
【0023】
また、本開示の一実施形態において、前記人工知能モデルは、心臓に関する疾病を分類するための第1人工知能モデルおよび肺に関する疾病を分類するための第2人工知能モデルを含み、前記第1人工知能モデルは、1つ以上の心音データ、1つ以上の心音聴診位置データ、および1つ以上の心臓に関する疾病データを含む学習データセットに基づいて学習され、前記第2人工知能モデルは、1つ以上の肺音データ、1つ以上の肺音聴診位置データ、および1つ以上の肺に関する疾病データを含む学習データセットに基づいて学習される、疾病分類方法を提供することができる。
【0024】
本開示の他の側面は、通信部と、メモリーと、制御部(controller)と、を含み、前記制御部は、聴診音データおよび聴診位置データを獲得し、前記聴診音データに基づいて特徴情報を獲得し、前記聴診位置データに基づいて聴診位置情報を獲得し、前記特徴情報および前記聴診位置情報を組み合わせて、結合情報を生成し、人工知能モデルを用いて、前記結合情報に対応する少なくとも1つの疾病情報を確認する、電子装置を提供することができる。
【0025】
本開示のさらに他の側面は、電子装置によって遂行される方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供することができる。
【0026】
その他の実施形態の具体的な事項は、詳細な説明および図面に含まれている。
【発明の効果】
【0027】
提案される実施形態に係る場合、次のような効果を1つ或いはそれ以上を期待することができる。
【0028】
本明細書の実施形態による場合、聴診音データだけでなく、聴診位置データに基づいて学習された人工知能モデルを用いることによって、聴診音データおよび聴診位置データが入力されたときに、ユーザーが疾病を有しているか否か、またはユーザーが如何なる疾病を有しているかがより高い正確度で判断され得る。
【0029】
また、本明細書の実施形態による場合、聴診音データだけでなく、聴診位置データおよび生体データに基づいて学習された人工知能モデルを用いることによって、聴診音データ、聴診位置データ、および生体データが入力されたときに、ユーザーが疾病を有しているか否か、またはユーザーが如何なる疾病を有しているかがより高い正確度で判断され得る。
【0030】
また、本明細書の実施形態による場合、ユーザーが診断を受けようとする身体部位または種によって相違する学習データに基づいて学習された人工知能モデルを用いることによって、聴診音データおよび聴診位置データが入力されたときに、ユーザーが疾病を有しているか否か、またはユーザーが如何なる疾病を有しているかがより高い正確度で判断され得る。
【0031】
発明の効果は、以上で言及した効果に制限されず、言及されていないさらに他の効果は、請求の範囲の記載から当該技術分野の通常の技術者に明確に理解され得るであろう。
【図面の簡単な説明】
【0032】
【
図1】一実施形態に係るシステムを示す図面である。
【
図2a】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図2b】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図2c】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図3a】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図3b】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図3c】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図3d】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図4a】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図4b】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図4c】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図4d】一実施形態によって電子装置が疾病を分類する過程を説明するための図面である。
【
図5a】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図5b】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図5c】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図5d】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図5e】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図5f】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図6a】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図6b】一実施形態によって電子装置が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【
図7】一実施形態によって電子装置が生体データに基づいて生体ベクトルを獲得する過程を説明するための図面である。
【
図8a】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図8b】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図8c】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図8d】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図8e】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図8f】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図9a】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図9b】一実施形態によって電子装置が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
【
図10】一実施形態によって電子装置が生体データに基づいて生体マップを獲得する過程を説明するための図面である。
【
図11】一実施形態によって電子装置が診療記録データに基づいて、聴診位置情報を獲得する過程を説明するための図面である。
【
図12a】一実施形態によって電子装置が人工知能モデルを学習させる過程を説明するための図面である。
【
図12b】一実施形態によって電子装置が人工知能モデルを学習させる過程を説明するための図面である。
【
図12c】一実施形態によって電子装置が人工知能モデルを学習させる過程を説明するための図面である。
【
図13】一実施形態に係る電子装置の人工知能を用いた疾病分類方法のフローチャートである。
【
図14】一実施形態に係る電子装置のブロック図である。
【発明を実施するための形態】
【0033】
実施形態において使用される用語は、本開示における機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは当分野に従事する技術者の意図または判例、新たな技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する説明の部分において詳細にその意味を記載するであろう。したがって、本開示において使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたる内容に基づいて定義されなければならない。
【0034】
明細書全体において、ある部分がある構成要素を「含む」とするとき、これは特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができることを意味する。
【0035】
明細書全体において記載された「a、b、およびcのうち少なくとも1つ」の表現は、「a単独」、「b単独」、「c単独」、「aおよびb」、「aおよびc」、「bおよびc」、または「a、b、およびcすべて」を包括することができる。
【0036】
以下において言及される「端末」は、ネットワークを通じてサーバーや他端末に接続できるコンピュータや携帯用端末として具現され得る。ここで、コンピュータは、例えば、ウェブブラウザ(WEB Browser)が搭載されたノートパソコン、デスクトップ(desktop)、ラップトップ(laptop)などを含み、携帯用端末は、例えば、携帯性と移動性が保障される無線通信装置として、IMT(International Mobile Telecommunication)、CDMA(Code Division Multiple Access)、W-CDMA(W-Code Division Multiple Access)、LTE(Long Term Evolution)などの通信基盤端末、スマートフォン、タブレットPCなどのようなすべての種類のハンドヘルド(Handheld)基盤の無線通信装置を含むことができる。
【0037】
以下においては、添付した図面を参考にして、本開示の実施形態に関して本開示の属する技術分野において通常の知識を有する者が容易に実施できるように詳細に説明する。しかし、本開示は、いくつかの相違する形態で具現され得、ここで説明する実施形態に限定されない。
【0038】
本開示に係る人工知能に関連する機能は、プロセッサーとメモリーを通じて動作する。プロセッサーは、1つまたは複数のプロセッサーで構成され得る。このとき、1つまたは複数のプロセッサーは、CPU、AP、DSP(Digital Signal Processor)などのような汎用プロセッサー、GPU、VPU(Vision Processing Unit)のようなグラフィック専用プロセッサー、またはNPUのような人工知能専用プロセッサーであり得る。1つまたは複数のプロセッサーは、メモリーに保存された既に定義された動作規則または人工知能モデルによって、入力データを処理するように制御する。または、1つまたは複数のプロセッサーが人工知能専用プロセッサーである場合、人工知能専用プロセッサーは、特定の人工知能モデルの処理に特化したハードウェア構造として設計され得る。
【0039】
既に定義された動作規則または人工知能モデルは、学習を通じて作られたことを特徴とする。ここで、学習を通じて作られるということは、基本の人工知能モデルが学習アルゴリズムによって多数の学習データを用いて学習されることによって、所望の特性(または、目的)を遂行するように設定された既に定義された動作規則または人工知能モデルが作られることを意味する。このような学習は、本開示に係る人工知能が遂行される機器自体においてなされてもよく、別途のサーバーおよび/またはシステムを通じてなされてもよい。学習アルゴリズムの例としては、指導型学習(supervised learning)、非指導型学習(unsupervised learning)、準指導型学習(semi-supervised learning)、または強化学習(reinforcement learning)があるが、前述の形態に限定されない。
【0040】
人工知能(artificial intelligence,AI)モデルは、複数のニューラルネットワークレイヤーで構成され得る。複数のニューラルネットワークレイヤーのそれぞれは、複数の加重値(weight values)を有しており、以前(previous)のレイヤーの演算結果と複数の加重値間の演算を通じてニューラルネットワーク演算を遂行する。複数のニューラルネットワークレイヤーが有している複数の加重値は、人工知能モデルの学習結果によって最適化され得る。例えば、学習過程の間に人工知能モデルから獲得したロス(loss)値またはコスト(cost)値が減少または最小化するように複数の加重値が更新され得る。人工ニューラルネットワークは、ディープニューラルネットワーク(deep neural network,DNN)、畳み込みニューラルネットワーク(convolutional neural network,CNN)、回帰型ニューラルネットワーク(recurrent neural network,RNN)、制限付きボルツマンマシン(restricted boltzmann machine,RBM)、DBN(deep belief network)、双方向性再帰型ニューラルネットワーク(bidirectional recurrent deep neural network,BRDNN)、またはディープQ-ネットワーク(Deep Q-Networks)などを含むことができるが、前述した形態に限定されない。
【0041】
本開示において、疾病を分類する動作は、聴診された(auscultated)ユーザーが疾病を有しているか否かを確認する動作またはユーザーが有する疾病が何かを確認する動作を示すことができ、疾病を診断する動作と混用され得るが、これに限定されない。
【0042】
以下では、図面を参照して本開示の実施形態を詳細に説明する。
【0043】
【0044】
図1を参照すると、システムは、電子装置100、1つ以上のユーザー端末120、140、160、およびネットワーク180の中から少なくとも1つを含むことができる。一方、
図1に図示されたシステムは、本実施形態に関連した構成要素のみが図示されている。したがって、
図1に図示された構成要素のほかに他の汎用的な構成要素がさらに含まれ得ることを本実施形態に関連した技術分野において通常の知識を有する者であれば理解することができる。
【0045】
電子装置100は、多様な情報を構成して提供する装置である。電子装置100は、聴診音(auscultation sound)データおよび聴診位置データを獲得し、人工知能モデルを用いて聴診音データおよび聴診位置データに対応する疾病情報を確認することができる。以後、電子装置100は、確認された疾病情報をウェブページまたはアプリケーション画面などで提供するか、提供される端末においてウェブページまたはアプリケーション画面などで表示できる形態の情報として提供することができる。
【0046】
1つ以上のユーザー端末120、140、160は、ユーザーそれぞれが使用する端末であって、ユーザーは各自のユーザー端末120、140、160を用いてネットワーク180によって提供されるサービスにアクセスすることができる。例えば、電子装置100は、ユーザーの疾病を診断するためのアプリケーションを1つ以上のユーザー端末120、140、160に提供することができ、ユーザーは、各自のユーザー端末120、140、160に設置されたアプリケーションを用いて、聴診音を測定し、それに係る疾病診断結果の提供を受けることができる。
【0047】
1つ以上のユーザー端末120、140、160と電子装置100は、ネットワーク180内において互いに通信することができる。ネットワーク180は、ローカルエリアネットワーク(Local Area Network;LAN)、広域通信網(Wide Area Network;WAN)、付加価値通信網(Value Added Network;VAN)、移動通信網(mobile radio communication network)、衛星通信網、およびこれらの相互組み合せを含み、
図1に図示された各ネットワークの構成主体が互いに円滑に通信できるようにする包括的な意味のデータ通信網であり、有線インターネット、無線インターネット、およびモバイル無線通信網を含むことができる。無線通信は、例えば、無線LAN(Wi-Fi)、ブルートゥース(登録商標)、ブルートゥース(登録商標)低エネルギー(Bluetooth low energy)、ジグビー、WFD(Wi-Fi Direct)、UWB(ultra wideband)、赤外線通信(IrDA,infrared Data Association)、NFC(Near Field Communication)などがあり得るが、これに限定されない。
【0048】
図2aないし
図2cは、一実施形態によって電子装置100が疾病を分類する過程を説明するための図面である。このとき、角丸(rounded)四角形はデータまたは情報を示す。
【0049】
図2aを参照すると、電子装置100は、一実施形態によって聴診音データ210および聴診位置データ220を獲得することができる。例えば、ユーザーは、診断を受けようとする身体部位にスマート聴診器などを位置させて聴診音を測定することができ、ユーザー端末は、スマート聴診器などから獲得した聴診音データ210を電子装置100に伝送することができる。また、ユーザー端末は、ユーザーが聴診音を測定するときに使用したスマート聴診器のセンサーなどを通じて聴診位置を確認するか、ユーザー端末のディスプレイに表示された聴診可能位置のうち聴診位置を直接選択するユーザー入力を獲得し、獲得した聴診位置データ220を電子装置100に伝送することができる。
【0050】
一実施形態によると、電子装置100は、聴診音データ210に基づいて、特徴情報240を獲得することができる。例えば、電子装置100は、獲得した聴診音データ210をスペクトログラムイメージに変更した後、CNNモデル、TCNN(temporary CNN)モデル、またはCNN-LSTM(CNN-long short term memory)モデルなどを用いて特徴ベクトルまたは特徴マップ形態の特徴情報240を獲得することができる。このとき、スペクトログラム(spectrogram)は、時間軸と周波数軸の変化に係る振幅の差を印刷濃度または表示色相の差で示すので、音や波動を視覚化して把握するための道具を意味する。
【0051】
一実施形態によると、電子装置100は、聴診位置データ220に基づいて、聴診位置情報250を獲得することができる。例えば、電子装置100は、聴診位置データ220をエンベディング(embedding)してベクトル形態の聴診位置情報250を獲得することができる。これに関しては、
図5aないし
図5f、および
図6aないし
図6bを参照して詳細に説明することにする。または、電子装置100は、聴診位置データ220からマップ形態の聴診位置情報250を獲得することができる。これに関しては、
図8aないし
図8f、および
図9aないし
図9cを参照して詳細に説明することにする。
【0052】
一実施形態によると、電子装置100は、特徴情報240および聴診位置情報250を組み合わせて、結合情報270を生成することができる。例えば、電子装置100は、特徴情報240および聴診位置情報250を連結して結合情報270を生成することができる。これに関しては、
図3aないし
図3dを参照して、詳細に説明することにする。または、電子装置100は、特徴情報240に聴診位置情報250をチャンネルとして追加して結合情報270を生成することができる。これに関しては、
図4aないし
図4dを参照して、詳細に説明することにする。
【0053】
一実施形態によると、電子装置100は、人工知能モデル200を用いて、結合情報270に対応する少なくとも1つの疾病情報280を確認することができる。例えば、電子装置100は、生成された結合情報270を人工知能モデル200に入力し、人工知能モデル200から出力された少なくとも1つの疾病情報280を確認することができる。
【0054】
このとき、人工知能モデル200は、聴診音データ、聴診位置データ、および疾病データに基づいて学習され、聴診音データ210および聴診位置データ220から獲得された結合情報270に基づいて疾病情報280を出力することによって、より高い正確度で疾病を分類することができる。例えば、人工知能モデル200は、大動脈弁狭窄症(aortic stenosis,AS)を有する患者の大動脈弁(aortic valve)の位置における聴診音データに基づいて学習され得る。それにより、人工知能モデルは、大動脈弁の位置における聴診音データおよび大動脈弁の位置データが入力されたときに、入力されたデータのユーザーが大動脈弁狭窄症を有しているか否かをより高い正確度で判断することができる。また、人工知能モデル200は、大動脈弁狭窄症を有する患者の大動脈弁の位置における聴診音データだけでなく、肺動脈弁(pulmonic valve)、三尖弁(tricuspid valve)、および二尖弁(mitral valve or bicuspid valve)を含む多様な位置における聴診音データに基づいて学習され得る。それにより、人工知能モデルは、大動脈弁の位置以外の位置における聴診音データおよび該当位置データが入力されたときにおいても、入力されたデータのユーザーが大動脈弁狭窄症を有しているか否かを判断することができる。
【0055】
一実施形態によると、人工知能モデル200は、1つまたは複数の疾病情報を出力することができる。例えば、人工知能モデル200は、ユーザーが測定した聴診音に対応する最も高い確率の疾病を出力するか、ユーザーが測定した聴診音に対応する複数の疾病を出力することができる。
【0056】
一実施形態によると、電子装置100は、確認された疾病情報を電子装置100のディスプレイに表示するか、ユーザー端末に伝送することができる。ユーザー端末は、受信した疾病情報280に基づいて、スマート聴診器などを用いて聴診音を測定した身体部位が正常なのか否かまたは異常がある場合に如何なる疾病が予想されるかなどに関する情報をユーザーに提供することができる。
【0057】
図2bを参照すると、電子装置100は、一実施形態によって聴診音データ210、聴診位置データ220、および生体データ230を獲得することができる。例えば、ユーザーは、ユーザー端末を用いて心拍規則度、呼吸数、呼吸規則度、体温、年齢、血圧、血糖値などを含む生体データ(biometric data)230を測定するか、ユーザー端末に直接生体データ230を入力することができ、ユーザー端末は、獲得した生体データ230を電子装置100に伝送することができる。
【0058】
このとき、生体データに含まれたデータのうち測定対象の規則度は、設定された期間のあいだに確認された測定対象の回数を基準として、後に設定された期間ごとに測定対象が確認された回数の比率を示すことができる。例えば、10秒間にユーザーの心拍数が5回として確認された場合、後の10秒間にユーザーの心拍数が4回として確認されれば、ユーザーの心拍規則度は80%であり得る。または、1分間にユーザーの心拍数が15回として確認された場合、後の1分間にユーザーの心拍数が18回として確認されれば、ユーザーの呼吸規則度は120%であり得る。
【0059】
一実施形態によると、電子装置100は、聴診音データ210に基づいて特徴情報240を獲得し、聴診位置データ220に基づいて聴診位置情報250を獲得し、生体データ230に基づいて生体情報260を獲得することができる。例えば、電子装置100は、生体データ230をエンベディングしてベクトル形態の生体情報260を獲得することができる。これに関しては、
図7を参照して、詳細に説明することにする。または、電子装置100は、生体データ230からマップ形態の生体情報260を獲得することができる。これに関しては、
図10を参照して、詳細に説明することにする。
【0060】
一実施形態によると、電子装置100は、特徴情報240、聴診位置情報250、および生体情報260を組み合わせて、結合情報270を生成することができる。例えば、電子装置100は、特徴情報240、聴診位置情報250、および生体情報260を連結して結合情報270を生成することができる。これに関しては、
図3aないし
図3dを参照して、詳細に説明することにする。または、電子装置100は、特徴情報240に聴診位置情報250および生体情報260をチャンネルとして追加して結合情報270を生成することができる。これに関しては、
図4aないし
図4dを参照して、詳細に説明することにする。
【0061】
一実施形態によると、電子装置100は、人工知能モデル200を用いて、結合情報270に対応する少なくとも1つの疾病情報280を確認することができる。例えば、電子装置100は、生成された結合情報270を人工知能モデル200に入力し、人工知能モデル200から出力された少なくとも1つの疾病情報280を確認することができる。
【0062】
このとき、人工知能モデル200は、聴診音データ、聴診位置データ、生体データ、および疾病データに基づいて学習され、聴診音データ210、聴診位置データ220、および生体データ230から獲得された結合情報270に基づいて疾病情報280を出力することによって、より高い正確度で疾病を分類することができる。例えば、心臓に関する疾病を診断しようとする場合、電子装置100は、心音データおよび心音聴診位置データと共に心拍規則度データを用いて人工知能モデル200を学習させ、人工知能モデル200に心音データ、心音聴診位置データ、および心拍規則度データを入力することによって、より高い正確度で心臓に関する疾病を分類することができる。または、肺に関する疾病を診断しようとする場合、電子装置100は、肺音データおよび肺音聴診位置データと共に呼吸数データ/呼吸規則度データを用いて人工知能モデル200を学習させ、人工知能モデル200に肺音データ、肺音聴診位置データ、および呼吸数データ/呼吸規則度データを入力することによって、より高い正確度で肺に関する疾病を分類することができる。動物に関する疾病を診断しようとする場合、電子装置100は、聴診音データおよび聴診位置データと共に呼吸規則度データおよび体温データを用いて人工知能モデル200を学習させ、人工知能モデル200に聴診音データ、聴診位置データ、呼吸規則度データ、および体温データを入力することによって、より高い正確度で動物に関する疾病を分類することができる。
【0063】
図2cを参照すると、電子装置100は、一実施形態によって聴診音データ210、聴診位置データ220、および設定データ290を獲得することができる。例えば、ユーザーは、心臓、肺、または腸など、どの身体部位に関する疾病の診断を受けようとするのか、または動物に関して診断しようとするのか否かなどに関する設定値をユーザー端末に入力することができ、ユーザー端末は獲得した設定データ290を電子装置100に伝送することができる。
【0064】
一実施形態によると、電子装置100は、聴診音データ210および設定データ290に基づいて、特徴情報240を獲得することができる。より具体的には、電子装置100は、設定データ290に基づいてユーザーが診断を受けようとする身体部位を確認することができる。以後、電子装置100は、バンドパスフィルタ(band pass filter,BPF)を用いて聴診音データ210からユーザーが診断を受けようとする身体部位の聴診音が存在する周波数以外の領域を除去し、残った周波数領域のデータに基づいて特徴情報240を獲得することができる。
【0065】
例えば、ユーザーが心臓に関する疾病の診断を受けようとする場合、電子装置100は、バンドパスフィルタを用いて、聴診音データ210から心音が存在する周波数領域である20~300Hz以外の領域を除去し、20~300Hz領域のデータに基づいて特徴情報240を獲得することができる。または、ユーザーが肺に関する疾病の診断を受けようとする場合、電子装置100は、バンドパスフィルタを用いて、聴診音データ210から肺音が存在する周波数領域である100~1500Hz以外の領域を除去し、100~1500Hz領域のデータに基づいて特徴情報240を獲得することができる。
【0066】
一実施形態によると、電子装置100は、聴診位置データ220に基づいて、聴診位置情報250を獲得することができる。以後、電子装置100は、特徴情報240および聴診位置情報250を組み合わせて、結合情報270を生成することができる。
【0067】
一実施形態によると、人工知能モデル200は、複数の人工知能モデル202、204、206を含むことができ、複数の人工知能モデル202、204、206それぞれは、相違する身体部位または相違する種(species)に係る聴診音データおよび聴診位置データに基づいて学習され得る。例えば、第1人工知能モデル202は、心音データ、心音聴診位置データ、および心臓に関する疾病データに基づいて学習され得、第2人工知能モデル204は、肺音データ、肺音聴診位置データ、および肺に関する疾病データに基づいて学習され得、第3人工知能モデル206は、腸音データ、腸音聴診位置データ、および腸に関する疾病データに基づいて学習され得る。または、第4人工知能モデルは、犬の心音データ、犬の心音聴診位置データ、および犬の心臓に関する疾病データに基づいて学習され得、第5人工知能モデルは、猫の心音データ、猫の心音聴診位置データ、および猫の心臓に関する疾病データに基づいて学習され得る。但し、これは、一実施形態に過ぎず、人工知能モデルを学習させることに用いられ得るデータは、前述した形態に限定されない。
【0068】
一実施形態によると、電子装置100は、人工知能モデル200に含まれた複数の人工知能モデル202、204、206のうち、設定データに基づいて選択された人工知能モデルを用いて、結合情報270に対応する少なくとも1つの疾病情報280を確認することができる。より具体的には、電子装置100は、設定データ290に基づいてユーザーが診断を受けようとする身体部位を確認した後、ユーザーが診断を受けようとする身体部位に対応する人工知能モデルに結合情報270を入力し、人工知能モデルから出力された少なくとも1つの疾病情報280を確認することができる。
【0069】
例えば、ユーザーが心臓に関する疾病の診断を受けようとする場合、電子装置100は、心音データに基づいて学習された第1人工知能モデル202に結合情報270を入力し、第1人工知能モデル202から出力された少なくとも1つの心臓に関する疾病情報280を確認することができる。または、ユーザーが肺に関する疾病の診断を受けようとする場合、電子装置100は、肺音データに基づいて学習された第2人工知能モデル204に結合情報270を入力し、第2人工知能モデル204から出力された少なくとも1つの肺に関する疾病情報280を確認することができる。このように、ユーザーが特定身体部位に対して診断を受けようとする場合、電子装置100は、該当身体部位に関するデータに基づいて学習された人工知能モデルを用いることによって、より高い正確度で疾病を分類することができる。
【0070】
図3aないし
図3dは、一実施形態によって電子装置100が疾病を分類する過程を説明するための図面である。
図2aないし
図2cと重複する内容は、簡略に説明または省略することにする。
【0071】
図3aを参照すると、電子装置100は、一実施形態によって聴診音データ310および聴診位置データ320を獲得することができる。例えば、ユーザー端末は、スマート聴診器などから聴診音データ310および聴診位置データ320を獲得するか、ユーザー端末のディスプレイに表示された聴診可能位置のうち聴診位置を直接選択するユーザー入力を獲得し、獲得した聴診音データ310および聴診位置データ320を電子装置100に伝送することができる。
【0072】
一実施形態によると、電子装置100は、聴診音データ310に基づいて、特徴ベクトル340を獲得することができる。例えば、電子装置100は、獲得した聴診音データ310をスペクトログラムイメージに変更した後、人工知能モデルを用いて特徴ベクトル340を獲得することができる。
【0073】
一実施形態によると、電子装置100は、聴診位置データ320に基づいて、聴診位置ベクトル350を獲得することができる。例えば、電子装置100は、聴診位置データ320をエンベディングして聴診位置ベクトル350を獲得することができ、聴診位置ベクトル350の大きさは、ユーザーがどの身体部位に関する疾病の診断を受けようとするのか、または動物に関して診断しようとするのか否かなどによって相違して決定され得る。これに関しては、
図5aないし
図5f、および
図6aないし
図6bを参照して、詳細に説明することにする。
【0074】
一実施形態によると、電子装置100は、特徴ベクトル340と聴診位置ベクトル350を連結(concatenation)して、結合ベクトル370を生成することができる。例えば、特徴ベクトル340の大きさがNであり、聴診位置ベクトル350の大きさがMである場合、電子装置100は、特徴ベクトル340と聴診位置ベクトル350を連結することによって、大きさが(N+M)の結合ベクトル370を生成することができる。
【0075】
一実施形態によると、電子装置100は、人工知能モデル300を用いて、結合ベクトル370に対応する少なくとも1つの疾病情報380を確認することができる。例えば、電子装置100は、生成された結合ベクトル370を人工知能モデル300に入力し、人工知能モデル300から出力された少なくとも1つの疾病情報380を確認することができる。
【0076】
図3bを参照すると、電子装置100は、一実施形態によって聴診音データ310、聴診位置データ320、および生体データ330を獲得することができる。例えば、ユーザーは、ユーザー端末を用いて心拍規則度、呼吸数、呼吸規則度、体温、年齢、血圧、血糖値などを含む生体データ330を測定するか、ユーザー端末に直接生体データ330を入力することができ、ユーザー端末は、獲得した生体データ330を電子装置100に伝送することができる。
【0077】
一実施形態によると、電子装置100は、聴診音データ310に基づいて特徴ベクトル340を獲得し、聴診位置データ320に基づいて聴診位置ベクトル350を獲得し、生体データ330に基づいて生体ベクトル360を獲得することができる。例えば、電子装置100は、生体データ330をエンベディングして生体ベクトル360を獲得することができ、生体ベクトル360の大きさは、生体データの種類の数および生体データそれぞれの種類に対応する範疇の数で設定された値によって相違して決定され得る。これに関しては、
図7を参照して、詳細に説明することにする。
【0078】
一実施形態によると、電子装置100は、特徴ベクトル340、聴診位置ベクトル350、および生体ベクトル360を連結して結合ベクトル370を生成することができる。例えば、特徴ベクトル340の大きさがNであり、聴診位置ベクトル350の大きさがMであり、生体ベクトル360の大きさがLである場合、電子装置100は、特徴ベクトル340、聴診位置ベクトル350、および生体ベクトル360を連結することによって、サイズ(N+M+L)の結合ベクトル370を生成することができる。
【0079】
一実施形態によると、電子装置100は、人工知能モデル300を用いて、結合ベクトル370に対応する少なくとも1つの疾病情報380を確認することができる。例えば、電子装置100は、生成された結合ベクトル370を人工知能モデル300に入力し、人工知能モデル300から出力された少なくとも1つの疾病情報380を確認することができる。
【0080】
図3cを参照すると、電子装置100は、一実施形態によって複数の聴診音データ315および複数の聴診位置データ325を獲得することができる。このとき、複数の聴診音データ315および複数の聴診位置データ325それぞれは、対応するデータと対になり得る。例えば、複数の聴診音データ315および複数の聴診位置データ325は、(聴診音データ、聴診位置データ)の形式で獲得され得る。
【0081】
一実施形態によると、複数の聴診位置データ325に含まれた聴診位置データは、同一の値を有するか、相違する値を有し得る。例えば、複数の聴診音データ315および複数の聴診位置データ325は、(第1聴診音データ、第1聴診位置データ)、(第2聴診音データ、第2聴診位置データ)、または(第3聴診音データ、第3聴診位置データ)などのデータを含むことができる。または、複数の聴診音データ315および複数の聴診位置データ325は、(第1聴診音データ、第1聴診位置データ)、(第2聴診音データ、第1聴診位置データ)、または(第3聴診音データ、第2聴診位置データ)などのデータを含むことができる。
【0082】
一実施形態によると、電子装置100は、複数の聴診音データ315に基づいて、複数の特徴ベクトル345を獲得することができる。例えば、電子装置100は、n個の聴診音データ315をスペクトログラムイメージに変更した後、人工知能モデルを用いてn個の特徴ベクトル345を獲得することができる。
【0083】
一実施形態によると、電子装置100は、複数の聴診位置データ325に基づいて、複数の聴診位置ベクトル355を獲得することができる。例えば、電子装置100は、n個の聴診位置データ325をエンベディングしてn個の聴診位置ベクトル355を獲得することができる。
【0084】
一実施形態によると、電子装置100は、複数の特徴ベクトル345と複数の聴診位置ベクトル355を連結して、複数の結合ベクトル375を生成することができる。例えば、電子装置100は、n個の特徴ベクトル345およびn個の聴診位置ベクトル355に対応するベクトル同士を連結することによって、n個の結合ベクトル375を生成することができる。
【0085】
一実施形態によると、電子装置100は、人工知能モデル300を用いて、複数の結合ベクトル375に対応する少なくとも1つの疾病情報380を確認することができる。例えば、電子装置100は、生成された複数の結合ベクトル375を人工知能モデル300に入力し、人工知能モデル300から出力された少なくとも1つの疾病情報380を確認することができる。
【0086】
図3dを参照すると、電子装置100は、一実施形態によって複数の聴診音データ315、複数の聴診位置データ325、および1つ以上の生体データ335を獲得することができる。このとき、1つ以上の生体データ335は1つであってもよく、複数であってもよい。例えば、生体データ335が聴診音データ獲得時ごとに測定されたデータを含む場合、電子装置100は、複数の聴診音データそれぞれに対応する複数の生体データ335を獲得することができる。一方、生体データ335が聴診音データ獲得時ごとに測定されたデータを含まず、同一のデータ値が用いられる場合(一例として、年齢)、電子装置100は1つの生体データ335を獲得することができる。
【0087】
一実施形態によると、電子装置100は、複数の聴診音データ315に基づいて複数の特徴ベクトル345を獲得し、複数の聴診位置データ325に基づいて複数の聴診位置ベクトル355を獲得し、1つ以上の生体データ335に基づいて1つ以上の生体ベクトル365を獲得することができる。例えば、電子装置100は、n個の聴診音データ315に基づいてn個の特徴ベクトル345を獲得し、n個の聴診位置データ325をエンベディングしてn個の聴診位置ベクトル355を獲得することができる。また、電子装置100は、1つ以上の生体データ335をエンベディングして1つ以上の生体ベクトル365を獲得することができる。
【0088】
一実施形態によると、電子装置100は、複数の特徴ベクトル345、複数の聴診位置ベクトル355、および1つ以上の生体ベクトル365を連結して、複数の結合ベクトル375を生成することができる。例えば、1つ以上の生体データ335が聴診音データ獲得時ごとに測定されたデータを含む場合、電子装置100はn個の特徴ベクトル345、n個の聴診位置ベクトル355、およびn個の生体ベクトル365に対応するベクトル同士を接続することによって、n個の結合ベクトル375を生成することができる。または、1つ以上の生体データ335が聴診音データ獲得時ごとに測定されたデータを含まず、同一のデータ値が用いられる場合、電子装置100は、n個の特徴ベクトル345およびn個の聴診位置ベクトル355に対応するベクトル同士を連結した後、1つの生体ベクトル365を特徴ベクトルと聴診位置ベクトルが連結されたn個のベクトルにそれぞれ結合させることによって、n個の結合ベクトル375を生成することができる。
【0089】
一実施形態によると、電子装置100は、人工知能モデル300を用いて、複数の結合ベクトル375に対応する少なくとも1つの疾病情報380を確認することができる。例えば、電子装置100は、生成された複数の結合ベクトル375を人工知能モデル300に入力し、人工知能モデル300から出力された少なくとも1つの疾病情報380を確認することができる。
【0090】
図4aないし
図4dは、一実施形態によって電子装置100が疾病を分類する過程を説明するための図面である。
図3aないし
図3dと重複する内容は、簡略に説明または省略することにする。
【0091】
図4aを参照すると、電子装置100は、一実施形態によって聴診音データ410および聴診位置データ420を獲得することができる。例えば、ユーザー端末は、スマート聴診器などから聴診音データ410および聴診位置データ420を獲得するか、ユーザー端末のディスプレイに表示された聴診可能位置のうち聴診位置を直接選択するユーザー入力を獲得し、獲得した聴診音データ410および聴診位置データ420を電子装置100に伝送することができる。
【0092】
一実施形態によると、電子装置100は、聴診音データ410に基づいて、特徴マップ440を獲得することができる。例えば、電子装置100は、獲得した聴診音データ410をスペクトログラムイメージに変更した後、人工知能モデルを用いて特徴マップ440を獲得することができる。
【0093】
一実施形態によると、電子装置100は、聴診位置データ420に基づいて、聴診位置マップ450を獲得することができる。例えば、電子装置100は、聴診位置データ420に基づいて聴診位置マップ450を獲得することができ、聴診位置マップ450に含まれたマップの数は、ユーザーがどの身体部位に関する疾病の診断を受けようとするのか、または動物に関して診断しようとするのか否かによって相違して決定され得る。これに関しては、
図8aないし
図8f、および
図9aないし
図9cを参照して、詳細に説明することにする。
【0094】
一実施形態によると、電子装置100は、特徴マップ440に聴診位置マップ450をチャンネルとして追加して、結合マップ470を生成することができる。例えば、聴診位置マップ450に含まれたマップの数がMである場合、電子装置100は、特徴マップ440に聴診位置マップ450をチャンネルとして追加することによって、(M+1)個のマップを含む結合マップ470を生成することができる。
【0095】
一実施形態によると、電子装置100は、人工知能モデル400を用いて、結合マップ470に対応する少なくとも1つの疾病情報480を確認することができる。例えば、電子装置100は、生成された結合マップ470を人工知能モデル400に入力し、人工知能モデル400から出力された少なくとも1つの疾病情報480を確認することができる。
【0096】
図4bを参照すると、電子装置100は、一実施形態によって聴診音データ410、聴診位置データ420、および生体データ430を獲得することができる。例えば、ユーザーは、ユーザー端末を用いて心拍規則度、呼吸数、呼吸規則度、体温、年齢、血圧、血糖値などを含む生体データ430を測定するか、ユーザー端末に直接生体データ430を入力することができ、ユーザー端末は獲得した生体データ430を電子装置100に伝送することができる。
【0097】
一実施形態によると、電子装置100は、聴診音データ410に基づいて特徴マップ440を獲得し、聴診位置データ420に基づいて聴診位置マップ450を獲得し、生体データ430に基づいて生体マップ460を獲得することができる。例えば、電子装置100は、生体データ430に基づいて生体マップ460を獲得することができ、生体マップ460に含まれたマップの数は、生体データの種類の数および生体データそれぞれの種類に対応する範疇の数として設定された値によって相違して決定され得る。これに関しては、
図10を参照して、詳細に説明することにする。
【0098】
一実施形態によると、電子装置100は、特徴マップ440に聴診位置マップ450および生体マップ460をチャンネルとして追加して、結合マップ470を生成することができる。例えば、聴診位置マップ450に含まれたマップの数がMであり、生体マップ460に含まれたマップの数がLである場合、電子装置100は、特徴マップ440に聴診位置マップ450および生体マップ460をチャンネルとして追加することによって、(M+L+1)個のマップを含む結合マップ470を生成することができる。
【0099】
一実施形態によると、電子装置100は、人工知能モデル400を用いて、結合マップ470に対応する少なくとも1つの疾病情報480を確認することができる。例えば、電子装置100は、生成された結合マップ470を人工知能モデル400に入力し、人工知能モデル400から出力された少なくとも1つの疾病情報480を確認することができる。
【0100】
図4cを参照すると、電子装置100は、一実施形態によって複数の聴診音データ415および複数の聴診位置データ425を獲得することができる。このとき、複数の聴診音データ415および複数の聴診位置データ425それぞれは、対応するデータと対になり得る。例えば、複数の聴診音データ415および複数の聴診位置データ425は、(聴診音データ、聴診位置データ)の形式で獲得され得る。
【0101】
一実施形態によると、電子装置100は、複数の聴診音データ415に基づいて、複数の特徴マップ445を獲得することができる。例えば、電子装置100は、n個の聴診音データ415をスペクトログラムイメージに変更した後、人工知能モデルを用いてn個の特徴マップ445を獲得することができる。
【0102】
一実施形態によると、電子装置100は、複数の聴診位置データ425に基づいて、複数の聴診位置マップ455を獲得することができる。例えば、電子装置100は、n個の聴診位置データ425に基づいてn個の聴診位置マップ455を獲得することができる。
【0103】
一実施形態によると、電子装置100は、複数の特徴マップ445に複数の聴診位置マップ455をチャンネルとして追加して、複数の結合マップ475を生成することができる。例えば、電子装置100は、n個の特徴マップ445それぞれに対応するn個の聴診位置マップ455をチャンネルとして追加することによって、n個の結合マップ475を生成することができる。
【0104】
一実施形態によると、電子装置100は、人工知能モデル400を用いて、複数の結合マップ475に対応する少なくとも1つの疾病情報480を確認することができる。例えば、電子装置100は、生成された複数の結合マップ475を人工知能モデル400に入力し、人工知能モデル400から出力された少なくとも1つの疾病情報480を確認することができる。
【0105】
図4dを参照すると、電子装置100は、一実施形態によって複数の聴診音データ415、複数の聴診位置データ425、および1つ以上の生体データ435を獲得することができる。このとき、1つ以上の生体データ435は、1つであってもよく、複数であってもよい。例えば、生体データ435が聴診音データ獲得時ごとに測定されたデータを含む場合、電子装置100は、複数の聴診音データそれぞれに対応する複数の生体データ435を獲得することができる。一方、生体データ435が聴診音データ獲得時ごとに測定されたデータを含まず、同一のデータ値が用いられる場合、電子装置100は、1つの生体データ435を獲得することができる。
【0106】
一実施形態によると、電子装置100は、複数の聴診音データ415に基づいて複数の特徴マップ445を獲得し、複数の聴診位置データ425に基づいて複数の聴診位置マップ455を獲得し、1つ以上の生体データ435に基づいて1つ以上の生体マップ465を獲得することができる。例えば、電子装置100は、n個の聴診音データ415に基づいてn個の特徴マップ445を獲得し、n個の聴診位置データ425に基づいてn個の聴診位置マップ455を獲得することができる。また、電子装置100は、1つ以上の生体データ435をエンベディングして1つ以上の生体マップ465を獲得することができる。
【0107】
一実施形態によると、電子装置100は、複数の特徴マップ445に複数の聴診位置マップ455および1つ以上の特徴マップ465をチャンネルとして追加して、複数の結合マップ475を生成することができる。例えば、1つ以上の生体データ435が聴診音データ獲得時ごとに測定されたデータを含む場合、電子装置100は、n個の特徴マップ445それぞれに対応するn個の聴診位置マップ455およびn個の生体マップ465をチャンネルとして追加することによって、n個の結合マップ475を生成することができる。または、1つ以上の生体データ435が聴診音データ獲得時ごとに測定されたデータを含まず、同一のデータ値が用いられる場合、電子装置100は、n個の特徴マップ445それぞれに対応するn個の聴診位置マップ455をチャンネルとして追加した後、1つの生体マップ465をそれぞれのチャンネルとして追加することによって、n個の結合マップ475を生成することができる。
【0108】
一実施形態によると、電子装置100は、人工知能モデル400を用いて、複数の結合マップ475に対応する少なくとも1つの疾病情報480を確認することができる。例えば、電子装置100は、生成された複数の結合マップ475を人工知能モデル400に入力し、人工知能モデル400から出力された少なくとも1つの疾病情報480を確認することができる。
【0109】
図5aないし
図5fは、一実施形態によって電子装置100が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
【0110】
図5aを参照すると、電子装置100は、一実施形態によって聴診位置データ500を獲得することができる。例えば、電子装置100は、心音聴診可能位置のうち心音を測定した位置に関するデータを含む聴診位置データ500を獲得することができる。このとき、心音聴診可能位置は、P1位置、P2位置、P3位置、およびP4位置を含むことができ、聴診位置データ500は、P1位置、P2位置、P3位置、およびP4位置のうち心音が測定された位置に関するデータを含むことができる。
【0111】
一実施形態によると、心音聴診可能位置は、心臓に関する疾病を診断するために、聴診器を位置させる身体部位を示し得る。例えば、P1位置は第2肋間腔(intercostal space,ICS)および傍胸骨右縁(Rt. parasternal border)に位置する大動脈弁の位置を示し、P2位置は、第2肋間腔および傍胸骨左縁に位置する肺動脈弁の位置を示し得る。また、P3位置は、第4または第5肋間腔および胸骨左縁に位置する三尖弁の位置を示し、P4位置は、第5肋間腔および左鎖骨中線(mid-clavicular line)内側に位置する二尖弁の位置を示し得る。但し、これは一実施形態に過ぎず、心臓に関する疾病を診断するために聴診器を位置させる身体部位は、前述した形態に限定するものではない。
【0112】
一実施形態によると、電子装置100は、聴診位置データ500または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ500が心音聴診位置データを含む場合、電子装置100は、心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて心音聴診可能位置を聴診可能位置として確認することができる。
【0113】
一実施形態によると、電子装置100は、聴診位置データ500をエンベディングして聴診位置ベクトル510を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100は、大きさがnの聴診位置ベクトル510を獲得することができる。例えば、心音聴診可能位置が4である場合、電子装置100は大きさが4の聴診位置ベクトル510を獲得することができ、聴診位置ベクトル510の成分はそれぞれの心音聴診可能位置に対応し得る。
【0114】
一実施形態によると、聴診位置ベクトル510に含まれた成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。例えば、聴診位置データ500がP2に対応する聴診位置データを含む場合、聴診位置ベクトル510に含まれた成分のうち、P2位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。即ち、聴診位置ベクトル510は、[第2値,第1値,第2値,第2値]として表現され得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0115】
一実施形態によると、電子装置100は、聴診位置データ500または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ500が心音聴診位置データを含む場合、電子装置100は、心音データ、心音聴診位置データ、および心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、心音データ、心音聴診位置データ、および心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。
【0116】
図5bを参照すると、電子装置100は、一実施形態によって聴診位置データ520を獲得することができる。例えば、電子装置100は、肺音聴診可能位置のうち肺音を測定した位置に関するデータを含む聴診位置データ520を獲得することができる。このとき、肺音聴診可能位置は、P1位置ないしP12位置を含むことができ、聴診位置データ520は、P1位置ないしP12位置のうち肺音が測定された位置に関するデータを含むことができる。
【0117】
一実施形態によると、肺音聴診可能位置は、肺に関する疾病を診断するために、聴診器を位置させる身体部位を示し得る。例えば、P1位置は前面右側上部の位置を示し、P5位置は前面左側中部の位置を示し得る。また、P9位置は後面左側下部の位置を示し、P10位置は後面右側上部の位置を示し得る。但し、これは一実施形態に過ぎず、肺に関する疾病を診断するために聴診器を位置させる身体部位は、前述の形態に限定されない。
【0118】
一実施形態によると、電子装置100は、聴診位置データ520または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ520が肺音聴診位置データを含む場合、電子装置100は、肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて肺音聴診可能位置を聴診可能位置として確認することができる。
【0119】
一実施形態によると、電子装置100は、聴診位置データ520をエンベディングして聴診位置ベクトル530を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100は、大きさがnの聴診位置ベクトル530を獲得することができる。例えば、肺音聴診可能位置が12である場合、電子装置100は、大きさが12の聴診位置ベクトル530を獲得することができ、聴診位置ベクトル530の成分はそれぞれ肺音聴診可能位置に対応し得る。
【0120】
一実施形態によると、聴診位置ベクトル530に含まれた成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。例えば、聴診位置データ520がP7に対応する聴診位置データを含む場合、聴診位置ベクトル530に含まれた成分のうち、P7位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。即ち、聴診位置ベクトル530は、[第2値,第2値,第2値,第2値,第2値,第2値,第1値,第2値,第2値,第2値,第2値,第2値]として表現され得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0121】
一実施形態によると、電子装置100は、聴診位置データ520または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ520が肺音聴診位置データを含む場合、電子装置100は、肺音データ、肺音聴診位置データ、および肺に関する疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、肺音データ、肺音聴診位置データ、および肺に関する疾病データに基づいて学習された人工知能モデルを使用することができる。
【0122】
図5cを参照すると、電子装置100は、一実施形態によって聴診位置データ540を獲得することができる。例えば、電子装置100は、心音および肺音聴診可能位置のうち聴診音を測定した位置に関するデータを含む聴診位置データ540を獲得することができる。このとき、心音聴診可能位置はP1位置ないしP4位置を含むことができ、肺音聴診可能位置はP5位置ないしP16位置を含むことができ、聴診位置データ540はP1位置ないしP16位置のうち聴診音が測定された位置に関するデータを含むことができる。
【0123】
一実施形態によると、電子装置100は、聴診位置データ540または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ540が心音または肺音聴診位置データを含む場合、電子装置100は、心音および肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて心音、肺音、および腸音聴診可能位置を聴診可能位置として確認することができる。但し、これは一実施形態に過ぎず、聴診可能位置として確認され得る身体部位は、前述の形態に限定されない。
【0124】
一実施形態によると、電子装置100は、聴診位置データ540をエンベディングして聴診位置ベクトル550を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100は大きさがnの聴診位置ベクトル550を獲得することができる。例えば、心音聴診可能位置が4であって、肺音聴診可能位置が12である場合、電子装置100は大きさが16の聴診位置ベクトル550を獲得することができ、聴診位置ベクトル550の成分はそれぞれ心音または肺音聴診可能位置に対応し得る。
【0125】
一実施形態によると、聴診位置ベクトル550に含まれた成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。例えば、聴診位置データ540がP11に対応する聴診位置データを含む場合、聴診位置ベクトル550に含まれた成分のうち、P11位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。即ち、聴診位置ベクトル550は、[第2値,第2値,第2値,第2値,第2値,第2値,第2値,第2値,第2値,第2値,第1値,第2値,第2値,第2値,第2値,第2値]として表現され得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0126】
一実施形態によると、電子装置100は、聴診位置データ540または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ540が肺音聴診位置データを含む場合、電子装置100は、1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データに基づいて学習された人工知能モデルを使用することができる。
【0127】
図5dを参照すると、電子装置100は、一実施形態によって聴診位置データ560を獲得することができる。例えば、電子装置100は、心音聴診可能位置のうち第3の位置において心音を測定したというデータを含む聴診位置データ560を獲得することができる。
【0128】
一実施形態によると、電子装置100は、聴診位置データ560に基づいて聴診可能位置を確認することができる。例えば、聴診位置データ560が心音聴診位置データを含むことにより、電子装置100は心音聴診可能位置を聴診可能位置として確認することができる。または、聴診位置データ560が心音聴診位置データを含むことにより、電子装置100は心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0129】
一実施形態によると、電子装置100は、設定データに基づいて聴診可能位置を確認することができる。例えば、設定データが心臓に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0130】
一実施形態によると、電子装置100は、聴診位置データ560をエンベディングして聴診位置ベクトル565を獲得することができる。例えば、聴診可能位置が4として確認された場合、電子装置100は、[0,0,1,0]の値を有する聴診位置ベクトル565を獲得することができる。または、聴診可能位置が16として確認された場合、電子装置100は、[0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0]の値を有する聴診位置ベクトル565を獲得することができる。
【0131】
図5eを参照すると、電子装置100は、一実施形態によって聴診位置データ570を獲得することができる。例えば、電子装置100は、肺音聴診可能位置のうち第3の位置において肺音を測定したというデータを含む聴診位置データ570を獲得することができる。
【0132】
一実施形態によると、電子装置100は、聴診位置データ570に基づいて聴診可能位置を確認することができる。例えば、聴診位置データ570が肺音聴診位置データを含むことにより、電子装置100は、肺音聴診可能位置を聴診可能位置として確認することができる。または、聴診位置データ570が肺音聴診位置データを含むことにより、電子装置100は、心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0133】
一実施形態によると、電子装置100は、設定データに基づいて聴診可能位置を確認することができる。例えば、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0134】
一実施形態によると、電子装置100は、聴診位置データ570をエンベディングして聴診位置ベクトル575を獲得することができる。例えば、聴診可能位置が12として確認された場合、電子装置100は、[0,0,1,0,0,0,0,0,0,0,0,0]の値を有する聴診位置ベクトル575を獲得することができる。または、聴診可能位置が16として確認された場合、電子装置100は、[0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0]の値を有する聴診位置ベクトル575を獲得することができる。
【0135】
図5fを参照すると、電子装置100は、一実施形態によって聴診位置データ580を獲得することができる。例えば、電子装置100は、肺音聴診可能位置のうち第11の位置において肺音を測定したというデータを含む聴診位置データ580を獲得することができる。
【0136】
一実施形態によると、電子装置100は、聴診位置データ580に基づいて聴診可能位置を確認することができる。例えば、聴診位置データ580が肺音聴診位置データを含むことにより、電子装置100は、肺音聴診可能位置を聴診可能位置として確認することができる。または、聴診位置データ580が肺音聴診位置データを含むことにより、電子装置100は、心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0137】
一実施形態によると、電子装置100は、設定データに基づいて聴診可能位置を確認することができる。例えば、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0138】
一実施形態によると、電子装置100は、聴診位置データ580をエンベディングして聴診位置ベクトル585を獲得することができる。例えば、聴診可能位置が12として確認された場合、電子装置100は、[0,0,0,0,0,0,0,0,0,0,1,0]の値を有する聴診位置ベクトル585を獲得することができる。または、聴診可能位置が16として確認された場合、電子装置100は、[0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0]の値を有する聴診位置ベクトル585を獲得することができる。
【0139】
図6aないし
図6bは、一実施形態によって電子装置100が聴診位置データに基づいて聴診位置ベクトルを獲得する過程を説明するための図面である。
図5aないし
図5fと重複する内容は、省略または簡略に説明することにする。
【0140】
図6aを参照すると、電子装置100は、一実施形態によって聴診位置データ600を獲得することができる。例えば、電子装置100は、犬の心音聴診可能位置のうち犬の心音を測定した位置に関するデータを含む聴診位置データ600を獲得することができる。このとき、犬の心音聴診可能位置は、P1位置、P2位置、P3位置、およびP4位置を含むことができ、聴診位置データ600は、P1位置、P2位置、P3位置、およびP4位置のうち心音が測定された位置に関するデータを含むことができる。
【0141】
一実施形態によると、電子装置100は、聴診位置データ600または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ600が犬の心音聴診位置データを含む場合、電子装置100は、犬の心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが犬の心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて犬の心音聴診可能位置を聴診可能位置として確認することができる。
【0142】
一実施形態によると、電子装置100は、聴診位置データ600をエンベディングして聴診位置ベクトル620を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100は大きさがnの聴診位置ベクトル620を獲得することができる。例えば、犬の心音聴診可能位置が4である場合、電子装置100は大きさが4の聴診位置ベクトル620を獲得することができ、聴診位置ベクトル620の成分はそれぞれ犬の心音聴診可能位置に対応し得る。但し、これは一実施形態に過ぎず、犬の心音聴診可能位置は、前述の形態に限定されない。
【0143】
一実施形態によると、聴診位置ベクトル620に含まれた成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。例えば、聴診位置データ600がP2位置に対応する聴診位置データを含む場合、聴診位置ベクトル620に含まれた成分のうち、P2位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。即ち、聴診位置ベクトル620は、[第2値,第1値,第2値,第2値]として表現され得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0144】
一実施形態によると、電子装置100は、聴診位置データ600または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ600が犬の心音聴診位置データを含む場合、電子装置100は、犬の心音データ、犬の心音聴診位置データ、および犬の心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが犬の心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、犬の心音データ、犬の心音聴診位置データ、および犬の心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。
【0145】
図6bを参照すると、電子装置100は、一実施形態によって聴診位置データ640を獲得することができる。例えば、電子装置100は、犬の心音聴診可能位置のうち第2の位置において心音を測定したというデータを含む聴診位置データ640を獲得することができる。
【0146】
一実施形態によると、電子装置100は、聴診位置データ640または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ640が犬の心音聴診位置データを含むことにより、電子装置100は、犬の心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが犬の心臓に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、犬の心音聴診可能位置を聴診可能位置として確認することができる。
【0147】
一実施形態によると、電子装置100は、聴診位置データ640をエンベディングして聴診位置ベクトル660を獲得することができる。例えば、聴診可能位置が4として確認された場合、電子装置100は、[0,1,0,0]の値を有する聴診位置ベクトル660を獲得することができる。
【0148】
図7は、一実施形態によって電子装置100が生体データに基づいて生体ベクトルを獲得する過程を説明するための図面である。
【0149】
一実施形態によると、電子装置100は、生体データ700を獲得することができる。例えば、電子装置100は、ユーザーの年齢が46歳であって、最高血圧が128mmHgであり、最低血圧が85mmHgであり、血糖値が135mg/dLであることを示す生体データ700を獲得することができる。
【0150】
一実施形態によると、電子装置100は、生体データ700をエンベディングするための範疇の個数を設定することができる。より具体的には、電子装置100は、生体データ700をエンベディングするための範疇の個数をnに設定することができる。これにより、生体データ700をエンベディングしたベクトルの大きさがnであり、n個の成分それぞれは生体データ700の範疇に対応し得る。
【0151】
例えば、電子装置100は、年齢データをエンベディングするための範疇の個数を10に設定し、それぞれの範疇に含まれる年齢の範囲を10歳に設定することができる。これにより、年齢データをエンベディングしたベクトルの大きさは10であり、第1成分は0歳~9歳、第2成分は10歳~19歳、・・・、第9成分は80歳~89歳、第10成分は90歳以上の年齢に対応し得る。
【0152】
または、電子装置100は、最高血圧データをエンベディングするための範疇の個数を5に設定し、それぞれの範疇に含まれる最高血圧の範囲を30mmHgに設定することができる。これにより、最高血圧データをエンベディングしたベクトルの大きさは5であり、第1成分は60mmHg以下の血圧、第2成分は60mmHg~90mmHg、第3成分は90mmHg~120mmHg、第4成分は120mmHg~150mmHg、第5成分は150mmHg以上の血圧に対応し得る。
【0153】
または、電子装置100は、最低血圧データをエンベディングするための範疇の個数を5に設定し、それぞれの範疇に含まれる最低血圧の範囲を30mmHgに設定することができる。これにより、最低血圧データをエンベディングしたベクトルの大きさは5であり、第1成分は30mmHg以下の血圧、第2成分は30mmHg~60mmHg、第3成分は60mmHg~90mmHg、第4成分は90mmHg~120mmHg、第5成分は120mmHg以上の血圧に対応し得る。
【0154】
または、電子装置100は、血糖値データをエンベディングするための範疇の個数を8に設定し、それぞれの範疇に含まれる血糖値の範囲を20に設定することができる。これにより、血糖値データをエンベディングしたベクトルの大きさは8であり、第1成分は60mg/dL以下の血糖値、第2成分は60mg/dL~80mg/dL、・・・、第7成分は160mg/dL~180mg/dL、第8成分は180mg/dL以上の血糖値に対応し得る。
【0155】
一実施形態によると、電子装置100は、生体データ700をエンベディングして1つ以上の生体ベクトル720、740、760、780を獲得することができる。このとき、1つ以上の生体ベクトル720、740、760、780の大きさは、生体データの種類の数および生体データそれぞれの種類に対応する範疇の数として設定された値によって相違し得る。例えば、電子装置100は、年齢データをエンベディングして、[0,0,0,0,1,0,0,0,0,0]の値を有する生体ベクトル720を獲得することができ、最高血圧データをエンベディングして、[0,0,0,1,0]の値を有する生体ベクトル740を獲得することができる。また、電子装置100は、最低血圧データをエンベディングして、[0,0,1,0,0]の値を有する生体ベクトル760を獲得することができ、血糖値データをエンベディングして、[0,0,0,0,1,0,0,0]の値を有する生体ベクトル780を獲得することができる。
【0156】
一実施形態によると、電子装置100は、1つ以上の生体ベクトル720、740、760、780を連結することによって、最終生体ベクトルを獲得することができる。これにより、生体データそれぞれの種類によって生体データをエンベディングするための範疇の数に設定された値の合計が最終生体ベクトルの大きさであり得る。例えば、電子装置100は、1つ以上の生体ベクトル720、740、760、780連結することによって、[0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,1,0,0,0,0]の値を有する最終生体ベクトルを獲得することができ、これにより、最終生体ベクトルの大きさは、年齢データ、最高血圧データ、最低血圧データ、および血糖値データをエンベディングするための範疇の個数それぞれの合計である28であり得る。
【0157】
図8aないし
図8fは、一実施形態によって電子装置100が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
図5aないし
図5fと重複する内容は、簡略に説明または省略することにする。
【0158】
図8aを参照すると、電子装置100は、一実施形態によって聴診位置データ800を獲得することができる。例えば、電子装置100は、心音聴診可能位置のうち心音を測定した位置に関するデータを含む聴診位置データ800を獲得することができる。このとき、心音聴診可能位置は、P1位置、P2位置、P3位置、およびP4位置を含むことができ、聴診位置データ800は、P1位置、P2位置、P3位置、およびP4位置のうち心音が測定された位置に関するデータを含むことができる。
【0159】
一実施形態によると、電子装置100は、聴診位置データ800または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ800が心音聴診位置データを含む場合、電子装置100は、心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて心音聴診可能位置を聴診可能位置として確認することができる。
【0160】
一実施形態によると、電子装置100は、聴診位置データ800に基づいて聴診位置マップ810を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100はn個のマップを含む聴診位置マップ810を獲得することができる。例えば、心音聴診可能位置が4である場合、電子装置100は4個のマップを含む聴診位置マップ810を獲得することができ、4個のマップそれぞれは心音聴診可能位置に対応し得る。
【0161】
一実施形態によると、聴診位置マップ810に含まれたマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。例えば、聴診位置データ800がP2に対応する聴診位置データを含む場合、聴診位置マップ810に含まれたマップのうち、P2位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0162】
一実施形態によると、電子装置100は、聴診位置データ800または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ800が心音聴診位置データを含む場合、電子装置100は、心音データ、心音聴診位置データ、および心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、心音データ、心音聴診位置データ、および心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。
【0163】
図8bを参照すると、電子装置100は、一実施形態によって聴診位置データ820を獲得することができる。例えば、電子装置100は、肺音聴診可能位置のうち肺音を測定した位置に関するデータを含む聴診位置データ820を獲得することができる。このとき、肺音聴診可能位置はP1位置ないしP12位置を含むことができ、聴診位置データ820はP1位置ないしP12位置のうち肺音が測定された位置に関するデータを含むことができる。
【0164】
一実施形態によると、電子装置100は、聴診位置データ820または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ820が肺音聴診位置データを含む場合、電子装置100は、肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて肺音聴診可能位置を聴診可能位置として確認することができる。
【0165】
一実施形態によると、電子装置100は、聴診位置データ820に基づいて聴診位置マップ830を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100はn個のマップを含む聴診位置マップ830を獲得することができる。例えば、肺音聴診可能位置が12である場合、電子装置100は12個のマップを含む聴診位置マップ830を獲得することができ、12個のマップそれぞれは肺音聴診可能位置に対応し得る。
【0166】
一実施形態によると、聴診位置マップ830に含まれたマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。例えば、聴診位置データ820がP5に対応する聴診位置データを含む場合、聴診位置マップ830に含まれたマップのうち、P5位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0167】
一実施形態によると、電子装置100は、聴診位置データ820または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ820が肺音聴診位置データを含む場合、電子装置100は、肺音データ、肺音聴診位置データ、および肺に関する疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、肺音データ、肺音聴診位置データ、および肺に関する疾病データに基づいて学習された人工知能モデルを使用することができる。
【0168】
図8cを参照すると、電子装置100は、一実施形態によって聴診位置データ840を獲得することができる。例えば、電子装置100は、心音および肺音聴診可能位置のうち聴診音を測定した位置に関するデータを含む聴診位置データ840を獲得することができる。このとき、心音聴診可能位置はP1位置ないしP4位置を含むことができ、肺音聴診可能位置はP5位置ないしP16位置を含むことができ、聴診位置データ840はP1位置ないしP16位置のうち聴診音が測定された位置に関するデータを含むことができる。
【0169】
一実施形態によると、電子装置100は、聴診位置データ840または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ840が心音または肺音聴診位置データを含む場合、電子装置100は、心音および肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は設定データを獲得し、設定データに基づいて心音、肺音、および腸音聴診可能位置を聴診可能位置として確認することができる。但し、これは一実施形態に過ぎず、聴診可能位置として確認され得る身体部位は、前述の形態に限定されない。
【0170】
一実施形態によると、電子装置100は、聴診位置データ840に基づいて聴診位置マップ850を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100はn個のマップを含む聴診位置マップ850を獲得することができる。例えば、心音聴診可能位置が4であり、肺音聴診可能位置が12である場合、電子装置100は16個のマップを含む聴診位置マップ850を獲得することができ、16個のマップそれぞれは心音聴診可能位置に対応し得る。
【0171】
一実施形態によると、聴診位置マップ850に含まれたマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。例えば、聴診位置データ840がP13に対応する聴診位置データを含む場合、聴診位置マップ850に含まれたマップのうち、P13位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0172】
一実施形態によると、電子装置100は、聴診位置データ840または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ840が肺音聴診位置データを含む場合、電子装置100は、1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データに基づいて学習された人工知能モデルを使用することができる。
【0173】
図8dを参照すると、電子装置100は、一実施形態によって聴診位置データ860を獲得することができる。例えば、電子装置100は、心音聴診可能位置のうち第3の位置において心音を測定したというデータを含む聴診位置データ860を獲得することができる。
【0174】
一実施形態によると、電子装置100は、聴診位置データ860に基づいて聴診可能位置を確認することができる。例えば、聴診位置データ860が心音聴診位置データを含むことにより、電子装置100は心音聴診可能位置を聴診可能位置として確認することができる。または、聴診位置データ860が心音聴診位置データを含むことにより、電子装置100は心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0175】
一実施形態によると、電子装置100は、設定データに基づいて聴診可能位置を確認することができる。例えば、設定データが心臓に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0176】
一実施形態によると、電子装置100は、聴診位置データ860に基づいて聴診位置マップ865を獲得することができる。例えば、聴診可能位置が4として確認された場合、電子装置100は、4個のマップを含む聴診位置マップ865を獲得することができ、4個のマップのうち第3のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。または、聴診可能位置が16として確認された場合、電子装置100は16個のマップを含む聴診位置マップ865を獲得することができ、16個のマップのうち第3のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。
【0177】
図8eを参照すると、電子装置100は、一実施形態によって聴診位置データ870を獲得することができる。例えば、電子装置100は、肺音聴診可能位置のうち第1の位置において肺音を測定したというデータを含む聴診位置データ870を獲得することができる。
【0178】
一実施形態によると、電子装置100は、聴診位置データ870に基づいて聴診可能位置を確認することができる。例えば、聴診位置データ870が肺音聴診位置データを含むことにより、電子装置100は、肺音聴診可能位置を聴診可能位置として確認することができる。または、聴診位置データ870が肺音聴診位置データを含むことにより、電子装置100は、心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0179】
一実施形態によると、電子装置100は、設定データに基づいて聴診可能位置を確認することができる。例えば、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0180】
一実施形態によると、電子装置100は、聴診位置データ870に基づいて聴診位置マップ875を獲得することができる。例えば、聴診可能位置が12として確認された場合、電子装置100は12個のマップを含む聴診位置マップ875を獲得することができ、12個のマップのうち第1のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。または、聴診可能位置が16として確認された場合、電子装置100は16個のマップを含む聴診位置マップ875を獲得することができ、16個のマップのうち第5のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。
【0181】
図8fを参照すると、電子装置100は、一実施形態によって聴診位置データ880を獲得することができる。例えば、電子装置100は、肺音聴診可能位置のうち第11の位置において肺音を測定したというデータを含む聴診位置データ880を獲得することができる。
【0182】
一実施形態によると、電子装置100は、聴診位置データ880に基づいて聴診可能位置を確認することができる。例えば、聴診位置データ880が肺音聴診位置データを含むことにより、電子装置100は、肺音聴診可能位置を聴診可能位置として確認することができる。または、聴診位置データ880が肺音聴診位置データを含むことにより、電子装置100は、心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0183】
一実施形態によると、電子装置100は、設定データに基づいて聴診可能位置を確認することができる。例えば、設定データが肺に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、設定データに基づいて肺音聴診可能位置を聴診可能位置として確認することができる。または、設定データが診断を受けようとする身体部位に関するユーザー入力を含まないか、すべての身体部位に関する疾病の診断を受けようとするユーザー入力を含むことによって、電子装置100は、設定データに基づいて心音および肺音聴診可能位置を聴診可能位置として確認することができる。
【0184】
一実施形態によると、電子装置100は、聴診位置データ880に基づいて聴診位置マップ885を獲得することができる。例えば、聴診可能位置が12として確認された場合、電子装置100は12個のマップを含む聴診位置マップ885を獲得することができ、12個のマップのうち第11のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。または、聴診可能位置が16として確認された場合、電子装置100は16個のマップを含む聴診位置マップ885を獲得することができ、16個のマップのうち第15のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。
【0185】
図9aないし
図9bは、一実施形態によって電子装置100が聴診位置データに基づいて聴診位置マップを獲得する過程を説明するための図面である。
図8aないし
図8fと重複する内容は、省略または簡略に説明することにする。
【0186】
図9aを参照すると、電子装置100は、一実施形態によって聴診位置データ900を獲得することができる。例えば、電子装置100は、犬の心音聴診可能位置のうち犬の心音を測定した位置に関するデータを含む聴診位置データ900を獲得することができる。このとき、犬の心音聴診可能位置は、P1位置、P2位置、P3位置、およびP4位置を含むことができ、聴診位置データ900は、P1位置、P2位置、P3位置、およびP4位置のうち心音が測定された位置に関するデータを含むことができる。
【0187】
一実施形態によると、電子装置100は、聴診位置データ900または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ900が犬の心音聴診位置データを含む場合、電子装置100は、犬の心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが犬の心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、設定データを獲得し、設定データに基づいて犬の心音聴診可能位置を聴診可能位置として確認することができる。
【0188】
一実施形態によると、電子装置100は、聴診位置データ900に基づいて聴診位置マップ920を獲得することができる。このとき、確認された聴診可能位置の数がnである場合、電子装置100はn個のマップを含む聴診位置マップ920を獲得することができる。例えば、犬の心音聴診可能位置が4である場合、電子装置100は4個のマップを含む聴診位置マップ920を獲得することができ、4個のマップそれぞれは犬の心音聴診可能位置に対応し得る。但し、これは一実施形態に過ぎず、犬の心音聴診可能位置は、前述の形態に限定されない。
【0189】
一実施形態によると、聴診位置マップ920に含まれたマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。例えば、聴診位置データ900がP2位置に対応する聴診位置データを含む場合、聴診位置マップ920に含まれたマップのうち、P2位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。このとき、第1値は1を含み、第2値は0を含むことができる。
【0190】
一実施形態によると、電子装置100は、聴診位置データ900または設定データに基づいて、使用する人工知能モデルを確認することができる。例えば、聴診位置データ900が犬の心音聴診位置データを含む場合、電子装置100は、犬の心音データ、犬の心音聴診位置データ、および犬の心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。または、設定データが犬の心臓に関する疾病の診断を受けようとするユーザー入力を含む場合、電子装置100は、犬の心音データ、犬の心音聴診位置データ、および犬の心臓に関する疾病データに基づいて学習された人工知能モデルを使用することができる。
【0191】
図9bを参照すると、電子装置100は、一実施形態によって聴診位置データ940を獲得することができる。例えば、電子装置100は、犬の心音聴診可能位置のうち第2の位置において心音を測定したというデータを含む聴診位置データ940を獲得することができる。
【0192】
一実施形態によると、電子装置100は、聴診位置データ940または設定データに基づいて聴診可能位置を確認することができる。例えば、聴診位置データ940が犬の心音聴診位置データを含むことにより、電子装置100は、犬の心音聴診可能位置を聴診可能位置として確認することができる。または、設定データが犬の心臓に関する疾病の診断を受けようとするユーザー入力を含むことにより、電子装置100は、犬の心音聴診可能位置を聴診可能位置として確認することができる。
【0193】
一実施形態によると、電子装置100は、聴診位置データ940に基づいて聴診位置マップ960を獲得することができる。例えば、聴診可能位置が4として確認された場合、電子装置100は4個のマップを含む聴診位置マップ960を獲得することができ、4個のマップのうち第2のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。
【0194】
図10は、一実施形態によって電子装置100が生体データに基づいて生体マップを獲得する過程を説明するための図面である。
図7と重複する内容は、簡略に説明または省略することにする。
【0195】
一実施形態によると、電子装置100は、生体データ1000を獲得することができる。例えば、電子装置100は、ユーザーの年齢が6歳であって、最高血圧が128mmHgであり、最低血圧が85mmHgであり、血糖値が115mg/dLであることを示す生体データ1000を獲得することができる。
【0196】
一実施形態によると、電子装置100は、生体データ1000をマップに変換するための範疇の個数を設定することができる。より具体的には、電子装置100は、生体データ1000をマップに変換するための範疇の個数をnに設定することができる。これにより、生体データ1000を変換したマップに含まれたマップの数がnであり、n個のマップそれぞれは生体データ1000の範疇に対応し得る。
【0197】
一実施形態によると、電子装置100は、生体データ1000に基づいて1つ以上の生体マップ1020、1040、1060、1080を獲得することができる。このとき、1つ以上の生体マップ1020、1040、1060、1080に含まれたマップの数は、生体データの種類の数および生体データそれぞれの種類に対応する範疇の数として設定された値によって相違し得る。例えば、電子装置100は、年齢データに基づいて、10個のマップを含む生体マップ1020を獲得することができ、10個のマップのうち第1のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。電子装置100は、最高血圧データに基づいて、5個のマップを含む生体マップ1040を獲得することができ、5個のマップのうち第4のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。電子装置100は、最低血圧データに基づいて、5個のマップを含む生体マップ1060を獲得することができ、5個のマップのうち第3のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。電子装置100は、血糖値データに基づいて、8個のマップを含む生体マップ1080を獲得することができ、8個のマップのうち第4のマップの成分は1の値を有し、残りのマップの成分は0の値を有し得る。
【0198】
一実施形態によると、電子装置100は、1つ以上の生体マップ1020、1040、1060、1080を組み合わせることによって、最終生体マップを獲得することができる。これにより、生体データそれぞれの種類によって生体データをマップに変換するための範疇の数として設定された値の合計が最終生体マップに含まれたマップの個数であり得る。例えば、1つ以上の生体マップ1020、1040、1060、1080を組み合わせることによって、28個のマップを含む最終生体マップを獲得することができ、28個のマップのうち第1のマップ、第14のマップ、第18のマップ、および第24のマップは1つの値を有し、残りのマップは0の値を有し得る。
【0199】
図11は、一実施形態によって電子装置100が診療記録データに基づいて、聴診位置情報を獲得する過程を説明するための図面である。
【0200】
一実施形態によると、電子装置100は、診療記録データ1120を獲得することができる。例えば、ユーザー端末は、診療記録を直接記入するユーザー入力を獲得するか、外部装置から診療記録データ1120を受信し、獲得した診療記録データ1120を電子装置100に伝送することができる。このとき、診療記録データは、専門医療従事者が記述した文章データを含むことができるが、前述の形態に限定されない。
【0201】
一実施形態によると、電子装置100は、人工知能モデル1100を用いて、診療記録データ1120から聴診位置データ1140を獲得することができる。より具体的には、電子装置100は、キーワードを抽出する人工知能モデルを用いて、診療記録データ1120からキーワードを抽出することによって、聴診位置データ1140を獲得することができる。例えば、電子装置100は、「前胸左側の第1の部分において異常音が聞こえる」という文章を含む診療記録データ1120を獲得することができる。電子装置100は、診療記録データ1120から「前胸、左側第1の部分」というキーワードを抽出することによって、聴診位置データ1140を獲得することができる。
【0202】
一実施形態によると、電子装置100は、聴診位置データ1140に基づいて聴診位置情報1160を獲得することができる。例えば、電子装置100は、Word2Vecのようなニューラルネットワークモデルを用いて、聴診位置データ1140から聴診位置情報1160を獲得することができる。
【0203】
図12aないし
図12cは、一実施形態によって電子装置100が人工知能モデルを学習させる過程を説明するための図面である。
【0204】
図12aを参照すると、電子装置100は、一実施形態によって1つ以上の聴診音データ1220、1つ以上の聴診位置データ1230、および1つ以上の疾病データ1240を含む学習データセット1210を用いて人工知能モデル1200を学習させることができる。このとき、1つ以上の聴診音データ1220、1つ以上の聴診位置データ1230、および1つ以上の疾病データ1240のそれぞれは、対応するデータと対になり得る。例えば、学習データセット1210は、(聴診音データ、聴診位置データ、疾病データ)形式の学習データを含むことができる。
【0205】
一実施形態によると、学習データセット1210は、心臓に関するデータを含むことができる。例えば、聴診音データ1220は、クリック音(clicks)、弾き音(snap)、または心雑音(heart murmur)などに関するデータを含むことができ、聴診位置データ1230は、大動脈弁の位置、肺動脈弁の位置、三尖弁の位置、または二尖弁の位置などに関するデータを含むことができる。また、疾病データ1240は、大動脈弁狭窄症、大動脈弁閉鎖不全症(aortic insufficiency,AI)、僧帽弁狭窄症(mitral stenosis,MS)、僧帽弁閉鎖不全症(mitral valve insufficiency,MVI)などに関するデータを含むことができる。
【0206】
一実施形態によると、学習データセット1210は、肺に関するデータを含むことができる。例えば、聴診音データ1220は、肺胞呼吸音(vesicular breath sound)、気管支呼吸音(bronchial breath sound)、呼気性喘鳴(wheezing)、水泡音(crackling)、胸膜摩擦音(pleural friction rub)、類鼾音(rhoncus)などに関するデータを含むことができ、聴診位置データ1230は、肺音聴診可能位置データを含むことができる。また、疾病データ1240は、喘息(asthma)、慢性閉塞性肺疾患(chronic obstructive pulmonary disease, COPD)、肺炎(pneumonia)、気管支拡張症(bronchiectasis)、間質性肺疾患(interstitial lung disease,ILD)、胸水(hydrothorax)などに関するデータを含むことができる。
【0207】
一実施形態によると、学習データセット1210は、動物に関するデータを含むことができる。例えば、聴診音データ1220は、クリック音、弾き音、または心雑音などに関するデータを含むことができ、聴診位置データ1230は、大動脈弁の位置、肺動脈弁の位置、三尖弁の位置、または二尖弁の位置などに関するデータを含むことができる。また、疾病データ1240は、大動脈弁狭窄症、肺動脈弁狭窄症(pulmonic stenosis,PS)、動脈管開存症(patent ductus arteriosus,PDA)、僧帽弁閉鎖不全症、 大動脈弁下狭窄症(subaortic stenosis,SAS)、三尖弁閉鎖不全症(tricuspid valve insufficiency,TVI)、または心室中隔欠損症(ventricular septal defect,VSD)などに関するデータを含むことができる。
【0208】
一実施形態によると、学習データセット1210は、特定疾病を有する人の多様な身体部位において測定した聴診音データを含むことができる。例えば、学習データセットは(第1聴診音、二尖弁の位置、僧帽弁狭窄症)の学習データだけでなく、(第2聴診音、大動脈弁の位置、僧帽弁狭窄症)、(第3聴診音、肺動脈弁の位置、僧帽弁狭窄症)、または(第4聴診音、三尖弁の位置、僧帽弁狭窄症)などの多様な学習データを含むことができる。または、学習データセットは、(第1聴診音、第1の位置、肺炎)の学習データだけでなく、(第2聴診音、第2の位置、肺炎)、(第3聴診音、第3の位置、肺炎)、または(第4聴診音、第4の位置、肺炎)などの多様な学習データを含むことができる。
【0209】
このように、人工知能モデル1200が聴診音データ1220だけでなく、聴診位置データ1230に基づいて学習することによって、聴診音データ1220および聴診位置データ1230が入力されたときに、電子装置100は、人工知能モデル1200を用いて入力したデータのユーザーが疾病を有しているか否かをより高い正確度で判断することができる。また、人工知能モデル1200が特定疾病を診断するための最適な位置における聴診音データ1220だけでなく、多様な位置における聴診音データ1220に基づいて学習することによって、最適な位置以外の位置からの聴診音データ1220および該当位置データ1230が入力されたときも、電子装置100は人工知能モデル1200を用いて入力したデータのユーザーが疾病を有しているか否かを判断することができる。
【0210】
図12bを参照すると、電子装置100は、一実施形態によって1つ以上の聴診音データ1220、1つ以上の聴診位置データ1230、1つ以上の疾病データ1240、および1つ以上の生体データ1250を含む学習データセット1210を用いて人工知能モデル1200を学習させることができる。このとき、1つ以上の聴診音データ1220、1つ以上の聴診位置データ1230、1つ以上の疾病データ1240、および1つ以上の生体データ1250それぞれは、対応するデータと対になり得る。例えば、学習データセット1210は、(聴診音データ、聴診位置データ、疾病データ、生体データ)形式の学習データを含むことができる。
【0211】
一実施形態によると、学習データセット1210は、特定疾病を有する人の多様な身体部位において測定した聴診音データおよび生体データを含むことができる。例えば、学習データセットは、(第1聴診音、二尖弁の位置、大動脈弁閉鎖不全症、年齢、体温、心拍規則度)、(第2聴診音、三尖弁の位置、大動脈弁閉鎖不全症、年齢、体温、心拍規則度)、(第3聴診音、大動脈弁の位置、大動脈弁閉鎖不全症、年齢、体温、心拍規則度)、または(第4聴診音,肺動脈弁の位置,大動脈弁閉鎖不全症、年齢、体温、心拍規則度)などの多様な学習データを含むことができる。または、学習データセットは、(第1聴診音、第1の位置、間質性肺疾患、年齢、呼吸数)、(第2聴診音、第2の位置、間質性肺疾患、年齢、呼吸数)、または(第3聴診音、第3の位置、間質性肺疾患、年齢、呼吸数)などの多様な学習データを含むことができる。
【0212】
このように、人工知能モデル1200が聴診音データ1220および聴診位置データ1230だけでなく、生体データ1240に基づいて学習することによって、聴診音データ1220、聴診位置データ1230、および生体データ1240が入力されたときに、電子装置100は、人工知能モデル1200を用いて入力したデータのユーザーが疾病を有しているか否かをより高い正確度で判断することができる。
【0213】
図12cを参照すると、電子機器100は、一実施形態によって1つ以上の聴診音データ1220、1つ以上の聴診位置データ1230、および1つ以上の疾病データ1240を含む学習データセット1210を用いて人工知能モデル1200に含まれた1つ以上の人工知能モデル1202、1204、1206を学習させることができる。
【0214】
例えば、電子装置100は、1つ以上の心音データ、1つ以上の心音聴診位置データ、および1つ以上の心臓に関する疾病データを含む学習データセットを用いて、心臓に関する疾病を分類するための第1人工知能モデル1202を学習させることができる。または、電子装置100は、1つ以上の肺音データ、1つ以上の肺音聴診位置データ、および1つ以上の肺に関する疾病データを含む学習データセットを用いて、肺に関する疾病を分類するための第2人工知能モデル1204を学習させることができる。電子装置100は、1つ以上の犬の心音データ、1つ以上の犬の心音聴診位置データ、および1つ以上の犬の心臓に関する疾病データを含む学習データセットを用いて、犬の心臓に関する疾病を分類するための第3人工知能モデル1206を学習させることができる。
【0215】
このように、人工知能モデル1200に含まれた1つ以上の人工知能モデル1202、1204、1206が、ユーザーが診断を受けようとする身体部位または種によって相違する学習データに基づいて学習することによって、電子装置100は、入力されたデータに対応する人工知能モデルを用いることで、より高い正確度で疾病を分類することができる。
【0216】
図13は、一実施形態に係る電子装置の人工知能を用いた疾病分類方法のフローチャートを示す。重複する内容に関しては、前述の記載が適用され得る。
【0217】
S1300段階において、電子装置は、聴診音データおよび聴診位置データを獲得することができる。
【0218】
一実施形態によると、聴診音データは心音(heart sound)データ、および肺音(lung sound)データのうち少なくとも1つを含み、聴診位置データは心音聴診位置に関するデータおよび肺音聴診位置に関するデータを含むことができる。
【0219】
一実施形態によると、電子装置は、聴診位置データを獲得するときに、診療記録データを獲得し、キーワードを抽出する人工知能モデルを用いて、診療記録データから聴診位置データを獲得することができる。
【0220】
S1320段階において、電子装置は、聴診音データに基づいて特徴情報を獲得し、聴診位置データに基づいて聴診位置情報を獲得することができる。
【0221】
S1340段階において、電子装置は、特徴情報および聴診位置情報を組み合わせて、結合情報を生成することができる。
【0222】
一実施形態によると、特徴情報および聴診位置情報はベクトルの形態を有し得、電子装置は結合情報を生成するときに、特徴情報および聴診位置情報を連結(concatenation)して結合情報を生成することができる。このとき、聴診位置情報は、聴診可能位置に対応する1つ以上の成分を含み、聴診可能位置に対応する1つ以上の成分のうち、聴診位置に対応する成分は第1値を有し、残りの成分は第2値を有し得る。
【0223】
一実施形態によると、特徴情報および聴診位置情報はマップ(map)の形態を有し得、電子装置は結合情報を生成するときに、特徴情報に聴診位置情報をチャンネルとして追加して結合情報を生成することができる。このとき、聴診位置情報は、聴診可能位置に対応する1つ以上のマップを含み、聴診可能位置に対応する1つ以上のマップのうち、聴診位置に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。
【0224】
S1360段階において、電子装置は、人工知能モデルを用いて、結合情報に対応する少なくとも1つの疾病情報を確認することができる。
【0225】
一実施形態によると、電子装置は、生体データ(biometric data)を獲得し、生体データに基づいて、生体情報を獲得することができる。このとき、結合情報は生体情報がさらに組み合わされ得、生体データは心拍規則度データ、呼吸数データ、呼吸規則度データ、体温データ、年齢データ、血圧データ、および血糖値データのうち少なくとも1つを含むことができる。
【0226】
例えば、電子装置は、生体データを獲得し、生体データに基づいて、ベクトル形態の生体情報を獲得することができる。このとき、生体情報は、設定された数の範疇に対応する1つ以上の成分を含み、設定された数の範疇に対応する1つ以上の成分のうち、生体データの値が含まれた範疇に対応する成分は第1値を有し、残りの成分は第2値を有し得る。
【0227】
または、電子装置は、生体データを獲得し、生体データに基づいてマップ形態の生体情報を獲得することができる。このとき、生体情報は、設定された数の範疇に対応する1つ以上の成分を含み、設定された数の範疇に対応する1つ以上のマップのうち、生体データの値が含まれた範疇に対応するマップの成分は第1値を有し、残りのマップの成分は第2値を有し得る。
【0228】
一実施形態によると、聴診音データは心音データを含み、人工知能モデルは心臓に関する疾病を分類するための第1人工知能モデルを含むことができる。また、電子装置は、特徴情報を獲得するときに、聴診音データから心音が存在する周波数以外の領域を除去することができ、少なくとも1つの疾病情報を確認するときに、第1人工知能モデルを用いて結合情報に対応する心臓に関する少なくとも1つの疾病情報を確認することができる。
【0229】
一実施形態によると、聴診音データは肺音データを含み、人工知能モデルは肺に関する疾病を分類するための第2人工知能モデルを含むことができる。また、電子装置は、特徴情報を獲得するときに、聴診音データから肺音が存在する周波数以外の領域を除去することができ、少なくとも1つの疾病情報を確認するときに、第2人工知能モデルを用いて結合情報に対応する肺に関する少なくとも1つの疾病情報を確認することができる。
【0230】
一実施形態によると、人工知能モデルは、1つ以上の聴診音データ、1つ以上の聴診位置データ、および1つ以上の疾病データを含む学習データセットに基づいて学習され得る。このとき、学習データセットは、1つ以上の生体データをさらに含むことができる。
【0231】
一実施形態によると、人工知能モデルは、心臓に関する疾病を分類するための第1人工知能モデルおよび肺に関する疾病を分類するための第2人工知能モデルを含むことができる。第1人工知能モデルは、1つ以上の心音データ、1つ以上の心音聴診位置データ、および1つ以上の心臓に関する疾病データを含む学習データセットに基づいて学習され得、第2人工知能モデルは、1つ以上の肺音データ、1つ以上の肺音聴診位置データ、および1つ以上の肺に関する疾病データを含む学習データセットに基づいて学習され得る。
【0232】
図14は、一実施形態に係る電子装置100のブロック図を示す。
【0233】
電子装置100は、一実施形態によって、通信部(communication device)1420、メモリー1440、および制御部(controller)1460を含むことができる。
図14に図示された電子装置100は、本実施形態に関連した構成要素のみが図示されている。したがって、
図14に図示された構成要素以外に他の汎用的な構成要素がさらに含まれ得ることを本実施形態に関連した技術分野において通常の知識を有する者であれば理解することができる。電子装置100は、前述のサーバーに関する内容を含むことができ、重複する内容に関しては説明を省略する。実施形態において、通信部は、1つ以上のトランシーバー(transceiver)を含むことができる。また、実施形態において、制御部は、1つ以上のプロセッサー(processor)を含むことができる。
【0234】
通信部1420は、有/無線通信を遂行するための装置であって、外部の電子装置と通信することができる。外部の電子装置は、端末またはサーバーになり得る。また、通信部1420が用いる通信技術には、GSM(Global System for Mobile communication)、CDMA(Code Division Multi Access)、LTE(Long Term Evolution)、5G、WLAN(Wireless LAN)、Wi-Fi(Wireless-Fidelity)、ブルートゥース(登録商標)(BluetoothTM)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association;IrDA)、ZigBee、NFC(Near Field Communication)などがあり得る。
【0235】
制御部1460は、電子装置100の全般的な動作を制御し、データおよび信号を処理することができる。制御部1460は、少なくとも1つのハードウェアユニットとして構成され得る。また、制御部1460は、メモリー1440に保存されたプログラムコードを実行して生成される1つ以上のソフトウェアモジュールによって動作することができる。制御部1460はプロセッサーおよびメモリーを含むことができ、プロセッサーはメモリーに保存されたプログラムコードを実行して電子装置100の全般的な動作を制御し、データおよび信号を処理することができる。また、実施形態において、制御部1460は、少なくとも1つのプロセッサーを含むことができる。
【0236】
制御部1460は、聴診音データおよび聴診位置データを獲得し、聴診音データに基づいて特徴情報を獲得し、聴診位置データに基づいて聴診位置情報を獲得し、特徴情報および聴診位置情報を組み合わせて、結合情報を生成し、人工知能モデルを用いて、結合情報に対応する少なくとも1つの疾病情報を確認することができる。
【0237】
前述した実施形態に係る電子装置は、プロセッサー、プログラムデータを保存して実行するメモリー、ディスクドライブのような永久保存部(permanent storage)、外部装置と通信する通信ポート、タッチパネル、キー(key)、ボタンなどのようなユーザーインターフェイス装置などを含むことができる。ソフトウェアモジュールまたはアルゴリズムとして具現される方法は、前記プロセッサー上において実行可能なコンピュータが読み取り可能なコードまたはプログラム命令としてコンピュータが読み取り可能な記録媒体上に保存され得る。ここで、コンピュータが読み取り可能な記録媒体として、マグネティック保存媒体(例えば、ROM(read-only memory)、RAM(random-Access memory)、フロッピーディスク、ハードディスクなど)、および光学的読み取り媒体(例えば、シーディーロム(CD-ROM)、ディーブイディー(DVD:Digital Versatile Disc))などがある。コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式としてコンピュータが読み取り可能なコードが保存され実行され得る。媒体は、コンピュータによって読み取り可能であり、メモリーに保存され、プロセッサーにおいて実行され得る。
【0238】
本実施形態は、機能的なブロック構成および多様な処理段階として示され得る。このような機能ブロックは、特定の機能を実行する多様な個数のハードウェアまたは/およびソフトウェアの構成として具現され得る。例えば、実施形態は、1つ以上のマイクロプロセッサーの制御または他の制御装置によって多様な機能を実行することができる、メモリー、プロセッシング、ロジック(logic)、ルックアップテーブル(look-up table)などのような集積回路の構成を採用することができる。構成要素がソフトウェアプログラミングまたはソフトウェア要素として実行され得ることと同様に、本実施形態は、データ構造、プロセス、ルーチン、または他のプログラミング構成の組み合わせとして具現される多様なアルゴリズムを含み、C、C++、ジャバ(Java)、アセンブラー(assembler)などのようなプログラミングまたはスクリプト言語として具現され得る。機能的な側面は、1つ以上のプロセッサーにおいて実行されるアルゴリズムとして具現され得る。また、本実施形態は、電子的な環境設定、信号処理、および/またはデータ処理などのために、従来の技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」のような用語は、広く使用され得、機械的かつ物理的な構成として限定されるものではない。前記用語は、プロセッサーなどと連携してソフトウェアの一連の処理(routines)の意味を含むことができる。
【0239】
前述した実施形態は、一例示に過ぎず、後述する請求項の範囲内において他の実施形態が具現され得る。