知財求人 - 知財ポータルサイト「IP Force」
7618148自然語または非自然語を区分するスマートヒアリングデバイス、人工知能ヒアリングシステム、およびその方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-10
(45)【発行日】2025-01-21
(54)【発明の名称】自然語または非自然語を区分するスマートヒアリングデバイス、人工知能ヒアリングシステム、およびその方法
(51)【国際特許分類】
H04R 25/00 20060101AFI20250114BHJP
G10L 25/84 20130101ALI20250114BHJP
【ＦＩ】
H04R25/00 M
H04R25/00 K
H04R25/00 D
G10L25/84
【請求項の数】
13
(21)【出願番号】P 2023540446
(86)(22)【出願日】2020-09-09
(65)【公表番号】
(43)【公表日】2023-10-03
(86)【国際出願番号】 KR2020012146
(87)【国際公開番号】W WO2022054978
(87)【国際公開日】2022-03-17
【審査請求日】2023-04-18
(73)【特許権者】
【識別番号】519038758
【氏名又は名称】オリーブ ユニオン インコーポレイテッド
【氏名又は名称原語表記】Ｏｌｉｖｅ Ｕｎｉｏｎ，Ｉｎｃ．
(74)【代理人】
【識別番号】110002343
【氏名又は名称】弁理士法人 東和国際特許事務所
(72)【発明者】
【氏名】ソン、 ミョングン
【審査官】山下 剛史
(56)【参考文献】
【文献】特開２０１５－１３０６５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１９３９８９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｒ ２５／００
Ｇ１０Ｌ １３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
一側に形成された第１マイクおよび第２マイクから音声信号および騒音信号の音データを受信する受信部と、前記音データのデジタルフローと予め保存されたグラフパターンとを比較して前記音データに対して自然語または非自然語を判断する判断部と、
自然語領域および非自然語領域を含むデータベースに基づいて前記判断された自然語または非自然語に対する類似データをマッチングする処理部と、
前記マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定して変換される一側の音を使用者に提供する提供部と、
前記マッチングされた類似データによる前記特定された自然語または非自然語に対する応答としてフィードバックを提供するフィードバック伝達部と、
を含むことを特徴とする、自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項2】
一側に形成された第１マイクおよび第２マイクから音声信号および騒音信号の音データを受信する受信部と、前記音データのデジタルフローと予め保存されたグラフパターンとを比較して前記音データに対して自然語または非自然語を判断する判断部と、
自然語領域および非自然語領域を含むデータベースに基づいて前記判断された自然語または非自然語に対する類似データをマッチングする処理部と、
前記マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定して変換される一側の音を使用者に提供する提供部とを含み、
前記受信部は、互いに異なる位置に形成された前記第１マイクおよび前記第２マイクから前記音声信号および前記騒音信号を感知し、前記音声信号および前記騒音信号をデジタル変換して前記音データで受信し、
前記判断部は、デジタル変換された前記音データのデジタルフローと予め保存された時間に対する音量グラフおよび周波数に対する音量グラフのグラフパターンとを比較し、グラフの値で特定のパターンを示す自然語または非自然語を判断することを特徴とする、
自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項3】
前記処理部は、前記データベースに基づいて、自然語として判断された前記音データと類似する単語および文章の類似データとをマッチングするか、あるいは、非自然語として判断された前記音データと類似する環境騒音、ノイズ（雑音）、および、新たな音の類似データとをマッチングすることを特徴とする、請求項１に記載の自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項4】
前記提供部は、使用者の聴力データと前記マッチングした類似データとによって特定された自然語または非自然語に基づいて、環境変化による増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上の前記制御パラメータを設定してパーソナライズによって一側の音を提供することを特徴とする、請求項３に記載の自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項5】
前記提供部は、前記第１マイクおよび前記第２マイクから受信されるデジタル信号の前記音データに前記制御パラメータを設定して、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、前記調節された信号に対するデジタル信号をアナログ信号に変換して前記使用者に一側の音を提供することを特徴とする、請求項４に記載の自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項6】
前記フィードバック伝達部は、前記処理部により、自然語または非自然語が判断された前記音データと類似する単語および文章の前記類似データとがマッチングされる場合、前記類似データに対する応答として単語および文章のフィードバックを提供することを特徴とする、請求項１に記載の自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項7】
前記フィードバック伝達部は、人工知能に基づいて前記音データと類似する単語および文章の前記類似データとがマッチングされる場合、前記使用者の声による質問に対する応答として単語および文章のフィードバックを抽出して音声メッセージで伝達することを特徴とする、請求項６に記載の自然語または非自然語を区分するスマートヒアリングデバイス。
【請求項8】
一側に形成された第１マイクおよび第２マイクから受信される音声信号および騒音信号を含む第１音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する類似データのマッチングによる第１制御パラメータを設定して一側の音を提供する第１スマートヒアリングデバイスと、他側に形成された第３マイクおよび第４マイクから受信される音声信号および騒音信号を含む第２音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する前記類似データのマッチングによる第２制御パラメータを設定して他側の音を提供する第２スマートヒアリングデバイスと、
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスを制御するモバイルデバイスと
を含むことを特徴とする、人工知能ヒアリングシステム。
【請求項9】
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者の口元に位置する前記第１マイクおよび前記第３マイクを含み、前記使用者の口を基準として離隔距離に位置する前記第２マイクおよび前記第４マイクを含むことを特徴とする、請求項８に記載の人工知能ヒアリングシステム。
【請求項10】
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、パーソナライズされた一側の音および他側の音それぞれを使用者に提供し、左側および右側の音の方向性による環境変化と騒音変化とを立体的に認知できるように提供することを特徴とする、請求項８に記載の人工知能ヒアリングシステム。
【請求項11】
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者の左側聴力データおよび右側聴力データに基づいて、互いに異なるパラメータ値の前記第１制御パラメータおよび前記第２制御パラメータを設定することを特徴とする、請求項８に記載の人工知能ヒアリングシステム。
【請求項12】
前記モバイルデバイスは、使用者の選択入力にしたがって、前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれの電源オン（Ｏｎ）／オフ（Ｏｆｆ）、信号収集、および、制御パラメータ設定のうちのいずれか１つ以上を制御することを特徴とする、請求項８に記載の人工知能ヒアリングシステム。
【請求項13】
自然語または非自然語を区分するスマートヒアリングデバイスの動作方法であって、一側に形成された第１マイクおよび第２マイクから音声信号および騒音信号の音データを受信する段階と、
前記音データのデジタルフローと予め保存されたグラフパターンを比較し、前記音データに対する自然語または非自然語を判断する段階と、
自然語領域および非自然語領域を含むデータベースに基づいて、前記判断された自然語または非自然語に対する類似データをマッチングする段階と、
前記マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定し、変換される一側の音を使用者に提供する段階と、
前記マッチングされた類似データによる前記特定された自然語または非自然語に対する応答としてフィードバックを提供する段階と、
を含むことを特徴とする、自然語または非自然語を区分するスマートヒアリングデバイスの動作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自然語または非自然語を区分するスマートヒアリングデバイス、人工知能ヒアリングシステム、および、その方法に関し、より詳細には、音データを分析して判断された自然語または非自然語に対して制御パラメータおよびフィードバックを提供する技術に関する。
【背景技術】
【0002】
医工学的技術の飛躍的な発展により、以前は補聴器を着用しても大きな成果を感じることができなかった患者が、適切な補聴器を選定して着用することによって優れた聴力改善を感じることができるようになった。
【0003】
補聴器は、医療機器の中でも常に身体に付着して使用する先端医療機器である。
補聴器は、聴力の変化に応じて継続してメンテナンスを受けなければならず、湿気や耳内の異物によって損傷した部分のアフターサービスも受けなければならない。
したがって、補聴器は、医工学の中でも最も重要な技術の１つであると言える。
補聴器は、聴力の変化に応じて継続してメンテナンスを受けなければならず、湿気や耳内の異物によって損傷した部分のアフターサービスも受けなければならない。
したがって、補聴器は、医工学の中でも最も重要な技術の１つであると言える。
【0004】
初期の補聴器は、ラッパ型の集音器であったが、現在は、音の増幅をサポートする電気補聴器が使用されている。
また、補聴器には、乳突部に装着する骨導式があるが、このほとんどは、気導式の構造であって、音波をマイクロホンで受信して電気振動に変えてこれを拡大し、再び、音波に変換してイヤホンから聞くようにする仕組みである。
また、補聴器には、乳突部に装着する骨導式があるが、このほとんどは、気導式の構造であって、音波をマイクロホンで受信して電気振動に変えてこれを拡大し、再び、音波に変換してイヤホンから聞くようにする仕組みである。
【0005】
近年には、より強力な補聴器専用プロセッサについての研究がなされている。
補聴器専用プロセッサは、既存のプロセッサに比べて２倍以上も向上した処理速度とメモリを搭載しており、進化したナノ技術によって小型で構成されたチップと部品で構成される。
補聴器専用プロセッサは、既存のプロセッサに比べて２倍以上も向上した処理速度とメモリを搭載しており、進化したナノ技術によって小型で構成されたチップと部品で構成される。
【0006】
しかし、従来の補聴器技術は、難聴者（以下、「使用者」とする）の聴力データに基づいて設定がなされるものであり、使用者の周辺騒音をリアルタイムで適用することができないという限界があった。
【0007】
また、従来の補聴器技術は、音域帯の分類によって人声を推測して外部騒音と人声とを区分していたが、その性能は、優れておらず、自然語と非自然語を区分することができなかった。
さらに、人声の音域帯区間は、５００～５０００Ｈｚと相当に広い範囲を有するが、従来の補聴器技術は、声の特定の音域帯区間を外部騒音として認識し、声抜粋機能とノイズ除去機能を適切に実現することができなかった。
さらに、人声の音域帯区間は、５００～５０００Ｈｚと相当に広い範囲を有するが、従来の補聴器技術は、声の特定の音域帯区間を外部騒音として認識し、声抜粋機能とノイズ除去機能を適切に実現することができなかった。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、自然語と非自然語の区分によって使用者の声と騒音を判別し、互いに異なるパラメータとフィードバックによって効果的な補聴性能を提供することを目的とする。
【0009】
また、本発明は、使用者の右側と左側それぞれに着用する第１スマートヒアリングデバイスと第２スマートヒアリングデバイスを利用することで、左側と右側の音の方向性による環境変化と騒音変化を立体的に認知できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
本発明の実施形態に係るスマートヒアリングデバイスは、一側に形成された第１マイクおよび第２マイクから音声信号および騒音信号の音データを受信する受信部と、前記音データのデジタルフローと予め保存されたグラフパターンを比較し、前記音データに対する自然語または非自然語を判断する判断部と、自然語領域および非自然語領域を含むデータベースに基づいて、前記判断された自然語または非自然語に対する類似データをマッチングする処理部と、前記マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定し、変換される一側の音を使用者に提供する提供部とを含む。
【0011】
また、本発明の実施形態に係るスマートヒアリングデバイスは、前記マッチングされた類似データによる前記特定された自然語または非自然語に対する応答としてフィードバックを提供するフィードバック伝達部とをさらに含んでよい。
【0012】
前記受信部は、互いに異なる位置に形成された前記第１マイクおよび前記第２マイクから前記音声信号および前記騒音信号を感知し、前記音声信号および前記騒音信号をデジタル変換して前記音データで受信してよい。
【0013】
前記判断部は、デジタル変換された前記音データのデジタルフローと予め保存された時間に対する音量グラフおよび周波数に対する音量グラフのグラフパターンとを比較し、グラフの値で特定のパターンを示す自然語または非自然語を判断してよい。
【0014】
前記処理部は、前記データベースに基づいて、自然語として判断された前記音データに類似する単語および文章の類似データをマッチングするか、あるいは、非自然語として判断された前記音データに類似する環境騒音、ノイズ（雑音）、および新たな音の類似データをマッチングしてよい。
【0015】
前記提供部は、使用者の聴力データと前記マッチングされた類似データとによって特定された自然語または非自然語に基づいて、環境変化による増幅値変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の前記制御パラメータを設定してパーソナライズにより一側の音を提供してよい。
【0016】
前記提供部は、前記第１マイクおよび前記第２マイクから受信されるデジタル信号の前記音データに前記制御パラメータを設定することで、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、前記調節された信号に対するデジタル信号をアナログ信号に変換して前記使用者に一側の音を提供してよい。
【0017】
前記フィードバック伝達部は、前記処理部により、自然語または非自然語として判断された前記音データに類似する単語および文章の前記類似データがマッチングされる場合、前記類似データに対する応答として単語および文章のフィードバックを提供してよい。
【0018】
前記フィードバック伝達部は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいて前記音データに対して類似する単語および文章の前記類似データがマッチングされる場合、前記使用者の声による質問に対する応答して単語および文章のフィードバックを抽出して音声メッセージとして伝達してよい。
【0019】
本発明の実施形態に係る人工知能ヒアリングシステムは、一側に形成された第１マイクおよび第２マイクから受信される音声信号および騒音信号を含む第１音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する類似データのマッチングによる第１制御パラメータを設定して一側の音を提供する第１スマートヒアリングデバイス、他側に形成された第３マイクおよび第４マイクから受信される音声信号および騒音信号を含む第２音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する前記類似データのマッチングによる第２制御パラメータを設定して他側の音を提供する第２スマートヒアリングデバイス、および前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスを制御するモバイルデバイスを含む。
【0020】
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者の口元に位置する前記第１マイクおよび前記第３マイクを含み、前記使用者の口を基準として離隔距離に位置する前記第２マイクおよび前記第４マイクを含んでよい。
【0021】
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者にパーソナライズされた一側の音および他側の音をそれぞれ提供することで、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供してよい。
【0022】
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者の左側聴力データおよび右側聴力データに基づいて、互いに異なるパラメータ値の前記第１制御パラメータおよび前記第２制御パラメータを設定してよい。
【0023】
前記モバイルデバイスは、使用者の選択入力にしたがい、前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれの電源のオン（Ｏｎ）／オフ（Ｏｆｆ）、信号収集、および制御パラメータ設定のうちのいずれか１つ以上を制御してよい。
【0024】
本発明の実施形態に係る自然語または非自然語を区分するスマートヒアリングデバイスの動作方法であって、一側に形成された第１マイクおよび第２マイクから音声信号および騒音信号の音データを受信する段階と、前記音データのデジタルフローと予め保存されたグラフパターンを比較して前記音データに対する自然語または非自然語を判断する段階と、自然語領域および非自然語領域を含むデータベースに基づいて前記判断された自然語または非自然語に対する類似データをマッチングする段階と、前記マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定し、変換される一側の音を使用者に提供する段階とを含む。
【0025】
また、本発明の実施形態に係るスマートヒアリングデバイスの動作方法は、前記マッチングされた類似データによる前記特定された自然語または非自然語に対する応答としてフィードバックを提供する段階とをさらに含んでよい。
【発明の効果】
【0026】
本発明の実施形態によると、自然語と非自然語の区分によって使用者の声と騒音を判別し、互いに異なるパラメータとフィードバックによって効果的な補聴性能を提供することができる。
【0027】
また、本発明の実施形態によると、使用者の右側および左側それぞれに着用する第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスを利用することで、左側および右側の音の方向性による環境変化と騒音変化においてパーソナライズされた補聴サービスを提供し、補聴器使用の便宜性を高めることができる。
【図面の簡単な説明】
【0028】
【図1】本発明の実施形態における、スマートヒアリングデバイスの詳細構成を示したブロック図である。
【0029】
【図2】本発明の実施形態における、スマートヒアリングデバイスの動作方法を示したフローチャートである。
【0030】
【0031】
【0032】
【図5】本発明の実施形態におけるスマートヒアリングデバイスの適用例を示した図である。
【0033】
【図7】本発明の実施形態における人工知能ヒアリングシステムの構成を示した図である。
【発明を実施するための形態】
【0034】
以下、本発明に係る実施形態について、添付の図面を参照しながら詳しく説明する。
ただし、発明が実施形態によって制限されたり限定されたりしてはならない。
なお、各図面に提示する同一の参照符号は、同一の部材を示す。
ただし、発明が実施形態によって制限されたり限定されたりしてはならない。
なお、各図面に提示する同一の参照符号は、同一の部材を示す。
【0035】
本明細書で使用する用語（ｔｅｒｍｉｎｏｌｏｇｙ）は、本発明の実施形態を表現するために使用するものであり、これは、視聴者や運用者の意図または本発明が属する分野の慣例などによって異なってよい。
したがって、このような用語に対する定義は、本明細書の全般的な内容に基づいて下されなければならない。
したがって、このような用語に対する定義は、本明細書の全般的な内容に基づいて下されなければならない。
【0036】
【0037】
本発明は、自然語または非自然語を区分するスマートヒアリングデバイス、人工知能ヒアリングシステム、および、その方法に関する技術であって、使用者の耳に着用するスマートヒアリングデバイスから受信された音声信号および騒音信号の音データを分析して自然語または非自然語を判断し、判断結果によって類似データのマッチングによる制御パラメータ設定およびフィードバックを提供することをその要旨とする。
【0038】
ここで、本発明の実施形態に係るスマートヒアリングデバイスは、聴覚能力の低い使用者が聞き取ることができるように、増幅した音を提供する補聴器である。
【0039】
以下、判別された自然語または非自然語によって信号の増幅値、ボリューム、および、周波数のうちの少なくともいずれか１つ以上を制御し、これによるフィードバックを提供することにより、使用者にパーソナライズされた補聴サービスによる便宜性を高めることができる、本発明の実施形態に係る自然語または非自然語を区分するスマートヒアリングデバイス、人工知能ヒアリングシステム、およびその方法について、図１～図７を参照しながら詳しく説明する。
【0040】
【0041】
図１は、本発明の実施形態における、スマートヒアリングデバイスの詳細構成を示したブロック図である。
【0042】
図１を参照すると、本発明の実施形態に係るスマートヒアリングデバイスは、音データを分析して判断された自然語または非自然語に対して制御パラメータおよびフィードバックを提供する。
【0043】
以下で説明する、本発明の実施形態に係るスマートヒアリングデバイス１００は、使用者の左側または右側の耳に着用するものであり、第１スマートヒアリングデバイスまたは第２スマートヒアリングデバイスであってよい。
第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスは、図１に示したとおりであり、以下で説明する詳細な構成を同じように含むことを特徴とする。
第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスは、図１に示したとおりであり、以下で説明する詳細な構成を同じように含むことを特徴とする。
【0044】
このために、本発明の実施形態に係るスマートヒアリングデバイス１００は、受信部１１０、判断部１２０、処理部１３０、および提供部１４０を含む。
また、本発明の実施形態に係るスマートヒアリングデバイス１００は、フィードバック伝達部１５０、およびデータベース１６０をさらに含んでよい。
また、本発明の実施形態に係るスマートヒアリングデバイス１００は、フィードバック伝達部１５０、およびデータベース１６０をさらに含んでよい。
【0045】
受信部１１０は、一側に形成された第１マイク１０１および第２マイク１０２から音声信号および騒音信号の音データを受信する。
【0046】
受信部１１０は、互いに異なる位置に形成された第１マイク１０１および第２マイク１０２から音声信号および騒音信号を感知し、音声信号および騒音信号をデジタル変換して音データで受信してよい。
【0047】
このとき、第１マイク１０１は、使用者の音声信号を受信してよく、第２マイク１０２は、使用者の周辺の騒音信号を受信してよい。
より具体的に、第１マイク１０１および第２マイク１０２は、使用者の口元を基準にして互いに異なる距離に位置するが、第１マイク１０１は、使用者の口元に安定的に位置し、主に使用者の声である音声信号を受信するようにし、第２マイク１０２は、第１マイク１０１に比べて相対的に使用者の口から可能な限り遠くに位置し、主に周辺騒音である騒音信号を受信するようにする。
より具体的に、第１マイク１０１および第２マイク１０２は、使用者の口元を基準にして互いに異なる距離に位置するが、第１マイク１０１は、使用者の口元に安定的に位置し、主に使用者の声である音声信号を受信するようにし、第２マイク１０２は、第１マイク１０１に比べて相対的に使用者の口から可能な限り遠くに位置し、主に周辺騒音である騒音信号を受信するようにする。
【0048】
本発明の実施形態に係る第１マイク１０１および第２マイク１０２は、スマートヒアリングデバイス１００内の互いに異なる位置に配置されるが、第１マイク１０１および第２マイク１０２の孔口（または穴）の方向は、均一な音声信号および騒音信号を感知し、これによる適正騒音の除去のために同じであることを特徴とする。
ここで、適正騒音とは、マイクの位置で収集される音声信号および騒音信号以外の騒音および数値を意味してよい。
ここで、適正騒音とは、マイクの位置で収集される音声信号および騒音信号以外の騒音および数値を意味してよい。
【0049】
これにより、受信部１１０は、第１マイク１０１および第２マイク１０２で感知した音声信号および騒音信号を受信して電気信号、すなわち、デジタル変換して音データで受信することができるようになる。
【0050】
判断部１２０は、音データのデジタルフローと予め保存されたグラフパターンを比較し、音データに対する自然語または非自然語を判断する。
【0051】
判断部１２０は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいて、デジタル変換された音データのデジタルフローと予め保存された時間に対する音量グラフおよび周波数に対する音量グラフのグラフパターンを比較し、グラフの値で特定のパターンを示す自然語または非自然語を判断してよい。
【0052】
本発明の実施形態において、自然語とは、人間の対話、使用者の質問のような単語または文章を意味し、非自然語とは、工事現場の騒音、自動車音、客体から一時的に生じる音のような騒音、人間に不慣れな音（または、新たな音）を意味する。
各自然語および非自然語は、時間－音量グラフ、周波数－音量グラフで互いに異なる特定のパターンを示し、グラフによる特定パターンはデータベース１６０において保存されて維持されてよい。
例えば、使用者の対話は、工事現場で発生する騒音に比べて音の高低が存在するし、持続性が発生する。
これにより、使用者の対話による文章に対する時間－音量グラフおよび周波数－音量グラフにおける特定のパターンが存在し、工事現場で発生する騒音に対する時間－音量グラフおよび周波数－音量グラフにおける特定パターンが存在するようになる。
各自然語および非自然語は、時間－音量グラフ、周波数－音量グラフで互いに異なる特定のパターンを示し、グラフによる特定パターンはデータベース１６０において保存されて維持されてよい。
例えば、使用者の対話は、工事現場で発生する騒音に比べて音の高低が存在するし、持続性が発生する。
これにより、使用者の対話による文章に対する時間－音量グラフおよび周波数－音量グラフにおける特定のパターンが存在し、工事現場で発生する騒音に対する時間－音量グラフおよび周波数－音量グラフにおける特定パターンが存在するようになる。
【0053】
判断部１２０は、デジタル変換された音データのデジタルフローとデータベース１６０に保存されて維持される自然語および非自然語に対するグラフパターンを比較し、特定のパターンを示す自然語または非自然語を判断してよい。
例えば、判断部１２０は、デジタル変換された音データを比較分析して自然語として判断したり非自然語として判断したりしてよい。
例えば、判断部１２０は、デジタル変換された音データを比較分析して自然語として判断したり非自然語として判断したりしてよい。
【0054】
処理部１３０は、自然語領域および非自然語領域を含むデータベース１６０に基づいて、判断された自然語または非自然語に対する類似データをマッチングする。
【0055】
判断部１２０によって音データが自然語または非自然語として判断される場合、処理部１３０は、データベース１６０に基づいて、自然語として判断された音データと類似する単語および文章の類似データをマッチングするか、非自然語として判断された音データと類似する環境騒音、ノイズ（雑音）、および新たな音の類似データをマッチングしてよい。
より具体的に、データベース１６０は、自然語と関連する単語または文章を含む自然語領域と騒音および不慣れな音と関連する情報を含む非自然語領域を含んでよく、判断部１２０によって音データが自然語として判断される場合、処理部１３０は、データベース１６０に基づいて、自然語領域で音データと類似する単語または文章の類似データをマッチングしてよい。
より具体的に、データベース１６０は、自然語と関連する単語または文章を含む自然語領域と騒音および不慣れな音と関連する情報を含む非自然語領域を含んでよく、判断部１２０によって音データが自然語として判断される場合、処理部１３０は、データベース１６０に基づいて、自然語領域で音データと類似する単語または文章の類似データをマッチングしてよい。
【0056】
一例として、判断部１２０によって工事現場の騒音または自動車音が非自然語として判断される場合、処理部１３０は、工事現場の騒音または自動車騒音として類似データをマッチングしてよい。
また、判断部１２０によって不慣れな音が非自然語として判断される場合、処理部１３０は、新たな音または新たな騒音として類似データをマッチングしてよい。
また、判断部１２０によって不慣れな音が非自然語として判断される場合、処理部１３０は、新たな音または新たな騒音として類似データをマッチングしてよい。
【0057】
他の例として、判断部１２０によって使用者と周辺の人物の声が自然語として判断される場合、処理部１３０は、「こんにちは」、「久しぶり」のような類似データをマッチングしてよい。
また、判断部１２０によって使用者の質問が自然語として判断される場合、処理部１３０は、データベース１６０の関連検索によって「今日の天気はどう？」または「お腹空いた」のような類似データをマッチングしてよい。
また、判断部１２０によって使用者の質問が自然語として判断される場合、処理部１３０は、データベース１６０の関連検索によって「今日の天気はどう？」または「お腹空いた」のような類似データをマッチングしてよい。
【0058】
提供部１４０は、マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定し、変換される一側の音を使用者に提供する。
【0059】
このとき、本発明の実施形態に係るスマートヒアリングデバイス１００は、補聴器を使用する使用者の聴力データ（Ｐｅｒｓｏｎａｌ Ｈｅａｒｉｎｇ Ｐｒｏｆｉｌｅ）を基本的に含んでよい。
例えば、提供部１４０は、使用者が選好するボリュームおよび周波数と、異質感を感じない程度の増幅値、ボリューム、および周波数範囲を含む使用者の聴力データを含んでよい。
実施形態によって、上述したデータは、本発明の実施形態に係るスマートヒアリングデバイス１００と連動するモバイルデバイス５００または外部サーバ６００から受信されるようにしてよく、モバイルデバイス５００または外部サーバ６００において保存されて維持されてもよい。
例えば、提供部１４０は、使用者が選好するボリュームおよび周波数と、異質感を感じない程度の増幅値、ボリューム、および周波数範囲を含む使用者の聴力データを含んでよい。
実施形態によって、上述したデータは、本発明の実施形態に係るスマートヒアリングデバイス１００と連動するモバイルデバイス５００または外部サーバ６００から受信されるようにしてよく、モバイルデバイス５００または外部サーバ６００において保存されて維持されてもよい。
【0060】
ただし、前記聴力データが、増幅値、ボリューム、および、周波数などの項目または数値に限定されてはならない。
例えば、前記聴力データは、小さな音は大きく増幅して大きい音は小さくする非線形圧縮情報、音が聞こえる方向を正確にキャッチする方向性情報、マイクに受信された音を増幅して他の雑音なく聞けるようにサポートするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでもよい。
例えば、前記聴力データは、小さな音は大きく増幅して大きい音は小さくする非線形圧縮情報、音が聞こえる方向を正確にキャッチする方向性情報、マイクに受信された音を増幅して他の雑音なく聞けるようにサポートするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでもよい。
【0061】
提供部１４０は、使用者の聴力データとマッチングされた類似データによって特定された自然語または非自然語に基づいて、環境変化による増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上の制御パラメータを設定し、パーソナライズによって一側の音を提供してよい。
このとき、提供部１４０は、自然語および非自然語に互いに異なる制御パラメータ値を適用することを特徴とする。
例えば、同じようにボリュームを高める制御パラメータを適用したとしても、提供部１４０は、非自然語よりも自然語に適用される制御パラメータ値をより高めてよい。
このとき、提供部１４０は、自然語および非自然語に互いに異なる制御パラメータ値を適用することを特徴とする。
例えば、同じようにボリュームを高める制御パラメータを適用したとしても、提供部１４０は、非自然語よりも自然語に適用される制御パラメータ値をより高めてよい。
【0062】
より詳しく説明すると、提供部１４０は、第１マイク１０１および第２マイク１０２から受信されるデジタル信号の音データに制御パラメータを設定して、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号に対するデジタル信号をアナログ信号に変換して使用者に一側の音を提供してよい。
【0063】
例えば、第１マイク１０１および第２マイク１０２から受信された音データによる増幅値、ボリューム、および、周波数のうちの少なくともいずれか１つ以上が、使用者が予め設定したものであるか、ユーザが選好する基準範囲を逸脱することがある。
これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、機械的エラーの要因、および、自然語または非自然語による高低要因のうちのいずれか１つによって発生すると言える。
これにより、提供部１４０は、処理部１３０によってマッチングされた自然語または非自然語に対する類似データに基づいて、音声信号および騒音信号の増幅値、ボリューム、および、周波数のうちの少なくともいずれか１つ以上のバランスを調節してよく、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換して音で使用者に提供してよい。
これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、機械的エラーの要因、および、自然語または非自然語による高低要因のうちのいずれか１つによって発生すると言える。
これにより、提供部１４０は、処理部１３０によってマッチングされた自然語または非自然語に対する類似データに基づいて、音声信号および騒音信号の増幅値、ボリューム、および、周波数のうちの少なくともいずれか１つ以上のバランスを調節してよく、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換して音で使用者に提供してよい。
【0064】
一例として、処理部１３０によって工事現場の騒音または自動車の騒音として類似データがマッチングされる場合、提供部１４０は、騒音に対するボリュームを低めるバランスを調節して使用者に提供してよい。
【0065】
他の例として、処理部１３０によって使用者と周辺の人物の声が「こんにちは」または「久しぶり」のような類似データによってマッチングされる場合、提供部１４０は、周辺騒音よりもマッチングされた類似データの増幅値、ボリューム、および、周波数を高めるバランスを調節し、情報が使用者に正確に伝達されるように提供してよい。
【0066】
すなわち、本発明の実施形態に係るスマートヒアリングデバイス１００は、使用者の環境変化に応じて第１マイク１０１および第２マイク１０２から受信された音声信号および騒音信号を含む音データを分析して自然語または非自然語を判断し、自然語または非自然語に対する類似データをマッチングして音データに対する制御パラメータを設定することにより、使用者が個別にボリュームを調節したり周波数を調節したりしなくても、変化する状況に最適な補聴サービスを提供することができ、補聴器使用の便宜性を高めることができる。
【0067】
本発明の実施形態に係るスマートヒアリングデバイス１００のフィードバック伝達部１５０は、マッチングされた類似データによる特定された自然語に対する応答としてフィードバックを提供してよい。
【0068】
フィードバック伝達部１５０は、処理部１３０によって自然語または非自然語が判断された音データと類似する単語および文章の類似データがマッチングされる場合、類似データに対する応答として単語および文章のフィードバックを提供してよい。
【0069】
フィードバック伝達部１５０は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいて音データに対する類似の単語および文章の類似データがマッチングされる場合、使用者の声による質問に対する応答として単語および文章のフィードバックを抽出して音声で伝達してよい。
【0070】
一例として、判断部１２０によって工事現場の騒音または自動車音が非自然語として判断され、処理部１３０によって工事現場の騒音または自動車騒音の類似データがマッチングされる場合、非自然語に該当する音データは、制御パラメータによってバランスが調節されてよい。
この後、フィードバック伝達部１５０は、非自然語に該当する音データに対するフィードバックを使用者に提供してよい。
例えば、自動車騒音として類似データがマッチングされる場合、フィードバック伝達部１５０は、「気を付けてください」のような音声メッセージ通知を使用者に提供してよい。
また他の例として、使用者に不慣れな、新たな騒音として類似データがマッチングされる場合、フィードバック伝達部１５０は、「新しい音です」または「新しい環境です」のような音声メッセージ通知を使用者に提供してよい。
この後、フィードバック伝達部１５０は、非自然語に該当する音データに対するフィードバックを使用者に提供してよい。
例えば、自動車騒音として類似データがマッチングされる場合、フィードバック伝達部１５０は、「気を付けてください」のような音声メッセージ通知を使用者に提供してよい。
また他の例として、使用者に不慣れな、新たな騒音として類似データがマッチングされる場合、フィードバック伝達部１５０は、「新しい音です」または「新しい環境です」のような音声メッセージ通知を使用者に提供してよい。
【0071】
他の例として、判断部１２０によって使用者の質問が自然語として判断され、処理部１３０によって「今日の天気はどう？」または「お腹空いた」のような類似データがマッチングされる場合、自然語に該当する音データは、制御パラメータによってバランスが調節されてよい。
この後、フィードバック伝達部１５０は、自然語に該当する音データに対するフィードバックを使用者に提供してよい。
例えば、「今日の天気はどう？」の類似データがマッチングされる場合、フィードバック伝達部１５０は、「今日の天気は快晴です」のような音声メッセージ通知を使用者に提供してよい。
また、他の例として、「お腹空いた」のような類似データがマッチングされる場合、フィードバック伝達部１５０は、「ここから近いレストランはＯＯＯです」のような音声メッセージ通知を使用者に提供してよい。
この後、フィードバック伝達部１５０は、自然語に該当する音データに対するフィードバックを使用者に提供してよい。
例えば、「今日の天気はどう？」の類似データがマッチングされる場合、フィードバック伝達部１５０は、「今日の天気は快晴です」のような音声メッセージ通知を使用者に提供してよい。
また、他の例として、「お腹空いた」のような類似データがマッチングされる場合、フィードバック伝達部１５０は、「ここから近いレストランはＯＯＯです」のような音声メッセージ通知を使用者に提供してよい。
【0072】
本発明の実施形態に係るスマートヒアリングデバイス１００は、音データ、類似データ、制御パラメータ、およびフィードバックと関連する情報をモバイルデバイスまたは外部サーバに送信し、モバイルデバイスから使用者の入力を受信する通信部（図示せず）をさらに含んでよい。
【0073】
例えば、前記通信部は、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｚｉｇｂｅｅ、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）のうちのいずれか１つの近距離無線通信モジュールを通じて、音データ、類似データ、制御パラメータ、および、フィードバックと関連する情報を使用者が所持するモバイルデバイスに送信し、モバイルデバイスから使用者の選択入力によるスマートヒアリングデバイスの電源オン／オフ（Ｏｎ／Ｏｆｆ）または制御パラメータを制御する制御コマンドを受信してよい。
【0074】
実施形態によって、本発明の実施形態に係るスマートヒアリングデバイス１００の通信部は、近距離無線通信モジュールだけでなく、セルラー電話ネットワーク、無線ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、および／またはＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）などの無線ネットワーク、イントラネットおよび／またはワールドワイドウェブ（ＷＷＷ）と呼ばれるインターネットのようなネットワーク、および、その他の装置と無線通信によって通信してもよい。
【0075】
このような無線通信は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ）、Ｗ－ＣＤＭＡ（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＴＤＭＡ（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、および／またはＩＥＥＥ ８０２．１１ｎなどの）Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ＶｏＩＰ（ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、Ｗｉ－ＭＡＸ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｚｉｇｂｅｅ、Ｚ－ｗａｖｅ、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、Ｂｅａｃｏｎ、ＩＭＡＰ（Ｉｎｔｅｒｎｅｔ Ｍｅｓｓａｇｅ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）、および／またはＰＯＰ（Ｐｏｓｔ ＯｆｆｉｃｅＰ ｒｏｔｏｃｏｌ）などの電子メール用プロトコル、ＸＭＰＰ（ｅＸｔｅｎｓｉｂｌｅ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｐｒｏｔｏｃｏｌ）、ＳＩＭＰＬＥ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｌｅｖｅｒａｇｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ）、ＩＭＰＳ（Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｓｅｒｖｉｃｅ）、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）、ＬｏＲａなどのインスタントメッセージング、または、本願の出願日当時には未開発の通信プロトコルを含んでよい。
ただし、上述した無線通信には、これらに限定されない複数の通信標準、プロトコル、および技術が使用されてよい。
ただし、上述した無線通信には、これらに限定されない複数の通信標準、プロトコル、および技術が使用されてよい。
【0076】
【0077】
図２は、本発明の実施形態における、スマートヒアリングデバイスの動作方法を示したフローチャートである。
【0078】
【0079】
図２を参照すると、段階２１０で、一側に形成された第１マイクおよび第２マイクから音声信号および騒音信号の音データを受信する。
【0080】
段階２１０は、互いに異なる位置に形成された第１マイクおよび第２マイクから音声信号および騒音信号を感知し、段階２２０は、音声信号および騒音信号をデジタル変換して音データで受信してよい。
【0081】
段階２３０で、音データのデジタルフローと予め保存されたグラフパターンを、前記音データに対する自然語または非自然語を判断する。
【0082】
段階２３０は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいてデジタル変換された音データのデジタルフローと予め保存された時間に対する音量グラフおよび周波数に対する音量グラフのグラフパターンを比較し、グラフの値で特定のパターンを示す自然語または非自然語を判断してよい。
【0083】
段階２３０で、音データは、自然語または非自然語に区分され、段階２４１および段階２５１で、自然語領域および非自然語領域を含むデータベースに基づいて、前記判断された自然語または非自然語に対する類似データをマッチングする。
例えば、段階２４１は、段階２３０によって工事現場の騒音または自動車音が非自然語として判断される場合、工事現場の騒音または自動車騒音に類似データをマッチングしてよい。
また、段階２５１は、段階２３０によって使用者と周辺の人物の声が自然語として判断される場合には、声による「こんにちは」、「久しぶり」のような類似データをマッチングしてよく、段階２３０によって使用者の質問が自然語として判断される場合には、データベースの関連検索によって「今日の天気はどう？」または「お腹空いた」のような類似データをマッチングしてよい。
例えば、段階２４１は、段階２３０によって工事現場の騒音または自動車音が非自然語として判断される場合、工事現場の騒音または自動車騒音に類似データをマッチングしてよい。
また、段階２５１は、段階２３０によって使用者と周辺の人物の声が自然語として判断される場合には、声による「こんにちは」、「久しぶり」のような類似データをマッチングしてよく、段階２３０によって使用者の質問が自然語として判断される場合には、データベースの関連検索によって「今日の天気はどう？」または「お腹空いた」のような類似データをマッチングしてよい。
【0084】
この後、段階２４２および段階２５２で、マッチングされた類似データによって特定された自然語または非自然語に制御パラメータを設定し、変換される一側の音を使用者に提供する。
【0085】
段階２４２および段階２５２は、使用者の聴力データとマッチングされた類似データによって特定された自然語または非自然語に基づいて、環境変化による増幅値変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の制御パラメータを設定し、パーソナライズによって一側の音を提供してよい。
【0086】
例えば、段階２４１で、工事現場の騒音または自動車騒音に類似データがマッチングされる場合、段階２４２は、騒音に対するボリュームを低めるバランスを調節して使用者に提供してよい。
また、段階２５１で、使用者と周辺の人物の声が「こんにちは」または「久しぶり」のような類似データにマッチングされる場合、段階２５２は、周辺騒音よりもマッチングされた類似データの増幅値、ボリューム、および、周波数を高めるバランスを調節し、情報が正確に使用者に伝達されるように提供してよい。
また、段階２５１で、使用者と周辺の人物の声が「こんにちは」または「久しぶり」のような類似データにマッチングされる場合、段階２５２は、周辺騒音よりもマッチングされた類似データの増幅値、ボリューム、および、周波数を高めるバランスを調節し、情報が正確に使用者に伝達されるように提供してよい。
【0087】
このとき、段階２４２および段階２５２それぞれは、自然語または非自然語に互いに異なる制御パラメータ値を適用することを特徴とする。
より詳しく説明すると、同じようボリュームを高める制御パラメータを適用したとしても、自然語に適用される制御パラメータが非自然語に適用される制御パラメータよりも高くなるようにしてよい。
より詳しく説明すると、同じようボリュームを高める制御パラメータを適用したとしても、自然語に適用される制御パラメータが非自然語に適用される制御パラメータよりも高くなるようにしてよい。
【0088】
この後、段階２４３および段階２５３で、マッチングされた類似データによる特定された自然語または非自然語に対する応答としてフィードバックを提供してよい。
【0089】
段階２４３および段階２５３は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいて音データに対する類似の単語および文章の類似データがマッチングされる場合、使用者の質問に対する応答として単語および文章のフィードバックを抽出して音声で伝達してよい。
【0090】
例えば、自動車騒音として類似データがマッチングされる場合には、段階２４３は、「気を付けてください」のような音声メッセージ通知を使用者に提供してよく、使用者に不慣れな新たな騒音として類似データがマッチングされる場合には、「新しい音です」または「新しい環境です」のような音声メッセージ通知を使用者に提供してよい。
また、「今日の天気はどう？」の類似データがマッチングされる場合には、段階２５３は、「今日の天気は快晴です」のような音声メッセージ通知を使用者に提供してよく、「お腹空いた」のような類似データがマッチングされる場合には、「ここから近いレストランはＯＯＯです」のような音声メッセージ通知を使用者に提供してよい。
また、「今日の天気はどう？」の類似データがマッチングされる場合には、段階２５３は、「今日の天気は快晴です」のような音声メッセージ通知を使用者に提供してよく、「お腹空いた」のような類似データがマッチングされる場合には、「ここから近いレストランはＯＯＯです」のような音声メッセージ通知を使用者に提供してよい。
【0091】
段階２４１、段階２４２、および段階２４３の非自然語領域において、本発明の実施形態に係るスマートヒアリングデバイスの動作方法は、騒音に対しては制御パラメータを設定して使用者に適した音を提供するが、威嚇的な音または新しい音に対しては「気を付けてください」または「新しい音です」のような音声メッセージ通知をフィードバックとして提供してよい。
【0092】
同様に、段階２５１、段階２５２、および段階２５３の自然語領域において、本発明の実施形態に係るスマートヒアリングデバイスの動作方法は、使用者同士の対話音に対しては制御パラメータを設定して使用者に適した音を提供するが、使用者の質問に対しては、これに相応する返答をフィードバックとして提供してよい。
このとき、本発明の実施形態に係るスマートヒアリングデバイスの動作方法は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいて、自然語である使用者の質問に適した返答を抽出してよい。
このとき、本発明の実施形態に係るスマートヒアリングデバイスの動作方法は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）に基づいて、自然語である使用者の質問に適した返答を抽出してよい。
【0093】
【0094】
【0095】
より詳しく説明すると、図３ａは、本発明の実施形態における自然語を判断してフィードバックを提供する例を説明するための図であり、図３ｂは、本発明の実施形態における非自然語を判断してフィードバックを提供する例を説明するための図である。
【0096】
図３ａに示すように、本発明の実施形態に係るスマートヒアリングデバイスが、一側に形成された第１マイクおよび第２マイクから「こんにちは」という音データを感知したとする。
このとき、「こんにちは」という音データは、図３ａに示すような時間－音量グラフおよび周波数－音量グラフで特定のパターンを示し、本発明の実施形態に係るスマートヒアリングデバイスは、音データに対するデジタルフローとデータベースに予め保存されたグラフパターンを比較し、音データを自然語として判断してよい。
このとき、「こんにちは」という音データは、図３ａに示すような時間－音量グラフおよび周波数－音量グラフで特定のパターンを示し、本発明の実施形態に係るスマートヒアリングデバイスは、音データに対するデジタルフローとデータベースに予め保存されたグラフパターンを比較し、音データを自然語として判断してよい。
【0097】
自然語の判断後に、本発明の実施形態に係るスマートヒアリングデバイスは、自然語に対する類似データをマッチングする。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、感知された「こんにちは」に近い類似データをマッチングしようとするため、「こんにちは」、「こんちは」、「こんにち」のようなデータのうちから「こんにちは」の音データと類似する「こんにちは」の類似データをマッチングしてよい。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、感知された「こんにちは」に近い類似データをマッチングしようとするため、「こんにちは」、「こんちは」、「こんにち」のようなデータのうちから「こんにちは」の音データと類似する「こんにちは」の類似データをマッチングしてよい。
【0098】
類似データのマッチングにより、本発明の実施形態に係るスマートヒアリングデバイスは、自然語に、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上の制御パラメータを設定し、「こんにちは」の音データに対する応答としてフィードバックを抽出して音で使用者に提供してよい。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、「こんにちは」の音データに対するフィードバックとして「はい、こんにちは」、「お久しぶりです」、「どのようなご用件でしょうか？」のような音声メッセージ通知を使用者に提供してよい。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、「こんにちは」の音データに対するフィードバックとして「はい、こんにちは」、「お久しぶりです」、「どのようなご用件でしょうか？」のような音声メッセージ通知を使用者に提供してよい。
【0099】
図３ｂに示すように、本発明の実施形態に係るスマートヒアリングデバイスが、一側に形成された第１マイクおよび第２マイクから「ゲホゲホ」という音データを感知したとする。
このとき、「ゲホゲホ」の音データは、図３ｂに示すような時間－音量グラフおよび周波数－音量グラフで特定のパターンを示し、本発明の実施形態に係るスマートヒアリングデバイスは、音データに対するデジタルフローとデータベースに予め保存されたグラフパターンを比較し、音データを非自然語として判断する。
図３ａと図３ｂに示すように、自然語および非自然語は、時間－音量グラフおよび周波数－音量グラフで互いに異なるグラフパターンを示すことが確認されることから、本発明の実施形態に係るスマートヒアリングデバイスは、このようなグラフパターンの差によって自然語または非自然語を区分および判断するようになる。
このとき、「ゲホゲホ」の音データは、図３ｂに示すような時間－音量グラフおよび周波数－音量グラフで特定のパターンを示し、本発明の実施形態に係るスマートヒアリングデバイスは、音データに対するデジタルフローとデータベースに予め保存されたグラフパターンを比較し、音データを非自然語として判断する。
図３ａと図３ｂに示すように、自然語および非自然語は、時間－音量グラフおよび周波数－音量グラフで互いに異なるグラフパターンを示すことが確認されることから、本発明の実施形態に係るスマートヒアリングデバイスは、このようなグラフパターンの差によって自然語または非自然語を区分および判断するようになる。
【0100】
非自然語の判断後に、本発明の実施形態に係るスマートヒアリングデバイスは、非自然語に対する類似データをマッチングする。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、感知された「ゲホゲホ」と類似するデータをマッチングしようとするため、「ゲホ」、「ゴホン」、「ゴホゴホ」のようなデータのうちから「ゲホゲホ」の音データと類似する「ゲホゲホ」の類似データをマッチングしてよい。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、感知された「ゲホゲホ」と類似するデータをマッチングしようとするため、「ゲホ」、「ゴホン」、「ゴホゴホ」のようなデータのうちから「ゲホゲホ」の音データと類似する「ゲホゲホ」の類似データをマッチングしてよい。
【0101】
類似データのマッチングにより、本発明の実施形態に係るスマートヒアリングデバイスは、非自然語に、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上の制御パラメータを設定し、「ゲホゲホ」の音データに対する応答としてフィードバックを抽出して音で使用者に提供してよい。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、「ゲホゲホ」の音データに対するフィードバックとして、「近所の薬局をお知らせします」、「風邪のようです」、「温かいお茶を飲みましょう」、「大丈夫ですか？」のような音声メッセージ通知を使用者に提供してよい。
例えば、本発明の実施形態に係るスマートヒアリングデバイスは、「ゲホゲホ」の音データに対するフィードバックとして、「近所の薬局をお知らせします」、「風邪のようです」、「温かいお茶を飲みましょう」、「大丈夫ですか？」のような音声メッセージ通知を使用者に提供してよい。
【0102】
【0103】
【0104】
【0105】
【0106】
図４ａを参照すると、本発明の実施形態に係る第１スマートヒアリングデバイス３００は、第１マイク３０１、第２マイク３０２、および、オン／オフスイッチ３０３を含み、第２スマートヒアリングデバイス４００は、第３マイク４０１、第４マイク４０２、および、オン／オフスイッチ４０３を含む。
図面では、第１スマートヒアリングデバイス３００は、使用者の左耳に、第２スマートヒアリングデバイス４００は、使用者の右耳に着用するように示されているが、スマートヒアリングデバイスを着用する位置および形態がこれに制限されてはならない。
図面では、第１スマートヒアリングデバイス３００は、使用者の左耳に、第２スマートヒアリングデバイス４００は、使用者の右耳に着用するように示されているが、スマートヒアリングデバイスを着用する位置および形態がこれに制限されてはならない。
【0107】
このとき、第１マイク３０１および第３マイク４０１は、主に、使用者の声である音声信号を受信するために使用者の口元に隣接するように位置してよく、オン／オフスイッチ３０３、４０３の下側に位置し、第２マイク３０２および第４マイク４０２に比べて相対的に使用者の口元から近いことを特徴とする。
【0108】
また、第２マイク３０２および第４マイク４０２は、主に、使用者の位置による周辺騒音である騒音信号を受信するために使用者の口から可能な限り離れて位置してよく、オン／オフスイッチ３０３、４０３の上側に位置し、第１マイク３０１および第３マイク４０１に比べて相対的に使用者の口から遠く離れて位置することを特徴とする。
【0109】
さらに、第１マイク３０１および第２マイク３０２、第３マイク４０１および第４マイク４０２の孔口（または、孔）の方向は、同じであることを特徴とする。
これは、均一な音声信号および騒音信号をそれぞれ収集し、これによる適正騒音を取り除くためである。
これは、均一な音声信号および騒音信号をそれぞれ収集し、これによる適正騒音を取り除くためである。
【0110】
図４ａに示すように、本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、位置が互いに異なる２つのマイク３０１、３０２と４０１、４０２を含み、ソフトウェア的に、第１マイク３０１および第３マイク４０１がメインとなるようにセッティングし、第２マイク３０２および第４マイク４０２を２次入力ソースとして適用することで、互いに異なる音声信号および騒音信号を均一に収集できるようにする。
【0111】
このとき、第１スマートヒアリングデバイス３００の第１マイク３０１と第２スマートヒアリングデバイス４００の第３マイク４０１は、互いにペアリングし、第１スマートヒアリングデバイス３００の第２マイク３０２と第２スマートヒアリングデバイス４００の第４マイク４０２は、互いにペアリングすることを特徴とし、いずれか１つのマイクに適用された設定に応じていずれか１つのマイクとペアリングするマイクも自動設定されてよい。
【0112】
例えば、制御パラメータによって第１マイク３０１のボリュームが一定の値にアップ（ｕｐ）する場合、ペアリングする第３マイク４０１のボリュームも、一定の値に自動的にアップ（ｕｐ）調節されるようにしてよい。
また他の例として、第１スマートヒアリングデバイス３００の第２マイク３０２の電源がオン（ｏｎ）となる場合、ペアリングする第２スマートヒアリングデバイス４００の第４マイク４０２の電源も、自動的にオン（ｏｎ）となるようにしてよい。
また他の例として、第１スマートヒアリングデバイス３００の第２マイク３０２の電源がオン（ｏｎ）となる場合、ペアリングする第２スマートヒアリングデバイス４００の第４マイク４０２の電源も、自動的にオン（ｏｎ）となるようにしてよい。
【0113】
図４ａを参照すると、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、オン／オフスイッチ３０３、４０３を含み、オン／オフスイッチ３０３、４０３は、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００の電源をオン（ｏｎ）またはオフ（ｏｆｆ）する役割をする。
例えば、使用者がスイッチ形態のオン／オフスイッチ３０３、４０３をタッチ、プッシュ、または長押しした場合、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００はオン（ｏｎ）またはオフ（ｏｆｆ）されてよい。
このとき、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００のうちの少なくともいずれか１つがオン（ｏｎ）またはオフ（ｏｆｆ）になる場合、ペアリングする他方のスマートヒアリングデバイスも同じように（ｏｎ）またはオフ（ｏｆｆ）されてよい。
例えば、使用者がスイッチ形態のオン／オフスイッチ３０３、４０３をタッチ、プッシュ、または長押しした場合、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００はオン（ｏｎ）またはオフ（ｏｆｆ）されてよい。
このとき、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００のうちの少なくともいずれか１つがオン（ｏｎ）またはオフ（ｏｆｆ）になる場合、ペアリングする他方のスマートヒアリングデバイスも同じように（ｏｎ）またはオフ（ｏｆｆ）されてよい。
【0114】
図４ｂを参照すると、本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、充電モジュール３０５、４０５およびスピーカ３０４、４０４を含む。
【0115】
本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、充電式デバイスとして、充電モジュール（Ｃｈａｒｇｉｎｇ Ｔｅｒｍｉｎａｌｓ）３０５、４０５を含んでよい。
【0116】
例えば、本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、充電式リチウムイオンポリマーバッテリー（Ｌｉ－ｉｏｎ Ｐｏｌｙｍｅｒ Ｂａｔｔｅｒｙ）およびモバイル装置のバッテリーメーター（ＢａｔｔｅｒｙＭｅｔｅｒ）を含んでよく、充電モジュール３０５、４０５を通じてバッテリーが充電されるようにしてよい。
【0117】
また、本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、スピーカ３０４、４０４を通じて、デジタル信号からアナログ信号（音響エネルギー）に変換された音を提供してよい。
【0118】
例えば、本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、第１マイク３０１、第２マイク３０２、第３マイク４０１、第４マイク４０２から収集された音声信号および騒音信号に、分析結果に関連する情報による第１制御パラメータおよび第２制御パラメータを設定し、増幅値変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスが調節されたデジタル信号をアナログ信号に変換し、スピーカ３０４、４０４を通じて使用者に音で提供してよい。
【0119】
【0120】
【0121】
より詳しく説明すると、図５は、本発明の実施形態に係るスマートヒアリングデバイスを着用した使用者を前面から眺めた例を示したものである。
図６ａは、本発明の実施形態に係る第１スマートヒアリングデバイスを着用した使用者を左側から眺めた例を示したものであり、図６ｂは、本発明の実施形態に係る第２スマートヒアリングデバイスを着用した使用者を右側から眺めた例を示したものである。
図６ａは、本発明の実施形態に係る第１スマートヒアリングデバイスを着用した使用者を左側から眺めた例を示したものであり、図６ｂは、本発明の実施形態に係る第２スマートヒアリングデバイスを着用した使用者を右側から眺めた例を示したものである。
【0122】
図５を参照すると、使用者１０は、左耳に第１スマートヒアリングデバイス３００を、右耳に第２スマートヒアリングデバイス４００を着用している。
使用者１０が、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００を両方とも着用することにより、左側および右側の音の方向性による環境変化と騒音変化をより立体的に認知することができ、パーソナライズされた補聴サービスを受けることができる。
使用者１０が、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００を両方とも着用することにより、左側および右側の音の方向性による環境変化と騒音変化をより立体的に認知することができ、パーソナライズされた補聴サービスを受けることができる。
【0123】
図６ａを参照すると、本発明の実施形態に係る第１スマートヒアリングデバイス３００が、使用者１０の左耳に装着されており、第１マイク３０１および第２マイク３０２は、使用者の口を基準にして互いに異なる距離に位置してよい。
【0124】
例えば、第１マイク３０１は、第２マイク３０２に比べて使用者の口元に隣接するように位置し、主に使用者の声である音声信号を受信してよい。
この反面、第２マイク３０２は、第１マイク３０１に比べて使用者の口から可能な限り遠くに位置し、主に使用者の位置による周辺騒音である騒音信号を受信してよい。
この反面、第２マイク３０２は、第１マイク３０１に比べて使用者の口から可能な限り遠くに位置し、主に使用者の位置による周辺騒音である騒音信号を受信してよい。
【0125】
このとき、図６ａに示すように、第１マイク３０１および第２マイク３０２は、オン／オフスイッチ３０３を基準にして使用者の口から近いか遠くに位置することを確認することができる。
【0126】
第１マイク３０１および第２マイク３０２は、本発明の実施形態に係る第１スマートヒアリングデバイス３００内の互いに異なる位置に含まれるが、第１マイク３０１および第２マイク３０２の孔口（または、流入口）の方向は、均一な音声信号および騒音信号を収集し、これによる適正騒音の除去のために、同じであることを特徴とする。
【0127】
図６ｂを参照すると、本発明の実施形態に係る第２スマートヒアリングデバイス４００が使用者１０の右耳に装着されており、第３マイク４０１および第４マイク４０２は、使用者の口を基準として互いに異なる距離に位置してよい。
【0128】
例えば、第３マイク４０１は、第４マイク４０２に比べて使用者の口元に隣接するように位置し、主に使用者の声である音声信号を受信してよい。
この反面、第４マイク４０２は、第３マイク４０１に比べて使用者の口から可能な限り遠くに位置し、主に使用者の位置による周辺騒音である騒音信号を受信してよい。
この反面、第４マイク４０２は、第３マイク４０１に比べて使用者の口から可能な限り遠くに位置し、主に使用者の位置による周辺騒音である騒音信号を受信してよい。
【0129】
このとき、図６ｂに示すように、第３マイク４０１および第４マイク４０２は、オン／オフスイッチ４０３を基準にして使用者の口から近いか遠くに位置することを確認してよい。
【0130】
第３マイク４０１および第４マイク４０２は、本発明の実施形態に係る第２スマートヒアリングデバイス４００内の互いに異なる位置に含まれるが、第３マイク４０１および第４マイク４０２の孔口（または、流入口）の方向は、均一な音声信号および騒音信号を収集し、これによる適正騒音の除去のために、同じであることを特徴とする。
【0131】
【0132】
図７は、本発明の実施形態における、人工知能ヒアリングシステムの構成を示した図である。
【0133】
図７を参照すると、本発明の実施形態に係る人工知能ヒアリングシステムは、一側に形成された第１スマートヒアリングデバイス３００および他側に形成された第２スマートヒアリングデバイス４００を含み、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００を制御するモバイルデバイス５００を含む。
また、本発明の実施形態に係る人工知能ヒアリングシステムは、外部サーバ６００をさらに含んでよい。
また、本発明の実施形態に係る人工知能ヒアリングシステムは、外部サーバ６００をさらに含んでよい。
【0134】
第１スマートヒアリングデバイス３００は、一側に形成された第１マイクおよび第２マイクから受信される音声信号および騒音信号を含む第１音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する類似データのマッチングによる第１制御パラメータを設定して一側の音を提供する。
また、第２スマートヒアリングデバイス４００は、他側に形成された第３マイクおよび第４マイクから受信される音声信号および騒音信号を含む第２音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する前記類似データのマッチングによる第２制御パラメータを設定して他側の音を提供する。
また、第２スマートヒアリングデバイス４００は、他側に形成された第３マイクおよび第４マイクから受信される音声信号および騒音信号を含む第２音データに対する自然語または非自然語を判断し、判断された自然語または非自然語に対する前記類似データのマッチングによる第２制御パラメータを設定して他側の音を提供する。
【0135】
第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、使用者の口元に位置する第１マイクおよび第３マイクを含み、使用者の口を基準として離隔距離に位置する第２マイクおよび第４マイクを含んでよい。
このとき、第１マイクおよび第３マイクは、一側および他側で使用者の音声信号を収集してよく、第２マイクおよび第４マイクは、一側の騒音信号および他側の騒音信号を収集してよい。
このとき、第１マイクおよび第３マイクは、一側および他側で使用者の音声信号を収集してよく、第２マイクおよび第４マイクは、一側の騒音信号および他側の騒音信号を収集してよい。
【0136】
より詳しく説明すると、第１スマートヒアリングデバイス３００は、使用者の左耳に装着されてよく、使用者の口元に位置する第１マイクを通じて左側の使用者の音声信号を受信し、使用者の口を基準として離隔距離に位置する第２マイクを通じて左側の騒音信号を受信してよい。
また、第２スマートヒアリングデバイス４００は、使用者の右耳に装着されてよく、使用者の口元に位置する第３マイクを通じて右側の使用者の音声信号を受信し、使用者の口を基準として離隔距離に位置する第４マイクを通じて右側の騒音信号を受信してよい。
また、第２スマートヒアリングデバイス４００は、使用者の右耳に装着されてよく、使用者の口元に位置する第３マイクを通じて右側の使用者の音声信号を受信し、使用者の口を基準として離隔距離に位置する第４マイクを通じて右側の騒音信号を受信してよい。
【0137】
このとき、第１スマートヒアリングデバイス３００の第１マイクと第２スマートヒアリングデバイス４００の第３マイク、および、第１スマートヒアリングデバイス３００の第２マイクと第２スマートヒアリングデバイス４００の第４マイクそれぞれは、互いにペアリングすることを特徴とし、いずれか１つのマイクに適用された設定に応じていずれか１つのマイクとペアリングするマイクも、自動設定されてよい。
例えば、第１制御パラメータによって第１マイクのボリュームが調節される場合、ペアリングする第３マイクのボリュームも、自動的に調節されてよい。
また、他の例として、第１スマートヒアリングデバイス３００の第２マイクの電源がオン（ｏｎ）となる場合、ペアリングする第２スマートヒアリングデバイス４００の第４マイクの電源も、自動的にオン（ｏｎ）となってよい。
例えば、第１制御パラメータによって第１マイクのボリュームが調節される場合、ペアリングする第３マイクのボリュームも、自動的に調節されてよい。
また、他の例として、第１スマートヒアリングデバイス３００の第２マイクの電源がオン（ｏｎ）となる場合、ペアリングする第２スマートヒアリングデバイス４００の第４マイクの電源も、自動的にオン（ｏｎ）となってよい。
【0138】
第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれは、使用者の左側聴力データおよび右側聴力データに基づいて、互いに異なるパラメータ値の第１制御パラメータおよび第２制御パラメータを設定してよい。
【0139】
実施例として、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれは、補聴器を使用する使用者の左側および右側に対する聴力データ（Ｐｅｒｓｏｎａｌ Ｈｅａｒｉｎｇ Ｐｒｏｆｉｌｅ）を含んでよい。
例えば、使用者の左側と右側の聴力データが異なることがあるため、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれは、使用者が選好するボリューム、認知可能な特定のボリュームと特定の周波数、異質感を感じない程度の増幅値、ボリューム、および、周波数範囲を含むパーソナライズされた聴力データを含んでよい。
このとき、使用者の聴力データは、モバイルデバイス５００および外部サーバ６００にも保存されて維持されてよい。
例えば、使用者の左側と右側の聴力データが異なることがあるため、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれは、使用者が選好するボリューム、認知可能な特定のボリュームと特定の周波数、異質感を感じない程度の増幅値、ボリューム、および、周波数範囲を含むパーソナライズされた聴力データを含んでよい。
このとき、使用者の聴力データは、モバイルデバイス５００および外部サーバ６００にも保存されて維持されてよい。
【0140】
ただし、前記聴力データが、増幅値、ボリューム、および、周波数などの項目または数値に限定されてはならない。
例えば、前記聴力データは、小さな音は大きく増幅して大きい音は小さく減らす非線形圧縮情報、音が聞こえる方向を正確にキャッチする方向性情報、マイクに受信された音を増幅して他の雑音なく聞きやすい音になるようにサポートするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでよい。
例えば、前記聴力データは、小さな音は大きく増幅して大きい音は小さく減らす非線形圧縮情報、音が聞こえる方向を正確にキャッチする方向性情報、マイクに受信された音を増幅して他の雑音なく聞きやすい音になるようにサポートするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでよい。
【0141】
本発明の実施形態に係る第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、使用者の聴力データと自然語または非自然語として判断された類似データに対する結果情報に基づいて、環境変化および騒音変化による増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上の第１制御パラメータおよび第２制御パラメータを設定することで、左側および右側のパーソナライズされた補聴サービスを提供することができる。
【0142】
実施例として、第１スマートヒアリングデバイス３００は、第１マイクおよび第２マイクから受信されるデジタル信号の音声信号および騒音信号の音データを分析して自然語または非自然語を判断し、判断結果によってマッチングされた類似データに第１制御パラメータを設定して、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号およびフィードバックに対するデジタル信号をアナログ信号に変換して使用者に左側の音として伝達してよい。
【0143】
他の例として、第２スマートヒアリングデバイス４００は、第３マイクおよび第４マイクから受信されるデジタル信号の音声信号および騒音信号の音データを分析して自然語または非自然語を判断し、判断結果によってマッチングされた類似データに第２制御パラメータを設定して、増幅値変化、ボリューム調節、および、周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号およびフィードバックに対するデジタル信号をアナログ信号に変換して使用者に右側の音として伝達してよい。
【0144】
例えば、第１マイク、第２マイク、第３マイク、および、第４マイクから受信された音データによる増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上が、使用者が予め設定するか、ユーザが選好する基準範囲を逸脱することがある。
これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、機械的エラーの要因、および、自然語または非自然語による高低要因のうちのいずれか１つによるものと言える。
これにより、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、音データに第１制御パラメータおよび第２パラメータを適用して、音データに対する増幅値、ボリューム、および、周波数のうちの少なくともいずれか１つ以上のバランスを調節し、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換して音で使用者に提供してよい。
これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、機械的エラーの要因、および、自然語または非自然語による高低要因のうちのいずれか１つによるものと言える。
これにより、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、音データに第１制御パラメータおよび第２パラメータを適用して、音データに対する増幅値、ボリューム、および、周波数のうちの少なくともいずれか１つ以上のバランスを調節し、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換して音で使用者に提供してよい。
【0145】
すなわち、本発明の実施形態に係る人工知能ヒアリングシステムの第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００は、使用者の環境変化および騒音変化に応じて、第１マイク、第２マイク、第３マイク、および、第４マイクから受信された音声信号および騒音信号を含む音データを分析して自然語または非自然語として判断し、マッチングされる類似データに対する第１制御パラメータおよび第２制御パラメータを設定することにより、使用者が個別にボリュームを調節したり周波数を調節したりしなくても、変化する状況に最適な補聴サービスを提供することができ、補聴器使用の便宜性を高めることができる。
【0146】
また、すなわち、本発明の実施形態に係る人工知能ヒアリングシステムの第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれは、使用者にパーソナライズされた左側音および右側音を提供することで、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供することができる。
【0147】
モバイルデバイス５００は、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００を制御する。
【0148】
図７に示すように、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００とモバイルデバイス５００は、近距離無線通信モジュールであるブルートゥース（Ｂｌｕｅｔｏｏｔｈ）通信によってデータを送受信してよい。
例えば、モバイルデバイス５００は、ブルートゥース通信により、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００から、音声信号および騒音信号を含む音データ、自然語または非自然語が判断された判断結果、類似データ、およびフィードバックに関する情報を受信してよい。
例えば、モバイルデバイス５００は、ブルートゥース通信により、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００から、音声信号および騒音信号を含む音データ、自然語または非自然語が判断された判断結果、類似データ、およびフィードバックに関する情報を受信してよい。
【0149】
この後、モバイルデバイス５００は、Ｅｔｈｅｒｎｅｔ／３Ｇ、４Ｇ、５Ｇの無線データ通信により、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００から受信された情報を外部サーバ６００に送信してよい。
【0150】
このとき、モバイルデバイス５００は、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００を使用する使用者が所持する端末装置であって、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）、および、ウェアラブルコンピュータ（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｅｒ）のうちの少なくともいずれか１つであってよく、ウェブ／モバイルサイトまたは専用アプリケーションの制御下で、サービス画面構成、データ入力、データ送受信、データ保存などのようなサービス全般の動作を実行してよい。
また、モバイルデバイス５００は、モバイルデバイス内にダウンロードされてインストールされたアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）であってもよい。
また、モバイルデバイス５００は、モバイルデバイス内にダウンロードされてインストールされたアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）であってもよい。
【0151】
実施形態によって、モバイルデバイス５００は、ディスプレイ部（図示せず）を通じて、多数の領域それぞれに位置する多数のアイテムを含む画面を表示してよく、ハプティクス（ｈａｐｔｉｃ）接触またはタクタイル（ｔａｃｔｉｌｅ）接触に基づいて使用者からの入力を受けるタッチ－感知表面、センサ、またはセンサ集合に基づいて、機能と関連する少なくとも１つ以上のアイテムを含むまた他の画面を表示してよい。
また、モバイルデバイス５００は、キーボード、タッチディスプレイ、ダイヤル、スライダースイッチ、ジョイスティック、マウスなどの入力部（図示せず）を通じて使用者の選択入力を受信してよく、オーディオモジュール、スピーカーモジュール、および振動モジュールを含む出力部（図示せず）を通じてパーソナライズされた補聴サービス情報を出力してもよい。
また、モバイルデバイス５００は、キーボード、タッチディスプレイ、ダイヤル、スライダースイッチ、ジョイスティック、マウスなどの入力部（図示せず）を通じて使用者の選択入力を受信してよく、オーディオモジュール、スピーカーモジュール、および振動モジュールを含む出力部（図示せず）を通じてパーソナライズされた補聴サービス情報を出力してもよい。
【0152】
モバイルデバイス５００は、それぞれの第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００と連動して使用者の聴力をテストするための画面と、これによる各種レポートに関する情報を提供してよい。
このとき、前記レポートは、時間によるパーソナライズされた補聴サービスに対するヒストリー（ｈｉｓｔｏｒｙ）指標または記録であってよい。
このとき、前記レポートは、時間によるパーソナライズされた補聴サービスに対するヒストリー（ｈｉｓｔｏｒｙ）指標または記録であってよい。
【0153】
また、モバイルデバイス５００は、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００から音声信号および騒音信号を含む音データ、自然語または非自然語が判断された判断結果、類似データ、およびフィードバックに関する情報をデータベース化してもよい。
【0154】
また、モバイルデバイス５００は、使用者の選択入力にしたがい、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれの電源をオン（ｏｎ）またはオフ（ｏｆｆ）してよく、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００の増幅値、ボリューム、および、周波数などの数値を手動で制御してもよい。
【0155】
また、モバイルデバイス５００は、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００それぞれに付与される一連番号またはデバイス情報とペアリングするものであって、第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００のバッテリー管理、紛失管理、故障管理を行ってよい。
【0156】
外部サーバ６００は、使用者情報と使用者情報による聴力データ、および使用者が選好する増幅値、ボリューム、および、周波数などの適正範囲を数値化して記憶し、使用者情報に対応する第１スマートヒアリングデバイス３００、第２スマートヒアリングデバイス４００、およびモバイルデバイス５００をマッチングさせてデータベース化してよい。
例えば、外部サーバ６００は、予め設定された時間間隔でモバイルデバイス５００に受信される第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００による音データ、自然語または非自然語が判断された判断結果、類似データ、およびフィードバックに関する情報をデータベース化してよい。
例えば、外部サーバ６００は、予め設定された時間間隔でモバイルデバイス５００に受信される第１スマートヒアリングデバイス３００および第２スマートヒアリングデバイス４００による音データ、自然語または非自然語が判断された判断結果、類似データ、およびフィードバックに関する情報をデータベース化してよい。
【0157】
【0158】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／または、ハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。
例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。
処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。
また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。
理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。
例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。
また、並列プロセッサのような、他の処理構成も可能である。
例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。
処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。
また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。
理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。
例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。
また、並列プロセッサのような、他の処理構成も可能である。
【0159】
【0160】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。
ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔ）、コンピュータ記録媒体または装置、または送信される信号波（ｓｉｎｇａｌ ｗａｖｅ）に永久的または一時的に具現化されてよい。
ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。
ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔ）、コンピュータ記録媒体または装置、または送信される信号波（ｓｉｎｇａｌ ｗａｖｅ）に永久的または一時的に具現化されてよい。
ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。
ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0161】
【0162】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。
前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。
前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されるものであってもよいし、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。
コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、および、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。
プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。
前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。
前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されるものであってもよいし、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。
コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、および、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。
プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。
【0163】
【0164】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。
例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0165】
【0166】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図1】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図5】
【図6a】
【図6b】
【図7】
