特表 2024-518584 音響情報分析を通じてのマッチング情報提供方法、装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-01

(54)【発明の名称】音響情報分析を通じてのマッチング情報提供方法、装置およびプログラム

(51)【国際特許分類】

   G06Q 30/0251 20230101AFI20240423BHJP

【ＦＩ】

G06Q30/0251

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023570375

(86)(22)【出願日】2022-04-07

(85)【翻訳文提出日】2023-11-13

(86)【国際出願番号】 KR2022005067

(87)【国際公開番号】W WO2022250285

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】10-2021-0069223

(32)【優先日】2021-05-28

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0081297

(32)【優先日】2021-06-23

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．３ＧＰＰ

２．ブルートゥース

３．ＢＬＵＥＴＯＯＴＨ

４．ＪＡＶＡ

５．ＷＣＤＭＡ

(71)【出願人】

【識別番号】523429276

【氏名又は名称】コーチル インク

【氏名又は名称原語表記】ＣＯＣＨＬ ＩＮＣ．

(74)【代理人】

【識別番号】100083138

【弁理士】

【氏名又は名称】相田 伸二

(74)【代理人】

【識別番号】100189625

【弁理士】

【氏名又は名称】鄭 元基

(74)【代理人】

【識別番号】100196139

【弁理士】

【氏名又は名称】相田 京子

(74)【代理人】

【識別番号】100199004

【弁理士】

【氏名又は名称】服部 洋

(72)【発明者】

【氏名】ハン ユンチャン

(72)【発明者】

【氏名】パク ジョンス

(72)【発明者】

【氏名】イ スビン

(72)【発明者】

【氏名】ジョン イルヨン

(72)【発明者】

【氏名】リム ヒュングイ

(72)【発明者】

【氏名】イ ドンムン

(57)【要約】

前述した課題を解決するための本発明の一実施例で、音響情報分析を通じてマッチング情報を提供する方法が開示される。前記方法は、音響情報を獲得する段階、前記音響情報に基づいて使用者特性情報を獲得する段階および前記使用者特性情報に対応するマッチング情報を提供する段階を含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピューティング装置で遂行される方法において、
音響情報を獲得する段階；
前記音響情報に基づいて使用者特性情報を獲得する段階；および
前記使用者特性情報に対応するマッチング情報を提供する段階；を含む、音響情報分析を通じてマッチング情報を提供する方法。

【請求項2】

前記音響情報に基づいて使用者特性情報を獲得する段階は、
前記音響情報に対する分析を通じて使用者または客体を識別する段階；および
前記識別された使用者または客体に基づいて前記使用者特性情報を生成する段階；を含む、請求項１に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項3】

前記音響情報に基づいて使用者特性情報を獲得する段階は、
前記音響情報に対する分析を通じて使用者が特定空間内で活動する時間に関連した活動時間情報を生成する段階；および
前記活動時間情報に基づいて前記使用者特性情報を生成する段階；を含む、請求項１に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項4】

前記使用者特性情報に対応するマッチング情報を提供する段階は、
予め定められた時間の間獲得される複数の音響情報それぞれに対応する複数の使用者特性情報それぞれの獲得時点および頻度数に基づいて前記マッチング情報を提供する段階；を含む、請求項１に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項5】

前記音響情報を獲得する段階は、
前記獲得した音響情報に対する前処理を遂行する段階；および
前記前処理が遂行された音響情報に対応する音響特性情報を識別する段階；を含み、
前記音響特性情報は、
前記音響情報が言語的音響および非言語的音響のうち少なくとも一つに関連したものであるかに対する第１特性情報および客体区分に関連した第２特性情報を含む、請求項１に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項6】

前記音響情報に基づいて使用者特性情報を獲得する段階は、
前記音響情報に対応する前記音響特性情報に基づいて前記使用者特性情報を獲得する段階；を含み、
前記使用者特性情報を獲得する段階は、
前記音響特性情報が言語的音響に関連するという第１特性情報を含む場合、前記音響情報を第１音響モデルに入力として処理して前記音響情報に対応する使用者特性情報を獲得する段階；または
前記音響特性情報が非言語的音響に対応するという第１特性情報を含む場合、前記音響情報を第２音響モデルに入力として処理して前記音響情報に対応する使用者特性情報を獲得する段階；のうち少なくとも一つを含む、請求項５に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項7】

前記第１音響モデルは、言語的音響に関連した音響情報に対する分析を遂行して前記音響情報に関連したテキスト、主題、または感情のうち少なくとも一つを判別するように学習されたニューラルネットワークモデルを含み、
前記第２音響モデルは、非言語的音響に関連した音響情報に対する分析を遂行して前記音響情報に関連した客体識別情報または客体状態情報を獲得するように学習されたニューラルネットワークモデルを含み、
前記使用者特性情報は、
前記音響情報に関連したテキスト、主題または感情のうち少なくとも一つに関連した第１使用者特性情報および前記音響情報に関連した前記客体識別情報または前記客体状態情報に関連した第２使用者特性情報のうち少なくとも一つを含む、請求項６に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項8】

前記使用者特性情報に対応するマッチング情報を提供する段階は、
前記獲得された使用者特性情報が前記第１使用者特性情報および前記第２使用者特性情報を含む場合、前記第１使用者特性情報および前記第２使用者特性情報間の関連性に関連した関連情報を獲得する段階；
前記関連情報に基づいてマッチング情報をアップデートする段階；および
前記アップデートされたマッチング情報を提供する段階；を含む、請求項７に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項9】

前記使用者特性情報に基づいてマッチング情報を提供する段階は、
予め定められた時間を周期として獲得される一つ以上の音響情報それぞれに対応する一つ以上の使用者特性情報に基づいて環境特性テーブルを生成する段階；および
前記環境特性テーブルに基づいて前記マッチング情報を提供する段階；を含み、
前記環境特性テーブルは、
前記予め定められた時間を周期として獲得される使用者特性情報それぞれの統計に関する情報である、請求項１に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項10】

前記使用者特性情報に対応するマッチング情報を提供する段階は、
前記環境特性テーブルに基づいて前記マッチング情報の提供のための第１時点を識別する段階；および
前記第１時点に対応して前記マッチング情報を提供する段階；を含む、請求項９に記載の音響情報分析を通じてマッチング情報を提供する方法。

【請求項11】

一つ以上のインストラクションを保存するメモリ；および
前記メモリに保存された前記一つ以上のインストラクションを実行するプロセッサを含み、前記プロセッサは前記一つ以上のインストラクションを実行することによって、請求項１に記載された方法を遂行する、装置。

【請求項12】

ハードウェアであるコンピュータと結合されて、請求項１に記載された方法を遂行できるようにコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は使用者に適合なマッチング情報を提供するための方法に関し、より具体的には、音響情報に対する分析を通じて使用者に最適化されたマッチング情報を提供する技術に関する。

【背景技術】

【0002】

スマートＴＶ、スマートフォン、タブレットＰＣなどのような多様な電子装置の使用の増加とインターネットサービスの活性化によって、電子装置またはオンラインを通じて提供される広告が増加している。

【0003】

例えば、電子装置またはオンラインを活用した広告方法としては、各サイトで広告主が設定した広告内容を該当サイトを訪問するすべての使用者にバナー形式で提供する方式などがある。具体的な例を挙げると、最近ではオンライン上で広告の提供を受ける広告視聴者ターゲットが設定され、該当広告視聴者ターゲットにオーダーメード型広告が提供されている。

【0004】

オーダーメード型広告の提供のために広告視聴者をターゲッティングする方法としては、オンラインを通じて加入者の情報を獲得して分析することによって加入者の関心分野を把握する方法がある。

【0005】

このようなオンライン広告の形態は加入者が特定サイトに接続してサービス利用時、加入者の情報を収集する方法で、制限的な広告の形態を示すことになる。また、オンライン広告は使用者の関心分野が予め設定されている使用者情報に基づいて提供されるため、使用者の関心分野が変更される場合、使用者が直接設定された関心分野を変更しなければ、既存に設定されている関心分野に対する広告しか提供を受けることができないため、使用者の新しい関心分野に対する情報を提供できなくなる。

【0006】

したがって、前記のような従来の広告方法では、加入者の関心分野に応じて広告を提供するという観点で広告提供の効率性を高めることが難しい。また、このような広告方法は、時間の流れにつれて変化する使用者の関心分野に対して能動的に対処できないという恐れが存在し得る。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】大韓民国登録特許１０－２０４４５５５

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が解決しようとする課題は前述した問題点を解決するためのものであって、音響情報に対する分析を通じて使用者により適合なマッチング情報を提供するためのものである。

【0009】

本発明が解決しようとする課題は以上で言及された課題に制限されず、言及されていないさらに他の課題は下記の記載から通常の技術者に明確に理解され得るであろう。

【課題を解決するための手段】

【0010】

前述した課題を解決するための本発明の多様な実施例に係る音響情報分析を通じてのマッチング情報提供方法を開示する。前記方法は、音響情報を獲得する段階、前記音響情報に基づいて使用者特性情報を獲得する段階および前記使用者特性情報に対応するマッチング情報を提供する段階を含むことができる。

【0011】

代案的な実施例で、前記音響情報に基づいて使用者特性情報を獲得する段階は、前記音響情報に対する分析を通じて使用者または客体を識別する段階および前記識別された使用者または客体に基づいて前記使用者特性情報を生成する段階を含むことができる。

【0012】

代案的な実施例で、前記音響情報に基づいて使用者特性情報を獲得する段階は、前記音響情報に対する分析を通じて使用者が特定空間内で活動する時間に関連した活動時間情報を生成する段階および前記活動時間情報に基づいて前記使用者特性情報を生成する段階を含むことができる。

【0013】

代案的な実施例で、前記使用者特性情報に対応するマッチング情報を提供する段階は、予め定められた時間の間獲得される複数の音響情報それぞれに対応する複数の使用者特性情報それぞれの獲得時点および頻度数に基づいて前記マッチング情報を提供する段階を含むことができる。

【0014】

代案的な実施例で、前記音響情報を獲得する段階は、前記獲得した音響情報に対する前処理を遂行する段階および前記前処理が遂行された音響情報に対応する音響特性情報を識別する段階を含み、前記音響特性情報は、前記音響情報が言語的音響および非言語的音響のうち少なくとも一つに関連したものであるかに対する第１特性情報および客体区分に関連した第２特性情報を含むことができる。

【0015】

代案的な実施例で、前記音響情報に基づいて使用者特性情報を獲得する段階は、前記音響情報に対応する前記音響特性情報に基づいて前記使用者特性情報を獲得する段階を含み、前記使用者特性情報を獲得する段階は、前記音響特性情報が言語的音響に関連するという第１特性情報を含む場合、前記音響情報を第１音響モデルに入力として処理して前記音響情報に対応する使用者特性情報を獲得する段階または前記音響特性情報が非言語的音響に対応するという第１特性情報を含む場合、前記音響情報を第２音響モデルに入力として処理して前記音響情報に対応する使用者特性情報を獲得する段階のうち少なくとも一つを含むことができる。

【0016】

代案的な実施例で、前記第１音響モデルは、言語的音響に関連した音響情報に対する分析を遂行して前記音響情報に関連したテキスト、主題、または感情のうち少なくとも一つを判別するように学習されたニューラルネットワークモデルであり、前記第２音響モデルは、非言語的音響に関連した音響情報に対する分析を遂行して前記音響情報に関連した客体識別情報または客体状態情報を獲得するように学習されたニューラルネットワークモデルであり、前記使用者特性情報は、前記音響情報に関連したテキスト、主題または感情のうち少なくとも一つに関連した第１使用者特性情報および前記音響情報に関連した前記客体識別情報または前記客体状態情報に関連した第２使用者特性情報のうち少なくとも一つを含むことができる。

【0017】

代案的な実施例で、前記使用者特性情報に対応するマッチング情報を提供する段階は、前記獲得された使用者特性情報が前記第１使用者特性情報および前記第２使用者特性情報を含む場合、前記第１使用者特性情報および前記第２使用者特性情報間の関連性に関連した関連情報を獲得する段階、前記関連情報に基づいてマッチング情報をアップデートする段階および前記アップデートされたマッチング情報を提供する段階を含むことができる。

【0018】

代案的な実施例で、前記使用者特性情報に基づいてマッチング情報を提供する段階は、予め定められた時間を周期として獲得される一つ以上の音響情報それぞれに対応する一つ以上の使用者特性情報に基づいて環境特性テーブルを生成する段階および前記環境特性テーブルに基づいて前記マッチング情報を提供する段階を含み、前記環境特性テーブルは、前記予め定められた時間を周期として獲得される使用者特性情報それぞれの統計に関する情報であり得る。

【0019】

代案的な実施例で、前記使用者特性情報に対応するマッチング情報を提供する段階は、前記環境特性テーブルに基づいて前記マッチング情報の提供のための第１時点を識別する段階および前記第１時点に対応して前記マッチング情報を提供する段階を含むことができる。

【0020】

本発明の他の実施例によると、音響情報分析を通じてのマッチング情報提供方法を遂行する装置が開示される。前記装置は、一つ以上のインストラクションを保存するメモリおよび前記メモリに保存された前記一つ以上のインストラクションを実行するプロセッサを含み、前記プロセッサは前記一つ以上のインストラクションを実行することによって、前述した音響情報分析を通じてマッチング情報提供方法を遂行できる。

【0021】

本発明のさらに他の実施例によると、コンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムが開示される。前記コンピュータプログラムはハードウェアであるコンピュータと結合されて、前述した音響情報分析を通じてのマッチング情報提供方法を遂行できる。
本発明のその他の具体的な事項は詳細な説明および図面に含まれている。

【発明の効果】

【0022】

本発明の多様な実施例により、使用者の生活環境に関連して獲得した音響情報に基づいてターゲッティングされたマッチング情報を提供することにより、広告効果を最大化する効果を提供することができる。
本発明の効果は以上で言及された効果に制限されず、言及されていないさらに他の効果は下記の記載から通常の技術者に明確に理解され得るであろう。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施例に係る音響情報分析を通じてのマッチング情報提供方法を遂行するためのシステムを概略的に示した図面である。

【図2】本発明の一実施例に関連した音響情報分析を通じてのマッチング情報を提供するためのサーバーのハードウェア構成図である。

【図3】本発明の一実施例に関連した音響情報分析を通じてマッチング情報を提供する方法を例示的に示したフローチャートを図示する。

【図4】本発明の一実施例に関連した音響情報に基づいて使用者特性情報を獲得する過程を例示的に示した図面である。

【図5】本発明の一実施例に関連した使用者特性情報に基づいてマッチング情報を提供する過程を例示的に示した図面である。

【図6】本発明の一実施例に関連した使用者が位置した空間内で多様な音響情報の獲得過程と音響情報に対応するマッチング情報を提供する方法を説明するための例示図を図示する。

【発明を実施するための形態】

【0024】

多様な実施例が図面を参照して説明される。本明細書で、多様な説明が本発明の理解を提供するために提示される。しかし、このような実施例はこのような具体的な説明がなくとも実行され得ることが明白である。
本明細書で使われる用語「コンポーネント」、「モジュール」、「システム」等はコンピュータ－関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアおよびハードウェアの組み合わせ、またはソフトウェアの実行を師匠する。例えば、コンポーネントはプロセッサ上で実行される処理過程（ｐｒｏｃｅｄｕｒｅ）、プロセッサ、客体、実行スレッド、プログラム、および／またはコンピュータであり得るが、これらに制限されるものではない。例えば、コンピューティング装置で実行されるアプリケーションおよびコンピューティング装置はいずれもコンポーネントであり得る。一つ以上のコンポーネントはプロセッサおよび／または実行スレッド内に常駐することができる。一コンポーネントは一つのコンピュータ内にローカル化され得る。一コンポーネントは２個以上のコンピュータの間に分配され得る。また、このようなコンポーネントはその内部に保存された多様なデータ構造を有する多様なコンピュータ読み取り可能な媒体から実行することができる。コンポーネントは例えば一つ以上のデータパケットを有する信号（例えば、ローカルシステム、分散システムで他のコンポーネントと相互作用する一つのコンポーネントからのデータおよび／または信号を通じて他のシステムとインターネットのようなネットワークを通じて伝送されるデータ）によりローカルおよび／または遠隔処理を通じて通信することができる。

【0025】

また、用語「または」は排他的「または」ではなく、内包的「または」を意味するものと意図される。すなわち、別途に特定されないか文脈上明確でない場合に、「ＸはＡまたはＢを利用する」という自然的な内包的置換のうち一つを意味するものと意図される。すなわち、ＸがＡを利用したり；ＸがＢを利用したり；またはＸがＡおよびＢをすべて利用する場合、「ＸはＡまたはＢを利用する」がこれらの場合のうちいずれのものでも適用され得る。また、本明細書に使われた「および／または」という用語は列挙された関連アイテムのうち一つ以上のアイテムの可能なすべての組み合わせを指称し含むものと理解されるべきである。
また、「含む」および／または「含む」という用語は、該当特徴および／または構成要素が存在することを意味するものと理解されるべきである。ただし、「含む」および／または「含む」という用語は、一つ以上の他の特徴、構成要素および／またはこれらのグループの存在または追加を排除しないものと理解されるべきである。また、別途に特定されないか単数形態を指示するものと文脈上明確でない場合に、本明細書と請求の範囲で単数は一般的に「一つまたはそれ以上」を意味するものと解釈されるべきである。

【0026】

当業者は追加的にここで開示された実施例に関連して説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック、およびアルゴリズム段階が電子ハードウェア、コンピュータソフトウェア、または両方すべての組み合わせで具現され得ることを認識しなければならない。ハードウェアおよびソフトウェアの相互交換性を明白に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路、および段階は彼らの機能性の側面で一般的に前述された。そのような機能性がハードウェアでまたはソフトウェアで具現されるかどうかは、全般的なシステムに賦課された特定アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）および設計制限にかかっている。熟練した技術者はそれぞれの特定アプリケーションのために多様な方法で説明された機能性を具現することができる。ただし、そのような具現の決定が本発明の領域を逸脱するものと解釈されてはならない。

【0027】

提示された実施例に対する説明は本発明の技術分野で通常の知識を有する者が本発明を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は本発明の技術分野で通常の知識を有する者に明白であろう。ここに定義された一般的な原理は本発明の範囲を逸脱することなく他の実施例に適用され得る。そして、本発明はここに提示された実施例に限定されるものではない。本発明はここに提示された原理および新規の特徴と一貫する最広義の範囲で解釈されるべきである。

【0028】

本明細書で、コンピュータは少なくとも一つのプロセッサを含むすべての種類のハードウェア装置を意味するもので、実施例により該当ハードウェア装置で動作するソフトウェア的構成も包括する意味で理解され得る。例えば、コンピュータはスマートフォン、タブレットＰＣ、デスクトップ、ノートパソコンおよび各装置で駆動される使用者クライアントおよびアプリケーションをすべて含む意味で理解され得、また、これに制限されるものではない。

【0029】

以下、添付された図面を参照して本発明の実施例を詳細に説明する。
本明細書で説明される各段階はコンピュータによって遂行されるものとして説明されるが、各段階の主体はこれに制限されるものではなく、実施例により各段階の少なくとも一部が互いに異なる装置で遂行されてもよい。

【0030】

ここで、本発明の多様な実施例に係る音響情報分析を通じてマッチング情報を提供する方法は、複数の使用者それぞれの実生活の中で獲得した多様な音響情報に基づいて各使用者に最適化されたマッチング情報を提供することができる。例えば、マッチング情報は、広告に関連した情報であり得る。すなわち、使用者に最適化されたマッチング情報を提供することは、使用者の購入意欲を向上させる効率的な広告すなわち、最適化された広告情報を提供することを意味し得る。すなわち、本発明の音響情報分析を通じてマッチング情報を提供する方法は、使用者の生活空間上で獲得される多様な音響情報を分析して該当使用者にオーダーメード型広告情報を提供することができる。これに伴い、広告主の立場では広告に関心を有するような潜在顧客層または目標顧客層にのみ選択的に広告を露出させることができるため広告費用が画期的に減少され得、広告効果が最大化される効果の提供を受けることができる。また、消費者の立場でも自身の関心と必要を充足する広告の提供を受けることができるため情報検索の便宜性が増大する効果の提供を受けることができる。

【0031】

図１は、本発明の一実施例に係る音響情報分析を通じてマッチング情報を提供するための方法を遂行するためのシステムを概略的に示した図面である。図１に図示された通り、本発明の一実施例に係る音響情報分析を通じてマッチング情報を提供するための方法を遂行するためのシステムは、音響情報分析を通じてマッチング情報を提供するサーバー１００、使用者端末２００および外部サーバー３００を含むことができる。

【0032】

ここで、図１に図示された音響情報分析を通じてマッチング情報を提供するシステムは一実施例によるものであり、その構成要素が図１に図示された実施例に限定されるものではなく、必要に応じて付加、変更または削除され得る。

【0033】

一実施例で、音響情報分析を通じてマッチング情報を提供するサーバー１００は音響情報を獲得でき、獲得した音響情報を分析して最適なマッチング情報を提供することができる。すなわち、音響情報分析を通じてマッチング情報を提供するサーバー１００は、使用者の実生活に関連した多様な音響情報を獲得し、音響モデルを通じて獲得した音響情報を分析することによって使用者の性向に関連した情報を把握して該当使用者に最適化されたマッチング情報を提供することができる。

【0034】

実施例によると、音響情報分析を通じてマッチング情報を提供するサーバー１００はＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）により具現される任意のサーバーを含むことができる。例えば、使用者端末２００は音響情報を獲得してこれに対する分析を遂行し、ＡＰＩを通じてサーバー１００に音響情報の認識結果を提供することができる。ここで音響情報認識結果は、例えば、音響情報分析に関連したフィーチャーを意味し得る。具体的な例を挙げると、音響情報認識結果は、音響情報に対する短時間フーリエ変換（ＳＴＦＴ：Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を通じて獲得されるスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）であり得る。スペクトログラムは、音や波動を視角化して把握するためのもので、波形（ｗａｖｅｆｏｒｍ）とスペクトル（ｓｐｅｃｔｒｕｍ）の特徴が組み合わせられたものであり得る。スペクトログラムは時間軸と周波数軸の変化により振幅を差を印刷濃度または表示色相の差で示したものであり得る。

【0035】

他の例を挙げると、音響情報認識結果は、スペクトログラムに対するメルフィルタバンク（Ｍｅｌ－Ｆｉｌｔｅｒ Ｂａｎｋ）を通じて獲得されたメルスペクトログラム（Ｍｅｌ－Ｓｐｅｃｔｒｏｇｒａｍ）を含むことができる。一般的に、人間の蝸牛管は音声データの周波数により振動する部位が異なり得る。人間の蝸牛管は周波数が低い帯域で周波数変化をよく感知し、高い帯域での周波数変化をよく感知できない特性を有している。これに伴い、音声データに対する人間の蝸牛管の特性と類似する認識能力を有するように、メルフィルタバンクを活用してスペクトログラムからメルスペクトログラムを獲得することができる。すなわち、メルフィルタバンクは、低い周波数帯域で少ないフィルタバンクを適用し、高帯域に行くほど広いフィルタバンクを適用するものであり得る。換言すると、使用者端末２００は人間の蝸牛管の特性と類似するように音響情報を認識するために、メルフィルタバンクをスペクトログラムに適用することによってメルスペクトログラムを獲得することができる。すなわち、メルスペクトログラムは人間の聴覚特性が反映された周波数成分を含むことができる。

【0036】

サーバー１００は使用者端末２００から獲得した音響情報認識結果に基づいて該当使用者に最適化されたマッチング情報を提供することができる。この場合、サーバー１００は音響情報の認識結果（例えば、使用者の性向予測に基盤となるスペクトログラムまたはメルスペクトログラム）のみを使用者端末２００から伝達を受けることになるので、音響情報収集による使用者のプライバシーイシューが解消され得る。

【0037】

一実施例で、音響モデル（例：人工知能モデル）は一つ以上のネットワーク関数で構成され、一つ以上のネットワーク関数は一般的に「ノード」と指称され得る相互に連結された計算単位の集合で構成され得る。このような「ノード」は「ニューロン（ｎｅｕｒｏｎ）」と指称されてもよい。一つ以上のネットワーク関数は少なくとも一つ以上のノードを含んで構成される。一つ以上のネットワーク関数を構成するノード（またはニューロン）は一つ以上の「リンク」により相互に連結され得る。

【0038】

人工知能モデル内で、リンクを通じて連結された一つ以上のノードは、相対的に入力ノードおよび出力ノードの関係を形成することができる。入力ノードおよび出力ノードの概念は相対的なものであって、一つのノードに対して出力ノード関係にある任意のノードは他のノードとの関係で入力ノード関係にあり得、その逆も成立できる。前述した通り、入力ノード対出力ノード関係はリンクを中心に生成され得る。一つの入力ノードに一つ以上の出力ノードがリンクを通じて連結され得、その逆も成立できる。

【0039】

一つのリンクを通じて連結された入力ノードおよび出力ノード関係で、出力ノードは入力ノードに入力されたデータに基づいてその値が決定され得る。ここで入力ノードと出力ノードを相互に連結するノードは加重値（ｗｅｉｇｈｔ）を有することができる。加重値は可変的であり得、人工知能モデルが所望する機能を遂行するために、使用者またはアルゴリズムによって可変され得る。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって相互に連結された場合、出力ノードは前記出力ノードと連結された入力ノードに入力された値およびそれぞれの入力ノードに対応するリンクに設定された加重値に基づいて出力ノード値を決定することができる。

【0040】

前述した通り、人工知能モデルは一つ以上のノードが一つ以上のリンクを通じて相互に連結されて人工知能モデル内で入力ノードおよび出力ノード関係を形成する。人工知能モデル内でノードとリンクの個数およびノードとリンクの間の相関関係、リンクそれぞれに付与された加重値の値により、人工知能モデルの特性が決定され得る。例えば、同じ個数のノードおよびリンクが存在し、リンクの間の加重値が異なる二つの人工知能モデルが存在する場合、二つの人工知能モデルは互いに異なるものと認識され得る。

【0041】

人工知能モデルを構成するノードのうち一部は、最初入力ノードからの距離に基づいて、一つのレイヤ（ｌａｙｅｒ）を構成することができる。例えば、最初入力ノードからの距離がｎであるノードの集合は、ｎレイヤを構成することができる。最初入力ノードからの距離は、最初入力ノードから該当ノードまで到達するために経なければならないリンクの最小個数によって定義され得る。しかし、このようなレイヤの定義は説明のための任意的なものであって、人工知能モデル内でレイヤの次数は前述したものと異なる方法で定義され得る。例えば、ノードのレイヤは最終出力ノードからの距離によって定義されてもよい。

【0042】

最初入力ノードは人工知能モデル内のノードのうち、他のノードとの関係でリンクを経ずにデータが直接入力される一つ以上のノードを意味し得る。または人工知能モデルネットワーク内で、リンクを基準としたノード間の関係において、リンクに連結された他の入力ノードを有さないノードを意味し得る。これと同様に、最終出力ノードは人工知能モデル内のノードのうち、他のノードとの関係で、出力ノードを有さない一つ以上のノードを意味し得る。また、隠れノードは最初入力ノードおよび最後出力ノードではない人工知能モデルを構成するノードを意味し得る。本発明の一実施例に係る人工知能モデルは入力レイヤのノードが出力レイヤに近い隠れレイヤのノードより多くてもよく、入力レイヤから隠れレイヤに進行されるにつれてノードの数が減少する形態の人工知能モデルであり得る。

【0043】

人工知能モデルは一つ以上の隠れレイヤを含むことができる。隠れレイヤの隠れノードは以前のレイヤの出力と周辺の隠れノードの出力を入力とすることができる。各隠れレイヤ別隠れノードの数は同一でもよく、異なってもよい。入力レイヤのノードの数は入力データのデータフィールドの数に基づいて決定され得、隠れノードの数と同一でもよく、異なってもよい。入力レイヤに入力された入力データは隠れレイヤの隠れノードによって演算され得、出力レイヤである完全連結レイヤ（ＦＣＬ：ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）により出力され得る。

【0044】

多様な実施例で、人工知能モデルは、複数の音響情報と各音響情報に対応する特定情報を学習データにして教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）され得る。しかし、これに限定されず、多様な学習方法が適用され得る。

【0045】

ここで、教師あり学習は通常的に特定データと特定データに関連した情報をラベリングして学習データを生成し、これを利用して学習させる方法であって、因果関係を有する二つのデータをラベリングして学習データを生成し、生成された学習データを通じて学習する方法を意味する。

【0046】

一実施例で、音響情報分析を通じてマッチング情報を提供するサーバー１００は一つ以上のネットワーク関数の学習が事前決定されたエポック以上遂行された場合、検証データを利用して学習中断の有無を決定することができる。事前決定されたエポックは全体学習目標エポックの一部であり得る。

【0047】

検証データはラベリングされた学習データのうち少なくとも一部で構成され得る。すなわち音響情報分析を通じてマッチング情報を提供するサーバー１００は学習データを通じて人工知能モデルの学習を遂行し、人工知能モデルの学習が事前決定されたエポック以上反復された後、検証データを利用して人工知能モデルの学習効果が事前決定された水準以上であるかどうかを判断することができる。例えば、音響情報分析を通じてマッチング情報を提供するサーバー１００は１００個の学習データを利用して目標反復学習回数が１０回である学習を遂行する場合、事前決定されたエポックである１０回の反復学習を遂行した後、１０個の検証データを利用して３回の反復学習を遂行し、３回の反復学習の間人工知能モデル出力の変化が事前決定された水準以下である場合、さらに多くの学習が無意味なものと判断して学習を終了することができる。

【0048】

すなわち、検証データは人工知能モデルの反復学習でエポック別学習の効果が一定以上であるか以下であるかに基づいて学習の完了を決定するのに利用され得る。前述した学習データ、検証データの数および反復回数は例示に過ぎず、本発明はこれに制限されない。

【0049】

音響情報分析を通じてマッチング情報を提供するサーバー１００は、テストデータを利用して一つ以上のネットワーク関数の性能をテストして一つ以上のネットワーク関数の活性化の有無を決定することによって、人工知能モデルを生成することができる。テストデータは人工知能モデルの性能を検証するために使われ得、学習データのうち少なくとも一部で構成され得る。例えば、学習データのうち７０％は人工知能モデルの学習（すなわち、ラベルと類似する結果値を出力するように加重値を調整するための学習）のために活用され得、３０％は人工知能モデルの性能を検証するためのテストデータとして活用され得る。音響情報分析を通じてマッチング情報を提供するサーバー１００は、学習が完了した人工知能モデルにテストデータを入力し誤差を測定して事前決定された性能以上であるかどうかにより人工知能モデルの活性化の有無を決定することができる。

【0050】

音響情報分析を通じてマッチング情報を提供するサーバー１００は学習が完了した人工知能モデルにテストデータを利用して学習完了した人工知能モデルの性能を検証し、学習完了した人工知能モデルの性能が事前に決定された基準以上である場合、該当人工知能モデルを他のアプリケーションで使うように活性化することができる。

【0051】

また、音響情報分析を通じてマッチング情報を提供するサーバー１００は学習完了した人工知能モデルの性能が事前に決定された基準以下である場合、該当人工知能モデルを非活性化して廃棄することができる。例えば、最適の刺激位置算出サーバー１００は、正確度（ａｃｃｕｒａｃｙ）、精密度（ｐｒｅｃｉｓｉｏｎ）、再現率（ｒｅｃａｌｌ）等の要素を基準として生成された人工知能モデルモデルの性能を判断することができる。前述した性能評価基準は例示に過ぎず、本発明はこれに制限されない。本発明の一実施例により最適な刺激位置算出サーバー１００はそれぞれの人工知能モデルを独立的に学習させて複数の人工知能モデルモデルを生成することができ、性能を評価して一定性能以上の人工知能モデルのみを使うことができる。しかし、これに限定されない。

【0052】

本明細書に亘って、演算モデル、ニューラルネットワーク、ネットワーク関数、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は同じ意味で使われ得る（以下ではニューラルネットワークに統一して記述する。）。データ構造はニューラルネットワークを含むことができる。そして、ニューラルネットワークを含んだデータ構造はコンピュータ読み取り可能媒体に保存され得る。ニューラルネットワークを含んだデータ構造はまた、ニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤに関連した活性関数、ニューラルネットワークの学習のための損失関数を含むことができる。ニューラルネットワークを含んだデータ構造は前記開示された構成のうち任意の構成要素を含むことができる。すなわち、ニューラルネットワークを含んだデータ構造はニューラルネットワークに入力されるデータ、ニューラルネットワークの加重値、ニューラルネットワークのハイパーパラメータ、ニューラルネットワークから獲得したデータ、ニューラルネットワークの各ノードまたはレイヤに関連した活性関数、ニューラルネットワークのトレーニングのための損失関数など、全部またはこれらの任意の組み合わせを含んで構成され得る。前述した構成の他にも、ニューラルネットワークを含んだデータ構造はニューラルネットワークの特性を決定する任意の他の情報を含むことができる。また、データ構造はニューラルネットワークの演算過程に使われるか発生するすべての形態のデータを含むことができ、前述した事項に制限されるものではない。コンピュータ読み取り可能媒体はコンピュータ読み取り可能記録媒体および／またはコンピュータ読み取り可能伝送媒体を含むことができる。ニューラルネットワークは一般的にノードと指称され得る相互に連結された計算単位の集合で構成され得る。このようなノードはニューロン（ｎｅｕｒｏｎ）と指称されてもよい。ニューラルネットワークは少なくとも一つ以上のノードを含んで構成される。

【0053】

本発明の一実施例によると、音響情報分析を通じてマッチング情報を提供するサーバー１００はクラウドコンピューティングサービスを提供するサーバーであり得る。より具体的には、音響情報分析を通じてマッチング情報を提供するサーバー１００はインターネット基盤コンピューティングの一種であって、情報を使用者のコンピュータではなくインターネットに連結された他のコンピュータで処理するクラウドコンピューティングサービスを提供するサーバーであり得る。前記クラウドコンピューティングサービスはインターネット上に資料を保存しておき、使用者が必要な資料やプログラムを自身のコンピュータに設置せずともインターネット接続を通じて、いつ、どこででも利用できるサービスであり得、インターネット上に保存された資料を簡単な操作およびクリックで容易に共有し伝達することができる。また、クラウドコンピューティングサービスはインターネット上のサーバーに単純に資料を保存するだけでなく、別途にプログラムを設置せずともウェブで提供するアプリケーションの機能を利用して所望する作業を遂行でき、多数の人が同時に文書を共有しながら作業を進行できるサービスであり得る。また、クラウドコンピューティングサービスはＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、ＰａａＳ（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、仮想マシン基盤クラウドサーバーおよびコンテナ基盤クラウドサーバーのうち少なくとも一つの形態で具現され得る。すなわち、本発明の音響情報分析を通じてマッチング情報を提供するサーバー１００は、前述したクラウドコンピューティングサービスのうち少なくとも一つの形態で具現され得る。前述したクラウドコンピューティングサービスの具体的な記載は例示に過ぎず、本発明はクラウドコンピューティング環境を構築する任意のプラットフォームを含んでもよい。

【0054】

多様な実施例で、音響情報分析を通じてマッチング情報を提供するサーバー１００はネットワーク４００を通じて使用者端末２００と連結され得、音響情報を分析する音響モデルを生成して提供できるだけでなく、音響モデルを通じて音響情報を分析した情報（例えば、使用者特性情報）に基づいて各使用者に対応する最適なマッチング情報を提供することができる。

【0055】

ここで、ネットワーク４００は複数の端末およびサーバーのようなそれぞれのノード相互間で情報交換が可能な連結構造を意味し得る。例えば、ネットワーク４００は近距離通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、有線／無線データ通信網、電話網、有線／無線テレビ通信網などを含む。

【0056】

また、ここで、無線データ通信網は３Ｇ、４Ｇ、５Ｇ、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、５ＧＰＰ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＷＩＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ワイファイ（Ｗｉ－Ｆｉ）、インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉｒｅｌｅｓｓ ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）ネットワーク、ＮＦＣ（Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれるがこれに限定されはしない。

【0057】

一実施例で、使用者端末２００はネットワーク４００を通じて、音響情報分析を通じてマッチング情報を提供するサーバー１００と連結され得、音響情報分析を通じてマッチング情報を提供するサーバー１００に複数の音響情報（例えば、言語的音響情報または非言語的音響情報）を提供でき、提供された音響情報に対する応答として各種情報（例えば、音響情報に対応する使用者特性情報および使用者特性情報に対応するマッチング情報など）の提供を受けることができる。

【0058】

ここで、使用者端末２００は携帯性と移動性が保障される無線通信装置であって、ナビゲーション、ＰＣＳ（Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ Ｉｎｔｅｒｎｅｔ）端末、スマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、スマートパッド（Ｓｍａｒｔｐａｄ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）などのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含むことができるが、これに限定されない。例えば、使用者端末２００は、ホットワード（ｈｏｔ ｗｏｒｄ）に基づいて使用者と相互作用を通じて音楽鑑賞、情報検索などの多様な機能を提供する人工知能（ＡＩ）スピーカーおよび人工知能ＴＶなどをさらに含むことができる。

【0059】

一実施例で、使用者端末２００は第１使用者端末２１０および第２使用者端末２２０を含むことができる。使用者端末（第１使用者端末２１０および第２使用者端末２２０）はネットワーク４００を通じて相互間でまたは他のエンティティとの通信のためのメカニズムを有し、音響情報分析を通じてマッチング情報を提供するためのシステムでの任意の形態のエンティティを意味し得る。一例として、第１使用者端末２１０はマッチング情報の提供を受ける使用者に関連した任意の端末を含むことができる。また、第２使用者端末２２０はマッチング情報登録のための広告主に関連した任意の端末を含むことができる。このような使用者端末２００はディスプレイを具備しており、使用者の入力を受信し、使用者に任意の形態の出力を提供することができる。

【0060】

一実施例で、外部サーバー３００はネットワーク４００を通じて音響情報分析を通じてマッチング情報を提供するサーバー１００と連結され得、音響情報分析を通じてマッチング情報を提供するサーバー１００が人工知能モデルを活用して音響情報を分析するために必要な各種情報／データを提供したり、人工知能モデルを活用した音響情報分析を遂行することによって導き出される結果データの提供を受けて保存および管理することができる。例えば、外部サーバー３００は音響情報分析を通じてマッチング情報を提供するサーバー１００の外部に別途に備えられる保存サーバーであり得るが、これに限定されない。以下、図２を参照して音響情報分析を通じてマッチング情報を提供するサーバー１００のハードウェア構成について説明することにする。

【0061】

図２は、本発明の一実施例に関連した音響情報分析を通じてのマッチング情報を提供するためのサーバーのハードウェア構成図である。
図２を参照すると、本発明の一実施例に係る最適の刺激位置算出サーバー１００（以下、「サーバー１００」）は一つ以上のプロセッサ１１０、プロセッサ１１０によって遂行されるコンピュータプログラム１５１をロード（Ｌｏａｄ）するメモリ１２０、バス１３０、通信インターフェース１４０およびコンピュータプログラム１５１を保存するストレージ１５０を含むことができる。ここで、図２には本発明の実施例に関連する構成要素のみが図示されている。したがって、本発明が属した技術分野の通常の技術者であれば図２に図示された構成要素の他に他の汎用的な構成要素がさらに含まれ得ることが分かる。

【0062】

プロセッサ１１０はサーバー１００の各構成の全般的な動作を制御する。プロセッサ１１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または本発明の技術分野に広く知られている任意の形態のプロセッサを含んで構成され得る。

【0063】

プロセッサ１１０はメモリ１２０に保存されたコンピュータプログラムを読み取って本発明の一実施例に係る人工知能モデルのためのデータ処理を遂行できる。本発明の一実施例によりプロセッサ１１０はニューラルネットワークの学習のための演算を遂行できる。プロセッサ１１０はディープラーニング（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）で学習のための入力データの処理、入力データでのフィーチャー抽出、誤差計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用したニューラルネットワークの加重値アップデートなどのニューラルネットワークの学習のための計算を遂行できる。

【0064】

また、プロセッサ１１０はＣＰＵ、ＧＰＧＰＵ、およびＴＰＵのうち少なくとも一つがネットワーク関数の学習を処理することができる。例えば、ＣＰＵとＧＰＧＰＵが共にネットワーク関数の学習、ネットワーク関数を利用したデータ分類を処理することができる。また、本発明の一実施例で複数のコンピューティング装置のプロセッサを共に使って、ネットワーク関数の学習、ネットワーク関数を利用したデータ分類を処理することができる。また、本発明の一実施例に係るコンピューティング装置で遂行されるコンピュータプログラムはＣＰＵ、ＧＰＧＰＵまたはＴＰＵ実行可能プログラムであり得る。

【0065】

本明細書でネットワーク関数は人工ニューラルネットワーク、ニューラルネットワークと相互に交換可能に使われ得る。本明細書でネットワーク関数は一つ以上のニューラルネットワークを含んでもよく、この場合、ネットワーク関数の出力は一つ以上のニューラルネットワークの出力のアンサンブル（ｅｎｓｅｍｂｌｅ）であり得る。

【0066】

プロセッサ１１０はメモリ１２０に保存されたコンピュータプログラムを読み取って本発明の一実施例に係る音響モデルを提供することができる。本発明の一実施例により、プロセッサ１１０は音響情報に対応する使用者特性情報を獲得することができる。本発明の一実施例により、プロセッサ１１０は音響モデルを学習させるための計算を遂行できる。

【0067】

本発明の一実施例によると、プロセッサ１１０は通常的にサーバー１００の全般的な動作を処理することができる。プロセッサ１１０は前記にて詳察した構成要素を通じて入力または出力される信号、データ、情報などを処理したりメモリ１２０に保存された応用プログラムを駆動することによって、使用者または使用者端末に適正な情報または機能を提供したり処理することができる。

【0068】

また、プロセッサ１１０は本発明の実施例に係る方法を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を遂行でき、サーバー１００は一つ以上のプロセッサを具備することができる。

【0069】

多様な実施例で、プロセッサ１１０はプロセッサ１１０内部で処理される信号（またはデータ）を一時的および／または永久的に保存するラム（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、図示されず）およびロム（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、図示されず）をさらに含むことができる。また、プロセッサ１１０はグラフィック処理部、ラムおよびロムのうち少なくとも一つを含むシステムオンチップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）形態で具現され得る。

【0070】

メモリ１２０は各種データ、命令および／または情報を保存する。メモリ１２０は本発明の多様な実施例に係る方法／動作を実行するためにストレージ１５０からコンピュータプログラム１５１をロードすることができる。メモリ１２０にコンピュータプログラム１５１がロードされると、プロセッサ１１０はコンピュータプログラム１５１を構成する一つ以上のインストラクションを実行することによって前記方法／動作を遂行できる。メモリ１２０はＲＡＭのような揮発性メモリで具現され得るであろうが、本発明の技術的範囲がこれに限定されるものではない。

【0071】

バス１３０はサーバー１００の構成要素間通信機能を提供する。バス１３０はアドレスバス（ａｄｄｒｅｓｓ Ｂｕｓ）、データバス（Ｄａｔａ Ｂｕｓ）および制御バス（Ｃｏｎｔｒｏｌ Ｂｕｓ）などの多様な形態のバスで具現され得る。

【0072】

通信インターフェース１４０はサーバー１００の有線／無線インターネット通信を支援する。また、通信インターフェース１４０はインターネット通信以外の多様な通信方式を支援してもよい。このために、通信インターフェース１４０は本発明の技術分野に広く知られている通信モジュールを含んで構成され得る。いくつかの実施例で、通信インターフェース１４０は省略されてもよい。

【0073】

ストレージ１５０はコンピュータプログラム１５１を非臨時的に保存することができる。サーバー１００を通じて音響情報分析を通じてマッチング情報を提供するプロセスを遂行する場合、ストレージ１５０は音響情報分析を通じてマッチング情報を提供プロセスを提供するために必要な各種情報を保存することができる。

【0074】

ストレージ１５０はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリなどのような不揮発性メモリ、ハードディスク、着脱型ディスク、または本発明が属する技術分野で広く知られている任意の形態のコンピュータで読み取り可能記録媒体を含んで構成され得る。

【0075】

コンピュータプログラム１５１はメモリ１２０にロードされる時、プロセッサ１１０に本発明の多様な実施例に係る方法／動作を遂行させる一つ以上のインストラクションを含むことができる。すなわち、プロセッサ１１０は前記一つ以上のインストラクションを実行することによって、本発明の多様な実施例に係る前記方法／動作を遂行できる。

【0076】

一実施例で、コンピュータプログラム１５１は音響情報を獲得する段階、音響情報に基づいて使用者特性情報を獲得する段階および使用者特性情報に対応するマッチング情報を提供する段階を含む音響情報分析を通じてマッチング情報を提供する方法を遂行するようにする一つ以上のインストラクションを含むことができる。

【0077】

本発明の実施例に関連して説明された方法またはアルゴリズムの段階はハードウェアで直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現されるか、またはこれらの結合によって具現され得る。ソフトウェアモジュールはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ－ＲＯＭ、または本発明が属する技術分野で広く知られている任意の形態のコンピュータ読み取り可能記録媒体に常駐してもよい。

【0078】

本発明の構成要素はハードウェアであるコンピュータと結合されて実行されるために、プログラム（またはアプリケーション）で具現されて媒体に保存され得る。本発明の構成要素はソフトウェアプログラミングまたはソフトウェア要素で実行され得、これと同様に、実施例はデータ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせで具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、ジャバ（Ｊａｖａ）、アセンブラ（ａｓｓｅｍｂｌｅｒ）などのようなプログラミングまたはスクリプト言語で具現され得る。機能的な側面は一つ以上のプロセッサで実行されるアルゴリズムで具現され得る。以下、図３～図６を参照して、サーバー１００により遂行される音響情報分析を通じてマッチング情報を提供する方法について説明することにする。

【0079】

図３は、本発明の一実施例に関連した音響情報分析を通じてマッチング情報を提供する方法を例示的に示したフローチャートである。

【0080】

本発明の一実施例によると、段階Ｓ１１０で、サーバー１００は音響情報を獲得する段階を遂行できる。実施例によると、音響情報は使用者に関連した使用者端末２００を通じて獲得され得る。例えば、使用者に関連した使用者端末２００は、スマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、スマートパッド（Ｓｍａｒｔｐａｄ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）などのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置または特定空間（例えば、使用者の住居空間）上に備えられた電子装置（例えば、マイクを通じて音響情報を受信できる装置）等を含むことができる。

【0081】

一実施例によると、音響情報の獲得は、メモリに保存された音響情報を受信したりまたはローディング（ｌｏａｄｉｎｇ）されるものであり得る。また、音響情報の獲得は、有線／無線通信手段に基づいて他の保存媒体、他のサーバー、同じサーバー内の別途の処理モジュールから音響情報を受信したりまたはローディングするものであり得る。

【0082】

本発明の追加的な実施例によると、音響情報の獲得は使用者が特定空間（例えば、使用者の活動空間）に位置するかどうかに基づいて遂行されることを特徴とすることができる。具体的には、使用者の活動に関連した特定空間にはセンサモジュールが備えられ得る。すなわち、特定空間内に備えられたセンサモジュールを通じて使用者が該当空間上に位置するかどうかを識別することができる。例えば、近距離通信技術の一種であるＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術を利用して、電波を利用して遠距離の使用者の固有情報を認識することができる。例えば、使用者はＲＦＩＤモジュールが含まれたカードまたは移動端末（ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ）を所持することができる。使用者が所持したＲＦＩＤモジュールには該当使用者を識別する情報（例えば、サービス管理サーバーに登録された使用者の個人ＩＤ、識別コードなど）が記録され得る。センサモジュールは使用者が所持したＲＦＩＤモジュールを識別することによって、該当使用者が特定空間上に位置するかどうかを識別することができる。センサモジュールはＲＦＩＤ技術の他にも、接触式／非接触式で使用者の固有情報を送受信できる多様な技術（例えば、ブルートゥースなどのような近距離通信技術）を含むことができる。また、センサモジュールはマイクロホン、タッチパッド、カメラモジュールなどと連動して、使用者の生体データ（音声、指紋、顔）を識別する生体データ識別モジュールをさらに含むことができる。追加的な実施例で、使用者の発話に関連した音響情報を通じて使用者が特定空間上に位置するかどうかを識別してもよい。具体的には、使用者の発話に関連した音声情報を始動語として認識し、認識時点に対応して該当空間上に発生する追加的な音響情報を獲得することができる。

【0083】

サーバー１００は前記したようなセンサモジュールまたは使用者の発話に関連した音響を通じて使用者が特定空間上に位置するかどうかを識別することができる。また、サーバー１００は使用者が特定空間上に位置すると判断する場合、該当時点に基づいて発生する音響情報を獲得することができる。
換言すると、使用者が特定空間内に存在しない場合、該当空間に関連した音響情報を獲得せず、使用者が特定空間内に存在する場合にのみ該当空間に関連した音響情報を獲得することによって、電力消耗を最小化することができる。

【0084】

本発明の一実施例によると、音響情報を獲得する段階は、獲得した音響情報に対する前処理を遂行する段階および前処理が遂行された音響情報に対応する音響特性情報を識別する段階を含むことができる。

【0085】

一実施例によると、音響情報に対する前処理は、音響情報の認識率を向上させるための前処理であり得る。例えば、このような前処理は音響情報からノイズを除去する前処理を含むことができる。具体的には、サーバー１００は音響情報に含まれた信号の大きさと基準信号の大きさの比較に基づいて音響情報に含まれた信号の大きさを標準化することができる。サーバー１００は獲得した音響情報に含まれた信号の大きさが事前決定された基準信号未満である場合、該当信号の大きさを大きく調整し、そして、音響情報に含まれた信号が事前決定された基準信号以上である場合、該当信号の大きさを小さく（すなわち、ｃｌｉｐｐｉｎｇされないように）調整する前処理を遂行できる。前述したノイズ除去に関する具体的な記載は一例示に過ぎず、本発明はこれに制限されない。

【0086】

本発明の他の実施例によると、音響情報に対する前処理は、音響情報に含まれた信号の波形を分析して発話以外の音響（すなわち、非言語的音響）を増幅させる前処理を含むことができる。具体的には、サーバー１００は音響情報に含まれた多様な音響の周波数を分析して少なくとも一つの特定周波数に関連した音響を拡大させることができる。

【0087】

例えば、サーバー１００は音響情報に含まれた多様な音響の種類を判別するためにＳＶＭ（Ｓｕｐｐｏｒｔｉｎｇ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）のような機械学習アルゴリズムを利用して分類し、それぞれの異なる周波数を含む音響それぞれに対応する音響増幅アルゴリズムを通じて特定音響を増幅させることができる。前述した音響増幅アルゴリズムは例示に過ぎず、本発明はこれに制限されない。

【0088】

換言すると、本発明は音響情報に含まれた非言語的音響を増幅させるための前処理を遂行できる。例えば、本発明で使用者の特性を把握するために（または使用者に最適なマッチング情報を提供するために）、分析の基盤となる音響情報は言語的音響情報および非言語的音響情報を含むことができる。一実施例で、言語的音響情報より非言語的音響情報が使用者の特性を分析するのに有意味な分析を提供することができる。

【0089】

具体的な例を挙げると、サーバー１００が伴侶動物（例えば、子犬）の音響（すなわち、非言語的音響情報）を含む音響情報を獲得する場合、サーバー１００は非言語的音響情報である「子犬の声」の認識率を向上させるために、該当非言語的音響に関連した音響情報を増幅させることができる。

【0090】

他の例を挙げると、サーバー１００が使用者の咳声（すなわち、非言語的音響情報）に関連した音響情報を獲得する場合、サーバー１００は非言語的音響情報である「人の咳声」の認識率を向上させるために、該当非言語的音響に関連した音響情報を増幅させることができる。
換言すると、使用者の特性を把握するのに有意味な情報を提供する非言語的音響情報を増幅させる前処理を遂行することによって、その結果使用者に、より適合なマッチング情報を提供できることになる。

【0091】

また、サーバー１００は前処理された音響情報に対応する音響特性情報を識別することができる。ここで、音響特性情報は、音響情報が言語的音響および非言語的音響のうち少なくとも一つに関連したものであるかに対する第１特性情報および客体区分に関連した第２特性情報を含むことができる。

【0092】

第１特性情報は、音響情報が言語的音響であるかまたは非言語的音響であるかに関する情報を含むことができる。例えば、第１音響情報に対応する第１特性情報は、該当第１音響情報が言語的音響に関連するという情報を含むことができ、第２音響情報に対応する第１特性情報は、該当第２音響情報が非言語的音響に関連するという情報を含むことができる。

【0093】

第２特性情報は、音響情報がいくつの客体を含むかに関する情報を含むことができる。例えば、第１音響情報に対応する第２特性情報は、該当第１音響情報に３人の使用者の発話が存在するという情報を含むことができ、第２音響情報に対応する第２特性情報は、該当第２音響情報に洗濯機作動に関連した音響と猫の鳴き声に関連した音響が存在するという情報を含むことができる。一実施例で、音響情報に対応する第１特性情報および第２特性情報は後述される第１音響モデルおよび第２音響モデルを通じて識別され得る。

【0094】

すなわち、サーバー１００は獲得した音響情報に対する前処理を遂行し、前処理された音響情報に対応する音響特性情報を識別することができる。ここで音響特性情報は前述した通り、該当音響情報が言語的音響または非言語的音響のうちいずれに関連したものであるかに関する情報（すなわち、第１特性情報）と、音響情報内にいくつの客体が存在するかに対する情報（すなわち、第２特性情報）が含まれているので、以後後述される音響情報分析過程で便宜性を提供することができる。

【0095】

本発明の一実施例によると、段階Ｓ１２０で、サーバー１００は音響情報に基づいて使用者特性情報を獲得する段階を遂行できる。一実施例で、使用者特性情報を獲得する段階は、音響情報に対する分析を通じて使用者または客体を識別する段階および識別された使用者または客体に基づいて使用者特性情報を生成する段階を含むことができる。

【0096】

具体的には、サーバー１００は音響情報を獲得した場合、該当音響情報に対する分析を通じて音響情報に対応する使用者または客体を識別することができる。例えば、サーバー１００は第１音響情報に対する分析を遂行して該当第１音響情報が第１使用者に対応する音響であることを識別することができる。他の例を挙げると、サーバー１００は第２音響情報に対する分析を遂行して該当第２音響情報が掃除機に対応する音響であることを識別することができる。さらに他の例を挙げると、サーバー１００は第３音響情報に対する分析を遂行して該当第３音響情報が第２使用者に対応する音響と洗濯機に関連した音響を含むことを識別することができる。前述した第１音響情報～第３音響情報に対する具体的は記載は例示に過ぎず、本発明はこれに制限されない。

【0097】

また、サーバー１００は音響情報に対応して識別された使用者または客体に基づいて使用者特性情報を生成することができる。ここで、使用者特性情報は、マッチング情報提供に基盤となる情報であって、例えば、音響情報に関連したテキスト、主題、感情、客体識別情報または客体状態情報などに関連した情報であり得る。

【0098】

例えば、第１音響情報が第１使用者に対応する音響であることを識別する場合、サーバー１００は第１使用者にマッチングされた使用者情報を識別して使用者が２６歳の女性に関連するという使用者特性情報を生成することができる。他の例を挙げると、第２音響情報がＡブランド掃除機に対応する音響であることを識別する場合、サーバー１００は該当第２音響情報を通じて使用者がＡブランド掃除機を活用するという使用者特性情報を生成することができる。さらに他の例を挙げると、第３音響情報が第２使用者に対応する音響とＢブランド洗濯機に関連した音響であることを識別する場合、サーバー１００は使用者が４０歳の男性に関連しし、また、Ｂブランド洗濯機を活用するという使用者特性情報を生成することができる。前述した第１～第３音響情報および各音響情報に対応する使用者特性情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。
すなわち、サーバー１００は音響情報の分析を通じて識別された使用者または客体に基づいて使用者に関連した使用者特性情報を生成することができる。このような使用者特性情報は、使用者の関心事、好みまたは特性などを把握できる情報であり得る。

【0099】

また、一実施例によると、使用者特性情報を獲得する段階は、音響情報に対する分析を通じて使用者が特定空間内で活動する時間に関連した活動時間情報を生成する段階および活動時間情報に基づいて使用者特性情報を生成する段階を含むことができる。具体的には、サーバー１００は特定空間に対応して獲得した音響情報に対する分析を通じて使用者が特定空間内で活動する時間に関連した活動時間情報を生成することができる。

【0100】

一実施例で、サーバー１００は使用者の発話に関連した音響情報を通じて使用者が特定空間上に位置するかどうかに関する情報を獲得することができる。具体的な例を挙げると、サーバー１００は使用者の発話に関連した音声を始動語として認識し、認識時点に基づいて使用者が特定空間内に進入したものと判別し、該当空間内で獲得された音響情報に使用者の発話に関連した音声が含まれず、獲得される音響情報の大きさが予め定められた基準値以下である場合、使用者が特定空間内に存在しないものと判別することができる。また、サーバー１００はそれぞれの判別時点を基準として使用者が特定空間内で活動する時間に関連した活動時間情報を生成することができる。すなわち、サーバー１００は使用者の発話に関連した音響情報を通じて使用者が特定空間上に位置するかどうかを識別して使用者に関連した活動時間情報を生成することができる。

【0101】

他の実施例で、サーバー１００は獲得される音響情報の大きさに基づいて使用者が特定空間上に位置するかどうかに関する情報を獲得することができる。具体的な例を挙げると、サーバー１００は特定空間上で持続的に獲得される音響情報の大きさが予め定められた基準値以上の時点を識別して使用者が特定空間内に進入したものと判別し、該当空間上で獲得した音響情報の大きさが予め定められた基準値未満の時点を識別して使用者が特定空間内に存在しないものと判別することができる。また、サーバー１００はそれぞれの判別時点を基準として使用者が特定空間内で活動する時間に関連した活動時間情報を生成することができる。すなわち、サーバー１００は特定空間内で発生する音響情報の大きさを識別し、該当大きさに基づいて使用者が特定空間上に位置するかどうかを識別して使用者に関連した活動時間情報を生成することができる。

【0102】

さらに他の実施例で、サーバー１００は特定始動音響に基づいて使用者が特定空間上に位置するかどうかに関する情報を獲得することができる。ここで特定始動音響は、使用者の出入りに関連した音響であり得る。例えば、始動音響は、玄関のドアの開閉音に関連した音響であり得る。すなわち、サーバー１００は外部でパスワードを通じてのドアロック開放に関連した音響情報に基づいて使用者が該当空間上に位置したものと判別することができる。また、サーバー１００は内部での玄関のドア開放に関連した音響情報に基づいて使用者が該当空間に存在しないものと判別することができる。また、サーバー１００はそれぞれの判別時点を基準として使用者が特定空間内で活動する時間に関連した活動時間情報を生成することができる。すなわち、サーバー１００は特定空間内で発生する始動音響に基づいて使用者が特定空間上に位置するかどうかを識別して使用者に関連した活動時間情報を生成することができる。

【0103】

前述した通り、サーバー１００は多様な実施例により、使用者が特定空間内で活動する時間に関連した活動時間情報を生成することができる。例えば、サーバー１００は第１使用者が特定空間（例えば、住居空間）で活動する時間が２４時間のうち１８時間（例えば、午前１２時から午後６時まで該当空間に位置）に該当するという活動時間情報を生成することができる。他の例を挙げると、サーバー１００は第２使用者が特定空間で活動する時間が一日を基準として６時間（例えば、午前１２時から午前６時まで該当空間に位置）に該当するという活動時間情報を生成することができる。前述した各使用者に対応する活動時間情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0104】

また、サーバー１００は活動時間情報に基づいて使用者特性情報を生成することができる。具体的な例を挙げると、サーバー１００は第１使用者が特定空間（例えば、住居空間）で活動する時間が２４時間のうち１８時間に該当するという活動時間情報に基づいて第１使用者が住居空間での活動が多いという使用者特性情報を生成することができる。一例として、サーバー１００は第１使用者の活動時間情報を通じて、第１使用者が住居空間に留まる時間がより多いことを識別して該当第１使用者が「主婦」または「在宅勤務者」に関連するという使用者特性情報を生成してもよい。追加的な実施例で、サーバー１００は活動時間情報と音響情報に対する分析情報を総合してより具体的な使用者の職業を類推してもよい。このような場合、使用者の特性がより具体的に特定され得、提供されるマッチング情報の正確性が向上する効果がある。

【0105】

他の例を挙げると、サーバー１００は第２使用者が特定空間で活動する時間が一日を基準として６時間に該当するという活動時間情報に基づいて第２使用者が住居空間で活動が少ないという使用者特性情報を生成することができる。前述した各使用者の活動時間情報および各活動時間情報に対応する使用者特性情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0106】

本発明の他の実施例によると、使用者特性情報を獲得する段階は、音響情報に対応する音響特性情報に基づいて使用者特性情報を獲得する段階を含むことができる。ここで、音響特性情報は、音響情報が言語的音響および非言語的音響のうち少なくとも一つに関連したものであるかに対する第１特性情報および客体区分に関連した第２特性情報を含むことができる。

【0107】

具体的には、使用者特性情報を獲得する段階は、音響特性情報が言語的音響に関連するという第１特性情報を含む場合、音響情報を第１音響モデルに入力として処理して音響情報に対応する使用者特性情報を獲得する段階または音響特性情報が非言語的音響に対応するという第１特性情報を含む場合、音響情報を第２音響モデルに入力として処理して音響情報に対応する使用者特性情報を獲得する段階のうち少なくとも一つを含むことができる。

【0108】

一実施例によると、第１音響モデルは、言語的音響に関連した音響情報に対する分析を遂行して音響情報に関連したテキスト、主題、または感情のうち少なくとも一つを判別するように学習されたニューラルネットワークモデルであり得る。

【0109】

本発明の一実施例によると、第１音響モデルは、音響情報に含まれた使用者の発話に関連した音声情報（すなわち、言語的音響）を入力として音声情報に対応するテキスト情報を出力する音声認識モデルであり、学習データを通じて事前学習された一つ以上のネットワーク関数を含むことができる。すなわち、第１音響モデルは使用者の発話に関連した音声情報をテキスト情報に切り替える音声認識モデルを含むことができる。例えば、音声認識モデルは使用者の発話に関連した音声情報を入力として処理し、これに対応するテキスト（例えば、「子犬の飼料が切れた」）を出力することができる。前述した音声情報および音声情報に対応するテキストに対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0110】

また、第１音響モデルは、音声情報に対応して出力されたテキスト情報に対する自然語処理分析を通じて文脈を把握することによって、音声情報に含まれた主題または感情などを把握するテキスト分析モデルを含むことができる。

【0111】

一実施例で、テキスト分析モデルはテキスト情報を自然語処理ニューラルネットワーク（すなわち、テキスト分析モデル）を通じて，テキストに対する意味分析を通じて重要キーワードを認識して主題を把握することができる。例えば、「子犬の飼料が切れた」に関連したテキスト情報である場合、テキスト分析モデルは該当文章の主題を「飼料消尽」と把握することができる。前述したテキスト情報およびこれに対応する主題に対する記載は例示に過ぎず、本発明はこれに制限されない。

【0112】

また、一実施例で、テキスト分析モデルはテキスト情報を自然語処理ニューラルネットワークを通じて演算して多様な意図グループそれぞれによる分析値を出力することができる。多様な意図グループは、予め定められた基準を通じてテキストを含む文章を特定の意図それぞれに区分したものであり得る。ここで自然語処理人工ニューラルネットワークはテキスト情報を入力データにして、それぞれの連結加重値を演算して意図グループを出力ノードにすることができる。ここで連結加重値はＬＳＴＭ方式で使われる入力、出力および忘却ゲートの加重値であるかまたはＲＮＮで通用するゲートの加重値であってもよい。これに伴い、第１音響モデルはそれぞれの意図グループに一対一対応するテキスト情報の分析値を演算することができる。そして、ここで分析値はテキスト情報が一つの意図グループに該当できる確率を意味し得る。追加的な実施例で、第１音響モデルは、音響の高低変化による音声分析を通じて感情に対する分析値を出力する感情分析モデルをさらに含むことができる。すなわち、第１音響モデルは使用者の音声情報に対応するテキスト情報出力する音声認識モデル、テキスト情報に対する自然語処理分析を通じて文章の主題を把握するテキスト分析モデルおよび音響の高低変化による音声分析を通じて使用者の感情を把握する感情分析モデルを含むことができる。これに伴い、第１音響モデルは、使用者の発話に関連した音声情報を含む音響情報に基づいて該当音響情報に関連したテキスト、主題、または感情に対する情報を出力することができる。

【0113】

また、実施例によると、第２音響モデルは、非言語的音響に関連した音響情報に対する分析を遂行して音響情報に関連した客体識別情報および客体状態情報を獲得するように学習されたニューラルネットワークモデルであり得る。

【0114】

本発明の一実施例によると、第２音響モデルは、サーバー１００により入力データと類似する出力データを出力するように学習された次元減少ネットワーク関数および次元復元ネットワーク関数であり、学習された次元減少ネットワーク関数を通じて具現され得る。すなわち、第２音響モデルは、学習されたオートエンコーダ（Ａｕｔｏｅｎｃｏｄｅｒ）の構成で次元減少ネットワーク関数を通じて構成され得る。

【0115】

一実施例によると、サーバー１００はオートエンコーダを教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）方式を通じて学習させることができる。具体的には、サーバー１００は入力データと類似する出力データを出力するようにオートエンコーダを構成する次元減少ネットワーク関数（例えば、エンコーダ）および次元復元ネットワーク関数（例えば、デコーダ）を学習させることができる。詳述すると、次元減少ネットワーク関数を通じてエンコーディング過程で入力された音響情報の核心特徴データ（またはフィーチャー（ｆｅａｔｕｒｅ））のみを隠れレイヤを通じて学習し、残りの情報を損失させることができる。この場合、次元復元ネットワーク関数を通じてのデコーディング過程で隠れレイヤの出力データは完ぺきなコピー値ではなく入力データ（すなわち、音響情報）の近似値であり得る。すなわち、サーバー１００は出力データと入力データができるだけ同じになるように加重値を調整することによって、オートエンコーダを学習させることができる。

【0116】

オートエンコーダは入力データと類似する出力データを出力するためのニューラルネットワークの一種であり得る。オートエンコーダは少なくとも一つの隠れレイヤを含むことができ、奇数個の隠れレイヤが入出力レイヤの間に配置され得る。それぞれのレイヤのノードの数は入力レイヤのノードの数からボトルネックレイヤ（エンコーディング）という中間レイヤに縮小されてから、ボトルネックレイヤから出力レイヤ（入力レイヤと対称）に縮小と対称されて拡張されてもよい。入力レイヤおよび出力レイヤの数は入力データの前処理以後に残った入力データの項目の数と対応し得る。オートエンコーダ構造でエンコーダに含まれた隠れレイヤのノードの数は入力レイヤから遠ざかるほど減少する構造を有することができる。ボトルネックレイヤ（エンコーダとデコーダの間に位置する最も少ないノードを有するレイヤ）のノードの数は、過度に小さい場合、十分な量の情報が伝達されない場合もあるので、特定数以上（例えば、入力レイヤの半分以上など）に維持されてもよい。

【0117】

サーバー１００は客体情報がそれぞれタギングされた複数の学習データを含む学習データセットを学習された次元減少ネットワークの入力として出力された客体別特徴データをタギングされた客体情報とマッチングして保存することができる。具体的には、サーバー１００は次元減少ネットワーク関数を利用して第１客制情報（例えば、子犬）がタギングされた第１学習データサブセットを次元減少ネットワーク関数の入力として、第１学習データサブセットに含まれた学習データに対する第１客体の特徴（ｆｅａｔｕｒｅ）データを獲得することができる。獲得された特徴データはベクトルで表現され得る。この場合、第１学習データサブセットに含まれた複数の学習データそれぞれに対応して出力された特徴データは第１客体に関連した学習データを通じての出力であるので、ベクトル空間上で比較的近い距離に位置することができる。サーバー１００はベクトルで表現された第１客体に関連した特徴データに第１客体情報（すなわち、子犬）をマッチングして保存することができる。学習されたオートエンコーダの次元減少ネットワーク関数の場合、次元復元ネットワーク関数が入力データをよく復元できるようにする特徴をよく抽出するように学習され得る。したがって、第２音響モデルは学習オートエンコーダのうち次元減少ネットワーク関数を通じて具現されることによって、入力データ（例えば、音響情報）をよく復元できるようにする特徴（すなわち、各客体の音響スタイル）を抽出することができる。

【0118】

追加的な例を挙げると、第２客体（例えば、猫）情報がタギングされた第２学習データサブセットそれぞれに含まれた複数の学習データは次元減少ネットワーク関数を通じて特徴データに変換されてベクトル空間上に表示され得る。この場合、該当特徴データは第２客体情報（すなわち、猫）に関連した学習データを通じての出力であるので、ベクトル空間上で比較的近い距離に位置することができる。この場合、第２客体情報に対応する特徴データは第１客体情報に対応する特徴データと異なるベクトル空間上に表示され得る。

【0119】

すなわち、前記のような学習過程を通じて第２音響モデルを構成する次元減少ネットワーク関数は特定空間（例えば、居住空間）で発生した音響情報を入力とする場合、該当音響情報を次元減少ネットワーク関数を利用して演算して音響情報に対応するフィーチャーを抽出することができる。この場合、第２音響モデルは音響情報に対応するフィーチャーが表示された領域と客体別特徴データのベクトル空間上の距離の比較を通じて音響スタイルの類似性を評価することができ、該当類似性評価に基づいて音響情報に対応する客体識別情報または客体状態情報を獲得することができる。

【0120】

具体的には、第２音響モデルは第１使用者端末から受信した第１音響情報を次元減少ネットワーク関数を利用して演算することによって、第１特徴情報を獲得することができる。この場合、第２音響モデルは、第１特徴情報と学習を通じてベクトル空間上に事前記録された客体別特徴データの間の位置に基づいて第１音響情報に対応する客体識別情報または客体状態情報を獲得することができる。

【0121】

具体的な例を挙げると、第１特徴情報と最も近いベクトル空間上の距離を有する第１客体（例えば、Ａブランドの洗濯機）空間に基づいて第１音響情報が「Ａブランド洗濯機」に関連するという客体識別情報を獲得することができる。
他の例を挙げると、第１特徴情報と最も近いベクトル空間上の距離を有する第２客体（例えば、人の咳声）空間に基づいて第１音響情報が「人の咳声」に関連するという客体状態情報が獲得され得る。前述した客体識別情報および客体状態情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0122】

図４を参照して整理すると、音響情報を獲得する場合、サーバー１００は第１特性情報に基づいて該当音響情報が言語的音響に関連したものであるか、または非言語的音響に関連したものであるかを判別することができる。音響情報が言語的音響に該当する場合、サーバー１００は第１音響モデルを活用して音響情報に対応するテキスト、主題または感情を判別し、該当情報に基づいて第１使用者特性情報を獲得することができる。また、音響情報が非言語的音響に該当する場合、サーバー１００は第２音響モデルを活用して音響情報に対応する客体識別情報または客体状態情報を獲得し、該当情報に基づいて第２使用者特性情報を獲得することができる。換言すると、言語的音響に対応してテキスト、主題または感情に関連した第１使用者特性情報が獲得され得、非言語的音響に対応して客体識別情報または客体状態情報に関連した第２使用者特性情報が獲得され得る。すなわち、本発明の使用者特性情報は音響情報が言語的音響または非言語的音響を含むかどうかにより獲得される第１使用者特性情報と第２使用者特性情報を含むことができる。

【0123】

本発明の他の実施例によると、使用者特性情報を獲得する段階は、音響情報に対応する音響特性情報に基づいて使用者特性情報を獲得する段階を含むことができる。ここで、音響特性情報は、客体区分に関連した第２特性情報を含むことができる。第２特性情報は、音響情報がいくつの客体を含むかに関する情報を含むことができる。例えば、第１音響情報に対応する第２特性情報は、該当第１音響情報に３人の使用者の発話が存在するという情報を含むことができ、第２音響情報に対応する第２特性情報は、該当第２音響情報に洗濯機作動に関連した音響と猫の鳴き声に関連した音響が存在するという情報を含むことができる。

【0124】

具体的には、サーバー１００は第２特性情報に基づいて使用者特性情報を獲得することができる。例えば、サーバー１００は第２特性情報を通じて音響情報に多数の使用者の発話が含まれたものと識別した場合、特定空間内に多数の使用者が生活するという使用者特性情報を獲得することができる。実施例で、サーバー１００は各時間帯別に獲得される音響情報の第２特性情報を通じて各時間帯に対応して特定空間内に使用者の人員の変化を感知することができ、これに対応する使用者特性情報を生成してもよい。すなわち、サーバー１００は第２特性情報を通じて特定空間内での使用者の活動パターンまたは生活パターンを把握して使用者特性情報を生成することができる。

【0125】

本発明の一実施例によると、段階Ｓ１３０で、サーバー１００は使用者特性情報に対応するマッチング情報を提供する段階を遂行できる。例えば、マッチング情報は、広告に関連した情報であり得る。すなわち、マッチング情報を提供することは、使用者の購入意欲を向上させる効率的な広告すなわち、最適化された広告情報を提供することを意味し得る。

【0126】

具体的な例を挙げると、図６を参照すると、特定空間に関連した音響情報に基づいて獲得した使用者特性情報がＢブランド洗濯機２２の駆動に関連した第２使用者特性情報を含む場合、サーバー１００はこれを通じてＢブランド乾燥器に関連したマッチング情報を使用者１０に提供することができる。他の例を挙げると、測定空間からＣブランドのエアコン２４の駆動に関連した第２使用者特性情報を含む場合、サーバー１００はこれを通じて夏関連商品（傘または旅行など）に関連したマッチング情報を使用者１０に提供することができる。前述した使用者特性情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0127】

一実施例によると、使用者特性情報に対応するマッチング情報を提供する段階は、予め定められた時間の間獲得される複数の音響情報それぞれに対応する複数の使用者特性情報それぞれの獲得時点および頻度数に基づいてマッチング情報を提供する段階を含むことができる。この場合、予め定められた時間は、例えば、一日（すなわち、２４時間）を意味し得る。換言すると、サーバー１００は２４時間を基準として獲得される複数の音響情報それぞれに対応する複数の使用者特性情報それぞれの獲得時点および頻度数に基づいてマッチング情報を提供することができる。

【0128】

例えば、２４時間周期を基準として同じ時点（または同じ時間帯）に持続的に同じ種類の使用者特性情報が獲得される場合、サーバー１００は該当時点に対応してマッチング情報を提供することができる。具体的な例を挙げると、毎日同じ時点（例えば、午後７時）にＡブランド洗濯機駆動に関連した使用者特性情報が獲得される場合、サーバー１００はこれに基づいて洗濯が完了する午後８時にＡブランドの乾燥器に関連したマッチング情報を提供することができる。

【0129】

また、例えば、２４時間周期を基準として特定キーワードが事前決定された回数（例えば、３回）以上使用者を通じて発話される場合、サーバー１００は該当キーワードに対応するマッチング情報を提供することができる。具体的な例を挙げると、一日の間「子犬の飼料」というキーワードが３回以上使用者を通じて発話される場合、サーバー１００は子犬の飼料に対応するマッチング情報を提供することができる。前述した使用者特性情報の獲得時点と回数およびこれに対応するマッチング情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0130】

すなわち、サーバー１００は特定キーワードの発話回数や時点などを記録し、該当記録に基づいて使用者に関連した特性を把握し、そして、これを通じてマッチング情報を提供することができる。この場合、使用者に適合なマッチング情報がより適切な時点に提供され得るので、広告効果が最大化され得る。

【0131】

本発明の他の一実施例によると、使用者特性情報に対応するマッチング情報を提供する段階は、使用者特性情報が第１使用者特性情報および第２使用者特性情報を含む場合、第１使用者特性情報および第２使用者特性情報間の関連性に関連した関連情報を獲得する段階、関連情報に基づいてマッチング情報をアップデートする段階およびアップデートされたマッチング情報を提供する段階を含むことができる。ここで、第１使用者特性情報は言語的音響を通じて獲得された使用者の特性に関連した情報であり得、第２使用者特性情報は、非言語的音響を通じて獲得された使用者の特性に関連した情報であり得る。すなわち、一つの音響情報に対応する言語的音響および非言語的音響に対応する使用者特性情報が獲得され得る。このような場合、サーバー１００は獲得された各使用者特性情報間の関連情報に基づいてマッチング情報をアップデートすることができる。ここで関連情報は、言語的音響と非言語的音響間の関連性に関する情報であり得る。また、マッチング情報のアップデートは、マッチング情報を通じての広告効果をより増大させるためのものであり得る。例えば、マッチング情報のアップデートは、露出されるマッチング情報の項目を増大させるかまたはマッチング情報に適用される追加割引イベントに関連したものであり得る。

【0132】

より詳述すると、音響情報は言語的音響および非言語的音響を含むことができる。この場合、言語的音響に対応して第１音響モデルを活用することによってテキスト、主題または感情などに関連した第１使用者特性情報が獲得され得る。また、非言語的音響に対応して第２音響モデルを活用することによって、客体識別情報および客体状態情報に関連した第２使用者特性情報が獲得され得る。サーバー１００は第１使用者特性情報と第２使用者特性情報間の関連情報を獲得することができる。例えば、関連情報は各使用者特性情報間の関連性を数値で示した情報であり得る。例えば、第１使用者特性情報が「乾燥機」を主題にするという情報を含み、第２使用者特性情報がＡブランド乾燥器の活用に関連するという情報を含む場合、サーバー１００は各使用者特性情報間の関連度が非常に高いものと判別して、「９８」という数値に対応する関連情報を生成することができる。他の例を挙げると、第１使用者特性情報が「乾燥機」を主題にするという情報を含み、第２使用者特性情報がＢブランド洗濯機の活用に関連するという情報を含む場合、サーバー１００は各使用者特性情報間の関連度が比較的高いものと判別して「８５」という数値に対応する関連情報を生成することができる。さらに他の例を挙げると、第１使用者特性情報が「掃除機」を主題にするという情報を含み、第２使用者特性情報が猫の鳴き声に関連するという情報を含む場合、サーバー１００は各使用者特性情報間の関連性が殆どないものと判別し、「７」という数値に対応する関連情報を生成することができる。前述した各使用者特性情報および関連情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0133】

また、サーバー１００は関連情報が予め定められた数値以上である場合、マッチング情報をアップデートすることができ、アップデートされたマッチング情報を使用者に提供することができる。

【0134】

より具体的な例を挙げると、言語的音響に関連した使用者発話（例えば、「なんでこんなに乾燥されないの～」、第１使用者特性情報）と非言語的音響である乾燥機音響（すなわち、第２使用者特性情報）が音響情報から獲得され得る。この場合、予め定められた数値が９０であり各使用者特性情報間の関連情報が９８であり得る。この場合、サーバー１００は各使用者特性情報間の関連情報が予め定められた数値以上であることを識別してマッチング情報をアップデートさせることができる。すなわち、サーバー１００は関連性が高い言語的音響と非言語的音響が一つの音響情報を通じて同時に獲得される場合、使用者が該当客体に対する関心度がより高いものと判別してマッチング情報をアップデートすることができる。例えば、サーバー１００は使用者に該当客体に対するより多様な情報を提供するために、Ａブランドの乾燥機以外に他社の乾燥器を追加的に含むようにマッチング情報をアップデートすることができる。他の例を挙げると、サーバー１００はＡブランド乾燥器の購入割引方法に関連したイベント情報を含むようにマッチング情報をアップデートすることができる。前述したマッチング情報のアップデートに関する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0135】

図５を参照して整理すると、使用者特性情報を獲得する場合、サーバー１００は該当使用者特性情報が第１使用者特性情報および第２使用者特性情報を含むかどうかを識別することができる。一実施例で、音響情報に対応して獲得した使用者特性情報が第１使用者特性情報を含む場合、サーバー１００は第１使用者特性情報に対応するマッチング情報を提供することができる。具体的な例を挙げると、図６を参照すると、音響情報（例えば、使用者の発話）に基づいて使用者１０が「子犬のおやつ」に関連した主題に関連した発話を遂行したという第１使用者特性情報を獲得する場合、サーバー１００は「子犬のおやつ」に関連したマッチング情報を提供することができる。前述した第１使用者特性情報およびマッチング情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0136】

また、音響情報に対応して獲得した使用者特性情報が第２使用者特性情報を含む場合、サーバー１００は第２使用者特性情報に対応するマッチング情報を提供することができる。具体的な例を挙げると、図６を参照すると、音響情報（例えば、子犬の吠え声）に基づいて伴侶動物として子犬２３が特定空間に位置するという第２使用者特性情報を獲得する場合、サーバー１００は子犬のおやつ、子犬の飼料、子犬のおもちゃまたは子犬の服など、子犬に関連した多様なマッチング情報を提供することができる。他の例を挙げると、音響情報（例えば、使用者の咳声）に基づいて使用者が元気でない状態であるという第２使用者特性情報を獲得する場合、サーバー１００は風邪薬、お粥、お茶（ｔｅａ）または健康補助剤などの使用者の健康増進に関連した多様なマッチング情報を提供することができる。前述した第２使用者特性情報およびマッチング情報に対する具体的な記載は例示に過ぎず、本発明はこれに制限されない。

【0137】

また、音響情報に対応して獲得した使用者特性情報が第１使用者特性情報および第２使用者特性情報すなわち、すべてを含む場合、サーバー１００は各使用者特性情報間の関連情報を獲得し、関連情報を基づいてマッチング情報をアップデートすることができる。また、サーバー１００はアップデートされたマッチング情報を提供することができる。

【0138】

換言すると、関連性を有する言語的、非言語的声が同時に獲得される場合、使用者の関心度がより高いものであるので、サーバー１００は使用者の購入可能性を高めるために、意思決定のための多量の情報または客体購入に関連した追加割引に関するイベント情報などが反映されたマッチング情報を提供することができる。すなわち、獲得された音響情報に言語的音響と非言語的音響の関連情報に基づいて使用者の関心度を予測し、これに対応するマッチング情報を提供することによって最適化されたマッチング情報の提供が可能となり得る。これは、使用者の関心度により差別的なマッチング情報を提供するものであり、購入転換の可能性を最大化させる効果がある。

【0139】

本発明の一実施例によると、使用者特性情報に基づいてマッチング情報を提供する段階は、予め定められた時間を周期として獲得される一つ以上の音響情報それぞれに対応する一つ以上の使用者特性情報に基づいて環境特性テーブルを生成する段階および環境特性テーブルに基づいてマッチング情報を提供する段階を含むことができる。環境特性テーブルは、予め定められた時間を周期として獲得される使用者特性情報それぞれの統計に関する情報であり得る。一実施例で、予め定められた時間周期は２４時間を意味し得る。
換言すると、サーバー１００は２４時間に関連した時間周期を基準として、各時間帯別に獲得される使用者特性情報の統計値に関連した環境特性テーブルを生成し、該当環境特性テーブルに基づいてマッチング情報を提供することができる。

【0140】

具体的な例を挙げると、環境特性テーブルを通じて時間帯格別獲得される使用者特性情報の統計値を観測して、家で活動が多い使用者の場合、食料品またはインテリア小道具に関連したマッチング情報を提供することができる。また、例えば、家でＴＶ２１を視聴する時間が多い使用者に対応してサーバー１００は新作視聴コンテンツに関連したマッチング情報を提供することができる。他の例を挙げると、家で活動が比較的に少ない使用者の場合、健康補助剤に関連したマッチング情報を提供したりまたは無人洗濯サービスに関連したマッチング情報を提供することができる。

【0141】

また、一実施例で、使用者特性情報に対応するマッチング情報を提供する段階は、環境特性テーブルに基づいてマッチング情報の提供のための第１時点を識別する段階および第１時点に対応してマッチング情報を提供する段階を含むことができる。第１時点は該当使用者にマッチング情報を提供するための最適な時点を意味し得る。すなわち、環境特性テーブルを通じて使用者が特定空間で活動するルーチンを把握して各時点別最適マッチング情報を提供することができる。
例えば、環境特性テーブルを通じて第１時間帯（午後８時）に洗濯機の音が周期的に識別される場合、該当第１時間帯に繊維柔軟剤または乾燥機などに関連したマッチング情報を提供することができる。

【0142】

他の例を挙げると、環境特性テーブルを通じて第２時間帯（午後２時）に掃除機の音が周期的に識別される場合、該当第２時間帯に無線掃除機または濡れ雑巾掃除機などに関連したマッチング情報を提供することができる。
すなわち、サーバー１００は特定活動時点に関連して適切なマッチング情報を提供することによって、広告の効果を最大化することができる。サーバー１００は前述したような、多様な実施例に基づいて、使用者の生活環境に関連して獲得した音響情報に基づいてターゲッティングされたマッチング情報を提供することによって、広告効果を最大化する効果を提供することができる。

【0143】

本発明の実施例に関連して説明された方法またはアルゴリズムの段階はハードウェアで直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現されるか、またはこれらの結合によって具現され得る。ソフトウェアモジュールはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ－ＲＯＭ、または本発明が属する技術分野で広く知られている任意の形態のコンピュータ読み取り可能記録媒体に常駐してもよい。

【0144】

本発明の構成要素はハードウェアであるコンピュータと結合されて実行されるためにプログラム（またはアプリケーション）で具現されて媒体に保存され得る。本発明の構成要素はソフトウェアプログラミングまたはソフトウェア要素で実行され得、これと同様に、実施例はデータ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせで具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、ジャバ（Ｊａｖａ）、アセンブラ（ａｓｓｅｍｂｌｅｒ）などのようなプログラミングまたはスクリプト言語で具現され得る。機能的な側面は一つ以上のプロセッサで実行されるアルゴリズムで具現され得る。

【0145】

以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野の通常の技術者は本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施され得ることを理解できるであろう。したがって、以上で記述した実施例はすべての面で例示的なものであり、制限的ではないものと理解されるべきである。

【0146】

前記のような発明の実施のための最善の形態で関連内容を記述した。

【産業上の利用可能性】

【0147】

本発明は音響情報分析を通じてマッチング情報を提供するサービス分野で活用され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】