特許 7578347 耳の形状を利用したイヤーチップ最適化サービス提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】耳の形状を利用したイヤーチップ最適化サービス提供システム

(51)【国際特許分類】

   G06T 7/521 20170101AFI20241029BHJP

【ＦＩ】

G06T7/521

【請求項の数】 11

(21)【出願番号】P 2024115918

(22)【出願日】2024-07-19

【審査請求日】2024-07-19

(31)【優先権主張番号】10-2023-0094814

(32)【優先日】2023-07-20

(33)【優先権主張国・地域又は機関】KR

【早期審査対象出願】

(73)【特許権者】

【識別番号】523420125

【氏名又は名称】アズラ インコーポレーテッド

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】イ、サン ウォン

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特表２０１４－５２６１６６（ＪＰ，Ａ）

【文献】特開２０２１－２９４７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

耳の形状を撮影した後にアップロードし、前記耳の形状に対応するイヤーチップの推薦を受ける使用者端末；および
前記使用者端末から耳の形状を撮影した写真を受信する受信部、前記写真内の耳に対応する客体を探知、識別および検出する検出部、検出された客体を３Ｄデータで復元する復元部、前記３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップ（ＥａｒＴｉｐ）を抽出する抽出部、抽出されたイヤーチップを前記使用者端末に推薦する推薦部を含む最適化サービス提供サーバー；を含み、
前記検出部は、
前記写真内の耳に関連した位置検出を遂行し、選出された候補群で分類を遂行して前記写真内の耳に対応する客体を検出し、
前記抽出部は、
耳介の内部から外耳道につながる部分までイヤーチップが挿入され得る部分を抽出するために耳介の内部領域および外耳道が始まる領域の特徴点を抽出した後、前記使用者端末の耳の形状データである耳の内部のサイズおよび形状を抽出し、前記最適化サービス提供サーバーにデータベース化された少なくとも一つのイヤーチップの形状およびサイズを含んだイヤーチップデータと前記使用者端末の耳の形状データを比較して前記抽出された耳の内部のサイズおよび形状に対応する前記イヤーチップを抽出し、
前記推薦部は、
イヤホンの設計上表記した特徴点やランドマークと耳の形状に対応する３次元データのランドマークを利用して仮想で着用させた後に圧迫および余裕空間を分析し、イヤーチップの開始点から外耳道が始める壁面までの距離を利用してイヤーチップの高さと幅が使用者の耳の形状に対応するかどうかを把握する
ことを特徴とする耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項2】

前記復元部は、
前記検出された客体を３Ｄデータで復元する時ライダ（Ｌｉｄａｒ）を利用する
請求項１に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項3】

前記最適化サービス提供サーバーは、
前記使用者端末で前記耳の形状を撮影する時、前記使用者端末に内蔵された赤外線を利用してＴｏＦ（Ｔｉｍｅ ｏｆＦｌｉｇｈｔ）を利用して前記使用者端末のカメラと前記耳の形状間の距離を測定するようにするセンサ部；をさらに含む
請求項１に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項4】

前記最適化サービス提供サーバーは、
前記３Ｄデータで復元した後、ＡＲルーラー（Ｒｕｌｅｒ）を利用して前記耳の内部の少なくとも一つの特徴点（Ｆｅａｔｕｒｅ Ｐｏｉｎｔ）を検出し、前記特徴点内の予め設定された領域のサイズおよび形状を抽出する測定部；をさらに含む
請求項１に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項5】

前記最適化サービス提供サーバーは、
少なくとも一つのイヤーチップのサイズおよび形状をデータベース化するデータベース化部；をさらに含む
請求項１に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項6】

前記使用者端末は複数の主体に帰属された複数の使用者端末であり、
前記最適化サービス提供サーバーは、
前記複数の使用者端末から撮影された耳の形状が含まれた写真、前記３Ｄデータおよび前記耳のサイズおよび形状を累積してビッグデータで構築する構築部；をさらに含む
請求項１に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項7】

前記最適化サービス提供サーバーは、
前記複数の使用者端末で前記イヤーチップを購入した後、レーティングおよびレビューを記載する場合、前記複数の使用者端末の複数の耳の形状データ、購入イヤーチップのイヤーチップデータ、レーティングおよびレビューをマッピングして保存するフィードバック保存部；をさらに含む
請求項６に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項8】

前記最適化サービス提供サーバーは、
複数の耳の形状データ、購入イヤーチップのイヤーチップデータ、レーティングおよびレビューをマッピングしてデータセットを構築し、少なくとも一つの人工知能アルゴリズムを利用して耳の形状データを入力すればレーティングが高く前記レビューが肯定的なレビューであるイヤーチップデータを抽出するように学習および検証するモデリング部；をさらに含む
請求項７に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項9】

前記最適化サービス提供サーバーは、
前記レビューから肯定または否定の感性分析のために少なくとも一つの言語モデルを利用する感性分析部；をさらに含む
請求項７に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項10】

前記最適化サービス提供サーバーは、
前記ビッグデータを新製品の開発の原始データとして利用するように提供する新製品開発部；をさらに含む
請求項６に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【請求項11】

前記最適化サービス提供サーバーは、
推薦された前記イヤーチップを販売する少なくとも一つのオンラインショッピングモールを抽出して前記使用者端末に提供し、前記イヤーチップを在庫で保有中のオフライン売り場を抽出した後、前記使用者端末の位置を基準として距離が近い順で羅列して前記使用者端末に提供する購入連結部；をさらに含む
請求項１に記載の耳の形状を利用したイヤーチップ最適化サービス提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は耳の形状を利用したイヤーチップ最適化サービス提供システムに関し、耳の形状を撮影した写真に基づいて耳の形状データとイヤーチップデータ間の比較を通じて使用者の耳に合うイヤーチップを提供できるシステムを提供する。

【背景技術】

【0002】

イヤホンは耳に音響的に近く結合して使われ、電気信号で音響信号を得る電気音響変換器を意味し、ヘッドホン型、フック型、カーネル型、オープン型などがあり、イヤホンデバイスの駆動方式によりタッチ型とボタン型に類型を区分したりもする。まず、ヘッドホン型は頭にかけて着用する方式であり、フック型は耳介にかけて着用する方式である。フック型に該当する製品群は耳介にかける際にデバイス本体が耳を覆う場合と耳介にかける際にデバイスを耳の中に着用する場合に分けることができる。カーネル型は無線イヤホンを外耳道の中に挿入して着用する方式であり、オープン型は無線イヤホンを耳の穴側、すなわち耳の耳甲介に着用する方式である。イヤホンのイヤーチップ（Ｔｉｐ）が位置する場所を比較してみると、カーネル型がオープン型より深く着用される。

【0003】

この時、耳の形態にオーダーメード型でイヤホンを製作するための方法が研究および開発されたが、これに関連して先行技術である特許文献１：韓国公開特許第２０２１－００７０６２４号（２０２１年０６月１５日公開）および特許文献２：韓国公開特許第２０１８－００８５１５２号（２０１８年０７月２６日公開）には、耳の形態を測定するための測定サンプルを利用して耳の形態のイメージ情報を収集し、耳の形態に対応する設計を進行するようにする構成と、耳の形態をまねて採得した耳の印象を通じて外耳道の形状に対応するイヤホンを製作するようにする構成がそれぞれ開示されている。

【0004】

ただし、前者および後者の場合はいずれも各個人の耳の印象を鋳造およびモールディングでキャスティングして製作した一対一オーダーメード型に過ぎず、大衆的なイヤホンを製作するための構成ではない。多様な形態で開発されたイヤホンは使用者の耳の形状と合わないため痛みと不便さを誘発したりもする。イヤホンを開発する殆どのグローバル企業は韓国人の耳の形状に合わせたイヤーチップを開発したものではないため、過度に大きい場合には痛みが発生したり、過度に小さい場合にはイヤホンが固定されずに容易に脱着される現象が発生したりもする。また、新製品の開発のためには耳の印象（Ｅａｒ Ｉｍｐｒｅｓｓｉｏｎ）の収集が必要であるが韓国人の耳の印象のデータの種類と量が少ないため新製品の開発に難航したりもする。このため、各使用者から耳の形状を撮影した写真を収集し、耳の形状をディープラーニングおよび３Ｄで分析して適合したイヤーチップを推薦する方法の研究および開発が要求される。

【先行技術文献】

【特許文献】

【0005】

【文献】韓国公開特許第２０２１－００７０６２４号（２０２１年０６月１５日公開）

【文献】韓国公開特許第２０１８－００８５１５２号（２０１８年０７月２６日公開）

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の一実施例は、使用者端末から耳の形状を撮影した写真のアップロードを受けると、耳の形状内の耳に対応する客体を探知、識別および抽出し、抽出された客体を３Ｄデータで復元し、３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップを抽出および推薦することによって、使用者の耳のサイズおよび形状に合わないイヤーチップの注文で発生する返品率を減らし、耳の形状を含んだ写真および３Ｄデータを収集することによってビッグデータを構築するとともに、耳の印象を収集できるため、新製品の開発に韓国人の耳の印象データとして利用することができ、フィードバックを収集して耳の形状データ、イヤーチップデータおよびフィードバックデータをデータセットで保存し、耳の形状データが入力されるとフィードバックが高い順でイヤーチップデータを出力するように人工知能アルゴリズムをモデリングし、モデリングされた人工知能アルゴリズムで耳の形状データが入力される場合、評点およびレビューがよいであろうと予測される順でイヤーチップを推薦することによって顧客満足度を高めることができる、耳の形状を利用したイヤーチップ最適化サービス提供システムを提供することができる。ただし、本実施例が達成しようとする技術的課題は前記のような技術的課題に限定されず、さらに他の技術的課題が存在し得る。

【課題を解決するための手段】

【0007】

前述した技術的課題を達成するための技術的手段として、本発明の一実施例は、耳の形状を撮影した後にアップロードし、耳の形状に対応するイヤーチップの推薦を受ける使用者端末および使用者端末から耳の形状を撮影した写真を受信する受信部、写真内の耳に対応する客体を探知、識別および検出する検出部、検出された客体を３Ｄデータで復元する復元部、３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップ（ＥａｒＴｉｐ）を抽出する抽出部、抽出されたイヤーチップを使用者端末に推薦する推薦部を含む最適化サービス提供サーバーを含む。

【発明の効果】

【0008】

前述した本発明の課題解決手段のうちいずれか一つによると、使用者端末から耳の形状を撮影した写真のアップロードを受けると、耳の形状内の耳に対応する客体を探知、識別および抽出し、抽出された客体を３Ｄデータで復元し、３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップを抽出および推薦することによって、使用者の耳のサイズおよび形状に合わないイヤーチップの注文で発生する返品率を減らし、耳の形状を含んだ写真および３Ｄデータを収集することによってビッグデータを構築するとともに、耳の印象を収集できるため、新製品の開発に韓国人の耳の印象データで利用することができ、フィードバックを収集して耳の形状データ、イヤーチップデータおよびフィードバックデータをデータセットで保存し、耳の形状データが入力されるとフィードバックが高い順でイヤーチップデータを出力するように人工知能アルゴリズムをモデリングし、モデリングされた人工知能アルゴリズムで耳の形状データが入力される場合、評点およびレビューがよいであろうと予測される順でイヤーチップを推薦することによって顧客満足度を高めることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービス提供システムを説明するための図面である。

【図2】図１のシステムに含まれた最適化サービス提供サーバーを説明するためのブロック構成図である。

【図3a】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3b】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3c】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3d】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3e】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3f】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3g】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3h】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3i】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図3j】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4a】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4b】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4c】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4d】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4e】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4f】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図4g】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【図5】本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービス提供方法を説明するための動作フローチャートである。

【発明を実施するための形態】

【0010】

以下では、添付した図面を参照して本発明が属する技術分野で通常の知識を有する者が容易に実施できるように本発明の実施例を詳細に説明する。しかし、本発明は多様な異なる形態で具現され得ここで説明する実施例に限定されない。そして図面で本発明を明確に説明するために説明に関わらない部分は省略し、明細書全体を通じて類似する部分に対しては類似する図面符号を付した。

【0011】

明細書全体で、或る部分が他の部分と「連結」されているとする時、これは「直接的に連結」されている場合だけなく、その中間に他の素子を挟んで「電気的に連結」されている場合も含む。また、或る部分が何らかの構成要素を「含む」とする時、これは特に反対の記載がない限り他の構成要素を除くものではなく他の構成要素をさらに含み得ることを意味し、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を予め排除しない。

【0012】

明細書全体で使われる程度の用語「約」、「実質的に」等は言及された意味に固有な製造および物質許容誤差が提示される時、その数値でまたはその数値に近接した意味で使われ、本発明の理解を助けるために正確または絶対的な数値が言及された開示内容を非良心的な侵害者が不当に利用することを防止するために使われる。本発明の明細書全体で使われる程度の用語「～（する）段階」または「～の段階」は「～のための段階」を意味しない。

【0013】

本明細書において「部」とは、ハードウェアによって実現されるユニット（ｕｎｉｔ）、ソフトウェアによって具現されるユニット、両方を利用して実現されるユニットを含む。また、１個のユニットが２個以上のハードウェアを利用して実現されてもよく、２個以上のユニットが１個のハードウェアによって実現されてもよい。一方、「～部」はソフトウェアまたはハードウェアに限定される意味ではなく、「～部」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として「～部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と「～部」内で提供される機能はさらに小さい数の構成要素および「～部」で結合されたり追加的な構成要素と「～部」にさらに分離され得る。それだけでなく、構成要素および「～部」はデバイスまたはセキュリティマルチメディアカード内の一つまたはそれ以上のＣＰＵを再生させるように具現されてもよい。

【0014】

本明細書において端末、装置またはデバイスが遂行するものとして記述された動作や機能のうち一部は、該当端末、装置またはデバイスと連結されたサーバーで代わりに遂行されてもよい。これと同様に、サーバーが遂行するものとして記述された動作や機能のうち一部も該当サーバーと連結された端末、装置またはデバイスで遂行されてもよい。

【0015】

本明細書において、端末とマッピング（Ｍａｐｐｉｎｇ）またはマッチング（Ｍａｔｃｈｉｎｇ）と記述された動作や機能のうち一部は、端末の識別情報（Ｉｄｅｎｔｉｆｙｉｎｇ Ｄａｔａ）である端末の固有番号や個人の識別情報をマッピングまたはマッチングするという意味で解釈され得る。

【0016】

以下、添付された図面を参照して本発明を詳細に説明することにする。
図１は、本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービス提供システムを説明するための図面である。図１を参照すると、耳の形状を利用したイヤーチップ最適化サービス提供システム１は、少なくとも一つの使用者端末１００、最適化サービス提供サーバー３００、少なくとも一つの売り場端末４００を含むことができる。ただし、このような図１の耳の形状を利用したイヤーチップ最適化サービス提供システム１は本発明の一実施例に過ぎず、図１を通じて本発明が限定解釈されるものではない。

【0017】

この時、図１の各構成要素は一般的にネットワーク（Ｎｅｔｗｏｒｋ、２００）を通じて連結される。例えば、図１に図示された通り、少なくとも一つの使用者端末１００はネットワーク２００を通じて最適化サービス提供サーバー３００と連結され得る。そして、最適化サービス提供サーバー３００は、ネットワーク２００を通じて少なくとも一つの使用者端末１００、少なくとも一つの売り場端末４００と連結され得る。また、少なくとも一つの売り場端末４００は、ネットワーク２００を通じて最適化サービス提供サーバー３００と連結され得る。

【0018】

ここで、ネットワークは、複数の端末およびサーバーのようなそれぞれのノード相互間で情報交換が可能な連結構造を意味するもので、このようなネットワークの一例には近距離通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、有線／無線データ通信網、電話網、有線／無線テレビ通信網などを含む。無線データ通信網の一例には３Ｇ、４Ｇ、５Ｇ、３ＧＰＰ（登録商標）（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、５ＧＰＰ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＷＩＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒＭｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ワイファイ（Ｗｉ－Ｆｉ）、インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉｒｅｌｅｓｓ ＬＡＮ（ＷｉｒｅｌｅｓｓＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）、ブルートース（Ｂｌｕｅｔｏｏｔｈ）ネットワーク、ＮＦＣ（Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれるがこれに限定されはしない。

【0019】

下記で、少なくとも一つのという用語は単数および複数を含む用語と定義され、少なくとも一つのという用語が存在しなくても各構成要素が単数または複数で存在することができ、単数または複数を意味し得ることは自明と言える。また、各構成要素が単数または複数で備えられるのは、実施例により変更可能であり得る。

【0020】

少なくとも一つの使用者端末１００は、耳の形状を利用したイヤーチップ最適化サービス関連ウェブページ、アプリページ、プログラムまたはアプリケーションを利用して耳の形状を撮影してアップロードし、イヤーチップの推薦を受ける使用者（Ｕｓｅｒ）の端末であり得る。

【0021】

ここで、少なくとも一つの使用者端末１００は、ネットワークを通じて遠隔地のサーバーや端末に接続できるコンピュータで具現され得る。ここで、コンピュータは例えば、ナビゲーション、ウェブブラウザ（ＷＥＢ Ｂｒｏｗｓｅｒ）が搭載されたノートパソコン、デスクトップ（Ｄｅｓｋｔｏｐ）、ラップトップ（Ｌａｐｔｏｐ）等を含むことができる。この時、少なくとも一つの使用者端末１００は、ネットワークを通じて遠隔地のサーバーや端末に接続できる端末で具現され得る。少なくとも一つの使用者端末１００は、例えば、携帯性と移動性が保障される無線通信装置であって、ナビゲーション、ＰＣＳ（Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ ＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ＢｒｏａｄｂａｎｄＩｎｔｅｒｎｅｔ）端末、スマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、スマートパッド（Ｓｍａｒｔｐａｄ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）などのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含むことができる。

【0022】

最適化サービス提供サーバー３００は、耳の形状を利用したイヤーチップ最適化サービスウェブページ、アプリページ、プログラムまたはアプリケーションを提供するサーバーであり得る。そして、最適化サービス提供サーバー３００は、少なくとも一つのイヤーチップの形状およびサイズを含んだイヤーチップデータをデータベース化するサーバーであり得る。また、最適化サービス提供サーバー３００は、使用者端末１００から耳の形状を撮影してアップロードすると、耳を撮影した写真内の耳に対応する客体を探知、識別および抽出した後、３Ｄデータで復元するサーバーであり得る。そして、最適化サービス提供サーバー３００は３ＤデータでＡＲルーラー（Ｒｕｌｅｒ）を利用して耳の内部の少なくとも一つの特徴点（Ｆｅａｔｕｒｅ Ｐｏｉｎｔ）を検出し、特徴点内の予め設定された領域のサイズおよび形状を抽出するサーバーであり得る。また、最適化サービス提供サーバー３００は、使用者端末１００の耳の形状データとイヤーチップデータ間を比較することによって最適なイヤーチップを抽出および推薦するサーバーであり得る。

【0023】

ここで、最適化サービス提供サーバー３００は、ネットワークを通じて遠隔地のサーバーや端末に接続できるコンピュータで具現され得る。ここで、コンピュータは例えば、ナビゲーション、ウェブブラウザ（ＷＥＢ Ｂｒｏｗｓｅｒ）が搭載されたノートパソコン、デスクトップ（Ｄｅｓｋｔｏｐ）、ラップトップ（Ｌａｐｔｏｐ）等を含むことができる。

【0024】

少なくとも一つの売り場端末４００は、耳の形状を利用したイヤーチップ最適化サービス関連ウェブページ、アプリページ、プログラムまたはアプリケーションを利用する売り場の端末であり得る。売り場端末４００は、在庫情報を最適化サービス提供サーバー３００にアップロードする端末であり得る。

【0025】

ここで、少なくとも一つの売り場端末４００は、ネットワークを通じて遠隔地のサーバーや端末に接続できるコンピュータで具現され得る。ここで、コンピュータは例えば、ナビゲーション、ウェブブラウザ（ＷＥＢ Ｂｒｏｗｓｅｒ）が搭載されたノートパソコン、デスクトップ（Ｄｅｓｋｔｏｐ）、ラップトップ（Ｌａｐｔｏｐ）等を含むことができる。この時、少なくとも一つの売り場端末４００は、ネットワークを通じて遠隔地のサーバーや端末に接続できる端末で具現され得る。少なくとも一つの売り場端末４００は、例えば、携帯性と移動性が保障される無線通信装置であって、ナビゲーション、ＰＣＳ（Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ ＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ＢｒｏａｄｂａｎｄＩｎｔｅｒｎｅｔ）端末、スマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、スマートパッド（Ｓｍａｒｔｐａｄ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）などのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含むことができる。

【0026】

図２は図１のシステムに含まれた最適化サービス提供サーバーを説明するためのブロック構成図であり、図３および図４は本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービスが具現された一実施例を説明するための図面である。

【0027】

図２を参照すると、最適化サービス提供サーバー３００は、受信部３１０、検出部３２０、復元部３３０、抽出部３４０、推薦部３５０、センサ部３６０、測定部３７０、データベース化部３８０、構築部３９０、フィードバック保存部３９１、モデリング部３９３、感性分析部３９５、新製品開発部３９７、購入連結部３９９を含むことができる。

【0028】

本発明の一実施例に係る最適化サービス提供サーバー３００と連動されて動作する他のサーバー（図示されず）が少なくとも一つの使用者端末１００および少なくとも一つの売り場端末４００に耳の形状を利用したイヤーチップ最適化サービスアプリケーション、プログラム、アプリページ、ウェブページなどを伝送する場合、少なくとも一つの使用者端末１００および少なくとも一つの売り場端末４００は、耳の形状を利用したイヤーチップ最適化サービスアプリケーション、プログラム、アプリページ、ウェブページなどを設置または開くことができる。また、ウェブブラウザで実行されるスクリプトを利用してサービスプログラムが少なくとも一つの使用者端末１００および少なくとも一つの売り場端末４００で駆動されてもよい。ここで、ウェブブラウザはウェブ（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サービスを利用できるようにするプログラムであって、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋ－ｕｐ Ｌａｎｇｕａｇｅ）で叙述されたハイパーテキストを受信して表示するプログラムを意味し、例えばネットスケープ（Ｎｅｔｓｃａｐｅ）、エクスプローラ（Ｅｘｐｌｏｒｅｒ）、クロム（Ｃｈｒｏｍｅ）等を含む。また、アプリケーションは端末上のアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）を意味し、例えば、モバイル端末（スマートフォン）で実行されるアプリ（Ａｐｐ）を含む。

【0029】

図２を参照すると、図２を参照すると、図２を説明する以前に、２Ｄデータを３Ｄデータに変換する基本概念について説明する。以下で説明された内容は図２を説明する際に重複しない。

【0030】

＜ポイントクラウド＞

【0031】

ポイントクラウドとは、或る座標系に属した点などの集合である。３Ｄ座標系で点は一般的に（Ｘ、Ｙ、Ｚ）で定義され、Ｄｅｐｔｈイメージにポイントクラウドを適用して２Ｄ座標系を３Ｄ座標系に変換することができる。まず、２Ｄ座標系であるＤｅｐｔｈイメージを３Ｄ座標系に変換するために、Ｄｅｐｔｈイメージを撮影したカメラの内部パラメータ情報のうち焦点距離と２Ｄ Ｄｅｐｔｈイメージの座標、そしてＤｅｐｔｈ Ｖａｌｕｅを利用する。ここで焦点距離はカメラレンズからイメージセンサまでの距離である。例えば、カメラが球を撮影する時、球から反射する光はレンズを通過する。ここでレンズを通過した光はイメージセンサに像が結ばれることになり、球に対する２Ｄ Ｄｅｐｔｈイメージを得ることになる。２Ｄ Ｄｅｐｔｈイメージを利用して２Ｄ座標系から３Ｄ座標系に変換しなければならない。ここでＳｉｍｉｌａｒ ＴｒｉＡｎｇｌｅｓ Ｒｕｌｅを使って容易に変換することができる。ｆは焦点距離であり、ｕはＤｅｐｔｈイメージで物体が位置する座標であり、座標の原点はイメージの左上端ではなくイメージの中点であり、ｚは２Ｄ Ｄｅｐｔｈイメージで２Ｄ座標に該当するＤｅｐｔｈ Ｖａｌｕｅであり、ｘは３Ｄ座標系に変換した時の物体のＸ軸座標であると仮定すれば、これを以下の数学式１に代入して２Ｄイメージの中点から該当ピクセルまでのｘ軸方向の距離ｕを焦点距離ｆで割った値は、３Ｄ座標系でｘ座標をＤｅｐｔｈ Ｖａｌｕｅで割った値と同じであるのでｘ座標を推定することができる。そのため、２Ｄ ＤｅｐｔｈイメージのｕをＸ軸に対する３Ｄ座標に変換でき、前記のような方法をＹ軸に対しても繰り返せば２Ｄ座標系を３Ｄ座標系に変換することができる。

【0032】

【数1】

【0033】

＜座標変換＞

【0034】

座標変換とは、座標系上で一点の位置を他の位置に変換することである。コンピュータビジョンでは回転変換、拡大変換、移動変換を利用して多くのイメージ間のマッチング関係をモデリングすることができる。

【0035】

＜３Ｄ座標変換＞

【0036】

３Ｄ座標変換は３Ｄ空間上の座標軸の変換である。３Ｄ座標変換は３Ｄワールド座標系をカメラ座標系に変更したりカメラ座標系を３Ｄワールド座標系に変換して活用でき、この過程で常に座標軸を回転変換を通じて回転させた後、移動変換をしてカメラ座標系の点（Ｘ１、Ｙ１、Ｚ１）をワールド座標系の点（Ｘ、Ｙ、Ｚ）を求めることが目的である。３Ｄワールド座標系はＸ軸とＹ軸の平面が地面を示し、平面と垂直方向にＺ軸が定義されている。カメラ座標系はカメラの光学軸方向にＺｃ軸、光学軸から右側垂直方向にＸｃ軸、Ｘｃ軸とＺｃ軸の垂直方向にＹｃ軸と定義されている。

【0037】

回転変換はＸ軸、Ｙ軸、Ｚ軸を中心に３Ｄ空間上の点（Ｘ、Ｙ、Ｚ）をθだけ回転行列を利用して各軸の方向を基準として反時計回り方向に回転する。各軸を回転させる回転行列は数学式２、数学式３および数学式４の通りである。数学式２はＸ軸を基準として回転させる行列で、数学式３はＹ軸を基準として回転させる行列、数学式４はＺ軸を基準として回転させる行列である。数学式２～数学式４の回転行列を組み合わせて数学式５のような任意の３Ｄ回転を表現することができる。

【0038】

【数2】

【0039】

【数3】

【0040】

【数4】

【0041】

【数5】

【0042】

【数6】

【0043】

移動変換はカメラ座標系上の点（ＸＣ、ＹＣ、ＺＣ）をワールド座標系上の点（Ｘ、Ｙ、Ｚ）に変換するために回転変換後、このカメラ座標系をワールド座標系の方向に数学式６を利用して移動変換する。

【0044】

前述した基本概念に基づいて図２を参照すると、受信部３１０は、使用者端末１００から耳の形状を撮影した写真を受信することができる。使用者端末１００は、耳の形状を撮影した後にアップロードすることができる。

【0045】

検出部３２０は、写真内の耳に対応する客体を探知、識別および検出することができる。この時、客体認識（ＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ）は一つの特定イメージを入力した時、与えられたイメージを分析して特定の客体（Ｏｂｊｅｃｔ）の位置（Ｌｏｃａｔｉｏｎ）と種類（Ｃｌａｓｓ）を把握することである。客体検出アルゴリズムは、まず映像で客体の位置（Ｌｏｃａｌｉｚａｔｉｏｎ）を探さなければならず、その位置の客体がどのような物体なのかを分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）しなければならない。これを遂行するために多様な方法が試みられてきたが、最近単一段階（１－Ｓｔａｇｅ）検出方法と２段階（２－Ｓｔａｇｅ）検出方法に狭まっている。単一段階検出方法はすべての領域に対して位置検出と分類を同時に遂行する。二段階検出方法は概略的な位置検出を遂行し、選出された候補群で分類を遂行する。単一段階検出はすべての領域で客体の位置検出と分類を同時に遂行しているので、速度ははやいものの正確度は二段階検出方法より少々劣る短所が存在する。その反対に二段階検出器は客体位置検出と分類が順次なされるので、正確度は相対的に優れているが速度が遅いという短所を有している。この時、本発明の一実施例では、単一段階検出方法が速いことは速いものの、正確度が低いという点に基づいて２段階検出方法を利用することにする。もちろん、単一段階検出方法を排除するものではない。

【0046】

＜ポーズ変化に剛健な耳認識モデル＞

【0047】

実際の環境において、ポーズ変化に性能低下を防止するために耳の正面映像を獲得するためには、使用者に特定の行為を要求しなければならないが、これにより使用者は負担を感じ得る。このため、ポーズ変化に剛健であるように正面からポーズ変化、照明変化および一部に遮りなどが存在する多様な環境の耳写真および映像に対するデータベースを構築することができる。また、耳の形状のような固有な特性を考慮するために、前処理として入力映像にゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を遂行し、認識性能向上のためにＶＧＧ－１６とＲｅｓＮｅｔ５０モデル基盤特徴抽出およびスコアレベル基盤アンサンブル技法を利用することができる。

【0048】

＜前処理＞

【0049】

大体は映像の回転、明るさや強度調節、切り取り、ガウシアンブラーやノイズなどを適用して足りない映像数を追加するためのデータ増強を主に遂行するが、耳の横対縦比率、形などの耳の特性を考慮した前処理は珍しい。このため、正方形のＣＮＮモデル入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）に合わせて入力映像の大きさを変更する際に耳の形や構造に幾何学的変形が発生し得るので、本発明の一実施例では、原本映像の比率を維持し、ＣＮＮの正方形入力層の大きさに合わせて入力映像の大きさを変更する時に発生可能な幾何学的変形を防止するために、原本映像の横および縦の長さが同一となるようにゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を適用することができる。ＣＮＮモデル学習に使うデータを十分に確保するために映像内の一定の領域を切り出す増強（Ａｕｇｍｅｎｔａｔｉｏｎ）技法がよく使われるが、無作為で映像を切り出すと髪の毛、背景など、学習に必要でない領域が多いデータが獲得されることもある。したがって本発明の一実施例では映像の中心を基準としてカットを遂行してデータを確保することができ、８：２または７：３に分けて学習および検証データセットとして設定することができる。

【0050】

＜ＣＮＮ＞

【0051】

ディープラーニング基盤の非制約的環境に強靭な耳認識モデルを構築するために、ＡｌｅｘＮｅｔ、ＶＧＧ、ＳｑｕｅｅｚｅＮｅｔなどの多様なモデルを利用することができる。本発明の一実施例では、ポーズ変化に強靭なＣＮＮ基盤耳認識研究のためにＩＬＳＶＲＣ（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ－Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）でそれぞれ優秀な成績をおさめたＶＧＧ－１６とＲｅｓＮｅｔ５０を利用することができる。入力映像を表現する特徴ベクトルを構成するために、ＶＧＧ－１６で二番目の全連結層（Ｆｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）をＮ次元の特徴を抽出し、ＲｅｓＮｅｔ５０では最後の畳み込み層(（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）を経た後、平均プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）演算を遂行したＭ次元の特徴を抽出することができる。利用可能な学習データが少ない場合、ＩｍａｇｅＮｅｔなど大規模データベースで予め学習されたモデルを微細調整することが効果的な学習方法として広く知られている。これに伴い、本発明の一実施例でもＩｍａｇｅＮｅｔデータベースで予め学習（Ｐｒｅ－Ｔｒａｉｎｅｄ）されたＶＧＧ－１６とＲｅｓＮｅｔ５０モデルを初期モデルとして使って予め構築された耳データベースとして再学習することができる。

【0052】

＜アンサンブル＞

【0053】

アンサンブルは種々のモデルを結合して各モデルが有する情報を融合することによって性能を向上させる技法である。アンサンブルはデータレベル、特徴レベルなど多様に遂行され得るが、互いに異なる形態の特徴ベクトルまたはモデル結合時、最も一般的に利用される方法はスコアおよび決定レベルのアンサンブルである。Ｐｒｏｄｕｃｔ Ｒｕｌｅ、Ｓｕｍ Ｒｕｌｅ、Ｍｉｎ／Ｍａｘ Ｒｕｌｅ、Ｍｅｄｉａｎ Ｒｕｌｅ、Ｍａｊｏｒｉｔｙ Ｖｏｔｉｎｇなどの多様な方式でアンサンブルを遂行でき、一般的にＳｕｍ Ｒｕｌｅ方式がよい性能を示すと知られている。本発明の一実施例ではＶＧＧ－１６とＲｅｓＮｅｔ５０を結合するためにスコアレベルアンサンブルを利用することができる。このために学習データセットで同一人および他人の対を構成し、各対のコサイン距離（Ｃｏｓｉｎｅ Ｄｉｓｔａｎｃｅ）を計算することができる。そしてコサイン距離の平均および標準偏差値を計算して検証用データで両モデルのコサイン距離分布を正規化するために遂行するＺ－Ｓｃｏｒｅ正規化技法のパラメータとして利用することができる。正規化されたコサイン距離をアンサンブルを遂行するスコアとして利用してＳｕｍ Ｒｕｌｅ基盤最終スコアを計算することができる。

【0054】

復元部３３０は、検出された客体を３Ｄデータで復元することができる。この時、後述するが、使用者端末１００で撮影をする時にＴｏＦを利用するので、深さ情報および距離情報を得ることができ、これは３Ｄデータを生成する時に例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）をはじめとしてステレオカメラ、３Ｄスキャナ、ＲＧＢ－Ｄセンサなどの実世界の３次元情報を獲得する多様なセンサと技術から収集されたデータと同一である。この時、ＴｏＦで撮影されたＲＧＢＤ（ＲＧＢ＋Ｄｅｐｔｈ）イメージを３Ｄポイントクラウドに変換し、耳以外の部分とノイズを除去した後、耳全体のＡＲＫｉｔで得られたカメラ位置値と、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｔ Ｐｏｉｎｔ）アルゴリズムを利用してポイントクラウドを整合させる。一つのポイントクラウドを伝送して表面（Ｓｕｒｆａｃｅ）を復元する過程を経て、整合された耳をメッシュ（Ｍｅｓｈ）に変換することができる。この時、使用者端末１００はＴｏＦやＬｉｄａｒセンサが提供される端末と仮定し、ＭｅｔａｌＫｉｔを利用してＲＧＢＤをポイントクラウドに変換することができ、ＳｃｅｎｅＫｉｔを利用して３Ｄデータの復元を処理することができる。ポイントクラウド処理はＯｐｅｎ３Ｄライブラリーの機能を利用するためにＰｙｔｈｏｎＫｉｔをエンベディングして利用することができる。

【0055】

＜個別ポイントクラウド生成＞

【0056】

ＡＲＫｉｔを利用して使用者端末１００の前方ＴｏＦとＣｏｌｏｒカメラに接近することができる。この時、Ｇｒａｖｉｔｙオプションを活性化して使用者端末１００のワールド座標系のＹ軸が地球重力に平行となるようにする。以後ＡＲＦｒａｍｅでＣｏｌｏｒカメラとＴｏＦで得られたＲＧＢＤとカメラ内部（Ｉｎｔｒｉｎｓｉｃ）および外部（Ｅｘｔｒｉｎｓｉｃ）パラメータを利用してポイントクラウドを得ることができる。

【0057】

＜耳領域分割抽出＞

【0058】

ＡＲＫｉｔを利用して得たポイントクラウドは耳以外の髪の毛、首、顔などを含んでいるので耳に対応するＶｅｒｔｉｃｅを除いた残りを除去しなければならない。ＡＲＫｉｔでＧｒａｖｉｔｙオプションを利用した時に得られたポイントクラウドは底面がＹ軸に垂直である。これを利用して殆どのＶｅｒｔｉｃｅを除去することができる。また、ノイズなどを除去するためにＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ）アルゴリズムを利用してもよい。この過程はＰｈｔｈｏｎ基盤Ｏｅｐｎ３ＤとＮｕｍｐｙライブラリーを利用することができる。

【0059】

＜ポイントクラウド整合＞

【0060】

耳から３次元特徴点を利用したグローバルカメラ変数推定方法を利用することができる。またはＡＲＦｒａｍｅが生成されるとき撮影時に推定されたカメラ情報を提供するが、位置および姿勢情報に誤差を示し得る。これをそのまま使う場合、ポイントクラウド整合に対する正確度が過度に低くなり得る。このため、カメラ位置情報を適用した後、重なる部分の類似性を考慮したＩＣＰアルゴリズムを利用して整合を進行することができる。前述した過程もＰｙｔｈｏｎＫｉｔを利用することができ、Ｏｅｐｎ３ＤとＮｕｍｐｙライブラリーを利用することができる。このように整合されたポイントクラウドは３次元メッシュに変換され得、これに伴い、３Ｄデータが生成され得る。

【0061】

抽出部３４０は、３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップ（ＥａｒＴｉｐ）を抽出することができる。３Ｄデータに変換された耳の予め設定された領域のサイズを測定しなければならないが、このために顔の特徴点を抽出するのと同様に耳の特徴点を抽出しなければならない。イヤーチップが入る部位は定められているのでこの部位の形状およびサイズを測定しなければならない。このために、イヤーチップが挿入される領域のサイズおよび形状を抽出するために特徴点（Ｆｅａｔｕｒｅ Ｐｏｉｎｔ）を抽出することができる。図４ｆを参照すると、撮影される部分は外耳（Ｏｕｔｅｒ Ｅａｒ）部分であるが、外耳部分は耳介（Ｐｉｎｎａ）、外耳道（Ｅａｒ Ｃａｎａｌ）からなっている。ここで、耳介の内部から外耳道につながる部分までがイヤーチップが挿入され得る部分である。この部分を抽出するために耳介の内部領域および外耳道が始まる領域の特徴点を抽出した後、サイズおよび形状を抽出することができる。

【0062】

＜特徴点＞

【0063】

まず３Ｄデータで特徴となり得るエッジ（Ｅｄｇｅ）部分のみを検出する。エッジを検出するためにカンニーエッジ探知（Ｃａｎｎｙ Ｅｄｅｇ Ｄｅｔｅｃｔｉｏｎ）を利用することができ、２進映像で表現することができる。畳み込みニューラルネットワーク自己符号化器基盤の特徴抽出モデルを利用できるが、これは畳み込み２層（Ｌａｙｅｒ）、全連結層１階、隠れ層（Ｈｉｄｄｅｎ Ｌａｙｅｒ）３層で構成されている。入力端にはエッジが検出された２進映像を利用でき、各畳み込み層からはストライド２を適用し、プーリングはしない。隠れ層の最後の層の出力は耳映像の特徴として使い、特徴を抽出できるように構成することができる。以後、復号化部分は前述した構成を逆順で構成するものの、１次元形態の全連結層は２次元形態で再構成することができる。また、符号化過程に畳み込みの代わりにＤｅＣｏｎｖｏｌｕｔｉｏｎを利用して進行することができる。学習をする時には過剰適合を防止するために各層ごとにドロップアウトを適用でき、畳み込みニューラルネットワーク構造の活性化関数はＲｅｌｕを、全連結層以後の深層ニューラルネットワークではシグモイド（Ｓｉｇｍｏｉｄ）を適用することができる。このように完成されたモデルの学習において逆誤差伝播法のうちＡｄａｍオプティマイザを適用することができる。

【0064】

＜Ｌｉｄａｒ＞

【0065】

ライダを利用する場合、３Ｄモデリングは耳以外の顔、唇、鼻などの多様な客体の点群集データが混在されている状況で耳客体を分類および分割しなければならず、分離された耳客体でＭｏｄｅｌ Ｋｅｙ Ｆｅａｔｕｒｅを探す方法とＰｏｌｙｇｏｎ Ｍｅｓｈ形態で連結する方法を利用することができる。Ｍｏｄｅｌ Ｋｅｙ Ｆｅａｔｕｒｅは点群集データで特徴がある重要な点、線、面を言い、３Ｄモデリングのためには重要特徴を検出してどのような順序と関係で連結すべきであるかに対する位相構造（Ｔｏｐｏｌｏｇｙ）情報が必要である。Ｐｏｌｙｇｏｎ Ｍｅｓｈは多面体の形態を構成するポリゴンと頂点（Ｖｅｒｔｅｘ）の集合で３Ｄモデリングを遂行することを言い、点群集データですべての点が頂点であり、これらの関係を探して連結してポリゴンを作って３Ｄモデルを生成する。Ｍｏｄｅｌ Ｋｅｙ Ｆｅａｔｕｒｅ方法は点群集の重要な特徴のみを検出して３Ｄモデリングを遂行するので、生成された結果のデータの大きさが小さく形態を単純で明確に表現できるが、各特徴的要素を正確に検出し位相構造関係を探すことは難しい。その反対に、Ｐｏｌｙｇｏｎ Ｍｅｓｈ方法は点群集のすべての点を頂点として探索し、ポリゴンの形態で連結して３Ｄモデリングを遂行するので、ＴＩＮ（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）等のＰｏｌｙｇｏｎ Ｍｅｓｈ生成アルゴリズムで比較的容易に３Ｄモデルを生成することができる。このために、例えばｈｔｔｐｓ：／／ｐｏｌｙ．ｃａｍ／を利用できるが、最近アイフォーンにＬｉｄａｒセンサが装着されたことを利用して、アイフォーンにあるＬｉｄａｒセンサを利用して図３ｂ～図３ｊのように３Ｄに変換し、以下の表１のような各特徴点間の数値を測定する方法を利用することができる。もちろん、利用可能なアプリケーションは前述したものに限定されない。また、前述した方法の他にも多様な方法でライダデータから３Ｄモデルを生成できることは言うまでもない。

【0066】

推薦部３５０は、抽出されたイヤーチップを使用者端末１００に推薦することができる。使用者端末１００は、耳の形状に対応するイヤーチップの推薦を受けることができる。この時、イヤーチップの形状およびサイズもデータベース化されており、イヤーチップを設計する時の３Ｄデータが存在するので３Ｄデータ間の比較を通じて最も類似する形態およびサイズのイヤーチップを提供することができる。この時、イヤホンの設計上表記した特徴点やランドマーク（Ｌａｎｄｍａｒｋ）と耳の形状に対応する３次元データのランドマークを利用して、仮想で着用させた後に圧迫および余裕空間を分析することができる。また、イヤーチップの開始点から外耳道が始まる壁面までの距離を利用してイヤーチップの高さと幅が使用者の耳の形状に対応するかどうかを把握することができる。この時に使われる各ランドマークと各寸法は、図４ｇを参照すると、「Ｗｏｎｓｕｐ Ｌｅｅ、Ｘｉａｏｐｅｎｇ Ｙａｎｇ、Ｈａｙｏｕｎｇ Ｊｕｎｇ、Ｉｌｇｅｕｎ Ｂｏｋ、Ｃｈｕｌｗｏｏ Ｋｉｍ、Ｏｃｈａｅ Ｋｗｏｎ ＆ Ｈｅｅｃｈｅｏｎ Ｙｏｕ（２０１８） Ａｎｔｈｒｏｐｏｍｅｔｒｉｃ ａｎａｌｙｓｉｓ ｏｆ ３Ｄ ｅａｒ ｓｃａｎｓ ｏｆ Ｋｏｒｅａｎｓ ａｎｄ Ｃａｕｃａｓｉａｎｓ ｆｏｒ ｅａｒ ｐｒｏｄｕｃｔ ｄｅｓｉｇｎ、Ｅｒｇｏｎｏｍｉｃｓ、６１：１１、１４８０－１４９５、」に掲載されたランドマークと寸法を利用することができる。これは、以下の表１と同じであり得るがこれに限定されるものではない。

【0067】

【表1】

【0068】

センサ部３６０は、使用者端末１００で耳の形状を撮影する時、使用者端末１００に内蔵された赤外線を利用してＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）を利用して使用者端末１００のカメラと耳の形状間の距離を測定するようにすることができる。この時、ＴｏＦは信号を反射した後に客体から反射して戻ってくる信号を測定するが、この時にかかった時間を利用して客体の深さ（Ｄｅｐｔｈ）を推定する。イメージセンサですべてのピクセルに対して深さ情報を感知して信頼のある深さマップ（Ｍａｐ）を生成でき、これを利用して深さカメラや３Ｄスキャナではなくても２Ｄである写真に深さ情報を獲得することができ、これに伴い、Ｌｉｄａｒのように３Ｄデータを獲得できるようになる。これは前述した通りであるので、詳細な説明をしない。また、アンドロイド（登録商標）基盤で赤外線を利用したＴｏＦを基準として説明したが、ＬｉｄａｒセンサをＴｏＦで借用するｉＯＳを基準とする時には、前述したＴｏＦの他にもＬｉｄａｒを利用する方法も可能であり得る。測定部３７０は、３Ｄデータで復元した後、ＡＲルーラー（Ｒｕｌｅｒ）を利用して耳の内部の少なくとも一つの特徴点（Ｆｅａｔｕｒｅ Ｐｏｉｎｔ）を検出し、特徴点内の予め設定された領域のサイズおよび形状を抽出することができる。この時、特徴点は表１の論文のランドマークまたは各寸法と同一であり得るがこれに限定されるものではない。

【0069】

データベース化部３８０は、少なくとも一つのイヤーチップのサイズおよび形状をデータベース化することができる。

【0070】

構築部３９０は、複数の使用者端末１００から撮影された耳の形状が含まれた写真、３Ｄデータおよび耳のサイズおよび形状を累積してビッグデータで構築することができる。この時、使用者端末１００は複数の主体に帰属された複数の使用者端末１００であり得る。もちろん、代表的な耳映像データベースであるＵＳＴＢとＩＩＴＤデータベースを利用してもよいが、韓国人を対象とする場合には韓国人のデータベースを別途に構築する必要がある。これに伴い、販売される国、決済通貨などを利用してどの国で購入されたかを把握した後、人種別、国籍別などに分けてデータベースを構築してもよい。

【0071】

フィードバック保存部３９１は、複数の使用者端末１００でイヤーチップを購入した後にレーティングおよびレビューを記載する場合、複数の使用者端末１００の複数の耳の形状データ、購入イヤーチップのイヤーチップデータ、レーティングおよびレビューをマッピングして保存することができる。この時、人体工学的に合うイヤーチップとして抽出されたとしても、各使用者の使用形態、使用期間、使用時間などにより不便な場合もあれば不便でない場合もある。これに伴い、人口統計学的データの他に、使用形態、使用期間、使用時間、使用目的などを共に収集した後、どのような使用形態で、同一のイヤーチップであっても不便と感じるか気楽と感じることができるかに対するデータを分析することができる。例えば、ＡとＢが一卵性双子であるため同一のＺ耳の形状を有したと仮定し、同一の耳の形状にＣイヤーチップを購入したが、Ａは仕事をしながら聞き、Ｂは運動しながら聞く場合を仮定しよう。時間は同一であると仮定し、Ａは不便であったとしＢは気楽であったとすれば、Ｚ耳の形状にＣイヤーチップは仕事をしながら聞く時によいイヤーチップであり得、このような状況で購入する使用者に適合し得る。このように各耳の形状、推薦および購入されたイヤーチップ、使用パターン、評点および購入後期を継続して累積していれば、どの種類のイヤーチップがどの状況でさらに適合しているか、また、誰により似合うかを把握できる材料となるビッグデータが集まり得る。

【0072】

モデリング部３９３は、複数の耳の形状データ、購入イヤーチップのイヤーチップデータ、レーティングおよびレビューをマッピングしてデータセットを構築し、少なくとも一つの人工知能アルゴリズムを利用して耳の形状データを入力すればレーティングが高くレビューが肯定的なレビューであるイヤーチップデータを抽出するように学習および検証することができる。この時、少なくとも一つの人工知能アルゴリズムは多様なアルゴリズムが使われ得るためいずれか一つに限定しはしない。

【0073】

感性分析部３９５は、レビューから肯定または否定の感性分析のために少なくとも一つの言語モデルを利用することができる。このための言語モデルの場合、多重分類が可能であるように学習された自然言語処理基盤韓国語感性分析モデルであるＫｏＢＥＲＴ（Ｋｏｒｅａｎ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）であり得るが、これに限定されるものではない。文章の基本エンベディングモデルとしてＫｏＢＥＲＴを利用するものの、追加的に全連結層（Ｆｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）を連結してさらに低い次元の最終エンベディングベクトルを抽出することができる。以後、分類器を追加して細部感情分類課題を学習を進行することができる。損失関数の性能を比較するための基底モデル（Ｂａｓｅｌｉｎｅ Ｍｏｄｅｌ）では、全連結層とソフトマックス関数で構成された分類器を利用でき、メトリックラーニング基盤損失関数が追加されたモデルでは各クラスの中心エンベディングとの距離を基盤に最も近いクラスを正解として予測する分類器を利用することができる。

【0074】

新製品開発部３９７は、ビッグデータを新製品の開発の原始データとして利用するように提供することができる。

【0075】

購入連結部３９９は、推薦されたイヤーチップを販売する少なくとも一つのオンラインショッピングモールを抽出して使用者端末１００に提供し、イヤーチップを在庫で保有中のオフライン売り場を抽出した後、使用者端末１００の位置を基準として距離が近い順で羅列して使用者端末１００に提供することができる。

【0076】

以下、前述した図２の最適化サービス提供サーバーの構成による動作過程を図３および図４を例に挙げて詳細に説明することにする。ただし、実施例は本発明の多様な実施例のうちいずれか一つに過ぎず、これに限定されないことは自明と言える。

【0077】

図３ａを参照すると、（ａ）最適化サービス提供サーバー３００は少なくとも一つのイヤーチップサイズおよび形状をデータベース化し、（ｂ）のように使用者端末１００から耳の形状を撮影した写真のアップロードを受けると、写真内客体である耳を探知、識別および抽出してこれから３Ｄデータを復元する。そして、最適化サービス提供サーバー３００は（ｃ）のように、耳サイズおよび形状を抽出した後、（ｄ）のように最適なイヤーチップを抽出および推薦することができる。図３ｂの（ａ）を参照すると、最適化サービス提供サーバー３００はイヤーチップを購入した使用者端末１００からフィードバックを収集し、（ｂ）のように推薦アルゴリズムをモデリングすることができる。（ｃ）のように最適化サービス提供サーバー３００は推薦されたイヤーチップの購入のためのオンラインショッピングモールやオフライン売り場を連結させることができ、（ｄ）のように累積された耳の印象に対するデータを新製品の開発に利用することもできる。これを整理すると、図４ａの通りである。図４ｂの場合、耳の形状イメージから３Ｄデータを復元しこれに対応するイヤーチップを推薦するフローであるが、これに限定されるものではない。現在本発明の出願人は図４ｃの左側のような製品を製造、製作および販売するが、図４ｃの右側および図４ｄおよび図４ｅのような本発明の一実施例を遂行する場合はイヤーチップを自動で選定できるため迅速な購入意思決定を誘導し、返品率も低くすることができるため、収益の改善に助けとなり得る。図４ｇと図４ｆは本発明の一実施例に係る図面ではなく、耳の解剖学的構造、特徴点、サイズ、ランドマークなどを説明するために例示的に添付した図面であることを明確にする。

【0078】

このような図２～図４の耳の形状を利用したイヤーチップ最適化サービス提供方法について説明されていない事項は、先立って図１を通じて耳の形状を利用したイヤーチップ最適化サービス提供方法について説明された内容と同一であるか説明された内容から容易に類推可能であるため、以下では説明を省略することにする。

【0079】

図５は、本発明の一実施例に係る図１の耳の形状を利用したイヤーチップ最適化サービス提供システムに含まれた各構成相互間でデータが送受信される過程を示した図面である。以下、図５を通じて各構成相互間でデータが送受信される過程の一例を説明するが、このような実施例に本願が限定解釈されるものではなく、前述した多様な実施例により図５に図示されたデータが送受信される過程が変更され得ることは技術分野に属する当業者に自明である。

【0080】

図５を参照すると、最適化サービス提供サーバーは、使用者端末から耳の形状を撮影した写真を受信し（Ｓ５１００）、写真内の耳に対応する客体を探知、識別および検出する（Ｓ５２００）。

【0081】

また、最適化サービス提供サーバーは、検出された客体を３Ｄデータで復元し（Ｓ５３００）、３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップ（ＥａｒＴｉｐ）を抽出する（Ｓ５４００）。

【0082】

そして、最適化サービス提供サーバーは抽出されたイヤーチップを使用者端末に推薦する（Ｓ５５００）。

【0083】

前述した段階（Ｓ５１００～Ｓ５５００）間の順序は例示に過ぎず、これに限定されない。すなわち、前述した段階（Ｓ５１００～Ｓ５５００）間の順序は互いに変動され得、このうち一部の段階は同時に実行されたり削除されてもよい。

【0084】

このような図５の耳の形状を利用したイヤーチップ最適化サービス提供方法について説明されていない事項は、先立って図１～図４を通じて耳の形状を利用したイヤーチップ最適化サービス提供方法について説明された内容と同一であるか説明された内容から容易に類推可能であるため、以下では説明を省略することにする。

【0085】

図５を通じて説明された一実施例に係る耳の形状を利用したイヤーチップ最適化サービス提供方法は、コンピュータによって実行されるアプリケーションやプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能媒体はコンピュータによってアクセスされ得る任意の使用可能媒体であり得、揮発性および不揮発性媒体、分離型および非分離型媒体をすべて含む。また、コンピュータ読み取り可能媒体はコンピュータ保存媒体をすべて含むことができる。コンピュータ保存媒体はコンピュータ読み取り可能命令語、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性および不揮発性、分離型および非分離型媒体をすべて含む。

【0086】

前述した本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービス提供方法は、端末に基本的に設置されたアプリケーション（これは端末に基本的に搭載されたプラットフォームや運営体制などに含まれたプログラムを含むことができる）により実行され得、使用者がアプリケーションストアサーバー、アプリケーションまたは該当サービスに関連したウェブサーバーなどのアプリケーション提供サーバーを通じてマスター端末に直接設置したアプリケーション（すなわち、プログラム）によって実行されてもよい。このような意味で、前述した本発明の一実施例に係る耳の形状を利用したイヤーチップ最適化サービス提供方法は端末に基本的に設置されるか、使用者によって直接設置されたアプリケーション（すなわち、プログラム）で具現され、端末などのコンピュータで読み取り可能な記録媒体に記録され得る。

【0087】

前述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者は本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形が可能である。したがって以上で記述した実施例はすべての面で例示的なものであり限定的ではないものと理解されるべきである。例えば、単一型として説明されている各構成要素は分散されて実施されてもよく、同様に分散されたものとして説明されている構成要素も結合された形態で実施され得る。

【0088】

本発明の範囲は前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態も本発明の範囲に含まれる。

【要約】

【課題】耳の形状を利用したイヤーチップ最適化サービス提供システムを提供すること。
【解決手段】耳の形状を撮影した後にアップロードし、耳の形状に対応するイヤーチップの推薦を受ける使用者端末および使用者端末から耳の形状を撮影した写真を受信する受信部、写真内の耳に対応する客体を探知、識別および検出する検出部、検出された客体を３Ｄデータで復元する復元部、３Ｄデータで復元された耳の内部のサイズおよび形状に対応するイヤーチップ（ＥａｒＴｉｐ）を抽出する抽出部、抽出されたイヤーチップを使用者端末に推薦する推薦部を含む最適化サービス提供サーバーを含む。
【選択図】 図１

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図3d】

【図3e】

【図3f】

【図3g】

【図3h】

【図3i】

【図3j】

【図4a】

【図4b】

【図4c】

【図4d】

【図4e】

【図4f】

【図4g】

【図5】