特許 7257553 化粧品製品推奨のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-05

(45)【発行日】2023-04-13

(54)【発明の名称】化粧品製品推奨のための方法及び装置

(51)【国際特許分類】

   G06F 16/33 20190101AFI20230406BHJP

【ＦＩ】

G06F16/33

【請求項の数】 13

(21)【出願番号】P 2021572474

(86)(22)【出願日】2020-06-08

(65)【公表番号】

(43)【公表日】2022-08-03

(86)【国際出願番号】 US2020036713

(87)【国際公開番号】W WO2020247960

(87)【国際公開日】2020-12-10

【審査請求日】2022-01-14

(31)【優先権主張番号】16/435,023

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】513161449

【氏名又は名称】イーエルシー マネージメント エルエルシー

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】チランニ、ブランデン ガス

(72)【発明者】

【氏名】リー、チアチュン

(72)【発明者】

【氏名】タン、グレイス

(72)【発明者】

【氏名】イ、テウ

(72)【発明者】

【氏名】ヒーリー、ジョン ジョセフ

【審査官】原 秀人

(56)【参考文献】

【文献】特表２０１８－５２３２５１（ＪＰ，Ａ）

【文献】特開２０１８－１９４９０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２８３５６４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

製品を推奨するコンピュータ実装方法であって、
分析用の画像を受信することと、
ワード注釈のために前記画像の分析を要求することと、
１つ以上のタグとして生成された注釈付きワードを受信することと、
プロセッサを使用して、前記１つ以上のタグに対応する訓練されたワードベクトルの第１のセットを作成して、各ワードを前記１つ以上のタグからｎ次元空間内の対応するベクトルにマッピングすることと、
プロセッサを使用して、データベース内の１つ以上の製品説明に対応する訓練されたワードベクトルの１つ以上のセットを作成して、前記製品説明内の各ワードをｎ次元空間内の対応するベクトルにマッピングすることと、
前記訓練されたワードベクトルの第１のセットと、前記製品説明に対応する前記訓練されたワードベクトルの１つ以上のセットの各々との間の距離を計算することと、
前記計算された距離を比較して、前記受信された画像と前記製品説明との間の最良の一致を表す最も近い距離を判定することと、
前記比較に基づいて、製品推奨を自動的に生成することと、を含む、方法。

【請求項2】

前記訓練されたワードベクトルの第１のセットを作成することが、１つ以上のワードからベクトル表現を生成するために教師なし学習アルゴリズムを使用することを含む、請求項１に記載の方法。

【請求項3】

１つ以上の製品説明に対応する訓練されたワードベクトルの１つ以上のセットを作成することが、１つ以上のワードからベクトル表現を生成するために教師なし学習アルゴリズムを使用することを含む、請求項１に記載の方法。

【請求項4】

前記距離を計算することが、２つのワードベクトル間の余弦類似性を判定することを含む、請求項１に記載の方法。

【請求項5】

前記２つのワードベクトルが、前記訓練されたワードベクトルの第１のセットからのワードベクトルと、前記製品説明に対応する前記訓練されたワードベクトルの１つ以上のセットのうちのセットからのワードベクトルと、を含む、請求項４に記載の方法。

【請求項6】

前記訓練されたベクトルの第１のセットと、前記製品説明に対応する前記訓練されたワードベクトルの１つ以上のセットの各々と、の平均距離を計算することを更に含む、請求項５に記載の方法。

【請求項7】

前記計算された距離を比較することが、前記平均距離を比較して、前記最も近い距離を判定することを含む、請求項６に記載の方法。

【請求項8】

前記製品が、化粧品製品である、請求項１に記載の方法。

【請求項9】

前記化粧品製品が、芳香である、請求項８に記載の方法。

【請求項10】

製品推奨システムであって、
ユーザインターフェースと、
少なくとも１つの通信ネットワークと、
ラベル検出プラットフォームと、
少なくとも１つのアプリケーションプログラミングインターフェース（ＡＰＩ）であって、
前記ユーザインターフェースから分析用の画像を受信することと、
前記ラベル検出プラットフォームからのワード注釈のために前記画像の分析を要求することと、
前記ラベル検出プラットフォームから、１つ以上のタグとして生成された注釈付きワードを受信することと、
プロセッサを使用して、前記１つ以上のタグに対応する訓練されたワードベクトルの第１のセットを作成して、各ワードを前記１つ以上のタグからｎ次元空間内の対応するベクトルにマッピングすることと、
プロセッサを使用して、データベース内の１つ以上の製品説明に対応する訓練されたワードベクトルの１つ以上のセットを作成して、前記製品説明内の各ワードをｎ次元空間内の対応するベクトルにマッピングすることと、
前記訓練されたワードベクトルの第１のセットと、前記製品説明に対応する前記訓練されたワードベクトルの１つ以上のセットの各々との間の距離を計算することと、
前記計算された距離を比較して、前記受信された画像と前記製品説明との間の最良の一致を表す最も近い距離を判定することと、
前記比較に基づいて、製品推奨を自動的に生成することと、
前記少なくとも１つの通信ネットワークを介して前記ユーザインターフェースに前記製品推奨を送信することと、を行うための少なくとも１つのアプリケーションプログラミングインターフェース（ＡＰＩ）と、を備える、システム。

【請求項11】

前記少なくとも１つのネットワークを介して通信するように構成された１つ以上のユーザデバイスを更に備える、請求項１０に記載のシステム。

【請求項12】

前記１つ以上のユーザデバイスが、前記ユーザインターフェースを介して１つ以上のＡＰＩと通信する、請求項１１に記載のシステム。

【請求項13】

前記製品推奨が、前記ユーザインターフェースを介して前記１つ以上のユーザデバイス上に表示される、請求項１２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、カスタム推奨を提供するための方法及び装置に関し、より具体的には、１つ以上の画像に基づく化粧品製品推奨を提供するための方法及び装置に関する。

【背景技術】

【0002】

パーソナルケア又は化粧品製品など、カスタマイズ又は個人化された製品推奨の人気が高まっている。しかしながら、製品推奨を提供する既存の方法は、ユーザの選好に関する情報を得るための長い調査及び質問票を含む可能性がある。例えば、芳香選択の既存の方法は、直接のコンサルテーションを必要とするか、あるいは長い調査なしでの芳香製品の即時的な仮想推奨を可能にしないか、のいずれかである。したがって、消費者に製品推奨を提供するための改善されたプロセスが必要とされている。

【発明の概要】

【0003】

本明細書の実施形態は、画像に基づいて製品推奨を提供するためのシステム及び方法を提供する。

【0004】

一実施形態では、製品を推奨するコンピュータ実装方法は、分析用の画像を受信することと、ワード注釈のために画像の分析を要求することと、１つ以上のタグとして生成された注釈付きワードを受信することと、プロセッサを使用して、１つ以上のタグに対応する訓練されたワードベクトルの第１のセットを作成して、各ワードを１つ以上のタグからｎ次元空間内の対応するベクトルにマッピングすることと、プロセッサを使用して、データベース内の１つ以上の製品説明に対応する訓練されたワードベクトルの１つ以上のセットを作成して、製品説明内の各ワードをｎ次元空間内の対応するベクトルにマッピングすることと、訓練されたワードベクトルの第１のセットと、製品説明に対応する訓練されたワードベクトルの１つ以上のセットの各々との間の距離を計算することと、計算された距離を比較して、受信された画像と製品説明との間の最良の一致を表す最も近い距離を判定することと、比較に基づいて、製品推奨を自動的に生成することと、を含む。

【図面の簡単な説明】

【0005】

【図1】本明細書の実施形態による例示的な画像ベースの製品推奨方法を例解する。

【図2】図１の製品推奨方法の例示的なフロー図を示す。

【図3】本明細書の一実施形態による、画像ベースの製品推奨を提供するためのシステムを示す。

【図4】本明細書の一実施形態による、本発明の少なくとも１つ以上の構成要素又はステップを実装することができる例示的なコンピューティングデバイスを示す。

【図5】図１及び図２の画像ベースの製品推奨方法の例示的なプロセスフローを示す。

【図6】本明細書の一実施形態による、製品推奨を提供するために、画像を識別し、製品に一致させるためのプロセスのフロー図を示す。

【図7】本明細書の一実施形態による、製品推奨方法を実装するための例示的なユーザインターフェースを示す。

【発明を実施するための形態】

【0006】

本発明の実施形態は、本明細書では、例示的なネットワーク及びコンピューティングシステムアーキテクチャに関して説明される。しかしながら、本発明の実施形態は、これらの例示的なアーキテクチャに限定されることを意図するものではなく、むしろ、画像ベースの製品推奨が所望され得る、いかなるシステムにもより一般的に適用可能であることを理解されたい。

【0007】

本明細書で使用される場合、「ｎ」は、１よりも大きい任意の正の整数を示し得る。

【0008】

本明細書の一実施形態による製品推奨方法の概要を示す図１を参照すると、ユーザ１０１は、ユーザデバイス１０２上のユーザインターフェース１０３にアクセスして、推奨エンジン１０４を使用する。ユーザ１０１は、ユーザインターフェース１０３を介して、デバイス１０２を使用して画像をアップロードすることができる。ユーザインターフェース１０３は、ウェブサイト、ユーザデバイス１０２上のアプリケーション、又は現在既知であるか若しくは後に開発される任意の好適な手段であり得る。ユーザインターフェース１０３は、推奨エンジン１０４と相互作用し、推奨エンジン１０４からのアップロードされた画像に基づいて、少なくとも１つの製品推奨を受信する。製品推奨は、ユーザデバイス１０２のディスプレイ上に示される。ユーザデバイス１０２は、モバイルデバイス、コンピュータ、又は推奨エンジン１０４と相互作用することができる任意の好適なデバイスであり得る。画像ベースの製品推奨を実装するための方法及びシステムの詳細を以下に更に叙述する。

【0009】

図２は、図１の製品推奨方法のプロセスのフロー図を示す。具体的には、画像を受信し、画像に基づいて少なくとも１つの製品推奨を提供するための、図１のユーザインターフェース１０３において実装された、プロセス２００。ステップ２０１において、ユーザインターフェース１０３が、（例えば、ユーザデバイス１０２において）ユーザ１０１から画像を受信する。画像は、撮像デバイスを使用してユーザデバイスにおいてキャプチャされ得るか、又はユーザインターフェースを介したアップロードのためにユーザデバイスに記憶され得る。画像は、製品、製品の種類、又はユーザが推奨を要求している製品の特徴に関連する。例えば、製品が芳香である場合、画像は、ユーザにとって関心がある芳香の又は芳香に関連する特性（例えば、フローラル、クリーン、革など）を表すことができる。ステップ２０２において、アップロードされた画像及び要求が、ユーザインターフェース１０３によって推奨エンジン１０４に送信される。ステップ２０３において、ユーザインターフェース１０３が、ユーザデバイス１０２においてユーザ１０１にロード画面を表示する。ステップ２０４において、ユーザインターフェース１０３が、アップロードされた画像に基づいて、製品推奨の要求を推奨エンジン１０４に送信する。ステップ２０５において、ユーザインターフェース１０３が、推奨エンジン１０４から、製品推奨に対する最良の一致を受信する。ステップ２０６において、最良の一致の製品が、アップロードされた画像に基づく製品推奨としてユーザデバイス１０２上に表示される。

【0010】

図３は、上で説明される画像ベースの製品推奨方法の１つ以上のステップを実装することができるシステムの例示的な実施形態を示す。システム３００は、データベース３５０に結合された推奨エンジン３２０を含む。推奨エンジン３２０はまた、ネットワーク３０１を介して、１つ以上のサーバ３３０ａ．．．３３０ｎ、及び１つ以上のコンピューティングデバイス３４０ａ．．．３４０ｎに結合されている。ネットワーク３０１は、ローカルエリアネットワーク（local area network、ＬＡＮ）、インターネットなどのワイドエリアネットワーク（wide area network、ＷＡＮ）、セルラデータネットワーク、それらの任意の組み合わせ、又は本明細書の実施形態による推奨エンジン３２０、サーバ３３０ａ．．．３３０ｎ、コンピューティングデバイス３４０ａ．．．３４０ｎ、及びデータベース３５０の間の通信をサポートする接続及びプロトコルの任意の組み合わせであり得る。ネットワーク３０１は、有線、無線、又は光ファイバ接続を含み得る。推奨エンジン３２０（例えば、上で説明される推奨エンジン１０４）は、１つ以上のデータベース及び／若しくは１つ以上のデバイス（例えば、プリンタ、販売時点デバイス、モバイルデバイスなど）と通信してユーザ若しくは製品情報を記憶し、取り出すように構成された、サーバ又はコンピューティングデバイス上に存在するアプリケーションプログラミングインターフェース（Application Programming Interface、ＡＰＩ）であり得る。サーバ３３０ａ．．．３３０ｎは、管理サーバ、ウェブサーバ、プログラム命令を処理し、データを受信及び送信することができる任意の他の電子デバイス若しくはコンピューティングシステム、又はそれらの組み合わせであり得る。コンピューティングデバイス３４０ａ．．．３４０ｎは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、又は他のモバイルデバイスであり得る。一般に、コンピューティングデバイス３４０ａ．．．３４０ｎは、プログラム命令を処理し、データを送信及び受信し、ネットワーク３０１を介してシステム３００、推奨エンジン３２０、及びサーバ３３０ａ．．．３３０ｎの１つ以上の構成要素と通信することができる任意の電子デバイス又はコンピューティングシステムであり得る。データベース３５０は、製品情報、ユーザ情報、及び任意の他の好適な情報を含み得る。データベース３５０は、データを記憶するための、構造化クエリ言語（structured query language、ＳＱＬ）データベースを含むリレーショナルデータベースなど、任意の好適なデータベースであり得る。記憶されたデータは、定義されたスキームに従って編成されたデータセットである構造化データであり得る。データベース３５０は、推奨エンジン３２０及び１つ以上のサーバ３３０ａ．．．３３０ｎなどのシステム３００の１つ以上の構成要素と相互作用するように構成される。システム３００は、複数のデータベースを含むことができる。

【0011】

推奨エンジン３２０は、少なくとも１つのプロセッサ３２２を含み得る。プロセッサ３２２は、本開示の例示的な実施形態を実装するためのメモリに記憶されたコンピュータ可読及びコンピュータ実行可能命令若しくはソフトウェア、並びに他のプログラムを実行するように構成可能かつ／又はプログラム可能である。プロセッサ３２２は、モジュールのうちの１つ以上を実行するように構成された単一のコアプロセッサ又は複数のコアプロセッサであり得る。例えば、推奨エンジン３２０は、１人以上のユーザ及び又は１つ以上の外部デバイス、例えば、他のサーバ若しくはコンピューティングデバイスと相互作用するように構成された相互作用モジュール３２４を含むことができる。推奨エンジン３２０は、１つ以上の受信された画像に関連するデータを変換かつ／又は比較するためにＮＬＰアルゴリズムを実行するための自然言語処理（Natural Language Processing、ＮＬＰ）モジュール３２５を含むことができる。推奨エンジン３２０はまた、ＮＬＰモジュール結果に基づいて１つ以上の製品推奨を提供するための製品推奨モジュール３２６を含むことができる。次いで、推奨は、ユーザインターフェース上に表示され、かつ／又は１つ以上の外部デバイスに送信され、かつ／又は１つ以上のデータベースに記憶され得る。いくつかの実施形態では、ユーザが推奨からの製品のうちの１つ以上を選択する場合、相互作用モジュール３２４は、各製品の情報を取り出し、ユーザがユーザインターフェースを介して製品を購入することを可能にすることができる。

【0012】

図４は、例示的な実施形態による、本発明の１つ以上のステップ／構成要素が実装され得る例示的なコンピューティングデバイスのブロック図を示す。コンピューティングデバイス４００は、例示的な実施形態を実装するための１つ以上のコンピュータ実行可能命令又はソフトウェアを記憶するための１つ以上の非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体は、１つ以上のタイプのハードウェアメモリ、非一時的有形媒体（例えば、１つ以上の磁気記憶ディスク、１つ以上の光ディスク、１つ以上のフラッシュドライブ、１つ以上のソリッドステートディスク）などを含み得るが、これらに限定されない。例えば、コンピューティングデバイス４００のメモリ４０１は、コンピューティングデバイス４００の例示的な動作を実装するためのコンピュータ可読及びコンピュータ実行可能命令又はソフトウェア（例えば、上で説明されるアプリケーション及びモジュール）を記憶し得る。メモリ４０１は、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭなどのコンピュータシステムメモリ又はランダムアクセスメモリを含むことができる。メモリ４０１は、他のタイプのメモリ、又はそれらの組み合わせも含み得る。コンピューティングデバイス４００はまた、本開示の例示的な実施形態を実装するためのメモリ４０１に記憶されたコンピュータ可読及びコンピュータ実行可能命令若しくはソフトウェア、並びに他のプログラムを実行するように構成可能及び／又はプログラム可能なプロセッサ４０２を含み得る。プロセッサ４０２は、推奨エンジン３２０に関連して説明されたモジュールのうちの１つ以上を実行するように構成された単一のコアプロセッサ又は複数のコアプロセッサであり得る。コンピューティングデバイス４００は、入力／出力インターフェース４０５を介して、外部デバイス４２０、ディスプレイ４１０、及びコンピューティングデバイス３４０ａ．．．３４０ｎなどの入力／出力デバイスからデータを受信することができる。ユーザは、１つ以上のグラフィカルユーザインターフェース、マルチタッチインターフェースなどを表示し得る、コンピュータモニタ又はモバイルデバイス画面などのディスプレイ４１０を通して、コンピューティングデバイス４００と相互作用することができる。入力／出力インターフェース４０５は、キーボード、キーパッド、並びに、例えば、サムドライブ、ポータブル光学又は磁気ディスク、及びメモリカードなどのポータブルコンピュータ可読記憶媒体などの外部デバイス４２０への接続を提供し得る。コンピューティングデバイス４００はまた、本開示の例示的な実施形態を実装するデータ並びにコンピュータ可読命令及び／又はソフトウェア（例えば、推奨エンジン３２０について上で説明されるモジュール）を記憶するための、ハードドライブ、ＣＤ－ＲＯＭ、又は他のコンピュータ可読媒体などの１つ以上の記憶デバイス４０４を含み得る。コンピューティングデバイス４００は、標準電話線、ＬＡＮ若しくはＷＡＮリンク、ブロードバンド接続、無線接続、コントローラエリアネットワーク（controller area network、ＣＡＮ）、又は上記のいずれか若しくは全ての何らかの組み合わせを含むがこれらに限定されない様々な接続を通して、１つ以上のネットワーク、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はインターネットを介して、１つ以上のネットワークデバイスとインターフェース接続するように構成されたネットワークインターフェース４０３を含むことができる。

【0013】

図５は、本明細書に記載の方法を実装するためのシステム（例えば、システム３００）の様々な構成要素間の例示的なプロセスフローを示す。ステップ１において、ユーザ５０１が、ウェブサイト５０２などのユーザインターフェースに画像をアップロードする。ステップ２において、ウェブサイト５０２が、ユーザ画像を受信し、画像を含む要求をＡＰＩ５０３に送信する。ウェブサイト５０２は、Ｒｅａｃｔ、ハイパーテキストマークアップ言語（Hypertext Markup Language、ＨＴＭＬ）、カスケーディングスタイルシート（Cascading Style Sheets、ＣＳＳ）、ＪａｖａＳｃｒｉｐｔ（JavaScript、ＪＳ）、又はこれらの言語の組み合わせなど、様々な言語及び方法によってＡＰＩ５０３との相互作用のために実装及び構成することができる。ステップ３において、ＡＰＩ５０３が、画像を分析するようにとの要求をラベル検出プラットフォーム５０４に送信する。ラベル検出プラットフォーム５０４は、画像注釈を自動的に実行し、画像属性を抽出し、光学文字認識（optical character recognition、ＯＣＲ）、及び／又はコンテンツ検出を実行して、画像のワードラベル又はタグを生成するように構成される。例えば、ユーザがコーヒーカップの画像をアップロードした場合、ラベル検出プラットフォーム５０４は、画像を分析し、コーヒー、マグ、及び豆などのワードをタグとして戻すことができる。ラベル検出プラットフォーム５０４によって生成されたタグは、ステップ５においてＡＰＩ５０３に戻される。市販されている例示的なラベル検出プラットフォームは、Ｇｏｏｇｌｅ（登録商標）から入手可能なＧｏｏｇｌｅ Ｃｌｏｕｄ Ｖｉｓｉｏｎである。ステップ６において、ＡＰＩ５０３は、要求のステータスが処理中であるという応答をウェブサイト５０２に送信する。ステップ７において、ウェブサイトが、ユーザ５０１にロード画面を表示する。ステップ８において、ウェブサイトが、画像に基づく製品推奨（例えば、芳香推奨）の要求をＡＰＩに送信する。ステップ９において、ＡＰＩ５０３が、ラベル検出プラットフォーム５０４から受信されたタグに対してカスタムＮＬＰアルゴリズムを実行する。ＮＬＰアルゴリズムの詳細については、以下で図６に叙述する。ステップ１０において、ＡＰＩ５０３が、データベース５０６と通信し、タグをデータベース５０６内の製品説明と比較して、アップロードされた画像に基づく最良の一致の製品を戻す。ステップ１１において、ＡＰＩ５０３が、最良の一致の製品を含む応答をウェブサイト５０２に送信する。ステップ１２において、ウェブサイトが、推奨として最良の一致の製品を表示する。ステップ１３において、ユーザ５０１が、ユーザデバイスのディスプレイ上で推奨を見る。

【0014】

ウェブサイト５０２、ＡＰＩ５０３、及びラベル検出プラットフォーム５０４は、図３に示されるシステム３００内の同じ又は異なるサーバ上に実装することができる。ＡＰＩ５０３は、本明細書の一実施形態によれば、図３の推奨エンジン３２０として実装することができる。ユーザデバイスは、図３及び図４に示されるコンピューティングデバイスのうちの１つとして実装することができる。本明細書の実施形態において使用される１つ以上のＡＰＩを実装する際に使用できる言語は、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔ、又は任意の他のプログラミング言語である。

【0015】

図６は、本明細書の一実施形態による、図３のＮＬＰモジュール３２５などのＮＬＰモジュールを介して、図５のＡＰＩ５０３において実行されるＮＬＰアルゴリズムのフローチャートを示す。ステップ６０１において、ＡＰＩが、画像分析要求をラベル検出プラットフォーム又は任意の他の画像検出プラットフォームに送信する。ステップ６０２において、画像のタグが、ワード又は文字の形態で受信される。ステップ６０３において、ＮＬＰアルゴリズムが、ステップ６０４～６０６を実行する。このＮＬＰアルゴリズムは、ワード表現のために事前に訓練されたワードベクトルを使用する。ワードベクトルの商業的に利用可能な、スタンフォード大学から入手可能なＧｌｏＶｅ（Ｇｌｏｂａｌ Ｖｅｃｔｏｒｓ）教師なし学習アルゴリズムを使用して訓練されたもののセットである。ステップ６０４において、画像タグのリスト内のワードごとに、そのワードが、ｎ次元空間内のその対応するベクトルにマッピングされ、ｎは、任意の正の整数、好ましくは１００超であり得る。この関数は、辞書ルックアップのような関数である。ステップ６０５において、以下の比較を行う：データベース内の製品ごとに、ステップ６０４におけるのと同じ推論を適用し、ワードをベクトルに変換する。画像タグに対応するワードベクトルの第１のリスト、及び説明ワードに対応する第２のリストが生成される。次いで、画像タグ内のワードベクトルごとに、説明ワードにおける「最も近い」ワードベクトルまでの距離が判定され、この近接度は、ユークリッド又は余弦距離などの距離の空間的定義によって判定される。各ワードとその最も近い近傍との間の距離を考慮して、ＮＬＰアルゴリズムは、これらの距離の平均を見出し、これは、画像と製品との間の近接度として確定される。ステップ６０６において、距離の最も近い平均が、ユーザによってアップロードされた画像に基づく最良の製品一致であると判定される。ステップ６０７において、次いで、最良の一致が、製品推奨としてウェブサイト又はユーザインターフェースに戻される。最良の一致は、１つ以上の製品であり得る。

【0016】

以下の表１は、２つのワードリスト、及び上で説明されるＮＬＰアルゴリズムによって生成されたワード間の余弦距離の例示的な表現を示す。

【0017】

【表1】

【0018】

表１の行は、アップロードされた画像からラベル検出プラットフォーム５０４によって生成されたタグの例示的なセットを表す。表１の列は、データベース内の製品説明からのキーワードを表す。表中の値は、上で説明されるＮＬＰアルゴリズムによって生成された、アップロードされた画像に基づいて生成されたワード（各行）と、製品説明からのワード（列）との間の距離を表す。一例では、表１に示される数は、余弦類似性として計算される。各セルは、以下のように計算された：

【0019】

【数1】

式中、Ａ及びＢは、それぞれ行ワード及び列ワードに対応するベクトルである。値が高いほど、ワード間の距離は近くなり、ワード間の関連性及び一致は高くなる。例えば、行「男性」及び列「男性」に対応するセルは、正確な一致であるために１．００の値を有する。別の例として、行「スーツ」及び列「爽快な」に対応するセルは、－０．１８９の値を有し、これらの２つのワード間の低い相関を表す。

【0020】

上で説明されるように、ＮＬＰアルゴリズムは、これらの距離の平均を見出し、この平均は、画像と製品との間の近接度として確定される。このプロセスは、データベース内の各製品説明について繰り返すことができる。計算された平均に基づいて、最も近い距離平均が、最良の一致であると判定され、次いで、最良の一致に関連付けられた製品が、製品推奨としてウェブサイト又はユーザインターフェースに戻される。

【0021】

図７は、本明細書に記載の製品推奨方法を実装するためのユーザインターフェースの一例を示す。７１０に示されるように、ユーザデバイスは、ウェブサイト（又はデバイスアプリケーション）を介して画像をアップロードするためのインターフェースを表示する。画像７０２は、インターフェースを介してアップロードされる。この例では、ユーザは、画像に基づく芳香推奨を求めている。ウェブサイトは、画像を受信し、ウェブサイト及びＡＰＩは、図５及び図６において上で詳述されるステップを実行する。７２０に示されるように、画像から生成されたタグと最良に一致する説明を有する芳香が、ユーザデバイスのディスプレイ上に、推奨される芳香製品として表示される。次いで、ユーザは、ユーザデバイスから更なる情報を見出すこと、又は製品を購入することができる。

【0022】

図面中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、並びに動作を例解している。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表し得る。いくつかの代替の実装形態では、ブロックに記載された機能は、図に記載された順序から外れて行われ得ることにも留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され得るか、又はブロックは、関与する機能に応じて、逆の順序で時々実行され得る。ブロック図及び／又はフローチャート例解図の各ブロック、並びにブロック図及び／又はフローチャート例解図におけるブロックの組み合わせは、特定の機能又は行為を実行する専用ハードウェアベースのシステム、あるいは専用ハードウェアとコンピュータ命令との組み合わせによって実装することができることにも留意されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】