特許 7387259 画像からのユーザのライフ様式および嗜好情報の推測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-17

(45)【発行日】2023-11-28

(54)【発明の名称】画像からのユーザのライフ様式および嗜好情報の推測

(51)【国際特許分類】

   G06F 16/9035 20190101AFI20231120BHJP

   G06F 16/28 20190101ALI20231120BHJP

   G06F 16/908 20190101ALI20231120BHJP

   G06Q 30/0251 20230101ALI20231120BHJP

【ＦＩ】

G06F16/9035

G06F16/28

G06F16/908

G06Q30/0251

【請求項の数】 17

(21)【出願番号】P 2018211038

(22)【出願日】2018-11-09

(65)【公開番号】P2019102076

(43)【公開日】2019-06-24

【審査請求日】2021-11-08

(31)【優先権主張番号】15/828,037

(32)【優先日】2017-11-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ロバート・アール・プライス

(72)【発明者】

【氏名】アニルバン・ロイ

(72)【発明者】

【氏名】ホダ・エルダディリー

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１１－１３８４９２（ＪＰ，Ａ）

【文献】特開２０１７－２０４２４９（ＪＰ，Ａ）

【文献】特開２０１３－２３９１６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／００１６００１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ ３０／０２５１

(57)【特許請求の範囲】

【請求項1】

製品の推奨を決定および提供する方法であって、
ユーザの１つまたは２つ以上の画像と関連付けられた画像データを受信することと、
前記画像データから前記１つまたは２つ以上の画像の複数の視覚的特徴をコンピューティングすることと、
処理デバイスによって、前記複数の視覚的特徴から、部屋の様式を含む様式特性を推定することと、
ユーザと関連付けられた人口統計データを受信することと、
前記人口統計データから複数の人口統計特徴をコンピューティングすることと、
前記複数の人口統計特徴から人口統計特性を決定することと、
前記人口統計特性および前記様式特性を組み合わせて、組み合わせた人口統計特性および様式特性を生成することと、
前記処理デバイスによって、前記組み合わされた人口統計特性および前記様式特性に基づくライフ様式特性を推定することと、
前記処理デバイスによって、前記ライフ様式特性に基づくユーザの嗜好を推定することと、
前記ユーザの嗜好に基づく製品の推奨を決定することと、
前記ユーザと関連付けられたユーザデバイスに前記推奨を提供することと、を含む方法。

【請求項2】

前記推奨に基づいて、ネットワーク化されたデバイスと関連付けられた設定を調整することをさらに含む、請求項１に記載の方法。

【請求項3】

前記１つまたは２つ以上の画像の第１の画像および第２の画像が、それぞれ、異なる室内に関連付けられている、請求項１に記載の方法。

【請求項4】

前記様式特性、前記ライフ様式特性、および前記ユーザの嗜好を推定することが、機械学習を使用することを含む、請求項１に記載の方法。

【請求項5】

前記推奨を決定することが、前記ユーザの嗜好を、人口統計、または視覚的画像特徴および活気の少なくとも１つと比較することを含む、請求項１に記載の方法。

【請求項6】

前記ユーザと関連付けられたユーザの対話データを受信することと、
前記ユーザの対話データから複数の時間的特徴をコンピューティングすることと、
前記複数の時間的特徴からユーザ関与特性を決定することと、
前記ユーザ関与特性、前記人口統計特性、および前記様式特性を組み合わせて、組み合わせた人口統計、様式、およびユーザ関与特性を生成することと、
前記組み合わせた人口統計、様式、およびユーザ関与特性に基づいて、前記ライフ様式特性を決定することと、をさらに含む、請求項１に記載の方法。

【請求項7】

前記人口統計データが、前記ユーザの年齢、性別、場所、教育背景、仕事の詳細、経済水準、または子供もしくはペットの数のうちの少なくとも１つと関連付けられる、請求項１に記載の方法。

【請求項8】

前記人口統計データから複数の人口統計特徴をコンピューティングすることが、
前記人口統計データからノイズを濾過して、統計データのフィルタリングされたセットを生成することと、
１つのホット符号化を使用して、前記フィルタリングされた人口統計データのセットから前記人口統計特徴をコンピューティングすることと、を含む請求項１に記載の方法。

【請求項9】

前記ユーザの対話データが、ネットワーク化されたデバイスとの前記ユーザの対話と関連付けられる、請求項６に記載の方法。

【請求項10】

メモリと、
前記メモリに動作可能に連結された処理デバイスと、を備えた製品推奨システムであって、
ユーザの１つまたは２つ以上の画像と関連付けられた画像データを受信し、
前記画像データから前記１つまたは２つ以上の画像の複数の視覚的特徴をコンピュートし、
前記複数の視覚的特徴から、部屋の様式を含む様式特性を推定し、
ユーザと関連付けられた人口統計データを受信し、
前記人口統計データから複数の人口統計特徴をコンピューティングし、
前記複数の人口統計特徴から人口統計特性を決定し、
前記人口統計特性および前記様式特性を組み合わせて、組み合わせた人口統計特性および様式特性を生成し、
前記組み合わせた人口統計特性および前記様式特性に基づくライフ様式特性を推定し、
前記ライフ様式特性に基づくユーザの嗜好を推定し、
前記ユーザの嗜好に基づく推奨を決定し、
前記ユーザと関連付けられたユーザデバイスに前記推奨を提供する、製品推奨システム。

【請求項11】

前記推奨を決定するために、前記処理デバイスが、
前記ユーザの嗜好を、人口統計、または視覚的画像特徴および活気の少なくとも１つとさらに比較する、請求項１０に記載の製品推奨システム。

【請求項12】

前記処理デバイスが、さらに、
前記ユーザと関連付けられたユーザの対話データ受信し、
前記ユーザの対話データから複数の時間的特徴をコンピューティングし、
前記複数の時間的特徴からユーザ関与特性を決定し、
前記ユーザ関与特性、前記人口統計特性、および前記様式特性を組み合わせて、組み合わせた人口統計、様式、およびユーザ関与特性を生成し、かつ
前記組み合わせた人口統計、様式、およびユーザ関与特性に基づいて、前記ライフ様式特性を決定する、請求項１０に記載の製品推奨システム。

【請求項13】

前記人口統計データから複数の人口統計特徴をコンピューティングするために、前記処理デバイスが、さらに、
前記人口統計データからノイズを濾過して、統計データのフィルタリングされたセットを生成し、
１つのホット符号化を使用して、前記フィルタリングされた人口統計データのセットから前記人口統計特徴をコンピュートする、請求項１０に記載の製品推奨システム。

【請求項14】

前記ユーザの対話データが、ネットワーク化されたデバイスとの前記ユーザの対話と関連付けられる、請求項１２に記載の製品推奨システム。

【請求項15】

そこに格納された命令を有する非一時的コンピュータ可読記憶媒体であって、処理デバイスによって実行されるときに、前記処理デバイスに、
ユーザの１つまたは２つ以上の画像と関連付けられた画像データを受信させ、
前記画像データから前記１つまたは２つ以上の画像の複数の視覚的特徴をコンピュートさせ、
前記処理デバイスによって、前記複数の視覚的特徴から、部屋の様式を含む様式特性を推定させ、
ユーザと関連付けられた人口統計データを受信させ、
前記人口統計データから複数の人口統計特徴をコンピューティングさせ、
前記複数の人口統計特徴から人口統計特性を決定させ、
前記人口統計特性および前記様式特性を組み合わせて、組み合わせた人口統計特性および様式特性を生成させ、
前記処理デバイスによって、前記組み合わされた人口統計特性および前記様式特性に基づくライフ様式特性を推定させ、
前記処理デバイスによって、前記ライフ様式特性に基づくユーザの嗜好を推定させ、
前記ユーザの嗜好に基づく製品の推奨を決定させ、かつ
前記ユーザと関連付けられたユーザデバイスに前記推奨を提供させる、記憶媒体。

【請求項16】

前記製品が、ネットワーク化されたデバイスと関連付けられた香水である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記推奨を決定するために、前記処理デバイスが、
前記ユーザの嗜好を、人口統計、または視覚的画像特徴および活気の少なくとも１つとさらに比較する、請求項１６に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実装例は、ユーザのライフ様式および嗜好情報を画像から推測することに関する。

【図面の簡単な説明】

【0002】

記載された実施形態およびその利点は、添付図面と関連して行われる以下の説明を参照することによって最もよく理解され得る。

【図1】いくつかの実施形態に従って使用することができる推奨システムの実施形態の概略図である。

【図2A】いくつかの実施形態によるサンプル集団内の製品の例示的な分布を示すグラフ図である。

【図2B】いくつかの実施形態による例示的な製品評点分布を示すグラフ図である。

【図3】いくつかの実施形態により画像からユーザライフ様式および嗜好情報を推測する方法を示すグラフィカルフローチャートである。

【図4】いくつかの実施形態によりモデルハイパーパラメータの関数としての例示的な誤差を示すグラフ図である。

【図5】いくつかの実施形態により画像からユーザライフ様式および嗜好情報を推測する方法の実施形態のフローチャートである。

【図6】いくつかの実施形態により、画像からユーザライフ様式および嗜好情報を推測する方法の実施形態のフローチャートである。

【図7】本明細書に記載の実施形態を実装し得る例示的なコンピューティングデバイスを示す図である。

【0003】

いくつかの実施形態において、ユーザが製品の様々なバージョンで殆ど、または全く経験のない製品を選択するのを助けるために（例えば、ユーザが、香水、食品デバイスのための調味料、音楽デバイスのための音楽を選択するのを助けるために）、ユーザは、自宅の内部の画像を推奨システムにアップロード、または別の方法で送信することができる。画像は、ユーザが享受することができる製品を推奨するために推奨システムによって使用され得る。

【0004】

一実施形態において、製品選択を助けるために、推奨システムの処理論理は、モダリティ全体にわたるパーソナリティ嗜好における相関を利用することができる。例えば、人が明るい奇妙なインテリアデザインを好むなら、おそらく彼らは奇妙な製品も好むだろう。

【0005】

様々な実施形態で本明細書に記載されるように、推奨システムの処理論理は、ユーザの１つまたは２つ以上の画像と関連付けられた画像データを受信し得る。一実施形態において、ユーザは、１つまたは２つ以上の画像を推奨システムにアップロードすることができる。次に、処理論理は、画像データから１つまたは２つ以上の画像の多数の（例えば、本明細書で「特徴」とも称される）視覚的特性を計算し得る。視覚的特性は、例えば、家具、装飾、寸法、色などを含み得る。処理論理は、処理デバイスによって、多数の視覚的特徴から様式特性を推定し得る。例えば、処理論理は、画像が特徴に基づいて「田舎」様式の部屋を表す、と判定し得る。

【0006】

処理論理はまた、処理デバイスによって、様式特性に基づくライフ様式特性を推定することもできる。一実施形態において、ライフ様式特性は、「乱雑な」、「清潔な」、「豊かな」、「ペットオーナー」などの特性を含み得る。処理論理は、処理デバイスによって、ライフ様式特性に基づくユーザの嗜好を推定し得る。ユーザの嗜好は特定の製品と関連付けられ得る。処理論理は、ユーザの嗜好に基づく製品（例えば、特定の香水、調味料など）の推奨を決定して、ユーザと関連付けられたユーザデバイスに推奨を提供し得る。トレーニングの間、処理論理は、様々な可能性のあるライフ様式特性を予測するモデルをトレーニングし得る。処理論理は、第２のモデルをトレーニングして、これらの特性を、関心のある製品カテゴリで利用可能なオプション以上に嗜好にマッピングすることができる。一実施形態において、第２のモデルのトレーニングデータは、消費者の満足度モデルから受信され得る。

【0007】

いくつかの実施形態において、本明細書に記載されるネットワーク化されたデバイス、システム、製造品、および方法は、画像、テキスト、ビデオ、オーディオなどの経験的コンポーネント（例えば、消費者にオンラインで利用可能な典型的な媒体によって容易に記載することができないもの）を有する任意の製品（例えば、製品）に等しく適用可能である。さらに、「ネットワーク化されたデバイス」が本明細書で使用されるが、本明細書に記載されるシステム、製造品、および方法は、任意のネットワーク化されていないデバイスに同様に等しく適用可能である。

【0008】

図１は、本開示の実装と共に使用するための推奨システム１００を示す図である。具体的なコンポーネントが推奨システム１００に開示されているが、このようなコンポーネントは例であることを理解されたい。すなわち、本発明の実施形態は、様々な他のコンポーネント、または推奨システム１００に列挙されたコンポーネントの様々な変形例に十分適している。推奨システム１００のコンポーネントは、提示されたもの以外の他のコンポーネントで動作してもよく、推奨システム１００の目的を達成するために、推奨システム１００のコンポーネントの全てが必要とされない場合があることが理解される。

【0009】

図１において、推奨システム１００は、１つまたは２つ以上ユーザの画像と関連付けられた画像データ１１８を受信し得る。画像データ１１８は、１つまたは２つ以上の画像の論理的表現であってもよい。一実施形態において、２つの画像は論理を処理することによって受信され、各画像はユーザに関連付けられた異なる室内のもの（描写、表示など）である。別の実施形態においては、同じ室内の単一の画像または複数の画像が受信される。画像データは、推奨システム内のデータストア内に格納され得る。

【0010】

推奨システム１００の視覚的特徴コンピュータ１１２は、画像データ１１８から１つまたは２つ以上の画像の複数の視覚的特徴を計算する。一実施形態において、１つまたは２つ以上の画像の視覚的特徴は、１つまたは２つ以上の画像の可視物体であってもよい。例えば、家具、ペット、車、食品、エレクトロニクス、塗料色、床様式などは、視覚的特徴コンピュータ１１２によって計算された視覚的特徴であり得る。視覚的特徴コンピュータ１１２は、視覚的特徴を計算するために、コンピュータビジョン、物体認識、機械学習、および他の技法を利用し得る。一実施形態において、計算された視覚的特徴の数が定義された閾値を下回る場合、その画像は使用されない場合があることを示すエラーメッセージがコンピューティングデバイス（例えば、アップロードユーザと関連付けられたユーザデバイス１６０）に送信され得る。

【0011】

いくつかの実施形態において、ユーザデバイス１６０は、スマートホームハブ、スマートフォンもしくはタブレットなどのモバイルデバイス、コンピュータ、または別のタイプのデバイスであってもよい。ユーザデバイス１６０は、ネットワーク化されたデバイス１５０の制御に具体的なアプリケーションを含み得、またはユーザデバイス１６０は、ネットワーク化されたデバイス１５０の動作をウェブブラウザまたは他のアプリケーションを越えて制御し得る。いくつかの実施形態において、ネットワーク化されたデバイス１５０の特徴、構成、または設定のうちの少なくとも一部を各々制御することができる複数のユーザデバイス１６０が存在し得る。

【0012】

特性および嗜好推定器１１４は、視覚的特徴コンピュータ１１２によって計算された複数の視覚的特徴からの様式特性を推定し得る。（本明細書では、中間レベル表現の屋内様式とも称される）様式特性は、本明細書に記載のように、部屋の様式を含み得る。特性および嗜好推定器１１４は、様式特性に基づく、（本明細書では中間レベル表現の感情とも称される）ライフ様式特性を推定し得る。一実施形態において、特性および嗜好推定器１１４は、特定のライフ様式を示唆する写真内の物体を識別する。

【0013】

特性および嗜好推定器１１４は、ライフ様式特性（例えば、および様式特性）に基づくユーザの嗜好を推定し得る。次に、特性および嗜好推定器１１４は、ユーザの嗜好に基づく製品の推奨を決定して、ユーザと関連付けられたユーザデバイス１６０に推奨を提供し得る。一実施形態において、推奨は、過去のユーザフィードバック、すなわち、様々な製品間の類似性特性、または複数のユーザの人口統計特性の間の類似性特性（例えば、人口統計データ１２０）に基づき得る。一実施形態において、推奨は、（利用可能な製品データ１２２から選択された）香水に対するものである。（例えば、ユーザの嗜好、事前購入履歴など）ユーザデータ１２４は、今後に使用するため推奨システム１００に格納され得る。

【0014】

一実施形態において、情報がシステムに提供され得る別のメカニズムは、画像または映像から抽出された視覚的特徴と、消費者から正式に要求された情報との間の相関関係を考察することである。一実施形態において、パーソナリティテストを代表サンプルに提供して、消費者プロファイルを取得し、次に、視覚的特徴からプロファイルを予測することを学習することができる。処理論理は、次に、心理学的プロファイルを製品の嗜好と関連付けることができる。別の実施形態においては、処理論理は、様々な分類器を使用して視覚的特徴と製品の嗜好との間の関係を直接モデル化し得る。

【0015】

いくつかの実施形態において、推奨システム１００の個々のコンポーネントは、互いに動作可能、通信可能に結合され得る。例えば、コンポーネントは互いにデータを提供し得る。加えて、データストア１１８、１２０、１２２、および１２４を、推奨システム１００の他のコンポーネントに通信可能または動作可能に結合することができる。様々な実施形態において、推奨システム１００のコンポーネントは、ネットワーク１４０を介してネットワークデバイス１５０およびユーザデバイス１６０に動作可能または通信可能に結合されてもよい。様々な実施形態において、推奨システム１００のコンポーネントは、図１に示されている以外の他の方法で動作可能または通信可能に結合されてもよい。

【0016】

図２Ａは、いくつかの実施形態におけるサンプル集団内の製品の例示的な分布を示すグラフ図２００である。示されるように、消費者の満足度データを分析して、どれほどの顧客（例えば、２０２）が、サンプリングされた製品（例えば、２０４）の各々を享受するかを判定し得る。一実施形態において、図２Ａは、データ品質を決定するために使用される診断の一部分を論証する。処理論理は、信頼できるモデルを構築するために、全ての製品から十分なサンプルを利用可能にするようにすることができる。

【0017】

一例において、調査に回答する１２１人の被験者がおり、そのうちの１１３人が製品データを提供した。被験者は、様々な異なる製品（例えば、１～１４）にわたって広がっていた。この例では、製品番号０は、どの製品も被験者によって報告されないことを示すために使用され得る。人気の製品は、製品番号１および製品番号１１を含み得る。この例において、ユーザは、プロンプト「選んだ製品が好きです。」に応じて、デバイスで受信した製品を、１（強く同意しない）から５（強く同意する）までの５つのポイント段階で評価した。製品評点の分布が図２Ｂに取り込まれている。

【0018】

図２Ｂは、いくつかの実施形態に対する例示的な製品評点分布を示すグラフ図２０１である。この例において、回答者２０３の約３分の２が製品を「４」に評価した（例えば２０３）。これから考えられる１つの推論は、ほとんどの人が受信した製品について一般に肯定的だったということである。一実施形態において、これは、ユーザの評点を見積もることがそれほど難しくないことを示唆している。例えば、平均の製品評点は３．８９３８であった。全ての被験者の評点を予測する平均として３．８９３８を使用すると、そのような評点における平均誤差の平均は、０．６７１２、または単一の評価点未満であり得る。本開示の実施形態は、（例えば、平均誤差の平均を減少させることによって）、上記の見積り以上に精度および信頼性を向上させることができる。

【0019】

一実施形態において、情報はネットワーク化された、またはネットワーク化されていないデバイスのユーザから受信され得る。以下の表１は、受信され得る情報のいくつかを表すが、全てのタイプの情報を表すわけではない。

【0020】

【表1】

【0021】

一実施形態において、上記の情報を使用して、対象製品（例えば、製品）の評価をよりよく予測することができる。

【0022】

一実施形態において、様々な方法を使用して、ユーザおよび製品に関付けられた特性から評価を予測し得る。方法および結果のいくつか（必ずしも全てではない）が表２に要約されている。表２の追加の説明は、以下のサブセクションに表示される。

【0023】

【表2】

【0024】

一実施形態において、モデルの品質を評価するためにリードオン・オン・アウト（ｌｅａｖｅ－ｏｎｅ－ｏｕｔ）交差検証を利用することができる。第１の製品のユーザの評価は、選択された特定の製品に基づいて予測され得る。人は、これを製品の好き嫌いに対する一般的な傾向と考えるかもしれない。この分析は、様々な種類の製品が好きな人のタイプに関する情報を提供する場合がある。一実施形態において、各被験者について、その被験者に対応する行を集団データセットから除去することができる。モデルは、評価のための予測因子を構築するために残りの行に適合され得る。この予測因子は、保留されたユーザの評価を予測するために使用され得る。モデルによって予測された評価は、調査データ内のユーザの実際の評価と比較され得る。予測された評点と実際の評点との間の数値の差は、評価誤差である可能性がある。このプロセスは、各被験者（Ｘ個の別個のモデルを構築する）について繰り返され、評価における平均絶対誤差が計算され得る（例えば、表２参照）。

【0025】

多形回帰の場合、例えば、「ｍｎｒｆｉｔ」コマンドは、マットラボ（Ｍａｔｌａｂ）統計および機械学習ツールボックスから使用され得る。評点は順序関係を有するため（例えば、３と４は近いが、１と５は離れている）、順序オプションを使用してモデルを適合させることができる。「ｍｎｒｖａｌ」関数を使用して、適合にない新たな属性からの評点分布を予測することができる。

【0026】

一実施形態において、（例えば、背景の人口統計、部屋のタイプ、および背景の特徴を含み得る）３つの特徴グループを使用して、製品の評価を予測することができる。平均評価誤差０．１３２３という評価点を計算することができ、これは、上記の０．６７１２の評価点誤差のナイーブな母集団平均予測未満に誤差を有意に減少させる。

【0027】

任意の数の特徴を様々なユーザに使用することができる。例えば、モデルの動作を背景の人口統計および部屋の特徴のみで実行すると、０．１１５７という低い平均評価誤差をもたらし得る。様々な特徴の計算上の重み付けを理解するために、ロジスティック回帰特徴係数のｐ－値分析を行うことができる。ｐ－値は、可視データが与えられた場合に係数がゼロになる確率を提供することができる。ｐ－値は表３に要約されている。

【0028】

【表3】

【0029】

一実施形態において、最後の属性「明るい」は、～０．９のｐ－値を有し、これは、そのデータが与えられればゼロになる可能性が高い。第１の属性「エネルギッシュな」は、～０．００１のｐ－値を有し、ゼロである可能性は非常に低いことを示すため、この属性はモデルで役割を果たす可能性が高い。

【0030】

一実施形態において、Ｐ－値分析は、効果がどの程度信頼できるかを示すが、その大きさは示さないかもしれない。分析の第２の態様は、属性の係数の大きさを含み得る。大きさの分析は、評価への影響が正か負か、および評価への属性の影響の相対的な大きさを表し得る。一例において、係数は表４に要約されている。

【0031】

【表4】

【0032】

有意であり、大きな効果を有する要因のサブセットが表５に示されている。

【0033】

【表5】

【0034】

注目すべき点は、これらの要因の多くは従来の人口統計要因ではなく、様式に関連していることである。興味深いことに、家の所有と世帯内の成人の人数は、製品の評価と負の相関があり得る。

【0035】

図３は、いくつかの実施形態による、画像からユーザのライフ様式および嗜好情報を推測する方法を示すグラフフローチャート３００である。例えば、図３を参照して記載されたプロセスは、図１を参照して記載されたように、推奨システム１００の処理論理によって行うことができる。

【0036】

一実施形態において、人口統計情報は、嗜好適合モデルに直接伝達することができる。人口統計情報は、いくつかの中間表現．では表現できない場合がある。ブロック３０１において、データを処理論理（例えば、図１の推奨システム１００）によって受信することができる。データは、ユーザによって提出され、外部のデータベースまたはサーバ、および／またはローカルのデータベースまたはサーバから取り出され得る。一実施形態において、データは様々なタイプであり得る。様々な実施形態において、データは、ユーザに関連付けられた画像３０２であってもよい。例えば、ユーザに関連付けられた室内を描写する画像３０２は、ユーザに製品を推奨する際に使用するために、処理論理によってアップロードされ、かつ受信されてもよい。画像は、例えば、ファミリールーム、リビングルーム、ベッドルーム、ダイニングルーム、キッチン、またはバスルームを描写する（例えば、示す）ことができる。別の実施形態においては、画像は、ユーザと関連付けられた屋外空間（例えば、裏庭／パティオまたは前庭／ポーチ）を示すことができる。別の実施形態画像においては、画像には部屋以外の対象が含まれることがある。例えば、画像は、（例えば、磁器像、楽器、自転車などの）物体を含むことができる。

【0037】

別の実施形態において、人口統計データ３０３は、ブロック３０１において処理論理によって受信されてもよい。人口統計データ３０３は、所得、家族状態（例えば、既婚／独身、子供の数など）、年齢、性別、住所、ペット所有などに関連するデータを含むことができるが、これらに限定されない。人口統計データ３０３は、即時推奨システムの外部のサーバまたはデータベースから受信することができる。別の実施形態においては、人口統計データ３０３は、システムにローカルなサーバまたはデータベースから受信され得る。

【0038】

ブロック３０４において、処理論理は、ブロック３０１で受信されたデータからユーザの中間レベル表現を生成し得る。一実施形態において、中間レベル表現は、受信された画像（例えば、画像３０２）と関連付けられた、およびから決定された屋内様式（例えば、古典的、近代的、現代的、田舎風、都会的／工業的など）であり得る。別の実施形態において、中間レベル表現は、受信された画像（例えば、画像３０２）と関連付けられた、およびから決定された感情（例えば、清潔、乱雑など）であり得る。一実施形態において、サポートベクトルマシン（ＳＶＭ）、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、および深層学習（深層ニューラルネットワーク）などの機械学習フレームワークを使用して、１つの画像または画像セットから中間レベル表現を生成し得る。

【0039】

本実施形態において、２つ以上のレベルが存在し得る。第１に、従来の低レベルの特徴を画像画素に適用することができる。これらには、ＳＩＦＴ、ＳＵＲＦ、ＨＯＧなどの動作が含まれる。次に、ＳＶＭをこれらの機能に適用して、上記で詳述したような高レベル意味クラスを生成することができる。一実施形態において、機械学習は、受信された人口統計データまたは代わりに、任意の受信された画像との組み合わせから中間レベル表現を生成するために使用され得る。

【0040】

ブロック３０５において、最終予測（例えば、製品推奨）が中間レベル表現に基づいて生成される。一実施形態において、最終予測は、ネットワーク化されたデバイスと関連付けられた製品予測（例えば、推奨）である。別の実施形態において、最終予測は、製品（例えば、類似の製品）のセット、またはネットワーク化されたデバイス自体である。最終予測は、製品の嗜好、製品の評価、製品のレビュー、製品の価格、アプリケーションのレビューなどに基づき得る。最終予測は、ユーザの嗜好をよりよく理解し、製品を推奨し、（例えば、ネットワークデバイスなどの）製品設定を自動的に調整し、積極的なサポートを提供するためなどに使用されてもよい。図３の動作の追加の説明は、図４～６に関して提供される。

【0041】

図４は、いくつかの実施形態によりモデルハイパーパラメータの関数としての例示的な誤差を示すグラフ図４００である。一実施形態において、本明細書に記載される製品推奨動作には、消費者が好きかもしれない製品の推奨を行うために、消費者に関する情報が利用され得る。一実施形態において、共同フィルタリングを使用して推奨を行うことができる。共同フィルタリングには、例えば、「Ｘと同様のものを購入した人」に基づく推奨が含まれ得る。一実施形態において、共同フィルタリングは、購入履歴をまだ確立していない新規ユーザに製品を推奨する場合には、有効ではない可能性がある。好都合なことに、本明細書で説明されているような属性に基づく推奨フレームワークが、このような状況で使用され得る。属性に基づく推奨システムは、消費者および製品に関連付けられたプロパティを使用して、過去の購入を利用する代わりに、またはこれと併せて推奨動作を行うことができる。

【0042】

一実施形態において、最近傍回帰のハイブリッド形式を使用して推奨を提供することができる。最近傍モデルにおいて、消費者の属性（例えば、誰のためにそれを予測するのか）は、類似の近傍を見つけるために集団内で以前に見られた消費者の属性と比較することができる。それらの製品評点の平均を計算して、新しい消費者の予測を形成することができる。ごく少ない近傍を使用する場合、結果の分散が大きくなる可能性がある。あまりにも多くの近傍が使用される場合、別個の部分集団のぼけが生じ得、精度（例えば、４０１）が低下する可能性がある。

【0043】

一実施形態において、最近傍の属性が収集されたとき、それらの近傍に関連付けられた製品を決定することができる。大規模なデータセットにおいて、大規模な近隣は、これらの近隣で多くの異なる製品およびそれらの評価の例を示し得る。各近隣の各製品の平均評点を計算し、予測評点として使用することができる。小規模なデータセットにおいて、ローカルな近隣には多くの対象が存在しない場合があり、具体的な製品がこの近隣で評価されない場合がある。好都合なことに、本明細書に記載される動作は、製品が互いに特性を共有し得る（例えば、互いに関連する）という洞察に基づく一般化を生成するために使用され得る。

【0044】

一実施形態において、ユーザが好むかもしれない各潜在的な製品の得点は、近傍の製品の加重平均に基づいて計算されてもよい。一実施形態において、この重みは、近隣製品に予測される製品の類似性に依存する。これにより、すぐ近くの近隣の誰かがその正確な製品を試していなくても、ユーザが新製品がどれだけ好きなのかを見積もることができる。

【0045】

例えば、消費者に推奨するために利用可能な全ての製品のためのスペースがあり得る。例の消費者属性（人口統計、家具様式の類似性など）で同様に得点する人々として定義された近隣の人々が使用する製品もあり得る。製品間の類似性マトリックスは、近隣にある製品との類似性に基づいて、近隣にない製品の評点を見積ることができるように構成されてもよい。オフライン見積は、製品対の類似性を評価するヒト被験者のパネルによって行われてもよく、または製品の組成物の類似性への洞察に基づいて行うことができる。

【0046】

推奨は、具体的なユーザに対する製品予測を提供し得る。一実施形態において、より多くのデータを収集すると、評価の精度が向上し得る。別の実施形態において、選択された推奨モデルは、ｋ－最近傍推定器に依存する。このようなモデルは、無関係な属性を含めることに敏感な場合があり得る。一実施形態において、近傍の比較において、各属性を同じように、重み付けする代わりに、もしくは重み付けを組み合わせて、属性の重要度に比例した重みを使用することができる。一例において、消費者の様式に関連する属性は、所得など他の属性よりも大きく重み付けされてもよい。一実施形態において、このような重みは、上記のロジスティック回帰決定に由来し得る。別の実施形態において、監視された自動関連性判定（ＡＲＤ）技法を使用して、最近傍の分類器における重みを調整することができる。その重要性に比例して、最も関連性の高い属性を使用することにより、予測は改善され得る。

【0047】

図５は、いくつかの実施形態により画像からユーザライフ様式および嗜好情報を推測する方法の実施形態のフローチャート５００である。例えば、図５を参照して記載されたプロセスは、図１を参照して記載されたように、推奨システム１００の処理論理によって行うことができる。

【0048】

ブロック５１０において、処理論理は、ユーザの１つまたは２つ以上の画像と関連付けられた画像データを受信し得る。画像データは、１つまたは２つ以上の画像の論理的表現であってもよい。一実施形態において、２つの画像は論理を処理することによって受信され、各画像はユーザに関連付けられた異なる室内のもの（描写、表示など）である。別の実施形態においては、同じ室内の単一の画像または複数の画像が受信される。

【0049】

ブロック５２０において、処理論理は、画像データからの１つまたは２つ以上の画像の、複数の視覚的特徴を計算する。一実施形態において、１つまたは２つ以上の画像の視覚的特徴は、１つまたは２つ以上の画像の可視物体であってもよい。様々なタイプの視覚的特徴が、ＧＩＳＴ、ローカルバイナリパターン（ＬＢＰ）、ニューラルネットワークなどの階層的特徴のような屋内画像データから計算され得て、屋内画像からの視覚情報を取り込み、かつ識別し得る。例えば、家具、ペット、車、食品、エレクトロニクス、塗料色、床様式などは、処理論理によって計算された視覚的特徴であり得る。処理論理は、視覚的特徴を計算するために、コンピュータビジョン、物体認識、機械学習、および他の技法を利用し得る。一実施形態において、計算された視覚的特徴の数が定義された閾値を下回る場合、その画像は使用されない可能性があることを示すエラーメッセージがコンピューティングデバイス（例えば、アップロードユーザと関連付けられたユーザデバイス）に送信され得る。別の実施形態において、配向縁部、色ヒストグラ、ＳＩＦＴ、ＳＵＲＦ、ＨＯＧ、ＬＢＰおよび他の従来のコンピュータ視野特徴などの低レベル特徴が含まれ得る。

【0050】

ブロック５３０において、処理論理は、ブロック５２０において計算された複数の視覚的特徴から様式特性を推定する。（本明細書では、中間レベル表現の屋内様式とも称される）様式特性は、上記のように、部屋の様式を含み得る。処理論理は、ブロック５４０において、様式特性に基づく、（本明細書では中間レベル表現の感情とも称される）ライフ様式特性を推定し得る。

【0051】

このパイプラインのステップ数は、アプリケーションに依存する可能性があることに言及する必要がある。場合によっては、処理論理は、明るい大胆なインテリアデザインの好みが、明るい大胆な製品と相関する可能性があるという考えに基づいて、コンピュータ視覚レベルの特徴（例えば５２０）から製品の嗜好（例えば５６０）に直接向かうことがある。処理論理は、このモデルを直接学習することができる。他の実施形態において、抽象化の利点を利用するためにパイプラインでより多くのステップを実行すると便利な場合がある。処理論理は、ペットまたは子供関連の特徴を認識し、これらの高レベルの抽出化をプロファイルに追加して、これらを製品の予測のために使用し、または田舎風、レトロ、工業的などの具体的な調度様式を認識し、これらの高レベルの抽象化を製品の予測のために使用し得る。処理論理は、パーソナリティ特性に関連する別のレベルを導入することができる。

【0052】

ブロック５５０において、処理論理は、ライフ様式特性（例えば、その様式特性）に基づくユーザの嗜好を推定し得る。次に、処理論理は、ユーザの嗜好に基づく製品の推奨を決定して（ブロック５６０）、ユーザと関連付けられたユーザデバイスに推奨を提供し得る（ブロック５７０）。一実施形態において、推奨は、過去のユーザフィードバック、すなわち、様々な製品間の類似性特性、または複数のユーザの人口統計特性の間の類似性特性に基づき得る。

【0053】

一実施形態において、処理論理は、推奨に基づいて、ネットワーク化されたデバイスと関連付けられた設定を調整し得る。例えば、処理論理は、推奨に基づき（例えば、加熱要素を介して）、出力または他の特性を調整するために、ネットワーク化されたデバイスに命令を送信し得る。

【0054】

図６は、いくつかの実施形態により、画像からユーザライフ様式および嗜好情報を推測する方法の実施形態のフローチャート６００である。例えば、図６を参照して記載されたプロセスは、図１を参照して記載されたように、推奨システム１００の処理論理によって行うことができる。図６の動作は、図５に関して記載された動作のうちのいくつかを含み得、詳しく説明することができる。

【0055】

ブロック６０１、６０２、および６０３において、処理論理はデータを収集（例えば、受信）する。ブロック６０１において、処理論理は、屋内画像データを収集する。一実施形態において、様々なユーザからの複数の部屋の画像が受信され得る。例えば、画像は、キッチン、リビングルーム、ダイニングルームなどを表し得る。ブロック６０２において、処理論理は人口統計データを収集する。一実施形態において、人口統計データは調査に基づいて生成され得る。人口統計データは、年齢、性別、場所、教育背景、仕事の詳細、経済水準、ユーザが有する子供もしくはペットの数のような、ユーザ（例えば、消費者）の詳細を含み得る。ブロック６０３において、処理論理はユーザの対話データを収集する。一実施形態において、ユーザの対話データは、ユーザ対話データは、所与のデバイスとのユーザの対話に関連付けられたデータを含むことができる。一実施形態において、スマートな（ネットワーク化された）サーモスタットからのような、スマートな家庭環境に組み込まれた、設置されたセンサーからの測定値が収集され得る。このようなセンサーは、温度、湿度などに関するデータを提供し得る。

【0056】

処理論理は、ブロック６０４、６０５、および６０６において特徴を計算する。ブロック６０４においては、処理論理は視覚的特徴を計算する。様々なタイプの視覚的特徴が、ＧＩＳＴ、ローカルバイナリパターン（ＬＢＰ）、ニューラルネットワークなどを通じた階層的特徴のような、屋内画像データから計算され、屋内画像からの視覚情報を取り込み、かつ識別し得る。ブロック６０５において、処理論理は人口統計特徴を計算する。一実施形態において、人口統計特徴を計算するために、処理論理は、調査データからのノイズをフィルタ処理し、ワンホットエンコーディングを使用して調査データを画像化することができる。ブロック６０６において、処理論理は時間的特徴を計算する。一実施形態において、ユーザの対話を考慮するために、処理論理は、デバイス使用頻度、使用期間、デバイス使用サイクルなどの時間的特徴を計算することができる。処理論理は、ログデータからのノイズをフィルタ処理して、測定のロバスト性を高めることができる。処理論理は、有意なパターンを識別するために、異なるセンサー出力（例えば、温度および湿度）間の相関を計算することができる。

【0057】

処理論理は、ブロック６０７、６０８、および６０９において、６０４～６０６で計算された特徴に基づいて中間レベル表現を決定する。ブロック６０７において、処理論理は屋内様式を決定する。一実施形態において、所与の画像に関して、処理論理は屋内様式を決定する。屋内様式としては、近代的、古典的、田舎風、現代的、および工業的を含むが、これらに限定されない。処理論理は、画像からの様式を決定するためのＳＶＭ、ランダムフォレスト、深層ニューラルネットワークなどの機械学習モデルを利用し得る。一実施形態において、処理論理は、モデルをトレーニングするための様式ラベルを手動で生成することができる。

【0058】

ブロック６０８において、処理論理は人口統計特徴を決定する．一実施形態において、処理論理は、ユーザの嗜好の予測／推奨を作製するための情報価値のある人口統計特徴が分かる。ブロック６０９において、処理論理はユーザの関与を決定することができる。一実施形態において、ユーザの対話に関する時間的特徴に基づいて、処理論理は、各ユーザの関与のレベルを決定することができる。一実施形態において、規則ベースのフレームワークを使用して、特徴からの対話レベルを決定することができる。例えば、ユーザが１つの製品しか使用しておらず、この経験に飽きてきていることを認識すると、処理論理は、毎日の使用のための追加の製品、または休日のための特別な製品を提案することができる。注目すべきは、これは異なる種類の推奨であるということである。それは、絶対的な嗜好に基づいているのではなく、多様性のためのメタ嗜好に基づくものである。別の実施形態においては、製品を使用する時間を決定するために関与を使用することができ、処理論理は、製品を刺激するためのより良い時間であるかもしれない午前の活動と、製品を弛緩するためのより良い時間であるかもしれない夜間の活動との相関を使用することができる。

【0059】

ブロック６１０において、処理論理は特徴を組み合わせる。一実施形態において、処理論理は、さらなる処理のために、３つのモダリティからの特徴、すなわち、視覚的特徴、人口統計特徴、時間的対話特徴を組み合わせる。ブロック６１１において、処理論理は、利用可能なトレーニングデータからのライフ様式を決定する。一実施形態において、処理論理は、調査中に使用した製品に関するユーザフィードバックの観点から、トレーニングデータへのアクセスを有する。例えば、スマートフォンにインストールされたアプリを通じて制御されるスマート製品ディスペンサを考えてみる。処理論理は、デバイスのインストールの簡単さ、デバイスの使用の簡単さ、満足のレベル、デバイスおよびアプリケーションの評価、製品の嗜好などの観点からユーザのフィードバックを集めることができる。処理論理は、どのようなタイプの装飾が人口統計クラスに適しているか、および生活様式および人口統計背景が消費者製品の嗜好にどのように関連しているかなどのデータに基づいて、ユーザのライフ様式を学習するために機械学習モデルを使用することができる。

【0060】

一実施形態において、ブロック６１１に関して記載された動作は、別個のパイプラインに含まれ得る。１つのパイプラインは、満足のレベル、推奨する可能性などの目標変数を提供するために、調査またはアプリの使用からデータを収集することがある。別個のパイプラインが、センサーデータを収集し、次にモデルをトレーンすることができる。モデルがトレーニングされると、それは予測手順に提供される。この例においては、２つのパイプライン、すなわち、１）予測モデルを構築するオフライン学習パイプライン、および、２）モデルパラメータを受け入れ、それらを使用して観測データを推奨値に変換するオンライン推奨プロセスが存在し得る。

【0061】

ブロック６１２において、処理論理はユーザの嗜好を予測する。一実施形態において、処理論理がライフ様式を識別したとき、処理論理は、ライフ様式に一致する製品を予測し得る。処理論理は、共同フィルタリングを使用して製品をユーザに推奨することができる。一実施形態において、製品へのユーザの過去のフィードバック、様々な製品間の類似性、およびユーザの人口統計特性の点でのユーザ間の類似性を利用して、推奨を行うことができる。

【0062】

様々な動作が、本開示を理解する上で最も役立つやり方で複数の個別の動作として記載されているが、説明の順序は、これらの動作が必然的に順序に依存することを意味するものと解釈されない場合がある。特に、これらの動作が、提示の順序で行われる必要はない。

【0063】

図７は、本明細書で論じた方法のうちの１つまたは２つ以上のいずれかを機械に実行させる命令のセットを実行することができる、コンピュータシステム７００の例示的な形式で機械の概略図を示す。代替実施形態において、機械は、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、またはインターネット内の他の機械に接続（例えば、ネットワーク化）されてもよい。機械は、クライアント－サーバネットワーク環境内のサーバまたはクライアントマシンの能力で、またはピアツ－ピア（または分散型）ネットワーク環境内のピアマシンとして動作し得る。機械は、その機械によって取られるアクションを特定する一連（シーケンシャルまたは別様）の命令セットを実行することが可能である、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブ機器、サーバ、ネットワークルータ、スイッチもしくはブリッジ、ハブ、アクセスポイント、ネットワークアクセス制御デバイス、または任意の機械であってもよい。さらに、単一の機械のみが示されているが、「機械」という用語もまた、本明細書で論じられた方法の任意の１つまたは２つ以上を行うための命令のセット（または複数のセット）を個々に、または共同して実行する機械の任意の集合を含むものとする。一実施形態において、コンピュータシステム７００は、ネットワーク化されたデバイスのログデータを分析するように構成された、推奨（ｒｅｃ）システム１００などのサーバコンピュータシステムを表すことができる。

【0064】

例示的なコンピュータシステム７００は、処理デバイス７０２、メインメモリ７０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックメモリ７０６（例えば、フラッシュメモリ、スタティックアクセス（ＳＲＡＭ）など）、および、バス７３０を介して互いに通信するデータ記憶デバイス７１８を含む。本明細書に記載された様々なバスを越えて提供される信号のいずれかは、他の信号と時分割多重化され、１つまたは複数の共通バスを越えて提供される。加えて、回路コンポーネントまたはブロック間の相互接続は、バスとして、または単一信号線として示され得る。バスの各々は、あるいは、１つまたは２つ以上の単一信号線であってもよく、かつ単一信号線の各々は、あるいはバスであってもよい。

【0065】

処理デバイス７０２は、マイクロプロセッサ、中央処理ユニットなどの１つまたは２つ以上の汎用処理デバイスを表す。特に、処理デバイスは、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであり得る。処理デバイス７０２はまた、特定用途向け集積回路（ＡＳＩＣ）、現場プログラム可能ゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどの、１つまたは２つ以上の専用処理デバイスであってもよい。処理デバイス７０２は、本明細書で論じられた動作およびステップを行うために、図１に示されたシステム１００の一例であり得る処理論理７２６を実行するように構成されている。

【0066】

データ記憶デバイス７１８は、本明細書に記載の機能の方法のうちの任意の１つまたは２つ以上を具現化し、処理デバイス７０２に推薦システム１００を実行させるための命令を含む、１つまたは２つ以上の命令（例えば、ソフトウェア）のセット７２２が格納される機械可読記憶媒体７２８を含み得る。命令７２２はまた、コンピュータシステム７００による実行の間にメインメモリ７０４内または処理デバイス７０２内に完全に、または少なくとも部分的に存在してもよく、メインメモリ７０４および処理デバイス７０２もまた、機械可読記憶媒体を構成する。命令７２２は、ネットワークインターフェースデバイス７０８を介し、ネットワーク７２０を越えてさらに送信または受信され得る。

【0067】

機械可読記憶媒体７２８はまた、本明細書に記載された方法および動作を行うための命令を格納するために使用され得る。例示的な実施形態では、機械可読記憶媒体７２８が単一の媒体として示されているが、「機械可読記憶媒体」という用語は、１つまたは２つ以上の命令セットを格納する単一の媒体または複数の媒体（例えば、集中型または分散型データベース、または関連するキャッシュおよびサーバ）を含むと解釈すべきである。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式（例えば、ソフトウェア、処理アプリケーション）で情報を格納するための任意の機構を含む。機械可読媒体は、磁気記憶媒体（例えば、フロッピー（登録商標）ディスケット）、光記憶媒体（例えば、ＣＤ－ＲＯＭ）、光磁気記憶媒体、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能なプログラム可能メモリ（例えば、ＥＰＲＯＭおよびＥＥＰＲＯＭ）、フラッシュメモリ、または電子命令を格納するのに適した別のタイプの媒体を含むが、これに限定されるものではない。

【0068】

前述の説明は、本開示のいくつかの実施形態の良好な理解を提供するために、具体的なシステム、コンポーネント、方法などの例のような多数の具体的な詳細を記載する。しかしながら、本開示の少なくともいくつかの実施形態が、これらの具体的な詳細なしで実施され得ることが当業者には明らかであろう。他の例において、周知のコンポーネントまたは方法は、本開示を不必要に不明瞭にすることを避けるために、詳細には記載されておらず、または単純なブロック図形式で示されている。したがって、記載された具体的な詳細は単なる例示である。特定の実施形態は、これらの例示的な詳細と異なり、依然として本開示の範囲内にあると考えられる。

【0069】

加えて、いくつかの実施形態は、機械可読媒体が１つ超のコンピュータシステムに格納され、またはコンピュータシステムによって実行される、分散コンピューティング環境において実施され得る。加えて、コンピュータシステム間に転送された情報は、コンピュータシステムを接続する通信媒体をわたって引き込まれるか、または押し出されてもよい。

【0070】

特許請求される主題の実施形態は、本明細書に記載された様々な動作を含むが、これに限定されない。これらの動作は、ハードウェアコンポーネント、ソフトウェア、ファームウェア、またはその組合せによって行われる。

【0071】

本明細書における方法の動作は特定の順序で示され記載されているが、各方法の動作の順序は、ある動作が逆の順序で実行されるように、または、ある動作が少なくとも部分的に他の動作と同時に実行されるように変更されてもよい。別の実施形態において、別個の動作の命令またはサブ動作は、間欠的または交互の方法であってもよい。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】