特表 2024-518719 レンダリング情報の関係学習モデルに基づくコンテンツ推薦情報提供装置及びその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-02

(54)【発明の名称】レンダリング情報の関係学習モデルに基づくコンテンツ推薦情報提供装置及びその動作方法

(51)【国際特許分類】

   G06F 16/9035 20190101AFI20240424BHJP

   G06T 19/00 20110101ALI20240424BHJP

   G06N 20/00 20190101ALI20240424BHJP

   G06N 3/08 20230101ALI20240424BHJP

   G06N 3/04 20230101ALI20240424BHJP

   G06F 16/9535 20190101ALI20240424BHJP

【ＦＩ】

G06F16/9035

G06T19/00 A

G06N20/00

G06N3/08

G06N3/04

G06F16/9535

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023564069

(86)(22)【出願日】2022-08-19

(85)【翻訳文提出日】2023-10-18

(86)【国際出願番号】 KR2022012397

(87)【国際公開番号】W WO2023022553

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】10-2021-0109556

(32)【優先日】2021-08-19

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】522200959

【氏名又は名称】アーキドロー インコーポレーテッド

【氏名又は名称原語表記】ＡＲＣＨＩＤＲＡＷ． ｉｎｃ．

【住所又は居所原語表記】（Ｙａｎｇｊａｅ－ｄｏｎｇ， ＡＩ Ｙａｎｇｊａｅ ｈｕｂ （ＨｉＢＲＡＮＤ））， １４１４－ｈｏ， １４ｔｈ Ｆｌｏｏｒ， １６， Ｍａｅｈｅｏｎ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ ０６７７１， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】イ ジュソン

(72)【発明者】

【氏名】ホン ジョンソン

【テーマコード（参考）】

5B050

5B175

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA04

5B050EA26

5B050FA02

5B050FA05

5B175HA01

(57)【要約】

本発明の一実施形態による推薦情報提供装置の動作方法は、第１ユーザ情報を取得するステップと、コンテンツに対応するレンダリング履歴ベースの関係学習モデルに、前記第１ユーザ情報を適用するステップと、前記学習モデルの出力情報を用いて、前記第１ユーザ情報に対応するコンテンツ推薦情報を提供するステップと、を含む。

【特許請求の範囲】

【請求項1】

推薦情報提供装置の動作方法であって、
第１ユーザ情報を取得するステップと、
コンテンツに対応するレンダリング履歴ベースの関係学習モデルに、前記第１ユーザ情報を適用するステップと、
前記学習モデルの出力情報を用いて、前記第１ユーザ情報に対応するコンテンツ推薦情報を提供するステップと、を含む、
コンテンツ推薦情報提供装置の動作方法。

【請求項2】

前記関係学習モデルは、
コンテンツサービスの提供による前記コンテンツのレンダリングベースの視覚的特徴情報が、前記コンテンツのメタデータ特徴情報及びユーザメタデータに対応して事前学習されたモデルである、
請求項１に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項3】

前記コンテンツのメタデータ特徴情報は、前記コンテンツのレンダリングと関連して取得されるレンダリング条件メタデータ、前記コンテンツに対応するモデル情報メタデータ、及び前記コンテンツに対応する商品情報メタデータのうちの少なくとも１つから構成される、
請求項２に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項4】

前記レンダリング条件メタデータは、前記コンテンツの詳細属性に対応する第１メタデータ、前記コンテンツのレンダリング条件に対応する第２メタデータ、及び前記コンテンツがレンダリングされた周辺環境に対応する第３メタデータを含む、
請求項３に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項5】

前記第１メタデータは、前記コンテンツの詳細属性に対応する長さ、色、カテゴリー、及びタイプのうちの少なくとも１つを含み、
前記第２メタデータは、前記コンテンツのレンダリング状態に対応する仮想現実レンダリングの有無、拡張現実レンダリングの有無、照明条件、カメラ位置、カメラ焦点、カメラ角度、及び複合シーンコンテンツの有無のうちの少なくとも１つを含み、
前記第３メタデータは、前記レンダリングされた周辺環境に対応する領域タイプ情報、領域サイズ情報、及び領域材質インデックス情報のうちの少なくとも１つを含む、
請求項４に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項6】

前記ユーザメタデータは、前記コンテンツに対応して収集されたユーザ基本情報、前記ユーザ基本情報に対応するレンダリングインタフェース入力情報、好み入力情報、購入入力情報、評価入力情報、及びカテゴリー入力情報のうちの少なくとも１つを含む、
請求項１に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項7】

前記視覚的特徴情報は、
前記コンテンツに対応して取得される１つ以上のレンダリング画像を、ディープラーニングネットワークに適用して取得される視覚的特徴ベクトルを含む、
請求項１に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項8】

前記１つ以上のレンダリング画像は、前記コンテンツまたは前記コンテンツを含むシーン画像を、予め設定された３次元視点ごとにレンダリングした画像を含む、
請求項７に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項9】

前記視覚的特徴情報は、前記レンダリング画像の３次元視点による幾何学的構造情報及び色情報に基づいて前記ディープラーニングネットワークから抽出される視覚的特徴ベクトルを含む、
請求項８に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項10】

前記コンテンツ推薦情報を提供するステップは、
前記学習モデルから出力された推薦視覚的特徴情報及び推薦条件メタデータに対応して、推薦商品または推薦インテリアアイテムをインデックス化するステップと、
前記推薦商品または推薦インテリアアイテムを用いて、前記第１ユーザ情報に対応する推薦アイテムリスト情報を構成するステップと、
前記推薦アイテムリスト情報を、前記第１ユーザ情報に対応するユーザ端末に提供するステップと、を含む、
請求項１に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項11】

前記推薦アイテムリスト情報の各アイテムに対応するレンダリングインタフェース環境情報を識別するステップと、
前記レンダリングインタフェース環境情報を前記ユーザ端末に提供し、前記ユーザ端末で選択された推薦アイテムが、前記レンダリングインタフェース環境情報に基づいて構築されたレンダリング環境を通じて出力されるように処理するステップと、をさらに含む、
請求項１０に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項12】

コンテンツ推薦情報提供装置であって、
第１ユーザ情報を取得するユーザ情報収集部と、
コンテンツに対応するレンダリング履歴ベースの関係学習モデルに、前記第１ユーザ情報を適用するモデルベースの推薦データ生成部と、
前記学習モデルの出力情報を用いて、前記第１ユーザ情報に対応するコンテンツ推薦情報を提供する情報提供部と、を含む、
コンテンツ推薦情報提供装置。

【請求項13】

前記関係学習モデルは、
コンテンツサービスの提供による前記コンテンツのレンダリングベースの視覚的特徴情報が、前記コンテンツのメタデータ特徴情報及びユーザメタデータに対応して事前学習されたモデルである、
請求項１２に記載のコンテンツ推薦情報提供装置。

【請求項14】

事前に提供されたコンテンツサービス情報から前記コンテンツに対応する履歴情報を収集する履歴情報処理部をさらに含み、
前記履歴情報処理部は、前記コンテンツのレンダリングと関連して取得されるレンダリング条件メタデータ、前記コンテンツに対応するモデル情報メタデータ、及び前記コンテンツに対応する商品情報メタデータのうちの少なくとも１つから前記コンテンツのメタデータ特徴情報を構成する、
請求項１３に記載のコンテンツ推薦情報提供装置。

【請求項15】

前記レンダリング条件メタデータは、前記コンテンツの属性に対応する第１メタデータ、前記コンテンツのレンダリング条件に対応する第２メタデータ、及び前記コンテンツがレンダリングされた周辺環境に対応する第３メタデータを含む、
請求項１４に記載のコンテンツ推薦情報提供装置の動作方法。

【請求項16】

前記第１メタデータは、前記コンテンツの属性に対応する長さ、色、カテゴリー、及びタイプのうちの少なくとも１つを含み、
前記第２メタデータは、前記コンテンツのレンダリング条件に対応する仮想現実レンダリングの有無、拡張現実レンダリングの有無、照明設定、カメラ位置、カメラ焦点、カメラ角度、及び複合シーンコンテンツの有無のうちの少なくとも１つを含み、
前記第３メタデータは、前記レンダリングされた周辺環境に対応する領域タイプ情報、領域サイズ情報、及び領域材質情報のうちの少なくとも１つを含む。
請求項１５に記載のコンテンツ推薦情報提供装置。

【請求項17】

事前に提供されたコンテンツサービス情報から前記コンテンツに対応する履歴情報を収集する履歴情報処理部をさらに含み、
前記視覚的特徴情報は、
前記履歴情報から、前記コンテンツに対応して取得される１つ以上のレンダリング画像を、ディープラーニングネットワークに適用して取得される視覚的特徴ベクトルを含む、
請求項１２に記載のコンテンツ推薦情報提供装置。

【請求項18】

前記１つ以上のレンダリング画像は、前記コンテンツまたは前記コンテンツを含むシーン画像を、予め設定された３次元視点ごとにレンダリングした画像を含む、
請求項１７に記載のコンテンツ推薦情報提供装置。

【請求項19】

前記視覚的特徴情報は、前記レンダリング画像の３次元視点による幾何学的構造情報及び色情報に基づいて前記ディープラーニングネットワークから抽出される視覚的特徴ベクトルを含む、
請求項１８に記載のコンテンツ推薦情報提供装置。

【請求項20】

前記情報提供部は、
前記学習モデルから出力された推薦視覚的特徴情報及び推薦レンダリングメタデータに対応して、推薦商品または推薦インテリアアイテムをインデックス化し、前記推薦商品または推薦インテリアアイテムを用いて、前記第１ユーザ情報に対応する推薦アイテムリスト情報を構成し、前記推薦アイテムリスト情報を、前記第１ユーザ情報に対応するユーザ端末に提供し、
前記推薦アイテムリスト情報の各アイテムに対応するレンダリングインタフェース環境情報を識別し、前記レンダリングインタフェース環境情報を前記ユーザ端末に提供し、前記ユーザ端末で選択された推薦アイテムが、前記レンダリングインタフェース条件情報に基づいて構築されたレンダリング環境を通じて出力されるように処理する、
請求項１に記載のコンテンツ推薦情報提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツ推薦情報提供装置及びその動作方法に関する。より具体的には、本発明は、レンダリング情報の関係学習モデルに基づくコンテンツ推薦情報提供装置及びその動作方法に関する。

【背景技術】

【0002】

近年、各種Ａ／Ｖメディアの伝送技術及び保存技術の進歩に伴い、ユーザが接することができるコンテンツは飛躍的に増加している。特に、デジタル放送や超高速インターネットインフラの導入、各種Ａ／Ｖ機器の大容量化により、ユーザは時間や場所を問わず数多くのコンテンツを楽しむことができるようになった。しかし、このようにコンテンツの増加に伴い、その中からユーザが望むものを検索するのに多くの時間と労力がかかるという問題があり、この問題を解決するために様々なコンテンツ推薦技術が研究されている。

【0003】

従来のコンテンツ推薦方法では、通常、商品のメタ情報をキーワード等で分類し、ユーザが直接入力したメタ情報と一致または類似するコンテンツをコンテンツデータベースから検索し、ユーザにコンテンツ推薦リストを提供する方式や、ユーザに対応して事前に分析された好みのキーワード情報、環境登録情報などを参照してこれと一致または類似するコンテンツを自動的に検索し、検索されたコンテンツからコンテンツ推薦リストを生成してユーザに提供する方式などが行われている。

【0004】

しかし、これらの方式のほとんどは、ユーザの性別、年齢、住所、好みのキーワードなどの単純なテキスト情報だけで視覚的に認識される様々なコンテンツを推薦しなければならないため、ユーザに好まれないことが非常に多く、精度はかなり低いという問題がある。

【0005】

特に近年、インテリアや家具商品コンテンツ市場の拡大に伴い、ユーザは、インテリアや家具商品コンテンツがオンラインで提供され、自分の端末でレンダリングし、好みのスタイルに合うインテリア商品や適切な商品の組み合わせを簡単に決定し、オンラインで注文したいというニーズが、非対面市場の増大とともに爆発的に高まっている。

【0006】

しかし、前述のような従来のテキストに基づく分類分析技術だけでは、ユーザがどのようなスタイルを好むかさえ把握しにくいだけでなく、特定のユーザが希望するスタイルが把握できたとしても、そのようなスタイルを作り出すために、どのような商品を組み合わせればよいのか、どのような壁紙、カーテン、ソファなどと組み合わせればよいのか、推薦システム側では全く把握できないのが現状である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記問題を解決するためになされたもので、商品コンテンツに対応するユーザのレンダリング履歴ベースの関係学習モデルを事前に構築し、前記レンダリング履歴ベースの関係学習モデルを用いて、実際のユーザが視覚的に好むスタイルのコンテンツ商品またはその組み合わせをインデックス化して正確に推薦することができ、これに基づく様々な付加サービスを提供することができる、レンダリング情報の関係学習モデルに基づくコンテンツ推薦情報提供装置及びその動作方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するための本発明の一実施形態による方法は、推薦情報提供装置の動作方法において、第１ユーザ情報を取得するステップと、コンテンツに対応するレンダリング履歴ベースの関係学習モデルに、前記第１ユーザ情報を適用するステップと、前記学習モデルの出力情報を用いて、前記第１ユーザ情報に対応するコンテンツ推薦情報を提供するステップと、を含む。

【0009】

また、上記目的を達成するための本発明の一実施形態による装置は、コンテンツ推薦情報提供装置において、第１ユーザ情報を取得するユーザ情報収集部と、コンテンツに対応するレンダリング履歴ベースの関係学習モデルに、前記第１ユーザ情報を適用するモデルベースの推薦データ生成部と、前記学習モデルの出力情報を用いて、前記第１ユーザ情報に対応するコンテンツ推薦情報を提供する情報提供部と、を含む。

【0010】

上記目的を達成するための本発明の一実施形態による方法は、前記方法をコンピュータに実行させるためのコンピュータプログラム、および、前記プログラムが格納されたコンピュータ読み取り可能な記録媒体で実現できる。

【発明の効果】

【0011】

本発明の一実施形態によれば、商品コンテンツに対応するユーザのレンダリング履歴ベースの関係学習モデルを事前に構築し、前記レンダリング履歴ベースの関係学習モデルを用いて、実際のユーザが視覚的に好むスタイルのコンテンツ商品またはその組み合わせをインデックス化して正確に推薦することができ、これに基づく様々な付加サービスを提供することができる、レンダリング情報の関係学習モデルに基づくコンテンツ推薦情報提供装置及びその動作方法を提供することができる。

【0012】

また、本発明の一実施形態によれば、前記レンダリング履歴は、ユーザがコンテンツのレンダリングサービスを利用することにより収集され得、ユーザがコンテンツサービスを利用することにより取得される様々なレンダリングシーン及び条件データに対応して、視覚的特徴情報に基づく関係情報学習が可能となるため、単純なキーワード分類ではなく、実際のユーザが好むスタイルを、視覚的特徴情報を反映した学習モデルにより正確に識別し、これに基づく推薦情報提供及び推薦サービスを提供することができる。

【0013】

さらに、本発明の一実施形態によれば、前記レンダリング履歴ベースの関係学習モデルを用いて、コンテンツまたはその組み合わせのインデックス及び推薦を正確に提供するだけでなく、そのコンテンツが提供されるユーザ端末インタフェース上のレンダリング環境を推薦することができるので、ユーザが好むと予測される推薦レンダリング環境を通じて、推薦されたコンテンツを提供することができ、これにより推薦情報を利用したサービスを提供されるユーザのサービス満足度を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態によるシステム全体を概略的に示す概念図である。

【図2】本発明の一実施形態による推薦情報提供装置をより具体的に示すブロック図である。

【図3】本発明の一実施形態によるレンダリング履歴情報処理部をより具体的に示すブロック図である。

【図4】本発明の一実施形態による推薦情報提供装置の動作を説明するためのフローチャートである。

【図5】本発明の一実施形態によるレンダリング履歴ベースの関係学習モデルの構築過程を示す模式図である。

【図6】本発明の他の実施形態による推薦情報提供装置の動作を説明するためのフローチャートである。

【図7】本発明の一実施形態によるレンダリングインタフェース環境情報テーブルを例示する図である。

【発明を実施するための形態】

【0015】

以下の内容は単に本発明の原理を例示するものである。したがって、たとえ本明細書に明確に説明または図示されていないとしても、当業者であれば、本発明の原理を実現し、本発明の概念及び範囲に含まれる種々の装置を発明することができる。また、原則として、本明細書に列挙された全ての条件付きの用語および実施形態は、本発明の概念を理解する目的のみを明らかに意図しており、特別に列挙された実施形態および状態に限定されるものではないと理解されるべきである。

【0016】

また、本発明の原理、観点及び実施形態だけではなく、特定の実施形態を列挙するあらゆる詳細な説明は、このような事項の構造的及び機能的な均等物を含むように意図されるものと理解されるべきである。なお、このような均等物は現在公知の均等物だけではなく、将来に開発される均等物、すなわち、構造とは無関係に同じ機能を行うように発明されたあらゆる素子を含むものと理解されるべきである。

【0017】

したがって、例えば、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的な観点を示すものと理解されるべきである。これと同様に、全てのフローチャート、状態変換図、疑似コードなどはコンピュータが読み取り可能な媒体に実質的に示すことができ、コンピュータまたはプロセッサが明確に示されているか否かを問わらず、コンピュータまたはプロセッサにより行われる様々なプロセスを示すものと理解されるべきである。

【0018】

プロセッサまたはこれと類似した概念で表示された機能ブロックを含む図面に図示された多様な素子の機能は、専用ハードウェアだけではなく、適切なソフトウェアと係わってソフトウェアを実行する能力を有するハードウェアの使用でもって提供されもする。プロセッサによって提供されるとき、前記機能は、単一の専用プロセッサ、単一の共有プロセッサまたは複数の個別的プロセッサによって提供され得、これらのうち一部は、共有されもする。

【0019】

また、プロセッサ、制御またはこれと類似の概念として提示される用語の明確な使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈されてはならず、制限なくデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのリードオンリーメモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、及び不揮発性メモリを暗示的に含むものであると理解されなければならない。周知慣用の他のハードウェアも含まれることができる。

【0020】

本明細書の請求の範囲において、詳細な説明に記載の機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはフォームウェア／マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものと意図され、前記機能を行うように、前記ソフトウェアを実行するための適切な回路と結合される。このような請求の範囲により定義される本発明は、種々に列挙された手段により提供される機能等が結合され、請求項が要求する方式と結合されるため、前記機能を提供し得るいかなる手段も本明細書から把握されるものと均等なものであると理解されるべきである。

【0021】

上述の目的、特徴及び長所は、添付の図面と関連する以下の詳細な説明によりさらに明らかになるはずであり、それによって本発明が属する技術分野において通常の知識を有する者は、本発明の技術的思想を容易に実施することができるのであろう。また、本発明を説明するにあたり、本発明に係わる公知技術についての具体的な説明が本発明の要旨を不要に不明瞭にする可能性があると判断される場合には、その詳細な説明を省略する。

【0022】

以下、添付図面を参照して、本発明の好ましい実施形態について詳細に説明する。

【0023】

図１は、本発明の一実施形態によるシステム全体を概略的に説明するための図である。

【0024】

まず、本明細書で説明されるユーザ端末３００は、ユーザ入力に応じて動作してコンテンツサービスと関連するユーザインタフェースと、映像または画像（ｉｍａｇｅ）データでレンダリングされたコンテンツを出力する１つ以上の電子装置であって、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、コンピュータ、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送端末、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ポータブルマルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、仮想現実装置、拡張現実装置などの様々な電子機器が挙げられる。

【0025】

また、ユーザ端末３００は、ディスプレイ部、音響出力モジュール、アラーム部及びハプティックモジュールなどを含んでもよく、サービス提供装置２００は、前記ディスプレイ部、音響出力モジュール、アラーム部及びハプティックモジュールなどを制御するためのデータをユーザ端末３００に出力してもよい。

【0026】

さらに、ユーザ端末３００のディスプレイ部には、本発明の一実施形態によるレンダリングコンテンツ出力のためのレンダリングインタフェースが表示されてもよい。ディスプレイ部は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ ＬＣＤ：ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ－ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、及び３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）のうちの少なくとも１つを含んでいてもよい。

【0027】

そして、ユーザ端末３００には、コンテンツサービス提供装置２００またはコンテンツ推薦情報提供装置１００と連動して、本発明の一実施形態による方法を実行させるためのプログラムまたはアプリケーションがインストールされて動作することができる。

【0028】

特に、本発明の一実施形態によるコンテンツサービス提供装置２００は、ユーザ端末３００で出力される商品コンテンツ提供に必要な情報をデータベースに保存及び管理し、ユーザ端末３００の要求に応じてレンダリングデータ及び商品コンテンツ情報を提供することができる。

【0029】

ここで、商品コンテンツ情報は、様々な商品情報またはその組み合わせを含み得、例えば、特定の商品または特定のスタイルに対応する商品群の組み合わせであり得、ユーザ端末３００のレンダリングインタフェースを介して様々な方法でレンダリングされ、ユーザに視覚的に出力され得る。

【0030】

そして、レンダリングインタフェースは、ユーザの入力に応じて、商品コンテンツを特定の角度から見た形で表示するディスプレイインタフェースを提供することができ、ユーザのインタフェース入力操作に応じて、レンダリング角度、照明、雰囲気、カラーなどを変化させて、レンダリングされたコンテンツをユーザ端末３００の出力部を通じて出力することができる。

【0031】

さらに、このようなユーザ端末３００の出力部は、ユーザ端末３００のインタフェース入力に応じて、様々なフォーマットのレンダリング環境で処理されて出力できるので、現実世界の映像にコンテンツを混合して出力する拡張現実（ＡＲ）環境、仮想現実映像にコンテンツを混合して出力する仮想現実（ＶＲ）環境、及び２次元ディスプレイ画面上にコンテンツを出力する２次元ディスプレイインタフェース環境のうちの少なくとも１つのレンダリング環境を決定することができる。

【0032】

これにより、本発明の一実施形態によるコンテンツサービス提供装置２００は、商品コンテンツと関連するレンダリングサービスをユーザ端末３００に提供することができ、前記商品コンテンツに対応する決済情報の入力に応じて、コンテンツ購入処理を行う決済サービスを前記ユーザ端末３００に提供することができる。

【0033】

このようなシステム構成により、ユーザ端末３００では、コンテンツサービス提供装置２００を用いて、所望の商品を、レンダリングされたコンテンツを通じて仮想現実、拡張現実または２次元ディスプレイインタフェースを介して体験し、決済情報入力により購入処理することができる。さらに、コンテンツサービス提供装置２００は、購入処理された商品の配送処理を行うことができ、ユーザ端末３００では、購入処理された商品に対応する商品のフィードバック情報、好み情報などを追加的に入力することができる。

【0034】

そして、本発明の一実施形態による推薦情報提供装置１００は、ユーザ端末３００におけるコンテンツサービス提供環境データからレンダリング履歴情報を収集することができ、収集されたレンダリング履歴情報に基づくコンテンツ推薦のための関係学習モデルを事前に構築することができる。

【0035】

ここで、関係学習モデルは、コンテンツサービスの提供による前記コンテンツのレンダリングベースの視覚的特徴情報が、前記コンテンツのメタデータ特徴情報及びユーザメタデータに対応して事前学習されたモデルを含んでもよい。

【0036】

ここで、前記コンテンツのメタデータ特徴情報は、前記コンテンツのレンダリングと関連して取得されるレンダリング条件メタデータ、前記コンテンツに対応するモデル情報メタデータ、及び前記コンテンツに対応する商品情報メタデータのうちの少なくとも１つから構成されてもよく、前記ユーザメタデータは、前記コンテンツに対応して収集されたユーザ基本情報、前記ユーザ基本情報に対応するレンダリングインタフェース入力情報、好み入力情報、購入入力情報、評価入力情報、及びカテゴリー入力情報のうちの少なくとも１つを含んでいてもよい。

【0037】

また、前記コンテンツのレンダリングベースの視覚的特徴情報は、前記コンテンツに対応して取得される１つ以上のレンダリング画像を、事前に構築されたディープラーニングネットワークに適用して取得される視覚的特徴ベクトルを含んでもよいので、これは、ユーザが視覚的にどのような視覚的特性のコンテンツを好み、どのような方法で視覚化されたコンテンツを好むかを予測するのに重要な情報として利用できる。

【0038】

例えば、前記レンダリング画像は、前記コンテンツまたは前記コンテンツを含むシーン画像を事前設定された３次元視点ごとにレンダリングした画像を含み、前記視覚的特徴情報は、前記レンダリング画像の３次元視点に応じた幾何学的構造情報及び色情報に基づいて前記ディープラーニングネットワークから抽出される視覚的特徴ベクトルを含んでもよい。

【0039】

ここで、視覚的特徴ベクトルを抽出するディープラーニングネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを応用して画像からの視覚的特徴情報をベクトル化して抽出するように学習されたＲｅｓＮｅｔネットワークが例示できる。ＲｅｓＮｅｔは、マイクロソフト社が発表した方式であり、ＣＮＮモデルにＩＤマッピング（ｉｄｅｎｔｉｔｙ ｍａｐｐｉｎｇ）及びスキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ）を適用して重み更新に基づく残差学習（ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ）の効率を高める方式であって、画像の特徴情報の分析に効果的に活用される方式である。

【0040】

これにより、推薦情報提供装置１００は、このように抽出された視覚的特徴ベクトルと、レンダリング履歴情報のコンテンツレンダリングメタデータ及びユーザメタデータとを関連付ける学習を行うことができる。学習の実行には、例えば、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づくディープラーニングアルゴリズムによるニューラルネットワークが設定され、当該ニューラルネットワークは、入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）、１つ以上の隠れ層（Ｈｉｄｄｅｎ Ｌａｙｅｒｓ）及び出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）から構成される通常の様々な学習モデルが利用され得る。

【0041】

ここで、前記ディープラーニングアルゴリズムは、ＤＮＮ以外の他のニューラルネットワークが適用されることもあり、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やリカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのニューラルネットワークが適用されることもあり、さらにこれらを改善した、ロングショートタームメモリ（ＬＳＴＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）に基づくディープラーニングモデルや、これらの部分的な組み合わせモデルなどが利用されることもある。

【0042】

また、レンダリング履歴情報のコンテンツレンダリングメタデータ及びユーザメタデータは、ワンホットエンコーディング処理されて前処理されたベクトル情報であって、前記関係学習モデルの入力情報として学習され得、出力情報は、レンダリング履歴情報のコンテンツレンダリングメタデータ及びユーザメタデータに対応する視覚的特徴ベクトルとの相関関係を数値化した値であり得る。

【0043】

これにより、推薦情報提供装置１００は、ユーザ端末３００またはコンテンツサービス提供装置２００を介して収集される実際のレンダリング履歴情報を、各コンテンツに対応するレンダリング履歴ベースの関係学習モデルに適用して学習を行うことができ、学習が行われた後、新規ユーザ端末３００の第１ユーザ情報が入力されると、前記第１ユーザ情報を適用した前記学習モデルの出力情報を用いて、第１ユーザ情報に対応するコンテンツ推薦情報を提供することができる。

【0044】

ここで、前記学習モデルの出力情報は、前記第１ユーザ情報の構成によって異なる場合があるが、第１ユーザ情報に対応するユーザメタデータ入力に応じて、臨界値以上の相関関係が予測される視覚的特徴情報と、コンテンツレンダリングメタデータとから構成されることが好ましい。

【0045】

これにより、推薦情報提供装置１００は、相関関係の高い視覚的特徴情報と、コンテンツレンダリングメタデータを含むコンテンツ推薦情報とを構成し、構成されたコンテンツ推薦情報をコンテンツサービス提供装置２００に提供したり、ユーザ端末３００に直接提供したりすることができる。

【0046】

その結果、前記コンテンツ推薦情報は、ユーザが好む視覚的特徴に適合する推薦商品コンテンツまたは推薦商品の組み合わせコンテンツを含み得、このような推薦商品コンテンツまたは推薦商品の組み合わせコンテンツは、１つ以上の推薦アイテムからなる推薦アイテムリストの形で、ユーザ端末３００で出力され得る。

【0047】

例えば、コンテンツサービス提供装置２００は、推薦情報提供装置１００から提供された推薦視覚的特徴情報及び推薦レンダリングメタデータに対応して、推薦商品または推薦インテリアアイテムをデータベースにインデックス化することができ、前記推薦商品または推薦インテリアアイテムを用いて、前記第１ユーザ情報に対応する推薦アイテムリスト情報を構成し、前記推薦アイテムリスト情報を、前記第１ユーザ情報に対応するユーザ端末３００に提供することができる。

【0048】

さらに、コンテンツサービス提供装置２００は、視覚的特徴によるサービス満足度を高めるために、推薦情報提供装置１００から提供された推薦レンダリングメタデータから、前記推薦アイテムリスト情報の各アイテムに対応するレンダリングインタフェース条件情報を識別することができ、前記レンダリングインタフェース条件情報を前記ユーザ端末３００に提供することができる。

【0049】

これにより、ユーザ端末３００では、ユーザによって選択された推薦アイテムが、前記レンダリングインタフェース条件情報に基づいて構築されたレンダリング環境を通じて出力されるように処理することができる。

【0050】

ここで、前記レンダリング環境には、現実世界の映像にコンテンツを混合して出力する拡張現実（ＡＲ）環境、仮想現実映像にコンテンツを混合して出力する仮想現実（ＶＲ）環境、及び２次元ディスプレイ画面上にコンテンツを出力する２次元ディスプレイインタフェース環境のうちの少なくとも１つのレンダリング環境が含まれてもよく、ユーザ端末３００は、レンダリングインタフェース条件情報に基づく拡張現実環境、仮想現実環境、及び２次元ディスプレイインタフェース環境のうちの少なくとも１つの環境を決定して、ユーザが視覚的に好む環境を通じてコンテンツが提供されるように処理してもよい。

【0051】

また、レンダリング環境は混合環境として処理されてもよい。例えば、レンダリングインタフェース条件情報は、拡張現実３０％、仮想現実６０％、２次元ディスプレイ１０％といった重みが設定されてもよく、ユーザ端末３００のレンダリングサポートの有無によって、ユーザが切り替え可能な形で混合的に出力されてもよい。この場合、前記重みは、ユーザの好みに応じたレンダリング環境の優先順位を示すことができ、ユーザ端末３００は、拡張現実環境、仮想現実環境、及び２次元ディスプレイインタフェース環境のうちの少なくとも１つを優先的または順次レンダリングし、ユーザの入力に応じて出力環境を変換させることができる。

【0052】

一方、推薦情報提供装置１００は、コンテンツサービス提供装置２００またはユーザ情報収集部１１５と相互の有線／無線ネットワークで接続されてもよく、各構成要素は、前記有線／無線ネットワークを介して通信を行うための１つ以上の有線／無線通信モジュールを備えてもよい。前記有線／無線通信ネットワークには、周知の様々な通信方式が適用されてもよい。

【0053】

これにより、本発明の一実施形態による推薦情報提供装置１００は、商品コンテンツに対応するユーザのレンダリング履歴ベースの関係学習モデルを事前に構築し、前記レンダリング履歴ベースの関係学習モデルを用いて、実際のユーザが視覚的に好むスタイルのコンテンツ商品またはその組み合わせをインデックス化して正確に推薦することができ、これに基づく様々な付加サービスを提供できるレンダリング情報の関係学習モデルに基づくコンテンツ推薦情報を提供することができる。

【0054】

一方、コンテンツサービス提供装置２００は、推薦情報提供装置１００に履歴情報を提供したり、第１ユーザ情報提供による推薦情報を取得し、本発明の一実施形態によって説明した推薦アイテムインデックス及び提供サービスを処理したりすることができ、推薦情報提供装置１００とは別の装置として説明したが、コンテンツサービス提供装置２００は、推薦情報提供装置１００と結合して１つのサーバ装置として構成されてもよい。したがって、本発明の一実施形態による推薦情報提供装置１００の機能とコンテンツサービス提供装置２００の機能とが組み合わされたサービス提供システムネットワークが構築されることも可能である。

【0055】

図２は、本発明の一実施形態による推薦情報提供装置をより具体的に示すブロック図である。

【0056】

まず、図２を参照すると、推薦情報提供装置１００は、通信部１０５、ユーザ情報収集部１１５、制御部１２０、レンダリング履歴情報処理部１３０、関係学習モデル学習部１４０、モデルベースの推薦データ生成部１５０、情報提供部１６０、及び記憶部１７０を含む。図２に示す構成要素が必須であるわけではないので、より多くの構成要素を有する装置を実現してもよいし、より少ない構成要素を有する装置を実現してもよい。

【0057】

まず、制御部１２０は、推薦情報提供装置１００の全体動作を制御する。制御部１２０は、推薦情報提供装置１００が、コンテンツに対応するレンダリング履歴ベースの関係学習モデルに、前記第１ユーザ情報を適用し、前記学習モデルの出力情報を用いて、前記第１ユーザ情報に対応するコンテンツ推薦情報を提供するために構成された１つ以上のマイクロプロセッサで構成されてもよい。

【0058】

さらに、通信部１０５は、推薦情報提供装置１００とコンテンツサービス提供装置２００とのネットワーク間、または推薦情報提供装置１００とユーザ端末３００とのネットワーク間で、有線／無線通信を可能にする１つ以上のモジュールを含んでもよい。

【0059】

例えば、通信部１０５は、移動通信モジュール、有線／無線インターネットモジュール、近距離通信モジュール、及び位置情報モジュールなどを含んでもよい。移動通信モジュールは、移動通信網上でサーバ装置、基地局、外部の端末、及びサーバのうちの少なくとも１つと無線信号を送受信する。有線／無線インターネットモジュールは、有線／無線インターネット接続のためのモジュールを指すもので、推薦情報提供装置１００に内蔵されていても、外付けされていてもよい。有線／無線インターネット技術としては、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ－Ｆｉ）、無線ブロードバンド（Ｗｉｂｒｏ：Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、マイクロ波アクセスのための世界相互運用性（Ｗｉｍａｘ：Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などが利用できる。近距離通信モジュールは、近距離通信のためのモジュールを指す。近距離通信（ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）技術としては、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ：ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ、赤外線データアソシエーション）、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）などが挙げられる。位置情報モジュールは、端末の位置を取得するためのモジュールであり、その代表的な例としては全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｓｙｓｔｅｍ）モジュールがある。

【0060】

ユーザ情報収集部１１５は、ユーザ端末３００またはコンテンツサービス提供装置２００から特定のコンテンツに対応するユーザ情報を収集する。ユーザ情報は、通信部１０５を介して受信してもよく、ユーザ情報収集部１１５は、ユーザ情報からユーザメタデータを加工し、レンダリング履歴情報処理部１３０に伝達してもよい。

【0061】

より具体的には、ユーザ情報は、コンテンツの関係学習モデルの学習に利用されるレンダリング履歴情報の１つの要素として含まれるユーザメタデータに加工され得る。前記ユーザメタデータは、コンテンツに対応して収集されたユーザ基本情報、前記ユーザ基本情報に対応する前記コンテンツのレンダリングインタフェース入力情報、好み入力情報、購入入力情報、評価入力情報、及びカテゴリー入力情報のうちの少なくとも１つを含んでいてもよい。

【0062】

ユーザ基本情報は、性別情報、年齢情報、地域情報、ソーシャルネットワーク識別情報、好みスタイルアンケート情報など、外部システムを通じて収集可能な基本的なタイプ情報を含んでもよい。

【0063】

そして、レンダリングインタフェース入力情報は、前記ユーザ端末３００を介して出力されるコンテンツレンダリングインタフェースに対応して、ユーザが前記コンテンツに対して入力した入力情報を含んでもよい。ここで、前記入力情報は、コンテンツサービスをレンダリングするために入力されたレンダリングショット入力情報、ＡＲモード入力情報、ＶＲモード入力情報、パノラマモード入力情報、３６０度ディスプレイビュー入力情報、７２０度ディスプレイビュー入力情報などの様々なインタフェース入力情報などを含んでもよい。

【0064】

また、好み入力情報、購入入力情報、評価入力情報及びカテゴリー入力情報は、ユーザ端末３００を介して特定のコンテンツに対応して入力された情報であり、別途割り当てられた分類値またはキーワードなどに変換される場合がある。

【0065】

そして、ユーザ情報収集部１１５は、収集された前記ユーザメタデータをレンダリング履歴情報処理部１３０に伝達してもよい。以下、レンダリング履歴情報処理部１３０を、図３を参照してより具体的に説明する。

【0066】

図３は、本発明の一実施形態によるレンダリング履歴情報処理部をより具体的に示すブロック図である。

【0067】

より具体的には、レンダリング履歴情報処理部１３０は、ユーザメタデータマッピング部１３１、レンダリングショット抽出部１３３、視覚的特徴ベクトル構成部１３５、レンダリングメタデータ構成部１３７、モデル情報メタデータ構成部１３８、及び商品情報メタデータ構成部１３９を含んでいてもよい。

【0068】

レンダリング履歴情報処理部１３０は、通信部１０５を介して前記コンテンツに対応するレンダリング情報を収集し、レンダリング履歴情報として構成してもよい。レンダリング履歴情報は、ユーザメタデータマッピング部１３１を介して前記ユーザメタデータにマッピングされてもよく、前記コンテンツのユーザ端末３００におけるレンダリングと関連して取得されるコンテンツレンダリングメタデータ特徴情報と、前記コンテンツのレンダリングベースの視覚的特徴情報とを含んでもよい。

【0069】

まず、レンダリングショット抽出部１３３は、前記コンテンツに対応して取得される１つ以上のレンダリング画像を抽出し、視覚的特徴ベクトル構成部１３５に伝達する。

【0070】

そして、視覚的特徴ベクトル構成部１３５では、前記レンダリング画像をディープラーニングネットワークに適用して取得される前記コンテンツの視覚的特徴ベクトルを関係学習モデル学習部１４０に出力してもよい。

【0071】

ここで、前記１つ以上のレンダリング画像は、前記コンテンツまたは前記コンテンツを含むシーン画像を、予め設定された３次元視点ごとにレンダリングした画像を含んでもよいので、前記視覚的特徴情報は、前記レンダリング画像の３次元視点に応じた幾何学的構造情報及び色情報に基づいて前記ディープラーニングネットワークから抽出される視覚的特徴ベクトルを含んでもよい。

【0072】

より具体的には、視覚的特徴ベクトルが抽出されるレンダリング画像は、レンダリングショット抽出部１３３から取得されてもよいので、これは、ユーザ端末３００を介して提供されるコンテンツに対する現実的かつリアルなシーンのレンダリング画像を含んでよい。例えば、ユーザ端末３００では、３次元室内構造に対応した仮想空間インテリアコンテンツのレンダリングされた画像データを出力してもよく、前記レンダリングされた画像データは、前記仮想空間インテリアに対応して設定された第１視点に対応して投影された３次元画像であってもよく、現実的なシーンを実現するための１つ以上のレンダリング効果演算プロセスが適用された画像データであってもよい。

【0073】

本発明の一実施形態によるレンダリングショット抽出部１３３は、このようなレンダリング効果演算画像データを前記レンダリング画像として抽出することができる。

【0074】

より具体的には、前記レンダリング効果は、３次元データに対応して周知のグローバルイルミネーションベースのシェーダーアルゴリズムを適用する効果処理を含み得る。グローバルイルミネーションに基づくレンダリング技法は、光と媒体の相互作用についてより物理的に精巧な解釈を提供する。グローバルイルミネーションは、光源からの直接光と、そして他の素材や物体、壁などに反射する間接光との両方を計算し、よりリアルな感じを与えることができ、ソフトシャドウ、コースティクス（Ｃａｕｓｔｉｃｓ）、カラーブリーディングなどの現象などは、すべてグローバルイルミネーション効果により実現できる。

【0075】

このようなグローバルイルミネーション効果は、現実世界の光が動く現象をそのままシミュレートする方法として演算量が非常に高いため、本発明の一実施形態によるコンテンツサービス提供装置２００は、１つ以上のクラウド装置（図示せず）からなるクラウドベースのレンダリングサービスネットワークを利用して、グローバルイルミネーション（Ｇｌｏｂａｌ ｉｌｌｕｍｉｎａｔｉｏｎ）に基づくレイトレーシング（ｒａｙ ｔｒａｃｉｎｇ）プロセスを、クラウド装置（図示せず）により分散実行することにより、レンダリングされた３次元仮想空間インテリアコンテンツを効果的に構築することができる。これは、コンピューティングリソースの効率的な共有と演算時間の効率的な短縮を可能にするコンテンツサービス提供装置２００のレンダリング最適化プロセスに基づくものである。

【0076】

したがって、コンテンツサービス提供装置２００は、現実的なシーンのレンダリング作業を部分画像レンダリング作業として分散構成してクラウド装置（図示せず）に割り当てるマスター装置であってもよく、クラウド装置（図示せず）は、部分画像レンダリング処理を行い、最適化された現実的なシーンの部分画像をコンテンツサービス提供装置２００に送信するスレーブ装置であってもよい。本発明の一実施形態によるサービス提供装置２００は、ユーザ端末３００に提供する３次元仮想空間インテリアコンテンツに対応して、第１視点に投影されたシーン画像の現実的な分散レンダリング処理に最適化された分散処理データを構成することができ、構成された分散処理データを、レンダリングサービスネットワークに接続された１つ以上のクラウド装置（図示せず）に送信し、前記クラウド装置（図示せず）から分散レンダリングされた現実的なシーン部分画像を受信して、前記３次元仮想空間インテリアコンテンツに対応する第１視点の現実的なシーン画像を構成することができる。

【0077】

このようにして構成された第１視点の現実的なシーン画像をユーザ端末３００に提供してもよく、プリレンダリング（ｐｒｅ－ｒｅｎｄｅｒｉｎｇ、プリレンダリング）の繰り返し実行により、前記第１視点を複数の視点に拡張してもよい。さらに、前記複数の視点は、３次元仮想空間に対応する全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ポイント視点で構成されてもよいので、プリレンダリングの最適化及びクラウドネットワークの性能向上によっては、現実的なシーン画像処理された７２０度全方位仮想空間インテリアコンテンツを提供することも可能である。

【0078】

さらに、本発明の一実施形態によるコンテンツサービス提供装置２００は、現実的なシーン画像内のオブジェクト変換サービスを提供できるので、そのための複数のオブジェクト変換された現実的なシーン画像を予め生成し、データベースに保存して管理することができる。例えば、特定の仮想空間インテリアコンテンツ内の家具を異なるタイプ（種類）に変更するなどの現実的なシーン画像の処理を、プリレンダリングプロセスより容易に行うことができる。また、本発明の一実施形態によるサービス提供装置１００は、変換前の第１オブジェクトと変換後の第２オブジェクトとに対応して、オブジェクト変換による影響範囲に対応する部分変換境界領域を決定し、部分変換境界領域に対応する現実的なシーン画像の再レンダリング処理のみを行い、再レンダリングされたシーン画像部分と残りの既存のシーン画像部分とを結合して、第１オブジェクトが第２オブジェクトに変換された現実的なシーン画像を生成することにより、再演算過程の演算量を最小化しながら異質感が発生しないようにするオブジェクト変換処理を提供することができる。

【0079】

そして、本発明の一実施形態による視覚的特徴ベクトル構成部１３５は、上記のような現実的なシーン画像処理などによって、ユーザ端末３００で提供されたコンテンツのレンダリング画像情報を、レンダリングショット抽出部１３３から取得することができ、取得されたレンダリング画像情報を入力データとして構成し、入力データを、事前学習された画像ベースのベクトル特徴情報抽出モデルに適用して、画像ベースの視覚的特徴ベクトルを取得する。

【0080】

また、例えば、３次元モデル化されたレンダリングデータの場合、視覚的特徴ベクトル構成部１３５は、様々な角度から見られる視覚的な情報をレンダリング画像として処理し、複数のレンダリング画像を用いて、１つのコンテンツに対応する視覚的特徴ベクトルを取得することもできる。

【0081】

ここで、事前学習された画像ベースのベクトル特徴情報抽出モデルとしては、例えば、Ｇｏｏｇｌｅ社が提案したＩｍａｇｅＮｅｔサンプルデータ（約１２０万枚の画像）などで事前学習されたディープラーニングネットワークを通じて、視覚的特徴ベクトルを抽出する予測モデルが例示できる。

【0082】

このような事前学習されたディープラーニングネットワークの最上層を、最終的な分類値に収束するための層（レイヤ）として区分し、これを除く残りのすべての層を前述のＲｅｓＮｅｔに基づくディープラーニングネットワークで構築すると、例えば、１０２４次元の視覚的特徴ベクトルを抽出することができる。このような視覚的特徴ベクトルは、コンテンツを様々な角度から見た幾何学的構造と色要素を複合的に表す特徴ベクトルを含んでもよく、これは、関係学習モデル学習部１４０に伝達されて関係学習モデルの学習に用いられてもよい。

【0083】

一方、レンダリングメタデータ構成部１３７は、コンテンツのレンダリングメタデータ特徴情報を前処理して関係学習モデル学習部１４０に伝達する。

【0084】

ここで、コンテンツレンダリングメタデータ特徴情報は、前記コンテンツのレンダリングに関連して取得されるレンダリング条件メタデータ、前記コンテンツに対応するモデル情報メタデータ、及び前記コンテンツに対応する商品情報メタデータのうちの少なくとも１つから構成されてもよい。

【0085】

レンダリング条件メタデータは、ユーザ端末３００のユーザ入力に応じて、前記コンテンツのレンダリングに利用されたレンダリング条件情報を含んでもよい。レンダリング条件メタデータは、ユーザメタデータレンダリング条件情報との相関関係を算出するために利用されてもよい。

【0086】

このようなレンダリング条件メタデータは、前記コンテンツの詳細属性に対応する第１メタデータ、前記コンテンツのレンダリング条件に対応する第２メタデータ、及び前記コンテンツがレンダリングされた周辺環境に対応する第３メタデータを含んでもよい。

【0087】

前記第１メタデータは、前記コンテンツの詳細属性に対応する長さ、色、カテゴリー、及びタイプのうちの少なくとも１つを含んでもよい。例えば、第１メタデータは、ユーザ端末３００から既に出力された前記コンテンツに含まれる商品の長さ寸法（Ｄｉｍｅｎｓｉｏｎ）、色（Ｃｏｌｏｒ）、カテゴリー（Ｃａｔｅｇｏｒｙ）、タイプ（Ｔｙｐｅ）、またはこれらの組み合わせによって決定されてもよい。また、第１メタデータは、前記コンテンツに含まれる商品の長さの組み合わせ、色の組み合わせ、カテゴリーの組み合わせ、タイプの組み合わせなどが例示できる。

【0088】

例えば、前記コンテンツがインテリア商品に対応する場合、第１メタデータは、長さ寸法が、横５０ｃｍ×縦１０ｃｍ×高さ５０ｃｍであり、色がブラウンであり、カテゴリーが装飾品であり、タイプが床置き型、壁掛け型、天井型のうちのいずれかとして決定される１つ以上の分類識別情報を含んでもよい。また、例えば、前記コンテンツがインテリアの組み合わせスタイルに対応する場合、第１メタデータは、複数のインテリアに対応して算出される第１メタデータの組み合わせ情報をさらに含んでもよい。

【0089】

一方、前記第２メタデータは、前記コンテンツのレンダリング状態に対応する仮想現実レンダリングの有無、拡張現実レンダリングの有無、照明条件、カメラ位置、カメラ焦点、カメラ角度、及び複合シーンコンテンツの有無のうちの少なくとも１つを含んでもよい。前記第２メタデータは、ユーザ端末３００で出力されたコンテンツのレンダリング状態の分析によって決定されるものであり、このために、ユーザ端末３００では、コンテンツ別レンダリング状態情報を収集し、コンテンツサービス提供装置２００を介して、または直接、推薦情報提供装置１００に提供してもよい。

【0090】

これにより、第２メタデータのうち、仮想現実レンダリングの有無、拡張現実レンダリングの有無、照明条件、カメラ位置、カメラ焦点、カメラ角度などは、レンダリングされたコンテンツがユーザ端末３００のどのようなレンダリング環境で主に出力されたかを数値的に示すものであってもよい。さらに、複合シーンコンテンツの有無の情報は、ユーザ端末３００上で他のコンテンツと組み合わされて一緒に出力されたか、または別個の独立したコンテンツとして出力されたかを識別するコード情報を含んでもよい。

【0091】

そして、前記第３メタデータは、前記レンダリングされた周辺環境に対応する領域タイプ情報、領域サイズ情報、及び領域材質インデックス情報のうちの少なくとも１つを含んでもよい。第３メタデータは、例えば、レンダリングされた領域情報を含んでもよいので、当該領域が、インテリアが実現された部屋である場合、部屋に対応する属性情報コード（例えば、居間－０、寝室－１、浴室－２など）を含んでもよく、部屋の数値面積情報を含んでもよく、壁面及び床に対応する材質情報をインデックス情報として含んでもよい。

【0092】

一方、モデル情報メタデータ構成部１３８は、コンテンツのモデルデータ自体から抽出されるモデル特徴情報からモデル情報メタデータを構成してもよく、構成されたモデル情報メタデータは、前記レンダリング条件メタデータに含まれるかまたはマッピングされて、前記関係学習モデル学習部１４０に伝達されてもよい。モデル情報メタデータは、例えば、インテリアコンテンツの３次元モデル情報を構成するモデルフォーマット情報、オブジェクト特徴情報、面特徴情報、線特徴情報、データサイズ情報、オブジェクト数情報、またはレンダリング演算量情報などを含んでもよい。

【0093】

また、商品情報メタデータ構成部１３８は、コンテンツに対応する商品情報から抽出される商品情報メタデータを構成してもよく、構成された商品特徴情報メタデータは、前記レンダリング条件メタデータに含まれるかまたはマッピングされて、前記関係学習モデル学習部１４０に伝達されてもよい。商品情報メタデータとしては、例えば、インテリアコンテンツの商品仕様情報、寸法情報、価格情報、販売人気度情報、販売店情報、販売量情報などが挙げられる。

【0094】

これにより、レンダリング履歴情報処理部１３０は、ユーザ端末３００によるコンテンツサービスの提供による前記コンテンツのレンダリングベースの視覚的特徴情報を抽出することができ、これに対応する前記コンテンツのレンダリングメタデータ特徴情報及びユーザメタデータを取得することができ、取得された情報を前処理して関係学習モデル学習部１４０に入力することができる。ここで、前処理プロセスは、前記コンテンツのレンダリングベースの視覚的特徴情報をベクトル化する処理と、前記コンテンツのメタデータ特徴情報及びユーザメタデータをワンホットエンコーディングしたベクトル行列に変換する処理と、を含んでもよい。前記前処理プロセスは、必要に応じてフィルタリングプロセスをさらに含んでもよい。

【0095】

一方、再び図２を参照して、推薦情報提供装置１００の残りの構成要素について説明する。

【0096】

図２を参照すると、関係学習モデル学習部１４０は、レンダリング履歴情報処理部１３０を通じて提供されるコンテンツサービスの提供による前記コンテンツのレンダリングベースの視覚的特徴情報を、前記コンテンツのメタデータ特徴情報及びユーザメタデータに対応して事前に学習することにより、コンテンツに対応するレンダリング履歴ベースの関係情報が学習された学習モデルを構築する。

【0097】

これにより、関係学習モデル学習部１４０は、前述のコンテンツの視覚的特徴情報に対応して、実際のユーザがコンテンツをレンダリングした結果として取得されるコンテンツのレンダリングベースのメタデータ特徴情報及びユーザメタデータとの関係度を学習するための学習モデル構築を行うことができる。

【0098】

関係学習モデル学習部１４０の学習実行には、上述したように、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づくディープラーニングアルゴリズムによるニューラルネットワークが設定され、当該ニューラルネットワークは、入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）、１つ以上の隠れ層（Ｈｉｄｄｅｎ Ｌａｙｅｒｓ）及び出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）から構成される通常の様々な学習モデルが利用され得る。ここで、前記ディープラーニングアルゴリズムは、ＤＮＮ以外の他のニューラルネットワークが適用されることもあり、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やリカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのニューラルネットワークが適用されることもあり、さらにこれらを改善した、ロングショートタームメモリ（ＬＳＴＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）に基づくディープラーニングモデルや、これらの部分的な組み合わせモデルなどが利用されることもある。

【0099】

このような学習の実行により、各視覚的特徴情報と関連性の高いレンダリングベースのコンテンツレンダリングメタデータと、ユーザメタデータとを事前に学習してもよい。これは、結果として、特定のユーザに対応する任意の一部のユーザメタデータが入力されると、それに対応して関係度の高いコンテンツレンダリングメタデータ及び視覚的特徴情報、並びに残りのユーザメタデータを前記関係学習モデルから取得できることを意味する。

【0100】

すなわち、従来の単に入力されるユーザ好みのキーワードや単純なクリック入力の分析などとは異なり、実際のユーザが好みそうなコンテンツのレンダリングベースの視覚的特徴と、そのレンダリングを実現するために必要なコンテンツのレンダリングメタデータとを確認することができ、さらに、入力に使用された一部のユーザメタデータを除く残りのユーザメタデータをも確認することができるので、特定のユーザが好むコンテンツの好みの価格、好み度、スタイル、カテゴリー、インタフェース入力などをもユーザメタデータとして予測することができる。

【0101】

このような関係学習モデルの学習が完了すると、モデルベースの推薦データ生成部１５０は、コンテンツサービス提供装置２００から提供されるかまたはユーザ端末３００から提供される第１ユーザ情報入力に応じて、前記学習された関係学習モデルに基づく推薦情報を取得し、取得された推薦情報に基づく推薦データを生成する。

【0102】

そして、情報提供部１６０は、推薦データに対応するコンテンツ推薦情報を加工して、コンテンツサービス提供装置２００またはユーザ端末３００に提供することができる。

【0103】

ここで、前記推薦情報は、前記第１ユーザ情報を前記関係学習モデルに適用して取得される前記コンテンツレンダリングメタデータ及びコンテンツの視覚的特徴情報を含んでもよく、第１ユーザ情報が前記ユーザメタデータの一部を含む場合、残りのユーザメタデータをさらに含んでもよい。

【0104】

例えば、情報提供部１６０は、モデル基盤推薦データ生成部１５０で生成された推薦視覚的特徴データ及び推薦コンテンツレンダリングメタデータを取得して、サービス提供装置２００に提供することができる。

【0105】

そして、サービス提供装置２００は、推薦視覚的特徴データ及び推薦コンテンツレンダリングメタデータに基づいて、事前処理された商品またはインテリアアイテムの視覚的特徴情報またはコンテンツレンダリングメタデータとの類似度が高い推薦商品または推薦インテリアアイテムをインデックス化し、前記推薦商品または推薦インテリアアイテムを用いて、前記第１ユーザ情報に対応する推薦アイテムリスト情報を構成し、前記推薦アイテムリスト情報を、前記第１ユーザ情報に対応するユーザ端末３００に提供することができる。ただし、これはサービス提供装置２００を分離した場合を例示したもので、推薦情報提供装置１００においても情報提供部１６０を介して前記プロセスを行うことができる。

【0106】

このような構成によれば、コンテンツの直接的・間接的なレンダリング情報に基づいて、各顧客のユーザメタデータごとに好みの視覚的特徴と商品の組み合わせなどを事前に関係モデルとして学習することができ、これにより、より正確でパーソナライズされたコンテンツを推薦することができる推薦情報提供サービスと、これに基づく商品及びコンテンツ推薦サービスとを提供することができる。

【0107】

例えば、ホームインテリアなどのように、多様な顧客の嗜好や好みのスタイルの組み合わせが無限に存在する状況において、本発明の一実施形態による推薦情報提供装置１００は、単純なキーワード情報だけでは得にくい主観的な嗜好などを事前に把握できるようにし、把握されたホームインテリア商品群を顧客の視覚的嗜好の予測に基づいてレンダリングして提供することにより、コンテンツ利用の満足度を高め、顧客の商品のインデックス時間を短縮し、購入効率を高めることができ、その結果、効果的なサービスの提供及び拡大が可能になる。

【0108】

一方、記憶部１７０は、制御部１４０の動作のためのプログラムを保存することができ、入／出力されるデータを一時的に保存することもできる。

【0109】

記憶部１７０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、及び光ディスクのうちの少なくとも一種の記憶媒体を含んでもよい。推薦情報提供装置１００は、インターネット（ｉｎｔｅｒｎｅｔ）上で前記記憶部１７０の記憶機能を実行するＷｅｂストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と関連して動作することもできる。

【0110】

図４は、本発明の一実施形態による推薦情報提供装置の動作を説明するためのフローチャートである。

【0111】

図４を参照すると、本発明の一実施形態によるコンテンツサービス提供装置２００は、まず、商品またはインテリアレンダリングベースのコンテンツ情報サービスをユーザ端末３００に提供する（Ｓ１０１）。

【0112】

次いで、推薦情報提供装置１００は、コンテンツ情報サービスに対応して、ユーザ情報及びレンダリング履歴情報を収集する（Ｓ１０３）。

【0113】

その後、推薦情報提供装置１００は、ユーザ情報及びレンダリング履歴情報を処理して、レンダリング履歴ベースの関係学習モデルの構築のための学習データを構成する（Ｓ１０５）。

【0114】

学習データの構成は、上述したように、レンダリング履歴情報処理部１３０が処理することができ、レンダリング履歴情報処理部１３０は、ユーザ情報から取得されるユーザメタデータ、ユーザメタデータにマッピングされたレンダリングメタデータ、及び視覚的特徴情報を前処理して、学習データとして構成してもよい。

【0115】

次に、推薦情報提供装置１００は、構成された学習データを用いて、第１ユーザ情報が入力されると、前記第１ユーザ情報に適した視覚的特徴情報及び条件メタデータが出力されるように関係情報を学習するレンダリング履歴ベースの関係学習モデルを構築する（Ｓ１０９）。

【0116】

その後、推薦情報提供装置１００は、コンテンツサービス提供装置２００から新規ユーザ情報を取得し（Ｓ１０９）、新規ユーザ情報を前記関係学習モデルに適用して、推薦レンダリングメタデータ及び推薦視覚的特徴情報を取得する（Ｓ１１１）。

【0117】

これにより、コンテンツサービス提供装置２００は、取得された推薦レンダリングメタデータを提供され、これに基づいて商品またはインテリア推薦情報を構成する（Ｓ１１３）。

【0118】

次いで、コンテンツサービス提供装置２００は、構成された推薦情報を用いて、推薦コンテンツサービスインタフェースをユーザ端末に出力する処理を行う（Ｓ１１５）。

【0119】

ここで、前記ステップＳ１１３、Ｓ１１５は、推薦情報提供装置１００の情報提供部１６０により行うこともできる。

【0120】

図５は、本発明の一実施形態によるレンダリング履歴ベースの関係学習モデルの構築過程を示す模式図である。

【0121】

図５に示すように、ユーザは、様々なレンダリングサービスの利用を通じてユーザ端末３００上でレンダリングショット画像をレンダリングすることができ、これらのレンダリングショット画像は、特徴情報の埋め込み過程を経て、教師なし学習分類の実行による視覚的特徴ベクトルＶ_Ｒの形で算出され得る。

【0122】

そして、本発明の一実施形態による関係モデル学習部１４０は、視覚的特徴ベクトルＶ_Ｒと、レンダリングメタデータ及びユーザメタデータとの間の関係モデルを学習することにより、レンダリング履歴ベースの関係学習モデルを構築することができる。

【0123】

さらに、関係モデル学習部１４０は、レンダリングメタデータ及びユーザメタデータと、視覚的特徴ベクトルとの間の関係モデルを学習するにあたり、重みに基づくＣＯＮＣＡＴＥＮＡＴＥ関数を利用することができ、これは、視覚的特徴ベクトルに対応する第１重み（ｗ_ｖ）を設定することにより、関数式：ｃｏｎｃａｔ｛Ｖ_Ｒ＊ｗ_ｖ，Ｖ_Ｍ（１－ｗ_ｖ）｝のように演算され得る。

【0124】

前記ＣＯＮＣＡＴＥＮＡＴＥ（ＣＯＮＣＡＴ）関数の演算において、Ｖ_Ｒは、様々な角度から抽出されたレンダリングショットの特徴ベクトルを含み、ｗ_ｖは、視覚的特徴情報に対応して設定された重みを表し、Ｖ_Ｍは、レンダリングメタデータ及びユーザメタデータに対応して設定された第２重みを表し、第２重みは、（１－ｗ_ｖ）の形で算入され得る。

【0125】

このような第１重み及び第２重みは、関係モデル学習部１４０における関係学習モデルを構築する際の視覚的特徴情報の重要度の設定によって変化するハイパーパラメータであり得、これは、関係モデル学習部１４０の設定情報に基づいて決定され得る。

【0126】

一方、ユーザメタデータを構成する変数にもそれぞれの重みが設定されていてもよく、例えば、価格情報やカテゴリー別スタイル情報が含まれている場合、どの情報に高い重みを与えるかが予め設定されていてもよい。また、ユーザ情報収集部１１５は、ユーザメタデータの価格及びカテゴリーの重みを設定するために、ユーザが購入したコンテンツについて、同じカテゴリースタイル内の商品の価格、カテゴリースタイルの総数に対する購入したカテゴリースタイルの数を正規化し、正規化された値に基づいて、各価格及びカテゴリーの重みの変数を決定してもよい。

【0127】

図６は、本発明の他の実施形態による推薦情報提供装置の動作を説明するためのフローチャートであり、図７は、本発明の一実施形態によるレンダリングインタフェース環境情報テーブルを例示する図である。

【0128】

本発明の一実施形態による推薦情報提供装置１００は、上記のようなレンダリングメタデータ及びユーザメタデータ予測に基づいて、ユーザが好むレンダリング環境情報を識別することができ、これを用いてユーザ端末３００における推薦アイテムのレンダリングインタフェース環境を変化させることができる。

【0129】

例えば、図７に示すように、ユーザに対応して、コンテンツ別サービスレンダリング環境使用率統計情報を構築することができ、例えば、ＡＲレンダリング（ＡＲ）統計情報、ＶＲレンダリング（ＶＲ）統計情報、２次元レンダリング（Ｒｅｎｄｅｒ）統計情報などで収集及び分析することができ、これらは、正規化過程を経てユーザメタデータを構成し、関係モデル学習部１４０の入力特徴ベクトルに変換されて入力されてもよい。

【0130】

そして、本発明の一実施形態による推薦情報提供装置１００は、このようなユーザメタデータを用いてレンダリング環境提供サービスを処理することができる。

【0131】

より具体的には、図６を参照すると、まず、推薦情報提供装置１００は、視覚的特徴情報及びメタデータに対応してインデックス化された推薦商品または推薦インテリアアイテムの推薦リスト情報を構成する（Ｓ２０１）。

【0132】

推薦リスト情報を構成するために、推薦情報提供装置１００は、コンテンツサービス提供装置２００のデータベースを利用することができる。

【0133】

次いで、推薦情報提供装置１００は、レンダリングメタデータ及びユーザメタデータに基づいて、推薦リスト情報に含まれる推薦アイテム別のインタフェースレンダリング環境を設定する（Ｓ２０３）。これにより、インタフェースレンダリング環境設定情報がユーザ端末３００に提供され得る。

【0134】

したがって、ユーザ端末３００では、推薦リスト情報からアイテムが選択された場合、設定されたインタフェース条件によるレンダリング環境を構築し（Ｓ２０５）、ユーザ端末３００は、構築されたレンダリング環境に応じて、ユーザが選択したアイテムに対応するレンダリングインタフェースを提供できるようになる。

【0135】

例えば、レンダリングインタフェース環境としては、上述したように、ＡＲ、ＶＲ、２次元ディスプレイレンダリング等が挙げられ、ユーザのメタデータに応じて、ユーザが好む視覚的特徴情報に対応するコンテンツを、ユーザが好むレンダリング環境を通じて出力することができるので、推薦精度を高めるとともに、ユーザのサービス満足度を向上させることができるようになる。

【0136】

一方、ここで説明する様々な実施形態は、例えば、ソフトウェア、ハードウェア、またはそれらの組み合わせを用いて、コンピュータ読み取り可能な記録媒体内で実現できる。ハードウェア的な実現においては、ここで説明する実施形態は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサ（ｐｒｏｃｅｓｓｏｒｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、機能実行の電気的なユニットのうちの少なくとも１つを用いて実現できる。場合によっては、そのような実施形態は、制御部により実現できる。

【0137】

さらに、以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで実現できる。例えば、実施形態で説明した装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、演算装置（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラマブルロジックユニット（ＰＬＵ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ、）、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、または命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる他の任意の装置など、１つ以上の汎用コンピュータまたは特殊用途コンピュータを使用して実現できる。

【0138】

上述した本発明による方法は、コンピュータ上で実行するためのプログラムとして作成され、コンピュータで読み取り可能な記録媒体に格納されてもよく、コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形で実現されることも含む。

【0139】

コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式によりコンピュータで読み取り可能なコードが保存されて実行可能である。そして、上記の方法を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論され得る。

【0140】

また、以上、本発明の好適な実施形態について図示及び説明したが、本発明は、上述した特定の実施形態に何ら限定されるものではなく、請求の範囲において請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能なのはいうまでもなく、このような変形実施は、本発明の技術的思想や見込みから個別的に理解されてはならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】