特許 7161572 ディープラーニング基盤の仮想イメージ生成方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-18

(45)【発行日】2022-10-26

(54)【発明の名称】ディープラーニング基盤の仮想イメージ生成方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221019BHJP

   G06T 1/00 20060101ALI20221019BHJP

   G06T 7/70 20170101ALI20221019BHJP

   G06T 1/40 20060101ALI20221019BHJP

【ＦＩ】

G06T7/00 350C

G06T1/00 200A

G06T7/70 Z

G06T1/40

【請求項の数】 15

(21)【出願番号】P 2021073577

(22)【出願日】2021-04-23

(65)【公開番号】P2021174553

(43)【公開日】2021-11-01

【審査請求日】2021-04-23

(31)【優先権主張番号】10-2020-0049121

(32)【優先日】2020-04-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522257469

【氏名又は名称】エヌエイチエヌ クラウド コーポレーション

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】チョ ミョンフン

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２０－０３８６４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３７１０８０（ＵＳ，Ａ１）

【文献】特開２０１９－２０４４７６（ＪＰ，Ａ）

【文献】Albert Pumarola et al.，Unsupervised Person Image Synthesis in Arbitrary Poses，2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，米国，IEEE，2018年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8578997

【文献】中田 秀基 外１名，ニューラルネットワークを用いた任意人物・姿勢画像の生成，電子情報通信学会技術研究報告，第118巻 第513号，日本，一般社団法人電子情報通信学会，2019年03月10日，pp.73～78

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０ － １３／８０

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １９／００ － １９／２０

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

コンピューティングデバイスのプロセッサにより実行されるイメージアプリケーションが、
１つの製品に対する複数の製品イメージを取得し、
前記取得された複数の製品イメージを、互いに異なるポーズ（ｐｏｓｅ）形態を基準に区分された複数のカテゴリーのうちの少なくとも１つのカテゴリーに分類し、
前記複数のカテゴリーのうち、少なくとも１つのターゲットカテゴリーを決定し、
前記複数の製品イメージのうちの少なくとも１つの製品イメージを基に、前記少なくとも１つのターゲットカテゴリーにマッチングされた第１ポーズ形態の仮想イメージを生成し、
前記生成された仮想イメージを出力する、ことを含み、
前記ターゲットカテゴリーの決定は、
前記複数のカテゴリーのうち、前記複数の製品イメージが分類されなかった空のカテゴリーを検出し、
前記検出された空のカテゴリーを前記ターゲットカテゴリーとして決定する、
ことを含むディープラーニング基盤の仮想イメージ生成方法。

【請求項2】

前記仮想イメージは、
少なくとも前記１つの製品イメージと前記第１ポーズ形態に関する情報が予め学習されたディープラーニングニューラルネットワークに入力して、前記第１ポーズ形態を有するように生成された前記１つの製品に対するイメージである請求項１に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項3】

前記第１ポーズ形態の仮想イメージの生成は、
前記複数の製品イメージのうち、少なくとも１つをベースイメージとして決定する、
ことを含む請求項１に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項4】

前記ベースイメージの決定は、
予め設定されたカテゴリー別の優先順位にしたがって最優先順位のカテゴリーの製品イメージを前記ベースイメージとして決定する、
ことを含む請求項３に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項5】

前記第１ポーズ形態の仮想イメージの生成は、
前記ベースイメージ及び前記第１ポーズ形態の情報が予め学習されたディープラーニングニューラルネットワークに入力して、前記第１ポーズ形態のポーズセマンティックレベルマップ（Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成する、
ことをさらに含む請求項３に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項6】

前記第１ポーズ形態の仮想イメージの生成は、
前記ベースイメージのセマンティックレベルマップであるベースセマンティックレベルマップ（Ｂａｓｅ Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成する、
ことをさらに含む請求項５に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項7】

前記第１ポーズ形態の仮想イメージの生成は、
前記ポーズセマンティックレベルマップ及び前記ベースイメージが予め学習されたディープラーニングニューラルネットワークに入力して、出力として前記仮想イメージを生成する、
ことをさらに含む請求項５に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項8】

前記第１ポーズ形態の仮想イメージの生成は、
前記ベースイメージ及びベースセマンティックレベルマップと対応するように、前記第１ポーズ形態の情報及びポーズセマンティックレベルマップをディープラーニングニューラルネットワークに入力して、出力として前記第１ポーズ形態を有する前記仮想イメージを生成する、
ことを含む請求項５に記載のディープラーニング基盤の仮想イメージ生成方法。

【請求項9】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサにより実行されるイメージアプリケーションに対する格納命令を格納するメモリと、
を備え、
前記イメージアプリケーションの格納命令は、
１つの製品に対する複数の製品イメージを取得し、
前記取得された複数の製品イメージを、互いに異なるポーズ（ｐｏｓｅ）形態を基準に区分された複数のカテゴリーに分類し、
前記複数のカテゴリーのうち、前記複数の製品イメージが分類されなかった空のカテゴリーを検出し、
前記検出された空のカテゴリーをターゲットカテゴリーとして決定し、
前記複数の製品イメージのうちの少なくとも１つの製品イメージを基に前記決定されたターゲットカテゴリーにマッチングされた第１ポーズ形態の仮想イメージを生成し、
前記生成された仮想イメージを出力する、命令語を含む、
ディープラーニング基盤の仮想イメージ生成システム。

【請求項10】

前記イメージアプリケーションの格納命令は、
前記複数の製品イメージのうち、少なくとも１つをベースイメージとして決定する、命令語を含む、
請求項９に記載のディープラーニング基盤の仮想イメージ生成システム。

【請求項11】

前記イメージアプリケーションの格納命令は、
予め設定されたカテゴリー別の優先順位にしたがって最優先順位のカテゴリーの製品イメージを前記ベースイメージとして決定する、命令語を含む、
請求項１０に記載のディープラーニング基盤の仮想イメージ生成システム。

【請求項12】

前記イメージアプリケーションの格納命令は、
前記ベースイメージ及び前記第１ポーズ形態の情報を予め学習されたディープラーニングニューラルネットワークに入力して、前記第１ポーズ形態のポーズセマンティックレベルマップ（Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成する、命令語を含む、
請求項１１に記載のディープラーニング基盤の仮想イメージ生成システム。

【請求項13】

前記イメージアプリケーションの格納命令は、
前記ベースイメージのセマンティックレベルマップであるベースセマンティックレベルマップ（Ｂａｓｅ Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成する、命令語を含む、
請求項１２に記載のディープラーニング基盤の仮想イメージ生成システム。

【請求項14】

前記イメージアプリケーションの格納命令は、
前記ポーズセマンティックレベルマップ及び前記ベースイメージを予め学習されたディープラーニングニューラルネットワークに入力して、出力として前記仮想イメージを生成する、命令語を含む、
請求項１３に記載のディープラーニング基盤の仮想イメージ生成システム。

【請求項15】

前記イメージアプリケーションの格納命令は、
前記ベースイメージ及びベースセマンティックレベルマップと対応するように、前記第１ポーズ形態の情報及びポーズセマンティックレベルマップをディープラーニングニューラルネットワークに入力して、出力として前記第１ポーズ形態を有する前記仮想イメージを生成する、命令語を含む、
請求項１４に記載のディープラーニング基盤の仮想イメージ生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディープラーニング基盤の仮想イメージ生成方法に関する。より詳細には、１つの製品に対する複数の製品イメージを分類するときに求められる必要製品イメージをディープラーニングに基づいて生成し、提供する方法に関する。

【背景技術】

【0002】

周知のように、インターネット回線速度の増加とマルチメディア技術の発展に伴い、インターネット網を介したマルチメディアウェブ情報の流通が活発になされており、インターネットを介した財貨の流通のための保安技術が発展するにつれて、オフライン上で主に販売されていた商品や各種サービス取引がオンラインのインターネットショッピングモールを介してなされている傾向にある。

【0003】

すなわち、上記のような通信技術の発展に伴い、ユーザは、個人の端末を介してショッピングモールサーバで提供する商品情報を確認し、ショッピングすることが可能となった。

【0004】

このとき、ユーザは、合理的なショッピングのために、ショッピングモールサーバで提供する製品に対する複数の製品イメージを検索し、確認するようになる。

【0005】

しかしながら、オンラインショッピングモール上に存在する様々なイメージ（例えば、製品着用イメージ、製品材質及び／又は色相イメージなど）は、別の区分なしに１つの製品を表すページ上にランダムに並べられている場合がほとんどであり、このため、製品を効果的に認知するのに不便さがあるなどの問題がある。

【0006】

また、ショッピングモールで提供される製品をより効果的にディスプレイするために、様々な形態（例えば、衣類製品を着用した状態での様々なポーズなど）で当該製品を表すイメージを提供する必要があるが、既存の製品イメージの他に、追加的に必要なイメージが発生する場合、必要な製品イメージを作るために、別の撮影や作業を行わなければならないなどの困難があり、このための技術開発が求められている。

【0007】

一方、人間の脳を摸倣するニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が考案されて、コンピュータが自ら外部データを組み合わせ、分析して学習するディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が発展するにつれて、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）が画期的に跳躍した。

【0008】

そして、コンピュータが人間に代えて膨大な量のデータを分析し、事物やデータを群集化したり、分類することができる。

【0009】

また、上記のようなニューラルネットワークがイメージに融合されたイメージディープラーニング（Ｉｍａｇｅ Ｄｅｅｐ－ｌｅａｒｎｉｎｇ）技術が共に発展するにつれて、イメージセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）、イメージインペインティング（Ｉｎｐａｉｎｔｉｎｇ）、及びイメージ合成（ｃｏｍｐｏｓｉｔｅ）などを活用した各種技術開発に対する関心が高まっている。

【0010】

ここで、イメージセグメンテーションとは、全体イメージからオブジェクト領域を分離する技術であって、全体イメージで事物の領域をピクセル単位に分類する技術をいう。

【0011】

また、イメージインペインティングは、全体イメージからオブジェクトを除いた部分（すなわち、イメージ内で消された領域）に対するイメージ復元を行う技術である。

【0012】

さらに、イメージ合成技術は、複数のイメージを合成して新しいイメージを実現する技術を意味する。

【先行技術文献】

【特許文献】

【0013】

【文献】韓国公開特許第１０－２０１６－００４６４７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明は、上述した問題点を解決するために案出されたものであって、オンラインショッピングモールで提供する１つの製品に対する複数の製品イメージをユーザビリティを考慮して分類し、ここで求められる必要製品イメージをディープラーニングに基づいて生成するディープラーニング基盤の仮想イメージ生成方法を提供することを目的とする。

【0015】

ただし、本発明及び本発明の実施形態が解決しようとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。

【課題を解決するための手段】

【0016】

本発明の実施形態に係るディープラーニング基盤の仮想イメージ生成方法及びシステムは、コンピューティングデバイスのプロセッサにより実行されるイメージアプリケーションがディープラーニングに基づいて仮想イメージを生成する方法であって、１つの製品に対する複数の製品イメージを取得するステップと、前記取得された製品イメージを互いに異なるポーズ（ｐｏｓｅ）形態を基準に区分された複数のカテゴリーに分類するステップと、前記複数のカテゴリーのうち、前記仮想イメージを生成するターゲットカテゴリーを決定するステップと、前記複数の製品イメージのうち、少なくとも１つの製品イメージを基に前記決定されたターゲットカテゴリーにマッチングされた第１ポーズ形態の仮想イメージを生成するステップと、前記生成された仮想イメージを出力するステップとを含む。

【0017】

このとき、前記ターゲットカテゴリーを決定するステップは、前記製品イメージが分類されなかった空のカテゴリーを検出するステップと、前記検出された空のカテゴリーを前記ターゲットカテゴリーとして決定するステップとを含む。

【0018】

また、前記仮想イメージは、少なくとも前記１つの製品イメージと前記第１ポーズ形態に関する情報を予め学習されたディープラーニングニューラルネットワークに入力して、前記第１ポーズ形態を有するように生成された前記製品に対するイメージである。

【0019】

また、前記第１ポーズ形態の仮想イメージを生成するステップは、前記複数の製品イメージのうち、少なくとも１つをベースイメージとして決定するステップを含む。

【0020】

また、前記ベースイメージを決定するステップは、予め設定されたカテゴリー別の優先順位にしたがって最優先順位のカテゴリーの製品イメージを前記ベースイメージとして決定するステップを含む。

【0021】

また、前記第１ポーズ形態の仮想イメージを生成するステップは、前記ベースイメージと前記第１ポーズ形態情報を予め学習されたディープラーニングニューラルネットワークに入力して、前記第１ポーズ形態のポーズセマンティックレベルマップ（Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成するステップをさらに含む。

【0022】

また、前記第１ポーズ形態の仮想イメージを生成するステップは、前記ベースイメージのセマンティックレベルマップであるベースセマンティックレベルマップ（Ｂａｓｅ Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成するステップをさらに含む。

【0023】

また、前記第１ポーズ形態の仮想イメージを生成するステップは、前記ポーズセマンティックレベルマップ及び前記ベースイメージを予め学習されたディープラーニングニューラルネットワークに入力して、出力として前記仮想イメージを生成するステップをさらに含む。

【0024】

また、前記第１ポーズ形態の仮想イメージを生成するステップは、前記ベースイメージ及びベースセマンティックレベルマップと対応するように、前記第１ポーズ形態情報及びポーズセマンティックレベルマップをディープラーニングニューラルネットワークに入力して、出力として前記第１ポーズ形態を有する前記仮想イメージを生成するステップを含む。

【0025】

また、本発明の実施形態に係るディープラーニング基盤の仮想イメージ生成方法及びシステムは、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにより実行されるメモリ格納命令を格納するメモリとを備え、前記メモリ格納命令は、１つの製品に対する複数の製品イメージを取得し、前記取得された製品イメージを互いに異なるポーズ（ｐｏｓｅ）形態を基準に区分された複数のカテゴリーに分類し、前記複数のカテゴリーのうち、仮想イメージを生成するターゲットカテゴリーを決定し、前記複数の製品イメージのうち、少なくとも１つの製品イメージを基に前記決定されたターゲットカテゴリーにマッチングされた第１ポーズ形態の仮想イメージを生成し、前記生成された仮想イメージを出力する命令語を含む。

【発明の効果】

【0026】

本発明の実施形態に係るディープラーニング基盤のイメージ生成方法は、１つの製品に対して存在する製品イメージの他に、新しく求められる必要製品イメージがあれば、当該必要製品イメージをディープラーニングに基づいて生成することにより、製品を効果的に表示するために補充されなければならない必要製品イメージを、別の撮影や作業がなくとも迅速かつ便利に提供することができるという効果がある。

【0027】

また、本発明の実施形態に係るディープラーニング基盤のイメージ生成方法は、必要製品イメージをディープラーニングに基づいて提供することにより、ショッピングモール上の製品をより正確に把握できるように、様々な観点で実現される製品イメージを容易に提供でき、これにより、ショッピングモールサービスの全般的なクオリティを向上させると同時に、ユーザビリティを増進させることができるという効果がある。

【0028】

また、本発明の実施形態に係るディープラーニング基盤のイメージ生成方法は、オンラインショッピングモールで提供する１つの製品に対する複数の製品イメージをユーザビリティを考慮して自動的に分類することにより、ショッピングモールで製品イメージをランダムに並べる場合に発生する可能性がある不便さを最小化でき、製品ページの構築に消費される費用を低減でき、ショッピングモール使用性の向上及びこれによる売上げ増大の効果を実現できる。

【0029】

ただし、本発明において得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、下記の記載から明確に理解され得るであろう。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係るディープラーニング基盤のイメージ生成システムの概念図である。

【図2】本発明の実施形態に係るモバイルタイプのコンピューティングデバイスの内部ブロック図である。

【図3】本発明の実施形態に係るデスクトップタイプのコンピューティングデバイスの内部ブロック図である。

【図4】本発明の実施形態に係るディープラーニング基盤の仮想イメージ生成方法を説明するためのフローチャートである。

【図5】本発明の実施形態に係るイメージディープラーニングのセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）技術を説明するための図である。

【図6】本発明の実施形態に係るイメージディープラーニングのインペインティング（Ｉｎｐａｉｎｔｉｎｇ）技術を説明するための図である。

【図7】本発明の実施形態に係る仮想イメージを生成する方法を説明するためのフローチャートである。

【図8】本発明の実施形態に係る仮想イメージを生成する方法を説明するための概念図である。

【図9】本発明の実施形態に係る仮想イメージを生成する方法を説明するための概念図である。

【図10】本発明の実施形態に係るカテゴリー別の製品イメージ情報を表す形状の一例である。

【図11】本発明の実施形態に係るセマンティックレベルマップ生成器に基づいて生成されるセマンティックレベルマップを説明するための図である。

【発明を実施するための形態】

【0031】

図１は、本発明の実施形態に係るディープラーニング基盤のイメージ生成システムの概念図である。

【0032】

図１に示すように、本発明の実施形態に係るディープラーニング基盤のイメージ生成システムは、コンピューティングデバイス１００、イメージ管理サーバ４００、ショッピングモールサーバ５００、及びネットワーク６００を備えることができる。

【0033】

実施形態において、コンピューティングデバイス１００、イメージ管理サーバ４００、ショッピングモールサーバ５００、及びネットワーク６００は、相互に連動してオンラインショッピングモールで提供する１つの製品に対する複数の製品イメージをユーザビリティを考慮して分類することができ、ここで求められる必要製品イメージをディープラーニングに基づいて生成できるイメージアプリケーションを実現できる。

【0034】

また、実施形態においてコンピューティングデバイス１００、イメージ管理サーバ４００、ショッピングモールサーバ５００、及びネットワーク６００は、前記イメージアプリケーションを介して生成された結果物をオン／オフラインにてユーザに提供することができる。

【0035】

具体的には、本発明の実施形態において、イメージアプリケーションは、オンラインショッピングモールに接続して複数の製品イメージを取得できる。

【0036】

ここで、実施形態に係る製品イメージとは、オンラインショッピングモールサービスで提供される製品を表示するために、当該製品を含んで撮影したイメージであることができる。

【0037】

また、イメージアプリケーションは、取得された製品イメージを複数のカテゴリー（ｃａｔｅｇｏｒｙ）ごとに分類することができる。

【0038】

このとき、実施形態において、カテゴリーとは、製品イメージ内の製品と関連したポーズ形態及び／又は製品情報に基づいて前記製品イメージが分類されるカテゴリーであることができる。詳細な説明は、後述する。

【0039】

また、実施形態において、イメージアプリケーションは、複数のカテゴリーのうち、追加的な製品イメージが必要であると判断されるカテゴリーであるターゲットカテゴリー（ｔａｒｇｅｔ ｃａｔｅｇｏｒｙ）を検出することができる。

【0040】

また、ターゲットカテゴリーが検出される場合、イメージアプリケーションは、オンラインショッピングモールに接続して取得した製品イメージに基づいて、ターゲットカテゴリーにマッチングされるポーズ形態を有する仮想イメージを生成できる。

【0041】

ここで、実施形態に係る仮想イメージとは、既存に存在する製品イメージに基づいてディープラーニングイメージ処理を行い、新しいポーズ形態を有するように生成された製品イメージであることができる。

【0042】

本発明の実施形態に係る仮想イメージを生成する方法についての詳細な説明は、以下において記述されるディープラーニング基盤の仮想イメージ生成方法で後述する。

【0043】

また、仮想イメージを生成したイメージアプリケーションは、生成された仮想イメージをマッチングされるカテゴリーに分類することができる。

【0044】

また、実施形態において、イメージアプリケーションは、生成された仮想イメージを含んで分類された製品イメージを再構成して、カテゴリー別の製品イメージ情報を提供することができる。

【0045】

ここで、カテゴリー別の製品イメージ情報とは、オンラインショッピングモール上でランダムに並べられた様々な製品イメージをユーザビリティに合うように分類し、再構成して表す情報であることができる。

【0046】

このとき、実施形態に係るイメージアプリケーションは、前記カテゴリー別の製品イメージ情報をオンラインまたはオフラインを介してユーザに提供することができる。

【0047】

一方、図１のコンピューティングデバイス１００、イメージ管理サーバ４００、及びショッピングモールサーバ５００は、ネットワーク６００を介して接続されることができる。

【0048】

ここで、ネットワーク６００は、コンピューティングデバイス１００、イメージ管理サーバ４００、及びショッピングモールサーバ５００などのようなそれぞれのノード相互間に情報交換が可能な接続構造を意味するものであって、このようなネットワーク６００の一例には、３ＧＰＰ（登録商標）（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）ネットワーク、ＬＴＥ（登録商標）（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク、ＷｉＭＡＸ（登録商標）（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）ネットワーク、インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉｒｅｌｅｓｓ ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれるが、これに限定されるものではない。

【0049】

［コンピューティングデバイス］
本発明の実施形態においてコンピューティングデバイス１００は、オンラインショッピングモールサービスを利用するための環境を提供し、このようなオンラインショッピングモールサービス環境内で１つの製品に対する複数の製品イメージを分類し、ここで求められる必要製品イメージをディープラーニングに基づいて生成できるイメージアプリケーションを実行できる。

【0050】

また、実施形態に係るコンピューティングデバイス１００は、生成されたカテゴリー別の製品イメージ情報を表示することができ、表示されたカテゴリー別の製品イメージ情報を活用できるインターフェースを提供することもできる。

【0051】

実施形態において、このようなコンピューティングデバイス１００は、イメージアプリケーションがインストールされた様々なタイプ（例えば、モバイルタイプまたはデスクトップタイプ）のコンピューティングデバイス１００を含むことができる。

【0052】

［１．モバイルタイプのコンピューティングデバイス］
本発明の実施形態において、モバイルタイプのコンピューティングデバイス２００は、イメージアプリケーションがインストールされたスマートフォンやタブレットＰＣのようなモバイル装置であることができる。

【0053】

例えば、モバイルタイプのコンピューティングデバイス２００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）などが含まれ得る。

【0054】

図２は、本発明の実施形態に係るモバイルタイプのコンピューティングデバイス２００の内部ブロック図である。

【0055】

図２に示すように、例示的な実現によるモバイルタイプのコンピューティングデバイス２００は、メモリ２１０、プロセッサアセンブリ２２０、通信モジュール２３０、インターフェースモジュール２４０、入力システム２５０、センサシステム２６０、及びディスプレイシステム２７０を備えることができる。このような構成要素等は、モバイルタイプのコンピューティングデバイス２００のハウジング内に含まれるように構成されることができる。

【0056】

具体的には、メモリ２１０には、イメージアプリケーション２１１が格納され、イメージアプリケーション２１１には、ディープラーニング基盤のイメージ生成サービスを実現できる環境を提供するための各種応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

【0057】

例えば、メモリ２１０は、製品イメージ情報、製品情報、カテゴリー情報、仮想イメージ情報、ポーズ形態情報、及び／又はカテゴリー別の製品イメージ情報などが含まれ得る。

【0058】

すなわち、メモリ２１０は、ディープラーニング基盤のイメージ生成サービス環境を生成するために使用され得る命令及びデータを格納することができる。

【0059】

また、メモリ２１０は、少なくとも１つ以上の非一時的コンピュータ読み取り可能記憶媒体と、一時的コンピュータ読み取り可能記憶媒体とを含むことができる。例えば、メモリ２１０は、ＲＯＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器であることができ、インターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリ２１０の格納機能を果たすウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）を含むことができる。

【0060】

プロセッサアセンブリ２２０は、ディープラーニング基盤のイメージ生成サービス環境を実現するための様々な作業を行うために、メモリ２１０に格納されたイメージアプリケーション２１１の命令を実行できる少なくとも１つ以上のプロセッサを備えることができる。

【0061】

実施形態において、プロセッサアセンブリ２２０は、ディープラーニング基盤のイメージ生成サービスを提供するために、メモリ２１０のイメージアプリケーション２１１を介して構成要素の全般的な動作をコントロールすることができる。

【0062】

このようなプロセッサアセンブリ２２０は、中央処理装置ＣＰＵ及び／又はグラフィックプロセッサ装置ＧＰＵを含むことができる。また、プロセッサアセンブリ２２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能を実行するための電気的ユニットのうち、少なくとも１つを備えて実現されることができる。

【0063】

通信モジュール２３０は、他のコンピューティング装置（例えば、イメージ管理サーバ４００）と通信するための１つ以上の装置を含むことができる。このような通信モジュール２３０は、無線ネットワークを介して通信することができる。

【0064】

具体的には、通信モジュール２３０は、ディープラーニング基盤のイメージ生成サービス環境を実現するためのコンテンツソースを格納したコンピューティング装置と通信することができ、ユーザ入力を受けたコントローラのような様々なユーザ入力コンポーネントと通信することができる。

【0065】

実施形態において、通信モジュール２３０は、ディープラーニング基盤のイメージ生成サービスと関連した各種データをイメージ管理サーバ４００、ショッピングモールサーバ５００、及び／又は他のコンピューティングデバイス１００と送受信することができる。

【0066】

このような通信モジュール２３０は、移動通信のための技術標準または通信方式（例えば、ＬＴＥ（登録商標）（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）、５Ｇ ＮＲ（Ｎｅｗ Ｒａｄｉｏ）、Ｗｉ－Ｆｉ（登録商標））、または近距離通信方式などを行うことができる通信装置を介して構築された移動通信網上で基地局、外部の端末、任意のサーバのうち、少なくとも１つと無線でデータを送受信することができる。

【0067】

センサシステム２６０は、イメージセンサ２６１、位置センサ（ＩＭＵ、２６３）、オーディオセンサ、距離センサ、近接センサ、接触センサなど、様々なセンサを備えることができる。

【0068】

イメージセンサ２６１は、モバイルタイプのコンピューティングデバイス２００周りの物理的空間に対するイメージ及び／又は画像をキャプチャすることができる。

【0069】

実施形態において、イメージセンサ２６１は、ディープラーニング基盤のイメージ生成サービスに関連した画像（例えば、ＱＲコード（登録商標）等）を撮影して取得することができる。

【0070】

また、イメージセンサ２６１は、モバイルタイプのコンピューティングデバイス２００の前面又は／及び後面に配置されて、配置された方向側を撮影して画像を取得でき、モバイルタイプのコンピューティングデバイス２００の外部に向かって配置されたカメラを介して物理的空間を撮影することができる。

【0071】

このようなイメージセンサ２６１は、イメージセンサ装置と画像処理モジュールを含むことができる。具体的に、イメージセンサ２６１は、イメージセンサ装置（例えば、ＣＭＯＳまたはＣＣＤ）により得られる静止画または動画を処理することができる。

【0072】

また、イメージセンサ２６１は、画像処理モジュールを用いて、イメージセンサ装置を介して取得された静止画または動画を加工して必要な情報を抽出し、抽出された情報をプロセッサに伝達することができる。

【0073】

このようなイメージセンサ２６１は、少なくとも１つ以上のカメラを含むカメラアセンブリであることができる。カメラアセンブリは、可視光線帯域を撮影する一般カメラを含むことができ、赤外線カメラ、ステレオカメラなどの特殊カメラをさらに含むことができる。

【0074】

ＩＭＵ（２６３）は、モバイルタイプのコンピューティングデバイス２００の動き及び加速度のうち、少なくとも１つ以上を感知できる。例えば、加速度計、ジャイロスコープ、磁力計のような様々な位置センサの組み合わせからなることができる。また、通信モジュール２３０のＧＰＳのような位置通信モジュール２３０と連動して、モバイルタイプのコンピューティングデバイス２００周りの物理的空間に対する空間情報を認識することができる。

【0075】

また、ＩＭＵ（２６３）は、検出された位置及び方向を基にユーザの視線方向及び頭の動きを検出及び追跡する情報を検出することができる。

【0076】

また、一部の実現等において、イメージアプリケーション２１１は、このようなＩＭＵ（２６３）及びイメージセンサ２６１を使用して物理的空間内のユーザの位置及び方向を決定するか、物理的空間内の特徴またはオブジェクトを認識することができる。

【0077】

オーディオセンサ２６５は、モバイルタイプのコンピューティングデバイス２００周りの音を認識できる。

【0078】

具体的には、オーディオセンサ２６５は、モバイルタイプのコンピューティングデバイス２００ユーザの音声入力を感知できるマイクロホンを備えることができる。

【0079】

実施形態において、オーディオセンサ２６５は、ディープラーニング基盤のイメージ生成サービスのために必要な音声データをユーザから受信することができる。

【0080】

インターフェースモジュール２４０は、モバイルタイプのコンピューティングデバイス２００を１つ以上の他の装置と通信可能に接続することができる。具体的には、インターフェースモジュール２４０は、１つ以上の相違した通信プロトコルと互換される有線及び／又は無線通信装置を含むことができる。

【0081】

このようなインターフェースモジュール２４０を介してモバイルタイプのコンピューティングデバイス２００は、種々の入出力装置等と接続されることができる。

【0082】

例えば、インターフェースモジュール２４０は、ヘッドセットポートやスピーカのようなオーディオ出力装置と接続されて、音声を出力することができる。

【0083】

例示的に、オーディオ出力装置がインターフェースモジュール２４０を介して接続されることと説明したが、モバイルタイプのコンピューティングデバイス２００内部に設けられる実施形態も含まれることができる。

【0084】

このようなインターフェースモジュール２４０は、有線／無線ヘッドセットポート（ｐｏｒｔ）、外部充電器ポート（ｐｏｒｔ）、有線／無線データポート（ｐｏｒｔ）、メモリカード（ｍｅｍｏｒｙ ｃａｒｄ）ポート、識別モジュールが備えられた装置を接続するポート（ｐｏｒｔ）、オーディオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート（ｐｏｒｔ）、ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート（ｐｏｒｔ）、イヤホンポート（ｐｏｒｔ）、電力増幅器、ＲＦ回路、送受信機、及びその他の通信回路のうち、少なくとも１つを含んで構成されることができる。

【0085】

入力システム２５０は、ディープラーニング基盤のイメージ生成サービスと関連したユーザの入力（例えば、ジェスチャ、音声命令、ボタンの作動、または他の類型の入力）を感知することができる。

【0086】

具体的には、入力システム２５０は、ボタン、タッチセンサ、及びユーザモーション入力を受信するイメージセンサ２６１を備えることができる。

【0087】

また、入力システム２５０は、インターフェースモジュール２４０を介して外部コントローラと接続されて、ユーザの入力を受信することができる。

【0088】

ディスプレイシステム２７０は、ディープラーニング基盤のイメージ生成サービスと関連した様々な情報をグラフィックイメージとして出力することができる。

【0089】

このようなディスプレイは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ－ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電子インキディスプレイ（ｅ－ｉｎｋ ｄｉｓｐｌａｙ）のうち、少なくとも１つを含むことができる。

【0090】

このようなモバイルタイプのコンピューティングデバイス２００のハウジング内には、前記構成要素等が配置され得るし、ユーザインターフェースは、ユーザタッチ入力を受信するように構成されたディスプレイ２７１上にタッチセンサ２７３を備えることができる。

【0091】

具体的には、ディスプレイシステム２７０は、イメージを出力するディスプレイ２７１と、ユーザのタッチ入力を感知するタッチセンサ２７３とを備えることができる。

【0092】

例示的に、ディスプレイ２７１は、タッチセンサ２７３と相互レイヤ構造をなしたり、一体型で形成されることにより、タッチスクリーンとして実現されることができる。このようなタッチスクリーンは、モバイルタイプのコンピューティングデバイス２００とユーザとの間の入力インターフェースを提供するユーザ入力部として機能すると同時に、モバイルタイプのコンピューティングデバイス２００とユーザとの間の出力インターフェースを提供することができる。

【0093】

［２．デスクトップタイプのコンピューティングデバイス］
図３は、本発明の実施形態に係るデスクトップタイプのコンピューティングデバイス３００の内部ブロック図である。

【0094】

デスクトップタイプのコンピューティングデバイス３００の前記構成要素についての説明のうち、重複する内容は、モバイルタイプのコンピューティングデバイス２００の構成要素についての説明に代えることにし、以下では、モバイルタイプのコンピューティングデバイス２００との相違点を中心に説明する。

【0095】

図３に示すように、他の例示においてデスクトップタイプのコンピューティングデバイス３００は、イメージアプリケーション３１１が設けられた固定型デスクトップＰＣ、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ウルトラブック（登録商標）（ｕｌｔｒａｂｏｏｋ）のようなパーソナルコンピュータなどのように、有線／無線通信に基づいてディープラーニング基盤のイメージ生成サービスを実行するためのプログラムが設けられた装置をさらに含むことができる。

【0096】

また、デスクトップタイプのコンピューティングデバイス３００は、ユーザインターフェースシステム３５０を含んで、ユーザ入力（例えば、タッチ入力、マウス入力、キーボード入力、ジェスチャ入力、ガイド道具を利用したモーション入力等）を受信することができる。

【0097】

例示的に、デスクトップタイプのコンピューティングデバイス３００は、ユーザインターフェースシステム３５０を様々な通信プロトコルでマウス３５１、キーボード３５２、ジェスチャ入力コントローラ、イメージセンサ３６１（例えば、カメラ）、及びオーディオセンサ３６５など、少なくとも１つの装置と接続して、ユーザ入力を取得できる。

【0098】

また、デスクトップタイプのコンピューティングデバイス３００は、ユーザインターフェースシステム３５０を介して外部出力装置と接続されることができ、例えば、ディスプレイ装置３７０、オーディオ出力装置などに接続されることができる。

【0099】

また、例示的な実現によるデスクトップタイプのコンピューティングデバイス３００は、メモリ３１０、プロセッサアセンブリ３２０、通信モジュール３３０、ユーザインターフェースシステム３５０、及び入力システム３４０を備えることができる。このような構成要素等は、コンピューティングデバイス３００のハウジング内に含まれるように構成されることができる。

【0100】

デスクトップタイプのコンピューティングデバイス３００の上記構成要素についての説明は、モバイルタイプのコンピューティングデバイス２００の構成要素についての説明に代えることにする。

【0101】

ただし、本発明の実施形態において図２及び３に示された構成要素等は、コンピューティングデバイス１００を実現するのにおいて必須なものではなく、本明細書上で説明されるコンピューティングデバイス１００は、上記で列挙された構成要素等より多いか、または少ない構成要素等を有することができる。

【0102】

［イメージ管理サーバ］
一方、本発明の実施形態において、イメージ管理サーバ４００は、ディープラーニング基盤のイメージ生成サービスを提供するための一連のプロセスを行うことができる。

【0103】

具体的には、イメージ管理サーバ４００は、オンラインショッピングモールで提供される製品に対する製品イメージに基づいてイメージディープラーニング（Ｉｍａｇｅ Ｄｅｅｐ－ｌｅａｒｎｉｎｇ）を行うことができる。

【0104】

また、イメージ管理サーバ４００は、イメージディープラーニングに基づいて１つの製品に対する複数の製品イメージをカテゴリー別に自動分類することができる。

【0105】

また、実施形態においてイメージ管理サーバ４００は、イメージディープラーニングを基に１つの製品に対する複数の製品イメージを分類するときに求められる必要製品イメージを生成できる。

【0106】

また、イメージ管理サーバ４００は、ディープラーニング基盤のイメージ生成サービスを実現するための各種応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

【0107】

より具体的には、図１をさらに参照すれば、上記のようなイメージ管理サーバ４００は、ディープラーニングサーバ４１０、イメージ自動分類サーバ４２０、イメージ生成サーバ４３０、及びデータベースサーバ４４０を備えることができる。このとき、実施形態によって前記各構成要素は、イメージ管理サーバ４００とは別の装置として実現されることができ、イメージ管理サーバ４００に含まれて実現されることもできる。以下、各構成要素がイメージ管理サーバ４００に含まれて実現されることと説明するが、これに限定されるものではない。

【0108】

具体的には、ディープラーニングサーバ４１０は、イメージディープラーニングニューラルネットワーク（Ｉｍａｇｅ Ｄｅｅｐ－ｌｅａｒｎｉｎｇ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と連動することができる。

【0109】

ここで、イメージディープラーニングニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、例えば、Ｕ－ネット畳み込みニューラルネットワーク（Ｕ－ｎｅｔ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ））及びＭａｓｋ Ｒ－ＣＮＮのうち、少なくとも１つのディープラーニングニューラルネットワークを含むことができる。

【0110】

そして、イメージディープラーニングニューラルネットワークと連動したディープラーニングサーバ４１０は、イメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、インペインティング（ｉｎｐａｉｎｔｉｎｇ）、及び／又は合成（ｃｏｍｐｏｓｉｔｅ）等、イメージ処理技術を実現することができる。これについての詳細な説明は、後述する。

【0111】

実施形態において、ディープラーニングサーバ４１０は、上記のようなイメージディープラーニングを介して製品イメージに基づいた製品情報、ポーズ形態、及び／又は仮想イメージなどを出力でき、出力された情報をコンピューティングデバイス及び／又は他のサーバ（実施形態として、イメージ自動分類サーバ４２０及び／又はイメージ生成サーバ４３０等）に提供することができる。

【0112】

また、イメージ自動分類サーバ４２０は、ディープラーニングサーバ４１０と連動してオンラインショッピングモールの様々な製品イメージをユーザビリティに合うように自動分類することができる。

【0113】

さらに、イメージ自動分類サーバ４２０は、前記自動分類した製品イメージをショッピングモール上で容易に区分して確認することができるように再構成した情報であるカテゴリー別の製品イメージ情報を生成することもできる。

【0114】

また、イメージ生成サーバ４３０は、ディープラーニングサーバ４１０と連動して既存に存在する製品イメージに基づいたイメージディープラーニング処理を行うことができ、これにより、前記製品イメージとは異なる形態の新しいポーズを有する製品イメージである仮想イメージを生成することができる。

【0115】

実施形態において、このようなイメージ生成サーバ４３０は、セマンティックレベルマップ（Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）生成器を含むことができる。

【0116】

ここで、セマンティックレベルマップ生成器は、入力されたイメージ内の領域を被写体（モデル及び／又はマネキン）の身体部位及び製品を含む領域と、その他の領域とに区分するマップイメージ生成モジュールであることができる。

【0117】

図１１に示すように、実施形態においてセマンティックレベルマップ生成器は、入力されたイメージ内の領域を身体領域（例えば、顔領域（目領域、鼻領域、耳領域、及び／又は首領域を含む）、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域等）及び製品領域を含む領域と、その他の領域を含む複数の領域とに区分するマップイメージを生成するモジュールであることができる。

【0118】

また、イメージ生成サーバ４３０は、生成された仮想イメージをコンピューティングデバイス及び／又は他のサーバ（実施形態として、イメージ自動分類サーバ４２０）に提供し、前記仮想イメージにマッチングされるカテゴリーに分類させることができる。

【0119】

また、データベースサーバ４４０は、ディープラーニング基盤のイメージ生成サービスを実現するための各種応用プログラム、アプリケーション、命令語、及び／又はデータなどを格納し、管理することができる。

【0120】

実施形態において、データベースサーバ４４０は、製品イメージ情報、製品情報、カテゴリー情報、仮想イメージ情報、ポーズ形態情報、及び／又はカテゴリー別の製品イメージ情報などを格納及び管理することができる。

【0121】

一方、上記のような構成要素等を含むイメージ管理サーバ４００は、少なくとも１つ以上のディープラーニングサーバ４１０、イメージ自動分類サーバ４２０、イメージ生成サーバ４３０、及び／又はデータベースサーバ４４０で構成されることができ、データ処理のためのプロセッサと、ディープラーニング基盤のイメージ生成サービス提供のための命令語等を格納するメモリとを備えることができる。

【0122】

また、本発明の実施形態では、イメージ管理サーバ４００においてオンラインショッピングモールで提供される製品に対する製品イメージに基づいてイメージディープラーニング（Ｉｍａｇｅ Ｄｅｅｐ－ｌｅａｒｎｉｎｇ）を行い、イメージディープラーニングに基づいて１つの製品に対する複数の製品イメージをカテゴリー別に自動分類し、イメージディープラーニングを基に１つの製品に対する複数の製品イメージを分類するときに求められる必要製品イメージを生成し、ディープラーニング基盤のイメージ生成サービスを実現するための各種応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができると説明したが、実施形態によって、イメージ管理サーバ４００が行う機能動作の一部をコンピューティングデバイスで行うこともできるなど、様々な実施形態も可能であることは自明である。

【0123】

［ショッピングモールサーバ］
また、本発明の実施形態においてショッピングモールサーバ５００は、オンラインショッピングモールサービス（Ｏｎｌｉｎｅ ｓｈｏｐｐｉｎｇ－ｍａｌｌ ｓｅｒｖｉｃｅ）を提供するための一連のプロセスを行うことができる。

【0124】

具体的には、実施形態において、ショッピングモールサーバ５００は、ネットワーク６００を介して製品を注文し、販売できる電子商取引オンラインショッピングモールサービスを実行するための環境をコンピューティングデバイス１００に提供することができる。

【0125】

また、ショッピングモールサーバ５００は、ディープラーニング基盤のイメージ生成サービスに必要な各種データを送受信することができる。

【0126】

実施形態として、ショッピングモールサーバ５００は、オンラインショッピングモール上の複数の製品イメージをコンピューティングデバイス１００及び／又はイメージ管理サーバ４００に送信することができ、コンピューティングデバイス１００及び／又はイメージ管理サーバ４００から生成されるカテゴリー別の製品イメージ情報を受信することができる。

【0127】

また、ショッピングモールサーバ５００は、オンラインショッピングモールサービスと関連した機能動作に必要な応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

【0128】

実施形態として、ショッピングモールサーバ５００は、オンラインショッピングモール上の製品イメージ及び／又は製品情報などを格納し、管理することができる。

【0129】

より具体的には、上記のようなショッピングモールサーバ５００は、ショッピングモールサービス提供サーバ、製品管理サーバ、及びデータ格納サーバを備えることができる。

【0130】

ここで、ショッピングモールサービス提供サーバは、コンピューティングデバイスでオンラインショッピングモールサービスが動作できる環境を提供することができる。

【0131】

すなわち、ショッピングモールサービス提供サーバは、コンピューティングデバイスでインターネット（Ｉｎｔｅｒｎｅｔ）などを利用して商品を売買できる仮想の商店であるオンラインショッピングモールを提供するオンラインショッピングモールサービスを実現できる環境を提供することができる。

【0132】

実施形態において、このようなショッピングモールサービス提供サーバは、オンラインショッピングモールサービスと関連して提供されるサービスを実現できる各種応用プログラム、データ、及び／又は命令語などを含むことができる。

【0133】

また、製品管理サーバは、オンラインショッピングモールサービスに基づいて提供される少なくとも１つ以上の製品に対する管理機能を実行することができる。

【0134】

実施形態において、製品管理サーバは、製品別の製品名、製品イメージ、製品価格、及び／又は残余数量などを管理できる。

【0135】

また、データ格納サーバは、オンラインショッピングモールサービスを実現するための各種応用プログラム、アプリケーション、命令語、及び／又はデータなどを格納し、管理することができる。

【0136】

例えば、データ格納サーバは、オンラインショッピングモールサービスを利用するユーザ別個人情報、ショッピング情報、及び／又は注文情報などを各ユーザ別勘定にマッチングして格納及び管理することができる。

【0137】

上記のような構成要素等を含むショッピングモールサーバ５００は、少なくとも１つ以上のショッピングモールサービス提供サーバ、製品管理サーバ、及び／又はデータ格納サーバで構成されることができ、データ処理のためのプロセッサと、オンラインショッピングモールサービス提供のための命令語等を格納するメモリとを備えることができる。

【0138】

［ディープラーニング基盤の仮想イメージ生成方法］
以下、添付された図面を参照して本発明の実施形態に係るディープラーニング基盤のイメージ生成方法について詳細に説明する。

【0139】

図４は、本発明の実施形態に係るディープラーニング基盤の仮想イメージ生成方法を説明するためのフローチャートである。

【0140】

図４に示すように、本発明の実施形態に係るコンピューティングデバイス１００は、複数の製品イメージをユーザビリティを考慮して分類することができ、ここで求められる必要製品イメージをディープラーニングに基づいて生成できるイメージアプリケーションを実行できる。

【0141】

そして、コンピューティングデバイス１００のプロセッサを介して実行されたイメージアプリケーションは、オンラインショッピングモールに接続して複数の製品イメージを取得することができる。（Ｓ１０１）

【0142】

具体的には、イメージアプリケーションは、ショッピングモールサーバ５００で提供するオンラインショッピングモールサービスに基づいてオンラインショッピングモールに接続することができる。

【0143】

また、イメージアプリケーションは、接続したオンラインショッピングモールから複数の製品イメージを受信して取得することができる。

【0144】

例えば、イメージアプリケーションは、接続したオンラインショッピングモールの１つの製品に対する販売ページで当該ページに含まれた複数の製品イメージをクローリングして、１つの製品に対する複数の製品イメージを自動に取得することができる。

【0145】

ここで、実施形態に係る製品イメージとは、オンラインショッピングモールサービスで提供される製品を表示するために、当該製品を含んで撮影したイメージであることができる。

【0146】

実施形態において、イメージアプリケーションは、後でイメージ自動分類サーバ４２０との連動を介して上記のような製品イメージをカテゴリー別に分類することができる。

【0147】

具体的に、イメージアプリケーションは、カテゴリー区分基準によって順次製品イメージがどのカテゴリーに属するか判断することができる。

【0148】

例えば、イメージアプリケーションは、先に製品イメージを製品ショットとポーズ（ｐｏｓｅ）ショットのうち、いずれか１つのカテゴリーに分類することができる。

【0149】

また、イメージアプリケーションは、次に、前記分類されたポーズショットを１次カテゴリーである後面ショットと時点ショットとに分類することができ、前記分類された時点ショットを２次カテゴリーであるクローズアップ（ｃｌｏｓｅ－ｕｐ）ショットと全身ショットとに分類することができる。

【0150】

また、イメージアプリケーションは、前記分類された全身ショットをスタンド（ｓｔａｎｄ）ショットとその他のポーズショットとに分類することができ、前記分類されたその他のポーズショットを側面ショット、シッティング（ｓｉｔｔｉｎｇ）ショット、またはライ（ｌｉｅ）ショットなどに分類することができる。これについての詳細な説明は、以下において後述する。

【0151】

以下、実施形態において、イメージアプリケーションが１つの製品に対する複数の製品イメージを取得して、後述する一連のプロセスを進行することと限定して説明するが、これに制限されるものではない。

【0152】

また、以下の実施形態では、イメージアプリケーションが複数の製品イメージのうち、モデルまたはマネキンなどが着用した状態の製品を表すポーズ（ｐｏｓｅ）ショットに基づいて後述する動作を行うことと説明するが、これに限定されるものではない。

【0153】

さらに戻ってきて、また、実施形態に係るイメージアプリケーションは、取得された製品イメージに基づいて製品イメージ別の製品情報を取得することができる。

【0154】

ここで、製品情報とは、上着、下着、及び／又はワンピースなどのように、各製品が属した属性カテゴリーに関する情報であることができる。

【0155】

具体的には、実施形態において、イメージアプリケーションは、イメージ管理サーバ４００のディープラーニングサーバ４１０と連動してイメージ基盤製品群（例えば、上着、下着、及び／又はワンピース等）学習が行われたディープラーニングニューラルネットワークを介して各製品イメージ別ディープラーニングを行うことができ、ディープラーニングされたニューラルネットワークを介して製品イメージ別の製品情報を出力して取得することができる。

【0156】

また、イメージアプリケーションは、取得された製品イメージを複数のカテゴリー（ｃａｔｅｇｏｒｙ）別に分類することができる。（Ｓ１０３）

【0157】

具体的には、イメージアプリケーションは、イメージ管理サーバ４００のイメージ自動分類サーバ４２０との連動を介して、複数の製品イメージの各々を複数のショットカテゴリーのうち、対応するカテゴリーに分類することができる。

【0158】

ここで、本発明の実施形態に係るカテゴリーとは、製品イメージ内の製品と関連したポーズ形態及び／又は製品情報に基づいて前記製品イメージが分類されるカテゴリーを意味することができる。

【0159】

ここで、実施形態に係るポーズ形態とは、全身ショットまたは後面ショットなどのような前記製品イメージの被写体が取っている特定ポーズの形態を意味するものであって、製品イメージ内の被写体（モデルまたはマネキン）の身体の主なキーポイント（ｋｅｙ－ｐｏｉｎｔ）に対する座標情報であることができる。

【0160】

実施形態において、ポーズ形態は、製品イメージ内の被写体の顔領域（目領域、鼻領域、耳領域、及び／又は首領域を含む）、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域などを含む身体の主なキーポイントに対する座標情報を含むことができる。

【0161】

例えば、イメージアプリケーションは、製品イメージにモデルのポーズ形態が検出されたか否かを基に製品ショットカテゴリーとポーズショットカテゴリーとに製品イメージを１次的に分類することができる。

【0162】

そして、イメージアプリケーションは、ポーズショットカテゴリーに分類された製品イメージをポーズ形態によるカテゴリー別に分類することができる。

【0163】

より具体的には、実施形態において、イメージアプリケーションは、イメージ自動分類サーバ４２０と連動して製品イメージに基づいたディープラーニングを行うことができ、ディープラーニングされたニューラルネットワークを介して製品イメージを後面ショット、クローズアップ（ｃｌｏｓｅ－ｕｐ）ショット、スタンド（ｓｔａｎｄ）ショット、及び／又はその他のポーズショットカテゴリーのうち、いずれか１つに分類することができる。

【0164】

実施形態として、イメージアプリケーションは、取得された複数の製品イメージ（実施形態において、複数のポーズショット）を分類するために、前記製品イメージ内のポーズ形態を基準に利用することができる。

【0165】

このとき、イメージアプリケーションは、ディープラーニングされたニューラルネットワークを介してポーズ形態によって製品の後面を表すポーズイメージ（以下、後面ショット）、製品の正面を表すポーズイメージ（以下、時点ショット）、製品がクローズアップ（ｃｌｏｓｅ－ｕｐ）されたポーズイメージ（以下、クローズアップショット）、製品着用被写体（人またはマネキン）の全身を表すポーズイメージ（以下、全身ショット）、前記被写体が立っているポーズイメージ（以下、スタンド（ｓｔａｎｄ）ショット）、及び／又はその他のポーズイメージ（以下、その他のポーズショット）のうち、少なくとも１つのカテゴリーに製品イメージを分類することができる。

【0166】

ここで、イメージアプリケーションは、前記ポーズショットにおけるポーズ形態を判断するために、イメージディープラーニング技術のうち、ポーズショット識別器アルゴリズムを利用することができる。

【0167】

このとき、ポーズショット識別器とは、ルール方式及び／又はディープラーニング方式で製品イメージに属する被写体（人またはマネキン）のポーズの形態を判断するアルゴリズムであって、予め設定された規則及び／又は基準によってポーズ形態を判断できる。このようなポーズショット識別器アルゴリズムは、ディープラーニングを介して学習されたニューラルネットワークであって、ポーズの種類をオブジェクトと認識してディテクティングするポーズディテクタニューラルネットワークであることができる。

【0168】

具体的には、ポーズショット識別器は、前記製品イメージを、１）後面ショット可否、２）全身ショット可否、及び３）スタンドショット可否のうち、少なくともいずれか１つ以上を基準として分類することができる。

【0169】

より具体的には、ポーズショット識別器は、後面ショット可否、全身ショット可否、及びスタンドショット可否を順次製品イメージ分類に適用して、まず、後面ショット可否を分類基準として後面ショットを分類することができる。

【0170】

そして、ポーズショット識別器は、後面ショットでない残りの製品イメージに全身ショット可否を分類基準として適用して全身ショットを分類することができる。

【0171】

次に、ポーズショット識別器は、全身ショットに対してスタンドショットを分類基準として適用してスタンドショット及びその他のポーズショットを分類することができる。

【0172】

例えば、イメージアプリケーションは、第１製品イメージが時点ショット、全身ショット、及びスタンドショットであると判断された場合、前記第１製品イメージをスタンドショットに分類することができる。

【0173】

また、イメージアプリケーションは、第２製品イメージが時点ショットと全身ショットとに判断され、スタンドショットでないと判断された場合、前記第２製品イメージをその他のポーズショットに分類することができる。

【0174】

このように、イメージアプリケーションは、上記のような順序で製品イメージ内のポーズ形態に基づいたイメージ分類を行うことにより、製品イメージに対するイメージディープラーニング速度を向上させ、正確度も高めることができるという効果がある。

【0175】

以上では、イメージアプリケーションがイメージ管理サーバ４００と連動して各製品イメージを複数のカテゴリー（ｃａｔｅｇｏｒｙ）別に分類すると説明したが、他の実施形態では、イメージアプリケーションが自主的に各製品イメージ別のポーズ形態を取得し、複数のカテゴリー別に分類することができるなど、様々な実施形態が可能でありうる。

【0176】

このように、本発明の実施形態において、イメージアプリケーションは、オンラインショッピングモールにランダムに並べられた様々な製品イメージをショッピングモールユーザビリティに最適化された形態（例えば、ＰＣバージョンオンラインショッピングモールのイメージがモバイルタイプのコンピューティングデバイス２００に表示されるとき、モバイルバージョンオンラインショッピングモールに適した型式に表示され得るように製品イメージを分類など）で自動分類することにより、製品ページ構築に消費される費用を低減することができ、ショッピングモール使用性の向上及びこれによる売上げ増大の効果を実現することができる。

【0177】

また、本発明の実施形態において、イメージアプリケーションは、製品イメージが分類される複数のカテゴリーのうち、一部を必要カテゴリーに設定することができる。

【0178】

ここで、実施形態に係る必要カテゴリーとは、１つの製品に対する効果的な表示のために必要であると予め設定されたポーズ形態を有する製品イメージが分類されるカテゴリーであることができる。

【0179】

すなわち、イメージアプリケーションは、製品イメージを当該製品イメージ内のポーズ形態によって区分した複数のカテゴリーのうち、少なくとも１つを必要カテゴリーとして決定することができる。

【0180】

このとき、イメージアプリケーションは、必要カテゴリーをユーザ入力に基づいて手動で予め設定するか、または所定の基準によって自動に予め設定することができる。

【0181】

例えば、イメージアプリケーションは、ユーザ入力により所定の頻度数以上に必要カテゴリーとして選定されたカテゴリーを製品情報別に収集することができ、収集された情報に基づいて製品情報別に重要度の高い重要カテゴリーを導出できる。そして、イメージアプリケーションは、導出された製品情報別の重要カテゴリーに基づいて第１製品イメージの製品情報に応じた必要カテゴリーを自動に設定することができる。

【0182】

例えば、イメージアプリケーションは、第１製品の製品情報が「ワンピース」を表し、ワンピース製品情報にマッチングされる重要カテゴリーが後面ショット、クローズアップショット、及びスタンドショットカテゴリーである場合、前記第１製品に対する必要カテゴリーを後面ショット、クローズアップショット、及びスタンドショットカテゴリーとして決定することができる。

【0183】

このように、本発明の実施形態において、イメージアプリケーションは、製品別に必要カテゴリーを設定可能であることにより、ショッピングモールで提供する製品の各々をより明確かつ確実にディスプレイするために最適化された製品イメージを選定して提供することができる。

【0184】

また、実施形態においてイメージアプリケーションは、追加製品イメージが必要なカテゴリーであるターゲットカテゴリー（ｔａｒｇｅｔ ｃａｔｅｇｏｒｙ）を検出できる。（Ｓ１０５）

【0185】

具体的には、イメージアプリケーションは、１つの製品に対する少なくとも１つ以上の必要カテゴリーのうち、追加的に製品イメージが必要であると判断されるターゲットカテゴリーを検出できる。

【0186】

実施形態として、イメージアプリケーションは、複数の必要カテゴリーのうち、製品イメージが分類されなかった空の必要カテゴリーを検出でき、検出された空の必要カテゴリーをターゲットカテゴリーとして決定することができる。

【0187】

すなわち、イメージアプリケーションは、１つの製品に対して必要なポーズ形態を有する製品イメージを分類する必要カテゴリーが予め設定されているが、当該ポーズ形態を有する製品イメージが存在せずに空いている空の必要カテゴリーを自動に検出してターゲットカテゴリーとして決定することができる。

【0188】

例えば、イメージアプリケーションは、第１製品に対して予め設定された必要カテゴリーが後面ショット、クローズアップショット、及びスタンドショットカテゴリーであり、第１製品から取得された複数の製品イメージが後面ショット及びクローズアップショットカテゴリーに各々分類された場合、第１製品の製品イメージが分類されなかった空の必要カテゴリーであるスタンドショットカテゴリーを自動に検出してターゲットカテゴリーとして決定することができる。

【0189】

他の実施形態として、イメージアプリケーションは、必要カテゴリーに分類された製品イメージの品質に基づいてターゲットカテゴリーを決定することができる。

【0190】

すなわち、イメージアプリケーションは、必要カテゴリーに製品イメージが分類されているが、分類された製品イメージが所定の品質基準（例えば、カテゴリーポーズ形態に対する製品イメージ内のポーズ形態の適合性可否等）を満たすか否かによってターゲットカテゴリーを決定することができる。

【0191】

さらに他の実施形態として、イメージアプリケーションは、ユーザ入力による選択に基づいてターゲットカテゴリーを決定することができる。

【0192】

具体的には、イメージアプリケーションは、追加製品イメージが必要なカテゴリーを選択できるユーザインターフェースを提供することができる。

【0193】

そして、イメージアプリケーションは、提供されたインターフェースに基づいたユーザ入力によってターゲットカテゴリーを決定することができる。

【0194】

このように、実施形態において、イメージアプリケーションは、ショッピングモール上に製品をより効果的に表示するために必要であると判断される製品イメージが存在しない場合を様々な方式を介して判断することで、後で、よりクオリティの高い製品ディスプレイのために必要なイメージを追加的に補充することができる。

【0195】

続いて、本発明の実施形態においてイメージアプリケーションは、ターゲットカテゴリーが検出される場合、製品イメージに基づいてターゲットカテゴリーにマッチングされるポーズ形態を有する仮想イメージを生成することができる。（Ｓ１０７）

【0196】

ここで、実施形態に係る仮想イメージとは、既存に存在する製品イメージに基づいてディープラーニングイメージ処理を行い、新しいポーズ形態を有するように生成された製品イメージであることができる。

【0197】

具体的には、実施形態において、イメージアプリケーションは、イメージ管理サーバ４００と連動して製品イメージに基づいたイメージディープラーニングを行って仮想イメージを生成することができる。

【0198】

このとき、イメージアプリケーションは、イメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、イメージインペインティング（ｉｎｐａｉｎｔｉｎｇ）、及び／又はイメージ合成（ｃｏｍｐｏｓｉｔｅ）などを含むイメージ処理技術に基づいて仮想イメージを生成することができる。

【0199】

参考として、図５に示すように、イメージセグメンテーションとは、全体イメージからオブジェクト領域を分離する技術であって、全体イメージで事物の領域をピクセル単位に分類する技術を意味することができる。

【0200】

また、図６に示すように、イメージインペインティングとは、全体イメージからオブジェクトを除いた部分（すなわち、イメージ内で消された領域）に対するイメージ復元を行う技術であることができる。

【0201】

また、実施形態において、イメージ合成とは、イメージセグメンテーション及び／又はインペインティングなどを介して生成されたイメージを合成して新しいイメージを実現し出す技術を意味することができる。

【0202】

さらに戻ってきて、例えば、イメージアプリケーションは、第１製品に対するターゲットカテゴリーとしてスタンドショットカテゴリーが検出された場合、検出されたターゲットカテゴリーであるスタンドショットカテゴリーにマッチングされるポーズ形態を有する第１製品に対するスタンドショットイメージを、第１製品の製品イメージに基づいたイメージディープラーニングを介して仮想イメージとして生成することができる。

【0203】

本発明の実施形態においては、イメージアプリケーションがイメージ管理サーバ４００と連動して製品イメージに基づいてターゲットカテゴリーにマッチングされるポーズ形態を有する仮想イメージを生成すると説明するが、実施形態によって、イメージアプリケーションが自主的に製品イメージに基づいた仮想イメージを生成することもできるなど、様々な実施形態が可能である。

【0204】

このように、イメージアプリケーションは、ショッピングモールで提供する製品を効果的に表示するために補充されなければならないイメージを当該製品の製品イメージを利用したディープラーニングを基に生成して提供することにより、追加的に必要な製品イメージを作るための別の撮影や作業がなくとも迅速かつ便利に新しい製品イメージを実現して製品の表示を補完することができる。

【0205】

以下、添付された図面を参照してイメージアプリケーションが製品イメージに基づいてターゲットカテゴリーにマッチングされるポーズ形態を有する仮想イメージを生成する方法についてより詳細に説明する。

【0206】

図７は、本発明の実施形態に係る仮想イメージを生成する方法を説明するためのフローチャートであり、図８及び図９は、本発明の実施形態に係る仮想イメージを生成する方法を説明するための概念図である。

【0207】

図７及び図８に示すように、実施形態において、イメージアプリケーションは、複数の製品イメージのうち、仮想イメージ生成のためのイメージ処理を行うベースイメージ１０を決定できる。（Ｓ２０１）

【0208】

具体的には、イメージアプリケーションは、複数の製品イメージの中で、当該製品及びモデルに関する情報量が相対的に最大である製品イメージをベースイメージ１０として選択することができる。

【0209】

より具体的には、実施形態として、イメージアプリケーションは、予め設定された優先順位にしたがって当該製品及びモデルに関する情報量が相対的に最大である製品イメージを判断でき、これにより、ベースイメージ１０を選定することができる。

【0210】

ここで、イメージアプリケーションは、ディープラーニング基盤の仮想イメージ生成プロセスの繰り返し実行を介して学習されたデータに基づいてベースイメージ１０を自動設定することができる。

【0211】

具体的に、イメージアプリケーションは、モデルの複数の身体の主なキーポイント（ｋｅｙ－ｐｏｉｎｔ）が最も多く表示された製品イメージをベースイメージ１０として選定することができる。

【0212】

また、イメージアプリケーションは、ベースイメージ１０選定優先順位をユーザ入力に基づいて設定することができる。例えば、イメージアプリケーションは、優先順位を「スタンドショット＞その他のポーズショット＞クローズアップショット＞後面ショット」の順にベースイメージ１０を決定できる。

【0213】

具体的には、イメージアプリケーションは、第１製品に対する複数の製品イメージがスタンドショット、クローズアップショット、及び後面ショットを含む場合、前記優先順位にしたがって第１製品の仮想イメージ生成のために使用されるベースイメージ１０をスタンドショットイメージとして決定することができる。

【0214】

そして、イメージアプリケーションは、第１製品の複数の製品イメージのうち、その他のポーズショットが存在せずに、その他のポーズショットカテゴリーがターゲットカテゴリーとして検出される場合、前記ベースイメージ１０として決定されたスタンドショットイメージに基づいたイメージディープラーニングを介して第１製品に対するその他のポーズショットを仮想イメージとして生成することができる。

【0215】

また、実施形態においてイメージアプリケーションは、優先順位カテゴリーに複数の製品イメージが含まれている場合、前記優先順位カテゴリーの複数の製品イメージのうち、当該モデル又は／及び製品に関する情報を最も多く有しているイメージを検出してベースイメージ１０として決定することができる。

【0216】

実施形態として、イメージアプリケーションは、ユーザ入力及び／又はディープラーニング基盤の仮想イメージ生成プロセスの繰り返し実行を介して学習されたデータに基づいて所定の基準を設定でき、これを基に優先順位カテゴリーの複数の製品イメージのうち、当該製品に関する情報を最も多く有しているイメージを検出してベースイメージ１０として決定することができる。

【0217】

例えば、イメージアプリケーションは、第１製品に対する優先順位カテゴリーが時点ショットカテゴリーであり、複数の時点ショットイメージを含む場合、各時点ショットイメージ内の被写体（人またはマネキン）のフルボディ（ｆｕｌｌ ｂｏｄｙ）包含可否を所定の基準に設定することができる。

【0218】

具体的には、フルボディ包含とは、モデルの複数の身体の主なキーポイント要素を最も多く含んでいるということを意味する。例えば、イメージ内のモデルをセグメンテーションしたとき、頭、胸、胴体、左腕、右腕、右脚、左脚、左足、及び右足に分類される身体の主な要素のうち、最も多い要素を含むイメージをベースイメージ１０として決定することができる。

【0219】

そして、イメージアプリケーションは、被写体のフルボディ包含可否によって前記複数の時点ショットイメージのうち、イメージ内のボディが占める面積が大きいイメージであるほど、第１製品に関する情報を多く有していると判断することができ、これにより、ベースイメージ１０を決定できる。

【0220】

他の例において、イメージアプリケーションは、第１製品に対する優先順位カテゴリーが時点ショットカテゴリーであり、複数の時点ショットイメージを含む場合、各時点ショットイメージ内の被写体及び／又は製品に対するビューポイントの正面角度レベル（正面ビューポイントに近い程度を表す値）を所定の基準に設定することができる。

【0221】

そして、イメージアプリケーションは、正面角度レベルを基準に前記複数の時点ショットイメージのうち、正面ビューポイントに近いイメージであるほど、第１製品に関する情報を多く有していると判断することができ、これにより、ベースイメージ１０を決定できる。

【0222】

このように、本発明の実施形態において、イメージアプリケーションは、１つの製品に対する仮想イメージ生成の際、前記製品に関する情報を最も多く有している製品イメージに基づいて仮想イメージを生成することで、生成される仮想イメージの正確性と品質を向上させることができる。

【0223】

また、実施形態においてイメージアプリケーションは、仮想イメージに適用されるターゲットポーズ形態２０を決定することができる。（Ｓ２０３）

【0224】

ここで、実施形態に係るターゲットポーズ形態２０とは、仮想イメージに適用するポーズ形態すなわち、仮想イメージ内の被写体（モデルまたはマネキン）の身体の主なキーポイント（ｋｅｙ－ｐｏｉｎｔ）に対する座標情報であることができる。

【0225】

実施形態として、ターゲットポーズ形態２０は、仮想イメージ内の被写体の顔領域（目領域、鼻領域、耳領域、及び／又は首領域を含む）、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域などを含む身体の主なキーポイントに対する座標情報を含むことができる。

【0226】

このようなターゲットポーズ形態２０は、含まれている情報等に基づいてイメージ化されることができる。

【0227】

具体的には、実施形態において、ターゲットポーズ形態２０は、コンピューティングデバイス１００及び／又はイメージ管理サーバ４００により、ターゲットポーズ形態２０に含まれた各身体の主なキーポイント別の座標情報がグラフィックイメージ化され得る。

【0228】

例えば、ターゲットポーズ形態２０は、顔領域、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域の座標情報を所定の方式（例えば、座標別の実線表示等）で表示してグラフィックイメージ化されることができる。

【0229】

このとき、イメージ化されたターゲットポーズ形態２０は、各情報を区分しやすいように互いに異なる形状で表示されることができる。

【0230】

例えば、イメージ化されたターゲットポーズ形態２０は、顔領域の座標情報が桃色実線で表示され、右側肩領域の座標情報が赤色実線で表示され、左側肩領域の座標情報が橙色実線で表示されるなど、座標情報別に互いに異なる形状で実現されて表示されることができる。

【0231】

このように、ターゲットポーズ形態２０は、含まれている身体の主なキーポイント別の座標情報がイメージ化されることで、各座標情報をより容易に把握可能であると同時に、イメージディープラーニングに入力するよりも有利な形態に変換されることができる。

【0232】

具体的には、実施形態として、イメージアプリケーションは、ターゲットカテゴリーにマッチングされるポーズ形態をターゲットポーズ形態２０として決定することができる。

【0233】

より具体的には、イメージアプリケーションは、複数のカテゴリーの各々にマッチングされるポーズ形態サンプルを格納していることができる。

【0234】

このとき、イメージアプリケーションは、ユーザ入力及び／又は所定の方式（例えば、イメージディープラーニング及び／又はビッグデータ技術等）に基づいてカテゴリー別のポーズ形態サンプルを取得及び格納することができる。

【0235】

また、イメージアプリケーションは、格納されているカテゴリー別のポーズ形態サンプルに基づいてターゲットカテゴリーにマッチングされるポーズ形態を導出してターゲットポーズ形態２０を決定することができる。

【0236】

例えば、イメージアプリケーションは、ターゲットカテゴリーが全身ショットカテゴリーであれば、後面ショットポーズ、時点ショットポーズ、全身ショットポーズ、スタンドショットポーズ、及び／又はその他のポーズショットポーズなどを含んで、予め格納されている少なくとも１つ以上のカテゴリー別のポーズ形態サンプルのうち、全身ショットポーズ形態をターゲットポーズ形態２０として決定することができる。

【0237】

他の実施形態として、イメージアプリケーションは、ターゲットカテゴリーにマッチングされる複数のポーズ形態サンプルのうち、いずれか１つをターゲットポーズ形態２０として決定することができる。

【0238】

すなわち、イメージアプリケーションは、カテゴリー別にマッチングされる複数のポーズ形態サンプルを格納していることができる。

【0239】

このとき、イメージアプリケーションは、カテゴリー別のポーズ形態サンプルにメインポーズ形態サンプルとサブポーズ形態サンプルとを含むことができる。

【0240】

ここで、メインポーズ形態サンプルは、該当のカテゴリーの複数のポーズ形態サンプルのうち、前記カテゴリーがターゲットカテゴリーにマッチングされるとき、優先的にターゲットポーズ形態２０として決定されるポーズ形態サンプルであることができる。

【0241】

また、サブポーズ形態サンプルは、該当のカテゴリーの複数のポーズ形態サンプルのうち、前記カテゴリーがターゲットカテゴリーにマッチングされるとき、所定の方式（例えば、ユーザ入力による選択等）によってターゲットポーズ形態２０として決定されるポーズ形態サンプルであることができる。

【0242】

すなわち、他の実施形態においてイメージアプリケーションは、カテゴリー別のメインポーズ形態サンプルとサブポーズ形態サンプルとに基づいてターゲットカテゴリーにマッチングされるポーズ形態サンプルを導出し、ターゲットポーズ形態２０を決定することができる。

【0243】

例えば、イメージアプリケーションは、ターゲットカテゴリーが全身ショットカテゴリーであれば、全身ショットカテゴリーにマッチングされているメインポーズ形態サンプルを優先的にターゲットポーズ形態２０として決定することができ、所定の方式（例えば、ユーザ選択等）によって前記全身ショットカテゴリーにマッチングされている複数のサブポーズ形態サンプル（例えば、互いに異なるポーズで実現された第１サブ全身ショットポーズ、第２サブ全身ショットポーズ等）のうち、いずれか１つをターゲットポーズ形態２０として決定することができる。

【0244】

さらに他の実施形態において、イメージアプリケーションは、ディープラーニング方式で学習されたネットワークを利用してターゲットカテゴリーにマッチングされるポーズ形態を生成でき、生成されたポーズ形態をターゲットポーズ形態２０として使用することもできる。

【0245】

このように、イメージアプリケーションは、様々な方式を介して仮想イメージに適用されるターゲットポーズ形態２０を決定できることにより、仮想イメージに適用されるより正確なポーズ形態を選択でき、ポーズ形態選択に対する容易性を向上させることができ、これにより、生成される仮想イメージの完成度を増大させることができる。

【0246】

また、実施形態においてイメージアプリケーションは、上記のように決定されたベースイメージ１０及びターゲットポーズ形態２０に基づいてセマンティックレベルマップ（Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を生成することができる。（Ｓ２０５）

【0247】

具体的には、イメージアプリケーションは、イメージ管理サーバ４００と連動して、上記のように決定されたベースイメージ１０とターゲットポーズ形態２０情報をディープラーニングニューラルネットワーク１に入力することができる。

【0248】

このとき、ディープラーニングニューラルネットワーク１に入力されるターゲットポーズ形態２０情報は、ターゲットポーズ形態２０に含まれた身体の主なキーポイント別の座標情報がイメージ化された情報であることができる。すなわち、イメージアプリケーションは、ターゲットポーズ形態２０の身体領域（例えば、顔領域、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域）の座標情報が所定の方式（例えば、座標別の実線表示等）で変換されてグラフィックイメージ化されたターゲットポーズ形態２０情報をディープラーニングニューラルネットワーク１に入力することができる。

【0249】

そして、イメージアプリケーションは、ベースイメージ１０とターゲットポーズ形態２０情報を受信したディープラーニングニューラルネットワーク１から出力されるターゲットポーズ形態２０に対するセマンティックレベルマップを取得することができる。

【0250】

ここで、実施形態に係るセマンティックレベルマップとは、入力されたイメージ内の領域を身体の主なキーポイント別に区分したマップイメージであることができる。

【0251】

例えば、セマンティックレベルマップは、入力されたイメージでモデルの身体の主なキーポイントである顔領域（目領域、鼻領域、耳領域、及び／又は首領域を含む）、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域と製品領域（このとき、全ての身体の主なキーポイントは、左／右区分が可能）などを含む複数の領域に区分したマップイメージであることができる。

【0252】

より具体的には、イメージアプリケーションは、ベースイメージ１０とターゲットポーズ形態２０情報に基づいてポーズセマンティックレベルマップ（２１：Ｐｏｓｅ Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）を取得することができる。

【0253】

また、イメージアプリケーションは、ベースイメージ１０に対するベースセマンティックレベルマップ（Ｂａｓｅ Ｓｅｍａｎｔｉｃ Ｌａｂｅｌ Ｍａｐ）をさらに取得することができる。実施形態において、イメージアプリケーションは、製品イメージのカテゴリーを分類するためのディープラーニング処理のうち、ベースセマンティックレベルマップを予め取得することができる。

【0254】

他の実施形態において、イメージアプリケーションは、ベースイメージ１０のベースセマンティックレベルマップと、ターゲットポーズ形態２０の情報に基づいてポーズセマンティックレベルマップ２１を取得することもできる。

【0255】

実施形態において、ポーズセマンティックレベルマップ２１とは、学習されたイメージディープラーニングニューラルネットワーク１を介して、前記ベースイメージ１０内の少なくとも一部が前記ターゲットポーズ形態２０に適用されて生成されるセマンティックレベルマップイメージであることができる。

【0256】

また、実施形態に係るベースセマンティックレベルマップとは、学習されたイメージディープラーニングニューラルネットワーク１を介して、前記ベースイメージ１０内の領域が身体領域（例えば、顔領域（目領域、鼻領域、耳領域、及び／又は首領域含む）、肩領域、肘領域、手首領域、ヒップ（ｈｉｐ）領域、膝領域、及び／又は足首領域）と製品領域などを含む複数の領域に区分されたマップイメージであることができる。

【0257】

実施形態において、イメージアプリケーションは、公知されたアルゴリズムモデル（例えば、Ｕ－ｎｅｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ等）に基づいてセマンティックレベルマップを生成でき、本発明では、セマンティックレベルマップを生成するアルゴリズム自体を限定したり、制限してはいない。

【0258】

また、本発明の実施形態では、イメージアプリケーションがイメージ管理サーバ４００と連動してベースイメージ１０とターゲットポーズ形態２０情報に基づいたセマンティックレベルマップを生成すると説明したが、実施形態によってイメージアプリケーションが自主的にセマンティックレベルマップを生成することもできるなど、様々な実施形態が可能である。

【0259】

また、図９に示すように、実施形態においてイメージアプリケーションは、生成されたセマンティックレベルマップに基づいてディープラーニングを行って仮想イメージ３０を取得することができる。（Ｓ２０７）

【0260】

具体的には、イメージアプリケーションは、ベースイメージ１０及びベースセマンティックレベルマップ１１と対応するように、ターゲットポーズ形態２０の情報及びポーズセマンティックレベルマップ２１をディープラーニングニューラルネットワーク１（例えば、ｕ－ｎｅｔ等）に入力することができる。

【0261】

そして、イメージアプリケーションは、前記入力を受けたディープラーニングニューラルネットワーク１の出力データで前記ターゲットポーズ形態２０を有する仮想イメージ３０を取得することができる。

【0262】

すなわち、実施形態においてイメージアプリケーションは、ベースイメージ１０及びターゲットポーズ形態２０と、これらに基づいて生成されたベースセマンティックレベルマップ１１及びポーズセマンティックレベルマップ２１に基づいたイメージ処理を行い、最大の情報量に基づいて前記ベースイメージ１０のポーズ形態が前記ターゲットポーズ形態２０に変形された仮想イメージ３０を取得できる。

【0263】

他の実施形態において、イメージアプリケーションは、ベースイメージ１０及びターゲットポーズ形態２０と、これらに基づいて生成されたベースセマンティックレベルマップ１１及びポーズセマンティックレベルマップ２１のうち、少なくとも一部を利用して仮想イメージ３０を取得することもできる。

【0264】

実施形態として、イメージアプリケーションは、ベースイメージ１０、ベースセマンティックレベルマップ１１、及びポーズセマンティックレベルマップ２１のみを用いて仮想イメージ３０を取得することができる。

【0265】

具体的には、他の実施形態において、イメージアプリケーションは、仮想イメージ３０を生成するのに必須なデータ（例えば、ベースイメージ１０、ベースセマンティックレベルマップ１１、及びポーズセマンティックレベルマップ２１）を選び出し、選び出されたデータをディープラーニングニューラルネットワーク１に入力して仮想イメージ３０を取得することができる。

【0266】

すなわち、他の実施形態に係るイメージアプリケーションは、仮想イメージ３０の生成のために必要な最小限のデータに基づいてイメージディープラーニングを行い、より効率的に動作するディープラーニング基盤の仮想イメージ生成プロセスを実現できる。

【0267】

このように、本発明の実施形態において、イメージアプリケーションは、ターゲットポーズ形態２０に基づいて製品を表す仮想イメージ３０を生成、提供することにより、ショッピングモール上の製品をより正確に把握するために必要な様々な観点の製品イメージを容易に生成して提供することができ、これにより、ショッピングモールサービスの全般的なクオリティを向上させると同時に、ユーザビリティを向上させることができる。

【0268】

さらに図４に戻ってきて、上記のように製品イメージに基づいてターゲットカテゴリーにマッチングされるポーズ形態を有する仮想イメージ３０を生成したイメージアプリケーションは、生成された仮想イメージ３０をマッチングされるカテゴリーに入力することができる。（Ｓ１０９）

【0269】

具体的には、実施形態において、イメージアプリケーションは、生成された仮想イメージ３０をイメージ自動分類サーバ４２０に送信し、前記仮想イメージ３０に対応するカテゴリーに分類させることができる。

【0270】

または、イメージアプリケーションは、生成された仮想イメージ３０を自主的に前記仮想イメージ３０にマッチングされるカテゴリーに分類することもできる。

【0271】

また、本発明の実施形態において、イメージアプリケーションは、生成された仮想イメージ３０を含んで分類された製品イメージを再構成してカテゴリー別の製品イメージ情報を提供することができる。（Ｓ１１１）

【0272】

図１０は、本発明の実施形態に係るカテゴリー別の製品イメージ情報の一例である。

【0273】

図１０に示すように、実施形態に係るカテゴリー別の製品イメージ情報（以下、コレクティング情報）とは、オンラインショッピングモール上でランダムに並べられた様々な製品イメージをユーザビリティに合うようにカテゴリー別に分類し、再構成して表す情報であることができる。

【0274】

具体的には、実施形態において、イメージアプリケーションは、自主的にまたはイメージ管理サーバ４００と連動して、カテゴリー別に分類された製品イメージをカテゴリーによって区分しやすいように再構成し、カテゴリー別の製品イメージ情報を生成することができる。

【0275】

また、イメージアプリケーションは、上記のようなカテゴリー別の製品イメージ情報を活用して各種機能動作を行うことができるインターフェースを前記カテゴリー別の製品イメージ情報にさらに含んで提供することができる。

【0276】

より具体的には、実施形態において、イメージアプリケーションは、カテゴリー別の製品イメージ情報に基づいて各製品別の製品情報、各カテゴリー別の名前（例えば、ポーズ形態名）、及び／又は各製品とカテゴリー別の製品イメージなどを提供することができる。

【0277】

また、イメージアプリケーションは、カテゴリー別の製品イメージ情報に基づいたユーザ入力によって各種機能動作を行うユーザインターフェースを提供することができる。

【0278】

例えば、イメージアプリケーションは、カテゴリー別の製品イメージ情報の複数の製品イメージのうち、１つのイメージを選択すれば、当該１つのイメージにマッチングされる詳細情報（例えば、当該１つのイメージ内の製品に対する製品名及び／又は製品価格情報等）を確認できるユーザインターフェースを提供することができる。

【0279】

他の例として、イメージアプリケーションは、ユーザ入力に基づいてカテゴリー別の製品イメージ情報のカテゴリー表示順序を変更できるユーザインターフェースを前記カテゴリー別の製品イメージ情報を介して提供することができる。

【0280】

さらに他の例として、イメージアプリケーションは、ユーザ入力に基づいてショッピングモールサーバ５００から取得された製品イメージと、ディープラーニングに基づいて生成された仮想イメージ３０とを区分して表示する可否を設定できるユーザインターフェースを前記カテゴリー別の製品イメージ情報を介して提供することができる。

【0281】

このように、本発明の実施形態において、イメージアプリケーションは、ショッピングモールの複数の製品イメージをポーズ形態によって自動的に分類し、整理して公開することにより、ショッピングモールで製品イメージをランダムに並べる場合に発生する可能性がある不便さを最小化でき、製品ページ構築に消費される費用を低減でき、ショッピングモール使用性の向上及びこれによる売上げ増大の効果を実現することができる。

【0282】

また、イメージアプリケーションは、複数の製品イメージが自動的に分類されて生成されたカテゴリー別の製品イメージ情報をより効果的に活用できるユーザインターフェースを提供することにより、ユーザ要求に最適化された形態のカテゴリー別の製品イメージ情報を提供することができ、これにより、複数の製品イメージを提供するショッピングモールに対する満足度と使用性を向上させることができる。

【0283】

以上、本発明の実施形態に係るディープラーニング基盤のイメージ生成方法は、１つの製品に対して存在する製品イメージの他に、新しく求められる必要製品イメージがあれば、当該必要製品イメージをディープラーニングに基づいて生成することにより、製品を効果的に表示するために補充されなければならない必要製品イメージを別の撮影や作業がなくとも迅速かつ便利に提供することができるという効果がある。

【0284】

また、本発明の実施形態に係るディープラーニング基盤のイメージ生成方法は、必要製品イメージをディープラーニングに基づいて提供することにより、ショッピングモール上の製品をより正確に把握できるように様々な観点で実現される製品イメージを容易に提供することができ、これにより、ショッピングモールサービスの全般的なクオリティを向上させると同時に、ユーザビリティを向上させることができるという効果がある。

【0285】

また、本発明の実施形態に係るディープラーニング基盤のイメージ生成方法は、オンラインショッピングモールで提供する１つの製品に対する複数の製品イメージをユーザビリティを考慮して自動的に分類することで、ショッピングモールで製品イメージをランダムに並べる場合に発生する可能性がある不便さを最小化でき、製品ページ構築に消費される費用を低減でき、ショッピングモール使用性の向上及びこれによる売上げ増大の効果を実現することができる。

【0286】

また、以上で説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されることができる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであることができる。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を格納し、実行するように特別に構成されたハードウェアー装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェアー装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールに変更されることができ、その逆も同様である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】