特許 6922012 イメージのタグに基づいてモザイクイメージを提供する方法、モザイクイメージ提供装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6922012

(24)【登録日】2021年7月30日

(45)【発行日】2021年8月18日

(54)【発明の名称】イメージのタグに基づいてモザイクイメージを提供する方法、モザイクイメージ提供装置、及びプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20210805BHJP

   G06T 7/00 20170101ALI20210805BHJP

【ＦＩ】

   G06T3/40 720

   G06T7/00 350C

【請求項の数】15

【全頁数】28

(21)【出願番号】特願2020-23806(P2020-23806)

(22)【出願日】2020年2月14日

(65)【公開番号】特開2020-135889(P2020-135889A)

(43)【公開日】2020年8月31日

【審査請求日】2020年2月14日

(31)【優先権主張番号】10-2019-0017006

(32)【優先日】2019年2月14日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】313011434

【氏名又は名称】エヌエイチエヌ コーポレーション

(74)【代理人】

【識別番号】110000408

【氏名又は名称】特許業務法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】キム，ヒョン ギ

(72)【発明者】

【氏名】リ，ロク キュ

(72)【発明者】

【氏名】パク，ギ ヒョク

(72)【発明者】

【氏名】ソン，ジ ヨン

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−７８０７６（ＪＰ，Ａ）

【文献】 特開２０１１−５４０８１（ＪＰ，Ａ）

【文献】 特開２００９−１１６８２０（ＪＰ，Ａ）

【文献】 特開２００６−３１３４９７（ＪＰ，Ａ）

【文献】 特表２０１７−５２００３６（ＪＰ，Ａ）

【文献】 Michihiro Mikamo, 外５名，"Maximizing Image Utilization in Photomosaics"，2010 First International Conference on Networking and Computing，２０１０年１１月１７日，p.275-278

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

モザイクサービス提供サーバでモザイクイメージを生成して提供する方法であって、
複数のイメージに対してイメージ別にタグを決定し、前記タグにしたがって分類し、
前記複数のイメージのうち、ターゲットイメージを決定し、
前記決定されたターゲットイメージをモザイク化するためのピクセルイメージを、前記タグを基に選択するピクセルイメージ選択インターフェースを提供し、
前記ピクセルイメージ選択インターフェースを介して選定されたピクセルイメージを基に前記ターゲットイメージに対するモザイクイメージを生成すること、
を含み、
前記複数のイメージのうち、ターゲットイメージを決定することは、
ディープラーニングニューラルネットワークを利用してカテゴリー別の推薦ターゲットイメージを提供し、
前記推薦ターゲットイメージで前記ターゲットイメージを選択するユーザの入力を取得することを含む、イメージのタグに基づいてモザイクイメージを提供する方法。

【請求項2】

複数のイメージに対してイメージ別にタグを決定し、前記タグにしたがって分類することは、
前記イメージをディープラーニングニューラルネットワークに入力して自動に決定されたタグを前記イメージのタグとして決定すること、
を含む、請求項１に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項3】

前記決定されたタグを少なくとも１つ以上含むカテゴリーを生成し、前記タグを有する複数のイメージを前記カテゴリーにて分類すること、
をさらに含む、請求項１に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項4】

前記ディープラーニングニューラルネットワークを利用してカテゴリー別の推薦ターゲットイメージを提供することは、
各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとを比較して、前記各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとのマッチング率が所定の基準以上を充足する前記各カテゴリー内イメージを検出して前記推薦ターゲットイメージとして提供すること、
を含む請求項１に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項5】

前記ピクセルイメージ選択インターフェースを提供することは、
前記タグまたはカテゴリーを選択して、前記タグまたは前記カテゴリーに属するイメージを前記ピクセルイメージとして選定すること、
を含む請求項１に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項6】

前記ピクセルイメージ選択インターフェースを提供することは、ディープラーニングニューラルネットワークを利用して推薦タグを提供すること、
をさらに含む請求項５に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項7】

前記モザイクイメージを生成することは、
前記ターゲットイメージを複数の単位セルに分類し、
前記単位セル毎にピクセルイメージをマッチングし、
前記単位セルにマッチングされた前記ピクセルイメージを挿入すること、
を含む請求項１に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項8】

モザイクサービス提供サーバでモザイクイメージを生成して提供する方法であって、
複数のイメージに対してイメージ別にタグを決定し、前記タグにしたがって分類し、
前記複数のイメージのうち、ピクセルイメージを決定し、
前記決定されたピクセルイメージに基づいてモザイク化するためのターゲットイメージを、前記タグを基に選択するターゲットイメージ選択インターフェースを提供し、
前記決定されたピクセルイメージと前記ターゲットイメージ選択インターフェースを介して選定されたターゲットイメージに基づいてモザイクイメージを生成し、
を含み、
前記決定されたピクセルイメージに基づいてモザイク化するためのターゲットイメージを、前記タグを基に選択するターゲットイメージ選択インターフェースを提供することは、
ディープラーニングニューラルネットワークを利用して前記選定されたピクセルイメージまたは前記複数のイメージのうち、推薦ターゲットイメージを検出して提供し、
前記推薦ターゲットイメージまたは前記複数のイメージに基づいて前記ターゲットイメージを選択するユーザの入力を取得することを含むイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項9】

前記推薦ターゲットイメージを検出して提供することは、
選定されたピクセルイメージの代表ファクタ分布データと前記選定されたピクセルイメージのそれぞれの単位セルの代表ファクタ分布データとを比較して、前記選定されたピクセルイメージの代表ファクタ分布データと前記選定されたピクセルイメージのそれぞれの単位セルの代表ファクタ分布データとのマッチング率が所定の基準以上を充足する前記ピクセルイメージを検出して推薦ピクセルイメージとして提供すること、
を含む請求項８に記載のイメージのタグに基づいてモザイクイメージを提供する方法。

【請求項10】

請求項１乃至９のいずれか一項に記載のイメージのタグに基づいてモザイクイメージを提供する方法を、
モザイクサービス提供サーバのプロセッサに実行させるためのプログラム。

【請求項11】

複数のイメージと、前記複数のイメージを基にモザイクイメージを生成するためのプログラムを格納する格納部と、
前記生成されたモザイクイメージを出力するディスプレイ部と、
前記格納部のプログラムを読み出して前記モザイクイメージを生成する制御部と、
を備え、
前記制御部は、
前記複数のイメージに対してイメージ別にタグを決定し、前記タグにしたがって分類し、
前記複数のイメージのうち、ターゲットイメージを決定し、
前記決定されたターゲットイメージをモザイク化するためのピクセルイメージを、前記タグを基に選択するピクセルイメージ選択インターフェースを提供し、
前記ピクセルイメージ選択インターフェースを介して選定されたピクセルイメージを基に前記ターゲットイメージに対するモザイクイメージを生成し、
前記生成されたモザイクイメージを前記ディスプレイ部が出力するように制御することを含み、
前記複数のイメージのうち、ターゲットイメージを決定することは、
ディープラーニングニューラルネットワークを利用してカテゴリー別の推薦ターゲットイメージを提供し、
前記推薦ターゲットイメージで前記ターゲットイメージを選択するユーザの入力を取得して、前記複数のイメージでターゲットイメージを決定するように制御することを含む、モザイクイメージ提供装置。

【請求項12】

前記制御部は、
前記決定されたタグを少なくとも１つ以上含むカテゴリーを生成し、前記タグを有する複数のイメージを前記カテゴリーにて分類するように制御する、請求項１１に記載のモザイクイメージ提供装置。

【請求項13】

前記制御部は、
各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとを比較して、前記各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとのマッチング率が所定の基準以上を充足する前記各カテゴリー内イメージを検出して前記推薦ターゲットイメージとして提供する、請求項１２に記載のモザイクイメージ提供装置。

【請求項14】

前記制御部は、
前記タグまたはカテゴリーを選択して、前記タグまたは前記カテゴリーに属するイメージを前記ピクセルイメージとして選定し、
ディープラーニングニューラルネットワークを利用して推薦タグを提供する、請求項１３に記載のモザイクイメージ提供装置。

【請求項15】

前記制御部は、
前記ターゲットイメージを複数の単位セルに分類し、前記単位セル毎にピクセルイメージをマッチングし、前記単位セルにマッチングされた前記ピクセルイメージを挿入して前記モザイクイメージを生成する、請求項１１に記載のモザイクイメージ提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージのタグに基づいたモザイクイメージ生成及び提供方法に関する。

【0002】

より詳細には、ディープラーニングニューラルネットワークを利用してイメージのタグに基づいたモザイクイメージを生成し、提供する方法に関する。

【背景技術】

【0003】

フォトモザイク（Ｐｈｏｔｏ ｍｏｓａｉｃ）とは、互いに異なる数多くの写真や絵を集めて一枚のモザイク形式イメージを生成する技術である。

【0004】

フォトモザイク生成アルゴリズムの代表的アルゴリズムは、ロバーツシルバスアルゴリズム（Ｒｏｂｅｒｔ Ｓｉｌｖｅｒ’ｓ Ａｌｇｏｒｉｔｈｍ）であって、モザイク化しようとする目標イメージ（すなわち、ターゲット（Ｔａｒｇｅｔ）イメージ）を一定数のブロック（単位セル（Ｃｅｌｌ））に分け、ソースイメージ（ピクセルイメージ）のブロックも一定数のブロックに分けて、目標イメージの格子とソースイメージの格子とをそれぞれ同じサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、３×３）に分割して、各サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ）間のＲＧＢカラーディスタンス（ＲＧＢ ｃｏｌｏｒ ｄｉｓｔａｎｃｅ）を合わせたものが最小になるタイルを選択する方法で構成されている。

【0005】

すなわち、目標イメージに対してフォトモザイク技術を適用すれば、フォトモザイクブロックで構成されたフォトモザイク形式のイメージが生成される。

【0006】

ここで、フォトモザイク形式のイメージは、目標イメージと類似するように生成され、それぞれのフォトモザイクブロックは、別のソースイメージで構成される。

【0007】

しかしながら、このようなフォトモザイク技術を利用するのにおいて、数多くのイメージのうち、フォトモザイク形式のイメージを目標イメージと最も類似するように実現できるソースイメージを、ユーザが恣意的に選別することは困難である。

【0008】

また、フォトモザイク形式のイメージを生成するためには、所定の個数以上の数多くのソースイメージに対するユーザの選択が必要であり、状況に応じて特定カテゴリーに分類されたイメージだけを選択しなければならない場合が発生するが、数多くのイメージをユーザの要求に応じて便利に分類・抽出・組み合わせて効果的にソースイメージを選択できる技術が不十分であるのが実情である。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の一実施形態は、ユーザがモザイクイメージの構成要素として使用しようとするイメージを効果的に選択できるように、イメージにタグ及び／又はカテゴリーをマッチングしてユーザがイメージを便利に分類・抽出・組み合わせてモザイクイメージを構成できるイメージのタグに基づいたモザイクイメージ生成及び提供方法を目的の一つとする。

【0010】

また、本発明の一実施形態は、生成しようとするモザイクイメージを構成するのに適したイメージを自動に選別して提供できるイメージのタグに基づいたモザイクイメージ生成及び提供方法を実現することを目的の一つとする。

【0011】

ただし、本発明の一実施形態がなそうとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。

【課題を解決するための手段】

【0012】

本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、モザイクサービス提供サーバでモザイクイメージを生成して提供する方法であって、複数のイメージに対してイメージ毎にタグを決定し、タグにしたがって分類し、複数のイメージのうち、ターゲットイメージを決定し、決定されたターゲットイメージをモザイク化するためのピクセルイメージを、タグを基に選択するピクセルイメージ選択インターフェースを提供し、ピクセルイメージ選択インターフェースを介して選定されたピクセルイメージを基にターゲットイメージに対するモザイクイメージを生成することを含む。

【0013】

このとき、複数のイメージに対してイメージ毎にタグを決定し、タグにしたがって分類することは、イメージをディープラーニングニューラルネットワークに入力して自動に決定されたタグをイメージのタグとして決定することを含む。

【0014】

また、決定されたタグを少なくとも１つ以上含むカテゴリーを生成し、タグを有する複数のイメージをカテゴリーにて分類することをさらに含む。

【0015】

また、複数のイメージのうち、ターゲットイメージを決定することは、ディープラーニングニューラルネットワークを利用してカテゴリー別の推薦ターゲットイメージを提供し、推薦ターゲットイメージでターゲットイメージを選択するユーザの入力を取得することを含む。

【0016】

また、ディープラーニングニューラルネットワークを利用してカテゴリー別の推薦ターゲットイメージを提供することは、各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとを比較して、各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとのマッチング率が所定の基準以上を充足する各カテゴリー内イメージを検出して推薦ターゲットイメージとして提供することを含む。

【0017】

また、ピクセルイメージ選択インターフェースを提供することは、タグまたはカテゴリーを選択して、タグまたはカテゴリーに属するイメージをピクセルイメージとして選定することを含む。

【0018】

また、ピクセルイメージ選択インターフェースを提供することは、ディープラーニングニューラルネットワークを利用して推薦タグを提供することをさらに含む。

【0019】

また、モザイクイメージを生成することは、ターゲットイメージを複数の単位セルに分類し、単位セル別にピクセルイメージをマッチングし、単位セルにマッチングされたピクセルイメージを挿入することを含む。

【0020】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、モザイクサービス提供サーバでモザイクイメージを生成して提供する方法であって、複数のイメージに対してイメージ別にタグを決定し、タグにしたがって分類し、複数のイメージのうち、ピクセルイメージを決定し、決定されたピクセルイメージに基づいてモザイク化するためのターゲットイメージを、タグを基に選択するターゲットイメージ選択インターフェースを提供し、選定されたピクセルイメージとターゲットイメージ選択インターフェースを介して選定されたターゲットイメージに基づいてモザイクイメージを生成することを含む。

【0021】

このとき、決定されたピクセルイメージに基づいてモザイク化するためのターゲットイメージを、タグを基に選択するターゲットイメージ選択インターフェースを提供することは、ディープラーニングニューラルネットワークを利用して選定されたピクセルイメージまたは複数のイメージのうち、推薦ターゲットイメージを検出して提供し、推薦ターゲットイメージまたは複数のイメージに基づいてターゲットイメージを選択するユーザの入力を取得することを含む。

【0022】

また、推薦ターゲットイメージを検出して提供することは、選定されたピクセルイメージの代表ファクタ分布データと選定されたピクセルイメージのそれぞれの単位セルの代表ファクタ分布データとを比較して、選定されたピクセルイメージの代表ファクタ分布データと選定されたピクセルイメージのそれぞれの単位セルの代表ファクタ分布データとのマッチング率が所定の基準以上を充足するピクセルイメージを検出して推薦ピクセルイメージとして提供することを含む。

【0023】

本発明の一実施形態に係るプログラムは、イメージのタグに基づいてモザイクイメージを提供する方法を、モザイクサービス提供サーバのプロセッサに実行させる。

【0024】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、複数のイメージと、複数のイメージを基にモザイクイメージを生成するためのプログラムを格納する格納部と、生成されたモザイクイメージを出力するディスプレイ部と、格納部のプログラムを読み出してモザイクイメージを生成する制御部とを備え、制御部は、複数のイメージに対してイメージ別にタグを決定し、タグにしたがって分類し、複数のイメージのうち、ターゲットイメージを決定し、決定されたターゲットイメージをモザイク化するためのピクセルイメージを、タグを基に選択するピクセルイメージ選択インターフェースを提供し、ピクセルイメージ選択インターフェースを介して選定されたピクセルイメージを基にターゲットイメージに対するモザイクイメージを生成し、生成されたモザイクイメージをディスプレイ部が出力するように制御する。

【0025】

このとき、制御部は、決定されたタグを少なくとも１つ以上含むカテゴリーを生成し、タグを有する複数のイメージをカテゴリーにて分類するように制御する。

【0026】

また、制御部は、ディープラーニングニューラルネットワークを利用してカテゴリー別の推薦ターゲットイメージを提供し、推薦ターゲットイメージでターゲットイメージを選択するユーザの入力を取得して、複数のイメージでターゲットイメージを決定するように制御する。

【0027】

また、制御部は、各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとを比較して、各カテゴリー内イメージの代表ファクタ分布データと各カテゴリー内の各イメージの単位セルの代表ファクタ分布データとのマッチング率が所定の基準以上を充足する各カテゴリー内イメージを検出して推薦ターゲットイメージとして提供する。

【0028】

また、制御部は、タグまたはカテゴリーを選択して、タグまたはカテゴリーに属するイメージをピクセルイメージとして選定し、ディープラーニングニューラルネットワークを利用して推薦タグを提供する。

【0029】

また、制御部は、ターゲットイメージを複数の単位セルに分類し、単位セル別にピクセルイメージをマッチングし、単位セルにマッチングされたピクセルイメージを挿入してモザイクイメージを生成する。

【発明の効果】

【0030】

本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、イメージにタグ及び／又はカテゴリーをマッチングし、イメージにマッチングされたタグ及び／又はカテゴリーに基づいてユーザがイメージを分類・抽出・組み合わせてモザイクイメージを構成できるようにすることで、モザイクイメージを構成するピクセルイメージを容易に決定することができる。

【0031】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ユーザが選択したピクセルイメージに基づいてモザイクイメージとして生成するのに適したターゲットイメージを自動に検出して推薦することにより、選択されたピクセルイメージに基づいて完成度の高いモザイクイメージを生成できるターゲットイメージを提供できる。

【0032】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ユーザが選択したターゲットイメージに基づいて生成しようとするモザイクイメージを構成するのに適したピクセルイメージを自動に選別して提供することにより、選択されたターゲットイメージを完成度の高いモザイクイメージとして生成できるピクセルイメージを容易に提供でき、選択されたターゲットイメージと関連性のあるピクセルイメージを用いて高クオリティのモザイクイメージを生成できる。

【0033】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ディープラーニングニューラルネットワークを利用してイメージを分類・推薦・フィルタリング・生成することにより、イメージのタグに基づいてモザイクイメージを生成し、提供するサービスに必要なデータ処理を人工知能を活用して早くかつ効率的に行うことができる。

【0034】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、複数のタグを含むことができるカテゴリーを生成してイメージを分類することで、イメージをより体系的に管理することができる。

【0035】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、カテゴリー別にモザイクイメージを生成するのに適したターゲットイメージを自動に検出して推薦することにより、カテゴリー別に含んでいるイメージに基づいて完成度の高いモザイクイメージを生成できるターゲットイメージを提供できる。

【0036】

ただし、本発明で得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、下記の記載から明確に理解されることができる。

【図面の簡単な説明】

【0037】

【図1】本発明の一実施形態に係る端末の内部ブロック図である。

【図2】本発明の一実施形態に係るモザイクサービス提供サーバの内部ブロック図である。

【図3】本発明の一実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法を説明するためのフローチャートである。

【図4】本発明の一実施形態に係るイメージのタグの決定過程でユーザのフィードバックを受信する一例を示す。

【図5】本発明の一実施形態に係るターゲットイメージを推薦する方法を説明するための図である。

【図6】本発明の他の一実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法を説明するためのフローチャートである。

【図7】本発明の他の一実施形態に係るターゲットイメージを推薦する方法を説明するための図である。

【発明を実施するための形態】

【0038】

本発明は、様々な変換を加えることができ、種々の実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果及び特徴、そして、それらを達成する方法は、図面とともに詳しく後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に限定されるものではなく、様々な形態で実現されることができる。以下の実施形態において、第１、第２などの用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的として使用する。また、単数の表現は、文脈上、明白に異なるように意味しない限り、複数の表現を含む。また、「含む」または「有する」などの用語は、明細書上に記載された特徴または構成要素が存在することを意味するものであり、１つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。また、図面では、説明の都合上、構成要素等が、そのサイズが誇張または縮小され得る。例えば、図面に示された各構成のサイズ及び厚さは、説明の都合上、任意に示したので、本発明が必ずしも図示されたところに限定されない。

【0039】

以下、添付された図面を参照して本発明の実施形態を詳しく説明し、図面を参照して説明するとき、同一であるか、対応する構成要素は同様の図面符号を付し、これについての重複する説明を省略する。

【0040】

（端末）
まず、本発明の実施形態において端末１００は、モザイクイメージ（Ｍｏｓａｉｃ Ｉｍａｇｅ）生成の基盤になるイメージを取得して格納することができ、取得されたイメージを外部のサーバ（例えば、モザイクサービス提供サーバ及び／又はソーシャルネットワークサービスＳＮＳサーバなど）に送信することができる。

【0041】

また、端末１００は、モザイクサービス提供サーバからイメージに基づいて生成されたモザイクイメージを受信して出力することができる。他の実施形態において、端末１００は、直接データ処理を実行して、イメージを基にモザイクイメージを生成した後、生成したモザイクイメージを出力することができる。

【0042】

さらに、端末１００は、モザイクイメージを生成するプロセス（Ｐｒｏｃｅｓｓ）でユーザがモザイクイメージに使用されることを望むイメージを選択できるインターフェースを提供できる。

【0043】

具体的に、端末１００は、モザイクイメージを生成するためのターゲットイメージ（Ｔａｒｇｅｔ Ｉｍａｇｅ）及びピクセルイメージ（Ｐｉｘｅｌ Ｉｍａｇｅ）のうち、少なくともいずれか１つを選択するユーザ入力を取得できる。

【0044】

ここで、モザイクイメージとは、ターゲットイメージに基づいて複数のピクセルイメージをモザイク方式で組み合わせて生成したイメージを意味する。

【0045】

また、ターゲットイメージとは、複数のイメージを組み合わせてモザイクイメージとして表現しようとするイメージ、すなわち、目標イメージを意味する。

【0046】

また、ピクセルイメージとは、モザイクイメージの各単位セルに挿入されるイメージ、すなわち、ソースイメージを意味する。

【0047】

このとき、単位セル（Ｃｅｌｌ）とは、イメージを予め設定された単位（例えば、１００×１００ブロックなど）に分けて生成されたセルを意味する。

【0048】

一方、本発明の実施形態においてこのような端末１００は、イメージのタグに基づいてモザイクイメージを生成するサービスを行うためのプログラムが設けられた携帯用端末であるスマートフォン、デジタル放送用端末機、携帯電話、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、及びスマートグラス（ｓｍａｒｔ ｇｌａｓｓ）などを含むことができる。

【0049】

また、端末１００は、固定型端末であるデスクトップＰＣ、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）のようなパーソナルコンピュータなどのように、有／無線通信に基づき、イメージのタグに基づいてモザイクイメージを生成するサービスを提供するためのプログラムが設けられた装置をさらに備えることができる。

【0050】

以下、実施形態において端末１００は、携帯型端末に限定して説明する。

【0051】

図１は、本発明の実施形態に係る端末１００の内部ブロック図である。

【0052】

図１に示すように、端末１００は、通信部１１０、カメラ１２０、入力部１３０、ディスプレイ部１４０、タッチスクリーン１３５（ｔｏｕｃｈ ｓｃｒｅｅｎ）、格納部１５０、及び制御部１６０を備えることができる。

【0053】

まず、通信部１１０は、イメージのタグに基づいてモザイクイメージを生成するサービスを提供するための各種データ及び／又は情報などを送受信できる。

【0054】

実施形態において通信部１１０は、他のユーザの端末１００及び／又はモザイクサービス提供サーバと通信し、イメージのタグに基づいてモザイクイメージを生成するサービスと関連したデータを送受信できる。

【0055】

また、通信部１１０は、取得されたイメージを外部プリンタに送信してオフライン出力物として印刷するように補助することができる。

【0056】

このような通信部１１０は、移動通信のための技術標準または通信方式（例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ−Ａｄｖａｎｃｅｄ）等）によって構築された移動通信網上で基地局、外部の端末１００、任意のサーバのうち、少なくとも１つと無線信号を送受信できる。

【0057】

次に、カメラ１２０は、ユーザの入力によって撮影を行ってイメージを取得できる。イメージを取得した端末１００は、取得されたイメージを、ディスプレイ部１４０を介して出力することができ、格納部１５０に記録することができる。

【0058】

また、カメラ１２０は、端末１００の前面又は／及び後面に配置されて、配置された方向側を撮影して映像を取得でき、端末１００の外部に配置されて、配置された方向側のイメージを撮影することもできる。

【0059】

端末１００の外部にカメラ１２０が配置された場合、カメラ１２０は、通信部１１０を介して制御部１６０に撮影したイメージを送信することができる。

【0060】

そして、このようなカメラ１２０は、イメージセンサと映像処理モジュールとを備えることができる。

【0061】

具体的に、カメラ１２０は、イメージセンサ（例えば、ＣＭＯＳまたはＣＣＤ）により得られる静止画（すなわち、イメージ）または動画を処理できる。

【0062】

また、カメラ１２０は、映像処理モジュールを用いてイメージセンサを介して取得された静止画または動画を加工して必要な情報を抽出し、抽出された情報を制御部１６０に伝達することもできる。

【0063】

次に、入力部１３０は、イメージのタグに基づいてモザイクイメージを生成するサービスと関連したユーザの入力を検知できる。

【0064】

実施形態として、入力部１３０は、ターゲットイメージを選択するインターフェースを介してのユーザの入力及び／又はピクセルイメージを選択するインターフェースを介してのユーザの入力などを検知できる。

【0065】

次に、ディスプレイ部１４０は、イメージのタグに基づいてモザイクイメージを生成するサービスと関連した様々な情報をグラフィックイメージとして出力することができる。

【0066】

このようなディスプレイ部１４０は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電子インキディスプレイ（ｅ−ｉｎｋ ｄｉｓｐｌａｙ）のうち、少なくとも１つを含むことができる。

【0067】

また、入力部１３０及びディスプレイ部１４０が結合されてタッチスクリーン１３５として実現される。

【0068】

次に、格納部１５０は、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成するサービスを提供する各種応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

【0069】

このような格納部１５０は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器であってもよいし、インターネット（ｉｎｔｅｒｎｅｔ）上で格納部１５０の格納機能を果たすウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）であってもよい。

【0070】

最後に、制御部１６０は、イメージのタグに基づいてモザイクイメージを生成するサービスを提供するために、前述した各構成要素の全般的な動作をコントロールできる。

【0071】

このような制御部１６０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセス（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能実行のための電気的ユニットのうち、少なくとも１つを利用して実現されることができる。

【0072】

ただし、図１に示された構成要素等は、端末１００を実現するにあたって必須的なものではなく、本明細書上で説明される端末１００は、上記で挙げられた構成要素等より多いか、または少ない構成要素を有することができる。

【0073】

（モザイクサービス提供サーバ）
一方、本発明の実施形態においてモザイクサービス提供サーバ２００は、端末１００及び／又は外部サーバ（例えば、ソーシャルネットワークサービスＳＮＳサーバ等）からイメージを受信でき、受信されたイメージに基づいてモザイクイメージを生成できる。

【0074】

以下、実施形態では、モザイクサービス提供サーバ２００がイメージを基にモザイクイメージを生成することを説明するが、他の実施形態によって端末１００で直接モザイクイメージを生成するデータ処理を実行してもよい。

【0075】

具体的に、モザイクサービス提供サーバ２００は、受信されたイメージに基づいてディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を行ってモザイクイメージを生成できる。

【0076】

また、モザイクサービス提供サーバ２００は、生成されたモザイクイメージを端末１００に送信してユーザに提供することができる。

【0077】

図２は、本発明の実施形態に係るモザイクサービス提供サーバ２００の内部ブロック図である。

【0078】

より具体的に、図２に示すように、本発明の一実施形態においてモザイクサービス提供サーバ２００は、イメージ分類部２１０、ターゲットイメージ推薦部２２０、ピクセルイメージフィルタリング部２３０、及びモザイクイメージ生成部２４０を備えることができる。

【0079】

まず、イメージ分類部２１０は、ディープラーニングニューラルネットワークを介して端末１００及び／又は外部サーバから取得されたイメージに対するタグを決定でき、決定されたタグに基づいてイメージを分類できる。

【0080】

また、イメージ分類部２１０は、複数のタグを含むカテゴリーを生成し、タグを有するイメージを当該カテゴリーにて分類して管理することができる。

【0081】

次に、ターゲットイメージ推薦部２２０は、状況に応じて適切なターゲットイメージを検出して提供することができる。

【0082】

実施形態において、ターゲットイメージ推薦部２２０は、カテゴリー別の推薦ターゲットイメージを検出して提供することができ、選定されたピクセルイメージに適したターゲットイメージを選別して提供することもできる。

【0083】

次に、ピクセルイメージフィルタリング部２３０は、タグ、カテゴリー、及び／又はディープラーニングニューラルネットワークを利用してユーザのイメージからモザイクイメージを生成するために使用するピクセルイメージをフィルタリングして提供することができる。

【0084】

このとき、ユーザのイメージとは、端末１００及び／又は外部サーバからユーザ入力により取得されたイメージであって、例えば、ユーザの端末１００内イメージ、クラウドサーバから取得されたイメージ、及びソーシャルネットワークサービスＳＮＳサーバから取得されたイメージのうち、少なくともいずれか１つ以上であってもよい。

【0085】

実施形態において、ピクセルイメージフィルタリング部２３０は、選定されたターゲットイメージのモザイク化に適したタグ及び／又はカテゴリーに含まれたイメージをフィルタリングして提供することができ、ユーザがイメージ検索インターフェースを介して入力したタグ及び／又はカテゴリーに含まれたイメージをフィルタリングして提供することもできる。

【0086】

最後に、モザイクイメージ生成部２４０は、ターゲットイメージとピクセルイメージとに基づいてモザイクイメージを生成できる。

【0087】

一方、モザイクサービス提供サーバ２００の各構成ユニット（すなわち、イメージ分類部２１０、ターゲットイメージ推薦部２２０、ピクセルイメージフィルタリング部２３０、及び／又はモザイクイメージ生成部２４０）は、実施形態によってモザイクサービス提供サーバ２００に直接設けられるか、モザイクサービス提供サーバ２００とは別の装置である外部のサーバに設けられてもよい。

【0088】

すなわち、イメージ分類部２１０、ターゲットイメージ推薦部２２０、ピクセルイメージフィルタリング部２３０、及び／又はモザイクイメージ生成部２４０は、各々別のサーバであってもよい。

【0089】

このとき、モザイクサービス提供サーバ２００の各構成ユニットは、データ送受信部、データ処理部、及びデータベースを備えることができる。

【0090】

ここで、データ送受信部は、端末１００及び／又は外部サーバとイメージのタグに基づいてモザイクイメージを生成するサービスを提供するための各種データを、ネットワークを介してやり取りすることができる。

【0091】

また、データ処理部は、イメージのタグに基づいてモザイクイメージを生成するサービスを提供するための一連のデータ処理を行うことができる。

【0092】

このとき、実施形態においてデータ処理部は、イメージディープラーニングニューラルネットワーク（Ｉｍａｇｅ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と連動して受信されたイメージに基づいたディープラーニングを行うことができる。

【0093】

ここで、実施形態によってイメージディープラーニングニューラルネットワークは、モザイクサービス提供サーバ２００及び／又は各構成ユニットに直接設けられるか、モザイクサービス提供サーバ２００及び／又は各構成ユニットとは別の装置としてイメージを受信してディープラーニングを行うことができる。

【0094】

以下、本発明の実施形態では、イメージディープラーニングニューラルネットワークが、各構成ユニットに直接設けられてディープラーニングを行う実施形態を基準に説明する。

【0095】

具体的に、データ処理部は、ディープラーニングニューラルネットワーク駆動プログラムをデータベースから読み出すことができ、読み出された駆動プログラムに構築されたディープラーニングニューラルネットワークシステムによってディープラーニングを行うことができる。このようなデータ処理部は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御器（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセス（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能実行のための電気的ユニットのうち、少なくとも１つを利用して実現されることができる。

【0096】

一方、データベースは、イメージのタグに基づいてモザイクイメージを生成するサービスと関連した各種データを格納することができる。

【0097】

実施形態として、データベースは、ディープラーニングニューラルネットワーク駆動プログラムを格納することができ、データ処理部からの要求によって提供することができる。

【0098】

このようなデータベースは、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器であってもよいし、インターネット（ｉｎｔｅｒｎｅｔ）上でデータベースの格納機能を果たすウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）であってもよい。

【0099】

（イメージのタグに基づいてモザイクイメージを生成する方法）
以下、添付された図面を参照してイメージのタグに基づいてモザイクイメージを生成する方法について詳細に説明する。

【0100】

図３は、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法を説明するためのフローチャートである。本発明の一実施形態に係るプログラムは、イメージのタグに基づいてモザイクイメージを提供する方法を、モザイクサービス提供サーバのプロセッサに実行させる。

【0101】

図３に示すように、実施形態に係るモザイクサービス提供サーバ２００（以下、モザイクサーバ２００ともいう）は、イメージのタグに基づいてモザイクイメージを生成し、提供するために、ターゲットイメージを先に選定し、その後、選定されたターゲットイメージのモザイク化に用いるピクセルイメージを選定してモザイクイメージを生成できる。

【0102】

具体的に、モザイクサーバ２００は、まず、ユーザのイメージに対してタグを決定し、分類することができる（Ｓ１０１）。

【0103】

ここで、ユーザのイメージは、端末１００及び／又は外部サーバからユーザ入力により取得されたイメージであって、例えば、ユーザの端末１００内イメージ、クラウドサーバから取得されたイメージ、及びソーシャルネットワークサービスＳＮＳサーバから取得されたイメージのうち、少なくともいずれか１つ以上であってもよい。

【0104】

また、本発明の実施形態においてタグとは、イメージにタグ付け（Ｔａｇｇｉｎｇ）された当該イメージを分類するための代表単語を意味する。例えば、「山」オブジェクトを含むイメージは、「山」領域に分類されることができ、「山」タグがマッチングされ得る。

【0105】

このようなタグは、ユーザがイメージを検索するときに用いることができ、ユーザがタグを介してイメージを検索した場合、当該タグがタグ付けされた全てのイメージを群集化して見ることができるハッシュタグ（Ｈａｓｈｔａｇ）機能を提供できる。

【0106】

さらに戻ってきて、具体的に、モザイクサーバ２００は、イメージ分類部２１０を介してのディープラーニングに基づいてユーザのイメージの各々にマッチングするタグを決定でき、決定されたタグに基づいてイメージを分類できる。

【0107】

このように、モザイクサーバ２００は、ディープラーニングを利用してイメージにタグをマッチングすることにより、別の手作業なしに多くのイメージのタグを決定し、タグによってイメージを分類することができる。

【0108】

また、モザイクサーバ２００は、イメージのタグを決定する過程でユーザのフィードバックを受けてもよい。

【0109】

具体的に、図４に示すように、モザイクサーバ２００は、端末１００と連動してディープラーニングを介して決定されたイメージのタグを当該イメージとともにユーザに提供することができる。

【0110】

そして、モザイクサーバ２００は、イメージと、当該イメージに対して決定されたタグとが正しくマッチングされたかを表すタグ一致可否を、ユーザ入力を介して取得することができる。

【0111】

このとき、モザイクサーバ２００は、イメージとタグとが一致した場合、当該タグをイメージのタグとして最終決定することができ、イメージとタグとが一致していない場合、当該情報をディープラーニングニューラルネットワークに反映し、その後、ディープラーニングを再実行してイメージのタグを再決定できる。

【0112】

また、モザイクサーバ２００は、端末１００と連動してイメージにマッチングされるタグを、ユーザから受信して追加タグとして生成することもできる。

【0113】

このように、モザイクサーバ２００は、イメージのタグを決定するときにユーザのフィードバックを収容することにより、人工知能的判断だけでなく、ユーザの認知的判断まで考慮してイメージのタグを決定できる。

【0114】

次に、イメージのタグを決定して分類したモザイクサーバ２００は、決定されたタグに基づいてカテゴリー別にイメージを分類できる（Ｓ１０３）。

【0115】

具体的に、モザイクサーバ２００は、イメージ分類部２１０を介して複数のタグを含むカテゴリーを生成でき、当該カテゴリーに含まれたタグを有するイメージを当該カテゴリーにて分類して管理することができる。

【0116】

具体的に、イメージ分類部２１０は、同じ概念のタグを含む上位概念をカテゴリーに設定し、タグと、タグにマッチングされたイメージを設定されたカテゴリーに分類することができる。

【0117】

例えば、モザイクサーバ２００は、「江」、「山」、及び／又は「海」などのタグとマッチングされたイメージを風景カテゴリー及び／又は旅行カテゴリーなどに分類することができる。他の例示として、モザイクサーバ２００は、「犬」及び／又は「猫」などのタグとマッチングされたイメージを伴侶動物カテゴリーなどに分類することができる。

【0118】

このように、モザイクサーバ２００は、複数のタグを含むことができるカテゴリーを生成してイメージを分類することで、イメージをより体系的に管理することができ、ユーザのイメージ検索／選択過程に活用することができる。

【0119】

次に、イメージを分類したモザイクサーバ２００は、ターゲットイメージを決定できる（Ｓ１０５）。

【0120】

ここで、ターゲットイメージは、複数のイメージを組み合わせてモザイクイメージとして表現しようとするイメージ、すなわち、目標イメージを意味する。

【0121】

このとき、ターゲットイメージは、ユーザのイメージになることができ、モザイクサーバ２００で提供するイメージ（例えば、名画イメージ）になることもできる。

【0122】

具体的に、モザイクサーバ２００は、ターゲットイメージを選定するために、端末１００と連動してターゲットイメージを選択するユーザの入力を受信できる。

【0123】

そして、モザイクサーバ２００は、受信されたユーザの入力に基づいてモザイクイメージとして表現するターゲットイメージを選定できる。

【0124】

他の実施形態において、モザイクサーバ２００は、ターゲットイメージ推薦部２２０がカテゴリー別にモザイクイメージとして生成するのに適したイメージを推薦した後、推薦されたイメージを自動にまたはユーザの選択によってターゲットイメージとして決定することができる。

【0125】

すなわち、ターゲットイメージ推薦部２２０は、カテゴリー内イメージとしてモザイクイメージを生成しようとするとき、最も適した少なくとも１つ以上のイメージを検出し、検出されたイメージをユーザに推薦したり、ターゲットイメージとして決定したりすることができる。

【0126】

具体的には、図５に示すように、モザイクサーバ２００は、まず、第１のカテゴリー内の各イメージの代表ファクタ（Ｆａｃｔｏｒ）を決定できる。

【0127】

ここで、イメージのファクタとは、色感及び／又は質感を表す要因である。例えば、ファクタは、イメージをなすピクセルの色感を表すＲ、Ｇ、Ｂ値であってもよい。

【0128】

そして、イメージの代表ファクタは、ピクセルからなる全体イメージが表す色感又は／及び質感要因を含むことができる。例えば、代表ファクタは、ピクセルの色感又は／及び質感の平均値であってもよい。

【0129】

モザイクサーバ２００は、ディープラーニングニューラルネットワークを介して第１のカテゴリー内の各イメージ別に色感及び／又は質感要因を算出して第１のカテゴリー内の各イメージの代表ファクタを決定できる。

【0130】

続いて、第１のカテゴリー内の各イメージの代表ファクタを決定したモザイクサーバ２００は、第１のカテゴリー内イメージの代表ファクタ分布データを生成できる。

【0131】

ここで、代表ファクタ分布データとは、複数のイメージの代表ファクタがいかなる分布を有するか表すデータを意味する。

【0132】

例えば、代表ファクタ分布データは、複数の代表ファクタの分布形態をヒストグラム形式で表示したグラフデータであってもよい。

【0133】

その後、第１のカテゴリー内イメージの代表ファクタ分布データを生成したモザイクサーバ２００は、第１のカテゴリー内の各イメージを単位セルに分割することができる。

【0134】

すなわち、モザイクサーバ２００は、第１のカテゴリー内の各イメージを予め設定された単位（例えば、１００×１００ブロックなど）に分割して単位セルの集合で構成することができる。

【0135】

次に、モザイクサーバ２００は、ディープラーニングニューラルネットワークを介して第１のカテゴリー内の各イメージの各単位セルの代表ファクタを決定できる。

【0136】

そして、モザイクサーバ２００は、第１のカテゴリー内の各イメージ別に取得される単位セルの代表ファクタ分布データを生成できる。

【0137】

続いて、モザイクサーバ２００は、生成された第１のカテゴリーの代表ファクタ分布データと単一イメージの単位セルの代表ファクタ分布データとを比較して、マッチング率を算出できる。

【0138】

すなわち、モザイクサーバ２００は、第１のカテゴリーの代表ファクタ分布データとマッチング率が高い代表ファクタ分布データを有するイメージを選別して、第１のカテゴリー内イメージとして生成するのに適した第１のカテゴリー内イメージを検出できる。

【0139】

その後、モザイクサーバ２００は、比較の結果として第１のカテゴリー内イメージの代表ファクタ分布データと第１のカテゴリー内の各イメージ別に取得された単位セルの代表ファクタ分布データとのマッチング率が、予め設定された基準（例えば、所定の百分率等）以上に高い第１のカテゴリー内イメージを検出できる。

【0140】

そして、モザイクサーバ２００は、検出された少なくとも１つ以上の第１のカテゴリー内イメージを第１のカテゴリーの推薦ターゲットイメージとして決定することができる。

【0141】

また、モザイクサーバ２００は、前述と同様の方式にて複数のカテゴリーに対して推薦ターゲットイメージを決定できる。すなわち、モザイクサーバ２００は、カテゴリー別の推薦ターゲットイメージを決定できる。

【0142】

カテゴリー別の推薦ターゲットイメージを決定したモザイクサーバ２００は、決定されたカテゴリー別の推薦ターゲットイメージを、端末１００を介してユーザに提供することができる。

【0143】

また、モザイクサーバ２００は、カテゴリー別の推薦ターゲットイメージをユーザに提供した後、端末１００を介して取得されるユーザのターゲットイメージ選択入力によってターゲットイメージを選定できる。

【0144】

このように、モザイクサーバ２００は、カテゴリー別にモザイクイメージを生成するのに適したターゲットイメージを自動に検出して推薦することにより、カテゴリー別に含んでいるイメージに基づいて完成度の高いモザイクイメージを生成できるターゲットイメージを提供でき、ユーザが選択するように導くことができるという効果がある。次に、ターゲットイメージを選定したモザイクサーバ２００は、決定されたターゲットイメージをモザイク化するためのピクセルイメージを選定できる（Ｓ１０７）。

【0145】

具体的に、モザイクサーバ２００は、まず、ピクセルイメージフィルタリング部２３０を介してイメージにマッチングされたタグ及び／又はカテゴリーに基づいたピクセルイメージ選択機能をユーザに提供することができる。

【0146】

すなわち、モザイクサーバ２００は、タグ又は／及びカテゴリーを選択して、当該タグ又は／及びカテゴリーに属するイメージをピクセルイメージとして選択するインターフェースを提供できる。したがって、ユーザは、モザイクイメージを生成するのに使用するピクセルイメージを一々選択しなくてもよい。また、ユーザは、ターゲットイメージと関連性の高いピクセルイメージをタグやカテゴリー選択を介して容易に決定することができる。

【0147】

より具体的に、モザイクサーバ２００は、端末１００と連動してモザイクイメージを生成するのに用いるピクセルイメージをタグ及び／又はカテゴリーを介して検索することができ、検索を介して出力されたタグ及び／又はカテゴリーにマッチングされたイメージのうち、ピクセルイメージとして使用する所定の個数以上のイメージを選択できるピクセルイメージ選択インターフェースをユーザに提供することができる。

【0148】

そして、モザイクサーバ２００は、ピクセルイメージ選択インターフェースを介して取得されたユーザ入力に基づいて、選定されたターゲットイメージをモザイク化するためのピクセルイメージを選定できる。

【0149】

このように、モザイクサーバ２００は、イメージにタグ及び／又はカテゴリーをマッチングし、イメージにマッチングされたタグ及び／又はカテゴリーに基づいて、ユーザがイメージを分類・抽出・組み合わせてモザイクイメージを構成できるようにすることで、ユーザがモザイクイメージを構成するピクセルイメージをユーザの要求に応じて便利に選択させることができる。

【0150】

他の実施形態において、モザイクサーバ２００は、選定されたターゲットイメージのモザイク化に適したタグ及び／又はカテゴリーに含まれたイメージを自動にフィルタリングして提供することができる。

【0151】

具体的に、モザイクサーバ２００は、ターゲットイメージが属するカテゴリーに含まれるピクセルイメージを抽出でき、抽出されたイメージを、端末１００を介してユーザに推薦することができる。

【0152】

また、モザイクサーバ２００は、ターゲットイメージのタグと同一のタグに属するピクセルイメージを抽出し、端末１００を介してユーザに推薦することもできる。

【0153】

すなわち、モザイクサーバ２００は、ターゲットイメージのタグ及び／又はカテゴリーに含まれたイメージを推薦ピクセルイメージとして提供することにより、ユーザが選択したターゲットイメージと関連性のあるイメージとしてモザイクイメージを生成させることができる。

【0154】

さらに、モザイクサーバ２００は、ピクセルイメージフィルタリング部２３０を介してのディープラーニングを利用して、ターゲットイメージ単位セルの代表ファクタ分布データを取得でき、取得されたターゲットイメージ単位セルの代表ファクタ分布データとマッチング率の高いカテゴリー代表ファクタ分布データ及び／又はタグ代表ファクタ分布データを検出できる。

【0155】

具体的に、モザイクサーバ２００は、ディープラーニングニューラルネットワークを介してターゲットイメージ単位セルの代表ファクタ分布データ、カテゴリー別の代表ファクタ分布データ、及びタグ別の代表ファクタ分布データのうち、少なくともいずれか２つ以上の代表ファクタ分布データを生成できる。

【0156】

このとき、カテゴリー別の代表ファクタ分布データは、各カテゴリーに属する複数のイメージに基づいてディープラーニングを行って、各カテゴリーの代表ファクタを決定し、決定された各カテゴリーの代表ファクタを総合するディープラーニングを行って取得されることができる。

【0157】

また、タグ別の代表ファクタ分布データは、各タグに属する複数のイメージに基づいてディープラーニングを行って各タグの代表ファクタを決定し、決定された各タグの代表ファクタを総合してディープラーニングを行って取得されることができる。

【0158】

そして、モザイクサーバ２００は、生成されたターゲットイメージ単位セルの代表ファクタ分布データとカテゴリー別及び／又はタグ別の代表ファクタ分布データとを比較して、予め設定された基準（例えば、所定の百分率等）以上のマッチング率を表すカテゴリー及び／又はタグ代表ファクタ分布データを取得できる。

【0159】

その後、モザイクサーバ２００は、検出されたカテゴリー及び／又はタグ代表ファクタ分布データの当該カテゴリー及び／又はタグに含まれるピクセルイメージを抽出し、端末１００を介してユーザに提供することができる。

【0160】

このように、モザイクサーバ２００は、ユーザが選択したターゲットイメージに基づいて生成しようとするモザイクイメージを構成するのに適したピクセルイメージを自動に選別して提供することにより、選択されたターゲットイメージを完成度の高いモザイクイメージとして生成できるピクセルイメージを容易に提供することができる。

【0161】

次に、ターゲットイメージとピクセルイメージとを選定したモザイクサーバ２００は、選定されたピクセルイメージを用いて選定されたターゲットイメージをモザイク化し、モザイクイメージを生成できる（Ｓ１０９）。

【0162】

具体的に、モザイクイメージ生成部２４０は、ターゲットイメージの単位セルを複数のピクセルイメージに代えて、モザイクイメージを生成できる。

【0163】

実施形態として、モザイクサーバ２００は、ターゲットイメージの各単位セルの代表ファクタと最もマッチング度（すなわち、一致率）の高いピクセルイメージの代表ファクタを有するピクセルイメージを当該単位セルにマッチングして挿入することができる。すなわち、ターゲットイメージの各単位セルとピクセルイメージとの間の全般的な色感及び／又は質感類似性を最大化するマッチング処理を行うことができる。

【0164】

また、モザイクイメージ生成部２４０は、アースムーバーディスタンス（ＥＭＤ、ｅａｒｔｈ ｍｏｖｅｒ’ｓ ｄｉｓｔａｎｃｅ）を基にしたオートフォトモザイクアルゴリズムを活用して、ターゲットイメージと複数のピクセルイメージとに基づいたモザイクイメージを生成できる。

【0165】

このように、モザイクサーバ２００は、ディープラーニングニューラルネットワーク及び／又はアースムーバーディスタンス（ＥＭＤ、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔ
ａｎｃｅ）を活用して、ターゲットイメージの各単位セルに適したピクセルイメージをマッチングしてモザイクイメージを生成することにより、ピクセルイメージを用いてターゲットイメージを高い類似度で表現する高品質のモザイクイメージを生成できる。

【0166】

次に、モザイクイメージを生成したモザイクサーバ２００は、生成されたモザイクイメージを端末１００に送信して出力することができる（Ｓ１１１）。

【0167】

具体的に、モザイクサーバ２００は、生成されたモザイクイメージを端末１００に送信することができ、モザイクサーバ２００からモザイクイメージを受信した端末１００は、受信されたモザイクイメージを、ディスプレイ部を介してグラフィックイメージとして出力してユーザに提供することができる。他の実施形態において、端末１００の制御部１６０がモザイクサーバ２００で行われるデータ処理の少なくとも一部を行ってモザイクイメージを生成できる。具体的に、端末１００の制御部１６０は、１）格納部１５０に格納されたユーザのイメージに対してタグを決定し、分類し、２）決定されたタグに基づいてカテゴリー別にイメージを分類した後、３）ターゲットイメージを決定し、４）決定されたターゲットイメージをモザイク化するためのピクセルイメージを選定した後、５）選定されたピクセルイメージを用いて選定されたターゲットイメージをモザイク化してモザイクイメージを生成し、６）生成されたモザイクイメージを、ディスプレイ部１４０を制御して出力することができる。

【0168】

このような制御部１６０がモザイクイメージを生成し、出力する一連の過程は、格納部１５０に格納されたモザイクイメージを生成するサービスを提供するためのプログラムを読み出して行われることができるであろう。

【0169】

さらに他の実施形態では、端末１００の制御部１６０が１〜６ステップのうち、少なくとも一部を行い、モザイクサーバ２００が残りのステップを行う実施形態も可能であろう。

【0170】

一方、図６は、本発明の他の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法を説明するためのフローチャートである。本発明の一実施形態に係るプログラムは、イメージタグに基づいてモザイクイメージを提供する方法を、モザイクサービス提供サーバのプロセッサに実行させる。

【0171】

図６に示すように、他の実施形態においてモザイクサーバ２００は、イメージのタグに基づいてモザイクイメージを生成し、提供するために、ピクセルイメージを先に選定し、その後、選定されたピクセルイメージを用いてモザイク化するためのターゲットイメージを選定してモザイクイメージを生成できる。

【0172】

以下、効果的な説明のために、記述した内容と重複する記載は省略されることができる。

【0173】

まず、モザイクサーバ２００は、ユーザのイメージに対してタグを決定し、分類することができる（Ｓ２０１）。

【0174】

具体的に、モザイクサーバ２００は、イメージ分類部２１０を介してのディープラーニングに基づいてユーザのイメージの各々にマッチングするタグを決定でき、決定されたタグに基づいてイメージを分類できる。

【0175】

このとき、モザイクサーバ２００は、イメージのタグを決定する過程でユーザのフィードバックを受けることもできる。

【0176】

具体的に、モザイクサーバ２００は、タグ一致可否及び／又は追加タグに対するユーザの入力に基づいてユーザフィードバックを収容することができ、これを通じて人工知能的判断だけでなく、ユーザの認知的判断まで考慮してイメージのタグを決定できる。

【0177】

次に、イメージのタグを決定して分類したモザイクサーバ２００は、決定されたタグに基づいてカテゴリー別にイメージを分類できる（Ｓ２０３）。

【0178】

具体的に、モザイクサーバ２００は、イメージ分類部２１０を介して複数のタグを含むカテゴリーを生成でき、当該カテゴリーに含まれたタグを有するイメージを当該カテゴリーにて分類して管理することができる。

【0179】

次に、イメージを分類したモザイクサーバ２００は、ピクセルイメージを選定できる（Ｓ２０５）。

【0180】

具体的に、モザイクサーバ２００は、まず、ピクセルイメージフィルタリング部２３０を介してイメージにマッチングされたタグ及び／又はカテゴリーに基づいたピクセルイメージ選択機能をユーザに提供することができる。

【0181】

より具体的に、モザイクサーバ２００は、端末１００と連動してモザイクイメージを生成するのに用いるイメージをタグ及び／又はカテゴリーを介して検索でき、検索を介して出力されたタグ及び／又はカテゴリーにマッチングされたイメージのうち、ピクセルイメージとして使用する所定の個数以上のイメージを選択できるピクセルイメージ選択インターフェースをユーザに提供することができる。

【0182】

そして、モザイクサーバ２００は、ピクセルイメージ選択インターフェースを介して取得されたユーザ入力に基づいて、モザイクイメージに使用するためのピクセルイメージを選定できる。

【0183】

このように、モザイクサーバ２００は、イメージのタグ及び／又はカテゴリーに基づいてユーザがイメージを分類・抽出・組み合わせてモザイクイメージを構成できるようにすることで、ユーザがモザイクイメージを構成するピクセルイメージをユーザの要求に応じて便利に選択させることができる。

【0184】

次に、ピクセルイメージを選定したモザイクサーバ２００は、ターゲットイメージを選定できる（Ｓ２０７）。

【0185】

具体的に、モザイクサーバ２００は、ターゲットイメージを選定するために、端末１００と連動してターゲットイメージを選択するユーザの入力を受信できる。

【0186】

そして、モザイクサーバ２００は、受信されたユーザの入力に基づいてモザイクイメージとして表現するターゲットイメージを選定できる。

【0187】

他の実施形態において、モザイクサーバ２００は、ターゲットイメージ推薦部２２０を介してのディープラーニングに基づいて選定されたピクセルイメージを用いてモザイク化するのに適したターゲットイメージを検出して提供することができる。

【0188】

具体的に、モザイクサーバ２００は、ディープラーニングニューラルネットワークを利用して、選定されたピクセルイメージに基づいてモザイクイメージとして生成するのに適したイメージを検出でき、検出されたイメージを推薦ターゲットイメージとしてユーザの端末１００を介して提供することができる。

【0189】

このとき、モザイクサーバ２００は、推薦ターゲットイメージを１）選定されたピクセルイメージ、及び／又は２）モザイクサーバ２００に格納されたイメージ（以下、サーバイメージ）に基づいて検出することができる。

【0190】

以下の説明では、モザイクサーバ２００が選定されたピクセルイメージに基づいて推薦ターゲットイメージを検出する実施形態を基準に説明する。

【0191】

より具体的に、図７に示すように、モザイクサーバ２００は、まず、ピクセルイメージ別の代表ファクタを決定できる。

【0192】

すなわち、モザイクサーバ２００は、ディープラーニングニューラルネットワークを介して、選定された各ピクセルイメージに対する複数の色感及び／又は質感要因を代表する代表ファクタを決定してピクセルイメージ別の代表ファクタを決定できる。

【0193】

続いて、選定されたピクセルイメージ別の代表ファクタを決定したモザイクサーバ２００は、選定されたピクセルイメージの代表ファクタ分布データを生成できる。

【0194】

ここで、代表ファクタ分布データとは、複数の代表ファクタが色感及び／又は質感要因に基づいていかなる分布形態を表すかを提供するデータであってもよい。

【0195】

例えば、代表ファクタ分布データは、複数の代表ファクタの分布形態をヒストグラム形式で表示したグラフデータであってもよい。

【0196】

その後、ピクセルイメージの代表ファクタ分布データを生成したモザイクサーバ２００は、各ピクセルイメージを単位セルに分割することができる。

【0197】

すなわち、モザイクサーバ２００は、各ピクセルイメージを予め設定された単位（例えば、１００×１００ブロックなど）に分割して単位セルの集合として構成することができる。

【0198】

次に、モザイクサーバ２００は、ディープラーニングニューラルネットワークを介して各ピクセルイメージの各単位セルの代表ファクタを決定できる。

【0199】

そして、モザイクサーバ２００は、各ピクセルイメージ別に取得される単位セルの代表ファクタ分布データを生成できる。

【0200】

続いて、モザイクサーバ２００は、生成されたピクセルイメージの代表ファクタ分布データと各ピクセルイメージ別に取得された単位セルの代表ファクタ分布データとを比較することができる。

【0201】

その後、モザイクサーバ２００は、比較の結果としてピクセルイメージの代表ファクタ分布データと各ピクセルイメージ別に取得された単位セルの代表ファクタ分布データとのマッチング率が予め設定された基準（例えば、所定の百分率等）以上に高いピクセルイメージを検出できる。

【0202】

そして、モザイクサーバ２００は、検出された少なくとも１つ以上のピクセルイメージを推薦ターゲットイメージとして決定することができる。

【0203】

また、推薦ターゲットイメージを決定したモザイクサーバ２００は、決定された推薦ターゲットイメージを、端末１００を介してユーザに提供することができる。

【0204】

そして、モザイクサーバ２００は、推薦ターゲットイメージをユーザに提供した後、端末１００を介して取得されるユーザのターゲットイメージ選択入力によってターゲットイメージを選定できる。

【0205】

また、モザイクサーバ２００は、前述と同様の方式にてサーバイメージに基づいた推薦ターゲットイメージを決定でき、決定されたサーバイメージに基づいた推薦ターゲットイメージを、端末１００を介してユーザに提供することができ、その後、端末１００を介して取得されるユーザのターゲットイメージ選択入力によってターゲットイメージを選定することもできる。

【0206】

このように、モザイクサーバ２００は、ユーザが選択したピクセルイメージに基づいてモザイクイメージとして生成するのに適したターゲットイメージを自動に検出して推薦することにより、選択されたピクセルイメージに基づいて完成度の高いモザイクイメージを生成できるターゲットイメージを提供でき、ユーザが選択するように導くことができる。

【0207】

次に、ピクセルイメージとターゲットイメージとを選定したモザイクサーバ２００は、選定されたピクセルイメージを用いて、選定されたターゲットイメージをモザイク化してモザイクイメージを生成できる（Ｓ２０９）。

【0208】

具体的に、モザイクサーバ２００は、モザイクイメージ生成部２４０を介してディープラーニングニューラルネットワーク及び／又はアースムーバーディスタンス（ＥＭＤ、ｅａｒｔｈ ｍｏｖｅｒ’ｓ ｄｉｓｔａｎｃｅ）を活用して、ターゲットイメージと複数
のピクセルイメージとに基づいたモザイクイメージを生成できる。

【0209】

実施形態として、モザイクサーバ２００は、ターゲットイメージの各単位セルの代表ファクタと最もマッチング度（すなわち、一致率）の高いピクセルイメージの代表ファクタを有する当該ピクセルイメージを当該単位セルにマッチングして挿入することができる。すなわち、ターゲットイメージの各単位セルとピクセルイメージとの間の全般的な色感及び／又は質感類似性を最大化するマッチング処理を行うことができる。

【0210】

このように、モザイクサーバ２００は、ターゲットイメージの各単位セルに適したピクセルイメージをマッチングしてモザイクイメージを生成することにより、ピクセルイメージを用いてターゲットイメージを高い類似度で表現する高品質のモザイクイメージを生成できる。

【0211】

次に、モザイクイメージを生成したモザイクサーバ２００は、生成されたモザイクイメージを端末１００に送信して出力することができる（Ｓ２１１）。

【0212】

具体的に、モザイクサーバ２００は、生成されたモザイクイメージを端末１００に送信することができ、モザイクサーバ２００からモザイクイメージを受信した端末１００は、受信されたモザイクイメージを、ディスプレイ部を介してグラフィックイメージとして出力してユーザに提供することができる。

【0213】

他の実施形態において、端末１００の制御部１６０がモザイクサーバ２００で行われるデータ処理の少なくとも一部を行ってモザイクイメージを生成できる。具体的に、端末１００の制御部１６０は、１）格納部１５０に格納されたユーザのイメージに対してタグを決定し、分類し、２）決定されたタグに基づいてカテゴリー別にイメージを分類した後、３）ピクセルイメージを選定し、４）選定されたピクセルイメージを基に生成するターゲットイメージを決定した後、５）選定されたピクセルイメージを用いて、選定されたターゲットイメージをモザイク化してモザイクイメージを生成し、６）生成されたモザイクイメージを、ディスプレイ部１４０を制御して出力することができる。

【0214】

このような制御部１６０がモザイクイメージを生成し、出力する一連の過程は、格納部１５０に格納されたモザイクイメージを生成するサービスを提供するためのプログラムを読み出して行われることができるであろう。

【0215】

さらに他の実施形態では、端末１００の制御部１６０が１〜６ステップのうち、少なくとも一部を行い、モザイクサーバ２００が残りのステップを行う実施形態も可能であろう。

【0216】

以上、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、イメージにタグ及び／又はカテゴリーをマッチングし、イメージにマッチングされたタグ及び／又はカテゴリーに基づいてユーザがイメージを分類・抽出・組み合わせてモザイクイメージを構成できるようにすることで、モザイクイメージを構成するピクセルイメージをユーザの要求に応じて便利に選択できるという効果がある。

【0217】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ユーザが選択したピクセルイメージに基づいてモザイクイメージとして生成するのに適したターゲットイメージを自動に検出して推薦することにより、選択されたピクセルイメージに基づいて完成度の高いモザイクイメージを生成できるターゲットイメージを提供でき、ユーザが選択するように導くことができる。

【0218】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ユーザが選択したターゲットイメージに基づいて生成しようとするモザイクイメージを構成するのに適したピクセルイメージを自動に選別して提供することにより、選択されたターゲットイメージを完成度の高いモザイクイメージとして生成できるピクセルイメージを容易に提供でき、選択されたターゲットイメージと関連性のあるピクセルイメージを用いたモザイクイメージの生成を補助できる。

【0219】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ディープラーニングニューラルネットワークを利用してイメージを分類・推薦・フィルタリング・生成することにより、イメージのタグに基づいてモザイクイメージを生成し、提供するサービスに必要なデータ処理を、人工知能を活用して早くかつ効率的に行うことができる。

【0220】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、イメージのタグを決定するときにユーザのフィードバックを収容することにより、人工知能的判断だけでなく、ユーザの認知的判断まで考慮してイメージのタグを決定できるという効果がある。

【0221】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、複数のタグを含むことができるカテゴリーを生成してイメージを分類することで、イメージをより体系的に管理することができ、ユーザのイメージ検索／選択過程がさらに効率的に動作されるようにすることができる。

【0222】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、カテゴリー別にモザイクイメージを生成するのに適したターゲットイメージを自動に検出して推薦することにより、カテゴリー別に含んでいるイメージに基づいて完成度の高いモザイクイメージを生成できるターゲットイメージを提供でき、ユーザが選択するように導くことができるという効果がある。

【0223】

また、本発明の実施形態に係るイメージのタグに基づいてモザイクイメージを生成し、提供する方法は、ディープラーニングニューラルネットワーク及び／又はアースムーバーディスタンス（ＥＭＤ、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ）を活用してモ
ザイクイメージを生成することにより、ピクセルイメージを用いてターゲットイメージを高い類似度で表現する高品質のモザイクイメージを生成できる。

【0224】

また、以上説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されることができる。コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールに変更されることができ、その逆も同様である。

【0225】

本発明において説明する特定事項等は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さをために、従来の電子的な構成、制御システム、ソフトウェア、システムの他の機能的な側面等の記載は省略されることができる。また、図面に図示された構成要素間の線等の連結または連結部材などは、機能的な連結及び／又は物理的または回路的連結を例示的に示したものであって、実際装置では、代替可能であるか、追加の様々な機能的な連結、物理的な連結、または回路連結として表されることができる。また、「必須な」、「重要に」などのように、具体的な言及がなければ、本発明の適用のために必ず必要な構成要素でない場合がある。

【0226】

また、説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させ得ることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により決められなければならないであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】