特開 2018-200721 生成装置、生成方法、及び生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-200721(P2018-200721A)

(43)【公開日】2018年12月20日

(54)【発明の名称】生成装置、生成方法、及び生成プログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20181122BHJP

   G06T 7/11 20170101ALI20181122BHJP

   H04N 1/387 20060101ALI20181122BHJP

【ＦＩ】

   G06T11/60 100D

   G06T7/11

   H04N1/387 110

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】22

(21)【出願番号】特願2018-159729(P2018-159729)

(22)【出願日】2018年8月28日

(62)【分割の表示】特願2016-7646(P2016-7646)の分割

【原出願日】2016年1月19日

(71)【出願人】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】小林 隼人

(72)【発明者】

【氏名】田頭 幸浩

(72)【発明者】

【氏名】茂木 哲矢

(72)【発明者】

【氏名】野口 正樹

(72)【発明者】

【氏名】星野 真吾

【テーマコード（参考）】

5B050

5C076

5L096

【Ｆターム（参考）】

5B050AA08

5B050BA06

5B050BA15

5B050BA18

5B050BA20

5B050CA07

5B050CA08

5B050EA03

5B050EA06

5B050EA19

5B050FA02

5B050FA05

5B050FA17

5B050GA08

5C076AA12

5L096DA01

5L096FA81

5L096GA59

5L096HA11

5L096JA11

(57)【要約】

【課題】画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成すること。
【解決手段】本願に係る生成装置は、取得部と、生成部とを有する。取得部は、対象物を含む画像と、画像に関連する文字情報として画像と同一のコンテンツに含まれた文字情報と、を取得する。生成部は、文字情報を用いて画像から抽出される情報であって、画像における対象物の領域に関する情報である特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。例えば、生成部は、画像における対象物の領域付近に関連情報を重畳させた重畳画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のコンテンツに含まれた文字情報と、を取得する取得部と、
前記文字情報を用いて前記画像から抽出される情報であって、前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、前記文字情報から生成された前記対象物に関連する関連情報を前記画像に重畳させた重畳画像を生成する生成部と、
を備えることを特徴とする生成装置。

【請求項2】

前記生成部は、
前記画像における前記対象物の領域付近に前記関連情報を重畳させた重畳画像を生成する
ことを特徴とする請求項１に記載の生成装置。

【請求項3】

前記生成部は、
前記対象物と、前記対象物を指示する前記関連情報とを含む前記重畳画像を生成する
ことを特徴とする請求項１または請求項２に記載の生成装置。

【請求項4】

前記生成部は、
前記画像における余白領域に前記関連情報を重畳させた重畳画像を生成する
ことを特徴とする請求項１〜３のいずれか１項に記載の生成装置。

【請求項5】

前記生成部は、
ユーザの指定に応じて所定の情報を出力させる前記関連情報を前記画像に重畳させた重畳画像を生成する
ことを特徴とする請求項１〜４のいずれか１項に記載の生成装置。

【請求項6】

前記生成部は、
前記関連情報として、前記対象物に関連する広告情報を前記画像に重畳させた重畳画像を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。

【請求項7】

コンピュータが実行する生成方法であって、
対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のコンテンツに含まれた文字情報と、を取得する取得工程と、
前記文字情報を用いて前記画像から抽出される情報であって、前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、前記文字情報から生成された前記対象物に関連する関連情報を前記画像に重畳させた重畳画像を生成する生成工程と、
を含むことを特徴とする生成方法。

【請求項8】

対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のコンテンツに含まれた文字情報と、を取得する取得手順と、
前記文字情報を用いて前記画像から抽出される情報であって、前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、前記文字情報から生成された前記対象物に関連する関連情報を前記画像に重畳させた重畳画像を生成する生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成装置、生成方法、及び生成プログラムに関する。

【背景技術】

【0002】

従来、画像に含まれる人等の対象物を認識する画像処理に関する技術が提供されている。例えば、人の顔が含まれる画像における両目間の距離に基づく画像処理に関する技術が提供されている。また、上記の技術を用いて、画像と画像に含まれる対象物に関連する情報（文字情報）とを含むコンテンツを生成する場合がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−１０８２０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができるとは限らない。例えば、画像と画像に含まれる対象物に関連する情報とを個別に表示するコンテンツでは、ユーザに画像に含まれる対象物とその対象物に関連する情報との関係を認識させることが難しい場合がある。

【0005】

本願は、上記に鑑みてなされたものであって、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る生成装置は、対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のコンテンツに含まれた文字情報と、を取得する取得部と、前記文字情報を用いて前記画像から抽出される情報であって、前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、前記文字情報から生成された前記対象物に関連する関連情報を前記画像に重畳させた重畳画像を生成する生成部と、を備えたことを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る生成処理の一例を示す図である。

【図2】図２は、実施形態に係る配信システムの構成例を示す図である。

【図3】図３は、実施形態に係る生成装置の構成例を示す図である。

【図4】図４は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。

【図5】図５は、実施形態に係る端末装置の構成例を示す図である。

【図6】図６は、実施形態に係る端末装置における表示の一例を示す図である。

【図7】図７は、実施形態に係る生成処理の一例を示すフローチャートである。

【図8】図８は、実施形態に係る関連情報の指定の一例を示す図である。

【図9】図９は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示す図である。

【図10】図１０は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示すフローチャートである。

【図11】図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

（実施形態）
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１に示す生成処理は、生成装置１００（図３参照）により実行される。図１では、生成装置１００は、画像に含まれる物体（オブジェクト）の位置（範囲）を示す特徴領域情報に基づいて、ユーザに注目させたい対象物に関する関連情報を画像に重畳させた重畳画像（コンテンツ）を生成する例を示す。具体的には、生成装置１００は、対象物を含む画像と文字情報に基づいて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像（コンテンツ）を生成する。

【0011】

図１に示す例では、画像ＩＭ１１と文字情報ＩＣ１１とを用いて重畳画像が生成される例を示す。図１中の画像ＩＭ１１は、帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧを身に着けたモデルＭＤを含む。また、図１中の文字情報ＩＣ１１は、画像ＩＭ１１に関する文章を含む。例えば、画像ＩＭ１１と文字情報ＩＣ１１とは、１つの記事に含まれる画像や文字情報であり、互いに関連する情報を含む。なお、図１では、画像ＩＭ１１中のバッグＢＧを対象物として重畳画像を生成する場合を示す。また、バッグＢＧは、有名ブランド○○のバッグであるものとする。

【0012】

まず、生成装置１００は、画像ＩＭ１１における特徴情報が含まれる領域に関する特徴領域情報ＦＲ１１を抽出する（ステップＳ１１）。例えば、生成装置１００は、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて、画像ＩＭ１１から対象物の領域に関する情報である特徴領域情報ＦＲ１１を抽出する。なお、生成装置１００は、サリエンシーディテクション（Saliency Detection）等の画像処理における種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域情報ＦＲ１１を抽出する。例えば、生成装置１００は、Ｒ−ＣＮＮ(Regions with Convolutional Neural Network)等の画像認識技術を用いた画像処理を適宜用いてもよい。また、生成装置１００は、画像処理の種々の従来手法等を適宜用いて、画像におけるオブジェクト（物体）の認識による情報の抽出を行ってもよい。

【0013】

図１では、生成装置１００は、特徴領域情報ＦＲ１１に示すように、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。例えば、特徴領域情報ＦＲ１１は、画像ＩＭ１１における各画素の特徴量を示す。具体的には、特徴領域情報ＦＲ１１の各位置は、画像ＩＭ１１に重畳させた場合に画像ＩＭ１１において重なる位置に対応し、特徴領域情報ＦＲ１１は、画像ＩＭ１１において対応する画素の特徴量を示す。なお、図１中の特徴領域情報ＦＲ１１では、特徴を示す領域を色が濃い態様で示す。すなわち、特徴領域情報ＦＲ１１では、特徴量が大きいほど色が濃い態様で表示される。具体的には、図１中の特徴領域情報ＦＲ１１では、画像ＩＭ１１において人（モデルＭＤ）の顔が位置する領域や、画像ＩＭ１１において帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧが位置する領域が色の濃い態様で示される。すなわち、図１では、生成装置１００は、対象物であるバッグが位置する領域ＡＲ１１（以下、「対象領域ＡＲ１１」とする場合がある）が色の濃い態様で示される。なお、対象領域ＡＲ１１は画像ＩＭ１１における所定の閾値以上の特徴量を含む領域であってもよい。例えば、対象領域ＡＲ１１は、画像ＩＭ１１における画素のうち、特徴量が所定の閾値以上の画素を含む領域に対応する。また、例えば、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１に含まれるオブジェクトを認識する。具体的には、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１に含まれる帽子や腕時計やバッグといったオブジェクトを認識する。

【0014】

また、生成装置１００は、対象物となるオブジェクトであるバッグＢＧに関連する関連情報を生成する（ステップＳ１２）。例えば、生成装置１００は、文字情報ＩＣ１１から抽出したトピックに基づいて、対象物となるオブジェクトであるバッグＢＧに関連する関連情報を生成する。この場合、生成装置１００は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報ＩＣ１１からトピックを抽出してもよい。例えば、生成装置１００は、文字情報ＩＣ１１を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報ＩＣ１１から重要なキーワードをトピックとして抽出してもよい。例えば、図１では、生成装置１００は、文字情報ＩＣ１１がファッションに関する文字情報であると判定し、ファッションに関するキーワードをトピックとして抽出してもよい。この場合、生成装置１００は、文字情報ＩＣ１１から「アイテム」、「ブランド○○」、「バッグ」、「最新作」等をトピックとして抽出してもよい。

【0015】

図１では、生成装置１００は、対象物となるオブジェクト「○○のバッグ」、すなわちバッグＢＧに関連する関連情報を生成する。例えば、生成装置１００は、文字列「ブランド○○の最新バッグ」を含む関連情報ＩＲ１１を生成する。具体的には、生成装置１００は、文字情報ＩＣ１１に含まれる文字列「○○のバッグの最新作が…」等に基づいて、バッグＢＧがブランド○○の最新バッグであると推定し、関連情報ＩＲ１１を生成する。

【0016】

そして、生成装置１００は、関連情報ＩＲ１１を画像ＩＭ１１に重畳させることにより、重畳画像ＩＳ１１を生成する（ステップＳ１３）。図１では、生成装置１００は、画像ＩＭ１１における対象物の領域付近に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。具体的には、生成装置１００は、画像ＩＭ１１における余白となる領域（以下、「余白領域」とする場合がある）に、バッグＢＧを指示する関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。なお、ここでいう余白領域とは、画像ＩＭ１１においてオブジェクトが含まれない領域であって、関連情報を重畳させても画像ＩＭ１１に含まれるオブジェクトの認識に影響が小さい領域をいう。

【0017】

また、生成装置１００は、種々の従来技術を適宜用いて、画像ＩＭ１１における余白領域を判定してもよい。例えば、生成装置１００は、特徴領域情報ＦＲ１１における特徴量が所定の閾値未満の領域に対応する画像ＩＭ１１中の領域を余白領域と判定してもよい。また、生成装置１００は、画像ＩＭ１１における領域内の最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。また、例えば、生成装置１００は、特徴領域情報ＦＲ１１における特徴量が所定の閾値未満の領域に対応する画像ＩＭ１１中の領域内において、最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。なお、上記は一例であって、生成装置１００は、関連情報を重畳させても画像ＩＭ１１に含まれるオブジェクトの認識に影響が小さい領域であれば、どのような基準に基づいて余白領域と判定してもよい。

【0018】

図１では、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左右両側に余白領域ＢＳ１１、ＢＳ１２が含まれると判定する。具体的には、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左側に余白領域ＢＳ１１が含まれ、画像ＩＭ１１中のモデルＭＤの右側に余白領域ＢＳ１２が含まれると判定する。

【0019】

ここで、図１では、余白領域ＢＳ１１に比べて余白領域ＢＳ１２は、画像ＩＭ１１において対象領域ＡＲ１１に対応する部分に近接して位置する。そのため、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ１２に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。具体的には、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ１２におけるバッグＢＧに近接する箇所（図１では下部）に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。

【0020】

上述したように、生成装置１００は、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。これにより、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。例えば、生成装置１００は、画像と画像に含まれる対象物に関連する情報とを個別に表示するコンテンツに比べて、対象物に関連する関連情報を画像に重畳させた重畳画像の場合、対象物を含む領域、すなわち画像においてユーザに注目させたい箇所をユーザに提示することができる。

【0021】

なお、図１では、１つの対象物に関する１つの関連情報を画像に表示する場合を示したが、生成装置１００は、画像における複数の対象物の各々に関する複数の関連情報を画像に重畳させた重畳画像を生成してもよい。例えば、生成装置１００は、画像における複数の対象物の各々に関する複数の関連情報を画像に重畳させた重畳画像を生成することにより、ファッション雑誌の表紙のような画像を生成してもよい。すなわち、生成装置１００は、画像における複数の対象物の各々に関する複数の関連情報を画像に重畳させた重畳画像を生成することにより、複数の対象物の位置に応じて複数の関連情報が適切に配置された重畳画像を生成してもよい。

【0022】

また、生成装置１００は、画像中の対象物付近に関連画像を重畳させて重畳画像を生成する。これにより、生成装置１００は、関連情報と対象物との関係をユーザが認識しやすい態様で表示される重畳画像（コンテンツ）を生成することができる。このように、生成装置１００は、対象物に関連する関連情報を対象物の付近に配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。また、生成装置１００は、対象物に関連する関連情報を、対象物を指示する表示態様で配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。また、生成装置１００は、画像中の余白領域を判定し、判定した余白領域に関連画像を重畳させて重畳画像を生成する。これにより、生成装置１００は、画像においてオブジェクトが含まれない領域に関連画像を重畳させて重畳画像を生成することができる。したがって、生成装置１００は、重畳させても画像に含まれるオブジェクトの認識率低下を抑制しつつ、関連情報を重畳させて重畳画像を生成することができる。

【0023】

また、図１では、関連情報ＩＲ１１が重畳画像ＩＳ１１に常時表示される場合を示したが、関連情報ＩＲ１１は所定の条件を満たす場合にのみ表示されてもよい。例えば、生成装置１００は、関連情報が表示された状態から非表示になったり、関連情報が非表示の状態から表示状態になったりする重畳画像を生成してもよい。すなわち、生成装置１００は、重畳画像として動的コンテンツを生成してもよい。例えば、生成装置１００は、重畳画像中の対象物が表示された領域に所定の操作が行われた場合、その対象物に関する関連情報が表示される重畳画像を生成してもよい。ここでいう、所定の操作には、マウスカーソルを対象物の上に重ねる操作、いわゆるマウスオーバーや、対象物へのクリックやタップなど、種々の操作が含まれる。また、生成装置１００は、オブジェクト（対象物や関連情報）を浮き立たせたり、オブジェクト（対象物や関連情報）の表示態様が定期的に変動したりする重畳画像を生成してもよい。これにより、生成装置１００は、オブジェクト（対象物や関連情報）をユーザが気づきやすくすることができる。すなわち、生成装置１００は、オブジェクト（対象物や関連情報）がユーザに認識されやすくすることができる。また、関連情報は、文字情報に限らず、画像情報や動画情報等の種々の情報であってもよい。例えば、重畳画像が表示された端末装置１０（図２参照）において、対象物であるバッグがマウスオーバーされた場合、端末装置１０は、関連情報と共にバッグ単体の写真をスライドショーしたり、マウスで動かせる３Ｄ（３次元）モデルを表示したりしてもよい。このように、端末装置１０は、オブジェクト（対象物や関連情報）の表示態様を変動させたり、対象物に関する種々の情報を表示したりしてもよい。

【0024】

また、上述した例においては、対象物を含む画像と文字情報に基づいて画像から特徴領域情報を抽出する場合を説明したが、生成装置１００は、画像のみに基づいて画像から特徴領域情報を抽出してもよい。この場合、生成装置１００は、外部のデータベース等の所定の記憶手段に記憶された対象物に関連する情報を関連情報として、画像に重畳させた重畳画像（コンテンツ）を生成してもよい。また、生成装置１００は、関連情報として、対象物に関連する広告情報を画像に重畳させた重畳画像を生成してもよい。

【0025】

図１では、例えば、生成装置１００は、関連情報として、バッグＢＧに関する広告情報を画像に重畳させた重畳画像を生成してもよい。これにより、実施形態に係る生成装置１００は、画像に含まれる対象物と対象物に関連する広告とを適切にユーザに認識させるコンテンツを生成することができる。したがって、生成装置１００は、広告効果の高いコンテンツを生成することができ、広告効果を向上させることができる。

【0026】

また、上述した例においては、対象物であるバッグＢＧを指示する関連情報ＩＲ１１が吹き出しのような形状で表示される場合を示したが、関連情報ＩＲ１１は、ユーザが対象物であるバッグＢＧを認識する確率を高めることができれば、どのような態様であってもよい。また、生成装置１００は、余白領域の形状やサイズに応じて、関連情報の表示態様を変更してもよい。例えば、生成装置１００は、余白領域の形状に合わせた形状で関連情報を表示してもよい。また、例えば、生成装置１００は、余白領域のサイズに合わせたサイズで関連情報を表示してもよい。この場合、生成装置１００は、余白領域のサイズに合わせた関連情報の各文字のフォントサイズを変更してもよい。

【0027】

また、例えば、生成装置１００は、余白領域の色に応じて、関連情報の表示態様を変更してもよい。例えば、生成装置１００は、余白領域の色が白である場合、関連情報を白以外の色で表示してもよい。例えば、生成装置１００は、余白領域の色が白である場合、関連情報の文字を黒で表示し、文字を囲む部分（図１では吹き出し部分）を黄色で表示してもよい。また、例えば、生成装置１００は、余白領域の色の補色を用いて関連情報を表示してもよい。これにより、生成装置１００は、関連情報をユーザが認識する確率を高めることができる。

【0028】

〔２．配信システムの構成〕
図２に示すように、配信システム１は、端末装置１０と、提供元端末５０と、生成装置１００とが含まれる。端末装置１０と、提供元端末５０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図２は、実施形態に係る配信システムの構成例を示す図である。なお、図２に示した配信システム１には、複数台の端末装置１０や、複数台の提供元端末５０や、複数台の生成装置１００が含まれてもよい。

【0029】

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。

【0030】

提供元端末５０は、文字情報や画像等のコンテンツの提供元によって利用される情報処理装置である。例えば、文字情報や画像等のコンテンツの提供元は、提供元端末５０により、図４に示すような文字情報や画像を生成装置１００へ提供する。

【0031】

生成装置１００は、画像から抽出される情報であって、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する情報処理装置である。また、本実施形態において生成装置１００は、生成した組合せコンテンツを端末装置１０へ配信するコンテンツ配信サービスを提供する。

【0032】

〔３．生成装置の構成〕
次に、図３を用いて、実施形態に係る生成装置１００の構成について説明する。図３は、実施形態に係る生成装置１００の構成例を示す図である。図３に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0033】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。

【0034】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、コンテンツ情報記憶部１２１を有する。

【0035】

（コンテンツ情報記憶部１２１）
実施形態に係るコンテンツ情報記憶部１２１は、コンテンツに関する各種情報を記憶する。図４に、実施形態に係るコンテンツ情報記憶部１２１の一例を示す。図４に示すコンテンツ情報記憶部１２１は、「コンテンツＩＤ」、「文字情報」、「画像」、「画像ＩＤ」、「提供元ＩＤ」といった項目を有する。

【0036】

「コンテンツＩＤ」は、コンテンツを識別するための識別情報を示す。「文字情報」は、対応するコンテンツに含まれる文字情報を示す。また、「画像」は、対応するコンテンツに含まれる画像を示す。図４では、説明のため画像ＩＤにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。「画像ＩＤ」は、画像を識別するための識別情報を示す。例えば、画像ＩＤ「ＩＭ１１」により識別される画像は、図１の例に示した画像ＩＭ１１に対応する。また、「提供元ＩＤ」は、コンテンツの提供元を識別するための識別情報を示す。

【0037】

例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１１」により識別されるコンテンツＡＴ１１は、文字情報「２０ＸＸ年、春のトレンドファッションアイテム…」と画像ＩＤ「ＩＭ１１」により識別される画像ＩＭ１１を含むコンテンツＡＴ１１であることを示す。また、コンテンツＩＤ「ＡＴ１１」により識別されるコンテンツＡＴ１１は、提供元ＩＤ「ＣＰ１１」により識別される提供元から取得したコンテンツＡＴ１１であることを示す。

【0038】

また、例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１２」により識別されるコンテンツは、文字情報「日本代表サッカー選手××は、…」と画像ＩＤ「ＩＭ１２」により識別される画像を含むコンテンツであることを示す。また、コンテンツＩＤ「ＡＴ１２」により識別されるコンテンツは、提供元ＩＤ「ＣＰ１２」により識別される提供元から取得したコンテンツであることを示す。

【0039】

なお、コンテンツ情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、コンテンツ情報記憶部１２１は、コンテンツのカテゴリに関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツを取得した日時やコンテンツが作成された日時に関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツの文字情報における重要なキーワードやトピックに関する情報を記憶してもよい。また、コンテンツ情報記憶部１２１中の画像は、画像の提供元や画像に関する権利（著作権等）を有する第三者から、画像への加工、すなわち二次加工に関する許諾が得られていることが判断（確認)され、管理（記憶）されているものとする。

【0040】

（制御部１３０）
図３の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0041】

図３に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、判定部１３３と、生成部１３４と、配信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

【0042】

（取得部１３１）
取得部１３１は、対象物を含む画像を取得する。例えば、取得部１３１は、コンテンツ情報記憶部１２１から画像を取得する。また、取得部１３１は、画像に関連する文字情報を取得する。例えば、取得部１３１は、コンテンツ情報記憶部１２１から文字情報を取得する。また、取得部１３１は、画像に関連する関連情報を取得してもよい。例えば、取得部１３１は、外部の情報処理装置から画像に関連する関連情報を取得してもよい。

【0043】

また、取得部１３１は、端末装置１０からコンテンツの配信要求を取得する。また、取得部１３１は、外部の情報処理装置からコンテンツ情報記憶部１２１に記憶されるコンテンツを取得する。この場合、例えば、取得部１３１は、提供元端末５０からコンテンツを取得する。また、取得部１３１は、コンテンツにおけるトピックに関する情報を取得してもよい。例えば、取得部１３１は、コンテンツにおけるトピックに関する指定をコンテンツの提供元から取得してもよい。この場合、例えば、取得部１３１は、提供元端末５０からコンテンツにおけるトピックに関する指定を取得する。

【0044】

（抽出部１３２）
抽出部１３２は、画像における特徴情報が含まれる領域に関する特徴領域情報を抽出する。例えば、抽出部１３２は、画像と文字情報とに基づいて、画像から対象物の領域に関する情報である特徴領域情報を抽出する。なお、抽出部１３２は、サリエンシーディテクション等の画像処理における種々の従来手法を適宜用いて、画像における特徴領域情報を抽出する。例えば、抽出部１３２は、Ｒ−ＣＮＮ等の画像認識技術を用いた画像処理を適宜用いてもよい。また、抽出部１３２は、画像処理等の種々の従来手法を適宜用いて、画像におけるオブジェクト（物体）の認識による情報の抽出を行ってもよい。図１では、抽出部１３２は、特徴領域情報ＦＲ１１に示すように、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。

【0045】

また、抽出部１３２は、対象物となるオブジェクトであるバッグＢＧに関連する関連情報を生成する。例えば、抽出部１３２は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報からトピックを抽出してもよい。例えば、抽出部１３２は、文字情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報から重要なキーワードをトピックとして抽出してもよい。

【0046】

（判定部１３３）
判定部１３３は、種々の従来技術を適宜用いて、画像における余白領域を判定する。例えば、判定部１３３は、特徴領域情報における特徴量が所定の閾値未満の領域に対応する画像中の領域を余白領域と判定してもよい。また、判定部１３３は、画像における領域内の最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。また、例えば、判定部１３３は、特徴領域情報における特徴量が所定の閾値未満の領域に対応する画像中の領域内において、最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。なお、上記は一例であって、判定部１３３は、関連情報を重畳させても画像に含まれるオブジェクトの認識に影響が小さい領域であれば、どのような基準に基づいて余白領域と判定してもよい。

【0047】

図１では、判定部１３３は、画像ＩＭ１１中のモデルＭＤの左右両側に余白領域ＢＳ１１、ＢＳ１２が含まれると判定する。具体的には、判定部１３３は、画像ＩＭ１１中のモデルＭＤの左側に余白領域ＢＳ１１が含まれ、画像ＩＭ１１中のモデルＭＤの右側に余白領域ＢＳ１２が含まれると判定する。

【0048】

また、判定部１３３は、種々の従来技術を適宜用いて、画像に含まれるオブジェクトを判定してもよい。例えば、判定部１３３は、画像処理等の種々の従来手法を適宜用いて、画像におけるオブジェクト（物体）の判定を行ってもよい。図１では、判定部１３３は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１にオブジェクトとしてモデルＭＤ、帽子ＨＴ、腕時計ＷＴ、バッグＢＧ等が含まれると判定する。

【0049】

（生成部１３４）
生成部１３４は、画像から抽出される情報であって、画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。また、生成部１３４は、文字情報を用いて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。

【0050】

生成部１３４は、画像における対象物の領域付近に関連情報を重畳させた重畳画像を生成する。また、生成部１３４は、対象物と対象物を指示する関連情報とを含む重畳画像を生成する。また、生成部１３４は、画像における余白領域に関連情報を重畳させた重畳画像を生成する。生成部１３４は、関連情報として、対象物に関連する広告情報を画像に重畳させた重畳画像を生成する。

【0051】

また、生成部１３４は、文字情報から抽出したトピックに基づいて、対象物となるオブジェクトに関連する関連情報を生成する。例えば、生成部１３４は、対象物となるオブジェクトに関連する関連情報を生成する。例えば、生成部１３４は、文字情報から抽出したトピックに基づいて、対象物となるオブジェクトに関連する関連情報を生成する。この場合、生成部１３４は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報からトピックを抽出してもよい。例えば、生成部１３４は、文字情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報から重要なキーワードをトピックとして抽出してもよい。

【0052】

図１では、生成部１３４は、対象物となるオブジェクト「○○のバッグ」、すなわちバッグＢＧに関連する関連情報を生成する。例えば、生成部１３４は、文字列「ブランド○○の最新バッグ」を含む関連情報ＩＲ１１を生成する。具体的には、生成部１３４は、文字情報ＩＣ１１に含まれる文字列「○○のバッグの最新作が…」等に基づいて、バッグＢＧがブランド○○の最新バッグであると推定し、関連情報ＩＲ１１を生成する。

【0053】

また、生成部１３４は、関連情報を画像に重畳させることにより、重畳画像（コンテンツ）を生成する。図１では、生成部１３４は、画像ＩＭ１１における対象物の領域付近に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。具体的には、生成部１３４は、画像ＩＭ１１における余白領域ＢＳ１２の下部に、バッグＢＧを指示する関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。

【0054】

（配信部１３５）
配信部１３５は、生成部１３４により生成された重畳画像（コンテンツ）を端末装置１０へ配信する。また、配信部１３５は、コンテンツ情報記憶部１２１に記憶されたコンテンツを端末装置１０へ配信してもよい。

【0055】

〔４．端末装置の構成〕
次に、図５を用いて、実施形態に係る端末装置１０の構成について説明する。図５は、実施形態に係る端末装置１０の構成例を示す図である。図５に示すように、端末装置１０は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５とを有する。

【0056】

（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、生成装置１００との間で情報の送受信を行う。

【0057】

（記憶部１２）
記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、端末装置１０にインストールされているアプリケーションに関する情報、例えばプログラム等を記憶する。

【0058】

（入力部１３）
入力部１３は、ユーザからの各種操作を受け付ける。例えば、入力部１３は、タッチパネル機能により表示面（例えば表示部１５３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１３は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。例えば、入力部１３は、ユーザによる重畳画像に含まれる関連情報の指定を受け付ける。

【0059】

（出力部１４）
出力部１４は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。

【0060】

（制御部１５）
制御部１５は、例えば、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶部１２などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、インストールされているアプリケーションのプログラムが含まれる。また、制御部１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0061】

図５に示すように、制御部１５は、送信部１５１と、受信部１５２と、表示部１５３とを有し、以下に説明する生成処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図５に示した構成に限られず、後述する生成処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。

【0062】

送信部１５１は、各種情報を外部の情報処理装置へ送信する。送信部１５１は、入力部１３により受け付けたユーザ操作に従って、生成装置１００へコンテンツの配信要求を送信する。例えば、送信部１５１は、アプリからの配信要求を生成装置１００へ送信する。

【0063】

受信部１５２は、各種情報を外部の情報処理装置から受信する。受信部１５２は、生成装置１００から配信された重畳画像を受信する。具体的には、受信部１５２は、生成装置１００により生成された重畳画像を含むコンテンツを受信する。例えば、受信部１５２は、重畳画像ＩＳ１１を含むウェブページＷ１０（図６参照）を受信する。

【0064】

表示部１５３は、受信部１５２により受信されたコンテンツを表示する。例えば、表示部１５３は、受信部１５２により受信された重畳画像ＩＳ１１を含むウェブページＷ１０（図６参照）を表示する。

【0065】

なお、上述した制御部１５による表示処理等の処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などにより実現されてもよい。また、上述した表示処理が所定のアプリケーションにより行われる場合や表示処理が専用アプリにより行われる場合、制御部１５は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。

【0066】

〔５．組合せコンテンツの表示例〕
次に、図６を用いて、実施形態に係る端末装置１０における重畳画像を含むコンテンツの表示について説明する。図６は、実施形態に係る端末装置における表示の一例を示す図である。図６では、端末装置１０が生成装置１００から重畳画像ＩＳ１１を含むウェブページＷ１０を受信した場合を示す。図６では、端末装置１０が、重畳画像ＩＳ１１を含むファッションサイトＡのウェブページＷ１０を表示する例を示す。このように、生成装置１００が生成した重畳画像ＩＳ１１は端末装置１０においてコンテンツとして表示される。すなわち、生成装置１００は、画像中の対象物であるバッグ付近に関連画像ＩＲ１１を重畳させて表示させる重畳画像ＩＳ１１を端末装置１０へ配信する。これにより、生成装置１００は、関連情報と対象物との関係をユーザが認識しやすい態様で表示される重畳画像（コンテンツ）を端末装置１０に表示させることができる。

【0067】

〔６．生成処理フロー〕
次に、図７を用いて、実施形態に係る配信システム１におけるコンテンツの生成処理について説明する。図７は、実施形態に係る生成処理の一例を示すフローチャートである。

【0068】

まず、図７に示す例において、生成装置１００は、画像と画像に対応する文字情報を取得する（ステップＳ１０１）。例えば、生成装置１００は、画像をコンテンツ情報記憶部１２１から取得する。また、例えば、生成装置１００は、画像に関連する文字情報をコンテンツ情報記憶部１２１から取得する。

【0069】

そして、生成装置１００は、画像から特徴領域情報を抽出する（ステップＳ１０２）。また、生成装置１００は、画像中の余白領域を判定する（ステップＳ１０３）。

【0070】

その後、生成装置１００は、画像に含まれるオブジェクトに関する関連情報を文字情報から生成する（ステップＳ１０４）。例えば、生成装置１００は、画像に含まれる対象物であるオブジェクトに関する関連情報を文字情報から生成する。また、生成装置１００は、関連情報を重畳可能な余白領域を判定する（ステップＳ１０５）。例えば、生成装置１００は、関連情報を重畳可能な大きさを有する余白領域を判定する。

【0071】

そして、生成装置１００は、画像に関連情報を重畳した重畳画像を生成する（ステップＳ１０６）。例えば、生成装置１００は、ステップＳ１０６において判定した余白領域に関連情報を重畳した重畳画像を生成する。

【0072】

〔７．関連情報の指定による出力〕
生成装置１００は、ユーザの指定に応じて所定の情報を出力させる関連情報を画像に重畳させた重畳画像を生成してもよい。この点について、図８を用いて説明する。図８は、実施形態に係る関連情報の指定の一例を示す図である。具体的には、図８は、重畳画像ＩＳ１１に含まれる関連情報ＩＲ１１がユーザにより指定された場合に、対象物「○○のバッグ」に関する音声ＩＶ１１を出力する場合を示す。

【0073】

図８に示す例において、端末装置１０を利用するユーザは、端末装置１０に表示された関連情報ＩＲ１１を押下する（ステップＳ１５）。これにより、端末装置１０を利用するユーザは、指Ｆ１でタッチすることにより、関連情報ＩＲ１１を指定する。

【0074】

そして、ユーザによる指定を受け付けた端末装置１０は、対象物「○○のバッグ」に関する音声ＩＶ１１を出力する（ステップＳ１６）。具体的には、端末装置１０は、対象物「○○のバッグ」に関する情報をスピーカから音声として出力する。これにより、生成装置１００は、端末装置１０を利用するユーザに対象物「○○のバッグ」を認識させることができる。

【0075】

なお、ユーザの指定に基づく出力は、音声による出力に限らず、端末装置１０を利用するユーザの対象物を認識する確率を高めることができれば、どのような態様であってもよい。例えば、関連情報ＩＲ１１がユーザにより指定された場合に、端末装置１０は、対象物「○○のバッグ」に関する動画情報を出力してもよい。また、例えば、関連情報ＩＲ１１がユーザにより指定された場合に、端末装置１０は、対象物「○○のバッグ」の拡大画像を表示してもよい。また、例えば、関連情報ＩＲ１１がユーザにより指定された場合に、端末装置１０は、対象物「○○のバッグ」に関する所定のサイトを表示してもよい。

【0076】

〔８．オブジェクト情報を用いた生成処理〕
上述した例においては、生成装置１００が対象物を含む画像と文字情報に基づいて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像（コンテンツ）を生成する場合を示した。しかしながら、生成装置１００は、画像から対象物の特徴領域情報を抽出し、抽出した特徴領域情報からオブジェクトを判定してもよい。この点について、図９及び図１０を用いて説明する。図９は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示す図である。

【0077】

図９に示す例では、画像ＩＭ１１と文字情報ＩＣ１１とを用いて重畳画像が生成される例を示す。図９中の画像ＩＭ１１は、帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧを身に着けたモデルＭＤを含む。また、図９中の文字情報ＩＣ１１は、画像ＩＭ１１に関する文章を含む。例えば、画像ＩＭ１１と文字情報ＩＣ１１とは、１つの記事に含まれる画像や文字情報であり、互いに関連する情報を含む。なお、図９では、画像ＩＭ１１中の腕時計ＷＴを対象物として重畳画像を生成する場合を示す。また、腕時計ＷＴは、ブランド△△の腕時計であるものとする。

【0078】

まず、生成装置１００は、画像ＩＭ１１における特徴情報が含まれる領域に関する特徴領域情報ＦＲ２１を抽出する（ステップＳ２１）。例えば、生成装置１００は、画像ＩＭ１１のみに基づいて、画像ＩＭ１１から対象物の領域に関する情報である特徴領域情報ＦＲ２１を抽出する。図９では、生成装置１００は、特徴領域情報ＦＲ２１に示すように、画像ＩＭ１１のみに基づいて、画像ＩＭ１１における特徴領域を抽出する。なお、図９中の特徴領域情報ＦＲ２１では、特徴を示す領域を色が濃い態様で示す。すなわち、特徴領域情報ＦＲ２１では、特徴量が大きいほど色が濃い態様で表示される。具体的には、図９中の特徴領域情報ＦＲ２１では、画像ＩＭ１１において人（モデルＭＤ）の顔が位置する領域や、画像ＩＭ１１において帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧが位置する領域が色の濃い態様で示される。すなわち、図９では、生成装置１００は、対象物である腕時計が位置する領域ＡＲ２１（以下、「対象領域ＡＲ２１」とする場合がある）が色の濃い態様で示される。なお、対象領域ＡＲ２１は画像ＩＭ１１における所定の閾値以上の特徴量を含む領域であってもよい。また、図９の例では、特徴領域情報ＦＲ２１は、図１に示す特徴領域情報ＦＲ１１と比較して、モデルＭＤの顔の領域が他の領域よりも特徴量が大きくなる。

【0079】

そして、生成装置１００は、特徴領域情報ＦＲ２１に基づいて画像ＩＭ１１に含まれるオブジェクトを判定する（ステップＳ２２）。具体的には、生成装置１００は、画像ＩＭ１１中に人（モデルＭＤ）、帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧが含まれると判定する。例えば、生成装置１００は、Ｒ−ＣＮＮ等の画像認識技術を用いた画像処理を適宜用いてもよい。また、生成装置１００は、画像処理等の種々の従来手法を適宜用いて、画像におけるオブジェクト（物体）の判定を行ってもよい。

【0080】

ステップＳ２２におけるオブジェクト判定により、生成装置１００は、オブジェクト一覧ＯＪ２１に示すように、画像ＩＭ１１中には、モデルＭＤであるオブジェクト「モデル××」や、腕時計ＷＴであるオブジェクト「△△の腕時計」や、バッグＢＧであるオブジェクト「○○のバッグ」等が含まれると判定する。

【0081】

そして、生成装置１００は、対象物となるオブジェクトである腕時計ＷＴに関連する関連情報を生成する（ステップＳ２３）。この場合、生成装置１００は、オブジェクト情報ＤＢ１０に格納された腕時計ＷＴに関連する情報に基づいて、腕時計ＷＴに関連する関連情報を生成する。例えば、オブジェクト情報ＤＢ１０は生成装置１００外に設けられてもよい。例えば、オブジェクト情報ＤＢ１０は外部の情報処理装置が有してもよい。この場合、生成装置１００は、オブジェクト情報ＤＢ１０を有する外部の情報処理装置に腕時計ＷＴを指定する情報を送信することにより、外部の情報処理装置から腕時計ＷＴに関する情報を取得してもよい。

【0082】

図９に示す例においては、生成装置１００は、オブジェクト情報ＤＢ１０を有する外部の情報処理装置に腕時計ＷＴを指定する情報を送信することにより、外部の情報処理装置から腕時計ＷＴの発売日が「Ｘ月Ｙ日」であることを示す情報を取得した場合を示す。

【0083】

生成装置１００は、対象物となるオブジェクト「△△の腕時計」、すなわち腕時計ＷＴに関連する関連情報を生成する。例えば、図９では、生成装置１００は、オブジェクト情報ＤＢ１０を有する外部の情報処理装置から取得した腕時計ＷＴの発売日「Ｘ月Ｙ日」に基づいて、文字列「Ｘ月Ｙ日発売△△の腕時計」を含む関連情報ＩＲ２１を生成する。

【0084】

そして、生成装置１００は、関連情報ＩＲ２１を画像ＩＭ１１に重畳させることにより、重畳画像ＩＳ２１を生成する（ステップＳ２４）。図９では、生成装置１００は、画像ＩＭ１１における対象物の領域付近に関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。具体的には、生成装置１００は、画像ＩＭ１１における余白領域に、腕時計ＷＴを指示する関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。

【0085】

図９では、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左右両側に余白領域ＢＳ２１、ＢＳ２２が含まれると判定する。具体的には、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左側に余白領域ＢＳ２１が含まれ、画像ＩＭ１１中のモデルＭＤの右側に余白領域ＢＳ２２が含まれると判定する。

【0086】

ここで、図９では、余白領域ＢＳ２２に比べて余白領域ＢＳ２１は、画像ＩＭ１１において対象領域ＡＲ２１に対応する部分に近接して位置する。そのため、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ２１に関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。具体的には、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ２１における腕時計ＷＴに近接する箇所（図９では上部）に関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。このように、生成装置１００は、オブジェクト情報を用いて関連情報を生成することにより、ユーザに訴求効果の高い関連情報を含む重畳画像を生成することができる。

【0087】

〔９．オブジェクト情報を用いた生成処理フロー〕
次に、図１０を用いて、実施形態に係る配信システム１におけるオブジェクト情報を用いたコンテンツの生成処理について説明する。図１０は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示すフローチャートである。

【0088】

まず、図１０に示す例において、生成装置１００は、画像と画像に対応する文字情報を取得する（ステップＳ２０１）。例えば、生成装置１００は、画像をコンテンツ情報記憶部１２１から取得する。また、例えば、生成装置１００は、画像に関連する文字情報をコンテンツ情報記憶部１２１から取得する。

【0089】

そして、生成装置１００は、画像から特徴領域情報を抽出する（ステップＳ２０２）。また、生成装置１００は、画像中の余白領域を判定する（ステップＳ２０３）。そして、生成装置１００は、画像と抽出した特徴領域から画像に含まれるオブジェクトを判定する（ステップＳ２０４）。

【0090】

その後、生成装置１００は、画像に含まれるオブジェクトに関する関連情報を文字情報から生成する（ステップＳ２０５）。例えば、生成装置１００は、ステップＳ２０４において判定されたオブジェクトに関する関連情報を文字情報から生成する。また、生成装置１００は、関連情報を重畳可能な余白領域を判定する（ステップＳ２０６）。例えば、生成装置１００は、関連情報を重畳可能な大きさを有する余白領域を判定する。

【0091】

そして、生成装置１００は、画像に関連情報を重畳した重畳画像を生成する（ステップＳ２０７）。例えば、生成装置１００は、ステップＳ２０７において判定した余白領域に関連情報を重畳した重畳画像を生成する。

【0092】

〔１０．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３４とを有する。取得部１３１は、対象物を含む画像を取得する。生成部１３４は、画像から抽出される情報であって、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。

【0093】

これにより、実施形態に係る生成装置１００は、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。これにより、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。例えば、生成装置１００は、画像と画像に含まれる対象物に関連する情報とを個別に表示するコンテンツに比べて、対象物に関連する関連情報を画像に重畳させた重畳画像の場合、対象物を含む領域、すなわち画像においてユーザに注目させたい箇所をユーザに提示することができる。

【0094】

また、実施形態に係る生成装置１００において、取得部１３１は、画像に関連する文字情報を取得する。生成部１３４は、文字情報を用いて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。

【0095】

これにより、実施形態に係る生成装置１００は、文字情報を用いて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させることにより、より適切な位置に適切な内容の関連情報を配置することができる。したがって、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。

【0096】

また、実施形態に係る生成装置１００において、生成部１３４は、画像における対象物の領域付近に関連情報を重畳させた重畳画像を生成する。

【0097】

これにより、実施形態に係る生成装置１００は、対象物に関連する関連情報を対象物の付近に配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。したがって、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。

【0098】

また、実施形態に係る生成装置１００において、生成部１３４は、対象物と対象物を指示する関連情報とを含む重畳画像を生成する。

【0099】

これにより、実施形態に係る生成装置１００は、対象物に関連する関連情報を、対象物を指示する表示態様で配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。したがって、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。

【0100】

また、実施形態に係る生成装置１００において、生成部１３４は、画像における余白領域に関連情報を重畳させた重畳画像を生成する。

【0101】

これにより、実施形態に係る生成装置１００は、画像中の余白領域を判定し、判定した余白領域に関連画像を重畳させて重畳画像を生成する。これにより、生成装置１００は、画像においてオブジェクトが含まれない領域に関連画像を重畳させて重畳画像を生成することができる。したがって、生成装置１００は、重畳させても画像に含まれるオブジェクトの認識率低下を抑制しつつ、関連情報を重畳させて重畳画像を生成することができる。このように、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。

【0102】

また、実施形態に係る生成装置１００において、生成部１３４は、ユーザの指定に応じて所定の情報を出力させる関連情報を画像に重畳させた重畳画像を生成する。

【0103】

これにより、実施形態に係る生成装置１００は、端末装置１０を利用するユーザが対象物を認識する確率を高めることができる。生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。

【0104】

また、実施形態に係る生成装置１００において、生成部１３４は、関連情報として、対象物に関連する広告情報を画像に重畳させた重畳画像を生成する。

【0105】

これにより、実施形態に係る生成装置１００は、画像に含まれる対象物と対象物に関連する広告とを適切にユーザに認識させるコンテンツを生成することができる。したがって、生成装置１００は、広告効果の高いコンテンツを生成することができ、広告効果を向上させることができる。

【0106】

〔１１．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0107】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0108】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

【0109】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

【0110】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0111】

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

【0112】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0113】

〔１２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0114】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0115】

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0116】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0117】

１ 配信システム
１００ 生成装置
１２１ コンテンツ情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 抽出部
１３３ 判定部
１３４ 生成部
１３５ 配信部
１０ 端末装置
１５１ 送信部
１５２ 受信部
１５３ 表示部
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】