(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】情報処理装置、画像生成方法、プログラム
(51)【国際特許分類】
G06Q 30/0241 20230101AFI20240709BHJP
G06Q 50/10 20120101ALI20240709BHJP
G06T 11/80 20060101ALI20240709BHJP
G09F 19/00 20060101ALI20240709BHJP
【FI】
G06Q30/0241
G06Q50/10
G06T11/80 F
G09F19/00 Z
(21)【出願番号】P 2020115970
(22)【出願日】2020-07-03
【審査請求日】2023-05-11
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】武田 貴文
【審査官】樋口 龍弥
(56)【参考文献】
【文献】特開2020-013552(JP,A)
【文献】特開2018-180654(JP,A)
【文献】特開2018-156419(JP,A)
【文献】特開2016-081199(JP,A)
【文献】特開2017-129999(JP,A)
【文献】特開2019-045931(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G06T 11/80
G09F 19/00
(57)【特許請求の範囲】
【請求項1】
前面レイヤーと背景広域画像レイヤーとを有する画像を生成する情報処理装置であって、
前記前面レイヤー及び前記背景広域画像レイヤーへのコンテンツの配置パターンが優先順位に対応づけて登録された第一の記憶手段と、
前記前面レイヤーと
前記背景広域画像レイヤーに配置されるコンテンツの内容と前記画像の作成の指示を受け付ける受付部と、
前記受付部が受け付けた前記コンテンツの内容に適合する前記配置パターンを、前記優先順位にしたがって特定し、前記前面レイヤー及び前記背景広域画像レイヤーに前記コンテンツを配置する画像生成処理部と、
前記画像生成処理部が生成した前記画像を表示する表示制御部と、を有
し、
前記第一の記憶手段には、前記コンテンツの種類とカテゴリに対応づけて前記コンテンツの配置のパターンが登録されており、
前記画像生成処理部は、前記コンテンツの内容として前記受付部が受け付けた前記コンテンツの種類と前記カテゴリに適合する前記配置パターンを、前記優先順位にしたがって特定することを特徴とする情報処理装置。
【請求項2】
前記コンテンツの種類は、文字又はオブジェクト画像、前記カテゴリはキャッチコピー、説明文、又は、透過のあり若しくはなしであることを特徴とする請求項
1に記載の情報処理装置。
【請求項3】
前記画像生成処理部は、前記優先順位を前記画像の生成回数に応じて減少させ、前記優先順位にしたがって特定された前記配置パターンにおいて前記前面レイヤーと前記背景広域画像レイヤーへのコンテンツの配置を所定の確率に応じて入れ替えることを特徴とする請求項
1又は2に記載の情報処理装置。
【請求項4】
前記第一の記憶手段が記憶する前記配置パターンは、前記前面レイヤーへ配置される前記コンテンツの数、及び、前記背景広域画像レイヤーへ配置される前記コンテンツの数、を有し、
前記画像生成処理部は、前記コンテンツの内容に適合する前記配置パターンにしたがって、前記前面レイヤー及び前記背景広域画像レイヤーに前記数の前記コンテンツを配置することを特徴とする請求項1~
3のいずれか1項に記載の情報処理装置。
【請求項5】
前記コンテンツは、文字、オブジェクト画像、及び、広域画像の1つ以上を有し、
前記第一の記憶手段が記憶する前記配置パターンは、前記前面レイヤーへ配置される前記文字又は前記オブジェクト画像の数、及び、前記背景広域画像レイヤーへ配置される前記オブジェクト画像、及び、前記広域画像の数、を有することを特徴とする請求項
4に記載の情報処理装置。
【請求項6】
前記背景広域画像レイヤーには広域画像として全天球画像が配置され、
前記第一の記憶手段において前記背景広域画像レイヤーに配置される前記コンテンツの配置パターンには、緯度、経度、FOV(Field Of View)、距離、又は、地面からの高さ情報が登録されていることを特徴とする請求項
4又は5に記載の情報処理装置。
【請求項7】
前記コンテンツに関する情報は識別情報に対応づけて第二の記憶手段に記憶されており、
前記表示制御部は、前記識別情報の入力欄と前記画像の作成個数の入力欄を表示し、
前記受付部は、前記識別情報の入力欄への前記識別情報の入力と前記画像の作成個数の入力欄への前記作成個数の入力を受け付け、
前記画像生成処理部は、前記識別情報で特定される前記コンテンツが前記配置パターンで配置された前記画像を前記作成個数だけ生成することを特徴とする請求項1~
6のいずれか1項に記載の情報処理装置。
【請求項8】
前記画像は、ネットワークに接続された端末装置に配信されるバナー広告であることを特徴とする請求項1~
7のいずれか1項に記載の情報処理装置。
【請求項9】
前記表示制御部は、前記カテゴリごとの前記コンテンツの数の入力を受け付ける画面を表示し、
前記受付部は、前記カテゴリごとの前記コンテンツの数の入力を受け付け、
前記表示制御部は、前記前面レイヤーに配置される前記コンテンツの数、及び、前記背景広域画像レイヤーに配置される前記コンテンツの数の入力を受け付ける画面を表示し、
前記受付部は、前記前面レイヤーに配置される前記コンテンツの数、及び、前記背景広域画像レイヤーに配置される前記コンテンツの数を、前記カテゴリごとの前記コンテンツの数と矛盾しない範囲で受け付けることを特徴とする請求項
1に記載の情報処理装置。
【請求項10】
前面レイヤーと背景広域画像レイヤーとを有する画像を生成する情報処理装置が行う画像生成方法であって、
受付部が、前記前面レイヤーと
前記背景広域画像レイヤーに配置されるコンテンツと前記画像の作成の指示を受け付けるステップと、
画像生成処理部が、前記前面レイヤー及び前記背景広域画像レイヤーへのコンテンツの配置パターンが優先順位に対応づけて登録された第一の記憶手段から、前記受付部が受け付けた前記コンテンツの内容に適合する前記配置パターンを、前記優先順位にしたがって特定し、前記前面レイヤー及び前記背景広域画像レイヤーに前記コンテンツを配置するステップと、
表示制御部が、前記画像生成処理部が生成した前記画像を表示するステップと、を有
し、
前記第一の記憶手段には、前記コンテンツの種類とカテゴリに対応づけて前記コンテンツの配置のパターンが登録されており、
前記画像生成処理部は、前記コンテンツの内容として前記受付部が受け付けた前記コンテンツの種類と前記カテゴリに適合する前記配置パターンを、前記優先順位にしたがって特定することを特徴とする画像生成方法。
【請求項11】
前面レイヤーと背景広域画像レイヤーとを有する画像を生成する情報処理装置に、
前記前面レイヤーと
前記背景広域画像レイヤーに配置されるコンテンツと前記画像の作成の指示を受け付ける受付ステップと、
前記前面レイヤー及び前記背景広域画像レイヤーへのコンテンツの配置パターンが優先順位に対応づけて登録された第一の記憶手段から、前記受付ステップで受け付けた前記コンテンツの内容に適合する前記配置パターンを、前記優先順位にしたがって特定し、前記前面レイヤー及び前記背景広域画像レイヤーに前記コンテンツを配置する画像生成処理ステップと、
前記画像生成処理ステップで生成された前記画像を表示する表示ステップと、を実行させる
プログラムであって、
前記第一の記憶手段には、前記コンテンツの種類とカテゴリに対応づけて前記コンテンツの配置のパターンが登録されており、
前記画像生成処理ステップでは、前記コンテンツの内容として前記受付ステップにより受け付けられた前記コンテンツの種類と前記カテゴリに適合する前記配置パターンを、前記優先順位にしたがって特定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、画像生成方法、及び、プログラムに関する。
【背景技術】
【0002】
インターネットに接続した端末装置に広告用のサーバからバナー広告を配信する技術が知られている。バナー広告とは、画像やアニメーション等によって表現する広告の総称である。バナー広告では、あらかじめ決められたサイズ内でリンク付きの画像等を端末装置が表示し、ユーザーがクリックすることで広告主のWebサイトへ誘導されるようになっている。
【0003】
バナー広告の作成を支援する技術が知られている(例えば、特許文献1参照)。特許文献1には、広告主がバナー広告の作成指示を行い、バナー広告作成情報からバナー広告を作成する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、バナー広告等の画像をバナー広告作成ユーザーが作成しなければならないという問題があった。すなわち、バナー広告作成ユーザーにはスポンサーからバナー広告作成情報(文字情報、ロゴ、オブジェクト画像(商品・キャラクター)、平面画像、乃至、全天球画像等のコンテンツ)が提供される。バナー広告作成ユーザーはバナー広告作成情報からいくつかのコンテンツを選び出し、前面レイヤーと背景広域画像レイヤーへの配置を変えることで、広域画像にコンテンツが配置された複数のパターンのバナー広告を作成することができる。
【0005】
しかし、スポンサーが提供するバナー広告作成情報と要望が事前にわからないため、バナー広告作成ユーザーは、クリック率が高くなると予想される、前面レイヤーと背景広域画像レイヤーへのコンテンツの配置を都度、考え、手作業でバナー広告の作成を行っていた。このため、バナー広告作成情報からクリック率が高いバナー広告をつくるのに時間を要している。
【0006】
本発明は、上記課題に鑑み、バナー広告等に使用される画像を作成する情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題に鑑み、本発明は、前面レイヤーと背景広域画像レイヤーとを有する画像を生成する情報処理装置であって、前記前面レイヤー及び前記背景広域画像レイヤーへのコンテンツの配置パターンが優先順位に対応づけて登録された第一の記憶手段と、前記前面レイヤーと背景広域画像レイヤーに配置されるコンテンツの内容と前記画像の作成の指示を受け付ける受付部と、前記受付部が受け付けた前記コンテンツの内容に適合する前記配置パターンを、前記優先順位にしたがって特定し、前記前面レイヤー及び前記背景広域画像レイヤーに前記コンテンツを配置する画像生成処理部と、前記画像生成処理部が生成した前記画像を表示する表示制御部と、を有し、前記第一の記憶手段には、前記コンテンツの種類とカテゴリに対応づけて前記コンテンツの配置のパターンが登録されており、前記画像生成処理部は、前記コンテンツの内容として前記受付部が受け付けた前記コンテンツの種類と前記カテゴリに適合する前記配置パターンを、前記優先順位にしたがって特定することを特徴とする。
【発明の効果】
【0008】
バナー広告等に使用される画像を作成する情報処理装置を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】撮像装置の左側面図、正面図、平面図の一例を示す図である。
【
図3】撮像装置で撮像された半球画像(前)、半球画像(後)、正距円筒図法により表された画像を示した図である。
【
図4】正距円筒射影画像で球を被う状態を示した概念図、全天球画像を示した図である。
【
図5】全天球画像を三次元仮想空間における立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【
図6】所定領域情報と所定領域Tの画像との関係を示した図である。
【
図7】球座標による三次元ユークリッド空間内の点を示した図である。
【
図8】三次元ユークリッド空間内の点のオイラー角による回転を示した図である。
【
図9】全天球画像データのデータ構造を説明する図の一例である。
【
図10】バナー広告の構成を説明する図の一例である。
【
図11】画像処理システムの一例を示す概略図である。
【
図12】撮像装置のハードウエア構成の一例を示す図である。
【
図13】バナー広告作成システムのハードウエア構成の一例を示す図である。
【
図14】バナー広告作成システムの機能をブロックに分けて説明する機能ブロック図の一例である。
【
図15】優先順位付き配置レイヤー情報管理DBに記憶されている情報の概念図である。
【
図16】前面レイヤー配置情報管理DBに記憶されている情報の概念図である。
【
図17】背景広域画像レイヤー配置情報管理DBに記憶されている情報の概念図である。
【
図18】バナー広告作成情報管理DBに記憶されている情報の概念図である。
【
図19】バナー広告作成文字情報管理DBに記憶されている情報の概念図である。
【
図20】バナー広告作成オブジェクト画像情報管理DBに記憶されている情報の概念図である。
【
図21】バナー広告広域画像情報管理DBに記憶されている情報の概念図である。
【
図22】配置入れ替え情報管理DBに記憶されている情報の概念図である。
【
図23】優先順位付き配置レイヤー情報入力画面の概念図である。
【
図24】前面レイヤー配置情報入力画面の概念図である。
【
図25】背景広域画像レイヤー配置情報入力画面の概念図である。
【
図26】バナー広告作成情報が入力される場合に表示されるいくつかの画面の概念図である。
【
図27】配置入れ替え情報入力画面の概念図である。
【
図29】バナー広告作成システムが優先順位付き配置レイヤー情報の入力を受け付けるシーケンス図の一例である。
【
図30】バナー広告作成システムがバナー広告作成情報の入力を受け付けるシーケンス図の一例である。
【
図31】バナー広告作成システムが入れ替え情報の入力を受け付けるシーケンス図の一例である。
【
図32】バナー広告作成ユーザーがバナー広告の作成をバナー広告作成システムに指示するシーケンス図の一例である。
【
図33】レイヤー画像生成処理部が行う処理を説明するフローチャート図の一例である。
【
図34】前面レイヤー画像生成処理部が行う処理を説明するフローチャート図の一例である。
【
図35】背景広域画像レイヤー画像生成処理部の処理を説明するフローチャート図の一例である。
【
図36】バナー広告生成処理部の処理を説明するフローチャート図の一例である。
【発明を実施するための形態】
【0010】
以下、発明を実施するための形態の一例として、バナー広告作成システムとバナー広告作成システムが行う画像生成方法について図面を参照しながら説明する。
【0011】
●実施形態の概略●
本実施形態のバナー広告作成システムは、広域画像として全天球画像を使ったバナー広告であって、事前に「優先順位付き配置レイヤー情報」、「前面レイヤー配置情報」及び「背景広域画像レイヤー配置情報」を、クリック率が高くなるような配置パターンを知っている配置情報登録ユーザーが登録しておく。クライアントであるバナー広告作成ユーザーが複数のバナー広告作成情報(コンテンツ)をバナー広告作成システムに登録すると、「優先順位付き配置レイヤー情報」、「前面レイヤー配置情報」、及び、「背景広域画像レイヤー配置情報」をバナー広告作成システムが突き合わせ、クリック率が高い広域画像を使ったバナー広告画像を短時間で複数作成することができる。したがって、バナー広告作成情報(コンテンツ)が変わってもクリック率の高いバナー広告が作成可能になる。
【0012】
●用語について●
レイヤーとは画像を重ねて生成する場合に1つの画像が配置される層である。前面レイヤーはユーザーの手前側のレイヤーであり、背景広域画像レイヤーはユーザーから見て後ろ側のレイヤーである。
【0013】
コンテンツとはレイヤーに配置される画像の要素である。例えば、文字と画像がある。文字には更に文字とキャッチコピーがあり、画像には更に、ロゴ、商品・キャラクター、平面画像、全天球画像等がある。本実施形態ではコンテンツをオブジェクトという場合がある。コンテンツの内容とはコンテンツがどの要素を有しているかを言う。
【0014】
本実施形態作成される画像はバナー広告以外に使用されてもよい。例えば、Webページに表示される画像の作成など、任意の画像の生成方法に利用できる。
【0015】
●全天球画像の生成方法●
図1乃至
図8を用いて、全天球画像の生成方法について説明する。
【0016】
まず、
図1を用いて、撮像装置10の外観を説明する。撮像装置10は、全天球(360°)パノラマ画像の元になる撮像画像を得るためのデジタルカメラである。
図1(a)は撮像装置の左側面図であり、
図1(b)は撮像装置の正面図であり、
図1(c)は撮像装置の平面図である。
【0017】
図1(a)に示されているように、撮像装置10は、人間が片手で持つことができる大きさである。また、
図1(a),
図1(b),
図1(c)に示されているように、撮像装置10の上部には、正面側(前側)に撮像素子103aおよび背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮像が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、
図1(b)に示されているように、撮像装置10の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
【0018】
次に、
図2を用いて、撮像装置10の使用状況を説明する。
図2は、撮像装置の使用イメージ図である。撮像装置10は、
図2に示されているように、例えば、ユーザーが手に持ってユーザーの周りの被写体を撮像するために用いられる。この場合、
図1に示されている撮像素子103aおよび撮像素子103bによって、それぞれユーザーの周りの被写体が撮像されることで、二つの半球画像を得ることができる。
【0019】
次に、
図3および
図4を用いて、撮像装置10で撮像された画像から全天球画像が作成されるまでの処理の概略を説明する。
図3(a)は撮像装置で撮像された半球画像(前側)、
図3(b)は撮像装置で撮像された半球画像(後側)、
図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。
図4(a)は正距円筒射影画像で球を被う状態を示した概念図、
図4(b)は全天球画像を示した図である。
【0020】
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、
図3(b)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮像装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、
図3(c)に示されているような正距円筒射影画像ECが作成する。
【0021】
そして、撮像装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)を利用することで、
図4(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、
図4(b)に示されているような全天球画像CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像CEは、静止画であっても動画であってもよい。
【0022】
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置10は、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、
図5および
図6を用いて説明する。
【0023】
図5は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザーの視点の位置に相当するものである。
【0024】
図5では、
図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。所定領域Tの画像である所定領域画像Qは、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。所定領域画像Qは、初期設定(デフォルト)された所定領域情報(表示パラメータ)によって表される。
【0025】
以下では、仮想カメラICの撮像方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域(X,Y,Z)によって示してもよい。
【0026】
図6を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、
図6は、所定領域情報と所定領域Tの画像との関係を示した図である。
図6に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮像方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CPとなるように変更される。
図6に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CPが、所定領域情報の(x,y)パラメータとなる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CPまでの距離である。Lは、所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、
図6では、一般的に以下の式(1)で示される三角関数が成り立つ。
【0027】
【0028】
なお、上記で説明した撮像装置10は、広角画像を取得可能な撮像装置の一例であり、全天球画像は、広角画像の一例である。ここで、広角画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。また、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズで、撮像された画像を意味する。
【0029】
図7は、球座標による三次元ユークリッド空間内の点を示した図である。ここで、中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。
図7は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ,φ)を用いて説明する。
【0030】
図8は、三次元ユークリッド空間内の点のオイラー角による回転を示した図である。
図8は、
図7に示されている中心点CPを、オイラー角によって回転させた場合の例を示す。ここで、オイラー角による回転は、ZXYオーダーで行われるため、中心点CPの位置座標は、球面極座標系から変換されたXYZ座標系を用いて表現される。
【0031】
位置座標(x',y',z')は、三次元ユークリッド空間内の位置座標(x,y,z)をZ軸周りに角度β回転させた後の座標である。また、位置座標(x,y,z)と回転後の位置座標(x',y',z')との関係は、以下の式(2)の関係式となる。
【0032】
【0033】
また、位置座標(x'',y'',z'')は、三次元ユークリッド空間内の位置座標(x',y',z')をY軸周りに角度γ回転させた後の座標である。また、位置座標(x',y',z')と回転後の位置座標(x'',y'',z'')との関係は、以下の式(3)の関係式となる。
【0034】
【0035】
さらに、回転後の全天球画像に所定の描画が行われた場合、描画像の回転後の位置座標(x'',y'',z'')から回転前の位置座標(x,y,z)に戻す計算が行われる。座標(x,y,z)は、上記式(3)、式(2)の順番で逆算することによって算出される。また、以下の式(4)の関係式を用いて、算出された位置座標(x,y,z)を三次元ユークリッド空間内の座標(θ,φ)に変換することで、描画像の位置に対応する
図7に示されているCP(r,θ,φ)のθとφが算出される。
【0036】
【0037】
●全天球画像の画像データの構造●
図9は本実施形態で用いられる全天球画像データのデータ構造(フォーマット)を説明する図である。
図9(a)に示すように、全天球画像データは、天頂方向に対応する垂直角度θと、天頂方向の軸周りの回転角に対応する水平角度φとを座標とした画素値の配列として表現される。 全天球画像は、
図7に示したように、撮像されたシーンの天頂方向を軸とした垂直角度(緯度経度座標における緯度)および、天頂方向の軸周りの水平角度(緯度経度座標における経度)で構成される座標系で表現されるものとする。垂直角度θは、-90度~+90度の範囲となり、水平角度φは、-180度~+180度の範囲となる。
【0038】
全天球フォーマットの各座標値(θ,φ)は、
図9(b)に示すように、撮像地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮像された撮像画像の平面座標と、全天球画像データの球面上の座標とは、上述した射影関数で座標変換を施すことによって対応付けされる。
【0039】
なお、以下の説明では、全天球画像データの
図9(a)に示す二次元座標は、
図9(a)において点線の軸で示すように、左下原点の座標系である。そして、以下の説明では、二次元座標は、0~水平方向の画素数に応じた範囲の水平角度値xと、0~垂直方向の画素数に応じた範囲の垂直角度値yに変換して取り扱うものとする。例えば1/10度刻みで画素を構成すると、水平角度値xは、0~3599の範囲となり、垂直角度値yは、0~1800の範囲となる。水平角度値xと水平角度yとの関係および垂直角度値yと水平角度φとの関係は、式(5)で表される。
【0040】
【0041】
式(5)のwおよびhは、それぞれ、全天球画像フォーマットの画像幅(例えば3600画素)および画像高さ(例えば1801画素)に対応する。
【0042】
そして、
図9(a)に示す全天球画像の二次元座標(x,y)と、
図9(b)に示す全天球の表面のユークリッド空間の三次元座標(xs,ys,zs)との間の関係は、式(6)で計算される。
図9(b)に示す三次元座標は、右手系であり、球体の中心を原点とし、rは半径を表す。
【0043】
【0044】
2つの撮像素子103a、103bで撮像された2つの画像(撮像画像Aおよび撮像画像B)は1つの全天球画像に合成される。画像合成された全天球画像は、所定のフォーマットで、内蔵メモリまたは外部記録媒体に保存される。全天球画像が保存されるファイル・フォーマットは、ビットマップなどの無圧縮の静止画像であってもよいし、JPEG(Joint Photographic Experts Group)、GIF(Graphics Interchange Format)、PNG(Portable Network Graphics)などの圧縮形式の静止画像としてもよい。全天球画像は、さらに他の実施形態では、MPEG(Moving Picture Experts Group)やAVI(Audio Video Interleave)などの動画像におけるフレーム画像として含まれてもよい。なお、以下に説明する実施形態では、全天球画像は、静止画像であるとして説明する。
【0045】
図9(c)は、仮想カメラ、オブジェクト画像、及び、
図9(a)の緯度θの関係を表した図である。オブジェクト画像は全天球画像に重ねられる平面画像である。立体球CSに描画されている全天球画像の撮像時の地面からの仮想カメラICの高さをhi(高さ情報)とする。オブジェクト画像obは高さと幅を持った平面画像である。このオブジェクト画像obが仮想カメラICから距離dsの地面に配置されたものとする。このとき、オブジェクト画像obの上端と下端の緯度θ',θ''は下記の式で計算される(なお、仮想カメラICの光軸方向を0とする)。このθ',θ''が、
図9(c)の矩形のオブジェクト画像obが
図9(a)のEquirectangularの形式に投影された場合の、元の矩形のオブジェクト画像obの左上コーナーのθ',右下コーナーのθ''となる。
θ' = tan
-1 (地面からの高さhi - obの高さ)/距離ds)
θ'' = tan
-1 (-1 * obの高さ)/ 距離ds)
図9(d)は、仮想カメラIC、オブジェクト画像、及び、
図9(a)の経度φの関係を表した図である。仮想カメラICとオブジェクト画像obの幅から、
図9(a)の経度φ', φ''は下記の式で計算される。
φ' = tan
-1 ((obの幅/2)/距離ds)
Φ'' = tan
-1 (-1* (obの幅/2)/距離ds)
図9(c)の上端かつ
図9(d)の左端の座標は(θ', φ'),
図9(c)の下端かつ
図9(d)の右端の座標は(θ'', φ'')となる。
【0046】
●バナー広告の構成●
図10は本実施形態で用いられるバナー広告の構成を説明する図である。本実施形態のバナー広告は、広域画像として全天球画像を使用する。
図10(a)は、前面レイヤー401の一例である。バナー広告作成情報のオブジェクト(例えば文字又は画像などのコンテンツ)が前面レイヤー401に配置された場合、オブジェクトは固定され、オブジェクト以外の部分は透過する前面レイヤー画像が生成され、描画される。
【0047】
図10(b)は背景広域画像レイヤー402の一例である。全天球画像データの所定領域Tがディスプレイの全体やウィンドウ内に描画される。後述するバナー広告作成システムはバナー広告作成情報のオブジェクトを補正し、全天球画像に描画する。
【0048】
なお、全天球画像に描画する方法には、(i)正距円筒図法(Equirectangular)によって得られた画像(正距円筒射影画像)を用いて、二次元平面上に全天球画像の全体を表示させながら描画を行う方法、(ii)全天球画像を球体の内側に貼り付け、球体内部に配置した仮想カメラを用いて矩形画像を作り出す透視投影する方法、(iii)三次元モデルを全天球画像に配置する方法、がある。正距円筒図法によって得られた画像に所定の二次元画像(人物キャラクタ等)を配置する場合は、三次元モデルを前提としているか、又は、二次元画像を用いた場合は、撮像装置の高さに対して二次元画像が十分に遠い場所に配置されていることを前提としている。上記の補正とは、例えば、正距円筒射影画像の赤道から遠ざかるほど透視投影画像の歪み度を強くする処理を行うことをいう。
【0049】
バナー広告閲覧ユーザーがマウスでオブジェクトを描画した全天球画像を上下・左右に動かした場合、Webブラウザ上で動作するスクリプトが緯度・経度方向に全天球画像を回転させ、所定領域Tが更新される。
【0050】
図10(c)は前面レイヤー401と背景広域画像レイヤー402を重ね合わせて生成されたバナー広告403の概念図である。バナー広告閲覧ユーザーがマウスで上下・左右にバナー広告を動かす操作を行った場合、背景広域画像レイヤー402上のオブジェクトをWebブラウザ上で動作するスクリプトが回転させ描画する。前面レイヤー401は固定されたまま動かない。したがって、前面レイヤー401は商品名などの広告を常に表示できる。また、背景広域画像レイヤー402は回転するので、ユーザーに動きのある広告が提供される。
【0051】
●画像処理システムの概略●
続いて、
図11を用いて、本実施形態の画像処理システム1の構成の概略について説明する。
図11は、実施形態に係る画像処理システム1の一例を示す概略図である。
図11に示す画像処理システム1は、撮像装置10によって取得された撮像画像である全天球画像に対して、所定の描画像の入力を行うことができるシステムである。
【0052】
図11に示されているように、本実施形態の画像処理システム1は、撮像装置10およびバナー広告作成システム600を有している。撮像装置10とバナー広告作成システム600は、通信ネットワークを介して通信可能でも直接、接続されていてもよい。通信ネットワークは、インターネットまたはLAN(Local Area Network)等を用いた通信網である。なお、通信ネットワークは、ファイアウォールを介して、インターネットとイントラネットが接続された通信網であってもよい。また、通信ネットワークの接続形態は、無線または有線のいずれであってもよい。
【0053】
撮像装置10は、上述のように、被写体や風景等を撮像して全天球画像の元になる二つの半球画像を得るための特殊なデジタルカメラである。
【0054】
バナー広告作成システム600は、撮像装置10から取得された画像(静止画または動画)に対する画像処理を行う情報処理装置である。バナー広告作成システム600は、通信ネットワークを介して、撮像装置10によって撮像された撮像画像である全天球画像を受信する。バナー広告作成システム600には、所定のアプリケーションがインストールされており、バナー広告作成システム600のバナー広告作成ユーザー601と配置情報登録ユーザー602は、撮像装置10から取得された全天球画像に対する描画を行うことができる。なお、バナー広告作成システム600は、例えば、携帯電話またはタブレット端末等であってもよい。
【0055】
バナー広告作成システム600は全天球画像を使用して又は他の広角画像を使用して、バナー広告を作成する。バナー広告作成ユーザー601と配置情報登録ユーザー602は、バナー広告作成システム600の後述するディスプレイ508に表示されるユーザーインターフェースをマウス512とキーボード511を操作し、メディア506、CD-RW513又はネットワークI/F509から情報を登録する。
【0056】
バナー広告作成ユーザー601と配置情報登録ユーザー602は、ネットワークI/F経由でバナー広告作成システム600のユーザーインターフェースを操作してもよい。
【0057】
また、
図11に示されている端末および装置の接続関係は一例であり、他の例であってもよい。例えば、撮像装置10とバナー広告作成システム600は、近距離無線通信またはUSB(Universal Serial Bus)ケーブル等を用いて通信ネットワーク9を介さずに直接接続されてもよい。また、撮像装置10は、スマートフォン等のルータ機能を有する通信端末を介して、通信ネットワーク9と接続することで、バナー広告作成システム600と通信を行う構成であってもよい。さらに、画像処理システム1は、通信ネットワーク9を介して、撮像装置10およびバナー広告作成システム600と通信可能なサーバ装置を備える構成であってもよい。この場合、サーバ装置は、バナー広告作成システム600と連携して所定のアプリケーションの処理を行う。
【0058】
●ハードウエア構成●
次に、
図12および
図13を用いて、画像処理システム1を構成する各装置または端末のハードウエア構成を説明する。なお、
図12および
図13に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
【0059】
●撮像装置のハードウエア構成
まず、
図12を用いて、撮像装置10のハードウエア構成を説明する。
図12は、実施形態に係る撮像装置のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
【0060】
図12に示されているように、撮像装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118およびネットワークI/F119によって構成されている。 このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102b(以下区別する必要のないときは、レンズ102と称する。)と、各レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。
【0061】
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105および音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118およびネットワークI/F119等も接続される。
【0062】
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、
図3(c)に示されているような正距円筒射影画像のデータを作成する。
【0063】
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
【0064】
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置10によっては、ディスプレイ(例えば、バナー広告作成システム600のディスプレイ508)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0065】
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
【0066】
CPU111は、撮像装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113およびDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0067】
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザーは操作部115を操作することで、種々の撮像モードや撮像条件等を入力する。
【0068】
入出力I/F116は、SDカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
【0069】
近距離通信回路117は、撮像装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)またはWi-Fi(登録商標)等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
【0070】
電子コンパス118は、地球の磁気から撮像装置10の方位および傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時および画像データのデータ容量の各データも含まれている。ネットワークI/F119は、ルータ等を介して、インターネット等の通信ネットワーク9を利用したデータ通信を行うためのインターフェースである。
【0071】
●バナー広告作成システムCのハードウエア構成
次に、
図13を用いて、バナー広告作成システム600のハードウエア構成を説明する。
図13は、実施形態に係るバナー広告作成システム600のハードウエア構成の一例を示す図である。なお、バナー広告作成システム600は、PC(Personal Computer)、タブレット端末、スマートフォン、又は、サーバ装置など一般的なコンピュータによって構築されている。バナー広告作成システム600は、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)505、メディアドライブ507およびディスプレイ508を備えている。
【0072】
CPU501は、バナー広告作成システム600全体の動作を制御する。CPU501は、ROM502等に格納されたプログラムまたはデータをRAM503上に読み出し、処理を実行することで、バナー広告作成システム600の各機能を実現する演算装置である。ROM502は、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HDD505は、CPU501の制御にしたがってHD504に対する各種データの読み出し、または書き込みを制御する。HD504は、プログラム等の各種データを記憶する。メディアドライブ507は、フラッシュメモリ等の記録メディア506に対するデータの読み出し、または書き込み(記憶)を制御する。ディスプレイ508は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。
【0073】
また、バナー広告作成システム600は、ネットワークI/F509、キーボード511、マウス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、音入出力I/F515、マイク516、スピーカ517および外部機器接続I/F518を備えている。
【0074】
ネットワークI/F509は、通信ネットワーク9を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し等を制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。また、DVD-RWドライブ514は、ブルーレイディスクに対する各種データの読み出しまたは書き込みを制御するブルーレイドライブ、またはCD-RW(Compact Disc-ReWritable)等に対する各種データの読み出しまたは書き込みを制御するCD-RWドライブであってもよい。
【0075】
マイク516は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F515は、CPU501の制御に従ってマイク516およびスピーカ517との間で音信号の入出力を処理する回路である。外部機器接続I/F518は、各種の外部機器を接続するためのインターフェースである。外部機器接続I/F518は、例えば、ディスプレイ508上にタッチペン520や利用者の手等が接触したことを検知する接触センサとしての機能を有する。外部機器接続I/Fは、接触センサとしての機能により、ディスプレイ508上でタッチペン520が接触した位置に対応する座標の入力および検出を行う。タッチペン520は、ディスプレイ508上に所定の描画を行う外部入力手段の一例である。近距離通信回路519は、NFC、Bluetooth(登録商標)またはWi-Fi等の近距離無線通信技術によって外部装置と通信可能を行うための通信回路である。
【0076】
また、バナー広告作成システム600は、バスライン510を備えている。バスライン510は、
図13に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0077】
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、バナー広告作成システム600は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。
【0078】
●機能に関して●
続いて、
図14を参照してバナー広告作成システム600の機能について説明する。
図14はバナー広告作成システム600の機能をブロックに分けて説明する機能ブロック図の一例である。バナー広告作成システム600は通信部70、受付部71、表示制御部72、記憶・読出部73、メモリ部80、レイヤー画像生成処理部81、背景広域画像レイヤー画像生成処理部82、前面レイヤー画像生成処理部83、及び、バナー広告生成処理部84を有している。
【0079】
バナー広告作成システム600が有するこれら各機能部は、
図13に示された各構成要素のいずれかが、HD504からRAM503に展開されたプログラムに従ったCPU501からの命令により動作することで実現される機能又は手段である。
【0080】
通信部70は、主に、
図13に示されているCPU501、RAM503及びネットワークI/F509によって実現され、ネットワークI/F509を経由してバナー広告作成ユーザー601と配置情報登録ユーザー602が操作する端末装置に画面情報を送信する。また、バナー広告作成ユーザー601と配置情報登録ユーザー602が端末装置に入力した情報を受信する。ただし、バナー広告作成ユーザー601と配置情報登録ユーザー602がバナー広告作成システム600を直接操作する場合がある。
【0081】
受付部71は、主に、
図13に示されているCPU501、RAM503、ネットワークI/F509、キーボード511、マウス512、メディア506、CD-RW513及びHDD505によって実現され、バナー広告作成ユーザー601と配置情報登録ユーザー602が入力するバナー広告作成情報、優先順位付き配置レイヤー情報及びバナー広告作成指示を受け付ける処理部である。
【0082】
表示制御部72は、主に、
図13に示されているCPU501、RAM503及びディスプレイ508によって実現され、ディスプレイ508にユーザーインターフェースを表示し、バナー広告作成ユーザー601と配置情報登録ユーザー602からの指示と操作に対応して表示内容を制御する。
【0083】
記憶・読出部73は、主に、
図13に示されているCPU501の処理によって実現され、記憶部1000に各種データ(または情報)を記憶したり、記憶部1000から各種データ(または情報)を読み出したりする機能である。
【0084】
メモリ部80は、主に、
図13に示されているCPU501とRAM503の処理によって実現され、受付部71から受け付けたバナー広告作成情報とバナー作成指示と、前面レイヤー画像生成処理部83で生成された画像と、背景広域画像レイヤー画像生成処理部82で生成された画像と、バナー広告生成処理部84で生成したバナー画像を一時的に記憶する機能である。
【0085】
レイヤー画像生成処理部81は、主に、
図13に示されているCPU501とRAM503との処理によって実現され、優先順位付き配置レイヤー情報管理DB1001から取得した優先順位付き配置レイヤー情報を、前面レイヤー画像生成処理部83と背景広域画像レイヤー画像生成処理部82に割り振る。
【0086】
前面レイヤー画像生成処理部83は、主に、
図13に示されているCPU501とRAM503との処理によって実現され、前面レイヤー配置情報管理DB1002、バナー広告作成情報管理DB1004、バナー広告作成文字情報管理DB1005、バナー広告作成オブジェクト画像情報管理DB1006、及び、バナー指示情報から前面レイヤー画像を生成する処理部である。
【0087】
背景広域画像レイヤー画像生成処理部82は、主に、
図13に示されているCPU501とRAM503との処理によって実現され、背景広域画像レイヤー配置情報管理DB1003、バナー広告作成情報管理DB1004、バナー広告作成文字情報管理DB1005、バナー広告作成オブジェクト画像情報管理DB1006、バナー広告広域画像情報管理DB1007、及び、バナー指示情報から背景広域画像レイヤー画像を生成する処理部である。
【0088】
バナー広告生成処理部84は、主に、
図13に示されているCPU501とRAM503との処理によって実現され、前面レイヤー画像生成処理部83で生成された前面レイヤー画像と背景広域画像レイヤー画像生成処理部82で生成された背景広域画像レイヤー画像からバナー広告を作成する処理部である。
【0089】
優先順位付き配置レイヤー情報管理DB1001は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、配置情報登録ユーザー602が受付部71から入力した優先順位付き配置レイヤー情報を管理テーブルに記憶する。
【0090】
前面レイヤー配置情報管理DB1002は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、配置情報登録ユーザー602が受付部71から入力した前面レイヤー配置情報を管理テーブルに記憶する。
【0091】
背景広域画像レイヤー配置情報管理DB1003は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、配置情報登録ユーザー602が受付部71から入力した背景広域画像レイヤー配置情報を管理テーブルに記憶する。
【0092】
バナー広告作成情報管理DB1004は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、バナー広告作成ユーザー601が受付部71から入力したバナー広告作成情報を管理テーブルに記憶する。
【0093】
バナー広告作成文字情報管理DB1005は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、バナー広告作成ユーザー601が受付部71から入力した文字情報を管理テーブルに記憶する。
【0094】
バナー広告作成オブジェクト画像情報管理DB1006は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、バナー広告作成ユーザー601が受付部71から入力したオブジェクト画像情報を管理テーブルに記憶する。
【0095】
バナー広告広域画像情報管理DB1007は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、バナー広告作成ユーザー601が受付部71から入力した広域画像情報を管理テーブルに記憶する。
【0096】
配置入れ替え情報管理DB1008は、主に、
図13に示されているCPU501、RAM503及びHDD505との処理によって実現され、バナー広告作成ユーザー601が受付部71から入力した配置入れ替え情報管理情報を管理テーブルに記憶する。
【0097】
●記憶部に記憶されている情報
図15は、優先順位付き配置レイヤー情報管理DB1001に記憶されている情報の概念図である。情報はテーブル構造になっており、以下、テーブルが有する項目を説明する。優先順位付き配置レイヤー情報管理DB1001は第一の記憶手段の一例である。
・優先ID:優先IDは、プライマリキーである。プライマリキーは主キーともいい、関係データベースにおいて、レコードの識別子として利用するのにもっとも好ましいものとして、テーブル毎にただ一つ設計者により選択・定義された候補キーをいう。なお、IDはIdentificationの略であり、識別情報である。
・優先度スコア:配置情報登録ユーザー602が、過去の知見からクリック率が上がると予測する配置パターンほど高い値を付与する(優先順位に相当)。優先度スコアを求める式は広告の目的等に応じて変更されてよい。算出方法の一例を説明する。同じバナー広告作成情報から作られたクリック率を標準化した値をACとする。i番目のクリック率をAciとする。このとき、優先度スコアは下記から求められる(この例ではクリック率の平均)。
【0098】
優先度スコア =(1/n) * (Σ Aci ) … ( I = 1, 2, …, n )
また、優先度スコアを決定する尺度は、クライアントやバナー広告作成者の要望や、配置パターンとクリック率の関係から下記のような式で求めてもよい。クライアントやバナー広告作成者のバナー広告Iの要望の5段階のアンケート結果をbiとし、アンケートの重みをwとする(クリック率と重み付きアンケート結果を合計したものの平均)。
【0099】
優先度スコア = (1/n) * Σ (w*bi + Aci) …( I = 1, 2, …, n)
カテゴリ情報:カテゴリ情報は、文字情報やオブジェクト画像の中身が異なっても対応できるような抽象的な属性情報を格納する。検索キーに相当する。これにより、画像や文字のカテゴリによって優先度スコアを決めることができる。カテゴリ情報の一例は以下のようなものである。
【0100】
-業種 … 広告主の業種
-文字 … コピー(キャッチコピー)、説明文
-オブジェクト画像 … 背景が透過である(αチャネルがある絵や商品画像である)、背景が透過ではない(通常の平面画像である)
-広域画像シーン … 画像がどのようなシーンを撮像したものか
なお、上記のほかにもカテゴリ情報があってもよい。
【0101】
また、優先IDのパターンに従って作成された同一コンテンツの複数の配置パターンのバナーのクリック率をバナー広告作成システム600が収集して、クリック率を比較して優先度スコアを最適化してもよい。
【0102】
図15の下段は、カテゴリ情報から前面レイヤーと背景広域画像レイヤーに配置する文字やオブジェクト画像の数を決めるための情報である(バナー広告生成回数を除く)。
・前面レイヤー文字列数…前面レイヤーに配置する文字列の数
・背景広域画像レイヤー文字列数…背景広域画像レイヤーに配置する文字列の数
・前面レイヤーオブジェクト画像数…前面レイヤーに配置するオブジェクト画像の枚数
・背景広域画像レイヤーオブジェクト画像数…背景広域画像レイヤーに配置するオブジェクト画像の枚数
・バナー広告生成回数:ある優先IDのレコードの設定(配置パターン)でバナー広告を作成した数(カウント値)である。後述の配置入れ替えの機能を使用しない場合は、なくてもよい。
【0103】
レイヤー画像生成処理部81は、バナー広告作成情報のコンテンツの内容(種類とカテゴリ)に適合する配置パターンにしたがって、前面レイヤー及び背景広域画像レイヤーに
図15の下段の数のコンテンツを配置する。
【0104】
なお、配置パターンとは、どのコンテンツがどのレイヤーのどの位置に配置されるかを言う。具体的には優先順位付き配置レイヤー情報管理DB1001、前面レイヤー配置情報管理DB1002、背景広域画像レイヤー配置情報管理DB1003に記憶されている情報である。
【0105】
図16は、前面レイヤー配置情報管理DB1002に記憶されている情報の概念図である。配置情報登録ユーザー602が入力する。情報はテーブル構造になっており、以下、テーブルが有する項目を説明する。
・優先ID:
図15の優先IDの外部キーである。
・配置番号:配置情報登録ユーザー602が入力した配置の識別番号である。
・種類:レイヤーに配置する種類が文字列か、オブジェクト画像かを格納する。他の種類があってもよい。種類を増やす場合は
図15の種類に該当する列を増やす。
・カテゴリ:カテゴリ情報を格納する。実施例では、コピー、説明文、オブジェクト画像の透過あり/なしを示す。他のカテゴリがあってもよい。カテゴリを増やす場合は
図15のカテゴリに該当する列を増やす。
・配置左上X:文字、又はオブジェクト画像を前面レイヤーに配置する左上コーナーのX座標を格納する。
・配置左上Y:文字、又はオブジェクト画像を前面レイヤーに配置する左上コーナーのY座標を格納する。
・配置右下X:文字、又はオブジェクト画像を前面レイヤーに配置する右下コーナーのX座標を格納する。
・配置右下Y:文字、又はオブジェクト画像を前面レイヤーに配置する右下コーナーのY座標を格納する。
【0106】
図17は、背景広域画像レイヤー配置情報管理DB1003に記憶されている情報の概念図である。配置情報登録ユーザー602が入力する。情報はテーブル構造になっており、以下、テーブルが有する項目を説明する。
・優先ID:
図15の優先IDの外部キーである。
・配置番号:配置情報登録ユーザー602が入力した配置の識別番号である。
・種類:レイヤーに配置する種類が文字列か、オブジェクト画像かを格納する。他の種類があってもよい。種類を増やす場合は
図15の種類に該当する列を増やす。
・カテゴリ:カテゴリ情報を格納する。実施例では、コピー、説明文、オブジェクト画像の透過あり/なし、である。他のカテゴリがあってもよい。カテゴリを増やす場合は
図15のカテゴリに該当する列を増やす。
・配置緯度: 文字の表示する位置の緯度を格納する。距離と地面の高さから緯度を求める場合、Nullでもよい(
図9(c)参照)。
・配置経度: 文字、又はオブジェクト画像を背景広域画像レイヤーに貼り付けるための経度を格納する。
・FOV:文字を表示するFOV(Field Of View(視野))を格納する。FOVは画像上の横幅に相当する。
・距離:オブジェクト画像の仮想カメラからの相対的な距離を格納する。
・地面からの高さ:オブジェクト画像の仮想の地面からの高さを格納する。(実施例では、地面は、仮想カメラが地面からどのくらいの高さで撮像されたかをユーザーが入力するパラメータである。3D空間の平面の位置のこと。この列の値は、前記地面からオブジェクト画像がどのくらいの高さの位置に配置するかを決めている)
なお、バナー広告作成ユーザー601が優先IDを新規に作成し(配置パターンを新規作成し)、バナー広告作成システム600が強化学習のアルゴリズムで、配置する緯度・経度・FOVをアルゴリズムに従って生成してもよい。バナー広告作成システム600はクリック率の高い優先IDのパターンを残していく(例えばバンディットアルゴリズムを使用する)。
【0107】
図18は、バナー広告作成情報管理DB1004に記憶されている情報の概念図である。バナー広告作成ユーザー601が入力をする。バナー広告作成情報管理DB1004は第二の記憶手段の一例である。
・バナー広告作成情報ID:バナー広告作成情報(文字、オブジェクト画像)を一意に記憶する主キーである。バナー広告作成情報IDはバナー広告作成情報を識別するための識別情報である。
・バナー広告番号:作成するバナー広告を一意に識別するためのキーである。
・種類:バナー広告作成情報の種類(コンテンツの種類)を記憶する。実施例では、文字列,又は、オブジェクト画像である。種類は増やしてもよい。
・カテゴリ:バナー広告作成情報のカテゴリを記憶する。実施例では、コピー、説明文、透過あり(画像)、又は、透過なし(画像)である。他のカテゴリがあってもよい。
【0108】
図19はバナー広告作成文字情報管理DB1005に記憶されている情報の概念図である。バナー広告作成ユーザー601が入力をする。
・バナー広告作成情報ID:バナー広告作成情報(文字)を一意に記憶するキーである。
・文字列:バナー広告作成情報の種類が文字の場合の文字列を格納する。
【0109】
図20はバナー広告作成オブジェクト画像情報管理DB1006に記憶されている情報の概念図である。バナー広告作成ユーザー601が入力をする。
・バナー広告作成情報ID:バナー広告作成情報管理DB1004に紐づくバナー広告作成情報(オブジェクト画像)を一意に記憶する主キーである。
・サイズX:オブジェクト画像の横のサイズを格納する。
・サイズY:オブジェクト画像の縦のサイズを格納する。
・オブジェクトの高さ:仮想カメラからの高さに対して、オブジェクト画像のオブジェクトの相対的な高さを記憶する。高さの単位は任意に決定できるが、本実施形態では単位を[cm]とした。
・画像:オブジェクト画像のファイルのパスを記憶する。本実施形態はファイルのパスだが、オブジェクト画像の画像オブジェクトをバイナリデータとして格納してもよい。
【0110】
図21は、バナー広告広域画像情報管理DB1007に記憶されている情報の概念図である。バナー広告作成ユーザー601が入力をする。
・バナー広告作成情報ID:バナー広告作成情報管理DB1004に紐づくバナー広告作成情報(広域画像)を一意に記憶する主キーである。
・中心の地面からの高さ:仮想カメラを中心点としたとき、仮想カメラから地面までの相対な高さを記憶する。NAでもよい。
・サイズX:広域画像の幅のサイズを記憶する。NULLでもよく、その場合はサイズYに値が入っていることが必要である。NULLの場合はサイズYの1/2の値を返す。
・サイズY: 広域画像の縦のサイズを記憶する。NULLでもよく、その場合はサイズXに値が入っていることが必要である。NULLの場合はサイズXの2倍の値を返す。
・画像:広域画像のファイルのパスを記憶する。本実施形態はファイルのパスだが、広域画像の画像オブジェクトをバイナリデータとして格納してもよい。
【0111】
図22は、配置入れ替え情報管理DB1008に記憶されている情報の概念図である。バナー広告作成ユーザー601又は配置情報登録ユーザー602が入力をする。優先度スコアの高いバナー広告ばかり生成するとユーザーに飽きられるおそれがあるため、同じバナー広告ばかりが生成されるのを抑制するためのテーブルである。
・生成回数ペナルティ係数: 優先度スコアに対して、バナー広告の生成回数によるペナルティを与えるための係数である。レイヤー画像生成処理部81は、配信回数に生成回数ペナルティ係数を乗じて、優先度スコアから引くことで優先度スコアを減少させ、生成されるバナー広告の多様化を促す。
・入れ替え発生確率:レイヤー画像生成処理部81がバナー広告を生成する際に、指定された配置パターンとは逆のレイヤーにオブジェクト画像を配置するかどうかを決定するための確率(パーセンテージ)である。
【0112】
なお、生成回数ペナルティ係数と入れ替え発生確率はいずれか一方のみが登録されていてもよい。
【0113】
図23は、優先順位付き配置レイヤー情報入力画面200の概念図である。配置情報登録ユーザー602が優先順位付き配置レイヤー情報入力画面200を使って優先順位付き配置レイヤー情報管理DB1001の各項目への入力を行う。
・優先ID欄201:優先IDは、プライマリキーを入力する数値入力ボックスである。配置情報登録ユーザー602が入力するのではなく、バナー広告作成システム600が自動的に優先IDをインクリメントして採番してもよい。
・優先度スコア欄202:配置情報登録ユーザー602が、優先度スコアを入力する数値入力ボックスである。優先度スコアの付け方は
図15を参照。
・カテゴリ欄220:文字とオブジェクト画像のカテゴリがそれぞれ何個与えられるかを配置情報登録ユーザー602が入力する業種欄214、4つの数値入力ボックス欄、及び、背景広域画像シーンを選択するプルダウンで選択できる背景広域画像シーン207を有する。
【0114】
-業種欄214:業種を選択するプルダウンメニューである。
【0115】
-文字コピー数欄203:カテゴリ文字コピー数を入力する数値入力ボックスである。
【0116】
-文字説明数欄204:カテゴリ文字説明数を入力する数値入力ボックスである。
【0117】
-オブジェクト画像透過あり数205:カテゴリオブジェクト画像透過あり数を入力する数値入力ボックスである。
【0118】
-オブジェクト画像透過なし数206:カテゴリオブジェクト画像透過なし数を入力する数値入力ボックスである。
【0119】
-背景広域画像シーン207:カテゴリ背景広域画像シーンを選択するためのプルダウンメニューを表示する。
・配置数欄221:カテゴリ欄220で入力されたカテゴリを前面レイヤー又は背景広域画像レイヤーにそれぞれ何個(何枚)配置するかを配置情報登録ユーザー602が入力する5つの数値入力ボックスである。
【0120】
-前面レイヤー文字列数208:前面レイヤーに配置する文字列数を入力する数値入力ボックスである。
【0121】
-背景広域画像レイヤー文字列数209:背景広域画像レイヤーに配置する文字列数を入力する数値入力ボックスである。
【0122】
-前面レイヤーオブジェクト画像数210:前面レイヤーに配置するオブジェクト画像数を入力する数値入力ボックスである。
【0123】
-背景広域画像レイヤーオブジェクト画像数211:背景広域画像レイヤーに配置するオブジェクト画像数を入力する数値入力ボックスである。
【0124】
-背景広域画像レイヤー広域画像数212:背景広域画像レイヤーに使用する広域画像数を入力する。本実施例では1枚だけ使用する例を示すため、1に固定する。
【0125】
本実施形態ではカテゴリ欄220と配置数欄221で設定された数値に以下の大小関係の制約がある。
【0126】
文字コピー数 + 文字説明数 = 前面レイヤー文字列数 + 背景広域画像レイヤー文字列数
オブジェクト画像透過あり数 + オブジェクト画像透過なし数 = 前面レイヤーオブジェクト画像数 + 背景広域画像レイヤーオブジェクト画像数
この制約に矛盾する値が入力された場合、表示制御部72はエラーメッセージを表示するなどして、矛盾する値の入力を抑制する。
・入力ボタン213:配置情報登録ユーザー602が押下し、上記の項目に入力された情報をバナー広告作成システム600が受け付けるためのボタンである。
【0127】
図24は、前面レイヤー配置情報入力画面230の概念図である。本画面には、配置情報登録ユーザー602が入力を行う。前面レイヤー配置情報入力画面230に入力された情報は前面レイヤー配置情報管理DB1002に登録される。まず、優先ID欄231、配置番号欄232、種類欄233、及び、カテゴリ欄234は、初期値であり、バナー広告作成システム600が前面レイヤー配置情報管理DB1002から取得するので変更不可である。
・入力欄240:
-配置左上X235: 文字又はオブジェクト画像を前面配置レイヤーに配置するための左上コーナーのX座標入力ボックスである。
【0128】
-配置左上Y236: 文字又はオブジェクト画像を前面配置レイヤーに配置するための左上コーナーのY座標入力ボックスである。
【0129】
-配置右下X237: 文字又はオブジェクト画像を前面配置レイヤーに配置するための右下コーナーのX座標入力ボックスである。
【0130】
-配置右下Y238: 文字又はオブジェクト画像を前面配置レイヤーに配置するための右下コーナーのY座標入力ボックスである。
・入力ボタン239:配置情報登録ユーザー602が入力した情報をバナー広告作成システム600が受け付けるためのボタンである。
【0131】
図25は、背景広域画像レイヤー配置情報入力画面250の概念図である。本画面には、配置情報登録ユーザー602が入力を行う。背景広域画像レイヤー配置情報入力画面250に入力された情報は背景広域画像レイヤー配置情報管理DB1003に登録される。優先ID欄251、配置番号欄252、種類欄253、カテゴリ欄254は、初期値であり、バナー広告作成システム600が背景広域画像レイヤー配置情報管理DB1003から取得するので、変更不可である。
・入力欄260: 本実施例では、背景広域画像レイヤーに配置する際に下記の2つの入力をラジオボタン255で選択する。
【0132】
(1) 配置緯度、配置経度、FOV
-配置緯度261:文字又はオブジェクト画像を配置するための緯度を入力する数値入力ボックスである。
【0133】
-配置経度262: 文字又はオブジェクト画像を配置するための経度を入力する数値入力ボックスである。
【0134】
-FOV263: 文字又はオブジェクト画像を配置するためのFOVを入力する数値入力ボックスである。
【0135】
(2) 配置経度、距離、地面からの高さ
-配置緯度264: 文字又はオブジェクト画像を配置するための緯度を入力する数値入力ボックスである。
【0136】
-配置経度265: 文字又はオブジェクト画像を配置するための経度を入力する数値入力ボックスである。
【0137】
-地面からの高さ266: 文字又はオブジェクト画像を配置するための地面からの高さを入力する数値入力ボックスである。
・入力ボタン267:配置情報登録ユーザー602が入力した情報をバナー広告作成システム600が受け付けるためのボタンである。
【0138】
図26は、バナー広告作成情報が入力される場合に表示されるいくつかの画面の概念図である。この画面にはバナー広告作成ユーザー601が入力する。
【0139】
バナー広告作成情報入力開始画面270は、バナー広告作成情報の登録を開始するための画面である。
・バナー広告作成情報ID271:
図18のバナー広告作成情報管理DB1004のバナー広告作成情報IDを入力する数値入力ボックスである。既存のIDであれば、更新となり、新規IDであれば新規レコードの作成となる。
・バナー広告作成情報入力開始ボタン272:バナー広告作成情報IDのバナー広告情報の入力を開始するためのボタンである。本ボタンを押下するとバナー広告作成システム600がバナー広告作成情報入力画面280を表示する。
・バナー広告作成情報入力画面280は、バナー広告作成情報の文字入力ボタン282、オブジェクト画像入力ボタン283、又は、広域画像入力ボタン284を表示し、ボタンの押下を受け付ける。
【0140】
-文字入力ボタン282:文字入力画面290に遷移するためのボタンである。
【0141】
-オブジェクト画像入力ボタン283:オブジェクト画像入力画面300に遷移するためのボタンである。
【0142】
-広域画像入力ボタン284:広域画像入力画面310に遷移するためのボタンである。
【0143】
文字入力画面290は、文字情報を入力するための画面である。
・バナー広告番号欄291:バナー広告作成情報ID内で、文字入力画面での入力回数を1から表示する。
・カテゴリ欄292:文字情報のカテゴリ(文字又はキャッチコピー)をプルダウン形式で表示し、選択を受け付ける。
・文字列欄293: 文字情報の入力を受け付けるテキストボックスである。
・登録ボタン294:各項目に入力された情報をバナー広告作成システムが受け取るためのボタンである。ボタン押下により、バナー広告作成情報入力画面280に遷移する。
【0144】
オブジェクト画像入力画面300は、オブジェクト画像に関する情報の入力を受け付ける画面である。
・バナー広告番号301:バナー広告作成情報ID内で、オブジェクト画像入力画面での入力回数を1から表示する。
・カテゴリ欄302:オブジェクト画像のカテゴリ(透過あり、透過なし)をプルダウン形式で表示し、選択を受け付ける。
・画像ファイルパス欄303: オブジェクト画像のファイルパスの入力を受け付けるテキストボックスである。
・登録ボタン304: 各項目に入力された情報をバナー広告作成システムが受け取るためのボタンである。ボタン押下によりバナー広告作成情報入力画面280に遷移する。
【0145】
広域画像入力画面310は、広域画像に関する情報を受け付ける画面である。
・バナー広告番号欄311:バナー広告作成情報ID内で、広域画像入力画面310での入力回数を1から表示する。
・シーン欄312:広域画像のカテゴリのシーンをプルダウン形式で表示し、選択を受け付ける。
・画像ファイルパス313: 広域画像のファイルパスの入力を受け付けるテキストボックスである。
・登録ボタン314:各項目に入力された情報をバナー広告作成システムが受け取るためのボタンである。ボタン押下によりバナー広告作成情報入力画面280に遷移する。
【0146】
図27は、配置入れ替え情報入力画面320の概念図である。
・生成回数ペナルティ係数321:バナー広告作成ユーザー601又は配置情報登録ユーザー602が生成回数ペナルティ係数を入力する数値入力ボックスである。
・入れ替え発生確率322:バナー広告作成ユーザー601又は配置情報登録ユーザー602が入れ替え発生確率〔%〕を入力する数値入力ボックスである。
・入力ボタン323:バナー広告作成ユーザー601又は配置情報登録ユーザー602が生成回数ペナルティ係数と入れ替え発生確率を配置入れ替え情報管理DB1008に記憶させるボタンである。
【0147】
図28は、バナー広告作成指示画面330の概念図である。本画面にはバナー広告作成ユーザー601が入力する。
【0148】
バナー広告作成指示画面330は、
図26のバナー広告作成情報入力画面280で登録されたバナー広告作成情報と、優先度スコアと配置入れ替え情報を用いてバナー広告作成をバナー広告作成ユーザー601がバナー広告作成システム600に指示するための画面である。
・バナー広告作成情報ID欄331: 生成したいバナー広告のバナー広告作成情報IDの入力を受け付ける数値入力ボックスである。
・作成個数欄332:生成したいバナー広告の個数の入力を受け付ける数値入力ボックスである。
・カテゴリ業種欄333:生成するバナー広告の業種をプルダウン形式で表示し、選択を受け付ける。
・作成ボタン334:入力された情報とバナー広告の作成指示をバナー広告作成システム600が取得するためのボタンである。ボタン押下後、バナー広告一覧画面340に遷移する。
【0149】
バナー広告一覧画面340は、バナー広告作成システム600が
図26のバナー広告作成情報入力画面280で登録されたバナー広告作成情報から、優先度スコアと配置入れ替え情報を用いて作成したバナー広告画像の一覧を表示する。バナー広告一覧画面340に示すように、同じ素材を与えても出力されるバナー広告画像が異なる。
【0150】
●処理の流れ●
続いて、
図29~
図36を参照してバナー広告作成システムの処理の流れを説明する。
図29は、バナー広告作成システム600が優先順位付き配置レイヤー情報の入力を受け付けるシーケンス図の一例である。
【0151】
S1000:配置情報登録ユーザー602が所定の操作を行うことで、バナー広告作成システムの表示制御部72が、優先順位付き配置レイヤー情報入力画面200をディスプレイに表示する。
【0152】
S1001:配置情報登録ユーザー602が入力ボタン213を押下すると、受付部71が受け付ける。
【0153】
S1002:記憶・読出部73は、優先順位付き配置レイヤー情報入力画面200に入力された優先順位付き配置レイヤー情報を優先順位付き配置レイヤー情報管理DB1001に登録する。
【0154】
S1003:表示制御部72は、前面レイヤー文字列数と前面レイヤーオブジェクト画像数の合計、及び、背景広域画像レイヤー文字列数と背景広域画像レイヤーオブジェクト画像数と背景広域画像レイヤー広域画像数の合計を計算する。
【0155】
次に、Loop(1)では、前面レイヤー文字列数と前面レイヤーオブジェクト画像数の合計の数だけステップS1004,S1005,S1006が繰り返し実行される。
【0156】
S1004:表示制御部72は、配置情報登録ユーザー602に
図24の前面レイヤー配置情報入力画面230を表示する。
【0157】
S1005:配置情報登録ユーザー602は、前面レイヤー配置情報入力画面230の入力項目に情報を入力し、入力ボタン239を押下する。受付部71は前面レイヤー配置情報入力画面230に入力された情報を受け付ける。
【0158】
S1006:記憶・読出部73は、前面レイヤー配置情報管理DB1002に入力された情報を登録する。
【0159】
次に、Loop(2)では、背景広域画像レイヤー文字列数と、背景広域画像レイヤーオブジェクト画像数と背景広域画像レイヤー広域画像数の合計の数だけステップS1007,S1008,S1009が繰り返し実行される。
【0160】
S1007:表示制御部72は、背景広域画像レイヤー配置情報入力画面250を表示する。
【0161】
S1008:配置情報登録ユーザー602は、
図25の背景広域画像レイヤー配置情報入力画面250の入力項目に情報を入力し、入力ボタン267を押下する。受付部71は入力された情報を受け付ける。
【0162】
S1009:記憶・読出部73は、背景広域画像レイヤー配置情報入力画面250に入力された情報を背景広域画像レイヤー配置情報管理DB1003に登録する。
【0163】
図30は、バナー広告作成システムがバナー広告作成情報の入力を受け付けるシーケンス図である。
【0164】
S1100:バナー広告作成ユーザー601が所定の操作を行うことで、バナー広告作成システムの表示制御部72が、バナー広告作成情報入力開始画面270をディスプレイに表示する。
【0165】
S1101:バナー広告作成ユーザー601はバナー広告作成情報IDを
図26のバナー広告作成情報入力開始画面270に入力し、入力開始ボタン272を押下する。受付部71はバナー広告作成情報IDを受け付ける。
【0166】
S1102:表示制御部72は
図26のバナー広告作成情報入力画面280を表示する。
【0167】
バナー広告作成ユーザー601がバナー広告作成情報入力画面280で文字入力ボタン282を押下した場合を説明する。
【0168】
S1103:受付部71が押下を受け付け、表示制御部72が文字入力画面290を表示する。
【0169】
S1104:バナー広告作成ユーザー601は文字入力画面290の入力項目に情報を入力し、登録ボタン294を押下する。受付部71は文字入力画面290に入力された情報を受け付ける。
【0170】
S1105:記憶・読出部73は、文字入力画面290に入力された情報をバナー広告作成文字情報管理DB1005に登録する。
【0171】
バナー広告作成ユーザー601がバナー広告作成情報入力画面280でオブジェクト画像入力ボタン283を押下した場合を説明する。
【0172】
S1106:受付部71は押下を受け付け、表示制御部72が
図26のオブジェクト画像入力画面300を表示する。
【0173】
S1107:バナー広告作成ユーザー601はオブジェクト画像入力画面300の入力項目に情報を入力し、登録ボタン304を押下する。受付部71はオブジェクト画像入力画面300に入力された情報を受け付ける。
【0174】
S1108:記憶・読出部73は、オブジェクト画像入力画面300に入力された情報をバナー広告作成オブジェクト画像情報管理DB1006に登録する。
【0175】
バナー広告作成ユーザー601がバナー広告作成情報入力画面280で広域画像入力ボタン284を押下した場合を説明する。
【0176】
S1109:受付部71は押下を受け付け、表示制御部72は
図26の広域画像入力画面310を表示する。
【0177】
S1110:バナー広告作成ユーザー601は広域画像入力画面310の入力項目に情報を入力し、登録ボタン314を押下する。受付部71は広域画像入力画面310に入力された情報を受け付ける。
【0178】
S1111:記憶・読出部73は、広域画像入力画面310で入力された情報をバナー広告広域画像情報管理DB1007に登録する。
【0179】
図31は、バナー広告作成システムが入れ替え情報の入力を受け付けるシーケンス図の一例である。
【0180】
S1300:バナー広告作成ユーザー601又は配置情報登録ユーザー602が所定の操作を行うことで、バナー広告作成システム600の表示制御部72が、バナー配置入れ替え情報入力画面320を表示する。
【0181】
S1301:バナー広告作成ユーザー601又は配置情報登録ユーザー602が
図27の配置入れ替え情報入力画面320の入力ボタン323を押下する。受付部71は押下を生成回数ペナルティ係数と入れ替え発生確率を受け付ける。
【0182】
S1302:記憶・読出部73は配置入れ替え情報管理DB1008に、生成回数ペナルティ係数と入れ替え発生確率を登録する。
【0183】
図32は、バナー広告作成ユーザー601がバナー広告の作成をバナー広告作成システム600に指示するシーケンス図の一例である。
【0184】
S1200:バナー広告作成ユーザー601が所定の操作を行うことで、バナー広告作成システムの表示制御部72が、バナー広告作成指示画面330をディスプレイに表示する。
【0185】
S1201:バナー広告作成ユーザー601は、バナー広告作成指示画面330の入力項目(バナー広告作成情報ID,作成個数,カテゴリ業種)に情報を入力し、作成ボタン334を押下する。受付部71はバナー広告作成指示画面330に入力された情報と作成指示を受け付ける。
【0186】
S1202:レイヤー画像生成処理部81は、バナー広告作成指示画面330に入力された情報、優先順位付き配置レイヤー情報管理DB1001、及び、配置入れ替え情報管理DB1008の情報を使って、処理を行う。詳細にはステップS1203では前面レイヤー画像生成処理部83を、ステップS1204では背景広域画像レイヤー画像生成処理部82を、ステップS1205ではバナー広告生成処理部84を呼び出す。これらはメモリ部80から前面レイヤー、背景広域画像レイヤー、及び、バナー広告を呼び出し、記憶部1000に登録する。詳細は
図33にて説明する。
【0187】
S1203:前面レイヤー画像生成処理部83は、バナー広告作成指示画面330で入力された情報、前面レイヤー配置情報管理DB1002に登録されている情報、及び、バナー広告作成情報管理DB1004に登録されている情報から、メモリ部80に生成した画像領域を登録する。詳細は
図34にて説明する。
【0188】
S1204:背景広域画像レイヤー画像生成処理部82は、バナー広告作成指示画面330で入力された情報、背景広域画像レイヤー配置情報管理DB1003に登録されている情報、バナー広告作成情報管理DB1004に登録されている情報、及び、バナー広告広域画像情報管理DB1007に登録されている情報から、メモリ部80に生成した画像領域を登録する。詳細は
図35にて説明する。
【0189】
S1205:バナー広告生成処理部84は、メモリ部80に記憶された情報からバナー広告画像を生成し、記憶部1000にバナー広告画像を記憶する。詳細は
図36にて説明する。
【0190】
S1206:表示制御部72は、記憶部1000に記録されたバナー広告画像を
図28のバナー広告一覧画面340に表示する。
【0191】
●バナー広告を表示するまでの詳細
続いて、
図33~
図36を参照して、バナー広告作成システム600がバナー広告一覧画面340を表示するまでの処理を説明する。
【0192】
図33は、レイヤー画像生成処理部81が行う処理を説明するフローチャート図の一例である。
【0193】
S1301:フローを開始する。
【0194】
S1302:レイヤー画像生成処理部81はバナー広告作成情報管理DB1004からバナー広告作成情報IDを検索し、種類とカテゴリが同じレコードの数の合計値をそれぞれ計算する。この結果を(1)とする。
【0195】
S1303:レイヤー画像生成処理部81は優先順位付き配置レイヤー情報管理DB1001から(1)の値以下の範囲で、バナー広告作成指示画面330のカテゴリ業種に一致するレコードを検索する。具体的な処理は以下のとおりである。検索に適合したレコードを(2)とする。
(1)の値と比較する優先順位付き配置レイヤー情報管理DB1001の項目は以下のとおりである。
優先順位付き配置レイヤー情報管理DB1001のカテゴリ文字コピー数 < バナー広告作成情報管理DB1004の種類=文字、かつ、カテゴリ=コピーの合計
優先順位付き配置レイヤー情報管理DB1001のカテゴリ文字説明数 < バナー広告作成情報管理DB1004の種類=文字、かつ、カテゴリ=説明文の合計
優先順位付き配置レイヤー情報管理DB1001のカテゴリオブジェクト画像透過あり数< バナー広告作成情報管理DB1004の種類=オブジェクト画像、かつ、カテゴリ=透過ありの合計
優先順位付き配置レイヤー情報管理DB1001のカテゴリオブジェクト画像透過なし数< バナー広告作成情報管理DB1004の種類=オブジェクト画像、かつ、カテゴリ=透過なしの合計
優先順位付き配置レイヤー情報管理DB1001のカテゴリ背景広域画像シーン = バナー広告作成情報管理DB1004の種類=広域画像、かつ、カテゴリ(広域画像の場合、カテゴリはシーンのことを表す)
なお、以上の条件式などは追加してもよい。
【0196】
すなわち、レイヤー画像生成処理部81は、コンテンツの内容としてバナー広告作成指示画面330で入力されたコンテンツの種類とカテゴリに適合する配置パターンを、優先順位にしたがって特定する。なお、(1)の値以下の範囲とするのは、バナー広告作成情報の数だけ優先順位付き配置レイヤー情報があればよいためである。
【0197】
S1304:ステップS1304は、優先度が高いバナー広告ばかり生成されないようにするための入れ替え処理である。入れ替え処理が必要ない場合は、(2)を優先度スコアの高い順に検索する。入れ替え処理を行う場合、レイヤー画像生成処理部81は、優先順位付き配置レイヤー情報管理DB1001のバナー広告生成回数を取得し、配置入れ替え情報管理DB1008の生成回数ペナルティ係数を取得する。優先度スコアに生成回数ペナルティ係数を乗じてペナルティ付き優先度スコアを算出し、優先度スコアから減じて、優先度スコアを減少させる。そして、作成工数分のレコードを優先度スコアの高い順に検索する。これを(2)'とする。
【0198】
S1305:レイヤー画像生成処理部81は(2)'の1レコードを取り出しループする。
【0199】
S1306:レイヤー画像生成処理部81は配置入れ替え情報管理DB1008の入れ替え発生確率から確率的に1レコードの文字情報とオブジェクト画像の、前面レイヤーと背景広域画像レイヤーへの配置を入れ替え、配置入れ替え後の1レコードを生成する。
【0200】
上記の「入れ替え発生確率から確率的に」配置の入れ替えを発生させるアルゴリズムの例を下記する。ここでは1レコードが前面レイヤーのオブジェクト画像とする。
(1) 一様分布のランダムな値を0から100未満で発生させる。
(2) (1)の値が「入れ替え発生確率」以下であれば判定をTrue,超えるのであればFalseとする。
(3) (2)の判定がTrueである場合は、オブジェクト画像を前面イレヤーに配置せず、背景広域画像レイヤーに配置する。
【0201】
S1307:レイヤー画像生成処理部81は、バナー広告作成情報IDと(2)'の配置入れ替え後の1レコード情報を前面レイヤー画像生成処理部83へ送信し、前面レイヤー画像を生成する。これを(3)とする。
【0202】
S1308:レイヤー画像生成処理部81は、バナー広告作成情報IDと(2)'の配置入れ替え後の1レコード情報を背景広域画像レイヤー画像生成処理部82へ送信し、背景広域画像レイヤー画像を生成する。これを(4)とする。
【0203】
S1309:レイヤー画像生成処理部81は、(3)と(4)をバナー広告生成処理部84へ送信し、バナー広告を生成させる。
【0204】
S1310:(2)'のレコードをすべて取り出した場合、処理はS1311へ進む。レコードが残っている場合、処理はS1305に戻る。
【0205】
S1311:処理を終了する。
【0206】
図34は、前面レイヤー画像生成処理部83が行う処理を説明するフローチャート図の一例である。
【0207】
S1401:処理を開始する。
【0208】
S1402:前面レイヤー画像生成処理部83は、
図33の(2)の優先IDで前面レイヤー配置情報管理DB1002を検索する。この結果を(5)とする。
【0209】
S1403:前面レイヤー画像生成処理部83は、メモリ部80に前面レイヤー画像の画像領域Mを確保する。
【0210】
S1404:前面レイヤー画像生成処理部83は、(5)の1レコードを取り出しループする。
【0211】
S1405:前面レイヤー画像生成処理部83は、バナー広告作成情報管理DB1004から「バナー広告作成情報IDと(5)の種類とカテゴリ」と一致するバナー広告作成情報を取得する。これを(6)とする。
【0212】
S1406:前面レイヤー画像生成処理部83は、(5)の種類とカテゴリに一致した(6)をメモリ部80の画像領域Mの領域[配置左上X、配置左上Y、配置右下X、配置右下Y]に描画する。
【0213】
S1407:(5)のレコードをすべて取り出した場合、処理はS1408に進む。レコードが残っている場合は、処理はS1404に戻る。
【0214】
S1408:前面レイヤー画像生成処理部83は画像領域Mをバナー広告生成処理部84に送信する。この結果を(7)とする。
【0215】
S1409:処理を終了する。
【0216】
図35は、背景広域画像レイヤー画像生成処理部82の処理を説明するフローチャート図の一例である。
【0217】
S1501:処理を開始する。
【0218】
S1502:背景広域画像レイヤー画像生成処理部82は、
図33の(2)の優先IDで背景広域画像レイヤー配置情報管理DB1003を検索する。この結果を(8)とする。
【0219】
S1503:背景広域画像レイヤー画像生成処理部82は、メモリ部80に広域画像の画像領域N(
図9(a)参照)を確保する。
【0220】
S1504:背景広域画像レイヤー画像生成処理部82は、(8)の1レコードを取り出しループする。
【0221】
S1505:背景広域画像レイヤー画像生成処理部82は、バナー広告作成情報管理DB1004から「バナー広告作成情報IDと(8)の種類とカテゴリ」と一致するバナー広告作成情報を取得する。この結果を(9)とする。
【0222】
S1506:(8)の緯度がNullの場合、処理はS1508に進む。緯度がNullでない場合、処理はS1507に進む。
【0223】
S1507:背景広域画像レイヤー画像生成処理部82は、(8)の種類とカテゴリに一致した(9)のバナー広告作成情報を、メモリ部80の画像領域Nの[配置緯度、配置経度]を中心とするFOVの領域(広域画像上)に描画する。
【0224】
S1508:背景広域画像レイヤー画像生成処理部82は、緯度がないので、バナー広告広域画像情報管理DB1007をバナー広告作成情報IDで検索し、中心の地面からの高さを取得する。この結果を(10)とする。
【0225】
S1509:背景広域画像レイヤー画像生成処理部82は、(8)の種類とカテゴリに一致した(9)のバナー広告作成情報を、メモリ部80の画像領域Nの(10)と[緯度,距離,地面からの高さ]から計算した領域(広域画像上)に描画する。
【0226】
S1510:(8)のレコードをすべて取り出した場合、処理はS1511に進む。レコードが残っている場合、処理はS1504に戻る。
【0227】
S1511:背景広域画像レイヤー画像生成処理部82は、画像領域Nをバナー広告生成処理部84に送信する。この結果を(11)とする。
【0228】
図36は、バナー広告生成処理部84の処理を説明するフローチャート図の一例である。
【0229】
S1601:処理を開始する。
【0230】
S1602:バナー広告生成処理部84は、メモリ部80から
図34の(7)の画像領域Mと
図35の(11)の画像領域Nの情報を読み込む。
【0231】
S1603:バナー広告生成処理部84は、JavaScript(登録商標)等のスクリプトを実行し、画像領域Mの前面レイヤー画像と画像領域Nの背景広域画像レイヤー画像からバナー広告を作成する。この結果を(12)とする。
【0232】
S1604:バナー広告生成処理部84は(12)を記憶部1000に出力する。
【0233】
S1605:処理を終了する。
【0234】
●主な効果●
以上説明したように、本実施形態のバナー広告作成システム600は、広域画像として全天球画像を使ったバナー広告であって、事前に「優先順位付き配置レイヤー情報」、「前面レイヤー配置情報」及び「背景広域画像レイヤー配置情報」を、クリック率が高くなるような配置パターンを知っている配置情報登録ユーザーが登録しておく。クライアントであるバナー広告作成ユーザーが複数のバナー広告作成情報(コンテンツ)をバナー広告作成システムに登録すると、「優先順位付き配置レイヤー情報」、「前面レイヤー配置情報」、及び、「背景広域画像レイヤー配置情報」をバナー広告作成システムが突き合わせ、クリック率が高い広域画像を使ったバナー広告画像を短時間で複数作成することができる。したがって、バナー広告作成情報(コンテンツ)が変わってもクリック率の高いバナー広告が作成可能になる。
【0235】
●補足●
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0236】
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0237】
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【0238】
バナー広告作成システム600は複数、存在してもよいし、バナー広告作成システム600の機能が複数のサーバに分散されていてもよい。
【0239】
本実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、バナー広告作成システム600は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【符号の説明】
【0240】
1 画像処理システム
10 撮像装置
71 受付部
72 表示制御部
81 レイヤー画像生成処理部
82 背景広域画像レイヤー画像生成処理部
83 前面レイヤー画像生成処理部
84 バナー広告生成処理部
【先行技術文献】
【特許文献】
【0241】