IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ポケモンの特許一覧

特開2022-123693プログラム、方法、情報処理装置、システム
<>
  • 特開-プログラム、方法、情報処理装置、システム 図1
  • 特開-プログラム、方法、情報処理装置、システム 図2
  • 特開-プログラム、方法、情報処理装置、システム 図3
  • 特開-プログラム、方法、情報処理装置、システム 図4
  • 特開-プログラム、方法、情報処理装置、システム 図5
  • 特開-プログラム、方法、情報処理装置、システム 図6
  • 特開-プログラム、方法、情報処理装置、システム 図7
  • 特開-プログラム、方法、情報処理装置、システム 図8
  • 特開-プログラム、方法、情報処理装置、システム 図9
  • 特開-プログラム、方法、情報処理装置、システム 図10
  • 特開-プログラム、方法、情報処理装置、システム 図11
  • 特開-プログラム、方法、情報処理装置、システム 図12
  • 特開-プログラム、方法、情報処理装置、システム 図13
  • 特開-プログラム、方法、情報処理装置、システム 図14
  • 特開-プログラム、方法、情報処理装置、システム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022123693
(43)【公開日】2022-08-24
(54)【発明の名称】プログラム、方法、情報処理装置、システム
(51)【国際特許分類】
   G06T 11/60 20060101AFI20220817BHJP
   H04N 5/265 20060101ALI20220817BHJP
【FI】
G06T11/60 100A
H04N5/265
【審査請求】有
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2021021159
(22)【出願日】2021-02-12
(71)【出願人】
【識別番号】504440133
【氏名又は名称】株式会社ポケモン
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】押野 洋介
【テーマコード(参考)】
5B050
5C023
【Fターム(参考)】
5B050AA08
5B050BA06
5B050BA11
5B050BA12
5B050BA13
5B050BA18
5B050BA20
5B050CA07
5B050CA08
5B050DA04
5B050EA04
5B050EA18
5B050EA19
5B050FA02
5B050FA05
5B050GA08
5C023AA11
5C023AA16
5C023BA01
5C023BA11
5C023CA01
5C023CA05
5C023DA08
(57)【要約】
【課題】過去の画像を振り返って見直すことに、新たな興趣性を付与する。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップとを実行させる。
【選択図】図7

【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
指定された画像を登録するステップと、
合成画像の要求を受け付けるステップと、
登録した画像を要求に応じて解析することで、前記画像のコンテクストを取得するステップと、
ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
を実行させるプログラム。
【請求項2】
前記パラメータ値を取得するステップにおいて、前記パラメータ値を、時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数から取得する、請求項1記載のプログラム。
【請求項3】
前記パラメータ値を取得するステップにおいて、前記パラメータ値を、ユーザ又は管理者から設定された項目についての値から取得する、請求項1又は2に記載のプログラム。
【請求項4】
前記コンテクストを取得するステップにおいて、前記画像に含まれる場所、人物、又はイベントを画像解析により把握することで、前記コンテクストを取得する、請求項1乃至3のいずれかに記載のプログラム。
【請求項5】
前記コンテクストを取得するステップにおいて、前記画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、前記コンテクストを取得する、請求項1乃至4のいずれかに記載のプログラム。
【請求項6】
前記オブジェクトを決定するステップにおいて、前記取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、前記オブジェクトを決定する、請求項1乃至5のいずれかに記載のプログラム。
【請求項7】
前記オブジェクトを決定するステップにおいて、前記取得したパラメータ値の大きさに基づき、前記オブジェクトの内容を決定する、請求項1乃至6のいずれかに記載のプログラム。
【請求項8】
前記オブジェクトを決定するステップにおいて、前記オブジェクトは、ユーザに有益な情報を含む、請求項1乃至7のいずれかに記載のプログラム。
【請求項9】
前記コンテクストを取得するステップにおいて、前記登録した画像のうち、所定の要件を満たす画像を前記解析の対象とする、請求項1乃至8のいずれかに記載のプログラム。
【請求項10】
前記要求を受け付けるステップにおいて、前記オブジェクトが合成された元の画像を用いた合成画像の要求を受け付け、
前記パラメータ値を取得するステップにおいて、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得する、請求項1乃至9のいずれかに記載のプログラム。
【請求項11】
前記オブジェクトが合成された画像と関連する画像を他の画像と識別して前記ユーザに提示するステップを前記プロセッサに実行させる、請求項1乃至10のいずれかに記載のプログラム。
【請求項12】
前記オブジェクトを合成した画像を、他のユーザと共有するステップを前記プロセッサに実行させる、請求項1乃至11のいずれかに記載のプログラム。
【請求項13】
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
指定された画像を登録するステップと、
合成画像の要求を受け付けるステップと、
要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得するステップと、
ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
を実行する方法。
【請求項14】
制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
指定された画像を登録するステップと、
合成画像の要求を受け付けるステップと、
要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得するステップと、
ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
を実行する情報処理装置。
【請求項15】
指定された画像を登録する手段と、
合成画像の要求を受け付ける手段と、
要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得する手段と、
ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得する手段と、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定する手段と、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示する手段と
を具備するシステム。
【請求項16】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
指定された画像を登録するステップと、
登録した一の画像とパラメータ値とを関連付けるステップと、
前記パラメータ値に基づいて、第1オブジェクトを決定するステップと、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像を前記ユーザに提示するステップと、
所定条件の成立により、前記パラメータ値を更新するステップと、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示するステップと
を実行させるプログラム。
【請求項17】
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
指定された画像を登録するステップと、
登録した一の画像とパラメータ値とを関連付けるステップと、
前記パラメータ値に基づいて、第1オブジェクトを決定するステップと、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像を前記ユーザに提示するステップと、
所定条件の成立により、前記パラメータ値を更新するステップと、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示するステップと
を実行する方法。
【請求項18】
制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
指定された画像を登録するステップと、
登録した一の画像とパラメータ値とを関連付けるステップと、
前記パラメータ値に基づいて、第1オブジェクトを決定するステップと、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像を前記ユーザに提示するステップと、
所定条件の成立により、前記パラメータ値を更新するステップと、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示するステップと
を実行する情報処理装置。
【請求項19】
指定された画像を登録する手段と、
登録した一の画像とパラメータ値とを関連付ける手段と、
前記パラメータ値に基づいて、第1オブジェクトを決定する手段と、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像を前記ユーザに提示する手段と、
所定条件の成立により、前記パラメータ値を更新する手段と、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定する手段と、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示する手段と
を具備するシステム。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、方法、情報処理装置、システムに関する。
【背景技術】
【0002】
所定の出来事についての思い出を残すため、撮影装置を用い、出来事についての情景を写真等の画像に収めることはよくある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011-98102号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
出来事についての情景を思い出として撮影することはいいが、撮影したままにしておくと、撮影をしたことすら忘れてしまうこともある。また、撮影した画像をいつか見直すことを自身に期待はしているが、何か動機がないと自発的に見直すことは稀であるという現状がある。
【0005】
なお、撮影した画像を生物の成育に用いる技術(特許文献1参照)もあるが、当該技術では、撮影時の生物の成育画像を出力するために撮影するため、撮影した画像を振り返ることは考慮していない。
【0006】
本開示の目的は、過去の画像を振り返って見直すことに、新たな興趣性を付与することである。
【課題を解決するための手段】
【0007】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップとを実行させる。
【発明の効果】
【0008】
本開示によれば、過去の画像を振り返って見直すことに、新たな興趣性を付与することができる。
【図面の簡単な説明】
【0009】
図1】システムの全体構成を示すブロック図である。
図2図1に示す端末装置の構成を表すブロック図である。
図3】サーバの機能的な構成を示す図である。
図4】画像情報DBのデータ構造を示す図である。
図5】パラメータDBのデータ構造を示す図である。
図6】オブジェクト情報DBのデータ構造を示す図である。
図7】合成画像がユーザに提示される際の端末装置と、サーバとの動作を説明する図である。
図8】第1画像として決定された画像を表す図である。
図9】ディスプレイに表示される合成画像を表す図である。
図10】ディスプレイに表示される合成画像のその他の例を表す図である。
図11】第1画像として決定された画像のその他の例を表す図である。
図12】ディスプレイに表示される合成画像のその他の例を表す図である。
図13】ディスプレイに表示される合成画像のその他の例を表す図である。
図14】第1画像として決定された画像のその他の例を表す図である。
図15】ディスプレイに表示される合成画像のその他の例を表す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0011】
<概略>
本実施形態に係るシステムは、過去に撮影した画像に所定のパラメータに応じた画像を重畳することで、過去の画像を振り返って見直すことに新たな興趣性を付与するシステムである。
【0012】
<1 システム全体の構成図>
図1は、システム1の全体構成の例を示すブロック図である。図1に示すシステム1は、複数の端末装置10と、サーバ20とを含む。端末装置10、サーバ20は、ネットワーク80を介して通信接続する。
【0013】
図1において、システム1が端末装置10を3台含む例を示しているが、システム1に含まれる端末装置10の数は、3台に限定されない。端末装置10が3台未満であってもよいし、3台以上であってもよい。
【0014】
本実施形態において、複数の装置の集合体を1つのサーバとしてもよい。1つ又は複数のハードウェアに対して本実施形態に係るサーバ20を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び/又はサーバ20に求められる仕様等に鑑みて適宜決定することができる。
【0015】
端末装置10は、例えば、サーバ20から合成画像の提供を受けるユーザが操作する装置である。端末装置10は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のPC(Personal Computer)、ラップトップPCであってもよい。
【0016】
端末装置10は、通信IF(Interface)12と、入力装置13と、出力装置14と、メモリ15と、ストレージ16と、プロセッサ19とを備える。
【0017】
通信IF12は、端末装置10が外部の装置と通信するため、信号を入出力するためのインタフェースである。
【0018】
入力装置13は、ユーザからの入力操作を受け付けるための装置(例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等)である。
【0019】
出力装置14は、ユーザに対して情報を提示するための装置(ディスプレイ、スピーカ等)である。
【0020】
メモリ15は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
【0021】
ストレージ16は、データを保存するためのものであり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
【0022】
プロセッサ19は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0023】
サーバ20は、例えば、合成画像をユーザへ提供する装置である。本実施形態に係る合成画像は、ユーザが過去に撮影した画像に対し、所定のオブジェクトが、所定の態様で合成された画像である。ユーザが過去に撮影した画像は、静止画であっても、動画であってもよい。オブジェクトは、例えば、人物、キャラクター、物体、文字等を含む。態様は、大きさ、色、角度、動画、静止画等を含む。
【0024】
サーバ20は、通信IF22と、入出力IF23と、メモリ25と、ストレージ26と、プロセッサ29とを備える。
【0025】
通信IF22は、サーバ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。
【0026】
入出力IF23は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し、情報を提示するための出力装置とのインタフェースとして機能する。
【0027】
メモリ25は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
【0028】
ストレージ26は、データを保存するためのものであり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
【0029】
プロセッサ29は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0030】
<1.1 端末装置の構成>
図2は、図1に示す端末装置10の構成例を表すブロック図である。図2に示すように、端末装置10は、通信部120と、入力装置13と、出力装置14と、音声処理部17と、マイク171と、スピーカ172と、カメラ161と、位置情報センサ150と、記憶部180と、制御部190とを備える。端末装置10に含まれる各ブロックは、例えば、バス等により電気的に接続される。
【0031】
通信部120は、端末装置10が他の装置と通信するための変復調処理等の処理を行う。通信部120は、制御部190で生成された信号に送信処理を施し、外部(例えば、サーバ20)へ送信する。通信部120は、外部から受信した信号に受信処理を施し、制御部190へ出力する。
【0032】
入力装置13は、端末装置10を操作するユーザが指示、又は情報を入力するための装置である。入力装置13は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス131等により実現される。端末装置10がPC等である場合には、入力装置13は、リーダー、キーボード、マウス等により実現されてもよい。入力装置13は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部190へ出力する。なお、入力装置13には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。
【0033】
出力装置14は、端末装置10を操作するユーザへ情報を提示するための装置である。出力装置14は、例えば、ディスプレイ141等により実現される。ディスプレイ141は、制御部190の制御に応じたデータを表示する。ディスプレイ141は、例えば、LCD(Liquid Crystal Display)、又は有機EL(Electro-Luminescence)ディスプレイ等によって実現される。
【0034】
音声処理部17は、例えば、音声信号のデジタル-アナログ変換処理を行う。音声処理部17は、マイク171から与えられる信号をデジタル信号に変換して、変換後の信号を制御部190へ与える。また、音声処理部17は、音声信号をスピーカ172へ与える。音声処理部17は、例えば音声処理用のプロセッサによって実現される。マイク171は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部17へ与える。スピーカ172は、音声処理部17から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。
【0035】
カメラ161は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。
【0036】
位置情報センサ150は、端末装置10の位置を検出するセンサであり、例えばGPS(Global Positioning System)モジュールである。GPSモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも3個または4個の衛星からの信号を受信し、受信した信号に基づいて、GPSモジュールが搭載される端末装置10の現在位置を検出する。
【0037】
記憶部180は、例えば、メモリ15、及びストレージ16等により実現され、端末装置10が使用するデータ、及びプログラムを記憶する。記憶部180は、例えば、ユーザ情報181、及び画像情報182を記憶する。
【0038】
ユーザ情報181は、例えば、端末装置10を使用するユーザについての情報を含む。ユーザについての情報には、例えば、ユーザを識別する情報、ユーザの氏名、年齢、住所、生年月日、電話番号、emailアドレス、所定のアカウント情報等が含まれる。
【0039】
ユーザ情報181は、ユーザについてのパラメータ(例えば、ユーザの活動に基づく情報、撮影に関する情報等)を含む。ユーザについてのパラメータは、例えば、端末装置10に設けられるセンサ(位置情報センサ150、カメラ161、加速度センサ(図示せず、なお、慣性センサでもよい)、ジャイロセンサ(図示せず)等)により取得される。また、ユーザについてのパラメータは、端末装置10に設けられる計時機能により取得されてもよい。また、ユーザについてのパラメータは、例えば、ユーザが利用している所定のサービスを提供しているサーバ(図示せず)との連携により取得されてもよい。ユーザについてのパラメータは、例えば、以下を含む。
・ユーザの活動に基づく情報(歩数、移動距離、移動経路等のユーザの移動に関する情報や、所定の場所で撮影をした事実、総撮影回数等のユーザによる撮影に関する情報)
・ユーザと関連付けられた他のユーザ(家族や友人等)の活動に基づく情報
・時間経過に関する情報(撮影からの経過時間、経過日数)
【0040】
ユーザと関連付けられた他のユーザの活動に基づく情報は、例えば、他のユーザと共同で所定の画像をクラウド上で管理している場合、例えば、他のユーザの歩数、移動距離、移動経路等のユーザの移動に関する情報や、所定の場所で撮影をした事実、総撮影回数等の他のユーザによる撮影に関する情報等を含む。
【0041】
画像情報182は、撮影信号に基づく画像についての情報である。画像情報182には、例えば、画像を表す、例えば、ピクセル情報と、画像についての付加的な情報であるメタ情報とが含まれる。
【0042】
メタ情報には、例えば、画像を識別する情報、撮影者を識別する情報、撮影年月日、撮影場所、撮影方向、輝度、色相、撮影モード、撮影対象等が含まれる。撮影場所は、画像を撮影した場所を表し、例えば、位置情報センサ150により取得された情報に基づく。撮影方向は、画像を撮影した方向を表し、例えば、端末装置10に設けられる地磁気センサ、及びジャイロセンサにより取得された情報に基づく。輝度は、画像の明るさを表し、例えば、画像の撮影時に設定された情報に基づく。色相は、画像の色合いを表し、例えば、ピクセル情報を解析することで得られる。撮影モードは、画像を撮影したときのモードを表し、例えば、画像の撮影時に設定された情報に基づく。撮影対象は、画像に含まれるオブジェクトを表し、例えば、ピクセル情報を解析することで得られる。
【0043】
なお、端末装置10によっては、画像(ピクセル情報)を解析する機能が設けられていないこともある。このとき、例えば、色相、又は撮影対象は、画像情報182に含まれていなくてもよい。
【0044】
制御部190は、プロセッサ19が記憶部180に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部190は、端末装置10の動作を制御する。制御部190は、プログラムに従って動作することにより、操作受付部191と、送受信部192と、画像解析部193と、表示制御部194と、記憶制御部195としての機能を発揮する。
【0045】
操作受付部191は、入力装置13から入力される指示、又は情報を受け付けるための処理を行う。具体的には、例えば、操作受付部191は、タッチ・センシティブ・デバイス131等から入力される指示に基づく情報を受け付ける。タッチ・センシティブ・デバイス131等を介して入力される指示は、例えば、以下である。
・サーバ20に対して画像を登録する指示
・サーバ20に対して合成画像を要求する指示
【0046】
また、操作受付部191は、マイク171から入力される音声指示を受け付ける。具体的には、例えば、操作受付部191は、マイク171から入力され、音声処理部17でデジタル信号に変換された音声信号を受信する。操作受付部191は、例えば、受信した音声信号を分析して所定の名詞を抽出することで、ユーザからの指示を取得する。
【0047】
送受信部192は、端末装置10が、サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部192は、画像を登録する指示、及び登録する画像情報をサーバ20へ送信する。また、送受信部192は、合成画像を要求する指示をサーバ20へ送信する。
【0048】
また、送受信部192は、ユーザ情報181の少なくとも一部の情報をサーバ20へ送信する。例えば、送受信部192は、情報を、例えば、以下のタイミングでサーバ20へ送信する。
・所定の周期
・センサにより動作が検出されたとき
・ユーザからの入力に応じて(例えば、画像の登録指示の入力、又は合成画像の要求指示の入力)
【0049】
画像解析部193は、カメラ161により撮影された撮影信号を解析する。具体的には、画像解析部193は、ピクセル情報を解析し、画像内に含まれる情報を取得する。例えば、画像解析部193は、画像内に含まれる情報として、色相を取得する。また、画像解析部193は、画像内に含まれる情報として、撮影された人物、場所、物体、イベント等を取得する。なお、端末装置10によっては、画像解析部193が存在していないこともある。
【0050】
表示制御部194は、ユーザに対してサーバ20から提供された画像を提示するため、出力装置14を制御する。具体的には、例えば、表示制御部194は、サーバ20から送信される情報に基づく画像をディスプレイ141に表示させる。
【0051】
記憶制御部195は、記憶部180に対するデータの記憶を制御する。例えば、記憶制御部195は、例えば、ユーザについてのパラメータをユーザ情報181に記憶する。具体的には、例えば、記憶制御部195は、位置情報センサ150により取得される移動距離、移動経路等をユーザ情報181に記憶する。また、記憶制御部195は、例えば、加速度センサにより取得される歩数をユーザ情報181に記憶する。また、記憶制御部195は、カメラ161により取得される総撮影回数、所定の場所で撮影をした情報等をユーザ情報181に記憶する。また、記憶制御部195は、所定のサーバから提供される情報をユーザ情報181に記憶する。また、記憶制御部195は、所定の基準点から経過した時間をユーザ情報181に記憶する。
【0052】
また、記憶制御部195は、カメラ161により撮影された画像についての情報を画像情報182に記憶する。具体的には、例えば、記憶制御部195は、カメラ161により取得された撮影信号に基づく画像についての情報を画像情報182に記憶する。
【0053】
<1.2 サーバの機能的な構成>
図3は、サーバ20の機能的な構成の例を示す図である。図3に示すように、サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。
【0054】
通信部201は、サーバ20が外部の装置と通信するための処理を行う。
【0055】
記憶部202は、合成画像を生成するためのデータが蓄積されたデータベース、例えば、画像情報データベース(DB)281と、パラメータデータベース(DB)282と、オブジェクト情報データベース(DB)283等とを有する。
【0056】
画像情報DB281は、ユーザから登録された画像についての情報を保持するためのデータベースである。詳細は後述する。
【0057】
パラメータDB282は、サービスの提供を受けるユーザについて管理している情報を保持するためのデータベースである。パラメータDB282では、登録された画像に対応した項目で、ユーザの活動等を示すパラメータ値が管理されている。以下では、パラメータDB282で管理される項目をパラメータ項目と称する。詳細は後述する。
【0058】
オブジェクト情報DB283は、画像に合成するオブジェクトについての情報を保持するためのデータベースである。詳細は後述する。
【0059】
制御部203は、プロセッサ29が記憶部202に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部203は、プログラムに従って動作することにより、受信制御モジュール2041、送信制御モジュール2042、登録モジュール2043、管理モジュール2044、解析モジュール2045、取得モジュール2046、決定モジュール2047、及び提示モジュール2048として示す機能を発揮する。
【0060】
受信制御モジュール2041は、サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0061】
送信制御モジュール2042は、サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0062】
登録モジュール2043は、ユーザにより指定された画像の登録処理を制御する。例えば、登録モジュール2043は、画像を登録する旨の指示と、当該画像についての画像情報とをユーザから受けると、受け取った画像情報を画像情報DB281に記憶する。
【0063】
管理モジュール2044は、ユーザについてのパラメータを管理する。例えば、管理モジュール2044は、ユーザ情報181の少なくとも一部の情報を端末装置10から受信すると、受信した情報に基づき、パラメータDB282を更新する。具体的には、例えば、管理モジュール2044は、画像が登録されると、登録された画像に関するパラメータ項目を設定する。管理モジュール2044は、例えば、パラメータ項目として、時間経過に係る項目(例えば、日数、月数、年数等)、場所に関する経験回数に係る項目(例えば、訪問回数、撮影回数等)、移動に係る項目(例えば、歩数、移動距離、到達地点等)、又は総撮影回数等を設定する。
【0064】
管理モジュール2044は、受信した情報に含まれる、ユーザの移動に関する情報に基づき、パラメータ項目の値を更新する。例えば、管理モジュール2044は、ユーザの移動に関する情報に基づき、所定の場所へ訪問したことを把握する。また、管理モジュール2044は、所定の場所へ訪問した回数を管理する。
【0065】
また、管理モジュール2044は、受信した情報に含まれる、ユーザによる撮影に関する情報から、所定の場所でユーザが撮影をしたことを把握する。また、管理モジュール2044は、所定の場所で撮影した回数を管理する。
【0066】
また、管理モジュール2044は、受信した情報に含まれる、ユーザと関連付けられた他のユーザの活動に基づく情報に基づき、パラメータ項目の値を更新する。なお、管理モジュール2044は、ユーザと関連付けられた他のユーザの活動に基づく情報を、所定のサービスを提供しているサーバ(図示せず)から受信してもよい。
【0067】
また、管理モジュール2044は、受信した情報に含まれる、時間経過に関する情報に基づき、パラメータ項目の値を更新する。
【0068】
管理モジュール2044は、サーバ20の管理者、又はユーザからの指示に基づき、パラメータ項目を設定してもよい。例えば、管理モジュール2044は、管理者から所謂ノルマのように課せられた条件を、パラメータ項目として設定してもよい。例えば、管理モジュール2044は、ユーザからノルマのように課せられた条件を、パラメータ項目として設定してもよい。
【0069】
解析モジュール2045は、画像情報の解析処理を制御する。例えば、解析モジュール2045は、画像情報DB281に登録されている画像のうち、所定の第1画像についての情報を解析し、第1画像に含まれるコンテクストを取得する。本実施形態において、コンテクストは、例えば、画像が撮影されたときの文脈、言い換えると、画像が撮影された意味、又は画像が撮影された意義、画像が撮影された場面等を表す。解析モジュール2045は、画像情報に含まれている情報に基づいて予め記憶部202に登録された複数のコンテクストから1、又は複数のコンテクストを取得する。例えば、解析モジュール2045は、画像情報に含まれているピクセル情報に対して画像解析を実施することで、以下の情報をコンテクストとして取得する。
・画像に映っている建物(遊園地、野球場、サッカースタジアム、陸上競技場、ライブ会場等)がある場所にいること
・画像に映っている人(ユーザ本人、ユーザが登録した人、公共のデータベースに基づいて判別可能な人等)がいること
・画像に映っているキャラクター(ユーザが登録したキャラクター、公共のデータベースに基づいて判別可能なキャラクター等)と一緒にいること
・画像に映っているイベント(誕生日、クリスマス、ハロウィン等)が実施されていること
・画像に映っている物体(ケーキ、クリスマスツリー、ジャック・オー・ランタン等)があること
・画像に漂う雰囲気
なお、画像に漂う雰囲気は画像の色相から判定してもよいし、画像に映っている人物の表情から判定してもよい。
【0070】
また、解析モジュール2045は、例えば、画像情報に含まれているメタ情報に基づき、以下の情報をコンテクストとして取得する。
・所定の年月日に撮影された画像であること
・所定の場所で撮影された画像であること
・所定の方向へ向けて撮影された画像であること
・所定の雰囲気の画像であること(色合いに基づく)
・所定の撮影対象(物体、人、キャラクター、イベント等)を含む画像であること
【0071】
なお、解析モジュール2045は、画像情報に含まれているピクセル情報に対する画像解析処理と、画像情報に含まれているメタ情報の抽出処理とを実施してもよいし、いずれか一方の処理を実施するようにしてもよい。
【0072】
解析モジュール2045は、登録されている画像のうち所定の要件を満たす画像を第1画像として決定する。所定の要件は、例えば、以下である。
・ユーザから指定された画像
・ランダムに選択された画像
・現在の日付けと関連する画像(撮影した日が同一の画像、撮影した月が同一の画像等)
・現在の場所と関連する画像(撮影した場所が同一の画像、撮影した場所が同一施設内の異なる場所の画像等)
・現在実施中と推定されるイベントと関連する画像(同一のイベントについての画像、一連のイベントのいずれかについての画像)
・所定の撮影条件を満たす画像(所定の対象を含む画像、所定の方向を撮影した画像、所定の輝度で撮影された画像、所定の色相の画像等)
【0073】
取得モジュール2046は、画像に関するパラメータ値の取得を制御する。例えば、取得モジュール2046は、登録されている画像のうち、例えば、解析モジュール2045で解析された第1画像についての所定のパラメータ項目についての値を、パラメータDB282を参照して取得する。
【0074】
具体的には、取得モジュール2046は、第1画像について、取得するパラメータの項目を選択する。取得モジュール2046は、設定されているパラメータ項目を選択する。ここで、パラメータ項目の値は、画像の撮影タイミングや、登録タイミングの後、画像合成処理までの間に変化しうる。例えば、取得モジュール2046は、パラメータ項目として、経過日数、訪問回数、撮影回数、歩数、移動距離、到達地点、総撮影回数等のうち、少なくともいずれかを選択する。
【0075】
取得モジュール2046は、例えば、解析モジュール2045により取得されたコンテクストに基づいて、いずれかのパラメータ項目を選択してもよい。例えば、解析モジュール2045により、所定の野球場にいるということがコンテクストとして取得された場合、取得モジュール2046は、この野球場への訪問回数をパラメータ項目として選択する。また、例えば、解析モジュール2045により、昔に撮影された画像(所定の年月日に撮影された画像)ということがコンテクストとして取得された場合、取得モジュール2046は、この画像が登録されてからの経過日数、又はこの画像が撮影されてからの経過日数をパラメータ項目として選択する。
【0076】
また、取得モジュール2046は、取得されたコンテクストに関わらず、ランダムに、いずれかのパラメータ項目を選択してもよい。
【0077】
取得モジュール2046は、選択したパラメータ項目についての値を、パラメータDB282に基づいて取得する。例えば、訪問回数をパラメータ項目として選択した場合、取得モジュール2046は、パラメータDB282に記憶される、所定の場所へ訪問した回数を取得する。
【0078】
また、例えば、経過日数をパラメータ項目として選択した場合、取得モジュール2046は、画像が登録されてから経過した日数を、パラメータDB282に記憶される更新日と、画像情報DB281に記憶される登録年月日とに基づいて取得する。また、取得モジュール2046は、画像が撮影されてから経過した日数を、パラメータDB282に記憶される更新日と、画像情報DB281に記憶される撮影年月日とに基づいて取得してもよい。
【0079】
決定モジュール2047は、画像に合成するオブジェクト、及びオブジェクトの態様を決定する。例えば、決定モジュール2047は、解析モジュール2045で取得されたコンテクストに基づいてオブジェクトを決定する。本実施形態において、オブジェクトは、例えば、キャラクター、人物、物体、文字等のいずれかに分類されており、分類に応じた内容となっている。
【0080】
決定モジュール2047は、取得モジュール2046により取得されたパラメータ項目の値に基づき、決定したオブジェクトのレベルを決定する。本実施形態において、オブジェクトのレベルとは、例えば、オブジェクトの豪華さ、オブジェクトの変化の度合い等を表す。オブジェクトの豪華さは、例えば、オブジェクトの分類がキャラクターである場合、例えば、以下により表される。
・キャラクターの数(レベルが上がると数が増える)
・キャラクターの持ち物(レベルが上がると持ち物が増える、持ち物が大きくなる)
・キャラクターの表情(レベルが上がるとより笑顔になる)
・キャラクターの進化度(レベルが上がると進化した形状となる)
・キャラクターが動く(レベルが低いときに動かなかったキャラクターがレベルが高いと動く、また、レベルが上がるとキャラクターの動きが変化する)
【0081】
決定モジュール2047は、画像内の構成に基づいてオブジェクトの表示態様を決定する。例えば、決定モジュール2047は、画像内において物体のない領域の位置、大きさ、及び形状等に基づき、決定したオブジェクトを合成する位置、大きさ、角度等を決定する。
【0082】
提示モジュール2048は、登録された画像のいずれかの第1画像に、所定のオブジェクトについての第2画像が合成された合成画像をユーザに提示する。具体的には、例えば、提示モジュール2048は、決定モジュール2047で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第2画像を作成する。提示モジュール2048は、作成した第2画像を第1画像に合成し合成画像を作成する。提示モジュール2048は、作成した合成画像をユーザに提示する。
【0083】
<2 データ構造>
図4図6は、サーバ20が記憶するデータベースのデータ構造を示す図である。なお、図4図6は一例であり、記載されていないデータを除外するものではない。
【0084】
図4は、画像情報DB281のデータ構造を示す図である。図4に示すように、画像情報DB281のレコードの各々は、項目「画像ID」と、項目「登録者」、項目「登録年月日」と、項目「撮影者」と、項目「撮影年月日」と、項目「場所」と、項目「撮影方向(方角、仰角)」と、項目「輝度」と、項目「色相」と、項目「撮影モード」、項目「撮影対象」等とを含む。図4では記載されていないが、各レコードには、ピクセル情報が関連付けられている。
【0085】
項目「画像ID」は、画像を識別する情報を記憶する。画像IDは、例えば、画像情報を登録する際に自動的に設定される。
【0086】
項目「登録者」は、画像を登録したユーザの氏名を記憶する。項目「登録者」は、ユーザを識別するユーザIDを記憶してもよい。
【0087】
項目「登録年月日」は、ユーザが画像を登録した年月日を記憶する。
【0088】
項目「撮影者」は、画像を撮影したユーザの氏名を記憶する。項目「撮影者」は、ユーザを識別するユーザIDを記憶してもよい。
【0089】
項目「撮影年月日」は、画像を撮影した年月日を記憶する。
【0090】
項目「場所」は、ユーザが画像を撮影した場所を記憶する。項目「場所」は、例えば、経度及び緯度により表される。
【0091】
項目「撮影方向」は、ユーザが画像を撮影した方向を記憶する。項目「撮影方向」は、例えば、方位角及び仰角により表される。
【0092】
項目「輝度」は、ユーザが画像を撮影した際に設定されていた輝度を記憶する。
【0093】
項目「色相」は、画像に含まれる色合いを記憶する。
【0094】
項目「撮影モード」は、ユーザが画像を撮影した際に設定されていた撮影モードを記憶する。
【0095】
項目「撮影対象」は、撮影後の解析により、画像に含まれていると判断されたオブジェクトを記憶する。
【0096】
図5は、パラメータDB282のデータ構造を示す図である。図5に示すように、パラメータDB282のレコードの各々は、項目「ユーザID」と、項目「パラメータ項目」と、項目「値」等とを含む。
【0097】
項目「ユーザID」は、ユーザを識別する情報を記憶する。
【0098】
項目「パラメータ項目」は、管理しているパラメータの項目を記憶する。パラメータ項目は、例えば、画像が登録されると追加される。
【0099】
項目「値」は、パラメータ項目についての値を記憶する。
【0100】
図6は、オブジェクト情報DB283のデータ構造を示す図である。図6に示すように、オブジェクト情報DB283のレコードの各々は、項目「オブジェクトID」と、項目「分類」と、項目「関連コンテクスト」と、項目「内容」等とを含む。
【0101】
項目「オブジェクトID」は、オブジェクトを識別する情報を記憶する。
【0102】
項目「分類」は、オブジェクトが属する分類を記憶する。
【0103】
項目「関連コンテクスト」は、オブジェクトと関連するコンテクストを記憶する。
【0104】
項目「内容」は、オブジェクトの内容を記憶する。項目「内容」は、複数のサブ項目を含む。本実施形態では、項目「内容」は、レベル毎に設定されている。各オブジェクトにおいて、サブ項目「レベル1」、サブ項目「レベル2」、サブ項目「レベル3」、サブ項目「レベル4」で、レベルに応じた内容が記憶されている。各レベルの内容は、例えば、取得モジュール2046で選択されるパラメータ項目毎に設定されていてもよい。
【0105】
<3 動作>
ユーザにより登録される画像に、オブジェクトに関する画像が合成されて提供される際の端末装置10と、サーバ20との動作について説明する。
【0106】
図7は、合成画像がユーザに提示される際の端末装置10と、サーバ20との動作の一例を説明する図である。
【0107】
まず、ユーザは、端末装置10を操作し、合成画像を提供するサービスを開始する。端末装置10は、サービスの提供画面において、例えば、画像の登録画面を表示する。ユーザは、登録画面において、端末装置10に記憶されている画像のうち、少なくとも1枚の画像を選択する。ユーザは、画像の選択を確定させる場合、例えば、端末装置10に表示される確定ボタンを押下する。端末装置10は、ユーザから画像の選択を受けると、画像の登録指示と、選択された画像についての情報とをサーバ20へ送信する(ステップS11)。
【0108】
サーバ20は、画像の登録指示と、選択された画像についての情報とを受信すると、登録モジュール2043により、受信した画像情報を画像情報DB281に記憶する(ステップS21)。サーバ20は、管理モジュール2044により、受信した画像情報に基づき、選択された画像と関連するパラメータ項目を作成する。管理モジュール2044は、作成したパラメータ項目をパラメータDB282に加える。
【0109】
端末装置10は、所定のタイミングで、ユーザ情報181の少なくとも一部の情報をサーバ20へ送信する(ステップS12)。端末装置10は、例えば、画像の登録指示に関わらず、情報をサーバ20へ送信する。
【0110】
サーバ20は、端末装置10から送信された情報を受信すると、管理モジュール2044により、受信した情報に基づき、パラメータDB282を更新する(ステップS22)。具体的には、例えば、管理モジュール2044は、パラメータDB282の各パラメータ項目における値を更新する。
【0111】
画像の登録指示を送信した後、端末装置10は、所定のタイミングでサーバ20に対し、合成画像の提示を要求する指示をサーバ20へ送信する(ステップS13)。所定のタイミングは、例えば、以下である。
・ユーザが合成画像の要求を入力したとき
・所定の日時に達したとき
・ユーザの活動が所定の条件を満たしたとき(所定の訪問回数の達成、所定の撮影回数の達成、所定の歩数の達成、所定の移動距離の達成、所定の地点への到達等)
・ユーザが画像情報182に記憶されている画像の閲覧に関する処理をしたとき(登録された画像と関連する画像が記憶されているアルバムを開いたとき、登録された画像を閲覧するとき等)
・ユーザと関連付けられた他のユーザの活動が所定の条件を満たしたとき
【0112】
端末装置10は、合成画像の元となる画像の指定をユーザから受け付けてもよい。ユーザは、登録した画像のうち、合成画像の元となる画像を選択し、確定ボタンを押下する。端末装置10は、ユーザから画像の選択を受けると、合成画像を要求する指示と共に、画像を選択する指示をサーバ20へ送信する。
【0113】
サーバ20は、合成画像を要求する指示を受信すると、解析モジュール2045により、登録されている画像のうち第1画像を決定する。解析モジュール2045は、ユーザにより合成画像の元となる画像が指定されている場合は、ユーザにより指定されている画像を第1画像として決定する。解析モジュール2045は、ユーザにより合成画像の元となる画像が指定されていない場合、例えば、画像情報DB281に記憶される情報と、ユーザの現在の状況とに基づいて第1画像を決定する。解析モジュール2045は、決定した第1画像についての情報を解析し、第1画像に含まれるコンテクストを取得する(ステップS23)。
【0114】
図8は、第1画像として決定された画像の例を表す図である。図8に示す画像は、誕生日のお祝いの際に撮影されたものである。図8に示す画像は、祝われる人物、祝う人物、誕生ケーキ等を含む。また、図8に示す画像は、例えば、画像情報DB281に記載する項目を含むメタ情報が付加されている。
【0115】
解析モジュール2045は、図8に示す画像からコンテクストを取得する。例えば、解析モジュール2045は、画像情報に含まれているピクセル情報、及び画像情報DB281に記憶される情報に基づき、「20YY/MM/DDに、(経度:Lat1,緯度:Lon1)で開催されたAAAAの誕生日会についての画像」という内容のコンテクストを取得する。
【0116】
サーバ20は、取得モジュール2046により、第1画像についての所定のパラメータ項目についての値を、パラメータDB282を参照して取得する(ステップS24)。具体的には、取得モジュール2046は、第1画像について、取得するパラメータの項目を選択する。取得モジュール2046は、予め設定されているパラメータ項目、例えば、経過日数、訪問回数、撮影回数、歩数、移動距離、到達地点、総撮影回数等のうち、少なくともいずれかを選択する。取得モジュール2046は、選択したパラメータ項目についての値を、パラメータDB282に基づいて取得する。
【0117】
図8に示す例において、取得モジュール2046は、例えば、解析モジュール2045により取得された「20YY/MM/DDに、(経度:Lat1,緯度:Lon1)で開催されたAAAAの誕生日会についての画像」とのコンテクストに基づいて、パラメータ項目を選択する。取得モジュール2046は、例えば、「(経度:Lat1,緯度:Lon1)での撮影回数」、「誕生日会の撮影回数」、「撮影日からの経過日数」、「登録日からの経過日数」、又は「総撮影回数」等のうち、いずれかをパラメータ項目として選択する。本説明では、例えば、取得モジュール2046が「誕生日会の撮影回数」をパラメータ項目として選択することとする。取得モジュール2046は、パラメータDB282を参照し、「誕生日会の撮影回数」を取得する。
【0118】
サーバ20は、決定モジュール2047により、第1画像に合成するオブジェクト、オブジェクトのレベル、及びオブジェクトの態様を決定する(ステップS25)。具体的には、決定モジュール2047は、解析モジュール2045で取得されたコンテクストに基づいてオブジェクトを決定する。決定モジュール2047は、取得モジュール2046により取得されたパラメータ項目の値に基づき、決定したオブジェクトのレベルを決定する。決定モジュール2047は、画像内の構成に基づいてオブジェクトの表示態様を決定する。
【0119】
図8に示す例において、決定モジュール2047は、例えば、解析モジュール2045により取得された「20YY/MM/DDに、(経度:Lat1,緯度:Lon1)で開催されたAAAAの誕生日会についての画像」とのコンテクストに基づいて、オブジェクトを決定する。決定モジュール2047は、例えば、項目「関連コンテクスト」が誕生日であるオブジェクトを選択する。決定モジュール2047は、例えば、取得モジュール2046で決定された「誕生日会の撮影回数」の値に応じ、オブジェクトのレベルを決定する。決定モジュール2047は、レベルに応じた基準値を予め複数設定している。決定モジュール2047は、撮影回数と基準値を比較し、オブジェクトのレベルを決定する。決定モジュール2047は、図8に示す第1画像の破線領域1411を、オブジェクトを合成させる領域として決定する。決定モジュール2047は、破線領域1411に合成可能なように、オブジェクトの大きさ、角度等を決定する。
【0120】
サーバ20は、提示モジュール2048により、合成画像を作成する(ステップS26)。具体的には、例えば、提示モジュール2048は、決定モジュール2047で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第2画像を作成する。提示モジュール2048は、作成した第2画像を第1画像に合成し合成画像を作成する。サーバ20は、作成した合成画像を記憶部202に記憶する。サーバ20は、例えば、合成画像を、第1画像とは別の画像として記憶部202に記憶する。
【0121】
サーバ20は、作成した合成画像をユーザに提示する(ステップS27)。具体的には、サーバ20は、作成した合成画像についての情報を端末装置10へ送信する。
【0122】
端末装置10は、受信した合成画像をディスプレイ141に表示する(ステップS14)。
【0123】
図9は、ディスプレイ141に表示される合成画像の例を表す図である。図9に示す合成画像において、誕生日を祝う文字、及びキャラクターを含む第2画像1412が合成されている。
【0124】
第1画像に基づいて作成される合成画像の内容は、図9に限定されない。合成画像が表示されるまでにパラメータ項目の値が高くなっていれば、オブジェクトのレベルが上がった合成画像が表示される。
【0125】
例えば、図9に示す合成画像をユーザが確認した後、所定のパラメータ項目の値が増大したとする。具体的には、図9に示す合成画像をユーザが確認してから、誕生日会を撮影する機会が複数回あったとする。撮影の対象となる誕生日会は、AAAAの誕生日会に限定されてもよいし、他の人物の誕生日会を許容してもよい。これにより、パラメータ項目として選択された「誕生日会の撮影回数」の値が高くなる。ユーザは、図9に示す合成画像を要求してから所定の期間が経過した後、改めて合成画像を要求する。決定モジュール2047は、高くなった「誕生日会の撮影回数」の値に応じ、オブジェクトのレベルを決定する。提示モジュール2048は、オブジェクトが豪華になった合成画像を作成する。
【0126】
図10は、ディスプレイ141に表示される合成画像のその他の例を表す図である。図10に示す合成画像は、例えば、図9に示す合成画像が提示されてから所定の期間が経過した後に入力された合成画像の要求指示に応じて作成された画像である。図10に示す合成画像では、図9に示す合成画像よりも豪華な内容となっている。
【0127】
図11は、第1画像として決定された画像のその他の例を表す図である。図11に示す画像は、公園で撮影されたものである。図11に示す画像は、公園で遊ぶ子供、公園の遊具、ベンチ等を含む。また、図11に示す画像は、例えば、画像情報DB281に記載する項目を含むメタ情報が付加されている。
【0128】
解析モジュール2045は、図11に示す画像からコンテクストを取得する。例えば、解析モジュール2045は、画像情報に含まれているピクセル情報、及び画像情報DB281に記憶される情報に基づき、「20YY/MM/DDに、経度:Lat2,緯度:Lon2の公園でAAAAが遊んでいる画像」という内容のコンテクストを取得する。
【0129】
取得モジュール2046は、解析モジュール2045により取得された「20YY/MM/DDに、(経度:Lat2,緯度:Lon2)の公園でAAAAが遊んでいる画像」とのコンテクストに基づいて、パラメータ項目を選択する。取得モジュール2046は、例えば、「(経度:Lat2,緯度:Lon2)の公園での撮影回数」、「(経度:Lat2,緯度:Lon2)の公園への訪問回数」、「公園内での歩数」、「公園内での移動距離」、「撮影日からの経過日数」、「登録日からの経過日数」、又は「総撮影回数」等のうち、いずれかをパラメータ項目として選択する。本説明では、例えば、取得モジュール2046が「(経度:Lat2,緯度:Lon2)の公園への訪問回数」をパラメータ項目として選択することとする。取得モジュール2046は、パラメータDB282を参照し、「(経度:Lat2,緯度:Lon2)の公園への訪問回数」を取得する。
【0130】
決定モジュール2047は、例えば、解析モジュール2045により取得された「20YY/MM/DDに、(経度:Lat2,緯度:Lon2)の公園でAAAAが遊んでいる画像」とのコンテクストに基づいて、オブジェクトを決定する。決定モジュール2047は、例えば、項目「関連コンテクスト」が公園であるオブジェクトを選択する。決定モジュール2047は、例えば、取得モジュール2046で決定された「(経度:Lat2,緯度:Lon2)の公園への訪問回数」の値に応じ、オブジェクトのレベルを決定する。ここでは、オブジェクトが合成されるレベルまで、訪問回数が足らなかった場合を想定する。決定モジュール2047は、再度の訪問を促すオブジェクトを決定する。
【0131】
提示モジュール2048は、決定モジュール2047で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第2画像を作成する。提示モジュール2048は、作成した第2画像を第1画像に合成し合成画像を作成する。
【0132】
図12は、ディスプレイ141に表示される合成画像のその他の例を表す図である。図12に示す合成画像において、再度の訪問を促す文字が合成されている。図12では、パラメータ項目が「訪問回数」であるため、再度の訪問を促す文字として「あと1回来園したら楽しい画像になります」が表示されている。取得モジュール2046が他のパラメータ項目を選択している場合、異なる記載が表示される。例えば、パラメータ項目として「公園での撮影回数」が選択される場合、決定モジュール2047は、公園での再度の撮影を促す文字オブジェクトとして「あと1枚公園で写真を撮ったら楽しい画像になります」を決定する。
【0133】
また、例えば、パラメータ項目として「公園内での歩数」が選択される場合、決定モジュール2047は、更なるウォーキングを促す文字オブジェクトとして、「もう少し歩くと楽しい画像になります」を決定する。また、例えば、パラメータ項目として「公園内での移動距離」が選択される場合、決定モジュール2047は、更なる移動を促す文字オブジェクトとして「公園内をもう少し探索すると楽しい画像になります」を決定する。
【0134】
また、例えば、パラメータ項目として「撮影日からの経過日数」、又は「登録日からの経過日数」が選択される場合、決定モジュール2047は、日数の経過を促す文字オブジェクトとして、「明日になったら楽しい画像になります」を決定する。また、例えば、パラメータ項目として「総撮影回数」が選択される場合、決定モジュール2047は、再度の撮影を促す文字オブジェクトとして「あと1枚写真を撮ったら楽しい画像になります」を決定する。
【0135】
次の動作を促す際に表示する回数は、1回に限定されない。予め設定された複数回から表示されるようにしてもよい。対応する動作を実施するごとに数字が減ることになり、ユーザはカウントダウンの楽しみを得ることが可能となる。
【0136】
図12に示す合成画像をユーザが確認した後、促される動作をユーザが実施したとする。具体的には、図12に示す合成画像をユーザが確認してから、この公園を訪問する機会が1回以上あったとする。これにより、パラメータ項目として選択された「(経度:Lat2,緯度:Lon2)の公園への訪問回数」の値が高くなる。ユーザは、要求された活動を実施した後、改めて合成画像を要求する。決定モジュール2047は、高くなった「(経度:Lat2,緯度:Lon2)の公園への訪問回数」の値に応じ、オブジェクトのレベルを決定する。提示モジュール2048は、オブジェクトが豪華になった合成画像を作成する。
【0137】
図13は、ディスプレイ141に表示される合成画像のその他の例を表す図である。図13に示す合成画像は、例えば、図12に示す合成画像が提示されてから、要求された活動をユーザが実施した後の要求指示に応じて作成された画像である。図13に示す合成画像では、図11に示す第1画像に基づく合成画像が表示されている。図13に示す合成画像では、公園での画像に、虹と太陽と光とのオブジェクトが合成されている。
【0138】
図14は、第1画像として決定された画像のその他の例を表す図である。図14に示す画像は、遊園地で撮影されたものである。図14に示す画像は、遊園地で遊ぶ子供、遊園地の建物、遊園地のアトラクション等を含む。また、図14に示す画像は、例えば、画像情報DB281に記載する項目を含むメタ情報が付加されている。
【0139】
解析モジュール2045は、図14に示す画像からコンテクストを取得する。例えば、解析モジュール2045は、画像情報に含まれているピクセル情報、及び画像情報DB281に記憶される情報に基づき、「19YY/MM/DDに、(経度:Lat3,緯度:Lon3)の遊園地でAAAAがアトラクションA1で遊んでいる画像」という内容のコンテクストを取得する。
【0140】
取得モジュール2046は、解析モジュール2045により取得された「19YY/MM/DDに、(経度:Lat3,緯度:Lon3)の遊園地でAAAAがアトラクションA1で遊んでいる画像」とのコンテクストに基づいて、パラメータ項目を選択する。取得モジュール2046は、例えば、「(経度:Lat3,緯度:Lon3)の遊園地での撮影回数」、「(経度:Lat3,緯度:Lon3)の遊園地への訪問回数」、「遊園地内での歩数」、「遊園地内での移動距離」、「撮影日からの経過日数」、「登録日からの経過日数」、又は「総撮影回数」等のうち、いずれかをパラメータ項目として選択する。本説明では、例えば、取得モジュール2046が「撮影日からの経過日数」をパラメータ項目として選択することとする。取得モジュール2046は、パラメータDB282を参照し、「撮影日からの経過日数」を取得する。
【0141】
決定モジュール2047は、例えば、解析モジュール2045により取得された「19YY/MM/DDに、(経度:Lat3,緯度:Lon3)の遊園地でAAAAがアトラクションA1で遊んでいる画像」とのコンテクストに基づいて、オブジェクトを決定する。決定モジュール2047は、例えば、項目「関連コンテクスト」が遊園地であるオブジェクトを選択する。決定モジュール2047は、例えば、取得モジュール2046で決定された「撮影日からの経過日数」の値に応じ、オブジェクトのレベルを決定する。遊園地によっては、過去に設置されていたアトラクションが、新しいアトラクションに変わっていることがある。そこで、撮影日から所定日数以上が経過している場合、つまり、パラメータ項目の値が所定値を超える場合、現存するアトラクションを紹介するオブジェクトが設定されるようにしてもよい。決定モジュール2047は、経過日数が所定以上の第1画像に対し、現存するアトラクションを紹介するオブジェクトを決定する。決定モジュール2047は、図14に示す第1画像に対し、決定したオブジェクトを合成可能なように、オブジェクトの大きさ、角度等を決定する。
【0142】
提示モジュール2048は、決定モジュール2047で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第2画像を作成する。提示モジュール2048は、作成した第2画像を第1画像に合成し合成画像を作成する。
【0143】
図15は、ディスプレイ141に表示される合成画像のその他の例を表す図である。図15に示す合成画像において、アトラクションA1の近傍に、現存する新たなアトラクションA2を紹介するオブジェクトとして、「今では新アトラクションA2になってます!」が表示されている。ユーザは、新たなアトラクションを紹介する表示を見ることで、新たなアトラクションへの興味が沸くと共に、今はないアトラクションを懐かしむことが可能となる。このように、サーバ20は、オブジェクトとして、ユーザに有益な情報を合成してもよい。
【0144】
以上のように、本実施形態では、サーバ20は、登録モジュール2043により、ユーザから指定された画像を登録する。サーバ20は、解析モジュール2045により、ユーザから合成画像の要求を受け付ける。サーバ20は、解析モジュール2045により、登録した画像を要求に応じて解析することで、画像のコンテクストを取得する。サーバ20は、取得モジュール2046により、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得する。サーバ20は、決定モジュール2047により、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定する。サーバ20は、提示モジュール2048により、決定したオブジェクトを、登録した画像に合成してユーザに提示するようにしている。これにより、サーバ20は、過去に撮影した画像に対し、撮影時には含まれていなかった画像を、登録又は撮影から要求時までの所定のパラメータに応じた態様で合成することが可能となる。このため、ユーザは、過去の画像に基づく思いがけない画像が提供されることになり、画像を楽しめる。
【0145】
したがって、本実施形態係るサーバ20によれば、過去の画像を振り返って見直すことに、新たな興趣性を付与することができる。
【0146】
また、サーバ20は、解析モジュール2045により、オブジェクトが合成された元の画像を用いた合成画像の要求を受け付ける。サーバ20は、取得モジュール2046により、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得するようにしている。これにより、サーバ20は、合成画像を作成した後に、同一の画像について改めて合成画像の要求を受けた場合、先の要求時から、今回の要求時までに更新されたパラメータ値を合成画像に反映させることが可能となる。このため、サーバ20は、先に提示した合成画像と異なる合成画像、例えば、先の合成画像よりも豪華なオブジェクトが合成された合成画像をユーザに提示することが可能となる。これにより、過去に撮影した画像に対する楽しみが膨らむことになる。
【0147】
また、上記実施形態では、取得モジュール2046は、パラメータ値を、時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数等のパラメータ項目から取得するようにしている。これにより、取得モジュール2046は、設定されている任意のパラメータ項目からパラメータ値を取得することが可能となる。
【0148】
また、上記実施形態では、取得モジュール2046は、パラメータ値を、ユーザ又は管理者から設定されたパラメータ項目についての値から取得するようにしている。これにより、ユーザは、合成画像を出現させるためのパラメータ項目を自身で設定することが可能となる。つまり、ユーザは、合成画像の提示を、自身が設定した目標(ノルマ)に対する報酬のように捉えることが可能となる。このため、合成画像が提示される興趣性が向上することとなる。
【0149】
また、管理者は、画像と関連する条件を自由に設定することが可能となる。例えば、管理者は、場所に対して、所定の時間をパラメータ項目に含めることが可能となる。具体的には、例えば、管理者は、「○○時から○○時の間における、所定の場所への訪問回数」のように設定可能である。このように管理者がパラメータ項目を設定できるようになることで、合成画像を出現させるための条件のバリエーションが増える。このため、ユーザは、合成画像の提示を、自身が設定した目標(ノルマ)に対する報酬のように捉えることが可能となる。このため、合成画像が提示される興趣性が向上することとなる。また、運営側が、ユーザに対し、過去の画像を振り返るきっかけを提供することが可能となる。
【0150】
また、上記実施形態では、解析モジュール2045は、画像に含まれる場所、人物、又はイベントを画像解析により把握することで、コンテクストを取得するようにしている。これにより、サーバ20は、ピクセル情報に含まれる内容からコンテクストを自動的に抽出することが可能となる。
【0151】
また、上記実施形態では、解析モジュール2045は、画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、コンテクストを取得するようにしている。これにより、サーバ20は、メタ情報からコンテクストを自動的に抽出することが可能となる。
【0152】
また、上記実施形態では、決定モジュール2047は、取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、オブジェクトを決定するようにしている。これにより、サーバ20は、抽出したコンテクストと対応するオブジェクトを自動的に決定することが可能となる。
【0153】
また、上記実施形態では、決定モジュール2047は、ユーザの活動等に応じて更新されるパラメータ値の大きさに基づき、オブジェクトの内容を決定するようにしている。これにより、サーバ20は、パラメータ値の大きさに応じて画像に合成させるオブジェクトの内容を変化させることが可能となる。このため、ユーザは、自身の活動等が画像にどのような変更を与えたのかを楽しむことが可能となる。
【0154】
また、上記実施形態では、取得モジュール2046は、登録した画像のうち、所定の要件を満たす画像を解析の対象とするようにしている。これにより、サーバ20は、画像を複数登録している場合において、合成画像の元になる画像を選択することが可能となる。
【0155】
<4 変形例>
サーバ20は、作成した合成画像に対し、元の画像である第1画像と関連付ける情報を付加してもよい。例えば、サーバ20は、合成画像のメタ情報に、第1情報との関連情報を書き込む。
【0156】
端末装置10は、サーバ20から合成画像を受信すると、受信した合成画像をディスプレイ141に表示する。端末装置10は、合成画像に付されているメタ情報を参照し、合成画像と関連する画像を画像情報182から検出する。具体的には、端末装置10は、例えば、合成画像と関連付けられている第1画像と、撮影された条件が同一の画像を検出する。撮影された条件が同一の画像とは、例えば、以下である。
・撮影時間が所定範囲内の画像(静止画、動画に関わらない。以下同様。)
・撮影場所が所定範囲内の画像
・撮影方向が所定範囲内の画像
・撮影対象が関連付けられている画像
【0157】
端末装置10は、検出した画像を、他の画像と識別可能にディスプレイ141に表示する。具体的には、例えば、端末装置10は、合成画像をディスプレイ141に表示しているときに、合成画像と関連する画像の表示をユーザに提案する。ユーザが提案に承諾すると、端末装置10は、合成画像と関連する画像、例えば、合成画像と関連付けられている第1画像と、撮影された条件が同一の画像のサムネイル画像をディスプレイ141に表示する。ユーザは、ディスプレイ141表示されているサムネイル画像から画像を選択し、画像を視認する。このように、オブジェクトが合成された画像と関連する画像を、他の画像と識別してユーザに提示することで、サーバ20は、合成画像をきっかけにして思い出させた画像と関連する画像を、ユーザに選択させやすくすることが可能である。このため、ユーザは、合成画像をきっかけに、自身の思い出を振り返ることが可能となる。
【0158】
また、サーバ20は、生成した画像信号を他のユーザに共有してもよい。例えば、サーバ20は、合成信号を端末装置10に送信すると、送信した合成信号の共有をユーザに提案する。
【0159】
ユーザは、合成画像が気に入り、他者へ共有することに同意した場合、サーバ20からの提案を承諾する。
【0160】
サーバ20は、ユーザが合成画像の共有に同意すると、合成画像にアクセス可能な情報を所定のSNS(Social Network Service)サービス、メールサービス、掲示板等を利用して他のユーザへ拡散する。サーバ20は、合成画像へアクセス可能な時期に制限をかけてもよい。サーバ20は、共有を承諾してくれたユーザに対し、所定の報酬を提供する。所定の報酬とは、例えば、以下である。
・合成画像へのオブジェクトの追加合成
・有利な効果(ポイント、クーポン等)の提供
・所定のパラメータ項目についての値の追加
【0161】
このように、オブジェクトを合成した画像を、他のユーザと共有することで、サーバ20は、他のユーザに対し、合成画像を作成する楽しさを提示することが可能となる。これにより、サーバ20は、今まで合成画像を作成していなかったユーザに対し、合成画像に興味を持たせることが可能となる。また、合成画像を共有されたユーザにとっては、自身の楽しさが拡散されることで他のユーザと楽しさを共有することが可能となる。
【0162】
また、サーバ20は、合成画像が表示されるサイトにおいて、合成画像を発生させるための条件(パラメータ項目、及びパラメータ項目についての値)を表示してもよい。これにより、合成画像を共有されたユーザは、合成画像を取得するための条件を把握することが可能となる。
【0163】
<5 その他の実施形態>
上記実施形態では、取得モジュール2046が一つのパラメータ項目を選択し、選択したパラメータ項目についての値を取得する場合を説明した。しかしながら、取得モジュール2046が選択するパラメータ項目は、一つに限定されない。取得モジュール2046は、2つ以上のパラメータ項目を選択してもよい。取得モジュール2046は、選択したパラメータ項目についての複数の値を決定モジュール2047へ出力してもよい。取得モジュール2046は、選択したパラメータ項目についての複数の値のうち、いずれかの値を決定モジュール2047へ出力してもよい。取得モジュール2046は、選択したパラメータ項目についての複数の値から評価値を算出してもよい。
【0164】
決定モジュール2047は、取得モジュール2046から出力される値に基づき、オブジェクトのレベルを決定する。取得モジュール2046から複数の値が出力される場合、決定モジュール2047は、複数の値のうち、いずれかの値を用いてオブジェクトのレベルを決定してもよい。また、決定モジュール2047は、複数の値に基づいて算出した評価値を用いてオブジェクトのレベルを決定してもよい。
【0165】
また、上記実施形態では、ユーザに提示する有益な情報として、新たなアトラクションを紹介する情報を例に説明した。しかしながら、有益な情報は、新たなアトラクションを紹介する情報に限定されない。決定モジュール2047は、有益な情報として以下も含めてよい。
・割引についての情報
・応募可能な権利についての情報
・当選を通知する情報
【0166】
このような情報が合成される可能性がある場合、サーバ20は、有益な情報を合成画像上に発生させる条件を、画像の登録時にユーザが把握可能なように表示する。
【0167】
また、上記実施形態では、画像がユーザにより撮影された画像である場合を例に説明した。しかしながら、画像は、これに限定されない。画像は、例えば、所定のアプリケーションにおけるスクリーンショット、又は所定のアプリケーション内で撮影された画像であってもよい。画像が、所定のアプリケーションにおけるスクリーンショット、又は所定のアプリケーション内で撮影された画像である場合、ユーザの活動に基づく情報は、例えば、ユーザによる操作ログを含んでもよい。ユーザの操作ログは、例えば、ユーザが操作するキャラクターの活動に基づく情報を含んでもよい。
【0168】
また、上記実施形態では、パラメータDB282で管理されるパラメータ項目が、ユーザの活動等を示すパラメータである場合を例に説明した。パラメータDB282では、ユーザと関連付けられた他のユーザの活動等を示すパラメータが管理されていてもよい。取得モジュール2046は、第1画像について、ユーザと関連付けられた他のユーザの活動等を示すパラメータの項目からもパラメータ項目を選択してもよい。決定モジュール2047は、選択されたパラメータ項目の値に基づき、オブジェクトのレベルを決定する。このように、他のユーザの活動等を示すパラメータ項目の値に基づいてオブジェクトのレベルを変えることで、自身の写真が他者の活動の影響を受けることになる。また、他者の写真が自身の活動の影響を受けることになる。このため、合成画像を作成する際、又は合成画像を変更させる際の興趣性が向上することになる。
【0169】
また、上記実施形態では、決定モジュール2047は、解析モジュール2045で取得されたコンテクストに基づいてオブジェクトを決定する場合を例に説明した。しかしながら、決定モジュール2047は、コンテクストに基づいてオブジェクトを決定しなくてもよい。決定モジュール2047は、例えば、以下によりオブジェクトを決定してもよい。
・ユーザからの指定
・ランダム
・オブジェクトが既に決定されている
【0170】
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
【0171】
<付記>
以上の各実施形態で説明した事項を以下に付記する。
【0172】
(付記1)
プロセッサ29と、メモリ25とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、指定された画像を登録するステップ(ステップS21)と、合成画像の要求を受け付けるステップ(ステップS13)と、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップ(ステップS23)と、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップ(ステップS24)と、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップ(ステップS25)と、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップ(ステップS26)とを実行させるプログラム。
【0173】
(付記2)
パラメータ値を取得するステップにおいて、パラメータ値を、時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数から取得する、(付記1)に記載のプログラム。
【0174】
(付記3)
パラメータ値を取得するステップにおいて、パラメータ値を、ユーザ又は管理者から設定された項目についての値から取得する、(付記1)又は(付記2)に記載のプログラム。
【0175】
(付記4)
コンテクストを取得するステップにおいて、画像に含まれる場所、人物、又はイベントを画像解析により把握することで、コンテクストを取得する、(付記1)乃至(付記3)のいずれかに記載のプログラム。
【0176】
(付記5)
コンテクストを取得するステップにおいて、画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、コンテクストを取得する、(付記1)乃至(付記4)のいずれかに記載のプログラム。
【0177】
(付記6)
オブジェクトを決定するステップにおいて、取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、オブジェクトを決定する、(付記1)乃至(付記5)のいずれかに記載のプログラム。
【0178】
(付記7)
オブジェクトを決定するステップにおいて、取得したパラメータ値の大きさに基づき、オブジェクトの内容を決定する、(付記1)乃至(付記6)のいずれかに記載のプログラム。
【0179】
(付記8)
オブジェクトを決定するステップにおいて、オブジェクトは、ユーザに有益な情報を含む、(付記1)乃至(付記7)のいずれかに記載のプログラム。
【0180】
(付記9)
コンテクストを取得するステップにおいて、登録した画像のうち、所定の要件を満たす画像を解析の対象とする、(付記1)乃至(付記8)のいずれかに記載のプログラム。
【0181】
(付記10)
要求を受け付けるステップにおいて、オブジェクトが合成された元の画像を用いた合成画像の要求を受け付け、パラメータ値を取得するステップにおいて、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得する、(付記1)乃至(付記9)記載のいずれかに記載のプログラム。
【0182】
(付記11)
オブジェクトが合成された画像と関連する画像を他の画像と識別してユーザに提示するステップをプロセッサに実行させる、(付記1)乃至(付記10)のいずれかに記載のプログラム。
【0183】
(付記12)
オブジェクトを合成した画像を、他のユーザと共有するステップをプロセッサに実行させる、(付記1)乃至(付記11)のいずれかに記載のプログラム。
【0184】
(付記13)
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成して前記ユーザに提示するステップとを実行する方法。
【0185】
(付記14)
制御部と、記憶部とを備える情報処理装置であって、制御部が、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップとを実行する情報処理装置。
【0186】
(付記15)
指定された画像を登録する手段と、合成画像の要求を受け付ける手段と、要求に応じて登録した画像を解析することで、画像のコンテクストを取得する手段と、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得する手段と、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定する手段と、決定したオブジェクトを、登録した画像に合成してユーザに提示する手段とを具備するシステム。
【0187】
(付記16)
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、指定された画像を登録するステップと、登録した一の画像とパラメータ値とを関連付けるステップと、パラメータ値に基づいて、第1オブジェクトを決定するステップと、決定した第1オブジェクトを一の画像に合成した第1合成画像をユーザに提示するステップと、所定条件の成立により、パラメータ値を更新するステップと、更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、決定した第2オブジェクトを一の画像に合成した第2合成画像をユーザに提示するステップとを実行させるプログラム。
【0188】
(付記17)
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、指定された画像を登録するステップと、登録した一の画像とパラメータ値とを関連付けるステップと、パラメータ値に基づいて、第1オブジェクトを決定するステップと、決定した第1オブジェクトを一の画像に合成した第1合成画像をユーザに提示するステップと、所定条件の成立により、パラメータ値を更新するステップと、更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、決定した第2オブジェクトを一の画像に合成した第2合成画像をユーザに提示するステップとを実行する方法。
【0189】
(付記18)
制御部と、記憶部とを備える情報処理装置であって、制御部が、指定された画像を登録するステップと、登録した一の画像とパラメータ値とを関連付けるステップと、パラメータ値に基づいて、第1オブジェクトを決定するステップと、決定した第1オブジェクトを一の画像に合成した第1合成画像をユーザに提示するステップと、所定条件の成立により、パラメータ値を更新するステップと、更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、決定した第2オブジェクトを一の画像に合成した第2合成画像をユーザに提示するステップとを実行する情報処理装置。
【0190】
(付記19)
指定された画像を登録する手段と、登録した一の画像とパラメータ値とを関連付ける手段と、パラメータ値に基づいて、第1オブジェクトを決定する手段と、決定した第1オブジェクトを一の画像に合成した第1合成画像をユーザに提示する手段と、所定条件の成立により、パラメータ値を更新する手段と、更新したパラメータ値に基づいて、第2オブジェクトを決定する手段と、決定した第2オブジェクトを一の画像に合成した第2合成画像をユーザに提示する手段とを具備するシステム。
【符号の説明】
【0191】
1…システム
10…端末装置
12…通信IF
120…通信部
13…入力装置
131…タッチ・センシティブ・デバイス
14…出力装置
141…ディスプレイ
15…メモリ
150…位置情報センサ
16…ストレージ
161…カメラ
17…音声処理部
171…マイク
172…スピーカ
180…記憶部
181…ユーザ情報
182…画像情報
19…プロセッサ
190…制御部
191…操作受付部
192…送受信部
193…画像解析部
194…表示制御部
195…記憶制御部
20…サーバ
201…通信部
202…記憶部
203…制御部
2041…受信制御モジュール
2042…送信制御モジュール
2043…登録モジュール
2044…管理モジュール
2045…解析モジュール
2046…取得モジュール
2047…決定モジュール
2048…提示モジュール
22…通信IF
23…入出力IF
25…メモリ
26…ストレージ
29…プロセッサ
281…画像情報DB
282…パラメータDB
283…オブジェクト情報DB
80…ネットワーク

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2022-06-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
指定された画像を登録するステップと、
合成画像の要求を受け付けるステップと、
登録した画像を要求に応じて解析することで、前記画像のコンテクストを取得するステップと、
前記画像の登録後に行われるユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
を実行させるプログラム。
【請求項2】
前記パラメータ値を取得するステップにおいて、前記パラメータ値を、撮影又は画像の登録からの時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数から取得する、請求項1記載のプログラム。
【請求項3】
前記パラメータ値を取得するステップにおいて、前記パラメータ値を、ユーザ又は管理者から設定された項目についての値から取得する、請求項1又は2に記載のプログラム。
【請求項4】
前記コンテクストを取得するステップにおいて、前記画像に含まれる場所、人物、又はイベントを画像解析により把握することで、前記コンテクストを取得する、請求項1乃至3のいずれかに記載のプログラム。
【請求項5】
前記コンテクストを取得するステップにおいて、前記画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、前記コンテクストを取得する、請求項1乃至4のいずれかに記載のプログラム。
【請求項6】
前記オブジェクトを決定するステップにおいて、前記取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、前記オブジェクトを決定する、請求項1乃至5のいずれかに記載のプログラム。
【請求項7】
前記オブジェクトを決定するステップにおいて、前記取得したパラメータ値の大きさに基づき、前記オブジェクトの内容を決定する、請求項1乃至6のいずれかに記載のプログラム。
【請求項8】
前記オブジェクトを決定するステップにおいて、前記オブジェクトは、ユーザに有益な情報を含む、請求項1乃至7のいずれかに記載のプログラム。
【請求項9】
前記コンテクストを取得するステップにおいて、前記登録した画像のうち、所定の要件を満たす画像を前記解析の対象とする、請求項1乃至8のいずれかに記載のプログラム。
【請求項10】
前記要求を受け付けるステップにおいて、前記オブジェクトが合成された元の画像を用いた合成画像の要求を受け付け、
前記パラメータ値を取得するステップにおいて、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得する、請求項1乃至9のいずれかに記載のプログラム。
【請求項11】
前記オブジェクトが合成された画像と関連する画像を他の画像と識別して前記ユーザに提示するステップを前記プロセッサに実行させる、請求項1乃至10のいずれかに記載のプログラム。
【請求項12】
前記オブジェクトを合成した画像を、他のユーザと共有するステップを前記プロセッサに実行させる、請求項1乃至11のいずれかに記載のプログラム。
【請求項13】
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
指定された画像を登録するステップと、
合成画像の要求を受け付けるステップと、
要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得するステップと、
前記画像の登録後に行われるユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
を実行する方法。
【請求項14】
制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
指定された画像を登録するステップと、
合成画像の要求を受け付けるステップと、
要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得するステップと、
前記画像の登録後に行われるユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
を実行する情報処理装置。
【請求項15】
指定された画像を登録する手段と、
合成画像の要求を受け付ける手段と、
要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得する手段と、
前記画像の登録後に行われるユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得する手段と、
前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定する手段と、
前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示する手段と
を具備するシステム。
【請求項16】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
指定された画像を登録するステップと、
登録した一の画像とパラメータ値とを関連付けるステップと、
前記パラメータ値に基づいて、第1オブジェクトを決定するステップと、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像をユーザに提示するステップと、
前記画像の登録後に発生する所定条件の成立により、前記パラメータ値を更新するステップと、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示するステップと
を実行させるプログラム。
【請求項17】
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
指定された画像を登録するステップと、
登録した一の画像とパラメータ値とを関連付けるステップと、
前記パラメータ値に基づいて、第1オブジェクトを決定するステップと、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像をユーザに提示するステップと、
前記画像の登録後に発生する所定条件の成立により、前記パラメータ値を更新するステップと、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示するステップと
を実行する方法。
【請求項18】
制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
指定された画像を登録するステップと、
登録した一の画像とパラメータ値とを関連付けるステップと、
前記パラメータ値に基づいて、第1オブジェクトを決定するステップと、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像をユーザに提示するステップと、
前記画像の登録後に発生する所定条件の成立により、前記パラメータ値を更新するステップと、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定するステップと、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示するステップと
を実行する情報処理装置。
【請求項19】
指定された画像を登録する手段と、
登録した一の画像とパラメータ値とを関連付ける手段と、
前記パラメータ値に基づいて、第1オブジェクトを決定する手段と、
前記決定した第1オブジェクトを前記一の画像に合成した第1合成画像をユーザに提示する手段と、
前記画像の登録後に発生する所定条件の成立により、前記パラメータ値を更新する手段と、
前記更新したパラメータ値に基づいて、第2オブジェクトを決定する手段と、
前記決定した第2オブジェクトを前記一の画像に合成した第2合成画像を前記ユーザに提示する手段と
を具備するシステム。