特開 2024-42753 プログラム、方法、情報処理装置、システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042753

(43)【公開日】2024-03-29

(54)【発明の名称】プログラム、方法、情報処理装置、システム

(51)【国際特許分類】

   G16H 20/00 20180101AFI20240322BHJP

   A63F 13/213 20140101ALI20240322BHJP

   A63F 13/79 20140101ALI20240322BHJP

   A63F 13/212 20140101ALI20240322BHJP

   A63F 13/214 20140101ALI20240322BHJP

   A63F 13/65 20140101ALI20240322BHJP

【ＦＩ】

G16H20/00

A63F13/213

A63F13/79

A63F13/212

A63F13/214

A63F13/65

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022147535

(22)【出願日】2022-09-16

(71)【出願人】

【識別番号】504440133

【氏名又は名称】株式会社ポケモン

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】押野 洋介

(72)【発明者】

【氏名】河島 渉

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

(57)【要約】

【課題】過去に撮影された画像を活用して合成画像を生成することで、新たな興趣性を提供する。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、ユーザの睡眠の状態を取得するステップと、就寝前に取得した画像から第１画像を選択するステップと、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させるステップとを実行させる。
【選択図】図７

【特許請求の範囲】

【請求項1】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
ユーザの睡眠の状態を取得するステップと、
就寝前に取得した画像から第１画像を選択するステップと、
前記睡眠の状態に基づいてオブジェクトを選択し、前記選択したオブジェクトを前記第１画像中に発生させるステップと
を実行させるプログラム。

【請求項2】

前記発生させるステップにおいて、前記睡眠の状態に応じてオブジェクトの豪華さを変化させる請求項１記載のプログラム。

【請求項3】

前記発生させるステップにおいて、前記睡眠の状態に応じてオブジェクトの挙動を変化させる請求項１記載のプログラム。

【請求項4】

前記発生させるステップにおいて、前記睡眠の状態の遷移に基づいてオブジェクトの挙動を変化させる請求項３記載のプログラム。

【請求項5】

前記発生させるステップにおいて、前記睡眠の状態に基づいて設定される眠気に応じてオブジェクトの挙動を変化させる請求項３記載のプログラム。

【請求項6】

前記発生させるステップにおいて、前記睡眠の状態に応じた、現在の時刻と異なる時刻を前記オブジェクトに含める請求項１記載のプログラム。

【請求項7】

前記第１画像を解析し、前記第１画像に含まれる内容を認識するステップを前記プロセッサに実行させ、
前記発生させるステップにおいて、前記認識した内容に基づいてオブジェクトを選択する請求項１載のプログラム。

【請求項8】

前記第１画像を解析し、前記第１画像に含まれる３次元構造を認識するステップを前記プロセッサに実行させ、
前記発生させるステップにおいて、前記認識した３次元構造に基づいてオブジェクトの挙動を変化させる請求項１記載のプログラム。

【請求項9】

前記選択したオブジェクトを前記第１画像中に発生させた画像を、他のユーザと共有するステップを前記プロセッサに実行させる請求項１記載のプログラム。

【請求項10】

プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
ユーザの睡眠の状態を取得するステップと、
就寝前に取得した画像から第１画像を選択するステップと、
前記睡眠の状態に基づいてオブジェクトを選択し、前記選択したオブジェクトを前記第１画像中に発生させるステップと
を実行する方法。

【請求項11】

制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
ユーザの睡眠の状態を取得するステップと、
就寝前に取得した画像から第１画像を選択するステップと、
前記睡眠の状態に基づいてオブジェクトを選択し、前記選択したオブジェクトを前記第１画像中に発生させるステップと
を実行する情報処理装置。

【請求項12】

ユーザの睡眠の状態を取得する手段と、
就寝前に取得した画像から第１画像を選択する手段と、
前記睡眠の状態に基づいてオブジェクトを選択し、前記選択したオブジェクトを前記第１画像中に発生させる手段と
を具備するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、方法、情報処理装置、システムに関する。

【背景技術】

【0002】

睡眠情報を利用したゲームが知られている（特許文献１参照）。特許文献１では、睡眠情報をゲーム内の変数（パラメータ）の一つとして利用することで、睡眠についてユーザの興味を引くようにしている。また、特許文献１では、良質な睡眠により、ゲームにおいて良好な結果を得られる設計にすることで、睡眠に対するモチベーションを上げることが可能である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１６／０２１２３５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

睡眠情報を利用する従来のゲームは、睡眠を取ることのモチベーション向上には繋がるが、睡眠体験自体の価値を向上させるものではない。

【0005】

本開示の目的は、就寝前に撮影された画像を活用して合成画像を生成することで、睡眠という体験の価値を向上させることである。

【課題を解決するための手段】

【0006】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、ユーザの睡眠の状態を取得するステップと、就寝前に取得した画像から第１画像を選択するステップと、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させるステップとを実行させる。

【発明の効果】

【0007】

本開示によれば、就寝前に撮影された画像を活用して合成画像を生成することで、睡眠という体験の価値を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】システムの全体構成を示すブロック図である。

【図2】図１に示す端末装置の構成を表すブロック図である。

【図3】サーバの機能的な構成を示す図である。

【図4】ユーザ情報のデータ構造を示す図である。

【図5】画像情報のデータ構造を示す図である。

【図6】オブジェクト情報のデータ構造を示す図である。

【図7】合成画像がユーザに提示される際の端末装置の動作を表すフローチャートである。

【図8】睡眠を評価する画像を表す模式図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0010】

＜概略＞
本実施形態に係るシステムは、良質な睡眠を促すためのアプリケーション（プログラム）である睡眠アプリをユーザに提供する。睡眠アプリでは、睡眠の質の応じた画像がユーザにより就寝前に撮影された画像に合成され、合成画像がユーザに提示される。

【0011】

＜１ システム全体の構成図＞
図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、複数の端末装置１０と、サーバ２０とを含む。端末装置１０、サーバ２０は、ネットワーク８０を介して通信接続する。

【0012】

図１において、システム１が端末装置１０を３台含む例を示しているが、システム１に含まれる端末装置１０の数は、３台に限定されない。端末装置１０が３台未満であってもよいし、３台以上であってもよい。

【0013】

本実施形態において、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係るサーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に鑑みて適宜決定することができる。

【0014】

端末装置１０は、例えば、睡眠アプリを利用するユーザが操作する装置である。ユーザは、端末装置１０を操作し、例えば、サーバ２０から提供される睡眠アプリを利用する。端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣであってもよい。

【0015】

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。

【0016】

通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。

【0017】

入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。

【0018】

出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカ等）である。

【0019】

メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0020】

ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。

【0021】

プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0022】

サーバ２０は、例えば、睡眠アプリを端末装置１０に提供する装置である。サーバ２０は、例えば、睡眠アプリに関するデータ、及び睡眠アプリを利用するユーザの情報等を管理する。なお、サーバ２０は、所定の管理サーバを介して端末装置１０へ睡眠アプリを提供してもよい。

【0023】

サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。

【0024】

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。

【0025】

入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し、情報を提示するための出力装置とのインタフェースとして機能する。

【0026】

メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0027】

ストレージ２６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。

【0028】

プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0029】

＜１．１ 端末装置の構成＞
図２は、図１に示す端末装置１０の構成例を表すブロック図である。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカ１７２と、カメラ１６０と、位置情報センサ１５０と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。

【0030】

通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

【0031】

入力装置１３は、端末装置１０を操作するユーザが指示、又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

【0032】

出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

【0033】

音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカ１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカ１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

【0034】

カメラ１６０は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。

【0035】

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。

【0036】

記憶部１８０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。記憶部１８０は、例えば、ユーザ情報１８１、画像情報１８２、及びオブジェクト情報１８３を記憶する。

【0037】

ユーザ情報１８１は、例えば、端末装置１０を使用するユーザについての情報を含む。ユーザについての情報には、例えば、ユーザを識別する情報、ユーザの氏名、年齢、住所、生年月日、電話番号、ｅｍａｉｌアドレス、所定のアカウント情報等が含まれる。

【0038】

ユーザ情報１８１は、ユーザの睡眠に関する情報を含む。ユーザの睡眠に関する情報は、例えば、睡眠に関する情報を取得した日付、睡眠について目標とする入眠時間、起床時間、及び睡眠時間、実際の入眠時間、起床時間、及び睡眠時間、並びに、睡眠についての評価等を含む。

【0039】

ユーザ情報１８１は、睡眠アプリのやり込みに係るパラメータを含む。パラメータの値は、例えば、目標を達成したか否かの遷移に基づいて変化する。例えば、パラメータの値は、目標入眠時間と実際の入眠時間との差、目標起床時間と実際の起床時間との差、目標睡眠時間と実際の睡眠時間との差、又は睡眠についての評価等の遷移に基づいて変化する。

【0040】

画像情報１８２は、撮影信号に基づく画像についての情報である。画像情報１８２には、例えば、画像を表す、例えば、ピクセル情報と、画像についての付加的な情報であるメタ情報とが含まれる。
本実施形態において、画像情報１８２に記憶される画像は、例えば、以下のように撮影される。
・就寝前に、本実施形態に係るシステムとは無関係なカメラアプリを用いてユーザにより撮影される
・就寝前又は就寝直後に、睡眠アプリに含まれる機能によって、例えば、「自分の部屋の写真を撮影してみよう！」のように撮影を促され、撮影を促されたユーザにより撮影される

【0041】

メタ情報には、例えば、画像を識別する情報、撮影年月日、撮影場所、撮影方向、輝度、色相、撮影モード、撮影対象等が含まれる。なお、端末装置１０によっては、画像を撮影した際に画像（ピクセル情報）を解析する機能が設けられていないこともある。このとき、例えば、色相、又は撮影対象は、画像情報１８２に含まれていなくてもよい。

【0042】

撮影場所は、画像を撮影した場所を表し、例えば、位置情報センサ１５０により取得された情報に基づく。撮影方向は、画像を撮影した方向を表し、例えば、端末装置１０に設けられる地磁気センサ、及びジャイロセンサにより取得された情報に基づく。輝度は、画像の明るさを表し、例えば、画像の撮影時に設定された情報に基づく。色相は、画像の色合いを表し、例えば、ピクセル情報を解析することで得られる。撮影モードは、画像を撮影したときのモードを表し、例えば、画像の撮影時に設定された情報に基づく。撮影対象は、画像に含まれるオブジェクトを表し、例えば、ピクセル情報を解析することで得られる。

【0043】

カメラ１６０が撮影時に被写体の深度を取得可能な機能を有する場合、メタ情報には、被写体の深度を表す深度情報が含まれていてもよい。

【0044】

オブジェクト情報１８３は、睡眠アプリにおいて、ユーザにより撮影された画像に合成する画像を生成するためのオブジェクトについての情報である。オブジェクト情報１８３は、例えば、サーバ２０から提供される。

【0045】

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１と、送受信部１９２と、画像解析部１９３と、評価部１９４と、記憶制御部１９５と、画像生成部１９６と、表示制御部１９７と、撮影制御部１９８としての機能を発揮する。

【0046】

操作受付部１９１は、入力装置１３から入力される指示、又は情報を受け付けるための処理を行う。具体的には、例えば、操作受付部１９１は、タッチ・センシティブ・デバイス１３１等から入力される指示、又は情報を受け付ける。タッチ・センシティブ・デバイス１３１等を介して入力される情報は、例えば、以下である。
・目標とする入眠時間（目標入眠時間）
・目標とする起床時間（目標起床時間）
・入眠時間
・起床時間
本実施形態では、制御部１９０は、例えば、入眠時間の入力が受け付けられてから、起床時間の入力が受け付けられるまで、ユーザが就寝しているとする。

【0047】

また、操作受付部１９１は、マイク１７１から入力される音声指示を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタル信号に変換された音声信号を受信する。操作受付部１９１は、例えば、受信した音声信号を分析して所定の名詞を抽出することで、ユーザからの指示を取得する。

【0048】

送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、ユーザ情報１８１の少なくとも一部の情報をサーバ２０へ送信する。例えば、送受信部１９２は、ユーザ情報１８１の少なくとも一部の情報を、例えば、以下のタイミングでサーバ２０へ送信する。
・所定の周期
・ユーザからの入力に応じて（例えば、目標入眠時間、目標起床時間、入眠時間、又は起床時間の入力）
・ユーザの睡眠が評価されたタイミング

【0049】

画像解析部１９３は、画像を解析する。具体的には、画像解析部１９３は、例えば、以下のタイミングで画像を解析する。
・カメラ１６０により撮影された画像が、画像情報１８２に記憶される前のタイミング
・合成画像を生成するタイミング

【0050】

画像解析部１９３は、ピクセル情報を解析し、画像内に含まれる情報を取得する。画像解析部１９３は、静止画又は動画を解析する。

【0051】

例えば、画像解析部１９３は、カメラ１６０により撮影された画像についての解析では、何を撮影した画像であるかを検知する。例えば、画像解析部１９３は、画像が、人物を撮影した画像であること、場所を撮影した画像であること、物体を撮影した画像であること、イベントを撮影した画像であること等を検知する。また、画像解析部１９３は、画像内に含まれる情報として、画像の色相を検知する。

【0052】

また、例えば、画像解析部１９３は、合成画像を生成する際の解析では、撮影時よりも詳細に画像を解析する。例えば、画像解析部１９３は、画像に写っている内容を検知する。また、画像解析部１９３は、画像内の３次元構造を検知する。画像解析部１９３は、画像内の３次元構造を、画像に付されているメタ情報（例えば、深度情報）に基づいて推定してもよい。画像解析部１９３は、合成画像を生成する際の解析を、就寝前に実施してもよいし、就寝時に実施してもよい。

【0053】

具体的には、例えば、画像解析部１９３は、画像に写っている人物が誰であるかを検知する。より具体的には、例えば、画像解析部１９３は、画像に写っている人物が、端末装置１０内に登録されている人物のいずれに該当するかを検知する。また、画像解析部１９３は、画像に写っている場所がどこであるかを検知する。より具体的には、例えば、画像解析部１９３は、画像に写っている場所が、屋内、公園、又は遊園地等であることを検知する。また、画像解析部１９３は、画像に写っている物体が何であるかを検知する。より具体的には、例えば、画像解析部１９３は、画像に写っている物体が、ドア、ベッド、風呂、水（海、プール）、又は食べ物等であることを検知する。また、画像解析部１９３は、画像に写っているイベントがなんであるかを検知する。より具体的には、例えば、画像解析部１９３は、画像に写っているイベントが、誕生日、ハロウィン、クリスマス、又は正月等であることを検知する。

【0054】

また、具体的には、画像解析部１９３は、例えば、画像に写っている水平平面、例えば、床又は地面等を検知する。また、画像解析部１９３は、例えば、画像に写っている垂直平面、例えば、壁等を検知する。また、画像解析部１９３は、例えば、画像内の広がり、奥行き、又は物体の配置等を検知する。

【0055】

画像解析部１９３は、検知する情報をユーザからの操作に基づいて設定してもよい。例えば、画像解析部１９３は、画像中の所定の領域の指定を受け付け、その領域で表されるものの名称の入力を受け付ける。画像解析部１９３は、受け付けた情報に基づき、検知する情報を設定する。具体的には、例えば、ユーザが入力装置１３を操作することで、画像中においてドアを表す領域を囲み、この領域で表されるものがドアであると入力する。画像解析部１９３は、ユーザから入力された情報に基づき、画像中において、ドアを検知する情報として設定する。

【0056】

画像解析部１９３は、検知する情報を設定するための入力を、例えば、以下のタイミングで受け付ける。
・ユーザから要求されたタイミング
・画像が撮影されたタイミング（就寝前、又は就寝直後を含む）

【0057】

評価部１９４は、ユーザの睡眠を評価する。具体的には、例えば、評価部１９４は、ユーザの睡眠に関する情報に基づき、ユーザの睡眠を評価する。より具体的には、評価部１９４は、ユーザの睡眠時間、ユーザの睡眠の習慣に基づき、ユーザの睡眠を評価する。評価部１９４は、ユーザの睡眠の習慣を、例えば、目標とする入眠時間及び起床時間と、実際の入眠時間及び起床時間とから把握する。

【0058】

記憶制御部１９５は、記憶部１８０に対するデータの記憶を制御する。例えば、記憶制御部１９５は、例えば、ユーザについてのパラメータをユーザ情報１８１に記憶する。具体的には、例えば、記憶制御部１９５は、ユーザから入力される情報、例えば、目標入眠時間、目標起床時間、入眠時間、又は起床時間をユーザ情報１８１に記憶する。

【0059】

記憶制御部１９５は、カメラ１６０により撮影された画像についての情報を画像情報１８２に記憶する。具体的には、例えば、記憶制御部１９５は、カメラ１６０により取得された撮影信号に基づく画像についての情報を画像情報１８２に記憶する。また、記憶制御部１９５は、画像解析部１９３により検知された情報を画像のメタ情報として画像情報１８２に記憶する。

【0060】

記憶制御部１９５は、サーバ２０でオブジェクトに関する情報が更新されると、サーバ２０から提供される更新情報に基づき、オブジェクト情報１８３を更新する。

【0061】

画像生成部１９６は、画像情報１８２に記憶されている画像のいずれかに、所定のオブジェクトについての画像を合成した合成画像を生成する。

【0062】

具体的には、例えば、画像生成部１９６は、画像情報１８２に記憶されている画像から、オブジェクトが合成される第１画像を決定する。画像生成部１９６は、例えば、画像情報１８２に記憶されているメタ情報等を参照し、以下の画像を第１画像として決定する。第１画像として決定される画像は、静止画であっても動画であってもよい。
・ユーザにより指定された画像
・所定の人物が含まれている画像
・所定の物体が含まれている画像
・所定の場所で撮影された画像
・所定のイベントで撮影された画像
・所定のタイミングで撮影された画像（例えば、目標入眠時間、目標起床時間、又は入眠時間を入力する直前、又は入力した直後に撮影された画像、睡眠アプリのＵＩの指示に従って撮影された画像）

【0063】

画像生成部１９６は、例えば、オブジェクト情報１８３に記憶されているオブジェクトから、第１画像に合成するオブジェクトを決定する。例えば、画像生成部１９６は、画像解析部１９３により検知された内容に基づいてオブジェクトを決定する。本実施形態において、オブジェクトのコンセプトは、例えば、所定の内容毎に予め設定されている。また、オブジェクトは、各コンセプトにおいて、睡眠に関する評価に応じてレベルが変化するように設定されている。本実施形態において、オブジェクトのレベルとは、例えば、オブジェクトの豪華さ、オブジェクトの変化の度合い等を表す。オブジェクトの豪華さは、例えば、以下により表される。
・オブジェクトの数（レベルが上がると数が増える）
・オブジェクトの形状（レベルが上がると一般的な物体がキャラクタを模した物体になる、レベルが上がると物体が大きくなる）
・キャラクタ化（レベルが上がると物体がキャラクタになる）
・キャラクタの持ち物（レベルが上がると持ち物が増える、持ち物が大きくなる）
・キャラクタの表情（レベルが上がるとより笑顔になる）
・キャラクタの進化度（レベルが上がると進化した形状となる）
・キャラクタが動く（レベルが低いときに動かなかったキャラクタがレベルが高いと動く、また、レベルが上がるとキャラクタの動きが変化する）

【0064】

画像生成部１９６は、検知された内容に基づいてオブジェクトのコンセプトを決定する。画像生成部１９６は、評価部１９４による評価に基づいて、決定したコンセプトにおけるオブジェクトのレベルを決定する。

【0065】

画像生成部１９６は、第１画像内の構成に基づいてオブジェクトの表示態様を決定する。例えば、画像生成部１９６は、第１画像内の物体の位置、第１画像内の３次元構造に基づき、決定したオブジェクトを合成する位置、大きさ、角度、動作等を決定する。

【0066】

決定したオブジェクトによっては、オブジェクトの内容が確率で変化するものがあってもよい。例えば、所定のキャラクタが他のキャラクタを付随させて登場させるオブジェクトである。この場合、画像生成部１９６は、付随する他のキャラクタを、所定のパラメータを利用して抽選する。所定のパラメータは、例えば、睡眠に関する評価、又は睡眠アプリのやり込みに係るパラメータである。睡眠に関する評価が高いほど、付随する他のキャラクタが希少度の高いキャラクタとなる。

【0067】

画像生成部１９６は、決定したオブジェクト、及び決定した態様に基づいて、第１画像に合成する第２画像を生成する。画像生成部１９６は、第１画像に第２画像を合成し、合成画像を生成する。画像生成部１９６は、第２画像におけるオブジェクトの挙動を、睡眠アプリのやり込みに係るパラメータに基づいて変化させるようにしてもよい。例えば、画像生成部１９６は、パラメータの値が高い場合、行動のバリエーションを増やすようにしてもよい。合成画像を生成する手法は、第１画像に第２画像を合成（重畳）することに限定されない。第１画像にオブジェクトについての画像を発生させる手法であれば、合成することに限定されない。

【0068】

表示制御部１９７は、ユーザに対して合成画像を提示するため、出力装置１４を制御する。具体的には、例えば、表示制御部１９７は、所定のタイミングで、生成した合成画像をディスプレイ１４１に表示させる。所定のタイミングとは、例えば、以下である。
・ユーザが起床したタイミング
・ユーザが合成画像の表示を要求したタイミング

【0069】

撮影制御部１９８は、カメラ１６０による画像の撮影を制御する。例えば、撮影制御部１９８は、所定のタイミングで画像の撮影をユーザに促す。撮影制御部１９８は、撮影を促したユーザからの入力に応じ、画像を撮影する。画像の撮影を促すタイミングは、例えば、就寝前、又は就寝直後のタイミングであり、例えば、以下である。
・目標入眠時間に達したタイミング（目標入眠時間に達する前に入眠時間が入力された場合には実施されない）
・入眠時間が入力されたタイミング

【0070】

＜１．２ サーバの機能的な構成＞
図３は、サーバ２０の機能的な構成の例を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

【0071】

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

【0072】

記憶部２０２は、例えば、ユーザ情報データベース（ＤＢ）２０２１と、オブジェクト情報データベース（ＤＢ）２０２２等とを有する。

【0073】

ユーザ情報ＤＢ２０２１は、睡眠アプリを利用するユーザについての情報を保持するためのデータベースである。ユーザ情報ＤＢ２０２１は、例えば、ユーザを識別するためのユーザＩＤ、睡眠に関する情報を取得した日付、睡眠について目標とする入眠時間、起床時間、及び睡眠時間、実際の入眠時間、起床時間、及び睡眠時間、並びに睡眠についての評価を含む。

【0074】

オブジェクト情報ＤＢ２０２２は、画像に合成するオブジェクトについての情報を保持するためのデータベースである。

【0075】

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０３１、送信制御モジュール２０３２、及び管理モジュール２０３３として示す機能を発揮する。

【0076】

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0077】

送信制御モジュール２０３２は、サーバ２０が外部の装置に対して通信プロトコルに従って信号を送信する処理を制御する。

【0078】

管理モジュール２０３３は、睡眠アプリについてのデータを管理する。例えば、管理モジュール２０３３は、ユーザ情報１８１の少なくとも一部の情報を端末装置１０から受信すると、受信した情報に基づき、ユーザ情報ＤＢ２０２１を更新する。具体的には、例えば、管理モジュール２０３３は、端末装置１０から睡眠に関する情報が送信されると、受信した情報に基づいてユーザ情報ＤＢ２０２１を更新する。

【0079】

管理モジュール２０３３は、オブジェクトについて新たな情報が作成されると、オブジェクト情報ＤＢ２０２２を更新する。

【0080】

＜２ データ構造＞
図４～図６は、端末装置１０が記憶する情報のデータ構造を示す図である。なお、図４～図６は一例であり、記載されていないデータを除外するものではない。

【0081】

図４は、ユーザ情報１８１のデータ構造を示す図である。図４に示すように、ユーザ情報１８１のレコードの各々は、項目「日付」と、項目「目標入眠時間」と、項目「目標起床時間」と、項目「目標睡眠時間」と、項目「入眠時間」と、項目「起床時間」と、項目「睡眠時間」と、項目「ぐっすり度」と、項目「なかよし度」とを含む。

【0082】

項目「日付」は、睡眠に関する情報が取得された日付を示す。具体的には、例えば、項目「日付」は、起床時間が取得された日付を記憶する。

【0083】

項目「目標入眠時間」は、目標の入眠時間としてユーザから入力される時間を示す。項目「目標入眠時間」は、ユーザにより毎日入力されて設定されてもよいし、ユーザにより設定された時間が、例えば、所定の曜日等で維持されていてもよい。

【0084】

項目「目標起床時間」は、目標の起床時間としてユーザから入力される時間を示す。項目「目標起床時間」は、ユーザにより毎日入力されて設定されてもよいし、ユーザにより設定された時間が、例えば、所定の曜日等で維持されていてもよい。

【0085】

項目「目標睡眠時間」は、目標として設定される睡眠時間を示す。具体的には、項目「目標睡眠時間」は、例えば、目標入眠時間と目標起床時間との差から算出される。

【0086】

項目「入眠時間」は、ユーザが入眠した時間を示す。具体的には、例えば、項目「入眠時間」には、ユーザが入眠する際に端末装置１０を操作した時間が記憶される。

【0087】

項目「起床時間」は、ユーザが起床した時間を示す。具体的には、例えば、項目「起床時間」には、ユーザが起床する際に端末装置１０を操作した時間が記憶される。

【0088】

項目「睡眠時間」は、ユーザの睡眠時間を示す。具体的には、項目「睡眠時間」は、例えば、入眠時間と起床時間との差から算出される。

【0089】

項目「ぐっすり度」は、ユーザの睡眠を評価した値を示す。具体的には、項目「ぐっすり度」は、例えば、睡眠時間と、睡眠の規則正しさとに基づいて算出される。より具体的には、項目「ぐっすり度」は、例えば、目標睡眠時間と実際の睡眠時間との差分、目標入眠時間と実際の入眠時間との差分、及び、目標起床時間と実際の起床時間との差分に基づいて算出される。項目「ぐっすり度」は、評価を表すことが可能なパラメータで表される。図４に示す例によれば、項目「ぐっすり度」は、アルファベットで表される。Ｓが最高評価であり、Ａ、Ｂ、Ｃ、Ｄの順で評価が下がっていく。項目「ぐっすり度」は、アルファベットの他、数値で表されてもよい。

【0090】

項目「なかよし度」は、睡眠アプリで起用されるキャラクタとのなかよしの度合いを示す。項目「なかよし度」は、睡眠アプリのやり込みに係るパラメータに相当する。項目「なかよし度」は、例えば、目標入眠時間と実際の入眠時間との差、目標起床時間と実際の起床時間との差、目標睡眠時間と実際の睡眠時間との差、又は睡眠についての評価等に基づいて変化する。具体的には、例えば、項目「なかよし度」は、例えば、目標入眠時間と実際の入眠時間との差が所定値よりも大きいとき下がり、小さいとき上がる。また、例えば、項目「なかよし度」は、目標起床時間と実際の起床時間との差が所定値よりも大きいとき下がり、小さいとき上がる。また、例えば、項目「なかよし度」は、目標睡眠時間と実際の睡眠時間との差が所定値よりも大きいとき下がり、小さいとき上がる。また、例えば、項目「なかよし度」は、睡眠についての評価が所定よりも低いとき下がり、高いとき上がる。

【0091】

図５は、画像情報１８２のデータ構造を示す図である。図５に示すように、画像情報１８２のレコードの各々は、項目「画像ＩＤ」と、項目「撮影年月日」と、項目「場所」と、項目「撮影方向（方位角、仰角）」と、項目「輝度」と、項目「色相」と、項目「撮影モード」と、項目「撮影対象」等とを含む。図５では記載されていないが、各レコードには、ピクセル情報が関連付けられている。

【0092】

項目「画像ＩＤ」は、画像を識別する情報を示す。画像ＩＤは、例えば、画像が画像情報１８２に記憶される際に自動的に設定される。

【0093】

項目「撮影年月日」は、画像を撮影した年月日を示す。

【0094】

項目「場所」は、ユーザが画像を撮影した場所を示す。項目「場所」は、例えば、経度及び緯度により表される。

【0095】

項目「撮影方向」は、ユーザが画像を撮影した方向を示す。項目「撮影方向」は、例えば、方位角及び仰角により表される。

【0096】

項目「輝度」は、ユーザが画像を撮影した際に設定されていた輝度を示す。

【0097】

項目「色相」は、画像に含まれる色合いを示す。

【0098】

項目「撮影モード」は、ユーザが画像を撮影した際に設定されていたモードを示す。例えば、項目「撮影モード」には、ポートレートモード、夜景モード等のモードがある。

【0099】

項目「撮影対象」は、撮影された画像についての解析により、画像に含まれていると検知された対象を記憶する。

【0100】

図６は、オブジェクト情報１８３のデータ構造を示す図である。図６に示すように、オブジェクト情報１８３のレコードの各々は、項目「オブジェクトＩＤ」と、項目「関連内容」と、項目「オブジェクト」等とを含む。

【0101】

項目「オブジェクトＩＤ」は、オブジェクトを識別する情報を示す。具体的には、例えば、項目「オブジェクトＩＤ」は、オブジェクトのコンセプト毎に設定されている。

【0102】

項目「関連内容」は、オブジェクトと関連付けられている内容を記憶する。項目「関連内容」に記憶されている内容は、例えば、画像内に含まれ得る物体、場所等である。

【0103】

項目「オブジェクト」は、オブジェクトの内容を示す。項目「オブジェクト」は、複数のサブ項目を含む。本実施形態では、項目「オブジェクト」は、レベル毎に設定されている。各オブジェクトにおいて、サブ項目「レベル１」、サブ項目「レベル２」、サブ項目「レベル３」、サブ項目「レベル４」で、レベルに応じた内容が記憶されている。

【0104】

項目「関連内容」が「ベッド」である場合、例えば、レベル１のオブジェクト１－１は、「枕」であり、レベル２のオブジェクト１－２は、「キャラクタを模した枕」であり、レベル３のオブジェクト１－３は、「寝ているキャラクタ」であり、レベル４のオブジェクト１－４は、「寝返りを打ちながら寝ている複数のキャラクタ」である。同様に、項目「関連内容」が「風呂」である場合、例えば、レベル１のオブジェクト１－１は、「浮き輪」であり、レベル２のオブジェクト１－２は、「キャラクタを模した浮き輪」であり、レベル３のオブジェクト１－３は、「泳いでいるキャラクタ」であり、レベル４のオブジェクト１－４は、「釣りをして遊んでいるキャラクタと、泳いでいる複数のキャラクタ」である。

【0105】

＜３ 動作＞
ユーザにより撮影される画像に、オブジェクトに関する画像を合成する際の端末装置１０の動作について説明する。

【0106】

ユーザは、睡眠をとる前段として、端末装置１０に目標入眠時間と、目標起床時間とを入力して設定する。制御部１９０は、記憶制御部１９５により、入力された目標入眠時間及び目標起床時間をユーザ情報１８１に記憶する。目標入眠時間及び目標起床時間の入力は必須ではなく、例えば、以前に入力された目標入眠時間及び目標起床時間が利用されてもよい。端末装置１０は、設定された目標入眠時間及び目標起床時間を、サーバ２０へ送信する。

【0107】

ユーザは、入眠する際に、端末装置１０を操作し、入眠時間を入力する。ユーザは、入眠時間を入力すると、睡眠をとる。

【0108】

制御部１９０は、操作受付部１９１により、入眠時間の入力を受け付ける。制御部１９０は、記憶制御部１９５により、入力された入眠時間をユーザ情報１８１に記憶する。端末装置１０は、入力された入眠時間を、サーバ２０へ送信する。

【0109】

図７は、合成画像がユーザに提示される際の端末装置１０の動作の一例を表すフローチャートである。

【0110】

ステップＳ１１において、制御部１９０は、起床時間の設定を受け付ける。具体的には、例えば、ユーザは、起床すると、端末装置１０を操作し、起床時間を入力する。制御部１９０は、操作受付部１９１により、起床時間の入力を受け付ける。制御部１９０は、記憶制御部１９５により、入力された起床時間をユーザ情報１８１に記憶する。端末装置１０は、入力された起床時間を、サーバ２０へ送信する。

【0111】

ステップＳ１２において、制御部１９０は、ユーザの睡眠を評価する。つまり、制御部１９０は、ユーザのぐっすり度を算出する。具体的には、例えば、制御部１９０は、評価部１９４により、入眠時間と起床時間とから、ユーザの睡眠時間を算出する。制御部１９０は、記憶制御部１９５により、睡眠時間をユーザ情報１８１に記憶する。評価部１９４は、目標睡眠時間と、睡眠時間との差分を算出する。評価部１９４は、目標入眠時間と、入眠時間との差分を算出する。評価部１９４は、目標起床時間と、起床時間との差分を算出する。記憶制御部１９５は、算出した差分をユーザ情報１８１に記憶する。

【0112】

評価部１９４は、例えば、睡眠時間の差分と、入眠時間の差分と、起床時間の差分とからぐっすり度を算出する。具体的には、評価部１９４は、例えば、睡眠時間の差分から、睡眠時間の長さを評価する。また、評価部１９４は、例えば、入眠時間の差分値と、起床時間の差分値とにから、睡眠の規則正しさを評価する。評価部１９４は、睡眠時間の長さと、睡眠の規則正しさとに基づき、ぐっすり度をＳ、Ａ～Ｄで評価する。記憶制御部１９５は、取得したぐっすり度をユーザ情報１８１に記憶する。

【0113】

図７では記載していないが、ぐっすり度を取得すると、制御部１９０は、その日の睡眠を評価する画像をユーザに提示する。具体的には、例えば、制御部１９０は、表示制御部１９７により、その日の目標入眠時間、入眠時間、目標起床時間、起床時間、目標睡眠時間、睡眠時間、ぐっすり度をディスプレイ１４１に表示する。

【0114】

図８は、睡眠を評価する画像の例を表す模式図である。図８に示す画像には、睡眠の状態を直感的に表示する領域、睡眠の状態を詳細に表示する領域、睡眠の評価を表示する領域が含まれる。

【0115】

具体的には、表示制御部１９７は、睡眠の状態を直感的に表示する領域に、時計を模したオブジェクト１４１１を表示する。表示制御部１９７は、オブジェクト１４１１に、その日の睡眠時間を表す実線領域１４１１１と、目標とする睡眠時間を表す破線領域１４１１２とを表示する。

【0116】

表示制御部１９７は、睡眠の状態を詳細に表示する領域に、目標入眠時間を表示する表示オブジェクト１４１２と、実際の入眠時間を表示する表示オブジェクト１４１３と、目標起床時間を表示する表示オブジェクト１４１４と、実際の起床時間を表示する表示オブジェクト１４１５と、目標睡眠時間を表示する表示オブジェクト１４１６と、実際の睡眠時間を表示する表示オブジェクト１４１７とを表示する。

【0117】

表示制御部１９７は、睡眠の評価を表示する領域に、ぐっすり度を表す表示オブジェクト１４１８を表示する。

【0118】

表示制御部１９７は、睡眠を評価する画像内に、過去の記録を表示させるための指示オブジェクト１４１９と、睡眠の評価の確認を終了させるための指示オブジェクト１４１１０とを表示する。ユーザは、過去の睡眠についての評価を確認する場合、指示オブジェクト１４１９を押下し、端末装置１０に、過去の睡眠についての評価を表示させる。ユーザは、睡眠の評価の確認を終了させる場合、指示オブジェクト１４１１０を押下し、評価画像の表示を終了させる。

【0119】

ステップＳ１３において、制御部１９０は、オブジェクトが合成される対象となる第１画像を決定する。具体的には、制御部１９０は、画像生成部１９６により、画像情報１８２に記憶されている画像から、第１画像を決定する。画像生成部１９６は、同一の画像が連続して第１画像として決定されないように、決定した画像に対してフラグ等を付与してもよい。

【0120】

ステップＳ１４において、制御部１９０は、第１画像を解析する。具体的には、制御部１９０は、画像解析部１９３により、第１画像に対して画像解析を実施することで、第１画像に写っている内容を検知する。また、画像解析部１９３は、第１画像内の３次元構造を検知する。

【0121】

ステップＳ１５において、制御部１９０は、第１画像に合成するオブジェクトを決定する。具体的には、制御部１９０は、画像生成部１９６により、画像解析部１９３により検知された内容に基づき、オブジェクトのコンセプトを決定する。つまり、画像生成部１９６は、オブジェクト情報１８３から、画像解析部１９３により検知された内容に応じたレコードを決定する。画像生成部１９６は、評価部１９４により評価されたぐっすり度に基づいて、決定したレコードにおけるオブジェクトのレベルを決定する。

【0122】

ステップＳ１６において、制御部１９０は、第１画像に合成する第２画像を生成する。具体的には、制御部１９０は、画像生成部１９６により、例えば、第１画像内で検知された内容と、第１画像内の３次元構造とに基づき、決定したオブジェクトを第１画像において表示する態様を決定する。例えば、画像生成部１９６は、第１画像において第２画像を合成する位置、大きさ、角度を決定する。また、画像生成部１９６は、第１画像に合成される第２画像の動作等を決定する。画像生成部１９６は、第２画像の動作等を、例えば、なかよし度に基づいて決定する。例えば、なかよし度が高い場合、画像生成部１９６は、オブジェクトの行動のバリエーションを増やす。例えば、画像生成部１９６は、なかよし度が高いと、オブジェクトが仰向けで寝る演出、道具を使って遊んで欲しそうにする演出を発生させる。画像生成部１９６は、決定したオブジェクト、及び決定した態様に基づいて、第２画像を生成する。

【0123】

ステップＳ１７において、制御部１９０は、合成画像を生成する。具体的には、制御部１９０は、画像生成部１９６により、第１画像に第２画像を合成した合成画像を生成する。制御部１９０は、合成画像を生成すると、処理を終了させる。

【0124】

制御部１９０は、表示制御部１９７により、生成した合成信号をディスプレイ１４１に表示させる。表示制御部１９７は、例えば、図８に示す画面において、指示オブジェクト１４１１０をユーザが押下したときに合成画像をディスプレイ１４１に表示させる。また、図８では表示していないが、合成画像の表示を要求する旨の指示オブジェクトがディスプレイ１４１に表示されていてもよい。表示制御部１９７は、例えば、合成画像の表示を要求する旨の指示オブジェクトをユーザが押下したときに合成画像をディスプレイ１４１に表示させる。

【0125】

次に合成画像の生成について、具体例を交えて説明する。まず、風呂が検知される場合に表示される合成画像を例に説明する。合成画像を生成する場合、制御部１９０は、例えば、以下のように動作する。例えば、画像生成部１９６は、風呂及びシャワーを含む第１画像を選択する。画像解析部１９３は、選択した第１画像に、風呂及びシャワーが含まれていることを検知する。画像解析部１９３は、第１画像において水に関する領域を検知する。

【0126】

画像生成部１９６は、オブジェクト情報１８３から、関連内容が「風呂」であるレコードを選択する。例えば、レベル１のオブジェクトを用いた合成画像を生成する場合、画像生成部１９６は、ユーザのぐっすり度「Ｄ」に基づき、オブジェクトのレベルを「１」に設定する。関連内容が「風呂」、レベルが「１」のオブジェクトは、例えば、浮き輪である。

【0127】

画像生成部１９６は、第１画像内に検知した水を表す領域に、所定の大きさの浮き輪を浮かべるように、浮き輪を表す第２画像を生成する。画像生成部１９６は、第１画像内に検知した水を表す領域に第２画像を合成することで、風呂に浮き輪が浮かんだ合成画像を生成する。

【0128】

また、例えば、レベル３のオブジェクトを用いた合成画像を生成する場合、画像生成部１９６は、ユーザのぐっすり度「Ａ」に基づき、オブジェクトのレベルを「３」に設定する。関連内容が「風呂」、レベルが「３」のオブジェクトは、例えば、船に乗ったキャラクタ及び泳ぐキャラクタである。

【0129】

画像生成部１９６は、第１画像内に検知した水を表す領域でキャラクタを遊ばせるように、船に乗ったキャラクタを表す第２画像と、泳ぐキャラクタを表す第２画像とを生成する。画像生成部１９６は、第１画像内に検知した水を表す領域に、生成した２つの第２画像を合成することで、キャラクタが風呂で遊ぶ様子を表す合成画像を生成する。第２画像は動画であってもよい。画像生成部１９６は、第２画像の行動を、例えば、ぐっすり度、又はなかよし度に基づいて決定する。

【0130】

なお、画像生成部１９６は、内容が確率で変化するオブジェクトの画像を合成してもよい。例えば、所定のレベルにおいて、釣りをするキャラクタがオブジェクトとして設定されている。このとき、釣り上げられる他のキャラクタは、例えば、ぐっすり度を利用した抽選で選択される。画像生成部１９６は、釣りをするキャラクタと、釣り上げられる他のキャラクタとに基づいて第２画像を生成する。

【0131】

風呂が検知される場合に表示される合成画像において、時計が第２画像の一部として表示されていてもよい。時計の表示形式に限定はなく、アナログ形式であってもよいし、デジタル形式であってもよい。

【0132】

時計で表示される時刻は、現実の時刻とは異なっている。時計で表示される時刻は、ユーザの睡眠に応じた時刻が表示される。例えば、図８に示す例によれば、ユーザは、２２時３０分から６時３０分まで睡眠を取っている。画像生成部１９６は、ユーザが睡眠を取った２２時３０分から６時３０分までのうち、所定の時刻を時計に表示させる。風呂が検知される場合に表示される合成画像の例では、時計には２３時が表示されることがある。このように、睡眠を取っていた間の時刻を時計に表示させることで、ユーザが寝ている間にキャラクタがお風呂で遊んでいた、と認識することが可能となり、睡眠中の疑似体験の信ぴょう性がより向上することになる。

【0133】

画像生成部１９６は、睡眠を取っていた時刻と対応付けて第１画像を決定してもよい。例えば、画像生成部１９６は、所定の時間帯で睡眠が取られていた場合には、当該時間帯と対応する画像を第１画像として決定する。例えば、画像生成部１９６は、２２時～２時はお風呂の画像を第１画像として決定し、２時～４時は部屋の画像を第１画像として決定し、４時～７時は玄関の画像を第１画像として決定してもよい。これにより、ユーザは、対応する時間帯で睡眠を取ることで、所定の画像に基づく合成画像を見ることが可能となる。

【0134】

画像生成部１９６は、睡眠を取っていた時刻と対応付けてオブジェクトを設定してもよい。例えば、画像生成部１９６は、２２時～２時はキャラクタＡが登場する可能性を高く設定し、２時～４時はキャラクタＢが登場する可能性を高く設定し、４時～７時はキャラクタＣが登場する可能性を高く設定してもよい。これにより、ユーザは、対応する時間帯で睡眠を取ることで、好みのキャラクタが登場する合成画像を見られるようになる。

【0135】

風呂が検知される場合に表示される合成画像の例において、関連内容が水に関する内容であるオブジェクトには、水に対応するオブジェクト、例えば、水オブジェクトが含まれていてもよい。画像生成部１９６は、水オブジェクトを、例えば、水が検知された領域に合成する。水オブジェクトは、例えば、動画を含んでもよい。画像生成部１９６は、水オブジェクトとして、キラキラと光る水面の演出、又は荒々しい波の演出等を含む合成画像を生成することが可能となる。

【0136】

次に、食事が検知される場合に表示される合成画像を例に説明する。合成画像を生成する場合、制御部１９０は、例えば、以下のように動作する。例えば、画像生成部１９６は、食事を含む第１画像を選択する。画像解析部１９３は、選択した第１画像に、食事が含まれていることを検知する。画像解析部１９３は、第１画像において食事が置かれている領域を検知する。

【0137】

画像生成部１９６は、オブジェクト情報１８３から、関連内容が「食事」であるレコードを選択する。例えば、レベル１のオブジェクトを用いた合成画像を生成する場合、画像生成部１９６は、例えば、ユーザのぐっすり度「Ｄ」に基づき、オブジェクトのレベルを「１」に設定する。関連内容が「食事」、レベルが「１」のオブジェクトは、例えば、キャンドルである。

【0138】

画像生成部１９６は、第１画像内に検知した食事が置かれている領域の周囲に、所定の大きさのキャンドルを載置するように、キャンドルを表す第２画像を生成する。画像生成部１９６は、第１画像内に検知した食事が置かれている領域の周囲に第２画像を合成することで、食事の横にキャンドルが載置された合成画像を生成する。

【0139】

また、例えば、レベル３のオブジェクトを用いた合成画像を生成する場合、画像生成部１９６は、ユーザのぐっすり度「Ａ」に基づき、オブジェクトのレベルを「３」に設定する。関連内容が「食事」、レベルが「３」のオブジェクトは、例えば、所定のポーズをとったキャラクタ、及びお腹をすかせたキャラクタである。

【0140】

画像生成部１９６は、第１画像内に検知した食事が置かれている領域の周囲でキャラクタを遊ばせるように、所定のポーズをとったキャラクタを表す第２画像と、お腹を空かせたキャラクタを表す第２画像とを生成する。画像生成部１９６は、第１画像内に検知した食事が置かれている領域の周囲に、生成した２つの第２画像を合成することで、キャラクタと一緒に賑やかな食事を楽しむ様子を表す合成画像を生成する。第２画像は動画であってもよい。画像生成部１９６は、第２画像の行動を、例えば、ぐっすり度、又はなかよし度に基づいて決定する。

【0141】

次に、ドアが検知される場合に表示される合成画像を例に説明する。合成画像を生成する場合、制御部１９０は、例えば、以下のように動作する。例えば、画像生成部１９６は、ドアを含む第１画像を選択する。画像解析部１９３は、選択した第１画像に、ドアが含まれていることを検知する。画像解析部１９３は、第１画像においてドアを含む廊下の３次元構造を検知する。

【0142】

画像生成部１９６は、オブジェクト情報１８３から、関連内容が「ドア」であるレコードを選択する。例えば、レベル２のオブジェクトを用いた合成画像を生成する場合、画像生成部１９６は、例えば、ユーザのぐっすり度「Ｃ」に基づき、オブジェクトのレベルを「２」に設定する。関連内容が「ドア」、レベルが「２」のオブジェクトは、例えば、所定のポーズをとったキャラクタである。

【0143】

画像生成部１９６は、第１画像内に検知したドアから玄関を上がった領域に、所定の大きさのキャラクタを存在させるように、所定のポーズをとったキャラクタを表す第２画像を生成する。画像生成部１９６は、第１画像内に検知したドアから玄関を上がった領域に第２画像を合成することで、訪問してきたキャラクタを表す合成画像を生成する。

【0144】

また、例えば、レベル３のオブジェクトを用いた合成画像を生成する場合、画像生成部１９６は、ユーザのぐっすり度「Ａ」に基づき、オブジェクトのレベルを「３」に設定する。関連内容が「ドア」、レベルが「３」のオブジェクトは、例えば、ボールで遊ぶキャラクタである。

【0145】

画像生成部１９６は、第１画像内に検知した玄関の廊下で、キャラクタにボールで遊ばせるように、ボールで遊ぶキャラクタを表す第２画像を生成する。このとき、画像生成部１９６は、ボールが廊下の形成方向に沿って転がるように第２画像を生成する。画像生成部１９６は、第１画像内に検知した玄関の廊下に第２画像を合成することで、玄関でのボール遊びを表す合成画像を生成する。画像生成部１９６は、第２画像のボールで遊ぶキャラクタの行動を、例えば、ぐっすり度、又はなかよし度に基づいて決定してもよい。

【0146】

ドアが検知される場合に表示される合成画像の例において、関連内容が「ドア」であるオブジェクトには、ドアに対応するオブジェクト、例えば、ドアオブジェクトが含まれていてもよい。画像生成部１９６は、ドアオブジェクトを、例えば、ドアが検知された領域に合成する。ドアオブジェクトは、例えば、動画を含んでもよい。画像生成部１９６は、ドアオブジェクトが開くと外から所定のキャラクタが入ってくる演出の合成画像を生成することが可能となる。

【0147】

図７に示す例では、ユーザが起床すると、画像生成部１９６は、１枚の合成画像を生成する場合を例に説明した。しかしながら、画像生成部１９６が生成する合成画像は１枚に限定されない。画像生成部１９６は、ユーザの睡眠時間に応じ、複数の合成画像を生成してもよい。例えば、画像生成部１９６は、仮想時間帯２２時～２時については、お風呂の画像を用いた合成画像を生成し、仮想時間帯２時～４時については、部屋の画像を用いた合成画像を生成し、仮想時間帯４時～７時については、玄関の画像を用いた合成画像を生成してもよい。

【0148】

表示制御部１９７は、生成された複数の合成画像を、例えば、場面が順次遷移する動画としてユーザに表示する。また、表示制御部１９７は、生成された複数の合成画像を、合成画像群としてユーザに表示してもよい。これにより、ユーザは、合成画像で表現される一連の事象を、就寝している間に起こった事象として認識することが可能となる。

【0149】

以上のように、上記実施形態では、制御部１９０は、評価部１９４により、ユーザの睡眠の状態を取得する。制御部１９０は、画像生成部１９６により、就寝前に取得した画像から第１画像を選択する。そして、画像生成部１９６は、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させる。これにより、制御部１９０は、睡眠の状態に応じて態様が変化するオブジェクトを、就寝前に取得した画像に合成することが可能となる。合成画像では、ユーザの意図とは関係なく、睡眠の状態に応じてオブジェクトが表示され、あたかも、ユーザの睡眠中に第１画像においてオブジェクトが存在していたように表示される。つまり、ユーザは、合成画像で表される内容を、自身が睡眠している最中に発生した事象と捉えることが可能となる。このため、ユーザは、自身が睡眠している間に、自身の見知った環境で発生したであろう事象を、合成画像から疑似的に体験することが可能となる。

【0150】

したがって、本実施形態に係るプログラムによれば、睡眠の状態に応じて就寝前に取得した画像が変化することで、ユーザは、画像中に表現された事象をユーザ自身の睡眠と関連付けて疑似的に体験できる。そのため、本実施形態に係るプログラムによれば、睡眠という体験の価値を向上させることができる。

【0151】

また、上記実施形態では、画像生成部１９６は、睡眠の状態に応じてオブジェクトの豪華さを変化させるようにしている。これにより、豪華なオブジェクトを見るためには、睡眠をしっかりとる必要があるため、ユーザの健康的な睡眠を効果的に促すことが可能となる。

【0152】

また、上記実施形態では、画像生成部１９６は、睡眠の状態に応じてオブジェクトの挙動を変化させるようにしている。これにより、オブジェクトの挙動を確認するためには、睡眠をしっかりとる必要があるため、ユーザの健康的な睡眠を効果的に促すことが可能となる。

【0153】

また、上記実施形態では、画像生成部１９６は、睡眠の状態の遷移（なかよし度）に基づいてオブジェクトの挙動を変化させるようにしている。これにより、オブジェクトの挙動を確認するためには、健康的な睡眠を規則的にとる必要があるため、ユーザの健康的な睡眠を継続して促すことが可能となる。

【0154】

また、上記実施形態では、制御部１９０は、画像解析部１９３により、第１画像を解析し、第１画像に含まれる内容を認識する。そして、画像生成部１９６は、認識した内容に基づいてオブジェクトを選択するようにしている。これにより、第１画像に含まれる内容によってオブジェクトが変わることになるため、合成画像が作成されることがユーザにとってより楽しいものとなる。

【0155】

また、上記実施形態では、画像解析部１９３は、第１画像に含まれる３次元構造を認識する。そして、画像生成部１９６は、認識した３次元構造に基づいてオブジェクトの挙動を変化させるようにしている。これにより、第１画像に含まれる物体等の構図によってオブジェクトが変わることになるため、合成画像が作成されることがユーザにとってより楽しいものとなる。

【0156】

なお、上記実施形態では、画像生成部１９６は、第１画像を画像情報１８２に記憶されている画像の中から選択する場合を説明した。このとき、画像生成部１９６は、所定の順序で画像を選択してもよい。例えば、画像生成部１９６は、まず、所定の人物が含まれている画像を選択し、次に、所定の物体が含まれている画像を選択し、次に、所定の場所で撮影された画像を選択し、次に、所定のイベントで撮影された画像を選択するようにしてもよい。選択する順序は、例えば、以下のように設定される。
・予め設定された順序
・ユーザにより設定された順序
・他ユーザにより選択された画像に基づく順序
・所定のイベントに関連する順序

【0157】

このように所定の順序で画像を選択することにより、生成する合成画像に意味を持たせることが可能となる。

【0158】

また、上記実施形態では、睡眠が評価されると合成画像が生成される場合を例に説明した。しかしながら、画像生成部１９６は、睡眠の評価の都度、合成画像を生成しなくてもよい。例えば、画像生成部１９６は、以下の場合に合成画像を生成してもよい。
・所定の評価値以上の値が算出された場合
・累計睡眠時間が所定値に達した場合
・所定の値以上の評価が所定回数出された場合

【0159】

このように合成画像の生成に条件を設けることで、ユーザはノルマをこなしていく面白さを感じることが可能となる。

【0160】

また、端末装置１０は、生成した合成画像を他のユーザに共有してもよい。例えば、端末装置１０は、合成画像を生成すると、生成した合成画像の共有をユーザに提案する。ユーザは、合成画像が気に入り、他者へ共有することに同意した場合、例えば、ディスプレイ１４１に表示される合成画像の共有を指示する指示オブジェクトを押下する。端末装置１０は、指示オブジェクトが押下されると、合成画像にアクセス可能な情報を、例えば、所定のＳＮＳ（Social Network Service）サービス、メールサービス、掲示板等を利用して他のユーザへ拡散する。端末装置１０は、合成画像へアクセス可能な時期に制限をかけてもよい。

【0161】

サーバ２０は、合成画像を共有したユーザに対し、所定の報酬を提供する。所定の報酬とは、例えば、以下である。
・合成画像へのオブジェクトの追加合成
・有利な効果（ポイント、クーポン等）の提供
・オブジェクトのレベルの向上

【0162】

このように、オブジェクトを合成した画像を、他のユーザと共有することで、端末装置１０は、他のユーザに対し、睡眠アプリを利用する楽しさを広めることが可能となる。これにより、端末装置１０は、今まで睡眠アプリを利用していなかったユーザに対し、睡眠アプリへ興味を持たせることが可能となる。また、合成画像を共有したユーザにとっては、自身の楽しさが拡散されることで他のユーザと楽しさを共有することが可能となる。

【0163】

また、上記実施形態では、睡眠に関する評価（ぐっすり度）と、睡眠アプリのやり込みに係るパラメータ（なかよし度）とに基づいてオブジェクトの行動を制御する場合を説明した。しかしながら、オブジェクトの行動を司るパラメータは、これらに限定されない。画像生成部１９６は、オブジェクトの眠気により、オブジェクトの行動を変化させてもよい。

【0164】

「眠気」は、時間と、ユーザの睡眠に関する評価と連動している。「眠気」は、時間の経過に伴い徐々に上昇する。「眠気」は、睡眠に関する評価が高いほど低い値となる。画像生成部１９６は、「眠気」が高いと、キャラクタに眠そうな行動をとらせる。画像生成部１９６は、「眠気」が低いと、キャラクタを活発に活動させる。画像生成部１９６は、「眠気」が所定値を超えると、キャラクタを眠らせる。つまり、キャラクタは活動しなくなる。

【0165】

このようにオブジェクトの挙動を確認するためには、オブジェクトに設定される眠気を管理する必要があるため、睡眠アプリのゲーム性を高めることが可能となる。

【0166】

＜４ 変形例＞
上記実施形態では、入眠時刻及び起床時刻を、ユーザが端末装置１０を操作することで入力する場合を説明した。しかしながら、入眠時刻及び起床時刻の入力はユーザによる端末装置１０の操作に限定されない。
例えば、端末装置１０は、睡眠測定デバイス４０と有線又は無線により接続し、睡眠測定デバイス４０からの信号に基づき、入眠時刻及び起床時刻を設定してもよい。

【0167】

睡眠測定デバイス４０は、端末装置１０のユーザの睡眠に関する情報を取得するためのデバイスである。睡眠測定デバイス４０は、例えば、ジャイロセンサ等のモーションセンサを備え、睡眠中のユーザの身体の動きをジャイロセンサ等により検出する。睡眠測定デバイス４０は、例えば、以下により実現される。
・ユーザの身体に装着されるウェアラブルデバイス
・ユーザが就寝しているマットレス等に載置するデバイス
・端末装置１０に設けられる一機能

【0168】

睡眠測定デバイス４０は、ユーザが睡眠中である間に各種センサによってセンシングされたセンシング結果を蓄積することで、ユーザが睡眠中であるか、浅い睡眠状態であるか、深い睡眠状態であるか、レム睡眠であるか、ノンレム睡眠であるか等を判別する。端末装置１０は、睡眠測定デバイス４０、端末装置１０のモーションセンサの出力等に基づいて、ユーザが入床したこと（例えば、ベッドに横たわったこと）、又は入床した後に入眠したことを検出する。また、端末装置１０は、睡眠測定デバイス４０、端末装置１０のモーションセンサの出力等に基づいて、ユーザが覚醒したこと、又はユーザが起床したことを検出する。本実施形態では、制御部１９０は、例えば、ユーザが入床したことを検出してから、又はユーザが入眠したことを検出してから、ユーザが覚醒したことを検出するまでを、ユーザが就寝していることに含めてもよい。また、制御部１９０は、例えば、ユーザが入床したことを検出してから、又はユーザが入眠したことを検出してから、ユーザが起床したことを検出するまでを、ユーザが就寝していることに含めてもよい。

【0169】

また、上記実施形態では、睡眠時間と目標睡眠時間との差分、入眠時間と目標入眠時間との差分、及び起床時間と目標起床時間との差分に基づいて睡眠を評価するようにしている。しかしながら、睡眠測定デバイス４０と接続している場合、端末装置１０は、レム睡眠、ノンレム睡眠の波形を判別する等により、ユーザの睡眠の質を評価してもよい。例えば、良質な睡眠である場合のレム睡眠、ノンレム睡眠のサイクルが予め設定されており、ユーザの睡眠時のレム睡眠、ノンレム睡眠の波形と比較することで、ユーザの睡眠の質を評価する。

【0170】

また、上記実施形態では、画像がカメラ１６０により撮影された画像である場合を例に説明した。しかしながら、画像は、カメラ１６０により撮影された画像に限定されない。画像は、所定の位置に固定され、予め設定された方向を撮影する備付カメラにより撮影された画像であってもよい。このとき、例えば、画像生成部１９６は、備付カメラにより就寝中に撮影された画像を第１画像として決定してもよい。

【0171】

また、上記実施形態では、画像がユーザにより撮影された画像である場合を例に説明した。しかしながら、画像は、これに限定されない。画像は、例えば、所定のアプリケーションにおけるスクリーンショット、又は所定のアプリケーション内で撮影された画像であってもよい。これにより、写真以外の画像も第１画像に含まれ得ることとなるため、合成画像が作成されることがユーザにとってより楽しいものとなる。

【0172】

また、上記実施形態では、画像生成部１９６は、画像解析部１９３で検知された内容に基づいてオブジェクトを決定する場合を例に説明した。しかしながら、画像生成部１９６は、検知した内容に基づいてオブジェクトを決定しなくてもよい。画像生成部１９６は、例えば、以下によりオブジェクトを決定してもよい。
・ユーザからの指定
・ランダム
・オブジェクトが既に決定されている

【0173】

また、上記実施形態では、夜の睡眠時に端末装置１０が合成画像を生成する場合を例に説明した。しかしながら、端末装置１０が合成画像を生成するのは夜の睡眠に限定されない。端末装置１０は、昼寝についても同様に合成画像を生成してもよい。例えば、画像生成部１９６は、昼間の時間帯と対応付けて第１画像を決定する。また、例えば、画像生成部１９６は、昼間の時間帯と対応付けてオブジェクトを設定する。これにより、昼寝をしたときにおいても、画像中に表現された事象をユーザ自身の昼寝と関連付けて疑似的に体験可能となる。このため、例えば、子供に昼寝をさせることが容易となる。

【0174】

また、上記実施形態では、端末装置１０が合成画像を生成する場合を説明した。しかしながら、サーバ２０が合成画像を生成してもよい。このとき、サーバ２０は、例えば、制御部１９０が備える、画像解析部１９３と、評価部１９４と、画像生成部１９６との機能を有する。サーバ２０は、例えば、端末装置１０からアップロードされた画像を第１画像として合成画像を生成する。

【0175】

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【0176】

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

【0177】

（付記１）
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、ユーザの睡眠の状態を取得するステップ（ステップＳ１２）と、就寝前に取得した画像から第１画像を選択するステップ（ステップＳ１３）と、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させるステップ（ステップＳ１６）とを実行させるプログラム。
（付記２）
発生させるステップにおいて、睡眠の状態に応じてオブジェクトの豪華さを変化させる（付記１）に記載のプログラム。
（付記３）
発生させるステップにおいて、睡眠の状態に応じてオブジェクトの挙動を変化させる（付記１）又は（付記２）に記載のプログラム。
（付記４）
発生させるステップにおいて、睡眠の状態の遷移に基づいてオブジェクトの挙動を変化させる（付記３）に記載のプログラム。
（付記５）
発生させるステップにおいて、睡眠の状態に基づいて設定される眠気に応じてオブジェクトの挙動を変化させる（付記３）に記載のプログラム。
（付記６）
発生させるステップにおいて、睡眠の状態に応じた、現在の時刻と異なる時刻をオブジェクトに含める（付記１）乃至（付記５）のいずれかに記載のプログラム。
（付記７）
第１画像を解析し、第１画像に含まれる内容を認識するステップ（ステップＳ１４）をプロセッサに実行させ、発生させるステップにおいて、認識した内容に基づいてオブジェクトを選択する（付記１）乃至（付記６）のいずれかに記載のプログラム。
（付記８）
第１画像を解析し、第１画像に含まれる３次元構造を認識するステップをプロセッサに実行させ、発生させるステップにおいて、認識した３次元構造に基づいてオブジェクトの挙動を変化させる（付記１）乃至（付記７）のいずれかに記載のプログラム。
（付記９）
選択したオブジェクトを第１画像中に発生させた画像を、他のユーザと共有するステップをプロセッサに実行させる（付記１）乃至（付記８）のいずれかに記載のプログラム。
（付記１０）
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、ユーザの睡眠の状態を取得するステップと、就寝前に取得した画像から第１画像を選択するステップと、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させるステップとを実行する方法。
（付記１１）
制御部１９０と、記憶部１８０とを備える情報処理装置１０であって、制御部が、ユーザの睡眠の状態を取得するステップと、就寝前に取得した画像から第１画像を選択するステップと、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させるステップとを実行する情報処理装置。
（付記１２）
ユーザの睡眠の状態を取得する手段と、就寝前に取得した画像から第１画像を選択する手段と、睡眠の状態に基づいてオブジェクトを選択し、選択したオブジェクトを第１画像中に発生させる手段とを具備するシステム。

【符号の説明】

【0178】

１…システム
１０…端末装置
１２…通信ＩＦ
１２０…通信部
１３…入力装置
１３１…タッチ・センシティブ・デバイス
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１５０…位置情報センサ
１６…ストレージ
１６０…カメラ
１７…音声処理部
１７１…マイク
１７２…スピーカ
１８０…記憶部
１８１…ユーザ情報
１８２…画像情報
１８３…オブジェクト情報
１９…プロセッサ
１９０…制御部
１９１…操作受付部
１９２…送受信部
１９３…画像解析部
１９４…評価部
１９５…記憶制御部
１９６…画像生成部
１９７…表示制御部
２０…サーバ
２０１…通信部
２０２…記憶部
２０２１…ユーザ情報ＤＢ
２０２２…オブジェクト情報ＤＢ
２０３…制御部
２０３１…受信制御モジュール
２０３２…送信制御モジュール
２０３３…管理モジュール
２２…通信ＩＦ
２３…入出力ＩＦ
２５…メモリ
２６…ストレージ
２９…プロセッサ
４０…睡眠測定デバイス
８０…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】