(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158491
(43)【公開日】2024-11-08
(54)【発明の名称】静止画像配信システム及び静止画像配信装置
(51)【国際特許分類】
H04N 21/266 20110101AFI20241031BHJP
G09F 19/00 20060101ALI20241031BHJP
H04N 21/258 20110101ALI20241031BHJP
G06Q 50/10 20120101ALI20241031BHJP
【FI】
H04N21/266
G09F19/00 Z
H04N21/258
G06Q50/10
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023073729
(22)【出願日】2023-04-27
(71)【出願人】
【識別番号】599064214
【氏名又は名称】株式会社セガフェイブ
(74)【代理人】
【識別番号】100088580
【弁理士】
【氏名又は名称】秋山 敦
(74)【代理人】
【識別番号】100195453
【弁理士】
【氏名又は名称】福士 智恵子
(74)【代理人】
【識別番号】100205501
【弁理士】
【氏名又は名称】角渕 由英
(72)【発明者】
【氏名】木原 幸恵
(72)【発明者】
【氏名】西 和子
(72)【発明者】
【氏名】梅田 賢三
【テーマコード(参考)】
5C164
5L049
5L050
【Fターム(参考)】
5C164MA04S
5C164SC01P
5C164SC11P
5C164YA12
5L049CC11
5L050CC11
(57)【要約】
【課題】鑑賞者の感情や、感性に基づく性向を静止画像に反映させることができる静止画像配信システム及び静止画像配信装置を提供する。
【解決手段】静止画像配信システム1は、静止画像を表示するアートフレーム10と、アートフレーム10に対して静止画像を配信する配信サーバを備えている。アートフレーム10は、静止画像111を表示する表示器11と、静止画像111を鑑賞する鑑賞者Pを撮影し、鑑賞者画像を出力する撮影カメラ12を有し、配信サーバ30は、複数の静止画像111を記憶する静止画像記憶部32と、静止画像111の配信を制御する配信制御部を有し、配信制御部は、鑑賞者Pの表情から笑顔ポイントを取得し、笑顔ポイントを累積的に加算することによって累積笑顔ポイントを算出し、累積笑顔ポイントに基づいて、静止画像記憶部32から配信対象とする静止画像111を選択してアートフレーム10に送信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
静止画像を表示する一以上の表示装置と、前記表示装置と通信回線を介して接続されて、前記表示装置に対して前記静止画像を配信する静止画像配信装置と、を備えた静止画像配信システムであって、
前記表示装置は、
前記静止画像を表示する表示器と、
前記静止画像を鑑賞する鑑賞者を撮影し、鑑賞者画像を出力する鑑賞者撮影機と、を有し、
前記静止画像配信装置は、
複数の前記静止画像を記憶する静止画像記憶部と、
前記静止画像記憶部に記憶された前記静止画像の配信を制御する配信制御部と、を有し、
前記配信制御部は、
前記鑑賞者画像に基づいて得られる情報であって、前記鑑賞者の表情が特定の表情に対応する度合いを示す特定表情指数を取得し、
前記特定表情指数を累積的に加算することによって累積特定表情指数を算出し、
前記累積特定表情指数に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択し、
選択された配信対象の前記静止画像を前記表示装置に送信することを特徴とする静止画像配信システム。
【請求項2】
前記配信制御部は、
前記累積特定表情指数を、複数の累積段階ごとに予め設定された閾値と比較し、
比較結果に基づいて、配信対象とする前記静止画像を選択することを特徴とする請求項1に記載の静止画像配信システム。
【請求項3】
前記配信制御部は、前記累積特定表情指数を前記累積段階と共に視覚的に示す累積特定表情指数画像を前記表示装置に送信することを特徴とする請求項2に記載の静止画像配信システム。
【請求項4】
前記配信制御部は、
前記鑑賞者画像に基づいて得られる情報であって、前記鑑賞者の動作が特定の動作に対応する度合いを示す特定動作指数を取得し、
前記累積特定表情指数及び前記特定動作指数に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択することを特徴とする請求項1に記載の静止画像配信システム。
【請求項5】
前記静止画像配信装置は、
日時情報を取得する日時情報取得部と、
前記表示装置が配設された地域における天気情報を取得する天気情報取得部と、を有し、
前記配信制御部は、前記日時情報及び前記天気情報に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択することを特徴とする請求項1に記載の静止画像配信システム。
【請求項6】
前記静止画像は、複数のレイヤを重畳することによって生成され、
前記複数のレイヤは、前記静止画像の基本画像が描かれた基本画像レイヤと、前記基本画像レイヤに重畳されて、前記基本画像の背景画像又は前景画像を構成する部分画像が描かれた部分画像レイヤと、からなり、
前記静止画像記憶部は、複数の前記基本画像を記憶する基本画像記憶部と、複数の前記部分画像を記憶する部分画像記憶部と、を有し、
前記配信制御部は、前記累積特定表情指数に基づいて、前記部分画像記憶部に記憶された複数の前記部分画像から配信対象とする前記部分画像を選択することを特徴とする請求項1に記載の静止画像配信システム。
【請求項7】
前記配信制御部は、前記基本画像レイヤにおける前記基本画像の描画位置に基づいて、前記部分画像レイヤにおける配信対象の前記部分画像の描画位置を決定することを特徴とする請求項6に記載の静止画像配信システム。
【請求項8】
静止画像を表示する一以上の表示装置と通信回線を介して接続されて、前記表示装置に対して前記静止画像を配信する静止画像配信装置であって、
複数の前記静止画像を記憶する静止画像記憶部と、
前記静止画像記憶部に記憶された前記静止画像の配信を制御する配信制御部と、を有し、
前記配信制御部は、
前記静止画像を鑑賞する鑑賞者を撮影した鑑賞者画像に基づいて得られる情報であって、前記鑑賞者の表情が特定の表情に対応する度合いを示す特定表情指数を取得し、
前記特定表情指数を累積的に加算することによって累積特定表情指数を算出し、
前記累積特定表情指数に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択し、
選択された配信対象の前記静止画像を前記表示装置に送信することを特徴とする静止画像配信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、静止画像配信システム及び静止画像配信装置に係り、特に観賞用の静止画像配信システム及び静止画像配信装置に関する。
【背景技術】
【0002】
歴史上、絵画は、美術、芸術、及び宗教の分野において、人の心に浸透し、人を感動させるものとして認知されてきた。また、絵画は、単なる表示物ではなく、人間性と直接的に結びつく精神的表現物であると考えられ、人々の心のよりどころとしての役割を果たしてきた。
また、近年、絵画を自宅で楽しむことのできるデジタル・アートフレーム・システムが普及している。デジタル・アートフレーム・システムは、自宅に設置されて、画像データを表示可能な表示装置と、表示装置と通信回線を介して通信接続されて、表示装置に対して画像データを配信する配信サーバによって構成されている。デジタル・アートフレーム・システムを構築することにより、美術館等に足を運ぶことなく、自宅で絵画の鑑賞を楽しむことが可能となる。
【0003】
特許文献1には、絵画表示装置と絵画転送用サーバから構成される絵画転送システムが開示されている。特許文献1に記載された絵画転送システムは、絵画転送用サーバが複数の電子画像データを保存し、定期的に絵画表示装置に対して転送する。そのため、絵画転送システムの利用者は、絵画表示装置を介して絵画を楽しむことができる。また絵画表示装置に表示される絵画が定期的に変更されるため、利用者は、飽きることなく絵画の鑑賞を楽しむことができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示された絵画転送システムを利用することによって、簡易なシステムで複数の絵画を観賞することができる。しかしながら、特許文献1に開示された絵画転送システムは、絵画転送システムによって選択された絵画が、一方的に転送されるにすぎず、鑑賞者の感情や、感性に基づく性向を絵画に反映させる仕組みについては検討されていなかった。
【0006】
本発明は、上記の課題に鑑みてなされたものであり、鑑賞者の感情や、感性に基づく性向を静止画像に反映させることができる静止画像配信システム及び静止画像配信装置を提供することにある。
【課題を解決するための手段】
【0007】
前記課題は、本発明の静止画像配信システムによれば、静止画像を表示する一以上の表示装置と、前記表示装置と通信回線を介して接続されて、前記表示装置に対して前記静止画像を配信する静止画像配信装置と、を備えた静止画像配信システムであって、前記表示装置は、前記静止画像を表示する表示器と、前記静止画像を鑑賞する鑑賞者を撮影し、鑑賞者画像を出力する鑑賞者撮影機と、を有し、前記静止画像配信装置は、複数の前記静止画像を記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像の配信を制御する配信制御部と、を有し、前記配信制御部は、前記鑑賞者画像に基づいて得られる情報であって、前記鑑賞者の表情が特定の表情に対応する度合いを示す特定表情指数を取得し、前記特定表情指数を累積的に加算することによって累積特定表情指数を算出し、前記累積特定表情指数に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択し、選択された配信対象の前記静止画像を前記表示装置に送信することにより解決される。
【0008】
前記課題は、本発明の静止画像配信装置によれば、静止画像を表示する一以上の表示装置と通信回線を介して接続されて、前記表示装置に対して前記静止画像を配信する静止画像配信装置であって、複数の前記静止画像を記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像の配信を制御する配信制御部と、を有し、前記配信制御部は、前記静止画像を鑑賞する鑑賞者を撮影した鑑賞者画像に基づいて得られる情報であって、前記鑑賞者の表情が特定の表情に対応する度合いを示す特定表情指数を取得し、前記特定表情指数を累積的に加算することによって累積特定表情指数を算出し、前記累積特定表情指数に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択し、選択された配信対象の前記静止画像を前記表示装置に送信することにより解決される。
【0009】
上記構成によれば、静止画像配信装置は、鑑賞者の表情が特定の表情(例えば、笑顔、又は驚きの表情)に対応する度合いを示す特定表情指数を取得し、これを累積加算した累積特定表情指数に基づいて、表示装置に配信する静止画像を選択する。これにより、鑑賞者の笑顔が表示装置に表示される静止画像に変化を与えることとなるため、鑑賞者の感情を静止画像に反映させることが可能となる。また、特定表情指数の累積値に基づいて静止画像が変化するため、鑑賞者の一時的な感情だけではなく、鑑賞者の感性に基づいた性向(感性的な性質に基づいた傾向)を静止画像に反映させることが可能となる。
【0010】
また、前記配信制御部は、前記累積特定表情指数を、複数の累積段階ごとに予め設定された閾値と比較し、比較結果に基づいて、配信対象とする前記静止画像を選択するとよい。
上記構成によれば、鑑賞者が絵画に対して笑顔で向き合うことにより、静止画が、時間の経過とともに段階的に成長するように変化する。そのため、鑑賞者が静止画像の成長に強い関心を抱くようになり、静止画像の鑑賞に飽きてしまうことを防止することが可能となる。
【0011】
また、前記配信制御部は、前記累積特定表情指数を前記閾値とともに視覚的に示す累積特定表情指数画像を前記表示装置に送信するとよい。
上記構成によれば、鑑賞者は、累積特定表情指数画像を介して、現在の特定表情指数の累積状況を把握することが可能となるため、鑑賞者は、楽しみながら特定表情指数を蓄積することが可能となる。
【0012】
また、前記配信制御部は、前記鑑賞者画像に基づいて得られる情報であって、前記鑑賞者の動作が特定の動作に対応する度合いを示す特定動作指数を取得し、前記累積特定表情指数及び前記特定動作指数に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択するとよい。
上記構成によれば、静止画像配信装置は、鑑賞者が特定の動作(例えば、両手を上げて喜ぶ動作)に対応する度合いを示す特定動作指数を取得し、累積特定表情指数及び特定動作指数に基づいて、表示装置に配信する静止画像を選択する。これにより、鑑賞者の動作に見られる感情や、感性に基づく性向を静止画像に反映させることが可能となる。
【0013】
また、前記静止画像配信装置は、日時情報を取得する日時情報取得部と、前記表示装置が配設された地域における天気情報を取得する天気情報取得部と、を有し、前記配信制御部は、前記日時情報及び前記天気情報に基づいて、前記静止画像記憶部に記憶された複数の前記静止画像から配信対象とする前記静止画像を選択するとよい。
上記構成によれば、静止画像配信装置は、時間及び天気の変化に基づいて表示装置に配信する静止画像を選択する。そのため、鑑賞者は、天気の変化や季節の変化のように、自然と触れ合う感覚と同じ感覚で静止画を鑑賞することが可能となる。
【0014】
また、前記静止画像は、複数のレイヤを重畳することによって生成され、前記複数のレイヤは、前記静止画像の基本画像が描かれた基本画像レイヤと、前記基本画像レイヤに重畳されて、前記基本画像の背景画像又は前景画像を構成する部分画像が描かれた部分画像レイヤと、からなり、前記静止画像記憶部は、複数の前記基本画像を記憶する基本画像記憶部と、複数の前記部分画像を記憶する部分画像記憶部と、を有し、前記配信制御部は、前記累積特定表情指数に基づいて、前記部分画像記憶部に記憶された複数の前記部分画像から配信対象とする前記部分画像を選択するとよい。
上記構成によれば、静止画像が、基本画像レイヤと、部分画像レイヤとを重畳することによって生成されるため、各レイヤを組み合わせることによって多様な静止画像を生成することができるとともに、静止画像を記憶する静止画像配信装置の記憶容量の増大を抑制することが可能となる。
【0015】
また、前記配信制御部は、前記基本画像レイヤにおける前記基本画像の描画位置に基づいて、前記部分画像レイヤにおける配信対象の前記部分画像の描画位置を決定するとよい。
上記構成によれば、部分画像を、基本画像の描画位置に基づく適切な描画位置に描画させることが可能となる。
【発明の効果】
【0016】
本発明の静止画像配信システム及び静止画像配信装置によれば、鑑賞者の感情や感性を静止画像に反映させることができる静止画像配信システムを提供する。
【図面の簡単な説明】
【0017】
【
図1】静止画像配信システムの全体構成を示す図である。
【
図2】未完成の児童画像が表示されたアートフレームの正面図である。
【
図3】完成された児童画像が表示されたアートフレームの正面図である。
【
図6】観賞者である児童の撮影画像の一例を示す図である。
【
図8】笑顔ポイント算出処理の流れを示す図である。
【
図10】変形例に係るアートフレームの正面図である。
【
図11】第二変形例に係るアートフレームの正面図である。
【発明を実施するための形態】
【0018】
以下、
図1から
図9を参照しながら、本発明の一実施形態(以下、本実施形態)に係る静止画像配信システム1について説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。つまり、本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。
【0019】
本発明の静止画像配信システム1は、一以上のアートフレーム10に観賞用の静止画像を配信するために用いられる。また、本発明の静止画像配信システム1を用いることにより、鑑賞者Pの感情や、感性に基づく性向を静止画像に反映させることができる。
【0020】
以下の説明中、「静止画像」とは、時間の経過とともに連続的に変化する動画像やアニメーション画像(コマ送り画像)を除いた静的な二次元電子画像である。「静止画像」には、絵画、デザイン画、イラスト画、絵本画、児童画、写真の電子画像が含まれ、美術性、芸術性の有無を問わない。また、「静止画像」とは、観賞することを目的とした画像であって、経済的、商業的効果を主目的とする広告や、遊技性の向上を主目的とするゲーム画像や、情報伝達を主目的とする図面等を含まないこととする。
また、以下の説明中、「感情情報」とは、静止画像を鑑賞する者の感情を示す情報である。「感情情報」には、鑑賞する者の表情(笑顔、驚きなど)、動作(両手を上げて左右に振る動作、静止画像に正対した状態で長い時間見つめる動作など)、又は状態(静止画像を鑑賞するために集まった者の人数など)が含まれる。「感情情報」は、正確に感情を特定可能な情報である必要はなく、鑑賞する者の感情や、感動している状態を予想することができる程度の情報を含むこととする。
【0021】
<静止画像配信システム1の概要>
最初に、静止画像配信システム1の概要について、
図1を参照して説明する。
静止画像配信システム1は、アートフレーム10と、配信サーバ30と、ユーザ端末50と、から主に構成されている。
アートフレーム10は、電子データからなる静止画像を表示する表示装置である。
図1には、子供たち(児童P1)が通う学校、保育園、幼稚園、孤児院、又は小児用医療施設等に設置される第一アートフレーム101と、公共施設、行政機関、養老施設等に設置される第二アートフレーム102と、が示されている。
【0022】
第一アートフレーム101は、児童P1が鑑賞する第一児童画像1111を表示する。また、第一アートフレーム101は、児童P1を撮影する撮影カメラ12を有し(
図2を参照)、児童P1を撮影した画像を取得することができる。児童P1は鑑賞者に相当し、第一児童画像1111は静止画像に相当し、第一アートフレーム101は表示装置に相当し、児童P1を撮影した画像は鑑賞者画像に相当する。
第二アートフレーム102は、児童P1の成長を見守る家族等の保護者P2(又は支援者)が鑑賞する第二児童画像1112を表示する。また、第二アートフレーム102は、保護者P2を撮影する撮影カメラ12を有し、保護者P2を撮影した画像を取得することができる。保護者P2は鑑賞者に相当し、第二児童画像1112は静止画像に相当し、第二アートフレーム102は表示装置に相当し、保護者P2を撮影した画像は鑑賞者画像に相当する。
【0023】
配信サーバ30は、第一アートフレーム101及び第二アートフレーム102と、公衆に利用可能な通信回線NW(例えば、インターネット回線)を介して接続されている。配信サーバ30は、クラウドサーバであって、第一アートフレーム101及び第二アートフレーム102に児童画像111を配信する。換言すると、配信サーバ30は、複数の静止画像を記憶し、以下で説明する配信制御処理を行うことによって、第一アートフレーム101に対して第一児童画像1111を送信し、第二アートフレーム102に対して第二児童画像1112を送信する。第一児童画像1111と第二児童画像1112は、同一の画像であっても良いし、異なる画像であってもよい。また、第一アートフレーム101及び第二アートフレーム102に対して送信する静止画像の種類は、児童画に限定されない。絵画、デザイン画、イラスト画、絵本画、写真が送信されてもよい。配信サーバ30は、静止画像配信装置に相当する。
【0024】
ユーザ端末50は、静止画像配信システム1の利用に先立って、アカウントの登録や、各種設定を行うために用いられる。ユーザ端末50は、通信回線NWを介して配信サーバ30と通信接続されている。ユーザ端末50は、携帯可能なスマートフォンであるが、これに限定されない。ユーザ端末50は、タブレット端末、ノート型端末、又はデスクトップ端末であってもよい。
【0025】
次に、以上の構成からなる静止画像配信システム1の処理の概要について説明する。上述したように、第一アートフレーム101及び第二アートフレーム102には、配信サーバ30から配信された児童画像111が表示される。また、第一アートフレーム101は、児童画像111を鑑賞する児童P1の撮影画像を取得することができる。第一アートフレーム101は、撮影画像に対して後述する表情認識処理を施すことにより、児童P1の表情が笑顔であることを示す笑顔ポイントを取得し、配信サーバ30に送信する。
配信サーバ30は、笑顔ポイントを取得し、笑顔ポイントに基づいて第一アートフレーム101に送信する第一児童画像1111(配信対象)を選択し、送信する。換言すると、配信サーバ30は、第一アートフレーム101に表示された第一児童画像1111を鑑賞する児童P1の感情(喜び、楽しみ、驚き)に対応する静止画像を選択して第一アートフレーム101に送信する。したがって、児童P1の感情及び感性を、第一アートフレーム101の静止画像に反映させることができる。
【0026】
第二アートフレーム102は、児童画像111を鑑賞する保護者P2の撮影画像を取得することができる。第二アートフレーム102は、撮影画像に対して表情認識処理を施すことにより、保護者P2の表情が笑顔であることを示す笑顔ポイントを取得し、配信サーバ30に送信する。
配信サーバ30は、笑顔ポイントを取得し、笑顔ポイントに基づいて第二アートフレーム102に送信する第二児童画像1112(配信対象)を選択し、送信する。換言すると、配信サーバ30は、第二アートフレーム102に表示された第二児童画像1112を鑑賞する保護者P2の感情(喜び、楽しみ、安心)に対応する静止画像を選択して第二アートフレーム102に送信する。したがって、保護者P2の感情及び感性を、第二アートフレーム102の静止画像に反映させることができる。
【0027】
次に、第一アートフレーム101及び第二アートフレーム102に表示される静止画像について説明する。なお、以下の説明において、児童P1及び保護者P2を特に区別する必要がない場合には、単に「鑑賞者P」として説明する。また、第一アートフレーム101と第二アートフレーム102を特に区別する必要がない場合には、単に「アートフレーム10」として説明する。
【0028】
図2は、未完成の児童画像111が表示されたアートフレーム10の正面図を示している。一方、
図3は、完成された児童画像111が表示されたアートフレーム10の正面図を示している。静止画像配信システム1は、鑑賞者Pの感情、特に喜び、楽しみ、又は驚きを示す表情(例えば、笑顔)や動作(例えば、両手を上げる動作)に基づいて、アートフレーム10に表示されるオブジェクトを追加、又は変更する。具体例を挙げて説明すると、
図2には、樹木が描かれた素朴な児童画像111が示されている。これに対して、
図3には、果実(リンゴ)や気球等のオブジェクト画像と、太陽や大地等の背景画像が追加されて、完成された児童画像111が示されている。オブジェクト画像、及び背景画像は、部分画像に相当する。
【0029】
このように、静止画像配信システム1は、鑑賞者Pの感情に基づいて、鑑賞者Pが鑑賞する静止画像に対して、オブジェクト画像及び背景画像を段階的に追加していく。これにより、鑑賞者Pは、静止画像に対して強い感情を抱くようになり、その感情が、再び静止画像に反映されることとなる。
【0030】
また、アートフレーム10に表示される静止画像は、未完成の状態から完成された状態に段階的に変化する。換言すると、静止画が、時間の経過とともに成長する。これにより、静止画像配信システム1は、鑑賞者と静止画像の間の関係性の中で、静止画像が成長し、完成状態に近づくという興趣を生み出すことができる。
ここで、アートフレーム10に表示される画像は、時間の経過とともに連続的に変化する動画像やアニメーション画像ではなく、絵画やデザイン画等の静止画像である。そのため、静的な画像が変化することにより、動画像やアニメーション画像が変化する場合と比べて、鑑賞者Pに対して、より大きな感動を与えることが可能となる。
【0031】
<アートフレーム10>
次に、
図2及び
図3を参照してアートフレーム10について説明する。
アートフレーム10は、室内の壁等に設置されて、鑑賞者Pが鑑賞する静止画像を表示する。アートフレーム10は、表示器11と、撮影カメラ12と、人感センサ13と、操作ボタン14と、通信I/F15(
図5を参照)と、アートフレーム制御部20と、を主な構成として有している。
表示器11は、配信サーバ30から配信される静止画像を表示する液晶表示装置である。換言すると、表示器11は、静止画像を描画するキャンバスとして機能する。ただし、表示器11は、液晶表示装置に限定されない。表示器11は、有機EL表示装置であってもよい。
【0032】
図2及び
図3において、表示器11には、児童画像111が示されている。ここで、児童画像111は、複数の画像を重ね合わせることによって生成されている。
図2及び
図3において、児童画像111は、樹木の画像からなる基本オブジェクト画像111aと、リンゴの画像からなるオブジェクト前エフェクト画像111bと、動物の画像からなるオブジェクト後エフェクト画像111cが重畳されている。また、児童画像111は、さらに太陽及び大地の画像からなる基本背景画像111dと、気球の画像からなる背景前エフェクト画像111eと、空の画像からなる背景後エフェクト画像111fが重畳されている。
【0033】
また、表示器11には、笑顔ポイントの累積値(累積笑顔ポイント)を示す笑顔ゲージ画像112が表示される。ここで、笑顔ポイントとは、鑑賞者Pを撮影して得られる顔画像に対して画像解析に基づく表情認識処理を施すことによって得られる数値であって、鑑賞者Pの表情が笑顔である程度(確からしさ)を示している。また、累積笑顔ポイントとは、予め定められた所定のタイミングで取得される笑顔ポイントを、静止画像の配信を開始した時点から継続的に加算することによって得られる累積値である。笑顔ポイントの詳細については後述する。
【0034】
図4は、児童画像111を構成する画像レイヤ113を示している。
図4に示すように、児童画像111は、複数のレイヤを重畳することによって生成される。より詳細には、児童画像111は、笑顔ゲージレイヤ113aと、オブジェクトレイヤ113bと、背景レイヤ113cと、をこの順番に重畳することによって生成される。
笑顔ゲージレイヤ113aには、笑顔ゲージ画像112が描画されている。
【0035】
オブジェクトレイヤ113bは、3つのレイヤが重畳される。詳細には、オブジェクトレイヤ113bは、オブジェクト前エフェクトレイヤ113b1と、基本オブジェクトレイヤ113b2と、オブジェクト後エフェクトレイヤ113b3と、を有している。
オブジェクト前エフェクトレイヤ113b1には、リンゴの画像からなるオブジェクト前エフェクト画像111bが描画されている。また、基本オブジェクトレイヤ113b2には、樹木の画像からなる基本オブジェクト画像111aが描画されている。また、オブジェクト後エフェクトレイヤ113b3には、動物の画像からなるオブジェクト後エフェクト画像111cが描画されている。基本オブジェクト画像111aは、基本画像に相当し、基本オブジェクトレイヤ113b2は、基本画像レイヤに相当する。また、オブジェクト前エフェクト画像111bは、前景画像に相当する。
【0036】
背景レイヤ113cは、3つのレイヤが重畳される。詳細には、背景レイヤ113cは、背景前エフェクトレイヤ113c1と、基本背景レイヤ113c2と、背景後エフェクトレイヤ113c3と、を有している。
背景前エフェクトレイヤ113c1には、気球の画像からなる背景前エフェクト画像111eが描画されている。また、基本背景レイヤ113c2には、太陽及び大地の画像からなる基本背景画像111dが描画されている。背景後エフェクトレイヤ113c3には、空の画像からなる背景後エフェクト画像111fが描画されている。
【0037】
上述したように、児童画像111は、基本画像に相当する基本オブジェクト画像111aと、背景画像又は前景画像を構成する部分画像(オブジェクト前エフェクト画像111b、オブジェクト後エフェクト画像111c、基本背景画像111d、背景前エフェクト画像111e、及び背景後エフェクト画像111f)が互いに重畳されている。
このように、複数のレイヤの重畳によって児童画像111を構成することによって、表示内容のバリエーションを増やしつつ、後述する配信サーバ30に格納される画像データの記憶容量の増大を抑制することが可能となる。オブジェクト前エフェクトレイヤ113b1、オブジェクト後エフェクトレイヤ113b3、背景前エフェクトレイヤ113c1、基本背景レイヤ113c2、背景後エフェクトレイヤ113c3は、部分画像レイヤに相当する。
【0038】
図2及び
図3に戻って、表示器11のフレーム114の下方には、撮影カメラ12と、人感センサ13と、操作ボタン14が配設されている。
撮影カメラ12は、児童画像111を鑑賞する鑑賞者Pを撮影し、鑑賞者画像を出力する。撮影カメラ12は、鑑賞者撮影機に相当する。
人感センサ13は、児童画像111を鑑賞する鑑賞者Pを検知し、鑑賞者検知信号を出力する。人感センサ13は、赤外線センサであるが、これに限定されない。
【0039】
操作ボタン14は、鑑賞者Pが操作可能な押圧式ボタンである。操作ボタン14は、アートフレーム10に電源を投入する際に操作される電源ボタンであるが、これに限定されない。操作ボタン14は、鑑賞者Pが児童画像111を気に入った時に操作する「いいねボタン」であってもよい。
【0040】
また、アートフレーム10は、通信I/F15を有している(
図5を参照)。通信I/F15は、配信サーバ30と通信回線NWを介して通信可能な通信インターフェース回路である。通信I/F15は、配信サーバ30が配信する児童画像111を受信する。また、通信I/F15は、配信サーバ30に対して、後述する表情認識部203及び動作認識部204の認識結果を送信する。
【0041】
<<アートフレーム10の機能構成>>
次に、アートフレーム10の機能構成について説明する。
図5は、アートフレーム10の機能構成を示している。
図5に示すように、アートフレーム制御部20は、撮影カメラ12と、人感センサ13と、操作ボタン14と、表示器11と、通信I/F15と接続され、アートフレーム10全体の制御を司る。アートフレーム制御部20には、一以上の制御回路が組み込まれており、プログラムを実行するプロセッサと、不揮発性記憶媒体と、揮発性記憶媒体と、から構成されている。そして、プロセッサが、不揮発性記憶媒体に格納されたプログラムをロードして実行することにより、信号取得部201、鑑賞者認識部202、表情認識部203、動作認識部204、通信制御部205、及び表示制御部206として機能する。
【0042】
信号取得部201は、インターフェース回路であって、撮影カメラ12が出力する鑑賞者画像、人感センサ13が出力する鑑賞者検知信号、及び操作ボタン14が出力する操作検知信号を取得する。信号取得部201は、アナログ信号をディジタル信号に変換するADC(アナログ・ディジタル変換器)、及びノイズ成分を除去するフィルター回路を有していてもよい。
【0043】
鑑賞者認識部202は、人感センサ13の出力信号に基づいて、アートフレーム10の周辺の鑑賞者Pを認識する。また鑑賞者認識部202は、人感センサ13の出力信号に基づいて、鑑賞者Pの人数を特定する。また、鑑賞者認識部202は、鑑賞者Pの鑑賞時間を特定してもよい。ただし、これに限定されることなく、鑑賞者認識部202は、撮影カメラ12が出力する鑑賞者画像に基づいて鑑賞者Pを認識し、鑑賞者Pの人数や鑑賞時間を特定してもよい。
【0044】
表情認識部203は、鑑賞者Pが認識された場合に、鑑賞者画像に基づいて、鑑賞者Pの表情を認識する。表情認識部203は、予め機械学習された表情認識モデルに鑑賞者画像を入力することにより、鑑賞者Pの表情認識を行う(表情認識処理)。表情認識処理では、学習済みの畳み込みニューラルネットワークを用いることができるが、これに限定されない。表情認識処理では、公知の表情認識アルゴリズムを採用することができる。
表情認識部203は、鑑賞者Pの表情が笑顔であることを示す笑顔ポイントを出力する。より詳細には、笑顔ポイントとは、鑑賞者Pの表情が笑顔に対応する度合い(笑顔であることの確からしさ)を示す指数である。後述するように、配信サーバ30は、笑顔ポイントの累積値(累積笑顔ポイント)に基づいて、第二アートフレーム102に配信する静止画像を選択する。笑顔ポイントは、特定表情指数に相当する。
【0045】
動作認識部204は、鑑賞者Pが認識された場合に、鑑賞者画像に基づいて、鑑賞者Pの動作を認識する。鑑賞者認識部202は、鑑賞者Pの「喜び」や「驚き」に対応する動作を認識することができる。具体例を挙げると、
図6に示すように、鑑賞者Pが手を上げながら左右に手を振る動作を、鑑賞者Pの「喜び」に対応する動作と認識する。また、鑑賞者Pが、両手を重ね合わせて胸に当てる動作を、鑑賞者Pの「喜び」に対応する動作と認識してもよい。また、鑑賞者Pが両手を左右に広げる動作を、鑑賞者Pの「驚き」に対応する動作と認識してもよい。
動作認識部204は、学習済みの畳み込みニューラルネットワークモデルを用いて鑑賞者Pの動作認識を行う。ただし、これに限定されず、公知の動作認識アルゴリズムが採用されてもよい。動作認識部204は、数値化された認識結果である動作ポイントを出力する。動作ポイントは、後述するように笑顔ポイントに加算される。動作ポイントは、特定動作指数に相当する。
【0046】
通信制御部205は、通信I/F15を制御することにより、配信サーバ30に対して笑顔ポイント及び鑑賞者Pの人数を送信する。また、通信制御部205は、通信I/F15を介して、配信サーバ30から児童画像111を受信する。
【0047】
表示制御部206は、児童画像111及び笑顔ゲージ画像112を表示器11に出力するように制御する。より詳細には、表示制御部206は、児童画像111を構成する複数のレイヤの全て、又は一部のレイヤを表示器11に出力するように制御する。これにより、レイヤごとに表示内容を変更することができ、児童画像111のバリエーションを増やしつつ、アートフレーム制御部20の制御負担の増加を抑制することが可能となる。
【0048】
<配信サーバ30の機能構成>
次に、配信サーバ30について説明する。
図7は、配信サーバ30の機能構成を示している。
図7に示すように、配信サーバ30は、主な機能構成として、配信サーバ30全体の制御を司るサーバ制御部31と、記憶部32と、を有している。
【0049】
記憶部32は、HDD(Hard Disk Drive)、あるいはSSD(Solid State Drive)等からなる不揮発性の補助記憶装置である。
記憶部32は、アカウント情報DB32aと、設定情報DB32bと、笑顔ゲージ画像DB32cと、基本オブジェクト画像DB32dと、オブジェクト前エフェクト画像DB32eと、オブジェクト後エフェクト画像DB32fと、基本背景画像DB32gと、背景前エフェクト画像DB32hと、背景後エフェクト画像DB32iと、を有している。記憶部32は、静止画像記憶部に相当する。
【0050】
アカウント情報DB32aは、静止画像配信システム1の利用者のアカウント情報を格納している。より具体的には、アカウント情報DB32aは、静止画像配信システム1の利用者を特定可能な利用者識別情報と、利用者が保護者及び被保護者のいずれであるかを示す種別情報と、アートフレーム10を特定可能なアートフレーム識別情報を含む情報を格納している。
設定情報DB32bは、静止画像配信システム1の利用者から受け付けた設定情報を格納している。より具体的には、設定情報DB32bは、利用者が配信を希望する静止画像のジャンル、又は配信を希望する静止画像を特定可能な情報を格納している。ただし、設定情報DB32bに格納される情報は、これに限定されない。静止画像を配信するタイミングを設定するための情報が格納されることとしてもよい。
【0051】
笑顔ゲージ画像DB32cは、笑顔ゲージレイヤ113aに描画される笑顔ゲージ画像112を格納している。笑顔ゲージ画像DB32cは、笑顔ポイントの累積の度合いを示す画像を格納している。
【0052】
基本オブジェクト画像DB32dは、基本オブジェクトレイヤ113b2に描画される基本オブジェクト画像111aを格納している。また、オブジェクト前エフェクト画像DB32eは、オブジェクト前エフェクトレイヤ113b1に描画されるオブジェクト前エフェクト画像111bを格納している。オブジェクト後エフェクト画像DB32fは、オブジェクト後エフェクトレイヤ113b3に描画されるオブジェクト後エフェクト画像111cを格納している。基本オブジェクト画像DB32dは、基本画像記憶部に相当する。
【0053】
基本背景画像DB32gは、基本背景レイヤ113c2に描画される基本背景画像111dを格納している。背景前エフェクト画像DB32hは、背景前エフェクトレイヤ113c1に描画される背景前エフェクト画像111eを格納している。背景後エフェクト画像DB32iは、背景後エフェクトレイヤ113c3に描画される背景後エフェクト画像111fを格納している。オブジェクト前エフェクト画像DB32e、オブジェクト後エフェクト画像DB32f、基本背景画像DB111g、背景前エフェクト画像DB32h、背景後エフェクト画像DB32iは、部分画像記憶部に相当する。
【0054】
サーバ制御部31には、一以上の制御回路が組み込まれており、プログラムを実行するプロセッサと、不揮発性記憶媒体と、揮発性記憶媒体と、から構成されている。そして、プロセッサが、不揮発性記憶媒体に格納されたプログラムをロードして実行することにより、アカウント情報登録部311、設定情報受付部312、日時情報取得部313、天気情報取得部314、配信制御部315、配信履歴集計部316として機能する。
【0055】
アカウント情報登録部311は、静止画像配信システム1の利用者の登録を受け付けるとともに、アカウント情報をアカウント情報DB32aに格納する。
設定情報受付部312は、設定情報の登録を受け付けるとともに、設定情報を設定情報DB32bに格納する。静止画像配信システム1の利用者は、ユーザ端末50を介してアカウント情報の登録及び設定情報の入力を行うことができる。
【0056】
日時情報取得部313は、日時情報を取得する。より詳細には、日時情報取得部313は、通信回線NWを介して、外部の時刻配信サーバから現在の年月日及び時刻からなる時刻情報を取得する。ただし、これに限定されることなく、日時情報取得部313は、計時用の発振回路を有し、発振回路の出力に基づいて日時情報が取得されてもよい。
【0057】
天気情報取得部314は、天気情報を取得する。より詳細には、天気情報取得部314は、通信回線NWを介して、外部の天気情報提供サーバから、アートフレーム10が設置された地域の現在の天気情報を取得する。天気情報は、具体的には、晴れ、くもり、雨、雪、雷のいずれか、及び気温、風速に関する情報を取得する。後述するように、配信制御部315は、天気情報取得部314が取得した現在の天気に応じた静止画像を配信する。
【0058】
配信制御部315は、アートフレーム10に対して静止画像を配信する。具体的には、配信制御部315は、
図9を参照して後述する静止画像配信処理を実行する。
【0059】
配信履歴集計部316は、配信履歴情報を集計する。より詳細には、配信履歴集計部316は、過去に配信サーバ30が配信した背景画像と、その配信回数を集計する。また、配信履歴集計部316は、過去に配信した静止画像毎に、その静止画像をアートフレーム10に表示している際に取得された笑顔ポイントを集計しても良い。また、配信履歴集計部316は、過去に配信した静止画像毎に、その静止画像をアートフレーム10に表示している際に検出された鑑賞者Pの数を集計してもよい。
配信履歴集計部316は、集計結果を静止画像配信システム1の利用者が利用するユーザ端末50に出力することができる。
【0060】
<笑顔ポイント算出処理の流れ>
次に、アートフレーム制御部20によって実行される笑顔ポイント算出処理について説明する。
図8は、笑顔ポイント算出処理の流れを示している。
図8に示すように、アートフレーム制御部20は、最初に、アートフレーム10の周辺に鑑賞者Pが検出されるか否かを判定する(ステップS10)。より詳細には、アートフレーム制御部20は、人感センサ13の出力信号又は撮影カメラ12の出力に対する画像解析結果に基づいて、鑑賞者Pが検出されたか否かを判定する。
アートフレーム制御部20は、鑑賞者Pの存否とともに鑑賞者Pの人数を特定することとしてもよい。鑑賞者Pが検出されなかった場合(ステップS10:No)、アートフレーム制御部20は、鑑賞者Pが検出されるまで待機する。
【0061】
鑑賞者Pが検出された場合(ステップS10:Yes)、アートフレーム制御部20は、鑑賞者Pの表情認識処理を行う(ステップS11)。より詳細には、アートフレーム制御部20は、予め機械学習された表情認識モデルに対して撮影カメラ12が取得した鑑賞者画像を入力することにより、鑑賞者Pの表情が笑顔であることを示す指数である笑顔ポイントを取得する。
ここで、笑顔ポイントの算出は、予め定められた所定のタイミングで1回だけ行うこととしてもよいし、計測時間内に継続的に笑顔ポイントを取得し、その平均値を算出することとしてもよい。また、笑顔ポイントは、所定の計測時間内に取得された笑顔ポイントの最大値としてもよい。所定の計測時間は、例えば30分である。
また、複数の鑑賞者Pが検出された場合、各鑑賞者Pの笑顔ポイントの総加算値を算出してもよいし、最も大きな笑顔ポイントの鑑賞者Pを選択することとしてもよい。
【0062】
次に、アートフレーム制御部20は、鑑賞者Pの動作認識処理を行う(ステップS12)。より詳細には、アートフレーム制御部20は、予め機械学習された動作認識モデルに対して撮影カメラ12が取得した鑑賞者画像を入力することにより、鑑賞者Pの動作が「喜び」や「驚き」に対応する動作であるか否かを認識する。認識結果は、動作ポイントとして出力される。
【0063】
続いて、アートフレーム制御部20は、笑顔ポイントを加算する処理を行う(ステップS13)。より詳細には、アートフレーム制御部20は、ステップS11で取得された笑顔ポイントに対して、動作ポイントを加算する。これにより、鑑賞者Pの感情をより正確に反映した笑顔ポイントを取得することができる。ただし、これに限定されることなく、アートフレーム制御部20は、ステップS11で取得された笑顔ポイントに対して、動作ポイントを乗算することとしてもよい。
【0064】
最後に、アートフレーム制御部20は、笑顔ポイントを配信サーバ30に送信して(ステップS14)、笑顔ポイント算出処理を終了する。
図9を参照して後述するように、配信サーバ30は、アートフレーム10から取得した笑顔ポイントに基づいて静止画像を選択して配信する。
【0065】
<静止画像配信処理の流れ>
次に、配信サーバ30のサーバ制御部31によって実行される静止画像配信処理の流れについて説明する。
図9は、静止画像配信処理の流れを示している。
図9に示すように、サーバ制御部31は、最初に、配信タイミングが到来したか否かを判定する(ステップS20)。配信タイミングは、予め定められたタイミングであってもよいし、所定のイベントを契機とするタイミングであってもよい。具体例を挙げると、配信タイミングは、30分間隔で定期的に到来するタイミングである。また、他の具体例として、配信タイミングは、静止画像配信システム1の利用者が静止画像の配信を希望したタイミングであってもよい。
サーバ制御部31は、配信タイミングが到来していないと判定された場合(ステップS20:No)、配信タイミングが到来するまで待機する。
【0066】
配信タイミングが到来したと判定された場合(ステップS20:Yes)、サーバ制御部31は、現在の日付、及び時刻を取得する(ステップS21)。詳細に説明すると、サーバ制御部31は、通信回線NWを介して、外部の時刻配信サーバから現在の年月日及び時刻を取得する。これにより、正確な年月日及び時刻を取得することができる。ただし、これに限定されることなく、サーバ制御部31が有する計時手段によって時刻情報を取得することとしてもよい。
【0067】
次に、サーバ制御部31は、季節変化タイミングが到来したか否かを判定する(ステップS22)。より詳細には、サーバ制御部31は、時刻情報の取得の前後において、現在の季節(春、夏、秋、冬)が変化したか否かを判定する。
【0068】
季節変化タイミングが到来したと判定された場合(ステップS22:Yes)、サーバ制御部31は、オブジェクト画像を選択する(ステップS23)。より詳細には、サーバ制御部31は、オブジェクト前エフェクト画像DB32e、又はオブジェクト後エフェクト画像DB32fから、それぞれオブジェクト前エフェクト画像111b、又はオブジェクト後エフェクト画像111cを選択する。具体例を挙げると、季節が冬である場合に、
図3に示すように、リンゴの画像からなるオブジェクト前エフェクト画像111bを選択する。
また、季節変化タイミングが到来したと判定された場合、サーバ制御部31は、背景画像を取得してもよい。より詳細には、サーバ制御部31は、基本背景画像DB32g、背景前エフェクト画像DB32h、又は背景後エフェクト画像DB32iから基本背景画像111d、背景前エフェクト画像111e、又は背景後エフェクト画像111fを選択してもよい。
一方、季節変化タイミングが到来していないと判定された場合(ステップS22:No)、サーバ制御部31は、オブジェクト画像を選択することなくステップS24に進む。
【0069】
次に、サーバ制御部31は、天気情報を取得する(ステップS24)。より詳細には、サーバ制御部31は、通信回線NWを介して外部の天気情報提供サーバから、アートフレーム10が設置された地域の現在の天気を取得する。
続いて、サーバ制御部31は、天気情報が変化したか否かを判定する(ステップS25)。より詳細には、天気情報の取得の前後において、天気情報が同一であるか否かを判定する。
【0070】
天気情報が変化したと判定された場合(ステップS25:Yes)、サーバ制御部31は、背景画像を選択する(ステップS26)。より詳細には、サーバ制御部31は、基本背景画像DB32g、背景前エフェクト画像DB32h、又は背景後エフェクト画像DB32iから基本背景画像111d、背景前エフェクト画像111e、又は背景後エフェクト画像111fを選択して取得する。具体例をあげると、天気が晴れとなった場合に、
図3に示すように、太陽の基本背景画像111dを取得することができる。
一方、天気が変化したと判定されなかった場合(ステップS25:No)、サーバ制御部31は、背景画像を選択することなくステップS27に進む。
【0071】
次に、サーバ制御部31は、累積笑顔ポイントを取得する(ステップS27)。より詳細には、サーバ制御部31は、通信回線NWを介してアートフレーム10から受信した笑顔ポイントを加算することによって累積笑顔ポイントを取得する。また、サーバ制御部31は、鑑賞者Pの人数や、鑑賞者Pの鑑賞時間に基づいて累積笑顔ポイントを算出してもよい。累積笑顔ポイントは、累積特定表情指数に相当する。
【0072】
次に、サーバ制御部31は、累積笑顔ポイントの段階が変化したか否かを判定する(ステップS28)。より詳細には、最初に、サーバ制御部31は、累積笑顔ポイントを、予め定められた4つの閾値TH1、TH2、TH3、TH4と比較する。ここで、閾値TH1、TH2、TH3、及びTH4は、笑顔ポイントの累積段階ごとに予め設定された閾値であって、TH1<TH2<TH3<TH4の関係にある。これにより、サーバ制御部31は、笑顔ポイントの累積の程度を5つの段階に振り分けることができる。具体的に説明すると、累積笑顔ポイントがTH1以下である場合、サーバ制御部31は、笑顔ポイントの累積の程度が非常に低い段階にあると判定することができる。また、累積笑顔ポイントがTH1を上回り、TH2以下である場合、サーバ制御部31は、笑顔ポイントの累積の程度が低い段階にあると判定することができる。また、累積笑顔ポイントがTH2を上回り、TH3以下である場合、サーバ制御部31は、笑顔ポイントの累積の程度が標準的な段階にあると判定することができる。また、累積笑顔ポイントがTH3を上回り、TH4以下である場合、サーバ制御部31は、笑顔ポイントの累積の程度が高い段階にあると判定することができる。また、累積笑顔ポイントがTH4を上回る場合、サーバ制御部31は、笑顔ポイントの累積の程度が非常に高い段階にあると判定することができる。
続いて、サーバ制御部31は、ステップS27における累積笑顔ポイントの取得の前後において累積笑顔ポイントの段階が同一であるか否かを判定する。これにより、サーバ制御部31は、累積笑顔ポイントの段階が変化したか否かを判定する。
【0073】
累積笑顔ポイントの段階が変化したと判定された場合(ステップS28:Yes)、サーバ制御部31は、累積笑顔ポイントに基づいてオブジェクト画像を選択する(ステップS29)。より詳細には、サーバ制御部31は、オブジェクト前エフェクト画像DB32e、又はオブジェクト後エフェクト画像DB32fから、それぞれオブジェクト前エフェクト画像111b、又はオブジェクト後エフェクト画像111cを選択する。
また、サーバ制御部31は、累積笑顔ポイントに基づいて背景画像を選択してもよい。より詳細には、サーバ制御部31は、基本背景画像DB32g、背景前エフェクト画像DB32h、又は背景後エフェクト画像DB32iから基本背景画像111d、背景前エフェクト画像111e、又は背景後エフェクト画像111fを選択してもよい。具体例を挙げると、累積笑顔ポイントの累積の程度が非常に高い段階に変化した場合、
図3に示すように、気球の背景前エフェクト画像111eを選択する。
【0074】
次に、サーバ制御部31は、累積笑顔ポイントに基づいて、笑顔ゲージ画像112を選択する(ステップS30)。より詳細には、サーバ制御部31は、笑顔ゲージ画像DB32cから、笑顔ポイントの累積段階に応じた笑顔ゲージ画像112を選択する。笑顔ゲージ画像112は、累積笑顔ポイントを、累積段階とともに視覚的に示している。笑顔ゲージ画像112は、累積特定表情指数画像に相当する。
一方、累積笑顔ポイントの段階が変化したと判定されなかった場合(ステップS28:No)、サーバ制御部31は、オブジェクト画像及び笑顔ゲージ画像112の選択を行うことなくステップS31に進む。
【0075】
最後に、サーバ制御部31は、ステップS23、ステップS26、ステップS29、及びステップS30で選択した画像をアートフレーム10に送信し(ステップS31)、静止画像配信処理を終了する。
【0076】
ここで、サーバ制御部31は、ステップS23、ステップS26、ステップS29で選択したオブジェクト画像又は背景画像の描画位置を、他のオブジェクト画像の描画位置に基づいて動的に決定することができる。以下、
図3を参照して詳細に説明する。
図3において、リンゴの画像からなるオブジェクト前エフェクト画像111bは、樹木の画像からなる基本オブジェクト画像111a及び動物の画像からなるオブジェクト後エフェクト画像111cと重なり合う位置に描画されている。このように、オブジェクト前エフェクト画像111bの描画位置を、他のオブジェクト画像(基本オブジェクト画像111a、又はオブジェクト後エフェクト画像111c)と重なり合う描画位置とすることができる。
【0077】
また、気球の画像からなる背景前エフェクト画像111eは、樹木の画像からなる基本オブジェクト画像111a、リンゴの画像からなるオブジェクト前エフェクト画像111b、及び動物の画像からなるオブジェクト後エフェクト画像111cと重ならない位置に描画されている。このように、背景前エフェクト画像111eの描画位置を、他のオブジェクト画像と重ならない描画位置とすることができる。
【0078】
オブジェクトの描画位置は、機械学習されたオブジェクト位置決定モデルによって、動的に決定されるが、これに限定されない。予め定められた所定の描画位置決定規則に基づいてオブジェクトの描画位置が決定されることとしてもよい。
【0079】
以上のように構成された静止画像配信システム1は、第一アートフレーム101に表示される第一児童画像1111を鑑賞する児童P1の笑顔ポイントに基づいて、第一児童画像1111が選択され、配信される。また、第二アートフレーム102に表示される第二児童画像1112を鑑賞する保護者P2の笑顔ポイントに基づいて、第二児童画像1112が選択され、配信される。そのため、鑑賞者Pの感情を児童画像111に反映させることが可能となる。また、笑顔ポイントの累積値に基づいて児童画像111が変化するため、鑑賞者Pの一時的な感情ではなく、鑑賞者Pの感性に基づく性向を児童画像111に反映させることが可能となる。
【0080】
以上、本発明の一実施形態に係る静止画像配信システム1の構成について説明してきたが、上述した実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることは勿論である。
【0081】
<第一変形例>
上述した実施形態において、笑顔ポイントの累積の段階に応じて、オブジェクト画像及び背景画像が変更、又は追加され、
図2に示す未完成の児童画像111が、
図3に示す完成された児童画像111に変化することとして説明したが、これに限定されない。アートフレーム10に配信される静止画像が、部分的に視認可能な状態から、全体を視認可能な状態へと変化することとしてもよい。
【0082】
図10は、第一変形例に係るアートフレーム10Aの正面図を示している。
図10に示すように、アートフレーム10Aには、デザイン画像111Aが表示されている。また、デザイン画像111Aは、遮蔽領域111Aaと、視認可能領域111Abと、を有している。そして、遮蔽領域111Aaと、視認可能領域111Abの面積は、笑顔ポイントの累積の段階に応じて変化する。より詳細に説明すると、笑顔ポイントの累積が低い段階において、遮蔽領域111Aaの面積が広く表示され、視認可能領域111Abの面積が相対的に狭く表示される。逆に、笑顔ポイントの累積が高い段階において、視認可能領域111Abの面積が広く表示され、遮蔽領域111Aaの面積が狭く表示される。
【0083】
第一変形例に係る配信サーバ30のオブジェクト前エフェクト画像DB32eは、複数段階の遮蔽領域111Aaに対応するオブジェクト前エフェクト画像111bを格納している。そして、配信サーバ30は、静止画像配信処理において、笑顔ポイントの累積の段階に対応した遮蔽領域111Aaを有するオブジェクト前エフェクト画像111bを選択する。これにより、笑顔ポイントの累積の段階に応じたデザイン画像111Aをアートフレーム10Aに表示することができる。鑑賞者Pは、段階的に視認可能領域111Abが広がるデザイン画像111Aを鑑賞することで、笑顔ポイントの累積を楽しむことが可能となる。
【0084】
<第二変形例>
上述した実施形態において、笑顔ポイントの累積の段階に応じて静止画像が変化することとして説明したが、これに限定されない。アートフレーム10から受信した笑顔ポイントが所定の条件を満たす場合、配信サーバ30は、アートフレーム10に表示される静止画像を変化させる前に、笑顔ポイントを受信したことを示す笑顔ポイント受信画像111Bをアートフレーム10に送信してもよい。所定条件は、笑顔ポイントが予め定められた閾値を上回ることであるが、これに限定されない。
【0085】
図11は、第二変形例に係るアートフレーム10Bの正面図を示している。
図11に示すように、アートフレーム10Bには、笑顔ポイント受信画像111Bが表示されている。笑顔ポイント受信画像111Bには、少年が元気の源(笑顔から与えられる元気、又は活力を示す観念体)を受け止めている画像が表示されている。このように、笑顔ポイントを受信した際に、その旨を示す笑顔ポイント受信画像111Bを表示することにより、鑑賞者Pは、自らの感情によって、背景画像が変化することを容易に認識することができる。そのため、背景画像が、配信サーバ30から一方的に配信されたものでないことを実感することができる。
なお、笑顔ポイント受信画像111Bは、
図11に示すものに限定されない。鑑賞者Pが、笑顔ポイントを受信したことを認識することができればよく、アートフレーム10に表示されている静止画像の色彩等を変化させることにより笑顔ポイント受信画像111Bを生成することとしてもよい。
【0086】
第二変形例に係る配信サーバ30の基本オブジェクト画像DB32dには、
図11に示す笑顔ポイント受信画像111Bが格納されている。配信サーバ30は、第一アートフレーム101から笑顔ポイントを受信した際に、笑顔ポイントが所定の条件を満たす場合に、笑顔ポイント受信画像111Bを選択し、第二アートフレーム102に送信する。配信サーバ30は、笑顔ポイント受信画像111Bを送信した後に、
図9を参照して説明した静止画像配信処理を実行することによって、笑顔ポイントの累積の段階に応じた静止画像の配信を行う。
【0087】
上述した実施形態において、鑑賞者画像に対する表情認識処理は、アートフレーム制御部20の表情認識部203によって実行され、配信サーバ30は、表情認識部203が出力する笑顔ポイントを取得することとして説明したが、これに限定されない。表情認識処理を、サーバ制御部31が実行することとしてもよい。この場合、アートフレーム10は、撮影カメラ12によって撮影した鑑賞者画像を、配信サーバ30に送信する。鑑賞者画像を受信したのち、上述した表情認識処理を実行することにより、サーバ制御部31は笑顔ポイントを取得する。このように、表情認識部203又は動作認識部204をサーバ制御部31の構成とすることにより、アートフレーム制御部20の処理負担を軽減することが可能となる。
【0088】
また、上述した実施形態において、笑顔ポイントの累積の段階が変化すると、静止画像にオブジェクトが変更、追加されることで、未完成の静止画像が完成された静止画像となることとして説明したが、これに限定されない。植物、又は動物の成長の過程が静止画像に表示されることとしてもよい。また、ゴミ等が廃棄されて汚染された河川から、ゴミが清掃等される(静止画像から削除される)ことで、清流からなる河川の完成画像となることとしてもよい。これにより、鑑賞者Pに対して豊かな自然を守る意識を持たせることが可能となる。
【0089】
また、上述した実施形態において、所定の配信タイミングが到来するとともに、笑顔ポイントの累積の段階が変化したときに笑顔ゲージ画像112を変更することとして説明したが、これに限定されない。笑顔ゲージ画像112は、笑顔ポイントを受信したタイミングで変更してもよいし、リアルタイムに変更してもよい。これにより、鑑賞者Pは、即時に笑顔ポイントの変化を認識することが可能となり、自らの感情が与える影響を適時に把握することが容易となる。
【0090】
また、上述した実施形態において、第一アートフレーム101と第二アートフレーム102は、同一の構成を有していることとして説明したが、これに限定されない。例えば、第一アートフレーム101は、撮影カメラ12を有しているものの人感センサ13を有しておらず、第二アートフレーム102は、人感センサ13を有しているものの撮影カメラ12を有していない場合があってもよい。
【0091】
また、上述した実施形態において、静止画像配信システム1の利用者は、ユーザ端末50を介してアカウント情報の登録及び設定情報の入力を行うこととして説明したが、これに限定されない。利用者は、ユーザ端末50を介して自ら作成した静止画像を登録することができてもよい。
【符号の説明】
【0092】
1 静止画像配信システム
10、10A、10B アートフレーム(表示装置)
101 第一アートフレーム(表示装置)
102 第二アートフレーム(表示装置)
11 表示器
111 児童画像(静止画像)
1111 第一児童画像
1112 第二児童画像
111a 基本オブジェクト画像(基本画像)
111b オブジェクト前エフェクト画像(前景画像)
111c オブジェクト後エフェクト画像
111d 基本背景画像(背景画像)
111e 背景前エフェクト画像
111f 背景後エフェクト画像
111A デザイン画像(静止画像)
111Aa 遮蔽領域
111Ab 視認可能領域
111B 笑顔ポイント受信画像
112 笑顔ゲージ画像(累積特定表情指数画像)
113 画像レイヤ
113a 笑顔ゲージレイヤ
113b オブジェクトレイヤ
113b1 オブジェクト前エフェクトレイヤ
113b2 基本オブジェクトレイヤ(基本画像レイヤ)
113b3 オブジェクト後エフェクトレイヤ
113c 背景レイヤ
113c1 背景前エフェクトレイヤ
113c2 基本背景レイヤ
113c3 背景後エフェクトレイヤ
114 フレーム
12 撮影カメラ(鑑賞者撮影機)
13 人感センサ
14 操作ボタン
15 通信I/F
20 アートフレーム制御部
201 信号取得部
202 鑑賞者認識部
203 表情認識部
204 動作認識部
205 通信制御部
206 表示制御部
30 配信サーバ(静止画像配信装置)
31 サーバ制御部
311 アカウント情報登録部
312 設定情報受付部
313 日時情報取得部
314 天気情報取得部
315 配信制御部
316 配信履歴集計部
32 記憶部(静止画像記憶部)
32a アカウント情報DB
32b 設定情報DB
32c 笑顔ゲージ画像DB
32d 基本オブジェクト画像DB(基本画像記憶部)
32e オブジェクト前エフェクト画像DB
32f オブジェクト後エフェクト画像DB
32g 基本背景画像DB
32h 背景前エフェクト画像DB
32i 背景後エフェクト画像DB
50 ユーザ端末
NW 通信回線
P 鑑賞者
P1 児童
P2 保護者