特開 2024-169097 撮影システム、サーバ装置及び撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169097

(43)【公開日】2024-12-05

(54)【発明の名称】撮影システム、サーバ装置及び撮影方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241128BHJP

   H04N 5/77 20060101ALI20241128BHJP

   H04N 5/92 20060101ALI20241128BHJP

   G03B 17/24 20210101ALI20241128BHJP

【ＦＩ】

H04N23/60 100

H04N23/60 300

H04N5/77

H04N5/92 010

G03B17/24

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023086290

(22)【出願日】2023-05-25

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100086911

【弁理士】

【氏名又は名称】重野 剛

(74)【代理人】

【識別番号】100144967

【弁理士】

【氏名又は名称】重野 隆之

(72)【発明者】

【氏名】北村 千夏

(72)【発明者】

【氏名】小澤 陽子

(72)【発明者】

【氏名】長山 泰祐

(72)【発明者】

【氏名】木下 和則

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA42

5C122EA69

5C122FH14

5C122GA20

5C122GA34

5C122GC14

5C122GC52

5C122GD12

5C122HA05

5C122HA75

5C122HB01

(57)【要約】

【課題】撮影者にとって重要な場面を自動撮影できる撮影システム、サーバ装置及び撮影方法を提供する。
【解決手段】撮影システムは、ユーザＵに装着され、ユーザＵの生体情報を測定するセンサ２と、ユーザＵの身体に取り付け可能な撮影装置１と、撮影装置１から撮影データを取得するサーバ装置４と、前記生体情報を用いて前記ユーザの感情分析を行う判定部４３と、を備える。サーバ装置４は、前記感情分析の分析結果に基づくタイミングの撮影画像を記憶部４０に保存する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザに装着され、前記ユーザの生体情報を測定するセンサと、
前記ユーザの身体に取り付け可能な撮影装置と、
前記撮影装置から撮影データを取得するサーバ装置と、
前記生体情報を用いて前記ユーザの感情分析を行う判定部と、
を備え、
前記サーバ装置は、前記感情分析の分析結果に基づくタイミングの撮影画像を記憶部に保存する、撮影システム。

【請求項2】

前記サーバ装置は、前記撮影画像に、前記感情分析の分析結果を対応付けて保存する、請求項１に記載の撮影システム。

【請求項3】

前記サーバ装置は、前記感情分析の分析結果に基づくタイミングの撮影画像であり、かつ、事前登録された被写体人物が写っている撮影画像を保存する、請求項１に記載の撮影システム。

【請求項4】

前記撮影装置はぬいぐるみに内蔵されている、請求項１に記載の撮影システム。

【請求項5】

ユーザの生体情報を測定するセンサから前記生体情報を含むユーザ情報を受信するユーザ情報受信部と、
前記ユーザの身体に取り付け可能な撮影装置から撮影データを受信する撮影データ受信部と、
前記生体情報を用いて前記ユーザの感情分析を行い、感情変化の有無を判定する判定部と、
前記撮影データから、前記ユーザの感情が変化したタイミングの撮影画像を抽出し、記憶部に保存する抽出部と、
を備えるサーバ装置。

【請求項6】

ユーザに装着され、前記ユーザの生体情報を測定するセンサと、前記ユーザの身体に取り付けられた撮影装置と、前記センサ及び前記撮影装置と通信可能に接続されたサーバ装置とを用いる撮影方法であって、
前記サーバ装置が、前記撮影装置から撮影データを取得し、前記センサから前記生体情報を取得し、前記生体情報を用いて前記ユーザの感情分析を行い、分析結果に基づくタイミングの撮影画像を記憶部に保存する、撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影システム、サーバ装置及び撮影方法に関する。

【背景技術】

【0002】

日常において「今、この瞬間を残したい。」と思う場面はあるが、常にカメラを構えているわけではないため、写真として残すことはできなかった。

【0003】

いつでも撮影を行えるように撮影者が常にカメラを構えていると、被写体となる人物は、不快に感じたり身構えてしまったりして、自然な表情を撮ることが困難になる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６０９４４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、撮影者にとって重要な場面を自動撮影できる撮影システム、サーバ装置及び撮影方法を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の撮影システムは、ユーザに装着され、前記ユーザの生体情報を測定するセンサと、前記ユーザの身体に取り付け可能な撮影装置と、前記撮影装置から撮影データを取得するサーバ装置と、前記生体情報を用いて前記ユーザの感情分析を行う判定部と、を備え、前記サーバ装置は、前記感情分析の分析結果に基づくタイミングの撮影画像を記憶部に保存するものである。

【0007】

本発明のサーバ装置は、ユーザの生体情報を測定するセンサから前記生体情報を含むユーザ情報を受信するユーザ情報受信部と、前記ユーザの身体に取り付け可能な撮影装置から撮影データを受信する撮影データ受信部と、前記生体情報を用いて前記ユーザの感情分析を行い、感情変化の有無を判定する判定部と、前記撮影データから、前記ユーザの感情が変化したタイミングの撮影画像を抽出し、記憶部に保存する抽出部と、を備えるものである。

【0008】

本発明の撮影方法は、ユーザに装着され、前記ユーザの生体情報を測定するセンサと、前記ユーザの身体に取り付けられた撮影装置と、前記センサ及び前記撮影装置と通信可能に接続されたサーバ装置とを用いる撮影方法であって、前記サーバ装置が、前記撮影装置から撮影データを取得し、前記センサから前記生体情報を取得し、前記生体情報を用いて前記ユーザの感情分析を行い、分析結果に基づくタイミングの撮影画像を記憶部に保存するものである。

【発明の効果】

【0009】

本発明によれば、撮影者にとって重要な場面を自動撮影できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る撮影システムの概略構成図である。

【図2】サーバ装置の機能ブロック図である。

【図3】同実施形態に係る撮影方法を説明するフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0012】

図１に示すように、本発明の実施形態に係る撮影システムは、撮影装置１、センサ２、通信装置３及びサーバ装置４を備える。撮影装置１は例えば通信機能を有するデジタルカメラであり、ユーザＵの身体に取り付けられ、被写体Ｈを撮影する。撮影装置１は、撮影データをサーバ装置４へ送信する。撮影装置１は、被写体Ｈが不快に感じたり身構えたりしないように、カメラを内蔵した肩乗せタイプのぬいぐるみやキャラクターのかぶりものなどであることが好ましい。

【0013】

センサ２は、身体の一部に装着するウェアラブルデバイスであり、例えば、手首に装着する腕時計型又はリストバンド型の機器である。センサ２は、ユーザＵの生体情報を検出する生体情報検出部、ユーザＵの現在位置を検出する位置検出部、及び通信部を有する。

【0014】

生体情報検出部は、公知の手法を用いて、ユーザの生体情報として、心拍数（脈拍数）、血圧、心電図波形、体温、血中酸素等を検出する。位置検出部は、複数のＧＰＳ衛星からの電波を受信し、現在位置を示す位置情報を検出する。センサ２の通信部は、生体情報及び位置情報を含むユーザ情報をサーバ装置４へ送信する。

【0015】

撮影装置１及びセンサ２は、通信装置３を介してサーバ装置４と通信可能に接続されている。通信装置３は、例えば無線ＬＡＮ機器である。本実施形態に係る撮影システムは、レジャー施設や観光地等に導入されるものであり、複数の通信装置３が一定の範囲内に設置されている。これにより、例えば、レジャー施設の敷地内で撮影装置１が撮影した画像がサーバ装置４に保存されるようになる。

【0016】

撮影装置１は、動画を連続的に自動撮影し、動画データをサーバ装置４へ送信する。センサ２は、ユーザ情報を連続的に測定し、ユーザ情報をサーバ装置４へ送信する。

【0017】

サーバ装置４は、センサ２から受信したユーザ情報に含まれる生体情報を監視し、ユーザＵの感情分析を行う。生体情報に基づく感情分析は公知の手法を用いることができる。例えば、サーバ装置４は、感情分析によりユーザＵの心が動いた（感情が変化した）と判定すると、動画データから、そのタイミングの静止画を抽出（キャプチャ）する。

【0018】

これにより、ユーザＵが「この瞬間を残したい。」と思う重要な場面の画像を自動的に保存することができる。

【0019】

次に、サーバ装置４の構成について説明する。サーバ装置４は、通信部、記憶部、ＣＰＵ等を備えたコンピュータであり、ＣＰＵが制御プログラムを実行することで、図２に示すように、撮影データ受信部４１、ユーザ情報受信部４２、判定部４３、画像抽出部４４及び編集部４５の機能が実現される。

【0020】

サーバ装置４の記憶部４０には、感情に対応する生体情報の統計値を示す感情分析統計データが格納されている。例えば、感情分析統計データには、「ときめき」「ドキドキ」「びっくり」等の感情になった時に、生体情報がどのような値になるかの統計値が規定されている。サーバ装置４の各部の処理を、図３に示す撮影方法のフローチャートに沿って説明する。

【0021】

例えば、レジャー施設で、撮影サービスの使用を希望するユーザＵのアカウントを作成してサーバ装置４に登録し、ユーザアカウントに撮影装置１及びセンサ２の識別情報を紐付けてユーザＵに貸し出す。あるいはまた、ユーザＵが撮影装置１及びセンサ２を購入し、購入した撮影装置１及びセンサ２の識別情報をユーザアカウントに紐付けてもよい。これにより、撮影装置１から受信する撮影データ及びセンサ２から受信するユーザ情報をユーザＵに対応付けることができる。

【0022】

撮影装置１の識別情報がユーザアカウントに紐付けられると、サーバ装置４は撮影装置１に撮影処理を開始させる。サーバ装置４の撮影データ受信部４１は、撮影装置１から撮影データ（動画データ）を受信し、記憶部４０に保存する。

【0023】

センサ２は、ユーザＵの身体に装着されるとユーザＵの生体情報を測定する。また、センサ２はユーザＵの位置情報を検出する。サーバ装置４のユーザ情報受信部４２は、センサ２から、位置情報及び識別情報を含むユーザ情報を受信し、記憶部４０に保存する（ステップＳ１０１）。

【0024】

判定部４３が、感情分析統計データを参照し、ユーザ情報に含まれる生体情報に基づいて、ユーザＵの感情分析を行う（ステップＳ１０２）。ユーザ情報に含まれる生体情報が、感情分析統計データの「ときめき」「ドキドキ」「びっくり」等の感情に対応する生体情報と同じ（近似した）値を示した場合、判定部４３はユーザＵの心が動いたと判定する（ステップＳ１０３＿Ｙｅｓ）。

【0025】

画像抽出部４４が、動画データから、ユーザＵの心が動いたと判定されたタイミングの画像（静止画）を抽出し、記憶部４０に保存する（ステップＳ１０４）。動画データから抽出された静止画に対し、編集部４５が、判定された感情に対応するスタンプ等のテンプレート画像を合成してもよい。動画データから抽出された静止画に、判定部４３が判定したユーザＵの感情の情報を対応付けて保存してもよい。

【0026】

ユーザＵの心が動いていないと判定された場合は（ステップＳ１０３＿Ｎｏ）、動画データからの画像抽出は行わない。

【0027】

サービスの利用を継続している間は（ステップＳ１０５＿Ｙｅｓ）、撮影データ及びユーザ情報の受信、感情分析、画像抽出を繰り返し実行する。

【0028】

サービスの利用を終了する場合（ステップＳ１０５＿Ｎｏ）、例えばレジャー施設のカウンタで撮影装置１及びセンサ２を返却したり、終了を申し出たりした場合、サーバ装置４は撮影装置１に撮影処理を停止させる。あるいはまた、ユーザＵがレジャー施設の敷地から出て、通信装置３の通信範囲から外れ、撮影装置１がサーバ装置４と通信できなくなった場合、撮影処理を終了してもよい。

【0029】

このように、本実施形態によれば、ユーザＵの心が動いた、「この瞬間を残したい。」と思うような重要な場面の画像を自動的に保存することができる。

【0030】

ユーザＵのアカウント情報を用いて専用ウェブサイトにアクセスすることで、保存された画像を確認し、データをダウンロードすることができる。ユーザＵが、保存された画像を確認し、評価をフィードバックするようにしてもよい。例えば、ユーザＵは、心が動いた場面の画像か否か評価を入力する。

【0031】

フィードバックされた評価に基づいて、感情分析統計データをユーザＵ用に更新してもよい。例えば、ユーザＵが、心が動いた場面でないと評価した画像があった場合、この画像を生成（抽出）したタイミングの生体情報の値は、ユーザＵの心が動くものではないものとして、感情分析統計データを更新する。これにより、ユーザＵの好みを学習し、次回の撮影に反映させることができる。

【0032】

ユーザＵの心が動いたと判定したタイミングで画像抽出部４４が抽出する画像は１枚に限定されず、連続写真のように一定間隔で複数枚の静止画を抽出し、保存してもよい。あるいはまた、ユーザＵの心が動いたと判定したタイミングを含む一定時間の動画を抽出して保存してもよい。また、抽出した一定時間の動画から、被写体の写りがよい場面（１又は複数の静止画）を切り取って保存してもよい。

【0033】

被写体ＨやユーザＵの顔（外見）を事前に登録してもよい。画像抽出部４４は、判定部４３がユーザＵの心が動いたと判定し、かつ登録された被写体人物が写っているタイミングの画像を抽出してもよい。

【0034】

判定部４３は、撮影データに写っている被写体Ｈの表情から、被写体Ｈの感情分析を行ってもよい。例えば、顔の筋肉に対応付けた顔の各部位の動作から、感情を分析する。画像抽出部４４は、判定部４３が、センサ２から受信した生体情報に基づいてユーザＵの心が動いたと判定し、かつ撮影データに写っている被写体Ｈの表情に基づいて被写体Ｈの心が動いたと判定したタイミングで、動画データから画像を抽出してもよい。

【0035】

センサ２から受信した位置情報から、ユーザＵが所定の撮影禁止範囲にいると判定した場合、サーバ装置４は、撮影処理を停止するように撮影装置１を制御してもよいし、生体情報に基づく感情分析を停止して、画像の抽出・保存を行わないようにしてもよい。

【0036】

上記実施形態において、センサ２は腕に装着するものに限定されず、例えば、ヘッドギア型、メガネ型、イヤリング型などであってもよい。動物やキャラクターを模したかぶりものに、撮影装置１とセンサ２が内蔵されていてもよい。

【0037】

撮影装置１は、カメラを内蔵したぬいぐるみに限定されず、動物やキャラクターの形状を有するカメラ付きロボットであってもよい。ロボットのカメラが内蔵された部位は、１又は複数の軸を中心に回転可能になっていてもよい。これにより、ユーザＵの姿勢によらず、カメラを被写体Ｈの方に向け、被写体Ｈを良い角度で撮影することができる。

【0038】

カメラ付きロボットである撮影装置１が、感情分析統計データを保存するとともに、センサ２から生体情報を取得して、ユーザＵの感情分析を行ってもよい。また、撮影装置１が、位置情報の検出を行ってもよい。

【0039】

ユーザＵが所有するスマートフォン等のユーザ端末が撮影装置１やセンサ２と通信を行って動画データやユーザ情報を受信し、受信した動画データやユーザ情報を（通信装置３を介して）サーバ装置４へ送信してもよい。このようなユーザ端末を用いる場合、ユーザ端末がユーザＵの感情分析や位置情報の検出を行ってもよい。

【0040】

本実施形態に係る撮影システムは、レジャー施設や観光地だけでなく、家庭内や保育施設等にも適用できる。親や保育士が撮影装置１及びセンサ２を装着し、子供を撮影する。カメラ付きロボットである撮影装置１が、センサ２から生体情報を受信すると、動画撮影及び感情分析を開始し、心が動いたと判定したタイミングの画像を抽出してもよい。撮影装置１は、ユーザの身体に取り付けるものだけでなく、据え置き型又は自走式のカメラ付きロボットであってもよい。

【0041】

本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。

【符号の説明】

【0042】

１ 撮影装置
２ センサ
３ 通信装置
４ サーバ装置

【図1】

【図2】

【図3】