特許 7405138 電子機器および撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】電子機器および撮像システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231219BHJP

   G03B 5/00 20210101ALI20231219BHJP

   G03B 15/00 20210101ALI20231219BHJP

   G03B 17/38 20210101ALI20231219BHJP

   G03B 17/56 20210101ALI20231219BHJP

   H04N 23/45 20230101ALI20231219BHJP

   H04N 23/68 20230101ALI20231219BHJP

【ＦＩ】

H04N23/60 100

G03B5/00 K

G03B15/00 Q

G03B17/38 B

G03B17/56 A

H04N23/45

H04N23/68

【請求項の数】 17

(21)【出願番号】P 2021511209

(86)(22)【出願日】2020-02-20

(86)【国際出願番号】 JP2020006669

(87)【国際公開番号】W WO2020202870

(87)【国際公開日】2020-10-08

【審査請求日】2023-02-09

(31)【優先権主張番号】P 2019068358

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】唯野 隆一

(72)【発明者】

【氏名】小森谷 陽多

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００９－０８１７８４（ＪＰ，Ａ）

【文献】特開２００８－１２４８８５（ＪＰ，Ａ）

【文献】特開２００７－１２８２６６（ＪＰ，Ａ）

【文献】特開２００８－１１８５２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／３８

Ｇ０３Ｂ １７／５６

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６８

(57)【特許請求の範囲】

【請求項1】

撮像データを取得する撮像部と、
取得データから情動データを生成するデータ生成部と、
前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
前記情動データに基づいて前記撮像部を制御する制御部と、
遅延時間を記憶する記憶部と
を備え、
前記データ処理部は、第１の時刻で取得された前記撮像データと、前記第１の時刻よりも前記遅延時間の分だけ遅い第２の時刻で取得された前記情動データとを関連付ける
電子機器。

【請求項2】

前記取得データは、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについての計測データである
請求項１に記載の電子機器。

【請求項3】

前記制御部は、前記情動データに基づいて前記撮像データの評価を行い、その評価の結果に基づいて前記撮像部を制御する
請求項１に記載の電子機器。

【請求項4】

前記制御部は、前記情動データに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出により得られた前記強度データに基づいて前記撮像部を制御する
請求項１に記載の電子機器。

【請求項5】

前記制御部は、前記情動データに基づいて、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つを制御する
請求項１に記載の電子機器。

【請求項6】

前記制御部は、前記情動データに基づいて、前記撮像部を、スタンバイ状態および撮像状態のいずれかの状態に設定する
請求項１に記載の電子機器。

【請求項7】

前記撮像データを記憶する記憶部を更に備え、
前記制御部は、前記情動データに基づいて前記撮像データの保存の要否の決定を行い、その決定に基づいて、前記撮像データを前記記憶部に記憶させる
請求項１に記載の電子機器。

【請求項8】

前記撮像データを記憶する記憶部を更に備え、
前記制御部は、前記撮像データを前記記憶部に記憶させ、前記記憶部に記憶されている前記撮像データのうち、前記記憶部に記憶されている期間が所定の期間を超えた部分については、データ消去を行うか、または、新たに記憶させる前記撮像データで上書きを行う
請求項１に記載の電子機器。

【請求項9】

前記制御部は、前記撮像データにおける手ぶれの量および方向を検出し、検出した手ぶれの量および方向に応じて、前記撮像データにおける切り出し領域の決定を行い、その決定に基づいて、手ぶれ補正のなされた撮像データを生成する
請求項１に記載の電子機器。

【請求項10】

当該電子機器を身体に取り付け可能な取り付け部を更に備えた
請求項１に記載の電子機器。

【請求項11】

前記撮像部は、光軸の向きが互いに異なり、特定方向撮像データを取得する複数の撮像素子を有し、
前記データ処理部は、前記複数の撮像素子で得られた複数の前記特定方向撮像データを、前記撮像データとして、前記情動データと時系列に関連付ける
請求項１に記載の電子機器。

【請求項12】

前記撮像部は、広角レンズまたは魚眼レンズを有する
請求項１に記載の電子機器。

【請求項13】

被写体に関する参照データを記憶する記憶部を更に備え、
前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
請求項１に記載の電子機器。

【請求項14】

前記撮像部の設定は、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つである
請求項１３に記載の電子機器。

【請求項15】

情動に関する参照データを記憶する記憶部を更に備え、
前記制御部は、前記参照データおよび前記情動データに基づいて前記撮像部を制御する
請求項１に記載の電子機器。

【請求項16】

撮像データを取得する撮像部と、
取得データから情動データを生成するデータ生成部と、
前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
前記情動データに基づいて前記撮像部を制御する制御部と、
遅延時間を記憶する記憶部と
を備え、
前記データ処理部は、第１の時刻で取得された前記撮像データと、前記第１の時刻よりも前記遅延時間の分だけ遅い第２の時刻で取得された前記情動データとを関連付ける
撮像システム。

【請求項17】

被写体に関する参照データを記憶する記憶部を更に備え、
前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
請求項１６に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、電子機器および撮像システムに関する。

【背景技術】

【0002】

近年、デジタルカメラや、スマートフォンでは、笑顔の瞬間を的確に捉えるために、被写体が笑顔であるか否かの判定結果に応じて自動的にシャッターを切る"スマイルシャッタ"（登録商標）という機能が搭載されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１５１６６０号公報

【発明の概要】

【0004】

ところで、ユーザは、笑顔の瞬間だけでなく、例えば、子供の自然な表情や、イベントでの貴重な瞬間などを逃さず撮影したいと思うことがある。しかし、カメラを構えると、自然な表情が消え、作り笑いになったり、緊張してしまったりするために、自然な表情を撮ることが難しいことがある。また、貴重な瞬間は突然やってくるため、カメラを構える間に、シャッターチャンスを逃してしまうことがある。従って、ユーザが撮りたいと思う瞬間を逃さずに撮影することの可能な電子機器および撮像システムを提供することが望ましい。

【0005】

本開示の一実施形態に係る電子機器は、撮像データを取得する撮像部と、取得データから情動データを生成するデータ生成部と、撮像データと情動データとを時系列に関連付けるデータ処理部と、情動データに基づいて撮像部を制御する制御部と、遅延時間を記憶する記憶部とを備えている。データ処理部は、第１の時刻で取得された撮像データと、第１の時刻よりも遅延時間の分だけ遅い第２の時刻で取得された情動データとを関連付ける。

【0006】

本開示の一実施形態に係る撮像システムは、撮像データを取得する撮像部と、取得デー
タから情動データを生成するデータ生成部と、撮像データと情動データとを時系列に関連
付けるデータ処理部と、情動データに基づいて撮像部を制御する制御部と、遅延時間を記憶する記憶部とを備えている。データ処理部は、第１の時刻で取得された撮像データと、第１の時刻よりも遅延時間の分だけ遅い第２の時刻で取得された情動データとを関連付ける。

【0007】

本開示の一実施形態に係る電子機器および撮像システムでは、撮像データと情動データとが時系列に関連付けられ、情動データに基づいて撮像部が制御される。これにより、例えば、ユーザが被写体に対して反応した瞬間に、情動データが変動した場合には、情動データをモニタすることにより、ユーザが撮りたいと思っているであろう瞬間を把握することができる。その結果、例えば、ユーザがシャッターを手動で切らなくても、情動データの変動に応じて、撮像データを得ることが可能となる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施の形態に係る電子機器の機能ブロック例を表す図である。

【図2】遅延時間について説明するための図である。

【図3】遅延時間の調整およびセンサの選択についての手順の一例を表す図である。

【図4】遅延時間の調整およびセンサの選択のための表示画面の一例を表す図である。

【図5】撮像装置の制御手順の一例を表す図である。

【図6】撮像装置の制御手順の一例を表す図である。

【図7】撮像装置の制御方法の一例を表す図である。

【図8】撮像装置の制御手順の一例を表す図である。

【図9】図８の制御手順における解像度の変化を表す図である。

【図10】撮像装置の制御手順の一例を表す図である。

【図11】撮像装置の制御手順の一例を表す図である。

【図12】図１１の制御手順における解像度の変化を表す図である。

【図13】図１の電子機器の機能ブロックの一変形例を表す図である。

【図14】図１の電子機器の機能ブロックの一変形例を表す図である。

【図15】図１の電子機器の機能ブロックの一変形例を表す図である。

【図16】図１の電子機器の機能ブロックの一変形例を表す図である。

【図17】図１の電子機器の機能ブロックの一変形例を表す図である。

【図18】図１、図１３、図１４、図１５、図１６の電子機器をユーザの身体に取り付けた様子の一例を表す図である。

【図19】図１、図１３、図１４、図１５、図１６の電子機器をユーザの身体に取り付けた様子の一例を表す図である。

【図20】図１、図１３、図１４、図１５、図１６の電子機器をユーザの身体に取り付けた様子の一例を表す図である。

【発明を実施するための形態】

【0009】

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。なお、説明は以下の順序で行う。

１．実施の形態
画面表示および音声出力の機能を備えた例
２．変形例
変形例Ａ：画面表示および音声出力の機能を外部機器に持たせた例
変形例Ｂ：ストレージの機能を外部機器に持たせた例
変形例Ｃ：ネットワークを介して外部機器と通信する例
変形例Ｄ：ネットワークを介して表示装置やストレージ装置と
通信する例
変形例Ｅ：撮像部が別体で設けられている例
変形例Ｆ：身体に取り付け可能に構成されている例
変形例Ｇ：複数の撮像素子を備えた例
変形例Ｈ：広角レンズまたは魚眼レンズを備えた例

【0010】

＜１．実施の形態＞
[構成]
本開示の一実施の形態に係る電子機器１について説明する。図１は、本実施の形態に係る電子機器１の概略構成例を表したものである。電子機器１は、ユーザによるシャッターボタンの操作に依らず、ユーザにとって何らかの意味のある光景の撮像データＤｃを自動的に取得する撮像システムを備えている。電子機器１は、例えば、画像ブロック１０、サウンドブロック２０、記憶ブロック３０、システムコントローラ４０、外部入力ブロック５０および通信部６０を備えている。システムコントローラ４０は、本開示の「制御部」の一具体例に相当する。

【0011】

画像ブロック１０は、例えば、撮像部１１、撮像信号処理部１２、撮像制御部１３、画像処理部１４、映像信号生成部１５、表示駆動部１６、表示制御部１７および表示部１８を有している。画像処理部１４は、本開示の「データ生成部」「データ処理部」の一具体例に相当する。撮像信号処理部１２および撮像制御部１３は、本開示の「制御部」の一具体例に相当する。サウンドブロック２０は、例えば、サウンド入力部２１、サウンド解析部２２、サウンド処理部２３、音声信号生成部２４および音声出力部２５を有している。記憶ブロック３０は、例えば、一時記憶部３１およびストレージ部３２を有している。外部入力ブロック５０は、例えば、操作入力部５１、日時計数部５２およびセンサ５３を有している。

【0012】

撮像部１１は、撮像により得られた撮像データＤａ（動画または連続撮像により得られた複数の静止画）を撮像信号処理部１２に出力する。撮像部１１は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを含んで構成されている。

【0013】

撮像信号処理部１２は、撮像部１１から出力された撮像データＤａに対して各種の画像信号処理を行うものであり、例えば、ＤＳＰ（Digital Signal Processing）回路を含んで構成されている。撮像信号処理部１２は、例えば、撮像データＤａにおける手ぶれの量および方向を検出し、検出した手ぶれの量および方向に応じて、撮像データＤａにおける切り出し領域の決定を行い、その決定に基づいて、手ぶれ補正のなされた撮像データＤａ’を生成してもよい。

【0014】

撮像信号処理部１２で処理された撮像データＤａまたは撮像データＤａ’は、画像処理部１４に出力される。なお、以下の説明において、撮像データＤａは、撮像データＤａ’であってもよい。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１および撮像信号処理部１２の動作を制御する。

【0015】

画像処理部１４は、システムコントローラ４０の制御に応じて、撮像データＤａ，Ｄｃや後述の評価データＤｄなどの転送を制御する。すなわち、画像処理部１４は、撮像信号処理部１２と、映像信号生成部１５、一時記憶部３１およびストレージ部３２との間の撮像データＤａ，Ｄｃや評価データＤｄなどの転送を制御する。評価データＤｄは、後述するように、画像処理部１４によって生成される。画像処理部１４は、撮像データＤａや評価データＤｄなどを一時記憶部３１に入力する。一時記憶部３１は、撮像データＤａや評価データＤｄなどを記憶する。ストレージ部３２は、撮像データＤａのうちの一部である撮像データＤｃを記憶する。

【0016】

画像処理部１４は、さらに、撮像データＤａのうち所定の保存条件を満たした撮像データＤｃを抽出する。画像処理部１４における撮像データＤｃの抽出方法や評価データＤｄについては、後に詳述する。

【0017】

画像処理部１４は、さらに、生成した評価データＤｄをシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から入力された評価データＤｄに基づいて（つまり情動データＤｆに基づいて）、撮像部１１や撮像信号処理部１２を制御する。具体的には、システムコントローラ４０は、画像処理部１４から入力された評価データＤｄに基づいて生成した制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０から入力された制御信号に基づいて、撮像部１１や撮像信号処理部１２を制御する。システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御については、後に詳述する。

【0018】

映像信号生成部１５は、撮像データＤａに基づいて映像信号を生成し、表示駆動部１６に出力する。表示駆動部１６は、映像信号生成部１５から入力された映像信号に基づいて表示部１８を駆動する。表示制御部１７は、システムコントローラ４０の制御に応じて、映像信号生成部１５および表示駆動部１６の動作を制御する。表示部１８は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネル等のパネル型表示装置からなり、表示駆動部１６による駆動により、撮像データＤａを表示する。

【0019】

サウンド入力部２１は、例えば、マイクロホンと、マイクロホンで得られたサウンド信号を増幅処理するマイクアンプと、マイクアンプで増幅されたサウンド信号をＡＤ変換するＡＤ変換器とを有しており、デジタルのサウンドデータＳａを出力する。サウンド入力部２１で得られたサウンドデータＳａは、サウンド処理部２３に入力される。

【0020】

サウンド処理部２３は、システムコントローラ４０の制御に応じて、サウンドデータＳａの転送を制御する。すなわち、サウンド処理部２３は、サウンド入力部２１と、音声信号生成部２４、一時記憶部３１およびストレージ部３２との間のサウンドデータＳａの転送を制御する。サウンド処理部２３は、サウンド入力部２１で得られたサウンドデータＳａを一時記憶部３１に入力する。一時記憶部３１は、撮像部１１で得られた撮像データＤａとともに、サウンド入力部２１で得られたサウンドデータＳａを記憶する。サウンド処理部２３は、サウンド入力部２１で得られたサウンドデータＳａを音声信号生成部２４に出力する。

【0021】

サウンド処理部２３は、システムコントローラ４０の制御に応じて、一時記憶部３１から読み出したサウンドデータＳａの転送を制御する。すなわち、サウンド処理部２３は、一時記憶部３１と、音声信号生成部２４との間のサウンドデータＳａの転送を制御する。サウンド処理部２３は、一時記憶部３１から読み出したサウンドデータＳａを音声信号生成部２４に出力する。

【0022】

音声信号生成部２４は、システムコントローラ４０の制御に応じて、入力されたサウンドデータＳａをアナログの音声信号に変換し、変換により得られた音声信号を音声出力部２５に出力する。音声出力部２５は、例えば、アナログの音声信号を増幅するアンプ回路と、アンプ回路から出力された音声信号に基づいて音声を出力するスピーカとを有している。

【0023】

一時記憶部３１は、撮像部１１で得られた撮像データＤａのバッファリングとして用いられ、例えば、リングメモリ形式で撮像データＤａおよびサウンドデータＳａを一時保存する。画像処理部１４は、例えば、一時記憶部３１に記憶されている撮像データＤａのうち、一時記憶部３１に記憶されている期間が所定の期間（例えば、後述の保存期間Δｔ）を超えた部分については、データ消去を行うか、または、新たに記憶させる撮像データＤａで上書きを行う。

【0024】

ストレージ部３２は、撮像部１１で得られた撮像データＤａのうち所定の保存条件を満たした撮像データＤｃを保存する。システムコントローラ４０は、所定の保存条件が満たされた場合に、その時点で一時記憶部３１に一時記憶されている撮像データＤａから保存すべき撮像データＤｃを抽出し、ストレージ部３２に転送する。

【0025】

ここで、ストレージ部３２に保存される撮像データＤｃとは、例えば、常時撮像されている撮像データＤａの内で、ユーザが興味を持った光景の撮像データや、ユーザの感情の変化があったときの光景の撮像データ、ユーザの思い出に残るような光景の撮像データなど、ユーザにとって何らかの意味のある光景の撮像データであるとシステムコントローラ４０が判断した撮像データである。

【0026】

操作入力部５１は、例えば、キーやダイヤル等の操作子を有している。操作入力部５１は、例えば、ユーザによって操作子が操作されることにより、ユーザからの入力を受け付け、システムコントローラ４０に出力する。日時計数部５２は、例えば、日時（年月日時分秒）を計数し、現在日時情報（以下、「時刻データＤｔ」と称する。）をシステムコントローラ４０に出力する。

【0027】

センサ５３は、例えば、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについて計測を行い、それにより得られた計測データ（以下、「取得データＤｂ」と称する。）をシステムコントローラ４０に出力する。システムコントローラ４０は、センサ５３から入力された取得データＤｂを、日時計数部５２から入力された時刻データＤｔと関連付けて、画像処理部１４に出力する。

【0028】

通信部６０は、ネットワークを介して、外部機器と通信可能に構成されている。ここで、ネットワークは、例えば、インターネットで標準的に利用されている通信プロトコル（ＴＣＰ／ＩＰ）を用いて通信を行うネットワークである。ネットワークは、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワークは、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワークと、通信部６０との接続は、例えば、イーサネット（登録商標）等の有線ＬＡＮ（Local Area Network）であってもよいし、Ｗｉ－Ｆｉ等の無線ＬＡＮや、携帯電話回線などであってもよい。

【0029】

通信部６０は、近距離の無線通信によって、外部機器と通信可能に構成されていてもよい。通信部６０における近距離の無線通信は、例えば、ＩＳＯ／ＩＥＣ１４４４３（近接型ＲＦＩＤの国際標準規格）や、ＩＳＯ／ＩＥＣ１８０９２（ＮＦＣと呼ばれる無線通信の国際規格）、ＩＳＯ／ＩＥＣ１５６９３（ＲＦＩＤの国際標準規格）、または、ブルートゥース（登録商標）等によって行われる。

【0030】

次に、画像処理部１４における撮像データＤｃの抽出方法について説明する。最初に、遅延時間ｔｄの原理や調整方法について説明し、その後に、撮像データＤｃの抽出方法について説明する。

【0031】

図２は、遅延時間ｔｄの原理について説明する図である。図２には、一時記憶部３１に記憶されている撮像データＤａが概念的に表されている。一時記憶部３１には、保存期間Δｔの間に撮像部１１によって撮像されることにより得られた撮像データＤａが保存されている。図２中の評価データＤｄは、取得データＤｂから生成された、ユーザの情動を数値で評価したデータである。画像処理部１４が、取得データＤｂから情動データＤｆを生成し、生成した情動データＤｆから評価データＤｄを生成する。

【0032】

評価データＤｄはユーザの情動に関係することから、評価データＤｄは、撮像データＤａと所定の対応関係を有している。しかし、撮像データＤａと、評価データＤｄとは、同時刻のデータ同士で対応付けることができない。これは、ユーザの情動（情動データＤｆ）はユーザが時刻ｔ１に何らかの光景を目の当たりにしたときに、わずかなタイムラグを経た時刻ｔ２で大きく変化するものであるからである。従って、撮像データＤａと、評価データＤｄおよび情動データＤｆとを時系列に関連付ける際には、遅延時間ｔｄが存在することになる。そこで、電子機器１は、その遅延時間ｔｄを考慮して、撮像データＤａと情動データＤｆとを時系列に関連付ける。具体的には、電子機器１は、時刻ｔ１（第１の時間）で取得された撮像データＤａと、時刻ｔ１よりも遅延時間ｔｄの分だけ遅い時刻ｔ２（第２の時刻）で取得された情動データＤｆとを関連付ける。

【0033】

図３は、遅延時間ｔｄの調整手順の一例を表したものである。画像処理部１４は、まず、撮像データＤａと、取得データＤｂとを取得する（ステップＳ１０１）。次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ１０２）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆに基づいて撮像データＤａの評価を行う（ステップＳ１０３）。画像処理部１４は、例えば、情動データＤｆに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出した強度データを評価データＤｄとする。

【0034】

画像処理部１４は、得られた評価データＤｄを、撮像データＤａとともに、映像信号生成部１５に出力する。映像信号生成部１５は、画像処理部１４から入力された評価データＤｄおよび撮像データＤａを表示するための映像信号を生成し、表示駆動部１６に出力する。表示駆動部１６は、映像信号生成部１５から入力された映像信号に基づいて表示部１８を駆動する。表示部１８は、表示駆動部１６による駆動により、撮像データＤａおよび評価データＤｄを表示する（ステップＳ１０４）。

【0035】

図４は、遅延時間ｔｄの調整およびセンサの選択のための表示画面の一例を表したものである。表示部１８は、表示駆動部１６による駆動により、図４に示したような表示画面１８Ａを表示する。表示画面１８Ａには、例えば、再生ウィンドウＷ１と、タイムラインウィンドウＷ２と、評価データウィンドウＷ３と、遅延時間表示ウィンドウＷ４と、センサ選択ボタンＢＴ１と、決定ボタンＢＴ２とが含まれている。

【0036】

再生ウィンドウＷ１では、例えば、撮像データＤａ（動画または連続撮影により得られた複数の静止画）の再生が再生ウィンドウＷ１をタップすることにより開始され、撮像データＤａを再生中に再生ウィンドウＷ１をタップすることにより撮像データＤａの再生が停止する。

【0037】

タイムラインウィンドウＷ２では、例えば、撮像データＤａの一部が時系列に横一列に並べられており、タイムラインウィンドウＷ２を横方向にスワイプすることにより再生ウィンドウＷ１において再生中の撮像データＤａの再生位置や再生速度が調整される。タイムラインウィンドウＷ２では、例えば、再生ウィンドウＷ１において再生中の撮像データＤａの再生時刻ｔｓに対応する箇所に、再生ラインＬｓが表示されている。

【0038】

評価データウィンドウＷ３では、例えば、評価データＤｄが、タイムラインウィンドウＷ２に表示されている撮像データＤａと同時刻で時系列に対応するように表示されている。評価データウィンドウＷ３では、例えば、再生ウィンドウＷ１において再生中の撮像データＤａの再生時刻ｔｓに対応する箇所に、再生ラインＬｓが表示されている。評価データウィンドウＷ３では、例えば、さらに、評価データＤｄのピーク位置（ピーク時刻ｔｐ）に対応する箇所に、ピークラインＬｐが表示されている。

【0039】

遅延時間表示ウィンドウＷ４では、例えば、ピーク時刻ｔｐと再生時刻ｔｓとの差分（ｔｐ－ｔｓ）が遅延時間として表示されている。センサ選択ボタンＢＴ１では、例えば、センサ選択ボタンＢＴ１をタップすることにより、評価データＤｄの生成に用いられるセンサの変更や、評価データＤｄの生成に用いられるセンサのブレンド（つまり、複数種類のセンサの選択）を行うための画面が表示される。ユーザは、その画面において、評価データＤｄの生成に用いられるセンサの変更や、評価データＤｄの生成に用いられるセンサのブレンド（つまり、複数種類のセンサの選択）を行うことが可能となっている。決定ボタンＢＴ２では、例えば、決定ボタンＢＴ２をタップすることにより、その時点で遅延時間表示ウィンドウＷ４に表示されている遅延時間が遅延時間ｔｄとなる。

【0040】

画像処理部１４は、表示画面１８Ａにおけるユーザの操作によって決定された遅延時間ｔｄやセンサの種類の入力を受け付ける（ステップＳ１０５）。画像処理部１４は、受け付けた遅延時間ｔｄやセンサの種類のデータを一時記憶部３１に保存する。このようにして、遅延時間ｔｄの調整およびセンサの選択が行われる。

【0041】

次に、撮像データＤｃの抽出方法について説明する。

【0042】

図５は、撮像データＤｃの抽出手順の一例を表したものである。画像処理部１４は、まず、撮像データＤａと、取得データＤｂとを取得する（ステップＳ２０１）。次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ２０２）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆと、撮像データＤａとを遅延時間ｔｄを考慮して関連付ける（ステップＳ２０３）。画像処理部１４は、例えば、情動データＤｆと、撮像データＤａとを遅延時間ｔｄを考慮して関連付けたテーブルＤｇを一時記憶部３１に保存する。

【0043】

画像処理部１４は、情動データＤｆに基づいて、撮像データＤａの評価を行う（ステップＳ２０４）。このとき、画像処理部１４は、例えば、テーブルＤｇを用いて、情動データＤｆの遅延時間ｔｄを考慮して、撮像データＤａの評価を行う。画像処理部１４は、評価によって得られた評価データＤｄに基づいて、撮像データＤａに含まれる個々の撮像データの保存の要否を決定する（ステップＳ２０５）。画像処理部１４は、撮像データＤａが動画の場合には個々のコマの画像の保存の要否を決定する。画像処理部１４は、撮像データＤａが連続撮影により得られた複数の静止画の場合には個々の静止画像の保存の要否を決定する。画像処理部１４は、決定により保存対象となった画像（撮像データＤｃ）をストレージ部３２に保存する。このようにして、撮像データＤｃが撮像データＤａから抽出される。

【0044】

次に、システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御について説明する。

【0045】

図６は、システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御手順の一例を表したものである。画像処理部１４は、まず、撮像データＤａと、取得データＤｂとを取得する（ステップＳ３０１）。次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ３０２）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、撮像データＤａと、情動データＤｆとを遅延時間ｔｄを考慮して関連付ける（ステップＳ３０３）。画像処理部１４は、例えば、撮像データＤａと、情動データＤｆとを遅延時間ｔｄを考慮して関連付けたテーブルＤｇを一時記憶部３１に保存する。

【0046】

画像処理部１４は、情動データＤｆに基づいて、撮像データＤａの評価を行う（ステップＳ３０４）。このとき、画像処理部１４は、例えば、テーブルＤｇを用いて、情動データＤｆの遅延時間ｔｄを考慮して、撮像データＤａの評価を行う。画像処理部１４は、評価によって得られた評価データＤｄに基づいて、撮像部１１や撮像信号処理部１２を制御するための指示をシステムコントローラ４０に出力する。

【0047】

この指示としては、例えば、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つの変更が挙げられる。このとき、画像処理部１４は、例えば、情動データＤｆに基づいて、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、および撮像部１１から出力されるデータに対するエフェクトのうち少なくとも１つを制御するための指示をシステムコントローラ４０に出力する。また、画像処理部１４は、例えば、情動データＤｆに基づいて、撮像部１１を、スタンバイ状態および撮像状態のいずれかの状態に設定するための指示をシステムコントローラ４０に出力する。

【0048】

システムコントローラ４０は、画像処理部１４から、撮像部１１や撮像信号処理部１２を制御するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１や撮像信号処理部１２を制御する（ステップＳ３０５）。このようにして、システムコントローラ４０による撮像部１１や撮像信号処理部１２の制御が行われる。

【0049】

次に、遅延時間ｔｄに対する対策について説明する。図７は、撮像部１１や撮像信号処理部１２の制御方法の一例を表したものである。

【0050】

撮像部１１の解像度などを制御すべきタイミングが時刻ｔ１だとする。このとき、時刻ｔ１で解像度などを制御すべきことがわかるのは、遅延時間ｔｄの分だけ遅れた時刻ｔ２となる。時刻ｔ１で解像度などを制御するためには、時刻ｔ１よりも前の時刻ｔ３において、撮像部１１の解像度などを制御すべきことを予測しておくことが好ましい。

【0051】

撮像データＤａに対する遅延時間ｔｄの影響が小さい場合には、このような予測をしなくても問題にならない可能性がある。しかし、撮像データＤａに対する遅延時間ｔｄの影響が大きい場合には、このような予測をしておくことが必要となる可能性がある。そこで、画像処理部１４は、例えば、図７に示したように、既に得られている評価データＤｄ（例えば、時刻ｔ３以前の評価データＤｄ）と、既に得られている撮像データＤａ（例えば、時刻ｔ３以前の撮像データＤａ）とに基づいて、時刻ｔ３－ｔｄ以降に取得される撮像データＤａに対する予測評価を行ってもよい。この場合、画像処理部１４は、例えば、このようにして得られた評価データＤｄ（以下、「予測評価データＤｄｆ」と称する。）に基づいて、時刻ｔ３－ｔｄ以降の撮像部１１や撮像信号処理部１２の制御をするための指示をシステムコントローラ４０に出力することが可能となる。

【0052】

次に、撮像部１１や撮像信号処理部１２の制御方法の具体例について説明する。図８は、撮像部１１や撮像信号処理部１２の制御方手順の一例を表したものである。なお、この例においては、ストレージ部３２は、顔認証に使用する参照データＤｅを保存している。参照データＤｅには、例えば、顔認証の対象者の顔データ（被写体に関する参照データ）が含まれている。参照データＤｅには、例えば、複数の顔データが含まれていてもよい。

【0053】

なお、以下では、撮像部１１の解像度が制御される場合が例示されているが、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つが制御される場合であっても、同様の制御が可能である。

【0054】

システムコントローラ４０は、まず、撮像部１１の解像度を“低”に設定する（ステップＳ４０１）。具体的には、システムコントローラ４０は、撮像部１１の解像度を“低”に設定するための制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“低”に設定するための制御信号を出力する。その結果、撮像部１１は、解像度を“低”にした状態で撮像を行い、例えば図９（Ａ）に示したような解像度“低”の撮像データＤａを取得する（ステップＳ４０２）。

【0055】

次に、画像処理部１４は、解像度“低”の撮像データＤａに人が含まれているか否かを判定する（ステップＳ４０３）。その結果、人が含まれていない場合には、撮像部１１は、引き続き、解像度を“低”にした状態で撮像を行う。一方、例えば、図９（Ｂ）に示したように、撮像データＤａに人が含まれている場合には、画像処理部１４は、解像度を“中”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“中”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“中”に設定するための制御信号を出力する（ステップＳ４０４）。その結果、撮像部１１は、解像度を“中”にした状態で撮像を行い、例えば図９（Ｃ）に示したような解像度“中”の撮像データＤａを取得する（ステップＳ４０５）。

【0056】

次に、画像処理部１４は、解像度“中”の撮像データＤａと、ストレージ部３２から読み出した参照データＤｅとに基づいて、顔認証を行う（ステップＳ４０６）。このとき、画像処理部１４は、撮像データＤａの中に参照データＤｅに一致する者がいるか否か判定する（ステップＳ４０７）。その結果、撮像データＤａの中に参照データＤｅに一致する者がいない場合には、引き続き、解像度を“中”にした状態で撮像を行う。一方、撮像データＤａの中に参照データＤｅに一致する者がいる場合には、画像処理部１４は、解像度を“高”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“高”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“高”に設定するための制御信号を出力する（ステップＳ４０８）。その結果、撮像部１１は、解像度を“高”にした状態で撮像を行い、例えば図９（Ｄ）に示したような解像度“高”の撮像データＤａを取得する。

【0057】

その後、電子機器１は、上述のステップＳ２０１～Ｓ２０５、または、上述のステップＳ３０１～Ｓ３０５を実行する（ステップＳ４０９）。このようにして、顔認証を利用した解像度の設定が行われる。

【0058】

次に、顔認証を利用した解像度の他の設定方法について説明する。図１０は、撮像部１１や撮像信号処理部１２の制御方手順の一例を表したものである。なお、この例においても、ストレージ部３２は、顔認証に使用する参照データＤｅを保存している。

【0059】

なお、以下では、撮像部１１の解像度が制御される場合が例示されているが、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つが制御される場合であっても、同様の制御が可能である。

【0060】

システムコントローラ４０は、まず、撮像部１１の解像度を“低”に設定する（ステップＳ５０１）。具体的には、システムコントローラ４０は、撮像部１１の解像度を“低”に設定するための制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“低”に設定するための制御信号を出力する。その結果、撮像部１１は、解像度を“低”にした状態で撮像を行い、例えば図９（Ａ）に示したような解像度“低”の撮像データＤａを取得する（ステップＳ５０２）。さらに、画像処理部１４は、システムコントローラ４０から取得データＤｂを取得する（ステップＳ５０２）。

【0061】

次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ５０３）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆに基づいて撮像データＤａの評価を行う（ステップＳ５０４）。画像処理部１４は、例えば、情動データＤｆに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出した強度データを評価データＤｄとする。

【0062】

画像処理部１４は、得られた評価データＤｄが所定の基準を満たすとき、画像処理部１４は、解像度を“中”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“中”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“中”に設定するための制御信号を出力する（ステップＳ５０５）。その結果、撮像部１１は、解像度を“中”にした状態で撮像を行い、例えば図９（Ｃ）に示したような解像度“中”の撮像データＤａを取得する。

【0063】

次に、画像処理部１４は、解像度“中”の撮像データＤａと、ストレージ部３２から読み出した参照データＤｅとに基づいて、顔認証を行う（ステップＳ５０６）。このとき、画像処理部１４は、撮像データＤａの中に参照データＤｅに一致する者がいるか否か判定する（ステップＳ５０７）。その結果、撮像データＤａの中に参照データＤｅに一致する者がいない場合には、引き続き、解像度を“中”にした状態で撮像を行う。一方、撮像データＤａの中に参照データＤｅに一致する者がいる場合には、画像処理部１４は、解像度を“高”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“高”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“高”に設定するための制御信号を出力する（ステップＳ５０８）。その結果、撮像部１１は、解像度を“高”にした状態で撮像を行い、例えば図９（Ｄ）に示したような解像度“高”の撮像データＤａを取得する。

【0064】

その後、電子機器１は、上述のステップＳ２０１～Ｓ２０５、または、上述のステップＳ３０１～Ｓ３０５を実行する（ステップＳ５０９）。このようにして、顔認証を利用した解像度の設定が行われる。

【0065】

次に、情動を利用した解像度の設定方法について説明する。図１１は、撮像部１１や撮像信号処理部１２の制御方手順の一例を表したものである。なお、この例においては、ストレージ部３２は、情動の評価に使用する参照データＤｅを保存している。参照データＤｅには、例えば、ユーザの情動に関する参照データが含まれている。参照データＤｅには、例えば、取得データＤｂの種類ごとに、ユーザの情動に関する参照データが含まれていてもよい。

【0066】

なお、以下では、撮像部１１の解像度が制御される場合が例示されているが、撮像部１１の解像度、撮像部１１のフレームレート、撮像部１１から出力されるデータのビット長、撮像部１１に含まれる画素アレイにおけるアクティブな画素領域、撮像部１１から出力されるデータに対するエフェクト、および、撮像部１１の状態（スタンバイ状態／撮像状態）のうち少なくとも１つが制御される場合であっても、同様の制御が可能である。

【0067】

システムコントローラ４０は、まず、撮像部１１の解像度を“低”に設定する（ステップＳ６０１）。具体的には、システムコントローラ４０は、撮像部１１の解像度を“低”に設定するための制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“低”に設定するための制御信号を出力する。その結果、撮像部１１は、解像度を“低”にした状態で撮像を行い、例えば図１２（Ａ）に示したような解像度“低”の撮像データＤａを取得する（ステップＳ６０２）。さらに、画像処理部１４は、システムコントローラ４０から取得データＤｂを取得する（ステップＳ６０２）。

【0068】

次に、画像処理部１４は、取得データＤｂに基づいて、情動データＤｆを生成する（ステップＳ６０３）。画像処理部１４は、取得データＤｂの種類ごとに、情動データＤｆを生成する。次に、画像処理部１４は、情動データＤｆに基づいて撮像データＤａの評価を行う（ステップＳ６０４）。画像処理部１４は、例えば、情動データＤｆと参照データＤｅとに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出した強度データを評価データＤｄとする。

【0069】

例えば、図１２（Ｂ）に示したような人を含む撮像データＤａが得られたとき、得られた評価データＤｄが所定の基準を満たしたとする。この場合、画像処理部１４は、解像度を“高”に設定するための指示をシステムコントローラ４０に出力する。システムコントローラ４０は、画像処理部１４から、解像度を“高”に設定するための指示が入力されると、その指示に基づいた制御信号を撮像制御部１３に出力する。撮像制御部１３は、システムコントローラ４０の制御に応じて、撮像部１１に対して、撮像部１１の解像度を“高”に設定するための制御信号を出力する（ステップＳ６０５）。その結果、撮像部１１は、解像度を“高”にした状態で撮像を行い、例えば図１２（Ｃ）に示したような解像度“高”の撮像データＤａを取得する。

【0070】

その後、電子機器１は、上述のステップＳ２０１～Ｓ２０５、または、上述のステップＳ３０１～Ｓ３０５を実行する（ステップＳ６０６）。このようにして、情動を利用した解像度の設定が行われる。

【0071】

[効果]
次に、本実施の形態に係る電子機器１の効果について説明する。

【0072】

近年、デジタルカメラや、スマートフォンでは、笑顔の瞬間を的確に捉えるために、被写体が笑顔であるか否かの判定結果に応じて自動的にシャッターを切る"スマイルシャッタ"（登録商標）という機能が搭載されている

【0073】

ところで、ユーザは、笑顔の瞬間だけでなく、例えば、子供の自然な表情や、イベントでの貴重な瞬間などを逃さず撮影したいと思うことがある。しかし、カメラを構えると、自然な表情が消え、作り笑いになったり、緊張してしまったりするために、自然な表情を撮ることが難しいことがある。また、貴重な瞬間は突然やってくるため、カメラを構える間に、シャッターチャンスを逃してしまうことがある。

【0074】

一方、本実施の形態に係る電子機器１では、撮像データＤａと情動データＤｆとが時系列に関連付けられ、情動データＤｆに基づいて撮像部１１が制御される。これにより、例えば、ユーザが被写体に対して反応した瞬間に、情動データＤｆが変動した場合には、情動データＤｆをモニタすることにより、ユーザが撮りたいと思っているであろう瞬間を把握することができる。その結果、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。また、ユーザがシャッターを手動で切らなくてもよいことから、ユーザが電子機器１を構える必要がなく、被写体の自然な表情を撮ることが可能となる。

【0075】

また、本実施の形態では、情動データＤｆの生成に、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについての計測データを含む取得データＤｂが用いられる。これにより、情動データＤｆを精度よく生成することができる。

【0076】

また、本実施の形態では、情動データＤｆに基づいて撮像データＤａが評価され、その評価の結果（評価データＤｄ）に基づいて撮像部１１や撮像信号処理部１２が制御される。これにより、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。

【0077】

また、本実施の形態では、情動データＤｆに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データが算出され、算出により得られた強度データに基づいて撮像部１１が制御される。これにより、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。

【0078】

また、本実施の形態では、情動データＤｆおよび評価データＤｄに基づいて、解像度、フレームレート、ビット長、エフェクト、および撮像部におけるアクティブな画素領域のうち少なくとも１つが制御される。これにより、システムコントローラ４０は、ユーザにとって何らかの意味のある光景の撮像データＤｃを取得するとき以外は、例えば、解像度を低下させたり、フレームレートを低下させたり、ビット長を短くしたり、エフェクトをなくしたり、撮像部におけるアクティブな画素領域を小さくしたりすることができる。そのようにした場合には、消費電力を低くすることができるので、電子機器１での撮像を長時間に渡って行うことが可能となる。

【0079】

また、本実施の形態では、情動データＤｆに基づいて、撮像部１１が、スタンバイ状態および撮像状態のいずれかの状態に設定される。これにより、システムコントローラ４０は、ユーザにとって何らかの意味のある光景の撮像データＤｃを取得するとき以外は、撮像部１１をスタンバイ状態にすることが可能となる。そのようにした場合には、消費電力を低くすることができるので、電子機器１での撮像を長時間に渡って行うことが可能となる。

【0080】

また、本実施の形態では、情動データＤｆに基づいて撮像データＤａの保存の要否が決定され、その決定に基づいて、ユーザにとって何らかの意味のある光景の撮像データＤｃがストレージ部３２に保存される。これにより、例えば、ユーザがシャッターを手動で切らなくても、情動データＤｆおよび評価データＤｄの変動に応じて、ユーザにとって何らかの意味のある光景の撮像データＤｃを得ることが可能となる。

【0081】

また、本実施の形態では、一時記憶部３１に記憶されている撮像データＤａのうち、一時記憶部３１に記憶されている期間が所定の期間を超えた部分については、データ消去が行われるか、または、新たに記憶させる撮像データＤａで上書きが行われる。これにより、一時記憶部３１の容量が小さい場合であっても、電子機器１での撮像を長時間に渡って行うことが可能となる。

【0082】

また、本実施の形態では、手ぶれ補正のなされた撮像データＤａ’が生成される。これにより、ユーザが電子機器１を持ち歩いている状態で撮像が行われた場合であっても、手ぶれの少ない撮像データＤｃを得ることが可能となる。

【0083】

また、本実施の形態では、時刻ｔ１で取得された撮像データＤａと、時刻ｔ１よりも遅延時間ｔｄの分だけ遅い時刻ｔ２で取得された情動データＤｆとが関連付けられる。これにより、情動データＤｆ特有の遅延時間ｔｄを考慮した撮像データＤｃを得ることが可能となる。

【0084】

また、本実施の形態では、参照データＤｅと撮像データＤａとの照合結果に基づいて撮像部１１が制御される。これにより、顔認証を使って撮像部１１を制御することができるので、撮像データＤｃとして残しておきたいものを選択して保存することが可能となる。

【0085】

また、本実施の形態では、参照データＤｅおよび情動データＤｆに基づいて撮像部１１や撮像信号処理部１２が制御される。これにより、撮像データＤｃとして、特に感動したり関心したりしたものを選択して保存することが可能となる。

【0086】

＜２．変形例＞
次に、上記実施の形態に係る電子機器１の変形例について説明する。なお、以下では、上記実施の形態と共通する構成要素に対しては、同一の符号が付与される。さらに、上記実施の形態と共通する構成要素についての説明は、適宜、省略されるものとする。

【0087】

[変形例Ａ]
上記実施の形態において、例えば、図１３に示したように、映像信号生成部１５、表示駆動部１６、表示制御部１７、表示部１８、音声信号生成部２４および音声出力部２５が省略されていてもよい。この場合に、電子機器１は、映像信号生成部１５、表示駆動部１６、表示制御部１７、表示部１８、音声信号生成部２４および音声出力部２５を備えた表示装置２に対して、例えば、通信部６０を介して、図４に示したような表示画面１８Ａを表示させるのに必要なデータを送信するようになっていてもよい。このようにした場合であっても、表示装置２において、遅延時間ｔｄを設定したり、センサの種類を選択したりすることができる。

【0088】

[変形例Ｂ]
上記変形例Ａにおいて、例えば、図１４に示したように、ストレージ部３２が省略されていてもよい。この場合に、電子機器１は、ストレージ部３２を有するストレージ装置３に、例えば、通信部６０を介して、撮像データＤｃを保存してもよい。

【0089】

[変形例Ｃ]
上記変形例Ａにおいて、例えば、図１５に示したように、電子機器１は、ネットワーク４を介して、表示装置２と通信をするようになっていてもよい。ネットワーク４は、通信部６０によって表示装置２と通信可能な通信規格となっている。

【0090】

[変形例Ｄ]
上記変形例Ｂにおいて、例えば、図１６に示したように、電子機器１は、ネットワーク４を介して、表示装置２やストレージ装置３と通信をするようになっていてもよい。

【0091】

[変形例Ｅ]
上記実施およびその変形例において、例えば、図１７に示したように、撮像部１１が電子機器１とは別体で設けられていてもよい。この場合、撮像部１１で得られた画像が通信部６０などを介して、画像ブロック１０に入力される。このようにした場合であっても、上記の実施の形態と同様の効果が得られる。

【0092】

[変形例Ｆ]
上記実施の形態および変形例Ａ～Ｄにおいて、電子機器１は、例えば、図１８に示したように、当該電子機器１をユーザ１００の身体に取り付け可能な取り付け部１Ｂを更に備えていてもよい。このとき、取り付け部１Ｂは、例えば、電子機器１の本体部１Ａに連結されている。これにより、ユーザ１００が電子機器１を構える必要がないので、被写体の自然な表情を撮ることがより一層容易となる。

【0093】

[変形例Ｇ]
上記実施の形態および変形例Ａ～Ｄにおいて、撮像部１１は、例えば、図１９に示したように、光軸の向きが互いに異なり、特定方向撮像データを取得する複数の撮像素子１ａ，１ｂ，１ｃを有していてもよい。このとき、複数の撮像素子１ａ，１ｂ，１ｃは、例えば、ユーザ１００の帽子１１０などに着脱可能に取り付けられている。これにより、広い範囲を撮像することが可能となる。

【0094】

[変形例Ｈ]
上記実施の形態および変形例Ａ～Ｄ，Ｆにおいて、撮像部１１は、例えば、図２０に示したように、レンズ１Ｃを有していてもよい。レンズ１Ｃは、例えば、広角レンズまたは魚眼レンズである。これにより、広い範囲を撮像することが可能となる。

【0095】

以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

【0096】

また、例えば、本開示は以下のような構成を取ることができる。
（１）
撮像データを取得する撮像部と、
取得データから情動データを生成するデータ生成部と、
前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
前記情動データに基づいて前記撮像部の設定を経時的に変化させる制御部と
を備えた
電子機器。
（２）
前記取得データは、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、身体の動き、頭の動き、重心、歩行もしくは走行のリズム、眼の状態、および周囲の音のうちの少なくとも１つについてのデータである
（１）に記載の電子機器。
（３）
前記制御部は、前記情動データに基づく前記撮像データの時系列の評価を行い、その評価の結果に基づいて前記撮像部を制御する
（１）または（２）に記載の電子機器。
（４）
前記制御部は、前記情動データに基づいて、少なくとも、快・不快、もしくは活性・非活性の強度データを算出し、算出により得られた前記強度データに基づいて前記撮像部を制御する
（１）ないし（３）のいずれか１つに記載の電子機器。
（５）
前記制御部は、前記情動データに基づいて、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つを制御する
（１）ないし（４）のいずれか１つに記載の電子機器。
（６）
前記制御部は、前記情動データに基づいて、前記撮像部を、スタンバイ状態および撮像状態のいずれかの状態に設定する
（１）ないし（４）のいずれか１つに記載の電子機器。
（７）
前記撮像データを記憶する記憶部を更に備え、
前記制御部は、前記情動データに基づいて前記撮像データの保存の要否の決定を行い、その決定に基づいて、前記撮像データを前記記憶部に記憶させる
（１）ないし（６）のいずれか１つに記載の電子機器。
（８）
前記撮像データを記憶する記憶部を更に備え、
前記制御部は、前記撮像データを前記記憶部に記憶させ、前記記憶部に記憶されている前記撮像データのうち、前記記憶部に記憶されている期間が所定の期間を超えた部分については、データ消去を行うか、または、新たに記憶させる前記撮像データで上書きを行う
（１）ないし（６）のいずれか１つに記載の電子機器。
（９）
前記制御部は、前記撮像データにおける手ぶれの量および方向を検出し、検出した手ぶれの量および方向に応じて、前記撮像データにおける切り出し領域の決定を行い、その決定に基づいて、手ぶれ補正のなされた撮像データを生成する
（１）ないし（８）のいずれか１つに記載の電子機器。
（１０）
前記データ処理部は、第１の時間で取得された前記撮像データと、前記第１の時刻よりも遅い第２の時刻で取得された前記情動データとを時系列に関連付ける
（１）ないし（９）のいずれか１つに記載の電子機器。
（１１）
当該電子機器を身体に取り付け可能な取り付け部を更に備えた
（１）ないし（１０）のいずれか１つに記載の電子機器。
（１２）
前記撮像部は、光軸の向きが互いに異なり、特定方向撮像データを取得する複数の撮像素子を有し、
前記データ処理部は、前記複数の撮像素子で得られた複数の前記特定方向撮像データを、前記撮像データとして、前記情動データと時系列に関連付ける
（１）ないし（１１）のいずれか１つに記載の電子機器。
（１３）
前記撮像部は、広角レンズまたは魚眼レンズを有する
（１）ないし（１２）のいずれか１つに記載の電子機器。
（１４）
被写体に関する参照データを記憶する記憶部を更に備え、
前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
（１）ないし（１３）のいずれか１つに記載の電子機器。
（１５）
前記撮像部の設定は、解像度、フレームレート、ビット長、エフェクト、および前記撮像部におけるアクティブな画素領域のうち少なくとも１つである
（１４）に記載の電子機器。
（１６）
情動に関する参照データを記憶する記憶部を更に備え、
前記制御部は、前記参照データおよび前記情動データに基づいて前記撮像部を制御する
（１）ないし（１５）のいずれか１つに記載の電子機器。
（１７）
撮像データを取得する撮像部と、
取得データから情動データを生成するデータ生成部と、
前記撮像データと前記情動データとを時系列に関連付けるデータ処理部と、
前記情動データに基づいて前記撮像部を制御する制御部と
を備えた
撮像システム。
（１８）
被写体に関する参照データを記憶する記憶部を更に備え、
前記制御部は、前記参照データと前記撮像データとの照合結果に基づいて前記撮像部を制御する
（１７）に記載の撮像システム。

【0097】

本開示の一実施形態に係る電子機器および撮像システムによれば、撮像データと情動データとを時系列に関連付け、情動データに基づいて撮像部を制御するようにしたので、ユーザがシャッターを手動で切らなくても、情動データの変動に応じて、撮像データを得ることが可能となる。従って、ユーザが撮りたいと思う瞬間を逃さずに撮影することが可能となる。なお、本開示の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。

【0098】

本出願は、日本国特許庁において２０１９年３月２９日に出願された日本特許出願番号第２０１９－０６８３５８号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

【0099】

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】