特許 7396919 電子機器、撮像表示制御装置、撮像表示システム、撮像表示制御方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】電子機器、撮像表示制御装置、撮像表示システム、撮像表示制御方法、および、プログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20231205BHJP

   H04N 23/60 20230101ALI20231205BHJP

   G03B 15/00 20210101ALI20231205BHJP

   G03B 5/00 20210101ALI20231205BHJP

   G03B 17/18 20210101ALI20231205BHJP

【ＦＩ】

H04N23/63

H04N23/60 500

G03B15/00 Q

G03B5/00 D

G03B17/18

【請求項の数】 8

(21)【出願番号】P 2020021808

(22)【出願日】2020-02-12

(65)【公開番号】P2021129179

(43)【公開日】2021-09-02

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】羽田 充宏

(72)【発明者】

【氏名】村上 則明

(72)【発明者】

【氏名】高井 翔平

(72)【発明者】

【氏名】齋藤 尭範

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１６－０３６１８３（ＪＰ，Ａ）

【文献】特開２００１－０５７６７１（ＪＰ，Ａ）

【文献】特開２０１６－１７８４４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置と、表示装置と、制御装置とを備える電子機器であって、
前記制御装置は、
前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する被写体情報を抽出する処理を行い、
前記被写体情報は、前記動画における、（ｉ）前記被写体の大きさ、（ｉｉ）前記被写体の位置、および、（ｉｉｉ）前記被写体における顔の有無、に関する情報を含んでおり、
前記制御装置は、
前記被写体情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択するための拡大表示対象情報を生成する処理と、
前記拡大表示対象情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択する処理と、
前記動画を、前記拡大表示対象が含まれる領域を拡大して前記表示装置に表示させる処理と、
をさらに行うことを特徴とする電子機器。

【請求項2】

前記被写体情報は、前記動画における、（ｉ）前記被写体の顔の表情、（ｉｉ）前記被写体の動き、（ｉｉｉ）前記被写体の向き、（ｉｖ）前記被写体の数、（ｖ）前記被写体の明るさ、および、（ｉｖ）前記被写体の構図の少なくとも何れか１つに関する情報をさらに含むことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記拡大表示対象情報を生成する処理において、前記拡大表示対象として選択した前記被写体に関する前記被写体情報を参照して、当該被写体が含まれる領域の拡大率を決定することを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記動画を表示させる処理において、ユーザの操作に応じて、前記動画の全体表示と、前記動画に含まれる前記被写体の拡大表示とを切り替えることを特徴とする請求項１から３の何れか１項に記載の電子機器。

【請求項5】

撮像装置および表示装置を制御する撮像表示制御装置であって、
前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する被写体情報を抽出する抽出部を備え、
前記被写体情報は、前記動画における、（ｉ）前記被写体の大きさ、（ｉｉ）前記被写体の位置、および、（ｉｉｉ）前記被写体における顔の有無、に関する情報を含んでおり、
前記撮像表示制御装置は、
前記被写体情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択するための拡大表示対象情報を生成する生成部と、
前記拡大表示対象情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択する選択部と、
前記動画を、前記拡大表示対象が含まれる領域を拡大して前記表示装置に表示させる表示制御部と、
をさらに備えることを特徴とする撮像表示制御装置。

【請求項6】

撮像装置と、表示装置を制御する表示制御装置とを備える撮像表示システムであって、
前記撮像装置は、
動画を撮像する撮像部と、
前記動画から、当該動画に含まれる被写体および当該被写体の各々に関する被写体情報を抽出する抽出部と、を備え、
前記被写体情報は、前記動画における、（ｉ）前記被写体の大きさ、（ｉｉ）前記被写体の位置、および、（ｉｉｉ）前記被写体における顔の有無、に関する情報を含んでおり、
前記撮像装置は、前記被写体情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択するための拡大表示対象情報を生成する生成部をさらに備え、
前記表示制御装置は、
前記拡大表示対象情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択する選択部と、
前記動画を、前記拡大表示対象が含まれる領域を拡大して前記表示装置に表示させる表示制御部と、
を備えることを特徴とする撮像表示システム。

【請求項7】

撮像装置および表示装置を制御する撮像表示制御方法であって、
前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する被写体情報を抽出する抽出ステップを含み、
前記被写体情報は、前記動画における、（ｉ）前記被写体の大きさ、（ｉｉ）前記被写体の位置、および、（ｉｉｉ）前記被写体における顔の有無、に関する情報を含んでおり、
前記撮像表示制御方法は、
前記被写体情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択するための拡大表示対象情報を生成する生成ステップと、
前記拡大表示対象情報を参照して、前記動画に含まれる前記被写体の各々から拡大表示対象を選択する選択ステップと、
前記動画を、前記拡大表示対象が含まれる領域を拡大して前記表示装置に表示させる表示制御ステップと、
をさらに含むことを特徴とする撮像表示制御方法。

【請求項8】

請求項５に記載の撮像表示制御装置としてコンピュータを機能させるための制御プログラムであって、前記抽出部、前記生成部、前記選択部、および、前記表示制御部としてコンピュータを機能させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、撮像表示制御装置、撮像表示システム、撮像表示制御方法、および、プログラムに関する。

【背景技術】

【0002】

従来、動画の一部を追尾して別に表示する技術が知られている。例えば、特許文献１には、動画に写る人物の中から追尾対象として選択された第１の人物の画像を第１の表示領域に表示させ続けるとともに、再生中の時刻において動画に写っている第２の人物の画像を第２の表示領域に表示させる表示制御装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２２０７２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のような従来技術には、ユーザが自ら追尾対象とする被写体を見つけて、選択する操作が必要になるという問題がある。

【0005】

本発明の一態様は、ユーザが操作することなく、被写体を拡大表示することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る電子機器は、撮像装置と、表示装置と、制御装置とを備える電子機器であって、前記制御装置が、前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する情報を抽出する処理と、前記動画に含まれる被写体の各々に関する情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択するための拡大表示対象情報を生成する処理と、前記拡大表示対象情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択する処理と、前記動画を、前記拡大表示対象が含まれる領域を拡大して表示させる処理と、を行う。

【発明の効果】

【0007】

本発明の一態様によれば、ユーザが操作することなく、被写体を拡大表示することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態１に係る撮像表示システムのハードウェア構成を示すブロック図である。

【図2】本発明の実施形態１に係る撮像表示システムの機能構成を示すブロック図である。

【図3】本発明の実施形態１に係る撮像装置の処理を示すフローチャートである。

【図4】本発明の実施形態１に係る表示制御装置の処理を示すフローチャートである。

【図5】本発明の実施形態１に係る動画フレームの例を示す図である。

【図6】本発明の実施形態１に係る表示装置の画面の例を示す図である。

【図7】本発明の実施形態１に係る表示装置の画面の例を示す図である。

【図8】本発明の実施形態２に係る撮像表示装置の画面の例を示す図である。

【発明を実施するための形態】

【0009】

〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。

【0010】

本実施形態に係る撮像表示システム１００は、既存の物体認識技術、構図判定技術、個人認識技術などを用いて、動画撮影時に追尾対象（ズーム対象の被写体）を決定する。これにより、ユーザが追尾対象を探してタップすることなく、ズームイン再生を実現することができる。

【0011】

（撮像表示システム１００の構成）
図１は、本実施形態に係る撮像表示システム１００のハードウェア構成を示すブロック図である。図１に示すように、撮像表示システム１００は、撮像装置１、記憶装置２、表示制御装置３、および、表示装置４を備えている。

【0012】

撮像装置１は、動画を撮像して、当該動画を記憶装置２に記憶させる。

【0013】

記憶装置２は、各種情報を記憶する。記憶装置２は、例えば、撮像装置１に内蔵または外部接続されるＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）メモリカードなどである。記憶装置２は、撮像表示システム１００が動作するために必要なプログラム（オペレーションシステム、アプリケーションなど）、データ（ユーザデータを含む）を記憶している。

【0014】

表示制御装置３は、表示装置４を制御する装置であり、表示装置４および記憶装置２に接続され、例えば、集積回路（例えば、ＳｏＣ（System-on-a-chip）など）で構成される。表示制御装置３は、例えば、スマートフォン、タブレット端末、ＰＣなどの本体である。なお、表示制御装置３は、表示以外の他の制御（通信制御等）も行ってもよい。

【0015】

表示装置４は、所定の解像度（表示解像度）で画像を表示する表示装置である。表示装置４は、例えば、有機ＥＬ（electro luminescent）ディスプレイ、液晶ディスプレイ、または、プロジェクターなどで構成される。

【0016】

（撮像装置１のハードウェア構成）
撮像装置１は、撮像部１１、ＣＰＵ１３（Central Processing Unit）、ＧＰＵ１４（Graphics Processing Unit）、および、メモリ１５を備える。

【0017】

撮像部１１は、動画を撮像する。ＣＰＵ１３は、アプリケーションの動作等、各種演算処理を行う。ＧＰＵ１４は、画像処理に関する処理を行う。メモリ１５は、演算処理および画像処理に必要な情報を一時的に記憶するメモリである。

【0018】

（表示制御装置３のハードウェア構成）
表示制御装置３は、ＣＰＵ３２、ＧＰＵ３３、および、メモリ３４を備える。

【0019】

表示制御部３１は、表示装置４と、記憶装置２との間に介在し、記憶装置２のデータを表示装置４に表示させる。ＣＰＵ３２は、アプリケーションの動作等、各種演算処理を行う。ＧＰＵ３３は、画像処理に関する処理を行う。メモリ３４は、演算処理および画像処理に必要な情報を一時的に記憶するメモリである。

【0020】

なお、表示装置４は、表示制御装置３を備えた構成であってもよい。この場合、表示装置４は、例えば、スマートフォン、タブレット端末、ＰＣなどの本体である。

【0021】

（撮像装置１の機能構成）
図２は、本実施形態に係る撮像表示システム１００の機能構成を示すブロック図である。図２に示すように、撮像装置１は、撮像部１１、および、制御部１６を備えている。制御部１６は、動画録画部１２、生成部１６１、抽出部１６２、および、ＡＩエンジン１６３を備えている。記憶装置２は、少なくとも動画データ（動画）２１およびズーム領域情報２２を記憶する。

【0022】

動画録画部１２は、撮像部１１が撮像した動画を動画データ２１として記憶装置２に記憶させる。生成部１６１からズーム領域情報を取得したときには、動画録画部１２は、当該ズーム領域情報をズーム領域情報２２として記憶装置２に記憶させる。ズーム領域情報には、被写体が含まれる領域の範囲、および、当該領域の拡大率が含まれる。

【0023】

生成部１６１は、撮像部１１が撮像した動画に含まれる被写体の各々に関する情報を参照して、当該動画に含まれる被写体から拡大表示対象を選択するためのズーム領域情報（拡大表示対象情報）を生成する処理を行う。詳細には、生成部１６１は、抽出部１６２から取得した、ＡＩエンジン１６３の認識結果を利用して、動画におけるズーム領域を選択し、ズーム領域の範囲を含むズーム領域情報を作成する。そして、生成部１６１は、ズーム領域情報を生成する処理において、拡大表示対象として選択した被写体が含まれる領域の拡大率を決定し、当該拡大率を上記ズーム領域情報に追加して、当該ズーム領域情報を動画録画部１２に出力する。

【0024】

抽出部１６２は、撮像部１１が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する被写体情報（情報）を抽出する処理を行う。当該被写体情報は、被写体の名称、被写体の大きさ、被写体の位置、被写体における顔の有無、被写体の顔の表情、被写体の動き、被写体の向き、被写体の数、被写体の明るさ、および、被写体の構図情報の少なくとも何れか１つを含む。詳細には、抽出部１６２は、ＡＩエンジン１６３を制御する部分として、撮像部１１が撮像した動画をＡＩエンジン１６３に解析させて、ＡＩエンジン１６３の認識結果を生成部１６１に出力する。

【0025】

なお、被写体の名称とは、被写体の種類（人、犬、猫など）を含み、被写体が人である場合には、当該被写体の個人名を含むものとする。

【0026】

また、被写体の構図情報とは、動画のフレームの構図情報であって、被写体およびその背景によって規定される構図の良し悪しを意味し、より詳細には当該構図に関する評価値を含むことが好ましい。

【0027】

ＡＩエンジン１６３は、それぞれに固有の方法により動画を解析して、当該動画に含まれる被写体に関する認識結果を、抽出部１６２を通じて生成部１６１に出力する。例えば、ＡＩエンジン１６３１は、動画において構図判定を行う。構図判定とは、ズーム後の画像の、構図に関する評価値が所定値以上か否かを判定することである。ＡＩエンジン１６３１は、一般によい構図であると認識されている画像を学習し、そのような画像に近い動画に高いスコア（評価値）を付与する。

【0028】

ＡＩエンジン１６３２は、動画において物体認識を行う。物体認識とは、動画において、人、犬、猫などの特定の物体を認識することである。ＡＩエンジン１６３３は、動画において個人認識を行う。個人認識とは、動画において、予め登録されている人物を認識することである。

【0029】

なお、ＡＩエンジン１６３の個数に制限はなく、ＡＩエンジン１６３は、上記以外の判定方法、認識方法が行ってもよい。また、ＡＩエンジン３２３は、個人認識を行わなくてもよい。すなわち、個人認識を行うＡＩエンジン３２３３は、実装されていなくてもよい。

【0030】

（表示制御装置３の機能構成）
図２に示すように、表示制御装置３は、表示制御部３１、および、選択部３５を備えている。

【0031】

表示制御部３１は、記憶装置２に記憶されている動画データ２１を表示装置４に表示させる処理を行う。選択部３５が拡大表示対象を特定したときには、表示制御部３１は、拡大表示対象になる被写体が含まれる領域をズームイン（拡大）して動画データ２１を表示装置４に表示させる。ズーム領域情報には、被写体が含まれる領域の範囲、および、当該領域の拡大率が含まれる。なお、表示制御部３１は、被写体が含まれる領域をズームアウト（縮小）してもよい。

【0032】

選択部３５は、記憶装置２に記憶されたズーム領域情報２２を参照して、動画データ２１に含まれる被写体から拡大表示対象を特定する処理を行う。ただし、再生時に、選択部３５は、拡大表示対象（ズーム領域）を選択する処理を行ってもよい（選択ステップ）。

【0033】

なお、撮像装置１と、表示制御装置３とは、一体化してもよい。その場合、撮像装置１および表示装置４を制御する撮像表示制御装置であって、抽出部１６２と、生成部１６１と、選択部３５と、表示制御部３１と、を備えた撮像表示制御装置があってもよい。

【0034】

（撮像装置１の処理）
図３は、本実施形態に係る撮像装置１の処理を示すフローチャートである。図５は、本実施形態に係る動画フレームの例を示す図である。以下、図３、図５を参照しながら、撮像装置１の処理について説明する。

【0035】

撮像装置１の処理は、例えば、ユーザがスマートフォンなどにインストールされたカメラアプリを起動することにより開始される。カメラアプリが起動されると、撮像部１１は、動画を撮像する。そして、動画録画部１２は、撮像部１１が撮像した動画を動画データ２１として記憶装置２に記憶させる。

【0036】

（ステップＳ３０１）
撮像装置１の制御部１６は、ＡＩエンジン１６３を起動する。この場合、抽出部１６２が、撮像装置１のＣＰＵの性能、メモリの容量などに応じて、少なくとも１つのＡＩエンジン１６３（１つでもよいし、複数でもよい）を起動する。

【0037】

（ステップＳ３０２）
制御部１６の抽出部１６２は、既にステップＳ３０１において起動しているＡＩエンジン１６３を用いて、そのときに撮像中の動画にズーム対象が存在するか否かを判定する。ズーム対象の存否判定は、ＡＩエンジン１６３によって異なる。

【0038】

例えば、ＡＩエンジン１６３１は、動画を拡大した画像に構図としてよい（構図に関する評価値が所定値以上である）ものがあるか否かを判定する。「動画を拡大した画像」とは、ＡＩエンジン１６３１以外のＡＩエンジンが抽出した物体、人物などを含む領域を拡大した場合の画像である。

【0039】

ＡＩエンジン１６３２は、動画に人、犬、猫などの特定の物体があるか否かを判定する。ＡＩエンジン１６３３は、動画に予め登録されている人物がいるか否かを判定する。なお、制御部１６は、上記以外の方法により、ズーム対象の存否判定を行ってもよい。

【0040】

動画にズーム対象が存在する場合（ステップＳ３０２のＹＥＳ）、制御部１６は、ステップＳ３０３の判定を実行する。この場合、ステップＳ３０３の判定を実行する前に、抽出部１６２は、動画から被写体および当該被写体の各々に関する情報を抽出しておく（抽出ステップ）。例えば、図５に示すように、動画５１について、当該被写体がズーム対象であることを示す、実線および破線の矩形枠が生成される。

【0041】

動画にズーム対象が存在しない場合（ステップＳ３０２のＮＯ）、制御部１６は、ステップＳ３０６の処理を実行する。

【0042】

（ステップＳ３０３）
制御部１６は、ＡＩエンジン１６３を用いて、動画がズーム条件を満たしているか否かを判定する。これは、ステップＳ３０２で動画に存在すると判定した、１以上のズーム対象が実際に拡大表示すべきものか否かをさらに判定するものである。

【0043】

例えば、ＡＩエンジン１６３は、矩形枠で特定される各ズーム対象の、下記条件ごとのスコアを算出する。抽出部１６２は、算出したスコアを生成部１６１に出力する。生成部１６１は、下記条件の優先順位に応じて、ズーム対象ごとに各スコアを重み付けして合計し、その合計値によって、ズーム対象ごとにズーム条件を満たしているか否かを判定する。生成部１６１は、特に、被写体の大きさ、被写体の位置、被写体における顔の有無、および、被写体の顔の表情に関する評価を行って、ズーム対象ごとにスコアを算出してもよい。
・被写体の大きさ（所定の大きさ以上）
・被写体が写っている位置（画像全体の中心付近）
・被写体における顔の有無（顔が含まれているか否か）
・被写体の顔の表情（笑顔か否か）
・被写体の動き
・被写体の向き
・被写体の数
・被写体の明るさ
・被写体の構図
動画がズーム条件を満たしている場合（ステップＳ３０３のＹＥＳ）、制御部１６は、ステップＳ３０４の処理を実行する。動画がズーム条件を満たしていない場合（ステップＳ３０３のＮＯ）、制御部１６は、ステップＳ３０６の処理を実行する。

【0044】

（ステップＳ３０４）
制御部１６の生成部１６１は、ズーム条件を満たした１以上のズーム対象から実際の拡大表示対象を選択する。生成部１６１は、ステップＳ３０３において算出した、各条件のスコアの合計値が大きいズーム対象を選択してもよい。例えば、図５に示すように、生成部１６１は、動画５１において、実線の矩形枠５２に含まれる被写体を拡大表示対象として選択する。

【0045】

そして、生成部１６１は、選択した拡大表示対象のズーム領域情報を生成し（生成ステップ）、動画録画部１２に出力する。動画録画部１２は、生成部１６１からズーム領域情報を取得し、当該ズーム領域情報を記憶装置２にズーム領域情報２２として記憶させる。

【0046】

（ステップＳ３０５）
制御部１６は、撮像を終了させるか否かを判定する。例えば、制御部１６は、カメラアプリの画面においてユーザが撮像終了を指示する操作を行ったか否かを判定する。

【0047】

撮像を終了させる場合（ステップＳ３０５のＹＥＳ）、制御部１６は、撮像アプリを終了させて、撮像処理を終了する。撮像を終了させない場合（ステップＳ３０５のＮＯ）、制御部１６は、ステップＳ３０２の判定に戻る。

【0048】

（ステップＳ３０６）
動画にズーム対象が存在しない、または、動画がズーム条件を満たしていない場合、制御部１６は、ズームを行わない旨を示すズーム領域情報を動画録画部１２に出力する。動画録画部１２は、生成部１６１からズーム領域情報を取得し、当該ズーム領域情報を記憶装置２にズーム領域情報２２として記憶させる。

【0049】

なお、上記の場合でなくても、例えば、ユーザが撮像装置１を使用しながら移動している場合には、撮像対象の動画が不安定なので、制御部１６は、ズームを行わないことにしてもよい。ユーザが移動しているか否かの判定は、撮像装置１に内蔵された加速度センサなどを用いて行われる。

【0050】

（表示制御装置３の処理）
図４は、本実施形態に係る表示制御装置３の処理を示すフローチャートである。図６および図７は、本実施形態に係る表示装置４の画面４１の例を示す図である。以下、図４、図６、および、図７を参照しながら、表示制御装置３の処理について説明する。

【0051】

表示制御装置３の処理は、例えば、ユーザがスマートフォンなどにインストールされた動画再生アプリを起動することにより開始される。動画再生アプリが起動されると、表示制御部３１は、動画を再生する。すなわち、表示制御部３１は、記憶装置２に記憶されている動画データ２１をズームせずにそのままのサイズで表示装置４に表示させる。

【0052】

そして、表示制御部３１は、動画を表示させる処理において、動画を再生しながら、ユーザの操作に応じて、動画データ２１の全体表示と、動画データ２１に含まれる被写体の拡大表示とを切り替える。表示制御部３１は、動画再生処理が、動画データ２１の被写体を拡大表示するズームモードに移行したことに応じて、ズーム領域情報２２で特定される領域をズームイン再生する。なお、表示制御装置３は、動画再生機能が搭載された機器である。

【0053】

（ステップＳ４０１）
選択部３５は、動画再生処理がズームモードであるか否かを判定する。表示制御装置３は、例えば、図６に示すように、ユーザが被写体の拡大表示のために操作するズームイン再生ボタン４２を、表示装置４の画面４１に表示させる。そして、ズームイン再生ボタン４２をユーザがタッチした場合に、表示制御装置３の動画再生処理がズームモードに移行する。なお、ユーザがズームイン再生ボタン４２を再度タッチした場合、または、ズームイン再生が所定時間行われた場合に、ズームモードが解除される。

【0054】

動画再生処理がズームモードである場合（ステップＳ４０１のＹＥＳ）、選択部３５は、ステップＳ４０２の処理を実行する。動画再生処理がズームモードでない場合（ステップＳ４０１のＮＯ）、選択部３５は、ステップＳ４０３の処理を実行する。

【0055】

（ステップＳ４０２）
表示制御装置３は、ズーム領域情報を用いてズームイン再生を行う。詳細には、選択部３５は、記憶装置２に記憶されているズーム領域情報２２を参照して、動画データ２１に含まれる被写体から拡大表示対象を特定する。そして、表示制御部３１は、選択部３５に選択された拡大表示対象が含まれる領域を拡大して、動画データ２１を表示装置４に表示させる（表示制御ステップ）。例えば、表示制御部３１は、図５の矩形枠５２内の領域を拡大した画像を含む、図７に示す画面４１に切り替える。

【0056】

なお、ズーム領域情報２２がズームを行わない旨を示す場合には、表示制御部３１は、ユーザに指示されたズームイン再生ができなかった旨を表示装置４に表示させてもよいし、上記の旨を表示させずに、全体画像を再生してもよい。

【0057】

また、表示制御装置３は、拡大表示対象の被写体が動画からフレームアウトして、ズーム対象となる、他の被写体がなかった場合、ズームなしの動画再生に戻す。

【0058】

さらに、動画データ４１に複数のズーム対象の被写体がある場合、ユーザの操作により、ズーム領域情報を参照し、現在の追尾対象（拡大対象）の被写体から、次に優先度が高い（スコアの合計値が大きい）被写体に拡大対象を切り替えることを可能にしてもよい。

【0059】

（ステップＳ４０３）
選択部３５は、動画データ２１に含まれる被写体から拡大表示対象を選択することをしない。従って、表示制御部３１は、ズームインせずにそのままのサイズで再生を続行する。

【0060】

（実施形態１の効果）
本実施形態に係る撮像表示システム１００において、撮像装置１は、被写体から得られる情報から追尾対象および拡大率を算出し、ズーム領域情報（被写体を囲うズーム枠の位置、被写体ＩＤ等のズーム用の情報）を生成する。被写体ＩＤとは、ズーム対象の被写体が複数ある場合でも、各被写体を識別可能とするための識別子である。表示制御装置３は、上記ズーム領域情報を参照して、撮影して記憶された動画データ２１から、追尾対象をズームした動画を生成しながら再生する。

【0061】

上記によれば、動画撮影時に追尾対象を決定して、当該追尾対象に対してズームインを行うので、ユーザは、自身で追尾対象を見つけて選択する操作の必要がなくなる。

【0062】

〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0063】

本実施形態に係る撮像表示システム１００は、動画撮影時にズーム領域情報を生成し、さらに動画再生時にズーム領域情報を生成し、両方のズーム領域情報を参照して、動画のズームイン再生を行う。

【0064】

例えば、撮像装置１は、構図判定を行うＡＩエンジン１６３１を用いて、各被写体のスコアを含むズーム領域情報２２ａ（図示せず）を生成する。表示制御装置３は、物体認識を行うＡＩエンジン１６３２と、個人認識を行うＡＩエンジン１６３３とを用いて、各被写体のスコアを含むズーム領域情報２２ｂ（図示せず）を生成する。表示制御装置３の選択部３５は、ズーム領域情報２２ａおよび２２ｂを参照して、スコアの最も高い被写体が含まれる領域を拡大して表示するように表示制御部３１に指示する。

【0065】

この場合、撮像装置１では動画の拡大表示対象を決定せず、表示制御装置３が、動画の拡大表示対象を決定し、当該拡大表示対象が含まれる領域を拡大して表示装置４に表示させる。

【0066】

なお、撮像表示システム１００が、撮像装置１と、表示制御装置３とが一体化したスマートフォンなどである場合、当該のスマートフォンのパフォーマンスに応じて、撮影時と再生時に使用するＡＩエンジン１６３１、１６３２、および、１６３３を適宜切り替えるようにしてもよい。

【0067】

（実施形態２の効果）
本実施形態に係る撮像表示システム１００において、ＡＩエンジンが構図判定、物体認識、および、個人認識を行うために、撮像装置１が十分な性能を有していない場合がある。このような場合に、表示制御装置３のＡＩエンジンが一部を分担して実行することにより、ズーム対象を選択する際の精度を確保することができる。

【0068】

〔実施形態３〕
本発明の実施形態３について、以下に説明する。なお、説明の便宜上、実施形態１、２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0069】

図８は、本実施形態に係る撮像表示装置２００の機能構成を示すブロック図である。撮像表示装置（電子機器）２００は、撮像部１１、制御部１６、記憶部２０、および、表示部４０を備えている。制御部１６は、制御部１６は、動画録画部１２、生成部１６１、抽出部１６２、ＡＩエンジン１６３、表示制御部３１、および、選択部３５を備えている。記憶部２０は、記憶装置２と同様の機能を有する。表示部４０は、表示装置４と同様の機能を有する。制御部１６の各部は、実施形態１、２で説明した通りである。

【0070】

撮像表示装置２００は、スマートフォン、タブレット等単体で本願発明の機能を実現する場合の構成である。

【0071】

〔ソフトウェアによる実現例〕
撮像装置１および表示制御装置３の制御ブロック（特に、制御部１６の各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0072】

後者の場合、撮像装置１および表示制御装置３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0073】

〔まとめ〕
本発明の態様１に係る電子機器は、撮像装置と、表示装置と、制御装置とを備える電子機器であって、前記制御装置が、前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する情報を抽出する処理と、前記動画に含まれる被写体の各々に関する情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択するための拡大表示対象情報を生成する処理と、前記拡大表示対象情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択する処理と、前記動画を、前記拡大表示対象が含まれる領域を拡大して表示させる処理と、を行う。

【0074】

前記構成によれば、ユーザが操作することなく、被写体を拡大表示することができる。なお、撮像装置と、表示制御装置とは、一体化していてもよい。

【0075】

本発明の態様２に係る電子機器は、上記態様１において、前記情報が、前記被写体の大きさ、前記被写体の位置、前記被写体における顔の有無、前記被写体の顔の表情、前記被写体の動き、前記被写体の向き、前記被写体の数、前記被写体の明るさ、および、前記被写体の構図の少なくとも何れか１つを含むこととしてもよい。

【0076】

本発明の態様３に係る電子機器は、上記態様１または２において、前記拡大表示対象情報を生成する処理において、前記拡大表示対象として選択した被写体に関する前記情報を参照して、当該被写体が含まれる領域の拡大率を決定することとしてもよい。

【0077】

前記構成によれば、決定した拡大率を用いて、被写体が含まれる領域を拡大して見せることができる。

【0078】

本発明の態様４に係る電子機器は、上記態様１から３において、前記動画を表示させる処理において、ユーザの操作に応じて、前記動画の全体表示と、前記動画に含まれる被写体の拡大表示とを切り替えることとしてもよい。

【0079】

前記構成によれば、ユーザは、動画の全体表示と、被写体の拡大表示とを、簡単に切り替えることができる。

【0080】

本発明の態様５に係る撮像表示制御装置は、撮像装置および表示装置を制御する撮像表示制御装置であって、前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する情報を抽出する抽出部と、前記動画に含まれる被写体の各々に関する情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択するための拡大表示対象情報を生成する生成部と、前記拡大表示対象情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択する選択部と、前記動画を、前記拡大表示対象が含まれる領域を拡大して表示させる表示制御部と、を備えている。

【0081】

本発明の態様６に係る撮像表示システムは、撮像装置と、表示制御装置とを備え、前記撮像装置が、動画を撮像する撮像部と、前記動画から、当該動画に含まれる被写体および当該被写体の各々に関する情報を抽出する抽出部と、前記動画に含まれる被写体の各々に関する情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択するための拡大表示対象情報を生成する生成部と、を備え、前記表示制御装置が、前記拡大表示対象情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択する選択部と、前記動画を、前記拡大表示対象が含まれる領域を拡大して表示させる表示制御部と、を備えている。

【0082】

本発明の態様７に係る撮像表示制御方法は、撮像装置および表示装置を制御する撮像表示制御方法であって、前記撮像装置が撮像した動画から、当該動画に含まれる被写体および当該被写体の各々に関する情報を抽出する抽出ステップと、前記動画に含まれる被写体の各々に関する情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択するための拡大表示対象情報を生成する生成ステップと、前記拡大表示対象情報を参照して、前記動画に含まれる被写体から拡大表示対象を選択する選択ステップと、前記動画を、前記拡大表示対象が含まれる領域を拡大して表示させる表示制御ステップと、を含んでいる。

【0083】

本発明の各態様に係る撮像表示制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記撮像表示制御装置が備える各部（ソフトウェア要素）として動作させることにより上記撮像表示制御装置をコンピュータにて実現させる撮像表示制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【0084】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0085】

１ 撮像装置
２ 記憶装置
３ 表示制御装置
４ 表示装置
１１ 撮像部
２２ ズーム領域情報（拡大表示対象情報）
３１ 表示制御部
３５ 選択部
５１ 動画
１００ 撮像表示システム
１６１ 生成部
１６２ 抽出部
２００ 撮像表示装置（電子機器）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】