(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023075024
(43)【公開日】2023-05-30
(54)【発明の名称】撮像装置および情報提示システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230523BHJP
H04N 23/63 20230101ALI20230523BHJP
G03B 17/18 20210101ALI20230523BHJP
【FI】
H04N5/232 220
H04N5/232 930
G03B17/18 Z
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022137165
(22)【出願日】2022-08-30
(31)【優先権主張番号】P 2021188116
(32)【優先日】2021-11-18
(33)【優先権主張国・地域又は機関】JP
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100199314
【弁理士】
【氏名又は名称】竹内 寛
(72)【発明者】
【氏名】山崎 隆朗
(72)【発明者】
【氏名】山本 真一
(72)【発明者】
【氏名】大須賀 恭輔
(72)【発明者】
【氏名】鈴木 悠一
(72)【発明者】
【氏名】瀬戸 聡
【テーマコード(参考)】
2H102
5C122
【Fターム(参考)】
2H102BB06
2H102BB08
2H102BB22
2H102CA03
2H102CA34
5C122EA48
5C122FH11
5C122FH18
5C122FK34
5C122FK37
5C122FK41
5C122GC53
5C122HA79
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
【課題】既存の動画を再現することが望まれる動画撮影を行い易くすることができる撮像装置を提供する。
【解決手段】撮像装置(100)は、撮像部(140)と、出力部(220)と、制御部(180)とを備える。撮像部は、被写体像を撮像して画像データを生成する。出力部は、ユーザに対する情報を出力する。制御部は、第1の動画に関する情報が記録された記録データと撮像部によって生成される画像データに基づき、出力部を制御する。制御部は、撮像部による第2の動画の撮影中に、第2の動画を前記第1の動画に合わせるように前記ユーザを補助する撮影補助情報を、出力部に出力させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被写体像を撮像して画像データを生成する撮像部と、
ユーザに対する情報を出力する出力部と、
第1の動画に関する情報が記録された記録データと前記撮像部によって生成される画像データに基づき、前記出力部を制御する制御部とを備え、
前記制御部は、前記撮像部による第2の動画の撮影中に、前記第2の動画を前記第1の動画に合わせるように前記ユーザを補助する撮影補助情報を、前記出力部に出力させる
撮像装置。
【請求項2】
前記制御部は、前記記録データに基づいて、前記第2の動画の撮影中に前記第1の動画を再生するように前記撮影補助情報を前記出力部に出力させる
請求項1に記載の撮像装置。
【請求項3】
前記出力部は、前記第2の動画を表示する表示部と、前記表示部に接続する接続部とのうちの少なくとも一方を含み、
前記撮影補助情報は、前記第1の動画と前記第2の動画とを重ね合せた状態において前記第1の動画を再生表示する
請求項2に記載の撮像装置。
【請求項4】
前記撮影補助情報は、前記第1の動画を、線画の動画像として前記第2の動画に重ね合わせて再生表示する
請求項3に記載の撮像装置。
【請求項5】
前記第2の動画が撮影される撮影状態を検出する検出部をさらに備え、
前記撮影補助情報は、前記第1の動画の再生中に前記検出部によって検出された撮影状態に応じて、前記第1の動画の撮影状態と前記第2の動画の撮影状態との差異を低減する指示を示す第1の通知を含む
請求項2に記載の撮像装置。
【請求項6】
前記撮影補助情報は、前記第1の動画において再生中の時点以後に前記第1の動画の撮影状態が変化する告知を示す第2の通知を含む
請求項2に記載の撮像装置。
【請求項7】
前記第2の通知は、前記撮影補助情報において前記第1の動画の撮影状態が変化する時点から所定期間だけ前の時点において前記告知を示す
請求項6に記載の撮像装置。
【請求項8】
前記制御部は、前記第1の動画における複数のフレームの中から、前記第1の動画の再生表示を開始するフレームを選択する
請求項2に記載の撮像装置。
【請求項9】
前記制御部は、前記第1の動画の撮影状態を復元するように前記撮像装置を設定して、前記第2の動画の撮影を実行する
請求項1に記載の撮像装置。
【請求項10】
前記記録データは、前記第1の動画が撮影された撮影状態と、前記第1の動画とを関連付けて記録する
請求項1に記載の撮像装置。
【請求項11】
前記出力部は、前記撮影補助情報が前記第2の動画の撮影中の前記シーンに重畳して前記ユーザに視認されるように、前記撮影補助情報を出力する
請求項1に記載の撮像装置。
【請求項12】
前記制御部は、前記第2の動画の撮影中に、前記撮影補助情報として、前記第1の動画において実行された1つ又は複数の行動を前記ユーザに実行させる1つ又は複数の指示を、前記出力部に出力させる
請求項1に記載の撮像装置。
【請求項13】
前記撮影補助情報は、前記第1の動画において順次、実行された第1及び第2の行動を前記ユーザに実行させる第1及び第2の指示を含み、
前記制御部は、
前記出力部から前記第1の指示が出力されてから、前記ユーザにより前記第1の行動が実行されたか否かを検知し、
前記第1の行動が実行されたことが検知されてから、前記第2の指示を前記出力部に出力させる
請求項12に記載の撮像装置。
【請求項14】
請求項1に記載の撮像装置と、
前記撮像装置の出力部から出力される前記撮影補助情報を前記ユーザに提示する情報提示装置と
を備える情報提示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動画等の撮影を行う撮像装置および情報提示システムに関する。
【背景技術】
【0002】
従来、静止画撮影において、過去の撮影結果と同じ構図などを再現するために、スルー画像に過去の撮影結果に関する静止画像を重畳して表示する技術が知られている(例えば特許文献1,2)。
【0003】
特許文献1は、以前撮影した場所を再度撮影する定点撮影を行う定点撮影を容易に行なうための電子カメラ及び定点撮影方法を開示する。特許文献1の電子カメラは、前回の定点撮影時の撮影画像を構図化処理して構図画像とし、今回の定点撮影時にスルー画像と重畳表示して位置合わせを行うと共に、前回の撮影画像の撮影条件を今回の撮影条件として設定して定点撮影を行う。
【0004】
特許文献2は、基準画像とスルー画像とを合成してユーザに提示する電子カメラについて、複数の画像からユーザの意図する基準画像を容易に選択できる技術を開示する。特許文献2の電子カメラは、記録媒体に記録された撮影画像のデータのうちから、所定の検索条件に合致する基準画像のデータを抽出して、撮像部が非レリーズ時に生成したスルー画像と、当該基準画像とを重畳させて合成画像を表示する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002-094854号公報
【特許文献2】特開2008-153998号公報
【特許文献3】特開2022-081342号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、既存の動画を再現することが望まれる動画撮影を行い易くすることができる撮像装置及び情報提示システムを提供する。
【課題を解決するための手段】
【0007】
本開示において、撮像装置は、撮像部と、出力部と、制御部とを備える。撮像部は、被写体像を撮像して画像データを生成する。出力部は、ユーザに対する情報を出力する。制御部は、第1の動画に関する情報が記録された記録データと撮像部によって生成される画像データに基づき、出力部を制御する。制御部は、撮像部による第2の動画の撮影中に、第2の動画を前記第1の動画に合わせるように前記ユーザを補助する撮影補助情報を、出力部に出力させる。
【0008】
本開示において、情報提供システムは、上記の撮像装置と、撮像装置の出力部から出力される撮影補助情報をユーザに提示する情報提示装置とを備える。
【発明の効果】
【0009】
本開示における撮像装置及び情報提示システムによると、既存の動画を再現することが望まれる動画撮影を行い易くすることができる。
【図面の簡単な説明】
【0010】
【
図1】本開示の実施形態1に係るデジタルカメラの構成を示す図
【
図2】実施形態1のデジタルカメラの動作の概要を説明するための図
【
図3】デジタルカメラにおける基準動画と準備処理を説明するための図
【
図4】デジタルカメラにおける撮影情報を例示する図
【
図5】実施形態1のデジタルカメラにおける基準動画の準備処理を説明するためのフローチャート
【
図6】デジタルカメラにおける再現動画の撮影動作を説明するためのフローチャート
【
図7】デジタルカメラにおける再現動画の撮影動作の表示例を示す図
【
図8】実施形態1のデジタルカメラにおける再現動画のフレーム処理を説明するためのフローチャート
【
図9】実施形態1のデジタルカメラにおけるサポート情報の表示例を示す図
【
図10】実施形態2のデジタルカメラにおける予告情報の表示例を示す図
【
図11】実施形態2のデジタルカメラにおける基準動画の準備処理を説明するためのフローチャート
【
図12】実施形態2のデジタルカメラにおける再現動画のフレーム処理を説明するためのフローチャート
【
図13】実施形態3に係るスマートグラスの外観を例示する図
【
図14】実施形態3に係るスマートグラスの構成を例示する図
【
図15】実施形態3に係るスマートグラスの動作を説明するための図
【
図16】実施形態4に係る映像制作システムを例示する図
【
図17】実施形態4における映像制作システムの動作を例示するシーケンス図
【
図18】実施形態4の映像制作システムにおける指示リストのデータ構造を例示する図
【
図19】第1の変形例におけるシステム構成を例示する図
【
図20】第2の変形例におけるシステム構成を例示する図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0012】
(実施形態1)
実施形態1では、本開示に係る撮像装置の一例としてのデジタルカメラについて説明する。
【0013】
1.構成
実施形態1に係るデジタルカメラの構成について、
図1を用いて説明する。
【0014】
図1は、本実施形態に係るデジタルカメラ100の構成を示す図である。本実施形態のデジタルカメラ100は、光学系110と、レンズ駆動部120と、イメージセンサ140とを備える。さらに、デジタルカメラ100は、画像処理部160と、バッファメモリ170と、制御部180と、操作部210と、表示モニタ150と、加速度センサ230と、ジャイロセンサ250とを備える。さらに、デジタルカメラ100は、フラッシュメモリ240と、カードスロット190と、通信モジュール260と、マイク270と、スピーカ280とを備える。
【0015】
光学系110は、ズームレンズ及びフォーカスレンズ等を含む。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズは、イメージセンサ140上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズ及びフォーカスレンズは、1枚又は複数枚のレンズで構成される。
【0016】
レンズ駆動部120は、フォーカスレンズ等の光学系110の各種レンズをそれぞれ駆動するための構成を含む。例えば、レンズ駆動部120はモータを含み、制御部180の制御に基づいてフォーカスレンズを光学系110の光軸に沿って移動させる。レンズ駆動部120においてフォーカスレンズを駆動する構成は、DCモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
【0017】
イメージセンサ140は、光学系110を介して入射される被写体像を撮像して画像データを生成する。イメージセンサ140により生成された画像データは、画像処理部160に入力される。
【0018】
イメージセンサ140は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。イメージセンサ140における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部180によって制御される。イメージセンサ140は、CMOSイメージセンサ、CCDイメージセンサ、またはNMOSイメージセンサなど、種々のイメージセンサを用いることができる。
【0019】
イメージセンサ140は、動画像や静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが構図を決めるために表示モニタ150に表示される。イメージセンサ140は、本実施形態における撮像部の一例である。
【0020】
画像処理部160は、イメージセンサ140から出力された画像信号に対して所定の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ150に表示するための画像を生成したりする。所定の処理としては、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理部160は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。
【0021】
バッファメモリ170は、画像処理部160や制御部180のワークメモリとして機能する記録媒体である。バッファメモリ170は、DRAM(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ240は不揮発性の記録媒体である。各メモリ170,240は、それぞれ本実施形態における記憶部の一例である。
【0022】
制御部180は、デジタルカメラ100全体の動作を制御する。制御部180は、制御動作や画像処理動作の際に、バッファメモリ170をワークメモリとして使用する。
【0023】
制御部180はCPUまたはMPUを含み、CPUまたはMPUがプログラム(ソフトウェア)を実行することで所定の機能を実現する。制御部180は、CPU等に代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部180は、CPU、MPU、GPU、DSU、FPGA、ASIC等の種々のプロセッサで実現できる。制御部180は1つまたは複数のプロセッサで構成してもよい。
【0024】
カードスロット190は、メモリカード200を装着可能であり、制御部180からの制御に基づいてメモリカード200に対してアクセスをする。デジタルカメラ100は、メモリカード200に画像データを記録したり、メモリカード200から記録した画像データを読み出したりすることができる。
【0025】
操作部210は、ユーザからの操作(指示)を受け付ける操作部材の総称である。操作部210は、ユーザ操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含み、例えば動画記録ボタン及びファンクションボタンなどを含む。また、操作部210は、表示モニタ150等に表示される仮想的なボタンやアイコンも含んでもよい。
【0026】
表示モニタ150は、種々の情報を表示する表示部の一例(ひいては出力部の一例)である。例えば、表示モニタ150は、イメージセンサ140で撮像され、画像処理部160で画像処理された画像データが示す画像(スルー画像)を表示する。また、表示モニタ150は、ユーザがデジタルカメラ100に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ150は、例えば、液晶ディスプレイデバイスまたは有機ELデバイスで構成できる。
【0027】
加速度センサ230は、例えば互いに直交する3軸方向のうちの1つ以上の加速度すなわち単位時間当たりの速度変化を検出して、検出結果を示す加速度情報を制御部180に出力する。加速度センサ230は、本実施形態における検出部の一例である。
【0028】
ジャイロセンサ250は、デジタルカメラ100において、例えばヨー方向、ピッチ方向及びロール方向のうちの1つ以上の角速度すなわち単位時間あたりの角度変化を検出して、検出結果を示すジャイロ情報を制御部180に出力する。ジャイロセンサ250は、本実施形態における検出部の一例である。
【0029】
通信モジュール260は、通信規格IEEE802.11またはWi-Fi、Bluetooth等の規格に準拠した通信を行うモジュール(回路)である。デジタルカメラ100は、通信モジュール260を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール260は、インターネット等の通信ネットワークに接続可能であってもよい。又、デジタルカメラ100は、GPS衛星等から受信する情報に基づき測位を行う測位部(検出部の一例)をさらに備えてもよい。通信モジュール260は、種々の外部機器に通信接続する接続部の一例(ひいては出力部の一例)である。
【0030】
マイク270は、例えばデジタルカメラ100に内蔵された1つ以上のマイクロホン素子を含み、デジタルカメラ100の外部の音声を収音する検出部の一例である。マイク270は、収音した音声を示す音声信号を制御部180に出力する。デジタルカメラ100では、外付けのマイクが用いられてもよい。デジタルカメラ100は、内蔵のマイク270に代えて又はこれに加えて、外付けのマイクに接続する端子等の接続部を検出部として備えてもよい。
【0031】
スピーカ280は、例えばデジタルカメラ100に内蔵された1つ以上のスピーカ素子を含み、制御部180からの制御によりデジタルカメラ100の外部に音声を出力する出力部の一例である。デジタルカメラ100では、外付けのスピーカ又はイヤホン等が用いられてもよい。デジタルカメラ100は、内蔵のスピーカ280に代えて又はこれに加えて、外付けのスピーカ等に接続する接続部を出力部として備えてもよい。
【0032】
2.動作
以上のように構成されるデジタルカメラ100の動作について以下説明する。
【0033】
本実施形態のデジタルカメラ100は、撮影者が、以前に撮影された動画と同じ撮影の仕方を再現するように動画(以下「再現動画」という)を撮影することをアシストする機能、すなわち再現動画の撮影機能を提供する。
【0034】
図2は、本実施形態のデジタルカメラ100の動作の概要を説明するための図である。
図2(A)は、再現動画の撮影機能における基準動画M1を例示する。基準動画M1は、再現動画の撮影機能において再現の基準となる既存の動画である。
図2(B)は、
図2(A)の基準動画M1に対する再現動画M2を例示する。基準動画M1及び再現動画M2は、それぞれ本実施形態における第1及び第2の動画の一例である。
【0035】
図2(A)の基準動画M1は、撮影者が、街並みを前方に移動しながら撮影した場合を例示する。
図2(B)の再現動画M2は、
図2(A)の撮影時よりも人通りが増えた日時に、同じ街並みを撮影した場合を例示する。こうした2つの動画M1,M2を比較することで、同じ場所における様子の変化を可視化できる。
【0036】
再現動画の撮影機能は、例えば
図2(A),(B)に示すように、別々の日時に同じ場所を移動しながら撮影された2つの動画M1,M2の比較映像を編集する場合に適用できる。こうした場合に、撮影者は、1回目の撮影時における目測や感覚に頼って2回目の撮影時に移動速度を再現しようとしても、前回と同じ画角或いはフレーミングで動画撮影を続けることが難しい事態が懸念される。
【0037】
また、再現動画の撮影機能の適用例は、上記のような比較映像に限らず、例えば観光案内、商品紹介、或いは映画制作といった各種の用途を挙げられる。例えばeコマース又はライブコマース等の商品紹介の動画において、動画撮影中にどのようなカメラワークを行うか等のシナリオが、予め決められている場合が想定される。例えば撮影者が主要な被写体の周りを動いて撮影するようなカメラワークを再現したい場合にも、撮影者の記憶や感覚に頼るのみでは、前回と同じ動きを再現する動画撮影は実現し難い事態が懸念される。
【0038】
そこで、本実施形態のデジタルカメラ100は、再現動画の撮影機能において、再現動画M2の撮影中のライブビュー画面上で、撮影者が再現したい基準動画M1が順次再生される重畳表示を行う。これにより、撮影者が再現動画M2の撮影中にリアルタイムに基準動画M1を確認でき、同じカメラワークを再現し易くできる。例えば
図2(A),(B)の例において、再現動画M2が基準動画M1を再現する精度を良くして、比較映像を編集するワークフローを効率化することができる。
【0039】
又、本実施形態のデジタルカメラ100は、上記のような動画の重畳に加えて、撮影者が前回の動画と同じ撮影の仕方を再現するために有用な情報を、再現動画の撮影中に提示する。以下、本実施形態のデジタルカメラ100の動作の詳細を説明する。
【0040】
2-1.基準動画と事前準備について
本実施形態のデジタルカメラ100において、再現動画M2の撮影を開始する前に基準動画M1を準備する動作について、
図3~5を用いて説明する。
【0041】
図3は、デジタルカメラ100における基準動画M1と準備処理を説明するための図である。
図3(A)は、基準動画M1が撮影された動画データすなわち基準動画データD1を例示する。
図3(B)は、後述する準備処理の処理済みの基準動画データD10を例示する。各基準動画データD1,D10は、それぞれ本実施形態における基準動画M1の記録データの一例である。
【0042】
本実施形態のデジタルカメラ100は、例えば撮影者が基準動画M1を撮影する際に採用された設定及び移動状態など各種の撮影状態を保存するように基準動画データD1の撮影記録を行う。例えば、基準動画データD1は、
図3(A)に示すように複数のフレーム画像F1と撮影情報H1とを含む。
【0043】
基準動画データD1における複数のフレーム画像F1は、基準動画M1として順次撮像された一連の画像データに対応する複数のフレームをそれぞれ示す。デジタルカメラ100は、例えば、予め設定されたフレームレートにおいてMP4形式等の所定形式のエンコードにより基準動画データD1を生成して、メモリカード200等に記録する。
【0044】
撮影情報H1は、基準動画M1が撮影された際に保存した各種の撮影状態を管理する。
図4に、撮影情報H1において管理される項目を例示する。本実施形態において、基準動画M1の撮影情報H1は、再現動画M2の撮影時にデジタルカメラ100が自動的に設定を復元したり、撮影者に移動状態を再現させたりするために用いられる。
【0045】
基準動画データD1において、撮影情報H1は、例えば動画データのヘッダ部などにメタ情報として格納される。撮影情報H1の一部又は全体は、フレーム毎などのタイミング情報と関連付けて格納される。これにより、例えば基準動画M1において加速度情報又はジャイロ情報など刻々と変化した撮影状態を、再現動画M2の撮影時に参照可能にすることができる。
【0046】
本実施形態のデジタルカメラ100は、以上のように記録された基準動画データD1(
図3(A))から、例えば
図3(B)に示すように、再現動画M2の撮影時における重畳表示を行い易くするための処理を施した基準動画データD10を準備する。こうした処理の一例を、
図5を用いて説明する。
【0047】
図5は、本実施形態のデジタルカメラ100における基準動画の準備処理を説明するためのフローチャートである。
図5のフローチャートに例示する処理は、例えばユーザ操作により、撮影記録された基準動画データD1(
図3(A))が指定された状態で開始される。本フローの各処理は、例えばデジタルカメラ100の制御部180が画像処理部160等を制御することにより実行される。
【0048】
まず、制御部180は、例えばメモリカード200に格納された基準動画データD1(
図3(A))において始端から順次、フレーム画像F1をバッファメモリ170に読み出す(S11)。
【0049】
制御部180は、例えば読み出されるフレーム画像F1毎に、読み出し元の基準動画データD1からデータ量を削減する処理を行う(S12)。例えば、制御部180は、元の基準動画データD1からフレームレートを低下させて、フレーム単位で間引くことによってデータ量を削減する(
図3(A),(B)参照)。また、ステップS12において制御部180は、元の基準動画データD1からフレーム画像F1の解像度を低下させて、リサイズ画像を生成してもよい。
【0050】
また、制御部180は、例えば読み出したフレーム画像F1に線画化処理を行う(S13)。線画化処理(S13)では、例えば
図3(A),(B)に示すように、元の基準動画データD1におけるフレーム画像F1からエッジを抽出して、抽出したエッジを示す線画のフレーム画像F10を生成する。線画のフレーム画像F10は、例えば、予め設定された色属性で線画の部分を示し、線画がない空白部分は透明の色属性で示す。なお、ステップS12,S13等の処理順は、特に図示した順番に限定されない。
【0051】
さらに、制御部180は、元の基準動画データD1における撮影情報H1に基づいて、ステップS12,S13の処理済みのフレーム画像F10に対応する撮影情報H10を管理する(S14)。例えば、制御部180は、元の基準動画データD1における撮影情報H1を参照して、
図4の2列目「設定復元」に丸印等がある項目の撮影状態を撮影情報H10に引き継いだり、3列目「事前解析」に丸印がある項目の撮影状態を解析したりする。
【0052】
制御部180は、例えば元の基準動画データD1における終端のフレーム画像F1が読み出されたか否かを判断する(S15)。制御部180は、基準動画M1の終端に到るまで、フレーム画像F1毎にステップS11以降の処理を順次、行う(S15でNO)。
【0053】
制御部180は、基準動画M1の終端までの処理が完了すると(S15でYES)、処理済みの基準動画データD10を保存する(S16)。例えば、制御部180は、メモリカード200において元の基準動画データD1と関連付けて、当該基準動画データD1を書き出す。当該基準動画データD1は、特にメモリカード200に書き出されずバッファメモリ170に保持されてもよい。
【0054】
以上の処理によると、再現動画M2の撮影時に基準動画M1の再生表示を行う処理負荷を低減可能な処理済みの基準動画データD10が、再現動画M2の撮影前に得られる。こうした処理済みの基準動画データD10により、例えばバッファメモリ170において基準動画M1の再生処理に費やすデータ負荷を低減し、再現動画M2を撮影するためのデータ容量を確保し易くできる。
【0055】
以上のような基準動画の準備処理(
図5)は、基準動画M1の撮影後に自動的に行われてもよい。また、デジタルカメラ100の外部装置において実行されてもよく、外部装置から処理済みの基準動画データD10は適宜、外部入力によりデジタルカメラ100に格納されてもよい。
【0056】
2-2.再現動画の撮影動作
本実施形態のデジタルカメラ100において、以上のように事前準備された基準動画データD10を用いて再現動画M2を撮影する際の動作について、
図6~7を用いて説明する。
【0057】
図6は、デジタルカメラ100における再現動画の撮影動作を説明するためのフローチャートである。
図7は、再現動画の撮影動作の表示例を示す。
図6のフローチャートに示す各処理は、例えばユーザ所望の基準動画データD10が保存された状態で開始され、デジタルカメラ100の制御部180によって実行される。
【0058】
まず、デジタルカメラ100の制御部180は、例えば表示モニタ150にライブビュー画面を表示させる(S21)。ライブビュー画面は、デジタルカメラ100においてイメージセンサ140がリアルタイムに撮像するスルー画像を順次、含む。
【0059】
制御部180は、例えば上記のようなライブビュー表示中に、デジタルカメラ100の操作部210において、再現動画の撮影機能をON(有効)するための所定のユーザ操作が入力されたか否かを判断する(S22)。ステップS22の対象とするユーザ操作は、例えば、再現動画の撮影機能が予め割り当てられたファンクションボタンの押下操作である。当該機能のON操作は特に限定されず、例えば所定のアイコンのタッチ操作、或いは設定メニューの操作などであってもよい。
【0060】
再現動画の撮影機能のON操作が入力された場合(S22でYES)、制御部180は、例えば処理済みの基準動画データD10を参照して、基準動画M1における複数のフレーム画像の中から、再現動画M2の撮影開始時に用いるフレーム画像を自動選択する(S23)。例えば、制御部180は、基準動画M1における複数のフレーム画像と、スルー画像等の現在の撮像画像とを比較して各フレーム画像の類似度を検出し、最も高い類似度を有するフレーム画像を選択する。
【0061】
また、制御部180は、例えば基準動画データD10における撮影情報H10に基づいて、デジタルカメラ100の各種設定を、基準動画M1の撮影時の状態に復元する(S24)。ステップS24において復元可能なデジタルカメラ100の各種設定を
図4に例示する。
【0062】
図4の表において2列目「設定復元」に丸印が付された項目は、ステップS24で設定復元が可能である。また、三角印が付された項目も、手動操作でなく電子制御で実施されていた場合は復元可能である。一方、同列が空欄であっても4列目「リアルタイム」に丸印が付された項目は、撮影者がカメラワークを適切に行うことにより再現可能と考えられる。本実施形態では、こうした再現を行い易くする情報提示も行う(詳細は後述)。
【0063】
また、制御部180は、表示モニタ150のライブビュー画面において、ステップS23で選択したフレーム画像とスルー画像とを重ね合わせるオーバレイ表示を実行させる(S25)。ステップS25の表示例を
図7に例示する。
【0064】
例えば、ステップS25において、制御部180は、スルー画像のレイヤーの上層に、基準動画M1のフレーム画像F10(
図3(B))のレイヤーを設けて、線画における空白の部分は透明としてライブビュー画像を透過させるといった合成画像を画像処理部160に生成させる。ステップS25におけるオーバレイ表示(
図7)は、例えば動画のスルー画像に対して選択されたフレームの静止画を重畳するように行われる。このとき、基準動画M1の再生処理は、選択されたフレームで一時停止した状態と言える。
【0065】
制御部180は、例えば上記のようなオーバレイ表示の状態において、動画撮影の開始が指示されたか否かを判断する(S26)。例えば、制御部180は、操作部210における動画記録ボタンの押下などのユーザ操作を検知する。制御部180は、動画撮影の開始が指示されていないと判断すると(S26でNO)、例えばステップS25に戻る。
【0066】
制御部180は、動画撮影の開始が指示されたとき(S26でYES)、表示モニタ150においてオーバレイ表示されたフレーム画像から基準動画データD1の再生表示を開始して、再現動画M2をフレーム毎に撮影する処理を実行する(S27)。再現動画のフレーム処理(S27)では、例えばフレーム毎に撮影中の再現動画M2を示す動画データを記録しながら、再現動画M2が基準動画M1を再現し易くするための情報表示が行われる。ステップS27の処理の詳細は後述する。
【0067】
制御部180は、例えば上記のような再現動画のフレーム処理(S27)を、所定のフレーム期間毎に行いながら、動画撮影の終了が指示されたか否かを判断する(S28)。例えば、制御部180は、動画記録ボタンの押下などのユーザ操作を検知する。又、所定のフレーム期間は、例えば基準動画データD10のフレームレートに対応する期間である。
【0068】
制御部180は、例えば動画撮影の終了が指示されていないと判断すると(S28でNO)、再現動画のフレーム処理(S27)を繰り返す。これにより、再現動画M2の撮影中に、フレーム毎の基準動画M1がオーバレイ表示で順次、再生表示される。
【0069】
制御部180は、例えば動画撮影の終了が指示されたとき(S28でYES)、再現動画M2の動画データの撮影記録および基準動画M1の再生表示を停止して(S29)、本フローに示す処理を終了する。
【0070】
以上の再現動画の撮影動作によると、再現動画M2において再現することが望まれる基準動画M1が、再現動画M2の撮影中にスルー画像に重畳して再生表示される(S27)。これにより、撮影者は再現動画M2の撮影中にリアルタイムに基準動画M1の撮影の仕方や、撮影中の再現動画M2に対する差分を確認することができ、再現動画M2を撮影し易くすることができる。
【0071】
以上の説明では、ステップS23において基準動画M1の再生開始のフレーム画像が選択される一例を説明した。基準動画M1の再生開始のフレーム選択(S23)は、上記の例に限らず、例えばGPS情報を用いてもよい。例えば、制御部180は、基準動画データD10の撮影情報H10におけるGPS情報と現在のGPS情報とを比較して、より現在地に近いフレーム画像を再生開始フレームの候補として抽出してもよい。又、再生開始フレームは、基準動画M1における最初のフレームなど所定のフレームであってもよいし、ユーザ操作により選択されてもよい。或いは、制御部180は、動画撮影の開始前(S26でNO)に、再生開始のフレームの自動選択を繰り返し実行してもよい。
【0072】
上記のステップS24では、再現動画M2の撮影開始前に、基準動画M1の設定を復元する例を説明した。基準動画M1の撮影中に変更された設定がある場合、デジタルカメラ100は、こうした基準動画M1の設定変更を復元してもよい。即ち、制御部180は、再現動画M2の撮影中に、基準動画M1と同様の設定の変更を実行してもよい。
【0073】
2-2-1.再現動画のフレーム処理
図6のステップS27における再現動画のフレーム処理について、
図8~9を用いて説明する。
【0074】
図8は、本実施形態のデジタルカメラ100における再現動画のフレーム処理(
図6のS27)を説明するためのフローチャートである。
図9は、デジタルカメラ100におけるサポート情報の表示例を示す図である。
【0075】
まず、制御部180は、例えば処理済みの基準動画データD10において表示中のフレーム画像の次のフレーム画像を参照する(S31)。制御部180は、基準動画M1において当該フレーム画像のデコードなどの再生処理を行うように画像処理部160を制御する。又、制御部180は、こうした新たなフレーム画像に対応する撮影情報H10を取得する。
【0076】
制御部180は、新たなフレーム画像をスルー画像に重ね合わせる合成画像を、
図6のステップS25と同様に画像処理部160に生成させて、表示モニタ150におけるオーバレイ表示を更新する(S32)。こうして、再現動画M2の撮影中に基準動画M1が順次、再生表示されるオーバレイ表示は、本実施形態における撮影補助情報の一例である。
【0077】
また、本実施形態において、制御部180は、例えば現在の撮影状態の一例として加速度センサ230の検出結果に基づいて、デジタルカメラ100のカメラ移動速度を検出する(S33)。ステップS33は、デジタルカメラ100における現在の撮影状態を確認するための処理の一例である。カメラ移動速度の検出(S33)は、特に加速度センサ230の検出結果に限らず、例えばGPS情報などの位置情報の変化、或いはスルー画像における動きベクトル等の画像解析などによって行われてもよい。
【0078】
制御部180は、検出した現在のカメラ移動速度と、基準動画データD10の撮影情報H10におけるカメラ移動速度とに基づき、現在のカメラ移動速度が、基準動画M1において対応する時点のカメラ移動速度と比較して正確であるか否かを判断する(S34)。ステップS34の判断は、例えば、現在のカメラ移動速度と、基準動画データD1において対応するカメラ移動速度との間のズレが、許容誤差を示す所定範囲内であるか否かに応じて行われる。
【0079】
制御部180は、例えば現在のカメラ移動速度が正確でないと判断した場合(S34でNO)、現在のカメラ移動速度のズレに応じて、このズレを解消するための情報(即ちサポート情報)を表示モニタ150に表示させる(S35)。ステップS35における表示例を
図9に示す。
【0080】
図9では、現在のカメラ移動速度が、基準動画M1において対応するカメラ移動速度よりも遅い場合を例示する。この場合、制御部180は表示モニタ150において、カメラ移動速度をもっと速くすることを撮影者に促す内容を含むサポート情報L1を表示させる(S35)。一方、現在のカメラ移動速度が、基準動画M1の対応するカメラ移動速度よりも速い場合、制御部180は、サポート情報L1に、カメラ移動速度をもっと遅くすることを促す内容を含める。こうしたサポート情報L1は、本実施形態の撮影補助情報に含まれる第1の通知の一例である。
【0081】
一方、制御部180は、例えば現在のカメラ移動速度が正確であると判断した場合(S34でYES)、特にステップS35の処理を行わず、例えばステップS36に進む。
【0082】
制御部180は、例えば基準動画M1と同じフレームレートにおいてイメージセンサ140によって撮像された画像データに基づいて、撮影中の動画データをフレーム毎に順次、記録する(S36)。制御部180は、例えばカードスロット190を介してメモリカード200に、こうした再現動画M2の動画データを記録する。
【0083】
制御部180は、例えば動画データのフレーム記録(S36)により、再現動画のフレーム処理(
図6のS27)を終了して、ステップS28に進む。その後、特に動画撮影の終了が指示されていないとき(S28でNO)、制御部180は、ステップS31以降の処理を再び行う。
【0084】
以上の再現動画のフレーム処理(S27)によると、再現動画M2の撮影中に、基準動画データD10をフレーム毎に再生してオーバレイ表示が更新される(S31,S32)。これにより、例えば撮影者が再現したい基準動画M1の進行を逐次、可視化しながら、再現動画M2の撮影が行える。
【0085】
また、上記の例では、再現動画M2の撮影中のカメラ移動速度が、基準動画M1において対応するカメラ移動速度からずれると(S34でNO)、このズレに応じたサポート情報L1(
図9)を表示する(S35)。こうしたサポート情報L1の提示により、基準動画M1からの撮影状態のズレが生じた際に、撮影者がズレを修正するアシストを行うことができる。
【0086】
上記のステップS33,S34では、撮影者等のユーザに再現させる撮影状態の一例としてカメラ移動速度が検出されたが、カメラ移動速度に限らず種々の撮影状態が検出されてもよい。例えば、パンニングの撮影状態を再現させるために、デジタルカメラ100はジャイロセンサ250等によりパンニング速度を検出してもよい。また、ズーミング或いはフォーカシングの撮影状態を再現させるために、例えばレンズ駆動部120の駆動量やマニュアル操作による操作量が検出されてもよい。
【0087】
また、以上の説明では、基準動画M1のオーバレイ表示(S25,S32)が線画により行われる例を説明したが、オーバレイ表示は線図に限らない。例えば、デジタルカメラ100は、フレーム画像F1或いはスルー画像に透過率を持たせてオーバレイ表示を行ってもよい。この場合、画像処理部160は、スルー画像の上層における基準動画M1のフレーム画像F1からスルー画像が透過するように合成画像を生成してもよいし、逆順のレイヤーを用いてもよい。こうしたオーバレイ表示によっても、基準動画M1と再現動画M2との両方が同時に位置合わせして可視化される透過状態を得られる。
【0088】
また、以上の説明では、デジタルカメラ100において再現される基準動画M1が予め指定された場合の動作を説明したが、基準動画M1は指定されなくてもよい。例えば、デジタルカメラ100の制御部180は、
図6のステップS23に加えて又はこれに代えて、特許文献2のような公知の検索技術を適用して、複数の動画の中から基準動画M1を検索するようにしてもよい。又、基準動画の準備処理(
図5)は、基準動画M1の候補となる複数の動画データにそれぞれ行われてもよい。
【0089】
3.まとめ
以上のように、本実施形態における撮像装置の一例のデジタルカメラ100は、撮像部の一例のイメージセンサ140と、出力部の一例の表示モニタ150と、制御部180とを備える。イメージセンサ140は、被写体像を撮像して画像データを生成する。表示モニタ150は、ユーザに対する情報を表示により出力する。制御部180は、第1の動画の一例として基準動画M1に関する情報が記録された記録データの一例である基準動画データD10と、イメージセンサ140によって生成される画像データに基づき、表示モニタ150等の出力部を制御する。制御部180は、イメージセンサ140による第2の動画の撮影中に、第2の動画を第1の動画に合わせるようにユーザを補助する撮影補助情報の一例としてライブビュー画面における各種情報を表示モニタ150に出力させる。
【0090】
以上のデジタルカメラ100によると、撮影中の再現動画M2に基準動画M1合わせるようにユーザを補助する各種の撮影補助情報により、基準動画といった既存の動画を再現することが望まれる動画撮影を行い易くすることができる。
【0091】
本実施形態のデジタルカメラ100において、制御部180は、例えば基準動画データD10に基づいて、第2の動画の撮影中に第1の動画を再生するように撮影補助情報を表示モニタ150に表示させる(S27、
図7,9)。こうしたデジタルカメラ100によると、再現動画M2の撮影中に基準動画M1が再生表示される再生情報といった撮影補助情報により、基準動画といった既存の動画を再現することが望まれる動画撮影を行い易くすることができる。デジタルカメラ100は、基準動画データD10を保持する記憶部の一例のバッファメモリ170を備えてもよい。
【0092】
本実施形態のデジタルカメラ100において、出力部は、第2の動画を表示する表示モニタ150等の表示部と、こうした表示部に通信接続する接続部(例えば通信モジュール260)とのうちの少なくとも一方を含む。撮影補助情報は、例えば
図7に示すように、基準動画M1のフレーム画像と再現動画M2のスルー画像とを重ね合せた状態において基準動画M1を再生表示するオーバレイ表示を含む。これにより、撮影者などのユーザは、再現したい基準動画M1と撮影中の再現動画M2とを容易に見比べながら動画撮影を行え、再現動画M2の撮影をアシストし易い。
【0093】
本実施形態のデジタルカメラ100において、撮影補助情報は、基準動画M1を、線画のフレーム画像F10として再現動画M2のスルー画像に重ね合わせて再生表示する。これにより、基準動画M1の特徴部分と撮影中のスルー画像との両方をユーザにとって見易くでき、再現動画M2の撮影を行い易くできる。
【0094】
本実施形態において、デジタルカメラ100は、再現動画M2が撮影される撮影状態を検出する検出部の一例として各種センサ230,130等をさらに備える。撮影補助情報は、第1の動画の再生中に検出部によって検出された撮影状態に応じて、基準動画M1の撮影状態と再現動画M2の撮影状態との差異を低減する指示を示す第1の通知の一例であるサポート情報L1を含む(
図9参照)。こうしたサポート情報L1によると、再現動画M2の撮影中に基準動画M1から撮影状態がずれたときに、ズレを解消するアシストを行うことができる。
【0095】
本実施形態のデジタルカメラ100において、制御部180は、基準動画M1における複数のフレームの中から、基準動画M1の再生表示を開始するフレームを選択する(S23)。これにより、ユーザが再現動画M2を撮影する際に、基準動画M1の再生表示が適宜開始され、再現動画M2の撮影を行い易くすることができる。
【0096】
本実施形態のデジタルカメラ100において、制御部180は、基準動画M1の撮影状態を復元するようにデジタルカメラ100を設定して(S24)、再現動画M2の撮影を実行する(S25~S26)。これにより、再現動画M2の撮影状態の設定が基準動画M1と同様に復元され、再現動画M2において基準動画M1を再現し易くすることができる。
【0097】
本実施形態のデジタルカメラ100において、記録データの一例の基準動画データD10は、基準動画M1が撮影された撮影状態と、基準動画M1のフレーム画像F1とを関連付けて記録する。こうした記録データによると、基準動画M1の撮影状態を参照して、再現動画M2の撮影のアシストを行い易くできる。
【0098】
(実施形態2)
以下、本開示の実施形態2について、
図10~12を用いて説明する。実施形態1では、基準動画M1からの再現動画M2のズレを解消するためのサポート情報L1を提示する例を説明した。実施形態2では、基準動画M1における撮影状態の変化を予告する予告情報を提示するデジタルカメラ100について説明する。
【0099】
以下、実施形態1に係るデジタルカメラ100と同様の構成、動作の説明は適宜、省略して、本実施形態に係るデジタルカメラ100を説明する。
【0100】
図10は、実施形態2のデジタルカメラ100における予告情報の表示例を示す図である。
図10の例において、表示モニタ150は、制御部180の制御により、実施形態1と同様のオーバレイ表示に加えて、予告メッセージL20と、予告画像L21とを含む予告情報L2を表示している。
【0101】
予告メッセージL20は、表示中の基準動画M1において今後のカメラワーク等により生じる撮影状態の変化を通知するメッセージである。本例では、現在から5秒後に、特定の向きへのパンニングが生じることが通知されている。予告画像L21は、例えば上記予告メッセージL20に対応するカメラワーク後の構図をサムネイル画像として示す静止画である。予告画像L21は、動画であってもよい。予告情報L2は、予告メッセージL20と予告画像L21の何れか一方のみを含んでもよい。予告情報L2は、本実施形態の撮影補助情報における第2の通知の一例である。
【0102】
本実施形態のデジタルカメラ100によると、上記のように予告情報L2が表示されることで、例えば撮影者は、基準動画の撮影状態を再現するためには今後、カメラワークの変更を要することを把握することができる。これにより、例えば撮影者が、基準動画M1の撮影状態を再現することをアシストし易くできる。
【0103】
図11は、実施形態2のデジタルカメラ100における基準動画の準備処理を説明するためのフローチャートである。本実施形態において、例えばデジタルカメラ100の制御部180は、実施形態1の基準動画の準備処理と同様のステップS11~S16の処理を行うことに加えて、予告情報L2を準備する処理を行う(S17~S18)。
【0104】
例えば、制御部180は、基準動画M1の撮影情報H1を参照して、基準動画M1におけるフレーム画像F1毎に、構図が変化するような撮影状態の変化を検知する(S17)。例えば、制御部180は、パンニングの撮影状態について、撮影情報H1に格納されたジャイロ情報において角速度の変化があるか否かを判断する。
【0105】
構図の変化が検知された場合(S17でYES)、制御部180は、検知された構図の変化に応じた予告情報L2を生成する(S18)。例えば、制御部180は、構図の変化後のフレーム画像についてのサムネイル画像を、予告画像L21として生成する。また、制御部180は、例えば予告画像L21と共に、検知された構図変化に関する内容の予告メッセージL20を、検知された時点から所定期間だけ前のタイミング情報と関連付けて管理する。所定期間は、予告情報L2の提示時にユーザに準備させる時間を与える観点から、例えば5秒などの数秒に設定される。制御部180は、生成した予告情報L2を、処理済みの基準動画データD10において適宜タイミング情報と関連付けて格納する。
【0106】
本実施形態のデジタルカメラ100は、実施形態1の再現動画の撮影動作と同様のステップS21~29を行う際に、
図8のステップS27の処理の代わりに例えば以上のように準備された予告情報L2を用いて
図12の処理を行う。
【0107】
図12は、実施形態2のデジタルカメラ100における再現動画のフレーム処理を説明するためのフローチャートである。本実施形態において、デジタルカメラ100の制御部180は、実施形態1の再現動画のフレーム処理(
図8)と同様のステップS31~S36を行うことに加えて、予告情報L2を提示する処理を行う(S37~S38)。
【0108】
例えば、制御部180は、上記のように準備された予告情報L2に基づいて、オーバレイ表示で再生中の基準動画M1において構図の変化の予定があるか否かを判断する(S37)。例えば、制御部180は、処理済みの基準動画データD10において、表示中のフレーム画像F10のタイミング情報に関連付けられた予告情報L2があるか否かを判断する。
【0109】
制御部180は、再生中の基準動画M1において構図の変化の予定があると判断したとき(S37でYES)、例えば
図10に示すように、予告情報L2を表示させる(S38)。一方、制御部180は、再生中の基準動画M1において構図の変化の予定がないと判断したとき(S38でNO)、例えばステップS33に進む。
【0110】
以上のように、本実施形態のデジタルカメラ100において、撮影補助情報は、基準動画M1において再生中の時点以後に基準動画M1撮影状態が変化する告知を示す第2の通知の一例として予告情報L2を含む。こうした予告情報L2によると、再現動画M2の撮影中に基準動画M1の撮影状態の変化を予告して、再現動画M2における基準動画M1の再現を行い易くすることができる。
【0111】
本実施形態において、第2の通知の一例としての予告情報L2は、撮影補助情報において基準動画M1の撮影状態が変化する時点から所定期間だけ前の時点において上記の告知を示す。これにより、ユーザは、予告情報L2の提示時から所定期間の間に今後の撮影状態の変化に対して準備を行え、再現動画M2における基準動画M1の再現を行い易くすることができる。
【0112】
以上の説明では、予告情報L2を例示する対象としてパンニングの例を説明した。予告情報L2の対象は特にパンニングに限らず、例えばズーミング或いはフォーカシングなど種々の撮影状態の変化であってもよい。又、予告情報L2の提示は、特にパンニング等の構図の変化に限らず各種の撮影状態の変化について行われてもよい。この際、例えばステップS17の検知は必ずしも撮影情報H1を用いなくてもよく、例えば基準動画M1の画像解析によって行われてもよい。
【0113】
また、デジタルカメラ100は、基準動画M1において撮影状態の変化がある場合に選択的に、その撮影状態の変化についてサポート情報L1を提示するための処理(S33~S35)を行ってもよい。例えば、制御部180は、特に撮影状態の変化がないとき(S17でNO)、特にステップS33~S35を行わずにステップS36に進んでもよい。
【0114】
また、予告情報L2の生成は、特に基準動画の準備処理(
図11)の段階に限らない。例えば、制御部180は、再現動画M2の撮影動作中に、基準動画データD10において再生中のフレーム画像よりも将来のタイミングの撮影情報H10を参照して、予告情報L2を生成してもよい。或いは、基準動画データD10には基準動画M1の撮影状態が変化したタイミングと予告情報L2とを関連付けておき、制御部180がステップS37において再生中のフレーム画像よりも所定期間だけ将来のタイミングに関連付けられた予告情報L2を前もって参照するようにしてもよい。
【0115】
(実施形態3)
以下、本開示の実施形態3について、
図13~15を用いて説明する。実施形態1では、再現動画の撮影機能を提供する撮像装置の一例としてデジタルカメラ100を説明した。実施形態3では、こうした撮像装置の別例について、実施形態1,2と同様の構成、動作の説明は適宜省略して説明する。
【0116】
図13は、実施形態3に係るスマートグラス300の外観を例示する。本実施形態の撮像装置は、実施形態1のデジタルカメラ100の代わりに、例えば眼鏡型のウェアラブル端末であるスマートグラス300で構成される。スマートグラス300は、例えば
図13に示すように、装着したユーザ10の眼に対向配置される透光部材301を備える。本実施形態のスマートグラス300は、例えばユーザ10が透光部材301を介して視認するシーンと同様のシーンを撮像するように配置されたカメラ部30を備える。スマートグラス300におけるカメラ部30の個数は特に1個に限定されない。例えば、スマートグラス300は、複数個のカメラ部30により三次元画像を撮影するように構成されてもよい。
【0117】
図14は、本実施形態に係るスマートグラス300の構成を例示する。本実施形態のスマートグラス300は、例えばカメラ部30に加えて、画像処理部360、バッファメモリ370、制御部380、操作部410、表示部350、加速度センサ430、ジャイロセンサ450、フラッシュメモリ440、カードスロット390、通信モジュール460、マイク470、及びスピーカ480を備える。
【0118】
スマートグラス300は、例えばAR(拡張現実)又はMR(複合現実)等と呼ばれる表示方法において、装着したユーザ10の視界を遮らずその視界内に視認される虚像を、表示部350により表示させる。こうしたスマートグラス300は、例えばHoloLens等の透過型のディスプレイ、又はユーザ10の網膜に映像を投影する網膜投影型のディスプレイといった公知の表示方式によって構成できる(例えば特許文献3参照)。
【0119】
例えば、スマートグラス300の表示部350は、上記各種の表示方式の表示素子で構成され、ユーザ10に虚像を視認させるための光である映像光を生成する。以下では、表示部350からの映像光を、ハーフミラー等の光学素子を含む透光部材301を介してユーザ10の眼に導光して、実際のシーンに重畳するように虚像をユーザ10に視認させる透過型ディスプレイの例を説明する。ユーザ10は、当該ミラーの先にある仮想的なスクリーンを見ることで映像を認識することができる。
【0120】
スマートグラス300のカメラ部30は、例えば実施形態1のデジタルカメラ100の各部110,120,140と同様に構成される、光学系310とレンズ駆動部320とイメージセンサ340とを含む。スマートグラス300における他の各部360~480も、デジタルカメラ100において対応する各部160~280と同様に構成される。
【0121】
図15(A),(B)は、本実施形態のスマートグラス300の動作例を説明するための図である。
図15(A),(B)では、予め設定された目的地に向かう道案内の動画などを再現動画として撮影する際の、スマートグラス300における各種表示例を示す。
【0122】
本実施形態のスマートグラス300は、例えば装着したユーザ10が撮影者として、実施形態1,2のデジタルカメラ100と同様に再現動画を撮影する際に、表示部350において透光部材301を介して、種々の撮影補助情報をユーザ10に視認させる。例えば、本実施形態のスマートグラス300は、実施形態1,2と同様に、基準動画データを準備した上で、再現動画の撮影動作を行う。この際、スマートグラス300は、
図6のフローチャートと同様の動作において、ライブビュー表示(S21)等を省略できる。
【0123】
例えば
図15(A)に示すように、スマートグラス300は、表示部350において、透光部材301を介して基準動画の線図画像を表示させる。これにより、スマートグラス300のユーザ10は、透光部材301を介して視認する実際の撮影シーンに、線図を合わせるように自身の視界を動かすことによって容易に再現動画の精度を向上できる。こうした基準動画の表示は線図に限らず、例えば透かし表示であってもよい。
【0124】
また、
図15(B)の例において、本実施形態のスマートグラス300は、表示部350の透光部材301を介して、目的地までの道案内のための告知情報L3を表示させる。例えば、本実施形態のスマートグラス300は、実施形態2のデジタルカメラ100において撮影状態の変化についての予告情報を生成する動作と同様の動作を行うことにより、上記のような告知情報L3の提示を行える。こうして、ユーザ10が目的地まで迷わず向かうように誘導する等、多様な撮影のアシストを行える。
【0125】
以上のように、本実施形態のスマートグラス300は、例えば装着したユーザ10に各種の撮影補助情報を提示することにより、再現動画の撮影を行い易くできる。スマートグラス300は、基準動画の線図画像に加えて、撮影中のライブビュー画像を線図画像として重畳表示してもよい。例えば、各々の線図画像の色又は線種などを異ならせて、重畳表示が行われてもよい。これにより、ユーザ10が、二つの線図画像が合致するように行動することで再現動画の再現性を向上でき、再現動画の撮影を行い易くすることができる。
【0126】
本実施形態の撮像装置は、以上に説明したようなスマートグラス300に限らず、例えばコンタクトレンズ型のウェアラブル端末であるスマートコンタクトレンズなどであってもよい。本実施形態の出力部は、上記のような各種のウェアラブル端末等において、ユーザ10とシーンとの間に配置される透光部材301を介して各種の表示がシーンに重畳するようにユーザ10に視認させてもよい。
【0127】
以上のように、本実施形態のスマートグラス300等の撮像装置において、出力部の一例の表示部350は、第2の動画の撮影中のシーンがユーザ10により視認される透光部材301を介して、撮影補助情報がシーンに重畳してユーザ10に視認されるように、撮影補助情報を出力する。これにより、ユーザ10の視界に合わせて撮影補助情報を提示でき、ユーザ10による再現動画の撮影を補助することを行い易くすることができる。例えば、本実施形態の撮影補助情報は、過去の基準動画と現在のシーンとを重ね合せた状態において基準動画を線画の動画像として再生表示してもよい。なお、スマートグラス300は、透光部材301を介さずに撮影補助情報をユーザ10に視認させてもよく、例えば網膜投影型のディスプレイにより直接、撮影補助情報がユーザ10の網膜に投影されてもよい。
【0128】
(実施形態4)
以下、本開示の実施形態4について、
図16~18を用いて説明する。実施形態1~3では、再現動画の撮影機能を提供する撮像装置の例を説明した。実施形態4では、こうした機能を提供するシステムの一例について、実施形態1~3と同様の構成、動作の説明は適宜省略して説明する。
【0129】
図16は、本実施形態に係る映像制作システム400を例示する。本システム400は、例えば
図16に示すように、デジタルカメラ100とスマートグラス300とを含み、再現動画の撮影機能を提供する。例えば、本システム400は、デジタルカメラ100により再現動画の撮影を行う際に、スマートグラス300を装着したユーザ10が、再現動画の被写体として振る舞うことを補助するための情報提示を行う。本システム400は、本実施形態における情報提示システムの一例である。
【0130】
本システム400において、デジタルカメラ100とスマートグラス300とは、例えば近距離無線通信により各々の通信モジュール260,460を介してデータ通信可能に接続される。本システム400において、デジタルカメラ100は、ユーザ10とは別の撮影者により操作されてもよいし、固定配置されてもよい。本システム400におけるスマートグラス300は、本実施形態における情報提示装置の一例である。本システム400のスマートグラス300は、特にカメラ部30を備えなくてもよい。
【0131】
本システム400は、例えば撮影制御または映像編集のためにデジタルカメラ100等に通信接続するPC(パーソナルコンピュータ)などを更に備えてもよい。本システム400におけるデジタルカメラ100等は、撮影結果の動画データ等を外部の情報端末に送信可能に、インターネット等の通信ネットワークに接続してもよい。デジタルカメラ100に限らず、スマートカメラ300がデータ送信可能に通信ネットワークに接続してもよい。
【0132】
本システム400は、例えばライブコマース等において予めシナリオが決められた動画を撮影する用途に適用できる。例えば、こうした再現動画の模範となる者がシナリオに沿って行動する動画を基準動画として予め撮影して、実施形態1等と同様に基準動画データを用意しておく。こうした基準動画データを用いて、本システム400は、上記各実施形態と同様の再生動画の撮影動作を適宜、行うことができる。
【0133】
例えば、ユーザ10はライブ配信を実際に行う前に、基準動画を参考にして、自身の振る舞いを練習する場合が考えられる。そこで、本システム400は、こうした場合において上記各実施形態と同様に、基準動画とライブビュー画像との重畳画像を表示させる。これにより、ユーザ10が基準動画を再現するための練習を行い易くすることができる。重畳画像は、デジタルカメラ100又はスマートグラス300に表示されてもよいし、他の表示装置に表示されてもよい。
【0134】
また、本実施形態の映像制作システム400では、例えばライブ配信の動画撮影中に、ユーザ10が装着するスマートグラス300から、ユーザ10にシナリオに沿って行動させるための各種指示を含む撮影補助情報を提示する。こうした本システム400の動作について、
図17~18を用いて説明する。
図17は、本システム400の動作を例示するシーケンス図である。
【0135】
まず、例えばデジタルカメラ100の制御部180は、動画撮影を開始すると、その旨の通知をスマートグラス300に出力する(S41)。スマートグラス300の制御部380は、デジタルカメラ100から上記通知を受信すると、撮影開始を示す情報を表示部350に表示させる(S42)。また、本システム400は、例えばデジタルカメラ100によりステップS41に撮影開始した動画データを逐次、通信ネットワークを介して配信する。
【0136】
次に、例えばデジタルカメラ100の制御部180は、予め基準動画データにおいて準備されたリスト等を参照して、シナリオに沿った行動を指示する指示情報を生成し、通信モジュール460を介してスマートグラス300に出力する(S43)。
図18に、ステップS43における指示リストD15を例示する。
【0137】
指示リストD15は、例えば
図18に示すように、基準動画における時刻すなわち「基準時刻」の順番において、指示対象とする「行動」と、当該行動についての指示情報を示す「指示内容」とを互いに対応付けて記録する。こうした指示リストD15は、例えば実施形態2の予告情報と同様に、基準動画に基づき準備することができる。
【0138】
例えば上記のような指示リストD15に基づいて、デジタルカメラ100の制御部180は、基準時刻が早い順に1つの行動についての指示情報をスマートグラス300に出力する(S43)。スマートグラス300の制御部380は、デジタルカメラ100から指示情報を受信すると、受信した指示情報を表示部350に表示させる(S44)。例えばステップS44において、
図18の指示リストD15における1つ目の指示内容として、ユーザ10が商品の説明を行うために商品の特徴のメモが、スマートグラス300に表示される。
【0139】
次に、例えばデジタルカメラ100の制御部180は、例えばイメージセンサ140により逐次撮像される画像データに基づいて、出力した指示情報に対応する行動がユーザ10により実行されたか否かを検知する(S45)。例えば、あらかじめ指示リストD15に記録された各々の「行動」をそれぞれ検知するための画像特徴量などの判定基準を示す情報を、指示リストD15に関連付けて格納しておき、制御部180は、ステップS45において上記の判定基準に従う画像認識等を行う。ステップS45の処理は画像認識に限らず、例えばキーワード抽出などの音声認識であってもよい。
【0140】
制御部180は、対応する行動がユーザ10により実行されていないことを検知すると(S45でNO)、例えばフレーム周期などの所定周期後の画像データに基づき、ステップS45の検知を再び行う。こうして、ユーザ10が当該行動を行うまで、本システム400は次の行動の指示情報を出力せずに待機する。この間、指示情報の表示は継続されてもよいし、改めて通知されたり、強調されたりしてもよい。
【0141】
出力した指示情報に対応する行動がユーザ10により実行されたことを検知すると(S45でYES)、本システム400は、基準動画のシナリオにおける次の行動に関して、ステップS43~S45と同様の処理を行う(S46~S48)。こうしたステップS45の判断は、例えば、ユーザ10が当該行動を完了したときに「YES」となる。
【0142】
例えば、デジタルカメラ100の制御部180は、指示リストD15を参照して、次の行動についての指示情報を生成し、ステップS43と同様にスマートグラス300に出力する(S46)。スマートグラス300の制御部380は、新たに指示情報を受信すると、新たな指示情報に応じて表示を更新する(S47)。こうして、本システム400は、指示リストD15において早い順の行動がユーザ10に実行された後の適切なタイミングにおいて、次の指示情報をユーザ10に提示する。
【0143】
又、制御部180は、新たに指示した行動について、ステップS45と同様にユーザ10による実行の検知を行って(S48)、その後の指示情報を出力するか否か制御する。本システム400は、その後も指示リストD15に含まれる「行動」毎に上記と同様の処理を繰り返す。こうして、指示情報が順次、出力されてから、本システム400における再現動画の撮影動画は終了する。
【0144】
以上の処理によると、本システム400は、ユーザ10が指示リストD15にある行動を一つずつ行ってから、次の指示情報を表示する(S43~S48)。こうして、本システム400は、ユーザ10が撮影中の再現動画において、基準動画のシナリオに沿って振る舞い易くする情報提示を実現できる。
【0145】
以上の説明では、デジタルカメラ100の制御部180が、指示情報を生成したり、ユーザ10の行動実行を検知したりする例を説明したが(S43,S45,S46,S48)、本システム400は特にこれに限定されない。例えば、スマートグラス300の制御部380は、ステップS43,S45,S46,S48の一部又は全体の処理を行ってもよい。例えば、スマートグラス300の制御部380は、デジタルカメラ100から基準動画データ或いは撮影中の画像データなどを受信して上記の処理を行って、表示部350を出力部として制御してもよい。
【0146】
また、本システム400は、スマートグラス300のカメラ部30により撮影される画像データを利用してもよい。例えば、本システム400におけるライブ配信等の撮影動画が適時、スマートグラス300のカメラ部30の撮影結果を含んでもよい。これにより、上記の例において、ユーザ10が紹介中の商品などをユーザ10の目線で表示させること等ができる。又、スマートグラス300の制御部380は、デジタルカメラ100の動画撮影と同期してカメラ部30による動画撮影を制御したり、カメラ部30の撮影結果に基づきステップS45,S48の検知を行ったりしてもよい。こうした場合の基準動画データとしては、基準動画の撮影時に模範となる者がスマートグラス300を用いて撮影された結果を含めてもよい。
【0147】
以上のように、本実施形態における映像制作システム400は、デジタルカメラ100と、スマートグラス300とを含む情報提示装置の一例である。デジタルカメラ100は、撮像装置の一例である。スマートグラス300は、デジタルカメラ100の出力部の一例の通信モジュール260から出力される指示情報などの撮影補助情報をユーザ10に例示する情報提示装置の一例である。こうした本システム400によると、ユーザ10が再現したい動画の撮影を行い易くする情報提示を行うことができる。
【0148】
本実施形態において、制御部180は、再現動画(第2の動画)の撮影中に、撮影補助情報として、基準動画(第1の動画)において実行された1つ又は複数の行動をユーザ10に実行させる1つ又は複数の指示を、出力部に出力させる(
図17参照)。これにより、ユーザ10が基準動画のシナリオに沿った行動を行う動画撮影を行い易くすることができる。
【0149】
本実施形態において、撮影補助情報は、第1の動画において順次、実行された第1及び第2の行動をユーザに実行させる第1及び第2の指示を含む(
図18参照)。制御部180は、出力部から第1の指示が出力されてから、ユーザにより第1の行動が実行されたか否かを検知する(S43~S45)。制御部180は、第1の行動が実行されたことが検知されてから、第2の指示を出力部に出力させる(S45~S48)。これにより、基準動画のシナリオにおける各行動が順次行われるようにユーザ10に指示して、シナリオに沿った再現動画の撮影を行い易くすることができる。
【0150】
本実施形態において、デジタルカメラ100等の撮像装置による動画撮影に関する情報をユーザ10に提示する、スマートグラス300等の情報提供装置が提供されてもよい。情報提供装置は、ユーザに対する情報を出力する出力部(420)と、第1の動画に関する情報が記録された記録データと撮像装置によって生成される画像データに基づき、出力部を制御する制御部(380)とを備える。制御部は、撮像装置による第2の動画の撮影中に、第2の動画を前記第1の動画に合わせるように前記ユーザを補助する撮影補助情報を、出力部に出力させる。こうした情報提示装置によっても、既存の動画を再現することが望まれる動画撮影を行い易くすることができる。
【0151】
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1~4を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
【0152】
上記の実施形態1~4では、再現動画の撮影動作を行う前に、処理済みの基準動画データD10を準備する例を説明した。本実施形態のデジタルカメラ100において、処理済みの基準動画データD10は特に準備されなくてもよく、元の基準動画データD1が再現動画M2の撮影動作時に用いられてもよい。例えば、制御部180は、再現動画の撮影機能のON時(S22でYES)等に元の基準動画データD1をバッファメモリ170に展開する際に、動画サイズを低減するようにしてもよい。
【0153】
上記の各実施形態では、再現動画M2の動画データ等がメモリカード200に記録される例を説明した。本実施形態のデジタルカメラ100は、特にメモリカード200への記録に限らず、例えばSSD等の各種の記録媒体に動画データを記録してもよいし、通信モジュール260を介してインターネット等の通信ネットワークに動画データを配信してもよい。こうした変形例のシステム構成を、
図19,20に例示する。
【0154】
図19は、第1の変形例における画像処理システム400Aの構成を例示する。本システム400Aは、デジタルカメラ100と、クラウドサーバ等の画像処理装置500とを含む。例えばデジタルカメラ100と画像処理装置500とは、通信ネットワーク510を介してデータ通信可能に接続される。本システム400Aでは、例えば基準動画データが、予め画像処理装置500に格納されていてもよい。デジタルカメラ100は、画像処理装置500から受信される基準動画データに基づいて、再現動画の撮影動作を行ってもよい。
【0155】
又、本変形例において、デジタルカメラ100は、撮影された動画データを、通信ネットワーク510を介して画像処理装置500に送信してもよい。動画データは、画像処理装置500の記憶部に格納されてもよい。こうした画像データの読み出し/書き込みは、動画に限らず静止画について行われてもよい。又、本システム400Aは特にデジタルカメラ100に限らず、例えばスマートグラス300を含んでもよい。例えば、スマートグラス300がクラウドサーバ等に通信接続して、基準動画の再生あるいは画像データの記録を行ってもよい。
【0156】
図20は、第2の変形例におけるカメラシステム400Bの構成を例示する。本システム400Bは、デジタルカメラ100Bと、デジタルカメラ100Bに外付けの表示装置520及び記憶装置530とを含む。本実施形態において、デジタルカメラ100Bは、特に表示部及び記録部を備えなくてもよい。本実施形態のデジタルカメラ100Bは、表示装置520及び記憶装置530にそれぞれデータ出力可能に接続するインタフェース回路といった接続部を備える。以上のような各種システム400A,400Bによっても、上記各実施形態と同様に再現動画の撮影機能を提供でき、ユーザ所望の動画撮影を行い易くすることができる。
【0157】
上記の各実施形態では、種々の撮影補助情報が表示出力される例を説明した。本実施形態において、撮影補助情報は表示出力に限らず、音声出力されてもよい。例えば、デジタルカメラ100は、スピーカ280を出力部として、予告メッセージL20等の各種通知を音声井出力してもよい。又、デジタルカメラ100は、通信モジュール260を出力部として、外部のスピーカ又はイヤホン等に撮影補助情報を音声出力するように、通信接続してもよい。
【0158】
以上のように、本実施形態の撮像装置において、出力部は、撮影補助情報を示す音声を出力させてもよい。これによっても、上記各実施形態と同様に、再現動画の撮影を補助でき、ユーザが再現したい動画撮影を行い易くすることができる。
【0159】
また、上記の各実施形態では、デジタルカメラ100における再現動画の撮影機能において、再生中の基準動画M1がライブビュー画面にオーバレイ表示される例を説明した。本実施形態のデジタルカメラ100において、再現動画の撮影時に、再生中の基準動画M1は必ずしもオーバレイ表示されない場合があってもよい。例えば、ライブコマースなどの適用例においては、オーバレイ表示がなくとも、予告情報L2或いはサポート情報L1を適時、表示することにより、所望の再現動画M2の撮影を行い易くすることができる。また、デジタルカメラ100は、例えばサポート情報L1を表示する際あるいはユーザの指示時などの所定のタイミングに限定して、基準動画M1のオーバレイ表示を行うようにしてもよい。
【0160】
また、上記の各実施形態では、デジタルカメラ100の撮影者といったユーザに、基準動画M1を再現するための各種情報提示を行う例を説明した。本実施形態のデジタルカメラ100において、上記の情報提示は、必ずしも撮影者に限らず、例えば被写体であるユーザに行われてもよい。例えば、本実施形態のデジタルカメラ100は、被写体のユーザが、再現動画の撮影動作時のライブビュー画面を確認しながら、再生中の基準動画M1を再現するような行為をアシストすることができる。
【0161】
また、上記の各実施形態では、表示部の一例として表示モニタ150を例示した。本実施形態のデジタルカメラ100において、表示部は、表示モニタ150に限らず、例えばEVF(電子ビューファインダ)や、HDMI(登録商標)規格などで映像信号を出力する出力モジュール等であってもよい。
【0162】
また、上記の各実施形態では、光学系110及びレンズ駆動部120を備えるデジタルカメラ100を例示した。本実施形態の撮像装置は、光学系110及びレンズ駆動部120を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。
【0163】
また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器(例えば、ビデオカメラ、スマートフォン、タブレット端末等)であればよい。
【0164】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0165】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0166】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。
【産業上の利用可能性】
【0167】
本開示は、動画等を撮影する各種の撮像装置に適用可能である。
【符号の説明】
【0168】
100,100B デジタルカメラ
140 イメージセンサ
150 表示モニタ
170 バッファメモリ
180 制御部
210 操作部
230 加速度センサ
240 フラッシュメモリ
250 ジャイロセンサ
260 通信モジュール
280 スピーカ
300 スマートグラス
400 映像制作システム