(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-14
(45)【発行日】2023-11-22
(54)【発明の名称】撮影装置、及び撮影方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20231115BHJP
H04N 23/69 20230101ALI20231115BHJP
H04N 23/68 20230101ALI20231115BHJP
H04N 23/63 20230101ALI20231115BHJP
G03B 15/00 20210101ALI20231115BHJP
G03B 17/18 20210101ALI20231115BHJP
G03B 5/00 20210101ALN20231115BHJP
【FI】
H04N23/60 500
H04N23/69
H04N23/68
H04N23/63
G03B15/00 Q
G03B15/00 A
G03B17/18
G03B5/00 J
G03B5/00 K
(21)【出願番号】P 2021546533
(86)(22)【出願日】2020-07-21
(86)【国際出願番号】 JP2020028240
(87)【国際公開番号】W WO2021053967
(87)【国際公開日】2021-03-25
【審査請求日】2022-03-01
(31)【優先権主張番号】P 2019171661
(32)【優先日】2019-09-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】和田 哲
(72)【発明者】
【氏名】田中 康一
(72)【発明者】
【氏名】西山 幸徳
(72)【発明者】
【氏名】西尾 祐也
(72)【発明者】
【氏名】林 健吉
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2015-179988(JP,A)
【文献】特開2006-115323(JP,A)
【文献】特開2020-122883(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 23/69
H04N 23/68
H04N 23/63
G03B 15/00
G03B 17/18
G03B 5/00
(57)【特許請求の範囲】
【請求項1】
動画像である基準映像を撮影するイメージセンサと、
前記イメージセンサを収容する筐体と、
前記筐体の動きを検出するための検出器と、
プロセッサと、を備え、
前記プロセッサは、
前記基準映像を撮影する際の画角内に、前記画角よりも小さい抽出範囲を設定する設定処理と、
前記抽出範囲内の抽出映像を前記基準映像から抽出する抽出処理と、
前記検出器により検出された前記動きに応じて、前記画角における前記抽出範囲を経時的に移動させる移動処理と、
前記移動処理により前記抽出範囲が移動している間の前記抽出映像を記録媒体に記録する記録処理と、を実行し、
前記検出器において、前記動きとして前記筐体の水平方向の第1側への移動を検出した場合に、前記第1側とは反対の第2側に位置する前記抽出範囲の端が、前記第2側に位置する前記画角の端に至ったか否かを判定し、
前記判定にて前記抽出範囲の端が前記画角の端に至ったと判定した場合、前記第1側へ前記抽出範囲を移動させる、ことを特徴とする撮影装置。
【請求項2】
前記抽出映像を表示する表示器をさらに備え、
前記プロセッサは、前記移動処理において、前記抽出範囲を移動させ、且つ、前記抽出範囲が移動している間の前記抽出映像を前記表示器に表示させる、請求項1に記載の撮影装置。
【請求項3】
前記プロセッサは、前記検出器が前記動きを検出した場合に、前記抽出範囲の端が前記画角の端に至ったか否かを判定する判定処理を実行し、
前記プロセッサは、前記判定処理にて前記抽出範囲の端が前記画角の端に至ったと判定した場合に前記移動処理を実行する、請求項1又は2に記載の撮影装置。
【請求項4】
前記プロセッサは、前記移動処理において、前記移動の開始から前記抽出範囲の端が前記画角の端に至るまでの時間に応じた移動速度で前記抽出範囲を移動させる、請求項
3に記載の撮影装置。
【請求項5】
前記検出器が前記動きを検出した場合に、前記プロセッサは、前記動きの検出前後で前記抽出映像内に映る被写体を追尾対象として選定し、前記移動処理において、前記被写体が前記抽出範囲内に入るように前記抽出範囲を移動させる、請求項1乃至
4のいずれか一項に記載の撮影装置。
【請求項6】
前記移動処理の実行中、前記被写体が前記画角から外れた場合、前記プロセッサは、前記移動処理を終了する、請求項
5に記載の撮影装置。
【請求項7】
前記プロセッサは、前記移動処理において、前記抽出範囲のサイズに対する前記被写体の映像の大きさの割合に基づいて前記サイズを変えながら、前記抽出範囲を移動させる、請求項
5又は
6に記載の撮影装置。
【請求項8】
前記プロセッサは、前記移動処理の実行中に前記検出器が前記筐体の動きを検出した場合に、前記抽出範囲が移動している間の前記抽出映像に対して手振れ補正を行う手振れ補正処理をさらに実行する、請求項1~
7のいずれか一項に記載の撮影装置。
【請求項9】
前記移動処理の実行中、前記抽出範囲の移動方向とは逆方向への前記筐体の動きを前記検出器が検出した場合、前記プロセッサは、前記移動処理を終了する、請求項1~
8のいずれか一項に記載の撮影装置。
【請求項10】
前記プロセッサは、前記抽出映像内の被写体の映像に対してズームを行うズーム処理をさらに実行し、前記移動処理の実行中に前記ズーム処理を実行した場合、前記移動処理において、前記抽出範囲の移動速度を前記ズームに応じて調整する、請求項1~
9のいずれか一項に記載の撮影装置。
【請求項11】
動画像である基準映像を撮影するイメージセンサと、
プロセッサと、を備え
る撮影装置であって、
前記プロセッサは、
前記基準映像を撮影する際の画角内に、前記画角よりも小さい抽出範囲を設定する設定処理と、
前記抽出範囲内の抽出映像を前記基準映像から抽出する抽出処理と、
前記抽出映像内の被写体の映像に
対して、前記撮影装置と前記抽出映像内の被写体との距離に応じて前記抽出範囲のサイズを変えることにより電子ズームを行うズーム処理と、
前記画角における前記抽出範囲を、前記ズーム処理で行われた前記
電子ズームに応じた移動速度にて経時的に移動させる移動処理と、
前記移動処理により前記抽出範囲が移動している間の前記抽出映像を記録媒体に記録する記録処理と、を実行することを特徴とする撮影装置。
【請求項12】
前記抽出映像を表示する表示器をさらに備え、
前記プロセッサは、前記移動処理において、前記抽出範囲を移動させ、且つ、前記抽出範囲が移動している間の前記抽出映像を前記表示器に表示させる、請求項
11に記載の撮影装置。
【請求項13】
動画像である基準映像を撮影するイメージセンサを有する撮影装置を用いた撮影方法であって、
前記基準映像を撮影する際の画角内に、前記画角よりも小さい抽出範囲を設定する設定工程と、
前記抽出範囲内の抽出映像を前記基準映像から抽出する抽出工程と、
検出器により検出された撮影装置の動きに応じて、前記画角における前記抽出範囲を経時的に移動させる移動工程と、
前記移動工程により前記抽出範囲が移動している間の前記抽出映像を記録媒体に記録する記録工程
を含み、
前記検出器において、前記動きとして前記撮影装置の水平方向の第1側への移動を検出した場合に、前記第1側とは反対の第2側に位置する前記抽出範囲の端が、前記第2側に位置する前記画角の端に至ったか否かを判定し、前記判定にて前記抽出範囲の端が前記画角の端に至ったと判定した場合、前記第1側へ前記抽出範囲を移動させる、ことを特徴とする撮影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像である映像を撮影する撮影装置、及び、撮影装置を用いた撮影方法に関する。
【背景技術】
【0002】
動画像である映像を撮影する撮影装置の中には、特許文献1及び2に記載された撮影装置のように、撮影画角から指定された範囲を抽出し、その抽出範囲の映像を記録するものが存在する。
特許文献1及び2に記載された撮影装置は、画角内における抽出範囲の位置等を所定の速度にて変化させる機能を備える。この機能を利用すれば、例えば、撮影中に撮影装置を人手で動かさなくとも、映像中の被写体を追尾したり、記録映像のアングルを一定方向にスライド移動させたりすることができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-46355号公報
【文献】特開2019-22026号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
抽出範囲を移動させながら抽出範囲内の映像を記録する場合には、ユーザの入力操作等の手間を極力省き、より簡単に抽出範囲の位置等を変化させることが求められる。
しかし、特許文献1及び2に記載された撮影装置では、抽出範囲の移動開始前、又は抽出範囲の移動中に種々の設定事項を入力する等の操作が必要となる。
【0005】
本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
本発明は、上記従来技術の問題点を解決し、画角内において抽出範囲を移動させながら抽出範囲内の映像を記録することをより容易にする撮影装置及び撮影方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の撮影装置は、動画像である基準映像を撮影するイメージセンサと、イメージセンサを収容する筐体と、筐体の動きを検出するための検出器と、プロセッサと、を備え、プロセッサは、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定処理と、抽出範囲内の抽出映像を基準映像から抽出する抽出処理と、検出器により検出された動きに応じて、画角における抽出範囲を経時的に移動させる移動処理と、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録処理と、を実行することを特徴とする。
上述した本発明の撮影装置によれば、検出部によって検出された筐体の動きに応じて抽出範囲を移動させることができるため、画角内において抽出範囲を移動させながら抽出映像を記録することが、より容易になる。
【0007】
また、本発明の撮影装置は、抽出映像を表示する表示器をさらに備えてもよい。この場合、プロセッサは、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器に表示させると、より好ましい。
【0008】
また、プロセッサは、検出器が動きを検出した場合に、抽出範囲の端が画角の端に至ったか否かを判定する判定処理を実行し、プロセッサは、判定処理にて抽出範囲の端が画角の端に至ったと判定した場合に移動処理を実行してもよい。
さらに、検出器が動きとして筐体の水平方向の第1側への移動を検出した場合に、プロセッサは、判定処理にて、第1側とは反対の第2側に位置する抽出範囲の端が、第2側に位置する画角の端に至ったか否かを判定し、プロセッサは、判定処理にて抽出範囲の端が画角の端に至ったと判定した場合、第1側へ抽出範囲を移動させると、より好ましい。
【0009】
また、プロセッサは、移動処理において、移動の開始から抽出範囲の端が画角の端に至るまでの時間に応じた移動速度で抽出範囲を移動させると、より好ましい。
【0010】
また、検出器が動きを検出した場合に、プロセッサは、動きの検出前後で抽出映像内に映る被写体を追尾対象として選定し、移動処理において、被写体が抽出範囲内に入るように抽出範囲を移動させてもよい。
さらに、移動処理の実行中、被写体が画角から外れた場合、プロセッサは、移動処理を終了すると、より好ましい。
【0011】
また、プロセッサは、移動処理において、抽出範囲のサイズに対する被写体の映像の大きさの割合に基づいてサイズを変えながら、抽出範囲を移動させると、より好ましい。
【0012】
また、プロセッサは、移動処理の実行中に検出器が筐体の動きを検出した場合に、抽出範囲が移動している間の抽出映像に対して手振れ補正を行う手振れ補正処理をさらに実行してもよい。
【0013】
また、移動処理の実行中、抽出範囲の移動方向とは逆方向への筐体の動きを検出器が検出した場合、プロセッサは、移動処理を終了してもよい。
【0014】
また、プロセッサは、抽出映像内の被写体の映像に対してズームを行うズーム処理をさらに実行し、移動処理の実行中にズーム処理を実行した場合、移動処理において、抽出範囲の移動速度をズームに応じて調整してもよい。
【0015】
また、本発明によれば、動画像である基準映像を撮影するイメージセンサと、プロセッサと、を備え、プロセッサは、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定処理と、抽出範囲の抽出映像を基準映像から抽出する抽出処理と、抽出映像内の被写体の映像に対してズームを行うズーム処理と、画角における抽出範囲を、ズーム処理で行われたズームに応じた移動速度にて経時的に移動させる移動処理と、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録処理と、を実行する撮影装置も実現可能である。
【0016】
また、上記の撮影装置は、抽出映像を表示する表示器をさらに備えてもよい。この場合、プロセッサは、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器に表示させると、より好ましい。
【0017】
また、上記の撮影装置において、ズーム処理は、撮影装置と抽出映像内の被写体との距離に応じて抽出範囲のサイズを変えることにより、被写体の映像に対して電子ズームを行う処理であり、プロセッサは、移動処理において、電子ズームに応じた移動速度にて抽出範囲を移動させてもよい。
また、上記の撮影装置において、ズーム処理は、撮影装置のレンズを光軸に沿って移動させることにより、抽出映像内の被写体の映像に対して光学ズームを行う処理であり、プロセッサは、移動処理において、光学ズームに応じた移動速度にて抽出範囲を移動させてもよい。
【0018】
また、本発明によれば、動画像である基準映像を撮影するイメージセンサを有する撮影装置を用いた撮影方法であって、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定工程と、抽出範囲内の抽出映像を基準映像から抽出する抽出工程と、検出器により検出された撮影装置の動きに応じて、画角における抽出範囲を経時的に移動させる移動工程と、移動工程により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録工程と、を含むことを特徴とする撮影方法も実現可能である。
【発明の効果】
【0019】
本発明の撮影装置及び撮影方法によれば、画角内において抽出範囲を移動させながら抽出範囲内の映像を記録することが、より容易になる。
【図面の簡単な説明】
【0020】
【
図1】本発明の一つの実施形態に係る撮影装置の外観を正面側から見た図である。
【
図2】本発明の一つの実施形態に係る撮影装置の外観を背面側から見た図である。
【
図3】本発明の一つの実施形態に係る撮影装置が備える撮影装置本体の構成を示す図である。
【
図5】追尾対象の被写体が存在するケースで抽出範囲が移動する様子を示す図である。
【
図6】
図5に示すケースでの抽出映像の遷移を示す図である。
【
図7】追尾対象の被写体が存在しないケースで抽出範囲が移動する様子を示す図である。
【
図8】
図7に示すケースでの抽出映像の遷移を示す図である。
【
図9】抽出範囲の移動モードの選択画面の一例を示す図である。
【
図11】画角端近傍エリアについての説明図である。
【
図12】追尾モードが選択された場合の処理フローを示す図である(その1)。
【
図13】追尾モードが選択された場合の処理フローを示す図である(その2)。
【
図14】ユーザが撮影装置を動かした場合の画角変化を示す図である。
【
図15】パニングモードが選択された場合の処理フローを示す図である(その1)。
【
図16】パニングモードが選択された場合の処理フローを示す図である(その2)。
【
図17】本発明の他の実施形態に係る撮影装置本体の構成を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の好適な実施形態(以下、第1実施形態と呼ぶ。)について、添付の図面を参照しながら詳細に説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
【0022】
なお、本明細書において、映像とは、動画像であり、動画像は、一定のフレームレートにて連続的に撮影される複数の画像(フレーム画像)の集合を意味する。
【0023】
<<撮影装置の基本構成>>
第1実施形態に係る撮影装置(以下、撮影装置10と呼ぶ。)の基本構成について、
図1~4を参照しながら説明する。
【0024】
撮影装置10は、携帯可能な撮影装置であり、具体的には、
図1及び2に示す外観を有するデジタルカメラであり、静止画像及び動画像を撮影するために用いられる。本明細書では、撮影装置10の機能のうち、動画像をリアルタイムに撮影する機能について主に説明する。
【0025】
撮影装置10は、撮影装置本体12と筐体14とによって構成されている。撮影装置本体12とは、撮影装置10のうち、筐体14を除く部分である。筐体14は、一般的なデジタルカメラの筐体と略同じ構造であり、その内部に、
図3に示す撮影部20及び処理部30を収容する。
【0026】
撮影部20は、映像を撮影し、
図3に示すように、レンズユニット110、レンズ駆動部120、絞り部130、シャッタ140、イメージセンサ150、及びA/D(Analog/Digital)コンバータ160を有する。
【0027】
レンズユニット110は、ズームレンズ112及びフォーカスレンズ114を有し、第1実施形態では、ズームレンズ112がアナモフィックレンズを搭載している。そのため、第1実施形態では、横方向に広い画角(例えば、縦横比2.35:1の画角)で映像を撮影することが可能である。ただし、アナモフィックレンズに限定されず、広角レンズ、超広角レンズ及び360度レンズ等の撮影レンズが用いられてもよい。また、レンズユニット110は、他のレンズユニットに交換可能に構成されてもよい。また、撮影部20は、画角が異なる複数のレンズユニット110を備えてもよい。
ここで、イメージセンサ150によって映像を撮影する際の画角は、レンズユニット110及びイメージセンサ150の仕様等に応じて決まり、その画角で撮影される映像は、本発明の「基準映像」に相当する。
【0028】
レンズ駆動部120は、不図示の駆動モータと、不図示の駆動機構とによって構成され、レンズユニット110のレンズを光軸に沿って移動させる。
絞り部130は、ユーザの設定に応じて、あるいは自動的に開口部の大きさを調整し、開口部を通過する光の量を調整する。
シャッタ140は、イメージセンサ150への透過光を遮断する。
【0029】
イメージセンサ150は、例えばCCD(Charged Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等で構成されており、レンズユニット110を介して被写体からの光を受光して結像し、画像データを生成する。具体的には、イメージセンサ150は、カラーフィルタを通じて受光した光信号を受光素子にて電気信号に変換し、その電気信号をAGC(Auto Gain Controller)によって増幅し、増幅後の信号からアナログ画像データを生成する。
【0030】
A/Dコンバータ160は、イメージセンサ150で生成されたアナログ画像データをデジタル画像データに変換する。このデジタル画像データは、動画像である基準映像を構成するフレーム画像のデータに該当する。
なお、デジタル画像データを構成する画素データの数(すなわち、画素数)は、特に限定されないが、第1実施形態では1000万以上の画素数であり、好ましくは、画素数の下限が6000万以上であるとよい。また、第1実施形態における画素数の好ましい上限は、10億以下であり、より好ましくは5億以下。画素数が下限を上回っていれば、基準映像から抽出される抽出映像(抽出映像については後述する)の視認性が担保できる。また、画素数が上限を下回っていれば、基準映像の画素情報量が低減させることができ、処理部30の処理が高速化する。
【0031】
処理部30は、撮影装置10に関する各種の処理を実行し、第1実施形態では、
図3に示すように制御処理部210及び映像処理部220を含む。
【0032】
処理部30は、例えば1つ又は複数のプロセッサからなり、具体的にはCPU(Central Processing Unit)と制御プログラムから構成される。ただし、これに限定されるものではなく、上記のプロセッサは、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、MPU(Micro-Processing Unit)、又はその他のIC(Integrated Circuit)によって構成されてもよく、若しくは、これらを組み合わせて構成されてもよい。また、上記のプロセッサは、SoC(System on Chip:)等に代表されるように、制御処理部210及び映像処理部220を含むシステム全体の機能を一つのIC(Integrated Circuit)チップで構成してもよい。さらに、以上に挙げた各プロセッサのハードウェア構成は、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)で実現してもよい。
【0033】
制御処理部210は、ユーザの操作に従って、あるいは自動的に撮影装置本体12の各部を制御し、例えば、撮影部20を制御して撮影部20に基準映像を撮影(取得)させることができる。また、制御処理部210は、映像(詳しくは、後述する抽出映像)が記録媒体に記録されるように映像処理部220を制御することができる。また、制御処理部210は、撮影部20によって生成されたデジタル画像データが示す画像の全体又は一部のコントラスト等に基づいて、レンズユニット110の焦点を画像中の被写体に合焦させるようにレンズ駆動部120を制御することができる。また、制御処理部210は、撮影部20によって生成されたデジタル画像データが示す画像の全体又は一部の輝度に基づいて、絞り部130を制御し、撮影時の露光量を自動的に調整することができる。
【0034】
映像処理部220は、撮影部20によって生成されたデジタル画像データに対してガンマ補正、ホワイトバランス補正、及び傷補正等の処理を行い、さらに、所定の規格に準拠した圧縮形式にて圧縮する。そして、映像処理部220は、撮影中に順次生成される圧縮デジタル画像データから基準映像を取得し、取得した基準映像に対して種々の処理を実行する。
【0035】
また、映像処理部220は、撮影部20の画角内において当該画角よりも小さい抽出範囲を設定し、その抽出範囲内に映る抽出映像(いわゆるクロップ画像)を基準映像から抽出することができる(例えば、
図6及び8参照)。また、映像処理部220は、制御処理部210の制御の下、抽出映像を記録媒体に記録(録画)することができる。抽出映像については、後の項で詳しく説明する。
【0036】
なお、以降の説明では、特に断る場合を除き、制御処理部210及び映像処理部220の各々の処理を、本発明のプロセッサである処理部30による処理として説明することとする。処理部30による処理については、後の項で詳しく説明する。
【0037】
筐体14内には、さらに、撮影装置本体12に内蔵された内蔵メモリ230、カードスロット260を介して撮影装置本体12に対して着脱可能なメモリカード240、及び、バッファ250が収容されている。内蔵メモリ230及びメモリカード240は、前述の抽出映像が記録される記録媒体であり、フラッシュメモリ又は強誘電体メモリ等で構成されている。なお、記録媒体は、撮影装置本体12以外の場所にあってもよく、処理部30は、有線又は無線による通信を介して外部の記録媒体に対して映像の記録を行ってもよい。
バッファ250は、処理部30のワークメモリとして機能し、例えば、DRAM(Dynamic Random Access Memory)又は強誘電体メモリ等で構成されている。
【0038】
筐体14の背面には、
図2に示すように、表示器40が取り付けられている。表示器40は、LCD(Liquid Crystal Display:液晶ディスプレイ)又は有機EL(Organic Electroluminescence)ディスプレイ、LED(Light Emitting Diode)ディスプレイ又は電子ペーパー等で構成されている。表示器40には前述の抽出映像が表示され、また、撮影条件等の設定画面、及び、モード選択用の画面等も適宜表示される。
【0039】
筐体14には操作部50が備わっており、ユーザは、操作部50を通じて撮影に関する各種の操作を行う。操作部50は、例えば、
図1及び2に示すように、筐体14の外面に配設されたレリーズボタン310、ズームレバー320、操作ダイヤル330,340、及び十字ボタン350等を含む。これらの機器は、ユーザに操作されると、処理部30に向けて種々の制御信号を送信する。例えば、ズームレバー320が操作されると、その操作に応じてズーム倍率を変更する制御信号が処理部30に向けて送信され、処理部30は、その制御信号に従い、ズームレンズ112を移動させるためにレンズ駆動部120を制御して駆動させる。
【0040】
また、第1実施形態では、表示器40がタッチパネルディスプレイであり、操作部50として兼用される。ユーザが表示器40の画面をタッチすると、そのタッチ位置に応じた制御信号が処理部30に向けて送信される。例えば、後述するモード選択画面(
図9参照)が表示器40に表示され、ユーザが画面中に描画された複数のモード選択ボタンのうち、対応する一つのボタンをタッチすると、選択されたモードに設定するための制御信号が処理部30に向けて送信される。また、ユーザは、表示器40の画面中の所定箇所をタッチする操作を通じて、処理部30にズーム処理又はシャッタ処理(撮影処理)の実行を指示することができる。
【0041】
第1実施形態では、筐体14に検出器60が取り付けられている。検出器60は、筐体14を含む撮影装置10の動きを検出し、詳しくは、筐体14の水平方向の移動を検出する。筐体14の水平方向の移動とは、
図4に示すように、ユーザが撮影の画角を変えるために、撮影装置10の正面の向きが変わるように鉛直軸Cを中心にして撮影装置10を移動(厳密には回動)させたときの筐体14の動きである。なお、
図4は、撮影装置10を上方から見た図である。
【0042】
第1実施形態に係る検出器60は、例えば、筐体14に取り付けられたジャイロセンサによって構成されており、筐体14が水平方向に移動した場合の角速度、回転量(
図4中、記号θで表す)、及び移動方向等を測定し、その測定結果に基づいて筐体14の動きを検出する。なお、検出器60は、ジャイロセンサのみに限定されず、ジャイロセンサ以外のモーションセンサ、例えば加速度センサ等で構成されてもよい。また、画像処理装置を検出器60として利用し、基準映像を解析して画角の変化の有無を判定することで筐体14の動きを検出してもよい。
【0043】
<<抽出映像について>>
次に、前述した抽出映像について
図5~8を参照しながら詳しく説明する。
なお、
図5、6及び8の各図が示す様子は、いずれも、上段の図の状態、中段の図の状態、及び下段の図の状態の順に移り変わる。また、
図5以降の図では、基準映像撮影時の画角に対して記号A1を付し、抽出範囲に対して記号A2を付し、基準映像に対して記号P1を付し、抽出映像に対して記号P2を付している。
【0044】
抽出映像は、画角よりも小さく設定された映像であり、基準映像から抽出されて表示器40に表示される。第1実施形態では、基準映像が、1000万以上(好ましくは6000万以上)の画素からなる高画質映像であるため、その中から抽出される抽出映像も十分に高画質な映像となる。第1実施形態では、
図6及び8に示すように、抽出映像の外縁が長方形の形状であるが、外縁の形状については特に限定されず、正方形、平行四辺形、台形、菱形、円状又は楕円状、三角形又は五角形以上の多角形、あるいは不定形であってもよい。
【0045】
抽出範囲の位置、サイズ及び縦横比(アスペクト比)等は、初期設定されており、通常は、画角内において予め決められた範囲が抽出範囲として設定されている。なお、抽出範囲の位置、サイズ及び縦横比等については、ユーザ側で設定及び変更してもよく、例えば不図示の設定画面を表示器40に表示し、ユーザが設定画面を通じて設定及び変更を行ってもよい。
【0046】
第1実施形態では、撮影中に所定の条件が満たされると、処理部30が抽出範囲を画角内で経時的に移動させる。ここで、「経時的に移動させる」とは、抽出範囲の位置が漸次的に変化するように抽出範囲を画角に対して相対的に動かすことを意味し、途中で移動が停止(中断)する場合も含み得る。
【0047】
撮影中に抽出範囲を経時的に移動させることにより、例えば、抽出範囲内に映る被写体を追尾対象として設定し、
図5に示すように、画角内でその被写体を追尾することができる。つまり、処理部30の機能により、画角内における被写体の移動に連動させて、抽出範囲内にその被写体が収まるように抽出範囲を自動的に移動させることができる。
【0048】
また、追尾対象の被写体が奥行き方向(つまり、撮影装置10に対して近接及び離間する方向)に移動すると、
図5に示すように、被写体の映像の大きさが変化する。つまり、抽出範囲のサイズに対する被写体の映像の大きさの割合(以下、被写体映像比率と呼ぶ。)が変化する。そのため、第1実施形態では、
図5に示すように、奥行き方向における被写体の移動、すなわち、被写体映像比率の変化に応じて抽出範囲のサイズを変える。具体的には、被写体映像比率が略一定に維持されるように抽出範囲のサイズを調整する。このサイズ調整は、後述する電子ズーム処理に該当する。
【0049】
以上により、追尾対象の被写体が画角内に存在している限り、表示器40には、
図6に示すように追尾対象の被写体を含む抽出映像を常時表示することができる。また、表示される抽出映像では、追尾対象の被写体の大きさが略一定に維持される。また、追尾対象の被写体を追尾するためにユーザが撮影装置10を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更時に生じる映像の乱れ(映像ブレ等)を回避することもできる。こうした効果は、アナモフィックレンズ等を用いて画角が比較的広くなる場合に特に有効である。
【0050】
他方、抽出範囲内に映る被写体が追尾対象でない場合(例えば、風景のように静止したものを被写体とする場合)、
図7に示すように、画角の横方向の一端から他端まで抽出範囲が自動的にスライド移動(パニング)する。これにより、表示器40には、
図8に示すような撮影アングルを水平方向に連続的に変化させたような映像、言わばパノラマ動画像を表示することができる。また、撮影アングル変更のためにユーザが撮影装置10を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更時に生じる映像の乱れ(映像ブレ等)を回避することもできる。こうした効果は、アナモフィックレンズ等を用いて画角が比較的広くなる場合に特に有効である。
【0051】
なお、抽出範囲の移動速度は、予め設定されてもよく、抽出範囲の移動中にユーザが例えばボタン操作等を行うことで任意の速度に変更できてもよい。また、抽出範囲の移動開始から抽出範囲の端が画角の端に到達するまでの時間、すなわち移動の所要時間を求めてもよい。この場合、求めた所要時間と移動開始からの経過時間との差分に基づく残り移動時間trを、
図8に示すように表示器40に表示させてもよい。
【0052】
また、処理部30の機能に基づく抽出範囲の自動移動(パニング)と、ユーザによる撮影装置10の移動動作(画角変更用の操作)とが同時に行われてもよい。
【0053】
以上のように抽出範囲の移動モードは、追尾対象の被写体を追尾するように抽出範囲を移動させる第1モード(以下、追尾モードと呼ぶ。)と、一定方向に抽出範囲を移動させる第2モード(以下、パニングモードと呼ぶ。)と、を含む。ユーザは、例えば
図9に示すモード選択画面にていずれか一つのモードを選択することができ、処理部30は、ユーザによって選択されたモードに則って抽出範囲を画角内で移動させる。
【0054】
抽出範囲の移動モードの指定は、ユーザの意思、詳しくは、
図9に示すモード選択画面での選択結果に基づいて行われてもよい。
あるいは、撮影装置10が基準映像を解析して追尾対象の有無を自動的に判定し、その判定結果に基づいて移動モードを自動的に指定してもよい。このケースでは、例えば、追尾対象の被写体が存在した場合には追尾モードを選択し、追尾対象の被写体が存在しない場合にはパニングモードを選択する。
あるいは、ユーザが撮影装置10を移動させた場合に検出器60が移動速度(具体的には、角速度)等を検出し、その検出結果に基づいて移動モードを自動的に指定してもよい。このケースでは、例えば、ランダムな移動速度である場合には追尾モードを選択し、一定の移動速度である場合にはパニングモードを選択する。
【0055】
<<処理部による処理について>>
次に、処理部30の処理について説明する。処理部30の処理は、制御処理部210によって実行される処理と、映像処理部220によって実行される処理と、に大別される。前者の処理には、例えば、撮影処理、オートフォーカス処理、光学ズーム処理、及び光学手振れ補正等が挙げられる。後者の処理には、電子ズーム処理、電子手振れ補正処理、設定処理、抽出処理、判定処理、移動処理、記録処理、及び警告処理等が挙げられる。以下、上記の各処理の概要について説明する。
【0056】
[撮影処理]
撮影処理は、処理部30が撮影部20を制御して撮影部20の画角での映像、すなわち基準映像を撮影する処理である。撮影処理は、例えば撮影装置10が起動すると、それに伴って自動的に開始される。
【0057】
[オートフォーカス処理]
オートフォーカス処理は、レンズユニット110のフォーカスレンズ114が光軸に沿って移動するように処理部30がレンズ駆動部120を制御する処理である。オートフォーカス処理は、例えば抽出範囲が移動している間に適時実行される。これにより、移動中の抽出範囲内の被写体に対して合焦することができる。
【0058】
[光学ズーム処理]
光学ズーム処理は、ズーム処理の一例であり、抽出映像内の被写体の映像に対して光学ズームを行う処理である。具体的には、ユーザがズーム操作部としてのズームレバー320を操作した際に光学ズーム処理が実行され、処理部30がレンズ駆動部120を制御してズームレンズ112を光軸に沿って移動させる。ズーム操作部の他の例としては、レンズユニット110におけるズーム操作用の回転リング等が挙げられる。光学ズーム処理は、電子ズーム処理と併用される。例えば、撮影中に電子ズーム処理を頻繁に実行することで抽出映像の画質が劣化(粗く)なった場合に、画質を改善するために光学ズーム処理が適宜実行される。
【0059】
[光学手振れ補正]
光学手振れ補正処理は、手振れ補正処理の一例であり、撮影中に撮影装置10に加わる振動等の影響を抑えて抽出映像を安定させるための処理である。具体的には、処理部30がレンズ駆動部120を制御してレンズユニット110を移動させて光軸をシフトさせる。光学手振れ補正は、公知の技術によって実現され、例えば、特許第5521518号公報に記載された光学手振れ補正の技術を利用することができる。
【0060】
[電子ズーム処理]
電子ズーム処理は、ズーム処理の一例であり、抽出映像内の被写体の映像に対して電子ズーム(デジタルズーム)を行う処理である。具体的には、処理部30が画角内に対する抽出範囲のサイズ(換言すると、抽出映像の画素数)を変更する。電子ズーム処理は、例えば抽出範囲が移動している間に適時実行される。例えば、抽出範囲内の被写体が撮影装置10の奥行き方向に移動して追尾対象の被写体の映像の大きさが変化した場合に、前述した被写体映像比率を調整するために電子ズーム処理が実行される。
電子ズーム処理では、撮影装置10と抽出映像内の被写体との距離に応じて抽出範囲のサイズを変える。撮影装置10と抽出映像内の被写体との距離は、一般的なデジタルカメラに搭載される距離計測技術を用いて計測することが可能である。例えば、位相差画素を用いた位相差方式による距離計測方法、若しくは、TOF(Time of Flight)方式により光の飛行時間に基づいて被写体までの距離を計測する方法等が利用可能である。
また、電子ズーム処理によれば、抽出範囲が移動している間、抽出映像の解析によって、追尾対象の被写体の大きさ(表示サイズ)を一定に維持することができる。
【0061】
[電子手振れ補正処理]
電子手振れ補正処理は、手振れ補正処理の一例であり、撮影中に撮影装置10に加わる振動等の影響を抑えて抽出映像を安定させるために処理部30が抽出範囲の位置をずらす処理である。電子手振れ補正は、公知の技術、例えば、特許第5521518号公報又は国際公開第2016/181717号等に記載された電子手振れ補正(Electric Image Stabilization;EIS)の技術によって実現される。電子手振れ補正処理の実行にあたり、撮影中、バッファ250には、基準映像を構成するフレーム画像のうち、直前のフレーム画像が格納される。処理部30は、新たなフレーム画像が撮影された段階で、そのフレーム画像と、バッファ250に格納された直前のフレーム画像とを比較して、抽出範囲内の画像のずれ量を求める。そして、求めたずれ量が閾値を超える場合に電子手振れ補正処理が実行される。
【0062】
[設定処理]
設定処理は、処理部30が基準映像内の画角内に抽出範囲を設定する処理である。通常の場合、撮影装置10が起動したときに設定処理が実行され、このときの設定処理では、抽出範囲の位置、サイズ及び縦横比(アスペクト比)等が初期値に設定される。ただし、これに限定されるものではなく、ユーザが操作部50を通じて抽出範囲の位置、サイズ及び縦横比等を設定し、また設定後に適宜変更してもよい。
【0063】
また、追尾モードが選択された場合には、追尾対象の被写体を基準として抽出範囲が設定される。例えば、画角内に存在する一つの被写体が表示器40に一定時間以上表示されるようにユーザが撮影装置10を動かし、具体的には、画角を変えたりズームを行ったりする。この場合、処理部30は、上記の被写体を追尾対象の被写体として認識し、その被写体が収まるように抽出範囲を設定する。被写体を基準とした抽出範囲の設定手順としては、上述した手順以外の手順であってもよい。例えば基準映像の全画面を表示器40に表示させ、ユーザが基準映像中に映る被写体をタッチする等し、その被写体が収まるように抽出範囲を設定してもよい。
【0064】
[抽出処理]
抽出処理は、処理部30が抽出範囲内に映る抽出映像を基準映像から抽出する(すなわち、切り出す)処理である。例えば、追尾モードが選択された場合には、追尾対象の被写体の映像を含む一定範囲の映像が抽出映像として抽出される。また、パニングモードが選択された場合には、被写体が逐次変化する(スライドする)ように抽出映像が抽出される。抽出映像は、
図6及び8に示すように表示器40に表示され、ユーザは、表示器40を通じて抽出映像を確認することができる。
【0065】
[判定処理]
判定処理は、検出器60が筐体14の動きを検出した場合に、その動きによって抽出範囲の端が画角の端に至ったか否かを処理部30が判定する処理である。第1実施形態では、パニングモードが選択された状態で、検出器60が筐体14の動きとして筐体14の水平方向の移動を検出した場合に、判定処理が実行される。
【0066】
判定処理について
図10を参照しながら具体的に説明する。判定処理に際して、ユーザが撮影装置10を水平方向(
図10中、太線の矢印にて示す方向)に移動させると、検出器60がその時の筐体14の移動を検出する。このとき、水平方向において撮影装置10が移動時に向かう側を第1側とし、その反対側を第2側とする。なお、
図10に示すケースでは、左側が第1側に該当し、右側が第2側に該当する。
検出器60が筐体14の水平方向の第1側への移動を検出した場合、処理部30は、前述した電子手振れ補正処理(EIS)により、筐体14の移動量に応じた分だけ抽出範囲を水平方向の第2側にずらす。これにより、
図10に示すように、抽出範囲が画角に対して相対的に第2側へ移動する。そして、処理部30は、判定処理を実行し、第2側に位置する抽出範囲の端が上記の相対移動によって第2側に位置する画角の端に至ったか否かを判定する。判定結果における判定結果は、移動処理の実行の有無に反映される。
【0067】
[移動処理]
移動処理は、撮影中に実行され、処理部30が画角における抽出範囲を経時的に移動させる処理である。第1実施形態では、筐体14の動きが検出器60によって検出されると、検出された動きに応じて移動処理が実行される。検出器60によって検出される筐体14の動きと、移動処理の実行との関係については、後の項で詳しく説明することとする。
【0068】
また、移動処理の実行中、処理部30は、抽出範囲が移動している間の抽出映像を表示器40に表示させる。移動処理の実行中、ユーザ又は地面からの振動が撮影装置10に伝達される等して筐体14が動いた(振動した)場合、抽出範囲が移動している間の抽出映像に対して、前述した電子手振れ補正処理又は光学手振れ補正処理が実行される。これにより、表示器40に表示される抽出映像のブレが減り、表示される映像が安定するようになる。
【0069】
移動処理における抽出範囲の移動方式は、追尾モード及びパニングモードのうち、選択されたモードに応じて異なる。追尾モードが選択された場合、処理部30は、抽出範囲内に映る被写体を追尾対象として設定する。そして、移動処理では、処理部30は、追尾対象の被写体が抽出範囲内に入るように(厳密には、抽出範囲内に収まるように)抽出範囲を移動させる。このように追尾モードが選択された場合の移動処理では、画角内で追尾対象の被写体が探索され、追尾対象の被写体の移動に連動させて抽出範囲を移動させる。
【0070】
なお、画角内で追尾対象の被写体を探索するアルゴリズムは、特に制限されるものではない。アルゴリズムの一例を挙げると、追尾対象として設定された被写体の画像をテンプレート画像としてバッファ250に記憶しておき、公知のテンプレートマッチング技術を適用して、上記のテンプレート画像と基準映像とを比較し、テンプレート画像とマッチングする部分の映像を特定すればよい。
【0071】
また、追尾モードが選択された場合の移動処理において、抽出範囲の移動速度は、追尾対象の被写体を追尾できるように当該被写体の移動速度に応じた速度に設定されるのが好ましい。抽出範囲の移動速度は、画角を画素単位で区画したときに、移動中の抽出範囲が単位時間において通過する画素数である。
【0072】
他方、パニングモードが選択された場合の移動処理では、画角の横方向の一端から他端に向けて抽出範囲を移動させる。このときの抽出範囲の移動速度は、一定の速度であってもよく、例えば、検出器60により検出された筐体14の水平方向の移動における移動速度(具体的には、角速度)に応じた速度であってもよい。なお、パニングモードが選択された場合の移動処理では、移動処理の実行中(すなわち、抽出範囲の移動中)にユーザが操作部50を操作する等して抽出範囲の移動速度を変えることができてもよい。
【0073】
抽出範囲の移動速度について付言しておくと、移動処理の実行中に電子ズーム処理又は光学ズーム処理が実行されると、抽出範囲のサイズ(すなわち、抽出映像の画素数)が変化する。そのため、上記のズーム処理の前後で抽出範囲の移動速度が同一であると、表示器40を通じて抽出映像を見るユーザにとって、抽出範囲の移動速度が急変したように見えてしまう。そこで、第1実施形態では、移動処理の実行中に上記のいずれかのズーム処理が実行された場合、処理部30は、移動処理において抽出範囲の移動速度をズーム(具体的には、変更後のズーム倍率)に応じて調整する。詳しくは、処理部30は、ズームアップの場合には移動速度を減少させ、ズームアウトの場合には移動速度を増加させる。これにより、上述した抽出映像の異常な見え方を解消することができる。
【0074】
移動処理の説明に戻ると、処理部30は、下記の終了条件(J1)~(J5)のうちのいずれかが成立したときに移動処理を終了する。
(J1)移動処理の実行中にユーザが操作部50を通じて移動処理の終了を指示したとき。
(J2)移動処理の実行中、ユーザが抽出範囲の移動方向とは逆方向に筐体14を動かし、検出器60がその動きを検出したとき。
(J3)追尾モードが選択された場合において、移動処理の実行中に追尾対象の被写体が画角から外れたとき。
(J4)追尾モードが選択された場合において、移動処理の実行中に追尾対象の被写体が一定時間以上止まっている(静止している)とき。
(J5)パニングモードが選択された場合において、移動処理の実行中に抽出範囲の端が画角の端に到達したとき。
なお、移動処理の終了条件は、上記5つの条件に限定されず、上記5つの条件以外の条件がさらに含まれてもよく、また、上記5つの条件のうちの1~4つが含まれなくてもよい。
【0075】
[記録処理]
記録処理は、処理部30が抽出映像を内蔵メモリ230及びメモリカード240等を含む記録媒体に記録する処理である。記録処理は、例えばレリーズボタン310が一度押された時点で開始され、レリーズボタン310が再び押された時点で終了する。第1実施形態では、移動処理が実行されると、処理部30が、記録処理において、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。また、移動処理の実行中に光学ズーム処理、電子ズーム処理、光学手振れ補正処理及び電子手振れ処理の少なくとも一つが実行された場合、記録処理では、その処理がなされた後の抽出映像が記録される。なお、第1実施形態では、移動処理が終了すると、これに連動する形で記録処理が終了する。
【0076】
ちなみに、第1実施形態では、記録処理において抽出映像のみが記録媒体に記録され、それ以外の映像(具体的には、基準映像)については記録されずに破棄される。これにより、基準映像を記録しない分だけ、記録媒体における使用容量を削減することができる。ただし、これに限定されず、抽出映像及び基準映像の両方を記録媒体に記録してもよい。
【0077】
[警告処理]
警告処理は、移動処理の実行中に所定の状況に至った場合に処理部30がユーザに向けて警告を発する処理である。例えば、追尾モードで移動処理が実行されているとき、移動中の抽出範囲が画角内の画角端近傍エリアに差し掛かると、その旨をユーザに知らせるために警告処理が行われる。画角端近傍エリアとは、
図11に示すように、画角のうち、画角の端から所定距離だけ離れた位置から端までの範囲が該当し、
図11中のハッチングが施された範囲である。
なお、警告処理における警告方法は、特に限定されないが、例えば、警告メッセージを表示すること、又は抽出映像の外縁枠を所定の色(具体的には、赤など)に変更すること等が挙げられる。
【0078】
<<移動処理の流れについて>>
第1実施形態では、本発明の撮影方法を用いて映像の撮影が行われる。そして、撮影中に検出器60が筐体14の動きを検出した場合に、処理部30が、検出された筐体14の動きに応じて移動処理を実行する。詳しく説明すると、第1実施形態では、ユーザが画角変更等の目的で撮影装置10を動かすと、検出器60がその時の筐体14の動きを検出し、それを契機として処理部30が移動処理を実行する。
【0079】
移動処理では、抽出範囲が被写体を追尾するように、あるいは画角の端に向かって自動的に移動する。これにより、検出器60が筐体14の動きを検出した後にはユーザが改めて画角変更のために撮影装置10を動かす必要がなく、この結果、ユーザは、撮影に集中することができる。つまり、ユーザにとって、抽出範囲を移動させながら抽出映像を記録することがより容易になる。
【0080】
ところで、移動処理を含む各種処理の流れは、追尾モード及びパニングモードのうち、選択されたモードに応じて異なる。以下では、処理の流れについてモード毎に説明する。
【0081】
(追尾モードが選択された場合の処理の流れ)
追尾モードが選択された場合の処理の流れについて、
図12~14を参照しながら説明する。
【0082】
移動処理の実行に際して、ユーザは、先ず、撮影装置10を起動する。装置起動後には処理部30が設定処理を実行し(S001)、画角内の抽出範囲を初期値又はユーザの入力値等に応じて設定する。このステップS001が設定工程に該当する。
その後、撮影装置10の画角で基準映像の撮影が開始され、処理部30が抽出処理を実行して抽出映像を基準映像から抽出する(S002)。このステップS002が抽出工程に該当する。また、抽出工程の実行により、表示器40には抽出映像が表示される(S003)。
【0083】
ユーザは、抽出映像の記録を開始するためにレリーズボタン310を押す。これにより、処理部30が記録処理を実行し、抽出映像の記録を開始する(S004)。換言すると、レリーズボタン310の押下げにより記録工程が開始される。
さらに、追尾モードが選択された場合には、ユーザが、ある被写体を追尾するために撮影装置10を動かす(移動させる)。例えば、
図14に示す被写体Jが移動した場合、ユーザは、同図に示す通り、その被写体Jが抽出範囲内に入り続けるように撮影装置10を動かす。検出器60は、この時の筐体14の動きを検出する(S005)。
図14中の上図は、撮影装置10を動かす直前の画角を示し、
図14中の下図は、撮影装置10を動かした直後の画角を示している。
【0084】
検出器60が筐体14の動きを検出すると、処理部30は、検出器60による動きの検出前後の抽出映像を比較し、両方の抽出映像内に共通して映る被写体Jを追尾対象として選定する(S006)。このとき、処理部30は、前述したテンプレートマッチング技術等を利用することで、検出器60による動きの検出前後において抽出映像に映る被写体Jを認識することができる。追尾対象の選定方法は、上記の方法に限定されず、ユーザが表示器40において被写体の映像をタッチする等して被写体を指定し、その指定操作に基づいて追尾対象が選定されてもよい。あるいは、検出器60による動きの検出前後の抽出映像を比較し、それぞれの抽出映像に映る被写体のうち、移動量が最も少ない被写体が追尾対象として選定されてもよい。
【0085】
その後、処理部30は、移動処理を実行し、
図5に示すように上記の被写体Jが抽出範囲内に入るように抽出範囲を画角内で移動させる(S007)。このステップS007が移動工程に該当する。移動工程において、処理部30は、事前に設定された移動速度にて抽出範囲を移動させてもよいし、抽出映像を解析して算出した被写体Jの速度に応じた移動速度(例えば、被写体Jと同じ速度)にて抽出範囲を移動させてもよい。
【0086】
処理部30は、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器40に表示させる(
図6参照)。また、処理部30は、移動処理と同時に実行される記録処理において、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。つまり、移動工程により抽出範囲が移動している間の抽出映像を記録する記録工程が実行される。
【0087】
また、処理部30は、移動処理の実行中に検出器60が筐体14の動き(具体的には、振動伝達等による動き)を検出すると(S008)、前述した電子手振れ補正処理又は光学手振れ補正処理を実行する(S009)。このステップS009では、抽出範囲が移動している間の抽出映像に対して手振れ補正を行う。これにより、抽出範囲の移動に伴って変化する抽出映像を安定化させることができ、手振れ等が生じた場合にも抽出映像をスムーズに変化させることができる。
【0088】
また、被写体Jが奥行き方向に移動して抽出範囲のサイズに対する被写体Jの映像の大きさの割合(すなわち、被写体映像比率)が変化したとき、その変化量が閾値を超える場合(S010)がある。この場合、処理部30は、電子ズーム処理を実行し、撮影装置10と被写体Jとの間の距離に応じて抽出範囲のサイズを変える(S011)。このように、処理部30は、移動処理において、被写体映像比率の変化に基づいて抽出範囲のサイズを変えながら抽出範囲を移動させる。これにより、例えば、被写体映像比率を維持しながら抽出範囲を移動させることができる。この結果、被写体Jを追尾している間、
図6に示すように被写体Jの映像を略一定の大きさで表示器40に表示することができる。
【0089】
なお、電子ズーム処理の実行(特に、ズームアップの実行)により抽出範囲のサイズが所定の大きさ未満になった場合、又は抽出範囲に含まれる画素数が所定数未満になった場合には(S012)、抽出映像の画質が粗くなるため、処理部30は、前述の光学ズーム処理を実行し、抽出映像内の被写体の映像に対して光学ズームを行う(S013)。これにより、電子ズーム処理の実行によって低下した抽出映像の画質を回復することができる。なお、上述のステップS013では、ユーザに光学ズーム処理を促すような通知を表示器40に表示してもよい。
【0090】
また、処理部30は、移動処理の実行中に電子ズーム処理又は光学ズーム処理を実行した場合、抽出範囲の移動速度を電子ズーム又は光学ズームに応じて調整する(S014)。処理部30は、S014以降の移動処理では、調整済みの移動速度、すなわち、電子ズーム又は光学ズームに応じた移動速度にて抽出範囲を移動させる。これにより、ズーム処理の実行に伴う不具合(具体的には、表示器40を通じて抽出映像を見るユーザにとって、抽出範囲の移動速度が急変したように見える状況)を回避することができる。
【0091】
また、処理部30は、移動処理において、移動中の抽出範囲が画角において前述の画角端近傍エリアに差し掛かっているかどうかを判定する(S015)。そして、抽出範囲が画角端近傍エリアに差し掛かっている場合、処理部30は、警告処理を実行する(S016)。これにより、抽出範囲が画角の端近傍に近付いていることをユーザに知らせ、画角変更のための操作、又は撮影終了の指示のための操作等をユーザに促すことができる。
【0092】
以上までに説明してきた処理のうち、ステップS007~S016は、移動処理中に繰り返し実行される。そして、移動処理の実行中に、前述した終了条件(J1)~(J4)のいずれかが成立した時点で(S017)、処理部30が移動処理を終了する。このとき、移動処理の終了に合わせて記録処理を終了させてもよく、あるいは移動処理の終了後に記録処理を続行させてもよい。
【0093】
移動処理の終了後、ユーザが再び被写体Jを追従するように撮影装置10を動かし、検出器60がその時の筐体14の動きを検出すると、移動処理が再度実行され、上述した一連の処理(S006~S017)が繰り返される。
【0094】
(パニングモードが選択された場合の処理の流れ)
パニングモードが選択された場合の処理の流れについて、
図15及び16を参照しながら説明する。
【0095】
パニングモードが選択された場合において、ユーザが撮影装置10を起動してからレリーズボタン310を押して記録処理を実行するまでの手順(S021~S024)は、追尾モードが選択された場合と同様である。つまり、パニングモードが選択された場合にも、設定工程及び抽出工程が実行され、レリーズボタン310の押下げにより記録工程が開始される。
【0096】
パニングモードが選択された場合には、ユーザが、撮影装置10を水平方向の第1側に移動させる。検出器60は、その時の筐体14の動き、すなわち水平方向の第1側への移動を検出する(S025)。検出器60が筐体14の移動を検出すると、処理部30は、前述のEISを利用して、筐体14の移動量に応じた分だけ抽出範囲を水平方向の第2側にずらす(S026)。
【0097】
その後、処理部30は、判定処理を実行し、抽出範囲の第2側の端が画角の第2側の端に至ったか否かを判定する(S027)。処理部30は、判定処理にて抽出範囲の第2側の端が画角の第2側の端に至ったと判定した場合に、移動処理を実行し、
図7に示すように抽出範囲を水平方向に第1側に向けて移動させる(S028)。このステップS028が移動工程に該当する。
【0098】
第1実施形態において、処理部30は、移動処理の実行に際して抽出範囲の移動速度を設定し、移動処理では、設定された移動速度にて抽出範囲を移動させる。抽出範囲の移動速度は、水平移動時間txに応じて設定される。水平移動時間txは、検出器60により検出された筐体14の水平移動の開始時点から、抽出範囲の第2側の端が画角の第2側の端に至るまでの時間である。水平移動時間txは、例えば、検出器60により検出された筐体14の水平移動における角速度、若しくは、抽出範囲の第2側の端が画角の第2側の端に向かって移動していた際の移動速度から算出することができる。移動処理の実行中における抽出範囲の速度は、一定であってもよく、あるいは変更されてもよく、例えばユーザが操作部50を操作する等して任意の速度に変えられてもよい。
【0099】
処理部30は、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器40に表示させる(
図8参照)。このとき、処理部30は、移動開始から抽出範囲の端が画角の端に到達するまでの時間(すなわち移動の所要時間)を抽出範囲の移動速度から求めてもよい。さらに、処理部30は、求めた所要時間と移動開始からの経過時間との差分に基づく残り移動時間trを表示器40に表示してもよい。また、処理部30は、移動処理と同時に実行される記録処理において、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。つまり、移動工程により抽出範囲が移動している間の抽出映像を記録する記録工程が実行される。
【0100】
また、パニングモードにおいて、移動処理の実行中に検出器60が筐体14の動き(具体的には振動等)を検出すると(S029)、処理部30が電子手振れ補正処理又は光学手振れ補正処理を実行する(S030)。このステップS030では、抽出範囲が移動している間の抽出映像に対して手振れ補正が行われる。これにより、抽出範囲の移動に伴って変化する抽出映像を安定化させることができ、手振れ等が生じた場合にも抽出映像をスムーズに変化させることができる。
【0101】
また、処理部30は、移動処理において、移動中の抽出範囲が画角内の画角端近傍エリアに差し掛かっているかどうかを判定する(S031)。そして、抽出範囲が画角端近傍エリアに差し掛かっている場合、処理部30は、警告処理を実行する(S032)。これにより、抽出範囲が画角の端近傍に近付いていることをユーザに知らせることができる。
【0102】
そして、抽出範囲の水平移動によって抽出範囲の第1側の端が画角の第1側の端に到達した場合、または、前述の終了条件(J1)及び(J2)のいずれかが成立した場合(S033、S034)、処理部30が移動処理を終了する。このとき、移動処理の終了に合わせて記録処理を終了させてもよく、あるいは移動処理の終了後に記録処理を続行させてもよい。
【0103】
移動処理の終了後、ユーザが再び撮影装置10を第1側に水平移動させて、検出器60がその時の筐体14の動きを検出すると、ステップS027の判定処理が再度実行される。そして、判定処理にて抽出範囲の第2側の端が画角の第2側の端に至ったと判定されると、移動処理が再度実行され、上述した一連の処理(S028~S034)が繰り返される。
【0104】
なお、
図15及び16に示すケースでは説明を省略したが、パニングモードが選択された場合において、移動処理の実行中に、抽出映像内の被写体の映像に対してズーム(具体的には、電子ズーム及び光学ズーム)を行ってもよい。その場合には、抽出範囲の移動速度をズームに応じて調整し、それ以降の移動処理、ズームに応じて調整された移動速度にて抽出範囲を移動させるとよい。
【0105】
<<その他の実施形態>>
以上までに本発明の撮影装置について具体的な実施形態を挙げて説明してきたが、上述の第1実施形態は、あくまでも一例に過ぎず、その他の実施形態も考えられる。一例を挙げると、
図17に示すように、撮影装置の撮像装置本体12Xと外部モニタ70とが有線方式又は無線方式で接続されてもよい。
外部モニタ70は、液晶モニタ等のディスプレイ装置、モニタ付きのレコーダ、若しくは、パソコン、スマートフォン及びタブレット端末等のようなモニタ付きの情報処理端末で構成されている。
図17に示す構成では、処理部30が抽出映像の映像信号を外部モニタ70に伝送し、外部モニタ70側で抽出映像が表示される。この場合には、撮影装置の表示器40(ディスプレイ)に抽出映像を表示する代わりに、外部モニタ70で抽出映像を表示してもよい。あるいは、撮影装置の表示器40及び外部モニタ70の両方に抽出映像を表示してもよい。
【0106】
また、第1実施形態では、筐体14が水平方向に移動し、検出器60が筐体14の動きとして筐体14の水平方向の移動を検出するケースを例に挙げて説明した。ただし、これに限定されるものではなく、検出器60が筐体14の上下方向の移動を検出してもよい。この場合、処理部30は、移動処理において、検出器60が検出した上下方向の筐体14の移動に応じて抽出範囲を移動させてもよい。
【0107】
また、第1実施形態では、パニングモードが選択された場合の移動処理において抽出範囲を水平方向にスライド移動させることとしたが、これに限定されるものではない。例えば、移動処理において抽出範囲を上下方向にスライド移動させてもよい。
【0108】
また、第1実施形態では、追尾モードが選択された場合においてユーザが被写体を追尾するために撮影装置10を動かすと、検出器60が、その時の筐体14の動きを検出する。そして、処理部30が、撮影装置10の動きの検出に連動して移動処理を自動的に実行し、被写体を追尾するように抽出範囲を移動させることとした。ただし、これに限定されるものではなく、ユーザがタッチパネル等を操作することで抽出映像内の被写体を追尾対象として設定し、また、ユーザによる処理開始指示の操作に基づいて移動処理が実行されてもよい。かかるケースを本発明の第2実施形態として、以下に詳しく説明する。
【0109】
第2実施形態に係る撮影装置の基本構成は、前述した撮影装置10と略同様であり、
図3に示す通りである。すなわち、第2実施形態に係る撮影装置は、撮影部20と処理部30(プロセッサ)とを備える。処理部30は、設定処理、抽出処理、移動処理、ズーム処理、及び記録処理を実行する。
【0110】
設定処理では、初期設定の内容又はユーザの指示操作に基づき、抽出範囲を画角内に設定する。抽出処理は、前述した抽出処理と同様の処理であり、この処理では、抽出範囲に映る抽出映像を抽出する。第2実施形態では、ユーザが、例えば撮影装置を動かして画角を変更させながら抽出映像内の被写体を追尾し、その被写体をタッチパネル上でタッチする等して指定する。これにより、指定された被写体が追尾対象として設定される。
【0111】
移動処理では、追尾対象の被写体が抽出範囲内に入るように抽出範囲を経時的に移動させる。このような移動処理が実行されることで、抽出範囲が移動している間の抽出映像には、常に被写体の映像が含まれることになる。また、移動処理では、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器40に表示させる。なお、第2実施形態では、ユーザが追尾対象の被写体を指定した後に所定のボタン操作等を行うと、これを契機として処理部30が移動処理を実行する。
【0112】
ズーム処理は、電子ズーム処理及び光学ズーム処理であり、いずれのズーム処理においても、抽出映像内の被写体の映像に対してズームを行う。例えば、被写体が奥行き方向に移動することで被写体映像比率が変化した場合、処理部30は、被写体と撮影装置との距離に応じて抽出範囲のサイズを変えるために電子ズーム処理を実行する。また、電子ズーム処理によって抽出映像の画質が粗くなって画質が低下した場合、処理部30は、低下した画質を改善するために光学ズーム処理を実行し、若しくは、ユーザに光学ズーム処理を促す通知を表示器40に表示する。
記録処理では、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。
【0113】
ところで、ズーム処理が移動処理中に実行された場合、ズームの前後で抽出範囲のサイズ、つまり、抽出映像の画素数が変化する。一方、抽出範囲の移動速度、つまり、単位時間あたりに抽出範囲が通過する画素数がズーム前後で同一であるとする。その場合、表示器40を通じて抽出映像を確認するユーザには、抽出範囲の移動速度が急変したように見えてしまう。
【0114】
第2実施形態では、移動処理中にズーム処理が実行された場合、ズーム処理後の移動処理では、処理部30が、ズーム処理で行われたズーム(詳しくは、電子ズーム又は光学ズーム)に応じた移動速度にて抽出範囲を移動させる。これにより、上述したズームに起因して抽出範囲の移動速度が急変するように見えてしまう状況を回避することができる。
【0115】
なお、第2実施形態の移動処理は、上述した被写体を追尾するために抽出範囲を移動させるケースに限定されない。例えば、抽出範囲を画角の一端から他端までスライド移動させるケース、つまり、パニングモードが選択された場合の移動処理であってもよい。このような移動処理の実行中にもズーム処理を実行することができ、ズーム処理後の移動処理では、処理部30がズームに応じた移動速度にて抽出範囲を移動させるとよい。
【0116】
以上までに説明してきた第2実施形態によれば、動画像である基準映像を撮影する撮影部20を有する撮影装置を用いた撮影方法として、設定工程と抽出工程とズーム工程と移動工程と記録工程とを含む撮影方法が実現可能である。設定工程では、イメージセンサ150によって基準映像を撮影する際の画角内に、その画角よりも小さい抽出範囲を設定する。抽出工程では、抽出範囲の抽出映像を基準映像から抽出する。ズーム工程では、抽出映像内の被写体の映像に対してズーム(光学的ズーム又は電子的ズーム)を行う。移動工程では、画角における抽出範囲を、ズーム工程で行われたズームに応じた移動速度にて経時的に移動させる。記録工程では、移動工程により抽出範囲が移動している間の抽出映像を記録媒体に記録する。
【符号の説明】
【0117】
10 撮影装置
12,12X 撮影装置本体
14 筐体
20 撮影部
30 処理部
40 表示器
50 操作部
60 検出器
70 外部モニタ
110 レンズユニット
112 ズームレンズ
114 フォーカスレンズ
120 レンズ駆動部
130 絞り部
140 シャッタ
150 イメージセンサ
160 A/Dコンバータ
210 制御処理部
220 映像処理部
230 内蔵メモリ
240 メモリカード
250 バッファ
260 カードスロット
310 レリーズボタン
320 ズームレバー
330,340 操作ダイヤル
350 十字ボタン
C 鉛直軸