(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】画像処理装置、画像処理方法、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231219BHJP
H04N 23/68 20230101ALI20231219BHJP
H04N 7/18 20060101ALI20231219BHJP
G06T 3/00 20060101ALI20231219BHJP
【FI】
H04N23/60 500
H04N23/68
H04N23/60 300
H04N7/18 U
G06T3/00 775
(21)【出願番号】P 2021501648
(86)(22)【出願日】2019-12-26
(86)【国際出願番号】 JP2019051278
(87)【国際公開番号】W WO2020170606
(87)【国際公開日】2020-08-27
【審査請求日】2022-11-14
(31)【優先権主張番号】P 2019029888
(32)【優先日】2019-02-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】小曽根 卓義
(72)【発明者】
【氏名】唯野 隆一
(72)【発明者】
【氏名】山本 洋司
【審査官】村山 絢子
(56)【参考文献】
【文献】国際公開第2018/211782(WO,A1)
【文献】特開2016-105534(JP,A)
【文献】特開2006-295626(JP,A)
【文献】特開2009-147727(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/00
H04N 23/40-23/76
H04N 7/18
G06T 3/00-5/50
(57)【特許請求の範囲】
【請求項1】
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する実効切り出し領域設定部と、
前記揺れ補正部で揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、前記実効切り出し領域設定部で設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部と、を備えた
画像処理装置。
【請求項2】
前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記実効切り出し領域を設定する
請求項1に記載の画像処理装置。
【請求項3】
前記実効切り出し領域設定部は、トラッキングターゲットに関するトラッキングターゲット情報を用いて、前記実効切り出し領域を設定する
請求項1に記載の画像処理装置。
【請求項4】
前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記トラッキングターゲットを設定する
請求項3に記載の画像処理装置。
【請求項5】
前記実効切り出し領域設定部は、前記トラッキングターゲットについての画面内での配置位置を指定する操作情報を用いて、前記実効切り出し領域を設定する
請求項3に記載の画像処理装置。
【請求項6】
前記実効切り出し領域設定部は、画像の出力領域を指定する操作情報を前記実効切り出し領域の設定に用いる
請求項1に記載の画像処理装置。
【請求項7】
前記実効切り出し領域設定部は、画像のアスペクト比を指定する操作情報を前記実効切り出し領域の設定に用いる
請求項1に記載の画像処理装置。
【請求項8】
前記実効切り出し領域設定部は、画像データのフレーム毎に行うはみ出し防止処理として、
前記揺れ補正部が揺れ補正を行った天球モデルの座標上で前記要求切り出し領域を設定する第1処理と、
撮像領域内で前記要求切り出し領域の変動を許容する可動領域を求める第2処理と、
前記要求切り出し領域が前記可動領域内に収まるように修正することで前記実効切り出し領域を設定する第3処理と、を行う
請求項1に記載の画像処理装置。
【請求項9】
前記第2処理では、前記可動領域を、
処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレーム、
又は、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレーム、
又は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレーム、
を含んで連続する複数フレームの各撮像領域を用いて設定する
請求項8に記載の画像処理装置。
【請求項10】
前記可動領域は、前記複数フレームの各フレームについての揺れ補正を行った状態の撮像領域に共通に含まれる範囲とする
請求項9に記載の画像処理装置。
【請求項11】
前記可動領域は、前記複数フレームの各フレームについての撮像領域の各端点の変化の低周波変動成分を各フレームの撮像領域内に収まるようにしたときに示される範囲とする
請求項9に記載の画像処理装置。
【請求項12】
前記第3処理は、前記可動領域内に要求切り出し領域が収まるまで、前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることにより行う
請求項8に記載の画像処理装置。
【請求項13】
前記第3処理において前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることによっては前記要求切り出し領域を前記可動領域内に収められない場合は、前記要求切り出し領域を回転させることで、前記要求切り出し領域を前記可動領域内に収めるようにする
請求項12に記載の画像処理装置。
【請求項14】
前記揺れ補正部は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて、各フレームに対応する前記姿勢情報を取得し、揺れ補正に用いる
請求項1に記載の画像処理装置。
【請求項15】
前記揺れ補正部は、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報を用いて揺れ補正を行う
請求項1に記載の画像処理装置。
【請求項16】
前記揺れ補正部は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルへの貼付処理を行う
請求項1に記載の画像処理装置。
【請求項17】
前記揺れ補正部は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータを用いて補正キャンセルを行う
請求項16に記載の画像処理装置。
【請求項18】
動画を構成する画像データと対応するメタデータを含む画像ファイルについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部を備えた
請求項1に記載の画像処理装置。
【請求項19】
画像処理装置が、
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行い、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定し、
前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う
画像処理方法。
【請求項20】
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う処理と、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する処理と、
前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理と、
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置、画像処理方法、プログラムとして適用される画像処理についての技術分野に関する。
【背景技術】
【0002】
撮像装置で撮像した動画について各種の補正などの画像処理を行う技術が知られている。
下記特許文献1では撮像装置の姿勢データを用いて画像データに対し手ぶれ補正や画像歪み補正を行うことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで昨今は、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像補正等を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。
そこで本開示では、揺れ補正や画像切り出しを加味した高品質な画像処理を容易に行うことができるようにする技術を提案する。
【課題を解決するための手段】
【0005】
本技術に係る画像処理装置は、動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する実効切り出し領域設定部と、前記揺れ補正部で揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、前記実効切り出し領域設定部で設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部と、を備える。
例えば撮像装置で撮像された画像における手ぶれ(camera shake)等に起因する揺れ(フレーム間揺れ:interframe shake)を天球モデル上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し領域をユーザの操作等に基づいて設定する。このとき、ユーザの操作などに応じて設定した要求切り出し領域(requested cropping area)を、揺れ補正(interframe shake correction)を有効に保つ可動領域からはみ出さないように修正した実効切り出し領域(effective cropping area)を設定し、これに基づいて切り出しを行う。
【0006】
上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記実効切り出し領域を設定することが考えられる。
例えば動画ファイルを一時停止した画面上でのユーザの操作により、切り出し領域の指定操作がなされた場合、その操作情報を反映するように実効切り出し領域を設定する。
【0007】
上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、トラッキングターゲットに関するトラッキングターゲット情報を用いて、前記実効切り出し領域を設定することが考えられる。
例えばトラッキングターゲットが画像内に含まれるように実効切り出し領域を設定する。
特にこの場合、本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記トラッキングターゲットを設定することが考えられる。
例えば動画ファイルを一時停止した画面上でのユーザの操作により、トラッキングしたいターゲットの被写体や当該トラッキングターゲットに関する指定がなされた場合、その操作情報を反映するように実効切り出し領域を設定する。
【0008】
上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、前記トラッキングターゲットについての画面内での配置位置を指定する操作情報を用いて、前記実効切り出し領域を設定することが考えられる。
トラッキングターゲットについて画面内での配置位置とは、画面表示される範囲でトラッキングターゲットとされた被写体が表示される位置(例えば画面中央、画面右上など)である。ユーザは任意に画面内の配置位置を指定できるようにする。
【0009】
上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、画像の出力領域を指定する操作情報を前記実効切り出し領域の設定に用いることが考えられる。
例えばユーザの操作により出力する画像の領域を指定できるようにし、その操作情報を用いて実効切り出し領域を設定する。
【0010】
上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、画像のアスペクト比を指定する操作情報を前記実効切り出し領域の設定に用いることが考えられる。
例えばユーザの操作により出力する画像のアスペクト比(画像の縦サイズと横サイズの比)を指定できるようにし、その操作情報を用いて実効切り出し領域を設定する。
【0011】
上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、画像データのフレーム毎に行うはみ出し防止処理として、前記揺れ補正部が揺れ補正を行った天球モデルの座標上で要求切り出し領域を設定する第1処理と、撮像領域内で前記要求切り出し領域の変動を許容する可動領域を求める第2処理と、前記要求切り出し領域が前記可動領域内に収まるように修正することで前記実効切り出し領域を設定する第3処理と、を行うことが考えられる。
この第1,第2,第3処理により、はみ出し防止処理は、操作情報に基づく切り出し領域、例えばユーザの画像の出力領域の指定やトラッキング状態を反映して設定した切り出し領域を、揺れ補正が有効な範囲に収める処理となる。
【0012】
上記した本技術に係る画像処理装置においては、前記第2処理では、前記可動領域を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレーム、又は、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレーム、又は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレーム、を含んで連続する複数フレームの各撮像領域を用いて設定することが考えられる。
即ち処理対象のフレームを含んで前後に連続する複数フレーム、又は処理対象のフレームを含んで時間的後方に連続する複数フレームの撮像領域を用いて可動領域を設定する。
【0013】
上記した本技術に係る画像処理装置においては、前記可動領域は、前記複数フレームの各フレームについての揺れ補正を行った状態の撮像領域に共通に含まれる範囲とすることが考えられる。
各フレームについて揺れ補正を行った状態の撮像領域に共通に含まれる領域は、複数フレームにわたって被写体が存在する範囲となる。
【0014】
上記した本技術に係る画像処理装置においては、前記可動領域は、前記複数フレームの各フレームについての撮像領域の各端点の変化の低周波変動成分を各フレームの撮像領域内に収まるようにしたときに示される範囲とすることが考えられる。
各フレームについて撮像領域の各端点の変化の低周波変動成分とは、各端点の位置変動を時間軸方向(フレーム進行方向)にとらえた場合の波形をローパスフィルタに通したときに観測される波形に相当する変動といえる。
【0015】
上記した本技術に係る画像処理装置においては、前記第3処理は、前記可動領域内に切り出し領域が収まるまで、前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることにより行うことが考えられる。
即ち可動領域に収まるまで必要な距離だけ要求切り出し領域を回転させずに移動させる。
【0016】
上記した本技術に係る画像処理装置においては、前記第3処理において前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることによっては前記要求切り出し領域を前記可動領域内に収められない場合は、前記要求切り出し領域を回転させることで、前記要求切り出し領域を前記可動領域内に収めるようにすることが考えられる。
即ち回転をさせない状態では可動領域に収まらないときのみ要求切り出し領域を回転させる。
【0017】
上記した本技術に係る画像処理装置においては、前記揺れ補正部は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて、各フレームに対応する前記姿勢情報を取得し、揺れ補正に用いることが考えられる。
撮像を行う撮像装置において画像データに対してメタデータが対応づけられる。この場合の例えば撮像装置に加えられた加速度や角速度などの情報がメタデータとして含まれることを想定する。
【0018】
上記した本技術に係る画像処理装置においては、前記揺れ補正部は、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報を用いて揺れ補正を行うことが考えられる。
撮像素子のローリングシャッター方式により1フレームのライン毎に露光期間が時間的にずれる場合、ラインのタイミング毎に姿勢は異なる。この場合に各ラインについては重心位置のタイミングを基準とする。
【0019】
上記した本技術に係る画像処理装置においては、前記揺れ補正部は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルへの貼付処理を行うことが考えられる。
例えば撮像装置においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。
【0020】
上記した本技術に係る画像処理装置においては、前記揺れ補正部は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータを用いて補正キャンセルを行うことが考えられる。
座標変換パラメータとしては、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠(画角を含めた画像の範囲)や撮像画像の座標系を変化させる場合の情報である。
【0021】
上記した本技術に係る画像処理装置においては、動画を構成する画像データと対応するメタデータを含む画像ファイルについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部を備えることが考えられる。
動画としての画像ファイルを画像処理の対象とするときにフレーム毎のメタデータを記憶する。
【0022】
本技術に係る画像処理方法は、画像処理装置が、動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行い、要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定し、前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行うものである。
これにより操作情報に基づく切り出し領域の設定には、はみ出し防止処理が加えられるようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。
【図面の簡単な説明】
【0023】
【
図1】本技術の実施の形態で用いられる機器の説明図である。
【
図3】実施の形態の撮像装置における画像の補正処理の説明図である。
【
図4】実施の形態の情報処理装置のブロック図である。
【
図5】実施の形態の画像処理装置としての機能構成の説明図である。
【
図6】実施の形態の処理の流れの例の説明図である。
【
図7】実施の形態の処理の流れの例の説明図である。
【
図8】実施の形態の処理の流れの例の説明図である。
【
図9】実施の形態の画像ファイル及びメタデータの内容の説明図である。
【
図10】レンズ歪み補正に関するメタデータの説明図である。
【
図11】実施の形態の画像処理に関する画面遷移の説明図である。
【
図12】実施の形態の切り出し領域指定の説明図である。
【
図13】実施の形態のトラッキング指定の説明図である。
【
図15】実施の形態の天球モデルへの貼付の説明図である。
【
図16】実施の形態のIMUデータのサンプルタイミングの説明図である。
【
図17】実施の形態の出力画像と天球モデルの対応付けの説明図である。
【
図18】実施の形態の出力座標平面の回転と透視射影の説明図である。
【
図19】実施の形態のはみ出し防止処理の概要の説明図である。
【
図20】実施の形態のはみ出し防止処理におけるアベイラブルエリアの算出の説明図である。
【
図21】実施の形態のアベイラブルエリアの作り方の説明図である。
【
図22】実施の形態のアベイラブルエリアの作り方の説明図である。
【
図23】実施の形態のアベイラブルエリアの拡張の説明図である。
【
図24】実施の形態のはみ出し防止処理における表示範囲の修正の説明図である。
【
図25】実施の形態のはみ出し防止処理の手順の説明図である。
【
図26】実施の形態のレンズによるキャプチャードエリアの違いの説明図である。
【発明を実施するための形態】
【0024】
以下、実施の形態を次の順序で説明する。
<1.画像処理装置として適用できる機器の構成>
<2.画像ファイル及びメタデータ>
<3.画面遷移概要>
<4.画像処理>
<5.まとめ及び変形例>
【0025】
<1.画像処理装置として適用できる機器の構成>
以下の実施の形態では、主にスマートフォンなどの携帯端末により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。
【0026】
図1Aは画像ソースと、画像ソースから画像ファイルMFを取得する画像処理装置としての例を示している。
画像ソースとしては撮像装置1、サーバ4、記録媒体5などが想定される。
画像処理装置としてはスマートフォンなどの携帯端末2やパーソナルコンピュータ3などが想定される。
【0027】
画像ソースとしての撮像装置1は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルMFを有線通信や無線通信を介して携帯端末2やパーソナルコンピュータ3に転送する。
サーバ4はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置1で撮像された画像ファイルMFを提供できる装置を指す。このサーバ4がなんらかの伝送路を介して画像ファイルMFを携帯端末2やパーソナルコンピュータ3に転送することが考えられる。
【0028】
記録媒体5はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置1で撮像された画像ファイルMFが記録されたリムーバブル記録媒体を指している。この記録媒体5から読み出された画像ファイルMFが携帯端末2やパーソナルコンピュータ3に読み取られることが考えられる。
【0029】
画像処理装置としての携帯端末2やパーソナルコンピュータ3は、以上の画像ソースから取得した画像ファイルMFに対する画像処理が可能とされている。ここでいう画像処理とは、例えば揺れ補正処理、切り出し領域設定処理、実効切り出し領域画像生成処理を含む。
揺れ補正処理は、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて行う揺れ補正処理である。
切り出し領域設定処理は、画像の切り出し領域をユーザの操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う処理である。
実効切り出し領域画像生成処理は、揺れ補正処理が行なわれた状態で平面に投影した画像について、はみ出し防止処理を施した切り出し領域(実効切り出し領域CL)で画像を切り出すことで、実効切り出し領域画像を生成する処理である。切り出した画像は出力画像とすることができる。
【0030】
なお、或る携帯端末2やパーソナルコンピュータ3が、画像処理装置として機能する他の携帯端末2やパーソナルコンピュータ3に対する画像ソースとなることもある。
【0031】
図1Bは、画像処理装置として機能する1つの機器が画像ソースを兼ねる場合としての撮像装置1や携帯端末2を示している。
例えば撮像装置1の内部のマイクロコンピュータ等が上記の画像処理を行う。つまり撮像装置1は撮像によって生成した画像ファイルMFを、そのまま上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができるものとする。
【0032】
携帯端末2も同様であり、撮像機能を備えることで画像ソースとなり得るため、撮像によって生成した画像ファイルMFについて上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができる。
もちろん撮像装置1や携帯端末2に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
【0033】
以上のように実施の形態の画像処理装置として機能する装置及び画像ソースは多様であるが、以下では、撮像装置1が画像ソースとなり、携帯端末2が画像処理装置とされる例で説明している。即ち撮像装置1での撮像によって形成された画像ファイルMFを携帯端末2に転送し、携帯端末2において、取得した画像ファイルMFに対する画像処理が行われる例である。
【0034】
まず画像ソースとなる撮像装置1の構成例を
図2で説明する。
なお
図1Bで説明したように携帯端末2で撮像した画像ファイルMFについてその携帯端末2で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置1と同等の構成を携帯端末2が備えればよいことになる。
【0035】
図2に示すように撮像装置1は、レンズ系11、撮像素子部12、カメラ信号処理部13、記録制御部14、表示部15、出力部16、操作部17、カメラ制御部18、メモリ部19、ドライバ部22、センサ部23を有する。
【0036】
レンズ系11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像素子部12に集光される。
なお、図示していないがレンズ系11には手ぶれ等による画像の揺れ(interframe shake)及びブラー(blur)を補正する光学手ぶれ補正機構(optical image stabilization mechanism)が設けられている場合がある。
【0037】
撮像素子部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12a(撮像素子)を有して構成される。
この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系11側ではなく、イメージセンサ12a側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構(balanced optical image stabilization mechanism)の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ(interframe shake)に加えて後述するがフレーム内のブラーも合わせて補正される。
【0038】
カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部13は各種補正処理も行う。但し手ぶれ補正については、撮像装置1内で行う場合もあれば、行わない場合も想定される。
【0039】
前処理では、撮像素子部12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
【0040】
カメラ信号処理部13で行われる各種補正処理(撮像装置1の内部補正)については
図3に例を挙げる。
図3ではレンズ系11で行われる光学手ぶれ補正とともに、カメラ信号処理部13で行われる補正処理を、その実行順序により例示している。
処理F1としての光学手ぶれ補正では、レンズ系11のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ12aのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ12aに結像するようにされる。このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正(electrical image stabilization)のみ、または、光学手ぶれ補正のみが行われる場合もある。
【0041】
カメラ信号処理部13では処理F2から処理F6までの処理が各画素に対する空間座標変換により行われる。
処理F2ではレンズ歪み補正が行われる。
処理F3では電子手ぶれ補正の1つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばCMOS型のイメージセンサ12aによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
【0042】
処理F4ではロール補正が行われる。即ち電子手ぶれ補正の1つの要素としてのロール成分の補正が行われる。
処理F5では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理F6では、電子手ぶれ補正の1つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
【0043】
カメラ信号処理部13におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルMFの生成を行う。また静止画ファイルとしてJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部13はカメラ制御部18からの情報等を用いて、画像ファイルMFに付加するメタデータの生成も行う。
また
図2では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルMFには動画としての画像データとともに音声データも含まれるようにしてもよい。
なお、この画像データは予め設定されたアスペクト比を持ち、画像データのフレーム全体が後述する撮像領域(captured area)に相当する。
【0044】
記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像ファイルMFやサムネイル画像等を記録する処理を行う。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよいし、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
【0045】
表示部15は撮像者に対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
【0046】
出力部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また出力部16はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【0047】
操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
【0048】
カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなど包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0049】
メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
【0050】
ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
【0051】
センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部23としては例えばIMU( inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ-、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、位置情報センサ、照度センサ等が搭載されていても良い。
【0052】
例えば以上の撮像装置1によって撮像され生成された動画としての画像ファイルMFは、携帯端末2等の画像処理装置に転送されて画像処理を施されることが可能とされる。
携帯端末2は、例えば
図4に示す構成を備えた情報処理装置として実現できる。なお、パーソナルコンピュータ3やサーバ4についても、同様に
図4の構成の情報処理装置により実現できる。
【0053】
図4において、情報処理装置70のCPU71は、ROM72に記憶されているプログラム、または記憶部79からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
【0054】
入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。
例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
【0055】
また入出力インタフェース75には、LCD或いは有機ELパネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスであったり、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
【0056】
入出力インタフェース75には、ハードディスクや固体メモリなどより構成される記憶部79や、モデムなどより構成される通信部80が接続される場合もある。
通信部80は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線/無線通信、バス通信などによる通信を行う。
【0057】
入出力インタフェース75にはまた、必要に応じてドライブ82が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体81が適宜装着される。
ドライブ82により、リムーバブル記録媒体81からは画像ファイルMF等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
【0058】
この情報処理装置70では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部80によるネットワーク通信やリムーバブル記録媒体81を介してインストールすることができる。或いは当該ソフトウエアは予めROM72や記憶部79等に記憶されていてもよい。
【0059】
例えばこのようなソフトウエア(アプリケーションプログラム)によって、
図5のような機能構成が情報処理装置70のCPU71において構築される。
即ち情報処理装置70(CPU71)は、前処理部31、画像処理部32、UI処理部36としての機能を備える。
【0060】
前処理部31は例えば撮像装置1により生成された動画を構成する画像ファイルMFのインポート及びインポート時の前処理を行う機能である。
なお本明細書において「インポート」とは、情報処理装置70が例えば記憶部79などに取り込んでいることでアクセス可能な画像ファイルMFなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置1から携帯端末2に転送することを指すものではない。
前処理部31は、ユーザ操作等により指定された画像ファイルMFを画像処理対象となるようにインポートするとともに、前処理として画像ファイルMFに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
【0061】
画像処理部32は、インポートした画像ファイルMFについて画像処理を行う機能を示している。この画像処理部32としての機能は、図示する揺れ補正部33、実効切り出し領域設定部34、実効切り出し領域画像生成処理部35としての機能を有する。
【0062】
揺れ補正部33は、画像ファイルMFとして動画を構成する画像データとしてのフレーム毎に、そのフレームに対応する姿勢情報を用いて揺れ補正を行う機能である。例えば揺れ補正部33はフレーム毎に平面モデルから天球モデルへの貼付処理が行われた状態で揺れ補正を行う。即ち画像ファイルMFとしての画像の撮像時には、被写体画像は平面に投影されているが、これを天球モデルに投影した状態で揺れ補正を行うものである。
ここで、補正する「揺れ」とは、その画像ファイルMFの撮像を行った撮像装置1の動きによる画像の振動を指すが、特にはフレーム間で生じる振動成分(フレーム間での画像の揺らぎ)をいう。そして「(フレーム間)揺れ補正」とは、このようなフレーム間の振動としてあらわれる揺れを補正することを指す。上述したシフトや切り出しによる方式の電子手ぶれ補正は「揺れ補正」に含まれる。また、前述した光学手ぶれ補正では、「揺れ補正(interframe shake correction」と「ブラー補正」が同時に行われるとになる。
なお撮像素子部12がローリングシャッター方式のCMOS型のイメージセンサ12aを搭載する場合は、ライン毎に揺れ及びブラーの量は異なることになる。
【0063】
実効切り出し領域設定部34は、画像の実効切り出し領域をユーザの操作情報やトラッキングターゲットの情報などに基づいて設定する。この実効切り出し領域設定部34は、切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う機能を含む。
実効切り出し領域の設定については、ユーザの操作に応じて固定的な切り出し領域の設定をすることに限られず、ユーザのトラッキングターゲット(追尾対象)の指定に応じて、トラッキングターゲットを含むように実効切り出し領域の設定を行うようにしてもよい。
この場合、実効切り出し領域設定部34は、画像解析やフレーム間比較などにより動画の各フレームにおいてトラッキングターゲットの位置を特定する処理も行う。
【0064】
実効切り出し領域画像生成処理部35は、揺れ補正部33で揺れ補正が行なわれた状態で天球モデルの仮想球面から平面に投影した画像から、実効切り出し領域設定部34によって指定される実効切り出し領域の画像である出力画像を切り出す処理を行う機能である。
【0065】
UI処理部36は、インポートや画像処理のためのユーザ操作の受け付けや、処理に応じた表示出力の制御などを行う機能である。具体的には後述するインポート画面、プレビュー画面、フレーミング画面、トリミング画面、スピード画面、アスペクト比設定画面、エクスポート画面といった各画面により、ユーザの操作の受付や表示の制御を行う。
【0066】
以上の
図5の機能による処理の詳細は後述する。
例えば撮像装置1と、
図5の機能を備えた情報処理装置70に該当する携帯端末2により、例えば
図6のような流れで処理が行われることになる。
【0067】
撮像装置1において撮像(ステップS91)、カメラプロセス(ステップS92)、メタデータ生成処理(ステップS93)、画像ファイル生成処理(ステップS94)が行われる。
ステップS91の撮像とは、撮像素子部12による撮像画像信号の出力(RAWデータ出力)を示している。
ステップS92のカメラプロセスはいわゆる現像処理であり、撮像画像信号に対してカメラ信号処理部13において行われる上述した各種の信号処理のことである。
図3で説明した各種の補正処理を含む。
またステップS93のメタデータ生成処理は、例えばセンサ部23により得られるIMUデータやカメラの制御信号に応じて画像に関連づけるメタデータを生成する処理であり、カメラ信号処理部13或いはカメラ制御部18において行われる。
カメラ信号処理部13では、ステップS92のカメラプロセスが行われた画像データとステップS93のメタデータ生成処理で生成されたメタデータを含めてステップS94の画像ファイル生成処理が行われ、画像ファイルMFが生成される。
【0068】
画像ファイルMFは上述のように何らかの経路を経て携帯端末2に取得される。
携帯端末2では画像ファイルMFのインポート時の前処理(ステップS95)として、画像ファイルMFを画像処理対象とし、また各フレームに対応づけたメタデータの記憶管理が行われる。
また、インポートされ前処理が行われた画像ファイルMFについてはステップS96の画像処理を任意の時点で行うことができる。この画像処理では、揺れ補正部33による揺れ補正や実効切り出し領域設定部34による実効切り出し領域設定、実効切り出し領域画像生成処理部35による平面投影及び切り出し処理等が行われる。
そして画像処理の経過や結果を表示或いは保存のためにステップS97として保存/表示処理が行われる。
このような流れにより、ユーザは撮像装置1で撮像した動画を携帯端末2において画像処理し、再生、記憶、アップロード等をすることができる。
【0069】
なお、
図1Bのように撮像装置1が本開示の画像処理装置としての画像処理機能を備える場合、カメラ制御部18やカメラ信号処理部13において、
図5のような機能を備えるようにすれば良い。
その場合の処理の流れを
図7に示している。即ち撮像装置1内でステップS95の前処理、ステップS96の画像処理、ステップS97の保存/表示処理も行われるようにした場合を示している。
また
図1Bでは携帯端末2が撮像を行う場合も言及したが、その場合、この
図7に示した処理が携帯端末2内で行われるようにすることが考えられる。
【0070】
図8は他の例として、RAWデータを画像処理対象とする場合を示している。
例えば破線で囲って示すように撮像と画像処理が撮像装置1と携帯端末2で行われる場合、撮像装置1ではステップS91の撮像により得た撮像画像信号(RAWデータ)と、ステップS93のメタデータ生成処理で生成したメタデータにより、ステップS94の画像ファイル生成処理を行って画像ファイルMFを生成する。RAWデータの場合は
図6,
図7のステップS92としたカメラプロセスは行われない。
携帯端末2では、このような画像ファイルMFに対して前処理(ステップS95)、画像処理(ステップS96)、保存/表示処理(ステップS97)を行う。
なお
図8のようにRAWデータを画像処理対象とする場合において、撮像装置1内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
付言すれば、カメラプロセスが行われる
図6,
図7の場合も、撮像装置1内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
【0071】
また
図8において一点鎖線で囲って示す撮像装置1(又は携帯端末2)は、撮像装置1内(又は携帯端末2内)で撮像やRAWデータを対象とした画像処理が行われる場合を示したものである。
即ち撮像装置1内で、ステップS95の前処理、ステップS96の画像処理、ステップS97の保存/表示処理が行われる場合も有り得る。
また携帯端末2内で、ステップS91の撮像、ステップS93のメタデータ生成処理、ステップS94の画像ファイル生成処理が行われる場合も有り得る。
【0072】
<2.画像ファイル及びメタデータ>
画像ファイルMFの内容とメタデータの内容を説明する。
図9Aは画像ファイルMFに含まれるデータを示している。図示のように画像ファイルMFには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
【0073】
「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば2チャネルステレオ音声データが記録される。
「ムービー」は動画データであり、動画を構成する各フレーム(#1、#2、#3・・・)としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム(#1、#2、#3・・・)に対応づけられた付加情報が記述される。
【0074】
メタデータの内容例を
図9Bに示す。例えば1つのフレームに対して、IMUデータ、座標変換パラメータHP、タイミング情報TM、カメラパラメータCPが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。
【0075】
IMUデータとしては、ジャイロ(角速度データ)、アクセル(加速度データ)、サンプリングレートが記述される。
センサ部23として撮像装置1に搭載されるIMUでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため1フレーム期間に多くのIMUデータサンプルが得られるものとなっている。
【0076】
そのため角速度データとしては、
図9Cに示すジャイロサンプル#1、ジャイロサンプル#2・・・ジャイロサンプル#nというように、1フレームについてn個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル#1、アクセルサンプル#2・・・アクセルサンプル#mというように、1フレームについてm個のサンプルが対応づけられる。
n=mの場合もあるし、n≠mの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばIMUデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報TMにおけるIMUサンプルタイミングオフセットとして持つようにされる。
【0077】
座標変換パラメータHPは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な変化も含む。
そして、座標変換パラメータHPとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
【0078】
レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの1つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図10Aにはレンズ系11とイメージセンサ12aの模式図において、像高Y、角度α、入射瞳位置d1、射出瞳位置d2を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ12aの各画素についての入射角度を知りたいために用いられる。そのため像高Y、角度αの関係がわかれば良い。
【0079】
図10Bはレンズ歪み補正前の画像110とレンズ歪み補正後の画像111を示している。最大像高H0は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高H1は歪み補正後の最大像高である。
像高Y、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高H0と、N個の各像高に対する入射角度のデータd0、d1、・・・d(N-1)となる。“N”は一例として10程度であることが想定される。
【0080】
図9Bに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。
【0081】
フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。
【0082】
電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。
【0083】
なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部2のイメージセンサ12aの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの1つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部12のイメージセンサ12aに結像したときの状態に戻すことができる。
【0084】
またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
【0085】
メタデータにおけるタイミング情報TMとしては、露光時間(シャッタースピード)、露光開始タイミング、読み出し時間(幕速)、露光フレーム数(長秒露光情報)、IMUサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとIMUデータを対応づけるために用いられる。
但しイメージセンサ12aがCCDの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
【0086】
メタデータにおけるカメラパラメータCPとしては、画角(焦点距離)、ズーム位置、レンズ歪み情報が記述される。
【0087】
<3.画面遷移概要>
携帯端末2における画像処理時の画面遷移の例を説明する。
図11に携帯端末2の表示画面上に現れる各種画面の遷移を示している。各画面について簡単に説明する。
なお、以下説明する各画面のうち、プレビュー画面102、フレーミング画面103、トリミング画面104、スピード画面105、アスペクト比設定画面106、エクスポート画面108で出力される画像は、後述する
図14のステップST19の処理を経た出力画像oPDである。
但し、これらの画面で出力される画像は、必ず下
図14の処理を経た出力画像oPDでなくてもよいが、その場合、ユーザが設定したり視認している領域と、最終的な
図14の処理後の領域や歪み具合が若干異なる可能性もある。
【0088】
[インポート画面101]
動画処理のためのアプリケーションプログラムを起動すると、インポート画面101が現れる。
インポート画面101は動画処理開始前の画面である。このインポート画面101では画像ファイルMFのサムネイル等が表示され、処理対象とする画像ファイルMFをユーザが選択できるようにしている。
選択された画像ファイルMFは処理対象の画像ファイルMFとしてインポート及び前処理される。
【0089】
[プレビュー画面102]
インポート画面101においてユーザが1又は複数の画像ファイルMFを選択する操作を完了することで、インポート処理を経て表示はプレビュー画面102に遷移する。プレビュー画面102ではインポートされた画像処理可能な動画(画像ファイルMF)のリストが表示されるとともに、その中で指定された動画のプレビュー再生が可能とされる。
【0090】
プレビュー画面102に示される画像ファイルMFについては、ユーザはプレビュー画面を起点として各種の画像処理のための操作、例えば明るさを変えたり色味を変えたりするなどの操作を行うことができる。
プレビュー画面102では、ユーザは選択した動画(画像ファイルMF)の再生、動画の追加、削除、画像処理のリセットなどの操作を行うことができる。
動画再生はプレビュー画面102上で行われる。
画像処理対象とする動画の追加や新規プロジェクト(新たな画像処理アクション)の操作が行われた場合、インポート画面101に戻って選択が可能とされる。動画の削除(画像処理対象からの除外)はプレビュー画面102において可能とされる。
【0091】
[フレーミング画面103]
プレビュー画面102からの所定の操作により、表示はフレーミング画面103に遷移する。フレーミング画面103はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にフレーミング処理するための画面である。
このフレーミング画面103では、例えば処理対象となっている動画の或るフレームの静止画像が表示された状態において、ユーザはそのフレームの画像上で、画像の実効切り出し領域の指定、画像の拡大縮小、画像の回転、トラッキングターゲット(追尾対象)の指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
その後、フレーミング画面103からの所定の操作により、表示はプレビュー画面102に戻る。
【0092】
フレーミング画面103で表示される画像は、或るフレーム(動画の先頭フレームや、一時停止されているフレームなど)の画像全体であったり、画像全体から切り出された一部である。ユーザは表示されている範囲を上下左右に移動させたり、拡大・縮小・回転の操作を行うことで、画像の実効切り出し領域を指定できる。
例を挙げる。
図12Aは、或るフレームの画像全体114と、表示枠115を示している。この表示枠115の範囲がフレーミング画面103で表示される範囲であるとする。つまりフレーミング画面103上では、画像全体114のうちの一部が切り出されて表示されている。この表示枠115の範囲内が実効切り出し領域に相当する。
【0093】
ユーザがフレーミング画面103上で例えばドラッグ操作やピンチアウト/ピンチイン操作などを行うことで、表示枠115に含まれる範囲を移動させたり、拡大・縮小・回転をさせることができる。
例えば画面上のドラッグ操作により、
図12Aから
図12Bのように表示枠115に含まれる範囲が移動される。つまり表示枠115に対して画像が上下左右に移動されることで、表示される範囲が変化する。
またユーザが例えばピンチアウト/ピンチイン操作により画像の拡大・縮小を指示することで、表示枠115に含まれる範囲が変化する。例えば
図12Bから縮小操作が行われると、
図12Cのようになる。つまり表示枠115に含まれる(ユーザが視認している)画像が縮小されるように、表示枠115に対して画像全体114が縮小され、表示枠115に含まれる被写体の範囲が広くなる。即ち表示されている画像が縮小されることで、より広い範囲が表示される状態となる。
図示しないが、逆にユーザが拡大操作を行うことで、表示枠115に対して画像全体114が拡大され、表示枠115に含まれる被写体の範囲が狭くなる。即ちより狭い範囲が拡大されて表示される状態となる。
このような表示枠115で表示される範囲についての操作は、ユーザによる切り出し領域の指定操作となる。
【0094】
またユーザは、以上のように実効切り出し領域を指定するとともにトラッキングターゲット及びその配置位置を指定できる。
例えばフレーミング画面103においてユーザがトラッキングターゲット指定のための操作を行うと、
図13Aのようにターゲット指定照準116が表示される。ユーザはドラッグ操作やタップ操作などでターゲット指定照準の位置を任意に指定できる。例えば
図13Bのように人の顔の部分を指定することができる。
この
図13Bの状態では、当該人物の顔をトラッキングターゲットとして指定したことになり、さらに、トラッキングターゲットの画面内で右上に配置するという、トラッキングターゲットの画面内での配置位置を指定したことにもなる。
【0095】
つまりフレーミング画面103では、表示枠115に含まれる範囲の選択により、実効切り出し領域を指定することができ、さらに表示枠115に含まれる範囲とトラッキングターゲット指定の操作を組み合わせることで、トラッキングターゲットの指定及びその配置位置の指定の操作が可能とされる。
【0096】
以上の操作は、表示されている1フレームの静止画像上の操作として行われるが、同じ動画内の他のフレームについても、その指定が反映される。
表示枠115内の画像範囲の移動、拡大、縮小、回転のみでトラッキングターゲットが指定されていない場合は、各フレームでは、その画像範囲の移動、拡大・縮小・回転の操作で指定された範囲が固定的に実効切り出し領域となる。
一方で上記のように表示枠に含める画像範囲とともにトラッキングターゲット及びその配置位置が指定された場合、動画内の他のフレームは、その指定に応じて実効切り出し領域が計算されることになる。即ち動画を構成する各フレームでは、トラッキングターゲットの画面内位置も変化するため、フレーム毎に実効切り出し領域は計算されて変化する。
具体的には、各フレームでは、表示枠115の拡大縮小操作で指定された実効切り出し領域のサイズにおいて、指定されたトラッキングターゲットが、指定された配置位置に位置するように、実効切り出し領域がそれぞれ計算される。
トラッキングターゲットの大きさの変化に応じて、適切に実効切り出し領域の大きさを変化させても良い。
【0097】
なお、フレーミング画面103では動画を再生表示しながら表示枠115に含まれる範囲の移動、拡大、縮小、回転の操作ができるようにしたり、トラッキングターゲット指定やその配置位置の指定操作ができるようにしてもよい。
【0098】
[トリミング画面104]
プレビュー画面102からの所定の操作により、表示はトリミング画面104に遷移する。トリミング画面104はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にトリミング処理(時間軸方向のカット)するための画面である。
トリミング画面104では、動画内でトリミングする範囲を選択できる。例えば動画の時間軸方向にバーを表示し、切り取りする範囲の開始点、終了点を指定するような操作が可能とされる。
トリミング画面104からの所定の操作により、表示はプレビュー画面102に戻る。
なお、本明細書においてでは、トリミングは1フレーム内の一部領域を切り出す処理を含まない。
【0099】
[スピード画面105]
プレビュー画面102からの所定の操作により、表示はスピード画面105に遷移する。スピード画面105はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にスピード処理するための画面である。
例えばスピード画面105では、動画内でスピード(再生速度)を設定する範囲を選択したり、当該範囲の再生速度を指定するような操作が可能とされる。
スピード画面105からの所定の操作により、表示はプレビュー画面102に戻る。
より具体的には、メタデータに含まれるタイミング情報TMで設定されているフレームレートと異なるフレームレートとすることで、スローモーションや高速再生を行うための再生速度である。
【0100】
[アスペクト比設定画面106]
プレビュー画面102からの所定の操作により、表示はアスペクト比設定画面106に遷移する。アスペクト比設定画面106はインポートした動画についてファイル単位で出力動画のアスペクト比を設定するための画面である。
なお、インポートした動画と設定された出力画像(出力動画)のアスペクト比が異なる場合は、フレーミング画面で行われる実効切り出し領域の設定と同様の意味合いを持つことがある。
即ち、フレーミング画面で実効切り出し領域が設定されていなくても、撮像領域から、アスペクト比が異なる出力画像の実効切り出し領域が設定されることになる。
例えばアスペクト比設定画面106では、「1:1」「4:5」「5:4」「16:9」「9:16」などのアスペクト比が選択可能とされる。
アスペクト比設定画面106からの所定の操作により、表示はプレビュー画面102に戻る。
【0101】
なお、アスペクト比設定画面106の機能の全部又は一部、例えばアスペクト比の一括選択操作は例えばプレビュー画面102上で表示させるダイアログなどにより操作可能としてもよい。
またアスペクト比設定画面106を、インポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を構成する複数フレームの全体のアスペクト比を設定できるようにするための画面としてもよい。
【0102】
[設定画面107]
プレビュー画面102からの所定の操作により、表示は設定画面107に遷移する。設定画面107では当該アプリケーションプログラムの動作等についての設定操作が可能とされる。
設定画面107からの所定の操作により、表示はプレビュー画面102に戻る。
【0103】
[エクスポート画面108]
プレビュー画面102からの所定の操作により、表示はエクスポート画面108に遷移する。エクスポート画面108は、上記各画面で行った画像処理内容を反映させた動画を書き出す処理を行っているときの画面である。即ちユーザは、各種画像処理の操作を行ったら、プレビュー画面102に戻ってエクスポートを指示する。これにより、エクスポート画面108に遷移し、画像処理内容どおりに加工された動画の書き出し処理が実行される。
書き出された動画は、ユーザは任意に記録したり、携帯端末2のネットワーク通信を介してウェブサイト、SNS(Social Networking Service)等にアップロードしてシェアしたりすることができる。
なお、書き出し処理中にユーザがキャンセル操作をおこなった場合や、書き出し処理が完了した場合、表示はプレビュー画面102に戻る。
【0104】
<4.画像処理>
以上の各画面でのユーザインタフェースを行いながら実行される動画に関する処理の具体例を説明していく。
図14は、
図5の前処理部31(CPU71)によって動画(画像ファイルMF)のインポート時に行われる前処理としての手順、及び画像処理部32(CPU71)によって行われる画像処理としての手順を示すとともに、各処理で用いる情報の関係性を示している。
【0105】
まず前処理について説明する。前処理はインポート画面101で画像処理対象として選択された画像ファイルMFに対して行われる。この前処理では、メタデータ抽出(ステップST1)、全IMUデータ連結(ステップST2)、メタデータの保持(ステップST3)、クオータニオン(撮像装置1の姿勢情報)への変換、保持(ステップST4)が行われる。
【0106】
ステップST1のメタデータ抽出としては、前処理部31は、対象の画像ファイルMFを読み込んで、
図9で説明したように画像ファイルMFに含まれているメタデータを抽出する。
なおステップST1,ST2,ST3,ST4の一部又は全部を撮像装置1側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
【0107】
前処理部31は、抽出されたメタデータのうち、IMUデータ(角速度データ(ジャイロサンプル)と加速度データ(アクセルサンプル))については、ステップST2で連結処理を行う。
これは、全フレームについて対応づけられているIMUデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するIMUデータを構築する処理となる。
そして連結したIMUデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置1の姿勢を表すクオータニオン(Quaternion)QDを算出し、これを記憶保持する。クオータニオンQDを算出するとしているのは一例である。
なお角速度データのみでクオータニオンQDを計算することもできる。
【0108】
前処理部31は、抽出されたメタデータのうち、IMUデータ以外のメタデータ、即ち座標変換パラメータHP、タイミング情報TM、カメラパラメータCPについては、ステップST3で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータHP、タイミング情報TM、カメラパラメータCPを記憶する。
【0109】
以上の前処理が行われることで、上述したプレビュー画面102を起点とする各画面によるインタフェースを介して、各種の画像処理が行われる。
図14の画像処理は、フレーミング画面103でユーザに指定される実効切り出し領域の情報を反映させながら、プレビュー画面102、フレーミング画面103、トリミング画面104、スピード画面105、アスペクト比設定画面106としての各画面で、画像ファイルMFの動画或いは一時停止中の静止画が再生される際に定常的に行われる処理を示している。
【0110】
画像処理部32(CPU71)は、動画1フレーム取り出し(ステップST11)、撮像装置内部補正キャンセル(ステップST12)、天球モデルへの貼り付け(ステップST13)、同期処理(ステップST14)、揺れ補正(ST15)としての各処理を行う。これらステップST11からST15の処理は、
図5の揺れ補正部33の機能による処理となる。
また画像処理部32(CPU71)は、トラッキング(ステップST16)、出力領域指定(ステップST17)、はみ出し防止(ステップST18)としての各処理を行う。これらステップST16、ST17、ST18の処理は、
図5の実効切り出し領域設定部34の機能による処理となる。
また画像処理部32(CPU71)は、平面投影及び切り出し(ステップST19)の処理を行う。このステップST19の処理は、
図5の実効切り出し領域画像生成処理部35の機能による処理となる。
【0111】
画像処理部32は、以上のステップST11からST19の各処理は、画像ファイルMFの画像再生の際に毎フレームについて行うことになる。例えば上述のフレーミング画面103やトリミング画面104等の各画面における画像表示の際に、ステップST11からST19の各処理が毎フレームについて行われる。
【0112】
ステップST11で画像処理部32は、フレーム番号FNに沿って動画(画像ファイルMF)の1フレームをデコードする。そして1フレームの画像データPD(#FN)を出力する。なお『(#FN)』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップST11でのデコード処理は不要である。
【0113】
ステップST12で画像処理部32は、1フレームの画像データPD(#FN)について撮像装置1で行われた内部補正をキャンセルする処理を行う。このために、前処理時に当該フレーム番号(#FN)に対応して記憶された座標変換パラメータHP(#FN)を参照し、撮像装置1で行われた補正とは逆補正を行う。これにより撮像装置1におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データiPD(#FN)を得る。
【0114】
ステップST13で画像処理部32は、各種補正がキャンセルされた状態の1フレームの画像データiPD(#FN)について天球モデルへの貼付を行う。このとき、当該フレーム番号(#FN)に対応して記憶されたカメラパラメータCP(#FN)、即ち画角、ズーム位置、レンズ歪み情報を参照する。
【0115】
図15に天球モデルへの貼付の概要を示す。
図15Aに画像データiPDを示している。像高hは画像中心からの距離である。図中の各円は像高hが等しくなる位置を示している。
この画像データiPDのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から
図15Bのような像高hと入射角φの関係の1次元のグラフとして表現する。入射角φは光線の角度(光軸から見た角度)である。
この1次元のグラフを撮像画像の真ん中を中心に1回転させて、各ピクセルと入射角の関係を求める。
それに従って
図15Cの画素G1から天球座標上の画素G2のように、画像データiPDの各画素について天球モデルMTへのマッピングを行うことになる。
【0116】
以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルMTの画像(データ)が得られる。この天球モデルMTは、その画像データiPDを元々撮像した撮像装置1の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルMTの画像を所定方向に回転させることで、揺れ補正が実現できることになる。
【0117】
ここで揺れ補正には撮像装置1の姿勢情報(クオータニオンQD)を用いることになる。このために画像処理部32はステップS14で同期処理を行うようにしている。
同期処理では、フレーム番号FNに対応して、ライン毎に適したクオータニオンQD(#LN)を特定し取得する処理を行う。なお『(#LN)』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
【0118】
なお、ライン毎のクオータニオンQD(#LN)を用いるのは、イメージセンサ12aがCMOS型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ12aがCCD型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンQD(#FN)を用いれば良い。
なお、イメージセンサ12aとしてのCCDやCMOSのグローバルシャッターの時でも電子シャッター(メカシャッターでも同様)を用いていると重心がずれるので、フレームの露光期間の中心(電子シャッターのシャッター速度に応じてずれる)のタイミングのクオータニオンを用いると良い。
【0119】
ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減/解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、CMOSのローリングシャッターではラインごとに露光期間が異なる。
【0120】
そこでステップST14の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンQDを取得するようにする。
図16には、撮像装置1の垂直期間の同期信号cVと、この同期信号cVから生成されるイメージセンサ12aの同期信号sV、及びIMUデータのサンプルタイミングを示すとともに、露光タイミング範囲120を示している。
露光タイミング範囲120は、ローリングシャッター方式で露光時間t4としたときの1フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号cVと同期信号sVの時間的なオフセットt0、IMUサンプルタイミングオフセットt1、読み出し開始タイミングt2、読み出し時間(幕速)t3、露光時間t4を示している。なお読み出し開始タイミングt2は同期信号sVから所定時間t2ofを経たタイミングとなる。
各IMUサンプルタイミングで得られる各IMUデータについてはフレームに紐づけられる。例えば期間FH1におけるIMUデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間FH1におけるIMUデータは次のフレームに紐付いたメタデータとされる。但し
図14のステップST2で全IMUデータを連結することで、各フレームとIMUデータの紐付けを解除し時系列でIMUデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心(破線Wのタイミング)に相当するIMUデータを特定する。これはIMUデータとイメージセンサ12aの有効画素領域との時間的な関係がわかれば計算できる。
【0121】
そこで当該フレーム(#FN)に対応するタイミング情報TMとして取得できる情報を用いて、各ラインの露光重心(破線Wのタイミング)に相当するIMUデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、IMUサンプルオフセット、フレームレートの情報である。
そして露光重心のIMUデータから計算されたクオータニオンQDを特定し、ライン毎の姿勢情報であるクオータニオンQD(#LN)とする。
【0122】
このクオータニオンQD(#LN)はステップS15の揺れ補正に提供される。
画像処理部32はステップS15の揺れ補正では、ステップS14でフレームの画像が貼り付けられた天球モデルMTの画像を、ライン毎にクオータニオンQD(#LN)を用いて姿勢の変化(揺れ)をキャンセルさせるように回転させることで、揺れ補正を行う。揺れ補正済天球モデルhMTの画像は、ステップST19の処理に送られる。
【0123】
そしてステップST19で画像処理部32は、揺れ補正済天球モデルhMTの画像を平面に投影し、切り出すことで、揺れ補正がなされた画像(出力画像データoPD)が得られる。
【0124】
この場合、天球モデルMTの回転により揺れ補正が実現されているとともに、天球モデルMTを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルMTは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルMTの回転がライン毎のクオータニオンQD(#LN)に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンQD(#LN)が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
【0125】
ステップS19で平面投影された後の画像と天球モデルMTの対応付けは次のようになる。
図17Aは、平面投影する矩形の座標平面131の一例を示している。平面投影される画像の各座標を(x,y)とする。
図17Bに示すように座標平面131を、天球モデルMTの真上に真ん中で接するように3次元空間上に配置(正規化)する。即ち、その座標平面131の中心が天球モデルMTの中心と一致し、かつ天球モデルMTと接する位置に配置されるようにする。
【0126】
この場合、ズーム倍率や実効切り出し領域CLのサイズに基づいて座標を正規化する。例えば
図17Aのように座標平面131の水平座標を0乃至outhとし、垂直座標を0乃至outvとする場合、outhおよびoutvが画像サイズとされる。そして例えば、次の式により座標を正規化する。
【0127】
【0128】
上記(数1)において、min(A、B)は、AおよびBのうち値が小さい方を返す関数である。また、「zoom」は、拡大縮小を制御するためのパラメータである。
またxnorm、ynorm、znormは、正規化したx、y、z座標である。
上記(数1)の各式により、座標平面131の座標は、半径1.0の半球の球面上の座標に正規化される。
【0129】
実効切り出し領域CLの向きを求めるための回転は
図18Aのように、座標平面131を回転行列演算により回転させる。即ち下記(数2)の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をz軸周りに回転させる回転角度である。また、チルト角は、座標をx軸周りに回転させる回転角度であり、ロール角は、y軸周りに回転させる回転角度である。
【0130】
【0131】
上記(数2)において、「Rt」はチルト角、「Rr」はロール角、「Rp」はパン角である。また、(xrot、yrot、zrot)は回転後の座標である。
【0132】
この座標(xrot、yrot、zrot)を透視射影での天球対応点算出に用いる。
図18Bのように、座標平面131を、天球表面に透視射影する(領域132)。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
【0133】
【0134】
(数3)において、xsph、ysph、zsphは座標平面131上の座標を天球モデルMTの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。
【0135】
以上は、実効切り出し領域設定部34による処理を考慮せずに説明したが、例えば以上のような手法で平面に投影された画像についての実効切り出し領域が、
図14のステップST16、ST17,ST18の処理で設定されることになる。
【0136】
ステップST16として画像処理部32はトラッキングを行う。
このトラッキング処理は、ユーザによる操作情報DR1により指定されたトラッキングターゲットが、現フレームの画像データPD(#FN)のうちで、どの位置に存在するかを検出する処理となる。
【0137】
操作情報DR1とは、
図13で説明したようにフレーミング画面103においてターゲット指定照準116を操作して、トラッキングターゲットを指定する操作の情報である。
画像処理部32は、トラッキングターゲットを指定する操作が行われた場合、指定された被写体を認識し、追尾対象として記憶する。そしてその後、フレーム毎に、当該トラッキングターゲットの画面内の位置を判定する処理を行っていくことになる。
トラッキングターゲットの画面内の位置の判定は、画像解析による被写体判定(例えば顔判定、人物判定など)を行ったり、前フレームのトラッキングターゲットの画面内位置情報TPpを用いて行う。
そして判定した現フレームの画像データPD(#FN)におけるトラッキングターゲットの画面内位置情報TPをステップS17の処理に提供する。画面内位置情報TPは、現在のフレームの座標系において、トラッキングターゲットが撮像されている範囲を座標値により示した情報であればよい。
【0138】
ステップST17で画像処理部32は出力領域指定を行う。これはユーザ操作による操作情報DR2に応じて要求切り出し領域CLrqを設定する処理である。画像のうちで最終的に出力画像として表示させようとする領域を要求切り出し領域CLrqとして指定する処理ともいえる。
ここでの要求切り出し領域CLrqの設定とは、次のステップST18の処理を行う前の仮設定(実際に切り出し処理を行う領域としての実効切り出し領域CLの候補)という意味である。このステップST17は、ユーザ操作やトラッキングターゲットの情報に基づいて実効切り出し領域CLを指定する処理であるが、後述するはみ出し防止処理で修正する前の実効切り出し領域CLを、要求切り出し領域CLrqと呼んでいる。
例えばはみ出し防止処理が行われない場合や、はみ出し防止処理が行われても実質的な修正が行われない場合など、ステップST17で設定される要求切り出し領域CLrqがそのまま実効切り出し領域CLとなる場合もある。
【0139】
ユーザにより入力される操作情報DR2としては、実効切り出し領域CLの指定操作、アスペクト比の選択操作、トラッキングターゲット配置位置の指定操作についての情報を含む。
実効切り出し領域の指定操作の操作情報とは、
図12で説明したようにフレーミング画面103において表示枠115に入る範囲を指定する操作の情報となる。
アスペクト比の選択操作の操作情報とは、アスペクト比設定画面106で選択したアスペクト比の操作情報である。アスペクト比設定画面106での選択により、例えばフレーミング画面103等における表示枠115のアスペクト比が変化することで、ユーザは任意のアスペクト比を指定した上で、そのアスペクト比の状態において、フレーミング画面103で実効切り出し領域を指定できる。
【0140】
トラッキングターゲット配置位置の指定操作の操作情報とは、
図13Bのように画面内でトラッキングターゲットをどの位置に配置するかを指定する操作の情報である。
トラッキングターゲットの配置位置の情報は、画像データPDのフレーム内の座標系ではなく、選択されたアスペクト比としての固定の表示枠115内の座標系としての座標値であればよい。
【0141】
画像処理部32はステップS17において、これらの操作情報DR2と、トラッキングターゲットの画面内位置情報TPを用いて、要求切り出し領域CLrqを設定する。
具体的には例えば、操作情報DR2における切り出し領域の指定操作とアスペクト比の選択操作に応じて切り出し領域としての座標範囲を計算する。そしてトラッキングターゲットの画面内位置情報TP(画像データPDのフレーム内での座標値)が、実効切り出し領域としての表示枠115内の座標系で配置位置として指定された座標値に一致(又は近接)するようにする。
【0142】
このようにすると、例えば
図13Bのように被写体となっている人の顔がトラッキングターゲットとされ、画面の中央より右上の位置にトラッキングターゲットの配置位置とされた場合、各フレームにおいて、顔の位置が中央より右上の位置になるように実効切り出し領域が設定されることになる。
【0143】
なお必ずしも、画面内位置情報TP(画像データPDのフレーム内での座標値)で示される領域(例えば顔画像の領域)の全部又は一部が、トラッキングターゲット配置位置に厳密に該当するようにする必要はない。これはフレーム毎にフレーム内での顔の位置が大きく変化したり、顔を撮像している画素範囲(画面上の顔のサイズ)が変化したり、顔部分がフレームアウトして追従しきれないこともあるためである。或いは、以降で説明するはみ出し防止処理のためにターゲット配置位置に一致させることができない場合も考えられる。その意味で、できるだけトラッキングターゲットの位置(画面内位置情報TP)を、操作により指定されたトラッキングターゲット配置位置(表示枠115内での特定の位置)に近づけるようにすればよい。
【0144】
以上のように設定された要求切り出し領域CLrqについては、画像処理部32はステップST18のはみ出し防止処理を加え、その結果を実際にステップS19で使用する実効切り出し領域CLとするようにしている。
このはみ出し防止処理では、当該フレームを含む前後の複数フレームについてのクオータニオンQD(#LN)や座標変換パラメータHPを用いる。
【0145】
例えばステップST17で設定した候補としての要求切り出し領域CLrqをそのままステップS19で使用することもできるが、すると、表示枠115内に相当する範囲が、天球モデルMTを用いた揺れ補正で回転させて投影させた範囲を越えてしまって、揺れ補正が有効に機能しなくなったり、イメージセンサ12aの画素範囲を越えてしまって表示される画像の一部が欠ける画欠けが生じてしまうことがある。
そこでこれらが生じずに品質のよい動画を出力できるようにするための切り出し領域を制限するはみ出し防止処理を行う。
【0146】
はみ出し防止処理は
図19に示す撮像領域との紐付け(第1処理)、可動領域(以下「アベイラブルエリア」ともいう)の算出(第2処理)、表示範囲の修正(第3処理)という3段階の処理で行われる。
この
図19では、撮像領域(以下「キャプチャードエリア」ともいう)61、アベイラブルエリア(可動領域)62、要求切り出し領域CLrq、実効切り出し領域CLを示している。
【0147】
キャプチャードエリア(撮像領域)61とは画像が写っていることで被写体の表示が可能な領域である。つまり被写体が撮像された範囲である。
アベイラブルエリア(可動領域)62は、前後のフレームの揺れを考慮した、切り出しを許容する領域である。つまりステップST15での揺れ補正天球モデルMTの回転による揺れ補正を有効に保つ範囲である。
【0148】
要求切り出し領域CLrqは、ユーザ操作やトラッキング結果に従って決まる、表示したい領域である。
実効切り出し領域CLは、アベイラブルエリア62に収まるように要求切り出し領域CLrqを移動したものである。この実効切り出し領域CLが、実際に切り出される領域となる。
【0149】
そして
図19の第1処理(撮像画角との紐付けの処理)は、天球モデルMT上でキャプチャードエリア61を設定する処理であり、これは撮像領域と一致する。
具体的には、座標変換パラメータHPを使って、画角やレンズの歪みを考慮して天球モデルMT上に撮像領域を割り当てる処理となる。
割り当てる領域は、座標変換パラメータHPを使った逆補正が適用されたものを用いる。
さらに天球モデルMT上で揺れ補正を適用するため、
図19に示すキャプチャードエリア61は天球モデルMT上で揺れをキャンセルする方向を向いている。
【0150】
第2処理(可動領域の算出)は、前後のフレームの情報を用いて現フレームのアベイラブルエリア62(可動領域)を算出する処理である。
第3処理(表示範囲の修正)は、算出されたアベイラブルエリア62を用いて、要求切り出し領域CLrqを、実効切り出し領域CLに修正する処理となる。
【0151】
少なくとも最終的に実効切り出し領域CLが、被写体が存在するキャプチャードエリア61内であれば再生画像や表示画像において画欠けは生じないことになる。つまり切り出し領域がキャプチャードエリア61からはみ出さなければ画欠けは生じない。
図20Aは、フレーム#i、#i+1、#i+2においてキャプチャードエリア61と切り出し領域60の関係を示している。
揺れの影響でキャプチャードエリア61に含まれる(つまり撮像されている)被写体範囲は変動する。ここで揺れ補正を有効に保つように各フレームの切り出し領域60を設定すると、例えばフレーム#i+1では破線で示す切り出し領域60となり、画欠けが生じることとなってしまう。
【0152】
その一方で、キャプチャードエリア61内の全域について切り出し領域60の移動を許容し、画欠けが生じないようにすると、せっかく補正した揺れの動きがダイレクトに現れてしまう場合がある。つまり揺れ補正が有効に働かない状態になる。例えばフレーム#i+1の切り出し領域60は実線で示すようになり、画欠けは生じないようにすることができるが、揺れが現れる。
【0153】
そこで揺れ補正が有効に維持できる範囲としてアベイラブルエリア62を算出し、はみ出し防止としては、切り出し領域60がアベイラブルエリア62をはみ出さないようにする。
具体的には前後のフレームのゆれ情報を使って、切り出し領域60が予めはみ出しそうな部分には行かないように余裕を持った枠としてアベイラブルエリア62を設定し、切り出し領域60をその範囲でのみ動かすようにする。
アベイラブルエリア62は揺れ補正マージンとしての意味を持つため、揺れの大きさに従ってフレーム毎に動的に変化することになる。
【0154】
図20Bにフレーム#i、#i+1、#i+2においてキャプチャードエリア61内でアベイラブルエリア62を設定し、切り出し領域60がアベイラブルエリア62からはみ出さないようにした様子を示している。この場合、画欠けも生じず、かつ揺れ補正も有効に維持されることになる。
はみ出し防止処理では、各フレームについて、この
図20Bの切り出し領域60のような実効切り出し領域CLが得られるように要求切り出し領域CLrqを修正することになる。
【0155】
アベイラブルエリア62の算出例について説明する。
第1の算出手法を
図21に示す。
アベイラブルエリア62は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61(撮像領域)を用いて設定する。この場合に、アベイラブルエリア62は、複数フレームの各フレームにおいて揺れ補正した状態のキャプチャードエリア61に共通に含まれる範囲とする。
【0156】
図21Aに、現在のフレームをフレーム#iとしたときに前後に連続する複数のフレーム(フレーム#i-mからフレーム#i+m)のキャプチャードエリア61を重ねたものを示している。
各フレームのキャプチャードエリア61は揺れ補正を反映して天球モデルMTに紐づけられている。つまり、各フレームについて、座標変換パラメータHPを使って、画角やレンズの歪みを考慮して天球モデルMT上に撮像画角(キャプチャードエリア61)を割り当て、さらにクオータニオンQD(#LN)を用いて回転させる。図ではこのように天球モデルMTに紐づけられてそれぞれ揺れ補正をキャンセルする方向を向いているキャプチャードエリア61を重ねて示している。
【0157】
複数のフレームのキャプチャードエリア61に共通に含まれる範囲、つまりANDをとった範囲とは、
図21Aの斜線を付した範囲であり、これを
図21Bに示すようにアベイラブルエリア62とする。
各フレームのキャプチャードエリア61は揺れ補正の分だけ動いているため、前後±m個のフレームのキャプチャードエリア61を重ねてANDを取ることで、その共通の範囲は、キャプチャードエリア61内にいることが補償される。そこで、この範囲をアベイラブルエリア62とする。
ANDの取り方としては、必ず凸多角形になるので、2つの凸多角形の交差を取る処理をキャプチャードエリア61の数だけ繰り返せばよい。
【0158】
なお、現在のフレームから時間的に離れたフレームほど、その寄与度合を小さくするために、キャプチャードエリア61に揺れ補正を掛ける量を小さくしたり、揺れ補正を掛ける前の枠を大きくしても良い。
時間的距離に応じて寄与度合の調整をしないと、±mフレームの範囲から大きな揺れが生じているフレームが抜けた場合にアベイラブルエリア62の形が不連続に変化してしまう。これに対し、時間的に遠いフレームのキャプチャードエリア61については、アベイラブルエリア62への寄与度合いを下げることで、アベイラブルエリア62が一時的に大きく変動するようなことを防止できる。
【0159】
また±mフレームの範囲のキャプチャードエリア61を用いることとしたが、時間軸で後の方向に連続する+mフレームまでのキャプチャードエリア61を用いることも考えられる。
【0160】
アベイラブルエリア62の算出例として第2の算出手法を
図22で説明する。これは、アベイラブルエリア62を、複数フレームの各フレームについてのキャプチャードエリア61の各端点の変化の低周波変動成分61Lを、各フレームのキャプチャードエリア61内に収まるようにしたときに示される範囲とする例である。
具体的には、ローパスフィルタを掛けたクオータニオンQDに基づいてアベイラブルエリア62を算出する手法である。
【0161】
図22Aは、図示及び説明の簡略化のため一次元で表現しているが、実線は各フレームでのキャプチャードエリア61の上端及び下端の変化を示す。即ち揺れによるフレーム毎の変化である。
破線はローパスフィルタをかけることで得たキャプチャードエリア61の上端及び下端の低周波変動成分61Lである。
一点鎖線がアベイラブルエリア62としての上端と下端を示す。
【0162】
ここでアベイラブルエリア62は、複数のフレームにおいてキャプチャードエリア61内であることを保証したいエリアともいえるが、ローパスフィルタを掛けただけでは、キャプチャードエリア61の内側にいることは保証できない。
そこでキャプチャードエリア61の低周波変動成分61Lが、キャプチャードエリア61からはみ出した量を時間的な距離で重みづけして補償することで、滑らかにキャプチャードエリア61の内側に収めるようにアベイラブルエリア62を求める。
図22Bは、
図22Aの一部(±mフレームの範囲)を拡大し、矢印で重みづけの方向を示している。
図22Cは、低周波変動成分61Lをキャプチャードエリア61内に収める重み付けを二次元で示している。
【0163】
具体的な計算の例は次のようになる。
各フレーム(#i)について、低周波変動成分61Lをキャプチャードエリア61内に収めるのに必要なクオータニオン(q_crct i)を求める。
j∈[-m,m]について、
Wj=1-|j/m|
q_crct_smooth i=max{slerp(q_crct i+j,q_identity;Wj)}
として、なめらかに補正するためのクオータニオンq_crct_smooth iを4つの端点全てについて求める(なお、この式は“j”に対するmax関数である)。
クオータニオンq_crct_smooth iは
図22Bに矢印で示す重み付けの最大値に相当する。
なおslerpは球面線形補間、q_identity は単位クオータニオンである。
【0164】
これを
図22Cのように低周波変動成分61Lの端点毎に計算し、適用する。
クオータニオンq_crctは低周波変動成分61Lの端点毎に、キャプチャードエリア61の中心に方向に回転させた際のキャプチャードエリア61の辺とぶつかるまでの回転量として求められる。
【0165】
アベイラブルエリア62は以上の第1、第2の算出手法などにより計算できる。
但し、以上の例のように前後のフレームの動きを使ってアベイラブルエリア62を作ると、動きが大きい場合、アベイラブルエリア62が、要求切り出し領域CLrqが収まらないほど小さくなることがある。
図23Aは、フレーム間で激しい動きがあって揺れ補正後のキャプチャードエリア61が大きくずれている状態を示している。この場合、アベイラブルエリア62が
図23Bのように小さくなり、要求切り出し領域CLrqが収まらない。
【0166】
そこでアベイラブルエリア62に要求切り出し領域CLrqが収まらないサイズ又は形状となる場合は、要求切り出し領域CLrqが収まるようにアベイラブルエリア62を拡張することとする。
【0167】
その手法として、
図23Cのように、アベイラブルエリア62の中心に要求切り出し領域CLrqを合わせ、はみ出した分が収まるようにアベイラブルエリア62を更新する。即ち
図23Dのように更新する。
具体的には、
図23Cの状態で「アベイラブルエリア62の外側にある要求切り出し領域CLrqの頂点」「要求切り出し領域CLrqの外側にあるアベイラブルエリア62の頂点」の集合で新たな凸多角形を作り、それを
図23Dの拡張したアベイラブルエリア62とする。
【0168】
このとき、アベイラブルエリア62の拡張によって、アベイラブルエリア62がキャプチャードエリア61内に収まることが保証できなくなる。例えば
図23Eのようにアベイラブルエリア62がキャプチャードエリア61からはみ出すことが有り得る。
そこで
図23Dのように、アベイラブルエリア62をキャプチャードエリア61内に収まるように移動させる。
【0169】
以上のようなアベイラブルエリア62の拡張を行うことで、揺れが激しい場合にも対応できるようにする。
【0170】
続いて
図19で第3処理として示した表示範囲の修正について説明する。即ち計算したアベイラブルエリア62内に要求切り出し領域CLrqが収まるように修正する処理である。
要求切り出し領域CLrqがアベイラブルエリア62からはみ出している場合、要求切り出し領域CLrqを移動させることになるが、移動方向としてはヨー方向、ピッチ方向、ロール方向がある。
【0171】
本例では、要求切り出し領域CLrqがアベイラブルエリア62からはみ出している場合、ヨー成分とピッチ成分の修正を優先させる。
即ち
図24Aのように、要求切り出し領域CLrqを、アベイラブルエリア62の中心CTに向かって必要最低限の量だけ動かす。ここではロール成分は変更せず、ヨー成分とピッチ成分の変更により移動させる(矢印yp)。
この移動により要求切り出し領域CLrqがアベイラブルエリア62に収まれば、それで表示範囲の修正を完了させる。即ち移動された要求切り出し領域CLrqを実効切り出し領域CLとする。
【0172】
一方、アベイラブルエリア62の形状やサイズによっては、ヨー成分とピッチ成分の変更による移動のみでは、要求切り出し領域CLrqがうまくアベイラブルエリア62に収まらないこともある。
そのような場合には、まずアベイラブルエリア62の中心に要求切り出し領域CLrqの中心が重なるようにする。そして
図24B、
図24Cのように、ロール成分の変更を行う。この場合、各図で矢印Rとして示すように、要求切り出し領域CLrqの全体をアベイラブルエリア62内に収めるために必要な最小の回転量だけ回転させる。そして収まった状態の要求切り出し領域CLrqを実効切り出し領域CLとする。
【0173】
図25は、以上のはみ出し防止処理の全体の流れを示している。
この図では現在のフレーム#iの前後mフレーム(フレーム#i-mからフレーム#i+m)を示している。
各フレームについては、それぞれステップS20として、対応する座標変換パラメータHP(HP(#i-m)・・・HP(#i+m))を用いて天球モデルMTと撮像画角の紐付けが行われる。これにより理想天球上でキャプチャードエリア61が表現される。
【0174】
その上でステップS21として、対応するクオータニオンQD(QD(#i-m)・・・QD(#i+m))を用いて揺れ補正が行われる。
なお、例えばフレーム#iに対応するクオータニオンQD(#i)とは、当該フレーム#iにおけるライン毎に対応するクオータニオンQD(LN)のこととなる。
このステップS21により、天球モデルMT上で揺れをキャンセルするような方向を向いたキャプチャードエリア61が表現される。
【0175】
これらのフレーム毎のキャプチャードエリア61を用いて、ステップS22でアベイラブルエリア62が生成される。上述の第1の算出手法、第2の算出手法などが用いられる。
算出されたアベイラブルエリア62については、ステップS23で必要に応じて拡張される。即ち要求切り出し領域CLrqにより決められる要求切り出し領域CLrqとアベイラブルエリア62が比較され、収まらない場合は上述の拡張処理が行われる。
【0176】
アベイラブルエリア62が確定されたら、ステップS24で表示範囲の修正が行われる。つまり
図24で説明したように要求切り出し領域CLrqが修正されて実効切り出し領域CLとされる。この実効切り出し領域CLが、最終的にはみ出し防止処理で修正された切り出し領域CLとして、
図14のステップST19の平面投影及び切り出しの処理に提供されることになる。
【0177】
この
図25のようなはみ出し防止処理では、前後のフレームの揺れ情報をアベイラブルエリア62に反映することで、揺れ補正マージンの動的な変更を実現している。
また出力画像のアスペクト比、切り出し位置、大きさを要求切り出し領域CLrqで表現し、それをアベイラブルエリア62の内側に収める方式にすることで、揺れ補正と切り出し位置等を同時に考慮した処理を実現している。
【0178】
なお、以上は通常レンズで撮像された画像ファイルMFを想定して説明してきたが、例えば魚眼レンズを用いて撮像された画像ファイルMFでも、同様に処理が適用できる。
但し通常レンズと魚眼レンズの場合、キャプチャードエリア61の表現が異なることになる。
図26Aは通常レンズの場合、
図26Bは魚眼レンズの場合とで天球モデルMT上での表現とキャプチャードエリア61の形状を示している。魚眼レンズを用いた撮像の場合、イメージセンサ12aの撮像画素範囲65内で円形の結像領域66が形成されることになるため、キャプチャードエリア61としては図示のように円や多角形で表現することになる。
【0179】
<5.まとめ及び変形例>
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置は、動画を構成する画像データのフレームであって、天球モデルMTへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報(IMUデータ、クオータニオンQD)を用いて揺れ補正を行う揺れ補正部33を備える。また画像処理装置は、要求切り出し領域CLrqに対して、各フレームからの実効切り出し領域CLが揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、各フレームに適用する実効切り出し領域CLを設定する実効切り出し領域設定部34を備える。さらに画像処理装置は、揺れ補正部33で揺れ補正が行なわれた上で天球モデルMTから平面モデルに投影された画像であって、実効切り出し領域設定部34で設定された実効切り出し領域CLの画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部35を備える。
即ち撮像装置1で撮像された画像における手ぶれ等に起因する揺れを天球モデルMT上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の実効切り出し領域CLを設定する。
天球モデルMT上でフレーム毎に揺れに対する補正を加味した回転を行って揺れ補正を行うことで、台形歪みが生じない補正が可能となる。そのうえで例えばユーザ操作や何らかの自動制御などによって設定される要求切り出し領域CLrqに応じて平面投影画像を得ることで、要求切り出し領域CLrqが反映された実効切り出し領域CLが設定され、そのうえで揺れ補正が行われかつ台形歪みのない出力画像データoPDが得られる。さらにはみ出し防止処理が行われることで、揺れ補正が適切に反映された動画出力とすることができる。
これらにより元の画像ファイルMFに対してユーザや自動制御の要求に適った出力領域を反映したうえで揺れや歪みの少ない高品位な画像が得られることになる。
【0180】
なお、実施の形態では、天球モデルMTで揺れ補正を行って平面投影した後に、実効切り出し領域CLの画像を切り出す例を述べたがこれに限らない。即ち天球モデルMTで揺れ補正を行った状態で実効切り出し領域CLの画像を切り出して、それを平面投影することによって、実効切り出し領域CLの画像を生成することもできる。
また揺れ補正部33としては、少なくとも
図14のステップST15の処理が行われるものであればよく、ステップST11、ST12、ST13、ST14の一部又は全部は揺れ補正部33の機能の外部(例えば揺れ補正部33を有する画像処理装置とは別の装置)でおこなわれてもよい。
また、
図8ではRAWデータを画像処理対象とする場合を示したが、その場合、揺れ補正部33では、ステップST12の撮像装置内部補正キャンセルの処理は不要となる。
【0181】
実施の形態では、実効切り出し領域設定部34は、ユーザ操作に基づく操作情報(DR1,DR2)を用いて、実効切り出し領域CLを設定する例を挙げた。
これによりユーザの意図やユーザの望む出力領域が適切に反映されたうえで揺れ補正が行われ、かつ台形歪みのない出力画像データoPDが得られる。
【0182】
実施の形態では、実効切り出し領域設定部34は、トラッキングターゲットに関するトラッキングターゲット情報を用いて実効切り出し領域CLの設定を行う例を挙げた。
これによりトラッキングターゲットを考慮した切り出し領域設定が可能となる。
また実施の形態では、実効切り出し領域設定部34は、ユーザ操作に基づく操作情報DR1を用いてトラッキングターゲットを設定する例を挙げた。
これによりユーザが注目したい被写体(トラッキングターゲット)を考慮した切り出し領域設定が可能となる。即ち注目したい被写体をとらえながら適切に揺れ補正がなされた出力画像を得ることができる。
【0183】
なお、トラッキングターゲットを指定しない場合も処理も当然想定される。例えばユーザが
図13で説明したようなトラッキングターゲットの指定を行わない場合もある。そのような場合は、
図12で説明した操作に応じた実効切り出し領域CLの設定が行われればよい。
また、トラッキングターゲットをユーザによる設定によらず自動的に指定するような処理を行っても良い。例えば顔検出を行い、顔を検出したら自動的に、その顔をトラッキングターゲットとするような処理である。
【0184】
実施の形態では、トラッキングターゲットを指定する操作情報DR1によりトラッキングターゲットを判定し、判定したトラッキングターゲットの画像内位置に応じて、動画を構成する各フレームの実効切り出し領域CLを設定する例を挙げた。
即ちユーザの操作によりトラッキングターゲットの被写体が指定された場合、各フレームにおいてそのトラッキングターゲットの配置を考慮して実効切り出し領域CLを設定する。
これによりユーザが注目したい被写体(トラッキングターゲット)が、動画が進行する上でフレームアウトしないような切り出し位置設定が可能となる。
【0185】
実施の形態では、トラッキングターゲットについての画面内での配置位置を指定する操作情報DR2を用いて、動画を構成する各フレームの実効切り出し領域CLを設定する例を挙げた。
これによりユーザが注目したい被写体(トラッキングターゲット)を、画面内でどのあたりに表示させたいかを指定し、各フレームにおいて、その画面内の配置位置(配置位置付近)にトラッキングターゲットが位置するような切り出し領域設定が可能となる。従ってトラッキングターゲットとされた被写体が、例えば画面の中央や左よりの位置など、ユーザが望む配置位置付近にある状態で動画が進行するような動画処理が実現されることになる。
【0186】
なおトラッキングターゲットの配置位置を指定しない処理例もありえる。例えば少なくともトラッキングターゲットがフレームアウトしないようにする処理例などである。
またトラッキングターゲット配置位置を自動指定してもよい。例えば画面の中央、或いは、右寄りの位置など、所定の位置に自動設定する。これによりユーザによるトラッキングターゲット配置位置の指定操作がなくとも、所定位置にトラッキングターゲットをとらえるような切り出し領域設定が可能となる。
【0187】
実施の形態では、画像の出力領域を指定する操作情報DR2を実効切り出し領域CLの設定に用いる例を挙げた。
例えば
図12で説明したフレーミング画面103上でのユーザ操作により出力画像の領域を指定できるようにしており、その操作情報DR2を実効切り出し領域CLの設定に用いる。
これによりユーザが任意に指定した画像の出力領域を切り出しながら、適切に揺れ補正がなされた出力画像を得ることができる。
【0188】
実施の形態では、画像のアスペクト比を指定する操作情報DR2を実効切り出し領域CLの設定に用いる例を挙げた。
例えばアスペクト比設定画面106でのユーザの操作により出力画像のアスペクト比を指定できるようにしており、その操作情報DR2を切り出し領域設定に用いる。
これによりユーザが任意に指定したアスペクト比であって、適切に揺れ補正がなされた出力画像を得ることができる。
【0189】
実施の形態では、画像データのフレーム毎に行うはみ出し防止処理として、揺れ補正部33が揺れ補正を行った天球モデルMTの座標上で要求切り出し領域CLrqを設定する第1処理と、撮像領域(キャプチャードエリア61)内で要求切り出し領域CLrqの変動を許容する可動領域(アベイラブルエリア62)を求める第2処理と、要求切り出し領域CLrqが可動領域(アベイラブルエリア62)内に収まるように修正することで実効切り出し領域CLを設定する第3処理とを行う例を挙げた。
これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域は、画像内容などにより無制限に変動するものではなく、あくまでも揺れ補正が適切に維持できる範囲となるように修正される。従って、ユーザの各種指定を反映しながらも、揺れ補正が適切に行われた出力画像データoPDを得ることができる。
また揺れ補正が適切に維持できるようにするためには、揺れ補正を行った天球モデルMTの座標上で撮像領域(キャプチャードエリア61)を設定し、その中で可動領域(アベイラブルエリア62)を計算し、さらにアベイラブルエリア62内に収まるように要求切り出し領域CLrqを修正する。そして修正した要求切り出し領域CLrqを最終的な実効切り出し領域CLとする。つまりアベイラブルエリア62により切り出し領域を制限する。これにより天球モデルMTでの揺れ補正を反映する切り出し領域設定を適切に行うことができる。
【0190】
実施の形態のはみ出し防止処理における第2処理では、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定する例を挙げた。
即ち
図21の第1の算出手法や
図22の第2の算出手法のように、連続する複数フレームのキャプチャードエリア61を用いることで、ある程度の期間の時間軸方向(フレーム間)で発生する揺れがあっても、各フレームに共通に含まれている画像範囲を検出することができる。これは、当該複数フレームの期間において画像が欠けず、また揺れ補正が有効な領域である。これをアベイラブルエリア62とする。これによりアベイラブルエリア62を揺れの大きさによって動的に変化させることになり、出力画像データoPDによる動画上で、揺れによって画欠けが生じず揺れ補正も維持できる切り出し領域設定が実現される。従って品質の高い動画を容易に作成できることになる。
なお、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定することもできる。
また、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定することもできる。
【0191】
実施の形態においてアベイラブルエリア62は、複数フレームの各フレームについての揺れ補正を行った状態のキャプチャードエリア61に共通に含まれる範囲とする例を挙げた。
即ち
図21で第1の算出手法として説明したように、連続する複数フレームについての揺れ補正を行った状態のキャプチャードエリア61を用いることで、切り出し枠を設定しても画欠けが生じない範囲となるアベイラブルエリア62を設定することができる。揺れ補正を行った状態のキャプチャードエリア61に共通の範囲であるため揺れ補正も有効な範囲ともなる。
またこの場合に、キャプチャードエリア61をそのまま用いてもよいが、現在フレームとの遠近によって、キャプチャードエリア61の揺れ補正の度合いを変えることなどで、時間的距離に応じて寄与度合いを調整することで、遠い時点での大きい揺れなどの影響を和らげ、アベイラブルエリア62の変化をなめらかにすることができる。これは再生される動画において急激に画角が変化するような状態を生じさせないものとなる。
【0192】
実施の形態においてアベイラブルエリア62は、複数フレームの各フレームについてのキャプチャードエリア61の各端点の変化の低周波変動成分61Lを各フレームのキャプチャードエリア61内に収まるようにしたときに示される範囲とする例を挙げた。
即ち
図22で第2の算出手法として説明した例である。
キャプチャードエリア61の各端点の変化の低周波変動成分61Lを用いて各フレームのアベイラブルエリア62を設定することで、時間軸方向のアベイラブルエリア62の変化をなめらかにし、急激に切り出し領域の変化が生じない動画を得ることができる。
但し、単に低周波変動成分61Lを用いたのみでは画欠けが生じないこと(つまり切り出し領域がキャプチャードエリア61内であること)を補償できないため、フレーム毎に、キャプチャードエリア61内に収まるように低周波変動成分61Lで規定される各端点の位置を修正する。これにより、画欠けが生じずかつ切り出し領域の変化がなめらかな動画を得ることができる。
【0193】
実施の形態のはみ出し防止処理における第3処理は、アベイラブルエリア62内に要求切り出し領域CLrqが収まるまで、要求切り出し領域CLrqを回転させずにアベイラブルエリア62の中心に向けて移動させることにより行うこととした。
即ち表示範囲の修正として
図24で説明したように、アベイラブルエリア62に収まるまで必要な距離だけ要求切り出し領域CLrqを回転させずに移動させる。これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域については、できるだけ回転を生じないようにアベイラブルエリア62内に移動させることになり、再生される動画上ではむやみな画像の回転が生じないようにすることができる。
【0194】
また実施の形態の第3処理において要求切り出し領域CLrqを回転させずにアベイラブルエリア62の中心に向けて移動させることによっては、要求切り出し領域CLrqをアベイラブルエリア62内に収められない場合は、要求切り出し領域CLrqを回転させることでアベイラブルエリア62内に収めるようにすることとした。
即ち回転をさせない状態ではアベイラブルエリア62に収まらないときのみ要求切り出し領域CLrqを回転させる。このように切り出し領域の修正としては、やむを得ないときのみ回転させることとし、これによって画欠けができるだけ生じないようにする。
【0195】
実施の形態では、揺れ補正部33は、処理対象の画像データ(画像ファイルMF)の撮像の際に生成されたメタデータに基づいて、各フレームに対応する姿勢情報(クオータニオンQD)を取得し、揺れ補正に用いることとした。
メタデータとして付加されたIMUデータから撮像装置の姿勢情報であるクオータニオンQDを計算する。これを用いて天球モデルMT上での揺れ補正を行うことで、撮像時の状況に対応した適切な揺れ補正を行うことができる。特に本実施の形態の場合、撮像時に行われたカメラ内部補正はキャンセルされているため、撮像時の撮像装置1の姿勢をそのまま反映することで最適な揺れ補正が可能となる。
【0196】
実施の形態では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報(クオータニオンQD(LN))を用いて揺れ補正を行う例を挙げた(
図14のステップSST14参照)。
露光期間内における被写体と撮像装置の相対的な揺れにより、いわゆるブラーが生じ、これはシャッタースピードによって露光時間が長くなるほど目立つ。この場合に、各ラインの露光開始タイミングの姿勢情報を用いると、各ラインの露光期間内の相対的揺れが、姿勢情報からみて一方向の揺れとなり、画像上で目立ちやすくなる。
一方で
図16のように各ラインの露光期間内の重心位置のIMUデータに基づいて姿勢情報を取得することとすると、露光期間内の相対的揺れが、姿勢情報の状態からみて双方向の揺れとなり、視覚上、時間方向に相殺されるように感じられ、これによって画像においてブラーが目立たなくなるようにすることができる。
【0197】
実施の形態では、揺れ補正部33は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルMTへの貼付処理を行うこととした(
図14のステップSST12参照)。
例えば撮像装置1においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。
これにより、撮像時の補正の影響を受けずに、元々の撮像画像データ、例えば撮像素子部12から取り出された状態の画像データに対して、適切な揺れ補正を行うことができる。つまり撮像を行った撮像装置1の性能等に影響を受けずに、画像処理装置の処理能力に応じて高品質な揺れ補正を実現できる。
【0198】
実施の形態では、揺れ補正部33は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータHPを用いて補正キャンセルを行うこととした。
座標変換パラメータHPは、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠(画角を含めた画像の範囲)を変化させる場合の情報である。
これにより、撮像時の画枠に関する補正をキャンセルすることができ、撮像装置1で画枠(画像の範囲)を補正した場合に、それを元に戻すことができる。
【0199】
実施の形態の画像処理装置は、動画を構成する画像データと対応するメタデータを含む画像ファイルMFについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部31を備える。
これにより、揺れ補正部33の処理や実効切り出し領域設定部34の処理においてフレーム毎のメタデータを使用できる。
【0200】
なお実施の形態の画像処理装置の前処理部31の機能による処理として
図14にステップST1からステップST4の処理を示したがこれに限られない。前処理部31では少なくともメタデータに応じた姿勢情報の算出(例えばステップST4)の処理と、メタデータの保持(例えばステップST3)が行われれば良い。
また画像処理部32の機能による処理として
図14にステップST11からステップST19の処理を示したがこれに限られない。例えばステップST11の処理は外部で行われてもよく、その場合、画像処理部32はステップST12からステップST19の処理を行うものとしても良い。
さらに、画像処理部32はステップST12の撮像装置内補正キャンセルの処理を行わないものでも良い。
また画像処理部32はステップST16のトラッキングに関する処理を行わないことも考えられる。
また画像処理部32はステップST14の同期処理を行わないことも考えられる。
少なくとも本開示の画像処理装置としては、画像処理部32による処理として、ステップST13(天球モデルMTへの貼り付け)、ステップST15(揺れ補正)、ステップST17(出力領域指定)、ステップST18(はみ出し防止処理)、ステップST19(平面投影及び切り出し)の処理が行われるようにすれば良い。
【0201】
実施の形態で説明した技術は、撮像装置1における手ぶれ補正として、次のような各例の場合に適用可能である。なお以下でいう光学手ぶれ補正とはフレーム間成分の揺れの補正となる。また電子手ぶれ補正とはフォーカルプレーン補正のみの場合も含む。
・光学手ぶれ補正が行われ、電子手ぶれ補正が行われない場合
・光学手ぶれ補正も、電子手ぶれ補正も行われない場合
・光学手ぶれ補正が行われず、電子手ぶれ補正が行われる場合
・光学手ぶれ補正と、電子手ぶれ補正の両方が行われる場合
これらそれぞれの場合の撮像装置1で撮像された画像に対して、実施の形態の画像処理装置の処理を適用することができる。
【0202】
実施の形態のプログラムは、
図14や
図25の処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、動画を構成する画像データのフレーム毎に、天球モデルMTへの貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う処理と、画像の切り出し領域を操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行って切り出し領域を指定する処理と、揺れ補正が行なわれた状態で平面に投影した画像について、指定される切り出し領域で画像を切り出す処理とを情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した画像処理装置を、例えば携帯端末2,パーソナルコンピュータ3、或いは撮像装置1などの機器において実現できる。
【0203】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0204】
またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。
【0205】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0206】
なお本技術は以下のような構成も採ることができる。
(1)
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する実効切り出し領域設定部と、
前記揺れ補正部で揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、前記実効切り出し領域設定部で設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部と、を備えた
画像処理装置。
(2)
前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記実効切り出し領域を設定する
上記(1)に記載の画像処理装置。
(3)
前記実効切り出し領域設定部は、トラッキングターゲットに関するトラッキングターゲット情報を用いて、前記実効切り出し領域を設定する
上記(1)又は(2)に記載の画像処理装置。
(4)
前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記トラッキングターゲットを設定する
上記(3)に記載の画像処理装置。
(5)
前記実効切り出し領域設定部は、前記トラッキングターゲットについての画面内での配置位置を指定する操作情報を用いて、前記実効切り出し領域を設定する
上記(3)又は(4)に記載の画像処理装置。
(6)
前記実効切り出し領域設定部は、画像の出力領域を指定する操作情報を前記実効切り出し領域の設定に用いる
上記(1)から(5)のいずれかに記載の画像処理装置。
(7)
前記実効切り出し領域設定部は、画像のアスペクト比を指定する操作情報を前記実効切り出し領域の設定に用いる
上記(1)から(6)のいずれかに記載の画像処理装置。
(8)
前記実効切り出し領域設定部は、画像データのフレーム毎に行うはみ出し防止処理として、
前記揺れ補正部が揺れ補正を行った天球モデルの座標上で前記要求切り出し領域を設定する第1処理と、
撮像領域内で前記要求切り出し領域の変動を許容する可動領域を求める第2処理と、
前記要求切り出し領域が前記可動領域内に収まるように修正することで前記実効切り出し領域を設定する第3処理と、を行う
上記(1)から(7)のいずれかに記載の画像処理装置。
(9)
前記第2処理では、前記可動領域を、
処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレーム、
又は、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレーム、
又は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレーム、
を含んで連続する複数フレームの各撮像領域を用いて設定する
上記(8)に記載の画像処理装置。
(10)
前記可動領域は、前記複数フレームの各フレームについての揺れ補正を行った状態の撮像領域に共通に含まれる範囲とする
上記(9)に記載の画像処理装置。
(11)
前記可動領域は、前記複数フレームの各フレームについての撮像領域の各端点の変化の低周波変動成分を各フレームの撮像領域内に収まるようにしたときに示される範囲とする
上記(9)に記載の画像処理装置。
(12)
前記第3処理は、前記可動領域内に要求切り出し領域が収まるまで、前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることにより行う
上記(8)から(11)のいずれかに記載の画像処理装置。
(13)
前記第3処理において前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることによっては前記要求切り出し領域を前記可動領域内に収められない場合は、前記要求切り出し領域を回転させることで、前記要求切り出し領域を前記可動領域内に収めるようにする
上記(12)に記載の画像処理装置。
(14)
前記揺れ補正部は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて、各フレームに対応する前記姿勢情報を取得し、揺れ補正に用いる
上記(1)から(13)のいずれかに記載の画像処理装置。
(15)
前記揺れ補正部は、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報を用いて揺れ補正を行う
上記(1)から(14)のいずれかに記載の画像処理装置。
(16)
前記揺れ補正部は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルへの貼付処理を行う
上記(1)から(15)のいずれかに記載の画像処理装置。
(17)
前記揺れ補正部は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータを用いて補正キャンセルを行う
上記(16)に記載の画像処理装置。
(18)
動画を構成する画像データと対応するメタデータを含む画像ファイルについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部を備えた
上記(1)から(17)のいずれかに記載の画像処理装置。
(19)
画像処理装置が、
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行い、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定し、
前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う
画像処理方法。
(20)
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う処理と、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する処理と、
前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理と、
を情報処理装置に実行させるプログラム。
【符号の説明】
【0207】
1 撮像装置、2 携帯端末、3 パーソナルコンピュータ、4 サーバ、5 記録媒体、11 レンズ系、12 撮像素子部、13 カメラ信号処理部、14 記録制御部、15 表示部、16 出力部、17 操作部、18 カメラ制御部、19 メモリ部、22 ドライバ部、23 センサ部、31 前処理部、32 画像処理部、33 揺れ補正部、34 実効切り出し領域設定部、35 実効切り出し領域画像生成処理部、36 UI処理部、61 キャプチャードエリア、62 アベイラブルエリア、70 情報処理装置、71 CPU、101 インポート画面、102 プレビュー画面、103 フレーミング画面、104 トリミング画面、105 スピード画面、106 アスペクト比設定画面、107 設定画面、108 エクスポート画面、MF 画像ファイル、PD,iPD 画像データ、oPD 出力画像データ、HP 座標変換パラメータ、TM タイミング情報、CP カメラパラメータ、QD クオータニオン、TP,TPp 画面内位置情報、DR1,DR2 操作情報、CL 実効切り出し領域、CLrq 要求切り出し領域、MT 天球モデル、