ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】画像処理装置、画像処理方法、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241112BHJP
G06F 3/0484 20220101ALI20241112BHJP
H04N 23/68 20230101ALI20241112BHJP
【ＦＩ】
H04N23/60 500
G06F3/0484
H04N23/68
【請求項の数】
20
(21)【出願番号】P 2021534552
(86)(22)【出願日】2020-05-11
(86)【国際出願番号】 JP2020018810
(87)【国際公開番号】W WO2021014716
(87)【国際公開日】2021-01-28
【審査請求日】2023-03-28
(31)【優先権主張番号】P 2019136087
(32)【優先日】2019-07-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】小曽根 卓義
(72)【発明者】
【氏名】山本 洋司
(72)【発明者】
【氏名】唯野 隆一
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２０１４－１５３７７８（ＪＰ，Ａ）
【文献】特開２００６－１８０４７１（ＪＰ，Ａ）
【文献】国際公開第２０１６／００２３２２（ＷＯ，Ａ１）
【文献】特開２０１８－０７４３３７（ＪＰ，Ａ）
【文献】特開２００６－２０３４６３（ＪＰ，Ａ）
【文献】特開２０１１－０９７５１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｇ０６Ｆ ３／０４８４７
Ｈ０４Ｎ ２３／６８
(57)【特許請求の範囲】
【請求項1】
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、揺れ変更に関する操作情報を取得するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が取得した操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定部と、を備え、
前記ユーザインタフェース処理部は、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記周波数帯の揺れ量の操作情報に基づいて、前記周波数帯の揺れ量を調整するパラメータを設定する
画像処理装置。
【請求項2】
前記ユーザインタフェース処理部は、前記周波数帯として、少なくとも低周波数帯域と高周波数帯域の揺れ量を調整する操作子を提示させ、前記パラメータ設定部は、前記低周波数帯域の揺れ量を調整するパラメータと、前記高周波数帯域の揺れ量を調整するパラメータを設定する
請求項１に記載の画像処理装置。
【請求項3】
前記ユーザインタフェース処理部は、１又は複数の揺れ方向成分について揺れ量を調整する操作子を提示させ、前記パラメータ設定部は、前記揺れ方向成分の揺れ量の操作情報に基づいて、揺れ方向成分の揺れ量を調整するパラメータを設定する
請求項１又は請求項２に記載の画像処理装置。
【請求項4】
前記揺れ方向成分は、ヨー方向揺れ成分、ロール方向揺れ成分、ピッチ方向揺れ成分の少なくともいずれかを含む請求項３に記載の画像処理装置。
【請求項5】
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が取得した操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定部と、を備え、
前記ユーザインタフェース処理部は、揺れ波形のプリセットデータの選択操作を可能とし、
前記パラメータ設定部は、プリセットデータの選択操作に応じて画像の揺れを調整するパラメータを設定する
画像処理装置。
【請求項6】
前記ユーザインタフェース処理部は、画像の時間軸方向に揺れ成分を示すタイムラインの提示を実行させる請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項7】
前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とする
請求項６に記載の画像処理装置。
【請求項8】
前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、
前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして画像を再生させる処理を行う
請求項６又は請求項７に記載の画像処理装置。
【請求項9】
前記ユーザインタフェース処理部は、前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして決定した画像区間を、繰り返し再生させる処理を行う
請求項８に記載の画像処理装置。
【請求項10】
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が取得した操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定部と、を備え、
前記ユーザインタフェース処理部は、
揺れ波形のプリセットデータの選択操作を可能とし、
画像の時間軸方向に揺れ成分を示すタイムラインの提示を実行させ、
前記タイムラインに対して、選択されたプリセットデータをアサインする処理を行い、
前記パラメータ設定部は、
前記タイムラインにアサインされたプリセットデータに応じて画像の揺れを調整するパラメータを設定する
画像処理装置。
【請求項11】
前記ユーザインタフェース処理部は、前記タイムラインに対するプリセットデータのアサインに応じて変化する揺れの状況を提示する処理を行う
請求項１０に記載の画像処理装置。
【請求項12】
前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、前記キーフレームを基準に設定した区間に揺れ変更の操作が反映されるようにする
請求項６から請求項１１のいずれかに記載の画像処理装置。
【請求項13】
前記ユーザインタフェース処理部は、揺れ変更操作にかかる画像の揺れの変更前の状態と変更後の状態を提示させる処理を行う
請求項１から請求項１２のいずれかに記載の画像処理装置。
【請求項14】
前記揺れ変更部は、揺れが生じていない入力画像データ又は揺れ低減処理が施された入力画像データに揺れを付加する揺れ変更処理を行う
請求項１から請求項１３のいずれかに記載の画像処理装置。
【請求項15】
前記揺れ変更部は、揺れ成分を含む入力画像データに対し揺れ変更処理を行う
請求項１から請求項１３のいずれかに記載の画像処理装置。
【請求項16】
前記ユーザインタフェース処理部は、ユーザの揺れ情報の保存の操作に応じて揺れ情報を記憶させる処理を行う
請求項１から請求項１５のいずれかに記載の画像処理装置。
【請求項17】
画像処理装置が、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を行い、
前記ユーザインタフェース処理では、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、
前記パラメータ設定処理では、前記周波数帯の揺れ量の操作情報に基づいて、前記周波数帯の揺れ量を調整するパラメータを設定する
画像処理方法。
【請求項18】
画像処理装置が、
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を行い、
前記ユーザインタフェース処理では、揺れ波形のプリセットデータの選択操作を可能とし、
前記パラメータ設定処理では、プリセットデータの選択操作に応じて画像の揺れを調整するパラメータを設定する
画像処理方法。
【請求項19】
情報処理装置に、
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を実行させ、
前記ユーザインタフェース処理では、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、
前記パラメータ設定処理では、前記周波数帯の揺れ量の操作情報に基づいて、前記周波数帯の揺れ量を調整するパラメータを設定させる
プログラム。
【請求項20】
情報処理装置に、
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を実行させ、
前記ユーザインタフェース処理では、揺れ波形のプリセットデータの選択操作を可能とさせ、
前記パラメータ設定処理では、プリセットデータの選択操作に応じて画像の揺れを調整するパラメータを設定させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置、画像処理方法、プログラムに関し、特に画像の揺れについての画像処理に関する。
【背景技術】
【0002】
撮像装置で撮像した動画について各種の補正などの画像処理を行う技術が知られている。
下記特許文献１では撮影画像に係る画像データに対して防振処理を実行するとともに、防振処理後の画像データを対象として防振処理の影響を除去することが開示されている。
下記特許文献１では撮影画像に係る画像データに対して防振処理を実行するとともに、防振処理後の画像データを対象として防振処理の影響を除去することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－２１６５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで昨今、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像調整等を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。
また放送事業者などにおいても画像の多様な演出が可能とされることが望まれている。
そこで本開示では、動画における揺れに関する調整などを容易に行うことができるようにする技術を提案する。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。
また放送事業者などにおいても画像の多様な演出が可能とされることが望まれている。
そこで本開示では、動画における揺れに関する調整などを容易に行うことができるようにする技術を提案する。
【課題を解決するための手段】
【0005】
本技術に係る画像処理装置は、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、揺れ変更に関する操作情報を取得するユーザインタフェース処理部と、前記ユーザインタフェース処理部が取得した操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定部と、を備える。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させることである。揺れ変更部は、パラメータ設定部が設定するパラメータに基づいて揺れ変更処理を行う。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させることである。揺れ変更部は、パラメータ設定部が設定するパラメータに基づいて揺れ変更処理を行う。
【0006】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、揺れ量を調整する操作子を提示させ、前記パラメータ設定部は、前記操作子の操作情報に基づいて揺れ量を調整するパラメータを設定することが考えられる。
即ち画像に表れる揺れの揺れ量を操作により調整可能とする。
即ち画像に表れる揺れの揺れ量を操作により調整可能とする。
【0007】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、１又は複数の揺れ方向成分について揺れ量を調整する操作子を提示させ、前記パラメータ設定部は、前記揺れ方向成分の揺れ量の操作情報に基づいて、揺れ方向成分の揺れ量を調整するパラメータを設定することが考えられる。
画像に表れる揺れには複数の揺れ方向成分が含まれている。そこで１つの揺れ方向成分又は複数の揺れ方向成分毎に揺れ量を調整可能とする。
画像に表れる揺れには複数の揺れ方向成分が含まれている。そこで１つの揺れ方向成分又は複数の揺れ方向成分毎に揺れ量を調整可能とする。
【0008】
上記した本技術に係る画像処理装置においては、前記揺れ方向成分は、ヨー方向揺れ成分、ロール方向揺れ成分、ピッチ方向揺れ成分の少なくともいずれかを含むことが考えられる。
画像に表れる揺れとしてヨー方向、ロール方向、ピッチ方向の揺れ成分がある。これらのうちの少なくとも１つ、或いは２つ、もしくは全ての揺れ量を調整可能とする。
画像に表れる揺れとしてヨー方向、ロール方向、ピッチ方向の揺れ成分がある。これらのうちの少なくとも１つ、或いは２つ、もしくは全ての揺れ量を調整可能とする。
【0009】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、前記パラメータ設定部は、前記周波数帯の揺れ量の操作情報に基づいて、前記周波数帯の揺れ量を調整するパラメータを設定することが考えられる。
画像に表れる揺れには複数の周波数の振動成分が含まれている。そこで１つの周波数帯又は複数の周波数帯毎に揺れ量を調整可能とする。
画像に表れる揺れには複数の周波数の振動成分が含まれている。そこで１つの周波数帯又は複数の周波数帯毎に揺れ量を調整可能とする。
【0010】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、前記周波数帯として、少なくとも低周波数帯域と高周波数帯域の揺れ量を調整する操作子を提示させ、前記パラメータ設定部は、前記低周波数帯域の揺れ量を調整するパラメータと、前記高周波数帯域の揺れ量を調整するパラメータを設定することが考えられる。
例えば低周波数帯域と高周波数帯域の２バンドで揺れを調整可能とする。或いは低周波数帯域と１又は複数の中間周波数帯域と高周波数帯域の３バンド以上で揺れを調整可能とすることもできる。
例えば低周波数帯域と高周波数帯域の２バンドで揺れを調整可能とする。或いは低周波数帯域と１又は複数の中間周波数帯域と高周波数帯域の３バンド以上で揺れを調整可能とすることもできる。
【0011】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、揺れ波形のプリセットデータの選択操作を可能とし、前記パラメータ設定部は、プリセットデータの選択操作に応じて画像の揺れを調整するパラメータを設定することが考えられる。
例えば揺れのパターンを示す揺れ波形のプリセットデータを１又は複数の記憶しておくようにし、ユーザが１つのプリセットデータを適用する操作を可能としたり、複数のプリセットデータの内の１つを選択可能としたりする。
例えば揺れのパターンを示す揺れ波形のプリセットデータを１又は複数の記憶しておくようにし、ユーザが１つのプリセットデータを適用する操作を可能としたり、複数のプリセットデータの内の１つを選択可能としたりする。
【0012】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、画像の時間軸方向に揺れ成分を示すタイムラインの提示を実行させることが考えられる。
例えば画像の時間軸方向に例えば揺れを表す波形などを示す表示を行う。
例えば画像の時間軸方向に例えば揺れを表す波形などを示す表示を行う。
【0013】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とすることが考えられる。
タイムライン上で任意の箇所（タイムコード／フレーム）をユーザが指定できるようにする。
タイムライン上で任意の箇所（タイムコード／フレーム）をユーザが指定できるようにする。
【0014】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして画像を再生させる処理を行うことが考えられる。
例えばタイムライン上で任意の箇所（タイムコード／フレーム）をユーザがキーフレームとして指定できるようにするとともに、ユーザがプレビュー（再生）操作を行うことができるようにする。
例えばタイムライン上で任意の箇所（タイムコード／フレーム）をユーザがキーフレームとして指定できるようにするとともに、ユーザがプレビュー（再生）操作を行うことができるようにする。
【0015】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして決定した画像区間を、繰り返し再生させる処理を行うことが考えられる。
例えばタイムライン上で任意の箇所（タイムコード／フレーム）をユーザがキーフレームとして指定したときに、そのキーフレームを基準に画像区間を決める。そしてその画像区間をリピート再生させる。
例えばタイムライン上で任意の箇所（タイムコード／フレーム）をユーザがキーフレームとして指定したときに、そのキーフレームを基準に画像区間を決める。そしてその画像区間をリピート再生させる。
【0016】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、前記タイムラインに対して、操作により選択されたプリセットデータをアサインする処理を行うことが考えられる。
例えばユーザがプリセットデータを示す画像をタイムラインにドラッグするような操作により、タイムライン上の或る区間に、そのプリセットデータを当てはめるような操作を可能とする。
例えばユーザがプリセットデータを示す画像をタイムラインにドラッグするような操作により、タイムライン上の或る区間に、そのプリセットデータを当てはめるような操作を可能とする。
【0017】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、前記タイムラインに対するプリセットデータのアサインに応じて変化する揺れの状況を提示する処理を行うことが考えられる。
例えばユーザがタイムライン上の或る区間に、或るプリセットデータを当てはめたら、その区間で揺れが変化することを示すような表示を行う。
例えばユーザがタイムライン上の或る区間に、或るプリセットデータを当てはめたら、その区間で揺れが変化することを示すような表示を行う。
【0018】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、前記キーフレームを基準に設定した区間に揺れ変更の操作が反映されるようにすることが考えられる。
例えばタイムライン上で任意の箇所（タイムコード／フレーム）をユーザがキーフレームとして指定できるようにするとともに、キーフレームに応じて区間が自動設定されるようにする。各種操作による揺れ変更は、その区間に反映される。
例えばタイムライン上で任意の箇所（タイムコード／フレーム）をユーザがキーフレームとして指定できるようにするとともに、キーフレームに応じて区間が自動設定されるようにする。各種操作による揺れ変更は、その区間に反映される。
【0019】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、前記タイムライン上で揺れ変更操作にかかる画像の揺れの変更前の状態と変更後の状態を提示させる処理を行うことが考えられる。
例えば揺れの波形を表示するとともに、その揺れの波形を、揺れ変更前と揺れ変更後を同時に表示させたり、切り替え表示させたりする。
例えば揺れの波形を表示するとともに、その揺れの波形を、揺れ変更前と揺れ変更後を同時に表示させたり、切り替え表示させたりする。
【0020】
上記した本技術に係る画像処理装置においては、前記揺れ変更部は、揺れが生じていない入力画像データ又は揺れ低減処理が施された入力画像データに揺れを付加する揺れ変更処理を行うことが考えられる。
例えば固定カメラで撮像された元々手ブレ等が生じていない画像や、手ブレ等が撮像装置側で除去された画像を対象として揺れ変更を行う。
例えば固定カメラで撮像された元々手ブレ等が生じていない画像や、手ブレ等が撮像装置側で除去された画像を対象として揺れ変更を行う。
【0021】
上記した本技術に係る画像処理装置においては、前記揺れ変更部は、揺れ成分を含む入力画像データに対し揺れ変更処理を行うことが考えられる。
例えば手ブレ等が除去されていない画像が入力され、これを対象として揺れ変更を行う。
例えば手ブレ等が除去されていない画像が入力され、これを対象として揺れ変更を行う。
【0022】
上記した本技術に係る画像処理装置においては、前記ユーザインタフェース処理部は、ユーザの揺れ情報の保存の操作に応じて揺れ情報を記憶させる処理を行うことが考えられる。
即ちユーザ操作に応じて行われた揺れ変更の情報、例えばパラメータ設定を保存できるようにする。
即ちユーザ操作に応じて行われた揺れ変更の情報、例えばパラメータ設定を保存できるようにする。
【0023】
本技術に係る画像処理方法は、画像処理装置が、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、揺れ変更に関する操作情報を取得するユーザインタフェース処理と、前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理とを行う。
これにより画像に対する揺れ演出や揺れ除去の操作をユーザが実行できるようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。
これにより画像に対する揺れ演出や揺れ除去の操作をユーザが実行できるようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。
【図面の簡単な説明】
【0024】
【図1】本技術の実施の形態で用いられる機器の説明図である。
【図2】実施の形態の機器間で伝送される情報の説明図である。
【図3】実施の形態の撮像装置のブロック図である。
【図4】実施の形態の撮像装置における画像の揺れ除去処理の説明図である。
【図5】実施の形態の情報処理装置のブロック図である。
【図6】実施の形態の画像処理装置としての機能構成の説明図である。
【図7】実施の形態の画像処理装置としての入出力態様の説明図である。
【図8】実施の形態の画像処理装置としての入出力態様の説明図である。
【図9】実施の形態の画像処理装置としての入出力態様の説明図である。
【図10】実施の形態の画像処理装置としての入出力態様の説明図である。
【図11】実施の形態の画像処理装置としての入出力態様の説明図である。
【図12】実施の形態の画像ファイル及びメタデータの内容の説明図である。
【図13】レンズ歪み補正に関するメタデータの説明図である。
【図14】実施の形態の画像処理の説明図である。
【図15】実施の形態の天球モデルへの貼付の説明図である。
【図16】実施の形態のＩＭＵデータのサンプルタイミングの説明図である。
【図17】実施の形態の周波数帯域別の揺れ情報調整の説明図である。
【図18】実施の形態の方向別の揺れ情報調整の説明図である。
【図19】実施の形態の周波数帯域別及び方向別の揺れ情報調整の説明図である。
【図20】実施の形態の出力画像と天球モデルの対応付けの説明図である。
【図21】実施の形態の出力座標平面の回転と透視射影の説明図である。
【図22】実施の形態の切り出し領域の説明図である。
【図23】実施の形態で伝送されるメタデータの説明図である。
【図24】実施の形態の二次的な画像処理の説明図である。
【図25】第１の実施の形態のＵＩの説明図である。
【図26】第２の実施の形態のＵＩの説明図である。
【図27】第３の実施の形態のＵＩの説明図である。
【図28】第３の実施の形態の画像処理の説明図である。
【図29】第１，第２，第３の実施の形態のＵＩ処理のフローチャートである。
【図30】第４の実施の形態のＵＩの説明図である。
【図31】第５の実施の形態のＵＩの説明図である。
【図32】第５の実施の形態のＵＩの説明図である。
【図33】第６の実施の形態のＵＩの説明図である。
【図34】第４，第５，第６の実施の形態のＵＩ処理のフローチャートである。
【図35】第４，第５，第６の実施の形態のＵＩ処理のフローチャートである。
【発明を実施するための形態】
【0025】
以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．装置構成及び処理機能＞
＜３．画像ファイル及びメタデータ＞
＜４．実施の形態の画像処理＞
＜５．揺れ変更のユーザインタフェース＞
［５－１：第１の実施の形態のＵＩ動作］
［５－２：第２の実施の形態のＵＩ動作］
［５－３：第３の実施の形態のＵＩ動作］
［５－４：第１，第２，第３の実施の形態のＵＩ処理］
［５－５：第４の実施の形態のＵＩ動作］
［５－６：第５の実施の形態のＵＩ動作］
［５－７：第６の実施の形態のＵＩ動作］
［５－８：第４，第５，第６の実施の形態のＵＩ処理］
＜６．まとめ及び変形例＞
＜１．画像処理装置として適用できる機器の構成＞
＜２．装置構成及び処理機能＞
＜３．画像ファイル及びメタデータ＞
＜４．実施の形態の画像処理＞
＜５．揺れ変更のユーザインタフェース＞
［５－１：第１の実施の形態のＵＩ動作］
［５－２：第２の実施の形態のＵＩ動作］
［５－３：第３の実施の形態のＵＩ動作］
［５－４：第１，第２，第３の実施の形態のＵＩ処理］
［５－５：第４の実施の形態のＵＩ動作］
［５－６：第５の実施の形態のＵＩ動作］
［５－７：第６の実施の形態のＵＩ動作］
［５－８：第４，第５，第６の実施の形態のＵＩ処理］
＜６．まとめ及び変形例＞
【0026】
なお実施の形態の説明に先だって、説明で用いる一部の用語について説明しておく。
「揺れ」とは動画を構成する画像のフレーム間の揺れ（interframe shake）を指す。いわゆる撮像装置で撮像された画像における手ぶれ（camera shake）等に起因する揺れや、画像処理により意図的に付加した揺れなど、フレーム間で生じる振動成分（フレーム間での画像の揺らぎ）を広く指すものとする。
「揺れ」とは動画を構成する画像のフレーム間の揺れ（interframe shake）を指す。いわゆる撮像装置で撮像された画像における手ぶれ（camera shake）等に起因する揺れや、画像処理により意図的に付加した揺れなど、フレーム間で生じる振動成分（フレーム間での画像の揺らぎ）を広く指すものとする。
【0027】
「揺れ変更（interframe shake modification）」は、画像に生じている揺れの低減や、画像に揺れを付加することなど、画像における揺れの状態を変化させることをいう。
この「揺れ変更」には次の「揺れ除去（interframe shake reduction）」「揺れ演出（interframe shake production）」が含まれるものとする。
この「揺れ変更」には次の「揺れ除去（interframe shake reduction）」「揺れ演出（interframe shake production）」が含まれるものとする。
【0028】
「揺れ除去」は、手ぶれなどにより画像に生じている揺れを無くすこと（揺れの全部除去）、もしくは低減すること（揺れの一部除去）をいう。例えば撮像時の揺れ情報に基づいて揺れを低減させるように調整することをいう。撮像装置において行われるいわゆる手ぶれ補正は、揺れ除去を行っていることになる。
【0029】
「揺れ演出」は、画像に揺れを加える場合や、揺れを低減させる場合があり、その意味で結果として「揺れ除去」と同様となることもあるが、本実施の形態ではユーザの操作又は自動制御により揺れの変化量が指示され、該指示に応じて画像の揺れ状態を変化させることをいう。例えば撮像時の揺れ情報をユーザ指示等により変化させ、その変化させた揺れ情報に基づいて揺れ変更処理をすることで、揺れを低減又は増加させたり、ユーザ指示等により生成した揺れを付加する情報に基づいて揺れ変更することで、揺れを低減又は増加させたりすることが「揺れ演出」に該当する。
揺れを抑圧する方向に調整する場合においても、例えば意図的に揺れ具合を調整することは「揺れ演出」に該当すると考えることもできる。
なお、揺れ演出の目的の一例としては、動画のシーンに迫力を与えるため、わざと画像を揺らすことなどが想定される。
揺れを抑圧する方向に調整する場合においても、例えば意図的に揺れ具合を調整することは「揺れ演出」に該当すると考えることもできる。
なお、揺れ演出の目的の一例としては、動画のシーンに迫力を与えるため、わざと画像を揺らすことなどが想定される。
【0030】
「撮像時揺れ情報」とは、撮像装置で撮像された際の揺れに関する情報であり、撮像装置の動きの検出情報や、該検出情報から算出できる情報や、撮像装置の姿勢を表す姿勢情報や、撮像装置の動きとしてのシフトや回転の情報などが該当する。
実施の形態では、「撮像時揺れ情報」の具体例として、クオータニオン（ＱＤ）、ＩＭＵデータ、シフト・回転情報（ＳＦＲＯ）などを挙げる。もちろんこれらに限定されない。
実施の形態では、「撮像時揺れ情報」の具体例として、クオータニオン（ＱＤ）、ＩＭＵデータ、シフト・回転情報（ＳＦＲＯ）などを挙げる。もちろんこれらに限定されない。
【0031】
「調整後揺れ情報」とは、撮像時揺れ情報を調整して生成した揺れ情報であり、揺れ変更処理に用いられる情報である。例えばユーザ操作や自動制御に応じて調整される揺れ情報である。
実施の形態では、「調整後揺れ情報」の具体例として、調整後クオータニオン（ｅＱＤ）や調整後ＩＭＵデータ（ｅＩＭＵ）を挙げるが、もちろんこれらに限定されない。
実施の形態では、「調整後揺れ情報」の具体例として、調整後クオータニオン（ｅＱＤ）や調整後ＩＭＵデータ（ｅＩＭＵ）を挙げるが、もちろんこれらに限定されない。
【0032】
「揺れ変更情報」（説明及び図面では符号「ＳＭＩ」を付す）は、画像データの揺れ変更処理の情報であり、揺れ変更処理の処理量を特定できる情報であればよい。
実施の形態では、「揺れ変更情報」の具体例として、揺れ変更パラメータ（ＰＲＭ）や調整後クオータニオン（ｅＱＤ）を挙げるが、もちろんこれらに限定されない。
実施の形態では、「揺れ変更情報」の具体例として、揺れ変更パラメータ（ＰＲＭ）や調整後クオータニオン（ｅＱＤ）を挙げるが、もちろんこれらに限定されない。
【0033】
＜１．画像処理装置として適用できる機器の構成＞
以下の実施の形態では、主にスマートフォンやパーソナルコンピュータなどの情報処理装置により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。
以下の実施の形態では、主にスマートフォンやパーソナルコンピュータなどの情報処理装置により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。
【0034】
図１Ａは画像ソースＶＳと、画像ソースＶＳから画像ファイルＭＦを取得する画像処理装置（ＴＤｘ，ＴＤｙ）としての例を示している。
なお、画像処理装置ＴＤｘは、画像ソースＶＳから取得された画像データに対して一次的に揺れ変更処理を行う機器とする。
一方、画像処理装置ＴＤｙは、他の画像処理装置で既に揺れ変更処理が行われた画像データについて二次的に揺れ変更処理を行う機器とする。
なお、画像処理装置ＴＤｘは、画像ソースＶＳから取得された画像データに対して一次的に揺れ変更処理を行う機器とする。
一方、画像処理装置ＴＤｙは、他の画像処理装置で既に揺れ変更処理が行われた画像データについて二次的に揺れ変更処理を行う機器とする。
【0035】
画像ソースＶＳとしては撮像装置１、サーバ４、記録媒体５などが想定される。
画像処理装置ＴＤｘ、ＴＤｙとしてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。他にも図示していないが、画像編集専用装置、クラウドサーバ、テレビジョン装置、ビデオ記録再生装置など各種の機器が画像処理装置ＴＤｘ、ＴＤｙとして想定される。これらの機器は、画像処理装置ＴＤｘ、ＴＤｙのいずれとしても機能できる。
画像処理装置ＴＤｘ、ＴＤｙとしてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。他にも図示していないが、画像編集専用装置、クラウドサーバ、テレビジョン装置、ビデオ記録再生装置など各種の機器が画像処理装置ＴＤｘ、ＴＤｙとして想定される。これらの機器は、画像処理装置ＴＤｘ、ＴＤｙのいずれとしても機能できる。
【0036】
画像ソースＶＳとしての撮像装置１は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルＭＦを有線通信や無線通信を介して携帯端末２やパーソナルコンピュータ３などに転送する。
サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された画像ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して画像ファイルＭＦを携帯端末２やパーソナルコンピュータ３などに転送することが考えられる。
サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された画像ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して画像ファイルＭＦを携帯端末２やパーソナルコンピュータ３などに転送することが考えられる。
【0037】
記録媒体５はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置１で撮像された画像ファイルＭＦが記録されたリムーバブル記録媒体を指している。この記録媒体５から読み出された画像ファイルＭＦが携帯端末２やパーソナルコンピュータ３などに読み取られることが考えられる。
【0038】
画像処理装置ＴＤｘ、ＴＤｙとしての携帯端末２やパーソナルコンピュータ３等は、以上の画像ソースＶＳから取得した画像ファイルＭＦに対する画像処理が可能とされている。ここでいう画像処理とは、揺れ変更処理（揺れ演出や揺れ除去）を含む。
揺れ変更処理は、例えば、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて回転することにより行う。
揺れ変更処理は、例えば、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて回転することにより行う。
【0039】
なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置ＴＤｘ，ＴＤｙとして機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースＶＳとなることもある。
【0040】
図１Ｂは、画像ソースＶＳと画像処理装置ＴＤｘの両方として機能できる１つの機器としての撮像装置１や携帯端末２を示している。
例えば撮像装置１の内部のマイクロコンピュータ等が揺れ変更処理を行う。
つまり撮像装置１は撮像によって生成した画像ファイルＭＦに対して揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができるものとする。
例えば撮像装置１の内部のマイクロコンピュータ等が揺れ変更処理を行う。
つまり撮像装置１は撮像によって生成した画像ファイルＭＦに対して揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができるものとする。
【0041】
携帯端末２も同様であり、撮像機能を備えることで画像ソースＶＳとなり得るため、撮像によって生成した画像ファイルＭＦについて上記の揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができる。
もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
【0042】
以上のように実施の形態の画像処理装置ＴＤｘ、ＴＤｙとして機能する装置及び画像ソースＶＳは多様であるが、以下では、撮像装置１等の画像ソースＶＳ、携帯端末２等の画像処理装置ＴＤｘ、及び他の画像処理装置ＴＤｙが、それぞれ別体の機器であるとして説明していく。
【0043】
図２は画像ソースＶＳ、画像処理装置ＴＤｘ、の画像処理装置ＴＤｙにおける情報伝送の様子を示している。
画像ソースＶＳから画像処理装置ＴＤｘに対しては、画像データＶＤ１とメタデータＭＴＤ１が、有線通信、無線通信、或いは記録媒体を介して伝送される。
後述するが画像データＶＤ１とメタデータＭＴＤ１は、例えば画像ファイルＭＦとして伝送される情報である。
メタデータＭＴＤ１には、例えば手ぶれ補正などとして行われた撮像時の揺れ除去の情報として、座標変換パラメータＨＰが含まれる場合がある。
画像ソースＶＳから画像処理装置ＴＤｘに対しては、画像データＶＤ１とメタデータＭＴＤ１が、有線通信、無線通信、或いは記録媒体を介して伝送される。
後述するが画像データＶＤ１とメタデータＭＴＤ１は、例えば画像ファイルＭＦとして伝送される情報である。
メタデータＭＴＤ１には、例えば手ぶれ補正などとして行われた撮像時の揺れ除去の情報として、座標変換パラメータＨＰが含まれる場合がある。
【0044】
画像処理装置ＴＤｘは、画像データＶＤ１とメタデータＭＴＤ１、さらには座標変換パラメータＨＰを受けて各種の処理を行うことができる。
例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる撮像時揺れ情報を用いて画像データＶＤ１に対する揺れ変更処理を行うことができる。
また例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる座標変換パラメータＨＰを用いて撮像時に画像データＶＤ１に施された揺れ除去をキャンセルすることができる。
例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる撮像時揺れ情報を用いて画像データＶＤ１に対する揺れ変更処理を行うことができる。
また例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる座標変換パラメータＨＰを用いて撮像時に画像データＶＤ１に施された揺れ除去をキャンセルすることができる。
【0045】
画像処理装置ＴＤｘは、揺れ変更処理を行った場合、画像データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとを関連付ける処理を行う。
そして関連付けられた画像データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩとは、画像処理装置ＴＤｙに対して一括して、或いは別々に、有線通信、無線通信、或いは記録媒体を介して伝送されるようにすることができる。
ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
より具体的には、例えば、複数の情報に同一のＩＤ（識別情報）を付与すること、複数の情報を同一の記録媒体に記録すること、複数の情報を同一のフォルダに格納すること、複数の情報を同一のファイルに格納すること（一方を他方にメタデータとして付与すること）、複数の情報を同一のストリームに埋め込むこと、例えば電子透かしのように画像にメタを埋め込むこと等の行為が、「関連付ける」に含まれる。
そして関連付けられた画像データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩとは、画像処理装置ＴＤｙに対して一括して、或いは別々に、有線通信、無線通信、或いは記録媒体を介して伝送されるようにすることができる。
ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
より具体的には、例えば、複数の情報に同一のＩＤ（識別情報）を付与すること、複数の情報を同一の記録媒体に記録すること、複数の情報を同一のフォルダに格納すること、複数の情報を同一のファイルに格納すること（一方を他方にメタデータとして付与すること）、複数の情報を同一のストリームに埋め込むこと、例えば電子透かしのように画像にメタを埋め込むこと等の行為が、「関連付ける」に含まれる。
【0046】
図２では画像データＶＤ２として画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送される画像データを示している。画像データＶＤ２は、撮像装置１での揺れ除去がキャンセルされた画像であったり、画像処理装置ＴＤｘで揺れ除去が施された画像であったり、画像処理装置ＴＤｘで揺れ変更処理が行われる前の画像であったりするなど、各種の例が考えられる。
また図２では画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送されるメタデータＭＴＤ２を示している。メタデータＭＴＤ２はメタデータＭＴＤ１と同じ情報であったり、一部異なる情報であったりする。但しメタデータＭＴＤ２には撮像時揺れ情報が含まれる。
従って画像処理装置ＴＤｙは、少なくとも画像データＶＤ２と、メタデータＭＴＤ２に含まれる撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられた状態で取得できる。
なお、揺れ変更情報ＳＭＩもメタデータＭＴＤ２に含まれるようにするデータ形態も考えられる。
また図２では画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送されるメタデータＭＴＤ２を示している。メタデータＭＴＤ２はメタデータＭＴＤ１と同じ情報であったり、一部異なる情報であったりする。但しメタデータＭＴＤ２には撮像時揺れ情報が含まれる。
従って画像処理装置ＴＤｙは、少なくとも画像データＶＤ２と、メタデータＭＴＤ２に含まれる撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられた状態で取得できる。
なお、揺れ変更情報ＳＭＩもメタデータＭＴＤ２に含まれるようにするデータ形態も考えられる。
【0047】
本実施の形態では、このような情報伝送を想定したうえで、画像処理装置ＴＤｘ、ＴＤｙで実行できる画像処理について説明していく。
【0048】
＜２．装置構成及び処理機能＞
まず画像ソースＶＳとなる撮像装置１の構成例を図３で説明する。
なお図１Ｂで説明したように携帯端末２で撮像した画像ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。
まず画像ソースＶＳとなる撮像装置１の構成例を図３で説明する。
なお図１Ｂで説明したように携帯端末２で撮像した画像ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。
【0049】
また撮像装置１では、いわゆる手ぶれ補正といわれる、撮像時の撮像装置の動きによる画像の揺れを低減する処理が行われるが、これは撮像装置で行われる「揺れ除去」である。 これに対し、画像処理装置ＴＤｘ、ＴＤｙで行われる「揺れ演出」や「揺れ除去」は、撮像装置１で撮像時に行われる「揺れ除去」とは独立した別個の処理となる。
【0050】
図３に示すように撮像装置１は、例えばレンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３を有する。
【0051】
レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。
なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。
【0052】
撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。
【0053】
カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。
またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。
【0054】
前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
【0055】
カメラ信号処理部１３で行われる各種補正処理（撮像装置１の内部補正）については図４に例を挙げる。図４ではレンズ系１１で行われる光学手ぶれ補正とともに、カメラ信号処理部１３で行われる補正処理を、その実行順序により例示している。
【0056】
処理Ｆ１としての光学手ぶれ補正では、レンズ系１１のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ１２ａのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ１２ａに結像するようにされる。
このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。
このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。
【0057】
カメラ信号処理部１３では処理Ｆ２から処理Ｆ７までの処理が各画素に対する空間座標変換により行われる。
処理Ｆ２ではレンズ歪み補正が行われる。
処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
処理Ｆ２ではレンズ歪み補正が行われる。
処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
【0058】
処理Ｆ４ではロール補正が行われる。即ち電子手ぶれ補正の１つの要素としてのロール成分の補正が行われる。
処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
【0059】
図３のカメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルＭＦに付加するメタデータの生成も行う。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルＭＦに付加するメタデータの生成も行う。
【0060】
また図３では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルＭＦには動画としての画像データとともに音声データも含まれるようにしてもよい。
【0061】
記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【0062】
表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【0063】
出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【0064】
操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
【0065】
カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0066】
メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
【0067】
ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
【0068】
センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
なお、センサ部２３は、撮像時の手ぶれを検出することができるセンサを含んでいればよく、ジャイロセンサと加速度センサの双方を備えている必要は無い。
またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。
センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
なお、センサ部２３は、撮像時の手ぶれを検出することができるセンサを含んでいればよく、ジャイロセンサと加速度センサの双方を備えている必要は無い。
またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。
【0069】
例えば以上の撮像装置１によって撮像され生成された動画としての画像ファイルＭＦは、携帯端末２等の画像処理装置ＴＤｘ、ＴＤｙに転送されて画像処理を施されることが可能とされる。
画像処理装置ＴＤｘ、ＴＤｙとなる携帯端末２、パーソナルコンピュータ３は、例えば図５に示す構成を備えた情報処理装置として実現できる。なおサーバ４についても、同様に図５の構成の情報処理装置により実現できる。
画像処理装置ＴＤｘ、ＴＤｙとなる携帯端末２、パーソナルコンピュータ３は、例えば図５に示す構成を備えた情報処理装置として実現できる。なおサーバ４についても、同様に図５の構成の情報処理装置により実現できる。
【0070】
図５において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【0071】
入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
【0072】
また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
【0073】
入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
通信部８０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。
通信部８０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。
【0074】
入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
【0075】
この情報処理装置７０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
【0076】
例えばこのようなソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が情報処理装置７０のＣＰＵ７１において構築される。
図６は画像処理装置ＴＤｘ、ＴＤｙとして機能する情報処理装置７０として設けられる機能を示している。即ち情報処理装置７０（ＣＰＵ７１）は、揺れ変更部１０１、パラメータ設定部１０２、ユーザインタフェース処理部１０３としての機能を備える。
なお、「ユーザインタフェース」は「ＵＩ」とも表記し、ユーザインタフェース処理部１０３は、以下「ＵＩ処理部１０３」とも表記する。
図６は画像処理装置ＴＤｘ、ＴＤｙとして機能する情報処理装置７０として設けられる機能を示している。即ち情報処理装置７０（ＣＰＵ７１）は、揺れ変更部１０１、パラメータ設定部１０２、ユーザインタフェース処理部１０３としての機能を備える。
なお、「ユーザインタフェース」は「ＵＩ」とも表記し、ユーザインタフェース処理部１０３は、以下「ＵＩ処理部１０３」とも表記する。
【0077】
揺れ変更部１０１は、ユーザが入力したパラメータや調整後揺れ情報を用いて、画像データの揺れの状態を変更する揺れ変更処理を行う機能である。
この揺れ変更部１０１は、揺れ除去や揺れ演出としての処理を行って、揺れ除去済又は揺れ演出済みの画像データとしての出力画像を得る。
この揺れ変更部１０１は、揺れ除去や揺れ演出としての処理を行って、揺れ除去済又は揺れ演出済みの画像データとしての出力画像を得る。
【0078】
ＵＩ処理部１０３は、揺れ変更に関する操作子をユーザに対して提示させるとともに操作子による操作情報を取得する処理を行う機能である。
例えばＵＩ処理部１０３は表示部７７にＵＩ画像として、操作子や画像に関する情報を示す画像を表示させる処理を行う。またＵＩ処理部１０３は入力部７６によるユーザの操作を検出する。例えばＵＩ画像に対するタッチ操作などを検出する。
例えばＵＩ処理部１０３は表示部７７にＵＩ画像として、操作子や画像に関する情報を示す画像を表示させる処理を行う。またＵＩ処理部１０３は入力部７６によるユーザの操作を検出する。例えばＵＩ画像に対するタッチ操作などを検出する。
【0079】
パラメータ設定部１０２は、ＵＩ処理部１０３が取得した操作情報に基づいて、揺れ変更処理のためのパラメータ（揺れ変更パラメータＰＲＭ）を設定する機能である。つまりＵＩ処理部１０３が検出したユーザ操作内容を揺れ変更パラメータＰＲＭに変換し、それを揺れ変更部１０１に供給することで、画像データに対してユーザの操作に応じた揺れ変更処理が行われるようにする。
【0080】
ここで、このような機能を有する画像処理装置ＴＤｘ、ＴＤｙについての入出力の態様は例えば次のパターン１からパターン５の例のように多様に考えられる。
【0081】
パターン１は、図７に示すように、元々手ブレ等の揺れが生じていない画像データＰＤ（ＮＳ）が揺れ変更部１０１に入力される態様である。画像データＰＤ（ＮＳ）としては、例えば固定された監視カメラ等で撮像された画像データ、三脚等を用いて撮像された画像データなどが考えられる。
この場合、揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像に揺れを付加する揺れ演出が行われ、揺れが付加された出力画像データｏＰＤが得られることが想定される。
この場合、揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像に揺れを付加する揺れ演出が行われ、揺れが付加された出力画像データｏＰＤが得られることが想定される。
【0082】
パターン２は、図８に示すように、手ブレ等の揺れが補正された画像データＰＤが揺れ変更部１０１に入力される態様である。例えば手ブレ補正機能を備えた撮像装置１で撮像された画像データＰＤが入力される。
この場合、揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像に揺れを付加する揺れ演出が行われ、揺れが付加された出力画像データｏＰＤが得られることが想定される。
この場合、揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像に揺れを付加する揺れ演出が行われ、揺れが付加された出力画像データｏＰＤが得られることが想定される。
【0083】
パターン３は、図９に示すように、手ブレ等の揺れが補正された画像データＰＤが揺れ変更部１０１に入力される態様である。パターン２と同様に、例えば手ブレ補正機能を備えた撮像装置１で撮像された画像データＰＤが入力されることが想定される。
画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０（ＣＰＵ７１）には、さらに補正キャンセル部１０４としての機能が設けられる。
補正キャンセル部１０４は、すでに画像データＰＤに施されている手ブレ補正をキャンセルする処理を行う。画像データＰＤは、揺れを除去する補正がキャンセルされ、元の（補正前の）揺れが生じている状態の画像データｉＰＤとされる。
画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０（ＣＰＵ７１）には、さらに補正キャンセル部１０４としての機能が設けられる。
補正キャンセル部１０４は、すでに画像データＰＤに施されている手ブレ補正をキャンセルする処理を行う。画像データＰＤは、揺れを除去する補正がキャンセルされ、元の（補正前の）揺れが生じている状態の画像データｉＰＤとされる。
【0084】
このような画像データｉＰＤに対して揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像の揺れを調整するような揺れ変更処理を行い、揺れの状態が変更された出力画像データｏＰＤを得ることが想定される。
【0085】
この場合の揺れ変更としては、揺れ除去や揺れ演出が想定される。
揺れ変更部１０１での揺れ除去としては、元々撮像装置１側で行われていた揺れ補正をキャンセルした後において、より高度な処理で揺れ補正を再度行うということが考えられる。つまり撮像装置１における手ブレ補正よりも高性能な揺れ除去を行って、より揺れを無くした状態の画像とする処理である。
揺れ変更部１０１での揺れ演出としては、元々撮像装置１側で行われていた揺れ補正をキャンセルした後の揺れがある画像に対して、ユーザの意図に従って揺れの状態を異なる状態に変化させたり、調整したりすることが想定される。ここでいう調整とは、例えば元々あった揺れを若干控えめにする揺れの一部除去や、或いは元々あった揺れをより大げさな揺れする揺れ演出の処理などが考えられる。
揺れ変更部１０１での揺れ除去としては、元々撮像装置１側で行われていた揺れ補正をキャンセルした後において、より高度な処理で揺れ補正を再度行うということが考えられる。つまり撮像装置１における手ブレ補正よりも高性能な揺れ除去を行って、より揺れを無くした状態の画像とする処理である。
揺れ変更部１０１での揺れ演出としては、元々撮像装置１側で行われていた揺れ補正をキャンセルした後の揺れがある画像に対して、ユーザの意図に従って揺れの状態を異なる状態に変化させたり、調整したりすることが想定される。ここでいう調整とは、例えば元々あった揺れを若干控えめにする揺れの一部除去や、或いは元々あった揺れをより大げさな揺れする揺れ演出の処理などが考えられる。
【0086】
パターン４は、図１０に示すように、手ブレ等の揺れが残っている画像データＰＤ（Ｓ）が揺れ変更部１０１に入力される態様である。例えば手ブレ補正機能を備えない撮像装置１で撮像された画像データＰＤ（Ｓ）や、手ブレ補正機能をオフにして撮像された画像データＰＤ（Ｓ）が入力される。
【0087】
このような画像データｉＰＤに対して揺れ変更部１０１では、揺れ除去部１０１ａ、揺れ付加部１０１ｂとしての機能の処理を行う。
揺れ除去部１０１ａ、揺れ付加部１０１ｂは、いずれも揺れ変更処理を行う機能であるが、特に揺れ除去部１０１ａは、入力される画像データＰＤ（Ｓ）に生じている揺れを除去する処理を行う機能である。
例えば揺れ除去部１０１ａは、撮像装置１側から取得した撮像時揺れ情報を用いて揺れを除去する処理を行う。また画像処理装置ＴＤｙを想定すれば、揺れ除去部１０１ａは、揺れを付加した画像処理装置ＴＤｘからの揺れ変更情報などを用いて、その時点で付加されている揺れを除去する処理を行う。
揺れ付加部１０１ｂは、ユーザ操作に応じた揺れの付加を行う機能としている。
揺れ除去部１０１ａ、揺れ付加部１０１ｂは、いずれも揺れ変更処理を行う機能であるが、特に揺れ除去部１０１ａは、入力される画像データＰＤ（Ｓ）に生じている揺れを除去する処理を行う機能である。
例えば揺れ除去部１０１ａは、撮像装置１側から取得した撮像時揺れ情報を用いて揺れを除去する処理を行う。また画像処理装置ＴＤｙを想定すれば、揺れ除去部１０１ａは、揺れを付加した画像処理装置ＴＤｘからの揺れ変更情報などを用いて、その時点で付加されている揺れを除去する処理を行う。
揺れ付加部１０１ｂは、ユーザ操作に応じた揺れの付加を行う機能としている。
【0088】
入力される画像データＰＤ（Ｓ）に対して揺れ変更部１０１では、まず揺れ除去部１０１ａにより撮像時、或いは前回までの画像処理時に生じた揺れを除去する処理を行う。そして揺れが除去された状態で、揺れ付加部１０１ｂにより、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像に揺れを付加する揺れ演出が行われる。従って、入力される画像データＰＤ（Ｓ）とは異なる揺れが付加された出力画像データｏＰＤが得られることが想定される。
【0089】
パターン５は、図１１に示すように、手ブレ等の揺れが残っている画像データＰＤ（Ｓ）が揺れ変更部１０１に入力される態様である。パターン４と同様に、例えば手ブレ補正機能を備えない撮像装置１で撮像された画像データＰＤ（Ｓ）や、手ブレ補正機能をオフにして撮像された画像データＰＤ（Ｓ）が入力される。
このような画像データｉＰＤに対して揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像の揺れを調整するような揺れ変更処理を行い、揺れが調整された出力画像データｏＰＤを得ることが想定される。
ここでいう調整とは、例えば元々あった揺れを若干控えめにする揺れの一部除去や、或いは元々あった揺れをより大げさな揺れする揺れ演出の処理などが考えられる。
このような画像データｉＰＤに対して揺れ変更部１０１では、ＵＩ処理部１０３の操作に応じて設定される揺れ変更パラメータＰＲＭに基づいて、画像の揺れを調整するような揺れ変更処理を行い、揺れが調整された出力画像データｏＰＤを得ることが想定される。
ここでいう調整とは、例えば元々あった揺れを若干控えめにする揺れの一部除去や、或いは元々あった揺れをより大げさな揺れする揺れ演出の処理などが考えられる。
【0090】
＜３．画像ファイル及びメタデータ＞
撮像装置１等の画像ソースＶＳから画像処理装置ＴＤｘに伝送される画像ファイルＭＦの内容とメタデータの内容を説明する。
図１２Ａは画像ファイルＭＦに含まれるデータを示している。図示のように画像ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
撮像装置１等の画像ソースＶＳから画像処理装置ＴＤｘに伝送される画像ファイルＭＦの内容とメタデータの内容を説明する。
図１２Ａは画像ファイルＭＦに含まれるデータを示している。図示のように画像ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
【0091】
「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば２チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。
「サウンド」は動画とともに収録された音声データである。例えば２チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。
【0092】
メタデータの内容例を図１２Ｂに示す。例えば１つのフレームに対して、ＩＭＵデータ、座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。
【0093】
ＩＭＵデータとしては、ジャイロ（角速度データ）、アクセル（加速度データ）、サンプリングレートが記述される。
センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。
センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。
【0094】
そのため角速度データとしては、図１２Ｃに示すジャイロサンプル＃１、ジャイロサンプル＃２・・・ジャイロサンプル＃ｎというように、１フレームについてｎ個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。
また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。
【0095】
座標変換パラメータＨＰは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な座標変換も含む。
そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
【0096】
レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの１つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図１３Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度α、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度αの関係がわかれば良い。
図１３Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度α、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度αの関係がわかれば良い。
【0097】
図１３Ｂはレンズ歪み補正前の画像１１０とレンズ歪み補正後の画像１１１を示している。最大像高Ｈ０は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高Ｈ１は歪み補正後の最大像高である。
像高Ｙ、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ－１）となる。“Ｎ”は一例として１０程度であることが想定される。
像高Ｙ、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ－１）となる。“Ｎ”は一例として１０程度であることが想定される。
【0098】
図１２Ｂに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。
【0099】
フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。
【0100】
電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。
【0101】
なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部１２のイメージセンサ１２ａの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの１つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。
【0102】
またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
【0103】
メタデータにおけるタイミング情報ＴＭとしては、露光時間（シャッタースピード）、露光開始タイミング、読み出し時間（幕速）、露光フレーム数（長秒露光情報）、ＩＭＵサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
但しイメージセンサ１２ａがＣＣＤの場合やグローバルシャッター方式のＣＭＯＳの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
但しイメージセンサ１２ａがＣＣＤの場合やグローバルシャッター方式のＣＭＯＳの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
【0104】
メタデータにおけるカメラパラメータＣＰとしては、画角（焦点距離）、ズーム位置、レンズ歪み情報が記述される。
【0105】
＜４．実施の形態の画像処理＞
実施の形態としての画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０の処理例を説明する。
図１４は、画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。
なお、図６の揺れ変更部１０１の機能によっては、図１４においてステップＳＴ３０として囲った、ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１６の処理が行われる。
パラメータ設定部１０２の機能によってはステップＳＴ４１のパラメータ設定処理が行われる。
ＵＩ処理部１０３の機能によってはステップＳＴ４０のＵＩ処理が行われる。
実施の形態としての画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０の処理例を説明する。
図１４は、画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。
なお、図６の揺れ変更部１０１の機能によっては、図１４においてステップＳＴ３０として囲った、ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１６の処理が行われる。
パラメータ設定部１０２の機能によってはステップＳＴ４１のパラメータ設定処理が行われる。
ＵＩ処理部１０３の機能によってはステップＳＴ４０のＵＩ処理が行われる。
【0106】
またこの図１４の例は、図９のパターン３を想定し、手ブレ等の揺れが補正された画像データＰＤが、その補正がキャンセルされて揺れ変更処理ＳＴ３０に入力されるものとしている。
ステップＳＴ１２の処理が図９の補正キャンセル部１０４の機能の処理である。なお。図１４においてステップＳＴ１２の処理をオフした状態を考えれば、上述の他のパターン（パターン１，２，４，５）の処理が想定できるものとなる。
ステップＳＴ１２の処理が図９の補正キャンセル部１０４の機能の処理である。なお。図１４においてステップＳＴ１２の処理をオフした状態を考えれば、上述の他のパターン（パターン１，２，４，５）の処理が想定できるものとなる。
【0107】
図１４では破線で囲ったステップＳＴ３０を「揺れ変更」とし、またステップＳＴ１６を「揺れ変更処理」と表記しているが、ステップＳＴ１６は、揺れの状態を実際に変更する処理のことであり、狭義の「揺れ変更」である。
一方ステップＳＴ３０は、そのステップＳＴ１６の揺れ変更処理と、その処理にいたる準備としての天球モデル処理や係数設定なども含む広義の「揺れ変更」である。
一方ステップＳＴ３０は、そのステップＳＴ１６の揺れ変更処理と、その処理にいたる準備としての天球モデル処理や係数設定なども含む広義の「揺れ変更」である。
【0108】
図１４の処理として、まず前処理としてのステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４について説明する。
前処理は画像ファイルＭＦのインポート時に行われる処理とする。
ここでいう「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な画像ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２等に転送することを指すものではない。
前処理は画像ファイルＭＦのインポート時に行われる処理とする。
ここでいう「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な画像ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２等に転送することを指すものではない。
【0109】
ＣＰＵ７１は、ユーザ操作等により指定された画像ファイルＭＦを画像処理対象となるようにインポートするとともに、前処理として画像ファイルＭＦに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
具体的には、この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。
具体的には、この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。
【0110】
ステップＳＴ１のメタデータ抽出としては、ＣＰＵ７１は、対象の画像ファイルＭＦを読み込んで、図１２で説明したように画像ファイルＭＦに含まれているメタデータを抽出する。
なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１などの画像ソースＶＳ側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１などの画像ソースＶＳ側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
【0111】
ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ（角速度データ（ジャイロサンプル）と加速度データ（アクセルサンプル））については、ステップＳＴ２で連結処理を行う。
これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオンＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
なお角速度データのみでクオータニオンＱＤを計算することもできる。
これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオンＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
なお角速度データのみでクオータニオンＱＤを計算することもできる。
【0112】
ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ以外のメタデータ、即ち座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰについては、ステップＳＴ３で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰを記憶する。
【0113】
以上の前処理が行われることで、ＣＰＵ７１にとっては、画像ファイルＭＦとして受け取った画像データに対する揺れ変更を含めた各種の画像処理を行う準備がなされたことになる。
図１４の定常処理は、以上のように前処理が施された画像ファイルＭＦの画像データを対象として行う画像処理を示している。
図１４の定常処理は、以上のように前処理が施された画像ファイルＭＦの画像データを対象として行う画像処理を示している。
【0114】
ＣＰＵ７１は、動画の１フレーム取り出し（ステップＳＴ１１）、撮像装置内部補正キャンセル（ステップＳＴ１２）、天球モデルへの貼り付け（ステップＳＴ１３）、同期処理（ステップＳＴ１４）、揺れ情報調整（ステップＳＴ１５）、揺れ変更（ステップＳＴ１６）、出力領域指定（ステップＳＴ１７）、平面投影及び切り出し（ステップＳＴ１８）、及び関連付け記録／再生（ステップＳＴ２０）の処理を行う。
【0115】
ＣＰＵ７１は、以上のステップＳＴ１１からステップＳＴ２０の各処理は、画像ファイルＭＦの画像再生の際に毎フレームについて行うことになる。
【0116】
ステップＳＴ１１でＣＰＵ７１は、フレーム番号ＦＮに沿って動画（画像ファイルＭＦ）の１フレームをデコードする。そして１フレームの画像データＰＤ（＃ＦＮ）を出力する。なお『（＃ＦＮ）』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。
【0117】
ステップＳＴ１２でＣＰＵ７１は、１フレームの画像データＰＤ（＃ＦＮ）について撮像装置１で行われた内部補正をキャンセルする処理を行う。
このためにＣＰＵ７１は、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データｉＰＤ（＃ＦＮ）を得る。
このためにＣＰＵ７１は、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データｉＰＤ（＃ＦＮ）を得る。
【0118】
ステップＳＴ１３でＣＰＵ７１は、各種補正がキャンセルされた状態の１フレームの画像データｉＰＤ（＃ＦＮ）について天球モデルへの貼付を行う。このとき、当該フレーム番号（＃ＦＮ）に対応して記憶されたカメラパラメータＣＰ（＃ＦＮ）、即ち画角、ズーム位置、レンズ歪み情報を参照する。
【0119】
図１５に天球モデルへの貼付の概要を示す。
図１５Ａは画像データｉＰＤを示している。像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
この画像データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１５Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
それに従って図１５Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、画像データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。
図１５Ａは画像データｉＰＤを示している。像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
この画像データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１５Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
それに従って図１５Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、画像データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。
【0120】
以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルＭＴの画像（データ）が得られる。この天球モデルＭＴは、その画像データｉＰＤを元々撮像した撮像装置１の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ除去や揺れ演出としての揺れ変更処理が実現できることになる。
従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ除去や揺れ演出としての揺れ変更処理が実現できることになる。
【0121】
ここで揺れ変更処理には撮像装置１の姿勢情報（クオータニオンＱＤ）を用いることになる。このためにＣＰＵ７１はステップＳＴ１４で同期処理を行うようにしている。
同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
【0122】
なお、ライン毎のクオータニオンＱＤ（＃ＬＮ）を用いるのは、イメージセンサ１２ａがＣＭＯＳ型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。
例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。
【0123】
ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。
【0124】
そこでステップＳＴ１４の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンＱＤを取得するようにする。
図１６には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１４のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。
図１６には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１４のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。
【0125】
そこで当該フレーム（＃ＦＮ）に対応するタイミング情報ＴＭとして取得できる情報を用いて、各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。
【0126】
このクオータニオンＱＤ（＃ＬＮ）はステップＳＴ１５の揺れ情報調整の処理に提供される。
揺れ情報調整では、ＣＰＵ７１は入力された揺れ変更パラメータＰＲＭに従ってクオータニオンＱＤを調整する。
揺れ変更パラメータＰＲＭは、ユーザ操作に応じて入力されるパラメータであったり、自動制御によって発生されるパラメータであったりする。
揺れ情報調整では、ＣＰＵ７１は入力された揺れ変更パラメータＰＲＭに従ってクオータニオンＱＤを調整する。
揺れ変更パラメータＰＲＭは、ユーザ操作に応じて入力されるパラメータであったり、自動制御によって発生されるパラメータであったりする。
【0127】
ユーザは、画像に任意の揺れ具合を付加するように揺れ変更パラメータＰＲＭの入力を行うことができる。またＣＰＵ７１は、画像解析や画像種別、或いはユーザの揺れのモデルの選択操作などに応じて自動制御により揺れ変更パラメータＰＲＭを発生することができる。
【0128】
ここで図１４にはステップＳＴ４０のＵＩ処理と、ステップＳＴ４１のパラメータ設定処理を示している。
ＵＩ処理について詳細は後述するが、ユーザは揺れ変更を指示する操作入力を行うことができる。即ち揺れ演出としての揺れを指示する操作や、揺れ除去の程度を指示するような操作などである。
ＵＩ処理について詳細は後述するが、ユーザは揺れ変更を指示する操作入力を行うことができる。即ち揺れ演出としての揺れを指示する操作や、揺れ除去の程度を指示するような操作などである。
【0129】
ステップＳＴ４０のＵＩ処理に基づいて、ＣＰＵ７１はステップＳＴ４１でパラメータ設定を行う。つまりユーザ操作に応じた揺れ変更パラメータが設定され、ステップＳＴ１５の揺れ情報調整処理に供される。
【0130】
ステップＳＴ１５の揺れ情報調整の処理では、具体的にはＣＰＵ７１は、撮像時揺れ情報であるクオータニオンＱＤやステップＳＴ４１で設定された揺れ変更パラメータＰＲＭに基づいて、画像に揺れを付加したり、揺れの量を増減させたりするための調整後クオータニオンｅＱＤを生成する。
【0131】
具体的な調整後クオータニオンｅＱＤの生成例を図１７，図１８，図１９で説明する。
図１７は揺れ変更パラメータＰＲＭによる周波数帯域別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
周波数帯域とは揺れの周波数の帯域である。説明上、ローバンド、ミドルバンド、ハイバンドの３つの帯域に分けるとする。もちろんこれは一例にすぎず帯域数は２以上であればよい。
低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが、揺れ変更パラメータＰＲＭとして与えられる。
図１７は揺れ変更パラメータＰＲＭによる周波数帯域別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
周波数帯域とは揺れの周波数の帯域である。説明上、ローバンド、ミドルバンド、ハイバンドの３つの帯域に分けるとする。もちろんこれは一例にすぎず帯域数は２以上であればよい。
低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが、揺れ変更パラメータＰＲＭとして与えられる。
【0132】
図１７の調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、ゲイン演算部４４，４５，４６、合成部４７を有する。
この調整処理系には「揺らすためのクオータニオンＱＤｓ」を入力する。これは撮像時揺れ情報としてのクオータニオンＱＤの共役である。
この調整処理系には「揺らすためのクオータニオンＱＤｓ」を入力する。これは撮像時揺れ情報としてのクオータニオンＱＤの共役である。
【0133】
揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１に入力し、低域成分ｑlowを求める。
【0134】
【数1】
【0135】
この低域成分ｑlowに対してゲイン演算部４４で低域用ゲインＬＧを与える。
式中のｍｅａｎ（ｑ，ｎ）は、ｑの前後ｎ個の平均値を示す。
なお、このｍｅａｎ（ｑ，ｎ）の式はあくまでも低域通過フィルタの一例であり、他の計算方法でもよいことは言うまでもない。以降説明する各式も一例である。
式中のｍｅａｎ（ｑ，ｎ）は、ｑの前後ｎ個の平均値を示す。
なお、このｍｅａｎ（ｑ，ｎ）の式はあくまでも低域通過フィルタの一例であり、他の計算方法でもよいことは言うまでもない。以降説明する各式も一例である。
【0136】
揺らすためのクオータニオンＱＤｓの値ｑは中域通過ファイル４２にも入力し、中域成分ｑmidを求める。
【0137】
【数2】
【0138】
なお、ｑ*
lowはｑlowの共役である。
また“×”はクオータニオン積である。
この中域成分ｑmidに対してゲイン演算部４５で中域用ゲインＭＧを与える。
また“×”はクオータニオン積である。
この中域成分ｑmidに対してゲイン演算部４５で中域用ゲインＭＧを与える。
【0139】
また揺らすためのクオータニオンＱＤｓの値ｑを高域通過ファイル４３に入力し、高域成分ｑhighを求める。
【0140】
【数3】
【0141】
なお、ｑ*
midはｑmidの共役である。
この高域成分ｑhighに対してゲイン演算部４６で高域用ゲインＨＧを与える。
この高域成分ｑhighに対してゲイン演算部４６で高域用ゲインＨＧを与える。
【0142】
これらのゲイン演算部４４，４５，４６は、入力を“ｑin”とする。
【0143】
【数4】
【0144】
この場合にθ’＝θ＊gainとして、次の“ｑout”を出力する。
（但しgainは、低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ）
（但しgainは、低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ）
【0145】
【数5】
【0146】
このようなゲイン演算部４４，４５，４６により、それぞれ低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが与えられた低域成分ｑ'low、中域成分ｑ'mid、高域成分ｑ'highが得られる。これを合成部４７で合成した値ｑmixedを得る。
【0147】
【数6】
【0148】
なお“×”はクオータニオン積である。
このように求められた値ｑmixedが調整後クオータニオンｅＱＤの値となる。
なお以上は帯域分割した例であるが、帯域分割せずに揺れ変更パラメータＰＲＭに応じたゲインを与えるという調整後クオータニオンｅＱＤの生成手法も考えられる。
このように求められた値ｑmixedが調整後クオータニオンｅＱＤの値となる。
なお以上は帯域分割した例であるが、帯域分割せずに揺れ変更パラメータＰＲＭに応じたゲインを与えるという調整後クオータニオンｅＱＤの生成手法も考えられる。
【0149】
次に図１８は揺れ変更パラメータＰＲＭによる方向別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
方向とは揺れの方向であり、即ち、ヨー、ピッチ、ロールの方向である。
ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが、揺れ変更パラメータＰＲＭとして与えられる。
方向とは揺れの方向であり、即ち、ヨー、ピッチ、ロールの方向である。
ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが、揺れ変更パラメータＰＲＭとして与えられる。
【0150】
図１８の調整処理系としては、ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有する。
ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３には、それぞれヨー軸（Yaw axis）、ピッチ軸（Pitch axis）、ロール軸（Roll axis）の情報が提供される。
ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３には、それぞれヨー軸（Yaw axis）、ピッチ軸（Pitch axis）、ロール軸（Roll axis）の情報が提供される。
【0151】
揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑをヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３にそれぞれ入力し、ヨー成分ｑyaw、ピッチ成分ｑpitch、ロール成分ｑrollを求める。
これら各成分抽出処理は、入力を次の“ｑin”とする。
これら各成分抽出処理は、入力を次の“ｑin”とする。
【0152】
【数7】
【0153】
ｕは、ヨー軸、ピッチ軸、ロール軸等の軸の方向を表す単位ベクトルである。
この場合にθ’＝θ＊（ａ・ｕ）として、次の“ｑout”を出力する。
この場合にθ’＝θ＊（ａ・ｕ）として、次の“ｑout”を出力する。
【0154】
【数8】
【0155】
そしてこのような成分抽出により得られたヨー成分ｑyaw、ピッチ成分ｑpitch、ロール成分ｑrollについては、ゲイン演算部５４，５５，５６により、それぞれヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧを与える。
そしてゲイン演算を施したヨー成分ｑ'yaw、ピッチ成分ｑ'pitch、ロール成分ｑ'rollを合成部４７で合成した値ｑmixedを得る。
そしてゲイン演算を施したヨー成分ｑ'yaw、ピッチ成分ｑ'pitch、ロール成分ｑ'rollを合成部４７で合成した値ｑmixedを得る。
【0156】
【数9】
【0157】
なお、この場合の“×”もクオータニオン積である。
このように求められた値ｑmixedが調整後クオータニオンｅＱＤの値となる。
このように求められた値ｑmixedが調整後クオータニオンｅＱＤの値となる。
【0158】
図１９は以上の周波数帯域別と方向別を組み合わせた例である。
調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、方向別処理部５８，５９，６０、ゲイン演算部４４，４５，４６、合成部６１を有する。
揺れ変更パラメータＰＲＭによっては、低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ、及び図示していないヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが与えられる。
調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、方向別処理部５８，５９，６０、ゲイン演算部４４，４５，４６、合成部６１を有する。
揺れ変更パラメータＰＲＭによっては、低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ、及び図示していないヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが与えられる。
【0159】
この調整処理系では、揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３に供給してそれぞれの帯域成分を得る。各帯域成分は、方向別処理部５８，５９，６０に入力される。
方向別処理部５８，５９，６０は、それぞれが図１８のヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有するものとする。
即ち、方向別処理部５８では、揺らすためのクオータニオンＱＤｓの低域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分け、ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧを用いてゲイン演算を行った後、合成する。
方向別処理部５９では、揺らすためのクオータニオンＱＤｓの中域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
方向別処理部６０では、揺らすためのクオータニオンＱＤｓの高域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
なお、方向別処理部５８，５９，６０で用いるゲインは、それぞれ異なるゲイン値とすることが想定される。即ち、方向別処理部５８では低域用のヨー用ゲインＹＧ、低域用のピッチ用ゲインＰＧ、低域用のロール用ゲインＲＧを用い、方向別処理部５９では中域用のヨー用ゲインＹＧ、中域用のピッチ用ゲインＰＧ、中域用のロール用ゲインＲＧを用い、方向別処理部６０では高域用のヨー用ゲインＹＧ、高域用のピッチ用ゲインＰＧ、高域用のロール用ゲインＲＧを用いる。即ち方向別処理部５８，５９，６０では９個のゲインを用いることが考えられる。
方向別処理部５８，５９，６０は、それぞれが図１８のヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有するものとする。
即ち、方向別処理部５８では、揺らすためのクオータニオンＱＤｓの低域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分け、ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧを用いてゲイン演算を行った後、合成する。
方向別処理部５９では、揺らすためのクオータニオンＱＤｓの中域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
方向別処理部６０では、揺らすためのクオータニオンＱＤｓの高域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
なお、方向別処理部５８，５９，６０で用いるゲインは、それぞれ異なるゲイン値とすることが想定される。即ち、方向別処理部５８では低域用のヨー用ゲインＹＧ、低域用のピッチ用ゲインＰＧ、低域用のロール用ゲインＲＧを用い、方向別処理部５９では中域用のヨー用ゲインＹＧ、中域用のピッチ用ゲインＰＧ、中域用のロール用ゲインＲＧを用い、方向別処理部６０では高域用のヨー用ゲインＹＧ、高域用のピッチ用ゲインＰＧ、高域用のロール用ゲインＲＧを用いる。即ち方向別処理部５８，５９，６０では９個のゲインを用いることが考えられる。
【0160】
これらの方向別処理部５８，５９，６０の出力はそれぞれゲイン演算部４４，４５，４６に供給され、それぞれ低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが与えられる。そして合成部６１で合成され、調整後クオータニオンｅＱＤの値として出力される。
【0161】
以上の図１９の例では、先に周波数帯域別に分けた後、それぞれの帯域成分毎に方向別の処理を適用したが、逆でもよい。即ち先に方向別に分けた後、それぞれの方向成分毎に周波数帯域別の処理を適用するようにしてもよい。
その場合、周波数帯域別の処理では９個のゲインを用いることが考えられる。例えばヨー方向についての周波数帯域別の処理では、ヨー方向用の低域用ゲインＬＧ、ヨー方向用の中域用ゲインＭＧ、ヨー方向用の高域用ゲインＨＧを用いる。ピッチ方向についての周波数帯域別の処理では、ピッチ方向用の低域用ゲインＬＧ、ピッチ方向用の中域用ゲインＭＧ、ピッチ方向用の高域用ゲインＨＧを用いる。ロール方向についての周波数帯域別の処理では、ロール方向用の低域用ゲインＬＧ、ロール方向用の中域用ゲインＭＧ、ロール方向用の高域用ゲインＨＧを用いる。
その場合、周波数帯域別の処理では９個のゲインを用いることが考えられる。例えばヨー方向についての周波数帯域別の処理では、ヨー方向用の低域用ゲインＬＧ、ヨー方向用の中域用ゲインＭＧ、ヨー方向用の高域用ゲインＨＧを用いる。ピッチ方向についての周波数帯域別の処理では、ピッチ方向用の低域用ゲインＬＧ、ピッチ方向用の中域用ゲインＭＧ、ピッチ方向用の高域用ゲインＨＧを用いる。ロール方向についての周波数帯域別の処理では、ロール方向用の低域用ゲインＬＧ、ロール方向用の中域用ゲインＭＧ、ロール方向用の高域用ゲインＨＧを用いる。
【0162】
図１４のステップＳＴ１５では、例えば以上のような処理例によって調整後クオータニオンｅＱＤが生成される。
そして生成された調整後クオータニオンｅＱＤはステップＳＴ１６の揺れ変更処理に提供される。
ステップＳＴ１６の揺れ変更処理とは、例えば図１７，図１８，図１９の処理で得られる調整後クオータニオンｅＱＤを、揺れが止まった状態の画像に適用して揺れを付加するものと考えることができる。
そして生成された調整後クオータニオンｅＱＤはステップＳＴ１６の揺れ変更処理に提供される。
ステップＳＴ１６の揺れ変更処理とは、例えば図１７，図１８，図１９の処理で得られる調整後クオータニオンｅＱＤを、揺れが止まった状態の画像に適用して揺れを付加するものと考えることができる。
【0163】
ＣＰＵ７１はステップＳＴ１６の揺れ変更処理では、ステップＳＴ１３でフレームの画像が貼り付けられた天球モデルＭＴの画像を、ライン毎に調整後クオータニオンｅＱＤ（＃ＬＮ）を用いて回転させることで、揺れを付加するようにする。揺れ変更済天球モデルｈＭＴの画像は、ステップＳＴ１８の処理に送られる。
【0164】
そしてステップＳＴ１８でＣＰＵ７１は、揺れ変更済天球モデルｈＭＴの画像を平面に投影し、切り出すことで、揺れ変更がなされた画像（出力画像データｏＰＤ）が得られる。
【0165】
この場合、天球モデルＭＴの回転により揺れ変更が実現されているとともに、天球モデルＭＴを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルＭＴは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルＭＴの回転がライン毎のクオータニオンＱＤ（＃ＬＮ）に基づく調整後クオータニオンｅＱＤ（＃ＬＮ）に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
【0166】
ステップＳＴ１８で平面投影された後の画像と天球モデルＭＴの対応付けは次のようになる。
図２０Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
図２０Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。
図２０Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
図２０Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。
【0167】
この場合、ズーム倍率や切り出し領域のサイズに基づいて座標を正規化する。例えば図２０Ａのように座標平面１３１の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが画像サイズとされる。そして例えば、次の式により座標を正規化する。
【0168】
【数10】
【0169】
上記（数１０）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、拡大縮小を制御するためのパラメータである。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
上記（数１０）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
上記（数１０）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。
【0170】
切り出し領域の向きを求めるための回転は図２１Ａのように、座標平面１３１を回転行列演算により回転させる。即ち下記（数１１）の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をｚ軸周りに回転させる回転角度である。また、チルト角は、座標をｘ軸周りに回転させる回転角度であり、ロール角は、ｙ軸周りに回転させる回転角度である。
【0171】
【数11】
【0172】
上記（数１１）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の座標である。
【0173】
この座標（ｘrot、ｙrot、ｚrot）を透視射影での天球対応点算出に用いる。
図２１Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
図２１Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
【0174】
【数12】
【0175】
（数１２）において、ｘsph、ｙsph、ｚsphは座標平面１３１上の座標を天球モデルＭＴの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。
この関係で平面投影された画像データが得られる。
【0176】
例えば以上のような手法で平面に投影された画像についての切り出し領域が、図１４のステップＳＴ１７で設定されることになる。
【0177】
ステップＳＴ１７では、画像解析（被写体認識）によるトラッキング処理や、ユーザ操作に応じた切り出し領域指示情報ＣＲＣに基づいて、現在のフレームにおける切り出し領域情報ＣＲＡが設定される。
例えば図２２Ａ、図２２Ｂに、或るフレームの画像について設定された切り出し領域情報ＣＲＡを、枠の状態で示している。
このような切り出し領域指示情報ＣＲＣがフレーム毎に設定される。
なお、切り出し領域情報ＣＲＡは、ユーザや自動制御による画像のアスペクト比の指示も反映される。
例えば図２２Ａ、図２２Ｂに、或るフレームの画像について設定された切り出し領域情報ＣＲＡを、枠の状態で示している。
このような切り出し領域指示情報ＣＲＣがフレーム毎に設定される。
なお、切り出し領域情報ＣＲＡは、ユーザや自動制御による画像のアスペクト比の指示も反映される。
【0178】
切り出し領域情報ＣＲＡはステップＳＴ１８の処理に反映される。即ち上記のように天球モデルＭＴ上で切り出し領域情報ＣＲＡに応じた領域が平面投影されて出力画像ｏＰＤが得られる。
【0179】
このように得られた出力画像ｏＰＤは、ステップＳＴ１６で揺れ変更処理が施された画像データである。
図１４の処理が毎フレーム行われることで、出力画像ｏＰＤを再生表示すると、揺れ演出として揺れが付加された画像が表示されることになる。従ってユーザが揺れ変更パラメータＰＲＭの入力のための操作を行った場合、ユーザの意思に応じた揺れ演出が加えられた画像となる。このような画像データが、揺れ演出された画像として表示されたり保存されたりする。
図１４の処理が毎フレーム行われることで、出力画像ｏＰＤを再生表示すると、揺れ演出として揺れが付加された画像が表示されることになる。従ってユーザが揺れ変更パラメータＰＲＭの入力のための操作を行った場合、ユーザの意思に応じた揺れ演出が加えられた画像となる。このような画像データが、揺れ演出された画像として表示されたり保存されたりする。
【0180】
ここで本実施の形態では、例えばステップＳＴ２０として関連付け記録／再生が行われる。例えばＣＰＵ７１はフレーム毎に関連付け記録（例えば図５の記憶部７９やリムーバブル記録媒体８１に記録）を行い、また必要時にそれらを再生／転送出力させることができる。
【0181】
フレーム毎の関連付け記録処理としては、例えば、フレーム単位の画像データに対して、撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられて記録される。
【0182】
まずフレーム単位の画像データとして、ステップＳＴ１２でＣＰＵ７１は撮像装置内部補正がキャンセルされた画像データｉＰＤの記録処理を行う。つまり撮像装置１での揺れ除去がキャンセルされて、撮像時の手ぶれ等の揺れの影響がそのまま現れている画像データである。
【0183】
またＣＰＵ７１は、この画像データｉＰＤに関連付けられる撮像時揺れ情報として、そのフレームについてのクオータニオンＱＤ、タイミング情報ＴＭ、カメラパラメータＣＰの記録処理を行う。
図２３に画像ソースＶＳから画像処理装置ＴＤｘに供給されたメタデータＭＴＤ１と、画像処理装置ＴＤｘが画像処理装置ＴＤｙに供給するメタデータＭＴＤ２を示しているが、このメタデータＭＴＤ２に相当する情報が撮像時揺れ情報として、画像データｉＰＤのフレーム毎に関連づけられる。
図２３に画像ソースＶＳから画像処理装置ＴＤｘに供給されたメタデータＭＴＤ１と、画像処理装置ＴＤｘが画像処理装置ＴＤｙに供給するメタデータＭＴＤ２を示しているが、このメタデータＭＴＤ２に相当する情報が撮像時揺れ情報として、画像データｉＰＤのフレーム毎に関連づけられる。
【0184】
さらにＣＰＵ７１は、画像データｉＰＤに関連付けられる揺れ変更情報ＳＭＩとして、揺れ変更パラメータＰＲＭの記録処理を行う。或いは揺れ変更パラメータＰＲＭに代えて、もしくは揺れ変更パラメータＰＲＭとともに、調整後クオータニオンｅＱＤを記録するようにしてもよい。
【0185】
このように関連付けて記録した各フレームの画像データｉＰＤ、撮像時揺れ情報（メタデータＭＴＤ２）、及び揺れ変更情報ＳＭＩは、外部機器に転送されて利用可能とされる。
図２には画像処理装置ＴＤｘから画像処理装置ＴＤｙに画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを伝送することを示したが、この図１４の例の場合、画像データＶＤ２は、画像データｉＰＤにより構成される画像データとなる。またメタデータＭＴＤ２は図２３に示す内容として撮像時揺れ情報を示すものとなる。揺れ変更情報ＳＭＩは画像データｉＰＤに対して行った揺れ演出の処理量を示す情報となる。
図２には画像処理装置ＴＤｘから画像処理装置ＴＤｙに画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを伝送することを示したが、この図１４の例の場合、画像データＶＤ２は、画像データｉＰＤにより構成される画像データとなる。またメタデータＭＴＤ２は図２３に示す内容として撮像時揺れ情報を示すものとなる。揺れ変更情報ＳＭＩは画像データｉＰＤに対して行った揺れ演出の処理量を示す情報となる。
【0186】
このような画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを取得した画像処理装置ＴＤｙの処理例を図２４に示す。
なお以降、既述の処理と同様の処理については同一のステップ番号を付して処理内容の重複説明を避ける。
なお、図１４と同様、ステップＳＴ３０は広義の「揺れ変更」であり、ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１６の処理が行われる。
なお以降、既述の処理と同様の処理については同一のステップ番号を付して処理内容の重複説明を避ける。
なお、図１４と同様、ステップＳＴ３０は広義の「揺れ変更」であり、ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１６の処理が行われる。
【0187】
図２４は例えば画像処理装置ＴＤｙで行われる定常処理を示している。
この場合、ステップＳＴ２０の関連付け記録／再生処理としては、画像処理装置ＴＤｘから伝送されてきた情報の再生が行われるものとする。
即ちステップＳＴ２０の関連付け記録／再生処理とは、例えば画像処理装置ＴＤｘから伝送されてきた情報（画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩ）が、画像処理装置ＴＤｙとして機能する図５の情報処理装置７０の記憶部７９やリムーバブル記録媒体８１に記録された状態とされており、それらから逐次読み出される処理であるとする。
この場合、ステップＳＴ２０の関連付け記録／再生処理としては、画像処理装置ＴＤｘから伝送されてきた情報の再生が行われるものとする。
即ちステップＳＴ２０の関連付け記録／再生処理とは、例えば画像処理装置ＴＤｘから伝送されてきた情報（画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩ）が、画像処理装置ＴＤｙとして機能する図５の情報処理装置７０の記憶部７９やリムーバブル記録媒体８１に記録された状態とされており、それらから逐次読み出される処理であるとする。
【0188】
画像処理装置ＴＤｙとして機能する情報処理装置７０のＣＰＵ７１は、ステップＳＴ２０の処理として、フレーム毎に画像データｐＰＤを読み出す。画像データｐＰＤとは、ステップＳＴ２０で記録媒体から再生される画像データを指すものとしている。
画像処理装置ＴＤｘが図１４の処理を行った場合、再生される画像データｐＰＤは、図１４で説明した画像データｉＰＤとなる。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１３での天球モデルＭＴへの貼り付けのために現在の再生フレームの画像データｐＰＤに対応するカメラパラメータＣＰを読み出す。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１４の同期処理のために現在の再生フレームの画像データｐＰＤに対応するクオータニオンＱＤ及びタイミング情報ＴＭを読み出す。
さらにＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１５の揺れ情報調整のために現在の再生フレームの画像データｐＰＤに対応する揺れ変更情報ＳＭＩを読み出す。
画像処理装置ＴＤｘが図１４の処理を行った場合、再生される画像データｐＰＤは、図１４で説明した画像データｉＰＤとなる。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１３での天球モデルＭＴへの貼り付けのために現在の再生フレームの画像データｐＰＤに対応するカメラパラメータＣＰを読み出す。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１４の同期処理のために現在の再生フレームの画像データｐＰＤに対応するクオータニオンＱＤ及びタイミング情報ＴＭを読み出す。
さらにＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１５の揺れ情報調整のために現在の再生フレームの画像データｐＰＤに対応する揺れ変更情報ＳＭＩを読み出す。
【0189】
ＣＰＵ７１は、ステップＳＴ１３の処理として、再生したカメラパラメータＣＰを参照して再生した画像データｐＰＤを天球モデルへ貼り付ける。
【0190】
ＣＰＵ７１はステップＳＴ１４の処理として、再生した画像データｐＰＤに対応するクオータニオンＱＤ及びタイミング情報ＴＭにより同期処理を行う。
ＣＰＵ７１はステップＳＴ１５の処理として、再生した揺れ変更情報ＳＭＩ、及び入力された揺れ変更パラメータＰＲＭを用いてクオータニオンＱＤを調整し、調整後クオータニオンｅＱＤを生成する。
ＣＰＵ７１はステップＳＴ１５の処理として、再生した揺れ変更情報ＳＭＩ、及び入力された揺れ変更パラメータＰＲＭを用いてクオータニオンＱＤを調整し、調整後クオータニオンｅＱＤを生成する。
【0191】
揺れ変更パラメータＰＲＭについては、ＣＰＵ７１は、ステップＳＴ４０のＵＩ処理に基づいて、ステップＳＴ４１で設定し、ステップＳＴ１５の揺れ情報調整処理で用いられるようにする。
【0192】
ＣＰＵ７１はステップＳＴ１６の処理として、調整後クオータニオンｅＱＤを用いて、天球モデルＭＴに貼り付けた画像データｐＰＤを回転させ、揺れ変更処理を行う。
ＣＰＵ７１はステップＳＴ１８として、揺れ変更された画像を切り出し領域情報ＣＲＡに応じて切り出し、平面投影して、出力画像データｏＰＤを生成し、出力する。
このような各処理を行う画像処理装置ＴＤｙでは次のような動作が可能となる。
ＣＰＵ７１はステップＳＴ１８として、揺れ変更された画像を切り出し領域情報ＣＲＡに応じて切り出し、平面投影して、出力画像データｏＰＤを生成し、出力する。
このような各処理を行う画像処理装置ＴＤｙでは次のような動作が可能となる。
【0193】
・過去に画像処理装置ＴＤｘで施された揺れ演出の再現
ステップＳＴ１５では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）を反映して調整後クオータニオンｅＱＤを生成できる。従って画像処理装置ＴＤｙのＣＰＵ７１は、ステップＳＴ１６で、過去に画像処理装置ＴＤｘで行われた揺れ変更と同じ揺れ変更処理を行うことができ、そのような出力画像データｏＰＤを得て、表示させたり記録させたりすることができる。
ステップＳＴ１５では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）を反映して調整後クオータニオンｅＱＤを生成できる。従って画像処理装置ＴＤｙのＣＰＵ７１は、ステップＳＴ１６で、過去に画像処理装置ＴＤｘで行われた揺れ変更と同じ揺れ変更処理を行うことができ、そのような出力画像データｏＰＤを得て、表示させたり記録させたりすることができる。
【0194】
・新規な揺れ演出の付加
処理対象として再生される画像データｐＰＤ（画像データｉＰＤ）は、画像処理装置ＴＤｘでの揺れ変更が施されていない画像データである。従って、画像処理装置ＴＤｙにおいてユーザ操作や自動制御により揺れ変更パラメータＰＲＭが入力され、それに応じた調整後クオータニオンｅＱＤが生成されることで、ステップＳＴ１６では、過去の揺れ変更に影響を受けない画像処理装置ＴＤｙのみの揺れ変更処理を行うことができ、そのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。
処理対象として再生される画像データｐＰＤ（画像データｉＰＤ）は、画像処理装置ＴＤｘでの揺れ変更が施されていない画像データである。従って、画像処理装置ＴＤｙにおいてユーザ操作や自動制御により揺れ変更パラメータＰＲＭが入力され、それに応じた調整後クオータニオンｅＱＤが生成されることで、ステップＳＴ１６では、過去の揺れ変更に影響を受けない画像処理装置ＴＤｙのみの揺れ変更処理を行うことができ、そのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。
【0195】
・過去に画像処理装置ＴＤｘで施された揺れ演出の調整や修正
ステップＳＴ１５では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）と、新たにユーザ操作や自動制御により入力する揺れ変更パラメータＰＲＭの両方を反映させて調整後クオータニオンｅＱＤを生成することができる。
従って画像処理装置ＴＤｙのＣＰＵ７１は、例えば画像処理装置ＴＤｘで行われた揺れ変更による画像の揺れ具合を、画像処理装置ＴＤｙのユーザが揺れ変更パラメータＰＲＭを調整したり一部変更したりすることに応じて変化させることができる。そしてそのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。
ステップＳＴ１５では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）と、新たにユーザ操作や自動制御により入力する揺れ変更パラメータＰＲＭの両方を反映させて調整後クオータニオンｅＱＤを生成することができる。
従って画像処理装置ＴＤｙのＣＰＵ７１は、例えば画像処理装置ＴＤｘで行われた揺れ変更による画像の揺れ具合を、画像処理装置ＴＤｙのユーザが揺れ変更パラメータＰＲＭを調整したり一部変更したりすることに応じて変化させることができる。そしてそのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。
【0196】
また画像処理装置ＴＤｙにおいて揺れ変更を行った場合、その情報も、関連付けられるようにすることが考えられる。
つまり各フレームの画像データＶＤ２（ｉＰＤ）、撮像時揺れ情報（メタデータＭＴＤ２）に関連付けられている、揺れ変更情報ＳＭＩを、今回用いられた揺れ変更情報ＳＭＩに更新する。
このようにすることで、当該関連付けられた情報群を取得した他の画像処理装置では、画像処理装置ＴＤｙで行われた揺れ変更を再現したり、修正したりすることができるようになる。
つまり各フレームの画像データＶＤ２（ｉＰＤ）、撮像時揺れ情報（メタデータＭＴＤ２）に関連付けられている、揺れ変更情報ＳＭＩを、今回用いられた揺れ変更情報ＳＭＩに更新する。
このようにすることで、当該関連付けられた情報群を取得した他の画像処理装置では、画像処理装置ＴＤｙで行われた揺れ変更を再現したり、修正したりすることができるようになる。
【0197】
なおステップＳＴ１７の切り出し領域情報ＣＲＡに関する情報も、関連付けられて記録されるようにすることも考えられる。例えばアスペクト比の情報を関連付けておく。これによりアスペクト比の指定情報も、その後の画像再生時や揺れ演出の付加の際などにも反映させることができる。
もちろん図１４の画像処理装置ＴＤｘでの処理においてもアスペクト比等の切り出し領域情報ＣＲＡを記録してもよい。
もちろん図１４の画像処理装置ＴＤｘでの処理においてもアスペクト比等の切り出し領域情報ＣＲＡを記録してもよい。
【0198】
＜５．揺れ変更のユーザインタフェース＞
以上では、例えば図１４や図２４のステップＳＴ３０として揺れ変更が行われることを説明してきた。
揺れ変更としては、上述のように揺れ除去としてフレーム間での揺れをなくす（理想的には揺れをゼロとする）方向に揺れの状態を変更することや、揺れ演出として揺れを付加したり軽減したりするように揺れの状態を変更することが行われる。
以上では、例えば図１４や図２４のステップＳＴ３０として揺れ変更が行われることを説明してきた。
揺れ変更としては、上述のように揺れ除去としてフレーム間での揺れをなくす（理想的には揺れをゼロとする）方向に揺れの状態を変更することや、揺れ演出として揺れを付加したり軽減したりするように揺れの状態を変更することが行われる。
【0199】
ここで、動画を視聴する人の感覚としては、全く揺れがない画像よりも、ある程度揺れがあった方が、迫力や臨場感が増すといったこともある。また揺れを完全に除去するのではなく、若干残したい場合もある。
そこで本実施の形態において、例えば図１４、図２４ではステップＳＴ４０，ＳＴ４１により、ユーザ操作に応じて揺れ変更パラメータＰＲＭが設定されるようにし、揺れ変更にユーザ操作が反映されるようにしている。
以下では、揺れ変更のためのＵＩ動作として各種の例を説明していく。
そこで本実施の形態において、例えば図１４、図２４ではステップＳＴ４０，ＳＴ４１により、ユーザ操作に応じて揺れ変更パラメータＰＲＭが設定されるようにし、揺れ変更にユーザ操作が反映されるようにしている。
以下では、揺れ変更のためのＵＩ動作として各種の例を説明していく。
【0200】
［５－１：第１の実施の形態のＵＩ動作］
図２５にＵＩ画像として表示される揺れ幅調整画像２００を示す。これは例えば図５の表示部７７に表示させる揺れ幅調整のための画像であって、かつタッチパネル等により入力部７６として機能する画像である。
揺れ幅調整画像２００には、ヨー調整部２０１、ロール調整部２０２、ピッチ調整部２０３が設けられている。
図２５にＵＩ画像として表示される揺れ幅調整画像２００を示す。これは例えば図５の表示部７７に表示させる揺れ幅調整のための画像であって、かつタッチパネル等により入力部７６として機能する画像である。
揺れ幅調整画像２００には、ヨー調整部２０１、ロール調整部２０２、ピッチ調整部２０３が設けられている。
【0201】
ヨー調整部２０１、ロール調整部２０２、ピッチ調整部２０３のそれぞれには、Ｌ（低域）、Ｍ（中域）、Ｈ（高域）として、揺れの周波数の帯域毎の操作のためのスライダーの画像が提示されており、ユーザは、任意のスライダーをタッチ操作することで、揺れ幅調整を行うことができる。
例えばユーザは揺れ幅調整画像２００を用いて、ヨー方向の揺れ（横揺れ）、ピッチ方向の揺れ（縦揺れ）、ロール方向の揺れ（回転揺れ）のそれぞれについて、所望の周波数帯域毎に、揺れ量を調整できる。
例えばユーザは揺れ幅調整画像２００を用いて、ヨー方向の揺れ（横揺れ）、ピッチ方向の揺れ（縦揺れ）、ロール方向の揺れ（回転揺れ）のそれぞれについて、所望の周波数帯域毎に、揺れ量を調整できる。
【0202】
図１４、図２４のステップＳＴ４０のＵＩ処理で、この揺れ幅調整画像２００が表示され、ユーザ操作が検知されると、その操作情報に応じてステップＳＴ４１で揺れ変更パラメータＰＲＭが設定され、上述のようにステップＳＴ１５の処理を介してステップＳＴ１６の揺れ変更処理に反映されることになる。
【0203】
この図２５の揺れ幅調整画像２００は、例えば図１９のような調整後クオータニオンｅＱＤの生成を行う例に応じた例であって、具体的には揺れ変更パラメータＰＲＭとしては、揺れ幅調整画像２００の操作に応じて、上述した低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ、ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが、揺れ変更パラメータＰＲＭとして設定される。
【0204】
揺れ変更処理では、天球モデルＭＴに貼り付けた画像のヨー方向、ピッチ方向、ロール方向の操作に応じて揺れ除去のための回転量を操作情報に基づいて可変することになる。或いは操作に応じた揺れ演出のための回転を加える。
【0205】
このような揺れ幅調整画像２００を提供することで、ユーザは、ヨー軸成分、ピッチ軸成分、ロール軸成分のそれぞれの揺れ状態を、それぞれ低域、中域、高域という帯域別に調整することが可能となる。
従って出力画像ｏＰＤを、例えばロール方向、ヨー方向の揺れは抑制するが、ピッチ方向の揺れはある程度残した画像としたり、高周波の揺れは抑制するが大きな揺れは補正しないで残した画像としたりすることなど、多様な揺れ表現を加えた画像とすることができる。即ち揺れ補正の対象や程度を調整することで、より多様な動画表現か可能となる。
従って出力画像ｏＰＤを、例えばロール方向、ヨー方向の揺れは抑制するが、ピッチ方向の揺れはある程度残した画像としたり、高周波の揺れは抑制するが大きな揺れは補正しないで残した画像としたりすることなど、多様な揺れ表現を加えた画像とすることができる。即ち揺れ補正の対象や程度を調整することで、より多様な動画表現か可能となる。
【0206】
なお、図２５では揺れの方向のそれぞれについて、３つの帯域毎に操作可能としたが、もちろん他の例も考えられる。例えばヨー方向、ピッチ方向、ロール方向の操作のみ可能として周波数帯毎の調整はできない例、方向は指定できずに低域、中域、高域という帯域別にのみ調整可能とする例、１つの方向のみ調整可能とする例、１つの帯域のみ調整可能とする例など、多様に考えられる。
【0207】
［５－２：第２の実施の形態のＵＩ動作］
図２６は第２の実施の形態としての揺れ幅調整画像２００の例を示している。
ヨー調整部２０１は横方向の揺れに関する調整であるため、横方向にスライド操作するスライダーを設けている。
ロール調整部２０２は回転方向の揺れに関する調整であるため、円方向にスライド操作するスライダーを設けている。
ピッチ調整部２０３は縦方向の揺れに関する調整であるため、縦方向にスライド操作するスライダーを設けている。
このようにすることで、ユーザは、調整できる揺れの方向がわかりやすく、求める操作を容易に行うことができるようになる。
図２６は第２の実施の形態としての揺れ幅調整画像２００の例を示している。
ヨー調整部２０１は横方向の揺れに関する調整であるため、横方向にスライド操作するスライダーを設けている。
ロール調整部２０２は回転方向の揺れに関する調整であるため、円方向にスライド操作するスライダーを設けている。
ピッチ調整部２０３は縦方向の揺れに関する調整であるため、縦方向にスライド操作するスライダーを設けている。
このようにすることで、ユーザは、調整できる揺れの方向がわかりやすく、求める操作を容易に行うことができるようになる。
【0208】
［５－３：第３の実施の形態のＵＩ動作］
図２７は、揺れ状態の調整操作を直感的に行うことができるようにする例である。
図２７Ａのように揺れ幅調整画像２００を表示させるとともに、図２７Ｂのようにプリセットボタン２１０を表示させる。
プリセットボタン２１０は、例えば「ゆっくり歩く人（Slow）」「歩く人（Walk）」「走る人（Fast）」などを用意する。また、これらのプリセットボタン２１０に合わせた揺れ変更パラメータＰＲＭをＲＯＭ７２や記憶部７９に記録しておく。
そしてユーザが或るプリセットボタン２１０を押したら、その揺れ変更パラメータＰＲＭが読み出される。また、その揺れ変更パラメータＰＲＭに応じた操作状態が表現される。例えば図２７Ｃのように、揺れ幅調整画像２００のスライダーの位置として、プリセットデータの内容がユーザに提示される。
図２７は、揺れ状態の調整操作を直感的に行うことができるようにする例である。
図２７Ａのように揺れ幅調整画像２００を表示させるとともに、図２７Ｂのようにプリセットボタン２１０を表示させる。
プリセットボタン２１０は、例えば「ゆっくり歩く人（Slow）」「歩く人（Walk）」「走る人（Fast）」などを用意する。また、これらのプリセットボタン２１０に合わせた揺れ変更パラメータＰＲＭをＲＯＭ７２や記憶部７９に記録しておく。
そしてユーザが或るプリセットボタン２１０を押したら、その揺れ変更パラメータＰＲＭが読み出される。また、その揺れ変更パラメータＰＲＭに応じた操作状態が表現される。例えば図２７Ｃのように、揺れ幅調整画像２００のスライダーの位置として、プリセットデータの内容がユーザに提示される。
【0209】
このようにすることで、ユーザは、ゆっくり歩く人の視点の動画、歩いている人の視点の動画、或いは走っている人の視点の動画などに応じたスライダーの操作状態を知ることができる。またその際のスライダーの状態に応じた揺れ変更パラメータＰＲＭが設定され、揺れ変更処理に反映されることで、再生画像により、歩いている人の視点の動画、或いは走っている人の視点の動画などを確認できる。
特にスライダーの調整により任意の効果がでるように操作をすることは、熟練者でなくては難しいところ、このようなプリセットボタン２１０により、ユーザが望む画像を得るための操作がしやすくなる。
もちろん、プリセットされた情報でスライダーの位置が変更された後に、ユーザが微調整することもできるため、ユーザの所望の揺れを実現しやすい。
特にスライダーの調整により任意の効果がでるように操作をすることは、熟練者でなくては難しいところ、このようなプリセットボタン２１０により、ユーザが望む画像を得るための操作がしやすくなる。
もちろん、プリセットされた情報でスライダーの位置が変更された後に、ユーザが微調整することもできるため、ユーザの所望の揺れを実現しやすい。
【0210】
図２８は揺れ幅調整画像２００を用いず、プリセットボタン２１０のみを提示する例である。さらに、多様なプリセットを選択可能とした例でもある。
最初に、図２８Ａのように、例えば「人」「動物」「乗り物」などの大分類に対応するプリセットボタン２１０を提示する。
もしユーザが「動物」を選択したら、次に図２８Ｂのように「ウサギ」「猫」「馬」などの小分類のプリセットボタン２１１を提示する。これらのプリセットボタン２１１に合わせた揺れ変更パラメータＰＲＭはＲＯＭ７２や記憶部７９に記録されているようにする。
最初に、図２８Ａのように、例えば「人」「動物」「乗り物」などの大分類に対応するプリセットボタン２１０を提示する。
もしユーザが「動物」を選択したら、次に図２８Ｂのように「ウサギ」「猫」「馬」などの小分類のプリセットボタン２１１を提示する。これらのプリセットボタン２１１に合わせた揺れ変更パラメータＰＲＭはＲＯＭ７２や記憶部７９に記録されているようにする。
【0211】
もし「ウサギ」のプリセットボタン２１１をユーザが選択したら、ウサギが走っているときの揺れに対応したプリセットデータ（揺れ幅調整データ）が読み出され、そのプリセットデータにより揺れ変更パラメータＰＲＭが設定される。そしてその揺れ変更パラメータＰＲＭに基づいて揺れ変更処理が行われる。
【0212】
【0213】
なお、このようなスライダーやプリセットボタン等の操作子を表示させるユーザインタフェースに関しては更に多様な例が考えられる。
【0214】
［５－４：第１，第２，第３の実施の形態のＵＩ処理］
以上の第１，第２，第３の実施の形態のＵＩ処理を行うＵＩ処理例を図２９に示す。これはＵＩ処理部１０３及びパラメータ設定部１０２の機能によりＣＰＵ７１が実行する処理である。
以上の第１，第２，第３の実施の形態のＵＩ処理を行うＵＩ処理例を図２９に示す。これはＵＩ処理部１０３及びパラメータ設定部１０２の機能によりＣＰＵ７１が実行する処理である。
【0215】
ステップＳ１０１でＣＰＵ７１はＵＩ表示及び操作検知の処理を行う。
例えばＣＰＵ７１は図２５又は図２６のような揺れ幅調整画像２００の表示や、図２７，図２８に示したプリセットボタン２１０，２１１の表示制御を行いながら、それらに対するユーザ操作の検知を行う。
またＣＰＵ７１は操作に対する表示の切り替え、例えばスライダー位置の切り替え等も行う。
プリセットボタン２１０、２１１の階層構造を用いる場合は、ＣＰＵ７１は例えば大分類のプリセットボタン２１０の操作に応じて次の階層、例えば小分類のプリセットボタン２１１の表示が行われるようにする。
例えばＣＰＵ７１は図２５又は図２６のような揺れ幅調整画像２００の表示や、図２７，図２８に示したプリセットボタン２１０，２１１の表示制御を行いながら、それらに対するユーザ操作の検知を行う。
またＣＰＵ７１は操作に対する表示の切り替え、例えばスライダー位置の切り替え等も行う。
プリセットボタン２１０、２１１の階層構造を用いる場合は、ＣＰＵ７１は例えば大分類のプリセットボタン２１０の操作に応じて次の階層、例えば小分類のプリセットボタン２１１の表示が行われるようにする。
【0216】
ＣＰＵ７１は揺れ幅調整画像２００のスライダーの操作を検知したら、ステップＳ１０２からステップＳ１０３に進み、その操作情報（スライダーの操作値）を取得し、ステップＳ１０４で操作情報に応じた揺れ変更パラメータＰＲＭを設定し、揺れ変更処理（図１４のステップＳＴ３０）に出力する。そしてＣＰＵ７１はステップＳ１０１に戻る。
【0217】
ＣＰＵ７１はプリセットデータ選択の操作を検知したら、ステップＳ１０５からステップＳ１０６に進み、その操作に応じたプリセットデータを読み出す。そしてＣＰＵ７１は、プリセットデータの値が図２７Ｃのようにスライダーの位置に反映されるように表示制御を行う。そして
ステップＳ１０８でＣＰＵ７１は、プリセットデータによる揺れ変更パラメータＰＲＭを設定し、揺れ変更処理（図１４のステップＳＴ３０）に出力し、ステップＳ１０１に戻る。
ステップＳ１０８でＣＰＵ７１は、プリセットデータによる揺れ変更パラメータＰＲＭを設定し、揺れ変更処理（図１４のステップＳＴ３０）に出力し、ステップＳ１０１に戻る。
【0218】
【0219】
［５－５：第４の実施の形態のＵＩ動作］
第４の実施の形態のＵＩ動作としてタイムライン表示を行う例を挙げる。
図３０ＡはＣＰＵ７１が表示部７７に表示させるタイムライン２５０の例である。タイムライン２５０は、動画の先頭から終端までを、横方向を時間軸方向として示すものである。タイムライン２５０は画像タイムライン２５１、揺れタイムライン２５２、音タイムライン２５３により構成されている。
第４の実施の形態のＵＩ動作としてタイムライン表示を行う例を挙げる。
図３０ＡはＣＰＵ７１が表示部７７に表示させるタイムライン２５０の例である。タイムライン２５０は、動画の先頭から終端までを、横方向を時間軸方向として示すものである。タイムライン２５０は画像タイムライン２５１、揺れタイムライン２５２、音タイムライン２５３により構成されている。
【0220】
画像タイムライン２５１では、動画を構成するフレームのサムネイル画像等が、間欠的に抽出され、時間順に表示される。
揺れタイムライン２５２では、揺れの状態が例えば波形により表示される。なお、ここでは１つの揺れ波形を示しているが、例えばヨー方向揺れ波形、ピッチ方向揺れ波形、ロール方向揺れ波形として分けて表示してもよい。さらには、周波数帯域毎に揺れ波形を分けて表示してもよい。
音タイムライン２５３では、動画に付加されている音声信号波形が表示される。もちろんＬチャネル、Ｒチャネルのステレオ音声の場合、それぞれの音声信号波形を表示させてもよい。
揺れタイムライン２５２では、揺れの状態が例えば波形により表示される。なお、ここでは１つの揺れ波形を示しているが、例えばヨー方向揺れ波形、ピッチ方向揺れ波形、ロール方向揺れ波形として分けて表示してもよい。さらには、周波数帯域毎に揺れ波形を分けて表示してもよい。
音タイムライン２５３では、動画に付加されている音声信号波形が表示される。もちろんＬチャネル、Ｒチャネルのステレオ音声の場合、それぞれの音声信号波形を表示させてもよい。
【0221】
例えばこのようなタイムライン２５０を表示させることで、ユーザは、動画のシーンの変化や音声状況の変化に合わせて揺れ状態を確認できることになる。
これにより区間を指定した揺れ演出や揺れ除去に便利になる。
これにより区間を指定した揺れ演出や揺れ除去に便利になる。
【0222】
揺れ情報は、例えば画像のフレームに対してＩＭＵデータ或いはクオータ二オンＱＤとして対応づけられているが、揺れタイムライン２５２では、これらの揺れ情報に基づく揺れ波形が表示される。
【0223】
この揺れ波形で示される揺れの情報のみを記録媒体に記録したり、読み出したりできるようにしてもよい。
例えば揺れタイムライン２５２にカーソルをおいて右クリックする等の所定の操作により図３０Ｂのように、揺れ情報を保存するための保存ウインドウ２６０を表示させ、「揺れ情報を保存」「揺れ情報を開く」を選択できるようにする。
例えば揺れタイムライン２５２にカーソルをおいて右クリックする等の所定の操作により図３０Ｂのように、揺れ情報を保存するための保存ウインドウ２６０を表示させ、「揺れ情報を保存」「揺れ情報を開く」を選択できるようにする。
【0224】
ユーザが「揺れ情報を保存」をクリックした場合は、例えば図３０Ｃに示す確認ウインドウ２６１を表示させる。確認ウインドウ２６１にはＯＫボタン２６２，キャンセルボタン２６３を設け、ユーザの意思を確認できるようにする。
揺れ情報のみを保存する場合、つまり画像や音声と切り離して揺れ情報を保存する場合は、揺れ情報と画像の同期情報が無くなることになる。そこで、同期情報が無くなることをユーザに提示し、ＯＫ／キャンセルの意思を確認するようにする。
ユーザがＯＫボタン２６２を操作したら、ＣＰＵ７１は揺れ情報の保存処理を行う。
ユーザがキャンセルボタン２６３を操作したら、ＣＰＵ７１は揺れ情報の保存処理を行わず、例えば図３０Ａのタイムライン２５０の表示状態に戻す。
揺れ情報のみを保存する場合、つまり画像や音声と切り離して揺れ情報を保存する場合は、揺れ情報と画像の同期情報が無くなることになる。そこで、同期情報が無くなることをユーザに提示し、ＯＫ／キャンセルの意思を確認するようにする。
ユーザがＯＫボタン２６２を操作したら、ＣＰＵ７１は揺れ情報の保存処理を行う。
ユーザがキャンセルボタン２６３を操作したら、ＣＰＵ７１は揺れ情報の保存処理を行わず、例えば図３０Ａのタイムライン２５０の表示状態に戻す。
【0225】
ユーザが「揺れ情報を開く」をクリックした場合は、例えば揺れ情報を拡大して、詳細に調整できる画像を表示したり、或いはＩＭＵデータやクオータ二オンＱＤとしての数値一覧を表示させたりして、ユーザが詳細な確認や編集を行うことができるようにすることが考えられる。
揺れ波形を時間軸上で拡大して表示させ、波形自体を変更（振幅や周波数の変更）できるようにすることで、動画の或る区間において揺れの量を調整したり、揺れをなくしたりするような操作を可能とすることも考えられる。
揺れ波形を時間軸上で拡大して表示させ、波形自体を変更（振幅や周波数の変更）できるようにすることで、動画の或る区間において揺れの量を調整したり、揺れをなくしたりするような操作を可能とすることも考えられる。
【0226】
［５－６：第５の実施の形態のＵＩ動作］
第５の実施の形態は、タイムライン２５０上でプリセットデータのアサインを行うことができるようにする例である。
第５の実施の形態は、タイムライン２５０上でプリセットデータのアサインを行うことができるようにする例である。
【0227】
図３１には横方向を時間軸方向としたタイムライン２５０Ａを示しているが、この場合のタイムライン２５０Ａには、画像タイムライン２５１、音タイムライン２５３、揺れタイムライン２５２に加え、アサイン枠２５４が設けられている。
アサイン枠２５４は、プリセットデータをユーザが任意にアサインするための領域とする。
アサイン枠２５４は、プリセットデータをユーザが任意にアサインするための領域とする。
【0228】
例えば表示部７７の画面上には、タイムライン２５０Ａとともにプリセットボタン２１０，２１１を表示させる。ユーザは、例えば任意のプリセットボタン２１１をアサイン枠２５４にドラッグ／ドロップすることで、プリセットデータのアサインができる。
例えばプリセットボタン２１１におけるウサギのボタンを対象としてドラッグ／ドロップ操作ＤＧ１を行うことで、図３２Ａのようにアサイン枠２５４にはウサギのプリセットデータ表示２５５が行われ、動画内で該当する区間についてウサギの揺れのプリセットデータがアサインされたことが表示される。
同様に馬のボタンを対象としてドラッグ／ドロップ操作ＤＧ２を行うことで、図３２Ａのようにアサイン枠２５４には馬のプリセットデータ表示２５６が行われ、動画内で該当する区間について馬の揺れのプリセットデータがアサインされたことが表示される。
例えばプリセットボタン２１１におけるウサギのボタンを対象としてドラッグ／ドロップ操作ＤＧ１を行うことで、図３２Ａのようにアサイン枠２５４にはウサギのプリセットデータ表示２５５が行われ、動画内で該当する区間についてウサギの揺れのプリセットデータがアサインされたことが表示される。
同様に馬のボタンを対象としてドラッグ／ドロップ操作ＤＧ２を行うことで、図３２Ａのようにアサイン枠２５４には馬のプリセットデータ表示２５６が行われ、動画内で該当する区間について馬の揺れのプリセットデータがアサインされたことが表示される。
【0229】
図３２Ａのようにウサギのプリセットデータや馬のプリセットデータが或る区間に割り当てられた場合、その区間は、揺れ状態が、ウサギのような揺れ、馬のような揺れに変更されることを意味する。
即ち当該区間では、ウサギのプリセットデータや馬のプリセットデータに応じた揺れ変更パラメータＰＲＭが設定されて揺れ変更が行われるものとなる。
なおこのため、プリセットデータがアサインされた区間では、揺れタイムライン２５２に示される元々の揺れは、画像に反映されなくなる。そこで、該当区間の揺れ波形は図のように目立たない表示としたり（図では破線で示している）、或いは消去したり、グレー表示などとしたりして、そのことをユーザが理解できるようにする。
即ち当該区間では、ウサギのプリセットデータや馬のプリセットデータに応じた揺れ変更パラメータＰＲＭが設定されて揺れ変更が行われるものとなる。
なおこのため、プリセットデータがアサインされた区間では、揺れタイムライン２５２に示される元々の揺れは、画像に反映されなくなる。そこで、該当区間の揺れ波形は図のように目立たない表示としたり（図では破線で示している）、或いは消去したり、グレー表示などとしたりして、そのことをユーザが理解できるようにする。
【0230】
プリセットデータのドラッグ／ドロップの操作によっては、例えば固定時間長の区間に、その操作対象のプリセットデータが割り当てられたものとされ、その後、アサイン枠２５４内でユーザが任意に区間を調整できる。
例えばウサギのプリセットデータの区間長、馬のプリセットデータの区間長は、プリセットデータ表示２５５，２５６の端についてドラッグ等の操作を行うことで、広げたり狭めたりすることができる。
例えばウサギのプリセットデータの区間長、馬のプリセットデータの区間長は、プリセットデータ表示２５５，２５６の端についてドラッグ等の操作を行うことで、広げたり狭めたりすることができる。
【0231】
また、図ではプリセットデータの境界（図３２Ａのウサギの区間と馬の区間の境界）はクロスフェード表示２５７が行われ、この境界近辺で、揺れ状態が、徐々にウサギの揺れから馬の揺れに変化されていくことが示される。
ユーザはクロスフェード表示２５７の部分を移動させたり、端部を移動させることで、例えば図３２Ａの状態から図３２Ｂの状態のように、各区間を変更することもできる。
ユーザはクロスフェード表示２５７の部分を移動させたり、端部を移動させることで、例えば図３２Ａの状態から図３２Ｂの状態のように、各区間を変更することもできる。
【0232】
【0233】
［５－７：第６の実施の形態のＵＩ動作］
第６の実施の形態は、タイムライン表示と再生画像の表示により、揺れ波形と揺れが与えられた再生表示を確認しながら操作を行うことができるようにする例である。
第６の実施の形態は、タイムライン表示と再生画像の表示により、揺れ波形と揺れが与えられた再生表示を確認しながら操作を行うことができるようにする例である。
【0234】
図３３に画面例を示す。当該画面ではユーザに対し、例えば揺れ幅調整画像２００、モニタ表示２７０、再生表示部２７１、揺れタイムライン２５２が提示される。
揺れ幅調整画像２００は例えば図２５や図２６で説明したように、ユーザがスライダー操作を行うことで各方向の揺れ量を指示することが可能なものとされる。
揺れ幅調整画像２００は例えば図２５や図２６で説明したように、ユーザがスライダー操作を行うことで各方向の揺れ量を指示することが可能なものとされる。
【0235】
波形モニタ２７０は、例えばヨー方向、ロール方向、ピッチ方向のそれぞれについて、現在位置（キーフレーム）近辺における揺れ波形が示される。
図では「調整前」として各揺れ波形を示しているが、これは揺れ幅調整画像２００の操作によって調整される前の波形である。
波形モニタ２７０には切り替えボタン２７９が設けられており、ユーザが切り替えボタン２７９を操作すると、表示される揺れ波形が、「調整後」のものとされる。つまり揺れ幅調整画像２００の操作によって調整された状態の波形に切り替えられて表示される。
ユーザは切り替えボタン２７９を例えばトグル操作することで、「調整後」「調整前」の揺れ波形を交互に見ることができ、調整具合を視覚的に確認できる。
なお、もちろん「調整後」「調整前」の揺れ波形を並列表示させてもよい。
図では「調整前」として各揺れ波形を示しているが、これは揺れ幅調整画像２００の操作によって調整される前の波形である。
波形モニタ２７０には切り替えボタン２７９が設けられており、ユーザが切り替えボタン２７９を操作すると、表示される揺れ波形が、「調整後」のものとされる。つまり揺れ幅調整画像２００の操作によって調整された状態の波形に切り替えられて表示される。
ユーザは切り替えボタン２７９を例えばトグル操作することで、「調整後」「調整前」の揺れ波形を交互に見ることができ、調整具合を視覚的に確認できる。
なお、もちろん「調整後」「調整前」の揺れ波形を並列表示させてもよい。
【0236】
揺れタイムライン２５２は、横方向が時間軸方向とされ、揺れ波形２８３が示される。例えばこの例では１０分間の動画の先頭（０分００秒）から終端（１０分００秒）までの揺れ波形２８３が示される。
そしてキーフレーム表示２８１として、ユーザ操作によってキーフレームとされた箇所が明示される。ユーザはキーフレーム操作子２８２を移動させることで、任意の時点のフレームをキーフレームに設定できる。
なお、この例では揺れタイムライン２５２上で、キーフレームを設定できるものとしたが、キーフレームの設定は、上述の画像タイムライン２５１や音タイムライン２５３上で行うようにしてもよい。
そしてキーフレーム表示２８１として、ユーザ操作によってキーフレームとされた箇所が明示される。ユーザはキーフレーム操作子２８２を移動させることで、任意の時点のフレームをキーフレームに設定できる。
なお、この例では揺れタイムライン２５２上で、キーフレームを設定できるものとしたが、キーフレームの設定は、上述の画像タイムライン２５１や音タイムライン２５３上で行うようにしてもよい。
【0237】
再生表示部２７１には、再生画像が表示される。再生表示部２７１の近辺には再生繰り返し期間指定ボタン２７２、繰り返し期間長２７３、再生操作部２７４が表示される。
再生操作部２７４には、リピートボタン、一時停止ボタン、再生ボタン等が表示される。ユーザはこれらの操作子により、リピート再生のオン／オフ、動画再生の一時停止、再生開始等を指示できる。
再生操作部２７４には、リピートボタン、一時停止ボタン、再生ボタン等が表示される。ユーザはこれらの操作子により、リピート再生のオン／オフ、動画再生の一時停止、再生開始等を指示できる。
【0238】
再生繰り返し期間指定ボタン２７２は、比較的短い区間をリピート再生させるための操作子であり、例えば操作に応じて再生期間長が切り替えられていく。
操作で指定される再生期間長は、繰り返し期間長２７３として表示される。図では３分０秒の区間がリピート再生させることを示している。
操作で指定される再生期間長は、繰り返し期間長２７３として表示される。図では３分０秒の区間がリピート再生させることを示している。
【0239】
この繰り返し再生は、揺れタイムライン２５２上でユーザが指定したキーフレームを基準にした区間で行われる。
例えばキーフレームをリピート再生の開始位置とする。図の場合、ユーザが再生操作を行うと、揺れタイムライン２５２上で、キーフレーム表示２８１で示される位置から３分間の区間が、リピート再生期間として繰り返し再生されることになる。
より短い区間をリピート再生させたい場合、ユーザは再生繰り返し期間指定ボタン２７２を操作して、リピート再生期間を短くすればよい。また異なる区間を再生させたい場合は、ユーザはキーフレーム操作子２８２を移動させればよい。
例えばキーフレームをリピート再生の開始位置とする。図の場合、ユーザが再生操作を行うと、揺れタイムライン２５２上で、キーフレーム表示２８１で示される位置から３分間の区間が、リピート再生期間として繰り返し再生されることになる。
より短い区間をリピート再生させたい場合、ユーザは再生繰り返し期間指定ボタン２７２を操作して、リピート再生期間を短くすればよい。また異なる区間を再生させたい場合は、ユーザはキーフレーム操作子２８２を移動させればよい。
【0240】
ユーザは、リピート再生を見ながら、揺れ幅調整画像２００を用いて、揺れの状態を調整する操作を行うことができる。これによりシーンにあった揺れの調整を、実際に画像を見ながら行うことができる。
再生される画像は、図１４や図２４の出力画像データｏＰＤであることが想定される。即ち揺れ変更パラメータＰＲＭにより揺れ変更が施された画像である。従ってユーザが揺れ幅調整画像２００を用いて、揺れの状態を調整する操作を行うと、その揺れが再生画像に反映されるため、ユーザは実際の揺れ状態を見ながら任意の揺れ状態に操作することができる。
再生される画像は、図１４や図２４の出力画像データｏＰＤであることが想定される。即ち揺れ変更パラメータＰＲＭにより揺れ変更が施された画像である。従ってユーザが揺れ幅調整画像２００を用いて、揺れの状態を調整する操作を行うと、その揺れが再生画像に反映されるため、ユーザは実際の揺れ状態を見ながら任意の揺れ状態に操作することができる。
【0241】
なおリピート再生させる区間はキーフレームを基準とするが、キーフレームを再生する区間の先頭とすることに限られない。
例えばキーフレームの所定時間前（５秒前など）のフレームを再生開始フレームとしてもよい。
或いはキーフレームがリピート再生する区間の中央になるように再生開始フレームを決めても良い。
例えばキーフレームの所定時間前（５秒前など）のフレームを再生開始フレームとしてもよい。
或いはキーフレームがリピート再生する区間の中央になるように再生開始フレームを決めても良い。
【0242】
また、リピート再生を確認しながら揺れ幅調整画像２００で調整した揺れ状態、つまり操作に応じて設定された揺れ変更パラメータＰＲＭは、画像のどの区間に適用されるようにするかは多様に考えられる。
【0243】
例えばリピート再生される区間についてのみ、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、リピート再生される区間にかかわらず、キーフレームから画像の終端までの区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、リピート再生される区間にかかわらず、画像の先頭からキーフレームまでの区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、指定されたキーフレームの前後の所定時間の区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、リピート再生される区間にかかわらず、動画の全区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、リピート再生される区間にかかわらず、キーフレームから画像の終端までの区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、リピート再生される区間にかかわらず、画像の先頭からキーフレームまでの区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、指定されたキーフレームの前後の所定時間の区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
また、リピート再生される区間にかかわらず、動画の全区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
【0244】
またシーンチェンジポイントとしてのフレームを検出するとともに、キーフレームが含まれるシーンとされた区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
またシーンチェンジポイントとしてのフレームを検出するとともに、キーフレームから次のシーンチェンジポイントまでの区間、或いはキーフレームの前のシーンチェンジポイントからキーフレームまでの区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
なお、自動シーン認識によって被写体の主人公が判定できる場合、その主人公の動作に応じた揺れ調整の自動化を行うことも考えられる。
またシーンチェンジポイントとしてのフレームを検出するとともに、キーフレームから次のシーンチェンジポイントまでの区間、或いはキーフレームの前のシーンチェンジポイントからキーフレームまでの区間に、操作に応じた揺れ変更パラメータＰＲＭが適用されるものとしてもよい。
なお、自動シーン認識によって被写体の主人公が判定できる場合、その主人公の動作に応じた揺れ調整の自動化を行うことも考えられる。
【0245】
キーフレームより前は操作に応じた揺れ変更パラメータＰＲＭを適用させたくない場合に適用できる例としては、適応させたくない一番後ろのポイントで新たなキーフレームを作り、デフォルトの揺れ変更パラメータＰＲＭを入力することも考えられる。デフォルトの揺れ変更パラメータＰＲＭとは、例えば揺れ幅調整画像２００のスライダーで指定されるゲインを全て“１”にしたときの値などである。
操作に応じた揺れ変更パラメータＰＲＭの適応範囲を限定させる例としては、限定させたいポイントの前後をキーフレームとして、操作を行うことが考えられる。
操作に応じた揺れ変更パラメータＰＲＭの適応範囲を限定させる例としては、限定させたいポイントの前後をキーフレームとして、操作を行うことが考えられる。
【0246】
全ての揺れを除去するような調整の場合、揺れタイムライン２５２で表現されるトラックの全体のチェックボックスを用意して、揺れ除去を指示できるようにすることも可能である。
【0247】
なお、例えば揺れタイムライン２５２では、ユーザが、調整（揺れ変更）が加えられているか、加えられていないかの判断ができるように、揺れ波形２８３の色を変化させたり、揺れ波形２８３の上に重ねあわされる形で折れ線グラフのようなラインがキーフレームのマーク間をつなぐような表示を行ってもよい。
【0248】
［５－８：第４，第５，第６の実施の形態のＵＩ処理］
以上の第４，第５，第６の実施の形態のＵＩ処理を行うＵＩ処理例を図３４、図３５で説明する。これはＵＩ処理部１０３及びパラメータ設定部１０２の機能によりＣＰＵ７１が実行する処理である。
なお図３４，図３５は一連の処理を分割して示し、フローチャートの接続関係を「ｃ１」「ｃ２」で示している。
また当該処理は、図３３の表示において、揺れタイムライン２５２に代えて図３１、図３２のタイムライン２５０Ａ及びプリセットボタン２１０、２１１が表示されることを想定し、タイムライン２５０Ａにおける揺れタイムライン２５２において図３３のようにキーフレームの表示が行われるものとする。
以上の第４，第５，第６の実施の形態のＵＩ処理を行うＵＩ処理例を図３４、図３５で説明する。これはＵＩ処理部１０３及びパラメータ設定部１０２の機能によりＣＰＵ７１が実行する処理である。
なお図３４，図３５は一連の処理を分割して示し、フローチャートの接続関係を「ｃ１」「ｃ２」で示している。
また当該処理は、図３３の表示において、揺れタイムライン２５２に代えて図３１、図３２のタイムライン２５０Ａ及びプリセットボタン２１０、２１１が表示されることを想定し、タイムライン２５０Ａにおける揺れタイムライン２５２において図３３のようにキーフレームの表示が行われるものとする。
【0249】
ステップＳ２００でＣＰＵ７１はＵＩ表示及び操作検知の処理を行う。
例えばＣＰＵ７１は表示部７７に、揺れ幅調整画像２００、波形モニタ２７０、再生表示部２７１、再生繰り返し期間指定ボタン２７２、繰り返し期間長２７３、再生操作部２７４、切り替えボタン２７９、タイムライン２５０Ａ（画像タイムライン２５１、音タイムライン２５３、揺れタイムライン２５２、アサイン枠２５４）、及びプリセットボタン２１０、２１１の表示させる制御を行う。またＣＰＵ７１は、それらを表示した画面に対するユーザ操作の検知を行う。
またＣＰＵ７１は操作に対する表示の切り替え、例えばスライダー位置の切り替え等も行う。プリセットボタン２１０、２１１の階層構造に対応して、ＣＰＵ７１は例えば大分類のプリセットボタン２１０の操作に応じて次の階層、例えば小分類のプリセットボタン２１１の表示が行われるようにする。
例えばＣＰＵ７１は表示部７７に、揺れ幅調整画像２００、波形モニタ２７０、再生表示部２７１、再生繰り返し期間指定ボタン２７２、繰り返し期間長２７３、再生操作部２７４、切り替えボタン２７９、タイムライン２５０Ａ（画像タイムライン２５１、音タイムライン２５３、揺れタイムライン２５２、アサイン枠２５４）、及びプリセットボタン２１０、２１１の表示させる制御を行う。またＣＰＵ７１は、それらを表示した画面に対するユーザ操作の検知を行う。
またＣＰＵ７１は操作に対する表示の切り替え、例えばスライダー位置の切り替え等も行う。プリセットボタン２１０、２１１の階層構造に対応して、ＣＰＵ７１は例えば大分類のプリセットボタン２１０の操作に応じて次の階層、例えば小分類のプリセットボタン２１１の表示が行われるようにする。
【0250】
【0251】
ＣＰＵ７１はユーザの保存操作を検知したら、図３４のステップＳ２０１からステップＳ２１５に進む。保存操作とは、例えば図３０で説明したように揺れタイムライン２５２上で右クリックし、保存ウインドウ２６０で揺れ情報の保存を選択する操作である。
この場合ステップＳ２１５でＣＰＵ７１は保存処理を行う。例えばＣＰＵ７１は確認ウインドウ２６１（図３０Ｃ参照）を表示させ、ユーザがキャンセルボタン２６３の操作を行った場合は保存せずにステップＳ２００に戻り、ユーザがＯＫボタンの操作を行った場合は、例えば記憶部７９等への揺れ情報の保存処理を行ってステップＳ２００に戻る。
この場合ステップＳ２１５でＣＰＵ７１は保存処理を行う。例えばＣＰＵ７１は確認ウインドウ２６１（図３０Ｃ参照）を表示させ、ユーザがキャンセルボタン２６３の操作を行った場合は保存せずにステップＳ２００に戻り、ユーザがＯＫボタンの操作を行った場合は、例えば記憶部７９等への揺れ情報の保存処理を行ってステップＳ２００に戻る。
【0252】
ＣＰＵ７１は、ユーザがキーフレーム指定操作を行ったことを検知したら、図３４のステップＳ２０２からステップＳ２３０に進み、キーフレーム設定を行う。即ち揺れタイムライン２５２上でキーフレーム操作子２８２の操作に応じた位置にキーフレーム表示２８１を行うとともに、そのフレームナンバを特定してキーフレームとする。フレームナンバは、例えば動画の先頭フレームを０時０分０秒０フレームとした時分秒フレームのナンバとすることができる。
【0253】
続いてＣＰＵ７１はステップＳ２３１で対象区間設定を行う。これは当該キーフレームを基準にしてユーザ操作による揺れ変更が適用される区間を設定する処理である。この設定の手法は上述のように多様であるが、例えばキーフレームから画像の終端までの区間を適用区間などとして設定する。
ＣＰＵ７１は以上のステップＳ２３０，Ｓ２３１の処理を経てステップＳ２００に戻る。
ＣＰＵ７１は以上のステップＳ２３０，Ｓ２３１の処理を経てステップＳ２００に戻る。
【0254】
ＣＰＵ７１は、ユーザがモニタ切換操作、即ち切り替えボタン２７９の操作を行ったことを検知したら、ステップＳ２０３からステップＳ２４０に進み、波形モニタ２７０の表示切り替えを行う。この場合ＣＰＵ７１は、波形モニタ２７０の表示が調整前であったら、調整後の波形に切り替える処理を行い、波形モニタ２７０の表示が調整後であったら、調整前の波形に切り替える処理を行う。そしてＣＰＵ７１の処理はステップＳ２００に戻る。
【0255】
ＣＰＵ７１は、ユーザが揺れ幅調整操作、即ち揺れ幅調整画像２００のスライダーの操作を行ったことを検知したら、ステップＳ２０４からステップＳ２２０に進み、操作を反映する対象区間が設定済みであるかを確認する。
対象区間が設定されていない場合、即ちユーザがキーフレーム設定を行っていない場合は、ＣＰＵ７１はステップＳ２２２に進んで、例えば動画の全区間を対象区間とし、今回のスライダーの操作値に応じた揺れ変更パラメータＰＲＭが、全区間に適用されるようにする。もちろん全区間を対象とするのは一例である。
一方、それまでにステップＳ２３１の処理で対象区間を設定していた場合、ＣＰＵ７１はステップＳ２２１に進んで、設定した対象区間に、今回のスライダーの操作値に応じた揺れ変更パラメータＰＲＭが適用されるようにする。
そしてＣＰＵ７１の処理はステップＳ２００に戻る。
対象区間が設定されていない場合、即ちユーザがキーフレーム設定を行っていない場合は、ＣＰＵ７１はステップＳ２２２に進んで、例えば動画の全区間を対象区間とし、今回のスライダーの操作値に応じた揺れ変更パラメータＰＲＭが、全区間に適用されるようにする。もちろん全区間を対象とするのは一例である。
一方、それまでにステップＳ２３１の処理で対象区間を設定していた場合、ＣＰＵ７１はステップＳ２２１に進んで、設定した対象区間に、今回のスライダーの操作値に応じた揺れ変更パラメータＰＲＭが適用されるようにする。
そしてＣＰＵ７１の処理はステップＳ２００に戻る。
【0256】
ＣＰＵ７１は、ユーザがプリセットアサインの操作を検知したら、ステップＳ２０５からステップＳ２３４に進む。
プリセットアサインの操作とは、例えば図３１のドラッグ／ドロップ操作ＤＧ１，ＤＧ２などのように、あるプリセットデータをある区間に割り当てる操作である。
この場合ＣＰＵ７１はステップＳ２３４で、アサイン対象の区間を設定し、その区間にアサインされたプリセットデータに基づく揺れ変更パラメータＰＲＭが適用されるようにする。
またＣＰＵ７１は、アサイン枠２５４にプリセットデータ表示２５５が行われるようにするとともに、揺れタイムライン２５２上で、元の揺れが適用されなくなることを示す表示変更（例えば図３２Ａの破線表示）も行う。そしてＣＰＵ７１の処理はステップＳ２００に戻る。
プリセットアサインの操作とは、例えば図３１のドラッグ／ドロップ操作ＤＧ１，ＤＧ２などのように、あるプリセットデータをある区間に割り当てる操作である。
この場合ＣＰＵ７１はステップＳ２３４で、アサイン対象の区間を設定し、その区間にアサインされたプリセットデータに基づく揺れ変更パラメータＰＲＭが適用されるようにする。
またＣＰＵ７１は、アサイン枠２５４にプリセットデータ表示２５５が行われるようにするとともに、揺れタイムライン２５２上で、元の揺れが適用されなくなることを示す表示変更（例えば図３２Ａの破線表示）も行う。そしてＣＰＵ７１の処理はステップＳ２００に戻る。
【0257】
ＣＰＵ７１は、ユーザがプリセットアサインの区間を変更する操作を検知したら、ステップＳ２０６からステップＳ２３５に進む。例えば図３２Ｂで説明したようにユーザがプリセットアサイン区間を変更させる操作を行った場合である。
この場合ＣＰＵ７１はステップＳ２３５で、アサイン対象の区間を新たに設定し、プリセットデータに基づく揺れ変更パラメータＰＲＭの適用区間が変更されるようにする。そしてＣＰＵ７１の処理はステップＳ２００に戻る。
この場合ＣＰＵ７１はステップＳ２３５で、アサイン対象の区間を新たに設定し、プリセットデータに基づく揺れ変更パラメータＰＲＭの適用区間が変更されるようにする。そしてＣＰＵ７１の処理はステップＳ２００に戻る。
【0258】
ＣＰＵ７１は、ユーザが再生操作、即ち再生操作部２７４の再生ボタンの操作を行ったことを検知したら、図３５のステップＳ２０７からステップＳ２５０に進み、キーフレーム設定済みであるかを確認する。
【0259】
ユーザがキーフレーム設定を行っていない場合は、ＣＰＵ７１はステップＳ２５１に進んで、動画の先頭フレームを再生開始フレームとする。
そしてステップＳ２５３で再生開始制御を行う。これにより再生表示部２７１に動画が先頭から再生される。
なおリピート再生される区間は、繰り返し期間長２７３で表示されている時間に相当する区間となる。
そしてステップＳ２５３で再生開始制御を行う。これにより再生表示部２７１に動画が先頭から再生される。
なおリピート再生される区間は、繰り返し期間長２７３で表示されている時間に相当する区間となる。
【0260】
ユーザがキーフレーム設定を行っていた場合は、ＣＰＵ７１はステップＳ２５０からステップＳ２５１に進んで、キーフレーム設定に応じて、リピート再生される区間の先頭である再生開始フレームを設定する。
上述のようにキーフレーム自体を再生開始フレームとする例もあるし、キーフレームの近辺で再生開始フレームを設定する例もある。
そしてステップＳ２５３で再生開始制御を行う。これにより再生表示部２７１にキーフレーム設定に応じたフレームからの動画が再生される。
なおリピート再生される区間は、当該キーフレーム設定に応じたフレームから、繰り返し期間長２７３で表示されている時間に相当する区間となる。
上述のようにキーフレーム自体を再生開始フレームとする例もあるし、キーフレームの近辺で再生開始フレームを設定する例もある。
そしてステップＳ２５３で再生開始制御を行う。これにより再生表示部２７１にキーフレーム設定に応じたフレームからの動画が再生される。
なおリピート再生される区間は、当該キーフレーム設定に応じたフレームから、繰り返し期間長２７３で表示されている時間に相当する区間となる。
【0261】
ＣＰＵ７１はステップＳ２５３で再生開始制御を行った後、図３４のステップＳ２００に戻る。
【0262】
なお、ステップＳ２５２で設定されるリピート再生される区間は、上述のステップＳ２３１で設定したユーザ操作による揺れ変更が適用される区間とは必ずしも一致している必要はない。
但し、これらを一致させ、リピート再生される区間に揺れ変更が適用されるとしてもよい。この場合、ユーザが揺れ変更を確認できる区間のみ、揺れ変更が施されるということで、ユーザにわかりやすいインタフェースを提供できることになる。
逆に、ユーザが一部の動画を確認して、揺れを広い範囲に適用させたいとする場合には、リピート再生される区間より広い区間に揺れ変更が適用されるようにすることが望ましい。
また極めて短い一部の区間に揺れ演出を加え、前後の区間も確認したい場合、リピート再生される区間における一部の区間に揺れ変更が適用されるようにすることが望ましい。
但し、これらを一致させ、リピート再生される区間に揺れ変更が適用されるとしてもよい。この場合、ユーザが揺れ変更を確認できる区間のみ、揺れ変更が施されるということで、ユーザにわかりやすいインタフェースを提供できることになる。
逆に、ユーザが一部の動画を確認して、揺れを広い範囲に適用させたいとする場合には、リピート再生される区間より広い区間に揺れ変更が適用されるようにすることが望ましい。
また極めて短い一部の区間に揺れ演出を加え、前後の区間も確認したい場合、リピート再生される区間における一部の区間に揺れ変更が適用されるようにすることが望ましい。
【0263】
ＣＰＵ７１は、ユーザが停止操作、即ち再生操作部２７４の停止ボタンの操作を行ったことを検知したら、図３５のステップＳ２０８からステップＳ２６０に進み、再生停止制御を行う。そして図３４のステップＳ２００に戻る。
なお、再生停止と再生一時停止を区別して操作できるようにしてもよい。例えば、再生停止操作とは別の再生一時停止操作の検知を行った場合に、ＣＰＵ７１は、再生画像をそのときのフレームで停止させる処理を行う。
なお、再生停止と再生一時停止を区別して操作できるようにしてもよい。例えば、再生停止操作とは別の再生一時停止操作の検知を行った場合に、ＣＰＵ７１は、再生画像をそのときのフレームで停止させる処理を行う。
【0264】
ＣＰＵ７１は図３５のステップＳ２０９で再生期間長の操作、即ち再生繰り返し期間指定ボタン２７２の操作を検知したら、ステップＳ２６５に進み、再生期間長の変更を行う。即ちＣＰＵ７１は再生期間長の設定の変更を行うとともに、繰り返し期間長２７３の表示を新たな時間長に変更する。そしてＣＰＵ７１の処理は図３４のステップＳ２００に戻る。
ステップＳ２６５で更新された再生期間長は、その後のリピート再生、又は現在行われているリピート再生に反映される。これによりユーザはリピート再生させる区間を調整できる。
ステップＳ２６５で更新された再生期間長は、その後のリピート再生、又は現在行われているリピート再生に反映される。これによりユーザはリピート再生させる区間を調整できる。
【0265】
ＣＰＵ７１は図３５のステップＳ２１０で、リピート再生が再生終了フレームに到達したことを検知した場合が、ステップＳ２７０に進み、リピート再生処理を行う。
再生終了フレームは、ステップＳ２５１又はステップＳ２５２で設定した再生開始フレームから、設定されている再生期間長を経た位置のフレームである。
ＣＰＵ７１はリピート再生処理として、再生開始フレームに戻って再生を行う制御を行う。そしてステップＳ２００に戻る。
再生終了フレームは、ステップＳ２５１又はステップＳ２５２で設定した再生開始フレームから、設定されている再生期間長を経た位置のフレームである。
ＣＰＵ７１はリピート再生処理として、再生開始フレームに戻って再生を行う制御を行う。そしてステップＳ２００に戻る。
【0266】
【0267】
＜６．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置ＴＤｘ，ＴＤｙは、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部１０１と、揺れ変更に関する操作子を提示させ操作子による操作情報を取得するＵＩ処理部１０３と、ＵＩ処理部１０３が取得した操作情報に基づいて、揺れ変更パラメータＰＲＭを設定するパラメータ設定部１０２を備える。
これによりユーザに対して、画像に揺れを付加したり画像の揺れを抑えたりする画像処理を実行させる操作環境を提供できる。
特に揺れ変更のためのパラメータをＵＩ画面上で視覚的に操作可能とすることで、ユーザにとってわかりやすい揺れ操作環境を提供できることになる。
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置ＴＤｘ，ＴＤｙは、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部１０１と、揺れ変更に関する操作子を提示させ操作子による操作情報を取得するＵＩ処理部１０３と、ＵＩ処理部１０３が取得した操作情報に基づいて、揺れ変更パラメータＰＲＭを設定するパラメータ設定部１０２を備える。
これによりユーザに対して、画像に揺れを付加したり画像の揺れを抑えたりする画像処理を実行させる操作環境を提供できる。
特に揺れ変更のためのパラメータをＵＩ画面上で視覚的に操作可能とすることで、ユーザにとってわかりやすい揺れ操作環境を提供できることになる。
【0268】
実施の形態では、ＵＩ処理部１０３は、揺れ量を調整する操作子を提示させ、パラメータ設定部１０２は、操作子の操作情報に基づいて揺れ量を調整するパラメータを設定する例をあげた。例えば図２５，図２６，図２７，図３３に示した揺れ幅調整画像２００の表示とその操作に対応する処理である。
これにより、ユーザが任意に画像の揺れの量の調整が可能となる。
これにより、ユーザが任意に画像の揺れの量の調整が可能となる。
【0269】
実施の形態では、ＵＩ処理部１０３は１又は複数の揺れ方向成分について揺れ量を調整する操作子を提示させ、パラメータ設定部１０２は、揺れ方向成分の揺れ量の操作情報に基づいて、揺れ方向成分の揺れ量を調整するパラメータを設定する例をあげた。
即ち画像に表れる揺れには複数の揺れ方向成分が含まれているが、１つの揺れ方向成分又は複数の揺れ方向成分毎に揺れ量を調整可能とする。
これにより、ユーザは揺れ方向単位の揺れ量調整が可能となる。例えば特定方向の揺れが調整可能である。
また複数の揺れ方向成分の揺れ量の調整が可能としてもよい。方向成分毎に揺れ量を調整することで、多様な揺れ変更が実現できる。
例えばユーザは多様な縦揺れのみを低減したり、縦方向の揺れを大きくし、横方向の揺れを小さくするなどの調整が可能となる。
即ち画像に表れる揺れには複数の揺れ方向成分が含まれているが、１つの揺れ方向成分又は複数の揺れ方向成分毎に揺れ量を調整可能とする。
これにより、ユーザは揺れ方向単位の揺れ量調整が可能となる。例えば特定方向の揺れが調整可能である。
また複数の揺れ方向成分の揺れ量の調整が可能としてもよい。方向成分毎に揺れ量を調整することで、多様な揺れ変更が実現できる。
例えばユーザは多様な縦揺れのみを低減したり、縦方向の揺れを大きくし、横方向の揺れを小さくするなどの調整が可能となる。
【0270】
特に実施の形態では揺れ方向成分としては、ヨー方向揺れ成分、ロール方向揺れ成分、ピッチ方向揺れ成分の全部又は一部を含む例を挙げた。
ヨー方向、ロール方向、ピッチ方向の揺れ成分の全部又は一部を調整できることで、ユーザは特定の揺れの除去や増大、或いは多様な揺れの演出などの操作を理解しやすいインタフェースで実行できる。
ヨー方向、ロール方向、ピッチ方向の揺れ成分の全部又は一部を調整できることで、ユーザは特定の揺れの除去や増大、或いは多様な揺れの演出などの操作を理解しやすいインタフェースで実行できる。
【0271】
なお実施の形態では、揺れ変更部１０１は、撮像時揺れ情報に基づく揺れ付加のための揺れ情報（例えば揺らすためのクオータニオンＱＤｓ）に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、調整後揺れ情報を生成する例を挙げた。
図１８、図１９の処理のように揺れの方向（ヨー、ピッチ、ロール）毎にゲイン処理を行い、ミックスすることで揺れの方向毎に揺れ量を調整した調整後クオータニオンｅＱＤを生成することができる。このようにすることで揺れの方向毎に任意の調整を行って多様な揺れ演出を施すことが可能になる。
例えば縦方向の揺れは加えるが横方向の揺れは加えないといったような揺れ演出も容易に可能となる。
図１８、図１９の処理のように揺れの方向（ヨー、ピッチ、ロール）毎にゲイン処理を行い、ミックスすることで揺れの方向毎に揺れ量を調整した調整後クオータニオンｅＱＤを生成することができる。このようにすることで揺れの方向毎に任意の調整を行って多様な揺れ演出を施すことが可能になる。
例えば縦方向の揺れは加えるが横方向の揺れは加えないといったような揺れ演出も容易に可能となる。
【0272】
実施の形態では、ＵＩ処理部１０３は、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、パラメータ設定部１０２は、周波数帯の揺れ量の操作情報に基づいて、揺れの周波数帯の揺れ量を調整するパラメータを設定する例を挙げた。
画像に表れる揺れには複数の周波数の振動成分が含まれている。そこで１つの周波数帯又は複数の周波数帯毎に揺れ量を調整可能とする。
これにより、ユーザは大きい揺れ、細かい揺れといった揺れ具合を想定して揺れ調整が可能となる。
例えば細かい揺れのみを除去したり付加したりといった調整が可能である。
また複数の周波数帯の揺れ成分の揺れ量の調整を可能とすることで、多様な揺れ具合の揺れ調整が実現できる。例えばユーザは大きな揺れを低減しつつ細かい揺れを際立たせるといったような調整が可能となる。
画像に表れる揺れには複数の周波数の振動成分が含まれている。そこで１つの周波数帯又は複数の周波数帯毎に揺れ量を調整可能とする。
これにより、ユーザは大きい揺れ、細かい揺れといった揺れ具合を想定して揺れ調整が可能となる。
例えば細かい揺れのみを除去したり付加したりといった調整が可能である。
また複数の周波数帯の揺れ成分の揺れ量の調整を可能とすることで、多様な揺れ具合の揺れ調整が実現できる。例えばユーザは大きな揺れを低減しつつ細かい揺れを際立たせるといったような調整が可能となる。
【0273】
特に実施の形態では周波数帯として、少なくとも低周波数帯域と高周波数帯域の揺れ量を調整する操作子を提示させ、パラメータ設定部１０２は、低周波数帯域の揺れ量を調整するパラメータと、高周波数帯域の揺れ量を調整するパラメータを設定する例を挙げた。
例えば低周波数帯域と高周波数帯域の２バンドで揺れを調整可能とする。或いは低周波数帯域と１又は複数の中間周波数帯域と高周波数帯域の３バンド以上で揺れを調整可能とすることもできる。
これにより、ユーザは帯域（バンド）毎に揺れ量を調整でき、任意の揺れ具合の演出画可能となる。バンド毎に調整可能とするインタフェースを提供することで、ユーザにとって調整操作に応じて実現される揺れ具合が予測しやすいものとなり、操作性が向上する。
例えば低周波数帯域と高周波数帯域の２バンドで揺れを調整可能とする。或いは低周波数帯域と１又は複数の中間周波数帯域と高周波数帯域の３バンド以上で揺れを調整可能とすることもできる。
これにより、ユーザは帯域（バンド）毎に揺れ量を調整でき、任意の揺れ具合の演出画可能となる。バンド毎に調整可能とするインタフェースを提供することで、ユーザにとって調整操作に応じて実現される揺れ具合が予測しやすいものとなり、操作性が向上する。
【0274】
なお実施の形態では、揺れ変更部１０１は、撮像時揺れ情報に基づく揺れ付加のための揺れ情報（例えば揺らすためのクオータニオンＱＤｓ）に対し、揺れの周波数帯域別に揺れ変更パラメータＰＲＭに基づくゲイン処理を行って、調整後揺れ情報を生成する例を挙げた。
図１７、図１９の処理のように帯域分割してゲイン処理を行い、ミックスすることで揺れの周波数帯域毎に揺れ量を調整した調整後クオータニオンｅＱＤを生成することができる。このようにすることで揺れの周波数帯域毎に任意の調整を行って多様な揺れ演出を施すことが可能になる。
例えば大きな揺れは抑えるが細かい揺れは増加させるといったような揺れ演出も容易に可能となる。
図１７、図１９の処理のように帯域分割してゲイン処理を行い、ミックスすることで揺れの周波数帯域毎に揺れ量を調整した調整後クオータニオンｅＱＤを生成することができる。このようにすることで揺れの周波数帯域毎に任意の調整を行って多様な揺れ演出を施すことが可能になる。
例えば大きな揺れは抑えるが細かい揺れは増加させるといったような揺れ演出も容易に可能となる。
【0275】
実施の形態では、ＵＩ処理部１０３は、揺れ波形のプリセットデータ選択の操作子（プリセットボタン２１０、２１１）を提示させてプリセットデータの選択操作を可能とし、パラメータ設定部１０２は、プリセットデータ選択の操作に応じて画像の揺れを調整するパラメータを設定する例を挙げた（図２７，図２８，図３１参照）。
これによりユーザは、用意されたプリセットデータを指定、選択することで、極めて容易に揺れ変更の操作を行うことができる。
例えば揺れのパターンとして、予め、揺れの量の変化、周波数成分、揺れ方向成分などが設定されたプリセットデータを１つ以上用意しておくことで、ユーザはそのプリセットデータを指定するという操作で揺れ変更ができる。
また複数のプリセットデータを用意しておき、ユーザが望みの揺れを選択する操作を行うようにすることができる。
これによりユーザは、用意されたプリセットデータを指定、選択することで、極めて容易に揺れ変更の操作を行うことができる。
例えば揺れのパターンとして、予め、揺れの量の変化、周波数成分、揺れ方向成分などが設定されたプリセットデータを１つ以上用意しておくことで、ユーザはそのプリセットデータを指定するという操作で揺れ変更ができる。
また複数のプリセットデータを用意しておき、ユーザが望みの揺れを選択する操作を行うようにすることができる。
【0276】
上述の例では、人の揺れ、動物の揺れ、乗り物の揺れなどとしてのプリセットデータを用意していることで、ユーザは動画に対し、画像内容や編集意図に沿った揺れ変更を実現するための操作を直感的に行うことができる。
特に揺れに関して、周波数成分やヨー、ロール、ピッチという方向成分に関して詳しい知識がなくとも、揺れを動物の揺れ、乗り物の揺れなどとしてのイメージで捉えて指定できることで、操作の容易性は高い。
特に揺れに関して、周波数成分やヨー、ロール、ピッチという方向成分に関して詳しい知識がなくとも、揺れを動物の揺れ、乗り物の揺れなどとしてのイメージで捉えて指定できることで、操作の容易性は高い。
【0277】
また例えば人の揺れとしては、さらにゆっくり歩行したときの揺れ、通常歩行時の揺れ、走っているときの揺れ、激しく走ったときの揺れなどとして細分化してプリセットデータを用意しておくことも想定される。
動物の揺れとしては、ウサギ、ネコ、馬、犬、カエルなど、各種の動物種別のプリセットデータを用意しておくと、多様な揺れ編集が可能となる。
乗り物の揺れとしては、自家用車、トラック、電車、飛行機など、各種の乗り物のプリセットデータを用意しておくと、多様な揺れ編集が可能となる。
さらに、例えばアスファルト道路、ダート道路、砂地、氷上など、路面の状態の種別に応じたプリセットデータを用意することや、船上での凪、弱風時、暴風時など、海の状態に応じたプリセットデータを用意することなども考えられる。
動物の揺れとしては、ウサギ、ネコ、馬、犬、カエルなど、各種の動物種別のプリセットデータを用意しておくと、多様な揺れ編集が可能となる。
乗り物の揺れとしては、自家用車、トラック、電車、飛行機など、各種の乗り物のプリセットデータを用意しておくと、多様な揺れ編集が可能となる。
さらに、例えばアスファルト道路、ダート道路、砂地、氷上など、路面の状態の種別に応じたプリセットデータを用意することや、船上での凪、弱風時、暴風時など、海の状態に応じたプリセットデータを用意することなども考えられる。
【0278】
実施の形態では、ＵＩ処理部１０３は、画像の時間軸方向に揺れ成分を示すタイムライン２５０，２５０Ａの提示を実行させる例を挙げた（図３０，図３１，図３２，図３３参照）。
これにより、ユーザは動画における各区間（各シーン）などにおける揺れの状態を容易に確認できることになる。これはユーザが動画などにおいて全体的な揺れの傾向、様子を確認したり、ユーザが揺れ演出を行いたい区間、揺れ除去を行いたい区間などを確認したりする場合に非常に適している。
これにより、ユーザは動画における各区間（各シーン）などにおける揺れの状態を容易に確認できることになる。これはユーザが動画などにおいて全体的な揺れの傾向、様子を確認したり、ユーザが揺れ演出を行いたい区間、揺れ除去を行いたい区間などを確認したりする場合に非常に適している。
【0279】
実施の形態では、ＵＩ処理部１０３は、ユーザ操作によりタイムライン２５０Ａ（揺れタイムライン２５２）上でキーフレームを指定可能とする例を挙げた（図３３、図３４及び図３５のステップＳ２０２，Ｓ２３０，Ｓ２３１等参照）。
これにより、ユーザは動画における或る箇所（区間、シーン）などを任意に指定できる。これは、再生区間の指定や揺れ編集箇所の指定などに便利な機能となる。
これにより、ユーザは動画における或る箇所（区間、シーン）などを任意に指定できる。これは、再生区間の指定や揺れ編集箇所の指定などに便利な機能となる。
【0280】
実施の形態では、ＵＩ処理部１０３は、タイムライン２５０Ａ（揺れタイムライン２５２）上でユーザ操作により指定されたキーフレームを基準にして画像を再生させる処理を行う例を挙げた（図３３、図３４及び図３５のステップＳ２０２，Ｓ２３０，Ｓ２０７，Ｓ２５０，Ｓ２５２，Ｓ２５３等参照）。
これにより、ユーザは動画における或る箇所を任意に指定して、その再生を指示できる。従ってユーザは、任意の箇所の再生画像を見て揺れの状態を確認することができる。
これにより、ユーザは動画における或る箇所を任意に指定して、その再生を指示できる。従ってユーザは、任意の箇所の再生画像を見て揺れの状態を確認することができる。
【0281】
実施の形態では、ＵＩ処理部１０３は、タイムライン２５０Ａ上でユーザ操作により指定されたキーフレームを基準にして決定した画像区間を、繰り返し再生させる処理を行う例を挙げた（図３３、図３４及び図３５のステップＳ２０２，Ｓ２３０，Ｓ２０７，Ｓ２５０，Ｓ２５２，Ｓ２５３，Ｓ２１０，Ｓ２７０等参照）。
揺れの状況は、或る区間（シーン）を繰り返し見ることでユーザは揺れの状況を理解しやすい。また揺れ演出を加えたような場合、繰り返し見ることで、その揺れ演出が適切かどうかをユーザが判断しやすくなる。従ってリピート再生させることは、ユーザの揺れ確認に好適な情報提示となる。
揺れの状況は、或る区間（シーン）を繰り返し見ることでユーザは揺れの状況を理解しやすい。また揺れ演出を加えたような場合、繰り返し見ることで、その揺れ演出が適切かどうかをユーザが判断しやすくなる。従ってリピート再生させることは、ユーザの揺れ確認に好適な情報提示となる。
【0282】
実施の形態では、ＵＩ処理部１０３は、揺れ波形のプリセットデータ選択の操作子（プリセットボタン２１０、２１１）を提示させ、タイムライン２５０Ａに対して選択されたプリセットデータをアサインする処理を行う例を挙げた（図３１，図３２参照）。
これによりユーザは、タイムライン２５０Ａ上で任意の区間に任意のプリセットデータをアサインしていくような操作が可能となる。プリセットデータを用いた直感的な操作であるとともに、そのプリセットデータの適用区間をタイムライン上で視覚的に確認しながら決めるという操作が可能となる。
これによりユーザは、タイムライン２５０Ａ上で任意の区間に任意のプリセットデータをアサインしていくような操作が可能となる。プリセットデータを用いた直感的な操作であるとともに、そのプリセットデータの適用区間をタイムライン上で視覚的に確認しながら決めるという操作が可能となる。
【0283】
実施の形態では、ＵＩ処理部１０３は、タイムライン２５０Ａに対するプリセットデータのアサインに応じて変化する揺れの状況を提示する処理を行うものとした。即ち図３２Ａ、図３２Ｂのように揺れタイムライン２５２においてプリセットデータがアサインされた区間は、揺れ波形の表示が異なる状態となるようにし、また、ウサギや馬の表示がタイムライン２５０Ａに配置されて、それらの揺れが付加されることを示すようにした（図３４のステップＳ２３４，Ｓ２３５参照）。
これによりユーザは、タイムライン２５０Ａ上でプリセットデータをアサインすることで、当該区間で揺れの状態が変化することを確認できる。
図３２Ａ、図３２Ｂでは、元の波形は無効となること、及びウサギや馬の揺れになることを明示することになるが、例えば揺れ波形として、ウサギや馬を模した揺れの波形を表示させることなども考えられる。
これによりユーザは、タイムライン２５０Ａ上でプリセットデータをアサインすることで、当該区間で揺れの状態が変化することを確認できる。
図３２Ａ、図３２Ｂでは、元の波形は無効となること、及びウサギや馬の揺れになることを明示することになるが、例えば揺れ波形として、ウサギや馬を模した揺れの波形を表示させることなども考えられる。
【0284】
実施の形態では、ＵＩ処理部１０３は、キーフレームを基準に設定した区間に揺れ変更の操作が反映されるようにする例を述べた（図３４，図３５のステップＳ２０２，Ｓ２３０，Ｓ２３１，Ｓ２０４，Ｓ２２０，Ｓ２２１参照）。
これにより、ユーザはキーフレームを指定することで、スライダー操作等の適用区間が適切に設定され、その区間の揺れ変更操作を行うことができる。従って操作性が向上する。
キーフレームに応じた区間をどのように設定するかは上述の例のように各種考えられる。
これにより、ユーザはキーフレームを指定することで、スライダー操作等の適用区間が適切に設定され、その区間の揺れ変更操作を行うことができる。従って操作性が向上する。
キーフレームに応じた区間をどのように設定するかは上述の例のように各種考えられる。
【0285】
実施の形態では、ＵＩ処理部１０３は、タイムライン上で揺れ変更操作にかかる画像の揺れの変更前の状態と変更後の状態を提示させる処理を行う例を挙げた（図３３の波形モニタ２７０、図３４のステップＳ２０３，Ｓ２４０参照）。
これによりユーザは、揺れ変更操作に応じてどのように揺れの様子が変わるかを確認でき、揺れ変更の操作状況を理解しやすいものとなる。
なお、揺れ変更前と揺れ変更後の揺れの波形を並べて同時に表示させてもよい。
これによりユーザは、揺れ変更操作に応じてどのように揺れの様子が変わるかを確認でき、揺れ変更の操作状況を理解しやすいものとなる。
なお、揺れ変更前と揺れ変更後の揺れの波形を並べて同時に表示させてもよい。
【0286】
実施の形態では、揺れ変更部１０１は、揺れが生じていない入力画像データ又は揺れ低減処理が施された入力画像データ（画像データＰＤや画像データＰＤ（ＮＳ））に揺れを付加する揺れ変更処理を行う例を挙げた（図７，図８，図９参照）。
例えば固定カメラで撮像された元々手ブレ等が生じていない画像や、手ブレ等が撮像装置側で除去された画像を対象として揺れ変更を行う。
即ちこの構成により、揺れがない画像、揺れが少ない画像に、揺れを意図的に付加するような揺れ演出としての処理が行われることになり、画像の表現の幅を広げることができる。
例えば固定カメラで撮像された元々手ブレ等が生じていない画像や、手ブレ等が撮像装置側で除去された画像を対象として揺れ変更を行う。
即ちこの構成により、揺れがない画像、揺れが少ない画像に、揺れを意図的に付加するような揺れ演出としての処理が行われることになり、画像の表現の幅を広げることができる。
【0287】
実施の形態では、揺れ変更部１０１は、揺れ成分を含む入力画像データ（画像データＰＤ（Ｓ））に対し揺れ変更処理を行う例を挙げた（図１０，図１１参照）。
例えば手ブレ等が除去されていない画像が入力され、これを対象として揺れ変更を行う。
この場合、即ち揺れの除去や低減、或いは揺れの増大や付加を任意に行うことになる。揺れ変更処理によれば、元々入力画像データにある揺れを除去することも、その揺れを増大することもできる。また元々入力画像データにある揺れを除去したうえで、新たな揺れを付加することもできる。これにより、画像の質を向上させたり、表現の幅を広げたりすることができる。
例えば手ブレ等が除去されていない画像が入力され、これを対象として揺れ変更を行う。
この場合、即ち揺れの除去や低減、或いは揺れの増大や付加を任意に行うことになる。揺れ変更処理によれば、元々入力画像データにある揺れを除去することも、その揺れを増大することもできる。また元々入力画像データにある揺れを除去したうえで、新たな揺れを付加することもできる。これにより、画像の質を向上させたり、表現の幅を広げたりすることができる。
【0288】
実施の形態では、ＵＩ処理部１０３はユーザの保存の操作に応じて揺れ情報を記憶させる処理を行う（図３０、図３４のステップＳ２１５参照）。
これにより、ユーザが任意に行った操作による揺れ変更等の情報が保存され、その後の再生に反映させたり、さらなる編集に用いたり、或いは揺れの除去に用いたりすることができるようになる。
これにより、ユーザが任意に行った操作による揺れ変更等の情報が保存され、その後の再生に反映させたり、さらなる編集に用いたり、或いは揺れの除去に用いたりすることができるようになる。
【0289】
実施の形態のプログラムは、図１４や図２４で説明した処理において、上述のユーザインタフェース処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理（ＳＴ３０）を情報処理装置に実行させる。更にプログラムグラムは、揺れ変更に関する操作子を提示させるとともに操作子による操作情報を取得するＵＩ処理と、ＵＩ処理で取得された操作情報に基づいて、揺れ変更処理パラメータＰＲＭを設定するパラメータ設定処理、即ち図２９の処理や、図２４，図３５の処理を情報処理装置に実行させる。
即ち実施の形態のプログラムは、動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理（ＳＴ３０）を情報処理装置に実行させる。更にプログラムグラムは、揺れ変更に関する操作子を提示させるとともに操作子による操作情報を取得するＵＩ処理と、ＵＩ処理で取得された操作情報に基づいて、揺れ変更処理パラメータＰＲＭを設定するパラメータ設定処理、即ち図２９の処理や、図２４，図３５の処理を情報処理装置に実行させる。
【0290】
このようなプログラムにより、上述した画像処理装置ＴＤｘ、ＴＤｙを、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。
【0291】
このような画像処理装置ＴＤｘ、ＴＤｙを実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0292】
またこのようなプログラムによれば、実施の形態の画像処理装置ＴＤｘ、ＴＤｙの広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。
【0293】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0294】
なお本技術は以下のような構成も採ることができる。
（１）
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が取得した操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定部と、を備えた
画像処理装置。
（２）
前記ユーザインタフェース処理部は、揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記操作子の操作情報に基づいて揺れ量を調整するパラメータを設定する
上記（１）に記載の画像処理装置。
（３）
前記ユーザインタフェース処理部は、１又は複数の揺れ方向成分について揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記揺れ方向成分の揺れ量の操作情報に基づいて、揺れ方向成分の揺れ量を調整するパラメータを設定する
上記（１）又は（２）に記載の画像処理装置。
（４）
前記揺れ方向成分は、ヨー方向揺れ成分、ロール方向揺れ成分、ピッチ方向揺れ成分の少なくともいずれかを含む
上記（３）に記載の画像処理装置。
（５）
前記ユーザインタフェース処理部は、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記周波数帯の揺れ量の操作情報に基づいて、前記周波数帯の揺れ量を調整するパラメータを設定する
上記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記ユーザインタフェース処理部は、前記周波数帯として、少なくとも低周波数帯域と高周波数帯域の揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記低周波数帯域の揺れ量を調整するパラメータと、前記高周波数帯域の揺れ量を調整するパラメータを設定する
上記（５）に記載の画像処理装置。
（７）
前記ユーザインタフェース処理部は、揺れ波形のプリセットデータの選択操作を可能とし、
前記パラメータ設定部は、プリセットデータの選択操作に応じて画像の揺れを調整するパラメータを設定する
上記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記ユーザインタフェース処理部は、画像の時間軸方向に揺れ成分を示すタイムラインの提示を実行させる
上記（１）から（７）のいずれかに記載の画像処理装置。
（９）
前記ユーザインタフェース処理部は、
ユーザ操作により前記タイムライン上でキーフレームを指定可能とする
上記（８）に記載の画像処理装置。
（１０）
前記ユーザインタフェース処理部は、
ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、
前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして画像を再生させる処理を行う
上記（８）又は（９）に記載の画像処理装置。
（１１）
前記ユーザインタフェース処理部は、
前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして決定した画像区間を、繰り返し再生させる処理を行う
上記（１０）に記載の画像処理装置。
（１２）
前記ユーザインタフェース処理部は、
前記タイムラインに対して、操作により選択されたプリセットデータをアサインする処理を行う
上記（８）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記ユーザインタフェース処理部は、
前記タイムラインに対するプリセットデータのアサインに応じて変化する揺れの状況を提示する処理を行う
上記（１２）に記載の画像処理装置。
（１４）
前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、
前記キーフレームを基準に設定した区間に揺れ変更の操作が反映されるようにする
請求項８に記載の画像処理装置。
上記（８）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記ユーザインタフェース処理部は、
揺れ変更操作にかかる画像の揺れの変更前の状態と変更後の状態を提示させる処理を行う
上記（１）から（１４）のいずれかに記載の画像処理装置。
（１６）
前記揺れ変更部は、
揺れが生じていない入力画像データ又は揺れ低減処理が施された入力画像データに揺れを付加する揺れ変更処理を行う
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記揺れ変更部は、
揺れ成分を含む入力画像データに対し揺れ変更処理を行う
上記（１）から（１６）のいずれかに記載の画像処理装置。
（１８）
前記ユーザインタフェース処理部は、
ユーザの揺れ情報の保存の操作に応じて揺れ情報を記憶させる処理を行う
上記（１）から（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を行う画像処理方法。
（２０）
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を情報処理装置に実行させるプログラム。
（１）
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が取得した操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定部と、を備えた
画像処理装置。
（２）
前記ユーザインタフェース処理部は、揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記操作子の操作情報に基づいて揺れ量を調整するパラメータを設定する
上記（１）に記載の画像処理装置。
（３）
前記ユーザインタフェース処理部は、１又は複数の揺れ方向成分について揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記揺れ方向成分の揺れ量の操作情報に基づいて、揺れ方向成分の揺れ量を調整するパラメータを設定する
上記（１）又は（２）に記載の画像処理装置。
（４）
前記揺れ方向成分は、ヨー方向揺れ成分、ロール方向揺れ成分、ピッチ方向揺れ成分の少なくともいずれかを含む
上記（３）に記載の画像処理装置。
（５）
前記ユーザインタフェース処理部は、１又は複数の揺れの周波数帯について揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記周波数帯の揺れ量の操作情報に基づいて、前記周波数帯の揺れ量を調整するパラメータを設定する
上記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記ユーザインタフェース処理部は、前記周波数帯として、少なくとも低周波数帯域と高周波数帯域の揺れ量を調整する操作子を提示させ、
前記パラメータ設定部は、前記低周波数帯域の揺れ量を調整するパラメータと、前記高周波数帯域の揺れ量を調整するパラメータを設定する
上記（５）に記載の画像処理装置。
（７）
前記ユーザインタフェース処理部は、揺れ波形のプリセットデータの選択操作を可能とし、
前記パラメータ設定部は、プリセットデータの選択操作に応じて画像の揺れを調整するパラメータを設定する
上記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記ユーザインタフェース処理部は、画像の時間軸方向に揺れ成分を示すタイムラインの提示を実行させる
上記（１）から（７）のいずれかに記載の画像処理装置。
（９）
前記ユーザインタフェース処理部は、
ユーザ操作により前記タイムライン上でキーフレームを指定可能とする
上記（８）に記載の画像処理装置。
（１０）
前記ユーザインタフェース処理部は、
ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、
前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして画像を再生させる処理を行う
上記（８）又は（９）に記載の画像処理装置。
（１１）
前記ユーザインタフェース処理部は、
前記タイムライン上でユーザ操作により指定されたキーフレームを基準にして決定した画像区間を、繰り返し再生させる処理を行う
上記（１０）に記載の画像処理装置。
（１２）
前記ユーザインタフェース処理部は、
前記タイムラインに対して、操作により選択されたプリセットデータをアサインする処理を行う
上記（８）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記ユーザインタフェース処理部は、
前記タイムラインに対するプリセットデータのアサインに応じて変化する揺れの状況を提示する処理を行う
上記（１２）に記載の画像処理装置。
（１４）
前記ユーザインタフェース処理部は、ユーザ操作により前記タイムライン上でキーフレームを指定可能とするとともに、
前記キーフレームを基準に設定した区間に揺れ変更の操作が反映されるようにする
請求項８に記載の画像処理装置。
上記（８）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記ユーザインタフェース処理部は、
揺れ変更操作にかかる画像の揺れの変更前の状態と変更後の状態を提示させる処理を行う
上記（１）から（１４）のいずれかに記載の画像処理装置。
（１６）
前記揺れ変更部は、
揺れが生じていない入力画像データ又は揺れ低減処理が施された入力画像データに揺れを付加する揺れ変更処理を行う
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記揺れ変更部は、
揺れ成分を含む入力画像データに対し揺れ変更処理を行う
上記（１）から（１６）のいずれかに記載の画像処理装置。
（１８）
前記ユーザインタフェース処理部は、
ユーザの揺れ情報の保存の操作に応じて揺れ情報を記憶させる処理を行う
上記（１）から（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を行う画像処理方法。
（２０）
動画を構成する入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
揺れ変更に関する操作情報を取得するユーザインタフェース処理と、
前記ユーザインタフェース処理で取得された操作情報に基づいて、前記揺れ変更処理のパラメータを設定するパラメータ設定処理と、
を情報処理装置に実行させるプログラム。
【符号の説明】
【0295】
１ 撮像装置、２ 携帯端末、３ パーソナルコンピュータ、４ サーバ、５ 記録媒体、１１ レンズ系、１２ 撮像素子部、１３ カメラ信号処理部、１４ 記録制御部、１５ 表示部、１６ 出力部、１７ 操作部、１８ カメラ制御部、１９ メモリ部、２２ ドライバ部、２３ センサ部、４１ 低域通過フィルタ、４２ 中域通過フィルタ、４３ 高域通過フィルタ、４４，４５，４６ ゲイン演算部、４７，５７，６１ 合成部、５１ ヨー成分抽出部、５２ ピッチ成分抽出部、５３ ロール成分抽出部、５４，５５，５６ ゲイン演算部、５８，５９，６０ 方向別処理部、７０ 情報処理装置、７１ ＣＰＵ、７２ ＲＯＭ、７３ ＲＡＭ、７４ バス、７５ 入出力インタフェース、７６ 入力部、７７ 表示部、７８ 音声出力部、７９ 記憶部、８０ 通信部、８１ リムーバブル記録媒体、８２ ドライブ、１０１ 揺れ変更部、１０１ａ 揺れ除去部、１０１ｂ 揺れ付加部、１０２ パラメータ設定部、１０３ ＵＩ処理部、１０４ 補正キャンセル部、１１０ レンズ歪み補正前の画像、１１１ レンズ歪み補正後の画像、１２０ 露光タイミング、１３１ 座標平面、１３２ 領域、２００ 揺れ幅調整画像、２１０ プリセットボタン、２１１ プリセットボタン、２５０，２５０Ａ タイムライン、２５１ 画像タイムライン、２５２ 揺れタイムライン、２５３ 音タイムライン、２５４，２５６ プリセットデータ表示、２５７ クロスフェード表示、２６０ 保存ウインドウ、２６１ 確認ウインドウ、２６２ ＯＫボタン、２６３ キャンセルボタン、２７０ 波形モニタ、２７１ 再生表示部、２７２ 再生繰り返し期間指定ボタン、２７３ 繰り返し期間長、２７４ 再生操作部、２７９ 切り替えボタン、２８１ キーフレーム表示、２８２ キーフレーム操作子、２８３ 揺れ波形、ＶＳ 画像ソース、ＴＤｘ 画像処理装置、ＴＤｙ 画像処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】