特許 6873186 情報処理装置、スイッチングシステム、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6873186

(24)【登録日】2021年4月22日

(45)【発行日】2021年5月19日

(54)【発明の名称】情報処理装置、スイッチングシステム、プログラム及び方法

(51)【国際特許分類】

   H04N 5/268 20060101AFI20210510BHJP

   H04N 5/262 20060101ALI20210510BHJP

   H04N 5/232 20060101ALI20210510BHJP

   H04N 5/222 20060101ALI20210510BHJP

   G06T 1/00 20060101ALI20210510BHJP

【ＦＩ】

   H04N5/268

   H04N5/262

   H04N5/232 290

   H04N5/222

   G06T1/00 340B

【請求項の数】13

【全頁数】38

(21)【出願番号】特願2019-92321(P2019-92321)

(22)【出願日】2019年5月15日

(65)【公開番号】特開2020-187592(P2020-187592A)

(43)【公開日】2020年11月19日

【審査請求日】2021年2月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】313000601

【氏名又は名称】日本テレビ放送網株式会社

(74)【代理人】

【識別番号】100079005

【弁理士】

【氏名又は名称】宇高 克己

(74)【代理人】

【識別番号】100154405

【弁理士】

【氏名又は名称】前島 大吾

(74)【代理人】

【識別番号】100201341

【弁理士】

【氏名又は名称】畠山 順一

(72)【発明者】

【氏名】加藤 大樹

(72)【発明者】

【氏名】久野 崇文

(72)【発明者】

【氏名】横山 秀樹

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１５−１３３５４９（ＪＰ，Ａ）

【文献】 特開２００９−２１８８０７（ＪＰ，Ａ）

【文献】 特開２００９−１００３０１（ＪＰ，Ａ）

【文献】 特開２００５−２４４５７２（ＪＰ，Ａ）

【文献】 特開２００５−０６２３２０（ＪＰ，Ａ）

【文献】 特開２００４−２７４４２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６８

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

カメラで撮影された撮影映像を取得する取得部と、
被写体となる特定人物を指定する特定人物指定受付部と、
前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークを指定する仮想カメラワーク指定受付部と、
前記撮影映像中の人物を認識する人物認識部と、
前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定部と、
前記人物認識部の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定部により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定する人物特定部と、
前記仮想カメラワーク毎に、構図が定められた構図情報が格納された構図情報記憶部と、
前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定部と、
前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御部と、
前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング部と
を有する映像処理装置。

【請求項2】

前記仮想カメラワークは、少なくとも所定のアップショット、パン、ティルトを含む
請求項１に記載の映像処理装置。

【請求項3】

前記人物認識部又は前記骨格判定部の少なくともいずれかは、前記撮影映像の解像度よりも低い解像度の映像を用いて、人物を認識し、又は、骨格を判定する
請求項１又は請求項２に記載の映像処理装置。

【請求項4】

前記人物認識部は、前記特定人物の顔の向きを判定し、
前記トリミングフレーム制御部は、前記特定人物の顔の向きを考慮し、トリミングフレームの位置を制御する
請求項１から請求項３のいずれかに記載の映像処理装置。

【請求項5】

前記特定人物の部位の指定を受け付ける部位指定受付部を有する
請求項１から請求項４のいずれかに記載の映像処理装置。

【請求項6】

前記トリミング部から出力された映像を加工し、擬似的なフォーカスイン又はフォーカスアウトの映像を出力する映像加工部を有する
請求項１から請求項５のいずれかに記載の映像処理装置。

【請求項7】

前記仮想カメラワーク映像に重畳する重畳画像を取得する重畳画像取得部と、
前記仮想カメラワーク映像に重畳画像を重畳する重畳部と
を有する請求項１から請求項６のいずれかに記載の映像処理装置。

【請求項8】

少なくとも２以上の映像処理装置と、表示部と、スイッチング部とを有し、
前記映像処理装置は、
カメラで撮影された撮影映像を取得する取得部と、
被写体となる特定人物を指定する特定人物指定受付部と、
前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークを指定する仮想カメラワーク指定受付部と、
前記撮影映像中の人物を認識する人物認識部と、
前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定部と、
前記人物認識部の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定部により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定する人物特定部と、
前記仮想カメラワーク毎に、構図が定められた構図情報が格納された構図情報記憶部と、
前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定部と、
前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御部と、
前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング部と
を有し、
前記表示部は、
前記撮影映像と、少なくとも二以上の前記仮想カメラワーク映像とを表示し、
前記スイッチング部は、
少なくとも二以上の前記仮想カメラワーク映像のうち、ユーザにより指定されたひとつの仮想カメラワーク映像を出力する
スイッチングシステム。

【請求項9】

前記表示部は、ライン映像として出力されている仮想カメラワーク映像と、他の仮想カメラワーク映像とを区別して表示する
請求項８に記載のスイッチングシステム。

【請求項10】

カメラで撮影された撮影映像を取得する取得処理と、
被写体となる特定人物の指定を受付ける特定人物指定受付処理と、
前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付ける仮想カメラワーク指定受付処理と、
前記撮影映像中の人物を認識する人物認識処理と、
前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定処理と、
前記人物認識処理の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定処理により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定する人物特定処理と、
前記特定人物の部位の撮影映像上の位置関係と、前記仮想カメラワーク毎に構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定処理と、
前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御処理と、
前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング処理と
を、コンピュータに実行させるプログラム。

【請求項11】

カメラで撮影された撮影映像を取得する取得処理と、
被写体となる特定人物の指定を受付ける特定人物指定処理と、
前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付ける仮想カメラワーク指定処理と、
前記撮影映像中の人物を認識する人物認識処理と、
前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定処理と、
前記人物認識処理の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定処理により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の全身の撮影映像上の位置関係を特定する人物特定処理と、
前記特定人物の全身の撮影映像上の位置関係と、前記仮想カメラワーク毎に被写体の構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定処理と、
前記特定人物の全身の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御処理と、
前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング処理と、
前記撮影映像と、少なくとも二以上の特定人物又は少なくとも二以上の仮想カメラワークに対応した少なくとも二以上の仮想カメラワーク映像とを、表示する表示処理と
表示されている少なくとも二以上の仮想カメラワーク映像のうち、ユーザにより指定されたひとつの仮想カメラワーク映像を出力するスイッチング処理と
を、コンピュータに実行させるプログラム。

【請求項12】

コンピュータは、
カメラで撮影された撮影映像を取得し、
被写体となる特定人物の指定を受付け、
前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付け、
前記撮影映像中の人物を認識し、
前記撮影映像を用いて、前記映像中の人物の骨格を判定し、
前記人物の認識結果を用いて前記映像中の特定人物を識別し、前記判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定し、
前記特定人物の部位の撮影映像上の位置関係と、前記仮想カメラワーク毎に構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定し、
前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御し、
前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力する
映像処理方法。

【請求項13】

コンピュータは、
カメラで撮影された撮影映像を取得し、
被写体となる特定人物の指定を受付け、
前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付け、
前記撮影映像中の人物を認識し、
前記撮影映像を用いて、前記映像中の人物の骨格を判定し、
前記人物の認識結果を用いて前記映像中の特定人物を識別し、前記判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の全身の撮影映像上の位置関係を特定し、
前記特定人物の全身の撮影映像上の位置関係と、前記仮想カメラワーク毎に被写体の構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定し、
前記特定人物の全身の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御し、
前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力し、
前記撮影映像と、少なくとも二以上の特定人物又は少なくとも二以上の仮想カメラワークに対応した少なくとも二以上の仮想カメラワーク映像とを、表示し、
表示されている少なくとも二以上の仮想カメラワーク映像のうち、ユーザにより指定されたひとつの仮想カメラワーク映像を出力する
スイッチング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、スイッチングシステム、プログラム及び方法に関する。

【背景技術】

【0002】

近年、カメラの高画素化が進み、高画質な４K、８Kなどの映像を取得できるようになってきた。そして、高画質な映像の一部を切り出すことによって、専用の機材を要することなく、アップや、パンやティルト等のカメラワークを模した動画像を生成する技術が提案されている(例えば、特許文献１)。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−２８５３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術は、切り出す被写体を、ユーザが映像中で特定する必要があった。

【0005】

更に、カメラワークによってユーザが自ら切り出す映像のサイズ、位置を指定する必要があり、自動で希望するカメラワークの映像を切り出すことはできなかった。特に、アップの映像といっても、フルショット、バストショット、ウェストショット等の色々なショットがあるが、このような高度なカメラワークを、自動で行うことができなかった。

【0006】

そこで、本発明は、自動的に多種多様なカメラワークの映像を生成することができる情報処理装置、スイッチングシステム、プログラム及び方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一態様は、カメラで撮影された撮影映像を取得する取得部と、被写体となる特定人物を指定する特定人物指定受付部と、前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークを指定する仮想カメラワーク指定受付部と、前記撮影映像中の人物を認識する人物認識部と、前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定部と、前記人物認識部の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定部により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定する人物特定部と、前記仮想カメラワーク毎に、構図が定められた構図情報が格納された構図情報記憶部と、前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定部と、前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御部と、前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング部とを有する映像処理装置である。

【0008】

本発明の一態様は、少なくとも２以上の映像処理装置と、表示部と、スイッチング部とを有し、前記映像処理装置は、カメラで撮影された撮影映像を取得する取得部と、被写体となる特定人物を指定する特定人物指定受付部と、前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークを指定する仮想カメラワーク指定受付部と、前記撮影映像中の人物を認識する人物認識部と、前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定部と、前記人物認識部の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定部により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定する人物特定部と、前記仮想カメラワーク毎に、構図が定められた構図情報が格納された構図情報記憶部と、前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定部と、前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御部と、前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング部とを有し、前記表示部は、前記撮影映像と、少なくとも二以上の前記仮想カメラワーク映像とを表示し、前記スイッチング部は、少なくとも二以上の前記仮想カメラワーク映像のうち、ユーザにより指定されたひとつの仮想カメラワーク映像を出力するスイッチングシステムである。

【0009】

本発明の一態様は、カメラで撮影された撮影映像を取得する取得処理と、被写体となる特定人物の指定を受付ける特定人物指定受付処理と、前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付ける仮想カメラワーク指定受付処理と、前記撮影映像中の人物を認識する人物認識処理と、前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定処理と、前記人物認識処理の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定処理により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定する人物特定処理と、前記特定人物の部位の撮影映像上の位置関係と、前記仮想カメラワーク毎に構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定処理と、前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御処理と、前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング処理とを、コンピュータに実行させるプログラムである。

【0010】

本発明の一態様は、カメラで撮影された撮影映像を取得する取得処理と、被写体となる特定人物の指定を受付ける特定人物指定処理と、前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付ける仮想カメラワーク指定処理と、前記撮影映像中の人物を認識する人物認識処理と、前記撮影映像を用いて、前記映像中の人物の骨格を判定する骨格判定処理と、前記人物認識処理の認識結果を用いて前記映像中の特定人物を識別し、前記骨格判定処理により判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の全身の撮影映像上の位置関係を特定する人物特定処理と、前記特定人物の全身の撮影映像上の位置関係と、前記仮想カメラワーク毎に被写体の構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定するトリミングフレームサイズ決定処理と、前記特定人物の全身の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御するトリミングフレーム制御処理と、前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力するトリミング処理と、前記撮影映像と、少なくとも二以上の特定人物又は少なくとも二以上の仮想カメラワークに対応した少なくとも二以上の仮想カメラワーク映像とを、表示する表示処理と表示されている少なくとも二以上の仮想カメラワーク映像のうち、ユーザにより指定されたひとつの仮想カメラワーク映像を出力するスイッチング処理とを、コンピュータに実行させるプログラム。

【0011】

本発明の一態様は、コンピュータは、カメラで撮影された撮影映像を取得し、被写体となる特定人物の指定を受付け、前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付け、前記撮影映像中の人物を認識し、前記撮影映像を用いて、前記映像中の人物の骨格を判定し、前記人物の認識結果を用いて前記映像中の特定人物を識別し、前記判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の部位の撮影映像上の位置関係を特定し、前記特定人物の部位の撮影映像上の位置関係と、前記仮想カメラワーク毎に構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定し、前記特定人物の部位の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御し、前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力する映像処理方法である。

【0012】

本発明の一態様は、コンピュータは、カメラで撮影された撮影映像を取得し、被写体となる特定人物の指定を受付け、前記撮影映像の一部をトリミングして、仮想的なカメラの操作による映像効果を実現する仮想カメラワークの指定を受付け、前記撮影映像中の人物を認識し、前記撮影映像を用いて、前記映像中の人物の骨格を判定し、前記人物の認識結果を用いて前記映像中の特定人物を識別し、前記判定された骨格のうち前記特定人物の骨格を用いて、前記特定人物の全身の撮影映像上の位置関係を特定し、前記特定人物の全身の撮影映像上の位置関係と、前記仮想カメラワーク毎に被写体の構図が定められた構図情報のうち前記指定された仮想カメラワークに対応する構図情報とを用いて、前記撮影映像の一部をトリミングするトリミングフレームのサイズを決定し、前記特定人物の全身の撮影映像上の位置関係と、前記指定された仮想カメラワークに対応する構図情報とを用いて、前記指定された仮想カメラワークに対応するトリミングフレームの前記撮影映像の位置を制御し、前記撮影映像から前記トリミングフレーム内の映像をトリミングし、トリミングされた映像を、前記仮想カメラワークによる仮想カメラワーク映像として出力し、前記撮影映像と、少なくとも二以上の特定人物又は少なくとも二以上の仮想カメラワークに対応した少なくとも二以上の仮想カメラワーク映像とを、表示し、表示されている少なくとも二以上の仮想カメラワーク映像のうち、ユーザにより指定されたひとつの仮想カメラワーク映像を出力するスイッチング方法である。

【発明の効果】

【0013】

本発明は、自動的に多種多様なカメラワークの映像を生成することができる。

【図面の簡単な説明】

【0014】

【図1】図１は第１の実施の形態の全体の構成を示すブロック図である。

【図2】図２は映像処理装置２のブロック図である。

【図3】図３は顔認識を説明するための図である。

【図4】図４は骨格判定を説明するための図である。

【図5】図５は人物特定部２６による特定人物の部位の撮影映像上の位置関係の特定を説明するための図である。

【図6】図６はコンピュータシステムによって構成された映像処理装置２のブロック図である。

【図7】図７はタブレット端末（コンピュータ１００）の表示部を説明するための図である。

【図8】図８は映像処理装置２の全体的な動作フローチャートであ

【図9】図９は映像処理装置２の全体的な動作を説明するための図である。

【図10】図１０は第１のトリミングフレームを説明するための図である。

【図11】図１１は第２のトリミングフレームを説明するための図である。

【図12】図１２は第３のトリミングフレームを説明するための図である。

【図13】図１３は第４のトリミングフレームを説明するための図である。

【図14】図１４は第１の実施の形態の動作を説明するための図である。

【図15】図１５は第１の実施の形態の動作を説明するための図である。

【図16】図１６は第１の実施の形態の動作を説明するための図である。

【図17】図１７は第１の実施の形態の動作を説明するための図である。

【図18】図１８は第１の実施の形態の動作を説明するための図である。

【図19】図１９は第１の実施の形態の動作を説明するための図である。

【図20】図２０は第１の実施の形態の動作を説明するための図である。

【図21】図２１は第１の実施の形態の動作を説明するための図である。

【図22】図２２は第１の実施の形態の動作を説明するための図である。

【図23】図２３は第１の実施の形態の動作を説明するための図である。

【図24】図２４は第１の実施の形態の動作を説明するための図である。

【図25】図２５は第１の実施の形態の動作を説明するための図である。

【図26】図２６は第１の実施の形態の動作を説明するための図である。

【図27】図２７は第１の実施の形態の動作を説明するための図である。

【図28】図２８は第１の実施の形態の変形例の動作を説明するための図である。

【図29】図２９は第１の実施の形態の変形例の動作を説明するための図である。

【図30】図３０は第１の実施の形態の変形例を説明するための図である。

【図31】図３１は第１の実施の形態の変形例の動作を説明するための図である。

【図32】図３２は第１の実施の形態の変形例の動作を説明するための図である。

【図33】図３３は第１の実施の形態の変形例の情報処理装置２のブロック図である。

【図34】図３４は第２の実施の形態の情報処理装置２のブロック図である。

【図35】図３５は第２の実施の形態の動作を説明するための図である。

【図36】図３６は第２の実施の形態の動作を説明するための図である。

【図37】図３７は第２の実施の形態の動作を説明するための図である。

【図38】図３８は第３の実施の形態のスイッチングシステムのブロック図である。

【図39】図３９は第３の実施の形態の動作を説明するための図である。

【図40】図４０は第３の実施の形態の動作を説明するための図である。

【図41】図４１は第３の実施の形態の動作を説明するための図である。

【発明を実施するための形態】

【0015】

＜第１の実施の形態＞
第１の実施の形態を説明する。

【0016】

図１は第１の実施の形態の全体の構成を示すブロック図である。図１中、１はカメラ、２は映像処理装置、３は表示装置である。

【0017】

カメラ１は、番組を撮影するカメラである。カメラ１は、原則１台で、被写体(例えば、番組の出演者)全員が写るような広い画角で、番組を撮影する。本実施の形態は、後述するように、カメラ１が撮影した映像（以下、撮影映像と記載する）の一部をトリミングすることにより、仮想的なカメラワークの映像を生成するため、カメラ１は高画質な映像が撮影できる４Ｋ又は８Ｋのカメラが好ましいが、これらに限定されるものではない。

【0018】

映像処理装置２は、カメラ１の撮影映像を入力し、被写体に対してユーザが指定するカメラワーク（以下、仮想カメラワークと記載する）を行った場合に得られる映像(以下、仮想カメラワーク映像と記載する)を出力する。仮想カメラワークは、仮想的なカメラの操作によって得られる映像効果(例えば、映像の構図、画角を変化させる)を実現するものであり、例えば、アップショット、バストショット、ウェストショット、フルショット、パン（左右）、ティルト（上下）、ロール、ズームイン、ズームアウトなどがある。仮想カメラワーク映像は、被写体に対する仮想カメラワークを指定することによりその仮想カメラワークに対応する映像を、入力された撮影映像からトリミング(切り出す)することにより得られる映像である。

【0019】

表示装置３は、撮影映像と、映像処理装置２から出力される仮想カメラワーク映像とが出力されるディスプレイである。しかし、表示装置３は、表示機能のみならず、タブレット端末のように、タッチパネルの機能を持つディスプレイであっても良い。

【0020】

次に、映像処理装置２を説明する。図２は映像処理装置２のブロック図である。

【0021】

映像処理装置２は、撮影映像入力部２０と、特定人物指定受付部２１と、仮想カメラワーク指定受付部２２と、顔画像辞書部２３と、顔認識部２４と、骨格判定部２５と、人物特定部２６と、構図データベース２７と、トリミングフレームサイズ決定部２８と、トリミング制御部２９と、トリミング部３０とを備える。

【0022】

撮影映像入力部２０は、カメラ１が撮影した撮影映像を入力するものである。

【0023】

特定人物指定受付部２１は、仮想カメラワークの被写体となる人物の指定を、ユーザから受け付けるものである。特定人物指定受付部２１は、例えば、タッチ操作パッド、マウス、キーボードといった直接ユーザが指で操作する素子はもちろん、ユーザの音声を取得するマイクや、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。

【0024】

仮想カメラワークの被写体の人物は、撮影映像に写っている人物であれば良い。また、仮想カメラワークの被写体となる人物(以下、特定人物と記載する)の指定は、特定人物の氏名を直接に入力して指定する方法、予め用意されている氏名から選択して指定する方法、音声入力によって特定人物を指定する方法、表示されている撮影映像中の人物をタッチパネル等の入力手段により選択して指定する方法等があるが、これらには限られない。

【0025】

仮想カメラワーク指定受付部２２は、仮想カメラワークの指定を、ユーザから受け付けるものである。仮想カメラワーク指定受付部２２は、例えば、タッチ操作パッド、マウス、キーボードといった直接ユーザが指で操作する素子はもちろん、ユーザの音声を取得するマイクや、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。

【0026】

仮想カメラワークの指定は、カメラワークの種類を直接入力して指定する方法、予め用意されているカメラワークから選択して指定する方法、音声入力によってカメラワークを指定する方法等があるが、これらには限られない。

【0027】

顔画像辞書部２３は、カメラ１で撮影される被写体の顔の画像データ、例えば、番組の出演者の顔の画像データが登録された記憶部である。画像データは、被写体の顔の特徴量のデータ等である。

【0028】

顔認識部２４は、顔認識辞書２３を用いて、撮影映像中の人物を認識するものである。認識方法の種類は問わないが、パターンマッチングによる方法、機械学習して得られたアルゴリズムによる認識などがある。機械学習の方法は、深層学習（ディープラーニング）が代表的なものであるが、これに限られない。顔認識部２４は、これらの方法用いて、撮影映像中の人物を認識する。具体的に説明すると、図３に示すような三人の出演者が映った撮影映像の場合、三人の出演者の顔を認識する。図３の例では、撮影映像中の人物Ａ、人物Ｂ、人物Ｃが認識されている。

【0029】

骨格判定部２５は、撮影映像中に写っている人物の骨格を判定する。骨格判定の手法は、例えば、OpenPose、VisionPose、tf-pose-estimation等があるが、これらに限られない。骨格判定部２５は、例えば、図４に示すような三人の出演者が映った撮影映像の場合、三人の出演者の骨格を判定する。

【0030】

人物特定部２６は、特定人物指定受付部２１で受け付けた特定人物を、顔認識部２４の結果を用いて撮影映像から特定し、その特定人物の骨格判定部２５による骨格判定の結果を用いて、特定人物の部位の撮影映像上の位置関係を特定する。

【0031】

人物特定部２６による特定人物の部位の撮影映像上の位置関係の特定について説明する。図５は人物特定部２６による特定人物の部位の撮影映像上の位置関係の特定を説明するための図である。図５は特定人物が人物Ｂの場合を示しており、人物Ｂの部位の骨格判定の結果を示している。図５では、骨格の頂点から足の骨格の最下部までを人物Ｂの縦方向の全身としている。また、縦方向のうち、骨格の頂点から骨格の首部までを縦方向の人物Ｂの顔としている。また、縦方向のうち、骨格の首部から骨格の股関節に対応する部分までを人物Ｂの上半身としている。また、縦方向のうち、骨格の股関節に対応する部分から足の先端部までを人物Ｂの下半身としている。また、骨格が横方向に占める最大の範囲を人物Ｂの全身の横幅としている。また、顔の骨格のうち横方向に占める最大の範囲を人物Ｂの顔の横幅としている。また、縦方向の右手先から右腕の肘関節までの長さを縦右前腕部の長さとしている。横方向の右手先から右腕の肘関節までの長さを横右前腕部の長さとしている。また、縦方向の左手先から左腕の肘関節までの長さを縦左前腕部の長さとしている。横方向の左手先から左腕の肘関節までの長さを横左前腕部の長さとしている。また、骨格の首部を通る垂線を、人物Ｂの骨格中心線としている。そして、人物特定部２６は、特定人物の各部位の位置及び長さを、撮影映像の画素位置に対応させて特定する。以上の人物特定部２６による特定人物の部位の判定は一例であり、適時、判定する部位を変更しても良い。

【0032】

尚、顔認識部２４、骨格判定部２５及び人物特定部２６による処理に用いる画像は、かならずしも撮影映像である必要はない。撮影映像よりも解像度の低い映像を用いることも可能である。撮影映像よりも解像度の低い映像を用いることにより、顔認識部２４、骨格判定部２５及び人物特定部２６の処理速度が速くなるという効果を得られる。

【0033】

構図データベース２７は、仮想カメラワークの種類毎の構図情報が記憶されたデータベースである。構図情報は、被写体をどのような構図で映すかの情報である。具体的には、構図情報は、被写体フレームの大きさ（例えば、縦又は横の長さ）、使用するトリミングフレームの種類、トリミングフレームの位置（例えば、骨格中心線との位置関係）、トリミングフレームの移動の制御情報等がある。

【0034】

トリミングフレームサイズ決定部２８は、指定された仮想カメラワークと、特定人物の骨格と、構図データベース２７の構図情報とから、撮影映像から被写体を切り出す（トリミング）ためのトリミングフレームのサイズを決定する。

【0035】

トリミング制御部２９は、トリミングフレームサイズ決定部２８により決定されたサイズのトリミングフレームの映像上の位置を制御する。

【0036】

トリミング部３０は、撮影映像から、トリミング制御部２９により制御されて映像上の所定の位置に配置されたトリミングフレーム内の映像をトリミングする。

【0037】

上述した映像処理装置２は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することができる。図６はコンピュータシステムによって構成された映像処理装置２のブロック図である。

【0038】

映像処理装置２は、図６に示す如く、プロセッサ１０１、メモリ（ＲＯＭやＲＡＭ）１０２、記憶装置（ハードディスク、半導体ディスクなど）１０３、入力装置（キーボード、マウス、タッチパネルなど）１０４、通信装置１０５を有するコンピュータ１００により構成することができる。

【0039】

映像処理装置２は、記憶装置１０３に格納されたプログラムがメモリ１０２にロードされ、プロセッサ１０１により実行されることにより、撮影映像入力処理１１０、特定人物指定受付処理１１１、仮想カメラワーク指定受付処理１１２、顔認識処理１１３、骨格判定処理１１４、人物特定処理１１５、トリミングフレームサイズ決定処理１１６、トリミング制御処理１１７及びトリミング処理１１８が実現されるものである。ここで、撮影映像入力処理１１０は撮影映像入力部２０に対応し、特定人物指定受付処理１１１は特定人物指定受付部２１に対応し、仮想カメラワーク指定受付処理１１２は仮想カメラワーク指定受付部２２に対応し、顔認識処理１１３は顔認識部２４に対応し、骨格判定処理１１４は骨格判定部２５に対応し、人物特定処理１１５は人物特定部２６に対応し、トリミングフレームサイズ決定処理１１６はトリミングフレームサイズ決定部２８に対応し、トリミング制御処理１１７はトリミング制御部２９に対応し、トリミング処理１１８はトリミング部３０に対応する。また、顔画像辞書部２３及び構図データベース２７は、記憶装置１０３に対応する。尚、顔画像辞書部２３及び構図データベース２７は、コンピュータ１００と物理的に外部に設けられ、ＬＡＮ等のネットワークを介してコンピュータ１００と接続されていても良い。

【0040】

次に、第１の実施の形態における映像処理装置２の動作を説明する。

【0041】

まず、映像処理装置２の全体の動作を説明する。

【0042】

以下の説明では、情報処理装置２と表示装置３とが一体に構成されたタブレット端末（コンピュータ１００）を想定して説明する。そして、タブレット端末（コンピュータ１００）の表示部（表示装置３）には、図７に示す如く、撮影映像が表示される表示部４０と、仮想カメラワーク映像が表示される表示部４１と、仮想カメラワークを指定する仮想カメラワーク指定受付部４２（仮想カメラワーク指定受付部２２）と、被写体となる特定人物を指定する特定人物指定受付部４３（特定人物指定受付部２１）とが表示されるものとする。尚、指定できる仮想カメラワークは、ロングショット、アップショット、バストショット、ウェストショット、ティルトアップ、ティルトダウン、パンである。また、特定人物指定受付部４３（特定人物指定受付部２１）は、顔認識部２４により認識された人物の名前が表示されるものとする。尚、人物の名前に代えて又は加えて、顔認識部２４により認識された人物の顔を表示しても良い。

【0043】

図８は映像処理装置２の全体的な動作フローチャートであり、図９は映像処理装置２の全体的な動作を説明するための図である。

【0044】

撮影映像入力部２０は撮影映像を入力する（Ｓｔｅｐ１）。入力された撮影映像は、表示部４０に表示される。

【0045】

顔認識部２４は、撮影映像上の人物を認識する（Ｓｔｅｐ２）。図９の例では、人物Ａ、人物Ｂ及び人物Ｃが認識され、その結果として、図９の例では、特定人物指定部４３として、認識された人物Ａ、人物Ｂ及び人物Ｃが表示されている。

【0046】

骨格判定部２５は、撮影映像上の人物の骨格を判定する（Ｓｔｅｐ３）。図９の例では、人物Ａ、人物Ｂ及び人物Ｃの骨格を判定している。

【0047】

ユーザは、表示部４０に表示されている撮影映像を見ながら、特定人物指定受付部４３に表示されている人物をタッチすることにより、被写体となる特定人物を指定する（Ｓｔｅｐ４）。

【0048】

人物特定部２６は、指定された特定人物を認識された人物から特定し、特定人物の部位の撮影映像における長さ、位置を判定する（Ｓｔｅｐ５）。

【0049】

ユーザは、仮想カメラワークを、仮想カメラワーク指定受付部４２に表示されている仮想カメラワークのいずれかをタッチすることにより、仮想カメラワークを指定する（Ｓｔｅｐ６）。

【0050】

トリミングフレームサイズ決定部２８は、構図データベース２７から指定された仮想カメラワークの構図情報を読み出し、構図情報及び特定人物の部位の撮影映像における長さ、位置を用いて、トリミングフレームサイズを決定する（Ｓｔｅｐ７）。

【0051】

トリミング制御部２９は、仮想カメラワークの構図情報を読み出し、構図情報及び特定人物の部位の撮影映像における長さ、位置を用いて、トリミングフレームサイズ決定部２８で決定されたトリミングフレームの撮影映像上における位置を制御する（Ｓｔｅｐ８）。

【0052】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし（Ｓｔｅｐ９）、トリミングした映像を仮想カメラワーク映像として出力し、表示部４１に表示する（Ｓｔｅｐ１０）。

【0053】

以上が、映像処理装置２の概略の動作である。

【0054】

次に、トリミングフレームサイズ決定部２８、トリミング制御部２９、トリミング部３０の具体的な動作を説明する。

【0055】

具体的な動作の説明に先立って、トリミングに使用されるトリミングフレームについて説明する。第１の実施の形態では、以下の第１のトリミングフレーム、第２のトリミングフレーム、第３のトリミングフレーム及び第４のトリミングフレームが用いられる。

【0056】

（１）第１のトリミングフレーム
第１のトリミングフレームは、アップショット、バストショット、ウェストショット等に用いられ、フレームの下部にマージン（余白）を取る必要がない仮想カメラワークに用いられる。具体的な第１のトリミングフレームを、図１０に示す。第１のトリミングフレームの特徴は以下の通りである。
・アスペクト比： １６：９
・上部マージン： 縦のフレーム長に対して、０．１から０．１５倍の長さ（好ましくは、０．１５倍の長さ）
・左右部マージン： 横のフレーム長に対して、０．０５から０．１倍の長さ（好ましくは、０．１倍の長さ）
・下部マージン： なし
（２）第２のトリミングフレーム
第２のトリミングフレームは、ロングショット等に用いられ、フレームの上下左右にマージン（余白）を取る必要がある仮想カメラワークに用いられる。具体的な第２のトリミングフレームを、図１１に示す。第２のトリミングフレームの特徴は以下の通りである。
・アスペクト比： １６：９
・上部マージン： 縦のフレーム長に対して、０．１から０．１５倍の長さ（好ましくは、０．１５倍の長さ）
・左右部マージン： 縦のフレーム長に対して、０．０５から０．１倍の長さ（好ましくは、０．１倍の長さ）
・下部マージン： 縦のフレーム長に対して、０．０．５から０．１倍の長さ（好ましくは、０．１倍の長さ）
（３）第３のトリミングフレーム
第３のトリミングフレームは、ティルトアップ又はティルトダウン等の最初又は最後のフレームに用いられ、フレームの上部にマージン（余白）を取る必要がない仮想カメラワークに用いられる。具体的な第３のトリミングフレームを、図１２に示す。第３のトリミングフレームの特徴は以下の通りである。
・アスペクト比： １６：９
・上部マージン： なし
・左右部マージン： 横のフレーム長に対して、０．０５から０．１倍の長さ（好ましくは、０．１倍の長さ）
・下部マージン： 縦のフレーム長に対して、０．２から０．２５倍の長さ（好ましくは、０．２５倍の長さ）
（４）第４のトリミングフレーム
第４のトリミングフレームは、ティルトアップ、ティルトダウンの途中のフレームに用いられ、フレームの上下部にマージン（余白）を取る必要がない仮想カメラワークに用いられる。具体的な第４のトリミングフレームを、図１３に示す。第４のトリミングフレームの特徴は以下の通りである。
・アスペクト比： １６：９
・上部マージン： なし
・左右部マージン： 横のフレーム長に対して、０．０５から０．１倍の長さ（好ましくは、０．１倍の長さ）
・下部マージン： なし
第１のトリミングフレーム、第２のトリミングフレーム、第３のトリミングフレーム及び第４のトリミングフレームの特徴は、トリミングフレームサイズ決定部２８に設定されている。

【0057】

次に、具体的な仮想カメラワークを想定したトリミングフレームサイズ決定部２８、トリミング制御部２９、トリミング部３０の動作を説明する。

【0058】

１．特定人物が「人物Ａ（一人）」であり、仮想カメラワークが「アップショット」の場合の具体的な動作
以下の説明では、映像処理装置２には、図１４に示すような撮影映像が入力されており、特定人物指定受付部２１が受け付けた特定人物（仮想カメラワークの被写体）が「人物Ａ」であり、仮想カメラワーク指定受付部２２により指定された仮想カメラワークが「アップショット」である場合を説明する。また、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0059】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図１５に示すように撮影映像から「人物Ａ」の骨格を判定する。また、「人物Ａ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0060】

トリミングフレームサイズ決定部２８は、特定人物が「一人」であり、仮想カメラワークが「アップショット」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される「アップショット」に対応する構図情報は、以下の通りである。
・顔の縦方向の長さを１としたとき、被写体フレームの縦方向の長さを１．１倍とする。
・トリミングフレームは第１のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0061】

トリミングフレームサイズ決定部２８は、人物Ａの骨格より、顔の縦方向の長さを計算する。そして、図１５に示すように、縦方向の長さが、顔の長さの１．１倍の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の顔の骨格の頂点に位置し、かつ、縦方向の中心線と骨格中心線とが一致する位置に、仮フレームを設置する。

【0062】

次に、トリミングフレームサイズ決定部２８は、図１５に示すように、仮フレームの縦方向の長さをかえずに、横方向の人物Ａの骨格の最大範囲となるように横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0063】

トリミングフレームサイズ決定部２８は、図１５に示すように、構図情報を満足するように、第１のトリミングフレームのサイズを調整する。第１のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図１６に示すように、トリミングフレームのサイズを決定する。

【0064】

トリミング制御部２９は、特定人物が「一人」であり、仮想カメラワークが「アップショット」に対応する構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・トリミングフレームを、トリミングフレームの縦方向の中心線と被写体の縦方向の骨格中心線とが一致するように配置する。

【0065】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図１６に示すように、撮影映像上に配置する。

【0066】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、その移動に伴い骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0067】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図１６に示されるように、指定された仮想カメラワークである「人物Ａ」の「アップショット」の映像として出力する。また、タブレット端末（コンピュータ１００）の表示部４１に仮想カメラワーク映像が表示されている状態を、図１７に示す。

【0068】

２．特定人物が「人物Ａ（一人）」であり、仮想カメラワークが「ウェストショット」の場合の具体的な動作
以下の説明では、映像処理装置２には、図１４に示すような撮影映像が入力されており、特定人物指定受付部２１が受け付けた特定人物（仮想カメラワークの被写体）が「人物Ａ」であり、仮想カメラワーク指定受付部２２により指定された仮想カメラワークが「ウェストショット」である場合を説明する。また、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0069】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図１５に示すように撮影映像から「人物Ａ」の骨格を特定する。また、「人物Ａ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0070】

トリミングフレームサイズ決定部２８は、特定人物が「一人」であり、仮想カメラワークが「ウェストショット」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される「ウェストショット」に対応する構図情報は、以下の通りである。
・顔の長さを１としたとき、被写体フレームの縦方向の長さを１．７倍とする。
・トリミングフレームは第１のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0071】

トリミングフレームサイズ決定部２８は、人物Ａの骨格より、顔の縦方向の長さを計算する。そして、図１８に示すように、縦方向の長さが、顔の長さの１．７倍の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の顔の骨格の頂点に位置し、かつ、縦方向の中心線と骨格中心線とが一致する位置に、仮フレームを設置する。

【0072】

次に、トリミングフレームサイズ決定部２８は、図１８に示すように、仮フレームの縦方向の長さをかえずに、横方向の人物Ａの骨格の最大範囲となるように横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0073】

トリミングフレームサイズ決定部２８は、図１８に示すように、構図情報を満足するように、第１のトリミングフレームのサイズを調整する。第１のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図１８に示すように、トリミングフレームのサイズを決定する。

【0074】

トリミング制御部２９は、特定人物が「一人」であり、仮想カメラワークが「ウェストショット」に対応する構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・トリミングフレームを、トリミングフレームの縦方向の中心線と被写体の縦方向の骨格中心線とが一致するように配置する。

【0075】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図１９に示すように、撮影映像上に配置する。

【0076】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0077】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図１９に示されるように、指定された仮想カメラワークである「人物Ａ」の「ウェストショット」の映像として出力する。尚、タブレット端末（コンピュータ１００）の表示部４１に仮想カメラワーク映像が表示されている状態は、仮想カメラワーク映像が「人物Ａ」の「ウェストショット」の映像となるだけなので、省略する。

【0078】

３．仮想カメラワークが「人物Ａ（一人）」の「フルショット」の場合の具体的な動作
以下の説明では、映像処理装置２には、図１４に示すような撮影映像が入力されており、特定人物指定受付部２１が受け付けた特定人物（仮想カメラワークの被写体）が「人物Ａ」であり、仮想カメラワーク指定受付部２２により指定された仮想カメラワークが「フルショット」である場合を説明する。また、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0079】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図１５に示すように撮影映像から「人物Ａ」の骨格を特定する。また、「人物Ａ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0080】

トリミングフレームサイズ決定部２８は、特定人物が「一人」であり、仮想カメラワークが「フルショット」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・特定人物の骨格の縦方向の長さ（全身）を、被写体フレームの縦方向の長さとする。
・トリミングフレームは第２のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0081】

トリミングフレームサイズ決定部２８は、人物Ａの骨格より、骨格の縦方向の長さ（全身）を計算する。そして、図２０に示すように、縦方向の長さが、人物Ａの縦方向の骨格の長さと同一の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の骨格の最上部の頂点に位置し、かつ、縦方向の中心線と骨格の中心線とが一致する位置に、仮フレームを設置する。

【0082】

次に、トリミングフレームサイズ決定部２８は、図２０に示すように、仮フレームの縦方向の長さをかえずに、人物Ａの骨格が入る最大の範囲となるように、横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0083】

トリミングフレームサイズ決定部２８は、図２０に示すように、構図情報を満足するように、第２のトリミングフレームのサイズを調整する。第２のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第２のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図２１に示すように、トリミングフレームのサイズを決定する。

【0084】

トリミング制御部２９は、特定人物が「一人」であり、仮想カメラワークが「フルショット」に対応する構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・トリミングフレームを、トリミングフレームの縦方向の中心線と被写体の縦方向の骨格中心線とが一致するように配置する。

【0085】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図２１に示すように、撮影映像上に配置する。

【0086】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0087】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図２１に示されるように、指定された仮想カメラワークである「人物Ａ」の「フルショット」の映像として出力する。尚、タブレット端末（コンピュータ１００）の表示部４１に仮想カメラワーク映像が表示されている状態は、仮想カメラワーク映像が「人物Ａ」の「フルショット」の映像となるだけなので、省略する。

【0088】

４．仮想カメラワークが「人物Ａ、人物Ｂ（二人）」の「フルショット」の場合の具体的な動作
以下の説明では、映像処理装置２には、図１４に示すような撮影映像が入力されており、特定人物指定受付部２１が受け付けた特定人物（仮想カメラワークの被写体）が「人物Ａ、人物Ｂ（二人）」であり、仮想カメラワーク指定受付部２２により指定された仮想カメラワークが「フルショット」である場合を説明する。また、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0089】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図２２に示すように撮影映像から「人物Ａ」及び「人物Ｂ」の骨格を特定する。また、「人物Ａ」及び「人物Ｂ」」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0090】

トリミングフレームサイズ決定部２８は、特定人物がが「二人」であり、仮想カメラワークである「フルショット」に対応する構図情報のうち縦方向の構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・全ての特定人物の骨格の縦方向が入る長さを、被写体フレームの縦方向の長さとする。
・被写体フレームの縦方向の中心線は、二人の人物の骨格中心線の真ん中に位置する。
・トリミングフレームは第２のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0091】

トリミングフレームサイズ決定部２８は、「人物Ａ」及び「人物Ｂ」の骨格より、骨格の縦方向の長さを計算する。そして、図２２に示すように、縦方向の長さが、「人物Ａ」及び「人物Ｂ」の縦方向の骨格が全て入る長さと同一の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の骨格の最上部の頂点に位置し、かつ、縦方向の中心線が二人の骨格中心線との真ん中となる位置に、仮フレームを設置する。

【0092】

次に、トリミングフレームサイズ決定部２８は、図２２に示すように、フレームの縦方向の長さをかえずに、人物Ａ及び人物Ｂの骨格が入る最大の範囲となるように、横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0093】

トリミングフレームサイズ決定部２８は、図２２に示すように、構図情報を満足するように、第２のトリミングフレームのサイズを調整する。第２のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第２のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図２３に示すように、トリミングフレームのサイズを決定する。

【0094】

トリミング制御部２９は、特定人物がが「二人」であり、仮想カメラワークである「フルショット」に対応する構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・トリミングフレームを、トリミングフレームの縦方向の中心線が二人の骨格中心線の真ん中に位置するように配置する。

【0095】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図２３に示すように、撮影映像上に配置する。

【0096】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0097】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図２３に示すように、指定された仮想カメラワークである「人物Ａ、人物Ｂ（二人）」の「フルショット」の映像として出力する。尚、タブレット端末（コンピュータ１００）の表示部４１に仮想カメラワーク映像が表示されている状態は、仮想カメラワーク映像が「人物Ａ、人物Ｂ（二人）」の「フルショット」の映像となるだけなので、省略する。

【0098】

５．仮想カメラワークが「人物Ｃ（一人）」の「ティルトアップ」の場合の具体的な動作
以下の説明では、映像処理装置２には、図１４に示すような撮影映像が入力されており、特定人物指定受付部２１が受け付けた特定人物（仮想カメラワークの被写体）が「人物Ｃ」であり、仮想カメラワーク指定受付部２２により指定された仮想カメラワークが「ティルトアップ」である場合を説明する。また、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0099】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図２４に示すように撮影映像から「人物Ｃ」の骨格を特定する。また、「人物Ｃ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0100】

トリミングフレームサイズ決定部２８は、特定人物が「一人」であり、仮想カメラワークである「ティルトアップ」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・顔の縦方向の長さを１としたとき、被写体フレームの縦方向の長さを１．１倍とする。
・被写体フレームの縦方向の長さは、人物の全身の横幅（人物の骨格が横方向に占める最大の範囲）とする。
・仮想カメラワークの開始時に使用するフレームは、第３のトリミングフレームを使用する。
・仮想カメラワークの終了時に使用するフレームは、第１のトリミングフレームを使用する。
・仮想カメラワークの開始時及び終了時に使用するフレームは、第４のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0101】

トリミングフレームサイズ決定部２８は、人物Ｃの骨格より、横方向の横幅の長さを計算する。そして、図２４に示すように、横幅が人物Ｃの横幅であり、人物Ｃの骨格中心線と被写体フレームの中心線とが一致するように仮フレームを決定する。更に、トリミングフレームサイズ決定部２８は、仮フレームの縦方向の長さが、顔の長さの１．１倍の長さとする被写体フレームを生成する。

【0102】

トリミングフレームサイズ決定部２８は、図２４に示すように、構図情報を満足するように、第１のトリミングフレームを調整する。第１のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。第３及び第４のトリミングフレームの横幅については、サイズの調整後の第１のトリミングフレームの横幅と同じ大きさとする。このようにして、トリミングフレームサイズ決定部２８は、図２４に示すように、トリミングフレームのサイズを決定する。

【0103】

トリミング制御部２９は、特定人物が「一人」であり、仮想カメラワークである「ティルトアップ」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・仮想カメラワークの開始時に使用するフレームは、第３のトリミングフレームを使用する。
・仮想カメラワークの終了時に使用するフレームは、第１のトリミングフレームを使用する。
・仮想カメラワークの開始時及び終了時に使用するフレームは、第４のトリミングフレームを使用する。
・トリミングフレームを、トリミングフレームの縦方向の中心線と人物の縦方向の骨格中心線とが一致するように配置する。
・仮想カメラワークの開始時に使用するフレームを１秒静止後、人物の骨格中心線に沿ってスプライン（最初と最後はゆっくり動き途中は速い動き）に移動する。
・仮想カメラワークの終了時に使用するフレームは静止を維持する。

【0104】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図２１に示すように、撮影映像上に配置する。

【0105】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0106】

トリミング部３０は、撮影映像から移動するトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図２５に示されるように、指定された仮想カメラワークである「人物Ｃ」の「ティルトアップ」の映像として出力する。尚、タブレット端末（コンピュータ１００）の表示部４１に仮想カメラワーク映像が表示されている状態は、仮想カメラワーク映像が仮想カメラワークである「人物Ｃ」の「ティルトアップ」の映像となるだけなので、省略する。

【0107】

６．仮想カメラワークが「パン」の場合の具体的な動作
以下の説明では、映像処理装置２には、図１４に示すような撮影映像が入力されており、「人物Ａ」から「人物B」に、アップショットでパンする場合を説明する。尚、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0108】

仮想カメラワークが「パン」の場合は、始点と終点とを指定する必要がある。始点及び終点の指定内容は、被写体となる特定人物とショット(ロングショット、アップショット、バストショット、ウェストショット)である。本例では、始点は「人物Ａ」のアップショットであるので、仮想カメラワーク指定受付部４２（仮想カメラワーク指定受付部２２）の「Pan(パン)」をタッチした後に始点をタッチし、「Up(アップショット)」をタッチする。続けて、特定人物指定受付部４３（特定人物指定受付部２１）の「人物Ａ」をタッチする。次に、終点は「人物Ｂ」のアップショットであるので、仮想カメラワーク指定受付部４２（仮想カメラワーク指定受付部２２）の「Pan(パン)」をタッチした後に終点をタッチし、「Up(アップショット)」をタッチする。続けて、特定人物指定受付部４３（特定人物指定受付部２１）の「人物Ｂ」をタッチする。これにより、「パン」の始点と終点とを指定する。

【0109】

まず、始点の「人物Ａ」について、人物特定部２６及びトリミングフレームサイズ決定部２８は以下のように動作する。

【0110】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図１５に示すように撮影映像から「人物Ａ」の骨格を判定する。また、「人物Ａ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0111】

トリミングフレームサイズ決定部２８は、始点の特定人物が「一人」であり、始点のショットが「アップショット」に対応する仮想カメラワーク「パン」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・顔の縦方向の長さを１としたとき、被写体フレームの縦方向の長さを１．１倍とする。
・トリミングフレームは第１のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0112】

トリミングフレームサイズ決定部２８は、人物Ａの骨格より、顔の縦方向の長さを計算する。そして、図１５に示すように、縦方向の長さが、顔の長さの１．１倍の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の顔の骨格の頂点に位置し、かつ、縦方向の中心線と骨格中心線とが一致する位置に、仮フレームを設置する。

【0113】

次に、トリミングフレームサイズ決定部２８は、図１５に示すように、仮フレームの縦方向の長さをかえずに、横方向の人物Ａの骨格の最大範囲となるように横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0114】

トリミングフレームサイズ決定部２８は、図１５に示すように、構図情報を満足するように、第１のトリミングフレームのサイズを調整する。第１のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図１６に示すように、トリミングフレームのサイズを決定する。

【0115】

次に、終点の「人物Ｂ」について、人物特定部２６及びトリミングフレームサイズ決定部２８は以下のように動作する。

【0116】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図２６に示すように撮影映像から「人物Ｂ」の骨格を判定する。また、「人物Ｂ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0117】

トリミングフレームサイズ決定部２８は、終点の特定人物が「一人」であり、終点のショットが「アップショット」に対応する仮想カメラワーク「パン」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・顔の縦方向の長さを１としたとき、被写体フレームの縦方向の長さを１．１倍とする。
・トリミングフレームは第１のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0118】

トリミングフレームサイズ決定部２８は、人物Ｂの骨格より、顔の縦方向の長さを計算する。そして、図２６に示すように、縦方向の長さが、顔の長さの１．１倍の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の顔の骨格の頂点に位置し、かつ、縦方向の中心線と骨格中心線とが一致する位置に、仮フレームを設置する。

【0119】

次に、トリミングフレームサイズ決定部２８は、図２６に示すように、仮フレームの縦方向の長さをかえずに、横方向の人物Ａの骨格の最大範囲となるように横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0120】

トリミングフレームサイズ決定部２８は、図２６に示すように、構図情報を満足するように、第１のトリミングフレームのサイズを調整する。第１のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図２６に示すように、トリミングフレームのサイズを決定する。

【0121】

始点及び終点のトリミングフレームのサイズが決定すると、トリミング制御部２９は、始点及び終点の特定人物が「一人」であり、始点及び終点のショットが「アップショット」に対応する仮想カメラワーク「パン」の構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・始点時に指定された特定人物のトリミングフレームを、トリミングフレームの縦方向の中心線と、始点時に指定された特定人物の縦方向の骨格中心線とが一致するように配置する。
・終点時に指定された特定人物のトリミングフレームを、トリミングフレームの縦方向の中心線と、終点時時に指定された特定人物の縦方向の骨格中心線とが一致するように配置する。
・始点時から終点時直前のトリミングフレームは、始点時に使用されるトリミングフレームを使用する。
・終点時は、終点時に指定された特定人物のトリミングフレームを使用する。
・仮想カメラワークの開始時に使用するトリミングフレームを１秒静止後、始点時のトリミングフレームの位置から終点時直前のトリミングフレームの位置まで、スプライン（最初と最後はゆっくり動き途中は速い動き）に移動する。
・仮想カメラワークの終了時に使用するトリミングフレームは静止を維持する。

【0122】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図２７に示すように、撮影映像上に配置して制御する。

【0123】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0124】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図２７に示されるように、始点「人物Ａ」から終点「人物Ｂ」へのアップショットのパンに対応する仮想カメラワーク映像として出力する。

【0125】

以上で、第１の実施の形態の説明を終わる。尚、上述したトリミングフレーム及び構図情報の数値等は一例であり、適時変更が可能であることは言うまでもない。

【0126】

第１の実施の形態は、撮影映像中の人物を認識するように構成されているので、従来の技術のように、ユーザが撮影画像中の特定人物（被写体）を探す必要がなく、手間を削減することができる。

【0127】

更に、第１の実施の形態は、特定人物（被写体）の骨格を判定し、特定人物の部位の映像上の大きさや位置を特定し、その情報と構図情報とを用いて、仮想カメラワーク映像を生成しているので、多様なカメラワークの映像を生成することができる。

【0128】

＜第１の実施の形態の変形例１＞
上述した第１の実施の形態における仮想カメラワークでは、特定人物の顔の向きを考慮していない。しかしながら、特定人物の顔の向きを考慮することにより、より自然なカメラワークを行うことができる。例えば、特定人物のアップショットを撮影する場合等、特定人物の顔が向いている方向の空間を広く取ることにより、より良い構図を得ることが出来る。そこで、第１の実施の形態の変形例では、顔認識部２４より、特定人物の顔の向きの情報を取得し、特定人物の顔の向きの情報を考慮した構図情報を用いた仮想カメラワークの例を説明する。

【0129】

以下の説明においては、特定人物が「人物Ｂ（一人）」であり、仮想カメラワークが「アップショット」の場合における、トリミングフレームサイズ決定部２８、トリミング制御部２９、トリミング部３０の具体的な動作を中心に説明する。そして、映像処理装置２には、図１４に示すような撮影映像が入力されている場合を説明する。また、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0130】

人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図２８に示すように撮影映像から「人物Ｂ」の骨格を判定する。また、「人物Ｂ」の骨格の縦方向の骨格中心線も決定する。尚、骨格中心線は、骨格の首元を通過する線である。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0131】

また、顔認識部２４は、「人物Ｂ」の顔の向きの情報をトリミングフレームサイズ決定部２８に出力する。

【0132】

トリミングフレームサイズ決定部２８は、特定人物が「一人」であり、仮想カメラワークが「アップショット」、顔の向きが「右方向」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される「アップショット」に対応する構図情報は、以下の通りである。
・顔の縦方向の長さを１としたとき、被写体フレームの縦方向の長さを１．１倍とする。
・トリミングフレームは第１のトリミングフレームを使用する。
・被写体フレームの縦方向の中心線が、トリミングフレームの左から０．６５：０．３５の位置を通過するようにする。

【0133】

トリミングフレームサイズ決定部２８は、人物Ｂの骨格より、顔の縦方向の長さを計算する。そして、図２８に示すように、縦方向の長さが、顔の長さの１．１倍の長さである被写体フレームの仮フレームを生成し、仮フレームの上辺が人物の顔の骨格の頂点に位置し、かつ、縦方向の中心線と骨格中心線とが一致する位置に、仮フレームを設置する。

【0134】

次に、トリミングフレームサイズ決定部２８は、図２８に示すように、仮フレームの縦方向の長さをかえずに、横方向の人物Ｂの骨格の最大範囲となるように横方向の長さを調整する。このようにして生成されたフレームが被写体フレームである。

【0135】

トリミングフレームサイズ決定部２８は、図２８に示すように、構図情報を満足するように、第１のトリミングフレームのサイズを調整する。第１のトリミングフレームのサイズの調整は、被写体フレームの縦方向の中心線が、トリミングフレームの左から０．６５：０．３５の位置を通過する位置で、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図２８に示すように、トリミングフレームのサイズを決定する。

【0136】

トリミング制御部２９は、特定人物が「一人」であり、仮想カメラワークが「アップショット」に対応する構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・トリミングフレームを、特定人物の縦方向の骨格中心線がトリミングフレームの左から０．６５：０．３５の位置を通過するように配置する。

【0137】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（骨格中心線）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図２９に示すように、撮影映像上に配置する。

【0138】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、骨格中心線も移動する可能性がある。骨格中心線の移動に伴って、トリミングフレームの位置も制御しても良いが、骨格中心線の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、骨格中心線の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0139】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図２９に示されるように、指定された仮想カメラワークである「人物Ｂ」の「アップショット」の映像として出力する。

【0140】

第１の実施の形態の変形例１によれば、図２７に例示されるように、顔の向きを考慮しない「人物Ｂ」の「アップショット」に比べて、図２９に示されるように、人物の顔の向きを考慮した「人物Ｂ」の「アップショット」の方が、より人間が撮影する理想的な構図の映像を得ることができる。すなわち、より、人間が撮影するカメラワーク映像に近い仮想カメラワーク映像を得ることができる。

【0141】

＜第１の実施の形態の変形例２＞
上述した第１の実施の形態では、被写体の指定として特定人物のみを指定する例を説明した。しかしながら、人物特定部２６では、特定人物の各部位を判定している。そこで、第１の実施の形態の変形例２は、特定人物のみならず、特定人物の部位も指定し、特定人物の部位を被写体とするカメラワークを実現する例を説明する。

【0142】

第１の実施の形態の変形例２の具体例としては、特定人物が「人物Ｂ（一人）」であり、その特定人物の被写体となる部位が「右手」であり、仮想カメラワークが「アップショット」の場合を説明する。尚、各部が読み出す具体的な構図情報は、構図データベース２７に予め記憶されているものとする。

【0143】

まず、具体的な部位の指定方法であるが、図３０に示す如く、情報処理装置２と表示装置３とが一体に構成されたタブレット端末（コンピュータ１００）上に、特定人物指定受付部４３に加えて、部位指定部５０を設ける。部位指定部５０は、人物の全身を模式的に示した図であり、被写体となる部位をタッチすることにより、部位を指定することができる。例えば、特定人物が「人物Ｂ（一人）」であり、その特定人物の被写体となる部位が「右手」の場合、特定人物指定受付部４３の「人物Ｂ」をタッチ後、部位指定部５０の「右手」をタッチすることにより、「人物Ｂ」及び「右手」を指定することができる。

【0144】

特定人物、被写体となる特定人物の部位及び仮想カメラワークの指定が終了すると、人物特定部２６は、顔認識部２４により認識された人物及び骨格判定部２５により判定された骨格を用いて、図５に示すように撮影映像から「人物Ｂ」の骨格を判定する。そして、これらの骨格の座標情報をトリミングフレームサイズ決定部２８に出力する。

【0145】

トリミングフレームサイズ決定部２８は、特定人物が「一人」、被写体となる部位が「右手」であり、仮想カメラワークが「アップショット」に対応する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・被写体フレームの縦横の中心線の交点（被写体フレームの中心）が、右手の先端となるようにする。
・被写体フレームの縦の長さは、縦右前腕部の長さの２倍とする。
・被写体フレームの横の長さは、横右前腕部の長さの２倍とする。
・トリミングフレームは第１のトリミングフレームを使用する。
・トリミングフレームの縦方向の中心線と被写体フレームの縦方向の中心線とは一致させる。

【0146】

トリミングフレームサイズ決定部２８は、人物Ｂの骨格より、縦方向及び横方向の右前腕部の長さを計算する。そして、図３１に示すように、縦方向の長さが縦右前腕部の長さの２倍、横方向の長さが横右前腕部の長さの２倍であり、かつ、被写体フレームの縦横の中心線の交点（被写体フレームの中心）が、右手の先端となるように被写体フレームを調整する。

【0147】

トリミングフレームサイズ決定部２８は、図３１に示すように、構図情報を満足するように、第１のトリミングフレームのサイズを調整する。第１のトリミングフレームのサイズの調整は、最低のマージンを確保した上で、第１のトリミングフレームのマージンが被写体フレームに重ならない範囲で、なるべく好ましいマージンの大きさになるように調整する。このようにして、トリミングフレームサイズ決定部２８は、図３１に示すように、トリミングフレームのサイズを決定する。

【0148】

トリミング制御部２９は、特定人物が「一人」であり、被写体となる部位が「右手」であり、仮想カメラワークが「アップショット」に対応する構図情報のうち、制御に関する構図情報を、構図データベース２７から読み出す。ここで、読み出される構図情報は、以下の通りである。
・トリミングフレームは、トリミングフレームの縦横方向の中心線の交点と、右手の先端とが一致するように配置する。

【0149】

トリミング制御部２９は、人物特定部２６からの骨格の位置情報（右手の先端の座標）と構図情報とを用いて、トリミングフレームサイズ決定部２８で決定されたサイズのトリミングフレームを、図３２に示すように、撮影映像上に配置する。

【0150】

尚、撮影映像は動画であるため、人物は時間の経過にともなって移動する可能性があり、その移動に伴い右手の先端の座標も移動する可能性がある。右手の先端の座標の移動に伴って、トリミングフレームの位置も制御しても良いが、右手の先端の座標の移動が少ない場合にも、トリミングフレームを移動させると、視聴者にとって視聴し難い映像になる可能性がある。そこで、右手の先端の座標の移動の範囲が所定の距離範囲内である場合には、トリミングフレームの位置を維持するように制御しても良い。

【0151】

トリミング部３０は、撮影映像からトリミングフレーム内の映像をトリミングし、トリミングされたトリミング映像を、図３２に示されるように、「人物Ｂの右手」の「アップショット」の映像として出力する。

【0152】

第１の実施の形態の変形例２では、特定人物（被写体）の骨格を用いて判定した各部位の位置や長さの情報と、構図情報とを用いることにより、特定人物の特定の部位を被写体とする仮想カメラワークを実現することができる。

【0153】

＜第１の実施の形態の変形例３＞
第１の実施の形態の変形例３を説明する。図３３は第１の実施の形態の変形例３の情報処理装置２のブロック図である。

【0154】

第１の実施の形態の変形例３では、撮影映像をトリミングして生成された仮想カメラワーク映像に対して映像効果を与える例である。映像効果としては、例えば、フォーカスインのように、撮影フレーム自体は変化がないが、時間と共にフォーカスされていない映像から被写体からフォーカスされた映像になるような映像効果や、その逆のフォーカスアウトなどがある。

【0155】

これらの映像効果を、撮影映像をトリミングして生成された仮想カメラワーク映像に対して与えるため、第１の実施の形態の変形例３の情報処理装置２は、映像効果処理部３１を更に備える。

【0156】

映像効果処理部３１は、指定された仮想カメラワークに対応する構図情報から映像効果の情報を、構図データベース２７から取得する。そして、映像効果処理部３１は、トリミング部３０から出力されたトリミング映像に対し、その映像効果を処理し、仮想カメラワーク映像を出力する。

【0157】

＜第２の実施の形態＞
第２の実施の形態を説明する。

【0158】

図３４は第２の実施の形態の情報処理装置２のブロック図である。

【0159】

第２の実施の形態の情報処理装置２は、ＣＧ（コンピュータグラフィックス）画像や、他の編集済み映像等を、仮想カメラワーク映像にテロップ又はスーパー（重畳）する機能を更に備える。その機能の実現のため、第２の実施の形態の情報処理装置２は、第１の実施の形態の情報処理装置２の構成に加えて、画像データベース５０と、画像選択部５１と、加算器５２とを備える。

【0160】

画像記憶部５０は、ロゴなどのＣＧ画像、編集済み映像等（重畳画像と記載する）が格納される。

【0161】

画像選択部５１は、画像記憶部５０に格納されている重畳画像のうち仮想カメラワーク映像に重畳する重畳画像の選択を、ユーザから受付ける部である。画像選択部５１は、ユーザの重畳画像の選択のために、画像記憶部５０に記憶されている重畳画像のうちユーザが選択可能な重畳画像を表示装置３に表示する。表示の一例としては、重畳画像を識別する識別情報、重畳画像のサムネイル画像などがある。また、画像選択部５１は、選択された重畳画像を、仮想カメラワーク映像のどの位置に重畳するか、及びその大きさの制御も行う。位置、大きさの制御は、ユーザによる仮想カメラワーク映像上の位置及び大きさの指定により決定される。

【0162】

加算器５２は、仮想カメラワーク映像に、選択された重畳画像を加算（重畳）し、重畳画像が重畳された仮想カメラワーク映像を出力する。

【0163】

次に、第２の実施の形態の情報処理装置２の動作を説明する。以下の説明では、第１の実施の形態と同様に、情報処理装置２と表示装置３とが一体に構成されたタブレット端末（コンピュータ１００）を想定して説明する。

【0164】

タブレット端末（コンピュータ１００）の表示部（表示装置３）には、図３５に示す如く、撮影映像が表示される表示部４０と、仮想カメラワーク映像が表示される表示部４１と、仮想カメラワークを指定する仮想カメラワーク指定受付部４２（仮想カメラワーク指定受付部２２）と、被写体となる特定人物を指定する特定人物指定受付部４３（特定人物指定受付部２１）とに加えて、重畳画像を選択するためのサムネイル画像４４(画像選択部５１)が表示される。

【0165】

ユーザは、表示部４１に表示されている仮想カメラワーク映像に重畳したい重畳画像を、サムネイル画像４４から選択する。選択及び配置方法は、図３６に示す如く、選択するサムネイル画像を、指で仮想カメラワーク映像上にドラッグする。そして、仮想カメラワーク映像上の希望する位置にドロップする。重畳画像のサイズは、重畳画像を仮想カメラワーク映像上にドロップ後、図３７に示すように、その重畳画像をピンチイン又はピンチアウトすることで、そのサイズを決定する。

【0166】

このようにして、ロゴや編集済み映像を仮想カメラワーク映像上に重畳した映像を生成することができる。

【0167】

＜第３の実施の形態＞
第３の実施の形態を説明する。

【0168】

第３の実施の形態は、スイッチングシステムである。図３８は第３の実施の形態のスイッチングシステムのブロック図である。

【0169】

第３の実施の形態のスイッチングシステムは、第１又は第２の実施の形態における情報処理装置２を複数備えている。各情報処理装置２にはカメラ１の撮影映像が入力され、各情報処理装置２はユーザが選択した仮想カメラワークによるひとつの仮想カメラワーク映像を出力する。

【0170】

スイッチング装置４は、各情報処理装置２からの仮想カメラワーク映像が入力され、ユーザの選択により、ひとつの仮想カメラワーク映像がライン映像として出力される。

【0171】

次に、第３の実施の形態のスイッチングシステムの動作を説明する。以下の説明では、二つの情報処理装置２を用い、第１の実施の形態と同様に、情報処理装置２と表示装置３とが一体に構成されたタブレット端末（コンピュータ１００）を想定して説明する。すなわち、タブレット端末（コンピュータ１００）は、二つのの情報処理装置２と、表示装置３と、スイッチング装置４とを備える。

【0172】

第３の実施の形態のタブレット端末（コンピュータ１００）の表示部（表示装置３）には、二つの情報処理装置２から出力される二種類の仮想カメラワーク映像が表示される表示部４１−１及び４１−２が有る点で、第１の実施の形態及び第２の実施の形態と異なる。表示部４１−１はライン映像が表示される表示部であり、表示部４１−２はライン映像の候補となるプレビュー映像が表示される表示部である。ライン映像が表示される表示部４１−１は、表示部４１−２に比べて枠線を太く表示され、ライン映像であることが容易に視認できるようになっている。

【0173】

ユーザは、ライン映像の候補となる仮想カメラワーク映像を得るため、まず、表示部４１−２の画面を指でタッチ（選択）後、特定人物指定受付部４３（特定人物指定受付部２１）により特定人物を指定し、仮想カメラワーク指定受付部４２（仮想カメラワーク指定受付部２２）により仮想カメラワークを指定する。すると、選択した表示部４１−２には指定した特定人物及び仮想カメラワークに対応する仮想カメラワーク映像が表示される。ここで、表示部４１−２に表示されている仮想カメラワーク映像（プレビュー映像）をライン映像にスイッチングする場合、表示部４１−２をタッチして選択後、「ＴＡＫＥ」ボタンをタッチすることにより、表示部４１−２に表示されている仮想カメラワーク映像（プレビュー映像）をライン映像として出力することができる。このとき、表示部４１−２に表示されていた仮想カメラワーク映像（プレビュー映像）は、表示部４１−２には表示されず、ライン映像が表示される表示部４１−１に表示されるようになる。

【0174】

更に、ライン映像の候補となる仮想カメラワーク映像を得るためには、仮想カメラワーク映像（プレビュー映像）が表示されていない表示部４１−２の画面を指でタッチ（選択）後、特定人物指定受付部４３（特定人物指定受付部２１）により特定人物を指定し、仮想カメラワーク指定受付部４２（仮想カメラワーク指定受付部２２）により仮想カメラワークを指定する。すると、選択した表示部４１−２には指定した特定人物及び仮想カメラワークに対応する仮想カメラワーク映像が表示される。

【0175】

図４０は二種類の仮想カメラワーク映像が表示部４１−１及び表示部４１−２に表示されている例を示している。表示部４１−１に表示されている仮想カメラワーク映像がライン映像であり、表示部４１−２に表示されている仮想カメラワーク映像がプレビュー映像である。そして、表示部４１−１に表示されている仮想カメラワーク映像から表示部４１−２に表示されている仮想カメラワーク映像に、ライン映像をスイッチングする場合、表示部４１−２をタッチして選択後、「ＴＡＫＥ」ボタンをタッチすることにより、表示部４１−２に表示されている仮想カメラワーク映像（プレビュー映像）をライン映像として出力することができる。このとき、図４１に示すように、表示部４１−２に表示されていた仮想カメラワーク映像（プレビュー映像）は、表示部４１−２には表示されず、ライン映像が表示される表示部４１−１に表示されるようになる。

【0176】

尚、上述の説明では、ライン映像の候補となる仮想カメラワーク映像を得るため、まず、表示部４１−２の画面を指でタッチ（選択）する例を説明した。これは、プレビュー映像を表示する表示部が複数の場合でも対応できるようにするためである。しかし、本例のように、プレビュー映像を表示する表示部がひとつの場合は、表示部を選択しなくても良い構成とすることもできる。

【0177】

第３の実施の形態によれば、多数のカメラやユーザ(操作者)を必要とすることなく、スイッチングシステムを実現することができる。

【0178】

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

【符号の説明】

【0179】

１ カメラ
２ 映像処理装置
３ 表示装置
４ スイッチング装置
２０ 撮影映像入力部
２１ 特定人物指定受付部
２２ 仮想カメラワーク指定受付部
２３ 顔画像辞書部
２４ 顔認識部
２５ 骨格判定部
２６ 人物特定部
２７ 構図データベース
２８ トリミングフレームサイズ決定部
２９ トリミング制御部
３０ トリミング部
３１ 映像効果処理部
５０ 画像データベース
５１ 画像選択部
５２ 加算器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】