特開 2021-129282 演奏撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-129282(P2021-129282A)

(43)【公開日】2021年9月2日

(54)【発明の名称】演奏撮影装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210806BHJP

   H04N 5/225 20060101ALI20210806BHJP

【ＦＩ】

   H04N5/232 190

   H04N5/232 060

   H04N5/225 600

   H04N5/232 220

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2020-24689(P2020-24689)

(22)【出願日】2020年2月17日

(71)【出願人】

【識別番号】520056512

【氏名又は名称】株式会社エムテックス

(74)【代理人】

【識別番号】100153268

【弁理士】

【氏名又は名称】吉原 朋重

(72)【発明者】

【氏名】比嘉 孝一郎

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA02

5C122EA63

5C122EA66

5C122EA67

5C122FA18

5C122FH11

5C122FH14

5C122FJ09

5C122GC17

5C122GC53

5C122GG21

5C122HA29

5C122HB01

(57)【要約】      （修正有）

【課題】演奏空間における演者の撮影において、設備・人に掛かる必要経費を低減させることで、演奏画像配信の裾野を拡大させ、演奏画像配信におけるエンターテインメント性を高める演奏撮影装置を提供する。
【解決手段】演奏空間３１０をカメラ５００が撮影した第１画像情報に基づいて、演者３３０の演奏空間内の位置情報と、演者が所持する楽器３７０を含む演者による演奏手段３６０と、を対応付けて特定する手段と、演奏手段を含む演者の特徴を表す演者特徴情報と、演者の演奏空間内の位置情報と、を対応付けて記憶する手段と、集音装置が取得した演奏空間における音情報に基づいて、演奏空間において演奏されている演奏手段を特定する手段と、記憶手段において、特定した演奏手段と対応する演奏空間内の位置情報を抽出する抽出手段と、カメラ５１０に対し、抽出された演奏空間内の位置情報で特定される場所を撮影するように指示を行う手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

一人以上の演者によって演奏が行われる演奏空間を認識用カメラ装置が撮影した認識用画像情報に基づいて、各前記演者の前記演奏空間内の位置情報と、前記各演者が所持する楽器を含む前記各演者による演奏手段と、を対応付けて特定する演者情報特定手段と、
前記演奏手段を含む前記各演者の特徴を表す演者特徴情報と、前記各演者の前記演奏空間内の位置情報と、を対応付けて記憶する演者情報記憶手段と、
集音装置が取得した前記演奏空間における音情報に基づいて、前記演奏空間において演奏されている前記演奏手段を特定する音源特定手段と、
前記演者情報記憶手段において、前記音源特定手段が特定した前記演奏手段と対応する前記演者の演奏空間内の位置情報を抽出する位置情報抽出手段と、
撮影用カメラ装置に対し、抽出された前記演奏空間内の位置情報で特定される場所を撮影するように指示を行う撮影指示手段と、を有することを特徴とする演奏撮影装置。

【請求項2】

前記演者特徴情報が、前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の情報を含み、
前記演者情報特定手段が、前記認識用画像情報に基づいて、前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の情報を特定し、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記特定した演奏手段と対応する前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の前記位置情報を抽出することを特徴とする請求項１に記載の演奏撮影装置。

【請求項3】

前記演者特徴情報が、前記演者の全身の大きさ、前記演者の顔の大きさ、前記演者の手の大きさ、前記演者の口の大きさ、前記演者が所持する楽器の大きさのうち何れか一つ以上の情報を含み、
前記演者情報特定手段が、前記認識用画像情報に基づいて、前記演者の全身の大きさ、前記演者の顔の大きさ、前記演者が所持する楽器の大きさ、前記演者の手の大きさ、前記演者の口の大きさのうち何れか一つ以上の情報を特定し、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記特定した演奏手段と対応する前記演者の全身の大きさ、前記演者の顔の大きさ、前記演者の手の大きさ、前記演者の口の大きさ、前記演者が所持する楽器の大きさのうち何れか一つ以上の情報を抽出し、
前記撮影指示手段が、前記撮影用カメラ装置に対し、抽出された前記大きさに関する情報に合わせて撮影する範囲の大小を変更するように指示を行うことを特徴とする請求項２に記載の演奏撮影装置。

【請求項4】

照明装置に対し、抽出された前記演奏空間内の位置情報で特定される場所を照らすように指示を行う照明指示手段を有することを特徴とする請求項１乃至３の何れか一に記載の演奏撮影装置。

【請求項5】

前記照明指示手段が、前記照明装置に対し、抽出された前記大きさに関する情報に合わせて照明を当てる範囲の大小を変更するように指示を行うことを特徴とする請求項３を引用する請求項４に記載の演奏撮影装置。

【請求項6】

ユーザー端末から、前記撮影用カメラ装置に撮影させる場所として、前記演者の全身・顔・口・手、前記演者が所持する楽器のうち何れかを選択させた選択情報を受け付ける撮影選択受付手段を有し、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記撮影選択受付手段が受け付けた前記選択情報と対応する前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の前記位置情報を抽出することを特徴とする請求項２に記載の演奏撮影装置。

【請求項7】

ユーザー端末から、前記照明装置に照明を当てさせる場所として、前記演者の全身・顔・口・手、前記演者が所持する楽器のうち何れかを選択させた選択情報を受け付ける照明選択受付手段を有し、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記照明選択受付手段が受け付けた前記選択情報と対応する前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の前記位置情報を抽出することを特徴とする請求項２を引用する請求項４に記載の演奏撮影装置。

【請求項8】

前記撮影用カメラ装置が撮影した画像情報を、通信ネットワークを介して配信する画像配信手段を有することを特徴とする請求項１乃至７の何れか一に記載の演奏撮影装置。

【請求項9】

演者情報特定手段が、一人以上の演者によって演奏が行われる演奏空間を認識用カメラ装置が撮影した認識用画像情報に基づいて、各前記演者の前記演奏空間内の位置情報と、前記各演者が所持する楽器を含む前記各演者による演奏手段と、を対応付けて特定するステップと、
音源特定手段が、集音装置が取得した前記演奏空間における音情報に基づいて、前記演奏空間において演奏されている前記演奏手段を特定するステップと、
位置情報抽出手段が、前記演奏手段を含む前記各演者の特徴を表す演者特徴情報と前記各演者の前記演奏空間内の位置情報とを対応付けて記憶する演者情報記憶手段において、前記音源特定手段が特定した前記演奏手段と対応する前記演者の演奏空間内の位置情報を抽出するステップと、
撮影指示手段が、撮影用カメラ装置に対し、抽出された前記演奏空間内の位置情報で特定される場所を撮影するように指示を行うステップと、を含む演奏撮影方法。

【請求項10】

前記演者特徴情報が、前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の情報を含み、
前記演者情報特定手段が、前記認識用画像情報に基づいて、前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の情報を特定し、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記特定した演奏手段と対応する前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の前記位置情報を抽出することを特徴とする請求項９に記載の演奏撮影方法。

【請求項11】

前記演者特徴情報が、前記演者の全身の大きさ、前記演者の顔の大きさ、前記演者の手の大きさ、前記演者の口の大きさ、前記演者が所持する楽器の大きさのうち何れか一つ以上の情報を含み、
前記演者情報特定手段が、前記認識用画像情報に基づいて、前記演者の全身の大きさ、前記演者の顔の大きさ、前記演者が所持する楽器の大きさ、前記演者の手の大きさ、前記演者の口の大きさのうち何れか一つ以上の情報を特定し、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記特定した演奏手段と対応する前記演者の全身の大きさ、前記演者の顔の大きさ、前記演者の手の大きさ、前記演者の口の大きさ、前記演者が所持する楽器の大きさのうち何れか一つ以上の情報を抽出し、
前記撮影指示手段が、前記撮影用カメラ装置に対し、抽出された前記大きさに関する情報に合わせて撮影する範囲の大小を変更するように指示を行うことを特徴とする請求項１０に記載の演奏撮影方法。

【請求項12】

照明指示手段が、照明装置に対し、抽出された前記演奏空間内の位置情報で特定される場所を照らすように指示を行うステップを含むことを特徴とする請求項９乃至１１の何れか一に記載の演奏撮影方法。

【請求項13】

前記照明指示手段が、前記照明装置に対し、抽出された前記大きさに関する情報に合わせて照明を当てる範囲の大小を変更するように指示を行うことを特徴とする請求項１１を引用する請求項１２に記載の演奏撮影方法。

【請求項14】

撮影選択受付手段が、ユーザー端末から、前記撮影用カメラ装置に撮影させる場所として、前記演者の全身・顔・口・手、前記演者が所持する楽器のうち何れかを選択させた選択情報を受け付けるステップを含み、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記撮影選択受付手段が受け付けた前記選択情報と対応する前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の前記位置情報を抽出することを特徴とする請求項１０に記載の演奏撮影方法。

【請求項15】

照明選択受付手段が、ユーザー端末から、前記照明装置に照明を当てさせる場所として、前記演者の全身・顔・口・手、前記演者が所持する楽器のうち何れかを選択させた選択情報を受け付けるステップを含み、
前記位置情報抽出手段が、前記演者情報記憶手段において、前記照明選択受付手段が受け付けた前記選択情報と対応する前記演者の顔の位置、前記演者が所持する楽器の位置、前記演者の手の位置、前記演者の口の位置のうち何れか一つ以上の前記位置情報を抽出することを特徴とする請求項１０を引用する請求項１２に記載の演奏撮影方法。

【請求項16】

画像配信手段が、前記撮影用カメラ装置が撮影した画像情報を、通信ネットワークを介して配信するステップを含むことを特徴とする請求項９乃至１５の何れか一に記載の演奏撮影方法。

【請求項17】

コンピューターに、請求項９乃至１６の何れか一に記載の方法を実行させるための演奏撮影プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

舞台上で演奏する演者を自動で撮影する技術に関する。

【背景技術】

【0002】

現在、ライブ会場の映像配信では、複数台のカメラ装置、照明器具、編集器具、中継車、撮影者・編集者等の大掛かりな装置・人の準備が必要となり、大規模なライブ会場のみが映像配信の対象となっている。

【0003】

一方で、中小規模のライブ会場においては、設備・人・予算の制約があるため、映像配信がなされることはなく、その結果、マイナーなアーティストは露出が少なくなり、マーケットに認知される機会が少ないという実情がある。
ところで、特許文献１では、音源の位置を特定し、特定周波数の音源を自動的に追尾して撮影することのできる音源追尾型カメラ装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−３５９７６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術は、交通取り締まり用のカメラ装置の技術であって、想定されていないライブ会場等の演奏空間への適用が難しいという問題点があった。

【0006】

そこで本発明では、上記問題点に鑑み、演奏空間における演者の撮影において、設備・人に掛かる必要経費を低減させることによって、演奏画像配信の裾野を拡大させると共に、演奏画像配信におけるエンターテインメント性を高める演奏撮影装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

開示する演奏撮影装置の一形態は、一人以上の演者によって演奏が行われる演奏空間を認識用カメラ装置が撮影した認識用画像情報に基づいて、各前記演者の前記演奏空間内の位置情報と、前記各演者が所持する楽器を含む前記各演者による演奏手段と、を対応付けて特定する演者情報特定手段と、前記演奏手段を含む前記各演者の特徴を表す演者特徴情報と、前記各演者の前記演奏空間内の位置情報と、を対応付けて記憶する演者情報記憶手段と、集音装置が取得した前記演奏空間における音情報に基づいて、前記演奏空間において演奏されている前記演奏手段を特定する音源特定手段と、前記演者情報記憶手段において、前記音源特定手段が特定した前記演奏手段と対応する前記演者の演奏空間内の位置情報を抽出する位置情報抽出手段と、撮影用カメラ装置に対し、抽出された前記演奏空間内の位置情報で特定される場所を撮影するように指示を行う撮影指示手段と、を有することを特徴とする。

【発明の効果】

【0008】

開示する演奏撮影装置は、演奏空間における演者の撮影において、設備・人に掛かる必要経費を低減させることによって、演奏画像配信の裾野を拡大させると共に、演奏画像配信におけるエンターテインメント性を高める。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る演奏撮影装置の概要を説明する図である。

【図2】本実施の形態に係る演奏撮影装置と他装置との接続態様を説明する図である。

【図3】本実施の形態に係る演奏撮影装置の機能ブロック図である。

【図4】本実施の形態に係る演者情報記憶手段の一例を示す図である。

【図5】本実施の形態に係る演奏撮影装置のハードウエア構成例を示す図である。

【図6】本実施の形態に係る演奏撮影装置による演者の位置及び特徴を特定する処理例の流れを示すフローチャートである。

【図7】本実施の形態に係る演奏撮影装置によるカメラ装置及び照明装置への制御指示を行う処理例の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

図面を参照しながら、本発明を実施するための形態について説明する。
（本実施の形態に係る演奏撮影装置の動作原理）

【0011】

図１乃至４を用いて、本実施の形態に係る演奏撮影装置（以下、単に「本装置」という。）１００の動作原理について説明する。図１及び２は、本装置１００の概略を説明するための図であり、図３は、本装置１００の機能ブロック図である。

【0012】

図１で示すように、本装置１００は、ライブ会場のように、一人以上の演者３３０が演奏を行う演奏空間３１０において、現に演奏を行う演者３３０の撮影を行ったり、演者３３０に照明装置５２０の光を当てたりするためのものである。演奏空間３１０には認識用カメラ装置５００が設置され、認識用カメラ装置５００は、演奏空間３１０全体を撮影し、演者３３０の位置や演者３３０の特徴３４０を認識するために用いる認識用画像情報３２０を出力する。

【0013】

また、演奏空間３１０には、演者３３０が発する音を集音する集音装置５３０が設置される。集音装置５３０は、例えば、マイク装置であっても良く、複数の音声信号を電気的に加算、加工し出力する音響機器であるミキサーであっても良い。さらに、演奏空間３１０には、本装置１００の指示に従って演者３３０を撮影する撮影用カメラ装置５１０や演者３３０へライトを当てる照明装置５２０も設置される。

【0014】

図２で示すように、本装置１００は、通信ネットワーク５５０を介して、認識用カメラ装置５００、撮影用カメラ装置５１０、照明装置５２０、集音装置５３０、ユーザー端末５４０と接続される。通信ネットワーク５５０は、有線通信ネットワークであっても良く、無線通信ネットワークであっても良い。

【0015】

図１及び２で示すように、本装置１００は、認識用カメラ装置５００が撮影した画像３２０に基づいて、演者３３０一人ひとりの位置３５０、楽器３７０や歌声などの演奏手段３６０を含む演者３３０の特徴を表す情報３４０を特定し、データーベース化する。その一方で、本装置１００は、集音装置５３０が取得した演奏空間３１０の音情報４７０に基づいて、演奏空間３１０において音を発している演奏手段３６０を特定し、データーベース１１０内で紐付けられる演者３３０の位置情報３５０や演者特徴情報３４０を抽出する。そして、本装置１００は、抽出した演者３３０の位置情報３５０や演者特徴情報３４０に基づいて、撮影用カメラ装置５１０や照明装置５２０へ制御指示を行う。

【0016】

このようにして、本装置１００は、ライブ会場のような演奏空間３１０の撮影において、人手を減らし、人件費を削減することによって、小さな演奏空間３１０における演奏画像を配信するなど演奏画像配信の裾野を拡大させることができる。加えて、本装置１００は、演奏画像の自動配信におけるエンターテインメント性を高める。

【0017】

図３で示すように、本装置１００は、演者情報記憶手段１１０、画像情報取得手段１２０、演者情報特定手段１３０、音源情報取得手段１４０、音源特定手段１５０、位置情報抽出手段１６０、撮影指示手段１７０、照明指示手段１８０、撮影選択受付手段１９０、照明選択受付手段２００、画像配信手段２１０を有する。

【0018】

演者情報記憶手段１１０は、演者３３０が所持する楽器３７０や演者３３０の歌声などの演奏手段３６０を含む演者３３０それぞれの特徴を表す演者特徴情報３４０と、演者３３０それぞれの演奏空間３１０内の位置情報３５０と、を対応付けて記憶する。演者特徴情報３４０は、例えば、演者３３０それぞれについて、演奏手段３６０、全身の大きさ４２０、顔の位置３８０や大きさ４３０、所持する楽器３７０の位置３９０や大きさ４６０、手の位置４００や大きさ４４０、口の位置４１０や大きさ４５０を含む。なお、位置情報３５０、３８０、３９０、４００、４１０は、ＸＹＺ座標で表される情報であっても良く、その他の座標系で表される情報であっても良い。また、大きさを表す情報４２０、４３０、４４０、４５０、４６０は、どの様な単位を以って表現されても良い。

【0019】

図４で示すように、演者情報記憶手段１１０においては、例えば、演者識別情報：「Ａ」、演奏手段３６０：「ボーカル」、位置情報３５０：「８，２，５」、全身の大きさ４２０：「１０」、顔の位置情報３８０：「８，２，〇」、…のような形態で、演者特徴情報３４０と位置情報３５０とが紐付けて記憶される。また、演者情報記憶手段１１０においては、例えば、演者識別情報：「Ｃ」、演奏手段３６０：「ドラムス」、位置情報３５０：「１８，７，６」、…、楽器の位置情報３９０：「１８，７,◇」、楽器の大きさ４６０：「１０」、…のような形態で、演者特徴情報３４０と位置情報３５０とが紐付けて記憶される。

【0020】

画像情報取得手段１２０は、一人以上の演者３３０によって演奏が行われる演奏空間３１０について、認識用カメラ装置５００が撮影した認識用画像情報３２０を、通信ネットワーク５５０を介して取得する。認識用画像情報３２０は、どの様なデータ形式であっても良い。

【0021】

演者情報特定手段１３０は、認識用画像情報３２０に基づいて、各演者３３０の演奏空間３１０内の位置情報３５０と、各演者３３０が所持する楽器３７０を含む各演者３３０による演奏手段３７０と、を対応付けて特定する。

【0022】

また、演者情報特定手段１３０は、認識用画像情報３２０に基づいて、演者３３０の顔の位置３８０、演者３３０が所持する楽器３７０の位置３９０、演者３３０の手の位置４００、演者３３０の口の位置４１０のうち何れか一つ以上の情報を特定する。

【0023】

さらに、演者情報特定手段１３０は、認識用画像情報３２０に基づいて、演者３３０の全身の大きさ４２０、演者３３０の顔の大きさ４３０、演者３３０が所持する楽器３７０の大きさ４６０、演者３３０の手の大きさ４４０、演者３３０の口の大きさ４５０のうち何れか一つ以上の情報を特定する。

【0024】

演者情報特定手段１３０が認識用画像情報３２０に基づいて、演奏手段３６０、位置情報３５０、３８０、３９０、４００、４１０、大きさを表す情報４２０、４３０、４４０、４５０、４６０を特定する手法は、従来の画像認識技術が用いられる。また、演者情報特定手段１３０は、認識用画像情報３２０に基づいて、演者３３０が所持する楽器３７０が特定できない場合、演者３３０の演奏手段３６０を“ボーカル（歌を歌う行為）”と認識する形態であっても良い。

【0025】

音源情報取得手段１４０は、演奏空間３１０において集音装置５３０が取得した音情報４７０を、通信ネットワーク５５０を介して取得する。音情報４７０は、どの様なデータ形式であっても良い。集音装置５３０は、例えば、マイク装置であっても良く、複数の音声信号を電気的に加算、加工し出力する音響機器であるミキサーであっても良い。

【0026】

音源特定手段１５０は、集音装置５３０が取得した演奏空間３１０における音情報４７０に基づいて、演奏空間３１０において演奏されている演奏手段３６０を特定する。演奏手段３６０とは、例えば、演者３３０が所持する楽器３７０や演者３３０の歌声である。音源特定手段１５０が演奏手段３６０を特定する手法は、従来の音声認識技術が用いられ、既知（登録済み）の音情報と音情報４７０とを比較することによって行われる。

【0027】

位置情報抽出手段１６０は、演者情報記憶手段１１０において、音源特定手段１５０が特定した演奏手段３６０と対応して記憶される演者３３０の演奏空間３１０内の位置情報３５０を抽出する。

【0028】

位置情報抽出手段１６０は、演者情報記憶手段１１０において、音源特定手段１５０が特定した演奏手段３６０と対応して記憶される演者３３０の顔の位置３８０、演者３３０が所持する楽器３７０の位置３９０、演者３３０の手の位置４００、演者３３０の口の位置４１０のうち何れか一つ以上の位置情報を抽出する。

【0029】

また、位置情報抽出手段１６０は、演者情報記憶手段１１０において、音源特定手段１５０が特定した演奏手段３６０と対応して記憶される演者３３０の全身の大きさ４２０、演者３３０の顔の大きさ４３０、演者３３０の手の大きさ４４０、演者３３０の口の大きさ４５０、演者３３０が所持する楽器３７０の大きさ４６０のうち何れか一つ以上の情報を抽出する。

【0030】

また、位置情報抽出手段１６０は、演者情報記憶手段１１０において、後述する選択情報４８０、４９０と対応して記憶される演者３３０の顔の位置３８０、演者３３０が所持する楽器３７０の位置３９０、演者３３０の手の位置４００、演者３３０の口の位置４１０のうち何れか一つ以上の位置情報を抽出する形態としても良い。

【0031】

撮影指示手段１７０は、撮影用カメラ装置５１０に対し、位置情報抽出手段１６０が抽出した演奏空間３１０内の位置情報３５０、３８０、３９０、４００、４１０で特定される場所を撮影するように指示を行う。撮影用カメラ装置５１０は、１台であっても、複数台であっても良い。

【0032】

撮影指示手段１７０は、撮影用カメラ装置５１０に対し、位置情報抽出手段１６０が抽出した大きさを表す情報４２０、４３０、４４０、４５０、４６０に合わせて、撮影する範囲の大小を変更するように指示を行う。大きさを表す情報４２０、４３０、４４０、４５０、４６０と撮影する範囲の大きさ（これを変更する制御指示）との関係は、適宜定めることが可能である。
なお、撮影用カメラ装置５１０は、撮影指示手段１７０による指示に従って撮影を行い、本装置１００へ撮影した画像情報を送信する。

【0033】

照明指示手段１８０は、照明装置５２０に対し、位置情報抽出手段１６０が抽出した演奏空間３１０内の位置情報３５０、３８０、３９０、４００、４１０で特定される場所を照らすように指示を行う。照明装置５２０は、１台であっても、複数台であっても良い。

【0034】

照明指示手段１８０は、照明装置５２０に対し、位置情報抽出手段１６０が抽出した大きさを表す情報４２０、４３０、４４０、４５０、４６０に合わせて、照明を当てる範囲の大小を変更するように指示を行う。大きさを表す情報４２０、４３０、４４０、４５０、４６０と照明を当てる範囲の大きさ（これを変更する制御指示）との関係は、適宜定めることが可能である。
なお、照明装置５２０は、照明指示手段１８０による指示に従って照明（投光）する。

【0035】

撮影選択受付手段１９０は、ユーザー端末５４０から、撮影用カメラ装置５１０に撮影させる場所として、演者３３０の全身・顔・口・手（指先）、演者３３０が所持する楽器３７０のうち何れかを選択させた選択情報４８０を受け付ける。

【0036】

照明選択受付手段２００は、ユーザー端末５４０から、照明装置５２０に照明を当てさせる場所として、演者３３０の全身・顔・口・手（指先）、演者３３０が所持する楽器３７０のうち何れかを選択させた選択情報４９０を受け付ける。
画像配信手段２１０は、撮影用カメラ装置５１０が撮影した画像情報を、通信ネットワーク５５０を介して配信する。

【0037】

本装置１００は、上記のような動作原理に基づいて、演奏空間３１０における演者３３０の撮影において、設備・人に掛かる必要経費を低減（自動化）させることによって、演奏画像配信の裾野を拡大させ、演奏画像配信におけるエンターテインメント性も高める。
（本実施の形態に係る演奏撮影装置のハードウエア構成）

【0038】

図５を用いて、本装置１００のハードウエア構成例について説明する。図５は、本装置１００のハードウエア構成の一例を示す図である。図５で示すように、本装置１００は、ＣＰＵ（Central Processing Unit）６１０、ＲＯＭ（Read-Only Memory）６２０、ＲＡＭ（Random Access Memory）６３０、補助記憶装置６４０、通信Ｉ／Ｆ６５０、入力装置６６０、出力装置６７０、記録媒体Ｉ／Ｆ６８０を有する。

【0039】

ＣＰＵ６１０は、ＲＯＭ６２０に記憶されたプログラムを実行する装置であり、ＲＡＭ６３０に展開（ロード）されたデータを、プログラムの命令に従って演算処理し、本装置１００全体を制御する。ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラムやデータを記憶している。ＲＡＭ６３０は、ＣＰＵ６１０でＲＯＭ６２０に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開（ロード）され、演算の間、演算データを一時的に保持する。

【0040】

補助記憶装置６４０は、基本ソフトウエアであるＯＳ（Operating System）や本実施の形態に係るアプリケーションプログラムなどを、関連するデータとともに記憶する装置であり、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどである。

【0041】

通信Ｉ／Ｆ６５０は、有線・無線ＬＡＮ（Local Area Network）、インターネットなどの通信ネットワーク５５０に接続し、通信機能を提供する他装置５００、５１０、５２０、５３０、５４０とデータの授受を行うためのインターフェースである。

【0042】

入力装置６６０は、キーボードやタッチパネルなど本装置１００にデータ入力を行うための装置である。出力装置６７０は、ＬＣＤ（Liquid Crystal Display）等で構成される装置であり、本装置１００が有する機能をユーザーが利用する際や各種設定を行う際のユーザーインターフェースとして機能する装置である。
記録媒体Ｉ／Ｆ６８０は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリなどの記録媒体６９０とデータの送受信を行うためのインターフェースである。

【0043】

本装置１００が有する各手段は、ＣＰＵ６１０が、ＲＯＭ６２０又は補助記憶装置６４０に記憶された各手段に対応するプログラムを実行することにより実現される形態としても良い。また、本装置１００が有する各手段は、当該各手段に関する処理をハードウエアとして実現される形態としても良い。また、通信Ｉ／Ｆ６５０を介して外部サーバー装置から本発明に係るプログラムを読み込ませたり、記録媒体Ｉ／Ｆ６８０を介して記録媒体６９０から本発明に係るプログラムを読み込ませたりして、本装置１００に当該プログラムを実行させる形態としても良い。
（本実施の形態に係る演奏撮影装置による処理例）
（１）演者３３０の位置３５０及び特徴３４０を特定する処理例

【0044】

図６を用いて、本装置１００による演者３３０の位置３５０及び特徴３４０を特定する処理例について説明する。図６は、本装置１００による演者３３０の位置３５０及び特徴３４０を特定する処理の一例の流れを示すフローチャートである。

【0045】

Ｓ１０で認識用カメラ装置５００が、演奏空間３１０全体を撮影し、演者３３０の位置や演者３３０の特徴３４０を認識するために用いる認識用画像情報３２０を出力する。そして、認識用カメラ装置５００は、通信ネットワーク５５０を介して、認識用画像情報３２０を本装置１００へ送付する。

【0046】

さらに、Ｓ１０で画像情報取得手段１２０が、認識用カメラ装置５００から通信ネットワーク５５０を介して送付される認識用画像情報３２０を取得する。なお、認識用画像情報３２０は、どの様なデータ形式であっても良い。

【0047】

Ｓ２０で演者情報特定手段１３０が、Ｓ１０において取得された認識用画像情報３２０に基づいて、各演者３３０の演奏空間３１０内の位置情報３５０と、各演者３３０が所持する楽器３７０を含む各演者３３０による演奏手段３７０と、を対応付けて特定する。

【0048】

また、演者情報特定手段１３０は、認識用画像情報３２０に基づいて、演者３３０の顔の位置３８０、演者３３０が所持する楽器３７０の位置３９０、演者３３０の手の位置４００、演者３３０の口の位置４１０のうち何れか一つ以上の情報を特定する。

【0049】

さらに、演者情報特定手段１３０は、認識用画像情報３２０に基づいて、演者３３０の全身の大きさ４２０、演者３３０の顔の大きさ４３０、演者３３０が所持する楽器３７０の大きさ４６０、演者３３０の手の大きさ４４０、演者３３０の口の大きさ４５０のうち何れか一つ以上の情報を特定する。

【0050】

演者情報特定手段１３０は、従来の画像認識技術が用いて、演奏手段３６０、位置情報３５０、３８０、３９０、４００、４１０、大きさを表す情報４２０、４３０、４４０、４５０、４６０を特定する。また、演者情報特定手段１３０は、認識用画像情報３２０に基づいて、演者３３０が所持する楽器３７０が特定できない場合、演者３３０の演奏手段３６０を“ボーカル（歌を歌う行為）”と認識する形態であっても良い。

【0051】

Ｓ３０で演者情報特定手段１３０が、Ｓ２０において特定された楽器３７０や演者３３０の歌声などの演奏手段３６０を含む演者３３０それぞれの特徴を表す演者特徴情報３４０と、演者３３０それぞれの演奏空間３１０内の位置情報３５０と、を対応付けて、演者情報記憶手段１１０へ登録する。

【0052】

なお、演者特徴情報３４０は、例えば、演者３３０それぞれについて、演奏手段３６０、全身の大きさ４２０、顔の位置３８０や大きさ４３０、所持する楽器３７０の位置３９０や大きさ４６０、手の位置４００や大きさ４４０、口の位置４１０や大きさ４５０を含む。なお、位置情報３５０、３８０、３９０、４００、４１０は、ＸＹＺ座標で表される情報であっても良く、その他の座標系で表される情報であっても良い。また、大きさを表す情報４２０、４３０、４４０、４５０、４６０は、どの様な単位を以って表現されても良い。

【0053】

図４で示すように、演者情報記憶手段１１０においては、例えば、演者識別情報：「Ａ」、演奏手段３６０：「ボーカル」、位置情報３５０：「８，２，５」、全身の大きさ４２０：「１０」、顔の位置情報３８０：「８，２，〇」、…のような形態で、演者特徴情報３４０と位置情報３５０とが紐付けて登録される。また、演者情報記憶手段１１０においては、例えば、演者識別情報：「Ｃ」、演奏手段３６０：「ドラムス」、位置情報３５０：「１８，７，６」、…、楽器の位置情報３９０：「１８，７,◇」、楽器の大きさ４６０：「１０」、…のような形態で、演者特徴情報３４０と位置情報３５０とが紐付けて登録される。
（２）カメラ装置５１０及び照明装置５２０への制御指示を行う処理例

【0054】

図７を用いて、本装置１００によるカメラ装置５１０及び照明装置５２０への制御指示を行う処理例について説明する。図７は、本装置１００によるカメラ装置５１０及び照明装置５２０への制御指示を行う処理の一例の流れを示すフローチャートである。

【0055】

Ｓ１１０で集音装置５３０が、演奏空間３１０において演者３３０が発する音を集音し、通信ネットワーク５５０を介して、集音した音情報４７０を本装置１００へ送付する。なお、集音装置５３０は、例えば、マイク装置であっても良く、複数の音声信号を電気的に加算、加工し出力する音響機器であるミキサーであっても良い。そして、Ｓ１１０で音源情報取得手段１４０が、集音装置５３０が取得した音情報４７０を、通信ネットワーク５５０を介して取得する。音情報４７０は、どの様なデータ形式であっても良い。

【0056】

さらに、Ｓ１１０で音源特定手段１５０が、Ｓ１１０において取得された演奏空間３１０における音情報４７０に基づいて、演奏空間３１０において演奏されている演奏手段３６０を特定する。演奏手段３６０とは、例えば、演者３３０が所持する楽器３７０や演者３３０の歌声である。音源特定手段１５０が演奏手段３６０を特定する手法は、従来の音声認識技術が用いられ、既知（登録済み）の音情報と音情報４７０とを比較することによって行われる。

【0057】

Ｓ１２０で位置情報抽出手段１６０が、Ｓ１１０において特定された演奏手段３６０と演者情報記憶手段１１０において対応して記憶される演者３３０の演奏空間３１０内の位置情報３５０を抽出する。また、位置情報抽出手段１６０は、Ｓ１１０において特定された演奏手段３６０と演者情報記憶手段１１０において対応して記憶される演者３３０の顔の位置３８０、演者３３０が所持する楽器３７０の位置３９０、演者３３０の手の位置４００、演者３３０の口の位置４１０のうち何れか一つ以上の位置情報を抽出する。

【0058】

また、位置情報抽出手段１６０は、Ｓ１１０において特定された演奏手段３６０と演者情報記憶手段１１０において対応して記憶される演者３３０の全身の大きさ４２０、演者３３０の顔の大きさ４３０、演者３３０の手の大きさ４４０、演者３３０の口の大きさ４５０、演者３３０が所持する楽器３７０の大きさ４６０のうち何れか一つ以上の情報を抽出する。

【0059】

Ｓ１３０で撮影指示手段１７０が、撮影用カメラ装置５１０に対し、Ｓ１２０において抽出された演奏空間３１０内の位置情報３５０、３８０、３９０、４００、４１０で特定される場所を撮影するように指示を行う。撮影用カメラ装置５１０は、１台であっても、複数台であっても良い。

【0060】

また、撮影指示手段１７０は、撮影用カメラ装置５１０に対し、Ｓ１２０において抽出された大きさを表す情報４２０、４３０、４４０、４５０、４６０に合わせて、撮影する範囲の大小を変更するように指示を行う。大きさを表す情報４２０、４３０、４４０、４５０、４６０と撮影する範囲の大きさ（これを変更する制御指示）との関係は、適宜定めることが可能である。

【0061】

加えて、Ｓ１３０で照明指示手段１８０が、照明装置５２０に対し、Ｓ１２０において抽出された演奏空間３１０内の位置情報３５０、３８０、３９０、４００、４１０で特定される場所を照らすように指示を行う。照明装置５２０は、１台であっても、複数台であっても良い。

【0062】

また、照明指示手段１８０は、照明装置５２０に対し、Ｓ１２０において抽出された大きさを表す情報４２０、４３０、４４０、４５０、４６０に合わせて、照明を当てる範囲の大小を変更するように指示を行う。大きさを表す情報４２０、４３０、４４０、４５０、４６０と照明を当てる範囲の大きさ（これを変更する制御指示）との関係は、適宜定めることが可能である。

【0063】

なお、撮影用カメラ装置５１０は、撮影指示手段１７０による指示に従って撮影を行い、本装置１００へ撮影した画像情報を送信する。画像配信手段２１０は、撮影用カメラ装置５１０が撮影した画像情報を、通信ネットワーク５５０を介して配信する。

【0064】

上記（１）（２）で示すような処理に基づいて、本装置１００は、演奏空間３１０における演者３３０の撮影において、設備・人に掛かる必要経費を低減させることによって、演奏画像配信の裾野を拡大させることができる。それに加えて、本装置１００は、演奏画像配信におけるエンターテインメント性も高めることができる。

【0065】

以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。

【符号の説明】

【0066】

１００ 演奏撮影装置
１１０ 演者情報記憶手段
１２０ 画像情報取得手段
１３０ 演者情報特定手段
１４０ 音情報取得手段
１５０ 音源特定手段
１６０ 位置情報抽出手段
１７０ 撮影指示手段
１８０ 照明指示手段
１９０ 撮影選択受付手段
２００ 照明選択受付手段
２１０ 画像配信手段
３１０ 演奏空間
３２０ 認識用画像情報
３３０ 演者
３４０ 演者特徴情報
３５０ 演者の位置
３６０ 演奏手段
３７０ 演者が所持する楽器
３８０ 演者の顔の位置
３９０ 演者が所持する楽器の位置
４００ 演者の手の位置
４１０ 演者の口の位置
４２０ 演者の全身の大きさ
４３０ 演者の顔の大きさ
４４０ 演者の手の大きさ
４５０ 演者の口の大きさ
４６０ 演者が所持する楽器の大きさ
４７０ 演奏空間における音情報
４８０ 撮影選択受付手段による選択情報
４９０ 照明選択受付手段による選択情報
５００ 認識用カメラ装置
５１０ 撮影用カメラ装置
５２０ 照明装置
５３０ 集音装置（ミキサーを含む）
５４０ ユーザー端末
５５０ 通信ネットワーク
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 補助記憶装置
６５０ 通信インターフェース
６６０ 入力装置
６７０ 出力装置
６８０ 記録媒体インターフェース
６９０ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】