特許 7203305 撮影システム、撮影方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-04

(45)【発行日】2023-01-13

(54)【発明の名称】撮影システム、撮影方法、及びプログラム

(51)【国際特許分類】

   H04N 23/695 20230101AFI20230105BHJP

   H04N 23/69 20230101ALI20230105BHJP

   H04N 23/611 20230101ALI20230105BHJP

   G01S 5/04 20060101ALI20230105BHJP

   G01S 5/14 20060101ALI20230105BHJP

   G03B 15/00 20210101ALI20230105BHJP

   G03B 17/00 20210101ALI20230105BHJP

   G03B 17/56 20210101ALI20230105BHJP

【ＦＩ】

H04N5/232 990

H04N5/232 960

H04N5/232 190

G01S5/04

G01S5/14

G03B15/00 S

G03B15/00 P

G03B15/00 Q

G03B17/00 B

G03B17/56 A

【請求項の数】 8

(21)【出願番号】P 2019552656

(86)(22)【出願日】2018-10-01

(86)【国際出願番号】 JP2018036627

(87)【国際公開番号】W WO2019093016

(87)【国際公開日】2019-05-16

【審査請求日】2021-08-27

(31)【優先権主張番号】P 2017215863

(32)【優先日】2017-11-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100131495

【弁理士】

【氏名又は名称】前田 健児

(72)【発明者】

【氏名】鴨谷 悠介

(72)【発明者】

【氏名】河口 宜史

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００８－２２７８７７（ＪＰ，Ａ）

【文献】特開２００４－１１２６１５（ＪＰ，Ａ）

【文献】特開２００３－２７４２５７（ＪＰ，Ａ）

【文献】特開２００５－１３０２３０（ＪＰ，Ａ）

【文献】特開２００５－０２０２０５（ＪＰ，Ａ）

【文献】特開２００６－２７０２７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０１Ｓ ５／０４

Ｇ０１Ｓ ５／１４

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／５６

(57)【特許請求の範囲】

【請求項1】

移動可能な対象物を撮影する撮影システムであって、
前記対象物に取り付けられ、測位信号を無線送信する送信機と、
前記測位信号を受信し、前記測位信号に基づいて前記対象物の位置を決定する測位装置と、
可変な方向及び可変な倍率で前記対象物を撮影する撮影装置と、
前記撮影装置の方向及び倍率を制御する制御装置とを備え、
前記制御装置は、
前記測位装置によって決定された前記対象物の位置に基づいて、前記撮影装置から前記対象物への方向及び距離を計算し、
前記計算された方向及び距離に基づいて、前記撮影装置に第１の方向及び第１の倍率を設定し、
前記第１の方向及び前記第１の倍率が設定された前記撮影装置により前記対象物を撮影することにより生成された撮影データに基づいて、前記撮影装置に第２の方向及び第２の倍率を設定する、
撮影システム。

【請求項2】

前記制御装置は、前記撮影装置の撮影範囲のうちの予め決められたスキャン範囲に前記対象物が位置するように、かつ、前記対象物が第１のサイズで撮影されるように、前記第１の方向及び前記第１の倍率を設定する、
請求項１記載の撮影システム。

【請求項3】

前記対象物は人であり、
前記制御装置は、
前記撮影データを解析して前記対象物の身体又は顔を認識し、
前記撮影装置の撮影範囲の中央に前記対象物の身体又は顔の中心が位置するように、かつ、前記対象物の身体又は顔が第２のサイズで撮影されるように、前記第２の方向及び前記第２の倍率を設定する、
請求項２記載の撮影システム。

【請求項4】

前記制御装置は、前記撮影データを解析して複数の身体又は複数の顔を検出したとき、前記測位装置によって決定された前記対象物の位置に基づいて、前記対象物の身体又は顔を選択する、
請求項３記載の撮影システム。

【請求項5】

前記スキャン範囲に対応する前記撮影データの部分を解析して前記対象物の身体又は顔を認識できなかった場合、前記制御装置は、前記スキャン範囲を拡大し、前記拡大されたスキャン範囲に対応する前記撮影データの部分を解析して前記対象物の身体又は顔を認識する、
請求項３又は４記載の撮影システム。

【請求項6】

前記測位信号は、前記対象物に関連付けられた識別子を含む、
請求項１～５のうちの１つに記載の撮影システム。

【請求項7】

移動可能な対象物を撮影する撮影方法であって、
前記対象物に取り付けられた送信機により測位信号を無線送信するステップと、
所定の位置に設けられた複数の受信機により前記測位信号を受信し、前記測位信号に基づいて前記対象物の位置を決定するステップと、
前記決定された前記対象物の位置に基づいて、撮影装置から前記対象物への方向及び距離を計算するステップと、
前記計算された方向及び距離に基づいて、前記撮影装置に第１の方向及び第１の倍率を設定するステップと、
前記第１の方向及び前記第１の倍率が設定された前記撮影装置により前記対象物を撮影して撮影データを生成するステップと、
前記撮影データに基づいて、前記撮影装置に第２の方向及び第２の倍率を設定するステップとを含む、
撮影方法。

【請求項8】

移動可能な対象物を撮影する撮影システムを制御するためのプログラムであって、前記撮影システムは、
前記対象物に取り付けられ、測位信号を無線送信する送信機と、
前記測位信号を受信し、前記測位信号に基づいて前記対象物の位置を決定する測位装置と、
可変な方向及び可変な倍率で前記対象物を撮影する撮影装置と、
前記撮影装置の方向及び倍率を制御する制御装置と、を備え、
前記プログラムは前記制御装置に、
前記測位装置によって決定された前記対象物の位置に基づいて、前記撮影装置から前記対象物への方向及び距離を計算するステップと、
前記計算された方向及び距離に基づいて、前記撮影装置に第１の方向及び第１の倍率を設定するステップと、
前記第１の方向及び前記第１の倍率が設定された前記撮影装置により前記対象物を撮影することにより生成された撮影データに基づいて、前記撮影装置に第２の方向及び第２の倍率を設定するステップとを実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、少なくとも１つの移動可能な対象物を撮影する撮影システム、撮影方法、及びプログラムに関する。

【背景技術】

【0002】

カメラの方位角（パン）、仰角（チルト）、及び倍率（ズーム）を制御し、被写体となる対象物を自動的に追跡しながら撮影する撮影システムがある。例えば、特許文献１の発明は、カメラによって撮影された画像を解析して画像から対象物を検出し、この検出結果に基づいてカメラを制御する。従来技術に係る撮影システムは、例えば、講演及び授業など、一定の照明の下で、ほとんど又はゆっくりとしか動かない、１人の話者のみを撮影する場合、この話者をカメラの撮影範囲（すなわち、カメラの視野全体）の中央に合わせて撮影することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２００７／０８８８５６号

【発明の概要】

【0004】

画像解析を用いて対象物を追跡する撮影システムは、前述のように、一定の照明の下で、ほとんど又はゆっくりとしか動かない、単一の対象物のみを撮影する場合には有効である。しかしながら、このような撮影システムでは、激しい動きなどを伴う実演（コンサート、ダンス、演劇など）、スポーツ、及びレースなどを撮影するとき、例えば以下のような場合に、対象物の追跡に失敗することがある。
（１）カメラの撮影範囲に複数の対象物（歌手、俳優、選手など）が存在し、カメラから見て２つ以上の対象物が重なり合う場合。
（２）対象物の高速移動などにより画像解析に失敗する場合。
（３）対象物の高速移動などにより対象物がカメラの撮影範囲の外に出る場合、又は、対象物が障害物に隠れることによりカメラから見えなくなる場合。
（４）演出などの目的で、照明の輝度及び／又は色彩などが激しく変化する場合。

【0005】

従って、複数の対象物がある場合、対象物が急速に移動する場合、及び／又は照明が激しく変化する場合、などであっても、対象物を確実に追跡して撮影することが求められる。

【0006】

本開示の目的は、従来技術よりも確実に対象物を追跡して撮影することができる撮影システム、撮影方法、及びプログラムを提供することにある。

【0007】

本開示の一態様に係る撮影システムによれば、移動可能な対象物を撮影する撮影システムは、送信機と、測位装置と、撮影装置と、制御装置とを備える。送信機は、対象物に取り付けられ、測位信号を無線送信する。測位装置は、測位信号を受信し、測位信号に基づいて対象物の位置を決定する。撮影装置は、可変な方向及び可変な倍率で対象物を撮影する。制御装置は、撮影装置の方向及び倍率を制御する。制御装置は、測位装置によって決定された対象物の位置に基づいて、撮影装置から対象物への方向及び距離を計算する。制御装置は、計算された方向及び距離に基づいて、撮影装置に第１の方向及び第１の倍率を設定する。制御装置は、第１の方向及び第１の倍率が設定された撮影装置により対象物を撮影することにより生成された撮影データに基づいて、撮影装置に第２の方向及び第２の倍率を設定する。

【0008】

本開示の一態様に係る撮影システムによれば、測位装置によって決定された対象物の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物を追跡して撮影することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る撮影システムを備えたコンサートホール１を示す概略図である。

【図2】図２は、実施形態に係る撮影システムの構成を示すブロック図である。

【図3】図３は、図１のカメラ２５を示す斜視図である。

【図4】図４は、図２の制御装置２４によって実行されるカメラ制御処理を示すフローチャートである。

【図5】図５は、図１のカメラ２５の撮影範囲３０及びスキャン範囲３１を示す図である。

【図6】図６は、図１のカメラ２５によって対象者１１－１が捕捉された状態を示す図である。

【図7】図７は、図１のカメラ２５の撮影範囲３０及び拡大されたスキャン範囲３１Ａを示す図である。

【図8】図８は、図１のカメラ２５によって複数の対象者１１－１～１１－２が捕捉された状態を示す図である。

【図9】図９は、図１のカメラ２５によって対象者１１－１の顔が捕捉された状態を示す図である。

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0011】

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

【0012】

（実施形態）
以下、図１～図９を参照して、実施形態に係る撮影システムを説明する。

【0013】

［１－１．構成］
図１は、実施形態に係る撮影システムを備えたコンサートホール１を示す概略図である。コンサートホール１は、舞台２、舞台袖３、及び壁４を含む。図１では、図示の都合により、舞台２の奥以外の壁と、天井とを省略している。

【0014】

舞台２の上には、移動可能な複数の対象物１１－１～１１－３が存在する。これらの対象物１１－１～１１－３を総称して「対象物１１」とも呼ぶ。図１の例では、各対象物１１は、コンサート又は演劇などの実演家であり、以下、「対象者１１」という。

【0015】

コンサートホール１には、さらに、コンソール５、ビーコン装置２１－１～２１－３、受信機２２－１～２２－３、カメラ２５－１～２５－５、及びディスプレイ装置２７－１～２７－３を含む撮影システムが設けられている。この撮影システムにより、舞台２の上で移動する各対象者１１を追跡して撮影する。

【0016】

図２は、実施形態に係る撮影システムの構成を示すブロック図である。コンソール５は、位置管理装置２３、制御装置２４－１～２４－５、ＳＤＩ（Serial Digital Interface）スイッチ２６、及びネットワークハブ２８を含む。ビーコン装置２１－１～２１－３は、受信機２２－１～２２－３に無線接続されている。受信機２２－１～２２－３、位置管理装置２３、制御装置２４－１～２４－５、及びカメラ２５－１～２５－５は、ネットワークハブ２８を含むＬＡＮ（Local Area Network）を介して互いに接続されている。カメラ２５－１～２５－５の出力端子は、ＳＤＩケーブルを介してＳＤＩスイッチ２６に接続されている。ディスプレイ装置２７－１～２７－３の入力端子もまた、ＳＤＩケーブルを介してＳＤＩスイッチ２６に接続されている。

【0017】

ビーコン装置２１－１～２１－３は、図１に示すように、対象者１１－１～１１－３にそれぞれ取り付けられる。これらのビーコン装置２１－１～２１－３を総称して「ビーコン装置２１」とも呼ぶ。各ビーコン装置２１は、対応する対象者１１の位置を決定するための測位信号を無線送信する。各ビーコン装置２１は、例えばＢＬＥ（Bluetooth（登録商標） Low Energy）規格により、無指向性のビーコン信号を測位信号として受信機２２－１～２２－３に無線送信する。各ビーコン装置２１には、対応する対象者１１に関連付けられた識別子が割り当てられる。各測位信号は、送信元のビーコン装置２１の識別子を含む。各ビーコン装置２１は、例えば２～３ｃｍの最大寸法で作成可能である。ただし、図１他では、図示の都合により、各対象者１１の身体のサイズを基準として、各ビーコン装置２１を実際よりも大きなサイズで示す。

【0018】

受信機２２－１～２２－３は、例えばコンサートホール１の壁又は天井において、互いに異なる位置にそれぞれ取り付けられる。これらの受信機２２－１～２２－３を総称して「受信機２２」とも呼ぶ。各受信機２２は、各ビーコン装置２１から送信された測位信号を受信する。ここで、１つのビーコン装置２１が送信した測位信号は、複数の受信機２２によって受信される。各受信機２２は、例えば測位信号の電波強度又は到来方向を測定する。各受信機２２は、測位信号の測定結果を、ＬＡＮを介して位置管理装置２３に送る。

【0019】

位置管理装置２３は、各受信機２２で得られた測位信号の測定結果に基づいて、各対象者１１（すなわち、対応するビーコン装置２１）の位置を決定する。各受信機２２が測位信号の電波強度を測定する場合、位置管理装置２３は、１つのビーコン装置２１から送信されて少なくとも３つの受信機２２で受信された測位信号の電波強度に基づいて、３次元空間における当該ビーコン装置２１の位置を決定する。また、各受信機２２が測位信号の到来方向を測定する場合、位置管理装置２３は、１つのビーコン装置２１から送信されて少なくとも２つの受信機２２で受信された測位信号の到来方向に基づいて、３次元空間における当該ビーコン装置２１の位置を決定する。位置管理装置２３は、各ビーコン装置２１の識別子及び位置を、ＬＡＮを介して制御装置２４－１～２４－５に送る。

【0020】

位置管理装置２３は、例えば、汎用のパーソナルコンピュータであってもよく、各対象者１１の位置を決定するための専用装置であってもよい。

【0021】

制御装置２４－１～２４－５は、図４を参照して後述するカメラ制御処理を実行し、ＬＡＮを介して、対応する１つのカメラ２５－１～２５－５の方位角、仰角、及び倍率をそれぞれ制御する。これらの制御装置２４－１～２４－５を総称して「制御装置２４」とも呼ぶ。ユーザは、あるビーコン装置２１の識別子をある制御装置２４に入力することにより、当該制御装置２４に対応するカメラ２５を用いて追跡して撮影する対象者１１を指定する。各制御装置２４は、識別子に基づいて、対応するビーコン装置２１の位置を位置管理装置２３から取得する。また、各制御装置２４は、ＬＡＮを介して、対応する１つのカメラ２５－１～２５－５で生成された撮影データを受信する。各制御装置２４は、ビーコン装置２１の位置と、撮影データとに基づいて、後述するカメラ制御処理を実行する。

【0022】

各制御装置２４は、カメラ制御処理において、撮影データに対して画像解析を行ってユーザの身体又は顔を認識する。このため、各制御装置２４は、例えばディープラーニングにより、人間の身体又は顔を予め学習している。各制御装置２４は、人間の身体及び顔の両方を個別に学習していてもよい。各制御装置２４は、画像解析の精度を向上するために、コンサート又は演劇などの実演家（歌手、ダンサー、俳優など）に限って、その身体又は顔を学習してもよい。

【0023】

各制御装置２４は、例えば、汎用のパーソナルコンピュータであってもよく、カメラ２５を制御するための専用装置であってもよい。各制御装置２４は、カメラ制御処理のプログラムを実行する。各制御装置２４は、ユーザがビーコン装置２１の識別子を入力するための入力装置と、撮影データ及びカメラ制御処理の途中経過を表示するための表示装置とを含む。

【0024】

カメラ２５－１～２５－５は、可変な方位角、可変な仰角、及び可変な倍率で対象者１１を撮影する。これらのカメラ２５－１～２５－５を総称して「カメラ２５」とも呼ぶ。図３は、図１のカメラ２５を示す斜視図である。各カメラ２５の方位角、仰角、及び倍率は、対応する制御装置２４によって制御される。各カメラ２５によって生成された撮影データは、ＳＤＩケーブルを介してＳＤＩスイッチ２６に送られる。さらに、撮影データは、前述のように、ＬＡＮを介して対応する制御装置２４にも送られる。

【0025】

各カメラ２５の撮影範囲に含まれる各点の位置は、コンサートホール１の内部の座標に対して較正されている。各制御装置２４は、対応するカメラ２５に任意の方位角、任意の仰角、及び任意の倍率を設定したとき、各カメラ２５の撮影範囲に含まれる各点の位置を認識している。ここで、ビーコン装置２１の位置は３次元座標で表され、各カメラ２５の撮影範囲に含まれる各点の位置は２次元座標で表される。各制御装置２４は、カメラ２５の位置、カメラ２５のレンズ情報（視野角など）、現在の方位角、仰角、及び倍率に基づいて、これらの座標を互いに変換する。各制御装置２４は、対応するカメラ２５により追跡して撮影しようとしている対象者１１がカメラ２５の撮影範囲に含まれるように、ビーコン装置２１の位置に基づいて、カメラ２５の方位角、仰角、及び倍率を制御する。

【0026】

ＳＤＩスイッチ２６は、５つの入力端子及び３つの出力端子を備え、ユーザの制御下で、５つの入力端子のうちのいずれか３つを出力端子に接続する。

【0027】

ディスプレイ装置２７－１～２７－３は、図１に示すように、例えば、コンサートホール１の奥の壁４に取り付けられる。これらのディスプレイ装置２７－１～２７－３を総称して「ディスプレイ装置２７」とも呼ぶ。各ディスプレイ装置２７は、例えば、対応する１人の対象者１１の拡大映像をリアルタイムで表示する。

【0028】

ユーザは、ＳＤＩスイッチ２６を操作することにより、どのカメラ２５の撮影データをどのディスプレイ装置２７に表示するかを指定する。

【0029】

［１－２．動作］
図４は、図２の制御装置２４によって実行されるカメラ制御処理を示すフローチャートである。このフローチャートは、１人の対象者１１を１つのカメラ２５により追跡して撮影するとき、当該カメラ２５に対応する１つの制御装置２４によって実行される処理を示す。

【0030】

図４のステップＳ１において、制御装置２４は、ユーザから、カメラ２５により追跡して撮影しようとしている対象者１１のビーコン装置２１の識別子（ＩＤ）を取得する。

【0031】

ステップＳ２において、制御装置２４は、ビーコン装置２１の識別子に基づいて、位置管理装置２３から、対象者１１のビーコン装置２１の位置を取得する。ステップＳ３において、制御装置２４は、対象者１１のビーコン装置２１の位置に基づいて、カメラ２５から対象者１１への方位角、仰角、及び距離を計算する。

【0032】

ステップＳ４において、制御装置２４は、対象者１１がカメラ２５の撮影範囲のうちの予め決められたスキャン範囲に含まれているか否かを判断し、ＹＥＳのときはステップＳ６に進み、ＮＯのときはステップＳ５に進む。スキャン範囲は、後のステップＳ６において画像解析を行うとき、画像解析の対象となる画素の範囲を示す。ステップＳ５において、制御装置２４は、対象者１１がスキャン範囲に含まれるように、カメラ２５の方位角、仰角、及び倍率を制御する。

【0033】

図５は、図１のカメラ２５の撮影範囲３０及びスキャン範囲３１を示す図である。図６は、図１のカメラ２５によって対象者１１－１が捕捉された状態を示す図である。図５～図９は、制御装置２４の表示装置に表示される。図４のステップＳ５において、制御装置２４は、図６に示すように、ビーコン装置２１－１（すなわち対象者１１－１）がスキャン範囲３１に含まれるように、カメラ２５の方位角、仰角、及び倍率を制御する。

【0034】

ステップＳ３～Ｓ５を実行中に、対象者１１が移動している可能性がある。従って、ステップＳ５の実行後、制御装置２４は、ステップＳ２に戻り、位置管理装置２３から対象者１１のビーコン装置２１の位置を再取得する。

【0035】

図４のステップＳ２～Ｓ５は、ビーコン装置２１の位置に基づくカメラ２５の粗い制御であり、画像解析を行う前に実行される。制御装置２４は、ステップＳ３で計算された方位角、仰角、及び距離に基づいて、カメラ２５に第１の方位角、第１の仰角、及び第１の倍率（「第１の撮影条件」ともいう）を設定する。制御装置２４は、スキャン範囲に対象者１１が位置するように、かつ、対象者１１が予め決められた第１のサイズで撮影されるように、第１の撮影条件を決定する。制御装置２４は、第１の撮影条件が設定されたカメラ２５により対象者１１を撮影して撮影データを生成させる。ここで、ユーザは、予め対象者１１の大きさの情報を制御装置２４に入力しておいてもよい。これにより、制御装置２４は、対象者１１の大きさの情報とカメラ２５から対象者１１への距離に基づいて、対象者１１が予め決められた第１のサイズで撮影されるように、第１の倍率を決定することができる。

【0036】

ステップＳ６において、制御装置２４は、撮影データに対して画像解析を行って、対象者１１の身体又は顔を認識する。制御装置２４は、撮影データに対して画像解析を行うとき、カメラ２５の撮影範囲のうちの予め決められたスキャン範囲に対応する撮影データの部分を解析する。ステップＳ７において、制御装置２４は、身体又は顔の認識に成功したか否かを判断し、ＹＥＳのときはステップＳ９に進み、ＮＯのときはステップＳ８に進む。ステップＳ８において、制御装置２４は、スキャン範囲を拡大してステップＳ２に戻る。そして、制御装置２４は、ステップＳ６において、拡大されたスキャン範囲に対応する撮影データの部分を解析する。

【0037】

図７は、図１のカメラ２５の撮影範囲３０及び拡大されたスキャン範囲３１Ａを示す図である。図４のステップＳ２～Ｓ５においてビーコン装置２１の位置に基づいてカメラ２５の方位角、仰角、及び倍率を制御したことにより、対象者１１の身体又は顔がスキャン範囲３１に含まれている可能性が高いと考えられる。しかしながら、対象者１１の身体又は顔が認識されなかった場合、スキャン範囲３１を拡大することにより、制御装置２４の計算負荷は増大するものの、対象者１１の身体又は顔をより確実に認識できると考えられる。

【0038】

ステップＳ３、Ｓ４、Ｓ６～Ｓ８を実行中に、対象者１１が移動している可能性がある。従って、ステップＳ８の実行後、制御装置２４は、ステップＳ２に戻り、位置管理装置２３から対象者１１のビーコン装置２１の位置を再取得する。

【0039】

ステップＳ９において、制御装置２４は、複数の身体又は複数の顔を認識したか否かを判断し、ＹＥＳのときはステップＳ１０に進み、ＮＯのときはステップＳ１１に進む。ステップＳ１０において、制御装置２４は、位置管理装置２３によって決定された対象者１１の位置に基づいて、対象者１１のビーコン装置２１の位置に最も近い身体又は顔を選択する。

【0040】

図８は、図１のカメラ２５によって複数の対象者１１－１～１１－２が捕捉された状態を示す図である。制御装置２４は、撮影データを解析して複数の身体又は複数の顔を検出したとき、位置管理装置２３によって決定されたビーコン装置２１－１の位置（すなわち対象者１１－１の位置）に基づいて、対象者１１－１の身体又は顔を選択する。

【0041】

ステップＳ１１において、制御装置２４は、カメラ２５の撮影範囲の中央に対象者１１の身体又は顔の中心が位置するように、カメラ２５の方位角、仰角、及び倍率を制御する。

【0042】

図９は、図１のカメラ２５によって対象者１１－１の顔が捕捉された状態を示す図である。対象者１１－１の顔が認識されたとき、制御装置２４は、制御装置２４の表示装置に、認識された顔を包囲するようにバウンディングブロック３２を表示する。

【0043】

ステップＳ７において身体又は顔の認識に成功したとき、ステップＳ１２において、制御装置２４は、スキャン範囲３１を、少なくとも認識された身体又は顔を含む大きさに縮小する。図９では、スキャン範囲３１の元の大きさよりもさらに縮小されたスキャン範囲３１Ｂを示す。

【0044】

図４のステップＳ６～Ｓ１２は、画像解析に基づくカメラ２５の細かい制御である。制御装置２４は、撮影データに基づいて、詳しくは、ステップＳ６で認識された身体又は顔の位置及び大きさに基づいて、カメラ２５に第２の方位角、第２の仰角、及び第２の倍率（「第２の撮影条件」ともいう）を設定する。制御装置２４は、カメラ２５の撮影範囲の中央に対象者１１の身体又は顔の中心が位置するように、かつ、対象者１１の身体又は顔が予め決められた第２のサイズで撮影されるように、第２の撮影条件を決定する。制御装置２４は、第２の撮影条件が設定されたカメラ２５により対象者１１を撮影して撮影データを生成させる。

【0045】

図４のステップＳ１２を実行した後、処理はステップＳ２に戻る。ビーコン装置２１－１がスキャン範囲３１に含まれ、かつ、対象者１１の身体又は顔がスキャン範囲３１に含まれている間は、制御装置２４はそのまま撮影を継続する。一方、ビーコン装置２１－１がスキャン範囲３１の外部に移動したとき、又は、対象者１１の身体又は顔がスキャン範囲３１の外部に移動したとき、制御装置２４は、カメラ２５の方位角、仰角、及び倍率を制御することにより、対象者１１を追跡して撮影する。

【0046】

図４のカメラ制御処理は、図２の制御装置２４－１～２４－５によって個別に実行可能である。

【0047】

［１－３．効果等］
本実施形態によれば、少なくとも１つの移動可能な対象物１１を撮影する撮影システムは、ビーコン装置２１と、位置管理装置２３と、カメラ２５と、制御装置２４とを備える。ビーコン装置２１は、対象物１１に取り付けられ、測位信号を無線送信する。受信機２２は、測位信号を受信する。位置管理装置２３は、測位信号に基づいて対象物１１の位置を決定する。カメラ２５は、可変な方向及び可変な倍率で対象物１１を撮影する。制御装置２４は、カメラ２５の方向及び倍率を制御する。制御装置２４は、位置管理装置２３によって決定された対象物１１の位置に基づいて、カメラ２５から対象物１１への方向及び距離を計算する。制御装置２４は、計算された方向及び距離に基づいて、カメラ２５に第１の方向及び第１の倍率を設定する。制御装置２４は、第１の方向及び第１の倍率が設定されたカメラ２５により対象物１１を撮影することにより生成された撮影データに基づいて、カメラ２５に第２の方向及び第２の倍率を設定する。

【0048】

これにより、ビーコン装置２１の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。

【0049】

本実施形態によれば、制御装置２４は、カメラ２５の撮影範囲のうちの予め決められたスキャン範囲に対象物１１が位置するように、かつ、対象物１１が第１のサイズで撮影されるように、第１の方向及び第１の倍率を決定する。

【0050】

これにより、撮影データの画像解析を行う前であっても、適切な方向及び適切な倍率をカメラ２５に設定することができる。

【0051】

本実施形態によれば、対象物１１は人間である。制御装置２４は、撮影データを解析して対象物１１の身体又は顔を認識する。制御装置２４は、カメラ２５の撮影範囲の中央に対象物１１の身体又は顔の中心が位置するように、かつ、対象物１１の身体又は顔が第２のサイズで撮影されるように、第２の方向及び第２の倍率を決定する。

【0052】

これにより、画像解析の結果に基づいて、適切な方向及び適切な倍率をカメラ２５に設定することができる。

【0053】

本実施形態によれば、制御装置２４は、撮影データを解析して複数の身体又は複数の顔を検出したとき、位置管理装置２３によって決定された対象物１１の位置に基づいて、対象物１１の身体又は顔を選択する。

【0054】

これにより、ビーコン装置２１の位置に基づいて、適切な方向及び適切な倍率をカメラ２５に設定することができる。

【0055】

本実施形態によれば、制御装置２４は、撮影データを解析して対象物１１の身体又は顔を認識するとき、スキャン範囲に対応する撮影データの部分を解析する。制御装置２４は、対象物１１の身体又は顔が認識されなかった場合、スキャン範囲を拡大し、拡大されたスキャン範囲に対応する撮影データの部分を解析する。

【0056】

これにより、対象物１１の身体又は顔が認識されなかった場合には計算負荷が増大するが、その他の場合には計算負荷の増大を抑えることができる。

【0057】

本実施形態によれば、測位信号は、対象物１１に関連付けられた識別子を含む。

【0058】

これにより、カメラ２５の撮影範囲に複数の対象物１１が存在し、カメラ２５から見て２つ以上の対象物１１が重なり合う場合であっても、目的の対象物１１を追跡して撮影し続けることができる。

【0059】

本実施形態によれば、少なくとも１つの移動可能な対象物１１を撮影する撮影方法が提供される。本撮影方法は、対象物１１に取り付けられたビーコン装置２１により測位信号を無線送信するステップを含む。本撮影方法は、所定の位置に設けられた複数の受信機２２により測位信号を受信し、測位信号に基づいて対象物１１の位置を決定するステップを含む。本撮影方法は、決定された対象物１１の位置に基づいて、カメラ２５から対象物１１への方向及び距離を計算するステップを含む。本撮影方法は、計算された方向及び距離に基づいて、カメラ２５に第１の方向及び第１の倍率を設定するステップを含む。本撮影方法は、第１の方向及び第１の倍率が設定されたカメラ２５により対象物１１を撮影して撮影データを生成するステップを含む。本撮影方法は、撮影データに基づいて、カメラ２５に第２の方向及び第２の倍率を設定するステップを含む。

【0060】

これにより、ビーコン装置２１の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。

【0061】

本実施形態によれば、少なくとも１つの移動可能な対象物１１を撮影する撮影システムを制御するためのプログラムが提供される。撮影システムは、対象物１１に取り付けられ、測位信号を無線送信するビーコン装置２１と、測位信号を受信する受信機２２と、測位信号に基づいて対象物１１の位置を決定する位置管理装置２３と、可変な方向及び可変な倍率で対象物１１を撮影するカメラ２５とを備える。プログラムは、位置管理装置２３によって決定された対象物１１の位置に基づいて、カメラ２５から対象物１１への方向及び距離を計算するステップと、計算された方向及び距離に基づいて、カメラ２５に第１の方向及び第１の倍率を設定するステップと、第１の方向及び第１の倍率が設定されたカメラ２５により対象物１１を撮影することにより生成された撮影データに基づいて、カメラ２５に第２の方向及び第２の倍率を設定するステップとを含む。

【0062】

これにより、ビーコン装置２１の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。

【0063】

本実施形態によれば、各制御装置２４は、画像解析を行う前に、ビーコン装置２１の位置に基づいてカメラ２５からビーコン装置２１までの距離を計算し、この距離に基づいてカメラ２５の倍率を制御する。従って、画像解析を行う前に、画像解析に適した倍率をカメラ２５に設定することができる。また、画像解析により対象物の身体又は顔が認識されない場合であっても、適切であると考えられる倍率がカメラ２５に設定されている。

【0064】

本実施形態によれば、ビーコン装置２１の位置を参照することにより、対象物１１がカメラ２５の撮影範囲の外に出た場合、又は、対象物１１が障害物に隠れた場合（例えば、対象物１１が図１の舞台袖３などに位置している場合）であっても、対象物１１を継続的に追跡することができる。従って、対象物１１がカメラ２５の撮影範囲に戻ったとき、又は、対象物１１が障害物に隠されなくなったとき、すぐに、対象物１１をカメラ２５で再捕捉することができる。また、ビーコン装置２１の位置を参照することにより、対象物１１からカメラ２５への距離が分かるので、適切な倍率を推定し、カメラ２５のズーム動作を自動化することができる。また、ビーコン装置２１の位置を参照することにより、撮影データにおいて複数の身体又は複数の顔の候補が検出された場合に、対象者１１の位置に最も近い身体又は顔を選択することができる。

【0065】

本実施形態によれば、各制御装置２４は、画像解析エンジンとして、ディープラーニングにより対象者１１の身体又は顔を予め学習したエンジンを用いてもよい。これにより、撮影データにおける身体又は顔の検出率が向上するので、対象物１１をカメラ２５の撮影範囲の中央に合わせ続けるようにカメラ２５を制御することができる。

【0066】

本実施形態によれば、ビーコン装置２１の位置と、画像解析により認識された対象物１１の身体又は顔の位置とを組み合わせることで、従来技術よりも確実に対象物１１を追跡して撮影することができる。本実施形態のポイントは、単にこれら２種類の位置の両方を用いるのではなく、以下に説明するように、これら２種類の位置をどのように組み合わせて使用するか、ということにある。

【0067】

まず、画像解析により対象物１１の身体又は顔が認識されなかった場合、各制御装置２４は、ビーコン装置２１の位置のみに基づいてカメラ２５を制御する。一方、両方の位置が取得された場合、各制御装置２４は、ビーコン装置２１の位置に基づいてカメラ２５を粗く制御し、次いで、画像解析により認識された対象物１１の身体又は顔の位置に基づいてカメラ２５を細かく制御する。ビーコン装置２１の位置は常に取得可能であるが、その精度は比較的低い。一方、画像解析では対象物１１の身体又は顔が認識されないことがあるが、認識できればその精度は高い。従って、これら２種類の位置を組み合わせることにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。

【0068】

また、両方の位置が取得され、かつ、画像解析により複数の身体又は複数の顔が検出された場合、各制御装置２４は、ビーコン装置２１の位置に基づいて、対象者１１のものである可能性が最も高い身体又は顔を選択することができる。

【0069】

また、ビーコン装置２１の位置に基づいてカメラ２５から対象物１１への距離が分かるので、撮影データにおいて対象物１１がどの程度の大きさで映っているかを推測することができる。この対象物１１の大きさに基づいて、画像解析をより正確かつ効率的に行うことができる。

【0070】

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【0071】

そこで、以下、他の実施形態を例示する。

【0072】

上述の実施形態では、測位信号を送信する送信機の一例として、ビーコン信号を送信するビーコン装置２１を説明した。しかしながら、送信機は、ビーコン信号を送信するビーコン装置２１に限定されない。送信機は、対応する対象者１１の位置を決定できるのであれば、ビーコン信号以外の他の任意の無線信号を送信する無線送信機であってもよい。

【0073】

上述の実施形態では、測位装置の一例として、受信機２２－１～２２－３及び位置管理装置２３を説明した。しかしながら、測位装置は、対応する対象者１１の位置を決定できるのであれば、例えば異なる個数の受信機を含む、他の任意の装置であってもよい。また、位置管理装置２３は、制御装置２４のうちの１つに一体化されていてもよい。また、上述の実施形態では、位置管理装置２３は、ビーコン装置２１の３次元座標の位置を決定した。しかし、対象物１１の動きが制限されている場合、位置管理装置２３は、２次元空間における位置又は１次元空間における位置を決定してもよい。

【0074】

上述の実施形態では、制御装置の一例として、制御装置２４－１～２４－５を説明した。しかしながら、制御装置は、カメラ２５－１～２５－５を制御できるのであれば、他の任意の装置であってもよい。図２の例では、１つのカメラ２５に対して１つの制御装置２４が設けられているが、１つの制御装置２４により複数のカメラ２５を制御してもよい。

【0075】

上述の実施形態では、撮像装置の一例として、可変な方位角、可変な仰角、及び可変な倍率を有するカメラ２５－１～２５－５を説明した。しかしながら、撮影装置は、可変な方位角及び可変な仰角の少なくとも一方（可変な方向）を有し、かつ、可変な倍率を有して対象物１１を撮影することができるのであれば、他の任意の装置であってもよい。撮影装置は、対象物１１をさまざまな位置から撮影するために、撮影装置自体が移動するようにさらに構成されてもよい。

【0076】

上述の実施形態では、カメラ２５によって生成された撮影データがリアルタイムでディスプレイ装置２７に表示される場合について説明した。しかしながら、代替又は追加として、撮影データは、制御装置２４又は他の録画装置に録画されてもよい。

【0077】

上述の実施形態によれば、複数の身体又は複数の顔を検出したとき、対象者１１のビーコン装置２１の位置に最も近い身体又は顔を選択し、カメラ２５の撮影範囲の中央に対象者１１の身体又は顔の中心が位置するようにカメラ２５を制御する場合について説明した（ステップＳ９～Ｓ１１）。しかしながら、ビーコン装置２１の位置を決定する分解能によっては、複数の身体又は複数の顔から対象者１１の身体又は顔を正しく選択できない可能性がある。従って、制御装置２４は、複数の身体又は複数の顔を検出したとき、これらの身体又は顔のすべてを含む最小の矩形であるバウンディングブロックを生成し、カメラ２５の撮影範囲の中央にバウンディングブロックの中心が位置するようにカメラ２５を制御してもよい。

【0078】

上述の実施形態では、コンサートホール１に撮影システムを設置する場合について説明した。しかしながら、撮影システムは、スポーツ又はレースの競技場などに設置されてもよい。この場合、人間、乗物、又は動物などである対象物１１が追跡して撮影される。

【0079】

以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。

【0080】

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0081】

また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0082】

本開示の態様によれば、省電力なビーコン装置による３次元の位置管理と、高精度な画像認識技術（例えばディープラーニング）とを組み合わせることにより、人間並みのカメラワークを達成し、撮影を省人化することができる。これにより、ライブエンターテインメント用の新たな映像市場を創造することができる。

【0083】

本開示の態様に係る撮影システムは、例えば、放送スタジオのための撮影システムとして利用可能である。また、本開示の態様に係る撮影システムは、ライブエンターテインメントのためのリアルタイム映像伝送システムとして利用可能である。

【符号の説明】

【0084】

１…コンサートホール、
２…舞台、
３…舞台袖、
４…壁、
５…コンソール、
１１－１～１１－３…対象者（対象物）、
２１－１～２１－３…ビーコン装置、
２２－１～２２－３…受信機、
２３…位置管理装置、
２４－１～２４－５…制御装置、
２５－１～２５－５…カメラ、
２６…ＳＤＩ（Serial Digital Interface）スイッチ、
２７－１～２７－３…ディスプレイ装置、
２８…ネットワークハブ、
３０…撮影範囲、
３１，３１Ａ，３１Ｂ…スキャン範囲、
３２…バウンディングブロック。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】