(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-13
(45)【発行日】2023-04-21
(54)【発明の名称】リモートカメラシステム、制御システム、制御方法、及び制御プログラム
(51)【国際特許分類】
H04N 5/222 20060101AFI20230414BHJP
H04N 23/66 20230101ALI20230414BHJP
H04N 23/695 20230101ALI20230414BHJP
【FI】
H04N5/222 100
H04N23/66
H04N23/695
(21)【出願番号】P 2019107947
(22)【出願日】2019-06-10
【審査請求日】2022-06-02
(73)【特許権者】
【識別番号】000209751
【氏名又は名称】池上通信機株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】日置 信広
(72)【発明者】
【氏名】田原 知明
(72)【発明者】
【氏名】渡辺 康文
【審査官】吉川 康男
(56)【参考文献】
【文献】特開2009-017480(JP,A)
【文献】国際公開第2010/125994(WO,A1)
【文献】特開2008-311804(JP,A)
【文献】特開2006-352851(JP,A)
【文献】特開2018-101930(JP,A)
【文献】特開2018-185376(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/695
H04N 5/222
H04N 23/66
(57)【特許請求の範囲】
【請求項1】
メインカメラと、一端が前記メインカメラに接続され、かつ、前記一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び前記参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニット、及び
前記メインカメラの撮像素子上に設定された代表点と前記参照点とを一致させ、前記モーションユニットを制御して、前記第1の動きにより前記メインカメラの姿勢を変え、前記第2の動きにより前記メインカメラの位置を変える制御システムを含む、
リモートカメラシステム。
【請求項2】
前記制御システムは、前記メインカメラの種類毎に、前記撮像素子上に設定された前記代表点と前記モーションユニットの前記一端との間の位置関係を示すポイント設定情報を保持する
請求項1に記載のリモートカメラシステム。
【請求項3】
前記代表点は、前記メインカメラの光軸と前記撮像素子との交点である
請求項1又は2に記載のリモートカメラシステム。
【請求項4】
前記制御システムは、撮影現場における前記カメラユニットの位置を示すロケーション情報と、前記参照点の位置及び前記座標系の回転角を示すポジション情報と、前記メインカメラの設定情報とを含むプリセット情報を保持し、オペレータによる操作に応じて前記プリセット情報に基づく前記カメラユニットの制御を実行する
請求項1~3のいずれか1項に記載のリモートカメラシステム。
【請求項5】
前記制御システムは、前記オペレータからプリセット情報の登録指示を受けたとき、前記登録指示の時点で前記メインカメラから出力されている映像のサムネイルと、前記登録指示の時点における前記ロケーション情報、前記ポジション情報、及び前記設定情報とを生成し、生成した前記サムネイル、前記ロケーション情報、前記ポジション情報、及び前記設定情報を前記プリセット情報として保持する
請求項4に記載のリモートカメラシステム。
【請求項6】
前記制御システムは、設定点を中心とする所定半径の円弧に沿って前記参照点を動かすように前記モーションユニットを制御する
請求項1~5のいずれか1項に記載のリモートカメラシステム。
【請求項7】
前記リモートカメラシステムは、前記カメラユニットの操作に利用されるオペレータシステムを含み、
前記オペレータシステムは、前記メインカメラの光軸を含む第1の平面内で前記参照点を移動させるための第1の操作インターフェースと、前記第1の平面と交わる第2の平面内で前記参照点を移動させるための第2の操作インターフェースとを備える
請求項1~6のいずれか1項に記載のリモートカメラシステム。
【請求項8】
前記オペレータシステムは、前記第1の平面及び前記第2の平面と交わる第3の平面内で前記参照点を移動させる第3の操作インターフェースをさらに備える
請求項7に記載のリモートカメラシステム。
【請求項9】
前記カメラユニットは、全方位映像を出力するアイビューカメラをさらに有し、
前記オペレータシステムは、オペレータの視線方向を検知するセンサ部をさらに備え、
前記制御システムは、前記センサ部の出力に基づいて前記アイビューカメラから出力される前記全方位映像から、前記オペレータの視線方向を基準とする所定範囲の映像を切り出し、切り出した映像を前記オペレータシステムに伝送する
請求項7又は8に記載のリモートカメラシステム。
【請求項10】
前記リモートカメラシステムは、前記カメラユニットを後方から撮影することが可能な位置に設置された複数のリアビューカメラと、前記カメラユニットの操作に利用されるオペレータシステムとを含み、
前記制御システムは、前記プリセット情報に基づいて前記カメラユニットが制御されているとき、前記プリセット情報の前記ロケーション情報が示す前記カメラユニットの位置に基づいて、前記複数のリアビューカメラのうち前記カメラユニットが画角に含まれるリアビューカメラを選択し、選択された前記リアビューカメラの出力映像を前記オペレータシステムに伝送する
請求項4又は5に記載のリモートカメラシステム。
【請求項11】
メインカメラと、一端が前記メインカメラに接続され、かつ、前記一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び前記参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニットを制御するユニット制御部を備え、
前記ユニット制御部は、前記メインカメラの撮像素子上に設定された代表点と前記参照点とを一致させ、前記モーションユニットを制御して、前記第1の動きにより前記メインカメラの姿勢を変え、前記第2の動きにより前記メインカメラの位置を変える、
制御システム。
【請求項12】
コンピュータにより、メインカメラと、一端が前記メインカメラに接続され、かつ、前記一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び前記参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニットを制御するステップを含み、
前記制御するステップでは、前記コンピュータが、前記メインカメラの撮像素子上に設定された代表点と前記参照点とを一致させ、前記モーションユニットを制御して、前記第1の動きにより前記メインカメラの姿勢を変え、前記第2の動きにより前記メインカメラの位置を変える、
制御方法。
【請求項13】
コンピュータに、メインカメラと、一端が前記メインカメラに接続され、かつ、前記一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び前記参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニットを制御する処理を実行させ、
前記処理では、前記コンピュータが、前記メインカメラの撮像素子上に設定された代表点と前記参照点とを一致させ、前記モーションユニットを制御して、前記第1の動きにより前記メインカメラの姿勢を変え、前記第2の動きにより前記メインカメラの位置を変える、
制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、リモートカメラシステム、制御システム、制御方法、及び制御プログラムに関する。
【背景技術】
【0002】
近年、放送技術の分野では、ロボットアームの先端にカメラを取り付け、ロボットアームの遠隔操作による撮影を可能にするロボットカメラの技術に注目が集まっている。撮影現場では、被写体を様々な角度から撮影する目的やカメラの配置を安定させる目的でペデスタルやクレーンなどの特殊な機材が広く利用されている。こうした特殊な機材を巧みに操るにはカメラマンの熟練した技術が必要になる。一方、ロボットカメラの場合、コントローラを利用してロボットアームを自在に動かせるため、操作が比較的容易である。
【0003】
ロボットカメラの操作系に関し、下記の特許文献1では、ロボットカメラの模型をコントローラとして利用し、模型の動きに連動してロボットカメラを動かす仕組みが提案されている。また、下記の特許文献2では、ロボットアームを模した操作器をコントローラとして利用し、操作器の各関節部における回転角を検出し、その検出結果に応じてロボットカメラを動かす仕組みが提案されている。これらの仕組みは、ロボットアームそのものを手で動かす感覚で操作を行うことができるため、直感的な操作を可能にするものである。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2004-289379号公報
【文献】特開平07-146501号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の仕組みは、あくまでもロボットアームを直接的に操作している感覚を提供するものであり、映像を撮るカメラの動きを直感的に操作するものではない。また、ロボットアームの模型や、ロボットアームを模した操作器を精巧に作製することは容易でなく、特に、複雑な構成を有するロボットアームに上記の仕組みを適用することは現実的ではない。
【0006】
複雑な構成を有するロボットアームは動きの自由度が高く、ロボットカメラを利用することで、従来の撮影機材では実現困難なアングルからの撮影が容易になるなどの利点がある。そのため、ロボットアームの構成や動きを意識せず、より直接的にカメラを動かしている感覚でロボットカメラを操作することが可能な操作系が求められている。
【0007】
本開示の1つの観点によれば、本開示の目的は、より直感的な操作を可能にするリモートカメラシステム、制御システム、制御方法、及び制御プログラムを提供することにある。
【課題を解決するための手段】
【0008】
本開示の第1の態様によれば、メインカメラと、一端がメインカメラに接続され、かつ、一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニット、及びメインカメラの撮像素子上に設定された代表点と参照点とを一致させ、モーションユニットを制御して、第1の動きによりメインカメラの姿勢を変え、第2の動きによりメインカメラの位置を変える制御システムを含む、リモートカメラシステムが提供されうる。
【0009】
また、本開示の第2の態様によれば、メインカメラと、一端がメインカメラに接続され、かつ、一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニットを制御するユニット制御部を備え、ユニット制御部は、メインカメラの撮像素子上に設定された代表点と参照点とを一致させ、モーションユニットを制御して、第1の動きによりメインカメラの姿勢を変え、第2の動きによりメインカメラの位置を変える、制御システムが提供されうる。
【0010】
また、本開示の第3の態様によれば、コンピュータにより、メインカメラと、一端がメインカメラに接続され、かつ、一端との間の位置関係が既知の参照点を原点とする座標系を回転させる第1の動き、及び参照点を移動させる第2の動きが可能なモーションユニットとを有するカメラユニットを制御するステップを含み、制御するステップでは、コンピュータが、メインカメラの撮像素子上に設定された代表点と参照点とを一致させ、モーションユニットを制御して、第1の動きによりメインカメラの姿勢を変え、第2の動きによりメインカメラの位置を変える、制御方法が提供されうる。また、本開示の第4の態様によれば、当該ステップの処理をコンピュータに実行させる制御プログラムが提供されうる。また、本開示の第5の態様によれば、当該制御プログラムが格納されたコンピュータ読み取り可能な非一時的な記録媒体(Non-transitory computer readable storage medium)が提供されうる。
【発明の効果】
【0011】
本開示によれば、より直感的な操作が可能になる。
【図面の簡単な説明】
【0012】
【
図1】本実施形態に係るリモートカメラシステムについて説明するためのブロック図である。
【
図2】本実施形態に係るカメラユニットの構成について説明するためのブロック図である。
【
図3】本実施形態に係るカメラユニットの一構成例(構成例1)を模式的に示した図である。
【
図4】本実施形態に係るカメラユニットの一構成例(構成例2)を模式的に示した図である。
【
図5】本実施形態に係るカメラユニットの一構成例(構成例3)を模式的に示した図である。
【
図6】本実施形態に係るカメラユニットの一構成例(構成例4)を模式的に示した図である。
【
図7】本実施形態に係るカメラユニットの一構成例(構成例5)を模式的に示した図である。
【
図8】本実施形態に係るカメラユニットの一構成例(構成例6)を模式的に示した図である。
【
図9】本実施形態に係るカメラユニットの一構成例(構成例7)を模式的に示した図である。
【
図10】本実施形態に係る制御システムの機能について説明するためのブロック図である。
【
図11】本実施形態に係るリモートカメラシステムにおけるカメラユニットのロケーション制御について説明するための模式図である。
【
図12】本実施形態に係るカメラユニットにおけるTCP設定について説明するための模式図である。
【
図13】本実施形態に係るTCP設定情報について説明するための図表である。
【
図14】(a)は本実施形態に係るカメラユニットのチルト制御について説明するための模式図であり、(b)は本実施形態に係るカメラユニットのパン制御について説明するための模式図である。
【
図15】本実施形態に係るカメラユニット及びメインカメラの動きを規定することが可能なスタジオ座標系、ユニット座標系及びカメラ座標系の関係について説明するための説明図である。
【
図16】(a)は本実施形態に係るカメラユニットのポジション(TCP)制御について説明するための模式図であり、(b)は、本実施形態に係るカメラユニットのポジション(TCP)制御に利用可能な操作手段ついて説明するための模式図である。
【
図17】(a)は本実施形態に係るカメラユニットのポジション(TCP)制御について説明するための模式図であり、(b)は本実施形態に係るカメラユニットのポジション(TCP)制御に利用可能な操作手段ついて説明するための模式図である。
【
図18】(a)は本実施形態に係るカメラユニットのポジション(TCP)制御について説明するための模式図であり、(b)は本実施形態に係るカメラユニットのポジション(TCP)制御に利用可能な操作手段ついて説明するための模式図である。
【
図19】本実施形態に係る固定点(eTCP)基準でのカメラユニットの移動制御について説明するための模式図である。
【
図20】本実施形態に係るアイビューの制御について説明するための模式図である。
【
図21】本実施形態に係るリアビューの制御について説明するための模式図である。
【
図22】本実施形態に係るプリセット情報について説明するための第1の図表である。
【
図23】本実施形態に係るプリセット情報について説明するための第2の図表である。
【
図24】本実施形態に係るシナリオ情報について説明するための図表である。
【
図25】本実施形態に係る操作権限情報について説明するための図表である。
【
図26】本実施形態に係るオペレータシステムの機能について説明するためのブロック図である。
【
図27】本実施形態に係るオペレータシステムのUIとして利用可能なコントローラの一例を模式的に示した図である。
【
図28】本実施形態に係るオペレータシステムのUIとして利用可能なコントローラの他の例を模式的に示した図である。
【
図29】(a)は本実施形態に係るオペレータシステムのUIとして利用可能なジェスチャー操作型デバイスの装着形態を模式的に示した図であり、(b)は本実施形態に係るオペレータシステムのUIとして利用可能なジェスチャー操作型デバイスの操作形態を模式的に示した図である。
【
図30】本実施形態に係るオペレータシステムのUIとして利用可能な着座型オペレーションユニットの例を模式的に示した図である。
【
図31】本実施形態に係るオペレータシステムのUI(リアルタイム操作モード)について説明するための模式図である。
【
図32】本実施形態に係るオペレータシステムのUI(サブビューモード)について説明するための模式図である。
【
図33】本実施形態に係るオペレータシステムのUI(プリセット撮影モード)について説明するための模式図である。
【
図34】本実施形態に係るオペレータシステムのUI(シナリオ撮影モード)について説明するための模式図である。
【
図35】本実施形態に係るプリセット登録に関する処理の流れについて説明するためのフロー図である。
【
図36】本実施形態に係るトレース登録に関する処理の流れについて説明するためのフロー図である。
【
図37】本実施形態に係るシナリオ設定に関する処理の流れについて説明するためのフロー図である。
【
図38】本実施形態に係る操作権限の設定及び移転に関する処理の流れについて説明するためのシーケンス図である。
【
図39】本実施形態に係る制御システムの機能を実現可能なハードウェアについて説明するためのブロック図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
【0014】
[1.リモートカメラシステム]
まず、
図1を参照しながら、本実施形態に係るリモートカメラシステムについて説明する。
図1は、本実施形態に係るリモートカメラシステムについて説明するためのブロック図である。
図1に示したリモートカメラシステム5は、本実施形態に係るリモートカメラシステムの一例である。
【0015】
図1に示すように、リモートカメラシステム5は、カメラユニット10a、10bと、リアビューカメラ20a、20bと、オペレータシステム30a、30bと、制御システム40とを含む。ここでは説明を簡単にするために、カメラユニットの数を2、リアビューカメラの数を2、オペレータシステムの数を2に設定しているが、いずれの数も2以外であってよい。
【0016】
カメラユニット10a、10bは、スタジオ内に配置され、主に放送用の映像を撮影するための機材である。後述するように、カメラユニット10a、10bの主な構成は同じである。カメラユニット10a、10bは、振動を抑制するための制震機構を備えてもよく、さらに、動作音を抑制するための静音機構を備えてもよい。制震機構としては、例えば、ゴムやバネなどの弾性部材を利用して防振するシステムや、ジャイロセンサなどのモーションセンサの出力に応じて逆位相に筐体を動かすことで振動を抑制する防振システムなどを適用することができる。静音機構としては、筐体の内外に配置される吸音部材などがある。また、筐体内部の温度を下げる冷却ファンや、電源に搭載される電源ファンなどを、静音性の高いファンにする方法により静音性を高めてもよい。
【0017】
リアビューカメラ20a、20bは、スタジオ内に配置され、カメラユニット10a、10bの周囲から、カメラユニット10a、10bを画角に含む視点での映像を撮影するために利用されうるカメラである。なお、説明の都合上、以下では、リアビューカメラ20a、20bをカメラユニット10a、10bの後方に設置し、カメラユニット10a、10bを画角に含む視点(以下、リアビュー)からの映像(以下、リアビュー映像)を出力する形態を例に説明するが、リアビューカメラ20a、20bの配置はこの例に限定されない。そして、“リアビュー”カメラと呼称するが、カメラユニット10a、10bを側面、斜め前方、上方、下方から撮るカメラであってもよい。後述するように、リアビューカメラ20a、20bの主な構成は同じである。
【0018】
オペレータシステム30a、30bは、カメラユニット10a、10bを操作するオペレータが利用するシステムである。また、オペレータシステム30a、30bは、リアビューカメラ20a、20bの操作に利用されてもよい。例えば、オペレータは、オペレータシステム30a、30bのいずれか又は他のオペレータシステムを利用してリアビューカメラ20a、20bのパン・チルトを操作してもよい。後述するように、オペレータシステム30a、30bの主な構成は同じである。
図1の例では、オペレータシステム30aがスタジオ内に配置され、オペレータシステム30bがコントロールルーム(例えば、副調整室や中継車など)に配置されている。このように、オペレータシステム30a、30bの利用場所は、スタジオ内であってもよいし、コントロールルーム内であってもよいし、或いは、その他の場所(例えば、別のスタジオや遠隔地の放送局など)であってもよい。
【0019】
制御システム40は、オペレータシステム30a、30bによる操作入力に応じて、カメラユニット10a、10bの動作を制御するシステムである。また、制御システム40は、リアビューカメラ20a、20bから出力されるリアビュー映像をオペレータシステム30a、30bに提供する機能、及びオペレータシステム30a、30bに対して設定されるカメラユニット10a、10bの操作権限を管理する機能などを有する。
図1の例では、制御システム40は、コントロールルームに配置されている。
【0020】
以下では、
図1のシステム構成を例に説明を進めるが、本実施形態に係るリモートカメラシステムのシステム構成は
図1の例に限定されない。例えば、本実施形態に係るリモートカメラシステムは、スタジオ撮影に限定されず、屋内外のスポーツ施設、イベント会場、コンサートホール、コンベンション会場、或いは、式場などでの撮影にも適用可能である。以下、リモートカメラシステム5の各構成要素について、さらに説明する。
【0021】
[2.カメラユニット]
図2を参照しながら、本実施形態に係るカメラユニットの構成について説明する。
図2は、本実施形態に係るカメラユニットの構成について説明するためのブロック図である。上記の通り、カメラユニット10a、10bの主な構成は同じであるため、カメラユニット10aについて詳細に説明し、カメラユニット10bについては説明を省略する。
【0022】
図2に示すように、カメラユニット10aは、メインカメラ11と、アイビューカメラ12と、モーションユニット13と、コントロールボックス14とを有する。
【0023】
メインカメラ11は、放送映像を出力するための撮像装置である。メインカメラ11は、レンズや光学フィルタなどの光学素子、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)などの撮像素子、及びDSP(Digital Signal Processor)、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)などのプロセッサを搭載する。
【0024】
また、メインカメラ11は、有線又は無線のネットワーク或いは専用の通信回線を通じて制御システム40と通信するための通信インターフェースを搭載している。メインカメラ11から出力される映像(以下、メイン映像)は、通信インターフェースを介して制御システム40に伝送される。なお、メインカメラ11は、マイクを搭載していてもよい。また、メインカメラ11は、オペレータシステム30a、30bと直接通信するための通信手段を搭載していてもよい。
【0025】
アイビューカメラ12は、カメラユニット10aを操作するオペレータにカメラマン目線で見たスタジオ内の様子を映像として提供するための撮像装置である。アイビューカメラ12は、メインカメラ11をカメラマンが手動で操作すると仮定した場合にカメラマンの目が位置する位置又はその近傍に設置されることが好ましい。例えば、アイビューカメラ12は、メインカメラ11の筐体に物理的に固定されてよい。
【0026】
アイビューカメラ12は、人間の視野より広い画角を有する広角カメラである。例えば、アイビューカメラ12は、全方位映像(360°映像)を得ることが可能な全方位カメラであってもよいし、カメラユニット10aを取り囲む広い範囲の映像(180°映像、270°映像など)を得ることが可能な広角カメラであってもよい。アイビューカメラ12は、有線又は無線のネットワーク或いは専用の通信回線を通じて制御システム40と通信するための通信インターフェースを搭載している。アイビューカメラ12から出力される映像は、通信インターフェースを介して制御システム40に伝送される。なお、アイビューカメラ12は、オペレータシステム30a、30bと直接通信するための通信手段を搭載していてもよい。
【0027】
モーションユニット13は、スタジオ内におけるカメラユニット10aの位置(以下、ロケーション)、及び、メインカメラ11の基準位置(以下、ポジション)及び姿勢を変化させるための機材である。モーションユニット13の形態は多種多様であってよい。例えば、ロケーションが固定の形態であってもよいし、ポジション及び姿勢の変化範囲に制約がある形態であってもよい。ここで、
図3~
図9を参照しながら、モーションユニット13の可能な形態(カメラユニット10aの構成例1~構成例7)について説明する。
【0028】
図3を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例1)について説明する。
図3は、本実施形態に係るカメラユニットの一構成例(構成例1)を模式的に示した図である。
【0029】
構成例1は、ロボットアーム13a及びベース13bを用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0030】
構成例1において、ロボットアーム13aは、6軸のロボットアームであり、アームの先端が届く範囲でメインカメラ11の位置を空間内の任意の位置に移動することができる。また、ロボットアーム13aは、各関節部の回動によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。ベース13bは、車輪やモータなどの移動機構(非図示)を有し、自走によりスタジオ内を移動することができる。構成例1によれば、モーションユニット13は、ロケーション、ポジション、パン・チルトを自由に制御できる。
【0031】
次に、
図4を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例2)について説明する。
図4は、本実施形態に係るカメラユニットの一構成例(構成例2)を模式的に示した図である。
【0032】
構成例2は、ロボットアーム13a、昇降機構UD1、及びベース13b1を用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0033】
構成例2において、ロボットアーム13aは、6軸のロボットアームであり、アームの先端が届く範囲でメインカメラ11の位置を空間内の任意の位置に移動することができる。また、ロボットアーム13aは、各関節部の回動によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。昇降機構UD1は、ロボットアーム13aを昇降させることができる。ベース13b1は、レールに沿って移動するための車輪を有し、レールで規定される移動経路に沿ってスタジオ内を移動することができる。構成例2によれば、モーションユニット13は、レールに沿ってロケーションを変えることができ、ポジション、パン・チルトを自由に制御できる。
【0034】
次に、
図5を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例3)について説明する。
図5は、本実施形態に係るカメラユニットの一構成例(構成例3)を模式的に示した図である。
【0035】
構成例3は、ロボットアーム13a、ペデスタルUD2、及びベース13bを用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0036】
構成例3において、ロボットアーム13aは、6軸のロボットアームであり、アームの先端が届く範囲でメインカメラ11の位置を空間内の任意の位置に移動することができる。また、ロボットアーム13aは、各関節部の回動によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。ペデスタルUD2は、ロボットアーム13aを昇降させることができる。ベース13bは、車輪やモータなどの移動機構(非図示)を有し、自走によりスタジオ内を移動することができる。構成例3によれば、モーションユニット13は、ロケーション、ポジション、パン・チルトを自由に制御できる。
【0037】
次に、
図6を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例4)について説明する。
図6は、本実施形態に係るカメラユニットの一構成例(構成例4)を模式的に示した図である。
【0038】
構成例4は、ロボットアーム13a及び三脚13b2を用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0039】
構成例4において、ロボットアーム13aは、6軸のロボットアームであり、アームの先端が届く範囲でメインカメラ11の位置を空間内の任意の位置に移動することができる。また、ロボットアーム13aは、各関節部の回動によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。三脚13b2は、移動できず、特定のロケーションでロボットアーム13aを支持する。構成例4によれば、モーションユニット13は、ロケーションを変えることはできないが、特定のロケーションでポジション、パン・チルトを自由に制御できる。
【0040】
次に、
図7を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例5)について説明する。
図7は、本実施形態に係るカメラユニットの一構成例(構成例5)を模式的に示した図である。
【0041】
構成例5は、雲台13a1、昇降機構UD3、及びベース13bを用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0042】
雲台13a1は、回転軸の回動によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。昇降機構UD3は、雲台13a1を昇降させることができる。ベース13bは、車輪やモータなどの移動機構(非図示)を有し、自走によりスタジオ内を移動することができる。構成例5によれば、モーションユニット13は、ロケーションを自由に変えることができ、また、ポジションを鉛直方向に変えることができ、さらに、パン・チルトを自由に制御できる。
【0043】
次に、
図8を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例6)について説明する。
図8は、本実施形態に係るカメラユニットの一構成例(構成例6)を模式的に示した図である。
【0044】
構成例6は、クレーン13a2、ペデスタルUD4、及びベース13bを用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0045】
クレーン13a2は、ペデスタルUD4との接続部を基点としてメインカメラ11の位置を水平面内で移動することができ、さらに、ペデスタルUD4のアームを傾ける動きによりメインカメラ11の位置を下げつつチルト方向に傾けることができる。また、クレーン13a2の先端に設けられた回転機構によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。ペデスタルUD4は、クレーン13a2を昇降させることができる。ベース13bは、車輪やモータなどの移動機構(非図示)を有し、自走によりスタジオ内を移動することができる。構成例6によれば、モーションユニット13は、ロケーションを自由に制御でき、クレーン13a2の可動範囲内でポジション、パン・チルトを制御できる。
【0046】
次に、
図9を参照しながら、本実施形態に係るカメラユニットの一構成例(構成例7)について説明する。
図9は、本実施形態に係るカメラユニットの一構成例(構成例7)を模式的に示した図である。
【0047】
構成例7は、ロボットアーム13a3及びベース13bを用いてモーションユニット13を構成した場合のカメラユニット10aの構成例である。
【0048】
ロボットアーム13a3は、先端部の回転機構及び軸a~fを有する7軸のロボットアームであり、アームの先端が届く範囲でメインカメラ11の位置を空間内の任意の位置に移動することができる。また、ロボットアーム13aは、各関節部の回動によりメインカメラ11の向きをパン方向及びチルト方向に傾けることができる。ベース13bは、車輪やモータなどの移動機構(非図示)を有し、自走によりスタジオ内を移動することができる。構成例7によれば、モーションユニット13は、ロケーション、ポジション、パン・チルトを自由に制御できる。
【0049】
上記のように、モーションユニット13は様々な形態を取り得るが、以下では、説明を簡単にするために
図3に示した構成例1を例に説明を進める。
【0050】
再び
図2を参照する。モーションユニット13は、ロボットアーム13aと、ベース13bとを有する。モーションユニット13は、コントロールボックス14に接続され、コントロールボックス14を介して制御システム40から受信した制御信号に応じて、ロボットアーム13a及びベース13bを動かす。図示しないが、コントロールボックス14は、制御システム40と通信するための通信インターフェース、カメラユニット10aの制御を行うプロセッサ、及びカメラユニット10aの駆動用電源を搭載していてもよい。
【0051】
[3.制御システム]
次に、
図10を参照しながら、制御システム40を例に、本実施形態に係る制御システムの機能について説明する。
図10は、本実施形態に係る制御システムの機能について説明するためのブロック図である。
【0052】
図10に示すように、制御システム40は、ユニット制御部41と、メイン映像出力部42と、アイビュー提供部43と、リアビュー提供部44と、通信ツール提供部45と、カメラワーク実行部46と、権限管理部47と、記憶部48とを有する。
【0053】
ユニット制御部41は、カメラユニット10a、10bの動作を制御する。例えば、ユニット制御部41は、メインカメラ11による撮像動作の制御、アイビューカメラ12による撮像動作の制御、ロボットアーム13aによるポジション及びパン・チルトの制御、及び、ベース13bによるロケーションの制御を実行する。
【0054】
(ロケーション制御について)
ここで、
図11を参照しながら、本実施形態に係るリモートカメラシステムにおけるカメラユニットのロケーション制御について説明する。
図11は、本実施形態に係るリモートカメラシステムにおけるカメラユニットのロケーション制御について説明するための模式図である。
【0055】
図11には、出演者m1、…、m4、スタジオセットobj、tbl、scr、及びリアビューカメラ20a、20bが配置されたスタジオ内の様子が模式的に示されている。以下の説明において、表記を簡単にするため、カメラユニット10aをUN1、カメラユニット10bをUN2、リアビューカメラ20aをRVC1、リアビューカメラ20bをRVC2、メインカメラ11をMCと表記する場合がある。
【0056】
図11の例では、スタジオ内に5つのロケーション(LOC1、…、LOC5)が設定されている。LOC1、LOC2は、カメラ庫に設定されたロケーションである。例えば、ユニット制御部41は、ベース13bを制御し、移動経路MV13に沿って、LOC1に配置されていたUN1を撮影開始前にLOC3へと移動させる。同様に、ユニット制御部41は、移動経路MV25に沿って、LOC2に配置されていたUN2を撮影開始前にLOC5へと移動させる。
【0057】
UN1、UN2の位置は、スタジオ内に設定された基準点s0を原点とする2次元座標系により表現されうる。以下の説明では、説明を簡単にするために、s0を原点とし、直交する2つの軸sX、sYで規定される座標系を想定し、この座標系の座標値を用いて、スタジオ内に設定されたロケーション、スタジオ内でのUN1、UN2のロケーション、及びRVC1、RVC2のロケーションを表現する場合がある。例えば、LOCn(n=1,…,5)は、座標値(sXn,sYn)で表現されうる。
【0058】
ある時点におけるUNk(k=1,2)のロケーションを特定する方法としては、例えば、スタジオ内に電波を発信するステーションを配置し、UNkが受信する電波の強度に基づいて特定する方法がある。他の方法としては、UNkにGPS(Global Positioning System)ユニットを搭載し、GPSデータを利用してUNkのロケーションを特定する方法がある。さらに、UNkにモーションセンサを搭載し、モーションセンサの出力に基づいて移動経路を求め、現在のロケーションを特定する方法がある。また、リアビューカメラ20a、20bを利用し、UNkの画を含むリアビュー映像の映像解析により現在のロケーションを特定する方法がある。映像解析の方法としては、例えば、物体認識やトラッキングの技術などを適用することができる。また、映像解析の精度を高めるためにAI(Artificial Intelligence)技術が適用されてもよい。なお、ロケーションの特定方法は、これらの例に限定されず、任意の方法が適用されうる。
【0059】
ユニット制御部41は、上記のような方法によりUNkのロケーションを把握し、オペレータの操作に応じてUNkのロケーションを制御する。UN1、UN2のロケーションをリアルタイムに把握できることで、ユニット制御部41は、UN1、UN2の移動経路が交わらないように空間的及び時間的に両者の移動経路をずらして両者の衝突を避けたり、UN1、UN2がメイン映像が含まれることを避けたり、或いは、本来メイン映像に含まれるべきでない物体(例えば、レールや照明など)が含まれることを避けることもできる。ロケーションの制御は、オペレータによるリアルタイム操作により実行されてもよいし、事前にオペレータにより設定された制御内容(後述するプリセット及びシナリオ)に基づいて実行されてもよい。
【0060】
(TCP(Tool Center Point)設定について)
次に、
図12(a)及び(b)を参照しながら、本実施形態に係るカメラユニットにおけるTCP設定について説明する。
図12(a)は、本実施形態に係るカメラユニットにおけるTCP設定について説明するための模式図である。
図12(b)は、本実施形態に係るカメラユニットにおけるTCP設定について説明するための模式図である。
【0061】
ロボットアーム13aが有する各関節の動き(各軸の回転角)は、コントロールボックス14が制御する。ロボットアーム13aには、TCPと呼ばれる参照点が設定されている。例えば、TCPは、ロボットアーム13aの先端部(メインカメラ11が接続される側の端部)付近に設定されている。コントロールボックス14は、TCPの変位を伝える制御信号に応じて、その変位に対応する各軸の回転角を特定し、特定した回転角だけロボットアーム13aの各軸を回転させる。つまり、TCPの位置を指定すれば、コントロールボックス14が自動的にロボットアーム13aを適切な形状に変形させる。
【0062】
TCPの位置は変更可能である。リモートカメラシステム5では、メインカメラ11(MC)の撮像素子上に設定された代表点とロボットアーム13aのTCPとが一致するようにTCPの位置を設定する。
【0063】
例えば、
図12(a)に示すように、ロボットアーム13aに予め設定されているTCP(TCP0)をMCの撮像素子IS1上の点TCP1に変更する。TCP1は、撮像素子IS1と、レンズ系LS1の光軸AXとの交点である。ロボットアーム13aのTCPをTCP1に設定することで、オペレータは、TCP1を基準にMCのポジションを動かすことが可能になる。つまり、オペレータがMCの像平面を基準にMCを動かすことになり、より直感的な操作感をもたらすことができる。
【0064】
通常、MCの筐体底面に設けられる接続部(例えば、ネジ穴)は、光軸AXの直上に設けられる。また、フランジ面から撮像素子IS1までの距離FB1は既知である。そのため、TCP0とTCP1との間の光軸AX上の距離d11は容易に得られる。また、光軸AXはレンズ系LS1の中心を通るため、光軸AXとTCP0との間の距離d12も容易に得られる。
図12(b)に示すように、MCの種類が変わっても、同様の方法で、TCP0と変更後のTCP(TCP2)との位置関係は容易に得られる。
【0065】
ロボットアーム13aにおけるTCP0と変更後のTCPとの位置関係を示す情報は、TCP設定情報48aとして記憶部48に予め格納されてよい。TCP設定情報48aは、例えば、
図13に示すような情報を含む。
図13は、本実施形態に係るTCP設定情報について説明するための図表である。
【0066】
図12(a)及び(b)に示すように、光軸AXをcY軸、撮像素子の行方向をcZ軸、撮像素子の列方向をcX軸とする座標系を考えると、TCP0と変更後のTCPとの位置関係を示すTCP移動量は、主にcY軸に沿った変位dcY及びcZ軸に沿った変位dcZにより表現されうる。TCP0が光軸AXの直下にない場合、TCP移動量は、cX軸に沿った変位dcXを含む。
【0067】
ユニット制御部41は、TCP設定情報48aを参照し、UNkに含まれるMCの種類に応じたTCP移動量を特定し、特定したTCP移動量をUNkのコントロールボックス14に伝えてTCPの位置を変更する。これにより、MCの種類が変更されても、オペレータは、MCの像平面を基準にMCのポジションを動かすことができる。つまり、オペレータは、MCの種類を意識することなく、また、ロボットアーム13aの動きを意識することなく、直感的にMCのポジションを制御することが可能になる。
【0068】
また、ロボットアーム13aは、
図14(a)及び(b)に示すように、変更後のTCPを基準にMCのパン・チルトを変えることができる。
図14(a)は、本実施形態に係るカメラユニットのチルト制御について説明するための模式図である。
図14(b)は、本実施形態に係るカメラユニットのパン制御について説明するための模式図である。以下、変更後のTCPを単にTCPと表記する場合がある。また、cX軸を回転軸とするチルト方向の回転角をθx、cZ軸を回転軸とするパン方向の回転角をθzと表記する。
【0069】
図14(a)及び(b)に示すように、光軸と撮像素子との交点に設定されたTCPを基準にMCをパン・チルトすると像平面をその場で傾けていることになる。そのため、オペレータは、MCの種類を意識することなく、また、ロボットアーム13aの動きを意識することなく、直感的にMCのパン・チルトを制御することが可能になる。
【0070】
(座標系の整理)
ここで、
図15を参照しながら、本実施形態に係るカメラユニット及びメインカメラの動きを規定するスタジオ座標系、ユニット座標系及びカメラ座標系の関係について整理する。
図15は、本実施形態に係るカメラユニットの動きを規定することが可能なスタジオ座標系、ユニット座標系及びカメラ座標系の関係について説明するための説明図である。
【0071】
以下、上述したsX軸及びsY軸で規定される座標系を「スタジオ座標系」と呼ぶことにする。また、上述したcX軸、cY軸、cZ軸で規定される座標系を「カメラ座標系」と呼ぶことにする。カメラ座標系の原点OcはTCPの位置とする。さらに、UNk(k=1,2)のロケーションを示す座標点を原点とし、スタジオ座標系に直交する軸をuZ軸、uZ軸に直交する一の軸をuX軸、uZ軸及びuX軸に直交する他の軸をuY軸とする「ユニット座標系」を導入する。UNkについてのユニット座標系の原点Ouは、UNkのロケーションとする。
【0072】
図15に示すように、ユニット座標系を導入すると、UNkのロケーションと、TCPとの位置関係をユニット座標系の座標点(uX,uY,uZ)で表現することができる。つまり、TCPの移動は、ユニット座標系におけるTCPの移動として表現されうる。また、TCPを基準とするMCのパン・チルト制御は、カメラ座標系における光軸方向の移動として表現されうる。光軸方向は、例えば、カメラ座標系の原点Ocから光軸に沿って物体側へ延びる単位ベクトルで表現されうる。
【0073】
UNkのロケーション変更は、スタジオ座標系におけるロケーション座標の変更として表現されることから、ユニット制御部41は、スタジオ座標系の座標点を指示してUNkのロケーションを制御し、ユニット座標系の座標点を指示してMCのTCPを制御し、カメラ座標系の座標点を指定してMCのパン・チルトを制御することができる。このように、TCPという一点を基準にMCの位置や姿勢を制御することで、UNkの構成が変わっても同じ仕組みで、同じ位置から同じ向きにカメラを向けることが可能になる。
【0074】
(三面独立制御について)
上記のように、モーションユニット13の適用によりTCPを三次元的に移動させ、MCの位置を自由に動かすことができる。しかし、オペレータがMCの動きを把握しやすくする観点から、リモートカメラシステム5は、
図16(a)~
図18(b)に示すような制御の仕組み(以下、三面独立制御)を備えてもよい。この仕組みは、TCPをuX-uZ面内で移動させる第1の操作(
図16(a)及び(b))と、uY-uZ面内で移動させる第2の操作(
図17(a)及び(b))と、uX-uY面内で移動させる第3の操作(
図18(a)及び(b))とを分離する。以下、第1の操作、第2の操作、第3の操作について順に説明する。
【0075】
図16(a)には、uX-uZ面内の4つのポジション(POS11、…、POS14)を通るようにMCが動いている様子が模式的に示されている。また、
図16(b)には、操作インターフェース301と、操作インターフェース301のうち、第1の操作に用いる第1の操作領域(uZ-uX OPERATION)を操作する操作体302とが示されている。
図16(a)は、本実施形態に係るカメラユニットのポジション(TCP)制御について説明するための模式図である。
図16(b)は、本実施形態に係るカメラユニットのポジション(TCP)制御に利用可能な操作手段について説明するための模式図である。
【0076】
第1の操作領域はuZ-uX面に対応し、
図16(b)に示すように、操作体302により第1の操作領域を操作すると、
図16(a)に示すように、その操作に追従してTCPが移動する。
図16(b)の例では、左回りに円を描くように操作体302が移動しているため、これに追従してTCPもuZ-uX面内で左回りに移動している。このように、第1の操作領域を独立させることで、MCの動きをuZ-uX面内に制限することができる。MCの動きがuZ-uX面内に制限されることで、オペレータは、MCが光軸に垂直な面内で移動していることを認識しつつ安心して操作を行うことができる。
【0077】
図17(a)には、uY-uZ面内の4つのポジション(POS21、…、POS24)を通るようにMCが動いている様子が模式的に示されている。また、
図17(b)には、操作インターフェース301と、操作インターフェース301のうち、第2の操作に用いる第2の操作領域(uY-uZ OPERATION)を操作する操作体302とが示されている。
図17(a)は、本実施形態に係るカメラユニットのポジション(TCP)制御について説明するための模式図である。
図17(b)は、本実施形態に係るカメラユニットのポジション(TCP)制御に利用可能な操作手段について説明するための模式図である。
【0078】
第2の操作領域はuY-uZ面に対応し、
図17(b)に示すように、操作体302により第2の操作領域を操作すると、
図17(a)に示すように、その操作に追従してTCPが移動する。
図17(b)の例では、左回りに円を描くように操作体302が移動しているため、これに追従してTCPもuY-uZ面内で左回りに移動している。このように、第2の操作領域を独立させることで、MCの動きをuY-uZ面内に制限することができる。MCの動きがuY-uZ面内に制限されることで、オペレータは、MCが光軸を含む垂直面内で移動していることを認識しつつ安心して操作を行うことができる。
【0079】
図18(a)には、uX-uY面内の4つのポジション(POS31、…、POS34)を通るようにMCが動いている様子が模式的に示されている。また、
図18(b)には、操作インターフェース301と、操作インターフェース301のうち、第3の操作に用いる第3の操作領域(uX-uY OPERATION)を操作する操作体302とが示されている。
図18(a)は、本実施形態に係るカメラユニットのポジション(TCP)制御について説明するための模式図である。
図18(b)は、本実施形態に係るカメラユニットのポジション(TCP)制御に利用可能な操作手段について説明するための模式図である。
【0080】
第3の操作領域はuX-uY面に対応し、
図18(b)に示すように、操作体302により第3の操作領域を操作すると、
図18(a)に示すように、その操作に追従してTCPが移動する。
図18(b)の例では、左回りに円を描くように操作体302が移動しているため、これに追従してTCPもuX-uY面内で左回りに移動している。このように、第3の操作領域を独立させることで、MCの動きをuX-uY面内に制限することができる。MCの動きがuX-uY面内に制限されることで、オペレータは、MCが光軸を含む水平面内で移動していることを認識しつつ安心して操作を行うことができる。
【0081】
なお、操作インターフェース301は、オペレータシステム30a、30bに表示されるGUI(Graphical User Interface)であってもよいし、後述するコントローラの操作系であってもよい。コントローラの操作系に第1~第3の操作を独立して割り当てる場合、
図16(b)、
図17(b)、及び
図18(b)に示した操作領域とは異なり、物理的な操作手段に第1~第3の操作がそれぞれ割り当てられる。操作インターフェース301の機能を提供する操作系については後段でさらに説明する。
【0082】
(三面独立制御の変形例)
上記の説明では、ユニット座標系を規定する3つの軸のうち2つの軸で形成される3つの面内の動きをそれぞれ独立して制御する操作系について説明したが、カメラ座標系の3つの軸に置き換えて同様の操作系を実現することも可能である。この場合、上記のuXをcX、uYをcY、uZをcZと置き換えることで、カメラ座標系を基準とする三面独立制御が実現されうる。
【0083】
さらに、光軸に垂直な第1の面、メインカメラの上方向(例えば、撮像素子の列方向)を示す軸と光軸とを含む第2の面、その軸及び光軸に直交する他の軸と光軸とを含む第3の面を想定し、第1の面内での動き、第2の面内での動き、第3の面内での動きを独立して制御する操作系を実現することも可能である。例えば、上記のuZ-uX面を第1の面、uY-uZ面を第2の面、uX-uY面を第3の面に置き換えれば、上述した三面独立制御の仕組みをそのまま応用することができる。これらの変形例についても当然に本実施形態の技術的範囲に属する。
【0084】
(固定点基準での移動制御について)
次に、
図19を参照しながら、本実施形態に係る固定点(eTCP)基準でのカメラユニットの移動制御について説明する。
図19は、本実施形態に係る固定点(eTCP)基準でのカメラユニットの移動制御について説明するための模式図である。
【0085】
MCの移動を制限する方法としては、
図19に示すように、ターゲットとなる固定点(eTCP)を設定し、光軸がeTCPを通り、TCPがeTCPを中心とする円軌道を描くように制御する方法がある。この方法を適用する場合、ユニット制御部41は、カメラ座標系の原点Ocを上記の円軌道に沿って移動させながら、光軸を示す単位ベクトルがeTCPを指し示すようにカメラ座標系内のパン角θzを制御する。
図19の例では、説明の都合上、MCが二次元的に移動する様子を示しているが、eTCPを中心とする球面上を自由に動かすこともできる。この場合、カメラ座標系内のパン角θzだけでなく、チルト角θxも制御されうる。この制御方法によれば、eTCPの位置にある被写体を様々な角度から容易に撮影できる。
【0086】
以上説明したように、ユニット制御部41は、カメラユニット10a、10bのロケーションを制御し、TCPを動かしてメインカメラ11のポジションを制御し、さらに、TCPを通る軸を回転軸としてメインカメラ11をパン・チルト制御する。この仕組みにより、より直感的な操作系を実現することができる。また、メインカメラ11の位置及び向きがスタジオ座標系、ユニット座標系、及びカメラ座標系における座標値で特定できるため、これらの座標値を指定することで、特定の撮影状況を再現することが可能になる。
【0087】
再び
図10を参照する。メイン映像出力部42は、メインカメラ11から出力されるメイン映像の映像信号を処理し、メイン映像をオペレータシステム30a、30bに提供する。例えば、メイン映像出力部42は、メイン映像の解像度を下げるダウンコンバージョン処理や映像信号の圧縮処理を実行し、処理後のメイン映像をオペレータシステム30a、30bに提供してもよい。これらの処理により、制御システム40からオペレータシステム30a、30bへとメイン映像を伝送する際の負荷が低減されうる。また、オペレータシステム30a、30bにおけるメイン映像の表示処理における負荷が低減されうる。
【0088】
(アイビュー映像について)
アイビュー提供部43は、アイビューカメラ12から出力される映像を処理し、処理後の映像をアイビュー映像としてオペレータシステム30a、30bに提供する。例えば、アイビュー提供部43は、オペレータシステム30aを利用してカメラユニット10aを操作しているオペレータの視線方向を示す情報を取得し、アイビューカメラ12の出力映像のうち視線方向に対応する範囲(以下、視線範囲)の映像を切り出す。そして、アイビュー提供部43は、切り出した映像をアイビュー映像としてオペレータシステム30aに提供する。
【0089】
アイビューカメラ12の出力映像が全方位映像である場合、アイビュー提供部43は、
図20に示すような方法でアイビュー映像を切り出す。
図20は、本実施形態に係るアイビューの制御について説明するための模式図である。
【0090】
図20に示すように、全方位映像は、アイビューカメラ12の位置を中心とする天球面43a(仮想球面)に投影される映像とみなすことができる。天球面43aの中心を原点し、互いに直交するeX軸、eY軸、eZ軸で規定される座標系を設定し、eY軸を視線方向の基準となる正面、eZ軸をオペレータの頭頂に設定すると、視線方向は、天球面43aの一点(視線43c)を指す単位ベクトルで表現されうる。なお、
図20の例では、eY軸が光軸AXに一致するように設定されている。
【0091】
人間の視野は上側に約60°、下側に約70°、耳側に約100°であり、視線43cの方向を見ているオペレータには、視線43cの上側(+eZに向かう方向)に約70°、下側(-eZに向かう方向)に約60°、右側/左側(+eX/-eXに向かう方向)に約100°の範囲が見える。そこで、視界範囲43bを規定する角度L、Hは、人間の視野に合わせてL=130°、H=200°に設定されてよい。また、Hは、水平視野の安定注視野に相当する60°~90°、Lは、垂直視野の安定注視野に相当する45°~70°の範囲に設定されてよい。
【0092】
オペレータがHMD(Head Mounted Display)やスマートグラスのような頭部装着型のデバイスを装着し、そのデバイスにモーションセンサが搭載されている場合には、モーションセンサの出力に基づいてオペレータの視線方向を推定することができる。また、オペレータの顔を正面から撮影し、画像処理により視線検知することでオペレータの視線方向を推定することができる。これらの推定結果が制御システム40にリアルタイムで入力される仕組みを適用すれば、オペレータの視線に視界範囲43bを追従させることができる。
【0093】
アイビューカメラ12はカメラマンの目線が位置する場所の近傍に設置されるため、視界範囲43bを切り出した映像をオペレータに提供することで、オペレータは、実際にスタジオ内でメインカメラ11を操作している仮想カメラマンの視界を得ることができる。
【0094】
(リアビュー映像について)
リアビュー提供部44は、リアビューカメラ20a、20bから出力されるリアビュー映像の映像信号を処理し、リアビュー映像をオペレータシステム30a、30bに提供する。また、リアビュー提供部44は、オペレータの操作に応じてリアビューカメラ20a、20bのパン・チルト・ズームを制御してもよい。
【0095】
リアビューカメラ20a、20bは、カメラユニット10a、10bを後方から撮影し、オペレータがカメラユニット10a、10bの状態を確認できるようにするためのリアビュー映像を提供するカメラである。そのため、自らが操作しているカメラユニットが映っていないリアビュー映像が提供されても、オペレータは、そのリアビュー映像からカメラユニットの状態を把握することはできない。そこで、リアビュー提供部44は、カメラユニット10a、10bのロケーションと、リアビューカメラ20a、20bのロケーションとの関係を利用して、どのリアビュー映像をどのオペレータに提供するかを判断してもよい。
【0096】
ここで
図11を参照し、
図11に示した状況を例にリアビュー映像の提供先を判断する方法について説明する。
図11の例では、スタジオ内にRVC1、RVC2が設置されている。また、LOC3にUN1が、LOC5にUN2が配置されている。RVC1はLOC3の後方に位置しており、
図21に示すように、LOC3にあるUN1を後方から撮影することができる。
図21は、本実施形態に係るリアビューの制御について説明するための模式図である。しかし、LOC5にあるUN2はRVC1の画角に入らない。RVC2はLOC5の後方に位置しており、LOC3にあるUN1はRVC2の画角に入らない。
【0097】
例えば、オペレータシステム30aでUN1が操作され、オペレータシステム30bでUN2が操作されている場合、リアビュー提供部44は、RVC1から出力されるリアビュー映像をオペレータシステム30aに提供し、RVC2から出力されるリアビュー映像をオペレータシステム30bに提供する。仮に、RVC1、RVC2のいずれもがLOC4にあるUNを捉えることができる状況にあるとき、リアビュー提供部44は、そのUNの全体を映しているRVCの出力、或いは、そのUNをより大きく映しているRVCの出力をオペレータに提供してもよい。
【0098】
(コミュニケーションツールについて)
再び
図10を参照する。通信ツール提供部45は、カメラユニット10a、10bを操作するオペレータ同士、或いは、撮影作業に関わる他のスタッフとオペレータとの間で音声又はテキストによる意思疎通を図るためのコミュニケーションツールを提供する。例えば、通信ツール提供部45は、オペレータシステム30a、30bの間で文字情報をやり取りするためのチャットツールを提供する。また、通信ツール提供部45は、オペレータシステム30a、30bの間でやり取りされた文字情報を通信ログ48fとして記憶部48に格納してもよい。
【0099】
(プリセット・シナリオ・リアルタイム操作について)
カメラワーク実行部46は、オペレータシステム30a、30bによる操作に応じて、ユニット制御部41にカメラワークを指示し、ユニット制御部41を介してカメラユニット10a、10bを制御する。カメラワーク実行部46は、プリセット実行部46a、シナリオ実行部46b、及びリアルタイム操作部46cを有する。
【0100】
プリセット実行部46aは、ロケーション、ポジション、パン・チルト、及びメインカメラ11の設定情報を含むプリセットDB48bに基づいてカメラユニット10a、10bの動作を制御する。プリセットDB48bは、
図22及び
図23に示すような内容を含む。
図22は、本実施形態に係るプリセット情報について説明するための第1の図表である。
図23は、本実施形態に係るプリセット情報について説明するための第2の図表である。
【0101】
図22に示すように、プリセットDB48bには、プリセット番号(PRESET NUMBER)と、ロケーション情報(LOCATION)と、メインカメラの位置決め情報(POSITIONING)と、ズーム(ZOOM)の情報と、サムネイルとが含まれる。
【0102】
プリセット番号は、個々のプリセット情報を識別するための識別番号である。ロケーション情報は、カメラユニットが配置されるロケーションの情報を含む。例えば、ロケーション情報は、ロケーションを識別するための識別情報と、そのロケーションに対応するスタジオ座標系の座標値とが含まれてよい。
【0103】
メインカメラの位置決め情報は、TCPの座標情報を含む。TCPは、対応するユニット座標系の座標値で表現されうる。パン・チルト角は、TCPを原点とするカメラ座標系のcX軸を回転軸とする回転角θxと、cZ軸を回転軸とする回転角θzとで表現されうる。ズームの情報は、レンズ系の焦点距離で表現されてもよいし、基準の焦点距離とズーム倍率との組み合わせで表現されてもよい。
【0104】
サムネイルは、メイン映像から生成されるサムネイル画像である。例えば、プリセット番号がPS001のプリセット情報は、カメラユニットがLOC4にあり、ユニット座標系の座標値が(10.0,50.0,1500)の位置にTCPがあり、チルト角が0.0度、パン角が10.0度、レンズ系の焦点距離が50.3mmの場合に、そのカメラユニットのメインカメラ11から出力されるメイン映像のサムネイルを含む。
【0105】
上記のプリセット情報を利用してカメラユニットを制御すると、サムネイルに対応するメイン映像を撮影したときと同じ位置で同じ向きにメインカメラ11を向けることができ、画角も同じに制御されることから、サムネイルと同じ撮影範囲のメイン映像が得られる。つまり、カメラユニットに関して撮影条件がほぼ再現されることになる。また、
図23に示すように、フォーカス(FOCUS)、アイリス(IRIS)、ゲイン(GAIN)、ペデスタルレベル(PEDESTAL LEVEL)、ガンマ値(GAMMA)、ニー(KNEE)、色温度(COLOR TEMP)などを考慮することで、これらのパラメータが変化していても、より忠実に撮影条件を再現することができる。
【0106】
なお、フォーカスは合焦位置を示し、アイリスは絞り値(例えば、F値)を示し、ゲインは撮像素子から出力される電気信号の増幅度合いを示し、ペデスタルレベルは映像信号レベルの基準となる輝度レベルを示し、ガンマ値は画像階調の応答特性を示し、ニーはダイナミックレンジを超えた映像信号の高輝度側を圧縮する際に用いるパラメータであり、ニーポイント(P)はどのレベルから圧縮するかを示し、ニースロープ(S)はどの程度圧縮するかを示し、色温度はホワイトバランスの設定値を示す。その他のパラメータとしては、予め設定されたシーンやフレームに関するパラメータをプリセットDB48bに含めてもよい。
【0107】
プリセット実行部46aは、プリセットDB48bの中からオペレータが選択したプリセット情報をユニット制御部41に指示し、ユニット制御部41を介してカメラユニット10a、10bを制御することができる。オペレータは、プリセットDB48bの中からプリセット情報を適宜選択するだけで容易にカメラユニットを操作することができる。
【0108】
以下、オペレータがプリセット情報を選択することで撮影を進めることができる動作モードをプリセット撮影モードと呼ぶ場合がある。プリセット撮影モードでは、オペレータによるプリセット情報の選択操作に応じて、プリセット実行部46aがプリセット情報に基づくカメラユニットの制御を実行する。このとき、プリセット実行部46aは、プリセット情報が示すロケーションにカメラユニットを移動させる途中で、メインカメラのポジション、パン・チルト、ズーム、フォーカスなどの各種パラメータの少なくとも一部をプリセット情報に基づいて制御してもよい。これにより、特定のロケーションにカメラユニットを移動させてからポジションなどの制御を実施する場合に比べ、より短時間で制御を完了させることができる。なお、プリセットDB48bに基づくカメラユニットの操作については、後段においてさらに説明する。
【0109】
再び
図10を参照する。シナリオ実行部46bは、プリセットDB48bに含まれるプリセット情報を時系列に並べたシナリオを含むシナリオDB48cに基づいてカメラユニット10a、10bの動作を制御する。シナリオDB48cは、
図24に示すような内容を含む。
図24は、本実施形態に係るシナリオ情報について説明するための図表である。
【0110】
図24に示すように、シナリオDB48cには、タイムライン(TIME)と、各カメラユニット(UN1、UN2)の制御に用いるプリセットDB48bのプリセット情報とが含まれる。なお、シナリオDB48cには、複数のシナリオ(
図24の例ではSCN1、SCN2、SCN3)が含まれてもよい。
【0111】
SCN1の例では、UN1がPS001に基づいて動作を開始し、PS002、PS003、PS006の順にプリセット情報に基づく動作を実行する。UN1の動作時間は、プリセット毎に規定される。
図24の例では、説明の都合上、タイムラインの各時刻にプリセット情報を対応付けるかのように記載しているが、これは、タイムライン上での大まかな対応関係を模式的に示すものであり、上記の通り、どの時刻からどの時刻まで、そのプリセットが実行されるかを示す情報が、シナリオDB48cに含まれる。このように、UN1、UN2は、ある時刻になると、シナリオDB48cに設定されたシナリオ情報に基づく動作を実施する。プリセットDB48bに基づくUN1、UN2の状態制御はシナリオ実行部46bが実施する。
【0112】
シナリオDB48cを利用する操作の場合、オペレータは、シナリオDB48cのシナリオを選択するだけで、シナリオ実行部46bがユニット制御部41を介してUN1、UN2を制御し、UN1、UN2からメイン映像が出力される。つまり、シナリオ実行部46bにより、ほぼ自動動作が実現される。以下、シナリオに基づく撮影動作のモードをシナリオ撮影モードと呼ぶ場合がある。シナリオ撮影モードの場合も、各プリセット情報に基づく制御が実行される際、ロケーション間の移動中にメインカメラのポジション、パン・チルト、ズーム、フォーカスなどの各種パラメータの少なくとも一部が制御されてもよい。なお、シナリオDB48cを用いた動作制御及びシナリオの編集に関する操作については、後段においてさらに説明する。
【0113】
再び
図10を参照する。リアルタイム操作部46cは、オペレータがリアルタイムで行うロケーションやポジションの操作(以下、リアルタイム操作)に応じて、ユニット制御部41を介してカメラユニット10a、10bを制御する。リアルタイム操作は、プリセットDB48bに基づく動作制御の実行中、及びシナリオDB48cに基づく動作制御の実行中に割り込みで実施できるようにしてもよい。また、リアルタイム操作部46cは、リアルタイム操作時にオペレータが行った操作の内容を操作ログ48eとして記憶部48に格納してもよい。なお、リアルタイム操作は、プリセットDB48bのプリセット情報を登録する際も行われる。
【0114】
権限管理部47は、カメラユニット10a、10bの操作権限を管理する。1つのカメラユニットを操作できるオペレータは1人であり、複数のオペレータが1つのカメラユニットを操作しようとした場合には権限管理部47により排他制御が行われる。例えば、オペレータシステム30aにカメラユニット10aの操作権限が設定されている状態で、オペレータシステム30bがカメラユニット10aを操作しようとした場合、権限管理部47は、オペレータシステム30bによる操作を許否する。
【0115】
上記のような場合、権限管理部47は、オペレータシステム30a、30b間での操作権限の移転を円滑に行えるようにするため、オペレータシステム30aに対してカメラユニット10aの操作をオペレータシステム30bが希望している旨を通知してもよい。また、オペレータシステム30aが操作権限の移転を承諾する旨を通知してきた場合、権限管理部47は、オペレータシステム30aの操作権限を解放し、オペレータシステム30bにカメラユニット10aの操作権限を設定してもよい。この場合、権限管理部47は、誤動作を避けるため、カメラユニット10aの動作を一時停止する。
【0116】
上記の操作権限は、カメラユニット10aの操作を行うための権限である。その他にも、オペレータには、プリセットDB48bへの登録及び削除に関する権限、シナリオDB48cへの登録及び削除に関する権限などが設定されてもよい。操作権限及びその他の権限は、
図25に示すような内容を含む操作権限情報48dにより管理される。
図25は、本実施形態に係る操作権限情報について説明するための図表である。
【0117】
図25の例では、オペレータOP1に権限STDが設定され、オペレータOP2に権限EDITが設定されている。STDは、プリセットの実行、シナリオの実行、及びリアルタイム操作の実行が許可される権限である。EDITは、プリセットの実行、シナリオの実行、及びリアルタイム操作の実行が許可されることに加え、プリセットDB48bの編集及びシナリオDB48cの編集が許可される権限である。
【0118】
また、
図25の例では、オペレータOP1が利用しているオペレータシステム30aにUN1に対する操作権限が設定され、オペレータOP2が利用しているオペレータシステム30bにUN2に対する操作権限が設定されている。この場合、権限管理部47による排他制御により、オペレータシステム30aにはUN2の操作権限は設定されず、オペレータシステム30bにはUN1の操作権限は設定されない。このように、操作権限による排他制御を実施することで、ロボットカメラの誤動作や撮影現場での混乱を回避でき、運用の安全性を担保することができる。
【0119】
[4.オペレータシステム]
次に、
図26を参照しながら、本実施形態に係るオペレータシステムの機能について説明する。
図26は、本実施形態に係るオペレータシステムの機能について説明するためのブロック図である。なお、オペレータシステム30a、30bの主な構成は同じであるため、オペレータシステム30aについて詳細に説明し、オペレータシステム30bについては説明を省略する。
【0120】
図26に示すように、オペレータシステム30aは、操作部31と、表示部32と、制御部33と、センサ部34と、記憶部35と、音声入力部36と、音声出力部37とを有する。オペレータシステム30aの要素P1は、例えば、PC(Personal Computer)、タブレット端末、スマートフォン、HMD、スマートグラスなどの情報処理デバイスを利用して実装されうる。また、オペレータシステム30aの要素P2は、要素P1の情報処理デバイス、或いは、インカムなどの音声処理デバイスを利用して実装されうる。
【0121】
(コントローラの実装形態)
例えば、操作部31は、
図27に示すようなジョイパッド型のコントローラ31bであってもよい。コントローラ31bは、オペレータシステム30aのUI(User Interface)を提供する操作手段の一例である。
図27は、本実施形態に係るオペレータシステムのUIとして利用可能なコントローラの一例を模式的に示した図である。
【0122】
図27に示すように、コントローラ31bは、操作手段331、…、338を有する。操作手段331、335、336、337、338は、押下可能なボタン型の操作手段である。操作手段332、334は、任意の方向を指示することが可能なレバー型の操作手段である。操作手段333は、上下左右を独立に指示することが可能な十字キー型の操作手段である。なお、コントローラ31bには、背面などに他の操作手段がさらに設けられていてもよい。コントローラ31bが有する操作手段331、…、338及び他の操作手段には、それぞれ独立の機能を割り当てることができる。
【0123】
操作手段に割り当て可能な機能としては、例えば、スタジオ座標系でカメラユニットを移動させる機能(ロケーション操作機能)、ユニット座標系でTCPを移動させる機能(ポジション操作機能)、カメラ座標系で光軸方向を移動させる機能(パン・チルト操作機能)がある。その他にも、メインカメラのズーム、フォーカス、アイリス、ゲインなどのカメラパラメータを操作する機能(カメラ操作機能)、現在のロケーションを登録する機能(ロケーション登録機能)、現在のポジションを登録する機能(ポジション登録機能)がある。
【0124】
上記のポジション操作機能は、
図16(b)、
図17(b)、
図18(b)に示した操作インターフェース301による操作への切り替え機能を含んでよい。この場合、ポジション操作機能は、uZ-uX面内でのポジション操作(第1の操作:
図16(a))、uY-uZ面内でのポジション操作(第2の操作:
図17(a))、uX-uY面内でのポジション操作(第3の操作:
図18(a))を相互に切り替える機能を含んでよい。
【0125】
また、上記の操作手段には、
図19に示した固定点(eTCP)基準での移動制御に基づく操作への切り替え機能、eTCPを移動させる機能、eTCPの位置を確定すると共にMCの移動範囲(回転角など)を設定する機能、eTCP基準で
図19に示すようにポジション及びパン・チルトの制御を実行する機能が割り当てられてもよい。
【0126】
また、上記の操作手段には、カメラユニットを選択する機能(カメラ選択機能)、リアルタイム操作モードと、プリセット撮影モードとを切り替える機能(モード切替機能)、プリセット撮影モードで利用対象のプリセット情報を選択する機能(プリセット選択機能)が割り当てられてもよい。モード切替機能では、シナリオ撮影モードと他の動作モードとを切り替えられるようにしてもよい。他の動作モードとしては、リアルタイム操作モード又はプリセット撮影モードや、緊急停止モードなどがある。
【0127】
また、表示部32に表示される映像を切り替える機能(映像切替機能)、表示部32に表示されるUIの形態を切り替える機能(UI切替機能)、音声入力部36及び音声出力部37により他のオペレータと通話するための機能(通話機能)などが割り当てられてもよい。
【0128】
上記の映像切替機能は、表示部32の主表示領域に表示される映像を現在操作中のカメラユニットから出力されるメイン映像から、他のカメラユニットから出力されるメイン映像に切り替える機能であってよい。また、上記の映像切替機能は、表示部32の主表示領域に表示される映像を、メイン映像、アイビュー映像、リアビュー映像の間で相互に切り替える機能であってもよい。また、上記の映像切替機能は、異なるリアビューカメラから出力される複数のリアビュー映像を相互に切り替える機能であってもよい。
【0129】
上記のUI切替機能は、表示部32に表示される映像の組み合わせ、情報の組み合わせ、そして、映像及び情報の配置が異なる複数のUIを相互に切り替える機能であってよい。上記の通話機能は、他のカメラユニットに対する操作権限を持つ他のオペレータのリストから選択された通話相手のオペレータと通話するための機能であってもよいし、そのリストに含まれる全てのオペレータに対して音声が発信されるようにする機能であってもよい。また、上記の通話機能は、通話を許可するか許否するかを選択する機能、通話ログを記録する機能、通話可能な状態か否かを他のオペレータに通知する機能を含んでもよい。
【0130】
どの操作手段にどの機能を割り当てるかは任意に決めることができる。また、例示した上記の機能を全て割り当てなくてもよいし、上記の機能以外の機能が割り当てられてもよい。また、複数の操作手段を組み合わせた操作に対して、いずれかの機能が割り当てられてもよい。例えば、操作手段332を単独で操る操作に対してポジション操作機能を割り当て、操作手段336を押下しながら操作手段332を操る操作に対してロケーション操作機能を割り当てる割り当て方法などを適用することができる。
【0131】
上記のように、どの操作手段にどの機能を割り当てるかは任意に決めることができるため、操作部31の形態は、コントローラ31bのようなジョイパッド型に限定されない。例えば、操作部31の形態は、
図28に示したコントローラ31cのようなタイプであってもよい。
図28は、本実施形態に係るオペレータシステムのUIとして利用可能なコントローラの他の例を模式的に示した図である。
【0132】
図28に例示したコントローラ31cは、操作手段341、342、343、344、345を有する。操作手段341、344は、回転可能な範囲が制限されたダイヤル型の操作手段である。操作手段345は、回転可能な範囲が制限されていないか、操作手段341、344よりも回転可能な範囲が広いダイヤル型の操作手段である。操作手段342は、上下に移動可能なレバー型の操作手段である。操作手段343は、複数のボタンを有するキーボード型の操作手段である。
【0133】
映像を切り替えるためのスイッチャの操作卓として利用されるインターフェースには、コントローラ31cと似た形態を有するものがある。例えば、このような操作卓が有する一部の操作手段に、カメラユニットを操作するための上述した様々な機能を割り当ててもよい。例えば、操作手段343に含まれる特定のボタンを押下した状態で操作手段341を操る操作にパン角の変更操作を割り当て、操作手段342を操る操作にチルト角の変更操作を割り当てる割り当て方法などを適用することができる。
【0134】
また、操作部31の形態として、
図29(a)及び(b)に示すようなジェスチャー操作型デバイスを利用する形態も適用可能である。
図29(a)及び(b)は、本実施形態に係るオペレータシステムのUIとして利用可能なジェスチャー操作型デバイスの例を模式的に示した図である。
【0135】
この形態において、オペレータOPは、
図29(a)に示すように、表示部32の一形態であるスマートグラス351を装着し、オペレータシステム30aの要素P2として機能するインカム352を装着し、操作部31としてコントローラ353、354を利用する。例えば、オペレータOPは、コントローラ353を右手で持って操作し、コントローラ354を左手で持って操作する。なお、コントローラ353、354は、バンドなどの固定手段を利用してオペレータOPの身体(腕など)に装着されてもよい。
【0136】
コントローラ353、354は、加速度センサなどのモーションセンサを搭載している。また、
図29(b)に示すように、コントローラ353にはボタンRCが設けられ、コントローラ354にはボタンCCが設けられている。上述したロケーション操作機能、ポジション操作機能、パン・チルト操作機能などの各種機能は、コントローラ353、354の動き、ボタンRC、CCの操作、及びその動きと操作との組み合わせに対して割り当てられうる。また、コントローラ353、354による特定のジェスチャーに対して機能が割り当てられてよい。
【0137】
例えば、オペレータOPがコントローラ353を
図29(b)のFw方向に動かすとロケーションが+sY方向に移動し、Bw方向に動かすとロケーションが-sY方向に移動し、R方向に動かすとロケーションが+sX方向に移動し、L方向に動かすとロケーションが-sX方向に移動するように機能を割り当てることができる。また、ボタンRCを一度押下すると現在のロケーションでカメラユニットの動きがロックされ、再度ボタンRCを押下するまでロケーションの移動操作が無効にされるように機能を割り当ててもよい。
【0138】
また、オペレータOPがコントローラ354を
図29(b)のFw方向に動かすとポジションが+uY方向に移動し、Bw方向に動かすとポジションが-uY方向に移動し、R方向に動かすとポジションが+uX方向に移動し、L方向に動かすとポジションが-uX方向に移動し、Fw/Bw方向及びR/L方向と垂直な方向(紙面に直交する方向)に動かすとポジションがuZ軸に沿って移動するように機能を割り当てることができる。また、ボタンCCを一度押下すると現在のポジションが固定され、コントローラ354の動きに追従してカメラ座標系における光軸方向が移動するように機能を割り当ててもよい。
【0139】
上記の割り当て例に限らず、上述した各種操作に対して任意の機能を割り当てることができる。例えば、スタジオ座標系におけるロケーションの動きや、上述したユニット座標系におけるポジションの動きをカメラ座標系における撮影方向の動きに置き換えたり、パン角及びチルト角の制御を上記と同様にコントローラ353、354の動きに割り当ててもよい。また、上述した三面独立制御の仕組みをコントローラ353、354の動きに割り当てることも可能である。さらに、円を描くジェスチャー、特定の文字や記号(アルファベット、ギリシャ文字、数学記号など)を描くジェスチャー、模様を描くジェスチャー、そして、これらのジェスチャーとボタンRC、CCの操作との組み合わせに対して任意の機能を割り当ててもよい。これらの変形例も当然に本実施形態の技術的範囲に属する。
【0140】
また、操作部31の形態として、
図30に示すような着座型オペレーションユニットを利用する形態も適用可能である。
図30は、本実施形態に係るオペレータシステムのUIとして利用可能な着座型オペレーションユニットの例を模式的に示した図である。
【0141】
この形態において、オペレータOPは、表示部32の一形態であるディスプレイ361a、361b、361cの前に着座し、オペレータシステム30aの要素P2として機能するインカム363を装着し、操作部31としてタッチパネル362、操作手段364、365、366、367を操作する。操作手段366は、フットコントローラである。操作手段365は、レバー型の操作手段である。操作手段364は、ボタン型の操作手段である。操作手段367は、ダイヤル型の操作手段である。
【0142】
上述したジョイパッド型のコントローラ31bと同様に、各操作手段に任意の機能を割り当てることが可能である。ディスプレイ361a、361b、361cには、現在操作中のカメラユニットから出力されるメイン映像、他のカメラユニットから出力されるメイン映像、アイビュー映像、及びリアビュー映像などが表示されうる。これらの映像は、タッチパネル362に表示されてもよい。そのため、上記の操作手段には、ディスプレイ361a、361b、361c、タッチパネル362のうち、どのデバイスにどの映像が表示されるかを切り替える機能が割り当てられてよい。
【0143】
ところで、オペレータシステム30aとしてPCやタブレット端末などのコンピュータを利用することができる。PCを利用する場合、操作部31はキーボードやマウスであり、表示部32はLCDやELDなどのディスプレイである。この場合、キーボードやマウスの操作に対して上述した各種の機能が割り当てられうる。また、ディスプレイに表示されるGUIオブジェクトの操作に対して上述した各種の機能が割り当てられてもよい。タブレット端末を利用する場合、操作部31及び表示部32はタッチパネルであり、タッチパネル上に表示されるGUIオブジェクトの操作に対して上述した各種の機能が割り当てられる。
【0144】
(GUI)
上述したカメラユニットの操作系として表示部32に表示されるGUIの一態様を
図31に例示した。
図31は、本実施形態に係るオペレータシステムのUI(リアルタイム操作モード)について説明するための模式図である。
【0145】
図31の例において、表示部32には、タリー通知領域311a、…、311dと、映像表示領域312a、…、312d、316と、カメラ識別表示領域313a、…、313dと、オペレータ識別表示領域314a、…、314dとが表示されている。また、表示部32には、システム通知領域315と、モード切替ボタン317と、メッセージ領域318と、モード表示領域319とが表示されている。
【0146】
さらに、表示部32には、ボタンオブジェクトBTN1、…、BTN8、UP1、UP2、DN1、DN2と、カーソルオブジェクトCUR1、…、CUR4と、サークルボタンオブジェクトCCL1、…、CCL8と、センターボタンオブジェクトCC1、CC2とが表示されている。これらのオブジェクトは、カメラユニットの操作系を構成するGUIオブジェクトの一例である。上述した各種コントローラと同様に、これらGUIオブジェクトに各種機能を割り当てることができる。
【0147】
タリー通知領域311a、…、311dは、それぞれ映像表示領域312a、…、312dに対応し、対応する映像表示領域がオンタリーの場合に特定の表示形態になる。
図31の例では、映像表示領域312bに表示されているメイン映像がオンタリーのため、タリー通知領域311bが、タリー通知領域311a、311c、311dとは異なる表示形態(図中ではハッチング)になっている。なお、リアビュー映像又はアイビュー映像が表示されている映像表示領域がある場合、その映像表示領域に対応するタリー通知領域の表示形態は、オフタリーの表示形態であってよい。
【0148】
映像表示領域312a、…、312dには、メイン映像、リアビュー映像、又はアイビュー映像が表示される。カメラ識別表示領域313a、…、313d及びオペレータ識別表示領域314a、…、314dは、それぞれ映像表示領域312a、…、312dに対応する。カメラ識別表示領域313a、…、313dには、対応する映像表示領域の映像を撮っているカメラの識別情報が表示される。オペレータ識別表示領域314a、…、314dには、対応する映像表示領域の映像を撮っているカメラのオペレータを識別するための識別情報が表示される。なお、対応する映像表示領域の映像がリアビュー映像の場合、オペレータの識別情報は表示されない。
【0149】
システム通知領域315には、制御システム40からの通知が表示される。例えば、システム通知領域315には、メッセージの有無、操作権限の移転に関する各種通知、エラー通知などの情報が表示される。映像表示領域316には、現在操作しているカメラユニットから出力されるメイン映像が表示される。また、映像表示領域312a、…、312dに対する操作(タッチ、クリックなど)が行われた場合に、操作された映像表示領域に表示されている映像が映像表示領域316に表示されるようにしてもよい。
【0150】
モード切替ボタン317は、サブビューモードへと切り替えるためのボタンオブジェクトである。モード切替ボタン317が押下されると、
図32に示すようなサブビューモードへと表示形態が切り替わる。
図32は、本実施形態に係るオペレータシステムのUI(サブビューモード)について説明するための模式図である。
図32に示すように、サブビューモードでは、ボタンオブジェクトBTN1などの操作系GUIオブジェクトに代えて、第1の映像表示領域321及び第2の映像表示領域322が表示部32に大きく表示される。
【0151】
第1の映像表示領域321には、アイビュー映像又はリアビュー映像(サブビュー映像)が表示される。例えば、第1の映像表示領域321には、映像表示領域312dに表示されている映像が表示される。第2の映像表示領域322には、メイン映像が表示される。例えば、第2の映像表示領域322には、オンタリーのメイン映像、又は現在操作中のカメラユニットから出力されるメイン映像が表示される。なお、第1の映像表示領域321にメイン映像が表示され、第2の映像表示領域322にサブビュー映像が表示されるようにしてもよい。モード切替ボタン323が押下されると、
図31の通常表示に戻る。
【0152】
メッセージ領域318には、他のオペレータから送られてきたメッセージが表示される。また、メッセージ領域318には、オペレータがメッセージを入力できるようにしてもよい。例えば、制御システム40の通信ツール提供部45によりコミュニケーションツールが有効化され、他のオペレータとの間でチャットが可能な状態にある場合、オペレータは、メッセージ領域318に文字を入力することで他のオペレータとチャットを行うことができる。モード表示領域319には、現在の動作モードが表示される。
【0153】
ここで、ボタンオブジェクトBTN1、…、BTN8、UP1、UP2、DN1、DN2、カーソルオブジェクトCUR1、…、CUR4、サークルボタンオブジェクトCCL1、…、CCL8、センターボタンオブジェクトCC1、CC2に対する機能の割り当て方法について好適な例について述べる。
【0154】
この例において、ボタンオブジェクトBTN1には、オペレータがカメラユニットを手動で操作するリアルタイム操作モードへの切り替え機能が割り当てられる。ボタンオブジェクトBTN2には、事前に設定されたユニット座標系のホームポジションにTCPを移動させる機能が割り当てられる。
【0155】
カーソルオブジェクトCUR1には、TCPを+uZ方向へ移動させる機能が割り当てられる。カーソルオブジェクトCUR2には、TCPを-uZ方向へ移動させる機能が割り当てられる。カーソルオブジェクトCUR3には、uZ軸を回転軸としてuX-uY面上でTCPを反時計回りに回転させる機能(左旋回機能)が割り当てられる。カーソルオブジェクトCUR4には、uZ軸を回転軸としてuX-uY面上でTCPを時計回りに回転させる機能(右旋回機能)が割り当てられる。
【0156】
サークルボタンオブジェクトCCL1には、TCPを+uY方向へ移動させる機能が割り当てられる。サークルボタンオブジェクトCCL2には、TCPを-uY方向へ移動させる機能が割り当てられる。サークルボタンオブジェクトCCL3には、TCPを+uX方向へ移動させる機能が割り当てられる。サークルボタンオブジェクトCCL4には、TCPを-uX方向へ移動させる機能が割り当てられる。また、センターボタンオブジェクトCC1には、現在のポジションを一時的にロックする機能が割り当てられてよい。
【0157】
サークルボタンオブジェクトCCL1、…、CCL4は、それぞれ独立したボタンオブジェクトとして機能してもよいし、連続したドーナツ状オブジェクトとして機能してもよい。これらの機能は、例えば、ボタンオブジェクトBTN3を押下することで切り替わるようにしてもよい。ドーナツ状オブジェクトの機能は、ドーナツ状オブジェクトの中心を原点とし、かつサークルボタンオブジェクトCCL1の方向をuY方向に対応付けた直交座標系を想定し、ドーナツ状オブジェクト上の操作位置に応じた方向にポジションを移動させる。
【0158】
なお、カーソルオブジェクトCUR1、…、CUR4、及びサークルボタンオブジェクトCCL1、…、CCL4に対する長押し操作を行った場合に、それぞれに対応する移動が連続して行われるようにしてもよい。また、ボタンオブジェクトBTN4を押下した場合に、サークルボタンオブジェクトCCL1、CCL2の操作に対するTCPの動きがそれぞれ+uZ方向、-uZ方向に切り替わるようにしてもよい。
【0159】
ボタンオブジェクトBTN5には、現在のポジションを登録する機能が割り当てられる。ボタンオブジェクトBTN6には、メインカメラの姿勢を水平に自動調整する機能が割り当てられる。ボタンオブジェクトUP1、DN1には、ズーム機能が割り当てられる。例えば、ボタンオブジェクトUP1を押下している間、テレ端方向にレンズが動き、ボタンオブジェクトDN1を押下している間、ワイド端方向にレンズが動く。ボタンオブジェクトUP2、DN2には、フォーカス機能が割り当てられる。例えば、ボタンオブジェクトUP2を押下している間、合焦位置がカメラに近づくようにレンズを動かし、ボタンオブジェクトDN2を押下している間、合焦位置がカメラから遠ざかるようにレンズを動かす。
【0160】
サークルボタンオブジェクトCCL5、CCL6には、チルト制御機能が割り当てられる。例えば、サークルボタンオブジェクトCCL5を押下するとチルト角θxが大きくなり、サークルボタンオブジェクトCCL6を押下するとチルト角θxが小さくなる。サークルボタンオブジェクトCCL7、CCL8には、パン制御機能が割り当てられる。例えば、サークルボタンオブジェクトCCL7を押下するとパン角θzが大きくなり、サークルボタンオブジェクトCCL8を押下するとパン角θzが小さくなる。また、センターボタンオブジェクトCC2には、現在のパン・チルト状態を一時的にロックする機能が割り当てられてよい。
【0161】
なお、サークルボタンオブジェクトCCL1、…、CCL4と同様に、サークルボタンオブジェクトCCL5、…、CCL8も、連続したドーナツ状オブジェクトとして機能するようにしてもよい。例えば、ボタンオブジェクトBTN7を押下することで、独立したボタンオブジェクトとして機能するモードと、ドーナツ状オブジェクトとして機能するモードとが切り替わるようにしてもよい。また、ボタンオブジェクトBTN8を押下した場合に、サークルボタンオブジェクトCCL7、CCL8にロール制御機能が割り当てられるようにしてもよい。また、これらのボタンオブジェクトに長押し操作を行った場合に、それぞれに対応する移動が連続して行われるようにしてもよい。
【0162】
上記のGUIを利用することで、カメラユニットを好適に操作することができる。
【0163】
ここで、
図33及び
図34を参照しながら、プリセット撮影モード及びシナリオ撮影モードでの操作に利用されるGUIについて説明する。
図33は、本実施形態に係るオペレータシステムのUI(プリセット撮影モード)について説明するための模式図である。
図34は、本実施形態に係るオペレータシステムのUI(シナリオ撮影モード)について説明するための模式図である。
【0164】
プリセット撮影モードでは、
図33に示すように、表示部32にプリセット表示領域371が表示される。プリセット表示領域371には、プリセット情報に対応するサムネイルと、そのプリセット情報に含まれるパラメータセットとが表示される。プリセット表示領域371に表示されるプリセット情報は、制御システム40から取得される。
図33の例では、PS001、…、PS007のサムネイル及びパラメータセットが表示されている。
【0165】
オペレータは、操作体302により、プリセット表示領域371に表示されているプリセット情報を選択することで、そのプリセット情報に基づくカメラユニットを実行できる。例えば、オペレータがPS006を選択した場合、オペレータシステム30aの制御部33は、PS006の情報を制御システム40に伝える。PS006の情報を受けた制御システム40は、プリセット実行部46aの機能により、オペレータシステム30aに操作権限が設定されているカメラユニットをPS006のパラメータセットに基づいて制御する。
【0166】
シナリオ撮影モードでは、
図34に示すようなシナリオ表示領域が表示部32に表示される。シナリオ表示領域は、タイトル表示領域381と、タイムライン表示領域382と、ユニットコントロール領域383a、383b、383cと、状況表示領域384a、384b、384c、384dとを含む。
【0167】
タイトル表示領域381には、シナリオを識別するためのシナリオタイトルが表示される。タイムライン表示領域382には、タイムラインが表示される。ユニットコントロール領域383aには、UN1の制御に用いるプリセット情報が表示される。ユニットコントロール領域383bには、UN2の制御に用いるプリセット情報が表示される。ユニットコントロール領域383cには、UN3の制御に用いるプリセット情報が表示される。
【0168】
ユニットコントロール領域383a、383b、383cに表示されるプリセット情報は、実行タイミングに対応するタイムライン上の時刻に対応付けて表示される。状況表示領域384a、384b、384c、384dには、対応する時刻における動作の進行状況が表示される。例えば、動作が完了している場合には「DONE」、動作中又は動作を準備している場合には「READY」と表示される。
図34の例では、現在、動作を実行している部分を太枠で表示している。
【0169】
シナリオを実行すると、タイムラインに沿って順番にプリセット情報に基づく動作が実行される。
図34の例では、時刻00:00:00枠内の設定時刻になるとUN1がPR0018に基づく動作を開始し、同枠内の設定時刻になるとUN3がPR011に基づく動作を開始する。時刻00:10:00枠内の設定時刻になると、UN1がPR021に基づく動作を開始し、同枠内の設定時刻になるとUN2がPR015に基づく動作を開始する。このように、シナリオ表示領域に並べて表示されているシナリオ情報に基づいて動作が自動的に進められる。なお、各プリセット動作の実行開始時刻は異なっていてもよいし同じであってもよい。また、各プリセット動作の実行時間は異なっていてもよいし同じであってもよい。これらの設定内容についてはプリセット情報を用いて規定することができる。映像出力はUN1、UN2…にて継続的に実行されてよく、映像出力はスイッチャにより制御されてよい。
【0170】
上述したGUIを利用することで、オペレータは、プリセット撮影モード及びシナリオ撮影モードでの操作を行うことができる。
【0171】
(視線検知)
再び
図26を参照する。制御部33は、操作部31に対する入力に応じてカメラユニットを制御するための制御信号を制御システム40に伝送し、制御システム40と連携してカメラユニットを制御する。また、制御部33は、上述したGUIの表示制御を実行しうる。また、制御部33は、オペレータの操作内容を操作ログとして記憶部35に格納してもよいし、その操作ログを制御システム40に提供してもよい。
【0172】
センサ部34は、加速度センサ、磁気センサ、ジャイロスコープなどのモーションセンサを含み、モーションセンサの出力に基づいてオペレータの視線方向を検知する。オペレータの視線方向は、オペレータの顔面から表示部32の画面へと向かう方向に設定されてよい。オペレータが直立姿勢のときの視線方向を基準(正面)に設定することで、モーションセンサの出力に基づき、現在の視線方向を正面からのズレ量として求めることができる。
【0173】
なお、センサ部34は、オペレータが頭部に装着するセンサデバイスであってもよいし、HMDやスマートグラスに内蔵されたモーションセンサであってもよい。変形例として、センサ部34は、モーションセンサではなく、オペレータの頭部を撮影するカメラであってもよい。この場合、オペレータの頭部を映した画像から画像処理により視線方向を検知することができる。この画像処理は、制御部33が実行してもよい。センサ部34から出力される視線方向の情報は、制御部33を介して制御システム40に伝送される。
【0174】
視線方向の情報を受けた制御システム40は、アイビューカメラ12の出力映像から切り出した、オペレータの視界に対応するアイビュー映像をオペレータシステム30aに伝送する。制御部33は、制御システム40から受信したアイビュー映像を表示部32に表示させる。なお、制御システム40から全方位映像を取得し、制御部33が視線方向に対応するアイビュー映像を切り出して表示部32に表示してもよい。
【0175】
上述したオペレータシステム30aの機能は、記憶部35に格納されたプログラム35aを制御部33が実行することにより実現されてもよい。プログラム35aは、予め記憶部35に格納されていてもよいし、制御システム40又はネットワーク上の他のサーバ装置(非図示)から取得されてもよい。
【0176】
[5.処理フロー]
次に、本実施形態に係るリモートカメラシステムにおける処理の流れについて説明する。以下、プリセット登録に関する処理フロー、トレース登録に関する処理フロー、シナリオ設定に関する処理フロー、そして、操作権限の設定及び移転に関する処理フローについて順に説明する。
【0177】
(プリセット登録について)
まず、
図35を参照しながら、本実施形態に係るプリセット登録に関する処理の流れについて説明する。
図35は、本実施形態に係るプリセット登録に関する処理の流れについて説明するためのフロー図である。以下、オペレータOPがオペレータシステム30aを利用してプリセット登録を行う場合について説明する。
【0178】
(S101)オペレータOPは、オペレータシステム30aを介して制御システム40にプリセット登録の開始を要求する。この要求を受けた制御システム40は、プリセット登録を許可する権限(EDIT)がオペレータOPに設定されていることを確認する。ここでは、オペレータOPにEDIT権限が設定されているとする。
【0179】
(S102-S104)オペレータOPは、登録したいロケーション、ポジション、及びカメラパラメータをオペレータシステム30aに入力する。ロケーションは、カメラユニットを配置するスタジオ座標系の座標値で指定されうる。ポジションは、TCPを配置するユニット座標系の座標値で指定されうる。カメラパラメータは、チルト角θx、パン角θz、ズーム値などを含む。なお、オペレータOPにより入力されないカメラパラメータについては、事前に設定されたデフォルト値が用いられてもよい。オペレータシステム30aは、入力されたロケーション、ポジション、及びカメラパラメータを指示する制御信号を制御システム40に送る。
【0180】
(S105)制御システム40は、オペレータシステム30aから受信した制御信号で指示されるロケーションにカメラユニットを移動させる。また、制御システム40は、受信した制御信号で指示されるポジションにTCPを移動する。また、制御システム40は、受信した制御信号で指示されるカメラパラメータに基づき、パン・チルト方向を設定し、ズームなどの設定値をメインカメラに設定する。そして、制御システム40は、設定後のカメラユニットによる動作を開始し、カメラユニットから出力されるメイン映像をオペレータシステム30aに伝送する。
【0181】
(S106、S107)オペレータOPは、制御システム40から伝送されるメイン映像を見ながら、必要に応じてポジション及びカメラパラメータを調整する。ポジション及びカメラパラメータが決まると、オペレータOPは、登録操作を実行する。この登録操作に応じて、オペレータシステム30aは、登録を指示する制御信号を制御システム40に送る。
【0182】
(S108)制御システム40は、登録を指示する制御信号に応じて、現在、カメラユニットから出力されているメイン映像からサムネイルを作成する。例えば、制御システム40は、メイン映像から静止画像を切り出し、静止画像の解像度を調整してサムネイルを生成する。なお、制御システム40は、所定の圧縮・符号化方式に基づいて静止画像を圧縮・符号化してもよい。
【0183】
(S109)制御システム40は、オペレータOPによる登録操作時のロケーション、ポジション、カメラパラメータ、及びS108で生成したサムネイルをプリセット情報としてプリセットDB48bに登録する。
【0184】
(S110)プリセット情報の登録を終了する場合(例えば、オペレータOPが終了操作を行った場合)、
図35に示した一連の処理は終了する。プリセット情報の登録を継続する場合、処理はS102へと進む。
【0185】
(トレース登録について)
次に、
図36を参照しながら、本実施形態に係るトレース登録に関する処理の流れについて説明する。
図36は、本実施形態に係るトレース登録に関する処理の流れについて説明するためのフロー図である。以下、オペレータOPがオペレータシステム30aを利用してトレース登録を行う場合について説明する。
【0186】
これまで説明してきたプリセット情報は、カメラユニットの1状態を示すものであった。ここでは、ある状態(状態A)から他の状態(状態B)へのカメラユニットの状態遷移を事前登録するトレース登録について説明する。なお、カメラユニットの状態に関する情報を事前登録するという意味で、トレース登録もプリセット登録の一種である。
【0187】
(S121)オペレータOPは、オペレータシステム30aを介して制御システム40にトレース登録の開始を要求する。この要求を受けた制御システム40は、トレース登録を許可する権限(EDIT)がオペレータOPに設定されていることを確認する。ここでは、トレース登録もEDIT権限で許可されるものとし、また、オペレータOPにEDIT権限が設定されているとする。
【0188】
(S122-S124)オペレータOPは、カメラユニットの制御モードをリアルタイム操作モードに設定し、カメラユニットを所望のロケーションに移動させ、ポジションやカメラパラメータなどの調整を行う。この作業が完了すると、オペレータOPは、トレース登録の開始操作を実行する。そして、オペレータOPは、リアルタイム操作によるカメラワークを開始する。
【0189】
(S125)制御システム40は、オペレータOPによるトレース登録の開始操作の後、ロケーション、ポジション、カメラパラメータの時系列記録を実行する。つまり、制御システム40は、カメラユニットの挙動を記録する。これにより、オペレータOPのカメラワークがトレースとして制御システム40内に保存される。
【0190】
(S126)オペレータOPは、トレース登録の操作中にプリセット登録を行ってもよい。オペレータOPがプリセット登録の操作を行ったとき、処理はS127へと進む。一方、オペレータOPがプリセット登録の操作を行っていないとき、処理はS129へと進む。
【0191】
(S127、S128)制御システム40は、プリセット登録の操作時におけるメイン映像からサムネイルを作成する。また、制御システム40は、プリセット登録の操作時におけるカメラユニットのロケーション、ポジション、パン・チルト、その他のカメラパラメータと、生成したサムネイルとをプリセットDB48bに登録する。
【0192】
(S129)オペレータOPがトレース登録の終了操作を行った場合、制御システム40は、トレース登録の開始操作から終了操作までの間に記録されたカメラユニットの状態を示す時系列の情報をトレース情報として記憶部48に保持する。一方、オペレータOPがトレース登録の終了操作を行っていない場合、処理はS125へと進む。
【0193】
上記のトレース情報は、プリセット情報と同様に、シナリオに組み込むことができる。例えば、カメラユニットを安全に移動させる移動経路をトレース情報として用意しておき、シナリオに組み入れることで、より安全なシナリオ撮影が可能になる。また、プリセット撮影時も、トレース情報を利用することで、特定のカメラユニットを先に目的のロケーションに移動させておくなどが可能になる。このように、プリセット情報も、これまで説明してきたプリセット情報と同じように扱うことができ、プリセット撮影及びシナリオ撮影に用いることができる。
【0194】
(シナリオ設定について)
次に、
図37を参照しながら、本実施形態に係るシナリオ設定に関する処理の流れについて説明する。
図37は、本実施形態に係るシナリオ設定に関する処理の流れについて説明するためのフロー図である。以下、オペレータOPがオペレータシステム30aを利用してシナリオ設定を行う場合について説明する。
【0195】
(S131)オペレータOPは、オペレータシステム30aを介して制御システム40シナリオ設定の開始を要求する。この要求を受けた制御システム40は、シナリオ設定を許可する権限(EDIT)がオペレータOPに設定されていることを確認する。ここでは、シナリオ設定もEDIT権限で許可されるものとし、また、オペレータOPにEDIT権限が設定されているとする。
【0196】
(S132)オペレータOPは、新規にシナリオを設定することもできるし、既存のシナリオを編集することもできる。新規にシナリオを設定する場合、処理はS133へと進む。一方、既存のシナリオを編集する場合、処理はS135へと進む。
【0197】
(S133)オペレータシステム30aは、制御システム40からオペレータOPに権限がある旨の通知を受け、制御システム40から取得したプリセット情報に基づいて、各カメラユニットに対応するタイムライン及びプリセットリストを表示する。例えば、オペレータシステム30aは、
図34のようなタイムライン表示領域382及びユニットコントロール領域383a、383b、383cを表示し、さらに、
図33のプリセット表示領域371のようなプリセット情報のリスト(プリセットリスト)を表示してもよい。
【0198】
(S134)オペレータOPは、プリセットリストからプリセット情報を選択し、各カメラユニットに対応するタイムライン上に、選択したプリセット情報を配置する。このように、プリセット情報の選択と配置とを繰り返すことによりシナリオが生成されうる。S134の処理が完了すると、処理はS137へと進む。
【0199】
(S135、S136)オペレータシステム30aは、制御システム40からオペレータOPに権限がある旨の通知を受け、制御システム40から取得した既存シナリオのシナリオ情報に基づいて、プリセット情報を配置した各カメラユニットに対応するタイムラインを表示する。例えば、オペレータシステム30aは、
図34のようなタイムライン表示領域382及びユニットコントロール領域383a、383b、383cを表示する。オペレータOPは、表示されたプリセット情報の配置を変更する。
【0200】
(S137)制御システム40は、オペレータシステム30aで設定されたシナリオ情報を取得し、そのシナリオ情報に基づいてスタジオ内でカメラユニットを動かした場合にカメラユニットの動線が干渉しないかどうかを判定する。例えば、制御システム40は、シナリオ情報に基づいて各カメラユニットの移動シミュレーションを実行し、カメラユニット同士が衝突しないかを確認する。カメラユニットの動線が干渉しない場合、処理はS138へと進む。一方、カメラユニットの動線が干渉する場合、処理はS135へと進み、現在のシナリオに対する編集をオペレータOPに要求する。
【0201】
図37の例ではS137における判定条件を動線の干渉有無としているが、これを他の判定条件に代えてもよいし、動線の干渉有無に他の判定条件を加えてもよい。他の条件としては、例えば、メイン映像に他のカメラユニットなどの余計な対象物が映り込んでいないこと(つまり、見切れがないこと)などがある。もちろん、安全な撮影環境の確保及び安定した映像の取得などを実現するために他の判定条件が設定されてもよい。こうした変形例も当然に本実施形態の技術的範囲に属する。
【0202】
(S138)制御システム40は、設定されたシナリオ情報を保存する。S138の処理が完了すると、
図37に示した一連の処理は終了する。
【0203】
(操作権限の設定及び移転について)
次に、
図38を参照しながら、本実施形態に係る操作権限の設定及び移転に関する処理の流れについて説明する。
図38は、本実施形態に係る操作権限の設定及び移転に関する処理の流れについて説明するためのシーケンス図である。以下、オペレータシステム30aをオペレータOP1が操作し、オペレータシステム30bをオペレータOP2が操作する場合について説明する。
【0204】
(S141)オペレータOP1は、オペレータシステム30aを操作して、UN1の操作権限を制御システム40に要求する。
【0205】
(S142)制御システム40は、操作権限情報48dを参照し、UN1に現在設定されている操作権限の有無を確認する。ここではUN1に操作権限が設定されていないとする。この場合、制御システム40は、UN1の操作権限をオペレータシステム30aに設定してよいと判断する。
【0206】
(S143)制御システム40は、オペレータシステム30aに対してUN1の操作権限を設定し、操作権限情報48dを更新する。
【0207】
(S144)制御システム40は、UN1に対する操作権限の設定が済んだ旨の通知をオペレータシステム30aに送信する。
【0208】
(S145)オペレータシステム30aは、制御システム40からUN1に対する操作権限の設定が済んだ旨の通知を受信すると、その旨を表示してオペレータOP1に知らせる。オペレータOP1は、オペレータシステム30aを用いてUN1を操作する。
【0209】
(S146)オペレータOP1によるUN1の操作中に、オペレータOP2がUN1の操作を希望する場合、オペレータOP2は、オペレータシステム30bを操作して、UN1の操作権限を制御システム40に要求する。
【0210】
(S147)制御システム40は、操作権限情報48dを参照し、UN1に現在設定されている操作権限の有無を確認する。ここでは、オペレータシステム30aに対してUN1の操作権限が設定されている。この場合、制御システム40は、UN1の操作権限がオペレータシステム30aに設定されていると判断する。
【0211】
(S148)制御システム40は、オペレータシステム30aにUN1の操作権限が設定されている旨(オペレータOP1が使用中である旨)の通知をオペレータシステム30bに送信する。
【0212】
(S149)制御システム40は、オペレータシステム30b(オペレータOP2)からUN1の操作権限の要求があった旨の通知をオペレータシステム30aに送信する。
【0213】
(S150)オペレータOP1、OP2は、UN1の操作権限をオペレータOP1からオペレータOP2に移転することについて交渉する。例えば、制御システム40は、オペレータシステム30a、30bの間でチャットを行うためのコミュニケーションツールを提供し、チャットによりオペレータOP1、OP2が交渉できるようにしてもよい。また、制御システム40は、チャットの内容を通信ログ48fとして記憶部48に格納してもよい。
【0214】
(S151)オペレータOP1がUN1の操作権限を移転することについて同意した場合、オペレータシステム30aは、UN1に対する操作権限の解放を制御システム40に要求する。なお、オペレータシステム30aから制御システム40に、UN1に対する操作権限の解放を承諾する旨の通知が送られてもよい。
【0215】
(S152)オペレータシステム30aからUN1に対する操作権限の解放要求を受けた制御システム40は、UN1の動作を一時停止する。これにより、操作権限の移転作業を行っている間、UN1に対する操作が無効になる。
【0216】
(S153、S154)制御システム40は、オペレータシステム30aに設定されていたUN1に対する操作権限を解放し、操作権限情報48dを更新する。そして、制御システム40は、UN1に対する操作権限の解放が完了した旨の通知をオペレータシステム30aに送信する。
【0217】
(S155、S156)制御システム40は、UN1に対する操作権限をオペレータシステム30bに設定し、操作権限情報48dを更新する。そして、制御システム40は、UN1に対する操作権限の設定が済んだ旨の通知をオペレータシステム30bに送信する。
【0218】
(S157)オペレータシステム30bは、制御システム40からUN1に対する操作権限の設定が済んだ旨の通知を受信すると、その旨を表示してオペレータOP2に知らせる。オペレータOP2は、オペレータシステム30bを用いてUN2を操作する。
【0219】
上記のように、制御システム40が操作権限を管理し、1つのカメラユニットに対しては1人のオペレータを割り当てる排他制御を実施することで、撮影現場での混乱を回避し、カメラユニットの遠隔操作による安全な撮影を行うことができるようになる。また、操作権限を移転する際にオペレータ同士で適切に交渉を行うことができるようにすることで、オペレータの入れ替えを円滑に行うことができるようになる。
【0220】
[6.3Dシミュレーションへの応用]
これまで、スタジオ内にカメラユニットを実際に設置することを想定して説明してきたが、上述したリモートカメラシステム5を3Dシミュレーションにより仮想空間内に作り出すことも可能である。この場合、上述したカメラユニット10a、10b及びリアビューカメラ20a、20bを仮想空間内の仮想オブジェクトとして構築し、上述したオペレータシステム30a、30bで仮想オブジェクトを操作する仕組みになる。この仕組みでは、仮想オブジェクトの制御は、制御システム40により実行される。このように、3Dシミュレーションによりリモートカメラシステム5を仮想化することもできる。このような応用例も当然に本実施形態の技術的範囲に属する。
【0221】
[7.ハードウェア]
次に、
図39を参照しながら、本実施形態に係る制御システムの機能を実現可能なハードウェアについて説明する。
図39は、本実施形態に係る制御システムの機能を実現可能なハードウェアについて説明するためのブロック図である。
【0222】
制御システム40が有する機能は、例えば、
図39に示すハードウェア資源を用いて実現することが可能である。つまり、制御システム40が有する機能は、コンピュータプログラムを用いて
図39に示すハードウェアを制御することにより実現される。
【0223】
図39に示すように、このハードウェアは、主に、プロセッサ40a、メモリ40b、表示I/F(Interface)40c、通信I/F40d及び接続I/F40eを有する。
【0224】
プロセッサ40aは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPU(Graphic Processing Unit)などであってよい。メモリ40bは、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリなどであってよい。
【0225】
表示I/F40cは、LCD(Liquid Crystal Display)、ELD(Electro-Luminescence Display)などのディスプレイデバイスを接続するためのインターフェースである。通信I/F40dは、有線及び/又は無線のネットワークに接続するためのインターフェースである。通信I/F40dは、有線LAN(Local Area Network)、無線LAN、光通信ネットワークなどに接続されてよい。
【0226】
接続I/F40eは、外部デバイスを接続するためのインターフェースである。接続I/F40eは、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)などであってよい。接続I/F40eには、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されてよい。また、接続I/F40eには、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどの可搬性の記録媒体40fが接続されてよい。
【0227】
プロセッサ40aは、記録媒体40fに格納されたプログラムを読み出してメモリ40bに格納し、メモリ40bから読み出したプログラムに従って制御システム40の動作を制御してよい。制御システム40の動作を制御するプログラムは、メモリ40bに予め格納されてもよいし、通信I/F40dを介してネットワークからダウンロードされてもよい。
【0228】
既に説明したユニット制御部41、メイン映像出力部42、アイビュー提供部43、リアビュー提供部44、通信ツール提供部45、カメラワーク実行部46、及び権限管理部47が有する機能は、主に、上述したプロセッサ40aを用いて実現可能である。既に説明した記憶部48の機能は、主に、上述したメモリ40bを用いて実現可能である。
【0229】
ここでは制御システム40の機能を実現可能なハードウェア構成として
図39の構成例を示したが、例えば、カメラユニット10a、10bのコントロールボックス14が有する機能の少なくとも一部、及び、オペレータシステム30a、30bが有する機能も
図39に例示したハードウェア構成を用いて実現可能である。例えば、コントロールボックス14の機能は、上述したプロセッサ40aにより実現可能である。
【0230】
また、オペレータシステム30a、30bに含まれる操作部31の機能は、上述した接続I/F40eに接続される各種の入力インターフェースにより実現されうる。また、表示部32の機能は、上述した表示I/F40cに接続される各種のディスプレイデバイスにより実現されうる。また、制御部33の機能は、上述したプロセッサ40aにより実現されうる。また、記憶部35の機能は、上述したメモリ40bにより実現されうる。また、センサ部34、音声入力部36、及び音声出力部37の機能は、それぞれ、上述した接続I/F40eに接続されうる各種のセンサデバイス(非図示)、及びオーディオデバイスにより実現されうる。
【0231】
以上、添付図面を参照しながら本開示の実施形態について説明したが、本開示は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は応用例に想到しうることは明らかであり、それらについても当然に本開示の技術的範囲に属する。
【0232】
以下に本開示の実施形態に係る技術事項について付記を開示する。ここで開示する付記の内容は本開示に係る技術的思想を簡潔に示すものであり、本開示に係る技術的事項を制限する意図ではなく、また、上述した本開示の実施形態に係る技術的事項から当業者が各種の変形例及び応用例に想到することを補助すべく開示するものであるから、開示の付記に記載された範疇内及びその範疇内において当業者が想到しうる変形例及び応用例についても当然に本開示の技術的範囲に属する。
【0233】
[A.制御権について]
(付記A1)遠隔操作が可能なカメラユニットと、前記カメラユニットを制御するための制御システムと、前記制御システムを介して前記カメラユニットを操作するための第1及び第2のオペレータシステムとを含み、
前記制御システムは、前記第1のオペレータシステムに前記カメラユニットの操作権限が設定されている状態で、前記第2のオペレータシステムから前記操作権限の設定を求める要求を受けたとき、前記第1のオペレータシステムから前記操作権限の移転を許諾する旨の応答を受けた後で、前記第1のオペレータシステムに設定されている前記操作権限を解放し、前記第2のオペレータシステムに対して前記操作権限を設定する
リモートカメラシステム。
【0234】
かかる構成によれば、カメラユニットの操作を行うオペレータが入れ替わる際、現在操作中のオペレータが入れ替わりを確実に認識している状態で、操作権限が移転するため、オペレータの入れ替わりに伴う混乱を避けることができる。例えば、インカムを利用してオペレータの入れ替わりを通知しても、現在操作中のオペレータが、その通知を聞き漏らすことがありうる。その場合、現在操作中のオペレータは入れ替わりを認識しておらず、その状態で操作権限を他のオペレータに移転すると、それまで操作していたオペレータは突然操作が効かなくなり混乱を来すだろう。上記の構成を適用することで、このような無用な混乱を避けることができる。また、撮影現場ではオペレータを含むスタッフ間の協調が重要であり、オペレータ間の相互認識を確実にすることは撮影作業の円滑な進行に寄与する。
【0235】
(付記A2)前記制御システムは、前記第2のオペレータシステムから前記要求を受けたとき、前記第2のオペレータシステムから前記要求を受けた旨の通知を前記第1のオペレータシステムに送信し、前記通知から所定の時間が経過しても前記第1のオペレータシステムから全く応答がない場合、前記第1のオペレータシステムに設定されている前記操作権限を解放し、前記第2のオペレータシステムに対して前記操作権限を設定する
付記A1に記載のリモートカメラシステム。
【0236】
(付記A3)前記制御システムは、前記第1のオペレータシステムから前記第2のオペレータシステムへと前記操作権限を移転する場合、前記第1のオペレータシステムに設定されている前記操作権限を解放する前に前記カメラユニットの動作を停止すると共に前記カメラユニットに対する操作を無効化し、前記第2のオペレータシステムに対する前記操作権限の設定後に前記カメラユニットに対する操作を有効化する
付記A1又はA2に記載のリモートカメラシステム。
【0237】
(付記A4)前記制御システムは、前記第2のオペレータシステムから前記要求を受けたとき、前記第2のオペレータシステムから前記要求を受けた旨の通知を前記第1のオペレータシステムに送信し、前記第1のオペレータシステムと前記第2のオペレータシステムとの間で、テキスト情報をやり取りするためのコミュニケーションツールを有効化する
付記A1~A3のいずれか1つに記載のリモートカメラシステム。
【0238】
(付記A5)前記制御システムは、前記コミュニケーションツールを介してやり取りされた前記テキスト情報を通信ログとして保存する
付記A4に記載のリモートカメラシステム。
【0239】
(付記A6)前記制御システムは、撮影現場における前記カメラユニットの位置を示すロケーション情報と、前記メインカメラの位置及び姿勢を規定するためのポジション情報と、前記メインカメラの設定情報とを含むプリセット情報を保持し、前記操作権限が前記第1のオペレータシステムに設定されている場合、前記第1のオペレータシステムからの実行要求に応じて、前記プリセット情報に基づく前記カメラユニットの制御を実行する
付記A1~A5のいずれか1つに記載のリモートカメラシステム。
【0240】
(付記A7)前記制御システムは、前記第1のオペレータシステムからプリセット情報の登録指示を受けたとき、前記第1のオペレータシステムに前記プリセット情報の登録権限が設定されている場合に、前記登録指示の時点で前記メインカメラから出力されている映像のサムネイルと、前記登録指示の時点における前記ロケーション情報、前記ポジション情報、及び前記設定情報とを生成し、生成した前記サムネイル、前記ロケーション情報、前記ポジション情報、及び前記設定情報を前記プリセット情報として保持する
付記A6に記載のリモートカメラシステム。
【0241】
(付記A8)遠隔操作が可能なカメラユニットと、前記カメラユニットを制御するための制御システムと、前記制御システムを介して前記カメラユニットを操作するための第1及び第2のオペレータシステムとを含むリモートカメラシステムの前記制御システムであって、
前記第1のオペレータシステムに前記カメラユニットの操作権限が設定されている状態で、前記第2のオペレータシステムから前記操作権限の設定を求める要求を受けたとき、前記第1のオペレータシステムから前記操作権限の移転を許諾する旨の応答を受けた後で、前記第1のオペレータシステムに設定されている前記操作権限を解放し、前記第2のオペレータシステムに対して前記操作権限を設定する
制御システム。
【0242】
(付記A9)遠隔操作が可能なカメラユニットと、前記カメラユニットを制御するための制御システムと、前記制御システムを介して前記カメラユニットを操作するための第1及び第2のオペレータシステムとを含むリモートカメラシステムの前記制御システムが、
前記第1のオペレータシステムに前記カメラユニットの操作権限が設定されている状態で、前記第2のオペレータシステムから前記操作権限の設定を求める要求を受けたとき、前記第1のオペレータシステムから前記操作権限の移転を許諾する旨の応答を受けた後で、前記第1のオペレータシステムに設定されている前記操作権限を解放し、前記第2のオペレータシステムに対して前記操作権限を設定する処理を実行する、
権限管理方法。
【0243】
(付記A10)遠隔操作が可能なカメラユニットと、前記カメラユニットを制御するための制御システムと、前記制御システムを介して前記カメラユニットを操作するための第1及び第2のオペレータシステムとを含むリモートカメラシステムの前記制御システムに、
前記第1のオペレータシステムに前記カメラユニットの操作権限が設定されている状態で、前記制御システムが、前記第2のオペレータシステムから前記操作権限の設定を求める要求を受けたとき、前記第1のオペレータシステムから前記操作権限の移転を許諾する旨の応答を受けた後で、前記第1のオペレータシステムに設定されている前記操作権限を解放し、前記第2のオペレータシステムに対して前記操作権限を設定する
処理を実行させる、プログラム。
【0244】
[B.操作インターフェースについて]
(付記B1)メインカメラと、前記メインカメラの位置を制御するためのモーションユニットとを有するカメラユニット、及び前記カメラユニットの操作に用いるオペレータシステムを含み、前記オペレータシステムは、
前記メインカメラの光軸を含む第1の平面内で前記メインカメラの位置を移動させるための第1の操作インターフェースと、前記第1の平面と交わる第2の平面内で前記メインカメラの位置を移動させるための第2の操作インターフェースとを備える、
リモートカメラシステム。
【0245】
かかる構成によれば、1つの操作インターフェースによる操作ではメインカメラの動きが2次元平面内に制限されるため、オペレータがメインカメラの動きを把握することが容易になる。また、複数の操作インターフェースを設けることで、複数の2次元平面内での移動を可能にし、メインカメラの位置決め自由度を十分に確保することができる。また、メインカメラの光軸を基準に第1の平面及び第2の平面を規定することで、オペレータがメインカメラの動きを直感的に把握することが容易になり、より自然な撮影操作が可能になる。
【0246】
(付記B2)前記オペレータシステムは、前記第1の平面及び前記第2の平面と交わる第3の平面内で前記メインカメラの位置を移動させる第3の操作インターフェースをさらに備える、
付記B1に記載のリモートカメラシステム。
【0247】
(付記B3)前記第2の平面は、前記メインカメラの光軸に直交する
付記B1又はB2に記載のリモートカメラシステム。
【0248】
(付記B4)前記第1の平面、前記第2の平面、及び前記第3の平面は、互いに直交する
付記B1~B3のいずれか1つに記載のリモートカメラシステム。
【0249】
(付記B5)前記オペレータシステムは、タッチパネルと、制御部とを有し、
前記制御部は、
前記タッチパネルの画面上に、前記第1の操作インターフェースとして機能する第1の操作領域を表示させ、前記第2の操作インターフェースとして機能する第2の操作領域を表示させ、前記第3の操作インターフェースとして機能する第3の操作領域を表示させ、
前記第1の操作領域に近接又は接触した操作体の動きに基づいて前記メインカメラの位置を前記第1の平面内で移動させ、前記第2の操作領域に近接又は接触した前記操作体の動きに基づいて前記メインカメラの位置を前記第2の平面内で移動させ、前記第3の操作領域に近接又は接触した前記操作体の動きに基づいて前記メインカメラの位置を前記第3の平面内で移動させる
付記B2に記載のリモートカメラシステム。
【0250】
(付記B6)前記オペレータシステムは、表示部と、操作キーを有するコントローラと、制御部とを有し、
前記制御部は、
前記表示部に、前記第1の操作インターフェースとして機能する第1の操作領域を表示させ、前記第2の操作インターフェースとして機能する第2の操作領域を表示させ、前記第3の操作インターフェースとして機能する第3の操作領域を表示させ、前記操作キーに対する操作入力に応じて画面上を移動する操作体を表示させ、
前記第1の操作領域における前記操作体の動きに基づいて前記メインカメラの位置を前記第1の平面内で移動させ、前記第2の操作領域における前記操作体の動きに基づいて前記メインカメラの位置を前記第2の平面内で移動させ、前記第3の操作領域における前記操作体の動きに基づいて前記メインカメラの位置を前記第3の平面内で移動させる
付記B2に記載のリモートカメラシステム。
【0251】
(付記B7)前記オペレータシステムは、表示部と、操作キー及び操作ボタンを有するコントローラと、制御部とを有し、
前記制御部は、
前記表示部に、前記第1の操作インターフェース、前記第2の操作インターフェース、及び前記第3の操作インターフェースとして機能する操作領域を表示させ、前記操作キーに対する操作入力に応じて画面上を移動する操作体を表示させ、
前記操作ボタンの操作に応じて前記操作領域の機能を切り替え、
前記操作領域の機能が第1の機能のとき、前記操作領域における前記操作体の動きに基づいて前記メインカメラの位置を前記第1の平面内で移動させ、
前記操作領域の機能が第2の機能のとき、前記操作領域における前記操作体の動きに基づいて前記メインカメラの位置を前記第2の平面内で移動させ、
前記操作領域の機能が第3の機能のとき、前記操作領域における前記操作体の動きに基づいて前記メインカメラの位置を前記第3の平面内で移動させる
付記B2に記載のリモートカメラシステム。
【0252】
(付記B8)前記オペレータシステムは、モーションセンサ及び操作ボタンを有するコントローラと、制御部とを有し、
前記制御部は、
前記操作ボタンの押下状況に応じて、前記コントローラを前記第1の操作インターフェース、前記第2の操作インターフェース、又は前記第3の操作インターフェースとして機能させる第1のモードと、前記第1のモードとは異なる第2のモードとを切り替え、
前記第1のモードのとき、前記モーションセンサから出力される動き情報のうち、前記コントローラに予め設定された軸に垂直な面内の動きに対応する動き成分を抽出し、抽出した前記動き成分に基づいて前記メインカメラの位置を前記第1の平面内、前記第2の平面内、又は前記第3の平面内で移動させ、
前記第2のモードのとき、前記モーションセンサから出力される動き情報に基づいて前記メインカメラの位置を三次元的に移動させる
付記B2に記載のリモートカメラシステム。
【0253】
(付記B9)前記制御部は、前記操作ボタンの操作に応じて前記第1のモードにおける機能を切り替える
付記B8に記載のリモートカメラシステム。
【0254】
(付記B10)メインカメラと、前記メインカメラの位置を制御するためのモーションユニットとを有するカメラユニットの操作に用いるオペレータシステムであって、
前記メインカメラの光軸を含む第1の平面内で前記メインカメラの位置を移動させるための第1の操作インターフェースと、前記第1の平面と交わる第2の平面内で前記メインカメラの位置を移動させるための第2の操作インターフェースとを備える、
オペレータシステム。
【符号の説明】
【0255】
5 リモートカメラシステム
10a、10b カメラユニット
11 メインカメラ
12 アイビューカメラ
13 モーションユニット
13a ロボットアーム
13b ベース
14 コントロールボックス
20a、20b リアビューカメラ
30a、30b オペレータシステム
31 操作部
32 表示部
33 制御部
34 センサ部
35 記憶部
35a プログラム
36 音声入力部
37 音声出力部
40 制御システム
41 ユニット制御部
42 メイン映像出力部
43 アイビュー提供部
44 リアビュー提供部
45 通信ツール提供部
46 カメラワーク実行部
46a プリセット実行部
46b シナリオ実行部
46c リアルタイム操作部
47 権限管理部
48 記憶部
48a TCP設定情報
48b プリセット情報
48c シナリオ情報
48d 操作権限情報
48e 操作ログ
48f 通信ログ