特許7287798リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-29
(45)【発行日】2023-06-06
(54)【発明の名称】リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
(51)【国際特許分類】
H04N 23/66 20230101AFI20230530BHJP
G03B 15/00 20210101ALI20230530BHJP
G03B 17/00 20210101ALI20230530BHJP
G03B 17/56 20210101ALI20230530BHJP
H04N 5/222 20060101ALI20230530BHJP
H04N 23/45 20230101ALI20230530BHJP
H04N 23/63 20230101ALI20230530BHJP
H04N 23/695 20230101ALI20230530BHJP
H04N 23/90 20230101ALI20230530BHJP
【ＦＩ】
H04N23/66
G03B15/00 P
G03B15/00 W
G03B17/00 B
G03B17/56 B
H04N5/222 100
H04N23/45
H04N23/63
H04N23/695
H04N23/90
【請求項の数】
15
(21)【出願番号】P 2019043558
(22)【出願日】2019-03-11
(65)【公開番号】P2020150297
(43)【公開日】2020-09-17
【審査請求日】2022-02-21
(73)【特許権者】
【識別番号】000209751
【氏名又は名称】池上通信機株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】日置 信広
(72)【発明者】
【氏名】田原 知明
(72)【発明者】
【氏名】渡辺 康文
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２００４－１０４５１３（ＪＰ，Ａ）
【文献】特開２００８－０９９２７９（ＪＰ，Ａ）
【文献】国際公開第２０１８／１０１２２７（ＷＯ，Ａ１）
【文献】特開２０１８－０７８４２２（ＪＰ，Ａ）
【文献】特開２０１８－１６９６０１（ＪＰ，Ａ）
【文献】特開２０１７－０６３２７６（ＪＰ，Ａ）
【文献】特開２００９－０１０７２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６６
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １７／００
Ｇ０３Ｂ １７／５６
Ｈ０４Ｎ ５／２２２
Ｈ０４Ｎ ２３／４５
Ｈ０４Ｎ ２３／６３
Ｈ０４Ｎ ２３／６９５
Ｈ０４Ｎ ２３／９０
(57)【特許請求の範囲】
【請求項1】
ロボットアームと、前記ロボットアームに接続されるメインカメラと、前記ロボットアーム又は前記メインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラと、前記ロボットカメラを遠隔操作するオペレータの視線方向を検知する視線検知部と、
前記視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記メインカメラの出力映像と共に、操作時に前記オペレータが見る表示装置に出力する映像処理部と
を含む、リモートカメラシステム。
【請求項2】
前記メインカメラの筐体には、前記視界カメラを設置可能な第１及び第２の接続部が設けられ、前記第１の接続部は前記メインカメラの側部に配置され、前記第２の接続部は前記メインカメラの背部に配置される請求項１に記載のリモートカメラシステム。
【請求項3】
前記ロボットアームには、前記視界カメラを設置可能な第３の接続部が設けられ、前記第３の接続部は、前記メインカメラがチルトしても前記視界カメラの水平が維持されるように制御する水平維持機構を有する
請求項１又は２に記載のリモートカメラシステム。
【請求項4】
前記リモートカメラシステムは、前記オペレータの頭部に装着されるヘッドマウント型ディスプレイ装置を含み、前記ヘッドマウント型ディスプレイ装置は、前記視線検知部と前記表示装置とを含む
請求項１に記載のリモートカメラシステム。
【請求項5】
前記視線検知部は、前記ヘッドマウント型ディスプレイ装置に搭載されたモーションセンサの出力に基づいて前記頭部の動きを検知し、検知した前記頭部の向きに基づいて前記視線方向を判定する請求項４に記載のリモートカメラシステム。
【請求項6】
前記映像処理部は、前記視界範囲の映像をバーチャルリアリティ映像に変換し、前記表示装置は、第１の表示領域に前記バーチャルリアリティ映像を表示し、第２の表示領域に前記メインカメラの出力映像を表示する
請求項４又は５に記載のリモートカメラシステム。
【請求項7】
前記第１の表示領域は、前記表示装置の画面全体に配置され、前記第２の表示領域は、前記第１の表示領域よりサイズが小さく、前記第１の表示領域の中央に重ねて配置される
請求項６に記載のリモートカメラシステム。
【請求項8】
ロボットアームと前記ロボットアームに接続されるメインカメラとを有する、ロボットカメラと、前記ロボットカメラが配置されるスタジオ内に設置され、前記ロボットカメラの位置から見渡せるスタジオ全体の様子を映像として出力可能な少なくとも１台の視界カメラと、
前記ロボットカメラを遠隔操作するオペレータの視線方向を検知する視線検知部と、
前記視線方向及び前記少なくとも１台の視界カメラの映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記メインカメラの映像と共に、操作時に前記オペレータが見る表示装置に出力する映像処理部と
を含む、リモートカメラシステム。
【請求項9】
前記視線検知部及び前記映像処理部を含むコントロールシステムと、前記ロボットカメラが設置されるスタジオとは地理的に離れた場所に設置され、前記コントロールシステムと前記ロボットカメラとは広域ネットワークを介して通信する請求項１～８のいずれか１項に記載のリモートカメラシステム。
【請求項10】
ロボットアームと、前記ロボットアームに接続されるメインカメラと、前記ロボットアーム又は前記メインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラと通信する通信部と、前記ロボットカメラを遠隔操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記視界範囲の映像を、前記メインカメラの出力映像と共に、操作時に前記オペレータが見る表示装置に出力する映像処理部と
を含む、コントロールシステム。
【請求項11】
ロボットアームと、前記ロボットアームに接続されるメインカメラと、前記ロボットアーム又は前記メインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラと通信し、前記ロボットカメラを遠隔操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記メインカメラの出力映像と共に、操作時に前記オペレータが見る表示装置に出力する
処理をコンピュータが実行する、映像出力方法。
【請求項12】
ロボットアームと、前記ロボットアームに接続されるメインカメラと、前記ロボットアーム又は前記メインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラを仮想空間に再現し、前記メインカメラの出力映像及び前記視界カメラの出力映像を生成するシミュレータと、前記ロボットカメラを操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記メインカメラの出力映像と共に、操作時に前記オペレータが見る表示装置に出力する映像処理部と
を含む、バーチャルカメラワークシステム。
【請求項13】
前記映像処理部は、前記オペレータの操作内容を示す操作データ、前記視界範囲の映像、及び前記メインカメラの出力映像を対応付けて記憶装置に格納し、再生操作に応じて前記視界範囲の映像及び前記メインカメラの出力映像を再生する請求項１２に記載のバーチャルカメラワークシステム。
【請求項14】
ロボットアームと、前記ロボットアームに接続されるメインカメラと、前記ロボットアーム又は前記メインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラを仮想空間に再現し、前記メインカメラの出力映像及び前記視界カメラの出力映像を生成するシミュレーションを実行し、前記ロボットカメラを操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記メインカメラの出力映像と共に、操作時に前記オペレータが見る表示装置に出力する
処理をコンピュータが実行する、映像出力方法。
【請求項15】
ロボットアームと、前記ロボットアームに接続されるメインカメラと、前記ロボットアーム又は前記メインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラを仮想空間に再現し、前記メインカメラの出力映像及び前記視界カメラの出力映像を生成するシミュレーションを実行し、前記ロボットカメラを操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、カメラマン目線で前記メインカメラの位置から見える視界映像として前記視界範囲の映像を、前記メインカメラの出力映像と共に、操作時に前記オペレータが見る表示装置に出力する
処理をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラムに関する。
【背景技術】
【0002】
近年、撮影現場でも業務効率化の一環としてロボットカメラの導入が検討されている。ロボットカメラは、撮影用のカメラがアームの先端に取り付けられたロボットアームと、ロボットアームを載置する基台（以下、ベース）とで構成される。ロボットカメラに利用されるベースには、手動式のベースや自走式のベースがある。ロボットカメラの動きは、例えば、副調整室や中継車などにいるオペレータによって遠隔制御されうる。
【0003】
ロボットカメラに関し、ロボットアームの先端に設置された主カメラにスポッタカメラ（監視カメラ）を固定する方法が提案されている（以下、提案方法１）。このスポッタカメラは、主カメラよりワイドな光景を提供し、オペレータが主カメラの視野外の環境を認識できるようにする。他のロボットカメラに関する技術として、ロボットカメラの周囲を撮影して障害物を発見するために、ロボットカメラのベースに全方位カメラを設ける方法が提案されている（以下、提案方法２）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2008-099279号公報
【文献】特開2004-104513号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
実際に現場でカメラを操って撮影を行うカメラマンは、カメラの出力映像を確認するだけでなく、自らの目で周囲の環境、他のカメラの位置、スタジオセットの配置、及び出演者の動きなどの現場状況を確認しながらカメラワークを行っている。このように、カメラマンが自らの目で現場状況を確認することは適切なカメラワークを行う上で重要である。
【0006】
上記の提案方法１のスポッタカメラは主カメラの視野外にある環境の映像をオペレータに提供するが、オペレータに提供される映像が映し出す範囲はオペレータの視線方向とは関係無く主カメラの位置及び向きによって定まる。そのため、提案方法１のスポッタカメラによって提供される映像を用いても、オペレータは、カメラマン目線で現場状況を確認することはできない。
【0007】
上記の提案方法２の全方位カメラは、ロボットカメラのベースに取り付けられ、ロボットカメラの周囲にある障害物の発見に利用される。提案方法２の全方位カメラは、ロボットカメラ周囲の映像をオペレータに提供するが、その映像が映し出す範囲はオペレータの視線方向とは無関係である。そのため、提案方法２の全方位カメラによって提供される映像を用いても、オペレータは、カメラマン目線で現場状況を確認することはできない。
【0008】
上記課題に鑑みて想到した本開示の１つの観点によれば、本開示の目的は、ロボットカメラのオペレータが現場状況をカメラマン目線で把握することが可能なリモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本開示の一態様によれば、ロボットアームと、ロボットアームに接続されるメインカメラと、ロボットアーム又はメインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラと通信し、ロボットカメラを遠隔操作するオペレータの視線方向及び視界カメラの出力映像に基づいて、オペレータの視界に対応する視界範囲の映像を生成し、視界範囲の映像とメインカメラの出力映像とを表示装置に出力する処理をコンピュータが実行する、映像出力方法が提供される。
【発明の効果】
【0010】
本開示によれば、ロボットカメラのオペレータが現場状況をカメラマン目線で把握することが可能になる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態に係るリモートカメラシステムの例を模式的に示した説明図である。
【図2】第１実施形態に係るリモートカメラシステムに含まれる装置の例について説明するためのブロック図である。
【図3】第１実施形態に係る視界カメラの配置及び接続機構の構造について説明するための模式図である。
【図4】第１実施形態に係る視界カメラの配置及び接続機構の構造について説明するための第４の模式図である。
【図5】第１実施形態に係る視界カメラの配置及び接続機構の構造について説明するための第５の模式図である。
【図6】第１実施形態に係るロボットカメラの設置方法について説明するための模式図である。
【図7】第１実施形態に係るベースの変形例について説明するための模式図である。
【図8】第１実施形態に係るロボットアームの変形例について説明するための模式図である。
【図9】第１実施形態に係るロボットカメラが配置されるスタジオ内の様子について説明するための模式図である。
【図10】第１実施形態に係る視界映像及びメイン映像の表示制御について説明するための第１の説明図である。
【図11】第１実施形態に係る視界映像及びメイン映像の表示制御について説明するための第２の説明図である。
【図12】第１実施形態に係る操作デバイスの例を模式的に示した説明図である。
【図13】第１実施形態に係る操作デバイスの変形例について説明するための第１の説明図である。
【図14】第１実施形態に係る操作デバイスの変形例について説明するための第２の説明図である。
【図15】第１実施形態に係る操作デバイスの変形例について説明するための第３の説明図である。
【図16】第１実施形態に係る操作デバイスの変形例について説明するための第４の説明図である。
【図17】第１実施形態に係る制御コンピュータの機能を実現可能なハードウェアの一例を示したブロック図である。
【図18】第１実施形態に係る制御コンピュータが有する機能の例を示したブロック図である。
【図19】第１実施形態に係るリモートカメラシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。
【図20】第１実施形態に係る視界映像の生成方法について説明するための説明図である。
【図21】第１実施形態に係るリモートカメラシステムにおいて、操作デバイスによる操作が行われた時に実行される制御について説明するためのフロー図である。
【図22】第１実施形態に係る視線補正の方法について説明するための説明図である。
【図23】第１実施形態に係る視界映像の生成方法における処理の流れについて説明するためのフロー図である。
【図24】第１実施形態に係るロボットカメラの変形例について説明するための第１の模式図である。
【図25】第１実施形態に係るロボットカメラの変形例について説明するための第２の模式図である。
【図26】第２実施形態に係るバーチャルカメラワークシステムに含まれる装置の例について説明するためのブロック図である。
【図27】第２実施形態に係る制御コンピュータ及び３Ｄシミュレータが有する機能の例について説明するためのブロック図である。
【図28】第２実施形態に係るバーチャルカメラワークシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
【0013】
＜第１実施形態＞
本開示の第１実施形態について説明する。第１実施形態は、スタジオに設置されたロボットカメラをスタジオ外（例えば、副調整室や中継車など）にいるオペレータが遠隔操作することが可能なリモートカメラシステムに関する。特に、第１実施形態は、オペレータがカメラマン目線でスタジオ内の環境を確認しながら撮影を行うことを可能にする仕組みに関する。
本開示の第１実施形態について説明する。第１実施形態は、スタジオに設置されたロボットカメラをスタジオ外（例えば、副調整室や中継車など）にいるオペレータが遠隔操作することが可能なリモートカメラシステムに関する。特に、第１実施形態は、オペレータがカメラマン目線でスタジオ内の環境を確認しながら撮影を行うことを可能にする仕組みに関する。
【0014】
以下の説明では、説明の都合上、スタジオ撮影を想定するが、スタジオ以外の撮影現場で行う撮影についても第１実施形態に係るリモートカメラシステムを適用することができる。また、オペレータがスタジオ外にいることを想定して説明を進めるが、ロボットカメラから離れたスタジオ内の場所でオペレータが遠隔操作を行ってもよい。また、ロボットカメラの遠隔操作は、ロボットカメラが設置されるスタジオから地理的に離れた他のスタジオの副調整室や中継車などにいるオペレータが行ってもよい。こうした変形例についても当然に第１実施形態の技術的範囲に属する。
【0015】
【0016】
図１に示すように、第１実施形態に係るリモートカメラシステムは、ロボットカメラ１０、制御コンピュータ２１、及びＨＭＤ（Head Mounted Display）２２を含む。
【0017】
なお、第１実施形態に係るリモートカメラシステムに含まれるロボットカメラの台数及び形状については実施の態様に応じて任意に変形してもよい。また、オペレータＯＰが映像表示デバイスとしてＨＭＤ２２を利用する場合を例に説明を進めるが、他の映像表示デバイス（例えば、頭部装着型ではないディスプレイ装置）が利用されてもよい。これらの変形例については、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第１実施形態の技術的範囲に属する。
【0018】
（ロボットカメラ１０について）
ロボットカメラ１０は、メインカメラ１１、視界カメラ１２、ロボットアーム１３、及びベース１４を有する。また、ロボットカメラ１０は、ロボットアーム１３及びベース１４を動かすための駆動機構（例えば、モータ）を制御する制御デバイス（図２の制御デバイス１５）をさらに有する。制御デバイス１５は、ロボットアーム１３及びベース１４を制御する機能に加え、通信経路Ｎ１を介して制御コンピュータ２１と通信する機能、及びロボットカメラ１０への給電を制御する機能をさらに有する。
ロボットカメラ１０は、メインカメラ１１、視界カメラ１２、ロボットアーム１３、及びベース１４を有する。また、ロボットカメラ１０は、ロボットアーム１３及びベース１４を動かすための駆動機構（例えば、モータ）を制御する制御デバイス（図２の制御デバイス１５）をさらに有する。制御デバイス１５は、ロボットアーム１３及びベース１４を制御する機能に加え、通信経路Ｎ１を介して制御コンピュータ２１と通信する機能、及びロボットカメラ１０への給電を制御する機能をさらに有する。
【0019】
メインカメラ１１は、放送映像を出力するための撮像装置である。メインカメラ１１は、レンズや光学フィルタなどの光学素子、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの撮像素子、及びＤＳＰ（Digital Signal Processor）、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）などのプロセッサを搭載する。メインカメラ１１には、マイクが搭載されていてもよい。
【0020】
また、メインカメラ１１は、制御デバイス１５及び制御コンピュータ２１の少なくとも一方と有線又は無線で通信するための通信インターフェースを有する。例えば、メインカメラ１１と制御コンピュータ２１とが直接通信できる場合、制御デバイス１５を介さずに制御コンピュータ２１からメインカメラ１１を制御することが可能になる。また、メインカメラ１１は、制御デバイス１５を介さずに、メインカメラ１１から出力される映像（以下、メイン映像ＶＭ）を制御コンピュータ２１に伝送することが可能になる。もちろん、メインカメラ１１の制御及びメイン映像ＶＭの伝送は、制御デバイス１５を介して実行されてもよい。
【0021】
ロボットアーム１３は、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆ、及び関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆの間を接続する柱状のアーム部を有する。なお、図１の例では、６つの関節部に回転軸を有する６軸のロボットアームを例示したが、回転軸の数及び形状はこの例に限定されない。関節部の数及び形状が異なるロボットアームの構造については、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第１実施形態の技術的範囲に属する。
【0022】
メインカメラ１１は、ロボットアーム１３の先端部に接続される。メインカメラ１１は、例えば、関節部１３ｂの回転軸を中心とする回転動作により左右（パン方向）に向きを変えることができる。また、メインカメラ１１は、例えば、関節部１３ａの回転軸を中心とする回転動作により上下（チルト方向）に向きを変えることができる。なお、メインカメラ１１のパン・チルト制御は、関節部１３ａ、１３ｂだけでなく、他の関節部の回転動作によって、或いは、他の関節部の回転動作を組み合わせて実現することも可能である。また、メインカメラ１１の高さ及び前後（被写体に近づく又は遠ざかる方向）の位置は、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆの少なくとも１つにおける回転動作によるロボットアーム１３の変形により制御されうる。
【0023】
ロボットアーム１３を変形させるための駆動機構として、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆのそれぞれにモータ（図示せず）が設けられている。例えば、関節部１３ａのモータを駆動することでメインカメラ１１のチルト動作が実現でき、関節部１３ｂのモータを駆動することでメインカメラ１１のパン動作が実現できる。また、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆの動きを組み合わせることで、メインカメラ１１を様々なアングルに対応する位置及び向きに移動することができる。モータの動作は、制御コンピュータ２１から通信経路Ｎ１を介して伝送される制御信号に従って制御デバイス１５が制御する。
【0024】
ロボットアーム１３は、ベース１４に固定される。ベース１４は、オペレータ又は補助スタッフが手動で移動させる手動式のベースであってもよいし、制御コンピュータ２１から伝送される制御信号に従って自律的に移動する自走式のベースであってもよい。なお、ベース１４の形状、構造及び移動機構については様々な変形が可能であり、これらについて、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第１実施形態の技術的範囲に属する。
【0025】
ベース１４が自走式の場合、ベース１４には、例えば、複数の車輪、一部又は全部の車輪を駆動するためのモータ（図示せず）、及びモータに給電するためのバッテリなどが搭載される。モータの動作は、制御コンピュータ２１から通信経路Ｎ１を介して伝送される制御信号に従って制御デバイス１５が制御する。なお、ベース１４に搭載されたバッテリによりロボットカメラ１０の電力が賄われてもよい。また、バッテリ以外の給電手段により電力が供給されてもよい。例えば、スタジオ内の電源設備から、電源ケーブルを介して電力が供給されてもよいし、ワイヤレス電力伝送により電力が供給されてもよい。
【0026】
視界カメラ１２は、オペレータＯＰにスタジオ内の様子を提供するための映像を撮る目的で設置される撮像装置である。図１の例において、視界カメラ１２は、メインカメラ１１に物理的に接続されている。視界カメラ１２は、実際にメインカメラ１１をカメラマンが操作して撮影する際にカメラマンの目が位置する場所（メインカメラ１１の位置を基準に予め設定される場所）の近傍に配置される。視界カメラ１２の設置方法については、後段において、図３～図５を参照しながら、さらに説明する。
【0027】
視界カメラ１２は、人間の視野より広い画角を有する広角カメラである。例えば、視界カメラ１２は、全方位の映像（３６０°映像）を撮像することが可能な全方位カメラである。以下では、説明の都合上、視界カメラ１２が全方位カメラである場合を例に説明するが、視界カメラ１２は、ロボットカメラ１０の周囲を取り囲む広い画角の映像（例えば、１８０°映像、２７０°映像）を撮像可能な広角カメラであってもよい。
【0028】
また、視界カメラ１２は、制御デバイス１５及び制御コンピュータ２１の少なくとも一方と有線又は無線で通信するための通信インターフェースを有する。例えば、視界カメラ１２と制御コンピュータ２１とが直接通信できる場合、制御デバイス１５を介さずに制御コンピュータ２１から視界カメラ１２を制御することが可能になる。また、視界カメラ１２は、制御デバイス１５を介さずに、視界カメラ１２から出力される映像（以下、全方位映像ＶＥ）を制御コンピュータ２１に伝送することが可能になる。もちろん、視界カメラ１２の制御及び全方位映像ＶＥの伝送は、制御デバイス１５を介して実行されてもよい。
【0029】
通信経路Ｎ１は、有線ネットワーク、無線ネットワーク、及び専用回線（光回線など）の少なくとも１つを含む。例えば、メイン映像ＶＭ及び全方位映像ＶＥの映像信号は比較的高速な無線ネットワークで制御コンピュータ２１に伝送され、制御信号は比較的低速な無線ネットワークで伝送されるように通信経路Ｎ１が設計されてもよい。また、メイン映像ＶＭ及び全方位映像ＶＥの映像信号が比較的高速な光回線で伝送され、制御信号が比較的低速な無線伝送されるようにしてもよい。通信経路Ｎ１の設計については実施の態様に応じて適宜変形されうる。
【0030】
（制御コンピュータ２１について）
制御コンピュータ２１は、例えば、サーバ、ワークステーション、ＰＣ（Personal Computer）、又はベースステーションなどのコンピュータである。
制御コンピュータ２１は、例えば、サーバ、ワークステーション、ＰＣ（Personal Computer）、又はベースステーションなどのコンピュータである。
【0031】
制御コンピュータ２１は、オペレータＯＰによる操作デバイスへの操作入力に応じて、ロボットカメラ１０に操作内容を伝えるための制御信号を生成する。そして、制御コンピュータ２１は、通信経路Ｎ１を介して制御信号をロボットカメラ１０の制御デバイス１５に伝送する。また、制御コンピュータ２１は、通信経路Ｎ１を介して、メインカメラ１１からメイン映像ＶＭを受信し、視界カメラ１２から全方位映像ＶＥを受信する。
【0032】
メイン映像ＶＭを受信した制御コンピュータ２１は、通信経路Ｎ２を介してオペレータＯＰのＨＭＤ２２へとメイン映像ＶＭを伝送する。通信経路Ｎ２は、有線ネットワーク、無線ネットワーク、及び専用回線（光回線など）の少なくとも１つを含む。例えば、通信経路Ｎ２は、ＭＩＭＯ（Multiple-Input and Multiple-Output）などの高速無線伝送技術を利用した無線通信回線である。
【0033】
メイン映像ＶＭをＨＭＤ２２へと伝送するとき、制御コンピュータ２１は、メイン映像ＶＭのデータサイズを圧縮し、圧縮後のメイン映像ＶＭをＨＭＤ２２に伝送してもよい。圧縮の方法としては、例えば、フレームレートを下げる方法、各フレームの解像度を下げる方法、及び、ＭＰＥＧ（Moving Picture Experts Group）などのワーキンググループで策定される標準の動画圧縮方式で映像信号を圧縮する方法などが適用されうる。
【0034】
全方位映像ＶＥを受信した制御コンピュータ２１は、オペレータＯＰの視線方向及び全方位映像ＶＥに基づいて視界映像を生成する。視界映像は、オペレータＯＰの視線方向に応じて変化し、カメラマン目線で見たスタジオ内の様子（メインカメラ１１をスタジオ内でカメラマンが操作すると仮定した場合にカメラマンの視界に入る範囲）に対応する映像である。視界映像の生成方法については後述する。制御コンピュータ２１は、通信経路Ｎ２を介して視界映像をＨＭＤ２２へと伝送する。このとき、制御コンピュータ２１は、上述したメイン映像ＶＭの圧縮方法と同様の方法で視界映像を圧縮してもよい。
【0035】
（ＨＭＤ２２について）
図１の例において、ロボットカメラ１０を遠隔操作するオペレータＯＰは、ＨＭＤ２２を頭部に装着している。ＨＭＤ２２は、映像を表示するための映像表示デバイス２２１を搭載している。なお、頭部装着型デバイスとしては、ＨＭＤの他にも、例えば、スマートグラスなどがある。また、変形例として、頭部装着型デバイスではない入力デバイス及び出力デバイスを利用してＨＭＤ２２の機能を実現することも可能である。これらの変形例については、後段において、いくつかの具体例を示しながら、さらに説明する。
図１の例において、ロボットカメラ１０を遠隔操作するオペレータＯＰは、ＨＭＤ２２を頭部に装着している。ＨＭＤ２２は、映像を表示するための映像表示デバイス２２１を搭載している。なお、頭部装着型デバイスとしては、ＨＭＤの他にも、例えば、スマートグラスなどがある。また、変形例として、頭部装着型デバイスではない入力デバイス及び出力デバイスを利用してＨＭＤ２２の機能を実現することも可能である。これらの変形例については、後段において、いくつかの具体例を示しながら、さらに説明する。
【0036】
映像表示デバイス２２１は、第１の表示領域２２１ａ及び第２の表示領域２２１ｂを区画し、第１の表示領域２２１ａ及び第２の表示領域２２１ｂに互いに異なる映像を表示することができる。図１の例では、映像表示デバイス２２１の画面全体に第２の表示領域２２１ｂが設定され、第２の表示領域２２１ｂよりもサイズが小さい第１の表示領域２２１ａが画面中央に配置されている。
【0037】
第１の表示領域２２１ａ及び第２の表示領域２２１ｂの位置及びサイズは変更することができる。例えば、第１の表示領域２２１ａが画面の四隅のいずれか１つに寄せて配置されてもよいし、或いは、映像表示デバイス２２１の画面全体に第１の表示領域２２１ａが設定され、第２の表示領域２２１ｂが第１の表示領域２２１ａの上にオーバーレイ表示されてもよい。また、第１の表示領域２２１ａと第２の表示領域２２１ｂとが上下又は左右に並べて配置されてもよいし、第１の表示領域２２１ａ及び第２の表示領域２２１ｂの一方が一時的に表示されないようにしてもよい。
【0038】
例えば、第１の表示領域２２１ａにはメイン映像ＶＭが表示され、第２の表示領域２２１ｂには視界映像が表示される。なお、表示されるメイン映像ＶＭ及び視界映像は、同時刻の映像（同じタイミングで出力される映像）である。つまり、映像表示デバイス２２１に同時に表示されるメイン映像ＶＭの映像フレームと視界映像の映像フレームとは、同じ時刻に対応する映像フレームである。但し、メイン映像ＶＭと全方位映像ＶＥとの間のフレームレートの差や通信状態などによって生じうるタイムラグについては許容されうる。視界映像は、カメラマン目線で見たスタジオ内の様子を映し出す映像である。また、オペレータＯＰの視線方向に応じて視界映像が変化する。そのため、オペレータＯＰは、実際にスタジオ内にいるような感覚でロボットカメラ１０を操作することが可能になる。
【0039】
ＨＭＤ２２は、映像表示デバイス２２１の非透過表示と透過表示とを切り替える機能を搭載していてもよい。また、ＨＭＤ２２は、オペレータＯＰが下を向いた場合（手元を見た場合）に透過表示に切り替える機能を搭載していてもよい。映像表示デバイス２２１が透明ディスプレイである場合、透過表示のモードではオペレータＯＰが外の様子を視認できる程度の透過率（例えば、８０％）に透明度が制御され、非透過表示のモードでは透過率０％に透明度が制御される。
【0040】
映像表示デバイス２２１が非透明ディスプレイである場合、透過表示のモードではＨＭＤ２２の前面に搭載されたカメラ（図示せず）の映像（以下、手元映像）が画面に表示され、非透過表示のモードでは画面に通常の映像（メイン映像ＶＭ、視線映像）が表示されてもよい。例えば、透過表示のモードでは第２の表示領域２２１ｂに手元映像が表示され、非透過表示のモードでは第２の表示領域２２１ｂに視界映像が表示されるように表示内容が制御されてもよい。また、手元映像は、第１の表示領域２２１ａ及び第２の表示領域２２１ｂとは異なる第３の表示領域に表示されてもよい。
【0041】
上記の切り替え機能を搭載することで、ＨＭＤ２２を装着した状態で、オペレータＯＰが操作デバイス（図２の操作デバイス２３）を視認することが可能になる。ＨＭＤ２２の表示についての他の変形例として、スタジオ内に他のカメラ（ロボットカメラ以外のカメラを含みうる。）がある場合、他のカメラから出力されるメイン映像（例えば、リターン映像）が画面の一部に表示されてもよい。例えば、メイン映像ＶＭが表示される第１の表示領域２２１ａの一部（例えば、第１の表示領域２２１ａを四分割した区画の１つ）にリターン映像が表示されてもよい。また、リターン映像は、第１の表示領域２２１ａ及び第２の表示領域２２１ｂとは異なる少なくとも１つの第３の表示領域に表示されてもよい。
【0042】
（システム構成について）
次に、図２を参照しながら、第１実施形態に係るリモートカメラシステムについて、さらに説明する。図２は、第１実施形態に係るリモートカメラシステムに含まれる装置の例について説明するためのブロック図である。
次に、図２を参照しながら、第１実施形態に係るリモートカメラシステムについて、さらに説明する。図２は、第１実施形態に係るリモートカメラシステムに含まれる装置の例について説明するためのブロック図である。
【0043】
図１を参照しながら既に説明したように、ロボットカメラ１０は、メインカメラ１１、視界カメラ１２、ロボットアーム１３、ベース１４、及び制御デバイス１５を有する。
【0044】
ロボットカメラ１０の動作を制御するための制御コンピュータ２１は、コントロールシステム２０に含まれる。コントロールシステム２０は、例えば、副調整室や中継車などのスタジオ外に設置されうる。また、コントロールシステム２０は、ロボットカメラ１０があるスタジオから地理的に離れた場所（例えば、ロボットカメラ１０があるスタジオから地理的に離れた放送局など）に設置されてもよい。
【0045】
ロボットカメラ１０とコントロールシステム２０とは通信経路Ｎ１を含むネットワークＮＷにより接続される。上記のように、互いに地理的に離れた場所にロボットカメラ１０とコントロールシステム２０とが設置される場合、ネットワークＮＷには、例えば、光ファイバ通信網などを含む広域ネットワークが含まれうる。一方、同じ放送局内にロボットカメラ１０とコントロールシステム２０とが設置される場合など、設置場所が距離的に近い場合、ネットワークＮＷは、無線ＬＡＮ（Local Area Network）などの無線ネットワークでもよい。
【0046】
図２に示すように、コントロールシステム２０は、制御コンピュータ２１、ＨＭＤ２２、及び操作デバイス２３を含む。
【0047】
ＨＭＤ２２は、映像表示デバイス２２１及び視線検知デバイス２２２を有する。視線検知デバイス２２２は、ＨＭＤ２２を頭部に装着したオペレータＯＰの視線方向を検知する。例えば、視線検知デバイス２２２は、加速度センサ、磁気センサ、ジャイロスコープなどのモーションセンサを含み、モーションセンサの出力に基づいて頭部の動きを検知する。
【0048】
オペレータＯＰの視線方向は、例えば、オペレータＯＰの顔面から映像表示デバイス２２１の画面へと向かう方向に設定されうる。オペレータＯＰが直立姿勢のときの視線方向を基準（正面）に設定することで、モーションセンサの出力から、現在の視線方向を正面からのズレ量（例えば、頭部の上下左右の回転角、又は、頭部を基点とする現在の視線方向を示す単位ベクトル）として求めることができる。視線検知デバイス２２２は、オペレータＯＰの視線方向を検知し、検知した視線方向の情報を制御コンピュータ２１へと出力する。
【0049】
操作デバイス２３は、ロボットカメラ１０を操作するためのコントローラである。操作デバイス２３は、例えば、コントローラ（例えば、Ｋｉｎｅｃｔ（登録商標）コントローラ）、ジョイスティック、ジョイパッド、キーボード、マウス、タッチパネル、ウェアラブル端末、又は、放送用カメラの操作インターフェースを模した専用コントローラなどである。なお、後段において、いくつかの操作デバイスの具体例を示しながら、操作デバイス２３の具体的な構成及びその変形例について、さらに説明する。
【0050】
ところで、メインカメラ１１から出力されるメイン映像ＶＭ及び視界カメラ１２から出力される全方位映像ＶＥはネットワークＮＷを介して制御コンピュータ２１に伝送される。制御コンピュータ２１は、受信した全方位映像ＶＥから視界映像を生成する。そして、メイン映像ＶＭ及び視界映像は、制御コンピュータ２１からＨＭＤ２２へと伝送され、ＨＭＤ２２の映像表示デバイス２２１に表示される。
【0051】
視線検知デバイス２２２から出力される視線方向の検知結果は、逐次、制御コンピュータ２１へと出力される。制御コンピュータ２１は、視界映像を生成するとき、視線検知デバイス２２２から出力される視線方向の検知結果を利用する。例えば、制御コンピュータ２１は、カメラマン目線の視界に対応する映像として、現在の視線方向の視界範囲に収まる部分映像を全方位映像ＶＥから切り出し、切り出した部分映像を視界映像として出力する。
【0052】
オペレータＯＰは、操作デバイス２３を利用して、メインカメラ１１に対するカメラ設定の変更や、ロボットアーム１３の動き制御及びベース１４の動き制御を行う。カメラ設定の変更により、ズーム、フォーカス、露出（Ｆ値、ＩＳＯ感度）などの設定が変更される。ロボットアーム１３の動き制御により、各関節部のモータを駆動してメインカメラ１１のパン角、チルト角、高さ、前後左右の位置などが調整される。ベース１４の動き制御は、スタジオ内におけるロボットカメラ１０の移動制御である。
【0053】
視界カメラ１２から出力される全方位映像ＶＥは、オペレータＯＰによる操作入力がなくても撮影時には制御コンピュータ２１へと出力される。また、視界カメラ１２は、カメラマン目線の視界を提供するようにメインカメラ１１又はロボットアーム１３の適切な位置に設置されているため、制御コンピュータ２１により全方位映像ＶＥから好適な視界映像が得られる。なお、操作デバイス２３により視界カメラ１２のカメラ設定を変更できるようにしてもよい。例えば、明るさや露出補正などの設定変更が可能であってもよい。
【0054】
（視界カメラの配置）
ここで、図３～図５を参照しながら、第１実施形態に係る視界カメラの配置及び接続部の構造について説明する。なお、以下の説明では、表記を簡略化するため、図３の（ａ）を図３Ａ、（ｂ）を図３Ｂ、（ｃ）を図３Ｃと表記する場合がある。図１に例示した視界カメラ１２の配置は図３Ｂの配置例に対応する。
ここで、図３～図５を参照しながら、第１実施形態に係る視界カメラの配置及び接続部の構造について説明する。なお、以下の説明では、表記を簡略化するため、図３の（ａ）を図３Ａ、（ｂ）を図３Ｂ、（ｃ）を図３Ｃと表記する場合がある。図１に例示した視界カメラ１２の配置は図３Ｂの配置例に対応する。
【0055】
【0056】
配置例＃１では、カメラマンが肩にカメラを担ぐスタイル（以下、肩担ぎスタイル）で撮影するときにカメラマンの目が位置する場所に視界カメラ１２のレンズが配置されている。この例では、メインカメラ１１の筐体側部に視界カメラ１２を取り付けるための接続部１２ａが設けられ、接続部１２ａに視界カメラ１２が固定されている。接続部１２ａの構造は、例えば、視界カメラ１２の底部及び側部を支持し、視界カメラ１２が載置されて取り外し可能な状態で固定される構造である。
【0057】
なお、接続部１２ａの構造は図３Ａの例に限定されない。例えば、視界カメラ１２をバンドで固定する構造、或いは、磁石やネジなどの固定手段により視界カメラ１２を固定する構造であってもよい。また、図３Ａの例では、メインカメラ１１を右肩で担いだカメラマンの顔が位置する場所付近（右側部）に接続部１２ａが設けられているが、左肩で担いだカメラマンの顔が位置する場所付近（左側部）に接続部１２ａが設けられてもよい。
【0058】
【0059】
配置例＃２では、カメラを三脚又はペデスタルに載せた状態でカメラマンがカメラ背後から操作するスタイル（以下、直立スタイル）で撮影する場合にカメラマンの目が位置する場所に視界カメラ１２のレンズが配置されている。この例では、メインカメラ１１の筐体背部（レンズマウントがある面と反対側）後方に視界カメラ１２を配置するための接続部１２ｂが設けられ、接続部１２ｂに視界カメラ１２が固定されている。
【0060】
また、図３Ｂの例では、筐体背部の面より後ろに視界カメラ１２のレンズが位置するように、メインカメラ１１と接続部１２ｂとが接続される部分から、視界カメラ１２が載置される部分までの距離が所定の長さ（例えば、１５ｃｍ）以上に設定されている。
【0061】
接続部１２ｂの構造は、例えば、視界カメラ１２の底部及び側部を支持し、視界カメラ１２が載置されて取り外し可能な状態で固定される構造である。なお、接続部１２ｂの構造は図３Ｂの例に限定されない。例えば、視界カメラ１２をバンドで固定する構造、或いは、磁石やネジなどの固定手段により視界カメラ１２を固定する構造であってもよい。
【0062】
次に、図３Ｃを参照しながら、視界カメラ１２のさらに別の配置例（以下、配置例＃３）について説明する。図３Ｃは、第１実施形態に係る視界カメラの配置及び接続部の構造について説明するための第３の模式図である。
【0063】
配置例＃３では、上述した配置例＃１の接続部１２ａ及び上述した配置例＃２の接続部１２ｂがメインカメラ１１に設けられており、視界カメラ１２の配置を変更することができる。接続部１２ａ、１２ｂは予めメインカメラ１１に固定されてもよい。視界カメラ１２の配置を変更できるようにすることで、スタジオセットの種類や配置、カメラマンの得意な撮影スタイルなどに応じて肩担ぎスタイルと直立スタイルとを切り替えることが可能になる。
【0064】
【0065】
配置例＃４では、接続部１２ｃの一端がロボットアーム１３（この例では、メインカメラ１１をチルトするための関節部１３ａ付近）に接続されている。また、接続部１２ｃの他端には、視界カメラ１２の底部及び側部を支持するための支持機構が設けられ、支持機構に視界カメラ１２が固定されている。
【0066】
また、接続部１２ｃは、ロボットアーム１３と接続する部分に回転機構を有し、メインカメラ１１の光軸が水平面内からチルト角λTだけチルトしたときに、角度-λTだけ回転して視界カメラ１２の正面方向を水平面内に維持する。例えば、前面及び背面のそれぞれにレンズを配置した全方位カメラの場合、各レンズの光軸が水平面内に維持される。
【0067】
実際にカメラを操作して撮影を行うカメラマンは、カメラをチルトさせた場合でも、自らの視線をチルト角の分だけ傾けて固定することは多くないだろう。通常、カメラマンは、ある程度、撮影姿勢を維持した状態でファインダやカメラ周囲の環境を見ている。そのため、メインカメラ１１のチルトに追従して視界カメラ１２の姿勢が変わると、視界カメラ１２の正面方向とカメラマン目線との間にズレが生じて違和感の原因になりうる。しかし、上述した接続部１２ｃの構成を適用すれば、このような違和感の低減が期待できる。
【0068】
後述するように、上記のような視界カメラ１２の正面方向とカメラマン目線とのズレは、全方位映像ＶＥから視線映像を生成するときに補正することができる。他方、配置例＃４のように視界カメラ１２の姿勢を機械的に補正できると視線映像を生成する際の補正が省略できるため、制御コンピュータ２１による映像処理の負担を減らすことができる。
【0069】
なお、視界カメラ１２が全方位カメラ以外の広角カメラ（例えば、１８０°映像又は２７０°映像を出力する広角カメラ）である場合、上方に大きくチルトするメインカメラ１１の動きに視界カメラ１２の向きが追従すると、視界カメラ１２の出力映像にはカメラマンの足下が含まれなくなることがある。この場合、足下の映像が得られず、足下の視界映像が一部欠損する可能性がある。しかし、上述した接続部１２ｃの構成を適用すれば、このような視界映像の欠損を回避することができる。
【0070】
【0071】
配置例＃５では、図４に示した接続部１２ｃと同じ構造を有する接続部１２ｄが配置例＃４とは異なるロボットアーム１３の部位に接続されている。このように、接続部１２ｄがロボットアーム１３に接続される位置は実施の態様に応じて適宜変更されうる。図５の例では、最も床に近い位置にある関節部１３ｆの近傍に接続部１２ｄが接続されているが、ベース１４に接続部１２ｄが接続されてもよい。この場合、カメラマンの目が位置する高さになるように接続部１２ｄのサイズや形状が設計されうる。
【0072】
上述した配置例＃１～＃５及びこれらの変形例のように、実際にカメラを操作するカメラマンの目が位置する場所の近傍に視界カメラ１２のレンズを配置することで、視界カメラ１２の出力映像から、カメラマン目線で見える光景に近い視界映像を得ることができる。なお、更なる変形例として、スタジオセットなど、ロボットカメラ以外のスタジオ内の機材や構造物に視界カメラ１２を配置することも可能である。以下では、説明の都合上、配置例＃２を想定して説明を進める。
【0073】
【0074】
上記の説明において、ロボットカメラ１０は、メインカメラ１１が接続されているロボットアーム１３を、移動可能なベース１４に載置する構造を有していた。この構造にした場合、ロボットカメラ１０は、スタジオの床上に設置され、スタジオ内を動き回ることができる。但し、第１実施形態に係る技術を適用可能なロボットカメラ１０の構造はこれに限定されない。例えば、ロボットカメラ１０は、図６に示すように、床面ＦＬ、天井ＣＬ、壁面ＷＬに、ロボットアーム１３の一端（メインカメラ１１が接続される端部と反対側の端部）が固定される構造を有していてもよい。
【0075】
スタジオの天井ＣＬや、スタジオセットの壁面ＷＬにロボットアーム１３が固定される構造を適用すれば、ペデスタルに乗せたカメラを利用して行う通常のスタジオ撮影では難しい特殊なアングルからの撮影が可能になる。また、ニュース番組の撮影や、クロマキー撮影などの場合には、全てのロボットカメラ１０がスタジオ内を動き回れるようにしなくてもよいことがある。この場合、移動可能なベース１４を省略して床面ＦＬなどにロボットカメラ１０を固定する構造を適用すればコストの低減が期待されうる。
【0076】
【0077】
上記の説明において、ベース１４は、車輪により移動可能な構造を有していた。この構成にした場合、車輪の回転によりベース１４がスタジオ内を自由に動き回ることができる。また、上記の説明では、ベース１４は、ロボットカメラ１０をスタジオ内で移動させる役割を担っていた。但し、第１実施形態に係る技術を適用可能なベース１４の構造はこれに限定されない。
【0078】
例えば、ベース１４は、図７（ａ）に示すように、メインカメラ１１が接続されているロボットアーム１３を昇降させる昇降機構１４２ａ、及びレール１４２ｃに合う幅で配置された複数の車輪を有する移動機構１４２ｂを有する構造であってもよい。他の変形例として、ベース１４は、図７（ｂ）に示すように、昇降機構１４３付きのペデスタルであってもよい。さらに、ベース１４は、図７（ｃ）に示すように、パン棒１４４ａ、及び脚部１４４ｂを有する三脚であってもよい。このような変形例についても第１実施形態に係る技術を適用可能である。
【0079】
【0080】
上記の説明において、６軸のロボットアーム１３を例示した。しかし、第１実施形態に係る技術を適用可能なロボットアーム１３の構造はこれに限定されない。例えば、図８に例示したような７軸のロボットアーム１３１を適用することも可能である。ロボットアーム１３１は、７つの関節部１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅ、１３１ｆ、１３１ｇを有し、各関節部（図中の鎖線で示した部分）が回転して、例えば、図８（ｂ）に示すような形状に変形することができる。このように関節部の数が増えることで、よりアクロバティックなカメラアングルを実現できるようになる可能性がある。
【0081】
（視界映像の表示制御）
次に、図９～図１１を参照しながら、第１実施形態に係る視界映像の表示制御について具体例を挙げて説明する。以下では、説明の都合上、図９に例示するスタジオ内の様子をロボットカメラ１０で撮影する場合について説明を行う。図９は、第１実施形態に係るロボットカメラが配置されるスタジオ内の様子について説明するための模式図である。
次に、図９～図１１を参照しながら、第１実施形態に係る視界映像の表示制御について具体例を挙げて説明する。以下では、説明の都合上、図９に例示するスタジオ内の様子をロボットカメラ１０で撮影する場合について説明を行う。図９は、第１実施形態に係るロボットカメラが配置されるスタジオ内の様子について説明するための模式図である。
【0082】
図９に模式的に示したスタジオ内には、２台のロボットカメラ（ＣＡＭ＃１、ＣＡＭ＃２）、スタジオセットＳＳ、表示モニタＭ、及び出演者ｍ１、ｍ２、ｍ３が存在する。この例では、ＣＡＭ＃１がロボットカメラ１０であるとする。ロボットカメラ１０は、出演者ｍ１、ｍ２をメインカメラ１１で撮影している。ＣＡＭ＃２は、表示モニタＭ及び出演者ｍ３を撮影している。
【0083】
この例では、ＨＭＤ２２の第１の表示領域２２１ａにはメイン映像ＶＭが表示され、第２の表示領域２２１ｂには視界映像が表示される。図１０に示すように、オペレータＯＰが正面を向いている場合（撮影方向にオペレータＯＰの頭部ＯＰａ及びボディＯＰｂが向いている場合）、出演者ｍ１、ｍ２、スタジオセットＳＳなどを含む視界映像が第２の表示領域２２１ｂに表示される。図１０は、第１実施形態に係る視界映像及びメイン映像の表示制御について説明するための第１の説明図である。
【0084】
図１０の状態から、オペレータＯＰが頭部ＯＰａを右側に向けた場合（角度θだけ回転した場合）、図１１に示すように、第２の表示領域２２１ｂに表示される視界映像は、表示モニタＭ及び出演者ｍ３を含む映像となる。つまり、カメラマンがスタジオ内で右側を向いたときに見える範囲の映像が第２の表示領域２２１ｂに表示される。図１１は、第１実施形態に係る視界映像及びメイン映像の表示制御について説明するための第２の説明図である。なお、角度θに応じて視界映像に含まれる光景は連続的に変化する。
【0085】
なお、オペレータＯＰが実際に頭部ＯＰａを回転した角度θと、視界映像の基準となる視線方向の回転角度ηとは一致していてもよいし、異なってもよい。例えば、視線方向の回転角度ηが頭部ＯＰａの回転角度θに比例する場合、回転角度θ、ηの関係は、係数γを用いて以下の式（１）により与えられる。γが１より大きい場合（γ＞１）、頭部ＯＰａを少し回転させるだけで、実際に頭部ＯＰａを回転させて見える光景よりも広い範囲の光景を視界映像として見ることができる。例えば、γ＝３に設定すると、頭部ＯＰａを正面方向から６０°回転させたとき、視界映像には真後ろの光景が映し出される。
【0086】
η＝γ×θ …（１）
【0087】
上記のように、第１の表示領域２２１ａにメイン映像ＶＭを表示しつつ、第２の表示領域２２１ｂに表示される視界映像が変化することで、オペレータＯＰは、スタジオ内でＶＦ（View Finder）を確認しながら周囲を見渡す感覚でロボットカメラ１０を操作することが可能になる。また、係数γを１より大きく設定することで、実際には頭部ＯＰａを回転しても見ることができない背後の光景までも視界映像で見ることが可能になる。なお、変形例として、メイン映像ＶＭ及び視界映像の表示をＶＲ（Virtual Reality）表示にしてもよい。ＶＲ表示にすることで、オペレータＯＰは、よりリアルにスタジオ内で撮影している感覚を味わうことができる。
【0088】
（操作デバイスの例）
次に、図１２を参照しながら、操作デバイス２３の一例として、ＧＵＩを利用する操作デバイスの具体的な構成を例示し、操作デバイス２３の構成及び機能について説明する。図１２は、第１実施形態に係る操作デバイスの例を模式的に示した説明図である。
次に、図１２を参照しながら、操作デバイス２３の一例として、ＧＵＩを利用する操作デバイスの具体的な構成を例示し、操作デバイス２３の構成及び機能について説明する。図１２は、第１実施形態に係る操作デバイスの例を模式的に示した説明図である。
【0089】
図１２の例は、タッチパネルを搭載するタブレット端末などのデバイスを利用してＧＵＩ（Graphical User Interface）により操作デバイス２３の機能を実現する方法を示している。図１２に示した操作デバイス２３は、操作領域Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｃ１、Ｃ２、Ｄ３及びボタンオブジェクトＤ１、Ｄ２を有する。なお、符号Ｕ１、Ｕ２はオペレータＯＰの指を示している。
【0090】
操作領域Ａ１、Ａ２、Ａ３は、ロボットアーム１３（ARM）の動き制御に用いられる操作部である。操作領域Ｂ１、Ｂ２は、ベース１４（BASE）の動き制御に用いられる操作部である。操作領域Ｃ１、Ｃ２は、メインカメラ１１のカメラ設定を変更する操作に用いられる操作部である。操作領域Ｄ３は、ロボットカメラの乗り換え操作に用いられる操作部である。
【0091】
ボタンオブジェクトＤ１は、オペレータＯＰが「正面」（図１０の状態を参照）を向いている状態の視線方向（直立姿勢時の視線方向）を設定する操作に用いられる。ボタンオブジェクトＤ２は、視界映像として切り出される範囲（オペレータＯＰの視野に相当する範囲）を一時的に拡張する操作に用いられる。なお、ボタンオブジェクトＤ２には、上述した係数γを変更する機能（例えば、γを１から２、及び２から１に変更する機能）が割り当てられてもよい。
【0092】
操作領域Ａ１は、メインカメラ１１をパン方向に回転させるためのディスクオブジェクトＡ１ａと、メインカメラ１１の向きを表示するためのカメラオブジェクトＡ１ｂとを含む。例えば、オペレータＯＰがディスクオブジェクトＡ１ａに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてカメラオブジェクトＡ１ｂが回転し、ロボットアーム１３の関節部が動いて、回転角ψの分だけメインカメラ１１の向きがパン方向に変化する。なお、操作領域Ａ１の中央を縦断する鎖線はパン角が０°の位置を表している。
【0093】
操作領域Ａ２は、メインカメラ１１をチルト方向に回転させるためのディスクオブジェクトＡ２ａと、メインカメラ１１の向きを表示するためのカメラオブジェクトＡ２ｂとを含む。例えば、オペレータＯＰがディスクオブジェクトＡ２ａに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてカメラオブジェクトＡ２ｂが回転し、ロボットアーム１３の関節部が動いて、回転角λTの分、メインカメラ１１の向きがチルト方向に変化する。なお、操作領域Ａ２の中央を横断する鎖線はチルト角が０°の位置を表している。
【0094】
操作領域Ａ３は、メインカメラ１１を上下に移動させるためのボタンオブジェクトＵＰ、ＤＯＷＮと、メインカメラ１１を左右に移動させるためのボタンオブジェクトＬ、Ｒと、ロックボタンＡ３ａとを含む。
【0095】
例えば、オペレータＯＰがボタンオブジェクトＵＰをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で垂直上方に移動する。一方、オペレータＯＰがボタンオブジェクトＤＯＷＮをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で垂直下方に移動する。また、オペレータＯＰがボタンオブジェクトＬをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で水平左方に移動する。一方、オペレータＯＰがボタンオブジェクトＲをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で水平右方に移動する。
【0096】
なお、ボタンオブジェクトＵＰ、ＤＯＷＮ、Ｌ、Ｒを押下している間だけメインカメラ１１の移動が継続されるようにしてもよい。ロックボタンＡ３ａが押下されると、現在のメインカメラ１１の位置及び向きがロックされる。ロック状態では、操作領域Ａ１、Ａ２による操作、及びボタンオブジェクトＵＰ、ＤＯＷＮ、Ｌ、Ｒによる操作が無視される。ロック状態でもう一度ロックボタンＡ３ａを押下するとロックが解除される。ロックボタンＡ３ａを利用することで、画角を固定した撮影が容易になる。なお、操作領域Ａ１、Ａ２、Ａ３のうち一部の操作だけをロックするようにオペレータＯＰが設定できるようにしてもよい。
【0097】
操作領域Ｂ１は、ベース１４を前進させるためのボタンオブジェクトＦｗと、ベース１４を後退させるためのボタンオブジェクトＢｗとを含む。例えば、オペレータＯＰがボタンオブジェクトＦｗをタッチすると、タッチしている間だけベース１４が前進する。一方、オペレータＯＰがボタンオブジェクトＢｗをタッチすると、タッチしている間だけベース１４が後退する。なお、ベース１４に障害物センサ（図示せず）が搭載されている場合、例えば、ボタンオブジェクトＦｗ、Ｂｗをタッチしている間でも、ベース１４が障害物を検知して自律的に停止する。
【0098】
操作領域Ｂ２は、ベース１４をその場で回転させるためのディスクオブジェクトＢ２ａを含む。例えば、オペレータＯＰがディスクオブジェクトＢ２ａに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてベース１４が回転し、ベース１４の進行方向が変わる。なお、上記の説明では、前進、後退、回転を組み合わせてベース１４を移動させる方法について説明したが、ベース１４の操作方法はこれに限定されない。例えば、前方、後方、左、右、左前方、右前方、左後方、右後方の移動にそれぞれ対応するボタンオブジェクトを設け、これによりベース１４を移動させる方法でもよい。
【0099】
また、操作領域Ｂ１、Ｂ２についての変形例として、例えば、スタジオを誕生から見下ろす形で見たときの要素を表す平面図、或いは、スタジオ内の様子を表す鳥瞰図を操作領域に表示し、その中にあるロボットカメラ１０のオブジェクトをドラッグする操作で、ベース１４の移動軌跡を指示できるようにする操作領域が設けられてもよい。このように、ドラッグ操作でロボットカメラ１０のスタジオ内における移動を制御できるようにすることで、オペレータＯＰは直感的にロボットカメラ１０を移動できるようになる。
【0100】
操作領域Ｃ１は、メインカメラ１１のズーム設定を変更するためのスライダオブジェクトＣ１ａを含む。オペレータＯＰがスライダオブジェクトＣ１ａをテレ端（Ｔ）方向にスライドさせると焦点距離が長くなるようにメインカメラ１１のレンズが制御され、ワイド端（Ｗ）方向にスライドさせると焦点距離が短くなるようにレンズが制御される。なお、メインカメラ１１のレンズが単焦点レンズである場合、操作領域Ｃ１の表示は無効化又は省略されうる。
【0101】
操作領域Ｃ２には、メイン映像ＶＭが表示される。オペレータＯＰが操作領域Ｃ２をタッチすると、タッチした場所にフォーカスが合うようにメインカメラ１１が制御される。なお、操作領域Ｃ２に表示されるメイン映像ＶＭは、解像度及びフレームレートの少なくとも一方が低くなるようにダウンコンバートされた映像であってもよい。
【0102】
操作領域Ｄ３には、ＣＡＭ＃２のメイン映像が表示される。なお、操作領域Ｄ３に表示されるメイン映像は、解像度及びフレームレートの少なくとも一方が低くなるようにダウンコンバートされた映像であってもよい。例えば、オペレータＯＰが操作領域Ｄ３をタッチすると、ＣＡＭ＃２への乗り換え処理が実行される。なお、誤って切り替え処理が実行されることを防止するため、操作領域Ｄ３に対するジェスチャー入力により切り替え処理が実行されるようにしてもよい。
【0103】
ＣＡＭ＃２への切り替え処理が実行されると、ＨＭＤ２２に表示されるメイン映像及び視界映像はＣＡＭ＃２のメイン映像及び視界映像に切り替えられる。また、操作デバイス２３の操作領域Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｃ１、Ｃ２、Ｄ１、Ｄ２に対する操作は、ＣＡＭ＃２の制御に対応する操作になる。また、操作領域Ｄ３には、ＣＡＭ＃１（ロボットカメラ１０）のメイン映像が表示される。
【0104】
なお、スタジオ内に３以上のカメラ（ロボットカメラ以外のカメラを含みうる。）がある場合、操作領域Ｄ３はｎ個（ｎ≧２）の部分領域に分割されてもよく、各部分領域にそれぞれ異なる他のカメラからのメイン映像が表示されてもよい。この場合、オペレータＯＰによりタッチされた部分領域に対応するカメラへの切り替え処理が実行される。
【0105】
上述した操作デバイス２３のＧＵＩは一例であり、第１実施形態に係る技術の適用範囲はこれに限定されない。例えば、各操作領域に表示されるオブジェクトの形状、種類及び数は実施の態様に応じて適宜変形可能である。また、一部の操作領域を省略する変形や、操作領域又はオブジェクトを追加する変形が可能である。このような変形例についても当然に第１実施形態の技術的範囲に属する。
【0106】
【0107】
【0108】
図１３に示すように、操作デバイス２３１は、ボタン型の操作部２３１ａ、２３１ｂ、スティック型の操作部２３１ｃ、２３１ｄ、及び十字キー型の操作部２３１ｅを有する。例えば、操作部２３１ａには、メインカメラ１１のズーム制御機能が割り当てられうる。操作部２３１ｂには、メインカメラ１１のフォーカス制御機能が割り当てられうる。操作部２３１ｃにはメインカメラ１１のパンチルト制御機能が割り当てられうる。
【0109】
操作部２３１ｄには、ロボットアーム１３の動き制御（例えば、メインカメラ１１を垂直面内で上下左右に動かす動きに対応する動き制御）が割り当てられうる。操作部２３１ｅには、ロボットアーム１３の細かな動き制御が割り当てられうる。例えば、操作部２３１ｄによる操作ではロボットアーム１３の動きが速く、操作部２３１ｅの操作では遅い速度でロボットアーム１３の動きが制御される。操作部２３１ｅをカメラ位置の微調整に使うことで、効率的にメインカメラ１１を所望の位置に移動することができるようになる。
【0110】
次に、図１４を参照しながら、スタジオカメラのコントロールシステムとして利用される入力インターフェースの一部に操作デバイス２３の機能を割り当てた操作デバイス２３２について説明する。図１４は、第１実施形態に係る操作デバイスの変形例について説明するための第２の説明図である。
【0111】
図１４に示すように、操作デバイス２３２は、任意の回転量で回転可能なダイヤル型の操作部２３２ａ、始点と終点との間に回転量が制限されるダイヤル型の操作部２３２ｂ、２３２ｃ、レバー型の操作部２３２ｄ、及び複数のボタンを有する操作部２３２ｅを有する。例えば、操作部２３２ａには、メインカメラ１１のフォーカス制御機能及びズーム機能が割り当てられうる。フォーカス制御機能及びズーム機能は、例えば、操作部２３２ｅの特定のボタンを押下することにより切り替えられる。
【0112】
操作部２３２ｂには、メインカメラ１１のパンチルト制御機能が割り当てられる。パン制御機能及びチルト制御機能は、例えば、操作部２３２ｅの特定のボタンを押下することにより切り替えられる。操作部２３２ｃには、ベース１４の向きを左右に向ける方向制御機能が割り当てられうる。操作部２３２ｄには、ベース１４の速度制御機能が割り当てられうる。操作部２３２ｅには、各操作部に割り当てられる機能の切り替え機能、及び制御対象となるロボットカメラの切り替え機能などが割り当てられうる。
【0113】
【0114】
図１５に示すように、操作デバイス２３３ａ、２３３ｂは、オペレータＯＰが手に持って、或いは、身体に装着した状態で利用される。例えば、操作デバイス２３３ａは、オペレータＯＰが右手で操作する。操作デバイス２３３ｂは、オペレータＯＰが左手で操作する。操作デバイス２３３ａは、ロボットアーム１３を操作するための操作部ＲＣと、モーションセンサとを搭載している。操作デバイス２３３ｂは、メインカメラ１１を操作するための操作部ＣＣと、モーションセンサとを搭載している。
【0115】
操作デバイス２３３ａの操作部ＲＣには、例えば、ロボットアーム１３を上下左右に動かす動き制御の機能が割り当てられうる。操作デバイス２３３ｂの操作部ＣＣには、例えば、メインカメラ１１のズーム制御機能及びフォーカス制御機能が割り当てられうる。また、操作デバイス２３３ａを前方Ｆｗ、後方Ｂｗ、右方向Ｒ、左方向Ｌに動かすジェスチャーにロボットアーム１３の動きを割り当てることができる。また、操作デバイス２３３ｂを前方Ｆｗ、後方Ｂｗ、右方向Ｒ、左方向Ｌに動かすジェスチャーにメインカメラ１１の制御機能を割り当てることができる。
【0116】
【0117】
図１６に例示した操作システム２３４は、オペレータＯＰが着座する座面２３４ａ、タッチパネル２３４ｂ、フットコントローラ２３４ｃ、レバー型の操作部２３４ｄ、及びボタン型の操作部２３４ｅを有する。操作システム２３４には、複数のディスプレイデバイスを組み合わせた映像表示デバイス２２１も含まれる。例えば、オペレータＯＰから見て中央に位置するディスプレイデバイスにメイン映像ＶＭが表示され、左右に位置するディスプレイデバイスに視界映像が表示されるようにしてもよい。
【0118】
タッチパネル２３４ｂには、図１２に示した操作デバイス２３のＧＵＩが表示されてもよい。フットコントローラ２３４ｃは、オペレータＯＰが足で操作する操作デバイスである。フットコントローラ２３４ｃには、例えば、左右それぞれの足が置かれる位置にボタンが配置され、足で押し込むことにより、そのボタンに割り当てられた処理が実行される。例えば、ベース１４の速度制御、メインカメラ１１のズーム及びフォーカス制御、或いは、ロボットアームの制御及びカメラの切り替え制御などが割り当てられうる。
【0119】
操作部２３４ｄには、例えば、ロボットアーム１３の動き制御機能又はメインカメラ１１のパンチルト制御機能などが割り当てられうる。操作部２３４ｅには、例えば、メインカメラ１１のズーム制御機能及びフォーカス制御機能、或いは、制御対象のロボットカメラを切り替える機能などが割り当てられうる。なお、各部に対する機能の割り当て方法は上記の例に限定されず、任意に変更することが可能である。また、オペレータＯＰが機能の割り当てを任意に変更することができるようにしてもよい。
【0120】
上記のように、第１実施形態に係る技術を適用可能な操作デバイス２３は様々に変形することが可能であり、上記の変形例はその一部に過ぎず、これらの変形例から着想可能な操作手段の構成についても第１実施形態の技術的範囲に属する。
【0121】
［１－２．ハードウェア］
ここで、図１７を参照しながら、上述した制御コンピュータ２１が有する機能を実現可能なハードウェアの例について説明する。図１７は、第１実施形態に係る制御コンピュータの機能を実現可能なハードウェアの一例を示したブロック図である。制御コンピュータ２１の機能は、コンピュータプログラムを用いて図１７に示すハードウェアを制御することにより実現される。
ここで、図１７を参照しながら、上述した制御コンピュータ２１が有する機能を実現可能なハードウェアの例について説明する。図１７は、第１実施形態に係る制御コンピュータの機能を実現可能なハードウェアの一例を示したブロック図である。制御コンピュータ２１の機能は、コンピュータプログラムを用いて図１７に示すハードウェアを制御することにより実現される。
【0122】
図１７に示すように、このハードウェアは、主に、プロセッサ２１ａ、メモリ２１ｂ、表示Ｉ／Ｆ２１ｃ、通信Ｉ／Ｆ２１ｄ、及び接続Ｉ／Ｆ２１ｅを有する。
【0123】
プロセッサ２１ａは、例えば、ＣＰＵ、ＤＳＰ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵなどの処理回路である。メモリ２１ｂは、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの記憶装置である。
【0124】
表示Ｉ／Ｆ２１ｃは、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスを接続するためのインターフェースである。例えば、表示Ｉ／Ｆ２１ｃは、プロセッサ２１ａや表示Ｉ／Ｆ２１ｃに搭載されたＧＰＵにより表示制御を実施する。
【0125】
通信Ｉ／Ｆ２１ｄは、有線及び／又は無線のネットワークに接続するためのインターフェースである。通信Ｉ／Ｆ２１ｄは、例えば、有線ＬＡＮ、無線ＬＡＮ、光回線などに接続されうる。接続Ｉ／Ｆ２１ｅは、外部デバイスを接続するためのインターフェースである。接続Ｉ／Ｆ２１ｅは、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）などである。
【0126】
接続Ｉ／Ｆ２１ｅには、例えば、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されうる。また、接続Ｉ／Ｆ２１ｅには、スピーカなどのオーディオデバイスなどが接続されうる。また、接続Ｉ／Ｆ２１ｅには、可搬性の記録媒体２１ｆが接続されうる。記録媒体２１ｆとしては、例えば、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0127】
上述したプロセッサ２１ａは、記録媒体２１ｆに格納されたプログラムを読み出してメモリ２１ｂに格納し、メモリ２１ｂから読み出したプログラムに従って制御コンピュータ２１の動作を制御することができる。制御コンピュータ２１の動作を制御するためのプログラムは、メモリ２１ｂに予め格納されていてもよいし、通信Ｉ／Ｆ２１ｄを介してネットワークからダウンロードされてもよい。
【0128】
なお、ＨＭＤ２２のハードウェアについては詳細な説明を省略するが、ＨＭＤ２２にも上述したプロセッサ２１ａ及びメモリ２１ｂと同様の要素が搭載される。
【0129】
［１－３．制御コンピュータの機能］
次に、図１８を参照しながら、制御コンピュータ２１の機能について、さらに説明する。図１８は、第１実施形態に係る制御コンピュータが有する機能の例を示したブロック図である。
次に、図１８を参照しながら、制御コンピュータ２１の機能について、さらに説明する。図１８は、第１実施形態に係る制御コンピュータが有する機能の例を示したブロック図である。
【0130】
図１８に示すように、制御コンピュータ２１は、ベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５を有する。なお、ベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５の機能は、主に、上述したプロセッサ２１ａ及びメモリ２１ｂにより実現可能である。
【0131】
ベース制御部２１１は、操作デバイス２３から出力される操作信号に応じてベース１４の動きを制御するための制御信号を生成し、生成した制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。
【0132】
例えば、操作デバイス２３のボタンオブジェクトＦｗがタッチされると、ベース１４を前進させる旨の命令を含む操作信号が操作デバイス２３から制御コンピュータ２１へと出力される。この場合、ベース制御部２１１は、ベース１４を前進させるための制御信号を生成し、ロボットカメラ１０の制御デバイス１５に伝送する。ベース１４の後退操作及び回転操作についても同様に、ベース制御部２１１は、各操作に対応する制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。これらの制御信号に応じて、制御デバイス１５は、ベース１４のモータを駆動してベース１４を移動させる。
【0133】
アーム制御部２１２は、操作デバイス２３から出力される操作信号に応じてロボットアーム１３の動きを制御するための制御信号を生成し、生成した制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。
【0134】
例えば、操作デバイス２３のボタンオブジェクトＵＰがタッチされると、メインカメラ１１の位置を垂直上方へ移動させる旨の命令を含む操作信号が操作デバイス２３から制御コンピュータ２１へと出力される。この場合、アーム制御部２１２は、ロボットアーム１３を垂直上方へ移動させるための制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。メインカメラ１１の垂直下方への移動、水平移動、パン、チルトについても同様に、ベース制御部２１１は、各操作に対応する制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。これらの制御信号に応じて、制御デバイス１５は、ロボットアーム１３のモータを駆動してロボットアーム１３を変形させる。
【0135】
カメラ制御部２１３は、操作デバイス２３から出力される操作信号に応じてメインカメラ１１のカメラ設定を変更する。
【0136】
例えば、操作デバイス２３のスライダオブジェクトＣ１ａがテレ端方向にスライドされると、メインカメラ１１のレンズをテレ端方向にズームさせる命令を含む操作信号が操作デバイス２３から制御コンピュータ２１へと出力される。この場合、カメラ制御部２１３は、メインカメラ１１のレンズをテレ端方向にズームさせるための制御信号を、ロボットカメラ１０の制御デバイス１５を介して又は直接的にメインカメラ１１へと伝送する。ワイド端方向へのズーム、フォーカス位置の指定についても同様に、カメラ制御部２１３は、各操作に対応する制御信号を、ロボットカメラ１０の制御デバイス１５を介して又は直接的にメインカメラ１１へと伝送する。
【0137】
メイン映像処理部２１４は、メインカメラ１１から出力されるメイン映像ＶＭを受信し、メイン映像ＶＭをＨＭＤ２２へと出力する。操作デバイス２３にメイン映像ＶＭを表示する場合、メイン映像処理部２１４は、操作デバイス２３へとメイン映像ＶＭを出力する。なお、メイン映像処理部２１４は、メイン映像ＶＭを圧縮し、圧縮後のメイン映像ＶＭをＨＭＤ２２へと出力してもよい。また、メイン映像処理部２１４は、メイン映像ＶＭをＶＲ映像に変換し、そのＶＲ映像をＨＭＤ２２へと出力してもよい。なお、メイン映像処理部２１４は、メイン映像ＶＭを、メインカメラ１１から直接受信してもよいし、ロボットカメラ１０の制御デバイス１５を介して受信してもよい。
【0138】
全方位映像処理部２１５は、視界カメラ１２から出力される全方位映像ＶＥを受信する。なお、全方位映像処理部２１５は、全方位映像ＶＥを、視界カメラ１２から直接受信してもよいし、ロボットカメラ１０の制御デバイス１５を介して受信してもよい。また、全方位映像処理部２１５は、視線検知デバイス２２２からオペレータＯＰの視線方向を示す視線情報を受信する。また、全方位映像処理部２１５は、全方位映像ＶＥ及び視線情報に基づいて視界映像を生成する。そして、全方位映像処理部２１５は、ＨＭＤ２２へと視界映像を出力する。
【0139】
全方位映像処理部２１５は、例えば、視線方向を中心に予め設定された視界範囲（例えば、上／下に３０°、左／右に６０°）の映像を全方位映像ＶＥから切り出し、切り出した映像を視界映像としてＨＭＤ２２へと出力する。なお、操作デバイス２３のボタンオブジェクトＤ２（ワイド表示）が押下されている場合、全方位映像処理部２１５は、視界範囲を上下左右に所定割合（例えば、１０％）だけ広くなるように変更し、変更後の視界範囲に基づいて視界映像を生成する。
【0140】
なお、全方位映像処理部２１５は、視界映像を圧縮し、圧縮後の視界映像をＨＭＤ２２へと出力してもよい。また、全方位映像処理部２１５は、視界映像をＶＲ映像に変換し、そのＶＲ映像をＨＭＤ２２へと出力してもよい。制御コンピュータ２１がメイン映像ＶＭ及び視界映像をＶＲ映像へと変換する方式に代えて、ＶＲ映像への変換をＨＭＤ２２で実行する方式を適用してもよい。このような変形例についても当然に第１実施形態の技術的範囲に属する。
【0141】
［１－４．処理フロー］
次に、図１９を参照しながら、第１実施形態に係るリモートカメラシステムにより撮影時に実行される処理の流れについて説明する。この説明の中で、視界映像の生成方法、操作デバイス２３による操作時の制御方法、視線補正の方法、視界映像の生成方法における処理の流れについて、さらに説明する。図１９は、第１実施形態に係るリモートカメラシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。
次に、図１９を参照しながら、第１実施形態に係るリモートカメラシステムにより撮影時に実行される処理の流れについて説明する。この説明の中で、視界映像の生成方法、操作デバイス２３による操作時の制御方法、視線補正の方法、視界映像の生成方法における処理の流れについて、さらに説明する。図１９は、第１実施形態に係るリモートカメラシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。
【0142】
（Ｓ１０１）撮影が開始されると、ロボットカメラ１０のメインカメラ１１からメイン映像ＶＭが出力され、メインカメラ１１から直接又はロボットカメラ１０の制御デバイス１５を介して、コントロールシステム２０の制御コンピュータ２１に入力される。これにより、制御コンピュータ２１は、メインカメラ１１から出力されるメイン映像ＶＭを取得する。
【0143】
（Ｓ１０２）撮影が開始されると、ロボットカメラ１０の視界カメラ１２から全方位映像ＶＥが出力され、視界カメラ１２から直接又はロボットカメラ１０の制御デバイス１５を介して、コントロールシステム２０の制御コンピュータ２１に入力される。これにより、制御コンピュータ２１は、視界カメラ１２から出力される全方位映像ＶＥを取得する。Ｓ１０１及びＳ１０２の処理は並行して実行されうる。変形例として、撮影開始前から視界カメラ１２により全方位映像ＶＥが出力され、全方位映像ＶＥが制御コンピュータ２１へと入力されてもよい。
【0144】
（Ｓ１０３）制御コンピュータ２１は、視線検知デバイス２２２から出力される視線情報を取得する。視線情報は、視線検知デバイス２２２が検知したオペレータＯＰの視線方向を示す情報である。
【0145】
例えば、視線検知デバイス２２２は、オペレータＯＰが操作デバイス２３のボタンオブジェクトＤ１を押下したときのＨＭＤ２２の向きを基準方向（正面）に設定し、モーションセンサの出力に基づいて現在の視線方向を検知する。視線情報は、例えば、現在の視線方向を指す単位ベクトルの情報を含む。視線方向を示す単位ベクトルは、直交座標系の３つの座標値、或いは、極座標表示における回転角のセット（２つの偏角）で表現されうる。
【0146】
視線検知デバイス２２２は、予め設定された時間間隔（例えば、０．１秒など）でモーションセンサの出力値を取得し、取得した出力値に基づいて視線情報を更新する。また、視線検知デバイス２２２は、予め設定された時間間隔（例えば、０．２秒など）で視線情報を出力するか、或いは、制御コンピュータ２１からの要求に応じて視線情報を出力する。変形例として、視線検知デバイス２２２は、視線方向の変化量が所定の閾値より大きい場合（例えば、回転角が３°以上）に視線情報を出力してもよい。
【0147】
なお、視線検知デバイス２２２から出力される視線情報は、映像表示デバイス２２１へ入力されてもよい。この場合、映像表示デバイス２２１は、視線検知デバイス２２２から出力される視線情報を参照し、所定の角度（例えば、４５°）より大きく、下向きにオペレータＯＰの視線方向が変化した場合に画面表示を透過表示に切り替えてもよい。
【0148】
（Ｓ１０４）制御コンピュータ２１は、全方位映像処理部２１５により、全方位映像ＶＥ及び視線方向に基づいて視界映像を生成する。このとき、全方位映像処理部２１５は、視線検知デバイス２２２から出力される視線情報から、オペレータＯＰが頭部ＯＰａを回転させた角度θを取得し、上記の式（１）に基づいて、視界映像の生成時に基準となる回転角度ηを求める。そして、全方位映像処理部２１５は、求めた回転角度ηに対応する視線方向と、全方位映像ＶＥとに基づいて視界映像を生成する。
【0149】
例えば、全方位映像処理部２１５は、図２０に示すように、視線方向を基準に予め設定された視界範囲（例えば、視線方向を中心として上下方向に７０°（角度φL）、左右方向に９０°（角度φH）の範囲）に対応する映像を視界映像として全方位映像ＶＥから切り出す。このとき、視界範囲の基準となる視線方向は回転角度ηに対応する。例えば、係数γが２の場合、オペレータＯＰが真横を向いているとき、回転角度ηに対応する視線方向は真後ろになり、オペレータＯＰの真後ろを基準とする視界範囲の視界映像が生成される。なお、視界映像の生成方法については、後段において、さらに説明する。
【0150】
（Ｓ１０５）制御コンピュータ２１は、視界映像及びメイン映像ＶＭに基づいて出力映像を生成する。例えば、制御コンピュータ２１は、全方位映像処理部２１５により、視界映像のＶＲ映像を出力映像の一部として生成する。また、制御コンピュータ２１は、メイン映像処理部２１４により、メイン映像ＶＭのＶＲ映像を出力映像の一部として生成する。そして、制御コンピュータ２１は、出力映像をＨＭＤ２２へと出力する。
【0151】
なお、制御コンピュータ２１は、映像表示デバイス２２１の第１の表示領域２２１ａにメイン映像ＶＭが表示され、第２の表示領域２２１ｂに視界映像が表示されるように、視界映像にメイン映像ＶＭを重畳したＰｉｎＰ（Picture in Picture）映像を生成してもよい。この場合、制御コンピュータ２１は、出力映像としてＰｉｎＰ映像のＶＲ映像を生成し、生成したＶＲ映像をＨＭＤ２２へと出力する。
【0152】
変形例として、制御コンピュータ２１は、メイン映像ＶＭを非ＶＲ映像のままＨＭＤ２２へと出力し、一方で、視界映像についてはＶＲ映像に変換してからＨＭＤ２２へと出力してもよい。また、上述したＰｉｎＰ映像の生成処理や、上述したメイン映像ＶＭ、視界映像、ＰｉｎＰ映像のＶＲ映像への変換処理は、ＨＭＤ２２が実行してもよい。この場合、メイン映像ＶＭ、視界映像、或いは、ＰｉｎＰ映像が、そのまま制御コンピュータ２１からＨＭＤ２２へと出力される。
【0153】
（Ｓ１０６）映像表示デバイス２２１は、制御コンピュータ２１から出力された出力映像を画面に表示する。例えば、映像表示デバイス２２１は、第１の表示領域２２１ａにメイン映像ＶＭを表示し、第２の表示領域２２１ｂに視界映像を表示する。なお、ＰｉｎＰ映像が制御コンピュータ２１から出力される場合、映像表示デバイス２２１は、ＰｉｎＰ映像を画面に表示する。また、ＨＭＤ２２でＶＲ映像への変換処理を実行する場合、映像表示デバイス２２１は、出力映像をＶＲ映像に変換して表示する。
【0154】
（Ｓ１０７）オペレータＯＰにより撮影の終了が指示された場合、図１９に示した一連の処理は終了する。一方、撮影が継続される場合、処理はＳ１０１へと進む。なお、図１９に示した一連の処理のうち、Ｓ１０１～Ｓ１０３の処理は並列に実行されてもよいし、実行の順番が入れ替えられてもよい。
【0155】
【0156】
上記のように、全方位映像処理部２１５は、視線検知デバイス２２２から出力される視線情報に基づいて全方位映像ＶＥから視界映像を切り出す。図２０に示すように、全方位映像ＶＥは、視界カメラ１２の位置を中心とする天球面３０（仮想球面）に投影される映像とみなすことができる。天球面３０の中心を原点とするＸＹＺ座標系を設定し、Ｙ軸を視線方向の基準となる正面、Ｚ軸をオペレータＯＰの頭頂に設定すると、視線方向は、天球面３０の一点（視線３２）を指す単位ベクトルで表現されうる。
【0157】
人間の視野は上側に約６０°、下側に約７０°、耳側に約１００°であり、視線３２の方向を見ているオペレータＯＰには、視線３２の上側（＋Ｚに向かう方向）に約７０°、下側（－Ｚに向かう方向）に約６０°、右側／左側（＋Ｘ／－Ｘに向かう方向）に約１００°の範囲が見える。そこで、視界範囲３１を規定する角度φL、φHは、人間の視野に合わせて設定されうる（例えば、φL＝１３０°、φH＝２００°）。
【0158】
但し、上記の視野は、中心視野と周辺視野とに大きく分けられる。人間は、中心視野に含まれる対象物については高い解像度で認識できる一方、周辺視野に含まれる対象物については低い解像度でしか認識できない。周辺視野は、何かに焦点を合わせる前に、第一印象や全体像をつかむためにあると言われている。中心視野のうち、左右それぞれに約３０°の範囲については色や記号を人が認識できると言われている。
【0159】
映像表示デバイス２２１に表示される視界映像は高い解像度で表示される。そのため、上記のような人間の視野特性を考慮すると、視界範囲３１は、φH（水平視野の安定注視野に相当）が６０°～９０°、φL（垂直視野の安定注視野に相当）が４５°～７０°の範囲に設定するのが好適である。例えば、視界範囲３１は、φHが９０°、φLが７０°の範囲に設定される。このように設定することで違和感の低減が期待される。
【0160】
（操作時の制御）
次に、図２１を参照しながら、操作時の制御方法について、具体的な処理の流れを説明する。図２１は、第１実施形態に係るリモートカメラシステムにおいて、操作デバイスによる操作が行われた時に実行される制御について説明するためのフロー図である。以下では、説明の都合上、図１２に示した操作デバイス２３をオペレータＯＰが操作することを前提に説明を進める。
次に、図２１を参照しながら、操作時の制御方法について、具体的な処理の流れを説明する。図２１は、第１実施形態に係るリモートカメラシステムにおいて、操作デバイスによる操作が行われた時に実行される制御について説明するためのフロー図である。以下では、説明の都合上、図１２に示した操作デバイス２３をオペレータＯＰが操作することを前提に説明を進める。
【0161】
（Ｓ１１１）オペレータＯＰによる操作デバイス２３の操作が行われる（コントローラ入力）。図１２に例示した操作デバイス２３を利用する場合、コントローラ入力により、メインカメラ１１に対する操作（ＣＡＭ）、ロボットアーム１３に対する操作（ＡＲＭ）、ベース１４に対する操作（ＢＡＳＥ）、正面の設定（ＳＥＴ）、視界映像のワイドビュー表示（ＷＶ）が指示されうる。また、詳細な説明を省略するが、操作領域Ｄ３への操作によりカメラの切り替えも指示されうる。
【0162】
（Ｓ１１２）ボタンオブジェクトＤ１が押下されて正面の設定（ＳＥＴ）が指示されると、制御コンピュータ２１から視線検知デバイス２２２へとＳＥＴ指示を示す指示信号が入力される。この指示信号に応じて、視線検知デバイス２２２は、現在のオペレータＯＰの顔の向き（視線方向に相当）を基準方向（正面）に設定する。正面の設定後、視線検知デバイス２２２は、モーションセンサの出力に基づいて、正面を基準に視線方向を検知し、検知結果を示す視線情報を制御コンピュータ２１へと出力する。Ｓ１１２の処理が完了すると、処理はＳ１１１へと進む。
【0163】
（Ｓ１１３）ボタンオブジェクトＤ２が押下されてワイドビュー表示（ＷＶ）が指示されると、全方位映像処理部２１５は視界範囲３１を拡大する。例えば、全方位映像処理部２１５は、視界範囲３１が周辺視野まで拡大されるように、φLを１３０°（上側６０°、下側７０°）、φHを２００°（左右それぞれ１００°）に変更する。これにより視界映像に映る範囲が広がり、オペレータＯＰは、スタジオ内の様子を、より広範囲に見渡すことができるようになる。
【0164】
なお、視界範囲３１が拡大されている状態でボタンオブジェクトＤ２が押下された場合、全方位映像処理部２１５は、ワードビュー表示をキャンセルし、視界範囲３１を元の範囲に戻す。Ｓ１１３の処理が完了すると、処理はＳ１１１へと進む。
【0165】
（Ｓ１１４、Ｓ１１５）操作領域Ｂ１、Ｂ２のオブジェクトが操作されてベース１４の移動が指示されると、ベース制御部２１１は、指示された移動内容をベース１４に伝達するための制御信号を生成し、その制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。その制御信号を受信した制御デバイス１５は、受信した制御信号に従ってベース１４を移動させる。Ｓ１１５の処理が完了すると、処理はＳ１１１へと進む。
【0166】
（Ｓ１１６、Ｓ１１７）操作領域Ｃ１、Ｃ２のオブジェクトが操作されると、カメラ制御部２１３は、オブジェクトの操作に対応するカメラ設定の変更内容を示す制御信号を生成し、その制御信号を直接又はロボットカメラ１０の制御デバイス１５を介して、メインカメラ１１へと伝送する。その制御信号を受信したメインカメラ１１は、受信した制御信号に従ってカメラ設定（例えば、焦点距離、フォーカス位置）を変更する。Ｓ１１７の処理が完了すると、処理はＳ１１１へと進む。
【0167】
（Ｓ１１８、Ｓ１１９）操作領域Ａ１、Ａ２、Ａ３のオブジェクトが操作されると、アーム制御部２１２は、オブジェクトの操作に応じたメインカメラ１１の位置又は向きを特定し、メインカメラ１１の位置又は向きに対応するロボットアーム１３の制御内容を決定する。そして、アーム制御部２１２は、決定した制御内容を示す制御信号を生成する。
【0168】
例えば、メインカメラ１１をパン又はチルトする制御（パンチルト制御）についての操作が行われると、アーム制御部２１２は、操作内容に基づいてロボットアーム１３の関節部を動かすモータの回転角を求め、求めた回転角のセットを示す制御信号を生成する。
【0169】
また、メインカメラ１１の位置を上下左右に移動する制御（本体制御）についての操作が行われると、アーム制御部２１２は、移動後の位置に基づいて、ロボットアーム１３の関節部を動かすモータの回転角を求め、求めた回転角のセットを示す制御信号を生成する。
【0170】
上記のようにしてアーム制御部２１２により生成された制御信号は、ロボットカメラ１０の制御デバイス１５へと伝送される。その制御信号を受信した制御デバイス１５は、受信した制御信号に従ってロボットアーム１３の関節部を動かすモータの回転角を制御してメインカメラ１１の位置又は向きを変更する。Ｓ１１９の処理が完了すると、処理はＳ１２０へと進む。
【0171】
（Ｓ１２０）全方位映像処理部２１５は、メインカメラ１１の高さＨ及びチルト角λTに基づいて、視界映像の生成に利用する視線方向を補正する。
【0172】
実際にカメラを操作して撮影を行うカメラマンは、カメラをチルトさせた場合でも、自らの視線をチルト角の分だけ傾けて固定することは多くないだろう。通常、カメラマンは、ある程度、撮影姿勢を維持した状態でファインダやカメラ周囲の環境を見ている。そのため、メインカメラ１１のチルトに追従して視界カメラ１２の姿勢が変わると、視界カメラ１２の正面方向とカメラマン目線との間にズレが生じて違和感の原因になりうる。
【0173】
上記の違和感を取り除くために、全方位映像処理部２１５は、視線検知デバイス２２２により検知された視線方向をチルト角λTの分だけ逆方向に補正する（以下、水平補正）。つまり、全方位映像処理部２１５は、チルトを戻す方向に視線方向を角度－λTだけ傾けて視線方向を水平面内に維持する（図２２の視線方向Ｅ2を参照）。図２２は、第１実施形態に係る視線補正の方法について説明するための説明図である。これにより、オペレータＯＰが感じる違和感の低減が期待される。
【0174】
ロボットカメラ１０では、メインカメラ１１の位置がオペレータＯＰの頭部より高い位置にセットされる場合がある。例えば、スタジオの天井に近い位置から俯瞰的な映像を撮影したい場合、アーム部の長さが長いロボットアーム１３や、アーム部の数が多いロボットアーム１３を搭載するロボットカメラ１０を利用するケースが想定されうる。メインカメラ１１の位置がスタジオの天井付近にあるときに上記の水平補正を適用すると、オペレータＯＰがかなり下を向かないと、天井付近の構造物ばかりが見えることになる。
【0175】
そのため、全方位映像処理部２１５は、メインカメラ１１の高さＨが所定の閾値（Ｈth）より大きい場合に視線方向を下方に傾ける（以下、下向き補正）。閾値Ｈthは、例えば、オペレータＯＰが直立したときの目の高さに設定されてもよく、オペレータＯＰにより事前に設定されてもよいし、予め制御コンピュータ２１に登録された値（例えば、平均身長に基づく目の高さなど）が利用されてもよい。
【0176】
メインカメラ１１の高さＨは、ロボットカメラ１０が載置される床面からメインカメラ１１までの距離を評価するためのパラメータである。例えば、高さＨは、床面からメインカメラ１１の中心までの距離（カメラ基準の距離）であってもよいし、床面からロボットアーム１３の関節部１３ａまでの距離（アーム基準の距離）であってもよい。以下の説明では、アーム基準の距離を採用する場合（図２２の場合）を例に説明を進める。
【0177】
全方位映像処理部２１５は、高さＨと閾値Ｈthとの差に応じて補正角λMを制御する。例えば、補正角λMは、下記の式（２）により与えられる。但し、αは比例係数であり、実験やシミュレーションの結果に基づいて事前に設定される。全方位映像処理部２１５は、例えば、高さＨが閾値Ｈth未満の場合に補正角λMを０に維持し、高さＨが閾値Ｈth以上の場合に補正角λMを下記の式（２）に基づいて決定する。
【0178】
λM＝α×｜Ｈ－Ｈth｜ …（２）
【0179】
Ｓ１２０の処理が完了すると、処理はＳ１１１へと進む。なお、上記の水平補正及び下向き補正に関するＳ１２０の処理は省略されてもよい。この場合、カメラマンがメインカメラ１１の向きに追従して視線を向けている状態での視界映像が提供される。
【0180】
（視界映像の生成方法）
次に、図２３を参照しながら、上記の水平補正及び下向き補正を含む視界映像の生成方法における処理の流れについて説明する。図２３は、第１実施形態に係る視界映像の生成方法における処理の流れについて説明するためのフロー図である。
次に、図２３を参照しながら、上記の水平補正及び下向き補正を含む視界映像の生成方法における処理の流れについて説明する。図２３は、第１実施形態に係る視界映像の生成方法における処理の流れについて説明するためのフロー図である。
【0181】
（Ｓ１３１）全方位映像処理部２１５は、現在のチルト角λTを取得する。
【0182】
例えば、操作デバイス２３によりメインカメラ１１をチルトさせる操作（操作領域Ａ２に対する操作）が行われたとき、チルト角λTの情報が操作デバイス２３から全方位映像処理部２１５に入力されてもよい。この場合、全方位映像処理部２１５は、チルト角λTの情報をメモリ２１ｂに保持し、操作デバイス２３から入力されるチルト角λTにより、保持しているチルト角λTの情報を更新する。これにより、全方位映像処理部２１５は、現在のチルト角λTをメモリ２１ｂから取得することができる。
【0183】
変形例として、操作デバイス２３がチルト角λTの情報を保持している場合、全方位映像処理部２１５は、操作デバイス２３から、現在のチルト角λTを取得してもよい。また、アーム制御部２１２が操作デバイス２３から得たチルト角λTの情報をメモリ２１ｂに格納し、全方位映像処理部２１５がメモリ２１ｂからチルト角λTの情報を読み出すように変形してもよい。
【0184】
（Ｓ１３２）全方位映像処理部２１５は、取得した現在のチルト角λTに基づいて水平補正（図２２の視線方向Ｅ2を参照）を実施する。例えば、図２０に示したように正面をＹ軸、オペレータＯＰの頭頂方向をＺ軸に設定したとき、水平補正は、Ｘ軸を回転軸として回転角－λTだけＹ－Ｚ平面を回転させる補正に相当する。
【0185】
（Ｓ１３３）全方位映像処理部２１５は、メインカメラ１１の高さＨ（この例ではアーム基準の距離）と閾値Ｈthとを比較する。そして、全方位映像処理部２１５は、高さＨが閾値Ｈth以上であるか否かを判定する。高さＨが閾値Ｈth以上である場合、処理はＳ１３４へと進む。一方、高さＨが閾値Ｈth未満である場合、処理はＳ１３６へと進む。
【0186】
（Ｓ１３４、Ｓ１３５）全方位映像処理部２１５は、高さＨと閾値Ｈthとの差に基づいて補正角λMを計算する。例えば、全方位映像処理部２１５は、上記の式（２）に基づいて補正角λMを計算する。また、全方位映像処理部２１５は、補正角λMに基づいて下向き補正（図２２の視線方向Ｅ1を参照）を実施する。図２０の設定に従うと、下向き補正は、Ｘ軸を回転軸として補正角λMだけＹ－Ｚ平面を回転させる補正に相当する。
【0187】
（Ｓ１３６）全方位映像処理部２１５は、視線方向の視界範囲３１を全方位映像ＶＥから切り出し、切り出した映像を視界映像として出力する。上記の水平補正、或いは、上記の水平補正及び下向き補正により正面（図２０のＹ軸方向）が変更されている場合、変更後のＹ軸を基準とするＸＹＺ空間に対して、視線検知デバイス２２２から出力される視線方向が適用され、その視線方向を基準に視界映像が切り出される。その結果、上記の補正が適用された視界映像が得られる。
【0188】
Ｓ１３６の処理が完了すると、図２３に示した一連の処理は終了する。
【0189】
［１－５．その他］
上記の説明では、ＨＭＤ２２に視線検知デバイス２２２を搭載する方法を示したが、オペレータＯＰの視線方向を検知するデバイスをＨＭＤ２２の外部に設けてもよい。例えば、オペレータＯＰの頭部を撮影する撮像デバイスを設け、その撮像デバイスから出力される映像を解析してオペレータＯＰの視線方向を検知してもよい。映像の解析には、任意の物体認識技術及び視線トラッキング技術が適用されてもよい。
上記の説明では、ＨＭＤ２２に視線検知デバイス２２２を搭載する方法を示したが、オペレータＯＰの視線方向を検知するデバイスをＨＭＤ２２の外部に設けてもよい。例えば、オペレータＯＰの頭部を撮影する撮像デバイスを設け、その撮像デバイスから出力される映像を解析してオペレータＯＰの視線方向を検知してもよい。映像の解析には、任意の物体認識技術及び視線トラッキング技術が適用されてもよい。
【0190】
また、上記の説明では、視界カメラ１２をメインカメラ１１又はロボットアーム１３に設置する方法を示したが、カメラマンが見るであろうスタジオ内の所定領域（例えば、ロボットカメラ１０の周囲）又はスタジオ全域を撮影する複数台の撮像デバイスをスタジオ内に設置し、全方位映像ＶＥに相当する映像群を全方位映像ＶＥの代わりに取得するように変形してもよい。この場合、全方位映像処理部２１５は、スタジオ内の撮像デバイスから出力される映像群の中から、オペレータＯＰの視線方向を基準に視界範囲の映像（視界映像）を切り出す。
【0191】
また、上記の説明では、ＨＭＤ２２を利用する方法を示したが、映像表示デバイス２２１、及び視線検知デバイス２２２をＨＭＤ２２以外のデバイスで実装してもよい。例えば、映像表示デバイス２２１をディスプレイ装置、視線検知デバイス２２２をウェアラブルデバイスのモーションセンサや上記の撮像デバイスで実装してもよい。
【0192】
（ロボットカメラの変形例）
次に、図２４及び図２５を参照しながら、ロボットカメラ１０の変形例について説明する。図２４は、第１実施形態に係るロボットカメラの変形例について説明するための第１の模式図である。図２５は、第１実施形態に係るロボットカメラの変形例について説明するための第２の模式図である。
次に、図２４及び図２５を参照しながら、ロボットカメラ１０の変形例について説明する。図２４は、第１実施形態に係るロボットカメラの変形例について説明するための第１の模式図である。図２５は、第１実施形態に係るロボットカメラの変形例について説明するための第２の模式図である。
【0193】
上記の説明では、ロボットアーム１３を搭載したロボットカメラ１０について説明してきたが、例えば、チルト機構１３２ａ、パン機構１３２ｂ、及び昇降機構１３２ｃを含む図２４に示すようなペデスタル１３２をロボットカメラ１０に適用してもよい。ペデスタル１３２を適用する場合、チルト機構１３２ａ及びパン機構１３２ｂによりメインカメラ１１のパンチルト制御が行われ、昇降機構１３２ｃによりメインカメラ１１の高さが制御される。なお、ベース１４の動作については上述した通りである。
【0194】
また、雲台１３３ａ、アーム１３３ｂ、及びコントローラ１３３ｃを含む図２５に示すようなクレーン１３３をロボットカメラ１０に適用してもよい。クレーン１３３を適用する場合、コントローラ１３３ｃ付近にあるパン棒、及びコントローラ１３３ｃによりリモート制御される雲台１３３ａによりメインカメラ１１のパンチルト制御が行われる。なお、図２５の例では視界カメラ１２がコントローラ１３３ｃに設置されているが、メインカメラ１１、雲台１３３ａ、又はアーム１３３ｂに設置されてもよい。また、ベース１４の動作については上述した通りである。
【0195】
これまで様々な変形例について説明してきたが、それらの変形例についても当然に第１実施形態の技術的範囲に属する。
【0196】
＜第２実施形態＞
次に、本開示の第２実施形態について説明する。第２実施形態は、第１実施形態に係るロボットカメラ１０を三次元（３Ｄ）シミュレーションにより再現し、仮想空間内に再現されたロボットカメラ１０相当の機材をコントロールシステム２０で制御するバーチャルカメラワークシステムに関する。
次に、本開示の第２実施形態について説明する。第２実施形態は、第１実施形態に係るロボットカメラ１０を三次元（３Ｄ）シミュレーションにより再現し、仮想空間内に再現されたロボットカメラ１０相当の機材をコントロールシステム２０で制御するバーチャルカメラワークシステムに関する。
【0197】
以下の説明では、重複説明を避けるため、第１実施形態と実質的に同じ機能を有する要素については同じ符号を付することにより詳細な説明を省略する場合がある。
【0198】
［２－１．バーチャルカメラワークシステム］
図２６を参照しながら、第２実施形態に係るバーチャルカメラワークシステムについて説明する。図２６は、第２実施形態に係るバーチャルカメラワークシステムに含まれる装置の例について説明するためのブロック図である。
図２６を参照しながら、第２実施形態に係るバーチャルカメラワークシステムについて説明する。図２６は、第２実施形態に係るバーチャルカメラワークシステムに含まれる装置の例について説明するためのブロック図である。
【0199】
図２６に示すように、第２実施形態に係るバーチャルカメラワークシステムは、３Ｄシミュレータ４０と、コントロールシステム２０とを含む。なお、コントロールシステム２０は、第１実施形態に係るコントロールシステム２０と実質的に同じ機能を有する。また、３Ｄシミュレータ４０と、コントロールシステム２０の制御コンピュータ２１とは同じ１台のコンピュータ又は同じコンピュータシステム（例えば、分散コンピューティングシステム）により実装されうる。
【0200】
３Ｄシミュレータ４０は、３Ｄシミュレーションにより、図９に示したようなスタジオ内の環境を仮想空間内に再現し、仮想空間内の３Ｄオブジェクトとして、メインカメラ４１、視界カメラ４２、ロボットアーム４３、及びベース４４を再現する。
【0201】
メインカメラ４１は、第１実施形態に係るメインカメラ１１の構造及び機能を再現した３Ｄオブジェクトである。視界カメラ４２は、第１実施形態に係る視界カメラ１２の構造及び機能を再現した３Ｄオブジェクトである。ロボットアーム４３は、第１実施形態に係るロボットアーム１３の構造及び機能を再現した３Ｄオブジェクトである。ベース４４は、第１実施形態に係るベース１４の構造及び機能を再現した３Ｄオブジェクトである。
【0202】
メインカメラ４１、視界カメラ４２、ロボットアーム４３、及びベース４４の動きは、３Ｄシミュレータ４０を介して制御コンピュータ２１により制御される。３Ｄシミュレータ４０は、３Ｄシミュレーションにより、メインカメラ４１から出力されるメイン映像ＶＭ、及び視界カメラ１２から出力される全方位映像ＶＥを生成し、生成したメイン映像ＶＭ及び全方位映像ＶＥを制御コンピュータ２１へと出力する。
【0203】
ここで、図２７を参照しながら、制御コンピュータ２１及び３Ｄシミュレータ４０の機能について、さらに説明する。図２７は、第２実施形態に係る制御コンピュータ及び３Ｄシミュレータが有する機能の例について説明するためのブロック図である。
【0204】
図２７に示すように、３Ｄシミュレータ４０は、視界カメラ再現部４０１、メインカメラ再現部４０２、アーム再現部４０３、ベース再現部４０４、及びスタジオ再現部４０５を有する。なお、視界カメラ再現部４０１、メインカメラ再現部４０２、アーム再現部４０３、ベース再現部４０４、及びスタジオ再現部４０５の機能は、上述したプロセッサ２１ａ及びメモリ２１ｂにより実現可能である。
【0205】
視界カメラ再現部４０１は、第１実施形態の視界カメラ１２を再現した視界カメラ４２を仮想空間内に生成し、視界カメラ４２の動作を制御し、視界カメラ４２から出力される全方位映像ＶＥを生成する。メインカメラ再現部４０２は、第１実施形態のメインカメラ１１を再現したメインカメラ４１を仮想空間内に生成し、メインカメラ４１の動作を制御し、メインカメラ４１から出力されるメイン映像ＶＭを生成する。
【0206】
アーム再現部４０３は、第１実施形態のロボットアーム１３を再現したロボットアーム４３を仮想空間内に生成し、ロボットアーム４３の動作を制御する。ベース再現部４０４は、第１実施形態のベース１４を再現したベース４４を仮想空間内に生成し、ベース４４の動作を制御する。なお、ロボットアーム４３及びベース４４の動作は、メインカメラ４１の位置及び向きの変化としてシミュレーション結果（メインカメラ再現部４０２で生成されるメイン映像ＶＭ、全方位映像ＶＥ）に反映される。
【0207】
スタジオ再現部４０５は、仮想空間内にスタジオの環境を再現する。例えば、図９に例示したスタジオの環境を再現する場合、スタジオ再現部４０５は、仮想空間内にスタジオセットＳＳ、表示モニタＭ、出演者ｍ１、ｍ２、ｍ３…、ロボットカメラＣＡＭ＃２を再現する。なお、ロボットカメラＣＡＭ＃２への切り替え操作（例えば、図１２の操作領域Ｄ３に対する操作）が行われたとき、視界カメラ再現部４０１、メインカメラ再現部４０２、アーム再現部４０３、ベース再現部４０４、スタジオ再現部４０５がロボットカメラＣＡＭ＃２の動作制御及び出力映像の生成を担当する。
【0208】
制御コンピュータ２１が有するベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５の機能は、第１実施形態と実質的に同じである。但し、ベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５は、それぞれ、ベース再現部４０４、アーム再現部４０３、メインカメラ再現部４０２、及び視界カメラ再現部４０１に制御信号を入力する。ＨＭＤ２２及び操作デバイス２３が有する機能も第１実施形態と実質的に同じである。
【0209】
［２－２．処理フロー］
次に、図２８を参照しながら、バーチャルカメラワークシステムによる処理の流れについて説明する。図２８は、第２実施形態に係るバーチャルカメラワークシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。なお、撮影が開始される時点でスタジオ再現部４０５によりスタジオの環境が仮想空間内に再現されていることを前提に説明を進める。
次に、図２８を参照しながら、バーチャルカメラワークシステムによる処理の流れについて説明する。図２８は、第２実施形態に係るバーチャルカメラワークシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。なお、撮影が開始される時点でスタジオ再現部４０５によりスタジオの環境が仮想空間内に再現されていることを前提に説明を進める。
【0210】
（Ｓ２０１）撮影が開始されると、３Ｄシミュレータ４０が再現するメインカメラ４１からメイン映像ＶＭが出力され、コントロールシステム２０の制御コンピュータ２１に入力される。つまり、メインカメラ再現部４０２によりメイン映像ＶＭが生成され、メインカメラ再現部４０２から制御コンピュータ２１へとメイン映像ＶＭが提供される。これにより、制御コンピュータ２１は、メインカメラ４１からメイン映像ＶＭを取得する。
【0211】
（Ｓ２０２）撮影が開始されると、３Ｄシミュレータ４０の視界カメラ４２から全方位映像ＶＥが出力され、コントロールシステム２０の制御コンピュータ２１に入力される。つまり、視界カメラ再現部４０１により全方位映像ＶＥが生成され、視界カメラ再現部４０１から制御コンピュータ２１へと全方位映像ＶＥが提供される。これにより、制御コンピュータ２１は、視界カメラ４２から全方位映像ＶＥを取得する。
【0212】
Ｓ２０１及びＳ２０２の処理は並行して実行されうる。変形例として、撮影開始前から全方位映像ＶＥが出力され、視界カメラ４２から制御コンピュータ２１へと入力され、ＨＭＤ２２の映像表示デバイス２２１に表示されてもよい。
【0213】
（Ｓ２０３、Ｓ２０４）制御コンピュータ２１は、視線検知デバイス２２２から出力される視線情報を取得する。視線情報の取得方法は、図１９のＳ１０３と実質的に同じである。また、制御コンピュータ２１は、全方位映像処理部２１５により、全方位映像ＶＥ及び視線方向に基づいて視界映像を生成する。視界映像の生成方法については、図１９のＳ１０４と実質的に同じである。
【0214】
（Ｓ２０５、Ｓ２０６）制御コンピュータ２１は、視界映像及びメイン映像ＶＭに基づいて出力映像を生成する。出力映像の生成方法については、図１９のＳ１０５と実質的に同じである。映像表示デバイス２２１は、制御コンピュータ２１から出力された出力映像を画面に表示する。映像表示デバイス２２１による出力映像の表示方法については、図１９のＳ１０６と実質的に同じである。
【0215】
（Ｓ２０７）オペレータＯＰにより撮影の終了が指示された場合、図２８に示した一連の処理は終了する。一方、撮影が継続される場合、処理はＳ２０１へと進む。なお、図２８に示した一連の処理のうち、Ｓ２０１～Ｓ３０３の処理は並列に実行されてもよいし、実行の順番が入れ替えられてもよい。
【0216】
＜応用例：カメラワーク教育への応用＞
次に、上述した第１実施形態に係るリモートカメラシステム、及び第２実施形態に係るバーチャルカメラワークシステムをカメラマン教育に応用する仕組みについて説明する。
次に、上述した第１実施形態に係るリモートカメラシステム、及び第２実施形態に係るバーチャルカメラワークシステムをカメラマン教育に応用する仕組みについて説明する。
【0217】
上記の通り、第１実施形態に係るリモートカメラシステム及び第２実施形態に係るバーチャルカメラワークシステム（以下、本システム）では、コントロールシステム２０の制御コンピュータ２１により、オペレータＯＰの視線方向に基づいて視界映像が生成される。この視界映像は、撮影時にオペレータＯＰが視線を向けた方向に見える景色を映し出している。
【0218】
ベテランカメラマンは、撮影対象となる出演者やスタジオセットの位置だけでなく、出演者の表情や動き、場面展開や番組のストーリなどを考慮してカメラワークを決めることができる。そのため、ベテランカメラマンは、撮影時にスタジオ内の様々な場所を見て、刻々と変化する現場の状況を把握している。このような現場の状況把握が好適なカメラワークを実現する上で重要な要素になっていると考えられる。
【0219】
しかし、経験が少ないカメラマンに対し、ベテランカメラマンの経験を伝えるのは容易でない。ベテランカメラマンといえども、撮影の最中、無意識に適切な場所へと視線を移している場合が多く、その経験を伝えるのが難しいためである。結局、経験が少ないカメラマンを教育しようとすれば、本番の撮影に起用して経験を積ませることが必要になる。しかし、本システムを応用すれば、ベテランカメラマンが撮影時に見ている光景と、実際に撮影されたメイン映像ＶＭとを見比べてカメラワークを学ぶことができる。
【0220】
例えば、制御コンピュータ２１は、メイン映像ＶＭと視界映像とを対応付けてメモリ２１ｂに保存する。撮影後、制御コンピュータ２１は、再生操作に応じて、メイン映像ＶＭと視界映像とをＨＭＤ２２の映像表示デバイス２２１で再生する。この仕組みにより、撮影時の視線方向と、撮れたメイン映像ＶＭとを撮影後に確認することができる。ベテランカメラマンが撮影したメイン映像ＶＭと視界映像とを保存しておけば、保存映像を他のカメラマンが再生することでベテランカメラマンの視線の動きを学ぶことができる。
【0221】
変形例として、制御コンピュータ２１は、操作デバイス２３に対する操作の内容を示す操作情報を視界映像に対応付けてメモリ２１ｂに保存し、再生時に操作内容を示す情報（例えば、カメラ設定値やチルト角など）を再生画面に表示してもよい。また、制御コンピュータ２１は、操作内容の情報に基づいてスタジオ内のロボットカメラ１０を実際に動かし、或いは、仮想空間内で各３Ｄオブジェクトを動かして撮影時の状況を再現してもよい。これにより、ロボットカメラ１０の操作についての学習も行うことができる。
【0222】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。
【符号の説明】
【0223】
１０ ロボットカメラ
１１ メインカメラ
１２ 視界カメラ
１２ａ、１２ｂ、１２ｃ、１２ｄ 接続部
１３ ロボットアーム
１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ 関節部
１４ ベース
１４ａ 車輪部
１５ 制御デバイス
２０ コントロールシステム
２１ 制御コンピュータ
２１１ ベース制御部
２１２ アーム制御部
２１３ カメラ制御部
２１４ メイン映像処理部
２１５ 全方位映像処理部
２２ ＨＭＤ
２２１ 映像表示デバイス
２２１ａ 第１の表示領域
２２１ｂ 第２の表示領域
２２２ 視線検知デバイス
２３ 操作デバイス
３０ 天球面
３１ 視界範囲
３２ 視線
４０ ３Ｄシミュレータ
４０１ 視界カメラ再現部
４０２ メインカメラ再現部
４０３ アーム再現部
４０４ ベース再現部
４０５ スタジオ再現部
４１ メインカメラ
４２ 視界カメラ
４３ ロボットアーム
４４ ベース
Ｎ１、Ｎ２、ＮＷ ネットワーク
ＯＰ オペレータ
ＯＰａ 頭部
ＯＰｂ ボディ
ＶＭ メイン映像
ＶＥ 全方位映像
１１ メインカメラ
１２ 視界カメラ
１２ａ、１２ｂ、１２ｃ、１２ｄ 接続部
１３ ロボットアーム
１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ 関節部
１４ ベース
１４ａ 車輪部
１５ 制御デバイス
２０ コントロールシステム
２１ 制御コンピュータ
２１１ ベース制御部
２１２ アーム制御部
２１３ カメラ制御部
２１４ メイン映像処理部
２１５ 全方位映像処理部
２２ ＨＭＤ
２２１ 映像表示デバイス
２２１ａ 第１の表示領域
２２１ｂ 第２の表示領域
２２２ 視線検知デバイス
２３ 操作デバイス
３０ 天球面
３１ 視界範囲
３２ 視線
４０ ３Ｄシミュレータ
４０１ 視界カメラ再現部
４０２ メインカメラ再現部
４０３ アーム再現部
４０４ ベース再現部
４０５ スタジオ再現部
４１ メインカメラ
４２ 視界カメラ
４３ ロボットアーム
４４ ベース
Ｎ１、Ｎ２、ＮＷ ネットワーク
ＯＰ オペレータ
ＯＰａ 頭部
ＯＰｂ ボディ
ＶＭ メイン映像
ＶＥ 全方位映像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】