特開 2024-57848 カメラシステム、カメラユニットの制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057848

(43)【公開日】2024-04-25

(54)【発明の名称】カメラシステム、カメラユニットの制御方法、及びプログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20240418BHJP

   G03B 15/00 20210101ALI20240418BHJP

   G03B 17/56 20210101ALI20240418BHJP

   B25J 13/08 20060101ALI20240418BHJP

   H04N 23/66 20230101ALI20240418BHJP

   H04N 23/90 20230101ALI20240418BHJP

【ＦＩ】

H04N5/222 100

G03B15/00 U

G03B15/00 P

G03B17/56 Z

B25J13/08 A

H04N23/66

H04N23/90

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022164802

(22)【出願日】2022-10-13

(71)【出願人】

【識別番号】000209751

【氏名又は名称】池上通信機株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】稲越 隆久

(72)【発明者】

【氏名】岩▲崎▼ 雄己

(72)【発明者】

【氏名】中村 空広

【テーマコード（参考）】

2H105

3C707

5C122

【Ｆターム（参考）】

2H105AA14

2H105EE05

2H105EE33

3C707BS12

3C707KS17

3C707KS20

3C707LT11

5C122EA42

5C122EA63

5C122EA66

5C122EA67

5C122GD01

5C122GD04

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】複数のカメラユニットを含むカメラシステムにおいて、カメラユニットの撮影環境に応じた同期制御を可能にする。
【解決手段】一実施形態において、操作端末によって複数のカメラユニットを同期制御するカメラシステムは、複数のカメラユニットのそれぞれの基準姿勢を取得する取得部と、複数のカメラユニットのうちの基準カメラユニットの基準姿勢に対して、その他のカメラユニットの基準姿勢の差分を算出する算出部と、基準カメラユニットに対して、指示された動作に対応する制御量の制御信号を送信するとともに、その他のカメラユニットに対して、基準姿勢の差分をオフセットした制御量の制御信号を送信する制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

操作端末によって複数のカメラユニットを同期制御するカメラシステムであって、
前記複数のカメラユニットのそれぞれの基準姿勢を取得する取得部と、
前記複数のカメラユニットのうちの基準カメラユニットの前記基準姿勢に対して、その他のカメラユニットの前記基準姿勢の差分を算出する算出部と、
前記基準カメラユニットに対して、指示された動作に対応する制御量の制御信号を送信するとともに、前記その他のカメラユニットに対して、前記基準姿勢の前記差分をオフセットした制御量の制御信号を送信する制御部と
を備えたカメラシステム。

【請求項2】

前記基準姿勢は、前記複数のカメラユニットのそれぞれのカメラ座標によって表されることを特徴とする、請求項１に記載のカメラシステム。

【請求項3】

前記カメラ座標は、パラメータＴＣＰ（Tool Center Point）を利用して算出されることを特徴とする、請求項２に記載のカメラシステム。

【請求項4】

前記複数のカメラユニットはそれぞれ、ロボットアームを備え、
前記複数のカメラユニットの制御量は、前記基準姿勢に応じた前記ロボットアームの可動範囲に基づいて設定されることを特徴とする、請求項１から３のいずれか１項に記載のカメラシステム。

【請求項5】

前記基準カメラユニットはスタジオに設置され、前記その他のカメラユニットのうちの一つは、ロケ地に設置されていることを特徴とする、請求項１から３のいずれか１項に記載のカメラシステム。

【請求項6】

操作端末によって複数のカメラユニットを同期制御するカメラシステムにおける、カメラユニットの制御方法であって、
前記複数のカメラユニットのそれぞれの基準姿勢を取得するステップと、
前記複数のカメラユニットのうちの基準カメラユニットの前記基準姿勢に対して、その他のカメラユニットの前記基準姿勢の差分を算出するステップと、
前記基準カメラユニットに対して、指示された動作に対応する制御量の制御信号を送信するとともに、前記その他のカメラユニットに対して、前記基準姿勢の前記差分をオフセットした制御量の制御信号を送信するステップと
を含む方法。

【請求項7】

コンピュータに、請求項６に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラシステム、カメラユニットの制御方法、及びプログラムに関する。

【背景技術】

【0002】

従来、複数のカメラユニットによって異なる場所で撮影された映像を合成するカメラシステムにおいて、複数のカメラユニットをオペレータの単一操作により同期制御することで、違和感の無い映像を合成することが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－２９７２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、それぞれ異なる場所に設置されたカメラユニットを同期制御する場合、各カメラユニットの撮影環境、具体的には、各カメラユニットと被写体との位置関係が異なるため、所望の映像を撮影できるように一方のカメラユニットを制御したとしても、もう一方のカメラユニットによる映像が被写体を大きく外してしまう可能性があった。例えば、図１１に示すように、スタジオに設置された第１のカメラユニット１１０１の被写体に対する位置と比較して、ロケ地に設置された第２のカメラユニット１１０２の被写体に対する位置が低い場合、これらのカメラユニットを同期制御したとしても、被写体１１１１に対する第１のカメラユニット１１０１の画角に対して、被写体１１１２に対する第２のカメラユニット１１０２の画角が変わってしまい、第１のカメラユニット１１０１が被写体１１１１の上半身を撮影しているが、第２のカメラユニット１１０２は被写体１１１２の下半身を撮影するようなことになってしまう。

【0005】

本開示の１つの観点によれば、本開示の目的は、複数のカメラユニットを含むカメラシステムにおいて、カメラユニットの撮影環境に応じた同期制御を可能にするカメラシステム、カメラユニットの制御方法、及び制御プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様によれば、操作端末によって複数のカメラユニットを同期制御するカメラシステムは、前記複数のカメラユニットのそれぞれの基準姿勢を取得する取得部と、前記複数のカメラユニットのうちの基準カメラユニットの前記基準姿勢に対して、その他のカメラユニットの前記基準姿勢の差分を算出する算出部と、前記基準カメラユニットに対して、指示された動作に対応する制御量の制御信号を送信するとともに、前記その他のカメラユニットに対して、前記基準姿勢の前記差分をオフセットした制御量の制御信号を送信する制御部とを備える。

【0007】

また、本開示の一態様によれば、操作端末によって複数のカメラユニットを同期制御するカメラシステムにおける、カメラユニットの制御方法は、前記複数のカメラユニットのそれぞれの基準姿勢を取得するステップと、前記複数のカメラユニットのうちの基準カメラユニットの前記基準姿勢に対して、その他のカメラユニットの前記基準姿勢の差分を算出するステップと、前記基準カメラユニットに対して、指示された動作に対応する制御量の制御信号を送信するとともに、前記その他のカメラユニットに対して、前記基準姿勢の前記差分をオフセットした制御量の制御信号を送信するステップとを含む。

【0008】

また、本開示の一態様によれば、プログラムは、コンピュータに上記方法を実行させる。

【発明の効果】

【0009】

本開示によれば、複数のカメラユニットを含むカメラシステムにおいて、カメラユニットの撮影環境に応じた同期制御を可能にするカメラシステム、カメラユニットの制御方法、及び制御プログラムを提供することが可能になる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係るカメラシステムのブロック構成図である。

【図2】一実施形態に係るカメラユニットのブロック構成図である。

【図3】一実施形態に係るカメラユニットの構成例を模式的に示した図である

【図4】一実施形態に係るカメラユニットの構成例を模式的に示した図である

【図5】一実施形態に係る操作端末の機能ブロック図である。

【図6】一実施形態に係るカメラユニットの同期制御を説明する図である。

【図7】一実施形態に係るＴＣＰ（Tool Center Point）を説明する図である。

【図8】一実施形態に係るカメラユニットの可動範囲を考慮した制御を説明する図である。

【図9】一実施形態に係るカメラユニットの制御方法のフローチャートである。

【図10】一実施形態に係る操作端末のハードウェア構成例を示すブロック図である。

【図11】従来のカメラシステムの課題を説明するための図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

【0012】

［１．カメラシステム］
図１は、一実施形態に係るカメラシステムのブロック図である。

【0013】

カメラシステム１０１は、操作端末１１０と、第１のカメラユニット１１１と、第２のカメラユニット１１２とを含む。ここでは説明を簡単にするために、カメラシステム１０１が２つのカメラユニットを含むものとして説明するが、カメラユニットの数は限定されるものではなく、３つ以上のカメラユニットを含んでもよい。

【0014】

操作端末１１０は、オペレータの入力に応じて、第１のカメラユニット１１１、及び第２のカメラユニット１１２の動作を制御する。操作端末１１０は、ＰＣ（Personal Computer）またはタブレット端末であってもよく、操作端末１１０にインストールされたアプリケーションが実行されることで、カメラユニットの動作の制御を実施してもよい。図１の例では、操作端末１１０は、第１のカメラユニット１１１と同じくスタジオ、またはスタジオのコントロールルーム等に配置されている。なお、操作端末１１０は、ＰＣまたはタブレット端末に限定されるものではない。

【0015】

第１のカメラユニット１１１は、スタジオ内に配置され、主に放送用の映像を撮影することができる。また、第１のカメラユニット１１１は、その先端にカメラが取り付けられたロボットアームを有し、ロボットアームの遠隔操作による撮影が可能である。

【0016】

第２のカメラユニット１１２は、ロケ地に配置され、主に放送用の映像を撮影する。また、第２のカメラユニット１１２も、第１のカメラユニット１１１と同様に、その先端にカメラが取り付けられたロボットアームを有し、ロボットアームの遠隔操作による撮影が可能である。

【0017】

映像合成装置１１３は、第１のカメラユニット１１１によって撮影されたスタジオ映像と、第２のカメラユニット１１２によって撮影されたロケ地映像とを受信し、スタジオ映像及びロケ地映像を合成した合成映像を生成することが可能である。

【0018】

以下では、図１のシステム構成を例に、カメラシステム１０１の各構成要素について説明を進めるが、本実施形態に係るカメラシステムのシステム構成は、図１の例に限定されるものではない。

【0019】

［２．カメラユニット］
図２は、一実施形態に係るカメラユニットのブロック構成図である。図２のカメラユニット１２０は、上述した第１のカメラユニット１１１及び第２のカメラユニット１１２とすることができる。

【0020】

カメラユニット１２０は、カメラ１２１と、モーションユニット１２２と、コントロールボックス１２５とを有し、モーションユニット１２２は、ロボットアーム１２３と、ベース１２４とを含む。

【0021】

カメラ１２１は、レンズや光学フィルタなどの光学素子、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの撮像素子、及びＤＳＰ（Digital Signal Processor）、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）などのプロセッサを備える。

【0022】

また、カメラ１２１は、有線又は無線のネットワーク或いは専用の通信回線を通じて操作端末１１０及び映像合成装置１１３と通信するための通信インターフェースを備えている。カメラ１２１から出力される映像は、通信インターフェースを介して映像合成装置１１３に伝送される。また、カメラ１２１は、マイクを備えてもよい。

【0023】

モーションユニット１２２は、カメラユニット１２０の位置（以下、ロケーション）、並びに、カメラ１２１の位置（以下、ポジション）及び姿勢（以下、パン・チルト）を変化させる。ロケーションは固定されていてもよいし、ポジション及び姿勢の変化範囲に制約があってもよい。

【0024】

ここで、図３を参照しながら、モーションユニット１２２についてより具体的に説明する。図３は、一実施形態に係るカメラユニットの構成例を模式的に示した図である。図３のカメラユニット１２０では、ロボットアーム１２３及びベース１２４を用いてモーションユニット１２２が構成されている。

【0025】

ロボットアーム１２３は、６軸のロボットアームであり、アームの先端が届く範囲でカメラ１２１の位置を空間内の任意の位置に移動することができる。また、ロボットアーム１２３は、各関節部の回動によりカメラ１２１の向きをパン方向及びチルト方向に傾けることができる。ベース１２４は、車輪やモータなどの移動機構（非図示）を有し、自走により移動することができる。このように、モーションユニット１２２は、ロケーション、並びに、ポジション及びパン・チルトを自由に制御できる。

【0026】

また、例えばロケ地では、図４に示すように、ベース１２４として三脚を用いてロボットアーム１２３を支持してもよい。

【0027】

再び、図２を参照する。モーションユニット１２２は、コントロールボックス１２５に接続され、コントロールボックス１２５を介して操作端末１１０から受信した制御信号に応じて、ロボットアーム１２３及びベース１２４を動かす。図示しないが、コントロールボックス１２５は、操作端末１１０と通信するための通信インターフェース、カメラユニット１２０の制御を行うプロセッサ、及びカメラユニット１２０の駆動用電源を備えてもよい。

【0028】

コントロールボックス１２５は、ロボットアーム１２３が有する各関節の動き（各軸の回転角）を制御して、ロボットアーム１２３を適切な形状に変形させ、カメラ１２１のポジション及び姿勢を動かす。

【0029】

［３．操作端末］
図５は、一実施形態に係る操作端末の機能ブロック図である。操作端末１１０は、ホーム姿勢取得部１３１と、差分算出部１３３と、制御部１３５とを有する。

【0030】

ホーム姿勢取得部１３１は、オペレータによって入力された各カメラユニットのホーム姿勢を取得する。ホーム姿勢には、ロケーション、並びに、ポジション及び姿勢を含んでよい。なお、ホーム姿勢のことを基準姿勢ともいい、ホーム姿勢取得部を基準姿勢取得部ともいう。

【0031】

差分算出部１３３は、基準となるカメラユニットのホーム姿勢に対して、その他のカメラユニットのホーム姿勢の差分を算出する。この例では、第１のカメラユニット１１１のホーム姿勢に対する第２のカメラユニット１１２のホーム姿勢の差分を算出する。

【0032】

制御部１３５は、カメラユニット１２０の動作を制御する。例えば、制御部１３５は、カメラ１２１による撮像動作の制御、ロボットアーム１２３によるポジション及びパン・チルトの制御、及び、ベース１２４によるロケーションの制御を実行する。

【0033】

また、制御部１３５は、オペレータからの入力を受け取ると、基準となる第１のカメラユニット１１１に対して制御信号を送信するとともに、第２のカメラユニット１１２には、算出された差分に応じた制御信号を送信する。

【0034】

このように、操作端末１１０は、複数のカメラユニットのホーム姿勢の差分に応じた制御信号を送信して、各カメラユニットの同期制御を行うことができ、各カメラユニットの撮影環境に応じた同期制御を可能にする。

【0035】

（カメラユニットの同期制御）
ここで、図６を参照して、本実施形態におけるカメラユニットの同期制御についてより具体的に説明する。図６は、一実施形態に係るカメラユニットの同期制御を説明する図である。

【0036】

図６（ａ）では、スタジオに設置された第１のカメラユニット１１１と、ロケ地に設置された第２のカメラユニット１１２とが、ホーム姿勢の状態にある。ホーム姿勢の状態にある第１のカメラユニット１１１のカメラ座標Ｐｓｈは、（ｘ_sh，ｙ_sh，ｚ_sh，Ｒｘ_sh，Ｒｙ_sh，Ｒｚ_sh）である。また、ホーム姿勢の状態にある第２のカメラユニット１１２のカメラ座標Ｐｒｈは、ｚ座標が＋ｄであるため（設置位置が低いため）、Ｐｓｈ＋（０，０，０＋ｄ，０，０，０）＝Ｐｓｈ＋Ｐｄである。このように、第１のカメラユニット１１１と第２のカメラユニット１１２とでは、撮影環境、具体的には、カメラユニットと被写体との位置関係が異なる。

【0037】

図６（ｂ）は、第１のカメラユニット１１１と第２のカメラユニット１１２が、ホーム姿勢から動いた状態を示す。第１のカメラユニット１１１は、オペレータの指示に応じてそのまま制御されるが、第２のカメラユニット１１２は、ホーム姿勢の差分をオフセットして制御される。オペレータの指示に応じて動いた第１のカメラユニット１１１のカメラ座標Ｐｓが、Ｐｓｈ＋Ｐｘ＝Ｐｓ＋（０，０，０－ｘ，０，０，０）である場合、第２のカメラユニット１１２のカメラ座標Ｐｒは、ホーム差分Ｐｄ＝Ｐｒｈ－Ｐｓｈを用いて、カメラ座標Ｐｒ＝Ｐｓ＋Ｐｄ＋Ｐｘ＝Ｐｓ＋（０，０，ｄ－ｘ，０，０，０）となる。このように、本実施形態では、カメラの空間座標のオフセットを用いて、カメラユニットの撮影環境に応じた同期制御を可能にする。

【0038】

（カメラ座標の算出）
図７は、一実施形態に係るＴＣＰ（Tool Center Point）を説明する図である。本実施形態では、カメラ座標の算出には、カメラユニットのロボットが持つパラメータＴＣＰ７０１を利用する。ＴＣＰ７０１は、ロボットのツール（本実施形態では、カメラ）を動かす際の中心点として事前に設定する値である。ロボットは都度、そのＴＣＰ位置が自分でわかるため、これをカメラ座標として用いる。そして、各ロボットの基準姿勢におけるＴＣＰ位置の差を差分ｄとする。

【0039】

第１のカメラユニット１１１及び第２のカメラユニット１１２のカメラ座標Ｐは、以下のように表される。

【0040】

・カメラ座標Ｐ＝ＴＣＰの座標（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）
・スタジオ（第１のカメラユニット１１１）の基準姿勢におけるＴＣＰ座標
Ｐｓｈ＝ＴＣＰ（ｘ_sh，ｙ_sh，ｚ_sh，Ｒｘ_sh，Ｒｙ_sh，Ｒｚ_sh）
・ロケ地（第２のカメラユニット１１２）の基準姿勢におけるＴＣＰ座標
Ｐｒｈ＝ＴＣＰ（ｘ_rh，ｙ_rh，ｚ_rh，Ｒｘ_rh，Ｒｙ_rh，Ｒｚ_rh）
・差分ｄ
ｄ＝Ｐｄ＝Ｐｓｈ－Ｐｒｈ

【0041】

（可動範囲を考慮した制御）
図８は、一実施形態に係るカメラユニットの可動範囲を考慮した制御を説明する図である。図８（ａ）に示されるように、各カメラユニットの可動範囲は、その基準姿勢によって異なる。すなわち、矢印で示されるように、各カメラユニットは、その基準姿勢によってその後にとれる姿勢の移動量が各可動方向で変わる。そのため、本実施形態では、図８（ｂ）に示されるように、各カメラユニットが共通して動ける範囲を可動範囲として設定する。すなわち、カメラユニットの各可動方向の可動範囲を、狭い可動範囲に合わせる。そうすることで、各カメラユニットで同じ動きができるようにする。

【0042】

［４．カメラシステムの制御方法］
次に、本実施形態に係るカメラシステムの制御方法ついて説明する。図９は、一実施形態に係るカメラユニットの制御方法のフローチャートである。

【0043】

ステップＳ９０１において、操作端末１１０は、オペレータによって設定された複数のカメラユニットの基準姿勢（ホーム姿勢）を取得する。本実施形態では、カメラユニットを動作させる前に、オペレータによって操作端末１１０に各カメラユニットの基準姿勢が入力される

【0044】

ステップＳ９０２において、操作端末１１０は、カメラユニットの基準姿勢の差分を算出する。ここでは、基準となるカメラユニット（以下、基準カメラユニットという）が設定され、そのカメラユニットの基準姿勢に対して、その他のカメラユニットの基準姿勢の差分が算出される。本実施形態では、基準カメラユニットは第１のカメラユニット１１１であってよく、その他のカメラユニットのうちの一つは、第２のカメラユニット１１２であってよい。

【0045】

ステップＳ９０３において、オペレータによって基準カメラユニットの動作が指示されると、操作端末１１０は、基準カメラユニットに対して当該動作に対応する制御量の制御信号を送信するとともに、その他のカメラに対しては、基準姿勢の差分をオフセットした制御量の制御信号を送信する。

【0046】

このように、本実施形態によると、各カメラユニットの基準姿勢の差分に応じた制御量の制御信号を送信することにより、各カメラユニットの撮影環境に応じた同期制御が可能になる。

【0047】

［７．ハードウェア］
図１０は、一実施形態に係る操作端末のハードウェア構成例を示すブロック図である。

【0048】

操作端末１１０が有する機能は、例えば、図１０に示すハードウェア資源を用いて実現することが可能である。つまり、操作端末１１０が有する機能は、コンピュータプログラムを用いて図１０に示すハードウェアを制御することにより実現される。

【0049】

図１０に示すように、このハードウェアは、主に、プロセッサ１００１、メモリ１００２、記憶装置１００３、通信Ｉ／Ｆ１００５、入力装置１００６、表示装置１００７を有する。これらは、バス１０１０を介して通信可能に接続されている。

【0050】

プロセッサ１００１は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphic Processing Unit）などであってよい。

【0051】

メモリ１００２は、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などであってよい。記憶装置１００３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどであってよい。

【0052】

通信インターフェース（Ｉ／Ｆ）１００５は、有線または無線ネットワークに接続し、データを送受信するためのインターフェースであり、他のコンピュータまたはカメラユニットとの通信を可能にする。

【0053】

入力装置１００６は、キーボード、マウス、表示装置１００７を兼ねるタッチパネルディスプレイなどであってよい。

【0054】

表示装置１００７は、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスであってよい。

【0055】

プロセッサ１００１は、記憶装置１００３に格納されたプログラムを読み出してメモリ１００２に格納し、メモリ１００２から読み出したプログラムに従って操作端末１１０の動作を制御してよい。操作端末１１０の動作を制御するプログラムは、メモリ１００２に予め格納されてもよいし、通信Ｉ／Ｆ１００５を介してネットワークからダウンロードされてもよい。

【0056】

以上、添付図面を参照しながら本開示の実施形態について説明したが、本開示は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範囲内において、各種の変更例又は応用例に想到しうることは明らかであり、それらについても当然に本開示の技術的範囲に属する。

【符号の説明】

【0057】

１０１ カメラシステム
１１０ 操作端末
１１１ 第１のカメラユニット
１１２ 第２のカメラユニット
１１３ 映像合成装置
１２０ カメラユニット
１２１ カメラ
１２２ モーションユニット
１２３ ロボットアーム
１２４ ベース
１２５ コントロールボックス
１３１ ホーム姿勢取得部
１３３ 差分算出部
１３５ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】