特許 7505838 撮像システム、撮像プログラム、及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】撮像システム、撮像プログラム、及び撮像方法

(51)【国際特許分類】

   H04N 5/222 20060101AFI20240618BHJP

   H04N 23/69 20230101ALI20240618BHJP

   H04N 5/268 20060101ALI20240618BHJP

【ＦＩ】

H04N5/222

H04N23/69

H04N5/268

【請求項の数】 11

(21)【出願番号】P 2024507859

(86)(22)【出願日】2023-08-01

(86)【国際出願番号】 JP2023028050

【審査請求日】2024-02-07

(31)【優先権主張番号】P 2022154627

(32)【優先日】2022-09-28

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】518286792

【氏名又は名称】株式会社ユニゾンシステムズ

(74)【代理人】

【識別番号】100114627

【弁理士】

【氏名又は名称】有吉 修一朗

(74)【代理人】

【識別番号】100182501

【弁理士】

【氏名又は名称】森田 靖之

(74)【代理人】

【識別番号】100175271

【弁理士】

【氏名又は名称】筒井 宣圭

(74)【代理人】

【識別番号】100190975

【弁理士】

【氏名又は名称】遠藤 聡子

(72)【発明者】

【氏名】榎本 悠

(72)【発明者】

【氏名】須山 佳典

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】韓国公開特許第１０－２０２２－００５３４９３（ＫＲ，Ａ）

【文献】特開２００９－２７８４３７（ＪＰ，Ａ）

【文献】韓国登録特許第１０－２１０７０５５（ＫＲ，Ｂ１）

【文献】特開２０１７－１１２４３１（ＪＰ，Ａ）

【文献】特開２００５－１６７５１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／２６２－５／２８

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

競技場内において同じタイミングで競技を行う複数の動体である被写体を異なる視点から撮像する複数の撮像装置と、
前記撮像装置により取得された映像の各フレーム画像から前記被写体のそれぞれを包囲する矩形として検知する検知部、該検知部において検知した前記被写体である動体同士の前記矩形の中心座標間の距離である矩形間距離を計測する矩形間距離計測部を有し、前記矩形間距離に基づいて前記複数の撮像装置で撮像された映像からベストアングルを判定するとともに、該ベストアングルの映像を出力する撮像装置を選択するスイッチング判定部と、
該スイッチング判定部により選択された前記撮像装置に対して、前記被写体からのズームアウト処理、前記被写体へのズームイン処理、前記被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちの少なくとも一の制御処理の実行を指示する制御部と、
該制御部による制御処理に基づいて制御された前記撮像装置により撮像された映像を出力する出力部と、を備える
撮像システム。

【請求項2】

前記検知部は、競技場内において競技を行う少なくとも２名の選手と、前記選手の競技を成立させるための判定を下す少なくとも１名の審判員を前記被写体として検知し、
前記スイッチング判定部は、前記選手と前記審判員とが重複しない映像、或いは前記選手が前記審判員よりも前面側に位置する映像のうち、前記矩形間距離が最も長い映像をベストアングルと判定する
請求項１に記載の撮像システム。

【請求項3】

前記検知部は、色情報に基づいてフレーム画像中の前記選手のユニフォームの色を判定するユニフォーム色判定部を有し、
該ユニフォーム色判定部による判定結果に基づいて、前記被写体の中から特定の選手を検知する
請求項２に記載の撮像システム。

【請求項4】

前記検知部は、背景差分法、又はフレーム間差分法により被写体を特定する動体検知部を有し、
該動体検知部で特定した前記被写体に対して、前記被写体を包囲する矩形として検知する
請求項１または請求項２に記載の撮像システム。

【請求項5】

前記制御部によるズームイン処理、及びズームアウト処理は、特定のフレーム枠の幅に対する前記検知部で検知された前記被写体の矩形の幅の割合が、所定の第１の閾値関数で定義された値よりも大きい場合にはズームイン処理、所定の第２の閾値関数で定義された値よりも小さい場合にはズームアウト処理を行う
請求項１または請求項２に記載の撮像システム。

【請求項6】

前記制御部による追尾処理は、前記検知部で検知された前記被写体の一の矩形、及び他の矩形の各中心座標を結んだ中点と、フレーム画像の中心が略一致するように等速、或いは等加速で追尾する
請求項１または請求項２に記載の撮像システム。

【請求項7】

競技場内において同じタイミングで競技を行う複数の動体である被写体を異なる視点から撮像された複数の映像を受信するステップと、
受信した複数の映像の各フレーム画像から、前記被写体のそれぞれを包囲する矩形として検知するステップと、
前記被写体である動体同士の前記矩形の中心座標間の距離である矩形間距離を計測するステップと、
前記矩形間距離に基づいて前記複数の映像からベストアングルを判定し、該ベストアングルの映像を出力する撮像装置を選択するステップと、
前記ベストアングルの映像を出力する前記撮像装置に対して、前記被写体からのズームアウト処理、前記被写体へのズームイン処理、前記被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちから少なくとも一の制御処理の実行を指示するステップと、
前記制御処理に基づいて制御された前記撮像装置により撮像された映像を出力するステップと、をコンピュータに実行させるための
撮像プログラム。

【請求項8】

前記ベストアングルの映像を出力する撮像装置を選択するステップは、競技場内において競技を行う少なくとも２名の選手と、前記選手の競技を成立させるための判定を下す少なくとも１名の審判員を前記被写体として検知するステップをさらに有し、
前記矩形間距離が最も長い映像をベストアングルと判定するステップは、前記選手と前記審判員とが重複しない映像、或いは前記選手が前記審判員よりも前面側に位置する映像から、前記矩形間距離が最も長い映像をベストアングルと判定するステップを含む
請求項７に記載の撮像プログラム。

【請求項9】

前記競技場内において競技を行う少なくとも２名の選手を検知するステップは、
所定の色情報に基づいて前記フレーム画像中の前記選手のユニフォームの色を判定するステップと、
前記フレーム画像をモルフォロジー変換によりノイズ処理するステップと、を有する
請求項８に記載の撮像プログラム。

【請求項10】

前記選手の競技を成立させるための判定を下す審判員を検知するステップは、
前記フレーム画像をグレースケール化するステップと、
前記フレーム画像をモルフォロジー変換によりノイズ処理するステップと、を有する
請求項８に記載の撮像プログラム。

【請求項11】

競技場内において同じタイミングで競技を行う複数の動体である被写体を異なる視点から撮像された複数の映像を受信する工程と、
受信した複数の映像の各フレーム画像から、前記被写体のそれぞれを包囲する矩形として検知する工程と、
前記被写体である動体同士の前記矩形の中心座標間の距離である矩形間距離を計測する工程と、
前記矩形間距離に基づいて前記複数の映像からベストアングルを判定し、該ベストアングルの映像を出力する撮像装置を選択する工程と、
前記ベストアングルの映像を出力する前記撮像装置に対して、前記被写体からのズームアウト処理、前記被写体へのズームイン処理、前記被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちから少なくとも一の制御処理の実行を指示する工程と、
前記制御処理に基づいて制御された前記撮像装置により撮像された映像を出力する工程と、を備える
撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、撮像プログラム、及び撮像方法に関する。詳しくは、複数のカメラで捉えた映像の切り替えを自動的に行い、視聴者に対して常にベストアングルの映像を出力することができる撮像システム、撮像プログラム、及び撮像方法に係るものである。

【背景技術】

【0002】

スポーツ中継等の撮影では、競技コート上を動き回る競技者やボールを様々な方向から撮影するために、試合会場の各所に複数のカメラが配置される。そして、オペレータがスイッチャによって各カメラを切り替えることで、試合状況に応じて視聴者が最も興味を示すと思われる映像を選択し、放送波を介して送信、或いはレコーダに記録するといった処理が行われる。

【0003】

従来のスポーツ番組の制作では、スイッチングワークをオペレータが手作業で行っているため、人的コストを要するものとなっていた。また、オペレータは、スポーツ中継が行われている間、常に各カメラで撮像されている映像を確認する必要があるため、作業負担が大きいとともに、オペレータがスポーツのルールと放送番組上の演出に精通する必要があった。

【0004】

そこで、スイッチングワーク（スイッチャの切り替え）を人手によらず行う発明として、音声情報に基づいて話者の判定と発言内容の同定を行い、映像の切り替えを適宜行う技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００５－２９５４３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前記した特許文献１に開示の技術は、音声情報に基づいてスイッチングワークを行うものであり、対談番組や情報番組など出演者の発言に基づいて演出をする番組には適しているものの、選手の位置関係が演出を左右するスポーツ中継への適用は何ら考慮されたものではなかった。

【0007】

本発明は、以上の点に鑑みて創案されたものであり、複数のカメラで捉えた映像の切り替えを自動的に行い、視聴者に対して常にベストアングルの映像を出力することができる撮像システム、撮像プログラム、及び撮像方法を提供することを目的とするものである。

【課題を解決するための手段】

【0008】

前記の目的を達成するために、本発明の撮像装置は、同じタイミングで同じ被写体を異なる視点から撮像する複数の撮像装置と、前記複数の撮像装置で撮像された映像からベストアングルを判定し、該ベストアングルの映像を出力する撮像装置を選択するスイッチング判定部と、該スイッチング判定部により選択された前記撮像装置に対して、前記被写体からのズームアウト処理、前記被写体へのズームイン処理、前記被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちの少なくとも一の制御処理の実行を指示する制御部と、該制御部による制御処理に基づいて制御された前記撮像装置により撮像された映像を出力する出力部とを備える。

【0009】

ここで、同じタイミングで同じ被写体を異なる視点から撮像する複数の撮像装置を備えることにより、例えばスポーツ中継において、競技者の競技の状況をあらゆる視点から撮像することができ、これら異なる視点からの映像を出力することで競技の戦況を視聴者に対してわかりやすく伝達することができる。

【0010】

また、複数の撮像装置で撮像された映像からベストアングルを判定し、ベストアングルの映像を出力する撮像装置を選択するスイッチング判定部を備えることにより、オペレータによる主観的な判断によらず客観的な判断に基づいて、複数の映像の中から視聴者に対して戦況を最も効果的に伝えることができる映像を自動的に判定することができる。また、スイッチングワークを行うオペレータを配置する必要がないため、効率的なスイッチングワークを実現することができる。

【0011】

また、スイッチング判定部により選択された撮像装置に対して、被写体からのズームアウト処理、被写体へのズームイン処理、被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちから少なくとも一の制御処理の実行を指示する制御部を備えることにより、スイッチング判定部により、現在の映像から異なる視点の映像への切り替わり直後において、被写体の状況に応じた画面サイズの変更処理（ズームアウト処理、ズームイン処理、追尾処理）、或いは維持処理が行われるため、被写体の状況に応じて最も効果的な映像処理を行い、視聴者に対して臨場感のある映像を出力することができる。

【0012】

また、制御部による制御処理に基づいて制御された撮像装置により撮像された映像を出力する出力部を備えることにより、所定の映像処理が行われたベストアングルの映像を常に視聴者に対して出力することができる。

【0013】

また、スイッチング判定部は、競技場内において競技を行う複数の動体を被写体とし、撮像装置により取得された映像の各フレーム画像から、被写体のそれぞれを包囲する矩形として検知する検知部を備えることにより、競技場内で競技を行う動体（人物、動物、自動車等を含む）を検知し、検知した動体の所定の範囲を包囲する領域を特定することができる。

【0014】

また、スイッチング判定部は、検知部において検知した被写体である動体同士の矩形の中心座標間の距離である矩形間距離を計測する矩形間距離計測部を有し、矩形間距離に基づいてベストアングルと判定する場合には、例えば格闘技等の競技において、対戦する２名の選手がなるべく横並びで映っているアングルの映像をベストアングルと判定することができる。これにより、選手同士が重なることで、一方の選手が遮られる映像がベストアングルから除外され、常に両選手の全体の動きが把握できる映像を視聴者に対して出力することができる。

【0015】

また、検知部は、競技場内において競技を行う少なくとも２名の選手と、選手の競技を成立させるための判定を下す少なくとも１名の審判員を被写体として検知する場合には、競技を行う選手、及び競技を成立させるための審判員を被写体として検出することで、選手と審判員との位置関係に基づいてベストアングルを選択することができる。

【0016】

また、スイッチング判定部は、選手と審判員とが重複しない映像、或いは選手が審判員よりも前面側に位置する映像のうち、矩形間距離計測部で計測された矩形間距離が最も長い映像をベストアングルと判定する場合には、審判員の存在によって選手が遮られる映像をベストアングルから除外し、残る映像の中から選手同士がなるべく横並びとなっている映像をベストアングルとして選択することができる。従って、審判員の位置も考慮したうえで、常に両選手の全体の動きが把握できる映像を視聴者に対して出力することができる。

【0017】

また、検知部は、色情報に基づいてフレーム画像中の選手のユニフォームの色を判定するユニフォーム色判定部を有し、ユニフォーム色判定部による判定結果に基づいて、被写体の中から特定の人物を検知する場合には、選手、或いは審判員のユニフォーム色を予め登録しておき、登録されたユニフォーム色に合致する被写体を特定の人物としての選手、或いは審判員を容易に検知することができる。

【0018】

また、検知部は、背景差分法、又はフレーム間差分法により被写体を特定する動体検知部を有し、動体検知部で特定した被写体に対して、被写体を包囲する矩形として検知する場合には、例えばスポーツ中継においては、公知のアルゴリズムに基づいて、試合中の映像から取得したフレーム画像に含まれる背景を抽出し、その差分から被写体としての選手、或いは審判員を容易に検知することができる。

【0019】

また、制御部によるズームイン処理、及びズームアウト処理は、特定のフレーム枠の幅に対する検知部で検知された被写体の矩形の幅の割合が、所定の第１の閾値関数で定義された値よりも大きい場合にはズームイン処理、所定の第２の閾値関数で定義された値よりも小さい場合にはズームアウト処理を行う場合には、画面枠の幅に対する被写体の矩形幅の割合に応じてズームイン処理、或いはズームアウト処理が行われるため、スイッチング判定部により選択された映像への切り替わり直後において、常に被写体の全体が把握できる映像を視聴者に対して出力することができる。

【0020】

また、制御部による追尾処理は、検知部で検知された被写体の一の矩形、及び他の矩形の各中心座標を結んだ中点と、フレーム画像の中心が略一致するように等速、或いは等加速で追尾する場合には、被写体として検知した少なくとも２名の選手が常に画面枠の中心に位置するように追尾処理を行うことができる。

【0021】

前記の目的を達成するために、本発明の撮像プログラムは、同じタイミングで同じ被写体を異なる視点から撮像された複数の映像を受信するステップと、前記複数の映像からベストアングルを判定し、該ベストアングルの映像を出力する撮像装置を選択するステップと、前記ベストアングルの映像を出力する前記撮像装置に対して、被写体からのズームアウト処理、被写体へのズームイン処理、被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちから少なくとも一の制御処理の実行を指示するステップと、前記制御処理に基づいて制御された前記撮像装置により撮像された映像を出力するステップと、をコンピュータに実行させるものである。

【0022】

ここで、同じタイミングで同じ被写体を異なる視点から撮像された複数の映像を受信するステップを備えることにより、例えばスポーツ中継において、競技者の競技の状況をあらゆる視点から撮像された複数の映像を受信することができる。

【0023】

また、複数の映像からベストアングルを判定し、ベストアングルの映像を出力する撮像装置を選択するステップを備えることにより、受信した異なる視点から撮像された複数の映像の中から、所定の判定条件に従ってベストアングルを判定することができる。

【0024】

また、ベストアングルの映像を出力する撮像装置に対して、被写体からのズームアウト処理、被写体へのズームイン処理、被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちから一の制御処理の実行を指示するステップを備えることにより、現在の映像から異なる視点の映像への切り替わり直後において、被写体の状況に応じた画面サイズの変更処理、或いは維持処理が行われるため、被写体の状況に応じて最も効果的な映像処理を行い、視聴者に対して臨場感のある映像を出力することができる。

【0025】

また、制御処理に基づいて制御された撮像装置により撮像された映像を出力するステップを備えることにより、所定の映像処理が行われたベストアングルの映像を常に視聴者に対して出力することができる。

【0026】

また、ベストアングルの映像を出力する撮像装置を選択するステップは、競技場内において競技を行う複数の動体を被写体とし、撮像装置により取得された映像の各フレーム画像から、被写体のそれぞれを包囲する矩形として検知するステップを備えることにより、被写体の中から競技場で競技を行う動体（人物、動物、自動車等を含む）を検知し、検知した動体の所定の範囲を包囲する領域を特定することができる。

【0027】

また、被写体である動体同士の矩形の中心座標間の距離である矩形間距離を計測するステップと、矩形間距離が最も長い映像をベストアングルと判定するステップを備えることにより、例えば格闘技等の競技において、対戦する２名の選手がなるべく横並びで映っているアングルの映像をベストアングルと判定することができる。これにより、選手同士が重なることで、一方の選手が遮られる映像がベストアングルから除外され、常に両選手の全体の動きが把握できる映像を視聴者に対して出力することができる。

【0028】

また、ベストアングルの映像を出力する撮像装置を選択するステップは、競技場内において競技を行う少なくとも２名の選手と、選手の競技を成立させるための判定を下す少なくとも１名の審判員を被写体として検知するステップをさらに有する場合には、競技場内において競技を行う選手、及び審判員を被写体として検出することで、選手と審判員との位置関係に基づいてベストアングルを選択することができる。

【0029】

また、矩形間距離が最も長い映像をベストアングルと判定するステップは、選手と審判員とが重複しない映像、或いは選手が審判員よりも前面側に位置する映像から、矩形間距離が最も長い映像をベストアングルと判定するステップを含む場合には、審判員の存在によって選手が遮られる映像をベストアングルから除外し、残る映像の中から選手同士がなるべく横並びとなっている映像をベストアングルとして選択することができる。従って、審判員の位置も考慮したうえで、常に両選手の全体の動きが把握できる映像を視聴者に対して出力することができる。

【0030】

また、競技場内において競技を行う少なくとも２名の選手のそれぞれを包囲する矩形として検知するステップは、所定の色情報に基づいてフレーム画像中の選手のユニフォームの色を判定するステップと、フレーム画像をモルフォロジー変換によりノイズ処理するステップを有する場合には、選手のユニフォーム色を予め登録しておき、登録されたユニフォーム色に合致する被写体を検知対象としての選手と容易に判定することができる。

【0031】

また、選手の競技を成立させるための判定を下す審判員を検知するステップは、フレーム画像をグレースケール化するステップと、フレーム画像をモルフォロジー変換によりノイズ処理するステップを有する場合には、一般的に審判員のユニフォームは白、又は黒を基調としたモノクロ色であるため、フレーム画像をグレースケール化することで、フレーム画像から被写体としての審判員を容易に検知することができる。

【0032】

前記の目的を達成するために、本発明の撮像方法は、異なる位置に配置された撮像装置により、同じタイミングで同じ被写体を異なる視点から撮像された複数の映像を受信する工程と、前記複数の映像からベストアングルを判定し、該ベストアングルの映像を出力する撮像装置を選択する工程と、前記ベストアングルの映像を出力する前記撮像装置に対して、被写体からのズームアウト処理、被写体へのズームイン処理、被写体の追尾処理、及び前回の画面サイズを維持する維持処理、のうちから少なくとも一の制御処理の実行を指示する工程と、前記制御処理に基づいて制御された前記撮像装置により撮像された映像を出力する工程とを備える。

【0033】

以上の工程により、異なる視点で撮像された映像の中から、ベストアングルとなる映像を選択して出力することができる。

【発明の効果】

【0034】

本発明に係る撮像システム、撮像プログラム、及び撮像方法は、複数のカメラで捉えた映像の切り替えを自動的に行い、視聴者に対して常にベストアングルの映像を出力することができる。

【図面の簡単な説明】

【0035】

【図1】本発明の実施形態に係る撮像システムの全体構成を示す図である。

【図2】検知部における処理フローを示す図である。

【図3】背景差分法を用いた動体検知の処理工程を示す図である。

【図4】矩形間距離計測部における処理フローを示す図である。

【図5】制御部における処理フローを示す図である。

【発明を実施するための形態】

【0036】

以下、撮像システム、撮像プログラム、及び撮像方法に関する本発明の実施の形態について、図面を参照しながら説明し、本発明の理解に供する。

【0037】

まず、本発明の実施形態に係る撮像システム１の全体構成について図１を用いて説明する。本発明の実施形態に係る撮像システム１は、例えばスポーツ中継としてボクシング等の格闘技の実況中継に適用されるものであり、被写体（対戦する選手）を異なる視点から撮像する複数の撮像装置１０、撮像装置１０から出力された映像のうちベストアングルの映像を選択するスイッチング判定部２０、スイッチング判定部２０で選択された映像に対して所定の画像処理を指令する制御部３０、映像を外部に出力するための出力部４０から主に構成されている。

【0038】

１ 撮像装置
撮像装置１０は静止画、及び動画を撮像可能なデジタルビデオカメラである。撮像装置１０は公知の構造であるため、詳細な説明は省略するが、主にレンズ、絞り、液晶ＮＤフィルタ（透過率調整部）、撮像素子からなり、撮像された映像を表示する画像表示部、或いは撮像された映像を一時的に記憶する画像記憶部を備えた構成からなるものである。

【0039】

レンズは、ズームレンズ、フォーカスレンズ等の各種のレンズを含み、これらのレンズによって、被写体光を撮像素子の露光面に結像させる。絞りは、その開度を調整することにより機械的に被写体光の光量を調整することが可能に構成されている。これらレンズ、及び絞りは、例えばレンズドライバからの指示に応じて、ズームレンズ、フォーカスレンズ、或いは絞り位置を制御したり、絞りの開度を制御したりすることができる。

【0040】

液晶ＮＤフィルタは、印加される電圧に応じて、光の透過率を調整（濃度を調整）することが可能に構成されており、印加される電圧に応じて透過率が調整されることによって、撮像素子に入射される被写体光の光量を調整する。

【0041】

撮像素子は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサや、ＣＣＤセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などにより構成されている。撮像素子は、液晶ＮＤフィルタを透過して入射された被写体光を露光することによって撮像を行う。具体的には、撮像素子は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有しており、露光面に入射された被写体光を画素毎に光電変換により電子信号に変換し、得られた３原色信号（Ｒ、Ｇ、Ｂ）をアナログ画像データとして出力する。

【0042】

以上が撮像装置１０の構成であるが、撮像装置１０は格闘技（本発明の実施形態ではボクシング）の対戦が行われる競技場内のリングの周囲に複数台が設置される。具体的にはボクシングの競技場内に設置された方形状のリングＲの周囲に各１台、即ち、少なくとも計４台の撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄが配置される。そして、これら４台の撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄによって、リングＲ上で対戦をする選手を異なる視点から撮像することが可能となる。

【0043】

なお、必ずしも、撮像装置１０は４台に限定されるものではなく、異なる視点からの映像を取得することができればよく、撮像装置１０の台数は特に限定されるものではない。なお、スポーツ中継としてサッカーや野球等の実況中継においては、広い競技場内において異なる視点からの映像を取得するために、競技場内のあらゆる位置に撮像装置１０を設置する必要があり、この場合には少なくとも４台以上の撮像装置１０が設置される。

【0044】

２ スイッチング判定部
スイッチング判定部２０は、撮像装置１０から出力された異なる視点の映像のうち、ベストアングルの映像を撮像する撮像装置１０を選択する機能を有しており、検知部２１、矩形間距離計測部２２、ユニフォーム色判定部２３、及び動体検知部２４から構成されている。

【0045】

検知部２１は、撮像装置１０で撮像された映像から被写体である人物（競技場内で競技を行う選手、選手の競技を成立させるための判定を下す審判員）を検知する機能を有しており、撮像装置１０から出力される映像について一定のフレーム毎に検知処理が行われる。具体的には、撮像装置１０から出力される映像に対して、５フレーム毎にフレーム画像を抽出し、抽出したフレーム画像に対して検知部２１による人物検知が行われる。

【0046】

ここで、必ずしも、検知部２１による人物検知は５フレーム毎のフレーム画像に基づいて行われる必要はなく、検知処理を行うタイミングは適宜変更することができるものとする。

【0047】

検知部２１における人物検知について、図２の処理フローに基づいて説明する。まず、撮像装置１０から出力された映像から、特定のフレーム単位のフレーム画像が選択され、動体検知部２４により動体（人物）の検出が行われる（Ｓ１１）。この動体検知部２４によりフレーム画像中の映像から動体（選手、審判員、観客を含む人物）が検知される。

【0048】

この時、動体が検知されたらその検知結果を記憶部に一時的に記憶する。そして、動体検知部２４により動体が検知できない場合には、記憶部に一時的に記憶された過去の検知結果が読み出され、以後の処理に利用される。なお、この場合に流用できる過去の検知結果の範囲は任意に設定することができるものとし、本発明の実施形態では２秒に設定される。

【0049】

動体検知部２４による動体検知は、選択されたフレーム画像に対して背景差分法に基づいて実行される。背景差分法は、例えば現在と過去の異なる時間に同一位置で撮像した２枚のフレーム画像の差分を求めることで、対象となる物体を抽出する公知の画像処理方法である。本発明の実施形態においては、公知の背景差分アルゴリズムに基づいて、試合中の映像から取得したフレーム画像Ｇに含まれる背景を抽出し、その差分から動体としての人物を特定する。

【0050】

図３は、背景差分法を用いて、フレーム画像Ｇから動体検知を行う過程を示す図である。図３に示すように、フレーム画像Ｇから背景差分法を用いて動体検知が行われると、フレーム画像Ｇの中から動体（選手、審判員、観客）を白色、それ以外の部分を黒色で表した２値の第１のマスク画像Ｍ１を取得する。

【0051】

この第１のマスク画像Ｍ１から、さらに観客を除いた選手、及び審判員の人物検知が実行される。まず、選手の検知においては、フレーム画像Ｇに基づいて、第１のマスク画像Ｍ１の白色部分をカラー化したカラー画像Ｃが生成され、取得されたカラー画像Ｃから選手が着用するユニフォーム色の検知が行われる（Ｓ１２）。

【0052】

ユニフォーム色の検知は、例えばボクシングの競技規則で定められた着用可能なユニフォーム色がユニフォーム色判定部２３に予め登録されており、カラー画像Ｃ内から選手が着用するユニフォーム色が抽出され、抽出されたユニフォーム色とユニフォーム色判定部２３に登録されているユニフォーム色とが対比され、カラー画像Ｃ内から対戦するそれぞれの選手が特定される。

【0053】

カラー画像Ｃのうち、背景領域である黒色のマスク領域と被写体である人物との境界部分には多くのノイズが存在し、被写体の範囲が不明確となる。そのため、被写体とマスク領域の境界をより明確にするために、モルフォロジー変換、或いはフィルタリング処理やバイラテラルフィルタ等の公知のノイズ処理を行い、マスク領域と被写体との境界に存在するノイズを除去する（Ｓ１３）。

【0054】

ノイズ処理後に、対戦する２名の選手のうちの一方の選手を検知できたら、検知した選手を白色、その他の人物や背景を黒色とする２値からなる第２のマスク画像Ｍ２を取得する。そして、第２のマスク画像Ｍ２の白色の部分の全体を包囲する矩形を定義して、第２のマスク画像Ｍ２から一方の選手を第１の矩形Ｂ１として検知することができる。以上の処理を対戦相手である他方の選手についても適用することで、第２のマスク画像Ｍ２から他方の選手を第２の矩形Ｂ２として検知する（Ｓ１４）。

【0055】

なお、対戦するそれぞれの選手を第１の矩形Ｂ１、及び第２の矩形Ｂ２として定義したら、さらに第１の矩形Ｂ１、及び第２の矩形Ｂ２を包囲する第３の矩形Ｂ３も定義することができる。この第３の矩形Ｂ３は、後記する制御部３０における制御処理において使用される。

【0056】

対戦する選手を検知したら、続いて審判員の検知を行う。審判員のユニフォームは、多くの場合は白、又は黒を基調とした色が基本となるため、本発明の実施形態においては、まずフレーム画像をグレースケール化し（Ｓ１５）、グレースケール化した画像から最も輝度の強い「白」を特定して審判員のユニフォームを検知する（Ｓ１６）。そして、審判員を検知することができたら、選手の検知処理と同様に、フレーム画像に映る審判員と背景との境界のノイズ処理を行い（Ｓ１７）、審判員の全体を包囲する矩形の定義が完了する（Ｓ１８）。

【0057】

ここで、必ずしも、グレースケール化したフレーム画像から審判員のユニフォームを特定する必要はない。例えば、選手のユニフォームの検知と同様に、競技規則で定められた審判員のユニフォーム色を予め記憶部に記憶し、記憶部に記憶されたユニフォーム色とフレーム画像中の色とを対比して、審判員のユニフォームを特定するようにしてもよい。

【0058】

また、必ずしも、検知部２１における人物検知においては、選手や審判員を矩形として定義する必要はない。矩形としての定義は一例であり、検知した人物の定義については公知の方法から適宜選択することができる。

【0059】

矩形間距離計測部２２は、検知部２１による選手のそれぞれについて定義された矩形間距離を計測する機能を有している。具体的には、撮像装置１０で撮像された複数のフレーム画像中の対戦する二人の選手の第１の矩形Ｂ１と第２の矩形Ｂ２の中心座標を定義する。そして中心座標間の距離を計測し、最も長い矩形間距離の映像をベストアングルとして定義する。

【0060】

即ち、選手同士の矩形間距離が最も長い映像は、選手同士の重なりが少なく、かつ選手同士が横並びに映っている映像であり、各選手の動きが最もよく見える構図となっており、そのような映像を本発明ではベストアングルとして定義をしている。そのため、選手同士の矩形間距離が最も長い映像を出力する撮像装置をベストアングルの映像を出力する撮像装置であるとして選択する。

【0061】

但し、選択されたフレーム画像に審判員が映り込んでいる場合には、審判員と選手との相対的な位置関係を考慮する必要がある。そのため、矩形間距離計測部２２は、選手と審判員との相対的な位置関係を考慮したうえで、出力された映像のうち、選手と審判員とが重複しない映像、或いは選手が審判員よりも前面側に位置する映像を選択し、これら映像中の選手の矩形間距離が最も長い映像をベストアングルと判定する。これにより、審判員によって選手の動きが遮られた映像をベストアングルとして誤判定することを防止することができる。

【0062】

図４は、スイッチング判定部２０による処理フローを示す図である。まず、最初に、撮像装置１０で撮像される現在のフレーム画像における選手の矩形間距離が測定され（Ｓ２１）、計測結果は記憶部に記憶される。次に審判員が選手の手前側に存在するか否かが判定される（Ｓ２２）。Ｓ２２の判定の結果、選手の手前側に審判員が存在する場合には、視聴者にとって選手の対戦状況が確認しにくいため、撮像装置１０の切り替えが必要と判定しＳ２３に進む。

【0063】

一方、Ｓ２２の判定の結果、審判員が選手の手前側に存在しないと判定されると、さらに撮像装置１０の切り替えの要否を判定するために、前回の切り替えから５秒以上経過しているか否かが判定される（Ｓ２４）。

【0064】

そして、Ｓ２４で前回の切り替えから５秒以上が経過している判定されると、同一アングルによる映像が一定時間続くため撮像装置１０の切り替えが必要と判定しＳ２５に進む。一方、前回の切り替えから５秒以内である場合には、現在の撮像装置１０による映像を維持し、処理フローを終了する。

【0065】

なお、Ｓ２４の判定条件である前回の映像の切り替わりからの経過時間については、必ずしも５秒に設定する必要はなく、任意に設定することができるものとする。

【0066】

Ｓ２４において前回の切り替えから５秒を超えている場合にはＳ２５に進み、選手の矩形間距離が所定の範囲内であるか否かが判定される。即ち、Ｓ２５では、Ｓ２１で測定した矩形間距離に基づいて選手間の距離が近い場合には、選手同士が重なり合った映像となり、視聴者にとって対戦状況が分かりにくいため、撮像装置１０の切り替えが必要と判定してＳ２３に進む。

【0067】

一方、選手同士が所定の距離だけ離れている場合や選手同士が極めて近い至近距離で対戦しているような場合には、現在の映像を維持し、処理フローを終了する。ここで、選手同士が至近距離で対戦している場合に現在の撮像装置１０による映像を維持するのは、全ての撮像装置１０において選手同士が重なり合った映像となり、切り替えによる視認性の向上が見込めないためである。なお、Ｓ２５における判定のための選手間の距離については、任意に設定できるものとする。

【0068】

Ｓ２２、及びＳ２５において撮像装置１０の切り替えが必要と判定されるとＳ２３に進む。そして、Ｓ２３では特定の撮像装置１０を切り替え候補から除外する。具体的には撮像装置１０により出力されるフレーム画像のうち、一方の選手の矩形が検出されないフレーム画像、或いは両方の選手が検出されないフレーム画像を出力する撮像装置１０や、審判員が選手の手前側に検出されるフレーム画像を出力する撮像装置１０については、切り替え候補の撮像装置１０から除外される。

【0069】

そしてＳ２６に進むと、Ｓ２３で除外された撮像装置１０以外の撮像装置１０より出力されるフレーム画像の中から、現在のフレーム画像と切り替え後のフレーム画像に対して選手の矩形間距離が一定以上か否かが判定される（Ｓ２７）。より具体的には、過去１秒間の選手の矩形間距離の平均値と現在の選手の矩形間距離との平均値との差が所定以上であるか否かが判定され、選手の矩形間距離が最も長いフレーム画像を出力する撮像装置１０が次に切り替えられる撮像装置として選択される。

【0070】

そして、Ｓ２７の判定で選手間距離が一定以上であると判定されると、特定の撮像装置１０への切り替えが行われ、選手間距離が一定未満の場合には切り替えを中止し処理フローを終了する。

【0071】

３ 制御部
次に制御部３０による制御処理について図５のフロー図に基づいて説明する。制御部３０は、スイッチング判定部２０によりベストアングルの映像を出力する撮像装置１０が選択され、撮像装置１０の切り替えが行われた場合に（Ｓ３１）、切り替え後の撮像装置１０に対して映像の出力制御を指示する機能を有している。

【0072】

映像の出力制御は、切り替え後の撮像装置１０の出力映像について、画面サイズと検知部２１で検知された矩形とを比較して、ズームアウト処理、ズームイン処理、追尾処理、及び前回の画面サイズを維持する維持処理の何れを実行するかが判定される（Ｓ３２）。

【0073】

まず、ズームアウト処理（Ｓ３３）、及びズームイン処理（Ｓ３４）については、切り替え前の撮像装置１０による出力映像と切り替え後の撮像装置１０による出力映像とを比較して、切り替え後の出力映像が、出力画面サイズに対して選手が大きく表示されている場合にはズームアウト処理を行い、逆に画面サイズに対して選手が小さく表示されている場合にはズームイン処理を行い、画面サイズに対して選手の大きさが適度となるよう調整される。

【0074】

このズームアウト処理、及びズームイン処理の判定においては、検知部２１で検知された矩形の幅に基づいて、可変閾値処理により何れの処理を実行するかが判断される。具体的には、以下の式（１）、及び式（２）で定義される閾値関数に基づいて、フレーム画像の画面枠に対する選手の矩形の幅の割合が、ズームアウト処理の閾値関数である式（１）の値よりも小さい場合にはズームアウト処理を行い、ズームイン処理の閾値関数である式（２）の値よりも大きい場合にはズームイン処理を行う。なお、式（１）、（２）のｗは検知部２１で検知された選手の矩形の幅である。
２６０６４×ｗ＾（－１．９３６）＋１．１ （１）
３５００．７×ｗ＾（－１．４６５）＋１．２５ （２）

【0075】

ここで、必ずしも、ズームアウト処理、及びズームイン処理については、前記した式（１）、及び式（２）の閾値関数に基づいて判定される必要はなく、判定基準については適宜変更することができる。

【0076】

次に、追尾処理（Ｓ３５）について説明する。まず、撮像装置１０で撮像されたフレーム画像中の対戦する二人の選手を包囲する第３の矩形Ｂ３の中心座標が定義される。そして、中心座標とフレーム画像の中心位置からのずれ量が計算され、ずれ量が所定以上である場合には、フレーム画像の中心位置からずれた位置に選手が写っていると判断して、第３の矩形Ｂ３の中心座標がフレーム画像の中心位置と合致するように、撮像装置１０に対してパン、又はチルトの追尾処理が指示される。

【0077】

ここで、必ずしも、追尾処理の判定においては、第３の矩形Ｂ３の中心座標とフレーム画像の中心位置とのずれ量を計算する必要はない。例えば、第１の矩形Ｂ１の中心座標と第２の矩形Ｂ２の中心座標を結んだ直線の中点を定義し、該中点とフレーム画像の中心位置とのずれ量を計算するようにしてもよい。

【0078】

また、追尾処理は基本的には等速追尾であるが、選手の状態に応じて加速度的に追尾する等加速追尾を行ってもよい。例えばボクシングにおいては、常に選手はリング上を動いている場合だけはなく、その場で動きを止めて互いに牽制する場合もある。このような静止状態から選手の動きを追尾する際には、撮像装置１０による追尾の初動を等加速的に制御することで、視聴者に対して違和感のないカメラワークを実現することができる。

【0079】

以上のように、フレーム画像の画面サイズと検知部２１で検知された矩形との関係に基づいて、ズームイン処理、ズームアウト処理、及び追尾処理が実行されると画面の更新が行われ（Ｓ３６）、更新された映像が出力部４０から出力される。一方、撮像装置１０の切り替わり前後において、制御部３０による制御が必要ない場合には、前回の画面サイズがそのまま維持される（Ｓ３７）。

【0080】

４ 出力部
スイッチング判定部２０で切り替わる撮像装置１０が選択され、制御部３０により撮像装置１０に対する制御が実行されたら、撮像装置１０による映像が出力部４０により出力される。

【0081】

以上が本発明の実施形態に係る撮像システム、撮像プログラム、及び撮像方法あるが、本発明の技術範囲は上記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、前記した実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を構成できる。例えば、本発明はボクシングをはじめとする格闘技のスポーツ中継だけではなく、球技や水泳、或いはモータースポーツ、さらには動物が主役となる競馬等の様々なスポーツ中継にも適用することが可能であり、その場合、検知部２１は各競技の主役となる自動車や動物を被写体として検知し、ベストアングルを判定するものとする。

【0082】

以上、本発明に係る撮像システム、撮像プログラム、及び撮像方法は、複数のカメラで捉えた映像の切り替えを自動的に行い、視聴者に対して常にベストアングルの映像を出力することができるものとなっている。

【符号の説明】

【0083】

１ 撮像システム
１０、１０ａ、１０ｂ、１０ｃ、１０ｄ 撮像装置
２０ スイッチング判定部
２１ 検知部
２２ 矩形間距離計測部
２３ ユニフォーム色判定部
２４ 動体検知部
３０ 制御部
４０ 出力部
Ｂ１ 第１の矩形
Ｂ２ 第２の矩形
Ｂ３ 第３の矩形
Ｃ カラー画像
Ｇ フレーム画像
Ｍ１ 第１のマスク画像
Ｍ２ 第２のマスク画像
Ｒ リング

【要約】

【課題】複数のカメラで捉えた映像の切り替えを自動的に行い、視聴者に対して常にベストアングルの映像を出力することができる撮像システム、撮像プログラム、及び撮像方法を提供することを目的とする。
【解決手段】撮像システム１は、スポーツの競技場内に設置された複数の撮像装置１０のスイッチングワークを自動で行うシステムであり、スイッチング判定部２０、制御部３０、及び出力部４０を備えている。スイッチング判定部２０により、撮像装置１０で撮像された複数の映像からベストアングルの映像を出力する撮像装置１０が選択される。選択された撮像装置１０に対しては、制御部３０より最適な画面サイズとなるようなカメラワークが指令され、視聴者に対して常にベストアングルの映像を出力することができる。

【図1】

【図2】

【図3】

【図4】

【図5】