特許7357413リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-28
(45)【発行日】2023-10-06
(54)【発明の名称】リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置
(51)【国際特許分類】
H04N 21/2187 20110101AFI20230929BHJP
H04N 21/2665 20110101ALI20230929BHJP
H04N 21/24 20110101ALI20230929BHJP
H04N 23/60 20230101ALI20230929BHJP
H04N 23/695 20230101ALI20230929BHJP
H04N 7/18 20060101ALI20230929BHJP
G06T 7/90 20170101ALI20230929BHJP
【ＦＩ】
H04N21/2187
H04N21/2665
H04N21/24
H04N23/60 300
H04N23/695
H04N7/18 U
G06T7/90 D
【請求項の数】
6
(21)【出願番号】P 2022578939
(86)(22)【出願日】2020-10-14
(65)【公表番号】
(43)【公表日】2023-04-20
(86)【国際出願番号】 KR2020013989
(87)【国際公開番号】W WO2021177535
(87)【国際公開日】2021-09-10
【審査請求日】2022-09-06
(31)【優先権主張番号】10-2020-0028216
(32)【優先日】2020-03-06
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】522354001
【氏名又は名称】モバイルセン
【氏名又は名称原語表記】ＭＯＢＩＬＥＣＥＮ
【住所又は居所原語表記】５０２－ｈｏ，７９－１７，Ｍｕｌｌａｅ－ｒｏ Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ，Ｓｅｏｕｌ ０７２９４ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100101340
【弁理士】
【氏名又は名称】丸山 英一
(74)【代理人】
【識別番号】100205730
【弁理士】
【氏名又は名称】丸山 重輝
(74)【代理人】
【識別番号】100213551
【弁理士】
【氏名又は名称】丸山 智貴
(72)【発明者】
【氏名】ファン，イン ス
【審査官】富樫 明
(56)【参考文献】
【文献】特表２０１７－５３１９７９（ＪＰ，Ａ）
【文献】特表２０１７－５１３３８５（ＪＰ，Ａ）
【文献】特表２０１３－５０３５０４（ＪＰ，Ａ）
【文献】国際公開第２０１９／０２５８３３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／６９５
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／９０
(57)【特許請求の範囲】
【請求項1】
複数の探知カメラ及び少なくとも一つのメインカメラと連動された中継サーバがスポーツ中継放送を送出する方法において、前記複数の探知カメラのそれぞれに対応する探知領域のうち、第１探知領域で前記第１探知領域に対応する第１探知カメラを通じて被写体を感知し、
前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラに向けるように制御し、
前記被写体が前記第１探知領域で所定時間以上感知される場合、前記第１探知カメラを通じて撮影された映像を端末に送出し、
前記被写体が前記第１探知領域で所定時間未満感知されたり、前記第１探知領域を逸脱したと判断される場合、前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出することを含み、
前記第１探知カメラを通じて被写体を感知することは、
前記被写体の形態、大きさ及び色を受け、
前記第１探知領域で感知される物体が、前記被写体の形態と同一であり、前記被写体の大きさと所定倍率関係を有し、前記被写体の色のＲＧＢ値と前記物体の色のＲＧＢ値の誤差が所定の誤差範囲内である場合、前記物体を前記被写体と認識し、
前記被写体の移動方向及び移動速度を推定することを含み、
前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラに向けるように制御することは、
前記第１探知領域が以前に前記被写体が感知された第２探知領域での前記被写体の移動方向と反対される方向に位置するか、前記第１探知領域が前記第２探知領域と隣接しない場合、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラ方向に回転しないように制御し、
前記第２探知領域で前記被写体が外郭ラインの外に逸脱したと判断された後、前記第１探知領域で前記被写体が感知された時、前記被写体が外郭ラインを逸脱する前に最後に前記被写体を所有した選手のユニフォーム色と前記第１探知領域で前記被写体を所有した選手のユニフォーム色が同一であれば、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラの方向に回転しないように制御し、
前記被写体が外郭ラインを逸脱する前に最後に前記被写体を所有した選手のユニフォーム色と前記第１探知領域で前記被写体を所有した選手のユニフォーム色が異なる場合、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラの方向に回転するように制御することを含み、
前記被写体を感知した後、前記被写体が消えたと感知される場合、前記被写体の移動方向及び移動速度に基づいて、前記被写体が存在すると予想される第３探知領域を推定し、
前記第３探知領域で手または足の先部分が第１選手に遮られて認識できない第２選手が前記被写体を所有していると認知することをさらに含み、
前記少なくとも一つのメインカメラが２つであり、２つのメインカメラの焦点距離が異なる場合、前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出することは、
前記被写体の移動速度が所定値以上である場合、前記焦点距離が相対的に遠いメインカメラの撮影映像を前記端末に送出し、前記被写体の移動速度が所定値未満の場合、前記焦点距離が相対的に近いメインカメラの撮影映像を前記端末に送出することをさらに含む、スポーツ中継放送送出方法。
【請求項2】
前記被写体は、前記スポーツ中継放送で送出されるスポーツ競技に用いられるボールである、請求項１に記載のスポーツ中継放送送出方法。
【請求項3】
前記第１探知領域は、前記第１探知カメラの撮影可能範囲を基準として設定される、請求項１に記載のスポーツ中継放送送出方法。
【請求項4】
スポーツ競技場に含まれた互いに異なる探知領域のそれぞれを撮影する複数の探知カメラと、前記互いに異なる探知領域のうち、被写体が感知された探知領域に対応する探知カメラの方向に回転可能に設置された少なくとも一つのメインカメラと、
前記互いに異なる探知領域のうち、第１探知領域で前記第１探知領域に対応する第１探知カメラを通じて前記被写体を感知し、
前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラに向けるように制御し、
前記被写体が前記第１探知領域で所定時間以上感知される場合、前記第１探知カメラを通じて撮影された映像を端末に送出し、前記被写体が前記第１探知領域で所定時間未満感知されるか、前記第１探知領域を逸脱したと判断される場合、前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出する中継サーバと、を含み、
前記中継サーバが前記第１探知カメラを通じて被写体を感知することは、
前記被写体の形態、大きさ及び色を受け、
前記第１探知領域で感知される物体が、前記被写体の形態と同一であり、前記被写体の大きさと所定倍率関係を有し、前記被写体の色のＲＧＢ値と前記物体の色のＲＧＢ値の誤差が所定誤差範囲内である場合、前記物体を前記被写体と認識し、
前記被写体の移動方向及び移動速度を推定することを含み、
前記中継サーバが前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラに向けるように制御することは、
前記第１探知領域が以前に前記被写体が感知された第２探知領域での前記被写体の移動方向と反対される方向に位置するか、前記第１探知領域が前記第２探知領域と隣接しない場合、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラの方向に回転しないように制御し、
前記第２探知領域で前記被写体が外郭ラインを逸脱したと判断された後、前記第１探知領域で前記被写体が感知された時、前記被写体が外郭ラインを逸脱する前に最後に前記被写体を所有した選手のユニフォーム色と前記第１探知領域で前記被写体を所有した選手のユニフォーム色が同一である場合、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラの方向に回転しないように制御し、
前記被写体が外郭ラインを逸脱する前に最後に前記被写体を所有した選手のユニフォーム色と前記第１探知領域で前記被写体を所有した選手のユニフォーム色が異なる場合、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラの方向に回転するように制御することを含み、
前記被写体を感知した後、前記被写体が消えたと感知される場合、前記中継サーバは、前記被写体の移動方向及び移動速度に基づいて、前記被写体が存在すると予想される第３探知領域を推定し、
前記第３探知領域で手または足の先部分が第１選手に遮られて認識できない第２選手が前記被写体を所有していると認知することをさらに含み、
前記少なくとも一つのメインカメラが２つであり、２つのメインカメラの焦点距離が異なる場合、前記中継サーバが前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出することは、
前記被写体の移動速度が所定値以上である場合、前記焦点距離が相対的に遠いメインカメラの撮影映像を前記端末に送出し、前記被写体の移動速度が所定値未満の場合、前記焦点距離が相対的に近いメインカメラの撮影映像を前記端末に送出することをさらに含む、スポーツ中継放送システム。
【請求項5】
前記複数の探知カメラは、前記スポーツ競技場を構成する４つの角の周りに設置される、請求項４に記載のスポーツ中継放送システム。
【請求項6】
前記少なくとも一つのメインカメラは、前記スポーツ競技場の中央線と一直線になるように設置される、請求項４に記載のスポーツ中継放送システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置に関し、リアルタイム映像分析及びカメラ位置を制御して、サッカー、バスケット、バレーボールなどのような各種スポーツを中継する際に自動に画面を編集構成して動画を送出及び製作する方法に関し、従来の放送局で放送を送出する際に、送出者が複数台のカメラ画面をモニタリングしながらビデオミキサーを利用して手作業で画面転換をする部分をＳ／Ｗを通じて自動化して、多様な画面構成の中継動画を製作するサービス方法に関する。
【背景技術】
【0002】
一般に、スポーツ放送を送出する時、複数台のカメラを必要な位置に配置して、それぞれのカメラ画面を中央調整室に送出し、中央調整室はチャンネル別に入って来るカメラ画面をカメラと一対一にマッチングされるモニター画面を通じてモニタリングし、プロデューサ（ＰＤ）のサインにしたがってエンジニアがビデオミキサーを利用してチャンネル別に画面をミキシングして、ミキシングした画面を放送で送出したり、動画で記憶している。
【0003】
このような方式の送出は、カメラ台数別に、カメラ別カメラマンと中央調整室のＰＤ及びビデオミキサーエンジニアのような多くの人力を必要とし、人件費の比重が非常に高い構造の高費用が必要となり、少費用で送出及び動画を製作することは難しい。
【0004】
また、少費用で、小規模の放送を通じて動画を送出及び製作することは、１、２台の固定カメラを利用して撮影が可能であるが、このような方式は、カメラ別に画面を転換することが難しく、固定された画面のみ送出及び録画される。また、このような方式は、カメラ別に送出される画面のミキシング作業なしに送出されるため、非常に単調な画面のみ供給されるという問題がある。また、このように録画された映像は、多様な画面構成の動画を製作するために、別途の動画編集作業をしなければならないという煩雑な問題が発生する。
【0005】
本発明は、上記のような問題点を解決するために、ＡＩマシンラーニング（機械学習）を応用したリアルタイム映像分析技術を利用して、各カメラの位置を自動に制御し、カメラから送出される画面を自動にミキシングして映像を製作することにより、別途の送出人力が必要のないサービス方法を提示する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置を提供することを目的とする。
【0007】
本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及しなかったまた他の技術的課題は、以下の記載から本発明が属する技術分野において通常の知識を有する者に明確に理解され得るはずである。
【課題を解決するための手段】
【0008】
本発明の実施例に係る複数の探知カメラ及び少なくとも一つのメインカメラと連結された中継サーバがスポーツ中継放送を送出する方法において、前記複数の探知カメラのそれぞれに対応する探知領域のうち、第１探知領域で前記第１探知領域に対応する第１探知カメラを通じて被写体を感知し、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラに向けるように制御し、前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出することができる。
【0009】
この時、前記被写体は、前記スポーツ中継放送で送出されるスポーツ競技に用いられるボールであり得る。
【0010】
また、前記被写体が前記第１探知領域で所定時間以上感知される場合、前記第１探知カメラを通じて撮影された映像を端末に送出することができる。
【0011】
また、前記被写体が前記第１探知領域を逸脱したと判断される場合、前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出することができる。
【0012】
また、前記被写体が前記第１探知領域を逸脱した後、第２探知領域で前記所定時間以上感知される場合、前記第２探知領域に対応する第２探知カメラを通じて撮影された映像を端末に送出することができる。
【0013】
また、前記少なくとも一つのメインカメラの撮影位置を前記第２探知カメラに向けるように制御することができる。
【0014】
また、前記第１探知領域は、前記第１探知カメラの撮影可能範囲を基準として設定されることができる。
【0015】
本発明の実施例に係るスポーツ中継放送システムにおいて、スポーツ競技場に含まれた互いに異なる探知領域のそれぞれを撮影する複数の探知カメラと、前記互いに異なる探知領域のうち、被写体が感知された探知領域に対応する探知カメラ方向に回転可能に設置された少なくとも一つのメインカメラと、前記互いに異なる探知領域のうち、第１探知領域で前記第１探知領域に対応する第１探知カメラを通じて前記被写体を感知し、前記少なくとも一つのメインカメラの撮影位置を前記第１探知カメラに向けるように制御し、前記少なくとも一つのメインカメラを通じて撮影された映像を端末に送出する中継サーバと、を含むことができる。
【0016】
この時、前記複数の探知カメラは、前記スポーツ競技場を構成する４つの角の周りに設置されることができる。
【0017】
また、前記少なくとも一つのメインカメラは、前記スポーツ競技場の中央線と一直線になるように設置されることができる。
【発明の効果】
【0018】
本発明に係ると、過度な人件費を用いなくても、効率的に、カメラ別に画面をミキシングして、放送を送出することができる。
【0019】
本発明で得られる効果は、以上で言及した効果に制限されず、言及しなかったまた他の効果は、以下の記載から本発明が属する技術分野において通常の知識を有する者に明確に理解され得るはずである。
【図面の簡単な説明】
【0020】
【図1】本発明の実施例に係るスポーツを中継するためのシステムを説明するための図面である。
【図2】本発明の実施例に係るスポーツ中継方法を説明するための図面である。
【図3】本発明の実施例に係るスポーツ中継方法を説明するための図面である。
【図4】本発明の実施例に係るスポーツ中継方法を説明するための図面である。
【図5】本発明の実施例に係るスポーツ中継方法を説明するための図面である。
【図6】本発明の実施例を具現するための装置の構成を説明するための図面である。
【図7】本発明の実施例を具現するための装置の構成を説明するための図面である。
【図8】本発明の実施例を具現するための装置の構成を説明するための図面である。
【発明を実施するための形態】
【0021】
本発明の課題解決手段の特徴及び利点をより明確にするために、添付図面に示された本発明の特定実施例を参照して、本発明についてより詳細に説明する。
【0022】
ただ、以下の説明及び添付図面で本発明の要旨を曖昧にする虞のある公知機能または構成に対する詳細な説明は省略する。また、図面全体にかけて同じ構成要素はできるだけ同じ図面符号で示していることに留意すべきである。
【0023】
以下の説明及び図面で用いられる用語や単語は、通常的または辞典的意味に限定して解釈されてはならなく、発明者はその自分の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるという原則に即して、本発明の技術的思想に符合する意味と概念に解釈されるべきである。したがって、本明細書に記載した実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想を全部代弁するのではないので、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解すべきである。
【0024】
また、第１、第２などのように、序数を含む用語は、多様な構成要素を説明するために用いるもので、一つの構成要素を他の構成要素から区別する目的で用いられるだけで、前記構成要素を限定するために用いられない。例えば、本発明の権利範囲を逸脱しない範囲内で、第２構成要素は第１構成要素に命名され得、同様に、第１構成要素も第２構成要素に命名され得る。
【0025】
また、本明細書で用いる用語は、ただ特定の実施例を説明するために用いられたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。また、本明細書に記述された「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことに理解されるべきである。
【0026】
また、明細書に記載された「部」、「器」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェアまたはハードウェア及びソフトウェアの組み合わせで具現されることができる。また、「一（ａまたはａｎ）」、「一つ（ｏｎｅ）」、「その（ｔｈｅ）」及び類似する関連語は、本発明を記述する文脈において（特に、以下の請求項の文脈で）、本明細書に異なりに指示されたり、文脈によって明らかに反駁されない限り、単数及び複数を全部含む意味で用いられることができる。
【0027】
上述した用語以外に、以下の説明で用いられる特定用語は、本発明の理解を助けるために提供されたものであり、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲内で他の形態に変更され得る。
【0028】
また、本発明の範囲内の実施例は、コンピュータ実行可能な命令語またはコンピュータ判読可能な媒体に記憶されたデータ構造を有したり伝達するコンピュータ判読可能な媒体を含む。このようなコンピュータ判読可能な媒体は、汎用または特殊目的のコンピュータシステムによってアクセス可能な任意の利用可能な媒体であり得る。例として、このようなコンピュータ判読可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＣＤ－ＲＯＭまたはその他光ディスク記憶装置、磁気ディスク記憶装置またはその他磁気記憶装置、またはコンピュータ実行可能な命令語、コンピュータ判読可能な命令語またはデータ構造の形態からなる所定のプログラムコード手段を記憶したり伝達するのに利用されることができ、汎用または特殊目的コンピュータシステムによってアクセスされ得る任意のその他の媒体のような物理的記憶媒体を含むことができるが、これに限定されない。
【0029】
また、本発明は、パーソナルコンピュータ、ラップトップコンピュータ、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサ－基盤またはプログラム可能な家電製品（ｐｒｏｇｒａｍｍａｂｌｅ ｃｏｎｓｕｍｅｒ ｅｌｅｃｔｒｏｎｉｃｓ）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、モバイル電話、ＰＤＡ、ポケットベル（ｐａｇｅｒ）などを含む多様なタイプのコンピュータシステム構成を有するネットワークコンピュータ環境で実施され得る。本発明は、またネットワークを介して有線データリンク、無線データリンク、または有線及び無線データリンクの組合でリンクされたローカル及びリモートコンピュータシステムがタスクを実行する分散型システム環境で実行され得る。分散型システム環境で、プログラムモジュールは、ローカル及びリモートメモリー記憶装置に位置され得る。
【0030】
また、処理フローチャートの各ブロックとフローチャートの組合は、コンピュータプログラムインストラクションによって実行され得ることを理解することができる。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊コンピュータまたはその他プログラム可能なデータプロセッシング装備のプロセッサに搭載されることができるので、コンピュータまたはその他プログラム可能なデータプロセッシング装備のプロセッサを通じて実行されるそのインストラクションがフローチャートブロックで説明された機能を実行する手段を生成するようになる。これらコンピュータプログラムインストラクションは、特定方式で機能を具現するために、コンピュータまたはその他プログラム可能なデータプロセッシング装備を志向することができるコンピュータ利用可能またはコンピュータ判読可能なメモリーに記憶されることも可能であるので、そのコンピュータ利用可能またはコンピュータ判読可能なメモリーに記憶されたインストラクションは、フローチャートブロックで説明された機能を実行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他プログラム可能なデータプロセッシング装備上に搭載されることも可能であるので、コンピュータまたはその他プログラム可能なデータプロセッシング装備上で一連の動作段階が実行されて、コンピュータで実行されるプロセスを生成してコンピュータまたはその他プログラム可能なデータプロセッシング装備を実行するインストラクションはフローチャートブロックで説明された機能を実行するための段階を提供することも可能である。
【0031】
また、各ブロックは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実行例では、ブロックで言及された機能が手順を逸脱して発生することも可能であることに注目すべきである。例えば、次いで図示される二つのブロックは、実は実質的に同時に実行されることも可能で、またはそのブロックが時々対応する機能によって逆順で実行されることも可能である。
【0032】
本開示の実施例を具体的に説明する際において、特定システムの例を主な対象とするが、本明細書で請求しようとする主な要旨は、類似する技術的背景を有するその他通信システム及びサービスにも本明細書に開示された範囲を大きく逸脱しない範囲で適用可能であり、これは、当該技術分野において熟練された技術的知識を有する者の判断で可能であるはずである。
【0033】
以下、本格的に本発明の実施例に係るスポーツ中継方法について説明する。
【0034】
図１を参照すると、本発明の実施例に係るスポーツ中継システムは、通信網１００、端末２００、中継サーバ３００、探知カメラ４００及びメインカメラ５００を含むことができる。
【0035】
ここで、端末２００は、中継サーバ３００と通信網１００を介して連動されることができる。この時、通信網１００は無線通信網であり得る。例えば、当該無線通信網は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ（５Ｇｅｎｅｒａｔｉｏｎ）及びＷｉＦｉなどを利用する無線通信網であり得る。
【0036】
本発明の端末２００は、使用者の操作によって通信網１００を経由して各種データを送受信することができる使用者の装置を意味する。このような端末２００は、通信網１００を介して音声またはデータ通信を実行することができ、中継サーバ３００と通信網１００を介して情報を送受信することができる。このために、本発明の端末２００は、中継サーバ３００とデータを送受信するためのプログラム及びプロトコルを記憶するメモリー、各種プログラムを実行して、演算及び制御するためのマイクロプロセッサーなどを備えることができる。
【0037】
このような端末２００は、優先的に通信網１００に接続されたアプリケーション（以下、「アプリ」）提供装置（図示しない）、例えば、アプリストアなどに接続して、当該アプリストアからスポーツ中継サービスのためのアプリを受信して設置することができる。
【0038】
また、このような端末２００は、多様な形態で具現されることができる。例えば、本明細書で記述される端末２００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ＭＰ３ Ｐｌａｙｅｒなどの移動端末機は勿論、スマートＴＶ（Ｓｍａｒｔ ＴＶ）、デスクトップコンピュータなどのような固定端末機が用いられることもできる。
【0039】
また、本発明の端末２００は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）趨勢によって携帯機器の変形が非常に多様で、すべて列挙することはできないが、前記言及されたユニットと同等な水準のユニットが本発明に係る端末２００として用いられることができ、本発明に係るスポーツ中継サービスに係わるアプリをダウンロード及び設置することができる装置であれば、何れの装置も本発明の実施例に係る端末２００として利用されることができる。
【0040】
中継サーバ３００は、本発明の実施例に係るスポーツ中継サービスを提供するための各種データ及び情報を端末２００、探知カメラ４００及びメインカメラ５００と送受信し、前記各種データ及び情報に基づいて、探知カメラ４００及びメインカメラ５００によって撮影された映像をミキシングして記憶したり、端末２００に送出するためのサーバ装置である。
【0041】
探知カメラ４００は、本発明の実施例に係るスポーツ中継サービスを提供するために、中継サーバ３００と各種データ及び情報を送受信するための装置である。特に、スポーツ競技場を構成する４つの角の周りに複数の探知カメラ４００が設置され、複数の探知カメラ４００は、それぞれに割り当てられた探知領域を撮影し、撮影された探知領域の映像を中継サーバ３００に送ることができる。
【0042】
メインカメラ５００は、本発明の実施例に係るスポーツ中継サービスを提供するために、中継サーバ３００と各種データ及び情報を送受信するための装置である。特に、メインカメラ５００は、スポーツ競技場の中央線と一直線を成す位置に設置されることができ、１８０度以上回転することができる回転型であり得る。メインカメラ５００は、回転しながらスポーツ競技場を全般的に撮影することができ、メインカメラ５００が設置された中心を０度とする基準点を基準として、メインカメラ５００と複数の探知カメラ４００それぞれの間の角度情報を記憶することができる。この時、メインカメラ５００の基準点は中央線と一直線を成す位置であり得る。
【0043】
また、メインカメラ５００は、記憶された角度情報に基づいて、中継サーバ３００から特定探知カメラ４００方向へ撮影位置を向けるようにする制御信号を受信すると、当該特定探知カメラ４００に対応する角度に回転して、メインカメラ５００の撮影位置が前記特定探知カメラ４００方向に向けるように回転することができる。
【0044】
【0045】
本格的な説明に先立って、本発明で言及する被写体は、当該スポーツ中継放送で送出されるスポーツ競技に用いられるボールを意味することができる。例えば、当該スポーツ中継がサッカー中継である場合、被写体は、サッカーボールになり得、当該スポーツ中継がバスケット中継である場合、被写体はバスケットボールになり得る。また、当該被写体は、ボールに限定されず、スポーツ競技のために用いられる物体であれば、何でも被写体になり得る。例えば、当該スポーツ中継がホッケーである場合、被写体はパック（ｐｕｃｋ）になり得、当該スポーツ中継がバドミントンである場合、被写体はシャトルコックになり得、当該スポーツ中継がカーリングである場合、被写体は、ストーンであり得る。
【0046】
【0047】
図２を参照すると、中央線を中心にスポーツ競技場の両側に複数の探知カメラ４００が設置されることができる。また、複数の探知カメラ４００は、それぞれの探知領域が割り当てられる。例えば、図２を参照すると、１番探知領域は探知カメラ４００ａによって撮影され、２番探知領域は探知カメラ４００ｂによって撮影される。図２では、６台の探知カメラにそれぞれの探知領域が割り当てられたことを示しているが、これは一つの例示に過ぎず、競技場の大きさ及び当該スポーツの動的程度によって競技場に設置される探知カメラの数は変わり得る。
【0048】
また、それぞれの探知カメラ４００は、一つの方向に固定されて、各探知カメラ４００に割り当てられた探知領域のみ撮影するように設置されることができる。
【0049】
また、各探知カメラ４００に割り当てられる探知領域は、各探知カメラ４００が設置された位置で各探知カメラ４００が撮影可能な撮影可視範囲を基準として設定されることができる。言い換えれば、各探知カメラ４００に割り当てられる探知領域の角度は、各探知カメラ４００が撮影可能な撮影可視範囲よりも小さいか同一であり得る。また、各探知カメラ４００に割り当てられる探知領域の長さは、各探知カメラ４００が被写体を識別することができる長さが基準となり得る。例えば、探知カメラ４００の性能に基づいて、被写体の一方の直径が０．５ｃｍの場合まで探知カメラ４００が当該被写体を認識することができれば、探知領域の長さは、探知カメラ４００のズーム（Ｚｏｏｍ）情報及び解像度情報に基づいて被写体の一方の直径が０．５ｃｍに見える長さまでに設定されることができる。ここで、ズーム（Ｚｏｏｍ）情報は、探知カメラ４００の撮影倍率及び撮影可視長さに対する情報であり得る。言い換えれば、ズーム（Ｚｏｏｍ）情報は、探知カメラ４００の焦点距離に対する情報であり得る。
【0050】
また、中央線近くには回転型のメインカメラ５００が設置されることができる。メインカメラ５００は回転型に設置されて、探知カメラ４００の何れか一つに向かって撮影位置を調整することができる。また、メインカメラ５００は、競技場当たり一台以上設置されることができる。
【0051】
例えば、図２で示すように、中央線と一直線になる地点の両端にメインカメラ２台５００ａ、５００ｂが設置されることができる。この時、メインカメラ５００のそれぞれは同じ解像度と同じズーム（Ｚｏｏｍ）程度を有してもよいが、相異する解像度と相異するズーム（Ｚｏｏｍ）程度を有してもよい。
【0052】
例えば、メインカメラ５００ａは、メインカメラ５００ｂに比べて、１．５～２．５倍のズームイン（Ｚｏｏｍ－Ｉｎ）された撮影をするように設定されることができる。
【0053】
前述した内容に基づいて、図３を通じて本発明の実施例に係るスポーツ中継方法について具体的に説明する。
【0054】
図３を参照すると、探知カメラ４００のうち、第１探知カメラ４００が被写体を感知することができる（Ｓ３０５）。この時、探知カメラ４００は、カメラ映像プロセスを利用して被写体の色、形態及び大きさが予め入力され、当該被写体の色、形態及び大きさに基づいて当該被写体を感知することができる。
【0055】
例えば、バスケットボールが被写体である場合、色が茶色で、円形であり、公認球のサイズに入力された場合、当該探知カメラ４００の探知領域で円形で、茶色であり、公認球のサイズと所定倍率関係を有する物体が感知されると、これを被写体として認識することができる。ただ、色の場合には、生産過程、競技場の照明及び探知カメラの撮影性能などによって若干変わって認識される場合がある。よって、色を探知する際にも所定の誤差範囲を以て、当該誤差範囲内の色が認識された場合、当該探知領域内に被写体があると認識することができる。
【0056】
例えば、探知カメラ４００に共有された被写体の色がＲＧＢ １８４、１３４、１１である時、それぞれの要素の誤差範囲が所定以下であると、探知カメラ４００は当該被写体であると認知することができる。
【0057】
第１探知カメラ４００が被写体を認知したという信号を中継サーバ３００に送信すると、中継サーバ３００は、メインカメラ５００を第１探知カメラ４００方向に回転させ、メインカメラ５００が第１探知カメラ４００方向の競技場の姿を撮影することができる（Ｓ３１０）。
【0058】
この時、第１探知カメラ４００は、被写体の動きを観察して、これを中継サーバ３００に報告することができる。また、中継サーバ３００は、被写体が第１探知領域内に第１時間（例えば、１～２秒）以上存在するのか判断することができ（Ｓ３１５）、存在すると判断される場合、第１探知カメラ４００によって撮影される映像を端末２００に送出することができる（Ｓ３２０）。また、中継サーバ３００は、被写体が第１探知領域内に第１時間未満存在すると判断される場合、メインカメラ４００によって撮影される映像を端末２００に送出することができる（Ｓ３２５）。
【0059】
一方、中継サーバ３００は、被写体が第１探知領域内に所定時間存在するか否か予測して、端末２００に送出する映像を判断することもできる。例えば、第１探知カメラ４００が被写体の動きを観察して中継サーバ３００に報告すると、中継サーバ３００は、被写体の動きに基づいて、被写体の移動速度及び移動方向を推定して、第１探知領域に第２時間（例えば、３～５秒）以上存在するか否かを判断することができる。もし、第２時間以上に被写体が第１探知領域に存在すると判断されると、第１探知カメラ４００によって撮影される映像を端末２００に送出することができる。また、第２時間未満に被写体が第１探知領域内に存在し、他の探知領域に移動すると判断されると、メインカメラ５００によって撮影される映像を端末２００に送出することができる。
【0060】
例えば、中継サーバ３００が第１探知カメラ４００から報告を受信すると、第１探知領域を撮影した撮影画面内で被写体が単位時間（例えば、０．１秒）に移動した距離を測定し、これを実際第１探知領域の幅或は長さと、撮影画面内の幅或は長さの間の倍率を移動した距離にかけると、単位時間当たり被写体が移動した速力及び方向を算出することができ、これを通じて、中継サーバ３００が被写体が第２時間未満の時間内に他の探知領域に移動するか、それとも、第２時間以上に第１探知領域内に存在するか否かを判断することができる。
【0061】
これに基づいて、第２時間以上に第１探知領域内に被写体が存在すると判断されると、中継サーバ３００は、第１探知カメラ４００の撮影映像を端末２００に送出し、第２時間未満に第１探知領域内に被写体が存在し、他の探知領域に被写体が移動すると考えられると、メインカメラ５００の撮影映像を端末２００に送出することができる。
【0062】
第１探知カメラ４００は、被写体を持続的に観察し、被写体が第１探知領域から逸脱したか否かを観察することができる（Ｓ３３０）。もし被写体が第１探知領域から逸脱しなかった場合、持続的に第１探知カメラ４００によって撮影された映像を中継サーバ３００に送り、中継サーバ３００は、これを端末２００に送出することができる。
【0063】
もし、被写体が第１探知領域を逸脱したと判断される場合、第１探知領域のすぐ左側またはすぐ右側にある第２探知カメラ４００を通じて第２探知領域内に、前述した方法のように、被写体が第１時間以上存在するか否か、または第２時間以上存在するか否かを判断することができる（Ｓ３３５）。例えば、第１探知カメラ４００が図２での探知カメラ４００ｂである場合、探知カメラ４００ａまたは探知カメラ４００ｃに対応する探知領域に被写体が第１時間以上存在するか否か、または第２時間以上存在するか否かを判断することができる。
【0064】
もし、被写体が第２探知領域に第１時間以上存在するか、または第２時間以上存在すると予想される場合、中継サーバ３００は第２探知カメラ４００の映像を受信して端末２００に送出することができる（Ｓ３４０）。もし、被写体が第２探知領域に第１時間以上存在しないか、第２時間以上存在しないと予想される場合、中継サーバ３００は、メインカメラ５００によって撮影された映像を端末２００に送出することができる（Ｓ３２０）。この時、メインカメラ５００は、第２探知カメラ４００の方向を撮影位置が変更されるように回転することができる。例えば、メインカメラ５００は、被写体が第１探知領域を逸脱した後、第２探知カメラ４００で被写体が認識されると、メインカメラ５００は第２探知カメラ４００の方向に撮影位置が変更されるように回転することができる。
【0065】
また、中継サーバ３００が分析した被写体の移動速度及び移動方向に基づいて、被写体が第１探知領域で左に移動するか、右側に移動するかを判断し、第１探知領域で被写体が逸脱したと判断されると、移動方向に位置する探知カメラ４００の方向にメインカメラ５００の撮影位置が変更されるように回転することができる。
【0066】
例えば、図４のように、被写体が第１探知カメラ４００ａの第１探知領域で右側に方向が移動すると中継サーバ３００が判断され、被写体が第１探知領域から逸脱したと判断されると、中継サーバ３００は、メインカメラ５００が第２探知カメラ４００ｂの方向に撮影位置が変更されるように回転を制御することができる。また、被写体が第２探知カメラ４００ｂの第２探知領域で右側に持続的に移動すると判断され、被写体が第２探知領域から逸脱したと判断されると、中継サーバ３００は、メインカメラ５００が第３探知カメラ４００ｃの方向に撮影位置が変更されるように回転を制御することができる。また、被写体が第２探知領域で右側に移動しながら第１時間以上存在するか、第２時間以上存在すると予想されると、第２探知カメラ４００ｂの撮影映像を端末２００に送出することができる。
【0067】
一方、図５を参照すると、第２探知カメラ４００ｂで被写体が認知された後、中継サーバ３００が推定した被写体の移動方向及び移動速度に基づいて、右側に被写体が移動することを判断し、被写体がこれと同じく第３探知カメラ４００ｃの第３探知領域で認知されることができる。
【0068】
ところが、第３探知カメラ４００ｃの第３探知領域で被写体が認知されると同時に、または第３探知領域で被写体が認知された後、第１探知カメラ４００ａの第１探知領域で被写体が認知されることがあり得る。例えば、外部で現在競技進行中のボールの外に他のボールがミスまたは競技を邪魔する目的で飛んで来る場合、被写体の移動に基づいては予測できない方向で被写体が発見される可能性がある。
【0069】
したがって、中継サーバ３００は、中継サーバ３００が推定した被写体の移動速度及び移動方向と符合しない、すなわち、第３探知領域で被写体が認知され、当該被写体が右側へ移動し続けると推定されるが、第３探知領域の左側に位置する第１探知領域または第２探知領域で被写体が認知されると、当該被写体は、競技の進行とは関係のない被写体と認知し、当該被写体を無視してもよい。
【0070】
言い換えれば、図５の場合、第３探知領域で被写体が認知された後、第１探知領域で認知された被写体は、競技進行と関係のない被写体であると認知し、第１探知カメラ４００ａの映像を端末２００に送出せず、メインカメラ５００の撮影位置も第１探知カメラ４００ａの方向に回転しないで、第３探知カメラ４００ｃ方向にそのまま保持することができる。
【0071】
また、現在被写体が認知される探知領域と連続されない（すなわち、隣接しない）探知領域で被写体が認知される場合にも、競技進行と関係のない被写体であると判断し、中継サーバ３００は、当該探知領域の探知カメラ４００の映像を端末２００に送出せず、メインカメラ５００を回転させないこともある。
【0072】
例えば、図５で、第３探知領域で被写体が認知された後、隣接した第２探知領域で被写体が発見されると、被写体の移動方向が急激に変化して、第２探知領域に移動したと判断することができる。ただ、第３探知領域で被写体が認知された後、隣接しない第１探知領域で被写体が認知されると、第１探知領域で認知された被写体は競技進行と関係のない被写体と判断し、中継サーバは、第１探知カメラ４００ａの映像を端末２００に送出せず、メインカメラ５００も第１探知カメラ４００ａ方向に回転させなくてもよい。
【0073】
また、第３探知領域で被写体が認知された後、当該競技場の外郭ラインの外に被写体が移動したと判断されると、当該第３探知領域の外郭ラインで競技が再開される可能性が高いので、第３探知カメラ４００ｃの撮影画面を中継サーバ３００は端末２００に送出するか、またはメインカメラ５００の撮影位置を第３探知カメラ４００ｃの方向に回転させた後、端末２００にメインカメラ５００の映像を端末２００に送出することができる。
【0074】
また、第３探知領域で被写体が認知された後、当該競技場の外郭ラインの外に被写体が移動したと判断され、探知領域のうち、いずれか一つの探知領域で被写体が認知されると、当該被写体が競技進行と関連のある被写体であるか否かを中継サーバ３００は競技の状況を分析することにより判断することもできる。
【0075】
例えば、第３探知領域で被写体が認知された後、競技場の外郭ラインの外に被写体が逸脱したと判断された場合、最後に被写体を所有していた選手のユニフォームを分析することができる。言い換えれば、中継サーバ３００は、当該競技のホームチームのユニフォーム色（例えば、「赤」）とアウェーチームのユニフォーム色（例えば、「青」）を記憶することができ、被写体が競技場の外郭ラインを逸脱する前に最後に所有した選手のユニフォーム色を「青」に分析することができる。また、競技場の外郭ラインを被写体が逸脱した後、また特定探知領域で被写体が認知された時、当該被写体を所有した選手のユニフォーム色が「赤」である場合、当該被写体は、競技進行と関連のある被写体と見なし、当該被写体が発見された探知領域の探知カメラ４００の方向にメインカメラ５００の撮影位置が変更されるように回転させ、当該探知領域の探知カメラ４００の映像またはメインカメラ５００の映像を端末２００に送出するように制御することができる。もし、被写体が競技場の外郭ラインを逸脱する前に最後に所有した選手のユニフォーム色を「青」に分析されたが、競技場の外郭ラインを被写体が逸脱した後、再び特定探知領域で被写体が認知された時、当該被写体を所有した選手のユニフォーム色が同じ「青」であれば、当該被写体は競技進行と関係のない被写体と見なし、当該被写体を撮影する探知カメラ４００の映像は送出せず、メインカメラ５００も当該探知カメラ４００の方向を回転しないようにすることができる。
【0076】
一方、複数の探知カメラ４００が被写体を認知した後、急に被写体が消えて認知できない場合が発生し得る。例えば、被写体でドリブルしていた選手を相手選手たちが取り囲んで防御する過程で被写体が選手に遮られて、複数の探知カメラ４００のうち、どんな探知カメラ４００によっても被写体が認知できない場合が発生し得る。
【0077】
この場合、中継サーバ３００は、最後に被写体が認知された探知領域及び隣接した探知領域の中で、前述のように推定した被写体の移動方向及び移動速度に基づいて、現在被写体が存在すると予想される探知領域及び／または当該探知領域の内部の詳細領域を推定する。ここで、詳細領域とは、探知領域を所定単位で区分した領域を意味することができる。
【0078】
また、当該探知領域及び／または詳細領域で選手のユニフォーム色を追跡する。ユニフォーム色に基づいて選手の位置を把握した中継サーバ３００は、選手の手または足の位置を追跡することができる。被写体は、選手の手または足に密着しているはずであり、したがって、被写体は手先または足先部分が遮られている選手に所有されていると推定できる。
【0079】
したがって、当該探知領域を担当する探知カメラ４００が選手の手または足の位置を追跡し、多数の選手の中で、手または足の先部分が他の選手に遮られて認識できない場合、当該選手が被写体を所有していると判断して、当該選手が位置する探知領域の探知カメラ４００が撮影する映像を端末２００に送出するか、メインカメラ５００の撮影位置を当該探知カメラ４００の方向に回転してメインカメラ５００の撮影映像を端末２００に送出するように制御することができる。
【0080】
一方、図２を参照すると、メインカメラ５００は複数個であり得る。例えば、メインカメラ５００は、２つであり得るが、このような場合、２つのメインカメラ５００は互いに異なるズーム（すなわち、互いに異なる焦点距離）で撮影することができる。ただ、２つのメインカメラ５００は、同じズーム（すなわち、同じ焦点距離）で撮影することができる。
【0081】
２つのメインカメラ５００は、中継サーバ３００の制御によって被写体が認知された探知領域の探知カメラ４００の方向に撮影位置が変更されるように回転することができる。また、２つのメインカメラ５００は、撮影する映像を中継サーバ３００に送ることができる。
【0082】
もし、中継サーバ３００がメインカメラ５００の映像を端末２００に送る時、２つのメインカメラ５００のうち一つのメインカメラ５００によって撮影される映像を端末２００に送ることができる。例えば、２つのメインカメラ５００が互いに異なるズーム（すなわち、互いに異なる焦点距離）で撮影していれば、中継サーバ３００は、被写体の速度を推定して、速度が所定値以上の場合、相対的にズームアウトされた（すなわち、焦点距離が相対的に遠い）メインカメラ５００の撮影映像を端末２００に送出することができる。逆に、被写体の速度が所定値未満の場合、相対的にズームインされた（すなわち、焦点距離が相対的に近い）メインカメラ５００の撮影映像を端末２００に送出することができる。
【0083】
一方、相対的にズームインされたメインカメラ５００の撮影映像を端末２００に送出することに決める場合、被写体が探知領域に存在する時間が第１時間以上または第２時間以上であると予想されて、当該探知領域に対応する探知カメラ４００の映像を端末２００に送出するか、ズームインされたメインカメラ５００の撮影映像を端末２００に送出するか否かを決めなければならない場合もある。
【0084】
この時には、被写体がよりよく認知されるカメラの撮影映像を端末２００に送出することができる。例えば、図２で、メインカメラ５００ａがズームインされたメインカメラで、第１探知カメラ４００ａの第１探知領域で被写体が第１時間以上または第２時間以上であると予想されるが、被写体を所有する特定選手が相手先選手たちに取り囲まれて防御されていて、第１探知カメラ４００ａでは被写体が認知されず、前述のように、特定選手の手先または足先が遮られて、特定選手が被写体を所有していると推定される一方、メインカメラ５００ａでは特定選手の後姿をパスして特定選手が所有している被写体を認知することができれば、中継サーバ３００は、メインカメラ５００ａが撮影する映像を端末２００に送出することができる。
【0085】
一方、中継サーバ３００が端末２００に映像を送出する時、競技場の音声も一緒に送出することができる。この時、音声データは競技場に設置された複数のマイクによって録音されることができる。また、この時、中継サーバ３００は、音声データと映像データが合わせられた形態ではない個別のパッケージ形態で送信するため、端末２００で音声データと映像データのシンク（Ｓｙｎｃ）が合わず、端末２００で再生される映像を消費者が視聴するのに不便が伴う場合がある。
【0086】
したがって、中継サーバ３００は、端末２００に映像データと音声データを一緒に送りながら、映像データでの被写体の位置及び映像データに対応する探知カメラ４００及び／または探知領域と音声データの再生時間、音波形などをマッチングさせたマッチング情報を一緒に送信することができる。
【0087】
映像データ、音声データ及びマッチング情報を受信した端末２００は、マッチング情報に基づいて映像データ及び音声データのシンクが合うように受信されているかどうかを判断し、もし、シンクが合うように受信されていなくて、端末２００が再生するのが不自然であると判断される場合、マッチング情報に基づいて映像データの再生速度を遅くまたは速く調節することができる。
【0088】
例えば、現在端末２００が出力する音声が現在再生している映像以後の映像に対応するものとして出力される音声が速いと判断されると、映像データの再生速度を１．１倍～１．２倍などに上げることができる。一方、現在端末２００が出力する音声が現在再生している映像以前の映像に対応するものとして出力される音声が遅いと判断されると、映像データの再生速度を０．８倍～０．９倍などに延ばすことができる。
【0089】
【0090】
図６は、前述の本発明の実施例を具現するための端末２００の構成を説明するためのブロック図である。
【0091】
図６を参照すると、端末２００は、制御モジュール２１０、通信モジュール２２０、記憶モジュール２３０、出力モジュール２４０、入力モジュール２５０などを含むことができる。
【0092】
入力モジュール２５０は、数字及び文字情報などの多様な情報が入力され、各種機能を設定及び端末２００の機能制御と関連して入力される信号を制御モジュール２５０に伝達する。また、入力モジュール２５０は、使用者のタッチまたは操作による入力信号を発生するキーパッドとタッチパッドの少なくとも一つを含んで構成されることができる。この時、入力モジュール２５０は、出力モジュール２４０とともに一つのタッチパネル（またはタッチスクリーン（ｔｏｕｃｈ ｓｃｒｅｅｎ））の形態で構成されて、入力と表示機能を同時に実行することができる。また、入力モジュール２５０は、キーボード、キーパッド、マウス、ジョイスティックなどのような入力装置以外にも今後開発され得るすべての形態の入力手段が用いられることができる。特に、本発明に係る入力モジュール２５０は、使用者から入力される入力情報を感知して制御モジュール２１０に伝達する。
【0093】
出力モジュール２４０は、端末２００の機能を実行する過程で発生する一連の動作状態及び動作結果などに対する情報を表示する。また、出力モジュール２４０は、端末２００のメニュー及び使用者が入力した使用者データなどを表示することができる。ここで、出力モジュール２４０は、液晶表示装置（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、超薄膜液晶表示装置（ＴＦＴ－ＬＣＤ，Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ ＬＣＤ）、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ ＬＥＤ）、能動型有機発光ダイオード（ＡＭＯＬＥＤ、Ａｃｔｉｖｅ Ｍａｔｒｉｘ ＯＬＥＤ）、レティナディスプレイ（Ｒｅｔｉｎａ Ｄｉｓｐｌａｙ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）及び３次元（３ Ｄｉｍｅｎｓｉｏｎ）ディスプレイなどで構成されることができる。この時、出力モジュール３３０がタッチスクリーン（Ｔｏｕｃｈ ｓｃｒｅｅｎ）形態で構成された場合、出力モジュール２４０は、入力モジュール２５０の機能の一部または全部を実行することができる。
【0094】
記憶モジュール２３０は、データを記憶するための装置で、主記憶装置及び補助記憶装置を含み、端末２００の機能動作に必要な応用プログラムを記憶する。このような記憶モジュール２３０は、大きくプログラム領域とデータ領域を含むことができる。ここで、端末２００は、使用者の要請に応じて各機能を活性化する場合、制御モジュール２１０の制御下で当該応用プログラムを実行して各機能を提供するようになる。
【0095】
通信モジュール２２０は、通信網１００を介して中継サーバ３００とデータを送受信することができる。また、通信モジュール２２０は、送信される信号の周波数を上昇変換及び増幅するＲＦ送信手段と受信される信号を低雑音増幅して周波数を下降変換するＲＦ受信手段、及び特定通信方式による通信プロトコルを処理するためのデータ処理手段などを含む。このような通信モジュール２２０は、無線通信モジュール（図示しない）及び有線通信モジュール（図示しない）の少なくとも一つを含むことができる。そして、無線通信モジュールは、無線通信方法によってデータを送受信するための構成であり、端末２００が無線通信を利用する場合、無線網通信モジュール、無線ラン通信モジュール及び無線ＰＡＮ通信モジュールの何れか一つを利用して、データを中継サーバ３００と送受信することができる。ここで、通信モジュール２２０は、複数の通信モジュールを含むことができる。複数の通信モジュールが通信モジュール２２０に含まれている場合、一つの通信モジュールはブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）を含むＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）方式の通信を実行することができる。
【0096】
また、他の一つの通信モジュールは、通信網１００を介して中継サーバ３００と通信する。ここで、他の一つの通信モジュールは、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ－Ｆｉ、ワイブロ（Ｗｉｂｒｏ）、ワイマックス（Ｗｉｍａｘ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などの無線通信方式を利用することができる。
【0097】
制御モジュール２１０は、運営体制（ＯＳ、Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）及び各構成を駆動させるプロセス装置になり得る。
【0098】
したがって、端末２００の制御モジュール２１０は、入力モジュール２５０を通じて入力される信号を通信モジュール２２０を通じて中継サーバ３００に送信するように制御し、通信モジュール２２０を通じて受信したビーコン、Ｗｉ－Ｆｉ、基地局信号または中継サーバ３００で送信した情報を出力モジュール２４０を通じて露出するように制御することができる。
【0099】
また、端末２００の制御モジュール２１０は、本発明の実施例に係る端末２００の動作過程全般を制御することができる。言い換えれば、図１～図５に基づいて、前述した本発明の実施例に係る端末２００の動作過程全般が制御モジュール２１０によって制御されることができる。
【0100】
図７は、本発明の実施例を具現するための中継サーバ３００の構成を示すブロック図である。
【0101】
図７を参照すると、中継サーバ３００は、制御モジュール３１０、通信モジュール３２０及び記憶モジュール３３０を含むことができる。
【0102】
通信モジュール３２０は、端末２００と通信するためのもので、通信モジュール３２０が機能を実行するための通信網は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ－Ｆｉ、ワイブロ（Ｗｉｂｒｏ）、ワイマックス（Ｗｉｍａｘ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などの無線通信方式を利用することが好ましいが、これに限定されず、システムの具現方式に応じて、イーサネット（Ｅｔｈｅｒｎｅｔ）、ｘＤＳＬ（ＡＤＳＬ、ＶＤＳＬ）、ＨＦＣ（Ｈｙｂｒｉｄ Ｆｉｂｅｒ Ｃｏａｘｉａｌ Ｃａｂｌｅ）、ＦＴＴＣ（Ｆｉｂｅｒ ｔｏ Ｔｈｅ Ｃｕｒｂ）、ＦＴＴＨ（Ｆｉｂｅｒ Ｔｏ Ｔｈｅ Ｈｏｍｅ）などの有線通信方式を利用することもできる。
【0103】
記憶モジュール３３０は、データを記憶するための装置で、主記憶装置及び補助記憶装置を含み、中継サーバ３００の機能動作に必要な応用プログラムを記憶する。このような記憶モジュール３３０は、大きくプログラム領域とデータ領域を含むことができる。ここで、中継サーバ３００は、端末２００の要請に応じて各機能を活性化する場合、制御モジュール３１０の制御下で当該応用プログラムを実行して各機能を提供するようになる。
【0104】
制御モジュール３１０は、運営体制（ＯＳ、Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）及び各構成を駆動させるプロセス装置になり得る。
【0105】
したがって、中継サーバ３００の制御モジュール３１０は、本発明の実施例に係る中継サーバ３００の動作過程全般を制御することができる。言い換えれば、図１～図５に基づいて、前述した本発明の実施例に係る中継サーバ３００の動作過程全般が制御モジュール３１０によって制御されることができる。
【0106】
図８は、中継サーバ３００の制御モジュール３１０の具体的な構成を説明するための図面である。図８を参照すると、中継サーバ３００の制御モジュール３１０は、カメラモニタリング部３１１、事物探知チャンネル部３１３及びチャンネルミキシング部３１５を含むことができる。
【0107】
カメラモニタリング部３１１は、複数のモニタリングプロセッシングを含み、それぞれの探知カメラ４００と１対１に連結されて、それぞれの探知カメラ４００が撮影する映像で被写体が認知されるか否かを決めることができる。
【0108】
事物探知チャンネル部３１３は、カメラモニタリング部３１１を通じて被写体が認知された探知カメラ４００の撮影映像を受信して、当該映像を分析し、当該映像で被写体が第１時間以上存在するか、または第２時間以上存在すると予想されるか否かを決めることができる。また、メインカメラ５００が被写体を撮影する探知カメラ４００の方向に回転することができるように制御することができる。また、探知カメラ４００及び／またはメインカメラ５００が撮影する映像をチャンネルミキシング部３１５に送信することができる。
【0109】
チャンネルミキシング部３１５は、事物探知チャンネル部３１３から受信した映像をミキシングして、リアルタイムで通信網１００を介して端末２００に送出するか、ミキシングされた映像を記憶モジュール３３０に記憶することができる。一方、チャンネルミキシング部３１５は、映像データと音声データのマッチング情報を生成することができ、このようなマッチング情報は、通信網１００を介して端末２００に送信されるか、記憶モジュール３３０に記憶されることができる。
【0110】
以上で説明したように、本明細書は多くの特定の実装形態の詳細を含むが、これらは、如何なる発明や請求されうるものの範囲に対しても限定的なものに解釈されてはならなく、むしろ、本発明の特定の実施形態に特定の特徴の説明と解釈されるべきである。個別の実施形態の文脈で本明細書において説明されるある種の特徴は、単一の実施形態と組み合わせても具現され得る。逆に、単一の実施形態の文脈で説明された様々な特徴も、個別的にまたは任意の適切な下位組み合わせでも複数の実施形態で具現可能である。さらに、特徴は、特定の組み合わせで動作し、当初、そのように請求されたように説明されることができるが、特許請求される組合せからの１つまたは複数の特徴は、場合によっては、その組み合わせから排除されることができ、その請求された組合せは、下位組み合わせや下位組み合わせの変形物に変更されることができる。
【0111】
同様に、動作は、図面において特定の順序で説明されているが、これは、好ましい結果を達成するために、かかる動作が示された特定の順序で、もしくは連続的な順序で実行されること、またはすべての例示された動作が実行されることが必要とされるものと理解されるべきではない。ある種の状況では、マルチタスキングおよび並列処理が有利な場合がある。さらに、上で説明された実施形態における様々なシステム構成要素の分離は、すべての実施形態においてかかる分離が必要であると理解されるべきではなく、説明されたプログラム構成要素およびシステムは、概して、単一のソフトウェア製品内に一緒に統合されてよく、または複数のソフトウェア製品内にパッケージ化されてもよい点を理解されたい。
【0112】
これにより、本発明の特定の実施形態が説明されている。その他の実施形態は以下の特許請求の範囲内である。場合によっては、特許請求の範囲に列挙される動作は、異なる順序で実行可能であり、依然として、望まれる結果を達成する。加えて、添付の図面に示されているプロセスは、好ましい結果を達成するために、示された特定の順序、または連続的な順序を必要とするとは限らない。いくつかの実装形態では、マルチタスキングおよび並列処理が有利な場合がある。
【0113】
ここで記述した説明は、本発明の最上のモードを提示しており、本発明を説明するために、そして通常の技術者が本発明を製作及び利用することができるようにするための例を提供している。このように作成された明細書は、その提示された具体的な用語に本発明を制限するのではない。よって、前述した例を参照して本発明を詳細に説明したが、通常の技術者であれば、本発明の範囲を逸脱しない範囲内で本例に対する改造、変更及び変形を加えることができる。
【0114】
したがって、本発明の範囲は、説明された実施例よって定められるのではなく、特許請求範囲によって定められるべきである。
【0115】
産業上利用可能性
本発明は、リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置に関し、リアルタイム映像分析及びカメラ位置を制御して、サッカー、バスケット、バレーボールなどのような各種スポーツを中継する際に自動に画面を編集構成して、動画を送出及び製作する方法に関し、既存の放送局で放送を送出する時、送出者が複数台のカメラ画面をモニタリングしながらビデオミキサーを利用して手作業で画面転換をする部分をＳ／Ｗを通じて自動化して、多様な画面構成の中継動画を製作するサービス方法に関する。
本発明は、リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置に関し、リアルタイム映像分析及びカメラ位置を制御して、サッカー、バスケット、バレーボールなどのような各種スポーツを中継する際に自動に画面を編集構成して、動画を送出及び製作する方法に関し、既存の放送局で放送を送出する時、送出者が複数台のカメラ画面をモニタリングしながらビデオミキサーを利用して手作業で画面転換をする部分をＳ／Ｗを通じて自動化して、多様な画面構成の中継動画を製作するサービス方法に関する。
【0116】
本発明に係ると、過度な人件費を用いなくても、効率的に、カメラ別に画面をミキシングして、放送を送出することができる。
【0117】
したがって、本発明は、リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置を通じてスポーツ中継産業全般の発展に貢献することができ、市販または営業可能性が十分であるだけでなく、現実的に明白に実施することができるので、産業上の利用可能性がある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】