IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エヌエイチケイアイテックの特許一覧

特許7546191通信システム、通信方法及び集音ユニット
<>
  • 特許-通信システム、通信方法及び集音ユニット 図1
  • 特許-通信システム、通信方法及び集音ユニット 図2
  • 特許-通信システム、通信方法及び集音ユニット 図3
  • 特許-通信システム、通信方法及び集音ユニット 図4
  • 特許-通信システム、通信方法及び集音ユニット 図5
  • 特許-通信システム、通信方法及び集音ユニット 図6
  • 特許-通信システム、通信方法及び集音ユニット 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-28
(45)【発行日】2024-09-05
(54)【発明の名称】通信システム、通信方法及び集音ユニット
(51)【国際特許分類】
   H04N 21/61 20110101AFI20240829BHJP
   H04N 5/222 20060101ALI20240829BHJP
   H04N 23/60 20230101ALI20240829BHJP
   H04W 4/00 20180101ALI20240829BHJP
【FI】
H04N21/61
H04N5/222
H04N23/60
H04W4/00
【請求項の数】 8
(21)【出願番号】P 2024524381
(86)(22)【出願日】2023-12-12
(86)【国際出願番号】 JP2023044362
【審査請求日】2024-05-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】591164613
【氏名又は名称】株式会社NHKテクノロジーズ
(74)【代理人】
【識別番号】100148714
【弁理士】
【氏名又は名称】川浪 圭介
(74)【代理人】
【識別番号】100092668
【弁理士】
【氏名又は名称】川浪 薫
(74)【代理人】
【識別番号】100154232
【弁理士】
【氏名又は名称】幸田 京子
(74)【代理人】
【識別番号】100225347
【弁理士】
【氏名又は名称】鬼澤 正徳
(72)【発明者】
【氏名】古谷 賢志
【審査官】大西 宏
(56)【参考文献】
【文献】特開2018-097434(JP,A)
【文献】米国特許出願公開第2010/0061703(US,A1)
【文献】米国特許出願公開第2012/0257051(US,A1)
【文献】米国特許出願公開第2021/0051487(US,A1)
【文献】米国特許出願公開第2022/0191575(US,A1)
【文献】国際公開第2021/193342(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
H04N 5/222- 5/257
H04N 23/40 -23/76
H04W 4/00 -99/00
(57)【特許請求の範囲】
【請求項1】
周辺の音情報を取得して前記音情報を示す音情報信号を出力するマイクロフォン、及び前記音情報信号を外部送信する無線ルータをそれぞれが含む複数の集音ユニットと、
前記無線ルータと通信して前記音情報信号を受信する通信装置を有し、前記音情報を編集して出力する編集装置と
を備える通信システムであって、
前記編集装置は、各マイクロフォンが取得した前記音情報をスイッチング又はミキシングして出力し、
前記複数の集音ユニットの前記無線ルータは、メッシュネットワークを構成し、
前記音情報信号は、前記メッシュネットワークを介して各集音ユニットから前記編集装置に送信される
ことを特徴とする通信システム。
【請求項2】
請求項1に記載の通信システムにおいて、
前記通信システムは、周辺の映像情報を取得して前記映像情報を示す映像報信号を、通信ケーブルにより又は無線通信により前記編集装置に送信する複数のビデオカメラを含み、
前記複数のマイクロフォンは、前記複数のビデオカメラから分離して用いられ、
前記編集装置は、各ビデオカメラが取得した前記映像情報をスイッチングして、前記音情報と共に出力する
ことを特徴とする通信システム。
【請求項3】
請求項1又は2に記載の通信システムにおいて、
前記通信システムは、各集音ユニットから前記編集装置まで到達する前記音情報信号の遅延量に基づいて各音情報信号の時間ずれを補正する時間ずれ補正部を備える
ことを特徴とする通信システム。
【請求項4】
請求項3に記載の通信システムにおいて、
前記時間ずれ補正部は、
各無線ルータに対してピン信号を送信し、各無線ルータからの応答信号に基づき各音情報信号の遅延量を判定し、
判定した各遅延量に基づいて各音情報信号の時間ずれを補正する
ことを特徴とする通信システム。
【請求項5】
請求項3に記載の通信システムにおいて、
各無線ルータは、自らが中継する前記音情報信号にタイムスタンプを付与し、
前記時間ずれ補正部は、前記音情報信号に付与された前記タイムスタンプに基づいて各音情報信号の時間ずれを補正する
ことを特徴とする通信システム。
【請求項6】
請求項3に記載の通信システムにおいて、
前記時間ずれ補正部は、前記無線ルータ毎に設定された固定値である遅延量を前記無線ルータ毎の前記音情報信号に付与する
ことを特徴とする通信システム。
【請求項7】
請求項1又は2に記載の通信システムにおいて、
前記メッシュネットワークを構成する各無線ルータは、前記編集装置に対して直接通信する無線ルータを除き、少なくとも2つの他の前記無線ルータに対して前記音情報信号を送信可能な位置に配置されている
ことを特徴とする通信システム。
【請求項8】
周辺の音情報又は映像情報を含む周辺情報を取得して前記周辺情報を示す周辺情報信号を出力する周辺センサ、及び前記周辺情報信号を外部送信するルータをそれぞれが含む複数のノードユニットと、
前記ルータと通信して前記周辺情報信号を受信する通信装置を有し、前記周辺情報を編集して出力する編集装置と
を備える通信システムを利用する通信方法であって、
前記複数のノードユニットの前記ルータによりメッシュネットワークを構成し、
前記メッシュネットワークを介して前記周辺情報信号を各ノードユニットから前記編集装置に送信する
ことを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信システム、通信方法及び集音ユニットに関し、例えば、スポーツ、音楽等のライブ放送に好適に利用可能な通信システム、通信方法及び集音ユニットに関する。
【背景技術】
【0002】
スポーツ、音楽等のライブ放送に利用可能なシステムが開発されている(例えば、特許文献1及び特許文献2)。特許文献1では、ユーザが希望する視点からの映像を提供することのできる番組提供システム及び番組提供方法を提供することを目的としている([0014]、要約)。当該目的を達成するため、特許文献1(要約)に係る発明の第1の実施形態である番組提供システムは、番組制作装置(1)と、通信回線事業者装置(2)と、ユーザ端末(3)と、を有して構成される。通信回線事業者装置(2)とユーザ端末(3)とが通信回線網(100)を介して接続されている。番組制作装置(1)によって撮影された被写対象に対して複数の異なる方向から撮影した映像データを通信回線事業者装置(2)によって通信回線網(100)に対して各映像データ毎に異なるチャネルとして配信する。ユーザ端末(3)は、通信回線網(100)に配信された番組(チャネル)の中から、ユーザが希望する映像を配信しているチャネルを選択して表示する。
【0003】
また、特許文献1では、野球を配信するための構成が示されている([0072]~[0075]、[0092]、図7及び図11)。この構成では、野球場内の複数の地点にテレビカメラ(A~I)を配置する([0072]、図7)。テレビカメラ(A~I)により撮影された映像(a~i)は、それぞれ独立して映像としてビデオテープ(a1~i1)に記録されて編集機器に送られる([0073])。
【0004】
さらに、特許文献1では、演劇を配信するための構成が示されている([0082]~[0089]、図9)。この構成では、演技場内の複数の地点にテレビカメラ(A~D)及びCCDカメラ(E~G)が用いられる([0082]、図9)。テレビカメラ(A~D)及びCCDカメラ(E~G)により撮影された映像(a~g)は、それぞれビデオテープ(a3~g3)に記録されて編集機器に送られる([0086])。
【0005】
特許文献1において、ライブ放送の際、テレビカメラ及びCCDカメラ(番組制作装置(1))の映像データは、高速デジタル通信回線を介して通信回線事業者装置(2)に送信される([0051]、[0090])。
【0006】
特許文献2は、解析エンジンを用いてシーンの特定と切り出し範囲の特定を適切に行うことを目的としている([0005])。当該目的を達成するため、特許文献2(要約)の情報処理装置は、第1制御処理及び第2制御処理を行う制御部を備える。第1制御処理は、入力動画に対するシーン検出のためのシーン検出情報に基づいて、複数の解析エンジンから、シーン検出のための解析エンジンを決定する。第2制御処理は、前記第1制御処理で決定された解析エンジンによる第1結果情報として得られたシーンについてのシーン関連情報に基づいて、当該シーンに関連する第2結果情報を得るための解析エンジンを、複数の解析エンジンから決定する。
【0007】
また、特許文献2では、スタジアム(100)に配置された1又は複数の撮像装置で撮像された動画像データや静止画像データは、スタジアム(100)の近くに位置する中継車(101)に送信される([0027]、図1)。中継車(101)はデータの送受信に用いられるアンテナ機器や撮像装置の制御を行うCCU(Camera Control Unit)や放送や録画に使用されている撮像装置を切り換えるスイッチャや、映像を確認するためのモニタ装置等を備えている([0028])。中継車(101)で作成した動画像データ(中継映像データ)は、例えば、放送事業者が有する放送システム(102)に送信される。
【先行技術文献】
【特許文献】
【0008】
【文献】特開2001-309342号公報
【文献】国際公開第2021/241430号
【発明の概要】
【発明が解決しようとする課題】
【0009】
上記のように、特許文献1は、野球場、演技場等において、複数のビデオカメラ(テレビカメラ及びCCDカメラ)を用いて配信する構成を開示している(例えば、要約、[0072]~[0075]、[0082]~[0089]、[0092]、図7図9図11)。また、ライブ放送の際、テレビカメラ及びCCDカメラ(番組制作装置(1))の映像データは、高速デジタル通信回線を介して通信回線事業者装置(2)に送信される([0051]、[0090])。
【0010】
ところで、ライブ放送用のハイエンド放送機材の場合、ビデオカメラとマイクロフォンが分かれていること(一体化されていないこと)が多い。その場合、ビデオカメラ及びマイクロフォンそれぞれに操作担当者が割り当てられ、ビデオカメラとマイクロフォンを別々に移動及び操作することとなる。その際、データ通信のためには通信ケーブルが用いられることがあり、放送業者(ビデオカメラ担当者及びマイクロフォン担当者)は、通信ケーブルの引き回し作業に多大な手間を要することとなる。この点に関し、特許文献1では、単に高速デジタル通信回線を用いることしか開示されていない。加えて、特許文献1では、映像データ(映像情報)についてのみ言及がなされ、音データ(音情報)についての特別な言及はなされていない。特許文献2についても同様である。
【0011】
また、上記のように、特許文献2では、スタジアム(100)内の1つ又は複数の撮像装置から中継車(101)へのデータ送信が行われる([0027]、図1)。仮に、スポーツの競技場、コンサート会場等で用いられる撮像装置(ビデオカメラ)又はマイクロフォンから中継車へのデータ送信を互いの直接的な無線通信で行う場合、無線出力の増大又は音情報若しくは映像情報の取得可能範囲の制限を招くおそれがある。
【0012】
本発明は上記のような課題を考慮してなされたものであり、通信ケーブルの引き回し作業の手間削減、又は無線出力の縮小若しくは音情報若しくは映像情報の取得可能範囲の拡大を実現可能な通信システム、通信方法及び集音ユニットを提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明の一態様に係る通信システムは、
周辺の音情報を取得して前記音情報を示す音情報信号を出力するマイクロフォン、及び前記音情報信号を外部送信する無線ルータをそれぞれが含む複数の集音ユニットと、
前記無線ルータと通信して前記音情報信号を受信する通信装置を有し、前記音情報を編集して出力する編集装置と
を備えるものであって、
前記編集装置は、各マイクロフォンが取得した前記音情報をスイッチング又はミキシングして出力し、
前記複数の集音ユニットの前記無線ルータは、メッシュネットワークを構成し、
前記音情報信号は、前記メッシュネットワークを介して各集音ユニットから前記編集装置に送信される
ことを特徴とする。
【0014】
本発明によれば、各集音ユニットのマイクロフォンが取得した音情報を示す音情報信号は、各集音ユニットの無線ルータを含むメッシュネットワークを介して編集装置に送信される。これにより、各マイクロフォンと編集装置を接続する通信ケーブルなしに、マイクロフォンから編集装置に音情報を送信可能となる。従って、通信ケーブルの引き回し作業の手間を削減可能となる。
【0015】
また、各マイクロフォンと編集装置の間で直接無線通信する場合と比較して、メッシュネットワークを介して各集音ユニットと編集装置の間で無線通信をすることで、無線出力の抑制又は音情報の取得可能範囲の拡大を実現可能となる。
【0016】
さらに、デイジーチェーンの形態ではなく、メッシュネットワークの形態を採ることで、仮に一部の無線ルータに異常が発生した場合でも、当該無線ルータと対になるマイクロフォン以外のマイクロフォンが取得した音情報を編集装置に送信することが可能となる。これにより、通信システムの頑健性を向上可能となる。
【0017】
前記通信システムは、周辺の映像情報を取得して前記映像情報を示す映像報信号を、通信ケーブルにより又は無線通信により前記編集装置に送信する複数のビデオカメラを含んでもよい。前記複数のマイクロフォンは、前記複数のビデオカメラから分離して用いられてもよい。前記編集装置は、各ビデオカメラが取得した前記映像情報をスイッチングして、前記音情報と共に出力してもよい。これにより、集音ユニットの無線ルータによるメッシュネットワークを用いる構成において、マイクロフォンとビデオカメラが分離して(一体化されずに)用いられる場合(特にハイエンド用途に多い)でも、音情報と映像情報を関連付けて出力することが可能となる。
【0018】
前記通信システムは、各集音ユニットから前記編集装置まで到達する前記音情報信号の遅延量に基づいて各音情報信号の時間ずれを補正する時間ずれ補正部を備えてもよい。これにより、視聴者(編集装置が編集した音情報の提供を受ける者)が音情報を知覚する際において時間ずれに伴う違和感を低減可能となる。
【0019】
前記時間ずれ補正部は、各無線ルータに対してピン信号を送信し、各無線ルータからの応答信号に基づき各音情報信号の遅延量を判定してもよい。また、前記時間ずれ補正部は、判定した各遅延量に基づいて各音情報信号の時間ずれを補正してもよい。これにより、無線ルータ側で特別な処理を行うことなしに時間ずれの補正が可能になる。
【0020】
或いは、各無線ルータは、自らが中継する前記音情報信号にタイムスタンプを付与してもよい。前記時間ずれ補正部は、前記音情報信号に付与された前記タイムスタンプに基づいて各音情報信号の時間ずれを補正してもよい。これにより、メッシュネットワークにおいて信号伝送経路が変化した場合でも、時間ずれの補正が容易になる。
【0021】
或いは、前記時間ずれ補正部は、前記無線ルータ毎に設定された固定値である遅延量を前記無線ルータ毎の前記音情報信号に付与してもよい。これにより、固有値である各遅延量を一旦設定してしまえば、各無線ルータ又は編集装置での特別な処理を行うことなしに時間ずれの補正が可能になる。
【0022】
前記メッシュネットワークを構成する各無線ルータは、前記編集装置に対して直接通信する無線ルータを除き、少なくとも2つの他の前記無線ルータに対して前記音情報信号を送信可能な位置に配置されてもよい。これにより、音情報信号を中継する無線ルータの1つ(編集装置に対して直接通信する無線ルータを除く。)に通信異常が生じた場合でも、メッシュネットワークを介して通信が可能となる。
【0023】
本発明の別の態様に係る通信方法は、
周辺の音情報又は映像情報を含む周辺情報を取得して前記周辺情報を示す周辺情報信号を出力する周辺センサ、及び前記周辺情報信号を外部送信するルータをそれぞれが含む複数のノードユニットと、
前記ルータと通信して前記周辺情報信号を受信する通信装置を有し、前記周辺情報を編集して出力する編集装置と
を備える通信システムを利用する通信方法であって、
前記複数のノードユニットの前記ルータによりメッシュネットワークを構成し、
前記メッシュネットワークを介して前記周辺情報信号を各ノードユニットから前記編集装置に送信する
ことを特徴とする。
【0024】
本発明によれば、各ノードユニットの周辺センサが取得した周辺情報(音情報又は映像情報を含む。)を示す周辺情報信号は、各ノードユニットのルータを含むメッシュネットワークを介して編集装置に送信される。これにより、各周辺センサと編集装置の間で直接通信する場合と比較して、メッシュネットワークを介して各ノードユニットと編集装置の間で通信をすることで、周辺情報信号の出力の抑制又は周辺情報の取得可能範囲の拡大を実現可能となる。
【0025】
さらに、デイジーチェーンの形態ではなく、メッシュネットワークの形態を採ることで、仮に一部のルータに異常が発生した場合でも、当該ルータと対になる周辺センサ以外の周辺センサが取得した周辺情報を編集装置に送信することが可能となる。これにより、通信システムの頑健性を向上可能となる。
【0026】
本発明のさらに別の態様に係る集音ユニットは、
周辺の音情報を取得して前記音情報を示す音情報信号を出力するマイクロフォンと、
前記音情報信号を外部送信する無線ルータと
を備えるものであって、
前記無線ルータは、他の集音ユニットの無線ルータと共にメッシュネットワークを形成し、
前記無線ルータは、前記他の集音ユニットの無線ルータから受信した前記音情報信号を、前記メッシュネットワークを介して編集装置に向かって中継する
ことを特徴とする。
【発明の効果】
【0027】
本発明によれば、通信ケーブルの引き回し作業の手間削減、又は無線出力の縮小若しくは音情報若しくは映像情報の取得可能範囲の拡大を実現可能となる。
【図面の簡単な説明】
【0028】
図1】本発明の一実施形態に係る通信システムを簡略的に示す構成図である。
図2】前記実施形態の第2センサ群の概略的な構成図である。
図3】前記実施形態の前記第2センサ群に含まれる集音ユニットの外観を簡略的に示す斜視図である。
図4】前記実施形態の中継車の各構成要素を簡略的に示す構成図である。
図5】野球場における前記実施形態のビデオカメラ、マイクロフォン及び前記中継車の配置の例を示す図である。
図6】前記実施形態の編集装置が実行する新集音ユニット接続判定処理のフローチャートである。
図7】前記実施形態における集音ユニットの大まかな制御を示すフローチャートである。
【発明を実施するための形態】
【0029】
A.一実施形態
<A-1.構成>
[A-1-1.全体構成]
図1は、本発明の一実施形態に係る通信システム10を簡略的に示す構成図である。通信システム10は、野球場90で開催される野球の試合等の放送(特にライブ放送)を行う。通信システム10は、第1センサ群20と、第2センサ群30と、中継車40と、放送センター設備50とを有する。
【0030】
第1センサ群20は、第1周辺センサ又は画像センサとしての複数のビデオカメラ200を含む。第2センサ群30は、第2周辺センサ又は音センサとしての複数のマイクロフォン310を含む。中継車40は、複数のビデオカメラ200からの映像情報信号(ビデオ信号)と、複数のマイクロフォンからの音情報信号を処理して放送コンテンツを自ら放送する、或いは、放送コンテンツを示す放送信号を放送センター設備50に送信する。放送センター設備50は、中継車40から受信した放送信号をそのまま又は加工して放送する。
【0031】
[A-1-2.第1センサ群20]
上記のように、第1センサ群20は、第1周辺センサ又は画像センサとしての複数のビデオカメラ200を含む。ビデオカメラ200は、周辺の映像情報を取得して映像情報を示す映像情報信号(ビデオ信号)を出力する。なお、図1では、3台のビデオカメラ200を図示しているが、ビデオカメラ200の数は、それ以外の数(例えば、4~50台のいずれか)であってもよい。本実施形態において、各ビデオカメラ200は、それぞれが、通信ケーブル202により中継車40(又は後述する編集装置400)と接続されている。ビデオカメラ200で取得した映像情報を示す映像情報信号(ビデオ信号)は、通信ケーブル202を介して中継車40に送信される。なお、図1では、簡略化のため、1本の通信ケーブル202のみを示しているが、実際は、各ビデオカメラ200と中継車40の間に通信ケーブル202が配置されることに留意されたい。また、後述するように、ビデオカメラ200は、中継車40と無線通信を行うものであってもよい。
【0032】
[A-1-3.第2センサ群30]
図2は、本実施形態の第2センサ群30の概略的な構成図である。図3は、本実施形態の第2センサ群30に含まれる集音ユニット300の外観を簡略的に示す斜視図である。上記のように、第2センサ群30は、第2周辺センサ又は音センサとしての複数のマイクロフォン310を含む。より具体的には、第2センサ群30は、それぞれがマイクロフォン310を有する複数の集音ユニット300を有する。なお、本実施形態の各集音ユニット300(マイクロフォン310)は、ビデオカメラ200とは一体とされていない。ビデオカメラ200と集音ユニット300(マイクロフォン310)を一体化することも可能である。
【0033】
図2に示すように、集音ユニット300は、マイクロフォン310に加え、アナログ/デジタル変換器320(以下「A/D変換器320」という。)と、集音ユニット制御部330と、集音ユニット記憶部340と、無線ルータ350と、バッテリ360とを有する。無線ルータ350は、後述する編集装置400の無線ルータ412(図4)と区別するため、センサ側ルータ350とも称する。なお、図2では、これらの構成要素が、左下の集音ユニット300のみに図示されているが、それ以外の集音ユニット300も同様の構成を有する。
【0034】
マイクロフォン310は、周辺の音情報を取得して音情報を示すアナログの音情報信号を出力する。A/D変換器320は、マイクロフォン310からのアナログの音情報信号をデジタルの音情報信号に変換する。集音ユニット制御部330は、集音ユニット300全体を制御する。例えば、集音ユニット制御部330は、A/D変換器320からのデジタルの音情報信号に対して所定の信号処理を行った上で、自らと同じ集音ユニット350の無線ルータ350及び他の集音ユニット300の無線ルータ350を介して中継車40に送信する。また、集音ユニット制御部330は、音情報信号の送信以外に、編集装置400との間で所定の送受信を行う(詳細は、図7等を参照して後述する。)。集音ユニット記憶部340は、集音ユニット制御部330で実行されるプログラム、集音ユニット制御部330で用いられるデータ等を記憶している。
【0035】
無線ルータ350は、無線通信により所定のルーティング処理を行う。具体的には、本実施形態の無線ルータ350は、ダイナミックルーティング処理を行う。各集音ユニット300の無線ルータ350がダイナミックルーティング処理を行うことで、第2センサ群30は、メッシュネットワーク60(図2)を形成する。従って、音情報信号は、メッシュネットワーク60を介して各集音ユニット300から中継車40の編集装置400に送信される。
【0036】
よって、無線ルータ350は、自らが属する集音ユニット300の音情報信号(集音ユニット制御部330により処理済みのもの)を、ルーティングテーブルに基づいて他の集音ユニット300の無線ルータ350を介して中継車40に送信する。また、無線ルータ350は、他の集音ユニット300の無線ルータ350から受信した音情報信号を、ルーティングテーブルに基づいてメッシュネットワーク60を介して編集装置400に向かって中継する。なお、無線ルータ350は、上記のような処理等を行うための制御部及び記憶部を自ら有することができる。
【0037】
本実施形態の無線ルータ350は、例えば50~100mの通信距離で且つ例えば10~500Mbpsの通信速度で通信を行う。無線ルータ350の通信距離及び通信速度は、適宜選択することができる。
【0038】
バッテリ360は、集音ユニット300の各部に電力を供給する。
【0039】
図3に示すように、集音ユニット300において、A/D変換器320、制御回路370(集音ユニット制御部330、集音ユニット記憶部340及び無線ルータ350)及びバッテリ360は、筐体380の内部に収容される。また、マイクロフォン310は、筐体380の上蓋381の上側に配置される。図3では、信号線、電力線等が省略されている。
【0040】
図1では3つのマイクロフォン310を図示し、図2では7つのマイクロフォン310(集音ユニット300)を図示しているが、マイクロフォン310(集音ユニット300)の数は、それ以外の数(例えば、2、4~6、8~50台のいずれか)であってもよい。
【0041】
[A-1-4.中継車40]
図4は、本実施形態の中継車40の各構成要素を簡略的に示す構成図である。上記のように、中継車40は、複数のビデオカメラ200からの映像情報(ビデオ情報)と、複数のマイクロフォンからの音情報を編集処理して放送コンテンツを自ら放送する、或いは、放送コンテンツを示す放送信号を放送センター設備50に送信する。
【0042】
中継車40は、複数のビデオカメラ200からの映像情報(ビデオ情報)と、複数のマイクロフォンからの音情報を編集して出力する編集装置400(図4)を有する。編集装置400は、スイッチャ等の機能を有する。編集装置400は、通信部410と、操作入力部420と、編集制御部430と、編集記憶部440と、情報出力部450とを有する。
【0043】
通信部410は、編集装置400と外部との間で各種の通信を行うものであり、ビデオ信号入力部411と、無線ルータ412と、放送アンテナ413とを有する。ビデオ信号入力部411は、ビデオカメラ200からの映像情報信号(ビデオ信号)の入力インタフェースであり、図示しない複数の入力端子を有する。無線ルータ412は、メッシュネットワーク60を構成するセンサ側ルータ350と通信して、映像情報信号(ビデオ信号)及び音情報信号を受信する。無線ルータ412は、集音ユニット300のセンサ側ルータ350と区別するため、編集装置側ルータ412とも称する。放送アンテナ413は、編集装置400による編集後の映像情報及び音情報を示す放送信号を、図示しない家庭用テレビ等に対して送信して、放送コンテンツを各家庭等に放送する。
【0044】
操作入力部420は、映像情報及び音情報の編集作業のためのユーザからの操作入力を受け付けるものであり、複数の操作スイッチ421を含む。操作スイッチ421は、映像情報及び/又は音情報の選択(スイッチング)、映像のズームアップ/ズームアウト、プレイバック、音量調整、1つの画面における複数の映像表示、音情報のミキシング等のためのスイッチを含むことができる。
【0045】
編集制御部430は、編集装置400全体を制御する。編集制御部430は、各ビデオカメラ200が取得した映像情報及び各マイクロフォン310が取得した音情報をスイッチングして放送コンテンツとして出力する。この際、複数のビデオカメラ200からの映像情報を1つの画面に一緒に含ませてもよい。また、複数のマイクロフォン310からの音情報をミキシングしてもよい。さらに、映像又は音のエフェクト処理(文字情報の挿入、音の加工等)を行ってもよい。編集後の放送コンテンツ(映像情報及び音情報)を含む放送信号は、放送アンテナ413を介して各家庭等に放送することができると共に、放送アンテナ413(又は無線ルータ412)を介して放送センター設備50に送信することができる。
【0046】
本実施形態の編集制御部430は、各集音ユニット300から編集装置400までの音情報信号の遅延量を判定して各音情報信号の時間ずれを補正する時間ずれ補正部431を含む。時間ずれ補正部431の具体的処理については、図6を参照して詳述する。
【0047】
編集記憶部440は、編集装置400における各種の情報を記憶する。例えば、編集記憶部440は、編集制御部430で実行されるプログラム及び編集制御部430で利用されるデータを記憶する。ここでのデータには、編集制御部430による編集後の放送コンテンツが含まれる。また、編集記憶部440は、編集前の映像情報及び/又は音情報を記憶してもよい。情報出力部450は、編集装置400のユーザに対して各種の情報を出力する。情報出力部450は、1つのメインモニタ451と、複数のサブモニタ452とを含む。メインモニタ451及びサブモニタ452のそれぞれは、図示しない表示装置(液晶パネル等)、スピーカ等を有する。メインモニタ451は、編集後の放送コンテンツの映像情報及び音情報を出力することができる。サブモニタ452は、編集前の映像情報(及び音情報)を出力する。
【0048】
なお、編集装置400の各部の基本的な構成は、特許文献1又は特許文献2と同様のものを用いることができる。
【0049】
[A-1-5.放送センター設備50]
放送センター設備50(図1)は、中継車40から受信した放送信号をそのまま又は加工して放送する。また、放送センター設備50は、放送信号を図示しない配信サーバにアップロードして、インターネットを介して配信サーバからビデオ・オン・デマンドの形式で各家庭等に配信してもよい。
【0050】
<A-2.制御及び作業>
[A-2-1.全体的な流れ]
次に、本実施形態の通信システム10における各種の制御及びそのための作業について説明する。以下では、第1センサ群20、第2センサ群30及び中継車40の配置作業、第1センサ群20、第2センサ群30及び中継車40の起動時の作業及び制御、並びに各部の通常利用時の作業及び制御について説明する。
【0051】
[A-2-2.各部の配置作業]
図5は、野球場90における本実施形態のビデオカメラ200、マイクロフォン310及び中継車40の配置の例を示す。図5の例では、配置地点A~L(以下「地点A~L」ともいう。)それぞれに作業者がビデオカメラ200及びマイクロフォン310を持ち運ぶ。また、中継車40は、野球場90の外の所定位置(図5の例では、一塁側スタンドの外側)に配置される。
【0052】
上記の通り、本実施形態では、ビデオカメラ200は通信ケーブル202で編集装置400と接続されるため、ビデオカメラ200の操作担当者は、通信ケーブル202を引き回す必要がある(後述するように、ビデオカメラ200を無線方式とすることもできる。)。一方、マイクロフォン310は無線方式であるため、マイクロフォン310の操作担当者は、集音ユニット300(図3)を各地点A~Lに持ち運ぶだけで配置が終了する。
【0053】
地点A~Lそれぞれに配置されてメッシュネットワーク60(図2)を構成する各無線ルータ350(センサ側ルータ350)は、少なくとも2つの他の無線ルータ350に対して音情報信号を送信可能な位置に配置される。なお、中継車40(編集装置400の編集装置側ルータ412)に対して直接通信するセンサ側ルータ350の数は、1台又は複数のいずれであってもよい。
【0054】
[A-2-3.各部の起動時の作業及び制御]
(A-2-3-1.中継車40の起動時の作業及び制御)
中継車40では、所定のタイミング(例えば、中継車40の配置が完了した時点)で、編集装置400の電源をオンにする。これにより、編集装置400の通信部410は、ビデオカメラ200及び集音ユニット300との通信(映像情報信号及び音情報信号の入力)が可能となる(スタンバイ状態となる)。この際、編集装置側ルータ412は、ダイナミックルーティング処理を開始する。すなわち、編集装置側ルータ412は、自らの周囲にセンサ側ルータ350(別のノード)が存在するかどうかを所定周期で監視して、その都度、ルーティングテーブルを更新する。また、編集装置側ルータ412は、新集音ユニット接続判定処理を開始する。
【0055】
図6は、本実施形態の編集装置400が実行する新集音ユニット接続判定処理のフローチャートである。新集音ユニット接続判定処理は、新たな集音ユニット300が編集装置400(又はメッシュネットワーク60)に接続されたか否かを判定し(図6のステップS11)、当該接続が判定された場合(S11:真(TRUE))に所定処理(S12~S15)を行うものである。新集音ユニット接続判定処理のさらなる詳細は、図7と関連付けて後述する。
【0056】
(A-2-3-2.ビデオカメラ200の起動時の作業及び制御)
編集装置400が電源オンの状態で、配置が完了したビデオカメラ200を電源オンすると、ビデオカメラ200の映像情報信号が通信ケーブル202を介して編集装置400の通信部410(ビデオ信号入力部411)に入力されて、サブモニタ452の1つに映像情報が表示される。初期設定では、ビデオ信号入力部411の図示しない入力端子とサブモニタ452が対応付けられている。そのため、通信ケーブル202が接続された入力端子に応じて、対応するサブモニタ452が決まる。なお、ビデオ信号入力部411の入力端子とサブモニタ452の対応関係は、操作スイッチ421の操作により切り替え可能であってもよい。
【0057】
また、初期設定に応じて、メインモニタ451に表示される映像情報が選択される。例えば、1つのビデオカメラ200の映像情報信号のみが編集装置400に入力されている場合、当該映像情報信号に応じた映像情報がメインモニタ451に表示される。複数のビデオカメラ200の映像情報信号が編集装置400に入力されている場合、ビデオ信号入力部411の入力端子のうち予め設定されたものに入力された映像情報信号に応じた映像情報がメインモニタ451に表示される。通常利用時において、メインモニタ451に表示される映像情報は、操作スイッチ421の操作により切り替えられる。
【0058】
(A-2-3-3.集音ユニット300の起動時の作業及び制御)
(A-2-3-3-1.概要)
図7は、本実施形態における集音ユニット300の大まかな制御を示すフローチャートである。集音ユニット300の電源スイッチ(図示せず)がオンにされると、集音ユニット300(集音ユニット制御部330)は、起動時制御を実行する(ステップS21)。起動時制御は、通信ルート確立処理(S211)及び遅延量判定補助処理(S212)を含む。
【0059】
通信ルート確立処理(S211)は、起動した集音ユニット300と編集装置400との間で通信ルートを確立する処理である。遅延量判定補助処理(S212)は、編集装置400による遅延量判定処理(図6のS13)を補助する処理である。
【0060】
(A-2-3-3-2.通信ルート確立(図6のS11、S12、図7のS211))
上記のように、集音ユニット300の起動時制御では、起動した集音ユニット300と編集装置400との間で通信ルートを確立する通信ルート確立処理(図7のS211)を実行する。通信ルート確立処理において、集音ユニット300(集音ユニット制御部330)は、自らの周辺に接続可能なノード(センサ側ルータ350又は編集装置側ルータ412)が存在するか否かを判定する。接続可能なノードが検出された場合、集音ユニット300は、編集装置400に対して自己情報を送信する。例えば、集音ユニット300は、編集装置側ルータ412のIPアドレスを集音ユニット記憶部340から読み出して、そのIPアドレスをあて先として起動時メッセージ(自己情報を含むもの)を送信する。また、自己情報としては、例えば、自己のアカウント名、個体識別番号、IPアドレス、ノードの種類(例えば、ビデオカメラ200、マイクロフォン310(集音ユニット300)のいずれであるか)が含まれる。起動時メッセージの本文は、所定の暗号化を行ってもよい。
【0061】
新たな集音ユニット300から送信された起動時メッセージは、メッシュネットワーク60を介して編集装置側ルータ412に送信される。編集装置400の編集制御部430は、編集装置側ルータ412を介して起動時メッセージを受信すると(図6のS11:真(TRUE))、ステップS12において、当該新たな集音ユニット300の情報を管理テーブルに登録する。
【0062】
(A-2-3-3-3.遅延量判定(図6のS13、図7のS212))
次いで、ステップS13において、編集装置400(編集制御部430)は、遅延判定処理を実行する。これに応じて、新たな集音ユニット300(集音ユニット制御部330)は、図7のステップS212において、遅延量判定補助処理を実行する。上記の通り、遅延量判定処理(S13)では、起動した(すなわち、編集装置400との通信確立に成功した)集音ユニット300と編集装置400との間の通信遅延量を判定する処理である。また、遅延量判定補助処理(S212)では、遅延量判定処理(S13)の補助を行う。
【0063】
具体的には、編集装置400は、新たな集音ユニット300に対してピン信号を送信する。ピン信号を受信した新たな集音ユニット300は、編集装置400に対して返信を行う。編集装置400は、ピン信号の通信時間を自らの計時機能を用いて測定して、新たな集音ユニット300から編集装置400への通信遅延量を算出し、当該新たな集音ユニット300と関連付けて管理テーブルに登録する。後述するように、通信遅延量の判定は別の方法で行うことも可能である。
【0064】
(A-2-3-3-4.新集音ユニット追加通知処理(図6のS14))
次いで、図6のステップS14において、編集装置400は、新たな集音ユニット300がメッシュネットワーク60に追加されたことを、編集装置400のユーザに対して通知する新集音ユニット追加通知処理を実行する。例えば、編集装置400は、新たな集音ユニット300がメッシュネットワーク60に追加された旨、及び当該集音ユニット300の個体識別番号をメインモニタ451に表示させる。
【0065】
(A-2-3-3-5.ビデオカメラ-マイクロフォンリンク処理(図6のS15))
続く図6のステップS15において、編集装置400は、新たな集音ユニット300のマイクロフォン310を、ビデオカメラ200とリンクさせるビデオカメラ-マイクロフォンリンク処理を実行する。上記の通り、本実施形態では、各ビデオカメラ200と、各マイクロフォン310は分離している。しかしながら、各ビデオカメラ200と、各マイクロフォン310は組み合わせて用いられることが多い。そこで、本実施形態の編集装置400では、ビデオカメラ200とマイクロフォン310をペアリングさせて管理テーブルに登録しておくことができる。これにより、操作スイッチ421により映像情報を切り替えた際、対となる音情報も一緒に切り替えることができるようになる。
【0066】
また、本実施形態では、映像情報信号が通信ケーブル202及びビデオ信号入力部411を介して入力されるのに対し、音情報信号は無線ルータ350、412を介して入力される。そこで、マイクロフォン310をビデオカメラ200とペアリングさせる際、編集装置400は、ビデオカメラ200とマイクロフォン310のペアリングリストを表示する。そして、ペアリングリストにおいてペアリングしていない又はペアリング済みのビデオカメラ200を選択可能とする。そして、ユーザにより選択されたビデオカメラ200を、新たなマイクロフォン310とペアリングして管理テーブルに登録する。
【0067】
[A-2-4.各部の通常利用時の作業及び制御]
ビデオカメラ200の通常利用時には、ビデオカメラ200のユーザの操作に基づいてビデオカメラ200が得た映像情報信号が、通信ケーブル202を介して編集装置400に入力される。また、マイクロフォン310(集音ユニット300)の通常利用時には、集音ユニット300は、通常動作時制御を行う(図7のS22)。具体的には、マイクロフォン310のユーザの操作に基づいてマイクロフォン310が得た音情報信号が、メッシュネットワーク60を介して編集装置400に送信される(図7のS221の音信号送信処理)。また、各センサ側ルータ350は、ダイナミックルーティング処理を行う(S222)。
【0068】
編集装置400の通常利用時には、編集装置400のユーザの操作に基づいて、映像情報及び音情報が編集されて放送コンテンツとして放送される。すなわち、編集装置400は、スイッチャ等として機能する。また、編集装置400(時間ずれ補正部431)は、遅延量判定処理(図6のS13)で判定した通信遅延量に基づいて各音情報信号の時間ずれを補正する。すなわち、編集装置400は、各集音ユニット300からの音情報信号それぞれの時間ずれをゼロに近付けるように、各音情報信号を処理する。例えば、音情報信号Ss1の遅延量が0.1秒、音情報信号Ss2の遅延量が0.2秒、音情報信号Ss3の遅延量が0.3秒であるとする。この場合、編集装置400は、例えば、音情報信号Ss1を0.2秒送らせ、音情報信号Ss2を0.1秒送らせることで、音情報信号Ss1~Ss3の遅延量を合わせる。
【0069】
<A-3.本実施形態の効果>
本実施形態によれば、各集音ユニット300のマイクロフォン310が取得した音情報を示す音情報信号は、各集音ユニット300の無線ルータ350を含むメッシュネットワーク60を介して編集装置400に送信される(図2図7のS221、S222)。これにより、各マイクロフォン310と編集装置400を接続する通信ケーブルなしに、マイクロフォン310から編集装置400に音情報を送信可能となる。従って、通信ケーブルの引き回し作業の手間を削減可能となる。
【0070】
また、各マイクロフォン310と編集装置400の間で直接無線通信する場合と比較して、メッシュネットワーク60を介して各集音ユニット300と編集装置400の間で無線通信をすることで、無線出力の抑制又は音情報の取得可能範囲の拡大を実現可能となる。
【0071】
さらに、デイジーチェーンの形態ではなく、メッシュネットワーク60の形態を採ることで、仮に一部の無線ルータ350に異常が発生した場合でも、当該無線ルータ350と対になるマイクロフォン310以外のマイクロフォン310が取得した音情報を編集装置400に送信することが可能となる。これにより、通信システム10の頑健性を向上可能となる。
【0072】
本実施形態において、通信システム10は、周辺の映像情報を取得して映像情報を示す映像報信号を、通信ケーブル202により編集装置400に送信する複数のビデオカメラ200を含む(図1)。複数のマイクロフォン310は、複数のビデオカメラ200から分離して用いられる(図1)。編集装置400は、各ビデオカメラ200が取得した映像情報をスイッチングして、音情報と共に出力する(図4)。これにより、集音ユニット300の無線ルータ350によるメッシュネットワーク60を用いる構成において、マイクロフォン310とビデオカメラ200が分離して(一体化されずに)用いられる場合(特にハイエンド用途に多い)でも、音情報と映像情報を関連付けて出力することが可能となる。
【0073】
本実施形態において、通信システム10は、各集音ユニット300から編集装置400まで到達する音情報信号の遅延量を判定して各音情報信号の時間ずれを補正する時間ずれ補正部431を備える(図4)。これにより、視聴者(編集装置400が編集した音情報の提供を受ける者)が音情報を知覚する際において時間ずれに伴う違和感を低減可能となる。
【0074】
本実施形態において、時間ずれ補正部431は、各集音ユニット300の無線ルータ350に対してピン信号を送信し、各無線ルータ350からの応答信号に基づき各音情報信号の遅延量を判定する(図6のS13)。また、時間ずれ補正部431は、判定した各遅延量に基づいて各音情報信号の時間ずれを補正する。これにより、無線ルータ350側で特別な処理を行うことなしに時間ずれの補正が可能になる。
【0075】
本実施形態において、メッシュネットワーク60を構成する各無線ルータ350は、編集装置400に対して直接通信する無線ルータ350を除き、少なくとも2つの他の無線ルータ350に対して音情報信号を送信可能な位置に配置されている(図5)。これにより、音情報信号を中継する無線ルータ350の1つ(編集装置400に対して直接通信する無線ルータ350を除く。)に通信異常が生じた場合でも、メッシュネットワーク60を介して通信が可能となる。
【0076】
B.変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
【0077】
<B-1.構成>
上記実施形態では、第1センサ群20(ビデオカメラ200)及び第2センサ群30(マイクロフォン310)を野球場90で用いた(図1及び図5)。しかしながら、例えば、ライブ放送に関連してノードユニットのメッシュネットワークを構成する点に着目すれば、これに限らない。例えば、第1センサ群20及び/又は第2センサ群30を、その他の競技場又は劇場若しくはコンサートホールで用いることも可能である。
【0078】
上記実施形態では、ビデオカメラ200からの映像情報信号は、通信ケーブル202を介して編集装置400に送信された(図1)。しかしながら、例えば、映像情報信号を編集装置400に送信する点に着目すれば、ビデオカメラ200は、中継車40と無線通信を行うものであってもよい。その場合、マイクロフォン310からの音情報信号と同様、ビデオカメラ200からの映像情報信号は、無線ルータを介して編集装置400に送信されてもよい。換言すると、ビデオカメラ200と無線ルータを含む複数のノードユニットにより第1センサ群20を構成し、ビデオカメラ200とペアリングされた無線ルータによりメッシュネットワークを構成してもよい。
【0079】
第1センサ群20でも無線ルータを用いる場合、第1センサ群20のメッシュネットワークと、第2センサ群30のメッシュネットワーク60は、別々に構成してもよい。その場合、2つのメッシュネットワークの仕様(通信速度等)を相違させてもよい。或いは、第1センサ群20と第2センサ群30とで単一のメッシュネットワークを構成してもよい。
【0080】
上記実施形態では、無線ルータ350を用いてメッシュネットワーク60を構成するノードユニットとして集音ユニット300を用いた(図2)。しかしながら、例えば、ライブ放送に関連してノードユニットのメッシュネットワークを構成する点に着目すれば、これに限らない。例えば、ビデオカメラ200とこれと対になる無線ルータを含むノードユニットのみからメッシュネットワークを構成してもよい。或いは、マイクロフォン310がビデオカメラ200に一体化された構成では、マイクロフォン310が一体化されたビデオカメラ200とこれと対になる無線ルータを含むノードユニットからメッシュネットワークを構成してもよい。また、無線ルータの代わりに、有線で接続されるルータを用いて複数のノードユニット(ビデオカメラ200を有する映像ユニット及び/又はマイクロフォン410を有する集音ユニット300)によるメッシュネットワークを構成することも可能である。
【0081】
上記実施形態では、センサ側ルータ350によるメッシュネットワーク60に対して通信する編集装置400の通信装置として編集装置側ルータ412を用いた(図4)。しかしながら、例えば、メッシュネットワーク60に対して通信する点に着目すれば、編集装置400においてその他の通信装置(例えば、ルータ以外のゲートウェイ装置)を用いてもよい。その場合、編集装置400の最も近くに配置するセンサ側ルータ350との通信設定を予め行っておいてもよい。
【0082】
<B-2.制御>
上記実施形態では、通信遅延量の判定においてピン信号を用いた(図6のS13、図7のS212)。しかしながら、例えば、各集音ユニット300からの音情報信号の時間ずれを補正する点に着目すれば、これに限らない。
【0083】
例えば、次のような方法で時間ずれを補正してもよい。すなわち、集音ユニット300の各無線ルータ350は、自らが中継する音情報信号にタイムスタンプ(中継時点の時刻)を付与する。時間ずれ補正部431は、音情報信号に付与されたタイムスタンプに基づいて遅延量を算出して各音情報信号の時間ずれを補正する。これにより、メッシュネットワーク60において信号伝送経路が変化した場合でも、時間ずれの補正が容易になる。
【0084】
或いは、時間ずれ補正部431は、無線ルータ350毎に設定された固定値である遅延量を無線ルータ350毎の音情報信号に付与してもよい。換言すると、各無線ルータ350を配置した状態で、図示しない測定機器により遅延量を測定し、測定した遅延量を各無線ルータ350に関連付けて記憶する。そして、各無線ルータ350からの音情報信号の時間すれを、無線ルータ350毎に記憶した遅延量(固定値)に基づいて補正する。これにより、固有値である各遅延量を一旦設定してしまえば、各無線ルータ350又は編集装置400での特別な処理を行うことなしに時間ずれの補正が可能になる。
【符号の説明】
【0085】
10…通信システム 20…第1センサ群
30…第2センサ群 40…中継車
50…放送センター設備 60…メッシュネットワーク
90…野球場
200…ビデオカメラ(周辺センサ)
202…通信ケーブル
300…集音ユニット(ノードユニット)
310…マイクロフォン(周辺センサ)
350…無線ルータ 400…編集装置
412…無線ルータ(通信装置)
431…時間ずれ補正部
【要約】
通信ケーブルの引き回し作業の手間削減、又は無線出力の縮小若しくは音情報若しくは映像情報の取得可能範囲の拡大を実現可能な通信システム、通信方法及び集音ユニットを提供する。通信システム(10)において、編集装置(400)は、複数の集音ユニット(300)の各マイクロフォン(310)が取得した音情報をスイッチング又はミキシングして出力する。複数の集音ユニット(300)の各無線ルータ(350)は、メッシュネットワーク(60)を構成する。マイクロフォン(310)からの音情報信号は、メッシュネットワーク(60)を介して各集音ユニット(300)から編集装置(400)に送信される。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7