知財求人 - 知財ポータルサイト「IP Force」
特許7191760映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法
(51)【国際特許分類】
H04N 5/91 20060101AFI20221212BHJP
H04N 21/8549 20110101ALI20221212BHJP
H04N 21/233 20110101ALI20221212BHJP
G10L 25/21 20130101ALI20221212BHJP
G10L 25/18 20130101ALI20221212BHJP
G10L 25/57 20130101ALI20221212BHJP
H04N 5/268 20060101ALI20221212BHJP
H04N 5/262 20060101ALI20221212BHJP
【ＦＩ】
H04N5/91
H04N21/8549
H04N21/233
G10L25/21
G10L25/18
G10L25/57
H04N5/268
H04N5/262
【請求項の数】
8
(21)【出願番号】P 2019072544
(22)【出願日】2019-04-05
(65)【公開番号】P2020170980
(43)【公開日】2020-10-15
【審査請求日】2021-12-01
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(73)【特許権者】
【識別番号】595061705
【氏名又は名称】株式会社アニモ
(74)【代理人】
【識別番号】100087480
【弁理士】
【氏名又は名称】片山 修平
(72)【発明者】
【氏名】石井 洸平
(72)【発明者】
【氏名】白石 和男
(72)【発明者】
【氏名】桜井 淳宏
(72)【発明者】
【氏名】佐藤 隆
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開２０１７－０１７３８７（ＪＰ，Ａ）
【文献】特開２０１８－１７０６７８（ＪＰ，Ａ）
【文献】特開２０１２－０７０２８３（ＪＰ，Ａ）
【文献】国際公開第２００７／０３９９９４（ＷＯ，Ａ１）
【文献】特開２０１６－１３１３２９（ＪＰ，Ａ）
【文献】特開２００９－１５３０７７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／９１－５／９５６
Ｈ０４Ｎ ２１／００－２１／８５８
Ｇ１０Ｌ １９／００－９９／００
Ｈ０４Ｎ ５／２６２－５／２８
(57)【特許請求の範囲】
【請求項1】
複数のマイクから音声データを受信する受信部と、前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、
を備える映像情報出力装置。
【請求項2】
前記所定の周波数成分は、人の足音に対応する周波数成分であることを特徴とする請求項１に記載の映像情報出力装置。
【請求項3】
前記選定部は、前記所定の周波数成分の音圧レベルの積分値が最も大きいマイクを選定する、ことを特徴とする請求項１又は２に記載の映像情報出力装置。
【請求項4】
前記出力部が出力した前記映像情報を用いて、複数のカメラで撮影された映像を編集する編集部を更に備える請求項１～３のいずれか一項に記載の映像情報出力装置。
【請求項5】
前記特定部は、前記基準マイクの音声データの音圧レベルが所定の閾値を超えた時間が所定時間以上となった場合に、前記所定の閾値を超えた時刻の直前の時間帯を特定する、ことを特徴とする請求項１～４のいずれか一項に記載の映像情報出力装置。
【請求項6】
複数のマイクと、前記複数のマイクと接続された映像情報出力装置と、を備え、
前記映像情報出力装置は、
前記複数のマイクから音声データを受信する受信部と、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、を有する、
ことを特徴とする映像情報出力システム。
【請求項7】
複数のマイクから音声データを受信し、前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定し、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出し、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定し、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する、
処理をコンピュータに実行させるための映像情報出力プログラム。
【請求項8】
複数のマイクから音声データを受信し、前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定し、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出し、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定し、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する、
処理をコンピュータが実行することを特徴とする映像情報出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法に関する。
【背景技術】
【0002】
従来、動画像データを編集し、ダイジェストを生成する技術が各種提案されている。例えば、動画像データから所定期間ごとに所定時間分の画像データを抽出し、画像データの中の動きの大きい部分を抽出し、ダイジェストを生成する方法が知られている。また、動画像データを複数のシーンに分割して各シーンを評価し、評価結果に基づいてシーンを選択して編集する技術も知られている（例えば、特許文献１等参照）。また、音声映像信号からダイジェストシーンを選択して再生する技術として、音声信号のパワー値が所定条件を満たす盛り上がり時点を含む所定時間内の音声映像信号をダイジェストシーンとする技術が知られている（例えば、特許文献２等参照）。
【0003】
更に、複数の監視カメラと複数のマイクを有する映像監視システムにおいて、マイクが異常音等を検出した場合に、該マイクに対応する監視カメラの映像情報を記録する技術が知られている（例えば、特許文献３等参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００２－１４２１８９号公報
【文献】特開２００７－２６７３５１号公報
【文献】特開２００８－２１９２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えばスポーツを複数のカメラで撮影する場合には、歓声をあげている観客がいる位置と、歓声のきっかけとなったプレーが行われている位置とがかけ離れている場合がある。この場合、上記特許文献３のように、盛り上がりの音を検出したマイクに対応するカメラの映像をスポーツのダイジェストとして記録してしまうと、適切なダイジェスト映像を生成することができないおそれがある。
【0006】
１つの側面では、本発明は、ダイジェスト映像の生成に用いることが可能な映像情報を出力する映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
一つの態様では、映像情報出力装置は、複数のマイクから音声データを受信する受信部と、前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、を備えている。
【発明の効果】
【0008】
ダイジェスト映像の生成に用いることが可能な映像情報を出力することができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る情報処理システムの構成を概略的に示す図である。
【図4】歓声時間特定部の処理を示すフローチャートである。
【図6】フィルタリング部、カメラ選定部及び出力部の処理を示すフローチャートである。
【図9】ダイジェスト情報ＤＢのデータ構造を示す図である。
【発明を実施するための形態】
【0010】
【0011】
図１には、映像情報出力システムの一実施形態である、情報処理システム１００の構成が概略的に示されている。本実施形態の情報処理システム１００は、例えば室内のフットサルコートで行われるフットサルの試合を複数のビデオカメラで撮影し、撮影後の映像ファイル（映像データ及び音声データを含む）からダイジェストシーンを抽出してダイジェスト映像を編集するシステムである。
【0012】
図１に示すように、情報処理システム１００は、映像情報出力装置としての情報処理装置１０と、ビデオカメラ１４Ａ、１４Ｂと、基準マイク１２と、を備える。情報処理装置１０と、ビデオカメラ１４Ａ、１４Ｂ及び基準マイク１２とは、ＰｏＥ（Power over Ethernet（登録商標）） ＨＵＢやＬ２ＳＷ（layer 2 switch）を介して接続されている。
【0013】
ビデオカメラ１４Ａ、１４Ｂは、例えば、図１に示すようにフットサルコートの隅部に設置されており、各ビデオカメラ１４Ａ、１４Ｂの画角は固定されているものとする。本実施形態では、各ビデオカメラ１４Ａ、１４Ｂは、設置位置の近傍を撮影する。すなわち、図１において破線で示すように、一方のビデオカメラ１４Ａは、フットサルコートの左半分側を主に撮影し、他方のビデオカメラ１４Ｂは、フットサルコートの右半分側を主に撮影する。ここで、内蔵マイク１３Ａ、１３Ｂの集音範囲は、各マイクの周辺となっている。このため、内蔵マイク１３Ａとビデオカメラ１４Ａの撮影範囲とは対応しており、内蔵マイク１３Ｂとビデオカメラ１４Ｂの撮影範囲とは対応していると言える。ビデオカメラ１４Ａ、１４Ｂは、撮影した映像データと、内蔵マイク（１３Ａ、１３Ｂ）により取得した音声データと、を例えばｍｋｖファイルなどの映像ファイルの形式で情報処理装置１０に対して送信する。
【0014】
基準マイク１２は、フットサルコートのセンターライン近傍に設置されており、室内（フットサルコートの周辺）の音声データを取得し、情報処理装置１０に対して送信する。
【0015】
情報処理装置１０は、ビデオカメラ１４Ａ、１４Ｂと基準マイク１２から送信されてくる映像データや音声データに基づいて、ダイジェスト映像を編集する。
【0016】
図２には、情報処理装置１０のハードウェア構成が示されている。図２に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、ネットワークインタフェース９７、表示部９３、入力部９５、及び可搬型記憶媒体用ドライブ９９等を備えている。表示部９３は液晶ディスプレイ等を含み、入力部９５は、キーボードやマウス、タッチパネル等を含む。これら情報処理装置１０の構成各部は、バス９８に接続されている。情報処理装置１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（映像情報出力プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（映像情報出力プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す各部の機能が実現されている。なお、図３の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
【0017】
図３には、情報処理装置１０の機能ブロック図が示されている。図３に示すように、情報処理装置１０は、ＣＰＵ９０がプログラムを実行することにより、ダイジェスト情報生成・出力部１５、及び編集部５０として機能する。ダイジェスト情報生成・出力部１５は、ビデオカメラ１４Ａ、１４Ｂや、基準マイク１２から送信されてくる映像データと音声データから、ダイジェストシーンとすべき映像データ及び音声データの情報（ダイジェスト情報）を生成し、編集部５０に対して出力する。編集部５０は、ダイジェスト情報生成・出力部１５から出力されたダイジェスト情報に基づいてダイジェスト映像を編集する。
【0018】
ここで、ダイジェスト情報生成・出力部１５は、図３に示すように、受信部２０、切出し処理部２２、歓声時間特定部２４、抽出部としてのフィルタリング部２６、選定部としてのカメラ選定部２８、及び出力部３０を有する。
【0019】
受信部２０は、ビデオカメラ１４Ａ、１４Ｂや、基準マイク１２から送信されてくる映像データと音声データを受信し、映像・音声ＤＢ４０に格納する。
【0020】
切出し処理部２２は、例えば、ユーザ等が試合の開始時刻と終了時刻を指定して編集開始指示を入力した場合に、映像・音声ＤＢ４０に格納されている映像データと音声データから、試合中の映像データと音声データとを切り出す処理を実行する。切出し処理部２２は、切出した映像データと音声データとを切出し映像・音声ＤＢ４２に格納する。
【0021】
歓声時間特定部２４は、切出し映像・音声ＤＢ４２に格納された基準マイク１２の音声データを用いて、歓声があった時間帯を特定する。
【0022】
フィルタリング部２６は、歓声があった時間帯の前の所定時間（例えば３秒間）において内蔵マイク１３Ａ、１３Ｂが取得した音声データを切出し映像・音声ＤＢ４２から取得する。そして、フィルタリング部２６は、取得した音声データそれぞれをバンドパスフィルタにかけ、所定の周波数成分のみを抽出する。
【0023】
カメラ選定部２８は、フィルタリング部２６が抽出した所定の周波数成分の積分値が最も大きい内蔵マイクを選定し、選定した内蔵マイクに対応するビデオカメラを選定する。カメラ選定部２８は、選定したビデオカメラの情報と、歓声があった時間帯とその前の所定時間（例えば３秒間）を含む時間帯（ダイジェスト時間）の情報とをダイジェスト情報ＤＢ４６に格納する。
【0024】
出力部３０は、ダイジェスト情報ＤＢ４６に格納されている情報（ダイジェスト情報）を編集部５０に対して出力する。
【0025】
なお、本実施形態では、歓声時間特定部２４とフィルタリング部２６とにより、基準マイク１２の音声データの音圧が閾値を超えた時刻（歓声開始時刻）を基準とする時間帯を特定する特定部としての機能が実現されている。
【0026】
【0027】
（図４の処理について）
図４の処理は、ユーザが、入力部９５を介して、フットサルの試合開始時刻と試合終了時刻を指定して、編集開始指示を入力した場合に歓声時間特定部２４が実行する処理である。なお、図４の処理が開始される段階では、既にフットサルの試合が終了しているものとする。また、受信部２０は、ユーザがフットサルコートを利用している間にビデオカメラ１４Ａ、１４Ｂから得られた映像ファイルと、基準マイク１２から得られた音声データを受信して、映像・音声ＤＢ４０に格納しているものとする。更に、切出し処理部２２は、ユーザによって指定された試合開始時刻と試合終了時刻に基づいて、試合中の映像データと音声データを切り出し、切出し映像・音声ＤＢ４２に格納しているものとする。
図４の処理は、ユーザが、入力部９５を介して、フットサルの試合開始時刻と試合終了時刻を指定して、編集開始指示を入力した場合に歓声時間特定部２４が実行する処理である。なお、図４の処理が開始される段階では、既にフットサルの試合が終了しているものとする。また、受信部２０は、ユーザがフットサルコートを利用している間にビデオカメラ１４Ａ、１４Ｂから得られた映像ファイルと、基準マイク１２から得られた音声データを受信して、映像・音声ＤＢ４０に格納しているものとする。更に、切出し処理部２２は、ユーザによって指定された試合開始時刻と試合終了時刻に基づいて、試合中の映像データと音声データを切り出し、切出し映像・音声ＤＢ４２に格納しているものとする。
【0028】
図４の処理では、まず、ステップＳ１０において、歓声時間特定部２４が、基準マイク１２の音声データを切出し映像・音声ＤＢ４２から取得する。例えば、歓声時間特定部２４は、図５（ａ）に示すような音声データを取得したものとする。
【0029】
次いで、ステップＳ１２では、歓声時間特定部２４が、取得した音声データの初期時刻の音圧（音圧レベル）を取得する。次いで、ステップＳ１４では、歓声時間特定部２４が、取得した音圧が１５ｄＢ以上か否かを判断する。このステップＳ１４の判断が否定された場合には、ステップＳ２８に移行する。ステップＳ２８では、歓声時間特定部２４が、音声データの末尾であるか否かを判断する。このステップＳ２８の判断が否定された場合には、ステップＳ３０に移行し、歓声時間特定部２４は、ｔ秒後（例えば１０ｍｓ後）の音圧を取得した後、ステップＳ１４に戻る。
【0030】
一方、ステップＳ１４の判断が肯定された場合、すなわち取得した音圧が１５ｄＢ以上であった場合には、ステップＳ１６に移行し、歓声時間特定部２４は、歓声開始時刻を歓声時間ＤＢ４４に記憶する。ここで、歓声時間ＤＢ４４は、図５（ｂ）に示すようなデータ構造を有している。具体的には、歓声時間ＤＢ４４には、歓声時間の情報（歓声開始時刻と歓声終了時刻）を格納することができる。したがって、ステップＳ１６では、歓声時間特定部２４は、歓声開始時刻の欄に取得した音圧に対応する時刻（年月日時分秒ミリ秒）を記憶する。なお、この時点では、記憶した歓声開始時刻に対応する歓声終了時刻は記憶されていない（空欄である）ものとする。
【0031】
次いで、ステップＳ１８では、歓声時間特定部２４が、ｔ秒後の音圧を取得する。そして、次のステップＳ２０では、歓声時間特定部２４が、音圧が１５ｄＢ未満か否かを判断する。このステップＳ２０の判断が否定されている間、すなわち、音圧が１５ｄＢ以上である間は、ステップＳ１８、Ｓ２０（否定）を繰り返す。一方、ステップＳ２０の判断が肯定された場合、すなわち、音圧が１５ｄＢ未満となった場合には、ステップＳ２２に移行する。
【0032】
ステップＳ２２に移行すると、歓声時間特定部２４は、歓声開始時刻からの経過時間が３００ｍｓ以上であるか否かを判断する。このステップＳ２２の判断が肯定された場合、すなわち図５（ａ）の範囲Ａのように、１５ｄＢ以上の音圧が３００ｍｓ以上続いた場合には、歓声があったことを意味する。この場合、歓声時間特定部２４は、ステップＳ２４に移行し、ステップＳ１６で歓声時間ＤＢ４４に記憶した歓声開始時刻に対応する歓声終了時刻として、直前にステップＳ１８で取得した音圧に対応する時刻（年月日時分秒ミリ秒）を記憶する。その後は、ステップＳ２８に移行する。
【0033】
一方、ステップＳ２２の判断が否定された場合、すなわち図５（ａ）の範囲Ｂのように１５ｄＢ以上の音圧が３００ｍｓ以上続かなかった場合には、歓声が無かったことを意味する。この場合、歓声時間特定部２４は、ステップＳ２６に移行し、ステップＳ１６で歓声時間ＤＢ４４に記憶した歓声開始時刻を削除して、ステップＳ２８に移行する。
【0034】
その後は、ステップＳ２８の判断が肯定されるまで、上述した処理を繰り返し実行し、ステップＳ２８の判断が肯定された段階で、図４の全処理を終了する。図４の全処理が終了した段階では、試合中において発生した全ての歓声の情報（歓声時間）が歓声時間ＤＢ４４に格納されることになる。これを例示したものが図５（ｂ）の各エントリである。
【0035】
【0036】
図６の処理では、まず、ステップＳ５０において、フィルタリング部２６が、歓声時間ＤＢ４４に格納されている歓声開始時刻を１つ選択し、その直前の３秒間を特定する。例えば、図７に示す範囲Ａの先頭の歓声開始時刻を選択した場合には、その直前の３秒間を特定する。
【0037】
次いで、ステップＳ５２では、フィルタリング部２６が、全ビデオカメラに対応する内蔵マイクから特定した３秒間に得られた音声データに対して、周波数フィルタリング処理を実行する。例えば、フィルタリング部２６は、フットサルを行う人の足音（シューズ音）の周波数帯域が３～４ｋＨｚである場合に、当該周波数帯域を通過させるバンドパスフィルタに対して音声データを通す。
【0038】
例えば、内蔵マイク１３Ａ、１３Ｂの上記３秒間の音声データが図８（ａ）、図８（ｃ）に示すようなデータであったとする。この場合、図８（ａ）の内蔵マイク１３Ａの音声データは、バンドパスフィルタに通すことで、図８（ｂ）に示すような３～４ｋＨｚの周波数成分のみの音声データとなる。また、図８（ｃ）の内蔵マイク１３Ｂの音声データは、バンドパスフィルタに通すことで、図８（ｄ）に示すような３～４ｋＨｚの周波数成分のみの音声データとなる。
【0039】
次いで、ステップＳ５４では、カメラ選定部２８が、各内蔵マイク１３Ａ、１３Ｂの、フィルタリング後の３秒間の音声データの音圧を積分する。すなわち、カメラ選定部２８は、図８（ｂ）と図８（ｄ）のグラフの面積を求めることとなる。
【0040】
次いで、ステップＳ５６では、カメラ選定部２８が、積分値が最も大きい内蔵マイクを選定するとともに、選定した内蔵マイクに対応する範囲を撮影するビデオカメラを選定し、ダイジェスト開始時刻及びダイジェスト終了時刻とともにダイジェスト情報ＤＢ４６に記憶する。なお、足音に対応する周波数成分の積分値が最も大きい内蔵マイクは、歓声のきっかけとなったプレーが行われた位置に最も近い内蔵マイクであると考えられる。したがって、足音に対応する周波数成分の積分値が最も大きい内蔵マイクに対応する範囲を撮影するビデオカメラは、歓声のきっかけとなったプレーを撮影していたと考えられる。
【0041】
図９には、ダイジェスト情報ＤＢ４６のデータ構造が示されている。図９に示すように、ダイジェスト情報ＤＢ４６は、カメラＩＤ、ダイジェスト開始時刻、ダイジェスト終了時刻の各フィールドを有する。このダイジェスト情報ＤＢ４６には、どのビデオカメラに撮影されたどの時間帯の映像がダイジェストシーンであるかを示す情報が格納されることになる。
【0042】
例えば、図８（ｂ）、図８（ｄ）の場合、積分値は、図８（ｂ）の内蔵マイク１３Ａの方が大きい。このため、カメラ選定部２８は、内蔵マイク１３Ａに対応するビデオカメラ１４Ａを選定する。そして、カメラ選定部２８は、ビデオカメラ１４ＡのカメラＩＤ（「Ａ」とする）と、ダイジェスト開始時刻（歓声開始時刻の３秒前の時刻）と、ダイジェスト終了時刻（歓声終了時刻と同時刻）と、をダイジェスト情報ＤＢ４６に記憶する。
【0043】
図６に戻り、次のステップＳ５８では、カメラ選定部２８が、全ての歓声開始時刻を選択し終えたか否かを判断する。換言すると、図５（ｂ）の全てのエントリに対しての処理が終わったかを判断する。このステップＳ５８の判断が否定された場合には、ステップＳ５０に戻り、ステップＳ５０～Ｓ５８の処理・判断を繰り返し実行する。一方、ステップＳ５８の判断が肯定された場合には、ステップＳ６０に移行し、出力部３０は、ダイジェスト情報ＤＢ４６に記憶されている情報（ダイジェスト情報）を編集部５０に対して出力する。なお、出力部３０は、ダイジェスト情報ＤＢ４６に記憶されている情報をｃｓｖファイルなどの形式で編集部５０に対して出力する。
【0044】
ダイジェスト情報生成・出力部１５が以上のような処理を実行することにより、図９に示すようなダイジェスト情報ＤＢ４６に記憶されているダイジェスト情報が編集部５０に対して出力される。このため、編集部５０は、ダイジェスト情報に基づいて、切出し映像・音声ＤＢ４２からダイジェストシーンを切り出すことで、歓声のきっかけとなったプレーが撮影された適切なダイジェスト映像を自動的に生成することができる。
【0045】
ここで、比較例として、カメラ選定部２８が、内蔵マイク１３Ａ、１３Ｂのうち音圧が大きい方の内蔵マイクを選定するとともに、選定した内蔵マイクに対応する範囲を撮影するビデオカメラの映像をダイジェスト映像とする場合について説明する。この例において、図１０（ａ）に示すように、フットサルコートの左側のゴールにシュートが決まったときに、フットサルコートの右側に存在する観客が歓声をあげたとする。この場合、比較例では、歓声をあげた観客に近い側のビデオカメラ１４Ｂの映像がダイジェスト映像となってしまうため、歓声があがるきっかけとなったゴールシーンが含まれない映像がダイジェスト映像となるおそれがある。これに対し、本実施形態では、カメラ選定部２８が、足音の周波数成分の積分値が大きい内蔵マイク１３Ａを選定するとともに、選定した内蔵マイク１３Ａに対応する範囲を撮影するビデオカメラ１４Ａを選定するため、図１０（ｂ）に示すように歓声のきっかけとなったシーンを撮影した映像をダイジェスト映像とすることができる。
【0046】
以上、詳細に説明したように、本実施形態によると、歓声時間特定部２４は、基準マイク１２の音声データの音圧が１５ｄＢを超えた時刻（歓声開始時刻）を特定し、フィルタリング部２６は歓声開始時刻の前の３秒間を特定する。また、フィルタリング部２６は、特定した３秒間に内蔵マイク１３Ａ、１３Ｂから受信した音声データから足音の周波数成分を抽出する。また、カメラ選定部２８は、抽出した周波数成分に基づいて内蔵マイクの１つを選定するとともに、選定した内蔵マイクの設置位置に対応する範囲を撮影するビデオカメラを選定する。そして、出力部３０は、選定されたビデオカメラの情報を含むダイジェスト情報を編集部５０に対して出力する。これにより、本実施形態では、フットサルなどの試合を撮影した映像からダイジェスト映像を生成するのに用いることが可能な適切な情報を出力することができる。したがって、編集部５０は、ダイジェスト情報を用いることで、適切なダイジェスト情報を生成することが可能である。
【0047】
また、本実施形態では、カメラ選定部２８は、内蔵マイク１３Ａ、１３Ｂそれぞれの足音に対応する周波数成分の積分値を求め、積分値が最も大きい内蔵マイクを選定するとともに、選定したマイクに対応するビデオカメラを選定する。これにより、歓声の直前に歓声のきっかけとなったプレーを撮影したビデオカメラを適切に選定することが可能である。
【0048】
また、本実施形態では、基準マイク１２の音声データの音圧が所定の閾値（例えば１５ｄＢ）を超えた時間が所定時間（例えば３００ｍｓ）以上となった場合に、歓声があったと判断するので、歓声の有無を適切に判断することができる。
【0049】
なお、上記実施形態では、情報処理装置１０が編集部５０を有する場合について説明したが、これに限られるものではない。例えば、情報処理装置１０の出力部３０は、ダイジェスト情報を表示部９３上に出力（表示）することとしてもよい。この場合、ユーザは、ダイジェスト情報を参照しながらダイジェスト映像を編集することができるため、ユーザの作業負担を軽減することが可能となる。また、情報処理装置１０の出力部３０は、他の装置（端末等）にダイジェスト情報を出力するようにしてもよい。この場合、他の装置がダイジェスト情報に基づいてダイジェスト映像を自動的に編集してもよいし、他の装置のユーザがダイジェスト情報を参照しながらダイジェスト映像を編集することとしてもよい。なお、情報処理装置１０が表示部９３や他の装置にダイジェスト情報を出力する場合には、情報処理装置１０は、ビデオカメラ１４Ａ、１４Ｂから映像データを受信（取得）しなくてもよい。
【0050】
なお、上記実施形態では、基準マイク１２が１つである場合について説明したが、これに限らず、基準マイクが複数あってもよい。この場合、複数の基準マイクの各時刻における音圧を合計して、閾値と比較してもよいし、複数の基準マイクの各時刻における音圧を平均して、閾値と比較してもよい。また、例えば、基準マイク１２を用意せずに、複数の内蔵マイクの少なくとも１つを基準マイク１２の代わりに用いることとしてもよい。複数の内蔵マイクを基準マイクとする場合には、前述と同様、複数の基準マイクの各時刻における音圧を合計して、閾値と比較してもよいし、複数の基準マイクの各時刻における音圧を平均して、閾値と比較してもよい。
【0051】
なお、上記実施形態では、ビデオカメラの撮影範囲がビデオカメラの近傍でない場合もある。例えば、図１のビデオカメラ１４Ａが図１のフットサルコートの右側を望遠で撮影し、ビデオカメラ１４Ｂがコートの左側を望遠で撮影する場合もある。このような場合には、どの内蔵マイクの集音範囲とどのビデオカメラの撮影範囲とが対応するかを示すテーブルを用意しておく。そして、カメラ選定部２８は、ステップＳ５６において、用意しておいたテーブルを参照して、積分値が最も大きい内蔵マイクに対応するビデオカメラを選定するようにすればよい。
【0052】
なお、上記実施形態では、足音に対応する周波数を３～４ｋＨｚとし、音声データから当該周波数成分を抽出する場合について説明したが、これに限られるものではない。スポーツの種類や場所などに合わせて、抽出する周波数成分を変更してもよい。例えば、剣道であれば竹刀の音に対応する周波数成分、柔道であれば足と畳がこすれる音に対応する周波数成分などを抽出するようにすればよい。また、歓声の有無の判定に用いる音圧の閾値（１５ｄＢ）や経過時間の閾値（３００ｍｓ）についても、スポーツの種類や場所などに合わせて、その他の値に変更してもよい。
【0053】
なお、上記実施形態では、フィルタリング部２６は、歓声開始時刻を基準とする時間帯を特定する際に、歓声開始時刻の前の３秒間を特定する場合について説明したが、これに限られるものではない。歓声開始時刻を基準とする時間帯の長さは３秒間以外であってもよい。また、フィルタリング部２６は、歓声開始時刻の後の時間帯や、歓声開始時刻の前後の時間帯を特定することとしてもよい。
【0054】
なお、上記実施形態では、カメラ選定部２８は、音声データの所定の周波数成分の積分値に基づいて、内蔵マイク及びこれに対応するビデオカメラを選定する場合について説明したが、これに限られるものではない。例えば、カメラ選定部２８は、音声データの所定の周波数成分において、所定の音圧（例えば１５ｄＢ）を超えるピークの数が最も多い内蔵マイク及びこれに対応するビデオカメラを選定してもよい。また、カメラ選定部２８は、その他の方法により内蔵マイク及びこれに対応するビデオカメラを選定することとしてもよい。
【0055】
なお、上記実施形態では、フットサルコート近傍にビデオカメラを２台設置した場合について説明したが、これに限らず、ビデオカメラは３台以上設置されてもよい。
【0056】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【0057】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0058】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【0059】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【0060】
なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 複数のマイクから音声データを受信する受信部と、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、
を備える映像情報出力装置。
（付記２） 前記所定の周波数成分は、人の足音に対応する周波数成分であることを特徴とする付記１に記載の映像情報出力装置。
（付記３） 前記選定部は、前記所定の周波数成分の音圧レベルの積分値が最も大きいマイクを選定する、ことを特徴とする付記１又は２に記載の映像情報出力装置。
（付記４） 前記出力部が出力した前記映像情報を用いて、複数のカメラで撮影された映像を編集する編集部を更に備える付記１～３のいずれかに記載の映像情報出力装置。
（付記５） 前記特定部は、前記基準マイクの音声データの音圧レベルが所定の閾値を超えた時間が所定時間以上となった場合に、前記所定の閾値を超えた時刻の直前の時間帯を特定する、ことを特徴とする付記１～４のいずれかに記載の映像情報出力装置。
（付記６） 複数のマイクと、
前記複数のマイクと接続された映像情報出力装置と、を備え、
前記映像情報出力装置は、
前記複数のマイクから音声データを受信する受信部と、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、を有する、
ことを特徴とする映像情報出力システム。
（付記７） 複数のマイクから音声データを受信し、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定し、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出し、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定し、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する、
処理をコンピュータに実行させるための映像情報出力プログラム。
（付記８） 前記所定の周波数成分は、人の足音に対応する周波数成分であることを特徴とする付記７に記載の映像情報出力プログラム。
（付記９） 前記選定する処理では、前記所定の周波数成分の音圧レベルの積分値が最も大きいマイクを選定する、ことを特徴とする付記７又は８に記載の映像情報出力プログラム。
（付記１０） 前記出力する処理で出力した前記映像情報を用いて、複数のカメラで撮影された映像を編集する処理を前記コンピュータに更に実行させる付記７～９のいずれかに記載の映像情報出力プログラム。
（付記１１） 前記特定する処理では、前記基準マイクの音声データの音圧レベルが所定の閾値を超えた時間が所定時間以上となった場合に、前記所定の閾値を超えた時刻の直前の時間帯を特定する、ことを特徴とする付記７～１０のいずれかに記載の映像情報出力プログラム。
（付記１２） 複数のマイクから音声データを受信し、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定し、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出し、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定し、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する、
処理をコンピュータが実行することを特徴とする映像情報出力方法。
（付記１） 複数のマイクから音声データを受信する受信部と、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、
を備える映像情報出力装置。
（付記２） 前記所定の周波数成分は、人の足音に対応する周波数成分であることを特徴とする付記１に記載の映像情報出力装置。
（付記３） 前記選定部は、前記所定の周波数成分の音圧レベルの積分値が最も大きいマイクを選定する、ことを特徴とする付記１又は２に記載の映像情報出力装置。
（付記４） 前記出力部が出力した前記映像情報を用いて、複数のカメラで撮影された映像を編集する編集部を更に備える付記１～３のいずれかに記載の映像情報出力装置。
（付記５） 前記特定部は、前記基準マイクの音声データの音圧レベルが所定の閾値を超えた時間が所定時間以上となった場合に、前記所定の閾値を超えた時刻の直前の時間帯を特定する、ことを特徴とする付記１～４のいずれかに記載の映像情報出力装置。
（付記６） 複数のマイクと、
前記複数のマイクと接続された映像情報出力装置と、を備え、
前記映像情報出力装置は、
前記複数のマイクから音声データを受信する受信部と、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定する特定部と、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出する抽出部と、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定する選定部と、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する出力部と、を有する、
ことを特徴とする映像情報出力システム。
（付記７） 複数のマイクから音声データを受信し、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定し、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出し、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定し、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する、
処理をコンピュータに実行させるための映像情報出力プログラム。
（付記８） 前記所定の周波数成分は、人の足音に対応する周波数成分であることを特徴とする付記７に記載の映像情報出力プログラム。
（付記９） 前記選定する処理では、前記所定の周波数成分の音圧レベルの積分値が最も大きいマイクを選定する、ことを特徴とする付記７又は８に記載の映像情報出力プログラム。
（付記１０） 前記出力する処理で出力した前記映像情報を用いて、複数のカメラで撮影された映像を編集する処理を前記コンピュータに更に実行させる付記７～９のいずれかに記載の映像情報出力プログラム。
（付記１１） 前記特定する処理では、前記基準マイクの音声データの音圧レベルが所定の閾値を超えた時間が所定時間以上となった場合に、前記所定の閾値を超えた時刻の直前の時間帯を特定する、ことを特徴とする付記７～１０のいずれかに記載の映像情報出力プログラム。
（付記１２） 複数のマイクから音声データを受信し、
前記複数のマイクに含まれる基準マイクの音声データの音圧レベルが所定の閾値を超えた時刻を基準とする時間帯を特定し、
前記複数のマイクのうちの少なくとも２つのマイクそれぞれから受信した前記時間帯の音声データから、所定の周波数成分を抽出し、
抽出した前記所定の周波数成分に基づいて、１つのマイクを選定するとともに、選定した前記マイクの設置位置に対応する範囲を撮影するカメラを選定し、
前記時間帯を含む時間の情報と選定した前記カメラの情報とを含む映像情報を出力する、
処理をコンピュータが実行することを特徴とする映像情報出力方法。
【符号の説明】
【0061】
１０ 情報処理装置（映像情報出力装置）
１２ 基準マイク（マイク）
１３Ａ、１３Ｂ 内蔵マイク（マイク）
１４Ａ、１４Ｂ ビデオカメラ（カメラ）
２０ 受信部
２４ 歓声時間特定部（特定部の一部）
２６ フィルタリング部（特定部の一部、抽出部）
２８ カメラ選定部（選定部）
３０ 出力部
５０ 編集部
１００ 映像情報出力システム（情報処理システム）
１２ 基準マイク（マイク）
１３Ａ、１３Ｂ 内蔵マイク（マイク）
１４Ａ、１４Ｂ ビデオカメラ（カメラ）
２０ 受信部
２４ 歓声時間特定部（特定部の一部）
２６ フィルタリング部（特定部の一部、抽出部）
２８ カメラ選定部（選定部）
３０ 出力部
５０ 編集部
１００ 映像情報出力システム（情報処理システム）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】