(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-16
(45)【発行日】2022-11-25
(54)【発明の名称】情報処理装置、情報処理プログラムおよび記録媒体
(51)【国際特許分類】
H04N 5/268 20060101AFI20221117BHJP
H04N 5/232 20060101ALI20221117BHJP
H04N 21/854 20110101ALI20221117BHJP
【FI】
H04N5/268
H04N5/232 300
H04N21/854
(21)【出願番号】P 2022542801
(86)(22)【出願日】2021-08-02
(86)【国際出願番号】 JP2021028523
(87)【国際公開番号】W WO2022034814
(87)【国際公開日】2022-02-17
【審査請求日】2022-08-05
(31)【優先権主張番号】P 2020135599
(32)【優先日】2020-08-11
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020164204
(32)【優先日】2020-09-30
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】520192083
【氏名又は名称】コンテンツライツ合同会社
(74)【代理人】
【識別番号】100140350
【氏名又は名称】渡辺 和宏
(72)【発明者】
【氏名】渡辺 和宏
【審査官】西谷 憲人
(56)【参考文献】
【文献】特開2009-200965(JP,A)
【文献】特表2017-536021(JP,A)
【文献】国際公開第2016/132864(WO,A1)
【文献】特開2017-208702(JP,A)
【文献】特開2009-200966(JP,A)
【文献】特開2009-200964(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/268
H04N 5/222
H04N 5/232
H04N 21/262
H04N 5/765
H04N 5/91
H04N 21/854
H04H 60/02
(57)【特許請求の範囲】
【請求項1】
ネットワークカメラを含む複数の映像ソースの映像を素材として映像コンテンツを出力(制作乃至は配信)する情報処理を行う情報処理装置であって、
前記映像ソースより送信するノードが受信するノードの受信を確認することなくデータを転送する転送方式により転送された映像信号に基づいてスイッチングするスイッチング手段と、
前記スイッチング手段によりどの映像ソースがどのタイミングでスイッチングされていたかに関する情報と前記映像ソースより出力された映像データとに基づいて映像コンテンツを、受信するノードの受信通知を確認するまで同じデータ(パケット)を再送信し続ける転送方式により出力(制作乃至は配信)する情報処理手段とを有することを特徴とする情報処理装置。
【請求項3】
前記ネットワークカメラには少なくともパン・チルト・ズームのいずれかが可能なものが含まれ、
前記ネットワークカメラのパン・チルト・ズームをコントロールするPTZコントロール手段を有することを特徴とする、請求項1から2に記載の情報処理装置。
【請求項6】
一連のカメラワークをあらかじめプログラムするプログラムドカメラワーク手段と、
ユーザー指示に基づき前記プログラムドカメラワーク手段によりプログラムされたカメラワークを順次実行するカメラワーク実行手段とを有することを特徴とする請求項1から5に記載の情報処理装置。
【請求項8】
コンピューターを、請求項1から6のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラムを格納したコンピューターが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワークカメラを含む複数の映像ソースの映像を素材とした映像コンテンツの制作乃至は配信に係る情報処理を行う情報処理装置に関する。
【背景技術】
【0002】
一般にTV番組等の映像コンテンツの作成は、被写対象に対して異なる方向(画角)から複数台の撮像機器により撮像した映像信号をモニター画面上に映し出し、スイッチャー(映像切り替え手段)により、視聴者の視聴に供される映像コンテンツに使用する映像と使用しない映像とを、切り替えボタン等の操作により切り替える(スイッチングする)ことにより行われる。
【0003】
ところで、従来より、インターネットやLAN等のコンピューターネットワークを通じて映像信号を送出するネットワークカメラが普及している。また、近年、業務・放送用や一般撮影用のビデオカメラ、デジタルカメラの中にも、撮影している映像をコンピューターネットワークを通じて送出可能なものが登場している。
【0004】
そこで、こうしたネットワークカメラ(コンピューターネットワークを通じて映像送出可能なカメラ)を、映像ソースをスイッチングして行う映像コンテンツの作成に使用して、回線セッティング等の手間や機材コスト等を低減し、映像コンテンツ制作の簡便化や迅速化、コスト低減を図りたいという課題・ニーズがある。
【0005】
また、近年、インターネットにおける映像配信ではHTTP(HyperText Transfer Protocol)に準拠して映像を送信するHTTPストリーミング配信が主流となっている。HTTPストリーミングは、映像データを微小時間(たとえば10秒)のTS(Transport Stream)ファイルにセグメント化(細分化)し、その再生指示をするプレイリスト(M3Uファイル、MPDファイル等の形式がある)とともにHTTPデータ転送し、視聴者端末において、受信したTSファイルをプレイリストに従って連続的に再生するものである。
HTTPストリーミングにはHLS(HTTP Live Streaming)やMPEG-DASH(Dynamic Adaptive Streaming over HTTP)等の形式がある。
【0006】
コンピューターネットワークにおけるデータ送信には、受信するノードの受信通知を確認するまで同じデータ(パケット)を再送信し続けるTCP(Transmission Control Protocol)を使用する方式と、送信するノードが受信するノードの受信を確認することなくデータを転送するUDP(User Datagram Protocol)を使用する方式がある。
HTTPストリーミングのデータ転送はTCP(Transmission Control Protocol)を使用するため、データ転送による信号品質の劣化が抑制される。また、WEBサーバーにおける一般的なファイル転送と同様の転送方式であり、配信コストの低減等を図ることが可能である。
【0007】
特許文献1には、撮像による映像信号をパケット化して出力する複数のカメラ装置と、複数のカメラ装置と接続され、複数のカメラ装置から伝送される前記映像信号を中継する中継装置と、を有し、中継装置は、同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信する受信部と、映像を選択するための制御信号に基づいて、複数のカメラ装置から出力された映像信号を選択して出力するためのスイッチ部とを備えることにより、複数のカメラ装置からの映像の中から所望の映像を選択することができ、且つシステム構成を簡素にするカメラシステムの技術が開示されている。
【0008】
また、特許文献2には、非圧縮映像信号を受信し、非圧縮映像データのIPパケットストリームを生成すると同時に、非圧縮信号を圧縮し、圧縮映像データのIPパケットストリームを生成する映像伝送装置と、複数の前記映像伝送装置から受信したIPパケットストリームのなかから非圧縮映像データのIPパケットストリームを高品質映像として配信すると同時に、圧縮映像データのIPパケットストリームを映像の監視用にモニターシステムに配信する映像配信システムと、前記圧縮映像データのIPパケットストリームのなかからモニターに表示するIPパケットストリームを選択してモニターに表示するモニターシステムとを備えることにより、IPベースの放送システムに適用できる映像伝送装置およびモニターシステムの技術が開示されている。
【0009】
また、特許文献3には、入力したテキストの部分に対して、撮像装置を含む映像ソースやカメラワークを割り付けることにより、構成台本や取材メモ等コンテンツ構成を示すテキスト(文字・文章)を見て、どのような構図にするか、複数のカメラを含む映像ソースをどのように切り換えるかを決定することが可能な情報処理装置の技術が開示されている。
【0010】
また、特許文献4は、ストリーミングデータから抽出した再生用映像クリップを特定するクリップ情報ファイルと、クリップを構成する複数のセグメントファイルの再生を指示するための再生指示ファイルとを生成し、前記再生指示ファイルを含む前記クリップ情報ファイルを編集し、前記クリップ情報ファイルを公開用サイトに転送することにより、例えばスポーツ実況中継において、その映像をライブ配信しながら、ハイライトシーンに対応するクリップを定義するプレイリストを含むクリップ情報ファイルをWeb上で公開できる映像ストリーミング配信装置の技術を開示している。
【0011】
また、特許文献5は、複数のTSパケットを含む動画ファイルを再生する再生手段と、複数のTSパケットを含む動画ファイルを分解してIPマルチキャスト送信されてくるUDPパケットを受け取るUDPパケット受信手段と、上記UDPパケット受信手段が受け取ったUDPパケットから上記動画ファイルに再構築してHTTPに準拠して上記再生手段に供給する動画ファイル再構築手段とを有し、上記動画ファイル再構築手段は、上記動画ファイルに対応する複数のUDPパケットのうちの少なくとも1つのUDPパケットを受け取らない場合に、完全なTSパケットのみを含む態様で上記動画ファイルを再構築することにより、HTTPに準拠して動画を配信する場合に、IPマルチキャスト通信を用い、さらに、再生ロスを可及的に減少させるコンテンツ配信技術を開示している。
【先行技術文献】
【特許文献】
【0012】
【文献】特開2015-62311号公報
【文献】特開2016-9881号公報
【文献】特開2012-14420号公報
【文献】特許第5909546号公報
【文献】特許第6490284号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
ネットワークカメラから映像信号をリアルタイム転送するためには、送信するノードが受信するノードの受信を確認することなくデータを転送するUDP(User Datagram Protocol)を基本としたRTP(Real-time Transport Protocol)が使用される。しかし、RTP通信は、相手に送信データが届かなくても再送しないため、ネットワーク上で転送データの一部が損失するパケットロストが発生した場合、映像や音声が劣化する。したがって、このようなデータを視聴者の視聴に供する映像コンテンツの素材としてそのまま使用することはできない。
一方、コンピューターネットワークで標準的に利用されるTCP/IP(Transmission Control Protocol/Internet Protocol)は、データ品質を優先してリアルタイム性が劣る(タイミングがずれる)ため、TCP/IPにより転送される映像データは、スイッチングやカメラワーク制御のためのライブビュー映像として適さない、という問題があった。
また、先述のHTTPストリーミングに拠れば、ノイズのない高品質の映像・音声配信が可能になる。しかし、それぞれのネットワークカメラや映像ソースより生成・出力されるデータにはスイッチングが反映されないため、スイッチングを反映したHTTPストリーミング配信をするためのデータ処理が必要となる。
【0014】
しかし、上記文献に開示されている技術を含む従来技術に、これらの問題を解決したものはなかった。
本発明は上記の問題点を解消するためになされたものであり、ネットワークカメラを含む複数の映像ソースの映像をスイッチングして映像コンテンツを出力(制作乃至は配信)するのに好適な情報処理装置を提供することを目的とするものである。
【課題を解決するための手段】
【0015】
本発明の情報処理装置は、ネットワークカメラを含む複数の映像ソースの映像を素材として映像コンテンツを出力(制作乃至は配信)する情報処理を行う情報処理装置であって、前記映像ソースより送信するノードが受信するノードの受信を確認することなくデータを転送する転送方式により転送された映像信号に基づいてスイッチングするスイッチング手段と、前記スイッチング手段によりどの映像ソースがどのタイミングでスイッチングされていたかに関する情報と前記映像ソースより出力された映像データとに基づいて映像コンテンツを出力(制作乃至は配信)する情報処理手段とを有する。
【発明の効果】
【0016】
本発明によれば、ネットワークカメラを含む映像ソースをスイッチングして映像コンテンツを出力(制作乃至は配信)するのに好適な情報処理装置が実現できる。
【図面の簡単な説明】
【0017】
【
図1】本実施形態に係る情報処理装置の要部構成を示すブロック図である。
【
図2】本実施形態に係る情報処理装置が使用される様態の一例を示す図である。
【
図3】本実施形態に係る情報処理装置の機能モジュール構成を示すブロック図である。
【
図4】スイッチャー端末の機能モジュール構成を示すブロック図である。
【
図5】本実施形態に係る情報処理装置がスイッチャー端末のタッチパネルディスプレイに表示するWEBアプリケーション画面の例を示す図である。
【
図6】本実施形態に係る情報処理装置がスイッチャー端末のタッチパネルディスプレイに表示するカメラオペレーションパネルの例を示す図である。
【
図7】本実施形態に係る情報処理装置がシーケンスデータを生成し出力する処理の流れを示すフローチャートである。
【
図8】本実施形態に係る情報処理装置がどの映像ソースがどのタイミングでスイッチングされたかに関する情報に基づいてプレイリストを生成し配信する情報処理の例を示すフローチャートである。
【
図9】プログラムドカメラワークボタン523の押下に応じて表示される、プログラムドカメラワークパネルの一例を示す図である。
【
図10】プログラムドカメラワーク機能に係る処理の流れを示すフローチャートである。
【
図11】ショットの「サイズ」を説明する図である。
【
図12】本実施形態に係る情報処理装置が出力するシーケンスデータの一例を示す図である。
【
図15】本実施形態に係る情報処理装置に接続可能なネットワークカメラの要部構成を示すブロック図である。
【
図16】本実施形態に係る情報処理装置に接続可能な視聴者端末のコンテンツ受信再生に係る機能モジュールの構成を示すブロック図である。
【発明を実施するための形態】
【0018】
本明細書を通じて、「スイッチング」とは映像ソース(からの映像信号)を切り替えることをいい、瞬時の切り替えである「カット切替」と一定程度の時間をかけた切り替えである「トランジション」を含むものである。
【0019】
また、カメラの画角を水平方向に移動させる「パン」、カメラの画角を垂直方法に移動させる「チルト」、画角を拡大・縮小させる「ズーム」を総称して「PTZ」と呼ぶ。
また、スイッチング(カット切替とトランジション)とPTZコントロール(パン・チルト・ズームの制御)を併せて「カメラワーク」と呼ぶ。
【0020】
また、最初から最後まで、ひとつのカメラで、中間にスタート/ストップがなく連続的に撮影された映像の単位を「ショット」と呼ぶ。
また、ひとつの場面について、ショットやそれに準ずる単位の映像の切り替え・組み合わせにより構成されたひとつながりの映像を「シーン」と呼ぶ。
また、同じ構成のシーンについて行われる1回の収録を「テイク」と呼ぶ。
【0021】
また、視聴者の視聴に供される映像制作物を、「番組」や「番組コンテンツ」「映像コンテンツ」等と呼ぶ。
また、上記「映像コンテンツ」でシーンが登場する順番を表した番号を「シーン番号」と呼ぶ。
また、スイッチングされている映像ソースの映像を「PGM」と呼ぶ。
また、スイッチングされて切り替わる(切り替わり前の)映像ソースの映像を「PST」と呼ぶ。
【0022】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
【0023】
図1は本発明の実施形態に係る情報処理装置100の要部構成を示すブロック図である。
情報処理装置100は、CPU110、RAM120、ROM130、ディスプレイ160、操作部170、ネットワークI/F190が内部バス180を介して相互に接続されている。
【0024】
110はCPUであり、情報処理装置100自体の動作(機能を発揮させるための各部の動作)を制御する他、映像ソースの動作等を制御する信号の生成や、各種データの処理を行う。
【0025】
RAM120は、書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされる。また、OSや各種プログラムの作業領域としても使用される。
【0026】
ROM130は、不揮発性を持った読み取り専用の記憶装置で、BIOSや各種基本プログラム及び各種基本データの永続的な記憶領域として使用される。
【0027】
ディスプレイ160はLCD(液晶表示パネル)等による表示装置である。
【0028】
操作部170は、キーボードやマウス、ジョイスティック、リモートコントローラー、タッチパネル(タッチディスプレイを含む)等である。
【0029】
タッチディスプレイでは、ユーザーは手指やスタイラスペン等でアイコン等のGUI(Graphical User Interface)部材に対してタップ(タッチダウンしてタッチアップすること)やフリック(タッチしたまま素早く移動してタッチアップすること)等のタッチジェスチャーをすることにより、機器を操作して各種機能を実行させることができる。
【0030】
ネットワークI/F190は、ネットワークと接続するためのI/F(インターフェース)であり、ネットワークカメラ1500等の映像ソースや視聴者端末1600、スイッチャー端末400とネットワークを介して接続できるようにするためのものである。
ネットワークには、たとえばインターネット、有線LAN、無線LAN、携帯電話網等が含まれる。
【0031】
図2は、本発明の実施形態に係る情報処理装置を含む、コンテンツ出力システムの全体構成を示す図である。
図2において、100はコンテンツ出力(制作乃至は配信)を行う情報処理装置であり、ネットワークを介して視聴者端末1600に映像コンテンツを配信し、また、スイッチャー端末400にスイッチングによるコンテンツ制作機能を提供する。
視聴者端末1600、スイッチャー端末400は、たとえばPersonal Computer(以下「PC」という)、タブレット、スマートフォン等の情報端末である。
【0032】
図の例において、セレモニーやスポーツ、ゲーム、音楽演奏、科学実験、報道、社会情報、ミーティング、ドラマ(劇)等の「イベント」(210)が、複数のカメラ1500-1、1500-2、…により異なる方向(画角)から撮影されている。
【0033】
スイッチャー端末400は、たとえばディスプレイとタッチパネルが一体化したタッチパネルディスプレイを有し、ユーザー(コンテンツ制作者)によるGUI操作を受け付ける。このタッチパネルディスプレイに表示される操作画面(GUI)は、情報処理装置100のWEBサーバー機能により、スイッチャー端末400で起動したWEBブラウザー上にWEBアプリケーションとして表示されるものである。
スイッチャー端末400にはネットワークを介してネットワークカメラ1500等の映像ソースが接続され、機器のIPアドレスやユーザー名、パスワードで認証して、データアクセスやパンチルト等の機器制御が可能になっている。
コンテンツ制作者は、キュー出し(きっかけの合図出し)等でイベントを進行させながら、映像ソースからスイッチャー端末400にUDP転送された映像信号(リアルタイムのライブビュー)に基づき映像ソースをスイッチングして映像コンテンツの制作を行う。このとき、どの映像ソースがどのタイミングでスイッチングされたかを記録したシーケンスデータが生成され、情報処理装置100のRAM120等に転送・保存される。
【0034】
一方、カメラ1500-1、1500-2、…等の映像ソースの映像データ(映像クリップ)が、まず、その映像ソースが有する記憶手段(RAMやSDカード等の記憶メディア)に記憶(キャッシュ乃至バッファリングを含む)される。
その映像ソースがスイッチングされたときは、その記憶された映像データ(映像クリップ)をセグメントデータ(TSファイル)化する細分化処理が行われ、特定の記憶領域(たとえばオンラインストレージ上のフォルダー)に転送・保存される。なお、必要に応じて、該記憶手段(またはそれを司る制御手段)にはデータ細分化や転送・保存等のための機能モジュールが導入される。
もしくは、映像ソース自体がHTTPストリーミングの機能を有している等の場合には、各映像ソース内にセグメントデータ(TSファイル)が生成・保持される。そして、セグメントデータ(TSファイル)にメタデータとして付されたタイムコード等の時刻情報をその映像ソースがスイッチングされたタイミングとを参照・比較して、スイッチングされたタイミングに係るセグメントデータ(TSファイル)を、特定の記憶領域(たとえばオンラインストレージ上のフォルダー)に転送・保存する。
【0035】
次に、本発明の実施形態に係る情報処理装置100は、上記の、映像ソースがスイッチングされたタイミングに係るセグメントデータへのファイルパスと時間長とを記したプレイリスト(M3Uファイル、MPDファイル等のインデックスファイル)を生成し、視聴者端末1600に配信する(プレイリストを配信用ディレクトリーに登録する)。
視聴者端末1600はプレイリスト(M3Uファイル、MPDファイル等)を参照してセグメントデータをリクエストすることにより、マルチ映像ソースをスイッチングした映像コンテンツのストリーミング配信が実行される。
【0036】
なお、それぞれの映像ソースの映像から生成されたセグメントデータを、その映像ソース本体またはそれとコンピューターネットワークを介することなく接続された記録装置(記録メディア)に記録・保存し、そこから視聴者端末1600にデータ配信する(データ取得させる)こととしてもよい。そのようにしたときは、セグメントデータが視聴者端末1600等により取得可能になるまでのレイテンシー(latency、遅延)が改善される(遅延が低減する)。
【0037】
先述したように、UDP転送ではリアルタイム性が優先されてデータ品質が低下する(ノイズが生ずる)ため、UDP転送された映像信号をそのまま視聴者の視聴用に配信したり、映像コンテンツ作成の素材として使用することは適当でない。そこで、スイッチャー端末400では、各映像ソースからUDP転送された映像信号(ライブビュー)によりイベントの進行をリアルタイム性よく確認させつつスイッチングを行わせ、どの映像データ(映像ソース)がどのタイミングでスイッチングされていたかの情報を「シーケンスデータ」として生成・出力する。このシーケンスデータは、映像ソースから送出された映像データ(映像クリップ)のID(識別子)を含むものであり、映像データと関連付けられている。また、イン点(切替挿入開始時点)、アウト点(挿入終了時点)のタイムコードにより、どの映像データ(映像ソース)がどのタイミングでスイッチングされていたかの情報を有している。つまり、映像コンテンツのシーンの中でショットとして採用されている映像データ部分が参照可能になっているものである。
ユーザー(コンテンツ制作者)は、記録メディア230に接続された映像編集用端末240上で、上記のシーケンスデータに基づいて品質低下のない映像データを編集することにより、適宜、音楽効果や字幕、映像効果等を付して、視聴者の視聴に供されるような映像コンテンツを完成することができる。
【0038】
また、本実施形態に係る情報処理装置100は、映像ソースがスイッチングされたタイミングにおける映像のセグメントデータへのファイルパスを記載したプレイリストを生成する。セグメントデータの転送・配信にはTCPが使用されるため、データ品質が確保され、視聴者端末1600にノイズのない高品質の映像・音声配信が行われる。つまり、本実施形態に係る情報処理装置100は、ネットワークカメラを含む複数の映像ソースからUDP転送されたライブビュー映像に基づいて映像ソースの切り替え(スイッチング)を行わせ、どの映像ソースがどのタイミングでスイッチングされていたかの情報に基づいてコンテンツ配信のプレイリストを生成し、生成されたプレイリストに基づき、スイッチングされた映像ソースの映像データがTCP転送により視聴者端末1600に取得される。
【0039】
以上のような構成をとることにより、本実施形態に係る情報処理装置100に拠れば、冠婚葬祭等セレモニーやドラマ(劇)等の「イベント」の進行に沿って略リアルタイムに映像ソースをスイッチングしながら、ネットワーク伝送による品質低下の少ない映像データを素材にした映像コンテンツを出力(制作乃至は配信)し、視聴者の視聴に供することが可能になる。
なお、近年、WEBブラウザーでUDPを使用してリアルタイム映像通信を行うための技術としてWebRTC(Web Real-Time Communication)が登場しており、映像ソースよりスイッチングのためのライブビュー映像を転送する方法として、このWebRTCを用いることも可能である。
また、WEBブラウザーが、UDPによる映像ストリームを表示できないときは、ネットワークカメラに前述のONVIFが規定するスナップショット取得コマンドを送信して、静止画(JPEG画像)を連続的に取得し、これに基づいてスイッチングすることとしてもよい。
静止画(JPEG画像)は、たとえ連続していてもフレームレート(単位時間当たりの表示フレーム数)が十分でないため、そのまま視聴者の視聴に供することはできないが、これに基づいてスイッチングされたときの、どの映像ソースがどのタイミングでスイッチングされていたかに関する情報と前記映像ソースより出力された映像データとに基づけば、ノイズやフレームレート低下のない映像コンテンツを出力(制作乃至は配信)して視聴者の視聴に供することができる。
すなわち、WEBブラウザーがUDPによる映像ストリームを支持(サポート)しないときも、WEBブラウザー上にスイッチング手段を表示してユーザーに映像ソースをスイッチングさせ、映像コンテンツを出力(制作乃至は配信)する情報処理手段を実現することが可能になる。
【0040】
図3は本実施形態に係る情報処理装置100の機能モジュール構成を示すブロック図である。情報処理装置100は、記憶手段301、通信手段302、セグメントデータ生成手段303、プレイリスト生成手段304、プレイリスト配信手段305、セグメントデータ配信手段306、スイッチャー手段307、システム時計308を備える。
図3に示す諸機能は、装置内に記憶されたソフトウエアによる情報処理が、諸所のハードウエア資源を用いて実現されるものである。たとえばスイッチャー手段307は情報処理装置100のROM130に記憶されたソフトウエアによりCPU110が情報処理し、スイッチャー端末400のタッチパネルディスプレイ上にWEBアプリケーションのタッチGUIを表示するようにして実現される。
【0041】
記憶手段301は、映像コンテンツを、映像ソースから出力された映像クリップファイルとそのスイッチングされたタイミングを記録したシーケンスデータの組み合わせや、映像クリップファイルを細分化したセグメントデータ等の形式で保持する。
また、スイッチャー端末の利用者(WEBアプリケーションの使用者)やコンテンツ視聴者、広告主のID(識別子)やパスワード等を、それぞれ制作者データベース、視聴者データベース、広告主データベース等として保持する。
【0042】
通信手段302は、スイッチャー端末400や視聴者端末1600等との間での各種データやコマンドの送受信を行う。たとえば、スイッチャー端末400のWEBブラウザーと通信してWEBアプリケーションを表示する。また、視聴者端末1600のWEBブラウザーからのリクエストにより、コンテンツをストリーミング配信する。
【0043】
セグメントデータ生成手段303は、映像ソースから出力した映像データを微小時間(たとえば10秒)で細分化したセグメントデータ(TSファイル)を、たとえば”MPEG-2 TS”等の規格フォーマットに準拠して生成する。またその際、映像ソースのIDや映像データが撮影された時刻のタイムデータ、生成したセグメントへのファイルパス等を、セグメントデータ情報として記憶手段301に格納する。
【0044】
プレイリスト生成手段304は、セグメントデータ生成手段303により生成されたセグメントデータのうち、スイッチングされた映像ソースのスイッチングされたタイミングに係るセグメントデータへのファイルパスと時間長とを記したプレイリストを生成する。
【0045】
プレイリスト配信手段305は、視聴者端末1600のリクエストに応じてプレイリストを視聴者端末1600に配信する。具体的には、配信用ディレクトリー(フォルダー)にプレイリストを登録・保存する。
【0046】
セグメントデータ配信手段306は、セグメントデータ(TSファイル)を視聴者端末1600に配信する。具体的には、セグメントデータ(TSファイル)を特定のディレクトリー(フォルダー)に登録・保存し、そのファイルパスをプレイリストに記載する。
【0047】
スイッチャー手段307は、イベントの進行に従って、コンテンツ制作者ユーザーの指示により、スイッチャー端末400に接続された映像ソースのいずれかをそのイベントの映像コンテンツのそのタイミングにおける構成素材として選択スイッチングする。
システム時計308は、時刻サーバーと同期して計時を行う。
【0048】
図15は本実施形態に係る情報処理装置100に接続可能なネットワークカメラ1500の要部構成を示すブロック図である。
ネットワークカメラ1500は、CPU1510、RAM1520、ROM1530、撮像部1540、メモリI/F1550、ネットワークI/F1560、PTZ制御部1570、外部I/F1580が内部バス1590を介して相互に接続されている。
【0049】
1510はCPUであり、ネットワークカメラ1500の動作を制御する。
RAM1520は、書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされる。また、OSや各種プログラムの作業領域としても使用される。
ROM1530は、不揮発性を持った読み取り専用の記憶装置で、BIOSや各種基本プログラム及び各種基本データの永続的な記憶領域として使用される。
ネットワークカメラ1500を識別するための識別ID(IPアドレスなど)は、RAM1520またはROM1530に保持される。
撮像部1540はCCDやCMOS等の撮像センサーで光学像を光電変換し、CPUに転送する。
メモリI/F1550はSDカードやHDD等の記録メディアに接続して、映像信号や各種データの書き込みや読み出しを行う。
ネットワークI/F1560は、ネットワークを介して、インターネットプロトコルやONVIF等のプロトコルに従い、情報処理装置100や各種クライアントとの通信を行うためのI/Fを担う。ここでONVIFとは標準化団体Open Network Video Interface Forumにより策定された、機器制御や画像やメタデータの配信の開始等を指示するコマンド等を実装するプロトコルである。
PTZ制御部1570は、パン・チルト・ズーム機構を有するPTZカメラにおいて、パン・チルト・ズーム状態を得たり、操作指示に従ってPTZ制御を行う。
外部I/F1580にはマイクロホンやビューファインダー等の付属機器が接続される。必ずしもカメラ本体に直接付属されていなくてもよく、ケーブルを介して端子より接続されるものであってもよいし、ワイアレス接続されるものでもよい。マイクロホンにより音声がピックアップされたときは、映像信号と一体の音声トラックとして記録される。
【0050】
図16は、本実施形態に係る情報処理装置100に接続可能な視聴者端末1600のコンテンツ受信再生に係る機能モジュールの構成を示すブロック図である。
視聴者端末1600は、通信手段1601、プレイリスト取得手段1602、セグメントデータ取得手段1603、バッファ手段1604、再生手段1605を備える。
【0051】
通信手段1601は、HTTP等のプロトコルにより情報処理装置100との通信を行う。
プレイリスト取得手段1602は、情報処理装置100にプレイリスト取得要求を行い、情報処理装置100からプレイリストを取得する。そして、取得したプレイリストに記載された全てのセグメントデータの再生が完了する前に、プレイリスト取得要求を再送し、プレイリストを再取得(リロード)する。取得したプレイリストに最後のプレイリストである旨が記載されていた場合は、プレイリストの取得を終了する。
セグメントデータ取得手段1603は、取得したプレイリストに記載されている順にセグメントデータを取得する。即ち、プレイリストに記載されているTSファイルのファイルパスを示すURL(Uniform Resource Locator)宛てに取得要求を送信する。
バッファ手段1604は、取得したセグメントデータを一定時間長分バッファリング(一時的に保持)する。
再生手段1605は、バッファ手段1604にバッファリングされたセグメントデータを、プレイリストに記載されている順番に読み出して再生する。
【0052】
図4はスイッチャー端末400の機能モジュール構成を示すブロック図である。
図4において、401は映像ソースサムネイル表示手段であり、情報処理装置100に接続された映像ソースの映像信号(ライブビュー)よりサムネイル画像を生成して、スイッチャー端末400のタッチパネルディスプレイに表示する。
【0053】
402はメインメニュー表示手段であり、スイッチャー端末400にメインメニューを表示する。
403は音量レベル表示手段であり、情報処理装置100に接続された映像ソースのうちユーザー選択(スイッチング)された映像ソース(以下「PGM」という)の音声信号の音量レベルをスイッチャー端末400のタッチパネルディスプレイに表示する。
404は「ON AIR」インジケーター表示手段であり、ユーザーによりスタートが指示され、スイッチングされている映像ソースやスイッチングされた時刻等の情報からなるシーケンスデータ等を出力していることをスイッチャー端末400のタッチパネルディスプレイに表示する。
405は出力開始終了制御手段であり、シーケンスデータ等の出力開始・終了を制御する。
【0054】
406は映像モニター手段であり、スイッチャー端末400タッチパネルディスプレイ上のモニター部506にユーザー選択(スイッチング)されている映像ソースの映像信号(PGM)を表示する。
407は映像ソース検索・追加・削除手段であり、情報処理装置100に接続可能な映像ソースの検索・追加・削除を行う。
408はスイッチング手段であり、ユーザー指示により情報処理装置100に接続された映像ソースのいずれかをPGMとして選択(スイッチング)し、その映像信号をスイッチャー端末400タッチパネルディスプレイ上のモニター部506に表示する。
409はカメラコントロール手段であり、ユーザー操作に基づきカメラコントロールコマンドを生成し対象のカメラに送信する。
410はトランジション手段であり、PGMとして選択されている映像ソースから他の映像ソースへ一定程度の時間をかけた切り替えを制御する。
411はプロパティ手段であり、映像ソースのシーケンス(タイムライン)へのプロパティ書き込み/読み出しを行う。
412は機器設定手段であり、スイッチャー端末400タッチパネルディスプレイでの表示テキストサイズや画面の明るさ、音量、WiFi接続等の設定・調整を行う。
【0055】
413はシステム時計であり、時刻サーバーと同期して計時を行う。
414はデータ出力手段であり、生成されたシーケンスデータをSMIL(Synchronized Multimedia Integration Language)やCSV(Comma Separated Value)、EDL(Edit Decision List)、AAF(Advanced Authoring Format)等のデータ形式で出力する。
415はプログラムドカメラワーク手段であり、シーン毎に一連のカメラワーク(スイッチングとPTZコントロール)をプログラムする。
416はカメラワーク実行手段であり、ユーザー指示に基づき、プログラムドカメラワーク手段415によりプログラムされたカメラワークを順次実行する。
【0056】
ネットワークカメラにはパン・チルト・ズームのいずれかが可能なものが含まれる。本実施形態に係る情報処理装置100はそのようなネットワークカメラのパン・チルト・ズームをコントロールするPTZコントロール手段を有している。
このような構成をとることにより、冠婚葬祭やドラマ(劇)等の「イベント」の進行に沿って略リアルタイムにネットワークカメラのパン・チルト・ズームをコントロールしながら、ネットワーク伝送による品質低下の少ない映像データを素材にした映像コンテンツを作成し、視聴者の視聴に供することが可能になる。
また、本実施形態では、スイッチング手段とPTZコントロール手段とが一体的に提供される。
このような構成をとることにより、冠婚葬祭等セレモニーやドラマ(劇)等の「イベント」の進行に沿ってスイッチングとPTZコントロールとを連携させた映像コンテンツ作成上の「演出」が可能になる。たとえば、結婚式を撮影して作成される映像コンテンツにおいて、新婦から「両親への感謝の手紙」が読み上げられるのに合わせて新婦のアップにズームインしてゆき、手紙の読み上げが終わった瞬間に両親を写すカメラにスイッチングする、というような「演出」である。
【0057】
図5は本発明の実施形態に係る情報処理装置100がスイッチャー端末400のタッチパネルディスプレイに表示するWEBアプリケーション画面の例を示す図である。
501はスイッチャーアプリケーションのGUIである。
502はメインメニューを呼び出すメニューボタンである。
503は音量レベルを示すオーディオメーターである。
504は収録(シーケンスデータ記録)または放送(ストリーミング)状態か否かを表示する「ON AIR」インジケーターである。
505は「ON AIR」開始(収録または放送開始)を指示するスタートボタンである。なお、スタートボタン505が押下され収録または放送が開始されると、スタートボタン505はストップボタン505-2に入れ替えられる。
506はモニター部であり、選択(スイッチング)されている映像ソースの映像(PGM)を表示する領域である。
【0058】
507は映像ソース部であり、スイッチング可能な映像ソースのサムネイルを表示する領域である。映像ソース部507には、映像ソースサムネイル5071、5072、…が表示される。映像ソースサムネイルは、情報処理装置100にネットワーク接続される複数の映像ソースを示すサムネイルアイコンであって、各映像ソースが出力している映像をサムネイル表示する。
図2の例ではカメラ1500-1、1500-2、…が映像ソースであり、これらが撮影している映像が映像ソースサムネイルとしてリアルタイムに表示されることになる。撮影が行われていない場合はそれまでの最終フレームを静止状態で表示したり、いわゆる「黒味(真っ黒な画面)」を表示したりする。
図5に示す例では、3つのPTZ(パン・チルト・ズーム)カメラが撮影している映像と、ひとつのビデオ映像とが表示されている。ここでいうビデオ映像とは、たとえば前もって撮影され、情報処理装置100のRAM120やオンラインストレージ等の記録メディアに保存された映像データである。このようなビデオ映像も映像コンテンツの素材として用いることができる。
508はプラスボタンであり、映像ソース部507に表示する映像ソースを検索し追加するためのボタンである。
509は各映像ソースの制御をするためのカメラコントロールボタンである。ユーザーによりカメラコントロールボタン509が押下されると、カメラオペレーションパネル600を表示する。カメラオペレーションパネル600はカメラごとに表示される。また、いわゆるフローティングウインドウとして、位置を移動して表示することができる。
510はスイッチング種別を変更するスイッチング種別ボタンであり、瞬時の切り替えである「カット」を選択するカット選択ボタン510-1と、エフェクトを伴う徐々の切り替えである「トランジション」を選択するトランジション選択ボタン510-2により構成される。カット選択ボタン510-1とトランジション選択ボタン510-2とは互いに排他的(択一的)に選択される、いわゆるトグルボタンである。
【0059】
511は、ユーザー(コンテンツ制作者)が、収録されたテイクにレーティング(評価付け)をするためのレーティングボタンである。
512は、いわゆる「フィルムストリップ(シーンを構成するショットのサムネイルシーケンス)」を表示するタイムライン領域である。
513はタイムライン領域のコメントエリア、514はタイムコード目盛、515はタイムライン領域において、そのタイムコードのタイミングでスイッチングされていた映像ソース(のサムネイル)を表示する映像ソースサムネイル表示エリアである。個々の映像ソースサムネイルのタイムコード目盛514に沿った長さは、その「ショット」の時間長に対応したものとなる。コメントエリア513には、ユーザーにより入力されたコメントテキストが表示される。
516は再生ボタンであり、再生ボタン516を押下するとタイムコード目盛514上のシーケンスマーカー517が示すタイミングから、収録された映像シーケンス(各映像ソースからのライブビューをつないでRAM120に記録したもの)を再生して、モニター部506上に表示する。なお、再生ボタン516が押下されると、再生停止ボタン516-2に入れ替わる。また、再生可能な映像シーケンスがない場合(映像シーケンス未収録の場合)には、再生ボタン516は無効化(グレイアウト)される。
518はプロパティボタンであり、プロパティパネルを表示して、タイムライン領域512にタイムライン表示されている映像シーケンスに対してシーンタイトルやテイク番号等を付したり変更することができるようになっている。また、プロパティパネルより、それまでに作成されたシーンやテイクを呼び出し・再生等することもできる。
519はタイムラインを表示する倍率を調整する倍率スライダーである。
520はフェーダーであり、トランジションの際の切り替え操作を行うための切替スライダーである。
521はシーンタイトルを表示するシーンタイトルコンボボックスである。
522はテイク番号を表示するテイクナンバーテキストボックスである。
523はプログラムドカメラワーク機能を行うためのプログラムドカメラワークパネルを表示するプログラムドカメラワークボタンある。プログラムドカメラワーク機能については後述する。
【0060】
スイッチャー端末400のディスプレイはタッチパネルと一体のタッチパネルディスプレイとして構成されるため、ユーザーは手指やスタイラスペン等を用いてアイコン等のGUI部材に対してタップ(タッチダウンしてタッチアップすること)やフリック(タッチしたまま素早く移動してタッチアップすること)等のタッチジェスチャーをすることにより、各機能を実行させることができる。
たとえば、映像ソース部507のサムネイル5071、5072、…にタップすることにより、そのサムネイルに対応する映像ソースをPGMとして選択(スイッチング)することができる。このとき、そのサムネイルには赤枠が付され、対応する映像ソースが選択されていることが表わされる。またモニター部506にはその映像ソースの映像が表示される。また、シーケンスデータとして、その映像ソース(またはその映像ソースより生成される映像クリップ)のIDとタップされた時刻(タイムコード)が記録される。
ユーザーによりスタートボタン505にタップされると、シーケンスデータの記録と、映像シーケンス(スイッチングされた映像ソースのライブビューを一つながりにつないだシーケンス)の記録が開始される。
ユーザーにより映像ソース部507のサムネイルの1つがタッチされたまま別のサムネイルにタッチダウンされると、後にタッチされたサムネイルに対応する映像ソースが、次に切り替えられるいわゆるプリセット映像(以下「PST」という)に設定される。そして、後にタッチされたサムネイルがタッチされたまま、先にタッチされていたサムネイルがタッチアップされると、トランジション手段410により、モニター部506に表示されているPGM映像(先にタッチされていたサムネイルの映像ソースの映像)からPSTとして設定されている映像ソースの映像(後にタッチされたサムネイルの映像ソースの映像)に、エフェクト(トランジションエフェクト)を伴って徐々に変更される。
つまり、本実施形態では、タッチディスプレイ手段へのタッチジェスチャーによりトランジションを指示することが可能になっている。このような構成をとることにより、ユーザーは、「1点タッチ」と「2点タッチ」の違いによって「カット(瞬時の切替)」と「トランジション」とを操作し分けることができ、操作方法が分かりやすく便利である。
【0061】
ユーザーはまた、フェーダー520を操作することによってもトランジションを行うことができる。すなわち、ユーザーによりフェーダー520が操作されると、フェーダー520のスライド量に応じて、トランジション手段410により、モニター部506に表示されているPGM映像をPSTとして設定されている映像ソースの映像に徐々に切り替える。このようなフェーダー操作によるトランジション制御は従来からのスイッチャー装置の操作性に即したものであり、ユーザー所望のタイミングでトランジションを行わせることができ便利である。
映像ソースのスイッチング(カット及びトランジション)が実行されたときは、映像ソース(または映像クリップ)のIDと切り替え開始および終了の時刻(タイムコード)とがシーケンスデータとして記録される。
524は、トランジション効果を選択させるトランジションエフェクトプルダウンである。トランジション効果には「ディゾルブ」「ワイプ」「スライド」「スクイズ」「アイリス」「ズーム」等がある。トランジションエフェクトプルダウン521はトランジション選択ボタン510-2が選択されたことにより有効化されるものである(トランジション選択ボタン510-2が選択されていないときはグレイアウトされている)。
525は、トランジションの切り替わり時間であるデュレーションタイム(Duration Time)を設定させるデュレーションタイムアップダウンである。デュレーションタイムアップダウン522はトランジション選択ボタン510-2が選択されたことにより有効化されるものである(トランジション選択ボタン510-2が選択されていないときはグレイアウトされている)。
【0062】
図6は、本実施形態に係る情報処理装置がスイッチャー端末400のタッチパネルディスプレイに表示するカメラオペレーションパネルの例を示す図である。
カメラオペレーションパネル600は、映像表示部601、「被写体追尾」チェックボックス602、「PGM時も追尾」ラジオボタン603a、「PGM時は追尾しない」ラジオボタン603b、「サイズ設定追尾」チェックボックス604、「サイズ設定」プルダウン605、「つながり調整する」チェックボックス606、クローズボタン607、被写体指定枠608と、パンチルトコントローラー609、ズームコントローラー610、フォーカスコントローラー611、設定メニューボタン612を有する。
映像表示部601は対応するカメラが撮影している映像を表示する領域である。
パンチルトコントローラー609は対応するカメラのパンチルト制御を行うための、ジョイスティックを模したGUIである。
ズームコントローラー610は対応するカメラのズーム制御を行うためのスライダーである。
【0063】
ユーザーは映像表示部601に対してピンチイン乃至ピンチアウト操作をすることによっても、対応するカメラのPTZコントロールを行うことができる。つまり、映像表示部601上の2点を同時にタッチダウンして互いのタッチ位置を近づけるタッチ操作(ピンチイン)により、タッチダウン時に映像表示部601全域に表示されていた範囲に対応する画角(アングル)が、2つのタッチ位置の中間点の位置に向かってズームアウト&パンチルトされていくように、対応するカメラのPTZコントロールをすることができる(
図6(b)参照)。また、映像表示部601上の2点を同時にタッチダウンして、互いのタッチ位置を遠ざけるタッチ操作(ピンチアウト)により、2つのタッチダウン位置の中間点の位置の近傍の範囲が映像表示部601全域に表示される範囲に拡大していくように、ズームイン&パンチルトのPTZコントロールをすることができる(
図6(c)参照)。
このような操作方法とすることにより、ユーザーは、パンチルト操作とズーム操作とを、タッチジェスチャーにより一体的に行うことができ、便利である。
このような操作方法がされたときには、たとえば以下のようなONVIFコマンドをネットワークカメラに送信する。
AreaZoom=x1-x0,y1-y0,w1-w0,h1-h0
ここでx1,y1は、ピンチ操作後の2点タッチの中間点の座標、x0,y0は、ピンチ操作前の2点タッチの中間点の座標、w1,h1は、ピンチ操作後のタッチ点間の幅、高さ、w0,h0は、ピンチ操作前のタッチ点間の幅、高さである。ただし、映像表示部601全体の幅、高さをそれぞれ、200、200とする。
【0064】
なお、PTZは、一般的に「ゆっくり動作を開始して徐々に加速し、中間をより減速して停止する」といった、いわゆるEASE IN/EASE OUTが、動きが滑らかで好適とされている。そこで、上記のピンチ操作によるPTZ制御がなされたときは、PTZ動作の継続時間内にEASE IN/EASE OUTのPTZ動作となるようなスピード制御コマンドを自動送信することとしてもよい。
また、パンチルトとズームとを一体的に行うとき、パンチルトによっていったん画角に入った被写体がズームインによって再び画角から切られる(画角に入らなくなる)ようになったり、ズームアウトによっていったん画角に入った被写体がパンチルトによって再び画角から切られるようになるのは、「ちらちらする」と形容される等、一般に好適でないとされている。そこで、パンチルトの光軸角度変更とズーミングによる焦点距離変更とを、このような被写体の出入りがないように計算して制御することとしてもよい。
【0065】
ところでユーザーがPTZコントロールをするときは、そのとき撮影している画角に対してどれくらいPTZできる余地があるか知ることができると便利である。そこで、それ以上操作するとズームやパンチルトが止まってしまうような限界に近づいたとき、映像表示部601の表示枠のそれぞれの辺の表示を、そのような限界に近づいていない場合と異ならせることにより、PTZできる余地が小さいことをユーザーに視覚的に通知することができる。
たとえば、映像表示部601を囲む枠を、内側の画像を縁がぼかされていくように境界を不明確に表示し、それ以上ズームアウトできないような広角端、またはそれ以上ズームインできないような望遠端に近付いたときは、ボケる度合いを低めて、枠を示す境界線が明確に表示されていくようにする。同様に、パンやチルトができる限界に近付いたときは、そのパン方向乃至チルト方向の辺を示す境界線が明確に表示されていくようにする。このように表示することで、ユーザーはPTZできる余地を考慮しながら好適にPTZ制御することが可能になる。なお、上記の表示部枠の表現による通知方法は、ユーザーにPTZ限界を直感的に通知する一方法であり、たとえば「ズームアウトできる限界が近づいています」等とテキスト表示する等の、他の通知方法であってもよい。
フォーカスコントローラー604は対応するカメラのフォーカス制御を行うためのスライダーである。なお、対応するカメラの性能によりオートフォーカスモードとすることもできる。
設定メニューボタン612は、対応するカメラのホワイトバランスやアイリス、フレームレート等を設定するメニューを表示するためボタンである。なお、対応するカメラの性能によりオートホワイトバランスやオートアイリス等とすることもできる。
【0066】
「被写体追尾」チェックボックス602は、特定の被写体を自動的にPTZ追尾するように設定するためのチェックボックスである。
画面中で検出した動体を画面中央付近に捉え続けるようにパン・チルトを制御する自動追尾機能の技術が監視カメラ等の分野で既に実用化されている。ユーザーは「被写体追尾」チェックボックス602を選択(チェック)することにより、対応するカメラが特定の被写体を自動追尾するように設定することができる。「被写体追尾」チェックボックス602が選択(チェック)されたとき映像表示部601中に被写体指定枠608が重畳表示され、ユーザーはタッチ操作等により枠を移動して、枠の位置の被写体を追尾対象の被写体として設定できる。
「PGM時も追尾」ラジオボタン603a、「PGM時は追尾しない」ラジオボタン603bは、対応するカメラがスイッチングされているときに上記の自動追尾(自動PTZ)を行うか否かを設定するためのラジオボタンであり、「被写体追尾」チェックボックス602が選択(チェック)されたことにより有効化されるものである(「被写体追尾」チェックボックス602が選択(チェック)されていないときはグレイアウトされている)。上記の被写体追尾は被写体を画面内に捉え続けることが主眼であり、カメラワークとしてはぎこちなく不自然となる可能性がある。そこで、視聴者が見る映像であるPGM時は追尾しないようにすることにより、不自然なカメラワークとなる虞を解消することが可能となる。
【0067】
「サイズ設定追尾」チェックボックス604は、「サイズ」を保持して特定の被写体を追尾するように設定するためのチェックボックスであり、「被写体追尾」チェックボックス602が選択(チェック)されたことにより有効化されるものである(「被写体追尾」チェックボックス602が選択(チェック)されていないときはグレイアウトされている)。
ここで「サイズ」とは、被写体が画面内でどれくらいの大きさになっているかを人物被写体を基準に表したものであり、フルショット(FS)、フルフィギュア(FF)、ニーショット(KS)、ウエストショット(WS)、バストショット(BS)、アップショット(US)、クローズアップ(CU)がある(
図11参照)。
「サイズ設定」プルダウン605は、上記の「サイズ」を選択・設定するためのプルダウンであり、「サイズ設定追尾」チェックボックス604が選択(チェック)されたことにより有効化されるものである(「サイズ設定追尾」チェックボックス604が選択(チェック)されていないときはグレイアウトされている)。
【0068】
「つながり調整する」チェックボックス606は、対応するカメラの映像がスイッチングされたとき(PGMにされたとき)にそれまでPGMであった映像ソースの映像との切り替わり(カットバック)が好適であるように調整した自動PTZをするか否かを設定するためのチェックボックスであり、「サイズ設定追尾」チェックボックス604が選択(チェック)されたことにより有効化されるものである(「サイズ設定追尾」チェックボックス604が選択(チェック)されていないときはグレイアウトされている)。PGMから画像が切り替えられたとき、切替前後のショットの「サイズ」が同じ場合(たとえば切替前後でどちらも「バストショット」だった場合等)は、人物被写体頭頂部から画面上端までの長さが異なると、つながり(切り替わり)が不自然な印象になる。また、切替後のショットの「サイズ」が切替前のショットの「サイズ」よりもタイト(tight)な場合(たとえば「ウエストショット」から「バストショット」に切り替えられた場合等)は、人物被写体頭頂部から画面上端までの長さが、切替前後で短くなっていないと、同様につながり(切り替わり)が不自然になる。また、切替後のショットの「サイズ」が切替前のショットの「サイズ」よりもルーズ(loose)な場合(たとえば「バストショット」から「ウエストショット」に切り替えられた場合等)も、人物被写体頭頂部から画面上端までの長さが切替前後で長くなっていないと不自然である。
そこで、「つながり調整する」チェックボックス606が選択されていたときは、PGMとなっている映像ソースの画像を解析して「サイズ」と人物被写体頭頂部から画面上端までの長さを認定乃至は推定し、PGMの「サイズ」と「サイズ設定」プルダウン605の設定サイズが同じであるときは、人物被写体頭頂部から画面上端までの長さも同じになるように、対応するカメラをチルト制御する。また、「サイズ設定」プルダウン605の設定サイズがPGMの「サイズ」よりもタイト(tight)であるときは、人物被写体頭頂部から画面上端までの長さがPGMのそれよりも短くなるように、対応するカメラをチルト制御する。また、「サイズ設定」プルダウン605の設定サイズがPGMの「サイズ」よりもルーズ(loose)であるときは、人物被写体頭頂部から画面上端までの長さがPGMのそれよりも長くなるように、対応するカメラをチルト制御する。
このようにすることにより、PGMから画像が切り替えられたとき切替前後のショットのつながりが不自然となる虞を解消することが可能となる。
【0069】
クローズボタン607は、カメラオペレーションパネル600を閉じる(非表示にする)ためのボタンである。
被写体指定枠608は、ユーザーに枠の位置の被写体を追尾対象の被写体として指示・設定させるための標識(GUI)である。
カメラオペレーションパネル600はカメラごとに表示することができる。また、いわゆるフローティングウインドウとして、位置を移動して表示することができる。
上記に説明したように、本実施形態に係る情報処理装置100では、PTZ可能なネットワークカメラに対してタッチディスプレイ手段へのタッチジェスチャーによりPTZを指示することが可能になっている。このような構成をとることにより、ユーザーは、パンチルト操作とズーム操作とを一体的に行うことができる。また、PTZコントロールによってどのように画角変更されるかが直感的に分かりやすく、きわめて便利である。
また、本実施形態に係る情報処理装置100は、PTZ可能なネットワークカメラより送信するノードが受信するノードの受信を確認することなくデータを転送する転送方式により転送された映像信号に基づいて画像中の動体を検出し、前記検出した動体を画面中央付近に捉え続けるように前記ネットワークカメラのPTZ制御を行う。
こうしたPTZ制御は略リアルタイムのライブビュー映像に基づいて行うことが必要なためであるが、既に説明したようにUDP転送されるライブビュー映像は視聴者の視聴に供する映像コンテンツに使用するのに適しないため、ライブビュー映像と別の映像データに対してTCP/IP転送やHTTPストリーミング等の情報処理を行うことにより、高品質の映像コンテンツを出力(制作乃至は配信)することが可能となる。
【0070】
図11は、「サイズ」を説明する図である。
フルショット(FS)は、そのカメラの最も広角となる画角サイズである。
フルフィギュア(FF)は、足先から頭頂部までが入ったサイズである。
ニーショット(KS)は、膝から頭頂部までが入ったサイズである。
ウエストショット(WS)は、腰から頭頂部までが入ったサイズである。
バストショット(BS)は、胸から頭頂部までが入ったサイズである。
アップショット(US)は、顔が画面一杯に入ったサイズである。
クローズアップ(CU)は、目、口、手、足などの身体部位が画面一杯に入ったサイズである。
【0071】
図7は本実施形態に係る情報処理置100が、映像ソースに対応する映像ソースサムネイルを表示し、ユーザーによるスイッチング操作(フェーダー操作を含む)を受けてモニター部506に表示される映像を変更するとともに、REC状態にあるときはシーケンスデータを生成し記録する処理の流れを示すフローチャートである。このフローチャートの処理は、情報処理装置100のCPU110が入力信号やプログラムに基づき、各部を制御することにより実現される。
CPU110は、スイッチャー端末400のタッチパネルディスプレイに、
図5に示すGUI501を表示する(ステップS701)。ここで、情報処理装置100はユーザーによるGUI操作を受け付ける状態となる。
ユーザーによる操作がプラスボタン508押下であった場合(S702でYES)、CPU110は、ネットワーク接続可能な映像ソースを検索してリスト表示する(S703)。ユーザーにより1以上の映像ソースが選択されリストが閉じられると(S704でYES)、選択された映像ソースの映像ソースサムネイルを映像ソース部507に追加表示する(S705)。
ユーザーによる操作がPTZカメラのカメラコントロールボタンの押下であった場合(S706でYES)、CPU110は、カメラオペレーションパネル600を表示する(S707)。カメラオペレーションパネル600は、先述したように、映像表示部601と、パンチルトコントローラー602、ズームコントローラー603、フォーカスコントローラー604、設定メニューボタン605、クローズボタン606を有する。なお、ズーム広角端・望遠端のレンズ焦点距離、パンチルト可動範囲等の諸元は、PTZカメラが映像ソースとして追加された際に、先述のONVIFプロトコル等を用いて取得する。また、ユーザーのカメラオペレーションパネル600上の操作に応じてONVIFコマンド等を発生させ、PTZカメラ制御を行う(S708)。
ユーザーによりクローズボタン606が押下されると(S709でYES)、カメラオペレーションパネル600を閉じる(S710)。
【0072】
ユーザーによる操作がスタートボタン505の押下であった場合(S711でYES)、CPU110は、情報処理装置100にネットワーク接続されている映像ソース(映像ソース部507にサムネイル表示されている映像ソース)に、オンラインストレージや記録メディア等への録画開始を指示するコマンドを送信する(S712)。また、シーンタイトルコンボボックス515が空欄のときは(S713でYES)、シーンタイトル入力パネルを表示しユーザーのシーンタイトル入力を促す(S714)。ここでシーンタイトルは「完成品」としての映像コンテンツのタイトル(プログラムタイトル)とシーン番号(シーンナンバー)とを組み合わせたものあり、たとえば「渡辺家結婚式 シーン1」のようになる。
また、テイク番号テキストボックス516のテイク番号を、そのシーンタイトルの最新のテイク番号に1を加えた数とする(S715)。また、スタートボタン505をストップボタン505-2に入れ替える(S716)。また、そのときスイッチングされている映像ソース(または映像クリップ)のIDとスイッチングされた時刻(タイムコード)からなるシーケンスデータの生成・記録を開始する(S717)。なお、映像ソースや映像クリップのIDにはURL(Uniform Resource Locator)を用いることができる。また、タイムライン領域512に、スイッチングされた映像ソースの名称乃至サムネイルをタイムコードに沿って並べた、いわゆるフィルムストリップを表示する(S718)。
【0073】
ユーザーにより映像ソースサムネイルのひとつがタップされた場合(S719でYES)、CPU110は、モニター部506にその映像ソースサムネイルに対応する映像ソースの映像を表示する(S720)。また、そのサムネイルに赤枠を付し(S721)対応する映像ソースが選択されていることを表示する(いわゆる「タリー(Tally)表示」)。また、システム時計413より時刻(タイムコード)を取得する(S722)。
ユーザーにより映像ソース部507のサムネイルの1つがタッチされたまま別のサムネイルにタッチダウンされた場合(S723でYES)、先にタッチされたサムネイルに対応する映像ソースにスイッチングし(S724)、後にタッチされたサムネイルに対応する映像ソースをPST(プリセット映像)に設定する(S725)。PST設定されたサムネイルについては、たとえば点滅する赤枠を付して表示してもよい。
タッチされた2つのサムネイルが略同時にタッチアップされ、ユーザーによりフェーダー520が操作されると(S726でYES)、フェーダー520のスライド量に応じて、モニター部506に表示されているPGM映像を、PSTの映像に徐々に切り替える(S727)。切り替えの際のエフェクト(トランジションエフェクト)には、ユーザーによりエフェクト変更ボタン510が押下され選択されたエフェクトが使用される。なお、トランジションエフェクトの初期値には「ディゾルブ」が設定されていてもよい。一般的に多用されるトランジションエフェクトだからである。
ユーザーによりフェーダー520が操作されず(S726でNO)、後にタッチされたサムネイルがタッチされたまま、先にタッチされたサムネイルからタッチアップされたときも(S728でYES)、ユーザー指定のDuration Time(切替に要する時間)でPGM映像をPSTの映像に徐々に切り替える(S729)。
そして、映像ソースの切り替えをシーケンスデータとして記録する(S730)。なお、Duration Timeの指定はエフェクト変更ボタン510が押下され表示される切り替えエフェクト選択パネルの「オートトランジションのDuration Time」コンボボックスで数値を選択して行う。
【0074】
ユーザーによりストップボタン505-2が押下されると(S731でYES)、情報処理装置100にネットワーク接続されている映像ソース(映像ソース部507上にサムネイル表示されている映像ソース)に、記録メディアへの録画の停止を指示するコマンドを送信する(S732)。また、ストップボタン505-2をスタートボタン505に入れ替える(S733)。また、シーケンスデータの記録を停止する(S734)。
ユーザーによりメニューボタン502が押下されると(S735でYES)、メインメニューを表示する(S736)。
ユーザーによりメインメニューの「データ保存」コマンドが選択されると(S737でYES)、シーケンスデータをユーザー指定の場所に保存乃至出力する(S738)。
また、ユーザーにより「終了」コマンドが選択されると(S739でYES)、本フローの処理を終了する。
【0075】
図12は、本実施形態に係る情報処理装置100が記録乃至出力するシーケンスデータの一例を示すものである。
図12において、データはSMIL(Synchronized Multimedia Integration Language)形式で記述された構造を有するものとなっている。ここで、SMILはW3C(World Wide Web Consortium)により標準化が勧告されている、動画、音声、文字などの様々なデータ形式の再生を同期させる言語である。
図12のシーケンスデータ例において、まず、時間的挙動と関係しない情報が<head>要素に記述される。
<head>要素のmeta属性は、データのプロパティ(プログラムタイトル、シーンナンバー、テイクナンバー、レーティング、備考・メモなど)を定義し、それらのプロパティに値を割り当てるために使用する。
<head>要素のlayout属性は、オブジェクトの表示位置を決定するために使用する。なお、<layout type=″text/smil-basic-layout″></layout>と記述することにより、オブジェクトすべてにデフォルトのレイアウト値を適用することができる。
【0076】
時間的挙動に関連する情報は<body>要素に記述される。また、その子階層の<seq>要素の下に、時間的に連続して再生されるオブジェクトが記述される。つまり、スイッチングされた映像ソース(の映像クリップ)のシーケンスは、<seq>要素の子階層の<video>要素として記述される。
各<video>要素は、src属性により、映像ソースからの出力ファイルを特定するユニークなIDを指定する。そのようなIDには、たとえば、SMPTE(Society of Motion Picture and Television Engineers、米国映画テレビ技術者協会)が規定したUMID(Unique Material Identifier)等も使用できる。または、src属性を、出力ファイルが保存されている場所へのファイルパス(たとえば、src=″D:\cam1\Clip1.avi″)で指定してもよい。
映像クリップ(映像ソースからのそれぞれの出力ファイル)における切替挿入開始位置(イン点)をclipBegin属性で、挿入終了位置(アウト点)をclipEnd属性で指定する。clipBegin属性とclipEnd属性は、たとえばclipBegin=″hh:mm:ss:ff″のようにタイムコードで指定できる。
映像クリップの切り替えがトランジションエフェクトを伴うときは、たとえば、<transition>要素を用いて記述する。
<transition>要素のtype属性でエフェクトの種類が、dur属性で遷移の持続時間が記述できる。
【0077】
図12のデータ形式は例に過ぎず、他にもさまざまな形式が可能である。たとえば、CSV(Comma Separated Value)形式やEDL(Edit Decision List)、AAF(Advanced Authoring Format)等のデータ形式でもよいし、新たに規定されたデータ形式であってもよい。
シーケンスデータをEDL(Edit Decision List)形式で出力したときは、既存の動画編集アプリケーションでデータを読み込んで動画編集することが可能になる。動画編集アプリケーションの代表的なものとして、米国Adobe社のPremiere Proや米国Apple社のFinal Cut Proがある。
【0078】
図14にEDLデータの例を示す。
図14は、各映像ソースの映像データ出力開始から20秒後に、番組収録(シーケンスデータの記録)が開始された場合の例を示している。
図において1401はシーケンスのタイトルを表している。
また、1402は編集後のシーケンスのタイムコードがドロップフレーム形式かノンドロップフレーム形式かを表している。
また、1403は各映像ソースの映像クリップのシーケンスのタイムコードがドロップフレーム形式かノンドロップフレーム形式かを表している。
また、1404はショット番号を表している。
また、1405は映像ソースのIDを表わしている。
また、1406は「オーディオ2チャンネル/ビデオ」の構成を表わしている。
また、1407はスイッチング種別を表わしている。
また、1408は映像ソースの映像クリップのイン点のタイムコードを表わしている。
また、1409は映像ソースの映像クリップのアウト点のタイムコードを表わしている。
また、1410は編集後の映像クリップ(映像コンテンツ)のイン点のタイムコードを表わしている。
また、1411は編集後の映像クリップ(映像コンテンツ)のアウト点のタイムコードを表わしている。
こうした、EDLのような互換性あるデータ形式でシーケンスデータを出力したときは、ネットワークカメラを含む映像ソースをスイッチングした映像コンテンツの作成を既存の動画編集アプリケーションで行うことが可能になる。
【0079】
図8は、本発明の実施形態に係る情報処理装置100がどの映像ソースがどのタイミングでスイッチングされたかに関する情報に基づいてプレイリストを生成し配信する情報処理の例を示すフローチャートである。
ユーザー端末(PC、タブレット、スマートフォン等)でブラウザーが起動され、本発明の実施形態に係る情報処理装置100が提供する「映像コンテンツ制作サービス」のURL(Uniform Resource Locator)が入力乃至は指示されると、情報処理装置100は、ユーザー端末(の表示部)にホームページを表示する(S801)。また、「制作者ユーザーログイン」ボタンを表示する(S802)。
ユーザーにより「制作者ユーザーログイン」ボタンが指示されると(S803でYES)、ユーザーID、パスワード等により認証し(S804)、認証結果が肯定的であるときは(S805でYES)、ユーザー端末のディスプレイに
図5における501のようなスイッチャーアプリケーションのGUIを表示する(S806)。
ユーザーによる操作がプラスボタン508押下であった場合(S807でYES)、ネットワーク接続可能な映像ソースが検索されリスト表示される(S808)。ユーザーにより1以上の映像ソースが選択されリストが閉じられると(S809でYES)、選択された映像ソースの映像ソースサムネイルを映像ソース部507に追加表示する(S810)。
【0080】
ユーザーによる操作がPTZカメラのカメラコントロールボタンの押下であった場合には(S811でYES)、カメラオペレーションパネル600を表示する(S812)。カメラオペレーションパネル600は、先述したように、映像表示部601、「被写体追尾」チェックボックス602、「PGM時も追尾」ラジオボタン603a、「PGM時は追尾しない」ラジオボタン603b、「サイズ設定追尾」チェックボックス604、「サイズ設定」プルダウン605、「つながり調整する」ラジオボタン606a、「つながり調整しない」ラジオボタン606b、クローズボタン607、被写体指定枠608を有する。
ユーザーにより映像表示部601に対してタッチジェスチャー操作がされたときは(S813でYES)、操作に応じた制御コマンドを送信して対応するカメラのPTZカメラ制御を行う(S814)。
また、被写体追尾の設定がされたときは(S815でYES)、対応するPTZカメラを追尾モードに設定する(S816)。なお、映像ソース部507の、対応するPTZカメラのサムネイルに、追尾モードである旨を表示する。
ユーザーによりクローズボタン607が指示されると(S817でYES)、カメラオペレーションパネル600を閉じる(S818)。
【0081】
ユーザーによる操作がスタートボタン505の押下であった場合には(S819でYES)、ユーザー端末にネットワーク接続されている映像ソース(映像ソース部507にサムネイル表示されている映像ソース)に、特定の記憶領域への映像データの出力を指示するコマンドを送信する(S820)。また、記憶領域に出力された映像データを細分化したセグメントデータを生成する(S821)。
また、そのときスイッチングされている映像ソースの映像データから生成されたセグメントデータを参照するファイルパスを記載したプレイリストを生成し(S822)、配信用ディレクトリー(フォルダー)に登録・保存する(S823)。また、スタートボタン505をストップボタン505-2に入れ替える(S824)。
また、そのときスイッチングされている映像ソース(または映像クリップ)のIDとスイッチングされた時刻(タイムコード)からなるシーケンスデータの生成・記録を開始する(S825)。
ユーザーにより映像ソースサムネイルのひとつがタップされたときは(S826でYES)、まず、システム時計308よりスイッチングされた時刻T1を取得する(S827)。
そして、スイッチング種別ボタン510により設定されたスイッチング種別を判定し、「カット」が選択されていたときは(S828でYES)、まず、モニター部506にその映像ソースサムネイルに対応する映像ソースの映像を表示する(S829)。また、そのサムネイルに赤枠を付し(S830)対応する映像ソースが選択されていることを表示する(いわゆる「タリー(tally)表示」)。そして、スイッチングされている映像ソースより生成されたセグメントデータに付された撮像時刻をスイッチング時刻T1と比較し、時刻T1以降に撮像された映像に係るセグメントデータへのファイルパスを記載してプレイリストを生成する(S831)。
【0082】
スイッチング種別ボタン510のスイッチング種別として「トランジション」が選択されていたときは(S828でNO)、モニター部506に表示されているPGM映像を、タップされた映像ソースサムネイルに対応する映像ソースの映像(PST)に、ユーザー指定のDuration Time(切替時間)で、ユーザー指定のエフェクト(切り替え効果)により徐々に切り替える(S832)。また、タップされた映像ソースサムネイルに赤枠を付す(S833)。また、それまでスイッチングされていた映像ソースの映像(PGM)と、新たにスイッチングされた映像ソースの映像(PST)の、時刻T1からDuration Time(切替時間)の間に撮像された分に係るセグメントデータを、ユーザー指定のユーザー指定のエフェクト(切り替え効果)で加工・合成した切り替え映像のセグメントデータを生成し(S834)、特定のディレクトリー(フォルダー)に登録・保存する(S835)。そして、その切り替え映像のセグメントデータのファイルパスを記載してプレイリストを生成する(S836)。
そして、新たに生成したプレイリストにより、配信用ディレクトリー(フォルダー)のプレイリストを上書き・更新する(S837)。
ユーザーによりストップボタン505-2が押下されると(S838でYES)、接続されている映像ソース(映像ソース部507上にサムネイル表示されている映像ソース)に、特定の記憶領域への映像データの出力の停止を指示するコマンドを送信する(S839)。また、プレイリストに最後のプレイリストである旨を記載して、配信用ディレクトリー(フォルダー)のプレイリストを上書き・更新する(S840)。また、ストップボタン505-2をスタートボタン505に入れ替える(S841)。また、シーケンスデータの記録を停止する(S842)。
ユーザーによりメニューボタン502が押下されると(S843でYES)、メインメニューを表示する(S844)。
ユーザーによりメインメニューの「データ保存」コマンドが選択されると(S845でYES)、シーケンスデータをユーザー指定の場所に保存乃至出力する(S846)。
また、ユーザーにより「終了」コマンドが選択されると(S847でYES)、本フローの処理を終了する。
【0083】
図13にm3u形式によるプレイリストの例を示す。
図13は、番組開始から999秒(16分39秒)の時点で、Camera_1からCamera_2にスイッチングされた場合の例を示している。
【0084】
Camera_1、Camera_2の映像に係るセグメントデータは、それぞれ
http://www.contentsvision.com/sample/ts/camera_1/
http://www.contentsvision.com/sample/ts/camera_2/
に登録・保存されるものとする。また、セグメントデータには、そのデータに係る映像の撮像が開始された時点のミリ秒(1/1000)単位の秒数が、ファイル名称として付されるものとする。
【0085】
図において1301はファイル形式を表している。
また、1302はファイル形式のバージョン番号を表している。
また、1303はリストの先頭のセグメントデータ(TSファイル)が、全体で何番目のものかを表している。
また、1304はそれぞれのセグメントデータ(TSファイル)が何秒以下になるように分割されているかを表している。
また、1305は次行のファイルパスが示すセグメントデータ(TSファイル)の時間長を表わしている。
また、1306はセグメントデータ(TSファイル)へのファイルパス(URL)を表わしている。
【0086】
以上のようにして、ネットワークカメラを含む複数の映像ソースをスイッチングした映像コンテンツをHTTPストリーミング配信することができる。HTTPストリーミングにおける映像データの転送にはTCPが用いられ、視聴者にノイズを抑えた高品質の映像コンテンツを視聴させることが可能になる。
【0087】
(プログラムドカメラワーク機能)
以下、本実施形態に係る情報処理装置が有するプログラムドカメラワーク機能について説明する。
一般に、結婚式のようなセレモニーや劇(ドラマ)にはあらかじめ準備された進行表やシナリオがあり、セレモニーや劇(ドラマ)に係る映像コンテンツのカメラワーク(スイッチングやPTZ)はそうした進行表やシナリオに沿って行われる。そこで、一連のカメラワークをあらかじめプログラムし、イベントの進行に沿って実行指示できるとカメラワーク操作のミスや負担の軽減が図れ便利である。
【0088】
本実施形態の情報処理装置のプログラムドカメラワーク機能は、ユーザーに一連のカメラワークをあらかじめプログラム(入力)させ、そのプログラムされたカメラワークを、ユーザー指示により逐次実行する機能である。
カメラワーク入力と実行指示は、プログラムドカメラワークパネルを表示して行う。
【0089】
図9にプログラムドカメラワークパネルの一例を示す。プログラムドカメラワークパネルはユーザーによりプログラムドカメラワークボタン523が押下されたことにより、スイッチャー端末400のディスプレイ上に、いわゆるフローティングウインドウとして表示されるものである。
プログラムドカメラワークパネル901はモニター部902、RECボタン903、EDITボタン904、NEXTボタン905、カメラワーク欄906、イベントナンバー欄907、テキスト欄908、BACKボタン909、SKIPボタン910、ポップアップ911を有する。
【0090】
カメラワーク欄906は、カメラワークを進行順に表す欄である。ここでカメラワークは映像ソースのカット切り替えまたはトランジションもしくはPTZカメラに対するPTZコントロールをいう。
イベントナンバー欄907は、カメラワークが実行される順番の数字を表す欄である。
テキスト欄908はカメラワークを実行するタイミング的な目安となるテキスト(シナリオや進行表、台本など)を表示する欄である。表示されるテキストは、たとえば曲の歌詞や音階進行、拍数、小節数のようなものでもよい。また、キーボード等の操作部からユーザーにより入力されてもよいし、ファイルから読み込まれたものや、紙原稿からスキャンされたもの、写真撮影されたものでもよい。読み込まれるファイルや原稿が表組・レイアウト等を有するときは、テキストのみを抽出して読み込むこととしてもよいし、表組・レイアウトを保持して貼り付けることとしてもよい。また、いわゆるコンテ(continuity、storyboard)が貼り付けられてもよい。
モニター部902は選択(スイッチング)されている映像ソースの映像信号(PGM)を表示する領域である。
RECボタン903は収録(シーケンスデータ記録)開始を指示するためのボタンである。
EDITボタン904はカメラワーク欄やテキスト欄の編集(変更・挿入・削除・順序入替)可能なモードにするためのボタンである。
NEXTボタン905はフォーカスされているカメラワークを実行し、次のカメラワークにフォーカスを移動するためのボタンである。
BACKボタン909は一つ前のカメラワークにフォーカスを移動するためのボタンである。
SKIPボタン910は一つ後のカメラワークにフォーカスを移動するためのボタンである。
ポップアップ911はテキスト内のカーソル位置の近傍に表示され「BSボタン」「改ブロックボタン」「キーボードボタン」を有する「吹き出し」であり、テキストを編集するために表示されるものである。
【0091】
ユーザーはプログラムドカメラワークパネル901をEDITモード(編集可能なモード)にして、カメラワーク欄に「映像ソース切替(スイッチング)や「PTZコントロール」を設定してゆくことができる。
また、メインウインドウ(
図5のGUI501)で実行されたカメラワークはデータとして保持され、プログラムドカメラワークパネル901に読み込んでプログラムドカメラワークとして流用することが可能である。つまり、たとえばあるシーンについて最初のテイクでスイッチングやPTZコントロールを行った後は、それ以降のテイク(撮り直し)でそのカメラワークをプログラムドカメラワークとして利用し、カメラワーク操作の手間やミスを軽減することができる。
【0092】
図10は本実施形態に係る情報処理装置100のプログラムドカメラワーク機能に係る処理の流れを示すフローチャートである。
ユーザーによりプログラムドカメラワークボタン523が押下されるとプログラムドカメラワークパネル901を、いわゆるフローティングウインドウとして表示する(S1001)。
情報処理装置100は、まず、メインウインドウで実行されたカメラワークのデータがあるかを判定し、当該データがあったときは(S1002でYES)、プログラムドカメラワークデータ(プログラムドカメラワークパネル上で表示されるカメラワークのデータ)と比較する(S1003)。
そして、メインウインドウで実行されたカメラワークのデータとプログラムドカメラワークデータが異なるときは(S1004でYES)、「実行されたカメラワークをプログラムドカメラワークにしますか?」と表示し、ユーザーのYES/NOの選択を待機する(S1005)。
ユーザーによりYESが選択されたときは(S1006でYES)、実行されたカメラワークをプログラムドカメラワークにして、カメラワーク欄に表示する(S1007)。
ユーザーによりEDITボタンが押下されたときは(S1008でYES)、プログラムドカメラワークパネルをEDITモードにする(S1009)。具体的には、RECボタン、NEXTボタンを無効化(グレイアウト)する。
【0093】
EDITモードでユーザーによりカメラワーク欄における空白の箇所がタップされたときは(S1010でYES)、その箇所に、「映像ソース切替」「PTZ」の選択肢(ラジオボタン)を有するダイアログを表示する(S1011)。ただし、カメラワーク欄のその個所にPTZ可能な映像ソースが割り当てられていないときは、「PTZ」の選択肢は選択不可に(グレイアウト)される。
「映像ソース切替」が選択されたときは(S1012でYES)、「カット」「トランジション」の選択肢(ラジオボタン)と映像ソースを選択するプルダウンリスト及びカメラコントロールパネル601と同様のGUIを有するダイアログを表示する(S1013)。
ユーザーにより「カット」と映像ソースの一つが選択され、切り替わり後の映像ソースの画角が決定されたときは(S1014でYES)、カメラワーク欄にカットライン及びその映像ソースの名称及び切り替わり後の映像ソースの画角を表すサムネイルを追加して表示する(S1015)。
【0094】
ユーザーにより「トランジション」と映像ソースの一つが選択され、切り替わり後の映像ソースの画角が決定されたときは(S1016でYES)、カメラワーク欄にカットライン及び選択された映像ソースの名称及び切り替わり後の映像ソースの画角を表すサムネイルを追加して表示する。(S1017)。また、トランジションを示す帯と、切り替わり時間を示すコンボボックス、トランジション効果の種類を示すアイコンを表示する。(S1018)。切り替わり時間を示すコンボボックス、トランジション効果の種類を示すアイコンはデフォルト値を有している。ユーザーはコンボボックスやアイコンをタップして値を変更することができる。
なお、いずれのダイアログもキャンセルまたはクローズボタンを有しており、ユーザーによりキャンセル/クローズが指示されたときはひとつ前の状態に戻る。
【0095】
ユーザーにより「PTZ」が選択されたときは(S1019でYES)、カメラコントロールパネル601と同様のGUIを有するPTZダイアログを表示する(S1020)。
ユーザーによりPTZダイアログ上でGUI操作され、PTZ実施後の画角が決定されたときは(S1021でYES)、カメラワーク欄にカットライン及びPTZを示す帯と、切り替わり時間を示すコンボボックス、PTZ実施後の画角を示すサムネイルを表示する(S1022)。なお、切り替わり時間を示すコンボボックスはデフォルト値を有している。ユーザーはコンボボックスをタップして値を変更できる。
【0096】
ユーザーによりテキスト欄が長押しされたときは(S1023でYES)、テキスト内にカーソルを表示する(S1024)。また、ポップアップ(吹き出し)を表示する(S1025)。ポップアップは、BSボタン、改ブロックボタン、キーボードボタンを有する。
ユーザーによりBSボタンが指示されると(S1026でYES)、カーソル前一文字を削除するバックスペース(Back Space)を行う(S1027)。なお、削除対象が文字ではなく「カットライン」であったときは、カーソルのあったテキストブロックのテキストが前ブロックに結合し、以後のイベントナンバーに対応するテキストブロックが、ひとつずつ前にシフトする。
ユーザーにより改ブロックボタンが指示されると(S1028でYES)、そのテキストブロックのカーソル位置より後のテキストがそのテキストブロックのすぐ後に新設したブロックに移動し、以後のイベントナンバーに対応するテキストブロックが、ひとつずつ後にシフトする(S1029)。
ユーザーによりキーボードボタンが押されると(S1030でYES)、フローティングキーボードを表示し、テキストの挿入を行うことができるようにする(S1031)。
【0097】
ユーザーによりMENUボタンが指示されると(S1032でYES)、メニューを表示する(S1033)。メニューは「テキスト読み込み」「プログラムドカメラワークデータ保存」「プログラムドカメラワークデータ読み込み」のコマンドを有する。
ユーザーにより「テキスト読み込み」が指示されると(S1034でYES)、ファイル読み込みウインドウを表示する(S1035)。ファイル読み込みウインドウは、「上書き」と「挿入」の選択肢(ラジオボタン)と「OK」「キャンセル」ボタンを有する。なお、ウインドウ内でファイルが選択されていないときは「OK」ボタンは無効化(グレイアウト)されている。
ユーザーにより「上書き」が選択されファイル読み込みがされたときは(S1036でYES)、テキスト欄のテキストをすべて読み込んだファイルのテキストにより上書きする(S1037)。
ユーザーにより「挿入」が選択されファイル読み込みがされたときは(S1038でYES)、カーソルの箇所に読み込んだファイルのテキストを挿入する(S1039)。
ユーザーにより「プログラムドカメラワークデータ保存」が指示されると(S1040でYES)、データ保存ウインドウを表示する(S1041)。
【0098】
ユーザーにより「プログラムドカメラワークデータ読み込み」が指示されると(S1042でYES)、データファイル読み込みウインドウを表示する(S1043)。データファイル読み込みウインドウは、「実行されたカメラワークを読み込む」というチェックボックスと「OK」「キャンセル」ボタンを有する。なお、チェックボックスがチェックされていないか、ウインドウ内でファイルが選択されていないときは、「OK」ボタンは無効化(グレイアウト)されている。また、チェックボックスがチェックされたときは、ウインドウ内のファイル選択は無効化(グレイアウト)される。
カメラワークデータが読み込まれたときは(S1044でYES)、カメラワーク欄が上書きされる(S1045)。
【0099】
ユーザーによりEDITモードが終了されたとき(押し下げ状態で表示されていたEDITボタンが再びタップされたとき)は(S1046でYES)、プログラムドカメラワークパネルを実行モードにする(S1047)。具体的には、RECボタン、NEXTボタンを有効化する。
ユーザーによりNEXTボタンがタップされると(S1048でYES)、フォーカスされていた行のカメラワークを実行し次の行にフォーカスを移動する(S1049)。
最終行のカメラワークが実行されたときは、(S1050でYES)、いずれの行もフォーカスしないようにし、また、NEXTボタンを無効化(グレイアウト)する(S1051)。
ユーザーによりRECボタンがタップされたときは(S1052でYES)、RECを開始する(S1053)。REC時の動作は
図7のステップS711でREC指示された際と同様である。
ユーザーにより「カメラワーク欄」「イベントナンバー欄」「テキスト欄」のいずれかの行がタップされたときは(S1054でYES)、その行にフォーカスを移動する(S1055)。
ユーザーによりクローズボタンが押下されたとき、または、メインパネルのいずれかの箇所がタップされたときは(S1056でYES)、プログラムドカメラワークパネルを閉じる(S1057)。なお、REC/REC停止と、プログラムドカメラワークパネルの表示/非表示は、それぞれ独立である。たとえば、プログラムドカメラワークパネルを閉じる際にREC中であっても、RECは継続される。
【0100】
プログラムドカメラワークの保存・読込に利用されるデータは、映像ソースの切替とPTZコントロールに番号(イベントナンバー)を付し、進行表テキストやコンテとタイミング的な関連させて記述したものである。
「映像ソースの切替」が記述される点でシーケンスデータと共通するため、シーケンスデータの形式を拡張して利用することとしてもよい。
以下に、SMIL(Synchronized Multimedia Integration Language)形式で記述されたシーケンスデータをプログラムドカメラワークデータに拡張する例について説明する。
【0101】
まず、各<video>要素にevent_Num属性が追加され、カメラワークが実行される順番(イベントナンバー)を記述する。
<video src=″D:\cam1\Clip1.mxf″ clipBegin=″hh:mm:ss:ff clipEnd=″hh:mm:ss:ff″ event_Num=″1″ />
また、<seq>要素の子階層に、たとえば<onvif>要素としてPTZコントロールを記述する。
<onvif CamID = ″cam1″ AbsolutePanTilt = ″X,Y″ AreaZoom = ″x,y,w,h″ dur = ″hh:mm:ss:ff″ event_Num=″2″ />
また、カメラワークが実行される順番(イベントナンバー)に対応させて、そのカメラワークを実行するタイミング的な目安となる(進行表や台本などの)テキストを、<text_block>要素として記述する。
<text_block=″皆様、本日は○○○○の結婚ご披露宴にお越しくださいまして、誠にありがとうございます。これより新郎新婦が入場いたします。どうぞ大きな拍手でお迎えください。 event_Num=″1″ />
【0102】
以上のように、ユーザーはあらかじめ一連のカメラワークをプログラムし、NEXTボタンを指示することにより、あらかじめ設定された順序で逐次実行させることができる。このことにより、カメラワーク操作の手間や操作ミスを低減することができる。
また、ユーザーは進行表や台本と対照してカメラワーク実行指示のタイミングを図ることができ、さらに操作性が向上する。
また、メインウインドウで実行されたカメラワークをプログラムドカメラワークとして利用することができる。これによりカメラワークのプログラム(入力・設定)の手間が軽減される。
また、上記の(シナリオや進行表、台本、曲の歌詞、絵コンテ、譜面等の)テキストを流用して映像コンテンツの内容乃至は企画や計画を公開・説明等し、広告主や協力者、スタッフ等を募集乃至はマッチングするようにした実施形態もまた好適である。このようにしたときは、映像コンテンツ作成を核として企画・資金調達・制作・配信・流通等のプラットフォームを構築・運営することが可能になる。
また、上記の(シナリオや進行表、台本、曲の歌詞、絵コンテ、譜面等の)テキストと対照させてプログラムされたカメラワークが実行され、映像コンテンツ制作がされたときは、そのテキストを流用してマッチング等された広告主や協力者、スタッフに通知または当該制作された映像コンテンツの全部または一部にアクセス可能にするようにした実施形態もまた好適である。このようにしたときは、その通知や映像コンテンツの全部または一部へのアクセス(再生、閲覧、確認等)をきっかけに、広告主や協力者、スタッフ等のアクション(行動・実行)を促すことができ、映像コンテンツ制作・配信に係るプロジェクトの進捗が加速化されるという効果を奏する。
【0103】
(映像コンテンツの作成)
以上、説明してきたように、本実施形態に係る情報処理装置100により複数の映像ソースをスイッチングしてイベント収録したときは、映像ソースからの映像信号を記録した映像クリップと、映像クリップ中のスイッチングされている部分をスイッチングされた順に参照するシーケンスデータが作成される。
このシーケンスデータは複数の動画クリップ(部分)の再生順を示すいわゆる「プレイリスト」としての性質をも有するものであるから、動画プレイヤーによりシーケンスデータに従って動画クリップ(部分)を再生すれば、収録されたイベントの映像コンテンツを視聴再生することができる。たとえばシーケンスデータがSMIL形式で記述されていたときは、WEBブラウザーを動画プレイヤーとして映像コンテンツ再生することができる。
また、シーケンスデータが映像編集装置(映像編集アプリケーション)が読込可能なデータ形式であったときは、映像ソースからの映像クリップを素材データとして、収録されたイベントの映像コンテンツを単一の映像ファイルとして書き出す(出力する)ことができる。
【0104】
シーケンスデータは1回の収録(1シーンの1テイク)毎に生成されるものであるから、映像コンテンツが複数シーンからなるときは、シーン毎のシーケンスデータを、複数シーンに対応したものにする(シーケンスデータの結合)。
たとえば、
図12のシーケンスデータ例(SMIL形式で記述されたシーケンスデータの例)では、<body>要素より下の階層の要素を、<head>要素のmeta属性に記された「シーンナンバー」の順に結合すると、複数シーンをシーン番号順に順次再生するプレイリストとして結合されたものとなる。
【0105】
また、シーンについて「撮り直し」がされ、シーン毎に複数のテイク存在し得るときは、<head>要素のmeta属性に記された「レーティング」を参照してレーティングの値が最も高いテイク(複数ある場合は、たとえば後に収録されたもの)をシーンナンバーの順につなげたものを「プレイリスト」とすれば、ユーザー所望のテイクを採用したシーンから成る映像コンテンツが視聴再生可能になる。劇(ドラマ)の映像コンテンツのように「撮り直し」されることが一般的な場合において、シーン毎に採用テイクを決定して映像編集する工程を効率化でき便利である。
シーケンスデータ(結合されたものを含む)をテキスト編集することそれ自体が映像編集と同様の結果を生じさせるものであるから、映像編集装置(映像編集アプリケーション)の構成や所要資源を簡素化・軽量化できる。たとえば、SMILを編集するテキストエディタ―の領域と、該SMILを再生表示するモニター領域とを有するWEBページにより、映像編集のWEBアプリケーションを構成することが可能になる。
また、本実施形態に係る情報処理装置100がシーケンスデータを書き込むファイルを動画サーバー側で参照し、該データに基づいて、映像ソースの映像データを書き込んだ映像クリップの、情報処理装置100によりスイッチングされた部分の映像を順次送出するようにすれば、イベント収録中(シーケンスデータを書き込み中)であっても、(多少の遅延による)ライブ配信をすることができる。
【0106】
本実施形態に係る情報処理装置100は、ネットワークカメラを含む複数の映像ソースから送信するノードが受信するノードの受信を確認することなくデータを転送する転送方式で転送された略リアルタイムのライブビュー映像に基づいて映像ソースの切り替え(スイッチング)を行い、どの映像ソースがどのタイミングでスイッチングされていたかに関する情報と前記映像ソースより出力された映像データとに基づいて映像コンテンツを作成乃至配信するものである。このような構成をとることにより、冠婚葬祭等セレモニーやドラマ(劇)等の「イベント」の進行に沿って略リアルタイムに映像ソースをスイッチングしながら、ネットワーク伝送による品質低下の少ない映像データを素材にした映像コンテンツを作成乃至配信することが可能になる。
このようにして回線セッティング等の手間や機材コスト等を低減し、映像コンテンツ制作の簡便化や迅速化、コスト低減が図られる。即ち、ネットワークカメラを含む映像ソースをスイッチングして映像コンテンツを作成乃至は配信するのに好適な情報処理装置が実現する。
【0107】
(その他の実施形態)
本発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。
【0108】
また、本発明は、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワークまたは各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピューター(またはCPUやMPU等)がプログラムを読み出して実行する処理によっても実現される。
したがって、本発明の機能処理をコンピューターで実現するために、前記コンピューターにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータープログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタープリターにより実行されるプログラム、WEBブラウザー等のアプリケーションプログラムにより実行されるスクリプトやマクロ、API(Application Programming Interface)等の形態であってもよい。また、「マッシュアップ(Mashup)」のようなWEBプログラミングの技術等により、SNS(Social Networking Service)等の他のWEBサービスの一部として組み込まれて実施されるものであってもよい。
また、本発明は、WEBブラウザーを利用するいわゆるWEBアプリケーションとしても実現可能である。したがって、そのURL(Uniform Resource Locator)が指し示すWEBサーバーは、単一のハードウエアであると否とにかかわらず、本発明の実施を構成する。
【符号の説明】
【0109】
100…情報処理装置、110…CPU、120…RAM、130…ROM、160…ディスプレイ、170…操作部、190…ネットワークI/F、180…内部バス、210…イベント、400…スイッチャー端末、1500…ネットワークカメラ等の映像ソース、1600…視聴者端末、301…記憶手段、302…通信手段、303…セグメントデータ生成手段、304…プレイリスト生成手段、305…プレイリスト配信手段、306…セグメントデータ配信手段、307…スイッチャー手段、308…システム時計、401…映像ソースサムネイル表示手段、402…メニュー表示手段、403…音量レベル表示手段、404…RECインジケーター表示手段、405…シーケンス記録開始終了制御手段、406…PGM映像表示手段、407…映像ソース検索・追加・削除手段、408…スイッチング手段、409…カメラコントロール手段、410…トランジション手段、411…プロパティ手段、412…機器設定手段、413…システム時計、414…シーケンスデータ出力手段、415…プログラムドカメラワーク手段、416…カメラワーク実行手段、501…GUI、502…メニューボタン、503…オーディオメーター、504…ON AIRインジケーター、505…スタートボタン、506…モニター部、507…映像ソース部、508…プラスボタン、509…カメラコントロールボタン、510…スイッチング種別ボタン、511…レーティングボタン、512…タイムライン領域、513…コメントエリア、514…タイムコード目盛、515…映像ソースサムネイル表示エリア、516…再生ボタン、517…シーケンスマーカー、518…プロパティボタン、519…倍率スライダー、520…フェーダー、521…シーンタイトルコンボボックス、522…テイクナンバーテキストボックス、523…プログラムドカメラワークボタン、524…トランジションエフェクトプルダウン、525…デュレーションタイムアップダウン、600…カメラオペレーションパネル、601…映像表示部、602…「被写体追尾」チェックボックス、603a…「PGM時も追尾」ラジオボタン、603b…「PGM時は追尾しない」ラジオボタン、604…「サイズ設定追尾」チェックボックス、605…「サイズ設定」プルダウン、606…「つながり調整する」チェックボックス、607…クローズボタン、608…被写体指定枠、609…パンチルトコントローラー、610…ズームコントローラー、611…フォーカスコントローラー、612…設定メニューボタン、901…プログラムドカメラワークパネル、902…モニター部、903…RECボタン、904…EDITボタン、905…NEXTボタン、906…カメラワーク欄、907…イベントナンバー欄、908…テキスト欄、909…BACKボタン、910…SKIPボタン、911…ポップアップ(吹き出し)、1510…CPU(カメラ)、1520…RAM(カメラ)、1530…ROM(カメラ)、1540…撮像部(カメラ)、1550…メモリI/F(カメラ)、1560…ネットワークI/F(カメラ)、1570…PTZ制御部(カメラ)、1580…外部I/F(カメラ)、1590…内部バス(カメラ)、1601…視聴者端末通信手段、1602…プレイリスト取得手段、1603…セグメントデータ取得手段、1604…バッファ手段、1605…再生手段