特許第6857554号(P6857554)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 池上通信機株式会社の特許一覧

<>
  • 特許6857554-放送用モニタシステム 図000002
  • 特許6857554-放送用モニタシステム 図000003
  • 特許6857554-放送用モニタシステム 図000004
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6857554
(24)【登録日】2021年3月24日
(45)【発行日】2021年4月14日
(54)【発明の名称】放送用モニタシステム
(51)【国際特許分類】
   H04N 21/235 20110101AFI20210405BHJP
   H04N 21/8547 20110101ALI20210405BHJP
【FI】
   H04N21/235
   H04N21/8547
【請求項の数】5
【全頁数】10
(21)【出願番号】特願2017-111744(P2017-111744)
(22)【出願日】2017年6月6日
(65)【公開番号】特開2018-207339(P2018-207339A)
(43)【公開日】2018年12月27日
【審査請求日】2020年6月2日
(73)【特許権者】
【識別番号】000209751
【氏名又は名称】池上通信機株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】野々下 大樹
【審査官】 川中 龍太
(56)【参考文献】
【文献】 特開2003−199076(JP,A)
【文献】 特開2009−055398(JP,A)
【文献】 特開2008−236257(JP,A)
【文献】 国際公開第2013/136715(WO,A1)
【文献】 特開2007−034621(JP,A)
【文献】 特開平08−329091(JP,A)
【文献】 米国特許出願公開第2010/0265397(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 − 21/858
(57)【特許請求の範囲】
【請求項1】
字幕情報をANC領域に含むSDI信号形式の映像コンテンツをモニタ表示すると共に、翻訳の委託に応じて翻訳結果を返信するクラウド上の翻訳エンジンに接続可能な放送用モニタシステムであって、
前記SDI信号からANC領域の字幕情報とそのタイムコードとを抽出する抽出手段と、
クラウド上の翻訳エンジンを評価することにより前記抽出した字幕情報の翻訳を委託する翻訳エンジンを決定する決定手段と、
前記決定された翻訳エンジンに前記抽出した字幕情報の翻訳を委託して、該翻訳エンジンから受け取った翻訳結果を当該字幕情報と一緒に抽出されたタイムコードに関連付ける翻訳委託手段と、
前記タイムコードに含まれるフレーム番号に基づいて、当該タイムコードに関連付けられた翻訳結果を、前記フレーム番号に対応する前記SDI信号のANC領域に重畳する重畳手段とを備えたことを特徴する放送用モニタシステム。
【請求項2】
前記決定手段は、クラウド上の翻訳エンジンを評価する評価サイトを参照して前記クラウド上の翻訳エンジンを評価することを特徴とする請求項1に記載の放送用モニタシステム。
【請求項3】
前記決定手段は、クラウドとして存在する評価エンジンによってなされた評価に基づいて前記クラウド上の翻訳エンジンを評価することを特徴とする請求項1に記載の放送用モニタシステム。
【請求項4】
前記決定手段は、翻訳しようとする字幕の翻訳言語をフィルタにして、該翻訳言語に対応する翻訳システムの評価のみを参照して利用する翻訳エンジンを決定することを特徴とする請求項2または3に記載の放送用モニタシステム。
【請求項5】
前記決定手段は、前記字幕情報として抽出された一文のテキストに所定の特定のワードが含まれるか否かを判定し、特定のワードが含まれる部分は翻訳対象から外すように翻訳委託手段に指示することを特徴とする請求項1から4のいずれかに記載の放送用モニタシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は放送用モニタシステムに関する。
【背景技術】
【0002】
放送用モニタシステムは、放送業務用に用いられるシステムであって、映像コンテンツの放送・配信前に、映像コンテンツの内容を最終確認するために、放送業務用の映像信号であるSDI信号に基づいて映像表示を行なったり、SDI(Serial Digital Interface)信号に対して簡単な修正をしたりするためのシステムとして知られている。
【0003】
SDI信号は、映像データを格納した映像領域とその他のデータを格納したANC(アンシラリ)領域とからなる。ANC領域に含まれるクローズドキャプション(CC)のデータは、文字放送や他言語の字幕として映像に付加して表示することができる(特許文献1)。この字幕には多言語対応したものもあり、その場合は、一般的には2〜3種類の言語が含まれている。
【0004】
字幕付き映像を制作して視聴者に提供するまでのワークフローを説明すると、放送局側では、撮影などを行って映像データを生成し、映像データに対して編集を施し、最後に映像データを確認した後、映像データを放送データに変換して放送局から視聴者へ放送または配信している。このようなワークフローにおいて、字幕データは、映像データに対する編集を行う過程で、人手または自動で入力される。多言語字幕の場合は、入力された字幕データを翻訳エンジンで逐次翻訳を行い処理される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−081141号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
SDI信号のANC領域は容量が限られた領域であるため、対応することができる言語の数は限定されていた。しかしながら近年映像コンテンツのグローバル化が進み、1つの番組が世界中の様々な地域で同時に放送されることが行われるようになってきている。対応言語を制限することは、放送コンテンツの提供機会の損失と考えられるようになってきた。
【0007】
対応言語を増やすために、単語の組合せとなる辞書データを有する独自の翻訳エンジンを搭載した放送用モニタシステムも提案されているが、単体製品として存在する以上、搭載できるリソースに制限が出てくるため、言語や単語の種類が限られてくる。また、新しい用語に対応するためには、アップデートが必要となるなど、言語や単語に対する制限が問題となる。
【0008】
一方で近年、クラウドコンピューティングと呼ばれる、インターネットなどのネットワークを介したコンピュータ資源を利用して様々な処理を行う手法が注目されている。このようなクラウドコンピューティングとして翻訳サービスを提供するクラウド上の翻訳エンジンなども存在する。
【0009】
しかしながらクラウド上の翻訳エンジンを従来の翻訳エンジンとして利用しようとしても、ネットワーク上に競合する翻訳エンジンが複数存在する場合、複数の翻訳エンジンの中から適切な翻訳エンジンを利用するための手法が存在せず、例えばリアルタイムの放送番組において逐次翻訳した字幕を付加する場合などには、翻訳エンジンの選択に時間を要し、字幕に遅れを生じてしまう可能性がある。また、新規な翻訳エンジンが登場したなどのクラウド上の翻訳エンジンの改廃があった場合にその改廃に対応して利用する必要もある。
【0010】
本発明は従来の問題に鑑みなされたものであって、本発明の課題は、クラウドコンピューティングとしてネットワーク上に複数存在する翻訳エンジンの中から適切な翻訳エンジンを選択可能とすることにより、リアルタイムの放送コンテンツに対して対応言語の制限なく適切に翻訳された字幕を付加することが可能な放送用モニタシステムを提供することにある。
【課題を解決するための手段】
【0011】
上記課題を解決するために、一実施形態に記載された発明は、字幕情報をANC領域に含むSDI信号形式の映像コンテンツをモニタ表示すると共に、翻訳の委託に応じて翻訳結果を返信するクラウド上の翻訳エンジンに接続可能な放送用モニタシステムであって、前記SDI信号からANC領域の字幕情報とそのタイムコードとを抽出する抽出手段と、クラウド上の翻訳エンジンを評価することにより前記抽出した字幕情報の翻訳を委託する翻訳エンジンを決定する決定手段と、前記決定された翻訳エンジンに前記抽出した字幕情報の翻訳を委託して、該翻訳エンジンから受け取った翻訳結果を当該字幕情報と一緒に抽出されたタイムコードに関連付ける翻訳委託手段と、前記タイムコードに含まれるフレーム番号に基づいて、当該タイムコードに関連付けられた翻訳結果を、前記フレーム番号に対応する前記SDI信号のANC領域に重畳する重畳手段とを備えたことを特徴する放送用モニタシステムである。
【図面の簡単な説明】
【0012】
図1】リアルタイム放送において撮影から視聴者が映像コンテンツを視聴するまでのワークフローを示す図である。
図2】本実施形態の放送用モニタシステムおよび複数のクラウドからなるクラウドシステムの構成例を示す図である。
図3】本実施形態の放送用モニタシステムにおける処理フローを示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、詳細に説明する。
【0014】
放送用モニタシステムは、放送局側で、放送や配信をする映像コンテンツを映像表示して最終的に確認するために用いられるシステムである。本実施形態の放送用モニタシステムは、評価部により翻訳エンジンの評価に基づいてどの翻訳エンジンに翻訳の委託をするのかを決定するので、適切なクラウド上の翻訳エンジンを利用して字幕データをリアルタイムに翻訳することができる。この構成により、限られたシステム容量の放送用モニタシステムにおいて、映像コンテンツに重畳される字幕データを言語の制限なく選択でき、ひいては映像コンテンツの放送機会の損失をなくすことができる。
【0015】
図1は、リアルタイム放送において撮影から視聴者が映像コンテンツを視聴するまでのワークフローを示す図である。本実施形態の放送用モニタは、ニュースなどのリアルタイム放送がなされる映像コンテンツを作成する際に用いることができる。本実施形態の放送用モニタシステムを説明するにあたって、放送用モニタシステムが用いられるリアルタイム放送のワークフローについて説明する。
【0016】
図1において、局Aは映像コンテンツを最初に作成して放送する放送局であり、局Bは映像コンテンツを貰い受けて自局の映像コンテンツとして放送する放送局である。例えば、局AはA国の放送局であってA国内向けの放送を行い、局BはB国の放送局であってB国向けの放送を行う。
【0017】
(撮影工程:A1)
ニュースをリアルタイム放送する場合、専用のカメラを用いてスタジオにて撮影を行い、アナウンサーなどを撮影した映像と喋っている音声とをSDI信号の形式にして出力する。
【0018】
(情報付加工程:A2)
スタジオのバックグラウンドにいるスタッフがスタジオで撮影されている映像や音声に合わせてテロップを入れたり、字幕を入力したりすることにより、撮影工程において出力されるSDI信号にテロップや字幕を追加する。
【0019】
テロップは説明や音声の内容の概略であり、必ずしも喋っている内容と完全一致しているわけではなく、文字や特殊効果として映像に重畳される。字幕は喋っている内容をそのまま書き起こしたもので、テキストデータとして入力され、SDI信号の映像や音声以外のデータ領域であるANC(アンシラリ)領域にデータとして重畳される。複数の言語を扱う場合は言語ごとに別のスタッフが同じように書き起こしを行う。
【0020】
SDI信号は映像の中で最も短い間隔であるフレーム単位でデータが作成されるため、時間的に最も正確である。各フレームは、タイムコードと呼ばれるもので管理され、時間:分:秒:フレームの4種類の指標の組み合わせで表現される。したがって、重畳される字幕データもこれらの4種類の指標を組合せたタイムコードでその表示タイミングが管理される。
【0021】
字幕データはタイムコードと合わせることで、ワークフロー内の後続部分で使われるモニタなどの機器上でタイミングを合わせて表示することができる。
【0022】
自局で撮影した映像コンテンツを他局に送る場合は、テロップや字幕などの情報が付加されたSDI信号を他局に送信する。
【0023】
(映像確認工程:A3、B3)
番組スタッフが、テロップや字幕などの情報が付加された後の映像コンテンツが最終映像として問題がないことを放送用モニタシステムにてリアルタイムに確認し、放送局外にある送信用の施設までSDI信号を送信する。このワークフローでは、送信用の施設が電波塔と配信施設である場合を例として説明している。
【0024】
本実施形態の放送用モニタシステムは、この映像確認工程A3、B3で使用される。映像コンテンツを最終映像として問題がないことを確認する際に、映像コンテンツを表示モニタに表示することに加えて、字幕を翻訳して自局に合わせた字幕を追加したり置き換えたりすることを可能にしている。
【0025】
(放送または配信工程:A4、A5、B4、B5)
電波塔では放送局から送信されたSDI信号を受けて映像の圧縮を行った後に放送波として発信する。字幕情報はデータ放送の部分に含まれる。
【0026】
配信施設ではSDI信号を受けて映像の圧縮を行った後にインターネットなどのIPプロトコルで扱える形に変換してストリーミングデータとして配信する。字幕情報はこのデータ内に含むか、PCなどで扱えるファイルに変換する。
【0027】
(視聴:A6、A7、B6、B7)
視聴者の自宅などでは放送波を受信するテレビ(A6、B6)や、インターネット経由でストリーミング映像コンテンツを見るためのPCやスマートフォン(A7、B7)などで放送・配信されている映像コンテンツを視聴することができる。
【0028】
テレビなどではデータ放送内の第2言語の表示機能などがあれば映像に重ねる形で字幕データを文字として表示することができる。PCの場合は字幕データに対応した外国語フォントなどがインストールされていればWebブラウザなどで表示される。
【0029】
本実施形態の放送用モニタシステムは、以上のワークフローにおける(映像確認工程A3、B3)において用いることができる。
【0030】
図2は本実施形態の放送用モニタシステムおよび複数のクラウドからなるクラウドシステム(クラウドコンピューティングの集合)の構成例を示す図である。放送用モニタシステム10は、データ入出力部1と、データ格納部2と、表示部3と、抽出部4と、評価部5と、翻訳委託部6と、重畳部7とを備えて構成される。クラウドシステムは、評価エンジン21と複数の評価サイト22と複数の翻訳エンジン23とがクラウド(クラウドコンピューティング)として存在するインターネットなどのネットワークとして構成される。
【0031】
データ入出力部1は、映像コンテンツが入出力される入出力インターフェースである。例えば最終的に映像確認するために、放送用モニタシステム10には、データ入出力部1を介して情報付加工程(A2)で所定の情報が付加されたSDI信号の形態の映像コンテンツが逐次入力される一方で、放送用モニタシステム10で必要な処理をした後にデータ入出力部1を介してSDI信号の形態の映像コンテンツを放送・配信用の施設に向けて逐次出力する。
【0032】
データ格納部2は、SDI信号の形態の映像コンテンツを格納する。表示部3は、データ格納部2に格納された映像コンテンツをオペレータが目視確認可能なようにモニタ表示する。データ格納部2には、表示部3にモニタ表示する映像コンテンツを一時的に格納することができるようにすればよく、映像コンテンツを永続的に格納する格納部は放送用モニタシステム10の外部に設けることで放送用モニタシステム10を小型化できる。
【0033】
抽出部4は、データ格納部2に格納された映像コンテンツのSDI信号のANCデータから字幕情報とそのタイムコードを含む字幕データを取得する。例えば、字幕情報内で、ピリオドや句点などの文の区切りを示す情報を検出するか、字幕情報の取得途中に字幕情報が中断してから所定時間を経過しても新しい字幕情報が抽出できない場合に一文が成立したと判断し、一文の字幕情報とタイムコードとを関連付けて字幕データとして抽出することができる。
【0034】
評価部5は、様々な指標に基づいて翻訳エンジン23の評価を行い、この評価に基づいて翻訳を委託する翻訳エンジン23を決定する。評価部5は、翻訳エンジン23を評価するに当たって、クラウドとして存在する翻訳エンジン23を評価する評価サイト22を参照してもよいし、クラウドとして存在する評価エンジン21によってなされた評価に基づいて行ってもよい。評価部5は、翻訳エンジン23を直接評価するのではなく、評価エンジン21や評価サイト22の評価を参照して翻訳エンジン23の評価を行うので、評価エンジン21や評価サイト22の状態を監視するだけでよく、翻訳エンジン23の状態を常に監視する必要がないという利点がある。
【0035】
評価部5は、放送用モニタシステムにおいて翻訳しようとする字幕の翻訳言語をフィルタにして、翻訳言語に対応する翻訳システムのスコアのみを参照して利用する翻訳エンジン23を決定することができる。翻訳言語は、例えば図示しない翻訳言語設定部などを設けてオペレータによって翻訳前の言語および翻訳後の言語がそれぞれ設定される構成とすることができる。またはオペレータの設定を必要とすること無く、抽出部5が翻訳前の言語は字幕から自動的に判別して、翻訳後の言語はデフォルトで設定された言語とする構成としてもよい。
【0036】
評価サイト22としては、それぞれの翻訳エンジン23に何件アクセスがあったかを示す情報を提供する翻訳エンジン23の提供者のサイトやフェイスブック(登録商標)などの翻訳エンジン23の評判を反映するサイトとすることができる。評価部5は例えば、評価サイト22でアクセス件数の多いものを評価の高い翻訳エンジン23であると評価して翻訳委託する翻訳エンジン23として決定したり、フェイスブック(登録商標)における各翻訳エンジンの「いいね」の数が多いものを評価の高い翻訳エンジン23であると評価して翻訳委託する翻訳エンジン23と決定したりすることにより、複数の翻訳エンジン23を順位付けする。
【0037】
評価エンジン21としては、予め所定の基準で翻訳エンジン23を順位付けした情報を格納したデータベースを有し、かかるデータベースに格納した情報を評価部5に提供するクラウド上のシステムである。評価エンジン21は、クラウド上の複数の翻訳エンジン23を複数の観点から比較評価し、スコア付けを行い、スコアの高い順に翻訳エンジン23を並び替えている。評価エンジン21はスコア付けの後、翻訳エンジン23に実際に接続して翻訳できるか試行する。接続できないものはサービス中断と判断して、翻訳の候補から外す。スコア付けは翻訳言語ごとに行ってもよい。評価エンジン21における評価の基準は、評価エンジン21独自のものでもよいが、評価サイト22の評価と同様のものであってもよい。評価の基準としては、例えば、アクセス件数の多さ、フェイスブック(登録商標)の「いいね」の数や、システムで決められている「一度に翻訳できる文章の長さ」や、一旦他の言語に翻訳したものを翻訳前の言語に再度翻訳させた時の文章の一致する率などが挙げられる。
【0038】
また、評価部5は、抽出部4で抽出した字幕情報についても評価を行ってもよい。例えば、字幕情報として抽出された一文のテキストに所定の特定のワードが含まれるか否かを判定し、特定のワードが含まれる部分は翻訳対象から外すように翻訳委託部6に指示することもできる。放送・配信にふさわしくない部分が字幕として放送・配信されてしまうことを防止できる。
【0039】
翻訳委託部6は、評価部5において決定された翻訳エンジン23に字幕情報の翻訳を委託し、委託した字幕情報の翻訳結果を翻訳エンジン23から受信する。翻訳委託部6は、抽出部4において抽出された字幕データの字幕情報とその字幕データのタイムコードとのうち、字幕データの字幕情報のみを翻訳エンジン23に翻訳の委託をし、翻訳結果として翻訳されたテキストデータを受け取ると、翻訳後のテキストデータを新たに字幕データのタイムコードに関連付けて重畳部7に送る。翻訳の委託は、字幕情報をテキストデータに変換したものを翻訳指示とともに翻訳エンジンに転送することによって行われる。
【0040】
翻訳エンジン23は、ネットワーク上のクラウドとして存在する翻訳処理を行うシステムであり、様々な言語に対応して様々な翻訳エンジンが存在する。もちろん、1つの翻訳エンジン23が複数の言語の翻訳に対応していてもよい。ネットワークを介して端末から翻訳委託を受信すると、翻訳委託された文章の翻訳を行い、翻訳委託を行った端末に翻訳結果を返信する。本実施形態では端末は放送用モニタシステムである。クラウドとして存在する翻訳エンジンは、放送用モニタシステムとは別のシステムであるため、端末側でその更新等をする必要なく、最新の用語がカバーされるという利点がある。さらに、その翻訳言語の種類も放送用モニタシステムからアクセス可能な翻訳エンジン23で対応している言語であれば制限なく対応可能である。
【0041】
翻訳委託部6は、評価部5により翻訳対象から外すように指示された字幕情報はその字幕情報に関連付けられたタイムコードと共に削除することができる。
【0042】
評価部5は、翻訳委託部6において翻訳委託した前後の文章や応答時間などを受け取って評価エンジン21にフィードバックしてもよい。
【0043】
重畳部7は、翻訳後の字幕データをSDI信号のANCデータに重畳することにより、データ格納部2に格納されているSDI信号を更新してもよい。翻訳後の字幕データはタイムコードと関連付けられており、タイムコードをもとに、翻訳されたテキストデータを所定の領域のANCデータに重畳する。
【0044】
更新されたSDI信号は表示部3に表示されるので、そのANC領域の字幕データも表示することによって翻訳後の字幕データをオペレータが目視確認させることができる。
【0045】
図3は本実施形態の放送用モニタシステムにおける処理フローを示す図である。図2で説明した放送用モニタシステムにおける処理フローについて説明する。
【0046】
まず抽出部4が、映像コンテンツから字幕情報及びタイムコードを抽出する抽出処理を行う(S1)。抽出部4は、放送用モニタシステムに入力されたSDI信号のANCデータからタイムコードとクローズドキャプションの字幕情報を取得する。字幕情報内でピリオドや句点などの文の区切りを示す情報を検出するか、字幕情報の取得途中に字幕情報が中断してから決められた時間を経過しても新しい字幕情報が来ない場合は一つの文章が成立したと判断して、字幕情報とタイムコードとを関連付けて抽出する。
【0047】
次に、評価部5が翻訳委託を行う翻訳エンジンを決定する決定処理を行う(S2)。具体的には、抽出部4において抽出処理がなされると、評価部5は決定処理を開始する。評価部5は、インターネットなどのネットワークを介して、評価サイト22や評価エンジン21にアクセスして、評価サイト22や評価エンジン21におけるスコア付けが高いものから翻訳エンジン23に実際に接続して翻訳できるか試行する。接続できないものはサービス中断と判断して、翻訳の候補から外す。接続できた翻訳エンジン23のうちでスコア付けが最も高いものに翻訳委託を行うことを決定する。
【0048】
決定処理は、文章の抽出ごとに毎回は行わなくてもよいが一回で終わりとはせず、必ず一定期間ごとに行う。
【0049】
翻訳委託部6は、決定処理で決定された翻訳エンジンに対して、抽出処理で抽出された字幕情報についての翻訳を委託する委託処理を行う(S3)。委託処理は、クラウドとして存在する複数の翻訳エンジン23のうち、評価部5による決定処理で決定された翻訳エンジン23に翻訳委託する。翻訳委託部6は、抽出部4において抽出されたタイムコードとクローズドキャプションの字幕情報のうち、字幕情報を決定された翻訳エンジン23に翻訳委託し、その翻訳結果を受け取る。受け取った翻訳結果のテキストデータは翻訳前の字幕情報に関連付けられていたタイムコードに関連付けて重畳部7に送る。
【0050】
評価部5は、翻訳委託部6で委託処理した結果の情報(翻訳委託した前後の文章や翻訳に要した時間など)を翻訳委託部6から受け取って評価エンジン21にフィードバックしてもよい。
【0051】
重畳部7は、受け取ったテキストデータをSDI信号に重畳する重畳処理を行う(S4)。翻訳委託部6から受け取った翻訳結果のテキストデータを、クローズドキャプションとして再構成し、関連付けられたタイムコードを参照してSDI信号のANC領域に重畳する。タイムコードには、フレーム番号が含まれているため、タイムコードに基づいてANC領域に重畳すると、適切な位置に重畳することができる。
【0052】
本実施形態の放送用モニタシステムでは、翻訳委託部6が放送用モニタシステム10の装置内に設けられている場合を例に挙げて説明したが、翻訳委託部6をクラウド上のシステムとして構成し、放送用モニタシステム10の装置内には送受信部のみを設けて、送受信部において、クラウド上のシステムである翻訳委託部6に対して翻訳すべき字幕情報およびその翻訳結果を送受信する構成としてもよい。
【符号の説明】
【0053】
1 データ入出力部
2 データ格納部
3 表示部
4 抽出部
5 評価部
6 翻訳委託部
7 重畳部
10 放送用モニタシステム
21 評価エンジン
22 評価サイト
23 翻訳エンジン
A1 撮影工程
A2 情報付加工程
A3、B3 映像確認工程
A4、B4 放送工程
A5、B5 配信工程
A6、A7、B6、B7 視聴工程
図1
図2
図3