特許 6994993 放送用編集装置、放送システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-16

(45)【発行日】2022-01-14

(54)【発明の名称】放送用編集装置、放送システム及び画像処理方法

(51)【国際特許分類】

   H04N 21/234 20110101AFI20220106BHJP

   H04N 21/24 20110101ALI20220106BHJP

   H04N 5/232 20060101ALI20220106BHJP

【ＦＩ】

H04N21/234

H04N21/24

H04N5/232 290

H04N5/232 941

【請求項の数】 4

(21)【出願番号】P 2018054151

(22)【出願日】2018-03-22

(65)【公開番号】P2019169768

(43)【公開日】2019-10-03

【審査請求日】2020-09-29

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】小島 治彦

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１４－０８５７２３（ＪＰ，Ａ）

【文献】特開２０１８－０５０２２４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００７０５８７（ＵＳ，Ａ１）

【文献】特開２００２－３４４８８０（ＪＰ，Ａ）

【文献】特開２００８－１５４２００（ＪＰ，Ａ）

【文献】特開２０１４－０４２２３４（ＪＰ，Ａ）

【文献】特開２００６－２１１１２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／２３４

Ｈ０４Ｎ ２１／２４

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

再生された映像に含まれる文字を検出しテキストに変換するテキスト抽出部と、
前記映像に含まれる文字をリストとして表示出力すると共に、前記映像に関連付けられたスポンサー情報と前記テキストとを比較し、それらが合致する場合に、前記テキストが合致していることが認識できるように表示する合致テキスト表示部と、
を備えることを特徴とする放送用編集装置。

【請求項2】

前記合致テキスト表示部は、前記映像に含まれる文字に、前記合致した旨を示すマークを重畳させることを特徴とする請求項１に記載の放送用編集装置。

【請求項3】

請求項１又は２に記載の放送用編集装置と、
前記放送用編集装置で編集された映像を送出する送出サーバと、
前記スポンサー情報を保持するスポンサー情報サーバと、
を備えることを特徴とする放送システム。

【請求項4】

再生された映像に含まれる文字を検出しテキスト（文字列）に変換するテキスト抽出工程と、
前記映像に含まれる文字をリストとして表示出力すると共に、前記映像に関連付けられたスポンサー情報と前記テキストとを比較し、それらが合致する場合に、前記テキストが合致していることが認識できるように表示する合致テキスト表示工程と、
を備えることを特徴とする映像に対する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、放送用編集装置、放送システム及び画像処理方法に係り、例えば、画像処理を施し放送として送出する映像に含まれる文字を検出する機能を備える放送用編集装置、放送システム及び画像処理方法に関する。

【背景技術】

【0002】

放送する映像（映像信号）は、一般には、収録した素材を編集した上で送出される。映像を編集する場合、編集用元素材と編集済素材との関係を抜き出した情報である元素材情報データを作成し、再び編集する場合には、編集済素材とプロジェクトデータと元素材情報データとを使用して編集する技術が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－３４２１８号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

ところで、民放放送局では番組毎にスポンサーが付くが、制作したドラマ、バラエティー等の番組内に映り込んだ文字（例えば、出演者のＴシャツに書かれている文字、缶ジュース、背景の看板等）がスポンサーに被っていないか（つまり、スポンサーと競合するメーカが画面内に表示されていないか）を編集者及びディレクターが目視でチェックしている。具体的には、「Ａ自動車会社」がスポンサーに付いている番組の場合、背景に「Ｂ自動車会社」の看板が映り込まないようにしている。通常は、放送前の事前プレビュー作業として、編集する毎に編集者やディレクターが映像を再生させて目視確認しており、仮にスポンサーが被った映像が映り込んでいた場合は、そのシーンを再度編集でカットするか、看板をモザイク等でぼかすといった作業を行っている。しかしながら、人力での作業のため、見逃しを無くすことが難しく対策の技術が求められていた。

【0005】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0006】

本発明の放送用編集装置は、再生された映像に含まれる文字を検出しテキストに変換するテキスト抽出部と、前記映像に含まれる文字をリストとして表示出力すると共に、前記映像に関連付けられたスポンサー情報と前記テキストとを比較し、それらが合致する場合に、前記テキストが合致していることが認識できるように表示する合致テキスト表示部と、を備える。
前記合致テキスト表示部は、前記映像に含まれる文字に、前記合致した旨を示すマークを重畳させてもよい。
本発明の放送システムは、上記の放送用編集装置と、前記放送用編集装置で編集された映像を送出する送出サーバと、前記スポンサー情報を保持するスポンサー情報サーバと、を備える。
本発明の映像に対する画像処理方法は、再生された映像に含まれる文字を検出しテキスト（文字列）に変換するテキスト抽出工程と、前記映像に含まれる文字をリストとして表示出力すると共に、前記映像に関連付けられたスポンサー情報と前記テキストとを比較し、それらが合致する場合に、前記テキストが合致していることが認識できるように表示する合致テキスト表示工程と、を備える。

【発明の効果】

【0007】

本発明によれば、放送する番組（すなわち映像信号）が、いわゆるスポンサー被りの状態となることを防止することができ、編集者やディレクターの業務負荷を低減することができる技術を提供できる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る、映像編集システムの概略構成を示すブロック図である。

【図2】実施形態に係る、編集装置の概略構成を示すブロック図である。

【図3】実施形態に係る、映像編集システムによるスポンサー情報にもとづく映像中のテキスト抽出・強調処理を説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係る映像編集システム１の概略構成を示すブロック図である。映像編集システム１は、カメラ１０と、収録装置１１と、記録装置１２（ビデオサーバ）と、編集装置１４と、送出サーバ１８と、メディア再生装置１９と、スポンサー管理サーバ２０と、システム制御部１５とを備え、それらはＬＡＮ回線や所定の通信回線等のネットワーク２で接続されている。システム制御部１５は、映像編集システム１全体を統括的に制御するものであって、単独で構成されてもよいし、他装置（記録装置１２や編集装置１４など）と同一に含まれて構成されてもよい。

【0010】

カメラ１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した映像にデジタル変換処理を施し、変換結果の映像データ（例えば、ＨＤ－ＳＤＩ規格の素材映像データ）を、収録装置１１を用いて、ネットワーク２を介して記録装置１２へ出力する。記録装置１２は、これを記憶する。

【0011】

メディア再生装置１９は、編集装置１４や送出サーバ１８等から再生指示を受けると、指示に応じてメディア５（光学メディア５ａ、磁気メディア５ｂ、ＶＴＲテープ５ｃ）内の映像ファイルを再生出力する。

【0012】

記録装置１２は、データ保存機能として、素材映像データを記録する素材映像データ部１２１と、編集済み映像データを記録する編集済み映像データ部１２２と、最終編集情報を記録する最終編集情報部１２３と、低解像度ファイルを記録する低解像度サーバ１２４と、を備える。

【0013】

スポンサー管理サーバ２０は、番組毎のスポンサー情報を記録する。スポンサー情報は、例えば、スポンサー名やスポンサーが提供する商品名・サービス名（以下、まとめて「商品名」と略する）、スポンサーと競合する会社名およびその商品名が、番組と関連付けて一覧として記録されている。スポンサー管理サーバ２０は、編集装置１４から、スポンサー情報の要求があると、指定された番組のスポンサー情報を送信する。

【0014】

図２は、編集装置１４の機能ブロック図である。編集装置１４は、編集制御部１４１と、表示部１４２と、操作パネル１４３と、映像文字チェック部１３とを備える。

【0015】

編集制御部１４１は、実際に編集作業を行うとともに編集装置１４を統括的に制御する。表示部１４２は、素材映像データ、及びこれに編集が施された後の映像データに基づく映像を表示させるディスプレイ（表示手段）である。操作パネル１４３は、その映像や音声における各部分を選択する、あるいは指示を入力するための操作手段である。表示部１４２と操作パネル１４３は、一体化されたタッチパネルディスプレイ１４４として構成されてもよい。

【0016】

映像文字チェック部１３は、処理対象認識部１３１と、情報記憶部１３２とを備える。なお、映像文字チェック部１３は、編集装置１４とは独立した映像文字チェック装置として設けられてもよい。

【0017】

処理対象認識部１３１は、テキスト抽出部１３３と、テキスト強調部１３４と、テキストリスト出力部１３５とを備える。

【0018】

テキスト抽出部１３３は、素材映像データ（映像）を読み込み、公知の文字認識・文書画像解析技術を用いて、映像中に含まれる文字を検出し抽出する。具体的には、映像中の文字領域を抽出し、文字領域が特定された後に文字認識を行い、テキスト（すなわち文字列）を抽出する。

【0019】

文字領域の抽出技術としては、２値化手法（局所２値化手法、濃淡値ヒストグラムの複数分割に基づく画像分解手法等）や、文字・テキストの強調技術として高解像度化、コントラスト補正、フォーカスのずれ、手ぶれ補正等の手法を必要に応じて施す。

【0020】

文字領域が特定された後、文字認識を行う際にも、カメラにより取得された文字画像の特性を考慮した種々の認識手法が適用されうる。例えば、映像（動画像）を構成する複数フレームの画像を用いて部分空間を構築する手法や、文字画像の非均一性による影響を取り除くため輝度レベルの正規化を行った後ガボールウェーブレット変換により特徴を抽出する手法がある。

【0021】

近年では、画像解析技術の発展により、スマートフォン等の携帯端末でも、映像中の文字認識技術を搭載するようになっており、映像中の幾何的な歪みや濃淡を補正しつつ、さらには、複数のフレーム（静止画）から文字の特徴量を抽出し、テキスト（文字列）として認識することができる。このような技術は、特に近年の人工知能技術、深層学習技術の進展により、認識精度が大幅に向上している。

【0022】

テキスト抽出部１３３は、抽出したテキストと、スポンサー管理サーバ２０に記録されているスポンサー情報とを照合させ、合致するテキスト（文字列）が存在するか否かを判断する。合致するテキストが存在する場合、テキスト抽出部１３３は、その文字列が存在する位置（タイムコード及び座標）と、合致したテキスト、スポンサー情報、番組情報（素材映像データのＩＤ等）を関連付けて情報記憶部１３２に記録する。

【0023】

テキスト強調部１３４は、映像中において、抽出されたテキストの部分をマークで囲む等で強調表示する。強調表示として、その他に次のような方法がある。すなわち、対象部分（映像中の文字領域およびその周辺）の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また映像の一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、映像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。

【0024】

このような表示処理により、編集者やディレクター等の作業者が、映像中に含まれる文字を、確実に認識することができる。なお、本実施形態では、スポンサー情報が合致した場合に強調表示するが、合致しない場合に強調表示を行うことで、異なるスポンサーを容易に確認できるようにしてもよい。

【0025】

抽出されたテキストに対してどのような処理を施すかは、作業者が設定することができる。例えば、抽出されたテキストが、スポンサーの競合会社の場合は赤色のマーカー表示、競合会社の商品名であれば青色のマーカー表示、スポンサー名の場合は文字の輪郭強調表示といった処理がある。また、映像中の文字の大きさに応じて、強調処理を行うか否かを設定可能としてもよい。すなわち、小さな文字の場合、送出された放送を視聴したユーザが、すぐに認識できないようなものであれば、その部分を編集するまでもない場合もあり、このような設定を可能とすることで、作業者への負担を低減できる。

【0026】

テキストリスト出力部１３５は、抽出した文字列を、一覧としてリスト化して、例えば映像の横やポップアップフレーム中に表示する。さらに、テキストリスト出力部１３５は、この表示の際に、スポンサー情報と合致する場合には、他のテキストとは分別可能に強調する。また、テキストの他に、スポンサーとの関係、すなわち、スポンサー名、商品名、競合会社名等であるか否かが分かるように表示することもできる。

【0027】

図３を用いて、上述の映像編集システム１によるスポンサー情報を反映した映像中のテキスト抽出・表示処理を簡単に纏めて説明する。

【0028】

処理対象の映像について、図示のように、映像画面Ａ１に人物のオブジェクト（人物１）Ａ２およびオブジェクト（人物２）Ａ３と、看板のオブジェクト（看板１）Ａ４及びオブジェクト（看板２）Ａ５が含まれている。

【0029】

オブジェクト（人物１）Ａ２は、例えば「あああ」と記載されたＴシャツを着ている。オブジェクト（人物２）Ａ３は、「いいい」と記載されたＴシャツを着て、「ＡＡ」と記載された缶を持っている。オブジェクト（看板１）Ａ４には「うううう」が、オブジェクト（看板２）Ａ５には「えええええ」が記載されている。

【0030】

編集装置１４の映像文字チェック部１３（テキスト抽出部１３３）は、再生された映像を取得すると（Ｓ１）、映像に対して画像解析によるテキスト抽出処理を施し、映像内の文字を検出しテキストに変換し、検出結果を出力する（Ｓ２）。例えば、検出文字リストＹ１に示すように、「あああ」「いいい」「うううう」「えええええ」「ＡＡ」が一覧として得られる。

【0031】

つぎに、映像文字チェック部１３（テキスト抽出部１３３）がスポンサー管理サーバ２０に対して処理対象の番組についてのスポンサー情報を要求すると、スポンサー管理サーバ２０は番組に関連付けられているスポンサー情報としてスポンサー情報リストＸ１を提供する（Ｓ３）。

【0032】

映像文字チェック部１３（テキスト抽出部１３３）は、スポンサー情報リストＸ１と検出文字リストＹ１とを比較して、強調表示対象となるテキストが含まれているか否かを判断する（Ｓ４）。強調表示対象となるテキストが含まれている場合、すなわちスポンサーの競業競合会社の名称や商品等の文字が含まれている場合、映像文字チェック部１３（テキストリスト出力部１３５）は、検出文字リストＹ１の該当テキストを強調表示する。ここでは、「うううう」が検出され白黒反転により強調表示されている。

【0033】

さらに、映像文字チェック部１３（テキスト強調部１３４）は、映像画面Ａ１において強調表示対象である「うううう」が含まれる領域をマーカーＭ１で囲む表示処理を行い、その部分を強調する（Ｓ５）。

【0034】

このように、映像上の競合会社の名称や商品等の強調表示を行うことで放送前に編集カットやぼかし加工ができるため、放送する番組が、いわゆるスポンサー被りの状態となることを防止することができる。したがって、編集者やディレクターの業務負荷を低減することができる。

【0035】

上述の実施形態の特徴を簡単に纏めると次の通りである。
映像編集システム１（放送システム）において、編集装置１４の映像文字チェック部１３（映像文字チェック装置）は、再生された映像に含まれる文字を検出しテキストに変換するテキスト抽出部１３３と、映像に関連付けられたスポンサー情報とテキストとを比較し、それらが合致する場合に、テキストが合致していることが認識できるように表示するテキスト強調部１３４（合致テキスト表示部）と、を備える。

【0036】

テキスト強調部１３４（合致テキスト表示部）は、映像に含まれる文字に、合致した旨を示すマークを重畳させてもよい。

【0037】

テキスト強調部１３４（合致テキスト表示部）は、映像に含まれる文字を、リストとして表示出力してもよい。すなわち、映像（画面）中の文字をテキストとして抽出後、一覧として例えばフレーム表示する。

【0038】

映像編集システム１（放送システム）は、上記の編集装置１４の映像文字チェック部１３（映像文字チェック装置）と、映像文字チェック部１３で編集された映像を送出する送出サーバ１８と、スポンサー情報を保持するスポンサー管理サーバ２０と、を備える。

【0039】

映像編集システム１における映像に対する画像処理方法は、再生された映像に含まれる文字を検出しテキストに変換するテキスト抽出工程と、映像に関連付けられたスポンサー情報と前記テキストとを比較し、それらが合致する場合に、前記テキストが合致していることが認識できるように表示する合致テキスト表示工程と、を備える。

【0040】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0041】

１ 映像編集システム
２ ネットワーク
５ メディア
１０ カメラ
１１ 収録装置
１２ 記録装置
１３ 映像文字チェック部
１４ 編集装置
１５ システム制御部
１８ 送出サーバ
１９ メディア再生装置
２０ スポンサー管理サーバ
１３１ 処理対象認識部
１３２ 情報記憶部
１３３ テキスト抽出部
１３４ テキスト強調部
１３５ テキストリスト出力部
１４１ 編集制御部
１４２ 表示部
１４３ 操作パネル
１４４ タッチパネルディスプレイ

【図1】

【図2】

【図3】