知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-20
(45)【発行日】2022-01-28
(54)【発明の名称】文字スーパー合成装置及びプログラム
(51)【国際特許分類】
H04N 5/278 20060101AFI20220121BHJP
H04N 21/854 20110101ALI20220121BHJP
【ＦＩ】
H04N5/278
H04N21/854
【請求項の数】
6
(21)【出願番号】P 2018038083
(22)【出願日】2018-03-02
(65)【公開番号】P2019153939
(43)【公開日】2019-09-12
【審査請求日】2021-02-01
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】小出 大一
(72)【発明者】
【氏名】望月 菊佳
【審査官】西谷 憲人
(56)【参考文献】
【文献】特開２００４－１７７７２２（ＪＰ，Ａ）
【文献】特開２０１６－０８５３６４（ＪＰ，Ａ）
【文献】特開２０００－０７８４７０（ＪＰ，Ａ）
【文献】国際公開第２０１６／１２５６９１（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１１０８２３（ＷＯ，Ａ１）
【文献】特開２０１７－２００１８６（ＪＰ，Ａ）
【文献】特開２００６－２９５７４６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２７８
Ｈ０４Ｎ ２１／８５４
(57)【特許請求の範囲】
【請求項1】
複数の映像フレームからなる１カット又は１シーンあるいは１映像フレームを文字レベル制御単位とし、高ダイナミックレンジの背景映像の映像信号に含まれる映像フレームの輝度に基づく映像の特徴量を前記文字レベル制御単位で計算する映像特徴量計算部と、前記映像特徴量計算部により計算された前記特徴量に基づいて、前記背景映像にスーパーインポーズされる文字情報の輝度を表すビデオレベルである文字レベルを決定する文字レベル制御部と、
前記文字レベル制御部により決定された前記文字レベルにより前記文字情報を表示する文字スーパー映像を生成する文字スーパー発生部と、
前記映像フレームに、当該映像フレームが含まれる前記文字レベル制御単位の前記特徴量に基づいて決定された前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成する映像合成部と、
を備え、
前記特徴量は、前記映像フレーム全体の全画素、前記映像フレーム全体からサンプリングした各画素、前記映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素、又は、前記領域からサンプリングした各画素の輝度の平均であり、
前記文字レベル制御部は、前記特徴量をパラメータ値として用いる関数により前記文字レベルを算出し、
前記関数は、前記文字レベルのＩＲＥ値（％）をＣ＿ＶＬ、輝度レベルのＩＲＥ値（％）の平均である前記特徴量をＡＰＬ、高いＡＰＬと低いＡＰＬの差に対する前記文字レベルの違いを示す傾き値をａ、ＡＰＬが０％のときの前記文字レベルを表す切片値をｂとした場合に、式（Ａ）で表され、
前記傾き値ａ及び前記切片値ｂは、０．２０≦ａ≦０．４０、かつ、０．６０≦ｂ≦０．８０である、
Ｃ＿ＶＬ＝ａ×ＡＰＬ＋ｂ …（Ａ）
ことを特徴とする文字スーパー合成装置。
【請求項2】
前記文字レベル制御部は、前記関数により算出した前記文字レベルのＩＲＥ値が１００％を超える場合、前記文字レベルを所定の上限値でクリップする、ことを特徴とする請求項１に記載の文字スーパー合成装置。
【請求項3】
前記文字レベル制御部は、前記関数により算出した前記文字レベルが所定の下限値より低い場合、前記文字レベルを前記下限値でクリップする、ことを特徴とする請求項１又は請求項２に記載の文字スーパー合成装置。
【請求項4】
前記映像合成部は、前記映像特徴量計算部により前記特徴量が計算された前記映像フレームを逐次入力し、入力した前記映像フレームに、当該映像フレームより所定フレーム前の映像フレームから得られた前記特徴量に基づいて前記文字レベル制御部が決定した前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成し、生成した前記映像フレームを逐次出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の文字スーパー合成装置。
【請求項5】
前記映像信号の垂直ブランキング期間内に、前記映像特徴量計算部は、前記映像信号に含まれる映像フレーム毎に前記特徴量を計算し、かつ、前記文字レベル制御部は、計算された前記特徴量に基づいて前記文字レベルを決定し、
前記映像合成部は、入力した前記映像フレームに、当該映像フレームより１フレーム前の映像フレームから得られた前記特徴量に基づいて前記文字レベル制御部が決定した前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成する、
ことを特徴とする請求項４に記載の文字スーパー合成装置。
【請求項6】
コンピュータを、請求項１から請求項５のいずれか一項に記載の文字スーパー合成装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字スーパー合成装置及びプログラムに関する。
【背景技術】
【0002】
現行のテレビジョン放送においては、補助的に情報を伝えるために、映像に文字がスーパーインポーズされている。以下では、スーパーインポーズされた文字を「文字スーパー」と記載する。
【0003】
これまでのテレビジョン放送では、ＣＲＴ（cathode ray tube）や液晶型テレビなどの受像機における、ある一定の明暗差のダイナミックレンジ（ここでは標準ダイナミックレンジ、ＳＤＲ：Standard Dynamic Range）による表現が用いられていた。また、放送局によるテレビジョン用映像制作においては、映像編集用スタジオなどで映像を制作する際には、一般に、ＩＴＵ－Ｒ（International Telecommunication Union Radiocommunication Sector）勧告ＢＴ．２０３５に則り、制作用モニター表示の明るさの基準を、周囲環境の最大の明るさより１０％程度低い１０ｃｄ／ｍ２の環境とする。加えて、ビデオレベル（ＩＲＥ（Institute of Radio Engineers）値）０から１００％（あるいは１０９％）のうち、標準白レベル１００％を明るさ１００ｃｄ／ｍ２に設定しており、放送用映像は、ＩＲＥ値０～１００％で制作される。映像が家庭に放送された際には、視聴者は、テレビジョン受像機が表現できる輝度特性や、視聴する環境（一般にはスタジオ制作環境より明るい）、視聴者の好みなどに応じて、コントラスト、明るさなどの値を調整し、最大輝度をおおよそ１～４倍（４００ｃｄ／ｍ２）程度にして視聴するケースが多い。このとき、文字スーパーは、無彩色の場合、一般に最大輝度のビデオレベルを１００％の白色に設定して放送されることが一般である。
【0004】
近年、テレビ受像機などのディスプレーの最大輝度性能の向上や、撮像素子で獲得できる明暗幅性能の拡大などの技術進歩を背景に、高ダイナミックレンジ（ＨＤＲ；High Dynamic Range）方式による映像表示技術が放送用映像に適用されつつある。ＨＤＲ方式では、明暗差を拡大して表現の幅を拡げ、より撮影対象（シーン）に忠実に映像を表現する。ディスプレーの最大輝度は、液晶型モニターにおいて７００ｃｄ／ｍ２以上が表現できるようになっている（コントラスト比１０００：１以上）。また、近年出てきている自発光型表示デバイスである有機ＥＬ素子（ＯＬＥＤ：organic electro-luminescence）によるディスプレーにおいては、コントラスト比が１００万：１を超え、最大輝度も５００ｃｄ／ｍ２から１０００ｃｄ／ｍ２へと、明暗幅を表現できる範囲が向上してきている。
【0005】
これまでのＳＤＲにおける映像の光電気変換関数（ＯＥＴＦ；Opto-Electrical Transfer Function）は、映像レベル（電気信号、相対値）をＥ、シーンの輝度を電気信号に変換したレベルをＬとすると、式（１）により表される。
【0006】
【数1】
【0007】
一方で、ＨＤＲ方式の一つ、ハイブリッド・ログ・ガンマ（ＨＬＧ：Hybrid Log-Gamma）方式では、ＯＥＴＦは、映像レベル（電気信号、相対値）をＥ’としたときに、式（２）により表される（例えば、非特許文献１参照）。
【0008】
【数2】
【0009】
ここで、式（２）の上の式を式（２－１）、下の式を式（２－２）と記載する。ｒは、式（２－１）と式（２－２）の境界点である。境界点ｒは、基準白レベルを表しており、相対ビデオレベルで５０％を意味する。なお、境界点ｒを、０．７や０．７５など別の値とする可能性もある。これに併せて、境界点ｒから引かれる式（２－２）の関数におけるａ，ｂ，ｃの値が変わることもある。式（２－１）のべき乗関数は、式（１）式に類似しており、互換性が高い映像表現が可能である。一方、式（２－２）は、相対ビデオレベル５０％以上において、対数関数で表される映像の更に明るい部分（ハイライト）を表現することができる。また、非特許文献２では、読み替えると、関数は同様であるが、ｒ＝０．５などのように境界点ｒを定数とする規定はない。非特許文献1の改定版であるSTD-B67，2.0版，2018年1月においても、非特許文献2と同様、rを定数とする規定はなくなっている。
【0010】
このため、これまでのＳＤＲ映像による放送からＨＤＲ映像による放送への移行が起こり、例えば、ＨＬＧ方式が適用されたとすると、相対ビデオレベル０～５０％についてはＳＤＲと互換性のある表現領域とし、５０～１００％については更に明暗幅を拡大して、ハイライトを表現する高輝度領域で表現することができる。
【0011】
これまでのＳＤＲ方式で制作された放送番組を、ＨＤＲ方式による映像で限りなく忠実に放送で表現しようとした場合、ビデオレベル０～５０％で表現することが想定される。これまでの提示手法によれば、ＳＤＲで制作された番組に文字がスーパーされる場合、最大輝度５０％で表現されることが一般であった。
【先行技術文献】
【非特許文献】
【0012】
【文献】ARIB STD-B67，"Parameter Values for the Hybrid Log-Gamma (HLG) High Dynamic Range Television (HDR-TV) System for Programme Production"，一般社団法人 電波産業会，1.0版，2015年7月
【文献】Recommendation ITU-R BT.2100-1，"Image parameter values for high dynamic range television for use in production and international programme exchange"，ITU-R（Radiocommunication Sector of International Telecommunication Union），2017年6月
【発明の概要】
【発明が解決しようとする課題】
【0013】
ここで、ＨＤＲとＳＤＲのいずれにも対応するように、従来どおりＳＤＲの最大値５０％のレベルで文字スーパーを重畳すると、ＨＤＲ映像ではグレーに見え、見えにくくなる。一方で、これより高い一定レベル、例えば、ビデオレベル６３％や７５％で文字スーパーを提示したとしても、ダイナミックレンジが高い動画像の種類によっては、文字スーパーの見やすさ（眩しさ、白さ）も変化する。例として、文字スーパーをＨＤＲの最大レベル１００％とした場合、ＩＴＵ－Ｒ勧告ＢＴ.２１００に則り映像モニターで表示すると、１０００ｃｄ/ｍ２で表示されるため、人にとって眩しく感じる。放送を数十分程度見続けることを想定すると、特に子供など人の眼に負担が大きくなる可能性がある。
【0014】
また、放送局では、番組制作に時間をかけて文字スーパーを挿入するポストプロダクションを伴った映像制作をすることがある。この映像制作の際には、シーン映像をプレビューしながら、ＨＤＲ映像の明るさに合せて文字スーパーのレベルを設定し、重畳することができる。しかしながら、速報性の高い放送映像、例えば、ニュースや、緊急速報スーパー、クローズドキャプションによる実時間音声字幕変換による文字スーパーの送出の際には、レベルを都度あらかじめ決めておくことができず、見えにくい文字スーパーを送出しまう可能性がある。また、ポストプロダクションを伴う映像制作を行うときにも、プレビューしなくても、時間をかけずに映像の明るさに合せて文字スーパーの明るさを決定し、提示する技術が求められる。
【0015】
本発明は、このような事情を考慮してなされたもので、コンテンツの映像の上に見やすい文字スーパーを重畳することができる文字スーパー合成装置及びプログラムを提供する。
【課題を解決するための手段】
【0016】
本発明の一態様は、複数の映像フレームからなる１カット又は１シーンあるいは１映像フレームを文字レベル制御単位とし、背景映像の映像信号に含まれる映像フレームの輝度に基づく映像の特徴量を前記文字レベル制御単位で計算する映像特徴量計算部と、前記映像特徴量計算部により計算された前記特徴量に基づいて、前記背景映像にスーパーインポーズされる文字情報の輝度を表すビデオレベルである文字レベルを決定する文字レベル制御部と、前記文字レベル制御部により決定された前記文字レベルにより前記文字情報を表示する文字スーパー映像を生成する文字スーパー発生部と、前記映像フレームに、当該映像フレームが含まれる前記文字レベル制御単位の前記特徴量に基づいて決定された前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成する映像合成部と、を備えることを特徴とする文字スーパー合成装置である。
この態様によれば、文字スーパー合成装置は、背景映像の映像フレームから得られた輝度の情報を用いてカット毎、シーン毎又は１映像フレーム毎に映像の特徴量を計算し、計算された特徴量に基づいて決定した文字レベルにより文字情報を表示する文字スーパー映像を、背景映像の映像フレームに重畳する。
これにより、文字スーパー合成装置は、背景映像に応じて適応的に見やすい明るさに調整した文字スーパーを提示することができる。また、文字スーパー合成装置は、背景映像の輝度が短い時間で変化する場合でも文字スーパーが見やすいように、１カット毎又は１シーン毎に一定の文字レベルで文字スーパーを提示することや、１映像フレーム毎にきめ細やかに文字レベルを適応的に変化させて文字スーパーを提示することができる。
この態様によれば、文字スーパー合成装置は、背景映像の映像フレームから得られた輝度の情報を用いてカット毎、シーン毎又は１映像フレーム毎に映像の特徴量を計算し、計算された特徴量に基づいて決定した文字レベルにより文字情報を表示する文字スーパー映像を、背景映像の映像フレームに重畳する。
これにより、文字スーパー合成装置は、背景映像に応じて適応的に見やすい明るさに調整した文字スーパーを提示することができる。また、文字スーパー合成装置は、背景映像の輝度が短い時間で変化する場合でも文字スーパーが見やすいように、１カット毎又は１シーン毎に一定の文字レベルで文字スーパーを提示することや、１映像フレーム毎にきめ細やかに文字レベルを適応的に変化させて文字スーパーを提示することができる。
【0017】
本発明の一態様は、上述した文字スーパー合成装置であって、前記特徴量は、前記映像フレーム全体の全画素、前記映像フレーム全体からサンプリングした各画素、前記映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素、又は、前記領域からサンプリングした各画素の輝度の平均である、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、映像フレームの全画素又は間引いてサンプリングした画素の輝度の平均、あるいは、映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素又は間引いてサンプリングした画素の輝度の平均を特徴量として用い、文字レベルを決定する。
これにより、文字スーパー合成装置は、背景映像又は背景映像における文字スーパー周辺領域の明るさに応じて、見やすい文字スーパーの文字レベルを決定することができる。
この態様によれば、文字スーパー合成装置は、映像フレームの全画素又は間引いてサンプリングした画素の輝度の平均、あるいは、映像フレームにおいて前記文字スーパー映像が重畳される周辺の領域の全画素又は間引いてサンプリングした画素の輝度の平均を特徴量として用い、文字レベルを決定する。
これにより、文字スーパー合成装置は、背景映像又は背景映像における文字スーパー周辺領域の明るさに応じて、見やすい文字スーパーの文字レベルを決定することができる。
【0018】
本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記特徴量の範囲に応じて段階的に一定の前記文字レベルを決定する、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、背景映像の特徴量に応じて段階的に決定した文字レベルにより文字スーパーを提示する。
これにより、文字スーパー合成装置は、簡易に文字レベルを決定することができ、また、背景映像の明るさが大きく変化しない間は一定の文字レベルにより文字スーパーを表示することができる。
この態様によれば、文字スーパー合成装置は、背景映像の特徴量に応じて段階的に決定した文字レベルにより文字スーパーを提示する。
これにより、文字スーパー合成装置は、簡易に文字レベルを決定することができ、また、背景映像の明るさが大きく変化しない間は一定の文字レベルにより文字スーパーを表示することができる。
【0019】
本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記特徴量をパラメータ値として用いる関数により前記文字レベルを算出する、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、背景映像の特徴量に応じた文字レベルを関数により決定する。
これにより、文字スーパー合成装置は、背景映像の明るさに応じて適応的に見やすい文字レベルを決定することができる。
この態様によれば、文字スーパー合成装置は、背景映像の特徴量に応じた文字レベルを関数により決定する。
これにより、文字スーパー合成装置は、背景映像の明るさに応じて適応的に見やすい文字レベルを決定することができる。
【0020】
本発明の一態様は、上述した文字スーパー合成装置であって、前記関数は、前記文字レベルのＩＲＥ値（％）をＣ＿ＶＬ、輝度レベルのＩＲＥ値（％）の平均である前記特徴量をＡＰＬ、高いＡＰＬと低いＡＰＬの差に対する前記文字レベルの違いを示す傾き値をａ、ＡＰＬが０％のときの前記文字レベルを表す切片値をｂとした場合に、式（３）で表される、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、背景映像から得られた特徴量に応じた文字レベルを一次関数により決定する。
これにより、文字スーパー合成装置は、背景映像の明るさに応じて適応的に見やすい文字レベルを簡易な計算により決定することができる。
この態様によれば、文字スーパー合成装置は、背景映像から得られた特徴量に応じた文字レベルを一次関数により決定する。
これにより、文字スーパー合成装置は、背景映像の明るさに応じて適応的に見やすい文字レベルを簡易な計算により決定することができる。
【0021】
本発明の一態様は、上述した文字スーパー合成装置であって、前記傾き値ａ及び前記切片値ｂは、０．２０≦ａ≦０．４０、かつ、０．６０≦ｂ≦０．８０である、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、０．２０≦ａ≦０．４０、０．６０≦ｂ≦０．８０を用いた式（３）により文字レベルを決定する。
これにより、文字スーパー合成装置は、背景映像に応じて、眩しくなく、グレー色に見えにくい、見えやすい文字レベルを決定することができる。
この態様によれば、文字スーパー合成装置は、０．２０≦ａ≦０．４０、０．６０≦ｂ≦０．８０を用いた式（３）により文字レベルを決定する。
これにより、文字スーパー合成装置は、背景映像に応じて、眩しくなく、グレー色に見えにくい、見えやすい文字レベルを決定することができる。
【0022】
本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記関数により算出した前記文字レベルのＩＲＥ値が１００％を超える場合、前記文字レベルを所定の上限値でクリップする、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、式（３）により算出された文字レベルのＩＲＥ値が１００％を超える場合、文字レベルを所定の上限値とする。
これにより、文字スーパー合成装置は、文字スーパーを眩しすぎないように提示することができる。
この態様によれば、文字スーパー合成装置は、式（３）により算出された文字レベルのＩＲＥ値が１００％を超える場合、文字レベルを所定の上限値とする。
これにより、文字スーパー合成装置は、文字スーパーを眩しすぎないように提示することができる。
【0023】
本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御部は、前記関数により算出した前記文字レベルが所定の下限値より低い場合、前記文字レベルを前記下限値でクリップする、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、所定の規則に従って特徴量に基づいて決定した文字レベルが下限値よりも低い場合、文字レベルをその下限値とする。
これにより、文字スーパー合成装置は、文字スーパーが暗くなりすぎないように見やすく提示することができる。
この態様によれば、文字スーパー合成装置は、所定の規則に従って特徴量に基づいて決定した文字レベルが下限値よりも低い場合、文字レベルをその下限値とする。
これにより、文字スーパー合成装置は、文字スーパーが暗くなりすぎないように見やすく提示することができる。
【0024】
本発明の一態様は、上述した文字スーパー合成装置であって、前記文字レベル制御単位は、１映像フレームであり、前記映像合成部は、前記映像特徴量計算部により前記特徴量が計算された前記映像フレームを逐次入力し、入力した前記映像フレームに、当該映像フレームより所定フレーム前の映像フレームから得られた前記特徴量に基づいて前記文字レベル制御部が決定した前記文字レベルにより前記文字情報を表示する前記文字スーパー映像を重畳して合成した映像フレームを生成し、生成した前記映像フレームを逐次出力する、ことを特徴とする。
この態様によれば、文字スーパー合成装置は、逐次入力される背景映像の映像フレームに、当該映像フレームよりも所定フレームだけ前の映像フレームの特徴量に基づいて決定した文字レベルの文字スーパーを重畳する。
これにより、文字スーパー合成装置は、リアルタイムで背景映像に文字スーパーを重畳した映像を生成し、出力することができる。
この態様によれば、文字スーパー合成装置は、逐次入力される背景映像の映像フレームに、当該映像フレームよりも所定フレームだけ前の映像フレームの特徴量に基づいて決定した文字レベルの文字スーパーを重畳する。
これにより、文字スーパー合成装置は、リアルタイムで背景映像に文字スーパーを重畳した映像を生成し、出力することができる。
【0025】
本発明の一態様は、コンピュータを、上述したいずれかの文字スーパー合成装置として機能させるためのプログラムである。
【発明の効果】
【0026】
本発明によれば、コンテンツの映像の上に重ねた文字情報を見やすく表示することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の第１の実施形態による文字スーパー合成装置の構成を示す機能ブロック図である。
【図2】同実施形態による文字スーパー合成装置の動作を示すフロー図である。
【図3】同実施形態によるＡＰＬと文字レベルの関係を示す図である。
【図4】同実施形態によるカット毎の文字レベルの例を示す図である。
【図5】同実施形態による文字スーパー合成装置を用いた評価実験１の実験結果を示す図である。
【図6】第２の実施形態による文字スーパー合成装置を用いた評価実験２の実験結果を示す図である。
【図7】評価実験２の実験結果を示す図である。
【図8】評価実験２の実験結果を示す図である。
【図9】評価実験２から得られた文字スーパー近傍のＡＰＬと好ましい文字レベルとの関係を示す図である。
【図10】評価実験２から得られた全体ＡＰＬと好ましい文字レベルとの関係を示す図である。
【図11】同実施形態による文字スーパー合成装置を用いた評価実験３におけるＡＰＬと文字レベルの関係を示す図である。
【図12】評価実験３に用いた評価用映像を示す図である。
【図13】評価実験３に用いた評価用映像の輝度信号レベルを示す図である。
【図14】評価実験３の評価用映像についての主観評価実験の結果を示す図である。
【図15】評価実験３の全評価用映像の評価結果を示す図である。
【図16】基礎実験の実験結果を示す図である。
【図17】第１の実施形態による文字スーパー合成装置により合成された映像の表示を示す図である。
【発明を実施するための形態】
【0028】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
【0029】
［第１の実施形態］
図１は、本発明の第１の実施形態による文字スーパー合成装置１の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。文字スーパー合成装置１は、映像を撮影したカメラや収録装置から本線を介して高ダイナミックレンジ（ＨＤＲ）のベースバンド（以下、「ＢＢ」と記載）映像信号を入力する。本線の入力インターフェースには、Ｕ－ＳＤＩ、１２Ｇ－ＳＤＩ、３Ｇ－ＳＤＩ、ＨＤ（１．５Ｇ）－ＳＤＩ、ＳＭＰＴＥ ＳＴ２０２２、ＳＭＰＴＥ ＳＴ２１１０などの制作用ＩＰインターフェースを用いることができる。文字スーパー合成装置１は、入力したＢＢ映像信号に、ＫＥＹ信号を用いて一定のエリアを定めて透明度を決定した部分に、所望の文字などの映像を載せて重畳させたＦＩＬＬ信号を合成し、スーパーインポーズを行う。
図１は、本発明の第１の実施形態による文字スーパー合成装置１の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。文字スーパー合成装置１は、映像を撮影したカメラや収録装置から本線を介して高ダイナミックレンジ（ＨＤＲ）のベースバンド（以下、「ＢＢ」と記載）映像信号を入力する。本線の入力インターフェースには、Ｕ－ＳＤＩ、１２Ｇ－ＳＤＩ、３Ｇ－ＳＤＩ、ＨＤ（１．５Ｇ）－ＳＤＩ、ＳＭＰＴＥ ＳＴ２０２２、ＳＭＰＴＥ ＳＴ２１１０などの制作用ＩＰインターフェースを用いることができる。文字スーパー合成装置１は、入力したＢＢ映像信号に、ＫＥＹ信号を用いて一定のエリアを定めて透明度を決定した部分に、所望の文字などの映像を載せて重畳させたＦＩＬＬ信号を合成し、スーパーインポーズを行う。
【0030】
文字スーパー合成装置１は、映像特徴量計算部１１と、フレームバッファー１２と、文字レベル制御部１３と、文字スーパー発生部１４と、映像合成部１５とを備える。同図におけるｖは映像信号を表す。映像特徴量計算部１１は、入力されたＢＢ映像信号に含まれる映像フレームの特徴量を計算する。特徴量は、映像フレームの平均輝度レベル（ＡＰＬ：Average Picture Level）である。具体的には、映像特徴量計算部１１は、映像フレーム全体の全画素、又は、映像フレーム全体から間引いてサンプリングした各画素の輝度を表すビデオレベルである輝度レベルを平均してＡＰＬを計算する。あるいは、映像特徴量計算部１１は、背景映像フレームにおいて文字スーパーが重畳されるエリアの周辺部分のエリア内の全画素又は間引いてサンプリングした各画素の輝度レベルを平均してＡＰＬを計算する。またあるいは、映像特徴量計算部１１は、背景映像フレームにおいて文字スーパーが重畳されるエリア及びそのエリアの周辺部分を併せたエリア内の全画素又は間引いてサンプリングした各画素の輝度レベルを平均してＡＰＬを計算してもよい。なお、ＡＰＬに代えて、各画素の輝度レベルの中で最も高い輝度レベル（ピークレベル）を特徴量として用いてもよい。
【0031】
フレームバッファー１２は、ＢＢ映像信号から得られた映像フレームを一旦蓄積する記憶部である。映像特徴量計算部１１内にフレームバッファー１２を設けてもよい。文字レベル制御部１３は、映像特徴量計算部１１による計算結果として得られたＡＰＬに基づいて、最適な文字スーパーの輝度を表すビデオレベル（以下、「文字レベル」と記載）を決定する。これにより、文字レベル制御部１３は、ＡＰＬの値に応じて、眩しくなく、グレー色に見えにくい、見やすい文字スーパーのビデオレベルを決定する。文字レベル制御部１３は、決定した文字レベルによる文字スーパーの提示を指示する制御指令を文字スーパー発生部１４に出力する。
【0032】
文字スーパー発生部１４は、文字やキャラクタなどの文字情報を入力し、ＦＩＬＬ信号等により、これら文字情報を表示する文字スーパーの映像信号（以下、文字スーパー映像信号）を生成する。このとき、文字スーパー発生部１４は、文字レベル制御部１３からの制御指令により指示された文字レベルにより文字スーパーを表示する文字スーパー映像信号を生成する。映像合成部１５は、フレームバッファー１２から出力された映像フレームを背景映像とし、文字スーパー発生部１４から入力した文字スーパー信号を重畳する。映像合成部１５は、背景映像の映像フレームと文字スーパー信号とが合成された映像を出力する。
【0033】
図２は、文字スーパー合成装置１の動作を示すフロー図である。文字スーパー合成装置１は、文字レベル制御単位を、映像フレーム毎、あるいは、複数映像フレームで構成されるカット又はシーン毎とする。映像特徴量計算部１１は、入力された映像信号から文字レベル制御単位の映像フレームを取得し、特徴量を算出する（ステップＳ１１）。映像特徴量計算部１１は、特徴量を算出した映像フレームをフレームバッファー１２に出力し、フレームバッファー１２は映像フレームを記憶する（ステップＳ１２）。
【0034】
文字レベル制御部１３は、映像特徴量計算部１１が算出した特徴量に基づいて文字レベルを決定し、決定した文字レベルを設定した制御指令を文字スーパー発生部１４に出力する（ステップＳ１３）。文字スーパー発生部１４は、制御指令により指示された文字レベルにより文字スーパーを表示する文字スーパー映像信号を生成し、映像合成部１５に出力する（ステップＳ１４）。映像合成部１５は、フレームバッファー１２から文字レベル制御単位の映像フレームを入力し、文字スーパー発生部１４から入力した文字スーパー信号を重畳して合成し（ステップＳ１５）、外部に出力する（ステップＳ１６）。
【0035】
映像特徴量計算部１１は、未処理の映像フレームがあると判断した場合は（ステップＳ１７：ＹＥＳ）、ステップＳ１１からの処理を繰り返し、未処理の映像フレームがないと判断した場合は（ステップＳ１７：ＮＯ）、処理を終了する。
【0036】
なお、文字スーパー合成装置１は、ステップＳ１３～ステップＳ１６の処理と、ステップＳ１７及び次の文字レベル制御単位のステップＳ１１の処理とを並行して行ってもよい。
【0037】
上述した処理により、文字スーパー合成装置１は、文字レベル制御単位に含まれる映像フレームを用いて文字レベル制御単位にＡＰＬを計算し、文字レベルを決定する。この算出された文字レベルは、フレームバッファー１２から出力される映像フレームの文字スーパーに逐次反映される。つまり、映像合成部１５は、文字レベル制御部１３が決定した文字レベルにより文字スーパーを表示する文字スーパー映像信号を、その文字レベルの決定に用いたＡＰＬが得られた文字レベル制御単位に含まれる１又は複数の映像フレームに重畳する。
【0038】
文字レベル制御単位が１映像フレームである場合、文字スーパー合成装置１は、文字レベル制御部１３が決定した文字レベルにより文字スーパーを表示する文字スーパー映像信号を、その文字レベルの算出に用いたＡＰＬが得られた映像フレームより所定フレーム（例えば、１フレーム）後の映像フレームに重畳してもよい。つまり、映像合成部１５は、映像特徴量計算部１１により特徴量が計算された映像フレームをフレームバッファー１２から逐次入力し、入力した映像フレームに、当該映像フレームより所定フレーム前の映像フレームから得られた特徴量に基づいて決定された文字レベルの文字スーパー映像を重畳して合成した映像フレームを生成し、生成した映像フレームを逐次出力する。これにより、文字スーパー合成装置１は、入力された映像信号にリアルタイムで文字スーパーを合成し、提示することができる。この場合、文字スーパー合成装置１は、ステップＳ１３～ステップＳ１６の処理と、ステップＳ１７～次の文字レベル制御単位のステップＳ１２の処理とを並行して行う。
【0039】
このように、文字スーパー合成装置１は、動的に文字レベルを決定し、決定した文字レベルの文字スーパーを提示することができる。従って、文字スーパー合成装置１は、実時間で、適応的に見やすい文字レベルを決定し、提示することができる。また、文字スーパー合成装置１は、背景映像のＡＰＬの値の範囲に応じた輝度レベルの値を逐次決定するため、背景映像に応じた輝度の文字スーパーを提示することができる。
【0040】
以下に、本実施形態の文字スーパー合成装置１の具体的な処理例について説明する。
＜１フレーム毎に文字レベルを算出する場合＞
まず、本線動画像（例えば、８Ｋ ６０Ｐ／１２０Ｐ）の非圧縮ＢＢ映像信号が、例えばＵ－ＳＤＩ（ＡＲＩＢ ＳＴＤ－Ｂ５８規格準拠）により文字スーパー合成装置１に送られる。これと同時に、文字スーパー映像が、Ｕ－ＳＤＩ、３Ｇ－ＳＤＩ、１２Ｇ－ＳＤＩといった４Ｋ又は８Ｋの信号で、ＢＢ映像信号とは異なる線で文字スーパー合成装置１に送られる。文字スーパー映像はそのままの映像信号（以下、「元文字信号」と記載する。）でもよく、現行の放送システムに合せ、文字スーパーの文字情報が送られるＦＩＬＬ信号と、ベースバンド映像信号にＦＩＬＬ信号を合成重畳するために、明るさに応じて透明度を決定するなど、いわばマスク機能としての信号となるＫＥＹ信号との組み合わせでもよい。
＜１フレーム毎に文字レベルを算出する場合＞
まず、本線動画像（例えば、８Ｋ ６０Ｐ／１２０Ｐ）の非圧縮ＢＢ映像信号が、例えばＵ－ＳＤＩ（ＡＲＩＢ ＳＴＤ－Ｂ５８規格準拠）により文字スーパー合成装置１に送られる。これと同時に、文字スーパー映像が、Ｕ－ＳＤＩ、３Ｇ－ＳＤＩ、１２Ｇ－ＳＤＩといった４Ｋ又は８Ｋの信号で、ＢＢ映像信号とは異なる線で文字スーパー合成装置１に送られる。文字スーパー映像はそのままの映像信号（以下、「元文字信号」と記載する。）でもよく、現行の放送システムに合せ、文字スーパーの文字情報が送られるＦＩＬＬ信号と、ベースバンド映像信号にＦＩＬＬ信号を合成重畳するために、明るさに応じて透明度を決定するなど、いわばマスク機能としての信号となるＫＥＹ信号との組み合わせでもよい。
【0041】
映像特徴量計算部１１は、ＢＢ映像信号の１映像フレームの全体又は文字スーパーが重畳されるエリアの周辺部分の全画素の輝度又は部分的にサンプル抽出した部分の各画素の輝度レベルを計算し、その平均によりＡＰＬを計算する（図２のステップＳ１１）。映像特徴量計算部１１は、ＡＰＬ計算後の映像フレームをフレームバッファー１２に出力する。フレームバッファー１２は、映像特徴量計算部１１から出力された映像フレームを記憶する（図２のステップＳ１２）。文字レベル制御部１３は、映像特徴量計算部１１が出力したＡＰＬの値から、適切な文字レベルを判断する（図２のステップＳ１３）。
【0042】
図３は、ＡＰＬと文字レベルの関係を示す図である。同図に示すように、文字レベル制御部１３は、ＡＰＬ＝０％の場合は文字レベル５０％、０％＜ＡＰＬ＜３０％の場合は文字レベル７０％、３０％≦ＡＰＬ＜４０％の場合は文字レベル７５％、４０％≦ＡＰＬ＜５０％の場合は文字レベル８０％、５０％≦ＡＰＬ＜６０％の場合は文字レベル８５％、ＡＰＬ≧６０％の場合は文字レベル９０％と判断する。このように、文字レベル制御部１３は、ＡＰＬの値の範囲毎に段階的に一定のビデオレベルを決定する。
【0043】
次に、文字スーパー発生部１４は、文字レベル制御部１３が決定した文字レベルを、入力された元文字信号又はＦＩＬＬ信号に反映させる。このとき、文字スーパー発生源から受信した元文字信号又はＦＩＬＬ信号には、文字レベルとしてＩＲＥ１００％が設定されているとして説明するが、この文字レベルの値以外をとってもよい。文字スーパー発生部１４は、元文字信号又はＦＩＬＬ信号に基づいて、文字レベル制御部１３が決定した文字レベルによる文字スーパーを表示させる文字スーパー映像信号を生成し、映像合成部１５に出力する（図２のステップＳ１４）。
【0044】
映像合成部１５は、フレームバッファー１２から出力された背景映像の映像フレームと、その映像フレームのＡＰＬに基づく文字レベルの文字スーパー映像信号とを合成する（図２のステップＳ１５）。これにより、ダイナミックレンジが広いＢＢ映像信号に、見やすい文字レベルに制御された文字スーパー映像が重畳され、合成される。映像合成部１５は、文字スーパー映像が重畳されたＢＢ映像信号を、Ｕ－ＳＤＩなどのインターフェースにより出力する（図２のステップＳ１６）。
【0045】
文字スーパー合成装置１が放送番組制作機器であれば、この出力されたＢＢ映像信号は、制作用映像信号の出力として使用される。例えば、放送送出する際には、文字スーパー合成装置１から出力されたＢＢ映像信号が、放送送出される映像信号として、視聴者向けに出力される。
【0046】
なお、映像特徴量計算部１１及び文字レベル制御部１３が、映像信号の垂直ブランキング期間内に、映像フレーム毎に計算を行うことで、次の映像フレームに計算結果を反映することができる。つまり、映像合成部１５は、図２のステップＳ１５において、フレームバッファー１２から出力された背景映像の映像フレームと、その映像フレームより１フレーム前の映像フレームのＡＰＬに基づく文字レベルの文字スーパー映像信号とを合成する。この場合、映像特徴量計算部１１、文字レベル制御部１３、文字スーパー発生部１４及び映像合成部１５に、ＦＰＧＡ（Field Programmable Gate Array）などの高速ロジックデバイス（例えば、Xilinx社製Virtex、Kintex Ultra Scale又はUltraScale+など）を用いる。例えば、フレーム周波数５９．９４Ｈｚ、６０Ｈｚや１１９．８８Ｈｚ、１２０Ｈｚの場合であれば、人の動視覚特性として、これの逆数となる遅延時間を知覚上はほとんど無視できるため、リアルタイムにＨＤＲ映像に合せて、見やすい文字スーパーを提示することができる。
【0047】
＜シーン又はカット毎に文字レベルを算出する場合＞
上記のように、１フレーム毎に文字レベルを算出する場合、フレームバッファー１２は、１映像フレームを蓄積する。映像合成部１５は、フレームバッファー１２から出力されたその映像フレーム又はその映像フレームよりも所定フレーム数前の映像フレームについて算出された適切な文字レベルの文字スーパー映像と合成し、出力する。よって、文字スーパー合成装置１は、映像フレーム毎に、リアルタイムに見やすい文字スーパーを重畳して提供できる。
上記のように、１フレーム毎に文字レベルを算出する場合、フレームバッファー１２は、１映像フレームを蓄積する。映像合成部１５は、フレームバッファー１２から出力されたその映像フレーム又はその映像フレームよりも所定フレーム数前の映像フレームについて算出された適切な文字レベルの文字スーパー映像と合成し、出力する。よって、文字スーパー合成装置１は、映像フレーム毎に、リアルタイムに見やすい文字スーパーを重畳して提供できる。
【0048】
一方で、フレームバッファー１２が複数フレームを一次蓄積できる程度の容量をもつフレームバッファーである場合、文字スーパー合成装置１は、カット単位、又は、複数カットで構成される１シーン単位で、適応化された一定レベルの文字スーパーを提示できる。映像特徴量計算部１１は、例えば、カット又はシーンの切り替わりを、各映像フレームから得られた映像の特徴量の変化によって判断する。あるいは、映像特徴量計算部１１は、１カット又は１シーンに含まれる映像フレームを、ＢＢ映像信号に設定された付加データに基づいて判断してもよい。映像特徴量計算部１１は、１カット又は１シーンに含まれる全て又は間引いた一部の映像フレームのそれぞれについて、映像フレーム全体又は文字スーパー周辺エリアのＡＰＬを算出し、算出したＡＰＬの平均（以下、「平均ＡＰＬ」と記載）を文字レベル制御部１３に出力する（図２のステップＳ１１）。また、映像特徴量計算部１１は、平均ＡＰＬの算出に用いた映像フレームをフレームバッファー１２に出力し、フレームバッファー１２は１カット又は１フレーム分の映像フレームを記憶する（図２のステップＳ１２）。
【0049】
文字レベル制御部１３は、図３に示すＡＰＬと文字レベルの関係を適用し、平均ＡＰＬに対応した文字レベルを決定する（図２のステップＳ１３）。文字スーパー発生部１４は、１カット又は１シーンの間、文字レベル制御部１３がそのシーン又はカットについて得られた平均ＡＰＬに基づき決定した文字レベルを適用した文字スーパー映像信号を生成し、映像合成部１５に出力する（図２のステップＳ１４）。映像合成部１５は、フレームバッファー１２から出力された１カット又は１シーンの映像フレームと、そのカット又はシーンの平均ＡＰＬに基づく文字レベルの文字スーパー映像信号とを合成する（図２のステップＳ１５）。これにより、ある１カット中又は１シーン中は一定の文字レベルが保たれ、変動がない文字レベルの文字スーパーを提供可能である。なお、文字スーパー合成装置１は、文字レベル制御単位を、１カット又は１シーン単位に代えて、所定の複数フレーム数の映像フレームとすることもできる。
【0050】
図４は、カット毎の文字レベルの例を示す図である。例えば、１シーンが、カット番号１～３のカット＃１～＃３により構成され、カット＃１の平均ＡＰＬが５４％、カット＃２の平均ＡＰＬが３９％、カット＃３の平均ＡＰＬが４５％であるとする。この場合、文字スーパー合成装置１は、数秒にわたるカットの間、カット＃１は文字レベル８５％、カット＃２は文字レベル７５％、カット＃３は文字レベル８０％の一定の文字レベルにより文字スーパーを提示する。
このようにカット毎に文字レベルを適用することで、レベルの時間変動を抑えて、見やすく提示することも可能である。
このようにカット毎に文字レベルを適用することで、レベルの時間変動を抑えて、見やすく提示することも可能である。
【0051】
＜評価実験１＞
ここでは、ＨＤＲ映像に対して見やすい文字スーパーとなる文字レベルの判断の根拠となる評価実験の結果を示す。
ここでは、ＨＤＲ映像に対して見やすい文字スーパーとなる文字レベルの判断の根拠となる評価実験の結果を示す。
【0052】
（実験方法）
この評価実験では、ＡＰＬが異なる評価用のＨＤＲ映像に、文字レベル５０、６０、７０、７５、８０、８５、９０、１００％それぞれの文字スーパーを重畳して提示した。１４人の映像制作専門家（放送技術者）を被験者とし、各被験者から、提示された映像のうち、「見やすい文字レベルは何％か」の回答を得て、統計データを取得した。
この評価実験では、ＡＰＬが異なる評価用のＨＤＲ映像に、文字レベル５０、６０、７０、７５、８０、８５、９０、１００％それぞれの文字スーパーを重畳して提示した。１４人の映像制作専門家（放送技術者）を被験者とし、各被験者から、提示された映像のうち、「見やすい文字レベルは何％か」の回答を得て、統計データを取得した。
【0053】
（実験条件）
評価映像系統として、以下を使用した。評価用のＨＤＲ映像（ＢＢ映像）の撮影カメラには、ＳＯＮＹ社製業務用４Ｋ撮像センサによる撮影カメラＦ６５ＲＳを使用し、映像をビデオレベル０％から１０９％にマッピングするような映像グレーディングを行って映像を制作した。もし、提示される映像が別の上、下限値にマッピングして映像制作された場合においては、文字スーパーの提示レベルは、これらの映像レンジに応じて換算し提示すればよい。モニターには、最大輝度１０００ｃｄ／ｃｍ２まで表示可能な、４Ｋ解像度３０型放送等業務用マスターモニターであるＳＯＮＹ社製のＢＶＭ－Ｘ３００（映像パネル：有機ＥＬデバイスによる）を使用した。モニターには、文字スーパーが重畳されたＨＤＲ評価用静止画を、３Ｇ－ＳＤＩ×４の４Ｋ解像度信号を通して表示し、この表示に対する評価を得た。また、観視環境は、輝度計による測定値が背景５ｃｄ／ｃｍ２で反射するグレー単色背景の前に、モニターから３Ｈ（Ｈはモニター縦の高さ）の距離において被験者がモニターに提示された画像を視聴する環境とした。評価用画像には、ＨＤＲ映像の原画と、原画の全体輝度レベルを調整してＡＰＬ（平均輝度レベル）を下げた画像を用いた。異なるＡＰＬの評価用画像に、異なる文字レベルの文字スーパーを重畳し、被験者は、上記の観視環境において見やすい文字レベルを範囲指定で回答した。ＡＰＬごとに、各文字レベルについて評価者が見やすいと回答した人数を算出し、最頻値を評価した。
評価映像系統として、以下を使用した。評価用のＨＤＲ映像（ＢＢ映像）の撮影カメラには、ＳＯＮＹ社製業務用４Ｋ撮像センサによる撮影カメラＦ６５ＲＳを使用し、映像をビデオレベル０％から１０９％にマッピングするような映像グレーディングを行って映像を制作した。もし、提示される映像が別の上、下限値にマッピングして映像制作された場合においては、文字スーパーの提示レベルは、これらの映像レンジに応じて換算し提示すればよい。モニターには、最大輝度１０００ｃｄ／ｃｍ２まで表示可能な、４Ｋ解像度３０型放送等業務用マスターモニターであるＳＯＮＹ社製のＢＶＭ－Ｘ３００（映像パネル：有機ＥＬデバイスによる）を使用した。モニターには、文字スーパーが重畳されたＨＤＲ評価用静止画を、３Ｇ－ＳＤＩ×４の４Ｋ解像度信号を通して表示し、この表示に対する評価を得た。また、観視環境は、輝度計による測定値が背景５ｃｄ／ｃｍ２で反射するグレー単色背景の前に、モニターから３Ｈ（Ｈはモニター縦の高さ）の距離において被験者がモニターに提示された画像を視聴する環境とした。評価用画像には、ＨＤＲ映像の原画と、原画の全体輝度レベルを調整してＡＰＬ（平均輝度レベル）を下げた画像を用いた。異なるＡＰＬの評価用画像に、異なる文字レベルの文字スーパーを重畳し、被験者は、上記の観視環境において見やすい文字レベルを範囲指定で回答した。ＡＰＬごとに、各文字レベルについて評価者が見やすいと回答した人数を算出し、最頻値を評価した。
【0054】
（実験結果）
図５は、評価実験１の実験結果を示す図である。図５（ａ）は、原画（評価用画像Ａ）を示し、図５（ｂ）は、原画（ＡＰＬ５４％）及び原画のＡＰＬを下げた画像（ＡＰＬ４０、３０％）それぞれについて、各文字レベルを好ましいと選択した被験者の人数を示す。図５（ｂ）は、ＡＰＬ別に、好ましいと思われる文字スーパーレベルの範囲を被験者１４人で評価し、プロットした結果である。
図５は、評価実験１の実験結果を示す図である。図５（ａ）は、原画（評価用画像Ａ）を示し、図５（ｂ）は、原画（ＡＰＬ５４％）及び原画のＡＰＬを下げた画像（ＡＰＬ４０、３０％）それぞれについて、各文字レベルを好ましいと選択した被験者の人数を示す。図５（ｂ）は、ＡＰＬ別に、好ましいと思われる文字スーパーレベルの範囲を被験者１４人で評価し、プロットした結果である。
【0055】
（実験結果の分析）
図５（ｂ）に示す結果によれば、原画のＡＰＬを５４％、４０％、３０％と変化させた場合の好ましい文字レベルの最頻値はそれぞれ、８５％、８０％、７０～７５％である。この結果から、ＡＰＬの値に応じて最適な文字レベルの値を決定しておき、文字レベル制御部１３における文字レベルの決定に反映させることで、逐次、ＢＢ映像信号のＡＰＬに最適な文字スーパーを重畳し、提示可能であることがわかる。
図５（ｂ）に示す結果によれば、原画のＡＰＬを５４％、４０％、３０％と変化させた場合の好ましい文字レベルの最頻値はそれぞれ、８５％、８０％、７０～７５％である。この結果から、ＡＰＬの値に応じて最適な文字レベルの値を決定しておき、文字レベル制御部１３における文字レベルの決定に反映させることで、逐次、ＢＢ映像信号のＡＰＬに最適な文字スーパーを重畳し、提示可能であることがわかる。
【0056】
本実施形態の文字スーパー合成装置１は、映像フレーム毎に適切な文字レベルを更新して文字スーパーを提示することができる。また、文字スーパー合成装置１は、更新の頻度が高すぎるときには、複数のフレームの平均ＡＰＬを用いて、複数フレーム毎に決定した適切な文字レベルの文字スーパーを提示することができる。よって、文字スーパー合成装置１は、複数のフレームで構成されるカットやシーン毎の平均ＡＰＬを、そのカットやシーンを構成する映像フレームをフレームバッファー１２に蓄積しながら算出し、カットやシーン毎に決定したふさわしい文字レベルの文字スーパーを生成し、ＢＢ映像に重畳した合成映像を出力することもできる。
【0057】
［第２の実施形態］
本実施形態では、ＢＢ映像信号から得られたＡＰＬを用いた所定の変換式に基づいて、文字レベルを算出する。以下では、第１の実施形態との差分を中心に説明する。
本実施形態では、ＢＢ映像信号から得られたＡＰＬを用いた所定の変換式に基づいて、文字レベルを算出する。以下では、第１の実施形態との差分を中心に説明する。
【0058】
本実施形態の文字スーパー合成装置の構成及び処理フローは、第１の実施形態と同様である。ただし、文字レベル制御部１３は、映像特徴量計算部１１から出力されたＢＢ映像信号のＡＰＬ（％）をパラメータ値として用い、以下の式（３）により、文字レベルＣ＿ＶＬを算出する。なお、文字レベル制御単位が、１カット、１シーン、又は、２以上の所定フレーム数である場合、その文字レベル制御単位の平均ＡＰＬを、式（３）のＡＰＬとして用いる。
【0059】
Ｃ＿ＶＬ＝ａ×ＡＰＬ＋ｂ …（３）
【0060】
式（３）において、ａは、高いＡＰＬ（％）と低いＡＰＬ（％）の差に対する文字レベルの違いを示す傾き値であり、ｂは、ＡＰＬ０％（映像が黒）の時の文字レベル（最下限）を示す切片値である。Ｃ＿ＶＬは、文字スーパーの提示に用いるビデオレベル（輝度）を表すＩＲＥ値（％）である。例えば、傾きａ、切片ｂは、それぞれ、以下の式（４）に示す値をとる。
【0061】
０．２０≦ａ≦０．４０、０．６０≦ｂ≦０．８０ …（４）
【0062】
なお、文字レベル制御部１３は、ＡＰＬ＝１００のときに式（３）により算出したＣ＿ＶＬが１００を超える場合などはＣ＿ＶＬを任意の一定の上限値でクリップする。これにより、文字レベル制御部１３は、式（３）により算出したＣ＿ＶＬが上限値を超える場合は、その上限値を文字レベルとして決定する。
【0063】
また、文字レベル制御部１３は、式（３）によって算出される文字レベルの最低値が、任意の下限値より低くなる場合、Ｃ＿ＶＬの値をその下限値でクリップし、その下限値を文字レベルとして決定する。
【0064】
＜評価実験２＞
ここでは、ＨＤＲ映像に対して見やすい文字スーパーとなる文字レベルが、式（３）で算出される根拠となる評価実験の結果を示す。
ここでは、ＨＤＲ映像に対して見やすい文字スーパーとなる文字レベルが、式（３）で算出される根拠となる評価実験の結果を示す。
【0065】
（実験方法）
この評価実験２では、種類の異なる評価用のＨＤＲ映像を用意し、各ＨＤＲ映像に、文字レベル５０、６０、７０、７５、８０、８５、９０、１００％それぞれの文字スーパーを重畳して提示した。１４人の映像制作専門家（放送技術者）を被験者とし、各被験者から、提示された映像のうち、「見やすい文字レベルは何％か」の回答を得て、統計データを取得した。
この評価実験２では、種類の異なる評価用のＨＤＲ映像を用意し、各ＨＤＲ映像に、文字レベル５０、６０、７０、７５、８０、８５、９０、１００％それぞれの文字スーパーを重畳して提示した。１４人の映像制作専門家（放送技術者）を被験者とし、各被験者から、提示された映像のうち、「見やすい文字レベルは何％か」の回答を得て、統計データを取得した。
【0066】
（実験条件）
評価映像系統、視聴環境及び被験者は、第１の実施形態の評価実験１と同様である。評価用画像には、４つの評価用静止画像である評価用画像Ａ～Ｄを使用した。評価用画像Ａ及びＣについては、ＨＤＲ映像の原画と、原画の全体輝度レベルを調整してＡＰＬ（平均輝度レベル）を下げた画像を用意した。各評価用画像Ａ～Ｄに、異なる文字提示方法の白単色の文字スーパーを重畳し、提示した。異なる文字提示方法とは、複数の異なる文字レベルによる提示、又は、文字サブトン（文字背景）の有無である。ここで、文字サブトンとは、文字スーパーと背景映像の間に表示される矩形のグラフィック（透明度を変化させた黒単色の背景）画像である。被験者は、上記の観視環境において見やすい文字レベルを範囲指定で回答した。評価用映像Ａ～Ｄについて、文字レベルごとに評価者が見やすいと回答した人数を算出し、最頻値を評価した。
評価映像系統、視聴環境及び被験者は、第１の実施形態の評価実験１と同様である。評価用画像には、４つの評価用静止画像である評価用画像Ａ～Ｄを使用した。評価用画像Ａ及びＣについては、ＨＤＲ映像の原画と、原画の全体輝度レベルを調整してＡＰＬ（平均輝度レベル）を下げた画像を用意した。各評価用画像Ａ～Ｄに、異なる文字提示方法の白単色の文字スーパーを重畳し、提示した。異なる文字提示方法とは、複数の異なる文字レベルによる提示、又は、文字サブトン（文字背景）の有無である。ここで、文字サブトンとは、文字スーパーと背景映像の間に表示される矩形のグラフィック（透明度を変化させた黒単色の背景）画像である。被験者は、上記の観視環境において見やすい文字レベルを範囲指定で回答した。評価用映像Ａ～Ｄについて、文字レベルごとに評価者が見やすいと回答した人数を算出し、最頻値を評価した。
【0067】
（実験結果）
図６～図８は、評価実験２の実験結果を示す図である。なお、評価用画像Ａについて評価実験２の実験結果は、図５に示すものとなる。図６（ａ）は、評価用画像Ｂを示し、図６（ｂ）は、文字レベル別に、評価用画像Ｂ（ＡＰＬ４０％）に重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。図７（ａ）は、評価用画像Ｃを示し、図７（ｂ）は、文字サブトンの透明度０％、透明度５０％、文字サブトンなしのそれぞれについて、文字レベル別に、評価用画像Ｃに重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。図８（ａ）は、評価用画像Ｄを示し、図８（ｂ）は、文字レベル別に、評価用画像Ｄ（ＡＰＬ５３％、文字周辺暗め）に重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。
図６～図８は、評価実験２の実験結果を示す図である。なお、評価用画像Ａについて評価実験２の実験結果は、図５に示すものとなる。図６（ａ）は、評価用画像Ｂを示し、図６（ｂ）は、文字レベル別に、評価用画像Ｂ（ＡＰＬ４０％）に重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。図７（ａ）は、評価用画像Ｃを示し、図７（ｂ）は、文字サブトンの透明度０％、透明度５０％、文字サブトンなしのそれぞれについて、文字レベル別に、評価用画像Ｃに重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。図８（ａ）は、評価用画像Ｄを示し、図８（ｂ）は、文字レベル別に、評価用画像Ｄ（ＡＰＬ５３％、文字周辺暗め）に重畳した文字スーパーが好ましいと選んだ被験者の人数を示す。
【0068】
（実験結果の分析）
図５～図８に示す本実験の評価結果に基づいて、文字スーパーの近傍ＡＰＬと好ましい文字レベル（最頻値）との関係、および、全体ＡＰＬと好ましい文字レベル（最頻値）との関係をプロットして求めた。近傍ＡＰＬとは、映像フレームにおいて文字スーパーが重畳されるエリアの周辺部分の画素から求めたＡＰＬである。全体ＡＰＬとは、映像フレーム全体の画素から求めたＡＰＬである。以下では、文字スーパーが重畳されるエリアの周辺部分を、文字スーパー近傍とも記載する。
図５～図８に示す本実験の評価結果に基づいて、文字スーパーの近傍ＡＰＬと好ましい文字レベル（最頻値）との関係、および、全体ＡＰＬと好ましい文字レベル（最頻値）との関係をプロットして求めた。近傍ＡＰＬとは、映像フレームにおいて文字スーパーが重畳されるエリアの周辺部分の画素から求めたＡＰＬである。全体ＡＰＬとは、映像フレーム全体の画素から求めたＡＰＬである。以下では、文字スーパーが重畳されるエリアの周辺部分を、文字スーパー近傍とも記載する。
【0069】
図９は、近傍ＡＰＬと好ましい文字レベルとの関係を示す図であり、図１０は、全体ＡＰＬと好ましい文字レベルの関係を示す図である。これらの図から、ＡＰＬと好ましい文字レベルに関係があることがわかる。特に、図９に示すように、近傍ＡＰＬと好ましい文字レベルの関係においては、顕著に、相関があることを示すデータが得られた。そこで、図９に示すデータから回帰直線を引いた。一例として、以下の式（５）が得られた。
【0070】
Ｃ＿ＶＬ＝ａ×ＡＰＬ＋ｂ ； ａ＝０．２３，ｂ＝０．７３５ …（５）
【0071】
（実験と拡張性）
本実験系統とは異なる系統や観視環境、例えば、表示デバイスが液晶タイプ、液晶とＬＥＤ（Light Emitting Diode）白色バックライトタイプ、あるいは、最大輝度が１０００ｃｄ／ｃｍ２やそれ以下、それ以上、観視環境が５ｃｄ／ｃｍ２やそれ以上、あるいはそれ以下などの条件によって、見え方が若干異なってくることが想定される。そのため、傾きａ、切片ｂそれぞれの最適値には、若干範囲があると想定される。
本実験系統とは異なる系統や観視環境、例えば、表示デバイスが液晶タイプ、液晶とＬＥＤ（Light Emitting Diode）白色バックライトタイプ、あるいは、最大輝度が１０００ｃｄ／ｃｍ２やそれ以下、それ以上、観視環境が５ｃｄ／ｃｍ２やそれ以上、あるいはそれ以下などの条件によって、見え方が若干異なってくることが想定される。そのため、傾きａ、切片ｂそれぞれの最適値には、若干範囲があると想定される。
【0072】
また、文字スーパー合成装置１に異なる複数の値の傾きａ、切片ｂを設定しておき、各傾きａ、切片ｂを用いた式（３）により文字レベルを決定したときの見やすい文字スーパーについて評価実験を行った。この評価実験において、ａ＝０．３、ｂ＝０．７を選んで評価を行ったところ、良好な結果が得られた。この結果から、傾きａ、切片ｂの値は、ある程度の範囲をもっているが、回帰曲線が簡素で計算が容易な一次関数で与えられることから、式（３）は、見やすい文字レベルの決定に有効であるといえる。
【0073】
＜評価実験３＞
式（３）の傾きａ、切片ｂの最適値の根拠を示す、ＨＤＲ映像に対する文字スーパーの見えやすさに関する主観評価実験を行った。
式（３）の傾きａ、切片ｂの最適値の根拠を示す、ＨＤＲ映像に対する文字スーパーの見えやすさに関する主観評価実験を行った。
【0074】
（実験方法）
ビデオレベル０から１００％又は１０９％までの映像表現領域を使って表現された、複数の評価用ＨＤＲ映像（ハイブリッドログガンマ方式で制作、表示）に対し、以下の手法Ａ～Ｄにより決定した文字レベルによりスーパーインポーズ（背景画面の手前に重畳）して、被験者に提示した。
ビデオレベル０から１００％又は１０９％までの映像表現領域を使って表現された、複数の評価用ＨＤＲ映像（ハイブリッドログガンマ方式で制作、表示）に対し、以下の手法Ａ～Ｄにより決定した文字レベルによりスーパーインポーズ（背景画面の手前に重畳）して、被験者に提示した。
【0075】
手法Ａでは、ａ＝０．３，ｂ＝０．７の式（３）により文字レベルを適応レベルで決定した。
手法Ｂでは、文字レベルを固定レベル７５％に設定した（従来法）。
手法Ｃでは、文字レベルを固定レベル１００％に設定した（従来法）。
手法Ｄでは、以下の式（６）に基づき文字レベルを適応レベルで決定した。
手法Ｂでは、文字レベルを固定レベル７５％に設定した（従来法）。
手法Ｃでは、文字レベルを固定レベル１００％に設定した（従来法）。
手法Ｄでは、以下の式（６）に基づき文字レベルを適応レベルで決定した。
【0076】
Ｃ＿ＶＬ＝（ＡＰＬ×０．７２）×０．５５＋０．４０ …（６）
【0077】
図１１は、手法Ａ及び手法ＤにおけるＡＰＬと文字レベルＣ＿ＶＬの関係を示す図である。同図に示すように、手法Ｄでは、適応する明るさが低めとなるよう文字レベルＣ＿ＶＬを決定する。
【0078】
被験者には、以下の３種類の項目に関し、５段階品質尺度により単一刺激法で主観評価を行った。評価は、放送技術者の映像専門家１９人を被験者として実施し、集計した。
【0079】
（項目１）５（見やすい）、４、３（どちらでもない）、２、１（見にくい）
（項目２）５（眩しくない）、４、３（どちらでもない）、２、１（眩しい）
（項目３）５（白に見える）、４、３（どちらでもない）、２、１（グレーに見える）
（項目２）５（眩しくない）、４、３（どちらでもない）、２、１（眩しい）
（項目３）５（白に見える）、４、３（どちらでもない）、２、１（グレーに見える）
【0080】
映像評価環境は、評価実験２の実験条件に従った。評価用映像は、８Ｋ解像度ＨＤＲ映像を映像制作用マスターモニター（ＢＶＭ－Ｘ３００、最大輝度１，０００ｃｄ／ｍ２）に表示して評価できるよう、４Ｋ解像度にダウンコンバートして提示した。
【0081】
評価用映像には、１５秒間で映像の平均輝度レベル（ＡＰＬ）が顕著に変化する動画像を選定した。手法Ａおよび手法Ｄの文字レベル制御には、評価実験２の結果から、文字スーパー近傍（ここでは、全体画像の高さに対して下４％から２０％まで位置の部分の画像）を用いて近傍ＡＰＬを計算し、文字スーパーの文字レベルを映像フレーム毎に決定して実時間で制御し提示した。
【0082】
図１２は、評価用映像を示す図である。評価実験には、評価用映像１～５を用いた。図１２（ａ）は評価用映像１（ＢＭＸ；バイシクルモトクロス）の代表的な１カットを、図１２（ｂ）は評価用映像５（ダンス）の代表的な１カットを示している。評価用映像２（山）、評価用映像３（ガラス）、評価用映像４（スタジアム）は、評価実験２で用いた評価用映像Ｂ～Ｄであり、それぞれ図６（ａ）、図７（ａ）、図８（ａ）に代表的な１カットが示されている。評価用映像１（ＢＭＸ）は、輝度の高低の幅があり、時間的変化が通常の緩やかなＡＰＬ変化を伴うライブ収録映像である。評価用映像２（山）は、低い平均ＡＰＬの映像である。評価用映像３（ガラス）は、ハイライト部を多く含む平均ＡＰＬの高い映像である。評価用映像４（スタジアム）は、映像の上下で平均のＡＰＬが異なり、高い平均のＡＰＬと低い平均のＡＰＬとが混在する映像である。評価用映像５（ダンス）は、ＡＰＬが時間的に急激に変化する映像である。
【0083】
図１３は、評価用映像１の輝度信号レベルを示す図である。図１３（ａ）は、評価用映像１の開始時点からの評価用映像の画面全体のＡＰＬ、文字スーパー近傍のＡＰＬ（近傍ＡＰＬ）の変化を示す。図１３（ｂ）は、再生開始から所定時間が経過した時刻Ａにおける輝度信号レベルのヒストグラムを示す図である。また、図１３（ａ）及び（ｂ）には、手法Ａにより決定した文字レベルも示している。
【0084】
（実験結果）
図１４は、評価用映像１についての主観評価実験の結果を示す図である。評価用映像１は、ＡＰＬ変化を伴う３カットから構成される、１５秒のライブ収録による動画像であり、文字のみを重畳した。同図では、４つの手法Ａ～Ｄにより決定した文字レベルにより文字スーパーを提示した場合の文字の見やすさに関する１８人の評価値の平均値と９５％信頼区間を示している。同図からわかるとおり、手法Ａが最も見やすく優れた結果となり、本実施形態の有意性が確認された。
図１４は、評価用映像１についての主観評価実験の結果を示す図である。評価用映像１は、ＡＰＬ変化を伴う３カットから構成される、１５秒のライブ収録による動画像であり、文字のみを重畳した。同図では、４つの手法Ａ～Ｄにより決定した文字レベルにより文字スーパーを提示した場合の文字の見やすさに関する１８人の評価値の平均値と９５％信頼区間を示している。同図からわかるとおり、手法Ａが最も見やすく優れた結果となり、本実施形態の有意性が確認された。
【0085】
図１５は、図１２に示す５種類の評価用映像１～５に、各手法Ａ～Ｄにより文字スーパーを重畳したときのＨＤＲ映像の評価結果を示す図である。同図は、各手法の評価平均値を示すグラフである。手法Ａの平均評価値は３．７３、手法Ｂの平均評価値は３．３２、手法Ｃの平均評価値は３．１０、手法Ｄの平均評価値は２．２６となった。この結果から、すべての動画像において、本実施形態を用いた式（３）による文字提示が優れた結果となることが確認できた。このため、いかなる型の動画像においても、式（３）による提示方法が有効であることが確認できた。
【0086】
［実験結果の考察及び値の妥当性］
上記の評価実験２、３の実験結果より、以下が考察される。
上記の評価実験２、３の実験結果より、以下が考察される。
【0087】
（考察１）文字レベルの提示は、ＡＰＬが変化するＨＤＲ動画像に対して、固定レベル１００％、固定７５％の提示より、式（３）（ａ＝０．３，ｂ＝０．７）による可変適応制御の提示が見やすいことがわかる。
【0088】
（考察２）手法Ａと手法Ｄを比較すると、画面全体や近傍ＡＰＬに対して、文字スーパーの提示レベルが高い手法Ａが見やすいことがわかる。手法Ｄの式（２）は、極端にレベル変化の傾きが高いａ＝０．５５、切片値が低いｂ＝０．４であるため、低い画面ＡＰＬに対して顕著に文字レベルが下がる重み係数「×０．７２」に対して、見えにくくなることがわかる。
【0089】
（考察３）評価実験の結果から、文字レベルの制御のための変換関数は、簡素な一次関数でも十分に効果が示される。
【0090】
（考察４）評価実験の結果から、傾きａについては、以下のことが導かれる。
（ａ）傾き係数として、ａ＝０．３は妥当であり、ａ＝０．５５のような高い値は避けるほうがよい。また、評価実験２の回帰直線は、ａ＝０．２３であることから、０．３を中心にある程度の範囲を持たせても許容できることが推測される。
（ｂ）上記の（ａ）の考察と、図９、図１０に示される好ましい文字レベルとして許容される範囲を鑑みると、式（４）に示す０．２０≦ａ≦０．４０を妥当な範囲として導くことができる。
（ａ）傾き係数として、ａ＝０．３は妥当であり、ａ＝０．５５のような高い値は避けるほうがよい。また、評価実験２の回帰直線は、ａ＝０．２３であることから、０．３を中心にある程度の範囲を持たせても許容できることが推測される。
（ｂ）上記の（ａ）の考察と、図９、図１０に示される好ましい文字レベルとして許容される範囲を鑑みると、式（４）に示す０．２０≦ａ≦０．４０を妥当な範囲として導くことができる。
【0091】
（考察５）評価実験の結果から、切片ｂについては、以下のことが導かれる。
（ａ）切片ｂは、０．７が妥当であることが示された。０．４は見にくくなる結果となった。一方、評価実験２の回帰直線はｂ＝０．７３５であった。このため、切片ｂは０．７や０．７３５付近においては、この値を中心にした、ある範囲をもった値であってよい。しかし、０．４のような低い数値は妥当ではないことがわかる。
（ｂ）文字スーパーが見やすく、白に見えグレーに見えないためには、評価実験２や、後述する基礎実験の結果から、文字レベルは文字スーパー近傍の背景画像より高いレベルである必要がある。このため、切片ｂは極端に低い値（ｂ＝０．４など）をさけ、ｂ＝０．７を中心に、ある範囲の幅をもった値がよい。
（ｃ） これらの結果と、ＨＤＲの一方式であるハイブリッド・ログ・ガンマ方式が組み合わされた２つの関数の変化点となるｂ＝０．５以上で、図９、図１０に示される好ましい文字レベルとして許容される範囲を鑑みると、関数の直線性が保たれる範囲として、式（４）に示す０．６０≦ｂ≦０．８０を妥当な範囲として導くことができる。
（ａ）切片ｂは、０．７が妥当であることが示された。０．４は見にくくなる結果となった。一方、評価実験２の回帰直線はｂ＝０．７３５であった。このため、切片ｂは０．７や０．７３５付近においては、この値を中心にした、ある範囲をもった値であってよい。しかし、０．４のような低い数値は妥当ではないことがわかる。
（ｂ）文字スーパーが見やすく、白に見えグレーに見えないためには、評価実験２や、後述する基礎実験の結果から、文字レベルは文字スーパー近傍の背景画像より高いレベルである必要がある。このため、切片ｂは極端に低い値（ｂ＝０．４など）をさけ、ｂ＝０．７を中心に、ある範囲の幅をもった値がよい。
（ｃ） これらの結果と、ＨＤＲの一方式であるハイブリッド・ログ・ガンマ方式が組み合わされた２つの関数の変化点となるｂ＝０．５以上で、図９、図１０に示される好ましい文字レベルとして許容される範囲を鑑みると、関数の直線性が保たれる範囲として、式（４）に示す０．６０≦ｂ≦０．８０を妥当な範囲として導くことができる。
【0092】
（考察６）文字レベルとＡＰＬの関係に直線性が保たれない高いＡＰＬにおける文字レベル範囲では、例えば、Ｃ＿ＶＬ＝１００％あるいは１０９％でクリップ、つまり文字レベルの一定の値とすることで、表示すればよい。すなわち、式（３）に基づいて、ＢＢ映像信号から得られたＡＰＬの値に基づいて文字レベルを決定し、文字レベルの適応制御提示を行うと、ａ，ｂの値によっては、算出された文字レベルＣ＿ＶＬが上限値を超えてしまうことがある。この場合は、文字レベル制御部１３は、例えば、Ｃ＿ＶＬ＝１００でクリップ処理することで、ある高いＡＰＬ値以上でも、一定の輝度レベルの文字スーパーを提示可能とすることができる。
【0093】
（考察７）文字スーパーがグレーに見える可能性がある場合、文字レベルを一定の下限値でクリップすることによって、これを回避することができる。また、放送局の制作や送出など運用上の都合により、例えば、ｂ＝７５とするなど、文字レベルの下限値を設定しなければならなくなった際には、低いＡＰＬ時に、下限値を一定の値にクリップする。これにより、文字レベル制御部１３は、低いＡＰＬに基づいて式（３）により算出した文字レベルＣ＿ＶＬが下限値より低い場合は、その下限値を文字レベルとして用いて文字スーパーを提示することもできる。
【0094】
＜基礎実験＞
ここでは参考として、文字の見え方と背景の明るさの関係に関する基礎実験について示す。
黒（ＡＰＬ０％）一色の背景に、白（ＡＰＬ１００％）一色の四角パッチを画面上のさまざまな箇所に置き、レベル５０％の文字を画面下１０％の位置にスーパーして、文字が「白く」見えるか否かを、１４人の映像専門家により主観評価した。
ここでは参考として、文字の見え方と背景の明るさの関係に関する基礎実験について示す。
黒（ＡＰＬ０％）一色の背景に、白（ＡＰＬ１００％）一色の四角パッチを画面上のさまざまな箇所に置き、レベル５０％の文字を画面下１０％の位置にスーパーして、文字が「白く」見えるか否かを、１４人の映像専門家により主観評価した。
【0095】
図１６は、この基礎実験の評価結果を示す図である。同図では、白パッチの位置及び面積に対して、文字が「白」に見える割合を示している。白パッチの面積は、画面全体に対する割合で表している。同図に示す結果から、「文字スーパーは近傍に明るい背景部分（ハイライト部分）が存在する場合、“グレー”に認識して見える」ことがわかった。
【0096】
図１７は、第１の実施形態による文字スーパー合成装置１により生成された映像の表示を示す図である。第１及び第２の実施形態による文字スーパー合成装置１は、同図に示すモニターが表示している画面の下部に提示される文字スーパーの文字レベルを適応的に変化させる。
【0097】
従来は、ダイナミックレンジが高く、時々刻々変化する輝度（あるいはＡＰＬ）が変化する映像に対し、一定の輝度のビデオレベルで文字スーパーを提示しており、時々見にくくなる映像が発生するおそれがあった。上述した実施形態によれば、文字スーパー合成装置１は、放送、通信、映画などの映像メディアにおける、ダイナミックレンジの高いＨＤＲの動画像に情報としての文字スーパーを重畳する際に、視聴者が見やすく最適なレベルの文字スーパーを提供することができる。また、極端に異なる輝度の文字レベルが短時間で入れ替わることがないため、目の負担など健康への影響の心配がなく、見やすい文字スーパーを提示することが可能となる。
また、本実施形態によれば、ダイナミックレンジが広い映像による放送において、速報性が高い文字スーパーを重畳する際にも、文字レベルを即時に決定して文字スーパーを送出することができる。従って、放送を受信した視聴者に、見やすい文字スーパーを提示することが可能となる。
また、放送局の番組映像制作において、ライブでの文字スーパーの重畳や、ポストプロダクションによる映像編集で文字スーパーを重畳するために文字レベルを決定する際にも、本実施形態を用いることで、文字レベルの決定を支援する機能やツールを提供することができる。従って、映像制作作業の時間短縮し、効率的に作業を支援することできる。
また、本実施形態によれば、ダイナミックレンジが広い映像による放送において、速報性が高い文字スーパーを重畳する際にも、文字レベルを即時に決定して文字スーパーを送出することができる。従って、放送を受信した視聴者に、見やすい文字スーパーを提示することが可能となる。
また、放送局の番組映像制作において、ライブでの文字スーパーの重畳や、ポストプロダクションによる映像編集で文字スーパーを重畳するために文字レベルを決定する際にも、本実施形態を用いることで、文字レベルの決定を支援する機能やツールを提供することができる。従って、映像制作作業の時間短縮し、効率的に作業を支援することできる。
【0098】
なお、上述の文字スーパー合成装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行することによって映像特徴量計算部１１、フレームバッファー１２、文字レベル制御部１３、文字スーパー発生部１４及び映像合成部１５を備える装置として機能する。なお、文字スーパー合成装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されても良い。
【0099】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0100】
１…文字スーパー合成装置
１１…映像特徴量計算部
１２…フレームバッファー
１３…文字レベル制御部
１４…文字スーパー発生部
１５…映像合成部
１１…映像特徴量計算部
１２…フレームバッファー
１３…文字レベル制御部
１４…文字スーパー発生部
１５…映像合成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
