特許 6046961 映像合成装置及び映像合成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6046961

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月21日

(54)【発明の名称】映像合成装置及び映像合成プログラム

(51)【国際特許分類】

   H04N 5/265 20060101AFI20161212BHJP

   G09B 21/00 20060101ALI20161212BHJP

【ＦＩ】

   H04N5/265

   G09B21/00 F

【請求項の数】7

【全頁数】21

(21)【出願番号】特願2012-196464(P2012-196464)

(22)【出願日】2012年9月6日

(65)【公開番号】特開2014-53737(P2014-53737A)

(43)【公開日】2014年3月20日

【審査請求日】2015年8月3日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】清水 俊宏

(72)【発明者】

【氏名】梅田 修一

(72)【発明者】

【氏名】比留間 伸行

(72)【発明者】

【氏名】加藤 直人

(72)【発明者】

【氏名】宮▲崎▼ 太郎

(72)【発明者】

【氏名】金子 浩之

(72)【発明者】

【氏名】井上 誠喜

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１１−１３５３８８（ＪＰ，Ａ）

【文献】 特開２００８−２２５３６４（ＪＰ，Ａ）

【文献】 特開２０１０−０７９４４６（ＪＰ，Ａ）

【文献】 特開２０１１−０９１６１９（ＪＰ，Ａ）

【文献】 特開２００７−３００２７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２０１７４３（ＵＳ，Ａ１）

【文献】 特開２００１−１８６４３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６５

Ｇ０９Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

第１の映像に第２の映像を合成させる映像合成装置において、
前記第１の映像中の画像フレームに対する画像情報を抽出する画像情報抽出手段と、
前記画像情報抽出手段により得られた画像情報に基づいて前記第２の映像の透明度及び表示位置のうち、少なくとも１つを含む制御情報を制御する映像表示制御手段と、
所定の方法により外部から取得又は生成した前記第２の映像から前記映像表示制御手段により得られる前記制御情報に基づいて合成用の第２の映像を生成する映像生成手段と、
前記映像生成手段により得られる合成用の第２の映像と、前記第１の映像とを合成する合成手段とを有し、
前記映像表示制御手段は、
前記第２の映像である手話映像に対して前記透明度の表示制御を行う場合に、前記手話映像に含まれる手話ＣＧキャラクタ又は手話通訳者の手、腕、及び顔のうち、手を含む少なくとも１つの部分以外の部分を半透明にすることを特徴とする映像合成装置。

【請求項2】

前記映像表示制御手段は、
前記透明度又は前記表示位置に対して、所定の優先順位に基づいて表示制御を行うことを特徴とする請求項１に記載の映像合成装置。

【請求項3】

前記映像表示制御手段は、
前記第２の映像に対する拡大又は縮小制御を行うことを特徴とする請求項１又は２に記載の映像合成装置。

【請求項4】

前記映像生成手段は、
前記第２の映像に対する表示制御により前記透明度及び前記表示位置のうち、少なくとも１つを変化させてから、予め設定された時間を超えるまで前記表示制御を行わないことを特徴とする請求項１乃至３の何れか１項に記載の映像合成装置。

【請求項5】

前記映像生成手段は、
前記第１の映像の提供先から得られるＣＧ制御コマンドに基づいて、前記合成用の第２の映像としてのＣＧを生成するＣＧ生成手段を有することを特徴とする請求項１乃至４の何れか１項に記載の映像合成装置。

【請求項6】

前記画像情報抽出手段は、
予め設定された顕著性マップを用いて番組映像中の画像フレームに対する注目領域を抽出することを特徴とする請求項１乃至５の何れか１項に記載の映像合成装置。

【請求項7】

コンピュータを、請求項１乃至６の何れか１項に記載された映像合成装置として機能させるための映像合成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像同士を合成する映像合成装置及び映像合成プログラムに係り、特に合成によっても情報が欠落しない合成を行うための映像合成装置及び映像合成プログラムに関する。

【背景技術】

【0002】

従来、手話は、先天性聾者や聴覚障害者等にとってネイティブ言語であり、国際的にも言語として認められている。そのため、聴覚障害者等に提供する情報の保証として、字幕による情報提示だけでなく、手話による情報提示も重要となってきている。しかしながら、従来では、放送番組の分野等において、字幕放送サービスは普及してきているものの、手話による通訳付き放送は極めて少ない。

【0003】

放送番組において手話付きの番組が少ない理由の１つとしては、一定のスキルを待った手話通訳者が確保できないという問題がある。そこで、従来では、コンピュータによって自動的に日本語テキストから手話翻訳し、手話ＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）キャラクタで表示する手法が存在する（例えば、特許文献１参照）。

【0004】

また、従来における他の問題としては、手話通訳者の映像を番組映像に重畳する場合に番組映像の妨げになり、手話通訳者の映像を小さく重畳した場合では、手話が理解できない等の問題点が挙げられる。なお、上述した問題点に対しては、手話映像と番組映像とを別々のディスプレイで表示することが考えられるが、２つのディスプレイに表示された両方の内容を同時に理解することは困難であるため、同一のディスプレイ上に重畳する必要がある。

【0005】

なお、従来では、手話通訳者の映像（ＣＧ映像、ビデオカメラ映像）を番組映像に重畳する手法として、手話通訳者の映像をウインドウ表示にしてピクチャ・イン・ピクチャする手法や、手話者をクロマキー合成のように番組映像にスーパーインポーズすることで番組映像の情報が欠落する領域を最小限にする手法が存在する（例えば、特許文献２及び３参照）。また、従来の表示手法としては、手話通訳者の映像をベースとして、番組映像を手話通訳者の肩上方向にウインドウ枠で表示する手法等が存在する。

【0006】

また、従来では、手話映像の後ろに隠れてしまっている情報を見るために画面上に表示される手話映像の位置を変える手法が存在する（例えば、特許文献４参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１１−１７５５９８号公報

【特許文献2】特開平７−１６８８５１号公報

【特許文献3】特開平７−１９１５９９号公報

【特許文献4】特開２００１−１８６４３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述したように、手話映像を先天性聾者や聴覚障害者等の視聴者に理解できるに大きさで画面上に表示させる場合には、番組映像を重ならない位置で表示させるために番組映像が小さくなってしまう。また、上述した特許文献２及び３に示すように、手話映像をピクチャ・イン・ピクチャやスーパーインポーズする従来手法では、手話映像で隠れた領域の番組映像の情報が欠落してしまう。

【0009】

更に、特許文献４に示すような従来手法では、手話映像の表示位置をリモコン等によって視聴者がその都度、手動で変更しなければならず不便であり、頻繁に位置を変えることは実用上困難である。なお、上述した問題点は、番組映像と手話映像とを合成する場合に限定されるものではなく、異なる映像同士の合成時にも同様の問題が生じる。

【0010】

本発明は、上述した問題点に鑑みなされたものであり、映像同士の合成によっても情報が欠落しない合成を行うための映像合成装置及び映像合成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明における映像合成装置は、第１の映像に第２の映像を合成させる映像合成装置において、前記第１の映像中の画像フレームに対する画像情報を抽出する画像情報抽出手段と、前記画像情報抽出手段により得られた画像情報に基づいて前記第２の映像の透明度及び表示位置のうち、少なくとも１つを含む制御情報を制御する映像表示制御手段と、所定の方法により外部から取得又は生成した前記第２の映像から前記映像表示制御手段により得られる前記制御情報に基づいて合成用の第２の映像を生成する映像生成手段と、前記映像生成手段により得られる合成用の第２の映像と、前記第１の映像とを合成する合成手段とを有し、前記映像表示制御手段は、前記第２の映像である手話映像に対して前記透明度の表示制御を行う場合に、前記手話映像に含まれる手話ＣＧキャラクタ又は手話通訳者の手、腕、及び顔のうち、手を含む少なくとも１つの部分以外の部分を半透明にする。

【0012】

また、本発明における映像合成プログラムは、コンピュータを、上述した映像合成装置として機能させるための映像合成プログラムである。

【発明の効果】

【0013】

本発明によれば、映像同士の合成によっても情報が欠落しない合成を行うことができる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態における映像合成表示システムの概略構成の一例を示す図である。

【図2】第２実施形態における映像合成表示システムの概略構成の一例を示す図である。

【図3】第３実施形態における映像合成表示システムの概略構成の一例を示す図である。

【図4】映像合成処理の一例を示すフローチャートである。

【図5】手話映像の位置制御を優先させた表示制御の具体例を説明するための図である。

【図6】手話映像の透明度制御を優先させた表示制御の具体例を説明するための図である。

【図7】手話映像の表示位置制御と透明度制御とを組み合わせた表示制御の具体例を説明するための図である。

【図8】位置変更制御による合成映像例を示す図である。

【図9】透明度変更制御による合成映像例を示す図である。

【図10】他の表示制御による合成映像例を示す図である。

【発明を実施するための形態】

【0015】

＜本発明について＞
本発明は、例えば第１の映像の視聴を妨げずに第２の映像を十分理解できるように同一ディスプレイ上に合成表示する映像合成手法である。なお、上述した第１の映像の一例としては、例えば番組映像等があり、上述した第２の映像の一例としては、例えば第１の映像に関連した関連映像があるが、第１の映像に関連していない非関連映像等であってもよい。上述した関連映像の具体例としては、番組映像に対応する手話映像や、番組映像の内容を補足説明する補足説明映像、文字、図形等があり、非関連映像の一例としては、地震震度マップや、津波警報、台風、雷雨等の各種注意報等の文字や地図等の番組内通知映像等があるが、これに限定されるものではない。

【0016】

また、本発明は、第２の映像を第１の映像に合成する際、第２の映像の所定部分の透明度や全体の表示位置等の制御を行う。例えば、第２の映像が手話映像（手話ＣＧ又は手話通訳者の実写）の場合には、その手話映像に対して、例えば手話を理解するために重要な所定の部分（例えば、手、腕、顔等の肌露出部分）以外の部分（例えば、衣服）を半透明にして合成用の映像を生成し、生成した合成用の映像を第１の映像である番組映像に合成することで、手話映像の背後になってしまった番組映像やテロップ等の文字等を視聴者に把握できる状態で表示することができる。また、第２の映像が、地震震度マップである場合には、その地震震度マップにおいて、震源地付近の地域以外の部分を半透明にしたり、視聴者が予め視聴したい地域を指定しておくことで、その地域以外の部分を半透明にして合成用の映像を生成し、生成した合成用の映像を番組映像に合成することで、背後になってしまった番組映像やテロップ等の文字等を視聴者に把握できる状態で表示することができる。

【0017】

なお、本発明は、例えば番組映像の重要な情報領域を検知し、２つの映像が重なった場合に手話映像の透明度や表示位置等を自動的に変えることで、視聴者がリモコン（遠隔操作装置）等によって、その都度操作する必要がなく、視聴者の利便性を向上させることもできる。

【0018】

以下に、上述したような特徴を有する本発明における映像合成装置及び映像合成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、本実施形態では、上述した第１の映像の一例として番組映像（コンテンツ映像）を用い、上述した第２の映像の一例として手話映像を用いることとするが、これに限定されるものではなく、例えば２つの異なるコンテンツ映像同士を合成して表示する場合にも適用することができる。

【0019】

また、以下の説明では、映像合成装置の一例として、デジタル放送受信機を用い、デジタル放送受信機を含む映像合成表示システムについて説明するが、映像合成装置の適用範囲はこれに限定されるものではなく、例えばテレビ等の表示装置や携帯端末、スマートフォン、タブレット端末、ゲーム機器等の映像表示が可能な各種機器に適用することができる。

【0020】

＜映像合成表示システム：第１実施形態＞
図１は、第１実施形態における映像合成表示システムの概略構成の一例を示す図である。図１に示す映像合成表示システム１０−１は、放送局１１−１と、デジタル放送受信機１２−１と、表示手段１３とを有する。なお、放送局１１−１とデジタル放送受信機１２−１とは、通常１対ｎ（ｎ≧１）の関係が想定されるが、説明の便宜上１：１の関係で説明する。また、図１の例では、デジタル放送受信機１２−１と、表示手段１３とは別体に構成されているが、一体に構成されていてもよい。

【0021】

第１実施形態における映像合成表示システム１０−１は、放送局１１−１で生成された放送番組等の番組映像（音声を含んでもよい）を、放送電波によってデジタル放送受信機１２−１に送信し、デジタル放送受信機１２−１によって受信された番組映像をディスプレイ等の表示手段１３に表示させることで、視聴者は番組映像を表示することができる。

【0022】

また、第１実施形態における映像合成表示システム１０−１では、放送局１１−１から番組映像に対応する手話ＣＧ映像や、手話通訳者のカメラ撮影映像（以下、必要に応じて「手話実写映像」という）等の手話映像を、例えばインターネット等に代表される通信ネットワーク１４を介してデジタル放送受信機１２−１に送信することができる。デジタル放送受信機１２−１は、上述した番組映像と、手話実写映像や手話ＣＧ映像の手話映像等を所定の条件に基づいて合成し、合成映像を表示手段１３に表示する。これにより、手話映像を先天性聾者や聴覚障害者等の視聴者に対しても適切な映像を提供することができる。

【0023】

＜放送局１１−１の機能構成例＞
ここで、上述した放送局１１−１の機能構成例について具体的に説明する。放送局１１−１は、番組映像生成手段２１と、記憶手段２２と、ＭＵＸ（ｍｕｌｔｉｐｌｅｘｅｒ，マルチプレクサ）２３と、変調手段２４と、通信手段２５とを有する。

【0024】

番組映像生成手段２１は、デジタル放送受信機１２−１に送信するための放送番組の映像を生成する。このとき、番組映像生成手段２１は、放送番組の内容やコメントに対応する手話ＣＧ映像を生成したり、手話通訳者のカメラ映像を取得する。また、番組映像生成手段２１は、生成した手話ＣＧ映像や手話実写映像、番組映像等をエンコード（符号化）することもできる。

【0025】

番組映像生成手段２１により得られた手話映像や手話実写映像、番組映像等は、記憶手段２２に記憶される。このとき、手話ＣＧ映像や手話実写映像と、番組映像とは、所定の時間情報（タイムスタンプ）等が付加されており、これによりデジタル放送受信機１２−１における映像合成時に同期を取ることができる。

【0026】

記憶手段２２は、本実施形態において必要な各種情報を記憶する。具体的には、上述したように、番組映像生成手段２１で生成された番組映像に対応する手話ＣＧや手話実写映像、更には番組映像そのものを記憶する。また、記憶手段２２は、各種映像をデジタル放送受信機１２−１に送信するためのアドレス情報や通信方式等の設定情報等を記憶する。

【0027】

また、記憶手段２２は、他の外部装置等から取得した各種情報を記憶することができる。なお、記憶手段２２は、記憶された各種情報をユーザ等からの指示等により読み出したり、放送局１１−１内での処理により得られる各種情報を書き込んだりすることができる。記憶手段２２は、例えばハードディスクドライブやメモリ等からなる。

【0028】

ＭＵＸ２３は、複数の入力を１つの信号として出力する。例えば、番組映像が複数ある場合には、それらの映像を１つの信号として変調手段２４に出力する。また、ＭＵＸ２３は、複数の入力のうち、何れか１つを選択して出力する選択手段としての機能も有する。

【0029】

変調手段２４は、番組映像をデジタル放送受信機１２−１に送信するため、その番組映像を放送電波に変調する。変調手段２４により変調された番組映像は、放送電波としてデジタル放送受信機１２−１に送信される。

【0030】

通信手段２５は、インターネット等の公衆回線網である通信ネットワーク１４を介して、デジタル放送受信機１２−１や他の外部装置等と送受信を行う。具体的には、通信手段２５は、例えば記憶手段２２に記憶された手話ＣＧや手話実写映像等の手話映像を、デジタル放送受信機１２−１に送信する。なお、通信手段２５は、デジタル放送受信機１２−１からの手話映像の取得要求を受け付けたときに、デジタル放送受信機１２−１に対応する手話映像を送信してもよい。

【0031】

＜デジタル放送受信機１２−１の機能構成例＞
次に、デジタル放送受信機１２−１の機能構成例について具体的に説明する。図１に示すデジタル放送受信機１２−１は、復調手段３１と、ＤＥＭＵＸ（ｄｅｍｕｌｔｉｐｌｅｘｅｒ，デマルチプレクサ）３２と、番組映像デコード手段３３と、画像情報抽出手段３４と、手話映像表示制御手段（映像表示制御手段）３５と、通信手段３６と、手話映像生成手段（映像生成手段）３７と、合成手段３８とを有する。

【0032】

復調手段３１は、放送局１１−１から得られる放送電波を受信し、受信した変調信号（放送電波）を処理可能な信号に復調する。

【0033】

ＤＥＭＵＸ３２は、復調手段３１により復調された番組映像から１つの入力信号を選択し、制御信号により複数の出力の何れかへ分配する分配手段である。第１実施形態の場合、ＤＥＭＵＸ３２は、復調信号を番組映像デコード手段３３に出力する。

【0034】

番組映像デコード手段３３は、入力された復調信号から番組映像にデコード（復号化）するための第１デコード手段である。デコードされた番組映像は、画像情報抽出手段３４及び合成手段３８に出力される。

【0035】

画像情報抽出手段３４は、番組映像デコード手段３３から得られる番組映像に含まれる各画像（各フレーム）に対して画像解析を行い、注目領域や人物、テロップ文字（字幕）等が画像中に含まれる場合には、その各領域（注目領域、顔領域（人物領域）、文字表示領域等）の各種画像情報（位置情報（座標）等を含む）を抽出する。

【0036】

ここで、上述した画像解析において、例えば番組映像の重要な情報領域を取得するには、例えば顕著性マップを用いることができる。顕著性マップは、番組映像から注目領域や重要な情報の存在する領域を自動的に計算する手法であり、人間の心理学的知見に基づいた注目領域等を入力画像から自動的に計算することができる。また、顕著性マップは、顔画像認識や文字領域の自動抽出技術にも併用することができ、これにより人物領域やテロップ領域等を抽出することができる。

【0037】

なお、顕著性マップは、カメラ映像等の画像において、輝度、色、方位等の特徴量が、周囲よりも目立つ箇所を示したマップ（顕著性マップ：Ｓａｌｉｅｎｃｙ Ｍａｐ）を算出するモデルとして、例えば、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，Ｅ．Ｎｉｅｂｕｒ："Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ"，ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２０，Ｎｏ．１１，１９９８（Ｎｏｖ．）」等に示されている。なお、画像情報抽出手法については、上述した顕著性マップを用いた手法に限定されるものではない。

【0038】

手話映像表示制御手段３５は、画像情報抽出手段３４により得られる各種画像情報（例えば、注目領域、顔領域、文字表示領域等の位置情報等）に基づいて、番組映像に手話映像を重畳（合成）する位置や、映像の透明度等を制御するための制御情報を生成する。なお、手話映像表示制御手段３５における表示制御の内容としては、例えば、手話映像の透明度変更制御、表示位置変更制御、手話ＣＧキャラクタ又は手話通訳者の拡大、縮小制御等があるが、これに限定されるものではない。

【0039】

また、手話映像表示制御手段３５は、上述した各種の制御に対して、予め設定された優先順位に基づく表示制御を行うことができる。なお、手話映像表示制御における具体例については、後述する。

【0040】

通信手段３６は、通信ネットワーク１４を介して、放送局１１−１や他の外部装置等と送受信を行う。具体的には、通信手段３６は、放送局１１−１等から送信された番組映像に対応する手話映像を受信する。なお、通信手段３６は、手話映像が必要なときだけ放送局１１−１に対して取得要求を行い、その結果として選択的に手話映像を受信してもよい。これにより、デジタル放送受信機１２−１は、手話映像が必要なときだけ、放送局１１−１から取得すればよいため、無駄なデータの送信等を防止することができる。なお、通信手段３６は、放送局１１−１以外の外部装置（例えば、予め設定されたデータサーバ等）に番組映像に対応する手話ＣＧ映像や手話実写映像が存在する場合には、その外部装置から必要な映像を取得してもよい。

【0041】

手話映像生成手段３７は、通信手段３６により得られる手話映像をデコードする第２デコード手段である。また、手話映像生成手段３７は、手話映像表示制御手段３５による透明度、表示位置等の制御情報に基づいてデコードされた手話映像から合成用の手話映像を生成する。

【0042】

具体的に説明すると、手話映像生成手段３７は、例えば視聴者からデジタル放送受信機１２−１を遠隔で操作するリモコン（遠隔操作装置）等によって操作された透明度、表示位置等の設定情報４１を入力し、入力された設定情報４１を初期値として、その初期値に対応させた手話映像を生成する。生成した手話映像は手話映像表示制御手段３５に出力される。

【0043】

手話映像表示制御手段３５は、初期値に対応して生成された手話映像と、画像情報抽出手段３４により得られる各種画像情報とに基づいて、番組映像に手話映像を重畳（合成）する位置や、映像の透明度等を制御するための制御情報を生成する。

【0044】

例えば、手話映像表示制御手段３５は、上述した顕著性マップ等により得られる顕著度（例えば、手話映像と重なる注目領域中における最大輝度値、又は平均輝度値等）と、予め設定された表示位置制御用の閾値（閾値１）や透明度制御用の閾値とを比較して、所定の条件を満たす場合に、手話映像に対して表示制御を行うための制御情報を生成する。また、手話映像表示制御手段３５は、例えば手話映像に含まれる手話ＣＧキャラクタ（手話通訳者も含む）が番組映像の人物、文字等と重なっているか否かを判断し、重なっている場合に、手話映像に対して表示制御を行うための制御情報を生成する。このようにして生成された制御情報は、手話映像生成手段３７に出力される。これにより、手話映像生成手段３７は、制御情報を用いて合成用の手話映像を生成することができる。

【0045】

なお、上述した番組映像の注目領域、人物、文字等の情報は、例えば上述した画像情報抽出手段３４により取得することができるため、これらの情報を用いて重なり部分を自動的に検出することができる。

【0046】

なお、上述した設定情報４１には、例えば手話映像に含まれる手話ＣＧキャラクタや手話通訳者の表示倍率（拡大率、縮小率）等を含んでいてもよい。また、設定情報４１には、例えば手話ＣＧキャラクタや手話通訳者のどの部分（例えば、手、腕、及び顔のうち、手を含む少なくとも１つの部位以外）を透明にするのかといった情報を含んでいてもよい。更に、設定情報４１には、表示制御による手話映像の変化が頻繁に起きないように、表示制御を行わない時間情報を含んでいてもよい。つまり、手話映像生成手段３７は、上述した表示倍率や時間情報に対応する手話映像を生成することができる。これにより、手話映像生成手段３７は、ユーザ毎に適切な表示制御を行うことができる。手話映像生成手段３７により得られた手話映像は、合成手段３８に出力される。

【0047】

なお、例えば手話映像以外の第２の映像（例えば、地震震度マップ等）を合成する場合、設定情報４１には、予め視聴したい地域の情報等を含んでいてもよい。これにより、ユーザ毎に指定された地域に対して適切な表示制御を行うことができる。

【0048】

合成手段３８は、番組映像デコード手段３３から得られる番組映像（第１の映像）と、手話映像生成手段３７から得られる手話映像（第２の映像）とを合成する。具体的には、合成手段３８は、番組映像を背景映像とし、手話映像をその番組映像の上に重畳させる合成を行う。このとき、本実施形態では、手話映像の所定の部分の透明度を調整して透かして合成することで、手話映像の認識精度を落とすことなく、番組映像の内容等を認識することができる。

【0049】

具体的には、手話の認識で必要となる部分は、例えば手、腕、顔（首から上）等であり、手話ＣＧキャラクタや手話通訳者の服装部分に相当する所を半透明にしても、手話認識に対する影響はない。そこで、上述した服装部分（手、腕、及び顔のうち、手を含む少なくとも１つの部位以外の部分）を半透明にすることで、半透明部分の背後になる番組映像も見えるため、番組映像も認識可能となる。つまり、本実施形態によれば、映像同士の合成によっても情報が欠落しない合成を行うことができる。

【0050】

なお、手話映像に対して半透明にする部分（例えば、服装部分）は、一般的には、腕や顔等がはっきりするように首元が見える半袖の暗めな無地一色（所定色）である場合が多いため、画像解析等により上述した所定色の範囲を抽出することで、半透明にする部分を抽出することができる。また、半透明にする部分の他の抽出例としては、例えば画像解析等により肌色や髪色等に基づいて半透明にしない部分（例えば、肌露出部分）を抽出し、その抽出部分以外の部分（例えば、衣服）を半透明にする部分として抽出することができる。

【0051】

また、第１実施形態では、デジタル放送受信機１２−１側で手話映像と番組映像とを合成するが、半透明の透明度は可変に設定でき、例えばユーザ（視聴者）がリモコン等を用いて予め自由に透明度を設定することができる。また、透明度は、例えば０〜１００の間で設定することができるため、半透明が見にくいと感じるユーザは、不透明（半透明や透明でない状態）に設定することも可能である。これにより、ユーザ（視聴者）毎に適切な映像を表示することができる。

【0052】

ここで、上述した手話映像は、放送局１１−１でＣＧによって生成してもよく、実際に人間が行っている姿をカメラで撮影した実写でもよい。第１実施形態では、手話ＣＧの場合に、手話ＣＧ映像を放送局１１−１で生成し、その映像をデジタル放送受信機１２−１に送信していたが、これに限定されるものではなく、例えば手話ＣＧの動作等を制御する手話ＣＧ制御コマンド（ＣＧ制御コマンド）を生成し、生成した手話ＣＧ制御コマンドをデジタル放送受信機１２−１側に送信してもよい。これにより、デジタル放送受信機１２−１側にすでに存在する手話ＣＧキャラクタに対して、送信した制御コマンドに対する動作等を実行させて、手話映像を生成することができる。ここで、上述した制御コマンドを送信して手話映像を生成する例を第２実施形態として、以下に説明する。

【0053】

＜映像合成表示システム：第２実施形態＞
図２は、第２実施形態における映像合成表示システムの概略構成の一例を示す図である。なお、図２に示す映像合成表示システム１０−２において、上述した図１に示す映像合成表示システム１０−１と同様の機能構成部分については、同一の符号を付するものとし、ここでの具体的な説明を省略する。つまり、以下の説明では、第１実施形態と第２実施形態との差異部分について具体的に説明する。

【0054】

図２に示す映像合成表示システム１０−２は、放送局１１−２と、デジタル放送受信機１２−２と、表示手段１３とを有する。

【0055】

第２実施形態における映像合成表示システム１０−２は、放送局１１−２から番組映像に対応する手話映像そのものを送信するのではなく、手話ＣＧ映像をデジタル放送受信機１２−２で生成させるための手話ＣＧ制御コマンドを記憶手段２２から取得し、通信ネットワーク１４を介してデジタル放送受信機１２−２に送信する。

【0056】

デジタル放送受信機１２−２は、受信した手話ＣＧ制御コマンドから手話ＣＧを生成し、生成した手話ＣＧを手話映像として番組映像と合成し、合成映像を表示手段１３に表示させる。ここで、手話ＣＧ制御コマンドは、手話映像よりもデータ量が少ないため、第２実施形態では、第１実施形態によりも通信効率を向上させることができる。

【0057】

＜放送局１１−２の機能構成例＞
ここで、放送局１１−２の機能構成例については、上述した第１実施形態における放送局１１−１と同様の機能構成を有する。具体的には、放送局１１−２は、番組映像生成手段２１と、記憶手段２２と、ＭＵＸ２３と、変調手段２４と、通信手段２５とを有する。

【0058】

番組映像生成手段２１は、デジタル放送受信機１２−２に送信するための番組映像を生成すると共に、放送番組の内容やコメントに対応する手話ＣＧ映像を生成するための手話ＣＧ制御コマンドを生成する。番組映像生成手段２１により得られた番組映像や手話ＣＧ制御コマンド等は、記憶手段２２に記憶される。このとき、手話ＣＧ制御コマンドと、番組映像とは、時間情報（タイムスタンプ）等が付加されており、これによりデジタル放送受信機１２−２における映像合成時に同期を取ることができる。

【0059】

記憶手段２２は、番組映像生成手段２１で生成された手話ＣＧ制御コマンドや番組映像そのものを記憶する。

【0060】

通信手段２５は、例えば記憶手段２２に記憶された手話ＣＧ制御コマンドをデジタル放送受信機１２−２に送信する。なお、通信手段２５は、デジタル放送受信機１２−２からの手話映像の取得要求を受け付けたときに、デジタル放送受信機１２−２に対して、番組映像に対応する手話ＣＧ映像を生成するための手話ＣＧ制御コマンドを送信してもよい。

【0061】

＜デジタル放送受信機１２−２の機能構成例＞
次に、デジタル放送受信機１２−２の機能構成例について具体的に説明する。図２に示すデジタル放送受信機１２−２は、復調手段３１と、ＤＥＭＵＸ３２と、番組映像デコード手段３３と、画像情報抽出手段３４と、手話映像表示制御手段３５と、通信手段３６と、手話ＣＧ生成手段（ＣＧ生成手段）５１と、合成手段３８とを有する。つまり、第２実施形態におけるデジタル放送受信機１２−２は、第１実施形態におけるデジタル放送受信機１２−１と比較すると、手話映像生成手段３７の代わりに手話ＣＧ生成手段５１が設けられている。

【0062】

通信手段３６は、インターネット等の公衆回線網である通信ネットワーク１４を介して、放送局１１−２や他の外部装置等と送受信を行う。具体的には、通信手段３６は、放送局１１−２から送信された番組映像に対応する手話ＣＧ制御コマンドを受信する。なお、通信手段３６は、放送局１１−２に対して、手話映像が必要なときだけ手話ＣＧ制御コマンドの取得要求を行い、その結果として選択的に手話ＣＧ制御コマンドを受信してもよい。これにより、デジタル放送受信機１２−１は、手話映像が必要なときだけ、放送局１１−１から手話ＣＧ制御コマンドを取得すればよいため、無駄なデータの送信等を防止することができる。また、通信手段３６は、放送局１１−２以外の外部装置から、番組映像に対応する手話ＣＧ制御コマンドを取得してもよい。

【0063】

手話ＣＧ生成手段５１は、例えば通信手段３６により得られる手話ＣＧ制御コマンドに基づいて、手話ＣＧ制御コマンドに対応させて予め蓄積された手話映像をコマンド単位（例えば、動作単位や単語単位、文章単位等も含む）で抽出し、それらの映像を連結することで、番組映像に対応させて手話ＣＧ映像を生成する。なお、手話ＣＧ生成手段５１は、視聴者からデジタル放送受信機１２−２を操作するリモコンにより操作された、上述した透明度や表示位置、表示倍率（拡大率、縮小率）、不透明（半透明や透明でない状態）にする部分等の設定情報４１を入力し、入力された設定情報４１に対応する透明度及び表示位置等に対応させて手話ＣＧ映像を生成してもよい。

【0064】

また、手話ＣＧ生成手段５１は、手話映像表示制御手段３５による透明度、表示位置等の制御情報に基づいて、手話ＣＧ映像を生成してもよい。手話ＣＧ生成手段５１により生成された手話ＣＧ映像は、合成手段３８に出力される。

【0065】

合成手段３８は、番組映像デコード手段３３から得られる番組映像と、手話ＣＧ生成手段５１から得られる手話ＣＧ映像とを上述した第１実施形態と同様に合成する。具体的には、合成手段３８は、番組映像を背景映像とし、手話ＣＧ映像をその上に重畳させる合成を行う。そのため、手話ＣＧ映像の所定の部分の透明度を調整して透かすことで、手話ＣＧ映像による認識精度を落とすことなく、第１の映像の内容（文字や絵）等を認識することができる。なお、２つの映像は、各映像に付加されている時間情報（タイムスタンプ）に基づいて、同期させて合成することができる。

【0066】

合成手段３８は、合成映像を表示手段１３に出力して表示させる。これにより、映像同士の合成によっても情報が欠落しない合成を行うことができる。したがって、ユーザ（視聴者）毎に適切な映像を表示することができる。

【0067】

ここで、上述した第２実施形態における映像合成表示システム１０−２では、手話ＣＧ制御コマンドを、通信ネットワーク１４を介してデジタル放送受信機１２−２に送信しているが、これに限定されるものではなく、例えば手話ＣＧ制御コマンドと放送電波とを重畳させて送信してもよい。上述した内容を第３実施形態として、以下に説明する。

【0068】

＜映像合成表示システム：第３実施形態＞
図３は、第３実施形態における映像合成表示システムの概略構成の一例を示す図である。なお、図３に示す映像合成表示システム１０−３において、上述した第１及び第２の実施形態と同様の機能構成部分については、同一の符号を付するものとし、ここでの具体的な説明を省略する。つまり、以下の説明では、第２実施形態と第３実施形態との差異部分について具体的に説明する。

【0069】

図３に示す映像合成表示システム１０−３は、放送局１１−３と、デジタル放送受信機１２−３と、表示手段１３を有する。

【0070】

第３実施形態における映像合成表示システム１０−３は、上述した第２実施形態と比較すると、放送局１１−３及びデジタル放送受信機１２−３において、通信ネットワーク１４を介して通信するための通信手段を有していない。

【0071】

つまり、第２実施形態における映像合成表示システム１０−２において、通信手段で送信されていた情報（例えば、手話ＣＧ制御コマンド）は、放送電波で番組映像と共に送信される。これは、手話ＣＧ制御コマンドのデータ量が少ないため、例えば送信信号の予備領域等に入れることができるためである。つまり、第３実施形態では、データ放送のような放送形態の放送電波に、デジタルデータとして手話ＣＧ制御コマンドを含めてデジタル放送受信機１２−３に送信することができる。

【0072】

＜放送局１１−３の機能構成例＞
ここで、放送局１１−３の機能構成例について説明する。放送局１１−３は、番組映像生成手段２１と、記憶手段２２と、ＭＵＸ２３と、変調手段２４とを有する。

【0073】

ＭＵＸ２３は、図３に示すように、番組映像と手話ＣＧ制御コマンドとを入力して１つの信号を生成し、生成した信号を変調手段２４に出力する。なお、１つの信号を生成する場合には、例えば、番組映像の予備領域に手話ＣＧ制御コマンドを付加してもよく、２つの情報を多重化してもよいが、これに限定されるものではない。これにより、放送局１１−３は、番組映像と手話ＣＧ制御コマンドとを含む放送電波をデジタル放送受信機１２−３に送信することができる。

【0074】

＜デジタル放送受信機１２−３の機能構成例＞
次に、デジタル放送受信機１２−３の機能構成例について具体的に説明する。図３に示すデジタル放送受信機１２−３は、復調手段３１と、ＤＥＭＵＸ３２と、番組映像デコード手段３３と、画像情報抽出手段３４と、手話映像表示制御手段３５と、手話ＣＧ生成手段５１と、合成手段３８とを有する。

【0075】

ＤＥＭＵＸ３２は、復調信号から放送番組と手話ＣＧ制御コマンドとを分離し、放送番組を番組映像デコード手段３３に出力し、手話ＣＧ制御コマンドを手話ＣＧ生成手段５１に出力する。

【0076】

その後、デジタル放送受信機１２−３は、上述した第２実施形態と同様に、手話ＣＧ映像を生成し、番組映像と合成し、合成映像を表示手段１３に出力することで、上述した合成映像を視聴者に提供することができる。なお、上述した各実施形態１〜３は、必要に応じて組み合わせて実施することもできる。

【0077】

＜映像合成処理手順＞
次に、上述した実施形態における映像合成処理手順について、フローチャートを用いて説明する。図４は、映像合成処理の一例を示すフローチャートである。なお、図４の処理では、デジタル放送受信機（映像合成装置）１２側における映像合成処理について説明するものである。

【0078】

図４の例において、映像合成処理は、放送電波を受信し（Ｓ０１）、受信した放送電波を復調して番組映像を取得する（Ｓ０２）。次に、映像合成処理は、番組映像を解析して画像情報を抽出する（Ｓ０３）。なお、Ｓ０３の処理の具体例については、後述する。また、映像合成処理は、番組映像に対応する手話映像を取得し（Ｓ０４）、取得した手話映像に対して上述したＳ０３の処理により得られた画像情報等を用いて手話映像の表示制御を行う（Ｓ０５）。なお、表示制御とは、例えば透明度や表示位置、表示倍率（拡大率、縮小率）、半透明にする部分等の制御を含むが、これに限定されるものではない。また、Ｓ０５の処理では、例えば、視聴者（ユーザ）等により予め設定された設定情報等による制御内容に基づいて表示制御を行うこともできる。

【0079】

次に、映像合成処理は、放送番組と表示制御された手話映像とを合成し（Ｓ０６）、合成された映像を表示手段等の画面に表示する（Ｓ０７）。ここで、映像合成処理は、処理を終了するか否かを判断し（Ｓ０８）、処理を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０１に戻る。また、映像合成処理は、ユーザ等による手話映像の表示の終了指示等の所定の指示を受けた等により、処理を終了する場合（Ｓ０８において、ＹＥＳ）、映像合成処理を終了する。

【0080】

なお、上述した図４に示す処理は、例えば、放送局１１で生成された手話映像を通信ネットワーク１４により取得してもよく（上述した第１実施形態に相当）、手話ＣＧ制御コマンドを受信してデジタル放送受信機１２側で映像ＣＧを生成することで取得してもよい（上述した第２実施形態に相当）。更に、手話ＣＧ制御コマンドは、通信ネットワーク１４から取得してもよく（上述した第２実施形態に相当）、放送電波から受信してもよい（上述した第３実施形態に相当）。

【0081】

＜画像情報抽出から表示制御までの具体例＞
次に、本実施形態における画像情報抽出から表示制御までの具体例について、図を用いて説明する。上述した画像情報抽出手段３４における画像情報抽出において、例えば番組映像中の注目領域は、上述した顕著性マップを用いることで、注目領域や重要度に比例して、白黒の輝度を変化させた画像として得ることができる。具体的には、顕著性マップにおいて、重要な領域ほど輝度値が大きくなる。

【0082】

ここで、例えば番組映像中のテロップである文字領域や番組映像中の登場人物と、手話映像とが重なることは、番組映像の大きな情報損失となるため、他の画像情報よりも優先させる必要がある。そのため、本実施形態では、文字領域と人物領域は顕著性マップと合成するときに、例えば最大輝度となるように設定することができる。

【0083】

また、本実施形態では、上述した輝度値等に対応させて、その領域の顕著度等を設定することができる。なお、顕著度とは、例えば手話映像との重なり領域中の最大輝度値、又は平均輝度値等を示すが、これに限定されるものではない。

【0084】

また、本実施形態では、文字領域抽出技術や顔画像認識技術等を用いることで、それらの領域を顕著性マップと合成し、その合成した画像に基づいて、手話映像（具体的には、手話ＣＧキャラクタ、手話通訳者）との重なり領域を抽出してもよい。

【0085】

更に、本実施形態では、手話映像表示制御手段３５等における手話映像の表示制御について、位置変更制御を優先させる場合や、透明度変更制御を優先させる場合が存在する。そこで、以下に示す具体例では、上述した各優先内容に基づく処理内容について具体的に説明する。

【0086】

＜具体例１：位置変更優先モード＞
図５は、手話映像の位置制御を優先させた表示制御の具体例を説明するための図である。なお、図５の例では、制御内容を具体的に説明するために、概略的な処理の流れと各処理で得られる画像例とを用いて説明する。

【0087】

図５に示す具体例１では、番組映像６１に対応する手話映像６２の入力に対して、手話ＣＧ映像の画面上の表示位置の初期値を設定する。なお、以下に示す手話映像６２の例では、一例として手話ＣＧを用いているが、これに限定されるものではなく、例えば手話実写映像でもよい。

【0088】

ここで、表示位置の初期値の設定において、例えばユーザ等がリモコン等によって表示位置の設定を行うことで、ユーザ毎に適切な手話映像の表示位置を設定することができる。図５の例では、初期値として、画面の左下に手話映像を表示するよう設定されている（手話映像６３）。また、表示位置の制御を行う場合に、どの位置に変更するのかを設定することもできる。

【0089】

次に、具体例１では、番組映像６１に対して、例えば顕著性マップ等を適用した計算等により得られる画像６４により、注目領域抽出、顔画像認識、文字領域抽出等の各種画像情報の抽出を行う。

【0090】

次に、手話映像６３と、画像情報の注目領域等（画像６４）との重なり領域（重なり画像６５）の抽出を行う。また、顕著性マップにより得られる顕著度（例えば、手話映像と重なる注目領域中における最大輝度値、又は平均輝度値等）と、予め設定された表示位置制御用の閾値（閾値１）とを比較する。ここで、顕著度が予め設定された閾値１より大きい場合か、又は、手話映像のキャラクタ（手話通訳者も含む）が番組映像の人物、文字等と重なっている場合（図５において、ＹＥＳ）、表示位置の制御を行って、初期値の表示位置とは異なる位置に手話映像を表示する。

【0091】

また、具体例１では、上述した条件を満たさない場合（図５において、ＮＯ）、手話映像の表示位置を初期値等に固定して表示する。上述したような処理は、映像に含まれる各画像（画像フレーム）単位で行うことが好ましいが、これに限定されるものではなく、例えば所定のフレーム数毎に行ってもよく、また前後のフレームを比較して変化が生じたフレーム（映像の切り替わり時）に上述した処理を行うようにしてもよい。

【0092】

ここで、図５に示す合成画像６６は、位置変更優先モードにより手話映像の位置が優先的に変更（図５の例では、初期値（左下）から右上に変更）されている。このように、上述した具体例１に示す処理を実行することで、合成画像６６に示すように、番組映像の妨げにならない場所に手話映像を表示することができる。

【0093】

＜具体例２：透明度優先モード＞
次に、具体例２について説明する。図６は、手話映像の透明度制御を優先させた表示制御の具体例を説明するための図である。なお、図６の例では、制御内容を具体的に説明するために、概略的な処理の流れと各処理で得られる画像例とを用いて説明する。

【0094】

図６に示す具体例２では、上述した具体例１と同様に、番組映像７１に対応する手話映像７２の入力に対して、手話映像の画面上の所定の表示位置に対する手話ＣＧキャラクタの透明度の初期値を設定する。このとき、ユーザは、リモコン等による透明度の設定を行うことで、ユーザ毎に適切な透明度の初期値を設定することができるが、設定がなされなかった場合には、不透明（半透明や透明でない状態）が設定される。また、透明度の制御を行う場合に、どの程度の透明度にするのかを設定することもできる。なお、図６の例において、手話映像の表示位置は、予め設定された初期値（例えば、画面の左下）に設定されている（手話映像７３）。

【0095】

なお、透明度とは、例えば、所定部位（例えば、手、腕、及び顔等のうち、手を含む少なくとも１つ）以外を半透明にして背景映像が見えるようにするための透明度合いを示すものである。また、透明度の設定には、どの部位を半透明にするかも設定することができる。また、部位毎に異なる透明度に設定することもできる。

【0096】

次に、具体例２では、番組映像７１に対して、例えば顕著性マップ等を適用した計算等により得られる画像７４により、注目領域抽出、顔画像認識、文字領域抽出等の各種画像情報の抽出を行う。

【0097】

次に、手話映像７３と、画像情報の注目領域等（画像７４）との重なり領域（重なり画像７５）の抽出を行う。また、顕著性マップにより得られる顕著度（例えば、手話映像と重なる注目領域中における最大輝度値、又は平均輝度値等）と、予め設定された透明度制御用の閾値（閾値２）とを比較する。ここで、顕著度が閾値２より大きい場合か、又は、手話映像のキャラクタ（手話通訳者も含む）が番組映像の人物、文字等と重なっている場合（図６において、ＹＥＳ）、所定の部分（例えば、手、腕、顔等）以外の部分に対して透明度の制御を行って、初期値（例えば、不透明）と異なる透明度で手話映像を表示する。

【0098】

また、具体例２では、上述した条件を満たさない場合（図６において、ＮＯ）、手話映像の透明度を固定して表示する。なお、上述したような処理は、映像に含まれる各フレーム単位で行うことが好ましいが、これに限定されるものではなく、例えば所定のフレーム数毎や映像の切り替わり時に行ってもよい。

【0099】

図６に示す合成画像７６は、透明度変更優先モードにより手話映像の所定部分（例えば、手、腕、顔等のうち、手を含む少なくとも１つの部分）以外の部分（例えば、衣類）等の透明度が優先的に変更されている。このように、上述した具体例２に示す処理を実行することで、合成画像７６に示すように、番組映像の妨げにならない透明度に手話映像を表示することができる。なお、この透明度は、視聴者が認識できるように、設定できる透明度の範囲（例えば、０〜５０％等）を予め設定しておくことができるが、これに限定されるものではなく、０〜１００％の範囲で設定することもできる。ここで、透明度０％は透明や半透明でない状態を示し、状態１００％は透明を意味する。

【0100】

＜具体例３：表示位置、透明度組み合わせモード＞
次に、具体例３について説明する。図７は、手話映像の表示位置制御と透明度制御とを組み合わせた表示制御の具体例を説明するための図である。

【0101】

図７に示す具体例３では、最初に上述した図６に示すような透明度優先モードによる表示制御を行い、手話映像を半透明にしたとしても背景映像をユーザが認識できない可能性がある場合に、上述した図５に示す表示位置優先モードによる表示制御を行う。

【0102】

なお、透明度を優先させたとしても表示できない場合とは、例えば上述した重なり領域の抽出において、重なり範囲が、手話ＣＧキャラクタの表示領域の所定範囲（例えば、手話映像全体の８０％）以上の場合や、注目領域の所定範囲（例えば、注目領域全体の７５％）以上の場合等があるが、これに限定されるものではない。つまり、本実施形態では、重なり範囲が広い場合に、透明度変更制御だけでなく、位置変更制御を行う。

【0103】

具体的には、図７に示すように、最初に透明度優先モードとして、上述した顕著度（例えば、手話映像と重なる注目領域中における最大輝度値、又は平均輝度値等）と、予め設定された透明度の閾値（閾値３）とを比較し、顕著度が閾値３より大きくない場合（図７において、ＮＯ）、手話映像の透明度を設定された透明度で固定し、顕著度が閾値３より大きい場合（図７において、ＹＥＳ）、透明度を初期値にリセットし、上述した位置制御優先モードによる処理を行う。

【0104】

なお、上述した閾値３は、最大透明度であるのが好ましいが、これに限定されるものではない。また、位置制御優先モードによる処理を行う前に処理された透明度による制御は、上述したように初期値にリセットしなくてもよい。

【0105】

上述したように、本実施形態では、具体例１〜３に示すように、番組映像中にテロップ等の文字や情報として注目すべき重要な情報、又は人物等が映っている領域が手話映像（手話ＣＧキャラクタ、手話通訳者）と重なってしまった場合には、手話映像の位置を自動的に移動させて番組映像の重要な領域とが重ならないようにする「位置変更優先モード」（具体例１）と、位置を変えずに手、腕、顔以外を半透明にして背景が見えるようにする「透明度変更優先モード」（具体例２）、及びこれらの組み合わせによる「表示位置、透明度組み合わせモード」（具体例３）とを有し、ユーザ毎の好みによって適切なモードに設定変更することができる。これにより、ユーザ毎に適切な映像を表示することができる。

【0106】

また、本実施形態では、上述したように、ある一定の大きさを有する閾値１〜３等を用いて表示制御をするか否かを判断することで、例えば手話映像と番組映像の注目領域との小さな重なり範囲が存在しても表示を変化させないようにすることができ、頻繁な表示変化を防止することができる。

【0107】

＜時間による制御＞
ここで、本実施形態では、手話映像の表示位置や透明度制御において、番組映像の注目領域が手話映像と一瞬（短時間）だけ大きく重なる場合がある。そのような場合に、上述した手話映像の表示位置や透明度の制御を行うと、表示が一瞬だけ変化する。つまり、このような表示制御が連続すると、表示位置や透明度が頻繁に変化して視聴者による手話の読み取りを困難にしてしまう可能性がある。

【0108】

そこで、本実施形態では、例えばユーザ等により予め設定された時間情報（例えば、閾値４）に基づいて、上述した表示制御を制限する。具体的には、手話映像の位置や透明度が変化した時点で、タイマを開始して時間をカウントし、カウントされた時間が閾値４を超えるまでは、上述した表示制御を行わないようにする。

【0109】

このように、時間情報に基づき表示制御を制限することで、直前に手話映像の位置や透明度が変化している場合に、一定間隔空かないと位置又は透明度が変化しないため、頻繁に位置や透明度が変化して手話の読み取りが困難になることを防止することができる。なお、上述した時間による制御は、例えば上述した手話映像生成手段３７や手話ＣＧ生成手段５１等によって制御される。

【0110】

＜合成映像例＞
ここで、本実施形態により得られる合成映像例について図を用いて説明する。図８は、位置変更制御による合成映像例を示す図である。また、図９は、透明度変更制御による合成映像例を示す図である。また、図１０は、他の表示制御による合成映像例を示す図である。

【0111】

上述した図５に示す具体例１において、例えば顕著度が閾値１よりも大きい場合には例えば、番組映像（図８の例では天気図）８０に対して手話映像（手話ＣＧキャラクタ、手話通訳者）８１の表示位置を変更する制御を行う。このとき、表示位置の変更は、現在の位置から予め設定されている変更位置に手話映像８１を移動させてもよく、例えば、図８（Ａ）〜（Ｆ）に示すように、手話映像８１を番組映像８０に対する複数の位置に移動させ、それぞれの位置で番組映像８０の注目領域等との重なり領域の最大輝度値、又は平均輝度値が最小になる位置を選択することで、適切な位置に手話映像を変更することができる。

【0112】

また、上述した図６に示す具体例２において、例えば顕著度が閾値２よりも大きい場合には、図９（Ａ）に示す手話映像８０の透明度の初期値状態から図９（Ｂ）に示す予め設定された透明度に変更する。なお、透明度による表示制御は、予め設定された半透明や透明にしない所定部位（手、腕、及び顔のうち、手を含む少なくとも１つ）以外の部位（例えば、服装等）に対して行われる。なお、具体例２における透明度は大きく２種類としてもよく、また重なり領域の輝度値に比例して連続的に変化させてもよい。

【0113】

また、上述した具体例３に示すように、上述した具体例１，２に示す２つのモードを組み合わせた場合には、先に透明度変更優先モードにて透明度を変化させ、顕著度（重なり領域の輝度値等）が上述した閾値３より大きい場合、つまり極めて重要な情報が隠れてしまう場合には、変更した透明度を初期値にリセットし、それ以降は、位置変更優先モードにて位置を移動させる制御を行う。

【0114】

すなわち、具体例３のモードでは、最初に透明度を変更して背景の番組映像の情報が見えるようにするが、極めて重要な情報があった場合は透明度を変更するのではなく位置を移動させる。これは、位置を頻繁に移動させると透明にする場合よりも手話の解読に悪影響を与えると考えられるからである。また、本実施形態では、表示位置制御と透明度制御の優先順位をユーザの好みで逆に設定してもよい。

【0115】

また、上述した表示位置制御や透明度制御は、手話映像の表示倍率を変更させる制御を行うことができる。例えば、本実施形態では、入力された番組映像８０に対して、手話映像８１を図１０（Ａ）に示すように予め設定された拡大率で拡大させて表示させてもよく、また、図１０（Ｂ）に示すように予め設定された縮小率で縮小させて表示させてもよい。

【0116】

＜実行プログラム＞
ここで、上述した映像合成装置（デジタル放送受信機１２）は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

【0117】

したがって、映像合成装置が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

【0118】

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（映像合成プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、上述した映像合成処理を実現することができる。

【0119】

なお、上述した本実施形態では、デジタル放送受信機１２に映像合成装置を有する構成について説明したが、これに限定されるものではなく、例えば放送局１１側に映像合成装置を有していてもよい。この場合には、放送局１１側で番組映像と手話映像とを合成し、合成された映像がデジタル放送受信機１２に送信される。

【0120】

上述したように本実施形態によれば、映像同士の合成によっても情報が欠落しない合成を行うことができる。したがって、ユーザ毎に適切な映像を表示することができる。具体的には、本実施形態によれば、番組映像等の第１の映像の視聴を妨げずに手話映像等の番組関連情報や地震震度マップ等の番組内通知映像等を含む第２の映像を十分理解できるように同一ディスプレイ上に合成して表示することができる。

【0121】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

【符号の説明】

【0122】

１０ 映像合成表示システム
１１ 放送局
１２ デジタル放送受信機
１３ 表示手段
１４ 通信ネットワーク
２１ 番組映像生成手段
２２ 記憶手段
２３ ＭＵＸ
２４ 通信手段
３１ 復調手段
３２ ＤＥＭＵＸ
３３ 番組映像デコード手段
３４ 画像情報抽出手段
３５ 手話映像表示制御手段（映像表示制御手段）
３６ 通信手段
３７ 手話映像生成手段（映像生成手段）
３８ 合成手段
４１ 設定情報
５１ 手話ＣＧ生成手段（ＣＧ生成手段）
６１，７１，８０ 番組映像
６２，６３，７２，７３，８１ 手話映像
６４，７４ 画像
６５，７５ 重なり画像
６６，７６ 合成画像

【図1】

【図2】

【図3】

【図4】

【図7】

【図5】

【図6】

【図8】

【図9】

【図10】