特表 2024-526253 キャプション表示方法及び関連装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-17

(54)【発明の名称】キャプション表示方法及び関連装置

(51)【国際特許分類】

   G09G 5/377 20060101AFI20240709BHJP

   G09G 5/22 20060101ALI20240709BHJP

   H04N 23/63 20230101ALI20240709BHJP

【ＦＩ】

G09G5/377 100

G09G5/22 660Z

H04N23/63

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023580652

(86)(22)【出願日】2022-05-26

(85)【翻訳文提出日】2024-01-30

(86)【国際出願番号】 CN2022095325

(87)【国際公開番号】W WO2023273729

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】202110742392.9

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522460896

【氏名又は名称】ペタル クラウド テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＰＥＴＡＬ ＣＬＯＵＤ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ルオ，ションリ

【テーマコード（参考）】

5C122

5C182

【Ｆターム（参考）】

5C122EA47

5C122FK08

5C122FK37

5C122FK38

5C122FK41

5C122FK42

5C122GA01

5C122GA23

5C122HA13

5C122HA36

5C122HB01

5C122HB05

5C122HB10

5C182AA02

5C182AA03

5C182AB01

5C182AB02

5C182AB08

5C182AC02

5C182AC03

5C182AC13

5C182AC14

5C182AC37

5C182AC43

5C182BA06

5C182BA14

5C182BA27

5C182BA28

5C182BA29

5C182BA46

5C182CB47

5C182CB55

5C182DA53

(57)【要約】

本出願は、キャプション表示方法及び関連装置を開示する。電子デバイスは、再生されるべきビデオファイル及び表示されるべきキャプションファイルを取得し、次いで、ビデオファイルを復号してビデオフレームを取得し、キャプションファイルを復号してキャプションフレームを取得する。その後、電子デバイスは、キャプションフレームからキャプション色域情報、キャプション位置情報などを抽出し、キャプション位置情報に基づいて、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置の色域情報を抽出し、キャプション色域情報と、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置の色域情報とに基づいてキャプション認識度を計算し得る。更に、電子デバイスは、キャプション認識度に基づいて、キャプションに対応するマスクの色値及び透明度を計算して、マスクを有するキャプションフレームを生成し、次いで、ビデオフレームとマスクを有するキャプションとを結合し、結合されたビデオフレームをレンダリングし、レンダリングされたビデオフレームをビデオ再生ウィンドウに表示する。このようにして、キャプションの色を変更することなくキャプション認識度を高め、ビデオコンテンツの特定の可視性を確保することができ、それにより、ユーザエクスペリエンスを向上させることができる。

【特許請求の範囲】

【請求項1】

キャプション表示方法であって、
電子デバイスが、第１のビデオを再生するステップ
を含み、
前記電子デバイスが第１のインターフェースを表示するとき、前記第１のインターフェースは、第１のピクチャと第１のキャプションとを含み、前記第１のキャプションは、第１のマスクを背景として使用することによってフローティング方式で前記第１のピクチャの第１の領域上に表示され、前記第１の領域は、前記第１のピクチャ内にあり、前記第１のキャプションの表示位置に対応する領域であり、前記第１のキャプションの色値と前記第１の領域の色値との間の差分値は、第１の値であり、
前記電子デバイスが第２のインターフェースを表示するとき、前記第２のインターフェースは、第２のピクチャと前記第１のキャプションとを含み、前記第１のキャプションに対してマスクは表示されず、前記第１のキャプションは、前記第２のピクチャの第２の領域上にフローティング方式で表示され、前記第２の領域は、前記第２のピクチャ内にあり、前記第１のキャプションの前記表示位置に対応する領域であり、前記第１のキャプションの前記色値と前記第２の領域の色値との間の差分値は、第２の値であり、前記第２の値は、前記第１の値よりも大きく、
前記第１のピクチャは、前記第１のビデオ内の１つのピクチャであり、前記第２のピクチャは、前記第１のビデオ内の別のピクチャである、
方法。

【請求項2】

前記電子デバイスが前記第１のインターフェースを表示する前に、前記方法は、
前記電子デバイスが、第１のビデオファイル及び第１のキャプションファイルを取得するステップであって、前記第１のビデオファイル及び前記第１のキャプションファイルは同じ時間情報を搬送する、ステップと、
前記電子デバイスが、前記第１のビデオファイルに基づいて第１のビデオフレームを生成するステップであって、前記第１のビデオフレームは、前記第１のピクチャを生成するために使用される、ステップと、
前記電子デバイスが、前記第１のキャプションファイルに基づいて第１のキャプションフレームを生成し、前記第１のキャプションフレームから前記第１のキャプションの前記色値及び前記表示位置を取得するステップであって、前記第１のキャプションフレームで搬送される時間情報は、前記第１のビデオフレームで搬送される時間情報と同じである、ステップと、
前記電子デバイスが、前記第１のキャプションの前記表示位置に基づいて前記第１の領域を決定するステップと、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成するステップと、
前記電子デバイスが、前記第１のキャプションフレーム内の前記第１のマスク上に前記第１のキャプションを重ね合わせて第２のキャプションフレームを生成し、前記第２のキャプションフレームと前記第１のビデオフレームとを結合するステップと
を更に含む、請求項１に記載の方法。

【請求項3】

前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成する前記ステップの前に、前記方法は、
前記電子デバイスが、前記第１の値が第１の閾値未満であると決定するステップ
を更に含む、請求項２に記載の方法。

【請求項4】

前記電子デバイスが、前記第１の値が第１の閾値未満であると決定する前記ステップは、具体的には、
前記電子デバイスが、前記第１の領域をＮ個の第１のサブ領域に分割するステップであって、Ｎは正の整数である、ステップと、
前記電子デバイスが、前記第１のキャプションの前記色値と前記Ｎ個の第１のサブ領域の色値とに基づいて、前記第１の値が前記第１の閾値未満であると決定するステップと
を含む、請求項３に記載の方法。

【請求項5】

前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成する前記ステップは、具体的には、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記Ｎ個の第１のサブ領域の前記色値に基づいて、前記第１のマスクの色値を決定するステップと、
前記電子デバイスが、前記第１のマスクの前記色値に基づいて前記第１のマスクを生成するステップと
を含む、請求項４に記載の方法。

【請求項6】

前記電子デバイスが、前記第１の値が第１の閾値未満であると決定する前記ステップは、具体的には、
前記電子デバイスが、前記第１の領域をＮ個の第１のサブ領域に分割するステップであって、Ｎは正の整数である、ステップと、
前記電子デバイスが、隣接する第１のサブ領域の色値の間の差分値に基づいて、前記隣接する第１のサブ領域を第２のサブ領域に結合するかどうかを決定するステップと、
前記隣接する第１のサブ領域の前記色値の間の前記差分値が第２の閾値未満であるとき、前記電子デバイスが、前記隣接する第１のサブ領域を前記第２のサブ領域に結合するステップと、
前記電子デバイスが、前記第１のキャプションの前記色値と前記第２のサブ領域の色値とに基づいて、前記第１の値が前記第１の閾値未満であると決定するステップと
を含む、請求項３に記載の方法。

【請求項7】

前記第１の領域は、Ｍ個の第２のサブ領域を含み、Ｍは、正の整数であり、Ｎ以下であり、前記第２のサブ領域は、１つ又は複数の第１のサブ領域を含み、各第２のサブ領域に含まれる第１のサブ領域の数は、別の第２のサブ領域に含まれる第１のサブ領域の数と同じであるか、又は異なる、請求項６に記載の方法。

【請求項8】

前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成する前記ステップは、具体的には、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記Ｍ個の第２のサブ領域の色値に基づいて、Ｍ個の第１のサブマスクの色値を順次計算するステップと、
前記電子デバイスが、前記Ｍ個の第１のサブマスクの前記色値に基づいて前記Ｍ個の第１のサブマスクを生成するステップであって、前記Ｍ個の第１のサブマスクは、前記第１のサブマスクに結合される、ステップと
を含む、請求項７に記載の方法。

【請求項9】

前記方法は、
前記電子デバイスが第３のインターフェースを表示するとき、前記第３のインターフェースは、第３のピクチャと前記第１のキャプションとを含み、前記第１のキャプションは、少なくとも第１の部分と第２の部分とを含み、前記第１の部分に対して第２のサブマスクが表示され、前記第２の部分に対して第３のサブマスクが表示されるか又は前記第３のサブマスクが表示されず、前記第２のサブマスクの色値は前記第３のサブマスクの色値とは異なる、
を更に含む、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記第１のマスクの表示位置は、前記第１のキャプションの前記表示位置に基づいて決定される、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記第１のマスクの前記色値と前記第１のキャプションの前記色値との間の差分値は、前記第１の値よりも大きい、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記第１のピクチャ及び前記第２のピクチャにおいて、前記電子デバイスの表示画面に対する前記第１のキャプションの前記表示位置は、固定されていないか、又は固定されており、前記第１のキャプションは、連続的に表示される文字又は記号のセグメントである、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記電子デバイスが前記第１のインターフェースを表示する前に、前記方法は、
前記電子デバイスが、前記第１のマスクの透明度を１００％未満に設定するステップ
を更に含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

前記電子デバイスが前記第２のインターフェースを表示する前に、前記方法は、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記第２の領域の前記色値に基づいて第２のマスクを生成し、前記第１のキャプションを前記第２のマスク上に重ね合わせるステップであって、前記第２のマスクの色値は予め設定された色値であり、前記第２のマスクの透明度は１００％である、ステップ、
又は、
前記電子デバイスが、前記第２のマスクの生成をスキップするステップ
を更に含む、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

１つ又は複数のプロセッサと１つ又は複数のメモリとを備える電子デバイスであって、前記１つ又は複数のメモリは、前記１つ又は複数のプロセッサに結合され、前記１つ又は複数のメモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記１つ又は複数のプロセッサが前記コンピュータ命令を実行すると、前記電子デバイスは、請求項１から１４のいずれか一項に記載の方法を実行することが可能になる、電子デバイス。

【請求項16】

コンピュータプログラムを記憶するコンピュータ記憶媒体であって、前記コンピュータプログラムはプログラム命令を含み、前記プログラム命令が電子デバイス上で実行されると、前記電子デバイスは、請求項１から１４のいずれか一項に記載の方法を実行することが可能になる、コンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年６月３０日に中国国家知識産権局に出願され、「CAPTION DISPLAY METHOD AND RELATED DEVICE」と題する中国特許出願第２０２１１０７４２３９２．９号の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

【0002】

［技術分野］
本出願は、端末技術の分野に関し、特に、キャプション表示方法及び関連装置に関する。

【背景技術】

【0003】

電子製品の急速な発展に伴い、携帯電話、タブレット型コンピュータ、及びスマートテレビなどの電子デバイスは、人々の生活の中でユビキタスになっており、ビデオ再生もまた、これらの電子デバイスの重要なアプリケーション機能になっている。電子デバイスがビデオを再生する際に、再生されるビデオに関連するキャプションがビデオ再生ウィンドウに表示されるアプリケーションシナリオも比較的普及している。例えば、音声と同期されたキャプションをビデオ再生ウィンドウに表示したり、ユーザによって入力されたキャプションをビデオ再生ウィンドウに表示したりして、ビデオ対話を向上させる。

【0004】

しかしながら、ビデオが再生されると同時にキャプションが表示される前述のアプリケーションシナリオでは、ビデオの色及び輝度がキャプションの色を覆い隠す場合、又はキャプションの色及び輝度がキャプションの表示位置におけるビデオの色及び輝度と高度に一致する場合、例えば、高輝度のシナリオでいくつかの明るい色のキャプションが表示される場合、又は雪のシナリオでいくつかの白いキャプションが表示される場合、キャプションが十分に認識できず、ユーザにはっきりと見えにくく、ユーザエクスペリエンスが低下する。

【発明の概要】

【0005】

本出願の一実施形態は、キャプション表示方法及び関連デバイスを提供し、ユーザがビデオを見るプロセスにおいてキャプション認識度（caption recognition）が低いという問題を解決して、ユーザエクスペリエンスを向上させる。

【0006】

第１の態様によれば、本出願の一実施形態は、キャプション表示方法を提供する。この方法は、以下を含む：電子デバイスが、第１のビデオを再生する。電子デバイスが第１のインターフェースを表示するとき、第１のインターフェースは、第１のピクチャと第１のキャプションとを含み、第１のキャプションは、第１のマスクを背景として使用することによってフローティング方式で第１のピクチャの第１の領域上に表示され、第１の領域は、第１のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第１のキャプションの色値と第１の領域の色値との間の差分値は、第１の値である。電子デバイスが第２のインターフェースを表示するとき、第２のインターフェースは、第２のピクチャと第１のキャプションとを含み、第１のキャプションに対してマスクは表示されず、第１のキャプションは、第２のピクチャの第２の領域上にフローティング方式で表示され、第２の領域は、第２のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第１のキャプションの色値と第２の領域の色値との間の差分値は、第２の値であり、第２の値は、第１の値よりも大きい。第１のピクチャは、第１のビデオ内の１つのピクチャであり、第２のピクチャは、第１のビデオ内の別のピクチャである。

【0007】

本出願のこの実施形態では、前述のキャプション表示方法を実施することによって、電子デバイスは、キャプション認識度が低い場合にキャプションに対してマスクを設定し、キャプションの色を変更することなく、キャプション認識度を高めることができる。

【0008】

可能な実装形態では、電子デバイスが第１のピクチャを表示する前に、方法は、以下を更に含む：電子デバイスは、第１のビデオファイル及び第１のキャプションファイルを取得し、ここで、第１のビデオファイル及び第１のキャプションファイルは同じ時間情報を搬送する。電子デバイスは、第１のビデオファイルに基づいて第１のビデオフレームを生成し、ここで、第１のビデオフレームは、第１のピクチャを生成するために使用される。電子デバイスは、第１のキャプションファイルに基づいて第１のキャプションフレームを生成し、第１のキャプションフレームから第１のキャプションの色値及び表示位置を取得し、ここで、第１のキャプションフレームで搬送される時間情報は、第１のビデオフレームで搬送される時間情報と同じである。電子デバイスは、第１のキャプションの表示位置に基づいて第１の領域を決定する。電子デバイスは、第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成する。電子デバイスは、第１のキャプションフレーム内の第１のマスク上に第１のキャプションを重ね合わせて第２のキャプションフレームを生成し、第２のキャプションフレームと第１のビデオフレームとを結合する。このようにして、電子デバイスは、再生されるべきビデオファイル及び表示されるべきキャプションファイルを取得し、次いで、ビデオファイルを復号してビデオフレームを取得し、キャプションファイルを復号してキャプションフレームを取得し得る。その後、電子デバイスは、キャプションフレームからキャプション色域情報、キャプション位置情報などを抽出し、キャプション位置情報に基づいて、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置における色域情報を抽出し、キャプション色域情報と、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置の色域情報とに基づいてキャプション認識度を計算し得る。更に、電子デバイスは、キャプション認識度に基づいて、キャプションに対応するマスクの色値を計算して、マスクフレームを有するキャプションフレームを生成し、次いで、ビデオフレームとマスクを有するキャプションフレームとを結合し、結合されたビデオフレームをレンダリングする。

【0009】

可能な実装形態では、電子デバイスが第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成する前に、方法は、以下を更に含む：電子デバイスは、第１の値が第１の閾値未満であると決定する。このようにして、電子デバイスは、第１の値が第１の閾値未満であると決定することによって、キャプション認識度が低いことを更に決定し得る。

【0010】

可能な実装形態では、電子デバイスが、第１の値が第１の閾値未満であると決定することは、具体的には、以下を含む：電子デバイスは、第１の領域をＮ個の第１のサブ領域に分割し、ここで、Ｎは正の整数である。電子デバイスは、第１のキャプションの色値とＮ個の第１のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると決定する。このようにして、電子デバイスは、第１のキャプションの色値とＮ個の第１のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると決定し得る。

【0011】

可能な実装形態では、電子デバイスが、第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成することは、具体的には、以下を含む：電子デバイスは、第１のキャプションの色値又はＮ個の第１のサブ領域の色値に基づいて、第１のマスクの色値を決定する。電子デバイスは、第１のマスクの色値に基づいて第１のマスクを生成する。このようにして、電子デバイスは、第１のキャプションの色値又はＮ個の第１のサブ領域の色値に基づいて第１のマスクの色値を決定し、第１のキャプションに対する第１のマスクを更に生成し得る。

【0012】

可能な実装形態では、電子デバイスが、第１の値が第１の閾値未満であると決定することは、以下を具体的に含む：電子デバイスは、第１の領域をＮ個の第１のサブ領域に分割し、ここで、Ｎは正の整数である。電子デバイスは、隣接する第１のサブ領域の色値の間の差分値に基づいて、隣接する第１のサブ領域を第２のサブ領域に結合するかどうかを決定する。隣接する第１のサブ領域の色値間の差分値が第２の閾値未満である場合、電子デバイスは、隣接する第１のサブ領域を第２のサブ領域に結合する。電子デバイスは、第１のキャプションの色値と第２のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると決定する。このようにして、電子デバイスは、近い色値を有する第１のサブ領域を結合して第２のサブ領域を生成し、第１のキャプションの色値と第２のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると更に決定し得る。

【0013】

可能な実装形態では、第１の領域は、Ｍ個の第２のサブ領域を含み、Ｍは、正の整数であり、Ｎ以下であり、第２のサブ領域は、１つ又は複数の第１のサブ領域を含み、各第２のサブ領域に含まれる第１のサブ領域の数は、別の第２のサブ領域に含まれる第１のサブ領域の数と同じであるか、又は異なる。このようにして、電子デバイスは、第１の領域をＭ個の第２のサブ領域に分割し得る。

【0014】

可能な実装形態では、電子デバイスが、第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成することは、具体的には、以下を含む：電子デバイスは、第１のキャプションの色値又はＭ個の第２のサブ領域の色値に基づいて、Ｍ個の第１のサブマスクの色値を順次計算する。電子デバイスは、Ｍ個の第１のサブマスクの色値に基づいてＭ個の第１のサブマスクを生成し、ここで、Ｍ個の第１のサブマスクは、第１のサブマスクに結合される。このようにして、電子デバイスは、第１のキャプションに対するＭ個の第１のサブマスクを生成し得る。

【0015】

可能な実装形態では、方法は、以下を更に含む：電子デバイスが第３のインターフェースを表示するとき、第３のインターフェースは、第３のピクチャと第１のキャプションとを含み、第１のキャプションは、少なくとも第１の部分と第２の部分とを含み、第１の部分に対して第２のサブマスクが表示され、第２の部分に対して第３のサブマスクが表示されるか又は第３のサブマスクが表示されず、第２のサブマスクの色値は第３のサブマスクの色値とは異なる。このようにして、電子デバイスは、複数のサブマスクに対応するキャプションを表示し得る。

【0016】

可能な実装形態では、第１のマスクの表示位置は、第１のキャプションの表示位置に基づいて決定される。このようにして、第１のマスクの表示位置は、第１のキャプションの表示位置と重なり得る。

【0017】

可能な実装形態では、第１のマスクの色値と第１のキャプションの色値との間の差分値は、第１の値よりも大きい。このようにして、キャプション認識度を高めることができる。

【0018】

可能な実装形態では、第１のピクチャ及び第２のピクチャにおいて、電子デバイスの表示画面に対する第１のキャプションの表示位置は、固定されていないか、又は固定されており、第１のキャプションは、連続的に表示される文字又は記号のセグメントである。このようにして、第１のキャプションは、弾幕コメント（bullet comment）、又は音声と同期されたキャプションであり得、第１のキャプションは、表示画面上に表示される全てのキャプションではなく、１つのキャプションである。

【0019】

可能な実装形態では、電子デバイスが第１のインターフェースを表示する前に、方法は、以下を含む：電子デバイスは、第１のマスクの透明度を１００％未満に設定する。このようにして、第１のマスクが位置する領域に対応するビデオフレームが依然としてある程度可視であることを保証することができる。

【0020】

可能な実装形態では、電子デバイスが第２のインターフェースを表示する前に、方法は以下を含む：電子デバイスは、第１のキャプションの色値又は第２の領域の色値に基づいて第２のマスクを生成し、第１のキャプションを第２のマスクに重ね合わせ、ここで、第２のマスクの色値は予め設定された色値であり、第２のマスクの透明度は１００％である。代替的に、電子デバイスは、第２のマスクの生成をスキップする。このようにして、認識度の高いキャプションについて、電子デバイスは、透明度が１００％であるマスクをキャプションに対して設定してもよいし、キャプションに対してマスクを設定してもよい。

【0021】

第２の態様によれば、本出願の一実施形態は、電子デバイスを提供する。電子デバイスは、１つ又は複数のプロセッサと１つ又は複数のメモリとを含み、１つ又は複数のメモリは、１つ又は複数のプロセッサに結合され、１つ又は複数のメモリは、コンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードは、コンピュータ命令を含み、１つ又は複数のプロセッサがコンピュータ命令を実行すると、電子デバイスは、第１の態様の任意の可能な実装形態における方法を実行することが可能になる。

【0022】

第３の態様によれば、本出願の一実施形態は、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムはプログラム命令を含み、プログラム命令が電子デバイス上で実行されると、電子デバイスは、第１の態様の任意の可能な実装形態による方法を実行することが可能になる。

【0023】

第４の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第１の態様の任意の可能な実装形態による方法を実行することが可能になる。

【図面の簡単な説明】

【0024】

【図1A】本出願の一実施形態によるキャプション表示方法の概略的なフローチャートである。

【図1B】本出願の一実施形態によるキャプション表示方法の概略フローチャートである。

【図2A】本出願の一実施形態によるユーザインターフェースのグループの概略図である。

【図2B】本出願の一実施形態によるユーザインターフェースのグループの概略図である。

【図2C】本出願の一実施形態によるユーザインターフェースのグループの概略図である。

【図3A】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図3B】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図3C】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図3D】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図4】本出願の一実施形態によるキャプションフレームの概略図である。

【図5】本出願の一実施形態による、キャプションに対応するマスクを生成する原理の概略図である。

【図6A】本出願の一実施形態による、マスクを有するキャプションフレームの概略図である。

【図6B】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図6C】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図7A】本出願の一実施形態による、キャプションに対応するマスクを生成するための方法の概略フローチャートである。

【図7B】本出願の一実施形態による、キャプションに対応するマスクを生成する原理の別の概略図である。

【図8A】本出願の一実施形態による、マスクを有する別のキャプションフレームの概略図である。

【図8B】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図8C】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図9】本出願の一実施形態による、電子デバイスの構造の概略図である。

【図10】本出願の一実施形態による、電子デバイスのソフトウェア構造の概略図である。

【図11】本出願の一実施形態による、別の電子デバイスの構造の概略図である。

【図12】本出願の一実施形態による、別の電子デバイスの構造の概略図である。

【発明を実施するための形態】

【0025】

以下では、本出願の実施形態における添付図面を参照して、本出願の実施形態における技術的解決策について明確且つ完全に説明する。本出願の実施形態の説明では、別段の指定がない限り、「／」は「又は」関係を示す。例えば、Ａ／ＢはＡ又はＢを表し得る。本明細書における「及び／又は（and/or）」は、関連するオブジェクトを説明するための単なる関連関係であり、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、以下の３つの場合を表し得る：Ａのみが存在する、ＡとＢの両方が存在する、Ｂのみが存在する。加えて、本出願の実施形態の説明では、「複数の（a plurality of）」は「２つ以上の（two or more）」を意味する。

【0026】

本出願の明細書、特許請求の範囲、及び添付図面において、「第１の」、「第２の」などの用語は、異なる物体を区別することを意図するものであり、特定の順序を示すことを意図するものではないことを理解されたい。加えて、「含む（include）」、「有する（have）」などの用語、及びそれらの任意の他の変形は、非排他的な包含をカバーすることを意図するものである。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、列挙されたステップ又はユニットに限定されず、任意選択で、列挙されていないステップ又はユニットを更に含むか、又は任意選択で、プロセス、方法、製品、又はデバイスの別の固有のステップ又はユニットを更に含む。

【0027】

本出願で言及される「実施形態」は、実施形態を参照して説明される特定の特性、構造、又は特徴が、本出願の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所に示される表現は、必ずしも同じ実施形態を意味するとは限らず、他の実施形態から排他的な独立した又は任意の実施形態ではない。本出願において説明される実施形態は、他の実施形態と組み合わされ得ることが、当業者によって明示的及び暗示的に理解される。

【0028】

理解を容易にするために、以下ではまず、本出願の実施形態におけるいくつかの関連する概念について説明する。

【0029】

１．ビデオ復号：

【0030】

ビデオファイルのバイナリデータが読み取られ、ビデオファイルの圧縮アルゴリズムに従って解釈することによって、ビデオ再生のための画像フレーム（ビデオフレームと呼ばれることもある）のデータが取得されるプロセス。

【0031】

２．キャプション：

【0032】

ビデオ再生中にビデオ再生ウィンドウに表示され、ビデオファイルとは無関係であるテキスト及び記号情報。

【0033】

３．ビデオ再生：

【0034】

ビデオ復号及びビデオレンダリングなどの動作がビデオファイルに対して実行された後に、画像のグループ及び対応する音声情報をビデオ再生ウィンドウに時系列で表示するプロセス。

【0035】

４．弾幕コメント：

【0036】

ビデオ再生クライアント（又はビデオアプリケーションと呼ばれる）上でユーザによって入力され、ビデオ再生のための画像フレームの、ユーザによって入力された時間に対応する位置に基づいて、入力ユーザのビデオ再生ウィンドウに、又はビデオ再生クライアント上の別のユーザのビデオ再生ウィンドウに表示され得るキャプション。

【0037】

電子製品の急速な発展に伴い、携帯電話、タブレット型コンピュータ、及びスマートテレビなどの電子デバイスは、人々の生活の中でユビキタスになっており、ビデオ再生もまた、これらの電子デバイスの重要なアプリケーション機能になっている。電子デバイスがビデオを再生する際に、再生されるビデオに関連するキャプションがビデオ再生ウィンドウに表示されるアプリケーションシナリオも比較的普及している。例えば、音声と同期されたキャプションをビデオ再生ウィンドウに表示したり、ユーザによって入力されたキャプション（すなわち、弾幕コメント）をビデオ再生ウィンドウに表示したりして、ビデオ対話を向上させる。

【0038】

音声と同期されたキャプションをビデオ再生ウィンドウで、通常はビデオ再生ウィンドウのより低い位置に、表示するアプリケーションシナリオでは、キャプションのタイムスタンプとビデオ内で再生される画像フレームのタイムスタンプとの間でマッチングが実行され、キャプションとビデオ内で再生される対応する画像フレームとが合成される。具体的には、キャプションは、対応するビデオフレーム上に重ね合わされ、キャプションとビデオフレームとの重なり位置は比較的固定されている。

【0039】

ユーザによって入力されたキャプション（すなわち、弾幕コメント）をビデオ再生ウィンドウに表示するアプリケーションシナリオでは、ビデオ再生プロセス中に左から右に又は右から左に飛ぶキャプションがビデオ再生ウィンドウに複数存在し、キャプションとビデオフレームとの重なり位置は比較的固定されていない。

【0040】

いくつかの実際のアプリケーションシナリオでは、ビデオ再生の楽しさを向上させるために、ビデオ再生プラットフォームは、通常、ユーザによってキャプションの色を選択する能力をユーザに提供する。音声と同期されたキャプションをビデオ再生ウィンドウに表示するアプリケーションシナリオでは、キャプションの色は、通常、システムのデフォルト色であり、ビデオを再生するとき、ユーザは、好ましいキャプションの色を選択し得る。この場合、電子デバイスは、ユーザによって選択された色に基づいてキャプションをビデオ再生ウィンドウに表示する。弾幕コメントをビデオ再生ウィンドウに表示するアプリケーションシナリオでは、弾幕コメントを送信するユーザは、送信されるべき弾幕コメントの色を選択し得、別のユーザによって見られる弾幕コメントの色は、弾幕コメントを送信するユーザによって選択された弾幕コメントの色と一致する。従って、ユーザが弾幕コメントを見るとき、同じビデオフレーム内に表示される弾幕コメントの色は異なる場合がある。

【0041】

前述の２つのアプリケーションシナリオを実施するために、本出願の一実施形態は、キャプション表示方法を提供する。電子デバイスは、まず、再生されるべきビデオファイルと、ビデオ再生ウィンドウに表示されるべきキャプションファイルとを取得し得、次いで、それぞれ、ビデオファイルに対してビデオ復号を実行してビデオフレームを取得し、キャプションファイルに対してキャプション復号を実行してキャプションフレームを取得し得る。次いで、電子デバイスは、時系列に基づいてビデオフレームとキャプションフレームとを位置合わせ及びマッチングして、最終的な表示されるべきビデオフレームを合成し、それをビデオフレームキューに記憶し得る。その後、電子デバイスは、時系列に基づいて、表示されるべきビデオフレームを読み取ってレンダリングし、最終的に、レンダリングされたビデオフレームをビデオ再生ウィンドウに表示し得る。

【0042】

以下では、前述のキャプション表示方法の方法手順について詳細に説明する。

【0043】

図１Ａ及び図１Ｂは、本出願の一実施形態によるキャプション表示方法の方法手順の一例を示す。

【0044】

図１Ａ及び図１Ｂに示すように、本方法は、ビデオ再生機能を有する電子デバイス１００に適用され得る。以下では、方法の特定のステップについて詳細に説明する。

【0045】

フェーズ１：ビデオ情報ストリーム及びキャプション情報ストリームの取得

【0046】

Ｓ１０１及びＳ１０２：電子デバイス１００は、ユーザによるビデオアプリケーション上でビデオを再生する操作を検出し、この操作に応答して、電子デバイス１００は、ビデオ情報ストリーム及びキャプション情報ストリームを取得し得る。

【0047】

具体的には、ビデオアプリケーションは、電子デバイス１００にインストールされ得る。ユーザによるビデオアプリケーション上でビデオを再生する操作を検出した後、この操作に応答して、電子デバイス１００は、ユーザが再生したいビデオに対応するビデオ情報ストリーム（又はビデオファイルと呼ばれる）及びキャプション情報ストリーム（又はキャプションファイルと呼ばれる）を取得し得る。

【0048】

例えば、図２Ａは、電子デバイス１００にインストールされたアプリケーションを表示するために電子デバイス１００によって提供されるユーザインターフェース（user interface、ＵＩ）を示す。電子デバイス１００は、ユーザインターフェース２１０内の「ビデオ」アプリケーションオプション２１１上でユーザによって実行された操作（例えば、タップ操作）を検出し得る。この操作に応答して、電子デバイス１００は、図２Ｂに示される例示的なユーザインターフェース２２０を表示し得る。ユーザインターフェース２２０は、「ビデオ」アプリケーションのメインインターフェースであり得る。電子デバイス１００は、ユーザインターフェース２２０内のビデオ再生オプション２２１上でユーザによって実行された操作（例えば、タップ操作）を検出し、この操作に応答して、電子デバイス１００は、ビデオ情報ストリームと、ビデオに対応するキャプション情報ストリームとを取得し得る。

【0049】

ビデオ情報ストリーム及びキャプション情報ストリームは、電子デバイス１００がビデオアプリケーションのサーバーからダウンロードしたファイルであってもよいし、電子デバイス１００から取得したファイルであってもよい。ビデオファイルとキャプションファイルの両方が時間情報を搬送する。

【0050】

図２Ａ及び図２Ｂは、電子デバイス１００上の例示的なユーザインターフェースを示すにすぎず、本出願のこの実施形態に対する限定を構成するものではないことが理解され得る。

【0051】

フェーズ２：ビデオの復号

【0052】

Ｓ１０３：電子デバイス１００上のビデオアプリケーションは、ビデオ情報ストリームを電子デバイス１００上のビデオ復号モジュールに送信する。

【0053】

具体的には、ビデオ情報ストリームを取得した後、ビデオアプリケーションは、ビデオ情報ストリームをビデオ復号モジュールに送信し得る。

【0054】

Ｓ１０４及びＳ１０５：電子デバイス１００上のビデオ復号モジュールは、ビデオ情報ストリームを復号してビデオフレームを生成し、ビデオフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0055】

具体的には、ビデオアプリケーションによって送信されたビデオ情報ストリームを受信した後、ビデオ復号モジュールは、ビデオ情報ストリームを復号してビデオフレームを生成し得る。ビデオフレームは、ビデオ再生プロセスにおける全てのビデオフレームであり得る。ビデオフレームは、画像フレームと呼ばれることもあり、各ビデオフレームは、ビデオフレームの時間情報（すなわち、タイムスタンプ）を搬送し得る。次いで、ビデオ復号モジュールは、復号を通じて生成されたビデオフレームをビデオフレーム合成モジュールに送信し、その後、表示されるべきビデオフレームを生成し得る。

【0056】

ビデオ復号モジュールは、従来技術のビデオ復号方法を使用することによってビデオ情報ストリームを復号し得る。これは、本出願のこの実施形態では限定されない。ビデオ復号方法の具体的な実装については、ビデオ復号に関する技術文書を参照されたい。詳細はここでは説明しない。

【0057】

フェーズ３：キャプションの復号

【0058】

Ｓ１０６：電子デバイス１００上のビデオアプリケーションは、キャプション情報ストリームを電子デバイス１００上のキャプション復号モジュールに送信する。

【0059】

具体的には、キャプション情報ストリームを取得した後、ビデオアプリケーションは、キャプション情報ストリームをキャプション復号モジュールに送信し得る。

【0060】

Ｓ１０７及びＳ１０８：電子デバイス１００上のキャプション復号モジュールは、キャプション情報ストリームを復号してキャプションフレームを生成し、キャプションフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0061】

具体的には、ビデオアプリケーションによって送信されたキャプション情報ストリームを受信した後、キャプション復号モジュールは、キャプション情報ストリームを復号してキャプションフレームを生成し得る。キャプションフレームは、ビデオ再生プロセスにおける全てのキャプションフレームであり得る。各キャプションフレームは、キャプションテキスト、キャプションテキストの表示位置、キャプションテキストのフォント色、キャプションテキストのフォントフォーマットなどを含み得、キャプションフレームの時間情報（すなわち、タイムスタンプ）を更に搬送し得る。次いで、キャプション復号モジュールは、復号を通じて生成されたキャプションフレームをビデオフレーム合成モジュールに送信し、その後、表示されるべきビデオフレームを生成し得る。

【0062】

キャプション復号モジュールは、従来技術のキャプション復号方法を使用することによってキャプション情報ストリームを復号し得る。これは、本出願のこの実施形態では限定されない。キャプション復号方法の具体的な実装については、キャプション復号に関連する技術文書を参照されたい。詳細はここでは説明しない。

【0063】

フェーズ２におけるビデオ復号のステップが最初に実行され、次いでフェーズ３におけるキャプション復号のステップが実行される例は、単に、本出願のこの実施形態において使用されることに留意されたい。いくつかの実施形態では、フェーズ３におけるキャプション復号のステップが最初に実行されてから、フェーズ２におけるビデオ復号のステップが実行されてもよいし、フェーズ２におけるビデオ復号のステップ及びフェーズ３におけるキャプション復号のステップが同時に実行されてもよい。これは、本出願のこの実施形態では限定されない。

【0064】

フェーズ４：ビデオフレームの合成、レンダリング、及び表示

【0065】

Ｓ１０９及びＳ１１０：電子デバイス１００上のビデオフレーム合成モジュールは、受信したビデオフレームとキャプションフレームとを重ね合わせて結合して、表示されるべきビデオフレームを生成し、表示されるべきビデオフレームを電子デバイス１００上のビデオフレームキューに送信する。

【0066】

具体的には、ビデオフレーム合成モジュールは、ビデオフレームに対応する時間情報とキャプションフレームに対応する時間情報とに基づいてマッチングを実行し、マッチングが完了した後にキャプションフレームを対応するビデオフレームに重ね合わせ、それらを結合して、表示されるべきビデオフレームを生成し得る。その後、ビデオフレーム合成モジュールは、表示されるべきビデオフレームをビデオフレームキューに送信し得る。

【0067】

Ｓ１１１からＳ１１３：ビデオレンダリングモジュールは、表示されるべきビデオフレームを時系列に基づいてビデオフレームキューから読み出し、表示されるべきビデオフレームを時系列に基づいてレンダリングして、レンダリングされたビデオフレームを生成し得る。

【0068】

具体的には、ビデオレンダリングモジュールは、表示されるべきビデオフレームをビデオフレームキューからリアルタイムで（又はある時間期間の間隔で）取得し得る。ビデオフレーム合成モジュールが、表示されるべきビデオフレームをビデオフレームキューに送信した後、ビデオレンダリングモジュールは、表示されるべきビデオフレームを時系列に基づいてビデオフレームキューから読み出し、表示されるべきビデオフレームをレンダリングして、レンダリングされたビデオフレームを生成し得る。次いで、ビデオレンダリングモジュールは、レンダリングされたビデオフレームをビデオアプリケーションに送信し得る。

【0069】

ビデオレンダリングモジュールは、従来技術のビデオレンダリング方法を使用することによって、表示されるべきビデオフレームをレンダリングし得る。これは、本出願のこの実施形態では限定されない。ビデオレンダリング方法の具体的な実装については、ビデオレンダリングに関する技術文書を参照されたい。詳細はここでは説明しない。

【0070】

Ｓ１１４：電子デバイス１００は、レンダリングされたビデオフレームを表示する。

【0071】

具体的には、ビデオレンダリングモジュールによって送信されたレンダリングされたビデオフレームを受信した後、電子デバイス１００上のビデオアプリケーションは、レンダリングされたビデオフレームを、電子デバイス１００の表示画面（すなわち、ビデオ再生ウィンドウ）に表示し得る。

【0072】

例えば、図２Ｃは、電子デバイス１００が図１Ａ及び図１Ｂに示されるキャプション表示方法を実行した後に表示される、レンダリングされたビデオフレーム内のフレームのピクチャであり得る。キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、キャプション「認識度の高いキャプション」、及びキャプション「不明瞭な色のキャプション」は、全て弾幕コメントであり、弾幕コメントの表示位置は、電子デバイス１００の表示画面に対して固定されていない。キャプション「音声と同期されたキャプション」の表示位置は、電子デバイス１００の表示画面に対して固定されている。図２Ｃから容易に分かるように、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の両側とビデオの色との間の色の差は小さいので、キャプション認識度が低くなり、その結果、ユーザはこのキャプションをはっきりと見ることができない。キャプション「認識度の高いキャプション」及び「音声と同期されたキャプション」とビデオの色との色の差は比較的大きく、キャプションの認識度が高いので、ユーザはこれらのキャプションをはっきりと見ることができる。キャプション「不明瞭な色のキャプション」とビデオの色との間の色の差は小さくないが、ビデオの輝度が比較的高いので、この場合もキャプション認識度が低くなり、ユーザはこのキャプションをはっきりと見ることができない。

【0073】

図２Ｃから分かるように、図１Ａ及び図１Ｂに示されるキャプション表示方法を使用した場合、ビデオを再生しながらキャプションを表示するアプリケーションシナリオにおいて、キャプションの色がキャプション表示位置でのビデオの色及び輝度と大きく重なると、キャプション認識度が低くなり、ユーザがキャプションをはっきりと見ることが困難になるので、ユーザエクスペリエンスが低下する。

【0074】

前述の問題を解決するために、本出願の一実施形態は、別のキャプション表示方法を提供する。電子デバイスは、最初に、再生されるべきビデオファイルと、ビデオ再生ウィンドウに表示されるべきキャプションファイルとを取得し、次いで、ビデオファイルに対してビデオ復号を実行してビデオフレームを取得し、キャプションファイルに対してキャプション復号を実行してキャプションフレームを取得し得る。次いで、電子デバイスは、キャプションフレームからキャプション色域情報、キャプション位置情報などを抽出し、キャプション位置情報に基づいて、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置における色域情報を抽出し、次いで、キャプション色域情報と、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置における色域情報とに基づいて、キャプション認識度を計算し得る。キャプション認識度が比較的低い場合、電子デバイスは、キャプションに対してマスクを追加し、キャプション認識度に基づいてマスクの色値及び透明度を計算して、マスク付きのキャプションフレームを生成し、時系列に基づいてビデオフレームとマスクを有するキャプションフレームとの間の位置合わせ及びマッチングを実行して、最終的な表示されるべきビデオフレームを合成し得る。電子デバイスは、表示されるべきビデオフレームをビデオキューにバッファし、次いで、表示されるべきビデオフレームを時系列に基づいて読み出してレンダリングし、最後に、レンダリングされたビデオフレームをビデオ再生ウィンドウに表示する。このようにして、ユーザによって選択されたキャプションの色を変更することなく、キャプションマスクの色及び透明度を調整することによって、キャプション認識度が低いという問題を解決することができる。加えて、これにより、キャプションによるビデオコンテンツの遮蔽が低減され、ビデオコンテンツの特定の可視性を確保することができ、それにより、ユーザエクスペリエンスを向上させることができる。

【0075】

以下では、本出願の一実施形態において提供される別のキャプション表示方法について説明する。

【0076】

図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄは、本出願の一実施形態による別のキャプション表示方法の方法手順の一例を示す。

【0077】

図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄに示すように、本方法は、ビデオ再生機能を有する電子デバイス１００に適用され得る。以下では、方法の特定のステップについて詳細に説明する。

【0078】

フェーズ１：ビデオ情報ストリーム及びキャプション情報ストリームの取得

【0079】

Ｓ３０１及びＳ３０２：電子デバイス１００は、ユーザによるビデオアプリケーション上でビデオを再生する操作を検出し、この操作に応答して、電子デバイス１００は、ビデオ情報ストリーム及びキャプション情報ストリームを取得し得る。

【0080】

ステップＳ３０１及びＳ３０２の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０１及びＳ１０２の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0081】

フェーズ２：ビデオの復号

【0082】

Ｓ３０３：電子デバイス１００上のビデオアプリケーションは、ビデオ情報ストリームを電子デバイス１００上のビデオ復号モジュールに送信する。

【0083】

Ｓ３０４及びＳ３０５：電子デバイス１００上のビデオ復号モジュールは、ビデオ情報ストリームを復号してビデオフレームを生成し、ビデオフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0084】

ステップＳ３０３からステップＳ３０５の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０３からステップＳ１０５の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0085】

フェーズ３：キャプションの復号

【0086】

Ｓ３０６：電子デバイス１００上のビデオアプリケーションは、キャプション情報ストリームを電子デバイス１００上のキャプション復号モジュールに送信する。

【0087】

Ｓ３０７：電子デバイス１００上のキャプション復号モジュールは、キャプション情報ストリームを復号してキャプションフレームを生成する。

【0088】

ステップＳ３０６及びＳ３０７の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０６及びＳ１０７の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0089】

図４は、キャプション復号モジュールによってキャプション情報ストリームを復号することによって生成されたキャプションフレームの一例を示す。

【0090】

図４に示すように、矩形の実線ボックスの内側の領域は、キャプションフレーム表示領域（又は、ビデオ再生ウィンドウ領域と呼ばれる）を表し得、ビデオフレーム表示領域と一致し得る。この領域には、例えば、「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」、「不明瞭な色のキャプション」、「音声と同期されたキャプション」など、１つ又は複数のキャプションが表示され得る。「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」などはそれぞれ、１つのキャプションと呼ばれることがあり、この領域に表示される全てのキャプションはキャプショングループと呼ばれることがあり、例えば、「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」、「不明瞭な色のキャプション」、「音声と同期されたキャプション」などのキャプションのグループはキャプショングループと呼ばれることがある。

【0091】

図４に示される各キャプションの外側の矩形の破線ボックスは、各キャプションの位置を識別するために使用される単なる補助要素であり、ビデオ再生プロセスにおいて表示されなくてもよい。

【0092】

前述の説明とキャプション及びキャプショングループの説明に基づいて、図２Ｃに示すように、図２Ｃに示されるピクチャには４つのキャプションが表示され、それぞれ「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」、「不明瞭な色のキャプション」、「音声と同期されたキャプション」であることが容易に理解できる。これらの４つのキャプションはキャプショングループを形成する。

【0093】

Ｓ３０８：電子デバイス１００上のキャプション復号モジュールは、キャプションフレームから各キャプションのキャプション位置情報、キャプション色域情報などを抽出して、キャプショングループ情報を生成する。

【0094】

具体的には、キャプションフレームを生成した後、キャプション復号モジュールは、キャプションフレームから各キャプションのキャプション位置情報、キャプション色域情報などを抽出して、キャプショングループ情報を生成し得る。キャプション位置情報は、キャプションフレーム表示領域における各キャプションの表示位置であり、キャプション色域情報は、各キャプションの色値を含み得る。キャプショングループ情報は、キャプションフレーム内の全てのキャプションのキャプション位置情報及びキャプション色域情報を含み得る。

【0095】

任意選択で、キャプション色域情報は、キャプションの輝度などの情報も含み得る。

【0096】

以下では、キャプション位置情報及びキャプション色域情報を抽出するプロセスについて詳細に説明する。

【0097】

１．キャプション位置情報を抽出するプロセス：

【0098】

キャプションの表示位置領域は、図４に示される、キャプションを正確に覆うことができる矩形の破線ボックスの内部領域、又はキャプションを覆うことができる任意の形状の別の内部領域であり得る。これは、本出願のこの実施形態では限定されない。

【0099】

本出願のこの実施形態では、キャプション位置情報を抽出するプロセスを説明するために、矩形の破線ボックスの内部領域がキャプションの表示位置領域である例が使用される。

【0100】

図４に示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」のキャプション位置情報の抽出を一例として使用する。キャプション復号モジュールは、最初に、キャプションフレーム表示領域内にＸ－Ｏ－Ｙ平面矩形座標系を確立し、次に、キャプションフレーム表示領域内の点（例えば、矩形の実線ボックスの左下隅の頂点）を基準座標点Ｏとして選択し得る。基準座標点Ｏの座標は、（０，０）に設定され得る。数学的知識から分かるように、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の外側の矩形の破線ボックスの４つの頂点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、及び（ｘ４，ｙ４）を計算することができる。この場合、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の位置情報は、矩形の破線ボックスの４つの頂点の座標を含み得る。代替的に、矩形は規則的な形状であるので、矩形の位置領域は、矩形の破線ボックスの対角線上の２つの頂点の座標を決定するだけで決定することができる。従って、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の位置情報は、矩形の破線ボックスの対角線上の２つの頂点の座標のみを含み得る。

【0101】

同様に、図４に示される他のキャプションのキャプション位置情報も、前述のキャプション位置抽出方法を使用することによって抽出され得る。詳細はここでは改めて説明しない。

【0102】

キャプション復号モジュールがキャプションフレーム内の全てのキャプションの位置情報を決定した後、キャプション復号モジュールがキャプション位置情報の抽出を完了したことを示す。

【0103】

前述のキャプション位置情報抽出プロセスは、キャプション位置情報を抽出する可能な実装形態にすぎないことに留意されたい。キャプション位置情報を抽出する実装は、代替的に、従来技術における別の実装形態であってもよい。これは、本出願のこの実施形態では限定されない。

【0104】

２．キャプション色域情報を抽出するプロセス：

【0105】

最初に、キャプション色域情報を抽出するプロセスに関連する概念について以下で説明する。

【0106】

色値：

【0107】

色値は、カラーモードにおける色に対応する色値のグループである。ＲＧＢカラーモードが一例として使用される。ＲＧＢカラーモードでは、色は、赤、緑、及び青を混合することによって形成され、各色の色値は、（ｒ，ｇ，ｂ）で表され得、ここで、ｒ、ｇ、及びｂは、それぞれ、赤、緑、及び青という３つの原色の値を表し、値範囲は［０，２５５］である。例えば、赤の色値は、（２５５，０，０）で表され、緑の色値は、（０，２５５，０）で表され得、青の色値は、（０，０，２５５）で表され得、黒の色値は、（０，０，０）で表され得、白の色値は、（２５５，２５５，２５５）で表され得る。

【0108】

色域：

【0109】

色域は、色値のセット、すなわち、特定のカラーモードで生成することができる色のセットである。ＲＧＢカラーモードでは、最大２５６×２５６×２５６＝１６７７７２１６個の異なる色、すなわち、２^２４個の異なる色を生成することができ、色域は［０，２^２４－１］であることが容易に理解できる。２^２４個の異なる色と各色に対応する色値とが色値テーブルを形成し得、各色に対応する色値は、色値テーブル内で見つけられ得る。

【0110】

キャプション位置情報を抽出した後、キャプション復号モジュールは、キャプションの色値を決定するために、キャプション位置におけるキャプションのフォント色に基づいて、そのフォント色に対応する色値を求めて色値テーブルを探索し得る。

【0111】

キャプション復号モジュールがキャプションフレーム内の全てのキャプションの色値を決定した後、キャプション復号モジュールがキャプション色域情報の抽出を完了したことを示す。

【0112】

Ｓ３０９：電子デバイス１００上のキャプション復号モジュールは、キャプショングループのマスクパラメータを取得する命令を電子デバイス１００上のビデオフレーム色域解釈モジュールに送信し、この命令は、キャプションフレームの時間情報、キャプショングループ情報などを搬送する。

【0113】

具体的には、キャプショングループ情報を生成した後、キャプション復号モジュールは、キャプショングループのマスクパラメータを取得する命令をビデオフレーム色域解釈モジュールに送信し得る。命令は、キャプショングループに対応するマスクパラメータ（マスクの色値及び透明度を含む）をキャプション復号モジュールに送信するようにビデオフレーム色域解釈モジュールに命令するために使用される。色値及び透明度は、マスクパラメータのグループと呼ばれることがある。命令は、キャプションフレームの時間情報、キャプショングループ情報などを搬送し得る。キャプションフレームの時間情報は、後続のステップにおいてキャプショングループに対応するビデオフレームを取得するために使用され得、キャプショングループ情報は、後続のステップにおいてキャプション認識度を分析するために使用され得る。

【0114】

Ｓ３１０：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループに対応するビデオフレームを取得する命令を電子デバイス１００上のビデオ復号モジュールに送信し、この命令は、キャプションフレームの時間情報などを搬送する。

【0115】

具体的には、キャプション復号モジュールによって送信されたキャプショングループのマスクパラメータを取得する命令を受信した後に、ビデオフレーム色域解釈モジュールは、キャプショングループに対応するビデオフレームを取得する命令をビデオ復号モジュールに送信し得、命令は、キャプショングループに対応するビデオフレームをビデオフレーム色域解釈モジュールに送信するようにビデオ復号モジュールに命令するために使用される。命令は、キャプションフレームの時間情報を搬送し得、キャプションフレームの時間情報は、キャプショングループに対応するビデオフレームを見つけるためにビデオ復号モジュールによって使用され得る。

【0116】

Ｓ３１１及びＳ３１２：電子デバイス１００上のビデオ復号モジュールは、キャプショングループに対応するビデオフレームを探索し、キャプショングループに対応するビデオフレームを電子デバイス１００上のビデオフレーム色域解釈モジュールに送信する。

【0117】

具体的には、ビデオ復号モジュールが、ビデオフレーム色域解釈モジュールによって送信された、キャプショングループに対応するビデオフレームを取得する命令を受信した後、ビデオ復号モジュールは、命令で搬送されたキャプションフレームの時間情報に基づいて、キャプショングループに対応するビデオフレームを見つけ得る。ビデオ復号モジュールは、ビデオ復号フェーズにおける復号を通じて全てのビデオフレームの時間情報を取得しているので、ビデオ復号モジュールは、全てのビデオフレームの時間情報をキャプションフレームの時間情報とマッチングさせることができる。マッチングが成功した場合（すなわち、ビデオフレームの時間情報がキャプションフレームの時間情報と一致した場合）、ビデオフレームは、キャプショングループに対応するビデオフレームである。その後、ビデオ復号モジュールは、キャプショングループに対応するビデオフレームをビデオフレーム色域解釈モジュールに送信し得る。

【0118】

Ｓ３１３：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループ情報内のキャプション位置情報に基づいて、キャプショングループに対応するビデオフレーム内の各キャプションの位置における色域情報を取得する。

【0119】

具体的には、キャプショングループに対応するビデオフレームを取得した後、ビデオフレーム色域解釈モジュールは、キャプショングループ情報内の各キャプション位置情報に基づいて、各キャプションの位置に対応するビデオフレーム領域を決定し得る。更に、ビデオフレーム色域解釈モジュールは、各キャプションの位置に対応するビデオフレーム領域の色域情報を算出し得る。

【0120】

以下では、ビデオフレーム色域解釈モジュールが、各キャプションの位置に対応するビデオフレーム領域の色域情報を計算するプロセスについて詳細に説明する。

【0121】

図２Ｃに示されるピクチャ中のキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」がキャプション１であると仮定する。ビデオフレーム色域解釈モジュールが、キャプション１に対応するビデオフレーム領域の色域情報を計算する例が説明のために使用される。

【0122】

図５に示すように、キャプション１の位置に対応するビデオフレーム領域は、図５の上部の矩形の実線ボックスの内部領域であり得る。異なる色域のピクセル領域が１つのビデオフレーム領域内に存在し得るので、１つのビデオフレーム領域は、複数のサブ領域に分割され得、各サブ領域は、ビデオフレーム色域抽出単位と呼ばれることがある。サブ領域の分割は、予め設定された幅に基づいて実行されてもよいし、キャプション内の各文字の幅に基づいて分割されてもよい。例えば、キャプション１は、全部で１３文字を有する。この場合、図５では、キャプション１の位置に対応するビデオフレーム領域は、キャプション１内の各文字の幅に基づいて、１３個のサブ領域、すなわち、１３個のビデオフレーム色域抽出単位に分割される。

【0123】

更に、ビデオフレーム色域解釈モジュールは、全てのサブ領域の色域情報を左から右へ（又は右から左へ）順次計算し得る。ビデオフレーム領域内の１つのサブ領域の色域情報の計算を一例として使用する。ビデオフレーム色域解釈モジュールは、サブ領域内の全てのピクセルの色値を取得し、次いで、全てのピクセルの色値に対して重ね合わせ及び平均化を実行し、サブ領域内の全てのピクセルの色値の平均値を取得し得る。平均値は、サブ領域の色値であり、サブ領域の色値は、サブ領域の色域情報である。

【0124】

例えば、サブ領域が幅ｍピクセル及び高さｎピクセルであると仮定すると、サブ領域は、合計でｍ＊ｎピクセルを有し、各ピクセルの色値ｘは、（ｒ，ｇ，ｂ）で表され得る。この場合、サブ領域内の全てのピクセルの色値の平均値

【数1】

は、以下である：

【数2】

【0125】

ｒ_ｉは、サブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、サブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、サブ領域内の全てのピクセルの平均青色値である。

【数3】

は、ｉ番目のピクセルの赤色値であり、

【数4】

は、ｉ番目のピクセルの緑色値であり、

【数5】

は、ｉ番目のピクセルの青色値である。

【0126】

同様に、ビデオフレーム色域解釈モジュールは、各キャプションの位置に対応するビデオフレーム領域の全てのサブ領域の色域情報、すなわち、キャプショングループに対応するビデオフレーム内のキャプション位置の色域情報を計算し得る。

【0127】

キャプションに対応するビデオフレーム領域が分割される複数のサブ領域の数は、予め設定された分割規則に従って決定されてもよいことを理解されたい。これは、本出願のこの実施形態では限定されない。

【0128】

任意選択で、ビデオフレーム領域の色域情報は、ビデオフレーム領域の輝度などの情報も含み得る。

【0129】

各キャプションの位置に対応するビデオフレーム領域の色域情報を計算する前述のプロセスは、可能な実装形態にすぎず、別の実装形態が使用されてもよいことに留意されたい。これは、本出願のこの実施形態では限定されない。

【0130】

Ｓ３１４：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループ情報内の各キャプション色域情報と、キャプショングループに対応するビデオフレーム内の各キャプション位置における色域情報とに基づいて、重畳キャプション認識度分析結果（superimposed caption recognition analysis result）を生成する。

【0131】

具体的には、キャプショングループに対応するビデオフレーム内のキャプション位置における色域情報を計算した後、ビデオフレーム色域解釈モジュールは、キャプショングループ情報内のキャプション色域情報と、キャプショングループに対応するビデオフレーム内のキャプション位置における色域情報とに基づいて、重畳キャプション認識度分析を実行し得る。更に、重畳キャプション認識度分析結果は、重畳キャプション認識度分析を通じて生成され得、その結果は、キャプショングループ内の各キャプションの認識度の大きさ（識別の大きさとも呼ばれる）を示すために使用される。

【0132】

言い換えると、ビデオフレーム色域解釈モジュールは、キャプショングループがキャプショングループに対応するビデオフレーム内のキャプション位置に重ね合わされた後、キャプションの色とキャプションに対応するビデオフレーム領域の色との間の差を決定し得る。差が小さい場合、キャプションの認識度が低く、ユーザに容易に認識されないことを示す。

【0133】

以下では、ビデオフレーム色域解釈モジュールが重畳キャプション認識度分析を実行するプロセスについて詳細に説明する。

【0134】

ビデオフレーム色域解釈モジュールは、キャプションの色とキャプションに対応するビデオフレーム領域の色との間の色差値を決定し得、色差値は、キャプションの色とキャプションに対応するビデオフレーム領域の色との間の差を示すために使用される。色差値は、従来技術における関連アルゴリズムを使用することによって決定され得る。

【0135】

可能な実装形態では、色差値Ｄｉｆｆは、以下の式を使用することで計算され得る：

【数6】

【0136】

ｋは、キャプションに対応するビデオフレーム領域の全てのサブ領域の数であり、ｒ_ｉは、サブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、サブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、サブ領域内の全てのピクセルの平均青色値である。ｒ_０は、キャプションの赤色値であり、ｇ_０は、キャプションの緑色値であり、ｂ_０は、キャプションの青色値である。

【0137】

更に、計算を通じて色差値を取得した後、ビデオフレーム色域解釈モジュールは、色差値が、予め設定された色差閾値未満であるかどうかを決定することによって、キャプション認識度の大きさを決定し得る。

【0138】

色差値が予め設定された色差閾値（第１の閾値とも呼ばれることもある）未満である場合、それは、キャプション認識度が低いことを示す。

【0139】

いくつかの実施形態では、キャプション認識度は、キャプションに対応するビデオフレーム領域の輝度を参照して更に決定され得る。

【0140】

例えば、図２Ｃに示されるキャプション「不明瞭な色のキャプション」のキャプションの色とキャプションに対応するビデオフレーム領域の色との間の色差値はそれ程小さくないが、キャプションに対応するビデオフレーム領域の輝度が高すぎるので、キャプション認識度が低いという問題が依然として存在する。従って、この場合、キャプション認識度は、キャプションに対応するビデオフレーム領域の輝度を参照して更に決定され得る。キャプションに対応するビデオフレーム領域の輝度が、予め設定された輝度閾値よりも高い場合、キャプション認識度が低いことを示す。

【0141】

純色キャプションの場合、抽出されたキャプション色域情報は、１つのパラメータ、すなわち、キャプションに対応する１つの色値のみを含み得る。非純色キャプションの場合、抽出されたキャプション色域情報は、複数のパラメータを含み得る。例えば、グラデーションカラーキャプションの場合、抽出されたキャプション色域情報は、開始点色値、終了点色値、グラデーション方向のような複数のパラメータを含み得る。この場合、可能な実装形態では、キャプションの開始点色値及び終了点色値の平均値が最初に計算され得、次いで、平均値をキャプションに対応する色値として使用して重畳キャプション認識度分析を実行する。

【0142】

ビデオフレーム色域解釈モジュールが重畳キャプション認識度分析を実行する前述のプロセスは、可能な実装形態にすぎず、別の実装形態が使用されてもよいことに留意されたい。これは、本出願のこの実施形態では限定されない。

【0143】

Ｓ３１５：電子デバイス１００上のビデオフレーム色域解釈モジュールは、重畳キャプション認識度分析結果に基づいて、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度を計算する。

【0144】

具体的には、重畳キャプション認識度分析結果を生成した後、ビデオフレーム色域解釈モジュールは、その結果に基づいて、キャプションフレーム内の各キャプションに対応するマスクの色値及び透明度を計算し得る。

【0145】

認識度の高いキャプション（例えば、図２Ｃのキャプション「認識度の高いキャプション」又はキャプション「音声と同期されたキャプション」）の場合、そのキャプションに対応するマスクの色値は、予め設定された固定値であり得、透明度は１００％に設定され得る。

【0146】

認識度の低いキャプション（例えば、図２Ｃのキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」又はキャプション「不明瞭な色のキャプション」）の場合、キャプションに対応するマスクの色値及び透明度は、キャプションの色域情報又はキャプションの位置に対応するビデオフレーム領域の色域情報に基づいて更に決定される必要がある。

【0147】

キャプションに対応するマスクの色値及び透明度を決定する具体的な方法は多く存在し得る。これは、本出願のこの実施形態では限定されず、当業者は、要件に従って方式を選択してもよい。

【0148】

可能な実装形態では、キャプションの色値又はキャプションに対応するビデオフレーム領域の色値から最大の色差値を有する色に対応する色値が、キャプションに対応するマスクの色値として決定され得る。このようにして、ユーザはキャプションをよりはっきりと見ることができる。代替的に、キャプションの色値又はキャプションに対応するビデオフレーム領域の色値から中間の色差値を有する色に対応する色値が、キャプションに対応するマスクの色値として決定されてもよく、これにより、大きな色差によって引き起こされる目の不快感などを回避しながら、ユーザがキャプションをはっきりと見ることができることを確実にする。

【0149】

例えば、電子デバイス１００は、色値テーブル内の各色に対応する色値とキャプションの色値との間の色差値Ｄｉｆｆを算出し得、次いで、最大／中間の色差値Ｄｉｆｆを有する色に対応する色値をマスクの色値として選択し得る。可能な実装形態では、色値テーブル内の各色に対応する色値とキャプションの色値との間の色差値Ｄｉｆｆは、以下の式を使用することによって計算され得る：

【数7】

【0150】

色値テーブル内の特定の色に対応する色値が（Ｒ_０，Ｇ_０，Ｂ_０）であると仮定すると、Ｒ_０は、その色に対応する赤色値であり、Ｇ_０は、その色に対応する緑色値であり、Ｂ_０は、その色に対応する青色値である。ｒ_０は、キャプションの赤色値であり、ｇ_０は、キャプションの緑色値であり、ｂ_０は、キャプションの青色値である。

【0151】

他の例として、電子デバイス１００は、色値テーブル内の各色に対応する色値とキャプションに対応するビデオフレーム領域の色値との間の色差値Ｄｉｆｆを計算し、次いで、最大／中間の色差値Ｄｉｆｆを有する色に対応する色値をマスクの色値として選択し得る。可能な実装形態では、色値テーブル内の各色に対応する色値とキャプションに対応するビデオフレーム領域の色値との間の色差値Ｄｉｆｆは、以下の式を使用することによって計算され得る：

【数8】

【0152】

色値テーブル内の特定の色に対応する色値が（Ｒ_０，Ｇ_０，Ｂ_０）であると仮定すると、Ｒ_０は、その色に対応する赤色値であり、Ｇ_０は、その色に対応する緑色値であり、Ｂ_０は、その色に対応する青色値である。ｋは、キャプションに対応するビデオフレーム領域の全てのサブ領域の数であり、ｒ_ｉは、サブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、サブ領域内の全てのピクセルの平均緑色値である。

【0153】

可能な実装形態では、キャプションに対応するマスクの透明度が、キャプションに対応するマスクの色値に基づいて更に決定され得る。例えば、キャプションに対応するマスクの色値がキャプションの色値と大きく異なる場合、キャプションに対応するマスクの透明度に対して比較的大きい値（例えば、５０％より大きい値）が選択され得、キャプション重畳領域によるビデオピクチャの遮蔽を低減しながら、ユーザがキャプションをはっきりと見ることを確実にする。

【0154】

Ｓ３１６：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度を電子デバイス１００上のキャプション復号モジュールに送信する。

【0155】

具体的には、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度を計算した後、ビデオフレーム色域解釈モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度をキャプション復号モジュールに送信し得、マスクに対応するキャプションのキャプション位置情報も搬送され得、それにより、キャプション復号モジュールは、キャプションをマスクに１対１でマッピングし得る。

【0156】

Ｓ３１７：電子デバイス１００上のキャプション復号モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度に基づいて、対応するマスクを生成し、キャプショングループ内の各キャプションと対応するマスクとを重ね合わせて、マスクを有するキャプションフレームを生成する。

【0157】

具体的には、ビデオフレーム色域解釈モジュールによって送信されたキャプショングループ内の各キャプションに対応するマスクの色値及び透明度を受信した後、キャプション復号モジュールは、キャプションに対応するマスクの色値及び透明度と、キャプションのキャプション位置情報とに基づいて、キャプションに対応するマスク（例えば、図５に示されるキャプション１に対応するマスク）を生成し得る。マスクの形状は、矩形であってよいし、キャプションを覆うことができる任意の他の形状であってもよい。これは、本出願のこの実施形態では限定されない。

【0158】

同様に、キャプション復号モジュールは、キャプショングループ内の各キャプションについて、キャプションに対応するマスクを生成し得る。

【0159】

例えば、図２Ｃに示すように、ピクチャ内に４つのキャプションがあることが容易に分かる。従って、キャプション復号モジュールは、４つのマスクを生成し得、１つのキャプションは１つのマスクに対応する。

【0160】

更に、キャプション復号モジュールは、キャプションを、キャプションに対応するマスクの上位レイヤに重ねわせて、マスクを有するキャプション（例えば、図５に示されるマスク付きキャプション１）を生成し得る。

【0161】

同様に、キャプション復号モジュールは、キャプショングループ内の各キャプションを対応するマスク上に重ね合わせて、マスクを有するキャプションフレームを生成し得る。

【0162】

図６Ａは、マスクを有するキャプションフレームの例を示す。各キャプションにマスクが重ね合わされていることが分かる。認識度の高いキャプション（例えば、「認識度の高いキャプション」又は「音声と同期されたキャプション」）に対応するマスクの透明度は１００％であり、認識度の低いキャプション（例えば、「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」又は「不明瞭な色のキャプション」）に対応するマスクの透明度は１００％未満であり、特定の色値が存在する。

【0163】

Ｓ３１８：電子デバイス１００上のキャプション復号モジュールは、マスクを有するキャプションフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0164】

具体的には、マスクを有するキャプションフレームを生成した後、キャプション復号モジュールは、マスクを有するキャプションフレームをビデオフレーム合成モジュールに送信して、その後、表示されるべきビデオフレームを生成し得る。

【0165】

フェーズ４：ビデオフレームの合成、レンダリング、及び表示

【0166】

Ｓ３１９及びＳ３２０：電子デバイス１００上のビデオフレーム合成モジュールは、受信したビデオフレームとマスクを有するキャプションフレームとを重ね合わせて結合して、表示されるべきビデオフレームを生成し、表示されるべきビデオフレームを電子デバイス１００上のビデオフレームキューに送信する。

【0167】

Ｓ３２１からＳ３２３：ビデオレンダリングモジュールは、表示されるべきビデオフレームを時系列に基づいてビデオフレームキューから読み出し、表示されるべきビデオフレームを時系列に基づいてレンダリングして、レンダリングされたビデオフレームを生成し得る。

【0168】

Ｓ３２４：電子デバイス１００は、レンダリングされたビデオフレームを表示する。

【0169】

ステップＳ３１９からステップＳ３２４の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０９からステップＳ１１４の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0170】

いくつかの実施形態では、ビデオ復号モジュール、キャプション復号モジュール、ビデオフレーム色域解釈モジュール、ビデオフレーム合成モジュール、ビデオフレームキュー、及びビデオレンダリングモジュールは、代替的に、本出願のこの実施形態において提供されるキャプション表示方法を実行するためにビデオアプリケーションに統合されてもよいことに留意されたい。これは、本出願のこの実施形態では限定されない。

【0171】

例えば、図６Ｂは、電子デバイス１００が図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄに示されるキャプション表示方法（１つのキャプションは１つのマスクに対応し得る）を実行した後に表示されるレンダリングされたビデオフレームにおけるフレームのピクチャであり得る。図２Ｃに示されるピクチャと比較して、対応するマスクがキャプショングループに追加された後、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の認識度及びキャプション「不明瞭な色のキャプション」の認識度が大幅に改善されていることが容易に分かる。加えて、キャプションに対応するマスクは、特定の透明度を有するので、キャプション重畳領域はビデオピクチャを完全には遮蔽しない。このようにして、ビデオ表示及びキャプション表示の効果が包括的に考慮され、それにより、ユーザによって選択されたキャプションの色の変更なしに、ビデオピクチャの特定の可視性を確保しながら、ユーザがキャプションをはっきりと見ることができることを確実にすることができ、それによって、ユーザエクスペリエンスを向上させることができる。

【0172】

更に、ビデオ再生プロセス全体において、キャプションの位置、ビデオ背景の色などが変化し得る。従って、前述のキャプション表示方法は、ユーザがビデオ再生プロセス全体においてキャプションをはっきりと見ることができるように、常に実行され得る。例えば、図６Ｂは、ビデオ再生進行が瞬間８：００にある第１のユーザインターフェースの概略図であり得、図６Ｃは、ビデオ再生進行が瞬間８：０２にある第２のユーザインターフェースの概略図であり得る。第１のユーザインターフェースに含まれるビデオフレームは、第２のユーザインターフェースに含まれるビデオフレームとは異なる。図６Ｃに示すように、図６Ｂと比べて、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、キャプション「認識度の高いキャプション」、キャプション「不明瞭な色のキャプション」は、いずれも表示画面の左側に移動していることが分かる。電子デバイス１００は、キャプションの色値とキャプションに対応する現在のビデオフレーム領域の色値とに基づいて、キャプションに対応するマスクの色値及び透明度を再計算して、キャプションに対応するマスクを生成する。第２のユーザインターフェースにおいて、現在のビデオフレーム領域に対応するキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」のビデオ背景色が変化し、キャプションの認識度も増加することが容易に分かる。従って、図６Ｂと比較すると、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクも変化している。キャプションに対してマスクが表示されていないことが分かる。具体的には、キャプションに対応するマスクの透明度が１００％に変更されたり、キャプションに対するマスクがなかったりする。

【0173】

図６Ｂ及び図６Ｃに示されるビデオ再生ピクチャは、全画面モードで表示されてもよいし、部分画面モードで表示されてもよい。これは、本出願のこの実施形態では限定されない。

【0174】

図６Ｂに示されるキャプションに対応するマスクは、キャプション全体が位置する領域にまたがるマスクであり、すなわち、１つのキャプションは１つのマスクのみに対応する。いくつかの実際のアプリケーションシナリオでは、１つのキャプションが、比較的大きな色域差を有する複数の領域にまたがることがある。その結果、キャプションの一部の認識度が相対的に高くなり、キャプションの他の部分の認識度が相対的に低くなる。この場合、１つのキャプションに対して複数の対応マスクが生成され得る。例えば、図２Ｃに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」では、キャプションの領域の先頭部分のキャプション認識度は低く（すなわち、４文字「Ｗ Ｓ Ｙ Ｔ」はユーザに認識されにくい）、キャプションの領域の末尾部分のキャプション認識度も低い（すなわち、４文字「Ｙ Ｄ Ｚ Ｍ」はユーザに認識されにくい）。キャプションの領域の中間部分のキャプション認識度は高い（すなわち、４文字「Ｋ Ｌ Ｄ Ｇ Ｓ」はユーザに認識されやすい）。従って、この場合、キャプションの領域の先頭部分、中間部分、及び末尾部分のそれぞれに対して１つの対応するマスクが生成され得、すなわち、キャプションは、３つの対応するマスクを有し得る。

【0175】

１つのキャプションが複数のマスクに対応する前述のアプリケーションシナリオの場合、本出願のこの実施形態では、１つのキャプションが複数のマスクに対応するように、図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄに示される方法に基づいて、ステップＳ３１３からステップＳ３１７に対していくつかの対応する改良が行われ得る。他のステップは変更する必要がない。

【0176】

以下では、１つのキャプションが複数のマスクに対応するプロセスについて詳細に説明する。

【0177】

キャプショングループに対応するビデオフレーム内のキャプション位置における色域情報を生成するプロセスにおいて、ビデオフレーム色域解釈モジュールは、全てのサブ領域の色値を左から右へ（又は右から左へ）順に順次計算し得る。１つのキャプションが複数のマスクに対応する必要がある前述のアプリケーションシナリオ、すなわち、１つのキャプションが比較的大きい色域差を有する複数の領域にまたがるアプリケーションシナリオでは、ビデオフレーム色域解釈モジュールは、隣接するサブ領域の色値を比較し得、隣接するサブ領域の色値が近い場合、隣接するサブ領域は１つの領域に結合され、結合された領域は１つのマスクに対応する。隣接するサブ領域の色値が大きく異なる場合、隣接するサブ領域は結合されず、２つの結合されていない領域はそれぞれのマスクに対応する。従って、１つのキャプションが複数のマスクに対応し得る。

【0178】

図７Ａに示すように、１つのキャプションが複数のマスクに対応し得る場合、ステップＳ３１３からステップＳ３１７は、具体的には、以下のステップに基づいて実行され得る。以下では、図７Ｂに示されるキャプション１が、図２Ｃに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」である場合を説明で使用する。

【0179】

Ｓ７０１：ビデオフレーム色域解釈モジュールが、キャプションの位置に対応するビデオフレーム領域の全てのサブ領域の色値を順次計算し、近い色値を有するサブ領域を結合して、Ｍ個の第２のサブ領域を取得する。

【0180】

具体的には、ステップＳ３１３に基づいて、全てのサブ領域の色値を左から右に（又は右から左に）順次計算した後、ビデオフレーム色域解釈モジュールは、更に、隣接するサブ領域の色値を比較し、近い色値を有するサブ領域を結合して、Ｍ個の第２のサブ領域を取得する必要があり、Ｍは正の整数である。図７Ｂに示すように、隣接するサブ領域の色値を比較し、近い色値を有するサブ領域を結合した後、ビデオフレーム色域解釈モジュールは、キャプションの位置に対応するビデオフレーム領域を、領域Ａ、領域Ｂ、及び領域Ｃという３つの領域（すなわち、３つの第２のサブ領域）に分割する。領域Ａはサブ領域を結合することによって形成され、領域Ｂはｂ個のサブ領域を結合することによって形成され、領域Ａはｃ個のサブ領域を結合することによって形成されると仮定する。

【0181】

色値が近いということは、２つのサブ領域の色値間の差分値が第２の閾値未満であることを意味し得、第２の閾値は予め設定される。

【0182】

Ｓ７０２：ビデオフレーム色域解釈モジュールが、Ｍ個の第２のサブ領域に対して重畳キャプション認識度分析を別々に実行して、Ｍ個の第２のサブ領域の重畳キャプション認識度分析結果を生成する。

【0183】

具体的には、ビデオフレーム色域解釈モジュールは、ビデオフレーム領域全体に対して重畳キャプション認識度分析を直接実行するのではなく、領域Ａ、領域Ｂ、及び領域Ｃに対して重畳キャプション認識度分析を別々に実行する必要がある。同様に、ビデオフレーム色域解釈モジュールは、ステップＳ３１４における色差値を使用して、領域Ａ、領域Ｂ、及び領域Ｃに対して重畳キャプション認識度分析を別々に実行し得る。プロセスは以下の通りである。

【0184】

領域Ａの色差値Ｄｉｆｆ１：

【数9】

【0185】

ａは、領域Ａに含まれるサブ領域の数であり、ｒ_ｉは、領域Ａ内のサブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、領域Ａ内のサブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、領域Ａ内のサブ領域内の全てのピクセルの平均青色値である。ｒ_０は、領域Ａにおけるキャプションの赤色値であり、ｇ_０は、領域Ａにおけるキャプションの緑色値であり、ｂ_０は、領域Ａにおけるキャプションの青色値である。

【0186】

領域Ｂの色差値Ｄｉｆｆ２：

【数10】

【0187】

ｂは、領域Ｂに含まれるサブ領域の数であり、ｒ_ｉは、領域Ｂ内のサブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、領域Ｂ内のサブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、領域Ｂ内のサブ領域内の全てのピクセルの平均青色値である。ｒ_０は、領域Ｂにおけるキャプションの赤色値であり、ｇ_０は、領域Ｂにおけるキャプションの緑色値であり、ｂ_０は、領域Ｂにおけるキャプションの青色値である。

【0188】

領域Ｃの色差値Ｄｉｆｆ３：

【数11】

【0189】

ｃは、領域Ｃに含まれるサブ領域の数であり、ｒ_ｉは、領域Ｃ内のサブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、領域Ｃ内のサブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、領域Ｃ内のサブ領域内の全てのピクセルの平均青色値である。ｒ_０は、領域Ｃにおけるキャプションの赤色値であり、ｇ_０は、領域Ｃにおけるキャプションの緑色値であり、ｂ_０は、領域Ｃにおけるキャプションの青色値である。

【0190】

計算を通じて領域Ａ、領域Ｂ、及び領域Ｃの色差値を別々に取得した後、ビデオフレーム色域解釈モジュールは、３つの領域の色差値が、予め設定された色差閾値未満であるかどうかを決定し得る。領域の色差値が予め設定された色差閾値未満である場合、領域のキャプション認識度が低いことを示す。

【0191】

Ｓ７０３：ビデオフレーム色域解釈モジュールが、Ｍ個の第２のサブ領域及びキャプション色域情報の重畳キャプション認識度分析結果に基づいて、Ｍ個の第２のサブ領域に対応するマスクの色値及び透明度をそれぞれ決定する。

【0192】

具体的には、ビデオフレーム色域解釈モジュールは、領域Ａ、領域Ｂ、及び領域Ｃのキャプション色域情報及び重畳キャプション認識度分析結果に基づいて、領域Ａに対応するマスクの色値及び透明度、領域Ｂに対応するマスクの色値及び透明度、並びに領域Ｃに対応するマスクの色値及び透明度をそれぞれ決定する必要がある。各第２のサブ領域に対応するマスクの色値及び透明度を決定する具体的なプロセスは、ステップＳ３１５におけるキャプションの位置に対応するビデオフレーム領域全体に対応するマスクの色値及び透明度を決定するプロセスと同様である。前述の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0193】

Ｓ７０４：ビデオフレーム色域解釈モジュールが、Ｍ個の第２のサブ領域に対応するマスクの色値、透明度、及び位置情報をキャプション復号モジュールに送信する。

【0194】

具体的には、１つのキャプションが複数のマスクに対応し得るので、ビデオフレーム色域解釈モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度をキャプション復号モジュールに送信する必要があるだけでなく、各マスクの位置情報（又は、対応するキャプションに対する各マスクの位置情報）をキャプション復号モジュールに送信する必要もある。各マスクの位置情報は、キャプション位置情報に基づいて取得され得る。具体的には、１つのキャプションが複数のマスクに対応する場合、キャプション位置情報は既知であるので、キャプション位置におけるビデオフレーム領域内の全てのサブ領域の位置情報が推定され得る。更に、各第２のサブ領域に対応するマスクの位置情報が推定され得る。

【0195】

Ｓ７０５：キャプション復号モジュールが、Ｍ個の第２のサブ領域に対応するマスクの色値、透明度、及び位置情報に基づいて、キャプションに対応するマスクを生成し、このマスクにキャプションを重ね合わせて、マスクを有するキャプションを生成する。

【0196】

具体的には、複数のマスクに対応する１つのキャプションの場合、キャプション復号モジュールは、キャプションに対応する各第２のサブ領域のマスクの色値、透明度、及びマスク位置情報に基づいて、キャプションに対応する３つのマスク（例えば、図７Ｂに示されるキャプション１に対応するマスク）を生成し得る。そして、キャプション復号モジュールは、キャプションを、キャプションに対応するマスクの上位レイヤに重ね合わせて、マスクを有するキャプション（例えば、図７Ｂに示されるマスク付きキャプション１）を生成し得る。

【0197】

図２Ｃに示すように、３つのキャプション「認識度の高いキャプション」、「不明瞭な色のキャプション」、及び「音声と同期されたキャプション」は、比較的大きな色域差を有する複数の領域にまたがらないので、３つのキャプションの各々は、依然として１つのマスクに対応する。

【0198】

キャプション復号モジュールは、キャプショングループ内の各キャプションを対応するマスク上に重ね合わせて、マスクを有するキャプションフレームを生成し得る。

【0199】

図８Ａは、マスクを有するキャプションフレームの一例を示す。３つのマスクがキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に重ね合わされていることが分かる。「Ｗ Ｓ Ｙ Ｔ」の認識度及び「Ｙ Ｄ Ｚ Ｍ」の認識度は低いので、対応するマスクの透明度は１００％未満であり、特定の色値が存在する。「Ｋ Ｌ Ｄ Ｇ Ｓ」の認識度は高いので、対応するマスクの透明度は１００％である。１つのマスクは、他の３つのキャプションの各々に重ね合わされる。キャプション「認識度の高いキャプション」の認識度とキャプション「音声と同期されたキャプション」の認識度は高いので、対応するマスクの透明度は１００％である。キャプション「不明瞭な色のキャプション」の認識度は低いので、対応するマスクの透明度は１００％未満であり、特定の色値が存在する。

【0200】

例えば、図８Ｂは、電子デバイス１００が図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄに示される改善されたキャプション表示方法を実行した後に表示されるレンダリングされたビデオフレームにおけるフレームのピクチャであり得る（比較的大きな色域差を有する複数の領域にまたがるキャプションは、複数のマスクに対応し得る）。図６Ｂに示されるピクチャと比較すると、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」は、比較的大きな色域差を有する複数の領域にまたがっているため、キャプションに対応するマスクが変化している。キャプションの領域の中間部分（すなわち、部分「Ｋ Ｌ Ｄ Ｇ Ｓ」）は高いキャプション認識度を有するので、その部分に対応するマスクの透明度は１００％（すなわち、完全に透明）に設定されるか、又はマスクが設定されなくてもよいことが容易に分かる。キャプションの領域の先頭部分（すなわち、部分「Ｗ Ｓ Ｙ Ｔ」）及び末尾部分（すなわち、部分「Ｙ Ｄ Ｚ Ｍ」）は、低いキャプション認識度を有するので、これら２つの部分に対応するマスクの色値及び透明度は、それぞれ、キャプション色域情報と２つの部分が位置する領域の色域情報とに基づいて計算される。このように、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の領域の中間部分に対応するマスクの透明度が１００％であるか、又はマスクが設定されなくてもよいので、図６Ｂに示される有益な効果を達成することに基づいて、マスクによるビデオピクチャの遮蔽が更に低減され、ユーザエクスペリエンスが更に向上する。

【0201】

更に、ビデオ再生プロセス全体において、キャプションの位置、ビデオ背景の色などが変化し得る。従って、前述のキャプション表示方法は、ユーザがビデオ再生プロセス全体においてキャプションをはっきりと見ることができるように、常に実行され得る。例えば、図８Ｂは、ビデオ再生進行が瞬間８：００にあり、第１のビデオフレームが含まれるユーザインターフェースの概略図であり得る。図８Ｃは、ビデオ再生進行が瞬間８：０１にあり、第２のビデオフレームが含まれるユーザインターフェースの概略図であり得る。第１のビデオフレームは、第２のビデオフレームと同じである。図８Ｃに示すように、図８Ｂと比べて、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、キャプション「認識度の高いキャプション」、キャプション「不明瞭な色のキャプション」は、いずれも表示画面の左側に移動していることが分かる。電子デバイス１００は、キャプションの色値とキャプションに対応する現在のビデオフレーム領域の色値とに基づいて、キャプションに対応するマスクの色値及び透明度を再計算して、キャプションに対応するマスクを生成する。図８Ｂと比較すると、図８Ｃのキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクが大きく変化していることが容易に分かる。図８Ｂにおいて、キャプション認識度が低い部分は、「Ｗ Ｓ Ｙ Ｔ」及び「Ｙ Ｄ Ｚ Ｍ」である。従って、これら２つの部分に対応するマスクは特定の色値を有し、対応するマスクの透明度は１００％未満である。キャプション認識度が高い部分は「Ｋ Ｌ Ｄ Ｇ Ｓ」であり、従って、この部分にはマスクは表示されない。具体的には、キャプションに対応するマスクの透明度が１００％に設定されてもよいし、マスクが設定されなくてもよい。しかしながら、図８Ｃでは、キャプション認識度が低い部分は「Ｗ Ｓ Ｙ Ｔ Ｋ」と「Ｄ Ｚ Ｍ」に変化している。従って、電子デバイス１００は、キャプションの色値とキャプションに対応する現在のビデオフレーム領域の色値とに基づいて、これら２つの部分に対応するマスクの色値及び透明度を再計算する。２つの部分の認識度は低く、従って、２つの部分に対応するマスクは特定の色値を有する。加えて、対応するマスクの透明度は１００％未満である。キャプション認識度が高い部分は「Ｌ Ｄ Ｇ Ｓ Ｙ」に変化している。従って、この部分にはマスクは表示されない。具体的には、キャプションに対応するマスクの透明度が１００％に設定されてもよいし、マスクが設定されなくてもよい。図８Ｃにおけるキャプションに対応するマスクを生成するプロセスは、図８Ｂにおけるキャプションに対応するマスクを生成するプロセスと同様である。詳細はここでは改めて説明しない。

【0202】

図８Ｂ及び図８Ｃに示されるビデオ再生ピクチャは、全画面モードで表示されてもよいし、部分画面モードで表示されてもよい。これは、本出願のこの実施形態では限定されない。

【0203】

本出願のこの実施形態では、認識度の高いキャプションの場合、電子デバイス１００は、キャプションに対するマスクを生成し、ここで、マスクの色値は、予め設定された色値であり得、マスクの透明度は１００％である。いくつかの実施形態では、認識度の高いキャプションの場合、電子デバイス１００は、代替的に、キャプションに対するマスクを生成しなくてもよい。具体的には、キャプションが高い認識度を有すると電子デバイス１００が決定した場合、電子デバイス１００は、キャプションに対して更なる処理を実行しなくてもよく、従って、キャプションは、対応するマスクを有さず、すなわち、キャプションに対してマスクは設定されない。

【0204】

本出願のこの実施形態では、１つのキャプションが１つのマスクに対応する（すなわち、１つのキャプションがマスクパラメータの１つのグループに対応する）ということは、１つのキャプションが１つの色値及び透明度を含む１つのマスクに対応することを意味し得る。１つのキャプションが複数のマスクに対応する（すなわち、１つのキャプションがマスクパラメータの複数のグループに対応する）ということは、１つのキャプションが、異なる色値及び異なる透明度を有する複数のマスクに対応し、１つのキャプションが、異なる色値及び異なる透明度を有する１つのマスクに対応する（すなわち、異なる色値及び異なる透明度を有する複数のマスクが、異なる色値及び異なる透明度を有する１つのマスクに結合される）ことを意味し得る。

【0205】

本出願のこの実施形態では、電子デバイス１００の一例として携帯電話（mobile phone）を使用する。代替的に、電子デバイス１００は、タブレット型コンピュータ（Ｐａｄ）、パーソナルデジタルアシスタント（Personal Digital Assistant、ＰＤＡ）、又はラップトップコンピュータ（Laptop）などのポータブル電子デバイスであってもよい。電子デバイス１００のタイプ、物理的形態、及びサイズは、本出願のこの実施形態では限定されない。

【0206】

本出願の実施形態では、第１のビデオは、ユーザが図２Ｂに示されるビデオ再生オプション２２１をタップした後に電子デバイス１００によって再生されるビデオであり得る。第１のインターフェースは、図６Ｂに示されるユーザインターフェースであり得る。第１のピクチャは、図６Ｂに示されるビデオフレームのピクチャであり得る。第１のキャプションは、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」であり得る。第１の領域は、第１のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第１の値は、第１のキャプションの色と、第１のキャプションの表示位置に対応する第１のピクチャ領域の色との間の色差値であり得る。第２のインターフェースは、図６Ｃに示されるユーザインターフェースであり得る。第２のピクチャは、図６Ｃに示されるビデオフレームのピクチャであり得る。第２の領域は、第２のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第２の値は、第１のキャプションの色と、第１のキャプションの表示位置に対応する第２のピクチャ領域の色との間の色差値であり得る。第１のビデオファイルは、第１のビデオに対応するビデオファイルであり得、第１のキャプションファイルは、第１のビデオに対応するキャプションファイルであり得る。第１のビデオフレームは、第１のピクチャを生成するために使用されるビデオフレームである。第１のキャプションフレームは、第１のキャプションを含み、第１のビデオフレームと同じ時間情報を搬送するキャプションフレームであり、第２のキャプションフレームは、第１のキャプションが第１のマスク上に重ね合わされた後に生成されるキャプションフレーム（すなわち、マスクを有するキャプションフレーム）である。第１のサブ領域は、ビデオフレーム色域抽出単位であり得る。第２のサブ領域は、近い色値を有する隣接する第１のサブ領域が結合された後に取得された領域（例えば、領域Ａ、領域Ｂ、及び領域Ｃ）であり得る。第１のサブマスクは、各第２のサブ領域に対応するマスクであり得る。第１のマスクは、図６Ｂに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクであってもよいし、図８Ｂに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクであってもよい。第３のインターフェースは、図８Ｂに示されるユーザインターフェースであり得、第３のピクチャは、図８Ｂに示されるビデオフレームのピクチャであり得る。第１の部分は、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」中の「Ｗ Ｓ Ｙ Ｔ」であり得、第２の部分は、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」中の「Ｋ Ｌ Ｄ Ｇ Ｓ」であり得る。第２のサブマスクは、「Ｗ Ｓ Ｙ Ｔ」に対応するマスク（すなわち、図７Ｂに示される領域Ａのマスク）であり得る。第３のサブマスクは、「Ｋ Ｌ Ｄ Ｇ Ｓ」に対応するマスク（すなわち、図７Ｂに示される領域Ｂのマスク）であり得る。第２のマスクは、図６Ｃに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクであり得る。

【0207】

以下では、本出願の一実施形態による、電子デバイス１００の構造について説明する。

【0208】

図９は、本出願の一実施形態による、電子デバイス１００の構成の一例を示す。

【0209】

図９に示すように、電子デバイス１００は、プロセッサ１１０、外部メモリインターフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）インターフェース１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、ワイヤレス通信モジュール１６０、オーディオモジュール１７０、ラウドスピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、及び加入者識別モジュール（subscriber identity module、ＳＩＭ）カードインターフェース１９５などを含み得る。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、環境光センサ１８０Ｌ、骨伝導センサ１８０Ｍなどを含み得る。

【0210】

本出願のこの実施形態において示される構造は、電子デバイス１００に対する特定の限定を構成しないことは理解され得る。本出願のいくつかの他の実施形態では、電子デバイス１００は、図に示されるものよりも多い又は少ない構成要素を含んでもよいし、いくつかの構成要素が組み合わされてもよいし、いくつかの構成要素が分割されてもよいし、異なる構成要素配置が使用されてもよい。図に示される構成要素は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組合せで実装され得る。

【0211】

プロセッサ１１０は、１つ又は複数の処理ユニットを含み得る。例えば、プロセッサ１１０は、アプリケーションプロセッサ（application processor、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、画像信号プロセッサ（image signal processor、ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（neural-network processing unit、ＮＰＵ）などを含み得る。異なる処理ユニットは、別個のデバイスであってもよいし、１つ又は複数のプロセッサに統合されてもよい。

【0212】

コントローラは、電子デバイス１００の神経中枢及び指令中枢であってもよい。コントローラは、命令フェッチ及び実行に関する制御を実行するために、命令オペレーションコード及びタイミング信号に基づいてオペレーション制御信号を生成し得る。

【0213】

メモリが、プロセッサ１１０に更に配置され得、命令及びデータを記憶するように構成される。いくつかの実施形態では、プロセッサ１１０内のメモリはキャッシュである。メモリは、プロセッサ１１０によって使用されたばかりの、又は周期的に使用される命令又はデータを記憶し得る。プロセッサ１１０が命令又はデータを再び使用する必要がある場合、プロセッサ１１０は、メモリから命令又はデータを直接呼び出し得る。これにより、繰り返しのアクセスが回避され、プロセッサ１１０の待ち時間が短縮され、システム効率を向上させる。

【0214】

いくつかの実施形態では、プロセッサ１１０は、１つ又は複数のインターフェースを含み得る。インターフェースは、集積回路間（inter-integrated circuit、Ｉ２Ｃ）インターフェース、集積回路間サウンド（inter-integrated circuit sound、Ｉ２Ｓ）インターフェース、パルス符号変調（pulse code modulation、ＰＣＭ）インターフェース、汎用非同期送受信回路（universal asynchronous receiver/transmitter、ＵＡＲＴ）インターフェース、モバイルインダストリープロセッサインターフェース（mobile industry processor interface、ＭＩＰＩ）、汎用入出力（general-purpose input/output、ＧＰＩＯ）インターフェース、加入者識別モジュール（subscriber ｉｄｅｎｔｉｔｙ module、ＳＩＭ）インターフェース、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、及び／又は同様のものを含み得る。

【0215】

Ｉ^２Ｃインターフェースは、シリアルデータライン（serial data line、ＳＤＡ）及びシリアルクロックライン（serial clock line、ＳＣＬ）を含む双方向同期シリアルバスである。いくつかの実施形態では、プロセッサ１１０は、複数のＩ^２Ｃバスを含み得る。プロセッサ１１０は、異なるＩ^２Ｃバスインターフェースを介して、タッチセンサ１８０Ｋ、充電器、カメラフラッシュ、カメラ１９３などにそれぞれ結合され得る。例えば、プロセッサ１１０は、Ｉ２Ｃインターフェースを介してタッチセンサ１８０Ｋに結合されてもよく、プロセッサ１１０及びタッチセンサ１８０Ｋが、Ｉ２Ｃバスインターフェースを介して互いに通信し、それによって、電子デバイス１００のタッチ機能を実装する。

【0216】

Ｉ^２Ｓインターフェースは、オーディオ通信に使用され得る。いくつかの実施形態では、プロセッサ１１０は、複数のＩ^２Ｓバスを含み得る。プロセッサ１１０は、プロセッサ１１０とオーディオモジュール１７０との間の通信を実現するために、Ｉ^２Ｓバス介してオーディオモジュール１７０に結合され得る。いくつかの実施形態では、オーディオモジュール１７０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットを介して呼に応答する機能を実装するために、Ｉ^２Ｓインターフェースを介してオーディオ信号をワイヤレス通信モジュール１６０に送信し得る。

【0217】

ＰＣＭインターフェースもまた、オーディオ通信に使用され得、アナログ信号に対してサンプリング、量子化、及び符号化を実行し得る。いくつかの実施形態では、オーディオモジュール１７０及びワイヤレス通信モジュール１６０は、ＰＣＭバスインターフェースを介して結合され得る。いくつかの実施形態では、オーディオモジュール１７０はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットを介して呼に応答する機能を実装するために、ＰＣＭインターフェースを介してオーディオ信号をワイヤレス通信モジュール１６０に送信し得る。Ｉ２ＳインターフェースとＰＣＭインターフェースの両方が、オーディオ通信に使用され得る。

【0218】

ＵＡＲＴインターフェースは、ユニバーサルシリアルデータバスであり、非同期通信に使用される。バスは、双方向通信バスであり得る。これは、直列通信とパラレル通信との間で、送信されるべきデータを変換する。いくつかの実施形態では、ＵＡＲＴインターフェースは、通常、プロセッサ１１０及びワイヤレス通信モジュール１６０に接続するように構成される。例えば、プロセッサ１１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能を実装するために、ＵＡＲＴインターフェースを介してワイヤレス通信モジュール１６０中のＢｌｕｅｔｏｏｔｈ（登録商標）モジュールと通信する。いくつかの実施形態では、オーディオモジュール１７０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットを介して音楽を再生する機能を実装するために、ＵＡＲＴインターフェースを介してオーディオ信号をワイヤレス通信モジュール１６０に送信し得る。

【0219】

ＭＩＰＩインターフェースは、プロセッサ１１０と、ディスプレイ１９４及びカメラ１９３のような周辺デバイスとを接続するように構成され得る。ＭＩＰＩインターフェースは、カメラシリアルインターフェース（camera serial interface、ＣＳＩ）、ディスプレイシリアルインターフェース（display serial interface、ＤＳＩ）などを含む。いくつかの実施形態では、プロセッサ１１０は、電子デバイス１００の撮影機能を実装するために、ＣＳＩインターフェースを介してカメラ１９３と通信する。プロセッサ１１０は、電子デバイス１００の表示機能を実装するために、ＤＳＩインターフェースを介してディスプレイ１９４と通信する。

【0220】

ＧＰＩＯインターフェースは、ソフトウェアによって構成され得る。ＧＰＩＯインターフェースは、制御信号又はデータ信号として構成され得る。いくつかの実施形態では、ＧＰＩＯインターフェースは、プロセッサ１１０を、カメラ１９３、ディスプレイ１９４、ワイヤレス通信モジュール１６０、オーディオモジュール１７０、センサモジュール１８０などに接続するように構成され得る。ＧＰＩＯインターフェースは、Ｉ^２Ｃインターフェース、Ｉ^２Ｓインターフェース、ＵＡＲＴインターフェース、ＭＩＰＩインターフェースなどとして更に構成され得る。

【0221】

ＵＳＢインターフェース１３０は、ＵＳＢ標準仕様に準拠したインターフェースであり、具体的には、ミニＵＳＢインターフェース、マイクロＵＳＢインターフェース、ＵＳＢ Ｔｙｐｅ－Ｃインターフェースなどであり得る。ＵＳＢインターフェース１３０は、充電器に接続して電子デバイス１００を充電するように構成され得、また、電子デバイス１００と周辺デバイスとの間でデータを送信するように構成され得る。それはまた、ヘッドセットを介してオーディオを再生するために、ヘッドセットに接続するように構成され得る。インターフェースはまた、ＡＲデバイスなどの別の端末デバイスに接続するように構成され得る。

【0222】

本出願のこの実施形態において示されるモジュール間のインターフェース接続関係は、例示的な説明にすぎず、電子デバイス１００の構造に対する限定を構成しないことが理解され得る。本出願のいくつかの他の実施形態では、電子デバイス１００は、代替的に、前述の実施形態とは異なるインターフェース接続方式を使用してもよいし、複数のインターフェース接続方式の組合せを使用してもよい。

【0223】

充電管理モジュール１４０は、充電器から充電入力を受信するように構成される。充電器は、ワイヤレス充電器又はワイヤード充電器であり得る。いくつかのワイヤード充電実施形態では、充電管理モジュール１４０は、ＵＳＢインターフェース１３０を介して有線充電器から充電入力を受信し得る。いくつかのワイヤレス充電実施形態では、充電管理モジュール１４０は、電子デバイス１００のワイヤレス充電コイルを介してワイヤレス充電入力を受信し得る。充電管理モジュール１４０は、更に、バッテリ１４２を充電しながら、電力管理モジュール１４１を介して電子デバイス１００に電力を供給し得る。

【0224】

電力管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０、及びプロセッサ１１０に接続するように構成される。電力管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０の入力を受信し、プロセッサ１１０、内部メモリ１２１、外部メモリ、ディスプレイ１９４、カメラ１９３、ワイヤレス通信モジュール１６０などに電力を供給する。電力管理モジュール１４１は、バッテリ容量、バッテリサイクル量、及びバッテリヘルスステータス（漏電及びインピーダンス）などのパラメータを監視するように更に構成され得る。いくつかの他の実施形態では、電力管理モジュール１４１はまた、プロセッサ１１０内に設けられ得る。いくつかの他の実施形態では、電力管理モジュール１４１及び充電管理モジュール１４０は、同じデバイス内に設けられ得る。

【0225】

電子デバイス１００のワイヤレス通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、ワイヤレス通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサなどを介して具現され得る。

【0226】

アンテナ１及びアンテナ２は、電磁波信号を送受信するように構成される。電子デバイス１００内の各アンテナは、１つ又は複数の通信周波数帯域をカバーするように構成され得る。アンテナ利用率を向上させるために、異なるアンテナが更に多重化され得る。例えば、アンテナ１は、ワイヤレスローカルエリアネットワークにおけるダイバーシティアンテナとして多重化され得る。いくつかの他の実施形態では、アンテナは、同調スイッチと併用され得る。

【0227】

モバイル通信モジュール１５０は、電子デバイス１００に適用されるソリューションを２Ｇ、３Ｇ、４Ｇ、５Ｇなどを含むワイヤレス通信に提供し得る。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低雑音増幅器（low noise amplifier、ＬＮＡ）などを含み得る。モバイル通信モジュール１５０は、アンテナ１を介して電磁波を受信し、受信された電磁波に対してフィルタリング及び増幅などの処理を実行し、復調のために処理された電磁波をモデムプロセッサに送信し得る。モバイル通信モジュール１５０は、モデムプロセッサによって変調された信号を更に増幅し、放射にアンテナ１を使用することによってその信号を電磁波に変換し得る。いくつかの実施形態では、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０に配置され得る。いくつかの実施形態では、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０の少なくともいくつかのモジュールと同じデバイス内に配置され得る。

【0228】

モデムプロセッサは、変調器と復調器とを含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中間周波数信号及び高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調された低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理された後、アプリケーションプロセッサに渡される。アプリケーションプロセッサは、オーディオデバイス（ラウドスピーカ１７０Ａ、レシーバ１７０Ｂなどに限定されない）を介して音声信号を出力したり、ディスプレイ１９４を介して画像又はビデオを表示したりする。いくつかの実施形態では、モデムプロセッサは別個のデバイスであり得る。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ１１０とは無関係であり、モバイル通信モジュール１５０又は別の機能モジュールと同じデバイス内に設けられ得る。

【0229】

ワイヤレス通信モジュール１６０は、電子デバイス１００に適用されワイヤレス通信ソリューションであって、ワイヤレスローカルエリアネットワーク（wireless local area networks、ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（wireless fidelity、Ｗｉ－Ｆｉ）ネットワーク）、ブルートゥース（登録商標）（Bluetooth（登録商標）、ＢＴ）、全地球的航法衛星システム（global navigation satellite system、ＧＮＳＳ）、周波数変調（frequency modulation、ＦＭ）、近距離無線通信（near field communication、ＮＦＣ）技術、赤外線（infrared、ＩＲ）技術などを含むワイヤレス通信ソリューションを提供し得る。ワイヤレス通信モジュール１６０は、少なくとも１つの通信処理モジュールを統合する１つ又は複数の構成要素であり得る。ワイヤレス通信モジュール１６０は、アンテナ２を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を実行し、処理された信号をプロセッサ１１０に送信する。ワイヤレス通信モジュール１６０は更に、送信されるべき信号をプロセッサ１１０から受信し、信号に対して周波数変調及び増幅を実行し、アンテナ２を介して放射するために信号を電磁波に変換し得る。

【0230】

いくつかの実施形態では、電子デバイス１００において、アンテナ１とモバイル通信モジュール１５０とが結合され、アンテナ２とワイヤレス通信モジュール１６０とが結合され、それにより、電子デバイス１００は、ワイヤレス通信技術を使用することによってネットワーク及び別のデバイスと通信することができる。ワイヤレス通信技術は、汎欧州デジタル移動電話方式（global system for mobile communications、ＧＳＭ）、汎用パケット無線サービス（general packet radio service、ＧＰＲＳ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、広帯域符号分割多重接続（wideband code division multiple access、ＷＣＤＭＡ（登録商標））、時分割符号分割多元接続（time-division code division multiple access、ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ技術、及び／又は同様のものを含み得る。ＧＮＳＳは、全地球位置決めシステム（global positioning system、ＧＰＳ）、全地球的航法衛星システム（global navigation satellite system、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（BeiDou navigation satellite system、ＢＤＳ）、準天頂衛星システム（quasi-zenith satellite system、ＱＺＳＳ）、及び／又は静止衛星型補強システム（satellite based augmentation systems、ＳＢＡＳ）を含み得る。

【0231】

電子デバイス１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサなどを使用することによって表示機能を実装する。ＧＰＵは、画像処理用のマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続される。ＧＰＵは、数学的及び幾何学的計算を実行し、画像をレンダリングするように構成される。プロセッサ１１０は、表示情報を生成又は変更するためのプログラム命令を実行する１つ又は複数のＧＰＵを含み得る。

【0232】

ディスプレイ１９４は、画像、ビデオなどを表示するように構成される。ディスプレイ１９４は、表示パネルを含む。表示パネルは、液晶表示装置（liquid crystal display、ＬＣＤ）、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（active-matrix organic light emitting diode、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（flexible light-emitting diode、ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、マイクロＯＬＥＤ、量子ドット発光ダイオード（quantum dot light emitting diodes、ＱＬＥＤ）などであり得る。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のディスプレイ１９４を含み得、Ｎは、１よりも大きい正の整数である。

【0233】

電子デバイス１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサなどを通じて撮影機能を実装し得る。

【0234】

ＩＳＰは、カメラ１９３によってフィードバックされたデータを処理するように構成される。例えば、撮影時には、シャッターが開かれ、光線がレンズを介してカメラの感光素子に送信される。光信号は電気信号に変換される。カメラの感光素子は、電気信号を処理のためにＩＳＰに送信し、電気信号を可視画像に変換する。ＩＳＰは、画像ノイズ、輝度、及び肌の色合いに対してアルゴリズム最適化を更に実行し得る。ＩＳＰは、撮影シナリオにおける露出及び色温度などのパラメータを更に最適化することができる。いくつかの実施形態では、ＩＳＰは、カメラ１９３内に配置され得る。

【0235】

カメラ１９３は、静止画像又はビデオをキャプチャするように構成される。物体の光学像は、レンズを通して生成され、感光素子上に投影される。感光素子は、電荷結合素子（charge-coupled device、ＣＣＤ）又は相補型金属酸化膜半導体（complementary metal-oxide-semiconductor、ＣＭＯＳ）フォトトランジスタであり得る。感光素子は、光信号を電気信号に変換し、その後、電気信号をＩＳＰに送信してデジタル画像信号に変換する。ＩＳＰは、デジタル画像信号を処理のためにＤＳＰに出力する。ＤＳＰは、デジタル画像信号を標準的なＲＧＢ又はＹＵＶなどのフォーマットの画像信号に変換する。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のカメラ１９３を含み得、Ｎは、１よりも大きい正の整数である。

【0236】

デジタルシグナルプロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理することもある。例えば、電子デバイス１００が周波数を選択する場合、デジタルシグナルプロセッサは、周波数エネルギーに対してフーリエ変換などを事項するように構成される。

【0237】

ビデオコーデックは、デジタルビデオを圧縮又は解凍するように構成される。電子デバイス１００は、１つ又は複数のビデオコーデックをサポートし得る。このようにして、電子デバイス１００は、複数の符号化フォーマット、例えば、ＭＰＥＧ（moving picture experts group）－１、ＭＰＥＧ－２、ＭＰＥＧ－３、及びＭＰＥＧ－４でビデオを再生又は記録することができる。

【0238】

ＮＰＵは、ニューラルネットワーク（neural-network、ＮＮ）コンピューティングプロセッサであり、人間の脳内のニューロン間の伝達モードなどの生物学的ニューラルネットワーク構造をシミュレートして、入力情報に対して高速処理を実行し、連続的な自己学習を実行することができる。ＮＰＵは、電子デバイス１００の知的認識、例えば、画像認識、顔認識、音声認識、及びテキスト理解などのアプリケーションを実装し得る。

【0239】

外部メモリインターフェース１２０は、電子デバイス１００の記憶能力を拡張するために、外部メモリカード、例えば、マイクロＳＤカードに接続するように構成され得る。外部メモリカードは、データ記憶機能を実装するために、外部メモリインターフェース１２０を使用することによってプロセッサ１１０と通信する。外部記憶カードには、例えば音楽及びビデオなどのファイルが記憶される。

【0240】

内部メモリ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成され得、実行可能プログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に記憶された命令を実行することによって、電子デバイス１００の様々な機能アプリケーション及びデータ処理を実行する。内部メモリ１２１は、プログラム記憶エリア及びデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能（音声再生機能及び画像再生機能など）に必要なアプリケーションなどを記憶し得る。データ記憶エリアは、電子デバイス１００の使用に基づいて作成されたデータ（音声データ及び電話帳など）などを記憶し得る。加えて、内部メモリ１２１は、高速ランダムアクセスメモリを含み得、不揮発性メモリ、例えば、少なくとも１つの磁気記憶デバイス、フラッシュメモリデバイス、及びユニバーサルフラッシュストレージ（universal flash storage、ＵＦＳ）を更に含み得る。

【0241】

電子デバイス１００は、オーディオモジュール１７０、ラウドスピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサなどを介して、音楽再生及び録音などのオーディオ機能を実装し得る。

【0242】

オーディオモジュール１７０は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール１７０は、オーディオ信号を符号化及び復号するように更に構成され得る。いくつかの実施形態では、オーディオモジュール１７０は、プロセッサ１１０内に配置されてもよく、又はオーディオモジュール１７０内のいくつかの機能モジュールは、プロセッサ１１０内に配置される。

【0243】

ラウドスピーカ１７０Ａは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス１００は、ラウドスピーカ１７０Ａを通じてハンズフリーモードで音楽を聴いたり呼に応答したりし得る。

【0244】

レシーバ１７０Ｂは、「イヤピース」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス１００を介して呼に応答したり音声メッセージを受けたりする場合、レシーバ１７０Ｂを人の耳に近づけて音声を聞くことができる。

【0245】

マイクロフォン１７０Ｃは、「マイク（mike）」又は「マイク（mic）」とも呼ばれ、音声信号を電気信号に変換するように構成される。ユーザは、電話をかけたり音声メッセージを送信したりする際に、人の口をマイクロフォン１７０Ｃに近づけて音を発して、その音声信号をマイクロフォン１７０Ｃに入力し得る。少なくとも１つのマイクロフォン１７０Ｃが電子デバイス１００内に配置され得る。いくつかの他の実施形態では、音声信号を収集することに加えて、ノイズリダクション機能を実装するために、２つのマイクロフォン１７０Ｃが電子デバイス１００内に配置され得る。いくつかの他の実施形態では、代替的に、３つ、４つ、又はそれ以上のマイクロフォン１７０Ｃを電子デバイス１００内に配置して、音声信号を収集し、ノイズリダクションを実装し、音源を識別し、それにより、指向性録音機能などを実装してもよい。

【0246】

ヘッドセットジャック１７０Ｄは、ワイヤードヘッドセットに接続するように構成される。ヘッドセットジャック１７０Ｄは、ＵＳＢインターフェース１３０であってもよいし、３．５ｍｍのオープンモバイル端末プラットフォーム（open mobile terminal platform、ＯＭＴＰ）標準インターフェース若しくは米国セルラー電気通信産業協会（Cellular Telecommunications Industry Association of the USA、ＣＴＩＡ）標準インターフェースであってもよい。

【0247】

圧力センサ１８０Ａは、圧力信号を感知するように構成され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサ１８０Ａは、ディスプレイ１９４内に配置され得る。圧力センサ１８０Ａには、抵抗型圧力センサ、誘導型圧力センサ、及び容量性圧力センサなど、多くのタイプがある。容量性圧力センサは、導電性材料を有する少なくとも２つの平行なプレートを含み得る。圧力センサ１８０Ａに力が加わると、電極間の静電容量が変化する。電子デバイス１００は、静電容量の変化に基づいて圧力の強さを決定する。ディスプレイ１９４に対してタッチ操作が行われると、電子デバイス１００は、圧力センサ１８０Ａを使用することによってタッチ操作の強度を検出する。電子デバイス１００はまた、圧力センサ１８０Ａの検出信号に基づいてタッチ位置を計算し得る。いくつかの実施形態では、同じタッチ位置に対して実行されるが、異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応し得る。例えば、第１の圧力閾値未満のタッチ操作強度を有するタッチ操作がショートメッセージアプリケーションアイコンに対して実行されると、ショートメッセージを閲覧する命令が実行される。第１の圧力閾値以上のタッチ操作強度を有するタッチ操作がショートメッセージアプリケーションアイコンに対して実行されると、新しいショートメッセージを作成する命令が実行される。

【0248】

ジャイロセンサ１８０Ｂは、電子デバイス１００の動き姿勢を決定するように構成され得る。いくつかの実施形態では、３つの軸（ｘ、ｙ、及びｚ軸）の周りの電子デバイス１００の角速度は、ジャイロセンサ１８０Ｂを使用することによって決定され得る。ジャイロセンサ１８０Ｂは、手振れ補正のために使用され得る。例えば、シャッターが押されると、ジャイロセンサ１８０Ｂは、電子デバイス１００がジッタする角度を検出し、この角度に基づいて、レンズモジュールが補償する必要がある距離を計算し、レンズが逆の動きを通じて電子デバイス１００の揺らぎを打ち消すことを可能にして、画像安定化を実現する。ジャイロセンサ１８０Ｂは、ナビゲーションシナリオ及び動き感知ゲームシナリオで更に使用され得る。

【0249】

気圧センサ１８０Ｃは、気圧を測定するように構成される。いくつかの実施形態では、電子デバイス１００は、位置決め及びナビゲーションを支援するために、気圧センサ１８０Ｃによって測定された気圧値を使用することによって高度を計算する。

【0250】

磁気センサ１８０Ｄは、ホールセンサを含む。電子デバイス１００は、磁気センサ１８０Ｄを使用することによってフリップホルスタの開閉を検出し得る。いくつかの実施形態では、電子デバイス１００がフリップデバイスであるとき、電子デバイス１００は、磁気センサ１８０Ｄを使用することによってフリップの開閉を検出し得る。更に、検出されたレザーケースの開閉状態又はフリップカバーの開閉状態に基づいて、フリップカバーを開けたときに自動的にロック解除されるなどの機能が設定される。

【0251】

加速度センサ１８０Ｅは、電子デバイス１００の様々な方向（通常は３軸）の加速度を検出し得る。電子デバイス１００が静止している場合、重力の大きさ及び方向が検出され得る。加速度センサ１８０Ｅは、電子デバイス１００の姿勢を識別するように更に構成されてもよく、歩数計及びランドスケープモードとポートレートモードとの間の切り替えなどの用途に適用される。

【0252】

距離センサ１８０Ｆは、距離を測定するように構成される。電子デバイス１００は、赤外線方式又はレーザー方式で距離を測定し得る。いくつかの実施形態では、撮影シナリオにおいて、電子デバイス１００は、距離センサ１８０Ｆを使用して距離を測定し、高速フォーカシングを達成し得る。

【0253】

光近接センサ１８０Ｇは、例えば、発光ダイオード（ＬＥＤ）と、フォトダイオードなどの光検出器とを含み得る。発光ダイオードは、赤外線発光ダイオードであり得る。電子デバイス１００は、発光ダイオードを使用することによって外部に赤外光を発光する。電子デバイス１００は、フォトダイオードを使用して、周囲の物体からの赤外線反射光を検出する。豊富な反射光が検出された場合、電子デバイス１００の近傍に物体が存在すると決定し得る。反射光が十分に検出されない場合、電子デバイス１００は、電子デバイス１００の近くに物体がないと決定し得る。電子デバイス１００は、光近接センサ１８０Ｇを使用して、ユーザが通話のために電子デバイス１００を耳の近くに保持していることを検出して、ディスプレイを自動的にオフにして電力を節約し得る。光近接センサ１８０Ｇはまた、自動ロック解除及び画面ロックのために、ホルスターモード又はポケットモードで使用され得る。

【0254】

環境光センサ１８０Ｌは、周囲光の明るさを感知するように構成される。電子デバイス１００は、感知された周囲光の明るさに基づいて、ディスプレイ１９４の輝度を適応的に調整し得る。環境光センサ１８０Ｌは、撮影中にホワイトバランスを自動的に調整するように更に構成され得る。環境光センサ１８０Ｌは、更に、光近接センサ１８０Ｇと協働して、電子デバイス１００がポケット内にあるかどうかを検出して、偶発的なタッチを防止し得る。

【0255】

指紋センサ１８０Ｈは、指紋を採取するように構成される。電子デバイス１００は、収集された指紋の特徴を使用して、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの写真撮影、指紋ベースの着呼応答などを実施し得る。

【0256】

温度センサ１８０Ｊは、温度を検出するように構成される。いくつかの実施形態では、電子デバイス１００は、温度センサ１８０Ｊによって検出された温度に基づいて温度処理ポリシーを実行する。例えば、温度センサ１８０Ｊによって報告された温度が閾値を超えるとき、電子デバイス１００は、温度センサ１８０Ｊの近くに位置するプロセッサの性能を低減して、電力消費を低減し、熱保護を実施する。いくつかの他の実施形態では、温度が別の閾値よりも低いとき、電子デバイス１００は、バッテリ１４２を加熱して、低温によって引き起こされる電子デバイス１００の異常シャットダウンを回避する。いくつかの他の実施形態では、温度が更に別の閾値よりも低いとき、電子デバイス１００は、バッテリ１４２の出力電圧をブーストして、低温によって引き起こされる異常シャットダウンを回避する。

【0257】

タッチセンサ１８０Ｋは、「タッチパネル」とも呼ばれる。タッチセンサ１８０Ｋは、ディスプレイ１９４上に配置され得、タッチセンサ１８０Ｋ及びディスプレイ１９４は、「タッチスクリーン」とも呼ばれるタッチスクリーンを形成する。タッチセンサ１８０Ｋは、タッチセンサ上又はその近傍で実行されたタッチ操作を検出するように構成される。タッチセンサは、タッチイベントのタイプを決定するために、検出されたタッチ操作をアプリケーションプロセッサに転送し得る。タッチ操作に関連する視覚的出力がディスプレイ１９４上に提供され得る。いくつかの他の実施形態では、タッチセンサ１８０Ｋは、代替的に、ディスプレイ１９４の位置とは異なる位置で電子デバイス１００の表面上に配置されてもよい。

【0258】

骨伝導センサ１８０Ｍは、振動信号を取得し得る。いくつかの実施形態では、骨伝導センサ１８０Ｍは、人体の音振動骨から振動信号を取得し得る。また、骨伝導センサ１８０Ｍは、人体の脈拍に接触して血圧拍動信号を受信し得る。いくつかの実施形態では、骨伝導センサ１８０Ｍは、骨伝導ヘッドセットに統合されるように、ヘッドセットに配置され得る。オーディオモジュール１７０は、音声機能を実装するために、骨伝導センサ１８０Ｍによって取得された音振動骨の振動信号に基づいて音声信号を解析し得る。アプリケーションプロセッサは、心拍数検出機能を実装するために、骨伝導センサ１８０Ｍによって取得された血圧拍動信号に基づいて心拍数情報を解析し得る。

【0259】

ボタン１９０は、電源ボタン、音量ボタンなどを含む。ボタン１９０は、機械的ボタンであってもよくいし、タッチセンサ式ボタンであってもよい。電子デバイス１００は、ボタン入力を受信し、電子デバイス１００のユーザ設定及び機能制御と関連したボタン信号入力を生成し得る。

【0260】

モータ１９１は、振動アラートを生成し得る。モータ１９１は、着信呼のための振動アラートのために使用され得、タッチ振動フィードバックのためにも使用され得る。例えば、異なるアプリケーション（例えば、撮影及びオーディオ再生）上のタッチ操作は、異なる振動フィードバック効果に対応し得る。ディスプレイ１９４の異なる領域上のタッチ操作について、モータ１９１はまた、対応して異なる振動フィードバック効果を生成し得る。異なるアプリケーションシナリオ（時間リマインダ、情報受信、目覚し時計、及びゲームなど）はまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は、更にカスタマイズされ得る。

【0261】

インジケータ１９２は、インジケータであり得、充電ステータス及び電力変化を示すように構成され得るか、又はメッセージ、不在着信、通知などを示すように構成され得る。

【0262】

ＳＩＭカードインターフェース１９５は、ＳＩＭカードに接続するように構成される。ＳＩＭカードは、電子デバイス１００との接触又は分離を実施するために、ＳＩＭカードインターフェース１９５に挿入され得るか、又はＳＩＭカードインターフェース１９５から取り外され得る。電子デバイス１００は、１つ又はＮ個のＳＩＭカードインターフェースをサポートし得、ここで、Ｎは、１よりも大きい正の整数である。ＳＩＭカードインターフェース１９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカードなどをサポートし得る。複数のカードが同じＳＩＭカードインターフェース１９５に挿入され得る。複数のカードのタイプは、同じであってもよいし、異なっていてもよい。ＳＩＭカードインターフェース１９５はまた、異なるタイプのＳＩＭカードと互換性があり得る。ＳＩＭカードインターフェース１９５はまた、外部メモリカードと互換性があり得る。電子デバイス１００は、ＳＩＭカードを介してネットワークと対話して、通話及びデータ通信などの機能を実装する。いくつかの実施形態では、電子デバイス１００は、ｅＳＩＭ、すなわち、組み込み型ＳＩＭカードを使用する。ｅＳＩＭカードは、電子デバイス１００に埋め込まれ得、電子デバイス１００から分離することができない。

【0263】

図９に示される電子デバイス１００は例にすぎず、電子デバイス１００は、図９に示される構成要素よりも多い又は少ない構成要素を有してもよいし、２つ以上の構成要素を組み合わせてもよいし、異なる構成要素構成を有してもよいことを理解されたい。図９に示される様々な構成要素は、１つ又は複数の信号プロセッサ及び／又は特定用途向け集積回路を含むハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せを使用することによって実装され得る。

【0264】

以下では、本出願の一実施形態による、電子デバイス１００のソフトウェア構造について説明する。

【0265】

図１０は、本出願の一実施形態による、電子デバイス１００のソフトウェア構造の一例を示す。

【0266】

図１０に示すように、電子デバイス１００のソフトウェアシステムは、階層化アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを使用し得る。以下では、一例を使用して、電子デバイス１００のソフトウェア構造について説明する。

【0267】

ソフトウェアは、階層化アーキテクチャを使用することによっていくつかの層に分割され、各層は、明確な役割及びタスクを有する。これらの層は、ソフトウェアインターフェース接続を使用することによって互いに通信する。いくつかの実施形態では、電子デバイス１００のソフトウェア構造は、上から下へ、アプリケーション層、アプリケーションフレームワーク層、及びカーネル層という３つの層に分割される。

【0268】

アプリケーション層は、一連のアプリケーションパッケージを含み得る。

【0269】

図１０に示すように、アプリケーションパッケージは、カメラ、ギャラリー、カレンダー、電話、マップ、ナビゲーション、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、音楽、ビデオ、及びメッセージなどのアプリケーションを含み得る。ビデオは、本出願の実施形態において言及されたビデオアプリケーションであり得る。

【0270】

アプリケーションフレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの予め定義された機能を含む。

【0271】

図１０に示すように、アプリケーションフレームワーク層は、ウィンドウマネジャ、コンテンツプロバイダ、ビューシステム、電話マネジャ、リソースマネジャ、通知マネジャ、ビデオ処理システムなどを含み得る。

【0272】

ウィンドウマネジャはウィンドウプログラムを管理するように構成される。ウィンドウマネジャは、表示サイズを取得し、ステータスバーがあるかどうかを決定し、画面をロックし、スクリーンショットを撮影するなどし得る。

【0273】

コンテンツプロバイダは、データを記憶及び取得し、アプリケーションがこれらのデータにアクセスできるようにするように構成される。データは、ビデオ、画像、音声、発呼及び着呼、閲覧履歴及び閲覧ブックマーク、アドレス帳などを含み得る。

【0274】

ビューシステムは、テキストを表示するためのコントロール、ピクチャを表示するためのコントロールなどの視覚的コントロールを含む。ビューシステムは、アプリケーションを構築するように構成され得る。ディスプレイインターフェースは、１つ又は複数のビューを含み得る。例えば、メッセージ通知アイコンを含むディスプレイインターフェースは、テキストを表示するためのビューと、ピクチャを表示するためのビューとを含み得る。

【0275】

電話マネジャは、電子デバイス１００の通信機能、例えば、通話ステータス（応答、拒否などを含む）の管理を提供するように構成される。

【0276】

リソースマネジャは、ローカライズされた文字列、アイコン、画像、レイアウトファイル、及びビデオファイルなどのアプリケーション用のリソースを提供する。

【0277】

通知マネジャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知メッセージを伝達するように構成され得る。通知マネジャは、ユーザ対話を必要とすることなく、短い休止の後に自動的に消え得る。例えば、通知マネジャは、ダウンロード完了を通知すること、メッセージリマインドを提供することなどを行うように構成される。通知マネジャは、代替的に、バックグラウンドで実行されているアプリケーションについての通知、又はダイアログウィンドウの形態で画面上に現れる通知など、グラフ又はスクロールバーテキストの形態でシステムの上部のステータスバーに現れる通知であり得る。例えば、ステータスバーに文字情報が表示されたり、アナウンスが行われたり、電子デバイスが振動したり、表示灯が点滅したりする。

【0278】

ビデオ処理システムは、本出願の実施形態において提供されるキャプション表示方法を実行するように構成され得る。ビデオ処理システムは、キャプション復号モジュールと、ビデオフレーム色域解釈モジュールと、ビデオフレーム合成モジュールと、ビデオフレームキューと、ビデオレンダリングモジュールとを含み得る。各モジュールの具体的な機能については、前述の実施形態における関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0279】

カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）ドライバ、及びセンサドライバを含む。

【0280】

以下では、撮影シナリオを参照して、電子デバイス１００のソフトウェア及びハードウェアの動作プロセスの一例について説明する。

【0281】

タッチセンサ１８０Ｋがタッチ操作を受信すると、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を元の入力イベント（タッチ操作のタッチ座標及びタイムスタンプなどの情報を含む）に処理する。元の入力イベントはカーネル層に記憶される。アプリケーションフレームワーク層は、カーネル層から元の入力イベントを取得し、入力イベントに対応するコントロールを識別する。例えば、タッチ操作はシングルタップ操作であり、シングルタップ操作に対応するコントロールは、カメラアプリケーションアイコンのコントロールである。カメラアプリケーションは、カメラアプリケーションを開始するために、アプリケーションフレームワーク層でインターフェースを呼び出す。そして、カーネル層を呼び出してカメラドライバを起動し、カメラ１９３を使用して静止画像又はビデオを撮影する。

【0282】

以下では、本出願の一実施形態による、別の電子デバイス１００の構造について説明する。

【0283】

図１１は、本出願の一実施形態による、別の電子デバイス１００の構成の一例を示す。

【0284】

図１１に示すように、電子デバイス１００は、ビデオアプリケーション１１００とビデオ処理システム１１１０とを含み得る。

【0285】

ビデオアプリケーション１１００は、電子デバイス１００にインストールされたシステムアプリケーション（例えば、図２Ａに示される「ビデオ」アプリケーション）であり得るか、又は第三者によって提供され、電子デバイス１００にインストールされ、ビデオ再生機能を有するアプリケーションであり得る。ビデオアプリケーション１１００は、主にビデオを再生するように構成される。

【0286】

ビデオ処理システム１１１０は、ビデオ復号モジュール１１１１と、キャプション復号モジュール１１１２と、ビデオフレーム色域解釈モジュール１１１３と、ビデオフレーム合成モジュール１１１４と、ビデオフレームキュー１１１５と、ビデオレンダリングモジュール１１１６とを含み得る。

【0287】

ビデオ復号モジュール１１１１は、ビデオアプリケーション１１００によって送信されたビデオ情報ストリームを受信し、ビデオ情報ストリームを復号してビデオフレームを生成し得る。

【0288】

キャプション復号モジュール１１１２は、ビデオアプリケーション１１００によって送信されたキャプション情報ストリームを受信し、キャプション情報ストリームを復号してキャプションフレームを生成し、ビデオフレーム色域解釈モジュール１１１３によって送信されたマスクパラメータに基づいて、マスクを有するキャプションフレームを送信して、キャプション認識度を高め得る。

【0289】

ビデオフレーム色域解釈モジュール１１１３は、キャプション認識度を分析してキャプション認識度分析結果を生成し、キャプション認識度分析結果に基づいて、キャプションに対応するマスクパラメータ（マスクの色値及び透明度）を計算し得る。

【0290】

ビデオフレーム合成モジュール１１１４は、ビデオフレームとキャプションフレームとを重ね合わせて結合し、表示されるべきビデオフレームを生成し得る。

【0291】

ビデオフレームキュー１１１５は、ビデオフレーム合成モジュール１１１４によって送信された表示されるべきビデオフレームを記憶し得る。

【0292】

ビデオレンダリングモジュール１１１６は、表示されるべきビデオフレームを時系列に基づいてレンダリングして、レンダリングされたビデオフレームを生成し、レンダリングされたビデオフレームをビデオ再生のためにビデオアプリケーション１１００に送信し得る。

【0293】

電子デバイス１００の機能及び作動原理に関する更なる詳細については、前述の実施形態における関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0294】

図１１に示される電子デバイス１００は一例にすぎず、電子デバイス１００は、図１１に示される構成要素よりも多い又は少ない構成要素を有してもよいし、２つ以上の構成要素を組み合わせてもよいし、異なる構成要素構成を有してもよいことを理解されたい。図１１に示される様々な構成要素は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで実装され得る。

【0295】

前述のモジュールは、機能によって分割され得る。実際の製品では、モジュールは、同じソフトウェアモジュールによって実行される異なる機能であり得る。

【0296】

以下では、本出願の一実施形態による、別の電子デバイス１００の構造について説明する。

【0297】

図１２は、本出願の一実施形態による、別の電子デバイス１００の構成の一例を示す。

【0298】

図１２に示すように、電子デバイス１００は、ビデオアプリケーション１２００を含み得る。ビデオアプリケーション１２００は、ビデオ復号モジュール１２１１、キャプション復号モジュール１２１２、ビデオフレーム色域解釈モジュール１２１３、ビデオフレーム合成モジュール１２１４、ビデオフレームキュー１２１５、及びビデオレンダリングモジュール１２１６を含み得る。

【0299】

ビデオアプリケーション１２００は、電子デバイス１００にインストールされたシステムアプリケーション（例えば、図２Ａに示される「ビデオ」アプリケーション）であり得るか、又は第三者によって提供され、電子デバイス１００にインストールされ、ビデオ再生機能を有するアプリケーションであり得る。ビデオアプリケーション１２００は、主にビデオを再生するように構成される。

【0300】

取得及び表示モジュール１２１０は、ビデオ情報ストリーム及びキャプション情報ストリームを取得し、ビデオレンダリングモジュール１２１６などによって送信されたレンダリングされたビデオフレームを表示し得る。

【0301】

ビデオ復号モジュール１２１１は、取得及び表示モジュール１２１０によって送信されたビデオ情報ストリームを受信し、ビデオ情報ストリームを復号してビデオフレームを生成し得る。

【0302】

キャプション復号モジュール１２１２は、取得及び表示モジュール１２１０によって送信されたキャプション情報ストリームを受信し、キャプション情報ストリームを復号してキャプションフレームを生成し、ビデオフレーム色域解釈モジュール１２１３によって送信されたマスクパラメータに基づいて、マスクを有するキャプションフレームを生成して、キャプション認識度を高め得る。

【0303】

ビデオフレーム色域解釈モジュール１２１３は、キャプション認識度を分析してキャプション認識度分析結果を生成し、キャプション認識度分析結果に基づいて、キャプションに対応するマスクパラメータ（マスクの色値及び透明度）を計算し得る。

【0304】

ビデオフレーム合成モジュール１２１４は、ビデオフレームとキャプションフレームとを重ね合わせて結合し、表示されるべきビデオフレームを生成し得る。

【0305】

ビデオフレームキュー１２１５は、ビデオフレーム合成モジュール１２１４によって送信された表示されるべきビデオフレームを記憶し得る。

【0306】

ビデオレンダリングモジュール１２１６は、時系列に基づいて表示されるべきビデオフレームをレンダリングして、レンダリングされたビデオフレームを生成し、レンダリングされたビデオフレームを、ビデオ再生のために取得及び表示モジュール１２１０に送信し得る。

【0307】

電子デバイス１００の機能及び作動原理に関する更なる詳細については、前述の実施形態における関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0308】

図１２に示される電子デバイス１００は一例にすぎず、電子デバイス１００は、図１２に示される構成要素よりも多い又は少ない構成要素を有してもよいし、２つ以上の構成要素を組み合わせてもよいし、異なる構成要素構成を有してもよいことを理解されたい。図１２に示される様々な構成要素は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで実装され得る。

【0309】

前述の実施形態は、本出願の技術的解決策を説明することを意図しているにすぎず、本出願を限定することを意図していない。本出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本出願の実施形態の技術的解決策の趣旨及び範囲から逸脱することなく、前述の実施形態において説明された技術的解決策を更に修正し、又はそのいくつかの技術的特徴に対して同等の置換を行うことができることを理解すべきである。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-01-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

キャプション表示方法であって、
電子デバイスが、第１のビデオを再生するステップ
を含み、
前記電子デバイスが第１のインターフェースを表示するとき、前記第１のインターフェースは、第１のピクチャと第１のキャプションとを含み、前記第１のキャプションは、第１のマスクを背景として使用することによってフローティング方式で前記第１のピクチャの第１の領域上に表示され、前記第１の領域は、前記第１のピクチャ内にあり、前記第１のキャプションの表示位置に対応する領域であり、前記第１のキャプションの色値と前記第１の領域の色値との間の差分値は、第１の値であり、
前記電子デバイスが第２のインターフェースを表示するとき、前記第２のインターフェースは、第２のピクチャと前記第１のキャプションとを含み、前記第１のキャプションに対してマスクは表示されず、前記第１のキャプションは、前記第２のピクチャの第２の領域上にフローティング方式で表示され、前記第２の領域は、前記第２のピクチャ内にあり、前記第１のキャプションの前記表示位置に対応する領域であり、前記第１のキャプションの前記色値と前記第２の領域の色値との間の差分値は、第２の値であり、前記第２の値は、前記第１の値よりも大きく、
前記第１のピクチャは、前記第１のビデオ内の１つのピクチャであり、前記第２のピクチャは、前記第１のビデオ内の別のピクチャである、
方法。

【請求項2】

前記電子デバイスが前記第１のインターフェースを表示する前に、前記方法は、
前記電子デバイスが、第１のビデオファイル及び第１のキャプションファイルを取得するステップであって、前記第１のビデオファイル及び前記第１のキャプションファイルは同じ時間情報を搬送する、ステップと、
前記電子デバイスが、前記第１のビデオファイルに基づいて第１のビデオフレームを生成するステップであって、前記第１のビデオフレームは、前記第１のピクチャを生成するために使用される、ステップと、
前記電子デバイスが、前記第１のキャプションファイルに基づいて第１のキャプションフレームを生成し、前記第１のキャプションフレームから前記第１のキャプションの前記色値及び前記表示位置を取得するステップであって、前記第１のキャプションフレームで搬送される時間情報は、前記第１のビデオフレームで搬送される時間情報と同じである、ステップと、
前記電子デバイスが、前記第１のキャプションの前記表示位置に基づいて前記第１の領域を決定するステップと、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成するステップと、
前記電子デバイスが、前記第１のキャプションフレーム内の前記第１のマスク上に前記第１のキャプションを重ね合わせて第２のキャプションフレームを生成し、前記第２のキャプションフレームと前記第１のビデオフレームとを結合するステップと
を更に含む、請求項１に記載の方法。

【請求項3】

前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成する前記ステップの前に、前記方法は、
前記電子デバイスが、前記第１の値が第１の閾値未満であると決定するステップ
を更に含む、請求項２に記載の方法。

【請求項4】

前記電子デバイスが、前記第１の値が第１の閾値未満であると決定する前記ステップは、具体的には、
前記電子デバイスが、前記第１の領域をＮ個の第１のサブ領域に分割するステップであって、Ｎは正の整数である、ステップと、
前記電子デバイスが、前記第１のキャプションの前記色値と前記Ｎ個の第１のサブ領域の色値とに基づいて、前記第１の値が前記第１の閾値未満であると決定するステップと
を含む、請求項３に記載の方法。

【請求項5】

前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成する前記ステップは、具体的には、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記Ｎ個の第１のサブ領域の前記色値に基づいて、前記第１のマスクの色値を決定するステップと、
前記電子デバイスが、前記第１のマスクの前記色値に基づいて前記第１のマスクを生成するステップと
を含む、請求項４に記載の方法。

【請求項6】

前記電子デバイスが、前記第１の値が第１の閾値未満であると決定する前記ステップは、具体的には、
前記電子デバイスが、前記第１の領域をＮ個の第１のサブ領域に分割するステップであって、Ｎは正の整数である、ステップと、
前記電子デバイスが、隣接する第１のサブ領域の色値の間の差分値に基づいて、前記隣接する第１のサブ領域を第２のサブ領域に結合するかどうかを決定するステップと、
前記隣接する第１のサブ領域の前記色値の間の前記差分値が第２の閾値未満であるとき、前記電子デバイスが、前記隣接する第１のサブ領域を前記第２のサブ領域に結合するステップと、
前記電子デバイスが、前記第１のキャプションの前記色値と前記第２のサブ領域の色値とに基づいて、前記第１の値が前記第１の閾値未満であると決定するステップと
を含む、請求項３に記載の方法。

【請求項7】

前記第１の領域は、Ｍ個の第２のサブ領域を含み、Ｍは、正の整数であり、Ｎ以下であり、前記第２のサブ領域は、１つ又は複数の第１のサブ領域を含み、各第２のサブ領域に含まれる第１のサブ領域の数は、別の第２のサブ領域に含まれる第１のサブ領域の数と同じであるか、又は異なる、請求項６に記載の方法。

【請求項8】

前記電子デバイスが、前記第１のキャプションの前記色値又は前記第１の領域の前記色値に基づいて前記第１のマスクを生成する前記ステップは、具体的には、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記Ｍ個の第２のサブ領域の色値に基づいて、Ｍ個の第１のサブマスクの色値を順次計算するステップと、
前記電子デバイスが、前記Ｍ個の第１のサブマスクの前記色値に基づいて前記Ｍ個の第１のサブマスクを生成するステップであって、前記Ｍ個の第１のサブマスクは、前記第１のサブマスクに結合される、ステップと
を含む、請求項７に記載の方法。

【請求項9】

前記方法は、
前記電子デバイスが第３のインターフェースを表示するとき、前記第３のインターフェースは、第３のピクチャと前記第１のキャプションとを含み、前記第１のキャプションは、少なくとも第１の部分と第２の部分とを含み、前記第１の部分に対して第２のサブマスクが表示され、前記第２の部分に対して第３のサブマスクが表示されるか又は前記第３のサブマスクが表示されず、前記第２のサブマスクの色値は前記第３のサブマスクの色値とは異なる、
を更に含む、請求項１に記載の方法。

【請求項10】

前記第１のマスクの表示位置は、前記第１のキャプションの前記表示位置に基づいて決定される、請求項１に記載の方法。

【請求項11】

前記第１のマスクの前記色値と前記第１のキャプションの前記色値との間の差分値は、前記第１の値よりも大きい、請求項１に記載の方法。

【請求項12】

前記第１のピクチャ及び前記第２のピクチャにおいて、前記電子デバイスの表示画面に対する前記第１のキャプションの前記表示位置は、固定されていないか、又は固定されており、前記第１のキャプションは、連続的に表示される文字又は記号のセグメントである、請求項１に記載の方法。

【請求項13】

前記電子デバイスが前記第１のインターフェースを表示する前に、前記方法は、
前記電子デバイスが、前記第１のマスクの透明度を１００％未満に設定するステップ
を更に含む、請求項１に記載の方法。

【請求項14】

前記電子デバイスが前記第２のインターフェースを表示する前に、前記方法は、
前記電子デバイスが、前記第１のキャプションの前記色値又は前記第２の領域の前記色値に基づいて第２のマスクを生成し、前記第１のキャプションを前記第２のマスク上に重ね合わせるステップであって、前記第２のマスクの色値は予め設定された色値であり、前記第２のマスクの透明度は１００％である、ステップ、
又は、
前記電子デバイスが、前記第２のマスクの生成をスキップするステップ
を更に含む、請求項１に記載の方法。

【請求項15】

１つ又は複数のプロセッサと１つ又は複数のメモリとを備える電子デバイスであって、前記１つ又は複数のメモリは、前記１つ又は複数のプロセッサに結合され、前記１つ又は複数のメモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記１つ又は複数のプロセッサが前記コンピュータ命令を実行すると、前記電子デバイスは、請求項１から１４のいずれか一項に記載の方法を実行することが可能になる、電子デバイス。

【請求項16】

コンピュータプログラムであって、前記コンピュータプログラムはプログラム命令を含み、前記プログラム命令が電子デバイス上で実行されると、前記電子デバイスは、請求項１から１４のいずれか一項に記載の方法を実行することが可能になる、コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

［技術分野］
本出願は、端末技術の分野に関し、特に、キャプション表示方法及び関連装置に関する。

【背景技術】

【0002】

電子製品の急速な発展に伴い、携帯電話、タブレット型コンピュータ、及びスマートテレビなどの電子デバイスは、人々の生活の中でユビキタスになっており、ビデオ再生もまた、これらの電子デバイスの重要なアプリケーション機能になっている。電子デバイスがビデオを再生する際に、再生されるビデオに関連するキャプションがビデオ再生ウィンドウに表示されるアプリケーションシナリオも普及している。例えば、音声と同期されたキャプションをビデオ再生ウィンドウに表示したり、ユーザによって入力されたキャプションをビデオ再生ウィンドウに表示したりして、ビデオ対話を向上させる。

【0003】

しかしながら、ビデオが再生されると同時にキャプションが表示される前述のアプリケーションシナリオでは、ビデオの色及び輝度がキャプションの色に近い場合、又はキャプションの色及び輝度がキャプションの表示位置におけるビデオの色及び輝度と高度に一致する場合、例えば、高輝度のシナリオでいくつかの明るい色のキャプションが表示される場合、又は雪のシナリオでいくつかの白いキャプションが表示される場合、キャプションが十分に認識できず、ユーザにはっきりと見えにくい。従って、ユーザエクスペリエンスが低下する。

【発明の概要】

【0004】

本出願の一実施形態は、キャプション表示方法及び関連デバイスを提供し、ユーザがビデオを見るプロセスにおいてキャプション認識度（caption recognition）が低いという問題を解決して、ユーザエクスペリエンスを向上させる。

【0005】

第１の態様によれば、本出願の一実施形態は、キャプション表示方法を提供する。この方法は、以下を含む：電子デバイスが、第１のビデオを再生する。電子デバイスが第１のインターフェースを表示するとき、第１のインターフェースは、第１のピクチャと第１のキャプションとを含み、第１のキャプションは、第１のマスクを背景として使用することによってフローティング方式で第１のピクチャの第１の領域上に表示され、第１の領域は、第１のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第１のキャプションの色値と第１の領域の色値との間の差分値は、第１の値である。電子デバイスが第２のインターフェースを表示するとき、第２のインターフェースは、第２のピクチャと第１のキャプションとを含み、第１のキャプションに対してマスクは表示されず、第１のキャプションは、第２のピクチャの第２の領域上にフローティング方式で表示され、第２の領域は、第２のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第１のキャプションの色値と第２の領域の色値との間の差分値は、第２の値であり、第２の値は、第１の値よりも大きい。第１のピクチャは、第１のビデオ内の１つのピクチャであり、第２のピクチャは、第１のビデオ内の別のピクチャである。

【0006】

本出願のこの実施形態では、前述のキャプション表示方法を実施することによって、電子デバイスは、キャプション認識度が低い場合にキャプションに対してマスクを設定し、キャプションの色を変更することなく、キャプション認識度を高めることができる。

【0007】

可能な実装形態では、電子デバイスが第１のピクチャを表示する前に、方法は、以下を更に含む：電子デバイスは、第１のビデオファイル及び第１のキャプションファイルを取得し、ここで、第１のビデオファイル及び第１のキャプションファイルは同じ時間情報を搬送する。電子デバイスは、第１のビデオファイルに基づいて第１のビデオフレームを生成し、ここで、第１のビデオフレームは、第１のピクチャを生成するために使用される。電子デバイスは、第１のキャプションファイルに基づいて第１のキャプションフレームを生成し、第１のキャプションフレームから第１のキャプションの色値及び表示位置を取得し、ここで、第１のキャプションフレームで搬送される時間情報は、第１のビデオフレームで搬送される時間情報と同じである。電子デバイスは、第１のキャプションの表示位置に基づいて第１の領域を決定する。電子デバイスは、第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成する。電子デバイスは、第１のキャプションフレーム内の第１のマスク上に第１のキャプションを重ね合わせて第２のキャプションフレームを生成し、第２のキャプションフレームと第１のビデオフレームとを結合する。このようにして、電子デバイスは、再生されるべきビデオファイル及び表示されるべきキャプションファイルを取得し、次いで、ビデオファイルを復号してビデオフレームを取得し、キャプションファイルを復号してキャプションフレームを取得し得る。その後、電子デバイスは、キャプションフレームからキャプション色域情報、キャプション位置情報などを抽出し、キャプション位置情報に基づいて、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置における色域情報を抽出し、キャプション色域情報と、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置の色域情報とに基づいてキャプション認識度を計算し得る。更に、電子デバイスは、キャプション認識度に基づいて、キャプションに対応するマスクの色値を計算して、マスクフレームを有するキャプションフレームを生成し、次いで、ビデオフレームとマスクを有するキャプションフレームとを結合し、結合されたビデオフレームをレンダリングする。

【0008】

可能な実装形態では、電子デバイスが第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成する前に、方法は、以下を更に含む：電子デバイスは、第１の値が第１の閾値未満であると決定する。このようにして、電子デバイスは、第１の値が第１の閾値未満であると決定することによって、キャプション認識度が低いことを更に決定し得る。

【0009】

可能な実装形態では、電子デバイスが、第１の値が第１の閾値未満であると決定することは、具体的には、以下を含む：電子デバイスは、第１の領域をＮ個の第１のサブ領域に分割し、ここで、Ｎは正の整数である。電子デバイスは、第１のキャプションの色値とＮ個の第１のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると決定する。このようにして、電子デバイスは、第１のキャプションの色値とＮ個の第１のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると決定し得る。

【0010】

可能な実装形態では、電子デバイスが、第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成することは、具体的には、以下を含む：電子デバイスは、第１のキャプションの色値又はＮ個の第１のサブ領域の色値に基づいて、第１のマスクの色値を決定する。電子デバイスは、第１のマスクの色値に基づいて第１のマスクを生成する。このようにして、電子デバイスは、第１のキャプションの色値又はＮ個の第１のサブ領域の色値に基づいて第１のマスクの色値を決定し、第１のキャプションに対する第１のマスクを更に生成し得る。

【0011】

可能な実装形態では、電子デバイスが、第１の値が第１の閾値未満であると決定することは、以下を具体的に含む：電子デバイスは、第１の領域をＮ個の第１のサブ領域に分割し、ここで、Ｎは正の整数である。電子デバイスは、隣接する第１のサブ領域の色値の間の差分値に基づいて、隣接する第１のサブ領域を第２のサブ領域に結合するかどうかを決定する。隣接する第１のサブ領域の色値間の差分値が第２の閾値未満である場合、電子デバイスは、隣接する第１のサブ領域を第２のサブ領域に結合する。電子デバイスは、第１のキャプションの色値と第２のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると決定する。このようにして、電子デバイスは、近い色値を有する第１のサブ領域を結合して第２のサブ領域を生成し、第１のキャプションの色値と第２のサブ領域の色値とに基づいて、第１の値が第１の閾値未満であると更に決定し得る。

【0012】

可能な実装形態では、第１の領域は、Ｍ個の第２のサブ領域を含み、Ｍは、正の整数であり、Ｎ以下であり、第２のサブ領域は、１つ又は複数の第１のサブ領域を含み、各第２のサブ領域に含まれる第１のサブ領域の数は、別の第２のサブ領域に含まれる第１のサブ領域の数と同じであるか、又は異なる。このようにして、電子デバイスは、第１の領域をＭ個の第２のサブ領域に分割し得る。

【0013】

可能な実装形態では、電子デバイスが、第１のキャプションの色値又は第１の領域の色値に基づいて第１のマスクを生成することは、具体的には、以下を含む：電子デバイスは、第１のキャプションの色値又はＭ個の第２のサブ領域の色値に基づいて、Ｍ個の第１のサブマスクの色値を順次計算する。電子デバイスは、Ｍ個の第１のサブマスクの色値に基づいてＭ個の第１のサブマスクを生成し、ここで、Ｍ個の第１のサブマスクは、第１のサブマスクに結合される。このようにして、電子デバイスは、第１のキャプションに対するＭ個の第１のサブマスクを生成し得る。

【0014】

可能な実装形態では、方法は、以下を更に含む：電子デバイスが第３のインターフェースを表示するとき、第３のインターフェースは、第３のピクチャと第１のキャプションとを含み、第１のキャプションは、少なくとも第１の部分と第２の部分とを含み、第１の部分に対して第２のサブマスクが表示され、第２の部分に対して第３のサブマスクが表示されるか又は第３のサブマスクが表示されず、第２のサブマスクの色値は第３のサブマスクの色値とは異なる。このようにして、電子デバイスは、複数のサブマスクに対応するキャプションを表示し得る。

【0015】

可能な実装形態では、第１のマスクの表示位置は、第１のキャプションの表示位置に基づいて決定される。このようにして、第１のマスクの表示位置は、第１のキャプションの表示位置と重なり得る。

【0016】

可能な実装形態では、第１のマスクの色値と第１のキャプションの色値との間の差分値は、第１の値よりも大きい。このようにして、キャプション認識度を高めることができる。

【0017】

可能な実装形態では、第１のピクチャ及び第２のピクチャにおいて、電子デバイスの表示画面に対する第１のキャプションの表示位置は、固定されていないか、又は固定されており、第１のキャプションは、連続的に表示される文字又は記号のセグメントである。このようにして、第１のキャプションは、弾幕コメント（bullet comment）（bullet
barrage）、又は音声と同期されたキャプションであり得、第１のキャプションは、表示画面上に表示される全てのキャプションではなく、１つのキャプションである。

【0018】

可能な実装形態では、電子デバイスが第１のインターフェースを表示する前に、方法は、以下を含む：電子デバイスは、第１のマスクの透明度を１００％未満に設定する。このようにして、第１のマスクが位置する領域に対応するビデオフレームが依然としてある程度可視であることを保証することができる。

【0019】

可能な実装形態では、電子デバイスが第２のインターフェースを表示する前に、方法は以下を含む：電子デバイスは、第１のキャプションの色値又は第２の領域の色値に基づいて第２のマスクを生成し、第１のキャプションを第２のマスクに重ね合わせ、ここで、第２のマスクの色値は予め設定された色値であり、第２のマスクの透明度は１００％である。代替的に、電子デバイスは、第２のマスクの生成をスキップする。このようにして、認識度の高いキャプションについて、電子デバイスは、透明度が１００％であるマスクをキャプションに対して設定してもよいし、キャプションに対してマスクを設定しなくてもよい。

【0020】

第２の態様によれば、本出願の一実施形態は、電子デバイスを提供する。電子デバイスは、１つ又は複数のプロセッサと１つ又は複数のメモリとを含み、１つ又は複数のメモリは、１つ又は複数のプロセッサに結合され、１つ又は複数のメモリは、コンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードは、コンピュータ命令を含み、１つ又は複数のプロセッサがコンピュータ命令を実行すると、電子デバイスは、第１の態様の任意の可能な実装形態における方法を実行することが可能になる。

【0021】

第３の態様によれば、本出願の一実施形態は、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムはプログラム命令を含み、プログラム命令が電子デバイス上で実行されると、電子デバイスは、第１の態様の任意の可能な実装形態による方法を実行することが可能になる。

【0022】

第４の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第１の態様の任意の可能な実装形態による方法を実行することが可能になる。

【図面の簡単な説明】

【0023】

【図1A】本出願の一実施形態によるキャプション表示方法の概略的なフローチャートである。

【図1B】本出願の一実施形態によるキャプション表示方法の概略フローチャートである。

【図2A】本出願の一実施形態によるユーザインターフェースのグループの概略図である。

【図2B】本出願の一実施形態によるユーザインターフェースのグループの概略図である。

【図2C】本出願の一実施形態によるユーザインターフェースのグループの概略図である。

【図3A】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図3B】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図3C】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図3D】本出願の一実施形態による別のキャプション表示方法の概略フローチャートである。

【図4】本出願の一実施形態によるキャプションフレームの概略図である。

【図5】本出願の一実施形態による、キャプションに対応するマスクを生成する原理の概略図である。

【図6A】本出願の一実施形態による、マスクを有するキャプションフレームの概略図である。

【図6B】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図6C】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図7A】本出願の一実施形態による、キャプションに対応するマスクを生成するための方法の概略フローチャートである。

【図7B】本出願の一実施形態による、キャプションに対応するマスクを生成する別の原理の概略図である。

【図8A】本出願の一実施形態による、マスクを有する別のキャプションフレームの概略図である。

【図8B】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図8C】本出願の一実施形態による、キャプションを表示するためのユーザインターフェースのグループの概略図である。

【図9】本出願の一実施形態による、電子デバイスの構造の概略図である。

【図10】本出願の一実施形態による、電子デバイスのソフトウェア構造の概略図である。

【図11】本出願の一実施形態による、別の電子デバイスの構造の概略図である。

【図12】本出願の一実施形態による、別の電子デバイスの構造の概略図である。

【発明を実施するための形態】

【0024】

以下では、本出願の実施形態における添付図面を参照して、本出願の実施形態における技術的解決策について明確に説明する。本出願の実施形態の説明では、別段の指定がない限り、「／」は「又は」関係を示す。例えば、Ａ／ＢはＡ又はＢを表し得る。本明細書における「及び／又は（and/or）」は、関連するオブジェクトを説明するための単なる関連関係であり、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、以下の３つの場合を表し得る：Ａのみが存在する、ＡとＢの両方が存在する、Ｂのみが存在する。加えて、本出願の実施形態の説明では、「複数の（a plurality of）」は「２つ以上の（two or more）」を意味する。

【0025】

本出願の明細書、特許請求の範囲、及び添付図面において、「第１の」、「第２の」などの用語は、異なる物体を区別することを意図するものであり、特定の順序を示すことを意図するものではないことを理解されたい。加えて、「含む（include）」、「有する（have）」などの用語、及びそれらの任意の他の変形は、非排他的な包含をカバーすることを意図するものである。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、列挙されたステップ又はユニットに限定されず、任意選択で、列挙されていないステップ又はユニットを更に含むか、又は任意選択で、プロセス、方法、製品、又はデバイスの別の固有のステップ又はユニットを更に含む。

【0026】

本出願で言及される「実施形態」は、実施形態を参照して説明される特定の特性、構造、又は特徴が、本出願の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所に示される表現は、必ずしも同じ実施形態を意味するとは限らず、他の実施形態から排他的な独立した又は任意の実施形態ではない。本出願において説明される実施形態は、他の実施形態と組み合わされ得ることが、当業者によって明示的及び暗示的に理解される。

【0027】

理解を容易にするために、以下ではまず、本出願の実施形態におけるいくつかの関連する概念について説明する。

【0028】

１．ビデオ復号：

【0029】

ビデオファイルのバイナリデータが読み取られ、ビデオファイルの圧縮アルゴリズムに従って解釈することによって、ビデオ再生のための画像フレーム（ビデオフレームと呼ばれることもある）のデータが取得されるプロセス。

【0030】

２．キャプション：

【0031】

ビデオ再生中にビデオ再生ウィンドウに表示され、ビデオファイルとは無関係であるテキスト及び記号情報。

【0032】

３．ビデオ再生：

【0033】

ビデオ復号及びビデオレンダリングなどの動作がビデオファイルに対して実行された後に、画像のグループ及び対応する音声情報をビデオ再生ウィンドウに時系列で表示するプロセス。

【0034】

４．弾幕コメント：

【0035】

ビデオ再生クライアント（又はビデオアプリケーションと呼ばれる）上でユーザによって入力され、ビデオ再生のための画像フレームの、ユーザによって入力された時間に対応する位置に基づいて、入力ユーザのビデオ再生ウィンドウに、又はビデオ再生クライアント上の別のユーザのビデオ再生ウィンドウに表示され得るキャプション。

【0036】

電子製品の急速な発展に伴い、携帯電話、タブレット型コンピュータ、及びスマートテレビなどの電子デバイスは、人々の生活の中でユビキタスになっており、ビデオ再生もまた、これらの電子デバイスの重要なアプリケーション機能になっている。電子デバイスがビデオを再生する際に、再生されるビデオに関連するキャプションがビデオ再生ウィンドウに表示されるアプリケーションシナリオも普及している。例えば、音声と同期されたキャプションをビデオ再生ウィンドウに表示したり、ユーザによって入力されたキャプション（すなわち、弾幕コメント）をビデオ再生ウィンドウに表示したりして、ビデオ対話を向上させる。

【0037】

音声と同期されたキャプションをビデオ再生ウィンドウで、通常はビデオ再生ウィンドウのより低い位置に、表示するアプリケーションシナリオでは、キャプションのタイムスタンプとビデオ内で再生される画像フレームのタイムスタンプとの間でマッチングが実行され、キャプションとビデオ内で再生される対応する画像フレームとが合成される。具体的には、キャプションは、対応するビデオフレーム上に重ね合わされ、キャプションとビデオフレームとの重なり位置は固定されている。

【0038】

ユーザによって入力されたキャプション（すなわち、弾幕コメント）をビデオ再生ウィンドウに表示するアプリケーションシナリオでは、ビデオ再生プロセス中に左から右に又は右から左に飛ぶキャプションがビデオ再生ウィンドウに複数存在し、キャプションとビデオフレームとの重なり位置は固定されていない。

【0039】

いくつかの実際のアプリケーションシナリオでは、ビデオ再生の楽しさを向上させるために、ビデオ再生プラットフォームは、通常、ユーザによってキャプションの色を選択する能力をユーザに提供する。音声と同期されたキャプションをビデオ再生ウィンドウに表示するアプリケーションシナリオでは、キャプションの色は、通常、システムのデフォルト色であり、ビデオを再生するとき、ユーザは、好ましいキャプションの色を選択し得る。この場合、電子デバイスは、ユーザによって選択された色に基づいてキャプションをビデオ再生ウィンドウに表示する。弾幕コメントをビデオ再生ウィンドウに表示するアプリケーションシナリオでは、弾幕コメントを送信するユーザは、送信されるべき弾幕コメントの色を選択し得、別のユーザによって見られる弾幕コメントの色は、弾幕コメントを送信するユーザによって選択された弾幕コメントの色と一致する。従って、ユーザが弾幕コメントを見るとき、同じビデオフレーム内に表示される弾幕コメントの色は異なる場合がある。

【0040】

前述の２つのアプリケーションシナリオを実施するために、本出願の一実施形態は、キャプション表示方法を提供する。電子デバイスは、まず、再生されるべきビデオファイルと、ビデオ再生ウィンドウに表示されるべきキャプションファイルとを取得し得、次いで、それぞれ、ビデオファイルに対してビデオ復号を実行してビデオフレームを取得し、キャプションファイルに対してキャプション復号を実行してキャプションフレームを取得し得る。次いで、電子デバイスは、時系列に基づいてビデオフレームとキャプションフレームとを位置合わせ及びマッチングして、最終的な表示されるべきビデオフレームを合成し、それをビデオフレームキューに記憶し得る。その後、電子デバイスは、時系列に基づいて、表示されるべきビデオフレームを読み取ってレンダリングし、最終的に、レンダリングされたビデオフレームをビデオ再生ウィンドウに表示し得る。

【0041】

以下では、前述のキャプション表示方法の方法手順について詳細に説明する。

【0042】

図１Ａ及び図１Ｂは、本出願の一実施形態によるキャプション表示方法の方法手順の一例を示す。

【0043】

図１Ａ及び図１Ｂに示すように、本方法は、ビデオ再生機能を有する電子デバイス１００に適用され得る。以下では、方法の特定のステップについて詳細に説明する。

【0044】

フェーズ１：ビデオ情報ストリーム及びキャプション情報ストリームの取得

【0045】

Ｓ１０１及びＳ１０２：電子デバイス１００は、ユーザによるビデオアプリケーション上でビデオを再生する操作を検出し、この操作に応答して、電子デバイス１００は、ビデオ情報ストリーム及びキャプション情報ストリームを取得し得る。

【0046】

具体的には、ビデオアプリケーションは、電子デバイス１００にインストールされ得る。ユーザによるビデオアプリケーション上でビデオを再生する操作を検出した後、この操作に応答して、電子デバイス１００は、ユーザが再生したいビデオに対応するビデオ情報ストリーム（又はビデオファイルと呼ばれる）及びキャプション情報ストリーム（又はキャプションファイルと呼ばれる）を取得し得る。

【0047】

例えば、図２Ａは、電子デバイス１００にインストールされたアプリケーションを表示するために電子デバイス１００によって提供されるユーザインターフェース（user interface、ＵＩ）を示す。電子デバイス１００は、ユーザインターフェース２１０内の「ビデオ」アプリケーションオプション２１１上でユーザによって実行された操作（例えば、タップ操作）を検出し得る。この操作に応答して、電子デバイス１００は、図２Ｂに示される例示的なユーザインターフェース２２０を表示し得る。ユーザインターフェース２２０は、「ビデオ」アプリケーションのメインインターフェースであり得る。電子デバイス１００は、ユーザインターフェース２２０内のビデオ再生オプション２２１上でユーザによって実行された操作（例えば、タップ操作）を検出し、この操作に応答して、電子デバイス１００は、ビデオ情報ストリームと、ビデオに対応するキャプション情報ストリームとを取得し得る。

【0048】

ビデオ情報ストリーム及びキャプション情報ストリームは、電子デバイス１００がビデオアプリケーションのサーバーからダウンロードしたファイルであってもよいし、電子デバイス１００から取得したファイルであってもよい。ビデオファイルとキャプションファイルの両方が時間情報を搬送する。

【0049】

図２Ａ及び図２Ｂは、電子デバイス１００上の例示的なユーザインターフェースを示すにすぎず、本出願のこの実施形態に対する限定を構成するものではないことが理解され得る。

【0050】

フェーズ２：ビデオの復号

【0051】

Ｓ１０３：電子デバイス１００上のビデオアプリケーションは、ビデオ情報ストリームを電子デバイス１００上のビデオ復号モジュールに送信する。

【0052】

具体的には、ビデオ情報ストリームを取得した後、ビデオアプリケーションは、ビデオ情報ストリームをビデオ復号モジュールに送信し得る。

【0053】

Ｓ１０４及びＳ１０５：電子デバイス１００上のビデオ復号モジュールは、ビデオ情報ストリームを復号してビデオフレームを生成し、ビデオフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0054】

具体的には、ビデオアプリケーションによって送信されたビデオ情報ストリームを受信した後、ビデオ復号モジュールは、ビデオ情報ストリームを復号してビデオフレームを生成し得る。ビデオフレームは、ビデオ再生プロセスにおける全てのビデオフレームであり得る。ビデオフレームは、画像フレームと呼ばれることもあり、各ビデオフレームは、ビデオフレームの時間情報（すなわち、タイムスタンプ）を搬送し得る。次いで、ビデオ復号モジュールは、復号を通じて生成されたビデオフレームをビデオフレーム合成モジュールに送信し、その後、表示されるべきビデオフレームを生成し得る。

【0055】

ビデオ復号モジュールは、従来技術のビデオ復号方法を使用することによってビデオ情報ストリームを復号し得る。これは、本出願のこの実施形態では限定されない。ビデオ復号方法の具体的な実装については、ビデオ復号に関する技術文書を参照されたい。詳細はここでは説明しない。

【0056】

フェーズ３：キャプションの復号

【0057】

Ｓ１０６：電子デバイス１００上のビデオアプリケーションは、キャプション情報ストリームを電子デバイス１００上のキャプション復号モジュールに送信する。

【0058】

具体的には、キャプション情報ストリームを取得した後、ビデオアプリケーションは、キャプション情報ストリームをキャプション復号モジュールに送信し得る。

【0059】

Ｓ１０７及びＳ１０８：電子デバイス１００上のキャプション復号モジュールは、キャプション情報ストリームを復号してキャプションフレームを生成し、キャプションフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0060】

具体的には、ビデオアプリケーションによって送信されたキャプション情報ストリームを受信した後、キャプション復号モジュールは、キャプション情報ストリームを復号してキャプションフレームを生成し得る。キャプションフレームは、ビデオ再生プロセスにおける全てのキャプションフレームであり得る。各キャプションフレームは、キャプションテキスト、キャプションテキストの表示位置、キャプションテキストのフォント色、キャプションテキストのフォントフォーマットなどを含み得、キャプションフレームの時間情報（すなわち、タイムスタンプ）を更に搬送し得る。次いで、キャプション復号モジュールは、復号を通じて生成されたキャプションフレームをビデオフレーム合成モジュールに送信し、その後、表示されるべきビデオフレームを生成し得る。

【0061】

キャプション復号モジュールは、従来技術のキャプション復号方法を使用することによってキャプション情報ストリームを復号し得る。これは、本出願のこの実施形態では限定されない。キャプション復号方法の具体的な実装については、キャプション復号に関連する技術文書を参照されたい。詳細はここでは説明しない。

【0062】

フェーズ２におけるビデオ復号のステップが最初に実行され、次いでフェーズ３におけるキャプション復号のステップが実行される例は、単に、本出願のこの実施形態において使用されることに留意されたい。いくつかの実施形態では、フェーズ３におけるキャプション復号のステップが最初に実行されてから、フェーズ２におけるビデオ復号のステップが実行されてもよいし、フェーズ２におけるビデオ復号のステップ及びフェーズ３におけるキャプション復号のステップが同時に実行されてもよい。これは、本出願のこの実施形態では限定されない。

【0063】

フェーズ４：ビデオフレームの合成、レンダリング、及び表示

【0064】

Ｓ１０９及びＳ１１０：電子デバイス１００上のビデオフレーム合成モジュールは、受信したビデオフレームとキャプションフレームとを重ね合わせて結合して、表示されるべきビデオフレームを生成し、表示されるべきビデオフレームを電子デバイス１００上のビデオフレームキューに送信する。

【0065】

具体的には、ビデオフレーム合成モジュールは、ビデオフレームに対応する時間情報とキャプションフレームに対応する時間情報とに基づいてマッチングを実行し、マッチングが完了した後にキャプションフレームを対応するビデオフレームに重ね合わせ、それらを結合して、表示されるべきビデオフレームを生成し得る。その後、ビデオフレーム合成モジュールは、表示されるべきビデオフレームをビデオフレームキューに送信し得る。

【0066】

Ｓ１１１からＳ１１３：ビデオレンダリングモジュールは、表示されるべきビデオフレームを時系列に基づいてビデオフレームキューから読み出し、表示されるべきビデオフレームを時系列に基づいてレンダリングして、レンダリングされたビデオフレームを生成し得る。

【0067】

具体的には、ビデオレンダリングモジュールは、表示されるべきビデオフレームをビデオフレームキューからリアルタイムで（又はある時間期間の間隔で）取得し得る。ビデオフレーム合成モジュールが、表示されるべきビデオフレームをビデオフレームキューに送信した後、ビデオレンダリングモジュールは、表示されるべきビデオフレームを時系列に基づいてビデオフレームキューから読み出し、表示されるべきビデオフレームをレンダリングして、レンダリングされたビデオフレームを生成し得る。次いで、ビデオレンダリングモジュールは、レンダリングされたビデオフレームをビデオアプリケーションに送信し得る。

【0068】

ビデオレンダリングモジュールは、従来技術のビデオレンダリング方法を使用することによって、表示されるべきビデオフレームをレンダリングし得る。これは、本出願のこの実施形態では限定されない。ビデオレンダリング方法の具体的な実装については、ビデオレンダリングに関する技術文書を参照されたい。詳細はここでは説明しない。

【0069】

Ｓ１１４：電子デバイス１００は、レンダリングされたビデオフレームを表示する。

【0070】

具体的には、ビデオレンダリングモジュールによって送信されたレンダリングされたビデオフレームを受信した後、電子デバイス１００上のビデオアプリケーションは、レンダリングされたビデオフレームを、電子デバイス１００の表示画面（すなわち、ビデオ再生ウィンドウ）に表示し得る。

【0071】

例えば、図２Ｃは、電子デバイス１００が図１Ａ及び図１Ｂに示されるキャプション表示方法を実行した後に表示される、レンダリングされたビデオフレーム内のフレームのピクチャであり得る。キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、キャプション「認識度の高いキャプション」、及びキャプション「不明瞭な色のキャプション」は、全て弾幕コメントであり、弾幕コメントの表示位置は、電子デバイス１００の表示画面に対して固定されていない。キャプション「音声と同期されたキャプション」の表示位置は、電子デバイス１００の表示画面に対して固定されている。図２Ｃから容易に分かるように、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の両側とビデオの色との間の色の差は小さいので、キャプション認識度が低くなり、その結果、ユーザはこのキャプションをはっきりと見ることができない。キャプション「認識度の高いキャプション」及び「音声と同期されたキャプション」とビデオの色との色の差は大きく、キャプションの認識度が高いので、ユーザはこれらのキャプションをはっきりと見ることができる。キャプション「不明瞭な色のキャプション」とビデオの色との間の色の差は小さくないが、ビデオの輝度が高いので、この場合もキャプション認識度が低くなり、ユーザはこのキャプションをはっきりと見ることができない。

【0072】

図２Ｃから分かるように、図１Ａ及び図１Ｂに示されるキャプション表示方法を使用した場合、ビデオを再生しながらキャプションを表示するアプリケーションシナリオにおいて、キャプションの色がキャプション表示位置でのビデオの色及び輝度と大きく重なると、キャプション認識度が低くなり、ユーザがキャプションをはっきりと見ることが困難になるので、ユーザエクスペリエンスが低下する。

【0073】

前述の問題を解決するために、本出願の一実施形態は、別のキャプション表示方法を提供する。電子デバイスは、最初に、再生されるべきビデオファイルと、ビデオ再生ウィンドウに表示されるべきキャプションファイルとを取得し、次いで、ビデオファイルに対してビデオ復号を実行してビデオフレームを取得し、キャプションファイルに対してキャプション復号を実行してキャプションフレームを取得し得る。次いで、電子デバイスは、キャプションフレームからキャプション色域情報、キャプション位置情報などを抽出し、キャプション位置情報に基づいて、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置における色域情報を抽出し、次いで、キャプション色域情報と、ビデオフレーム内にあり、キャプションに対応するキャプション表示位置における色域情報とに基づいて、キャプション認識度を計算し得る。キャプション認識度が低い場合、電子デバイスは、キャプションに対してマスクを追加し、キャプション認識度に基づいてマスクの色値及び透明度を計算して、マスク付きのキャプションフレームを生成し、時系列に基づいてビデオフレームとマスクを有するキャプションフレームとの間の位置合わせ及びマッチングを実行して、最終的な表示されるべきビデオフレームを合成し得る。電子デバイスは、表示されるべきビデオフレームをビデオキューにバッファし、次いで、表示されるべきビデオフレームを時系列に基づいて読み出してレンダリングし、最後に、レンダリングされたビデオフレームをビデオ再生ウィンドウに表示する。このようにして、ユーザによって選択されたキャプションの色を変更することなく、キャプションマスクの色及び透明度を調整することによって、キャプション認識度が低いという問題を解決することができる。加えて、これにより、キャプションによるビデオコンテンツの遮蔽が低減され、ビデオコンテンツの特定の可視性を確保することができ、それにより、ユーザエクスペリエンスを向上させることができる。

【0074】

以下では、本出願の一実施形態において提供される別のキャプション表示方法について説明する。

【0075】

図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄは、本出願の一実施形態による別のキャプション表示方法の方法手順の一例を示す。

【0076】

図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄに示すように、本方法は、ビデオ再生機能を有する電子デバイス１００に適用され得る。以下では、方法の特定のステップについて詳細に説明する。

【0077】

フェーズ１：ビデオ情報ストリーム及びキャプション情報ストリームの取得

【0078】

Ｓ３０１及びＳ３０２：電子デバイス１００は、ユーザによるビデオアプリケーション上でビデオを再生する操作を検出し、この操作に応答して、電子デバイス１００は、ビデオ情報ストリーム及びキャプション情報ストリームを取得し得る。

【0079】

ステップＳ３０１及びＳ３０２の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０１及びＳ１０２の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0080】

フェーズ２：ビデオの復号

【0081】

Ｓ３０３：電子デバイス１００上のビデオアプリケーションは、ビデオ情報ストリームを電子デバイス１００上のビデオ復号モジュールに送信する。

【0082】

Ｓ３０４及びＳ３０５：電子デバイス１００上のビデオ復号モジュールは、ビデオ情報ストリームを復号してビデオフレームを生成し、ビデオフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0083】

ステップＳ３０３からステップＳ３０５の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０３からステップＳ１０５の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0084】

フェーズ３：キャプションの復号

【0085】

Ｓ３０６：電子デバイス１００上のビデオアプリケーションは、キャプション情報ストリームを電子デバイス１００上のキャプション復号モジュールに送信する。

【0086】

Ｓ３０７：電子デバイス１００上のキャプション復号モジュールは、キャプション情報ストリームを復号してキャプションフレームを生成する。

【0087】

ステップＳ３０６及びＳ３０７の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０６及びＳ１０７の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0088】

図４は、キャプション復号モジュールによってキャプション情報ストリームを復号することによって生成されたキャプションフレームの一例を示す。

【0089】

図４に示すように、矩形の実線ボックスの内側の領域は、キャプションフレーム表示領域（又は、ビデオ再生ウィンドウ領域と呼ばれる）を表し得、ビデオフレーム表示領域と一致し得る。この領域には、例えば、「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」、「不明瞭な色のキャプション」、「音声と同期されたキャプション」など、１つ又は複数のキャプションが表示され得る。「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」などはそれぞれ、１つのキャプションと呼ばれることがあり、この領域に表示される全てのキャプションはキャプショングループと呼ばれることがあり、例えば、「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」、「不明瞭な色のキャプション」、「音声と同期されたキャプション」などのキャプションのグループはキャプショングループと呼ばれることがある。

【0090】

図４に示される各キャプションを囲む矩形の破線ボックスは、各キャプションの位置を識別するために使用される単なる補助要素であり、ビデオ再生プロセスにおいて表示されなくてもよい。

【0091】

前述の説明とキャプション及びキャプショングループの説明に基づいて、図２Ｃに示すように、図２Ｃに示されるピクチャには４つのキャプションが表示され、それぞれ「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、「認識度の高いキャプション」、「不明瞭な色のキャプション」、「音声と同期されたキャプション」であることが容易に理解できる。これらの４つのキャプションはキャプショングループを形成する。

【0092】

Ｓ３０８：電子デバイス１００上のキャプション復号モジュールは、キャプションフレームから各キャプションのキャプション位置情報、キャプション色域情報などを抽出して、キャプショングループ情報を生成する。

【0093】

具体的には、キャプションフレームを生成した後、キャプション復号モジュールは、キャプションフレームから各キャプションのキャプション位置情報、キャプション色域情報などを抽出して、キャプショングループ情報を生成し得る。キャプション位置情報は、キャプションフレーム表示領域における各キャプションの表示位置であり、キャプション色域情報は、各キャプションの色値を含み得る。キャプショングループ情報は、キャプションフレーム内の全てのキャプションのキャプション位置情報及びキャプション色域情報を含み得る。

【0094】

任意選択で、キャプション色域情報は、キャプションの輝度などの情報も含み得る。

【0095】

以下では、キャプション位置情報及びキャプション色域情報を抽出するプロセスについて詳細に説明する。

【0096】

１．キャプション位置情報を抽出するプロセス：

【0097】

キャプションの表示位置領域は、図４に示される、キャプションを正確に覆うことができる矩形の破線ボックスの内部領域、又はキャプションを覆うことができる任意の形状の別の内部領域であり得る。これは、本出願のこの実施形態では限定されない。

【0098】

本出願のこの実施形態では、キャプション位置情報を抽出するプロセスを説明するために、矩形の破線ボックスの内部領域がキャプションの表示位置領域である例が使用される。

【0099】

図４に示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」のキャプション位置情報の抽出を一例として使用する。キャプション復号モジュールは、最初に、キャプションフレーム表示領域内にＸ－Ｏ－Ｙ平面矩形座標系を確立し、次に、キャプションフレーム表示領域内の点（例えば、矩形の実線ボックスの左下隅の頂点）を基準座標点Ｏとして選択し得る。基準座標点Ｏの座標は、（０，０）に設定され得る。数学的知識から分かるように、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の外側の矩形の破線ボックスの４つの頂点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、及び（ｘ４，ｙ４）を計算することができる。この場合、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の位置情報は、矩形の破線ボックスの４つの頂点の座標を含み得る。代替的に、矩形は規則的な形状であるので、矩形の位置領域は、矩形の破線ボックスの対角線上の２つの頂点の座標を決定するだけで決定することができる。従って、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の位置情報は、矩形の破線ボックスの対角線上の２つの頂点の座標のみを含み得る。

【0100】

同様に、図４に示される他のキャプションのキャプション位置情報も、前述のキャプション位置抽出方法を使用することによって抽出され得る。詳細はここでは改めて説明しない。

【0101】

キャプション復号モジュールがキャプションフレーム内の全てのキャプションの位置情報を決定した後、キャプション復号モジュールがキャプション位置情報の抽出を完了したことを示す。

【0102】

前述のキャプション位置情報抽出プロセスは、キャプション位置情報を抽出する可能な実装形態にすぎないことに留意されたい。キャプション位置情報を抽出する実装は、代替的に、従来技術における別の実装形態であってもよい。これは、本出願のこの実施形態では限定されない。

【0103】

２．キャプション色域情報を抽出するプロセス：

【0104】

最初に、キャプション色域情報を抽出するプロセスに関連する概念について以下で説明する。

【0105】

色値：

【0106】

色値は、カラーモードにおける色に対応する色値のグループである。ＲＧＢカラーモードが一例として使用される。ＲＧＢカラーモードでは、色は、赤、緑、及び青を混合することによって形成され、各色の色値は、（ｒ，ｇ，ｂ）で表され得、ここで、ｒ、ｇ、及びｂは、それぞれ、赤、緑、及び青という３つの原色の値を表し、値範囲は［０，２５５］である。例えば、赤の色値は、（２５５，０，０）で表され、緑の色値は、（０，２５５，０）で表され得、青の色値は、（０，０，２５５）で表され得、黒の色値は、（０，０，０）で表され得、白の色値は、（２５５，２５５，２５５）で表され得る。

【0107】

色域：

【0108】

色域は、色値のセット、すなわち、特定のカラーモードで生成することができる色のセットである。ＲＧＢカラーモードでは、最大２５６×２５６×２５６＝１６７７７２１６個の異なる色、すなわち、２^２４個の異なる色を生成することができ、色域は［０，２^２４－１］であることが容易に理解できる。２^２４個の異なる色と各色に対応する色値とが色値テーブルを形成し得、各色に対応する色値は、色値テーブル内で見つけられ得る。

【0109】

キャプション位置情報を抽出した後、キャプション復号モジュールは、キャプションの色値を決定するために、キャプション位置におけるキャプションのフォント色に基づいて、そのフォント色に対応する色値を求めて色値テーブルを探索し得る。

【0110】

キャプション復号モジュールがキャプションフレーム内の全てのキャプションの色値を決定した後、キャプション復号モジュールがキャプション色域情報の抽出を完了したことを示す。

【0111】

Ｓ３０９：電子デバイス１００上のキャプション復号モジュールは、キャプショングループのマスクパラメータを取得する命令を電子デバイス１００上のビデオフレーム色域解釈モジュールに送信し、この命令は、キャプションフレームの時間情報、キャプショングループ情報などを搬送する。

【0112】

具体的には、キャプショングループ情報を生成した後、キャプション復号モジュールは、キャプショングループのマスクパラメータを取得する命令をビデオフレーム色域解釈モジュールに送信し得る。命令は、キャプショングループに対応するマスクパラメータ（マスクの色値及び透明度を含む）をキャプション復号モジュールに送信するようにビデオフレーム色域解釈モジュールに命令するために使用される。色値及び透明度は、マスクパラメータのグループと呼ばれることがある。命令は、キャプションフレームの時間情報、キャプショングループ情報などを搬送し得る。キャプションフレームの時間情報は、後続のステップにおいてキャプショングループに対応するビデオフレームを取得するために使用され得、キャプショングループ情報は、後続のステップにおいてキャプション認識度を分析するために使用され得る。

【0113】

Ｓ３１０：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループに対応するビデオフレームを取得する命令を電子デバイス１００上のビデオ復号モジュールに送信し、この命令は、キャプションフレームの時間情報などを搬送する。

【0114】

具体的には、キャプション復号モジュールによって送信されたキャプショングループのマスクパラメータを取得する命令を受信した後に、ビデオフレーム色域解釈モジュールは、キャプショングループに対応するビデオフレームを取得する命令をビデオ復号モジュールに送信し得、命令は、キャプショングループに対応するビデオフレームをビデオフレーム色域解釈モジュールに送信するようにビデオ復号モジュールに命令するために使用される。命令は、キャプションフレームの時間情報を搬送し得、キャプションフレームの時間情報は、キャプショングループに対応するビデオフレームを見つけるためにビデオ復号モジュールによって使用され得る。

【0115】

Ｓ３１１及びＳ３１２：電子デバイス１００上のビデオ復号モジュールは、キャプショングループに対応するビデオフレームを探索し、キャプショングループに対応するビデオフレームを電子デバイス１００上のビデオフレーム色域解釈モジュールに送信する。

【0116】

具体的には、ビデオ復号モジュールが、ビデオフレーム色域解釈モジュールによって送信された、キャプショングループに対応するビデオフレームを取得する命令を受信した後、ビデオ復号モジュールは、命令で搬送されたキャプションフレームの時間情報に基づいて、キャプショングループに対応するビデオフレームを見つけ得る。ビデオ復号モジュールは、ビデオ復号フェーズにおける復号を通じて全てのビデオフレームの時間情報を取得しているので、ビデオ復号モジュールは、全てのビデオフレームの時間情報をキャプションフレームの時間情報とマッチングさせることができる。マッチングが成功した場合（すなわち、ビデオフレームの時間情報がキャプションフレームの時間情報と一致した場合）、ビデオフレームは、キャプショングループに対応するビデオフレームである。その後、ビデオ復号モジュールは、キャプショングループに対応するビデオフレームをビデオフレーム色域解釈モジュールに送信し得る。

【0117】

Ｓ３１３：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループ情報内のキャプション位置情報に基づいて、キャプショングループに対応するビデオフレーム内の各キャプションの位置における色域情報を取得する。

【0118】

具体的には、キャプショングループに対応するビデオフレームを取得した後、ビデオフレーム色域解釈モジュールは、キャプショングループ情報内の各キャプション位置情報に基づいて、各キャプションの位置に対応するビデオフレーム領域を決定し得る。更に、ビデオフレーム色域解釈モジュールは、各キャプションの位置に対応するビデオフレーム領域の色域情報を算出し得る。

【0119】

以下では、ビデオフレーム色域解釈モジュールが、各キャプションの位置に対応するビデオフレーム領域の色域情報を計算するプロセスについて詳細に説明する。

【0120】

図２Ｃに示されるピクチャ中のキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」がキャプション１であると仮定する。ビデオフレーム色域解釈モジュールが、キャプション１に対応するビデオフレーム領域の色域情報を計算する例が説明のために使用される。

【0121】

図５に示すように、キャプション１の位置に対応するビデオフレーム領域は、図５の上部の矩形の実線ボックスの内部領域であり得る。異なる色域のピクセル領域が１つのビデオフレーム領域内に存在し得るので、１つのビデオフレーム領域は、複数のサブ領域に分割され得、各サブ領域は、ビデオフレーム色域抽出単位と呼ばれることがある。サブ領域の分割は、予め設定された幅に基づいて実行されてもよいし、キャプション内の各文字の幅に基づいて分割されてもよい。例えば、キャプション１は、全部で１３文字を有する。この場合、図５では、キャプション１の位置に対応するビデオフレーム領域は、キャプション１内の各文字の幅に基づいて、１３個のサブ領域、すなわち、１３個のビデオフレーム色域抽出単位に分割される。

【0122】

更に、ビデオフレーム色域解釈モジュールは、全てのサブ領域の色域情報を左から右へ（又は右から左へ）順次計算し得る。ビデオフレーム領域内の１つのサブ領域の色域情報の計算を一例として使用する。ビデオフレーム色域解釈モジュールは、サブ領域内の全てのピクセルの色値を取得し、次いで、全てのピクセルの色値に対して重ね合わせ及び平均化を実行し、サブ領域内の全てのピクセルの色値の平均値を取得し得る。平均値は、サブ領域の色値であり、サブ領域の色値は、サブ領域の色域情報である。

【0123】

例えば、サブ領域が幅ｍピクセル及び高さｎピクセルであると仮定すると、サブ領域は、合計でｍ＊ｎピクセルを有し、各ピクセルの色値ｘは、（ｒ，ｇ，ｂ）で表され得る。この場合、サブ領域内の全てのピクセルの色値の平均値

【数1】

は、以下である：

【数2】

【0124】

ｒ_ｉは、サブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、サブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、サブ領域内の全てのピクセルの平均青色値である。

【数3】

は、ｉ番目のピクセルの赤色値であり、

【数4】

は、ｉ番目のピクセルの緑色値であり、

【数5】

は、ｉ番目のピクセルの青色値である。

【0125】

同様に、ビデオフレーム色域解釈モジュールは、各キャプションの位置に対応するビデオフレーム領域の全てのサブ領域の色域情報、すなわち、キャプショングループに対応するビデオフレーム内のキャプション位置の色域情報を計算し得る。

【0126】

キャプションに対応するビデオフレーム領域が分割される複数のサブ領域の数は、予め設定された分割規則に従って決定されてもよいことを理解されたい。これは、本出願のこの実施形態では限定されない。

【0127】

任意選択で、ビデオフレーム領域の色域情報は、ビデオフレーム領域の輝度などの情報も含み得る。

【0128】

各キャプションの位置に対応するビデオフレーム領域の色域情報を計算する前述のプロセスは、可能な実装形態にすぎず、別の実装形態が使用されてもよいことに留意されたい。これは、本出願のこの実施形態では限定されない。

【0129】

Ｓ３１４：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループ情報内の各キャプション色域情報と、キャプショングループに対応するビデオフレーム内の各キャプション位置における色域情報とに基づいて、重畳キャプション認識度分析結果（superimposed caption recognition analysis result）を生成する。

【0130】

具体的には、キャプショングループに対応するビデオフレーム内のキャプション位置における色域情報を計算した後、ビデオフレーム色域解釈モジュールは、キャプショングループ情報内のキャプション色域情報と、キャプショングループに対応するビデオフレーム内のキャプション位置における色域情報とに基づいて、重畳キャプション認識度分析を実行し得る。更に、重畳キャプション認識度分析結果は、重畳キャプション認識度分析を通じて生成され得、その結果は、キャプショングループ内の各キャプションの認識度の大きさ（識別の大きさとも呼ばれる）を示すために使用される。

【0131】

言い換えると、ビデオフレーム色域解釈モジュールは、キャプショングループがキャプショングループに対応するビデオフレーム内のキャプション位置に重ね合わされた後、キャプションの色とキャプションに対応するビデオフレーム領域の色との間の差を決定し得る。差が小さい場合、キャプションの認識度が低く、ユーザに容易に認識されないことを示す。

【0132】

以下では、ビデオフレーム色域解釈モジュールが重畳キャプション認識度分析を実行するプロセスについて詳細に説明する。

【0133】

ビデオフレーム色域解釈モジュールは、キャプションの色とキャプションに対応するビデオフレーム領域の色との間の色差値を決定し得、色差値は、キャプションの色とキャプションに対応するビデオフレーム領域の色との間の差を示すために使用される。色差値は、従来技術における関連アルゴリズムを使用することによって決定され得る。

【0134】

可能な実装形態では、色差値Ｄｉｆｆは、以下の式を使用することで計算され得る：

【数6】

【0135】

ｋは、キャプションに対応するビデオフレーム領域の全てのサブ領域の数であり、ｒ_ｉは、サブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、サブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、サブ領域内の全てのピクセルの平均青色値である。ｒ_０は、キャプションの赤色値であり、ｇ_０は、キャプションの緑色値であり、ｂ_０は、キャプションの青色値である。

【0136】

更に、計算を通じて色差値を取得した後、ビデオフレーム色域解釈モジュールは、色差値が、予め設定された色差閾値未満であるかどうかを決定することによって、キャプション認識度の大きさを決定し得る。

【0137】

色差値が予め設定された色差閾値（第１の閾値とも呼ばれることもある）未満である場合、それは、キャプション認識度が低いことを示す。

【0138】

いくつかの実施形態では、キャプション認識度は、キャプションに対応するビデオフレーム領域の輝度を参照して更に決定され得る。

【0139】

例えば、図２Ｃに示されるキャプション「不明瞭な色のキャプション」のキャプションの色とキャプションに対応するビデオフレーム領域の色との間の色差値はそれ程小さくないが、キャプションに対応するビデオフレーム領域の輝度が高すぎるので、キャプション認識度が低いという問題が依然として存在する。従って、この場合、キャプション認識度は、キャプションに対応するビデオフレーム領域の輝度を参照して更に決定され得る。キャプションに対応するビデオフレーム領域の輝度が、予め設定された輝度閾値よりも高い場合、キャプション認識度が低いことを示す。

【0140】

純色キャプションの場合、抽出されたキャプション色域情報は、１つのパラメータ、すなわち、キャプションに対応する１つの色値のみを含み得る。非純色キャプションの場合、抽出されたキャプション色域情報は、複数のパラメータを含み得る。例えば、グラデーションカラーキャプションの場合、抽出されたキャプション色域情報は、開始点色値、終了点色値、グラデーション方向のような複数のパラメータを含み得る。この場合、可能な実装形態では、キャプションの開始点色値及び終了点色値の平均値が最初に計算され得、次いで、平均値をキャプションに対応する色値として使用して重畳キャプション認識度分析を実行する。

【0141】

ビデオフレーム色域解釈モジュールが重畳キャプション認識度分析を実行する前述のプロセスは、可能な実装形態にすぎず、別の実装形態が使用されてもよいことに留意されたい。これは、本出願のこの実施形態では限定されない。

【0142】

Ｓ３１５：電子デバイス１００上のビデオフレーム色域解釈モジュールは、重畳キャプション認識度分析結果に基づいて、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度を計算する。

【0143】

具体的には、重畳キャプション認識度分析結果を生成した後、ビデオフレーム色域解釈モジュールは、その結果に基づいて、キャプションフレーム内の各キャプションに対応するマスクの色値及び透明度を計算し得る。

【0144】

認識度の高いキャプション（例えば、図２Ｃのキャプション「認識度の高いキャプション」又はキャプション「音声と同期されたキャプション」）の場合、そのキャプションに対応するマスクの色値は、予め設定された固定値であり得、透明度は１００％に設定され得る。

【0145】

認識度の低いキャプション（例えば、図２Ｃのキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」又はキャプション「不明瞭な色のキャプション」）の場合、キャプションに対応するマスクの色値及び透明度は、キャプションの色域情報又はキャプションの位置に対応するビデオフレーム領域の色域情報に基づいて更に決定される必要がある。

【0146】

キャプションに対応するマスクの色値及び透明度を決定する具体的な方法は多く存在し得る。これは、本出願のこの実施形態では限定されず、当業者は、要件に従って方式を選択してもよい。

【0147】

可能な実装形態では、キャプションの色値又はキャプションに対応するビデオフレーム領域の色値から最大の色差値を有する色に対応する色値が、キャプションに対応するマスクの色値として決定され得る。このようにして、ユーザはキャプションをよりはっきりと見ることができる。代替的に、キャプションの色値又はキャプションに対応するビデオフレーム領域の色値から中間の色差値を有する色に対応する色値が、キャプションに対応するマスクの色値として決定されてもよく、これにより、大きな色差によって引き起こされる目の不快感などを回避しながら、ユーザがキャプションをはっきりと見ることができることを確実にする。

【0148】

例えば、電子デバイス１００は、色値テーブル内の各色に対応する色値とキャプションの色値との間の色差値Ｄｉｆｆを算出し得、次いで、最大／中間の色差値Ｄｉｆｆを有する色に対応する色値をマスクの色値として選択し得る。可能な実装形態では、色値テーブル内の各色に対応する色値とキャプションの色値との間の色差値Ｄｉｆｆは、以下の式を使用することによって計算され得る：

【数7】

【0149】

色値テーブル内の特定の色に対応する色値が（Ｒ_０，Ｇ_０，Ｂ_０）であると仮定すると、Ｒ_０は、その色に対応する赤色値であり、Ｇ_０は、その色に対応する緑色値であり、Ｂ_０は、その色に対応する青色値である。ｒ_０は、キャプションの赤色値であり、ｇ_０は、キャプションの緑色値であり、ｂ_０は、キャプションの青色値である。

【0150】

他の例として、電子デバイス１００は、色値テーブル内の各色に対応する色値とキャプションに対応するビデオフレーム領域の色値との間の色差値Ｄｉｆｆを計算し、次いで、最大／中間の色差値Ｄｉｆｆを有する色に対応する色値をマスクの色値として選択し得る。可能な実装形態では、色値テーブル内の各色に対応する色値とキャプションに対応するビデオフレーム領域の色値との間の色差値Ｄｉｆｆは、以下の式を使用することによって計算され得る：

【数8】

【0151】

色値テーブル内の特定の色に対応する色値が（Ｒ_０，Ｇ_０，Ｂ_０）であると仮定すると、Ｒ_０は、その色に対応する赤色値であり、Ｇ_０は、その色に対応する緑色値であり、Ｂ_０は、その色に対応する青色値である。ｋは、キャプションに対応するビデオフレーム領域の全てのサブ領域の数であり、ｒ_ｉは、サブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、サブ領域内の全てのピクセルの平均緑色値である。

【0152】

可能な実装形態では、キャプションに対応するマスクの透明度が、キャプションに対応するマスクの色値に基づいて更に決定され得る。例えば、キャプションに対応するマスクの色値がキャプションの色値と大きく異なる場合、キャプションに対応するマスクの透明度に対して大きい値（例えば、５０％より大きい値）が選択され得、キャプション重畳領域によるビデオピクチャの遮蔽を低減しながら、ユーザがキャプションをはっきりと見ることを確実にする。

【0153】

Ｓ３１６：電子デバイス１００上のビデオフレーム色域解釈モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度を電子デバイス１００上のキャプション復号モジュールに送信する。

【0154】

具体的には、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度を計算した後、ビデオフレーム色域解釈モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度をキャプション復号モジュールに送信し得、マスクに対応するキャプションのキャプション位置情報も搬送され得、それにより、キャプション復号モジュールは、キャプションをマスクに１対１でマッピングし得る。

【0155】

Ｓ３１７：電子デバイス１００上のキャプション復号モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度に基づいて、対応するマスクを生成し、キャプショングループ内の各キャプションと対応するマスクとを重ね合わせて、マスクを有するキャプションフレームを生成する。

【0156】

具体的には、ビデオフレーム色域解釈モジュールによって送信されたキャプショングループ内の各キャプションに対応するマスクの色値及び透明度を受信した後、キャプション復号モジュールは、キャプションに対応するマスクの色値及び透明度と、キャプションのキャプション位置情報とに基づいて、キャプションに対応するマスク（例えば、図５に示されるキャプション１に対応するマスク）を生成し得る。マスクの形状は、矩形であってよいし、キャプションを覆うことができる任意の他の形状であってもよい。これは、本出願のこの実施形態では限定されない。

【0157】

同様に、キャプション復号モジュールは、キャプショングループ内の各キャプションについて、キャプションに対応するマスクを生成し得る。

【0158】

例えば、図２Ｃに示すように、ピクチャ内に４つのキャプションがあることが容易に分かる。従って、キャプション復号モジュールは、４つのマスクを生成し得、１つのキャプションは１つのマスクに対応する。

【0159】

更に、キャプション復号モジュールは、キャプションを、キャプションに対応するマスクの上位レイヤに重ねわせて、マスクを有するキャプション（例えば、図５に示されるマスク付きキャプション１）を生成し得る。

【0160】

同様に、キャプション復号モジュールは、キャプショングループ内の各キャプションを対応するマスク上に重ね合わせて、マスクを有するキャプションフレームを生成し得る。

【0161】

図６Ａは、マスクを有するキャプションフレームの例を示す。各キャプションにマスクが重ね合わされていることが分かる。認識度の高いキャプション（例えば、「認識度の高いキャプション」又は「音声と同期されたキャプション」）に対応するマスクの透明度は１００％であり、認識度の低いキャプション（例えば、「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」又は「不明瞭な色のキャプション」）に対応するマスクの透明度は１００％未満であり、特定の色値が存在する。

【0162】

Ｓ３１８：電子デバイス１００上のキャプション復号モジュールは、マスクを有するキャプションフレームを電子デバイス１００上のビデオフレーム合成モジュールに送信する。

【0163】

具体的には、マスクを有するキャプションフレームを生成した後、キャプション復号モジュールは、マスクを有するキャプションフレームをビデオフレーム合成モジュールに送信して、その後、表示されるべきビデオフレームを生成し得る。

【0164】

フェーズ４：ビデオフレームの合成、レンダリング、及び表示

【0165】

Ｓ３１９及びＳ３２０：電子デバイス１００上のビデオフレーム合成モジュールは、受信したビデオフレームとマスクを有するキャプションフレームとを重ね合わせて結合して、表示されるべきビデオフレームを生成し、表示されるべきビデオフレームを電子デバイス１００上のビデオフレームキューに送信する。

【0166】

Ｓ３２１からＳ３２３：ビデオレンダリングモジュールは、表示されるべきビデオフレームを時系列に基づいてビデオフレームキューから読み出し、表示されるべきビデオフレームを時系列に基づいてレンダリングして、レンダリングされたビデオフレームを生成し得る。

【0167】

Ｓ３２４：電子デバイス１００は、レンダリングされたビデオフレームを表示する。

【0168】

ステップＳ３１９からステップＳ３２４の具体的な実行プロセスについては、図１Ａ及び図１Ｂに示される実施形態におけるステップＳ１０９からステップＳ１１４の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0169】

いくつかの実施形態では、ビデオ復号モジュール、キャプション復号モジュール、ビデオフレーム色域解釈モジュール、ビデオフレーム合成モジュール、ビデオフレームキュー、及びビデオレンダリングモジュールは、代替的に、本出願のこの実施形態において提供されるキャプション表示方法を実行するためにビデオアプリケーションに統合されてもよいことに留意されたい。これは、本出願のこの実施形態では限定されない。

【0170】

例えば、図６Ｂは、電子デバイス１００が図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄに示されるキャプション表示方法（１つのキャプションは１つのマスクに対応し得る）を実行した後に表示されるレンダリングされたビデオフレームにおけるフレームのピクチャであり得る。図２Ｃに示されるピクチャと比較して、対応するマスクがキャプショングループに追加された後、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の認識度及びキャプション「不明瞭な色のキャプション」の認識度が大幅に改善されていることが容易に分かる。加えて、キャプションに対応するマスクは、特定の透明度を有するので、キャプション重畳領域はビデオピクチャを完全には遮蔽しない。このようにして、ビデオ表示及びキャプション表示の効果が包括的に考慮され、それにより、ユーザによって選択されたキャプションの色の変更なしに、ビデオピクチャの特定の可視性を確保しながら、ユーザがキャプションをはっきりと見ることができることを確実にすることができ、それによって、ユーザエクスペリエンスを向上させることができる。

【0171】

更に、ビデオ再生プロセス全体において、キャプションの位置、ビデオ背景の色などが変化し得る。従って、前述のキャプション表示方法は、ユーザがビデオ再生プロセス全体においてキャプションをはっきりと見ることができるように、常に実行され得る。例えば、図６Ｂは、ビデオ再生進行が瞬間８：００にある第１のユーザインターフェースの概略図であり得、図６Ｃは、ビデオ再生進行が瞬間８：０２にある第２のユーザインターフェースの概略図であり得る。第１のユーザインターフェースに含まれるビデオフレームは、第２のユーザインターフェースに含まれるビデオフレームとは異なる。図６Ｃに示すように、図６Ｂと比べて、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、キャプション「認識度の高いキャプション」、キャプション「不明瞭な色のキャプション」は、いずれも表示画面の左側に移動していることが分かる。電子デバイス１００は、キャプションの色値とキャプションに対応する現在のビデオフレーム領域の色値とに基づいて、キャプションに対応するマスクの色値及び透明度を再計算して、キャプションに対応するマスクを生成する。第２のユーザインターフェースにおいて、現在のビデオフレーム領域に対応するキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」のビデオ背景色が変化し、キャプションの認識度も増加することが容易に分かる。従って、図６Ｂと比較すると、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクも変化している。キャプションに対してマスクが表示されていないことが分かる。具体的には、キャプションに対応するマスクの透明度が１００％に変更されたり、キャプションに対するマスクがなかったりする。

【0172】

図６Ｂ及び図６Ｃに示されるビデオ再生ピクチャは、全画面モードで表示されてもよいし、部分画面モードで表示されてもよい。これは、本出願のこの実施形態では限定されない。

【0173】

図６Ｂに示されるキャプションに対応するマスクは、キャプション全体が位置する領域にまたがるマスクであり、すなわち、１つのキャプションは１つのマスクのみに対応する。いくつかの実際のアプリケーションシナリオでは、１つのキャプションが、大きな色域差を有する複数の領域にまたがることがある。その結果、キャプションの一部の認識度が高くなり、キャプションの他の部分の認識度が低くなる。この場合、１つのキャプションに対して複数の対応マスクが生成され得る。例えば、図２Ｃに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」では、キャプションの領域の先頭部分のキャプション認識度は低く（すなわち、４文字「Ｗ Ｓ Ｙ Ｔ」はユーザに認識されにくい）、キャプションの領域の末尾部分のキャプション認識度も低い（すなわち、４文字「Ｙ Ｄ Ｚ Ｍ」はユーザに認識されにくい）。キャプションの領域の中間部分のキャプション認識度は高い（すなわち、４文字「Ｋ Ｌ Ｄ Ｇ Ｓ」はユーザに認識されやすい）。従って、この場合、キャプションの領域の先頭部分、中間部分、及び末尾部分のそれぞれに対して１つの対応するマスクが生成され得、すなわち、キャプションは、３つの対応するマスクを有し得る。

【0174】

１つのキャプションが複数のマスクに対応する前述のアプリケーションシナリオの場合、本出願のこの実施形態では、１つのキャプションが複数のマスクに対応するように、図３Ａ、図３Ｂ、図３Ｃ、及び図３Ｄに示される方法に基づいて、ステップＳ３１３からステップＳ３１７に対していくつかの対応する改良が行われ得る。他のステップは変更する必要がない。

【0175】

以下では、１つのキャプションが複数のマスクに対応するプロセスについて詳細に説明する。

【0176】

キャプショングループに対応するビデオフレーム内のキャプション位置における色域情報を生成するプロセスにおいて、ビデオフレーム色域解釈モジュールは、全てのサブ領域の色値を左から右へ（又は右から左へ）順に順次計算し得る。１つのキャプションが複数のマスクに対応する必要がある前述のアプリケーションシナリオ、すなわち、１つのキャプションが大きい色域差を有する複数の領域にまたがるアプリケーションシナリオでは、ビデオフレーム色域解釈モジュールは、隣接するサブ領域の色値を比較し得、隣接するサブ領域の色値が近い場合、隣接するサブ領域は１つの領域に結合され、結合された領域は１つのマスクに対応する。隣接するサブ領域の色値が大きく異なる場合、隣接するサブ領域は結合されず、２つの結合されていない領域はそれぞれのマスクに対応する。従って、１つのキャプションが複数のマスクに対応し得る。

【0177】

図７Ａに示すように、１つのキャプションが複数のマスクに対応し得る場合、ステップＳ３１３からステップＳ３１７は、具体的には、以下のステップに基づいて実行され得る。以下では、図７Ｂに示されるキャプション１が、図２Ｃに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」である場合を説明で使用する。

【0178】

Ｓ７０１：ビデオフレーム色域解釈モジュールが、キャプションの位置に対応するビデオフレーム領域の全てのサブ領域の色値を順次計算し、近い色値を有するサブ領域を結合して、Ｍ個の第２のサブ領域を取得する。

【0179】

具体的には、ステップＳ３１３に基づいて、全てのサブ領域の色値を左から右に（又は右から左に）順次計算した後、ビデオフレーム色域解釈モジュールは、更に、隣接するサブ領域の色値を比較し、近い色値を有するサブ領域を結合して、Ｍ個の第２のサブ領域を取得する必要があり、Ｍは正の整数である。図７Ｂに示すように、隣接するサブ領域の色値を比較し、近い色値を有するサブ領域を結合した後、ビデオフレーム色域解釈モジュールは、キャプションの位置に対応するビデオフレーム領域を、領域Ａ、領域Ｂ、及び領域Ｃという３つの領域（すなわち、３つの第２のサブ領域）に分割する。領域Ａはａ個のサブ領域を結合することによって形成され、領域Ｂはｂ個のサブ領域を結合することによって形成され、領域Ｃはｃ個のサブ領域を結合することによって形成されると仮定する。

【0180】

色値が近いということは、２つのサブ領域の色値間の差分値が第２の閾値未満であることを意味し得、第２の閾値は予め設定される。

【0181】

Ｓ７０２：ビデオフレーム色域解釈モジュールが、Ｍ個の第２のサブ領域に対して重畳キャプション認識度分析を別々に実行して、Ｍ個の第２のサブ領域の重畳キャプション認識度分析結果を生成する。

【0182】

具体的には、ビデオフレーム色域解釈モジュールは、ビデオフレーム領域全体に対して重畳キャプション認識度分析を直接実行するのではなく、領域Ａ、領域Ｂ、及び領域Ｃに対して重畳キャプション認識度分析を別々に実行する必要がある。同様に、ビデオフレーム色域解釈モジュールは、ステップＳ３１４における色差値を使用して、領域Ａ、領域Ｂ、及び領域Ｃに対して重畳キャプション認識度分析を別々に実行し得る。プロセスは以下の通りである。

【0183】

領域Ａの色差値Ｄｉｆｆ１：

【数9】

【0184】

ａは、領域Ａに含まれるサブ領域の数であり、ｒ_ｉは、領域Ａ内のサブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、領域Ａ内のサブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、領域Ａ内のサブ領域内の全てのピクセルの平均青色値である。ｒ_０は、領域Ａにおけるキャプションの赤色値であり、ｇ_０は、領域Ａにおけるキャプションの緑色値であり、ｂ_０は、領域Ａにおけるキャプションの青色値である。

【0185】

領域Ｂの色差値Ｄｉｆｆ２：

【数10】

【0186】

ｂは、領域Ｂに含まれるサブ領域の数であり、ｒ_ｉは、領域Ｂ内のサブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、領域Ｂ内のサブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、領域Ｂ内のサブ領域内の全てのピクセルの平均青色値である。ｒ_０は、領域Ｂにおけるキャプションの赤色値であり、ｇ_０は、領域Ｂにおけるキャプションの緑色値であり、ｂ_０は、領域Ｂにおけるキャプションの青色値である。

【0187】

領域Ｃの色差値Ｄｉｆｆ３：

【数11】

【0188】

ｃは、領域Ｃに含まれるサブ領域の数であり、ｒ_ｉは、領域Ｃ内のサブ領域内の全てのピクセルの平均赤色値であり、ｇ_ｉは、領域Ｃ内のサブ領域内の全てのピクセルの平均緑色値であり、ｂ_ｉは、領域Ｃ内のサブ領域内の全てのピクセルの平均青色値である。ｒ_０は、領域Ｃにおけるキャプションの赤色値であり、ｇ_０は、領域Ｃにおけるキャプションの緑色値であり、ｂ_０は、領域Ｃにおけるキャプションの青色値である。

【0189】

計算を通じて領域Ａ、領域Ｂ、及び領域Ｃの色差値を別々に取得した後、ビデオフレーム色域解釈モジュールは、３つの領域の色差値が、予め設定された色差閾値未満であるかどうかを決定し得る。領域の色差値が予め設定された色差閾値未満である場合、領域のキャプション認識度が低いことを示す。

【0190】

Ｓ７０３：ビデオフレーム色域解釈モジュールが、Ｍ個の第２のサブ領域及びキャプション色域情報の重畳キャプション認識度分析結果に基づいて、Ｍ個の第２のサブ領域に対応するマスクの色値及び透明度をそれぞれ決定する。

【0191】

具体的には、ビデオフレーム色域解釈モジュールは、領域Ａ、領域Ｂ、及び領域Ｃのキャプション色域情報及び重畳キャプション認識度分析結果に基づいて、領域Ａに対応するマスクの色値及び透明度、領域Ｂに対応するマスクの色値及び透明度、並びに領域Ｃに対応するマスクの色値及び透明度をそれぞれ決定する必要がある。各第２のサブ領域に対応するマスクの色値及び透明度を決定する具体的なプロセスは、ステップＳ３１５におけるキャプションの位置に対応するビデオフレーム領域全体に対応するマスクの色値及び透明度を決定するプロセスと同様である。前述の関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0192】

Ｓ７０４：ビデオフレーム色域解釈モジュールが、Ｍ個の第２のサブ領域に対応するマスクの色値、透明度、及び位置情報をキャプション復号モジュールに送信する。

【0193】

具体的には、１つのキャプションが複数のマスクに対応し得るので、ビデオフレーム色域解釈モジュールは、キャプショングループ内の各キャプションに対応するマスクの色値及び透明度をキャプション復号モジュールに送信する必要があるだけでなく、各マスクの位置情報（又は、対応するキャプションに対する各マスクの位置情報）をキャプション復号モジュールに送信する必要もある。各マスクの位置情報は、キャプション位置情報に基づいて取得され得る。具体的には、１つのキャプションが複数のマスクに対応する場合、キャプション位置情報は既知であるので、キャプション位置におけるビデオフレーム領域内の全てのサブ領域の位置情報が推定され得る。更に、各第２のサブ領域に対応するマスクの位置情報が推定され得る。

【0194】

Ｓ７０５：キャプション復号モジュールが、Ｍ個の第２のサブ領域に対応するマスクの色値、透明度、及び位置情報に基づいて、キャプションに対応するマスクを生成し、このマスクにキャプションを重ね合わせて、マスクを有するキャプションを生成する。

【0195】

具体的には、複数のマスクに対応する１つのキャプションの場合、キャプション復号モジュールは、キャプションに対応する各第２のサブ領域のマスクの色値、透明度、及びマスク位置情報に基づいて、キャプションに対応する３つのマスク（例えば、図７Ｂに示されるキャプション１に対応するマスク）を生成し得る。そして、キャプション復号モジュールは、キャプションを、キャプションに対応するマスクの上位レイヤに重ね合わせて、マスクを有するキャプション（例えば、図７Ｂに示されるマスク付きキャプション１）を生成し得る。

【0196】

図２Ｃに示すように、３つのキャプション「認識度の高いキャプション」、「不明瞭な色のキャプション」、及び「音声と同期されたキャプション」は、大きな色域差を有する複数の領域にまたがらないので、３つのキャプションの各々は、依然として１つのマスクに対応する。

【0197】

キャプション復号モジュールは、キャプショングループ内の各キャプションを対応するマスク上に重ね合わせて、マスクを有するキャプションフレームを生成し得る。

【0198】

図８Ａは、マスクを有するキャプションフレームの一例を示す。３つのマスクがキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に重ね合わされていることが分かる。「Ｗ Ｓ Ｙ Ｔ」の認識度及び「Ｙ Ｄ Ｚ Ｍ」の認識度は低いので、対応するマスクの透明度は１００％未満であり、特定の色値が存在する。「Ｋ Ｌ Ｄ Ｇ Ｓ」の認識度は高いので、対応するマスクの透明度は１００％である。１つのマスクは、他の３つのキャプションの各々に重ね合わされる。キャプション「認識度の高いキャプション」の認識度とキャプション「音声と同期されたキャプション」の認識度は高いので、対応するマスクの透明度は１００％である。キャプション「不明瞭な色のキャプション」の認識度は低いので、対応するマスクの透明度は１００％未満であり、特定の色値が存在する。

【0199】

例えば、図８Ｂは、電子デバイス１００が図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄに示される改善されたキャプション表示方法を実行した後に表示されるレンダリングされたビデオフレームにおけるフレームのピクチャであり得る（大きな色域差を有する複数の領域にまたがるキャプションは、複数のマスクに対応し得る）。図６Ｂに示されるピクチャと比較すると、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」は、大きな色域差を有する複数の領域にまたがっているため、キャプションに対応するマスクが変化している。キャプションの領域の中間部分（すなわち、部分「Ｋ Ｌ Ｄ Ｇ Ｓ」）は高いキャプション認識度を有するので、その部分に対応するマスクの透明度は１００％（すなわち、完全に透明）に設定されるか、又はマスクが設定されなくてもよいことが容易に分かる。キャプションの領域の先頭部分（すなわち、部分「Ｗ Ｓ Ｙ Ｔ」）及び末尾部分（すなわち、部分「Ｙ Ｄ Ｚ Ｍ」）は、低いキャプション認識度を有するので、これら２つの部分に対応するマスクの色値及び透明度は、それぞれ、キャプション色域情報と２つの部分が位置する領域の色域情報とに基づいて計算される。このように、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」の領域の中間部分に対応するマスクの透明度が１００％であるか、又はマスクが設定されなくてもよいので、図６Ｂに示される有益な効果を達成することに基づいて、マスクによるビデオピクチャの遮蔽が更に低減され、ユーザエクスペリエンスが更に向上する。

【0200】

更に、ビデオ再生プロセス全体において、キャプションの位置、ビデオ背景の色などが変化し得る。従って、前述のキャプション表示方法は、ユーザがビデオ再生プロセス全体においてキャプションをはっきりと見ることができるように、常に実行され得る。例えば、図８Ｂは、ビデオ再生進行が瞬間８：００にあり、第１のビデオフレームが含まれるユーザインターフェースの概略図であり得る。図８Ｃは、ビデオ再生進行が瞬間８：０１にあり、第２のビデオフレームが含まれるユーザインターフェースの概略図であり得る。第１のビデオフレームは、第２のビデオフレームと同じである。図８Ｃに示すように、図８Ｂと比べて、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」、キャプション「認識度の高いキャプション」、キャプション「不明瞭な色のキャプション」は、いずれも表示画面の左側に移動していることが分かる。電子デバイス１００は、キャプションの色値とキャプションに対応する現在のビデオフレーム領域の色値とに基づいて、キャプションに対応するマスクの色値及び透明度を再計算して、キャプションに対応するマスクを生成する。図８Ｂと比較すると、図８Ｃのキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクが大きく変化していることが容易に分かる。図８Ｂにおいて、キャプション認識度が低い部分は、「Ｗ Ｓ Ｙ Ｔ」及び「Ｙ Ｄ Ｚ Ｍ」である。従って、これら２つの部分に対応するマスクは特定の色値を有し、対応するマスクの透明度は１００％未満である。キャプション認識度が高い部分は「Ｋ Ｌ Ｄ Ｇ Ｓ」であり、従って、この部分にはマスクは表示されない。具体的には、キャプションに対応するマスクの透明度が１００％に設定されてもよいし、マスクが設定されなくてもよい。しかしながら、図８Ｃでは、キャプション認識度が低い部分は「Ｗ Ｓ Ｙ Ｔ Ｋ」と「Ｄ Ｚ Ｍ」に変化している。従って、電子デバイス１００は、キャプションの色値とキャプションに対応する現在のビデオフレーム領域の色値とに基づいて、これら２つの部分に対応するマスクの色値及び透明度を再計算する。２つの部分の認識度は低く、従って、２つの部分に対応するマスクは特定の色値を有する。加えて、対応するマスクの透明度は１００％未満である。キャプション認識度が高い部分は「Ｌ Ｄ Ｇ Ｓ Ｙ」に変化している。従って、この部分にはマスクは表示されない。具体的には、キャプションに対応するマスクの透明度が１００％に設定されてもよいし、マスクが設定されなくてもよい。図８Ｃにおけるキャプションに対応するマスクを生成するプロセスは、図８Ｂにおけるキャプションに対応するマスクを生成するプロセスと同様である。詳細はここでは改めて説明しない。

【0201】

図８Ｂ及び図８Ｃに示されるビデオ再生ピクチャは、全画面モードで表示されてもよいし、部分画面モードで表示されてもよい。これは、本出願のこの実施形態では限定されない。

【0202】

本出願のこの実施形態では、認識度の高いキャプションの場合、電子デバイス１００は、キャプションに対するマスクを生成し、ここで、マスクの色値は、予め設定された色値であり得、マスクの透明度は１００％である。いくつかの実施形態では、認識度の高いキャプションの場合、電子デバイス１００は、代替的に、キャプションに対するマスクを生成しなくてもよい。具体的には、キャプションが高い認識度を有すると電子デバイス１００が決定した場合、電子デバイス１００は、キャプションに対して更なる処理を実行しなくてもよく、従って、キャプションは、対応するマスクを有さず、すなわち、キャプションに対してマスクは設定されない。

【0203】

本出願のこの実施形態では、１つのキャプションが１つのマスクに対応する（すなわち、１つのキャプションがマスクパラメータの１つのグループに対応する）ということは、１つのキャプションが１つの色値及び透明度を含む１つのマスクに対応することを意味し得る。１つのキャプションが複数のマスクに対応する（すなわち、１つのキャプションがマスクパラメータの複数のグループに対応する）ということは、１つのキャプションが、異なる色値及び異なる透明度を有する複数のマスクに対応し、１つのキャプションが、異なる色値及び異なる透明度を有する１つのマスクに対応する（すなわち、異なる色値及び異なる透明度を有する複数のマスクが、異なる色値及び異なる透明度を有する１つのマスクに結合される）ことを意味し得る。

【0204】

本出願のこの実施形態では、電子デバイス１００の一例として携帯電話（mobile phone）を使用する。代替的に、電子デバイス１００は、タブレット型コンピュータ（Ｐａｄ）、パーソナルデジタルアシスタント（Personal Digital Assistant、ＰＤＡ）、又はラップトップコンピュータ（Laptop）などのポータブル電子デバイスであってもよい。電子デバイス１００のタイプ、物理的形態、及びサイズは、本出願のこの実施形態では限定されない。

【0205】

本出願の実施形態では、第１のビデオは、ユーザが図２Ｂに示されるビデオ再生オプション２２１をタップした後に電子デバイス１００によって再生されるビデオであり得る。第１のインターフェースは、図６Ｂに示されるユーザインターフェースであり得る。第１のピクチャは、図６Ｂに示されるビデオフレームのピクチャであり得る。第１のキャプションは、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」であり得る。第１の領域は、第１のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第１の値は、第１のキャプションの色と、第１のキャプションの表示位置に対応する第１のピクチャ領域の色との間の色差値であり得る。第２のインターフェースは、図６Ｃに示されるユーザインターフェースであり得る。第２のピクチャは、図６Ｃに示されるビデオフレームのピクチャであり得る。第２の領域は、第２のピクチャ内にあり、第１のキャプションの表示位置に対応する領域である。第２の値は、第１のキャプションの色と、第１のキャプションの表示位置に対応する第２のピクチャ領域の色との間の色差値であり得る。第１のビデオファイルは、第１のビデオに対応するビデオファイルであり得、第１のキャプションファイルは、第１のビデオに対応するキャプションファイルであり得る。第１のビデオフレームは、第１のピクチャを生成するために使用されるビデオフレームである。第１のキャプションフレームは、第１のキャプションを含み、第１のビデオフレームと同じ時間情報を搬送するキャプションフレームであり、第２のキャプションフレームは、第１のキャプションが第１のマスク上に重ね合わされた後に生成されるキャプションフレーム（すなわち、マスクを有するキャプションフレーム）である。第１のサブ領域は、ビデオフレーム色域抽出単位であり得る。第２のサブ領域は、近い色値を有する隣接する第１のサブ領域が結合された後に取得された領域（例えば、領域Ａ、領域Ｂ、及び領域Ｃ）であり得る。第１のサブマスクは、各第２のサブ領域に対応するマスクであり得る。第１のマスクは、図６Ｂに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクであってもよいし、図８Ｂに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクであってもよい。第３のインターフェースは、図８Ｂに示されるユーザインターフェースであり得、第３のピクチャは、図８Ｂに示されるビデオフレームのピクチャであり得る。第１の部分は、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」中の「Ｗ Ｓ Ｙ Ｔ」であり得、第２の部分は、キャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」中の「Ｋ Ｌ Ｄ Ｇ Ｓ」であり得る。第２のサブマスクは、「Ｗ Ｓ Ｙ Ｔ」に対応するマスク（すなわち、図７Ｂに示される領域Ａのマスク）であり得る。第３のサブマスクは、「Ｋ Ｌ Ｄ Ｇ Ｓ」に対応するマスク（すなわち、図７Ｂに示される領域Ｂのマスク）であり得る。第２のマスクは、図６Ｃに示されるキャプション「Ｗ Ｓ Ｙ Ｔ Ｋ Ｌ Ｄ Ｇ Ｓ Ｙ Ｄ Ｚ Ｍ」に対応するマスクであり得る。

【0206】

以下では、本出願の一実施形態による、電子デバイス１００の構造について説明する。

【0207】

図９は、本出願の一実施形態による、電子デバイス１００の構成の一例を示す。

【0208】

図９に示すように、電子デバイス１００は、プロセッサ１１０、外部メモリインターフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）インターフェース１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、ワイヤレス通信モジュール１６０、オーディオモジュール１７０、ラウドスピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、及び加入者識別モジュール（subscriber identity module、ＳＩＭ）カードインターフェース１９５などを含み得る。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、環境光センサ１８０Ｌ、骨伝導センサ１８０Ｍなどを含み得る。

【0209】

本出願のこの実施形態において示される構造は、電子デバイス１００に対する特定の限定を構成しないことは理解され得る。本出願のいくつかの他の実施形態では、電子デバイス１００は、図に示されるものよりも多い又は少ない構成要素を含んでもよいし、いくつかの構成要素が組み合わされてもよいし、いくつかの構成要素が分割されてもよいし、異なる構成要素配置が使用されてもよい。図に示される構成要素は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組合せで実装され得る。

【0210】

プロセッサ１１０は、１つ又は複数の処理ユニットを含み得る。例えば、プロセッサ１１０は、アプリケーションプロセッサ（application processor、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、画像信号プロセッサ（image signal processor、ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（neural-network processing unit、ＮＰＵ）などを含み得る。異なる処理ユニットは、別個のデバイスであってもよいし、１つ又は複数のプロセッサに統合されてもよい。

【0211】

コントローラは、電子デバイス１００の神経中枢及び指令中枢であってもよい。コントローラは、命令フェッチ及び実行に関する制御を実行するために、命令オペレーションコード及びタイミング信号に基づいてオペレーション制御信号を生成し得る。

【0212】

メモリが、プロセッサ１１０に更に配置され得、命令及びデータを記憶するように構成される。いくつかの実施形態では、プロセッサ１１０内のメモリはキャッシュである。メモリは、プロセッサ１１０によって使用されたばかりの、又は周期的に使用される命令又はデータを記憶し得る。プロセッサ１１０が命令又はデータを再び使用する必要がある場合、プロセッサ１１０は、メモリから命令又はデータを直接呼び出し得る。これにより、繰り返しのアクセスが回避され、プロセッサ１１０の待ち時間が短縮され、システム効率を向上させる。

【0213】

いくつかの実施形態では、プロセッサ１１０は、１つ又は複数のインターフェースを含み得る。インターフェースは、集積回路間（inter-integrated circuit、Ｉ２Ｃ）インターフェース、集積回路間サウンド（inter-integrated circuit sound、Ｉ２Ｓ）インターフェース、パルス符号変調（pulse code modulation、ＰＣＭ）インターフェース、汎用非同期送受信回路（universal asynchronous receiver/transmitter、ＵＡＲＴ）インターフェース、モバイルインダストリープロセッサインターフェース（mobile industry processor interface、ＭＩＰＩ）、汎用入出力（general-purpose input/output、ＧＰＩＯ）インターフェース、加入者識別モジュール（subscriber ｉｄｅｎｔｉｔｙ module、ＳＩＭ）インターフェース、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、及び／又は同様のものを含み得る。

【0214】

Ｉ^２Ｃインターフェースは、シリアルデータライン（serial data line、ＳＤＡ）及びシリアルクロックライン（serial clock line、ＳＣＬ）を含む双方向同期シリアルバスである。いくつかの実施形態では、プロセッサ１１０は、複数のＩ^２Ｃバスを含み得る。プロセッサ１１０は、異なるＩ^２Ｃバスインターフェースを介して、タッチセンサ１８０Ｋ、充電器、カメラフラッシュ、カメラ１９３などにそれぞれ結合され得る。例えば、プロセッサ１１０は、Ｉ２Ｃインターフェースを介してタッチセンサ１８０Ｋに結合されてもよく、プロセッサ１１０及びタッチセンサ１８０Ｋが、Ｉ２Ｃバスインターフェースを介して互いに通信し、それによって、電子デバイス１００のタッチ機能を実装する。

【0215】

Ｉ^２Ｓインターフェースは、オーディオ通信に使用され得る。いくつかの実施形態では、プロセッサ１１０は、複数のＩ^２Ｓバスを含み得る。プロセッサ１１０は、プロセッサ１１０とオーディオモジュール１７０との間の通信を実現するために、Ｉ^２Ｓバス介してオーディオモジュール１７０に結合され得る。いくつかの実施形態では、オーディオモジュール１７０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットを介して呼に応答する機能を実装するために、Ｉ^２Ｓインターフェースを介してオーディオ信号をワイヤレス通信モジュール１６０に送信し得る。

【0216】

ＰＣＭインターフェースもまた、オーディオ通信に使用され得、アナログ信号に対してサンプリング、量子化、及び符号化を実行し得る。いくつかの実施形態では、オーディオモジュール１７０及びワイヤレス通信モジュール１６０は、ＰＣＭインターフェースを介して結合され得る。いくつかの実施形態では、オーディオモジュール１７０はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットを介して呼に応答する機能を実装するために、ＰＣＭインターフェースを介してオーディオ信号をワイヤレス通信モジュール１６０に送信し得る。Ｉ２ＳインターフェースとＰＣＭインターフェースの両方が、オーディオ通信に使用され得る。

【0217】

ＵＡＲＴインターフェースは、ユニバーサルシリアルデータバスであり、非同期通信に使用される。バスは、双方向通信バスであり得る。これは、直列通信とパラレル通信との間で、送信されるべきデータを変換する。いくつかの実施形態では、ＵＡＲＴインターフェースは、通常、プロセッサ１１０及びワイヤレス通信モジュール１６０に接続するように構成される。例えば、プロセッサ１１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能を実装するために、ＵＡＲＴインターフェースを介してワイヤレス通信モジュール１６０中のＢｌｕｅｔｏｏｔｈ（登録商標）モジュールと通信する。いくつかの実施形態では、オーディオモジュール１７０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットを介して音楽を再生する機能を実装するために、ＵＡＲＴインターフェースを介してオーディオ信号をワイヤレス通信モジュール１６０に送信し得る。

【0218】

ＭＩＰＩインターフェースは、プロセッサ１１０と、ディスプレイ１９４及びカメラ１９３のような周辺デバイスとを接続するように構成され得る。ＭＩＰＩインターフェースは、カメラシリアルインターフェース（camera serial interface、ＣＳＩ）、ディスプレイシリアルインターフェース（display serial interface、ＤＳＩ）などを含む。いくつかの実施形態では、プロセッサ１１０は、電子デバイス１００の撮影機能を実装するために、ＣＳＩインターフェースを介してカメラ１９３と通信する。プロセッサ１１０は、電子デバイス１００の表示機能を実装するために、ＤＳＩインターフェースを介してディスプレイ１９４と通信する。

【0219】

ＧＰＩＯインターフェースは、ソフトウェアによって構成され得る。ＧＰＩＯインターフェースは、制御信号又はデータ信号として構成され得る。いくつかの実施形態では、ＧＰＩＯインターフェースは、プロセッサ１１０を、カメラ１９３、ディスプレイ１９４、ワイヤレス通信モジュール１６０、オーディオモジュール１７０、センサモジュール１８０などに接続するように構成され得る。ＧＰＩＯインターフェースは、Ｉ^２Ｃインターフェース、Ｉ^２Ｓインターフェース、ＵＡＲＴインターフェース、ＭＩＰＩインターフェースなどとして更に構成され得る。

【0220】

ＵＳＢインターフェース１３０は、ＵＳＢ標準仕様に準拠したインターフェースであり、具体的には、ミニＵＳＢインターフェース、マイクロＵＳＢインターフェース、ＵＳＢ Ｔｙｐｅ－Ｃインターフェースなどであり得る。ＵＳＢインターフェース１３０は、充電器に接続して電子デバイス１００を充電するように構成され得、また、電子デバイス１００と周辺デバイスとの間でデータを送信するように構成され得る。それはまた、ヘッドセットを介してオーディオを再生するために、ヘッドセットに接続するように構成され得る。インターフェースはまた、ＡＲデバイスなどの別の端末デバイスに接続するように構成され得る。

【0221】

本出願のこの実施形態において示されるモジュール間のインターフェース接続関係は、例示的な説明にすぎず、電子デバイス１００の構造に対する限定を構成しないことが理解され得る。本出願のいくつかの他の実施形態では、電子デバイス１００は、代替的に、前述の実施形態とは異なるインターフェース接続方式を使用してもよいし、複数のインターフェース接続方式の組合せを使用してもよい。

【0222】

充電管理モジュール１４０は、充電器から充電入力を受信するように構成される。充電器は、ワイヤレス充電器又はワイヤード充電器であり得る。いくつかのワイヤード充電実施形態では、充電管理モジュール１４０は、ＵＳＢインターフェース１３０を介して有線充電器から充電入力を受信し得る。いくつかのワイヤレス充電実施形態では、充電管理モジュール１４０は、電子デバイス１００のワイヤレス充電コイルを介してワイヤレス充電入力を受信し得る。充電管理モジュール１４０は、更に、バッテリ１４２を充電しながら、電力管理モジュール１４１を介して電子デバイス１００に電力を供給し得る。

【0223】

電力管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０、及びプロセッサ１１０に接続するように構成される。電力管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０の入力を受信し、プロセッサ１１０、内部メモリ１２１、外部メモリ、ディスプレイ１９４、カメラ１９３、ワイヤレス通信モジュール１６０などに電力を供給する。電力管理モジュール１４１は、バッテリ容量、バッテリサイクル量、及びバッテリヘルスステータス（漏電及びインピーダンス）などのパラメータを監視するように更に構成され得る。いくつかの他の実施形態では、電力管理モジュール１４１はまた、プロセッサ１１０内に設けられ得る。いくつかの他の実施形態では、電力管理モジュール１４１及び充電管理モジュール１４０は、同じデバイス内に設けられ得る。

【0224】

電子デバイス１００のワイヤレス通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、ワイヤレス通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサなどを介して具現され得る。

【0225】

アンテナ１及びアンテナ２は、電磁波信号を送受信するように構成される。電子デバイス１００内の各アンテナは、１つ又は複数の通信周波数帯域をカバーするように構成され得る。アンテナ利用率を向上させるために、異なるアンテナが更に多重化され得る。例えば、アンテナ１は、ワイヤレスローカルエリアネットワークにおけるダイバーシティアンテナとして多重化され得る。いくつかの他の実施形態では、アンテナは、同調スイッチと併用され得る。

【0226】

モバイル通信モジュール１５０は、電子デバイス１００に適用されるソリューションを２Ｇ、３Ｇ、４Ｇ、５Ｇなどを含むワイヤレス通信に提供し得る。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低雑音増幅器（low noise amplifier、ＬＮＡ）などを含み得る。モバイル通信モジュール１５０は、アンテナ１を介して電磁波を受信し、受信された電磁波に対してフィルタリング及び増幅などの処理を実行し、復調のために処理された電磁波をモデムプロセッサに送信し得る。モバイル通信モジュール１５０は、モデムプロセッサによって変調された信号を更に増幅し、放射にアンテナ１を使用することによってその信号を電磁波に変換し得る。いくつかの実施形態では、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０に配置され得る。いくつかの実施形態では、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０の少なくともいくつかのモジュールと同じデバイス内に配置され得る。

【0227】

モデムプロセッサは、変調器と復調器とを含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中間周波数信号及び高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調された低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理された後、アプリケーションプロセッサに渡される。アプリケーションプロセッサは、オーディオデバイス（ラウドスピーカ１７０Ａ、レシーバ１７０Ｂなどに限定されない）を介して音声信号を出力したり、ディスプレイ１９４を介して画像又はビデオを表示したりする。いくつかの実施形態では、モデムプロセッサは別個のデバイスであり得る。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ１１０とは無関係であり、モバイル通信モジュール１５０又は別の機能モジュールと同じデバイス内に設けられ得る。

【0228】

ワイヤレス通信モジュール１６０は、電子デバイス１００に適用されワイヤレス通信ソリューションであって、ワイヤレスローカルエリアネットワーク（wireless local area networks、ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（wireless fidelity、Ｗｉ－Ｆｉ）ネットワーク）、ブルートゥース（登録商標）（Bluetooth（登録商標）、ＢＴ）、全地球的航法衛星システム（global navigation satellite system、ＧＮＳＳ）、周波数変調（frequency modulation、ＦＭ）、近距離無線通信（near field communication、ＮＦＣ）技術、赤外線（infrared、ＩＲ）技術などを含むワイヤレス通信ソリューションを提供し得る。ワイヤレス通信モジュール１６０は、少なくとも１つの通信処理モジュールを統合する１つ又は複数の構成要素であり得る。ワイヤレス通信モジュール１６０は、アンテナ２を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を実行し、処理された信号をプロセッサ１１０に送信する。ワイヤレス通信モジュール１６０は更に、送信されるべき信号をプロセッサ１１０から受信し、信号に対して周波数変調及び増幅を実行し、アンテナ２を介して放射するために信号を電磁波に変換し得る。

【0229】

いくつかの実施形態では、電子デバイス１００において、アンテナ１とモバイル通信モジュール１５０とが結合され、アンテナ２とワイヤレス通信モジュール１６０とが結合され、それにより、電子デバイス１００は、ワイヤレス通信技術を使用することによってネットワーク及び別のデバイスと通信することができる。ワイヤレス通信技術は、汎欧州デジタル移動電話方式（global system for mobile communications、ＧＳＭ）、汎用パケット無線サービス（general packet radio service、ＧＰＲＳ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、広帯域符号分割多重接続（wideband code division multiple access、ＷＣＤＭＡ（登録商標））、時分割符号分割多元接続（time-division code division multiple access、ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、ブルートゥース（登録商標）（Bluetooth（登録商標）、ＢＴ）、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ技術、及び／又は同様のものを含み得る。ＧＮＳＳは、全地球位置決めシステム（global positioning system、ＧＰＳ）、全地球的航法衛星システム（global navigation satellite system、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（BeiDou navigation satellite system、ＢＤＳ）、準天頂衛星システム（quasi-zenith satellite system、ＱＺＳＳ）、及び／又は静止衛星型補強システム（satellite based augmentation systems、ＳＢＡＳ）を含み得る。

【0230】

電子デバイス１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサなどを使用することによって表示機能を実装する。ＧＰＵは、画像処理用のマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続される。ＧＰＵは、数学的及び幾何学的計算を実行し、画像をレンダリングするように構成される。プロセッサ１１０は、表示情報を生成又は変更するためのプログラム命令を実行する１つ又は複数のＧＰＵを含み得る。

【0231】

ディスプレイ１９４は、画像、ビデオなどを表示するように構成される。ディスプレイ１９４は、表示パネルを含む。表示パネルは、液晶表示装置（liquid crystal display、ＬＣＤ）、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（active-matrix organic light emitting diode、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（flexible light-emitting diode、ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、マイクロＯＬＥＤ、量子ドット発光ダイオード（quantum dot light emitting diodes、ＱＬＥＤ）などであり得る。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のディスプレイ１９４を含み得、Ｎは、１よりも大きい正の整数である。

【0232】

電子デバイス１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサなどを通じて撮影機能を実装し得る。

【0233】

ＩＳＰは、カメラ１９３によってフィードバックされたデータを処理するように構成される。例えば、撮影時には、シャッターが開かれ、光線がレンズを介してカメラの感光素子に送信される。光信号は電気信号に変換される。カメラの感光素子は、電気信号を処理のためにＩＳＰに送信し、電気信号を可視画像に変換する。ＩＳＰは、画像ノイズ、輝度、及び肌の色合いに対してアルゴリズム最適化を更に実行し得る。ＩＳＰは、撮影シナリオにおける露出及び色温度などのパラメータを更に最適化することができる。いくつかの実施形態では、ＩＳＰは、カメラ１９３内に配置され得る。

【0234】

カメラ１９３は、静止画像又はビデオをキャプチャするように構成される。物体の光学像は、レンズを通して生成され、感光素子上に投影される。感光素子は、電荷結合素子（charge-coupled device、ＣＣＤ）又は相補型金属酸化膜半導体（complementary metal-oxide-semiconductor、ＣＭＯＳ）フォトトランジスタであり得る。感光素子は、光信号を電気信号に変換し、その後、電気信号をＩＳＰに送信してデジタル画像信号に変換する。ＩＳＰは、デジタル画像信号を処理のためにＤＳＰに出力する。ＤＳＰは、デジタル画像信号を標準的なＲＧＢ又はＹＵＶなどのフォーマットの画像信号に変換する。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のカメラ１９３を含み得、Ｎは、１よりも大きい正の整数である。

【0235】

デジタルシグナルプロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理することもある。例えば、電子デバイス１００が周波数を選択する場合、デジタルシグナルプロセッサは、周波数エネルギーに対してフーリエ変換などを事項するように構成される。

【0236】

ビデオコーデックは、デジタルビデオを圧縮又は解凍するように構成される。電子デバイス１００は、１つ又は複数のビデオコーデックをサポートし得る。このようにして、電子デバイス１００は、複数の符号化フォーマット、例えば、ＭＰＥＧ（moving picture experts group）－１、ＭＰＥＧ－２、ＭＰＥＧ－３、及びＭＰＥＧ－４でビデオを再生又は記録することができる。

【0237】

ＮＰＵは、ニューラルネットワーク（neural-network、ＮＮ）コンピューティングプロセッサであり、人間の脳内のニューロン間の伝達モードなどの生物学的ニューラルネットワーク構造をシミュレートして、入力情報に対して高速処理を実行し、連続的な自己学習を実行することができる。ＮＰＵは、電子デバイス１００の知的認識、例えば、画像認識、顔認識、音声認識、及びテキスト理解などのアプリケーションを実装し得る。

【0238】

外部メモリインターフェース１２０は、電子デバイス１００の記憶能力を拡張するために、外部メモリカード、例えば、マイクロＳＤカードに接続するように構成され得る。外部メモリカードは、データ記憶機能を実装するために、外部メモリインターフェース１２０を使用することによってプロセッサ１１０と通信する。外部記憶カードには、例えば音楽及びビデオなどのファイルが記憶される。

【0239】

内部メモリ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成され得、実行可能プログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に記憶された命令を実行することによって、電子デバイス１００の様々な機能アプリケーション及びデータ処理を実行する。内部メモリ１２１は、プログラム記憶エリア及びデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能（音声再生機能及び画像再生機能など）に必要なアプリケーションなどを記憶し得る。データ記憶エリアは、電子デバイス１００の使用に基づいて作成されたデータ（音声データ及び電話帳など）などを記憶し得る。加えて、内部メモリ１２１は、高速ランダムアクセスメモリを含み得、不揮発性メモリ、例えば、少なくとも１つの磁気記憶デバイス、フラッシュメモリデバイス、及びユニバーサルフラッシュストレージ（universal flash storage、ＵＦＳ）を更に含み得る。

【0240】

電子デバイス１００は、オーディオモジュール１７０、ラウドスピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサなどを介して、音楽再生及び録音などのオーディオ機能を実装し得る。

【0241】

オーディオモジュール１７０は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール１７０は、オーディオ信号を符号化及び復号するように更に構成され得る。いくつかの実施形態では、オーディオモジュール１７０は、プロセッサ１１０内に配置されてもよく、又はオーディオモジュール１７０内のいくつかの機能モジュールは、プロセッサ１１０内に配置される。

【0242】

ラウドスピーカ１７０Ａは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス１００は、ラウドスピーカ１７０Ａを通じてハンズフリーモードで音楽を聴いたり呼に応答したりし得る。

【0243】

レシーバ１７０Ｂは、「イヤピース」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス１００を介して呼に応答したり音声メッセージを受けたりする場合、レシーバ１７０Ｂを人の耳に近づけて音声を聞くことができる。

【0244】

マイクロフォン１７０Ｃは、「マイク（mike）」又は「マイク（mic）」とも呼ばれ、音声信号を電気信号に変換するように構成される。ユーザは、電話をかけたり音声メッセージを送信したりする際に、人の口をマイクロフォン１７０Ｃに近づけて音を発して、その音声信号をマイクロフォン１７０Ｃに入力し得る。少なくとも１つのマイクロフォン１７０Ｃが電子デバイス１００内に配置され得る。いくつかの他の実施形態では、音声信号を収集することに加えて、ノイズリダクション機能を実装するために、２つのマイクロフォン１７０Ｃが電子デバイス１００内に配置され得る。いくつかの他の実施形態では、代替的に、３つ、４つ、又はそれ以上のマイクロフォン１７０Ｃを電子デバイス１００内に配置して、音声信号を収集し、ノイズリダクションを実装し、音源を識別し、それにより、指向性録音機能などを実装してもよい。

【0245】

ヘッドセットジャック１７０Ｄは、ワイヤードヘッドセットに接続するように構成される。ヘッドセットジャック１７０Ｄは、ＵＳＢインターフェース１３０であってもよいし、３．５ｍｍのオープンモバイル端末プラットフォーム（open mobile terminal platform、ＯＭＴＰ）標準インターフェース若しくは米国セルラー電気通信産業協会（Cellular Telecommunications Industry Association of the USA、ＣＴＩＡ）標準インターフェースであってもよい。

【0246】

圧力センサ１８０Ａは、圧力信号を感知するように構成され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサ１８０Ａは、ディスプレイ１９４内に配置され得る。圧力センサ１８０Ａには、抵抗型圧力センサ、誘導型圧力センサ、及び容量性圧力センサなど、多くのタイプがある。容量性圧力センサは、導電性材料を有する少なくとも２つの平行なプレートを含み得る。圧力センサ１８０Ａに力が加わると、電極間の静電容量が変化する。電子デバイス１００は、静電容量の変化に基づいて圧力の強さを決定する。ディスプレイ１９４に対してタッチ操作が行われると、電子デバイス１００は、圧力センサ１８０Ａを使用することによってタッチ操作の強度を検出する。電子デバイス１００はまた、圧力センサ１８０Ａの検出信号に基づいてタッチ位置を計算し得る。いくつかの実施形態では、同じタッチ位置に対して実行されるが、異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応し得る。例えば、第１の圧力閾値未満のタッチ操作強度を有するタッチ操作がショートメッセージアプリケーションアイコンに対して実行されると、ショートメッセージを閲覧する命令が実行される。第１の圧力閾値以上のタッチ操作強度を有するタッチ操作がショートメッセージアプリケーションアイコンに対して実行されると、新しいショートメッセージを作成する命令が実行される。

【0247】

ジャイロセンサ１８０Ｂは、電子デバイス１００の動き姿勢を決定するように構成され得る。いくつかの実施形態では、３つの軸（ｘ、ｙ、及びｚ軸）の周りの電子デバイス１００の角速度は、ジャイロセンサ１８０Ｂを使用することによって決定され得る。ジャイロセンサ１８０Ｂは、手振れ補正のために使用され得る。例えば、シャッターが押されると、ジャイロセンサ１８０Ｂは、電子デバイス１００がジッタする角度を検出し、この角度に基づいて、レンズモジュールが補償する必要がある距離を計算し、レンズが逆の動きを通じて電子デバイス１００の揺らぎを打ち消すことを可能にして、画像安定化を実現する。ジャイロセンサ１８０Ｂは、ナビゲーションシナリオ及び動き感知ゲームシナリオで更に使用され得る。

【0248】

気圧センサ１８０Ｃは、気圧を測定するように構成される。いくつかの実施形態では、電子デバイス１００は、位置決め及びナビゲーションを支援するために、気圧センサ１８０Ｃによって測定された気圧値を使用することによって高度を計算する。

【0249】

磁気センサ１８０Ｄは、ホールセンサを含む。電子デバイス１００は、磁気センサ１８０Ｄを使用することによってフリップホルスタの開閉を検出し得る。いくつかの実施形態では、電子デバイス１００がフリップデバイスであるとき、電子デバイス１００は、磁気センサ１８０Ｄを使用することによってフリップの開閉を検出し得る。更に、検出されたレザーケースの開閉状態又はフリップカバーの開閉状態に基づいて、フリップカバーを開けたときに自動的にロック解除されるなどの機能が設定される。

【0250】

加速度センサ１８０Ｅは、電子デバイス１００の様々な方向（通常は３軸）の加速度を検出し得る。電子デバイス１００が静止している場合、重力の大きさ及び方向が検出され得る。加速度センサ１８０Ｅは、電子デバイス１００の姿勢を識別するように更に構成されてもよく、歩数計及びランドスケープモードとポートレートモードとの間の切り替えなどの用途に適用される。

【0251】

距離センサ１８０Ｆは、距離を測定するように構成される。電子デバイス１００は、赤外線方式又はレーザー方式で距離を測定し得る。いくつかの実施形態では、撮影シナリオにおいて、電子デバイス１００は、距離センサ１８０Ｆを使用して距離を測定し、高速フォーカシングを達成し得る。

【0252】

光近接センサ１８０Ｇは、例えば、発光ダイオード（ＬＥＤ）と、フォトダイオードなどの光検出器とを含み得る。発光ダイオードは、赤外線発光ダイオードであり得る。電子デバイス１００は、発光ダイオードを使用することによって外部に赤外光を発光する。電子デバイス１００は、フォトダイオードを使用して、周囲の物体からの赤外線反射光を検出する。豊富な反射光が検出された場合、電子デバイス１００の近傍に物体が存在すると決定し得る。反射光が十分に検出されない場合、電子デバイス１００は、電子デバイス１００の近くに物体がないと決定し得る。電子デバイス１００は、光近接センサ１８０Ｇを使用して、ユーザが通話のために電子デバイス１００を耳の近くに保持していることを検出して、ディスプレイを自動的にオフにして電力を節約し得る。光近接センサ１８０Ｇはまた、自動ロック解除及び画面ロックのために、ホルスターモード又はポケットモードで使用され得る。

【0253】

環境光センサ１８０Ｌは、周囲光の明るさを感知するように構成される。電子デバイス１００は、感知された周囲光の明るさに基づいて、ディスプレイ１９４の輝度を適応的に調整し得る。環境光センサ１８０Ｌは、撮影中にホワイトバランスを自動的に調整するように更に構成され得る。環境光センサ１８０Ｌは、更に、光近接センサ１８０Ｇと協働して、電子デバイス１００がポケット内にあるかどうかを検出して、偶発的なタッチを防止し得る。

【0254】

指紋センサ１８０Ｈは、指紋を採取するように構成される。電子デバイス１００は、収集された指紋の特徴を使用して、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの写真撮影、指紋ベースの着呼応答などを実施し得る。

【0255】

温度センサ１８０Ｊは、温度を検出するように構成される。いくつかの実施形態では、電子デバイス１００は、温度センサ１８０Ｊによって検出された温度に基づいて温度処理ポリシーを実行する。例えば、温度センサ１８０Ｊによって報告された温度が閾値を超えるとき、電子デバイス１００は、温度センサ１８０Ｊの近くに位置するプロセッサの性能を低減して、電力消費を低減し、熱保護を実施する。いくつかの他の実施形態では、温度が別の閾値よりも低いとき、電子デバイス１００は、バッテリ１４２を加熱して、低温によって引き起こされる電子デバイス１００の異常シャットダウンを回避する。いくつかの他の実施形態では、温度が更に別の閾値よりも低いとき、電子デバイス１００は、バッテリ１４２の出力電圧をブーストして、低温によって引き起こされる異常シャットダウンを回避する。

【0256】

タッチセンサ１８０Ｋは、「タッチパネル」とも呼ばれる。タッチセンサ１８０Ｋは、ディスプレイ１９４上に配置され得、タッチセンサ１８０Ｋ及びディスプレイ１９４は、「タッチスクリーン」とも呼ばれるタッチスクリーンを形成する。タッチセンサ１８０Ｋは、タッチセンサ上又はその近傍で実行されたタッチ操作を検出するように構成される。タッチセンサは、タッチイベントのタイプを決定するために、検出されたタッチ操作をアプリケーションプロセッサに転送し得る。タッチ操作に関連する視覚的出力がディスプレイ１９４上に提供され得る。いくつかの他の実施形態では、タッチセンサ１８０Ｋは、代替的に、ディスプレイ１９４の位置とは異なる位置で電子デバイス１００の表面上に配置されてもよい。

【0257】

骨伝導センサ１８０Ｍは、振動信号を取得し得る。いくつかの実施形態では、骨伝導センサ１８０Ｍは、人体の音振動骨から振動信号を取得し得る。また、骨伝導センサ１８０Ｍは、人体の脈拍に接触して血圧拍動信号を受信し得る。いくつかの実施形態では、骨伝導センサ１８０Ｍは、骨伝導ヘッドセットに統合されるように、ヘッドセットに配置され得る。オーディオモジュール１７０は、音声機能を実装するために、骨伝導センサ１８０Ｍによって取得された音振動骨の振動信号に基づいて音声信号を解析し得る。アプリケーションプロセッサは、心拍数検出機能を実装するために、骨伝導センサ１８０Ｍによって取得された血圧拍動信号に基づいて心拍数情報を解析し得る。

【0258】

ボタン１９０は、電源ボタン、音量ボタンなどを含む。ボタン１９０は、機械的ボタンであってもよくいし、タッチセンサ式ボタンであってもよい。電子デバイス１００は、ボタン入力を受信し、電子デバイス１００のユーザ設定及び機能制御と関連したボタン信号入力を生成し得る。

【0259】

モータ１９１は、振動アラートを生成し得る。モータ１９１は、着信呼のための振動アラートのために使用され得、タッチ振動フィードバックのためにも使用され得る。例えば、異なるアプリケーション（例えば、撮影及びオーディオ再生）上のタッチ操作は、異なる振動フィードバック効果に対応し得る。ディスプレイ１９４の異なる領域上のタッチ操作について、モータ１９１はまた、対応して異なる振動フィードバック効果を生成し得る。異なるアプリケーションシナリオ（時間リマインダ、情報受信、目覚し時計、及びゲームなど）はまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は、更にカスタマイズされ得る。

【0260】

インジケータ１９２は、インジケータであり得、充電ステータス及び電力変化を示すように構成され得るか、又はメッセージ、不在着信、通知などを示すように構成され得る。

【0261】

ＳＩＭカードインターフェース１９５は、ＳＩＭカードに接続するように構成される。ＳＩＭカードは、電子デバイス１００との接触又は分離を実施するために、ＳＩＭカードインターフェース１９５に挿入され得るか、又はＳＩＭカードインターフェース１９５から取り外され得る。電子デバイス１００は、１つ又はＮ個のＳＩＭカードインターフェースをサポートし得、ここで、Ｎは、１よりも大きい正の整数である。ＳＩＭカードインターフェース１９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカードなどをサポートし得る。複数のカードが同じＳＩＭカードインターフェース１９５に挿入され得る。複数のカードのタイプは、同じであってもよいし、異なっていてもよい。ＳＩＭカードインターフェース１９５はまた、異なるタイプのＳＩＭカードと互換性があり得る。ＳＩＭカードインターフェース１９５はまた、外部メモリカードと互換性があり得る。電子デバイス１００は、ＳＩＭカードを介してネットワークと対話して、通話及びデータ通信などの機能を実装する。いくつかの実施形態では、電子デバイス１００は、ｅＳＩＭ、すなわち、組み込み型ＳＩＭカードを使用する。ｅＳＩＭカードは、電子デバイス１００に埋め込まれ得、電子デバイス１００から分離することができない。

【0262】

図９に示される電子デバイス１００は例にすぎず、電子デバイス１００は、図９に示される構成要素よりも多い又は少ない構成要素を有してもよいし、２つ以上の構成要素を組み合わせてもよいし、異なる構成要素構成を有してもよいことを理解されたい。図９に示される様々な構成要素は、１つ又は複数の信号プロセッサ及び／又は特定用途向け集積回路を含むハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せを使用することによって実装され得る。

【0263】

以下では、本出願の一実施形態による、電子デバイス１００のソフトウェア構造について説明する。

【0264】

図１０は、本出願の一実施形態による、電子デバイス１００のソフトウェア構造の一例を示す。

【0265】

図１０に示すように、電子デバイス１００のソフトウェアシステムは、階層化アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを使用し得る。以下では、一例を使用して、電子デバイス１００のソフトウェア構造について説明する。

【0266】

ソフトウェアは、階層化アーキテクチャを使用することによって層に分割され、各層は、明確な役割及びタスクを有する。これらの層は、ソフトウェアインターフェース接続を使用することによって互いに通信する。いくつかの実施形態では、電子デバイス１００のソフトウェア構造は、上から下へ、アプリケーション層、アプリケーションフレームワーク層、及びカーネル層という３つの層に分割される。

【0267】

アプリケーション層は、一連のアプリケーションパッケージを含み得る。

【0268】

図１０に示すように、アプリケーションパッケージは、カメラ、ギャラリー、カレンダー、電話、マップ、ナビゲーション、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、音楽、ビデオ、及びメッセージなどのアプリケーションを含み得る。ビデオは、本出願の実施形態において言及されたビデオアプリケーションであり得る。

【0269】

アプリケーションフレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの予め定義された機能を含む。

【0270】

図１０に示すように、アプリケーションフレームワーク層は、ウィンドウマネジャ、コンテンツプロバイダ、ビューシステム、電話マネジャ、リソースマネジャ、通知マネジャ、ビデオ処理システムなどを含み得る。

【0271】

ウィンドウマネジャはウィンドウプログラムを管理するように構成される。ウィンドウマネジャは、表示サイズを取得し、ステータスバーがあるかどうかを決定し、画面をロックし、スクリーンショットを撮影するなどし得る。

【0272】

コンテンツプロバイダは、データを記憶及び取得し、アプリケーションがこれらのデータにアクセスできるようにするように構成される。データは、ビデオ、画像、音声、発呼及び着呼、閲覧履歴及び閲覧ブックマーク、アドレス帳などを含み得る。

【0273】

ビューシステムは、テキストを表示するためのコントロール、ピクチャを表示するためのコントロールなどの視覚的コントロールを含む。ビューシステムは、アプリケーションを構築するように構成され得る。ディスプレイインターフェースは、１つ又は複数のビューを含み得る。例えば、メッセージ通知アイコンを含むディスプレイインターフェースは、テキストを表示するためのビューと、ピクチャを表示するためのビューとを含み得る。

【0274】

電話マネジャは、電子デバイス１００の通信機能、例えば、通話ステータス（応答、拒否などを含む）の管理を提供するように構成される。

【0275】

リソースマネジャは、ローカライズされた文字列、アイコン、画像、レイアウトファイル、及びビデオファイルなどのアプリケーション用のリソースを提供する。

【0276】

通知マネジャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知メッセージを伝達するように構成され得る。通知マネジャは、ユーザ対話を必要とすることなく、短い休止の後に自動的に消え得る。例えば、通知マネジャは、ダウンロード完了を通知すること、メッセージリマインドを提供することなどを行うように構成される。通知マネジャは、代替的に、バックグラウンドで実行されているアプリケーションについての通知、又はダイアログウィンドウの形態で画面上に現れる通知など、グラフ又はスクロールバーテキストの形態でシステムの上部のステータスバーに現れる通知であり得る。例えば、ステータスバーに文字情報が表示されたり、アナウンスが行われたり、電子デバイスが振動したり、表示灯が点滅したりする。

【0277】

ビデオ処理システムは、本出願の実施形態において提供されるキャプション表示方法を実行するように構成され得る。ビデオ処理システムは、キャプション復号モジュールと、ビデオフレーム色域解釈モジュールと、ビデオフレーム合成モジュールと、ビデオフレームキューと、ビデオレンダリングモジュールとを含み得る。各モジュールの具体的な機能については、前述の実施形態における関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0278】

カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）ドライバ、及びセンサドライバを含む。

【0279】

以下では、撮影シナリオを参照して、電子デバイス１００のソフトウェア及びハードウェアの動作プロセスの一例について説明する。

【0280】

タッチセンサ１８０Ｋがタッチ操作を受信すると、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を元の入力イベント（タッチ操作のタッチ座標及びタイムスタンプなどの情報を含む）に処理する。元の入力イベントはカーネル層に記憶される。アプリケーションフレームワーク層は、カーネル層から元の入力イベントを取得し、入力イベントに対応するコントロールを識別する。例えば、タッチ操作はシングルタップ操作であり、シングルタップ操作に対応するコントロールは、カメラアプリケーションアイコンのコントロールである。カメラアプリケーションは、カメラアプリケーションを開始するために、アプリケーションフレームワーク層でインターフェースを呼び出す。そして、カーネル層を呼び出してカメラドライバを起動し、カメラ１９３を使用して静止画像又はビデオを撮影する。

【0281】

以下では、本出願の一実施形態による、別の電子デバイス１００の構造について説明する。

【0282】

図１１は、本出願の一実施形態による、別の電子デバイス１００の構成の一例を示す。

【0283】

図１１に示すように、電子デバイス１００は、ビデオアプリケーション１１００とビデオ処理システム１１１０とを含み得る。

【0284】

ビデオアプリケーション１１００は、電子デバイス１００にインストールされたシステムアプリケーション（例えば、図２Ａに示される「ビデオ」アプリケーション）であり得るか、又は第三者によって提供され、電子デバイス１００にインストールされ、ビデオ再生機能を有するアプリケーションであり得る。ビデオアプリケーション１１００は、主にビデオを再生するように構成される。

【0285】

ビデオ処理システム１１１０は、ビデオ復号モジュール１１１１と、キャプション復号モジュール１１１２と、ビデオフレーム色域解釈モジュール１１１３と、ビデオフレーム合成モジュール１１１４と、ビデオフレームキュー１１１５と、ビデオレンダリングモジュール１１１６とを含み得る。

【0286】

ビデオ復号モジュール１１１１は、ビデオアプリケーション１１００によって送信されたビデオ情報ストリームを受信し、ビデオ情報ストリームを復号してビデオフレームを生成し得る。

【0287】

キャプション復号モジュール１１１２は、ビデオアプリケーション１１００によって送信されたキャプション情報ストリームを受信し、キャプション情報ストリームを復号してキャプションフレームを生成し、ビデオフレーム色域解釈モジュール１１１３によって送信されたマスクパラメータに基づいて、マスクを有するキャプションフレームを送信して、キャプション認識度を高め得る。

【0288】

ビデオフレーム色域解釈モジュール１１１３は、キャプション認識度を分析してキャプション認識度分析結果を生成し、キャプション認識度分析結果に基づいて、キャプションに対応するマスクパラメータ（マスクの色値及び透明度）を計算し得る。

【0289】

ビデオフレーム合成モジュール１１１４は、ビデオフレームとキャプションフレームとを重ね合わせて結合し、表示されるべきビデオフレームを生成し得る。

【0290】

ビデオフレームキュー１１１５は、ビデオフレーム合成モジュール１１１４によって送信された表示されるべきビデオフレームを記憶し得る。

【0291】

ビデオレンダリングモジュール１１１６は、表示されるべきビデオフレームを時系列に基づいてレンダリングして、レンダリングされたビデオフレームを生成し、レンダリングされたビデオフレームをビデオ再生のためにビデオアプリケーション１１００に送信し得る。

【0292】

電子デバイス１００の機能及び作動原理に関する更なる詳細については、前述の実施形態における関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0293】

図１１に示される電子デバイス１００は一例にすぎず、電子デバイス１００は、図１１に示される構成要素よりも多い又は少ない構成要素を有してもよいし、２つ以上の構成要素を組み合わせてもよいし、異なる構成要素構成を有してもよいことを理解されたい。図１１に示される様々な構成要素は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで実装され得る。

【0294】

前述のモジュールは、機能によって分割され得る。実際の製品では、モジュールは、同じソフトウェアモジュールによって実行される異なる機能であり得る。

【0295】

以下では、本出願の一実施形態による、別の電子デバイス１００の構造について説明する。

【0296】

図１２は、本出願の一実施形態による、別の電子デバイス１００の構成の一例を示す。

【0297】

図１２に示すように、電子デバイス１００は、ビデオアプリケーション１２００を含み得る。ビデオアプリケーション１２００は、ビデオ復号モジュール１２１１、キャプション復号モジュール１２１２、ビデオフレーム色域解釈モジュール１２１３、ビデオフレーム合成モジュール１２１４、ビデオフレームキュー１２１５、及びビデオレンダリングモジュール１２１６を含み得る。

【0298】

ビデオアプリケーション１２００は、電子デバイス１００にインストールされたシステムアプリケーション（例えば、図２Ａに示される「ビデオ」アプリケーション）であり得るか、又は第三者によって提供され、電子デバイス１００にインストールされ、ビデオ再生機能を有するアプリケーションであり得る。ビデオアプリケーション１２００は、主にビデオを再生するように構成される。

【0299】

取得及び表示モジュール１２１０は、ビデオ情報ストリーム及びキャプション情報ストリームを取得し、ビデオレンダリングモジュール１２１６などによって送信されたレンダリングされたビデオフレームを表示し得る。

【0300】

ビデオ復号モジュール１２１１は、取得及び表示モジュール１２１０によって送信されたビデオ情報ストリームを受信し、ビデオ情報ストリームを復号してビデオフレームを生成し得る。

【0301】

キャプション復号モジュール１２１２は、取得及び表示モジュール１２１０によって送信されたキャプション情報ストリームを受信し、キャプション情報ストリームを復号してキャプションフレームを生成し、ビデオフレーム色域解釈モジュール１２１３によって送信されたマスクパラメータに基づいて、マスクを有するキャプションフレームを生成して、キャプション認識度を高め得る。

【0302】

ビデオフレーム色域解釈モジュール１２１３は、キャプション認識度を分析してキャプション認識度分析結果を生成し、キャプション認識度分析結果に基づいて、キャプションに対応するマスクパラメータ（マスクの色値及び透明度）を計算し得る。

【0303】

ビデオフレーム合成モジュール１２１４は、ビデオフレームとキャプションフレームとを重ね合わせて結合し、表示されるべきビデオフレームを生成し得る。

【0304】

ビデオフレームキュー１２１５は、ビデオフレーム合成モジュール１２１４によって送信された表示されるべきビデオフレームを記憶し得る。

【0305】

ビデオレンダリングモジュール１２１６は、時系列に基づいて表示されるべきビデオフレームをレンダリングして、レンダリングされたビデオフレームを生成し、レンダリングされたビデオフレームを、ビデオ再生のために取得及び表示モジュール１２１０に送信し得る。

【0306】

電子デバイス１００の機能及び作動原理に関する更なる詳細については、前述の実施形態における関連する内容を参照されたい。詳細はここでは改めて説明しない。

【0307】

図１２に示される電子デバイス１００は一例にすぎず、電子デバイス１００は、図１２に示される構成要素よりも多い又は少ない構成要素を有してもよいし、２つ以上の構成要素を組み合わせてもよいし、異なる構成要素構成を有してもよいことを理解されたい。図１２に示される様々な構成要素は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで実装され得る。

【0308】

前述の実施形態は、本出願の技術的解決策を説明することを意図しているにすぎず、本出願を限定することを意図していない。本出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本出願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態において説明された技術的解決策を更に修正し、又はそのいくつかの技術的特徴に対して同等の置換を行うことができることを理解すべきである。

【国際調査報告】