IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧

特許7295950映像増強制御方法、装置、電子機器及び記憶媒体
<>
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図1
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図2
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図3
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図4
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図5
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図6
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図7
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図8
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図9
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図10
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図11
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図12
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図13
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図14
  • 特許-映像増強制御方法、装置、電子機器及び記憶媒体 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-13
(45)【発行日】2023-06-21
(54)【発明の名称】映像増強制御方法、装置、電子機器及び記憶媒体
(51)【国際特許分類】
   H04N 21/431 20110101AFI20230614BHJP
   G09G 5/00 20060101ALI20230614BHJP
   G09G 5/02 20060101ALI20230614BHJP
   G09G 5/10 20060101ALI20230614BHJP
【FI】
H04N21/431
G09G5/00 550C
G09G5/00 530H
G09G5/00 530M
G09G5/02 B
G09G5/10 B
G09G5/00 510Q
【請求項の数】 14
(21)【出願番号】P 2021529683
(86)(22)【出願日】2019-08-27
(65)【公表番号】
(43)【公表日】2022-01-19
(86)【国際出願番号】 CN2019102907
(87)【国際公開番号】W WO2020107973
(87)【国際公開日】2020-06-04
【審査請求日】2021-05-25
(31)【優先権主張番号】201811428168.7
(32)【優先日】2018-11-27
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., LTD.
【住所又は居所原語表記】No. 18 Haibin Road,Wusha, Chang’an,Dongguan, Guangdong 523860 China
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100203105
【弁理士】
【氏名又は名称】江口 能弘
(72)【発明者】
【氏名】彭 徳良
【審査官】富樫 明
(56)【参考文献】
【文献】特開2008-236603(JP,A)
【文献】特表2010-541009(JP,A)
【文献】特開2005-094072(JP,A)
【文献】特開2012-226107(JP,A)
【文献】特開2009-296113(JP,A)
【文献】中国特許出願公開第105898364(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
G09G 5/00
G09G 5/02
G09G 5/10
(57)【特許請求の範囲】
【請求項1】
電子機器に用いられ、
映像再生状態にあると検出されると、再生映像の複数フレームの画像コンテンツを含む映像コンテンツを取得することと、
再生時間順に従って、再生映像に含まれる複数映像コンテンツのステージを取得することと、前記複数映像コンテンツのステージからそれぞれ少なくとも一つのフレーム画像コンテンツを取得して、複数フレームの画像のコンテンツを得ることと、を含む前記複数フレームの画像コンテンツを取得することと、
前記複数フレームの画像コンテンツにおいて隣接するフレームの画像のコンテンツが一致しないと、画像コンテンツに変化があると判定し、隣接するフレームの画像の変化が生じた回数を複数フレーム画像の合計フレーム数と比較することで変化頻度を得る、前記複数フレームの画像コンテンツの変化頻度を計算することと、
前記変化頻度に基づいて再生映像のタイプを決定することと、
前記タイプが目標タイプであるかを判断することと、
前記目標タイプであると判定されると、再生映像に対して映像増強を行い、前記映像増強は再生映像の画像を増強することを含むことと、を含み、
前記目標タイプであると判定されると、再生映像に対して映像増強を行うステップは、
前記目標タイプであると判定されると、映像増強を「ON」にするトリガーウィジェットを表示することと、
前記トリガーウィジェットに作用するタッチ操作が検出されると、再生映像に対して映像増強を行うことと、
前記目標タイプに対応する、前記再生映像の画像のパラメータから選ばれる指定画像パラメータを取得することと、
前記指定画像パラメータを調整して再生映像の画像を増強することと、を含み、
前記指定画像パラメータは鮮明度調整パラメータ、画面引き延ばし制御パラメータ、色調整パラメータ、シャープネス調整パラメータ、輝度調整パラメータ、コントラスト調整パラメータ、色域制御パラメータ、純度制御パラメータ、ノイズリダクション制御パラメータ、および彩度調整パラメータのうちの少なくとも1つを含み、
前記映像増強は、映像コンテンツに対する露出度の向上、ノイズ除去、エッジのシャープニング、コントラストの増加、及び彩度の増加のうち少なくとも1つが含まれることを特徴とする映像増強制御方法。
【請求項2】
前記目標タイプであると判定されると、再生映像に対して映像増強を行うステップは、
前記目標タイプであると判定されると、再生映像の指定パラメータを取得することと、
前記指定パラメータを、再生映像のタイプに対応する参考パラメータとマッチングを行うことと、
マッチングが成功すると、再生映像に対して映像増強を行うことと、
を含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記目標タイプであると判定されると、前記再生映像に対して映像増強を行うステップの前に、さらに、
指定数の前記タイプの映像を取得することと、
前記指定数の前記タイプの映像に対して機械学習を行うことで、前記タイプに対応する参考パラメータを得ることと、
を含むことを特徴とする請求項2に記載の方法。
【請求項4】
前記変化頻度に基づいて再生映像のタイプを決定するステップは、
前記変化頻度が所定値を下回ると、映像を教学タイプの映像と判定することと、
前記変化頻度が所定値以上だと、映像をテレビドラマタイプの映像または映画タイプの映像と判定することと、
を含むことを特徴とする請求項に記載の方法。
【請求項5】
さらに、
再生映像時間の長さを取得することと、
前記再生映像時間の長さに基づいて前記複数映像コンテンツのステージにおける時間パラメータを決定することと、
を含み、
前記時間パラメータは各映像コンテンツのステージの長さ、前記複数映像コンテンツのステージの数及び隣接する映像コンテンツのステージの時間間隔のうち少なくとも一つを含むことを特徴とする請求項に記載の方法。
【請求項6】
さらに、
前記目標タイプでないと判定されると、再生映像に対して映像増強を行わないことを含む、ことを特徴とする請求項1ないしの何れか1項に記載の方法。
【請求項7】
映像再生状態にあると検出されると、再生映像の映像コンテンツを取得するステップの前に、
所定の映像再生アプリケーションが動作しているかを検出することと、
所定の映像再生アプリケーションが動作していると検出されると、映像再生状態にあることが検出されたと判定することと、
を含むことを特徴とする請求項1ないしの何れか1項に記載の方法。
【請求項8】
映像再生状態にあると検出されると、再生映像の映像コンテンツを取得するステップの前に、
現行のフォアグラウンドで動作しているアプリケーションを取得することと、
前記アプリケーションがあらかじめ構築された映像再生アプリケーションリストにあるかを検出することと、
前記アプリケーションがあらかじめ構築された映像再生アプリケーションリストにある場合、映像再生状態にあることが検出されたと判定することと、
を含むことを特徴とする請求項1ないしの何れか1項に記載の方法。
【請求項9】
前記アプリケーションがあらかじめ構築された映像再生アプリケーションリストにあるかを検出するステップは、
前記アプリケーションの使用頻度を検出することと、
前記使用頻度が所定の頻度を超えた場合、前記アプリケーションがあらかじめ構築された映像再生アプリケーションリストにあると判定することと、
を含むことを特徴とする請求項に記載の方法。
【請求項10】
映像再生状態にあると検出されると、再生映像の映像コンテンツを取得するステップの前に、
オーディオの出力があるかを検出することと、
オーディオの出力がある場合、映像再生アプリケーションが動作しているかを検出することと、
映像再生アプリケーションが動作している場合、映像再生状態にあることが検出されたと判定することと、
を含むことを特徴とする請求項1ないしの何れか1項に記載の方法。
【請求項11】
電子機器で動作し、
映像再生状態にあると検出されると、再生映像の複数フレームの画像コンテンツを含む映像コンテンツを取得する映像コンテンツ取得ユニットであって、再生時間順に従って、再生映像に含まれる複数映像コンテンツのステージを取得し、前記複数映像コンテンツのステージからそれぞれ少なくとも一つのフレーム画像コンテンツを取得し、複数フレームの画像のコンテンツを得る映像コンテンツ取得ユニットと、
前記複数フレームの画像コンテンツにおいて隣接するフレームの画像のコンテンツが一致しないと、画像コンテンツに変化があると判定し、隣接するフレームの画像の変化が生じた回数を複数フレーム画像の合計フレーム数と比較することで変化頻度を得る、前記複数フレームの画像コンテンツの変化頻度を計算する変化頻度計算ユニットと、
前記変化頻度に基づいて再生映像のタイプを識別する映像タイプ識別ユニットと、
前記タイプが目標タイプであるかを判断するタイプ判断ユニットと、
前記目標タイプであると判定されると、再生映像に対して映像増強を行う映像増強制御ユニットと、を含み、
前記映像増強制御ユニットは、前記目標タイプであると判定されると、映像増強を「ON」にするトリガーウィジェットを表示し、
前記映像増強制御ユニットは、前記トリガーウィジェットに作用するタッチ操作が検出されると、再生映像に対して映像増強を行い、
前記映像増強制御ユニットは、前記目標タイプに対応する、前記再生映像の画像のパラメータから選ばれる指定画像パラメータを取得し、
前記映像増強制御ユニットは、前記指定画像パラメータを調整して再生映像の画像を増強し、
前記指定画像パラメータは鮮明度調整パラメータ、画面引き延ばし制御パラメータ、色調整パラメータ、シャープネス調整パラメータ、輝度調整パラメータ、コントラスト調整パラメータ、色域制御パラメータ、純度制御パラメータ、ノイズリダクション制御パラメータ、および彩度調整パラメータのうちの少なくとも1つを含み、
前記映像増強制御ユニットが行う映像増強は、映像コンテンツに対する露出度の向上、ノイズ除去、エッジのシャープニング、コントラストの増加、及び彩度の増加のうち少なくとも1つが含まれることを特徴とする映像増強制御装置。
【請求項12】
前記映像増強制御ユニットはさらに、前記目標タイプでないと判定されると、再生映像に対して映像増強を行わないことを含むことを特徴とする請求項11に記載の装置。
【請求項13】
1つ以上のプロセッサ、映像エンコーダ/デコーダ及びメモリと、
前記メモリに格納され、前記1つ以上のプロセッサにより実行され、請求項1ないし10の何れか1項に記載の方法を実行するように構成される1つ以上のプログラムと、
を含むことを特徴とする電子機器。
【請求項14】
プログラムコードが格納され、
前記プログラムコードがプロセッサによって動作されるときに、請求項1ないし10の何れか1項に記載の方法を実行することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本発明は、2018年11月27日に提出された出願番号CN201811428168.7の中国出願の優先権を要求し、ここにあらゆる目的のため、引用により、その全てのコンテンツを本明細書に組み込む。
【0002】
本発明は、画像処理技術分野に関し、より具体的には、映像増強制御方法、装置、電子機器及び記憶媒体に関する。
【背景技術】
【0003】
ディスプレイ付き電子機器の応用は、社会の発展に伴い、その応用範囲が拡大し続けている。例えば、ディスプレイを利用して写真及び映像等の画像を表示する。しかしながら、大部分の電子機器の表示品質は、周囲の光源の変化により、又は再生映像の入手先の品質問題により、著しく影響を受ける。
【発明の概要】
【0004】
上記問題に鑑み、本発明は、映像増強制御方法、装置、電子機器及び記憶媒体を提案して上記問題を改善する。
【0005】
第一に、本発明は電子機器に用いられる映像増強制御方法を提供する。前記方法は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得することと、前記映像コンテンツに基づいて再生映像のタイプを識別することと、前記タイプが目標タイプであるかを判断することと、前記目標タイプであると判定されると、再生映像に対して映像増強を行うこととを含む。
【0006】
第二に、本発明は電子機器で動作する映像増強制御装を提供する。前記装置は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する映像コンテンツ取得ユニットと、前記映像コンテンツに基づいて再生映像のタイプを識別する映像タイプ識別ユニットと、前記タイプが目標タイプであるかを判断するタイプ判断ユニットと、前記目標タイプであると判定されると、再生映像に対して映像増強を行う映像増強制御ユニットと、を含む。
【0007】
第三に、本発明は電子機器を提供する。前記電子機器は1つ以上のプロセッサ及びメモリと、1つ以上のプログラムとを含み、前記1つ以上のプログラムは前記メモリに格納され、前記1つ以上のプロセッサによって実行し、前記方法を実行するように構成される。
【0008】
第四に、本発明はコンピュータの可読記憶媒体を提供する。前記コンピュータの可読記憶媒体にはプログラムコードが格納され、前記プログラムコードが動作する際に上記方法を実行する。
【図面の簡単な説明】
【0009】
本発明実施例中の技術手段をさらに明確に説明するため、以下では実施例記述中に使用する必要のある図面を簡単に紹介する。言うまでもなく、以下の記述中の図面は、本発明のいくつかの実施例にすぎず、本分野当業者にとっては、創造的労働を行わないことを前提として、これらの図面に基づいてその他の図面を得ることもできる。
【0010】
図1図1は本発明にかかわるもう一つの映像デコーディングのフローチャートを示す。
図2図2は本発明の実施例にかかわる映像増強制御方法のフローチャートを示す。
図3図3は本発明の実施例にかかわる映像増強制御方法におけるインターフェースを示す図である。
図4図4は本発明の実施例にかかわる映像増強制御方法における映像再生インターフェースを示す図である。
図5図5は本発明の実施例にかかわる映像増強制御方法におけるプロンプトメッセージを示す図である。
図6図6は本発明の実施例にかかわる映像増強制御方法における映像増強開始の決定方法の構成インターフェースを示す図である。
図7図7は本発明のもう一つの実施例にかかわる映像増強制御方法のフローチャートを示す。
図8図8は本発明のさらなる実施例にかかわる映像増強制御方法のフローチャートを示す。
図9図9は本発明のさらなる実施例にかかわる映像増強制御方法における複数フレームの画像を取得することを示す図である。
図10図10は本発明のさらなる実施例にかかわる映像増強制御方法における複数の映像コンテンツのステージを示す図である。
図11図11は本発明の実施例にかかわる映像増強制御装置の構造ブロック図を示す。
図12図12は本発明のもう一つの実施例にかかわるもう一つの映像増強制御装置の構造ブロック図を示す。
図13図13は本発明のさらなる実施例にかかわるさらなる映像増強制御装置の構造ブロック図を示す。
図14図14は本発明の実施例において、本発明の実施例による映像増強制御方法を実行する電子機器の構造ブロック図を示す。
図15図15は本発明の実施例における、本発明の実施例による映像増強制御方法を実行するプログラムコードを格納または携帯するための記憶素子である。
【発明を実施するための形態】
【0011】
以下では本発明実施例中の図面を結び付け、本発明実施例中の技術手段を明確に、完全に説明する。説明される実施例は、本発明の一部の実施例にすぎず、すべての実施例でないことは明らかである。本発明中の実施例に基づき、本分野一般当業者が創造的労働を行わないことを前提として得られるその他すべての実施例は、本発明が保護する範囲に属する。
【0012】
電子機器のハードウェア性能の向上に伴い、より多くの電子機器が映像再生を行うことをサポートすることができるようになった。例えば、電子機器は、映像再生クライアントを動作させ、該映像再生クライアントを介してネットワークからリクエストされた映像を再生することができ、又はウェブページブラウザを動作させ、ウェブページブラウザ中で映像再生を行うことにより、さらに又は電子機器は、映像再生ソフトウェアによりローカルに格納された映像ファイルを再生することができる。
【0013】
また、ネットワーク上で伝送再生映像についても、ローカルに格納された映像についても、映像が生成される際に、格納空間の占有を減らすことができるように、またネットワーク上の伝送をしやすくするように、生成された映像を圧縮する。それに対応して、電子機器が映像を取得する場合も、まず取得できるものは圧縮コーディング後の映像であり、このような場合、電子機器は、まず圧縮コーディングされている映像に対して映像デコーディングを行う。
【0014】
通常は図1に示されているように、電子機器は、ハードデコーディング及びソフトデコーディングの2種類の方法により映像デコーディングを行うことができる。ここで、ハードデコーディングとは、GPU(Graphics Processing Unit)、専用のDSP、FPGA、ASICチップ等のCPU以外のものを使用してデコーディングを行うことをいう。また、ソフトデコーディングとは、CPUを使用してデコーディングを行うことをいう。
【0015】
具体的には、図1に示されているように、Media Framework(マルチメディアフレームワーク)は、クライアント又はウェブページブラウザとの間のAPIインターフェースを介して再生待ち映像ファイルを取得し、Video Decode(映像デコーダ)に渡す。ここで、Media Framework(マルチメディアフレームワーク)は、OS中のマルチメディアフレームワークである。
【0016】
ハードデコーディングであっても、ソフトデコーディングであっても、映像データをデコーディングした後、デコーディング後の映像データをSurfaceFlinger(レイヤ伝達モジュール)に送信し、SurfaceFlingerによりデコーディング後の映像データをレンダリング及び合成した後、ディスプレイ上に表示する。ここで、SurfaceFlingerは、独立したServiceであり、すべてのSurfaceを受信して入力とし、ZOrder、透明度、サイズ、位置等のパラメータに基づき、各Surfaceの最終合成画像中における位置を算出し、その後、HWComposer又はOpenGLに渡して最終的表示Bufferを生成し、その後、特定のディスプレイ機器に表示する。
【0017】
発明者は、ハードデコーディング工程中であっても、ソフトデコーディング工程中であっても、視覚増強工程を加え、それにより後続の再生映像により高い視覚効果を持たせることができることを発見した。例えば、HQV(hollywood quality video)技術に基づき、映像にエッジノイズ除去、露出度調節又は鮮明度向上等を行うことができる。このほか、その他の方法により、再生映像の視覚体験、例えば、色のあざやかさの度合い等を向上させることもできる。
【0018】
しかし、発明者は、再生映像に対して視覚増強制御を行うかという制御方法については、なお向上が待たれることをさらに発見した。例えば、映像収集ルートと方法の増加に伴い、再生できる映像タイプもますます増えている。ここで、再生可能な映像タイプはavi、rmvb及びwmaなどが含まれる。また、映像タイプによって時間の長さも異なり、ある映像はほんの数秒の長さであるのに対し、ある映像は長さが1時間ないし数時間以上もする。また、異なるタイプの映像及び異なる時間の長さの映像に対して、電子機器はまだどうのように映像増強を行うか、及び映像増強をすべきかどうかにつき、柔軟性をもって決定できない。このため、本発明による制御の利便性及びインテリジェント化を向上させることができる映像増強制御方法、装置、電子機器並びに記憶媒体を提案した。
以下では具体的実施例を結び付けて本発明の内容を説明する。
【0019】
本発明による電子機器に用いられる映像増強制御方法において、以下のステップを含む。(図2を参照。)
【0020】
ステップS110:映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する。
【0021】
本発明において、電子機器は、さまざまな方法により、映像再生状態にあるかどうかを識別することができる。
【0022】
一態様として、前記電子機器が映像再生状態にあるかどうかを検出するステップは、
前記電子機器で所定の映像再生アプリケーションが動作しているかを検出することと、所定の映像再生アプリケーションが動作していると検出されると、前記電子機器が前記映像再生状態にあると判定することとを含む。ここで、電子機器は、あらかじめ映像再生アプリケーションのリストを構築して、該リスト中に映像再生アプリケーションを記録するようにする。ここで、該リストは、電子機器のユーザーが自由に構成してもよく、ある映像再生アプリケーションの使用状況に応じて決定してもよい。
【0023】
例えば、図3に示されているように、図3に示されたインターフェース中に複数のアプリケーション及び各アプリケーションに対応する状態を表示する。アプリケーションに対応する状態が図示された「OFF」である場合、該アプリケーションが削除され、又は上記リスト中に加えられていないことを表し、アプリケーションに対応する状態が図示された「ON」である場合、該アプリケーションが上記リスト中に加えられたことを表すと理解することができる。例えば、名称が「TX映像」であるアプリケーションについて、対応する状態が「ON」であれば、「TX映像」というアプリケーションが上記のリスト中に存在することを表す。また、名称が「AQY映像」であるアプリケーションについて、対応する状態が「OFF」であれば、「AQY映像」というアプリケーションが上記のリスト中に存在しないことを表す。
【0024】
さらに、電子機器は、各映像再生アプリケーションの使用頻度を検出することができ、ある映像再生プログラムの使用頻度が所定の頻度を超えたことを検出した場合、該映像再生アプリケーションを上記のリスト中に加え、それに対応して該映像再生アプリケーションの名称の図3中の対応する状態を「ON」にすることができる。
【0025】
このような場合、電子機器は、まず現行のフォアグラウンド動作しているアプリケーションがどれであるかを検出し、その後さらに現行のフォアグラウンド動作しているアプリケーションが該リスト中にあるかどうかを検出することができ、もしあれば、該アプリケーションが映像再生状態にあると判定する。ここで、一態様として、電子機器がAndroidのOSである場合、ActivityManagerのgetRunningTasks方法を実行することにより、現行のフォアグラウンド動作しているアプリケーションの名称を取得することができる。このほか、電子機器は、UsageStatsManagerによりユーザーが使用するアプリケーションの一覧を取得し、該一覧中に記録された直近に使用したアプリケーションを現行のフォアグラウンドアプリケーションとして識別することもできる。さらに、Android搭載のアクセシビリティ機能により、ウィンドウフォーカスの変化を監視し、フォーカスウィンドウに対応するパッケージ名を入手し、現行のフォアグラウンド動作しているアプリケーションとすることもできる。
【0026】
もう1つの態様として、電子機器は、AudioManager系の戻り値の検出を結合して、映像を再生しているかどうかを確認することもできる。このような場合、電子機器は、まずAudioManager系の戻り値を検出して、オーディオ出力があるかどうかを確認することができ、オーディオ出力があることを検出した場合、さらに上述の映像再生アプリケーションが動作しているかどうかの検出に基づき、電子機器が映像再生状態にあるかどうかを確認する。
【0027】
さらに、さらなる方法として、電子機器は、映像再生キーのタッチ状態を検出することにより、映像再生状態にあるかどうかを検出することもできる。例えば、図4に示されているように、図4に示された映像再生インターフェース99中に再生キー98が表示され、且つ図4中に示されたインターフェースは、映像再生一時停止の状態である。このような場合、再生キー98がタッチされたのが検出されると、電子機器が映像再生状態にあると判定することができる。
【0028】
また、取得する映像コンテンツも様々な方法で取得することができる。
【0029】
一態様として、電子機器は再生されているコンテンツから再生映像の映像コンテンツを取得してもよい。電子機器がトリガーされて映像を再生し始めると、映像ソースから映像ファイルを読み取って再生を行うが、電子機器が映像再生状態にあるかどうかについては、電子機器は一定の時間を消耗して検出しなければならず、この場合、電子機器が実際に映像再生状態にあると検出された場合、電子機器はすでに一定の時間の長さの映像コンテンツを再生している可能性があると理解できる。
【0030】
しかし、電子機器は通常再生された映像に対してキャッシュを行うので、こういう場合、電子機器はキャッシュされている映像コンテンツから再生映像の映像コンテンツを読み取ることができる。例えば、電子機器は映像再生をトリガーされると、直ちに映像再生を行い、電子機器は再生2秒後はじめて電子機器が映像再生状態にあると検出するこができ、その後、電子機器が上記1秒の再生中に5MBのコンテンツを再生またはキャッシュした場合、電子機器は当該キャッシュされている5MBのコンテンツから再生映像の映像コンテンツを取得することができる。好ましくは、電子機器は、取得する再生映像の映像コンテンツとして、キャッシュされているコンテンツから部分コンテンツを読み取ってもよく、取得する再生映像の映像コンテンツとして、キャッシュされているコンテンツの全部のコンテンツを読み取ってもよい。
【0031】
また、もう一つの態様として、電子機器は、映像再生状態にあると検出されると、再生映像の映像コンテンツとして、映像再生状態にあると検出されたタイミングから一定の時間の長さの映像コンテンツを読み取ってもよい。例えば、電子機器は、映像再生状態にあると検出されると、取得する再生映像の映像コンテンツとして、映像再生状態にあると検出されたタイミングからの5MBの映像コンテンツをさらに読み取ってもよい。
【0032】
従って、上記の映像コンテンツを取得する方法によって、電子機器は実際の情況に応じてどのように映像コンテンツを取得するかを決定することができ、かつ柔軟性をもって映像コンテンツを取得することができる。
【0033】
電子機器の再生映像はネットワークから取得されることがあって、通常の映像データはネットワーク(例えば、映像ファイルを格納するサーバー)から電子機器に伝送されるまで一定の時間の長さを消耗し、この場合、電子機器の再生映像がネットワークから取得された場合、電子機器は映像再生状態にあると検出されると、取得する再生映像の映像コンテンツとして、映像再生状態にあると検出されたタイミングからの指定時間の長さの映像コンテンツをさらに読み取ることができると理解することができる。従って、このような方法によって、電子機器が十分な映像コンテンツを取得できるようにし、これによって後続の映像タイプの判断がしやすくなり、ネットワークの混雑のため、電子機器が十分な映像コンテンツをキャッシュできず、後続の電子機器の映像タイプの判断が精確にできなくなることが避けられる。ここで、十分な映像コンテンツとは占める格納空間が所定しきい値を上回る映像コンテンツであってもよい。
【0034】
もう一つの態様として、電子機器が再生映像をローカルで読み取られたと検出された場合、取得する再生映像の映像コンテンツとして、映像再生状態にあると検出されるとそのまま映像ソースからキャッシュされている映像中の指定長さの映像コンテンツを取得してもよい。再生映像の全部の映像コンテンツがすでに全部電子機器のローカルに格納されている場合、電子機器は後続の映像タイプを判断するための映像コンテンツ(即ち、ステップS110中の再生映像の映像コンテンツを取得)の取得中に、ローカルに格納されている映像コンテンツ中の任意の位置から後続の映像タイプを判断するためのコンテンツを取得することができると理解できる。
【0035】
例えば、電子機器の現行の再生映像がローカルに保存されたAという名前の映像であり、該A映像時間の長さが1時間である場合、電子機器は後続の映像タイプを判断するための映像コンテンツの取得中に、後続の映像タイプを判断するためのコンテンツとして、時間の長さ1時間の映像コンテンツ中の任意の位置から自ら決めた長さの画像を取得することができる。例えば、後続の映像タイプを判断するためのコンテンツとして、映像コンテンツの5分目から5秒間の映像コンテンツを取得することができる。また、後続の映像タイプを判断するためのコンテンツとして、直接映像コンテンツの30分目から10秒間の映像コンテンツを取得することができる。
【0036】
ステップS120:前記映像コンテンツに基づいて再生映像のタイプを識別する。
【0037】
ここで、映像のタイプは、ショート映像タイプ、テレビドラマタイプ、映画タイプ、教学映像タイプなどが含まれる。テレビドラマタイプの映像コンテンツは通常時間の長さが30分~50分の間で、映画タイプの映像コンテンツの時間の長さよりも短いと理解することができる。また、ショート映像タイプの映像時間の長さは通常ほんの数分間ないし十数秒である。また、教学映像タイプの映像コンテンツには、通常背景の部分がずっと変化のない状態にあり、文字の部分のみが変化状態にある。この場合一態様として、電子機器は上記の映像特長に基づいて再生映像のタイプを識別することができる。
【0038】
ステップS130:前記タイプが目標タイプであるかを判断する。
ステップS140:前記目標タイプであると判定されると、再生映像に対して映像増強を行う。
【0039】
ここで、電子機器は映像増強中に、輝度の表示から増強してもよく、所定色温度のRGBゲインから増強してもよく、映像画面の色から増強してもよく、映像画面のコントラストから増強などしてもよい。電子機器が映像増強を「ON」にすると、より多くのCPUリソースまたはGPUリソースを消耗しなければならないと理解することができる。こういう場合には、一態様として、前記目標タイプであると判定されると、映像増強を「ON」にするトリガーウィジェットを表示し、前記トリガーウィジェットに作用するタッチ操作が検出されると、再生映像に対して映像増強を行う。
【0040】
ここで、当該映像増強を「ON」にするトリガーウィジェットはプロンプトメッセージに用いられ、ユーザーにタッチ操作をすることで開始するかどうかを選択するようにする。例えば、図5に示すように、再生映像のタイプが目標タイプであると検出されると、ウィジェット97が表示され、ウィジェット97に、「映像増強を開始しますか」というプロンプトメッセージが表示されるとともに、ウィジェット97に、「開始」内容のタッチウィジェット、及び「無視」内容のタッチウィジェットが表示され、「開始」内容のタッチウィジェットに作用するタッチ操作が検出されると、映像増強を開始したと判定して再生映像に対して映像増強を行う。「無視」内容のタッチウィジェットに作用するタッチ操作が検出されると、前記ウィジェット97は隠れる。
【0041】
また、ユーザーが映像増強を行うかどうかをトリガーする方法は、上記のタッチウィジェットの方法のほかにも様々な方法があり得る。例えば、再生映像のタイプが目標タイプであると判定されると、再生インターフェースにプロンプトメッセージを表示し、ユーザーに自分の体のある部分の動作状態を変えることで映像増強を決定する目的を達成するように提示する。このような場合、電子機器は、ユーザーがプロンプトメッセージに対応する動作を行ったかどうかの検出を開始することができ、ユーザーがプロンプトメッセージに対応する動作を行ったと判定されると、映像増強開始する。一態様として、電子機器は、ユーザーに電子機器を振るように提示し、電子機器が揺動状態にあると電子機器が検出すると、ユーザーが電子機器を振ったと判定し、これにより映像増強を「ON」にすると判定する。さらに、もう一つの態様として、電子機器はまた、ユーザーに迅速に目を瞬くように提示するプロンプトメッセージを表示することができ、電子機器は、ユーザーが迅速に目を瞬いたと検出すると、映像増強の開始を決定する。もちろん、映像増強を開始するかどうかをユーザーに提示するために、電子機器が具体的にどういうプロンプトメッセージを表示するかについては、電子機器は、格納された情報を構成するコンテンツを取得することによって決定することができる。この場合、ユーザーは、電子機器の設定インターフェースを介して自ら必要なプロンプトメッセージのタイプを設定することができる。
【0042】
例えば、図6に示すように、図6に示す設置インターフェース上に、標識確認方式のウィジェット95及びウィジェット95に対応するスイッチウィジェット96が表示され、ここで当該スイッチウィジェット96が「ON」の状態の場合、対応する決定方法を開始することを特徴づける。ここで、複数の決定方法につき一つ選択して採用されると理解できる。そこで、そのうちの一つの方法の開始が決定されるとその他の方法は自動的に「OFF」状態に決定される。
【0043】
ここで、映像コンテンツに対する映像増強処理は、映像コンテンツに対する露出度の向上、ノイズ除去、エッジのシャープニング、コントラストの増加、及び彩度の増加のうち少なくとも1つが含まれる。この場合、前記目標タイプであると判定されると、再生映像に対して映像増強を行うステップは、前記目標タイプに対応する前記再生映像の画像のパラメータから選ばれる指定画像パラメータを取得することと、前記指定画像パラメータを調整して再生映像の画像を増強することとを含む。ここで、前記画像パラメータは、鮮明度調整パラメータ、画面引き延ばし制御パラメータ、色調整パラメータ、シャープネス調整パラメータ、輝度調整パラメータ、コントラスト調整パラメータ、色域制御パラメータ、純度制御パラメータ、ノイズリダクション制御パラメータおよび彩度調整パラメータのうちの少なくとも1つを含む。異なるタイプの映像は上記画像パラメータから異なるパラメータを選択して調整を行うと理解することができる。例えば、目標タイプの映像は上記画像パラメータのいずれに対しても調整を行うことができるのに対し、目標タイプでない映像はそのうちの部分画像パラメータのみに対して調整を行うことができる。
【0044】
詳しくは、電子機器に表示された映像コンテンツはデコーディングをした後の画像コンテンツであり、デコーディングをした後の画像コンテンツがRGBAフォーマットのデータであるので、画像コンテンツを最適化するため、RGBAフォーマットのデータをHSVフォーマットに変換する必要がある。具体的には、画像コンテンツのヒストグラムを取得し、ヒストグラムを統計してRGBAフォーマットデータをHSVフォーマットに変換するパラメータを取得し、其の後、当該パラメータに基づき、RGBAフォーマットのデータをHSVフォーマットに変換する。
【0045】
ここで、露出度の増強は画像の輝度を向上させるものであって、画像のヒストグラムを介して、輝度値の低い領域の輝度値を上げる。また、非線形の重ね合わせによって画像の輝度を上げることもできる。具体的には、Iは処理必要なわりと暗い画像を示し、Tは処理後のわりと明るい画像を示し、露出度増強方法はT(x)=I(x)+(1-I(x))*I(x)である。ここで、TとIはいずれも[0、1]の値を用いた画像である。好ましくは、1回の効果が良くない場合、計算法は複数回繰り返してもよい。
【0046】
ここで、画像コンテンツのノイズ除去は画像のノイズを除去するためのものであって、具体的には、画像は生成及び伝送過程でさまざまなノイズの干渉や影響により画質が低下することが多く、これは後続の画像の処理や画像の視覚効果に悪影響を及ぼす。ノイズには、例えば、電気ノイズ、機械ノイズ、チャネルノイズ及びその他のノイズなど、さまざまな種類がある。したがって、ノイズを抑制し、画質を向上させ、より高度な処理を容易にするために、画像に対してノイズ除去前処理を行う必要がある。ノイズの確率分布状況からすると、ガウスノイズ、レイリーノイズ、ガンマノイズ、指数ノイズ及び均一ノイズに分けられる。
【0047】
具体的には、画像はガウスフィルターでノイズ除去ができる。ここで、ガウスフィルターは、ノイズを効果的に抑制し、画像を滑らかにすることができる線形フィルターである。その動作原理は平均フィルターの原理と類似し、いずれもフィルターウィンドウ内のピクセルの平均値を出力とする。ウィンドウテンプレートの係数は平均フィルターとは異なり、平均フィルターのテンプレート係数はいずれも同じく1であるのに対して、ガウスフィルターのテンプレート係数は、テンプレートの中心からの距離が増加するにつれて減少する。したがって、ガウスフィルターは、平均フィルターと比較して、画像のぼやけの程度が小さい。
【0048】
例えば、5×5ガウスフィルターウィンドウを生成し、テンプレートの中心位置を座標の原点としてサンプリングする。テンプレートの各位置の座標をガウス関数に入れて得られた値がテンプレートの係数である。次に、当該ガウスフィルターウィンドウを画像と畳み込むことで画像のノイズを除去することができる。
【0049】
ここで、エッジシャープニングは、ぼやけた画像をより鮮明にするためのものである。画像のシャープニングには、一般的に2つの方法があって、1つは微分法であり、もう1つはハイパスフィルタリング法である。
【0050】
ここで、コントラストの増加は、画像の画質を向上させ、画像内の色をより鮮やかにするためのものである。具体的には、コントラストの引き延ばしは画像増強の一つの方法であり、グレースケール変換操作でもある。グレースケール変換により、グレースケール値を0~255の範囲全体に引き伸ばすと、コントラストが明らかに大幅に増強される。次の式を用いて、あるピクセルのグレー値をより大きなグレースペースにマッピングできる。
【0051】
I(x、y)=[(I(x、y)-Imin)/(Imax-Imin)](MAX-MIN)+MIN、
ここでImin、Imaxは元の画像の最小グレー値と最大グレー値で、MINとMAXは、引き伸ばそうとするグレースペースの最小グレー値と最大グレー値である。
【0052】
ステップS150:前記目標タイプでないと判定されると、再生映像に対して映像増強を行わない。
【0053】
本発明にかかわる映像増強制御方法は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得し、前記映像コンテンツに基づいて再生映像のタイプを識別し、その後、前記タイプが目標タイプであるかを判断し、前記目標タイプであると判定されると、再生映像に対して映像増強を行う。従って、本方法によると、再生映像のコンテンツによって映像タイプを決定し、さらに、タイプが目標タイプであるかを判断することで再生映像に対して映像増強を行うかを決定することができ、映像増強開始方法の柔軟性を向上させた。
【0054】
本発明にかかわる電子機器に用いられる映像増強制御方法は、以下のステップを含む。(図7参照。)
【0055】
ステップS210:映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する。
ステップS220:前記映像コンテンツに基づいて再生映像のタイプを識別する。
ステップS230:前記タイプが目標タイプであるかを判断する。
ステップS240:前記目標タイプであると判定されると、再生映像の指定パラメータを取得する。
ステップS241:前記目標タイプではないと判定されると、再生映像に対して映像増強を行わない。
ステップS250:前記指定パラメータを再生映像のタイプに対応する参考パラメータとマッチングを行う。
【0056】
異なるタイプの映像は、いくつかのパラメータ特徴に違いがあると理解することができる。また、各タイプの映像に対応する参考パラメータには、一定のタイプの特長がある。
【0057】
テレビドラマタイプを例にすると、通常、テレビドラマタイプの時間の長さは35~50分で、テレビドラマタイプの映像は、映像開示部分に開始曲の部分があり、映像最後部分に終了曲の部分がある。ここで、一態様として、キャリブレーション記号によって冒頭部分、主要部分および末尾部分がキャリブレーションされている映像に対しては、電子機器はキャリブレーション記号に基づいて映像を識別することができる。もう一つの態様として、電子機器は、映像ストリームに所定のコンテンツオーディオストリームが対応されているかどうかを判断することで、冒頭部分、主要部分、および末尾部分を区別することができる。冒頭部分と末尾部分は通常、開始曲と終了曲を伴うものと理解することができるので、電子機器は開始曲と終了曲が対応されている部分を検出することでテレビドラマタイプの映像であるかを識別することができる。
【0058】
さらに、教学タイプの映像を例にすると、通常、教学タイプの映像の映像画面には通常、ほとんどの領域にはテキストコンテンツが表示され、さらに一部の教学映像は、ずっと一つの領域に人の顔の画像が表示される。こういう場合、電子機器は、まず教学映
像タイプの映像であると決定した上で、同一人の顔の画像が一つの領域にずっと固定されているかを判定することで、教学タイプの映像であるかを決定することができる。
【0059】
また、その他のタイプの映像にもそれぞれ対応する映像特長がある。例えば、映画タイプの映像は通常時間の長さが90分~120分である。
【0060】
このような場合、電子機器は、ステップS230を実行して、まず再生映像のタイプを判定した後、さらに、初期決定された映像タイプに対応する指定パラメータを取得することで、さらに、初期決定された映像タイプであるかを決定することができ、これにより判断されたタイプの正確度を向上させる。
【0061】
電子機器が再生映像のタイプがテレビドラマタイプの映像として初期判断されると、電子機器は、指定パラメータとして、再生映像時間の長さをさらに判断し、時間の長さをあらかじめ設定したテレビドラマタイプの映像に対応する参考パラメータ(この場合は、映像タイプに対応する時間の長さ)とマッチングを行い、マッチングが成功すると、再生映像のタイプがテレビドラマタイプの映像だと決定することができる。
【0062】
さらに、教学映像タイプを決定する参考パラメータにおいて、テキストの映像画面を占める割合が所定割合を超えると決定した場合、再生映像のタイプが教学タイプの映像であると初期決定をした上で、さらに、再生映像の映像画面中のテキストの占める割合を参考パラメータ(この場合はテキストの占める割合)とマッチングを行い、マッチングが成功すると再生映像のタイプが教学タイプの映像だと決定することができる。
【0063】
また、各タイプの参考パラメータは、過去のデータに基づいて構成してもよく、機械学習の方法に基づいて構成してもよい。ここで、一態様として、前記目標タイプであると判定されると、再生映像に対して映像増強を行うステップの前に、指定数の前記タイプの映像を取得することと、前記指定数の前記タイプの映像に対して機械学習を行うことで、前記タイプに対応する参考パラメータを得ることとをさらに含む。
【0064】
ステップS260:マッチングが成功した場合は、再生映像に対して映像増強を行う。
ステップS261:マッチングが失敗した場合は、再生映像に対して映像増強を行わない。
【0065】
本発明にかかわる映像増強制御方法は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得し、前記映像コンテンツに基づいて再生映像のタイプを識別し、その後、前記タイプが目標タイプであるかを判断し、前記目標タイプであると判定されると、再生映像の指定パラメータを取得し、前記指定パラメータを、再生映像のタイプに対応する参考パラメータとマッチングを行い、再生映像の指定パラメータが、再生映像のタイプに対応する参考パラメータとのマッチングが成功すると再生映像に対して映像増強を行う。これにより、本方法によって再生映像のコンテンツに応じて映像タイプを決定し、さらに、タイプが目標タイプであるかを判断することで再生映像に対して映像増強を行うかを決定することができ、映像増強開始方法の柔軟性を向上させた。
【0066】
本発明にかかわる電子機器に用いられる映像増強制御方法は、以下のステップを含む。(図8を参照。)
【0067】
ステップS310:映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する。
ステップS320:映像コンテンツに含まれる複数フレームの画像のコンテンツを取得する。
【0068】
一態様として、前記複数フレームの画像コンテンツを取得するステップは、
【0069】
前記複数フレーム画像のそれぞれの指定領域のコンテンツを取得することを含み、前記複数フレームの画像における各フレーム画像の前記指定領域は同一である。
【0070】
この場合、電子機器は、仮想座標系を確立して、各フレームの画像を当該座標系に入れることができ、その後、前記複数フレーム画像のコンテンツとして、座標に基づいて各フレーム画像から指定領域の画像を取得することができる。図9に示されているように、仮想座標系において、1フレーム映像画面S1内の領域S2は、上記の指定領域であるので、複数のフレーム画像について、前記複数フレーム画像のコンテンツとして、いずれも図中の領域S2位置のコンテンツを取得する。
【0071】
もう一つの態様として、前記複数フレームの画像コンテンツを取得するステップは、再生時間順に従って、再生映像に含まれる複数の映像コンテンツステージを取得することを含み、前記複数映像コンテンツステージからそれぞれ少なくとも一つのフレーム画像コンテンツを取得して、複数フレーム画像のコンテンツを得る。
【0072】
映像変換の頻度をより正確に取得するため、間隔を置いて複数フレームの画像コンテンツを取得することができる。上記の方法に基づき、10msを一つの映像コンテンツのステージとして決定できるので、映像開始から10msのコンテンツ(図10で矢印方向の第1仮想線の充填領域が特徴づけるコンテンツ)を一つの映像コンテンツのステージとし、その後、2ms間隔を置いてから、再度12msからの10msのコンテンツ(図10で矢印方向の第2仮想線の充填領域が特徴づけるコンテンツ)を一つの映像コンテンツのステージとし、その後、再度2ms間隔を置いてから、24msからの10msのコンテンツ(図10で矢印方向の第3仮想線の充填領域が特徴づけるコンテンツ)を一つの映像コンテンツのステージとすることができる。
【0073】
図10に示すように、この場合、電子機器は、図10に示す3つの画像コンテンツのステージを決定した後、第1仮想線の充填領域が特徴づけるコンテンツから1フレームの画像を選択し、第2仮想線の充填領域が特徴づけるコンテンツから1フレームの画像を選択し、第3仮想線の充填領域が特徴づけるコンテンツから1フレームの画像を選択し、得られた3フレームの画像を上記の複数フレーム画像のコンテンツとする。
【0074】
ここで、複数の映像コンテンツのステージの間の間隔(例えば、図10中の仮想線の充填領域の間の時間の長さ)は様々な方法で決定することができる。一態様として、電子機器はあらかじめ設定された方法で決定できる。もう一つの態様として、再生映像の合計時間の長さに基づいて決定できる。このような態様では、好ましくは、再生映像時間の長さを取得し、前記時間の長さに基づいて前記複数映像コンテンツのステージの時間パラメータを決定し、前記時間パラメータは、各前記映像コンテンツのステージの長さ、前記複数映像コンテンツのステージの数及び隣接する前記映像コンテンツのステージの時間間隔のうち少なくとも一つを含む。具体的には、各前記映像コンテンツのステージの長さ、前記複数映像コンテンツのステージの数及び隣接する前記映像コンテンツのステージの時間間隔は、再生映像時間の長さの合計と正比例してもよく、即ち、再生映像時間の長さの合計が長いほど、各前記映像コンテンツのステージの長さは長く、前記複数映像コンテンツのステージの数が多く、これにより、複数フレーム画像のコンテンツをより精確に柔軟性をもって得られる。
【0075】
説明すべきは、図10に示す各前記映像コンテンツのステージの長さ、前記複数映像コンテンツのステージの数及び隣接する前記映像コンテンツのステージの時間間隔は例示的なものであり、本発明による手段を制限するものではない。
【0076】
ステップS330:前記複数フレーム画像のコンテンツの変化頻度を計算する。
【0077】
一態様として、電子機器は複数フレーム画像のコンテンツを取得した後、各画像のコンテンツの比較に基づき、隣接するフレームの画像のコンテンツが一致しないと、画像コンテンツに変化があると判定し、隣接するフレームの画像の変化が生じた回数を複数フレーム画像の合計フレーム数と比較することで変化頻度を得ることができる。ここで、電子機器は、隣接するフレームの画像のコンテンツが所定割合(例えば、90%)より大きく異なる場合、隣接するフレームの画像のコンテンツが一致しないと判定する。
【0078】
ステップS340:前記変化頻度に基づいて、再生映像のタイプを決定する。
【0079】
一態様として、変化頻度が所定値未満であると、映像を教学タイプの映像と判定することができ、変化頻度が所定値以上であると、映像をテレビドラマタイプの映像または映画タイプの映像と判定することができる。
【0080】
ステップS350:前記タイプが目標タイプであるかを判断する。
ステップS360:前記目標タイプだと判定されると、再生映像に対して映像増強を行う。
ステップS361:前記目標タイプでないと判定されると、再生映像に対して映像増強を行わない。
【0081】
本発明にかかわる映像増強制御方法は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得し、取得された映像コンテンツが複数フレーム画像のコンテンツを含む場合、前記複数フレームの画像コンテンツの変化頻度を計算し、前記変化頻度に基づいて再生映像のタイプを決定し、その後、前記タイプが目標タイプであるかを判断し、前記目標タイプであると判定されると、再生映像に対して映像増強を行う。従って、本方法によると、再生映像のコンテンツによって映像タイプを決定し、さらにタイプが目標タイプであるかを判断することで再生映像に対して映像増強を行うかを決定することができ、映像増強開始方法の柔軟性を向上させた。
【0082】
本発明にかかわる映像増強制御装置400は、電子機器で動作され、前記装置400は、映像コンテンツ取得ユニット410、映像タイプ識別ユニット420、タイプ判断ユニット430及び映像増強制御ユニット440を含む。(図11を参照。)
【0083】
映像コンテンツ取得ユニット410は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する。
映像タイプ識別ユニット420は、前記映像コンテンツに基づいて再生映像のタイプを識別する。
タイプ判断ユニット430は、前記タイプが目標タイプであるかを判断する。
映像増強制御ユニット440は、前記目標タイプであると判定されると、再生映像に対して映像増強を行う。
【0084】
一態様として、映像増強制御ユニット440は、具体的には、前記目標タイプであると判定されると映像増強を「ON」にするトリガーウィジェットを表示し、前記トリガーウィジェットに作用するタッチ操作が検出されると再生映像に対して映像増強を行う。
【0085】
本発明にかかわる映像増強制御装置500は電子機器で動作され、前記装置500は、映像コンテンツ取得ユニット510、映像タイプ識別ユニット520、タイプ判断ユニット530、パラメータ取得ユニット540、パラメータマッチングユニット550、パラメータ学習ユニット560及び映像増強制御ユニット570を含む。(図12を参照。)
【0086】
映像コンテンツ取得ユニット510は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する。
映像タイプ識別ユニット520は、前記映像コンテンツに基づいて再生映像のタイプを識別する。
タイプ判断ユニット530は、前記タイプが目標タイプであるかを判断する。
パラメータ取得ユニット540は、前記目標タイプであると判定されると、再生映像の指定パラメータを取得する。
パラメータマッチングユニット550は、前記指定パラメータを、再生映像のタイプに対応する参考パラメータとマッチングを行う。
【0087】
ここで、一態様として、装置はさらに、指定数の前記タイプの映像を取得し、前記指定数の前記タイプの映像に対して機械学習を行うことで前記タイプに対応する参考パラメータを得るパラメータ学習ユニット560を含む。
【0088】
映像増強制御ユニット570は、マッチングが成功すると再生映像に対して映像増強を行う。
【0089】
本発明にかかわる映像増強制御装置600は電子機器で動作され、前記装置600は、映像コンテンツ取得ユニット610、変化頻度計算ユニット620、映像タイプ識別ユニット630、タイプ判断ユニット640及び映像増強制御ユニット650を含む。(図13を参照。)
【0090】
映像コンテンツ取得ユニット610は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得する。
映像コンテンツ取得ユニット610は、さらに前記映像コンテンツに含まれる複数フレーム画像的コンテンツを取得する。
【0091】
一態様として、映像コンテンツ取得ユニット610は、具体的に前記複数フレーム画像のそれぞれの指定領域のコンテンツを取得し、前記各フレーム画像の前記指定領域は同一である。
【0092】
もう一つの態様として、映像コンテンツ取得ユニット610は、具体的に、再生時間順に従って、再生映像に含まれる複数映像コンテンツのステージを取得し、前記複数映像コンテンツのステージからそれぞれ少なくとも一つのフレーム画像コンテンツを取得して、複数フレーム画像のコンテンツを得る。
【0093】
ここで、好ましくは、映像コンテンツ取得ユニット610は、具体的には、再生映像時間の長さを取得し、前記時間の長さに基づいて前記複数映像コンテンツのステージの時間パラメータを決定し、前記時間パラメータは各前記映像コンテンツのステージの長さ、前記複数映像コンテンツのステージの数及び隣接する前記映像コンテンツのステージの時間間隔のうち少なくとも一つを含む。
【0094】
変化頻度計算ユニット620は、前記複数フレームの画像コンテンツの変化頻度を計算する。
映像タイプ識別ユニット630は、前記変化頻度に基づいて再生映像のタイプを決定する。
タイプ判断ユニット640は、前記タイプが目標タイプであるかを判断する。
映像増強制御ユニット650は、前記目標タイプであると判定されると、再生映像に対して映像増強を行う。
映像増強制御ユニット650は、前記目標タイプでないと判定されると、再生映像に対して映像増強を行わない。
【0095】
属する分野の当業者なら、記述の便を図り、簡潔を期すため、上で記述された装置及びユニットの具体的動作工程は、上記の方法実施例中の対応する工程を参照にすることができることが明らかであり、ここではこれ以上説明しない。本発明によるいくつかの実施例において、モジュール相互間のカップリングは、電気的であってもよい。また、本発明各実施例中の各機能モジュールは、1つのプロセッシングモジュール中に集積されてもよく、各モジュール物理的に単独で存在してもよく、2つ又はそれ以上のモジュールを1つのモジュール中に集積してもよい。上記集積されたモジュールは、ハードウェアの形式により実現されてもよく、ソフトウェア機能モジュールの形式により実現されてもよい。
【0096】
本発明において具体的にどのようにオーディオコーディングのタイプに応じてオーディオデータをコーディングするかは、従来技術を用いることができ、本発明ではこれ以上詳述しない。
【0097】
上記をまとめれば、本発明による映像増強制御方法、装置、電子機器及び記憶媒体は、映像再生状態にあると検出されると、再生映像の映像コンテンツを取得し、前記映像コンテンツに基づいて再生映像のタイプを識別し、その後前記タイプが目標タイプであるかを判断し、前記目標タイプであると判定されると、再生映像に対して映像増強を行う。従って、本方法によると、再生映像のコンテンツによって映像タイプを決定し、さらにタイプが目標タイプであるかを判断することで再生映像に対して映像増強を行うかを決定でき、映像増強開始方法の柔軟性を向上した。
【0098】
以下では図14を結び付けて、本発明による電子機器について説明する。
【0099】
上記映像増強制御方法、装置に基づき、本発明実施例は、上記の映像増強制御方法を実行することができるもう1つの電子機器100をさらに提供する。(図14を参照。)電子機器100は、互いにカップリングされた1つ又は複数の(図中には1つしか示していない)プロセッサ102と、メモリ104と、ネットワークモジュール106と、映像エンコーダ/デコーダ108と、ディスプレイ112とを含む。ここで、該メモリ104中に上記の実施例中のコンテンツを実行することができるプログラムを格納し、またプロセッサ102は、該メモリ104中に格納されたプログラムを実行することができる。
【0100】
ここで、プロセッサ102は、1つ又は複数のプロセッシングコアを含んでもよい。プロセッサ102は、各種インターフェース及び回路を用いて電子機器100全体内の各部分を接続し、メモリ104内に格納された命令、プログラム、コードセット若しくは命令セットを動作させ又は実行し、またメモリ104内に格納されたデータを呼び出すことにより、電子機器100の各種機能を実行し、データを処理する。好ましくは、プロセッサ102は、デジタル信号処理(Digital Signal Processing、DSP)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array、FPGA)、プログラマブルロジックアレイ(Programmable Logic Array、PLA)のうち少なくとも1つのハードウェア形式により実現してもよい。プロセッサ102は、中央処理装置(Central Processing Unit、CPU)、画像プロセッサ(Graphics Processing Unit、GPU)及び変調デコーダ等のうち1つ又は複数の組合せを集積してもよい。ここで、CPUは主にOS、ユーザインターフェース及びアプリケーション等を処理し、GPUは、表示コンテンツのレンダリング及び描画に用いられ、変調デコーダは、無線通信を処理に用いられる。上記変調デコーダは、プロセッサ102中に集積されず、単独で1つの通信チップにより実現されてもよいと理解することができる。
【0101】
メモリ104は、ランダムメモリ(Random Access Memory、RAM)を含んでもよく、読み出し専用メモリ(Read-Only Memory)を含んでもよい。メモリ104は、命令、プログラム、コード、コードセット又は命令セットを格納するために用いてもよい。メモリ104は、プログラム格納エリアと、データ格納エリアとを含んでもよく、例えば、メモリ104中に、映像増強制御装置を格納してもよい。該映像増強制御装置は、上記の装置400、装置500又は装置600であってもよい。ここで、プログラム格納エリアは、OSを実現するための命令、少なくとも1つの機能を実現するための命令(タッチ機能、オーディオ再生機能、画像再生機能等)、下記の各方法実施例を実現するための命令等を格納することができる。データ格納エリアは、端末100が使用中に作成するデータ(電話帳、オーディオ/ビジュアルデータ、チャット記録データ等)等を格納することもできる。
【0102】
前記ネットワークモジュール106は、電磁波を受信及び送信し、電磁波と電気信号との相互変換を実現し、それにより通信ネットワーク又はその他の機器、例えば、無線接続点との通信を行う。前記ネットワークモジュール106は、これらの機能を実行するための各種既存の回路素子、例えば、アンテナ、無線周波数送受信器、デジタル信号プロセッサ、暗号化/復号化チップ、加入者識別モジュール(SIM)カード、メモリ等を含んでもよい。前記ネットワークモジュール106は、インターネット、イントラネット、無線ネットワーク等の各種ネットワークと通信し、又は無線ネットワークを介してその他の機器と通信することができる。上記無線ネットワークは、ハニカム型電話網、無線LAN又はメトロポリタンエリアネットワークを含んでもよい。
【0103】
該映像エンコーダ/デコーダ108は、ディスプレイ112に伝送して表示するために、ネットワークモジュール106がネットワークからリクエストしたデータをデコーディングするために用いることができる。具体的には、映像エンコーダ/デコーダ108は、GPU、専用のDSP、FPGA、ASICチップ等であってもよい。
【0104】
姿勢収集モジュール110は、電子機器の姿勢を収集することができる。姿勢取得モジュール110は、ジャイロスコープおよび加速度センサーなどを含む。
【0105】
本発明実施例が提供するコンピュータ可読記憶媒体の構造ブロック図を示している。該コンピュータ可読媒体800中にプログラムコードを格納し、前記プログラムコードは、プロセッサによって呼び出され、上記方法実施例中に記述された方法を実行することができる。(図15を参照。)
【0106】
コンピュータ可読記憶媒体800は、フラッシュメモリ、EEPROM(電気的消去可能プログラマブル読み取り専用メモリ)、EPROM、ハードウェア又はROM等の電子メモリであってもよい。好ましくは、コンピュータ可読記憶媒体800は、非一時的コンピュータ可読媒体(non-transitory computer-readable storage medium)を含む。コンピュータ可読記憶媒体800は、上記方法中のいかなる方法ステップをも実行するプログラムコード810の格納空間を有する。これらのプログラムコードは、1つ若しくは複数のコンピュータプログラム製品中から読み出し又はこの1つ又は複数のコンピュータプログラム製品中に書き込むことができる。プログラムコード810は、例えば適当な形式で圧縮することができる。
【0107】
以上の実施例は、本発明の技術方案を説明するためのものにすぎず、それを制限するものではなく、上記の実施例を参照して本発明を詳細に説明したが、本分野一般当業者なら、依然として上記の各実施例に記載の技術方案を修正し、又はその中の一部技術的特徴を同等変換することができるが、これらの修正又は変換は、対応する技術方案の本質を本発明各実施例の技術方案の精神及び範囲から逸脱させるように促すものではないことを理解するはずであることを最後に説明しておかなければならない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15