IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技(深▲セン▼)有限公司の特許一覧

特許7490082画像検出方法、装置、コンピュータプログラム及びコンピュータ機器
<>
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図1
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図2
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図3
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図4
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図5a
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図5b
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図6
  • 特許-画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-16
(45)【発行日】2024-05-24
(54)【発明の名称】画像検出方法、装置、コンピュータプログラム及びコンピュータ機器
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240517BHJP
【FI】
G06T7/00 300Z
【請求項の数】 20
(21)【出願番号】P 2022567668
(86)(22)【出願日】2021-08-18
(65)【公表番号】
(43)【公表日】2023-06-15
(86)【国際出願番号】 CN2021113175
(87)【国際公開番号】W WO2022062772
(87)【国際公開日】2022-03-31
【審査請求日】2022-11-07
(31)【優先権主張番号】202011024483.0
(32)【優先日】2020-09-25
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
【氏名又は名称原語表記】TENCENT TECHNOLOGY (SHENZHEN) COMPANY LIMITED
【住所又は居所原語表記】35/F,Tencent Building,Kejizhongyi Road,Midwest District of Hi-tech Park,Nanshan District, Shenzhen,Guangdong 518057,CHINA
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】任 明星
【審査官】伊知地 和之
(56)【参考文献】
【文献】中国特許出願公開第106375755(CN,A)
【文献】中国特許出願公開第105872760(CN,A)
【文献】特開2011-165007(JP,A)
【文献】特開2011-215716(JP,A)
【文献】中国特許出願公開第109766953(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63F 9/24
A63F 13/00 - 13/98
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
H04N 7/10
H04N 7/14 - 7/173
H04N 7/20 - 7/56
H04N 13/00 - 17/06
H04N 21/00 - 21/858
(57)【特許請求の範囲】
【請求項1】
サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップと、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップであって、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計することと、
統計した積の和に対して2乗根式の計算を行い、ターゲット値を得ることと、
前記画素の合計マッチング値と前記ターゲット値との比値を計算し、正規化処理後のマッチング値を得ることとを含む、ステップと、
正規化処理後のマッチング値をスコア値に変換するステップと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定するステップと、
を含むことを特徴とする、画像検出方法。
【請求項2】
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るステップと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るステップとを含む、ことを特徴とする、請求項1に記載の画像検出方法。
【請求項3】
前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たさないと決定するステップをさらに含む、ことを特徴とする、請求項1に記載の画像検出方法。
【請求項4】
サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップと、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップと、
正規化処理後のマッチング値をスコア値に変換するステップであって、
予め設定された基礎値と前記正規化処理後のマッチング値との差分を計算することと、
前記差分に予め設定された拡大閾値を乗算し、スコア値を得ることと、を含む、ステップと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定するステップと、を含むことを特徴とする、画像検出方法。
【請求項5】
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るステップと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るステップと、を含むことを特徴とする、請求項4に記載の画像検出方法。
【請求項6】
前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たさないと決定するステップをさらに含む、ことを特徴とする、請求項4に記載の画像検出方法。
【請求項7】
サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップであって、
前記第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得ることと、
前記検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得ることと、
前記ターゲット検出すべき画像のターゲットぼかし程度を計算することと、
前記ターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、前記第2の画像に画面内容が存在しないと決定することとを含む、ステップと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップとを含む、ことを特徴とする、画像検出方法。
【請求項8】
前記ターゲット検出すべき画像のターゲットぼかし程度を計算する前記ステップは、
ラプラスアルゴリズムにより前記ターゲット検出すべき画像を計算し、波形データセットを得るステップと、
前記波形データセットの平均値を計算し、且つ前記平均値に基づいて前記波形データセットに対応する基準差を得るステップと、
前記基準差をターゲットぼかし程度として決定するステップとを含む、ことを特徴とする、請求項7に記載の画像検出方法。
【請求項9】
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るステップと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るステップとを含む、ことを特徴とする、請求項7に記載の画像検出方法。
【請求項10】
画像検出装置であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るための切り取りユニットと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うための検出ユニットと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含み、
前記検出ユニットは、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットであって、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計し、
統計した積の和に対して2乗根式の計算を行い、ターゲット値を得、
前記画素の合計マッチング値と前記ターゲット値との比値を計算し、正規化処理後のマッチング値を得るために用いられる、ことを特徴とする、正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定し、前記第2の画像に対して画面内容の検出を行うための決定サブユニットとを含む、
画像検出装置。
【請求項11】
前記マッチングユニットは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るためのカバーサブユニットと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項10に記載の画像検出装置。
【請求項12】
前記決定サブユニットは、さらに、前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる、ことを特徴とする、請求項10に記載の画像検出装置。
【請求項13】
画像検出装置であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るための切り取りユニットと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うための検出ユニットであって、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定し、前記第2の画像に対して画面内容の検出を行うための決定サブユニットとを含む、ことを特徴とする、検出ユニットと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含み、
前記変換サブユニットは、さらに、
予め設定された基礎値と前記正規化処理後のマッチング値との差分を計算し、
前記差分に予め設定された拡大閾値を乗算し、スコア値を得るために用いられる、ことを特徴とする、画像検出装置。
【請求項14】
前記マッチングユニットは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るためのカバーサブユニットと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項13に記載の画像検出装置。
【請求項15】
前記決定サブユニットは、さらに、前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる、ことを特徴とする、請求項13に記載の画像検出装置。
【請求項16】
画像検出装置であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るための切り取りユニットと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うための検出ユニットであって、
前記第1の画像と前記第2の画像との間の前記画素の前記合計マッチング値が予め設定されたマッチング条件を満たす場合、前記第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るための除去サブユニットと、
前記検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るための処理サブユニットと、
前記ターゲット検出すべき画像のターゲットぼかし程度を計算するための計算サブユニットと、
前記ターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、前記第2の画像に画面内容が存在しないと決定するための決定サブユニットとを含む、ことを特徴とする、検出ユニットと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットと、を含む、画像検出装置。
【請求項17】
前記計算サブユニットは、さらに、
ラプラスアルゴリズムにより前記ターゲット検出すべき画像を計算し、波形データセットを得、
前記波形データセットの平均値を計算し、且つ前記平均値に基づいて前記波形データセットに対応する基準差を得、
前記基準差をターゲットぼかし程度として決定するために用いられる、ことを特徴とする、請求項16に記載の画像検出装置。
【請求項18】
前記マッチングユニットは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るためのカバーサブユニットと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項16に記載の画像検出装置。
【請求項19】
コンピュータに、請求項1~のいずれか1項に記載の方法を実施させる、コンピュータプログラム。
【請求項20】
メモリと、処理装置と、メモリに記憶されており且つ処理装置で動作できるコンピュータプログラムとを含むコンピュータ機器であって、
前記処理装置が前記プログラムを実行すると、請求項1~のいずれか1項に記載の方法のステップを実現する、コンピュータ機器。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2020年09月25日に中国特許局で提出された、出願番号が202011024483.0であり、発明名称が「画像検出方法、装置及びコンピュータ可読記憶媒体」の中国特許出願の優先権を主張しており、その内容のすべては、援用で本出願に取り込まれる。
[技術分野]
本出願は、通信技術分野に関し、具体的に、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体に関する。
【背景技術】
【0002】
インターネット技術の急速な発展に伴い、コンピュータ機器の処理能力もますます強くなり、それによって、多くのヒューマン・マシン・インタラクションに基づくアプリケーション、例えばクラウドゲームが誕生し、このクラウドゲームのゲームホストコンピュータがサーバにあり、プレイヤーがローカルネットワークを介してサーバに接続し、サーバは、ゲームをプレイしている間に、ネットワークを介してゲーム画面をリアルタイムに伝送し、生き生きとしたインタラクティブ・エンターテインメントを行う。
【0003】
従来技術では、クラウドゲームの起動及び使用中に、ゲームがフリーズする可能性が高く、コンピュータ機器は、中央処理装置(central processing unit、CPU)の使用頻度をリアルタイムに取得することにより、この中央処理装置の使用頻度に異常が生じた場合、ゲームがフリーズすると判定し、対応するゲームの最適化処理を行うことができる。
【0004】
従来技術の研究と実践の過程では、本出願の発明者らは、従来技術では、ゲームにおける異なるシーンの、中央処理装置に対する消費が異なるため、異常判定の閾値を正確に設定することが困難であり、正確率が比較的に悪くなってしまうことを見出した。
【発明の概要】
【課題を解決するための手段】
【0005】
本出願の各実施例は、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体を提供する。それは、以下のものが含まれる。
【0006】
サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップとを含む。
【0007】
画像検出装置であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るための切り取りユニットと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うための検出ユニットと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含む。
【0008】
コンピュータ機器であって、メモリと、処理装置と、メモリに記憶されており且つ処理装置で動作できるコンピュータプログラムとを含み、前記処理装置が前記プログラムを実行すると、本出願の実施例によるいずれかの画像検出方法におけるステップを実現する。
【0009】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムが処理装置により実行されると、本出願の実施例によるいずれかの画像検出方法におけるステップを実現する。
【0010】
コンピュータプログラム製品又はコンピュータプログラムであって、コンピュータ可読記憶媒体に記憶されたコンピュータ命令を含む。コンピュータ機器の処理装置は、コンピュータ可読記憶媒体からこのコンピュータ命令を読み取り、処理装置がこのコンピュータ命令を実行することにより、このコンピュータ機器に上記各選択的な実施例による画像検出方法を実行させる。
【図面の簡単な説明】
【0011】
図1】本出願の実施例による画像検出システムのシーン概略図である。
図2】本出願の実施例による画像検出システムの別のシーン概略図である。
図3】本出願の実施例による画像検出方法のフローチャートである。
図4】本出願の実施例による画像検出方法の別のフローチャートである。
図5a】本出願の実施例による画像検出方法のシーン概略図である。
図5b】本出願の実施例による画像検出方法の別のシーン概略図である。
図6】本出願の実施例による画像検出装置の構造概略図である。
図7】本出願の実施例によるサーバの構造概略図である。
【発明を実施するための形態】
【0012】
本出願の実施例は、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体を提供する。
【0013】
図1を参照すると、図1は、本出願の実施例による画像検出システムのシーン概略図であり、ベースサーバA、及び、仮想化されたクラウドホストコンピュータBを含み(このベースサーバAと仮想化されたクラウドホストコンピュータBは、さらに、より多く含まれてもよく、具体的な数は、ここで限定されない)、このベースサーバAは、物理マシンであり、エンティティサーバとも呼ばれ、仮想マシン(Virtual Machine)に対するエンティティコンピュータの称呼であり、物理マシンが仮想マシンに提供するハードウェア環境は、「ドナー」又は「ホスト」とも呼ばれる。ベースサーバAは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、さらに、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドメモリ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、CDN、及びビッグデータや人工知能プラットフォームなどの基礎的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。このベースサーバAを仮想化することにより、各台のベースサーバAをいずれも複数のクラウドホストコンピュータBとして仮想化することができ、このクラウドホストコンピュータBは、仮想マシンであり、仮想プライベートサーバ(Virtual Private Server、VPS)とも呼ばれてもよく、1つのサーバを複数の仮想独立プライベートサーバに分割する技術である。VPS技術を用いる各仮想独立サーバは、それぞれ独立したパブリックインターネットプロトコルアドレス(Internet Protocol Address、IP)、オペレーティングシステム、ハードディスクスペース、メモリスペース、処理装置(Central Processing Unit、CPU)リソースなどを有し、さらにプログラムインストール、サーバ再起動などの操を行うことができ、1台の独立サーバの動作と完全に同様である。つまり、ソフトウェアレベルで、1台のサーバを仮想的に分割し、複数台のサーバを仮想化し、このように、わずかな計算能力だけで、ユーザが大型サーバの計算リソースを楽しむことができる。広義に言えば、クラウドホストコンピュータBは、VPSであり、ただし、クラウドホストコンピュータBは、全てのベースサーバA又は仮想マシンでさらに全ての基礎的なリソース、例えばメモリ帯域幅などを仮想化する。クラウドホストコンピュータBの利点は、データを分散して記憶し、基礎的なリソースを動的に拡張できることである。安全性と拡張性が比較的に高い。
【0014】
この各台のクラウドホストコンピュータBは、独立したオペレーティングシステムとハードウェア構造を有し、1台の独立ホストコンピュータの動作と完全に同様であり、ただし、各台のクラウドホストコンピュータBにおける物理アドレスは、いずれも仮想マシンの物理アドレスであり、各台のクラウドホストコンピュータBに複数の処理装置がインストールされてもよく、例えば1台のクラウドホストコンピュータBに複数のグラフィックス処理装置(Graphics Processing Unit、GPU)がインストールされ、1台のクラウドホストコンピュータBは、VMware仮想マシンと似てもよく、1つの物理マシンは、複数のアンドロイド(登録商標)オペレーティングシステムを仮想化することができ、この1台のクラウドホストコンピュータBは、ユーザの端末環境をシミュレートするゲームのボードカード又はコンテナがインストールされてもよく、物理ディスプレイがない。
【0015】
本出願の実施例をより良く記述するために、図2を併せて参照すると、ゲームの動作環境は、1台のクラウドホストコンピュータBのボードカード又はコンテナCにインストールされてもよく、このボードカード又はコンテナCは、ユーザの端末と似ているが、画面表示を行う物理ディスプレイがなく、このボードカード又はコンテナCは、プッシュストリーム処理装置があり、プッシュストリームサーバDによって、ゲームビデオと音声を端末にプッシュし、この端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、デスクトップパソコン、スマートスピーカー、スマートウォッチなどであってもよいが、これらに限定されない。端末とサーバは、有線又は無線通信方式で直接又は間接接続されてもよく、本出願は、ここで限定しない。この端末は、アプリケーション又はウェブページEをインストールしてオンにし、このアプリケーション又はウェブページEによってゲームビデオと音声を受信してロードすることができ、一実施形態では、ユーザは、端末に制御イベントを入力し、行動するようにビデオにおける仮想ゲーム人物を制御し、端末は、この制御イベントをクラウドホストコンピュータBのボードカード又はコンテナCにバックホールし、ゲームの制御を実現する。
【0016】
これにより、クラウドホストコンピュータBにおけるボードカード又はコンテナCにおけるゲームビデオがフリーズすると、端末側の表示に影響を与えるため、さらにユーザが操作できなくなってしまい、ゲームを行うことができなくなってしまうことによって、タイムリーな処理を実現し、ゲームのハングアップを防止するに、ゲームのビデオが異常であるか否かをリアルタイム且つ効果的に監視する必要がある。
【0017】
上記アプリケーションシーンの記述に基づいて、以下、それぞれ詳細に説明する。なお、以下の実施例の番号は、実施例の好適な順序を限定するものではない。
【0018】
本実施例では、画像検出装置の観点から記述する。この画像検出装置は、具体的にサーバに統合されてもよく、このサーバは、独立したサーバ又は複数のサーバからなるサーバクラスタによって実現されてもよい。サーバは、具体的に、保存ユニットを有し、且つマイクロ処理装置がインストリームされて演算能力を有するクラウドホストコンピュータ又は物理サーバであってもよい。
【0019】
図3を参照すると、図3は、本出願の実施例による画像検出方法のフローチャートである。この画像検出方法は、以下のステップを含む。
ステップ101において、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る。
そのうち、このビデオストリームは、複数のフレームのゲーム画像から構成されるものであってもよく、即ち、このビデオストリームは、ゲーム画面であってもよく、理解できるように、関連技術では、ゲーム画面のレンダリング負荷が比較的に大きいか、又はクラウドホストコンピュータのいくつかのコンポーネントがゲームの動作と互換性がないため、ゲーム起動時又はゲーム中にフリーズしてしまい、ゲームがフリーズしていると、画像を視覚だけで観察すると、ゲームが本当にフリーズして動かないか否かを決定することができない。
【0020】
これによって、本出願の実施では、サーバによって、予め設定された期間を空けた第1の画像と第2の画像をゲームビデオストリームから定期的に切り取ることができ、この予め設定された期間は、例えば10秒、20秒又は30秒など、必要に応じて自由に設定されてもよく、ここで具体的に限定せず、例えばゲームビデオストリームの動作中に、現在フレームの第1の画像を切り取り、動作してから10秒経過した時に、10秒目のフレームの第2の画像を切り取り、この第1の画像と第2の画像の画素数は、同じであり、この画素は、画像の小さな格子からなるものであり、これらの小さな格子は、いずれも明確な位置と割り当てられた色の数値を有し、小さな格子の色と位置により、この画像の現れる様子が決定され、画素を画像全体における分割できない単位又はエレメントとすることができ、各画像は、一定量の画素を含み、これらの画素により、スクリーンに表示される画像のサイズが決定される。
【0021】
ステップ102において、第1の画像と第2の画像に対して画素マッチングを行って第1の画像と第2の画像との間の画素の合計マッチング値を取得する。
そのうち、ゲームビデオストリームに対応するゲーム画面が静止して動かないか否かを判断するために、予め設定された期間を空けた第1の画像と第2の画像に対して画素マッチングを行う必要がある。この第1の画像と第2の画像の画素の数が同じであるため、サーバにより、第1の画像における各画素と第2の画像における対応する位置での画素との類似度を計算することができ、例えば、第1の画像と第2の画像における同様な位置を有する2つの画素の類似度を計算し、全ての類似度を統合し、類似スコア値を得、この類似スコア値は、第1の画像と第2の画像との間の画素の合計マッチング値であり、この類似スコア値は、第1の画像と第2の画像の類似度を示し、この類似スコア値に基づいて、この第1の画像と第2の画像が予め設定されたマッチング条件を満たすか否かを判定し、即ち、このゲーム画面が静止して動かないか否かを判定することができる。
【0022】
一実施例では、サーバは、二乗差マッチングアルゴリズムにより、この第1の画像とこの第2の画像との間の画素の合計マッチング値を計算することができる。そのうち、テンプレートマッチング(Template Matching)原理に基づいて、該当する二乗差マッチングアルゴリズムを決定することができる。このテンプレートマッチング原理は、1ペアのマッチングすべき画像から、テンプレート画像と最も類似する領域を探すことができ、この方法は、原理が簡単であり、計算速度が速く、ターゲット識別、ターゲット追跡などの複数の分野に用いることができる。
【0023】
サーバは、第1の画像における各画素をテンプレート画像とし、第2の画像における対応する位置での画素をマッチングすべき画像とすることができ、第2の画像における複数の画素のうちの各画素に対して、いずれも二乗差マッチングアルゴリズムに基づいて、第2の画像における現在の画素と第1の画像における対応する位置での画素とのマッチング値を計算し、第1の画像と第2の画像との間の各画素の各々に対応するマッチング値を統計し、第1の画像と第2の画像との間の画素の合計マッチング値を得、この合計マッチング値は、第1の画像と第2の画像とのマッチング度を示し、この画素の合計マッチング値が0である場合、第1の画像と第2の画像は、完全に同様であり、この画素の合計マッチング値が大きいほど、第1の画像と第2の画像は、類似してない。
【0024】
一実施例では、第1の画像と第2の画像に対して画素マッチングを行って第1の画像と第2の画像との間の画素の合計マッチング値を取得する当該ステップは、
第1の画像の画素を第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るステップ(1)と、
この第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、この第1の画像とこの第2の画像との間の画素の合計マッチング値を得るステップ(2)とを含んでもよい。
そのうち、二乗差マッチングアルゴリズムにより、第1の画像と第2の画像との間の画素の合計マッチング値を決定することができ、二乗差マッチングアルゴリズムは、以下のとおりである。
【0025】
【数1】
この
【数2】
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第1の画像をテンプレート画像として、第1の画像における各画素からなるマトリクスであり、I(x,y)は、ソース画像マトリクスであり、このソース画像マトリクスは、第2の画像における各画素からなるマトリクスであり、
【数3】
は、この第1の画像の画素をこの第2の画像の画素にカバーして得られたカバー後の第2のターゲット画像の各画素からなるマトリクスである。本ステップでは、この
【数4】
は、画素の合計マッチング値である。
【0026】
これによって、上記式に基づいて、サーバは、各画像の各画素と第2のターゲット画像における対応する関係の画素との差の二乗の和を統計し、画素の合計マッチング値
【数5】
を得ることができ、この画素の合計マッチング値が0に近いほど、第1の画像と第2の画像が類似し、この画素の合計マッチング値が大きいほど、第1の画像と第2の画像が類似しない。
【0027】
ステップ103において、画素の合計マッチング値に基づいて、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定した場合、第2の画像に対して画面内容の検出を行う。
そのうち、予め設定されたマッチング条件を設定することができ、この予め設定されたマッチング条件は、予め設定されたスコア閾値であってもよく、この予め設定されたスコア閾値は、第1の画像と第2の画像がマッチングするか否かを画定する臨界値であり、即ち、サーバは、画素の合計マッチング値が予め設定されたスコア閾値よりも高い場合、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定し、第1の画像と第2の画像とがマッチングに成功したと判定し、即ち、第1の画像と第2の画像との類似度が条件を満たす場合、ゲーム画面が静止して動かないと決定し、サーバは、画素の合計マッチング値が予め設定されたスコア閾値よりも高くない場合、第1の画像と第2の画像との間の画素が予め設定されたマッチング条件を満たさないと決定し、第1の画像と第2の画像とのマッチングが失敗したと判定し、即ち、第1の画像と第2の画像との類似度が条件を満たさない場合、ゲーム画面が依然として変化しており、フリーズしないと決定する。
【0028】
さらに、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、予め設定された期間を空けたビデオストリームのゲーム画面が静的で且つ変化していないものであり、即ち、ゲームビデオストリームがフリーズしている可能性があることが示され、いくつかのゲーム画面に静的で且つ変化していない画面が短期的に存在する可能性があり、フリーズしているゲーム画面が一般的に純色であるか又は明るさの変化が大きくない画像であるので、サーバは、フリーズの誤判定を防止するために、さらに第2の画像に対して画面内容の検出を行う必要がある。
【0029】
画像がいずれも純色であるか又は明るさの変化が大きくない画像であれば、即ち、第2の画像に画面内容が存在すれば、全体のぼかし程度は、必ず一定の範囲より小さく、この範囲は、1.5よりも小さくてもよく、この画面内容の検出は、第2の画像に対する画像ぼかし程度の検出であってもよい。
【0030】
一実施例では、ラプラスアルゴリズムにより第2の画像の画像ぼかし程度に対して総合検出を行い、対応する画面内容の検出を実現することができ、このラプラスアルゴリズムは、画像のエッジ検出に用いられ、画像のぼかし程度を決定するために、画像の明暗変化の検出に用いられてもよい。
【0031】
一実施例では、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たさない場合、予め設定された期間を空けたビデオストリームのゲーム画面が静的で且つ変化していないものではないことが示され、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップに戻って、実行を続行して、検出を続行することができる。
【0032】
一実施例では、上記画像検出方法は、画素の合計マッチング値に基づいて、第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定するステップをさらに含み、そのうち、画素の合計マッチング値に基づいて、第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定するステップは、
この画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップ(1)と、
正規化処理後のマッチング値をスコア値に変換するステップ(2)と、
【0033】
このスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第1の画像とこの第2の画像が予め設定されたマッチング条件を満たすと決定するステップ(3)とを含んでもよい。
そのうち、この画素の合計マッチング値の区間が比較的に大きく、基準スコアを用いて第1の画像と第2の画像とがマッチングするか否かを判定することに不利であるのを防止するために、本出願の実施例では、正規化処理を用いてこの合計マッチング値を0~1の間に縮小し、正規化処理後のマッチング値が0に近いほど、第1の画像と第2の画像が類似し、正規化処理後のマッチング値が1に近いほど、第1の画像と第2の画像が類似しない。
【0034】
実際の使用では、両者の類似度をより良く判定するために、正規化処理後のマッチング値をスコア値に変換することができ、0に近いほど、スコアが高く、1に近いほど、スコアが低く、さらに予め設定されたスコア閾値により、マッチング度の画定を行うことができ、サーバがこのスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第1の画像とこの第2の画像が予め設定されたマッチング条件を満たし、この第1の画像とこの第2の画像とがマッチングに成功したと決定する。サーバがこのスコア値が予め設定されたスコア閾値以下であることを検出した場合、この第1の画像とこの第2の画像が予め設定されたマッチング条件を満たさず、この第1の画像とこの第2の画像とがマッチングするが失敗したと決定する。
【0035】
一実施例では、このマッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得る当該ステップは、
この第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計するステップ(2.1)と、
統計した積の和に対して2乗根式の計算を行い、ターゲット値を得るステップ(2.2)と、
この画素の合計マッチング値とこのターゲット値との比値を計算し、正規化処理後のマッチング値を得るステップ(2.3)とを含んでもよい。
そのうち、以下の式により、画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得ることができ、この式は、具体的に、正規化二乗差マッチング法であってもよい。
【数6】
この
【数7】
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第1の画像をテンプレート画像とし、第1の画像における各画素からなるマトリクスであり、I(x,y)は、ソース画像マトリクスであり、このソース画像マトリクスは、第2の画像における各画素からなるマトリクスであり、
【数8】
は、この第1の画像の画素をこの第2の画像の画素にカバーして得られたカバー後の第2のターゲット画像の各画素からなるマトリクスであり、この本ステップにおいて、この
【数9】
は、正規化処理後のマッチング値である。
【0036】
これにより、上記式の分母部分に基づいて、この第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して2乗根式の計算(即ち、平方根を開く計算)を行い、ターゲット値を得、上記式の分子は、画素の合計マッチング値であり、分子の画素の合計マッチング値とこの分母のターゲット値との比値を計算し、正規化処理後のマッチング値を得ることにより、マッチング値を0~1の間に縮小し、この正規化処理後のマッチング値が0に近いほど、第1の画像と第2の画像が類似し、正規化処理後のマッチング値が1に近いほど、第1の画像と第2の画像が類似しない。
【0037】
一実施例では、正規化処理後のマッチング値をスコア値に変換する当該ステップは、
予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算するステップ(3.1)と、
この差分に予め設定された拡大閾値を乗算し、スコア値を得るステップ(3.2)と、を含んでもよい。
【0038】
そのうち、正規化処理後のマッチング値が0~1の間にあり、後期に閾値を設定する必要があり、0に近い部分が閾値を設定して判定することに不利であるため、この予め設定された基礎値を1として設定し、この予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算することで、判定ルールを逆方向に調整し、1に近いとマッチングし、0に近いとマッチングしないことを実現することができ、閾値を手動で設定して判定するのに有利であり、この差分が0に近いほど、第1の画像と第2の画像が類似しない一方、差分が1に近いほど、第1の画像と第2の画像が類似する。
【0039】
さらに、この差分に予め設定された拡大閾値を乗算し、例えばこの予め設定された拡大閾値は、1000であってもよく、1000を最大スコアとし、予め設定されたスコア閾値を950として設定してもよく、スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第1の画像とこの第2の画像とがマッチングすることを検出したと判定する。
【0040】
一実施例では、第2の画像に対して画面内容の検出を行う当該ステップは、
この第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るステップ(4.1)と、
この検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るステップ(4.2)と、
このターゲット検出すべき画像のターゲットぼかし程度を計算するステップ(4.3)と、
このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第2の画像に画面内容が存在しないことを検出したと判定するステップ(4.4)とを含んでもよい。
【0041】
そのうち、第2の画像の枠領域に往々にしてタイトルなどの内容が存在するため、干渉を排除するために、まず、この第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得ることができる。
【0042】
サーバは、データ平滑化技術(data smoothing)によってガウスぼかし処理を行うことができ、理解できるように、計算した重みを用いて対応する画素に対して重み付け処理を行うことによって、画像の平滑化処理を実現することができ、そのうち、この重みは、周辺画素の平均値であってもよい。これにより、サーバは、この検出すべき画像に対してガウスぼかし処理を行い、検出すべき画像に対して平滑化処理を行って、ガウスぼかし処理後のターゲット検出すべき画像を得ることによって、後続のぼかし程度の計算がより正確になることができる。
【0043】
さらに、サーバは、このターゲット検出すべき画像のターゲットぼかし程度を計算することができ、一実施形態では、サーバは、ラプラスアルゴリズムにより、ターゲット検出すべき画像のターゲットぼかし程度を計算することができ、このターゲットぼかし程度が低いほど、画素変化率が低く、第2の画像に画面内容が存在しない確率が大きいことが示され、このターゲットぼかし程度が高いほど、画素変化率が大きく、第2の画像に画面内容が存在しない確率が低いことが示される。
【0044】
第2の画像に画面内容が存在するか否かを画定する臨界値を予め設定されたぼかし程度閾値として設定することができ、サーバは、このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第2の画像に画面内容が存在しないことを検出したと判定する。
【0045】
一実施例では、このターゲット検出すべき画像のターゲットぼかし程度を計算する当該ステップは、
ラプラスアルゴリズムによりこのターゲット検出すべき画像を計算し、波形データセットを得るステップ(5.1)と、
この波形データセットの平均値を計算し、且つこの平均値に基づいてこの波形データセットに対応する基準差を得るステップ(5.2)と、
この基準差をターゲットぼかし程度として決定するステップ(5.3)とを含んでもよい。
【0046】
そのうち、サーバは、ラプラスアルゴリズムにおける二階導関数により、ターゲット検出すべき画像における各画素の明暗値の波形データセットを得ることができ、画素が比較的に明るい波形データは、負数であり、画素が比較的に暗い波形データは、正数である。
【0047】
さらに、サーバは、この波形データセットの平均値を計算し、この基準差は、分散の平方根であり、この基準差は、この波形データセットの分散度を表すことができ、基準差が大きいほど、波形データセットにおけるほとんどのデータと平均値との差異が比較的に大きく、基準差が小さいことが示され、波形データセットにおけるほとんどのデータと平均値との差異が小さいことが示され、これにより、サーバは、この基準差により、第2の画像における画素の明るさが比較的に大きく変化したか否かを判断し、即ち、平均値に基づいて波形データセットに対応する基準差を得、この基準差をターゲットぼかし程度として決定することができる。
【0048】
ステップ104において、第2の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。
そのうち、サーバが第2の画像に画面内容が存在しないことを検出した場合、この第2の画像における画素の全体的な明るさの変化が一定の範囲内にあることが示され、即ち、第2の画像にはあまり画素変化がなく、画面に内容がなく、純色画面であると判定し、ビデオストリームに異常が生じており、ゲームがフリーズしていると決定する。
【0049】
上記から分かるように、本出願の実施例では、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取り、第1の画像と第2の画像に対して画素マッチングを行って第1の画像と第2の画像との間の画素の合計マッチング値を取得し、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第2の画像に対して画面内容の検出を行い、第2の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第2の画像に対して画面内容の検出を行い、第2の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。
【0050】
以下に例を挙げてさらに詳細に説明する。
本実施例では、この画像検出装置が具体的にサーバに統合され、このサーバがクラウドホストコンピュータであることを例にしてについて説明し、具体的に以下の説明を参照する。
【0051】
図4を参照すると、図4は、本出願の実施例による画像検出方法の別のフローチャートである。この方法のフローは、以下のステップを含んでもよい。
ステップ201において、サーバは、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る。
【0052】
そのうち、本出願のビデオストリームは、クラウドゲームビデオストリームであってもよく、このクラウドゲームビデオストリームに対応するゲーム画面に、ゲーム画面のレンダリング負荷が比較的に大きいか、一時的に互換性がない場合が発生しやすいため、ゲーム起動時又はゲーム中にフリーズしてしまう。
【0053】
ゲームがフリーズしており、修復していないため、ユーザの待ち時間が長くなるのを防ぐために、本出願の実施例では、サーバによって、10秒を空けた第1のゲーム画像と第2のゲーム画像をビデオストリームから定期的に切り取ることができ、この第1の画像と第2の画像の画素数は、同じである。
【0054】
ステップ202において、サーバは、第1の画像の画素を第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得、第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、第1の画像と第2の画像との間の画素の合計マッチング値を得る。
【0055】
そのうち、以下の式により、第1の画像と第2の画像との間の画素の合計マッチング値を決定することができ、この式は、具体的に、二乗差マッチングアルゴリズムであってもよい。
【数10】
この
【数11】
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第1の画像をテンプレート画像とし、第1の画像における各画素からなるマトリクスであり、I(x,y)は、ソース画像マトリクスであり、このソース画像マトリクスは、第2の画像における各画素からなるマトリクスであり、
【数12】
は、この第1の画像の画素をこの第2の画像の画素にカバーして得られたカバー後の第2のターゲット画像の各画素からなるマトリクスであり、本ステップにおいて、この
【数13】
は、画素の合計マッチング値である。
【0056】
これにより、サーバは、第1の画像の画素を第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得、且つ上記式に基づいて、各画像の各画素と第2のターゲット画像における対応する関係の画素との差の二乗の和を統計し、画素の合計マッチング値
【数14】
を得、この画素の合計マッチング値が0に近いほど、第1の画像と第2の画像が類似することが示され、この画素の合計マッチング値が大きいほど、第1の画像と第2の画像が類似しないことが示される。
【0057】
ステップ203において、サーバは、第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して2乗根式の計算を行い、ターゲット値を得、マッチング値とターゲット値との比値を計算し、正規化処理後のマッチング値を得る。
【0058】
そのうち、以下の式により、合計マッチング値に対して正規化処理を行うことができ、この式は、具体的に、正規化二乗差マッチング法であってもよい。
【数15】
この
【数16】
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第1の画像をテンプレート画像とし、第1の画像における各画素からなるマトリクスであり、I(x,y)は、ソース画像マトリクスであり、このソース画像マトリクスは、第2の画像における各画素からなるマトリクスであり、
【数17】
は、この第1の画像の画素をこの第2の画像の画素にカバーして得られたカバー後の第2のターゲット画像の各画素からなるマトリクスであり、当該ステップでは、この
【数18】
は、正規化処理後のマッチング値である。
【0059】
これにより、上記式の分母部分に基づいて、この第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して2乗根式の計算を行い、ターゲット値を得、分子の画素の合計マッチング値とこの分母のターゲット値との比値を計算し、正規化処理後のマッチング値を得ることにより、マッチング値を0~1の間に縮小し、この正規化処理後のマッチング値が0に近いほど、第1の画像と第2の画像が類似し、正規化処理後のマッチング値が1に近いほど、第1の画像と第2の画像が類似しない。
【0060】
ステップ204において、サーバは、予め設定された基礎値と正規化処理後のマッチング値との差分を計算し、差分に予め設定された拡大閾値を乗算し、スコア値を得、スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定する。
【0061】
そのうち、この予め設定された基礎値は、1であってもよく、サーバは、この予め設定された基礎値1から正規化処理後のマッチング値を引いた差分を計算することにより、正規化処理後に判定ルールを逆方向に調整し、差分が0に近いほど、第1の画像と第2の画像が類似しない一方、差分が1に近いほど、第1の画像と第2の画像が類似する。
【0062】
これにより、閾値を手動で設定して判定することに寄与するために、この予め設定された拡大閾値を1000として設定することができ、差分に予め設定された拡大閾値1000を乗算して得られたスコア値の区間は、0~1000であり、スコア値が1000に等しい場合、第1の画像と第2の画像とが完全に同様であることが示され、実際の使用シーンでは、予め設定されたスコア閾値を950として設定することができ、スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、第1の画像と第2の画像とがマッチングすることを検出したと判定し、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定する。スコア値が予め設定されたスコア閾値よりも大きくないことを検出した場合、第1の画像と第2の画像が変化しており、ゲームビデオストリームが正常に動作することが示され、返って、サーバが予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップを実行し、検出を続行することができる。
【0063】
ステップ205において、サーバは、第1の画像と第2の画像に対して予め設定された期間を空けて画素マッチングを行い、第1の画像と第2の画像に対する画素マッチングを検出した回数を記録する。
【0064】
そのうち、一部のゲームビデオストリームには、短時間にロードする状況、例えば12秒のロード時間が存在する可能性があるので、短時間にロードする状況をゲームビデオストリームのフリーズとして誤判定することを防止するために、サーバは、予め設定された期間を空けて画素マッチングを行い、第1の画像と第2の画像とのマッチング成功を検出した回数を記録し、1回マッチング成功が発生する条件は、10秒を空けた第1の画像と第2の画像が予め設定されたマッチング条件を満たすことであってもよい。そのうち、第1の画像と第2の画像が予め設定されたマッチング条件を満たす場合、第1の画像と第2の画像とがマッチングに成功したと決定することができる。
【0065】
ステップ206において、サーバは、回数が予め設定された回数を超えるか否かを検出する。
そのうち、この予め設定された回数は、ゲーム画面が本当に静止していることを画定する画定値であり、例えば3回であり、サーバは回数が予め設定された回数を超えることを検出した場合、第1の画像と第2の画像が30秒内にいずれも変化しておらず、画面静止の状態にあることが示され、ステップ207を実行する。サーバは回数が予め設定された回数を超えないことを検出した場合、第1の画像と第2の画像が30秒内に変化しており、ゲームビデオストリームがフリーズしないことが示され、ステップ201に戻って実行し、検出を続行する。ステップ207において、サーバは、第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得、検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得る。
【0066】
そのうち、サーバは回数が予め設定された回数を超えることを検出した場合、第1の画像と第2の画像が30秒内にいずれも変化せず、画面静止の状態にあり、即ち、ゲームビデオストリームがフリーズする可能性があることが示され、フリーズしているゲーム画面が一般的に純色であるか又は明るさの変化が大きくない画像であるので、フリーズの誤判定を防止するために、さらに第2の画像を検出する必要があり、第2の画像の枠領域に対して除去処理を行うことができ、図5aを併せて参照する。第2の画像1の枠におけるタイトルバーにさらに「王者X耀」が存在し、この部分を処理すれば、処理結果に影響を与え、これにより、サーバは、第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像11を得ることができる。
【0067】
さらに、この検出すべき画像11に対してガウスぼかし処理を行って、ガウスぼかし処理後のターゲット検出すべき画像を得ることができ、ガウスぼかし処理の原理をより良く解釈するために、図5bを併せて参照し、検出すべき画像11の一部の領域2の中心点の画素のRGB値を2とすると、ガウスぼかし処理後、ガウスぼかし処理後のターゲット検出すべき画像の一部の領域3の中心点の画素のRGB値が周辺画素を参考した平均値を得て、1になることで、画素点が部分的な詳細を失うようになり、画像ぼかし処理を実現し、このガウスぼかし処理は、ぼかし半径を表す重要なパラメータksizeを有し、この半径が大きいほど、ガウスぼかし処理の効果がぼけ、このぼかし半径は、周辺画素を参考する数値であり、本出願の実施例では、このぼかし半径を1として設定することができる。
【0068】
ステップ208において、サーバは、ラプラスアルゴリズムによりターゲット検出すべき画像を計算し、波形データセットを得、波形データセットの平均値を計算し、且つ平均値波形に基づいてデータセットに対応する基準差を得、基準差をターゲットぼかし程度として決定する。
【0069】
そのうち、サーバは、さらに、ターゲット検出すべき画像に対して階調処理を行い、階調とは、色がないことであり、このターゲット検出すべき画像のRGB色成分を等しく設定し、グレースケール画像を得、ラプラスアルゴリズムの演算子サイズがぼかし半径と同じであることを指定し、ラプラスアルゴリズムによりグレースケール画像を計算し、グレースケール画像における各画素の波形データからなる波形データセットを得、この波形データは、画素の明るさを反映することができる。
【0070】
さらに、波形データセットの平均値を計算し、且つこの平均値に基づいて波形データセットに対応する基準差を得ることができ、この基準差は、波形データセットにおける波形データと平均値との差異状況を反映し、この基準差が大きいほど、波形データセットにおけるほとんどのデータと平均値との差異が比較的に大きく、基準差が小さいことが示され、波形データセットにおけるほとんどのデータと平均値との差異が小さいことが示される。
【0071】
ステップ209において、サーバはターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、第2の画像に画面内容が存在しないと決定し、ビデオストリームに異常が生じたと決定する。
【0072】
そのうち、この予め設定されたぼかし程度閾値は、第2の画像に画面内容が存在するか否かを画定する臨界値であり、本出願の実施例では、この予め設定されたぼかし程度閾値を1.5として設定することができ、サーバはターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、第2の画像における画素の明るさの変化率が低いほど、第2の画像に画面内容が存在しないことが示され、純色画面では、ゲームビデオストリームに異常が生じており、ゲームがフリーズしていると決定し、対応する修復手段を講じることができる。
【0073】
いくつかの実施形態では、本出願の実施例は、フリーズしていると判定された第2の画像を畳み込みニューラルネットワーク(Convolutional Neural Networks、CNN)モデルにアップロードして学習させることができることにより、畳み込みニューラルネットワークは、学習し続けることにより、ゲームビデオストリームがフリーズしている画面を識別する能力を学習し、迅速な識別を実現することができる。
【0074】
一実施例では、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップは、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップを含む。第2の画像に対して画面内容の検出を行う前、上記方法は、画素の合計マッチング値に基づいて、現在の検出時刻に対応する第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、現在のマッチング結果がマッチング成功であると決定するステップと、記憶された履歴マッチング結果を取得するステップであって、履歴マッチング結果は、履歴検出時刻に、切り取った予め設定された期間を空けた第1の画像と第2の画像に対して画素マッチング処理を行って得られたマッチング結果である、ステップと、履歴マッチング結果と現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を決定するステップと、画素の合計マッチング値に基づいて、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、第2の画像に対して画面内容の検出を行うステップとを含み、予め設定された検出期間内にマッチングに成功した回数が予め設定された回数以上である場合、現在の第2の画像に対して画面内容の検出を行うステップを含む。
【0075】
そのうち、一部のゲームビデオストリームには、短時間にロードする状況、例えば12秒のロード時間が存在する可能性があるので、短時間にロードする状況をゲームビデオストリームのフリーズとして誤判定することを防止するために、サーバは、予め設定された期間を空けて画素マッチングを行い、第1の画像と第2の画像とのマッチング成功を検出した回数を記録し、1回マッチング成功が発生する条件は、10秒を空けた第1の画像と第2の画像が予め設定されたマッチング条件を満たすことであってもよい。そのうち、第1の画像と第2の画像が予め設定されたマッチング条件を満たす場合、第1の画像と第2の画像とがマッチングに成功したと決定することができる。
【0076】
サーバは、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る。そのうち、現在の検出時刻とは、現在の時点であり、第1の画像と第2の画像は、予め設定された期間を空けており、例えば、第1の画像と第2の画像は、10秒を空けている。サーバは、上記方法により、現在の時刻にビデオストリームから切り取る第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすか否かを決定し、且つ予め設定されたマッチング条件を満たすと決定した場合、即ち、現在のマッチング結果がマッチング成功であると決定した場合、記憶された履歴マッチング結果を取得する。そのうち、履歴マッチング結果は、履歴検出時刻に、切り取った予め設定された期間を空けた第1の画像と第2の画像に対して画素マッチング処理を行って得られたマッチング結果である。履歴時刻とは、現在の時刻の前の時刻である。
【0077】
サーバは、ビデオストリームから第1の画像と第2の画像を一定時間ごとに切り取り、第1の画像と第2の画像に対して画素マッチング処理を行い、マッチング結果を得、マッチング結果をメモリに記憶することにより、現在の時刻に切り取る第1の画像と第2の画像とがマッチングに成功したと決定した場合、サーバは、メモリから、予め設定された検出期間内の履歴マッチング結果を取得することができることを理解しやすい。そのうち、予め設定された検出期間とは、現在の検出時刻を終点とする予め設定された時間であり、例えば、予め設定された検出期間は、現在の検出時刻を含む前の30秒であってもよい。
【0078】
サーバは、履歴マッチング結果と現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を判断する。そのうち、この予め設定された回数は、ゲーム画面が本当に静止することを画定する画定値であり、例えば3回であり、サーバは回数が予め設定された回数以上であることを検出した場合、第1の画像と第2の画像が30秒内にいずれも変化せず、画面静止の状態にあることが示され、この時、サーバは、現在の第2の画像に対して画面内容の検出を行う。そのうち、サーバは、上記実施例で第2の画像に対して画面内容の検出を行う方法によって、現在の第2の画像に対して画面検出を行うことができる。
【0079】
サーバは回数が予め設定された回数よりも小さいことを検出した場合、第1の画像と第2の画像が30秒内に変化しており、ゲームビデオストリームがフリーズしないことが示され、次の検出時刻に進み、且つ前記次の検出時刻を現在の時刻とし、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップに戻って、検出を続行し、前記ビデオストリームの再生が完了すると停止する。
【0080】
一実施例では、現在の時刻にビデオストリームから切り取る第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たさない場合、サーバは、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップに戻って、検出を続行する。
【0081】
上記から分かるように、本出願の実施例では、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取り、第1の画像と第2の画像に対して画素マッチングを行って第1の画像と第2の画像との間の画素の合計マッチング値を取得し、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第2の画像に対して画面内容の検出を行い、第2の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第2の画像に対して画面内容の検出を行い、第2の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。
【0082】
以上の方法をより良く実施するために、本出願の実施例は、画像検出方法の装置をさらに提供する。この装置は、サーバに統合されてもよい。そのうち名詞の意味は、上記画像検出方法での意味と同様であり、具体的な実現詳細について、方法の実施例における説明を参照することができる。
【0083】
図6を参照すると、図6は、本出願の実施例による画像検出装置の構造概略図であり、そのうちこの画像検出装置は、切り取りユニット301、マッチングユニット302、検出ユニット303、及び決定ユニット304などを含んでもよい。
切り取りユニット301は、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るために用いられる。
【0084】
マッチングユニット302は、この第1の画像とこの第2の画像に対して画素マッチングを行って第1の画像とこの第2の画像との間の画素の合計マッチング値を取得するために用いられる。
【0085】
一実施例では、このマッチングユニット302は、
この第1の画像の画素をこの第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るためのカバーサブユニットと、
この第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、この第1の画像とこの第2の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む。
【0086】
検出ユニット303は、画素の合計マッチング値に基づいて、この第1の画像とこの第2の画像が予め設定されたマッチング条件を満たすと決定した場合、この第2の画像に対して画面内容の検出を行うために用いられる。
【0087】
一実施例では、この検出ユニット303は、
この合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
このスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第1の画像とこの第2の画像が予め設定されたマッチング条件を満たすと決定し、この第2の画像に対して画面内容の検出を行うための決定サブユニットとを含む。
【0088】
一実施例では、決定サブユニットは、さらに、スコア値が予め設定されたスコア閾値以下であることを検出した場合、第1の画像と第2の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる。
【0089】
一実施例では、この正規化サブユニットは、さらに、この第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して2乗根式の計算を行い、ターゲット値を得、この画素の合計マッチング値とこのターゲット値との比値を計算し、正規化処理後のマッチング値を得るために用いられる。
【0090】
一実施例では、この変換サブユニットは、さらに、予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算し、この差分に予め設定された拡大閾値を乗算し、スコア値を得るために用いられる。
【0091】
一実施例では、この検出ユニット303は、
この第1の画像とこの第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、この第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るための除去サブユニットと、
この検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るための処理サブユニットと、
このターゲット検出すべき画像のターゲットぼかし程度を計算するための計算サブユニットと、
このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第2の画像に画面内容が存在しないと決定するための決定サブユニットとを含む。
【0092】
一実施例では、この計算サブユニットは、さらに、ラプラスアルゴリズムによりこのターゲット検出すべき画像を計算し、波形データセットを得、この波形データセットの平均値を計算し、且つこの平均値に基づいてこの波形データセットに対応する基準差を得、この基準差をターゲットぼかし程度として決定するために用いられる。
【0093】
決定ユニット304は、この第2の画像に画面内容が存在しないことを検出した場合、このビデオストリームに異常が生じたと決定するために用いられる。
【0094】
一実施例では、この画像検出装置は、この第1の画像とこの第2の画像に対して予め設定された期間を空けて画素マッチングを行い、この第1の画像とこの第2の画像に対する画素マッチングを検出した回数を記録し、この回数が予め設定された回数を超えることを検出した場合、この第2の画像に対して画面内容の検出を行うステップを実行し、この回数が予め設定された回数を超えないことを検出した場合、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップに戻って、実行するための記録ユニットをさらに含んでもよい。
【0095】
一実施例では、この画像検出装置は、さらに、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取り、画素の合計マッチング値に基づいて、現在の検出時刻に対応する第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、現在のマッチング結果がマッチング成功であると決定し、記憶された履歴マッチング結果を取得し、履歴マッチング結果が、履歴検出時刻に、切り取った予め設定された期間を空けた第1の画像と第2の画像に対して画素マッチング処理を行って得られたマッチング結果であり、履歴マッチング結果と前記現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を決定し、予め設定された検出期間内にマッチングに成功した回数が予め設定された回数以上である場合、現在の第2の画像に対して画面内容の検出を行うために用いられる。
【0096】
一実施例では、この画像検出装置は、さらに、予め設定された検出期間内にマッチングに成功した回数が予め設定された回数よりも小さい場合、次の検出時刻に進み、且つ次の検出時刻を現在の時刻とし、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップに戻って、検出を続行し、ビデオストリームの再生が完了すると停止するために用いられる。
以上の各ユニットの具体的な実施については、前の実施例を参照することができ、ここではこれ以上説明しない。
【0097】
上記から分かるように、本出願の実施例では、切り取りユニット301は、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取り、マッチングユニット302は、第1の画像と第2の画像に対して画素マッチングを行って第1の画像と第2の画像との間の画素の合計マッチング値を取得し、検出ユニット303は、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第2の画像に対して画面内容の検出を行い、決定ユニット304は、第2の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第2の画像に対して画面内容の検出を行い、第2の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。
【0098】
本出願の実施例は、サーバをさらに提供する。図7に示すように、本出願の実施例に係るサーバの構造概略図を示し、具体的には、
このサーバは、クラウドホストコンピュータであってもよく、1つ以上の処理コアの処理装置401、1つ以上のコンピュータ可読記憶媒体のメモリ402、電源403及び入力ユニット404などの部品を含んでもよい。当業者であれば理解できるように、図7に示すサーバ構造は、サーバに対する限定を構成するものではなく、図示よりも多くまたは少ない部品、又はいくつかの部品の組み合わせ、又は異なる部品配置を含んでもよい。そのうち、
処理装置401は、このサーバの制御センターであり、様々なインターフェースと回線を用いてサーバ全体の各部を接続し、メモリ402に記憶されたソフトウェアプログラム及び/又はモジュールを動作させ又は実行し、メモリ402に記憶されたデータを呼び出すことにより、サーバの様々な機能と処理データを実行し、それによって、サーバ全体をモニタリングする。選択的に、処理装置401は、1つ又は複数の処理コアを含んでもよく、好適には、処理装置401は、主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理するアプリケーション処理装置と、主に無線通信を処理するモデム処理装置とが統合されてもよい。理解できるように、上記モデム処理装置は、処理装置401に統合されなくてもよい。
【0099】
メモリ402は、ソフトウェアプログラム及びモジュールを記憶するために用いられ、処理装置401は、メモリ402に記憶されたソフトウェアプログラム及びモジュールを動作させることにより、様々な機能アプリケーション及びデータ処理を実行する。メモリ402は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい、そのうち、プログラム記憶領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム(例えば音声再生機能、画像再生機能など)などを記憶することができ、データ記憶領域は、サーバの使用に基づいて構成されたデータなどを記憶することができる。なお、メモリ402は、高速ランダムアクセスメモリを含んでもよく、非揮発性メモリ、例えば少なくとも1つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の揮発性ソリッドステートメモリデバイスをさらに含んでもよい。それに応じて、メモリ402は、処理装置401によるメモリ402に対するアクセスを提供するためにメモリコントローラをさらに含んでもよい。
【0100】
サーバは、各部材に電力を供給する電源403をさらに含み、好ましくは、電源403は、電源管理システムを介して処理装置401にロジック的に接続されてもよく、それにより、電源管理システムによって、充放電管理、及び消費電力管理などの機能を実現することができる。電源403は、1つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態インジケータなどのいずれかのコンポーネントをさらに含んでもよい。
【0101】
このサーバは、この入力ユニット404は、入力された数字又はキャラクタ情報を受信し、ユーザ設定および機能制御に関連するキーボード、マウス、操作レバー、光学的又はトラックボール信号入力を生成するための入力ユニット404をさらに含んでもよい。
【0102】
図示していないが、サーバは、ディスプレイ処理装置などをさらに含んでもよいが、ここではこれ以上説明しない。具体的に本実施例では、サーバにおける処理装置401は、以下の命令に従って、1つ以上のアプリケーションプログラムの処理装置に対応する実行可能なファイルをメモリ402にロードすることができ、且つ処理装置401は、メモリ402に記憶されたアプリケーションプログラムを動作させることにより、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る機能と、この第1の画像とこの第2の画像に対して画素マッチングを行ってこの第1の画像とこの第2の画像との間の画素の合計マッチング値を取得する機能と、画素の合計マッチング値に基づいて、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定した場合、この第2の画像に対して画面内容の検出を行う機能と、この第2の画像に画面内容が存在しないことを検出した場合、このビデオストリームに異常が生じたと決定する機能との様々な機能を実現する。
【0103】
上記実施例では、各実施例の記述にそれぞれ重点が置かれており、ある実施例に詳細に記述されていない部分は、画像検出方法についての以上の詳細な記述を参照することができ、ここでこれ以上説明しない。
【0104】
上記から分かるように、本出願の実施例のサーバは、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取り、第1の画像と第2の画像に対して画素マッチングを行って第1の画像と第2の画像との間の画素の合計マッチング値を取得し、第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第2の画像に対して画面内容の検出を行い、第2の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定することができる。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第2の画像に対して画面内容の検出を行い、第2の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。
【0105】
いくつかの実施例では、メモリと1つ又は複数の処理装置とを含むコンピュータ機器を提供し、メモリにコンピュータ可読命令が記憶されており、コンピュータ可読命令が前記処理装置により実行されると、1つ又は複数の処理装置に上記通話オーディオミキシング処理方法のステップを実行させる。ここで通話オーディオミキシング処理方法のステップは、上記各実施例の画像検出方法におけるステップであってもよい。
【0106】
いくつかの実施例では、1つ又は複数のコンピュータ可読命令が記憶された非揮発性可読記憶媒体を提供し、コンピュータ可読命令が1つ又は複数の処理装置により実行されると、1つ又は複数の処理装置に上記画像検出方法のステップを実行させる。ここで画像検出方法のステップは、上記各実施例の画像検出方法におけるステップであってもよい。
【0107】
本出願の一側面によれば、コンピュータ可読記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。コンピュータ機器の処理装置は、コンピュータ可読記憶媒体からこのコンピュータ命令を読み取り、処理装置は、このコンピュータ命令を実行することにより、このコンピュータ機器に上記実施例による各選択的な実現形態による方法を実行させる。
以上各操作の具体的な実施について前の実施例を参照することができ、ここではこれ以上説明しない。
【0108】
そのうち、このコンピュータ可読記憶媒体は、リードオンリーメモリ(ROM、Read Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク又は光ディスクなどを含んでもよい。
【符号の説明】
【0109】
1 第2の画像
11 検出すべき画像
302 マッチングユニット
303 検出ユニット
304 決定ユニット
401 処理装置
402 メモリ
403 電源
404 入力ユニット
A ベースサーバ
B クラウドホストコンピュータ
C ボードガード又はコンテナ
D プッシュストリームサーバ
E アプリケーション又はウェブページ
図1
図2
図3
図4
図5a
図5b
図6
図7