IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ センスタイム インターナショナル プライベート リミテッドの特許一覧

特表2024-503764ゲームエリアタイプの認識方法及び装置、機器、記憶媒体
<>
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図1
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図2
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図3
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図4
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図5
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図6A
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図6B
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図6C
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図7
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図8
  • 特表-ゲームエリアタイプの認識方法及び装置、機器、記憶媒体 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-29
(54)【発明の名称】ゲームエリアタイプの認識方法及び装置、機器、記憶媒体
(51)【国際特許分類】
   A63F 11/00 20060101AFI20240122BHJP
   G06F 3/0481 20220101ALI20240122BHJP
【FI】
A63F11/00 A
G06F3/0481
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022519470
(86)(22)【出願日】2021-12-21
(85)【翻訳文提出日】2022-03-28
(86)【国際出願番号】 IB2021062080
(87)【国際公開番号】W WO2023111673
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】10202114021V
(32)【優先日】2021-12-17
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】521436762
【氏名又は名称】センスタイム インターナショナル プライベート リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】リウ, チュンヤ
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA23
5E555AA30
5E555BA01
5E555BA20
5E555BB01
5E555BB20
5E555BE10
5E555CA42
5E555CB45
5E555CB54
5E555DB57
5E555DC35
5E555EA19
5E555EA27
5E555FA00
(57)【要約】
本願は、ゲームエリアタイプの認識方法及び装置、機器、記憶媒体を提供し、前記ゲームエリアタイプの認識方法は、認識される第1ゲームエリア画像を取得することと、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得することと、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得することであって、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であることと、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定することと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
ゲームエリアタイプの認識方法であって、
認識される第1ゲームエリア画像を取得することと、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得することと、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得することであって、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であることと、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定することと、を含む、前記ゲームエリアタイプの認識方法。
【請求項2】
前記第2ゲームエリア画像は、
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することと、
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することと、を含むステップによって取得される、
請求項1に記載のゲームエリアタイプの認識方法。
【請求項3】
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することは、
前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルの重み係数を決定することと、
前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定することと、を含む、
請求項2に記載のゲームエリアタイプの認識方法。
【請求項4】
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することは、
前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定することであって、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であることと、
前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得することと、を含む、
請求項2又は3に記載のゲームエリアタイプの認識方法。
【請求項5】
前記ゲームエリアタイプの認識方法は、
前記第2ゲームエリア画像内のターゲットエリアを決定することと、
前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得することと、を更に含む、
請求項2ないし4のいずれか一項に記載のゲームエリアタイプの認識方法。
【請求項6】
前記分類モデルは、
トレーニングサンプルセットを取得することであって、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含み、前記ラベル付けタイプは少なくとも、色タイプ及びレイアウトタイプを含むことと、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することと、
各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することと、
前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得することと、を含むステップによってトレーニングして取得される、
請求項1ないし5のいずれか一項に記載のゲームエリアタイプの認識方法。
【請求項7】
各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、
前記各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することは、
各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定することと、
各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定することと、
前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定することと、を含む、
請求項6に記載のゲームエリアタイプの認識方法。
【請求項8】
前記ゲームエリアタイプの認識方法は、
前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得することを更に含み、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することは、
前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行することと、
前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行することと、を含む、
請求項6又は7に記載のゲームエリアタイプの認識方法。
【請求項9】
前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む、
請求項1ないし8のいずれか一項に記載のゲームエリアタイプの認識方法。
【請求項10】
ゲームエリアタイプの認識装置であって、第1取得モジュール、第1認識モジュール、第2認識モジュール及び第1決定モジュールを備え、
前記第1取得モジュールは、認識される第1ゲームエリア画像を取得するように構成され、
前記第1認識モジュールは、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得するように構成され、
前記第2認識モジュールは、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得するように構成され、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記第1決定モジュールは、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される、前記ゲームエリアタイプの認識装置。
【請求項11】
プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備える、電子機器であって、前記プロセッサが前記コンピュータプログラムを実行するとき、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される、前記電子機器。
【請求項12】
前記第2ゲームエリア画像は、
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することと、
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することと、を含むステップによって取得される、
請求項11に記載の電子機器。
【請求項13】
前記プロセッサは、具体的に、
前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア内の前記各ピクセルの各色チャネルの重み係数を決定し、
前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定するように構成される、
請求項12に記載の電子機器。
【請求項14】
前記プロセッサは、具体的に、
前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定し、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であり、
前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得するように構成される、
請求項12又は13に記載の電子機器。
【請求項15】
前記プロセッサはさらに、
前記第2ゲームエリア画像内のターゲットエリアを決定し、
前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得するように構成される、
請求項12ないし14のいずれか一項に記載の電子機器。
【請求項16】
前記分類モデルは、
トレーニングサンプルセットを取得することであって、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含み、前記ラベル付けタイプは少なくとも、色タイプ及びレイアウトタイプを含むことと、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することと、
各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することと、
前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得することによってトレーニングして取得される、
請求項11ないし15のいずれか一項に記載の電子機器。
【請求項17】
各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、
前記プロセッサは、具体的に、
各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定し、
各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定し、
前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定するように構成される、
請求項16に記載の電子機器。
【請求項18】
前記プロセッサはさらに、
前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得するように構成され、
前記プロセッサは、具体的に、
前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行し、
前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行するように構成される、
請求項16又は17に記載の電子機器。
【請求項19】
前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む、
請求項11ないし18のいずれか一項に記載の電子機器。
【請求項20】
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように実行される、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2021年12月17日にシンガポール特許局に提出された、出願番号が10202114021Vであるシンガポール特許出願の優先権を主張し、その全ての内容が参照によって本願に組み込まれる。
【0002】
本願は、コンピュータビジョン技術分野に関し、ゲームエリアタイプの認識方法及び装置、機器、記憶媒体に関するがこれらに限定されない。
【背景技術】
【0003】
画像分類は、スマートビデオ分析システムで重要な役割を果たす。ゲームシナリオにおいて、レイアウトの異なる多くのゲームエリアがある。ただし、異なるタイプのゲームエリアでプレイされるゲームでは、オブジェクトの配置エリア及びレイアウト、さらにゲームのルールも異なる。
【0004】
関連技術では、対応するシステムは、各ゲームエリアのタイプに応じて手動で展開される。当該方案では、異なるエリアタイプをサポートする複数のバージョンを維持するだけでなく、展開されたシステムがゲームエリアタイプに適することを確保するための手動検査も必要である。したがって、手動展開方式では、システムの複雑さが高くなり、人的資源が過剰に消費されるという問題と同時に、展開戦略の間違いによる資源及びコストの浪費を引き起こしやすい傾向がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願実施例は、ゲームエリアタイプの認識方法及び装置、機器、記憶媒体を提供する。
【課題を解決するための手段】
【0006】
本願実施例の技術的解決策は、以下の態様で実施される。
【0007】
第1態様において、本願実施例は、ゲームエリアタイプの認識方法を提供し、当該方法は、
認識される第1ゲームエリア画像を取得することと、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得することと、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得することであって、ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であることと、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定することと、を含む。
【0008】
いくつかの実施例では、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することと、前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することと、を含むステップによって取得される。
【0009】
このようにして、元の第1ゲームエリア画像を、まず、グレースケール画像に変換し、次に、グレースケール画像内の各ピクセルのグレースケール値に基づいて、グレースケール画像に対して二値化処理を実行して、第2ゲームエリア画像を取得し、それにより、認識される第1ゲームエリア画像から色情報を削除して、ゲームエリアのレイアウト情報のみを含む、二値化された白黒画像を第2ゲームエリア画像として取得して、分類モデルがゲームエリアのレイアウト分類結果を認識するようにする。
【0010】
いくつかの実施例では、前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することは、前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア内の前記各ピクセルの各色チャネルの重み係数を決定することと、前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定することと、を含む。
【0011】
このようにして、ゲームエリアの認識分類要件の場合、グレースケール画像内の各ピクセルのグレースケール値を計算するとき、背景に関連する色チャネルの重みをそれに応じて減少することにより、背景色をより徹底的に削除し、ゲームエリアのレイアウト情報をより強調することができる。
【0012】
いくつかの実施例では、前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することは、前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定することであって、ここで、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であることと、前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得することと、を含む。
【0013】
このようにして、グレースケール画像内の各ピクセルのグレースケール値と特定の閾値との比較結果に基づいて、グレースケール画像内の各ピクセルを黒又は白に変換して、第2ゲームエリア画像を取得する。それにより、第2ゲームエリア画像は、二値化された白黒画像であり、背景に関連する色が削除され、レイアウト情報のみが保持される。
【0014】
いくつかの実施例では、前記ゲームエリアタイプの認識方法は、前記第2ゲームエリア画像内のターゲットエリアを決定することと、前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得することと、を更に含む。
【0015】
このようにして、第2ゲームエリア画像の明確なレイアウト情報がないエリアに対して、マスクで直接カバーすることにより、第2ゲームエリア画像内のレイアウト情報に対する分類モデルの認識結果を高速化し、認識効率及び精度を向上させる。
【0016】
いくつかの実施例では、前記分類モデルは、トレーニングサンプルセットを取得することであって、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含むことと、前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することと、各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することと、前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得することと、を含むステップによってトレーニングして取得される。
【0017】
このようにして、取得されたラベル付けタイプがまったく同じでない複数のトレーニングサンプルを使用して分類モデルに対してトレーニングを実行し、ラベル付けタイプに基づいてターゲット損失を決定することにより、分類モデルのトレーニングプロセスで、背景色及びエリアのレイアウトの2つの要素を十分に考慮し、ゲームエリアタイプ認識の精度を向上させる。
【0018】
いくつかの実施例では、各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、前記各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することは、各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定することと、各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定することと、前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定することと、を含む。
【0019】
このようにして、色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を介して、2つの分岐ネットワークのそれぞれの損失を計算し、次に、分類モデル全体の最終的に最適化されたターゲット損失を取得し、それにより、ターゲット損失に基づいて、エリアの色とエリアのレイアウトを同時に考慮した分類ネットワークをトレーニングして取得することができる。
【0020】
いくつかの実施例では、前記ゲームエリアタイプの認識方法は、前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得することを更に含み、これに対応して、前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することは、前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行することと、前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行することと、を含む。
【0021】
このようにして、トレーニングサンプルセット、及び対応する二値化画像セットを使用して、分類モデルの2つの分岐ネットワークをそれぞれトレーニングすることにより、トレーニングされた分類モデルは、ゲームエリアの色分類結果及びレイアウト分類結果を同時に認識して、認識精度を向上させることができる。
【0022】
いくつかの実施例では、前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む。
【0023】
このようにして、バックボーンネットワーク層、完全接続層、及び正規化層構造を含む2つの分岐ネットワークを構築することにより、形成された分類ネットワークは、2つの要素を同時に考慮した分類結果を同時に取得し、手動検査及び認識エラーのコストを削減させることができる。
【0024】
第2態様において、本願実施例は、ゲームエリアタイプの認識装置を提供し、当該装置は、第1取得モジュール、第1認識モジュール、第2認識モジュール及び第1決定モジュールを備え、
前記第1取得モジュールは、認識される第1ゲームエリア画像を取得するように構成され、
前記第1認識モジュールは、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得するように構成され、
前記第2認識モジュールは、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得するように構成され、ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記第1決定モジュールは、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される。
【0025】
第3態様において、本願実施例は、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリを備える、電子機器を提供し、前記プロセッサが前記コンピュータプログラムを実行するときに、上記のゲームエリアタイプの認識方法におけるステップを実行する。
【0026】
第4態様において、本願実施例は、コンピュータプログラムが記憶された、コンピュータ記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるときに、上記のゲームエリアタイプの認識方法におけるステップを実行する。
【0027】
本願実施例によって提供される技術的解決策は、少なくとも以下の有益な効果を有する。
【0028】
本願実施例では、まず、認識される第1ゲームエリア画像を取得し、次に、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、最後に、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定する。このように、事前にトレーニングされた分類モデルを介して、第1ゲームエリア画像内のゲームエリアの色情報及びレイアウト情報を同時に認識して、ゲームエリアタイプの認識の精度を向上させ、手動検査及び認識エラーのコストを削減させることができる。
【図面の簡単な説明】
【0029】
本願実施例の技術的解決策をより明確に説明するために、以下では、実施例の説明に必要な図面を簡単に説明する。明らかに、以下の図面は、本願実施例の一部のみを示すだけであり、当業者にとっては、創造的な労力なしに、これらの図面に基づいて他の関連図面を得ることもできることを理解されたい。
図1】本願実施例によるゲームエリアタイプの認識方法の例示的なフローチャートである。
図2】本願実施例によるゲームエリアタイプの認識方法の例示的なフローチャートである。
図3】本願実施例による第2ゲームエリア画像を決定するための例示的なフローチャートである。
図4】本願実施例による分類モデルのトレーニング方法の例示的なフローチャートである。
図5】本願実施例による分類モデルのトレーニング方法の例示的なフローチャートである。
図6A】本願実施例によるゲームエリアタイプの認識方法の論理フローチャートである。
図6B】本願実施例によるゲームエリアの上面図である。
図6C】本願実施例による別のゲームエリアの上面図である。
図7】本願実施例による分類モデルのトレーニングプロセスのシステムブロック図である。
図8】本願実施例によるゲームエリアタイプの認識装置の例示的な構造図である。
図9】本願実施例による電子機器のハードウェアエンティティの概略図である。
【発明を実施するための形態】
【0030】
本願実施例の目的、技術的解決策及び利点をより明確にするために、以下では、本願実施例の図面を参照して、本願実施例の技術的解決策を明確且つ完全に説明する。明らかに、説明される実施例は、本願実施例の一部であり、全部の実施例ではない。以下の実施例は、本願を説明するために使用されるが、本願を限定することを意図するものではない。本願の実施例に基づいて、創造的な作業なしに当業者によって得られた他のすべての実施例は、本願の保護範囲に含まれる。
【0031】
下記の説明において、「いくつかの実施例」とは、全ての可能な実施例のサブセットを指すが、「いくつかの実施例」は、全ての可能な実施例の同じサブセット又は異なるサブセットであり得、競合することなく互いに組み合わせることができることが理解できる。
【0032】
本願実施例で使用される「第1/第2/第3」などの用語は、特定の順番を限定するものではなく、類似する対象を区別するものであることに留意されたい。「第1/第2/第3」は、適切な場合ににおいて特定の順番又は前後順番を変換できるので、本明細書に記載の本願実施例は、本明細書に図示又は記載されたもの以外の順番で実行できることが理解できる。
【0033】
別段の定義がない限り、本明細書で使用されるすべての用語(技術用語及び科学用語を含む)は、本願の実施例が属する当業者によって一般に理解されるのと同じ意味を有することを理解されたい。また、一般的な辞書で定義されているような用語は、先行技術の文脈での意味と一致する意味を持っていると解釈されるべきであり、本明細書で特に定義されていない限り、理想的又は過度に解釈されるべきではないことも理解され得る。
【0034】
異なるゲームエリアタイプのコンソールが、異なるゲームに適用する場合、関連技術において、対応するシステムは、各コンソールに含まれるゲームエリアのタイプに応じて手動で展開される。ゲームエリアタイプの増加に伴い、このような戦略の欠点はますます顕著になり、展開するには、システムのバージョンを手動で確認する必要があり、一方では、複数のゲームエリアタイプをサポートする異なるバージョンを維持する必要があり、もう一方では、展開の人件費が追加的に増加する。
【0035】
特徴点マッチング又は単純なニューラルネットワーク分類を使用する既存の方案がいくつかあるが、実際の使用において、いくつかの問題があり、具体的には、特徴点マッチング方案は、ゲームエリアのレイアウトに敏感であるが、エリアの背景の色情報を無視し、同じレイアウトでの異なる色の認識が悪く、単純な分類ネットワークは、ゲームエリアの色情報に敏感であるが、レイアウトの詳細を無視しやすいため、異なるレイアウトでの同じ色のゲームエリアの認識が悪い。したがって、これらの2種類の方案では、エリアの背景の色とレイアウト情報をうまく区別できず、ロバスト性が低く、分類エラーやシステム展開の問題が発生しやすくなる。
【0036】
図1は、本願実施例によるゲームエリアタイプの認識方法の例示的なフローチャートであり、図1に示されるように、当該方法は、以下のステップを含み得る。
【0037】
ステップS110において、認識される第1ゲームエリア画像を取得する。
【0038】
ここで、前記第1ゲームエリア画像は、ゲームテーブルのために収集された画像など、ゲームプレイエリアを含む画像である。ここで、ゲームは、バカラなどのカードゲーム、又は非カードゲームであり得る。ゲームプレイエリアには、ゲームアイテム、ゲームコイン、ゲームインジケーターなどをそれぞれ配置するための複数のサブエリアを設定できることに理解されたい。
【0039】
ゲームエリアの異なる方向に配置されたカメラアセンブリを使用して、ゲームエリアに対してリアルタイムでビデオを撮影し、撮影されたビデオをエッジ機器に送信できることに留意されたい。それにより、エッジ機器は、受信したビデオから画像をキャプチャし、さらにサンプリングして、認識される第1ゲームエリア画像を取得することができる。
【0040】
ステップS120において、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得する。
【0041】
ここで、分類モデルは、異なるゲームエリアタイプのトレーニングサンプル画像のトレーニング、及び各前記トレーニングサンプル画像に対して画像処理を実行した後の二値化画像に基づいて取得する。
【0042】
第1ゲームエリア画像は、収集された元の画像であり、ゲームエリアのエリア背景色情報及びレイアウト情報を含み、第1ゲームエリア画像を分類モデルの第1分岐ネットワークに直接入力して認識して、第1ゲームエリア画像内のゲームエリアの色分類結果を出力することができる。
【0043】
例えば、ゲームエリアの色分類結果は、赤、緑、グレーなどであり得、それぞれタイプA1、タイプA2、タイプA3としてタグ付けることができる。
【0044】
ステップS130において、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得する。
【0045】
ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像である。つまり、第2ゲームエリア画像は、二値化された白黒画像であり、当該画像から色に関連する背景を削除して、レイアウト情報のみを保持する。第2ゲームエリア画像を分類モデルの第2分岐ネットワークに直接入力して認識して、第2ゲームエリア画像のレイアウト分類結果を出力することができる。
【0046】
例えば、ゲームエリアのレイアウト分類結果は、大エリアタイプ、中エリアタイプ、小エリアタイプなどであり得、それぞれタイプB1、タイプB2、タイプB3としてタグ付ける。
【0047】
画像の二値化(Image Binarization)は、画像上のピクセルのグレースケール値を0又は255に設定するプロセス、つまり、画像全体が明らかに白黒で表示されるプロセスであることに留意されたい。即ち、適切な閾値を選択することにより、256の輝度レベルを持つグレースケール画像を処理して、画像の全体的及びローカル特徴を反映できる二値化された画像を取得する。
【0048】
ステップS140において、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定する。
【0049】
ここで、ゲームエリアの色分類結果及びレイアウト分類結果を組み合わせて、ゲームエリアのターゲットタイプを取得し、即ち、ターゲットタイプには、色タイプ及びレイアウトタイプの両方が含まれる。例えば、分類モデルで認識されたゲームエリアの色分類結果が赤(タイプA1)で、レイアウト分類結果が中エリアタイプ(タイプB2)である場合、出力されたゲームエリアのターゲットタイプは、A1B2であり得る。
【0050】
本願実施例では、まず、認識される第1ゲームエリア画像を取得し、次に、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、最後に、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定する。このように、事前にトレーニングされた分類モデルを介して、第1ゲームエリア画像内のゲームエリアの色情報及びレイアウト情報を同時に認識し、ゲームエリアタイプの認識の精度を向上させ、手動検査及び認識エラーのコストを削減させることができる。
【0051】
図2は、本願実施例によるゲームエリアタイプの認識方法の例示的なフローチャートであり、図2に示されるように、当該方法は、以下のステップを含み得る。
【0052】
ステップS210において、認識される第1ゲームエリア画像を取得する。
【0053】
ステップS220において、前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得する。
【0054】
ここで、第1ゲームエリア画像内の各ピクセルのグレースケール値を決定し、第1ゲームエリア画像に対応するグレースケール画像を取得することができる。
【0055】
いくつかの実施形態では、各ピクセルの3つの色チャネルのピクセル値を合計し、次に、平均化して、対応するピクセルのグレースケール値を取得し、別の実施形態では、各ピクセルの場合、3つの色チャネルのピクセル値に対してグレースケール重み付けを実行することにより、対応するピクセルのグレースケール値を取得する。本願の実施例は、各ピクセルに対するグレースケール計算方法を制限しない。
【0056】
ステップS230において、前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得する。
【0057】
ここで、実施において、固定の閾値を設定し、グレースケール画像内の各ピクセルのグレースケール値を、固定の閾値と比較し、比較結果に基づいて各ピクセルを白又は黒に設定し、それにより、第2ゲームエリア画像を取得することができる。
【0058】
上記のステップS220~S230における、第2ゲームエリア画像を決定するためのプロセスは、分類モデルに入力する前に実行してもよく、分類モデルに直接展開してもよく、即ち、第1ゲームエリア画像のみを分類モデルに入力して、分類モデル内部でステップS220~ステップS230におけるプロセスを実行することに留意されたい。本願実施例は、これらを限定しない。
【0059】
ステップS240において、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得する。
【0060】
ステップS250において、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得する。
【0061】
ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像である。
【0062】
ステップS260において、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定する。
【0063】
本願実施例では、元の第1ゲームエリア画像を、まず、グレースケール画像に変換し、次に、グレースケール画像内の各ピクセルのグレースケール値に基づいて、グレースケール画像に対して二値化処理を実行して、第2ゲームエリア画像を取得し、それにより、認識される第1ゲームエリア画像から色情報を削除して、ゲームエリアのレイアウト情報のみを含む二値化された白黒画像を、第2ゲームエリア画像として取得して、分類モデルがゲームエリアのレイアウト分類結果を認識するようにする。
【0064】
図3は、本願実施例による第2ゲームエリア画像を決定するための例示的なフローチャートであり、図3に示されるように、当該フローチャートは少なくとも以下のステップを含む。
【0065】
ステップS310において、前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア内の前記各ピクセルの各色チャネルの重み係数を決定する。
【0066】
ここで、前記認識及び分類の要件は、認識される必要がある特定のゲームエリアのレイアウト、又はビジネス要件に応じて認識される必要がある、プレイヤーのゲームコインの配置を示すエリアのレイアウトであり得る。
【0067】
ゲームエリアでは、異なる色でプレイヤーがゲームコインを配置するエリア、バンカーがゲームコインを配置するエリア及びゲームコントロールがゲームアイテムを配置するエリアなどの各機能エリアを定義することが理解できる。実施において、ビジネス要件に応じてエリアを認識する。背景を削除するために各ピクセルのグレースケール重み付けを計算するとき、対応するエリアの境界色に対応する重みを減少する。
【0068】
ステップS320において、前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記各ピクセルのグレースケール値を決定する。
【0069】
ここで、前記重み係数に基づいて、前記各ピクセルの各の色チャネルのピクセル値に対して加重加算して、前記第1ゲームエリア画像の前記グレースケール画像内の前記各ピクセルのグレースケール値を取得する。
【0070】
例えば、前記グレースケール画像内の前記各ピクセルのグレースケール値の計算式は、グレースケール値=赤の重み係数*赤のチャネルのピクセル値+緑の重み係数*緑のチャネルのピクセル値+青の重み係数*青のチャネルのピクセル値、であり得る。
【0071】
ステップS330において、前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定する。
【0072】
ここで、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であり、黒に対応するピクセル値は0であり、白に対応するピクセル値は255である。
【0073】
グレースケールが特定の閾値より大きいか等しい、すべてのピクセルは、特定のオブジェクトに属していると判断され、それ以外の場合、これらのピクセルは、特定のオブジェクトエリアから除外され、グレースケール値は0で、背景又は他のオブジェクトエリアを表示することが理解できる。
【0074】
いくつかの実施形態では、前記各ピクセルのグレースケール値が前記特定の閾値より大きいか等しい場合、対応する前記ピクセルのターゲットピクセル値が白に対応するピクセル値であると決定し、別のいくつかの実施形態では、前記各ピクセルのグレースケール値が前記特定の閾値より小さい場合、対応する前記ピクセルのターゲットピクセル値が黒に対応するピクセル値であると決定する。
【0075】
ステップS340において、前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得する。
【0076】
ステップS350において、前記第2ゲームエリア画像内のターゲットエリアを決定する。
【0077】
ここで、前記ターゲットエリアは、明確なレイアウト情報がないエリア、又はビジネス要件に関連するレイアウト情報がないエリアである。例えば、通常、ゲームエリアの下半分は、各ゲームプレーヤーがゲームコインを配置する少なくとも1つの第1エリアであり、上半分は、ゲームコントロールがゲームアイテムを配置する第2エリアであり、ゲームエリアの少なくとも1つの第1エリアのレイアウト情報を認識する必要があるとき、第2エリアを処理されるターゲットエリアとして設定する。
【0078】
実施において、第2ゲームエリア画像の特徴分布及び/又はビジネス要件に基づいて、前記第2ゲームエリア画像内のターゲットエリアを決定する。
【0079】
ステップS360において、前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得する。
【0080】
ここで、第2ゲームエリア画像の明確なレイアウト情報がないエリアに対して、背景マスク、即ち、単色の背景で直接カバーすることにより、第2ゲームエリア画像内のレイアウト情報に対する分類モデルの認識結果を高速化し、認識効率及び精度を向上させる。
【0081】
本願実施例では、ゲームエリアの認識分類要件の場合、グレースケール画像内の各ピクセルのグレースケール値を計算するとき、背景に関連する色チャネルの重みをそれに応じて減少することにより、背景色をより徹底的に削除し、ゲームエリアのレイアウト情報をより強調することができる。同時に、グレースケール画像内の各ピクセルのグレー値と特定の閾値との比較結果に基づいて、グレースケール画像内の各ピクセルを黒又は白に変換して、第2ゲームエリア画像を取得する。それにより、第2ゲームエリア画像は、二値化された白黒画像であり、背景に関連する色が削除され、レイアウト情報のみが保持される。
【0082】
図4は、本願実施例による分類モデルのトレーニング方法の例示的なフローチャートであり、図4に示されるように、当該方法は、少なくとも以下のステップを含む。
【0083】
ステップS410において、トレーニングサンプルセットを取得する。
【0084】
ここで、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含む。ラベル付けタイプは、色に関連するタイプ及びレイアウトに関連するタイプを含む。
【0085】
例えば、第1トレーニングサンプルのラベル付けタイプは、色A1及びレイアウトB1であり、第2トレーニングサンプルのラベル付けタイプは、色A1及びレイアウトB2であり、第1トレーニングサンプル及び第2トレーニングサンプルのラベル付けタイプ内の色タイプは同じで、レイアウトタイプは同じでなく、即ち、第1トレーニングサンプル及び第2トレーニングサンプルのラベル付けタイプは、完全に同じではない。
【0086】
ステップS420において、前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行する。
【0087】
ここで、前記トレーニングサンプルセットを、前記分類モデルに入力して、各トレーニングサンプルの場合、モデルによって対応する予測分類結果が出力された後、次に、トレーニングサンプルセットの予測されたすべての分類結果を、分類モデルに再び入力して反復トレーニングを実行する。
【0088】
ステップS430において、各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定する。
【0089】
ここで、各前記トレーニングサンプルのラベル付けタイプと、分類モデルによって出力された予測分類結果との差に従って、分類モデルのターゲット損失を決定する。
【0090】
ステップS440において、前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得する。
【0091】
ここで、前記ターゲット損失の監督下で、ターゲット損失がプリセット収束条件に達するまで、即ち、分類モデルのパラメータが最適になるまで、前記トレーニングサンプルセットを使用して、分類モデルに対してトレーニングを実行して、トレーニングされた分類モデルを取得する。
【0092】
本願実施例では、取得されたラベル付けタイプがまったく同じでない複数のトレーニングサンプルを使用して分類モデルに対してトレーニングを実行することにより、分類モデルのトレーニングプロセスで、背景色及びエリアのレイアウトの2つの要素を十分に考慮し、ゲームエリアタイプ認識の精度を向上させる。
【0093】
いくつかの実施例では、各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、図5は、本願実施例による分類モデルのトレーニング方法の例示的なフローチャートであり、図5に示されるように、当該方法は、少なくとも以下のステップを含む。
【0094】
ステップS510において、トレーニングサンプルセットを取得する。
【0095】
ここで、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含む。
【0096】
ステップS520において、前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得する。
【0097】
ここで、まず、前記トレーニングサンプルセット内の各前記トレーニングサンプル内の各ピクセルのグレーケール値を決定し、次に、各前記トレーニングサンプルの場合、前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定し、最後に、各前記トレーニングサンプル内のすべての前記ピクセルのターゲットピクセル値に基づいて、対応する前記トレーニングサンプルに対応する二値化画像を取得する。
【0098】
ステップS530において、トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行する。
【0099】
ここで、前記トレーニングサンプルセットを、分類モデルの第1分岐ネットワークに入力して、各トレーニングサンプル内の色タイプに関連する第1予測結果を出力し、前記第1予測結果と、前記第1タグ値との差に基づいて、収束するまで前記分類モデルの第1分岐ネットワークを反復最適化する。
【0100】
ステップS540において、二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行する。
【0101】
ここで、前記トレーニングサンプルセットを、分類モデルの第2分岐ネットワークに入力して、各トレーニングサンプル内の、レイアウトタイプに関連する第2予測結果を出力し、前記第2予測結果と、前記第2タグ値との差に基づいて、収束するまで前記分類モデルの第2分類ネットワークを反復最適化する。
【0102】
いくつかの実施形態では、前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含み、ここで、バックボーンネットワーク層は、各トレーニングサンプルの特徴ベクトルを抽出するように構成され、完全接続層は、バックボーンネットワーク層によって取得された特徴ベクトルを並べ替えて一次元配列に変換するように構成され、当該一次元配列の各要素は、事前設定されたタイプのスコアを表し、最後に、正規化層は、スコアが最も高い、事前設定されたタイプを出力するように構成される。ここで、第1分岐ネットワークの場合、事前に設定されたタイプは、赤、緑などのゲームエリアの異なる色に対応するタイプであり、第2分岐ネットワークの場合、事前に設定されたタイプは、大テーブルタイプ、中テーブルタイプ、小テーブルタイプなどのゲームエリアの異なるレイアウトに対応するタイプである。
【0103】
ステップS550において、各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定する。
【0104】
ここで、各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含む。分類モデルによって出力された予測分類結果及び対応するラベル付けタイプに基づいて、分類モデルのターゲット損失を決定する。
【0105】
いくつかの実施形態では、各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定し、各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定し、前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定する。
【0106】
このようにして、色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を介して、2つの分岐ネットワークのそれぞれの損失を計算し、次に、分類モデル全体の最終的に最適化されたターゲット損失を取得し、それにより、ターゲット損失に基づいて、背景の色とエリアのレイアウトを同時に考慮した分類ネットワークをトレーニングして取得することができる。
【0107】
ステップS560において、前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得する。
【0108】
ここで、ターゲット損失に基づいて、分類モデルのパラメータが収束してトレーニングされた分類モデルを取得するまで、前記分類モデルのパラメータを調整する。
【0109】
ターゲット損失が第1損失及び第2損失含む場合、前記第1損失及び前記第2損失に基づいて、前記モデルに対応する分岐のパラメータをそれぞれ調整することに留意されたい。
【0110】
本願実施例では、トレーニングサンプルセット、及び対応する二値化画像セットを使用して、分類モデルの2つの分岐ネットワークをそれぞれトレーニングすることにより、トレーニングされた分類モデルは、ゲームエリアの色分類結果及びレイアウト分類結果を同時に認識し、認識の精度を向上させることができる。
【0111】
以下では、特定の実施例を参照して、上記のゲームエリアタイプの認識方法について説明するが、当該特定の実施例は、本願をより明確に説明するためのものであり、本願を限定することを意図するものでないことに留意されたい。
【0112】
図6Aは、本願実施例によるゲームエリアタイプの認識方法の論理フローチャートであり、図6Aに示されるように、当該方法は少なくとも以下のステップを含む。
【0113】
ステップS610において、1セットのゲームエリアのサンプル画像を取得する。
【0114】
ここで、図6B及び図6Cに示されるように、ゲームシナリオ内の各タイプのゲームエリアの上面図を収集して、1セットのゲームエリアのサンプル画像を取得し、同時に、ゲームエリアの色タイプ(第1タグ値に相当)及びレイアウトタイプ(第2タグ値に相当)をタグ付ける。
【0115】
ゲームエリアのサンプル画像がゲームテーブルのために収集された画像であることを例として説明する。図6Bに示されるように、ゲームエリアの背景色は赤(雪花で画像を塗りつぶす)であり、第1タグ値を赤に対応するタイプに設定し、ゲームエリア全体の下半分は、4組のプレーヤー及びバンカーのゲームコインの配置エリアを含み、経験に従って、第2タグ値を「中テーブルタイプ」に対応するタイプに設定する。図6Cに示されるゲームエリアの背景色はグレーであり、第1タグ値をグレーに対応するタイプに設定し、ゲームエリア全体の下半分は、3組のプレーヤー及びバンカーのゲームコインの配置エリアを含み、経験に従って、第2タグ値を「小テーブルタイプ」に対応するタイプに設定する。
【0116】
ステップS620において、1セットのゲームエリアのサンプル画像を使用して分類モデルをトレーニングする。
【0117】
ここで、図7は、分類モデルのトレーニングプロセスであり、図7に示されるように、当該分類モデル70は、2つの分岐を含み、
第1分岐は、元のゲームエリアサンプル画像701を使用してトレーニングを実行し、第1バックボーンネットワーク(backbone)702、第1完全接続層(FC)703及び正規化層(softmax)704を通過した後、緑(Green)、赤(Red)、ベージュ(Biege)、グレー(Gray)などのゲームエリア全体の色分類結果705を取得する。
【0118】
第2分岐は、画像処理された後の二値化画像706に対してトレーニングを実行し、当該二値化画像706から色に関連する背景が削除され、ゲームエリアに関連するレイアウト情報のみが保持され、第2バックボーンネットワーク707、第2完全接続層708及び正規化層709を通過した後、ゲームエリアのレイアウト分類結果710を取得する。
【0119】
ここで、第1バックボーンネットワーク702及び第2バックボーンネットワーク707は、単純な残差ネットワーク(Resnet)構造を使用し、分類モデル70の最適化ターゲット関数は、クロスエントロピー損失(Cross Entropy Loss)最適化を採用する。
【0120】
ステップS630において、トレーニングされた分類モデルをシステム構成アイテムに追加し、システムが展開された後、分類モデルは、ゲームエリアのタイプを自動的に認識して、対応するシステムバージョンをロードする。
【0121】
ここで、システムが展開された後、システムの分類モデルは、ゲームエリアのタイプを自動的に認識して、手動検証とシステムバージョンの選択のコストを節約する。
【0122】
上記のステップS520における画像処理プロセスは、グレースケール計算、二値化及びマスク(Mask)面積の拡大の3つのステップを含むことに留意されたい。
【0123】
ここで、グレースケール計算操作では、赤緑青(Red Green Blue、RGB)画像を、グレースケール画像に変換する。ゲームシナリオでのゲームエリアの背景色は主に赤と緑であり、この操作の目的は、背景を削除するためであるので、グレースケールの重み付けを計算するとき、赤のチャネルの重みと緑のチャネルの重みはそれに応じて減少する。計算式は、グレースケール値(Gray)=65/255*赤のチャネル+65/255*緑のチャネル+125/255*青のチャネル、である。
【0124】
二値化操作では、上記計算されたグレースケール値に基づいて、特定のピクセルのグレースケール値>255*0.5である場合、対応するピクセル値は255、即ち、白に設定し、特定のピクセルのグレースケール値<255*0.5である場合、対応するピクセル値を0、即ち、黒に設定する。
【0125】
マスク面積の拡大操作では、ゲームエリアサンプル画像の上半分に明確なゲームエリアレイアウト情報がないため、マスク面積の3分の1を使用して、ゲームエリアサンプル画像の上半分をカバーする。
【0126】
マスクは、選択された画像、図、又はオブジェクトで、処理された画像(全部又は一部)をマスクして、画像処理のエリア又は処理プロセスを制御することである。
【0127】
このようにして、本願実施例による分類モデルのトレーニングプロセスで、背景色及びエリアのレイアウトの2つの要素を十分に考慮し、ゲームエリアタイプ認識の精度を向上させる。
【0128】
従来の手動展開戦略のエラーは、資源及びコストの浪費を発生させ、既存の特徴点マッチングと単純な分類ネットワークはロバスト性が低く、分類エラーやシステム展開の問題が発生しやすくなる。本願実施例は、背景色及びエリアのレイアウトの2つの要素を十分に考慮した、分類ネットワークを提供し、認識の精度を向上させ、手動検査及び認識エラーのコストを削減させる。
【0129】
スマートゲームシナリオにおいて、様々なゲームエリアのタイプ及び複数のゲームルールがあり、ゲームエリアタイプの確認検査及び対応するシステムバージョンの展開は、多くの人件費を消費する。本願実施例は、ゲームエリアの異なる背景色及びレイアウトに従って、ゲームエリアタイプを自動的に認識して分類し、システムの展開がより便利になり、コスト及び資源を節約する。
【0130】
本願実施例によるゲームエリアタイプの認識方法は、スマートゲームにおけるゲームテーブルのテーブルタイプ認識のシナリオに適用することができる。スマートゲームシナリオにおいて、本願実施例で言及されるゲームエリア画像は、ゲームテーブル画像である。
【0131】
前述した実施例に基づいて、本願実施例はさらに、ゲームエリアタイプの認識装置を提供し、当該装置に含まれる各ユニット、及び各ユニットに含まれる各モジュールは、電子機器内のプロセッサによって実現でき、もちろん、具体的な論理回路によって実現できる。実施プロセスでは、プロセッサは、中央処理装置(Central Processing Unit、CPU)、マイクロプロセッサ(Micro Processing Unit、MPU)、デジタル信号プロセッサ(Digital Signal Processor、DSP)又はフィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)などであり得る。
【0132】
図8は、本願実施例によるゲームエリアタイプを認識装置の例示的な構造図であり、図8に示されるように、前記装置800は、第1取得モジュール810、第1認識モジュール820、第2認識モジュール830及び第1決定モジュール840を備え、
前記第1取得モジュール810は、認識される第1ゲームエリア画像を取得するように構成され、
前記第1認識モジュール820は、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得するように構成され、
前記第2認識モジュール830は、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得するように構成され、ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記第1決定モジュール840は、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される。
【0133】
いくつかの可能な実施例では、前記装置はさらに、グレースケール処理モジュール及び二値化処理モジュールを備え、ここで、前記グレースケール処理モジュールは、前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得するように構成され、前記二値化処理モジュールは、前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得するように構成される。
【0134】
いくつかの可能な実施例では、前記グレースケール処理モジュールは、第1決定モジュール及び第2決定サブモジュールを備え、ここで、前記第1決定サブモジュールは、前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア内の前記各ピクセルの各色チャネルの重み係数を決定するように構成され、前記第2決定サブモジュールは、前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定するように構成される。
【0135】
いくつかの可能な実施例では、前記二値化処理モジュールは、第3決定サブモジュール及び第4決定サブモジュールを備え、ここで、前記第3決定サブモジュールは、前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定するように構成され、ここで、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であり、前記第4決定サブモジュールは、前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得するように構成される。
【0136】
いくつかの可能な実施例では、前記装置はさらに、第2決定モジュール及びマスクカバーモジュールを備え、ここで、前記第2決定モジュールは、前記第2ゲームエリア画像内のターゲットエリアを決定するように構成され、前記マスクカバーモジュールは、前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得するように構成される。
【0137】
いくつかの可能な実施例では、前記装置はさらに、第2取得モジュール、トレーニングモジュール、第3決定モジュール及び第4決定モジュールを備え、ここで、前記第2取得モジュールは、トレーニングサンプルセットを取得するように構成され、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含み、前記ラベル付けタイプは少なくとも、色タイプ及びレイアウトタイプを含み、前記トレーニングモジュールは、前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行するように構成され、前記第3決定モジュールは、各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定するように構成され、前記第4決定モジュールは、前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得するように構成される。
【0138】
いくつかの可能な実施例では、各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、前記第3決定モジュールは、第5決定サブモジュール、第6決定サブモジュール及び第7決定サブモジュールを備え、ここで、前記第5決定サブモジュールは、各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定するように構成され、前記第6決定サブモジュールは、各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定するように構成され、前記第7決定サブモジュールは、前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定するように構成される。
【0139】
いくつかの可能な実施例では、前記装置はさらに、画像処理モジュールは、前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得することと、これに対応して、前記トレーニングモジュールは、第1トレーニングサブモジュール及び第2トレーニングサブモジュールを備え、ここで、前記第1トレーニングサブモジュールは、前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行するように構成され、前記第2トレーニングサブモジュールは、前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行するように構成される。
【0140】
いくつかの可能な実施例では、前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む。
【0141】
ここで、上記の装置の実施例に関する説明は、上記の方法の実施例に関する説明と同様であり、方法の実施例と同様の有益な効果を有することに留意された。本願の装置の実施例に開示されていない技術的詳細については、本願の方法の実施例の説明を参照することによって理解できる。
【0142】
本願実施例では、上記のゲームエリアタイプの認識方法が、ソフトウェア機能モジュールの形で実行され、独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されることもできることに留意されたい。このような理解に基づいて、本願の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、1台の電子機器(カメラ付きのスマートフォンやタブレットなどであり得る)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。このようにして、本願実施例は、特定のハードウェア及びソフトウェアの組み合わせに限定されない。
【0143】
本願実施例は、コンピュータプログラムが記憶された、コンピュータ記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるときに、上記のゲームエリアタイプの認識方法におけるステップを実行する。これに対応して、本願実施例はさらに、プログラム可能な論理回路及び/又はプログラム命令を含む、チップを提供し、前記チップは、上記の実施例のいずれかに記載のゲームエリアタイプの認識方法におけるステップを実行されるように構成される。これに対応して、本願実施例では、さらに、コンピュータプログラムが記憶された、コンピュータ記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるときに、上記のゲームエリアタイプの認識方法におけるステップを実行する。
【0144】
同じ技術的構想に基づいて、本願実施例は、電子機器を提供し、上記方法の実施例に記載のゲームエリアタイプの認識方法を実行する。図9は、本願実施例による電子機器のハードウェアエンティティの概略図であり、図9に示されるように、前記電子機器900は、プロセッサ920と、プロセッサ920で実行可能なコンピュータプログラムを記憶するように構成されるメモリ910を備え、前記プロセッサ920が前記コンピュータプログラムを実行するときに、上記のゲームエリアタイプの認識方法におけるステップを実行する。
【0145】
メモリ910は、プロセッサ920で実行可能な命令及びアプリケーションを記憶するように構成され、プロセッサ920及び電子機器の各モジュールによって処理された、又は処理されるデータ(画像データ、音声データ、音声通信データ及びビデオ通信データなど)をキャッシュすることができ、フラッシュメモリ(FLASH(登録商標))又はランダムアクセスメモリ(Random Access Memory、RAM)を介して実装できる。
【0146】
プロセッサ920は、プログラムを実行するときに、上述のいずれか一項に記載のゲームエリアタイプの認識におけるステップを実行する。プロセッサ920は通常、電子機器900の全体的な動作を制御する。
【0147】
上記のプロセッサは、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、デジタルシグナルプロセッサ(Digital Signal Processor、DSP)、デジタル信号処理装置(Digital Signal Processing Device、DSPD)、プログラマブルロジックデバイス(Programmable Logic Device、PLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)、中央処理装置(Central Processing Unit、CPU)、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも1つであり得る。上記のプロセッサの機能を実現するために使用される電子機器は他のものでもあり得、本願実施例はこれに限定されないことが理解できる。
【0148】
上記のコンピュータ記憶媒体/メモリは、読み取り専用メモリ(Read Only Memory、ROM)、プログラマブル読み取り専用メモリ(Programmable Read-Only Memory、PROM)、消去可能なプログラマブル読み取り専用メモリ(Erasable Programmable Read-Only Memory、EPROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、磁気ランダムアクセスメモリ(Ferromagnetic Random Access Memory、FRAM(登録商標))、フラッシュメモリ(Flash(登録商標) Memory)、磁気メモリ、光ディスク、又は読み取り専用コンパクトディスク(Compact Disc Read-Only Memory、CD-ROM)などであってもよく、携帯電話、コンピュータ、タブレットデバイス、携帯情報端末などの上記のメモリの1つ又は任意の組み合わせを含む様々な機器であってもよい。
【0149】
ここで、上記の記憶媒体及び機器の実施例に関する上記の説明は、上記の方法の実施例に関する説明と同様であり、方法の実施例と同様の有益な効果を有することに留意されたい。本願の記憶媒体及び機器の実施例に開示されていない技術的詳細については、本願の方法の実施例の説明を参照することによって理解できる。
【0150】
本明細書全体で言及される「1つの実施例」又は「一実施例」は、実施例に相関する特定の特徴、構造、又は特性が、本願の少なくとも1つの実施例に含まれることを意味することを理解されたい。したがって、本明細書における「1つの実施例において」又は「一実施例では」は、必ずしも同じ実施例を指すとは限らない。さらに、これらの特定の特徴、構造、又は特性は、任意の適切な方式で、1つ又は複数の実施例に組み合わせることができる。本願の各実施例において、上記の各プロセスのシーケンス番号の大きさは、実行シーケンスを意味するものではなく、各プロセスの実行シーケンスは、その機能と内部論理によって決定されるべきであり、本願実施例の実施プロセスにいかなる制限も構成すべきではないことを理解されたい。上記の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
【0151】
本願において、「備える」、「含む」という用語、又はその任意の他の変形は、非排他的な包含をカバーすることを意図するので、一連の要素を含むプロセス、方法、物品又は装置は、それらの要素だけでなく、明示的に列挙されていない他の要素、又は、そのようなプロセス、方法、物品、又は装置の固有の要素をさらに含む。特に限定されていない場合、「...を含む」という文で定義された要素は、当該要素を含むプロセス、方法、物品、又は装置に、他の同じ要素があることを排除するものではない。
【0152】
本願で提供されるいくつかの実施例では、開示された機器及び方法は、他の方式で実現できることを理解されたい。以上に説明した機器の実施例は単なる例示的なものであり、例えば、前記ユニットの分割は、論理的な機能の分割に過ぎない。実際の実現では、別の分割方法が存在でき、例えば、複数のユニット又はコンポーネントを組み合わせるか別のシステムに統合することができ、又は一部の特徴を無視するか実行しないことができる。さらに、図示又は説明された各構成要素間の相互結合又は直接結合又は通信接続は、いくつかのインターフェース、機器又はユニットを介した間接な結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。
【0153】
前記個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、1箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本願実施例における技術的解決策の目的を達成することができる。
【0154】
さらに、本願の各実施例における各機能ユニットは、すべて1つの第2処理ユニットに統合されてもよく、各ユニットが個別に1つのユニットとして使用されてもよく、2つ以上のユニットが1つのユニットに統合されてもよい。前記統合されたユニットは、ハードウェアの形で、又はハードウェアとソフトウェア機能ユニットの組み合わせの形で具現することができる。
【0155】
あるいは、本願の上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本願実施例の技術的解決策の本質的な部分、即ち、関連技術に貢献のある部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、機器に、本願の各実施例に記載の方法の全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ROM磁気メモリ又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【0156】
本願で提供されるいくつかの方法の実施例で開示される方法は、競合することなく任意に組み合わせて、新しい方法の実施例を取得することができる。
【0157】
本願で提供されるいくつかの方法又は機器の実施例で開示される特徴は、競合することなく任意に組み合わせて、新しい方法の実施例又は機器の実施例を取得することができる。
【0158】
上記の内容は、本願の実施形態に過ぎず、本願の保護範囲はこれに限定されない。本願で開示された技術的範囲内で、当業者が容易に想到し得る変形又は置換はすべて、本願の保護範囲内に含まれるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図7
図8
図9
【手続補正書】
【提出日】2022-03-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ゲームエリアタイプの認識方法であって、
認識される第1ゲームエリア画像を取得することと、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得することと、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得することであって、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であることと、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定することと、を含む、前記ゲームエリアタイプの認識方法。
【請求項2】
前記第2ゲームエリア画像は、
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することと、
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することと、を含むステップによって取得される、
請求項1に記載のゲームエリアタイプの認識方法。
【請求項3】
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することは、
前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルの重み係数を決定することと、
前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定することと、を含む、
請求項2に記載のゲームエリアタイプの認識方法。
【請求項4】
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することは、
前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定することであって、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であることと、
前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得することと、を含む、
請求項2又は3に記載のゲームエリアタイプの認識方法。
【請求項5】
前記ゲームエリアタイプの認識方法は、
前記第2ゲームエリア画像内のターゲットエリアを決定することと、
前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得することと、を更に含む、
請求項2ないし4のいずれか一項に記載のゲームエリアタイプの認識方法。
【請求項6】
前記分類モデルは、
トレーニングサンプルセットを取得することであって、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含み、前記ラベル付けタイプは少なくとも、色タイプ及びレイアウトタイプを含むことと、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することと、
各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することと、
前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得することと、を含むステップによってトレーニングして取得される、
請求項1ないし5のいずれか一項に記載のゲームエリアタイプの認識方法。
【請求項7】
各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、
前記各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することは、
各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定することと、
各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定することと、
前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定することと、を含む、
請求項6に記載のゲームエリアタイプの認識方法。
【請求項8】
前記ゲームエリアタイプの認識方法は、
前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得することを更に含み、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することは、
前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行することと、
前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行することと、を含む、
請求項6又は7に記載のゲームエリアタイプの認識方法。
【請求項9】
前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む、
請求項1ないし8のいずれか一項に記載のゲームエリアタイプの認識方法。
【請求項10】
ゲームエリアタイプの認識装置であって、第1取得モジュール、第1認識モジュール、第2認識モジュール及び第1決定モジュールを備え、
前記第1取得モジュールは、認識される第1ゲームエリア画像を取得するように構成され、
前記第1認識モジュールは、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得するように構成され、
前記第2認識モジュールは、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得するように構成され、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記第1決定モジュールは、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される、前記ゲームエリアタイプの認識装置。
【請求項11】
プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備える、電子機器であって、前記プロセッサが前記コンピュータプログラムを実行するとき、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される、前記電子機器。
【請求項12】
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように実行される、前記コンピュータ可読記憶媒体。
【請求項13】
プロセッサ可読命令を含む、コンピュータプログラム製品であって、前記プロセッサ可読命令がプロセッサによって、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように実行される、前記コンピュータプログラム製品。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】変更
【補正の内容】
【0028】
本願実施例では、まず、認識される第1ゲームエリア画像を取得し、次に、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、ここで、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、最後に、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定する。このように、事前にトレーニングされた分類モデルを介して、第1ゲームエリア画像内のゲームエリアの色情報及びレイアウト情報を同時に認識して、ゲームエリアタイプの認識の精度を向上させ、手動検査及び認識エラーのコストを削減させることができる。
例えば、本願は以下の項目を提供する。
(項目1)
ゲームエリアタイプの認識方法であって、
認識される第1ゲームエリア画像を取得することと、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得することと、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得することであって、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であることと、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定することと、を含む、前記ゲームエリアタイプの認識方法。
(項目2)
前記第2ゲームエリア画像は、
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することと、
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することと、を含むステップによって取得される、
項目1に記載のゲームエリアタイプの認識方法。
(項目3)
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することは、
前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルの重み係数を決定することと、
前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定することと、を含む、
項目2に記載のゲームエリアタイプの認識方法。
(項目4)
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することは、
前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定することであって、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であることと、
前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得することと、を含む、
項目2又は3に記載のゲームエリアタイプの認識方法。
(項目5)
前記ゲームエリアタイプの認識方法は、
前記第2ゲームエリア画像内のターゲットエリアを決定することと、
前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得することと、を更に含む、
項目2ないし4のいずれか一項に記載のゲームエリアタイプの認識方法。
(項目6)
前記分類モデルは、
トレーニングサンプルセットを取得することであって、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含み、前記ラベル付けタイプは少なくとも、色タイプ及びレイアウトタイプを含むことと、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することと、
各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することと、
前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得することと、を含むステップによってトレーニングして取得される、
項目1ないし5のいずれか一項に記載のゲームエリアタイプの認識方法。
(項目7)
各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、
前記各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することは、
各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定することと、
各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定することと、
前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定することと、を含む、
項目6に記載のゲームエリアタイプの認識方法。
(項目8)
前記ゲームエリアタイプの認識方法は、
前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得することを更に含み、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することは、
前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行することと、
前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行することと、を含む、
項目6又は7に記載のゲームエリアタイプの認識方法。
(項目9)
前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む、
項目1ないし8のいずれか一項に記載のゲームエリアタイプの認識方法。
(項目10)
ゲームエリアタイプの認識装置であって、第1取得モジュール、第1認識モジュール、第2認識モジュール及び第1決定モジュールを備え、
前記第1取得モジュールは、認識される第1ゲームエリア画像を取得するように構成され、
前記第1認識モジュールは、トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得するように構成され、
前記第2認識モジュールは、前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得するように構成され、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記第1決定モジュールは、前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される、前記ゲームエリアタイプの認識装置。
(項目11)
プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備える、電子機器であって、前記プロセッサが前記コンピュータプログラムを実行するとき、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように構成される、前記電子機器。
(項目12)
前記第2ゲームエリア画像は、
前記第1ゲームエリア画像に対してグレースケール処理を実行して、前記第1ゲームエリア画像に対応するグレースケール画像を取得することと、
前記グレースケール画像内の各ピクセルのグレースケール値に基づいて、前記グレースケール画像に対して二値化処理を実行して、前記第2ゲームエリア画像を取得することと、を含むステップによって取得される、
項目11に記載の電子機器。
(項目13)
前記プロセッサは、具体的に、
前記ゲームエリアの認識分類要件に基づいて、前記第1ゲームエリア内の前記各ピクセルの各色チャネルの重み係数を決定し、
前記第1ゲームエリア画像内の前記各ピクセルの各色チャネルのピクセル値及び対応する前記重み係数に基づいて、前記グレースケール画像内の前記各ピクセルのグレースケール値を決定するように構成される、
項目12に記載の電子機器。
(項目14)
前記プロセッサは、具体的に、
前記各ピクセルのグレースケール値を特定の閾値と順次比較することにより、前記各ピクセルのターゲットピクセル値を決定し、前記ターゲットピクセル値は、黒又は白に対応するピクセル値であり、
前記グレースケール画像内のすべての前記ピクセルのターゲットピクセル値に基づいて、前記第2ゲームエリア画像を取得するように構成される、
項目12又は13に記載の電子機器。
(項目15)
前記プロセッサはさらに、
前記第2ゲームエリア画像内のターゲットエリアを決定し、
前記第2ゲームエリア画像内のターゲットエリアに背景マスクを追加して、新しい前記第2ゲームエリア画像を取得するように構成される、
項目12ないし14のいずれか一項に記載の電子機器。
(項目16)
前記分類モデルは、
トレーニングサンプルセットを取得することであって、前記トレーニングサンプルセットは、ラベル付けタイプがまったく同じでない少なくとも2つのトレーニングサンプルを含み、前記ラベル付けタイプは少なくとも、色タイプ及びレイアウトタイプを含むことと、
前記トレーニングサンプルセットを使用して前記分類モデルに対して反復トレーニングを実行することと、
各反復プロセスで、前記トレーニングサンプルセット内の各前記トレーニングサンプルのラベル付けタイプに基づいて、前記分類モデルのターゲット損失を決定することと、
前記分類モデルのターゲット損失がプリセット収束条件に達した場合、前記トレーニングされた分類モデルを取得することによってトレーニングして取得される、
項目11ないし15のいずれか一項に記載の電子機器。
(項目17)
各前記トレーニングサンプルのラベル付けタイプは、前記色タイプに対応する第1タグ値及び前記レイアウトタイプに対応する第2タグ値を含み、
前記プロセッサは、具体的に、
各反復プロセスで、前記第1タグ値、及び前記第1分岐ネットワークによって出力された各前記トレーニングサンプルの色分類結果に基づいて、前記第1分岐ネットワークに対応する第1損失を決定し、
各反復プロセスで、前記第2タグ値、及び前記第2分岐ネットワークによって出力された各前記トレーニングサンプルのレイアウト分類結果に基づいて、前記第2分岐ネットワークに対応する第2損失を決定し、
前記第1損失及び前記第2損失に基づいて、前記分類モデルのターゲット損失を決定するように構成される、
項目16に記載の電子機器。
(項目18)
前記プロセッサはさらに、
前記トレーニングサンプルセット内の各前記トレーニングサンプルに対して画像処理を実行して、二値化画像セットを取得するように構成され、
前記プロセッサは、具体的に、
前記トレーニングサンプルセットを使用して前記分類モデルの第1分岐ネットワークに対して反復トレーニングを実行し、
前記二値化画像セットを使用して前記分類モデルの第2分岐ネットワークに対して反復トレーニングを実行するように構成される、
項目16又は17に記載の電子機器。
(項目19)
前記第1分岐ネットワーク及び前記第2分岐ネットワークは、両方ともバックボーンネットワーク層、完全接続層、及び正規化層を含む、
項目11ないし18のいずれか一項に記載の電子機器。
(項目20)
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって、
認識される第1ゲームエリア画像を取得し、
トレーニングされた分類モデルの第1分岐ネットワークを介して前記第1ゲームエリア画像を認識して、前記第1ゲームエリア画像内のゲームエリアの色分類結果を取得し、
前記トレーニングされた分類モデルの第2分岐ネットワークを介して第2ゲームエリア画像を認識して、前記ゲームエリアのレイアウト分類結果を取得し、前記第2ゲームエリア画像は、前記第1ゲームエリア画像に対して画像処理を実行して取得した二値化画像であり、
前記ゲームエリアの前記色分類結果及び前記レイアウト分類結果に基づいて、前記ゲームエリアのターゲットタイプを決定するように実行される、前記コンピュータ可読記憶媒体。
【国際調査報告】