(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-09
(45)【発行日】2024-01-17
(54)【発明の名称】画像処理方法、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
A63F 13/80 20140101AFI20240110BHJP
G06V 20/52 20220101ALI20240110BHJP
G06T 7/292 20170101ALI20240110BHJP
A63F 9/00 20060101ALI20240110BHJP
【FI】
A63F13/80 F
G06V20/52
G06T7/292
A63F9/00 513
(21)【出願番号】P 2021523503
(86)(22)【出願日】2020-10-30
(86)【国際出願番号】 IB2020060202
(87)【国際公開番号】W WO2022029477
(87)【国際公開日】2022-02-10
【審査請求日】2021-04-28
(31)【優先権主張番号】10202007349R
(32)【優先日】2020-08-01
(33)【優先権主張国・地域又は機関】SG
(73)【特許権者】
【識別番号】520176212
【氏名又は名称】センスタイム インターナショナル ピーティーイー.リミテッド
【氏名又は名称原語表記】SenseTime International PTE.LTD.
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】ジャン ヤオ
(72)【発明者】
【氏名】ジャン ウェンビン
(72)【発明者】
【氏名】ジャン シュアイ
【審査官】竹村 真一郎
(56)【参考文献】
【文献】特開2019-198651(JP,A)
【文献】米国特許出願公開第2018/0061178(US,A1)
【文献】米国特許出願公開第2017/0330414(US,A1)
【文献】米国特許出願公開第2013/0101219(US,A1)
【文献】米国特許出願公開第2018/0268648(US,A1)
【文献】特開2019-165900(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63F 1/00-5/04、9/00、13/80
G06T 7/292
G06V 20/52
(57)【特許請求の範囲】
【請求項1】
1つ以上のプロセッサによって、ゲームテーブルトップのビデオストリームを取得することと、
1つ以上のプロセッサによって、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することと、
1つ以上のプロセッサによって、前記目標対象物に基づいて、現在のゲームステージを特定することと、
1つ以上のプロセッサによって、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することと、を含み、
前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、
前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することは、
第1視点で収集された第1画像に対して目標検出を行い、前記第1画像における目標対象物を決定することと、
第2視点で同期的に収集された第2画像に対して目標検出を行い、前記第2画像における目標対象物を決定することと、
前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することと、を含
み、
前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、
前記第1画像における目標対象物の外観情報と、前記第2画像における目標対象物の外観情報とに基づいて、第1特徴距離を決定し、1つの第1特徴距離は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との類似度を表すことと、
前記第1画像における目標対象物の周囲情報と、前記第2画像における目標対象物の周囲情報とに基づいて、第2特徴距離を決定し、1つの第2特徴距離は、前記第1画像における1つの目標対象物の周囲情報と、前記第2画像における1つの目標対象物の周囲情報との類似度を表すことと、
前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定することと、
決定された特徴距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することと、を含む、
ことを特徴とする画像処理方法。
【請求項2】
1つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、1つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されることを特徴とする請求項1に記載の画像処理方法。
【請求項3】
2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定することは、
前記2つの目標対象物の第1特徴距離と第2特徴距離とを重み付き加算して、前記2つの目標対象物間の特徴距離を得ることを含み、ここで、前記2つの目標対象物の類似度が高いほど、重み付き加算時に前記2つの目標対象物の第2特徴距離の重み係数を大きくすることを特徴とする請求項
1に記載の画像処理方法。
【請求項4】
1つ以上のプロセッサによって、前記第1画像における目標対象物と前記第2画像における目標対象物との間の幾何学的距離を決定することをさらに含み、
決定された特徴距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、
前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物間の特徴距離と幾何学的距離に基づいて前記2つの目標対象物間の距離を決定することと、
前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することと、を含むことを特徴とする請求項
1又は
3に記載の画像処理方法。
【請求項5】
前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、
前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の1つの要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間の距離を示すことと、
前記距離行列に基づいて、前記第1画像と前記第2画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間に相関関係があるかないかを示すことと、を含むことを特徴とする請求項
4に記載の画像処理方法。
【請求項6】
前記目標対象物に基づいて現在のゲームステージを特定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することと、
決定された時点を1つのゲームステージの開始時点とすることと、を含むことを特徴とする請求項1に記載の画像処理方法。
【請求項7】
前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、
前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
1つの視点でのビデオストリームにおいて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像を決定することと、
他の視点で同期的に収集されたビデオストリームにおいて、前記第1フレームの画像に同期して収集された同期画像を決定することと、
前記同期画像の前のNフレームの画像のうち少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記同期画像の前のNフレームの画像のうち、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが最も早く検出された画像に対応する時点を決定することと、を含むことを特徴とする請求項
6に記載の画像処理方法。
【請求項8】
1つ以上のプロセッサによって、前記同期画像の前のNフレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出していないことに応じて、前記第1フレームの画像に対応する時点を決定することをさらに含むことを特徴とする請求項
7に記載の画像処理方法。
【請求項9】
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、
決定された時点を1つのゲームステージの開始時点とすることは、
決定された時点を第1ゲームステージの開始時点とすることを含み、
及び/又は、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、
決定された時点を1つのゲームステージの開始時点とすることは、
決定された時点を第1ゲームステージの終了時点及び第2ゲームステージの開始時点とすることを含み、
及び/又は、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、
決定された時点を1つのゲームステージの開始時点とすることは、
決定された時点を第2ゲームステージの終了時点及び第3ゲームステージの開始時点とすることを含むことを特徴とする請求項
6~
8のいずれか1項に記載の画像処理方法。
【請求項10】
現在のゲームステージは、第1ゲームステージであり、前記目標対象物は、人物対象物と物体対象物とを含み、
前記目標対象物及び特定された現在のゲームステージに基づいて、ゲーム検出結果を決定することは、
ゲームコインとプレイヤとの対応関係を決定することと、
決定された対応関係及び第1ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定することと、を含み、
及び/又は、
現在のゲームステージは、第2ゲームステージであり、
前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
前記ゲームテーブルトップのゲーム関与領域においてゲーム関与結果が変化することを検出した場合と、
前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることを検出した場合と、のいずれかの場合に、提示情報を発することを含み、
及び/又は、
前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
第2ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することを含み、
及び/又は、
現在のゲームステージは、第3ゲームステージであり、
前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
第2ゲームステージの終了時に決定された勝敗結果、第1ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することを含むことを特徴とする請求項1に記載の画像処理方法。
【請求項11】
1つ以上のプロセッサによって、オペレータにより実行された払出結果を確認することと、
1つ以上のプロセッサによって、複数のプレイヤによる払出結果と前記オペレータにより実行された払出結果とを比較し、払出結果が正確に実行されたか否かを確認することと、
1つ以上のプロセッサによって、払出結果が正確に実行されていない場合に、警告情報を発することと、をさらに含むことを特徴とする請求項1
0に記載の画像処理方法。
【請求項12】
プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリとを含み、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項1~1
1のいずれか1項に記載の画像処理方法の各ステップを実行することを特徴とする電子機器。
【請求項13】
コンピュータプログラム命令を記憶したコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項1~1
1のいずれか1項に記載の画像処理方法の各ステップを実行することを特徴とするコンピュータ読取可能な記憶媒体。
【請求項14】
コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項1~1
1のいずれか1項に記載の画像処理方法の各手順を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータビジョンの技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
テーブルゲームは、人々の生活水準の向上に伴って、多くのユーザの間では人気が高まっている。テーブルゲームは、非常に古い業界に属しており、現在流行しているオンラインのテーブルゲームよりも、リアルシーンにおける対面型のテーブルゲームの方が魅力的である。例えばチェス、囲碁等の対面型のテーブルゲームは、電子機器に依存することなく、多様な思考力の鍛えを重視する。また、テーブルゲームの過程を撮影して、繰り返し見てノウハウを習得する愛好家もいる。
【発明の概要】
【0003】
本開示は、画像処理の技術的手段を提供する。
本開示の第1の方面によれば、ゲームテーブルトップのビデオストリームを取得することと、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することと、前記目標対象物に基づいて、現在のゲームステージを特定することと、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することと、を含む画像処理方法が提供される。
いくつかの可能な実施形態では、前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することは、第1視点で収集された第1画像に対して目標検出を行い、前記第1画像における目標対象物を決定することと、第2視点で同期的に収集された第2画像に対して目標検出を行い、前記第2画像における目標対象物を決定することと、前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定し、ここで、1つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、1つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されることと、を含む。
いくつかの可能な実施形態では、前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、前記第1画像における目標対象物の外観情報と、前記第2画像における目標対象物の外観情報とに基づいて、第1特徴距離を決定し、1つの第1特徴距離は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との類似度を表すことと、前記第1画像における目標対象物の周囲情報と、前記第2画像における目標対象物の周囲情報とに基づいて、第2特徴距離を決定し、1つの第2特徴距離は、前記第1画像における1つの目標対象物の周囲情報と、前記第2画像における1つの目標対象物の周囲情報との類似度を表すことと、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定することと、決定された特徴距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することと、を含む。
いくつかの可能な実施形態では、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定することは、前記2つの目標対象物の第1特徴距離と第2特徴距離とを重み付き加算して、前記2つの目標対象物間の特徴距離を得ることを含み、ここで、前記2つの目標対象物の類似度が高いほど、重み付き加算時に前記2つの目標対象物の第2特徴距離の重み係数を大きくする。
いくつかの可能な実施形態では、前記第1画像における目標対象物と前記第2画像における目標対象物との間の幾何学的距離を決定することをさらに含み、決定された特徴距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物間の特徴距離と幾何学的距離に基づいて前記2つの目標対象物間の距離を決定することと、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することと、を含む。
いくつかの可能な実施形態では、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の1つの要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間の距離を示すことと、前記距離行列に基づいて、前記第1画像と前記第2画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間に相関関係があるかないかを示すことと、を含む。
いくつかの可能な実施形態では、前記目標対象物に基づいて現在のゲームステージを特定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することと、決定された時点を1つのゲームステージの開始時点とすることと、を含む。
いくつかの可能な実施形態では、前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、1つの視点でのビデオストリームにおいて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像を決定することと、他の視点で同期的に収集されたビデオストリームにおいて、前記第1フレームの画像に同期して収集された同期画像を決定することと、前記同期画像の前のNフレームの画像のうち少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記同期画像の前のNフレームの画像のうち、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが最も早く検出された画像に対応する時点を決定することと、を含む。
いくつかの可能な実施形態では、前記同期画像の前のNフレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出していないことに応じて、前記第1フレームの画像に対応する時点を決定することをさらに含む。
いくつかの可能な実施形態では、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、決定された時点を1つのゲームステージの開始時点とすることは、決定された時点を第1ゲームステージの開始時点とすることを含む。
いくつかの可能な実施形態では、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、決定された時点を1つのゲームステージの開始時点とすることは、決定された時点を第1ゲームステージの終了時点及び第2ゲームステージの開始時点とすることを含む。
いくつかの可能な実施形態では、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、決定された時点を1つのゲームステージの開始時点とすることは、決定された時点を第2ゲームステージの終了時点及び第3ゲームステージの開始時点とすることを含む。
いくつかの可能な実施形態では、現在のゲームステージは、第1ゲームステージであり、前記目標対象物は、人物対象物と物体対象物とを含み、前記目標対象物及び特定された現在のゲームステージに基づいて、ゲーム検出結果を決定することは、ゲームコインとプレイヤとの対応関係を決定することと、決定された対応関係及び第1ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定することと、を含む。
いくつかの可能な実施形態では、現在のゲームステージは、第2ゲームステージであり、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、前記ゲームテーブルトップのゲーム関与領域においてゲーム関与結果が変化することを検出した場合と、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることを検出した場合と、のいずれかの場合に、提示情報を発することを含む。
いくつかの可能な実施形態では、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、第2ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することを含む。
いくつかの可能な実施形態では、現在のゲームステージは、第3ゲームステージであり、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、第2ゲームステージの終了時に決定された勝敗結果、第1ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することを含む。
いくつかの可能な実施形態では、オペレータにより実行された払出結果を確認することと、複数のプレイヤによる払出結果と前記オペレータにより実行された払出結果とを比較し、払出結果が正確に実行されたか否かを確認することと、払出結果が正確に実行されていない場合に、警告情報を発することと、をさらに含む。
本開示の第2の方面によれば、ゲームテーブルトップのビデオストリームを取得するための取得モジュールと、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出するための検出モジュールと、前記目標対象物に基づいて、現在のゲームステージを特定するためのゲームステージ特定モジュールと、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定するための結果決定モジュールと、を含む画像処理装置が提供される。
本開示の第3の方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、前記メモリに記憶された命令を呼び出して、第1の方面におけるいずれか1つに記載の方法を実行するように構成される電子機器が提供される。
本開示の第4の方面によれば、コンピュータプログラム命令を記憶したコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、第1の方面におけるいずれか1つに記載の方法を実現させるコンピュータ読取可能な記憶媒体が提供される。
本開示の第5の方面によれば、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器で動作すると、前記電子機器のプロセッサに第1の方面におけるいずれか1つに記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【0004】
本開示の実施例では、ゲームテーブルトップに関するビデオストリームを取得し、ビデオストリームに対して目標検出処理を行うことにより、ビデオストリームの複数の画像における目標対象物を検出し、検出された目標対象物に基づいて、現在進行しているゲームステージを特定し、さらに、検出された目標対象物及び特定されたゲームステージを用いて、ゲームテーブルトップの検出を実行することができる。このようにして、便利で、迅速かつ正確であるという特徴を有すると共に、ゲーム過程の検出を自動的に実行することができるため、規模化と産業化の経営を容易に実現し、経営効率を向上させ、経営中のミスを低減することができる。
【0005】
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではないと理解すべきである。
【0006】
以下、例示的な実施例について図面を参照しながら詳細に説明することによって、本開示の他の特徴及び方面は明らかになるであろう。
【図面の簡単な説明】
【0007】
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的手段の説明に用いられる。
【
図1】本開示の実施例に係る画像処理方法のフローチャートを示す。
【
図2】本開示の実施例に係る画像処理方法の適用シーンの模式図を示す。
【
図3】本開示の実施例に係る画像処理方法のステップS20のフローチャートを示す。
【
図4】本開示の実施例に係る画像処理方法のステップS23のフローチャートを示す。
【
図5】本開示の実施例に係る画像処理方法における特徴距離の決定の模式図を示す。
【
図6】本開示の実施例に係る画像処理方法のステップS23の他のフローチャートを示す。
【
図7】本開示の実施例に係る画像処理方法のステップS30のフローチャートを示す。
【
図8】本開示の実施例に係る画像処理方法における第1ステージの検出を実行するフローチャートを示す。
【
図9】本開示の実施例に係る画像処理方法における第3ステージの検出のフローチャートを示す。
【
図10】本開示の実施例に係る画像処理装置のブロック図を示す。
【
図11】本開示の実施例に係る電子機器のブロック図を示す。
【
図12】本開示の実施例に係る他の電子機器のブロック図を示す。
【発明を実施するための形態】
【0008】
以下に、本開示の様々な例示的な実施例、特徴および方面について、図面を参照しながら詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0009】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0010】
本明細書における用語「及び/又は」は、単に関連対象との関連関係を記述するものであり、3つの関係が存在可能であることを示し、例えば、A及び/又はBは、Aのみが存在し、AとBの両方が存在し、Bのみが存在するという3つの場合を示してもよい。また、本明細書における用語「少なくとも1つ」は複数のうちのいずれか1つ、又は複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCからなる集合から選択されたいずれか1つ又は複数の要素を含むことを示してもよい。
【0011】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【0012】
本開示の実施例に係る画像処理方法は、画像処理装置によって実行されてもよい。例えば、画像処理方法は、ユーザ側装置(User Equipment、UE)、携帯機器、ユーザ端末、端末、セルラーホン、コードレスフォン電話機、パーソナル・デジタル・アシスタント(Personal Digital Assistant、PDA)、ハンドへルドデバイス、計算装置、車載装置、ウェアラブル装置等の端末装置、サーバ又は他の処理装置によって実行されてもよい。サーバは、ローカルサーバ又はクラウドサーバを含んでもよい。いくつかの可能な実施形態では、該画像処理方法は、プロセッサがメモリに記憶されたコンピュータ読取可能な命令を呼び出して実現することができる。本開示は、ビデオ、画像の検出、識別等のシーンに適用可能であり、例えば、ビデオストリームの異なるステージの識別及び検出に適用されてもよい。本開示は、具体的な適用シーンを制限するものではない。
【0013】
図1は、本開示の実施例に係る画像処理方法のフローチャートを示す。
図1に示すように、前記画像処理方法は、以下を含む。
【0014】
S10で、ゲームテーブルトップについてのビデオストリームを取得する。
【0015】
いくつかの可能な実施形態では、ゲームテーブルトップのビデオストリームを収集するために、ゲームテーブルトップの周りに少なくとも1つの画像収集装置(例えば、カメラ又は撮像装置)を設けてもよい。本開示の実施例は、画像収集装置によってリアルタイムに収集したビデオストリームを直接受信してもよいし、画像収集装置に接続された他の電子機器と通信して、収集されたビデオストリームを受信してもよいが、本開示ではこれが具体的に限定されない。ビデオストリームが取得された場合、ビデオストリームの複数フレームの画像を取得できる。
【0016】
本開示の実施例は、ゲームテーブルトップの複数の角度での画像(ビデオストリーム)をより全面的に収集するとともに検出の精度を向上させるために、少なくとも2つの視点の異なる画像収集装置を用いてゲームテーブルトップの画像を収集してもよい。ここで、少なくとも2つの視点は、平面視視点(第1視点)及び側面視視点(第2視点)を含んでもよい。即ち、少なくとも側面視視点及び平面視視点の2つの視点の画像収集装置を用いてゲームテーブルトップの画像(ビデオストリーム)を収集することができる。ここで、平面視視点の画像収集装置は、ゲームテーブルトップの中央領域の上方に設けられてもよい。側面視視点の画像収集装置は、ゲームテーブルトップの両側、つまり平面視視点の画像収集装置の両側にそれぞれ設けられてもよい。側面視視点は、例えば、左側面視視点と右側面視視点とを含んでもよい。2つの側面視視点の画像収集装置は、ゲームテーブルトップの画像を全面的に収集するように対向して設けられてもよい。上記の少なくとも2つの視点の画像収集装置により収集された画像から、ゲームテーブルトップの全面的な情報を取得することができる。以下の実施例では、異なる視点での画像を区別するように、第1視点で収集されたビデオストリームに対応する画像を第1画像、第2視点で収集されたビデオストリームに対応する画像を第2画像と呼ぶ。他の実施例では、他の視点がより多く含まれる場合には、さらに第3画像、第4画像等のように呼んで区別してもよいが、本開示ではこれが具体的に限定されない。
【0017】
つまり、本実施例では、第1画像収集装置で第1画像を収集し、第2画像収集装置で第2画像を収集することができる。いくつかの実施例では、第1画像収集装置及び第2画像収集装置は、同一のシーンに対して、異なる位置で画像を収集して、第1画像及び第2画像をそれぞれ取得してもよい。それに応じて、第1画像と第2画像とは、同一のシーンに対して収集されたが異なる視点に対応する画像であってもよい。例示的に、第1画像と第2画像において、同じ対象物を含むことができるが、対象物の第1画像における位置と第2画像における位置とが異なる可能性がある。例えば、第1画像と第2画像においては、同じ背景及び3つのリンゴが含まれているが、3つのリンゴの第1画像における位置と第2画像における位置とが異なっている。
【0018】
S20で、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出する。
【0019】
いくつかの可能な実施形態では、ゲームプレイ中に、第1画像と第2画像において同じ目標対象物又は少なくとも一部が異なる目標対象物が存在することができ、目標対象物の第1画像における位置と第2画像における位置とが異なる。例えば、ゲームテーブルトップには、少なくとも1つの物体対象物が含まれてもよく、例えば、ゲームコイン、トランプが含まれてもよいし、ゲーム貨幣が含まれてもよい。ゲームテーブルトップの画像を収集する際には、画像には上記物体対象物が含まれてもよいし、テーブルトップの周りにいるの人物対象物が含まれてもよい。人物対象物は、オペレータ(例えばディーラー)及びゲームプレイヤを含んでもよい。これによれば、本開示の実施例では、取得された画像において所望の目標対象物を検出することができる。この目標対象物は、人体、顔、手の少なくとも1つを含み得る人物対象物と、ゲームコイン(両替物)、トランプのうちの少なくとも1つを含み得る物体対象物を含んでもよい。
【0020】
いくつかの可能な実施形態では、収集された少なくとも1つの画像に対して、同じタイプの目標対象物の目標検出処理を行うことができ、つまり、全ての画像における全てのタイプの目標対象物を検出して、各画像における全てのタイプの目標対象物の存在する位置情報を得る。例えば、本開示の実施例では、取得された画像における人体、顔、手、ゲームコイン(両替物)、トランプ等を検出して、目標対象物の識別子、対応する目標対象物の有無、検出された目標対象物の位置、検出された目標対象物の信頼度を含み得る検出結果であって画像における複数の目標対象物に関する検出結果を得ることができる。
【0021】
他のいくつかの可能な実施形態では、異なる視点での画像に対して、異なるタイプの目標対象物の目標検出処理を行うこともできる。例えば、側面視視点で収集された画像については、検出された目標対象物のタイプは、人物対象物と物体対象物とを含んでもよいが、平面視視点で収集された画像については、検出された目標対象物のタイプは、例えばゲームコイン及びトランプ等の物体対象物を含んでもよい。このようにして、異なる画像における対応する目標対象物の検出結果をそれぞれ得ることができる。これによれば、リソースの無駄を少なくすることができる一方で、運転効率を速めることができる。
【0022】
いくつかの可能な実施形態では、本開示の実施例で実行される目標対象物の検出過程は、入力画像における目標対象物をトレーニングにより検出可能な目標検出ニューラルネットワークにより実現されてもよい。本開示の実施例における目標検出ニューラルネットワークは、例えば領域提案ネットワーク(Region Proposal Network、RPN)又は高速領域畳み込みニューラルネットワーク(Faster Region Convolutional Neural Network)を含み得る畳み込みニューラルネットワークであってもよいが、本開示では具体的な限定はされない。
【0023】
本開示の実施例では、異なる視点での画像における目標対象物が得られる場合に、異なる視点での画像における目標対象物の外観情報と周囲情報とを用いて、異なる視点での目標対象物の相関関係を決定してもよい。第1視点で取得された第1画像における目標対象物の外観情報及び周囲情報と、第2視点で取得された第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における複数の目標対象物と前記第2画像における複数の目標対象物との相関関係を決定することができ、ここで、1つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、1つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周りの設定範囲内の画素によって決定される。
【0024】
S30で、前記目標対象物に基づいて、現在のゲームステージを特定する。
【0025】
いくつかの可能な実施形態では、画像における目標対象物の検出結果に基づいて、現在進行しているゲームステージを特定することができる。例えば、本開示の実施例では、ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出し、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定し、決定された時点を1つのゲームステージの開始時点とするようにしてもよい。本開示の実施例では、検出結果に基づいてゲーム過程全体を第1ゲームステージ、第2ゲームステージ及び第3ゲームステージに分割することができる。ここで、第1ゲームステージは、ゲームプレイヤがゲームテーブルトップのゲーム関与領域にゲームコインを置くステージであり、該ゲームプレイヤが今回のゲームに参加するゲームコイン値を示すために用いられ、第2ゲームステージは、ディーラーがゲームカードを配るステージ(カード配りステージ)であり、第3ゲームステージは、複数のゲームプレイヤの勝敗状況を算出し、払出を実行する過程(払出ステージ)である。異なるゲームについては、異なるゲームステージが含まれてもよいが、本開示ではこれが具体的に限定されない。
【0026】
いくつかの可能な実施形態では、所定時間の隣接する時間フレームの画像において検出されたゲームコインの位置の変化と、検出された手の位置の変化とによって、第1ゲームステージであるか否かを決定し、画像におけるゲームカードの位置の変化によって第2ゲームステージであるか否かを決定し、また、ゲームカードの数およびポイントの合計に基づいて、第3ゲームステージであるか否かを決定してもよい。
【0027】
S40で、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定する。
【0028】
いくつかの可能な実施形態では、1つ又は複数のゲームステージについて、該当のゲームステージに対応する画像における目標対象物を検出することにより、複数のステージにルール違反の状況があるか否かを確認すること、ゲームプレイヤの勝敗状況を集計すること、ディーラーの払出操作を検証すること等、ゲーム過程の全面的な検出を実現している。
【0029】
本開示の実施例では、ゲームテーブルトップの画像で形成されるビデオストリームを取得し、ビデオストリームの画像に対して目標検出処理を行うことにより、複数の画像における目標対象物を検出し、かつ検出された目標対象物に基づいて、現在進行しているゲームステージを特定し、さらに、検出された目標対象物及び特定されたゲームステージを用いて、ゲームテーブルトップの検出を実行することによって、便利で、迅速かつ正確であるという特徴を有すると共に、ゲーム過程の検出を自動的に実行することができるため、規模化と産業化の経営を容易に実現することができる。
【0030】
以下、図面を参照しながら、本開示の実施例を詳細に説明する。
図2は、本開示の実施例に係る画像処理方法の適用シーンの模式図を示す。ここで、ゲームテーブルトップの画像を収集するために、ゲームテーブルトップの上方に少なくとも1つの視点の画像収集装置が設けられてもよい。本開示の実施例では、
図2に示すように、ゲームテーブルトップの上方に左側面視視点、右側面視視点及び平面視視点の3つの画像収集装置を設けて、対応する視点でのゲームテーブルトップの画像をそれぞれ収集することによって、ゲームテーブルトップの画像情報を全面的に収集することができる。複数の視点での画像が得られた場合には、さらに得られた画像に対して目標検出処理を実行して、画像における目標対象物を検出することができる。
【0031】
図3は、本開示の実施例に係る画像処理方法のステップS20のフローチャートを示す。ここで、前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出することは、
第1視点で収集された第1画像に対して目標検出を行い、前記第1画像における目標対象物を決定するS21と、
第2視点で同期的に収集された第2画像に対して目標検出を行い、前記第2画像における目標対象物を決定するS22と、
前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定し、ここで、1つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、1つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されるS23とを含む。
【0032】
以上の実施例で説明したように、本開示の実施例では、複数の視点での画像に対して同一の目標検出処理を行い、画像における全てのタイプの目標対象物を検出して、各画像における1つ又は複数の目標対象物の検出結果を得てもよい。又は、異なる視点での画像に対して、該当の視点に対応する目標対象物の目標検出処理を実行し、画像における画像の視点に対応する目標対象物の検出結果を検出してもよい。例えば、本開示の実施例では、第1視点で収集された前記ゲームテーブルトップの第1画像に対して目標検出処理を実行し、前記第1画像における第1目標対象物を検出してもよい。第1目標対象物は、手、顔、人体を含み得る人物対象物と、ゲームコイン及びゲーム貨幣を含み得る物体対象物とを含む。また、第2視点で収集された前記ゲームテーブルトップの第2画像に対して目標検出処理を実行し、前記第2画像における第2目標対象物を検出してもよい。第2目標対象物は、ゲームコイン及び両替物を含み得る物体対象物を含む。
【0033】
いくつかの可能な実施形態では、少なくとも1つの目標検出ニューラルネットワークを用いて上記目標検出処理を実行してもよい。例えば、1つの目標検出ニューラルネットワークを用いて画像における全てのタイプの目標対象物を検出してもよいし、1つの目標検出ニューラルネットワークが少なくとも1つのタイプの目標対象物の目標検出処理を実行するように複数の目標検出ニューラルネットワークを配置し、例えば、画像における人物対象物を検出するための第1目標検出ニューラルネットワークと、画像における物体対象物を検出するための第2目標検出ニューラルネットワークとを含むようにしてもよい。本開示の他の実施形態では、さらに細分化される目標検出ニューラルネットワーク、例えば人体、手及び顔の少なくとも1つを検出するための目標検出ニューラルネットワーク、ゲームコイン及びゲーム貨幣の少なくとも1つを検出するための目標検出ニューラルネットワークを用いてもよいが、本開示ではこれが具体的に限定されない。
【0034】
上記目標検出処理により、少なくとも1つの画像における対応する目標対象物の検出結果を得ることができる。この検出結果は、(label、x1、x2、y1、y2、score)で表すことができ、ここで、labelは、目標対象物の種別識別子を示し、異なる目標対象物を区別するように、例えば手、人体、顔、ゲームコイン、トランプ等の目標対象物は、それぞれ対応する種別識別子に対応付けられている。(x1、y1)及び(x2、y2)は、画像において検出された目標対象物の検出枠の位置領域をそれぞれ示し、scoreは、該位置領域がlabelに対応する目標対象物である信頼度(確率値)を示す。他の実施例では、目標対象物の検出結果は他の態様で表されてもよいが、本開示ではこれが具体的に限定されない。以上より、少なくとも1つの画像における目標対象物を得ることができる。
【0035】
選択的には、目標対象物の周囲情報には、画像における目標対象物の周囲画素、又は、目標対象物の周囲画素から抽出された特徴が含まれる。同一のシーンに対して異なる視点で異なる画像を収集するため、同一の目標対象物でも2つの画像における周囲情報が多少異なっている。これによれば、第1画像と第2画像における目標対象物の相関関係を決定する過程で、2つの画像における目標対象物の周囲情報に基づいて、相関関係を決定する。ここで、相関関係がある2つの目標対象物は、同一の目標対象物を表す。例示的に、第1画像と第2画像は、同一のシーンに対して異なる視点で収集された画像であり、シーンには、リンゴ1、リンゴ2及びリンゴ3の3つのリンゴが存在しており、そうすると、第1画像及び第2画像には、いずれもリンゴ1、リンゴ2及びリンゴ3が含まれており、これに応じて、第1画像のリンゴ1と第2画像のリンゴ1とが関連付けられ(即ち、両者は同一の物体である)、第1画像のリンゴ2と第2画像のリンゴ2とが関連付けられ、第1画像のリンゴ3と第2画像のリンゴ3とが関連付けられている。
【0036】
本開示の実施例では、1つの視点で収集されたゲームテーブルトップの画像において検出される目標対象物には、人物対象物の顔、手及び人体が含まれ、ゲームテーブルトップの付近に複数人いる可能性があるため、同じ人物対象物の顔、人体及び手を得るように複数の画像における顔、手及び人体をマッチングして関連付ける必要がある。ここで、画像に対して目標検出処理を実行した検出結果には、画像における顔、人体及び手の検出結果、即ち、顔、人体及び手のある位置領域の検出枠が含まれ、つまり、画像における顔、人体及び手の検出枠に対応する画像領域が得られる。本開示の実施例では、顔検出枠と人体検出枠に対応する面積インターセクションオーバーユニオン(IOU)に基づいて、該顔検出枠と人体検出枠とが同一の人物対象物であるか否かを決定してもよく、手検出枠と人体検出枠とに対応する面積インターセクションオーバーユニオンに基づいて、該手検出枠と人体検出枠とが同一の人物対象物であるか否かを決定してもよい。ここで、面積インターセクションオーバーユニオンが面積インターセクションオーバーユニオン閾値より大きい場合には、2つの検出枠が同じ人物対象物に対応すると決定してもよい。
【0037】
又は、顔検出枠、人体検出枠及び手検出枠の間の距離によって同一の人物に属するか否かを決定し、又は、人体検出枠内の肘部のキーポイントと、手のキーポイントとの間の結線及び手検出枠内の手のキーポイントとの間の結線の夾角により対応する顔、人体及び手が同一の人物対象物に属するか否かを決定する。
【0038】
以上の方式により同じ人物対象物の人体、手及び顔の検出枠を決定することができる。さらに、異なる人物を区別するために、同じ人物対象物の人体、顔及び手に同じ人物識別子を割り当ててもよい。
【0039】
本実施例では、対象物の外観情報は、対象物の存在領域内の画素情報を含んでもよい。いくつかの実施例では、検出枠で目標対象物の存在領域をマーク付けし、検出枠内の画素情報を外観情報とすることができる。いくつかの実施例では、目標対象物が含まれる画像を、目標検出ネットワークによって処理し、目標対象物に対応する検出枠を含む第1画像及び第2画像を得て、第1画像及び第2画像における目標対象物の検出枠内の画素情報を目標対象物の外観情報とすることができる。
【0040】
本実施例では、第1画像及び第2画像における目標対象物の検出枠が決定された後、目標対象物の検出枠に基づいて目標対象物の周囲情報を決定してもよい。
【0041】
本開示のいくつかの選択可能的な実施例では、目標対象物の周囲情報を決定することは、目標対象物の検出枠の存在領域を拡大し、拡大後の、前記検出枠の存在領域よりも大きくかつ前記検出枠の存在領域を含む特定領域を決定することと、前記特定領域内かつ前記検出枠以外の画素情報を、目標対象物の周囲情報として決定することとを含む。
【0042】
本実施例では、目標対象物の検出枠の存在領域を所定比率で拡大することができ、例えば、検出枠の存在領域の四辺を、それぞれ対応する辺の長さの20%拡大して、前記特定領域を得、前記特定領域内かつ検出枠以外の領域に対応する画素情報を1つの対象物の周囲画素情報とすることができる。
【0043】
本実施例では、第1画像における目標対象物の周囲情報と外観情報とを特徴抽出し、第2画像における目標対象物の周囲情報と外観情報とを特徴抽出し、第1画像における1つの目標対象物と第2画像における1つの目標対象物の周囲情報の特徴および外観情報の特徴をマッチングし、第1画像における1つの目標対象物と第2画像における1つの目標対象物との類似度を決定し、該類似度に基づいて2つの目標対象物の間の相関関係を決定することができる。
【0044】
図4は、本開示の実施例に係る画像処理方法のステップS23のフローチャートを示す。ここで、前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、
前記第1画像における目標対象物の外観情報と、前記第2画像における目標対象物の外観情報とに基づいて、第1特徴距離を決定し、1つの第1特徴距離は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との類似度を表すS231と、
前記第1画像における目標対象物の周囲情報と、前記第2画像における目標対象物の周囲情報とに基づいて、第2特徴距離を決定し、1つの第2特徴距離は、前記第1画像における1つの目標対象物の周囲情報と、前記第2画像における1つの目標対象物の周囲情報との類似度を表すS232と、
前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定するS233と、
決定された特徴距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定するS234と、を含む。
【0045】
本実施例では、第1画像及び第2画像における目標対象物の外観情報及び周囲情報を、それぞれ特徴抽出ネットワークによって特徴抽出し、外観情報の特徴抽出について、第1画像における目標対象物の第1外観特徴及び第2画像における目標対象物の第2外観特徴をそれぞれ取得し、周囲情報の特徴抽出について、第1画像における目標対象物に対応する第1周囲特徴及び第2画像における対象物の第2周囲特徴をそれぞれ取得するようにしてもよい。例示的には、特徴抽出ネットワークは、1つ又は複数の畳み込み層を含み、1つ又は複数の畳み込み層により、第1画像及び第2画像における目標対象物の検出枠内の画素情報を畳み込み処理して、第1画像における目標対象物に対応する第1外観特徴及び第2画像における目標対象物に対応する第2外観特徴を得、1つ又は複数の畳み込み層により、第1画像及び第2画像における目標対象物の周囲情報に対応する画素情報を畳み込み処理して、第1画像における目標対象物に対応する第1周囲特徴及び第2画像における目標対象物に対応する第2周囲特徴を得ることができる。
【0046】
本実施例では、第1画像における目標対象物を第1対象物、第2画像における目標対象物を第2対象物と記すと、第1画像における第1対象物の第1外観特徴と第2画像における第2対象物の第2外観特徴とに基づいて、前記第1対象物と前記第2対象物との間の類似度を表す第1特徴距離を決定することができ、前記第1特徴距離が大きいほど、第1対象物と第2対象物との間の類似度が低くなることを示し、逆に、前記第1特徴距離が小さいほど、第1対象物と第2対象物との間の類似度が高くなることを示すことができる。また、第1対象物に対応する第1周囲特徴と第2対象物に対応する第2周囲特徴とに基づいて、前記第1対象物の周囲情報と前記第2対象物に対応する周囲情報との間の類似度を表す第2特徴距離を決定し、第2特徴距離が大きいほど、前記第1対象物の周囲情報と前記第2対象物の周囲情報との間の類似度が低くなることを示し、逆に、第2特徴距離が小さいほど、前記第1対象物の周囲情報と前記第2対象物の周囲情報との間の類似度が高くなることを示すことができる。さらに、前記第1特徴距離と前記第2特徴距離とに基づいて、第1対象物と第2対象物との間の特徴距離を得、前記特徴距離に基づいて、前記第1対象物と前記第2対象物との相関関係を決定することができる。
【0047】
いくつかの選択可能的な実施例では、第1外観特徴と第2外観特徴とに基づいて距離L2を算出し、距離L2を第1特徴距離とし、それに応じて、第1周囲特徴と第2周囲特徴とに基づいて距離L2を算出し、距離L2を第2特徴距離とする。
【0048】
【0049】
上記距離L2が第1特徴距離であることを例にすると、I1及びI2は、第1外観特徴及び第2外観特徴をそれぞれ示し、Pは第1外観特徴及び第2外観特徴の次元を示し、d2(I1、I2)は、第1外観特徴と第2外観特徴との間の距離L2を示す。それに応じて、上記距離L2が第2特徴距離である場合には、同様に、I1及びI2は、第1周囲特徴及び第2周囲特徴をそれぞれ示し、Pは第1周囲特徴及び第2周囲特徴の次元を示し、d2(I1、I2)は第1周囲特徴と第2周囲特徴との間の距離L2を示す。
【0050】
いくつかの選択可能的な実施例では、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定することは、前記2つの目標対象物の第1特徴距離と第2特徴距離とを重み付き加算して、前記2つの目標対象物間の特徴距離が得られることを含み、ここで、前記2つの目標対象物の類似度が高いほど、重み付き加算時に前記2つの目標対象物の第2特徴距離の重み係数を大きくする。
【0051】
本実施例では、第1特徴距離と第2特徴距離とを重み付き加算処理して、第1対象物と第2対象物との間の特徴距離を得ることができる。ここで、特徴距離が大きいほど、第1対象物と第2対象物との関連性が小さくなることを示し、逆に、特徴距離が小さいほど、第1対象物と第2対象物との関連性が大きくなることを示すことができる。いくつかの選択可能的な実施例では、特徴距離が第1所定閾値よりも大きくなると、第1対象物と第2対象物とに関連性がないと決定され、特徴距離が第2所定閾値よりも小さくなると、第1対象物と第2対象物とに関連性があると決定される。ここで、第2所定閾値は、第1所定閾値よりも小さく、第1所定閾値及び第2所定閾値の取り得る値は、複数回の実験又はテストによって決定することができる。
【0052】
本実施例では、前記2つの目標対象物の類似度が高いほど、重み付き加算を行う時に前記2つの目標対象物の第2特徴距離の重み係数を大きくする。目標対象物間の関連付け及びマッチングの過程において、2つの目標対象物が類似するほど、目標対象物の周囲情報間の第2特徴距離を参照する必要がある可能性が高くなると理解される。
【0053】
いくつかの選択可能的な実施例では、第1外観特徴と前記第2外観特徴との間の類似度によって複数の重み係数を予め設定しておき、現在の第1外観特徴と前記第2外観特徴との間の類似度に応じて、設定された複数の重み係数から1つの重み係数を2つの対象物の第2特徴距離の重み係数として選択することができる。
【0054】
他のいくつかの選択可能的な実施例では、上記特徴距離は、
【数2】
【数3】
を満たす。
【0055】
ここで、d
abは、特徴距離を示し、λは、重み係数を示し、
【数4】
は、第1外観特徴
【数5】
と第2外観特徴
【数6】
との間の第1特徴距離(例えば、距離L2)を示し、
【数7】
は、第1周囲特徴
【数8】
と第2周囲特徴
【数9】
との間の第2特徴距離(例えば、距離L2)を示し、S
Cは、コサイン類似度を示し、即ち、第1外観特徴
【数10】
と第2外観特徴
【数11】
とのコサイン類似度を算出することで重み係数λを得る。
【0056】
図5は、本開示の実施例に係る画像処理方法における特徴距離の決定の模式図を示す。上記過程は、例えば
図5に示すように、2つの画像をそれぞれ画像a(View a)と画像b(View b)と記すことを例として、画像aには1つの目標対象物(第1対象物と記す)の検出枠と周囲情報に対応する領域(第1特定領域と記す)とが含まれ、画像bに1つの目標対象物(第2対象物と記す)の検出枠と周囲情報に対応する領域(第2特定領域と記す)とが含まれ、画像aと画像bのそれぞれにおいて目標対象物の検出枠の画素情報及び第1特定領域の画素情報を分割する。実際の適用では、周囲情報に対応する領域の取得について、検出枠の存在領域が拡大された領域を画像a又は画像bにおいて分割し、さらに、分割された領域内の検出枠に対応する領域の範囲内を検出枠のサイズに合わせるマスクで覆うことで、上記第1特定領域及び第2特定領域の画素情報を得ることができる。
【0057】
さらに、2つの特徴抽出器により上記検出枠内の画素情報及び特定領域(第1特定領域及び第2特定領域を含む)の画素情報に対してそれぞれ特徴抽出することができる。例えば、画像aと画像bにおける対応する検出枠内の画素情報と特定領域(第1特定領域と第2特定領域を含む)の画素情報に対して外観特徴抽出器(Appearance Feature Extractor)で特徴抽出して、第1対象物に対応する第1外観特徴
【数12】
と第2対象物に対応する第2外観特徴
【数13】
とを取得し、画像aの第1特定領域と画像bの第2特定領域の画素情報に対して周囲特徴抽出器(Surrounding Feature Extractor)で特徴抽出して、第1周囲特徴
【数14】
と第2周囲特徴
【数15】
を得ることができる。さらに、第1外観特徴
【数16】
と第2外観特徴
【数17】
との間のコサイン類似度を算出して重み係数λを得る。第1外観特徴
【数18】
と第2外観特徴
【数19】
との間の距離L2を算出し、第1対象物と第2対象物との間の特徴距離d
appを得、第1周囲特徴
【数20】
と第2周囲特徴
【数21】
との間の距離L2を算出し、第1周囲特徴と第2周囲特徴との間の特徴距離d
surを得る。最後に上記式(2)を用いて第1対象物と第2対象物との間の特徴距離を得る。
【0058】
本開示の実施例の技術的手段を用いて、異なる画像における目標対象物の周囲情報を、異なる画像の目標対象物間の関連付け及びマッチングの根拠とすることで、2つの画像において外観が類似するか又は同じである物体の関連付け及びマッチングを実現しており、関連付け及びマッチングの精度を向上させている。
【0059】
本開示の実施例は、他の目標対象物の関連付け方法をさらに提供する。
図6は、本開示の実施例に係る画像処理方法のステップS23の他のフローチャートを示す。
図6に示すように、前記方法は、
前記第1画像における目標対象物の外観情報と、前記第2画像における目標対象物の外観情報とに基づいて、第1特徴距離を決定し、1つの第1特徴距離は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との類似度を表すS2301と、
前記第1画像における目標対象物の周囲情報と、前記第2画像における目標対象物の周囲情報とに基づいて、第2特徴距離を決定し、1つの第2特徴距離は、前記第1画像における1つの目標対象物の周囲情報と、前記第2画像における1つの目標対象物の周囲情報との類似度を表すS2302と、
前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定するS2303と、
前記第1画像における目標対象物と前記第2画像における目標対象物との間の幾何学的距離を決定するS2304と、
前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物間の特徴距離と幾何学的距離に基づいて前記2つの目標対象物間の距離を決定するS2305と、
前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定するS2306と、を含む。
【0060】
本実施例におけるS2301乃至S2303の詳細は、前述の実施例における説明を参照すればよく、ここでは省略される。
【0061】
本開示のいくつかの選択可能的な実施例では、前記第1画像における目標対象物と前記第2画像における目標対象物との間の幾何学的距離を決定することは、前記第1画像を収集する第1画像収集装置の第1位置と前記第2画像を収集する第2画像収集装置の第2位置とを取得し、前記第1画像収集装置の第1内部パラメータを取得し、前記第2画像収集装置の第2内部パラメータを取得することと、前記第1画像における1つの対象物の中心点の前記第1画像における第3位置を決定することと、前記第1位置、前記第2位置、前記第3位置、前記第1内部パラメータおよび前記第2内部パラメータに基づいて、前記第2画像におけるエピポーラ線を決定し、ここで、前記エピポーラ線は、前記第1対象物の中心点とその前記第1画像の結像平面上の像点とを結ぶ線が前記第2画像に射影される直線を表すことと、前記第2画像における1つの対象物と前記エピポーラ線との間の垂直画素距離を決定することと、決定した垂直画素距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との幾何学的距離を決定することとを含む。
【0062】
本実施例では、2つの画像における外観が同じであるか又は類似する目標対象物であって周囲情報も類似するシーンでの目標対象物を関連付けてマッチングさせるために、上述したエピポーラ幾何学方式で制約することにより、上記シーンでの目標対象物の関連付け及びマッチングを実現し、関連付け及びマッチングの正確率を向上させる。
【0063】
本実施例では、第1画像と第2画像は、異なる視点で収集された画像であり、第1画像が第1視点に対応し、第2画像が第2視点に対応すると仮定する。第1画像における第1対象物について、第1対象物は、第1画像における任意の目標対象物であり、第1対象物の中心点を第1画像収集装置の結像平面のP点に射影すると、中心点とP点とを結んで、第1画像に対応する第1視点での直線である直線が形成される。該直線を第2画像に投影して、第2画像に対応する第2視点でのエピポーラ線を得る。
【0064】
実際の適用では、それぞれ第1画像収集装置の第1位置と第2画像収集装置の第2位置とによって第1画像収集装置と第2画像収集装置との間の相対的な位置関係を決定することができ、前記相対的な位置関係、前記第1画像収集装置の第1内部パラメータおよび前記第2画像収集装置の第2内部パラメータとに基づいて、変換関係を決定することができ、第1対象物の中心点の第1画像における第3位置に基づいて、該中心点と第3位置との結線の第1画像における座標を決定することができ、上記変換関係に基づいて、該中心点と第3位置との結線の第1画像における座標を変換して、第2画像におけるエピポーラ線の座標を得ることができる。
【0065】
第1画像における第1対象物と第2画像における第2対象物とが関連付けられ、つまり、第1対象物と第2対象物とが同一の対象物であると、第2画像におけるエピポーラ線を決定した後、第2画像における複数の目標対象物のうち第2対象物からエピポーラ線までの垂直画素距離が最も小さく、さらには0であると理解される。上記垂直画素距離が、第1画像と第2画像における2つの目標対象物の間の幾何学的距離である。
【0066】
そのため、第2画像における複数の目標対象物と前記エピポーラ線との間の垂直画素距離を決定することにより、第2画像におけるどの目標対象物が第1画像における第1対象物に関連付けられるかを判断する。
【0067】
本開示のいくつかの選択可能的な実施例では、2つの目標対象物間の特徴距離と幾何学的距離に基づいて前記2つの目標対象物間の距離を決定することは、前記2つの目標対象物間の特徴距離と前記幾何学的距離を重み付き加算して、前記2つの目標対象物間の距離を得ることを含む。
【0068】
本実施例では、1対の第1対象物と第2対象物との間の距離について、特徴距離と幾何学的距離とを重み付き加算処理して得られる。重み付き加算処理に用いられる重み係数は、固定的な所定数値を用いることができ、本実施例では重み係数の取り得る値が限定されない。
【0069】
本開示のいくつかの選択可能的な実施例では、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することは、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の1つの要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間の距離を示すことと、前記距離行列に基づいて、前記第1画像と前記第2画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間に相関関係があるかないかを示すこととを含む。
【0070】
本実施例では、1対の第1対象物と第2対象物とに対応して1つの距離を得ると、第1画像におけるM個の目標対象物と第2画像におけるN個の目標対象物との間には、M×N個の距離が存在可能であり、それに応じてM×Nの距離行列が形成される。画像1と画像2に3つの対象物が存在すると仮定すると、3×3の距離行列が形成され、所定アルゴリズムに従って距離行列を処理して隣接行列が得られ、隣接行列の数値が1である1対の目標対象物が関連付けられ、隣接行列の数値が0である1対の目標対象物が関連付けられない。例示的には、ハンガリーのアルゴリズム(Kuhn-Munkres)(KMアルゴリズムと略称する)に従って距離行列を処理して隣接行列を得ることができる。
【0071】
また、本開示の実施例では、目標対象物は人物対象物と物体対象物とを含み、異なる物体対象物は、色、模様、大きさ、価値の少なくとも1つを含むことができる異なる物体識別子を有し、例えば、物体対象物の外縁は、模様、色等の識別子を有し、同時に模様及び色等の特徴を識別して物体対象物に対応する価値を決定し、または、物体対象物の表面に価値等の情報を有し、該特徴を識別しても物体の価値を得ることができるようにしてもよい。本開示の実施例では、画像における物体対象物が検出される場合に、さらに物体対象物の物体識別子を識別することで物体対象物の価値を決定することができる。
【0072】
また、本開示の実施例では、異なる視点での画像における目標対象物の関連付け結果を決定する場合には、同じ目標対象物に同じ対象物識別子を割り当て、異なる目標対象物に異なる対象物識別子を割り当てることにより、異なる視点で収集された画像における目標対象物の相関関係を確立し、即ち、異なる視点で収集された画像における同じ対象物識別子を有する目標対象物が同一の目標対象物である。上記構成によれば、取得された少なくとも1つの画像において同じ目標対象物間の関連付けが可能となり、同じ目標対象物に同じ対象物識別子が割り当てられ、異なる目標対象物に異なる対象物識別子が割り当てられることによって、異なる画像間の目標対象物の関連付けが実現される。
【0073】
いくつかの可能な実施形態では、ゲーム中に目標対象物が遮蔽される可能性があるため、目標対象物は、時間と共にその位置が変化していく可能性があり、遮蔽によるあるフレーム又はある数フレームが検出されなくなる可能性があるため、本開示の実施例では、隣接する時間フレームの画像における目標対象物の追跡結果に基づいて、欠けている目標対象物を補正し、誤った検出枠を改正し、欠けている検出枠を補完することができる。つまり、ステップS21又はS22の後に、さらに検出枠の改正操作を実行してもよい。ここで、該検出枠の改正操作は、
第k(kが1以上の整数)フレームの画像において第1目標対象物が検出されていないか又は第kフレームの画像における第1目標対象物が残りの目標対象物で遮られる場合、かつ前記第kフレームの画像よりも前のn(nが1以上の整数)フレームの画像のうち少なくとも1つの画像において前記第1目標対象物が検出されること及び/又は前記第kフレームの画像よりも後のnフレームの画像のうち少なくとも1つの画像において前記第1目標対象物が検出されたことに応じて、検出された前記第1目標対象物に基づいて前記第kフレームの画像における前記第1目標対象物の位置を予測することを含んでもよい。
【0074】
具体的には、本開示の実施例では、第kフレームよりも前の時間フレームで取得された画像において検出された第1目標対象物と、第kフレームよりも後の時間フレームで取得された画像において検出された第1目標対象物とに基づいて、第kフレームにおいて第1目標対象物が検出されていない結果を改正し、第kフレームの画像における第1目標対象物を決定することができる。ここで、第1目標対象物は、画像における任意の検出された1つの目標対象物である。検出枠の改正の精度を向上させるために、本開示の実施例におけるn値を、例えば3又は5とする設定値よりも小さくするべきであるが、本開示ではこれが具体的に限定されない。
【0075】
一例では、本開示の実施例は、第kフレームの画像よりも前のnフレームの画像においてそれぞれ検出された第1目標対象物の位置、及び/又は、第kフレームの画像よりも後のnフレームの画像において検出された第1目標対象物の位置に基づいて、リニアフィッティング処理を実行して、第kフレームの画像における第1目標対象物の位置、即ち、第kフレームの画像における第1目標対象物の検出枠に対応する画像領域を得ることができる。
【0076】
以上の構成によれば、本開示の実施例では、目標対象物が検出されていないか又は目標対象物が遮蔽される場合に、対応する目標対象物の検出枠の位置を改正又は補完することができることによって、目標対象物の追跡効果及び検出精度を向上させる。
【0077】
画像における目標対象物を得てかつ対応する対象物識別子を配置する場合には、画像における目標対象物に基づいて、ゲーム過程のゲームステージをさらに決定することができる。
図7は、本開示の実施例に係る画像処理方法のステップS30のフローチャートを示す。ここで、前記目標対象物に基づいて、現在のゲームステージを特定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定するS31と、
決定された時点を1つのゲームステージの開始時点とするS32と、を含む。
【0078】
本開示の実施例では、ビデオストリームの少なくとも1フレームの画像において特定の目標対象物が検出される場合に、特定の目標対象物が検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を、1つのゲームステージの開始時点として決定することにより、1つのゲームステージの開始時点でゲーム進行のステージを切り替えることができる。以上の過程を経て、ビデオストリームにおける特定の目標対象物の検出によってゲーム進行のステージを自動的に切り替え、ゲームのテンポを確保し、ハードウェアコストを節約し、ゲーム時間を節約し、効率を向上させることができる。
【0079】
本開示の実施例では、1つの視点でのビデオストリームの、前記特定の目標対象物が検出された連続する複数フレームの画像のうち第1フレームの画像を決定し、他の視点で同期的に収集されたビデオストリームにおいて、前記第1フレームの画像に同期して収集された同期画像を決定し、前記同期画像の前のNフレームの画像のうち少なくとも1フレームの画像において前記特定の目標対象物が検出されたことに応じて、前記同期画像の前のNフレームの画像のうち前記特定の目標対象物が最も早く検出された画像に対応する時点を、1つのゲームステージの開始時点として決定してもよい。
【0080】
なお、ゲームを複数ラウンドプレイするため、ビデオストリームには、少なくとも1ラウンドで収集された複数の視点でのビデオストリームが含まれ、異なるラウンドのゲームを区別するために、特定の目標対象物が連続的に収集された複数フレームの画像が1ラウンドのゲームの画像であることを決定することができるため、複数の視点でのビデオストリームにおける、特定の目標対象物が検出された連続する複数フレームの画像のうち第1フレームの画像をそれぞれ取得することができると説明すべきである。
【0081】
複数の視点が、ゲームテーブルトップの左側面視視点及び/又はゲームテーブルトップの右側面視視点を含む側面視視点と、平面視視点とを含む場合、複数の視点でのビデオストリームのうち、例えばゲームテーブルトップの左側面視視点、ゲームテーブルトップの右側面視視点、平面視視点のビデオストリームにおいて、特定の目標対象物が検出された連続する複数フレームの画像の第1フレームの画像をそれぞれ決定し、あるラウンドで、第1視点(例えば左側面視視点)で特定の目標対象物が検出された連続する複数フレームの画像の第1フレームの画像を画像aとする。
【0082】
例えば、現在の1つの視点が左側面視視点であり、他の視点がゲームテーブルトップの右側面視視点及び/又はゲームテーブルトップの平面視視点を含む1つ以上の視点であると仮定すると、他の視点で同期的に収集されたビデオストリームにおいて、ゲームテーブルトップの左側面視視点に対応する第1フレームの画像、即ち画像aに同期して収集された同期画像を決定することができる。それに応じて、同期画像の数は、1つ以上であってもよい。
【0083】
本開示の実施例では、1ラウンドのゲームで、複数の視点で同期収集されたビデオストリームのすべてにおいて特定の目標対象物が検出される可能性がある。ゲーム進行のステージを切り替えるとき、異なるラウンドのゲームを区別するように、前ラウンドのゲームで特定の目標対象物が検出された時点を本ラウンドのゲームでのゲーム進行のステージの切り替えの時点とする確率を低下し、Nの取り得る値の範囲を限定することができる。例えば、あるラウンドのゲームの平均時間長と、複数のゲーム進行のステージの平均時間長と、画像のサンプリング周波数とに基づいてNを決定することで、同期画像の前のNフレームの画像が同一ラウンドのゲームにあることを確保する。Nは、1以上30以下であってもよい。
【0084】
以上は、Nの取り得る値の範囲を例示したに過ぎないが、Nの取り得る値は、同一ラウンドのゲームに限定され、かつ、ゲーム時間に応じて限定されてもよいが、本開示ではこれが限定されない。
【0085】
ゲームテーブルトップの左側面視視点の第1フレームの画像を画像a、平面視視点で画像aに同期して収集された同期画像を画像bとすると、画像bの前のNフレームの画像のうち少なくとも1フレームの画像にも特定の目標対象物が検出された場合、ゲームテーブルトップの左側面視視点では画像aが収集されるまでのある程度の期間内で、特定の目標対象物が遮蔽されるため、決定されたこのラウンドのゲームでゲームテーブルトップの左側面視視点で収集された画像から判断された目標対象物の最も早い出現時点が正確ではないと考えられる。この場合には、平面視視点で収集された画像の画像bの前のNフレームの画像のうち特定の目標対象物が最も早く検出された画像に対応する時点で、ゲームステージを切り替えることができる。
【0086】
3つ以上の視点で収集されたビデオストリームが取得された場合には、複数の視点について、第1フレームの画像の同期画像を見つけ出すことができる。少なくとも2つの視点での同期画像の前のNフレームの画像のうち少なくとも1フレームの画像において特定の目標対象物を検出できると決定すれば、少なくとも2つの視点での同期画像の前のNフレームの画像のうち、特定の目標対象物が最も早く検出された画像に対応する複数の時点を決定し、複数の時点から最も早い時点を見つけ出し、最も早い時点でゲーム進行のステージを切り替えることにより、1ラウンドのゲームで特定の目標対象物が最も早く出現した時点でゲーム進行のステージを切り替えることができる。そこで、複数の視点で収集されたビデオストリームに基づいてゲーム進行のステージを判断することは、単一の視点で収集されたビデオストリームに基づいてゲームステージを判断することよりも正確となる。
【0087】
本開示の実施例では、異なる視点でのそれぞれ対応する同期画像の前のNフレームの画像のいずれかにも特定の目標対象物が検出されなかった場合、該当ラウンドのゲームでは、特定の目標対象物が初めてゲームテーブルトップの特定領域に出現した時点が第1フレームの画像に対応する時点であるため、第1フレームの画像に対応する時点を1つのゲームステージの開始時点とすることができる。
【0088】
いくつかの選択可能的な実施例では、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、
決定された時点を1つのゲームステージの開始時点とすることは、
決定された時点を第1ゲームステージの開始時点とすることを含む。
【0089】
ここで、ゲーム関与領域は、賭け領域であり、つまり、ゲームテーブルトップの賭け領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点で第1ゲームステージ(賭けステージ)が開始することを決定するようにしてもよい。
【0090】
いくつかの選択可能的な実施例では、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、
決定された時点を1つのゲームステージの開始時点とすることは、
決定された時点を第1ゲームステージの終了時点及び第2ゲームステージの開始時点とすることを含む。
【0091】
つまり、ゲームテーブルトップのゲーム進行領域にゲームカードが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を、第1ゲームステージ(賭けステージ)の終了時点及び第2ゲームステージ(カード配りステージ)の開始時点と決定し、その時点でゲームステージを第1ゲームステージから第2ゲームステージに切り替えることができる。
【0092】
本開示の実施例では、ビデオストリームの連続する複数フレームの画像においてゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出されると、現在のラウンドのゲームが既に第2ゲームステージであることを示すため、ゲームテーブルトップのゲーム進行領域にゲームカードが検出された連続する複数フレームの画像の第1フレームの画像に対応する時点を、ゲームステージが第1ゲームステージから第2ゲームステージに切り替わる時点としてもよい。
【0093】
いくつかの選択可能的な実施例では、第1ゲームステージから第2ゲームステージに切り替えた後に、前記ゲームテーブルトップにおけるゲーム関与領域のゲーム関与結果が変化したと検出されると、例えば、ゲームテーブルトップにおける賭け領域に賭けるゲームコインが変化したことが検出されると、ゲームの公平性を保証するために提示情報を発する。該提示情報は、音声提示情報であってもよい。
【0094】
本開示の実施例では、各ラウンドのゲームで、第1ゲームステージから第2ゲームステージに切り替えた後、第2ゲームステージの画像においてゲームテーブルトップの賭け領域に賭けるゲームコインが変化したことが検出されると、例えば、あるゲームプレイヤが新たに賭けゲームコインを増やすと、変化した賭けゲームコインが無効になると決定される。本開示の実施例では、あるプレイヤが自分の賭けゲームコインを増やすと、ゲームルールに基づいて、該ゲームプレイヤが第2ゲームステージに入った後に新たに増やした賭けゲームコインが無効になると決定したり、該ゲームプレイヤの全ての賭けゲームコインがいずれも無効になると決定したりすることができるが、本開示ではこれが限定されない。
【0095】
いくつかの選択可能的な実施例では、第2ゲームステージで、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることが検出される場合に、ゲームディーラーがカードを誤って配ったことを注意するように、音声提示情報であり得る提示情報を発する。
【0096】
いくつかの選択可能的な実施例では、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、
前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含み、
決定された時点を1つのゲームステージの開始時点とすることは、
決定された時点を第2ゲームステージの終了時点及び第3ゲームステージの開始時点とすることを含む。
【0097】
具体的には実施すると、第2ゲームステージで、ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数とゲームカードのポイントとを検出し、数(例えば6枚のゲームカード)又はポイントの合計がカード配り終了時のルールに適合することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点に、第2ゲームステージ(カード配りステージ)が終了し、第3ゲームステージ(払出ステージ)が開始すると決定してもよい。
【0098】
複数のゲームステージの開始時点及び終了時点が決定された後、ゲームステージを自動的に切り替えることによって、手間を節約し、ゲームの効率を向上させることができる。
【0099】
いくつかの選択可能的な実施例では、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
第2ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することを含む。
【0100】
いくつかの選択可能的な実施例では、第3ゲームステージで、前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、
第2ゲームステージの終了時に決定された勝敗結果、第1ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することを含み、これにより、ゲームディーラーの作業を減らし、人為的な計算による不注意又は誤りを低減する。
【0101】
いくつかの選択可能的な実施例では、第1ゲームステージにおいて、プレイヤ(即ち、ゲームプレイヤ)がゲームに使用するゲームコインを記録することができる。
図8は、本開示の実施例に係る画像処理方法における第1ゲームステージの検出を実行するフローチャートを示す。ここで、前記画像において検出された前記目標対象物と、特定された前記ゲームステージとに基づいて、ゲーム検出結果を得ることは、
ゲームコインとプレイヤとの対応関係を決定するS41と、
決定された対応関係及び第1ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定するS42と、を含む。
【0102】
本開示の実施例では、ゲームコイン(両替物)とプレイヤとの対応関係を決定することは、複数のプレイヤの位置と、複数のゲーム関与領域の位置とに基づいて、ゲーム関与領域に関連付けられたプレイヤを決定することを含み、このステップは、1人のプレイヤの位置と1つのゲーム関与領域との間の距離が関連距離閾値以下である場合、該プレイヤが該ゲーム関与領域に関連付けられると決定することを含んでもよい。
【0103】
本開示の実施例では、ゲームコインが識別された場合に、ゲームコインの物体識別子が取得されてもよい。異なる物体対象物は、色、模様、大きさ、コード値の少なくとも1つを含み得る異なる物体識別子を有してもよい。側面視視点で収集された画像によって、ゲームテーブルトップにおける物体対象物の物体識別子を容易に検出することができる。また、本開示の実施例では、第1ゲームステージの画像によって、ゲーム関与領域内の物体対象物の物体識別子が現在置かれたゲーム関与領域の位置情報に一致するか否かを確認することができ、例えば、物体識別子と位置情報とが一致しない場合には、警告動作を実行することができる。ここで、警告動作は、音声提示を含んでもよい。物体識別子と位置情報が一致しないという提示情報を所定の電子機器に送信することにより、第1ゲームステージの物体対象物を容易に検出することができる。
【0104】
また、本開示の実施例では、ゲーム関与領域は、ゲームに使用されるゲームコインを置くための複数のサブ領域を含んでもよい。本開示の実施例では、第1ゲームステージにおけるゲーム関与領域の複数のサブ領域のゲームコインの総価値を統計してもよい。
【0105】
第2ゲームステージは、ゲームプレイヤにゲームカードを配るステージであってもよい。ここで、ゲームカード毎に対応する数値符号と花色とを有し、該数値符号と花色とは、同様にゲームカードの物体識別子であってもよい。また、本開示の実施例は、ゲームカードの位置と人物対象物(ゲームプレイヤ又はゲームディーラー)の手の位置との間の面積インターセクションオーバーユニオンに基づいて、ゲームカードに対応する人物対象物を決定することで、人物対象物に対応するゲームカードを得ることができる。その上で、識別された人物対象物のゲームカードの数値符号と花色とに基づいて、第2ゲームステージの終了時に勝敗結果を得ることができる。ここで、異なるテーブルゲームは、異なるゲーム勝敗判定ルールを有してもよいが、本開示の実施例では、これが具体的に限定されない。
【0106】
いくつかの可能な実施形態では、第3ゲームステージにおいて、オペレータ(例えば、ゲームディーラー)の払出操作を検出して、オペレータが実行する払出結果と、決定された払出結果とが一致するか否かを判断してもよい。ここで、払出結果は、第2ゲームステージの終了時に決定された勝敗結果、第1ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールによって決定され、不正行為が低減される。
【0107】
図9は、本開示の実施例に係る画像処理方法における第3ゲームステージの検出のフローチャートを示す。前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定することは、以下を含む。
【0108】
S401で、オペレータにより実行された払出結果を確認する。
【0109】
いくつかの可能な実施形態では、オペレータが、少なくとも1つのゲームプレイヤに対応するゲーム関与領域から抽出されたゲームコインの総価値、及びゲームプレイヤへ払い出されるゲームコインの価値を検出し、上記検出結果をオペレータにより実行された払出結果とすることができる。
【0110】
S402で、勝敗結果におけるプレイヤによる払出結果とオペレータにより実行された前記払出結果とを比較し、オペレータによる払出結果が正確であるか否かを確認する。
【0111】
いくつかの可能な実施形態では、検出されたオペレータによる払出結果と、決定された払出結果とを比較し、実行される払出結果と、決定された払出結果とが一致するか否かを確認することができる。一致しなければ、払出結果が正確に実行されていないと考えられる。
【0112】
S403で、払出結果が正確に実行されていない場合に、警告情報を発する。
【0113】
実行される払出結果と、決定された払出結果とが一致する場合には、払出結果が正確に実行されたと決定することができ、実行される払出結果と、決定された払出結果とが一致しない場合には、例えば、払い出されるゲームコインが、決定された払出結果におけるゲームコインよりも多い場合、警告情報を生成して、オペレータに提示してもよい。同様に、警告情報は、音声提示又は表示出力であってもよいが、本開示ではこれが限定されない。
【0114】
以下、例を挙げて本開示の実施例の過程を説明する。
図2に示すように、ゲームテーブルトップの上方に複数の撮像装置を架設し、テーブルトップのゲームをリアルタイムに解析し、識別結果に基づいてゲーム過程全体を第1ゲームステージ、第2ゲームステージ及び第3ゲームステージに分割する。第1ゲームステージでは、ゲームコインが各ゲームプレイヤ(人物対象物)によりゲーム関与領域に置かられると直ぐに各ゲームコインを識別し、該ゲームプレイヤのゲームコインを該ゲーム関与領域に置くことができるか否かを判断し、第1ゲームステージが終了すると直ぐに各ゲームプレイヤによりゲーム関与領域に置かられたゲームコインの総価値を統計することができる。第2ゲームステージでは、システムは、ゲームテーブルトップのゲーム関与領域におけるゲームコインの状況を不正に変えた人がいるか否か、例えば自分のゲームコインを取り戻したり、ゲームコインを増やしたりするか否かを自動的に監視することができ、第2ゲームステージの終了時に、ゲームテーブルトップのゲーム進行領域に存在するゲームカードに基づいて、各ゲームプレイヤの勝敗状況、即ち各ゲームプレイヤが勝利したか失敗したか、および対応する払出結果を算出することができる。第3ゲームステージでは、算出された払出結果に基づいて、実行された払出結果を照合することができる。
【0115】
以下、画像収集装置の設置形態について詳細に説明する。本開示の実施例では、ゲームコインの額面金額(価値)の識別等、テーブルトップの微細な変化をキャプチャする必要があるため、3つのカメラ(撮像装置)を配置することができる。ここで、オペレータの左側にあるカメラをleft view(左側面視視点)といい、テーブルトップの左半分を撮像し、オペレータの右側にあるカメラをright view(右側面視視点)といい、テーブルトップの右半分を撮像し、オペレータの真上のカメラをbird view(平面視視点)といい、テーブルトップ全体を平面視で撮像する。ここで、Left viewは、左半分の顔、ゲームコイン、人体、手の検出及び識別を担当し、Right viewは、右半分の顔、ゲームコイン、人体、手の検出及び識別を担当し、Bird viewは、ゲーム貨幣、トランプの検出及び識別を担当し、かつテーブルトップ全体の状況を統括することができる。
【0116】
本開示の実施例は、検出過程で、
3つのカメラビデオストリームを復号することにより、3つのカメラのビデオフレームを取得し、本開示の実施例の操作主体に入力するステップ1と、
本開示の実施例におけるシステムが、left viewとright viewでのビデオにおける顔、手、人体及びゲームコインを検出し、bird viewでのゲームコイン、手、トランプ及び貨幣を検出するステップ2と、
ステップ2で検出された各タイプの対象物を追跡し、追跡とは、ある物体を前後のビデオフレームにおいて関連付けて、一意的な番号識別子を付与することであるステップ3と、
時間と共に物体の位置が絶えず変化するため、検出枠が十分に正確ではない場合があり、遮蔽によるあるフレーム又はある数フレームが検出されなくなる場合があり、検出結果を修正して、それらの誤った検出枠を改正し、欠けている検出枠を補完するステップ4と、
検出枠によって、入力ビデオフレームにおいて該物体自身の画像を切り出し、left viewとright viewで顔を特徴抽出し、ゲームコインを識別し、bird viewでトランプの符号を識別するステップ5と、
left viewカメラ及びright viewカメラは、テーブルトップの左右2つの領域のシーンをそれぞれ担当し、実際には中間領域にいるプレイヤが左右2つのカメラにより撮像される可能性があり、同一の人の場合について重複計算を行うため、融合を行って識別の重複を取り除く必要があるステップ6と、
テーブルトップの物体をマッピングし、bird viewカメラがテーブルトップ全体を総合的かつ全面的に監視し、テーブルトップの全てのトランプ、貨幣及びゲームコインを撮像することができ、Left viewカメラ及びright viewカメラがテーブルトップの一部を撮像することができるため、Left viewカメラとright viewカメラで撮像されたゲームコインを、bird viewカメラで撮像された画像にマッピングする必要があるステップ7と、
本開示の実施例では、ゲームプレイヤによりゲームテーブルトップのゲーム関与領域に置かれたゲームコインの状況をさらに取得し、このステップでステップ1~ステップ6の検出及び追跡を統括し、識別結果を管理し、ゲームテーブルトップのゲーム関与領域のゲームコインをゲームテーブル側にいるゲームプレイヤのいずれかに対応付けるステップ8と、
ステップ1~ステップ8がビデオストリームの1フレームの処理フローのすべてであり、ビデオストリームの各フレームを処理することにより、ゲームが現在どのゲームステージであるかを判別し、第1ゲームステージであると、各ゲームプレイヤのゲーム参加状況を判別し、第2ステージであると、カード配り状況を自動的に監視して各ゲームプレイヤの勝敗結果及び払出結果を算出し、かつ人によるテーブルトップ環境の変化を防止し、第3ステージであると、払出が正確であるか否かを自動的に照合するステップ9と、を実行することができる。
【0117】
本開示の実施例では、ゲームテーブルトップの画像を取得し、画像に対して目標検出処理を行って、複数の画像における目標対象物を検出し、かつ検出された目標対象物に基づいて、現在進行しているゲームステージを特定し、検出された目標対象物及び特定されたゲームステージをさらに用いて、ゲームテーブルトップの検出を実行することによって、便利で、迅速かつ正確という特徴を有すると共に、ゲーム過程の検出を自動的に実行することができるため、規模化と産業化の経営を容易に実現することができる。
【0118】
また、今までの人による作業に比べて、効率の大幅の向上、作業者の関与度の低減、専門作業者へのニーズの低減、その規模化経営の支援を図ることができ、誤りの発生も低下させ、異なる視点での画像収集装置により画像を収集することでテーブルトップの物体、特に、物体対象物の価値を正確に識別しつつ、参加する人とテーブルトップの他の物体との監視を両立させることができる。
【0119】
また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
【0120】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。
【0121】
また、本開示では、画像処理装置、電子機器、コンピュータ読取可能な記憶媒体、プログラムがさらに提供される。これらはいずれも本開示に係る画像処理方法のいずれか1つを実現するために利用できる。対応する技術的手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
【0122】
図10は、本開示の実施例に係る画像処理装置のブロック図を示す。
図10に示すように、前記画像処理装置は、
ゲームテーブルトップのビデオストリームを取得するための取得モジュール10と、
前記ビデオストリームに含まれる複数フレームの画像における目標対象物を検出するための検出モジュール20と、
前記目標対象物に基づいて、現在のゲームステージを特定するためのゲームステージ特定モジュール30と、
前記目標対象物及び特定された前記ゲームステージに基づいて、ゲーム検出結果を決定する結果決定モジュール40と、を含む。
【0123】
いくつかの可能な実施形態では、前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、前記検出モジュールは、さらに、第1視点で収集された第1画像に対して目標検出を行い、前記第1画像における目標対象物を決定することと、第2視点で同期的に収集された第2画像に対して目標検出を行い、前記第2画像における目標対象物を決定することと、前記第1画像における目標対象物の外観情報及び周囲情報と、前記第2画像における目標対象物の外観情報及び周囲情報とに基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定し、ここで、1つの目標対象物の外観情報は、該目標対象物の存在する画像における、該目標対象物の検出枠内の画素によって決定され、1つの目標対象物の周囲情報は、該目標対象物の存在する画像における、該目標対象物の検出枠の周囲の設定範囲内の画素によって決定されることに用いられる。
【0124】
いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記第1画像における目標対象物の外観情報と、前記第2画像における目標対象物の外観情報とに基づいて、第1特徴距離を決定し、1つの第1特徴距離は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との類似度を表すことと、前記第1画像における目標対象物の周囲情報と、前記第2画像における目標対象物の周囲情報とに基づいて、第2特徴距離を決定し、1つの第2特徴距離は、前記第1画像における1つの目標対象物の周囲情報と、前記第2画像における1つの目標対象物の周囲情報との類似度を表すことと、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物の第1特徴距離と第2特徴距離とに基づいて、前記2つの目標対象物間の特徴距離を決定することと、決定された特徴距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することに用いられる。
【0125】
いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記2つの目標対象物の第1特徴距離と第2特徴距離とを重み付き加算して、前記2つの目標対象物間の特徴距離を得ることを含み、ここで、前記2つの目標対象物の類似度が高いほど、重み付き加算時に前記2つの目標対象物の第2特徴距離の重み係数を大きくすることに用いられる。
【0126】
いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記第1画像における目標対象物と前記第2画像における目標対象物との間の幾何学的距離を決定することと、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物に対して、2つの目標対象物間の特徴距離と幾何学的距離に基づいて前記2つの目標対象物間の距離を決定することと、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離に基づいて、前記第1画像における目標対象物と前記第2画像における目標対象物との相関関係を決定することに用いられる。
【0127】
いくつかの可能な実施形態では、前記検出モジュールは、さらに、前記第1画像における目標対象物と前記第2画像における目標対象物との間の距離によって距離行列を形成し、ここで、前記距離行列の1つの要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間の距離を示すことと、前記距離行列に基づいて、前記第1画像と前記第2画像との間の隣接行列を決定し、前記隣接行列の要素の値は、前記第1画像における1つの目標対象物と前記第2画像における1つの目標対象物との間に相関関係があるかないかを示すことに用いられる。
【0128】
いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することと、決定された時点を1つのゲームステージの開始時点とすることに用いられる。
【0129】
前記ビデオストリームは、前記ゲームテーブルトップに対して複数の視点で同期収集されたビデオストリームを含み、いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、1つの視点でのビデオストリームにおいて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像を決定することと、他の視点で同期的に収集されたビデオストリームにおいて、前記第1フレームの画像に同期して収集された同期画像を決定することと、前記同期画像の前のNフレームの画像のうち少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記同期画像の前のNフレームの画像のうち、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが最も早く検出された画像に対応する時点を決定することに用いられる。
【0130】
いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記同期画像の前のNフレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出していないことに応じて、前記第1フレームの画像に対応する時点を決定することに用いられる。
【0131】
いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム関与領域にゲームコインが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含むように用いられ、
決定された時点を1つのゲームステージの開始時点とすることは、決定された時点を第1ゲームステージの開始時点とすることを含むように用いられる。
【0132】
いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域にゲームカードが存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含むように用いられ、
決定された時点を1つのゲームステージの開始時点とすることは、決定された時点を第1ゲームステージの終了時点及び第2ゲームステージの開始時点とすることを含むように用いられる。
【0133】
いくつかの可能な実施形態では、ゲームステージ特定モジュールは、さらに、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することを検出したことに応じて、前記ゲームテーブルトップの特定領域に特定の目標対象物が存在することが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することは、前記ビデオストリームの少なくとも1フレームの画像において前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことを検出したことに応じて、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの数又はポイントの合計が所定条件を満たすことが検出された連続する複数フレームの画像のうち第1フレームの画像に対応する時点を決定することを含むように用いられ、
決定された時点を1つのゲームステージの開始時点とすることは、決定された時点を第2ゲームステージの終了時点及び第3ゲームステージの開始時点とすることを含むように用いられる。
【0134】
いくつかの可能な実施形態では、現在のゲームステージが賭けステージであり、前記目標対象物は、人物対象物と物体対象物とを含み、前記結果決定モジュールは、さらに、ゲームコインとプレイヤとの対応関係を決定することと、決定された対応関係及び第1ゲームステージのルールに基づいて、複数のプレイヤの、プレイヤのゲームに使用されるゲームコインの総価値及びゲームに使用されるゲームコインが存在するゲーム関与領域のサブ領域を含むゲーム関与結果を決定することに用いられる。
【0135】
いくつかの可能な実施形態では、現在のゲームステージがカード配りステージであり、前記結果決定モジュールは、さらに、
前記ゲームテーブルトップのゲーム関与領域においてゲーム関与結果が変化することを検出した場合と、
前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの種類、位置又は出現順序が、所定ルールと異なることを検出した場合と、のいずれかの場合に、提示情報を発することに用いられる。
【0136】
前記結果決定モジュールは、さらに、第2ゲームステージの終了時点に、前記ゲームテーブルトップのゲーム進行領域に存在するゲームカードの位置及びポイントに基づいて、勝敗結果を決定することに用いられる。
【0137】
現在のゲームステージは、第3ゲームステージであり、前記結果決定モジュールは、さらに、第2ゲームステージの終了時に決定された勝敗結果、第1ゲームステージの終了時の複数のプレイヤのゲーム関与結果及び払出ルールに基づいて、複数のプレイヤの払出結果を決定することに用いられる。
【0138】
前記結果決定モジュールは、さらに、オペレータにより実行された払出結果を確認することと、複数のプレイヤによる払出結果と前記オペレータにより実行された払出結果とを比較し、払出結果が正確に実行されたか否かを確認することと、払出結果が正確に実行されていない場合に、警告情報を発することに用いられる。
【0139】
本開示の実施例では、コンピュータプログラム命令を記憶したコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ読取可能な記憶媒体がさらに提供される。コンピュータ読取可能な記憶媒体は、不揮発性コンピュータ読取可能な記憶媒体であってもよいし、揮発性コンピュータ読取可能な記憶媒体であってもよい。
【0140】
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、上記方法を実行するように構成される電子機器がさらに提供される。
【0141】
本開示の実施例では、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器で動作すると、上記方法を実行するコンピュータプログラムがさらに提供される。
【0142】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0143】
論理に違反しない限り、本願のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。
【0144】
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。
【0145】
図11は、本開示の実施例に係る電子機器のブロック図を示す。例えば、電子機器800は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【0146】
図11を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)のインタフェース812、センサコンポーネント814、および通信コンポーネント816のうちの一つ以上を含んでもよい。
【0147】
処理コンポーネント802は通常、電子機器800の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント802は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ820を含んでもよい。また、処理コンポーネント802は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント802は、マルチメディアコンポーネント808とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0148】
メモリ804は電子機器800での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器800において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ804は、例えば静的ランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、プログラマブル読み取り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【0149】
電源コンポーネント806は電子機器800の各コンポーネントに電力を供給する。電源コンポーネント806は電源管理システム、一つ以上の電源、および電子機器800のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0150】
マルチメディアコンポーネント808は前記電子機器800とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(LCD)およびタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント808は前面カメラおよび/または背面カメラを含む。電子機器800が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび/または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0151】
オーディオコンポーネント810はオーディオ信号を出力および/または入力するように構成される。例えば、オーディオコンポーネント810は、一つのマイク(MIC)を含み、マイク(MIC)は、電子機器800が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ804に記憶されるか、または通信コンポーネント816を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント810はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0152】
I/Oインタフェース812は処理コンポーネント802と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0153】
センサコンポーネント814は電子機器800の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント814は電子機器800のオン/オフ状態、例えば電子機器800の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント814はさらに、電子機器800または電子機器800のあるコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位または加減速および電子機器800の温度変化を検出できる。センサコンポーネント814は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント814はさらに、CMOSまたはCCDイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント814はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0154】
通信コンポーネント816は電子機器800と他の機器との有線または無線通信を実現するように構成される。電子機器800は通信規格に基づく無線ネットワーク、例えばWiFi、2Gまたは3G、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント816は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント816はさらに、近距離通信を促進させるために、近距離無線通信(NFC)モジュールを含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標/BT)技術および他の技術によって実現できる。
【0155】
例示的な実施例では、電子機器800は一つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタルシグナルプロセッサ(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0156】
例示的な実施例では、さらに、不揮発性または揮発性のコンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ804が提供され、上記コンピュータプログラム命令は、電子機器800のプロセッサ820によって実行されと、上記方法を実行させることができる。
【0157】
図12は、本開示の実施例に係る他の電子機器1900のブロック図を示す。例えば、電子機器1900はサーバとして提供されてもよい。
図12を参照すると、電子機器1900は、一つ以上のプロセッサを含む処理コンポーネント1922、および、処理コンポーネント1922によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ1932を代表とするメモリ資源を含む。メモリ1932に記憶されているアプリケーションプログラムは、それぞれが1つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント1922は命令を実行することによって上記方法を実行するように構成される。
【0158】
電子機器1900はさらに、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926、電子機器1900をネットワークに接続するように構成される有線または無線ネットワークインタフェース1950、および入出力(I/O)インタフェース1958を含んでもよい。電子機器1900はメモリ1932に記憶されているオペレーティングシステム、例えばマイクロソフトサーバオペレーティングシステム(Windows(登録商標) ServerTM)、アップル社が打ち出したグラフィカルユーザインタフェースベースのオペレーティングシステム(Mac OS XTM)、マルチユーザ・マルチプロセスのコンピュータオペレーティングシステム(UnixTM)、オープンソースコードで開発されたUnix(登録商標)系オペレーティングシステム(LinuxTM)、オープンソースコードで開発されたUnix系オペレーティングシステム(FreeBSDTM)又は類似するものに基づいて動作できる。
【0159】
例示的な実施例では、さらに、不揮発性または揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ1932が提供され、上記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されと、上記方法を実行させることができる。
【0160】
本開示はシステム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。
【0161】
コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を経由して伝送される電気信号と解釈されるものではない。
【0162】
ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび/またはエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算/処理機器内のコンピュータ可読記憶媒体に記憶させる。
【0163】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを経由して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することで、本開示の各方面を実現するようにしてもよい。
【0164】
ここで本開示の実施例に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび/またはブロック図の各ブロックおよびフローチャートおよび/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
【0165】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および/または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作の各方面を実現する命令を有する製品を含む。
【0166】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現する。
【0167】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0168】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【0169】
本開示は、2020年8月1日にシンガポール知的財産庁に提出された、出願番号が10202007349Rで、発明の名称が「IMAGE PROCESSING METHOD AND APPARATUS,ELECTRONIC DEVICE,AND STORAGE MEDIUM」であるシンガポール特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。