特許 7118244 グラフィックコード認識方法及び装置、並びに、端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-04

(45)【発行日】2022-08-15

(54)【発明の名称】グラフィックコード認識方法及び装置、並びに、端末及びプログラム

(51)【国際特許分類】

   G06K 7/10 20060101AFI20220805BHJP

   G06K 7/14 20060101ALI20220805BHJP

   G06N 3/04 20060101ALI20220805BHJP

【ＦＩ】

G06K7/10 464

G06K7/14 017

G06K7/14 034

G06K7/14 043

G06K7/14 082

G06N3/04 154

【請求項の数】 18

(21)【出願番号】P 2021508059

(86)(22)【出願日】2019-10-10

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 CN2019110359

(87)【国際公開番号】W WO2020083029

(87)【国際公開日】2020-04-30

【審査請求日】2020-10-28

(31)【優先権主張番号】201811231652.0

(32)【優先日】2018-10-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】冉 辰

(72)【発明者】

【氏名】▲許▼ 典平

(72)【発明者】

【氏名】林 ▲ユ▼耿

(72)【発明者】

【氏名】苗 捷

(72)【発明者】

【氏名】▲賈▼ ▲曉▼▲義▼

(72)【発明者】

【氏名】姜 媚

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１６－１４３１５８（ＪＰ，Ａ）

【文献】特開２００１－２６６０６４（ＪＰ，Ａ）

【文献】特開２０１１－２０９８０５（ＪＰ，Ａ）

【文献】特開２００６－００４０３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｋ ７／００－７／１４

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

端末が備えるプロセッサが実行するグラフィックコード認識方法であって、
ターゲット画像を表示するステップであって、前記ターゲット画像に、少なくとも２つのグラフィックコードが含まれているステップと、
前記ターゲット画像に対するグラフィックコード認識操作を受け付けると、前記ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得するステップと、
前記グラフィックコード位置情報に基づいて、前記少なくとも２つのグラフィックコードのうち、前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定するステップと、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示するステップと
を含み、
前記ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する前記ステップは、
前記ターゲット画像をターゲット検出モデルに入力して、各グラフィックコードのグラフィックコード予測位置情報及び位置信頼度を取得するステップと、
前記グラフィックコード予測位置情報と前記位置信頼度とに基づいて、各グラフィックコードの前記グラフィックコード位置情報を決定するステップと
を含む、ことを特徴とするグラフィックコード認識方法。

【請求項2】

前記グラフィックコード位置情報に基づいて、前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定する前記ステップは、
前記グラフィックコード認識操作によって指示されたターゲット認識位置を決定するステップと、
前記ターゲット認識位置と前記グラフィックコード位置情報に基づいて、前記ターゲットグラフィックコードを決定するステップと
を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記ターゲット画像は、ピクチャであり、
前記グラフィックコード認識操作は、前記ピクチャに対するトリガー操作であり、
前記グラフィックコード認識操作によって指示されたターゲット認識位置を決定する前記ステップは、
前記グラフィックコード認識操作に対応するトリガー位置を前記ターゲット認識位置として決定するステップを含み、
前記ターゲット認識位置と前記グラフィックコード位置情報に基づいて、前記ターゲットグラフィックコードを決定する前記ステップは、
前記トリガー位置の位置情報と各グラフィックコードの前記グラフィックコード位置情報とに基づいて、前記ターゲット認識位置と各グラフィックコードとの間の距離を決定するステップと、
最短距離に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定するステップと
を含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記ターゲット画像は、ファインダーフレームに表示される画像であり、
前記グラフィックコード認識操作は、前記ターゲット画像に対する撮影操作であり、
前記グラフィックコード認識操作によって指示されたターゲット認識位置を決定する前記ステップは、
前記ターゲット画像における、ファインダーフレームの中心に対応する位置を前記ターゲット認識位置として決定するステップを含み、
前記ターゲット認識位置と前記グラフィックコード位置情報に基づいて、前記ターゲットグラフィックコードを決定する前記ステップは、
前記ファインダーフレームの中心の位置情報と各グラフィックコードの前記グラフィックコード位置情報とに基づいて、前記ターゲット認識位置と各グラフィックコードとの間の距離を決定するステップと、
最短距離に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定するステップと
を含む、ことを特徴とする請求項２に記載の方法。

【請求項5】

前記ターゲット検出モデルに、直列接続されたｉ個の残差ネットワークと１つの拡張畳み込みネットワークとが含まれ、
各前記残差ネットワークに、１つのダウンサンプリングブロックと、ｊ個の第１の残差ブロックとが含まれ、前記第１の残差ブロックに、深さ畳み込みが含まれ、
前記拡張畳み込みネットワークに、ｋ個の第２の残差ブロックが含まれ、前記第２の残差ブロックに、拡張畳み込みが含まれ、
ただし、ｉ、ｊ、ｋは２以上の整数である、ことを特徴とする請求項１に記載の方法。

【請求項6】

前記方法は、
前記ターゲット検出モデルから出力された各グラフィックコードのグラフィックコード予測タイプ及びタイプ信頼度を取得するステップと、
前記グラフィックコード予測タイプと前記タイプ信頼度とに基づいて、各グラフィックコードのグラフィックコードタイプを決定するステップと
をさらに含み、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する前記ステップの前に、前記方法は、
ターゲットグラフィックコードタイプに対応するターゲットデコーダーで、前記ターゲットグラフィックコードに対してグラフィックコード認識を行って、前記ターゲットグラフィックコード認識結果を取得するステップであって、前記ターゲットグラフィックコードタイプは、前記ターゲットグラフィックコードに対応するグラフィックコードタイプであるステップをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項7】

前記方法は、
前記ターゲット検出モデルから出力された各グラフィックコードのグラフィックコード予測タイプ及びタイプ信頼度を取得するステップと、
前記グラフィックコード予測タイプと前記タイプ信頼度とに基づいて、各グラフィックコードのグラフィックコードタイプを決定するステップと
をさらに含み、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する前記ステップの前に、前記方法は、
各グラフィックコードのグラフィックコードタイプのそれぞれに対応するデコーダーで、各グラフィックコードに対してグラフィックコード認識を行って、各グラフィックコードに対応するグラフィックコード認識結果を取得するステップと、
前記ターゲットグラフィックコードに対応するグラフィックコード認識結果を前記ターゲットグラフィックコード認識結果として決定するステップと
をさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項8】

前記グラフィックコード位置情報に基づいて、前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定する前記ステップは、
前記グラフィックコード位置情報に基づいて、各グラフィックコードに対してグラフィックコード認識を行って、少なくとも２つのグラフィックコード認識結果を取得するステップと、
前記グラフィックコード認識操作に対応するターゲットアプリケーションを決定するステップと、
前記グラフィックコード認識結果が前記ターゲットアプリケーションによってサポートされる認識結果であれば、前記グラフィックコード認識結果に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定するステップと
を含む、ことを特徴とする請求項１に記載の方法。

【請求項9】

端末に実装されるグラフィックコード認識装置であって、
ターゲット画像を表示する画像表示モジュールであって、前記ターゲット画像に、少なくとも２つのグラフィックコードが含まれる画像表示モジュールと、
前記ターゲット画像に対するグラフィックコード認識操作を受け付けると、前記ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する位置取得モジュールと、
前記グラフィックコード位置情報に基づいて、前記少なくとも２つのグラフィックコードのうち、前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定するターゲット決定モジュールと、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する結果表示モジュールと
を含み、
前記位置取得モジュールは、
前記ターゲット画像をターゲット検出モデルに入力して、各グラフィックコードのグラフィックコード予測位置情報及び位置信頼度を取得する入力ユニットと、
前記グラフィックコード予測位置情報と前記位置信頼度とに基づいて、各グラフィックコードの前記グラフィックコード位置情報を決定する第３の決定ユニットとを含む、ことを特徴とするグラフィックコード認識装置。

【請求項10】

前記ターゲット決定モジュールは、
前記グラフィックコード認識操作によって指示されたターゲット認識位置を決定する第１の決定ユニットと、
前記ターゲット認識位置と前記グラフィックコード位置情報とに基づいて、前記ターゲットグラフィックコードを決定する第２の決定ユニットとを含む、ことを特徴とする請求項９に記載の装置。

【請求項11】

前記ターゲット画像は、ピクチャであり、
前記グラフィックコード認識操作は、前記ピクチャに対するトリガー操作であり、
前記第１の決定ユニットは、前記グラフィックコード認識操作に対応するトリガー位置を前記ターゲット認識位置として決定し、
前記第２の決定ユニットは、前記トリガー位置の位置情報と各グラフィックコードの前記グラフィックコード位置情報とに基づいて、前記ターゲット認識位置と各グラフィックコードとの間の距離を決定し、最短距離に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定する、ことを特徴とする請求項１０に記載の装置。

【請求項12】

前記ターゲット画像は、ファインダーフレームに表示される画像であり、
前記グラフィックコード認識操作は前記ターゲット画像に対する撮影操作であり、
前記第１の決定ユニットは、前記ターゲット画像における、ファインダーフレームの中心に対応する位置を前記ターゲット認識位置として決定し、
前記第２の決定ユニットは、前記ファインダーフレームの中心の位置情報と各グラフィックコードの前記グラフィックコード位置情報とに基づいて、前記ターゲット認識位置と各グラフィックコードとの間の距離を決定し、最短距離に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定する、ことを特徴とする請求項１０に記載の装置。

【請求項13】

前記ターゲット検出モデルに、直列接続されたｉ個の残差ネットワークと１つの拡張畳み込みネットワークとが含まれ、
各前記残差ネットワークに、１つのダウンサンプリングブロックと、ｊ個の第１の残差ブロックとが含まれ、前記第１の残差ブロックに、深さ畳み込みが含まれ、
前記拡張畳み込みネットワークに、ｋ個の第２の残差ブロックが含まれ、前記第２の残差ブロックに、拡張畳み込みが含まれ、
ただし、ｉ、ｊ、ｋは２以上の整数である、ことを特徴とする請求項９に記載の装置。

【請求項14】

前記装置は、
前記ターゲット検出モデルから出力された各グラフィックコードのグラフィックコード予測タイプ及びタイプ信頼度を取得するタイプ取得モジュールと、
前記グラフィックコード予測タイプと前記タイプ信頼度とに基づいて、各グラフィックコードのグラフィックコードタイプを決定するタイプ決定モジュールと
をさらに含み、
前記装置は、
ターゲットグラフィックコードタイプに対応するターゲットデコーダーを介して、前記ターゲットグラフィックコードに対してグラフィックコード認識を行い、前記ターゲットグラフィックコード認識結果を取得するように構成された第１の復号モジュールであって、前記ターゲットグラフィックコードタイプは、前記ターゲットグラフィックコードに対応するグラフィックコードタイプである第１の復号モジュールをさらに含む、ことを特徴とする請求項９に記載の装置。

【請求項15】

前記装置は、
前記ターゲット検出モデルから出力された各グラフィックコードのグラフィックコード予測タイプ及びタイプ信頼度を取得するタイプ取得モジュールと、
前記グラフィックコード予測タイプと前記タイプ信頼度とに基づいて、各グラフィックコードのグラフィックコードタイプを決定するタイプ決定モジュールと
をさらに含み、
前記装置は、
各グラフィックコードのグラフィックコードタイプのそれぞれに対応するデコーダーを介して、各グラフィックコードに対してグラフィックコード認識を行い、各グラフィックコードに対応するグラフィックコード認識結果を取得し、前記ターゲットグラフィックコードに対応するグラフィックコード認識結果を前記ターゲットグラフィックコード認識結果として決定するように構成された第２の復号モジュールをさらに含む、ことを特徴とする請求項９に記載の装置。

【請求項16】

前記ターゲット決定モジュールは、
前記グラフィックコード位置情報に基づいて、各グラフィックコードに対してグラフィックコード認識を行って、少なくとも２つのグラフィックコード認識結果を取得する結果認識ユニットと、
前記グラフィックコード認識操作に対応するターゲットアプリケーションを決定する第４の決定ユニットと、
前記グラフィックコード認識結果が前記ターゲットアプリケーションによってサポートされる認識結果であれば、前記グラフィックコード認識結果に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定する第５の決定ユニットと
をさらに含む、ことを特徴とする請求項９に記載の装置。

【請求項17】

１つ以上のプロセッサと、
少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されているメモリと、を含み、
前記１つ以上のプロセッサは、前記少なくとも１つのコンピュータ可読命令、前記少なくとも１つのプログラム、前記コードセット又はコンピュータ可読命令セットを実行して、請求項１から８のいずれか一項に記載のグラフィックコード認識方法を実現するように構成される、ことを特徴とする端末。

【請求項18】

コンピュータに、請求項１から８のいずれか一項に記載のグラフィックコード認識方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１８年１０月２２日に中国特許庁に提出された、出願番号が２０１８１１２３１６５２０で、発明の名称が「グラフィックコード認識方法、装置、端末及び記憶媒体」である中国特許出願に基づく優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。

【0002】

本願の実施例は、グラフィックコード認識の分野に関し、特にグラフィックコード認識方法、装置、端末及び記憶媒体に関する。

【背景技術】

【0003】

グラフィックコードは、情報又はデータを載せるキャリアであり、一般的なグラフィックコードは、バーコード、二次元コードなどを含む。

【0004】

長押し認識は、一般的なグラフィックコード認識方式である。二次元コードを例とすると、端末は、二次元コードを含む画像を表示し、画像に対する長押し操作を受け付けると、端末は二次元コード認識オプションを表示する。ユーザが二次元コード認識オプションをクリックすれば、端末は、画像中の二次元コードを認識し、かつ認識結果に応じて動作する。例えば、認識結果がホームページアドレスであると、端末はページ遷移を行い、認識結果が支払いリンクであると、端末は支払いインタフェースを表示する。

【0005】

しかしながら、画像に少なくとも２つのグラフィックコードが含まれると、端末はそのうちの１つのグラフィックコードしか認識できず、認識されたグラフィックコードがユーザの認識したいグラフィックコードでなければ、ユーザは該画像から認識したいグラフィックコードを手動で切り取る必要があるため、グラフィックコードの認識効率に影響を与える。

【発明の概要】

【課題を解決するための手段】

【0006】

本願に係る様々な実施例によれば、グラフィックコード認識方法、装置、端末及び記憶媒体を提供する。

【0007】

端末が実行するグラフィックコード認識方法であって、
ターゲット画像を表示するステップであって、前記ターゲット画像に、少なくとも２つのグラフィックコードが含まれているステップと、
前記ターゲット画像に対するグラフィックコード認識操作を受け付けると、前記ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得するステップと、
前記グラフィックコード位置情報に基づいて、前記少なくとも２つのグラフィックコードのうち、前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定するステップと、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示するステップとを含むグラフィックコード認識方法を提供する。

【0008】

端末に実装されるグラフィックコード認識装置であって、
ターゲット画像を表示する画像表示モジュールであって、前記ターゲット画像に、少なくとも２つのグラフィックコードが含まれる画像表示モジュールと、
前記ターゲット画像に対するグラフィックコード認識操作を受け付けると、前記ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する位置取得モジュールと、
前記グラフィックコード位置情報に基づいて、前記少なくとも２つのグラフィックコードのうち、前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定するターゲット決定モジュールと、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する結果表示モジュールとを含むグラフィックコード認識装置を提供する。

【0009】

プロセッサと、
少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されている１つ以上のメモリと、を含み、
前記１つ以上のプロセッサは、前記少なくとも１つのコンピュータ可読命令、前記少なくとも１つのプログラム、前記コードセット又はコンピュータ可読命令セットを実行して、上記グラフィックコード認識方法を実現するように構成される端末を提供する。

【0010】

１つ以上のプロセッサによって実行されて上記グラフィックコード認識方法を実現する少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されている１つ以上のコンピュータ可読記憶媒体を提供する。

【0011】

本願の１つ以上の実施例の詳細は、以下の図面及び説明において提供される。本願の他の特徴、目的及び利点は、本願の明細書、図面及び特許請求の範囲に基づいて明らかになる。

【0012】

本願の実施例における技術手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明するが、明らかに、以下の説明における図面は、本願の一部の実施例に過ぎず、当業者であれば、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。

【図面の簡単な説明】

【0013】

【図1】本願の一実施例に係る実施環境を示す概略図である。

【図2】関連技術におけるグラフィックコード認識過程のフローチャートである。

【図3】本願の実施例におけるグラフィックコード認識過程のフローチャートである。

【図4】本願の一実施例に係るグラフィックコード認識方法を示すフローチャートである。

【図5】本願の一実施例に係る長押し認識シーンでのグラフィックコード認識方法を示すフローチャートである。

【図6】図５に示すグラフィックコード認識方法の実施過程のインタフェース概略図である。

【図7】グラフィックコードとターゲット認識位置との間の距離を決定する時の実施概略図である。

【図8】本願の一実施例に係るコードスキャン認識シーンでのグラフィックコード認識方法を示すフローチャートである。

【図9】図８に示すグラフィックコード認識方法の実施過程のインタフェース概略図である。

【図10】本願の一実施例に係るターゲット検索モデルの概略構成図である。

【図11】本願の一実施例に係る第１の残差ブロックの概略構成図である。

【図12】本願の一実施例に係る第２の残差ブロックの概略構成図である。

【図13】本願の別の一実施例に係るグラフィックコード認識方法を示すフローチャートである。

【図14】本願の別の一実施例に係るグラフィックコード認識方法を示すフローチャートである。

【図15】本願の一実施例に係るグラフィックコード認識装置を示すブロック図である。

【図16】本願の一実施例に係る端末を示す概略構成図である。

【発明を実施するための形態】

【0014】

本願の目的、技術手段及び利点をより明確にするために、以下、図面を参照しながら本願の実施形態をさらに詳細に説明する。理解すべきこととして、ここで説明される具体的な実施形態は、本願を説明するためのものに過ぎず、本願を限定するものではない。

【0015】

図１を参照すると、本願の一実施例に係る実施環境の概略図である。該実施環境は、端末１２０と、サーバ１４０とを含む。

【0016】

端末１２０は、グラフィックコード認識機能を備えた電子機器であり、該電子機器は、スマートフォンや、タブレット、パーソナルコンピュータなどであってよい。図１において、端末１２０がスマートフォンであることを例として説明する。

【0017】

ここで、該グラフィックコード認識機能は、電子機器のオペレーティングシステムによって提供されてもよいし、電子機器にインストールされた第三者のアプリケーションによって提供されてもよく、該第三者のアプリケーションは、支払いアプリケーションや、インスタントメッセンジャーアプリケーション、ショッピングアプリケーション、ビデオ再生アプリケーション、ブラウザアプリケーションなどであってよく、本願の実施例はこれを限定しない。

【0018】

そして、端末１２０によって認識されるグラフィックコードは、ピクチャ、例えば、インスタントメッセンジャーアプリケーションにおいて受信されたピクチャであってもよいし、撮像モジュールによって取得された画像、例えば、アプリケーションのグラフィックコードスキャン機能をオンにしてからスキャンされた画像であってもよく、本願の実施例はこれを限定しない。

【0019】

本願の実施例における端末１２０は、さらにターゲット検出機能を備え、該ターゲット検出機能により、端末１２０は、画像中の各グラフィックコードの位置及び／又はタイプを認識することにより、その後にグラフィックコードの位置に基づいて画像からグラフィックコードを抽出し、グラフィックコードのタイプに応じて、対応するデコーダーを用いてグラフィックコード認識を行って、グラフィックコード認識結果を取得する。

【0020】

可能な一実施形態では、該ターゲット検出機能は、ディープラーニングトレーニングに基づいて得られるターゲット検出モデルにより実現され、該ターゲット検出モデルは、入力された画像に基づいて、画像中の各グラフィックコードの位置情報及び位置信頼度、及び／又は、各グラフィックコードのタイプ及びタイプ信頼度を入力する。

【0021】

端末１２０とサーバ１４０の間は、有線又は無線ネットワークを介して接続される。

【0022】

サーバ１４０は、１台のサーバであってもよいし、幾つかのサーバで構成されたサーバクラスター又はクラウドコンピューティングセンターであってもよい。

【0023】

一実施例では、サーバ１４０は、ウェブページリソースを提供するためのリソースサーバである。１つの可能な適用シーンにおいて、端末１２０は、グラフィックコード認識操作を受け、かつターゲットグラフィックコード認識を完了してグラフィックコード認識結果を取得すると、該グラフィックコード認識結果に基づいて、対応するサーバ１４０からウェブページリソースを取得して、該ウェブページリソースを表示する。

【0024】

一実施例では、上記無線ネットワーク又は有線ネットワークは、標準通信技術及び／又はプロトコルを使用する。ネットワークは、通常、インターネットであるが、任意のネットワークであってよく、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、メトロポリタンエリアネットワーク（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＭＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、モバイル、有線又は無線ネットワーク、プライベートネットワーク又は仮想プライベートネットワークの任意の組み合わせを含むが、これらに限定されない。一部の実施例では、ハイパーテキストマークアップランゲージ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋ－ｕｐ Ｌａｎｇｕａｇｅ、ＨＴＭＬ）、エクステンシブルマークアップランゲージ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ＸＭＬ）などを含む技術及び／又はフォーマットを用いて、ネットワークを介してやり取りされたデータを表す。また、セキュアソケットレイヤー（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔ Ｌａｙｅｒ、ＳＳＬ）、トランスポートレイヤーセキュリティ（Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ、ＴＬＳ）、仮想プライベートネットワーク（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ、ＶＰＮ）、インターネットプロトコルセキュリティ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｓｅｃｕｒｉｔｙ、ＩＰｓｅｃ）などの一般的な暗号化技術を用いて、全部又は一部のリンクを暗号化してよい。他の一部の実施例では、カスタム及び／又は専用データ通信技術を用いて上記データ通信技術に代わるか又はそれを補充してよい。

【0025】

本願の各実施例に係るグラフィックコード認識方法は、図１における端末１２０によって実行され、即ち、端末１２０によりローカルでグラフィックコード認識を実現して、グラフィックコード認識結果を取得し、もちろん、他の可能な実施形態では、端末１２０は、認識対象の画像をバックグラウンドサーバにアップロードし、バックグラウンドサーバは、画像に対してグラフィックコード認識を行い、端末１２０に表示するようにグラフィックコード認識結果をフィードバックしてもよく、本願の実施例はこれを限定しない。

【0026】

本願の実施例に係るグラフィックコード認識方法は、１画像における複数のコードの認識、即ち、複数のグラフィックコードの画像（複数のグラフィックコードを含む画像を指す）のうち指定されるグラフィックコードの認識を実現してよく、その適用シーンは、コードスキャン認識シーン及び長押し認識シーンを含んでよい。以下、異なる適用シーンでのグラフィックコード認識方法を説明する。

【0027】

コードスキャン認識シーン
日常生活に、端末を用いてコードをスキャンする場合が多く、例えば、公式アカウントの二次元コードをスキャンして公式アカウントにフォローする場合や、オーダー二次元コードをスキャンしてセルフオーダーを行う場合、決済二次元コードをスキャンして支払う場合などがある。あるコードスキャン認識シーンにおいて、端末は、複数のグラフィックコードを同時に含む画像を取得する可能性がある。例えば、コードをスキャンして支払う時に、端末は、決済コードＡ（Ａ支払いアプリケーションに対応）及び決済コードＢ（Ｂ支払いアプリケーションに対応）を同時に含む画像を取得する。このシーンにおいて、端末は、グラフィックコード認識方法により、まず画像中の各グラフィックコードのグラフィックコード位置を認識し、その後に、グラフィックコード位置に基づいてユーザが認識したいターゲットグラフィックコードを決定することにより、該ターゲットグラフィックコードを認識して、対応するグラフィックコード認識結果を取得する。

【0028】

長押し認識シーン
ユーザがアプリケーションを使用する過程において、グラフィックコードを含むピクチャをよく見る。例えば、インスタントメッセンジャーアプリケーションを使用するときに、他のユーザから送信された、グラフィックコードを含むピクチャを受信し、ブラウザアプリケーションを使用するときに、表示されるウェブページピクチャはグラフィックコードを含む。このときに、ユーザはピクチャを長押しすることにより端末がピクチャ中のグラフィックコードを認識するようにトリガーすることができる。このシーンにおいて、端末は、グラフィックコード認識方法により、まずピクチャ中の各グラフィックコードのグラフィックコード位置を認識し、その後に、グラフィックコード位置と長押し位置に基づいてユーザが認識したいターゲットグラフィックコードを決定することにより、該ターゲットグラフィックコードを認識して、対応するグラフィックコード認識結果を取得する。

【0029】

もちろん、上記シーンに適用される以外に、上記グラフィックコード認識方法は、さらに他の１画像における複数のコードの認識に関するシーンに用いられてもよく、本願の実施例はこれを限定しない。

【0030】

グラフィックコードの長押し認識を例とすると、図２に示すように、関連技術におけるグラフィックコード認識過程のフローチャートを示す。

【0031】

認識対象の画像（元画像）を取得した後、グラフィックコード認識のサイズ感度のため、端末は、ピラミッドサンプリングの方式で元画像に対してダウンサンプリングを行うことにより、様々なサイズのダウンサンプリング画像を取得する必要がある。図２に示すように、ピラミッドサンプリングを行ってから、元画像２１、１／４ダウンサンプリング画像２２及び１／１６ダウンサンプリング画像２３を取得する。

【0032】

後続のグラフィックコードの復号を容易にするために、端末は、取得された各ダウンサンプリング画像に対して画像二値化処理を行って、黒色と白色の２色しかを含まない二値化画像を取得し、ここで、画像二値化処理を行うときに、ハイブリッド二値化、高速ウインドウ二値化及び適応的二値化を用いてよい。図２に示すように、端末は元画像２１に対して画像二値化処理を行って、二値化画像２４を取得する。

【0033】

さらに、端末は、様々なデコーダーを用いて、取得された二値化画像を復号することを試し、例えば、それぞれ、一次元コードデコーダーを用いて一次元コード復号を行い、二次元コードデコーダーを用いて二次元コード復号を行う。現在のデコーダーを用いて復号が失敗すれば、成功して復号するまで、次のデコーダーを試す。ここで、デコーダーを用いて復号するときに、二値化画像中の各画素点にわたってトラバースする必要がある。図２に示すように、端末は、二次元コードデコーダーを用いて二値化画像を復号する過程において、まず、二次元コードの３つの頂点２５を認識し、その後に二次元コードを復号する。

【0034】

しかしながら、画像に少なくとも２つのグラフィックコードが含まれている場合、上記方法で画像中のグラフィックコードを認識するときに、端末は、そのうちの１つのグラフィックコード（通常、画像中で正常に復号された最初のグラフィックコード）しか復号できない。ユーザが画像のうち指定されるグラフィックコードの認識結果を取得したいと、上記方法で実現することができない。

【0035】

本願の実施例に係るグラフィックコード認識方法では、全く新しいグラフィックコード認識フローを用いて上記問題を解決する。該グラフィックコード認識フローにおいて、図３に示すように、端末は、認識対象の画像３１を取得した後、まず、認識対象の画像３１に対してターゲット検出を行って、認識対象の画像３１中の各グラフィックコードのグラフィックコード位置及びグラフィックコードタイプを取得することにより、グラフィックコード位置に基づいて、認識対象の画像３１から各グラフィックコードを抽出する。抽出されたグラフィックコード３２について、端末は、小さい画像に対してアップサンプリングを行い、大きい画像に対してダウンサンプリングを行う原則に従ってサンプリングを行ってサンプリング画像３３を取得し、そして、サンプリング画像３３に対して画像二値化処理を行って、二値化画像３４を取得する。取得された二値化画像３４について、端末は、グラフィックコードタイプに応じて、グラフィックコードタイプに対応するグラフィックコードデコーダーを用いて復号して、二値化画像３４に対応するグラフィックコード認識結果を取得する。

【0036】

さらに、端末は、ユーザが認識したいターゲットグラフィックコードを決定することにより、該ターゲットグラフィックコードに対応する認識結果を表示して、複数のグラフィックコードの画像のうち指定されるグラフィックコードの認識を実現する。

【0037】

図４を参照すると、本願の一実施例に係るグラフィックコード認識方法を示すフローチャートである。本実施例は、該方法を図１における端末１２０に適用することを例として説明し、該方法は、以下のステップ４０１、４０２、４０３、４０５を含んでよい。

【0038】

ステップ４０１では、少なくとも２つのグラフィックコードが含まれているターゲット画像を表示する。

【0039】

ここで、異なる適用シーンでのターゲット画像は異なる。一実施例では、コードスキャン認識シーンにおいて、該ターゲット画像は端末のファインダーフレームに表示される画像であり、即ち、端末が撮像モジュールによりリアルタイムに取得する画像であり、長押し認識シーンにおいて、該ターゲット画像は、端末に表示されるピクチャ、例えば、インスタントメッセンジャーアプリケーションにおいて受信されたピクチャである。

【0040】

本願の実施例におけるターゲット画像は、グラフィックコードタイプが同じであっても異なってもよい少なくとも２つのグラフィックコードを含み、ここで、グラフィックコードタイプは、一次元コード（バーコードとも呼ばれる）と二次元コードのうちの少なくも１種を含み、また、二次元コードは、点状の二次元コード、環状の二次元コード及び放射状の二次元コードのうちの少なくとも１種を含み、本願はグラフィックコードの具体的なタイプを限定しない。

【0041】

ステップ４０２では、ターゲット画像に対するグラフィックコード認識操作を受け付けると、ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する。

【0042】

一実施例では、グラフィックコード認識操作は、ターゲット画像のうち指定されるグラフィックコードを認識するためのものである。

【0043】

異なる適用シーンにおいて、ターゲット画像に対するグラフィックコード認識操作は異なる。一実施例では、コードスキャン認識シーンにおいて、該グラフィックコード認識操作は、撮影操作であり、長押し認識シーンにおいて、該グラフィックコード認識操作は、ピクチャを長押しする操作である。

【0044】

グラフィックコード位置情報は、グラフィックコードのターゲット画像における位置を一意に示すためのものである。可能な一実施形態では、グラフィックコード位置情報は、グラフィックコード中の予め設定されたマーク点の座標を含み、例えば、グラフィックコード位置情報は、グラフィックコードの左上隅の頂点の座標、又はグラフィックコードの中心点の座標を含む。

【0045】

一実施例では、該グラフィックコード位置情報は、さらにグラフィックコードのサイズ情報を含む。例えば、グラフィックコードの高さと幅情報である。

【0046】

一実施例では、各グラフィックコードのグラフィックコード位置情報を取得する以外に、端末は、さらに、その後に様々なタイプのデコーダーを試さずにグラフィックコードタイプに応じて対応するデコーダーを用いて復号するように、各グラフィックコードのグラフィックコードタイプを取得する。

【0047】

ステップ４０３では、グラフィックコード位置情報に基づいて、少なくとも２つのグラフィックコードのうち、グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定する。

【0048】

通常の場合に、グラフィックコード認識操作によって指示される認識位置は、一般にユーザが認識したいターゲットグラフィックコードに接近するか又は傾くため、可能な一実施形態では、本ステップは以下のステップ１～２を含む。

【0049】

ステップ１では、グラフィックコード認識操作によって指示されるターゲット認識位置を決定する。

【0050】

一実施例では、該ターゲット認識位置は、座標の形式で示される。

【0051】

ステップ２では、ターゲット認識位置とグラフィックコード位置情報に基づいて、ターゲットグラフィックコードを決定する。

【0052】

一実施例では、端末はターゲット認識位置とグラフィックコード位置情報に基づいて、ターゲット認識位置と各グラフィックコードとの間の距離を計算し、最短距離に対応するグラフィックコードをターゲットグラフィックコードとして決定する。

【0053】

ステップ４０５では、ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する。

【0054】

可能な一実施形態では、端末は、各グラフィックコードを認識し、少なくとも２つのグラフィックコード認識結果を取得し、最後にターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示し、
別の可能な一実施形態では、端末は、決定されたターゲットグラフィックコードのみを認識し、取得されたターゲットグラフィックコード認識結果を表示する。

【0055】

グラフィックコード認識過程について、図３に示すように、認識された各グラフィックコードに対して、端末は、グラフィックコードのサイズを取得し、該サイズが予め設定されたサイズ（例えば、３００ｐｘ×３００ｐｘ）より大きいか否かを検出し、大きければ、グラフィックコードが大きい画像であると決定し、大きい画像に対してダウンサンプリングを行うことにより、ダウンサンプリング後にグラフィックコードのサイズが予め設定されたサイズになり、小さければ、グラフィックコードが小さい画像であると決定し、小さい画像に対してアップサンプリング（超解像サンプリングを用いてよい）を行うことにより、アップサンプリング後にグラフィックコードのサイズが予め設定されたサイズになる。ターゲット検出により画像中のグラフィックコードのサイズを決定できるため、端末は、グラフィックコードのサイズに基づいて狙いがはっきりしてサンプリングを行うことができ、ピラミッドサンプリング方法で複数回サンプリングする必要がなくなるため、認識過程におけるデータ処理量を削減する。例示的に、図２において、端末は、認識対象の画像に対して複数回サンプリングを行う必要があり、図３において、端末は画像に対して小さい画像のアップサンプリングを行わればよい。

【0056】

グラフィックコードに対してサンプリングを行った後に、端末は、さらにグラフィックコードに対して画像二値化処理を行う。関連技術において画像全体に対して画像二値化処理を行う必要があることに比べて、本実施例では、端末は、抽出されたグラフィックコードのみに対して二値化処理を行わればよいため、二値化過程におけるデータ処理量を削減する。

【0057】

二値化処理を完了した後、端末は、二値化後のグラフィックコードを復号する。ターゲット検出時にグラフィックコードのグラフィックコードタイプを取得できるため、端末は、狙いがはっきりしてデコーダーを用いて復号することができ、様々なデコーダーを試す必要がなくなるため、復号過程におけるデータ処理量を削減する。例示的に、図２において、端末は、３つのデコーダーを試して復号する必要があり、図３において、端末は直接二次元コードデコーダーによりグラフィックコードを復号すればよい。

【0058】

以上より、本願の実施例では、少なくとも２つのグラフィックコードが含まれているターゲット画像に対するグラフィックコード認識操作を受け付けると、まず、ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得し、その後に、グラフィックコード位置情報に基づいてグラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定することにより、ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示し、グラフィックコード位置認識メカニズムにより、端末は、同一の画像中の複数のグラフィックコードを同時に認識でき、そして、各グラフィックコードのそれぞれの位置に基づいて、ユーザが認識したいターゲットグラフィックコードを決定し、さらに、ターゲットグラフィックコードの認識結果を返すことで、グラフィックコードの認識効率を向上させ、関連技術において、画像に少なくとも２つのグラフィックコードが含まれると、ユーザが該画像から認識したいグラフィックコードを手動で切り取ってからグラフィックコード認識を行う必要があるため、グラフィックコードの認識効率が低いという問題を解決する。

【0059】

異なる適用シーンにおいて、端末が少なくとも２つのグラフィックコードからターゲットグラフィックコードを決定する方式は異なる。以下、２つの実施例を用いて、それぞれ長押し認識及びコードスキャン認識シーンでのターゲットグラフィックコードの決定過程を説明する。

【0060】

図５を参照すると、本願の別の一実施例に係るグラフィックコード認識方法を示すフローチャートである。本実施例は、該方法を長押し認識シーンに適用することを例として説明し、該方法は、以下のステップ５０１～５０６を含んでよい。

【0061】

ステップ５０１では、少なくとも２つのグラフィックコードが含まれているターゲット画像を表示する。

【0062】

本実施例では、該ターゲット画像は端末に表示されるピクチャである。例示的に、図６に示すように、端末にターゲット画像６１が表示されており、該ターゲット画像６１には、放射状の二次元コード６２と点状の二次元コード６３が含まれる。

【0063】

ステップ５０２では、ターゲット画像に対するグラフィックコード認識操作を受け付けると、ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する。

【0064】

本実施例では、グラフィックコード認識操作は、ターゲット画像に対するトリガー操作である。

【0065】

可能な一実施形態では、端末がタッチ機能を備えた携帯端末である場合、ターゲット画像に対する長押し操作を受け付けると、端末は幾つかの操作オプションを表示し、グラフィックコード認識オプションに対する選択操作を受け付けると、端末はグラフィックコード認識操作を受け付けたと決定する。

【0066】

例示的に、図６に示すように、ターゲット画像６１に対する長押し操作を受け付けた後、端末は、操作オプションメニューを表示し、そして、グラフィックコード認識オプション６４に対する選択操作を受け付けると、グラフィックコード認識操作を受け付けたと決定する。

【0067】

他の可能な実施形態では、端末が外部入力装置（例えば、マウス）を含むＰＣのような端末である場合、（外部入力装置によって実行される）ターゲット画像に対するクリック操作を受け付けると、端末は幾つかの操作オプションを表示し、グラフィックコード認識オプションに対する選択操作を受け付けると、端末はグラフィックコード認識操作を受け付けたと決定する。

【0068】

ステップ５０３では、グラフィックコード認識操作に対応するトリガー位置をターゲット認識位置として決定する。

【0069】

長押し認識シーンにおいて、通常、ユーザが認識すべきグラフィックコードに長押し操作を実行するため、可能な一実施形態では、端末は、グラフィックコード認識操作に対応するトリガー位置（例えば、長押し位置）をターゲット認識位置として決定する。

【0070】

例示的に、図７に示すように、端末は長押し信号が受信された長押し位置をターゲット認識位置６５として決定する。

【0071】

一実施例では、後続のグラフィックコードとターゲット認識位置との間の距離の計算を容易にするために、端末は、ターゲット認識位置のターゲット画像における座標を取得する。例えば、端末が取得したターゲット認識位置の座標は（ｘ_ｐｏｓ，ｙ_ｐｏｓ）である。

【0072】

一実施例では、グラフィックコード長押し認識機能を初めて使用するときに、端末は提示情報を表示して、認識のために異なる位置でのグラフィックコードを長押しするようユーザに促し、本実施例はこれを限定しない。

【0073】

ステップ５０４では、トリガー位置の位置情報と各グラフィックコードのグラフィックコード位置情報に基づいて、ターゲット認識位置と各グラフィックコードとの間の距離を決定する。

【0074】

一実施例では、認識された各グラフィックコードについて、端末は各グラフィックコードのグラフィックコード位置情報に基づいて、グラフィックコードのコード中心を計算し、かつトリガー位置とコード中心の座標に基づいて、ターゲット認識位置と各グラフィックコードとの間の距離を計算する。

【0075】

可能な一実施形態では、端末はグラフィックコード位置情報における各頂点の頂点座標に基づいて、グラフィックコードのコード中心の座標を計算し、或いは、端末はグラフィックコード位置情報における少なくとも１つの頂点の頂点座標とグラフィックコードサイズ情報に基づいて、グラフィックコードのコード中心を計算する。本願は、コード中心の座標を計算する方式を限定しない。

【0076】

例示的に、図７に示すように、端末は、放射状の二次元コード６２の第１のコード中心６２１の座標が（ｘ_１，ｙ_１）で、点状の二次元コード６３の第２のコード中心６３１の座標が（ｘ_２，ｙ_２）であることを取得し、計算すると、ターゲット認識位置６５と放射状の二次元コード６２との間の距離ｓ_１が

【0077】

【数1】

【0078】

であり、ターゲット認識位置６５と点状の二次元コード６３との間の距離ｓ_２が

【0079】

【数2】

【0080】

である。

【0081】

ステップ５０５では、最短距離に対応するグラフィックコードをターゲットグラフィックコードとして決定する。

【0082】

さらに、端末は、最短距離に対応するグラフィックコードをターゲットグラフィックコードとして決定し、即ち、ターゲット認識位置に最も近いグラフィックコードをターゲットグラフィックコードとして決定する。

【0083】

例示的に、図７に示すように、ｓ_１＜ｓ_２のため、端末は点状の二次元コード６３をターゲットグラフィックコードとして決定する。

【0084】

ステップ５０６では、ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する。

【0085】

例示的に、図６に示すように、端末は点状の二次元コード６３に対してグラフィックコード認識を行って、取得したターゲットグラフィックコード認識結果がゲームダウンロードリンクであるため、ゲームダウンロードリンクに応じて遷移して、ゲームダウンロードインタフェース６６を表示する。

【0086】

本実施例では、端末はグラフィックコード認識操作に対応するトリガー位置をターゲット認識位置として決定し、そして、ターゲット認識位置と各グラフィックコードとの間の距離を計算してユーザが指示したターゲットグラフィックコードを決定することにより、長押し認識シーンにおいて、ターゲット画像中の長押し位置にあるグラフィックコードの認識を実現する。

【0087】

図８を参照すると、本願の別の一実施例に係るグラフィックコード認識方法を示すフローチャートである。本実施例は、該方法をコードスキャン認識シーンに適用することを例として説明し、該方法は、以下のステップ８０１～８０６を含んでよい。

【0088】

ステップ８０１では、少なくとも２つのグラフィックコードが含まれているターゲット画像を表示する。

【0089】

本実施例では、該ターゲット画像はファインダーフレームに表示される画像である。例示的に、図９に示すように、端末は、コードスキャン認識機能をオンにした後、ファインダーフレーム９１にカメラによって取得されたターゲット画像を表示し、該ターゲット画像に放射状の二次元コード９２と点状の二次元コード９３が含まれる。

【0090】

ステップ８０２では、ターゲット画像に対するグラフィックコード認識操作を受け付けると、ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する。

【0091】

本実施例では、グラフィックコード認識操作はターゲット画像に対する撮影操作である。

【0092】

可能な一実施形態では、端末インタフェースに撮影コントロールが表示され、該撮影コントロールに対するクリック操作を受け付けると、端末はグラフィックコード認識操作を受け付けたと決定する。

【0093】

他の可能な実施形態では、端末が安定したままで、かつ安定が時間閾値（例えば、０．５ｓ）に達したと検出すると、端末はグラフィックコード認識操作を受け付けたと決定する。本願の実施例はこれを限定しない。

【0094】

ステップ８０３では、ターゲット画像における、ファインダーフレームの中心に対応する位置をターゲット認識位置として決定する。

【0095】

コードスキャン認識シーンにおいて、通常、ユーザが端末を移動させることにより、認識すべきターゲットグラフィックコードがファインダーフレームの中心に位置するか又は接近するため、可能な一実施形態では、端末は、ターゲット画像における、ファインダーフレームの中心に対応する位置をターゲット認識位置として決定する。

【0096】

例えば、端末が決定したターゲット認識位置の座標は（ｘ_ｐｏｓ，ｙ_ｐｏｓ）である。

【0097】

ステップ８０４では、ファインダーフレームの中心の位置情報と各グラフィックコードのグラフィックコード位置情報に基づいて、ターゲット認識位置と各グラフィックコードとの間の距離を決定する。

【0098】

一実施例では、端末は各グラフィックコードのグラフィックコード位置情報に基づいて、グラフィックコードのコード中心を計算し、かつファインダーフレームの中心とコード中心の座標に基づいて、ターゲット認識位置と各グラフィックコードとの間の距離を計算する。ここで、ターゲット認識位置と各グラフィックコードとの間の距離の計算過程については、上記ステップ５０４を参照してよく、本実施例では説明を省略する。

【0099】

ステップ８０５では、最短距離に対応するグラフィックコードをターゲットグラフィックコードとして決定する。

【0100】

さらに、端末は、最短距離に対応するグラフィックコードをターゲットグラフィックコードとして決定し、即ち、ファインダーフレームの中心に最も近いグラフィックコードをターゲットグラフィックコードとして決定する。

【0101】

例示的に、図９に示すように、放射状の二次元コード９２とファインダーフレームの中心との距離が点状の二次元コード９３とファインダーフレームの中心との距離より小さいため、端末は放射状の二次元コード９２をターゲットグラフィックコードとして決定する。

【0102】

ステップ８０６では、ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する。

【0103】

例示的に、図９に示すように、端末は放射状の二次元コード９２に対してグラフィックコード認識を行って、取得したターゲットグラフィックコード認識結果がミニプログラム遷移情報であるため、ミニプログラム遷移情報に応じて遷移し、ミニプログラムインタフェース９４を表示する。

【0104】

ここで、ミニプログラム（Ｍｉｎｉ ｐｒｏｇｒａｍ）は、ダウンロードしインストールしなくても使用できるアプリケーションプログラムである。開発者が端末のアプリケーションに対して対応するミニプログラムを開発することができ、ミニプログラムは、サブアプリケーションとして端末のアプリケーションに埋め込まれてよく、アプリケーション内のミニプログラムを実行することによりユーザに、より多様なサービスを提供することができる。

【0105】

本実施例では、端末はファインダーフレームの中心をターゲット認識位置として決定し、そして、ターゲット認識位置と各グラフィックコードとの間の距離を計算してユーザがスキャンしたいターゲットグラフィックコードを決定することにより、コードスキャン認識シーンにおいて、ファインダーフレーム内の複数のグラフィックコードのうち指定されるグラフィックコードの認識を実現する。

【0106】

可能な一実施形態では、端末に、予めトレーニングして得られたターゲット検出モデルが記憶されており、該ターゲット検出モデルは、ディープラーニングトレーニングにより得られ、画像中のグラフィックコードを認識し、かつグラフィックコードの画像における位置情報を出力する。それに応じて、上記各実施例では、端末がターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得するときに、以下のステップ１～２を含んでよい。

【0107】

ステップ１では、ターゲット画像を、ディープラーニングトレーニングにより得られるターゲット検出モデルに入力して、各グラフィックコードのグラフィックコード予測位置情報及び位置信頼度を取得する。

【0108】

ここで、位置信頼度が高いほど、グラフィックコードが予測位置情報によって示される位置にある確率が高く、逆に、グラフィックコードが該予測位置情報によって示される位置にある確率が低い。一実施例では、該予測位置情報は、グラフィックコード中の所定のマーク点の座標を含み、該所定のマーク点は頂点又はコード中心であってよい。

【0109】

可能な一実施形態では、該ターゲット検出モデルは、直列接続されたｉ個の残差ネットワークと１つの拡張（ｄｉｌａｔｅｄ）畳み込みネットワークを含む。例示的に、図１０に示すように、ターゲット検出モデルは、直列接続された３つの残差ネットワークと、拡張畳み込みネットワークとを含み、それぞれ第１の残差ネットワーク１０１０、第２の残差ネットワーク１０２０、第３の残差ネットワーク１０３０及び拡張畳み込みネットワーク１０４０である。

【0110】

ここで、各残差ネットワークは１つのダウンサンプリングブロックとｊ個の第１の残差ブロックとを含む。ダウンサンプリングブロックは、入力内容をダウンサンプリングして画像特徴を取得し、第１の残差ブロックは、残差ネットワークにおけるベースブロックであり、通常、残差ブロックの入力に対して非線形変換を行うための残差分岐路と、残差ブロックの入力に対して恒等変換又は線形変換を行うための短絡分岐路とを含む。

【0111】

一実施例では、各残差ネットワークに含まれる第１の残差ブロックの数量は同じであっても異なってもよい。

【0112】

例示的に、図１０に示すように、第１の残差ネットワーク１０１０は３つの第１の残差ブロックを含み、第２の残差ネットワーク１０２０は７つの第１の残差ブロックを含み、第３の残差ネットワーク１０３０は３つの第１の残差ブロックを含む。

【0113】

一実施例では、該第１の残差ブロックは、一般的な残差ブロック又はボトルネック残差ブロック（Ｂｏｔｔｌｅｎｅｃｋ Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）を用いてよい。

【0114】

第１の残差ブロックが一般的な残差ブロック又はボトルネック残差ブロックを用いる場合、第１の残差ブロックに入力された特徴はそれぞれ各畳み込み層において畳み込み処理が行われ、残差ネットワークパラメータ量と計算量は畳み込み層に集中する。ターゲット検出モデル全体のサイズをさらに減少させることにより、それを端末に適用するために、可能な一実施形態では、第１の残差ブロックの一部の畳み込みの代わりに深さ（ｄｅｐｔｈｗｉｓｅ）畳み込みを用い、認識正確率を保証する前提下で、残差ネットワークのサイズを減少させ、残差ネットワークの処理速度を向上させる。

【0115】

例示的に、図１１に示すように、ボトルネック残差ブロック１１１０は３つの畳み込み層を含み、そのうち、第１の畳み込み層に幾つかの１×１の畳み込みカーネルが含まれ、第２の畳み込み層に幾つかの３×３の畳み込みカーネルが含まれ、第３の畳み込み層に幾つかの１×１の畳み込みカーネルが含まれる。各畳み込み層は、いずれも正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）層を含み、第１の畳み込み層と最終出力はいずれも活性層（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ、ＲｅＬＵ）を含む。ボトルネック残差ブロック１１１０を改造するときに、第２の畳み込み層における３×３の畳み込みカーネルを深さ（ｄｅｐｔｈｗｉｓｅ）畳み込みカーネルに変換すれば、第１の残差ブロック１１２０を得る。

【0116】

拡張畳み込みは膨張畳み込みとも呼ばれ、畳み込みカーネル間に間隔を空ける畳み込み方式である。一般的な畳み込みに比べて、拡張畳み込みは、「膨張率（ｄｉｌａｔｉｏｎ ｒａｔｅ）」というハイパーパラメータを導入し、該パラメータは畳み込みカーネルでデータを処理する時の各値の間隔を定義する。拡張畳み込み処理により、画像特徴の空間スケールをそのまま保持して、画像特徴の画素の情報減少による情報損失を回避する一方で、受容野を拡大することにより、より正確なターゲット検出を実現することができる。受容野は、ニューラルネットワークの隠れ層から出力された特徴画像における画素点が元画像においてマッピングする領域サイズであり、画素の元画像における受容野が大きいほど、それがマッピングする元画像の範囲が大きいことを示し、またそれがより全局的、セマンティックレベルがより高い特徴を含む可能性があることを意味する。

【0117】

一実施例では、拡張畳み込みネットワークはｋ個の第２の残差ブロックを含む。例示的に、図１０に示すように、拡張畳み込みネットワークは３つの第２の残差ブロックを含む。

【0118】

可能な一実施形態では、第２の残差ブロックにおいてｄｉｌａｔｉｏｎ畳み込みを適用して受容野を拡大し、かつ下層特徴を直接上層特徴として、上層特徴がより高いセマンティックレベルと視覚受容野を得ることができないことを回避するために、第２の残差ブロックの短絡分岐路は畳み込み変換をさらに含む。

【0119】

例示的に、図１２に示すように、ボトルネック残差ブロック１２１０は３つの畳み込み層を含み、そのうち、第１の畳み込み層に幾つかの１×１の畳み込みカーネルが含まれ、第２の畳み込み層に幾つかの３×３の畳み込みカーネルが含まれ、第３の畳み込み層に幾つかの１×１の畳み込みカーネルが含まれ、各畳み込み層はいずれもＢＮ層を含み、第１の畳み込み層と最終出力はいずれもＲｅＬＵを含む。ボトルネック残差ブロック１２１０を改造するときに、第２の畳み込み層における３×３の畳み込みカーネルを拡張（ｄｉｌａｔｅｄ）畳み込みカーネルに変換し、短絡分岐路に幾つかの１×１の畳み込みカーネルを含む畳み込み層を追加して、最終に第２の残差ブロック１２２０を得る。

【0120】

また、本願の実施例では、残差ネットワークの最後の第１の残差ブロックの出力と拡張畳み込みネットワークにおける各第２の残差ブロックの出力は、いずれも出力ネットワークに入力されて、出力ネットワークによって分類され帰還され、後続の分類結果の正確性を向上させる。

【0121】

例示的に、図１０に示すように、第２の残差ネットワーク１０２０の最後の第１の残差ブロック、第３の残差ネットワーク１０３０の最後の第１の残差ブロック、及び拡張畳み込みネットワーク１０４０における各第２の残差ブロックの出力は、いずれも出力ネットワークに入力される。

【0122】

ステップ２では、グラフィックコード予測位置情報と位置信頼度に基づいて、各グラフィックコードのグラフィックコード位置情報を決定する。

【0123】

可能な一実施形態では、端末は各グラフィックコード予測位置情報に対応する位置信頼度に基づいて、位置信頼度が信頼度閾値（例えば、９０％）よりも大きいグラフィックコード予測位置情報を各グラフィックコードのグラフィックコード位置情報として決定する。

【0124】

本願の実施例では、ターゲット検出モデルは、グラフィックコードの位置に加えて、グラフィックコードのグラフィックコードタイプも予測でき、それに応じて、その後にグラフィックコード認識を行うときに、端末は、グラフィックコードタイプに対応するグラフィックコードデコーダーを用いて復号し、復号効率を向上させる。

【0125】

可能な一実施形態では、端末はターゲット検出モデルから出力されたグラフィックコード予測タイプ及びタイプ信頼度を取得し、グラフィックコード予測タイプ及びタイプ信頼度に基づいて、各グラフィックコードのグラフィックコードタイプを決定し、グラフィックコードタイプが一次元コードと二次元コードのうちの少なくとも１種を含む。

【0126】

一実施例では、端末は各グラフィックコード予測タイプに対応するタイプ信頼度に基づいて、タイプ信頼度が信頼度閾値（例えば、９０％）よりも大きいグラフィックコード予測タイプを各グラフィックコードのグラフィックコードタイプとして決定する。

【0127】

それに応じて、図４を基に、図１３に示すように、ステップ４０５の前に、さらに以下のステップ４０４を含む。

【0128】

ステップ４０４では、ターゲットグラフィックコードに対応するグラフィックコードタイプであるターゲットグラフィックコードタイプに対応するターゲットデコーダーにより、ターゲットグラフィックコードに対してグラフィックコード認識を行って、ターゲットグラフィックコード認識結果を取得し、或いは、各グラフィックコードのグラフィックコードタイプのそれぞれに対応するデコーダーにより、各グラフィックコードに対してグラフィックコード認識を行って、各グラフィックコードに対応するグラフィックコード認識結果を取得し、ターゲットグラフィックコードに対応するグラフィックコード認識結果をターゲットグラフィックコード認識結果として決定する。

【0129】

一実施例では、ターゲット検出モデルから出力されたグラフィックコード位置情報に基づいて、端末はターゲット画像からターゲットグラフィックコードを抽出し、ターゲットグラフィックコードに対応するターゲットグラフィックコードタイプに応じて、ターゲットデコーダーを用いてターゲットグラフィックコードに対してグラフィックコード認識を行うことにより、ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を取得する。

【0130】

一実施例では、ターゲット画像中の非ターゲットグラフィックコードについて、端末はグラフィックコード認識を行う必要がないため、端末がグラフィックコードを認識する時のデータ処理量を削減する。

【0131】

別の可能な一実施形態では、端末は、ターゲット検出モデルから出力されたグラフィックコード位置情報に基づいて、ターゲット画像から各グラフィックコードを抽出し、各グラフィックコードのそれぞれに対応するグラフィックコードタイプに応じて、対応するデコーダーを用いて各グラフィックコードに対してグラフィックコード認識を行うことにより、各グラフィックコードに対応するグラフィックコード認識結果を取得する。さらに、端末は、ターゲットグラフィックコードに対応するグラフィックコード認識結果をターゲットグラフィックコード認識結果として決定して、後続の表示に用いる。

【0132】

関連技術において様々なデコーダーを試してグラフィックコード認識を行うことに比べて、本実施例では、端末は、認識されたグラフィックコードタイプに応じて、狙いがはっきりして対応するデコーダーを用いてグラフィックコード認識を行い、認識効率を向上させると共に、認識時のデータ処理量を削減する。

【0133】

グラフィックコード位置情報に基づいてターゲットグラフィックコードを決定する以外に、別の可能な一実施形態では、端末は、ターゲット画像中の各グラフィックコードに対応するグラフィックコード認識結果に基づいて、ユーザが認識したいターゲットグラフィックコードを決定してもよく、一実施例では、図４を基に、図１４に示すように、ステップ４０３は以下のステップ４０３Ａ～４０３Ｃを含んでよい。

【0134】

ステップ４０３Ａでは、グラフィックコード位置情報に基づいて、各グラフィックコードに対してグラフィックコード認識を行って、少なくとも２つのグラフィックコード認識結果を取得する。

【0135】

各グラフィックコードに対応するグラフィックコード位置に基づいて、端末はターゲット画像から各グラフィックコードを抽出し、各グラフィックコードに対してグラフィックコード認識を行って、各グラフィックコードに対応するグラフィックコード認識結果を取得する。

【0136】

ステップ４０３Ｂでは、グラフィックコード認識操作に対応するターゲットアプリケーションを決定する。

【0137】

可能な一実施形態では、ターゲットアプリケーションは、グラフィックコード認識操作を受け付けたアプリケーションである。

【0138】

例えば、インスタントメッセンジャーアプリケーションＡのグラフィックコード認識機能によりコードスキャンを行うときに、インスタントメッセンジャーアプリケーションＡをターゲットアプリケーションとして決定する。

【0139】

ステップ４０３Ｃでは、グラフィックコード認識結果がターゲットアプリケーションによってサポートされる認識結果であれば、グラフィックコード認識結果に対応するグラフィックコードをターゲットグラフィックコードとして決定する。

【0140】

可能な一実施形態では、端末における異なるアプリケーションによってサポートされる認識結果のタイプが異なり、かつ各アプリケーションがそれぞれの認識結果リストに対応し、該認識結果リストは、サポートされる認識結果のタイプを含む。

【0141】

一実施例では、グラフィックコード認識結果がターゲットアプリケーションによってサポートされる認識結果であると、ターゲットアプリケーションは、該グラフィックコード認識結果を解析でき、逆に、ターゲットアプリケーションは該グラフィックコード認識結果を解析できない。

【0142】

例えば、インスタントメッセンジャーアプリケーションＡについて、それが表示をサポートする認識結果はＢ支払いアプリケーションの支払いページである。インスタントメッセンジャーアプリケーションＡのコードスキャン機能を用いてコードスキャンを行う場合、コードスキャン画像において、第１のグラフィックコードに対応するグラフィックコード認識結果がＢ支払いアプリケーションの支払いページであり、第２のグラフィックコードに対応するグラフィックコード認識結果がＣ支払いアプリケーションの支払いページであれば、端末は第１のグラフィックコードに対応するグラフィックコード認識結果がターゲットグラフィックコード認識結果であると決定すると共に、第１のグラフィックコードをターゲットグラフィックコードとして決定する。

【0143】

一実施例では、該認識結果リストは認識結果キーワードを含む。端末は、認識結果リストに基づいて、グラフィックコード認識結果に認識結果キーワードが含まれるか否かを検出し、含まれば、グラフィックコード認識結果が現在のアプリケーションによってサポートされる認識結果であると決定する。

【0144】

その後に、端末は、ターゲットグラフィックコード認識結果のみを表示するが、他のグラフィックコード認識結果を表示しない。

【0145】

実際の適用過程において、ユーザが端末を用いてコードスキャン支払いを行い、かつ異なる支払いアプリケーションに対応する支払い二次元コードを同時にスキャンして取得する場合、端末は、現在コードスキャン時に使用されるアプリケーションによってサポートされる支払いアプリケーションを決定すると共に、該支払いアプリケーションに対応する支払い二次元コードの認識結果を表示することにより、ユーザが現在のアプリケーションにおいて迅速支払いを行うことに役立ち、現在のアプリケーションが他の支払いアプリケーションの支払いページを表示できないため、支払できないという問題を回避する。

【0146】

以下、本願の装置の実施例であり、本願の方法の実施例を実行することができる。本願の装置の実施例に開示されない詳細について、本願の方法の実施例を参照する。

【0147】

図１５を参照すると、本願の一実施例に係るグラフィックコード認識装置を示すブロック図である。該装置は、図１に示す実施環境における端末１２０であってもよいし、端末１２０に設置されてもよい。該装置は、各モジュール又はユニットを含み、各モジュール又はユニットは、全部又は部分的にソフトウェア、ハードウェア又はそれらの組み合わせによって実現されてもよい。該装置は、
少なくとも２つのグラフィックコードが含まれているターゲット画像を表示する画像表示モジュール１５０１と、
前記ターゲット画像に対するグラフィックコード認識操作を受け付けると、前記ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得する位置取得モジュール１５０２と、
前記グラフィックコード位置情報に基づいて、前記少なくとも２つのグラフィックコードのうち前記グラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定するターゲット決定モジュール１５０３と、
前記ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示する結果表示モジュール１５０４とを含んでよい。

【0148】

一実施例では、前記ターゲット決定モジュール１５０３は、
前記グラフィックコード認識操作によって指示されたターゲット認識位置を決定する第１の決定ユニットと、
前記ターゲット認識位置と前記グラフィックコード位置情報に基づいて、前記ターゲットグラフィックコードを決定するための第２の決定ユニットとを含む。

【0149】

一実施例では、前記ターゲット画像は、ピクチャであり、前記グラフィックコード認識操作は、前記ピクチャに対するトリガー操作であり、
前記第１の決定ユニットは、前記グラフィックコード認識操作に対応するトリガー位置を前記ターゲット認識位置として決定し、
前記第２の決定ユニットは、前記トリガー位置の位置情報と各グラフィックコードの前記グラフィックコード位置情報に基づいて、前記ターゲット認識位置と各グラフィックコードとの間の距離を決定し、最短距離に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定する。

【0150】

一実施例では、前記ターゲット画像は、ファインダーフレームに表示される画像であり、前記グラフィックコード認識操作は前記ターゲット画像の撮影操作であり、
前記第１の決定ユニットは、前記ターゲット画像におけるファインダーフレームの中心の対応する位置を前記ターゲット認識位置として決定し、
前記第２の決定ユニットは、前記ファインダーフレームの中心の位置情報と各グラフィックコードの前記グラフィックコード位置情報に基づいて、前記ターゲット認識位置と各グラフィックコードとの間の距離を決定し、最短距離に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定する。

【0151】

一実施例では、前記位置取得モジュール１５０２は、
前記ターゲット画像をターゲット検出モデルに入力して、各グラフィックコードのグラフィックコード予測位置情報及び位置信頼度を取得する入力ユニットと、
前記グラフィックコード予測位置情報と前記位置信頼度に基づいて、各グラフィックコードの前記グラフィックコード位置情報を決定する第３の決定ユニットとを含む。

【0152】

一実施例では、前記ターゲット検出モデルは、ｉ個の直列接続された残差ネットワークと１つの拡張畳み込みネットワークを含み、各前記残差ネットワークは１つのダウンサンプリングブロックとｊ個の第１の残差ブロックを含み、前記第１の残差ブロックは深さ（ｄｅｐｔｈｗｉｓｅ）畳み込みを含み、前記拡張畳み込みネットワークはｋ個の第２の残差ブロックを含み、前記第２の残差ブロックは拡張（ｄｉｌａｔｅｄ）畳み込みを含み、ｉ、ｊ、ｋが２以上の整数である。

【0153】

一実施例では、前記装置は、さらに、
前記ターゲット検出モデルから出力された各グラフィックコードのグラフィックコード予測タイプ及びタイプ信頼度を取得するタイプ取得モジュールと、
前記グラフィックコード予測タイプと前記タイプ信頼度に基づいて、各グラフィックコードのグラフィックコードタイプを決定するタイプ決定モジュールとを含み、前記グラフィックコードタイプが一次元コードと二次元コードのうちの少なくとも１種を含み、
前記装置は、さらに、
ターゲットグラフィックコードタイプに対応するターゲットデコーダーにより、前記ターゲットグラフィックコードに対してグラフィックコード認識を行って、前記ターゲットグラフィックコード認識結果を取得する第１の復号モジュールであって、前記ターゲットグラフィックコードタイプは前記ターゲットグラフィックコードに対応するグラフィックコードタイプである第１の復号モジュール、
又は、
各グラフィックコードのグラフィックコードタイプのそれぞれに対応するデコーダーにより、各グラフィックコードに対してグラフィックコード認識を行って、各グラフィックコードに対応するグラフィックコード認識結果を取得し、前記ターゲットグラフィックコードに対応するグラフィックコード認識結果を前記ターゲットグラフィックコード認識結果として決定する第２の復号モジュールを含む。

【0154】

一実施例では、前記ターゲット決定モジュール１５０３は、さらに、
前記グラフィックコード位置情報に基づいて、各グラフィックコードに対してグラフィックコード認識を行って、少なくとも２つのグラフィックコード認識結果を取得する結果認識ユニットと、
前記グラフィックコード認識操作に対応するターゲットアプリケーションを決定する第４の決定ユニットと、
前記グラフィックコード認識結果が前記ターゲットアプリケーションによってサポートされる認識結果であれば、前記グラフィックコード認識結果に対応するグラフィックコードを前記ターゲットグラフィックコードとして決定する第５の決定ユニットとを含む。

【0155】

以上より、本願の一実施例では、少なくとも２つのグラフィックコードが含まれているターゲット画像に対するグラフィックコード認識操作を受け付けると、まず、ターゲット画像中の各グラフィックコードのグラフィックコード位置情報を取得し、その後に、グラフィックコード位置情報に基づいてグラフィックコード認識操作によって指示されたターゲットグラフィックコードを決定することにより、ターゲットグラフィックコードに対応するターゲットグラフィックコード認識結果を表示し、グラフィックコード位置認識メカニズムにより、端末は、同一の画像中の複数のグラフィックコードを同時に認識でき、そして、各グラフィックコードのそれぞれの位置に基づいて、ユーザが認識したいターゲットグラフィックコードを決定し、さらに、ターゲットグラフィックコードの認識結果を返すことで、グラフィックコードの認識効率を向上させ、関連技術において、画像に少なくとも２つのグラフィックコードが含まれると、ユーザが該画像から認識したいグラフィックコードを手動で切り取ってからグラフィックコード認識を行う必要があるため、グラフィックコードの認識効率が低いという問題を解決する。

【0156】

図１６を参照すると、本願の一実施例に係る端末を示す概略構成図である。該端末は、図１に示す実施環境における端末１２０として実現されて、上記実施例に係るグラフィックコード認識方法を実施してよい。具体的には、
端末は、プロセッサ１６０１とメモリ１６０２を含む。

【0157】

プロセッサ１６０１は、例えば、４コアプロセッサや、８コアプロセッサなどの１つ以上の処理コアを含んでよい。プロセッサ１６０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラム可能なゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェアの形態で実現されてよい。プロセッサ１６０１は、アウェイク状態でのデータを処理するためのプロセッサであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれるホストプロセッサと、スタンバイ状態でのデータを処理するための低消費電力プロセッサであるコプロセッサとを含んでもよい。一部の実施例では、プロセッサ１６０１には、ディスプレイに表示されるコンテンツのレンダリング及び描画を担当するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、画像処理装置）が集積されてよい。一部の実施例では、プロセッサ１６０１は、機械学習に関する計算操作を処理するためのＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサをさらに含んでもよい。

【0158】

メモリ１６０２は、有形かつ非一時的であってよい１つ以上のコンピュータ可読記憶媒体を含んでよい。メモリ１６０２は、さらに、高速ランダムアクセスメモリ及び不揮発性メモリを含んでよく、例えば、１つ以上のディスク記憶装置、フラッシュメモリ記憶装置である。一部の実施例では、メモリ１６０２の非一時的コンピュータ可読記憶媒体は、プロセッサ１６０１によって実行されて本願に係るグラフィックコード認識方法を実現するための少なくとも１つのコンピュータ可読命令を記憶する。

【0159】

一部の実施例では、任意選択で、端末は、周辺機器インタフェース１６０３及び少なくとも１つの周辺機器をさらに含んでもよい。具体的には、周辺機器は、無線周波数回路１６０４、タッチディスプレイ１６０５、カメラ１６０６、オーディオ回路１６０７、測位コンポーネント１６０８及び電源１６０９のうちの少なくとも１種を含む。

【0160】

周辺機器インタフェース１６０３は、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、入力／出力）に関する少なくとも１つの周辺機器をプロセッサ１６０１及びメモリ１６０２に接続するために用いられてよい。一部の実施例では、プロセッサ１６０１、メモリ１６０２及び周辺機器インタフェース１６０３は、同一のチップ又は回路基板に集積され、他の一部の実施例では、プロセッサ１６０１、メモリ１６０２及び周辺機器インタフェース１６０３のいずれか１つ又は２つは、個別のチップ又は回路基板上で実現されてよく、本実施例は、これを限定しない。

【0161】

無線周波数回路１６０４は、電磁信号とも呼ばれるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）信号を送受信する。無線周波数回路１６０４は、電磁信号により通信ネットワーク及び他の通信装置と通信する。無線周波数回路１６０４は、電気信号を電磁信号に変換して送信するか、又は受信された電磁信号を電気信号に変換する。一実施例では、無線周波数回路１６０４は、アンテナシステム、ＲＦトランシーバ、１つ以上の増幅器、チューナー、発振器、デジタル信号プロセッサ、コーデックチップセット、加入者識別モジュールカードなどを含む。無線周波数回路１６０４は、少なくとも１つの無線通信プロトコルにより他の端末と通信することができる。該無線通信プロトコルは、ワールドワイドウェブ、メトロポリタンエリアネットワーク、イントラネット、各世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇ及び５Ｇ）、無線ローカルエリアネットワーク及び／又はＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ワイヤレスフィディリティー）ネットワークを含むが、これらに限定されない。一部の実施例では、無線周波数回路１６０４は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、近距離無線通信）に関する回路を含んでもよく、本願は、これを限定しない。

【0162】

タッチディスプレイ１６０５は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ユーザインタフェース）を表示する。該ＵＩは、図形、テキスト、アイコン、ビデオ及びそれらの任意の組み合わせを含んでよい。タッチディスプレイ１６０５は、タッチディスプレイ１６０５の表面又は表面の上方のタッチ信号を取得する機能をさらに有する。該タッチ信号は、制御信号としてプロセッサ１６０１に入力されて処理されてよい。タッチディスプレイ１６０５は、仮想ボタン及び／又は仮想キーボードを提供し、ソフトボタン及び／又はソフトキーボードとも呼ばれる。一部の実施例では、タッチディスプレイ１６０５は、１つ設けられ、端末のフロントパネルに設置されてもよく、他の一部の実施例では、タッチディスプレイ１６０５は、少なくとも２つ設けられ、それぞれ端末の異なる表面に設置されるか、又は折り畳まれるように設計されてもよく、さらなる一部の実施例では、タッチディスプレイ１６０５は、端末の曲面又は折り畳み面に設置されるフレキシブルディスプレイであってもよい。また、タッチディスプレイ１６０５は、非矩形の不規則な図形、即ち、異形スクリーンとすることができる。タッチディスプレイ１６０５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード）などの材質で製造されてよい。

【0163】

カメラアセンブリ１６０６は、画像又はビデオを取得する。一実施例では、カメラアセンブリ１６０６は、フロントカメラ及びリアカメラを含む。通常、フロントカメラは、テレビ電話又は自分撮りを実現し、リアカメラは写真又はビデオの撮影を実現するために用いられる。一部の実施例では、リアカメラは、少なくとも２つ設けられ、それぞれ主カメラ、被写界深度カメラ、広角カメラのいずれかであることにより、主カメラ及び被写界深度カメラが組み合わせられて背景ぼかし機能を実現し、主カメラ及び広角カメラが組み合わせられてパノラマ撮影及びＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）撮影機能を実現する。一部の実施例では、カメラアセンブリ１６０６は、フラッシュランプをさらに含んでもよい。フラッシュランプは、単一色温度フラッシュランプであってもよいし、二重色温度フラッシュランプであってもよい。二重色温度フラッシュランプとは、暖光フラッシュランプと冷光フラッシュランプとの組み合わせであり、異なる色温度での光線補償に用いられてよい。

【0164】

オーディオ回路１６０７は、ユーザと端末の間のオーディオインタフェースを提供する。オーディオ回路１６０７は、マイクロフォン及びスピーカを含んでよい。マイクロフォンは、ユーザ及び環境の音波を取得し、音波を電気信号に変換してプロセッサ１６０１に入力して処理するか、又は無線周波数回路１６０４に入力して音声通信を実現する。ステレオ音の収集又はノイズ除去を目的として、マイクロフォンは、複数であってよく、それぞれ端末の異なる部位に設置される。マイクロフォンは、アレイマイクロフォン又は全方位収集型マイクロフォンであってもよい。スピーカは、プロセッサ１６０１又は無線周波数回路１６０４からの電気信号を音波に変換する。スピーカは、従来のフィルムスピーカであってもよいし、圧電セラミックスピーカであってもよい。スピーカは、圧電セラミックスピーカである場合、電気信号を人間が聞こえる音波に変換することができるだけでなく、測距などの用途のために、電気信号を人間が聞こえない音波に変換することができる。一部の実施例では、オーディオ回路１６０７は、イヤホンジャックを含んでもよい。

【0165】

測位アセンブリ１６０８は、端末の現在の地理的位置を測位して、ナビゲーション又はＬＢＳ（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、位置情報サービス）を実現する。測位アセンブリ１６０８は、米国のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、全地球測位システム）、中国の北斗システム又はロシアのガリレオシステムに基づく測位アセンブリであってよい。

【0166】

電源１６０９は、端末内の各アセンブリに電力を供給する。電源１６０９は、交流電源、直流電源、使い捨て電池又は充電式電池であってよい。電源１６０９が充電式電池を含む場合、該充電式電池は、有線充電電池又は無線充電電池であってよい。有線充電電池は、有線回線により充電される電池であり、無線充電電池は、ラジオコイルにより充電される電池である。該充電式電池は、迅速充電技術をサポートしてもよい。

【0167】

一部の実施例では、端末は、１つ以上のセンサ１６１０をさらに含む。該１つ以上のセンサ１６１０は、加速度センサ１６１１、ジャイロセンサ１６１２、圧力センサ１６１３、指紋センサ１６１４、光学センサ１６１５及び近接センサ１６１６を含むが、これらに限定されない。

【0168】

当業者が理解できるように、図１６に示す構造は、端末を限定するものではなく、図に示すものよりも多いか又は少ないアセンブリを含んでもよく、いくつかのアセンブリを組み合わせてもよく、異なるアセンブリの配置を用いてもよい。

【0169】

本願の実施例は、さらに、前記プロセッサによって実行されて上記各実施例に係るグラフィックコード認識方法を実現する少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されているコンピュータ可読記憶媒体を提供する。

【0170】

本願は、さらに、コンピュータで実行されると、コンピュータに上記各実施例に記載のグラフィックコード認識方法を実行させる、コンピュータ可読命令を含むコンピュータプログラム製品を提供する。

【0171】

理解すべきこととして、上記各実施例のフローチャートの各ステップは、矢印で順に示されるが、これらのステップは、必ずしも矢印で示される順序で順に実行されるものではない。本明細書で明確に説明しない限り、これらのステップの実行は、厳密な順序に限定されず、他の順序で実行されてもよい。さらに、上記各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでよく、これらのサブステップ又は段階は、必ずしも同じ時刻で実行されるものではなく、異なる時刻で実行されてもよく、これらのサブステップ又は段階の実行順序も、必ずしも順に行われるものではなく、その他のステップ又はその他のステップのサブステップや段階の少なくとも一部と順番に又は交互に実行されてもよい。

【0172】

上記本願の実施例の番号は説明のためのものに過ぎず、実施例の優劣を示すものではない。当業者によって理解されるように、上記実施例の無線ローカルエリアネットワークのパラメータ設定方法の全部又は一部のステップの実現は、ハードウェアにより完了してもよく、プログラムによりコンピュータ可読命令に関連するハードウェアを命令して完了してもよく、該プログラムがコンピュータ可読記憶媒体に記憶されてよく、上述した記憶媒体はリードオンリーメモリ、磁気ディスク又は光ディスクなどであってよい。以上の記載は、本願の好ましい実施例に過ぎず、本願を限定するものではなく、本願の趣旨及び原則内に行われる全ての修正、同等置換及び改良などは、いずれも本願の保護範囲に含まれるべきである。

【符号の説明】

【0173】

２１ 元画像
２２ ダウンサンプリング画像
２３ ダウンサンプリング画像
２４ 二値化画像
２５ 頂点
３１ 認識対象の画像
３２ 抽出されたグラフィックコード
３３ サンプリング画像
３４ 二値化画像
６１ ターゲット画像
６２ 放射状の二次元コード
６２１ 第１のコード中心
６３ 点状の二次元コード
６３１ 第２のコード中心
６４ グラフィックコード認識オプション
６５ ターゲット認識位置
６６ ゲームダウンロードインタフェース
９１ ファインダーフレーム
９２ 放射状の二次元コード
９３ 点状の二次元コード
９４ ミニプログラムインタフェース
１２０ 端末
１４０ サーバ
４０１ ステップ
４０２ ステップ
４０３ ステップ
４０４ ステップ
４０５ ステップ
５０１ ステップ
５０２ ステップ
５０３ ステップ
５０４ ステップ
５０５ ステップ
５０６ ステップ
８０１ ステップ
８０２ ステップ
８０３ ステップ
８０４ ステップ
８０５ ステップ
８０６ ステップ
１０１０ 第１の残差ネットワーク
１０２０ 第２の残差ネットワーク
１０３０ 第３の残差ネットワーク
１０４０ 拡張畳み込みネットワーク
１１１０ ボトルネック残差ブロック
１１２０ 第１の残差ブロック
１２１０ ボトルネック残差ブロック
１２２０ 第２の残差ブロック
１５０１ 画像表示モジュール
１５０２ 位置取得モジュール
１５０３ ターゲット決定モジュール
１５０４ 結果表示モジュール
１６０１ プロセッサ
１６０２ メモリ
１６０３ 周辺機器インタフェース
１６０４ 無線周波数回路
１６０５ タッチディスプレイ
１６０６ カメラ
１６０７ オーディオ回路
１６０８ 測位コンポーネント
１６０９ 電源
１６１０ センサ
１６１１ 加速度センサ
１６１２ ジャイロセンサ
１６１３ 圧力センサ
１６１４ 指紋センサ
１６１５ 光学センサ
１６１６ 近接センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】