特許7186857 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

特許7186857サービス処理方法および関連装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1a
1b
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-01

(45)【発行日】2022-12-09

(54)【発明の名称】サービス処理方法および関連装置

(51)【国際特許分類】

H04M 1/00 20060101AFI20221202BHJP

H04M 1/72454 20210101ALI20221202BHJP

H04M 1/72412 20210101ALI20221202BHJP

G06Q 10/10 20120101ALI20221202BHJP

G06Q 20/32 20120101ALI20221202BHJP

【ＦＩ】

H04M1/00 R

H04M1/72454

H04M1/72412

G06Q10/10

G06Q20/32 300

【請求項の数】 13

(21)【出願番号】P 2021506473

(86)(22)【出願日】2019-05-09

(65)【公表番号】

(43)【公表日】2021-12-16

(86)【国際出願番号】 CN2019086127

(87)【国際公開番号】W WO2020103404

(87)【国際公開日】2020-05-28

【審査請求日】2021-03-01

(31)【優先権主張番号】201811392818.7

(32)【優先日】2018-11-21

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩＴＥＣＨＮＯＬＯＧＩＥＳＣＯ．，ＬＴＤ．

【住所又は居所原語表記】ＨｕａｗｅｉＡｄｍｉｎｉｓｔｒａｔｉｏｎＢｕｉｌｄｉｎｇ，Ｂａｎｔｉａｎ，ＬｏｎｇｇａｎｇＤｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８１２９，Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100133569

【弁理士】

【氏名又は名称】野村進

(72)【発明者】

【氏名】▲蒋▼ ▲ハン▼

(72)【発明者】

【氏名】任超

(72)【発明者】

【氏名】▲錢▼ 良芳

【審査官】吉村伊佐雄

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１２１７３２（ＵＳ，Ａ１）

【文献】特表２０１５－５０６１４１（ＪＰ，Ａ）

【文献】特開２０１７－０５８９４２（ＪＰ，Ａ）

【文献】特開２０１６－１８１２８６（ＪＰ，Ａ）

【文献】特表２０１４－５１３３３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２７０６０５（ＵＳ，Ａ１）

【文献】特表２０１８－５０１５６２（ＪＰ，Ａ）

【文献】欧州特許出願公開第３１２５１５６（ＥＰ，Ａ１）

【文献】中国特許出願公開第１０４２６８５４７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

３／０４８－３／０４８９５

Ｇ０６Ｑ１０／１０

Ｇ０６Ｑ２０／３２

Ｈ０４Ｍ１／００

１／２４－１／８２

９９／００

(57)【特許請求の範囲】

【請求項1】

サービス処理方法であって、前記方法は、端末デバイスに適用され、前記方法は、
処理されるデータを取得するステップであって、前記処理されるデータは、センサによって収集されるデータを使用して生成され、前記センサは、画像センサを備え、前記処理されるデータは、前記画像センサによって収集される画像データを使用して生成される処理される画像データを含む、ステップと、
シーン識別モデルを使用して、前記処理されるデータに対応するターゲットシーンを決定するステップであって、前記シーン識別モデルは、センサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ステップと、
前記ターゲットシーンに基づいてサービス処理手法を決定するステップと
を含む、サービス処理方法であって、
前記ターゲットシーンに基づいて前記サービス処理手法を決定する前記ステップは、
前記ターゲットシーンが運転シーンである場合に、前記運転シーンに基づいて、前記サービス処理手法は前記端末デバイスの運転モードを有効にすること、および／または前記端末デバイスのアプリケーションプログラムの運転モード機能を有効にすること、および／または前記端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示することであると決定するステップであって、前記端末デバイスの前記運転モードは、ナビゲーション機能および音声アシスタントを含み、前記運転モードアイコンは、前記運転モードを有効にするために使用される、ステップ
を含む、
サービス処理方法。

【請求項2】

シーン識別モデルを使用して、前記処理されるデータに対応するターゲットシーンを決定する前記ステップは、
前記シーン識別モデルのAIアルゴリズムを使用して、前記処理されるデータに対応する前記ターゲットシーンを決定するステップであって、前記AIアルゴリズムは、ディープラーニングアルゴリズムを含み、前記AIアルゴリズムは、AIプロセッサ上で実行される、ステップ
を含む、請求項1に記載の方法。

【請求項3】

前記センサは、集音器および第1のサブセンサのうちの少なくとも一方をさらに備え、前記処理されるデータは、処理される音声データおよび第1の処理されるサブデータのうちの少なくとも一方を含み、前記処理される音声データは、前記集音器によって収集される音声データを使用して生成され、前記第1の処理されるサブデータは、前記第1のサブセンサによって収集される第1のサブセンサデータを使用して生成される、
請求項2に記載の方法。

【請求項4】

前記処理されるデータを取得する前記ステップは、
画像収集の事前設定された実行時間が到来したときに、前記画像センサを使用して前記画像データを取得するステップであって、前記画像データは、前記画像センサによって収集されるデータである、ステップ、および
画像信号プロセッサを使用して、前記処理される画像データを取得するステップであって、前記処理される画像データは、前記画像データに基づいて前記画像信号プロセッサによって生成される、ステップ、ならびに／または
音声収集の事前設定された実行時間が到来したときに、前記集音器を使用して前記音声データを取得するステップ、および
音声信号プロセッサを使用して、前記処理される音声データを取得するステップであって、前記処理される音声データは、前記音声データに基づいて前記音声信号プロセッサによって生成される、ステップ、ならびに／または
第1の事前設定された実行時間が到来したときに、前記第1のサブセンサを使用して前記第1のサブセンサデータを取得するステップであって、前記第1のサブセンサデータは、前記第1のサブセンサによって収集されるデータである、ステップ、および
第1のサブセンサプロセッサを使用して前記第1の処理されるサブデータを取得するステップであって、前記第1の処理されるサブデータは、前記第1のサブセンサデータに基づいて前記第1のサブセンサプロセッサによって生成される、ステップ
を含む、請求項3に記載の方法。

【請求項5】

センサおよびプロセッサを備える端末デバイスであって、前記センサは、画像センサを少なくとも備え、
前記プロセッサは、処理されるデータを取得し、前記処理されるデータは、前記センサによって収集されるデータを使用して生成され、前記処理されるデータは、前記画像センサによって収集される画像データを使用して生成される処理される画像データを少なくとも含む、ように構成されており、
前記プロセッサは、シーン識別モデルを使用して、前記処理されるデータに対応するターゲットシーンを決定し、前記シーン識別モデルは、前記センサによって取得されるセンサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ようにさらに構成されており、
前記プロセッサは、前記ターゲットシーンに基づいてサービス処理手法を決定するようにさらに構成されている、端末デバイスであって、
前記コプロセッサは、前記ターゲットシーンが運転シーンである場合に、前記運転シーンに基づいて、前記サービス処理手法は前記端末デバイスの運転モードを有効にすること、および／または前記端末デバイスのアプリケーションプログラムの運転モード機能を有効にすること、および／または前記端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示することであると決定し、前記端末デバイスの前記運転モードは、ナビゲーション機能および音声アシスタントを含み、前記運転モードアイコンは、前記運転モードを有効にするために使用される、ように特に構成されている、
端末デバイス。

【請求項6】

前記プロセッサは、コプロセッサおよびAIプロセッサをさらに備え、
前記プロセッサは、前記シーン識別モデルのAIアルゴリズムを使用して、前記処理されるデータに対応する前記ターゲットシーンを決定し、前記AIアルゴリズムは、ディープラーニングアルゴリズムを含み、前記AIアルゴリズムは、前記AIプロセッサ上で実行される、ように特に構成され、
前記センサは、集音器および第1のサブセンサのうちの少なくとも一方をさらに備え、
前記プロセッサは、画像信号プロセッサ、音声信号プロセッサ、および第1のサブセンサプロセッサのうちの少なくとも1つをさらに備え、
前記画像信号プロセッサは、画像収集の事前設定された実行時間が到来したときに、前記画像センサを使用して前記画像データを取得し、前記画像データは、前記画像センサによって収集されるデータである、ように構成されており、
前記AIプロセッサは、前記画像信号プロセッサを使用して、前記処理される画像データを取得し、前記処理される画像データは、前記画像データに基づいて前記画像信号プロセッサによって生成される、ように特に構成されており、および／または
前記音声信号プロセッサは、音声収集の事前設定された実行時間が到来したときに、前記集音器を使用して音声データを取得するように構成されており、
前記AIプロセッサは、前記音声信号プロセッサを使用して、前記処理される音声データを取得し、前記処理される音声データは、前記音声データに基づいて前記音声信号プロセッサによって生成される、ように特に構成されており、および／または
前記第1のサブセンサプロセッサは、第1の事前設定された実行時間が到来したときに、前記第1のサブセンサを使用して第1のサブセンサデータを取得し、前記第1のサブセンサデータは、前記第1のサブセンサによって収集されるデータである、ように構成されており、
前記コプロセッサは、前記第1のサブセンサプロセッサを使用して第1の処理されるサブデータを取得し、前記第1の処理されるサブデータは、前記第1のサブセンサデータに基づいて前記第1のサブセンサプロセッサによって生成される、ように特に構成されている、請求項5に記載の端末デバイス。

【請求項7】

サービス処理装置であって、前記サービス処理装置は、端末デバイスに適用され、処理されるデータを取得し、前記処理されるデータは、センサによって収集されるデータを使用して生成され、前記センサは、画像センサを少なくとも備え、前記処理されるデータは、前記画像センサによって収集される画像データを使用して生成される処理される画像データを少なくとも含む、ように構成された取得ユニットと、
シーン識別モデルを使用して、前記処理されるデータに対応するターゲットシーンを決定し、前記シーン識別モデルは、センサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ように構成された決定ユニットと
を備え、前記決定ユニットは、前記ターゲットシーンに基づいてサービス処理手法を決定するようにさらに構成されている、サービス処理装置であって、
前記決定ユニットは、前記決定ユニットが前記ターゲットシーンは運転シーンであると決定した場合に、前記運転シーンに基づいて、前記決定ユニットによって、前記サービス処理手法は前記端末デバイスの運転モードを有効にすること、および／または前記端末デバイスのアプリケーションプログラムの運転モード機能を有効にすること、および／または前記端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示することであると決定し、前記端末デバイスの前記運転モードは、ナビゲーション機能および音声アシスタントを含み、前記運転モードアイコンは、前記運転モードを有効にするために使用される、ように特に構成されていること
を含む、
サービス処理装置。

【請求項8】

前記決定ユニットは、前記シーン識別モデルのAIアルゴリズムを使用して、前記処理されるデータに対応する前記ターゲットシーンを決定し、前記AIアルゴリズムは、ディープラーニングアルゴリズムを含み、前記AIアルゴリズムは、AIプロセッサ上で実行される、ように特に構成されていること
を含む、請求項7に記載のサービス処理装置。

【請求項9】

【請求項10】

前記取得ユニットは、画像収集の事前設定された実行時間が到来したときに、前記取得ユニットによって、前記画像センサを使用して前記画像データを取得し、前記画像データは、前記画像センサによって収集されるデータである、ように特に構成されており、
前記取得ユニットは、画像信号プロセッサを使用して、前記処理される画像データを取得し、前記処理される画像データは、前記画像データに基づいて前記画像信号プロセッサによって生成される、ように特に構成されており、および／または
前記取得ユニットは、音声収集の事前設定された実行時間が到来したときに、前記取得ユニットによって、前記集音器を使用して前記音声データを取得するように特に構成されており、
前記取得ユニットは、音声信号プロセッサを使用して、前記処理される音声データを取得し、前記処理される音声データは、前記音声データに基づいて前記音声信号プロセッサによって生成される、ように特に構成されており、および／または
前記取得ユニットは、第1の事前設定された実行時間が到来したときに、前記取得ユニットによって、前記第1のサブセンサを使用して前記第1のサブセンサデータを取得し、前記第1のサブセンサデータは、前記第1のサブセンサによって収集されるデータである、ように特に構成されており、
前記取得ユニットは、第1のサブセンサプロセッサを使用して前記第1の処理されるサブデータを取得し、前記第1の処理されるサブデータは、前記第1のサブセンサデータに基づいて前記第1のサブセンサプロセッサによって生成される、ように特に構成されていること
を含む、請求項9に記載のサービス処理装置。

【請求項11】

命令を含むコンピュータ可読記憶媒体であって、前記命令がコンピュータ上で実行されるとき、前記コンピュータは、請求項1から4のいずれか一項に記載の方法を実行することが可能である、コンピュータ可読記憶媒体。

【請求項12】

命令を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されるとき、前記コンピュータは、請求項1から4のいずれか一項に記載の方法を実行することが可能である、コンピュータプログラム。

【請求項13】

端末デバイスであって、常時オンの画像センサが、前記端末デバイスに構成されており、前記端末デバイスは、請求項1から4のいずれか一項に記載の方法を実施するように構成されている、端末デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2018年11月21日に中国特許庁に提出された、「サービス処理方法および関連装置」と題された中国特許出願第201811392818．7号の優先権を主張し、その全体は、参照によりここに組み込まれる。

【0002】

本出願は、人工知能の分野に関し、特にサービス処理方法および関連装置に関する。

【背景技術】

【0003】

科学技術の発展に伴い、スマートフォンに代表される端末デバイスは、人々の生活においてますます重要な役割を果たしている。例としてスマートフォンが使用される。日常生活において、スマートフォンは、関連するアプリケーションプログラムの機能を実施するか、または情報を取得する目的で2次元コードを含む画像をスキャンするために使用され得る。

【0004】

現在、スマートフォンが画面オフ状態にあるときに、2次元コードをスキャンする動作が実行される必要がある場合、最初に画面がオンにされる必要があり、スマートフォンのロックが解除された後、2次元コードのスキャンを遂行するために、関連するアプリケーションプログラムが操作される必要がある。

【0005】

しかしながら、スマートフォンによって2次元コードを含む画像をスキャンする前述の動作には欠点があり、例えば、操作が複雑であり、インテリジェンスが低い。その結果、ユーザの使用利便性が低下している。

【発明の概要】

【0006】

本出願の実施形態は、端末デバイスに適用されるサービス処理方法および関連装置を提供する。端末デバイスは、端末デバイスのセンサを使用して、処理されるデータを取得し得る。端末デバイスのシーン識別モデルは、処理されるデータに基づいて現在のシーンを決定し、現在のシーンに基づいて、対応するサービス処理手法を決定する。サービス処理手法は、端末デバイスに事前設定されるサービス処理手法であるため、ユーザの操作ステップが簡素化され得、動作インテリジェンスが改善され得、ユーザの使用利便性が改善され得る。

【0007】

前述の技術的問題を解決するために、本出願の実施形態は、以下の技術的解決策を提供する。

【課題を解決するための手段】

【0008】

第1の態様によれば、本出願の一実施形態は、端末デバイスに適用されるサービス処理方法であって、処理されるデータを取得するステップであって、処理されるデータは、センサによって収集されるデータを使用して生成され、センサは、赤外線画像センサを少なくとも含み、処理されるデータは、赤外線画像センサによって収集される画像データを使用して生成される処理される画像データを少なくとも含む、ステップと、シーン識別モデルを使用して、処理されるデータに対応するターゲットシーンを決定するステップであって、シーン識別モデルは、センサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ステップと、ターゲットシーンに基づいてサービス処理手法を決定するステップとを含むサービス処理方法を提供する。

【0009】

本出願では、端末デバイスは、端末デバイスに配置されるか、または端末デバイスに接続されるセンサを使用してデータを収集し、その場合、センサは、赤外線画像センサを少なくとも含み、端末デバイスは、収集されたデータに基づいて、処理されるデータを生成し、その場合、処理されるデータは、赤外線画像センサによって収集された画像データを使用して生成された処理される画像データを少なくとも含む。処理されるデータを取得した後、端末デバイスは、シーン識別モデルを使用して、処理されるデータに対応するターゲットシーンを決定し得、その場合、シーン識別モデルは、収集を通じてセンサによって取得されたデータセット、および異なるデータに対応するシーンタイプセットを使用してオフライントレーニングを通じて取得され、オフライントレーニングは、ディープラーニングフレームワークを使用してモデル設計およびトレーニングを実行することを意味する。現在のターゲットシーンを決定した後、端末デバイスは、ターゲットシーンに基づいて、対応するサービス処理手法を決定し得る。端末デバイスが現在配置されているターゲットシーンは、センサによって収集されたデータおよびシーン識別モデルを使用して決定され得、対応するサービス処理手法は、ターゲットシーンに基づいて決定され、これにより、端末デバイスは、追加の操作を実行することなく、ターゲットシーンに対応するサービス処理手法を自動的に決定し得、その結果、ユーザの使用利便性が改善される。赤外線画像センサは、常時オン（always on）である。技術の発展に伴い、本出願の画像センサは、センサが画像を収集し得るならば、赤外線センサでなくてもよい。赤外線センサが使用されるのは、現在知られているセンサにおいて赤外線センサの消費電力が比較的低いためでしかない。

【0010】

第1の態様の可能な実施態様では、シーン識別モデルを使用して、処理されるデータに対応するターゲットシーンを決定するステップは、シーン識別モデルのAIアルゴリズムを使用して、処理されるデータに対応するターゲットシーンを決定するステップであって、AIアルゴリズムは、ディープラーニングアルゴリズムを含み、AIアルゴリズムは、AIプロセッサ上で実行される、ステップを含む。

【0011】

本出願では、端末デバイスは、シーン識別モデルのAIアルゴリズムを使用して、処理されるデータに対応するターゲットシーンを特に決定する。AIアルゴリズムは、ディープラーニングアルゴリズムを含み、端末デバイスのAIプロセッサ上で実行される。AIプロセッサは、強力な並列計算能力を有し、AIアルゴリズムが実行されるときの高い効率を特徴とするため、シーン識別モデルは、AIアルゴリズムを使用して特定のターゲットシーンを決定し、その場合、AIアルゴリズムは、端末デバイスのAIプロセッサ上で実行され、その結果、シーン識別の効率が改善され、ユーザの使用利便性がさらに改善される。

【0012】

第1の態様の可能な実施態様では、センサは、集音器および第1のサブセンサのうちの少なくとも一方をさらに含み、処理されるデータは、処理される音声データおよび第1の処理されるサブデータのうちの少なくとも一方を含み、処理される音声データは、集音器によって収集される音声データを使用して生成され、第1の処理されるサブデータは、第1のサブセンサによって収集される第1のサブセンサデータを使用して生成される。

【0013】

本出願では、赤外線画像センサに加えて、端末デバイスに配置されるセンサは、集音器および第1のサブセンサのうちの一方をさらに含む。第1のサブセンサは、以下のセンサのうちの1つ以上、加速度センサ、ジャイロスコープ、環境光センサ、近接センサ、および地磁気センサのうちの1つ以上であり得る。集音器は、音声データを収集し、音声データは、処理される音声データを生成するために端末デバイスによって処理される。第1のサブセンサは、第1のサブセンサデータを収集し、第1のサブセンサデータは、処理される第1のサブセンサデータを生成するために端末デバイスによって処理される。端末デバイスは、複数のセンサを使用して複数の次元でデータを収集し、その結果、シーン識別の精度が改善される。

【0014】

第1の態様の可能な実施態様では、処理されるデータを取得するステップは、画像収集の事前設定された実行時間が到来したときに、赤外線画像センサを使用して画像データを取得するステップであって、画像データは、赤外線画像センサによって収集されるデータである、ステップ、および画像信号プロセッサを使用して、処理される画像データを取得するステップであって、処理される画像データは、画像データに基づいて画像信号プロセッサによって生成される、ステップ、ならびに／または音声収集の事前設定された実行時間が到来したときに、集音器を使用して音声データを取得するステップ、および音声信号プロセッサを使用して、処理される音声データを取得するステップであって、処理される音声データは、音声データに基づいて音声信号プロセッサによって生成される、ステップ、ならびに／または第1の事前設定された実行時間が到来したときに、第1のサブセンサを使用して第1のサブセンサデータを取得するステップであって、第1のサブセンサデータは、第1のサブセンサによって収集されるデータである、ステップ、および第1のサブセンサプロセッサを使用して第1の処理されるサブデータを取得するステップであって、第1の処理されるサブデータは、第1のサブセンサデータに基づいて第1のサブセンサプロセッサによって生成される、ステップを含む。

【0015】

本出願では、赤外線画像センサ、集音器、および第1のサブセンサのうちの1つ以上は、それぞれの事前設定された実行時間が到来した後、センサに対応するデータを個別に収集し得る。元のセンサデータが収集された後、端末デバイスは、処理されるセンサデータを生成するために、センサに対応するプロセッサを使用して元のセンサデータを処理する。事前設定される実行時間が設定され、センサが、計時を通じて、データを収集するために起動され、これにより、収集される元データは、センサに対応するプロセッサによって処理され得、その結果、シーン識別モデルによって占められるバッファスペースが低減され、シーン識別モデルの消費電力が低減され、スタンバイモードでの端末デバイスの使用時間が改善される。

【0016】

第1の態様の可能な実施態様では、ターゲットシーンに基づいてサービス処理手法を決定するステップは、ターゲットシーンが2次元コードスキャンシーンである場合に、2次元コードスキャンシーンに基づいて、サービス処理手法は端末デバイスの一次画像センサを起動すること、および／または2次元コードスキャン機能をサポートしている、端末デバイスのアプリケーションプログラムを起動することであると決定するステップを含む。

【0017】

本出願では、端末デバイスの1つ以上のセンサによって収集されたデータに基づいて、センサによって収集されたデータに対応するターゲットシーンは2次元コードスキャンシーンであると決定したとき、端末デバイスは、2次元コードスキャンシーンに対応するサービス処理手法を決定する。サービス処理手法には、端末デバイスの一次画像センサを起動することを含む。端末デバイスは、一次画像センサを使用して2次元コードをスキャンし得る。あるいは、端末デバイスは、2次元コードスキャン機能をサポートしているアプリケーションプログラムを起動し得、例えば、アプリケーションプログラムWeChatを起動し、WeChatで2次元コードスキャン機能を有効にし得る。一次画像センサ、および2次元コードスキャン機能をサポートしているアプリケーションプログラムは両方とも起動されてもよいし、または一次画像センサ、もしくは2次元コードスキャン機能をサポートしているアプリケーションプログラムが、事前設定された命令またはユーザから受信された命令に基づいて起動されてもよい。これは、ここでは限定されない。2次元コードをスキャンすることに加えて、一次画像センサは、バーコードなどの別のアイコンをスキャンするためにさらに使用され得る。これは、ここでは限定されない。シーン識別モデルおよび多次元センサによって収集されたデータを使用して、ターゲットシーンは2次元コードスキャンシーンであると判定した後、端末デバイスは、関連するサービス処理手法を自動的に実行し得、その結果、端末デバイスのインテリジェンスおよびユーザの操作の利便性が改善される。

【0018】

第1の態様の可能な実施態様では、ターゲットシーンに基づいてサービス処理手法を決定するステップは、ターゲットシーンが会議シーンである場合に、会議シーンに基づいて、サービス処理手法は端末デバイスのサイレントモードを有効にすること、および／または端末デバイスのアプリケーションプログラムのサイレント機能を有効にすること、および／または端末デバイスのスタンバイ画面の常時オン表示領域にサイレントモードアイコンを表示することであると決定するステップであって、サイレントモードアイコンは、サイレントモードを有効にするために使用される、ステップを含む。

【0019】

本出願では、端末デバイスの1つ以上のセンサによって収集されたデータに基づいて、センサによって収集されたデータに対応するターゲットシーンは会議シーンであると決定したとき、端末デバイスは、会議シーンに対応するサービス処理手法を決定する。サービス処理手法は、端末デバイスのサイレントモードを有効にすることを含む。端末デバイスがサイレントモードにあるとき、端末デバイス上で実行されているすべてのアプリケーションプログラムは、サイレント状態にある。あるいは、端末デバイスは、端末デバイス上で実行されているアプリケーションプログラムのサイレント機能を有効にし得、例えば、アプリケーションプログラムWeChatのサイレント機能を有効にし得る。この場合、WeChatのアラート音は、サイレントモードに切り替えられる。あるいは、端末デバイスは、端末デバイスのスタンバイ画面の常時オン表示領域にサイレントモードアイコンを表示し得る。端末デバイスは、サイレントモードアイコンを使用してユーザのサイレント動作命令を受信し得、端末デバイスは、サイレント動作命令に応答してサイレントモードを有効にする。シーン識別モデルおよび多次元センサによって収集されたデータを使用して、ターゲットシーンは会議シーンであると判定した後、端末デバイスは、関連するサービス処理手法を自動的に実行し得、その結果、端末デバイスのインテリジェンスおよびユーザの操作の利便性が改善される。

【0020】

第1の態様の可能な実施態様では、ターゲットシーンに基づいてサービス処理手法を決定するステップは、ターゲットシーンが運動シーンである場合に、運動シーンに基づいて、サービス処理手法は端末デバイスの運動モードを有効にすること、および／または端末デバイスのアプリケーションプログラムの運動モード機能を有効にすること、および／または端末デバイスのスタンバイ画面の常時オン表示領域に音楽再生アイコンを表示することであると決定するステップであって、端末デバイスの運動モードは、歩数カウント機能を含み、音楽再生アイコンは、音楽再生を開始または一時停止するために使用される、ステップを含む。

【0021】

本出願では、端末デバイスの1つ以上のセンサによって収集されたデータに基づいて、センサによって収集されたデータに対応するターゲットシーンは運動シーンであると決定したとき、端末デバイスは、運動シーンに対応するサービス処理手法を決定する。サービス処理手法は、端末デバイスの運動モードを有効にすることを含む。端末デバイスが運転モードにあるとき、端末デバイスは、歩数カウントアプリケーションプログラムおよび生理学的データ監視アプリケーションプログラムを起動し、端末デバイスの関連するセンサを使用してユーザの歩数および関連する生理学的データを記録する。あるいは、端末デバイスは、端末デバイスのアプリケーションプログラムの運動モード機能を有効にし得、例えば、アプリケーションプログラムNetEase Cloud Musicの運動機能を有効にし得る。この場合、NetEase Cloud Musicの再生モードは運動モードである。あるいは、端末デバイスは、端末デバイスのスタンバイ画面の常時オン表示領域に音楽再生アイコンを表示し得る。端末デバイスは、音楽再生アイコンを使用してユーザの音楽再生命令を受信し得、端末デバイスは、音楽再生命令に応答して音楽再生を開始または一時停止する。シーン識別モデルおよび多次元センサによって収集されたデータを使用して、ターゲットシーンは運動シーンであると判定した後、端末デバイスは、関連するサービス処理手法を自動的に実行し得、その結果、端末デバイスのインテリジェンスおよびユーザの操作の利便性が改善される。

【0022】

第1の態様の可能な実施態様では、ターゲットシーンに基づいてサービス処理手法を決定するステップは、ターゲットシーンが運転シーンである場合に、運転シーンに基づいて、サービス処理手法は端末デバイスの運転モードを有効にすること、および／または端末デバイスのアプリケーションプログラムの運転モード機能を有効にすること、および／または端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示することであると決定するステップであって、端末デバイスの運転モードは、ナビゲーション機能および音声アシスタントを含み、運転モードアイコンは、運転モードを有効にするために使用される、ステップを含む。

【0023】

本出願では、端末デバイスの1つ以上のセンサによって収集されたデータに基づいて、センサによって収集されたデータに対応するターゲットシーンは運転シーンであると決定したとき、端末デバイスは、運転シーンに対応するサービス処理手法を決定する。サービス処理手法は、端末デバイスの運転モードを有効にすることを含む。端末デバイスが運転モードにあるとき、端末デバイスは、音声アシスタントを起動し、その場合、端末デバイスは、ユーザによって入力された音声命令に基づいて関連する動作を実行し得、端末デバイスは、ナビゲーション機能をさらに有効にし得る。あるいは、端末デバイスは、端末デバイスのアプリケーションプログラムの運転モード機能を有効にし得、例えば、アプリケーションプログラムAmapの運転モード機能を有効にし得る。この場合、NetEase Cloud Musicのナビゲーションモードは運転モードである。あるいは、端末デバイスは、端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示し得る。端末デバイスは、運転モードアイコンを使用してユーザの運転モード命令を受信し得、端末デバイスは、運転モード命令に応答して運転モードを有効にする。シーン識別モデルおよび多次元センサによって収集されたデータを使用して、ターゲットシーンは運転シーンであると判定した後、端末デバイスは、関連するサービス処理手法を自動的に実行し得、その結果、端末デバイスのインテリジェンスおよびユーザの操作の利便性が改善される。

【0024】

第2の態様によれば、本出願の一実施形態は、センサおよびプロセッサを含む端末デバイスを提供する。センサは、赤外線画像センサを少なくとも含む。プロセッサは、処理されるデータを取得し、処理されるデータは、センサによって収集されるデータを使用して生成され、処理されるデータは、赤外線画像センサによって収集される画像データを使用して生成される処理される画像データを少なくとも含む、ように構成される。プロセッサは、シーン識別モデルを使用して、処理されるデータに対応するターゲットシーンを決定し、シーン識別モデルは、センサによって取得されるセンサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ようにさらに構成される。プロセッサは、ターゲットシーンに基づいてサービス処理手法を決定するようにさらに構成される。プロセッサは、第1の態様によるサービス処理方法を実行するようにさらに構成される。

【0025】

第3の態様によれば、本出願の一実施形態は、サービス処理装置であって、サービス処理装置は、端末デバイスに適用され、処理されるデータを取得し、処理されるデータは、センサによって収集されるデータを使用して生成され、センサは、赤外線画像センサを少なくとも含み、処理されるデータは、赤外線画像センサによって収集される画像データを使用して生成される処理される画像データを少なくとも含む、ように構成された取得ユニットと、シーン識別モデルを使用して、処理されるデータに対応するターゲットシーンを決定し、シーン識別モデルは、センサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ように構成された決定ユニットとを含み、決定ユニットは、ターゲットシーンに基づいてサービス処理手法を決定するようにさらに構成される、サービス処理装置を提供する。

【0026】

第3の態様の可能な実施態様では、決定ユニットは、シーン識別モデルのAIアルゴリズムを使用して、処理されるデータに対応するターゲットシーンを決定し、AIアルゴリズムは、ディープラーニングアルゴリズムを含み、AIアルゴリズムは、AIプロセッサ上で実行される、ように特に構成される。

【0027】

第3の態様の可能な実施態様では、センサは、集音器および第1のサブセンサのうちの少なくとも一方をさらに含み、処理されるデータは、処理される音声データおよび第1の処理されるサブデータのうちの少なくとも一方を含み、処理される音声データは、集音器によって収集される音声データを使用して生成され、第1の処理されるサブデータは、第1のサブセンサによって収集される第1のサブセンサデータを使用して生成される。

【0028】

第3の態様の可能な実施態様では、取得ユニットは、画像収集の事前設定された実行時間が到来したときに、取得ユニットによって、赤外線画像センサを使用して画像データを取得し、画像データは、赤外線画像センサによって収集されるデータである、ように特に構成され、取得ユニットは、画像信号プロセッサを使用して、処理される画像データを取得し、処理される画像データは、画像データに基づいて画像信号プロセッサによって生成される、ように特に構成され、および／または取得ユニットは、音声収集の事前設定された実行時間が到来したときに、取得ユニットによって、集音器を使用して音声データを取得するように特に構成され、取得ユニットは、音声信号プロセッサを使用して、処理される音声データを取得し、処理される音声データは、音声データに基づいて音声信号プロセッサによって生成される、ように特に構成され、および／または取得ユニットは、第1の事前設定された実行時間が到来したときに、取得ユニットによって、第1のサブセンサを使用して第1のサブセンサデータを取得し、第1のサブセンサデータは、第1のサブセンサによって収集されるデータである、ように特に構成され、取得ユニットは、第1のサブセンサプロセッサを使用して第1の処理されるサブデータを取得し、第1の処理されるサブデータは、第1のサブセンサデータに基づいて第1のサブセンサプロセッサによって生成される、ように特に構成される。

【0029】

第3の態様の可能な実施態様では、決定ユニットは、決定ユニットがターゲットシーンは2次元コードスキャンシーンであると決定した場合に、2次元コードスキャンシーンに基づいて、決定ユニットによって、サービス処理手法は端末デバイスの一次画像センサを起動すること、および／または2次元コードスキャン機能をサポートしている、端末デバイスのアプリケーションプログラムを起動することであると決定するように特に構成される。

【0030】

第3の態様の可能な実施態様では、決定ユニットは、決定ユニットがターゲットシーンは会議シーンであると決定した場合に、会議シーンに基づいて、決定ユニットによって、サービス処理手法は端末デバイスのサイレントモードを有効にすること、および／または端末デバイスのアプリケーションプログラムのサイレント機能を有効にすること、および／または端末デバイスのスタンバイ画面の常時オン表示領域にサイレントモードアイコンを表示することであると決定し、サイレントモードアイコンは、サイレントモードを有効にするために使用される、ように特に構成される。

【0031】

第3の態様の可能な実施態様では、決定ユニットは、決定ユニットがターゲットシーンは運動シーンであると決定した場合に、運動シーンに基づいて、決定ユニットによって、サービス処理手法は端末デバイスの運動モードを有効にすること、および／または端末デバイスのアプリケーションプログラムの運動モード機能を有効にすること、および／または端末デバイスのスタンバイ画面の常時オン表示領域に音楽再生アイコンを表示することであると決定し、端末デバイスの運動モードは、歩数カウント機能を含み、音楽再生アイコンは、音楽再生を開始または一時停止するために使用される、ように特に構成される。

【0032】

第3の態様の可能な実施態様では、決定ユニットは、決定ユニットがターゲットシーンは運転シーンであると決定した場合に、運転シーンに基づいて、決定ユニットによって、サービス処理手法は端末デバイスの運転モードを有効にすること、および／または端末デバイスのアプリケーションプログラムの運転モード機能を有効にすること、および／または端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示することであると決定し、端末デバイスの運転モードは、ナビゲーション機能および音声アシスタントを含み、運転モードアイコンは、運転モードを有効にするために使用される、ように特に構成される。

【0033】

第5の態様によれば、本出願の一実施形態は、命令を含むコンピュータプログラム製品であって、コンピュータプログラム製品がコンピュータ上で実行されるとき、コンピュータは、第1の態様による記憶ブロック処理方法を実行することが可能である、コンピュータプログラム製品を提供する。

【0034】

第6の態様によると、本出願の一実施形態は、コンピュータ可読記憶媒体であって、コンピュータ可読記憶媒体は、パケット処理命令を記憶しており、命令がコンピュータ上で実行されるとき、コンピュータは、第1の態様による記憶ブロック処理方法を実行することが可能である、コンピュータ可読記憶媒体を提供する。

【0035】

第7の態様によれば、本出願は、チップシステムであって、チップシステムは、前述の態様における機能を実施する際、例えば、前述の方法においてデータおよび／または情報を送信または処理する際にネットワークデバイスをサポートするように構成されたプロセッサを含む、チップシステムを提供する。可能な設計では、チップシステムは、メモリをさらに含む。メモリは、ネットワークデバイスに必要なプログラム命令およびデータを記憶するように構成される。チップシステムは、チップを含み得るし、またはチップおよび別のディスクリートデバイスを含み得る。

【0036】

第8の態様によれば、本出願は、サービス処理方法であって、本方法は、端末デバイスに適用され、常時オンの画像センサが、端末デバイスに構成され、本方法は、データを取得するステップであって、データは、画像センサによって収集される画像データを含む、ステップと、シーン識別モデルを使用して、データに対応するターゲットシーンを決定するステップであって、シーン識別モデルは、センサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、ステップと、ターゲットシーンに基づいてサービス処理手法を決定するステップとを含む、サービス処理方法を提供する。

【0037】

第8の態様の他の実施態様については、第1の態様の前述の実施態様を参照されたい。ここでは詳細は再度説明されない。

【0038】

第9の態様によれば、本出願は、端末デバイスであって、常時オンの画像センサが、端末デバイスに構成され、端末デバイスは、前述の実施態様のいずれか1つの方法を実施するように構成される、端末デバイスを提供する。

【0039】

さらに、第2の態様から第9の態様の実施態様によってもたらされる技術的効果については、第1の態様の実施態様によってもたらされる技術的効果を参照されたい。ここでは詳細は説明されない。

【0040】

前述の技術的解決策から、本出願の実施形態が以下の利点を有することが知られ得る。

【0041】

前述の方法では、端末デバイスは、端末デバイスのセンサを使用して、処理されるデータを取得し得る。端末デバイスのシーン識別モデルは、処理されるデータに基づいて現在のシーンを決定し、現在のシーンに基づいて、対応するサービス処理手法を決定する。サービス処理手法は、端末デバイスに事前設定されるサービス処理手法であるため、ユーザの操作ステップが簡素化され得、動作インテリジェンスが改善され得、ユーザの使用利便性が改善され得る。例えば、端末デバイスは、具体的にはスマートフォンである。スマートフォンが、画面オフ状態にあり、2次元コードを含む画像をスキャンする必要があるとき、スマートフォンは、追加の操作を実行することなく、自動的に、関連するアプリケーションプログラムの機能を実施し得るし、または情報を取得し得、その結果、ユーザの使用利便性が改善される。

【図面の簡単な説明】

【0042】

【図1a】本出願の一実施形態によるシステムアーキテクチャの概略図である。

【図1b】本出願の一実施形態による別のシステムアーキテクチャの概略図である。

【図2】本出願の一実施形態によるサービス処理方法における使用シナリオの概略図である。

【図3】本出願の一実施形態によるサービス処理方法の一実施形態の概略図である。

【図4】本出願の一実施形態による、アプリケーションプログラムをインテリジェントに開始する一実施形態の概略図である。

【図5】本出願の一実施形態による、サービスをインテリジェントに推奨する一実施形態の概略図である。

【図6】本出願の一実施形態によるサービス処理方法の適用シナリオの概略フローチャートである。

【図7】本出願の一実施形態によるコンピュータシステムの概略構造図である。

【図8】本出願の一実施形態によるAIプロセッサの概略構造図である。

【図9】本出願の一実施形態によるサービス処理装置の一実施形態の概略図である。

【発明を実施するための形態】

【0043】

本出願は、サービス処理方法および関連装置を提供する。端末デバイスは、端末デバイスのセンサを使用して、処理されるデータを取得し得る。端末デバイスのシーン識別モデルは、処理されるデータに基づいて現在のシーンを決定し、現在のシーンに基づいて、対応するサービス処理手法を決定する。サービス処理手法は、端末デバイスに事前設定されるサービス処理手法であるため、ユーザの操作ステップが簡素化され得、動作インテリジェンスが改善され得、ユーザの使用利便性が改善され得る。

【0044】

本出願の明細書、特許請求の範囲、および添付の図面において、「第1の」、「第2の」、「第3の」、および「第4の」などの用語（存在する場合）は、同様の対象を区別することを意図されており、必ずしも特定の順序または順番を記述していない。このような仕方で使用されている項目は、適切な状況で交換可能であり、このため、ここで説明されている実施形態は、ここで例示または説明されている順序とは異なる順序で実施され得ることを理解されたい。さらに、「含む」、「有する」、およびこれらの任意の他の変種の用語は、非排他的包含を扱っていることを意味し、例えば、ステップまたはユニットのリストを含むプロセス、方法、システム、製品、またはデバイスは、それらの明示的に列挙されているステップまたはユニットに必ずしも限定されず、明示的に列挙されていない、またはこのようなプロセス、方法、製品、もしくはデバイスに固有である他のステップまたはユニットを含み得る。

【0045】

実施形態が説明される前に、実施形態に現れ得るいくつかの概念が最初に説明される。以下の概念の説明は、実施形態の特定の場合に起因して限定され得るが、それは、本出願が特定の場合に限定されることを示すものではないことを理解されたい。以下の概念の説明はまた、異なる実施形態の特定の場合によって異なり得る。

【0046】

本出願の実施形態の理解を容易にするために、本出願に現れ得るいくつかの概念が最初に説明される。以下の概念の説明は、本出願の特定の場合に起因して限定され得るが、それは、本出願が特定の場合に限定されることを示すものではないことを理解されたい。以下の概念の説明はまた、異なる実施形態の特定の場合によって異なり得る。

【0047】

1．プロセッサ

【0048】

複数のプロセッサ（コアまたは計算ユニットとも呼ばれ得る）は、端末デバイスに配置され、これらのコアは、プロセッサを構成する。本出願の実施形態におけるコアは、主に、異種コアに関連し、これらのコアは、以下のタイプを含むが、これらに限定されない。

【0049】

（1）中央処理装置（central processing unit、CPU）：中央処理装置は、超大規模集積回路であり、コンピュータの計算コア（core）および制御コア（control unit）である。中央処理装置の機能は、主に、コンピュータ命令を解釈し、コンピュータソフトウェアのデータを処理することである。

【0050】

（2）グラフィック処理ユニット（graphics processing unit、GPU）：グラフィック処理ユニットは、ディスプレイコア、ビジュアルプロセッサ、およびディスプレイチップとも呼ばれ、パーソナルコンピュータ、ワークステーション、ゲームコンソール、ならびに一部のモバイル端末デバイス（タブレットコンピュータおよびスマートフォンなど）上で画像計算を特別に実行するマイクロプロセッサである。

【0051】

（3）デジタル信号プロセッサ（digital signal process、DSP）：DSPは、デジタル信号処理技術を実施し得るチップである。DSPチップの内部には、プログラムがデータから分離されたハーバード構造が使用される。DSPチップは、専用のハードウェア乗算器を有し、パイプラインを使用して幅広く動作され、特別なDSP命令を提供し、さまざまなデジタル信号処理アルゴリズムを迅速に実施するために使用され得る。

【0052】

（3．1）画像信号プロセッサ（image signal processor、ISP）：ISPは、画像信号の処理および計算を実施し得るチップである。ISPは、DSPチップの一種であり、主に、画像センサによって出力されたデータに対して後処理を実行するために使用される。主な機能は、線形補正、ノイズ除去、欠陥ピクセル補正、補間、ホワイトバランス、および自動露出などを含む。

【0053】

（3．2）音声信号プロセッサ（audio signal processor、ASP）：ASPは、音声信号の処理および計算を実施し得るチップである。ASPは、DSPチップの一種であり、主に、集音器によって出力されたデータに対して後処理を実行するために使用される。主な機能は、音源定位、音源増強、エコー除去、およびノイズ抑制技術などを含む。

【0054】

（4）AI（artificial intelligence、人工知能）プロセッサ

【0055】

人工知能プロセッサまたはAIアクセラレータとも呼ばれるAIプロセッサは、人工知能アルゴリズムが実行される処理チップであり、通常、特定用途向け集積回路（application specific integrated circuits、ASIC）を使用して実施され、そうでなければフィールドプログラマブルゲートアレイ（field－programmable gate array、FPGA）を使用して実施されてもよいし、またはGPUを使用して実施されてもよい。これは、ここでは限定されない。AIプロセッサは、シストリックアレイ（systolic array）構造を使用する。アレイ構造では、データは、アレイ内の処理ユニット間を所定の「パイプライン」方式で律動的に流れる。データが流れるプロセスでは、すべての処理ユニットが、処理ユニットを流れるデータを並行して処理し、このため、AIプロセッサは、非常に高い並列処理速度に達し得る。

【0056】

AIプロセッサは、具体的には、ニューラルネットワーク処理ユニット（neural－network processing unit、NPU）、テンソル処理ユニット（tensor processing unit、TPU）、インテリジェンス処理ユニット（intelligence processing unit、IPU）、またはGPUなどであり得る。

【0057】

（4．1）ニューラルネットワーク処理ユニット（neural－network processing unit、NPU）：NPUは、回路層で人間のニューロンとシナプスをシミュレートし、ディープラーニング命令セットを使用して大規模なニューロンとシナプスを直接処理し、その場合、1つの命令は、ニューロンのグループの処理を遂行するために使用される。CPUで使用される、記憶と計算が分離されたフォンノイマン構造と比較して、NPUは、シナプス重みを使用して記憶と計算の統合を実施し、その結果、実行効率を大幅に改善する。

【0058】

（4．2）テンソル処理ユニット（tensor processing unit、TPU）：人工知能は、人間の知能をマシンに割り当てることを意図されており、機械学習は、人工知能を実施するための強力な方法である。機械学習は、コンピュータが自動的に学習することを可能にする方法を研究する分野である。TPUは、機械学習に特別に使用されるチップであり、Tensorflowプラットフォーム用のプログラマブル人工知能アクセラレータであり得、本質的に、シストリックアレイ構造を有するアクセラレータである。TPUに設定された命令は、Tensorflowプログラムが変更されたとき、またはアルゴリズムが更新されたときにも実行され得る。TPUは、高スループットで低精度の計算を提供し得、モデルトレーニングではなくモデルの順方向計算に使用され、より高いエネルギー効率（TOPS／w）を有する。TPUは、インテリジェンス処理ユニット（intelligence processing unit、IPU）とも呼ばれ得る。

【0059】

2．センサ

【0060】

複数のセンサ（sensor）が、端末デバイスに配置され、端末デバイスは、これらのセンサを使用して外部情報を取得する。本出願の実施形態におけるセンサは、以下のタイプを含むが、これらに限定されない。

【0061】

（1）赤外線画像センサ（infrared radiation－red green blue image sensor、IR－RGB image sensor）：赤外線画像センサは、CCD（charge－coupled device、電荷結合素子）ユニットまたは標準CMOS（complementary meta－oxide semiconductor、相補型金属酸化膜半導体）ユニットを使用し、色波長セグメントの光および指定された赤外波長セグメントの光のみを通過させるフィルタを使用してフィルタリングを実行し、IR（infrared radiation、赤外線）画像データフローおよびRGB（red blue green、赤緑青）画像データフローを取得するために画像信号プロセッサで分離を実行する。IR画像データフローは、低照度環境で取得される画像データフローであり、分離を通じて取得される2つの画像データフローは、別のアプリケーションによって処理される。

【0062】

（2）加速度センサ（acceleration sensor）：加速度センサは、物体の加速度変化値を測定するように構成されており、通常、X、Y、およびZの3つの方向で測定を実行する。X方向の値は、端末デバイスの水平方向の移動を表し、Y方向の値は、端末デバイスの垂直方向の移動を表し、Z方向の値は、端末デバイスの空間的な垂直方向の移動を表す。実際のシナリオでは、加速度センサは、端末デバイスの移動速度および方向を測定するように構成される。例えば、ユーザが端末デバイスを持って移動するとき、端末デバイスは上下に移動する。このようにして、加速度センサは、加速度が上下方向に変化したことを検出し得、加速度が上下に変化した回数を検出することによって歩数が計算され得る。

【0063】

（3）ジャイロスコープ（gyroscope）：ジャイロスコープは、中心回転軸線を中心とした物体の角速度を測定するためのセンサである。端末デバイスに適用されるジャイロスコープは、微小電気機械システムジャイロスコープ（micro－electro－mechanical－systems gyroscope、MEMS gyroscope）チップである。一般的なMEMSジャイロスコープチップは、3軸ジャイロスコープチップであり、6方向の変位の変化を追跡し得る。3軸ジャイロスコープチップは、端末デバイスのx、y、およびz方向の角加速度の変化値を取得し得、端末デバイスの回転方向を検出するように構成される。

【0064】

（4）環境光センサ（ambient light sensor）：環境光センサは、外光の変化を測定するセンサであり、光電効果に基づいて外光強度の変化を測定する。環境光センサは、端末デバイスに適用され、端末デバイスの表示画面の明るさを調整するように構成される。ただし、表示画面は通常、端末デバイスの最も電力を消費する部分であるため、環境光センサは、画面の明るさの調整を支援するように構成され、その結果、バッテリーの寿命をさらに延ばす。

【0065】

（5）近接センサ（proximity sensor）：近接センサは、赤外線発光ランプおよび赤外線放射線検出器を含む。近接センサは、端末デバイスの送受話器の近くに配置される。端末デバイスが耳に近づくと、システムは、近接センサを使用して、ユーザが通話中であることを知り、次に、ユーザが誤操作によって通話に影響を及ぼすことを防止するために表示画面をオフにする。近接センサの動作原理は以下の通りであり、赤外線発光ランプによって放射された不可視の赤外線が、近くの物体によって反射され、次に赤外線放射線検出器によって検出される。一般に、近赤外スペクトル帯域が、放射される可視赤外光に使用される。

【0066】

（6）地磁気センサ（magnetism sensor）：地磁気センサは、地球磁場の異なる方向の磁束分布が異なることから、地球磁場内の測定対象の異なる運動状態を使用して、地球磁場内の分布変化を検知することによって測定対象のジェスチャおよび運動角度などの情報を示し得る測定装置である。地磁気センサは通常、端末デバイスのコンパスまたはナビゲーションアプリケーションで使用され、ユーザが3次元空間で端末デバイスの特定の方向を計算することによって正確な測位を実施するのに役立つ。

【0067】

3．シーン識別：シーン識別は、コンテキストアウェアネス（context awareness）とも呼ばれ、いわゆるパーベイシブ計算の研究に端を発し、1994年にSchilitによって最初に提案された。コンテキストアウェアネスは、多くの定義を有し、簡単に言うと、センサおよびセンサの関連技術を使用して、コンピュータデバイスが現在のシーンを「認識」することを可能にすることを意味する。また、温度、位置、加速度、音声、および映像など、コンテキストアウェアネスを実行するために使用され得る多くの情報がある。

【0068】

当業者に本出願の解決策をより良く理解させるために、以下では、本出願の実施形態における添付の図面を参照して、本出願の実施形態を説明する。

【0069】

本出願の実施形態で提供されるサービス処理方法は、端末デバイスに適用され得る。端末デバイスは、携帯電話、タブレットコンピュータ（tablet personal computer）、ラップトップコンピュータ（laptop computer）、デジタルカメラ、携帯情報端末（personal digital assistant、略してPDA）、ナビゲーション装置、モバイルインターネットデバイス（mobile internet device、MID）、ウェアラブルデバイス（wearable device）、スマートウォッチ、またはスマートバンドなどであり得る。もちろん、以下の実施形態では、端末デバイスの特定の形態は限定されない。端末デバイスにインストールされ得るシステムは、iOS（登録商標）、Android（登録商標）、Microsoft（登録商標）、Linux（登録商標）、または別のオペレーティングシステムを含み得る。これは、本出願の実施形態では限定されない。

【0070】

例として、Android（登録商標）オペレーティングシステムがインストールされている端末デバイスが使用される。図1aは、本出願の一実施形態によるシステムアーキテクチャの概略図である。端末デバイスは、論理的にハードウェア層、オペレーティングシステム、およびアプリケーション層に分割され得る。ハードウェア層は、メインプロセッサ、マイクロコントローラユニット、モデム、Wi－Fiモジュール、センサ、および測位モジュールなどのハードウェアリソースを含む。アプリケーション層は、1つ以上のアプリケーションプログラムを含む。例えば、アプリケーションプログラムは、ソーシャルタイプのアプリケーション、eコマースタイプのアプリケーション、ブラウザ、マルチメディアタイプのアプリケーション、およびナビゲーションアプリケーションなどの任意のタイプのアプリケーションプログラムであり得るし、またはシーン識別モデルおよび人工知能アルゴリズムなどのアプリケーションプログラムであり得る。オペレーティングシステムは、ハードウェア層とアプリケーション層との間のソフトウェアミドルウェアとして機能し、ハードウェアリソースおよびソフトウェアリソースを管理および制御するアプリケーションプログラムである。

【0071】

メインプロセッサ、センサ、およびWi－Fiモジュールなどのハードウェアリソースに加えて、ハードウェア層は、常時オン（always on、AO）領域をさらに含む。常時オン領域のハードウェアは通常、終日起動される。常時オン領域は、センサ制御センター（sensor hub）、AIプロセッサ、およびセンサなどのハードウェアリソースをさらに含む。sensor hubは、コプロセッサおよびセンサプロセッサを含む。センサプロセッサは、センサによって出力されたデータを処理するように構成される。AIプロセッサおよびセンサプロセッサによって生成されたデータがコプロセッサによってさらに処理された後、コプロセッサは、メインプロセッサとの相互作用関係を確立する。常時オン領域のセンサは、赤外線画像センサ、ジャイロスコープ、加速度センサ、および集音器（mic）などを含む。センサプロセッサは、ミニ画像信号プロセッサ（mini ISP）および音声信号プロセッサ（ASP）を含む。理解を容易にするために、AO領域とハードウェア層との間の接続関係が、図1bに示されている。図1bは、本出願の一実施形態による別のシステムアーキテクチャの概略図である。

【0072】

一実施形態では、オペレーティングシステムは、カーネル、ハードウェア抽象化層（hardware abstraction layer、HAL）、ライブラリおよびランタイム（libraries and runtime）、ならびにフレームワーク（framework）を含む。カーネルは、基礎的なシステムコンポーネントおよびサービス、例えば電源管理、メモリ管理、スレッド管理、およびハードウェアドライバを提供するように構成される。ハードウェアドライバは、Wi－Fiドライバ、センサドライバ、および測位モジュールドライバなどを含む。ハードウェア抽象化層は、カーネルドライバのカプセル化であり、フレームワークに対するインターフェースを提供し、基礎的な実施態様の詳細を保護する。ハードウェア抽象化層は、ユーザスペースで実行され、カーネルドライバは、カーネルスペースで実行される。

【0073】

ライブラリおよびランタイムは、ランタイムライブラリとも呼ばれ、ランタイムの実行可能プログラムによって必要とされるライブラリファイルおよび実行環境を提供する。ライブラリおよびランタイムは、アンドロイドランタイム（android runtime、ART）およびライブラリなどを含む。ARTは、アプリケーションプログラムのバイトコードをマシンコードに変換し得る仮想マシンまたは仮想マシンインスタンスである。ライブラリは、ランタイムの実行可能プログラムへのサポートを提供するプログラムライブラリであり、ブラウザエンジン（webkitなど）、スクリプト実行エンジン（JavaScriptエンジンなど）、およびグラフィック処理エンジンなどを含む。

【0074】

フレームワークは、アプリケーション層のアプリケーションプログラムにさまざまな基本的な共通コンポーネントおよびサービス、例えばウィンドウ管理および位置管理を提供するように構成される。フレームワークは、電話マネージャ、リソースマネージャ、および位置マネージャなどを含み得る。

【0075】

上で説明された、オペレーティングシステムのコンポーネントの機能は、メモリに記憶されたプログラムを実行することによってメインプロセッサにより実施され得る。

【0076】

当業者は、端末が図1aおよび図1bのそれぞれに示されているものよりも少ないまたは多いコンポーネントを含み得、図1aおよび図1bのそれぞれに示されている端末デバイスが、本出願の実施形態で開示されている複数の実施態様により関連するコンポーネントのみを含んでいることを理解し得る。

【0077】

図2は、本出願の一実施形態によるサービス処理方法における使用シナリオの概略図である。この使用シナリオでは、プロセッサが端末デバイスに配置されており、プロセッサは少なくとも2つのコアを含む。少なくとも2つのコアは、CPUおよびAIプロセッサなどを含み得る。AIプロセッサは、ニューラルネットワーク処理ユニット、テンソル処理ユニット、およびGPUなどを含むが、これらに限定されない。これらのチップは、コアと呼ばれ得、端末デバイス上で計算を実行するように構成される。異なるコアは、異なるエネルギー効率比を有する。

【0078】

端末デバイスは、特定のアルゴリズムを使用してさまざまなアプリケーションサービスを実行し得る。本出願の本実施形態における方法は、シーン識別モデルを実行することに関する。端末デバイスは、シーン識別モデルを使用して、端末デバイスを現在使用しているユーザが配置されているターゲットシーンを決定し、決定されたターゲットシーンに基づいてさまざまなサービス処理手法を実行し得る。

【0079】

端末デバイスを現在使用しているユーザが配置されているターゲットシーンを決定するとき、端末デバイスは、さまざまなセンサによって収集されたデータおよびシーン識別モデルのAIアルゴリズムに基づいてさまざまなターゲットシーンを決定する。

【0080】

したがって、本出願の実施形態は、サービス処理方法を提供する。本出願の以下の実施形態は、主に、端末デバイスが、さまざまなセンサによって収集されたデータおよびシーン識別モデルに基づいて、端末デバイスが配置されているターゲットシーンおよびターゲットシーンに対応するサービス処理手法を決定する場合を説明する。

【0081】

以下では、一実施形態を使用して本出願における技術的解決策をさらに説明する。図3は、本出願の一実施形態によるサービス処理方法の一実施形態の概略図である。本出願の本実施形態によるサービス処理方法の実施形態は、以下のステップを含む。

【0082】

301．タイマを開始する。

【0083】

本実施形態では、端末デバイスは、センサに接続されたタイマを開始し、タイマは、タイマに接続されたセンサによってデータを収集するための時間間隔を示すために使用される。AO領域内のコプロセッサは、シーン識別モデルの要求に基づいて、異なるセンサに対応するタイマの計時期間を設定する。例えば、加速度センサに対応するタイマの計時期間は、100ミリ秒（millisecond、ms）に設定され得る。これは、加速度データが100msの間隔で収集され、加速度データが、端末デバイスで指定されたバッファ領域に記憶されることを意味する。

【0084】

ここでの計時期間は、シーン識別モデルの要求に基づいて設定され得るし、またはセンサ寿命、バッファスペース使用量、および消費電力などの複数の要求に基づいて設定され得る。例えば、赤外線画像センサの場合、赤外線画像センサは、比較的高いフレーム周波数で赤外線画像を収集し得るが、長期間の連続的な収集は、センサの損傷の原因となり、寿命に影響を及ぼす。さらに、長期間の連続的な収集は、赤外線画像センサの消費電力の増加の原因となり、端末デバイスの使用時間を短くする。前述の場合、およびシーン識別モデルの実際の要求に基づいて、赤外線画像センサに接続されたタイマの計時期間は、例えば、顔認識シナリオでは、以下の値に設定され得、画像収集の計時期間は、1／6秒に設定され得る、すなわち、1秒あたり10フレームの画像が収集されるか、または別の識別シナリオでは、画像収集の計時期間は、1秒に設定され得る、すなわち、1秒あたり1フレームの画像が収集される。あるいは、端末デバイスが低電力モードにあるとき、端末デバイスの使用時間を延ばすために、計時期間は1秒に設定されてもよい。消費電力が少なく、収集されたデータが比較的小さな記憶スペースを占める一部のセンサの場合、リアルタイムでデータを収集するために、センサの計時期間は設定されなくてもよい。

【0085】

タイマは、センサに接続された、計時機能を有するチップであってもよいし、またはセンサの内蔵計時機能であってもよいことに留意されたい。これは、ここでは限定されない。

【0086】

302．センサはデータを収集する。

【0087】

本実施形態では、タイマの計時期間が満了した後、タイマに接続されたセンサは、起動されてデータを収集するように命令される。データを収集するために使用される必要がある特定のセンサは、シーン識別モデルに基づいてコプロセッサによって選択される。例えば、端末デバイスが、端末デバイスが2次元コードスキャンシーンに現在あるかどうかを判定する必要があるとき、端末デバイスは、赤外線画像センサを使用してデータを収集する。赤外線画像センサによって収集されたデータを処理および計算した後、端末デバイスは、シーン識別プロセスを遂行し得る。端末デバイスが、端末デバイスが会議シーンに現在あるかどうかを判定する必要があるとき、赤外線画像センサを使用してデータを収集することに加えて、端末デバイスはさらに、集音器を使用してデータを収集する必要がある。赤外線画像センサによって収集されたデータおよび集音器によって収集されたデータを処理および計算した後、端末デバイスは、シーン識別プロセスを遂行し得る。

【0088】

例として赤外線画像センサが使用される。赤外線画像センサに対応する計時期間が満了した後、赤外線画像センサは、画像データを収集する。画像データは、IR画像およびRGB画像を含む。IR画像は、グレースケール画像であり、低照度環境で撮影された外部情報を表示するために使用され得る。RGB画像は、カラー画像であり、非低照度環境で撮影された外部情報を表示するために使用され得る。赤外線画像センサは、その後のステップで使用するために、収集された画像データをバッファスペースに記憶する。

【0089】

赤外線画像センサによって収集される画像データを取得するには、2つの異なる適用シナリオがある。第1の適用シナリオは、第1の赤外線画像センサが、端末デバイスのホーム画面と同じ平面内にある、端末デバイスのハウジング内に配置されることである。第2の適用シナリオは、第2の赤外線画像センサが、端末デバイスの一次画像センサと同じ平面内にある、端末デバイスのハウジング内に配置されることである。以下では、2つの場合について個別に説明する。

【0090】

第1の適用シナリオでは、第1の赤外線画像センサは、端末デバイスのホーム画面に投影された画像データを収集し得る。例えば、ユーザが端末デバイスを使用して自画像を撮る操作を実行する場合、端末デバイスのホーム画面と同じ平面に配置された第1の赤外線画像センサが、ユーザの顔画像データを収集し得る。

【0091】

第2の適用シナリオでは、第2の赤外線画像センサは、端末デバイスの一次画像センサに投影された画像データを収集し得る。例えば、ユーザが端末デバイスの一次画像センサを使用して2次元コードをスキャンする操作を実行する場合、端末デバイスの一次画像センサと同じ平面に配置された第2の赤外線画像センサが、2次元コードの画像データを収集し得る。

【0092】

第1の赤外線画像センサと第2の赤外線センサの両方が同じ端末デバイスに配置され得ることに留意されたい。配置方法およびデータ収集方法は、前述の方法と同様であり、ここでは詳細は再度説明されない。

【0093】

集音器は、端末デバイスのハウジング上の任意の位置に配置されてもよく、通常、16キロヘルツのサンプリング周波数で、端末デバイスが配置されている環境の音声データを収集する。

【0094】

加速度センサは、端末デバイス内部のalways on領域に配置され、集積回路間（inter－integrated circuit、I2C）またはシリアルペリフェラルインターフェース（serial peripheral interface、SPI）SPIを使用してsensor hubに接続され、通常、±2重力（gravity、G）から±16重力（gravity、G）までの加速度測定範囲を提供し、その場合、収集される加速度データの精度は、16ビット（bit）未満である。

【0095】

センサによって収集されたデータは、処理のためにセンサプロセッサもしくはシーン識別モデルに直接送信されてもよいし、またはバッファ領域に記憶されてもよく、その場合、センサプロセッサまたはシーン識別モデルは、処理のためにバッファ領域内のセンサデータを読み出すことに留意されたい。これは、ここでは限定されない。

【0096】

303．センサプロセッサはデータを処理する。

【0097】

本実施形態では、センサがデータを収集した後、センサに対応するデジタル信号プロセッサとも呼ばれる、センサに対応するセンサプロセッサが、シーン識別モデルでのその後の使用のために、処理されるデータを生成するために、収集されたデータに対してデータ前処理を実行し得る。

【0098】

例として、赤外線画像センサに対応するセンサプロセッサminiISPが使用される。赤外線画像センサによって収集された画像データを取得した後、miniISPは、画像データを処理する。例えば、センサによって収集された画像データの解像度（image resolution）が640ピクセル×480ピクセルである場合、miniISPは、320ピクセル×240ピクセルの処理される画像データを生成するために画像データに対して圧縮処理を実行し得る。miniISPは、画像データに対して自動露出（automatic exposure、AE）処理をさらに実行し得る。前述の処理方法に加えて、miniISPは、画像データに含まれる輝度情報に基づいて、画像データで処理される必要のある画像を自動的に選択するようにさらに構成され得る。例えば、miniISPが、現在の画像が低照度環境で収集されていると判定した場合、IR画像は、低照度環境ではRGB画像よりも多くの画像詳細情報を含むため、miniISPは、処理のために画像データにおいてIR画像を選択する。

【0099】

すべてのセンサデータがセンサプロセッサによって処理される必要はなく、例えば、加速度センサによって収集された加速度データは、シーン識別モデルで直接使用されてもよいことが理解され得る。ステップ303は、任意選択のステップである。

【0100】

304．ターゲットシーンを決定する。

【0101】

本実施形態では、端末デバイスは、センサによって収集されたデータ、および／またはセンサプロセッサによって実行された処理を通じて取得された処理されるデータを使用してシーン識別モデルに基づいて、対応するターゲットシーンを決定する。シーン識別モデルは、コプロセッサおよびAIプロセッサ上で実行され、シーン識別モデルのAIアルゴリズムは、AIプロセッサ上で実行される。異なるセンサによって収集されたデータに関して、データがシーン識別モデルで流れる方向および順番が異なる。例えば、画像データに基づく処理を通じてminiISPによって生成された処理される画像データおよび音声データに基づいてASPによって生成された処理される音声データは、最初に、AIプロセッサ上で実行される、シーン識別モデルのAIアルゴリズムにロードされ、次に、コプロセッサが、AIプロセッサの計算結果に基づいてターゲットシーンを決定する。収集を通じて加速度センサによって生成された加速度データは、最初に、コプロセッサによって処理され、次に、AIプロセッサ上で実行される、シーン識別モデルのAIアルゴリズムにロードされる。最後に、コプロセッサは、AIプロセッサの計算結果に基づいてターゲットシーンを決定する。

【0102】

シーン識別モデルは、2つの部分を含む。第1の部分は、AIアルゴリズムである。AIアルゴリズムは、収集を通じてセンサによって取得されるデータセットと、処理を通じてセンサプロセッサによって取得される処理されるデータセットとを含む。ニューラルネットワークモデルは、オフライントレーニングを通じて取得される。第2の部分は、AIアルゴリズムの計算結果に基づいてターゲットシーンを決定することであり、これは、コプロセッサによって遂行される。画像データには、通常、畳み込みニューラルネットワーク（convolutional neural network、CNN）が使用される。音声データには、通常、ディープニューラルネットワーク（deep neural network、DNN）／再帰型ニューラルネットワーク（recurrent neural network、RNN）／長短期記憶（長短期記憶、LSTM）ネットワークが使用される。異なるデータには、異なるディープニューラルネットワークアルゴリズムが使用され得、特定のアルゴリズムタイプは限定されない。

【0103】

CNNは、人工ニューロンが部分的なカバレッジ範囲で周囲のユニットに応答し得るフィードフォワードニューラルネットワークであり、大規模画像処理の観点から優れたパフォーマンスを発揮する。CNNは、1つ以上の畳み込み層および完全に接続された層（古典的なニューラルネットワークに対応する）を上部に含み、相関重みおよびプーリング層（pooling layer）も含む。この構造は、CNNが入力データの2次元構造を使用することを可能にする。CNNの畳み込み層の畳み込みカーネルは、画像を畳み込む。畳み込みは、特定のパラメータのフィルタを使用して画像をスキャンし、画像の特徴値を抽出することである。

【0104】

オフライントレーニングは、TensorflowまたはCaffe（convolutional architecture for fast feature embedding）などのディープラーニングフレームワークでモデル設計およびトレーニングを実行することを意味する。

【0105】

例として赤外線画像センサが使用される。端末デバイスには、赤外線画像データが適用され得る複数のシーン識別モデル、例えば、2次元コードスキャンシーン識別モデル、コードがスキャンされるシーン識別モデル、および自画像シーン識別モデルがある。端末デバイスには、1つ以上のシーン識別モデルが適用され得る。以下で説明が個別に提供される。

【0106】

2次元コードスキャンシーン識別モデルでは、オフライントレーニングを通じて取得され、AIプロセッサにロードされるニューラルネットワークモデルは、CNNアルゴリズムおよびセンサを使用して100，000枚の2次元コード画像および100，000枚の非2次元コード画像を収集し、画像を個別にマークする（2次元コードありまたは2次元コードなし）。tensorflowでトレーニングが実行された後、ニューラルネットワークモデルおよび関連パラメータが取得される。次に、第2の赤外線画像センサによって収集された画像データが、ネットワーク導出のためにニューラルネットワークモデルに入力され、これにより、画像が2次元コードを含むかどうかの結果が取得され得る。あるいは、2次元コードスキャンシーン識別モデルでは、オフライントレーニング中に、収集された画像が、2次元画像に加えてバーコード画像などの別のアイコンである可能性がある場合、2次元コードスキャンシーン識別モデルは、端末デバイスによって取得された画像がバーコードなどを含むかどうかの結果を識別するためにさらに使用され得ることに留意されたい。

【0107】

コードがスキャンされるシーン識別モデルでは、オフライントレーニングを通じて取得され、AIプロセッサにロードされるニューラルネットワークモデルは、CNNアルゴリズムおよびセンサを使用して、コードスキャンデバイスを含む100，000枚の画像およびコードスキャンデバイスを含まない100，000枚の画像を収集する。コードスキャンデバイスを含む画像は、スキャナ、スキャンガン、スマートフォン、またはスマートバンドなどのウェアラブルデバイスのスキャン部分を含む、センサによって収集された画像データである。例としてスマートフォンが使用される。画像がスマートフォンの一次画像センサを含む場合、画像は、コードスキャンデバイスを含む画像である。ニューラルネットワークモデルは、画像を個別にマークする（コードスキャンデバイスありまたはコードスキャンデバイスなし）。tensorflowでトレーニングが実行された後、ニューラルネットワークモデルおよび関連パラメータが取得される。次に、第1の赤外線画像センサによって収集された画像データが、ネットワーク導出のためにニューラルネットワークモデルに入力され、これにより、画像がコードスキャンデバイスを含むかどうかの結果が取得され得る。

【0108】

自画像シーン識別モデルでは、オフライントレーニングを通じて取得され、AIプロセッサにロードされるニューラルネットワークモデルは、CNNアルゴリズムおよびセンサを使用して、人間の顔を含む100，000枚の画像および人間の顔を含まない100，000枚の画像を収集する。人間の顔を含む画像は、人間の顔の一部または全体を含む画像である。ニューラルネットワークモデルは、画像を個別にマークする（人間の顔ありまたは人間の顔なし）。tensorflowでトレーニングが実行された後、ニューラルネットワークモデルおよび関連パラメータが取得される。次に、第1の赤外線画像センサによって収集された画像データが、ネットワーク導出のためにニューラルネットワークモデルに入力され、これにより、画像が人間の顔を含むかどうかの結果が取得され得る。

【0109】

赤外線画像センサによって収集された画像データを使用してターゲットシーンを決定することに加えて、端末デバイスは、複数のセンサによって収集されたデータ、例えば、集音器によって収集された音声データおよび加速度センサによって収集された加速度データを使用してターゲットシーンをさらに決定し得ることに留意されたい。例えば、画像データ、音声データ、および加速度データは、端末デバイスが現在配置されているシーンが運動シーンであるかどうかを判定するために使用され得るし、または複数のタイプのデータは、端末デバイスが現在配置されているシーンが運転シーンであるかどうかを判定するために使用される。

【0110】

特定の使用されるアルゴリズム、オフライントレーニングで使用されるディープラーニングプラットフォーム、およびオフライントレーニング中にセンサによって収集されるデータサンプルの量は、特に限定されない。

【0111】

305．サービス処理方法を決定する。

【0112】

本実施形態では、コプロセッサがターゲットシーンを決定した後、コプロセッサが、ターゲットシーンに対応するサービス処理方法を決定してもよいし、またはコプロセッサが、決定されたターゲットシーンをメインプロセッサに送信してもよく、メインプロセッサが、ターゲットシーンに対応するサービス処理方法を決定する。

【0113】

異なるシーンに応じて、複数の異なる対応するサービス処理方法がある。例えば、ターゲットシーンが運転シーンである場合、端末デバイスは、運転シーンに基づいて、サービス処理手法が端末デバイスの運転モードを有効にすること、および／もしくは端末デバイスのアプリケーションプログラムの運転モード機能を有効にすることであると決定し、ならびに／または端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示する。端末の運転モードは、ナビゲーション機能および音声アシスタントを含み、運転モードアイコンは、運転モードを有効にするために使用される。端末デバイスの運転モードを有効にすること、および端末デバイスのアプリケーションプログラムの運転モード機能を有効にすることは、メインプロセッサによって実行されるステップである。端末デバイスのスタンバイ画面の常時オン表示領域に運転モードアイコンを表示することは、コプロセッサによって実行されるステップである。

【0114】

本出願の本実施形態では、サービス処理方法が提供される。端末デバイスは、従来のセンサ、赤外線画像センサ、および集音器などの複数のセンサを使用して外部の多次元情報を収集し、その結果、端末デバイスの認識能力が改善される。AIプロセッサはAIアルゴリズムに最適化された専用チップであるため、端末デバイスは、AIプロセッサを使用することによってAIアルゴリズムの実行速度を大幅に改善し、端末デバイスの消費電力を低減し得る。コプロセッサは、端末デバイスのalways on領域で動作し、メインプロセッサを起動しなくても機能し得るため、端末デバイスは、画面オフ状態でもシーン識別を実行し得る。

【0115】

次に、図3に対応する実施形態に基づいて、以下が、すなわち、端末デバイスが異なるシナリオにおいて、端末デバイスが配置されているターゲットシーンと、ターゲットシーンに対応するサービス処理手法とを決定することが、個別に説明される。

【0116】

図3に対応する実施形態に基づいて、図4は、本出願の一実施形態による、アプリケーションプログラムをインテリジェントに開始する一実施形態の概略図である。本出願の本実施形態による、アプリケーションプログラムをインテリジェントに開始する実施形態は、以下のステップを含む。

【0117】

401．タイマを開始する。

【0118】

本実施形態では、ステップ401は、図3のステップ301と同様であり、ここでは詳細は再度説明されない。

【0119】

402．センサによって収集されるデータを取得する。

【0120】

本実施形態では、ステップ402は、図3のステップ302と同様であり、ここでは詳細は再度説明されない。

【0121】

403．センサプロセッサはデータを処理する。

【0122】

本実施形態では、ステップ403は、図3のステップ303と同様であり、ここでは詳細は再度説明されない。

【0123】

404．端末デバイスが配置されているシーンがターゲットシーンであるかどうかを判定する。

【0124】

本実施形態では、センサによって収集されたデータに基づいて、端末デバイスが配置されているシーンがターゲットシーンであるかどうかを判定するための方法は、図3のステップ304の方法と同様であり、ここでは詳細は再度説明されない。

【0125】

端末デバイスが、現在に取得されたデータに基づいて、端末デバイスが配置されているシーンはターゲットシーンであると判定した場合、端末デバイスは、ステップ405に進む。端末デバイスが、現在に取得されたデータに基づいて、端末デバイスが配置されているシーンはターゲットシーンではないと判定した場合、端末デバイスは、ステップ401に進み、次にセンサによって収集されるデータを取得し処理するのを待機する。

【0126】

405．ターゲットアプリケーションプログラムを起動する。

【0127】

本実施形態では、端末デバイスが、センサによって収集されたデータに基づいて、端末デバイスが現在配置されているターゲットシーンを決定した後、端末デバイスは、ターゲットシーンに対応するターゲットアプリケーションプログラムを起動し得る。

【0128】

例えば、端末デバイスが、現在のシーンは運動シーンであると判定した後、端末デバイスは、Amapなどのナビゲーションアプリケーションプログラムを起動し得るし、または端末デバイスのユーザの生理学的データを監視するために健康監視アプリケーションプログラムを起動し得るし、または音楽再生アプリケーションプログラムを起動し、音楽を自動的に再生し得る。

【0129】

ステップ404で赤外線画像データが適用され得る3つのシーン識別モデルに対応する例として、赤外線画像センサが使用される。以下で説明が個別に提供される。

【0130】

端末デバイスが、計算結果に基づいて、現在の画像がコードスキャンデバイスを含むことを知ったとき、端末デバイスは、端末デバイスが2次元コードスキャンシーンに現在配置されていると判定し得る。この場合、端末デバイスは、一次画像センサに関連付けられたアプリケーションプログラムを自動的に起動し、一次画像センサを起動し、ホーム画面、例えばカメラアプリケーションプログラムをオンにし得る。あるいは、端末デバイスは、2次元コードスキャン機能を有するアプリケーションプログラムを起動し、さらに、アプリケーションプログラムの2次元コードスキャン機能を有効にする。例えば、端末デバイスは、ブラウザアプリケーションプログラムの「スキャン」機能を有効にし、その場合、「スキャン」機能は、2次元コード画像をスキャンし、スキャンを通じて取得されたデータを使用のためにブラウザに提供するために使用される。

【0131】

端末デバイスが、計算結果に基づいて、現在の画像がコードスキャンデバイスを含むことを知ると、端末デバイスは、端末デバイスがコードがスキャンされるシーンに現在配置されていると判定し得る。この場合、端末デバイスは、2次元コードおよび／またはバーコードを有するアプリケーションプログラムを起動し、端末デバイスのホーム画面を自動的にオンにした後、アプリケーションプログラムの2次元コードおよび／またはバーコードをホーム画面上に表示し得る。例えば、現在の画像がコードスキャンデバイスを含むと判定すると、端末デバイスは、端末デバイスのホーム画面をオンにし、支払いアプリケーションプログラムの支払い2次元コードおよび／またはバーコードを表示し、その場合、支払いアプリケーションプログラムは、AlipayまたはWeChatであり得る。

【0132】

端末デバイスが、計算結果に基づいて、現在の画像が人間の顔を含むことを知ると、端末デバイスは、端末デバイスが自画像シーンに現在配置されていると判定し得る。この場合、端末デバイスは、ホーム画面と同じ平面内にある二次画像センサを起動し、二次画像センサに関連付けられたアプリケーションプログラムを自動的に起動し、例えば、カメラアプリケーションプログラムの自画像機能を有効にし、ホーム画面をオンにし、カメラアプリケーションプログラムの自画像機能インターフェースをホーム画面上に表示し得る。

【0133】

本出願の本実施形態では、端末デバイスは、赤外線画像センサを使用することに基づいて現在のシーンを自動的に識別し、識別されたシーンに基づいて、ターゲットシーンに対応するアプリケーションプログラムをインテリジェントに起動し得、その結果、ユーザの操作の利便性が改善される。

【0134】

図3に対応する実施形態に基づいて、図5は、本出願の一実施形態による、サービスをインテリジェントに推奨する一実施形態の概略図である。本出願の本実施形態による、サービスをインテリジェントに推奨する実施形態は、以下のステップを含む。

【0135】

501．タイマを開始する。

【0136】

本実施形態では、ステップ501は、図3のステップ301と同様であり、ここでは詳細は再度説明されない。

【0137】

502．センサによって収集されるデータを取得する。

【0138】

本実施形態では、ステップ502は、図3のステップ302と同様であり、ここでは詳細は再度説明されない。

【0139】

503．センサプロセッサはデータを処理する。

【0140】

本実施形態では、ステップ503は、図3のステップ303と同様であり、ここでは詳細は再度説明されない。

【0141】

504．端末デバイスが配置されているシーンがターゲットシーンであるかどうかを判定する。

【0142】

【0143】

端末デバイスが、現在に取得されたデータに基づいて、端末デバイスが配置されているシーンはターゲットシーンであると判定した場合、端末デバイスは、ステップ505に進む。端末デバイスが、現在に取得されたデータに基づいて、端末デバイスが配置されているシーンはターゲットシーンではないと判定した場合、端末デバイスは、ステップ501に進み、次にセンサによって収集されるデータを取得し処理するのを待機する。

【0144】

505．ターゲットサービスを推奨する。

【0145】

本実施形態では、端末デバイスが、センサによって収集されたデータに基づいて、端末デバイスが現在配置されているターゲットシーンを決定した後、端末デバイスは、ターゲットシーンに対応するターゲットサービスを推奨し得る。以下では、ターゲットサービスを推奨するための特定の方法を説明する。

【0146】

端末デバイスが配置されているターゲットシーンを決定した後、端末デバイスは、ターゲットシーンに対応するターゲットサービスを端末デバイスのユーザに推奨し得、例えば、ターゲットサービスの機能エントリを端末デバイスの常時オン表示（always on display、AOD）領域に表示し、ターゲットサービスに含まれるアプリケーションプログラムのプログラムエントリを端末デバイスのAOD領域に表示し、ターゲットサービスを自動的に有効にし、ターゲットサービスに含まれるアプリケーションプログラムを自動的に起動する。

【0147】

例えば、端末デバイスが、赤外線画像センサ、集音器、および加速度センサなどのセンサセットによって収集されたデータに基づいて、現在のシーンは、会議シーンまたはスリープシーンなど、端末デバイスが配置されている環境が比較的静かであるシーンであると判定したとき、端末デバイスは、サイレントアイコンをAOD領域に表示し得る。端末デバイスは、サイレントアイコンに対するユーザの動作命令を受信することによってサイレント機能を有効にし得る。サイレント機能は、端末デバイス内のすべてのアプリケーションプログラムの音量を0に設定することである。サイレントアイコンをAOD領域に表示することに加えて、端末デバイスは、バイブレーションアイコンをAOD領域にさらに表示し得る。端末デバイスは、バイブレーションアイコンに対するユーザの動作命令を受信することによってバイブレーション機能を有効にし得る。バイブレーション機能は、端末デバイス内のすべてのアプリケーションプログラムの音量を0に設定し、端末デバイス内のすべてのアプリケーションプログラムのアラート音をバイブレーションモードに設定することである。15分などの期間内に端末デバイスがAOD領域内の対応するアイコンの動作命令を受信しなかった場合、端末デバイスは、サイレント機能またはバイブレーション機能を自動的に有効にし得る。

【0148】

端末デバイスが、現在のシーンは運動シーンであると判定したとき、端末デバイスは、音楽再生アプリケーションプログラムアイコンをAOD領域に表示し得る。端末デバイスは、音楽再生アプリケーションプログラムアイコンに対するユーザの動作命令を受信することによって音楽再生アプリケーションプログラムを起動し得る。

【0149】

本出願の本実施形態では、端末デバイスは、画面オフ状態などの低電力状態でサービスを推奨し得、ディープラーニングアルゴリズムを使用してコンテキストアウェアネスの精度を改善するために画像データ、音声データ、および加速度データなどの複数のタイプのセンサデータをコンテキストアウェアネスデータとして使用し得、その結果、ユーザの操作の利便性が改善される。

【0150】

図3、図4、および図5に対応する実施形態に基づいて、図6は、本出願の一実施形態によるサービス処理方法の適用シナリオの概略フローチャートである。本出願の本実施形態によるサービス処理方法の適用シナリオは、以下のステップを含む。

【0151】

ステップS1．端末デバイスがBluetoothを介してピアデバイスに接続されているとき、ユーザは、マークを使用して、Bluetoothを介して端末デバイスに現在接続されているピアデバイスが車両であるかどうかを示し得る。ピアデバイスが車両としてマークされた後、端末デバイスがBluetoothを介してピアデバイスに接続されるたびに、端末デバイスは、Bluetoothを介して端末デバイスに現在接続されているピアデバイスは車両であると判定し得る。

【0152】

端末デバイスのAO領域内のコプロセッサは、通常10秒の期間の間隔で端末デバイスのBluetooth接続ステータスを取得する。

【0153】

ステップS2．端末デバイスが車両のBluetoothに接続されているかどうかを判定する。

【0154】

現在のBluetooth接続ステータスを取得した後、端末デバイスは、Bluetoothを介して端末デバイスに接続されているピアデバイスを端末デバイスが現在有するかどうかを知り得る。Bluetoothを介して端末デバイスに接続されているピアデバイスを端末デバイスが現在有する場合、端末デバイスは、Bluetoothを介して端末デバイスに現在接続されているピアデバイスがユーザによって設定された車両識別子を有するかどうかをさらに判定する。ピアデバイスがユーザによって設定された車両識別子を有する場合、端末デバイスは、端末デバイスが車両のBluetoothに現在接続されていると判定し、ステップS8に進み得る。端末デバイスが、Bluetoothが接続されていない状態に現在あるか、またはBluetoothを介して端末デバイスに接続されているピアデバイスがユーザによって設定された車両識別子を有さない場合、端末デバイスは、ステップS3に進む。

【0155】

ステップS3．端末デバイスは、端末デバイス上で実行されているタクシー配車ソフトウェアに関連するデータを取得し、タクシー配車ソフトウェアに関連するデータに基づいて、タクシー配車ソフトウェアが現在起動されているかどうか、すなわち、ユーザがタクシー配車ソフトウェアを現在使用しているかどうかを判定する。タクシー配車ソフトウェアに関連するデータに基づいて、ユーザがタクシー配車ソフトウェアを現在使用していると判定した場合、端末デバイスは、ステップS9に進む。タクシー配車ソフトウェアに関連するデータに基づいて、ユーザがタクシー配車ソフトウェアを現在使用していないと判定した場合、端末デバイスは、ステップS4に進む。

【0156】

ステップS4．端末デバイスは、加速度センサおよびジャイロスコープを使用して加速度データおよび角速度データを収集し、収集された加速度データおよび収集された角速度データに対してデータ前処理を実行し、その場合、データ前処理は、データのリサンプリングを実行することを含み、例えば、加速度センサによって収集される元の加速度データのサンプリングレートは、100ヘルツ（hz）であり、データのリサンプリング後に取得される加速度データのサンプリングレートは、1ヘルツである。リサンプリング後に取得されるデータの特定のサンプリングレートは、シーン識別モデルに適用されるニューラルネットワークモデルのサンプルのサンプリングレートに依存し、一般にサンプルのサンプリングレートと一致する。

【0157】

端末デバイスは、前処理されたデータを端末デバイスのランダムアクセスメモリ（random access memory、RAM）に記憶する。RAMは、ダブルデータレート同期ダイナミックランダムアクセスメモリ（double data rate、DDR）、DDR2、DDR3、DDR4、および将来発売されるDDR5を含む。

【0158】

ステップS5．端末デバイスのシーン識別モデルは、RAMに記憶されている前処理された加速度データおよび前処理された角速度データを取得し、シーン識別モデルは、前処理された加速度データおよび前処理された角速度データに基づいて、端末デバイスが運転シーンに現在あるかどうかを判定し、はいの場合、端末デバイスは、ステップS6に進み、またはいいえの場合、端末デバイスは、ステップS9に進む。

【0159】

ステップS6．端末デバイスが、加速度データおよび角速度データに基づいて、端末デバイスは運転シーンに現在あると判定した後、加速度データおよび角速度データに基づいて実行されたシーン識別の結果の信頼性は高くないため、端末デバイスはさらに、シーン識別を実行するために他のセンサデータを取得する必要がある。端末デバイスは、赤外線画像センサによって収集された画像データおよび集音器によって収集された音声データを取得し、収集された画像データおよび収集された音声データを端末デバイスのRAMに記憶するか、またはminiISPおよびASPがそれに対応して、収集された画像データおよび収集された音声データを処理した後で、処理された画像データおよび処理された音声データを端末デバイスのRAMに記憶する。

【0160】

ステップS7．端末デバイスは、RAM内の画像データおよび音声データを取得し、シーン識別のために画像データおよび音声データをシーン識別モデルにロードし、画像データおよび音声データに基づいて、端末デバイスが運転シーンに現在あるかどうかを判定し、はいの場合、端末デバイスは、ステップS8に進み、またはいいえの場合、端末デバイスは、ステップS9に進む。

【0161】

ステップS8．端末デバイスは、運転シーンアイコンをAOD領域に表示し、その場合、運転シーンアイコンは、端末デバイスの運転シーン機能エントリである。端末デバイスが、運転シーンアイコンを使用してユーザによってトリガされた動作命令を受信した後、端末デバイスは、運転シーンモードを有効にし、例えば、ナビゲーションアプリケーションプログラムを起動し、端末デバイスに表示されている文字のサイズを拡大し、音声操作アシスタントを起動する。音声操作アシスタントは、ユーザの音声命令に基づいて端末デバイスの動作を制御し得、例えば、ユーザの音声命令に基づいて電話番号をダイヤルする動作を実行し得る。

【0162】

ステップS9．端末デバイスは、運転シーン識別動作を終了する。

【0163】

この解決策では、端末デバイスは、端末デバイスの多くのセンサと、加速度データ、角速度データ、画像データ、および音声データなどのさまざまな次元のデータと、人工知能アルゴリズムとを使用して、現在のシーンが運転シーンであるかどうかを判定し、その結果、運転シーン識別の精度が改善される。

【0164】

図7は、本出願の一実施形態によるコンピュータシステムの概略構造図である。コンピュータシステムは、端末デバイスであり得る。図に示されているように、コンピュータシステムは、通信モジュール710、センサ720、ユーザ入力モジュール730、出力モジュール740、プロセッサ750、音声／映像入力モジュール760、メモリ770、および電源780を含む。さらに、本実施形態で提供されるコンピュータシステムは、AIプロセッサ790をさらに含み得る。

【0165】

通信モジュール710は、コンピュータシステムが通信システムまたは別のコンピュータシステムと通信することを可能にし得る少なくとも1つのモジュールを含み得る。例えば、通信モジュール710は、有線ネットワークインターフェース、ブロードキャスト受信モジュール、移動通信モジュール、無線インターネットモジュール、ローカルエリア通信モジュール、および位置（または測位）情報モジュールのうちの1つ以上を含み得る。複数のモジュールはそれぞれ、従来技術では複数の実施態様を有し、本出願では詳細は1つずつ説明されない。

【0166】

センサ720は、システムの現在の状態、例えば、オン／オフ状態、位置、システムがユーザと接触しているかどうか、方向、および加速／減速を検知し得る。さらに、センサ720は、システムの動作を制御するために使用される検知信号を生成し得る。センサ720は、赤外線画像センサ、集音器、加速度センサ、ジャイロスコープ、環境光センサ、近接センサ、および地磁気センサのうちの1つ以上を含む。

【0167】

ユーザ入力モジュール730は、入力されたデジタル情報、文字情報、または接触タッチ操作／非接触ジェスチャを受信し、システムのユーザ設定および機能制御に関連する信号入力などを受信するように構成される。ユーザ入力モジュール730は、タッチパネルおよび／または別の入力デバイスを含む。

【0168】

出力モジュール740は、ユーザによって入力される情報、ユーザに提供される情報、またはシステムのさまざまなメニューインターフェースなどを表示するように構成された表示パネルを含む。任意選択で、表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）または有機発光ダイオード（organic light－emitting diode、OLED）などの形態で構成されてもよい。一部の他の実施形態では、タッチパネルが、タッチ表示画面を形成するために表示パネルを覆い得る。さらに、出力モジュール740は、音声出力モジュール、アラーム、および触覚モジュールなどをさらに含み得る。

【0169】

音声／映像入力モジュール760は、音声信号または映像信号を入力するように構成される。音声／映像入力モジュール760は、カメラおよびマイクロフォンを含み得る。

【0170】

電源780は、プロセッサ750の制御下で外部電力および内部電力を受け取り、システムのさまざまなコンポーネントの動作に必要な電力を提供し得る。

【0171】

プロセッサ750は、1つ以上のプロセッサを含み、プロセッサ750は、コンピュータシステムのメインプロセッサである。例えば、プロセッサ750は、中央処理装置およびグラフィック処理ユニットを含み得る。本出願では、中央処理装置は、複数のコアを有し、マルチコアプロセッサである。複数のコアは、1つのチップに統合され得るし、またはそれぞれ独立したチップであり得る。

【0172】

メモリ770は、コンピュータプログラムを記憶し、コンピュータプログラムは、オペレーティングシステムプログラム772およびアプリケーションプログラム771などを含む。典型的なオペレーティングシステムは、マイクロソフトのWindowsまたはアップルのMacOSなどの、デスクトップコンピュータまたはノートブックコンピュータで使用されるシステムを含み、また、グーグルによって開発されたLinux（登録商標）ベースのアンドロイド（Android（登録商標））システムなどの、モバイル端末で使用されるシステムを含む。前述の実施形態で提供される方法は、ソフトウェアによって実施され得、オペレーティングシステムプログラム772の特定の実施態様と考えられ得る。

【0173】

メモリ770は、以下のタイプのうちの1つ以上、すなわち、フラッシュ（flash）メモリ、ハードディスクタイプのメモリ、マイクロマルチメディアカードタイプのメモリ、カードタイプのメモリ（例えば、SDメモリもしくはXDメモリ）、ランダムアクセスメモリ（random access memory、RAM）、スタティックランダムアクセスメモリ（static RAM、SRAM）、読み出し専用メモリ（read only memory、ROM）、電気的に消去可能なプログラマブル読み出し専用メモリ（electrically erasable programmable read－only memory、EEPROM）、プログラマブル読み出し専用メモリ（programmable ROM、PROM）、リプレイ保護メモリブロック（replay protected memory block、RPMB）、磁気メモリ、磁気ディスク、または光ディスクのうちの1つ以上であり得る。一部の他の実施形態では、メモリ770は、インターネット内のネットワーク記憶デバイスであり得る。システムは、インターネット内のメモリ770に対して更新動作、読み出し動作、または別の動作を実行し得る。

【0174】

プロセッサ750は、メモリ770内のコンピュータプログラムを読み出し、次にコンピュータプログラムによって定義された方法を実行するように構成される。例えば、プロセッサ750は、システムでオペレーティングシステムを実行し、オペレーティングシステムのさまざまな機能を実施するためにオペレーティングシステムプログラム772を読み出すか、またはシステムでアプリケーションを実行するために1つ以上のアプリケーションプログラム771を読み出す。

【0175】

メモリ770は、コンピュータプログラムに加えて他のデータ773をさらに記憶する。

【0176】

AIプロセッサ790は、コプロセッサとしてプロセッサ750に実装され、プロセッサ750によってAIプロセッサ790に割り当てられたタスクを実行するように構成される。本実施形態では、AIプロセッサ790は、シーン識別においていくつかの複雑なアルゴリズムを実施するためにシーン識別モデルによって作動され得る。具体的には、シーン識別モデルのAIアルゴリズムが、プロセッサ750の複数のコア上で実行される。次に、プロセッサ750は、AIプロセッサ790を作動させ、AIプロセッサ790によって実施された結果が、プロセッサ750に返される。

【0177】

モジュール間の接続関係は一例にすぎない。本出願の任意の実施形態で提供される方法はまた、別の接続方法で端末デバイスに適用され得、例えば、すべてのモジュールが、バスを使用して接続される。

【0178】

本出願の本実施形態では、端末デバイスに含まれるプロセッサ750は、以下の機能、すなわち、
処理されるデータを取得する機能であって、処理されるデータは、センサによって収集されるデータを使用して生成され、センサは、赤外線画像センサを少なくとも含み、処理されるデータは、赤外線画像センサによって収集される画像データを使用して生成される処理される画像データを少なくとも含む、機能と、
シーン識別モデルを使用して、処理されるデータに対応するターゲットシーンを決定する機能であって、シーン識別モデルは、センサデータセットおよびシーンタイプセットを使用してトレーニングを通じて取得される、機能と、
ターゲットシーンに基づいてサービス処理手法を決定する機能と
をさらに有する。

【0179】

プロセッサ750は、以下のステップ、すなわち、
シーン識別モデルのAIアルゴリズムを使用して、処理されるデータに対応するターゲットシーンを決定するステップであって、AIアルゴリズムは、ディープラーニングアルゴリズムを含み、AIアルゴリズムは、AIプロセッサ790上で実行される、ステップを実行するように特に構成される。

【0180】