特表 2024-516570 データ処理方法、装置、コンピュータ機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-16

(54)【発明の名称】データ処理方法、装置、コンピュータ機器及びコンピュータプログラム

(51)【国際特許分類】

   G06F 16/907 20190101AFI20240409BHJP

   G06F 16/906 20190101ALI20240409BHJP

   G06Q 50/22 20240101ALI20240409BHJP

【ＦＩ】

G06F16/907

G06F16/906

G06Q50/22

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023562668

(86)(22)【出願日】2022-06-20

(85)【翻訳文提出日】2023-10-19

(86)【国際出願番号】 CN2022099810

(87)【国際公開番号】W WO2023000891

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】202110821632.4

(32)【優先日】2021-07-20

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】511115778

【氏名又は名称】北京捜狗科技▲発▼展有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ドゥアン，ウェンジュン

(72)【発明者】

【氏名】ビー，ジンロン

(72)【発明者】

【氏名】リー，メイ

(72)【発明者】

【氏名】モン，ファンボー

(72)【発明者】

【氏名】ポン，ユン

(72)【発明者】

【氏名】リウ，カイ

【テーマコード（参考）】

5B175

5L099

【Ｆターム（参考）】

5B175DA10

5B175FA03

5B175FB03

5L099AA13

(57)【要約】

データ処理方法、装置、コンピュータ機器及び記憶媒体を提供している。前記方法は、処理対象となる手話動作データを取得するステップ（１０１）と、事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行って、前記手話動作データに対応する手話注釈シーケンスを決定するステップ（１０２）であって、前記手話注釈シーケンスは前記手話動作データに対応する各基本手話要素の注釈情報を含むステップ（１０２）と、前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行するステップ（１０３）と、を含む。

【特許請求の範囲】

【請求項1】

データを処理する方法であって、コンピュータ機器によって実行され、前記方法は、
処理対象となる手話動作データを取得するステップと、
事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行って、前記手話動作データに対応する手話注釈シーケンスを決定するステップであって、前記手話注釈シーケンスは前記手話動作データに対応する各基本手話要素の注釈情報を含むステップと、
前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行するステップと、を含むことを特徴とする方法。

【請求項2】

前記事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行う前に、前記方法は、
データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得するステップと、
前記基本手話要素及び各基本手話要素に対応する要素タイプに基づいて、手話注釈体系を構築するステップであって、前記手話注釈体系は各基本手話要素の各要素タイプに対応する注釈情報を含むステップと、をさらに含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記基本手話要素は、左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報のうちの少なくとも１つを含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得するステップは、
データベースにおける各手話動作データをトラバースして、各手話動作データに対して動作分解を行って、各手話動作データに対応する重要部位、及び前記重要部位の動作特徴を決定するステップと、
前記データベースにおける、各手話動作データに対応する重要部位及び重要部分の動作特徴に対して分類処理を行って、少なくとも２つのクラスタを取得するステップであって、各クラスタは１つの基本手話要素に対応するステップと、
各クラスタに含まれる動作特徴に基づいて、前記クラスタに対応する基本手話要素の要素タイプを決定するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項5】

前記動作特徴は、回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行って、前記手話動作データに対応する手話注釈シーケンスを決定するステップは、
前記手話動作データに対して要素分析を行って、前記手話動作データに対応する第１の基本手話要素、前記第１の基本手話要素の第１の要素タイプ及び第１のタイムスタンプを決定するステップと、
事前構築された手話注釈体系に基づいて前記第１の基本手話要素の第１の注釈情報及び前記第１の要素タイプの第２の注釈情報を決定するステップと、
前記第１のタイムスタンプ、前記第１の注釈情報及び前記第２の注釈情報に基づいて、前記手話動作データに対応する手話注釈シーケンスを決定するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項7】

前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行するステップは、
前記手話注釈シーケンスに基づいて、前記手話動作データに対応する手話動作を実行するように、事前構築された３次元人物モデルを駆動するステップを含むことを特徴とする請求項１に記載の方法。

【請求項8】

前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行するステップは、
前記手話注釈シーケンスに基づいて、前記手話動作データに対して手話翻訳処理を行って、前記手話動作データに対応するターゲットテキストシーケンスを取得するステップを含むことを特徴とする請求項１に記載の方法。

【請求項9】

データを処理する方法であって、コンピュータ機器によって実行され、前記方法は、
翻訳対象となるテキストシーケンスに対して単語分割処理を行って、前記テキストシーケンスに対応する自然語彙シーケンスを取得するステップと、
前記自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び前記第２の基本手話要素に対応する第２の要素タイプを決定するステップと、
前記第２の基本手話要素及び前記第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成するステップと、
手話注釈体系に基づいて前記手話要素シーケンスに対応する手話注釈シーケンスを決定するステップと、
前記手話注釈シーケンスに基づいて前記テキストシーケンスに対して手話翻訳処理を行って、前記テキストシーケンスに対応する手話動作を取得するステップと、を含むことを特徴とする方法。

【請求項10】

データを処理する装置であって、前記装置は、
処理対象となる手話動作データを取得する手話動作データ取得モジュールと、
事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行って、前記手話動作データに対応する手話注釈シーケンスを決定する手話注釈シーケンス決定モジュールであって、前記手話注釈シーケンスは前記手話動作データに対応する各基本手話要素の注釈情報を含む手話注釈シーケンス決定モジュールと、
前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行する操作処理実行モジュールと、を含むことを特徴とする装置。

【請求項11】

前記装置は、
データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得する基本手話要素決定モジュールと、
前記基本手話要素及び各基本手話要素に対応する要素タイプに基づいて、手話注釈体系を構築する手話注釈体系構築モジュールであって、前記手話注釈体系は各基本手話要素の各要素タイプに対応する注釈情報を含む手話注釈体系構築モジュールと、をさらに含むことを特徴とする請求項１０に記載の装置。

【請求項12】

前記基本手話要素は、左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報のうちの少なくとも１つを含むことを特徴とする請求項１１に記載の装置。

【請求項13】

前記基本手話要素決定モジュールは、
データベースにおける各手話動作データをトラバースして、各手話動作データに対して動作分解を行って、各手話動作データに対応する重要部位、及び前記重要部位の動作特徴を決定する動作データ分析サブモジュールと、
前記データベースにおける、各手話動作データに対応する重要部位及び重要部分の動作特徴に対して分類処理を行って、少なくとも２つのクラスタを取得する動作特徴分類サブモジュールであって、各クラスタは１つの基本手話要素に対応する動作特徴分類サブモジュールと、
各クラスタに含まれる動作特徴に基づいて、前記クラスタに対応する基本手話要素の要素タイプを決定する要素タイプ決定サブモジュールと、を含むことを特徴とする請求項１１に記載の装置。

【請求項14】

前記動作特徴は、回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含むことを特徴とする請求項１３に記載の装置。

【請求項15】

データを処理する装置であって、前記装置は、
翻訳対象となるテキストシーケンスに対して単語分割処理を行って、前記テキストシーケンスに対応する自然語彙シーケンスを取得する単語分割処理モジュールと、
前記自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び前記第２の基本手話要素に対応する第２の要素タイプを決定する第２の要素決定モジュールと、
前記第２の基本手話要素及び前記第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成する要素シーケンス生成モジュールと、
手話注釈体系に基づいて前記手話要素シーケンスに対応する手話注釈シーケンスを決定する手話注釈シーケンス取得モジュールと、
前記手話注釈シーケンスに基づいて前記テキストシーケンスに対して手話翻訳処理を行って、前記テキストシーケンスに対応する手話動作を取得する翻訳処理モジュールと、を含むことを特徴とする装置。

【請求項16】

コンピュータプログラムを記憶しているメモリ；及び
１つ又は複数のプロセッサーを含むコンピュータ機器であって、
前記コンピュータプログラムは前記プロセッサーによって実行されると、前記１つ又は複数のプロセッサーに、請求項１～９の何れか１項に記載の方法を実行させることを特徴とするコンピュータ機器。

【請求項17】

コンピュータに、請求項１～９の何れか１項に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年０７月２０日にて中国特許庁に提出され、出願番号が２０２１１０８２１６３２．４であり、出願の名称が「データ処理方法、装置及びデータ処理用装置」である中国特許出願の優先権を主張して、その全ての内容は本出願に援用されている。

【0002】

本出願は、コンピュータ技術分野に関して、特にデータ処理方法、装置、コンピュータ機器及びコンピュータプログラムに関する。

【背景技術】

【0003】

手話は聴覚障害があるか、又は話すことができない特別ユーザーがコミュニケーションを行う方式の１つであるが、健常者のユーザーは一般的に手話を了解していないため、特別ユーザーと一般ユーザーとの間のコミュニケーションは非常に困難である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

伝統方法において、一般ユーザーと特別ユーザーとは手話翻訳ツール又は手話合成ツールを使用してコミュニケーションを行う。ところが、実際適用において、視覚言語として、手話は同一手話語彙に対して、異なる表現者が表現する手話動作は、大きな差が存在し、且つ汎用手話の普及時間が遅いため、北と南の地域差が存在し、従来の手話翻訳ツール又は手話合成ツールの処理結果の正確さが低い。

【0005】

本出願が提供する各種の実施例は、データ処理方法、装置、コンピュータ機器及びコンピュータプログラムを提供している。

【課題を解決するための手段】

【0006】

１つの態様によれば、本出願はデータ処理方法を提供し、コンピュータ機器によって実行され、前記方法は、
処理対象となる手話動作データを取得するステップと、
事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行って、前記手話動作データに対応する手話注釈シーケンスを決定するステップであって、前記手話注釈シーケンスは前記手話動作データに対応する各基本手話要素の注釈情報を含むステップと、
前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行するステップと、を含む。

【0007】

別の態様によれば、本出願はデータ処理装置をさらに提供し、前記装置は、
処理対象となる手話動作データを取得する手話動作データ取得モジュールと、
事前構築された手話注釈体系に基づいて前記手話動作データに対して要素分析を行って、前記手話動作データに対応する手話注釈シーケンスを決定する手話注釈シーケンス決定モジュールであって、前記手話注釈シーケンスは前記手話動作データに対応する各基本手話要素の注釈情報を含む手話注釈シーケンス決定モジュールと、
前記手話注釈シーケンスに基づいて前記手話動作データに対して操作処理を実行する操作処理実行モジュールと、を含む。

【0008】

別の態様によれば、本出願はデータ処理方法を提供し、コンピュータ機器によって実行され、前記方法は、
翻訳対象となるテキストシーケンスに対して単語分割処理を行って、前記テキストシーケンスに対応する自然語彙シーケンスを取得するステップと、
前記自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び前記第２の基本手話要素に対応する第２の要素タイプを決定するステップと、
前記第２の基本手話要素及び前記第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成するステップと、
手話注釈体系に基づいて前記手話要素シーケンスに対応する手話注釈シーケンスを決定するステップと、
前記手話注釈シーケンスに基づいて前記テキストシーケンスに対して手話翻訳処理を行って、前記テキストシーケンスに対応する手話動作を取得するステップと、を含む。

【0009】

別の態様によれば、本出願はデータ処理装置をさらに提供し、前記装置は、
翻訳対象となるテキストシーケンスに対して単語分割処理を行って、前記テキストシーケンスに対応する自然語彙シーケンスを取得する単語分割処理モジュールと、
前記自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び前記第２の基本手話要素に対応する第２の要素タイプを決定する第２の要素決定モジュールと、
前記第２の基本手話要素及び前記第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成する要素シーケンス生成モジュールと、
手話注釈体系に基づいて前記手話要素シーケンスに対応する手話注釈シーケンスを決定する手話注釈シーケンス取得モジュールと、
前記手話注釈シーケンスに基づいて前記テキストシーケンスに対して手話翻訳処理を行って、前記テキストシーケンスに対応する手話動作を取得する翻訳処理モジュールと、を含む。

【0010】

別の態様によれば、本出願はコンピュータ機器をさらに提供し、メモリ及び１つ又は複数のプロセッサーを含み、前記メモリにはコンピュータ可読指令が記憶され、前記コンピュータ可読指令は前記プロセッサーによって実行されると、前記１つ又は複数のプロセッサーに、上記のデータ処理方法のステップを実行させる。

【0011】

別の態様によれば、本出願は１つ又は複数の不揮発性可読記憶媒体をさらに提供し、コンピュータ可読指令が記憶され、前記コンピュータ可読指令は１つ又は複数のプロセッサーによって実行されると、前記１つ又は複数のプロセッサーに、上記のデータ処理方法のステップを実現させる。

【0012】

別の態様によれば、本出願はコンピュータプログラムをさらに提供し、コンピュータ可読指令を含み、前記コンピュータ可読指令はプロセッサーによって実行されると、上記のデータ処理方法のステップを実現する。

【0013】

本出願の１つ又は複数の実施例の細部について、以下の図面及び記載において提出する。明細書、図面及び請求の範囲によって、本出願の他の特徴、目的及び利点は分かりやすくなる。

【図面の簡単な説明】

【0014】

本出願の実施例の技術案をより明らかに説明するために、以下、本出願の実施例の記載の必要な図面を簡単に紹介し、明らかに、以下に記載の図面は本出願のいくつかの実施例に過ぎず、当業者にとって、進歩性に値する労働をしないことを前提として、これらの図面に基づいて他の図面を取得できる。

【図1A】本出願の実施例が提供するデータ処理方法の応用環境図である。

【図1B】本出願の実施例が提供するデータ処理方法のフローチャートである。

【図1C】本出願の実施例が提供するデータ処理方法のフローチャートである。

【図2A】本出願の実施例が提供するデータ処理装置の構造ブロック図である。

【図2B】本出願の実施例が提供するデータ処理装置の構造ブロック図である。

【図3】本出願の実施例が提供するコンピュータ機器の構造概略図である。

【図4】本出願の実施例が提供するコンピュータ機器の構造概略図である。

【発明を実施するための形態】

【0015】

以下、本出願の実施例の図面を結合して、本出願の実施例の技術案を明らか且つ完全に記載し、明らかに、記載される実施例は全ての実施例ではなく、本出願の一部の実施例である。本出願の実施例に基づいて、当業者が進歩性に値する労働をしないことを前提として、取得した他の全ての実施例は何れも本出願の保護範囲に属している。

【0016】

本出願の実施例が提供するデータ処理方法は、図１Ａの応用環境に適用可能である。端末１０は、ネットワークを介してサーバー２０と通信する。データ記憶システムはサーバー２０の処理対象となるデータを記憶する。データ記憶システムはサーバー２０に集積されてもよいし、クラウド又は他のサーバーに収容されてもよい。

【0017】

具体的に、端末１０は、処理対象となる手話動作データを取得し、事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行って、手話動作データに対応する手話注釈シーケンスを決定し、手話注釈シーケンスは手話動作データに対応する各基本手話要素の注釈情報を含み、手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行する。端末１０はサーバー２０から事前構築された手話注釈体系を取得して、手話注釈シーケンスをサーバー２０に送信し、サーバー２０は手話注釈シーケンスを記憶する。

【0018】

いくつかの実施例において、端末１０はサーバー２０に手話動作データ処理要求を送信し、手話動作データ処理要求には、処理対象となる手話動作データが含まれ、サーバー２０は手話動作データ処理要求から処理対象となる手話動作データを取得し、事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行って、手話動作データに対応する手話注釈シーケンスを決定し、手話注釈シーケンスは手話動作データに対応する各基本手話要素の注釈情報を含み、手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行する。サーバー２０は手話注釈シーケンスを端末１０に送信してもよいし、手話注釈シーケンスを記憶してもよい。

【0019】

なお、端末１０は、各種のデスクトップパソコン、ノートパソコン、スマートフォン、タブレット、モノのインターネット機器及び持ち運び可能なウェアラブル機器であってもよいが、これらに限定されず、モノのインターネット機器はスマートスピーカー、スマートテレビ、スマートエアコン、スマート車載機器などであってもよい。持ち運び可能なウェアラブル機器はスマートウォッチ、スマートブレスレット、ヘッドマウント機器などであってもよい。サーバー２０は、独立のサーバー又は複数のサーバーからなるサーバークラスタを使用して実現されてもよい。

【0020】

本出願の実施例が提供するデータ処理方法は端末機器に適用されてもよいし、サーバーに適用されてもよい。端末機器は専用の手話翻訳機器、手話動作合成機器、スマート端末、コンピュータ、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、タブレット、電子リーダー、ＭＰ３（動画専門家集団オーディオレイヤー３再生装置、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）再生装置、ＭＰ４（動画専門家集団オーディオレイヤー４再生装置、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）再生装置、ラップトップポータブルコンピュータ、車載機器、スマートテレビ、ウェアラブル機器などを含んでもよいが、これらに限定されない。

【0021】

サーバーは独立の物理サーバーであってもよいし、複数の物理サーバーからなるサーバークラスタ又は分散型システムであってもよいし、さらに、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウド記憶、クラウド通信、ネットワークサービス、ミドルウェアサービス、コンテンツデリバリーネットワーク（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ、ＣＤＮ）、ビッグデータ及び人工智能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバーであってもよい。

【0022】

＜方法実施例＞
図１Ｂを参照し、本出願のデータ処理方法のフローチャートであり、当該方法は端末又はサーバーによって実行されてもよいし、端末及びサーバーによって共同で実行されてもよく、当該方法が図１Ａの端末１０に適用されることを例として説明し、当該データ処理方法は具体的に以下のステップを含み、即ち、
ステップ１０１：処理対象となる手話動作データを取得する。

【0023】

なお、手話動作データは手話動作に関連付けられるデータであり、手話動作に対する説明的な文字、ピクチャ、手話動作ビデオ、手話動画のうちの少なくとも１つを含むが、これらに限定されない。本出願の実施例において取得された手話動作データは、手話動作が含まれる手話ビデオ、手話画像のうちの少なくとも１つである。手話ビデオ又は手話画像は、ターゲットオブジェクトが手話を使用して他人又はマシンとコミュニケーションするか、又は他人に情報を伝達する過程で、端末機器が撮影装置を使用して撮影したビデオ又は画像であってもよいし、端末機器及び／又はサーバーに記憶される手話ビデオ又は手話画像であってもよいし、さらに、ネットワーク側からダウンロードされる手話ビデオ又は手話画像であってもよい。ターゲットオブジェクトは、聴覚障害のある人、聾唖者、健常者のうちの少なくとも１つを含むが、これらに限定されない。

【0024】

ステップ１０２：事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行って、手話動作データに対応する手話注釈シーケンスを決定し、手話注釈シーケンスは手話動作データに対応する各基本手話要素の注釈情報を含む。

【0025】

本出願の実施例において構築された手話注釈体系は各手話動作に対応する基本手話要素を含み、基本手話要素は左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報のうちの少なくとも１つを含む。異なる基本手話要素は異なる次元の手話動作特徴を代表する。基本手話要素は手話動作の最小特徴ユニットとして理解されてもよく、任意の手話動作は何れも１つ又は複数の基本手話要素から構成される。各基本手話要素は少なくとも１つの要素タイプを含み、例えば、本出願の１つの例示的な手話注釈体系において、片手・両手手形特徴には６７種の異なる要素タイプが対応され、向き運動特徴には６６種の異なる要素タイプが対応され、制約情報には５７種の異なる要素タイプが対応され、顔表情特徴には８種の異なる要素タイプが対応される。端末は異なるタイプの基本手話要素を配列して組み合わせて、異なる手話動作を取得する。

【0026】

手話注釈体系は、基本手話要素及び基本手話要素の各要素タイプに対応する注釈情報をさらに含む。手話注釈体系に基づいて処理対象となる手話動作データに対応する各基本手話要素の注釈情報、即ち、手話動作データに対応する手話注釈シーケンスを決定できる。手話注釈シーケンスは手話動作データに対応する各基本手話要素の注釈情報を含む。

【0027】

注釈情報は各基本手話要素の各要素タイプを唯一に標識し、且つマシンによって認識され、幅広い代表性及び普遍性を備え、大多数の手話適用シナリオに適用される。

【0028】

いくつかの実施例において、手話注釈シーケンスは手話動作データの各基本手話要素に対応するタイムスタンプをさらに含むことで、手話動作データに対して操作処理を実行する時、各基本手話要素に対応するタイムスタンプに基づいて各基本手話要素の処理順序を決定する。例えば、手話注釈シーケンスにおける各基本手話要素の注釈情報及びタイムスタンプに基づいて、手話動作データに対応する手話動作を実行するようにデジタルヒューマンを駆動する。ここで、デジタルヒューマンは３Ｄ技術で構築される３次元人物モデルである。

【0029】

ステップ１０３：手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行する。

【0030】

操作処理は、手話動作データに対する翻訳処理又は手話動作データに対応する手話動作実行のうちの少なくとも１つを含むが、これらに限定されない。

【0031】

具体的に、端末は手話注釈シーケンスに基づいて手話動作データに対応する手話動作を実行するように、事前構築された３次元人物モデルを駆動するか、又は手話注釈シーケンスに基づいて手話動作データに対して手話翻訳処理を行って、手話動作データに対応するテキスト形態のコンテンツを取得する。

【0032】

上記のデータ処理方法において、処理対象となる手話動作データを取得した後、事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行って、手話動作データに対応する手話注釈シーケンスを決定し、手話注釈シーケンスは手話動作データに対応する各基本手話要素の注釈情報を含み、手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行する。このように、事前構築された手話注釈体系によって処理対象となる手話動作データに対して要素分析を行って、手話動作データに含まれる基本手話要素を決定し、即ち、処理対象となる手話動作データを最小特徴ユニットに分解し、各類の手話動作データの分析処理に適用可能であり、手話動作データの分析の正確さを向上し、本出願の実施例によれば、手話動作データにおける各基本手話要素の注釈情報を決定して、手話動作データをマシンが自動に認識できる手話注釈シーケンスに変換してから、手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行することで、手話動作データの処理効率及び正確さを向上できる。

【0033】

本出願の好適な実施例において、事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行うステップ１０２の前、当該データ処理方法は以下のステップをさらに含み、即ち、
ステップＳ１１：データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得する；
ステップＳ１２：基本手話要素及び各基本手話要素に対応する要素タイプに基づいて、手話注釈体系を構築し、手話注釈体系は各基本手話要素の各要素タイプに対応する注釈情報を含む。

【0034】

データベースにおける手話動作データは、日常生活インタラクションのための手話動作データ、専門分野の専用手話動作データを含む。手話動作データは、手話動作に対する説明的な文字、ピクチャ、手話動作ビデオ、手話動画のうちの少なくとも１つであってもよい。各類の手話資料、例えば手話教育用ビデオ、ネットワーク手話動作資料、手話辞典などを幅広く検索することで、手話動作データベースを構築する。

【0035】

具体的に、端末はデータベースにおける全ての手話動作データに対して分解分類を行って、データベースに係る全ての基本手話要素及び各基本手話要素に対応する要素タイプを決定するとともに、各基本手話要素の各要素タイプに対応する注釈情報を決定することで、手話注釈体系を構築する。注釈情報は各基本手話要素の各要素タイプを唯一に標識し、且つマシンによって認識され、幅広い代表性及び普遍性を備え、大多数の手話適用シナリオに適用される。例えば、端末は言語的枠組みに基づいてデータベースにおける全ての手話動作データに対して分解分類を行うことができる。

【0036】

本実施例において、データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得し、基本手話要素及び各基本手話要素に対応する要素タイプに基づいて、手話注釈体系を構築し、構築された手話注釈体系の正確さを向上する。

【0037】

いくつかの実施例において、基本手話要素は左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報のうちの少なくとも１つを含む。

【0038】

左右腕特徴は手話動作における腕の曲げ程度、直立状態であるか、それとも垂下状態であるかなどの腕特徴を含み、片手・両手手形特徴は各指の形状、姿態特徴を含み、向き運動特徴は手のひら向き、腕、手のひらの運動状況などの特徴を含み、ナックル曲げ程度は指における各ナックルの曲げ状況、例えば、左人差し指の第３のナックルが４５°曲げるなどを指示し、顔表情特徴は手話動作における特定の顔表情、例えば微笑み、憂鬱、驚きであり、制約情報は手話動作における重要部位の接触状況、特定の期間制限などの情報を含み、例えば、手話単語である「愛」の手話動作では、制約情報は「右手のひらが左親指の先端ナックルと接触する」ことであるか、又は、手話単語である「紅」の手話動作では、制約情報は「右手の人差し指、中指が唇に触れる」ことである。

【0039】

異なる基本手話要素は異なる次元の手話動作特徴を代表し、各基本手話要素には複数の要素タイプが対応され、例えば、本出願の１つの例示的な手話注釈体系において、片手・両手手形特徴には６７種の異なる要素タイプが対応され、向き運動特徴には６６種の異なる要素タイプが対応され、制約情報には５７種の異なる要素タイプが対応され、顔表情特徴には８種の異なる要素タイプが対応される。端末は異なるタイプの基本手話要素を配列して組み合わせて、異なる手話動作を取得する。

【0040】

ここで、本出願の実施例における手話注釈体系に対して継続的に拡張、改善を行うことができ、手話注釈体系が詳しいほど、含まれるデータが全面であり、手話動作データの処理効率をさらに向上する。

【0041】

いくつかの実施例において、本出願の実施例が構築した手話注釈体系に基づいて手話データベースを確立して改善することで、手話データベースの確立コストを低減して、手話データベースのデータカバー範囲を向上し、手話合成、手話翻訳などの手話動作データの処理操作に確実な言語学理論的根拠を提供する。本実施例において、基本手話要素は左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報のうちの少なくとも１つを含むため、基本手話要素のカバー範囲が広く、データ処理方法の適用シナリオを広げる。

【0042】

本出願の好適な実施例において、データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得するステップＳ１１は以下のステップを含み、即ち、
サブステップＳ１１１：データベースにおける各手話動作データをトラバースして、各手話動作データに対して動作分解を行って、各手話動作データに対応する重要部位、及び重要部位の動作特徴を決定する。なお、重要部位は腕、手のひら、指、顔のうちの少なくとも１つを含み、動作特徴は回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含む；
サブステップＳ１１２：言語的枠組みに基づいてデータベースにおける各手話動作データに対応する重要部位及び重要部分の動作特徴に対して分類処理を行って、少なくとも２つのクラスタを取得し、各クラスタは１つの基本手話要素に対応する；
サブステップＳ１１３：各クラスタに含まれる動作特徴に基づいて、クラスタに対応する基本手話要素の要素タイプを決定する。

【0043】

具体的に、データベースにおける各類の手話動作データに対して、端末は一つずつ動作分解を行って、各手話動作データに対応する重要部位、及び各重要部位の動作特徴を決定する。重要部位は腕、手のひら、指、顔などの部位を含み、動作特徴は回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含む。

【0044】

いくつかの実施例において、端末は、分解による全ての重要部位及び重要部位の動作特徴を分類して、複数のクラスタを取得し、各クラスタは１つの基本手話要素に対応する。例えば、手話動作データを分解して、手話動作特徴を、左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報という６つの次元にそれぞれ区分する。左右腕特徴は手話動作における腕の曲げ程度、直立状態であるか、それとも垂下状態であるかなどの腕特徴を含み、片手・両手手形特徴は各指の形状、姿態特徴を含み、向き運動特徴は手のひら向き、腕、手のひらの運動状況などの特徴を含み、ナックル曲げ程度は指における各ナックルの曲げ状況、例えば、左人差し指の第３のナックルが４５°曲げるなどを指示し、顔表情特徴は手話動作における特定の顔表情、例えば、微笑み、憂鬱、驚きであり、制約情報は手話動作における重要部位の接触状況、特定の期間制限などの情報を含み、例えば、手話単語である「愛」の手話動作では、制約情報は「右手のひらが左親指の先端ナックルと接触する」ことであるか、又は、手話単語である「紅」の手話動作では、制約情報は「右手の人差し指、中指が唇に触れる」ことである。

【0045】

いくつかの実施例において、各基本手話要素に対応するクラスタを決定した後、端末は各クラスタに含まれる各動作特徴に基づいて、クラスタに対応する基本手話要素の要素タイプを決定し、具体的に、端末は各クラスタにおける各動作特徴を１つの要素タイプとする。端末は各基本手話要素及び要素タイプを配列して組み合わせることで、配列・組み合わせの結果を使用して、各手話動作を容易に表徴する。

【0046】

本実施例において、分類処理の方式で基本手話要素の要素タイプを決定して、要素タイプ決定の正確性を向上する。

【0047】

いくつかの実施例において、動作特徴は回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含む。

【0048】

本実施例において、動作特徴は回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含むため、動作特徴のカバー範囲が広く、データ処理方法の適用シナリオを広げる。

【0049】

本出願の好適な実施例において、事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行って、手話動作データに対応する手話注釈シーケンスを決定するステップ１０２は以下のステップを含み、即ち、
ステップＳ２１：手話動作データに対して要素分析を行って、手話動作データに対応する第１の基本手話要素、第１の基本手話要素の第１の要素タイプ及び第１のタイムスタンプを決定する；
ステップＳ２２：事前構築された手話注釈体系に基づいて第１の基本手話要素の第１の注釈情報及び第１の要素タイプの第２の注釈情報を決定する；
ステップＳ２３：第１のタイムスタンプ、第１の注釈情報及び第２の注釈情報に基づいて、手話動作データに対応する手話注釈シーケンスを決定する。

【0050】

具体的に、処理対象となる手話動作データを取得した後、端末はまず、手話動作データに対して要素分析を行って、手話動作データに含まれる各基本手話要素及び基本手話要素の要素タイプ、即ち、第１の基本手話要素、第１の基本手話要素の第１の要素タイプ、及び各第１の基本手話要素のタイムスタンプを決定する。端末は手話動作データにおける第１の基本手話要素及び第１の要素タイプを分析することで、手話動作データの最小特徴ユニットを決定して、以降、手話動作データに対して分析処理を行う。

【0051】

いくつかの実施例において、手話注釈体系には各基本手話要素及び各要素タイプに対応する注釈情報が含まれ、手話注釈体系は、手話動作データの注釈基準を構築することに相当し、任意のシナリオ、任意の手話動作データに適用でき、幅広い適用性を備える。端末は手話注釈体系から手話動作データにおける各第１の基本手話要素の第１の注釈情報、及び第１の要素タイプの第２の注釈情報を検索し、さらに、第１の注釈情報、第２の注釈情報に基づいて手話動作データの手話注釈シーケンスを生成し、手話注釈シーケンスは手話動作データに一々対応し、手話注釈シーケンスに基づいて手話動作データに対応する手話動作を決定できる。手話注釈シーケンスはマシンによって認識され、これによって、端末は手話動作データの手話注釈シーケンスに基づいて手話動作データに対して手話翻訳処理、手話合成処理などを行う。

【0052】

例えば、手話単語である「愛」に対して、まず、要素分析を行って、その対応する基本手話要素、及び各基本手話要素に対応する要素タイプを決定してから、手話注釈体系に基づいて相応的な注釈情報を決定する、具体的に表１を参照する。

【表1】

【0053】

表１の各基本手話要素及び要素タイプに対応する注釈情報に基づいて、手話単語である「愛」の手話注釈シーケンスを決定できる。ここで、表１の注釈情報は、本出願の実施例の手話注釈体系の注釈情報と各基本手話要素、要素タイプとの間の対応関係を限定せず、本出願の１つの例示的な説明に過ぎず、実際ニーズに基づいて相応的な注釈基準を作成してもよく、これに対して本出願は具体的に限定しない。

【0054】

本実施例において、手話動作データに対して要素分析を行って、手話動作データに対応する第１の基本手話要素、第１の基本手話要素の第１の要素タイプ及び第１のタイムスタンプを決定し、事前構築された手話注釈体系に基づいて第１の基本手話要素の第１の注釈情報及び第１の要素タイプの第２の注釈情報を決定し、第１のタイムスタンプ、第１の注釈情報及び第２の注釈情報に基づいて、手話動作データに対応する手話注釈シーケンスを決定することで、手話注釈シーケンスにおいて、注釈情報をカバーする上に、タイムスタンプもカバーし、これによって、手話注釈シーケンスは手話動作を正確に表現でき、手話注釈シーケンスの表現力を向上する。

【0055】

本出願の好適な実施例において、手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行するステップ１０３は、手話注釈シーケンスに基づいて手話動作データに対応する手話動作を実行するように、事前構築された３次元人物モデルを駆動するステップを含む。

【0056】

具体的に、処理対象となる手話動作データの手話注釈シーケンスを決定した後、端末はさらに、手話注釈シーケンスに基づいて手話動作データに対応する手話動作を実行するように、３次元人物モデルを駆動し、即ち、３Ｄ技術によって手話動作を合成する。

【0057】

本実施例において、手話注釈シーケンスに基づいて手話動作データに対応する手話動作を実行するように、事前構築された３次元人物モデルを駆動することで、分析により得られた手話注釈シーケンスを使用して、手話動作を行うように３次元人物モデルを制御でき、これによって、手話動作を行うように３次元人物モデルを制御する柔軟性を向上する。

【0058】

いくつかの実施例において、手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行するステップ１０３は、手話注釈シーケンスに基づいて手話動作データに対して手話翻訳処理を行って、手話動作データに対応するターゲットテキストシーケンスを取得するステップを含む。

【0059】

なお、ターゲットテキストシーケンスは手話動作データを翻訳することで得られたテキスト形態のコンテンツであり、ターゲットテキストシーケンスは、手話動作データが表現する意味と一致してもよく、ターゲットテキストシーケンスはある言語の単語又は文で、手話動作データが表現する意味を表現し、例えば、「愛」に対応する手話動作データに対応するターゲットテキストシーケンスは、中国語における「愛」という単語である。

【0060】

具体的に、端末は手話注釈シーケンスに基づいて手話動作データに対して手話翻訳処理を行って、例えば、端末は手話注釈シーケンスを事前訓練された手話翻訳モデルに入力して、手話動作データに対応するターゲットテキストシーケンスを取得する。端末は、本出願が構築した手話注釈体系に基づいて手話翻訳モデルを訓練し、訓練された手話翻訳モデルは各手話注釈シーケンスに対応する手話動作を正確に認識でき、さらに、認識された手話動作を翻訳して、手話翻訳の正確さを向上する。

【0061】

本実施例において、手話注釈シーケンスに基づいて手話動作データに対して手話翻訳処理を行って、手話動作データに対応するターゲットテキストシーケンスを取得することで、手話注釈シーケンスを使用して手話動作データを翻訳し、翻訳の正確さを向上する。

【0062】

また、手話動作データをターゲットテキストシーケンスに翻訳できる上に、端末はさらに、本出願の手話注釈体系に基づいてテキストシーケンスに対して分析処理を行って、テキストシーケンスを相応的な手話動作に変換できる。

【0063】

いくつかの実施例において、図１Ｃに示すように、データ処理方法を提供し、当該方法は端末又はサーバーによって実行されてもよいし、端末及びサーバーによって共同で実行されてもよく、当該方法が端末に適用されることを例として説明し、以下のステップを含み、即ち、ステップＳ４１：翻訳対象となるテキストシーケンスに対して単語分割処理を行って、テキストシーケンスに対応する自然語彙シーケンスを取得する。ステップＳ４２：自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び第２の基本手話要素に対応する第２の要素タイプを決定する。ステップＳ４３：第２の基本手話要素及び第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成する。ステップＳ４４：手話注釈体系に基づいて手話要素シーケンスに対応する手話注釈シーケンスを決定する。ステップＳ４５：手話注釈シーケンスに基づいてテキストシーケンスに対して手話翻訳処理を行って、テキストシーケンスに対応する手話動作を取得する。

【0064】

なお、翻訳対象となるテキストシーケンスの言語は中国語、英語、韓国語などのうちの少なくとも１つであってもよく、本出願はテキストシーケンスの言語を限定しない。テキストシーケンスを手話動作に変換する時、端末は各類の言語のテキストを、対応する国家の手話動作に変換してもよいし、ソース言語のテキストをターゲット言語に対応する国家の手話動作に変換してもよい。ソース言語及びターゲット言語は事前設置されてもよいし、又はニーズに基づいて指定されてもよい。

【0065】

自然語彙は具体的に、健全な聴力及び言語表現能力を有するユーザーが使用する語彙である。翻訳対象となるテキストシーケンスの言語が中国語であることを例として、自然語彙は『現代中国語辞典』、『新華辞典』などに収録される中国語語彙であってもよい。

【0066】

自然語彙は手話語彙に対応し、自然語彙に対応する手話語彙に基づいて、自然語彙に対応する基本手話要素及び要素タイプを決定し、例えば、自然語彙の「愛」に対して、その対応する手話語彙の「愛」の基本手話要素情報について、表１を参照すればよい。手話動作において、各基本手話要素と要素タイプとの間は先後順序が存在し、相応的な順序に従う場合に限り、正確な動作を取得できるため、自然語彙シーケンスに対応する基本手話要素及び要素タイプを決定した後、端末は基本手話要素及び要素タイプをソーティングして、手話要素シーケンスを生成する。そして、端末は手話注釈体系に基づいて手話要素シーケンスに対応する手話注釈シーケンスを決定する。例えば、自然語彙の「愛」に対して、表１に基づいて、その対応する手話注釈シーケンスを「Ｔ０－Ｔ０＿Ｏ６０、ＩＭＲＰ０－Ｓｔｉｌｌ＿０３－Ｓｔｒａｉｇｈｔ＿０６－Ｃ（ＤＲ、Ｔ４Ｌ）－ＯＲ＿Ｌ＿ｒｉｇｈｔ－ＯＲ＿Ｒ＿ｄｏｗｎ－ｓｉｍｉｌｅ」に決定する。端末は手話注釈シーケンスに基づいてテキストシーケンスに対して手話翻訳処理を行って、手話動作を取得する。手話動作は手話動作ピクチャであってもよいし、手話動作のデモ動画であってもよい。例えば、端末は手話翻訳モデルによってテキストシーケンスに対応する手話シーケンスを決定して、手話語彙を手話注釈シーケンスに変換することで、相応的な手話動作を取得でき、さらに、直接的に手話注釈シーケンスに基づいて、相応的な手話動作を実行するように３次元人物モデルを駆動してもよい。

【0067】

いくつかの実施例において、端末はさらに、非テキストコンテンツを相応的な手話動作に変換してもよい。非テキストコンテンツは音声又はピクチャのうちの少なくとも１つを含む。具体的に、端末は翻訳対象となる音声に対して文字認識処理を行って、当該音声に対応するテキストシーケンスを取得してから、取得したテキストシーケンスに対して上記ステップＳ４１～ステップＳ４５を実行して、当該音声に対応する手話動作を取得する。

【0068】

いくつかの実施例において、端末は翻訳対象となるピクチャに対して画像認識及び文字認識を行って、当該ピクチャに対応するテキストシーケンスを取得し、取得したテキストシーケンスに対して上記ステップＳ４１～ステップＳ４５を実行して、当該ピクチャに対応する手話動作を取得する。ピクチャにおけるコンテンツは文字、パターン、表情などのうちの少なくとも１つを含むが、これらに限定されない。

【0069】

上記のデータ処理方法によれば、翻訳対象となるテキストシーケンスに対して単語分割処理を行って、テキストシーケンスに対応する自然語彙シーケンスを取得し、自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び第２の基本手話要素に対応する第２の要素タイプを決定し、第２の基本手話要素及び第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成し、手話注釈体系に基づいて手話要素シーケンスに対応する手話注釈シーケンスを決定し、手話注釈シーケンスに基づいてテキストシーケンスに対して手話翻訳処理を行って、テキストシーケンスに対応する手話動作を取得する。これによって、テキストシーケンスを手話動作に変換する方法を提供し、且つ手話要素に基づいて手話動作を生成するため、生成された手話動作の正確性を向上する。

【0070】

ここで、方法実施例について、記載を簡潔にするために、それを一連の動作の組み合わせとして表現するが、当業者であれば分かるように、本出願の実施例は記載される動作順序に限定されず、なぜならば、本出願の実施例に応じて、いくつかのステップは他の順序を採用するか、又は同時に行われてもよいためである。そして、当業者であれば分かるように、明細書に記載の実施例は何れも好適な実施例に属し、関する動作は本出願の実施例にとって必ずしも必要なものではない。

【0071】

＜装置実施例＞
図２Ａを参照し、本出願のデータ処理装置実施例の構造ブロック図を示し、装置は、
処理対象となる手話動作データを取得する手話動作データ取得モジュール２０１と、
事前構築された手話注釈体系に基づいて手話動作データに対して要素分析を行って、手話動作データに対応する手話注釈シーケンスを決定する手話注釈シーケンス決定モジュール２０２であって、手話注釈シーケンスは手話動作データに対応する各基本手話要素の注釈情報を含む手話注釈シーケンス決定モジュール２０２と、
手話注釈シーケンスに基づいて手話動作データに対して操作処理を実行する操作処理実行モジュール２０３と、を含む。

【0072】

任意選択で、当該データ処理装置は、
データベースにおける手話動作データに対して分解分類を行って、基本手話要素及び各基本手話要素に対応する要素タイプを取得する基本手話要素決定モジュールと、
基本手話要素及び各基本手話要素に対応する要素タイプに基づいて、手話注釈体系を構築する手話注釈体系構築モジュールであって、手話注釈体系は各基本手話要素の各要素タイプに対応する注釈情報を含む手話注釈体系構築モジュールと、をさらに含む。

【0073】

任意選択で、基本手話要素は左右腕特徴、片手・両手手形特徴、向き運動特徴、ナックル曲げ角度、顔表情特徴、制約情報のうちの少なくとも１つを含む。

【0074】

任意選択で、基本手話要素決定モジュールは、
データベースにおける各手話動作データをトラバースして、各手話動作データに対して動作分解を行って、各手話動作データに対応する重要部位、及び重要部位の動作特徴を決定する動作データ分析サブモジュールと、
データベースにおける各手話動作データに対応する重要部位及び重要部分の動作特徴に対して分類処理を行って、少なくとも２つのクラスタを取得する動作特徴分類サブモジュールであって、各クラスタは１つの基本手話要素に対応する動作特徴分類サブモジュールと、
各クラスタに含まれる動作特徴に基づいて、クラスタに対応する基本手話要素の要素タイプを決定する要素タイプ決定サブモジュールと、を含む。

【0075】

任意選択で、動作特徴は回転データ、変位データ、曲げ角度、キー特徴、表情特徴のうちの少なくとも１つを含む。

【0076】

任意選択で、手話注釈シーケンス決定モジュールは、
手話動作データに対して要素分析を行って、手話動作データに対応する第１の基本手話要素、第１の基本手話要素の第１の要素タイプ及び第１のタイムスタンプを決定する第１の要素決定サブモジュールと、
事前構築された手話注釈体系に基づいて第１の基本手話要素の第１の注釈情報及び第１の要素タイプの第２の注釈情報を決定する注釈情報決定サブモジュールと、
第１のタイムスタンプ、第１の注釈情報及び第２の注釈情報に基づいて、手話動作データに対応する手話注釈シーケンスを決定する第１の注釈シーケンス決定サブモジュールと、を含む。

【0077】

任意選択で、操作処理実行モジュールは、
手話注釈シーケンスに基づいて手話動作データに対応する手話動作を実行するように、事前構築された３次元人物モデルを駆動する第１の操作処理サブモジュールを含む。

【0078】

任意選択で、操作処理実行モジュールは、
手話注釈シーケンスに基づいて手話動作データに対して手話翻訳処理を行って、手話動作データに対応するターゲットテキストシーケンスを取得する第２の操作処理サブモジュールを含む。

【0079】

図２Ｂを参照し、本出願のデータ処理装置実施例の構造ブロック図を示し、装置は、
翻訳対象となるテキストシーケンスに対して単語分割処理を行って、テキストシーケンスに対応する自然語彙シーケンスを取得する単語分割処理モジュール２０４と、
自然語彙シーケンスにおける、各自然語彙に対応する第２の基本手話要素及び第２の基本手話要素に対応する第２の要素タイプを決定する第２の要素決定モジュール２０５と、
第２の基本手話要素及び第２の要素タイプをソーティングして、手話文法規則に合う手話要素シーケンスを生成する要素シーケンス生成モジュール２０６と、
手話注釈体系に基づいて手話要素シーケンスに対応する手話注釈シーケンスを決定する手話注釈シーケンス取得モジュール２０７と、
手話注釈シーケンスに基づいてテキストシーケンスに対して手話翻訳処理を行って、テキストシーケンスに対応する手話動作を取得する翻訳処理モジュール２０８と、を含む。

【0080】

コンピュータ機器であって、メモリ及び１つ又は複数のプロセッサーを含み、前記メモリにはコンピュータ可読指令が記憶され、前記コンピュータ可読指令は前記プロセッサーによって実行されると、前記１つ又は複数のプロセッサーに、上記のデータ処理方法のステップを実行させる。

【0081】

図３は、例示的な実施例に基づいて示されるコンピュータ機器８００のブロック図である。例えば、コンピュータ機器８００は携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機器、ゲームコンソール、タブレット機器、医療機器、フィットネス機器、携帯情報端末などであってもよい。

【0082】

図３を参照し、コンピュータ機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、メディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサーコンポーネント８１４、及び通信コンポーネント８１６のうちの１つ又は複数のコンポーネントを含む。

【0083】

処理コンポーネント８０２は一般的にコンピュータ機器８００の全体的な操作、例えば表示、電話発呼、データ通信、カメラ操作及び記録操作に関連付けられる操作を制御する。処理素子８０２は１つ又は複数のプロセッサー８２０を含むことで、指令を実行して、上記の方法の全て又は一部のステップを完成する。また、処理コンポーネント８０２は、処理コンポーネント８０２と他のコンポーネントとの間のインタラクションを便利にするための１つ又は複数のモジュールを含む。例えば、処理コンポーネント８０２はメディアコンポーネント８０８と処理コンポーネント８０２との間のインタラクションを便利にするためのメディアモジュールを含む。

【0084】

メモリ８０４は各種のタイプのデータを記憶することで、機器８００の操作をサポートするように配置される。これらのデータの例示は、コンピュータ機器８００で操作される任意のアプリケーションプログラム又は方法の指令、連絡先データ、電話帳データ、メッセージ、ピクチャ、ビデオなどを含む。メモリ８０４は任意のタイプの揮発性又は不揮発性記憶機器又はこれらの組み合わせで実現され、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクである。

【0085】

電源コンポーネント８０６はコンピュータ機器８００の各種のコンポーネントに電力を提供する。電源コンポーネント８０６は電源管理システム、１つ又は複数の電源、及びコンピュータ機器８００の電力の生成、管理及び割当に関連付けられる他のコンポーネントを含む。

【0086】

メディアコンポーネント８０８は前記コンピュータ機器８００とユーザーとの間で出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。タッチパネルを含むと、スクリーンはユーザーからの入力信号を受信するためのタッチパネルとして実現される。タッチパネルはタッチ、スライド及びタッチパネルでのジェスチャーを検知するための１つ又は複数のタッチセンサーを含む。前記タッチセンサーはタッチ又はスライド動作の境界を検知する上に、前記タッチ又はスライド操作に関する持続間及び圧力を検出する。いくつかの実施例において、メディアコンポーネント８０８は１つのフロントカメラ及び／又はリアカメラを含む。機器８００は操作モード、例えば撮影モード又はビデオモードにある場合、フロントカメラ及び／又はリアカメラは外部のメディアデータを受信する。各フロントカメラ及びリアカメラは固定の光学レンズシステムであってもよし、又はフォーカス及び光学ズーム能力を具備してもよい。

【0087】

オーディオコンポーネント８１０はオーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオコンポーネント８１０はマイク（ＭＩＣ）を含み、コンピュータ機器８００は操作モード、例えば発呼モード、記録モード及び音声情報処理モードにある場合、マイクは外部オーディオ信号を受信するように配置される。受信されたオーディオ信号はさらにメモリ８０４に記憶され、又は通信コンポーネント８１６を介して送信される。いくつかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカをさらに含む。

【0088】

Ｉ／Ｏインターフェース８１２は処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、上記の周辺インターフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームページボタン、音量ボタン、起動ボタン及びロックボタンを含んでもよいが、これらに限定されない。

【0089】

センサーコンポーネント８１４は、コンピュータ機器８００に各面の状態評価を提供するための１つ又は複数のセンサーを含む。例えば、センサーコンポーネント８１４は機器８００のオン／オフ状態、コンポーネントの相対的な位置決めを検出でき、例えば前記コンポーネントはコンピュータ機器８００のディスプレイ及びキーパッドであり、センサーコンポーネント８１４はさらに、コンピュータ機器８００又はコンピュータ機器８００の１つのコンポーネントの位置の変更、ユーザーとコンピュータ機器８００との接触の存在の有無、コンピュータ機器８００の方位又は加速／減速、及びコンピュータ機器８００の温度変化に対して音声処理行う。センサーコンポーネント８１４は、何の物理的な接触もない時、付近物体の存在を検出するように配置される近接センサーを含む。センサーコンポーネント８１４は、結像アプリケーションに使用される光センサー、例えばＣＭＯＳ又はＣＣＤ画像センサーをさらに含む。いくつかの実施例において、当該センサーコンポーネント８１４は加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー又は温度センサーをさらに含んでもよい。

【0090】

通信コンポーネント８１６は、コンピュータ機器８００と他の機器との間の有線又は無線方式の通信を容易にするように配置される。コンピュータ機器８００は、通信規格による無線ネットワーク、例えばＷｉＦｉ、２Ｇ又は３Ｇ、或いはこれらの組み合わせにアクセスできる。１つの例示的な実施例において、通信コンポーネント８１６はブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。１つの例示的な実施例において、前記通信コンポーネント８１６は、短距離通信を促進するための近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは無線周波数情報処理（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現されてもよい。

【0091】

例示的な実施例において、コンピュータ機器８００は１つ又は複数の適用特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサー（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサー又は他の電子素子によって実現されて、上記の方法を実行する。

【0092】

例示的な実施例において、指令を含む非一時的コンピュータ可読記憶媒体、例えば指令を含むメモリ８０４をさらに提供し、上記の指令はコンピュータ機器８００のプロセッサー８２０によって実行されることで、上記の方法を完成する。例えば、前記非一時的コンピュータ可読記憶媒体はＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フレキシブルディスク及び光データ記憶機器などであってもよい。

【0093】

図４は、本出願のいくつかの実施例のコンピュータ機器の構造概略図である。配置又は性能により、当該コンピュータ機器１９００には大きな差が生じ、１つ又は１つ以上の中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）１９２２（例えば、１つ又は１つ以上のプロセッサー）、メモリ１９３２、及びアプリケーションプログラム１９４２又はデータ１９４４を記憶する１つ又は１つ以上の記憶媒体１９３０（例えば１つ又は１つ以上の大量記憶機器）を含む。メモリ１９３２及び記憶媒体１９３０は一時記憶又は永続的記憶であってもよい。記憶媒体１９３０に記憶されるプログラムは１つ又は１つ以上のモジュール（図示せず）を含み、各モジュールはコンピュータ機器における一連の指令操作を含む。さらに、中央演算処理装置１９２２は記憶媒体１９３０と通信して、コンピュータ機器１９００で記憶媒体１９３０における一連の指令操作を実行するように配置される。

【0094】

コンピュータ機器１９００は１つ又は１つ以上の電源１９２６、１つ又は１つ以上の有線又は無線ネットワークインターフェース１９５０、１つ又は１つ以上の入出力インターフェース１９５８、１つ又は１つ以上のキーボード１９５６、及び／又は１つ又は１つ以上のオペレーティングシステム１９４１、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどをさらに含んでもよい。

【0095】

１つ又は複数の不揮発性可読記憶媒体であって、コンピュータ可読指令が記憶され、前記コンピュータ可読指令は１つ又は複数のプロセッサーによって実行されると、前記１つ又は複数のプロセッサーに上記のデータ処理方法のステップを実現させる。

【0096】

コンピュータプログラムであって、コンピュータ可読指令を含み、前記コンピュータ可読指令はプロセッサーによって実行されると、上記のデータ処理方法のステップを実現する。

【0097】

当業者は明細書を配慮して、ここに開示された出願を実践して、本出願の他の実施解決策を容易に想到し得る。本出願は、本出願の任意の変形、使用又は適切な変更をカバーするように意図され、これらの変形、使用又は適切な変更は本出願の一般的な原理に従って、本出願が開示していない当分野の公知常識又は通常の技術手段を含む。明細書及び実施例は例示的なものに過ぎず、本出願の実際の範囲及び精神について、以下の請求項において提出する。

【0098】

本出願は、以上に記載されて図面において示めされた構造に限定されず、その範囲から逸脱していないことを前提として各種の修正及び変更を行うことができる。本出願の範囲は添付の請求項により限定される。

【0099】

以上は、本出願の好適な実施例に過ぎず、本出願を限定しない。本出願の精神及び原則内でなされた任意の修正、均等な置換、改善などは、何れも本出願の保護範囲内に該当すべきである。

【0100】

以上は、本出願が提供するデータ処理方法、データ処理装置及びコンピュータ機器を詳しく紹介し、本明細書において具体的な例示を使用して本出願の原理及び実施形態を記載し、以上の実施例の説明は、ただ本出願の方法及びその要旨を理解するためのものであり、また、当業者にとって、本出願の構想に応じて、具体的な実施形態及び適用範囲で何れも変更でき、以上のように、本明細書の内容は本出願を限定しない。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3】

【図4】

【国際調査報告】