特表2024-524948 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京優幕科技有限責任公司の特許一覧

特表2024-524948情報処理方法及び装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-09

(54)【発明の名称】情報処理方法及び装置

(51)【国際特許分類】

G09B 19/00 20060101AFI20240702BHJP

G06T 7/00 20170101ALI20240702BHJP

【ＦＩ】

G09B19/00 Z

G06T7/00 350B

G06T7/00 660Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577910

(86)(22)【出願日】2022-07-22

(85)【翻訳文提出日】2023-12-14

(86)【国際出願番号】 CN2022107229

(87)【国際公開番号】W WO2023151232

(87)【国際公開日】2023-08-17

(31)【優先権主張番号】202210124208.9

(32)【優先日】2022-02-10

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】516097402

【氏名又は名称】北京優幕科技有限責任公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧＵＭＵＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

【住所又は居所原語表記】０５－６０９，８ｔｈＦｌｏｏｒ，ＮＯ．１８，ＺｈｏｎｇｇｕａｎｃｕｎＳｔｒｅｅｔ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔＢｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】李超超

(72)【発明者】

【氏名】李東朔

(72)【発明者】

【氏名】王曄

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA04

5L096DA01

5L096DA02

5L096FA12

5L096FA32

5L096FA62

5L096FA64

5L096FA69

5L096GA51

5L096JA03

5L096KA04

5L096KA15

(57)【要約】

情報処理方法及び装置を提供する。前記情報処理方法は、タスク実行命令に応答して動作補助インタフェースに基準動作を表示するステップ（Ｓ１０２）と、前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定するステップ（Ｓ１０４）と、前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成するステップ（Ｓ１０６）と、前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示するステップ（Ｓ１０８）と、を含む。

【特許請求の範囲】

【請求項1】

情報処理方法であって、
タスク実行命令に応答して動作補助インタフェースに基準動作を表示するステップと、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定するステップと、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成するステップと、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示するステップと、を含むことを特徴とする情報処理方法。

【請求項2】

タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップを実行する前に、
ユーザーからコミットされた動作補助命令を受信し、前記動作補助命令に応じて動作補助タスクを決定するステップと、
前記動作補助タスクに対応する動作補助テンプレート及び初期動作補助インタフェースを決定するステップと、
前記動作補助テンプレートに基づいて前記初期動作補助インタフェースを中間動作補助インタフェースに更新して表示するステップと、をさらに含み、
これに対応して、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップは、
前記ユーザーが前記中間動作補助インタフェースによってコミットした前記タスク実行命令を受信するステップと、
前記タスク実行命令に応答して前記動作補助テンプレートから前記基準動作を抽出し、前記中間動作補助インタフェースを更新するステップと、
更新結果に応じて前記基準動作を含む前記動作補助インタフェースを表示するステップと、を含むことを特徴とする請求項１に記載の情報処理方法。

【請求項3】

前記基準動作に関連付けられた矯正対象動作を収集する前記ステップは、
画像収集機器によってターゲット画像フレームを収集するステップと、
前記ターゲット画像フレームを認識モデルに入力して処理し、前記ターゲット画像フレームに対応するキーポイント情報を取得するステップと、
前記キーポイント情報に基づいて前記ターゲット画像フレームに対応するターゲット動作を前記基準動作に関連付けられた前記矯正対象動作として決定するステップと、を含むことを特徴とする請求項１に記載の情報処理方法。

【請求項4】

前記矯正対象動作に対応する矯正対象動作情報を決定する前記ステップは、
前記矯正対象動作に対応する収集回数及びキーポイント情報を決定し、前記キーポイント情報に応じて動作連結線情報を作成するステップと、
前記収集回数及び前記動作連結線情報を前記矯正対象動作情報とするステップと、を含むことを特徴とする請求項１に記載の情報処理方法。

【請求項5】

前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成する前記ステップは、
前記基準動作に対応する前記基準動作情報を読み取り、前記基準動作情報に応じて基準動作連結線情報を決定するステップと、
前記基準動作連結線情報及び前記動作連結線情報に応じて、前記基準動作と前記矯正対象動作との動作類似度を決定するステップと、
前記収集回数に対応する収集時間が第１時間閾値未満である場合、前記収集回数及び前記動作類似度に応じて第１動作スコアを決定するステップと、
前記第１動作スコア、前記収集回数及び前記動作類似度に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成するステップと、を含むことを特徴とする請求項４に記載の情報処理方法。

【請求項6】

前記収集時間が前記第１時間閾値以上である場合、前記基準動作連結線情報に応じて補助動作連結線情報を作成し、前記収集回数及び前記動作類似度に応じて第２動作スコアを決定するステップと、
前記第２動作スコア、前記収集回数、前記動作類似度及び前記補助動作連結線情報に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成するステップと、をさらに含むことを特徴とする請求項５に記載の情報処理方法。

【請求項7】

前記基準動作連結線情報及び前記動作連結線情報に応じて、前記基準動作と前記矯正対象動作との動作類似度を決定する前記ステップは、
前記基準動作連結線情報に応じて前記基準動作に対応する基準キーポイント座標を決定し、前記動作連結線情報に応じて動作キーポイント座標を決定するステップと、
前記基準キーポイント座標と前記動作キーポイント座標をそれぞれ前処理し、前記基準動作に対応する基準相対座標及び前記矯正対象動作に対応する動作相対座標を取得するステップと、
前記基準相対座標及び前記動作相対座標に応じて平均相対距離を計算するステップと、
前記平均相対距離を変換することで、前記基準動作と前記矯正対象動作との前記動作類似度を取得するステップと、を含むことを特徴とする請求項５又は６に記載の情報処理方法。

【請求項8】

前記基準キーポイント座標を前処理し、前記基準動作に対応する基準相対座標を取得する前記ステップは、
前記基準キーポイント座標に応じて基準中心点座標を特定し、前記基準キーポイント座標及び前記基準中心点座標に基づいて初期基準相対座標を計算するステップと、
前記初期基準相対座標と目標距離との比を計算し、計算結果に応じて前記基準動作に対応する前記基準相対座標を決定するステップと、を含むことを特徴とする請求項７に記載の情報処理方法。

【請求項9】

前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示する前記ステップを実行した後、
前記動作類似度が類似度閾値よりも大きい場合、前記タスク実行命令に対応する関連動作を決定するステップと、
前記関連動作を前記基準動作とし、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップを実行するステップと、をさらに含むことを特徴とする請求項７に記載の情報処理方法。

【請求項10】

情報処理装置であって、
タスク実行命令に応答して動作補助インタフェースに基準動作を表示するように構成される表示モジュールと、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定するように構成される収集モジュールと、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成するように構成される作成モジュールと、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示するように構成される更新モジュールと、を含むことを特徴とする情報処理装置。

【請求項11】

コンピューティング機器であって、メモリ及びプロセッサを含み、前記メモリはコンピュータ実行可能命令を記憶することに用いられ、前記プロセッサは前記コンピュータ実行可能命令を実行して請求項１～９のいずれか１項に記載の方法のステップを実現することに用いられることを特徴とするコンピューティング機器。

【請求項12】

コンピュータ命令が記憶されているコンピュータ可読記憶媒体であって、該命令がプロセッサにより実行されると、請求項１～９のいずれか１項に記載の方法のステップを実現することを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、コンピュータの技術分野に関し、特に情報処理方法及び装置に関する。

【背景技術】

【0002】

インターネット技術の発展に伴い、コンピュータビジョンの分野は重要な研究方向となり、人体のキーポイントの検出は業界で広く注目されてきている。その主な機能は人体のキーポイントを正確に特定し、その後の処理に備えることである。例えば、公開番号がＣＮ１１４０２２５１２Ａ、ＣＮ１０７２８１７１０Ａ及びＣＮ１１２２３７７３０Ａの特許はいずれもヒューマンコンピュータインタラクションのスキームを開示しており、キーポイントの認識処理に応答して対応する内容をユーザーに提供及び表示できること、又はキーポイントの認識処理に応答して警報機器によって警報通知を送信できるセキュリティ検出シーンを実現する。それによって動作認識の方式によって対応するサービスをユーザーに提供することを実現する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記事情に鑑みて、本明細書の実施例は情報処理方法を提供する。本明細書はさらに情報処理装置、コンピューティング機器、及びコンピュータ可読記憶媒体に関し、従来技術の動作認識精度が低く且つユーザーの姿勢を矯正できないという技術的欠陥を解決する。

【課題を解決するための手段】

【0004】

本明細書の実施例の第１態様によれば、
タスク実行命令に応答して動作補助インタフェースに基準動作を表示するステップと、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定するステップと、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成するステップと、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示するステップと、を含む情報処理方法を提供する。

【0005】

選択可能に、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップを実行する前に、ユーザーからコミットされた動作補助命令を受信し、前記動作補助命令に応じて動作補助タスクを決定するステップと、
前記動作補助タスクに対応する動作補助テンプレート及び初期動作補助インタフェースを決定するステップと、
前記動作補助テンプレートに基づいて前記初期動作補助インタフェースを中間動作補助インタフェースに更新して表示するステップと、をさらに含み、
これに対応して、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップは、
前記ユーザーが前記中間動作補助インタフェースによってコミットした前記タスク実行命令を受信するステップと、
前記タスク実行命令に応答して前記動作補助テンプレートから前記基準動作を抽出し、前記中間動作補助インタフェースを更新するステップと、
更新結果に応じて前記基準動作を含む前記動作補助インタフェースを表示するステップと、を含む。

【0006】

選択可能に、前記基準動作に関連付けられた矯正対象動作を収集する前記ステップは、
画像収集機器によってターゲット画像フレームを収集するステップと、
前記ターゲット画像フレームを認識モデルに入力して処理し、前記ターゲット画像フレームに対応するキーポイント情報を取得するステップと、
前記キーポイント情報に基づいて前記ターゲット画像フレームに対応するターゲット動作を前記基準動作に関連付けられた前記矯正対象動作として決定するステップと、を含む。

【0007】

選択可能に、前記矯正対象動作に対応する矯正対象動作情報を決定する前記ステップは、
前記矯正対象動作に対応する収集回数及びキーポイント情報を決定し、前記キーポイント情報に応じて動作連結線情報を作成するステップと、
前記収集回数及び前記動作連結線情報を前記矯正対象動作情報とするステップと、を含む。

【0008】

選択可能に、前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成する前記ステップは、
前記基準動作に対応する前記基準動作情報を読み取り、前記基準動作情報に応じて基準動作連結線情報を決定するステップと、
前記基準動作連結線情報及び前記動作連結線情報に応じて、前記基準動作と前記矯正対象動作との動作類似度を決定するステップと、
前記収集回数に対応する収集時間が第１時間閾値未満である場合、前記収集回数及び前記動作類似度に応じて第１動作スコアを決定するステップと、
前記第１動作スコア、前記収集回数及び前記動作類似度に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成するステップと、を含む。

【0009】

選択可能に、
前記収集時間が前記第１時間閾値以上である場合、前記基準動作連結線情報に応じて補助動作連結線情報を作成し、前記収集回数及び前記動作類似度に応じて第２動作スコアを決定するステップと、

【0010】

前記第２動作スコア、前記収集回数、前記動作類似度及び前記補助動作連結線情報に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成するステップと、をさらに含む。

【0011】

選択可能に、前記基準動作連結線情報及び前記動作連結線情報に応じて、前記基準動作と前記矯正対象動作との動作類似度を決定する前記ステップは、
前記基準動作連結線情報に応じて前記基準動作に対応する基準キーポイント座標を決定し、前記動作連結線情報に応じて動作キーポイント座標を決定するステップと、
前記基準キーポイント座標と前記動作キーポイント座標をそれぞれ前処理し、前記基準動作に対応する基準相対座標及び前記矯正対象動作に対応する動作相対座標を取得するステップと、
前記基準相対座標及び前記動作相対座標に応じて平均相対距離を計算するステップと、
前記平均相対距離を変換することで、前記基準動作と前記矯正対象動作との前記動作類似度を取得するステップと、を含む。

【0012】

選択可能に、前記基準キーポイント座標を前処理し、前記基準動作に対応する基準相対座標を取得する前記ステップは、
前記基準キーポイント座標に応じて基準中心点座標を特定し、前記基準キーポイント座標及び前記基準中心点座標に基づいて初期基準相対座標を計算するステップと、
前記初期基準相対座標と目標距離との比を計算し、計算結果に応じて前記基準動作に対応する前記基準相対座標を決定するステップと、を含む。

【0013】

選択可能に、前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示する前記ステップを実行した後、
前記動作類似度が類似度閾値よりも大きい場合、前記タスク実行命令に対応する関連動作を決定するステップと、
前記関連動作を前記基準動作とし、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップを実行するステップと、をさらに含む。

【0014】

本明細書の実施例の第２態様によれば、
タスク実行命令に応答して動作補助インタフェースに基準動作を表示するように構成される表示モジュールと、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定するように構成される収集モジュールと、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成するように構成される作成モジュールと、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示するように構成される更新モジュールと、を含む情報処理装置を提供する。本明細書の実施例の第３態様によれば、
メモリ及びプロセッサを含み、
前記メモリはコンピュータ実行可能命令を記憶することに用いられ、前記プロセッサは前記コンピュータ実行可能命令を実行すると前記情報処理方法のステップを実現することに用いられるコンピューティング機器を提供する。

【0015】

本明細書の実施例の第４態様によれば、コンピュータ実行可能命令が記憶されており、該命令がプロセッサにより実行されると前記情報処理方法のステップを実現するコンピュータ可読記憶媒体を提供する。

【発明の効果】

【0016】

本明細書に係る情報処理方法は、ユーザーの動作訓練を補助することを実現できるために、タスク実行命令に応答して動作補助インタフェースに基準動作を表示し、その後、基準動作に関連付けられた矯正対象動作を収集し、矯正対象動作に対応する待矯正情報を決定でき、このとき、ユーザーが基準動作に対して取った矯正対象動作の関連情報が決定され、さらに矯正対象動作情報及び基準動作に対応する基準動作情報に応じて、動作補助インタフェースに対応する更新情報を作成し、最後に更新情報に従って動作補助インタフェースを更新することで、行った矯正対象動作の関連パラメータをユーザーに表現できるターゲット動作補助インタフェースを得ることができ、ターゲット動作補助インタフェースをユーザーに表示するのを実現することで、ユーザーは矯正対象動作と基準動作との関連性を理解し、ユーザーの動作訓練の目的を実現し、姿勢表現の効果を向上させる。

【図面の簡単な説明】

【0017】

【図1】本明細書の一実施例に係る情報処理方法のフローチャートである。

【図2】本明細書の一実施例に係る動作補助インタフェースの模式図である。

【図3】本明細書の一実施例に係る別の動作補助インタフェースの模式図である。

【図4】本明細書の一実施例に係る情報処理方法の処理フローチャートである。

【図5】本明細書の一実施例に係る情報処理装置の構造模式図である。

【図6】本明細書の一実施例に係るコンピューティング機器の構造ブロック図である。

【発明を実施するための形態】

【0018】

本明細書を完全に理解しやすくするために、以下の説明に多くの具体的な詳細が記載されている。しかしながら、本明細書はここで説明されるものとは異なるほかの多くの形態で実施することができ、当業者は、本明細書の趣旨を逸脱することなく、類似のプロモーションを行うことができるため、本明細書は、以下に開示される特定の実施形態に限定されない。

【0019】

本明細書の１つ又は複数の実施例で使用される用語は特定の実施例を説明することのみを目的としており、本明細書の１つ又は複数の実施例を限定することを意図するものではない。本明細書の１つ又は複数の実施例及び添付する特許請求の範囲で使用される単数形「一種」、「前記」及び「該」は、文脈がほかの意味を明確に示さない限り、複数形も含むことを意図する。なお、本明細書の１つ又は複数の実施例で使用される用語「及び／又は」とは、１つ又は複数の関連するリストされた項目の任意又はすべての可能な組み合わせを含むことを指すことを理解すべきである。

【0020】

本明細書の１つ又は複数の実施例で第１、第２などの用語を使用して各種の情報を説明する可能性があるが、これらの情報はこれらの用語に限定されるものではないことを理解すべきである。これらの用語は同一タイプの情報を互いに区別するためにのみ使用される。例えば、本明細書の１つ又は複数の実施例の範囲から逸脱することなく、第１は第２と呼ばれてもよく、同様に、第２は第１と呼ばれてもよい。文脈によっては、ここで使用される単語「如果」は「…とき」又は「…場合」又は「に応答して決定する」と解釈されてもよい。

【0021】

本明細書では、情報処理方法を提供し、本明細書はさらに情報処理装置、コンピューティング機器、及びコンピュータ可読記憶媒体に関し、以下の実施例においてそれぞれ詳細に説明する。

【0022】

図１は本明細書の一実施例に係る情報処理方法のフローチャートを示し、具体的には、以下のステップを含む。ステップＳ１０２：タスク実行命令に応答して動作補助インタフェースに基準動作を表示する。

【0023】

具体的には、タスク実行命令とは、具体的には、動作訓練タスクに対してコミットされた命令であり、動作タスク訓練では、ユーザーに基準動作を表示することでユーザーに各動作の取り方を指導することができる。例えば、演説訓練シーンでは、動作訓練タスクによってユーザーが演説を学習することを補助し、ジェスチャー動作の取り方及び変更をユーザーに知らせることができ、又は、運動動作訓練シーンでは、動作訓練タスクによってユーザーがヨガの動作を学習することを補助し、身体動作の取り方及び変更をユーザーに知らせ、さらに、又は、ケータリングサービス動作訓練シーンでは、動作訓練タスクによってユーザーが迎賓サービスを学習することを補助し、迎賓動作の取り方及び変更をユーザーに知らせる。

【0024】

これに対応して、基準動作とは、具体的には、ユーザーが学習する必要がある標準的な動作であり、且つ基準動作は動作タスク訓練シーンに関連付けられ、すなわち、動作訓練タスクは実際の応用シーンに応じて設定でき、且つ異なるシーンは異なる基準動作に対応することで、基準動作によってユーザーの動作訓練を補助し、本実施例はここで何らの限定もしない。これに対応して、動作補助インタフェースとは、具体的には、基準動作の表示をユーザーに提供し、且つユーザーが基準動作を学習するのを指導できるインタフェースであり、該インタフェースには少なくとも２つの領域が含まれ、それぞれ基準動作を表示する領域、及びユーザーが取る動作をリアルタイムに収集して表示する領域であり、ユーザーは動作補助インタフェースによって現在の時刻において自分が取っている動作、及び学習する必要がある基準動作を理解でき、それによって基準動作を学習する目的を達成する。実際の応用では、動作補助インタフェースには、上記２つの領域に加えて、実際のニーズに応じて、音声を再生するコントロール操作領域などのほかの領域が設定されてもよく、本実施例はここで何らの限定もしない。

【0025】

これに基づいて、ユーザーは動作訓練を行う必要がある場合、フロントエンドがユーザーに表示するインタフェースによってタスク実行命令をコミットでき、その後、このとき、タスク実行命令に応答し、ユーザーが学習する必要がある基準動作組み合わせを決定し、基準動作組み合わせには少なくとも１つの基準動作が含まれ、その後、基準動作組み合わせ中の動作を優先度の最も高い基準動作を順に選択して動作補助インタフェースに追加し、基準動作が含まれる動作補助インタフェースをユーザーに表示し、それによってユーザーは後で基準動作に従って動作訓練の実現を行うことができる。

【0026】

さらに、異なるシーンにおいてユーザーが学習する必要がある基準動作は異なる可能性があり、すなわち異なるシーンは異なる動作訓練タスクに対応することを考慮し、より広い範囲の動作訓練シーンをカバーするために、通常、複数の動作訓練タスクをユーザーに提供し、これに基づいて、ユーザーの選択に応じてユーザーの訓練ニーズを満たす基準動作を表示する必要があり、従って、中間動作補助インタフェースを提供することでユーザーの動作訓練需要を特定することができ、本実施例では、具体的な実現形態は以下の通りである。

【0027】

ユーザーからコミットされた動作補助命令を受信し、前記動作補助命令に応じて動作補助タスクを決定し、前記動作補助タスクに対応する動作補助テンプレート及び初期動作補助インタフェースを決定し、前記動作補助テンプレートに基づいて前記初期動作補助インタフェースを中間動作補助インタフェースに更新して表示する。

【0028】

前記ユーザーが前記中間動作補助インタフェースによってコミットした前記タスク実行命令を受信し、前記タスク実行命令に応答して前記動作補助テンプレートから前記基準動作を抽出し、前記中間動作補助インタフェースを更新し、更新結果に応じて前記基準動作を含む前記動作補助インタフェースを表示する。

【0029】

具体的には、動作補助命令とは、具体的には、ユーザーが動作訓練を行う必要がある時、フロントエンド表示インタフェースによってコミットした選択命令であり、動作補助命令によってユーザーが選択する動作補助タスクを決定でき、これに対応して、動作補助タスクとは、具体的には、ユーザーが現在選択しているニーズを満たす動作訓練タスクであり、動作補助タスクによってユーザーが訓練する必要がある動作に対応するシーンを明確にすることができ、これに対応して、動作補助テンプレートとは、具体的には、基準動作組み合わせを含むテンプレートであり、すなわち、ユーザーが学習する必要がある基準動作がいずれも動作補助テンプレートにあり、且つ動作補助テンプレートは動作補助タスクをどのように実行するかをユーザーに知らせるための対応する動作補助規則を有する。これに対応して、初期動作補助インタフェースとは、具体的には、動作補助インタフェーステンプレートであり、すなわち初期動作補助インタフェースは対応する動作補助タスクの関連情報が追加されておらず、且つ表示されず、これに対応して、中間動作補助テンプレートとは、具体的には、動作補助テンプレートに従って初期動作補助インタフェースを更新したインタフェースであり、すなわち、中間動作補助インタフェースは動作補助タスクに関連する情報内容が含まれ、動作補助タスクに関連する基準動作内容情報、動作訓練をどのように行うかの情報及び／又は動作訓練規則情報などを知らせることに用いられ、それによってユーザーは後の動作訓練を容易に行うことができる。

【0030】

これに基づいて、ユーザーによってコミットされた動作補助命令を受信した後、その動作訓練ニーズを満たす基準動作をユーザーに提供できるために、まず、動作補助命令に応じて動作補助タスクを決定するとともに、動作補助タスクに対応する動作補助テンプレート、及びレンダリング対象の初期動作補助インタフェースを決定することができ、それによってユーザーが訓練する必要がある基準動作に関連付けられた動作補助テンプレート、及び後で動作訓練を行う必要がある初期動作補助インタフェースを明確にする。

【0031】

さらに、このとき、動作補助テンプレートに基づいて初期動作補助インタフェースを更新し、中間動作補助インタフェースを取得してユーザーに表示することができ、動作訓練に関する関連規則、及び動作訓練をどのように行うかの関連情報などをユーザーに知らせることを実現する。

【0032】

よりさらに、ユーザーが中間動作補助インタフェースによってコミットしたタスク実行命令を受信する場合、動作補助テンプレートにおける基準動作を学習し、自分の動作を正しく取るように訓練するという目的を実現するにはユーザーが動作補助タスクを実行する必要があることを示し、このとき、タスク実行命令に応答して動作補助テンプレートからユーザーの動作訓練を指導する基準動作を抽出するとともに、基準動作に基づいて中間動作補助インタフェースを更新し、基準動作を含む動作補助インタフェースを得てユーザーに表示し、ユーザーは動作補助インタフェースにおける基準動作に応じて動作訓練を行うことができる。

【0033】

本実施例は、演説動作訓練シーンにおける情報処理方法の応用を例として説明を行い、すなわち、ユーザーは演説シーン用の関連動作を学習する必要があり、ほかの動作訓練シーンの関連説明について、本実施例の同じ又は対応する説明を参照すればよく、本実施例はここで何らの限定もしない。

【0034】

これに基づいて、ユーザーからコミットされた演説動作訓練命令を受信し、このとき、演説動作訓練命令に応じて演説動作訓練タスクを決定でき、その後、演説動作訓練テンプレート及び初期動作訓練インタフェースを決定し、演説動作訓練テンプレートに２つの演説動作が含まれるため、演説動作訓練テンプレートに基づいて初期動作訓練インタフェースを中間動作訓練インタフェースに更新してユーザーに表示することで、演説動作に２つの学習対象の基準演説動作が含まれることをユーザーに知らせるとともに、動作訓練をどのように行うか、訓練規則などの情報ユーザーに知らせることができる。

【0035】

さらに、ユーザーが中間動作訓練インタフェースによってタスク実行命令をコミットする場合、ユーザーが演説動作を学習し始める必要があることを示し、このとき、タスク実行命令に応答して演説動作訓練テンプレートから１番目の基準演説動作を抽出し、これを用いて中間動作訓練インタフェースを更新し、図２（ａ）に示す動作訓練インタフェースの模式図を生成し、第１基準演説動作をユーザーに表示する。

【0036】

以上のように、中間動作補助インタフェースをユーザーに提供することで、ユーザーが基準動作を決定することを補助し、それによって後でその学習ニーズを満たす基準動作をユーザーに表示することを確保でき、ユーザーが基準動作を十分に学習することを補助する目的を達成する。また、基準動作を含む動作補助インタフェースをユーザーに表示するとき、動作補助タスクを開始し、すなわち、ユーザーは基準動作を学習し始めて動作訓練の目的を達成することができる。この過程では、ユーザーが動作学習の進捗状況、及び動作学習の標準程度を理解しやすくするために、例えば動作収集回数、ユーザーが取る動作の基準動作に対する類似度、ユーザーが取る動作のスコア、ユーザーの基準動作の進捗度、ユーザーの基準動作の未進捗度など動作学習に関する関連情報を動作補助インタフェースに表示し、例えば、図２（ａ）に示す模式図において、演説動作学習の進捗状況、ユーザーの動作収集回数、ユーザーが学習する動作と基準演説動作との類似度、及びユーザーが学習する動作のスコアをユーザーに表示することで、ユーザーが動作訓練の詳細を理解することを補助するという目的を達成できる。実際の応用では、動作補助インタフェースに含まれる内容は実際の応用シーンに応じて設定でき、本実施例はここで何らの限定もしない。

【0037】

ステップＳ１０４：前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定する。

【0038】

具体的には、タスク実行命令に応答してユーザーに基準動作を表示する上記ステップの後、さらに、その後、ユーザーは動作補助インタフェースに表示される基準動作に応じて動作学習を行うことができ、つまり、ユーザーは基準動作に応じて自分の手足を配置して対応する矯正対象動作をすることができ、このとき、端末は収集モジュールによってユーザーが取る矯正対象動作を収集し、それによって矯正対象動作の矯正対象動作情報を決定し、後で矯正対象動作情報と組み合わせてユーザーが取る動作の標準程度を容易に決定でき、動作補助インタフェースを更新することに用いられ、ユーザーの動作学習状況を十分に表現する。

【0039】

矯正対象動作とは、具体的には、ユーザーが基準動作に基づいて取った後、収集モジュールにより収集された動作であり、なお、矯正対象動作の収集を行う際に、実際にはフレームごとに完了し、すなわち、矯正対象動作をフレームごとに収集して後の動作補助インタフェースの更新操作を行うことで、動作補助インタフェースによって動作学習状況をリアルタイムにフィードバックすることができる。これに対応して、矯正対象動作情報とは、具体的には、矯正対象動作に対応する属性情報であり、矯正対象動作情報によって矯正対象動作の収集回数、矯正対象動作における各手足のキーポイントの位置情報などを決定できる。

【0040】

さらに、矯正対象動作を収集する際に、収集精度を確保して後で動作学習の標準程度を正確に分析するために、認識モデルによって実現されてもよく、本実施例では、具体的な実現形態は以下の通りである。

【0041】

画像収集機器によってターゲット画像フレームを収集し、前記ターゲット画像フレームを認識モデルに入力して処理し、前記ターゲット画像フレームに対応するキーポイント情報を取得し、前記キーポイント情報に基づいて前記ターゲット画像フレームに対応するターゲット動作を前記基準動作に関連付けられた前記矯正対象動作として決定する。

【0042】

具体的には、画像収集機器とは、具体的には、携帯電話のカメラなど端末によって構成された画像を収集できる機器であり、これに対応して、ターゲット画像フレームとは、具体的には、現在の時刻において収集されている、矯正対象動作を認識する必要がある画像フレームであり、これに対応して、認識モデルとは、具体的には、ターゲット画像フレームにおける矯正対象動作を表すキーポイントを認識できるモデルであり、すなわち、認識モデルによってターゲット画像フレームにおけるユーザーの身体のキーポイント情報を決定でき、矯正対象動作を構築することに用いられ、これに対応して、キーポイント情報とは、具体的には、矯正対象動作を表すキーポイントに関連する情報であり、胴体キーポイント、四肢キーポイントなどを含むが、これらに限定されない。

【0043】

これに基づいて、画像収集機器によってターゲット画像フレームを収集した後、後でターゲット画像フレームにおける矯正対象動作に対して正確な動作判断を行うことができるために、ターゲット画像フレームを認識モデルに入力して処理し、ターゲット画像フレームに対応するキーポイント情報、すなわち、ターゲット画像フレームにおけるユーザーの胴体及び四肢キーポイントに関する位置情報を取得し、その後、キーポイント情報に基づいてターゲット動作を構築し、基準動作に関連付けられた矯正対象動作とすることで、後の更新情報の作成に使用することを容易にする。

【0044】

なお、キーポイント情報はユーザーの身体のキーポイントに対応するため、キーポイントの連結線はユーザーが行った動作とのマッピング関係を持つことができ、キーポイント連結線で矯正対象動作を表すことで、後でこれに基づいて動作学習状況を容易に検出でき、インタフェースを更新する更新情報を決定し、それによってインタフェース更新処理操作を完了し、動作学習状況を反映できる動作補助インタフェースをユーザーに表示する。つまり、矯正対象動作は、ユーザーが対応する動作を取った後、対応する該動作の下でユーザーに関連付けられたキーポイント連結線で表される動作である。ユーザーが現在の時刻において取っている動作を表すことに用いられ、コンピュータによる処理を実現する。

【0045】

また、認識モデルによってキーポイントを効果的に認識でき、後でユーザーが取った動作にマッチングするターゲット動作を容易に構築できるために、訓練段階では特別に訓練でき、すなわち、サンプル画像フレーム及びサンプル画像フレームに対応するサンプルラベルを取得し、サンプルラベルは、サンプル画像フレームにおけるユーザーに対応するキーポイントを正確にアノテーションしたラベルであり、その後、サンプル画像フレームを初期認識モデルに入力して処理し、予測キーフレーム情報を取得し、このとき、訓練停止条件を満たす認識モデルを取得するまでサンプルラベル及び予測キーフレーム情報に基づいて初期モデルに対してチューニングを行い、すなわち、取得された認識モデルは、実際の応用シーンでは、画像フレームにおけるユーザーに対応するキーフレーム情報を正確に認識でき、ユーザーが取った動作に対応する矯正対象動作を構築することに用いられ、後で使用することを実現する。

【0046】

以上のように、認識モデルと組み合わせてキーポイント情報の認識を行い、これに基づいて矯正対象動作を決定することで、矯正対象動作の決定の精度を効果的に確保でき、さらにユーザーが取った動作を十分に表し、後でこれに基づいてユーザーの動作状況を十分に分析して正確な更新情報を構築することを実現する。

【0047】

さらに、矯正対象動作を決定した後、矯正対象動作に基づいてインタフェースに動作学習の関連情報を表示できるために、このとき、収集回数及び動作連結線情報によって矯正対象動作情報を決定でき、それによって後で更新情報を容易に構築でき、本実施例では、具体的な実現形態は以下の通りである。
前記矯正対象動作に対応する収集回数及びキーポイント情報を決定し、前記キーポイント情報に応じて動作連結線情報を作成し、前記収集回数及び前記動作連結線情報を前記矯正対象動作情報とする。

【0048】

具体的には、収集回数とは、具体的には、矯正対象動作が収集された回数であり、各回数は１フレームを示し、これに対応して、キーポイント情報とは、具体的には、矯正対象動作に対応するキーポイントの位置情報であり、キーポイントは胴体、四肢関節点、及び顔の五官点などを含むがこれらに限定されない。これに対応して、動作連結線情報とは、具体的には、各キーポイントを連結した図形情報であり、矯正対象動作の関連情報を表す。

【0049】

これに基づいて、矯正対象動作を決定した後、後でこれに基づいて正確な更新インタフェース、及び動作学習状況を十分に表すインタフェースを構築できるために、このとき、矯正対象動作に対応する収集回数及びキーポイント情報を決定し、その後、キーポイント情報に応じて動作連結線情報を作成し、最後に収集回数及び動作連結線情報を矯正対象動作情報とすることができる。

【0050】

引き続き上記の例を使用し、図２（ａ）に示す動作訓練インタフェースを表示する場合、このとき第１基準演説動作の訓練を開始したことを示し、このとき、端末画像収集機器によってターゲット画像フレームを収集し、その後、ターゲット画像フレームを認識モデルに入力して処理し、ターゲット画像フレームにおいてユーザーが学習した演説動作を取った後のキーポイント情報である、ユーザーに対応する１４個の関節点位置情報を得て、それぞれ腕に関連付けられた関節点に対応する位置情報、胴体に関連付けられた関節点に対応する位置情報、及び表情に関連付けられた関節点に対応する位置情報である。それによってユーザーの矯正対象動作を決定する。

【0051】

さらに、後で矯正対象動作に基づいて動作訓練インタフェースを現在のフレームにおけるユーザーの演説動作の学習状況を表すインタフェースに更新できるために、このとき、ユーザーが矯正対象動作を取る時に矯正対象動作を収集する回数を決定し、関節点に対応するキーポイントを連結し、対応する矯正対象動作の動作連結線情報を得ることができ、また、ユーザーの視認を容易にするために、対応する関節点連結線を動作訓練インタフェースに表示し、図２（ｂ）に示す模式図を生成し、後で矯正対象動作に対応する収集回数及び動作連結線情報に基づいて、演説動作学習状況を表すインタフェースに更新することを容易にする。

【0052】

以上のように、収集回数及び動作連結線情報に基づいて矯正対象動作情報を構築することで、現在のフレームにおける矯正対象動作に対応する属性情報を正確に表すことができ、後でこれに基づいてより正確な更新情報を容易に作成できる。

【0053】

ステップＳ１０６：前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成する。

【0054】

具体的には、矯正対象動作に対応する矯正対象動作情報を決定した後、さらに、このとき、矯正対象動作情報に基づいて矯正対象動作の動作特徴を表すことができ、矯正対象動作はユーザーが基準動作に基づいて取った動作であるため、矯正対象動作情報を基準動作の基準動作情報と比較するだけで、矯正対象動作と基準動作との差分を決定でき、それによって該差分に基づいて更新情報を作成でき、更新後の動作補助インタフェースによって差分内容及び動作学習状況を反映する。

【0055】

基準動作情報とは、具体的には、基準動作に対応する特徴情報であり、基準動作に対応するキーポイント情報、及び基準動作に対応する標準収集回数情報などを含むがこれらに限定されない。これに対応して、更新情報とは、具体的には、動作補助インタフェースを更新するパラメータ情報であり、更新情報によって動作補助インタフェースにおいて更新する必要があるパラメータを明確にすることができ、更新情報は現在のフレームにおいて収集された矯正対象動作と基準動作との差分を表す。

【0056】

さらに、基準動作情報及び矯正対象動作情報に応じて更新情報を作成する際に、実際には、更新情報によって矯正対象動作と基準動作との差分を反映し、それによってユーザーが基準動作を学習する学習状況をフィードバックし、ユーザーに差分状況を十分に表現できるために、矯正対象動作の具体的な姿勢と組み合わせて更新情報の作成を行うことができ、本実施例では、具体的な実現はステップＳ１０６２～ステップＳ１０６８である。

【0057】

ステップＳ１０６２：前記基準動作に対応する前記基準動作情報を読み取り、前記基準動作情報に応じて基準動作連結線情報を決定する。

【0058】

ステップＳ１０６４：前記基準動作連結線情報及び前記動作連結線情報に応じて、前記基準動作と前記矯正対象動作との動作類似度を決定する。

【0059】

具体的には、基準動作連結線情報とは、具体的には、基準動作に対応するキーポイントを連結した連結線に関連する情報であり、これに対応して、動作類似度とは、具体的には、基準動作と矯正対象動作との類似度であり、動作類似度によってユーザーが現在のフレームにおいて基準動作を学習する状況を決定でき、ユーザーが現在の動作補助インタフェースにおける基準動作を継続的に学習する必要があるか否かを左右している。つまり、動作類似度が高いほど、ユーザーが現在のフレームにおいて基準動作を学習する矯正対象動作の姿勢が正確であることを示し、一方、動作類似度が低いほど、ユーザーが現在のフレームにおいて基準動作を学習する矯正対象動作の姿勢が間違っていることを示し、それによって新しい基準動作を変更して継続的に学習する必要があるか否かを判定する。

【0060】

これに基づいて、矯正対象動作に対応する矯正対象動作情報を決定した後、このとき、基準動作に対応する基準動作情報を読み取り、基準動作情報に応じて基準動作連結線情報を決定でき、その後、基準動作連結線情報及び動作連結線情報に応じて基準動作と矯正対象動作との類似度を計算して両者の動作類似度を得て、後の更新情報の構築に使用する。

【0061】

さらに、基準動作と矯正対象動作との動作類似度を計算する際に、動作類似度は更新情報に含まれる内容を決定する根拠であるため、動作類似度を正確に計算することで、基準動作と矯正対象動作との差分を十分に反映でき、本実施例では、動作類似度の計算は以下のステップによって実現される。

【0062】

ステップＳ１０６４２：前記基準動作連結線情報に応じて前記基準動作に対応する基準キーポイント座標を決定し、前記動作連結線情報に応じて動作キーポイント座標を決定する。

【0063】

ステップＳ１０６４４：前記基準キーポイント座標と前記動作キーポイント座標をそれぞれ前処理し、前記基準動作に対応する基準相対座標及び前記矯正対象動作に対応する動作相対座標を取得する。

【0064】

具体的には、基準キーポイント座標とは、具体的には、基準動作に対応するキーポイントの同一座標系での座標であり、これに対応して、動作キーポイント座標とは、具体的には、矯正対象動作に対応するキーポイントの同一座標系での座標であり、これに対応して、キーポイント座標の前処理とは、具体的には、キーポイント座標から相対座標への変換に基づく前処理であり、相対座標間の相対距離によって同一キーポイントの差分程度を反映することを実現し、それによってすべてのキーポイント間の相対座標間の相対距離を統合して動作類似度を得て、これに対応して、基準相対座標とは、具体的には、基準キーポイント座標を前処理して得た相対座標であり、矯正対象動作座標とは、具体的には、動作キーポイント座標を前処理して得た相対座標である。

【0065】

さらに、キーポイント座標を前処理する際に、基準キーポイント座標の具体的な前処理プロセスは以下の通りである。
前記基準キーポイント座標に応じて基準中心点座標を特定し、前記基準キーポイント座標及び前記基準中心点座標に基づいて初期基準相対座標を計算し、前記初期基準相対座標と目標距離との比を計算し、計算結果に応じて前記基準動作に対応する前記基準相対座標を決定する。

【0066】

具体的には、基準中心点座標とは、具体的には、基準キーポイント座標に応じて特定される中心点座標であり、例えば、キーポイントは身体の各関節に対応し、この場合、両肩キーポイントに対応するキーポイント座標によって両肩の中心点を基準中心点座標として特定し、基準中心点座標に対する各基準キーポイント座標の初期基準相対座標を算出し、これに対応して、初期基準相対座標とは、具体的には、基準中心点座標に対する各基準キーポイント座標の計算結果座標であり、これに対応して、目標距離とは、具体的には、基準中心点座標の２つの基準キーポイント座標間の距離を計算することである。

【0067】

これに基づいて、基準キーポイント座標を得た後、これに基づいて基準中心点座標を特定でき、基準キーポイント座標及び基準中心点座標に基づいて初期基準相対座標を算出し、その後、初期基準相対座標と目標距離との比をさらに計算し、最後に計算結果に応じて基準動作に対応する基準相対座標を決定することができる。

【0068】

例えば、両肩の中点を基準中心点座標とする場合、各基準キーポイント座標から両肩の中心点座標を減算し、両肩の中心点に対する各キーポイントの相対座標を得ることができ、さらに得られた相対座標を両肩キーポイント座標間の距離で除算すると、一定の比率に基づく両肩の中心点に対する各キーポイントの基準相対座標を得ることができる。

【0069】

同様に、動作キーポイント座標に応じて動作中心点座標を特定でき、その後、動作キーポイント座標及び動作中心点座標に基づいて初期動作相対座標を計算し、さらに初期動作相対座標ともう１つの目標距離との比を計算し、計算結果に応じて矯正対象動作に対応する動作相対座標を決定することができる。なお、動作相対座標の計算プロセスは基準相対座標の計算プロセスを参照すればよく、本実施例ではここで詳細説明を省略する。

【0070】

以上のように、相対計算を使用して相対座標を決定することで、後でこれに基づいて正確な動作類似度を容易に算出でき、更新情報の構築精度を向上させる。

【0071】

ステップＳ１０６４６：前記基準相対座標及び前記動作相対座標に応じて平均相対距離を計算する。

【0072】

ステップＳ１０６４８：前記平均相対距離を変換することで、前記基準動作と前記矯正対象動作との前記動作類似度を取得する。

【0073】

具体的には、平均相対距離とは、具体的には、現在のフレームの矯正対象動作と基準動作との差分を反映する距離であり、すなわち、矯正対象動作と基準動作のそれぞれに対応するキーポイントとの距離の平均値であり、平均相対距離が小さいほど、矯正対象動作と基準動作との差分が小さいことを表し、一方、平均相対距離が大きいほど矯正対象動作と基準動作との差分が大きいことを表し、これに対応して、平均相対距離の変換とは、具体的には、それを類似度表現形式に変換する変換処理操作である。

【0074】

これに基づいて、基準相対座標及び動作相対座標を得た後、基準相対座標及び動作相対座標に応じて基準動作と矯正対象動作との平均相対距離を算出でき、その後、平均相対距離を変換して基準動作と矯正対象動作との前記動作類似度を得ることができ、それによって基準動作と矯正対象動作との差分を反映する。また、平均相対距離を変換して動作類似度を決定する際に、平均相対距離が基準動作のキーポイントと矯正対象動作のキーポイント（キーポイントに対応する関節の位置は同じである）との距離の値であることを考慮すると、相対距離が大きいほど類似度が低いことを示す。これに基づいて、平均相対距離が１よりも大きいと、動作類似度を０と直接決定し、一方、平均相対距離が１以下であると、１から平均相対距離を減算した値を類似度とすることができるように設定でき、それによって後で更新情報を容易に構築できる。

【0075】

以上のように、動作類似度を計算することで、矯正対象動作と基準動作との類似度を反映し、現在のフレームにおいて収集された矯正対象動作と基準動作との類似状況を十分に表すことができ、後でインタフェースを正確に更新できる更新情報を容易に構築できる。

【0076】

よりさらに、動作類似度を決定した後、異なるユーザーが基準動作を学習する進捗状況が異なることを考慮して、ユーザーが基準動作を正確に学習することを十分に補助できるために、異なる収集時間に応じて異なる方式を選択して更新情報を構築することができ、具体的な実現は以下の通りである。
ステップＳ１０６６：前記収集回数に対応する収集時間が第１時間閾値未満である場合、前記収集回数及び前記動作類似度に応じて第１動作スコアを決定し、前記第１動作スコア、前記収集回数及び前記動作類似度に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成する。

【0077】

具体的には、収集時間とは、具体的には、現在のフレームに対応する矯正対象動作を収集することにかかる時間であり、これに対応して、第１動作スコアとは、具体的には、収集回数及び動作類似度を組み合わせて得られたスコアであり、第１動作スコアによって矯正対象動作と基準動作との類似度を反映でき、現在のフレームの類似度は高い。

【0078】

これに基づいて、収集回数に対応する収集時間が第１時間閾値未満である場合、少ない収集回数だけで矯正対象動作の収集を完了することを示し、このとき、収集回数及び動作類似度に応じて第１動作スコアを算出し、その後、第１動作スコア、収集回数及び動作類似度に基づいて更新パラメータを直接構築することができる。

【0079】

ステップＳ１０６８：前記収集時間が前記第１時間閾値以上である場合、前記基準動作連結線情報に応じて補助動作連結線情報を作成し、前記収集回数及び前記動作類似度に応じて第２動作スコアを決定し、前記第２動作スコア、前記収集回数、前記動作類似度及び前記補助動作連結線情報に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成する。

【0080】

具体的には、補助動作連結線情報とは、具体的には、ユーザーが基準動作を学習することを補助するようにインタフェースに追加する必要がある連結線情報であり、それによってユーザーは対応する矯正対象動作の動作連結線情報を補助動作連結線情報に近くして矯正対象動作の修正を実現でき、これに対応して、第２スコアとは、具体的には、収集回数及び動作類似度を組み合わせて得られたスコアであり、該スコアは矯正対象動作と基準動作との類似度が低いことを表す。

【0081】

これに基づいて、収集時間が第１時間閾値以上である場合、矯正対象動作の収集時間が長いことを示し、さらにユーザーが短い時間内に基準動作に適合する矯正対象動作を行うことができないことを示し、このとき、基準動作連結線情報に応じて補助動作連結線情報を作成するとともに、収集回数及び動作類似度と組み合わせて第２動作スコアを決定し、最後に、第２動作スコア、収集回数、動作類似度及び補助動作連結線情報に基づいて、動作補助インタフェースに対応する更新情報を作成することができる。

【0082】

また、ユーザーが基準動作の学習を迅速に完了することを補助できるために、補助動作連結線情報を作成でき、補助動作連結線情報によって効果的なガイドを実現できるために、収集時間に応じて補助動作連結線情報を異なる色で作成することができ、すなわち、収集時間が第１時間閾値以上且つ第２時間閾値未満である場合、Ｓ１色の補助動作連結線情報を作成でき、収集時間が第２時間閾値よりも大きい場合、Ｓ２色の補助動作連結線情報を作成でき、Ｓ１及びＳ２色は実際の応用シーンに応じて設定でき、本実施例はここで何らの限定もしない。

【0083】

実際の応用では、動作スコアを決定する際に、収集回数及び動作類似度との関連関係を事前に設定でき、関連関係に応じて複数のレベルに分割でき、例えば、収集回数が少ない場合、収集時間が短いことを示し、動作類似度が高いと、満点を取ることができ、又は、収集回数が多い場合、収集時間が一般であることを示し、動作類似度が高いと、満点の半分の点数を取ることができ、さらに又は、収集回数が非常に多い場合、収集時間が長いことを示し、動作類似度が低いと、０点を取ることができる。具体的な分割関係は実際の応用シーンに応じて設定でき、本実施例はここで何らの限定もしない。

【0084】

引き続き上記の例を使用し、第１基準演説動作の基準動作情報を読み取って基準動作連結線情報を決定することで、基準動作連結線情報及び矯正対象動作の動作連結線情報に応じて矯正対象動作と第１基準演説動作との動作類似度が０．９２５であることを決定でき、収集時間が第１時間閾値未満である場合、収集回数及び動作類似度に応じて矯正対象動作が１００点（満点）を取ることを決定し、その後、１００点、収集回数及び動作類似度に基づいて動作訓練インタフェースの更新情報を構築することができる。

【0085】

収集時間が第１時間閾値以上且つ第２時間閾値未満である場合、収集回数及び動作類似度に応じて矯正対象動作が５０点（満点の半分の点数）を取ることを決定するとともに、第１基準演説動作の基準動作連結線情報に基づいてＳ１色の補助動作連結線情報を作成し、その後、５０点、Ｓ１色の補助動作連結線情報、収集回数及び動作類似度に基づいて動作訓練インタフェースの更新情報を構築することができる。

【0086】

収集時間が第２時間閾値以上である場合、収集回数及び動作類似度に応じて矯正対象動作が０点（満点の半分の点数）を取ることを決定するとともに、第１基準演説動作の基準動作連結線情報に基づいてＳ２色の補助動作連結線情報を作成し、その後、０点、Ｓ２色の補助動作連結線情報、収集回数及び動作類似度に基づいて動作訓練インタフェースの更新情報を構築することができる。

【0087】

以上のように、異なる収集時間に応じて異なる更新情報を作成することで、インタフェースを更新する際に、更新後のインタフェースによって異なる時間での動作類似度を十分にフィードバックし、ユーザーが基準動作を学習する詳細を反映し、動作訓練の目的を達成する。

【0088】

ステップＳ１０８：前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示する。

【0089】

具体的には、上記更新情報を得た後、さらに、更新情報に応じて動作補助インタフェースを更新し、動作学習の詳細を反映するターゲット動作補助インタフェースを得ることができ、ターゲット動作補助インタフェースをユーザーに表示することで、ユーザーは動作学習状況を理解できる。

【0090】

実際の応用では、得られた更新情報によりユーザーが基準動作を完了していないと判定された場合、現在のフレームにおいてユーザーが取っている矯正対象動作が取り方標準を満たしていないことを示し、このとき、更新情報に収集回数及び動作類似度のみがあり、更新後のインタフェースも収集回数及び動作類似度スコアのみを更新し、ステップＳ１０４～ステップＳ１０８を繰り返し、更新情報によりユーザーが基準動作を完了したと判定されると、更新情報に収集回数、動作類似度、動作スコア、及び新しい基準動作が含まれると判定でき、更新後のインタフェースはユーザーの基準動作学習状況を表示でき、しばらくして、再び新しい基準動作に基づいて該インタフェースを更新し、さらに学習が終了するまでステップＳ１０４～ステップＳ１０８のプロセスを繰り返して新しい基準動作を学習する。

【0091】

引き続き上記の例を使用し、更新情報に１００点、収集回数及び動作類似度が含まれる場合、現在のフレームにおけるユーザーの学習状況が良好であることを示し、このとき、図３（ａ）に示す模式図を表示することができ、更新情報に５０点、Ｓ１色の補助動作連結線情報、収集回数及び動作類似度が含まれる場合、現在のフレームにおけるユーザーの学習状況が一般であることを示し、ユーザーが第１基準演説動作を学習することを補助するために、図３（ｂ）に示す模式図を更新することができ、第１基準演説動作と同じであることを実現するように矯正対象動作をどのように調整するかをユーザーに表現するための補助線が含まれている。

【0092】

また、ターゲット動作補助インタフェースをユーザーに表示した後、現在のフレームにおけるユーザーの動作類似度が類似度閾値よりも大きいと、ユーザーの基準動作学習のプロセスが完了したことを示し、すなわち、矯正対象動作が基準動作と同じであり、このとき、次の動作訓練を継続でき、本実施例では、具体的な実現は以下の通りである。
前記動作類似度が類似度閾値よりも大きい場合、前記タスク実行命令に対応する関連動作を決定し、前記関連動作を前記基準動作とし、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップを実行する。

【0093】

なお、新しい基準動作を学習するプロセスについて、上記実施例の同じ又は対応する説明を参照すればよく、本実施例ではここで詳細説明を省略する。

【0094】

引き続き上記の例を使用し、図３（ａ）に示す模式図によりユーザーの第１基準演説動作の学習が完了したと判定された後、テンプレートから第２基準演説動作を読み取り、図３（ｃ）に示す模式図をユーザーに表示し、さらに後の動作訓練を行うことができる。

【0095】

なお、本実施例に係る情報処理方法は、動作訓練の全過程に適用され、すなわち、各フレームのインタフェース更新プロセスは上記方式によって実現され、基準動作が切り替えられる前に、ユーザーが基準動作を学習する矯正対象動作が標準を満たされていないままことを示し、このとき、調整し続ける必要があり、調整中、動作補助インタフェースによって調整後の動作及び関連パラメータを表示し続け、基準動作の取り方標準を満たすと、次の基準動作にジャンプして学習を行い、次の基準動作の学習プロセスは上記実施例の説明と類似し、本実施例ではここで詳細説明を省略する。すべての基準動作の学習が完了すると、基準動作学習完了インタフェースをユーザーに表示することができる。つまり、各フレームのインタフェース更新は、現在のフレームにおけるユーザーの動作取りの状況を十分に表現するように上記インタフェース更新処理操作を繰り返す必要がある。

【0096】

【0097】

以下、図４を参照し、演説動作補助訓練シーンにおける本明細書に係る情報処理方法の応用を例として、前記情報処理方法をさらに説明する。図４は本明細書の一実施例に係る情報処理方法の処理フローチャートを示し、具体的には以下のステップを含む。
ステップＳ４０２：ユーザーからコミットされた動作補助命令を受信し、動作補助命令に応じて動作補助タスクを決定する。

【0098】

ステップＳ４０４：動作補助タスクに対応する動作補助テンプレート及び初期動作補助インタフェースを決定する。

【0099】

ステップＳ４０６：動作補助テンプレートに基づいて初期動作補助インタフェースを中間動作補助インタフェースに更新して表示する。

【0100】

ステップＳ４０８：ユーザーから中間動作補助インタフェースによってコミットされたタスク実行命令を受信する。

【0101】

ステップＳ４１０：タスク実行命令に応答して動作補助テンプレートから基準動作を抽出し、中間動作補助インタフェースを更新する。

【0102】

ステップＳ４１２：更新結果に応じて基準動作を含む動作補助インタフェースを表示する。

【0103】

ステップＳ４１４：画像収集機器によってターゲット画像フレームを収集する。

【0104】

ステップＳ４１６：ターゲット画像フレームを認識モデルに入力して処理し、ターゲット画像フレームに対応するキーポイント情報を取得する。ステップＳ４１８：キーポイント情報に基づいてターゲット画像フレームに対応するターゲット動作を、基準動作に関連付けられた矯正対象動作として決定する。

【0105】

ステップＳ４２０：矯正対象動作に対応する収集回数及びキーポイント情報を決定し、キーポイント情報に応じて動作連結線情報を作成する。

【0106】

ステップＳ４２２：収集回数及び動作連結線情報を矯正対象動作情報とする。

【0107】

ステップＳ４２４：基準動作連結線情報及び動作連結線情報に応じて基準動作と矯正対象動作との動作類似度を決定する。

【0108】

動作類似度の計算は、基準動作連結線情報に応じて基準動作に対応する基準キーポイント座標を決定し、動作連結線情報に応じて動作キーポイント座標を決定するステップと、基準キーポイント座標及び動作キーポイント座標をそれぞれ前処理し、基準動作に対応する基準相対座標及び矯正対象動作に対応する動作相対座標を取得するステップと、基準相対座標及び動作相対座標に応じて平均相対距離を計算するステップと、平均相対距離を変換することで、基準動作と矯正対象動作との動作類似度を取得するステップと、を含む。

【0109】

座標前処理プロセスは、基準キーポイント座標に応じて基準中心点座標を特定し、基準キーポイント座標及び基準中心点座標に基づいて初期基準相対座標を計算するステップと、初期基準相対座標と目標距離との比を計算し、計算結果に応じて基準動作に対応する基準相対座標を決定するステップと、を含む。

【0110】

ステップＳ４２６：収集回数に対応する収集時間が第１時間閾値未満である場合、収集回数及び動作類似度に応じて第１動作スコアを決定する。

【0111】

ステップＳ４２８：第１動作スコア、収集回数及び動作類似度に基づいて、動作補助インタフェースに対応する更新情報を作成する。

【0112】

ステップＳ４３０：収集時間が第１時間閾値以上である場合、基準動作連結線情報に応じて補助動作連結線情報を作成し、収集回数及び動作類似度に応じて第２動作スコアを決定する。

【0113】

ステップＳ４３２：第２動作スコア、収集回数、動作類似度及び補助動作連結線情報に基づいて、動作補助インタフェースに対応する更新情報を作成する。

【0114】

ステップＳ４３４：更新情報に応じて動作補助インタフェースをターゲット動作補助インタフェースに更新して表示する。

【0115】

また、動作類似度が類似度閾値よりも大きい場合、タスク実行命令に対応する関連動作を決定し、その後、関連動作を基準動作として、タスク実行命令に応答して動作補助インタフェースに基準動作を表示するステップを実行することができる。

【0116】

以上のように、ユーザーの動作訓練を補助することを実現できるために、タスク実行命令に応答して動作補助インタフェースに基準動作を表示し、その後、基準動作に関連付けられた矯正対象動作を収集し、矯正対象動作に対応する待矯正情報を決定でき、このとき、ユーザーが基準動作に対して取った矯正対象動作の関連情報が決定され、さらに矯正対象動作情報及び基準動作に対応する基準動作情報に応じて、動作補助インタフェースに対応する更新情報を作成し、最後に更新情報に従って動作補助インタフェースを更新することで、行った矯正対象動作の関連パラメータをユーザーに表現できるターゲット動作補助インタフェースを得ることができ、ターゲット動作補助インタフェースをユーザーに表示するのを実現することで、ユーザーは矯正対象動作と基準動作との関連性を理解し、ユーザーの動作訓練の目的を実現し、姿勢表現の効果を向上させる。

【0117】

上記方法実施例に対応して、本明細書は情報処理装置の実施例をさらに提供し、図５は本明細書の一実施例に係る情報処理装置の構造模式図を示す。図５に示すように、該装置は、
タスク実行命令に応答して動作補助インタフェースに基準動作を表示するように構成される表示モジュール５０２と、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定するように構成される収集モジュール５０４と、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成するように構成される作成モジュール５０６と、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示するように構成される更新モジュール５０８と、を含む。

【0118】

１つの選択可能な実施例では、前記情報処理装置は、
ユーザーからコミットされた動作補助命令を受信し、前記動作補助命令に応じて動作補助タスクを決定し、前記動作補助タスクに対応する動作補助テンプレート及び初期動作補助インタフェースを決定し、前記動作補助テンプレートに基づいて前記初期動作補助インタフェースを中間動作補助インタフェースに更新して表示するように構成される受信モジュールをさらに含み、
１つの選択可能な実施例では、前記表示モジュール５０２はさらに、
前記ユーザーが前記中間動作補助インタフェースによってコミットした前記タスク実行命令を受信し、前記タスク実行命令に応答して前記動作補助テンプレートから前記基準動作を抽出し、前記中間動作補助インタフェースを更新し、更新結果に応じて前記基準動作を含む前記動作補助インタフェースを表示するように構成される。

【0119】

１つの選択可能な実施例では、前記収集モジュール５０４はさらに、
画像収集機器によってターゲット画像フレームを収集し、前記ターゲット画像フレームを認識モデルに入力して処理し、前記ターゲット画像フレームに対応するキーポイント情報を取得し、前記キーポイント情報に基づいて前記ターゲット画像フレームに対応するターゲット動作を前記基準動作に関連付けられた前記矯正対象動作として決定するように構成される。

【0120】

１つの選択可能な実施例では、前記収集モジュール５０４はさらに、
前記矯正対象動作に対応する収集回数及びキーポイント情報を決定し、前記キーポイント情報に応じて動作連結線情報を作成し、前記収集回数及び前記動作連結線情報を前記矯正対象動作情報とするように構成される。

【0121】

１つの選択可能な実施例では、前記作成モジュール５０６はさらに、
前記基準動作に対応する前記基準動作情報を読み取り、前記基準動作情報に応じて基準動作連結線情報を決定し、前記基準動作連結線情報及び前記動作連結線情報に応じて、前記基準動作と前記矯正対象動作との動作類似度を決定し、前記収集回数に対応する収集時間が第１時間閾値未満である場合、前記収集回数及び前記動作類似度に応じて第１動作スコアを決定し、前記第１動作スコア、前記収集回数及び前記動作類似度に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成するように構成される。

【0122】

１つの選択可能な実施例では、前記作成モジュール５０６はさらに、
前記収集時間が前記第１時間閾値以上である場合、前記基準動作連結線情報に応じて補助動作連結線情報を作成し、前記収集回数及び前記動作類似度に応じて第２動作スコアを決定し、前記第２動作スコア、前記収集回数、前記動作類似度及び前記補助動作連結線情報に基づいて、前記動作補助インタフェースに対応する前記更新情報を作成するように構成される。

【0123】

１つの選択可能な実施例では、前記作成モジュール５０６はさらに、
前記基準動作連結線情報に応じて前記基準動作に対応する基準キーポイント座標を決定し、前記動作連結線情報に応じて動作キーポイント座標を決定し、前記基準キーポイント座標と前記動作キーポイント座標をそれぞれ前処理し、前記基準動作に対応する基準相対座標及び前記矯正対象動作に対応する動作相対座標を取得し、前記基準相対座標及び前記動作相対座標に応じて平均相対距離を計算し、前記平均相対距離を変換することで、前記基準動作と前記矯正対象動作との前記動作類似度を取得するように構成される。

【0124】

１つの選択可能な実施例では、前記作成モジュール５０６はさらに、
前記基準キーポイント座標に応じて基準中心点座標を特定し、前記基準キーポイント座標及び前記基準中心点座標に基づいて初期基準相対座標を計算するように構成され、前記初期基準相対座標と目標距離との比を計算し、計算結果に応じて前記基準動作に対応する前記基準相対座標を決定するように構成される。

【0125】

１つの選択可能な実施例では、前記情報処理装置は、
前記動作類似度が類似度閾値よりも大きい場合、前記タスク実行命令に対応する関連動作を決定し、前記関連動作を前記基準動作とし、タスク実行命令に応答して動作補助インタフェースに基準動作を表示する前記ステップを実行することをさらに含む。

【0126】

本明細書に係る情報処理装置は、ユーザーの動作訓練を補助することを実現できるために、タスク実行命令に応答して動作補助インタフェースに基準動作を表示し、その後、基準動作に関連付けられた矯正対象動作を収集し、矯正対象動作に対応する待矯正情報を決定でき、このとき、ユーザーが基準動作に対して取った矯正対象動作の関連情報が決定され、さらに矯正対象動作情報及び基準動作に対応する基準動作情報に応じて、動作補助インタフェースに対応する更新情報を作成し、最後に更新情報に従って動作補助インタフェースを更新することで、行った矯正対象動作の関連パラメータをユーザーに表現できるターゲット動作補助インタフェースを得ることができ、ターゲット動作補助インタフェースをユーザーに表示するのを実現することで、ユーザーは矯正対象動作と基準動作との関連性を理解し、ユーザーの動作訓練の目的を実現し、姿勢表現の効果を向上させる。

【0127】

以上は本実施例の情報処理装置の例示的な手段である。なお、該情報処理装置の技術的解決手段は上記情報処理方法の技術的解決手段と同じアイディアに属し、情報処理装置の技術的解決手段において詳しく説明されていない詳細について、上記情報処理方法の技術的解決手段の説明を参照すればよい。

【0128】

図６は本明細書の一実施例に係るコンピューティング機器６００の構造ブロック図を示す。該コンピューティング機器６００の部材はメモリ６１０及びプロセッサ６２０を含むが、これらに限定されない。プロセッサ６２０とメモリ６１０はバス６３０を介して接続され、データベース６５０はデータを保存することに用いられる。

【0129】

コンピューティング機器６００はアクセス機器６４０をさらに含み、アクセス機器６４０によってコンピューティング機器６００が１つ又は複数のネットワーク６６０を介して通信できる。これらのネットワークの例としては、公衆交換電話網（ＰＳＴＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）又はインターネットなどの通信ネットワークの組み合わせが含まれる。アクセス機器６４０は、ＩＥＥＥ８０２．１１無線ＬＡＮ（ＷＬＡＮ）無線インタフェース、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（Ｗｉ－ＭＡＸ）インタフェース、イーサネットインタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、セルラーネットワークインタフェース、ブルートゥース（登録商標）インタフェース、近距離無線通信（ＮＦＣ）インタフェースなどの有線又は無線の任意のタイプのネットワークインタフェース（例えば、ネットワークインタフェースカード（ＮＩＣ））のうちの１つ又は複数を含んでもよい。

【0130】

本明細書の１つの実施例では、コンピューティング機器６００の上記部材及び図６に示されていないほかの部材は例えばバスを介して互いに接続されてもよい。理解できるように、図６に示すコンピューティング機器の構造ブロック図は例示のみを目的としており、本明細書の範囲を限定するものではない。当業者は必要に応じてほかの部材を追加又は置換することができる。コンピューティング機器６００は、携帯型コンピュータ又は携帯型コンピューティング機器（例えば、タブレットコンピュータ、携帯情報端末、ラップトップコンピュータ、ノートコンピュータ、ネットブックなど）、携帯電話（例えば、スマートフォン）、装着可能なコンピューティング機器（例えば、スマートウォッチ、スマートグラスなど）又はほかのタイプの携帯型機器、又はデスクトップコンピュータ又はＰＣの固定型コンピューティング機器などの任意のタイプの固定型又は携帯型コンピューティング機器であってもよい。コンピューティング機器６００はさらに携帯型又は固定型サーバであってもよい。

【0131】

プロセッサ６２０は、以下のコンピュータ実行可能命令を実行することに用いられる。
タスク実行命令に応答して動作補助インタフェースに基準動作を表示し、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定し、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成し、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示する。

【0132】

以上は本実施例のコンピューティング機器の例示的な手段である。なお、該コンピューティング機器の技術的解決手段は上記情報処理方法の技術的解決手段と同じアイディアに属し、コンピューティング機器の技術的解決手段において詳しく説明されていない詳細について、上記情報処理方法の技術的解決手段の説明を参照すればよい。

【0133】

本明細書の一実施例はコンピュータ可読記憶媒体をさらに提供し、コンピュータ命令が記憶されており、該命令がプロセッサにより実行されると、
タスク実行命令に応答して動作補助インタフェースに基準動作を表示し、
前記基準動作に関連付けられた矯正対象動作を収集し、前記矯正対象動作に対応する矯正対象動作情報を決定し、
前記矯正対象動作情報及び前記基準動作に対応する基準動作情報に応じて、前記動作補助インタフェースに対応する更新情報を作成し、
前記更新情報に応じて前記動作補助インタフェースをターゲット動作補助インタフェースに更新して表示することに用いられる。

【0134】

以上は本実施例のコンピュータ可読記憶媒体の例示的な手段である。なお、該記憶媒体の技術的解決手段は上記情報処理方法の技術的解決手段と同じアイディアに属し、記憶媒体の技術的解決手段において詳しく説明されていない詳細について、上記情報処理方法の技術的解決手段の説明を参照すればよい。

【0135】

以上、本明細書の特定の実施例を説明した。ほかの実施例は添付する特許請求の範囲に含まれる。場合によっては、特許請求の範囲に記載される動作又はステップは実施例における順序とは異なる順序で実行でき、同様に所望の結果を実現できる。また、図面に示されるプロセスは、所望の結果を実現するために、必ずしも示された特定の順序又は連続的な順序を必要としない。いくつかの実施形態では、マルチタスク処理と並行処理も可能であるか、又は有利であり得る。

【0136】

前記コンピュータ命令はコンピュータプログラムコードを含み、前記コンピュータプログラムコードはソースコード形式、オブジェクトコード形式、実行ファイル又はいくつかの中間形式などであってもよい。前記コンピュータ可読媒体は、前記コンピュータプログラムコードを搬送できる任意のエンティティ又は装置、記録媒体、Ｕディスク、モバイルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、電気キャリア信号、電気通信信号及びソフトウェアディストリビューション媒体などを含んでもよい。なお、前記コンピュータ可読媒体に含まれる内容は該当法域における立法及び特許実務の要件に応じて適宜増減でき、例えば、いくつかの法域では、立法及び特許実務に応じて、コンピュータ可読媒体は電気キャリア信号及び電気通信信号を含まない。

【0137】

なお、上記各方法実施例について、説明を簡略化するために、一連の動作組み合わせとして表現されたが、当業者が理解できるように、本明細書は説明された動作の順序によって制限されず、本明細書によれば、いくつかのステップはほかの順序で又は同時に実行されてもよい。また、当業者がさらに理解できるように、明細書で説明された実施例はいずれも好適な実施例であり、係る動作及びモジュールは必ずしも本明細書に必須なものではない。

【0138】

上記実施例では、各実施例の説明の説明にそれぞれ重点が置かれており、ある実施例において詳細に説明されていない部分について、ほかの実施例の関連説明を参照すればよい。

【0139】

以上開示されている本明細書の好適な実施例は本明細書を説明するのを助けることのみを目的としている。選択可能な実施例はすべての詳細を網羅するものではなく、該発明を限定するものでもなく、前記具体的な実施形態に過ぎない。明らかに、本明細書の内容によって種々の変更や変化を行うことができる。本明細書では、これらの実施例を選択し具体的に説明する目的は、当業者が本明細書をよりよく理解及び利用できるように本明細書の原理及び実用をよりよく解釈することである。本明細書は、特許請求の範囲及びその全範囲や同等物によってのみ制限される。

【図1】