知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-25
(54)【発明の名称】ビデオ動作の認識および変更
(51)【国際特許分類】
G06T 7/20 20170101AFI20240718BHJP
G06T 7/00 20170101ALI20240718BHJP
【ＦＩ】
G06T7/20 300
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023573345
(86)(22)【出願日】2022-05-11
(85)【翻訳文提出日】2023-11-28
(86)【国際出願番号】 CN2022092187
(87)【国際公開番号】W WO2022267728
(87)【国際公開日】2022-12-29
(31)【優先権主張番号】17/304,600
(32)【優先日】2021-06-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(72)【発明者】
【氏名】イン、クーニャン
(72)【発明者】
【氏名】チャン、ホンビン
(72)【発明者】
【氏名】リー、ファン
(72)【発明者】
【氏名】チャン、ハオ
(72)【発明者】
【氏名】シャオ、ワン
(72)【発明者】
【氏名】リュウ、シュエピン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA20
5L096DA02
5L096FA09
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA17
5L096GA30
5L096HA11
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
ビデオ動作認識を実施するためのシステム、方法およびコンピュータ・プログラム製品が提供される。この方法は、ユーザ運動動作を含むビデオ・ストリームを受け取ることを含む。ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出し、多数のデジタル・レベルに関してカテゴリ分類する。ビデオ・フレーム内で初期視覚窓点を生成し、ビデオ・フレームに関して一群の骨格点の平均移動距離を決定する。応答して、視覚窓のサイズを調整し、一群の骨格点から特徴ベクトルを抽出する。骨格点の点座標を抽出し、特徴ベクトルにリンク付けする。特徴ベクトルを点座標にリンク付けすることに関連した畳み込みニューラル・ネットワークを生成し、ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にする。
【特許請求の範囲】
【請求項1】
コンピュータ可読メモリ・ユニットに結合されたプロセッサを含むハードウェア・デバイスであって、前記メモリ・ユニットが、前記プロセッサによって実行されたときにビデオ動作の認識および変更方法を実施する命令を含み、前記方法が、前記プロセッサによって、ユーザ運動動作を含むビデオ・ストリームを受け取ること、
前記プロセッサによって、前記ビデオ・ストリームから、複数のセンサを介して、前記ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出すること、
前記プロセッサによって、多数のデジタル・レベルに関して、前記骨格点をカテゴリ分類すること、
前記プロセッサによって、前記ビデオ・ストリームの複数のビデオ・フレーム内の前記骨格点のうちの一群の骨格点を取り囲む初期視覚窓を生成すること、
前記プロセッサによって、前記複数のビデオ・フレームに関して、前記一群の骨格点の平均移動距離を決定すること、
前記決定の結果に応答した前記プロセッサによって、前記複数のビデオ・フレームの各々に関して、前記視覚窓のサイズを調整すること、
前記調整の結果に応答してスケール不変特徴変換（ＳＩＦＴ）コードを実行している前記プロセッサによって、前記一群の骨格点の特徴ベクトルを抽出すること、
ＯｐｅｎＰｏｓｅコードを実行している前記プロセッサによって、前記骨格点の点座標を抽出すること、
前記プロセッサによって、前記特徴ベクトルを前記点座標にリンク付けする第１のリンク付けを実行すること、
前記プロセッサによって、前記特徴ベクトルを前記点座標にリンク付けする前記リンク付けに関連した畳み込みニューラル・ネットワークを生成すること、および
前記畳み込みニューラル・ネットワークを使用可能にした結果に応答した前記プロセッサによって、前記ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、前記ビデオ・ストリームを使用可能にすること
を含む、ハードウェア・デバイス。
【請求項2】
前記方法がさらに、前記プロセッサによって、前記骨格点に関連した周囲特徴を抽出することであり、前記一群の骨格点の前記平均移動距離の前記決定がさらに前記周囲特徴にも基づく、前記抽出すること
を含む、請求項１に記載のハードウェア・デバイス。
【請求項3】
前記方法がさらに、前記プロセッサによって、多数のデジタル特徴に関して、前記骨格点をカテゴリ分類すること、および
前記プロセッサによって、前記多数のデジタル特徴の第２のリンク付けを実行すること
を含む、請求項１に記載のハードウェア・デバイス。
【請求項4】
前記方法がさらに、前記第１のリンク付けおよび前記第２のリンク付けの結果に応答した前記プロセッサによって、前記畳み込みニューラル・ネットワークの動作に関連した分類確率を決定すること
を含む、請求項３に記載のハードウェア・デバイス。
【請求項5】
前記平均移動距離の前記決定が、【数1】
【数2】
【請求項6】
前記平均移動距離の前記決定がさらに、【数3】
【数4】
【請求項7】
前記視覚窓の前記サイズの前記調整が、【数5】
【数6】
【請求項8】
前記視覚窓の前記サイズの前記調整がさらに、【数7】
【数8】
【請求項9】
前記方法がさらに、前記プロセッサによって、前記骨格点を前記多数のデジタル・レベルにアップサンプリングすること
を含む、請求項１に記載のハードウェア・デバイス。
【請求項10】
ビデオ動作の認識および変更方法であって、ハードウェア・デバイスのプロセッサによって、ユーザ運動動作を含むビデオ・ストリームを受け取ること、
前記プロセッサによって、前記ビデオ・ストリームから、複数のセンサを介して、前記ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出すること、
前記プロセッサによって、多数のデジタル・レベルに関して、前記骨格点をカテゴリ分類すること、
前記プロセッサによって、前記ビデオ・ストリームの複数のビデオ・フレーム内の前記骨格点のうちの一群の骨格点を取り囲む初期視覚窓を生成すること、
前記プロセッサによって、前記複数のビデオ・フレームに関して、前記一群の骨格点の平均移動距離を決定すること、
前記決定の結果に応答した前記プロセッサによって、前記複数のビデオ・フレームの各々に関して、前記視覚窓のサイズを調整すること、
前記調整の結果に応答してスケール不変特徴変換（ＳＩＦＴ）コードを実行している前記プロセッサによって、前記一群の骨格点の特徴ベクトルを抽出すること、
ＯｐｅｎＰｏｓｅコードを実行している前記プロセッサによって、前記骨格点の点座標を抽出すること、
前記プロセッサによって、前記特徴ベクトルを前記点座標にリンク付けする第１のリンク付けを実行すること、
前記プロセッサによって、前記特徴ベクトルを前記点座標にリンク付けする前記リンク付けに関連した畳み込みニューラル・ネットワークを生成すること、および
前記畳み込みニューラル・ネットワークを使用可能にした結果に応答した前記プロセッサによって、前記ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、前記ビデオ・ストリームを使用可能にすること
を含むビデオ動作の認識および変更方法。
【請求項11】
前記プロセッサによって、前記骨格点に関連した周囲特徴を抽出することであり、前記一群の骨格点の前記平均移動距離の前記決定がさらに前記周囲特徴にも基づく、前記抽出することをさらに含む、請求項１０に記載の方法。
【請求項12】
前記プロセッサによって、多数のデジタル特徴に関して、前記骨格点をカテゴリ分類すること、および前記プロセッサによって、前記多数のデジタル特徴の第２のリンク付けを実行すること
をさらに含む、請求項１０に記載の方法。
【請求項13】
前記第１のリンク付けおよび前記第２のリンク付けの結果に応答した前記プロセッサによって、前記畳み込みニューラル・ネットワークの動作に関連した分類確率を決定することをさらに含む、請求項１２に記載の方法。
【請求項14】
前記平均移動距離の前記決定が、【数9】
【数10】
【請求項15】
前記平均移動距離の前記決定がさらに、【数11】
【数12】
【請求項16】
前記視覚窓の前記サイズの前記調整が、【数13】
【数14】
【請求項17】
前記視覚窓の前記サイズの前記調整がさらに、【数15】
【数16】
【請求項18】
前記プロセッサによって、前記骨格点を前記多数のデジタル・レベルにアップサンプリングすることをさらに含む、請求項１０に記載の方法。
【請求項19】
前記ハードウェア・デバイス内のコンピュータ可読コードの生成、統合、ホスティング、維持および展開のうちの少なくとも１つに対する少なくとも１つの支援サービスを提供することをさらに含み、前記コードが、前記プロセッサによって実行されて、前記受け取ること、前記骨格点の前記抽出、前記カテゴリ分類、前記初期視覚窓の前記生成、前記決定、前記調整、前記特徴ベクトルの前記抽出、前記点座標の前記抽出、前記第１のリンク付け、前記畳み込みニューラル・ネットワークの前記生成、および前記使用可能化を実施する、請求項１０に記載の方法。
【請求項20】
コンピュータ・プログラム製品であって、コンピュータ可読プログラム・コードを記憶したコンピュータ可読ハードウェア・ストレージ・デバイスを含み、前記コンピュータ可読プログラム・コードが、ハードウェア・デバイスのプロセッサによって実行されたときにビデオ動作の認識および変更方法を実施するアルゴリズムを含み、前記方法が、前記プロセッサによって、ユーザ運動動作を含むビデオ・ストリームを受け取ること、
前記プロセッサによって、前記ビデオ・ストリームから、複数のセンサを介して、前記ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出すること、
前記プロセッサによって、多数のデジタル・レベルに関して、前記骨格点をカテゴリ分類すること、
前記プロセッサによって、前記ビデオ・ストリームの複数のビデオ・フレーム内の前記骨格点のうちの一群の骨格点を取り囲む初期視覚窓を生成すること、
前記プロセッサによって、前記複数のビデオ・フレームに関して、前記一群の骨格点の平均移動距離を決定すること、
前記決定の結果に応答した前記プロセッサによって、前記複数のビデオ・フレームの各々に関して、前記視覚窓のサイズを調整すること、
前記調整の結果に応答してスケール不変特徴変換（ＳＩＦＴ）コードを実行している前記プロセッサによって、前記一群の骨格点の特徴ベクトルを抽出すること、
ＯｐｅｎＰｏｓｅコードを実行している前記プロセッサによって、前記骨格点の点座標を抽出すること、
前記プロセッサによって、前記特徴ベクトルを前記点座標にリンク付けする第１のリンク付けを実行すること、
前記プロセッサによって、前記特徴ベクトルを前記点座標にリンク付けする前記リンク付けに関連した畳み込みニューラル・ネットワークを生成すること、および
前記畳み込みニューラル・ネットワークを使用可能にした結果に応答した前記プロセッサによって、前記ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、前記ビデオ・ストリームを使用可能にすること
を含む、コンピュータ・プログラム製品。
【発明の詳細な説明】
【背景技術】
【0001】
本発明は一般に、ビデオ動作の認識および変更（video action recognition and modification）を自動化するための方法に関し、詳細には、ユーザ運動動作（user movement action）を実行しているユーザのビデオ表現に関連した骨格点（skeleton point）をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓（initial visual window）を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための方法および関連システムに関する。骨格に基づく典型的なグラフ畳み込みネットワーク（graph convolutional network）は、最初にＯｐｅｎＰｏｓｅプロセスに基づいて骨格が抽出されるような態様のビデオ動作認識に関連している。同様に、空間情報に基づくグラフ畳み込みネットワークは、位置および信頼度（confidence）属性を使用して、抽出された時間情報が時間畳み込みネットワークに基づくような態様で抽出される。位置および信頼度属性を使用するプロセスは、骨格点に関連した情報を迂回する傾向があることがある。さらに、典型的なビデオ・ストリームは、異なるレベルの粒度（granularity）動作に関連していることがあり、それによって、１スケール骨格（one-scale skeleton）に基づいて動作を表現することを困難にすることがある。したがって、本発明の方法および関連システムは、多粒度ビデオ認識動作に関連した認識の正確さを向上させるためのコンテンツ・アウェア（content aware）および多スケール骨格３Ｄグラフ畳み込みネットワークに基づいて多粒度ビデオ動作認識プロセスを使用可能にするように構成されている。
【発明の概要】
【0002】
本発明の第１の態様は、コンピュータ可読メモリ・ユニットに結合されたプロセッサを含むハードウェア・デバイスであって、メモリ・ユニットが、プロセッサによって実行されたときにビデオ動作の認識および変更方法を実施する命令を含み、この方法が、プロセッサによって、ユーザ運動動作を含むビデオ・ストリームを受け取ること、プロセッサによって、ビデオ・ストリームから、複数のセンサを介して、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出すること、プロセッサによって、多数のデジタル・レベルに関して、骨格点をカテゴリ分類すること、プロセッサによって、ビデオ・ストリームの複数のビデオ・フレーム内の骨格点のうちの一群の骨格点を取り囲む初期視覚窓を生成すること、プロセッサによって、複数のビデオ・フレームに関して、一群の骨格点の平均移動距離（average movement distance）を決定すること、この決定の結果に応答したプロセッサによって、複数のビデオ・フレームの各々に関して、視覚窓のサイズを調整すること、この調整の結果に応答してスケール不変特徴変換（scale-invariant feature transform）（ＳＩＦＴ）コードを実行しているプロセッサによって、一群の骨格点の特徴ベクトルを抽出すること、ＯｐｅｎＰｏｓｅコードを実行しているプロセッサによって、骨格点の点座標を抽出すること、プロセッサによって、特徴ベクトルを点座標にリンク付けする第１のリンク付けを実行すること、プロセッサによって、特徴ベクトルを点座標にリンク付けするリンク付けに関連した畳み込みニューラル・ネットワークを生成すること、および畳み込みニューラル・ネットワークを使用可能にした結果に応答したプロセッサによって、ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、ビデオ・ストリームを使用可能にすることを含む、ハードウェア・デバイスを提供する。
【0003】
本発明のいくつかの実施形態はさらに、骨格点に関連した周囲特徴を抽出するためのハードウェア・デバイスを提供する。同様に、本発明のいくつかの実施形態は、多数のデジタル特徴に関して骨格点をカテゴリ分類し、リンク付けして、畳み込みニューラル・ネットワークの動作に関連した分類確率（classification probability）を決定するように構成される。有利には、これらの実施形態は、多粒度ビデオ認識動作に関連した認識の正確さを向上させるためのコンテンツ・アウェアおよび多スケール骨格３Ｄグラフ畳み込みネットワークに基づいて多粒度ビデオ動作認識プロセスを正確に使用可能にする効果的な手段を提供する。
【0004】
本発明の第２の態様は、ビデオ動作の認識および変更方法であって、ハードウェア・デバイスのプロセッサによって、ユーザ運動動作を含むビデオ・ストリームを受け取ること、プロセッサによって、ビデオ・ストリームから、複数のセンサを介して、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出すること、プロセッサによって、多数のデジタル・レベルに関して、骨格点をカテゴリ分類すること、プロセッサによって、ビデオ・ストリームの複数のビデオ・フレーム内の骨格点のうちの一群の骨格点を取り囲む初期視覚窓を生成すること、プロセッサによって、複数のビデオ・フレームに関して、一群の骨格点の平均移動距離を決定すること、この決定の結果に応答したプロセッサによって、複数のビデオ・フレームの各々に関して、視覚窓のサイズを調整すること、この調整の結果に応答してスケール不変特徴変換（ＳＩＦＴ）コードを実行しているプロセッサによって、一群の骨格点の特徴ベクトルを抽出すること、ＯｐｅｎＰｏｓｅコードを実行しているプロセッサによって、骨格点の点座標を抽出すること、プロセッサによって、特徴ベクトルを点座標にリンク付けする第１のリンク付けを実行すること、プロセッサによって、特徴ベクトルを点座標にリンク付けするリンク付けに関連した畳み込みニューラル・ネットワークを生成すること、および畳み込みニューラル・ネットワークを使用可能にした結果に応答したプロセッサによって、ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、ビデオ・ストリームを使用可能にすることを含むビデオ動作の認識および変更方法を提供する。
【0005】
本発明のいくつかの実施形態はさらに、骨格点に関連した周囲特徴を抽出するための方法を提供する。同様に、本発明のいくつかの実施形態は、多数のデジタル特徴に関して骨格点をカテゴリ分類し、リンク付けして、畳み込みニューラル・ネットワークの動作に関連した分類確率を決定するように構成される。有利には、これらの実施形態は、多粒度ビデオ認識動作に関連した認識の正確さを向上させるためのコンテンツ・アウェアおよび多スケール骨格３Ｄグラフ畳み込みネットワークに基づいて多粒度ビデオ動作認識プロセスを正確に使用可能にする効果的な手段を提供する。
【0006】
本発明の第３の態様は、コンピュータ・プログラム製品であって、コンピュータ可読プログラム・コードを記憶したコンピュータ可読ハードウェア・ストレージ・デバイスを含み、コンピュータ可読プログラム・コードが、ハードウェア・デバイスのプロセッサによって実行されたときにビデオ動作の認識および変更方法を実施するアルゴリズムを含み、この方法が、プロセッサによって、ユーザ運動動作を含むビデオ・ストリームを受け取ること、プロセッサによって、ビデオ・ストリームから、複数のセンサを介して、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点を抽出すること、プロセッサによって、多数のデジタル・レベルに関して、骨格点をカテゴリ分類すること、プロセッサによって、ビデオ・ストリームの複数のビデオ・フレーム内の骨格点のうちの一群の骨格点を取り囲む初期視覚窓を生成すること、プロセッサによって、複数のビデオ・フレームに関して、一群の骨格点の平均移動距離を決定すること、この決定の結果に応答したプロセッサによって、複数のビデオ・フレームの各々に関して、視覚窓のサイズを調整すること、この調整の結果に応答してスケール不変特徴変換（ＳＩＦＴ）コードを実行しているプロセッサによって、一群の骨格点の特徴ベクトルを抽出すること、ＯｐｅｎＰｏｓｅコードを実行しているプロセッサによって、骨格点の点座標を抽出すること、プロセッサによって、特徴ベクトルを点座標にリンク付けする第１のリンク付けを実行すること、プロセッサによって、特徴ベクトルを点座標にリンク付けするリンク付けに関連した畳み込みニューラル・ネットワークを生成すること、および畳み込みニューラル・ネットワークを使用可能にした結果に応答したプロセッサによって、ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、ビデオ・ストリームを使用可能にすることを含む、コンピュータ・プログラム製品を提供する。
【0007】
本発明のいくつかの実施形態はさらに、骨格点に関連した周囲特徴を抽出するためのコンピュータ・プログラム製品を提供する。同様に、本発明のいくつかの実施形態は、多数のデジタル特徴に関して骨格点をカテゴリ分類し、リンク付けして、畳み込みニューラル・ネットワークの動作に関連した分類確率を決定するように構成される。有利には、これらの実施形態は、多粒度ビデオ認識動作に関連した認識の正確さを向上させるためのコンテンツ・アウェアおよび多スケール骨格３Ｄグラフ畳み込みネットワークに基づいて多粒度ビデオ動作認識プロセスを正確に使用可能にする効果的な手段を提供する。
【0008】
有利には、本発明は、ビデオ動作の認識および変更を自動化することができる単純な方法および関連システムを提供する。
【図面の簡単な説明】
【0009】
【図1】ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための、本発明の実施形態によるシステムを示す図である。
【図2】ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための図１のシステムによって使用可能になる、本発明の実施形態によるプロセス・フローの詳細を示すアルゴリズムを示す図である。
【図6】ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための図１のシステムによって使用される、本発明の実施形態によるコンピュータ・システムを示す図である。
【図7】本発明の実施形態によるクラウド・コンピューティング環境を示す図である。
【図8】本発明の実施形態による、クラウド・コンピューティング環境によって提供される一組の機能抽象化層を示す図である。
【発明を実施するための形態】
【0010】
図１は、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための、本発明の実施形態によるシステム１００を示している。骨格に基づく典型的なグラフ畳み込みネットワークは、最初に骨格が抽出されるような態様のビデオ動作認識に関連している。同様に、空間情報に基づく典型的なグラフ畳み込みネットワークは、位置および信頼度属性を使用して、抽出された時間情報が時間畳み込みネットワークに基づくような態様で抽出される。さらに、位置および信頼度属性を使用するプロセスは、骨格点に関連した情報を迂回する傾向があることがある。さらに、典型的なビデオ・ストリームは、異なるレベルの粒度動作に関連していることがあり、それによって、１スケール骨格に基づいて動作を表現することを困難にすることがある。したがって、システム１００は、多粒度ビデオ動作を認識し、骨格点に基づいて適応周囲特徴抽出プロセスを実行し、多スケール骨格３次元グラフ畳み込みネットワークを使用可能にし、それによって多粒度動作に関する認識の正確さを向上させ、ビデオ認識属性を抽出するための正確な方法を提供するように構成されている。
【0011】
システム１００は、異なるスケールに関連した骨格点を、異なる粒度ビデオ動作を表現するように構成することができるような態様で、画像情報に関する骨格点に関連した情報の取出しを使用可能にする。それらのビデオ動作は、骨格に基づく３次元グラフに関連したものとすることができる。
【0012】
システム１００は、畳み込みネットワークに基づく多スケール骨格３次元グラフに関するコンテンツ・アウェアネスに基づいて多粒度ビデオ動作認識プロセスを実行するように構成されている。このプロセスは、ＯｐｅｎＰｏｓｅシステム（すなわち単一の画像に関して人間の体、手、顔および足キーポイント（例えば合計１３５個のキーポイント）を一緒に検出するリアルタイム・マルチ・パーソン・システム）に基づいて骨格が抽出されたときに開始される。同様に、システム１００は、異なるスケールの骨格属性に基づいて３次元グラフを構成するための、骨格点に関連した特徴抽出構成要素を含む。
【0013】
図１のシステム１００は、ネットワーク１１７を介して相互接続されたハードウェア・デバイス１３９、ビデオ・ハードウェア１１４、データベース１１５およびネットワーク・インタフェース・コントローラ１５３を含む。ハードウェア・デバイス１３９は、センサ１１２、回路／論理１２７およびソフトウェア／ハード１２１を含む。ビデオ・ハードウェア１１４は、リモート・ビデオ源システム（例えばビデオ・ストレージ・システム、ビデオ・ストリーミング・システム、ビデオ・プロジェクタなど）を含むことができる。ハードウェア・デバイス１３９およびビデオ・ハードウェア１１４はそれぞれ埋込みデバイスを含むことができる。本明細書では、埋込みデバイスを、特定用途向け機能を実行するように特に設計された（機能が固定されたまたはプログラム可能な）コンピュータ・ハードウェアとソフトウェアの組合せを含む専用デバイスまたはコンピュータと定義する。プログラム可能な埋込みコンピュータまたはデバイスは、特定用途向けプログラミング・インタフェースを含むことができる。一実施形態では、ハードウェア・デバイス１３９およびビデオ・ハードウェア１１４がそれぞれ、図１～８に関して説明するプロセスを（独立してまたは組み合わせて）実行するための特定用途向け（非汎用）ハードウェアおよび回路（すなわち特定用途向け個別非汎用アナログ、デジタルおよび論理ベース回路）を含む特定用途向けハードウェア・デバイスを含むことができる。それらの特定用途向け個別非汎用アナログ、デジタルおよび論理ベース回路（例えばセンサ１１２、回路／論理１２７、ソフトウェア／ハードウェア１２１など）は、特に設計されたプロプライエタリ構成要素（例えば特定用途向け集積回路、例えば、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための自動化されたプロセスだけを実施するように設計された特定用途向け集積回路（ＡＳＩＣ））を含むことができる。センサ１１２は、とりわけ、ＧＰＳセンサ、Ｂｌｕｅｔｏｏｔｈビーコニング・センサ、セル式電話検出センサ、Ｗｉ－Ｆｉポジショニング検出センサ、三角測量検出センサ、アクティビティ・トラッキング・センサ、温度センサ、超音波センサ、光センサ、ビデオ検索デバイス、湿度センサ、電圧センサ、ネットワーク・トラフィック・センサなどを含む、任意のタイプの内部または外部センサを含むことができる。ネットワーク１１７は、とりわけ、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、無線ネットワークなどを含む、任意のタイプのネットワークを含むことができる。
【0014】
システム１００は、画像内の局所特徴を検出および記述するためのコンピュータ・ビジョンに関連した特徴検出アルゴリズムを含むスケール不変特徴変換（ＳＩＦＴ）に関する適応周囲特徴抽出コードを使用可能にすることによって視覚的周囲特徴を抽出するためのプロセスを実行するために使用可能にされる。このプロセスは以下のことを含む。
１．ビデオ特徴を抽出するために初期窓サイズ５を変更すること。
２．フレーム・ストラップ・サイズを１０に設定し、それぞれの骨格点の平均移動距離を決定すること。
３．関連距離を使用して視覚窓サイズを調整すること。
４．ＳＩＦＴに関係したプロセスを使用して、１次元ベクトルに関するボックス特徴を抽出すること。
１．ビデオ特徴を抽出するために初期窓サイズ５を変更すること。
２．フレーム・ストラップ・サイズを１０に設定し、それぞれの骨格点の平均移動距離を決定すること。
３．関連距離を使用して視覚窓サイズを調整すること。
４．ＳＩＦＴに関係したプロセスを使用して、１次元ベクトルに関するボックス特徴を抽出すること。
【0015】
システム１００はさらに、多スケール骨格３次元グラフ畳み込みネットワーク・モデリング・プロセスを実施するためのプロセスを実行するために使用可能にされる。このプロセスは以下のように実行される。
１．ＯｐｅｎＰｏｓｅ抽出された骨格に基づいて３つの骨格層をアンダーサンプリングする。
２．３次元骨格グラフを生成する。
３．３次元グラフ畳み込みネットワークを実行して、それぞれの層のビデオ特徴を抽出する。
４．異なる層に関して、３次元グラフ畳み込みネットワーク特徴をアテンション・モデルと融合させる。
１．ＯｐｅｎＰｏｓｅ抽出された骨格に基づいて３つの骨格層をアンダーサンプリングする。
２．３次元骨格グラフを生成する。
３．３次元グラフ畳み込みネットワークを実行して、それぞれの層のビデオ特徴を抽出する。
４．異なる層に関して、３次元グラフ畳み込みネットワーク特徴をアテンション・モデルと融合させる。
【0016】
図２は、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための図１のシステム１００によって使用可能になる、本発明の実施形態によるプロセス・フローの詳細を示すアルゴリズムを示す図である。図２のアルゴリズムのステップの各々は、コンピュータ・コードを実行しているコンピュータ・プロセッサによって、任意の順序で使用可能にすることおよび実行することができる。さらに、図２のアルゴリズムのステップの各々は、ハードウェア・デバイス１３９およびビデオ・ハードウェア１１４によって、組み合わせて使用可能にすることおよび実行することができる。ステップ２００で、ハードウェア・デバイスによって、ユーザ運動動作を含むビデオ・ストリームを受け取る。ステップ２０２で、このビデオ・ストリームから、センサを介して骨格点を抽出する。骨格点は、ユーザ運動動作を実行しているユーザのビデオ表現に関連している。ステップ２０４で、多数のデジタル・レベルに関して、骨格点をカテゴリ分類する。骨格点は、多数のデジタル・レベルに関してアップサンプリングすることができる。
【0017】
ステップ２０８で、ビデオ・ストリームのビデオ・フレーム内で、一群の骨格点を取り囲む初期視覚窓を生成する。ステップ２１０で、ビデオ・フレームに関して、骨格点の平均移動距離を決定する。同様に、骨格点の平均移動距離の決定がさらに周囲特徴にも基づくような態様で、骨格点に関連した周囲特徴を抽出することができる。平均移動距離の決定は、式
を実行することを含むことができ、
は、ｉ番目のフレームの元の窓幅（Ｗ）に対するリシェイプ・ファクタ（reshape factor）を含み、Ｎは、リシェイプ・ファクタを計算するためのフレームの数を含み、ｄｉｓｔはユークリッド距離を含み、ｘｔは、フレームｔ内の骨格点のｘ座標を含む。さらに、平均移動距離の決定は、式
を実行することを含むことができ、
は、ｉ番目のフレームの元の窓高さ（Ｈ）に対するリシェイプ・ファクタを含み、Ｎは、リシェイプ・ファクタを計算するためのフレームの数を含み、ｄｉｓｔはユークリッド距離を含み、ｙｔは、フレームｔ内の骨格点のｙ座標を含む。
【数1】
を実行することを含むことができ、
【数2】
は、ｉ番目のフレームの元の窓幅（Ｗ）に対するリシェイプ・ファクタ（reshape factor）を含み、Ｎは、リシェイプ・ファクタを計算するためのフレームの数を含み、ｄｉｓｔはユークリッド距離を含み、ｘｔは、フレームｔ内の骨格点のｘ座標を含む。さらに、平均移動距離の決定は、式
【数3】
を実行することを含むことができ、
【数4】
は、ｉ番目のフレームの元の窓高さ（Ｈ）に対するリシェイプ・ファクタを含み、Ｎは、リシェイプ・ファクタを計算するためのフレームの数を含み、ｄｉｓｔはユークリッド距離を含み、ｙｔは、フレームｔ内の骨格点のｙ座標を含む。
【0018】
ステップ２１２で、（ステップ２１０の結果に基づいて）ビデオ・フレームの各々に関して、視覚窓のサイズを調整する。視覚窓のサイズの調整は、式
を実行することを含むことができ、Ｗ’は、リシェイプ後の窓幅を含み、Ｗは、元の窓幅を含み、
は、ｉ番目のフレームの元の窓幅Ｗに対するリシェイプ・ファクタを含む。視覚窓のサイズの調整はさらに、式
を実行することを含むことができ、Ｈ’は、リシェイプ後の窓高さを含み、Ｈは、元の窓高さを含み、
は、ｉ番目のフレームの元の窓高さＨに対するリシェイプ・ファクタを含む。
【数5】
を実行することを含むことができ、Ｗ’は、リシェイプ後の窓幅を含み、Ｗは、元の窓幅を含み、
【数6】
は、ｉ番目のフレームの元の窓幅Ｗに対するリシェイプ・ファクタを含む。視覚窓のサイズの調整はさらに、式
【数7】
を実行することを含むことができ、Ｈ’は、リシェイプ後の窓高さを含み、Ｈは、元の窓高さを含み、
【数8】
は、ｉ番目のフレームの元の窓高さＨに対するリシェイプ・ファクタを含む。
【0019】
ステップ２１４で、ステップ２１２の結果に応答してスケール不変特徴変換（ＳＩＦＴ）コードを実行することによって、骨格点の特徴ベクトルを抽出する。ステップ２１６で、ＯｐｅｎＰｏｓｅコードを実行することによって、骨格点の点座標を抽出する。ステップ２１８で、特徴ベクトルを点座標にリンク付けする。ステップ２２０で、畳み込み（デジタル）ニューラル・ネットワークを生成する。この畳み込み（デジタル）ニューラル・ネットワークは、特徴ベクトルを点座標にリンク付けすることに関連している。ステップ２２４で、多数のデジタル特徴に関して、骨格点をカテゴリ分類およびリンク付けし、上述のリンク付けステップの結果に応答して、畳み込みニューラル・ネットワークの動作に関連した分類確率を決定する。同様に、多数のデジタル特徴に関して骨格点をカテゴリ分類し、それらの多数のデジタル特徴をリンク付けすることができる。さらに上述のリンク付けステップに基づいて、畳み込みニューラル・ネットワークの動作に関連した分類確率を決定することができる。
【0020】
ステップ２２８で、ビデオ・ストリームの正確な提示に関連したビデオ動作認識に関して、ビデオ・ストリームを使用可能にする。
【0021】
図３は、本発明の実施形態による、図１のソフトウェア／ハードウェア１２１の内部構造図を示している。ソフトウェア／ハードウェア１２１は、抽出およびカテゴリ分類モジュール３０４、調整モジュール３１０、リンク付けモジュール３０８、ビデオ使用可能化モジュール３１４、ならびに通信コントローラ３０２を含む。抽出およびカテゴリ分類モジュール３０４は、図２の抽出およびカテゴリ分類ステップに関係した全ての機能を制御するための専門ハードウェアおよびソフトウェアを含む。調整モジュール３１０は、図２のアルゴリズムに関して説明した調整ステップに関係した全ての機能を制御するための専門ハードウェアおよびソフトウェアを含む。リンク付けモジュール３０８は、図２のリンク付けステップに関係した全ての機能を制御するための専門ハードウェアおよびソフトウェアを含む。ビデオ使用可能化モジュール３１４は、図２のアルゴリズムのビデオ・ストリーム使用可能化および提示ステップに関係した全ての機能を制御するための専門ハードウェアおよびソフトウェアを含む。通信コントローラ３０２は、抽出およびカテゴリ分類モジュール３０４、調整モジュール３１０、リンク付けモジュール３０８およびビデオ使用可能化モジュール３１４間の全ての通信を制御するために使用可能にされる。
【0022】
図４は、本発明の実施形態による、図１のシステム１００によって使用可能になる初期視覚窓生成プロセス４００を示している。フレーム４０１は、骨格点４０２ａ．．．４０２ｎと、骨格点４０２ａ．．．４０２ｎを接続する接続４０３ａ．．．４０３ｎとを含む第１のサンプル・フレームを含む。ＯｐｅｎＰｏｓｅツールを実行して、あらゆるフレームの骨格点４０２ａ．．．４０２ｎを抽出する。フレーム４０４は、骨格点４０２ａ．．．４０２ｎを表現するためのコンテキスト特徴の抽出に関連した、一群４０４ｂの骨格点４０２ａ．．．４０２ｎを取り囲む元の窓４０４ａを含む第２のサンプル・フレームを含む。フレーム４０８ａ．．．４０８ｎは、元の窓の幅および高さに対するリシェイプ・ファクタを決定するためのプロセスに関連したフレームを含む。このプロセスは、連結された２つのフレーム間に位置する（骨格点４０２ａ．．．４０２ｎのうちの）現在の骨格点のユークリッド距離を計算するために、現在のフレームを取り囲む１０個のフレームを使用可能にする。同様に、（図２に関して説明した式に関して示した）リシェイプ・ファクタに対して、１０個のフレームの間で平均ユークリッド距離を決定する。フレーム４１０は、（図２に関して説明した式に関して示した）上述のリシェイプ・ファクタを使用して元の窓をリシェイプするためのプロセスに関連したサンプル・フレームを含む。フレーム４１２および４１４は、窓４０４ａ内の骨格点に関してＳＩＦＴアルゴリズムを使用してコンテキスト特徴を抽出するためのプロセスに関連したサンプル・フレームを含む。コンテキスト特徴を抽出するためのこのプロセスを実行して、窓４０４ａ内の骨格点の特徴ベクトルを生成する。これらの特徴ベクトルは、ディープ・ラーニング・モデルの入力データに使用される。
【0023】
図５は、本発明の実施形態による、図１のシステム１００によって使用可能になる点座標抽出プロセス５００を示している。フレーム５０２の各々について、ＯｐｅｎＰｏｓｅツールを実行することによって骨格点を抽出する。ＯｐｅｎＰｏｓｅツールは、フレーム５０２の１人の人に対して１８個の骨格点を抽出するように構成される。ブロック５０４は、フレーム５０２の各々からより多くの情報を取り出すために異なるレベルＬ１、Ｌ２およびＬ３にダウンサンプリングされている骨格点を示している。例えば、レベルＬ２では、２つの骨格点ごとにそれらの中間点を骨格点として割り当て、それによって、新たな骨格点の周囲のＳＩＦＴ特徴を抽出するためのプロセスを使用可能にする。ブロック５０６は、コードを実行し、それによって画像の代わりにグラフ（頂点および辺）シーケンスに関してディープ・ニューラル・ネットワーク・バックボーンを適用することによって実施される空間－時間グラフ畳み込みネットワーク（ＳＴ－ＧＣＮ）アルゴリズムの演算を示している。ブロック５１０は骨格点レベルごとに１つの特徴ベクトルが取り出されるような態様で、抽出されたＳＩＦＴ特徴をＳＴ－ＧＣＮモデルにフィードするためのプロセスを示している。したがって、全てのレベルは、複数のベクトルを連結して１つの大きなベクトルにするように構成される。同様に、ニューラル・ネットワークに関して線形層（linear layer）を実行して、ベクトル次元を、動作クラスの数と同じサイズに低減させる。ブロック５０８は、最終ベクトル内の最大確率が、認識された動作を含むような態様でフロート・ベクトルをクラス確率に移すためのＳｏｆｔＭａｘ層を示している。
【0024】
図６は、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するための図１のシステム１００によって使用される、または図１のシステム１００が含む、本発明の実施形態によるコンピュータ・システム９０（例えば図１のハードウェア・デバイス１３９およびビデオ・ハードウェア１１４）を示している。
【0025】
本発明の態様は、全体がハードウェアの実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）全体がソフトウェアの実施形態、または、本明細書ではいずれも全体として「回路」、「モジュール」もしくは「システム」と呼ばれることがあるソフトウェア態様とハードウェア態様とを組み合わせた実施形態、の形態をとることができる。
【0026】
本発明は、システム、方法もしくはコンピュータ・プログラム製品、またはこれらの組合せであることがある。このコンピュータ・プログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体を含むことがある。
【0027】
このコンピュータ可読ストレージ媒体は、命令実行デバイスが使用するための命令を保持および記憶することができる有形のデバイスとすることができる。このコンピュータ可読ストレージ媒体は例えば、限定はされないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイスまたはこれらの適当な組合せとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、機械的にコード化されたデバイス、例えばパンチカードまたはその上に命令が記録された溝の中の一段高くなった構造体、およびこれらの適当な組合せを含む。本明細書で使用されるコンピュータ可読ストレージ媒体を、それ自体が一過性の信号、例えば電波もしくは他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体内を伝搬する電磁波（例えば光ファイバ・ケーブル内を通る光パルス）、または電線を通して伝送される電気信号であると解釈すべきではない。
【0028】
本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から対応するそれぞれのコンピューティング／処理デバイスにダウンロードすることができ、またはネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはこれらの組合せを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードすることができる。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジ・サーバ、またはこれらの組合せを含むことができる。それぞれのコンピューティング／処理装置内のネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を、対応するそれぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に記憶するために転送する。
【0029】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データであってもよく、またはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋、ｓｐａｒｋ、Ｒ言語などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同種のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで書かれた、ソース・コードもしくはオブジェクト・コードであってもよい。このコンピュータ可読プログラム命令は、全体がユーザのコンピュータ上で実行されてもよく、一部がユーザのコンピュータ上で実行されてもよく、独立型ソフトウェア・パッケージとして実行されてもよく、一部がユーザのコンピュータ上で、一部がリモート・コンピュータ上で実行されてもよく、または全体がリモート・コンピュータもしくはリモート・サーバ上で実行されてもよい。上記の最後のシナリオでは、リモート・コンピュータが、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、またはこの接続が、外部コンピュータに対して（例えばインターネット・サービス・プロバイダを使用してインターネットを介して）実施されてもよい。いくつかの実施形態では、本発明の態様を実行するために、例えばプログラム可能論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）またはプログラム可能論理アレイ（ＰＬＡ）を含む電子回路が、このコンピュータ可読プログラム命令の状態情報を利用してその電子回路をパーソナライズすることにより、このコンピュータ可読プログラム命令を実行してもよい。
【0030】
本明細書では、本発明の態様が、本発明の実施形態による方法、デバイス（システム）およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方の図を参照して説明される。それらのフローチャート図もしくはブロック図またはその両方の図のそれぞれのブロック、およびそれらのフローチャート図もしくはブロック図またはその両方の図のブロックの組合せは、コンピュータ可読プログラム命令によって実施することができることが理解される。
【0031】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作の態様を実施する命令を含んでいる製品を備えるように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示できるものであってもよい。
【0032】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能な装置、または他のデバイスで実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施するように、コンピュータ実装プロセスを作り出すべく、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。
【0033】
添付図中のフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能および動作を示す。この点に関して、それらのフローチャートまたはブロック図のそれぞれのブロックは、指定された論理機能を実施する１つまたは複数の実行可能命令を含む、命令のモジュール、セグメントまたは部分を表すことがある。いくつかの代替実施態様では、ブロックに示された機能を、図に示された順序とは異なる順序で実行することができる。例えば、連続して示された２つのブロックが、実際は、１つのステップとして実施されること、同時に、実質的に同時に、または時間的に部分的にもしくは完全に重なって実行されること、あるいは含まれる機能によってはそれらのブロックが時に逆の順序で実行されることもある。それらのブロック図もしくはフローチャート図またはその両方の図のそれぞれのブロック、ならびにそれらのブロック図もしくはフローチャート図またはその両方の図のブロックの組合せを、指定された機能もしくは操作を実行しまたは専用ハードウェアとコンピュータ命令の組合せを実行するハードウェアベースの専用システムによって実施することができることにも留意すべきである。
【0034】
図６に示されたコンピュータ・システム９０は、プロセッサ９１、プロセッサ９１に結合された入力デバイス９２、プロセッサ９１に結合された出力デバイス９３、ならびにプロセッサ９１にそれぞれ結合されたメモリ・デバイス９４および９５を含む。入力デバイス９２は、とりわけ、キーボード、マウス、カメラ、タッチスクリーンなどとすることができる。出力デバイス９３は、とりわけ、プリンタ、プロッタ、コンピュータ・スクリーン、磁気テープ、リムーバブル・ハード・ディスク、フロッピー（Ｒ）・ディスクなどとすることができる。メモリ・デバイス９４および９５は、とりわけ、ハード・ディスク、フロッピー（Ｒ）・ディスク、磁気テープ、光ストレージ、例えばコンパクト・ディスク（ＣＤ）またはデジタル・ビデオ・ディスク（ＤＶＤ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）などとすることができる。メモリ・デバイス９５はコンピュータ・コード９７を含む。コンピュータ・コード９７は、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するためのアルゴリズム（例えば図２のアルゴリズム）を含む。プロセッサ９１はコンピュータ・コード９７を実行する。メモリ・デバイス９４は入力データ９６を含む。入力データ９６は、コンピュータ・コード９７が必要とする入力を含む。出力デバイス９３は、コンピュータ・コード９７からの出力を表示する。一方または両方のメモリ・デバイス９４および９５（またはリード・オンリー・メモリ・デバイス９６などの１つもしくは複数の追加のメモリ・デバイス）は、アルゴリズム（例えば図２のアルゴリズム）を含むことができ、コンピュータ可読プログラム・コードが実装された、もしくは他のデータが記憶された、またはコンピュータ可読プログラム・コードが実装され、他のデータが記憶されたコンピュータ使用可能媒体（またはコンピュータ可読媒体もしくはプログラム・ストレージ・デバイス）として使用することができ、コンピュータ可読プログラム・コードはコンピュータ・コード９７を含む。一般に、コンピュータ・システム９０のコンピュータ・プログラム製品（または製造物品）はコンピュータ使用可能媒体（またはプログラム・ストレージ・デバイス）を含むことがある。
【0035】
いくつかの実施形態では、（例えばアルゴリズムを含む）記憶されたコンピュータ・プログラム・コード８４を、ハード・ドライブ、光ディスク、または書込み可能、再書込み可能もしくは取外し可能な他のハードウェア・メモリ・デバイス９５に記憶し、ハードウェア・メモリ・デバイス９５からアクセスするのではなしに、コンピュータ・プログラム・コード８４を、リード・オンリー・メモリ（ＲＯＭ）デバイス８５などの取外し不能なスタティック・リード・オンリー・ストレージ媒体上に記憶することができ、または、プロセッサ９１は、コンピュータ・プログラム・コード８４に、このような取外し不能なスタティック・リード・オンリー媒体８５から直接にアクセスすることができる。同様に、いくつかの実施形態では、記憶されたコンピュータ・プログラム・コード９７をコンピュータ可読ファームウェア８５として記憶することができ、またはプロセッサ９１は、ハード・ドライブまたは光ディスクなどのよりダイナミックまたは取外し可能なハードウェア・データ・ストレージ・デバイス９５からではなしに、このようなファームウェア８５から直接にコンピュータ・プログラム・コード９７にアクセスすることができる。
【0036】
さらに、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良することを提供するサービス・サプライヤによって、本発明の構成要素のうちの任意の構成要素の生成、統合、ホスティング、維持、展開、管理、サービスなどを実行することなどができる。したがって、本発明は、コンピュータ・システム９０にコンピュータ可読コードを統合することを含む、コンピューティング・インフラストラクチャの展開、生成、統合、ホスティング、維持もしくは統合、またはこれらの組合せを実行するためのプロセスを開示し、このコードは、コンピュータ・システム９０との組合せで、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するためのプロセスを使用可能にするための方法を実行することができる。別の実施形態では、本発明が、加入、広告もしくは料金に基づいてまたはこれらの組合せに基づいて本発明のプロセス・ステップを実行する商業的方法を提供する。すなわち、ソリューション・インテグレータなどのサービス・サプライヤは、ユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するためのプロセスを使用可能にすることを提供することができる。この場合、サービス・サプライヤは、１人または数人の顧客に対して、本発明のプロセス・ステップを実行するコンピュータ・インフラストラクチャの生成、維持、支援などを実行することができる。その見返りとして、サービス・サプライヤは、加入契約および／もしくは料金契約に基づいて顧客から報酬を受け取ることができ、かつ／または１人もしくは数人の第三者に広告内容を販売することによって報酬を受け取ることができる。
【0037】
図６は、コンピュータ・システム９０を、ハードウェアおよびソフトウェアの特定の構成として示しているが、当業者に知られているであろうハードウェアおよびソフトウェアの任意の構成を、図６の特定のコンピュータ・システム９０に関連して上で述べた目的に利用することができる。例えば、メモリ・デバイス９４および９５を、別個のメモリ・デバイスとするのではなしに、単一のメモリ・デバイスの部分とすることができる。
【0038】
クラウド・コンピューティング環境
本開示はクラウド・コンピューティングに関する詳細な説明を含んではいるが、本明細書に記載された教示の実施態様はクラウド・コンピューティング環境に限定されないことを理解すべきである。むしろ、本発明の実施形態は、現在知られているまたは後に開発される任意の他のタイプのコンピューティング環境に関連して実施することができる。
本開示はクラウド・コンピューティングに関する詳細な説明を含んではいるが、本明細書に記載された教示の実施態様はクラウド・コンピューティング環境に限定されないことを理解すべきである。むしろ、本発明の実施形態は、現在知られているまたは後に開発される任意の他のタイプのコンピューティング環境に関連して実施することができる。
【0039】
クラウド・コンピューティングは、最小限の管理労力またはサービスのプロバイダとの最小限のインタラクションで迅速に供給およびリリースすることができる構成可能なコンピューティング・リソース（例えばネットワーク、ネットワーク・バンド幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械およびサービス）の共用プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするサービス配信モデルである。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つのデプロイメント・モデルを含むことができる。
【0040】
特徴は以下のとおりである。
【0041】
オンデマンド・セルフサービス：クラウド・コンシューマは、サーバ時間およびネットワーク・ストレージなどのコンピューティング機能を、このサービスのプロバイダとのヒューマン・インタラクションを必要とすることなく必要に応じて自動的に一方向的に供給することができる。
【0042】
ブロード・ネットワーク・アクセス：機能は、ネットワーク上で利用可能であり、機能には、異種のシンまたはシック・クライアント・プラットホーム（例えば移動電話、ラップトップおよびＰＤＡ）による使用を促進する標準的機構を通してアクセスされる。
【0043】
リソース・プーリング：マルチテナント・モデルを使用して多数のコンシューマにサービスを提供するために、プロバイダのコンピューティング・リソースがプールされており、要求に応じて、異なる物理および仮想リソースが動的に割当ておよび再割当てされる。コンシューマは一般に、提供されたリソースの正確な位置を制御できずまたは正確な位置を知らないが、より高次の抽象化レベル（例えば国、州またはデータセンター）で位置を指定することができるという意味で、位置独立の感覚がある。
【0044】
迅速な弾力性：機能は、素早くスケールアウトするために迅速かつ弾力的に、場合によっては自動的に供給することができ、素早くスケールインするために迅速にリリースすることができる。コンシューマにとって、供給に利用可能な機能はしばしば無限であるように見え、いつでも好きな量だけ購入することができる。
【0045】
測定されるサービス：クラウド・システムは、サービスのタイプ（例えばストレージ、処理、バンド幅および使用中ユーザ・アカウント）に対して適切なある抽象化レベルで計測機能に介入することによって、リソースの使用状況を自動的に制御および最適化する。リソースの使用状況を監視、制御および報告して、利用されているサービスのプロバイダとコンシューマの両方に透明性を提供することができる。
【0046】
サービス・モデルは以下のとおりである。
【0047】
ソフトウェア・アズ・ア・サービス（ＳａａＳ）：コンシューマに提供されるこの機能は、クラウド・インフラストラクチャ上で実行されるプロバイダのアプリケーションを使用する機能である。ウェブ・ブラウザなどのシン・クライアント・インタフェース（例えばウェブ・ベースの電子メール）を通してさまざまなクライアント・デバイスからそれらのアプリケーションにアクセス可能である。場合によっては可能な限られたユーザ固有のアプリケーション構成の設定を除けば、コンシューマは、ネットワーク、サーバ、オペレーティング・システム、ストレージまたは個々のアプリケーション機能を含む基礎をなすクラウド・インフラストラクチャを管理もまたは制御もしない。
【0048】
プラットホーム・アズ・ア・サービス（ＰａａＳ）：コンシューマに提供されるこの機能は、クラウド・インフラストラクチャ上で、プロバイダがサポートするプログラム言語およびツールを使用して作成されたコンシューマ作成または取得のアプリケーションをデプロイする機能である。コンシューマは、ネットワーク、サーバ、オペレーティング・システムまたはストレージを含む基礎をなすクラウド・インフラストラクチャを管理もまたは制御もしないが、デプロイされたアプリケーションおよび場合によってはアプリケーション・ホスティング環境構成を制御することができる。
【0049】
インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）：コンシューマに提供されるこの機能は、処理、ストレージ、ネットワークおよび他の基本的なコンピューティング・リソースを供給する機能であり、コンシューマは任意のソフトウェアをデプロイおよび実行することができ、これらのソフトウェアは、オペレーティング・システムおよびアプリケーションを含むことができる。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理もまたは制御もしないが、オペレーティング・システム、ストレージおよびデプロイされたアプリケーションは制御することができ、場合によっては、選択されたネットワーク・コンポーネント（例えばホスト・ファイアウォール）を限定的に制御することができる。
【0050】
デプロイメント・モデルは以下のとおりである。
【0051】
プライベート・クラウド：このクラウド・インフラストラクチャは、組織体のためだけに運営される。インフラストラクチャは、その組織体または第三者が管理することができ、オンプレミスまたはオフプレミスで存在することができる。
【0052】
コミュニティ・クラウド：このクラウド・インフラストラクチャは、いくつかの組織体によって共有され、利害（例えばミッション、セキュリティ要件、ポリシーおよびコンプライアンス上の問題）を共有する特定のコミュニティをサポートする。インフラストラクチャは、その組織体または第三者が管理することができ、オンプレミスまたはオフプレミスで存在することができる。
【0053】
パブリック・クラウド：このクラウド・インフラストラクチャは、一般大衆または大きな産業グループが利用可能であり、クラウド・サービスを販売している組織体によって所有される。
【0054】
ハイブリッド・クラウド：このクラウド・インフラストラクチャは、固有の実体を維持しているが、データおよびアプリケーション・ポータビリティを可能にする標準化された技術または独占技術（例えばクラウド間のロード・バランシングのためのクラウド・バースティング（cloud bursting））によって１つに結合された２つ以上のクラウド（プライベート、コミュニティまたはパブリック）の合成体である。
【0055】
クラウド・コンピューティング環境は、ステートレス性、低結合性、モジュール性および意味論的相互運用性（semantic interoperability）に重きを置くサービス指向の環境である。クラウド・コンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャがある。
【0056】
次に図７を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。示されているとおり、クラウド・コンピューティング環境５０は１つまたは複数のクラウド・コンピューティング・ノード１０を含み、クラウド・コンシューマによって使用されるローカル・コンピューティング・デバイス、例えばパーソナル・デジタル・アシスタント（ＰＤＡ）もしくは移動電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃまたは自動車コンピュータ・システム５４Ｎあるいはこれらの組合せは、これらのノードと通信することができる。ノード１０は互いに通信することができる。それらのノードは、上で説明したプライベート、コミュニティ、パブリックまたはハイブリッド・クラウドまたはこれらの組合せなどの１つまたは複数のネットワークに、物理的にまたは仮想的にグループ分けされていることがある（図示せず）。これによって、クラウド・コンピューティング環境５０は、インフラストラクチャ、プラットホームもしくはソフトウェアまたはこれらの組合せをサービスとして提供することができ、そのため、クラウド・コンシューマは、ローカル・コンピューティング・デバイス上にリソースを維持する必要がない。図７に示されたタイプのコンピューティング装置５４Ａ、５４Ｂ、５４Ｃおよび５４Ｎは単なる例であることが意図されていること、ならびにコンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意のタイプのネットワーク上もしくはアドレス指定可能なネットワーク接続上またはその両方で（例えばウェブ・ブラウザを使用して）、コンピュータ化された任意のタイプのデバイスと通信することができることが理解される。
【0057】
次に図８を参照すると、クラウド・コンピューティング環境５０（図７参照）によって提供される一組の機能抽象化層が示されている。図８に示されているコンポーネント、層および機能は単なる例であることが意図されており、本発明の実施形態はそれらに限定されないことを予め理解しておくべきである。図示のとおり、以下の層および対応する機能が提供される。
【0058】
ハードウェアおよびソフトウェア層６０は、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５ならびにネットワークおよびネットワーキング・コンポーネント６６を含む。いくつかの実施形態では、ソフトウェア・コンポーネントが、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。
【0059】
仮想化層７０は、仮想実体の以下の例を提供することができる抽象化層を提供する：仮想サーバ７１、仮想ストレージ７２、仮想専用ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５。
【0060】
一例では、管理層８０が以下の機能を提供することができる。リソース供給８１は、クラウド・コンピューティング環境内でタスクを実行する目的に利用されるコンピューティング・リソースおよびその他のリソースの動的調達を提供する。計量および価格決定８２は、クラウド・コンピューティング環境内でリソースが利用されたときの費用追跡、およびこれらのリソースの消費に対する課金または請求を提供する。一例では、これらのリソースがアプリケーション・ソフトウェア・ライセンスを含むことがある。セキュリティは、クラウド・コンシューマおよびタスクの識別確認ならびにデータおよび他のリソースの保護を提供する。ユーザ・ポータル８３は、コンシューマおよびシステム管理者に、クラウド・コンピューティング環境へのアクセスを提供する。サービス水準管理８７は、必要なサービス水準が達成されるようなクラウド・コンピューティング・リソースの割振りおよび管理を提供する。サービス水準合意（Service Level Agreement）（ＳＬＡ）計画および履行８８は、ＳＬＡに従って将来必要になると予想されるクラウド・コンピューティング・リソースの事前調整および調達を提供する。
【0061】
ワークロード層１０１は、クラウド・コンピューティング環境を利用することができる機能の例を提供する。この層から提供することができるワークロードおよび機能の例は、マッピングおよびナビゲーション１０２、ソフトウェア開発およびライフサイクル管理１０３、仮想教室教育配信１３３、データ解析処理１３４、トランザクション処理１０６、ならびにユーザ運動動作を実行しているユーザのビデオ表現に関連した骨格点をビデオ・ストリームから抽出し、カテゴリ分類すること、一群の骨格点を取り囲む初期視覚窓を生成すること、特徴ベクトルを抽出し、点座標にリンク付けすること、および正確な提示に関連したビデオ動作認識に関してビデオ・ストリームを使用可能にすることに関連したビデオおよびソフトウェア技術を改良するためのもの１０７を含む。
【0062】
本明細書では本発明の実施形態を例示のために説明したが、多くの変更および改変が当業者には明らかになるであろう。したがって、添付の特許請求の範囲は、本発明の範囲に含まれるそのような全ての変更および改変を包含することが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】