2026-85694 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2026085694

(43)【公開日】2026-05-25

(54)【発明の名称】システム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20260518BHJP

   G06Q 10/0633 20230101ALI20260518BHJP

   A63B 69/00 20060101ALI20260518BHJP

【ＦＩ】

G06Q50/10

G06Q10/0633

A63B69/00 504K

A63B69/00 505Z

A63B69/00 Z

A63B69/00 A

A63B69/00 C

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2024198489

(22)【出願日】2024-11-13

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】星野 静

【テーマコード（参考）】

5L010

5L050

【Ｆターム（参考）】

5L010AA04

5L010AA07

5L050CC11

5L050CC20

5L050CC46

(57)【要約】

【課題】システムを提供する。
【解決手段】
利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、
前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、
利用者に質問を提示し、その回答を受け取る回答受付手段と、
前記特徴抽出手段により抽出された特徴データと、前記回答受付手段により受け取られた回答データを組み合わせて利用者の適性を評価する評価手段と、
前記評価手段により評価された適性に基づいて、利用者に最適なスポーツポジションを提案する提案手段と、
を含むシステム。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、
前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、
利用者に質問を提示し、その回答を受け取る回答受付手段と、
前記特徴抽出手段により抽出された特徴データと、前記回答受付手段により受け取られた回答データを組み合わせて利用者の適性を評価する評価手段と、
前記評価手段により評価された適性に基づいて、利用者に最適なスポーツポジションを提案する提案手段と、
を含むシステム。

【請求項2】

前記特徴抽出手段が、画像認識アルゴリズムを用いて、動作の種類や体格を識別する機能を備えることを特徴とする請求項１記載のシステム。

【請求項3】

前記提案手段が、機械学習モデルを用いて、過去のデータベースと比較しながらポジションを推奨する機能を備えることを特徴とする請求項１記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、システムに関する。

【背景技術】

【0002】

特許文献１には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８０２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のスポーツ選手が自身の適したポジションを発見する手段は非常に限られており、主観的な判断に依存していることが多かった。このため、選手が本来の潜在能力を最大限に発揮するための最適なポジションを見出すことが難しく、適切な評価が得られないことが問題であった。さらに、他のスポーツでも適用可能な汎用的な評価システムが存在しないため、選手の適性検証がスポーツによって偏ってしまうという課題がある。

【課題を解決するための手段】

【0005】

本発明は、利用者の動作を記録した映像から動きの特徴を抽出する特徴抽出手段、利用者にスポーツに関する質問の提示とその回答を受け取る回答受付手段を有し、さらに、これらの情報を統合して利用者の適性を科学的に評価する評価手段を備える。これにより、過去のデータベースと比較しつつ機械学習モデルにより最適なスポーツポジションを提案する提案手段を加えることで、選手の新たな才能や適性評価を客観的かつ効率的におこない、多様なスポーツにおける適切なポジションを確実に特定することを可能とするシステムを提供する。

【0006】

「撮影装置」とは、利用者の動作を記録するためのデバイスであり、映像信号を生成する機器である。

【0007】

「映像信号」とは、撮影装置から取得されるデジタルまたはアナログ形式のビデオ情報である。

【0008】

「信号取得手段」とは、撮影装置からの映像信号を受け取り処理するための機能を有するコンポーネントである。

【0009】

「特徴抽出手段」とは、入力された映像信号から利用者の動作の特徴を解析し抽出するための処理を行う装置またはシステムである。

【0010】

「質問」とは、利用者に呈示されるスポーツに関する内容の問いであり、その回答を通じて選手の特性やスキルを把握するためのものである。

【0011】

「回答受付手段」とは、利用者からの質問に対する回答データを受け取り、記録する機能を備えたシステムである。

【0012】

「評価手段」とは、特徴抽出手段により得られた特徴データと回答受付手段により収集された回答データを基に、利用者のスポーツ適性を評価するための装置またはプログラムである。

【0013】

「提案手段」とは、評価手段を用いて得られた評価結果に基づき、利用者に対して最適なスポーツポジションを示唆するシステムである。

【0014】

「機械学習モデル」とは、入力データからパターンを学習し、それに基づいて予測や分類を行うためのコンピュータープログラムまたはアルゴリズムである。

【0015】

「データベース」とは、過去のスポーツ選手のデータを含む、評価と比較のために蓄積された情報の集合体である。

【図面の簡単な説明】

【0016】

【図1】第１実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図2】第１実施形態に係るデータ処理装置及びスマートデバイスの要部機能の一例を示す概念図である。

【図3】第２実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図4】第２実施形態に係るデータ処理装置及びスマート眼鏡の要部機能の一例を示す概念図である。

【図5】第３実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図6】第３実施形態に係るデータ処理装置及びヘッドセット型端末の要部機能の一例を示す概念図である。

【図7】第４実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図8】第４実施形態に係るデータ処理装置及びロボットの要部機能の一例を示す概念図である。

【図9】複数の感情がマッピングされる感情マップを示す。

【図10】複数の感情がマッピングされる感情マップを示す。

【図11】実施例１におけるデータ処理システムの処理の流れを示すシーケンス図である。

【図12】応用例１におけるデータ処理システムの処理の流れを示すシーケンス図である。

【図13】感情エンジンを組み合わせた場合の実施例２におけるデータ処理システムの処理の流れを示すシーケンス図である。

【図14】感情エンジンを組み合わせた場合の応用例２におけるデータ処理システムの処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0017】

以下、添付図面に従って本開示の技術に係るシステムの実施形態の一例について説明する。

【0018】

先ず、以下の説明で使用される文言について説明する。

【0019】

以下の実施形態において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、ＡＰＵ（Accelerated Processing Unit）等が挙げられる。

【0020】

以下の実施形態において、符号付きのＲＡＭ（Random Access Memory）は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。

【0021】

以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ（ＳＳＤ（Solid State Drive））、磁気ディスク（例えば、ハードディスク）、又は磁気テープ等が挙げられる。

【0022】

以下の実施形態において、符号付きの通信Ｉ／Ｆ（Interface）は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ（5th Generation Mobile Communication System）、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。

【0023】

以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0024】

［第１実施形態］

【0025】

図１には、第１実施形態に係るデータ処理システム１０の構成の一例が示されている。

【0026】

図１に示すように、データ処理システム１０は、データ処理装置１２及びスマートデバイス１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0027】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0028】

スマートデバイス１４は、コンピュータ３６、受付装置３８、出力装置４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、受付装置３８、出力装置４０、及びカメラ４２も、バス５２に接続されている。

【0029】

受付装置３８は、タッチパネル３８Ａ及びマイクロフォン３８Ｂ等を備えており、ユーザ入力を受け付ける。タッチパネル３８Ａは、指示体（例えば、ペン又は指等）の接触を検出することにより、指示体の接触によるユーザ入力を受け付ける。マイクロフォン３８Ｂは、ユーザの音声を検出することにより、音声によるユーザ入力を受け付ける。制御部４６Ａは、タッチパネル３８Ａ及びマイクロフォン３８Ｂによって受け付けたユーザ入力を示すデータをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が、ユーザ入力を示すデータを取得する。

【0030】

出力装置４０は、ディスプレイ４０Ａ及びスピーカ４０Ｂ等を備えており、データをユーザ２０が知覚可能な表現形（例えば、音声及び／又はテキスト）で出力することでデータをユーザ２０に対して提示する。ディスプレイ４０Ａは、プロセッサ４６からの指示に従ってテキスト及び画像等の可視情報を表示する。スピーカ４０Ｂは、プロセッサ４６からの指示に従って音声を出力する。カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。

【0031】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。

【0032】

図２には、データ処理装置１２及びスマートデバイス１４の要部機能の一例が示されている。

【0033】

図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。

【0034】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0035】

スマートデバイス１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。受付出力プログラム６０は、データ処理システム１０によって特定処理プログラム５６と併用される。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0036】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0037】

本システムは、利用者のスポーツプレーを最適なポジションで行うための支援を目的としており、映像認識技術と機械学習を駆使したスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0038】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ネットワークを介して端末からサーバにアップロードする。サーバは、受け取った動画を処理し、動作解析を行う。具体的には、サーバは動画をフレームに分割し、画像認識技術を用いて各フレームごとの動作を数値データとして抽出する。この特徴データは、ユーザの動作や体格、フォームなどを詳細に分析するために役立つ。

【0039】

同時に、ユーザは端末を通じて、利用者のスポーツへの経験、プレースタイル、得意な動作などを質問形式で回答することが求められる。端末は、これらの回答をサーバに送信する。この質問応答データにより、ユーザの主観的な情報と客観的なデータが統合される。

【0040】

サーバは、特徴データと質問応答データを組み合わせ、これらの情報を基に機械学習モデルを使用してユーザに適したポジションを評価する。過去のデータベースから得られたスポーツ選手のデータと比較し、適性評価を行う。これにより、ユーザの動作スタイルや特性に最も適したポジションを推奨することが可能となる。

【0041】

推奨結果は、サーバからユーザの端末に送信され、端末はこれをユーザーに表示する。ユーザは、提案された結果を確認し、新たに評価されたポジションでのプレーに向けた練習やトレーニングに活用できる。例えば、サーバがユーザの投球動作と走力を重視した結果、最適なポジションとして外野手を推奨した場合、ユーザはそのフィードバックを元に外野手としての適性を磨くことができる。

【0042】

このようにして、本システムは利用者の潜在能力を最大限に引き出し、スポーツにおけるプレースタイルの改善と最適化をサポートする。

【0043】

以下に、処理の流れについて説明する。

【0044】

ステップ１：

【0045】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画ファイルを端末に保存する。端末のインターフェースを使用して、記録した動画をサーバにアップロードする。サーバはアップロードされた動画ファイルを受信し、ストレージに保存する。

【0046】

ステップ２：

【0047】

サーバは、保存した動画をフレームごとに分割し、それぞれのフレームについて画像認識アルゴリズムを適用することで、動作の特徴を抽出する。この過程で、サーバは利用者の姿勢や動作速度、角度などの情報を数値データとして収集する。抽出されたデータは一時的に保存される。

【0048】

ステップ３：

【0049】

ユーザはスポーツ体験に関する質問に回答することを求められる。端末は、質問フォームを表示し、ユーザは自身の経験、プレースタイル、得意な動作について情報を入力する。端末はこれらの回答をサーバに送信する。

【0050】

ステップ４：

【0051】

サーバは、フレームから抽出された画像認識の特徴データと、ユーザが回答した質問データを受け取り、これらのデータを統合する。サーバは、データを機械学習モデルに適した形に整えるための前処理を行う。

【0052】

ステップ５：

【0053】

サーバが、整えられたデータを機械学習モデルに入力し、ユーザの適性を評価するプロセスを開始する。モデルは、影響力のある特徴を分析し、過去のデータと照らし合わせて最適なポジションを推奨するための計算を行う。

【0054】

ステップ６：

【0055】

サーバが、機械学習の結果として得られた最適なスポーツポジションをユーザに送信する。ユーザの端末は、その情報を受け取り、視覚的に魅力的な形で結果を表示する。ユーザはこの情報を基に、トレーニングを調整し、提案されたポジションに適応するための計画を立てる。

【0056】

（実施例１）

【0057】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0058】

現代のスポーツ環境において、利用者の特性に基づいた最適なプレーポジションを迅速かつ正確に見極めることは難しい課題である。従来の方法は、主観的な評価に頼ることが多く、客観的かつデータに基づく分析が不足しているため、利用者の潜在能力を十分に引き出せないことがある。

【0059】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0060】

この発明では、サーバは、データ取得手段と、特徴解析手段と、情報収集手段と、を含む。これにより、ユーザの動作特性や主観的情報を統合して評価し、最適な運動位置を客観的に推奨することが可能となる。

【0061】

「データ取得手段」とは、ユーザの動作を記録する撮影装置から取得された映像データを入力する機能である。

【0062】

「特徴解析手段」とは、映像データをフレームごとに分割し、各フレームごとの動作を数値データとして抽出する機能である。

【0063】

「情報収集手段」とは、ユーザに質問を提示し、その回答をデジタル形式で受け取る機能である。

【0064】

「分析手段」とは、特徴解析手段により抽出された数値データと情報収集手段により受け取られた回答データを統合し、ユーザの特性を評価する機能である。

【0065】

「推奨手段」とは、分析手段による評価結果に基づいて、ユーザに最適な運動位置を推奨する機能である。

【0066】

本発明は、利用者の動作特性をデータに基づいて分析し、最適なスポーツポジションを提案するシステムである。以下に、本システムの具体的な実施形態を示す。

【0067】

システム構成:

【0068】

システムは主にサーバ、端末、ユーザの操作により構成される。ユーザは、撮影装置（例えば、スマートフォンや専用カメラ）を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ユーザは端末を介してサーバにアップロードする。サーバは、受け取った動画をフレームごとに分割し、特徴解析手段として画像認識技術を用いて各フレームごとの動作を数値データとして抽出・解析する。特に、ディープラーニングライブラリやコンピュータビジョンモデルを利用することが考えられる。

【0069】

データ収集:

【0070】

ユーザは、端末を通じて、自身のスポーツ経験や得意なプレースタイルに関する質問に回答する。これらの情報は、デジタル形式で端末に入力され、その後サーバに送信される。サーバは、この情報収集手段を通じて多数の質問応答データを集約する。

【0071】

データ統合と分析:

【0072】

サーバは、特徴解析手段で抽出された数値データと、情報収集手段で収集された質問応答データを統合する。これによって得られたデータセットを基に、分析手段として機械学習技術を用いてユーザの特性を客観的に評価する。生成AIモデルは、過去のスポーツ選手のデータベースと比較し、利用者に最適なスポーツポジションを推奨する。

【0073】

結果の提示:

【0074】

評価結果に基づいて、サーバは推奨手段を活用し、利用者に最適なスポーツポジションを端末に提示する。端末はユーザにフィードバックを表示し、具体的なトレーニング方針を示すことができる。

【0075】

具体例:

【0076】

例えば、サーバがユーザの動画データを分析した結果、ピッチング動作と優れた走力を重視して「外野手」が最適であると推奨した場合、ユーザはこの評価に基づきトレーニングを行うことができる。

【0077】

生成AIモデルへのプロンプト文例:

【0078】

「ユーザの動画データから投球および走力の評価を行い、適したスポーツのポジションを推奨してください。」

【0079】

「経験やプレースタイルを考慮し、最も適したポジションを選定してください。」

【0080】

この発明により、スポーツパフォーマンスを最大限に引き出すための的確なアプローチを提供できる。

【0081】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0082】

ステップ１：

【0083】

ユーザは、撮影装置を用いて自身のスポーツプレーを動画形式で記録する。入力はユーザの動作であり、出力として動画データが生成される。具体的には、ユーザはスマートフォンを使用して、自身のサッカーのドリブル動作を撮影する。

【0084】

ステップ２：

【0085】

端末は、動画データをサーバにアップロードする。入力は動画データであり、出力はネットワーク経由でサーバへのデータ転送である。具体例として、専用アプリケーションで「アップロード」ボタンを押し、動画がサーバへ送信される。

【0086】

ステップ３：

【0087】

サーバは、受信した動画をフレームごとに分割する。入力はサーバに転送された動画データであり、出力は画像フレームの一連のデータセットである。具体的には、サーバは1秒あたり30フレームに動画を分割し、各フレームの静止画像を生成する。

【0088】

ステップ４：

【0089】

サーバは、動画の各フレームを解析し、特徴解析手段として画像認識技術を使用して動作特性を抽出する。入力は画像フレームデータであり、出力として各フレームの動作を数値データとして得る。具体的には、サーバは足の位置や身体の角度などを検出し、これらを数値化する。

【0090】

ステップ５：

【0091】

ユーザは、端末を通じてスポーツ経験や得意なプレースタイルに関する質問に回答する。入力はユーザによる回答データであり、出力として構造化された応答情報が生成される。具体的には、アンケート形式で「あなたの得意な動きは何ですか？」という質問に答える。

【0092】

ステップ６：

【0093】

端末は、ユーザの回答データをサーバに送信する。入力はユーザの回答情報であり、出力はサーバへの転送である。具体的な動作としては、端末で「送信」ボタンを押し、データがサーバに送られる。

【0094】

ステップ７：

【0095】

サーバは、特徴解析手段で抽出された数値データと回答データを統合する。入力は数値化された動作データと回答データであり、出力は統合されたデータセットである。ここで、データの統合により総合的な解析が可能となる。

【0096】

ステップ８：

【0097】

サーバは、統合データを用いて生成AIモデルにより解析を行い、利用者の特性を評価する。入力は統合データセットであり、出力は評価結果としての提案である。具体例として、サーバは機械学習アルゴリズムで動作パターンを分析し、最適ポジションを推奨する。

【0098】

ステップ９：

【0099】

サーバは結果を端末に送信し、端末はユーザに最適なポジションを提示する。入力はサーバから送信された評価結果であり、出力はユーザへのフィードバック表示である。ユーザは、このフィードバックをもとにトレーニングを行うことができる。

【0100】

（応用例１）

【0101】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0102】

工場において複数の作業を担うロボットの効率性を向上させることが求められている。しかし、現状ではロボットごとに持つ最適な作業ポジションや役割を把握することが難しく、適材適所に配置することが課題である。これにより生産性が低下し、リソースの無駄遣いにつながる問題がある。

【0103】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0104】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力するデータ取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出するデータ解析手段と、利用者に質問を提示し、その回答を受け取る情報受付手段と、を含む。これにより、各ロボットが最も効率的に作業を行うための最適な役割やポジションを推奨することが可能となる。

【0105】

「データ取得手段」とは、利用者やロボットの動作を記録するための装置から映像信号を取得し、これを分析のためにサーバへ送信する役割を担うものである。

【0106】

「データ解析手段」とは、取得された映像信号に対して視覚データ認識アルゴリズムを用いて動作の特徴を抽出し、数値データとして分析する機能を持つものである。

【0107】

「情報受付手段」とは、利用者または管理者に対して質問を提示し、その回答情報を受け取り、適性評価に利用するデータとしてサーバへ送信する機能を持つものである。

【0108】

「適性評価手段」とは、データ解析手段より得られた特徴データと情報受付手段で取得した情報データを統合し、各ロボットにとって最も適した作業ポジションや役割を評価するシステムを指す。

【0109】

「役割提案手段」とは、適性評価手段で導き出された評価結果に基づいて、ロボットに最適な作業役割を提案し、配置や作業内容の改善を支援するプロセスである。

【0110】

このシステムは、工場におけるロボットの作業効率を最適化するために設計されたものである。まず、工場内のロボットにはカメラが取り付けられており、このカメラがロボットの動作を継続的に記録する。これにより、データ取得手段としての役割を果たす。

【0111】

サーバは、OpenCVなどの映像認識技術を用いて、取得した映像信号をフレームに分割し、各フレームの動作をデータ解析手段により処理する。この処理では、ロボットの動作特性や外見的特徴を数値データとして抽出する。さらに、サーバはＴＥＮＳＯＲＦＬＯＷ（登録商標）やPyTorchといった機械学習フレームワークを用いて、データの解析を行う。

【0112】

情報受付手段として、管理者にはタブレットやPCが提供され、そこにサーバからの質問が提示される。管理者は、この質問に回答し、その内容がサーバに送られる。サーバは、この回答を活用して適性評価手段によりロボットの適性を評価する。

【0113】

その結果、役割提案手段によって最適なロボットの作業ポジションや役割が提案される。この情報は工場の管理システム上で確認することができる。

【0114】

例えば、組み立て作業と搬送作業の効率を向上させるために、特定のロボットが搬送作業に特化することが適性評価から推奨された場合、工場管理者はその提案に基づいてロボットの配置を変更することができる。

【0115】

生成AIモデルにおけるプロンプト文の例としては、「工場ロボットの動作データを基に、最も効率的な作業役割を提案してください。」が挙げられる。

【0116】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0117】

ステップ1：

【0118】

カメラを装備した工場ロボットが、作業中の自身の動作を映像として記録する。入力は、リアルタイムの映像データである。この映像データは後にデータ取得手段としてサーバにアップロードされる。

【0119】

ステップ2：

【0120】

サーバは、アップロードされた映像データをフレームごとに分割する。入力は映像データで、出力は各フレームに分割された静止画像の集まりである。サーバはこの分割されたフレームを用いて、OpenCVを使用して動作特性を抽出する準備を行う。

【0121】

ステップ3：

【0122】

サーバは、データ解析手段として、OpenCVを用いて各フレームからロボットの動作特性を数値データとして抽出する。入力は分割されたフレームで、出力は動作特性を示す数値データである。サーバはこの数値データを用いて後続の解析を行う。

【0123】

ステップ4：

【0124】

サーバは、TensorFlowまたはPyTorchなどの機械学習フレームワークを用いて数値データを解析する。入力は動作特性を示す数値データで、出力はロボットの適性評価に関連する解析結果である。サーバはこの解析結果に基づき、各ロボットの効率を評価する。

【0125】

ステップ5：

【0126】

端末（管理者のタブレットやPC）はサーバから送信された質問を表示し、管理者に回答を促すハードウェアとして機能する。入力はサーバからの質問データで、出力は管理者による回答データである。端末に対する具体的な動作は質問の提示と回答の受付である。

【0127】

ステップ6：

【0128】

サーバは、質問への回答データを用い、適性評価を実施する。入力は動作特性の解析結果と回答データであり、出力は評価済みの適性データである。サーバはこれらのデータに基づき最適な役割を計算する。

【0129】

ステップ7：

【0130】

サーバは、適性評価結果に基づいて生成AIモデルを活用し、最も効率的なロボットの役割を提案する。入力は適性データで、出力は提案された役割の情報である。サーバはこの情報を工場管理システムに送信する。

【0131】

更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0132】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とし、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0133】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この動画は、ユーザの端末からネットワークを通じてサーバにアップロードされる。サーバは、上記のように受信した動画を解析することで、動作の特徴を抽出する。さらに、感情エンジンを用いて、ユーザの動画から顔や声による感情の変化も同時に認識する。これにより、動作だけでなく、プレー中の感情的側面も評価に取り込むことができる。

【0134】

並行して、ユーザはスポーツに関する質問に答える。このやりとりは端末上で行われ、質問フォームを通じてユーザからの詳細な回答がサーバに送信される。これらの回答は、ユーザの自己評価やプレースタイルについての情報を提供し、感情や動作データと組み合わせてさらなる分析の基礎となる。

【0135】

サーバは、動作特徴データ、感情状態データ、および質問回答データを組み合わせ、機械学習モデルを用いてユーザに最も適したポジションを評価する。この評価プロセスでは、感情データを特に考慮し、ユーザがどのポジションで最もポジティブな感情を持つかを分析する。これにより、ユーザの心理的なコンディションも取り入れたバランスの取れたポジション提案が可能となる。

【0136】

評価結果はサーバからユーザの端末に送信され、端末はそれをユーザに視覚的に提示する。具体例として、例えばサーバがユーザのプレー動画からストレスの高まりを検知し、それに応じて比較的リラックスして臨めるポジションを提案することで、ユーザはより集中してパフォーマンスを発揮することができる。

【0137】

このようにして、本システムは利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0138】

以下に、処理の流れについて説明する。

【0139】

ステップ１：

【0140】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画データを端末に保存する。次に、ユーザは端末のインターフェースを使用して、記録した動画をシステムのサーバにアップロードする操作を行う。サーバは受信した動画をストレージに保存する。

【0141】

ステップ２：

【0142】

サーバは、保存された動画を個別のフレームごとに処理し、画像認識アルゴリズムを用いて動作の特徴を抽出する。このプロセスでは、サーバがフレームごとの動作データ（例えば動作のスピード、体のアングル）を数値として抽出し、一時的にデータベースに保存する。

【0143】

ステップ３：

【0144】

サーバは更に、動画データからユーザの顔の表情や声のトーンを解析する感情エンジンを稼働させ、利用者の感情状態を認識する。認識された感情は、プレー時のストレスレベルや集中度を示す指標として抽出され、動作データと共に保存される。

【0145】

ステップ４：

【0146】

ユーザはスポーツ経験やプレースタイルに関する質問に回答する。端末は質問の入力フォームを表示し、ユーザはそこにコメントや選択肢を通じて回答を提供する。端末はこれらの回答をサーバに送信し、サーバはこれをデータベースに追加する。

【0147】

ステップ５：

【0148】

サーバは、動作特徴データ、感情データ、およびユーザの回答データを統合し、それらを機械学習モデルに入力してユーザの適性評価を行う。ここで、サーバはモデルを用いて各データセットを分析し、ユーザの身体的特性および感情的パフォーマンスに基づいた最適なスポーツポジションを特定する。

【0149】

ステップ６：

【0150】

サーバはモデルの実行結果から得られたポジション提案を生成し、ユーザの端末に送信する。端末はこのデータを受け取り、見やすい形式でユーザに提示する。ユーザはこの提案をレビューし、自らのトレーニング戦略を調整するための判断材料とすることができる。

【0151】

（実施例２）

【0152】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0153】

スポーツにおける利用者のポジション選定は、主に身体的な特性に基づくことが多く、感情状態や心理的コンディションを考慮した総合的な評価や提案が不足している。このため、利用者が実際により良いパフォーマンスを発揮できる最適なポジションを見つけるのが難しいという課題がある。

【0154】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0155】

この発明では、サーバは、利用者の動作を記録する撮影装置から取得された映像信号を入力する信号取得手段と、映像信号に基づいて利用者の動作の特徴を抽出する特徴抽出手段と、動画内の表情や音声から感情状態を識別する感情認識手段と、を含む。これにより、利用者の動作特性と感情状態の両方を考慮した最適なスポーツポジションの提案が可能となる。

【0156】

「信号取得手段」とは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する手段である。

【0157】

「特徴抽出手段」とは、映像信号に基づいて利用者の動作の特徴を抽出するための手段である。

【0158】

「感情認識手段」とは、利用者の動画内の表情や音声から感情状態を識別するための手段である。

【0159】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための手段である。

【0160】

「評価手段」とは、特徴データ、感情データ、および回答データを組み合わせて利用者の適性を評価するための手段である。

【0161】

「提案手段」とは、評価された適性に基づいて、生成AIモデルを用いて利用者に最適なスポーツポジションを提案するための手段である。

【0162】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とする、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。このシステムは、以下のように構成される。

【0163】

まず、ユーザは、スマートフォンやビデオカメラといった撮影装置を用いて、自分のスポーツプレーを動画形式で記録する。記録された動画は、ユーザの端末に保存された後、ネットワークを通じてサーバにアップロードされる。サーバは、この映像信号を取得し、映像認識技術を用いて動作の特徴を抽出する。この処理には、オープンソースの映像解析ライブラリであるOpenCVが使用される。また、サーバは、Google（登録商標） Cloudの感情分析APIなどを用いて動画内のユーザの表情や声を解析し、感情状態を認識する。

【0164】

次に、ユーザは端末上でスポーツに関する質問に答え、その回答データがサーバに送信される。この質問回答データは、ユーザの自己評価やプレースタイルに関する詳細な情報を提供し、感情と動作のデータと組み合わせてさらなる分析の基礎となる。

【0165】

サーバは、これらのデータを統合し、生成AIモデルを用いてユーザに最も適したスポーツポジションを評価する。この評価プロセスでは、ユーザの感情データを特に考慮し、心理的コンディションを反映させたバランスの取れたポジション提案を行うことが可能である。具体例として、サーバがユーザのプレー動画からストレスの高まりを検知し、それに応じてユーザにリラックスできるポジションを提案することが挙げられる。

【0166】

評価結果はサーバからユーザの端末に送信され、視覚的に提示される。ここでのプロンプト文の例としては、「ユーザの動画から抽出された動作データと感情データを基に、最適なポジションを提案せよ」という指令が挙げられる。このようにしてシステムは、利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0167】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0168】

ステップ1：

【0169】

ユーザは、スマートフォンやビデオカメラを使用して、自分のスポーツプレーを動画形式で記録する。入力としては、ユーザがプレーする動作そのものが挙げられ、出力としては記録された動画データが得られる。この動作には、端末のカメラ機能を利用して撮影を開始し、所定のプレーを撮影する作業が含まれる。

【0170】

ステップ2：

【0171】

ユーザは、記録した動画データを自分の端末からインターネットを通じてサーバにアップロードする。入力としてはユーザの端末に保存された動画データがあり、出力としては、その動画がサーバに送信される。この作業には、アプリケーション内の「アップロード」ボタンを押し、サーバとの接続を確立する動きが含まれる。

【0172】

ステップ3：

【0173】

サーバは、アップロードされた動画データを受信し、映像認識技術を用いて動作の特徴を抽出する。入力としては動画データがあり、出力としては動作の特徴データが生成される。具体的には、OpenCVライブラリを使用して体の動きを解析し、関節の位置や動きのパターンを計算する動作が含まれる。

【0174】

ステップ4：

【0175】

サーバは、感情認識手段を用いて、動画内のユーザの表情や声から感情状態を識別する。入力としては動画データがあり、出力として感情状態データが得られる。具体的には、感情分析APIを使用して表情の変化や声のトーンを解析し、感情の種類を特定する動作が含まれる。

【0176】

ステップ5：

【0177】

ユーザは、自分の端末上でスポーツに関する質問フォームに答え、その回答をサーバに送信する。入力としてはユーザの回答があり、出力としては回答データがサーバに転送される。具体的な動作としては、フォームに情報を入力し、「送信」を押すことを含む。

【0178】

ステップ6：

【0179】

サーバは、動作特徴データ、感情状態データ、およびユーザからの質問回答データを統合して分析する。ここで入力としては、これらのデータが含まれ、出力として統合された分析結果が得られる。生成AIモデルを用いて、これらの情報を解析し、ユーザに最適なポジションを評価する動作を含む。

【0180】

ステップ7：

【0181】

サーバは、評価結果をユーザの端末に送信し、端末はその結果を視覚的に提示する。入力としては、分析結果が含まれ、出力としては、ユーザが閲覧できる評価結果が端末上に表示される。この動作には、「結果を見る」ボタンを押すことで評価詳細を表示する機能が含まれる。

【0182】

（応用例２）

【0183】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0184】

従来の工場作業においては、作業員の動作のみならず、感情の変化を考慮しつつ最適な作業ポジションを提案することができず、作業効率の低下や心理的負担の増加が課題となっていた。作業環境において、作業員の身体的および精神的状態を総合的に評価し、最も効果的でストレスの少ない作業位置及びタスクを推奨するシステムが求められている。

【0185】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0186】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、利用者の感情を認識し、感情データを生成する感情認識手段と、を含む。これにより、利用者の動作及び感情をリアルタイムで解析し、最適な作業ポジション及びタスクを提案することが可能となる。

【0187】

「信号取得手段」とは、撮影装置から取得された映像信号をシステム内に入力する機能を有する装置やモジュールである。

【0188】

「特徴抽出手段」とは、取得した映像信号を解析し、利用者の動作の種類や体格の特徴を抽出する機能を有する装置やシステムである。

【0189】

「感情認識手段」とは、音声分析や表情分析を用いて利用者の感情状態を認識し、感情データを生成する機能を有する装置やシステムである。

【0190】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための機能を有する装置やモジュールである。

【0191】

「評価手段」とは、特徴抽出手段によって得られた特徴データと、感情認識手段によって生成された感情データ、および回答受付手段によって受け取られた回答データを組み合わせて、利用者の適性を評価する機能を有する装置やモジュールである。

【0192】

「提案手段」とは、評価手段によって評価された適性に基づいて、利用者に最適な作業ポジションやタスクを提案する機能を有する装置やシステムである。

【0193】

この発明を実施するためのシステムは、ユーザの動作と感情状態をリアルタイムで解析し、最適な作業ポジションやタスクを提案する機能を有する。サーバは、ユーザの端末から送信される映像信号を信号取得手段を通じて受信し、それを解析することで動作の特徴を抽出する。さらに、感情認識手段を用いることで、ユーザの顔や音声から感情を認識し、感情データを生成する。

【0194】

端末は、ユーザに対して作業に関する質問を提示し、回答受付手段を通じて回答を受け取る。この回答と、特徴抽出手段及び感情認識手段によって得られたデータを組み合わせることで、サーバ内の評価手段が総合的な適性評価を行い、評価結果を利用して提案手段が最適な作業ポジションやタスクを提案する。このシステムは、ユーザの動作パターンと感情状態を反映した、よりバランスのとれたタスク配置や作業環境の提供を可能にする。

【0195】

例えば、製造業の現場である作業員が長時間立ち仕事をしている状況を考える。このシステムが利用者の疲労やストレスをリアルタイムで検知し、それに基づいて彼に最適なポジションと比較的軽めのタスクを提案することができる。これにより、作業員の負荷を軽減しつつ、生産性を維持することが可能である。

【0196】

プロンプト文の例として、「現在の感情状態に基づき、作業者に適切なタスクやポジションはどれか？」などが挙げられる。このプロンプト文に基づいて生成AIモデルが評価を行い、提案を生成する。

【0197】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0198】

ステップ１：

【0199】

サーバは、ユーザの端末から送信された映像信号を信号取得手段を使用して受信する。入力として映像信号が提供され、これを基に動作解析のための前処理を行う。この前処理では、映像のノイズを除去し、解析可能な形式に変換する。

【0200】

ステップ２：

【0201】

処理された映像データを使用して、サーバの特徴抽出手段が動作の特徴を抽出する。入力として前処理済みの映像データが使用され、出力にはユーザの動作パターンが生成される。具体的には、運動の種類や頻度、体の動きの軌跡などをアルゴリズムにより解析する。

【0202】

ステップ３：

【0203】

同時に、サーバの感情認識手段が映像内のユーザの顔や音声を分析して感情データを生成する。入力として、音声と顔の特徴データが用いられる。表情や声のトーンを基に、例えば満足、不満、ストレスなどの感情を認識する。

【0204】

ステップ４：

【0205】

端末はユーザに対して特定の作業に関する質問を提示し、回答受付手段を通じてユーザの回答を受け取る。入力にはユーザが端末上で選択した回答が含まれ、これをそのままサーバへ転送する。質問はユーザの経験や快適度合いについてであることが多い。

【0206】

ステップ５：

【0207】

サーバは、特徴抽出手段と感情認識手段によって得られたデータ、およびユーザの回答データを評価手段を用いて統合し、ユーザの適性を評価する。入力には全ての収集データが含まれ、出力としてはユーザに最適な作業ポジションやタスクの推奨結果が作成される。

【0208】

ステップ６：

【0209】

評価結果に基づき、サーバの提案手段が生成AIモデルを使用してユーザに最適な作業ポジションやタスクを提案するプロンプト文を生成する。出力は、具体的な作業場所の提案やユーザへの指示が含まれ、端末を通じてユーザに提示される。

【0210】

特定処理部２９０は、特定処理の結果をスマートデバイス１４に送信する。スマートデバイス１４では、制御部４６Ａが、出力装置４０に対して特定処理の結果を出力させる。マイクロフォン３８Ｂは、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン３８Ｂによって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0211】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ChatGPT（登録商標）（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（登録商標）（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0212】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマートデバイス１４によって特定処理が行われるようにしてもよい。

【0213】

［第２実施形態］

【0214】

図３には、第２実施形態に係るデータ処理システム２１０の構成の一例が示されている。

【0215】

図３に示すように、データ処理システム２１０は、データ処理装置１２及びスマート眼鏡２１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0216】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0217】

スマート眼鏡２１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、及びカメラ４２も、バス５２に接続されている。

【0218】

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

【0219】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0220】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

【0221】

図４には、データ処理装置１２及びスマート眼鏡２１４の要部機能の一例が示されている。図４に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

【0222】

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

【0223】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0224】

スマート眼鏡２１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0225】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0226】

本システムは、利用者のスポーツプレーを最適なポジションで行うための支援を目的としており、映像認識技術と機械学習を駆使したスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0227】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ネットワークを介して端末からサーバにアップロードする。サーバは、受け取った動画を処理し、動作解析を行う。具体的には、サーバは動画をフレームに分割し、画像認識技術を用いて各フレームごとの動作を数値データとして抽出する。この特徴データは、ユーザの動作や体格、フォームなどを詳細に分析するために役立つ。

【0228】

同時に、ユーザは端末を通じて、利用者のスポーツへの経験、プレースタイル、得意な動作などを質問形式で回答することが求められる。端末は、これらの回答をサーバに送信する。この質問応答データにより、ユーザの主観的な情報と客観的なデータが統合される。

【0229】

サーバは、特徴データと質問応答データを組み合わせ、これらの情報を基に機械学習モデルを使用してユーザに適したポジションを評価する。過去のデータベースから得られたスポーツ選手のデータと比較し、適性評価を行う。これにより、ユーザの動作スタイルや特性に最も適したポジションを推奨することが可能となる。

【0230】

推奨結果は、サーバからユーザの端末に送信され、端末はこれをユーザーに表示する。ユーザは、提案された結果を確認し、新たに評価されたポジションでのプレーに向けた練習やトレーニングに活用できる。例えば、サーバがユーザの投球動作と走力を重視した結果、最適なポジションとして外野手を推奨した場合、ユーザはそのフィードバックを元に外野手としての適性を磨くことができる。

【0231】

このようにして、本システムは利用者の潜在能力を最大限に引き出し、スポーツにおけるプレースタイルの改善と最適化をサポートする。

【0232】

以下に、処理の流れについて説明する。

【0233】

ステップ１：

【0234】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画ファイルを端末に保存する。端末のインターフェースを使用して、記録した動画をサーバにアップロードする。サーバはアップロードされた動画ファイルを受信し、ストレージに保存する。

【0235】

ステップ２：

【0236】

サーバは、保存した動画をフレームごとに分割し、それぞれのフレームについて画像認識アルゴリズムを適用することで、動作の特徴を抽出する。この過程で、サーバは利用者の姿勢や動作速度、角度などの情報を数値データとして収集する。抽出されたデータは一時的に保存される。

【0237】

ステップ３：

【0238】

ユーザはスポーツ体験に関する質問に回答することを求められる。端末は、質問フォームを表示し、ユーザは自身の経験、プレースタイル、得意な動作について情報を入力する。端末はこれらの回答をサーバに送信する。

【0239】

ステップ４：

【0240】

サーバは、フレームから抽出された画像認識の特徴データと、ユーザが回答した質問データを受け取り、これらのデータを統合する。サーバは、データを機械学習モデルに適した形に整えるための前処理を行う。

【0241】

ステップ５：

【0242】

サーバが、整えられたデータを機械学習モデルに入力し、ユーザの適性を評価するプロセスを開始する。モデルは、影響力のある特徴を分析し、過去のデータと照らし合わせて最適なポジションを推奨するための計算を行う。

【0243】

ステップ６：

【0244】

サーバが、機械学習の結果として得られた最適なスポーツポジションをユーザに送信する。ユーザの端末は、その情報を受け取り、視覚的に魅力的な形で結果を表示する。ユーザはこの情報を基に、トレーニングを調整し、提案されたポジションに適応するための計画を立てる。

【0245】

（実施例１）

【0246】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0247】

現代のスポーツ環境において、利用者の特性に基づいた最適なプレーポジションを迅速かつ正確に見極めることは難しい課題である。従来の方法は、主観的な評価に頼ることが多く、客観的かつデータに基づく分析が不足しているため、利用者の潜在能力を十分に引き出せないことがある。

【0248】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0249】

この発明では、サーバは、データ取得手段と、特徴解析手段と、情報収集手段と、を含む。これにより、ユーザの動作特性や主観的情報を統合して評価し、最適な運動位置を客観的に推奨することが可能となる。

【0250】

「データ取得手段」とは、ユーザの動作を記録する撮影装置から取得された映像データを入力する機能である。

【0251】

「特徴解析手段」とは、映像データをフレームごとに分割し、各フレームごとの動作を数値データとして抽出する機能である。

【0252】

「情報収集手段」とは、ユーザに質問を提示し、その回答をデジタル形式で受け取る機能である。

【0253】

「分析手段」とは、特徴解析手段により抽出された数値データと情報収集手段により受け取られた回答データを統合し、ユーザの特性を評価する機能である。

【0254】

「推奨手段」とは、分析手段による評価結果に基づいて、ユーザに最適な運動位置を推奨する機能である。

【0255】

本発明は、利用者の動作特性をデータに基づいて分析し、最適なスポーツポジションを提案するシステムである。以下に、本システムの具体的な実施形態を示す。

【0256】

システム構成:

【0257】

システムは主にサーバ、端末、ユーザの操作により構成される。ユーザは、撮影装置（例えば、スマートフォンや専用カメラ）を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ユーザは端末を介してサーバにアップロードする。サーバは、受け取った動画をフレームごとに分割し、特徴解析手段として画像認識技術を用いて各フレームごとの動作を数値データとして抽出・解析する。特に、ディープラーニングライブラリやコンピュータビジョンモデルを利用することが考えられる。

【0258】

データ収集:

【0259】

ユーザは、端末を通じて、自身のスポーツ経験や得意なプレースタイルに関する質問に回答する。これらの情報は、デジタル形式で端末に入力され、その後サーバに送信される。サーバは、この情報収集手段を通じて多数の質問応答データを集約する。

【0260】

データ統合と分析:

【0261】

サーバは、特徴解析手段で抽出された数値データと、情報収集手段で収集された質問応答データを統合する。これによって得られたデータセットを基に、分析手段として機械学習技術を用いてユーザの特性を客観的に評価する。生成AIモデルは、過去のスポーツ選手のデータベースと比較し、利用者に最適なスポーツポジションを推奨する。

【0262】

結果の提示:

【0263】

評価結果に基づいて、サーバは推奨手段を活用し、利用者に最適なスポーツポジションを端末に提示する。端末はユーザにフィードバックを表示し、具体的なトレーニング方針を示すことができる。

【0264】

具体例:

【0265】

例えば、サーバがユーザの動画データを分析した結果、ピッチング動作と優れた走力を重視して「外野手」が最適であると推奨した場合、ユーザはこの評価に基づきトレーニングを行うことができる。

【0266】

生成AIモデルへのプロンプト文例:

【0267】

「ユーザの動画データから投球および走力の評価を行い、適したスポーツのポジションを推奨してください。」

【0268】

「経験やプレースタイルを考慮し、最も適したポジションを選定してください。」

【0269】

この発明により、スポーツパフォーマンスを最大限に引き出すための的確なアプローチを提供できる。

【0270】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0271】

ステップ１：

【0272】

ユーザは、撮影装置を用いて自身のスポーツプレーを動画形式で記録する。入力はユーザの動作であり、出力として動画データが生成される。具体的には、ユーザはスマートフォンを使用して、自身のサッカーのドリブル動作を撮影する。

【0273】

ステップ２：

【0274】

端末は、動画データをサーバにアップロードする。入力は動画データであり、出力はネットワーク経由でサーバへのデータ転送である。具体例として、専用アプリケーションで「アップロード」ボタンを押し、動画がサーバへ送信される。

【0275】

ステップ３：

【0276】

サーバは、受信した動画をフレームごとに分割する。入力はサーバに転送された動画データであり、出力は画像フレームの一連のデータセットである。具体的には、サーバは1秒あたり30フレームに動画を分割し、各フレームの静止画像を生成する。

【0277】

ステップ４：

【0278】

サーバは、動画の各フレームを解析し、特徴解析手段として画像認識技術を使用して動作特性を抽出する。入力は画像フレームデータであり、出力として各フレームの動作を数値データとして得る。具体的には、サーバは足の位置や身体の角度などを検出し、これらを数値化する。

【0279】

ステップ５：

【0280】

ユーザは、端末を通じてスポーツ経験や得意なプレースタイルに関する質問に回答する。入力はユーザによる回答データであり、出力として構造化された応答情報が生成される。具体的には、アンケート形式で「あなたの得意な動きは何ですか？」という質問に答える。

【0281】

ステップ６：

【0282】

端末は、ユーザの回答データをサーバに送信する。入力はユーザの回答情報であり、出力はサーバへの転送である。具体的な動作としては、端末で「送信」ボタンを押し、データがサーバに送られる。

【0283】

ステップ７：

【0284】

サーバは、特徴解析手段で抽出された数値データと回答データを統合する。入力は数値化された動作データと回答データであり、出力は統合されたデータセットである。ここで、データの統合により総合的な解析が可能となる。

【0285】

ステップ８：

【0286】

サーバは、統合データを用いて生成AIモデルにより解析を行い、利用者の特性を評価する。入力は統合データセットであり、出力は評価結果としての提案である。具体例として、サーバは機械学習アルゴリズムで動作パターンを分析し、最適ポジションを推奨する。

【0287】

ステップ９：

【0288】

サーバは結果を端末に送信し、端末はユーザに最適なポジションを提示する。入力はサーバから送信された評価結果であり、出力はユーザへのフィードバック表示である。ユーザは、このフィードバックをもとにトレーニングを行うことができる。

【0289】

（応用例１）

【0290】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0291】

工場において複数の作業を担うロボットの効率性を向上させることが求められている。しかし、現状ではロボットごとに持つ最適な作業ポジションや役割を把握することが難しく、適材適所に配置することが課題である。これにより生産性が低下し、リソースの無駄遣いにつながる問題がある。

【0292】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0293】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力するデータ取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出するデータ解析手段と、利用者に質問を提示し、その回答を受け取る情報受付手段と、を含む。これにより、各ロボットが最も効率的に作業を行うための最適な役割やポジションを推奨することが可能となる。

【0294】

「データ取得手段」とは、利用者やロボットの動作を記録するための装置から映像信号を取得し、これを分析のためにサーバへ送信する役割を担うものである。

【0295】

「データ解析手段」とは、取得された映像信号に対して視覚データ認識アルゴリズムを用いて動作の特徴を抽出し、数値データとして分析する機能を持つものである。

【0296】

「情報受付手段」とは、利用者または管理者に対して質問を提示し、その回答情報を受け取り、適性評価に利用するデータとしてサーバへ送信する機能を持つものである。

【0297】

「適性評価手段」とは、データ解析手段より得られた特徴データと情報受付手段で取得した情報データを統合し、各ロボットにとって最も適した作業ポジションや役割を評価するシステムを指す。

【0298】

「役割提案手段」とは、適性評価手段で導き出された評価結果に基づいて、ロボットに最適な作業役割を提案し、配置や作業内容の改善を支援するプロセスである。

【0299】

このシステムは、工場におけるロボットの作業効率を最適化するために設計されたものである。まず、工場内のロボットにはカメラが取り付けられており、このカメラがロボットの動作を継続的に記録する。これにより、データ取得手段としての役割を果たす。

【0300】

サーバは、OpenCVなどの映像認識技術を用いて、取得した映像信号をフレームに分割し、各フレームの動作をデータ解析手段により処理する。この処理では、ロボットの動作特性や外見的特徴を数値データとして抽出する。さらに、サーバはTensorFlowやPyTorchといった機械学習フレームワークを用いて、データの解析を行う。

【0301】

情報受付手段として、管理者にはタブレットやPCが提供され、そこにサーバからの質問が提示される。管理者は、この質問に回答し、その内容がサーバに送られる。サーバは、この回答を活用して適性評価手段によりロボットの適性を評価する。

【0302】

その結果、役割提案手段によって最適なロボットの作業ポジションや役割が提案される。この情報は工場の管理システム上で確認することができる。

【0303】

例えば、組み立て作業と搬送作業の効率を向上させるために、特定のロボットが搬送作業に特化することが適性評価から推奨された場合、工場管理者はその提案に基づいてロボットの配置を変更することができる。

【0304】

生成AIモデルにおけるプロンプト文の例としては、「工場ロボットの動作データを基に、最も効率的な作業役割を提案してください。」が挙げられる。

【0305】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0306】

ステップ1：

【0307】

カメラを装備した工場ロボットが、作業中の自身の動作を映像として記録する。入力は、リアルタイムの映像データである。この映像データは後にデータ取得手段としてサーバにアップロードされる。

【0308】

ステップ2：

【0309】

サーバは、アップロードされた映像データをフレームごとに分割する。入力は映像データで、出力は各フレームに分割された静止画像の集まりである。サーバはこの分割されたフレームを用いて、OpenCVを使用して動作特性を抽出する準備を行う。

【0310】

ステップ3：

【0311】

サーバは、データ解析手段として、OpenCVを用いて各フレームからロボットの動作特性を数値データとして抽出する。入力は分割されたフレームで、出力は動作特性を示す数値データである。サーバはこの数値データを用いて後続の解析を行う。

【0312】

ステップ4：

【0313】

サーバは、TensorFlowまたはPyTorchなどの機械学習フレームワークを用いて数値データを解析する。入力は動作特性を示す数値データで、出力はロボットの適性評価に関連する解析結果である。サーバはこの解析結果に基づき、各ロボットの効率を評価する。

【0314】

ステップ5：

【0315】

端末（管理者のタブレットやPC）はサーバから送信された質問を表示し、管理者に回答を促すハードウェアとして機能する。入力はサーバからの質問データで、出力は管理者による回答データである。端末に対する具体的な動作は質問の提示と回答の受付である。

【0316】

ステップ6：

【0317】

サーバは、質問への回答データを用い、適性評価を実施する。入力は動作特性の解析結果と回答データであり、出力は評価済みの適性データである。サーバはこれらのデータに基づき最適な役割を計算する。

【0318】

ステップ7：

【0319】

サーバは、適性評価結果に基づいて生成AIモデルを活用し、最も効率的なロボットの役割を提案する。入力は適性データで、出力は提案された役割の情報である。サーバはこの情報を工場管理システムに送信する。

【0320】

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0321】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とし、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0322】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この動画は、ユーザの端末からネットワークを通じてサーバにアップロードされる。サーバは、上記のように受信した動画を解析することで、動作の特徴を抽出する。さらに、感情エンジンを用いて、ユーザの動画から顔や声による感情の変化も同時に認識する。これにより、動作だけでなく、プレー中の感情的側面も評価に取り込むことができる。

【0323】

並行して、ユーザはスポーツに関する質問に答える。このやりとりは端末上で行われ、質問フォームを通じてユーザからの詳細な回答がサーバに送信される。これらの回答は、ユーザの自己評価やプレースタイルについての情報を提供し、感情や動作データと組み合わせてさらなる分析の基礎となる。

【0324】

サーバは、動作特徴データ、感情状態データ、および質問回答データを組み合わせ、機械学習モデルを用いてユーザに最も適したポジションを評価する。この評価プロセスでは、感情データを特に考慮し、ユーザがどのポジションで最もポジティブな感情を持つかを分析する。これにより、ユーザの心理的なコンディションも取り入れたバランスの取れたポジション提案が可能となる。

【0325】

評価結果はサーバからユーザの端末に送信され、端末はそれをユーザに視覚的に提示する。具体例として、例えばサーバがユーザのプレー動画からストレスの高まりを検知し、それに応じて比較的リラックスして臨めるポジションを提案することで、ユーザはより集中してパフォーマンスを発揮することができる。

【0326】

このようにして、本システムは利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0327】

以下に、処理の流れについて説明する。

【0328】

ステップ１：

【0329】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画データを端末に保存する。次に、ユーザは端末のインターフェースを使用して、記録した動画をシステムのサーバにアップロードする操作を行う。サーバは受信した動画をストレージに保存する。

【0330】

ステップ２：

【0331】

サーバは、保存された動画を個別のフレームごとに処理し、画像認識アルゴリズムを用いて動作の特徴を抽出する。このプロセスでは、サーバがフレームごとの動作データ（例えば動作のスピード、体のアングル）を数値として抽出し、一時的にデータベースに保存する。

【0332】

ステップ３：

【0333】

サーバは更に、動画データからユーザの顔の表情や声のトーンを解析する感情エンジンを稼働させ、利用者の感情状態を認識する。認識された感情は、プレー時のストレスレベルや集中度を示す指標として抽出され、動作データと共に保存される。

【0334】

ステップ４：

【0335】

ユーザはスポーツ経験やプレースタイルに関する質問に回答する。端末は質問の入力フォームを表示し、ユーザはそこにコメントや選択肢を通じて回答を提供する。端末はこれらの回答をサーバに送信し、サーバはこれをデータベースに追加する。

【0336】

ステップ５：

【0337】

サーバは、動作特徴データ、感情データ、およびユーザの回答データを統合し、それらを機械学習モデルに入力してユーザの適性評価を行う。ここで、サーバはモデルを用いて各データセットを分析し、ユーザの身体的特性および感情的パフォーマンスに基づいた最適なスポーツポジションを特定する。

【0338】

ステップ６：

【0339】

サーバはモデルの実行結果から得られたポジション提案を生成し、ユーザの端末に送信する。端末はこのデータを受け取り、見やすい形式でユーザに提示する。ユーザはこの提案をレビューし、自らのトレーニング戦略を調整するための判断材料とすることができる。

【0340】

（実施例２）

【0341】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0342】

スポーツにおける利用者のポジション選定は、主に身体的な特性に基づくことが多く、感情状態や心理的コンディションを考慮した総合的な評価や提案が不足している。このため、利用者が実際により良いパフォーマンスを発揮できる最適なポジションを見つけるのが難しいという課題がある。

【0343】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0344】

この発明では、サーバは、利用者の動作を記録する撮影装置から取得された映像信号を入力する信号取得手段と、映像信号に基づいて利用者の動作の特徴を抽出する特徴抽出手段と、動画内の表情や音声から感情状態を識別する感情認識手段と、を含む。これにより、利用者の動作特性と感情状態の両方を考慮した最適なスポーツポジションの提案が可能となる。

【0345】

「信号取得手段」とは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する手段である。

【0346】

「特徴抽出手段」とは、映像信号に基づいて利用者の動作の特徴を抽出するための手段である。

【0347】

「感情認識手段」とは、利用者の動画内の表情や音声から感情状態を識別するための手段である。

【0348】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための手段である。

【0349】

「評価手段」とは、特徴データ、感情データ、および回答データを組み合わせて利用者の適性を評価するための手段である。

【0350】

「提案手段」とは、評価された適性に基づいて、生成AIモデルを用いて利用者に最適なスポーツポジションを提案するための手段である。

【0351】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とする、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。このシステムは、以下のように構成される。

【0352】

まず、ユーザは、スマートフォンやビデオカメラといった撮影装置を用いて、自分のスポーツプレーを動画形式で記録する。記録された動画は、ユーザの端末に保存された後、ネットワークを通じてサーバにアップロードされる。サーバは、この映像信号を取得し、映像認識技術を用いて動作の特徴を抽出する。この処理には、オープンソースの映像解析ライブラリであるOpenCVが使用される。また、サーバは、Google Cloudの感情分析APIなどを用いて動画内のユーザの表情や声を解析し、感情状態を認識する。

【0353】

次に、ユーザは端末上でスポーツに関する質問に答え、その回答データがサーバに送信される。この質問回答データは、ユーザの自己評価やプレースタイルに関する詳細な情報を提供し、感情と動作のデータと組み合わせてさらなる分析の基礎となる。

【0354】

サーバは、これらのデータを統合し、生成AIモデルを用いてユーザに最も適したスポーツポジションを評価する。この評価プロセスでは、ユーザの感情データを特に考慮し、心理的コンディションを反映させたバランスの取れたポジション提案を行うことが可能である。具体例として、サーバがユーザのプレー動画からストレスの高まりを検知し、それに応じてユーザにリラックスできるポジションを提案することが挙げられる。

【0355】

評価結果はサーバからユーザの端末に送信され、視覚的に提示される。ここでのプロンプト文の例としては、「ユーザの動画から抽出された動作データと感情データを基に、最適なポジションを提案せよ」という指令が挙げられる。このようにしてシステムは、利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0356】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0357】

ステップ1：

【0358】

ユーザは、スマートフォンやビデオカメラを使用して、自分のスポーツプレーを動画形式で記録する。入力としては、ユーザがプレーする動作そのものが挙げられ、出力としては記録された動画データが得られる。この動作には、端末のカメラ機能を利用して撮影を開始し、所定のプレーを撮影する作業が含まれる。

【0359】

ステップ2：

【0360】

ユーザは、記録した動画データを自分の端末からインターネットを通じてサーバにアップロードする。入力としてはユーザの端末に保存された動画データがあり、出力としては、その動画がサーバに送信される。この作業には、アプリケーション内の「アップロード」ボタンを押し、サーバとの接続を確立する動きが含まれる。

【0361】

ステップ3：

【0362】

サーバは、アップロードされた動画データを受信し、映像認識技術を用いて動作の特徴を抽出する。入力としては動画データがあり、出力としては動作の特徴データが生成される。具体的には、OpenCVライブラリを使用して体の動きを解析し、関節の位置や動きのパターンを計算する動作が含まれる。

【0363】

ステップ4：

【0364】

サーバは、感情認識手段を用いて、動画内のユーザの表情や声から感情状態を識別する。入力としては動画データがあり、出力として感情状態データが得られる。具体的には、感情分析APIを使用して表情の変化や声のトーンを解析し、感情の種類を特定する動作が含まれる。

【0365】

ステップ5：

【0366】

ユーザは、自分の端末上でスポーツに関する質問フォームに答え、その回答をサーバに送信する。入力としてはユーザの回答があり、出力としては回答データがサーバに転送される。具体的な動作としては、フォームに情報を入力し、「送信」を押すことを含む。

【0367】

ステップ6：

【0368】

サーバは、動作特徴データ、感情状態データ、およびユーザからの質問回答データを統合して分析する。ここで入力としては、これらのデータが含まれ、出力として統合された分析結果が得られる。生成AIモデルを用いて、これらの情報を解析し、ユーザに最適なポジションを評価する動作を含む。

【0369】

ステップ7：

【0370】

サーバは、評価結果をユーザの端末に送信し、端末はその結果を視覚的に提示する。入力としては、分析結果が含まれ、出力としては、ユーザが閲覧できる評価結果が端末上に表示される。この動作には、「結果を見る」ボタンを押すことで評価詳細を表示する機能が含まれる。

【0371】

（応用例２）

【0372】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0373】

従来の工場作業においては、作業員の動作のみならず、感情の変化を考慮しつつ最適な作業ポジションを提案することができず、作業効率の低下や心理的負担の増加が課題となっていた。作業環境において、作業員の身体的および精神的状態を総合的に評価し、最も効果的でストレスの少ない作業位置及びタスクを推奨するシステムが求められている。

【0374】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0375】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、利用者の感情を認識し、感情データを生成する感情認識手段と、を含む。これにより、利用者の動作及び感情をリアルタイムで解析し、最適な作業ポジション及びタスクを提案することが可能となる。

【0376】

「信号取得手段」とは、撮影装置から取得された映像信号をシステム内に入力する機能を有する装置やモジュールである。

【0377】

「特徴抽出手段」とは、取得した映像信号を解析し、利用者の動作の種類や体格の特徴を抽出する機能を有する装置やシステムである。

【0378】

「感情認識手段」とは、音声分析や表情分析を用いて利用者の感情状態を認識し、感情データを生成する機能を有する装置やシステムである。

【0379】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための機能を有する装置やモジュールである。

【0380】

「評価手段」とは、特徴抽出手段によって得られた特徴データと、感情認識手段によって生成された感情データ、および回答受付手段によって受け取られた回答データを組み合わせて、利用者の適性を評価する機能を有する装置やモジュールである。

【0381】

「提案手段」とは、評価手段によって評価された適性に基づいて、利用者に最適な作業ポジションやタスクを提案する機能を有する装置やシステムである。

【0382】

この発明を実施するためのシステムは、ユーザの動作と感情状態をリアルタイムで解析し、最適な作業ポジションやタスクを提案する機能を有する。サーバは、ユーザの端末から送信される映像信号を信号取得手段を通じて受信し、それを解析することで動作の特徴を抽出する。さらに、感情認識手段を用いることで、ユーザの顔や音声から感情を認識し、感情データを生成する。

【0383】

端末は、ユーザに対して作業に関する質問を提示し、回答受付手段を通じて回答を受け取る。この回答と、特徴抽出手段及び感情認識手段によって得られたデータを組み合わせることで、サーバ内の評価手段が総合的な適性評価を行い、評価結果を利用して提案手段が最適な作業ポジションやタスクを提案する。このシステムは、ユーザの動作パターンと感情状態を反映した、よりバランスのとれたタスク配置や作業環境の提供を可能にする。

【0384】

例えば、製造業の現場である作業員が長時間立ち仕事をしている状況を考える。このシステムが利用者の疲労やストレスをリアルタイムで検知し、それに基づいて彼に最適なポジションと比較的軽めのタスクを提案することができる。これにより、作業員の負荷を軽減しつつ、生産性を維持することが可能である。

【0385】

プロンプト文の例として、「現在の感情状態に基づき、作業者に適切なタスクやポジションはどれか？」などが挙げられる。このプロンプト文に基づいて生成AIモデルが評価を行い、提案を生成する。

【0386】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0387】

ステップ１：

【0388】

サーバは、ユーザの端末から送信された映像信号を信号取得手段を使用して受信する。入力として映像信号が提供され、これを基に動作解析のための前処理を行う。この前処理では、映像のノイズを除去し、解析可能な形式に変換する。

【0389】

ステップ２：

【0390】

処理された映像データを使用して、サーバの特徴抽出手段が動作の特徴を抽出する。入力として前処理済みの映像データが使用され、出力にはユーザの動作パターンが生成される。具体的には、運動の種類や頻度、体の動きの軌跡などをアルゴリズムにより解析する。

【0391】

ステップ３：

【0392】

同時に、サーバの感情認識手段が映像内のユーザの顔や音声を分析して感情データを生成する。入力として、音声と顔の特徴データが用いられる。表情や声のトーンを基に、例えば満足、不満、ストレスなどの感情を認識する。

【0393】

ステップ４：

【0394】

端末はユーザに対して特定の作業に関する質問を提示し、回答受付手段を通じてユーザの回答を受け取る。入力にはユーザが端末上で選択した回答が含まれ、これをそのままサーバへ転送する。質問はユーザの経験や快適度合いについてであることが多い。

【0395】

ステップ５：

【0396】

サーバは、特徴抽出手段と感情認識手段によって得られたデータ、およびユーザの回答データを評価手段を用いて統合し、ユーザの適性を評価する。入力には全ての収集データが含まれ、出力としてはユーザに最適な作業ポジションやタスクの推奨結果が作成される。

【0397】

ステップ６：

【0398】

評価結果に基づき、サーバの提案手段が生成AIモデルを使用してユーザに最適な作業ポジションやタスクを提案するプロンプト文を生成する。出力は、具体的な作業場所の提案やユーザへの指示が含まれ、端末を通じてユーザに提示される。

【0399】

特定処理部２９０は、特定処理の結果をスマート眼鏡２１４に送信する。スマート眼鏡２１４では、制御部４６Ａが、スピーカ２４０に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0400】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0401】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマート眼鏡２１４によって特定処理が行われるようにしてもよい。

【0402】

［第３実施形態］

【0403】

図５には、第３実施形態に係るデータ処理システム３１０の構成の一例が示されている。

【0404】

図５に示すように、データ処理システム３１０は、データ処理装置１２及びヘッドセット型端末３１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0405】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0406】

ヘッドセット型端末３１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及びディスプレイ３４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及びディスプレイ３４３も、バス５２に接続されている。

【0407】

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

【0408】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0409】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

【0410】

図６には、データ処理装置１２及びヘッドセット型端末３１４の要部機能の一例が示されている。図６に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

【0411】

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

【0412】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0413】

ヘッドセット型端末３１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0414】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0415】

本システムは、利用者のスポーツプレーを最適なポジションで行うための支援を目的としており、映像認識技術と機械学習を駆使したスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0416】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ネットワークを介して端末からサーバにアップロードする。サーバは、受け取った動画を処理し、動作解析を行う。具体的には、サーバは動画をフレームに分割し、画像認識技術を用いて各フレームごとの動作を数値データとして抽出する。この特徴データは、ユーザの動作や体格、フォームなどを詳細に分析するために役立つ。

【0417】

同時に、ユーザは端末を通じて、利用者のスポーツへの経験、プレースタイル、得意な動作などを質問形式で回答することが求められる。端末は、これらの回答をサーバに送信する。この質問応答データにより、ユーザの主観的な情報と客観的なデータが統合される。

【0418】

サーバは、特徴データと質問応答データを組み合わせ、これらの情報を基に機械学習モデルを使用してユーザに適したポジションを評価する。過去のデータベースから得られたスポーツ選手のデータと比較し、適性評価を行う。これにより、ユーザの動作スタイルや特性に最も適したポジションを推奨することが可能となる。

【0419】

推奨結果は、サーバからユーザの端末に送信され、端末はこれをユーザーに表示する。ユーザは、提案された結果を確認し、新たに評価されたポジションでのプレーに向けた練習やトレーニングに活用できる。例えば、サーバがユーザの投球動作と走力を重視した結果、最適なポジションとして外野手を推奨した場合、ユーザはそのフィードバックを元に外野手としての適性を磨くことができる。

【0420】

このようにして、本システムは利用者の潜在能力を最大限に引き出し、スポーツにおけるプレースタイルの改善と最適化をサポートする。

【0421】

以下に、処理の流れについて説明する。

【0422】

ステップ１：

【0423】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画ファイルを端末に保存する。端末のインターフェースを使用して、記録した動画をサーバにアップロードする。サーバはアップロードされた動画ファイルを受信し、ストレージに保存する。

【0424】

ステップ２：

【0425】

サーバは、保存した動画をフレームごとに分割し、それぞれのフレームについて画像認識アルゴリズムを適用することで、動作の特徴を抽出する。この過程で、サーバは利用者の姿勢や動作速度、角度などの情報を数値データとして収集する。抽出されたデータは一時的に保存される。

【0426】

ステップ３：

【0427】

ユーザはスポーツ体験に関する質問に回答することを求められる。端末は、質問フォームを表示し、ユーザは自身の経験、プレースタイル、得意な動作について情報を入力する。端末はこれらの回答をサーバに送信する。

【0428】

ステップ４：

【0429】

サーバは、フレームから抽出された画像認識の特徴データと、ユーザが回答した質問データを受け取り、これらのデータを統合する。サーバは、データを機械学習モデルに適した形に整えるための前処理を行う。

【0430】

ステップ５：

【0431】

サーバが、整えられたデータを機械学習モデルに入力し、ユーザの適性を評価するプロセスを開始する。モデルは、影響力のある特徴を分析し、過去のデータと照らし合わせて最適なポジションを推奨するための計算を行う。

【0432】

ステップ６：

【0433】

サーバが、機械学習の結果として得られた最適なスポーツポジションをユーザに送信する。ユーザの端末は、その情報を受け取り、視覚的に魅力的な形で結果を表示する。ユーザはこの情報を基に、トレーニングを調整し、提案されたポジションに適応するための計画を立てる。

【0434】

（実施例１）

【0435】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0436】

現代のスポーツ環境において、利用者の特性に基づいた最適なプレーポジションを迅速かつ正確に見極めることは難しい課題である。従来の方法は、主観的な評価に頼ることが多く、客観的かつデータに基づく分析が不足しているため、利用者の潜在能力を十分に引き出せないことがある。

【0437】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0438】

この発明では、サーバは、データ取得手段と、特徴解析手段と、情報収集手段と、を含む。これにより、ユーザの動作特性や主観的情報を統合して評価し、最適な運動位置を客観的に推奨することが可能となる。

【0439】

「データ取得手段」とは、ユーザの動作を記録する撮影装置から取得された映像データを入力する機能である。

【0440】

「特徴解析手段」とは、映像データをフレームごとに分割し、各フレームごとの動作を数値データとして抽出する機能である。

【0441】

「情報収集手段」とは、ユーザに質問を提示し、その回答をデジタル形式で受け取る機能である。

【0442】

「分析手段」とは、特徴解析手段により抽出された数値データと情報収集手段により受け取られた回答データを統合し、ユーザの特性を評価する機能である。

【0443】

「推奨手段」とは、分析手段による評価結果に基づいて、ユーザに最適な運動位置を推奨する機能である。

【0444】

本発明は、利用者の動作特性をデータに基づいて分析し、最適なスポーツポジションを提案するシステムである。以下に、本システムの具体的な実施形態を示す。

【0445】

システム構成:

【0446】

システムは主にサーバ、端末、ユーザの操作により構成される。ユーザは、撮影装置（例えば、スマートフォンや専用カメラ）を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ユーザは端末を介してサーバにアップロードする。サーバは、受け取った動画をフレームごとに分割し、特徴解析手段として画像認識技術を用いて各フレームごとの動作を数値データとして抽出・解析する。特に、ディープラーニングライブラリやコンピュータビジョンモデルを利用することが考えられる。

【0447】

データ収集:

【0448】

ユーザは、端末を通じて、自身のスポーツ経験や得意なプレースタイルに関する質問に回答する。これらの情報は、デジタル形式で端末に入力され、その後サーバに送信される。サーバは、この情報収集手段を通じて多数の質問応答データを集約する。

【0449】

データ統合と分析:

【0450】

サーバは、特徴解析手段で抽出された数値データと、情報収集手段で収集された質問応答データを統合する。これによって得られたデータセットを基に、分析手段として機械学習技術を用いてユーザの特性を客観的に評価する。生成AIモデルは、過去のスポーツ選手のデータベースと比較し、利用者に最適なスポーツポジションを推奨する。

【0451】

結果の提示:

【0452】

評価結果に基づいて、サーバは推奨手段を活用し、利用者に最適なスポーツポジションを端末に提示する。端末はユーザにフィードバックを表示し、具体的なトレーニング方針を示すことができる。

【0453】

具体例:

【0454】

例えば、サーバがユーザの動画データを分析した結果、ピッチング動作と優れた走力を重視して「外野手」が最適であると推奨した場合、ユーザはこの評価に基づきトレーニングを行うことができる。

【0455】

生成AIモデルへのプロンプト文例:

【0456】

「ユーザの動画データから投球および走力の評価を行い、適したスポーツのポジションを推奨してください。」

【0457】

「経験やプレースタイルを考慮し、最も適したポジションを選定してください。」

【0458】

この発明により、スポーツパフォーマンスを最大限に引き出すための的確なアプローチを提供できる。

【0459】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0460】

ステップ１：

【0461】

ユーザは、撮影装置を用いて自身のスポーツプレーを動画形式で記録する。入力はユーザの動作であり、出力として動画データが生成される。具体的には、ユーザはスマートフォンを使用して、自身のサッカーのドリブル動作を撮影する。

【0462】

ステップ２：

【0463】

端末は、動画データをサーバにアップロードする。入力は動画データであり、出力はネットワーク経由でサーバへのデータ転送である。具体例として、専用アプリケーションで「アップロード」ボタンを押し、動画がサーバへ送信される。

【0464】

ステップ３：

【0465】

サーバは、受信した動画をフレームごとに分割する。入力はサーバに転送された動画データであり、出力は画像フレームの一連のデータセットである。具体的には、サーバは1秒あたり30フレームに動画を分割し、各フレームの静止画像を生成する。

【0466】

ステップ４：

【0467】

サーバは、動画の各フレームを解析し、特徴解析手段として画像認識技術を使用して動作特性を抽出する。入力は画像フレームデータであり、出力として各フレームの動作を数値データとして得る。具体的には、サーバは足の位置や身体の角度などを検出し、これらを数値化する。

【0468】

ステップ５：

【0469】

ユーザは、端末を通じてスポーツ経験や得意なプレースタイルに関する質問に回答する。入力はユーザによる回答データであり、出力として構造化された応答情報が生成される。具体的には、アンケート形式で「あなたの得意な動きは何ですか？」という質問に答える。

【0470】

ステップ６：

【0471】

端末は、ユーザの回答データをサーバに送信する。入力はユーザの回答情報であり、出力はサーバへの転送である。具体的な動作としては、端末で「送信」ボタンを押し、データがサーバに送られる。

【0472】

ステップ７：

【0473】

サーバは、特徴解析手段で抽出された数値データと回答データを統合する。入力は数値化された動作データと回答データであり、出力は統合されたデータセットである。ここで、データの統合により総合的な解析が可能となる。

【0474】

ステップ８：

【0475】

サーバは、統合データを用いて生成AIモデルにより解析を行い、利用者の特性を評価する。入力は統合データセットであり、出力は評価結果としての提案である。具体例として、サーバは機械学習アルゴリズムで動作パターンを分析し、最適ポジションを推奨する。

【0476】

ステップ９：

【0477】

サーバは結果を端末に送信し、端末はユーザに最適なポジションを提示する。入力はサーバから送信された評価結果であり、出力はユーザへのフィードバック表示である。ユーザは、このフィードバックをもとにトレーニングを行うことができる。

【0478】

（応用例１）

【0479】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0480】

工場において複数の作業を担うロボットの効率性を向上させることが求められている。しかし、現状ではロボットごとに持つ最適な作業ポジションや役割を把握することが難しく、適材適所に配置することが課題である。これにより生産性が低下し、リソースの無駄遣いにつながる問題がある。

【0481】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0482】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力するデータ取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出するデータ解析手段と、利用者に質問を提示し、その回答を受け取る情報受付手段と、を含む。これにより、各ロボットが最も効率的に作業を行うための最適な役割やポジションを推奨することが可能となる。

【0483】

「データ取得手段」とは、利用者やロボットの動作を記録するための装置から映像信号を取得し、これを分析のためにサーバへ送信する役割を担うものである。

【0484】

「データ解析手段」とは、取得された映像信号に対して視覚データ認識アルゴリズムを用いて動作の特徴を抽出し、数値データとして分析する機能を持つものである。

【0485】

「情報受付手段」とは、利用者または管理者に対して質問を提示し、その回答情報を受け取り、適性評価に利用するデータとしてサーバへ送信する機能を持つものである。

【0486】

「適性評価手段」とは、データ解析手段より得られた特徴データと情報受付手段で取得した情報データを統合し、各ロボットにとって最も適した作業ポジションや役割を評価するシステムを指す。

【0487】

「役割提案手段」とは、適性評価手段で導き出された評価結果に基づいて、ロボットに最適な作業役割を提案し、配置や作業内容の改善を支援するプロセスである。

【0488】

このシステムは、工場におけるロボットの作業効率を最適化するために設計されたものである。まず、工場内のロボットにはカメラが取り付けられており、このカメラがロボットの動作を継続的に記録する。これにより、データ取得手段としての役割を果たす。

【0489】

サーバは、OpenCVなどの映像認識技術を用いて、取得した映像信号をフレームに分割し、各フレームの動作をデータ解析手段により処理する。この処理では、ロボットの動作特性や外見的特徴を数値データとして抽出する。さらに、サーバはTensorFlowやPyTorchといった機械学習フレームワークを用いて、データの解析を行う。

【0490】

情報受付手段として、管理者にはタブレットやPCが提供され、そこにサーバからの質問が提示される。管理者は、この質問に回答し、その内容がサーバに送られる。サーバは、この回答を活用して適性評価手段によりロボットの適性を評価する。

【0491】

その結果、役割提案手段によって最適なロボットの作業ポジションや役割が提案される。この情報は工場の管理システム上で確認することができる。

【0492】

例えば、組み立て作業と搬送作業の効率を向上させるために、特定のロボットが搬送作業に特化することが適性評価から推奨された場合、工場管理者はその提案に基づいてロボットの配置を変更することができる。

【0493】

生成AIモデルにおけるプロンプト文の例としては、「工場ロボットの動作データを基に、最も効率的な作業役割を提案してください。」が挙げられる。

【0494】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0495】

ステップ1：

【0496】

カメラを装備した工場ロボットが、作業中の自身の動作を映像として記録する。入力は、リアルタイムの映像データである。この映像データは後にデータ取得手段としてサーバにアップロードされる。

【0497】

ステップ2：

【0498】

サーバは、アップロードされた映像データをフレームごとに分割する。入力は映像データで、出力は各フレームに分割された静止画像の集まりである。サーバはこの分割されたフレームを用いて、OpenCVを使用して動作特性を抽出する準備を行う。

【0499】

ステップ3：

【0500】

サーバは、データ解析手段として、OpenCVを用いて各フレームからロボットの動作特性を数値データとして抽出する。入力は分割されたフレームで、出力は動作特性を示す数値データである。サーバはこの数値データを用いて後続の解析を行う。

【0501】

ステップ4：

【0502】

サーバは、TensorFlowまたはPyTorchなどの機械学習フレームワークを用いて数値データを解析する。入力は動作特性を示す数値データで、出力はロボットの適性評価に関連する解析結果である。サーバはこの解析結果に基づき、各ロボットの効率を評価する。

【0503】

ステップ5：

【0504】

端末（管理者のタブレットやPC）はサーバから送信された質問を表示し、管理者に回答を促すハードウェアとして機能する。入力はサーバからの質問データで、出力は管理者による回答データである。端末に対する具体的な動作は質問の提示と回答の受付である。

【0505】

ステップ6：

【0506】

サーバは、質問への回答データを用い、適性評価を実施する。入力は動作特性の解析結果と回答データであり、出力は評価済みの適性データである。サーバはこれらのデータに基づき最適な役割を計算する。

【0507】

ステップ7：

【0508】

サーバは、適性評価結果に基づいて生成AIモデルを活用し、最も効率的なロボットの役割を提案する。入力は適性データで、出力は提案された役割の情報である。サーバはこの情報を工場管理システムに送信する。

【0509】

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0510】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とし、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0511】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この動画は、ユーザの端末からネットワークを通じてサーバにアップロードされる。サーバは、上記のように受信した動画を解析することで、動作の特徴を抽出する。さらに、感情エンジンを用いて、ユーザの動画から顔や声による感情の変化も同時に認識する。これにより、動作だけでなく、プレー中の感情的側面も評価に取り込むことができる。

【0512】

並行して、ユーザはスポーツに関する質問に答える。このやりとりは端末上で行われ、質問フォームを通じてユーザからの詳細な回答がサーバに送信される。これらの回答は、ユーザの自己評価やプレースタイルについての情報を提供し、感情や動作データと組み合わせてさらなる分析の基礎となる。

【0513】

サーバは、動作特徴データ、感情状態データ、および質問回答データを組み合わせ、機械学習モデルを用いてユーザに最も適したポジションを評価する。この評価プロセスでは、感情データを特に考慮し、ユーザがどのポジションで最もポジティブな感情を持つかを分析する。これにより、ユーザの心理的なコンディションも取り入れたバランスの取れたポジション提案が可能となる。

【0514】

評価結果はサーバからユーザの端末に送信され、端末はそれをユーザに視覚的に提示する。具体例として、例えばサーバがユーザのプレー動画からストレスの高まりを検知し、それに応じて比較的リラックスして臨めるポジションを提案することで、ユーザはより集中してパフォーマンスを発揮することができる。

【0515】

このようにして、本システムは利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0516】

以下に、処理の流れについて説明する。

【0517】

ステップ１：

【0518】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画データを端末に保存する。次に、ユーザは端末のインターフェースを使用して、記録した動画をシステムのサーバにアップロードする操作を行う。サーバは受信した動画をストレージに保存する。

【0519】

ステップ２：

【0520】

サーバは、保存された動画を個別のフレームごとに処理し、画像認識アルゴリズムを用いて動作の特徴を抽出する。このプロセスでは、サーバがフレームごとの動作データ（例えば動作のスピード、体のアングル）を数値として抽出し、一時的にデータベースに保存する。

【0521】

ステップ３：

【0522】

サーバは更に、動画データからユーザの顔の表情や声のトーンを解析する感情エンジンを稼働させ、利用者の感情状態を認識する。認識された感情は、プレー時のストレスレベルや集中度を示す指標として抽出され、動作データと共に保存される。

【0523】

ステップ４：

【0524】

ユーザはスポーツ経験やプレースタイルに関する質問に回答する。端末は質問の入力フォームを表示し、ユーザはそこにコメントや選択肢を通じて回答を提供する。端末はこれらの回答をサーバに送信し、サーバはこれをデータベースに追加する。

【0525】

ステップ５：

【0526】

サーバは、動作特徴データ、感情データ、およびユーザの回答データを統合し、それらを機械学習モデルに入力してユーザの適性評価を行う。ここで、サーバはモデルを用いて各データセットを分析し、ユーザの身体的特性および感情的パフォーマンスに基づいた最適なスポーツポジションを特定する。

【0527】

ステップ６：

【0528】

サーバはモデルの実行結果から得られたポジション提案を生成し、ユーザの端末に送信する。端末はこのデータを受け取り、見やすい形式でユーザに提示する。ユーザはこの提案をレビューし、自らのトレーニング戦略を調整するための判断材料とすることができる。

【0529】

（実施例２）

【0530】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0531】

スポーツにおける利用者のポジション選定は、主に身体的な特性に基づくことが多く、感情状態や心理的コンディションを考慮した総合的な評価や提案が不足している。このため、利用者が実際により良いパフォーマンスを発揮できる最適なポジションを見つけるのが難しいという課題がある。

【0532】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0533】

この発明では、サーバは、利用者の動作を記録する撮影装置から取得された映像信号を入力する信号取得手段と、映像信号に基づいて利用者の動作の特徴を抽出する特徴抽出手段と、動画内の表情や音声から感情状態を識別する感情認識手段と、を含む。これにより、利用者の動作特性と感情状態の両方を考慮した最適なスポーツポジションの提案が可能となる。

【0534】

「信号取得手段」とは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する手段である。

【0535】

「特徴抽出手段」とは、映像信号に基づいて利用者の動作の特徴を抽出するための手段である。

【0536】

「感情認識手段」とは、利用者の動画内の表情や音声から感情状態を識別するための手段である。

【0537】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための手段である。

【0538】

「評価手段」とは、特徴データ、感情データ、および回答データを組み合わせて利用者の適性を評価するための手段である。

【0539】

「提案手段」とは、評価された適性に基づいて、生成AIモデルを用いて利用者に最適なスポーツポジションを提案するための手段である。

【0540】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とする、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。このシステムは、以下のように構成される。

【0541】

まず、ユーザは、スマートフォンやビデオカメラといった撮影装置を用いて、自分のスポーツプレーを動画形式で記録する。記録された動画は、ユーザの端末に保存された後、ネットワークを通じてサーバにアップロードされる。サーバは、この映像信号を取得し、映像認識技術を用いて動作の特徴を抽出する。この処理には、オープンソースの映像解析ライブラリであるOpenCVが使用される。また、サーバは、Google Cloudの感情分析APIなどを用いて動画内のユーザの表情や声を解析し、感情状態を認識する。

【0542】

次に、ユーザは端末上でスポーツに関する質問に答え、その回答データがサーバに送信される。この質問回答データは、ユーザの自己評価やプレースタイルに関する詳細な情報を提供し、感情と動作のデータと組み合わせてさらなる分析の基礎となる。

【0543】

サーバは、これらのデータを統合し、生成AIモデルを用いてユーザに最も適したスポーツポジションを評価する。この評価プロセスでは、ユーザの感情データを特に考慮し、心理的コンディションを反映させたバランスの取れたポジション提案を行うことが可能である。具体例として、サーバがユーザのプレー動画からストレスの高まりを検知し、それに応じてユーザにリラックスできるポジションを提案することが挙げられる。

【0544】

評価結果はサーバからユーザの端末に送信され、視覚的に提示される。ここでのプロンプト文の例としては、「ユーザの動画から抽出された動作データと感情データを基に、最適なポジションを提案せよ」という指令が挙げられる。このようにしてシステムは、利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0545】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0546】

ステップ1：

【0547】

ユーザは、スマートフォンやビデオカメラを使用して、自分のスポーツプレーを動画形式で記録する。入力としては、ユーザがプレーする動作そのものが挙げられ、出力としては記録された動画データが得られる。この動作には、端末のカメラ機能を利用して撮影を開始し、所定のプレーを撮影する作業が含まれる。

【0548】

ステップ2：

【0549】

ユーザは、記録した動画データを自分の端末からインターネットを通じてサーバにアップロードする。入力としてはユーザの端末に保存された動画データがあり、出力としては、その動画がサーバに送信される。この作業には、アプリケーション内の「アップロード」ボタンを押し、サーバとの接続を確立する動きが含まれる。

【0550】

ステップ3：

【0551】

サーバは、アップロードされた動画データを受信し、映像認識技術を用いて動作の特徴を抽出する。入力としては動画データがあり、出力としては動作の特徴データが生成される。具体的には、OpenCVライブラリを使用して体の動きを解析し、関節の位置や動きのパターンを計算する動作が含まれる。

【0552】

ステップ4：

【0553】

サーバは、感情認識手段を用いて、動画内のユーザの表情や声から感情状態を識別する。入力としては動画データがあり、出力として感情状態データが得られる。具体的には、感情分析APIを使用して表情の変化や声のトーンを解析し、感情の種類を特定する動作が含まれる。

【0554】

ステップ5：

【0555】

ユーザは、自分の端末上でスポーツに関する質問フォームに答え、その回答をサーバに送信する。入力としてはユーザの回答があり、出力としては回答データがサーバに転送される。具体的な動作としては、フォームに情報を入力し、「送信」を押すことを含む。

【0556】

ステップ6：

【0557】

サーバは、動作特徴データ、感情状態データ、およびユーザからの質問回答データを統合して分析する。ここで入力としては、これらのデータが含まれ、出力として統合された分析結果が得られる。生成AIモデルを用いて、これらの情報を解析し、ユーザに最適なポジションを評価する動作を含む。

【0558】

ステップ7：

【0559】

サーバは、評価結果をユーザの端末に送信し、端末はその結果を視覚的に提示する。入力としては、分析結果が含まれ、出力としては、ユーザが閲覧できる評価結果が端末上に表示される。この動作には、「結果を見る」ボタンを押すことで評価詳細を表示する機能が含まれる。

【0560】

（応用例２）

【0561】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0562】

従来の工場作業においては、作業員の動作のみならず、感情の変化を考慮しつつ最適な作業ポジションを提案することができず、作業効率の低下や心理的負担の増加が課題となっていた。作業環境において、作業員の身体的および精神的状態を総合的に評価し、最も効果的でストレスの少ない作業位置及びタスクを推奨するシステムが求められている。

【0563】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0564】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、利用者の感情を認識し、感情データを生成する感情認識手段と、を含む。これにより、利用者の動作及び感情をリアルタイムで解析し、最適な作業ポジション及びタスクを提案することが可能となる。

【0565】

「信号取得手段」とは、撮影装置から取得された映像信号をシステム内に入力する機能を有する装置やモジュールである。

【0566】

「特徴抽出手段」とは、取得した映像信号を解析し、利用者の動作の種類や体格の特徴を抽出する機能を有する装置やシステムである。

【0567】

「感情認識手段」とは、音声分析や表情分析を用いて利用者の感情状態を認識し、感情データを生成する機能を有する装置やシステムである。

【0568】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための機能を有する装置やモジュールである。

【0569】

「評価手段」とは、特徴抽出手段によって得られた特徴データと、感情認識手段によって生成された感情データ、および回答受付手段によって受け取られた回答データを組み合わせて、利用者の適性を評価する機能を有する装置やモジュールである。

【0570】

「提案手段」とは、評価手段によって評価された適性に基づいて、利用者に最適な作業ポジションやタスクを提案する機能を有する装置やシステムである。

【0571】

この発明を実施するためのシステムは、ユーザの動作と感情状態をリアルタイムで解析し、最適な作業ポジションやタスクを提案する機能を有する。サーバは、ユーザの端末から送信される映像信号を信号取得手段を通じて受信し、それを解析することで動作の特徴を抽出する。さらに、感情認識手段を用いることで、ユーザの顔や音声から感情を認識し、感情データを生成する。

【0572】

端末は、ユーザに対して作業に関する質問を提示し、回答受付手段を通じて回答を受け取る。この回答と、特徴抽出手段及び感情認識手段によって得られたデータを組み合わせることで、サーバ内の評価手段が総合的な適性評価を行い、評価結果を利用して提案手段が最適な作業ポジションやタスクを提案する。このシステムは、ユーザの動作パターンと感情状態を反映した、よりバランスのとれたタスク配置や作業環境の提供を可能にする。

【0573】

例えば、製造業の現場である作業員が長時間立ち仕事をしている状況を考える。このシステムが利用者の疲労やストレスをリアルタイムで検知し、それに基づいて彼に最適なポジションと比較的軽めのタスクを提案することができる。これにより、作業員の負荷を軽減しつつ、生産性を維持することが可能である。

【0574】

プロンプト文の例として、「現在の感情状態に基づき、作業者に適切なタスクやポジションはどれか？」などが挙げられる。このプロンプト文に基づいて生成AIモデルが評価を行い、提案を生成する。

【0575】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0576】

ステップ１：

【0577】

サーバは、ユーザの端末から送信された映像信号を信号取得手段を使用して受信する。入力として映像信号が提供され、これを基に動作解析のための前処理を行う。この前処理では、映像のノイズを除去し、解析可能な形式に変換する。

【0578】

ステップ２：

【0579】

処理された映像データを使用して、サーバの特徴抽出手段が動作の特徴を抽出する。入力として前処理済みの映像データが使用され、出力にはユーザの動作パターンが生成される。具体的には、運動の種類や頻度、体の動きの軌跡などをアルゴリズムにより解析する。

【0580】

ステップ３：

【0581】

同時に、サーバの感情認識手段が映像内のユーザの顔や音声を分析して感情データを生成する。入力として、音声と顔の特徴データが用いられる。表情や声のトーンを基に、例えば満足、不満、ストレスなどの感情を認識する。

【0582】

ステップ４：

【0583】

端末はユーザに対して特定の作業に関する質問を提示し、回答受付手段を通じてユーザの回答を受け取る。入力にはユーザが端末上で選択した回答が含まれ、これをそのままサーバへ転送する。質問はユーザの経験や快適度合いについてであることが多い。

【0584】

ステップ５：

【0585】

サーバは、特徴抽出手段と感情認識手段によって得られたデータ、およびユーザの回答データを評価手段を用いて統合し、ユーザの適性を評価する。入力には全ての収集データが含まれ、出力としてはユーザに最適な作業ポジションやタスクの推奨結果が作成される。

【0586】

ステップ６：

【0587】

評価結果に基づき、サーバの提案手段が生成AIモデルを使用してユーザに最適な作業ポジションやタスクを提案するプロンプト文を生成する。出力は、具体的な作業場所の提案やユーザへの指示が含まれ、端末を通じてユーザに提示される。

【0588】

特定処理部２９０は、特定処理の結果をヘッドセット型端末３１４に送信する。ヘッドセット型端末３１４では、制御部４６Ａが、スピーカ２４０及びディスプレイ３４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0589】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0590】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ヘッドセット型端末３１４によって特定処理が行われるようにしてもよい。

【0591】

［第４実施形態］

【0592】

図７には、第４実施形態に係るデータ処理システム４１０の構成の一例が示されている。

【0593】

図７に示すように、データ処理システム４１０は、データ処理装置１２及びロボット４１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0594】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0595】

ロボット４１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及び制御対象４４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び制御対象４４３も、バス５２に接続されている。

【0596】

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

【0597】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0598】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

【0599】

制御対象４４３は、表示装置、目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット４１４の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット４１４の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット４１４の目部のＬＥＤの発光状態を制御することによっても、ロボット４１４の表情を表現できる。

【0600】

図８には、データ処理装置１２及びロボット４１４の要部機能の一例が示されている。図８に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

【0601】

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

【0602】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0603】

ロボット４１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0604】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0605】

本システムは、利用者のスポーツプレーを最適なポジションで行うための支援を目的としており、映像認識技術と機械学習を駆使したスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0606】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ネットワークを介して端末からサーバにアップロードする。サーバは、受け取った動画を処理し、動作解析を行う。具体的には、サーバは動画をフレームに分割し、画像認識技術を用いて各フレームごとの動作を数値データとして抽出する。この特徴データは、ユーザの動作や体格、フォームなどを詳細に分析するために役立つ。

【0607】

同時に、ユーザは端末を通じて、利用者のスポーツへの経験、プレースタイル、得意な動作などを質問形式で回答することが求められる。端末は、これらの回答をサーバに送信する。この質問応答データにより、ユーザの主観的な情報と客観的なデータが統合される。

【0608】

サーバは、特徴データと質問応答データを組み合わせ、これらの情報を基に機械学習モデルを使用してユーザに適したポジションを評価する。過去のデータベースから得られたスポーツ選手のデータと比較し、適性評価を行う。これにより、ユーザの動作スタイルや特性に最も適したポジションを推奨することが可能となる。

【0609】

推奨結果は、サーバからユーザの端末に送信され、端末はこれをユーザーに表示する。ユーザは、提案された結果を確認し、新たに評価されたポジションでのプレーに向けた練習やトレーニングに活用できる。例えば、サーバがユーザの投球動作と走力を重視した結果、最適なポジションとして外野手を推奨した場合、ユーザはそのフィードバックを元に外野手としての適性を磨くことができる。

【0610】

このようにして、本システムは利用者の潜在能力を最大限に引き出し、スポーツにおけるプレースタイルの改善と最適化をサポートする。

【0611】

以下に、処理の流れについて説明する。

【0612】

ステップ１：

【0613】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画ファイルを端末に保存する。端末のインターフェースを使用して、記録した動画をサーバにアップロードする。サーバはアップロードされた動画ファイルを受信し、ストレージに保存する。

【0614】

ステップ２：

【0615】

サーバは、保存した動画をフレームごとに分割し、それぞれのフレームについて画像認識アルゴリズムを適用することで、動作の特徴を抽出する。この過程で、サーバは利用者の姿勢や動作速度、角度などの情報を数値データとして収集する。抽出されたデータは一時的に保存される。

【0616】

ステップ３：

【0617】

ユーザはスポーツ体験に関する質問に回答することを求められる。端末は、質問フォームを表示し、ユーザは自身の経験、プレースタイル、得意な動作について情報を入力する。端末はこれらの回答をサーバに送信する。

【0618】

ステップ４：

【0619】

サーバは、フレームから抽出された画像認識の特徴データと、ユーザが回答した質問データを受け取り、これらのデータを統合する。サーバは、データを機械学習モデルに適した形に整えるための前処理を行う。

【0620】

ステップ５：

【0621】

サーバが、整えられたデータを機械学習モデルに入力し、ユーザの適性を評価するプロセスを開始する。モデルは、影響力のある特徴を分析し、過去のデータと照らし合わせて最適なポジションを推奨するための計算を行う。

【0622】

ステップ６：

【0623】

サーバが、機械学習の結果として得られた最適なスポーツポジションをユーザに送信する。ユーザの端末は、その情報を受け取り、視覚的に魅力的な形で結果を表示する。ユーザはこの情報を基に、トレーニングを調整し、提案されたポジションに適応するための計画を立てる。

【0624】

（実施例１）

【0625】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0626】

現代のスポーツ環境において、利用者の特性に基づいた最適なプレーポジションを迅速かつ正確に見極めることは難しい課題である。従来の方法は、主観的な評価に頼ることが多く、客観的かつデータに基づく分析が不足しているため、利用者の潜在能力を十分に引き出せないことがある。

【0627】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0628】

この発明では、サーバは、データ取得手段と、特徴解析手段と、情報収集手段と、を含む。これにより、ユーザの動作特性や主観的情報を統合して評価し、最適な運動位置を客観的に推奨することが可能となる。

【0629】

「データ取得手段」とは、ユーザの動作を記録する撮影装置から取得された映像データを入力する機能である。

【0630】

「特徴解析手段」とは、映像データをフレームごとに分割し、各フレームごとの動作を数値データとして抽出する機能である。

【0631】

「情報収集手段」とは、ユーザに質問を提示し、その回答をデジタル形式で受け取る機能である。

【0632】

「分析手段」とは、特徴解析手段により抽出された数値データと情報収集手段により受け取られた回答データを統合し、ユーザの特性を評価する機能である。

【0633】

「推奨手段」とは、分析手段による評価結果に基づいて、ユーザに最適な運動位置を推奨する機能である。

【0634】

本発明は、利用者の動作特性をデータに基づいて分析し、最適なスポーツポジションを提案するシステムである。以下に、本システムの具体的な実施形態を示す。

【0635】

システム構成:

【0636】

システムは主にサーバ、端末、ユーザの操作により構成される。ユーザは、撮影装置（例えば、スマートフォンや専用カメラ）を用いて自身のスポーツプレーを動画形式で記録する。この記録した動画を、ユーザは端末を介してサーバにアップロードする。サーバは、受け取った動画をフレームごとに分割し、特徴解析手段として画像認識技術を用いて各フレームごとの動作を数値データとして抽出・解析する。特に、ディープラーニングライブラリやコンピュータビジョンモデルを利用することが考えられる。

【0637】

データ収集:

【0638】

ユーザは、端末を通じて、自身のスポーツ経験や得意なプレースタイルに関する質問に回答する。これらの情報は、デジタル形式で端末に入力され、その後サーバに送信される。サーバは、この情報収集手段を通じて多数の質問応答データを集約する。

【0639】

データ統合と分析:

【0640】

サーバは、特徴解析手段で抽出された数値データと、情報収集手段で収集された質問応答データを統合する。これによって得られたデータセットを基に、分析手段として機械学習技術を用いてユーザの特性を客観的に評価する。生成AIモデルは、過去のスポーツ選手のデータベースと比較し、利用者に最適なスポーツポジションを推奨する。

【0641】

結果の提示:

【0642】

評価結果に基づいて、サーバは推奨手段を活用し、利用者に最適なスポーツポジションを端末に提示する。端末はユーザにフィードバックを表示し、具体的なトレーニング方針を示すことができる。

【0643】

具体例:

【0644】

例えば、サーバがユーザの動画データを分析した結果、ピッチング動作と優れた走力を重視して「外野手」が最適であると推奨した場合、ユーザはこの評価に基づきトレーニングを行うことができる。

【0645】

生成AIモデルへのプロンプト文例:

【0646】

「ユーザの動画データから投球および走力の評価を行い、適したスポーツのポジションを推奨してください。」

【0647】

「経験やプレースタイルを考慮し、最も適したポジションを選定してください。」

【0648】

この発明により、スポーツパフォーマンスを最大限に引き出すための的確なアプローチを提供できる。

【0649】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0650】

ステップ１：

【0651】

ユーザは、撮影装置を用いて自身のスポーツプレーを動画形式で記録する。入力はユーザの動作であり、出力として動画データが生成される。具体的には、ユーザはスマートフォンを使用して、自身のサッカーのドリブル動作を撮影する。

【0652】

ステップ２：

【0653】

端末は、動画データをサーバにアップロードする。入力は動画データであり、出力はネットワーク経由でサーバへのデータ転送である。具体例として、専用アプリケーションで「アップロード」ボタンを押し、動画がサーバへ送信される。

【0654】

ステップ３：

【0655】

サーバは、受信した動画をフレームごとに分割する。入力はサーバに転送された動画データであり、出力は画像フレームの一連のデータセットである。具体的には、サーバは1秒あたり30フレームに動画を分割し、各フレームの静止画像を生成する。

【0656】

ステップ４：

【0657】

サーバは、動画の各フレームを解析し、特徴解析手段として画像認識技術を使用して動作特性を抽出する。入力は画像フレームデータであり、出力として各フレームの動作を数値データとして得る。具体的には、サーバは足の位置や身体の角度などを検出し、これらを数値化する。

【0658】

ステップ５：

【0659】

ユーザは、端末を通じてスポーツ経験や得意なプレースタイルに関する質問に回答する。入力はユーザによる回答データであり、出力として構造化された応答情報が生成される。具体的には、アンケート形式で「あなたの得意な動きは何ですか？」という質問に答える。

【0660】

ステップ６：

【0661】

端末は、ユーザの回答データをサーバに送信する。入力はユーザの回答情報であり、出力はサーバへの転送である。具体的な動作としては、端末で「送信」ボタンを押し、データがサーバに送られる。

【0662】

ステップ７：

【0663】

サーバは、特徴解析手段で抽出された数値データと回答データを統合する。入力は数値化された動作データと回答データであり、出力は統合されたデータセットである。ここで、データの統合により総合的な解析が可能となる。

【0664】

ステップ８：

【0665】

サーバは、統合データを用いて生成AIモデルにより解析を行い、利用者の特性を評価する。入力は統合データセットであり、出力は評価結果としての提案である。具体例として、サーバは機械学習アルゴリズムで動作パターンを分析し、最適ポジションを推奨する。

【0666】

ステップ９：

【0667】

サーバは結果を端末に送信し、端末はユーザに最適なポジションを提示する。入力はサーバから送信された評価結果であり、出力はユーザへのフィードバック表示である。ユーザは、このフィードバックをもとにトレーニングを行うことができる。

【0668】

（応用例１）

【0669】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0670】

工場において複数の作業を担うロボットの効率性を向上させることが求められている。しかし、現状ではロボットごとに持つ最適な作業ポジションや役割を把握することが難しく、適材適所に配置することが課題である。これにより生産性が低下し、リソースの無駄遣いにつながる問題がある。

【0671】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0672】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力するデータ取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出するデータ解析手段と、利用者に質問を提示し、その回答を受け取る情報受付手段と、を含む。これにより、各ロボットが最も効率的に作業を行うための最適な役割やポジションを推奨することが可能となる。

【0673】

「データ取得手段」とは、利用者やロボットの動作を記録するための装置から映像信号を取得し、これを分析のためにサーバへ送信する役割を担うものである。

【0674】

「データ解析手段」とは、取得された映像信号に対して視覚データ認識アルゴリズムを用いて動作の特徴を抽出し、数値データとして分析する機能を持つものである。

【0675】

「情報受付手段」とは、利用者または管理者に対して質問を提示し、その回答情報を受け取り、適性評価に利用するデータとしてサーバへ送信する機能を持つものである。

【0676】

「適性評価手段」とは、データ解析手段より得られた特徴データと情報受付手段で取得した情報データを統合し、各ロボットにとって最も適した作業ポジションや役割を評価するシステムを指す。

【0677】

「役割提案手段」とは、適性評価手段で導き出された評価結果に基づいて、ロボットに最適な作業役割を提案し、配置や作業内容の改善を支援するプロセスである。

【0678】

このシステムは、工場におけるロボットの作業効率を最適化するために設計されたものである。まず、工場内のロボットにはカメラが取り付けられており、このカメラがロボットの動作を継続的に記録する。これにより、データ取得手段としての役割を果たす。

【0679】

サーバは、OpenCVなどの映像認識技術を用いて、取得した映像信号をフレームに分割し、各フレームの動作をデータ解析手段により処理する。この処理では、ロボットの動作特性や外見的特徴を数値データとして抽出する。さらに、サーバはTensorFlowやPyTorchといった機械学習フレームワークを用いて、データの解析を行う。

【0680】

情報受付手段として、管理者にはタブレットやPCが提供され、そこにサーバからの質問が提示される。管理者は、この質問に回答し、その内容がサーバに送られる。サーバは、この回答を活用して適性評価手段によりロボットの適性を評価する。

【0681】

その結果、役割提案手段によって最適なロボットの作業ポジションや役割が提案される。この情報は工場の管理システム上で確認することができる。

【0682】

例えば、組み立て作業と搬送作業の効率を向上させるために、特定のロボットが搬送作業に特化することが適性評価から推奨された場合、工場管理者はその提案に基づいてロボットの配置を変更することができる。

【0683】

生成AIモデルにおけるプロンプト文の例としては、「工場ロボットの動作データを基に、最も効率的な作業役割を提案してください。」が挙げられる。

【0684】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0685】

ステップ1：

【0686】

カメラを装備した工場ロボットが、作業中の自身の動作を映像として記録する。入力は、リアルタイムの映像データである。この映像データは後にデータ取得手段としてサーバにアップロードされる。

【0687】

ステップ2：

【0688】

サーバは、アップロードされた映像データをフレームごとに分割する。入力は映像データで、出力は各フレームに分割された静止画像の集まりである。サーバはこの分割されたフレームを用いて、OpenCVを使用して動作特性を抽出する準備を行う。

【0689】

ステップ3：

【0690】

サーバは、データ解析手段として、OpenCVを用いて各フレームからロボットの動作特性を数値データとして抽出する。入力は分割されたフレームで、出力は動作特性を示す数値データである。サーバはこの数値データを用いて後続の解析を行う。

【0691】

ステップ4：

【0692】

サーバは、TensorFlowまたはPyTorchなどの機械学習フレームワークを用いて数値データを解析する。入力は動作特性を示す数値データで、出力はロボットの適性評価に関連する解析結果である。サーバはこの解析結果に基づき、各ロボットの効率を評価する。

【0693】

ステップ5：

【0694】

端末（管理者のタブレットやPC）はサーバから送信された質問を表示し、管理者に回答を促すハードウェアとして機能する。入力はサーバからの質問データで、出力は管理者による回答データである。端末に対する具体的な動作は質問の提示と回答の受付である。

【0695】

ステップ6：

【0696】

サーバは、質問への回答データを用い、適性評価を実施する。入力は動作特性の解析結果と回答データであり、出力は評価済みの適性データである。サーバはこれらのデータに基づき最適な役割を計算する。

【0697】

ステップ7：

【0698】

サーバは、適性評価結果に基づいて生成AIモデルを活用し、最も効率的なロボットの役割を提案する。入力は適性データで、出力は提案された役割の情報である。サーバはこの情報を工場管理システムに送信する。

【0699】

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0700】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とし、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。以下に本発明を実施するための形態を詳細に説明する。

【0701】

ユーザは、まず撮影装置を用いて自身のスポーツプレーを動画形式で記録する。この動画は、ユーザの端末からネットワークを通じてサーバにアップロードされる。サーバは、上記のように受信した動画を解析することで、動作の特徴を抽出する。さらに、感情エンジンを用いて、ユーザの動画から顔や声による感情の変化も同時に認識する。これにより、動作だけでなく、プレー中の感情的側面も評価に取り込むことができる。

【0702】

並行して、ユーザはスポーツに関する質問に答える。このやりとりは端末上で行われ、質問フォームを通じてユーザからの詳細な回答がサーバに送信される。これらの回答は、ユーザの自己評価やプレースタイルについての情報を提供し、感情や動作データと組み合わせてさらなる分析の基礎となる。

【0703】

サーバは、動作特徴データ、感情状態データ、および質問回答データを組み合わせ、機械学習モデルを用いてユーザに最も適したポジションを評価する。この評価プロセスでは、感情データを特に考慮し、ユーザがどのポジションで最もポジティブな感情を持つかを分析する。これにより、ユーザの心理的なコンディションも取り入れたバランスの取れたポジション提案が可能となる。

【0704】

評価結果はサーバからユーザの端末に送信され、端末はそれをユーザに視覚的に提示する。具体例として、例えばサーバがユーザのプレー動画からストレスの高まりを検知し、それに応じて比較的リラックスして臨めるポジションを提案することで、ユーザはより集中してパフォーマンスを発揮することができる。

【0705】

このようにして、本システムは利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0706】

以下に、処理の流れについて説明する。

【0707】

ステップ１：

【0708】

ユーザは自身のスポーツプレーを撮影装置で記録し、その動画データを端末に保存する。次に、ユーザは端末のインターフェースを使用して、記録した動画をシステムのサーバにアップロードする操作を行う。サーバは受信した動画をストレージに保存する。

【0709】

ステップ２：

【0710】

サーバは、保存された動画を個別のフレームごとに処理し、画像認識アルゴリズムを用いて動作の特徴を抽出する。このプロセスでは、サーバがフレームごとの動作データ（例えば動作のスピード、体のアングル）を数値として抽出し、一時的にデータベースに保存する。

【0711】

ステップ３：

【0712】

サーバは更に、動画データからユーザの顔の表情や声のトーンを解析する感情エンジンを稼働させ、利用者の感情状態を認識する。認識された感情は、プレー時のストレスレベルや集中度を示す指標として抽出され、動作データと共に保存される。

【0713】

ステップ４：

【0714】

ユーザはスポーツ経験やプレースタイルに関する質問に回答する。端末は質問の入力フォームを表示し、ユーザはそこにコメントや選択肢を通じて回答を提供する。端末はこれらの回答をサーバに送信し、サーバはこれをデータベースに追加する。

【0715】

ステップ５：

【0716】

サーバは、動作特徴データ、感情データ、およびユーザの回答データを統合し、それらを機械学習モデルに入力してユーザの適性評価を行う。ここで、サーバはモデルを用いて各データセットを分析し、ユーザの身体的特性および感情的パフォーマンスに基づいた最適なスポーツポジションを特定する。

【0717】

ステップ６：

【0718】

サーバはモデルの実行結果から得られたポジション提案を生成し、ユーザの端末に送信する。端末はこのデータを受け取り、見やすい形式でユーザに提示する。ユーザはこの提案をレビューし、自らのトレーニング戦略を調整するための判断材料とすることができる。

【0719】

（実施例２）

【0720】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0721】

スポーツにおける利用者のポジション選定は、主に身体的な特性に基づくことが多く、感情状態や心理的コンディションを考慮した総合的な評価や提案が不足している。このため、利用者が実際により良いパフォーマンスを発揮できる最適なポジションを見つけるのが難しいという課題がある。

【0722】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0723】

この発明では、サーバは、利用者の動作を記録する撮影装置から取得された映像信号を入力する信号取得手段と、映像信号に基づいて利用者の動作の特徴を抽出する特徴抽出手段と、動画内の表情や音声から感情状態を識別する感情認識手段と、を含む。これにより、利用者の動作特性と感情状態の両方を考慮した最適なスポーツポジションの提案が可能となる。

【0724】

「信号取得手段」とは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する手段である。

【0725】

「特徴抽出手段」とは、映像信号に基づいて利用者の動作の特徴を抽出するための手段である。

【0726】

「感情認識手段」とは、利用者の動画内の表情や音声から感情状態を識別するための手段である。

【0727】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための手段である。

【0728】

「評価手段」とは、特徴データ、感情データ、および回答データを組み合わせて利用者の適性を評価するための手段である。

【0729】

「提案手段」とは、評価された適性に基づいて、生成AIモデルを用いて利用者に最適なスポーツポジションを提案するための手段である。

【0730】

本発明は、利用者のスポーツプレーを最適なポジションで行うための支援を目的とする、映像認識技術および感情認識技術を駆使した総合的なスポーツ適性評価システムである。このシステムは、以下のように構成される。

【0731】

まず、ユーザは、スマートフォンやビデオカメラといった撮影装置を用いて、自分のスポーツプレーを動画形式で記録する。記録された動画は、ユーザの端末に保存された後、ネットワークを通じてサーバにアップロードされる。サーバは、この映像信号を取得し、映像認識技術を用いて動作の特徴を抽出する。この処理には、オープンソースの映像解析ライブラリであるOpenCVが使用される。また、サーバは、Google Cloudの感情分析APIなどを用いて動画内のユーザの表情や声を解析し、感情状態を認識する。

【0732】

次に、ユーザは端末上でスポーツに関する質問に答え、その回答データがサーバに送信される。この質問回答データは、ユーザの自己評価やプレースタイルに関する詳細な情報を提供し、感情と動作のデータと組み合わせてさらなる分析の基礎となる。

【0733】

サーバは、これらのデータを統合し、生成AIモデルを用いてユーザに最も適したスポーツポジションを評価する。この評価プロセスでは、ユーザの感情データを特に考慮し、心理的コンディションを反映させたバランスの取れたポジション提案を行うことが可能である。具体例として、サーバがユーザのプレー動画からストレスの高まりを検知し、それに応じてユーザにリラックスできるポジションを提案することが挙げられる。

【0734】

評価結果はサーバからユーザの端末に送信され、視覚的に提示される。ここでのプロンプト文の例としては、「ユーザの動画から抽出された動作データと感情データを基に、最適なポジションを提案せよ」という指令が挙げられる。このようにしてシステムは、利用者の身体的特性と感情的要素の両方を考慮し、スポーツにおけるプレースタイルの改善と最適化を強力にサポートする。

【0735】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0736】

ステップ1：

【0737】

ユーザは、スマートフォンやビデオカメラを使用して、自分のスポーツプレーを動画形式で記録する。入力としては、ユーザがプレーする動作そのものが挙げられ、出力としては記録された動画データが得られる。この動作には、端末のカメラ機能を利用して撮影を開始し、所定のプレーを撮影する作業が含まれる。

【0738】

ステップ2：

【0739】

ユーザは、記録した動画データを自分の端末からインターネットを通じてサーバにアップロードする。入力としてはユーザの端末に保存された動画データがあり、出力としては、その動画がサーバに送信される。この作業には、アプリケーション内の「アップロード」ボタンを押し、サーバとの接続を確立する動きが含まれる。

【0740】

ステップ3：

【0741】

サーバは、アップロードされた動画データを受信し、映像認識技術を用いて動作の特徴を抽出する。入力としては動画データがあり、出力としては動作の特徴データが生成される。具体的には、OpenCVライブラリを使用して体の動きを解析し、関節の位置や動きのパターンを計算する動作が含まれる。

【0742】

ステップ4：

【0743】

サーバは、感情認識手段を用いて、動画内のユーザの表情や声から感情状態を識別する。入力としては動画データがあり、出力として感情状態データが得られる。具体的には、感情分析APIを使用して表情の変化や声のトーンを解析し、感情の種類を特定する動作が含まれる。

【0744】

ステップ5：

【0745】

ユーザは、自分の端末上でスポーツに関する質問フォームに答え、その回答をサーバに送信する。入力としてはユーザの回答があり、出力としては回答データがサーバに転送される。具体的な動作としては、フォームに情報を入力し、「送信」を押すことを含む。

【0746】

ステップ6：

【0747】

サーバは、動作特徴データ、感情状態データ、およびユーザからの質問回答データを統合して分析する。ここで入力としては、これらのデータが含まれ、出力として統合された分析結果が得られる。生成AIモデルを用いて、これらの情報を解析し、ユーザに最適なポジションを評価する動作を含む。

【0748】

ステップ7：

【0749】

サーバは、評価結果をユーザの端末に送信し、端末はその結果を視覚的に提示する。入力としては、分析結果が含まれ、出力としては、ユーザが閲覧できる評価結果が端末上に表示される。この動作には、「結果を見る」ボタンを押すことで評価詳細を表示する機能が含まれる。

【0750】

（応用例２）

【0751】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0752】

従来の工場作業においては、作業員の動作のみならず、感情の変化を考慮しつつ最適な作業ポジションを提案することができず、作業効率の低下や心理的負担の増加が課題となっていた。作業環境において、作業員の身体的および精神的状態を総合的に評価し、最も効果的でストレスの少ない作業位置及びタスクを推奨するシステムが求められている。

【0753】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0754】

この発明では、サーバは、利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、利用者の感情を認識し、感情データを生成する感情認識手段と、を含む。これにより、利用者の動作及び感情をリアルタイムで解析し、最適な作業ポジション及びタスクを提案することが可能となる。

【0755】

「信号取得手段」とは、撮影装置から取得された映像信号をシステム内に入力する機能を有する装置やモジュールである。

【0756】

「特徴抽出手段」とは、取得した映像信号を解析し、利用者の動作の種類や体格の特徴を抽出する機能を有する装置やシステムである。

【0757】

「感情認識手段」とは、音声分析や表情分析を用いて利用者の感情状態を認識し、感情データを生成する機能を有する装置やシステムである。

【0758】

「回答受付手段」とは、利用者に質問を提示し、その回答を受け取るための機能を有する装置やモジュールである。

【0759】

「評価手段」とは、特徴抽出手段によって得られた特徴データと、感情認識手段によって生成された感情データ、および回答受付手段によって受け取られた回答データを組み合わせて、利用者の適性を評価する機能を有する装置やモジュールである。

【0760】

「提案手段」とは、評価手段によって評価された適性に基づいて、利用者に最適な作業ポジションやタスクを提案する機能を有する装置やシステムである。

【0761】

この発明を実施するためのシステムは、ユーザの動作と感情状態をリアルタイムで解析し、最適な作業ポジションやタスクを提案する機能を有する。サーバは、ユーザの端末から送信される映像信号を信号取得手段を通じて受信し、それを解析することで動作の特徴を抽出する。さらに、感情認識手段を用いることで、ユーザの顔や音声から感情を認識し、感情データを生成する。

【0762】

端末は、ユーザに対して作業に関する質問を提示し、回答受付手段を通じて回答を受け取る。この回答と、特徴抽出手段及び感情認識手段によって得られたデータを組み合わせることで、サーバ内の評価手段が総合的な適性評価を行い、評価結果を利用して提案手段が最適な作業ポジションやタスクを提案する。このシステムは、ユーザの動作パターンと感情状態を反映した、よりバランスのとれたタスク配置や作業環境の提供を可能にする。

【0763】

例えば、製造業の現場である作業員が長時間立ち仕事をしている状況を考える。このシステムが利用者の疲労やストレスをリアルタイムで検知し、それに基づいて彼に最適なポジションと比較的軽めのタスクを提案することができる。これにより、作業員の負荷を軽減しつつ、生産性を維持することが可能である。

【0764】

プロンプト文の例として、「現在の感情状態に基づき、作業者に適切なタスクやポジションはどれか？」などが挙げられる。このプロンプト文に基づいて生成AIモデルが評価を行い、提案を生成する。

【0765】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0766】

ステップ１：

【0767】

サーバは、ユーザの端末から送信された映像信号を信号取得手段を使用して受信する。入力として映像信号が提供され、これを基に動作解析のための前処理を行う。この前処理では、映像のノイズを除去し、解析可能な形式に変換する。

【0768】

ステップ２：

【0769】

処理された映像データを使用して、サーバの特徴抽出手段が動作の特徴を抽出する。入力として前処理済みの映像データが使用され、出力にはユーザの動作パターンが生成される。具体的には、運動の種類や頻度、体の動きの軌跡などをアルゴリズムにより解析する。

【0770】

ステップ３：

【0771】

同時に、サーバの感情認識手段が映像内のユーザの顔や音声を分析して感情データを生成する。入力として、音声と顔の特徴データが用いられる。表情や声のトーンを基に、例えば満足、不満、ストレスなどの感情を認識する。

【0772】

ステップ４：

【0773】

端末はユーザに対して特定の作業に関する質問を提示し、回答受付手段を通じてユーザの回答を受け取る。入力にはユーザが端末上で選択した回答が含まれ、これをそのままサーバへ転送する。質問はユーザの経験や快適度合いについてであることが多い。

【0774】

ステップ５：

【0775】

サーバは、特徴抽出手段と感情認識手段によって得られたデータ、およびユーザの回答データを評価手段を用いて統合し、ユーザの適性を評価する。入力には全ての収集データが含まれ、出力としてはユーザに最適な作業ポジションやタスクの推奨結果が作成される。

【0776】

ステップ６：

【0777】

評価結果に基づき、サーバの提案手段が生成AIモデルを使用してユーザに最適な作業ポジションやタスクを提案するプロンプト文を生成する。出力は、具体的な作業場所の提案やユーザへの指示が含まれ、端末を通じてユーザに提示される。

【0778】

特定処理部２９０は、特定処理の結果をロボット４１４に送信する。ロボット４１４では、制御部４６Ａが、スピーカ２４０及び制御対象４４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0779】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0780】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ロボット４１４によって特定処理が行われるようにしてもよい。

【0781】

なお、感情エンジンとしての感情特定モデル５９は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情特定モデル５９は、特定のマッピングである感情マップ（図９参照）に従い、ユーザの感情を決定してよい。また、感情特定モデル５９は、同様に、ロボットの感情を決定し、特定処理部２９０は、ロボットの感情を用いた特定処理を行うようにしてもよい。

【0782】

図９は、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。

【0783】

これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。

【0784】

感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。

【0785】

ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図（音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文：https://ci.nii.ac.jp/naid/500000375379）に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。

【0786】

感情マップでは学習を促す感情が２つ定義される。１つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がロボットに生じたときである。もう１つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。

【0787】

感情特定モデル５９は、ユーザ入力を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザの感情を決定する。このニューラルネットワークは、ユーザ入力と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図１０に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図１０では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。

【0788】

以上、本開示に係るシステムをデータ処理装置１２の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザに対して提供されてもよい。

【0789】

上記実施形態では、１台のコンピュータ２２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ２２を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。例えば、データ生成モデル５８が、データ処理装置１２の外部装置に設けられ、当該外部装置において、入力データに応じたデータの生成を行うようにしてもよい。

【0790】

上記実施形態では、ストレージ３２に特定処理プログラム５６が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム５６がＵＳＢ（Universal Serial Bus）メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム５６は、データ処理装置１２のコンピュータ２２にインストールされる。プロセッサ２８は、特定処理プログラム５６に従って特定処理を実行する。

【0791】

また、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６を格納させておき、データ処理装置１２の要求に応じて特定処理プログラム５６がダウンロードされ、コンピュータ２２にインストールされるようにしてもよい。

【0792】

なお、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６の全てを格納させておいたり、ストレージ３２に特定処理プログラム５６の全てを記憶させたりしておく必要はなく、特定処理プログラム５６の一部を格納させておいてもよい。

【0793】

特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。

【0794】

特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、特定処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0795】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0796】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0797】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0798】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0799】

以上の実施形態に関し、更に以下を開示する。

【0800】

（請求項１）

【0801】

利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、

【0802】

前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、

【0803】

利用者に質問を提示し、その回答を受け取る回答受付手段と、

【0804】

前記特徴抽出手段により抽出された特徴データと、前記回答受付手段により受け取られた回答データを組み合わせて利用者の適性を評価する評価手段と、

【0805】

前記評価手段により評価された適性に基づいて、利用者に最適なスポーツポジションを提案する提案手段と、

【0806】

を含むシステム。

【0807】

（請求項２）

【0808】

前記特徴抽出手段が、画像認識アルゴリズムを用いて、動作の種類や体格を識別する機能を備えることを特徴とする請求項１記載のシステム。

【0809】

（請求項３）

【0810】

前記提案手段が、機械学習モデルを用いて、過去のデータベースと比較しながらポジションを推奨する機能を備えることを特徴とする請求項１記載のシステム。

【0811】

「実施例１」

【0812】

（請求項１）

【0813】

利用者の動作を記録するための撮影装置から取得された映像データを入力するデータ取得手段と、

【0814】

前記映像データをフレームごとに分割し、各フレームごとの動作を数値データとして抽出する特徴解析手段と、

【0815】

利用者に質問を提示し、その回答をデジタル形式で受け取る情報収集手段と、

【0816】

前記特徴解析手段により抽出された数値データと、前記情報収集手段により受け取られた回答データを統合し、利用者の特性を評価する分析手段と、

【0817】

前記分析手段による評価結果に基づいて、利用者に最適な運動位置を推奨する推奨手段と、

【0818】

を含むシステム。

【0819】

（請求項２）

【0820】

前記特徴解析手段が、画像認識技術を使用して動作の指標や身体特性を特定する機能を備えることを特徴とする請求項１記載のシステム。

【0821】

（請求項３）

【0822】

前記推奨手段が、機械学習技術を利用し、過去のデータベースと比較しながら最適な位置を推奨する機能を備えることを特徴とする請求項１記載のシステム。

【0823】

「応用例１」

【0824】

（請求項１）

【0825】

利用者の動作を記録するための撮影装置から取得された映像信号を入力するデータ取得手段と、

【0826】

前記映像信号に基づいて、利用者の動作の特徴を抽出するデータ解析手段と、

【0827】

利用者に質問を提示し、その回答を受け取る情報受付手段と、

【0828】

前記データ解析手段により抽出された特徴データと、前記情報受付手段により受け取られた情報データを組み合わせて利用者の適性を評価する適性評価手段と、

【0829】

前記適性評価手段により評価された適性に基づいて、利用者に最適な作業役割を提案する役割提案手段と、

【0830】

を含むシステム。

【0831】

（請求項２）

【0832】

前記データ解析手段が、視覚データ認識アルゴリズムを用いて、動作の種類や外見特性を識別する機能を備えることを特徴とする請求項１記載のシステム。

【0833】

（請求項３）

【0834】

前記役割提案手段が、機械学習モデルを用いて、過去の情報ベースと比較しながら役割を推奨する機能を備えることを特徴とする請求項１記載のシステム。

【0835】

「感情エンジンを組み合わせた場合の実施例２」

【0836】

（請求項１）

【0837】

利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、

【0838】

前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、

【0839】

利用者の動画内の表情や音声から感情状態を識別する感情認識手段と、

【0840】

利用者に質問を提示し、その回答を受け取る回答受付手段と、

【0841】

前記特徴抽出手段と前記感情認識手段により処理されたデータおよび前記回答受付手段により受け取られた回答データを組み合わせて利用者の適性を評価する評価手段と、

【0842】

生成AIモデルを用いて、前記評価手段により評価された適性に基づいて、利用者に最適なスポーツポジションを提案する提案手段と、

【0843】

を含むシステム。

【0844】

（請求項２）

【0845】

前記特徴抽出手段が、映像認識アルゴリズムを用いて、動作の種類や体格を識別する機能に加え、感情エンジンにより表情変化を解析する機能を備えることを特徴とする請求項１記載のシステム。

【0846】

（請求項３）

【0847】

前記提案手段が、機械学習モデルを用いて、ユーザの感情データを特に考慮し、過去のデータベースと比較しながらスポーツポジションを推奨する機能を備えることを特徴とする請求項１記載のシステム。

【0848】

「感情エンジンを組み合わせた場合の応用例２」

【0849】

（請求項１）

【0850】

利用者の動作を記録するための撮影装置から取得された映像信号を入力する信号取得手段と、

【0851】

前記映像信号に基づいて、利用者の動作の特徴を抽出する特徴抽出手段と、

【0852】

利用者の感情を認識し、感情データを生成する感情認識手段と、

【0853】

利用者に質問を提示し、その回答を受け取る回答受付手段と、

【0854】

前記特徴抽出手段により抽出された特徴データ、感情認識手段によって生成された感情データ、及び前記回答受付手段により受け取られた回答データを組み合わせて利用者の適性を評価する評価手段と、

【0855】

前記評価手段により評価された適性に基づいて、利用者に最適な作業ポジションを提案する提案手段と、

【0856】

を含むシステム。

【0857】

（請求項２）

【0858】

前記特徴抽出手段が、画像認識アルゴリズムを用いて、動作の種類や体格を識別する機能を備え、前記感情認識手段が、音声分析と表情分析を用いて感情を評価する機能を備えることを特徴とする請求項１記載のシステム。

【0859】

（請求項３）

【0860】

前記提案手段が、機械学習モデルを用いて、過去のデータベースと比較しながらポジションを推奨し、利用者が持つ感情や動作のパターンに基づいた最適な作業タスクを提案する機能を備えることを特徴とする請求項１記載のシステム。

【符号の説明】

【0861】

１０、２１０、３１０、４１０ データ処理システム
１２ データ処理装置
１４ スマートデバイス
２１４ スマート眼鏡
３１４ ヘッドセット型端末
４１４ ロボット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】