7587186 情報処理装置、情報処理方法、及び、情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-12

(45)【発行日】2024-11-20

(54)【発明の名称】情報処理装置、情報処理方法、及び、情報処理プログラム

(51)【国際特許分類】

   G06N 3/008 20230101AFI20241113BHJP

【ＦＩ】

G06N3/008

【請求項の数】 8

(21)【出願番号】P 2023510017

(86)(22)【出願日】2021-03-31

(86)【国際出願番号】 JP2021013835

(87)【国際公開番号】W WO2022208723

(87)【国際公開日】2022-10-06

【審査請求日】2023-08-17

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】薮下 浩子

(72)【発明者】

【氏名】小澤 史朗

(72)【発明者】

【氏名】倉橋 孝雄

【審査官】渡辺 順哉

(56)【参考文献】

【文献】国際公開第２０２０／２４６０３２（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０７３６６１（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０５０１３４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証する認証部と、
前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部と、
前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部と、を備え、
前記センシング部は、
前記当事者の身体状態及び内面的感情に一致する過去の身体状態及び内面的感情を過去のログデータから検索し、検索した過去の身体状態及び内面的感情の時刻よりも時刻の新しい内面的感情を前記当事者の直後及び将来の内面的感情として決定し、
前記出力部は、
前記当事者の直後及び将来の内面的感情を前記当事者のデジタルツインに説明させる情報処理装置。

【請求項2】

前記当事者が前記当事者のデジタルツインに許諾する範囲及び内容を登録する登録部と、
前記許諾する範囲及び内容で前記当事者の内面的感情を加工する加工部と、
を更に備える請求項１に記載の情報処理装置。

【請求項3】

前記センシング部は、
前記センシングデータから直接推定されていた推定身体状態データ及び推定内面的感情データを用いて、前記当事者の身体状態を求め、前記当事者の内面的感情を推定計算する請求項１又は２に記載の情報処理装置。

【請求項4】

前記センシング部は、
前記センシングデータ又は前記推定身体状態データ及び推定内面的感情データに一致するデータを格納した過去のログデータを用いて、前記当事者の身体状態と前記当事者の内面的感情を推定計算する請求項３に記載の情報処理装置。

【請求項5】

前記センシング部は、
前記過去のログデータに格納された時間的に変化するデータの経時的変化に基づき、前記当事者の将来の身体状態を求める請求項４に記載の情報処理装置。

【請求項6】

前記過去のログデータは、
前記当事者にとって他人の過去のログデータである請求項４又は５に記載の情報処理装置。

【請求項7】

情報処理装置で行う情報処理方法において、
パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証するステップと、
前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するステップと、
前記当事者の身体状態及び内面的感情に一致する過去の身体状態及び内面的感情を過去のログデータから検索し、検索した過去の身体状態及び内面的感情の時刻よりも時刻の新しい内面的感情を前記当事者の直後及び将来の内面的感情として決定するステップと、
前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情と前記当事者の直後及び将来の内面的感情を前記当事者のデジタルツインに説明させるステップと、
を行う情報処理方法。

【請求項8】

請求項１乃至６のいずれかに記載の情報処理装置としてコンピュータを機能させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び、情報処理プログラムに関する。

【背景技術】

【0002】

従来、野球の試合の概要を伝える戦評文章を生成する技術が知られている（非特許文献１）。また、プロ棋士の将棋の対局において現在の局面の形勢等を解説する技術が知られている（非特許文献２、３）。

【先行技術文献】

【非特許文献】

【0003】

【文献】工藤、外３名、“WPAを用いた野球の戦評の自動生成”、情報知識学会誌、Vol.29、No.2、2019年、p.181-p.186

【文献】金子、“コンピュータ将棋を用いた棋譜の自動解説と評価”、p.9-p.16

【文献】小田、外１名、“戦況の推移を考慮した棋譜解説のための棋譜の分割”、2019年度 電気・情報関係学会九州支部連合大会、10-2A-06、p.413-p.414

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、野球選手やプロ棋士等の当事者はパフォーマンス中であり、当該当事者は自身のパフォーマンス中にリアルタイムで別の仕事を受けることができない。そのため、パフォーマンス中の自身の心身の状態を含む状況解説等は、非リアルタイムで当事者本人がインタビューに答えて心境等を語り、又は他の有識者がリアルタイムに当事者の状態を推測して語る方法が採られていた。

【0005】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、当事者がパフォーマンス中にリアルタイムで自身の感情や思考を当事者本人らしく語らせることが可能な技術を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様の情報処理装置は、パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証する認証部と、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部と、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部と、を備える。

【0007】

本発明の一態様の情報処理方法は、情報処理装置で行う情報処理方法において、パフォーマンスを行う当事者のデジタルツインの利用許諾を受けた許諾者を認証するステップと、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するステップと、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させるステップと、を行う。

【0008】

本発明の一態様の情報処理プログラムは、上記情報処理装置としてコンピュータを機能させる。

【発明の効果】

【0009】

本発明によれば、当事者がパフォーマンス中にリアルタイムで自身の感情や思考を当事者本人らしく語らせることが可能な技術を提供できる。

【図面の簡単な説明】

【0010】

【図1】図１は、情報処理装置の機能ブロック構成例を示す図である。

【図2】図２は、ＤＴデータ等の登録データの例を示す図である。

【図3】図３は、過去ログデータの例を示す図である。

【図4】図４は、情報処理装置の処理フロー例を示す図である。

【図5】図５は、新規ログデータの例を示す図である。

【図6】図６は、当事者のＤＴによる当事者の感情を説明するイメージを示す図である。

【図7】図７は、情報処理装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

【0012】

［発明の概要］
本発明は、当事者に代わり当事者本人の内面的感情（思考を含む）を説明するＤＴ（デジタルツイン）に関する発明である。特に人を仮想空間上に表現することで生まれ得るビジネスを意識した発明である。

【0013】

本発明は、当事者のパフォーマンス中のセンシングデータを収集し、当該センシングデータを用いて当該当事者の身体状態を求め、当該当事者の身体状態に基づき当該当事者の内面的感情を推定計算し、当該当事者のパフォーマンス中にリアルタイムで当該当事者の内面的感情を当該当事者のＤＴに説明させる。これにより、当事者がパフォーマンス中であっても、場所や時間の制限無く、デジタル化された当事者のＤＴを呼び出し、パフォーマンス中の内面的感情をリアルタイムでＤＴにより当事者本人の言葉で語らせることを実現する。

【0014】

［情報処理装置の構成例］
図１は、本実施形態に係る情報処理装置１の機能ブロック構成例を示す図である。当該情報処理装置１は、当事者のパフォーマンス中にリアルタイムで当事者本人の内面的感情を当該当事者のＤＴに説明させる装置、サーバ、コンピュータである。

【0015】

本実施形態に係る情報処理装置１は、例えば、登録部１１と、ＤＴデータ記憶部１２と、ログデータ記憶部１３と、認証部１４と、センシング部１５と、加工部１６と、出力部１７と、を備える。

【0016】

登録部１１は、当事者からの提供データに基づき当該当事者のＤＴデータを作成し、当該ＤＴデータを登録者ＩＤに関連付けて、更に当該登録者ＩＤに対して当該ＤＴデータへのアクセスを可能とする管理者権限を付与してＤＴデータ記憶部１２に登録する機能部である。

【0017】

また、登録部１１は、上記登録者ＩＤ及びＤＴデータに対して、上記当事者が設定した、当該ＤＴデータの利用を許諾する許諾者ＩＤ、当該ＤＴデータの利用の許諾用途、当該ＤＴデータの利用や内面的感情の説明の許諾範囲及び許諾内容を更に関連付けてＤＴデータ記憶部１２に登録する機能部である。

【0018】

ＤＴデータ記憶部１２は、登録部１１が登録したＤＴデータ等の登録データを読み出し可能に記憶する機能部である。例えば、ＤＴデータ記憶部１２は、図２に示すように、登録者毎に、登録者ＩＤ、ＤＴデータ、許諾者ＩＤ、許諾用途、許諾範囲及び許諾内容を関連付けて記憶する。ＤＴデータとは、例えば、顔画像、身長、音声等、ＤＴを形成するための要素となるデータ、当該ＤＴを形成するための要素となるデータに基づき形成されたＤＴモデル（ＣＧモデル、音声合成モデル、動作モデル、対話モデル等）である。許諾者ＩＤとは、登録者が自身のＤＴデータを利用することを許諾した許諾者のＩＤである。許諾用途とは、登録者が許諾者に対して許可した自身のＤＴデータの用途である。許諾範囲及び許諾内容とは、登録者が許諾者に対して利用することを許可した自身のＤＴデータの範囲及び内容であり、例えば、パフォーマンスの時間の全部又は一部、肯定感情等である。

【0019】

ログデータ記憶部１３は、当事者の過去のパフォーマンス実施時に収集等したログデータを当該当事者の登録者ＩＤに関連付けて記憶する機能部である。例えば、ログデータ記憶部１３は、図３に示すように、収集時刻や計測時刻毎に、当事者の画像データ、音声データ、位置データ、心拍値、加速度、速度、体温等といったセンシングデータ、当該センシングデータから直接推定された推定身体状態（動作）データ及び推定内面的感情データ、当事者本人談の思考・感情データを関連付けて記憶する。

【0020】

認証部１４は、ＤＴデータ及びＤＴデータに関連するログデータにアクセスするため、情報処理装置１を利用するユーザ（当事者に限らず、当事者のＤＴの利用許諾を受けた許諾者等の当事者以外を含む）を認証する機能部である。例えば、認証部１４は、ユーザ（この場合は当事者）とユーザのデジタルツインとが一致するか否かを認証する。

【0021】

また、認証部１４は、情報処理装置１を利用するユーザによるＤＴデータの利用用途が設定済みの許諾用途に一致するか否かを判定する機能部である。

【0022】

センシング部１５は、カメラ等から当事者のパフォーマンス中のセンシングデータを収集し、当該センシングデータを用いて当該当事者の現在及び将来の身体状態（動作）を求め、当該当事者の身体状態に基づき当該当事者の現在及び将来の内面的感情を推定計算する機能部である。

【0023】

また、センシング部１５は、センシングデータから直接推定されていた推定身体状態（動作）データ及び推定内面的感情データを用いて、上記当事者の現在及び将来の身体状態を求め、上記当事者の現在及び将来の内面的感情を推定計算する機能部である。つまり、センシング部１５は、生データであるセンシングデータに加えて、当該センシングデータから意味理解される動作及び感情に関するデータも更に用いて、当事者の身体状態及び内面的感情を推定する。

【0024】

また、センシング部１５は、センシングデータやセンシングデータから推定した推定身体状態（動作）データ及び推定内面的感情データに一致又は類似するデータを格納した過去のログデータを用いて、上記当事者の現在及び将来の身体状態や現在及び将来の内面的感情を推定計算する機能部である。この場合、センシング部１５は、過去のログデータより、身体状態から内面的感情を推定してもよいし、内面的感情から身体状態を予測してもよいし、身体状態と内面的感情とを同時に予測・推定してもよい。

【0025】

また、センシング部１５は、上記過去のログデータに格納された時間的に変化するデータの経時的変化に基づき、上記当事者の現在及び将来の身体状態を求め、上記当事者の現在及び将来の内面的感情を推定計算する機能部である。過去のログデータとは、例えば、当事者の過去ログデータ、当事者にとって他人の過去ログデータである。

【0026】

加工部１６は、センシング部１５が推定計算した当事者の現在及び将来の内面的感情を、当該当事者が設定した許諾範囲及び許諾内容の範囲内で、変換、加工、操作、処理、編集、削除等の加工処理（表現変更処理）を行う機能部である。

【0027】

出力部１７は、上記当事者のＤＴデータをＤＴデータ記憶部１２から読み出し、当該ＤＴデータと加工処理後の当該当事者の現在及び将来の内面的感情とを仮想空間サーバ２に出力して、上記当事者のパフォーマンス中にリアルタイムで加工処理後の内面的感情を当該当事者のＤＴに説明させる機能部である。

【0028】

［情報処理装置の動作例］
図４は、情報処理装置１の処理フロー例を示す図である。ＤＴデータ記憶部１２には、図２に示した登録データが設定されている。ログデータ記憶部１３には、図３に示した過去ログデータが記憶されている。

【0029】

ステップＳ１；
まず、認証部１４は、情報処理装置１を利用するユーザを認証し、更に当該ユーザによるＤＴデータの利用用途が設定済みの許諾用途に一致するか否かを判定する確認する。

【0030】

例えば、認証部１４は、ユーザの入力ＩＤが登録データ内の登録者ＩＤ又は許諾者ＩＤに一致するか否かを判定し、更に当該ユーザが入力したＤＴデータの利用用途が登録データ内の許諾用途に一致するか否かを判定し、いずれも一致する場合には登録データ及びログデータの利用を可とし、一致しない場合には登録データ及びログデータの利用を不可とする。

【0031】

例えば、認証部１４は、カメラで撮影したユーザ（この場合はパフォーマンスを行う当事者）の顔画像の顔形がＤＴデータ内の顔画像の顔形に一致するか否かを判定し、更に当該ユーザが入力したＤＴデータの利用用途が登録データ内の許諾用途に一致するか否かを判定し、いずれも一致する場合には登録データ及びログデータの利用を可とし、一致しない場合には登録データ及びログデータの利用を不可とする。認証部１４は、顔画像以外に、指紋、虹彩、声紋、静脈、筆圧、筆跡、歩容等の生体認証データ、位置情報やサービス利用動向等の生活・行動パターンデータ、もしくは事前に設定し、利用の際に入力したＩＤ／パスワード等の一致を確認する方法や、事前に配布したワンタイムパスワード生成器が出力したワンタイムパスワード、事前に登録した電話番号へのＳＭＳやメールアドレスへのメール通知情報等を用いてもよい。

【0032】

ステップＳ２；
次に、センシング部１５は、パフォーマンス中の当事者に関するセンシングデータを収集し、当該センシングデータを当該当事者の新規ログデータに格納する。

【0033】

例えば、センシング部１５は、パフォーマンス中の当事者を撮影するカメラ、当該当事者の音声を収音するマイク、当該当事者の緯度経度を計測するＧＰＳ、当該当事者の手首に付けられた心拍計、当該当事者の胴回りに付けられた加速度センサ等から、当事者の画像データ、音声データ、位置データ、心拍値、加速度、速度、体温等のセンシングデータを受信し、当該センシングデータを当該当事者の新規ログデータに格納する。

【0034】

ステップＳ３；
次に、センシング部１５は、次のステップＳ４において加速度等のセンシングデータが新規ログデータと過去ログデータ間で完全一致する可能性は低いことから、生データであるセンシングデータを、当該センシングデータが直接的に意味する又は当該センシングデータから直接的に理解される動作及び感情のデータに変換する。

【0035】

具体的には、センシング部１５は、収集したセンシングデータを用いて当事者の現在（直近に近い現在）の推定動作及び推定感情を算出し、当該現在の推定動作及び推定感情を当該当事者の新規ログデータに追加する。新規ログデータの例を図５に示す。

【0036】

例えば、センシング部１５は、当事者がサッカー選手の場合、画像データ及び位置データから「中央エリアの位置でゴールを見る」という現在の動作を推定し、心拍値から「緊張」という現在の感情を推定する。その後、センシング部１５は、当該現在の推定動作及び推定感情を新規ログデータの推定動作欄及び推定感情欄に格納する。

【0037】

例えば、センシング部１５は、当事者がマラソン選手の場合、加速度から「時速１７ｋｍ」という現在の動作を推定し、心拍値から「疲れている」という現在の感情を推定する。その後、センシング部１５は、当該現在の推定動作及び推定感情を新規ログデータの推定動作欄及び推定感情欄に格納する。

【0038】

ステップＳ２及びステップＳ３は、定期的に実行される。センシング部１５は、定期的な実行の都度、センシングデータとその時の推定動作及び推定感情とを時刻に関連付けて新規ログデータの新規レコードに格納する。

【0039】

ステップＳ４；
ステップＳ４とステップＳ５では、当事者の動作及び内面的感情を予測・推定する。

【0040】

例えば、センシング部１５は、サッカーのプレイ中に、現時点のタイミングでの当事者の考えや次に何をするかを推定する。「現時点」のものであっても他のデバイスによって明にセンシングできない状況を推定する。例えば、センシング部１５は、「右足に体重を乗っけているように見せかけて、次に来る動きに対応できるよう、左足にもいつでも体重移行できるよう体のバランスで準備している等」を推定する。

【0041】

ステップＳ４について説明する。

【0042】

センシング部１５は、新規ログデータ（図５）、過去ログデータ（図３）を１つ以上用いて、当事者の現在及び将来の動作を予測する。

【0043】

具体的には、センシング部１５は、当事者の新規ログデータと当該当事者の過去ログデータとを比較し、新規ログデータの現時点付近のレコードに一致又は類似する過去ログデータのレコードを検索する。そして、センシング部１５は、ヒットしたレコード以降に格納されている過去ログデータの内容や値の変化から、パフォーマンス中の当事者の動作がこの直後（現在）及び少し後（将来）どのように変化するかを予測する。

【0044】

例えば、センシング部１５は、新規ログデータの推定動作及び推定感情を参照し（図５の枠Ｄ１）、当該推定動作及び推定感情に一致する推定動作及び推定感情を持つ過去ログデータを検索する（図３の枠Ｄ２）。そして、センシング部１５は、当該過去ログデータの枠Ｄ２以降に格納されている推定動作から、当事者の現在の動作を「周囲の選手の位置を確認」と予測し、当事者の将来の動作を「シュート」と予測する。

【0045】

例えば、センシング部１５は、新規ログデータの加速度を参照し、当事者は１０分前には「時速２０ｋｍ」で走っていたが、現在では「時速１７ｋｍ」で走っている場合に、当該走行状態に類似する走行状態を持つ加速度群を当該当事者の過去ログデータから抽出する。そして、センシング部１５は、当該類似の過去ログデータにおいて、更に１０分後には「時速１５ｋｍ」で走っていた場合、現在の状態から１０分後には「時速１５ｋｍ」で走る動作を予測する。

【0046】

当事者の現在及び将来の動作の予測方法は、上記以外に様々な方法が考えられる。例えば、現在の動作については、センシング部１５は、新規ログデータのみを用いて、新規ログデータの推定動作欄に格納された推定動作（ステップＳ３でセンシングデータから推定していた現在（直近に近い現在）の推定動作）をそのまま現在の動作としてもよい。

【0047】

また、センシング部１５は、当事者の過去ログデータ以外に、ポジション、身体能力、移動速度、動作傾向、性格、受賞歴等が当事者に一致又は類似する他者の過去ログデータ、当事者の周囲にいる他者の過去ログデータ、当該分野における教本や特集記事記載の情報等を比較対象として活用可能である。この場合、センシング部１５は、他者の過去ログデータの内容や値の変化から、当事者の現在及び将来の動作を予測する。他者の過去ログデータが複数ある場合、センシング部１５は、複数の過去ログデータの平均的動作内容や平均的数値変化から、当事者の現在及び将来の動作を予測する。

【0048】

その後、センシング部１５は、予測した当事者の現在及び将来の動作を新規ログデータに追加する。

【0049】

ステップＳ５；
次に、センシング部１５は、新規ログデータ（図５）、過去ログデータ（図３）、ステップＳ４で予測した当事者の現在及び将来の動作を１つ以上用いて、当事者の現在及び将来の内面的感情・思考を推定する。

【0050】

例えば、センシング部１５は、新規ログデータに格納された現時点及びこれまでの当事者の心拍値、脳波、表情、声等を機械学習することで、当事者の現在及び将来の感情を推定する。例えば、センシング部１５は、現時点の心拍値が高く、表情が真顔である場合、「緊張」という現在の感情を推定する。例えば、センシング部１５は、過去から現在までの心拍値が上昇傾向にあり、表情が笑顔から真顔に変化している場合、数分後には「疲れている」という将来の感情を推定する。

【0051】

当事者の現在及び将来の内面的感情・思考についても、ステップＳ４で説明した当事者の現在及び将来の動作の予測方法と同様の方法で推定可能である。具体的には、センシング部１５は、当事者の新規ログデータに一致又は類似する当該当事者の過去ログデータを検索し、ヒットしたレコード以降に格納されている過去ログデータの内容から、パフォーマンス中の当事者の現在及び将来の感情を推定可能である。

【0052】

例えば、センシング部１５は、過去ログデータの推定動作及び推定感情（図３）から、ステップＳ４で推定していた「周囲の選手の位置を確認」という推定動作に対応する「集中」という推定感情を現在の感情として推定し、「シュート」という推定動作に対応する「喜び」という推定感情を将来の感情として推定する。

【0053】

当事者の現在及び将来の内面的感情・思考の推定方法についても、上記以外に様々な方法が考えられる。例えば、現在の感情については、センシング部１５は、新規ログデータのみを用いて、新規ログデータの推定感情欄に格納された推定感情（ステップＳ３でセンシングデータから推定していた現在（直近に近い現在）の推定感情）をそのまま現在の感情としてもよい。

【0054】

また、センシング部１５は、パフォーマンス中の当事者が現在及び将来どのように感じ、何を思考しているかを、（１）同様の過去ログデータが計測された際に、その時を当事者が振り返り語った感情や思考等の情報（図３の本人の思考・感情欄に格納されている情報）、（２）類似した動作を行った他者が、その時を振り返り語った感情や思考等の情報、（３）当事者の視線の先にある対象物体、人物の情報、周囲との位置関係情報、（４）パフォーマンス中のスポーツ等の教本等から得た場のルールやパターン情報等、を参考にして求めてもよい。

【0055】

なお、感情情報については、喜怒哀楽、８大感情、エクマンの４６種類の感情、スピノザの４８種類の感情等の心理学的分類によって分類してもよい。

【0056】

その後、センシング部１５は、推定した当事者の現在及び将来の内面的感情・思考を新規ログデータに追加する。過去ログデータの本人談の情報を、テキスト情報として新規ログデータの推定感情欄に格納してもよい。ゴールシーンの感情については、センシングデータやテレビ中継情報等からゴールした時刻を抽出し、当該時刻のセンシングデータ等のログデータとともに「本人談、思考、感情」欄に格納してもよい。なお、ログの単位は、取得したセンシングデータの数値をそのまま用いてもよいし、動作の意味単位（「走る」「蹴る」「笑う」）等に機会学習等を用いてグループ化したものを用いてもよい。

【0057】

ステップＳ６；
次に、加工部１６は、推定した当事者の現在及び将来の内面的感情に対して、当該当事者が設定した許諾範囲及び許諾内容の範囲内で、変換、加工、操作、処理、編集、削除等の加工処理（表現変更処理）を行う。

【0058】

ステップＳ７；
最後に、出力部１７は、当事者のＤＴデータをＤＴデータ記憶部１２から読み出し、当該当事者の現在及び将来の内面的感情をインプットとして、当該ＤＴデータそのものもしくは当該ＤＴデータの形状や音声の変移を仮想空間サーバ２に出力して、当該当事者のパフォーマンス中にリアルタイムで加工処理後の当該当事者の内面的感情を当該当事者のＤＴに説明させる。

【0059】

これにより、例えば、サッカー選手である当事者がサッカーの試合中にインタビュー席でリアルタイムに、当事者のＤＴが本人に代わって当事者本人のプレイを仮想空間やテレビで解説することができる（図６参照）。その他、仮想空間において、当事者のＤＴが医者のＤＴに対して現時点の自分自身の心身状況を説明する等、余命わずかな当事者が一斉に複数拠点、複数時点の医者に対してセカンドオピニオンを求めることができる。その他、オリンピック種目、囲碁、将棋等、様々な分野に適用可能である。

【0060】

［処理フローの変形例］
図４に示した処理フロー例では、動作状態を予測した後に内面的感情を推定する場合を例に説明したが、過去ログデータを用いて動作状態及び内面的感情を予測・推定する場合には、内面的感情を推定した後に動作状態を予測してもよいし、動作状態の予測と内面的感情の推定とを同時に実行してもよい。例えば、センシング部１５は、図３に示した過去ログデータの枠Ｄ２以降に格納されている推定感情から、当事者の現在の感情を「集中」と推定し、当事者の将来の感情を「喜び」と推定する。その後、センシング部１５は、当該「集中」という推定感情に対応する「周囲の選手の位置を確認」という推定動作を現在の動作として予測し、当該「喜び」という推定感情に対応する「シュート」という推定動作を将来の動作として予測する。

【0061】

［効果］
本実施形態によれば、情報処理装置１が、パフォーマンスを行う当事者のＤＴの利用許諾を受けた許諾者を認証する認証部１４と、前記当事者のパフォーマンス中のセンシングデータを収集し、前記センシングデータを用いて前記当事者の身体状態を求め、前記当事者の身体状態に基づき前記当事者の内面的感情を推定計算するセンシング部１５と、前記当事者のパフォーマンス中にリアルタイムで前記当事者の内面的感情を前記当事者のデジタルツインに説明させる出力部１７と、を備えるので、当事者がパフォーマンス中にリアルタイムで自身の感情や思考を当事者本人のＤＴに語らせることが可能な技術を提供できる。

【0062】

［その他］
本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。

【0063】

上記説明した本実施形態の情報処理装置１は、例えば、図７に示すように、ＣＰＵ９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータシステムを用いて実現できる。メモリ９０２及びストレージ９０３は、記憶装置である。当該コンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、情報処理装置１の各機能が実現される。

【0064】

情報処理装置１は、１つのコンピュータで実装されてもよい。情報処理装置１は、複数のコンピュータで実装されてもよい。情報処理装置１は、コンピュータに実装される仮想マシンであってもよい。情報処理装置１用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢメモリ、ＣＤ、ＤＶＤ等のコンピュータ読取り可能な記録媒体に記憶できる。情報処理装置１用のプログラムは、通信ネットワークを介して配信することもできる。

【符号の説明】

【0065】

１：情報処理装置
１１：登録部
１２：ＤＴデータ記憶部
１３：ログデータ記憶部
１４：認証部
１５：センシング部
１６：加工部
１７：出力部
２：仮想空間サーバ
９０１：ＣＰＵ
９０２：メモリ
９０３：ストレージ
９０４：通信装置
９０５：入力装置
９０６：出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】