特開 2025-15327 データ処理装置、データ処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025015327

(43)【公開日】2025-01-30

(54)【発明の名称】データ処理装置、データ処理方法、及びプログラム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20250123BHJP

   G06F 3/16 20060101ALI20250123BHJP

   G06F 3/0484 20220101ALI20250123BHJP

   G10L 15/10 20060101ALI20250123BHJP

   G06Q 10/00 20230101ALI20250123BHJP

【ＦＩ】

G10L15/22 460Z

G06F3/16 650

G06F3/0484

G10L15/10 500T

G10L15/10 500N

G06Q10/00

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023118658

(22)【出願日】2023-07-20

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】後藤 智紀

【テーマコード（参考）】

5E555

5L010

5L049

【Ｆターム（参考）】

5E555AA28

5E555AA48

5E555BA02

5E555BA04

5E555BB02

5E555BB04

5E555BC04

5E555CA12

5E555CA42

5E555CA47

5E555CB64

5E555DA23

5E555DB41

5E555DB56

5E555DB57

5E555DC02

5E555EA23

5E555EA27

5E555FA00

5L010AA00

5L049AA00

(57)【要約】

【課題】対話データから分析対象のユーザに関する特定処理の結果を得ることで、コミュニケーションの改善に活用する。
【解決手段】データ処理装置は、ユーザ入力を受け付ける入力部と、入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う処理部と、前記特定処理の結果を所定のデバイスに出力する出力部と、を含み、前記入力部は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、前記処理部は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、前記出力部は、前記特定処理の結果を可視化して出力する。
【選択図】図４

【特許請求の範囲】

【請求項1】

ユーザ入力を受け付ける入力部と、
入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う処理部と、
前記特定処理の結果を所定のデバイスに出力する出力部と、を備え、
前記入力部は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、
前記処理部は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、
前記出力部は、前記特定処理の結果を可視化して出力する、
を含むデータ処理装置。

【請求項2】

前記処理部は、前記特定処理の第１処理として、前記対話データの要約を取得し、
前記特定処理の第２処理として、前記対話データにおいて定めた分析パラメータの出力形式を含むプロンプトを前記生成モデルの入力として、前記分析パラメータに関する分析結果を取得し、
前記特定処理の第３処理として、前記対話データに対する所定の事例の提示を取得し、
前記出力部は、前記可視化として、前記要約及び前記事例の提示についてはテキストにより表示し、前記分析結果については前記分析パラメータを用いたグラフを含むように表示する、請求項１記載のデータ処理装置。

【請求項3】

ユーザを、前記ユーザ入力を行う第１ユーザ及び前記分析対象の第２ユーザの各々として、前記対話データを前記第１ユーザ及び前記第２ユーザの対話の動画又は音声とし、
前記第２処理では、前記ユーザのうち少なくとも前記第２ユーザについての前記分析結果を取得し、
前記第３処理では、前記第１ユーザから前記第２ユーザに提示する場合における事例の提示を取得する、請求項２記載のデータ処理装置。

【請求項4】

前記処理部は、前記第２処理では、前記ユーザの感情値の範囲を出力形式に設定し、
前記出力部は、前記分析結果として得られた感情値の所定のグラフを出力する、請求項３記載のデータ処理装置。

【請求項5】

前記出力部は、前記分析結果を、前記対話データについて区切られた所定のセクションごとに可視化して表示する、請求項２記載のデータ処理装置。

【請求項6】

データ処理装置を構成するコンピュータの少なくとも１つのプロセッサが、
ユーザ入力を受け付ける工程と、
入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う工程と、
前記特定処理の結果を所定のデバイスに出力する工程と、を実行するデータ処理方法であって、
前記ユーザ入力を受け付ける工程は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、
前記特定処理を行う工程は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、
前記出力する工程は、前記特定処理の結果を可視化して出力する、
データ処理方法。

【請求項7】

データ処理装置を構成するコンピュータの少なくとも１つのプロセッサに、
ユーザ入力を受け付ける処理と、
入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う処理と、
前記特定処理の結果を所定のデバイスに出力する処理と、を実行させるプログラムであって、
前記ユーザ入力を受け付ける処理は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、
前記特定処理を行う処理は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、
前記出力する処理は、前記特定処理の結果を可視化して出力する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、データ処理装置、データ処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８０２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで昨今では、様々な１ｏｎ１のコミュニケーションに関する社会的な課題が生じている。例えば、企業内における管理職と部下のコミュニケーションでは、リモートワークの普及に伴ってテキストベースのやり取りが増加したことに伴い、コミュニケーション上の課題が生じている。一例としては、上司が部下の状況や気持ちの把握が困難なことや、部下から上司への相談がしづらいなどの課題である。このようなコミュニケーションの課題について、改善のために従来技術を適用しようとする場合、発話生成により適切なコミュニケーションを促す仕組みが想定されるが、ユーザ入力に対して適切な処理結果を得る上で改善の余地がある。

【課題を解決するための手段】

【0005】

本開示の技術に係る第１の態様のデータ処理装置は、ユーザ入力を受け付ける入力部と、入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う処理部と、前記特定処理の結果を所定のデバイスに出力する出力部と、を含み、前記入力部は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、前記処理部は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、前記出力部は、前記特定処理の結果を可視化して出力する。

【0006】

本発明の第２の態様のデータ処理装置では、前記処理部は、前記特定処理の第１処理として、前記対話データの要約を取得し、前記特定処理の第２処理として、前記対話データにおいて定めた分析パラメータの出力形式を含むプロンプトを前記生成モデルの入力として、前記分析パラメータに関する分析結果を取得し、前記特定処理の第３処理として、前記対話データに対する所定の事例の提示を取得し、前記出力部は、前記可視化として、前記要約及び前記事例の提示についてはテキストにより表示し、前記分析結果については前記分析パラメータを用いたグラフを含むように表示する。

【0007】

本発明の第３の態様のデータ処理装置では、ユーザを、ユーザ入力を行う第１ユーザ及び前記分析対象の第２ユーザの各々として、前記対話データを前記第１ユーザ及び前記第２ユーザの対話の動画又は音声とし、前記第２処理では、前記ユーザのうち少なくとも前記第２ユーザについての前記分析結果を取得し、前記第３処理では、前記第１ユーザから前記第２ユーザに提示する場合における事例の提示を取得する。

【0008】

本発明の第４の態様のデータ処理装置では、前記処理部は、前記第２処理では、前記ユーザの感情値の範囲を出力形式に設定し、前記出力部は、前記分析結果として得られた感情値の所定のグラフを出力する。

【0009】

本発明の第５の態様のデータ処理装置では、前記出力部は、前記分析結果を、前記対話データについて区切られた所定のセクションごとに可視化して表示する。

【0010】

本開示の技術に係る第６の態様のデータ処理方法は、データ処理装置を構成するコンピュータの少なくとも１つのプロセッサが、ユーザ入力を受け付ける工程と、入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う工程と、前記特定処理の結果を所定のデバイスに出力する工程と、を実行するデータ処理方法であって、前記ユーザ入力を受け付ける工程は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、前記特定処理を行う工程は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、前記出力する工程は、前記特定処理の結果を可視化して出力する。

【0011】

本開示の技術に係る第７の態様のプログラムは、データ処理装置を構成するコンピュータの少なくとも１つのプロセッサに、ユーザ入力を受け付ける処理と、入力データに応じた所定の推論結果を生成する生成モデルを用いた特定処理を行う処理と、前記特定処理の結果を所定のデバイスに出力する処理と、を実行させるプログラムであって、前記ユーザ入力を受け付ける処理は、前記ユーザ入力として、分析対象のユーザに関する対話データを受け付け、前記特定処理を行う処理は、前記ユーザ入力から得られる情報を、前記入力データとしたときの前記生成モデルの出力を用いて、前記分析対象のユーザに関する前記特定処理の結果を取得し、前記出力する処理は、前記特定処理の結果を可視化して出力する。

【図面の簡単な説明】

【0012】

【図1】データ処理システムの構成の一例を示す概念図である。

【図2】データ処理装置及びスマートデバイスの要部機能の一例を示す概念図である。

【図3A】分析対象のユーザに関する特定処理のためのダッシュボードのインタフェースの一例を示す。

【図3B】分析対象のユーザに関する特定処理のためのダッシュボードのインタフェースの一例を示す。

【図3C】分析対象のユーザに関する特定処理のためのダッシュボードのインタフェースの一例を示す。

【図4】データ処理装置の特定処理部の機能構成を概略的に示す。

【図5】データ処理装置による特定処理の動作フローの一例を概略的に示す。

【図6A】複数の感情がマッピングされる感情マップを示す。

【図6B】複数の感情がマッピングされる感情マップを示す。

【発明を実施するための形態】

【0013】

以下、添付図面に従って本開示の技術に係るデータ処理装置、データ処理方法、及びプログラムの実施形態の一例について説明する。

【0014】

先ず、以下の説明で使用される文言について説明する。

【0015】

以下の実施形態において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、ＡＰＵ（Accelerated Processing Unit）、又はＴＰＵ（Tensor Processing Unit）等が挙げられる。

【0016】

以下の実施形態において、符号付きのＲＡＭ（Random Access Memory）は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。

【0017】

以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ（ＳＳＤ（Solid State Drive））、磁気ディスク（例えば、ハードディスク）、又は磁気テープ等が挙げられる。

【0018】

以下の実施形態において、符号付きの通信Ｉ／Ｆ（Interface）は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ（5th Generation Mobile Communication System）、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。

【0019】

以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0020】

図１には、実施形態に係るデータ処理システム１０の構成の一例が示されている。

【0021】

図１に示すように、データ処理システム１０は、データ処理装置１２及びスマートデバイス１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。スマートデバイス１４の一例としては、スマートフォンが挙げられる。本実施形態において、データ処理装置１２は、本開示の技術に係る「データ処理装置」の一例である。なお、本開示の技術に係るデータ処理装置の各種機能構成は、以下に説明するデータ処理装置１２以外の装置、例えばスマートデバイス１４等にも搭載され得る。また、スマートデバイス１４はスマートフォンに限らず、タブレット端末、ウェアラブル端末であってもよい。また、スマートデバイス１４をパーソナルコンピュータに代替してもよい。

【0022】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0023】

スマートデバイス１４は、コンピュータ３６、受付装置３８、出力装置４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、受付装置３８、出力装置４０、及びカメラ４２も、バス５２に接続されている。

【0024】

受付装置３８は、タッチパネル３８Ａ及びマイクロフォン３８Ｂ等を備えており、ユーザ入力を受け付ける。タッチパネル３８Ａは、指示体（例えば、ペン又は指等）の接触を検出することにより、指示体の接触によるユーザ入力を受け付ける。マイクロフォン３８Ｂは、ユーザの音声を検出することにより、音声によるユーザ入力を受け付ける。制御部４６Ａは、タッチパネル３８Ａ及びマイクロフォン３８Ｂによって受け付けたユーザ入力を示すデータをデータ処理装置１２に送信する。また、受け付けたユーザ入力をストレージ５０に格納し、データ処理の必要に応じて制御部４６Ａの制御によりデータ処理装置１２にユーザ入力を送信するようにしてもよい。データ処理装置１２では、特定処理部２９０が、ユーザ入力を示すデータを取得する。

【0025】

出力装置４０は、ディスプレイ４０Ａ及びスピーカ４０Ｂ等を備えており、データを人物２０が知覚可能な表現形（例えば、音声及び／又はテキスト）で出力することでデータを人物２０に対して提示する。ディスプレイ４０Ａは、プロセッサ４６からの指示に従ってテキスト及び画像等の可視情報を表示する。スピーカ４０Ｂは、プロセッサ４６からの指示に従って音声を出力する。カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。

【0026】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。

【0027】

図２には、データ処理装置１２及びスマートデバイス１４の要部機能の一例が示されている。

【0028】

図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。

【0029】

ストレージ３２には、生成モデルの一例としてのデータ生成モデル５８及び感情特定モデル６０が格納されている。データ生成モデル５８及び感情特定モデル６０は、特定処理部２９０によって用いられる。なお、本実施形態では、生成モデルとして主にデータ生成モデル５８を用いる場合を例に説明する。

【0030】

データ生成モデル５８は、いわゆる生成ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果をテキストデータ、音声データ、解析データ、及び描画データ等のデータ形式で出力する。データ形式は、プロンプトで指示可能であり、データ生成モデル５８は、指示したデータ形式に応じたデータ形式の種類による推論結果を出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。以上説明したデータ生成モデル５８を一例とするように、生成モデルは、入力データに応じた文章や解析データ等の推論結果の生成が可能である。

【0031】

スマートデバイス１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６２が格納されている。受付出力プログラム６２は、データ処理システム１０によって特定処理プログラム５６と併用される。プロセッサ４６は、ストレージ５０から受付出力プログラム６２を読み出し、読み出した受付出力プログラム６２をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６２に従って、制御部４６Ａとして動作することによって実現される。

【0032】

次に、データ処理システム１０におけるデータ処理装置１２が分析対象のユーザに関する特定処理を行う際の、特定処理部２９０の処理について説明する。データ処理装置１２は、分析対象のユーザに関する特定処理（第１処理～第３処理）を行う。特定処理（第１処理～第３処理）の態様については後述する。

【0033】

図３Ａ～図３Ｃに、分析対象のユーザに関する特定処理のためのダッシュボードのインタフェースの一例を示す。図３Ａ～図３Ｃに示すように、スマートデバイス１４の出力装置４０において、分析のためのインタフェースとしてダッシュボード（３ｄ）を表示する。ダッシュボード（３ｄ）は、スマートデバイス１４で表示される分析用のインタフェースである。スマートデバイス１４を保持するユーザは、ダッシュボード（３ｄ）を介して、分析に必要な操作、及び分析結果（特定処理の結果）の閲覧が可能である。ダッシュボード（３ｄ）からユーザ入力として対話データの入力を受け付けると、制御部４６Ａの制御により、スマートデバイス１４からデータ処理装置１２にユーザ入力である対話データが送信される。データ処理装置１２は、受け付けたユーザ入力を、分析対象のユーザに関する各種の特定処理の結果を取得し、スマートデバイス１４に返却する。なお、ダッシュボードでは、ユーザ入力として対話データに限らず、プロンプトの指示として加えたい条件付けのための付加データを、テキスト及び画像等により受け付けて、データ処理装置１２に送信するようにしてもよい。

【0034】

図３Ａでは、入力ボックス（３ｉ）に対話データが入力され、対話データの動画（３ｖ）、文字起こし（３ｔ）及び要約（３ｓ）が生成され、表示される態様を示している。図３Ｂでは、対話データから、感情分析結果のグラフ（３ｇ）が生成され、表示される態様を示している。図３Ｃでは、対話データから事例の提示（３ｅ）が生成され、表示される態様を示している。なお、ダッシュボード（３ｄ）において表示する各種の特定処理の結果は、スクロールにより一画面に表示されるようにしてもよいし、切り替えボタンを配置して表示を切り替えられるようにしてもよい。なお、以下の説明においては説明の便宜のため、図３Ａ～図３Ｃの各符号の表記は省略する。

【0035】

図４に示すように、特定処理部２９０は、入力部２９２、前処理部２９６、処理部２９６、及び出力部２９８を備えている。処理部２９６は、第１処理部、第２処理部、及び第３処理部を含んでいる。

【0036】

また、本実施形態では、一例として、ユーザを、スマートデバイス１４へのユーザ入力を行う第１ユーザ及び分析対象の第２ユーザと区分する。以下では、第１ユーザがユーザ入力を行い、第２ユーザを分析した特定処理の結果を取得する態様を例に説明する。例えば、企業におけるコミュニケーションの改善を目的として本実施形態のデータ処理システム１０を使用する場合には、第１ユーザは上司である管理職であり、第２ユーザは部下が該当する。また、企業面接などのシーンに活用する場合において、第１ユーザはエージェントであってもよく、第１ユーザを面接の自動応答が可能なエージェントとすることも想定される。第１ユーザをエージェントとする場合、例えば、ＡＩによる一次面接への活用などが想定される。また、企業の管理職や面接官の育成支援のために活用する場合には、第１ユーザが模擬的な部下や志望者の回答を行うエージェントとなり、第２ユーザが管理職や面接官、またはその候補者となり得る。その他、本実施形態のデータ処理システム１０は、カウンセリング、オンライン診断、カスタマーサポート、教育現場、及びパーソナルコーチングなど、様々な１ｏｎ１のコミュニケーションの場面への使用が想定される。本実施形態のデータ処理システム１０を活用することで、コミュニケーション上の信頼関係を築くことができ、ユーザ相互間のコミュニケーションの改善が期待される。また、企業において活用することで、組織全体のコミュニケーションの改善が期待される。

【0037】

入力部２９２は、スマートデバイス１４からユーザ入力を受け付ける。具体的には、ユーザ入力として分析対象のユーザに関する対話データを取得する。対話データは、第１ユーザ及び第２ユーザの対話を録画した動画データ又は録音した音声データとし、例えば、図３Ａに示すダッシュボードの入力ボックスからの入力により取得すればよい。また、対話データは、予め用意した質問に対して第２ユーザが回答した対話データであってもよい。

【0038】

前処理部２９６は、対話データについて、文字起こしを行う。これによりユーザ入力（対話データ）から得られる情報として、対話データの文字起こしデータを抽出する。前処理部２９６は、ユーザ入力として、抽出した対話データの文字起こしデータを処理部２９６に出力する。文字起こしの抽出処理は、例えば、ＯｐｅｎＡＩのＷｈｉｓｐｅｒなどの文字起こし用の任意のＡＰＩに、音声データを数十秒間隔で分割して入力することにより行えばよい。また、ダッシュボードで動画を再生させる場合には、数分～数十分の単位に動画を分割してもよい。

【0039】

処理部２９６は、データ生成モデル５８を用いた特定処理として、第１処理～第３処理を行う。まず、処理部２９６は、予め定められたトリガ条件を満たすか否かを判定する。具体的には、前処理部２９６の処理が完了し、対話データの文字起こしデータを受け付けたことをトリガ条件とすればよい。または、対話データが入力されたことをトリガ条件として、文字起こしデータが処理された順に逐次入力を受け付けて特定処理を行う態様としてもよい。また、ダッシュボードに分析開始ボタン等を設け、対話データの入力後、分析開始ボタンが押されたことをトリガ条件としてもよい。また、第１ユーザから音声入力される開始の合図（例えば「分析を開始してください」というフレーズ）をトリガ条件としてもよい。

【0040】

処理部２９６は、トリガ条件を満たした場合に、特定処理として第１処理～第３処理を行う。処理部２９６では、第１処理は要約、第２処理は感情分析、第３処理は事例の提示、をそれぞれ特定処理の結果として取得する。以下それぞれ説明する。

【0041】

処理部２９６は特定処理の第１処理として、対話データの要約を得るための指示を表すテキスト（指示文）と、対話データの文字起こしデータとを、データ生成モデル５８に入力し、データ生成モデル５８の出力に基づいて、要約を処理結果として取得する。第１処理では、具体的には、例えば、「以下の文章を要約してください」という指示文と共に、対話データの文字起こしデータを付加したプロンプト（第１プロンプト）を生成し、生成モデルに入力する。なお、要約の文字数の制約やトピックの抽出の指定を指示文に追加してもよい。トピックの抽出は例えば、特定のタスクに関する話題を重点的に抽出して要約するような指定である。これにより、第１ユーザが分析に重点を置く内容を要約として抽出できる。

【0042】

処理部２９６は特定処理の第２処理として、対話データにおける第２ユーザの感情分析結果を得るための指示文と、対話データの文字起こしデータとを、データ生成モデル５８に入力し、データ生成モデル５８の出力に基づいて、第２ユーザの感情の分析結果を取得する。図３Ｂに示す例では、対話データの前半及び後半のセクションに区切って感情の分析結果を取得している。前半では「negative」、後半では「positive」と判定している。また、前半及び後半でセクションごとにそれぞれ感情の分析結果のグラフは「楽しさ、驚き、恐れ、怒り、悲しみ、期待」の感情値を視覚化してレビューと共に示している。このように第２処理では、対話データを区切ったセクションごとに分析結果のグラフを可視化する。なお、セクションの区切りについては任意であり、長さに応じて前半、中盤、後半や、第１部～第ｎ部としたり、話題ごとに区切ってもよい。以下にこのような感情の分析結果を得るための入力の態様を説明する。

【0043】

第２処理では、具体的には、例えば、感情分析及び出力形式の指定の指示文と共に、出力形式のテンプレート、及び対話データの文字起こしデータを付加したプロンプト（第２プロンプト）を生成し、データ生成モデル５８に入力する。指示文は一例として「あなたは、世界でも有数の精神分析家です。次の文章をもとに心理分析してください。返答の出力形式は、以下に従うものとします。」というテキストとすることができる。以下は、出力形式のテンプレートの一例であり、ネガポジの判定、感情値について1～10の値の範囲での分析、及びレビューを出力する場合のテンプレートを示すものである。
[result] positive or negative [detail] joy:0～10 surprise:0～10 fear:0～10 anger:0～10 sadness:0～10 anticipation:0～10 [review]

【0044】

なお、上記の出力形式は一例であり、グラフに含める感情値の種類や値の範囲は任意に設定できる。例えば、感情値に、信頼（trust:0～10）、嫌悪（disgust:0～10）といった種類のパラメータを加えてもよい。また、分析パラメータはユーザの感情値だけでなく、仕事へのモチベーションや関心度といった業務自体を分析パラメータに設定してもよく、サービスに適合する任意の値の範囲を出力形式としてもよい。面接やカウンセリングの場面への適用を想定する場合、ユーザの性格診断を分析の対象として、内向性／外向性の値や性格類型ごとの適合値などの分析を出力形式としてもよい。上述したネガポジの判定、ユーザに関する感情や性格などの値の範囲が、本開示の分析パラメータの出力形式の一例である。また、図３Ｂのグラフはレーダーチャートを一例としたが、これに限定されるものではなく、他の形式、例えば棒グラフ、円グラフ、ヒートマップなど、任意のグラフに設定してもよい。

【0045】

処理部２９６は特定処理の第３処理として、第１ユーザから第２ユーザへの事例の提示を得るための指示文と、対話データの文字起こしデータとを、データ生成モデル５８に入力し、データ生成モデル５８の出力に基づいて、事例の提示を取得する。図３Ｃに示す例では、「フィードバック例」「次のアクション例」、「モチベーションを上げる方法」、「スキルアップする方法」を事例の提示として取得している。第３処理では、具体的には、例えば、「あなたは、上司です。以下の部下との会話からアドバイスとなる「〇〇」、「△△」・・・を与えてください」（カッコ内は事例の種類）という指示文と共に、対話データの文字起こしデータを付加したプロンプト（第３プロンプト）を生成し、データ生成モデル５８に入力する。なお、事例の種類はサービスに応じて任意の内容を設定すればよい。

【0046】

なお、処理部２９６は、ユーザの行動を含むユーザ状態をユーザ入力として受け付けて、特定処理を行うようにしてもよい。処理部２９６は、予め第２ユーザの行動を取得し、当該行動を元に指示文を生成することもできる。例えば、第２ユーザの残業時間の行動を取得して、「このユーザの平均残業時間は〇〇時間です。残業時間を考慮して〇〇の感情値を分析してください」などの条件を示すテキストを付加データとしてプロンプトの指示文に付加することが想定される。

【0047】

また、第２処理によるユーザの感情分析は、分析対象の第２ユーザに限らず、第１ユーザについて分析してもよい。例えば、双方のユーザについての感情を分析し、対話におけるユーザ同士の感情変化のプロセスが観察可能な態様としてもよい。第１ユーザについても感情を分析することにより、観察側の第１ユーザ自身の状態も考慮してフィードバックできるようになる。例えば、管理職や面接官といった第１ユーザの感情変化も分析すれば、第１ユーザ自身の面談や面接における対話が適切であるか（であったか）、及び対話で第２ユーザに対してどういった心証の傾向であったか等、をフィードバックすることも可能となる。

【0048】

出力部２９８は、スマートデバイス１４に対して、特定処理の結果を可視化して出力する。このとき、スマートデバイス１４は、特定処理の結果をディスプレイに出力し、図３Ａ～図３Ｃに例示したダッシュボードに分析結果として表示させる。出力部２９８は、第１処理及び第３処理については、要約及び前記事例の提示についてはテキストにより表示する。出力部２９８は、第２処理については、上記に例示した前半及び後半といったセクションごとに、分析結果として得られた感情値のグラフを含むように出力する。また、出力部２９８は表示以外の出力態様として、要約を音声出力したり、スマートデバイス１４にインストールされたメッセージアプリケーション宛てに、要約と分析結果のダッシュボードへのリンクを含むメッセージを送信するようにしてもよい。

【0049】

ここで本開示の技術に関する用語について「ユーザ入力」及び「入力データ」の態様について整理する。ユーザ入力は、スマートデバイス１４から取得されるデータであり、ユーザの分析のために入力されるデータである。ここでは、ユーザ入力を入力する主体は第１ユーザであり、第２ユーザを分析するために入力されるデータを指す。すなわち、ユーザ入力は、主には対話データであり、ユーザの任意の入力操作に応じて、条件付けのための付加データが含まれ得る。対話データは、上述した通り、対話の動画データ又は音声データである。次に、入力データは、データ生成モデル５８に入力して、所望の出力結果を得るために生成したプロンプトを指す。すなわち、入力データは、上述した第１プロンプト、第２プロンプト、及び第３プロンプトに相当する。また、前処理部２９６で対話データから抽出される文字起こしデータ、すなわち「対話データの文字起こしデータ」は、意義的に対話データから得られる情報を指すものである。よって、対話データの文字起こしデータが本開示の「ユーザ入力から得られる情報」の一例である。第１プロンプトは、要約を得るための指示文と共に、対話データの文字起こしデータを付加したプロンプトである。第２プロンプトの一例は、感情分析及び出力形式の指定の指示文と共に、出力形式のテンプレート、及び対話データの文字起こしデータを付加したプロンプトである。第３プロンプトは、事例の提示を得るための指示文と共に、対話データの文字起こしデータを付加したプロンプトである。以上のように、本開示の入力データである各種プロンプトは、所望の結果を得るために予め定めた指示文に、ユーザ入力から得られる情報（対話データの文字起こしデータ）を付加して生成される。以上のように、指示文と共にユーザ入力から得られる情報を付加してプロンプトを生成することが、本開示の「ユーザ入力から得られる情報を、入力データとしたとき」の一例である。また、第２プロンプトは、更に分析パラメータの出力形式のテンプレートも付加して生成される。

【0050】

図５は、特定処理部２９０が分析対象のユーザに関する特定処理を行う動作に関する動作フローの一例を概略的に示す。図５に示す動作フローは、例えば、一定時間の経過毎に、繰り返し自動的に実行される。なお、以下の第１～第３処理は並列に処理してもよい。

【0051】

ステップＳ３００で、入力部２９２は、ユーザ入力として対話データを取得する。

【0052】

ステップＳ３０２で、前処理部２９６は、対話データの文字起こしデータを抽出する。

【0053】

ステップＳ３０４で、処理部２９６は、予め定められたトリガ条件を満たすか否かを判定する。トリガ条件を満たす場合には、ステップＳ３０６へ進む。一方、トリガ条件を満たさない場合には、特定処理を終了する。トリガ条件を満たさない場合とは、ステップＳ３００の対話データの取得やステップＳ３０２の文字起こしデータの抽出の処理で、何らかの要因で処理が完了しなかった場合が想定される。トリガ条件を満たす場合、以下、特定処理として第１処理～第３処理を行う。

【0054】

ステップＳ３０６で、処理部２９６は、第１処理として、対話データの要約を得るための指示文と共に、対話データの文字起こしデータを付加した第１プロンプトを生成する。

【0055】

ステップＳ３０８で、処理部２９６は、第１処理として、生成した第１プロンプトを、生成モデルに入力し、生成モデルの出力に基づいて、要約の結果を取得する。

【0056】

ステップＳ３１０で、処理部２９６は、第２処理として、感情分析及び出力形式の指定の指示文と共に、出力形式のテンプレート、及び対話データの文字起こしデータを付加した第２プロンプトを生成する。

【0057】

ステップＳ３１２で、処理部２９６は、第２処理として、生成した第２プロンプトを、生成モデルに入力し、生成モデルの出力に基づいて、第２ユーザの感情の分析結果を取得する。

【0058】

ステップＳ３１４で、処理部２９６は、第３処理として、第１ユーザから第２ユーザへの事例の提示を得るため指示文と共に、対話データの文字起こしデータを付加した第３プロンプトを生成する。

【0059】

ステップＳ３１６で、処理部２９６は、第３処理として、生成した第３プロンプトを、生成モデルに入力し、生成モデルの出力に基づいて、事例の提示を取得する。

【0060】

ステップＳ３１８で、出力部２９８は、スマートデバイス１４に対して第１処理から第３処理の特定処理の結果を出力し、特定処理を終了する。本処理により、図３Ａ～図３Ｃに例示される表示を、特定処理の出力としてスマートデバイス１４のディスプレイ４０Ａに表示する。なお、出力部２９８の処理を逐次処理として、第１処理から第３処理が処理された順に表示するようにしてもよい。

【0061】

以上説明したように、データ処理装置１２では、コミュニケーションの改善に活用可能な分析結果を得ることができる。

【0062】

なお、上述した特定処理を実行するデータ処理装置１２を、コミュニケーション支援のために製造されたロボットに内蔵して実現してもよい。この場合には、スマートデバイス１４からロボットに対話データを送信して処理を実行すればよい。また、ロボット自体を自発的な対話が可能なエージェントとして、エージェントシステムとして対話に介在又は対話をする第１ユーザとなり、対話データを取得することを想定してもよい。

【0063】

また、スマートデバイス１４をウェアラブル端末とする場合、ウェアラブル端末を第１ユーザ又は第２ユーザが装着していることでリアルタイムの対話に介在し、対話中にリアルタイムに対話データを取得し、分析することを想定してもよい。

【0064】

また、スマートデバイス１４で操作可能なダッシュボードにおいて、リアルタイムに対話途中の対話データの取得及び分析することを選択可能としてもよい。リアルタイムの逐次処理により、対話中の対話途中の対話データを入力として、対話途中の要約、感情分析、及び事例の提示の特定処理の結果を取得し、スマートデバイス１４に出力してもよい。対話途中の対話データの区切りは、セクションの区切りを設定し、セクションごとにリアルタイムに分析すればよい。セクションの区切りは、例えば、（１）時間区切り、（２）ユーザによる操作区切り、及び（３）予め定めた対話中のキーワード区切り、等で区切るように設定できる。（２）操作区切りについては、セクションの開始及び終了の指定をダッシュボードのユーザからの操作で受け付けるようにすればよい。（３）対話中のキーワード区切りについては、セクションの開始キーワードと終了キーワードを設定しておき、対話データからセクションの開始と終了を抽出する。例えば、対話中に「では〇〇について始めます。（開始キーワード）」、「〇〇の質問を終わります（終了キーワード）」というキーワードが第１ユーザの発話に含まれていることを抽出し、セクションの開始と終了を決定すればよい。このように対話中にリアルタイムにユーザの分析結果をフィードバックすることで、対話中のコミュニケーションに分析結果を即時に反映することができる。また、リアルタイムな対話の分析結果が第１ユーザにフィードバックされることで、対話中のコミュニケーションの適正化や軌道修正を図ることもできる。

【0065】

（変形例）
なお、上述した実施形態では、処理部２９６における第２処理の感情分析にデータ生成モデル５８を用いる場合を例に説明したが、これに限定されるものではなく、感情特定モデル６０を用いてユーザの感情を分析してもよい。この場合、処理部２９６は、第１処理及び第３処理についてはデータ生成モデル５８を用い、第２処理については感情特定モデル６０を用いてユーザの感情を推定し、ユーザの感情の分析結果を取得すればよい。

【0066】

なお、感情特定モデル６０は、特定のマッピングに従い、ユーザの感情を決定できるモデルを一例とする。具体的には、感情特定モデル６０は、特定のマッピングである感情マップ（図６Ａ参照）に従い、ユーザの感情を決定してよい。例えば、リアルタイムの対話においてデータ処理システム１０を活用する場合、感情特定モデル６０を用いることで、分析対象のユーザの直感的な理解が可能となる。例えば、リアルタイムの対話データを感情特定モデル６０に入力して、ユーザの感情を分析することで、第２処理の感情の分析結果として、ダッシュボードに感情マップをリアルタイムに表示させることができる。これにより、対話中にユーザの感情の変化を即座に観察することができ、より円滑なコミュニケーションを促すことが可能となる。

【0067】

図６Ａは、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。

【0068】

これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。

【0069】

感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。

【0070】

ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図（音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文：https://ci.nii.ac.jp/naid/500000375379）に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。

【0071】

感情マップでは学習を促す感情が２つ定義される。１つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がユーザに生じたときである。もう１つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。

【0072】

感情特定モデル６０は、ユーザ入力を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザの感情を決定する。このニューラルネットワークは、ユーザ入力と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図６Ｂに示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図６Ｂでは、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。

【0073】

また、第２処理において、感情特定モデル６０で推定した感情値をプロンプトの条件に付与してデータ生成モデル５８への入力とし、レビューを生成してもよい。例えば、「これは次の文章のユーザの感情値です。感情値と文章をもとに心理分析してください。」という指示文を生成し、出力形式に[review]を指定してもよい。また、感情マップの感情値の変化やパターンに応じて対話データのセクションを区切ってもよい。このように、対話中のユーザの感情に着目してユーザを分析することもできる。以上が変形例の説明である。

【0074】

上記実施形態では、１台のコンピュータ２２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ２２を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。

【0075】

上記実施形態では、ストレージ３２に特定処理プログラム５６が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム５６がＵＳＢ（Universal Serial Bus）メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム５６は、データ処理装置１２のコンピュータ２２にインストールされる。プロセッサ２８は、特定処理プログラム５６に従って特定処理を実行する。

【0076】

また、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６を格納させておき、データ処理装置１２の要求に応じて特定処理プログラム５６がダウンロードされ、コンピュータ２２にインストールされるようにしてもよい。

【0077】

なお、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６の全てを格納させておいたり、ストレージ３２に特定処理プログラム５６の全てを記憶させたりしておく必要はなく、特定処理プログラム５６の一部を格納させておいてもよい。

【0078】

特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。

【0079】

特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、特定処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0080】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0081】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0082】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0083】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0084】

１０ データ処理システム
１２ データ処理装置
１４ スマートデバイス
５８ データ生成モデル
６０ 感情特定モデル
２９０ 特定処理部
２９２ 入力部
２９４ 前処理部
２９６ 処理部
２９８ 出力部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】