(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2026085604
(43)【公開日】2026-05-25
(54)【発明の名称】データ処理システム
(51)【国際特許分類】
G16H 50/30 20180101AFI20260518BHJP
【FI】
G16H50/30
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2024198349
(22)【出願日】2024-11-13
(71)【出願人】
【識別番号】591280485
【氏名又は名称】ソフトバンクグループ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】孫 正義
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA15
(57)【要約】
【課題】ユーザの生体データを収集するネックレス型端末及びデータ処理システムを提供する。
【解決手段】ネックレス型端末は、装着者の周辺を撮影するカメラと、前記装着者の生体データを検出するセンサと、マイクロフォンと、前記カメラ、前記センサ、及び前記マイクロフォンの各々の出力を収集する収集部と、を備える。リアクティブ機能(通常特定処理)に加え、ユーザ20の健康状態をより効果的に守るため、異常が発生する前にリスクを予測し、早期に介入するプロアクティブ・インターベンション機能と、ユーザ20の過去のデータや行動パターンを学習する学習機能を持たせ(予測モード特定処理)、ユーザ20個々に適した対応を行うことができる。
【選択図】
図10
【特許請求の範囲】
【請求項1】
装着者の生体データ及び周囲の環境データを検出するセンサを備えた装着型デバイスと、前記センサからの出力データ、及び当該出力データに基づく前記装着者の健康状態に関する応答を要求するプロンプトを受け付けるデータ処理装置と、を備えたデータ処理システムであって、
前記データ処理装置は、
前記センサの出力データを解析して、前記装着者の健康状態に関するリスクスコアを予測し、リスク度合いに応じた注意喚起データを設定するプロアクティブ・インターベンション処理部と、
前記プロアクティブ・インターベンション処理部で設定された注意喚起データを、前記プロンプトの応答として前記装着型デバイスを介して前記装着者へ提供する提供部と、
を有するデータ処理システム。
【請求項2】
前記生体データを検出するセンサが、心拍数センサ、血圧センサ、血中酸素センサ、体温センサ、呼吸パターンセンサの少なくとも1つを含み、
前記環境データを検出するセンサが、位置センサ、温度センサ、湿度センサの少なくとも1つを含む、請求項1記載のデータ処理システム。
【請求項3】
前記データ処理装置が、前記装着者の生体データ及び行動パターンデータを含む過去データを格納するデータベースをさらに有し、
プロアクティブ・インターベンション処理部は、前記センサからの出力データ、及び前記データベースに格納された過去データを併用して、前記装着者の前記健康状態に関する応答を取得する、請求項1記載のデータ処理システム。
【請求項4】
前記プロンプトが、
前記装着型デバイスに設けられたマイクロフォンから入力される前記装着者の音声データ、又は、前記センサの出力データの数値判定に基づく、予測モード特定処理の実行に起因して生成される、請求項1記載のデータ処理システム。
【請求項5】
前記装着型デバイスが、前記提供部から提供される応答を出力するスピーカをさらに含む、請求項1記載のデータ処理システム。
【請求項6】
前記応答が、健康状態の異常を示す場合に、関連するすべてのデータを自動的に保存し、かつ、詳細な解析又は医療機関へ提供を行う、請求項1記載のデータ処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、データ処理システムに関する。
【背景技術】
【0002】
特許文献1には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話をチャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと、前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら従来技術では、ユーザの生体データを収集する上で改善の余地がある。
【課題を解決するための手段】
【0005】
本開示の技術に係る第1の態様は、装着者の生体データ及び周囲の環境データを検出するセンサを備えた装着型デバイスと、前記センサからの出力データ、及び当該出力データに基づく前記装着者の健康状態に関する応答を要求するプロンプトを受け付けるデータ処理装置と、を備えたデータ処理システムであって、前記データ処理装置は、前記センサの出力データを解析して、前記装着者の健康状態に関するリスクスコアを予測し、リスク度合いに応じた注意喚起データを設定するプロアクティブ・インターベンション処理部と、前記プロアクティブ・インターベンション処理部で設定された注意喚起データを、前記プロンプトの応答として前記装着型デバイスを介して前記装着者へ提供する提供部と、を有するデータ処理システムである。
【0006】
本開示の技術に係る第2の態様は、第1の態様のデータ処理システムにおいて、前記生体データを検出するセンサが、心拍数センサ、血圧センサ、血中酸素センサ、体温センサ、呼吸パターンセンサの少なくとも1つを含み、前記環境データを検出するセンサが、位置センサ、温度センサ、湿度センサの少なくとも1つを含む、ことを特徴としている。
【0007】
本開示の技術に係る第3の態様は、第1の態様又は第2の態様のデータ処理システムにおいて、前記データ処理装置が、前記装着者の生体データ及び行動パターンデータを含む過去データを格納するデータベースをさらに有し、プロアクティブ・インターベンション処理部は、前記センサからの出力データ、及び前記データベースに格納された過去データを併用して、前記装着者の前記健康状態に関する応答を取得する、ことを特徴としている。
【0008】
本開示の技術に係る第4の態様は、第1の態様~第3の態様の何れか1つのデータ処理システにおいて、前記プロンプトが、前記装着型デバイスに設けられたマイクロフォンから入力される前記装着者の音声データ、又は、前記センサの出力データの数値判定に基づく、予測モード特定処理の実行に起因して生成される、ことを特徴としている。
【0009】
本開示の技術に係る第5の態様は、第1の態様から第4の態様の何れか1つデータ処理システムにおいて、前記装着型デバイスが、前記提供部から提供される応答を出力するスピーカをさらに含む、ことを特徴としている。
【0010】
本開示の技術に係る第6の態様は、第1の態様から第5の態様の何れか1つデータ処理システムにおいて、前記応答が、健康状態の異常を示す場合に、関連するすべてのデータを自動的に保存し、かつ、詳細な解析又は医療機関へ提供を行う、ことを特徴としている。
【図面の簡単な説明】
【0011】
【
図1】第1の実施の形態に係るデータ処理システムの構成の一例を示す概念図である。
【
図2】第1の実施の形態に係るデータ処理装置及びネックレス型端末の要部機能の一例を示す概念図である。
【
図3】第1の実施の形態に係るネックレス型端末の構成を示す側面図である。
【
図4】第1の実施の形態に係るネックレス型端末の構成を示す上面図である。
【
図5】第1の実施の形態に係るネックレス型端末の制御部の機能構成を概略的に示す。
【
図6】第1の実施の形態に係るデータ処理装置の特定処理部の機能構成を概略的に示す。
【
図7】第1の実施の形態に係るデータ処理装置による特定処理の動作フローの一例を概略的に示す。
【
図8】第2の実施の形態に係るデータ処理装置の特定処理部の機能構成を概略的に示す。
【
図9】第2の実施の形態に係るデータ処理装置による特定処理の動作フローの一例を概略的に示す。
【
図10】
図9のステップS303の詳細を示すサブルーチンフローチャートである。
【発明を実施するための形態】
【0012】
以下、添付図面に従って本開示の技術に係るデータ処理装置、データ処理方法、及びプログラムの実施の形態の一例について説明する。
【0013】
先ず、以下の説明で使用される文言について説明する。
【0014】
以下の実施の形態において、符号付きのプロセッサ(以下、単に「プロセッサ」と称する)は、1つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、1種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-Purpose computing on Graphics Processing Units)、又はAPU(Accelerated Processing Unit)等が挙げられる。
【0015】
以下の実施の形態において、符号付きのRAM(Random Access Memory)は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。
【0016】
以下の実施の形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する1つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ(SSD(Solid State Drive))、磁気ディスク(例えば、ハードディスク)、又は磁気テープ等が挙げられる。
【0017】
以下の実施の形態において、符号付きの通信I/F(Interface)は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信I/Fは、複数のコンピュータ間での通信を司る。通信I/Fに対して適用される通信規格の一例としては、5G(5th Generation Mobile Communication System)、Wi-Fi(登録商標)、又はBluetooth(登録商標)等を含む無線通信規格が挙げられる。
【0018】
以下の実施の形態において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
【0019】
(第1の実施の形態)
図1には、第1の実施の形態に係るデータ処理システム10の構成の一例が示されている。
【0020】
図1に示すように、データ処理システム10は、データ処理装置12及びネックレス型端末14を備えている。データ処理装置12の一例としては、サーバが挙げられる。第1の実施の形態において、
【0021】
データ処理装置12は、コンピュータ22、データベース24、及び通信I/F26を備えている。コンピュータ22は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ22は、プロセッサ28、RAM30、及びストレージ32を備えている。プロセッサ28、RAM30、及びストレージ32は、バス34に接続されている。また、データベース24及び通信I/F26も、バス34に接続されている。通信I/F26は、ネットワーク53に接続されている。ネットワーク53の一例としては、WAN(Wide Area Network)及び/又はLAN(Local Area Network)等が挙げられる。
【0022】
ネックレス型端末14は、コンピュータ36、マイクロフォン38、センサ39、スピーカ40、カメラ42、及び通信I/F44を備えている。コンピュータ36は、プロセッサ46、RAM48、及びストレージ50を備えている。プロセッサ46、RAM48、及びストレージ50は、バス52に接続されている。また、マイクロフォン38、スピーカ40、及びカメラ42も、バス52に接続されている。
【0023】
ネックレス型端末14の装着者であるユーザ20は、例えば、健康状態の診断対象である患者であってもよいし、通常のユーザ20であってもよい。
【0024】
マイクロフォン38は、ネックレス型端末14の装着者であるユーザ20が発する音声、及びユーザ20周辺の音を収集する。また、マイクロフォン38は、ユーザ20が発する音声を受け付けることで、ユーザ20から指示等を受け付ける。マイクロフォン38は、ユーザ20が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ46に出力する。スピーカ40は、プロセッサ46からの指示に従って音声を出力する。スピーカ40は、例えば、指向性スピーカであり、ユーザ20の耳に向かって音声を出力する。
【0025】
センサ39は、ネックレス型端末の装着者であるユーザ20の生体データを検出するセンサである。例えば、センサ39は、心拍数センサ、血圧センサ、血中酸素センサ、体温センサ、呼吸パターンセンサの少なくとも1つを含む。
【0026】
カメラ42は、レンズ、絞り、及びシャッタ等の光学系と、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ20の周囲(例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲)を撮像する。
【0027】
通信I/F44は、ネットワーク53に接続されている。通信I/F44及び26は、ネットワーク53を介してプロセッサ46とプロセッサ28との間の各種情報の授受を司る。
【0028】
図2には、データ処理装置12及びネックレス型端末14の要部機能の一例が示されている。
【0029】
図2に示すように、データ処理装置12では、プロセッサ28によって特定処理が行われる。ストレージ32には、特定処理プログラム56が格納されている。プロセッサ28は、ストレージ32から特定処理プログラム56を読み出し、読み出した特定処理プログラム56をRAM30上で実行する。特定処理は、プロセッサ28がRAM30上で実行する特定処理プログラム56に従って特定処理部290として動作することによって実現される。
【0030】
ストレージ32には、データ生成モデル58が格納されている。データ生成モデル58は、特定処理部290によって用いられる。また、ストレージ32は、データ蓄積部54を含む。
【0031】
ネックレス型端末14では、プロセッサ46によってデータ収集処理が行われる。ストレージ50には、データ収集プログラム60が格納されている。プロセッサ46は、ストレージ50からデータ収集プログラム60を読み出し、読み出したデータ収集プログラム60をRAM48上で実行する。データ収集処理は、プロセッサ46がRAM48上で実行するデータ収集プログラム60に従って、制御部46Aとして動作することによって実現される。
【0032】
ネックレス型端末14は、
図3、
図4に示すように、複数のマイクロフォン38と、複数のセンサ39と、複数のスピーカ40と、複数のカメラ42とを備えている。
図3、
図4では、ユーザ20(
図1参照)がネックレス型端末14を装着したときに、ユーザ20の前側に位置するように2つのマイクロフォン38が配置される例を示している。また、ユーザ20がネックレス型端末14を装着したときに、ユーザ20の右側、左側にそれぞれ位置するように2つのセンサ39が配置される例を示している。ユーザ20がネックレス型端末14を装着したときに、ユーザ20の右後側、左後側に位置するように2つのスピーカ40が配置される例を示している。ユーザ20がネックレス型端末14を装着したときに、ユーザ20の右前側、左前側に位置するように2つのカメラ42が配置される例を示している。ユーザ20がネックレス型端末14を装着したときに、ユーザ20の首部に接触するように、2つのセンサ39が、ネックレス型端末14の内側に配置される例を示している。
【0033】
次に、ネックレス型端末14がデータを収集するデータ収集処理を行う際の、
図2に示した制御部46Aの処理について、
図5を用いて詳細に説明する。
【0034】
第1の実施の形態におけるデータ収集処理では、ユーザ20の生体データをリアルタイムで収集する。また、生体データに限らず、ユーザ20の周囲の全ての状況データを収集する。これにより、例えば、アルツハイマー、認知症などの初期の兆候を捉える事が可能になる。また、ユーザ20の健康状態(例えば、心臓疾患)をモニター出来る。
【0035】
制御部46Aは、
図5に示すように、データ収集部100及び通信部102を備えている。
【0036】
データ収集部100は、マイクロフォン38、センサ39、及びカメラ42の各々の出力を収集する。
【0037】
通信部102は、データ収集部100によって収集したマイクロフォン38、センサ39、及びカメラ42の各々の出力を、データ処理装置12へ送信する。
【0038】
次に、データ処理装置12がユーザ発話に対応する応答を取得する特定処理を行う際の、
図2に示した特定処理部290の処理について、
図6を用いて詳細に説明する。
【0039】
第1の実施の形態における特定処理では、ネックレス型端末14のマイクロフォン38で収音したユーザ発話に対応する応答を、データ生成モデル58を用いて取得する。
【0040】
特定処理部290は、
図6に示すように、入力部292、処理部294、及び出力部296を備えている。
【0041】
入力部292は、ネックレス型端末14から受信した、マイクロフォン38、センサ39、及びカメラ42の各々の出力を、データ蓄積部54(
図2参照)に格納する。
【0042】
入力部292は、ネックレス型端末14で受け付けたユーザ発話を取得する。具体的には、ネックレス型端末14のマイクロフォン38で収音したユーザ発話を取得する。
【0043】
処理部294は、データ生成モデル58(
図2参照)を用いた特定処理を行う。具体的には、データ生成モデル58に、ユーザ発話を含むプロンプトを入力し、生成結果を得る。このとき、データ収集部100によって収集したセンサ39、及びカメラ42の各々の出力をプロンプトに更に含めてもよい。
【0044】
出力部296は、特定処理の結果をネックレス型端末14に送信する。ネックレス型端末14では、制御部46Aが、スピーカ40に対して特定処理の結果を出力させる。このように、マイクロフォン38によって収音したユーザ発話に対応する応答が、スピーカ40によりユーザ20に対して出力される。マイクロフォン38は、更に、特定処理の結果に対するユーザ発話を取得する。制御部46Aは、マイクロフォン38によって取得されたユーザ発話を示す音声データをデータ処理装置12に送信する。データ処理装置12では、特定処理部290がユーザ発話を取得する。
【0045】
データ生成モデル58は、いわゆる生成系AI(Artificial Intelligence)である。データ生成モデル58の一例としては、ChatGPT(登録商標)(インターネット検索<URL: https://openai.com/blog/chatgpt>)、Gemini(登録商標)(インターネット検索<URL: https://gemini.google.com/?hl=ja>)等の生成系AIが挙げられる。データ生成モデル58は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル58には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル58は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び/又は要約等を指す。
【0046】
データ蓄積部54に格納された、マイクロフォン38、センサ39、及びカメラ42の各々の出力は、例えば、ユーザ20の健康状態を診断するために用いられる。この場合には、データ蓄積部54に格納された、マイクロフォン38、センサ39、及びカメラ42の各々の出力は、医療機関側の端末に送信されてもよい。あるいは、データ処理装置12が、データ蓄積部54に格納された、マイクロフォン38、センサ39、及びカメラ42の各々の出力を解析して、ユーザ20の健康状態を診断してもよい。
【0047】
次に、データ処理システム10の作用について説明する。まず、データ収集処理の流れの一例について説明する。
【0048】
ユーザ20がネックレス型端末14を装着しているときに、データ収集部100は、マイクロフォン38、センサ39、及びカメラ42の各々の出力を逐次収集する。通信部102は、データ収集部100によって収集したマイクロフォン38、センサ39、及びカメラ42の各々の出力を、逐次、データ処理装置12へ送信する。
【0049】
次に、特定処理の流れの一例について
図7を参照しながら説明する。ここで、データ処理装置12の入力部292は、ネックレス型端末14から受信した、マイクロフォン38、センサ39、及びカメラ42の各々の出力を逐次取得し、データ蓄積部54に格納しているものとする。
【0050】
ステップS300で、処理部294は、予め定められたトリガ条件を満たすか否かを判定する。具体的には、マイクロフォン38によって収音したユーザ発話に、特定の単語(例えば、ネックレス型端末14が搭載するエージェントの名前)又はフレーズ(例えば、「ハイ!〇〇」(〇〇は、エージェントの名前))が含まれていることを、トリガ条件としてもよい。
【0051】
ステップS300で、トリガ条件を満たす場合には(ステップS300;Yes)、データ処理システム10はステップS301へ進む。一方、ステップS300で、トリガ条件を満たさない場合には(ステップS300;No)、データ処理システム10は特定処理を終了する。
【0052】
ステップS301で、処理部294は、マイクロフォン38によって収音したユーザ発話を表すテキストに、特定処理の結果を得るための指示文を追加して、プロンプトを生成する。
【0053】
例えば、「ユーザが以下のように発話しています。〇〇〇。エージェントとして回答してください。」(〇〇〇はユーザ発話である。)というプロンプトを生成する。あるいは、センサ39、及びカメラ42の各々の出力をプロンプトに追加し、「これはユーザの心拍を表す生体データと、ユーザの周辺を表す映像データです。また、ユーザが以下のように発話しています。〇〇〇。エージェントとして回答してください。」(〇〇〇はユーザ20の発話である。)というプロンプトを生成する。
【0054】
ステップS303で、処理部294は、生成したプロンプトを、データ生成モデル58に入力し、データ生成モデル58の出力に基づいて、特定処理の結果を取得する。
【0055】
ステップS304で、出力部296は、ネックレス型端末14に対して特定処理の結果を出力し、特定処理を終了する。
【0056】
(第2の実施の形態)
以下に、本開示に係る第2の実施の形態について説明する。なお、第2の実施の形態は、第1の実施の形態として説明した、
図1及び
図2のデータ処理システム10と同一のシステム構成であるので、
図1及び
図2を、第2の実施の形態に係るデータ処理システム10として採用し、同一構成部分は、同一の符号を用いて説明する。
【0057】
第1の実施の形態では、ユーザ20の生体データ及び状況データをリアルタイムで収集し、アルツハイマー、認知症などの初期の兆候を捉え、また、ユーザ20の健康状態(例えば、心臓疾患)をモニターする構成としている。言い換えれば、第1の実施の形態のネックレス型端末14は、例えば、異常が発生してから対応する、所謂「リアクティブ」な機能を備え、ユーザ20の健康状態等を監視している。
【0058】
これに対して、第2の実施の形態では、データ処理システム10が、ユーザ20の健康状態をより効果的に守るため、異常が発生する前にリスクを予測し、早期に介入する、所謂「プロアクティブ・インターベンション」機能を備えた構成となっている。また、第2の実施の形態のデータ処理システム10は、ユーザ20の過去のデータや行動パターンを学習する学習機能を備える。
【0059】
なお、以下において、特定処理部290で実行する特定処理を、リアクティブ機能を実行する場合を通常特定処理、プロアクティブ・インターベンション機能を実行する場合を予測モード特定処理として区別する。
【0060】
第2の実施の形態において、ネックレス型端末14に取り付けられたセンサ39は、生体データを検出するセンサと、ユーザ周囲の環境データを検出するセンサで構成されている。
【0061】
生体データを検出するセンサは、心拍センサ、血中酸素センサ、血圧センサ、体温センサ、呼吸パターン検出センサの少なくとも1つを含む。また、環境データを検出するセンサは、位置センサ、温度センサ、湿度センサの少なくとも1つを含む。
【0062】
なお、各センサは1箇所に集中する必要はなく、必要に応じて、ネックレス型端末14の他の部位、或いは、無線機器を介して、ユーザ20の体における、手首、足首、及び胸等、最も目的のデータを収集し易い位置に配置してもよい。
【0063】
図8は、第2の実施の形態に係る特定処理部290Aの機能構成について、詳細に説明する。
【0064】
第2の実施の形態における特定処理部290Aは、入力部292A、処理部294A、及び出力部296Aを備える。処理部294は、プロアクティブ・インターベンション機能を備える。
【0065】
入力部292Aには、ネックレス型端末14の制御部46Aのデータ収集処理で収集した、マイクロフォン38、センサ39、及びカメラ42の各々の出力に基づく、ユーザ20の生体データとして、ユーザ20の心拍数、血圧、体温、及び呼吸パターン等をリアルタイムが入力される。また、生体データに限らず、ユーザ20の周囲の全ての状況データが入力される。
【0066】
また、入力部292Aには、データ蓄積部54に蓄積されたユーザ20の過去のセンサデータや行動パターンデータが入力される。
【0067】
処理部294Aは、データ生成モデル58(
図2参照)を用いた特定処理(通常特定処理)を行う。具体的には、データ生成モデル58に、ユーザ発話を含むプロンプトを入力し、生成結果を得る。このとき、データ収集部100によって収集したセンサ39、及びカメラ42の各々の出力をプロンプトに更に含めてもよい。
【0068】
また、処理部294Aでは、プロアクティブ・インターベンション機能を用いた特定処理予測特定処理)を行う。予測特定処理では、入力部292Aを介して収集したユーザ20の生体データ及び状況データ、及び、データ蓄積部54(
図2参照)に格納されたユーザ20の過去のセンサデータや行動パターンデータに基づいて、ユーザ20の健康に関する潜在的なリスクを予測し(予測モードの実行)、当該リスクに関して早期に介入するための行動パターン(例えば、リスク回避行動の助言、注意喚起等)を解析することを指示するプロンプトをデータ生成モデル58に入力し、行動パターンの解析結果を取得する。例えば、入力部292Aを介して収集したユーザ20の生体データ及び状況データ、及び、データベース蓄積部54(
図2参照)に格納されたユーザ20の過去の行動パターンデータを、データ生成モデル58に入力すると共に、「これはユーザの生体データ、状況データ、及び過去の行動パターンデータです。ユーザの健康に関する潜在的なリスクを予測し、当該リスクに関して早期に介入するための注意喚起を生成してください。」というプロンプトをデータ生成モデル58に入力する。これにより、データ生成モデル58から、「認知症のリスクがありますので、認知症を予防するための行動習慣を心がけてください。」という注意喚起が生成される。
【0069】
これにより、ユーザ個別の生活環境に応じたアルツハイマー、認知症の兆候を、罹患前(初期の兆候以前)に捉える事が可能になる。
処理部294Aで解析された行動パターンは、出力部296Aへ送出される。
【0070】
次に、第2の実施の形態の作用について説明する。まず、データ収集処理の流れの一例について説明する。
【0071】
ユーザ20がネックレス型端末14を装着しているときに、データ収集部100は、マイクロフォン38、センサ39、及びカメラ42の各々の出力を逐次収集する。このとき、第2の実施の形態の特徴として、心拍センサ、血中酸素センサ、血圧センサ、体温センサ、呼吸パターン検出センサを含む生体センサの集合体であるセンサ39から検出した各種データ(心拍数、血中酸素、体温、呼吸パターン等)を収集する。通信部102は、データ収集部100によって収集したマイクロフォン38、センサ39、及びカメラ42の各々の出力を、逐次、データ処理装置12へ送信する。
【0072】
次に、特定処理の流れの一例について
図9を参照しながら説明する。ここで、データ処理装置12の入力部292は、ネックレス型端末14から受信した、マイクロフォン38、センサ39、及びカメラ42の各々の出力を逐次取得し、データ蓄積部54に格納しているものとする。
【0073】
ステップS300Aで、処理部294は、予め定められたトリガ条件を満たすか否かを判定する。具体的には、マイクロフォン38によって収音したユーザ発話に、特定の単語(例えば、ネックレス型端末14が搭載するエージェントの名前)又はフレーズ(例えば、「ハイ!〇〇」(〇〇は、エージェントの名前))が含まれていることを、トリガ条件としてもよい。
【0074】
ステップS300Aで、トリガ条件を満たす場合には(ステップS300A;Yes)、データ処理システム10はステップS301へ進む。一方、ステップS300Aで、トリガ条件を満たさない場合には(ステップS300A;No)、データ処理システム10は特定処理を終了する。
【0075】
ステップS301Aで、処理部294は、マイクロフォン38によって収音したユーザ発話を表すテキストに、特定処理の結果を得るための指示文を追加して、プロンプトを生成する。
【0076】
例えば、「ユーザが以下のように発話しています。〇〇〇。エージェントとして回答してください。」(〇〇〇はユーザ発話である。)というプロンプトを生成する。あるいは、センサ39、及びカメラ42の各々の出力をプロンプトに追加し、「これはユーザの生体データと、ユーザの周辺を表す映像データです。また、ユーザが以下のように発話しています。〇〇〇。エージェントとして回答してください。」(〇〇〇はユーザ発話である。)というプロンプトを生成する。このとき、ユーザ20の発話として、「将来的に、何か体調に支障を来す兆候はある?」とすれば、緊急的トリガ条件が成立したとしてプロアクティブ・インターベンション機能が実行され、通常特定処理(通常モード)から予測特定処理(予測モード)に移行することができる。
【0077】
予測モードでは、プロアクティブ・インターベンション機能を用いて、収集したユーザ20の生体データ及び状況データ、及び、データ蓄積部54に格納されたユーザ20の過去のセンサデータや行動パターンデータに基づいて、ユーザ20の健康に関する潜在的なリスクを予測する。
【0078】
また、上記のように、緊急的トリガ条件は、収集したユーザ20の生体データ及び状況データが所定条件を満たした場合に成立させ、ユーザ発話に関わらず、予測モードに入ってもよい。
【0079】
ステップS303Aで、処理部294は、生成したプロンプトを、データ生成モデル58に入力し、データ生成モデル58の出力に基づいて、通常特定処理(第1の実施の形態に準ずる通常特定モードの実行)又は予測特定処理(予測モードの実行)の結果を取得する。
【0080】
予測モードにおいては、リスクに関して早期に介入するための行動パターン(例えば、リスク回避行動の助言、注意喚起等)を解析することを指示するプロンプトを、データ生成モデル58に入力し、行動パターンの解析結果を取得する。
【0081】
図10は、
図8のステップ303Aの詳細処理をサブルーチンフローで示す。
ステップ303Aでは、プロンプトが予測モードであるか否かを判断する。ステップ303Aで否定判定された場合は、ステップ303Bへ移行して、第1の実施の形態で詳細に説明した特定処理を実行し、リターンする。また、ステップ303Aで肯定判定された場合は、ステップ303Cへ移行して、第2の実施の形態に係る予測モード特定処理(プロアクティブ・インターベンション機能)を実行し、リターンする。
【0082】
ステップS304Aで、出力部296は、ネックレス型端末14に対して特定処理の結果を出力し、特定処理を終了する。
【0083】
以上説明したように、第2の実施の形態では、第1の実施の形態のリアクティブ機能(通常特定処理)に加え、ユーザ20の健康状態をより効果的に守るため、異常が発生する前にリスクを予測し、早期に介入するプロアクティブ・インターベンション機能と、ユーザ20の過去のデータや行動パターンを学習する学習機能を持たせ(予測モード)、ユーザ20個々に適した対応を行うことができる。
【0084】
なお、本実施の形態では、予測モード特定処理において、応答をユーザ20に対して行ったが、データ処理装置12に、健康状態の異常を示す場合に、関連するすべてのデータを自動的に保存し、かつ、詳細な解析又は医療機関へ提供を行うリアルタイムデータログ処理機能を持たせるようにしてもよい。
【0085】
以上、本開示に係るシステムをデータ処理装置12の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザ20に対して提供されてもよい。
【0086】
上記実施の形態では、1台のコンピュータ22によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ22を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。
【0087】
上記実施の形態では、ストレージ32に特定処理プログラム56が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム56がUSB(Universal Serial Bus)メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム56は、データ処理装置12のコンピュータ22にインストールされる。プロセッサ28は、特定処理プログラム56に従って特定処理を実行する。
【0088】
また、ネットワーク53を介してデータ処理装置12に接続されるサーバ等の格納装置に特定処理プログラム56を格納させておき、データ処理装置12の要求に応じて特定処理プログラム56がダウンロードされ、コンピュータ22にインストールされるようにしてもよい。
【0089】
なお、ネットワーク53を介してデータ処理装置12に接続されるサーバ等の格納装置に特定処理プログラム56の全てを格納させておいたり、ストレージ32に特定処理プログラム56の全てを記憶させたりしておく必要はなく、特定処理プログラム56の一部を格納させておいてもよい。
【0090】
特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA(Field-Programmable Gate Array)、PLD(Programmable Logic Device)、又はASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。
【0091】
特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、特定処理を実行するハードウェア資源は1つのプロセッサであってもよい。
【0092】
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
【0093】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0094】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0095】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0096】
10 データ処理システム
12 データ処理装置
14 ネックレス型端末(装着型デバイス)
38 マイクロフォン
39 センサ
40 スピーカ
42 カメラ
46A 制御部
54 データ蓄積部(データベース)
100 データ収集部
102 通信部
290 特定処理部(プロアクティブ・インターベンション処理部)
292 入力部
294 処理部
296 出力部(提供部)