特開 2024-62266 共感支援システム、共感支援装置、及び共感支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024062266

(43)【公開日】2024-05-09

(54)【発明の名称】共感支援システム、共感支援装置、及び共感支援プログラム

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20240430BHJP

   G06F 3/16 20060101ALI20240430BHJP

   G06F 3/01 20060101ALI20240430BHJP

【ＦＩ】

G06F3/0484

G06F3/16 650

G06F3/16 690

G06F3/01 570

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022170143

(22)【出願日】2022-10-24

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「ソーシャル・シグナルの共有・拡張技術と共感的行動の支援」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】鈴木 健嗣

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA46

5E555AA48

5E555BA01

5E555BA04

5E555BB01

5E555BB04

5E555BC04

5E555CA42

5E555CA47

5E555CB22

5E555CB64

5E555CB65

5E555CB66

5E555CB67

5E555DA13

5E555DA23

5E555DB32

5E555EA03

5E555EA05

5E555EA22

5E555FA00

(57)【要約】      （修正有）

【課題】人の共感的行動を引き出す共感支援システム、共感支援装置及び共感支援プログラを提供する。
【解決手段】共感支援システム１は、ユーザの注意を喚起する第１刺激を生成する刺激生成部２１６と、第１刺激に対するユーザの第１反応を検知する検知部２２２と、反応と応答の連鎖を表す共感支援モデル２３２と、共感支援モデル２３２に基づいて第１反応に対する第１応答を選択し、出力する応答選択部２１８と、第１反応が共感的反応か非共感的反応かを判断する共感反応判断部２１７と、を有する。応答選択部２１８はさらに、第１反応が共感的反応である場合に、共感性を維持または促進する共感維持促進応答を第１応答として出力し、第１反応が非共感的反応である場合に、共感性を誘発する共感誘発応答を第１応答として出力する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの注意を喚起する第１刺激を生成する刺激生成部と、
前記第１刺激に対する前記ユーザの第１反応を検知する検知部と、
反応と応答の連鎖を表す共感支援モデルと、
前記共感支援モデルに基づいて、前記第１反応に対する第１応答を選択し、出力する応答選択部と、
を有する共感支援システム。

【請求項2】

前記第１反応が共感的反応か非共感的反応かを判断する共感反応判断部、
を有し、前記応答選択部は、前記第１反応が前記共感的反応である場合に、共感性を維持または促進する共感維持促進応答を前記第１応答として出力し、前記第１反応が前記非共感的反応である場合に、共感性を誘発する共感誘発応答を前記第１応答として出力する、
請求項１に記載の共感支援システム。

【請求項3】

前記第１刺激、前記第１反応、及び前記第１応答を前記共感支援モデルに記録する記録部、を有し、
前記刺激生成部は前記共感支援モデルを参照して前記第１刺激を選択する、
請求項１に記載の共感支援システム。

【請求項4】

前記検知部は、前記第１応答に対する前記ユーザの第２反応を検知し、
前記記録部は、前記第２反応を前記共感支援モデルに記録し、
前記応答選択部は、前記共感支援モデルを参照して、前記第２反応に対する第２応答を選択する、
請求項３に記載の共感支援システム。

【請求項5】

前記共感支援モデルを保存するメモリまたはデータベース、
を有する請求項１から４のいずれか１項に記載の共感支援システム。

【請求項6】

プロセッサと、
メモリと、
を有し、
前記プロセッサは、ユーザの注意を喚起する第１刺激を生成する刺激生成部、前記第１刺激に対する前記ユーザの第１反応を検知する検知部、及び反応と応答の連鎖を表す共感支援モデルに基づいて前記第１反応に対する第１応答を選択し出力する応答選択部、として機能する、
を有する共感支援装置。

【請求項7】

前記プロセッサは、前記第１反応が共感的反応か非共感的反応かを判断する共感反応判断部、として機能し、
前記応答選択部は、前記第１反応が前記共感的反応である場合に、共感性を維持または促進する共感維持促進応答を前記第１応答として出力し、前記第１反応が前記非共感的反応である場合に、共感性を誘発する共感誘発応答を前記第１応答として出力する、
請求項６に記載の共感支援装置。

【請求項8】

前記メモリは、前記共感支援モデルを保存する、
請求項６または７に記載の共感支援装置。

【請求項9】

共感支援装置にインストールされて、プロセッサに
（ａ）ユーザの注意を喚起する第１刺激を生成する手順と、
（ｂ）前記第１刺激に対するユーザの第１反応を検知する手順と、
（ｃ）反応と応答の連鎖を表す共感支援モデルに基づいて、前記第１反応に対する第１応答を選択し出力する手順と、
を実行させる共感支援プログラム。

【請求項10】

前記プロセッサに、
（ｄ）前記第１反応が共感的反応か非共感的反応かを判断する手順と、
（ｅ）前記第１反応が前記共感的反応である場合に、共感性を維持または促進する共感維持促進応答を前記第１応答として出力し、前記第１反応が前記非共感的反応である場合に、共感性を誘発する共感誘発応答を前記第１応答として出力する手順と、
を実行させる請求項９に記載の共感支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の共感的行動を誘発・促進する共感支援システム、共感支援装置、及び共感支援プログラムに関する。

【背景技術】

【0002】

従来から、人と対話を行うシステムが開発されている（たとえば、特許文献１－３参照）。ロボットを用いたセラピー（たとえば、非特許文献１参照）や、ロボットで人に癒しを与える試みも行われている。対話システムやロボットは、コミュニケーションを促し、他者や社会とのかかわり合いを支援するのに有益である。

【0003】

現代社会では、発達障害や自閉スペクトラム症が増えているといわれている。発達障害や自閉スペクトラム症などの疾患をもつ人だけではなく、一人暮らしの高齢者、長期にわたる在宅勤務でストレスを抱える人など、共感性（empathy）が低下した人が増えている。共感性は「思いやり」と言い換えてもよく、たとえば、他者を助けようとするときにその行動をとるきっかけとなる感情のことである。共感性が乏しいと、共感的行動をとりにくい。共感的行動とは、他者の行動を認知し、認知した行動に対して感情をともなって反応することである。共感的行動は、子供の感情発達や、人間関係及び社会関係に影響する。共感的行動を引き出すことで、向社会的傾向を高め、ひいては、人間関係や社会関係を改善することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６９９３３１４号

【特許文献2】特開２０２１－１１７３７１号公報

【特許文献3】特許第６９７０４１３号

【非特許文献】

【0005】

【非特許文献1】S. Kim et al., "Smiles as a Signal of Prosocial Behaviors Toward the Robot in the Therapeutic Setting for Children With Autism Spectrum Disorder", frontiers in Robotics and AI, May 2021, Volume 8, Article 599755

【発明の概要】

【発明が解決しようとする課題】

【0006】

人の共感性を高め、他者や社会との関連性を改善することが求められている。本発明は一つの側面で、人の共感的行動を引き出す共感支援技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

一実施形態では、共感支援システムは、
ユーザの注意を喚起する第１刺激を生成する刺激生成部と、
前記第１刺激に対する前記ユーザの第１反応を検知する検知部と、
反応と応答の連鎖を表す共感支援モデルと、
前記共感支援モデルに基づいて前記第１反応に対する第１応答を選択し、出力する応答選択部と、
を有する。

【発明の効果】

【0008】

人の共感的行動を引き出し、支援することができる。これにより、コミュニケーションの促進、人間関係や社会関係の改善が期待できる。

【図面の簡単な説明】

【0009】

【図1A】実施形態の共感支援装置を具現化した情報処理端末の表示画面である。

【図1B】実施形態の共感支援装置を具現化したロボットの外観図である。

【図2】実施形態の共感支援装置のハードウエア構成図である。

【図3】共感支援システムの模式図である。

【図4】エージェントによる共感支援のシーケンス図である。

【図5】注意喚起刺激の例を示す図である。

【図6】注意喚起刺激に対する初期反応と、初期反応に対する応答例を示す図である。

【図7】共感支援モデルの一例を示す図である。

【図8】共感支援の遷移モデルを示す図である。

【図9】注意喚起刺激に対する反応タイミングを示す図である。

【図10】反応タイミングを考慮した共感支援のフローチャートである。

【発明を実施するための形態】

【0010】

以下で、図面を参照して本発明の実施形態を説明する。下記の実施形態は、発明の技術思想を具体化するための例示であり、本発明を下記の構成に限定するものではない。図面中、同一の構成要素には同一符号を付して、重複する記載を省略する場合がある。図面に示される部材の大きさや位置関係は発明の理解を容易にするために誇張されている場合がある。

【0011】

＜共感支援インタフェース＞
図１Ａは、実施形態の共感支援装置１０Ａを具現化する情報処理端末１１０の表示画面の図、図１Ｂは共感支援装置１０Ｂを具現化するロボット１００の外観図である。本発明の共感支援は擬人化したエージェントを前提としており、図１Ａのような情報処理端末１１０の表示画面１０１に表示されるバーチャルエージェント１２０を用いてもよいし、図１Ｂのような実際のロボット１００をエージェントとして用いてもよい。エージェントはヒト型のロボットに限定されず、動物型であってもよいし、アバターを含むその他のキャラクターであってもよい。共感支援装置１０Ａまたは１０Ｂのユーザは、子供でも大人でもよく、精神的または身体的な障害を有する人でも、健常人であってもよい。図１Ａの共感支援装置１０Ａは、ユーザとバーチャルエージェント１２０の間にインタラクティブな関係を形成して、任意の時間、任意の場所で共感支援することができる。図１Ｂの共感支援装置１０Ｂは、ロボット１００との物理的な接触を通じて、よりエモーショナルな共感支援が可能になる。

【0012】

バーチャルエージェント１２０またはロボット１００は、ユーザから共感的行動を引き出し、ユーザとロボットの間に共感的行動の連鎖を構築する共感支援インタフェースとして設計されている。ユーザの反応とエージェントの応答の連鎖を構築することで、ユーザの向社会的な傾向を高める。実施形態ではユーザから共感的行動を引き出すきっかけとなる初期刺激（または注意喚起刺激）をユーザごとに設定し、更新する。また、ユーザの反応に対して、さらなる共感的行動を引き出すための効果的な応答を選択し、更新する。共感的行動の連鎖の詳細は、後述する。以下では、エージェントとしてロボット１００を例にとって、共感支援の態様を説明する。

【0013】

ロボット１００は、たとえば、頭部１１、胴部１２、右腕部１３ａ及び左腕部１３ｂ（以下で「腕部１３」と総称する場合がある）、手部１３３、右脚部１４ａ及び左脚部１４ｂ（以下で「脚部１４」と総称する場合がある）、及び足部１４３を有する。これらのパーツはロボット１００の外形を成す外装体１６で形成され、各パーツが独立して駆動され得る。

【0014】

頭部１１は、右眼１１１ａ、左眼１１１ｂ、右耳１１３ａ、左耳１１３ｂ、及び口１１２を有する。頭部１１に設けられる眼、耳、口などのパーツは必須ではないが、ユーザの共感的行動の誘引に効果的に作用する場合は、適切な個所に設けられて、個別に制御されるのが望ましい。右腕部１３ａと左腕部１３ｂの各々は、上腕部１３１と前腕部１３２を有していてもよい。右脚部１４ａと左脚部１４ｂの各々は、大腿部１４１と下腿部１４２を有していてもよい。腕を差し出す、手を振る、歩行する等、ユーザの注意を喚起し、ユーザの反応に応答する動作が可能であれば、上腕部１３１と前腕部１３２、あるいは大腿部１４１と下腿部１４２を区別しなくてもよい。ロボット１００のこのような動作は、バーチャルエージェント１２０では表示画像を制御することで実現される。

【0015】

外装体１６は、この例ではシリコーン樹脂などの樹脂で形成されている。外装体１６の少なくとも一部に、タッチセンサ１６１が組み込まれている。タッチセンサ１６１は、人による接触や近接を感知するセンサであり、たとえば薄いフィルム基板上に１以上のセンサ素子が形成されている。タッチセンサ１６１は、ユーザの共感的行動を引き出し、ロボット１００とのインタラクティブな関係を構築する目的で、接触や近接を感知する。したがって、スマートフォンのタッチパネルのように高精細のセンサアレイでなくてもよい。外装体１６の所望の箇所に、近接と接触を区別できる程度の精度でタッチセンサ１６１のセンサ素子が配置されていてもよい。ロボット１００の部位に応じて、センサ素子の配置密度を変えてもよい。頭部１１、胴部１２、上腕部１３１、手部１３３の掌のようにユーザが触りやすい、あるいはハグしやすい部位では、脚部１４または足部１４３と比べてセンサ素子の配置密度を増やしてもよい。タッチセンサ１６１を構成するセンサ素子は、容量、抵抗、圧力、振動等の変化に基づいてユーザの近接と接触を検出可能である。図１Ｂの例では、タッチセンサ１６１として静電容量センサアレイを用いる。

【0016】

ロボット１００は、外装体１６の内部に、情報処理装置２０と、バッテリー２１と、サーボモータ２２を有する。図１Ｂでは、サーボモータ２２は模式的に一つの破線のボックスで描かれているが、サーボモータ２２は多数のサーボモータの総称である。サーボモータ２２は、頭部１１、胴部１２、右腕部１３ａ、左腕部１３ｂ、手部１３３、右脚部１４ａ、左脚部１４ｂ、及び足部１４３のそれぞれに設けられる。各サーボモータ２２は、外装体１６の対応するパーツを所定の軸まわりに回転させるように、情報処理装置２０によって個別に制御される。右眼１１１ａと左眼１１１ｂのまぶたの開閉や、口１１２の開閉、右耳１１３ａと左耳１１３ｂの回動なども、これらのパーツに対応して設けられたサーボモータ２２によって個別に駆動される。

【0017】

ロボット１００は、後述するように、外装体１６の内側にカメラ、マイク、スピーカ、ライト、アンテナ等の入出力デバイスを有している。情報処理装置２０は、カメラ、マイク、タッチセンサ１６１等の入力デバイスから取得したデータに基づいてユーザの反応を判断し、記録する。情報処理装置２０は、あらかじめインストールされた共感支援プログラムと、新たに取得し蓄積された共感支援データとに基づいて、ロボット１００の動作全体を制御する。取得した共感支援データを記録し、解析することで、共感的行動の連鎖を導くモデルを構築する。

【0018】

図２は、ロボット１００により具現化された共感支援装置１０のハードウエア構成図である。共感支援装置１０は、情報処理装置２０、バッテリー２１、サーボモータ２２、カメラ２３、マイク２４、スピーカ２５、ライト２６、アンテナ２７、タッチセンサ１６１、及びディスプレイ２８を有する。バーチャルエージェント１２０を用いて情報処理端末１１０で共感支援装置１０Ｂ実現する場合は、サーボモータ２２を除いて、図２とほぼ同様のハードウエア構成が用いられる。

【0019】

バッテリー２１は、たとえば胴部１２の下端部またはその近傍に、充電または交換可能に配置されている。バッテリー２１を胴部１２の下端またはその近傍に配置することで、ロボットの重心を低くして、起立、歩行などの動作を安定させる。サーボモータ２２は複数のサーボモータの集合体を総称し、上述したように、頭部１１、胴部１２、右腕部１３ａ、左腕部１３ｂ、手部１３３、右脚部１４ａ、左脚部１４ｂ、及び足部１４３のそれぞれに設けられる。各部位に２以上のサーボモータが設けられてもよい。それぞれのサーボモータ２２は、情報処理装置２０によって個別に制御される。サーボモータ２２が用いられる部位に応じて、モータの出力トルクの大きさが個別に設定されてもよい。たとえば、頭部１１、腕部１３、脚部１４を回転させるサーボモータの出力トルクは、右眼１１１ａ、左眼１１１ｂ、口１１２の開閉、あるいは、右耳１１３ａと左耳１１３ｂの回動のための出力トルクよりも大きく設定されてもよい。

【0020】

カメラ２３は、ロボット１００の周辺の画像を取得するイメージセンサである。カメラ２３はたとえば、イメージセンサ基板の前面に設けられるレンズ群が右眼１１１ａまたは左眼１１１ｂに位置するように設けられてもよい。カメラ２３として、通常のカメラと広角カメラの２種類を用いてもよい。マイク２４はユーザの音声を収音するために、たとえば頭部１１の前面に設けられる。スピーカ２５は音声を出力するために、たとえば頭部１１の前面に設けられる。スピーカ２５から出力される音声には、「こんにちは」、「ありがとう」、「休憩にしましょうか」などの言葉の他に、鈴の音、小川のせせらぎ、小鳥のさえずり、低音量でのハミングなどの心地よい音が含まれてもよい。

【0021】

ライト２６は、ロボット１００の外装体１６の任意に場所に取り付けられ、たとえば、頭部１１、胴部１２の肩や胸の位置、手部１３３の掌などに設けられ得る。ユーザの注意を喚起、あるいは共感的行動を誘引することができれば、ライト２６の光の色、点滅の速度などを可変にしてもよい。

【0022】

ディスプレイ２８は、たとえば、胴部１２の外装体１６の前面に取り付けられ、人物やキャラクターの写真、風景、メッセージ等を表示する。タッチセンサ１６１は、上述したようにロボット１００の外装体１６の所望の部位に組み込まれて、ユーザによる近接と接触を感知する。アンテナ２７は基地局との間で電波を送受信する送受信アンテナである。

【0023】

これらの入出力デバイスと、バッテリー２１、及びサーボモータ２２は、情報処理装置２０に接続されている。情報処理装置２０は、プロセッサ２０１、主メモリ２０２、補助メモリ２０３、入力インタフェース２０４、出力インタフェース２０５、及び通信インタフェース２０６を有し、これらは、システムバス２０８を介して相互に接続されている。

【0024】

プロセッサ２０１は、各種の演算処理を含む制御処理を実行する。制御処理の中には、共感支援のための処理が含まれる。主メモリ２０２は、プロセッサ２０１の駆動に用いられるプログラムを記憶するリードオンリーメモリ（ＲＯＭ）と、プロセッサ２０１のワークエリアとして使用されるランダムアクセスメモリ（ＲＡＭ）を含む。補助メモリ２０３は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などの記憶装置を含む。補助メモリ２０３は、各種プログラムとそれらの起動に必要なパラメータ情報の他に、共感支援のためにあらかじめ取得された情報や、カメラ２３、マイク２４、及びタッチセンサ１６１により取得されたデータを記憶する。

【0025】

入力インタフェース２０４は、カメラ２３、マイク２４、及びタッチセンサ１６１に接続されて、画像データ、音声データ、静電容量データ等を情報処理装置２０の内部に取り込む。出力インタフェース２０５は、スピーカ２５、ライト２６、及びディスプレイ２８に接続され、音声、光、画像を出力する。通信インタフェース２０６は、通信ネットワークを介して、情報処理装置２０と外部装置を接続し、情報処理装置２０と外部装置との間の通信を可能にする。情報処理装置２０は、通信インタフェース２０６とアンテナ２７を介して、インターネットあるいはクラウドにアクセス可能である。

【0026】

＜共感支援システム＞
図３は、共感支援システム１の模式図である。共感支援システム１は、注意喚起刺激データ２３０と共感支援モデル２３２を保存するデータベース３００と、共感支援装置１０を含む。図３では、共感支援装置１０はネットワーク３０２を介してデータベース３００に接続されているが、注意喚起刺激データ２３０と共感支援モデル２３２の保存先は特に限定されない。注意喚起刺激データ２３０と共感支援モデル２３２の少なくとも一部は、共感支援装置１０の内部に保存されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を介して共感支援装置１０に接続されるサーバ内に保存されてもよい。

【0027】

制御部２００は、近接／接触検知部２１１、音声認識部２１２、画像認識部２１３、刺激生成部２１６、共感反応判断部２１７、応答選択部２１８、動作制御部２１９、音声合成・出力部２２０、及びデータ取得・記録部２２１を有する。制御部２００のこれらの機能は、共感支援装置１０の情報処理装置２０によって実現される。制御部２００は、ユーザの注意を喚起する刺激を生成・出力し、ユーザから共感的行動を引き出すように、ロボット１００の動作を制御する。

【0028】

近接／接触検知部２１１は、タッチセンサ１６１の出力値に基づいて、ユーザの近接または接触を検知する。タッチセンサ１６１の出力値に応じて、接触の種類、たとえば「軽く触れる」、「撫でる」、「ハグする」などを判別してもよい。音声認識部２１２は、マイク２４が収音したデータから、発語、感嘆詞、笑い声などを認識する。

【0029】

画像認識部２１３は、ユーザ識別部２１４と動作識別部２１５を有する。ユーザ識別部２１４は、カメラ２３が取得した画像データ（ピクセルデータ）から特徴部分を抽出し、あらかじめ登録されたユーザの画像情報と照合して、ユーザを識別する。さらに、カメラ２３で取得された画像データ中の眼や口元の画像データの変化、瞳孔の大きさ、口角の位置などから、笑顔、驚き等の表情や、視線を判別する。

【0030】

動作識別部２１５は、カメラ２３が取得した画像データの輪郭の変化と顔認識技術とから、タッチセンサ１６１の検知範囲よりも遠い領域でユーザの動作を識別する。ユーザの動作として、振り返ってロボット１００を見る、ロボット１００を見て微笑む、ロボット１００へ歩み寄る、何もしない（無反応）等の動作が識別される。近接／接触検知部２１１、音声認識部２１２、及び画像認識部２１３は、ユーザの反応を検知する検知部２２２としての役割を果たす。

【0031】

刺激生成部２１６は、注意喚起刺激データ２３０を参照して、ユーザの注意を喚起する刺激を生成する。何がユーザの注意を喚起するかは、ユーザの年齢、性別、傾向等によって異なり、注意期喚起刺激はユーザごとに設定される。初めてロボット１００を用いるときの初期刺激として、ユーザの年齢、性別、特性などから予想される一般的なデフォルト刺激を用いてもよい。たとえば、健常な子供に対しては、ロボット１００が「やあ！」と声をかけて腕部１３を上げる、健常な大人であれば「はじめまして」と声をかけるなどである。

【0032】

発達過程に障害を有する子供の場合は、声をかける替わりに、ロボット１００がユーザの方向にゆっくりと近づいてからユーザを見る動作であってもよい。あるいは、ロボット１００の外装体１６を動かさずに、チャイム音や鳥のさえずり音を適切な音量で出力する、等の初期刺激を用いてもよい。刺激生成部２１６で生成された刺激は、ユーザごとに共感支援モデル２３２に記録され、蓄積される。

【0033】

共感反応判断部２１７は、検知部２２２で検知されたユーザの反応が、共感的な反応か否かを判断する。共感的な反応と評価され得る振る舞いを、共感反応データとして共感支援モデル２３２の一部に組み込んでおいてもよい。共感反応データは、主メモリ２０２、補助メモリ２０３に保存されていてもよい。検知部２２２で検知されたユーザの反応と、共感反応データを比較することで、共感的反応か否かを判断してもよい。注意喚起刺激と同様に、ユーザごとの反応を共感支援モデル２３２に記録し、解析することで、注意喚起に対するユーザの反応の傾向を把握できる。

【0034】

共感反応判断部２１７は、共感的反応の判断に先立って、検知部２２２で得られたユーザの反応が、注意喚起刺激に対する有効な反応であるか否かを判断してもよい。たとえば、注意喚起刺激が出力されてから所定時間内に検知されたユーザの動作を有効な反応とみなし、有効な反応である場合に、共感的反応か否かを判断してもよい。

【0035】

応答選択部２１８は、ユーザの反応に対して、さらなる共感的行動を引き出すためのロボット１００の応答を選択する。応答選択部２１８は、共感支援モデル２３２を参照し、ユーザごとに蓄積された過去の反応と応答の連鎖から適切な応答を選択する。共感支援モデル２３２を参照する際に、他のユーザの反応と応答の連鎖を検索することで、着目しているユーザの反応に対する新たな応答を追加してもよい。あるいは、ロボット１００で実行可能な応答データをあらかじめ補助メモリ２０３に保存しておいてもよい。この場合、応答選択部２１８は、保存された応答データの中からユーザの反応に適した応答を選択してもよい。

【0036】

初期刺激に対するユーザの反応が蓄積され、更新されるのと同様に、ユーザ反応に対するロボット１００の応答も、共感支援モデル２３２に随時記録され、解析される。上述のように、共感支援モデル２３２の少なくとも一部が、共感支援装置１０の内部、たとえば補助メモリ２０３に保存されてもよい。

【0037】

動作制御部２１９は、注意を喚起する初期刺激と、ユーザ反応に対する応答を実現するために、ロボット１００の動作を制御する。具体的には、各部位に設けられたサーボモータ２２と、スピーカ２５、ライト２６等の出力デバイスとを制御する。たとえば、ロボット１００の応答がユーザへの歩み寄りの場合は、右脚部１４ａと左脚部１４ｂに設けられたサーボモータ２２を駆動して、右脚部１４ａと左脚部１４ｂを所定の軸回りに交互に回動させ、所定距離だけ歩行させる。応答選択部２１８で選択された応答内容によっては、ロボット１００の複数の動作を組み合わせてもよい。たとえば、ロボット１００がユーザの近くで立ち止まった後に、右腕部１３ａと左腕部１３ｂに設けられたサーボモータ２２を駆動して手を差し伸べる、あるいは、右眼１１１ａと左眼１１１ｂに設けられたサーボモータ２２を駆動して、ゆっくりとまばたきさせる、等である。バーチャルエージェント１２０を用いる場合は、これらの動作制御は表示画像の制御により行われる。

【0038】

音声合成・出力部２２０は、応答選択部２１８で新たな応答データが追加され、その応答データに発話内容を示すテキストデータが含まれている場合に、テキストデータを音声に変換する。たとえば、追加された応答に「そうですね」、「大丈夫？」などのテキストが含まれている場合に、音声合成・出力部２２０はそのテキスト内容を表す音声を生成し、出力する。補助メモリ２０３に保存されている音声データを用いる場合は、その音声データを再生して出力してもよい。

【0039】

データ取得・記録部２２１は、刺激生成部２１６で出力された刺激、共感反応判断部２１７の判断結果、及び応答選択部２１８による選択結果を取得し、共感支援モデル２３２に順次記録する。データ取得・記録部２２１で取得されたデータを共感支援モデル２３２に記録するとともに、主メモリ２０２に保存して制御部２００、すなわちプロセッサ２０１による判断処理に用いてもよい。

【0040】

上述した機能ブロックを有する制御部２００により、ユーザとエージェント（ロボット１００またはバーチャルエージェント１２０）の間の共感的反応の連鎖を支援することができる。

【0041】

＜共感支援のシーケンス＞
図４は、エージェントによる共感支援のシーケンス図である。ロボット１００、またはバーチャルエージェント１２０を用いた共感支援では、相手を理解したことを示す社会信号によって、ユーザの反応とエージェントの応答の連鎖を構築する。相手と視線を合わせる、微笑みかける、声をかける、近寄るなどの動作は、相手に対する理解を示す社会信号である。共感支援装置１０は、ユーザとの間に社会信号に基づく共感的な相互関係を確立することで、ユーザの共感的行動、あるいは向社会的行動を引き出す。以下では、エージェントとしてロボット１００を例にとって説明する。

【0042】

ロボット１００は、ユーザ識別部２１４によりユーザを識別する（Ｓ１１）。ロボット１００に対する認知と、それに基づく共感的な行動はユーザごとに異なり、共感支援はユーザごとに個別に行われる。ユーザを識別すると、ロボット１００は最初の刺激を出力する（Ｓ１２）。この最初の刺激は、ユーザに対する注意喚起刺激である（Ｓ１３）。注意喚起刺激はユーザとロボット１００との間に共感的行動の連鎖を構築するトリガである。ロボット１００とユーザとの最初のセッションでは、保護者、介護者、心理カウンセラー等の操作により、注意喚起刺激が出力されてもよい。

【0043】

どのような刺激に対して注意が引かれるかは、ユーザによって異なるので、ユーザに適した注意喚起刺激が提示されるのが望ましい。実施形態の共感支援装置１０は、ユーザとの間で共感的行動の連鎖を構築するために、ユーザごとのデータを用いるが、セッション開始時に使用する一般的なデータを有していてもよい。たとえば、ユーザとロボット１００が初めてかかわり合うときに用いる注意喚起刺激として、ユーザの年齢、性別、内向的か外交的かなどの特性、心理的な障害の有無などの情報に基づいて、注意喚起刺激の一般データの中から初期刺激が選択され、提示されてもよい。

【0044】

図５は、注意喚起刺激データ２３０の一例を示す。上述したように、注意喚起刺激データ２３０は、共感支援モデル２３２の一部として記述されていてもよいし、別途のデータとして記述されていてもよい。ロボット１００による注意喚起刺激として、「顔を向けて見つめる」、「胴体を追って挨拶」、「手を振る」、「まばたき」、「うなずく」、「声かけ」などがある。声かけの種類として、ユーザの名前を呼ぶ他に、「こんにちは」、「はじめまして」等の言葉が用いられてもよい。

【0045】

図４に戻って、注意喚起刺激に対するユーザの初期反応を得る（Ｓ２１）。初期反応には、共感的反応と、非共感的反応がある（Ｓ２２）。共感的反応は、ロボット１００を見て微笑む、ロボット１００を見て声を上げる、驚く、おびえる等、ロボット１００を認知したことによる感情を伴う反応である。非共感的反応は、無表情で顔を上げる、無表情でロボットを見た後に他の方向を向く、無反応など、ロボット１００に対する認知を伴わない反応である。

【0046】

ロボット１００の共感反応判断部２１７は、検知部２２２の出力データからユーザの初期反応を検出し、初期反応が共感的反応か、非共感的反応かを判断する（Ｓ１４）。応答選択部２１８は、共感反応判断部２１７の判断結果に応じて、ユーザの反応に対する応答を選択し、生成する（Ｓ１５）。ユーザの初期反応が共感的反応である場合、応答選択部２１８は、ユーザの共感を維持、促進する共感維持・促進応答を出力する（Ｓ１６）。ロボット１００は、動作制御部２１９により、選択された共感維持・促進応答に田尾ピしり動作を行う。ユーザの初期反応が非共感的反応である場合、応答選択部２１８は、共感誘発応答を選択し、出力する（Ｓ１７）。共感誘発応答として、注意喚起刺激が用いられてもよい。ロボット１００は、動作制御部２１９により、選択された共感誘発応答に対応する動作を行う。

【0047】

図６は、注意喚起刺激に対する初期反応と、初期反応に対する第１応答の例を示す。ユーザとして、５歳から１２歳までの男女を想定している。ユーザの初期反応は、近接／接触検知部２１１、音声認識部２１２、及び画像認識部２１３を含む検知部２２２の出力から、発語、表情、視線、動作、接近等を抽出することで、検知され得る。笑顔、驚きなどの表情や、手を伸ばす、近寄る等の動作が検出されたときは、制御部２００は共感的反応が得られたと判断して、その共感的反応を維持・促進する第１応答を選択する。

【0048】

たとえば、ユーザの反応として笑顔が特定されたとき、エージェント（この例ではロボット１００）の第１応答として、右眼１１１ａ、左眼１１１ｂ、口１１２の動きを制御して笑顔を作る、「こんにちは」などの声をかける、ユーザに歩み寄るなどの動作がある。ユーザとロボット１００との間に反応と応答の連鎖を示す共感支援モデルが構築されている場合は、ユーザの初期反応に応答してロボット１００を転倒させてもよい。最終的にユーザから引き出したい共感的反応は、ロボット１００を助け起こす行動である。ロボット１００を助け起こすという行為は他者への思いやりを表し、共感支援のひとつのゴールである。

【0049】

ユーザの初期反応が驚きである場合、制御部２００は過度の刺激を与えないように、ロボット１００の第１応答として、笑顔、「こんにちは」などの声かけを選択する。ユーザの初期反応が笑い声、感嘆句などの発語である場合、ロボット１００の第１応答は、笑顔を返す、「びっくりした？」などの声かけ、ユーザに歩み寄るなど、より活動的な動作を選択する。ユーザの初期反応がロボット１００を見るという行為の場合、ユーザの感情を引き出すために、ロボット１００による笑顔、声かけの他に、手を振る、ユーザに歩み寄るなどの動作を選択してもよい。ユーザの初期反応が無反応の場合、名前を呼ぶ、手を振るなどの注意喚起の応答を選択してもよい。

【0050】

図４に戻って、ロボット１００による共感維持・促進応答（Ｓ１６）または共感誘発応答（Ｓ１７）に対して、ユーザの次の反応を取得する（Ｓ２３）。ここでの反応にも、共感的反応と非共感的反応があるが、健常者の場合、一般的には２度目以降の反応は共感的反応の割合が高くなる（Ｓ２４）。ロボット１００は、ユーザの反応を検出し、検出した反応に応答する（Ｓ１８）。このようにして、ユーザのロボット１００の間に反応と応答の連鎖が形成される（Ｓ２５）。ユーザの２度目の反応も非共感的な反応の場合は、ロボット１００は再度、注意喚起刺激を出力してもよい。ロボット１００は、反応と応答の連鎖が形成され、維持される過程で生じたすべての刺激、反応、応答を記録し、共感支援モデル２３２を更新する（Ｓ１９）。

【0051】

注意喚起刺激に対するユーザの初期反応、初期反応に対するロボット１００の第１応答、及びこれに引き続く反応と応答の連鎖は、ユーザの年齢、性質、心理的疾患の有無などによって異なる。ユーザごとに反応と応答の連鎖を共感支援モデルとして構築することでユーザの共感性を高め、向社会的行動へと導く。

【0052】

＜共感支援モデル＞
図７は、共感支援モデル２３２の一例を示す。複数のユーザの各々とエージェントとの間のセッションで収集したデータを分析し、ユーザをグループ分けしてもよい。たとえば、エージェントが提示する初期刺激（注意喚起刺激）の種類を「動作」、「声かけ」、「待機」などのようにおおまかに分けて、提示する初期刺激の種類ごとにグループ分けしてもよい。グループＩのユーザには、エージェントによる声かけや呼びかけよりも、ユーザに視線を合わせる、笑顔を作るなどの動作が有効である。あるいは、所定の待機時間をおいてから注意喚起刺激を提示するほうが有効なユーザもいる。グループＩＩのユーザには、声かけや呼びかけが有効である。

【0053】

ユーザとエージェントのコミュニケーションのシーケンスとして、初期コンタクト、共感誘発、共感的関係の形成などがある。エージェントによる注意喚起刺激の提示と、ユーザがとる初期反応によって、初期コンタクトが形成される。共感誘発は、エージェントによる共感誘発応答または共感維持・促進応答である。エージェントの応答に対してユーザの共感的反応が得られ、反応と応答が連鎖すると、共感的関係が形成される。

【0054】

共感支援モデル２３２で、ユーザとのセッションごとに、最終ゴールとする期待行動が設定されてもよい。共感支援装置１０の目標は、ユーザから共感的行動を引き出して向社会性を向上することにある。ユーザによって期待される共感的行動は、エージェントに対する思いやりの言葉、援助などである。ロボット１００が転倒したときに、ユーザが手を差し伸べる、助け起こす、「大丈夫？」と声をかける等の行為を取ることができれば、共感支援の効果が現れているといえる。

【0055】

セッションごとに、ユーザの反応が肯定的か否定的か、個別性が高いかどうかを評価して、評価結果を記録してもよい。「個別性」は個性、または自分らしさである。個別性が高いユーザ、あるいはポジティブなユーザからは、共感的行動が引き出しやすい。そのようなユーザは、他者や社会と共感的相互関係を形成しやすい。セッションごとに、共感支援モデル２３２の更新回数が記録されてもよい。一回のセッションで更新回数が高いユーザは、初期刺激を含む外部刺激に対して反応性の高いユーザと評価され得る。共感支援モデル２３２を更新することで、反応と応答の連鎖がユーザごとに最適化され、ユーザの共感的行動を引き出すのに有効な刺激と応答が選択される。

【0056】

＜共感支援の遷移モデル＞
図８は、共感支援の遷移モデルを示す。ここでは、エージェントとしてロボット１００を用いている。ユーザとロボット１００による「相手を見つめる」、「笑顔を向ける」、「呼びかける」等の動作は、社会信号である。社会信号の連鎖による状態の遷移は、共感性の評価に用いられ得る。遷移ノードの数が多い場合は、共感的行動を引き出し易く、維持しやすい。

【0057】

図８の（Ａ）は、初期刺激としてロボット１００が笑顔を作り、ユーザが微笑むケースである。ユーザの微笑みに引き続く遷移がなく、遷移ノードの数は２である。ユーザは、ロボット１００の笑顔に反応して微笑んだのではなく、思い出し笑い、あるいはロボット１００と別の方向を見て微笑んだと考えられる。

【0058】

図８の（Ｂ）は、初期刺激としてロボット１００が笑顔を作り、ユーザが微笑み、ロボット１００がユーザに対して声をかけるケースである。ユーザの微笑みに応答して、ロボット１００による共感的行為があり、遷移ノードの数は３である。図８の（Ｃ）は、初期刺激としてロボット１００が笑顔を作り、ユーザが微笑み、ロボット１００がユーザにあゆみ寄ることで、ユーザがロボット１００に触るケースである。ユーザの微笑みに応答してロボット１００による共感的応答があり、それに対するユーザのさらなる共感的反応がある。遷移ノードの数は４である。

【0059】

図８の（Ｄ）は、ロボット１００の笑顔に対してユーザがロボットを見るが、そこで連鎖が途切れる。ロボット１００はユーザに声をかけ、ユーザは微笑むが、やはりそこで連鎖が途切れる。遷移ノードの数は２である。遷移ノードの数が多いほど反応と応答の連鎖が維持され、共感的相互関係が形成されていると評価される。このような遷移モデルを図７の共感支援モデル２３２に組み込んでもよい。遷移モデルを組み込むことで、ユーザごとの分析の精度を高め、共感的行動を引き出すのに有効な初期刺激と応答を適切に選択することができる。

【0060】

＜ユーザ反応のタイミング＞
図９は、注意喚起刺激に対する反応タイミングを示す。横軸はロボット１００による注意喚起刺激からの時間（ミリ秒）、縦軸は表情の変化率（％）である。注意喚起刺激は、ロボットがユーザに向かって笑顔を作る動作である。ユーザの表情の変化率は、画像認識部２１３により得られたユーザの目元、頬、及び口元のピクセルの変化に基づいて計算されている。

【0061】

図８に示した遷移ノードの数によって、３８名のユーザを２つのグループに分ける。遷移ノードの数が３以上のグループをグループＨとし、遷移ノードの数が２以下のグループをグループＬとする。実線はグループＨの平均値のプロット、点線はグループＬの平均値のプロット、濃い網掛けはグループＨの標準偏差、薄い網掛けはグループＬの標準偏差である。一点鎖線は、全体平均を示す。

【0062】

全体平均のピーク（三角マーク）を中心とする前後２０００ミリ秒（片側で１０００ミリ秒）の領域に着目する。この領域で、グループＨとグループＬの表情の変化率に有意な差が生じる。非正規分布を有する２つの別個のグループＨとグループＬについて、マン・ホイットニーのＵ検定のｐ値を評価すると、ｐ＜０．０５であり、９５％信頼区間で、２つのグループの間に有意な差があると評価できる。

【0063】

グループＨのユーザが、注意喚起刺激から３．５秒から５．５秒の間に表情を変化させて微笑むのに対し、グループＬのユーザは、注意喚起刺激から３．５秒から５．５秒の間の表情に変化がない。この差は、上述のように有意な差である。

【0064】

図９の結果から、ロボット１００による注意喚起刺激から３．５秒から５．５秒の間を含む期間に取得されたユーザの反応を有効な反応として用い、共感的反応か、非共感的反応かを判断する。注意喚起刺激の直後（たとえば１秒後）、または注意喚起刺激から６秒以上経過してからユーザが微笑んだとしても、それはロボット１００が出力した注意喚起刺激に対する反応ではなく、別の理由による笑顔である蓋然性が高い。ロボット１００の応答に対するユーザ反応についても同様である。ロボット１００の応答から３．５秒から５．５秒の間に得られたユーザ反応を有効な反応として扱い、共感的反応か、非共感的反応かを判断する。

【0065】

図１０は、ユーザの反応タイミングを考慮した共感支援のフローチャートである。共感支援装置１０は、注意喚起刺激を出力し（Ｓ３１）、ユーザの初期反応を検知する（Ｓ３２）。初期反応は、近接／接触検知部２１１、音声認識部２１２、及び画像認識部２１３を含む検知部２２２の出力から検知され得る。

【0066】

共感反応判断部２１７は、初期反応が所定時間内、具体的には注意喚起刺激の出力から３．５秒から５．５秒の間に発生したか否かを判断する（Ｓ３３）。初期反応が所定時間内に発生していない場合は（Ｓ３３でＮＯ）、Ｓ３１に戻って、再度注意喚起刺激を出力して、ユーザの初期反応を引き出す。所定時間内に初期反応が発生しているときは（Ｓ３３でＹＥＳ）、この初期反応が共感的反応であるか否かを判断する（Ｓ３４）。反応が共感的反応であるか否かは、図７の共感支援モデル２３２を参照して判断してもよい。あるいは、共感的反応と評価され得るユーザの表情や動作のリストをあらかじめ主メモリ２０２または補助メモリ２０３に保存して、リストを参照して判断してもよい。

【0067】

ユーザの初期反応が共感的反応である場合（Ｓ３４でＹＥＳ）、応答選択部２１８はユーザの共感的反応を維持し促進する共感維持・促進応答を選択し、出力する（Ｓ３５）。このユーザに適した共感維持・促進応答は、図７の共感支援モデル２３２を参照して選択され得る。ユーザの初期反応が共感的反応でない場合（Ｓ３４でＮＯ）、応答選択部２１８はユーザの共感的行動を誘発する共感誘発反応を選択し、出力する（Ｓ３６）。共感誘発反応として注意喚起刺激が選択されてもよい。

【0068】

共感反応判断部２１７は、応答に引き続くユーザの反応を検知すると（Ｓ３７）、その反応が所定時間内に発生したか否かを判断する（Ｓ３８）。ユーザの反応が所定時間内にないときは（Ｓ３８でＮＯ）、セッション中であれば（Ｓ４０でＮＯ）、Ｓ３６に戻って、共感誘発応答を出力する。セッション終了時であれば（Ｓ４０でＹＥＳ）、処理を終了する。

【0069】

ユーザの反応が所定時間内にあるときは（Ｓ３８でＹＥＳ）、有効な反応であると判断し、その反応が共感的反応か否かを判断する（Ｓ３９）。共感的反応であれば（Ｓ３９でＹＥＳ）、セッション中は（Ｓ４１でＮＯ）、Ｓ３５に戻って、共感維持・促進応答を出力する。これにより、反応と応答の連鎖が形成される。セッション終了時であれば（Ｓ４１でＹＥＳ）、処理を終了する。所定時間内に検知された有効な反応が共感的反応ではない場合（Ｓ３９でＮＯ）、セッションの継続中は（Ｓ４０でＮＯ）、Ｓ３６に戻って共感誘発反応を出力し、セッション終了時は（Ｓ４０でＹＥＳ）、処理を終了する。

【0070】

この共感支援の手法により、エージェントの動作に起因しないユーザの動作を排除し、共感支援の有効性を高める。エージェントの動作から所定時間内（たとえば３．５秒から５．５秒の間）に検知されるユーザの反応においては、共感的反応と、非共感的反応の間に有意な差異があるため、エージェントが次に実行する応答を適切に選択できる。

【0071】

共感支援装置１０に共感支援プログラムをインストールする場合、プロセッサ２０１は、共感支援プログラムで規定される以下の手順を実行する。
（ａ）ユーザの注意を喚起する第１刺激を生成し、
（ｂ）第１刺激に対するユーザの第１反応を検知し、
（ｃ）反応と応答の連鎖を表す共感支援モデルに基づいて、第１反応に対する第１応答を選択し、出力する。

【0072】

好ましくは、プロセッサ２０１は、メモリに保存された、または共感支援モデルに記述された共感反応情報に基づいて、ユーザの初期反応が共感的反応か、非共感的反応かを判断する手順を実行し、判断結果に応じて第１応答を選択する。

【0073】

実施形態の共感支援は、発達障害や自閉スペクトラム症を患う人のコミュニケーション能力の向上だけではなく、健常者のコミュニケーション能力や向社会的スキルの向上にも有用である。本発明の共感支援は、上述した構成例に限定されず、様々な変形が可能である。社会信号としての注意喚起刺激や、反応、応答の種類は、上記で示したものに限定されない。たとえば、精神的な疾患を有するユーザに対しては、ロボット１００やバーチャルエージェント１２０の共感的行動として、同意せずに共感を示す動作を行わせてもよい。同意せずに共感を示す行為の例として、うなずき（肯定）や首を横に振る（否定）動作を行わずにユーザに手を差し出す、黙って微笑む、ユーザに軽く触れるなどがある。

【0074】

ユーザごとに反応と応答の連鎖を記録し、更新することができるかぎり、共感支援モデル２３２は図７の例に限定されない。ユーザごとに、エージェントの初期刺激または応答から、ユーザ反応の検知までにかかった時間を記録してもよい。同じユーザに対するエージェントの応答の優先順位を記載し、適宜変更してもよい。共感支援モデル２３２の更新にしたがって、ユーザをあるグループから別のグループに移してもよい。図１０のフローで、一定回数以上連続して有効な反応が得られないときは、セッション時間中であっても処理を終了するフローにしてもよい。ロボット１００やバーチャルエージェント１２０の外形は、図１Ａ及び図１Ｂの外形に限定されず、ぬいぐるみ型、着せ替え人形型などであってもよい。いずれの変形例でも、ユーザの反応とエージェントの応答の連鎖を構築することで、ユーザから共感的行動を引き出すことができる。これによりユーザの向社会的スキルを向上に、人間関係や社会関係を改善することができる。

【符号の説明】

【0075】

１ 共感支援システム
１０、１０Ａ、１０Ｂ 共感支援装置
１６ 外装体
２０ 情報処理装置
２１ バッテリー
２２ サーボモータ
２３ カメラ
２４ マイク
２５ スピーカ
２６ ライト
２７ アンテナ
２８ ディスプレイ
１００ ロボット
１０１ 表示画面
１１０ 情報処理端末
１２０ バーチャルエージェント
１６１ タッチセンサ
２００ 制御部
２０１ プロセッサ
２０２ 主メモリ
２０３ 補助メモリ
２０４ 入力インタフェース
２０５ 出力インタフェース
２０６ 通信インタフェース
２１１ 近接／接触検知部
２１２ 音声認識部
２１３ 画像認識部
２１４ ユーザ識別部
２１５ 動作識別部
２１６ 刺激生成部
２１７ 共感反応判断部
２１８ 応答選択部
２１９ 動作制御部
２２０ 音声合成・出力部
２２１ データ取得・記録部
２２２ 検知部
２３０ 注意喚起刺激データ
２３２ 共感支援モデル
３００ データベース
３０２ ネットワーク

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】