特開 2022-85248 コミュニケーション支援装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022085248

(43)【公開日】2022-06-08

(54)【発明の名称】コミュニケーション支援装置、方法およびプログラム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20220601BHJP

   G06F 3/01 20060101ALI20220601BHJP

   G06F 3/0481 20220101ALI20220601BHJP

【ＦＩ】

G06F13/00 650B

G06F3/01 510

G06F3/0481

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020196838

(22)【出願日】2020-11-27

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １．２０１９年１２月１日－２０１９年１２月５日（公開日：２０１９年１２月３日） ＯｚＣＨＩ２０１９－３１ｓｔ Ａｕｓｔｒａｌｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ－Ｃｏｍｐｕｔｅｒ－Ｉｎｔｅｒａｃｔｉｏｎにて公開

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】800000068

【氏名又は名称】学校法人東京電機大学

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(72)【発明者】

【氏名】青木 良輔

(72)【発明者】

【氏名】武川 直樹

【テーマコード（参考）】

5B084

5E555

【Ｆターム（参考）】

5B084AA02

5B084AA14

5B084AB11

5B084BB15

5B084DC02

5E555AA61

5E555BA05

5E555BA06

5E555BA76

5E555BB05

5E555BB06

5E555BC04

5E555BD01

5E555BE10

5E555CA41

5E555CA44

5E555CA47

5E555CB19

5E555CB21

5E555CB64

5E555CB66

5E555CB81

5E555DB39

5E555DB41

5E555DB53

5E555DC13

5E555EA04

5E555EA14

5E555EA20

5E555EA28

5E555FA00

(57)【要約】

【課題】ユーザ間のコミュニケーションを促進させる上で有効なメッセージを生成する。
【解決手段】ネットワークを介して行われる第１のユーザと第２のユーザとの間のコミュニケーションを支援する際に、センサから第１のユーザの行動に係る検出データを取得し、取得された前記検出データを、先ず情報価値が高い第１の検出データと低い第２の検出データとに分類する。次に、第１の検出データから、第１のユーザの行動に係る複数の第１のコンテキスト情報を分解抽出し、かつ第２の検出データから、第１のユーザの行動に係る第２のコンテキスト情報を類推する。そして、複数の第１のコンテキスト情報または第２のコンテキスト情報の情報価値の評価結果に基づいて、断定的な表現を用いた第１の重み付きコンテキスト情報と、曖昧表現を用いた第２の重み付きコンテキスト情報とを選択的に生成し、第２のユーザが閲覧可能な状態で提示する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ネットワークを介して行われる第１のユーザと第２のユーザとの間のコミュニケーションを支援するコミュニケーション支援装置であって、
センサから、前記第１のユーザの行動に係る検出データを取得する取得処理部と、
取得された前記検出データを、当該検出データに含まれる前記第１のユーザの行動に係るコンテキスト情報の情報価値が、予め設定される条件を満たす第１の検出データと、前記条件を満たさない第２の検出データとに分類する分類処理部と、
分類された前記第１の検出データから、前記第１のユーザの行動に係る複数の第１のコンテキスト情報を分解抽出する分解処理部と、
分類された前記第２の検出データをもとに、当該第２の検出データに含まれるコンテキスト情報から、前記第１のユーザの行動に係る第２のコンテキスト情報を類推する類推処理部と、
前記複数の第１のコンテキスト情報または前記第２のコンテキスト情報の前記情報価値を評価し、その評価結果に基づいて、断定的な表現を用いた第１の重み付きコンテキスト情報と、曖昧表現を用いた第２の重み付きコンテキスト情報とを選択的に生成する生成処理部と、
生成された前記第１の重み付きコンテキスト情報または前記第２の重み付きコンテキスト情報を、前記第２のユーザが閲覧可能な状態で提示する提示処理部と
を具備するコミュニケーション支援装置。

【請求項2】

前記生成処理部は、
前記第１のコンテキスト情報と前記第２のコンテキスト情報とのうちのいずれか一方が得られた場合には、得られた前記第１のコンテキスト情報または前記第２のコンテキスト情報の前記情報価値の評価結果に基づいて、前記第１の重み付きコンテキスト情報と、前記第２の重み付きコンテキスト情報とを選択的に生成する、
請求項１に記載のコミュニケーション支援装置。

【請求項3】

前記生成処理部は、
前記第１のコンテキスト情報および前記第２のコンテキスト情報の両方が得られた場合には、得られた前記第１のコンテキスト情報と前記第２のコンテキスト情報とが、前記第１のユーザの同一の行動に係る情報であるか否かを判断し、同一の行動に係る情報であれば、前記第１のコンテキスト情報と前記第２のコンテキスト情報とのうち前記情報価値が低い側を選択する処理部と、
選択された前記第１のコンテキスト情報または前記第２のコンテキスト情報の前記情報価値の評価結果に基づいて、前記第１の重み付きコンテキスト情報と、前記第２の重み付きコンテキスト情報とを選択的に生成する処理部と
を備える、請求項１に記載のコミュニケーション支援装置。

【請求項4】

前記生成処理部は、
前記複数の第１のコンテキスト情報の組合せから第３のコンテキスト情報を類推可能な場合には、当該第３のコンテキスト情報の前記情報価値の評価結果に基づいて、断定的な表現を用いた前記第１の重み付きコンテキスト情報と、曖昧表現を用いた前記第２の重み付きコンテキスト情報とを選択的に生成する、
請求項１に記載のコミュニケーション支援装置。

【請求項5】

前記生成処理部は、
前記第２のコンテキスト情報または前記第３のコンテキスト情報が得られるまでに行われた類推処理のステップ数に基づいて前記情報価値を評価する、請求項４に記載のコミュニケーション支援装置。

【請求項6】

ネットワークを介して行われる第１のユーザと第２のユーザとの間のコミュニケーションを支援する情報処理装置が実行するコミュニケーション支援方法であって、
センサから、前記第１のユーザの行動に係る検出データを取得する過程と、
取得された前記検出データを、当該検出データに含まれる前記第１のユーザの行動に係るコンテキスト情報の情報価値が、予め設定される条件を満たす第１の検出データと、前記条件を満たさない第２の検出データとに分類する過程と、
分類された前記第１の検出データをもとに、当該第２の検出データに含まれるコンテキスト情報から、前記第１のユーザの行動に係る複数の第１のコンテキスト情報を分解抽出する過程と、
分類された前記第２の検出データから、前記第１のユーザの行動に係る第２のコンテキスト情報を類推する過程と、
前記複数の第１のコンテキスト情報または前記第２のコンテキスト情報の前記情報価値を評価し、その評価結果に基づいて、断定的な表現を用いた第１の重み付きコンテキスト情報と、曖昧表現を用いた第２の重み付きコンテキスト情報とを選択的に生成する過程と、
生成された前記第１または第２の重み付きコンテキスト情報を、前記第２のユーザが閲覧可能な状態で提示する過程と
を具備するコミュニケーション支援方法。

【請求項7】

請求項１乃至５のいずれかに記載のコミュニケーション支援装置が具備する前記各処理部の処理を、前記コミュニケーション支援装置が備えるプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、例えばチャットボットのようなエージェントを使用してユーザ間のコミュニケーションを支援する装置、方法およびプログラムに関する。

【背景技術】

【0002】

近年、遠隔地にいるユーザ間のコミュニケーションツールとして、チャットが多く用いられている。しかし、チャットはいずれか一方のユーザが積極的に会話を開始しなければ、ユーザ間でのコミュニケーションは行われない。

【0003】

そこで、ユーザ間のコミュニケーションを促進するために、チャットにチャットボット等と呼ばれるエージェントを組合せる技術が提案されている。この技術は、例えば、エージェントが一方のユーザの行動を監視し、この行動の様子を実況するメッセージを生成して、チャット上に反映させるものである（例えば、非特許文献１を参照）。

【0004】

また、関連技術として、人の行動を支援するために、文化的な背景や個々のルーティンを考慮しながら人の行動の意図を深く理解する研究も行われている（例えば、非特許文献２を参照）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】佐藤晃佑、大島直樹、青木良輔、武川直樹、「センシングした調理行動をネタに離れて暮らす親子を雑談でむすぶ複数のチャットボット～自動化システムによる2週間のユーザテスト～」、ＨＡＩ（Human-Agent Interaction）シンポジウム 2018，G-11

【非特許文献2】Genevieve Bell and Joseph Jofish Kaye, “Designing Technology for Domestic Spaces: A Kitchen Manifesto”, Gastronomica: The Journal of Critical Food Studies, 46-52, Vol.2 No.2, Spring 2002.

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところが、非特許文献１には、エージェントが複数種類のセンサの検出データをもとにユーザの行動、例えば調理状況を判定し、それに対応するメッセージを生成してユーザ間のチャット上に反映させることまでは開示されているが、センサの検出データをもとに具体的にメッセージをどのように生成するかについては開示されていない。また、コミュニケーションを促進させる上で有効なメッセージとはどのようなものかについては、いまだ検討されていない。

【0007】

一方、非特許文献２には、人の調理行動を支援するために、文化的な背景や個々のルーティンを考慮しながら人の行動の意図を深く理解するための方向性が示されているものの、ユーザ間のコミュニケーションを促進する上で有効なメッセージとはどのようなものか、さらにメッセージをどのように生成するか、については言及されていない。

【0008】

この発明は上記事情に着目してなされたもので、ユーザ間のコミュニケーションを促進させる上で有効なメッセージを生成するための技術を提供しようとするものである。

【課題を解決するための手段】

【0009】

上記課題を解決するためにこの発明に係る装置又は方法の一態様は、ネットワークを介して行われる第１のユーザと第２のユーザとの間のコミュニケーションを支援する際に、センサから前記第１のユーザの行動に係る検出データを取得し、取得された前記検出データを、先ず当該検出データに含まれる前記第１のユーザの行動に係るコンテキスト情報の情報価値が、予め設定される条件を満たす第１の検出データと、前記条件を満たさない第２の検出データとに分類する。次に、分類された前記第１の検出データから、前記第１のユーザの行動に係る複数の第１のコンテキスト情報を分解抽出すると共に、前記第２の検出データをもとに、当該検出データに含まれるコンテキスト情報から前記第１のユーザの行動に係る第２のコンテキスト情報を類推する。そして、前記複数の第１のコンテキスト情報または前記第２のコンテキスト情報の前記情報価値を評価し、その評価結果に基づいて、断定的な表現を用いた第１の重み付きコンテキスト情報と、曖昧表現を用いた第２の重み付きコンテキスト情報とを選択的に生成し、生成された前記第１または第２の重み付きコンテキスト情報を、前記第２のユーザが閲覧可能な状態に出力するようにしたものである。

【発明の効果】

【0010】

この発明の一態様によれば、例えば、検出データから分解抽出または類推されるユーザの行動に係るコンテキスト情報の情報価値が評価され、その評価値が低い場合には、当該コンテキスト情報をもとに断定的な表現を用いた重み付きコンテキスト情報が生成され、一方評価値が高い場合には、当該コンテキスト情報をもとに曖昧表現を用いた重み付きコンテキスト情報が生成され、それぞれ例えばコミュニケーションツールにおいてユーザに提示される。このため、検出データから分解抽出または類推されるユーザの行動を表すコンテキスト情報を、その情報価値に応じて、断定的で正確な表現と、曖昧で興味を引きやすい表現とを使い分けて提示することが可能となり、これによりユーザに対し、提示情報の信頼性を担保しつつ、コミュニケーションのきっかけを効果的に与えることが可能となる。

【0011】

すなわちこの発明の一態様によれば、ユーザ間のコミュニケーションを促進する上で有効なメッセージを生成する技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、この発明の一実施形態に係るコミュニケーション支援装置として機能するサーバ装置を備えるシステムの全体構成図である。

【図2】図２は、図１に示したサーバ装置のハードウェア構成を示すブロック図である。

【図3】図３は、図１に示したサーバ装置のソフトウェア構成を示すブロック図である。

【図4】図４は、図２および図３に示したサーバ装置により実行されるコミュニケーション支援処理の全体の処理手順と処理内容の一例を示すフローチャートである。

【図5】図５は、図４に示した全体の処理手順のうちコンテキスト分類処理の処理手順と処理内容の一例を示すフローチャートである。

【図6】図６は、図４に示した処理手順のうちコンテキスト分解処理の処理手順と処理内容の一例を示すフローチャートである。

【図7】図７は、図４に示した処理手順のうちコンテキスト類推処理の処理手順と処理内容の一例を示すフローチャートである。

【図8】図８は、図４に示した処理手順のうち重み付きコンテキスト生成処理の処理手順と処理内容の一例を示すフローチャートである。

【図9】図９は、コンテキストとその情報価値の高さとの関係の一例を示す図である。

【図10】図１０は、断定的な表現で表された重み付きコンテキストの一例を示す図である。

【図11】図１１は、曖昧な表現で表された重み付きコンテキストの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0014】

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係るコミュニケーション支援装置として機能するサーバ装置を備えるシステムの全体構成図である。

【0015】

図１において、ＵＴ１，ＵＴ２はそれぞれユーザＵＳ１，ＵＳ２が所持するユーザ端末を示している。ユーザ端末ＵＴ１，ＵＴ２は、いずれも例えばスマートフォンまたはタブレット型端末等の携帯情報端末からなる。ユーザ端末ＵＴ１，ＵＴ２には、コミュニケーションツールがインストールされており、ユーザＵＳ１，ＵＳ２は上記コミュニケーションツールを用いることで、ネットワークＮＷを介して相互間で例えばチャットによるコミュニケーションを行えるようになっている。なお、ユーザ端末ＵＴ１，ＵＴ２としては、他にノート型のパーソナルコンピュータやウェアラブル型端末を使用することが可能である。

【0016】

ところで、ユーザＵＳ１の住居内には、ユーザＵＳ１の行動を検出するための複数のセンサデバイスが設置されている。この例では、調理器具ＳＴおよび照明器具ＬＧにそれぞれその動作状態を検出するセンサＳＳ１，ＳＳ２が設置され、また天井にカメラＣＭが設置されている。また住居内には、送受信装置ＴＲが設けられている。送受信装置ＴＲは、例えば無線ルータからなり、上記各センサＳＳ１，ＳＳ２およびカメラＣＭから出力される検出データを、ネットワークＮＷを介してサーバ装置ＳＶへ転送する。

【0017】

なお、センサＳＳ１としては、例えば、調理器具ＳＴのつまみや図示しないナイフ、フライパン等のハンドル部分に取着されてその動きを検出する加速度センサ、調理器具ＳＴの温度を検出する温度センサ、音を検出するマイクロフォンが用いられ、またセンサＳＳ２には照度センサが用いられる。

【0018】

（２）サーバ装置ＳＶ
図２および図３は、それぞれサーバ装置ＳＶのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。

【0019】

サーバ装置ＳＶは、例えばサーバコンピュータまたはクラウドコンピュータからなり、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備える。制御部１には、バス５を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、通信インタフェース（通信Ｉ／Ｆ）４が接続されている。

【0020】

通信Ｉ／Ｆ４は、制御部１の制御の下、ネットワークＮＷにより定義される通信プロトコルを用いて、上記ユーザ端末ＵＴ１，ＵＴ２との間で各種情報の送受信を行う。

【0021】

プログラム記憶部２は、記憶媒体として例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成されたもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。

【0022】

データ記憶部３は、記憶媒体として例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には検出データ記憶部３１と、第１のコンテキスト記憶部３２と、第２のコンテキスト記憶部３３と、重み付きコンテキスト記憶部３４が設けられている。

【0023】

検出データ記憶部３１は、センサＳＳ１，ＳＳ２およびカメラＣＭから送信された検出データを時系列で記憶するために使用される。検出データには、例えば、ユーザＵＳ１の識別情報（ユーザＩＤ）、送信元のセンサの識別情報（センサＩＤ）および検出時刻が付与される。

【0024】

第１のコンテキスト記憶部３２は、後述する制御部１により、分類後の検出データから分解抽出された第１のコンテキスト情報を記憶するために使用される。この第１のコンテキスト情報には、ユーザＩＤが付与される。

【0025】

第２のコンテキスト記憶部３３は、後述する制御部１により、分類後の検出データに含まれるコンテキストから類推された第２のコンテキスト情報を記憶するために使用される。この第２のコンテキスト情報にも、ユーザＩＤが付与される。

【0026】

重み付きコンテキスト記憶部３４は、後述する制御部１により生成された重み付きコンテキスト情報を、ユーザＩＤと対応付けた状態で記憶するために使用される。

【0027】

制御部１は、上記チャット等によるコミュニケーションを行うユーザＵＳ１，ＵＳ２に対するコミュニケーション支援を行う、例えばチャットボットまたはエージェントの機能を有する。そして、この機能を実現するための処理部として、検出データ取得処理部１１と、コンテキスト分類処理部１２と、コンテキスト分解処理部１３と、コンテキスト類推処理部１４と、重み付きコンテキスト生成処理部１５と、メッセージ配信処理部１６とを備えている。これらの処理部１１～１６は、何れも例えばプログラム記憶部２に格納されたプログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。

【0028】

検出データ取得処理部１１は、例えばユーザＵＳ１が調理を開始した場合に、ユーザＵＳ１の住居の送受信装置ＴＲから送信される各センサＳＳ１，ＳＳ２およびカメラＣＭの検出データを、通信Ｉ／Ｆ４を介して受信して検出データ記憶部３１に時系列で記憶させる処理を行う。

【0029】

コンテキスト分類処理部１２は、上記検出データ記憶部３１から検出データを一定時間分ずつ読み込み、当該検出データを、これに含まれるユーザＵＳ１の行動に係るコンテキスト情報の情報価値に応じて、情報価値の高い第１の検出データと、情報価値の低い第２の検出データとに分類する処理を行う。

【0030】

ここで、コンテキストの情報価値とは、検出データを人が閲覧したときに、当該閲覧者が監視対象のユーザの行動や意図を類推可能な度合いを示すもので、情報価値が高ければ高いほど、閲覧者がユーザの行動に係る多くの情報を把握することができる。この実施形態では、コンテキスト分類処理部１２は、コンテキストの情報価値をセンサの種別により判定し、検出データを価値の高い第１の検出データと低い第２の検出データに分類する。その処理の一例は動作例において述べる。

【0031】

コンテキスト分解処理部１３は、上記コンテキスト分類処理部１２により分類された価値の高い第１の検出データを取り込み、当該第１の検出データから情報価値の低い複数のローコンテキスト情報を分解抽出する処理を行う。またコンテキスト分解処理部１３は、抽出された上記複数のローコンテキスト情報を組み合わせることで類推される、より情報価値の高いハイコンテキスト情報を生成する処理も行う。そしてコンテキスト分解処理部１３は、上記分解抽出および類推された複数のローコンテキスト情報およびハイコンテキスト情報を、ユーザＩＤを付与した状態で第１のコンテキスト情報として第１のコンテキスト記憶部３２に記憶させる。なお、上記コンテキスト分解抽出処理の一例は、動作例において述べる。

【0032】

コンテキスト類推処理部１４は、上記コンテキスト分類処理部１２により分類された価値の低い第２の検出データを取り込み、当該第２の検出データに含まれるローコンテキスト情報をもとに、より情報価値の高いハイコンテキスト情報を類推する処理を行う。そして、コンテキスト類推処理部１４は、類推された上記ハイコンテキスト情報を、ユーザＩＤを付与した状態で、第２のコンテキスト情報として第２のコンテキスト記憶部３３に記憶させる。なお、上記ハイコンテキスト情報の類推処理の一例は、動作例において述べる。

【0033】

重み付きコンテキスト生成処理部１５は、上記第１のコンテキスト記憶部３２または第２のコンテキスト記憶部３３に新たなコンテキスト情報が記憶される毎に、この新たなコンテキスト情報を読み込む。そして、読み込まれた上記コンテキスト情報の情報価値を評価する。このとき、第１のコンテキスト記憶部３２および第２のコンテキスト記憶部３３の両方から新たなコンテキスト情報が読み込まれ、これらのコンテキストの内容がユーザＵＳ１の同一行動に係るものだった場合には、それぞれのコンテキスト情報の情報価値を評価し、評価値が低い側のコンテキスト情報を選択する処理を行う。

【0034】

重み付きコンテキスト生成処理部１５は、上記情報価値の評価結果に基づいて、評価値が低いコンテキスト情報については断定的な表現により重み付けした第１の重み付きコンテキスト情報を生成し、一方評価値が高いコンテキストについては曖昧な表現により重み付けした第２の重み付きコンテキスト情報を生成する。そして、生成された各重み付きコンテキスト情報を、ユーザＩＤを付与した状態で重み付きコンテキスト記憶部３４に記憶させる処理を行う。

【0035】

メッセージ配信処理部１６は、重み付きコンテキスト記憶部３４に新たな重み付きコンテキスト情報が記憶されると、当該新たな重み付きコンテキスト情報を読み出す。そして、ユーザＩＤをもとに、対応するユーザＵＳ１が使用するユーザ端末ＵＴ１とそのコミュニケーション相手となるユーザ端末ＵＴ２との間のコミュニケーションツール上に、上記重み付きコンテキスト情報を掲載する処理を行う。

【0036】

（動作例）
次に、以上のように構成されたサーバ装置ＳＶにおいて行われる、コミュニケーション支援に係る一連の動作を説明する。

【0037】

なお、ここでは、例えば一人暮らしをしている大学生と母親とがチャットによりコミュニケーションをする場合に、サーバ装置ＳＶがそのチャットボットまたはエージェント機能により、上記大学生と母親との間のコミュニケーションを支援する処理を実行する場合を例にとって説明する。

【0038】

図４は、サーバ装置ＳＶの制御部１が実行するコミュニケーション支援処理の全体の処理手順と処理内容を示すフローチャートである。

【0039】

（１）検出データの取得
ユーザＵＳ１が調理を行うためにキッチンの照明器具ＬＧを点灯させると、この照明器具ＬＧの点灯が例えば照度センサからなるセンサＳＳ２により検出され、その検出データが送受信装置ＴＲによりサーバ装置ＳＶへ転送される。

【0040】

サーバ装置ＳＶの制御部１は、ステップＳ１により調理の開始を監視している。この状態で、上記照明器具ＬＧの点灯を表す検出データを受信すると、ユーザＵＳ１が調理を開始したものと判断して、検出データ取得処理部１１の制御の下、ステップＳ２において、以下のように検出データの取得処理を実行する。

【0041】

すなわち、ユーザＵＳ１が、例えば調理器具ＳＴを点火し、つまみを操作して火力を設定すると、このつまみの操作が例えば加速度センサからなるセンサＳＳ１により検出され、その検出データが送受信装置ＴＲからサーバ装置ＳＶへ送信される。また、ユーザＵＳ１の調理の様子がカメラＣＭにより撮像され、その映像データが調理の様子を表す検出データとして送受信装置ＴＲからサーバ装置ＳＶへ送信される。なお、ユーザＵＳ１が例えばナイフを持って材料を切ったり、フライパンを振った場合にも、その動作や音が加速度センサまたはマイクロフォン等により検出され、その検出データが送受信装置ＴＲからサーバ装置ＳＶへ送信される。

【0042】

これに対しサーバ装置ＳＶの検出データ取得処理部１１は、ステップＳ２において、上記ユーザＵＳ１宅の送受信装置ＴＲから送信された各検出データを通信Ｉ／Ｆ４を介して受信し、受信された各検出データを検出データ記憶部３１に記憶させる。なお、このとき上記各検出データには、それぞれユーザＩＤ、センサＩＤおよび検出時刻が付与される。以後、検出データ取得処理部１１は、ステップＳ７により調理の終了が検出されるまで、検出データの取得処理を継続する。

【0043】

なお、サービス対象のユーザが他にも存在する場合には、これらの他のユーザについても、同様に検出データ取得処理が実行される。

【0044】

（２）コンテキスト分類処理
上記検出データ記憶部３１に新たな検出データが記憶されると、サーバ装置ＳＶの制御部１は、コンテキスト分類処理部１２の制御の下、ステップＳ３において以下のようにコンテキスト分類処理を実行する。

【0045】

図５は、上記コンテキスト分類処理部１２による、コンテキスト分類処理の処理手順と処理内容の一例を示すフローチャートである。

【0046】

すなわち、コンテキスト分類処理部１２は、上記検出データ記憶部３１に一定時間（例えば２分間）分の検出データが記憶されると、ステップＳ３１において上記一定時間分の検出データを検出データ記憶部３１から読み込む。次に、コンテキスト分類処理部１２は、ステップＳ３２により、読み込まれた上記検出データに付与されるセンサＩＤからセンサ種別を判定し、ステップＳ３３において、上記センサ種別の判定結果に従い上記検出データを分類する。

【0047】

例えば、調理器具ＳＴの動作を表す検出データは、加速度センサにより得られたつまみの操作のみを表すデータであることから、上記調理器具ＳＴの動作を表す検出データは「コンテキスト価値の低い検出データ」に分類される。これに対し、カメラＣＭから出力された映像データはキッチンにおけるユーザＵＳ１の調理の様子を撮像した、複数の情報を含む検出データであることから、上記カメラＣＭの映像データは「コンテキスト価値の高い検出データ」に分類される。

【0048】

なお、「コンテキスト価値の低い検出データ」には、他に例えば照度センサや温度センサ、振動センサの検出データが分類され、また「コンテキスト価値の高い検出データ」には、様々な器具の音やユーザＵＳ１の声が含まれる音声データや、Webサイトから取得されるレシピの検索データ等が分類される。

【0049】

続いてコンテキスト分類処理部１２は、ステップＳ３４において上記分類された検出データのコンテキスト価値を判定し、その判定結果に従い、コンテキスト価値が高い検出データをコンテキスト分解処理部１３に送り、コンテキスト価値が低い検出データをコンテキスト類推処理部１４に送る。

【0050】

（３）コンテキスト分解処理
上記コンテキスト価値が高い検出データが送られると、コンテキスト分解処理部１３は、ステップＳ４において以下のようにコンテキスト分解処理を実行する。

【0051】

図６は、上記コンテキスト分解処理部１３による、コンテキスト分解処理の処理手順と処理内容の一例を示すフローチャートである。

【0052】

すなわち、コンテキスト分解処理部１３は、先ずステップＳ４１により処理対象の上記検出データを取り込むと、この検出データから情報価値の低い複数のローコンテキストを分解抽出する。例えば、検出データが調理の様子を表す映像データであれば、例えば「調理器具ＳＴが使われている」、「ナイフが使われている」、「まな板の上に食材が乗っている」、「ユーザの手に食材が把持されている」、「フライパンが振られている」等、それぞれ情報価値の低いオブジェクトがローコンテキスト情報として分解抽出される。

【0053】

なお、上記オブジェクトの分解抽出処理は、例えば、調理に関係する各器具の基本画像パターンを予め記憶しておき、取得された映像データと上記基本画像パターンとをパターンマッチング処理することで実施可能である。

【0054】

コンテキスト分解処理部１３は、続いてステップＳ４３により、上記分解抽出された複数のローコンテキスト情報の各々により単独で、もしくは組合せにより、さらに情報価値の高いハイコンテキスト情報を類推可能か否かを判定する。そして、類推が可能な場合には、ステップＳ４４においてハイコンテキスト情報を類推し、類推されたハイコンテキスト情報をユーザＩＤと対応付けて第１のコンテキスト記憶部３２に記憶させる。

【0055】

例えば、この例では、「ナイフが使われている」と「まな板の上に食材が乗っている」との組合せから、「まな板の上で食材を切っている」というハイコンテキスト情報が類推され、また「ナイフが使われている」と「ユーザの手に食材が把持されている」との組合せから、「食材の皮むきが行われている」というハイコンテキスト情報が類推される。ハイコンテキスト情報の類推処理の一例は、後続のコンテキスト類推処理においても説明する。

【0056】

なお、ハイコンテキスト情報を類推できない場合には、上記複数のローコンテキスト情報がそのまま、或いは選択されて第１のコンテキスト記憶部３２に記憶されてもよい。

【0057】

以上述べたステップＳ４１～Ｓ４４によるコンテキスト分解抽出処理は、ステップＳ４５において、処理対象となるすべての検出データに対する処理が終了したと判定されるまで繰り返し実行される。

【0058】

（４）コンテキスト類推処理
一方、上記コンテキスト価値が低い検出データが送られると、コンテキスト類推処理部１４は、ステップＳ５において以下のようにコンテキスト類推処理を実行する。

【0059】

図７は、上記コンテキスト類推処理部１４による、コンテキスト類推処理の処理手順と処理内容の一例を示すフローチャートである。

【0060】

すなわち、コンテキスト類推処理部１４は、先ずステップＳ５１により処理対象の上記検出データを取り込むと、ステップＳ５２において、上記検出データから情報価値の低いローコンテキスト情報を抽出する。この処理により、例えば検出データが調理器具ＳＴのつまみの操作を表す加速度データの場合には、「調理器具ＳＴのつまみの操作量（操作角度）」を表す情報が、ローコンテキスト情報として抽出される。

【0061】

次にコンテキスト類推処理部１４は、ステップＳ５３において、抽出された上記ローコンテキスト情報をもとに、より情報価値の高いハイコンテキスト情報を類推する。そして、さらに情報価値の高いハイコンテキスト情報の類推が可能な場合には、ステップＳ５４からステップＳ５３に戻って、ハイコンテキスト情報の類推処理を繰り返し実行する。

【0062】

例えば、ローコンテキスト情報として、上記「調理器具ＳＴのつまみの操作量（操作角度）」を表す情報が抽出された場合には、当該情報に含まれる「調理器具ＳＴのつまみの操作」から先ず「調理器具（コンロ）ＳＴが使用されている」が類推され、続いて「つまみの操作角度」から「火力の強さ」が類推される。さらに、「火力の強さの遷移状態」から「使用用途（例えば茹でる、炒める、蒸す）」が類推される。

【0063】

以上の類推処理は、例えば、茹でる、炒める、蒸す等の調理の種類に対応付けて、火加減の遷移情報を予め記憶しておき、上記コンテキスト情報を上記火加減の遷移情報とパターンマッチングにより対照し、その類似度合いをもとに最も類似度が高い遷移パターンを特定することにより実現される。

【0064】

コンテキスト類推処理部１４は、次にステップＳ５５において、上記繰り返し類推処理により最終的に得られたハイコンテキスト情報を、第２のコンテキスト記憶部３３にユーザＩＤと対応付けた状態で記憶させる。またコンテキスト類推処理部１４は、ステップＳ５６において、上記繰り返し類推処理が行われた場合の繰り返し数（類推ステップ数）を、上記ハイコンテキスト情報と対応付けて、第２のコンテキスト記憶部３３に記憶させる。上記類推ステップ数は、コンテキスト情報の情報価値の評価指標として使用される。

【0065】

以上述べたステップＳ５１～Ｓ５６によるコンテキスト類推処理は、ステップＳ５７において、処理対象となるすべての検出データに対する処理が終了したと判定されるまで繰り返し実行される。

【0066】

図９は、以上述べた類推処理により生成されるコンテキスト情報とその価値の高さとの関係の一例を示すものである。同図に示すように、「調理器具（コンロ）が使用されている」、「フライパンが使用されている」はセンサの検出データが示す状態そのものに近く、価値が低いローコンテキスト情報である。これらのローコンテキスト情報は、言い換えると曖昧度合いの低い明確な状態を表すコンテキスト情報であり、断定的な表現で提示することが望ましい。

【0067】

一方、上記ローコンテキスト情報から類推される「コンロが強火で維持されている」、「フライパンが揺すられている」は、より価値の高いコンテキスト情報であり、さらにこれらのコンテキスト情報から類推される「炒め物をしている」および「野菜炒めをつくっている」はより一層価値の高いハイコンテキスト情報となる。これらのハイコンテキスト情報は、類推処理を繰り返すことで生成される情報であるため曖昧度合いが高い情報であり、曖昧表現で提示することの望ましい。

【0068】

この実施形態のサーバ装置ＳＶは、以上のような観点に着目して、ユーザにメッセージとして提示すべき重み付きコンテキスト情報を生成する。

【0069】

（５）重み付きコンテキスト情報の生成
上記第１または第２のコンテキスト記憶部３２，３３に新たなコンテキスト情報が記憶されると、サーバ装置ＳＶの制御部１は、重み付きコンテキスト生成処理部１５の制御の下、ステップＳ６において、以下のように重み付きコンテキスト情報の生成処理を実行する。

【0070】

図８は、上記重み付きコンテキスト生成処理部１５による、重み付きコンテキスト生成処理の処理手順と処理内容を示すフローチャートである。

【0071】

すなわち、重み付きコンテキスト生成処理部１５は、先ずステップ６１において、上記第１および第２のコンテキスト記憶部３２，３３から、新たに記憶されたコンテキスト情報を読み込む。そして、ステップＳ６２により、読み込まれた情報が第１のコンテキスト情報および第２のコンテキスト情報の一方か、或いは両方かを判定する。そして、第１のコンテキスト情報および第２のコンテキスト情報の一方が読み込まれた場合には、後述するステップＳ６６に移行する。

【0072】

一方、上記判定の結果、第１および第２のコンテキスト情報が両方とも読み込まれた場合には、重み付きコンテキスト生成処理部１５は、ステップＳ６３において、第１および第２のコンテキスト情報を比較する。そして、この比較結果をもとに、第１のコンテキスト情報と第２のコンテキスト情報とがユーザＵＳ１の同一行動に関するものであるか否かを、ステップＳ６４で判定する。例えば、第１および第２のコンテキスト情報が共に調理器具ＳＴの動作に関するものであれば、このときの第１および第２のコンテキスト情報は、ユーザＵＳ１の同一行動に関するものと判定する。

【0073】

続いて重み付きコンテキスト生成処理部１５は、ステップＳ６５において、第１のコンテキスト情報および第２のコンテキスト情報の各情報価値をもとに、情報価値が低い方を選択する。ここで、コンテキスト分解処理部１３およびコンテキスト類推処理部１４がそれぞれ上記第１および第２のコンテキスト情報を類推する際に実行した類推処理の繰り返し数（類推ステップ数）は、コンテキスト情報の情報価値の評価指標として用いることが可能である。従って、重み付きコンテキスト生成処理部１５は、第１および第２のコンテキスト情報を類推したときの類推ステップ数を比較し、類推ステップ数が少ない方のコンテキスト情報を選択する。

【0074】

次に重み付きコンテキスト生成処理部１５は、ステップＳ６６において、評価値として、例えば上記コンテキスト情報の類推ステップ数を用い、これをしきい値と比較する。そして、この比較の結果、評価値がしきい値未満であればステップＳ６７に移行し、上記コンテキスト情報を断定的な表現により重み付けしたコンテキスト情報を生成する。これに対し、評価値がしきい値以上であればステップＳ６８に移行し、上記コンテキスト情報を曖昧表現により重み付けしたコンテキスト情報を生成する。

【0075】

ここで、上記断定的な表現としては、例えば「～だ」が用いられ、この文字と同趣旨の断定文字がコンテキスト情報の語尾に付加される。一方、曖昧表現としては、例えば「～だろう」、「～のような気がする」、「～みたいだね」が用いられ、これらの文字列がコンテキスト情報の語尾に付加される。

【0076】

なお、上記コンテキスト情報の情報価値の評価指標としては、例えばコンテキスト価値分布を定義し、このコンテンツ価値分布に従いコンテキスト情報に評価値を与え、この評価値をしきい値と比較するようにしてもよい。例えば、コンテキスト価値分布を０～１で表してこの範囲でコンテキスト情報に評価値を付与し、この評価値をしきい値＝0.5と比較する。そして、評価値が0.5に満たない場合に「断定的な表現」を選択して重み付けコンテキスト情報を生成し、一方評価値が0.5以上の場合には「曖昧表現」を選択して重み付きコンテキスト情報を生成する。

【0077】

最後に重み付きコンテキスト生成処理部１５は、上記各重み付け処理により生成された重み付きコンテキスト情報を、ステップＳ６９によりユーザＩＤと対応付けて重み付きコンテキスト記憶部３４に記憶させる。

【0078】

（６）メッセージの配信
サーバ装置ＳＶの制御部１は、上記重み付きコンテキスト記憶部３４に新たな重み付きコンテキスト情報が記憶されると、メッセージ配信処理部１６の制御の下、ステップＳ７において、上記新たな重み付きコンテキスト情報を重み付きコンテキスト記憶部３４から読み出す。そして、読み出された上記重み付きコンテキスト情報を、ユーザＩＤをもとに、対応するユーザＵＳ１が使用するユーザ端末ＵＴ１とそのコミュニケーション相手となるユーザ端末ＵＴ２との間のコミュニケーションツール上に、掲載する。

【0079】

図１０は、ローコンテキスト情報をもとに生成された重み付きコンテキスト情報のコミュニケーションツール上での提示例を示すものである。この例に示すようにローコンテキスト情報は「～よ」、「～いるね」等の「断定的な表現」を用いて提示される。

【0080】

一方、図１１はハイコンテキスト情報をもとに生成された重み付きコンテキスト情報のコミュニケーションツール上での提示例を示すものである。この例に示すようにハイコンテキスト情報は「～かな？」、「～ようだね」のような「曖昧な表現」を用いて提示される。

【0081】

（作用・効果）
以上述べたように一実施形態では、チャットボットやエージェント等と呼称されるコミュニケーション支援機能を備えるサーバ装置ＳＶにおいて、センサから取得された検出データを、先ず当該検出データに含まれるユーザＵＳ１の行動に係るコンテキスト情報の情報価値が高い検出データと、低い検出データとに分類する。次に、分類された上記価値の高い検出データから、上記ユーザＵＳ１の行動に係る複数のローコンテキスト情報を分解抽出し、抽出された各ローコンテキスト情報から、より価値の高いコンテキスト情報を類推する。一方、上記価値の低い検出データからは、当該検出データに含まれるコンテキスト情報をもとに、より価値の高いコンテキスト情報を類推する。そして、類推された上記コンテキスト情報の情報価値を評価し、その評価値がしきい値より低いコンテキスト情報については断定的な表現を用い、評価値がしきい値以上のコンテキスト情報については曖昧表現を用いて、コミュニケーションツール上にユーザＵＳ１，ＵＳ２が閲覧可能な状態に提示するようにしている。

【0082】

従って、一実施形態によれば、価値の高い検出データから分解抽出されたのち類推されたユーザの行動を表す第１のコンテキスト情報、または価値の低い検出データからそのまま類推された第２のコンテキスト情報の情報価値に応じて、断定的で正確な表現と、曖昧で興味を引きやすい表現とを使い分けて提示することが可能となり、これによりチャット等のコミュニケーションツールを用いるユーザＵＳ１，ＵＳ２に対し、提示情報の信頼性を担保しつつ、コミュニケーションのきっかけを効果的に与えることが可能となる。

【0083】

また、第１のコンテキスト情報および第２のコンテキスト情報の両方が得られた場合には、これらのコンテキスト情報がユーザの同一の行動に係る情報であるか否かを判断し、同一の行動に係る情報であれば情報価値が低い側を選択し、その情報価値の評価結果に基づいて断定的または曖昧な表現を用いたコンテキスト情報を選択的に生成し、提示するようにしている。

【0084】

従って、ユーザＵＳ１の同一の行動を表す複数のコンテキスト情報が同時に得られた場合には、そのうちの情報価値の低いコンテキスト情報をもとにメッセージが生成されて提示されることになり、ユーザＵＳ１の行動をより正確に類推したメッセージを提示することができる。

【0085】

さらに、検出データから分解抽出された複数のローコンテキスト情報からユーザＵＳ１の行動を類推する際に、複数のローコンテキスト情報の組合せをもとに類推することで、単一のローコンテキスト情報から類推する場合に比べ、ユーザＵＳ１の行動をより正確に類推することが可能となり、これにより正確なメッセージを提示することが可能となる。

【0086】

［その他の実施形態］
前記一実施形態では、チャットボットまたはエージェントによるコミュニケーション支援機能をサーバ装置ＳＶに備えた場合を例にとって説明したが、いずれかのユーザ端末に設けてもよい。その他、コミュニケーション支援装置の機能構成や処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

【0087】

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0088】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0089】

ＳＶ…サーバ装置
ＵＴ１，ＵＴ２…ユーザ端末
ＮＷ…ネットワーク
ＳＴ…調理器具
ＬＧ…照明器具
ＳＳ１，ＳＳ２…センサ
ＣＭ…カメラ
ＴＲ…送受信装置
１…制御部
２…プログラム記憶部
３…データ記憶部
４…通信Ｉ／Ｆ
５…バス
１１…検出データ取得処理部
１２…コンテキスト分類処理部
１３…コンテキスト分解処理部
１４…コンテキスト類推処理部
１５…重み付きコンテキスト生成処理部
１６…メッセージ配信処理部
３１…検出データ記憶部
３２…第１のコンテキスト記憶部
３３…第２のコンテキスト記憶部
３４…重み付きコンテキスト記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】