IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東京瓦斯株式会社の特許一覧

<>
  • 特許-対話型コミュニケーション装置 図1
  • 特許-対話型コミュニケーション装置 図2
  • 特許-対話型コミュニケーション装置 図3
  • 特許-対話型コミュニケーション装置 図4
  • 特許-対話型コミュニケーション装置 図5
  • 特許-対話型コミュニケーション装置 図6
  • 特許-対話型コミュニケーション装置 図7
  • 特許-対話型コミュニケーション装置 図8
  • 特許-対話型コミュニケーション装置 図9
  • 特許-対話型コミュニケーション装置 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-07
(45)【発行日】2024-08-16
(54)【発明の名称】対話型コミュニケーション装置
(51)【国際特許分類】
   G06F 3/16 20060101AFI20240808BHJP
   H04M 11/00 20060101ALI20240808BHJP
   G10L 13/00 20060101ALI20240808BHJP
   G10L 15/00 20130101ALN20240808BHJP
【FI】
G06F3/16 650
G06F3/16 690
H04M11/00 302
G10L13/00 100M
G10L15/00 200T
【請求項の数】 3
(21)【出願番号】P 2020176396
(22)【出願日】2020-10-21
(65)【公開番号】P2022067684
(43)【公開日】2022-05-09
【審査請求日】2023-05-24
(73)【特許権者】
【識別番号】000220262
【氏名又は名称】東京瓦斯株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】平瀬 公太
(72)【発明者】
【氏名】川田 拓也
(72)【発明者】
【氏名】大野 明子
【審査官】岩橋 龍太郎
(56)【参考文献】
【文献】特開2019-117568(JP,A)
【文献】特開2003-315082(JP,A)
【文献】特開2019-021980(JP,A)
【文献】特開2019-028783(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048-3/04895
G06F 3/16
G10L 13/00-13/10
G10L 15/00-17/26
G10L 19/00-99/00
H04M 3/00
H04M 3/16-3/20
H04M 3/38-3/58
H04M 7/00-7/16
H04M 11/00-11/10
(57)【特許請求の範囲】
【請求項1】
機器に関する質問データと説明データとを関連付けて記憶する記憶手段と、
記憶された複数の前記説明データの中から、機器ユーザからの質問に対応する当該説明データを選択する選択手段と、
選択された前記説明データによる説明の区切り毎に、当該説明データによる説明の進捗に関する情報を、現場作業者の携帯端末に通知する第1の通知手段と、
機器ユーザからの質問に応じて現場作業者の前記携帯端末に通知する第2の通知手段と、
通知を受けた現場作業者からの回答データを取得する取得手段と、
選択した前記説明データ又は取得した前記回答データを音声により機器ユーザに提供する提供手段と、
を有する対話型コミュニケーション装置。
【請求項2】
前記機器は、機器ユーザのガス機器である、
請求項1記載の対話型コミュニケーション装置。
【請求項3】
前記対話型コミュニケーション装置は、スマートスピーカである、請求項1記載の対話型コミュニケーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対話型コミュニケーション装置、機器説明支援システム及び機器説明提供方法に関する。
【背景技術】
【0002】
特許文献1には、家電機器等の電子機器に関する取扱説明に関する情報を登録するロボットが、ユーザからの問合せの内容に応じた取扱説明に関する情報を提供する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2009-116493号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
今日、家庭内で使用するロボットが実用化されている。ただし、ロボットだけで、機器を操作するユーザ(以下「機器ユーザ」という)の要望の全てに応えることは難しい。例えば特許文献1に記載のロボットによる情報の提供は、事前に想定された設問との関係で定まっており、想定されていない設問への対応は難しい。この場合には、人間の担当者による支援が必要になる。
また、現場で機器の修理や点検等を実施する作業者による注意事項等の説明をロボットに代行させれば、作業者の負担を軽減できる。しかし、その場合でも、ロボットに機器ユーザからの全ての質問を対応させることは難しく、最終的には人間の担当者による支援が必要になる。
【0005】
本発明は、機器に関する説明を行う担当者の労力の軽減を図りつつ、機器ユーザに対する適切な情報の提供を実現することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、機器に関する質問データと説明データとを関連付けて記憶する記憶手段と、記憶された複数の前記説明データの中から、機器ユーザからの質問に対応する当該説明データを選択する選択手段と、選択された前記説明データによる説明の区切り毎に、当該説明データによる説明の進捗に関する情報を、現場作業者の携帯端末に通知する第1の通知手段と、機器ユーザからの質問に応じて現場作業者の前記携帯端末に通知する第2の通知手段と、通知を受けた現場作業者からの回答データを取得する取得手段と、選択した前記説明データ又は取得した前記回答データを音声により機器ユーザに提供する提供手段と、を有する対話型コミュニケーション装置である。
請求項2に記載の発明は、前記機器は、機器ユーザのガス機器である、請求項1記載の対話型コミュニケーション装置である。
請求項3に記載の発明は、前記対話型コミュニケーション装置は、スマートスピーカである、請求項1記載の対話型コミュニケーション装置である。
【発明の効果】
【0007】
本発明によれば、機器に関する説明を行う担当者の労力の軽減を図りつつ、機器ユーザに対する適切な情報の提供を実現できる。
【図面の簡単な説明】
【0008】
図1】実施の形態1で想定するコミュニケーションシステムの構成例を示す図である。
図2】端末装置の外観例を説明する図である。
図3】実施の形態1で使用する端末装置と情報端末の機能構成の一例を示す図である。
図4】説明記憶部のデータ構造の一例を示す図である。
図5】実施の形態1で使用する端末装置が実行する処理動作を説明するフローチャートである。
図6】実施の形態2で想定するコミュニケーションシステムの構成例を示す図である。
図7】実施の形態3で想定するコミュニケーションシステムの構成例を示す図である。
図8】実施の形態3で使用する端末装置の機能構成の一例を示す図である。
図9】実施の形態3で使用する端末装置が実行する処理動作を説明するフローチャートである。
図10】実施の形態3で使用する端末装置が家庭内のネットワーク環境に接続されていない場合にネットワーク上のサーバに接続するための通信経路を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
<システムの構成>
図1は、実施の形態1で想定するコミュニケーションシステム1の構成例を示す図である。
図1に示すコミュニケーションシステム1は、家庭内で使用される端末装置10と、通信路20と、オペレータ31が操作する情報端末30とで構成されている。
図1に示す端末装置10は1台であるが複数台でもよい。また、図1に示す情報端末30も1台であるが複数台でもよい。
ここでのオペレータ31は、担当者の一例である。本実施の形態におけるオペレータ31は、ヘルプデスクやサービスセンタ等で勤務するスタッフであり、遠隔地から機器ユーザ11の質問に対応する。
【0010】
図1に示す端末装置10は、ロボットの形状を有している。もっとも、端末装置10の形状はロボットに限らず、例えば動物、ぬいぐるみ、乗り物、花の形状でもよい。また、端末装置10は、スマートスピーカ等で採用されている筒型の形状や箱型の形状でもよい。
本実施の形態に端末装置10は、機器ユーザ11との対話又は会話を通じて、機器ユーザ11に提供する機器の操作や対処に関する説明を自律的に特定し、音声により提供する。本実施の形態では、対話と会話を厳密には区別しない。
【0011】
もっとも、機器ユーザ11からの質問の内容、又は、機器ユーザ11からの応答の内容が予め定められた条件を満たす場合、端末装置10は、機器ユーザ11を支援するサービス(以下「支援サービス」という)を提供するオペレータ31からの回答を情報端末30から取得し、機器ユーザ11に提供する。支援サービスは、有償に限らず、無償でも構わない。
なお、機器ユーザ11からの「質問の内容」が予め定められた条件を満たす場合には、例えば、特定された質問の内容に対応する説明が端末装置10に見つからない場合、質問の内容自体が不明確な場合がある。
【0012】
また、機器ユーザ11からの「応答の内容」が予め定められた条件を満たす場合には、例えば、説明を理解できない等のフィードバックが機器ユーザ11からあった場合、説明された対処を実施しても状況が改善しない等のフィードバックが機器ユーザ11からあった場合がある。
なお、端末装置10は、機器ユーザ11の所有物でもよいが、レンタルされていてもよい。レンタルの場合、有償か無償かは問わない。
本実施の形態における端末装置10は、対話型コミュニケーション装置の一例である。
【0013】
本実施の形態の場合、通信路20には、インターネットや移動通信システムを使用する。移動通信システムは、第4世代(すなわち4G)、第5世代(すなわち5G)、第6世代(すなわち6G)のいずれでもよい。
もっとも、移動通信システムを用いた通信が可能であるのは、端末装置10にSIM(=Subscriber Identity Module)カードが装着されているか、電子的に発行されたSIM情報が不図示の半導体メモリに記憶されている場合に限られる。
【0014】
端末装置10が家庭内のネットワーク環境に接続されている場合、端末装置10は、インターネット経由で機器ユーザ11の音声を認識する不図示のサーバ(以下「音声認識サーバ」ともいう)と通信することも可能である。なお、端末装置10と家庭内のネットワーク環境との接続には、例えばWifi(登録商標)による接続の他、ワイヤレスUSB(=Universal Serial Bus)による接続、デザリングによる接続、有線ケーブルの接続を使用する。
また、端末装置10が家庭内のネットワーク環境に接続されていない場合、端末装置10は、移動通信システム経由で情報端末30や音声認識サーバと通信してもよい。
【0015】
図1における情報端末30は、質問の対象である機器のメーカや問い合わせに関するサービスを提供する事業者のオペレータ31が操作するコンピュータである。情報端末30は、デスクトップ型のコンピュータでもよいし、ノート型のコンピュータでもよいし、タブレット型のコンピュータでもよいし、スマートフォンやウェアラブル型のコンピュータでもよい。本実施の形態における情報端末30は、機器説明支援システムの一例である。
【0016】
本実施の形態では、機器として、家庭内に設置されているガス機器を想定する。ガス機器には、例えばガスコンロ、ガスヒータ、ガス乾燥機、ガス給湯器、湯沸かし器、家庭用燃料電池、ガス温水床暖房、浴室暖房乾燥機、食器洗い乾燥機、ガスエアコンがある。
また、機器の説明を必要とする場面には、例えば住宅の購入予定者や住宅に入居した直後の居住者が、住宅に設置されている機器の使用法が分からない場合がある。もっとも、機器の説明を必要とする場面には、長年居住している生活者にも起こり得る。例えば機器が正常に動作しない場面である。
【0017】
<端末装置の構成>
図2は、端末装置10の外観例を説明する図である。図1に示したように、本実施の形態における端末装置10の外観は2足歩行型のロボットである。もっとも、端末装置10が実際に歩行可能である必要はない。ただし、不図示の車輪等により、端末装置10の移動が可能でもよい。
【0018】
端末装置10は、情報を送受信する通信アンテナ101と、画像を撮像するカメラ102と、音声を取得するマイクロフォン103と、情報を表示するディスプレイ104と、音声等の音を出力するスピーカ105と、ユーザが操作を行う操作ボタン106と、人の存在を検知する人感センサ107と、装置全体の制御を行う制御部108とを備える。
【0019】
本実施の形態の場合、通信アンテナ101はデザインの一部として現れているが、筐体内に含まれていてもよい。
カメラ102による撮像は、動画でも静止画でもよい。本実施の形態の場合、カメラ102は、ロボットの左目に設けられているが、取り付け位置は任意である。因みに、取り付けられるカメラ102の数は、複数でもよい。
マイクロフォン103は、ロボットの右目に設けられているが、取り付け位置は任意である。マイクロフォン103の数も複数でもよい。
【0020】
ディスプレイ104は、ロボットの胸部に設けられている。ディスプレイ104は、タッチパネルでもよい。もっとも、ディスプレイ104を設けない構成も可能である。
操作ボタン106は、カメラ102による録画を指示する録画ボタン106aと、他の端末装置10や情報端末30(図1参照)から受信した情報の再生を指示する再生ボタン106bと、端末装置10の設定等に用いるメニューボタン106cとを備えている。
本実施の形態の場合、録画ボタン106aが操作される画像が記録だけでなく、音も記録される。もっとも、録画ボタン106aに代えて、又は、録画ボタン106aとは別に録音ボタンを用意してもよい。
【0021】
制御部108は、プログラムの実行を通じて各種の機能を実現するCPU(=Central Processing Unit)と、半導体メモリで構成される。半導体メモリは、BIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)と、主記憶装置として用いられるRAM(=Random Access Memory)とを有している。また、制御部108は、補助記憶装置としての半導体メモリも有している。補助記憶装置としての半導体メモリには、質問データに説明データを対応付けたデータテーブルやプログラムが記憶されている。補助記憶装置としての半導体メモリは、書き換えが可能な不揮発性のメモリである。
【0022】
<端末装置と情報端末の機能構成>
図3は、実施の形態1で使用する端末装置10と情報端末30の機能構成の一例を示す図である。図3に示す機能は、本実施の形態に関連する機能のみを選択的に表している。
【0023】
<端末装置の構成>
端末装置10は、機器ユーザ11(図1参照)から質問を受け付ける質問受付部111と、質問データに関連付けられている説明データを記憶する説明記憶部112と、機器ユーザから受け付けた質問データに対応する説明データを説明記憶部112から読み出して出力する説明選択部113と、質問に対応する説明データが説明記憶部112に見つからない場合等に遠隔地のオペレータに回答を求める質問通知部114と、オペレータからの回答を情報端末30から取得する回答取得部115と、説明データ又は回答データを音声により出力する説明提供部116と、を有している。
【0024】
本実施の形態における質問受付部111は、マイクロフォン103を通じて取得された機器ユーザ11の音声を解析し、質問の内容を特定する。具体的には、質問受付部111は、取得された音声を通信路20(図1参照)経由で不図示の音声認識サーバに送信し、質問データを取得する。質問データは、例えばテキストデータの形式で与えられる。もっとも、質問データは、説明記憶部112に記憶されている質問データを特定する符号でもよい。
なお、端末装置10内で音声認識を実行できる場合、音声認識サーバとの通信は不要である。
【0025】
説明記憶部112は、質問データに説明データを対応付けたデータテーブルを記憶する。説明記憶部112は、半導体メモリの記憶領域の一部である。説明記憶部112は、記憶手段の一例である。
図4は、説明記憶部112のデータ構造の一例を示す図である。図4の場合、説明記憶部112は、識別番号に紐づけて、質問データと、対応する説明データと、回答データが記憶される。もっとも、回答データは、オペレータ31(図1参照)による回答があった場合に限られる。
【0026】
図4の場合、識別番号の「1001」と「1002」には、質問データと説明データが記憶されている。
識別番号の「1003」には、質問データと回答データが記憶されている。この例は、新規の質問データについて回答データが与えられた場合に対応する。
識別番号の「1004」には、質問データと説明データと回答データが記憶される。この例は、既存の質問データと説明データの組み合わせに対して、回答データが補足的に与えられた場合等に対応する。
【0027】
説明選択部113は、取得した質問データと説明記憶部112に記憶されている質問データとを照合し、又は、取得した質問データで説明記憶部112を検索し、機器ユーザの質問の内容に合致する質問データを抽出する。説明選択部113は、選択手段の一例である。
説明選択部113は、例えば意味検索エンジンを使用し、機器ユーザの質問の内容に合致する質問データを特定する。質問データが特定されると、質問データに対応付けられている説明データも自動的に特定される。
【0028】
この他、機器ユーザ11の質問の内容に合致する質問データの検索には、例えば人工知能を使用してもよい。音声による質問やテキスト化された質問を入力すると、合致する質問データを出力する学習モデルを用いてもよいし、質問データの検索に使用するキーワードを出力する学習モデルを使用してもよい。
また、質問の内容に合致する質問データを特定する処理には、不図示のサーバを使用してもよい。また、機器ユーザ11の質問の内容に合致する説明データを、音声による質問やテキスト化された質問から直接特定してもよい。
【0029】
質問データが見つかった場合、説明選択部113は、説明記憶部112から対応する説明データを取得する。
質問の内容に合致する質問データが見つからない場合、説明選択部113は、質問受付部111を通じ、該当する質問が存在しないことをフィードバックし、質問の内容の絞り込みや表現の変更を求めてもよい。
【0030】
具体的には、機器ユーザ11との対話又は会話を通じて機器ユーザ11の質問の内容を絞り込む。この会話は、スマートスピーカにおける会話と同様、音声認識サーバを用いて実行する。
なお、機器ユーザの質問の内容に合致する質問データが見つからない場合等、予め定められた条件を満たす場合、説明選択部113は、音声の質問又はテキスト化された質問を質問通知部114に与える。
【0031】
質問通知部114は、説明選択部113からテキスト化された質問が与えられた場合、オペレータ31が操作する情報端末30に対してテキスト化された質問を送信する。もっとも、テキスト化された質問に代えて、又は、テキスト化された質問と一緒に機器ユーザ11の音声を送信してもよい。音声は、例えば録画ボタン106aが押されている期間に録音された音声である。もっとも、音声は、いわゆるスマートスピーカと同様、端末装置30を起動するワード(すなわち「起動ワード」)の検知後に録音された音声でもよい。質問通知部114は、通知手段の一例である。
【0032】
回答取得部115は、情報端末30から取得した回答データを、説明記憶部112と説明提供部116に与える。回答データを説明記憶部112に与えるのは、次回の説明において説明データとして使用できるようにするためである。従って、オペレータ31から取得した回答を次回の説明に使用しない場合には、説明記憶部112に与える処理は不要となる。回答取得部115は、取得手段の一例である。
【0033】
説明提供部116は、説明選択部113から説明データが与えられる場合には、説明データに対応する音声をスピーカ105(図2参照)から出力し、回答取得部115から回答データが与えられる場合には、回答データに対応する音声をスピーカ105から出力する。もっとも、質問データや回答データがテキストデータではなく音声で与えられる場合には、テキストデータを音声データに変換する処理は不要である。
本実施の形態の場合、機器ユーザ11に対する説明や回答は、基本的に音声で行うが、ディスプレイ104(図2参照)に説明や回答を表示してもよい。因みに、端末装置10が受け付けた質問の内容もディスプレイ104に表示してもよい。説明提供部116は、提供手段の一例である。
【0034】
<情報端末の構成>
情報端末30は、端末装置10から質問を受け付ける質問受付部301と、オペレータ31からの回答を受け付ける回答受付部302と、受け付けた回答を端末装置10に送信する回答送信部303とを有している。これらの機能は、不図示のCPUによるプログラムの実行を通じて実現される。
【0035】
質問受付部301は、端末装置10から質問を受信した場合に、質問の受信をオペレータ31に通知する。なお、端末装置10が送信した質問は、不図示のサーバが一括的に受信し、担当者に決定されたオペレータ31が操作する情報端末30に対して転送されてもよい。
【0036】
回答受付部302は、オペレータ31からの回答を受け付けると、回答データを回答送信部303に与える。回答受付部302は、テキストデータの入力として回答データを受け付けてもよいし、音声の入力として回答データを受け付けてもよい。回答受付部302は、受付手段の一例である。
回答送信部303は、受け付けた回答データを端末装置10に送信する。回答送信部303は、送信手段の一例である。
【0037】
<処理動作>
図5は、実施の形態1で使用する端末装置10が実行する処理動作を説明するフローチャートである。なお、図5に示す処理動作は、制御部108(図2参照)によるプログラムの実行を通じて実現される。なお、図中における記号のSはステップを表している。
まず、起動した端末装置10は、音声を検知したか否かを判定する(ステップ1)。
【0038】
端末装置10の起動は、前述したように、録画ボタン106aの操作や起動ワードの検知により実行される。ステップ1で否定結果が得られている間、端末装置10はステップ1の判定を繰り返す。本実施の形態では、機器ユーザの音声を想定する。機器ユーザは、サービスを利用する機器のユーザであればよく、音声による本人認証等は必要としない。
【0039】
ステップ1で肯定結果が得られると、端末装置 10は、音声を解析して内容を特定する(ステップ2)。
次に、端末装置10は、特定された内容が機器に関する質問か否かを判定する(ステップ3)。機器に関する質問には、例えば機器の操作方法の質問やトラブル等への対処方法の質問がある。本実施の形態の場合、支援サービスの対象である機器を想定している。
【0040】
図5の場合、機器に関する質問ではない場合、端末装置10は、ステップ3で否定結果を得、ステップ1に戻る。ステップ3で否定結果を得る場合には、例えば不図示の他の端末装置10へのメッセージの送信がある。また、支援サービスの対象外の機器に対する質問の場合もステップ3で否定結果が得られる。
ステップ3で肯定結果が得られた場合、端末装置10は、質問に対応する説明があるか否かを判定する(ステップ4)。
【0041】
質問に対応する説明が説明記憶部112に見つかった場合、端末装置10は、ステップ4で肯定結果を得、特定された質問に対応する説明又は回答を読み出す(ステップ5)。例えば「ミストサウナの使い方を教えて」との質問に対し、ミストサウナの使い方に関する説明データを読み出す。
この後、端末装置10は、読み出した説明データを音声により提供する(ステップ6)。
【0042】
一方、ステップ4で否定結果が得られた場合、端末装置10は、特定された質問を担当者であるオペレータに通知する(ステップ7)。例えば機器ユーザが「Aボタンを押しても反応しなくなった」と発話した場合、「B機械が急に動かなくなった」と発話した場合、「説明の意味が分からない」と発話した場合等である。これらの場合、端末装置10は、支援サービス側のオペレータ31に通知する。
【0043】
次に、端末装置10は、オペレータ31から回答データを取得する(ステップ8)。回答データは、テキストデータ又は音声データとして取得される。
続いて、端末装置10は、取得した回答データを質問データに対応する説明データに関連付けて記憶する(ステップ9)。その後、端末装置10は、読み出した回答データを音声により提供する(ステップ6)。
【0044】
なお、端末装置10には、機器ユーザ11の音声や画像を通じて、機器ユーザ11の現在の感情や緊張度合いを分析し、機器ユーザ11に対する話し方を変更してもよい。例えば感情的になっている機器ユーザ11に対しては、丁寧な口調の説明データや回答データを選択してもよい。また、予め用意されている説明データや回答データの出力の前に、共感を示す言葉を追加してもよい。
また、機器ユーザが急いでいると分析された場合には、説明データや回答データの再生スピードを標準のスピードより上げてもよい。
なお、これらの分析には、不図示のサーバで実行される人工知能を用いてもよい。
【0045】
以上説明したように、本実施の形態における端末装置10は、機器ユーザ11からの質問や問い合わせの内容に対応する説明データを自律的に選択して応答し、機器ユーザの質問の内容が予め定められた条件を満たす場合に限り、オペレータ31から回答を取得して応答する。
このため、オペレータ31は、全ての質問に対して応答する必要がなく、労力の軽減が実現される。一方で、機器ユーザ11からの質問等の内容に対して適当な説明が難しい場合には、自動的にオペレータ31に回答を求めることができるので、機器ユーザ11への適切な情報が可能になる。すなわち、本実施の形態の場合、機器ユーザ11の操作がなくても、オペレータ31からの回答の取得することができる。
【0046】
<実施の形態2>
図6は、実施の形態2で想定するコミュニケーションシステム1Aの構成例を示す図である。図6には、図1との対応部分に対応する符号を付して示している。
図6に示すコミュニケーションシステム1Aには、サーバ40が配置されている。図6に示すサーバ40は、機器ユーザ11の質問を受け付ける端末装置10との連携により、前述した支援サービスを提供する。
本実施の形態におけるサーバ40には、質問データに説明データと回答データを対応付けた説明記憶部112(図3参照)が記憶されている。このため、本実施の形態における端末装置10には、説明記憶部112を設けずに済む。
【0047】
本実施の形態におけるサーバ40は、質問データに対してオペレータの回答データが必要となった場合、質問データと回答データを教師データとして用い、質問データに対応付ける説明データを機械学習する機能も設けられている。このため、次回以降の質問で使用する説明データの内容を自動的に改善することが可能になる。
【0048】
また、本実施の形態の場合、複数の機器ユーザ11からの質問データをサーバ40に集約できる。このため、機器ユーザ11毎に機械学習を実行する場合に比して、機械学習を効率的に進めることができる。また、機械学習の精度も高めることができる。
なお、説明記憶部112は、端末装置10とサーバ40の両方に設けてもよい。この場合、サーバ40側で機械学習された説明記憶部112で、端末装置10側の説明記憶部112を更新してもよい。
【0049】
なお、端末装置10には質問受付部111(図3参照)と説明提供部116(図3参照)だけを設け、説明記憶部112(図3参照)、説明選択部113(図3参照)、質問通知部114(図3参照)、回答取得部115(図3参照)をサーバ40に設けてもよい。この場合のサーバ40は、対話型コミュニケーション装置の一例となる。
【0050】
<実施の形態3>
<システムの構成>
本実施の形態では、実施の形態1で説明した端末装置10(図1参照)を、機器ユーザ11が使用するガス機器等の修理や点検等にも活用する。
前述したように、機器の修理や点検等を実施する作業者に求められる作業は多い。例えば機器の修理や点検等の作業に加え、機器ユーザ11に対する作業の内容の説明、機器の使い方の説明、故障した場合の対処法の説明、機器の交換や販売に関する説明が求められる。また、多くの場合、作業と説明は別々に行われるため、作業者が機器ユーザ11の自宅に滞在する時間が長くなる。
【0051】
そこで、本実施の形態では、定型的な説明については端末装置10を活用し、作業者が機器ユーザ11と会話する場面を、機器ユーザ11からの質問に対する回答や説明に対する理解の確認に限定する。
すなわち、本実施の形態では、説明と作業が並列的に実行される時間を増やし、現場で作業する作業者の負担の軽減を図る。同時に、作業者との会話を極力避けたい機器ユーザ11に対しても、必要な説明の時間を確保する。なお、作業者は、担当者の一例である。
【0052】
図7は、実施の形態3で想定するコミュニケーションシステム1Bの構成例を示す図である。図7には、図1との対応部分に対応する符号を付して示している。
図7に示すコミュニケーションシステム1Bでは、ガス機器の修理や点検等を請け負った事業者の作業者51が端末装置10を持って、機器ユーザ11の自宅を訪問する場面を想定している。なお、ここでのガス機器の修理や点検等には、ガスメータの元栓を開く作業も含まれる。
【0053】
本実施の形態における端末装置10は、ガス機器の修理や点検等の間だけ、機器ユーザ11に貸し出される。もっとも、作業の終了後も、端末装置10をそのまま機器ユーザ11に貸し出すことも可能であるし、販売することも可能である。
また、機器ユーザ11が既に使用している端末装置10を、本実施の形態で説明する使い方に活用することも可能である。その場合には、該当する端末装置10を、作業者51が携帯する携帯型の端末(以下「携帯端末」という)50に連携させる必要がある。携帯端末50には、例えばスマートフォン、タブレット型の端末、ウェアラブル型のコンピュータを使用する。
【0054】
修理や点検等の対象であるガスメータ60やガス機器61は、例えば屋外に設置される等、必ずしも機器ユーザ11と同じ場所に存在するとは限らない。また、屋内に設置されているガス機器61もあるが、ガス機器61と機器ユーザ11が常に同じ場所にいるとは限らない。
そこで、図7では、機器ユーザ11がいる場所と修理や点検等の作業を行う作業者51がいる場所を異なる囲みで表している。
【0055】
本実施の形態の場合、携帯端末50と端末装置10とは通信が可能であり、作業中の作業者51は、これらの機器を通じて機器ユーザ11との会話が可能である。
本実施の形態の場合、携帯端末50と端末装置10との通信には、例えばWiFi(登録商標)、ブルートゥース(登録商標)、移動通信システムその他を使用する。ここでのWiFi(登録商標)は、家庭内のネットワーク環境でもよいし、作業者51が持参する端末をアクセスポイントとするネットワーク環境でもよい。
【0056】
<端末装置の機能構成>
図8は、実施の形態3で使用する端末装置10の機能構成の一例を示す図である。図8には、図3との対応部分に対応する符号を付して示している。図8に示す機能は、本実施の形態に関連する機能のみを選択的に表している。
【0057】
端末装置10は、機器ユーザ11(図7参照)や作業者51(図7参照)の音声を会話に関する情報(以下「会話情報」という)として取得する会話情報取得部121と、作業の内容に応じた説明項目の指示を作業者51から受け付ける説明項目受付部122と、説明項目に応じて予め定められている開始条件を取得する開始条件取得部123と、説明の開始条件を満たす会話の出現を判定する開始判定部124と、作業内容に応じた説明データを記憶する説明記憶部125と、開始条件を満たす場合に1又は複数の説明データを読み出して機器ユーザ11に提供する説明提供部126と、会話情報を録音する会話録音部127と、機器ユーザ11の音声を作業者51が携帯する携帯端末50に通知する音声通知部128と、説明の進捗を作業者51が携帯する携帯端末50に通知する進捗通知部129と、を有している。
【0058】
本実施の形態における会話情報取得部121は、マイクロフォン103(図2参照)を通じて取得された機器ユーザ11の音声や作業者51の音声の内容を特定する。この会話情報取得部121も、取得された音声を例えば音声認識サーバに送信し、音声に対応するテキストデータを取得する。
【0059】
説明項目受付部122は、携帯端末50やディスプレイ104(図2参照)を通じて作業者51が選択した説明項目を受け付ける。選択項目は、例えば操作画面にチェックボックス付きで表示されている。選択項目の選択は、チェックボックスに対するチェックにより指定される。選択項目は、作業単位で与えられても良いし、説明する項目別に与えられてもよい。
【0060】
開始条件取得部123は、例えば選択された説明項目の再生の開始を指示する音声を開始条件として取得する。開始条件には、例えば「説明を開始してください」、「作業を行います」、「作業を開始します」のように様々な作業に共通する言葉の他、説明項目の内容を表す言葉でもよい。例えば「ガスを安全にご利用いただくために注意すべき事項」を開始条件とする。
【0061】
開始判定部124は、会話情報取得部121で取得された会話情報と開始条件とを照合し、開始条件を満たすか否かを判定する。もっとも、再生ボタン106b(図2参照)が操作された場合には、開始条件が満たされるとみなしてもよい。
説明記憶部125は、作業者51が担当する作業に関する説明データを記憶している。また、インターネットとの接続が可能な場合、不図示のサーバから説明データを説明記憶部125にダウンロードしてもよい。ここでのダウンロードは、選択の可能性がある全ての説明データでもよいし、説明の対象に選択された説明データだけでもよい。
【0062】
説明提供部126は、開始指示が与えられると、選択された説明項目に対応する説明データを読み出し、機器ユーザ11に提供する。具体的には、説明提供部126は、スピーカ105から説明を出力する。なお、機器ユーザ11の本人認証は不要である。
会話録音部127は、説明に対する機器ユーザ11からの応答や質問を不図示の半導体メモリに録音する。
【0063】
音声通知部128は、録音された応答や質問を作業者51が携帯する携帯端末50に通知する。作業中の作業者51に通知される音声に質問が含まれる場合、作業者51は、実施の形態1で説明した機能を活用して回答データを送信する。なお、質問の内容が既存の説明データで対応可能な場合には、実施の形態1と同様、端末装置10が自律的に説明を出力してもよい。
【0064】
進捗通知部129は、端末装置10による説明の進捗の状況を携帯端末50に通知する。この通知により、作業者51は、説明の進捗を把握しながら、修理や点検等の作業を実施することができる。
なお、通知の内容には、個々の説明に要する時間の表示が含まれる。
【0065】
<処理動作>
図9は、実施の形態3で使用する端末装置10が実行する処理動作を説明するフローチャートである。なお、図9に示す処理動作は、制御部108(図2参照)によるプログラムの実行を通じて実現される。なお、図中における記号のSはステップを表している。
【0066】
図9に示す処理動作は、機器に関する説明を提供する方法(すなわち「機器説明提供方法」)の一例である。
図9に示す処理動作は、例えば作業者51が端末装置10を起動することで開始される。例えば現場に到着した作業者51は、修理や点検等の対象である機器を確認し、端末装置10を起動する。
【0067】
最初に、端末装置10は、作業者51が選択した説明項目を受け付ける(ステップ11)。なお、説明項目の選択は訪問前に行われてもよいし、遠隔で実行されてもよい。例えば作業者51が操作する携帯端末50からの通信により設定されてもよい。
選択された説明項目については、説明に要する時間の情報が示されてもよい。
次に、端末装置10は、説明項目に応じて定められている開始条件を取得する(ステップ12)。
【0068】
その後、端末装置10は、音声を検知したか否かを判定する(ステップ13)。ステップ13で否定結果が得られている間、端末装置10はステップ13の判定を繰り返す。
一方、ステップ13で肯定結果が得られた場合、端末装置10は、音声を解析して音の内容を特定する(ステップ14)。
【0069】
その後、端末装置10は、開始条件を満たすか否かを判定する(ステップ15)。例えば作業者51は、作業に先立って「これから、このロボットが、『ガスを安全にご利用いただくために注意すべき事項』のご説明をします。その間に、私は、ガスが使用できるための作業を行います。」と伝えると、端末装置10は、この音声中に開始条件を満たす言葉が含まれるか否かを判定する。
なお、機器ユーザ11が「説明を始めて」との言葉を発したか否かを判定してもよい。
【0070】
ステップ15で否定結果が得られている間、端末装置10はステップ13に戻る。
一方、ステップ15で肯定結果が得られた場合、端末装置10は、説明の提供を開始する(ステップ16)。
このとき、作業者51は、既に作業を開始している。例えばガスの使用の開始に伴う作業の場合、作業者51は、ガスメータの元栓を開き、機器ユーザ11の自宅内で点火の確認試験等を行う。また、風呂釜、湯沸器などのガス機器を対象に、排気ガス中に含まれる一酸化炭素の濃度を測定する。
【0071】
説明を開始した端末装置10は、説明の進捗を作業者51に通知する(ステップ17)。
また、端末装置10は、説明した内容に関する理解を機器ユーザに確認する(ステップ18)。
この確認は、説明の区切り毎に実行される。例えば「今までの説明は解りましたか?」との問い合わせを挿入し、機器ユーザ11からの応答を録音する。ここでの問い合わせや応答も会話の一例である。
【0072】
機器ユーザ11からの応答は、説明項目に紐づけて記録する。これにより、改めてチェック書類への記入を省略することが可能になる。
なお、ステップ18における確認の記録は、作業者51が携帯する携帯端末50にも記録される。この記録は、作業者51の作業記録としても保存される。
【0073】
確認された機器ユーザ11の理解が否定的であった場合、端末装置10は、機器ユーザ11が気になっている事項を聞き出すための言葉を追加的に出力する。例えば「何がわかりにくかったですか?」等の言葉を出力し、機器ユーザ11の発話を促す。
【0074】
次に、端末装置10は、機器ユーザ11から質問があるか否かを判定する(ステップ19)。ここでの質問には、機器ユーザ11が知りたい情報や疑問とする内容が含まれる。
ステップ19で肯定結果が得られた場合、端末装置10は、機器ユーザ11の質問を録音し、作業者51に通知する(ステップ20)。
【0075】
この通知により、作業者51は、作業中でも、作業を中断して機器ユーザ11に追加の説明を行うことが可能になる。追加の説明は、作業者51の音声によっても可能であるし、携帯端末50に対する文字の入力によっても可能である。これにより、お客様へのサービスが向上される。
なお、通知の内容や対応時の会話も端末装置10で録音され、携帯端末50に通知される。ここでの説明も作業記録として用いられる。
【0076】
実施の形態1で説明したように、端末装置10による自律的な対応で完結可能な場合には、作業者51への通知は必ずしも必要でない。また、実施の形態1の場合と同様に、機器ユーザ11の感情や緊張度合いを分析し、説明データや回答データの話し方を変更する機能を用意してもよい。
一方、ステップ19で否定結果が得られた場合、端末装置10は、ステップ20をスキップしてステップ21に進む。
【0077】
この後、端末装置10は、説明の終了か否かを判定する(ステップ21)。ステップ11で選択された全ての説明項目について説明が終了した場合、ステップ21で肯定結果が得られる。この場合、端末装置10は、一連の動作を終了する。
一方、説明事項が残る場合、ステップ21で否定結果が得られる。ステップ21で否定結果が得られた場合、端末装置10は、ステップ13に戻る。
【0078】
<家庭内のネットワークに接続できない場合の構成>
図10は、実施の形態3で使用する端末装置10が家庭内のネットワーク環境に接続されていない場合に通信路20上のサーバ70に接続するための通信経路を説明する図である。図10には、図7との対応部分に対応する符号を付して示している。
【0079】
端末装置10が家庭内のネットワーク環境を通じて通信路20に接続できない場合や移動通信システムに接続できない場合に、音声認識等のサービスを利用するためにサーバ70に接続するには、作業者51が携帯する携帯端末50を通じてサーバ70に接続すればよい。
また、携帯端末50に代えて、作業者51が持参する不図示の端末をアクセスポイントを用いて通信路20に接続してもよい。
【0080】
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0081】
前述の実施の形態1の場合、端末装置10(図1参照)を機器ユーザ11から質問があった場合における説明や回答に使用し、実施の形態3の場合、作業者51が選択した説明項目についての説明に使用しているが、ガス機器のメンテナンス時期の連絡や料金の支払い状況の説明等の各種サービスへの利用も可能である。
【0082】
前述の実施の形態においては、機器として、ガス機器を想定しているが、例えば住宅設備や電化製品を含めてもよい。住宅設備には、例えばキッチンの設備、バスルームの設備、洗面台の設備、トイレの設備、照明の設備、空調設備、太陽光発電設備、太陽光温水器、エレベータ、給湯設備がある。また、電化製品には、例えば冷蔵庫、調理家電、エアコン、照明、プリンタ、コンピュータを含めてもよい。
【符号の説明】
【0083】
1、1A、1B…コミュニケーションシステム、10…端末装置、11…機器ユーザ、20…通信路、30…情報端末、31…オペレータ、40、70…サーバ、50…携帯端末、51…作業者、60…ガスメータ、61…ガス機器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10