特許 6965982 質問応答システム、及び質問応答方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6965982

(24)【登録日】2021年10月25日

(45)【発行日】2021年11月10日

(54)【発明の名称】質問応答システム、及び質問応答方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20211028BHJP

   G06F 16/90 20190101ALI20211028BHJP

   G10L 15/22 20060101ALI20211028BHJP

   G10L 13/00 20060101ALI20211028BHJP

【ＦＩ】

   G06Q50/10

   G06F16/90 100

   G10L15/22 300Z

   G10L13/00 100M

【請求項の数】13

【全頁数】28

(21)【出願番号】特願2020-199177(P2020-199177)

(22)【出願日】2020年11月30日

【審査請求日】2021年1月4日

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和２年１１月１８日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｊｒｅａｓｔ．ｃｏ．ｊｐ／ｐｒｅｓｓ／２０２０／２０２０１１１８＿ｈｏ０１．ｐｄｆ

【早期審査対象出願】

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】張 平

(72)【発明者】

【氏名】山田 亮

(72)【発明者】

【氏名】多田 汐里

【審査官】 田付 徳雄

(56)【参考文献】

【文献】 特開２００４−３５５３８６（ＪＰ，Ａ）

【文献】 特開２０１８−２０７１４３（ＪＰ，Ａ）

【文献】 特開２０１８−０８１４４４（ＪＰ，Ａ）

【文献】 特開２０１６−０３８８１３（ＪＰ，Ａ）

【文献】 特開２０１７−０９７８８２（ＪＰ，Ａ）

【文献】 特開２０１５−０３２１５７（ＪＰ，Ａ）

【文献】 欧州特許出願公開第０３０７３４２１（ＥＰ，Ａ１）

【文献】 特開２００２−３４２５３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０６Ｆ １６／９０

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １３／００

(57)【特許請求の範囲】

【請求項1】

利用者によって入力された質問に対する回答を出力する利用者端末装置と、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備え、
前記利用者端末装置は、
前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記自動回答により有効な前記回答が得られない場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理部を備え、
前記回答者端末装置は、
表示部と、
前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理部と
を備え、
前記応答処理部は、機械学習による学習結果に基づく自動生成の処理における前記自動回答の確からしさを示す確信度が閾値以下である前記自動回答が、所定の回数続いた場合に、前記自動回答により有効な前記回答が得られないと判定する
ことを特徴とする質問応答システム。

【請求項2】

利用者によって入力された質問に対する回答を出力する利用者端末装置と、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備え、
前記利用者端末装置は、
前記利用者の情報を取得する利用者情報取得部と、
前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記利用者情報取得部が取得した前記利用者の情報に基づいて、前記自動回答が適切な回答に到達できないと判定された場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理部と
を備え、
前記回答者端末装置は、
表示部と、
前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴又は前記利用者の情報に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理部と
を備え、
前記応答処理部は、前記利用者の情報に基づいて、前記利用者が、有人による案内の優先度が高い高齢者又は身体障碍者であると判定される場合に、前記自動回答が適切な回答に到達できないと判定する
ことを特徴とする質問応答システム。

【請求項3】

前記入出力履歴には、前記利用者による前記利用者端末装置の操作履歴が含まれ、
前記回答処理部は、前記利用者端末装置の操作履歴に基づく前記引継情報を、前記表示部に表示させる
ことを特徴とする請求項１又は請求項２に記載の質問応答システム。

【請求項4】

前記入出力履歴には、前記質問及び前記自動回答の履歴情報が含まれ、
前記回答処理部は、前記質問及び前記自動回答の履歴情報に基づく前記引継情報を、前記表示部に表示させる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の質問応答システム。

【請求項5】

前記利用者端末装置は、前記利用者の音声を入力音データとして収音する利用者収音部と、前記回答に基づく出力音データを音声として出力する利用者放音部とを備え、
前記入出力履歴には、前記質問及び前記自動回答の履歴情報として、前記利用者収音部が収音した入力音データ及び前記利用者放音部が出力した前記出力音データに基づく前記利用者と前記利用者端末装置との間の会話履歴が含まれ、
前記回答処理部は、前記会話履歴に基づいて、前記利用者と前記利用者端末装置との間の会話の内容を、前記引継情報として、前記表示部に表示させる
ことを特徴とする請求項４に記載の質問応答システム。

【請求項6】

前記利用者収音部が収音した前記入力音データを入力テキストデータに変換するとともに、前記自動回答を含む出力テキストデータを出力音データに変換する音信号変換部を備え、
前記応答処理部は、前記音信号変換部から前記質問の入力テキストデータを取得し、前記音信号変換部により前記自動回答を前記出力音データに変換させる
ことを特徴とする請求項５に記載の質問応答システム。

【請求項7】

前記回答者端末装置は、前記回答者の音声を音データとして収音する回答者収音部と、前記利用者収音部が収音した前記入力音データに基づく音を出力する回答者放音部とを備え、
前記回答処理部は、前記利用者端末装置から受信した前記入力音データに基づく音を前記回答者放音部に出力させるとともに、前記回答者収音部が収音した前記音データを、前記利用者端末装置に送信し、
前記利用者端末装置は、前記回答者端末装置から受信した前記音データを出力音データとして、前記利用者放音部に出力させる
ことを特徴とする請求項６に記載の質問応答システム。

【請求項8】

前記回答処理部は、前記質問に対して、機械学習による学習結果に基づいて自動生成された回答候補を、前記表示部に表示させる
ことを特徴とする請求項１から請求項７のいずれか一項に記載の質問応答システム。

【請求項9】

前記利用者端末装置は、前記利用者が視認可能な表示部である利用者表示部を備え、
前記回答処理部は、前記回答者が情報を追加可能な画像データであって、前記回答の説明に使用する画像データを前記表示部に表示させるとともに、当該画像データを前記利用者端末装置に送信し、
前記応答処理部は、前記画像データを前記利用者表示部に表示させる
ことを特徴とする請求項１から請求項８のいずれか一項に記載の質問応答システム。

【請求項10】

前記応答処理部は、前記画像データを利用者が所有する携帯端末で取得して表示可能にする二次元コードを、前記利用者表示部に表示させる
ことを特徴とする請求項９に記載の質問応答システム。

【請求項11】

少なくとも前記回答者が使用する第１言語と、前記利用者が使用する第２言語とを相互に翻訳する翻訳処理部を備え、
前記翻訳処理部は、前記利用者端末装置に入力された前記第２言語の質問を、前記第１言語の質問に翻訳するとともに、回答者端末装置に入力された前記第１言語の回答を、前記第２言語の回答に翻訳する
ことを特徴とする請求項１から請求項１０にいずれか一項に記載の質問応答システム。

【請求項12】

利用者によって入力された質問に対する回答を出力する利用者端末装置と、表示部を備え、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備える質問応答システムの質問応答方法であって、
前記利用者端末装置が、前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記自動回答により有効な前記回答が得られない場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理ステップと、
前記回答者端末装置が、前記回答者からの回答を取得する回答取得ステップと、
前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理ステップと
を含み、
前記応答処理ステップにおいて、前記利用者端末装置が、機械学習による学習結果に基づく自動生成の処理における前記自動回答の確からしさを示す確信度が閾値以下である前記自動回答が、所定の回数続いた場合に、前記自動回答により有効な前記回答が得られないと判定する
ことを特徴とする質問応答方法。

【請求項13】

利用者によって入力された質問に対する回答を出力する利用者端末装置と、表示部を備え、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備える質問応答システムの質問応答方法であって、
前記利用者端末装置が、前記利用者の情報を取得する利用者情報取得ステップと、
前記利用者端末装置が、前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記利用者情報取得ステップによって取得された前記利用者の情報に基づいて、前記自動回答が適切な回答に到達できないと判定された場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理ステップと、
前記回答者端末装置が、前記回答者からの回答を取得する回答取得ステップと、
前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴又は前記利用者の情報に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理ステップと
を含み、
前記応答処理ステップにおいて、前記利用者端末装置が、前記利用者の情報に基づいて、前記利用者が、有人による案内の優先度が高い高齢者又は身体障碍者であると判定される場合に、前記自動回答が適切な回答に到達できないと判定する
ことを特徴とする質問応答方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、質問応答システム、及び質問応答方法に関する。

【背景技術】

【0002】

近年、質問者の質問に対して、回答を出力する質問応答システムが知られている。従来の質問応答システムでは、質問に対して、自動で回答を出力するには限界があり、質問に対する自動回答と、人による回答とを組み合わせたシステムが存在する（例えば、特許文献１を参照）。このような質問応答システムは、例えば、質問に対する回答文が得られない場合に、専門相談員である回答者のスケジュールにより、対応可能な回答者を選択して、最適な専門相談員である回答者に接続を行っていた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−２３０１５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述したような質問応答システムでは、単にその時に対応できる最適な回答者につなぐだけであり、質問者は、接続された回答者に対して、改めて一から質問内容を説明する必要があった。そのため、質問者のユーザビリティがより高い質問応答システムが求められている。

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、ユーザビリティを向上させることができる質問応答システム、及び質問応答方法を提供することにある。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一態様は、利用者によって入力された質問に対する回答を出力する利用者端末装置と、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備え、前記利用者端末装置は、前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記自動回答により有効な前記回答が得られない場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理部を備え、前記回答者端末装置は、表示部と、前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理部とを備え、前記応答処理部は、機械学習による学習結果に基づく自動生成の処理における前記自動回答の確からしさを示す確信度が閾値以下である前記自動回答が、所定の回数続いた場合に、前記自動回答により有効な前記回答が得られないと判定することを特徴とする質問応答システムである。

【0007】

また、本発明の一態様は、利用者によって入力された質問に対する回答を出力する利用者端末装置と、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備え、前記利用者端末装置は、前記利用者の情報を取得する利用者情報取得部と、前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記利用者情報取得部が取得した前記利用者の情報に基づいて、前記自動回答が適切な回答に到達できないと判定された場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理部とを備え、前記回答者端末装置は、表示部と、前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴又は前記利用者の情報に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理部とを備え、前記応答処理部は、前記利用者の情報に基づいて、前記利用者が、有人による案内の優先度が高い高齢者又は身体障碍者であると判定される場合に、前記自動回答が適切な回答に到達できないと判定することを特徴とする質問応答システムである。

【0008】

また、本発明の一態様は、利用者によって入力された質問に対する回答を出力する利用者端末装置と、表示部を備え、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備える質問応答システムの質問応答方法であって、前記利用者端末装置が、前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記自動回答により有効な前記回答が得られない場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理ステップと、前記回答者端末装置が、前記回答者からの回答を取得する回答取得ステップと、前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理ステップとを含み、前記応答処理ステップにおいて、前記利用者端末装置が、機械学習による学習結果に基づく自動生成の処理における前記自動回答の確からしさを示す確信度が閾値以下である前記自動回答が、所定の回数続いた場合に、前記自動回答により有効な前記回答が得られないと判定することを特徴とする質問応答方法である。

【0009】

また、本発明の一態様は、利用者によって入力された質問に対する回答を出力する利用者端末装置と、表示部を備え、回答者による前記回答を前記利用者端末装置に送信する回答者端末装置とを備える質問応答システムの質問応答方法であって、前記利用者端末装置が、前記利用者の情報を取得する利用者情報取得ステップと、前記利用者端末装置が、前記質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、前記利用者情報取得ステップによって取得された前記利用者の情報に基づいて、前記自動回答が適切な回答に到達できないと判定された場合に、前記回答者端末装置と接続させて受信した前記回答者からの回答を前記回答として出力する応答処理ステップと、前記回答者端末装置が、前記回答者からの回答を取得する回答取得ステップと、前記回答者端末装置が、前記利用者端末装置と接続された場合に、前記利用者端末装置における前記利用者との間の入出力履歴又は前記利用者の情報に基づく引継情報を、前記表示部に表示させるとともに、前記回答者からの回答を取得し、取得した前記回答を前記利用者端末装置に送信する回答処理ステップとを含み、前記応答処理ステップにおいて、前記利用者端末装置が、前記利用者の情報に基づいて、前記利用者が、有人による案内の優先度が高い高齢者又は身体障碍者であると判定される場合に、前記自動回答が適切な回答に到達できないと判定することを特徴とする質問応答方法である。

【発明の効果】

【0010】

本発明によれば、ユーザビリティを向上させることができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態による質問応答システムの一例を示すブロック図である。

【図2】本実施形態における自動回答による会話履歴の一例を示す図である。

【図3】本実施形態における利用者端末装置の表示例を説明する図である。

【図4】本実施形態における回答者端末装置の表示例を説明する図である。

【図5】本実施形態における自動回答による質問応答処理の動作の一例を示す図である。

【図6】本実施形態における自動回答から回答者による回答への切り換え処理の動作の一例を示す図である。

【図7】本実施形態における回答者による回答処理の動作の一例を示す図である。

【図8】本実施形態における自動回答から回答者による回答への切り換え処理の動作の変形例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態による質問応答システム、及び質問応答方法について、図面を参照して説明する。

【0013】

図１は、本実施形態による質問応答システム１の一例を示す概略ブロック図である。
図１に示すように、質問応答システム１は、利用者端末装置１０と、回答者端末装置２０と、サーバ装置３０と、外部連携サーバ４０とを備える。利用者端末装置１０と、回答者端末装置２０と、サーバ装置３０と、外部連携サーバ４０とは、ネットワークＮＷ１を介して、接続可能である。

【0014】

なお、本実施形態において、質問応答システム１は、例えば、自治体をはじめ鉄道、流通、小売、ホテルなどのサービス・インフラ業界などの施設に設置され、利用者Ｕ１からの質問に対する回答を出力する案内サービスを提供する。質問応答システム１は、機械学習による学習結果に基づくＡＩ（人工知能）などを用いて自動生成した自動回答と、係員などの回答者Ａ１が利用者Ｕ１からの質問を受け付けて回答する対人による回答とを併用して、回答を出力する。

【0015】

サーバ装置３０は、ネットワークＮＷ１に接続されたクラウドサーバ装置（例えば、ＡＩ（人工知能）サーバ装置）であり、ＡＩ機能を利用した質問に対する自動回答の生成や、母国語（例えば、日本語）と外国語（例えば、英語）との間の相互の翻訳を行うなどの処理を実行する。サーバ装置３０は、ＮＷ（ネットワーク）通信部３１と、サーバ記憶部３２と、サーバ制御部３３とを備える。

【0016】

ＮＷ通信部３１は、有線ＬＡＮ（Local Area Network）などにより、ネットワークＮＷ１に接続し、ネットワークＮＷ１を介した各種通信を行う。ＮＷ通信部３１は、ネットワークＮＷ１を介して、例えば、利用者端末装置１０及び回答者端末装置２０と接続し、利用者端末装置１０及び回答者端末装置２０との間で通信を行う。

【0017】

サーバ記憶部３２は、サーバ装置３０が利用する各種情報を記憶する。サーバ記憶部３２は、学習結果記憶部３２１と、履歴情報記憶部３２２とを備える。

【0018】

学習結果記憶部３２１は、機械学習による学習結果を記憶する。学習結果は、例えば、質問に対して、ＡＩを用いて回答を生成（推定）する生成モデル（回答の自動生成モデル）である。
履歴情報記憶部３２２は、利用者端末装置１０における利用者Ｕ１の操作履歴や会話履歴などの入出力履歴情報を記憶する。

【0019】

サーバ制御部３３は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、サーバ装置３０を統括的に制御する。サーバ制御部３３は、音信号変換部３３１と、翻訳処理部３３２と、回答生成部３３３と、機械学習部３３４とを備える。

【0020】

音信号変換部３３１は、音データ（音声信号）をテキストデータに変換する音声認識処理と、テキストデータを、音データに変換する音声合成処理とを実行する。音信号変換部３３１は、例えば、利用者Ｕ１の質問などの入力音データを、テキストデータに変換し、回答のテキストデータ（例えば、自動回答のテキストデータなど）を出力音データに変換する。また、音信号変換部３３１は、後述する母国語（第１言語）と、外国語（第２言語）との間の翻訳を行う場合において、母国語の音声認識処理及び音声合成処理と、外国語の音声認識処理及び音声合成処理との両方を実行する。

【0021】

翻訳処理部３３２は、回答者Ａ１が使用する母国語（第１言語）と、利用者Ｕ１が使用する外国語（第２言語）とを相互に翻訳する。例えば、回答者Ａ１の母国語が日本語であり、利用者Ｕ１が使用する外国語が英語である場合には、翻訳処理部３３２は、日本語と英語とを相互に翻訳する。

【0022】

回答生成部３３３は、質問に対して、機械学習による学習結果に基づいて、回答である自動回答を自動生成する。回答生成部３３３は、例えば、利用者端末装置１０から受信した質問を、学習結果記憶部３２１が記憶する学習結果（回答の自動生成モデル）に基づいて、自動回答を生成する。なお、回答生成部３３３は、回答を自動生成するとともに、当該回答に対するＡＩ判定類似度（確信度）を出力する。ＡＩ判定類似度（確信度）は、学習結果に基づく自動生成の処理における自動回答の確からしさを示しており、予め登録されている回答との距離がどの位近いかを示す類似度である。また、ＡＩ判定類似度（確信度）は、質問に対する回答に関する評価指標の一例である。

【0023】

機械学習部３３４は、機械学習により再学習して、回答の自動生成モデルを再構築する。機械学習部３３４は、例えば、履歴情報記憶部３２２が記憶する履歴情報を学習データとして、機械学習を実行し、回答の自動生成モデルを構築する。機械学習部３３４は、構築した回答の自動生成モデルを学習結果として、学習結果記憶部３２１に記憶させる。

【0024】

外部連携サーバ４０は、例えば、鉄道の乗り換え案内情報、周辺情報（お店や施設の情報など）、地図情報、動画、等を取得するＷｅｂサーバなどであり、ネットワークＮＷ１を介して、回答に関連した各種情報を送信（配信）する。

【0025】

利用者端末装置１０は、例えば、駅などの施設に設置され、質問応答システム１が提供する案内サービスにおいて、利用者Ｕ１が使用する端末装置である。利用者端末装置１０は、利用者Ｕ１によって入力された質問に対する回答を出力する。利用者端末装置１０は、ＮＷ通信部１１と、入力部１２と、表示部１３と、マイク１４と、スピーカ１５と、カメラ１６と、人感センサ１７と、端末記憶部１８と、端末制御部１９とを備える。

【0026】

ＮＷ通信部１１は、例えば、無線ＬＡＮや有線ＬＡＮにより、ネットワークＮＷ１に接続し、ネットワークＮＷ１を介して、各種通信を行う。ＮＷ通信部１１は、例えば、回答者端末装置２０、サーバ装置３０、及び外部連携サーバ４０と、利用者端末装置１０との間の通信を行う。

【0027】

入力部１２は、例えば、操作ボタン、タッチパネル、タッチセンサなどの入力装置であり、利用者Ｕ１によって入力される操作情報などの各種入力情報を受け付ける。入力部１２は、受け付けた入力情報を、端末制御部１９に出力する。

【0028】

表示部１３は、例えば、液晶ディスプレイなどの表示装置であり、各種情報を表示する。表示部１３は、出力部の一例であり、端末制御部１９から出力された各種情報を出力（表示）する。

【0029】

マイク１４（利用者収音部の一例）は、利用者Ｕ１の音声を含む音を収音し、音データを出力する。マイク１４は、例えば、利用者Ｕ１の音声を、入力音データとして収音し、入力音データを端末制御部１９に出力する。マイク１４は、音声による利用者Ｕ１の質問を、入力音データとして出力する。

【0030】

スピーカ１５（利用者放音部の一例）は、各種音データに基づく音を利用者端末装置１０の外部に出力する。スピーカ１５は、例えば、質問に対する回答を音声で出力する。すなわち、スピーカ１５は、端末制御部１９が出力する回答に基づく出力音データを音声として出力する。

【0031】

カメラ１６（撮像部の一例）は、利用者端末装置１０の周辺を撮像して、利用者Ｕ１を含む画像データを出力する。
人感センサ１７は、利用者端末装置１０を使用する利用者Ｕ１を検出する。人感センサ１７は、例えば、利用者Ｕ１の利用者端末装置１０への接近を検出して、当該検出信号を、質問応答システム１の利用開始のトリカ信号として利用する。

【0032】

なお、本実施形態において、入力部１２、マイク１４、及びカメラ１６は、利用者Ｕ１からの質問を受け付けいる入力部の一例であり、表示部１３、及びスピーカ１５は、質問に対する回答を出力する出力部の一例である。

【0033】

端末記憶部１８は、利用者端末装置１０が利用する各種情報を記憶する。端末記憶部１８は、操作履歴記憶部１８１と、会話履歴記憶部１８２と、画像情報記憶部１８３とを備える。

【0034】

操作履歴記憶部１８１は、利用者Ｕ１が利用者端末装置１０を操作した操作履歴を記憶する。操作履歴記憶部１８１は、例えば、入力部１２が受け付けた入力情報と、日時情報とを対応付けて操作履歴情報として記憶する。

【0035】

会話履歴記憶部１８２は、利用者Ｕ１と利用者端末装置１０との間の会話の履歴を記憶する。会話履歴記憶部１８２は、例えば、利用者Ｕ１が入力した質問内容、又は利用者端末装置１０が出力した回答内容と、日時情報とを対応付けて会話履歴情報として記憶する。なお、利用者端末装置１０が出力した回答には、ＡＩを利用して生成した自動回答と、回答者Ａ１によって入力された回答とが含まれる。

【0036】

画像情報記憶部１８３は、質問に対する回答を説明する際に利用される各種画像情報を記憶する。画像情報記憶部１８３は、例えば、地図、乗り換え案内、ショップ情報などの画像データや、当該画像データを利用者Ｕ１のスマートフォンなどの携帯端末（不図示）と連携するためのＱＲコード（登録商標）を記憶する。

【0037】

端末制御部１９は、例えば、ＣＰＵなどを含むプロセッサであり、利用者端末装置１０を統括的に制御する。端末制御部１９は、応答処理部１９１と、履歴処理部１９２とを備える。

【0038】

応答処理部１９１は、利用者Ｕ１の質問に対する回答を出力する処理を実行する。応答処理部１９１は、人感センサ１７（又はカメラ１６）により利用者Ｕ１を検出した場合に、利用者Ｕ１への案内サービスの提供を開始し、入力部１２により受け付けた各種操作に応じた処理を実行する。また、応答処理部１９１は、入力部１２又はマイク１４により入力された質問を取得し、利用者Ｕ１の質問に対して、機械学習による学習結果に基づいて自動生成された回答である自動回答を回答として、出力部（例えば、表示部１３又はスピーカ１５）に出力する。

【0039】

応答処理部１９１は、マイク１４から音声により質問が入力された場合に、マイク１４から取得した質問の入力音データを、ＮＷ通信部１１を介して、サーバ装置３０に送信し、サーバ装置３０の音信号変換部３３１に質問のテキストデータ（質問の入力テキストデータ）に変換させる。すなわち、応答処理部１９１は、質問のテキストデータを、ＮＷ通信部１１を介して、サーバ装置３０から取得する。

【0040】

また、応答処理部１９１は、利用者Ｕ１により、外国語（例えば、英語）による質問が入力された場合には、質問のテキストデータを、ＮＷ通信部１１を介して、サーバ装置３０に送信して、サーバ装置３０の翻訳処理部３３２に、入力された外国語（英語）の質問のテキストデータを、回答者Ａ１の母国語（例えば、日本語）の質問のテキストデータに翻訳させる。応答処理部１９１は、翻訳された質問のテキストデータを、ＮＷ通信部１１を介して、サーバ装置３０から取得する。

【0041】

また、応答処理部１９１は、サーバ装置３０の回答生成部３３３に、質問のテキストデータからＡＩを用いて自動回答を生成させる。応答処理部１９１は、質問のテキストデータをＮＷ通信部１１を介して、サーバ装置３０に送信して、サーバ装置３０の回答生成部３３３に自動回答のテキストデータを生成させる。応答処理部１９１は、自動回答のテキストデータを、ＮＷ通信部１１を介して、サーバ装置３０から取得する。

【0042】

応答処理部１９１は、取得した自動回答のテキストデータを、ＮＷ通信部１１を介して、サーバ装置３０に送信し、サーバ装置３０の音信号変換部３３１に自動回答の出力音データに変換させる。応答処理部１９１は、自動回答の出力音データを、ＮＷ通信部１１を介して、サーバ装置３０から取得し、当該自動回答の出力音データを、回答の音声としてスピーカ１５に出力させる。

【0043】

なお、利用者Ｕ１により、質問が外国語（例えば、英語）による入力された場合には、応答処理部１９１は、母国語（例えば、日本語）の自動回答のテキストデータを、外国語（例えば、英語）の自動回答テキストデータに翻訳させてから、音信号変換部３３１に出力音データに変換させる。

【0044】

また、応答処理部１９１は、自動回答により有効な回答が得られない場合に、回答者端末装置２０と接続させて受信した回答者Ａ１からの回答を回答として出力する。応答処理部１９１は、例えば、質問に対する回答に関する評価指標に基づいて、自動回答が適切な回答に到達できていないと判定された場合に、回答者端末装置２０と接続させる処理を実行する。

【0045】

応答処理部１９１は、例えば、以下の場合の（１）〜（４）のように、利用者Ｕ１が自動回答により満足な回答が得られなかった場合に、自動回答により有効な回答が得られない（自動回答が適切な回答に到達できていない）と判定し、回答者端末装置２０と接続させる処理を実行する。

【0046】

（１）利用者Ｕ１が自動回答により複数回に渡るやり取りを行った結果、満足する評価が得られなかった場合
（２）利用者Ｕ１の質問に対して自動回答が得られたが、ＡＩ判定類似度（確信度）が低い場合
（３）利用者Ｕ１の質問に対して自動回答が得られなかった場合（ＡＩによる自動回答が対応していない場合）
（４）利用者Ｕ１が自動回答の内容を理解できない（例えば、使用している言葉がわからない）場合

【0047】

上述した（１）に示す場合は、例えば、利用者Ｕ１による回答に対する評価が、“満足していない”等の評価しない内容が入力部１２より複数回選択された場合などに対応する。すなわち、上述した評価指標には、利用者Ｕ１によって入力された自動回答の評価結果が含まれ、応答処理部１９１は、評価結果に基づいて、自動回答が適切な回答に到達できていないことを判定する。

【0048】

また、上述した（２）に示す場合は、例えば、回答生成部３３３が生成した自動回答に対するＡＩ判定類似度（確信度）が低い回答が、複数回続いた場合などに対応する。すなわち、上述した評価指標には、学習結果に基づく自動生成の処理における自動回答の確からしさを示す確信度（例えば、ＡＩ判定類似度）が含まれ、応答処理部１９１は、確信度が閾値以下である自動回答が所定の回数続いた場合に、自動回答が適切な回答に到達できていないと判定する。

【0049】

また、上述した（３）に示す場合は、例えば、質問に対する回答が、機械学習により、学習されていない場合などに対応し、このような場合に、応答処理部１９１は、自動回答により有効な回答が得られないと判定する。

【0050】

また、上述した（４）に示す場合は、利用者Ｕ１が自動回答の内容を理解できていないため、例えば、類似した質問（表現を変えた質問）を複数回行う可能性がある。すなわち、上述した評価指標には、利用者Ｕ１によって入力された質問の回数が含まれ、応答処理部１９１は、質問の回数が、閾値回数に達した場合に、自動回答が適切な回答に到達できていないと判定する。

【0051】

また、応答処理部１９１は、例えば、以下の場合の（５）〜（７）のように、利用者Ｕ１が案内システムの利用方法に迷っている場合に、自動回答が適切な回答に到達できていないと判定し、回答者端末装置２０と接続させる処理を実行する。

【0052】

（５）利用者端末装置１０が利用者Ｕ１を検出してから、利用者Ｕ１による入力（音声による入力又は入力部１２への操作）が一定期間行われていない場合
（６）利用者Ｕ１の使用開始から、利用者Ｕ１による入力（音声による入力又は入力部１２への操作）が一定期間行われていない場合
（７）利用者Ｕ１が同じ操作を繰り返している場合

【0053】

上述した（５）及び（６）に示す場合は、例えば、無入力の期間が閾値期間に達した場合に対応する。すなわち、上述した評価指標には、利用者Ｕ１による利用者端末装置１０の入力がない無入力の期間が含まれ、応答処理部１９１は、無入力の期間が閾値期間に達した場合に、自動回答が適切な回答に到達できていないと判定する。

【0054】

また、上述した（７）に示す場合は、利用者Ｕ１が同一の操作又は類似の操作を複数回行う場合に対応する。すなわち、上述した評価指標には、利用者Ｕ１による同一の操作又は類似操作の操作回数が含まれ、応答処理部１９１は、当該操作回数が閾値回数に達した場合に、自動回答が適切な回答に到達できていないと判定する。

【0055】

ここで、図２を参照して、応答処理部１９１が、自動回答により有効な回答が得られない場合の具体例について説明する。
図２は、本実施形態における自動回答による会話履歴の一例を示す図である。

【0056】

図２において、「発信者」の“ＡＩ”は、自動回答の出力を示し、“システム”は、応答処理部１９１による出力を示している。また、ＡＩ判定類似度は、自動回答の確信度を示している。
図２に示す例では、発信内容が「申し訳ございません。お答えできません。」である部分は、ＡＩによる自動回答が得られなかったことを示している。この場合、応答処理部１９１は、自動回答により有効な回答が得られていないと判定し、回答者端末装置２０への接続を促すメッセージ（例えば、「係員にお繋ぎしますがよろしいでしょうか？」）を表示する。

【0057】

また、応答処理部１９１は、回答者端末装置２０と接続させる処理として、例えば、係員などの回答者が使用する回答者端末装置２０に接続する接続ボタンを点滅させる処理や、表示部１３に、回答者端末装置２０への接続を促すメッセージ（表示情報）を表示させる処理を実行する。また、応答処理部１９１は、回答者端末装置２０と接続させる処理として、自動で回答者端末装置２０に接続するようにしてもよい。
応答処理部１９１は、利用者端末装置１０と回答者端末装置２０とが接続された場合に、利用者Ｕ１と係員などの回答者Ａ１との間で、直接会話を行い、回答者Ａ１からの回答を出力部（例えば、スピーカ１５など）に出力する。

【0058】

ここで、図３を参照して、上述した一連の応答処理部１９１の処理における利用者端末装置１０の表示例について説明する。
図３は、本実施形態における利用者端末装置１０の表示例を説明する図である。

【0059】

図３（ａ）は、応答処理部１９１により自動回答により有効な回答が得られていないと判定された場合の表示例を示している。図３（ａ）に示すように、応答処理部１９１は、「係員を呼ぶ」のボタンＢＴ１を点滅させるとともに、回答者端末装置２０への接続を促すメッセージを表示させる。このように、応答処理部１９１は、自動回答により有効な回答が得られない場合に、回答者端末装置２０と接続させる処理として、回答者端末装置２０との接続の開始を利用者Ｕ１に促す表示情報を表示部１３に表示させる。

【0060】

また、図３（ｂ）は、利用者Ｕ１により、ボタンＢＴ１が押下された場合に表示する確認画面の表示例である。図３（ｂ）に示すように、ボタンＢＴ１が押下れると、応答処理部１９１は、「発信する」と表示したボタンＢＴ２を表示部１３に表示させて、回答者端末装置２０への接続の確認を促す。

【0061】

また、図３（ｃ）は、利用者端末装置１０の回答者端末装置２０への接続後の表示例を示している。図３（ｃ）に示すように、応答処理部１９１は、回答者端末装置２０と接続した後に、例えば、係員などの回答者Ａ１の画像ＳＧ１、カメラ１６が撮像した利用者Ｕ１の画像ＳＧ２、地図などの回答を説明するための画像ＳＧ３、及び二次元コードの画像ＳＧ４などを表示させる。ここで、画像ＳＧ１、画像ＳＧ３、及び画像ＳＧ４は、ネットワークＮＷ１を介して、回答者端末装置２０から受信した画像であり、画像ＳＧ２は、カメラ１６によって撮像された画像データである。なお、画像ＳＧ１〜画像ＳＧ４の画像データは、例えば、画像情報記憶部１８３に記憶されているものとする。

【0062】

また、画像ＳＧ４の二次元コードは、例えば、ＱＲコード（登録商標）であり、画像ＳＧ３などの画像データを利用者Ｕ１が所有する携帯端末（不図示）で取得して表示可能にする情報を含んでいる。画像ＳＧ４の二次元コードは、例えば、画像ＳＧ３などの画像データを表示するためのＵＲＬ（Uniform Resource Locator）などを含んでいる。このように、応答処理部１９１は、画像データを利用者Ｕ１が所有する携帯端末で取得して表示可能にする二次元コードを、表示部１３に表示させる。

【0063】

図１の説明に戻り、履歴処理部１９２は、入力部１２による操作履歴情報を、操作履歴記憶部１８１に記憶させるとともに、応答処理部１９１による会話履歴情報を、会話履歴記憶部１８２に記憶させる。また、履歴処理部１９２は、応答処理部１９１により、回答者端末装置２０に接続された場合に、操作履歴記憶部１８１が記憶する操作履歴情報、及び会話履歴記憶部１８２が記憶する会話履歴情報を、引継情報として、回答者端末装置２０に送信する。

【0064】

また、履歴処理部１９２は、定期的に、又は利用者Ｕ１が利用を終了する際に、操作履歴情報及び会話履歴情報を、サーバ装置３０に送信して、履歴情報記憶部に記憶させる。

【0065】

回答者端末装置２０は、係員などの回答者Ａ１が、利用者Ｕ１の質問に対する回答を入力するための端末装置であり、回答者Ａ１による回答を利用者端末装置１０に送信する。回答者端末装置２０は、例えば、鉄道会社などで用いられる場合には、駅員室などに設置され、この場合、駅員が回答者Ａ１となる。
回答者端末装置２０は、ＮＷ通信部２１と、入力部２２と、表示部２３と、マイク２４と、スピーカ２５と、カメラ２６と、警告灯２７と、端末記憶部２８と、端末制御部２９とを備える。

【0066】

ＮＷ通信部２１は、例えば、無線ＬＡＮや有線ＬＡＮにより、ネットワークＮＷ１に接続し、ネットワークＮＷ１を介して、各種通信を行う。ＮＷ通信部２１は、例えば、利用者端末装置１０、サーバ装置３０、及び外部連携サーバ４０と、回答者端末装置２０の間の通信を行う。

【0067】

入力部２２は、例えば、操作ボタン、タッチパネル、タッチセンサ、キーボード、マウスなどの入力装置であり、回答者Ａ１によって入力される各種入力情報を受け付ける。入力部２２は、受け付けた入力情報を、端末制御部２９に出力する。
表示部２３は、例えば、液晶ディスプレイなどの表示装置であり、各種情報を表示する。

【0068】

マイク２４（回答者収音部の一例）は、回答者Ａ１の音声を含む音を収音し、音データを出力する。マイク２４は、例えば、回答者Ａ１の音声を、音データとして収音し、音データを端末制御部２９に出力する。マイク２４は、音声による回答者Ａ１の回答を、出力音データとして出力する。

【0069】

スピーカ２５（回答者放音部の一例）は、各種音データに基づく音を回答者端末装置２０の外部に出力する。スピーカ２５は、例えば、利用者Ｕ１からの質問を音声で出力する。すなわち、スピーカ２５は、端末制御部２９が出力する質問の入力音データを音声として出力する。

【0070】

カメラ２６（撮像部の一例）は、回答者端末装置２０の周辺を撮像して、回答者Ａ１を含む画像データを出力する。
警告灯２７は、例えば、パトライト（登録商標）であり、利用者端末装置１０からの接続要求があることを点灯により回答者Ａ１に認識させる。

【0071】

端末記憶部２８は、回答者端末装置２０が利用する各種情報を記憶する。端末記憶部２８は、引継情報記憶部２８１と、回答候補記憶部２８２と、画像情報記憶部２８３とを備える。

【0072】

引継情報記憶部２８１は、利用者端末装置１０と回答者端末装置２０とを接続して、利用者Ｕ１と回答者Ａ１との直接会話により回答する際の引継情報を記憶する。引継情報記憶部２８１は、利用者端末装置１０と回答者端末装置２０とが接続されるまでの、利用者Ｕ１の利用者端末装置１０に対する操作履歴情報や会話履歴情報を記憶する。

【0073】

回答候補記憶部２８２は、サーバ装置３０の回答生成部３３３が生成した回答及びＡＩ判定類似度などを記憶する。

【0074】

画像情報記憶部２８３は、質問に対する回答を説明する際に利用される各種画像情報を記憶する。画像情報記憶部２８３は、例えば、地図、乗り換え案内、ショップ情報などの画像データや、当該画像データを利用者Ｕ１のスマートフォンなどの携帯端末（不図示）と連携するためのＱＲコード（登録商標）を記憶する。なお、これらの画像データは、例えば、外部連携サーバ４０から取得される。

【0075】

端末制御部２９は、例えば、ＣＰＵなどを含むプロセッサであり、回答者端末装置２０を統括的に制御する。端末制御部２９は、回答処理部２９１を備える。

【0076】

回答処理部２９１は、利用者端末装置１０と接続された場合に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴に基づく引継情報を、表示部２３に表示させるとともに、回答者Ａ１からの回答を取得し、取得した回答を利用者端末装置１０に送信する。

【0077】

ここで、入出力履歴には、利用者Ｕ１による利用者端末装置１０の操作履歴が含まれる。この場合、回答処理部２９１は、利用者端末装置１０の操作履歴に基づく引継情報を、表示部２３に表示させる。

【0078】

また、入出力履歴には、質問及び自動回答の履歴情報が含まれる。この場合、回答処理部２９１は、質問及び自動回答の履歴情報に基づく引継情報を、表示部２３に表示させる。より具体的に、入出力履歴には、質問及び自動回答の履歴情報として、マイク１４が収音した入力音データ及びスピーカ１５が出力した出力音データに基づく利用者と利用者端末装置１０との間の会話履歴が含まれる。この場合、回答処理部２９１は、会話履歴に基づいて、利用者Ｕ１と利用者端末装置１０との間の会話の内容を、引継情報として、表示部２３に表示させる。

【0079】

このように、入出力履歴には、利用者Ｕ１による利用者端末装置１０の操作履歴や、上述した質問及び自動回答の履歴情報（例えば、利用者端末装置１０における会話履歴まど）が含まれる。なお、回答処理部２９１は、利用者端末装置１０と接続された際に、履歴情報（例えば、操作履歴情報、及び会話履歴情報）を、利用者端末装置１０から取得する。

【0080】

また、回答処理部２９１は、引継情報の他に、例えば、利用者Ｕ１の画像データ、回答者Ａ１の画像データ、外部連携サーバ４０から取得した回答を説明するための画像データなどを表示部２３に表示させる。
ここで、図４を参照して、回答処理部２９１が、利用者端末装置１０と接続した際の表示例について説明する。

【0081】

図４は、本実施形態における回答者端末装置２０の表示例を説明する図である。
図４（ａ）は、利用者端末装置１０から接続要求を受信した場合の表示例を示している。回答処理部２９１は、ＮＷ通信部２１を介して、利用者端末装置１０から接続要求を受信した場合に、警告灯２７を点灯させるとともに、図４（ａ）に示すような表示画面を表示部２３に表示させる。

【0082】

また、図４（ｂ）は、上述した図４（ａ）の表示画面において、回答者Ａ１によって、「ＯＫ」のボタンＢＴ３が押下された場合に、表示する係員などの回答者Ａ１用の操作画面の表示例を示している。回答処理部２９１は、図４（ｂ）に示すように、接続操作情報の画像ＳＧ４、利用者Ｕ１の画像ＳＧ５、カメラ２６が撮像した回答者Ａ１の画像ＳＧ６、引継情報の画像ＳＧ７、及び地図などの回答を説明するための画像ＳＧ８を表示部２３に表示させる。

【0083】

なお、画像ＳＧ８は、例えば、回答者Ａ１が情報を追加可能な画像データであって、回答の説明に使用する画像データである。例えば、画像ＳＧ８が地図であり、回答者Ａ１が目的地への道順を説明する場合には、道順を示す線や矢印などの情報を回答者Ａ１が情報を追加可能である。すなわち、回答処理部２９１は、回答者Ａ１が情報を追加可能な画像データであって、回答の説明に使用する画像データを表示部２３に表示させるとともに、当該画像データを利用者端末装置１０に送信する。

【0084】

また、回答処理部２９１は、ＮＷ通信部２１を介して、例えば、利用者Ｕ１による質問の入力音データを受信し、受信した質問の入力音データを、サーバ装置３０の音信号変換部３３１に、質問のテキストデータに変換せて、回答生成部３３３に、質問に対する回答候補を（回答候補のテキストデータ）及び各候補のＡＩ判定類似度を生成させる。回答処理部２９１は、回答生成部３３３によって生成された回答候補及びＡＩ判定類似度を、回答の参考情報として、表示部２３に表示させる。

【0085】

また、回答処理部２９１は、ＮＷ通信部２１を介して、利用者端末装置１０から受信した利用者Ｕ１による質問の入力音データを、スピーカ２５から出力させるとともに、マイク２４が収音した回答者Ａ１の音声データである回答の音データを、ＮＷ通信部２１を介して、利用者端末装置１０に送信し、利用者端末装置１０のスピーカ１５から、回答の出力音データとして出力させる。

【0086】

なお、利用者Ｕ１が外国人である場合には、上述した応答処理部１９１の自動回答の場合と同様に、サーバ装置３０の音信号変換部３３１及び翻訳処理部３３２を用いて、翻訳処理を実行する。

【0087】

次に、図面を参照して、本実施形態による質問応答システム１の動作について説明する。
図５は、実施形態における自動回答による質問応答処理の動作の一例を示す図である。

【0088】

図５に示すように、質問応答システム１の利用者端末装置１０は、まず、利用者が来たか否かを判定する（ステップＳ１０１）。利用者端末装置１０の応答処理部１９１は、例えば、人感センサ１７又はカメラ１６の検出により、利用者Ｕ１が利用者端末装置１０の周辺に来たか否かを判定する。応答処理部１９１は、利用者が来た（利用者Ｕ１が検出された）場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０２に進める。また、応答処理部１９１は、利用者が来ていない（利用者Ｕ１が検出されていない）場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０１に戻す。

【0089】

ステップＳ１０２において、応答処理部１９１は、操作及び質問を受け付ける。応答処理部１９１は、例えば、入力部１２による操作の受け付けや、マイク１４による利用者Ｕ１からの質問の受け付けを開始する。

【0090】

次に、応答処理部１９１は、受け付けた入力音データ（質問）を、サーバ装置３０に送信する（ステップＳ１０３）。
次に、サーバ装置３０は、入力音データ（質問）を、入力テキストデータに変換する（ステップＳ１０４）。サーバ装置３０の音信号変換部３３１は、質問の入力音データを、質問のテキストデータに変換する。

【0091】

次に、サーバ装置３０は、音信号変換部３３１が変換した入力テキストデータ（質問）を、利用者端末装置１０に送信する（ステップＳ１０５）。
次に、利用者端末装置１０の応答処理部１９１は、テキスト変換した入力テキストデータを、質問データとして、サーバ装置３０に送信する（ステップＳ１０６）。

【0092】

次に、サーバ装置３０は、自動回答を生成する（ステップＳ１０７）。サーバ装置３０の回答生成部３３３は、利用者端末装置１０から受信した質問データに対する自動回答データを生成する。なお、回答生成部３３３は、自動回答データを生成する際に、当該自動回答のＡＩ判定類似度を生成する。

【0093】

次に、サーバ装置３０は、回答生成部３３３が生成した自動回答データを、利用者端末装置１０に送信する（ステップＳ１０８）。なお、サーバ装置３０は、自動回答データとともに、ＡＩ判定類似度を、利用者端末装置１０に送信する。

【0094】

次に、利用者端末装置１０の応答処理部１９１は、自動回答データを出力テキストデータ（回答）として、サーバ装置３０に送信する（ステップＳ１０９）。
次に、サーバ装置３０の音信号変換部３３１は、出力テキストデータ（回答）を音声合成して、出力音データに変換する（ステップＳ１１０）。

【0095】

次に、サーバ装置３０は、音信号変換部３３１が変換した出力音データ（回答）を、利用者端末装置１０に送信する（ステップＳ１１１）。
次に、利用者端末装置１０の応答処理部１９１は、受信した出力音データを出力する（ステップＳ１１２）。応答処理部１９１は、出力音データを、回答の音声として、スピーカ１５に出力させる。

【0096】

次に、利用者端末装置１０の履歴処理部１９２は、履歴情報をサーバ装置３０に送信する（ステップＳ１１３）。履歴処理部１９２は、一連の操作履歴情報及び会話履歴情報を、サーバ装置３０に送信して記憶させる。
次に、サーバ装置３０は、受信した履歴情報を履歴情報記憶部３２２に記憶させる（ステップＳ１１４）。

【0097】

なお、質問応答システム１は、自動回答による質問応答処理の場合に、ステップＳ１０２からステップＳ１１４までの処理を繰り返す。
また、翻訳処理が必要な場合には、ステップＳ１０７及びステップＳ１１０の処理において、翻訳処理部３３２による翻訳処理が追加される。

【0098】

次に、図６を参照して、本実施形態による質問応答システム１の自動回答から回答者Ａ１による回答への切り換え処理について説明する。
図６は、本実施形態における自動回答から回答者Ａ１による回答への切り換え処理の動作の一例を示す図である。

【0099】

図６に示すように、利用者端末装置１０の応答処理部１９１は、まず、自動回答が有効な回答であるか否かを判定する（ステップＳ２０１）。応答処理部１９１は、例えば、上述した（３）に示す場合のように、回答生成部３３３により回答が得られるか否かにより、自動回答が有効な回答であるか否かを判定する。応答処理部１９１は、自動回答が有効な回答である場合（ステップＳ２０１：ＹＥＳ）に、処理をステップＳ２０１に戻す。また、応答処理部１９１は、自動回答が有効な回答でない場合（ステップＳ２０１：ＮＯ）に、処理をステップＳ２０２に進める。

【0100】

ステップＳ２０２において、応答処理部１９１は、係員（回答者Ａ１に接続するように勧める表示を表示部１３に行う。例えば、応答処理部１９１は、図３（ａ）に示すように、「係員を呼ぶ」のボタンＢＴ１を点滅させるとともに、回答者端末装置２０への接続を促すメッセージを表示部１３に表示させる。

【0101】

次に、利用者Ｕ１によって、「係員を呼ぶ」のボタンＢＴ１が押下されると、応答処理部１９１は、接続の確認画面を表示部１３に表示する（ステップＳ２０３）。応答処理部１９１は、例えば、図３（ｂ）に示すような表示画面を表示部１３に表示させる。これにより、利用者端末装置１０は、利用者Ｕ１に接続の確認を行うため、誤操作により誤って回答者端末装置２０に接続すること低減することができる。

【0102】

次に、利用者Ｕ１によって、「発信します」のボタンＢＴ２が押下されると、応答処理部１９１は、接続要求を回答者端末装置２０に送信する（ステップＳ２０４）。なお、応答処理部１９１は、接続要求とともに、操作履歴情報及び会話履歴情報を回答者端末装置２０に送信してもよい。

【0103】

次に、接続要求を受信すると、回答者端末装置２０の回答処理部２９１は、警告灯２７を点灯し、利用者端末装置１０から接続要求があることを表示部２３に表示する（ステップＳ２０５）。回答処理部２９１は、例えば、図４（ａ）に示すような表示画面を表示部２３に表示させる。

【0104】

次に、回答者Ａ１によって、「ＯＫ」ボタンＢＴ３が押下されると、回答処理部２９１は、係員用（回答者Ａ１用）の操作画面に、引継情報を表示する（ステップＳ２０６）。回答処理部２９１は、例えば、図４（ｂ）に示すような引継情報を含む操作画面を表示部２３に表示させる。なお、回答処理部２９１は、引継情報として、例えば、図２に示すような、操作履歴及び会話履歴を表示部２３に表示させる。

【0105】

次に、回答処理部２９１は、接続許可を、利用者端末装置１０に送信する（ステップＳ２０７）。
次に、応答処理部１９１は、接続許可に応じて、係員接続画面を表示部１３に表示する（ステップＳ２０８）。応答処理部１９１は、例えば、図３（ｃ）に示すような係員接続画面を表示部１３に表示させる。

【0106】

次に、応答処理部１９１及び回答処理部２９１は、利用者端末装置１０と、回答者端末装置２０との間で、会話による質問・回答処理を実行する（ステップＳ２０９）。すなわち、応答処理部１９１が、利用者Ｕ１による質問を回答者端末装置２０に送信し、回答処理部２９１が、回答者Ａ１による回答を利用者端末装置１０に送信し、応答処理部１９１が受信した回答者Ａ１による回答を利用者Ｕ１に向けて出力する。

【0107】

なお、上述した図６に示す一例において、利用者端末装置１０が、ステップＳ２０２及びステップＳ２０３の処理を実行する例を説明したが、ステップＳ２０２及びステップＳ２０３の処理を実行せずに、自動的に、回答者端末装置２０に接続するようにしてもよい。

【0108】

次に、図７を参照して、上述した図６のステップＳ２０９の処理の一例について説明する。
図７は、本実施形態における回答者Ａ１による回答処理の動作の一例を示す図である。なお、ここでは、利用者Ｕ１が外国人であり、回答者Ａ１の母国語（自国語）が日本語である場合の一例について説明する。

【0109】

図７に示すように、まず、利用者端末装置１０は、利用者Ｕ１の入力音データを受け付ける（ステップＳ３０１）。利用者端末装置１０の応答処理部１９１は、利用者Ｕ１の質問を、外国語の入力音データとして、マイク１４により取得する。

【0110】

次に、応答処理部１９１は、取得した質問の入力音データ（外国語）を、ＮＷ通信部１１を介して、回答者端末装置２０に送信する（ステップＳ３０２）。
次に、回答者端末装置２０の回答処理部２９１は、利用者端末装置１０から受信した質問の入力音データ（外国語）を、ＮＷ通信部２１を介して、サーバ装置３０に送信する（ステップＳ３０３）。

【0111】

次に、サーバ装置３０は、受信した質問の入力音データ（外国語）に対して、テキスト変換及び翻訳処理を実行する（ステップＳ３０４）。すなわち、サーバ装置３０の音信号変換部３３１が、質問の入力音データ（外国語）を入力テキストデータ（外国語）に変換し、サーバ装置３０の翻訳処理部３３２が、入力テキストデータ（外国語）を入力テキストデータ（日本語）に変換する。

【0112】

次に、サーバ装置３０は、入力テキストデータ（日本語）を、ＮＷ通信部３１を介して、回答者端末装置２０に送信する（ステップＳ３０５）。
次に、回答処理部２９１は、入力テキストデータ（日本語）を、ＮＷ通信部２１を介して、サーバ装置３０に送信する（ステップＳ３０６）。

【0113】

次に、サーバ装置３０は、受信した入力テキストデータ（日本語）を音声合成する（ステップＳ３０７）。サーバ装置３０の音信号変換部３３１は、入力テキストデータ（日本語）を入力音データ（日本語）に変換する。

【0114】

次に、サーバ装置３０は、変換した入力音データ（日本語）を、ＮＷ通信部３１を介して、回答者端末装置２０に送信する（ステップＳ３０８）。
次に、回答者端末装置２０は、受信した入力音データ（日本語）を出力する（ステップＳ３０９）。すなわち、回答者端末装置２０の回答処理部２９１は、受信した入力音データ（日本語）を質問の音声として、スピーカ２５に出力させる。

【0115】

また、一方で、サーバ装置３０の回答生成部３３３は、入力テキストデータ（日本語）から自動回答を生成する（ステップＳ３１０）。なお、回答生成部３３３は、複数の回答の候補を生成するとともに、各回答候補のＡＩ判定類似度を生成する。
次に、サーバ装置３０は、回答の候補（テキスト）を、ＮＷ通信部３１を介して、回答者端末装置２０に送信する（ステップＳ３１１）。なお、サーバ装置３０は、回答生成部３３３が生成した複数の回答の候補及びＡＩ判定類似度を回答者端末装置２０に送信する。

【0116】

回答者端末装置２０は、受信した回答の候補を表示部２３に表示する（ステップＳ３１２）。回答者端末装置２０の回答処理部２９１は、複数の回答の候補及びＡＩ判定類似度を、ＡＩ判定類似度が高いものを優先して、表示部２３に表示させる。

【0117】

次に、回答者端末装置２０は、回答者Ａ１の回答音データを受け付ける（ステップＳ３１３）。すなわち、回答処理部２９１は、マイク２４により、回答者Ａ１の回答音データ（日本語）を取得する。
次に、回答処理部２９１は、回答音データ（日本語）を、ＮＷ通信部２１を介して、サーバ装置３０に送信する（ステップＳ３１４）。

【0118】

次に、サーバ装置３０は、受信した回答音データ（日本語）に対して、テキスト変換及び翻訳処理を実行する（ステップＳ３１５）。すなわち、サーバ装置３０の音信号変換部３３１が、回答音データ（日本語）を回答テキストデータ（日本語）に変換し、サーバ装置３０の翻訳処理部３３２が、回答テキストデータ（日本語）を回答テキストデータ（外国語）に変換する。

【0119】

次に、サーバ装置３０は、回答テキストデータ（外国語）を、ＮＷ通信部３１を介して、回答者端末装置２０に送信する（ステップＳ３１６）。
次に、回答処理部２９１は、回答テキストデータ（外国語）を、ＮＷ通信部２１を介して、サーバ装置３０に送信する（ステップＳ３１７）。

【0120】

次に、サーバ装置３０は、受信した回答テキストデータ（外国語）を音声合成する（ステップＳ３１８）。サーバ装置３０の音信号変換部３３１は、回答テキストデータ（外国語）を回答音データ（外国語）に変換する。

【0121】

次に、サーバ装置３０は、変換した回答音データ（外国語）を、ＮＷ通信部３１を介して、回答者端末装置２０に送信する（ステップＳ３１９）。
次に、回答者端末装置２０の回答処理部２９１は、受信した回答音データ（外国語）を、ＮＷ通信部２１を介して、利用者端末装置１０に送信する（ステップＳ３２０）。

【0122】

次に、利用者端末装置１０は、受信した回答音データ（外国語）を出力する（ステップＳ３２１）。すなわち、利用者端末装置１０の応答処理部１９１は、受信した回答音データ（外国語）を回答の音声として、スピーカ１５に出力させる。

【0123】

また、サーバ装置３０は、履歴情報を記憶する（ステップＳ３２２）。サーバ装置３０のサーバ制御部３３は、例えば、質問の入力テキストデータ（日本語）及び回答テキストデータ（日本語）と、日時情報とを対応付けて、履歴情報記憶部３２２に記憶させる。

【0124】

なお、図７に示す例で、利用者Ｕ１が日本人である場合には、回答処理部２９１は、利用者端末装置１０から受信した質問の入力音データを、質問の音声として、スピーカ２５に出力させ、マイク２４により取得した回答音データを、利用者端末装置１０に送信する。また、この場合、回答処理部２９１は、サーバ装置３０に、質問の入力音データを送信して、質問の入力音データをテキスト変換するとともに、回答候補をサーバ装置３０から取得する。

【0125】

以上説明したように、本実施形態による質問応答システム１は、利用者Ｕ１によって入力された質問に対する回答を出力する利用者端末装置１０と、回答者Ａ１による回答を利用者端末装置１０に送信する回答者端末装置２０とを備える。利用者端末装置１０は、応答処理部１９１を備える。応答処理部１９１は、質問に対して自動生成された回答である自動回答を回答として出力するとともに、自動回答により有効な回答が得られない場合に、回答者端末装置２０と接続させて受信した回答者Ａ１からの回答を回答として出力する。また、回答者端末装置２０は、表示部２３と、回答処理部２９１とを備える。回答処理部２９１は、回答者端末装置２０が、利用者端末装置１０と接続された場合に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴に基づく引継情報を、表示部２３に表示させるとともに、回答者Ａ１からの回答を取得し、取得した回答を利用者端末装置１０に送信する。

【0126】

これにより、本実施形態による質問応答システム１は、自動回答から回答者端末装置２０に接続した回答者Ａ１による回答に切り替える際に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴に基づく引継情報を表示するため、利用者Ｕ１が、質問の経緯を最初から説明する必要がなく、速やかに回答者Ａ１が対応することができる。よって、本実施形態による質問応答システム１は、利用者Ｕ１及び回答者Ａ１の双方においてユーザビリティを向上させることができる。

【0127】

また、本実施形態では、入出力履歴には、利用者Ｕ１による利用者端末装置１０の操作履歴が含まれ、回答処理部２９１は、利用者端末装置１０の操作履歴に基づく引継情報を、表示部２３に表示させる。

【0128】

これにより、本実施形態による質問応答システム１は、回答者Ａ１が利用者Ｕ１の操作履歴を把握した上で、利用者Ｕ１の質問に対して対応できるため、ユーザビリティをさらに向上させることができる。

【0129】

また、本実施形態では、入出力履歴には、質問及び自動回答の履歴情報が含まれ、回答処理部２９１は、質問及び自動回答の履歴情報に基づく引継情報を、表示部２３に表示させる。

【0130】

これにより、本実施形態による質問応答システム１は、回答者Ａ１が質問及び自動回答の履歴情報を把握した上で、利用者Ｕ１の質問に対して対応できるため、ユーザビリティをさらに向上させることができる。

【0131】

また、本実施形態では、利用者端末装置１０は、利用者Ｕ１の音声を入力音データとして収音するマイク１４（利用者収音部）と、回答に基づく出力音データを音声として出力するスピーカ１５（利用者放音部）とを備える。出力履歴には、質問及び自動回答の履歴情報として、マイク１４が収音した入力音データ及びスピーカ１５が出力した出力音データに基づく利用者と利用者端末装置１０との間の会話履歴が含まれる。回答処理部２９１は、会話履歴に基づいて、利用者Ｕ１と利用者端末装置１０との間の会話の内容を、引継情報として、表示部２３に表示させる。

【0132】

これにより、本実施形態による質問応答システム１は、回答者Ａ１が利用者Ｕ１と利用者端末装置１０との間の会話の内容を把握した上で、利用者Ｕ１の質問に対して対応できるため、ユーザビリティをさらに向上させることができる。

【0133】

また、本実施形態による質問応答システム１は、マイク１４が収音した入力音データを入力テキストデータに変換するとともに、自動回答を含む出力テキストデータを出力音データに変換する音信号変換部３３１を備える。応答処理部１９１は、音信号変換部３３１から質問の入力テキストデータを取得し、音信号変換部３３１により自動回答を出力音データに変換させる。

【0134】

これにより、本実施形態による質問応答システム１は、音声入力により質問し、音声出力により回答を得られるため、利用者Ｕ１のユーザビリティをさらに向上させることができる。

【0135】

本実施形態では、回答者端末装置２０は、回答者Ａ１の音声を音データとして収音するマイク２４（回答者収音部）と、マイク１４が収音した入力音データに基づく音を出力するスピーカ２５（回答者放音部）とを備える。回答処理部２９１は、利用者端末装置１０から受信した入力音データに基づく音をスピーカ２５に出力させるとともに、マイク２４が収音した音データを、利用者端末装置１０に送信する。利用者端末装置１０は、回答者端末装置２０から受信した音データを出力音データとして、スピーカ１５（利用者放音部）に出力させる。

【0136】

これにより、本実施形態による質問応答システム１は、利用者Ｕ１と回答者Ａ１との間で、音声による会話をすることができるため、ユーザビリティをさらに向上させることができる。

【0137】

本実施形態では、回答処理部２９１は、質問に対して、機械学習による学習結果に基づいて自動生成された回答候補を、表示部２３に表示させる。
これにより、本実施形態による質問応答システム１は、回答者Ａ１が機械学習による回答候補を参照しながら、利用者Ｕ１の質問に対応できるため、より適切な回答を出力することができるとともに、回答者Ａ１のユーザビリティをさらに向上させることができる。

【0138】

本実施形態では、利用者端末装置１０は、利用者Ｕ１が視認可能な表示部である表示部１３（利用者表示部）を備える。回答処理部２９１は、回答者Ａ１が情報を追加可能な画像データであって、回答の説明に使用する画像データを表示部２３（回答者表示部）に表示させるとともに、当該画像データを利用者端末装置１０に送信する。応答処理部１９１は、画像データを表示部１３に表示させる。

【0139】

これにより、本実施形態による質問応答システム１は、例えば、地図や施設の構内図などの画像を、利用者端末装置１０と回答者端末装置２０との双方に表示させながら、質問に対する回答の説明ができるため、ユーザビリティをさらに向上させることができる。

【0140】

本実施形態では、応答処理部１９１は、画像データを利用者Ｕ１が所有する携帯端末（例えば、スマートフォンやタブレット端末など）で取得して表示可能にする二次元コードを、表示部１３に表示させる。
これにより、本実施形態による質問応答システム１は、利用者Ｕ１が所有する携帯端末（例えば、スマートフォンやタブレット端末など）に、回答の説明に使用した画像データを取り込んで表示するようにできるため、利用者Ｕ１が利用者端末装置１０の設置場所を離れた後も、回答の説明に使用した画像を確認することができる。

【0141】

また、本実施形態による質問応答システム１は、少なくとも回答者Ａ１が使用する母国語（第１言語、例えば、日本語）と、利用者Ｕ１が使用する外国語（第２言語、例えば、英語）とを相互に翻訳する翻訳処理部３３２を備える。翻訳処理部３３２は、利用者端末装置１０に入力された外国語（英語）の質問を、母国語（日本語）の質問に翻訳するとともに、回答者端末装置２０に入力された母国語（日本語）の回答を、外国語（英語）の回答に翻訳する。

【0142】

これにより、本実施形態による質問応答システム１は、利用者Ｕ１が外国人である場合に対応することができ、利用者Ｕ１のユーザビリティをさらに向上させることができる。

【0143】

また、本実施形態による質問応答システム１は、機械学習により再学習して、回答の自動生成モデルを再構築する機械学習部３３４を備える。
これにより、本実施形態による質問応答システム１は、再学習により、自動回答の精度（確信度）を向上させることができ、ユーザビリティをさらに向上させることができる。

【0144】

また、本実施形態による質問応答方法は、利用者Ｕ１によって入力された質問に対する回答を出力する利用者端末装置１０と、表示部２３を備え、回答者Ａ１による回答を利用者端末装置１０に送信する回答者端末装置２０とを備える質問応答システム１の質問応答方法であって、応答処理ステップと、回答取得ステップと、回答処理ステップとを含む。応答処理ステップにおいて、利用者端末装置１０が、質問に対して自動生成された回答である自動回答を回答として出力するとともに、自動回答により有効な回答が得られない場合に、回答者端末装置２０と接続させて受信した回答者Ａ１からの回答を回答として出力する。回答取得ステップにおいて、回答者端末装置２０が、回答者Ａ１からの回答を取得する。回答処理ステップにおいて、回答者端末装置２０が、利用者端末装置１０と接続された場合に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴に基づく引継情報を、表示部２３に表示させるとともに、回答者Ａ１からの回答を取得し、取得した回答を利用者端末装置１０に送信する。
これにより、本実施形態による質問応答方法は、上述した質問応答システム１と同様の効果を奏し、ユーザビリティを向上させることができる。

【0145】

なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、質問応答システム１は、１台の利用者端末装置１０と、１台の回答者端末装置２０とを備える例を説明したが、これに限定されるものではなく、例えば、複数の利用者端末装置１０、又は複数の回答者端末装置２０を備えるようにしてもよい。

【0146】

また、上記の実施形態において、利用者端末装置１０は、機械学習による学習結果に基づくＡＩ（人工知能）を用いて自動回答を生成する例を説明したが、これに限定されるものではなく、質問と回答とを対応付けたＦＡＱ（Frequently Asked Questions）表に基づいて、自動回答を生成するようにしてもよい。この場合、利用者端末装置１０は、ＦＡＱ表に基づいて、質問に対する自動回答を生成する回答生成部を備えるようにしてもよい。

【0147】

また、上記の実施形態において、利用者端末装置１０の応答処理部１９１は、利用者Ｕ１との質問及び自動回答のやり取りを行った後に、回答者端末装置２０に接続する例を説明したが、これに限定されるものではない。例えば、下記の（Ａ）〜（Ｃ）ような場合には、応答処理部１９１は、質問及び自動回答のやり取りを行う前に、回答者端末装置２０に接続するようにしてもよい。

【0148】

（Ａ）利用者Ｕ１が高齢者や身体障碍者など、有人による案内の優先度が高い場合
（Ｂ）利用者Ｕ１が、「係員を呼ぶ」ボタンＢＴ１を押下した場合
（Ｃ）金銭のやり取りや個人情報、犯罪等に関わる内容などリスク／重要度／緊急性の高い内容に関する質問（問い合わせ）が利用者Ｕ１からあった場合

【0149】

ここで、図８を参照して、本実施形態による質問応答システム１における自動回答から回答者による回答への切り換え処理の動作の変形例について説明する。
図８は、本実施形態における自動回答から回答者による回答への切り換え処理の動作の変形例を示す図である。

【0150】

図８に示すように、利用者端末装置１０の応答処理部１９１は、まず、自動回答が適切な回答に到達できないと判定されたか否かを判定する（ステップＳ４０１）。応答処理部１９１は、例えば、カメラ１６（利用者情報取得部の一例）が取得する利用者Ｕ１の情報（例えば、利用者Ｕ１の画像）に基づいて、自動回答が適切な回答に到達できないと判定されたか否かを判定する。応答処理部１９１は、例えば、利用者Ｕ１の画像から、利用者Ｕ１が高齢者や身体障碍者（車いすに乗っている場合、白杖を所持している場合など）であると判定される場合（上述した（Ａ）の場合）に、自動回答が適切な回答に到達できないと判定する。

【0151】

応答処理部１９１は、自動回答が適切な回答に到達できないと判定された場合（ステップＳ４０１：ＹＥＳ）に、処理をステップＳ４０２に進める。また、応答処理部１９１は、自動回答が適切な回答に到達できないと判定されていない場合（ステップＳ４０１：ＮＯ）に、処理をステップＳ４０１に戻す。
ステップＳ４０２からステップＳ４０９までの処理は、上述した図６に示すステップＳ２０２からステップＳ２０９までの処理と同様であるため、ここではその説明を省略する。なお、ステップＳ４０６において、回答処理部２９１は、係員用（回答者Ａ１用）の操作画面に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴又は利用者Ｕ１の情報に基づく引継情報を表示する。

【0152】

このように、本実施形態による質問応答システム１は、利用者Ｕ１によって入力された質問に対する回答を出力する利用者端末装置１０と、回答者Ａ１による回答を利用者端末装置１０に送信する回答者端末装置２０とを備える。利用者端末装置１０は、利用者Ｕ１の情報を取得する利用者情報取得部（例えば、カメラ１６など）と、応答処理部１９１とを備える。応答処理部１９１は、質問に対して自動生成された回答である自動回答を回答として出力するとともに、利用者情報取得部（例えば、カメラ１６など）が取得した利用者Ｕ１の情報に基づいて、自動回答が適切な回答に到達できないと判定された場合に、回答者端末装置２０と接続させて受信した回答者Ａ１からの回答を回答として出力する。また、回答者端末装置２０は、表示部２３と、回答処理部２９１とを備える。回答処理部２９１は、回答者端末装置２０が、利用者端末装置１０と接続された場合に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴又は利用者Ｕ１の情報に基づく引継情報を、表示部２３に表示させるとともに、回答者Ａ１からの回答を取得し、取得した回答を利用者端末装置１０に送信する。

【0153】

これにより、本実施形態による質問応答システム１は、例えば、利用者Ｕ１が高齢者や身体障碍者である場合に、迅速に回答者端末装置２０に接続することができ、利用者Ｕ１のユーザビリティを向上させることができる。

【0154】

また、本実施形態による質問応答方法は、上述した質問応答システム１の質問応答方法であって、利用者情報取得ステップと、応答処理ステップと、回答取得ステップと、回答処理ステップとを含む。利用者情報取得ステップにおいて、利用者端末装置１０が、利用者Ｕ１の情報を取得する。応答処理ステップにおいて、利用者端末装置１０が、質問に対して自動生成された回答である自動回答を前記回答として出力するとともに、利用者情報取得ステップによって取得された利用者Ｕ１の情報に基づいて、自動回答が適切な回答に到達できないと判定された場合に、回答者端末装置２０と接続させて受信した回答者Ａ１からの回答を回答として出力する。回答取得ステップにおいて、回答者端末装置２０が、回答者Ａ１からの回答を取得する。回答処理ステップにおいて、回答者端末装置２０が、利用者端末装置１０と接続された場合に、利用者端末装置１０における利用者Ｕ１との間の入出力履歴又は利用者Ｕ１の情報に基づく引継情報を、表示部２３に表示させるとともに、回答者Ａ１からの回答を取得し、取得した回答を利用者端末装置１０に送信する。
これにより、本実施形態による質問応答方法は、上述した質問応答システム１と同様の効果を奏し、利用者Ｕ１のユーザビリティを向上させることができる。

【0155】

なお、上述した変形例では、利用者情報取得部の一例として、カメラ１６を用いる例を説明したが、これに限定されるものではなく、例えば、利用者Ｕ１が操作にまごついている場合など、入力部１２による操作間隔などを用いるようにしてもよい。

【0156】

また、上記の実施形態において、サーバ装置３０が備える構成の一部を、利用者端末装置１０又は回答者端末装置２０が備えるようにしてもよい。例えば、利用者端末装置１０又は回答者端末装置２０が、音信号変換部３３１及び翻訳処理部３３２を備えるようにしてもよいし、回答生成部３３３を備えるようにしてもよい。

【0157】

また、上記の実施形態において、利用者端末装置１０に回答者Ａ１の画像を表示する例を説明したが、これに限定されるものではなく、回答者Ａ１の画像の代わりに、キャラクタやアバターを表示するようにしてもよい。この場合、利用者端末装置１０は、利用者を案内の映像及び音声をアバターに合わせて変換するようにしてもよい。

【0158】

また、上記の実施形態において、利用者端末装置１０は、施設などに設置する例を説明したが、これに限定されるものではなく、例えば、シースルー型のヘッドマウントディスプレイ端末装置であってもよい。

【0159】

また、上記の実施形態において、回答者端末装置２０が放音部としてスピーカ２５を備える例を説明したが、これに限定されるものではなく、放音部は、ヘッドフォンなどであってもよい。
また、上記の実施形態において、利用者端末装置１０及び回答者端末装置２０は、質問及び回答を音声による入出力を行う例を説明したが、これに限定されるものではなく、入力部１２及び入力部２２を用いてテキスト入力し、表示部１３及び表示部２３にテキスト表示するようにしてもよい。

【0160】

なお、上述した質問応答システム１が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した質問応答システム１が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した質問応答システム１が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

【0161】

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に質問応答システム１が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0162】

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【符号の説明】

【0163】

１ 質問応答システム
１０ 利用者端末装置
１１、２１、３１ ＮＷ通信部
１２、２２ 入力部
１３、２３ 表示部
１４、２４ マイク
１５、２５ スピーカ
１６、２６ カメラ
１７ 人感センサ
１８、２８ 端末記憶部
１９、２９ 端末制御部
２０ 回答者端末装置
２７ 警告灯
３０ サーバ装置
３２ サーバ記憶部
３３ サーバ制御部
４０ 外部連携サーバ
１８１ 操作履歴記憶部
１８２ 会話履歴記憶部
１８３、２８３ 画像情報記憶部
１９１ 応答処理部
１９２ 履歴処理部
２８１ 引継情報記憶部
２８２ 回答候補記憶部
２９１ 回答処理部
３２１ 学習結果記憶部
３２２ 履歴情報記憶部
３３１ 音信号変換部
３３２ 翻訳処理部
３３３ 回答生成部
３３４ 機械学習部
Ａ１ 回答者
ＮＷ１ ネットワーク
Ｕ１ 利用者

【要約】      （修正有）

【課題】ユーザビリティを向上する質問応答システム及び質問応答方法を提供する。
【解決手段】質問応答システム１は、利用者によって入力された質問に対する回答を出力する利用者端末装置１０と、回答者による回答を利用者端末装置１０に送信する回答者端末装置２０と、を備える。利用者端末装置１０は、質問に対して自動生成された回答である自動回答を回答として出力するとともに、自動回答により有効な回答が得られない場合に、回答者端末装置２０と接続させて受信した回答者からの回答を回答として出力する応答処理部１９１を備える。回答者端末装置２０は、表示部２３と、回答者端末装置２０が利用者端末装置１０と接続された場合に、利用者端末装置１０における利用者との間の入出力履歴に基づく引継情報を、表示部２３に表示させるとともに、回答者からの回答を取得し、取得した回答を利用者端末装置１０に送信する回答処理部２９１と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】