特許 7459020 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06Q 30/015 20230101AFI20240325BHJP

   G06Q 30/0201 20230101ALI20240325BHJP

【ＦＩ】

G06Q30/015

G06Q30/0201

【請求項の数】 12

(21)【出願番号】P 2021101353

(22)【出願日】2021-06-18

(65)【公開番号】P2023000493

(43)【公開日】2023-01-04

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西田 浩二

(72)【発明者】

【氏名】兵藤 安昭

(72)【発明者】

【氏名】有地 瑠衣

(72)【発明者】

【氏名】助光 康大

【審査官】貝塚 涼

(56)【参考文献】

【文献】特開２０１５－１２７８８４（ＪＰ，Ａ）

【文献】特開２０１０－１９１５３０（ＪＰ，Ａ）

【文献】特開２０２０－２０１３２２（ＪＰ，Ａ）

【文献】特開２０１７－０４１１２０（ＪＰ，Ａ）

【文献】特開２０１９－１３５６２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／９９

(57)【特許請求の範囲】

【請求項1】

複数の場所に設置されたスマートスピーカのうちいずれかのスマートスピーカを介してユーザと対話した際の前記ユーザの音声を取得する取得部と、
前記ユーザの音声を用いた音声認識により、異なる場所又は日時に対話した前記ユーザが同一人物であることを特定する特定部と、
前記ユーザの音声を取得した場所と日時とを紐づけて前記ユーザの行動履歴として蓄積する管理部と、
前記ユーザの音声を用いた音声認識により、前記ユーザの使用言語を推定し、前記ユーザの使用言語により前記ユーザが訪日外国人であると推定する推定部と、
前記ユーザの音声を取得した場所に設置されたスマートスピーカ又は表示装置を介して前記ユーザの使用言語に応じた情報提供をする提供部と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記取得部は、さらに前記複数の場所に設置されたスマートスピーカのうちいずれかのスマートスピーカを介して前記ユーザと対話した際に、当該スマートスピーカとともに設置されたカメラを介して前記ユーザの画像を取得し、
前記特定部は、さらに前記ユーザの画像を用いた画像認識により、異なる場所又は日時に対話した前記ユーザが同一人物であることを特定し、
前記推定部は、さらに前記ユーザの画像を用いた画像認識により、前記ユーザの容姿、衣装及び所持品を判別し、前記ユーザの容姿、衣装及び所持品から、前記ユーザが訪日外国人であると推定する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記特定部は、同一人物が異なる言語を使用した場合でも、画像認識により同一人物と推定された場合には、同一人物として扱う
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記推定部は、前記ユーザの容姿、衣装及び所持品、あるいは挙動から、前記ユーザの興味・関心の対象を推定し、
前記提供部は、推定された前記ユーザの興味・関心の対象に応じて、前記ユーザへの情報提供の内容を変更する
ことを特徴とする請求項２又は３に記載の情報処理装置。

【請求項5】

前記提供部は、前記ユーザに対して、前記使用言語を使用する訪日客におすすめの場所、商品又はサービスの案内、クーポン発行、対話の中で挙げられた前記ユーザの要望に応じた場所、商品又はサービスの案内、前記使用言語を使用する訪日客に人気のアクティビティに関する情報提供、前記使用言語を使用する訪日客があまりいない穴場の場所に関する情報提供、又は前記使用言語を使用する訪日客に対する緊急速報や注意喚起を行う
ことを特徴とする請求項１～４のうちいずれか１つに記載の情報処理装置。

【請求項6】

前記推定部は、前記ユーザと同じ使用言語を使用する他のユーザの行動履歴について機械学習を行い、前記ユーザに適した情報を推定し、
前記提供部は、前記ユーザに適した情報を提供する
ことを特徴とする請求項１～５のうちいずれか１つに記載の情報処理装置。

【請求項7】

前記管理部は、前記ユーザの音声を取得した場所ごとに、前記ユーザの音声を取得した場所と日時とを紐づけて前記ユーザの行動履歴として蓄積することで、前記ユーザが情報提供を受けた場所と、前記ユーザが情報提供を受けた後に訪問した場所とが蓄積され、前記ユーザが前記提供部による情報提供でおすすめの場所を案内された結果、前記ユーザが当該場所を訪れたことを示す履歴情報を蓄積する
ことを特徴とする請求項１～６のうちいずれか１つに記載の情報処理装置。

【請求項8】

前記取得部は、前記ユーザと対話した店頭設置端末から前記ユーザの音声を取得し、
前記管理部は、前記ユーザの音声を取得した店頭設置端末の設置場所と前記ユーザの音声を取得した日時とを紐づけて前記ユーザの行動履歴として蓄積する
ことを特徴とする請求項１～７のうちいずれか１つに記載の情報処理装置。

【請求項9】

前記取得部は、前記ユーザの端末装置を介して前記ユーザと対話した際に、前記ユーザの端末装置から前記ユーザの音声を取得し、
前記管理部は、前記ユーザの端末装置が前記ユーザの音声を取得した場所と日時とを紐づけて前記ユーザの行動履歴として蓄積する
ことを特徴とする請求項１～８のうちいずれか１つに記載の情報処理装置。

【請求項10】

前記提供部は、第１の場所にて前記ユーザが訪日外国人であると推定され、かつ、前記ユーザが前記第１の場所からスマートスピーカが設置された第２の場所に移動した場合は、当該第２の場所に設置されたスマートスピーカ又は表示装置を介して情報提供をする
ことを特徴とする請求項１～９のうちいずれか１つに記載の情報処理装置。

【請求項11】

情報処理装置が実行する情報処理方法であって、
複数の場所に設置されたスマートスピーカのうちいずれかのスマートスピーカを介してユーザと対話した際の前記ユーザの音声を取得する取得工程と、
前記ユーザの音声を用いた音声認識により、異なる場所又は日時に対話した前記ユーザが同一人物であることを特定する特定工程と、
前記ユーザの音声を取得した場所と日時とを紐づけて前記ユーザの行動履歴として蓄積する管理工程と、
前記ユーザの音声を用いた音声認識により、前記ユーザの使用言語を推定し、前記ユーザの使用言語により前記ユーザが訪日外国人であると推定する推定工程と、
前記ユーザの音声を取得した場所に設置されたスマートスピーカ又は表示装置を介して前記ユーザの使用言語に応じた情報提供をする提供工程と、
を含むことを特徴とする情報処理方法。

【請求項12】

複数の場所に設置されたスマートスピーカのうちいずれかのスマートスピーカを介してユーザと対話した際の前記ユーザの音声を取得する取得手順と、
前記ユーザの音声を用いた音声認識により、異なる場所又は日時に対話した前記ユーザが同一人物であることを特定する特定手順と、
前記ユーザの音声を取得した場所と日時とを紐づけて前記ユーザの行動履歴として蓄積する管理手順と、
前記ユーザの音声を用いた音声認識により、前記ユーザの使用言語を推定し、前記ユーザの使用言語により前記ユーザが訪日外国人であると推定する推定手順と、
前記ユーザの音声を取得した場所に設置されたスマートスピーカ又は表示装置を介して前記ユーザの使用言語に応じた情報提供をする提供手順と、
をコンピュータに実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

ユーザの行動に関する履歴情報から、ユーザの通常の行動から外れる外れ行動を示す情報である外れ情報を抽出し、抽出された外れ情報に基づいて、ユーザの特性であって、外れ行動により顕在化される特性であるユーザ特性を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－４９９４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、普段国内で行動しており履歴情報から行動を追うことが可能な国内のユーザの特性は推定できるが、インバウンド（Inbound）等で一時的に海外から訪れたユーザの履歴情報は存在せず行動を追うことはできないため、初めて日本を訪れた海外在住の訪日客（来訪者）等のユーザ特性は推定できない。

【0005】

本願は、上記に鑑みてなされたものであって、インバウンドの来訪者のデータを適切に取得することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、複数の場所に設置されたスマートスピーカのうちいずれかのスマートスピーカを介してユーザと対話した際の前記ユーザの音声を取得する取得部と、前記ユーザの音声を用いた音声認識により、異なる場所又は日時に対話した前記ユーザが同一人物であることを特定する特定部と、前記ユーザの音声を取得した場所と日時とを紐づけて前記ユーザの行動履歴として蓄積する管理部と、前記ユーザの音声を用いた音声認識により、前記ユーザの使用言語を推定し、前記ユーザの使用言語により前記ユーザが訪日外国人であると推定する推定部と、前記ユーザの音声を取得した場所に設置されたスマートスピーカ又は表示装置を介して前記ユーザの使用言語に応じた情報提供をする提供部と、を備えることを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、インバウンドの来訪者のデータを適切に取得することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理方法の概要を示す説明図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示す図である。

【図3】図３は、実施形態に係る情報提供装置の構成例を示す図である。

【図4】図４は、訪日客情報データベースの一例を示す図である。

【図5】図５は、提供情報データベースの一例を示す図である。

【図6】図６は、実施形態に係る処理手順を示すフローチャートである。

【図7】図７は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．情報処理方法の概要〕
まず、図１を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。図１は、実施形態に係る情報処理方法の概要を示す説明図である。なお、図１では、海外からの訪日客（来訪者）への情報提供及び行動追跡をする場合を例に挙げて説明する。

【0011】

図１に示すように、情報処理システム１は、端末装置１０と情報提供装置１００とスマートスピーカ２００とカメラ３００とを含む。情報提供装置１００とスマートスピーカ２００とカメラ３００とは、それぞれネットワークＮ（図２参照）を介して有線又は無線で互いに通信可能に接続される。本実施形態では、情報提供装置１００は、スマートスピーカ２００及びカメラ３００と連携する。スマートスピーカ２００及びカメラ３００はそれぞれ複数の場所に設置されている。

【0012】

端末装置１０は、海外からの訪日客（来訪者）等である利用者Ｕ（ユーザ）により使用されるスマートフォンやタブレット等のスマートデバイスであり、４Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置１０は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者Ｕから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置１０は、スマートデバイスのみならず、ノートＰＣ（Personal Computer）等の可搬式の情報処理装置であってもよい。

【0013】

本実施形態では、端末装置１０は必須ではない。利用者Ｕは、端末装置１０を所持していない人（例えば子供など）であってもよい。

【0014】

情報提供装置１００は、海外からの訪日客（来訪者）等である利用者Ｕに関する情報を収集する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。本実施形態では、情報提供装置１００は、スマートスピーカ２００及びカメラ３００と連携し、スマートスピーカ２００及びカメラ３００から利用者Ｕに関する情報を収集する。

【0015】

スマートスピーカ２００は、対話型の音声操作に対応したＡＩアシスタント機能を持つスピーカであり、内蔵されているマイクで音声を認識する。また、スマートスピーカ２００は、利用者Ｕとの対話により得られた音声データから、音声認識により利用者Ｕを特定する。さらに、スマートスピーカ２００は、利用者Ｕとの対話により、利用者Ｕに対して情報提供を行う。

【0016】

また、スマートスピーカ２００は、対話した利用者Ｕの使用言語により利用者Ｕが訪日外国人であると推定する。例えば、スマートスピーカ２００は、利用者Ｕの音声データから利用者Ｕの使用言語を推定し、利用者Ｕが当該使用言語を公用語とする国や地域から来訪した訪日外国人であると推定する。但し、使用言語と国とは必ずしも１対１の関係にはない（例えば、英語、スペイン語、アラビア語等は多くの国や地域で公用語となっている）ため、使用言語からの利用者Ｕの出身地（母国等）の推定は必須ではない。

【0017】

また、スマートスピーカ２００は、利用者Ｕとの対話（会話）の中で、利用者Ｕから出身地（母国等）に関連する情報を聞き出してもよい。例えば、出身地（母国等）の名称等に関する直接的な質問はせず、出身地（母国等）に関連する話題（流行、著名人、特産品／名産品等）に触れてもよい。あるいは、スマートスピーカ２００は、利用者Ｕとの会話の内容から利用者Ｕの出身地を推定してもよい。

【0018】

また、スマートスピーカ２００は、同じ使用言語であっても、方言や訛り等の違いにより、さらに細分化してもよい。すなわち、使用言語は、標準語に限らず、地域言語（地方言語）であってもよい。例えば、スマートスピーカ２００は、広義には同じ使用言語であっても、利用者Ｕの出身地に応じた方言や訛り等の違いがある場合、別の使用言語として扱ってもよい。また、スマートスピーカ２００は、使用言語に含まれる方言や訛り等から、利用者Ｕの出身国（アメリカ、中国等）や地域（アメリカのどの地域か等）を推定してもよい。

【0019】

また、スマートスピーカ２００は、利用者Ｕとの対話に先立って、利用者Ｕに使用言語又は出身地を指定（選択）させるようにしてもよい。一般的に、利用者Ｕは使い慣れている自身の使用言語での対話や案内を望むものと推測される。

【0020】

また、スマートスピーカ２００は、利用者Ｕとの対話（会話）の内容から、利用者Ｕの訪日の目的がビジネスか観光かを推定してもよい。そして、利用者Ｕの訪日の目的に応じて、利用者Ｕへの情報提供の内容を変更してもよい。訪日の目的によって、利用者Ｕの求める情報は異なると推測される。

【0021】

なお、実際には、スマートスピーカ２００は、対話した利用者Ｕの音声データを情報提供装置１００に提供し、情報提供装置１００が利用者Ｕの音声データから、音声認識により利用者Ｕを特定し、利用者Ｕの使用言語を推定し、利用者Ｕが訪日外国人であると推定してもよい。

【0022】

カメラ３００は、スマートスピーカ２００に搭載、又はスマートスピーカ２００の近傍に設置された撮像装置であり、スマートスピーカ２００と対話中の利用者Ｕを撮影する。また、カメラ３００は、撮影された利用者Ｕの画像データから、画像認識により利用者Ｕを特定する。但し、画像認識は一例に過ぎない。実際には、画像認識に限らず、指紋認証、顔認証、虹彩認証、静脈認証等の生体認証であってもよい。

【0023】

例えば、同一人物であっても複数の言語を使用する能力をもっている人（バイリンガル、トライリンガル等）も存在する。また、出身地が英語圏でなくても英語を使用してコミュニケーションをとろうとする人もいる。たとえ同一人物が異なる言語を使用した場合でも、画像認識により同一人物と推定された場合には、同一人物として扱ってもよい。例えば、利用者Ｕが場所によって異なる言語を使用したとしても、カメラ３００が画像認識により利用者Ｕであると特定した場合には、使用言語にかかわらず利用者Ｕとして扱う。

【0024】

さらに、カメラ３００は、利用者Ｕの画像データを用いた画像認識により、利用者Ｕの容姿、衣装及び所持品を判別し、利用者Ｕの容姿、衣装及び所持品から、利用者Ｕが訪日外国人であると推定してもよい。また、カメラ３００は、利用者Ｕの容姿、衣装及び所持品、あるいは挙動から、利用者Ｕの嗜好（興味・関心の対象）を推定してもよい。そして、スマートスピーカ２００は、カメラ３００と連携し、推定された利用者Ｕの嗜好に応じて、利用者Ｕへの情報提供の内容を変更してもよい。例えば、スマートスピーカ２００は、推定された利用者Ｕの嗜好に合わせた商品提案をしてもよい。

【0025】

また、カメラ３００は、利用者Ｕの容姿、衣装及び所持品等から、利用者Ｕの出身国（アメリカ、中国等）や地域（アメリカのどの地域か等）を推定してもよい。例えば、カメラ３００は、利用者Ｕが所定のメーカーのサングラスを持っていたら、販売元地域から来たと推定する。また、カメラ３００は、利用者Ｕが主に一部地域の住民しか所持していない物品を持っていたら、当該地域から来たと推定する。

【0026】

なお、実際には、カメラ３００は、撮影された利用者Ｕの画像データを情報提供装置１００に提供し、情報提供装置１００が利用者Ｕの画像データから、画像認識により利用者Ｕを特定し、利用者Ｕが訪日外国人であると推定してもよい。

【0027】

図１に示す例において、識別のため、便宜上、場所Ａに設置されたスマートスピーカ２００及びカメラ３００をスマートスピーカ２００Ａ及びカメラ３００Ａ、場所Ｂに設置されたスマートスピーカ２００及びカメラ３００をスマートスピーカ２００Ｂ及びカメラ３００Ｂ、場所Ｃに設置されたスマートスピーカ２００及びカメラ３００をスマートスピーカ２００Ｃ及びカメラ３００Ｃと称する。

【0028】

ここで、図１に示す例では、全ての場所でスマートスピーカ２００及びカメラ３００の組を示しているが、実際には、スマートスピーカ２００及びカメラ３００は、最初に利用者Ｕと接触する場所（場所Ａ）で両方そろっていれば十分であり、２回目以降に利用者Ｕと接触する場所（場所Ｂ，場所Ｃ）では、スマートスピーカ２００及びカメラ３００のうち、少なくとも一方があればよい。スマートスピーカ２００のみが設置されている場所では、利用者Ｕとの対話による音声認識のみで利用者Ｕを特定する。カメラ３００のみが設置されている場所では、利用者Ｕの撮影による画像認識のみで利用者Ｕを特定する。

【0029】

また、カメラ３００は、スマートスピーカ２００に接近してきた利用者Ｕを撮影して画像認識のみで利用者Ｕを特定し、特定された利用者Ｕに関する情報（識別情報等）をスマートスピーカ２００に提供してもよい。これにより、スマートスピーカ２００は、接近してきた利用者Ｕの使用言語で、当該利用者Ｕに話しかけることができる。

【0030】

なお、上記のスマートスピーカ２００及びカメラ３００は、可搬式のものであって、各場所に簡易設置されているものであってもよい。例えば、スマートスピーカ２００及びカメラ３００は、スマートデバイスやノートＰＣ等に搭載又は接続されたものであってもよい。また、スマートスピーカ２００及びカメラ３００は、ワイヤレスデバイスであってもよい。

【0031】

また、上記のスマートスピーカ２００及びカメラ３００は同一の店頭設置端末又はデジタルサイネージ（電子看板）に搭載されていてもよい。また、スマートスピーカ２００及びカメラ３００はＡＩ（Artificial Intelligence：人工知能）を搭載したロボット（自律型会話ロボット等）に搭載されていてもよい。

【0032】

また、利用者Ｕの端末装置１０が上記のスマートスピーカ２００及びカメラ３００の役割を果たしてもよい。例えば、利用者Ｕの端末装置１０が、店頭や特定の場所に配置（又は店頭設置端末に表示）されたＱＲコード（登録商標）等の二次元コードを読み取ることで、端末装置１０が上記のスマートスピーカ２００及びカメラ３００としての機能を発揮するためのアプリ（app：application program）を導入（インストール）するようにしてもよい。

【0033】

また、スマートスピーカ２００及びカメラ３００が設置される場所（場所Ａ、場所Ｂ、場所Ｃ）は、例えばコンビニエンスストアやスーパーマーケット、ドラッグストア、ホームセンター、ディスカウントストア等の小売店、カフェやレストラン、酒場等の飲食店等の個々の店舗である。また、場所は、例えば大型商業施設（ショッピングセンター／アウトレットモール／地下街）、娯楽施設（テーマパーク／遊園地／遊戯場／映画館／動物園／水族館／プール／入浴施設）、文化施設（ホール／劇場／図書館／美術館／博物館）、複合施設、スポーツ施設、駐車場、サービスエリア（ＳＡ）やパーキングエリア（ＰＡ）、又は鉄道駅や道の駅、空港、港湾（乗船場）等であってもよい。また、場所は、例えば観光案内所、観光スポット、ランドマーク、城・城跡、寺社仏閣、公園、庭園、名所、旧跡、景勝地、温泉、キャンプ場／コテージ／ロッジ／バンガロー、山／海岸／湖畔／河川敷の周辺施設、観光農園や観光牧場等であってもよい。特に、海外からの訪日客等が訪れる可能性がある場所や人気の場所であると好ましい。

【0034】

また、上記以外にも、スマートスピーカ２００及びカメラ３００が設置される場所は、例えばマンション・アパート等の集合住宅や戸建住宅、企業等のオフィスビル、店舗等の商業施設、ホテル等の宿泊施設、学校等の教育機関、病院等の医療機関、研究所等の研究機関、工場等の産業プラント、配送センター等の物流拠点等であってもよい。

【0035】

〔１－１．海外からの訪日客への情報提供及び行動追跡〕
ここで、図１を参照して、海外からの訪日客への情報提供及び行動追跡について説明する。

【0036】

図１に示すように、場所Ａに設置されたスマートスピーカ２００が対話した利用者Ｕの音声データを取得し、場所Ａに設置されたカメラ３００が撮影した利用者Ｕの画像データを取得する（ステップＳ１）。このとき、スマートスピーカ２００及びカメラ３００はそれぞれ取得された利用者Ｕの音声データ及び画像データを情報提供装置１００に送信してもよい。

【0037】

続いて、スマートスピーカ２００は利用者Ｕの音声データを用いた音声認識により、カメラ３００は利用者Ｕの画像データを用いた画像認識により、利用者Ｕを特定する（ステップＳ２）。なお、実際には、情報提供装置１００が、利用者Ｕの音声データ及び画像データを用いた音声認識及び画像認識により、利用者Ｕを特定してもよい。また、特定された利用者Ｕを識別するための識別情報が設定される。

【0038】

続いて、情報提供装置１００は、スマートスピーカ２００及びカメラ３００が利用者Ｕの音声データ及び画像データを取得した場所Ａの識別情報（位置情報でも可）と、データが取得された日時に関する情報とを、特定された利用者Ｕの識別情報に紐づけて、利用者Ｕの行動履歴として蓄積する（ステップＳ３）。

【0039】

なお、実際には、情報提供装置１００は、対話した利用者Ｕの端末装置１０と近距離無線通信を行ったスマートスピーカ２００（店頭設置端末でも可）から、スマートスピーカ２００の位置情報（又は設置場所の情報）と利用者Ｕの端末装置１０の識別情報とを取得し、利用者Ｕの端末装置１０の識別情報から利用者Ｕを特定し、スマートスピーカ２００の位置情報と利用者Ｕの端末装置１０の識別情報を取得した日時とを紐づけて利用者Ｕの行動履歴として蓄積してもよい。

【0040】

続いて、スマートスピーカ２００は、利用者Ｕの音声データを用いた音声認識により、利用者Ｕの使用言語を推定し、使用言語から利用者Ｕが訪日外国人であると推定する（ステップＳ４）。なお、実際には、情報提供装置１００が、スマートスピーカ２００から送信された利用者Ｕの音声データを用いた音声認識により、利用者Ｕの使用言語を推定し、使用言語から利用者Ｕが訪日外国人であると推定してもよい。さらに、カメラ３００は、利用者Ｕの画像データを用いた画像認識により、利用者Ｕの容姿、衣装及び所持品を判別し、利用者Ｕの容姿、衣装及び所持品から、利用者Ｕが訪日外国人であると推定してもよい。

【0041】

続いて、スマートスピーカ２００は、情報提供装置１００と連携し、利用者Ｕの使用言語に応じた情報提供を行う（ステップＳ５）。すなわち、スマートスピーカ２００は、利用者Ｕの使用言語ごとに異なる内容の情報提供を行う（使用言語ごとに情報提供の内容を変更する）。利用者Ｕの使用言語に応じた利用者Ｕへの情報提供は、例えば当該使用言語を使用する訪日客におすすめの観光地や商品及びサービスの案内等である。あるいは、対話の中で挙げられた利用者Ｕの要望（要求）に応じた店舗や施設等の案内等であってもよい。本実施形態では、スマートスピーカ２００は、当該使用言語を使用する訪日客を対象とした情報提供を行う。

【0042】

例えば、利用者Ｕへの情報提供は、他の場所（場所Ｂ、場所Ｃ等）への案内や商品及びサービスの広告提示又はクーポン発行等であってもよい。また、当該使用言語を使用する訪日客に人気のアクティビティ（遊び・体験）等に関する情報提供であってもよい。また、当該使用言語を使用する訪日客があまりいない場所（穴場等）に関する情報提供であってもよい。同邦（同国）の人が集まる場所を避けたい訪日客もいると推測される。また、情報提供は、当該使用言語を使用する訪日客に対する緊急速報や注意喚起等であってもよい。

【0043】

ここでは、スマートスピーカ２００は、利用者Ｕの使用言語による音声案内で利用者Ｕへの情報提供を行う。なお、実際には、情報提供装置１００がスマートスピーカ２００を介して、利用者Ｕの使用言語による音声案内で利用者Ｕへの情報提供を行うようにしてもよい。また、スマートスピーカ２００は、表示装置がスマートスピーカ２００に搭載又は接続されている場合には、当該表示装置に案内表示を行うことで情報提供してもよい。すなわち、利用者Ｕの使用言語による案内は、音声案内であってもよいし、文字及び画像による案内表示であってもよい（両方でもよい）。

【0044】

このとき、情報提供装置１００は、利用者Ｕと同じ使用言語を使用する他の利用者の行動履歴について機械学習を行い、利用者Ｕに適した情報を推定してもよい。例えば、使用言語と、その使用言語を使用する利用者が訪問している場所とをデータセットとして、ニューラルネットワークによる機械学習の手法等を用いて学習モデルを構築する。そして、情報提供装置１００は、構築された学習モデルに利用者Ｕの使用言語を入力して、学習モデルからの出力として案内すべき場所に関する情報を取得する。ここでは、情報提供装置１００は、例えばＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long short-term memory）等を用いた機械学習を経て生成される案内先推定モデルに利用者Ｕの使用言語を入力し、案内先推定モデルからの出力として案内すべき場所に関する情報を取得する。

【0045】

なお、ＲＮＮやＬＳＴＭは、アテンション（Attention）の仕組みに基づくニューラルネットワークであってもよい。アテンションは、文章のような前後の並びが重要なデータを扱うことができる。また、情報提供装置１００は、同様の自然言語処理モデルを用いてもよい。このようなモデルを用いて、利用者Ｕの使用言語を含む各種情報から案内すべき場所を推定することにより、より情報の順序に重点を置いた案内すべき場所の推定を実現することができる。

【0046】

また、情報提供装置１００は、利用者Ｕの音声データや画像データから利用者Ｕを特定する精度を向上させるために機械学習を行ってもよい。音声データや画像データは、機械学習の手法と相性が良い。利用者Ｕの識別情報と利用者Ｕの音声データや画像データとの組を正解データとして学習を重ねることで、利用者Ｕを特定する精度が向上してくことが期待できる。利用者Ｕの音声データから、利用者Ｕの使用言語を推定する場合についても同様である。

【0047】

これにより、海外からの訪日客等の言語コミュニケーションギャップや情報不足を解決するとともに、国内でサービスを展開する企業等が取得できない海外からの訪日客等の人流やニーズを取得することができる。

【0048】

また、本実施形態では、利用者Ｕの属性等の個人情報は収集しない。そのため、仮に利用者Ｕの特定や使用言語の推定に失敗したとしても、利用者Ｕの個人情報の流出や漏洩の心配はない。利用者Ｕの特定や使用言語の推定に失敗した場合には、利用者Ｕに対する情報提供の精度が低下するだけである。

【0049】

〔２．情報処理システムの構成例〕
次に、図２を用いて、実施形態に係る情報提供装置１００が含まれる情報処理システム１の構成について説明する。図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報提供装置１００とスマートスピーカ２００とカメラ３００とを含む。これらの各種装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネット等のＷＡＮ（Wide Area Network）である。

【0050】

また、図２に示す情報処理システム１に含まれる各装置の数は図示したものに限られない。例えば、図２では、図示の簡略化のため、スマートスピーカ２００とカメラ３００とをそれぞれ３台だけ示したが、これはあくまでも例示であって限定されるものではなく、４台以上であってもよい。

【0051】

また、かかるスマートスピーカ２００及びカメラ３００は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）等の無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等の近距離無線通信を介してネットワークＮに接続し、情報提供装置１００と通信することも可能である。また、スマートスピーカ２００は、近距離無線通信を介して端末装置１０と通信することも可能である。

【0052】

情報提供装置１００は、例えばＰＣやサーバ装置、あるいはメインフレーム又はワークステーション等である。なお、情報提供装置１００は、クラウドコンピューティングにより実現されてもよい。

【0053】

〔３．情報提供装置の構成例〕
次に、図３を用いて、実施形態に係る情報提供装置１００の構成について説明する。図３は、実施形態に係る情報提供装置１００の構成例を示す図である。図３に示すように、情報提供装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0054】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。また、通信部１１０は、ネットワークＮ（図２参照）と有線又は無線で接続される。

【0055】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、訪日客情報データベース１２１と、提供情報データベース１２２とを有する。

【0056】

（訪日客情報データベース１２１）
訪日客情報データベース１２１は、海外からの訪日客（来訪者）等である利用者Ｕに関する各種情報を記憶する。図４は、訪日客情報データベース１２１の一例を示す図である。図４に示した例では、訪日客情報データベース１２１は、「利用者ＩＤ（Identifier）」、「音声」、「画像」、「取得場所」、「取得日時」、「使用言語」といった項目を有する。

【0057】

「利用者ＩＤ」は、利用者Ｕを識別するための識別情報を示す。なお、「利用者ＩＤ」は、情報提供装置１００、又はスマートスピーカ２００及びカメラ３００が自動的に割り当てた識別番号であってもよい。

【0058】

また、「音声」は、利用者Ｕと対話したスマートスピーカ２００により取得された利用者Ｕの音声データを示す。なお、実際には、その音声データの所在（格納場所：ディレクトリ及びファイル名、ＵＲＬ（Uniform Resource Locator）等）を示す情報であってもよい。

【0059】

また、「画像」は、利用者Ｕを撮影したカメラ３００により取得された利用者Ｕの画像データを示す。なお、実際には、その画像データの所在（格納場所：ディレクトリ及びファイル名、ＵＲＬ等）を示す情報であってもよい。

【0060】

また、「取得場所」は、スマートスピーカ２００が音声データを取得した場所や、カメラ３００が画像データを取得した場所に関する情報を示す。すなわち、スマートスピーカ２００及びカメラ３００の設置場所に関する情報を示す。なお、場所に関する情報は、位置情報や住所等であってもよいし、設置場所の名称や識別情報等であってもよい。

【0061】

また、「取得日時」は、スマートスピーカ２００が音声データを取得した日時や、カメラ３００が画像データを取得した日時に関する情報を示す。ここでは、取得場所と取得日時とに関する情報は紐づけられている。

【0062】

また、「使用言語」は、利用者Ｕの音声データ等から推定された利用者Ｕの使用言語の種別を示す。使用言語は、例えば、英語、フランス語、スペイン語、中国語、ロシア語、アラビア語等、各国又は各地域で使用されている言語である。また、使用言語は、方言や訛り等の違いにより、さらに細分化されてもよい。ここでは、音声データを取得した場所ごとに、使用言語を毎回推定するものとしているが、実際には最初の１回だけでもよい。また、利用者Ｕが複数の言語を使用した場合には、使用言語は複数であってもよい。

【0063】

例えば、図４に示す例において、利用者ＩＤ「Ｕ１」により識別される利用者Ｕの音声データ「音声＃１Ａ」及び画像データ「画像＃１Ａ」が取得された場所は「場所Ａ」であり、取得された日時は「2021/6/5」であり、利用者Ｕの使用言語は「中国語」であることを示す。なお、中国語は、北京語や広東語のようにさらに細分化されていてもよい。

【0064】

ここで、図４に示す例では、「Ｕ１」、「音声＃１Ａ」、「画像＃１Ａ」及び「場所Ａ」といった抽象的な値を用いて図示するが、「Ｕ１」、「音声＃１Ａ」、「画像＃１Ａ」及び「場所Ａ」には、具体的な文字列や数値等の情報が記憶されるものとする。以下、他の情報に関する図においても、抽象的な値を図示する場合がある。

【0065】

なお、訪日客情報データベース１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、訪日客情報データベース１２１は、利用者Ｕの端末装置１０に関する各種情報を記憶してもよい。また、訪日客情報データベース１２１は、利用者Ｕの使用言語や容姿等から推定された利用者Ｕの出身地（母国等）に関する情報を記憶してもよい。

【0066】

（提供情報データベース１２２）
提供情報データベース１２２は、同じ言語を使用する訪日客に対して提供すべき情報を記憶する。図５は、提供情報データベース１２２の一例を示す図である。図５に示した例では、提供情報データベース１２２は、「使用言語」、「滞在地」、「訪問先」、「情報」といった項目を有する。

【0067】

「使用言語」は、海外からの訪日客（来訪者）等が使用する言語を示す。

【0068】

また、「滞在地」は、過去に当該使用言語を使用する訪日客がスマートスピーカ２００と対話した場所を示す。すなわち、滞在地は、過去に当該使用言語を使用する他の訪日客に対して情報提供を行った場所を示す。なお、「滞在地」は、現在、当該使用言語を使用して訪日客と対話中のスマートスピーカ２００の所在地（当該使用言語で対話している訪日客の現在地）と照合される。

【0069】

また、「訪問先」は、過去に当該使用言語を使用する訪日客が滞在地から次に向かった場所（目的地等）を示す。すなわち、訪問先は、過去に当該使用言語を使用する他の訪日客が滞在地から次に向かった場所を示す。なお、訪問先は、過去に当該使用言語を使用する訪日客の集団の行動履歴から抽出される。このとき、各訪問先へ向かった過去の訪日客の人数等から、各訪問先に順位をつけて順位の高い順に並べてもよい（訪問先のランキング）。

【0070】

また、「情報」は、現在対話している訪日客（当該使用言語を使用している訪日客）が滞在地から次に向かうと予想される場所（訪問先）に関する情報を示す。すなわち、情報は、現在対話している訪日客に提供すべき情報を示す。このとき、情報も訪問先のランキングの順に並べて、訪問先のランキングの順に訪日客に情報提供されるようにしてもよい。なお、情報は、次に向かうと予想される場所（訪問先）に関する情報に限らず、旬な情報やおすすめ情報等であってもよい。また、情報は、当該使用言語を使用する訪日客に対する緊急速報や注意喚起等であってもよい。

【0071】

例えば、図５に示す例において、使用言語「中国語」を使用する訪日客は、滞在地が「場所Ａ」である場合、次の訪問先として「場所Ｂ」に向かう傾向にあるため、情報提供として場所Ｂの最新情報や場所Ａから場所Ｂまでのルート案内及びその周辺の店舗・施設等に関する「情報Ｂ」を提供すると好ましいことを示す。また、情報Ｂは、場所Ｂと直接関係なく、場所Ｂに関連するカテゴリーの情報であってもよい。

【0072】

ここで、図５に示す例では、「場所Ａ」、「場所Ｂ」及び「情報Ｂ」といった抽象的な値を用いて図示するが、「場所Ａ」、「場所Ｂ」及び「情報Ｂ」には、具体的な文字列や数値等の情報が記憶されるものとする。以下、他の情報に関する図においても、抽象的な値を図示する場合がある。

【0073】

なお、提供情報データベース１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、提供情報データベース１２２は、情報提供される訪問先の人気度（訪問人数）に関する情報を記憶してもよい。また、提供情報データベース１２２は、当該使用言語を使用する訪日客のうち、情報提供された訪問先へ実際に訪れた訪日客の人数や割合に関する情報を記憶してもよい。また、提供情報データベース１２２は、訪問先に限らず、当該使用言語を使用する訪日客に人気のサービスやアクティビティ（遊び・体験）等に関する情報を記憶してもよい。また、提供情報データベース１２２は、当該使用言語を使用する訪日客があまりいない場所（穴場等）に関する情報を記憶してもよい。また、提供情報データベース１２２は、当該使用言語を使用する訪日客に関する情報を、訪日の目的（ビジネス／観光）によって分類して記憶してもよい。

【0074】

（制御部１３０）
図３に戻り、説明を続ける。制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、情報提供装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図３に示す例では、制御部１３０は、取得部１３１と、特定部１３２と、管理部１３３と、推定部１３４と、提供部１３５とを有する。

【0075】

（取得部１３１）
取得部１３１は、スマートスピーカ２００が利用者Ｕ（ユーザ）と対話した際に、スマートスピーカ２００及びカメラ３００から、通信部１１０を介して、利用者Ｕの音声データ及び画像データを取得する。例えば、取得部１３１は、利用者Ｕと対話した店頭設置端末から利用者Ｕの音声データ及び画像データを取得する。あるいは、取得部１３１は、スマートスピーカ２００及びカメラ３００としての機能を有する利用者Ｕの端末装置１０を介して利用者Ｕと対話した際に、利用者Ｕの端末装置１０から利用者Ｕの音声データ及び画像データを取得する。

【0076】

また、取得部１３１は、利用者Ｕの端末装置１０と近距離無線通信を行った店頭設置端末から、店頭設置端末の所在情報（位置情報、識別情報）と利用者Ｕの端末装置１０の識別情報とを取得してもよい。

【0077】

（特定部１３２）
特定部１３２は、利用者Ｕの音声データに基づく音声認識、及び利用者Ｕの画像データに基づく画像認識により、利用者Ｕを特定する。また、特定部１３２は、利用者Ｕの端末装置１０の識別情報から利用者Ｕを特定してもよい。

【0078】

（管理部１３３）
管理部１３３は、利用者Ｕを特定した場所と日時とを紐づけて利用者Ｕの行動履歴として蓄積する。すなわち、管理部１３３は、利用者Ｕの音声データ及び画像データを取得した場所及び日時を紐づけて利用者Ｕの行動履歴として蓄積する。このとき、管理部１３３は、利用者Ｕを特定した場所ごとに、利用者Ｕを特定した場所と日時とを紐づけて利用者Ｕの行動履歴として蓄積することで、利用者Ｕが提供部１３５による情報提供で案内された場所を訪れたことを示す履歴情報を蓄積する。

【0079】

また、管理部１３３は、店頭設置端末の所在情報と利用者Ｕの端末装置１０の識別情報を取得した日時とを紐づけて利用者Ｕの行動履歴として蓄積してもよい。

【0080】

（推定部１３４）
推定部１３４は、利用者Ｕの音声データから、利用者Ｕの使用言語を推定する。このとき、推定部１３４は、利用者Ｕとの対話（会話）の内容から、利用者Ｕの使用言語を推定してもよい。また、推定部１３４は、利用者Ｕが入力又は指定（選択）した文字の画像データから、利用者Ｕの使用言語を推定してもよい。あるいは、推定部１３４は、利用者Ｕが手にしているガイドブックや観光パンフレット等に記載されている言語から、利用者Ｕの使用言語を推定してもよい。また、推定部１３４は、利用者Ｕが入力又は指定（選択）した使用言語又は出身地に関する情報から、利用者Ｕの使用言語を推定してもよい。

【0081】

また、推定部１３４は、利用者Ｕの使用言語により利用者Ｕが訪日外国人であると推定する。このとき、推定部１３４は、利用者Ｕの使用言語と利用者Ｕの容姿とにより利用者Ｕが訪日外国人であると推定してもよい。なお、容姿は、利用者Ｕの年齢層（年代）や性別、人種、その他の利用者Ｕの身体的特徴を含む。また、推定部１３４は、利用者Ｕの使用言語と利用者Ｕの衣装及び所持品とにより利用者Ｕが訪日外国人であると推定してもよい。なお、衣装は、衣服、被り物（帽子等）、履物（靴等）等、身にまとうもの全般を含む。また、所持品は、鞄や小物、装飾品、携行品も含む。例えば、推定部１３４は、所持品に付帯する記号（マーク）や象徴（シンボル）、所持品の形状や模様等から利用者Ｕが訪日外国人であると推定してもよい。

【0082】

（提供部１３５）
提供部１３５は、利用者Ｕの使用言語による案内で利用者Ｕに情報提供する。このとき、提供部１３５は、利用者Ｕの使用言語による音声案内及び案内表示のうち少なくとも一方で利用者Ｕに情報提供してもよい。また、提供部１３５は、利用者Ｕの使用言語と、利用者Ｕの容姿、衣装及び所持品のうち少なくとも１つとに応じて、利用者Ｕへの情報提供の内容を変更する。

【0083】

〔４．処理手順〕
次に、図６を用いて実施形態に係る情報提供装置１００、スマートスピーカ２００及びカメラ３００による処理手順について説明する。図６は、実施形態に係る処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報提供装置１００、スマートスピーカ２００及びカメラ３００によって繰り返し実行される。

【0084】

図６に示すように、スマートスピーカ２００は、海外からの訪日客等である利用者Ｕと対話する（ステップＳ１０１）。このとき、スマートスピーカ２００は、情報提供装置１００と連携して、利用者Ｕとの対話の内容を情報提供装置１００に通知してもよい。例えば、情報提供装置１００がスマートスピーカ２００を介して利用者Ｕと対話してもよい。

【0085】

続いて、スマートスピーカ２００は、利用者Ｕと対話することにより、利用者Ｕの音声データを取得する（ステップＳ１０２）。このとき、情報提供装置１００の取得部１３１は、通信部１１０を介して、スマートスピーカ２００から利用者Ｕの音声データを取得する。

【0086】

続いて、カメラ３００は、スマートスピーカ２００と対話中の利用者Ｕを撮影することにより、利用者Ｕの画像データを取得する（ステップＳ１０３）。このとき、情報提供装置１００の取得部１３１は、通信部１１０を介して、カメラ３００から利用者Ｕの画像データを取得する。

【0087】

続いて、スマートスピーカ２００は利用者Ｕの音声データに基づく音声認識により、カメラ３００は利用者Ｕの画像データ基づく画像認識により、利用者Ｕを特定する（ステップＳ１０４）。このとき、情報提供装置１００の特定部１３２は、利用者Ｕの音声データに基づく音声認識、及び利用者Ｕの画像データに基づく画像認識により、利用者Ｕを特定してもよい。また、取得部１３１は、対話した利用者Ｕの端末装置１０と近距離無線通信を行ったスマートスピーカ２００及び／又はカメラ３００から、利用者Ｕの端末装置１０の識別情報を取得してもよい。そして、特定部１３２は、利用者Ｕの端末装置１０の識別情報から利用者Ｕを特定してもよい。あるいは、取得部１３１は、利用者Ｕを特定したスマートスピーカ２００及び／又はカメラ３００から、特定された利用者Ｕに関する情報を取得してもよい。

【0088】

続いて、情報提供装置１００の管理部１３３は、利用者Ｕを特定した場所と日時とを紐づけて利用者Ｕの行動履歴として蓄積する（ステップＳ１０５）。このとき、管理部１３３は、利用者Ｕを特定した場所ごとに、利用者Ｕを特定した場所と日時とを紐づけて利用者Ｕの行動履歴として蓄積することで、利用者Ｕが情報提供で案内された場所を訪れたことを示す履歴情報を蓄積する。

【0089】

続いて、情報提供装置１００の推定部１３４は、利用者Ｕの音声データから、利用者Ｕの使用言語を推定する（ステップＳ１０６）。このとき、推定部１３４は、利用者Ｕとの対話（会話）の内容から、利用者Ｕの使用言語を推定してもよい。また、推定部１３４は、利用者Ｕが入力又は指定（選択）した文字の画像データから、利用者Ｕの使用言語を推定してもよい。

【0090】

続いて、情報提供装置１００の推定部１３４は、利用者Ｕの使用言語により利用者Ｕが訪日外国人であると推定する（ステップＳ１０７）。このとき、推定部１３４は、利用者Ｕの使用言語と利用者Ｕの容姿、衣装及び所持品とにより利用者Ｕが訪日外国人であると推定してもよい。

【0091】

続いて、情報提供装置１００の提供部１３５は、利用者Ｕの使用言語に応じた情報提供を行う（ステップＳ１０８）。本実施形態では、提供部１３５は、当該使用言語を使用する訪日客を対象とした情報提供を行う。例えば、提供部１３５は、スマートスピーカ２００を介して、利用者Ｕの使用言語による音声案内で利用者Ｕに情報提供する。このとき、提供部１３５は、スマートスピーカ２００に対して、利用者Ｕへの情報提供に用いられるデータを提供する。また、スマートスピーカ２００は、表示装置がスマートスピーカ２００に搭載又は接続されている場合には、当該表示装置に案内表示を行うことで情報提供してもよい。すなわち、利用者Ｕの使用言語による案内は、音声案内であってもよいし、文字及び画像による案内表示であってもよい（両方でもよい）。

【0092】

〔５．変形例〕
上述した端末装置１０及び情報提供装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

【0093】

上記の実施形態において、情報提供装置１００が実行している処理の一部又は全部は、実際には、スマートスピーカ２００が実行してもよい。例えば、スタンドアローン（Stand-alone）で（スマートスピーカ２００単体で）処理が完結してもよい。この場合、スマートスピーカ２００に、上記の実施形態における情報提供装置１００の機能が備わっているものとする。また、スマートスピーカ２００は、ネットワークＮを介して、他のスマートスピーカ２００と連携している。なお、上記の実施形態では、スマートスピーカ２００は情報提供装置１００と連携しているため、利用者Ｕから見れば、情報提供装置１００の処理もスマートスピーカ２００が実行しているように見える。すなわち、他の観点では、スマートスピーカ２００は、情報提供装置１００を備えているともいえる。

【0094】

また、上記の実施形態において、スマートスピーカ２００や情報提供装置１００は、対話における利用者Ｕの音声データから利用者Ｕの使用言語を推定しているが、実際は、カメラ３００や情報提供装置１００が、筆談等において利用者Ｕが記載又は選択した文字に関するデータから利用者Ｕの使用言語を推定してもよい。例えば、タッチパネル式の店頭設置端末等が、利用者Ｕから指やスタイラス等により文字入力（又は文字選択）を受け付けた際に、当該文字から利用者Ｕの使用言語を推定してもよい。

【0095】

また、上記の実施形態において、カメラ３００や情報提供装置１００が、訪日客である利用者Ｕが手にしているガイドブックや観光パンフレット等に記載されている言語から、利用者Ｕの使用言語を推定してもよい。訪日客は、自身の使用言語に対応したガイドブックや観光パンフレット等を利用するものと推測される。

【0096】

〔６．効果〕
上述してきたように、本願に係る情報処理装置（情報提供装置１００）は、利用者Ｕ（ユーザ）と対話した際の利用者Ｕの音声を取得する取得部１３１と、音声認識により利用者Ｕを特定する特定部１３２と、利用者Ｕを特定した場所と日時とを紐づけて利用者Ｕの行動履歴として蓄積する管理部１３３と、利用者Ｕの使用言語により利用者Ｕが訪日外国人であると推定する推定部１３４と、利用者Ｕの使用言語に応じた情報提供をする提供部１３５と、を備える。

【0097】

さらに、取得部１３１は、利用者Ｕと対話した際の利用者Ｕの画像を取得する。特定部１３２は、画像認識により利用者Ｕを特定する。

【0098】

例えば、推定部１３４は、利用者Ｕの使用言語と利用者Ｕの容姿とにより利用者Ｕが訪日外国人であると推定する。

【0099】

また、推定部１３４は、利用者Ｕの使用言語と利用者Ｕの衣装及び所持品とにより利用者Ｕが訪日外国人であると推定する。

【0100】

また、提供部１３５は、利用者Ｕの使用言語と、利用者Ｕの容姿、衣装及び所持品のうち少なくとも１つとに応じて、利用者Ｕへの情報提供の内容を変更する。

【0101】

また、提供部１３５は、利用者Ｕの使用言語による音声案内及び案内表示のうち少なくとも一方で利用者Ｕに情報提供する。

【0102】

また、管理部１３３は、利用者Ｕを特定した場所ごとに、利用者Ｕを特定した場所と日時とを紐づけて利用者Ｕの行動履歴として蓄積することで、利用者Ｕが提供部１３５による情報提供で案内された場所を訪れたことを示す履歴情報を蓄積する。

【0103】

また、取得部１３１は、利用者Ｕと対話した店頭設置端末から利用者Ｕの音声を取得する。

【0104】

また、取得部１３１は、利用者Ｕの端末装置を介して利用者Ｕと対話した際に、利用者Ｕの端末装置から利用者Ｕの音声を取得する。

【0105】

また、取得部１３１は、利用者Ｕの端末装置と近距離無線通信を行った店頭設置端末から、店頭設置端末の所在情報と利用者Ｕの端末装置の識別情報とを取得する。特定部１３２は、利用者Ｕの端末装置の識別情報から利用者Ｕを特定する。管理部１３３は、店頭設置端末の所在情報と利用者Ｕの端末装置の識別情報を取得した日時とを紐づけて利用者Ｕの行動履歴として蓄積する。推定部１３４は、利用者Ｕが指定した使用言語により利用者Ｕが訪日外国人であると推定する。提供部１３５は、利用者Ｕが指定した使用言語による案内で利用者Ｕに情報提供する。

【0106】

上述した各処理のいずれかもしくは組合せにより、本願に係る情報処理装置は、インバウンドの来訪者のデータを適切に取得することができる。

【0107】

〔７．ハードウェア構成〕
また、上述した実施形態に係る情報提供装置１００は、例えば図７に示すような構成のコンピュータ１０００によって実現される。以下、情報提供装置１００を例に挙げて説明する。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。

【0108】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。

【0109】

一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。

【0110】

出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェースであり、例えば、ＵＳＢ等により実現される。

【0111】

また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。

【0112】

また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。

【0113】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。

【0114】

ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0115】

演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0116】

例えば、コンピュータ１０００が情報提供装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。

【0117】

〔８．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【0118】

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0119】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0120】

例えば、上述した情報提供装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。

【0121】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0122】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0123】

１ 情報処理システム
１０ 端末装置
１００ 情報提供装置
１１０ 通信部
１２０ 記憶部
１２１ 訪日客情報データベース
１２２ 提供情報データベース
１３０ 制御部
１３１ 取得部
１３２ 特定部
１３３ 管理部
１３４ 推定部
１３５ 提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】