特許 7452593 応対ロボット、応対方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】応対ロボット、応対方法及びプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20240312BHJP

   G06F 16/2457 20190101ALI20240312BHJP

【ＦＩ】

G06F16/90 100

G06F16/2457

【請求項の数】 14

(21)【出願番号】P 2022139636

(22)【出願日】2022-09-02

(62)【分割の表示】P 2020187663の分割

【原出願日】2017-06-08

(65)【公開番号】P2022168015

(43)【公開日】2022-11-04

【審査請求日】2022-09-02

(31)【優先権主張番号】P 2016117396

(32)【優先日】2016-06-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(72)【発明者】

【氏名】川瀬 伸明

(72)【発明者】

【氏名】五十嵐 真

【審査官】松尾 真人

(56)【参考文献】

【文献】特開２００６－２０８９６４（ＪＰ，Ａ）

【文献】特開２００７－１９０６５９（ＪＰ，Ａ）

【文献】特開２００５－２７９８２８（ＪＰ，Ａ）

【文献】特開２０１０－１５６７４１（ＪＰ，Ａ）

【文献】特開２００５－１１１６０３（ＪＰ，Ａ）

【文献】特開２０１２－２１３８２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ２１／００

Ｇ０６Ｆ ２１／３０－２１／４６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

利用者の顔情報を取得する顔情報取得部と、
取得された前記利用者の顔情報と、登録済の利用者情報との照合結果に基づいて、前記利用者情報に応じた応対を行う処理部と、
他の応対ロボットが前記利用者への応対を行った履歴を含む利用者情報がアップロードされたサーバと通信を行う通信部と、
を備え、
前記処理部は、当該応対ロボットと、前記利用者への応対を行った前記他の応対ロボットとの距離的関係又は地理的関係に基づき、当該応対ロボットの動作を制御する
応対ロボット。

【請求項2】

前記利用者の顔情報と前記利用者情報との照合の結果、前記利用者の顔情報と、登録済の前記利用者情報とが一致するか否かに応じて、前記処理部は、互いに異なる応対を行う
請求項１に記載の応対ロボット。

【請求項3】

前記照合結果が不一致である場合に、前記利用者が操作することなく、前記利用者の利用者情報を登録する登録部を有する
請求項１又は２に記載の応対ロボット。

【請求項4】

前記照合結果が不一致である場合に、前記利用者が匿名のまま、前記利用者の利用者情報を登録する登録部を有する
請求項１又は２に記載の応対ロボット。

【請求項5】

前記処理部は、前記利用者の発話に基づいて、音声データを出力する
請求項１から４のいずれか１項に記載の応対ロボット。

【請求項6】

前記処理部は、当該応対ロボットと、前記利用者への応対を行った前記他の応対ロボットとの間の距離的関係又は地理的関係に基づき、当該応対ロボットの前記音声データを変更する
請求項５に記載の応対ロボット。

【請求項7】

当該応対ロボットと前記他の対応ロボットとは、互いに同時刻に、前記利用者情報に応じてそれぞれ応対可能である
請求項１から６のいずれか１項に記載の応対ロボット。

【請求項8】

前記利用者情報は、互いに独立して動作可能な当該応対ロボット及び前記他の応対ロボットにより共有される
請求項１から７のいずれか１項に記載の応対ロボット。

【請求項9】

前記利用者情報を記憶する記憶部を有し、
前記処理部は、前記サーバとの間の通信環境に応じて前記記憶部に記憶された前記利用者情報又は前記サーバにアップロードされた前記利用者情報を用いて前記応対を行う
請求項１から８のいずれか１項に記載の応対ロボット。

【請求項10】

前記処理部は、応対を行ったロボットの配置場所を特定する情報を含む応対ロボット情報を用いて、当該応対ロボットの配置場所と、前記利用者への応対を行った前記他の応対ロボットの配置場所との間の距離的関係又は地理的関係に基づき、当該応対ロボットの前記音声データを変更する
請求項５に記載の応対ロボット。

【請求項11】

前記顔情報取得部が取得した前記利用者の顔情報と、登録済の利用者情報とを照合する照合部を更に含み、
前記照合部は、前記サーバにアップロードされる、応対を行ったロボットの配置場所を特定する情報を含む応対ロボット情報を用いて特定された、当該応対ロボットと前記他の応対ロボットとの間の距離的関係又は地理的関係が近い場合は、遠い場合に比べて、前記他の応対ロボットが取得した利用者情報から検索する優先度を高くする
請求項１から１０のいずれか１項に記載の応対ロボット。

【請求項12】

利用者への応対を行う応対ロボットと、
前記利用者への応対を行う他の応対ロボットと
前記応対ロボットと前記他の応対ロボットとが、前記利用者への応対を行った履歴を含む利用者情報をアップロードするサーバと、を備え、
前記他の応対ロボットは、前記利用者の顔情報を取得し、取得された前記利用者の顔情報と、登録済の利用者情報との照合結果に基づいて、前記利用者情報に応じた応対を行い、前記利用者への応対を行った履歴を含む利用者情報を前記サーバにアップロードし、
前記応対ロボットが有する処理部は、前記応対ロボットと、前記利用者への応対を行った前記他の応対ロボットとの位置を示す位置情報から得られる距離的関係又は地理的関係と、前記応対ロボットが前記利用者への応対を行った際に生成された前記利用者情報と、前記他の応対ロボットが前記利用者情報に応じた応対を行った際に生成されて前記応対ロボットにより前記サーバから取得された前記利用者情報とに基づき、前記応対ロボットの動作を制御する、
情報処理システム。

【請求項13】

コンピュータが、利用者の顔情報を取得し、
前記コンピュータが、取得された前記利用者の顔情報と、登録済の利用者情報との照合結果に基づいて、前記利用者情報に応じた応対を行い、
前記コンピュータが、他のコンピュータが前記利用者への応対を行った履歴を含む利用者情報がアップロードされたサーバと通信を行い、
当該コンピュータと、前記利用者への応対を行った前記他のコンピュータとの距離的関係又は地理的関係に基づき、当該コンピュータの動作を制御する
応対方法。

【請求項14】

コンピュータに、
利用者の顔情報を取得し、
取得された前記利用者の顔情報と、登録済の利用者情報との照合結果に基づいて、前記利用者情報に応じた応対を行い、
他のコンピュータが前記利用者への応対を行った履歴を含む利用者情報がアップロードされたサーバと通信を行い、
当該コンピュータと、前記利用者への応対を行った前記他のコンピュータとの位置関係に基づき、当該コンピュータの動作を制御する
ことを実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔照合を利用した応対装置、応対システム、応対方法、及び記録媒体に関する。

【背景技術】

【0002】

ロボットは、これまでに製造業の製造現場における産業用ロボットとして広く普及している。さらに、近年、小売業、サービス業、娯楽業、医療業等の様々な分野において、利用者に対して会話等の応対を行うロボットの活用が広がりつつある。

【0003】

特許文献１には、介護等のサービスを提供するサービス提供システムとして、複数の利用者に関する経験情報を各利用者の識別情報に紐付け管理する経験情報データベースと、利用者にサービスの提供を行うサービス提供ロボットとを有するものが記載されている。特許文献１に記載されたシステムでは、サービス提供ロボットが、各利用者に接することにより利用者の識別情報を取得し、経験情報データベースにアクセスし当該利用者の識別情報を用いて当該利用者の経験情報を引き出す。サービス提供ロボットは、この経験情報に基づいて利用者の要求に応えるサービスの提供を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１５／０９３３８２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載されるような技術では、利用者を識別するための識別情報である個人情報を利用者が事前登録しておく必要がある。例えば、ロボットは、利用者の顔画像から抽出される顔特徴量に基づく顔照合により利用者を識別する。この場合、利用者は、顔写真を用意して顔特徴量を含む個人情報を事前登録しておく必要がある。このような個人情報の事前登録は、利用者にとって手間であるため、ロボットを用いた応対システムの普及の障害になっている。

【0006】

また、特許文献１に記載されるような技術では、利用者を識別するの個人情報がデータベースに事前登録されていない場合、利用者に応じたパーソナルな会話等の応対を行うことは困難である。

【0007】

本発明の目的は、利用者がその個人情報を事前登録する必要なく、利用者に応じてパーソナルな会話を自然に行うことができる応対装置、応対システム、応対方法、及び記録媒体を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一観点によれば、利用者の顔情報を取得する顔情報取得部と、前記利用者との会話の内容を含む応対情報を取得する会話処理部と、前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合する顔照合部と、前記顔照合部による前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記利用者情報データベースに登録する利用者情報管理部とを有することを特徴とする応対装置が提供される。

【0009】

本発明の他の観点によれば、応対装置と、ネットワークを介して前記応対装置と通信可能なサーバとを含み、前記応対装置は、利用者の顔情報を取得する顔情報取得部と、前記利用者との会話の内容を含む応対情報を取得する会話処理部と、前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された第１の利用者情報データベースを格納する第１の記憶部と、前記第１の利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合する顔照合部と、前記顔照合部による前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記第１の記憶部の前記第１の利用者情報データベースに登録する利用者情報管理部とを有し、前記サーバは、複数の前記応対装置で取得された前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された第２の利用者情報データベースを格納する第２の記憶部を有し、前記利用者情報管理部は、前記第１の利用者情報データベースと前記第２の利用者情報データベースとを同期して、前記第１の利用者情報データベースの内容を前記第２の利用者情報データベースの内容と同一内容に更新することを特徴とする応対システムが提供される。

【0010】

本発明のさらに他の観点によれば、利用者の顔情報を取得し、前記利用者との会話の内容を含む応対情報を取得し、前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合し、前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記利用者情報データベースに登録することを特徴とする応対方法が提供される。

【0011】

本発明のさらに他の観点によれば、コンピュータに、利用者の顔情報を取得し、前記利用者との会話の内容を含む応対情報を取得し、前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合し、前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記利用者情報データベースに登録することを実行させることを特徴とするプログラムが記録された記録媒体が提供される。

【発明の効果】

【0012】

本発明によれば、利用者がその個人情報を事前登録する必要なく、利用者に応じてパーソナルな会話を自然に行うことができる。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の第１実施形態による応対ロボットを示す概略図である。

【図2】図２は、本発明の第１実施形態による応対ロボットの機能構成を示すブロック図である。

【図3】図３は、本発明の第１実施形態による応対ロボットにおける記憶部に格納された利用者情報データベースの一例を示す概略図である。

【図4】図４は、本発明の第１実施形態による応対ロボットのハードウェア構成の一例を示すブロック図である。

【図5】図５は、本発明の第１実施形態による応対方法を示すフローチャートである。

【図6】図６は、本発明の第２実施形態による応対システムを示す概略図である。

【図7】図７は、本発明の第２実施形態による応対システムの機能構成を示すブロック図である。

【図8A】図８Ａは、本発明の第２実施形態による応対システムにおけるロボットＡの記憶部に格納された利用者情報データベースの例を示す概略図である。

【図8B】図８Ｂは、本発明の第２実施形態による応対システムにおけるロボットＢの記憶部に格納された利用者情報データベースの例を示す概略図である。

【図8C】図８Ｃは、本発明の第２実施形態による応対システムにおけるＤＢサーバの記憶部に格納された利用者情報データベースの例を示す概略図である。

【図9】図９は、本発明の第２実施形態による応対ロボットのハードウェア構成の一例を示すブロック図である。

【図10】図１０は、本発明の第２実施形態によるデータベースサーバのハードウェア構成の一例を示すブロック図である。

【図11】図１１は、本発明の第３実施形態による応対システムにおける利用者情報データベースの同期を示すシーケンス図である。

【図12】図１２は、本発明の第４実施形態による応対システムにおける利用者情報データベースの一例を示す概略図である。

【図13】図１３は、本発明の第４実施形態による応対方法を示すフローチャート（その１）である。

【図14】図１４は、本発明の第４実施形態による応対方法を示すフローチャート（その２）である。

【図15】図１５は、本発明の第５実施形態によるコンピュータ装置の例を示す概略図である。

【図16】図１６は、本発明の他の実施形態による応対装置の機能構成を示すブロック図である。

【図17】図１７は、本発明の他の実施形態による応対システムの機能構成を示すブロック図である。

【発明を実施するための形態】

【0014】

［第１実施形態］
本発明の第１実施形態による応対ロボット及び応対方法について図１乃至図５を用いて説明する。

【0015】

まず、本実施形態による応対ロボットについて図１乃至図４を用いて説明する。図１は、本実施形態による応対ロボットを示す概略図である。図２は、本実施形態による応対ロボットの機能構成を示すブロック図である。図３は、本実施形態による応対ロボットにおける記憶部に格納された利用者情報ＤＢの一例を示す概略図である。図４は、本実施形態による応対ロボットのハードウェア構成の一例を示すブロック図である。

【0016】

本実施形態による応対ロボット（以下、単に「ロボット」ともいう。）は、例えば店舗に配置され、利用者に対する応対を行って接客する応対装置のひとつである。本実施形態によるロボットが配置される店舗は、特に限定されるものではなく、例えば、顧客である利用者に商品を販売する店舗や、顧客である利用者にサービスを提供する店舗等である。

【0017】

図１に示すように、本実施形態によるロボット１０は、対面した利用者Ｕと会話を行って利用者に応対するものである。ロボット１０は、対面する利用者Ｕを検知すると、利用者Ｕとの応対を開始するように構成されている。ロボット１０は、後述の撮像部１６により撮像される画像に基づき利用者Ｕを検知するように構成されていてもよいし、利用者Ｕを検知することができる熱感知センサ等の人検出センサが設けられていてもよい。また、ロボット１０は、ロボット１０に設けられた不図示の開始ボタンを押下することにより利用者Ｕとの応対を開始するように構成されていてもよい。なお、ロボット１０の外観形状は、図１に示す外観形状に限定されるものではなく、人や動物を模した外観形状等の種々の外観形状を採用することができる。

【0018】

図２に示すように、本実施形態によるロボット１０は、制御部１２と、記憶部１４と、撮像部１６と、音声入力部１８と、音声出力部２０とを有している。制御部１２は、本実施形態によるロボット１０の全体の動作を制御する。記憶部１４は、利用者に関する情報である利用者情報が匿名で登録される利用者情報データベース（ＤＢ、Database）を格納する。撮像部１６は、利用者を撮像して利用者の画像を取得し、取得した画像の画像データを制御部１２に入力する。音声入力部１８は、利用者により発話された音声を音声データに変換し、変換した音声データを制御部１２に入力する。音声出力部２０は、制御部１２により生成された利用者との会話のための音声データを音声に変換して利用者に向けて出力する。これら制御部１２、記憶部１４、撮像部１６、音声入力部１８、及び音声出力部２０は、ロボット１０の筐体内に搭載されている。

【0019】

制御部１２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサにより構成される。制御部１２は、機能ブロックとして、顔情報処理部２２と、会話処理部２４と、利用者情報管理部２６とを有している。なお、制御部１２の全部又は一部は、ネットワークを介してロボット１０と通信可能なサーバ上に構成することもできる。

【0020】

顔情報処理部２２は、撮像部１６により撮像される利用者の画像を処理して、利用者の顔情報を含む利用者の外見情報の取得、顔情報の照合等を行う。顔情報処理部２２は、さらに、機能ブロックとして、顔検出部２２０と、顔特徴量抽出部２２２と、年齢推定部２２４と、性別推定部２２６と、顔照合部２２８とを有している。

【0021】

顔検出部２２０には、撮像部１６により撮影された利用者の画像の画像データが撮像部１６から入力される。顔検出部２２０は、撮像部１６から入力された画像データに基づき、利用者の画像について顔検出を行う。これにより、顔検出部２２０は、撮像部１６により撮影される利用者の画像から、利用者の顔画像を検出する。顔検出部２２０が顔検出に用いるアルゴリズムとしては特に限定されるものではなく、種々のアルゴリズムを用いて顔検出を行うことができる。なお、顔情報処理部２２は、顔検出部２２０による顔検出の後、利用者のプライバシー保護の観点から、顔画像が検出された利用者の画像を廃棄するように構成されていてもよい。なお、撮像部１６により撮像された画像には、家族、友人、同僚等の複数人のグループで利用者がロボット１０の配置場所に訪れている場合等に、複数の人物が撮像されていることがありうる。この場合、顔検出部２２０は、口元が動いている人物の顔画像を、発話を行っている利用者の顔画像として検出することができる。

【0022】

顔特徴量抽出部２２２は、顔検出部２２０により検出された顔画像について、顔画像の特徴量である顔特徴量を抽出する。顔特徴量抽出部２２２は、顔情報である顔特徴量を取得する顔情報取得部として機能する。

【0023】

顔特徴量抽出部２２２により抽出される顔特徴量は、ベクトル量であり、顔画像の特徴を表現するスカラ量の成分の組み合わせである。顔特徴量の成分としては、特に限定されるものではなく、種々の種類のものを用いることができる。例えば、顔特徴量の成分として、目、鼻、口等の顔の器官の中心又は端点に設定した特徴点間の距離や角度等の位置関係、顔の輪郭線の曲率、顔表面の色分布や濃淡値等を用いることができる。顔特徴量の成分数も、特に限定されるものではなく、要求される照合精度、処理速度等に応じて適宜設定することができる。顔特徴量抽出部２２２により抽出された顔特徴量は、利用者の外見情報の一部を構成する。なお、利用者の外見情報は、利用者情報の一部を構成する。なお、顔情報処理部２２は、顔特徴量抽出部２２２による顔特徴量の抽出の後、利用者のプライバシー保護の観点から、顔特徴量が抽出された顔画像を廃棄するように構成されていてもよい。また、顔特徴量は、その抽出元の顔画像を再構成することができない不可逆なデータである。このため、本実施形態によるロボット１０は、後述するように顔特徴量が利用者情報ＤＢに登録されることになるが、利用者のプライバシー保護が配慮されたものになっている。

【0024】

年齢推定部２２４は、顔特徴量抽出部２２２により抽出された顔特徴量に基づき、利用者の年齢を推定する。年齢推定部２２４が年齢推定に用いる顔特徴量の成分及びアルゴリズムはそれぞれ特に限定されるものではなく、種々の顔特徴量の成分及びその成分に応じたアルゴリズムを用いて年齢推定を行うことができる。年齢推定部２２４により推定された利用者の推定年齢は、利用者の外見情報の一部を構成する。

【0025】

性別推定部２２６は、顔特徴量抽出部２２２により抽出された顔特徴量に基づき、利用者の性別を推定する。性別推定部２２６が性別推定に用いる顔特徴量の成分及びアルゴリズムはそれぞれ特に限定されるものではなく、種々の顔特徴量の成分及びその成分に応じたアルゴリズムを用いて性別推定を行うことができる。性別推定部２２６により推定された利用者の推定性別は、利用者の外見情報の一部を構成する。

【0026】

顔特徴量抽出部２２２により抽出された顔特徴量、年齢推定部２２４により推定された推定年齢、及び性別推定部２２６により推定された推定性別は、後述するように、利用者情報管理部２６により記憶部１４の利用者情報ＤＢに登録される。

【0027】

顔照合部２２８は、撮像部１６により撮像された応対中の利用者の顔画像の顔特徴量と、記憶部１４の利用者情報ＤＢに登録されている利用者情報の顔特徴量とを顔照合エンジンにより照合する。顔照合部２２８は、このような照合を、利用者情報ＤＢに登録されている複数の利用者情報について順次行う。これにより、顔照合部２２８は、応対中の利用者と同一人物を、利用者情報ＤＢに登録されている利用者情報の利用者の中から検索して、同一人物の発見を試みる。この際、顔照合部２２８は、照合する顔特徴量の間の類似度に応じて照合スコアを算出する。照合スコアは、顔特徴量の間の類似度が高いほど大きな値となる。顔照合部２２８は、照合スコアが所定の閾値以上である場合に照合が一致したと判定し、照合が一致した利用者情報ＤＢに登録されている利用者情報の利用者を、応対中の利用者と同一人物であると判定する。一方、顔照合部２２８は、照合スコアが所定の閾値未満である場合に照合が一致しないと判定し、照合が一致しない利用者情報ＤＢに登録されている利用者情報の利用者を、応対中の利用者とは別人物であると判定する。

【0028】

顔照合部２２８は、応対中の利用者と同一人物が、利用者情報ＤＢに登録されている利用者情報の利用者の中から検索により発見されたか否かの照合結果を、利用者情報管理部２６及び会話処理部２４の会話生成部２４２に伝達する。すなわち、顔照合部２２８は、照合が一致であるか不一致であるかの照合結果を、利用者情報管理部２６及び会話処理部２４の会話生成部２４２に伝達する。顔照合部２２８は、照合が一致して同一人物が発見された場合、同一人物として発見された利用者の匿名ＩＤを照合結果とともに利用者情報管理部２６及び会話生成部２４２に伝達する。

【0029】

顔照合部２２８による照合の結果、同一人物が発見された応対中の利用者は、過去にもロボット１０が応対を行ったことがある者である。一方、同一人物が発見されなかった応対中の利用者は、過去にロボット１０が応対を行ったことがなく、ロボット１０が初めて応対を行う者である。

【0030】

会話処理部２４は、応対中の利用者に応じた会話を構成する音声データを生成する。会話処理部２４は、機能ブロックとして、さらに、音声認識部２４０と、会話生成部２４２とを有している。

【0031】

音声認識部２４０には、音声入力部１８から、利用者が発話した音声の音声データが入力される。音声認識部２４０は、音声入力部１８から入力された音声信号に基づき、利用者が発話した音声を認識し、その音声に対応する文字データを生成する。音声認識部２４０が音声認識に用いるアルゴリズムは特に限定されるものではなく、種々のアルゴリズムを用いて音声認識を行うことができる。

【0032】

会話生成部２４２は、利用者との会話を構成する文字データを会話エンジンにより生成し、その文字データに対応する音声の音声データを生成する。具体的には、会話生成部２４２は、音声認識部２４０により生成された文字データに基づき、利用者が発話した音声の内容に応じた応答音声の音声データを生成することができる。また、会話生成部２４２は、利用者に対して話題を投げかける音声の音声データを生成することもできる。会話生成部２４２により生成された音声データは、利用者に向けて音声出力部２０から音声として出力される。

【0033】

また、会話生成部２４２は、利用者との会話内容を含む会話履歴を取得する。会話生成部２４２が取得する会話履歴は、利用者が発話した音声に対応する文字データの内容と、会話生成部２４２が生成した文字データの内容とにより構成される会話内容を含んでいる。さらに、会話生成部２４２は、利用者との応対が行われた応対日時を取得する。会話履歴及び応対日時は、応対情報を構成する。会話生成部２４２により取得された会話履歴と応対日時とを含む応対情報は、利用者情報の一部を構成する。なお、会話履歴に含まれる会話内容は、会話内容そのものであってもよいし、会話内容の要約、会話内容に含まれるキーワード等であってもよい。また、応対日時は、例えば、応対を開始した日時であってもよいし、応対を終了した日時であってもよいし、これら両日時を含んでいてもよい。また、応対日時は、撮像部１６により利用者の画像を撮像した日時であってもよい。また、会話生成部２４２は、応対日時とあわせて、利用者との応対の開始から終了までに要した応対時間を応対情報として取得することもできる。

【0034】

また、会話生成部２４２は、顔情報処理部２２の顔照合部２２８から同一人物を発見した旨の照合結果が伝達されると、照合結果とともに伝達された匿名ＩＤに基づき、同一人物として発見された利用者の利用者情報を記憶部１４の利用者情報ＤＢから取得する。なお、会話生成部２４２は、利用者情報のすべてを取得する必要は必ずしもなく、利用者情報に含まれる推定年齢、推定性別、会話履歴、及び応対日時のうちの少なくともいずれかを取得すればよい。ただし、会話生成部２４２は、よりパーソナルな会話を実行するため、少なくとも会話履歴を取得することが好ましい。

【0035】

会話生成部２４２は、利用者情報ＤＢから取得した利用者情報に応じて、応対中の利用者に対して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。すなわち、会話生成部２４２は、取得した利用者情報に含まれる会話履歴及び応対日時を利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。また、会話生成部２４２は、会話生成部２４２は、取得した利用者情報に含まれる推定年齢及び推定性別をも利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成することもできる。例えば、過去の会話履歴において誕生日を特定する会話内容が含まれており、利用者に応対している日がその誕生日に近い場合、会話生成部２４２は、会話を構成する文字データとして「そろそろ誕生日ですかね。」といった文字データを生成することができる。なお、会話生成部２４２は、会話を構成する文字データの生成に際して、会話履歴、応対日時、推定年齢、及び推定性別のすべてを利用する必要は必ずしもなく、会話履歴、応対日時、推定年齢、及び推定性別のうちの一部又は全部を適宜利用することができる。

【0036】

利用者情報管理部２６は、顔情報処理部２２及び会話処理部２４で自動的に取得される利用者情報を、記憶部１４に格納されている利用者情報ＤＢに登録する。上記のように、顔情報処理部２２及び会話処理部２４では、応対した利用者の利用者情報として、顔特徴量、推定年齢、推定性別が取得される。また、会話処理部２４では、応対した利用者の利用者情報として、会話履歴及び応対日時が取得される。利用者情報管理部２６は、これらの利用者情報を、記憶部１４に格納されている利用者情報ＤＢに登録する。なお、利用者情報管理部２６は、利用者情報ＤＢに登録されてから一定期間を経過した利用者情報を利用者情報ＤＢから削除することができる。一定期間経過後に利用者情報を削除することにより、本実施形態によるロボット１０を、利用者のプライバシー保護をさらに配慮したものとすることができる。

【0037】

図３は、記憶部１４に格納されている利用者情報ＤＢの一例を示している。利用者情報ＤＢには、過去に応対が行われた利用者の利用者情報が登録されている。図３に示すように、利用者情報ＤＢのレコードには、応対が行われた利用者ごとに付与された匿名の識別子である匿名ＩＤ（Identification）と関連付けられて、利用者情報が登録されている。登録された利用者情報には、その利用者について取得された顔特徴量、推定年齢、推定性別、会話履歴、及び応対日時が含まれている。顔特徴量、推定年齢、及び推定性別は、利用者の外見情報を構成する。会話履歴及び応対日時は、応対情報を構成する。利用者情報ＤＢは、登録された利用者が誰であるかがわからない匿名のＤＢになっている。すなわち、利用者情報ＤＢの各レコードには外見情報と応対情報とを含む利用者情報が登録されているものの、その利用者情報からは、各レコードに登録された利用者個人が誰であるかを特定することはできない。なお、図３並びに後述の図８Ａ、図８Ｂ、図８Ｃ及び図１２に示す利用者情報ＤＢの例では、便宜上、顔特徴量を数字列で示している。

【0038】

利用者情報管理部２６は、利用者ごとに匿名ＩＤを生成して付与する。利用者情報管理部２６は、利用者に付与した匿名ＩＤと関連付けて、その利用者について取得された利用者情報である顔特徴量、推定年齢、推定性別、及び応対日時を利用者情報ＤＢのレコードに登録する。

【0039】

利用者情報管理部２６は、顔情報処理部２２の顔照合部２２８から同一人物を発見しなかった旨の照合結果、すなわち不一致の照合結果が伝達されると、利用情報の新規登録を自動的に行う。この場合、利用者情報管理部２６は、同一人物が発見されなかった利用者に新規の匿名ＩＤを付与して、その利用者情報を登録する。

【0040】

一方、利用者情報管理部２６は、顔照合部２２８から同一人物を発見した旨の照合結果、すなわち一致の照合結果が伝達されると、利用者情報の追加登録を自動的に行う。この場合、利用者情報管理部２６は、同一人物であるとされた利用者の匿名ＩＤと同一の匿名ＩＤ、又は同一人物であるとされた利用者の匿名ＩＤと関連付けられた新規の匿名ＩＤを、同一人物が発見された応対中の利用者に付与して、利用者情報を追加登録する。例えば、推定年齢が変化している場合には推定年齢を追加登録する。また、新たな会話履歴を追加登録する。

【0041】

撮像部１６は、ロボット１０の前方を撮像可能に設けられており、ロボット１０に対面する利用者を撮像することができるように構成されている。撮像部１６は、例えばデジタルスチルカメラ又はデジタルビデオカメラにより構成され、上述のように、応対中の利用者を撮像して利用者の画像を取得する。撮像部１６は、例えば、利用者との応対を開始した際に、その利用者を撮像することができる。撮像部１６は、利用者の上半身等、利用者の顔を含む画像を撮像する。撮像部１６は、取得した画像の画像データを制御部１２に入力する。

【0042】

音声入力部１８は、例えばマイクロフォンにより構成され、上述のように、応対中の利用者により発話された音声を音声データに変換する。音声入力部１８は、利用者との応対が行われている間、利用者により発話された音声を音声データに変換する。音声入力部１８は、変換した音声データを制御部１２に入力する。

【0043】

音声出力部２０は、例えばスピーカにより構成され、上述のように、制御部１２の会話処理部により生成された利用者との会話のための音声データを音声に変換して利用者に向けて出力する。

【0044】

上述したロボット１０は、例えばコンピュータ装置により構成される。ロボット１０のハードウェア構成の一例について図４を用いて説明する。なお、ロボット１０は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。

【0045】

ロボット１０は、図４に示すように、ＣＰＵ１００２と、ＲＯＭ（Read Only Memory）１００４と、ＲＡＭ（Random Access Memory）１００６と、ＨＤＤ（Hard Disk Drive）１００８とを有している。また、ロボット１０は、カメラ１０１０と、マイクロフォン１０１２と、スピーカ１０１４とを有している。ＣＰＵ１００２、ＲＯＭ１００４、ＲＡＭ１００６、ＨＤＤ１００８、カメラ１０１０、マイクロフォン１０１２、及びスピーカ１０１４は、共通のバスライン１０１６に接続されている。

【0046】

ＣＰＵ１００２は、ロボット１０の全体の動作を制御する。また、ＣＰＵ１００２は、上記顔情報処理部２２における顔検出部２２０、顔特徴量抽出部２２２、年齢推定部２２４、性別推定部２２６、及び顔照合部２２８の各部の機能を実現するプログラムを実行する。また、ＣＰＵ１００２は、上記会話処理部２４における音声認識部２４０及び会話生成部２４２の各部の機能を実現するプログラムを実行する。ＣＰＵ１００２は、ＨＤＤ１００８等に記憶されたプログラムをＲＡＭ１００６にロードして実行することにより、顔情報処理部２２及び会話処理部２４における各部の機能を実現する。

【0047】

ＲＯＭ１００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ１００６は、ＣＰＵ１００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ１００８には、ＣＰＵ１００２が実行するプログラムが記憶されている。

【0048】

また、ＨＤＤ１００８は、上記記憶部１４の機能を実現する記憶装置である。なお、記憶部１４の機能を実現する記憶装置は、ＨＤＤ１００８に限定されるものではない。種々の記憶装置を記憶部１４の機能を実現するものとして用いることができる。

【0049】

カメラ１０１０は、上記撮像部１６の機能を実現する撮像装置である。マイクロフォン１０１２は、上記音声入力部１８の機能を実現する音声入力装置である。スピーカ１０１４は、上記音声出力部２０の機能を実現する音声出力装置である。

【0050】

なお、ロボット１０のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。

【0051】

本実施形態によるロボット１０は、利用者が個人情報を事前登録する必要なく、応対中の利用者が、過去の利用者と同一人物であるか否かを識別することができる。さらに、本実施形態によるロボット１０は、応対中の利用者と同一人物であると判定された過去の利用者の会話履歴、応対日時、推定年齢、及び推定性別を含む利用者情報を利用して、応対中の利用者に応じてパーソナルな会話を自然に行うことができる。

【0052】

以下、上記本実施形態によるロボット１０を用いた本実施形態による応対方法についてさらに図５を用いて説明する。図５は、本実施形態による応対方法を示すフローチャートである。

【0053】

例えば店舗等に配置されたロボット１０は、顧客である利用者が店舗に来店してロボット１０に対面すると、対面した利用者を検知してその利用者との応対を開始する（ステップＳ１０２）。ロボット１０は、利用者との応対の中で、会話処理部２４により利用者との会話を行う。

【0054】

利用者との会話において、音声認識部２４０には、音声入力部１８から、利用者が発話した音声の音声データが入力される。音声認識部２４０は、音声入力部１８から入力された音声信号に基づき、利用者が発話した音声を認識し、その音声に対応する文字データを生成する。会話生成部２４２は、音声認識部２４０により生成された文字データに基づき、利用者の発話に対する応答として、利用者が発話した音声の内容に応じた応答音声の音声データを生成する。また、会話生成部２４２は、利用者の発話に対する応答のみならず、利用者に対して話題を投げかける音声の音声データを生成することもできる。会話生成部２４２により生成された音声データは、利用者に向けて音声出力部２０から音声として出力される。

【0055】

会話生成部２４２は、利用者との応対の間、利用者との会話内容を含む会話履歴を取得する。また、会話生成部２４２は、利用者との応対が行われた応対日時を取得する。

【0056】

利用者との応対が開始されると、撮像部１６は、応対中の利用者を撮像して利用者の画像を取得する（ステップＳ１０４）。続いて、撮像部１６は、取得した画像の画像データを制御部１２の顔検出部２２０に入力する。

【0057】

顔検出部２２０は、利用者の画像の画像データが撮像部１６から入力されると、入力された画像データに基づき、利用者の画像について顔検出を行う（ステップＳ１０６）。これにより、顔検出部２２０は、撮像部１６により撮影される利用者の画像から、利用者の顔画像を検出する。

【0058】

顔特徴量抽出部２２２は、顔検出部２２０により検出された顔画像について、顔画像の特徴量である顔特徴量を抽出する（ステップＳ１０８）。

【0059】

年齢推定部２２４は、顔特徴量抽出部２２２により抽出された顔特徴量に基づき、利用者の年齢を推定して、利用者の推定年齢を取得する。また、性別推定部２２６は、顔特徴量抽出部２２２により抽出された顔特徴量に基づき、利用者の性別を推定して、利用者の推定性別を取得する。こうして、顔情報処理部２２は、利用者の顔特徴量、推定年齢、及び推定性別を含む利用者の外見情報を取得する（ステップＳ１１０）。

【0060】

顔照合部２２８は、応対中の利用者の顔画像から検出された顔画像の顔特徴量と、記憶部１４の利用者情報ＤＢに登録されている利用者の顔特徴量とを顔照合エンジンにより照合する。これにより、顔照合部２２８は、応対中の利用者と同一人物を、利用者情報ＤＢに登録されている利用者の中から検索する（ステップＳ１１２）。顔照合部２２８は、同一人物が発見されたか否か、すなわち照合が一致であるか不一致であるかの照合結果を、利用者情報管理部２６及び会話処理部２４の会話生成部２４２に伝達する。顔照合部２２８は、照合が一致して同一人物が発見された場合、同一人物として発見された利用者の匿名ＩＤを照合結果とともに利用者情報管理部２６及び会話生成部２４２に伝達する。

【0061】

顔照合部２２８による照合の結果、照合結果が不一致であり同一人物が発見されない場合（ステップＳ１１４、ＮＯ）、利用者情報管理部２６は、利用者情報の登録を行う（ステップＳ１１６）。この場合、利用者情報管理部２６は、同一人物が発見されなかった利用者に新規の匿名ＩＤを付与して、その利用者について取得された利用者情報を記憶部１４の利用者情報ＤＢに登録する。登録される利用者情報は、ステップＳ１０８で取得された顔特徴量、並びにステップＳ１１０で取得された推定年齢及び推定性別を含んでいる。また、登録される利用者情報は、利用者との応対の間に会話生成部２４２により取得された会話履歴及び応対日時を含んでいる。ここで登録される会話履歴には、ステップＳ１０２の応対の開始からステップＳ１１８の応対の終了までの間に行われた利用者との会話の内容が含まれる。

【0062】

ステップＳ１１６の後、応対を終了する（ステップＳ１１８）。なお、応対を終了するステップＳ１１８の後に、利用者情報を登録するステップＳ１１６を行ってもよい。

【0063】

一方、顔照合部２２８による照合の結果、照合結果が一致であり同一人物が発見された場合（ステップＳ１１４、ＹＥＳ）、会話生成部２４２は、同一人物として発見された利用者の利用者情報を記憶部１４の利用者情報ＤＢから取得する（ステップＳ１２０）。このとき、会話生成部２４２は、顔情報処理部２２の顔照合部２２８から照合結果とともに伝達された匿名ＩＤに基づき、利用者情報ＤＢから利用者情報を取得する。

【0064】

会話生成部２４２は、ステップＳ１２０で取得した利用者情報に含まれる会話履歴、応対日時、推定年齢、及び推定性別を利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。さらに、会話生成部２４２は、生成した文字データに対応する音声データを生成する。会話生成部２４２により生成された音声データは、対応中の利用者に向けて音声出力部２０から音声として出力される。

【0065】

こうして、ロボット１０は、利用者情報に応じたパーソナルな会話を利用者との間で実行する（ステップＳ１２２）。パーソナルな会話は、応対が終了するまで間に随時実行される。利用者情報に応じたパーソナルな会話を利用者との間で実行することにより、応対中の利用者に応じてパーソナルな会話を自然に行うことができる。

【0066】

また、顔照合部２２８による照合の結果、照合結果が一致であり同一人物が発見された場合（ステップＳ１１４、ＹＥＳ）、利用者情報管理部２６は、利用者情報の追加登録を行う（ステップＳ１２４）。利用者情報管理部２６は、同一人物であるとされた利用者の匿名ＩＤと同一の匿名ＩＤ、又は同一人物であるとされた利用者の匿名ＩＤと関連付けられた新規の匿名ＩＤを、同一人物が発見された応対中の利用者に付与して、利用者情報を追加登録する。ここで追加登録される利用者情報には、応対中に行われた新たな会話内容を含む新たな会話履歴及び応対日時が含まれ、ステップＳ１１０で取得された推定年齢が変化していればその変化した推定年齢が含まれる。また、追加登録される会話履歴には、ステップＳ１０２の応対の開始からステップＳ１１８の応対の終了までの間に行われた利用者との会話の内容が含まれる。

【0067】

ステップＳ１２４の後、応対を終了する（ステップＳ１１８）。なお、応対を終了するステップＳ１１８の後に、ステップＳ１２４を行ってもよい。

【0068】

このように、本実施形態によれば、利用者が個人情報を事前登録する必要なく、応対中の利用者が、過去の利用者と同一人物か識別することができる。さらに、本実施形態によれば、同一人物であると判定された過去の利用者の会話履歴、応対日時、推定年齢、及び推定性別を含む利用者情報を利用して、応対中の利用者に応じてパーソナルな会話を自然に行うことができる。

【0069】

［第２実施形態］
本発明の第２実施形態による応対システム及び応対方法について図６乃至図１０を用いて説明する。なお、上記第１実施形態よる応対ロボット及び応対方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。

【0070】

まず、本実施形態による応対システムについて図６乃至図１０を用いて説明する。図６は、本実施形態による応対システムを示す概略図である。図７は、本実施形態による応対システムの機能構成を示すブロック図である。図８Ａ、図８Ｂ及び図８Ｃは、本実施形態による応対システムにおける各部の記憶部に格納された利用者情報ＤＢの例を示す概略図である。図９は、本実施形態による応対ロボットのハードウェア構成の一例を示すブロック図である。図１０は、本実施形態によるデータベースサーバのハードウェア構成の一例を示すブロック図である。

【0071】

本実施形態による応対システム３０は、図６及び図７に示すように、ロボットＡ１０ａと、ロボットＢ１０ｂと、データベース（ＤＢ）サーバ４０とを含んでいる。ロボットＡ１０ａ及びロボットＢ１０ｂは、それぞれ第１実施形態によるロボット１０と同様に、例えば店舗に配置され、利用者に対する応対を行って接客するものである。ロボットＡ１０ａ及びロボットＢ１０ｂは、例えば、同一事業者の互いに異なる店舗に配置されている。また、ＤＢサーバ４０は、例えば、ロボットＡ１０ａ及びロボットＢ１０ｂが配置された店舗とは異なる地に所在するデータセンタ内に設置されている。なお、ロボットの数は、ロボットＡ１０ａ及びロボットＢ１０ｂの２台に限定されるものではなく、３台以上の複数台であってもよい。

【0072】

ロボットＡ１０ａ、ロボットＢ１０ｂ、及びＤＢサーバ４０は、それぞれネットワーク５０に接続されている。ロボットＡ１０ａとＤＢサーバ４０とは、ネットワーク５０を介して通信可能になっている。また、ロボットＢ１０ｂとＤＢサーバ４０とは、ネットワーク５０を介して通信可能になっている。ネットワーク５０は、その種別が特に限定されるものではないが、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）である。

【0073】

ロボットＡ１０ａ及びロボットＢ１０ｂは、それぞれ第１実施形態によるロボット１０と同様の基本的構成を有している。ロボットＡ１０ａ及びロボットＢ１０ｂは、それぞれ通信部２８をさらに有している。ロボットＡ１０ａ及びロボットＢ１０ｂにおける通信部２８は、ネットワーク５０に接続されており、各ロボットとＤＢサーバ４０との通信を可能にする。ロボットＡ１０ａ及びロボットＢ１０ｂの記憶部１４は、それぞれ第１の利用者情報データベースを格納する第１の記憶部として機能する。

【0074】

ＤＢサーバ４０は、制御部４２と、記憶部４４と、通信部４６とを有している。

【0075】

制御部４２は、ＤＢサーバ４０の動作を制御する。

【0076】

記憶部４４には、利用者情報が登録された利用者情報ＤＢが格納されている。ＤＢサーバ４０の記憶部４４は、第２の利用者情報データベースを格納する第２の記憶部として機能する。

【0077】

通信部４６は、ネットワーク６０に接続されており、ＤＢサーバ４０とロボットＡ１０ａ及びロボットＢ１０ｂとの通信を可能にする。

【0078】

ロボットＡ１０ａは、第１実施形態と同様に、利用者との応対を行う。これにより、ロボットＡ１０ａの利用者情報管理部２６は、第１実施形態と同様に、応対が行われた利用者の利用者情報を記憶部１４の利用者情報ＤＢに登録していく。ロボットＢ１０ｂも、第１実施形態と同様に、利用者との応対を行う。これにより、ロボットＢ１０ｂの利用者情報管理部２６も、第１実施形態と同様に、応対が行われた利用者の利用者情報を記憶部１４の利用者情報ＤＢに登録していく。ここにいう利用者情報の登録は、図５に示すフローチャートのステップＳ１１６での利用者情報の登録のみならず、ステップＳ１２４での利用者情報の追加登録を含みうる。

【0079】

本実施形態では、さらに、ロボットＡ１０ａ及びロボットＢ１０ｂにおける利用者情報の登録に際して、それぞれの利用者情報管理部２６は、第１実施形態において説明した利用者情報に加えて、利用者情報の一部として応対ロボット情報を登録する。応対装置情報である応対ロボット情報は、登録する利用者情報の利用者について応対を行ったロボットに関する情報である。具体的には、応対ロボット情報は、応対を行ったロボットを特定する情報であり、応対を行ったロボットのＩＤであるロボットＩＤを含んでいる。また、応対ロボット情報は、さらに、応対を行ったロボットの配置場所を特定する情報であり、応対を行ったロボットが配置された店舗名、並びにその店舗が所在する基礎自治体である市区町村の名称、及び広域自治体である都道府県の名称を含むことができる。

【0080】

さらに、ロボットＡ１０ａにおいて、利用者情報管理部２６は、通信部２８を介してＤＢサーバ４０と通信を行い、記憶部１４の利用者情報ＤＢに登録された利用者情報をＤＢサーバ４０にアップロードして送信する。また、ロボットＢ１０ｂにおいても、利用者情報管理部２６は、通信部２８を介してＤＢサーバ４０と通信を行い、記憶部１４の利用者情報ＤＢに登録された利用者情報をＤＢサーバ４０にアップロードして送信する。こうして、ロボットＡ１０ａ及びロボットＢ１０ｂは、それぞれ利用者情報をＤＢサーバ４０に送信する。なお、ロボットＡ１０ａ及びロボットＢ１０ｂが利用者情報をアップロードするタイミングは、特に限定されるものではない。ロボットＡ１０ａ及びロボットＢ１０ｂは、定期又は不定期に利用者情報をアップロードすることができる。

【0081】

一方、ＤＢサーバ４０において、制御部４２は、通信部４６を介してロボットＡ１０ａと通信を行い、ロボットＡ１０ａから送信された利用者情報を受信する。また、制御部４２は、通信部４６を介してロボットＡ１０ａと通信を行い、ロボットＡ１０ａから送信された利用者情報を受信する。

【0082】

さらに、制御部４２は、ロボットＡ１０ａ及びロボットＢ１０ｂから受信した利用者情報を、記憶部４４の利用者情報ＤＢに登録する。これにより、制御部４２は、記憶部４４の利用者情報ＤＢを更新する。

【0083】

こうして、ロボットＡ１０ａ及びロボットＢ１０ｂにおける利用者情報管理部２６は、それぞれ自ロボットで取得した利用者情報を、ネットワーク５０を介してＤＢサーバ４０の利用者情報ＤＢに登録する。

【0084】

図８Ａ、図８Ｂ及び図８Ｃは、本実施形態による応対システム３０における各部の記憶部に格納された利用者情報ＤＢの例を示す概略図である。図８Ａは、ロボットＡ１０ａの記憶部１４に格納された利用者情報ＤＢの例を示す概略図である。図８Ｂは、ロボットＢ１０ｂの記憶部１４に格納された利用者情報ＤＢの例を示す概略図である。図８Ｃは、ＤＢサーバ４０の記憶部４４に格納された利用者情報ＤＢの例を示す概略図である。

【0085】

図８Ａに示すように、ロボットＡ１０ａの利用者情報ＤＢのレコードには、匿名ＩＤと関連付けられて、その利用者について取得された顔特徴量、推定年齢、推定性別、会話履歴、及び応対日時が利用者情報として登録されている。さらに、ロボットＡ１０ａの利用者情報ＤＢのレコードには、匿名ＩＤと関連付けられて、その利用者との応対を行ったロボットがロボットＡ１０ａであることを示す応対ロボ情報として、応対ロボＩＤが登録されている。

【0086】

図８Ｂに示すように、ロボットＢ１０ｂの利用者情報ＤＢのレコードには、匿名ＩＤと関連付けられて、その利用者について取得された顔特徴量、推定年齢、推定性別、会話履歴、及び応対日時が利用者情報として登録されている。さらに、ロボットＢ１０ｂの利用者情報ＤＢのレコードには、匿名ＩＤと関連付けられて、その利用者との応対を行ったロボットがロボットＢ１０ｂであることを示す応対ロボ情報として、応対ロボＩＤが登録されている。

【0087】

ＤＢサーバ４０の利用者情報ＤＢは、上記ロボットＡ１０ａ及びロボットＢ１０ｂそれぞれの利用者情報ＤＢに登録された利用者情報がアップロードされることにより構築される。このため、ＤＢサーバ４０の利用者情報ＤＢは、図８Ｃに示すように、ロボットＡ１０ａの利用者情報ＤＢのレコードと、ロボットＢ１０ｂの利用者情報ＤＢのレコードとを含むものになっている。

【0088】

ロボットＡ１０ａ及びロボットＢ１０ｂは、同一人物の検索及びパーソナルな会話実行のための利用者情報の取得に用いる利用者情報ＤＢに関する点を除き、第１実施形態と同様に図５に示すフローチャートに従って、それぞれ利用者との応対を行う。

【0089】

本実施形態において、ロボットＡ１０ａ及びロボットＢ１０ｂは、ＤＢサーバ４０との間の通信環境の良否に応じて、図５に示すステップＳ１１２の同一人物の検索、及びステップＳ１２０の利用者情報の取得に用いる利用者情報ＤＢを選択する。利用者情報ＤＢを選択に際して、ロボットＡ１０ａ及びロボットＢ１０ｂは、自己の利用者情報ＤＢ、及びＤＢサーバ４０の利用者情報ＤＢのうちのいずれか一方を選択する。ロボットＡ１０ａ及びロボットＢ１０ｂの制御部１２は、ＤＢサーバ４０との間の通信速度を監視し、ＤＢサーバ４０との間の通信速度に基づき、ＤＢサーバ４０との間の通信環境の良否を判定することができる。

【0090】

例えば、ロボットＡ１０ａとＤＢサーバ４０との間の通信環境が良好である場合、ロボットＡ１０ａは、利用者情報ＤＢとして、ＤＢサーバ４０の記憶部４４に格納された利用者情報ＤＢを用いる。この場合、ロボットＡ１０ａにおける顔照合部２２８は、ステップＳ１１２で、応対中の利用者と同一人物を、ＤＢサーバ４０の記憶部４４に格納された利用者情報ＤＢに登録されている利用者の中から検索する。また、この場合、ロボットＡ１０ａにおける会話生成部２４２は、ステップＳ１２０で、同一人物として発見された利用者の利用者情報を、ＤＢサーバ４０の記憶部４４に格納された利用者情報ＤＢから取得する。顔照合部２２８及び会話生成部２４２は、それぞれ通信部２８を介してＤＢサーバ４０の利用者情報ＤＢにアクセスしてその利用者情報ＤＢを用いることができる。

【0091】

一方、ロボットＡ１０ａとＤＢサーバ４０との間の通信環境が良好でない場合、ロボットＡ１０ａは、利用者情報ＤＢとして、自己の記憶部１４に格納された利用者情報ＤＢを用いる。この場合、ロボットＡ１０ａにおける顔照合部２２８は、ステップＳ１１２で、応対中の利用者と同一人物を、自己の記憶部１４に格納された利用者情報ＤＢに登録されている利用者の中から検索する。また、この場合、ロボットＡ１０ａにおける会話生成部２４２は、ステップＳ１２０で、同一人物として発見された利用者の利用者情報を、自己の記憶部１４に格納された利用者情報ＤＢから取得する。

【0092】

ロボットＢ１０ｂも、上記ロボットＡ１０ａと同様に、ＤＢサーバ４０との間の通信環境の良否に応じて、利用者情報ＤＢを選択することができる。

【0093】

上述のように、ＤＢサーバ４０の利用者情報ＤＢは、ロボットＡ１０ａの利用者情報ＤＢのレコードと、ロボットＢ１０ｂの利用者情報ＤＢのレコードとを含むものになっている。すなわち、ＤＢサーバ４０の利用者情報ＤＢは、ロボットＡ１０ａ及びロボットＢ１０ｂのそれぞれにとって、自装置である自ロボットが取得した利用者情報のほか、別装置である別ロボットが取得した利用者情報を含んでいる。このようなＤＢサーバ４０の利用者情報ＤＢを用いることにより、より多くの利用者情報から応対中の利用者と同一人物を検索することができる。また、別ロボットが取得した利用者情報をも利用して利用者との会話を行いうるので、利用者に応じたパーソナルな会話を行う機会を増やすことができる。

【0094】

また、上述のように、ロボットＡ１０ａ及びロボットＢ１０ｂは、通信環境に応じて、自己の利用者情報ＤＢ及びＤＢサーバ４０の利用者情報ＤＢのいずれかを選択して用いる。したがって、ロボットＡ１０ａ及びロボットＢ１０ｂは、通信環境が良好でない場合であっても、自己の利用者情報ＤＢを用いて、利用者に応じてパーソナルな会話を自然に行うことができる。

【0095】

このように、本実施形態によれば、別ロボットが取得した利用者情報をも含むＤＢサーバ４０の利用者情報ＤＢを用いることができるので、利用者に応じたパーソナルな会話を行う機会を増やすことができる。また、本実施形態によれば、通信環境に応じて、自ロボットの利用者情報ＤＢ及びＤＢサーバ４０の利用者情報ＤＢのいずれかを選択して用いるので、通信環境の良否によらず、利用者に応じてパーソナルな会話を自然に行うことができる。

【0096】

なお、上述したロボットＡ１０ａ及びロボットＢ１０ｂは、それぞれ例えばコンピュータ装置により構成される。ロボットＡ１０ａ及びロボットＢ１０ｂのハードウェア構成は、図４に示す第１実施形態によるハードウェア構成とほぼ同様である。ロボットＡ１０ａ及びロボットＢ１０ｂは、さらに、図９に示すように、通信部２８の機能を実現する通信Ｉ／Ｆ１０１８を有している。

【0097】

通信Ｉ／Ｆ１０１８は、ネットワーク５０に接続されている。通信Ｉ／Ｆ１０１８は、ネットワーク５０に接続されたＤＢサーバ４０との間のデータの通信を制御する。

【0098】

また、上述したＤＢサーバ４０は、例えばコンピュータ装置により構成される。ＤＢサーバ４０のハードウェア構成の一例について図１０を用いて説明する。なお、ＤＢサーバ４０は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。

【0099】

ＤＢサーバ４０は、図１０に示すように、ＣＰＵ４００２と、ＲＯＭ４００４と、ＲＡＭ４００６と、ＨＤＤ４００８とを有している。また、ＤＢサーバ４０は、通信Ｉ／Ｆ４０１０を有している。ＣＰＵ４００２、ＲＯＭ４００４、ＲＡＭ４００６、ＨＤＤ４００８、及び通信Ｉ／Ｆ４０１０は、共通のバスライン４０１２に接続されている。

【0100】

ＣＰＵ４００２は、ＤＢサーバ４０の全体の動作を制御する。また、ＣＰＵ４００２は、上記制御部４２の機能を実現するプログラムを実行する。ＣＰＵ４００２は、ＨＤＤ４００８等に記憶されたプログラムをＲＡＭ４００６にロードして実行することにより、制御部４２の機能を実現する。

【0101】

ＲＯＭ４００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ４００６は、ＣＰＵ４００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ４００８には、ＣＰＵ４００２が実行するプログラムが記憶されている。

【0102】

また、ＨＤＤ４００８は、上記記憶部４４の機能を実現する記憶装置である。なお、記憶部４４の機能を実現する記憶装置は、ＨＤＤ４００８に限定されるものではない。種々の記憶装置を記憶部４４の機能を実現するものとして用いることができる。

【0103】

通信Ｉ／Ｆ４０１０は、ネットワーク５０に接続されている。通信Ｉ／Ｆ４０１０は、ネットワーク５０に接続されたロボットＡ１０ａ及びロボットＢ１０ｂとの間のデータの通信を制御する。

【0104】

なお、ＤＢサーバ４０のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。

【0105】

［第３実施形態］
本発明の第３実施形態による応対システム及び応対方法について図１１を用いて説明する。なお、上記第２実施形態よる応対システム及び応対方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。

【0106】

本実施形態による応対システムの基本的構成は、上記第２実施形態による応対システムの構成と同様である。本実施形態による応対システムでは、ロボットＡ１０ａ及びロボットＢ１０ｂのそれぞれが、自己の記憶部１４に格納された利用者情報ＤＢを、ＤＢサーバ４０の記憶部４４に格納された利用者情報ＤＢと同期して更新する。

【0107】

以下、本実施形態による応対システムにおける利用者情報ＤＢの同期について図１１を用いて説明する。図１１は、本実施形態による応対システムにおける利用者情報ＤＢの同期を示すシーケンス図である。

【0108】

図１１に示すように、ロボットＡ１０ａは、第２実施形態と同様に、利用者との応対を行う。これにより、ロボットＡ１０ａの利用者情報管理部２６は、第２実施形態と同様に、利用者情報を記憶部１４の利用者情報ＤＢに登録していく（ステップＳ２０２）。なお、ここにいう利用者情報の登録は、図５に示すフローチャートのステップＳ１１６での利用者情報の登録のみならず、ステップＳ１２４での利用者情報の追加登録を含みうる。

【0109】

さらに、ロボットＡ１０ａにおいて、利用者情報管理部２６は、通信部２８を介してＤＢサーバ４０と通信を行い、記憶部１４の利用者情報ＤＢに登録された利用者情報をＤＢサーバ４０にアップロードする（ステップＳ２０４）。

【0110】

ＤＢサーバ４０では、制御部４２が、ロボットＡ１０ａから受信した利用者情報を、記憶部４４の利用者情報ＤＢに登録する。これにより、制御部４２は、記憶部４４の利用者情報ＤＢを更新する（ステップＳ２０６）。

【0111】

一方、ロボットＢ１０ｂにおいて、利用者情報管理部２６は、記憶部１４の利用者情報ＤＢと、ＤＢサーバ４０の利用者情報ＤＢとを同期する（ステップＳ２０８）。これにより、ロボットＢ１０ｂの利用者情報管理部２６は、記憶部１４の利用者情報ＤＢの内容を、ＤＢサーバ４０の利用者情報ＤＢの内容と同一内容に更新する。

【0112】

また、ロボットＢ１０ｂは、第２実施形態と同様に、利用者との応対を行う。これにより、ロボットＢ１０ｂの利用者情報管理部２６は、第２実施形態と同様に、利用者情報を記憶部１４の利用者情報ＤＢに登録していく（ステップＳ２１０）。なお、ここにいう利用者情報の登録は、図５に示すフローチャートのステップＳ１１６での利用者情報の登録のみならず、ステップＳ１２４での利用者情報の追加登録を含みうる。

【0113】

さらに、ロボットＢ１０ｂにおいて、利用者情報管理部２６は、通信部２８を介してＤＢサーバ４０と通信を行い、記憶部１４の利用者情報ＤＢに登録された利用者情報をＤＢサーバ４０にアップロードする（ステップＳ２１２）。

【0114】

ＤＢサーバ４０では、制御部４２が、ロボットＢ１０ｂから受信した利用者情報を、記憶部４４の利用者情報ＤＢに登録する。これにより、制御部４２は、記憶部４４の利用者情報ＤＢを更新する（ステップＳ２１４）。

【0115】

一方、ロボットＡ１０ａにおいて、利用者情報管理部２６は、記憶部１４の利用者情報ＤＢと、ＤＢサーバ４０の利用者情報ＤＢとを同期する（ステップＳ２１６）。これにより、ロボットＡ１０ａの利用者情報管理部２６は、記憶部１４の利用者情報ＤＢの内容を、ＤＢサーバ４０の利用者情報ＤＢの内容と同一内容に更新する。

【0116】

こうして、ロボットＡ１０ａ及びロボットＢ１０ｂのそれぞれにおいて、利用者情報ＤＢが同期更新される。これにより、各ロボットにおける利用者情報ＤＢの内容は、別ロボットが取得した利用情報をも含むＤＢサーバ４０の利用者情報ＤＢの内容と同一内容となる。

【0117】

本実施形態による応対システムでは、ロボットＡ１０ａ及びロボットＢ１０ｂによる利用者情報のアップロード、ＤＢサーバ４０での利用者情報ＤＢの更新、及びロボットＡ１０ａ及びロボットＢ１０ｂでの利用者情報ＤＢの同期更新が繰り返して行われる。なお、ロボットＡ１０ａ及びロボットＢ１０ｂによる利用者情報のアップロードのタイミングは特に限定されるものではなく、定期又は不定期に利用者情報のアップロードを行うことができる。また、ＤＢサーバ４０での利用者情報ＤＢの更新のタイミングも特に限定されるものではなく、定期又は不定期に利用者情報ＤＢの更新を行うことができる。また、ロボットＡ１０ａ及びロボットＢ１０ｂでの利用者情報ＤＢの同期更新のタイミングも特に限定されるものではなく、定期又は不定期に利用者情報ＤＢの同期更新を行うことができる。

【0118】

ロボットＡ１０ａ及びロボットＢ１０ｂは、それぞれ上記のように同期更新される自己の利用者情報ＤＢを用いて、図５に示すステップＳ１１２の同一人物の検索、及びステップＳ１２０の利用者情報の取得を行うことができる。

【0119】

上述のように同期更新されたロボットＡ１０ａ及びロボットＢ１０ｂの利用者情報ＤＢは、それぞれ、ロボットＡ１０ａにより取得された利用者情報と、ロボットＢ１０ｂにより取得された利用者情報とを含むものになっている。すなわち、同期更新された各ロボットの利用者情報ＤＢは、自ロボットが取得した利用者情報のほか、別ロボットが取得した利用者情報を含んでいる。このようなロボットの利用者情報ＤＢを用いることにより、より多くの利用者情報から応対中の利用者と同一人物を検索することができる。また、別ロボットが取得した利用者情報をも利用して利用者との会話を行いうるので、利用者に応じたパーソナルな会話を行う機会を増やすことができる。

【0120】

また、同期更新されて別ロボットが取得した利用者情報をも含む自ロボットの利用者情報ＤＢを用いるため、ＤＢサーバ４０の利用者情報ＤＢを用いる場合とは異なり、通信環境の影響を受けることがない。

【0121】

このように、本実施形態によれば、同期更新されて別ロボットが取得した利用者情報をも含む自ロボットの利用者情報ＤＢを用いるので、利用者に応じたパーソナルな会話を行う機会を増やすことができる。

【0122】

［第４実施形態］
本発明の第４実施形態による応対システム及び応対方法について図１２乃至図１４を用いて説明する。なお、上記第２及び第３実施形態による応対システム及び応対方法と同一の構成要素については同一の符号を付し説明を省略し又は簡略にする。

【0123】

本実施形態による応対システムの基本的構成は、上記第２実施形態による応対システムの構成と同様である。本実施形態では、自ロボットが取得した利用者情報のみならず、別ロボットが取得した利用者情報をも含むＤＢサーバ４０の利用者情報ＤＢを用いて利用者との応対を行う場合の応対方法について詳述する。

【0124】

以下、本実施形態による応対方法について図１２乃至図１４を用いて説明する。図１２は、本実施形態による応対システムにおける利用者情報ＤＢの一例を示す概略図である。図１３及び図１４は、本実施形態による応対方法を示すフローチャートである。

【0125】

図１２は、ＤＢサーバ４０の利用者情報ＤＢの一例を示している。図１２に示すように、ＤＢサーバ４０の利用者情報ＤＢは、ロボットＡ１０ａにより取得された利用者情報と、ロボットＢ１０ｂにより取得された利用者情報とを含んでいる。さらに、ＤＢサーバ４０の利用者情報ＤＢは、ロボットＡ１０ａ及びロボットＢ１０ｂと同様の他のロボットＣにより取得された利用者情報を含んでいる。

【0126】

各ロボットにより取得された利用者情報のそれぞれには、応対ロボット情報として、応対ロボＩＤのほか、応対したロボットが配置された店舗名、並びにその店舗が所在する市区町村の名称、及び都道府県の名称が含まれている。

【0127】

各ロボットは、上記のようなＤＢサーバ４０の利用者情報ＤＢを用いて利用者との応対を行う。以下、例として、ロボットＡ１０ａにより応対が行われる場合について説明する。

【0128】

ロボットＡ１０ａは、図１３に示すフローチャートに従って、利用者との応対を行う。図１３に示すフローチャートは、第１実施形態の図５に示すフローチャートと基本的に同様である。ただし、ロボットＡ１０ａは、ステップＳ１１２の同一人物の検索で用いる利用者情報ＤＢとして、ＤＢサーバ４０の利用者情報ＤＢを用いる。また、ロボットＡ１０ａは、ステップＳ１２０の利用者情報の取得で用いる利用者情報ＤＢとして、ＤＢサーバ４０の利用者情報ＤＢを用いる。

【0129】

ステップＳ１１２の同一人物の検索において、ロボットＡ１０ａの顔照合部２２８は、ＤＢサーバ４０の利用者情報ＤＢの利用者情報に含まれる応対ロボット情報に基づき、利用者情報ＤＢの利用者情報について検索優先度を決定する。顔照合部２２８は、決定した検索優先度の高低に従って、検索優先度の高い利用者情報から順に、利用者情報の顔特徴量を順次照合していく。このように検索優先度を決定することにより、同一人物の検索を効率よく行うことができる。

【0130】

具体的には、例えば、ロボットＡ１０ａの顔照合部２２８は、ＤＢサーバ４０の利用者情報ＤＢに登録された利用者情報のうち、自ロボット、すなわちロボットＡ１０ａにより取得された利用者情報の検索優先度を最も高く設定する。また、顔照合部２２８は、利用者情報ＤＢの利用者情報のうち、ロボットＡ１０ａとは別のロボットであって、同一店舗に配置されたロボットにより取得された利用者情報の検索優先度を２番目に高く設定する。また、顔照合部２２８は、利用者情報ＤＢの利用者情報のうち、ロボットＡ１０ａとは別のロボットであって、同一市区町村内の別店舗に配置されたロボットにより取得された利用者情報の検索優先度を３番目に高く設定する。また、顔照合部２２８は、利用者情報ＤＢの利用者情報のうち、ロボットＡ１０ａとは別のロボットであって、同一市区町村内ではないが同一都道府県内の別店舗に配置されたロボットにより取得された利用者情報の検索優先度を４番目に高く設定する。

【0131】

こうして、ロボットＡ１０ａとは別のロボットにより取得された利用者情報について、ロボットＡ１０ａの顔照合部２２８は、その別ロボットとロボットＡ１０ａとの間の距離的関係又は地理的関係に基づき、検索優先度を決定することができる。具体的には、ロボットＡ１０ａの顔照合部２２８は、その別ロボットの配置場所とロボットＡ１０ａの配置場所との間の遠近関係に基づき、別ロボットにより取得された利用者情報について検索優先度を決定することができる。

【0132】

このように、ロボットＡ１０ａの顔照合部２２８は、別ロボットで取得された利用者情報の検索優先度よりも、自ロボットで取得された利用者情報の検索優先度を高く設定することができる。また、ロボットＡ１０ａとは別のロボットにより取得された利用者情報について、ロボットＡ１０ａの顔照合部２２８は、その別ロボットとロボットＡ１０ａとの間の距離的関係又は地理的関係に基づき、検索優先度を決定することができる。

【0133】

また、本実施形態では、ステップＳ１２２のパーソナルな会話の実行に際して、会話生成部２４２が、その会話に利用する利用者情報の応対ロボット情報を考慮する。以下、本実施形態におけるステップＳ１２２のパーソナルな会話の実行の詳細について図１４を用いて説明する。図１４は、本実施形態におけるステップＳ１２２のパーソナルな会話の実行の詳細を示すフローチャートである。

【0134】

まず、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で利用者情報ＤＢから取得した利用者情報が、ロボットＡ１０ａで取得されたものであるか否か、すなわち自ロボットで取得されたものであるか否かを判定する（ステップＳ３０２）。

【0135】

利用者情報が自ロボットで取得されたものである場合（ステップＳ３０２、ＹＥＳ）、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で取得した利用者情報を直接的に利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。さらに、会話生成部２４２は、生成した文字データに対応する音声データを生成する。会話生成部２４２により生成された音声データは、利用者に向けて音声出力部２０から音声として出力される。なお、同一店舗等の同一の場所に複数台のロボットが配置さていることもあり、顔特徴量の照合が一致した利用者情報が、同一の場所に配置された別ロボットにより取得されたものである場合もありうる。この場合も、利用者情報が自ロボットで取得されたものである場合と同様に、同一場所に配置された別ロボットにより取得された利用者情報を直接的に利用して、会話生成部２４２は、パーソナルな会話を構成する文字データを会話エンジンにより生成することができる。

【0136】

こうして、ロボットＡ１０ａは、自ロボットで取得された利用者情報を直接的に利用して、パーソナルな会話を利用者との間で実行する（ステップＳ３０４）。例えば、自ロボットで取得した利用者情報に、利用者の誕生日が４月２日である旨の会話内容の会話履歴が含まれているとする。この場合、応対時の日付が４月２日に近接している場合、ロボットＡ１０ａは、例えば、「たしかそろそろ誕生日ですよね。」との発話を行うことができる。このように自ロボットで取得された利用者情報を直接的に利用することにより、会話履歴の会話内容と直接関連するパーソナルな会話、又は会話履歴の会話内容との関連性の高いパーソナルな会話を実行することができる。また、ロボットＡ１０ａとパーソナルな会話を行う利用者は、ロボットＡ１０ａと過去に会話したことを認識している可能性が高い。このため、会話履歴の内容と直接関連するパーソナルな会話が行われたとしても、利用者が、その会話の内容に対して不自然さ、違和感を覚える可能性は低い。

【0137】

このように、ロボットＡ１０ａの会話生成部２４２は、顔特徴量の照合が一致した利用者情報に含まれる応対装置情報により特定されるロボットが自ロボットであるか別ロボットであるかに応じて、利用者と行うパーソナルな会話の内容を変更する。なお、応対装置情報により特定されるロボットが別ロボットである場合、利用者と行うパーソナルな会話の内容は以下のようになる。

【0138】

一方、利用者情報が自ロボットで取得されたものでない場合、すなわち別ロボットで取得されたものである場合（ステップＳ３０２、ＮＯ）、ロボットＡ１０ａの会話生成部２４２は、ロボットＡ１０ａと別ロボットとの間の距離的関係又は地理的関係を判定する。ロボットＡ１０ａの会話生成部２４２は、判定された距離的関係又は地理的関係に応じて、別ロボットで取得された利用者情報を用いたパーソナルな会話の内容を変更する。なお、ここにいう距離的関係又は地理的関係とは、具体的には、例えば、ロボットＡ１０ａの配置場所と別ロボットの配置場所との間の遠近関係である。

【0139】

具体的には、例えば、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で利用者情報ＤＢから取得した利用者情報が、同一市区町村内の別ロボットで取得されたものであるか否かを判定する（ステップＳ３０６）。

【0140】

利用者情報が同一市区町村内の別ロボットで取得されたものである場合（ステップＳ３０６、ＹＥＳ）、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で取得した利用者情報を間接的に利用する。すなわち、会話生成部２４２は、ステップＳ１２０で取得した利用者情報を間接的に利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。さらに、会話生成部２４２は、生成した文字データに対応する音声データを生成する。会話生成部２４２により生成された音声データは、利用者に向けて音声出力部２０から音声として出力される。

【0141】

こうして、ロボットＡ１０ａは、同一市区町村内の別ロボットで取得された利用者情報を間接的に利用して、パーソナルな会話を利用者との間で実行する（ステップＳ３０８）。例えば、同一市区町村内の別ロボットで取得された利用者情報に、利用者が黄色好きである旨の会話内容の会話履歴が含まれるとする。この場合、ロボットＡ１０ａは、例えば、黄色の服を提示しつつ、「こういった服が流行していますがいかがでしょうか。」との発話を行うことができる。このように別ロボットで取得された利用者情報を間接的に利用することにより、会話履歴の会話内容との関連性を希釈化した内容のパーソナルな会話を実行することができる。別ロボットで取得された利用者情報を間接的に利用したパーソナルな会話の内容は、自ロボットで取得された利用者情報を直接的に利用したパーソナルな会話の内容と比較して、会話履歴の会話内容との関連性が低いものとなる。

【0142】

利用者情報が同一市区町村内の別ロボットで取得されたものでない場合（ステップＳ３０６、ＮＯ）、ロボットＡ１０ａの会話生成部２４２は、さらに、距離的関係又は地理的関係を判定する。すなわち、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で利用者情報ＤＢから取得した利用者情報が、同一都道府県内の別ロボットで取得されたものであるか否かを判定する（ステップＳ３１０）。

【0143】

利用者情報が同一都道府県内の別ロボットで取得されたものである場合（ステップＳ３１０、ＹＥＳ）、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で取得した利用者情報をさらに間接的に利用する。すなわち、会話生成部２４２は、ステップＳ１２０で取得した利用者情報をさらに間接的に利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。さらに、会話生成部２４２は、生成した文字データに対応する音声データを生成する。会話生成部２４２により生成された音声データは、利用者に向けて音声出力部２０から音声として出力される。

【0144】

こうして、ロボットＡ１０ａは、同一市区町村内ではないが同一度道府県内の別ロボットで取得された利用者情報をさらに間接的に利用して、パーソナルな会話を利用者との間で実行する（ステップＳ３１２）。例えば、同一市区町村内ではないが同一都道府県内の別ロボットで取得された利用者情報に、利用者が旅行好きである旨の会話内容の会話履歴が含まれるとする。この場合、ロボットＡ１０ａは、例えば、「暖かくなってきたので、どこかに行きたいですよね。」との発話を行うことができる。このように別ロボットで取得された利用者情報をさらに間接的に利用することにより、会話履歴の会話内容との関連性をさらに希釈化した内容のパーソナルな会話を実行することができる。別ロボットで取得された利用者情報をさらに間接的に利用したパーソナルな会話の内容は、別ロボットで取得された利用者情報を間接的に利用したパーソナルな会話の内容と比較して、会話履歴の会話内容との関連性がより低いものとなる。

【0145】

利用者情報が同一都道府県内の別ロボットで取得されたものでない場合（ステップＳ３１０、ＮＯ）、ロボットＡ１０ａの会話生成部２４２は、ステップＳ１２０で取得した利用者情報をよりさらに間接的に利用する。すなわち、会話生成部２４２は、ステップＳ１２０で取得した利用者情報をよりさらに間接的に利用して、パーソナルな会話を構成する文字データを会話エンジンにより生成する。さらに、会話生成部２４２は、生成した文字データに対応する音声データを生成する。会話生成部２４２により生成された音声データは、利用者に向けて音声出力部２０から音声として出力される。

【0146】

こうして、ロボットＡ１０ａは、同一都道府県内外の別ロボットで取得された利用者情報をよりさらに間接的に利用して、パーソナルな会話を利用者との間で実行する（ステップＳ３１４）。また、この場合は、同一都道府県内外の別ロボットで取得された利用者情報を利用することなく、一般的な会話を利用者との間で実行してもよい。このように別ロボットで取得された利用者情報をよりさらに間接的に利用することにより、会話履歴の会話内容との関連性をよりさらに希釈化した内容のパーソナルな会話を実行することができる。別ロボットで取得された利用者情報をよりさらに間接的に利用したパーソナルな会話の内容は、別ロボットで取得された利用者情報をさらに間接的に利用したパーソナルな会話の内容と比較して、会話履歴の会話内容との関連性がより低いものとなる。

【0147】

このように、ロボットＡ１０ａの会話生成部２４２は、顔特徴量の照合が一致した利用者情報に含まれる応対ロボット情報により特定されるロボットが別ロボットである場合に、別ロボットと自ロボットとの距離的関係又は地理的関係に応じて、利用者と行うパーソナルな会話の内容を変更する。

【0148】

上述のように、別ロボットで取得された利用者情報を利用してパーソナルな会話を実行する場合、パーソナルな会話の内容は、会話履歴の会話内容との関連性が希釈化されている。したがって、パーソナルな会話の内容に対して利用者が覚える不自然さ、違和感を軽減し、さらには、不自然さ、違和感を覚えさせないようにすることができる。

【0149】

このように、本実施形態によれば、パーソナルな会話の実行に用いる利用者情報に含まれる応対ロボット情報に応じて、パーソナルな会話の会話内容を変更するので、パーソナルな会話をより自然に行うことができる。

【0150】

なお、上記では、ＤＢサーバ４０の利用者情報ＤＢを用いる場合について説明したが、第３実施形態のようにＤＢサーバ４０の利用者情報ＤＢと同一内容に同期更新された自ロボットの利用者情報ＤＢを用いる場合も、上記と同様に処理することができる。

【0151】

［第５実施形態］
本発明の第５実施形態によるコンピュータ装置について図１５を用いて説明する。本実施形態では、上記第１乃至第４実施形態による応対ロボット及び応対システムにおける各部の処理を実現するために用いられるコンピュータ装置について説明する。

【0152】

図１５は、上記第１乃至第４実施形態による応対ロボット及び応対システムにおける各部の処理を実現するために用いられるコンピュータ装置の例を示している。図１５に示すコンピュータ装置２０００は、特に限定されるものではなく、様々な種類、形態のものであってよい。例えば、コンピュータ装置２０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。例えば、ロボット１０には、組み込みシステムとしてコンピュータ装置２０００を搭載することができる。

【0153】

コンピュータ装置２０００は、プロセッサ２００２と、メモリ２００４と、記憶装置２００６とを有している。また、コンピュータ装置２０００は、高速インターフェースを含む高速コントローラ２００８、及び低速インターフェースを含む低速コントローラ２０１０を有している。高速コントローラ２００８には、メモリ２００４及び高速拡張ポート２０１２が接続されている。また、高速コントローラ２００８には、ディスプレイ等の外部入出力装置が接続されている。一方、低速コントローラ２０１０には、低速拡張ポート２０１４及び記憶装置２００６が接続されている。

【0154】

ロボット１０における各部の処理を実現するためにコンピュータ装置２０００が用いられる場合、低速拡張ポート２０１４には、カメラモジュール２０１６と、マイクロフォンモジュール２０１８と、スピーカモジュール２０２０とが接続されている。さらに、この場合、低速拡張ポート２０１４には、アクチュエータモジュール２０２２が接続されている。カメラモジュール２０１６は、撮像部１６として機能する。マイクロフォンモジュール２０１８は、音声入力部１８として機能する。スピーカモジュール２０２０は、音声出力部２０として機能する。アクチュエータモジュール２０２２は、ロボット１０における可動部を駆動する駆動部として機能する。なお、これらモジュールは、高速拡張ポート２０１２に接続されうる。

【0155】

プロセッサ２００２、メモリ２００４、記憶装置２００６、高速コントローラ２００８、低速コントローラ２０１０、及び高速拡張ポート２０１２は、種々のバスにより相互に接続されている。また、プロセッサ２００２、メモリ２００４、記憶装置２００６、高速コントローラ２００８、低速コントローラ２０１０、及び高速拡張ポート２０１２は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。

【0156】

プロセッサ２００２は、例えばＣＰＵであり、コンピュータ装置２０００内で実行する命令を処理することができる。そのような命令には、ディスプレイ等の外部入出力装置上にＧＵＩ（Graphical User Interface）のグラフィック情報を表示するための、メモリ２００４内又は記憶装置２００６内に格納された命令が含まれる。

【0157】

また、複数のプロセッサ、複数のバス、又は複数のプロセッサ及び複数のバスを、複数のメモリ及び複数のタイプのメモリとともに適宜使用することができる。また、複数のコンピュータ装置２０００を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のコンピュータ装置２０００を、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして互いに接続することができる。

【0158】

メモリ２００４は、コンピュータ装置２０００内の情報を格納する。例えば、メモリ２００４は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ２００４は、他のコンピュータ可読媒体であってもよく、例えば、磁気ディスク、光ディスク等であってもよい。

【0159】

記憶装置２００６は、コンピュータ装置２０００用のマスストレージを構成することができる。記憶装置２００６は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ可読媒体である。または、記憶装置２００６は、そのようなコンピュータ可読媒体を含むことができる。記憶装置２００６は、ストレージエリアネットワーク、他の構成の装置を含む。コンピュータプログラム製品は、情報担体において明確に具現化されうる。コンピュータプログラム製品は、実行されると上述のような１つまたは複数の処理を実行する命令も格納することができる。情報担体は、メモリ２００４、記憶装置２００６、プロセッサ２００２上のメモリ、又は伝搬信号等のコンピュータ可読媒体若しくは機械可読媒体である。

【0160】

高速コントローラ２００８は、コンピュータ装置２０００に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ２０１０は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定さえるものではない。また、高速コントローラ２００８の一部又は全部は、プロセッサ２００２に内蔵されていてもよい。

【0161】

高速コントローラ２００８は、メモリ２００４、及び種々の拡張カードを受け入れることができる高速拡張ポート２０１２に接続されている。また、高速コントローラ２００８は、例えばグラフィックスプロセッサ又はアクセラレータを介して、ディスプレイ等の外部入出力装置に接続されている。

【0162】

また、低速コントローラ２０１０は、記憶装置２００６及び低速拡張ポート２０１４に接続されている。低速拡張ポート２０１４は、例えば、ＵＳＢ（Universal Serial Bus）、Bluetooth（登録商標）、有線又は無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート２０１４には、キーボード、ポインティングデバイス、スキャナ等の一又は複数の入出力装置を接続することができる。また、低速拡張ポート２０１４には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一又は複数のネットワーク機器を接続することができる。

【0163】

コンピュータ装置２０００は、数多くの異なる形態で実施することができる。例えば、コンピュータ装置２０００は、標準的なサーバ、又はそのようなサーバのグループの形態の複数台で実施することができる。また、コンピュータ装置２０００は、ラックサーバシステムの一部としても実施することもできる。さらに、コンピュータ装置２０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。

【0164】

上述したコンピュータ装置２０００は、上記実施形態におけるロボット１０の一部として機能することができる。この場合、コンピュータ装置２０００のプロセッサ２００２は、ロボット１０の制御部１２の機能を実現するプログラムを実行することにより、制御部１２として機能することができる。また、コンピュータ装置２０００の記憶装置２００６は、ロボット１０の記憶部１４として機能することができる。

【0165】

また、コンピュータ装置２０００は、上記実施形態におけるＤＢサーバ４０として機能することができる。この場合、コンピュータ装置２０００のプロセッサ２００２は、ＤＢサーバ４０における制御部４２の機能を実現するプログラムを実行することにより、制御部４２として機能することができる。また、コンピュータ装置２０００の記憶装置２００６は、ＤＢサーバ４０の記憶部４４として機能することができる。

【0166】

なお、コンピュータ装置２０００のプロセッサ２００２に実行させるプログラムの一部又は全部は、これを記録したＤＶＤ－ＲＯＭ（Digital Versatile Disc-Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。

【0167】

［他の実施形態］
上記各実施形態において説明した応対ロボットとして機能しうる応対装置は、他の実施形態によれば、図１６に示すように構成することもできる。図１６は、他の実施形態による応対装置の機能構成を示すブロック図である。

【0168】

図１６に示すように、他の実施形態による応対装置５０００は、応対を行う一の利用者の顔情報を取得する顔情報取得部５００２と、一の利用者と会話を行い、会話の内容を含む応対情報を取得する会話処理部５００４とを有している。また、応対装置５００は、応対が行われた利用者の顔情報と応対情報とを含む利用者情報が登録された利用者情報データベースに登録された顔情報と、一の利用者の顔情報とを照合する顔照合部５００６を有している。さらに、応対装置５０００は、顔照合部５００６による顔情報の照合結果が不一致である場合に、一の利用者の利用者情報を利用者情報データベースに登録する利用者情報管理部５００８を有している。

【0169】

他の実施形態による応対装置５０００によれば、利用者がその個人情報を事前登録する必要なく、利用者に応じてパーソナルな会話を自然に行うことができる。

【0170】

また、上記各実施形態において説明した応対システムは、他の実施形態によれば、図１７に示すように構成することもできる。図１７は、他の実施形態による応対システムの機能構成を示すブロック図である。

【0171】

図１７に示すように、他の実施形態による応対システム６０００は、応対装置７０００と、サーバ８０００とを含んでいる。応対装置７０００とサーバ８０００とはネットワーク９０００を介して通信可能になっている。

【0172】

応対装置７０００は、応対を行う一の利用者の顔情報を取得する顔情報取得部７００２と、一の利用者と会話を行い、会話の内容を含む応対情報を取得する会話処理部７００４とを有している。また、応対装置７０００は、第１の利用者情報データベースを格納する第１の記憶部７００６を有している。第１の利用者情報データベースは、応対が行われた利用者の顔情報と応対情報とを含む利用者情報が登録されている。また、応対装置７０００は、第１の利用者情報データベースに登録された顔情報と、一の利用者の顔情報とを照合する顔照合部７００８を有している。さらに、応対装置７０００は、顔照合部７００８による顔情報の照合結果が不一致である場合に、一の利用者の利用者情報を第１の記憶部７００６の第１の利用者情報データベースに登録する利用者情報管理部７０１０を有している。

【0173】

サーバ８０００は、第２の利用者情報データベースを格納する第２の記憶部８００２を有している。第２の利用者情報データベースには、複数の応対装置７０００で応対が行われた利用者の顔情報と応対情報とを含む利用者情報が登録されている。

【0174】

応対装置７０００の利用者情報管理部７０１０は、第１の利用者情報データベースと第２の利用者情報データベースとを同期する。これにより、利用者情報管理部７０１０は、第１の利用者情報データベースの内容を第２の利用者情報データベースの内容と同一内容に更新する。

【0175】

他の実施形態による応対システム６０００によれば、利用者がその個人情報を事前登録する必要なく、利用者に応じてパーソナルな会話を自然に行うことができる。

【0176】

［変形実施形態］
本発明は、上記実施形態に限らず、種々の変形が可能である。

【0177】

例えば、上記実施形態では、応対を行う応対装置としてロボット１０、ロボットＡ１０ａ、ロボットＢ１０ｂを例に説明したが、応対装置は、必ずしもロボットである必要はない。応対装置は、ロボットのほか、スマートフォン、タブレット端末、コンピュータ端末等の利用者との応対を行いうる装置であればよい。

【0178】

また、上記実施形態では、ロボット１０、ロボットＡ１０ａ、ロボットＢ１０ｂを店舗に配置する場合を例に説明したが、これらロボットが配置される場所は店舗に限定されるものではない。ロボットは、店舗のほか、応対を必要としうる利用者が訪れるあらゆる場所に配置することができる。

【0179】

また、上記実施形態では、撮像部１６により撮像される利用者の画像から、推定年齢、推定性別を利用者情報として取得して登録する場合を例に説明したが、他の情報を利用者情報として取得して登録することができる。例えば、撮像部１６により撮像される利用者の画像から、利用者の服装に関する服装情報、利用者と帯同する帯同者の人数、利用者がいる場所の天気、混雑具合等の場所の様子に関する場所情報を利用者情報として取得して登録することができる。

【0180】

また、上記実施形態では、ロボット１０、ロボットＡ１０ａ、ロボットＢ１０ｂが利用者との会話を行う場合を例に説明したが、これらロボットは、会話のみを行うものに限定されるものではない。これらロボットは、会話に加えて、利用者との会話内容等に応じて動作したり移動したりするように構成することができる。

【0181】

また、上記実施形態では、ロボット１０、ロボットＡ１０ａ、ロボットＢ１０ｂが音声により利用者と会話を行う場合を例に説明したが、これらロボットは、音声により会話を行うものに限定されるものではない。これらロボットは、例えば、会話生成部２４２により生成された利用者との会話を構成する文字データを内蔵ディスプレイ又は外部ディスプレイに表示することにより、利用者との会話を行ってもよい。

【0182】

上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0183】

（付記１）
利用者の顔情報を取得する顔情報取得部と、
前記利用者との会話の内容を含む応対情報を取得する会話処理部と、
前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合する顔照合部と、
前記顔照合部による前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記利用者情報データベースに登録する利用者情報管理部と
を有することを特徴とする応対装置。

【0184】

（付記２）
前記利用者情報データベースは、別の前記応対装置で取得された前記利用者情報が登録されていることを特徴とする付記１記載の応対装置。

【0185】

（付記３）
前記会話処理部は、前記顔照合部による前記顔情報の照合結果が一致である場合に、前記顔情報の照合が一致した前記利用者情報データベースの前記利用者情報を利用して、前記一の利用者と会話を行うことを特徴とする付記２記載の応対装置。

【0186】

（付記４）
前記利用者情報は、前記利用者に応対した応対装置を特定する応対装置情報を含み、
前記会話処理部は、前記顔情報の照合が一致した前記利用者情報データベースの前記利用者情報に含まれる前記応対装置情報により特定される応対装置が自装置であるか前記別の応対装置であるかに応じて、前記一の利用者と行う前記会話の内容を変更することを特徴とする付記３記載の応対装置。

【0187】

（付記５）
前記会話処理部は、前記顔情報の照合が一致した前記利用者情報データベースの前記利用者情報に含まれる前記応対装置情報により特定される応対装置が前記別の応対装置である場合に、前記別の応対装置と自装置との距離的関係に応じて、前記一の利用者と行う前記会話の内容を変更することを特徴とする付記４記載の応対装置。

【0188】

（付記６）
前記顔照合部は、前記利用者情報データベースに登録された前記利用者情報のうち、自装置で取得された前記利用者情報の前記顔情報を、前記別の応対装置で取得された前記利用者情報よりも高い優先度で前記一の利用者の前記顔情報と照合することを特徴とする付記３乃至５のいずれかに記載の応対装置。

【0189】

（付記７）
前記利用者情報データベースを格納する記憶部を有し、
前記利用者情報管理部は、前記記憶部に格納された前記利用者情報データベースと、ネットワークを介して通信可能なサーバの他の記憶部に格納された他の利用者情報データベースであって、複数の前記応対装置で取得された前記利用者の前記顔情報と前記応対情報とを含む前記利用者情報が登録された他の利用者情報データベースとを同期して、前記利用者情報データベースの内容を前記他の利用者情報データベースの内容と同一内容に更新することを特徴とする付記１乃至６のいずれかに記載の応対装置。

【0190】

（付記８）
前記利用者情報データベースは、ネットワークを介して通信可能なサーバの記憶部に格納されていることを特徴とする付記１乃至６のいずれかに記載の応対装置。

【0191】

（付記９）
前記利用者を撮像する撮像部を有し、
前記顔情報取得部は、前記撮像部により撮像された前記利用者の顔画像から前記顔情報として顔特徴量を抽出することを特徴とする付記１乃至８のいずれかに記載の応対装置。

【0192】

（付記１０）
前記利用者情報データベースは、登録された前記利用者情報の利用者が誰であるかわからない匿名のデータベースであることを特徴とする付記１乃至９のいずれかに記載の応対装置。

【0193】

（付記１１）
応対装置と、ネットワークを介して前記応対装置と通信可能なサーバとを含み、
前記応対装置は、
利用者の顔情報を取得する顔情報取得部と、
前記利用者との会話の内容を含む応対情報を取得する会話処理部と、
前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された第１の利用者情報データベースを格納する第１の記憶部と、
前記第１の利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合する顔照合部と、
前記顔照合部による前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記第１の記憶部の前記第１の利用者情報データベースに登録する利用者情報管理部とを有し、
前記サーバは、
複数の前記応対装置で取得された前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された第２の利用者情報データベースを格納する第２の記憶部を有し、
前記利用者情報管理部は、前記第１の利用者情報データベースと前記第２の利用者情報データベースとを同期して、前記第１の利用者情報データベースの内容を前記第２の利用者情報データベースの内容と同一内容に更新することを特徴とする応対システム。

【0194】

（付記１２）
前記応対装置の前記利用者情報管理部は、前記第１の利用者情報データベースに登録された前記利用者情報を前記サーバに送信し、
前記サーバは、前記応対装置の前記利用者情報管理部から送信された前記利用者情報を前記第２の利用者情報データベースに登録する
ことを特徴とする付記１１記載の応対システム。

【0195】

（付記１３）
利用者の顔情報を取得し、
前記利用者との会話の内容を含む応対情報を取得し、
前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合し、
前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記利用者情報データベースに登録する
ことを特徴とする応対方法。

【0196】

（付記１４）
前記顔情報の照合結果が一致である場合に、前記顔情報の照合が一致した前記利用者情報データベースの前記利用者情報を利用して、前記一の利用者と会話を行うことを特徴とする付記１３記載の応対方法。

【0197】

（付記１５）
コンピュータに、
利用者の顔情報を取得し、
前記利用者との会話の内容を含む応対情報を取得し、
前記利用者の前記顔情報と前記応対情報とを含む利用者情報が登録された利用者情報データベースに登録された前記顔情報と、一の利用者の前記顔情報とを照合し、
前記顔情報の照合結果が不一致である場合に、前記一の利用者の前記利用者情報を前記利用者情報データベースに登録する
ことを実行させることを特徴とするプログラムが記録された記録媒体。

【0198】

（付記１６）
前記プログラムが、前記コンピュータに、
前記顔情報の照合結果が一致である場合に、前記顔情報の照合が一致した前記利用者情報データベースの前記利用者情報を利用して、前記一の利用者と会話を行う
ことを実行させる付記１５記載の記録媒体。

【0199】

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0200】

この出願は、２０１６年６月１３日に出願された日本出願特願２０１６－１１７３９６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0201】

１０…ロボット
１０ａ…ロボットＡ
１０ｂ…ロボットＢ
１２…制御部
１４…記憶部
１６…撮像部
１８…音声入力部
２０…音声出力部
２２…顔情報処理部
２４…会話処理部
２６…利用者情報管理部
３０…応対システム
４０…ＤＢサーバ
４２…制御部
４４…記憶部
５０…ネットワーク
２２０…顔検出部
２２２…顔特徴量抽出部
２２８…顔照合部
２４０…音声認識部
２４２…会話生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】