特開 2024-101911 制御装置、制御方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101911

(43)【公開日】2024-07-30

(54)【発明の名称】制御装置、制御方法及びコンピュータプログラム

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240723BHJP

【ＦＩ】

B25J13/00 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023006128

(22)【出願日】2023-01-18

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】櫟原 英士

(72)【発明者】

【氏名】小林 航生

(72)【発明者】

【氏名】浜口 沙月

(72)【発明者】

【氏名】伊能 大雅

(72)【発明者】

【氏名】諸角 有紗

(72)【発明者】

【氏名】白井 良介

(72)【発明者】

【氏名】大西 洋二

(72)【発明者】

【氏名】網中 洋明

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS34

3C707AS38

3C707CS08

3C707KS11

3C707KS36

3C707KT01

3C707KT06

3C707LW12

3C707WA03

3C707WL07

(57)【要約】

【課題】 利用者に対して、普段受けているサービスと同等のサービスを提供する。
【解決手段】 第１の人物を識別する識別部と、第１の人物に関連する第２の人物の情報を取得する取得部と、第２の人物の情報に基づいて、第１の人物に対する行動を読み出す指示部とを備える制御装置。
【選択図】 図３

【特許請求の範囲】

【請求項1】

第１の人物を識別する識別部と、
前記第１の人物に関連する第２の人物の情報を取得する取得部と、
前記第２の人物の情報に基づいて、前記第１の人物に対する行動を読み出す指示部と
を備える制御装置。

【請求項2】

前記行動は、前記第１の人物に対して前記第２の人物がとった行動の特徴を含む、請求項１に記載の制御装置。

【請求項3】

前記第１の人物の担当者を第２の人物として特定する関係特定部
をさらに備える、請求項２に記載の制御装置。

【請求項4】

前記関係特定部は、人物間の距離、前記距離が所定の閾値以下となる時間、人物間の会話情報、人物間の行動関係、または人物の属性情報の少なくともいずれか１つを用いることにより、前記第１の人物の担当者を推定し、当該担当者を第２の人物として特定する
ことを特徴とする、請求項３に記載の制御装置。

【請求項5】

前記関係特定部は、前記特定された第２の人物のうち、前記第１の人物による評価が所定の閾値以上である人物を選択する
ことを特徴とする、請求項４に記載の制御装置。

【請求項6】

前記第１の人物の感情を推定する感情分析部と、
前記感情に基づいて前記評価を算出する評価算出部と
をさらに備える、請求項５に記載の制御装置。

【請求項7】

前記第１の人物から前記評価の入力を受け付ける入力受付部
をさらに備える、請求項５に記載の制御装置。

【請求項8】

前記第１の人物の状態を推定する人物情報取得部をさらに備え、
前記指示部は、前記状態にさらに基づいて、前記第１の人物に対する行動を読み出す
ことを特徴とする、請求項１乃至７のいずれか一項に記載の制御装置。

【請求項9】

制御装置が、
第１の人物を識別し、
前記第１の人物に関連する第２の人物の情報を取得し、
前記第２の人物の情報に基づいて、前記第１の人物に対する行動を読み出す
ことを特徴とする、制御方法。

【請求項10】

コンピュータに、
第１の人物を識別する処理と、
前記第１の人物に関連する第２の人物の情報を取得する処理と、
前記第２の人物の情報に基づいて、前記第１の人物に対する行動を読み出す処理と
を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、利用者に対してサービスを提供する制御を行う制御装置、制御方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

近年、様々な分野においてロボットの普及が進んでいる。

【0003】

介護の分野では、例えば特許文献１や特許文献２に開示されているようなロボットが知られている。特許文献１に記載の介護用ロボットは、ベッドに座っている被介護者を抱きかかえて、車いすへ移動させる。特許文献２に記載の歩行支援ロボットは、被介護者の歩行を支援する。接客の分野では、例えば特許文献３に開示されているようなロボットが知られている。特許文献３に記載の接客ロボットは、商品説明、ガイダンス、顧客の呼び込み等の接客行動を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－０５２０７９号公報

【特許文献2】特開２０２２－０００１４３号公報

【特許文献3】特開２０１９－０３２７７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

サービスを提供する人ごとに、サービスの内容（態様）は異なる。また、介護や接客においては、サービスを提供する担当者が利用者ごとに予め決められていることがある。そのため、担当者が行う作業の一部をロボットに実施させようとした場合、ロボットが提供するサービスと、担当者が提供するサービスとが異なる可能性がある。これにより、利用者は、ロボットが提供したサービスに対して違和感を抱く恐れがある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、ロボットがサービスを提供した際に利用者が感じる違和感を低減することができる制御装置等を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の制御装置は、第１の人物を識別する識別部と、第１の人物に関連する第２の人物の情報を取得する取得部と、第２の人物の情報に基づいて、第１の人物に対する行動を読み出す指示部とを備える。

【0008】

本発明の制御方法は、制御装置が、第１の人物を識別し、第１の人物に関連する第２の人物の情報を取得し、第２の人物の情報に基づいて、第１の人物に対する行動を読み出すことを特徴とする。

【0009】

本発明のコンピュータプログラムは、コンピュータに、第１の人物を識別する処理と、第１の人物に関連する第２の人物の情報を取得する処理と、第２の人物の情報に基づいて、第１の人物に対する行動を読み出す処理とを実行させる。

【発明の効果】

【0010】

本発明によれば、ロボットがサービスを提供した際に利用者が感じる違和感を低減することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態における提供システム１０００の構成例を示す図である。

【図2】第１実施形態における提供システム１０００の構成例を示す図である。

【図3】第１実施形態における制御装置１００の構成例を示す図である。

【図4】第１実施形態における制御装置１００の動作例を示すフローチャートである。

【図5】第１実施形態における提供システム１０００を介護サービスに適用する場合のイメージ図である。

【図6】第１実施形態における提供システム１０００を接客サービスに適用する場合のイメージ図である。

【図7】第２実施形態における提供システム１０００の構成例を示す図である。

【図8】第２実施形態における制御装置１００の前処理の動作例を示すフローチャートである。

【図9】第３実施形態における提供システム１０００の構成例を示す図である。

【図10】評価算出部１０６によって生成される、担当者情報に評価点を紐づけた情報の一例である。

【図11】第３実施形態における制御装置１００の前処理の動作例を示すフローチャートである。

【図12】第３実施形態における制御装置１００を変形した構成例を示す図である。

【図13】第４実施形態における提供システム１０００の構成例を示す図である。

【図14】第４実施形態における記憶装置５００が保持する第２の人物の行動モデルを説明するための図である。

【図15】第４実施形態における制御装置１００の動作例を示すフローチャートである。

【図16】本開示における制御装置１００を、プロセッサを含むコンピュータ装置１０で実現したハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下に、本発明に係る実施形態を、図面を参照しながら詳細に説明する。尚、以下の説明において、利用者、提供者、第１の人物及び第２の人物という用語を用いるが、これらの用語の定義は、例えば以下の通りである。利用者とは、サービスの利用者を指す。利用者は、１人または複数人である。第１の人物とは、利用者のうち、任意の１人を指す。提供者とは、サービスの提供者を指す。提供者は、１人または複数人である。第２の人物とは、提供者のうち、第１の人物の担当者を指す。

【0013】

［第１実施形態］

【0014】

（提供システム１０００の構成）
図１は、第１実施形態における提供システム１０００の構成例を示す図である。提供システム１０００は、利用者にサービスを提供するためのシステムである。提供システム１０００は、図１に示すように、制御装置１００、ロボット２００、撮影装置３００、センサ４００及び記憶装置５００から構成される。

【0015】

制御装置１００は、ロボット２００に制御指示を行うための装置である。そのため、制御装置１００は、ロボット２００と通信可能に接続されている。あるいは、図２に示すように、制御装置１００は、ロボット２００の構成の一部としてもよい。制御装置１００は、例えば、コンピュータ、サーバ等の情報処理装置によって実現される。制御装置１００の具体的な構成については、後述する。

【0016】

ロボット２００は、制御装置１００からの指示に基づいて、第１の人物に対してサービスを提供する装置である。具体的には、ロボット２００は、制御装置１００からの指示に基づいて、サービスの利用者に対してサービスを提供する装置である。ロボット２００は、例えば人間が行う動作や作業を支援するサービスロボットである。このようなサービスロボットは、ヒューマノイドロボット、ロボットハンド、ロボットアームまたはそれらの組合せにより実現され得る。また、これに限らず、物体を掴んだり、物体を移動させたり、自身を移動させたりするための種々のアクチュエータを１つまたは複数有した装置であってもよい。ロボット２００は、制御部２０１を備える。制御部２０１は、制御装置１００から受信した指示に基づき、ロボット２００の動作の制御を行う。制御部２０１は、例えばＣＰＵ（Central Processing Unit）などのプロセッサとメモリを含むコンピュータ回路によって実現される。

【0017】

撮影装置３００は、第１の人物を撮影する装置である。具体的には、撮影装置３００は、利用者の撮影を行う。撮影装置３００は、制御装置１００と通信可能に接続される。詳細は後述するが、撮影装置３００が撮影した情報は制御装置１００に送信され、制御装置１００によって利用者の識別処理のために使用される。また、制御装置１００の識別処理には、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか１つを利用する。そのため、提供システム１０００の構成にセンサ４００が含まれる場合、提供システム１０００は撮影装置３００を含まない構成としてもよい。撮影装置３００は、例えば、ロボット２００が配置される空間を俯瞰する位置に設置される。あるいは、撮影装置３００は、ロボット２００に設置されてもよい。なお、撮影装置３００は、必ずしも建物やロボット２００に固定されている必要はなく、取り外したり、移動させたりすることが可能なものであってもよい。このような可搬式のカメラとして、例えばカメラを搭載したドローンや、ウェアラブルカメラなどが挙げられる。

【0018】

センサ４００は、第１の人物の情報を取得するためのセンサである。具体的には、センサ４００は、指紋センサ、音センサ（マイクロホン）、距離センサ、またはこれらの組合せによって実現され、利用者の情報を取得する。前述したセンサは一例であり、前述の例に限らない。さらに、撮影装置３００をセンサ４００として用いるようにしてもよいし、撮影装置３００とは異なる撮影装置をセンサ４００として用いるようにしてもよい。センサ４００は、以下に示す情報のいずれかまたは両方を取得する。
・利用者の身体的特徴（指紋や声紋）
・ロボット２００と利用者との間の距離

【0019】

センサ４００は、制御装置１００と通信可能に接続される。詳細は後述するが、センサ４００が取得した利用者の身体的特徴についての情報は制御装置１００に送信され、制御装置１００によって利用者の識別処理のために使用される。また、センサ４００が取得したロボット２００と利用者との間の距離の情報は、制御装置１００に送信され、制御装置１００のロボット２００の制御に使用される。

【0020】

前述したように、制御装置１００の識別処理には、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか１つを利用する。そのため、提供システム１０００の構成に撮影装置３００が含まれる場合、提供システム１０００はセンサ４００を含まない構成としてもよい。また、センサ４００は、例えばロボット２００に設置される。

【0021】

記憶装置５００は、制御装置１００の処理に必要な情報を保持するものである。記憶装置５００は、具体的には、以下に記す３つの情報を保持する。
・第１の人物の身体的特徴
・担当者情報
・第２の人物の行動モデル

【0022】

第１の人物の身体的特徴とは、具体的には、利用者の顔や、指紋、虹彩、網膜、声紋、静脈等の生体情報である。第１の人物の身体的特徴は、利用者を識別するために制御装置１００によって利用される。記憶装置５００は、利用者の身体的特徴と、利用者の識別情報とを紐づけて保持する。尚、識別情報とは、当該情報により人物を特定することができる情報である。識別情報は、具体的には、氏名や、年齢、性別等の情報を含む。識別情報は、前述した情報以外の情報を含むものとしてもよい。

【0023】

担当者情報とは、第１の人物の識別情報と、第１の人物を担当する第２の人物の識別情報とを対応付けた情報を指す。具体的には、担当者情報とは、利用者の識別情報と、利用者を担当する提供者の識別情報とを対応付けた情報を指す。提供者を識別するための情報とは、情報により提供者を特定できる情報であり、提供者の氏名や、年齢、性別等の情報を含む。提供者を識別するための情報は、前述した情報以外の情報を含むものとしてもよい。

【0024】

第２の人物の行動モデルとは、具体的には、提供者の行動を教師データとして作成されたモデルである。提供者の行動モデルは、既知の機械学習法によって生成される。提供者の行動モデルは、例えば、利用者の状態を表すデータと、当該状態において行われる提供者の行動に関するデータとを対応付けた情報とを用いて、模範学習を行うことによって生成される。つまり、提供者の行動モデルは、利用者に対して提供者がとった行動の特徴を含む。記憶装置５００には、提供者の行動モデルと、当該提供者の識別情報とを紐づけた情報が保持される。

【0025】

（制御装置１００の構成）
次に、制御装置１００の構成について、図３を参照して説明する。図３は、第１実施形態における制御装置１００の構成例を示す図である。図３に示すように、制御装置１００は、識別部１０１と、取得部１０２と、指示部１０３とから構成される。

【0026】

識別部１０１は、第１の人物を識別する。具体的には、識別部１０１は、利用者を識別する。識別部１０１は、記憶装置５００が保持する利用者の身体特徴と、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方とに基づいて、利用者の識別を行う。

【0027】

識別部１０１は、具体的には、以下に記す手順によって利用者の識別を行う。まず、識別部１０１は、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方を取得する。識別部１０１は、撮影装置３００が撮影した画像を受信した場合には、公知の画像分析手段によって、画像に写る利用者の身体的特徴を抽出する。具体的には、識別部１０１は、画像から顔の特徴量や虹彩の特徴量を抽出する。そして、識別部１０１は、画像から抽出された身体的特徴またはセンサ４００から取得された身体的特徴の少なくともいずれか一方を、記憶装置５００が保持する利用者の身体的特徴と照合することにより、利用者の識別を行う。この際に、識別部１０１は、当該身体的特徴に該当する利用者の識別情報を特定する。

【0028】

取得部１０２は、第１の人物に関連する第２の人物の情報を取得する。具体的には、取得部１０２は、識別部１０１によって識別された利用者を担当する提供者の識別情報を取得する。

【0029】

取得部１０２は、具体的には、以下に記す手順によって利用者を担当する提供者の情報を取得する。まず、取得部１０２は、識別部１０１が特定した利用者の識別情報を用いて、記憶装置５００が保持する担当者情報を検索する。そして、取得部１０２は、当該利用者を担当する提供者の識別情報を取得する。

【0030】

指示部１０３は、第２の人物の情報に基づいて、前記第１の人物に対する行動を読み出す。具体的には、指示部１０３は、取得部１０２が取得した提供者の識別情報に基づいて、利用者に対する行動、すなわち利用者を担当する提供者の行動モデルを読み出す。指示部１０３は、具体的には、以下に記す手順によって提供者の行動モデルを読み出す。指示部１０３は、取得部１０２が取得した提供者の識別情報を用いて、記憶装置５００が保持する提供者の行動モデルを検索する。そして、指示部１０３は、当該提供者の行動モデルを読み出す。また、指示部１０３は、読み出した行動モデルを、ロボット２００へ送信する。

【0031】

（制御装置１００の動作）
次に、第１実施形態における制御装置１００の動作の一例について、図４のフローチャートを参照して説明する。

【0032】

制御装置１００は一例として、センサ４００によって取得された、ロボット２００と利用者との間の距離が所定の閾値以下になることによって処理を開始する。あるいは、制御装置１００は、ロボット２００の起動と同時に処理を開始するものとしてもよいし、あらかじめ定められた時間ごとに処理を開始するものとしてもよい。さらには、制御装置１００は、外部からの指示を受け付けて処理を開始するようにしてもよい。

【0033】

まず、識別部１０１は、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方を取得し、利用者の身体的特徴を抽出する。次に、識別部１０１は、利用者の身体的特徴と、記憶装置５００が保持する利用者の身体的特徴とを照合することにより、利用者を識別する（ステップＳ１０１）。この際に、識別部１０１は、記憶装置５００から利用者の識別情報を取得する。

【0034】

次に、取得部１０２は、識別部１０１が特定した利用者の識別情報を用いて、記憶装置５００が保持する担当者情報を検索する。そして、取得部１０２は、当該利用者を担当する提供者の識別情報を取得する（ステップＳ１０２）。

【0035】

次に、指示部１０３は、取得部１０２が取得した提供者の識別情報を用いて、記憶装置５００が保持する提供者の行動モデルを検索する。そして、指示部１０３は、当該提供者の行動モデルを読み出す（ステップＳ１０３）。指示部１０３は、読み出した行動モデルをロボット２００へ送信し、処理を終了する。

【0036】

（効果）
第１実施形態における制御装置１００は上記のように構成されている。次に、第１実施形態における効果を説明する。

【0037】

上述したように、制御装置１００は、第１の人物を識別し、識別された第１の人物を担当する第２の人物の識別情報を取得し、取得した第２の人物の識別情報に基づいて、第１の人物に対する行動、すなわち第１の人物を担当する第２の人物の行動モデルを読み出す。換言すれば、第１実施形態における制御装置１００は、利用者を普段担当している提供者の行動モデルを読み出すことができる。提供者の行動モデルは、第１の人物に対して第２の人物がとった行動の特徴を含む。つまり、第１実施形態における制御装置１００によれば、ロボットがサービスを提供した際に利用者が感じる違和感を低減することができる。

【0038】

（提供システム１０００の適用例）
次に、提供システム１０００によって実際のサービスに適用する具体例を説明する。本説明では一例として、介護サービスに適用する具体例と接客サービスに適用する具体例について説明する。提供システム１０００の適用先は上記に限定されず、その他のサービスに適用されてもよい。

【0039】

（具体例１：介護サービスに適用する場合）
図５は、第１実施形態における提供システム１０００を介護サービスに適用する場合のイメージ図である。提供システム１０００を介護サービスに適用する場合、利用者は介護サービスを受ける被介護者（１Ａ及び１Ｂ）となり、提供者は介護サービスを提供する介護者（２Ａ及び２Ｂ）になる。尚、図５において、被介護者の人数を２人として示したが、被介護者の人数は１人以上であればよく、人数は限定されない。また、以降の説明において、被介護者１Ａ及び被介護者１Ｂを特に区別する必要がない場合には、被介護者１と記す。同様に、介護者２Ａ及び介護者２Ｂについても、特に区別する必要がない場合には、介護者２と記す。

【0040】

また、具体例１において、ロボット２００が被介護者１に提供するサービスは、介護サービスである。介護サービスとは、具体的には、歩行支援や、ベッドからの移動支援、食事支援、おむつの交換が考えられる。ロボット２００が提供する前述の介護サービスは一例であり、前述の例に限らない。

【0041】

具体例１における提供システム１０００の構成は、実施形態１で示した構成と同様である。すなわち、提供システム１０００は、図１または図２に示すように、制御装置１００、ロボット２００、撮影装置３００、センサ４００及び記憶装置５００から構成される。

【0042】

ロボット２００は、被介護者１に前述のような介護サービスを提供する装置である。ロボット２００は、前述のような介護サービスを提供できるロボットによって実現される。ロボット２００は、例えば、特許文献１に記載の介護用ロボットや、特許文献２に記載の歩行支援ロボット、食事支援を行うロボット、おむつの交換を行うロボットによって実現され得る。前述したロボット２００の実現手段は一例であり、前述の例に限定されない。ロボット２００は、介護サービスを提供できればどのようなものであってもよい。尚、図５において、ロボット２００の数を２つ（２００Ａ及び２００Ｂ）として示したが、ロボットは１つ以上であればよく、数は限定されない。

【0043】

撮影装置３００は、被介護者１を撮影する装置である。撮影装置３００は、例えば、図５に示すように、ロボット２００が配置される空間を俯瞰する位置に設置される。あるいは、撮影装置３００は、ロボット２００の構成の一部であってもよい。また、前述したように、提供システム１０００は、撮影装置３００またはセンサ４００のいずれか一方を備えない構成としてもよい。そのため、図５に示すように、提供システム１０００にセンサ（４００Ａ及び４００Ｂ）が含まれる場合には、撮影装置３００を構成に含まなくてもよい。尚、図５において、撮影装置３００の数を１つとして示したが、撮影装置３００は複数であってもよい。

【0044】

センサ４００は、被介護者１の身体的特徴（指紋や声紋）またはロボット２００と被介護者１との間の距離の少なくともいずれか一方を取得する。センサ４００は、例えば図５に示すように、ロボット２００に設置される。また、図５に示すように、提供システム１０００に撮影装置３００が含まれる場合には、センサ４００を構成に含まなくてもよい。尚、図５において、センサ４００の数を２つとして示したが、センサ４００の数は限定されない。

【0045】

記憶装置５００は、制御装置１００の処理に必要な情報を保持するものである。前述したように、記憶装置５００は、以下に記す３つの情報を保持する。
・被介護者１の身体的特徴
・担当者情報
・介護者２の行動モデル

【0046】

担当者情報とは、被介護者１の識別情報と、被介護者１を担当する介護者２の識別情報とを対応付けた情報を指す。例えば、被介護者１Ａを担当するのが介護者２Ａであり、被介護者１Ｂを担当するのが介護者２Ｂであるとする。この場合、担当者情報には、被介護者１Ａの識別情報と介護者２Ａの識別情報とを対応付けた情報、及び被介護者１Ｂの識別情報と介護者２Ｂの識別情報とを対応付けた情報が含まれることになる。担当者情報は、例えば、介護施設が保有するデータベースから取得した情報に基づいて作成され、記憶装置５００に保持される。

【0047】

介護者２の行動モデルとは、被介護者１の状態を表すデータと、当該状態において行われる介護者２の行動に関するデータとを対応付けた情報を教師データとして作成されたモデルを指す。

【0048】

介護者２の行動に関するデータとは、例えば以下のようなデータを含む。例えば、ロボット２００が歩行支援または移動支援を行うロボットである場合、介護者２の行動に関するデータは、介護者２が被介護者１を把持する位置や、把持する際に被介護者１に加える力の強さ、介護者２が被介護者１を移動させる速度、介護者２が被介護者１に声掛けをするタイミング及びその内容を含む。例えば、ロボット２００が食事支援を行うロボットである場合、介護者２の行動に関するデータは、介護者２が被介護者１の口に食事を運ぶ順番や、被介護者１の口に食事を運ぶ速度、被介護者１の口に食事を運ぶ際の角度、被介護者１に声掛けをするタイミング及びその内容を含む。例えば、ロボット２００がおむつの交換を行うロボットである場合、介護者２の行動に関するデータは、介護者２が被介護者１に声掛けをするタイミング及びその内容を含む。尚、前述した介護者２の行動に関するデータは一例であり、前述の例に限らない。

【0049】

介護者２の行動モデルは、例えば、被介護者１の状態を表すデータと、当該状態において行われる、前述のような介護者２の行動に関するデータとを対応付けた情報とを用いて、制御装置１００が機械学習による模範学習を行うことによって生成される。制御装置１００によって生成された行動モデルは記憶装置５００に記憶される。具体的に、記憶装置５００には、介護者２の行動モデルと、当該介護者２の識別情報とを紐づけた情報が保持される。

【0050】

制御装置１００は、ロボット２００に制御指示を行うための装置である。具体例１における制御装置１００の構成は、実施形態１で示した構成と同様である。すなわち、制御装置１００は、図３に示すように、識別部１０１、取得部１０２、及び指示部１０３から構成される。

【0051】

識別部１０１は、被介護者１を識別する。具体的には、識別部１０１は、記憶装置５００が保持する被介護者１の身体特徴と、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方とに基づいて、被介護者１の識別を行う。

【0052】

取得部１０２は、識別部１０１によって識別された被介護者１を担当する介護者２の識別情報を取得する。

【0053】

指示部１０３は、取得部１０２が取得した介護者２の識別情報に基づいて、被介護者１に対する行動すなわち介護者２の行動モデルを読み出す。

【0054】

制御装置１００の動作は、実施形態１で図４を参照しながら説明した動作と同様であるため、ここでの説明は省略する。

【0055】

具体例１における制御装置１００は上記のように構成されている。次に、具体例１における効果を説明する。

【0056】

介護の現場において、被介護者１の介護を担当する介護者２は予め決められている場合が多い。また、介護者２の提供する介護サービスは、人によって内容が異なる。例えば、歩行支援または移動支援の介護サービスにおいて、介護者２が被介護者１を把持する位置や、把持する際に被介護者１に加える力の強さ、介護者２が被介護者１を移動させる速度、介護者２が被介護者１に声掛けをするタイミング及びその内容は、介護者２によって異なる。例えば、食事支援の介護サービスにおいて、介護者２が被介護者１の口に食事を運ぶ順番や、被介護者１の口に食事を運ぶ速度、被介護者１の口に食事を運ぶ際の角度、被介護者１に声掛けをするタイミング及びその内容は、介護者２によって異なる。例えば、おむつの交換の介護サービスにおいて、介護者２が被介護者１に声掛けをするタイミング及びその内容は、介護者２によって異なる。介護の現場にロボットを導入する場合、ロボットが提供するサービスと、被介護者１が普段受けているサービスとが異なるため、ロボットが提供するサービスに対して違和感を感じるおそれがある。

【0057】

これに対し、具体例１の制御装置１００は、被介護者１を識別する識別部１０１と、識別部１０１によって識別された被介護者１を担当する介護者２の識別情報を取得する取得部１０２と、取得部１０２が取得した介護者２の識別情報に基づいて、被介護者１に対する行動すなわち介護者２の行動モデルを読み出す指示部１０３とを備える。読み出される介護者２の行動モデルは、被介護者１の状態を表すデータと、当該状態において行われる介護者２の行動に関するデータとを対応付けた情報を教師データとして作成されたモデルである。そのため、具体例１の制御装置１００によれば、ロボットがサービスを提供した際に被介護者１が感じる違和感を低減することができる。

【0058】

（具体例２：接客サービスに適用する場合）
図６は、第１実施形態における提供システム１０００を接客サービスに適用する場合のイメージ図である。提供システム１０００を接客サービスに適用する場合、利用者は接客サービスを受ける顧客（３Ａ及び３Ｂ）となり、提供者は接客サービスを提供する店員（４Ａ及び４Ｂ）になる。尚、図６において、顧客の人数を２人として示したが、顧客の人数は１人以上であればよく、人数は限定されない。また、以降の説明において、顧客３Ａ及び顧客３Ｂを特に区別する必要がない場合には、顧客３と記す。同様に、店員４Ａ及び店員４Ｂについても、特に区別する必要がない場合には、店員４と記す。

【0059】

また、具体例２において、ロボット２００が顧客３に提供するサービスは、接客サービスである。接客サービスとは、具体的には、商品説明や、ガイダンス、顧客３への声掛けが考えられる。ロボット２００が提供する前述の接客サービスは一例であり、前述の例に限らない。

【0060】

具体例２における提供システム１０００の構成は、実施形態１で示した構成と同様である。すなわち、提供システム１０００は、図１または図２に示すように、制御装置１００、ロボット２００、撮影装置３００、センサ４００及び記憶装置５００から構成される。

【0061】

ロボット２００は、顧客３に前述のような接客サービスを提供する装置である。ロボット２００は、前述のような接客サービスを提供できるロボットによって実現される。ロボット２００は、例えば、特許文献３に記載の接客ロボットによって実現され得る。前述したロボット２００の実現手段は一例であり、前述の例に限定されない。ロボット２００は、接客サービスを提供できればどのようなものであってもよい。尚、図６において、ロボット２００の数を２つ（２００Ａ及び２００Ｂ）として示したが、ロボットは１つ以上であればよく、数は限定されない。

【0062】

撮影装置３００は、顧客３を撮影する装置である。センサ４００は、顧客３の身体的特徴（指紋や声紋）、またはロボット２００と顧客３との間の距離の少なくともいずれか一方を取得する。撮影装置３００及びセンサ４００の詳細は具体例１と同様であるため、ここでの説明は省略する。

【0063】

記憶装置５００は、制御装置１００の処理に必要な情報を保持するものである。前述したように、記憶装置５００は、以下に記す３つの情報を保持する。
・顧客３の身体的特徴
・担当者情報
・店員４の行動モデル

【0064】

担当者情報とは、顧客３の識別情報と、顧客３を担当する店員４の識別情報とを対応付けた情報を指す。例えば、顧客３Ａを担当するのが店員４Ａであり、顧客３Ｂを担当するのが店員４Ｂであるとする。この場合、担当者情報には、顧客３Ａの識別情報と店員４Ａの識別情報とを対応付けた情報、及び顧客３Ｂの識別情報と店員４Ｂの識別情報とを対応付けた情報が含まれることになる。担当者情報は、例えば、店舗が保有するデータベースから取得した情報に基づいて作成され、記憶装置５００に保持される。

【0065】

店員４の行動モデルとは、顧客３の状態を表すデータと、当該状態において行われる店員４の行動に関するデータとを対応付けた情報を教師データとして作成されたモデルを指す。

【0066】

店員４の行動に関するデータとは、例えば以下のようなデータを含む。例えば、ロボット２００が商品説明を行うロボットである場合、店員４の行動に関するデータは、店員４が顧客３に説明をする内容や、説明の際に顧客３に質問をする内容及びそのタイミング、顧客３からの回答に対する店員４の応答内容を含む。例えば、ロボット２００がガイダンスを行うロボットである場合、店員４の行動に関するデータは、店員４が行うガイダンス内容や、顧客３からの質問に対する店員４の応答内容を含む。例えば、ロボット２００が顧客３への声掛けを行うロボットである場合、店員４の行動に関するデータは、店員４が顧客３に声掛けをするタイミング及びその内容を含む。尚、前述した店員４の行動に関するデータは一例であり、前述の例に限らない。

【0067】

店員４の行動モデルは、例えば、顧客３の状態を表すデータと、当該状態において行われる、前述のような店員４の行動に関するデータとを対応付けた情報とを用いて、模範学習を行うことによって生成される。記憶装置５００には、店員４の行動モデルと、当該店員４の識別情報とを紐づけた情報が保持される。

【0068】

制御装置１００は、ロボット２００に制御指示を行うための装置である。具体例２における制御装置１００の構成は、実施形態１で示した構成と同様である。すなわち、制御装置１００は、図３に示すように、識別部１０１、取得部１０２、及び指示部１０３から構成される。

【0069】

識別部１０１は、顧客３を識別する。具体的には、識別部１０１は、記憶装置５００が保持する顧客３の身体特徴と、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方とに基づいて、顧客３の識別を行う。

【0070】

取得部１０２は、識別部１０１によって識別された顧客３を担当する店員４の識別情報を取得する。

【0071】

指示部１０３は、取得部１０２が取得した店員４の識別情報に基づいて、顧客３に対する行動すなわち店員４の行動モデルを読み出す。

【0072】

制御装置１００の動作は、実施形態１で図４を参照しながら説明した動作と同様であるため、ここでの説明は省略する。

【0073】

具体例２における制御装置１００は上記のように構成されている。次に、具体例２における効果を説明する。

【0074】

接客の現場において、顧客３が常連客である場合には、顧客３の接客を担当する店員４が予め決まっている場合がある。また、店員４の提供する接客サービスは、人によって内容が異なる。例えば、商品説明の接客サービスにおいて、店員４が顧客３に説明をする内容や、説明の際に顧客３に質問をする内容及びそのタイミング、顧客３からの回答に対する店員４の応答内容は、店員４によって異なる。例えば、ガイダンスの接客サービスにおいて、店員４が行うガイダンス内容や、顧客３からの質問に対する店員４の応答内容は、店員４によって異なる。例えば、顧客３への声掛けの接客サービスにおいて、店員４が顧客３に声掛けをするタイミング及びその内容は、店員４によって異なる。そのため、接客の現場にロボットを導入する場合、ロボットが提供するサービスと、常連客である顧客３が普段受けているサービスとが異なるため、常連客である顧客３はロボットが提供するサービスに対して違和感を感じるおそれがある。

【0075】

これに対し、具体例２の制御装置１００は、顧客３を識別する識別部１０１と、識別部１０１によって識別された顧客３を担当する店員４の識別情報を取得する取得部１０２と、取得部１０２が取得した店員４の識別情報に基づいて、顧客３に対する行動すなわち店員４の行動モデルを読み出す指示部１０３とを備える。読み出される店員４の行動モデルは、顧客３の状態を表すデータと、当該状態において行われる店員４の行動に関するデータとを対応付けた情報を教師データとして作成されたモデルである。そのため、具体例２の制御装置１００によれば、ロボットがサービスを提供した際に常連客である顧客３が感じる違和感を低減することができる。

【0076】

［第２実施形態］
以下に、本発明に係る第２実施形態を説明する。第２実施形態における提供システム１０００は、例えば、第１実施形態の適用例に示すような介護サービスや接客サービスに適用され得る。尚、この第２実施形態の説明において、第１実施形態と同一名称部分には同一符号を付し、詳細な説明を省略する。

【0077】

（提供システム１０００の構成）
図７は、第２実施形態における提供システム１０００の構成例を示す図である。図７に示すように、提供システム１０００は、制御装置１００、ロボット２００、撮影装置３００、センサ４００及び記憶装置５００から構成される。ロボット２００の詳細は、第１実施形態で説明したものと同様であるため、ここでの説明を省略する。

【0078】

撮影装置３００は、第１の人物及び第２の人物を撮影する装置である。具体的には、撮影装置３００は、利用者及び提供者を撮影する。撮影装置３００は、本支援システムを適用する空間全体が俯瞰できるような位置に設置される。撮影装置３００の数は単数であっても複数であってもよい。詳細は後述するが、撮影装置３００が撮影した情報は制御装置１００に送信され、以下の処理に利用される。
・識別部１０１による第１の人物の識別処理
・関係特定部１０４による担当者情報の生成処理

【0079】

センサ４００は、第１の人物の情報を取得するセンサ及び第２の人物の情報を取得するためのセンサから成る。第１の人物の情報及び第２の人物の情報は、１つのセンサから取得されてもよい。センサ４００は、具体的には、指紋センサ、音センサ（マイクロホン）、距離センサ、位置センサ、方位センサまたはこれらの組合せによって実現され、利用者及び提供者の情報を取得する。センサ４００は、第１実施形態に示すようにロボット２００に設置される他、利用者及び提供者が携帯する装置によって取得されてもよい。利用者及び提供者が携帯する装置とは、例えば、スマートフォンやタブレット端末、ウェアラブル端末によって実現される。

【0080】

センサ４００は、識別部１０１による利用者の識別処理に利用するため、以下に示す情報のいずれかまたは両方を取得する。
・利用者の身体的特徴（指紋や声紋）
・ロボット２００と利用者との間の距離

【0081】

また、センサ４００は、関係特定部１０４による担当者情報の生成処理に利用するため、以下に示す情報のいずれかまたは複数を取得する。
・利用者及び提供者の身体的特徴
・利用者と提供者との間の距離
・利用者及び提供者の位置情報
・利用者及び提供者の会話情報

【0082】

記憶装置５００は、制御装置１００の処理に必要な情報を保持するものである。記憶装置５００は、具体的には、以下に記す５つの情報を保持する。尚、以下に記す情報のうち、利用者の身体的特徴及び提供者の行動モデルについては、第１実施形態で説明したものと同様であるため、詳細な説明を省略する。
・利用者の身体的特徴
・提供者の行動モデル
・担当者情報
・提供者の身体的特徴
・提供者の典型的な発言

【0083】

担当者情報とは、利用者の識別情報と、当該利用者を担当する提供者の識別情報とを対応付けた情報を指す。担当者情報は、関係特定部１０４によって生成され、記憶装置５００に保持される。関係特定部１０４が担当者情報を生成する処理についての詳細は後述する。

【0084】

提供者の身体的特徴とは、具体的には、担当者の顔や、指紋、虹彩、網膜、声紋、静脈等の生体情報を指す。担当者の身体的特徴は、担当者を識別するために制御装置１００によって使用される。記憶装置５００は、担当者の身体的特徴と、担当者の識別情報とを紐づけて保持する。

【0085】

提供者の典型的な発言とは、サービスごとに決められた、提供者の典型的な発言を指す。例えば、提供者の典型的発言とは、サービスを提供する前に利用者に声掛けをする発言や、利用者にサービスの良し悪しを確認する発言、利用者の好みを確認する発言等を指す。前述したような提供者の典型的な発言は一例であり、前述の例に限らない。提供者の典型的な発言は、関係特定部１０４によって、担当者情報の生成に利用される。

【0086】

（制御装置１００の構成）
制御装置１００は、ロボット２００に制御指示を行うための装置である。制御装置１００は、図７に示すように、識別部１０１、取得部１０２、指示部１０３及び関係特定部１０４から構成される。識別部１０１、取得部１０２、指示部１０３の詳細は第１実施形態と同様であるため、ここでの説明は省略する。

【0087】

関係特定部１０４は、第１の人物の担当者を第２の人物として特定する。具体的には、関係特定部１０４は、複数の提供者から、利用者の担当者を特定する。関係特定部１０４は、人物間の距離、人物間の距離が所定の閾値以下となる時間、人物間の会話情報、人物間の行動関係、または人物の属性情報の少なくともいずれか１つを用いることにより、利用者である第１の人物の担当者を推定し、当該担当者を第２の人物として特定する。関係特定部１０４は、以下に記す手順によって利用者の担当者を特定する。

【0088】

まず、識別部１０１及び関係特定部１０４は、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれかを受信する。

【0089】

次に、識別部１０１は、第１実施形態で説明した手順によって、撮影装置３００が撮影した画像またはセンサ４００が取得した情報から利用者を特定する。

【0090】

次に、関係特定部１０４は、以下に記す手順によって、利用者を担当する提供者を特定する。

【0091】

関係特定部１０４は、撮影装置３００から画像を受信した場合、画像に写る人物間の距離を算出する。そして、関係特定部１０４は、識別部１０１が識別した利用者との距離が所定の閾値以下となる人物を、当該利用者の担当者であると特定する。関係特定部１０４は、公知の画像分析手段によって、特定した担当者の身体的特徴を抽出する。具体的には、関係特定部１０４は、画像から顔の特徴量や虹彩の特徴量を抽出する。そして、関係特定部１０４は、記憶装置５００に保持された提供者の身体的特徴を参照して、利用者を担当する提供者を特定する。

【0092】

関係特定部１０４は、センサ４００から利用者及び提供者の身体的特徴を受信した場合、記憶装置５００に保持された利用者の身体的特徴及び提供者の身体的特徴を参照して、利用者と、利用者を担当する提供者とを特定する。

【0093】

関係特定部１０４は、センサ４００から利用者と提供者との間の距離を受信した場合、識別部１０１が識別した利用者との間の距離が所定の閾値以下となる人物を、利用者を担当する提供者であると特定する。関係特定部１０４は、センサ４００から利用者及び提供者の位置情報を受信した場合、当該位置情報及び識別部１０１が識別した利用者に関する情報に基づいて、利用者と他の人物との間の距離を算出する。そして、関係特定部１０４は、利用者との間の距離が所定の閾値以下となる人物を、利用者を担当する提供者であると特定する。

【0094】

または、関係特定部１０４は、利用者と共に検出された時間が閾値以上となる担当者を、利用者を担当する提供者であると特定してもよい。なお、担当者が利用者と共に検出されていることを特定するための条件として、例えば、利用者と担当者との間の距離が所定の閾値以下であることを条件に含めてもよい。

【0095】

あるいは、関係特定部１０４は、センサ４００から提供者の会話情報を受信した場合、公知の音声認識処理によって、提供者の発言を特定する。そして、関係特定部１０４は、記憶装置５００に保持された、提供者の典型的な発言を参照し、利用者を担当する提供者を特定する。具体的には、関係特定部１０４は、音声認識処理によって特定された提供者の発言が、記憶装置５００に保持された提供者の典型的な発言と一致する場合に、当該提供者を利用者の担当者であると特定する。

【0096】

次に、関係特定部１０４は、識別部１０１が識別した利用者の識別情報と、利用者を担当する提供者の識別情報とに基づいて、担当者情報を生成する。そして、関係特定部１０４は、生成した担当者情報を、記憶装置５００へ格納する。

【0097】

（制御装置１００の動作）
次に、第２実施形態における制御装置１００の動作の一例について説明する。

【0098】

第２実施形態における制御装置１００は、前処理として、担当者情報の生成に係る動作を行う。具体的に、前処理は、記憶装置５００に格納される行動データを生成するための模範学習の過程、あるいは、その模範学習の直前において行われる処理である。また、前処理は、ロボット２００に制御指示を行うための動作より前のタイミングであれば、模範学習処理中のタイミングでなくてもよい。その後、ロボット２００に制御指示を行うための動作を行う。ロボット２００に制御指示を行うための動作については、第１実施形態におけるステップＳ１０１～ステップＳ１０３の処理と同様であるため、説明を省略する。

【0099】

図８は、第２実施形態における制御装置１００の前処理の動作例を示すフローチャートである。図８を参照しながら、第２実施形態における制御装置１００の前処理について説明する。

【0100】

まず、識別部１０１及び関係特定部１０４は、撮影装置３００またはセンサ４００の少なくともいずれか一方から情報を受信する（ステップＳ２０１）。識別部１０１は、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方を取得する。関係特定部１０４は、撮影装置３００から画像を受信する。関係特定部１０４はまた、センサ４００から、例えば以下に記す情報を受信する。
・利用者及び提供者の身体的特徴
・利用者と提供者との間の距離
・利用者及び提供者の位置情報
・利用者及び提供者の会話情報

【0101】

次に、識別部１０１は、ステップＳ１０１で示した手順によって、第１の人物を識別する（ステップＳ２０２）。

【0102】

次に、関係特定部１０４は、ステップＳ２０１で受信した情報及びステップＳ２０２で識別した利用者の情報に基づいて、第１の人物を担当する第２の人物を特定する（ステップＳ２０３）。

【0103】

次に、関係特定部１０４は、ステップＳ２０３で特定した情報に基づいて、担当者情報を生成する（ステップＳ２０４）。

【0104】

次に、関係特定部１０４は、生成した担当者情報を記憶装置５００へ送信する（ステップＳ２０５）。制御装置１００は、上述した一連の処理を終えると、前処理の動作を終了する。

【0105】

（効果）
第２実施形態における制御装置１００は上記のように構成されている。次に、第２実施形態における効果を説明する。第２実施形態における制御装置１００は、第１実施形態における効果に加え、以下のような効果を得ることができる。

【0106】

第２実施形態における制御装置１００は、識別部１０１が第１の人物を識別すると、関係特定部１０４が、第１の人物の担当者を第２の人物として特定する関係特定部１０４を備える。これにより、自動的に第１の人物の担当者に関連する第２の人物を特定することができる。例えば、介護の現場において、介護者と被介護者の関係性を自動生成することができる。また、第２実施形態における制御装置１００は、模範学習の過程あるいはその直前に担当者情報を手動によらずに生成し、機械学習を実行する過程で記憶装置５００に行動データと紐づけて格納することが可能になる。

【0107】

（変形例）
第２実施形態における制御装置１００は、以下のように変形してもよい。

【0108】

第２実施形態において、関係特定部１０４は制御装置１００の構成の一部であるとしたが、この構成に限定されない。例えば、関係特定部１０４は、独立したコンピュータ装置によって生成されるものとしてもよい。

【0109】

［第３実施形態］
以下に、本発明に係る第３実施形態を説明する。第３実施形態における提供システム１０００は、例えば、第１実施形態の適用例に示すような介護サービスや接客サービスに適用され得る。尚、この第３実施形態の説明において、第１実施形態または第２実施形態と同一名称部分には同一符号を付し、詳細な説明を省略する。

【0110】

（提供システム１０００の構成）
図９は、第３実施形態における提供システム１０００の構成例を示す図である。図９に示すように、提供システム１０００は、制御装置１００、ロボット２００、撮影装置３００、センサ４００及び記憶装置５００から構成される。ロボット２００、撮影装置３００及び記憶装置５００の詳細は、第２実施形態において説明したものと同様であるため、ここでの説明は省略する。

【0111】

センサ４００は、前述の前処理において、第２実施形態に示した情報に加えて以下の情報を取得する。センサ４００は、感情分析部１０５の処理に利用するために、例えば以下に記す情報を前処理において取得する。
・利用者の生理的データ
・利用者の音声情報

【0112】

利用者の生理的データとは、例えば、利用者の心拍数や、血圧、体温、発汗量、脳波を指す。そのため、センサ４００は、例えばウェアラブル端末によって実現される。センサ４００の実現方法は一例であり、前述のものに限らない。

【0113】

（制御装置１００の構成）
制御装置１００は、識別部１０１、取得部１０２、指示部１０３、関係特定部１０４、感情分析部１０５、評価算出部１０６から構成される。識別部１０１、取得部１０２及び指示部１０３の詳細は、第２実施形態において説明したものと同様であるため、ここでの説明は省略する。

【0114】

関係特定部１０４は、第２実施形態で示した手順によって、第１の人物を担当する第２の人物を特定する。そして、関係特定部１０４は、特定された第２の人物のうち、第１の人物による評価が所定の閾値以上である人物を選択する。関係特定部１０４は、選択された第２の人物を第１の人物の担当者として担当者情報を更新し、更新した担当者情報を記憶装置５００へ送信する。なお、第１の人物による評価が所定の閾値以上の人物が複数存在する場合は、最も評価の高い第２の人物を特定するようにしてもよい。また、これに限らず、閾値以上の評価を受けた第２の人物のうち、第１の人物を担当した日付が最も新しい第２の人物を特定するようにしてもよい。

【0115】

関係特定部１０４の処理に使用する第１の人物による評価は、評価算出部１０６によって算出される。評価算出部１０６の詳細な処理については後述する。評価算出部１０６は、例えば図１０に示すような、担当者情報と評価点とを紐づけた情報を生成する。関係特定部１０４は、評価算出部１０６が生成した情報を参照し、第２の人物のうち、評価点が所定の閾値以上である人物を選択する。あるいは、関係特定部１０４は、評価算出部１０６が生成した情報を参照し、分類の値が所定の値である人物を選択するものとしてもよい。例えば、関係特定部１０４は、感情の分類が安心（ＲＥＬＡＸＥＤ）または喜び（ＨＡＰＰＹ）である場合には当該人物を選択し、感情が怒り（ＡＮＧＲＹ）または悲しみ（ＳＡＤ）である場合には当該人物を選択しないものとしてもよい。尚、感情の分類の詳細については後述する。

【0116】

感情分析部１０５は、第１の人物の感情を推定する。感情分析部は、撮影装置３００及びセンサ４００と、通信可能に接続されている。感情分析部１０５は、撮影装置３００が撮影した画像またはセンサ４００が取得した情報に基づいて、利用者の感情分析を行う。利用者の感情は、例えば、ラッセルの円環モデルに基づいて分類するものとする。ラッセルの円環モデルとは、横軸をＶａｌｅｎｃｅ（感情価）とし、縦軸をＡｒｏｕｓａｌ（覚醒）とする二次元上に配置される円環モデルである。ラッセルの円環モデルの第１象限は喜び（ＨＡＰＰＹ）、第２象限は怒り（ＡＮＧＲＹ）、第３象限は悲しみ（ＳＡＤ）、第４象限は安心（ＲＥＬＡＸＥＤ）の感情に分類される。

【0117】

感情分析部１０５は、例えば以下の手順によって利用者の感情分析を行う。尚、以下に示す手順は一例であり、感情分析の手順は以下のものに限定されない。

【0118】

撮影装置３００から画像を受信した場合、感情分析部１０５は、公知の画像分析手段によって、利用者の顔領域を検出する。そして、感情分析部１０５は、例えば予め用意された表情評価モデルを用いて、利用者の感情を推定する。表情評価モデルは、人物の表情と当該人物の感情とを対応付けた情報を教師データとして学習された学習済みモデルである。表情評価モデルは、顔領域の画像を入力とし、当該画像に写る人物の感情を表す指標であるＡｒｏｕｓａｌ推定値及びＶａｌｅｎｃｅ推定値を出力とするモデルである。

【0119】

センサ４００から利用者の生理的データを受信した場合、感情分析部１０５は、公知の感情分析手法によって、利用者の感情を推定する。感情分析部１０５は、例えば予め用意された生理的データ評価モデルを用いて、利用者の感情を推定する。生理的データ評価モデルは、人物の生理的データと当該人物の感情とを対応付けた情報を教師データとして学習された学習済みモデルである。生理的データ評価モデルは、人物の生理的データを入力とし、当該人物の感情を表す指標であるＡｒｏｕｓａｌ推定値及びＶａｌｅｎｃｅ推定値を出力とするモデルである。

【0120】

評価算出部１０６は、感情分析部１０５によって推定された感情に基づいて、第１の人物による第２の人物の評価を算出する。評価算出部１０６は、例えば、Ａｒｏｕｓａｌ推定値及びＶａｌｅｎｃｅ推定値に基づいて評価点を算出する。評価算出部１０６は、例えば、Ａｒｏｕｓａｌ推定値が低いほど評価点を高くし、Ｖａｌｅｎｃｅ推定値が高いほど評価点を高くするような計算式を用いて評価点を算出する。尚、Ａｒｏｕｓａｌ推定値は、値が低いほど非覚醒状態であることを示し、値が高いほど覚醒状態であることを示す。また、Ｖａｌｅｎｃｅ推定値は、値が低いほど不快であることを示し、値が高いほど快であることを示す。

【0121】

評価算出部１０６は、関係特定部１０４が生成した担当者情報と、算出した評価点とを紐づけた情報を生成する。図１０は、評価算出部１０６によって生成される、担当者情報に評価点を紐づけた情報の一例である。図１０に示すように、評価算出部１０６は、第１の人物を担当する第２の人物の情報に、評価点を紐づける。評価算出部１０６は、評価点に加えて、ラッセルの円環モデルの分類をさらに紐づけてもよい。評価算出部１０６は、生成した情報を関係特定部１０４へ出力する。

【0122】

（制御装置１００の動作）
次に、第３実施形態における制御装置１００の動作の一例について、図１１を参照しながら説明する。

【0123】

第３実施形態における制御装置１００は、前処理として、担当者情報の生成に係る動作を行う。その後、ロボット２００に制御指示を行うための動作を行う。ロボット２００に制御指示を行うための動作については、第１実施形態または第２の実施形態におけるステップＳ１０１～ステップＳ１０３の処理と同様であるため、説明を省略する。

【0124】

まず、制御装置１００は、ステップＳ３０１～ステップＳ３０４の処理を行う。ステップＳ３０１～ステップＳ３０１の処理は、第２実施形態におけるステップＳ２０１～ステップＳ２０４の処理と同様であるため、説明を省略する。

【0125】

ステップＳ３０４の処理を終えると、感情分析部１０５は、第１の人物の感情を推定する（ステップＳ３０５）。具体的には、感情分析部１０５は、撮影装置３００またはセンサ４００から取得した情報に基づいて、第２の人物からサービスを提供されているときの第１の人物の感情を推定する。

【0126】

次に、評価算出部１０６は、第１の人物による第２の人物の評価を算出する（ステップＳ３０６）。具体的には、評価算出部１０６は、ステップＳ３０５によって推定された第１の人物の感情に基づいて、評価点を算出する。

【0127】

次に、評価算出部１０６は、関係特定部１０４が生成した担当者情報と、算出した評価点とを紐づけた情報を生成する（ステップＳ３０７）。評価算出部１０６は、生成した情報を、関係特定部１０４へ出力する。

【0128】

次に、関係特定部１０４は、評価算出部１０６から取得した情報に基づいて、ステップＳ３０３において特定された第２の人物のうち、第１の人物による評価が所定の閾値以上である人物を選択する（ステップＳ３０８）。

【0129】

次に、関係特定部１０４は、ステップＳ３０８によって選択された第２の人物を、当該第１の人物の担当者であるとして担当者情報を更新する。そして、関係特定部１０４は、更新した担当者情報を記憶装置５００へ送信する（ステップＳ３０９）。制御装置１００は、上述した一連の処理を終えると、前処理の動作を終了する。

【0130】

（効果）
第３実施形態における制御装置１００は上記のように構成されている。次に、第３実施形態における効果を説明する。第３実施形態における制御装置１００は、第１実施形態及び第２実施形態における効果に加え、以下のような効果を得ることができる。

【0131】

第３実施形態における制御装置１００は、第１の人物の感情を推定する感情分析部１０５と、感情分析部１０５によって推定された感情に基づいて評価を算出する評価算出部１０６と、第１の人物による評価が所定の閾値以上である第２の人物を担当者として選択する関係特定部１０４とを備える。上記構成により、第３実施形態における制御装置１００は、行動モデルの生成のための模範学習の過程あるいはロボットによる制御動作より前の過程で、利用者の好みに合わせて担当者情報を生成することが可能になる。したがって、利用者の好みの担当者に相当する第２の人物の行動モデルに合わせて、ロボットを制御することが可能になる。

【0132】

（変形例）
第３実施形態における提供システム１０００及び制御装置１００は、以下のように変形してもよい。

【0133】

第３実施形態において、第１の人物による評価は、感情分析部１０５が推定した感情に基づいて、評価算出部１０６によって算出されるものとしたが、上記以外の手法によって評価を算出してもよい。例えば、制御装置１００は、外部の入力装置から評価の入力を受け付ける構成としてもよい。

【0134】

図１２は、第３実施形態における制御装置１００を変形した構成例を示す図である。図１２に示す提供システム１０００は、制御装置１００と、ロボット２００と、撮影装置３００と、センサ４００と、記憶装置５００とに加え、入力装置６００とから構成される。

【0135】

入力装置６００は、第１の人物によって評価を入力するための入力手段である。入力装置６００は、制御装置１００と通信可能に接続されている。入力装置６００は、例えば第１の人物の所持するスマートフォンやタブレット端末によって実現される。利用者は、例えば、第２の人物に対する評価点を入力する。

【0136】

制御装置１００は、識別部１０１、取得部１０２、指示部１０３、関係特定部１０４及び入力受付部１０７から構成される。入力受付部１０７は、第１の人物から前記評価の入力を受け付ける。具体的には、入力受付部１０７は、入力装置６００からの利用者による評価の入力を受け付ける。関係特定部は、入力された評価が所定の閾値以上である人物を選択する。

【0137】

第３実施形態における提供システム１０００及び制御装置１００は、上記のように変形したとしても、上述した効果と同様の効果を得ることができる。

【0138】

［第４実施形態］
以下に、本発明に係る第４実施形態を説明する。第４実施形態における提供システム１０００は、例えば、第１実施形態の適用例に示すような介護サービスや接客サービスに適用され得る。尚、この第４実施形態の説明において、第１実施形態と同一名称部分には同一符号を付し、詳細な説明を省略する。

【0139】

（提供システム１０００の構成）
図１３は、第４実施形態における提供システム１０００の構成例を示す図である。図１３に示すように、提供システム１０００は、制御装置１００、ロボット２００、撮影装置３００、センサ４００及び記憶装置５００から構成される。ロボット２００及び撮影装置３００の詳細は、第１実施形態において説明したものと同様であるため、ここでの説明は省略する。

【0140】

センサ４００は、識別部１０１による利用者の識別処理に利用するため、以下に示す情報のいずれかまたは両方を取得する。
・利用者の身体的特徴（指紋や声紋）
・ロボット２００と利用者との間の距離

【0141】

また、センサ４００は、人物情報取得部１０８による処理に利用するため、例えば利用者の音声情報を取得する。

【0142】

記憶装置５００は、制御装置１００の処理に必要な情報を保持するものである。記憶装置５００は、以下に記す３つの情報を保持する。
・第１の人物の身体的特徴
・担当者情報
・第２の人物の行動モデル
・第１の人物の生理的データ

【0143】

第１の人物の身体的特徴及び担当者情報については、第１実施形態において説明した通りである。

【0144】

第２の人物の行動モデルには、当該提供者の識別情報と、第１の人物に対して提供するサービスとが紐づけられる。図１４は、第４実施形態における記憶装置５００が保持する第２の人物の行動モデルを説明するための図である。図１４に示すように、記憶装置５００は、第１の人物に提供するサービスごとに、模範学習において生成された行動モデルを保持する。また、記憶装置５００は、図１４に示すように、第２の人物の行動モデルに、当該提供者の識別情報と、第１の人物に対して提供するサービスとに加え、第１の人物の体調を紐づけてもよい。記憶装置５００において紐づけられて記憶された各情報は、模範学習の過程で生成され、そして記憶されたものである。例えば、図１４に示すように、第１の人物の体調が良好なときの歩行介助のモデルと、第１の人物の体調が不良なときの歩行介助のモデルを別々に用意してもよい。

【0145】

利用者の生理的データとは、例えば、利用者の心拍数や、血圧、体温、発汗量、脳波を指す。そのため、センサ４００は、例えばウェアラブル端末によって実現される。利用者の生理的データは、人物情報取得部１０８によって、利用者の体調を推定するために用いられる。

【0146】

（制御装置１００の構成）
図１３に示すように、制御装置１００は、識別部１０１と、取得部１０２と、指示部１０３と、人物情報取得部１０８から構成される。識別部１０１及び取得部１０２については、第１実施形態において説明したものと同様であるため、ここでの説明は省略する。

【0147】

人物情報取得部１０８は、第１の人物の状態を推定する。具体的には、人物情報取得部１０８は、撮影装置３００から取得した画像またはセンサ４００から取得した情報の少なくともいずれか一方に基づいて、利用者の状態を推定する。利用者の状態は、具体的には、利用者が現在必要としているサービスについての情報や、利用者の体調の情報を含む。例えば、第１の人物が被介護者であるとする。人物情報取得部１０８は、撮影装置３００から取得した画像またはセンサ４００から取得した情報の少なくともいずれか一方に基づいて、被介護者の状態を、食事介助を必要としている状態であると推定する。

【0148】

指示部１０３は、取得部１０２が取得した第２の人物の情報、及び人物情報取得部１０８が推定した第１の人物の状態に基づいて、第１の人物に対する行動を読み出す。

【0149】

（制御装置１００の動作）
次に、第４実施形態における制御装置１００の動作の一例について、図１５を参照しながら説明する。ステップＳ４０１～ステップＳ４０２の処理は、第１実施形態におけるステップＳ１０１～ステップＳ１０２の処理と同一であるため、ここでの説明は省略する。

【0150】

ステップＳ４０２の処理を終えると、人物情報取得部１０８は、第１の人物の状態を推定する（ステップＳ４０３）。具体的には、人物情報取得部１０８は、撮影装置３００が撮影した画像またはセンサ４００が取得した情報の少なくともいずれか一方から、利用者の状態を推定する。

【0151】

次に、指示部１０３は、取得部１０２が取得した第２の人物の情報、及び人物情報取得部１０８が推定した第１の人物の状態に基づいて、第２の人物の行動モデルを読み出す（ステップＳ４０４）。制御装置１００は、上述した一連の処理を終えると、処理を終了する。

【0152】

（効果）
第４実施形態における提供システム１０００及び制御装置１００は上記のように構成されている。次に、第４実施形態における効果を説明する。第４実施形態における制御装置１００は、第１実施形態における効果に加え、以下のような効果を得ることができる。

【0153】

第４実施形態における制御装置１００は、第１の人物の状態を推定する人物情報取得部１０８を備え、指示部１０３は、取得部１０２が取得した第２の人物の情報、及び人物情報取得部１０８が推定した第１の人物の状態に基づいて、第２の人物の行動モデルを読み出す。第４実施形態における制御装置１００は、上記構成により、記憶装置５００に第１の人物の状態に応じた複数の行動モデルが保持されている場合にも対応することができる。つまり、第４実施形態における制御装置１００によれば、第１の人物の状態に応じた複数のサービスを提供するようロボット２００を制御することが可能になる。

【0154】

（変形例）
第４実施形態における制御装置１００は、以下のように変形してもよい。

【0155】

本実施形態において、制御装置１００は、識別部１０１と、取得部１０２と、指示部１０３と、人物情報取得部１０８から構成されるものとしたが、この構成に限定されない。例えば、制御装置１００は、上記構成に加え、関係特定部１０４を備えるものとしてもよい。この構成にした場合、制御装置１００は、上述した第４実施形態における効果に加え、第２実施形態で説明した効果を得ることができる。また、制御装置１００は、上記構成に加え、関係特定部１０４、感情分析部１０５及び評価算出部１０６を備えるものとしてもよい。また、制御装置１００は、上記構成に加え、関係特定部１０４及び入力受付部１０７を備えるものとしてもよい。これらの構成にした場合、制御装置１００は、上述した第４実施形態における効果に加え、第３実施形態で説明した効果を得ることができる。

【0156】

［コンピュータによるハードウェア構成］
以上説明した本開示の各実施形態における各構成要素は、その機能をハードウェア的に実現することは勿論、プログラム制御に基づくコンピュータ装置、ファームウェアによって実現することができる。

【0157】

図１６は、本開示における制御装置１００を、プロセッサを含むコンピュータ装置１０で実現したハードウェア構成の一例を示す図である。各実施形態の制御装置１００は、コンピュータ装置１０によって実現される。コンピュータ装置１０は、図１２に示すように、ＣＰＵ１１、メモリ１２、プログラムを格納するハードディスク等の記憶装置１３、入力装置及び出力装置接続用の入出力インタフェース１４、及びネットワーク接続用の通信インタフェース１５を含む。

【0158】

ＣＰＵ１１は、オペレーティングシステムを動作させて、本発明の制御装置１００全体を制御する。例えば、ＣＰＵ１１は、ドライブ装置等に装着された記憶媒体からメモリ１２にプログラムやデータを読み出す。また、ＣＰＵ１１は、例えば本発明の制御装置１００における識別部１０１、取得部１０２、指示部１０３、関係特定部１０４、評価算出部１０６、感情分析部１０５、入力受付部１０７及び人物情報取得部１０８の一部として機能し、プログラムに基づいて処理または命令を実行する。

【0159】

記憶装置１３は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、または半導体メモリ等である。記憶装置の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記録する。また、プログラムは、通信網に接続されている外部コンピュータ（図示せず）からダウンロードされてもよい。

【0160】

入出力インタフェース１４に接続される入力装置は、例えばマウスやキーボード等により実現され、入力操作に用いられる。同様に、入出力インタフェース１４に接続される出力装置は、例えばディスプレイ等によって実現され、出力結果の表示及び確認に用いられる。

【0161】

以上、各実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。例えば、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は、内容に支障がない範囲で変更することができる。

【符号の説明】

【0162】

１ 被介護者
２ 介護者
３ 顧客
４ 店員
１０ コンピュータ装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 入出力インタフェース
１５ 通信インタフェース
１００ 制御装置
１０１ 識別部
１０２ 取得部
１０３ 指示部
１０４ 関係特定部
１０５ 感情分析部
１０６ 評価算出部
１０７ 入力受付部
１０８ 人物情報取得部
２００ ロボット
２０１ 制御部
３００ 撮影装置
４００ センサ
５００ 記憶装置
６００ 入力装置
１０００ 提供システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】