特開 2024-117108 行動制御方法、行動制御プログラム、行動制御装置、およびコミュニケーションロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024117108

(43)【公開日】2024-08-29

(54)【発明の名称】行動制御方法、行動制御プログラム、行動制御装置、およびコミュニケーションロボット

(51)【国際特許分類】

   A63H 11/00 20060101AFI20240822BHJP

   B25J 13/00 20060101ALI20240822BHJP

【ＦＩ】

A63H11/00 Z

B25J13/00 Z

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023023007

(22)【出願日】2023-02-17

(11)【特許番号】

(45)【特許公報発行日】2023-07-21

(71)【出願人】

【識別番号】504237050

【氏名又は名称】独立行政法人国立高等専門学校機構

(74)【代理人】

【識別番号】110001704

【氏名又は名称】弁理士法人山内特許事務所

(72)【発明者】

【氏名】大西 章也

(72)【発明者】

【氏名】石川 諒

【テーマコード（参考）】

2C150

3C707

【Ｆターム（参考）】

2C150CA02

2C150ED42

2C150ED47

3C707AS36

3C707KS23

3C707KS36

3C707KT01

3C707KT04

3C707LW12

3C707WA02

3C707WL06

3C707WL14

3C707WM06

(57)【要約】

【課題】ユーザの興味を持続するコミュニケーションができる行動制御方法を提供する。
【解決手段】行動制御方法は、ユーザとのコミュニケーションを目的としたコミュニケーションロボットの行動を制御する方法である。行動制御方法は、予め用意された複数の行動と対応付けられた複数の行動価値のそれぞれについて、対応する行動が実行された後の所定期間行動価値を低減した低減行動価値を求める低減行動価値演算工程と、予め定められた方策に従って複数の低減行動価値に基づき一の行動を選択する行動選択工程とを有する。低減行動価値演算工程および行動選択工程は、この順に繰り返し行われる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザとのコミュニケーションを目的としたコミュニケーションロボットの行動を制御する方法であって、
予め用意された複数の前記行動と対応付けられた複数の行動価値のそれぞれについて、対応する前記行動が実行された後の所定期間前記行動価値を低減した低減行動価値を求める低減行動価値演算工程と、
予め定められた方策に従って複数の前記低減行動価値に基づき一の前記行動を選択する行動選択工程と、を備え、
前記低減行動価値演算工程および前記行動選択工程は、この順に繰り返し行われる
ことを特徴とする行動制御方法。

【請求項2】

前記行動価値は複数の前記行動が属する行動カテゴリと一対一に対応しており、
前記行動選択工程は、予め定められたカテゴリ選択方策に従って複数の前記低減行動価値に基づき一の前記行動カテゴリを選択し、予め定められた行動選択方策に従って選択された前記行動カテゴリに属する複数の前記行動の中から一の前記行動を選択する
ことを特徴とする請求項１記載の行動制御方法。

【請求項3】

前記行動選択工程において選択された前記行動が実行されたときの前記ユーザの反応を取得するユーザ反応取得工程と、
前記ユーザの反応が肯定的であるほど高い値となるように、実行された前記行動に対応する前記行動価値を更新する学習工程と、をさらに備え、
前記低減行動価値演算工程、前記行動選択工程、前記ユーザ反応取得工程、および前記学習工程は、この順に繰り返し行われる
ことを特徴とする請求項１記載の行動制御方法。

【請求項4】

前記ユーザ反応取得工程において取得した前記ユーザの反応が連続して反肯定的である回数が上限回数に達した場合に、全ての前記行動価値を初期化する忘却工程をさらに備える
ことを特徴とする請求項３記載の行動制御方法。

【請求項5】

請求項１～４のいずれかに記載の行動制御方法をコンピュータに実行させる
ことを特徴とする行動制御プログラム。

【請求項6】

請求項１～４のいずれかに記載の行動制御方法を実行するコンピュータからなる
ことを特徴とする行動制御装置。

【請求項7】

請求項６記載の行動制御装置を備える
ことを特徴とするコミュニケーションロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動制御方法、行動制御プログラム、行動制御装置、およびコミュニケーションロボットに関する。さらに詳しくは、本発明は、人間とコミュニケーションを行うロボットの行動を制御する方法、プログラム、および装置、ならびに人間とコミュニケーションを行うロボットに関する。

【背景技術】

【0002】

特許文献１には、人間とコミュニケーションを行うことを目的として発話および身体動作といった行動を行うコミュニケーションロボットが開示されている。このロボットは、ロボットが行動したときの人間の移動距離および顔の向きに基づいて快・不快を判別し、ロボットの行動に関係するパラメータ（対人距離、注視時間、遅れ時間、および再生速度）を強化学習により最適化する。これにより、人間がロボットと快適にコミュニケーションを行うことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－２４７７８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ロボットが行う行動自体も個々の人間により好みが分かれるため、行動の選択を強化学習により最適化することが考えられる。この場合、強化学習は予め用意された各行動の価値を増減させながら進められる。ユーザが肯定的な反応を示す行動に対して報酬を割り当てる強化学習を行えば、ユーザが興味を引く行動が選択されやすくなる。

【0005】

しかし、強化学習が進み、特定の行動の価値が高くなると、ロボットは価値の高い行動ばかりを実行するようになり、コミュニケーションのバリエーションが少なくなる。そうすると、ユーザが飽きやすいコミュニケーションロボットとなる。

【0006】

本発明は上記事情に鑑み、ユーザの興味を持続するコミュニケーションができる行動制御方法、行動制御プログラム、行動制御装置、およびコミュニケーションロボットを提供することを目的とする。

【課題を解決するための手段】

【0007】

第１態様の行動制御方法は、ユーザとのコミュニケーションを目的としたコミュニケーションロボットの行動を制御する方法であって、予め用意された複数の前記行動と対応付けられた複数の行動価値のそれぞれについて、対応する前記行動が実行された後の所定期間前記行動価値を低減した低減行動価値を求める低減行動価値演算工程と、予め定められた方策に従って複数の前記低減行動価値に基づき一の前記行動を選択する行動選択工程と、を備え、前記低減行動価値演算工程および前記行動選択工程は、この順に繰り返し行われることを特徴とする。
第２態様の行動制御方法は、第１態様において、前記行動価値は複数の前記行動が属する行動カテゴリと一対一に対応しており、前記行動選択工程は、予め定められたカテゴリ選択方策に従って複数の前記低減行動価値に基づき一の前記行動カテゴリを選択し、予め定められた行動選択方策に従って選択された前記行動カテゴリに属する複数の前記行動の中から一の前記行動を選択することを特徴とする。
第３態様の行動制御方法は、第１態様において、前記行動選択工程において選択された前記行動が実行されたときの前記ユーザの反応を取得するユーザ反応取得工程と、前記ユーザの反応が肯定的であるほど高い値となるように、実行された前記行動に対応する前記行動価値を更新する学習工程と、をさらに備え、前記低減行動価値演算工程、前記行動選択工程、前記ユーザ反応取得工程、および前記学習工程は、この順に繰り返し行われることを特徴とする。
第４態様の行動制御方法は、第３態様において、前記ユーザ反応取得工程において取得した前記ユーザの反応が連続して反肯定的である回数が上限回数に達した場合に、全ての前記行動価値を初期化する忘却工程をさらに備えることを特徴とする。
第５態様の行動制御プログラムは、第１～第４態様のいずれかの行動制御方法をコンピュータに実行させることを特徴とする。
第６態様の行動制御装置は、第１～第４態様のいずれかの行動制御方法を実行するコンピュータからなることを特徴とする。
第７態様のコミュニケーションロボットは、第６態様の行動制御装置を備えることを特徴とする。

【発明の効果】

【0008】

第１態様によれば、実行された行動に対応する行動価値を一時的に低減した低減行動価値に基づいて次の行動を選択するので、行動価値が高い行動が連続して選択されることを抑制できる。その結果、コミュニケーションのバリエーションが多くなり、ユーザの興味を持続できる。
第２態様によれば、行動カテゴリの中から一の行動を選択するので、同じ行動が連続して選択されることをさらに抑制できる。
第３態様によれば、ユーザの反応に応じて行動価値を更新することで、ユーザの興味を引く行動が選択されやすくなる。
第４態様によれば、ユーザが特定の行動または行動カテゴリに飽きた場合に再学習するので、ユーザの好みの変化に対応して行動を選択できる。
第５～第７態様のいずれにおいても、コミュニケーションのバリエーションが多くなり、ユーザの興味を持続できる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係るコミュニケーションロボットの全体図である。

【図2】同コミュニケーションロボットの機能ブロック図である。

【図3】一実施形態に係る行動制御方法を示すフローチャートの前半部である。

【図4】同フローチャートの後半部である。

【発明を実施するための形態】

【0010】

つぎに、本発明の実施形態を図面に基づき説明する。
図１に示すように、本発明の一実施形態に係るコミュニケーションロボットＡＡは、人間とコミュニケーションを行うことを目的としたロボットである。本明細書では、コミュニケーションロボットＡＡとコミュニケーションを行う人間を「ユーザＵ」という。

【0011】

コミュニケーションロボットＡＡの外観は特に限定されない。コミュニケーションロボットＡＡの外観は、動物などを模したぬいぐるみでもよいし、機械的な所謂ロボットでもよい。コミュニケーションロボットＡＡは音声のみで対話するスマートスピーカでもよい。また、コミュニケーションロボットＡＡは物理的な外観を有しなくてもよく、仮想空間上のキャラクターでもよい。

【0012】

本明細書では、コミュニケーションロボットＡＡがユーザＵとのコミュニケーションを目的として行う個々の具体的な動作を「行動」という。コミュニケーションロボットＡＡには、その構成上実行可能な行動が予め複数用意されている。コミュニケーションロボットＡＡは用意された複数の行動の中から一の行動を選択し実行することを繰り返してユーザＵとのコミュニケーションを行う。

【0013】

コミュニケーションロボットＡＡに用意された複数の行動を複数の行動カテゴリに分類してもよい。各行動はいずれか一の行動カテゴリに属する。また、各行動カテゴリには複数の行動が属する。すなわち、行動カテゴリと行動とは一対多の関係にある。行動カテゴリとして、例えば、身振り、挨拶、質問、擬態語、および冗談などが挙げられる。身振りに属する行動として、例えば、右手を振る、左手を振る、および両手を振るなどが挙げられる。挨拶に属する行動として、例えば、「おはようございます」、「こんにちは」、および「お疲れ様」などが挙げられる。

【0014】

図２に示すように、コミュニケーションロボットＡＡは行動制御装置１０を有する。行動制御装置１０は、ＣＰＵ、メモリなどで構成されたコンピュータからなる。コンピュータとしてマイクロコントローラを用いてもよい。コンピュータに行動制御プログラムをインストールすることで、行動制御装置１０としての機能が実現する。行動制御プログラムは後述の行動制御方法をコンピュータに実行させるプログラムである。行動制御プログラムはコンピュータ読み取り可能な記憶媒体（非一過性のものを含む）に記憶してもよい。

【0015】

行動制御装置１０は、行動実行部１１、反応評価部１２、記憶部１３、行動選択部１４、および学習部１５を有する。これらは、ハードウエアで構成されてもよいし、プログラムをコンピュータにインストールすることにより実現してもよい。

【0016】

コミュニケーションロボットＡＡは行動を実現するための各種の機器（以下、「行動実現機器」という。）を有する。行動実現機器として、例えば、アクチュエータ２１、スピーカ２２、およびディスプレイ２３などが挙げられる。アクチュエータ２１はコミュニケーションロボットＡＡの骨組みを動かし、身振りなどの物理的な行動を実現するのに用いられる。アクチュエータ２１としてモータ、シリンダなどが挙げられる。スピーカ２２は音声を再生することにより、言語による行動を実現するのに用いられる。ディスプレイ２３は文字、図柄などを表示することにより、文章などによる行動を実現するのに用いられる。なお、コミュニケーションロボットＡＡが有する行動実現機器２１～２３の種類および数は特に限定されない。

【0017】

行動制御装置１０の行動実行部１１は、選択された行動が実行されるように各種の行動実現機器２１～２３の動作を制御する。

【0018】

コミュニケーションロボットＡＡは、コミュニケーションロボットＡＡが行動を実行したときのユーザＵの反応を検知する各種のセンサを有する。センサとして、例えば、カメラ３１、マイク３２、距離センサ３３、加速度センサ３４、およびスイッチ３５などが挙げられる。カメラ３１はユーザＵの画像を取得し、ユーザＵの表情などを検知するのに用いられる。マイク３２はユーザＵの音声を取得し、ユーザＵの発話の長さ、声の大きさなどを検知するのに用いられる。距離センサ３３はコミュニケーションロボットＡＡとユーザＵとの距離を測定するのに用いられる。距離センサ３３として超音波距離センサなどの非接触式距離センサが好適に用いられる。加速度センサ３４はコミュニケーションロボットＡＡの加速度を測定し、コミュニケーションロボットＡＡに対するユーザＵの物理的な接触動作を検知するのに用いられる。ユーザＵの接触動作としてコミュニケーションロボットＡＡの抱き抱えなどが挙げられる。スイッチ３５は、例えば、好き、嫌いなどに対応する複数のスイッチからなり、行動の好き嫌いをユーザＵが直接フィードバックするのに用いられる。なお、コミュニケーションロボットＡＡが有するセンサ３１～３５の種類および数は特に限定されない。

【0019】

行動制御装置１０の反応評価部１２は、各種のセンサ３１～３５から得られた情報を分析して、ユーザＵの反応を評価する。評価方法は、例えば、つぎのとおりである。反応評価部１２は、パターン認識、深層学習による画像認識などの技術を用いて、カメラ３１で得られた画像からユーザＵの表情を識別する。そして、反応評価部１２はユーザＵの表情に応じてスコアを決定する。例えば、「怒り」は－２、「悲しみ」は－２、「恐怖」は－２、「嫌悪」は－１、「不検出」は０、「中立」は＋１、「驚き」は＋１、「幸福」は＋２とする。反応評価部１２はマイク３２で得られた音声の大きさまたは長さに応じてスコアを決定する。例えば、音声の長さが０秒の場合は０、０秒超３秒以下の場合は＋１、３秒超の場合は＋２とする。反応評価部１２は距離センサ３３の測定値に応じてスコアを決定する。例えば、距離が２０ｃｍ未満の場合は＋２、２０ｃｍ以上４０ｃｍ未満の場合は＋１、４０ｃｍ以上１００ｃｍ未満の場合は０、１００ｃｍ以上の場合は－２とする。反応評価部１２は加速度センサ３４で検知した動きの強さ（加速度の大きさ）に応じてスコアを決定する。例えば、動きなしの場合は０、弱の場合は＋１、強の場合は＋２とする。反応評価部１２は押下されたスイッチ３５の種類に応じてスコアを決定する。例えば、好きボタンが押下された場合は＋１、嫌いボタンが押下された場合は－１、いずれのボタンも押下されていない場合は０とする。

【0020】

つぎに、反応評価部１２は各スコアの合計値に基づきユーザＵの反応を特定する。例えば、ユーザＵの反応を否定的、中立、肯定的の３種類に分けて特定してもよい。反応の種類の数は特に限定されず、より多くてもよい。肯定的をさらに２種類に分けて、ユーザＵの反応を否定的、中立、中程度肯定的、高程度肯定的の４種類で特定してもよい。この場合、スコアの合計値が負の場合は否定的、０の場合は中立、１または２の場合は中程度肯定的、３以上の場合は高程度肯定的とすればよい。

【0021】

行動制御装置１０の記憶部１３、行動選択部１４、および学習部１５は、Ｑ学習などの強化学習をベースとした独自のアルゴリズムにより、予め用意された複数の行動の中から一の行動を選択する。

【0022】

記憶部１３には複数の行動と対応付けられた複数の行動価値Ｑが記憶されている。行動価値ＱはＱ学習におけるＱ値に相当し、強化学習により最適化される値である。「複数の行動と対応付けられた複数の行動価値Ｑ」には、行動価値Ｑと行動とが一対一に対応する場合も、一対多に対応する場合も含まれる。すなわち、各行動価値Ｑは一または複数の行動と対応付けられている。後者の場合、行動価値Ｑと行動カテゴリとを一対一に対応させればよい。以下、行動価値Ｑと行動カテゴリとが一対一に対応する場合を主に説明する。

【0023】

Ｑ学習の場合、状態ｓおよび行動ａごとに行動価値Ｑ（ｓ，ａ）が定められる。全ての行動価値Ｑ（ｓ，ａ）が格納された配列を行動価値配列という。行動価値配列はＱ学習におけるＱテーブルに相当する。状態ｓの数をＮ_ｓ、行動ａの数をＮ_ａとすると、行動価値配列はＮ_ｓ×Ｎ_ａの二次元配列である。状態ｓとしてユーザＵの反応を用いることができる。また、ａとして行動の代わりに行動カテゴリを用いることができる。例えば、ユーザＵの反応ｓを否定的、中立、中程度肯定的、高程度肯定的の４種類とし、行動カテゴリａを身振り、挨拶、質問、擬態語、および冗談の５種類とした場合、行動価値配列は４×５の二次元配列である。行動価値Ｑを状態ｓごとの値としなくてもよい。この場合、行動価値配列は１×Ｎ_ａの一次元配列である。

【0024】

行動選択部１４は、記憶部１３に記憶された行動価値Ｑ（ｓ，ａ）に基づき、予め用意された複数の行動の中から一の行動を選択する。選択された行動の識別子は行動実行部１１に入力される。行動実行部１１は各種の行動実現機器２１～２３の動作を制御して、選択された行動を実行する。

【0025】

コミュニケーションロボットＡＡが行動を実行したときのユーザＵの反応は各種のセンサ３１～３５により検知される。反応評価部１２は各種のセンサ３１～３５から得られた情報を分析して、ユーザＵの反応を評価する。その評価結果は学習部１５に入力される。学習部１５はユーザＵの反応に基づき記憶部１３に記憶された行動価値Ｑ（ｓ，ａ）を更新する。これにより、行動価値配列がユーザＵに対して最適化され、ユーザＵの好みが学習される。

【0026】

つぎに、図３および図４に示すフローチャートに基づき、行動制御装置１０が実行する行動制御方法を説明する。
まず、行動制御装置１０は初期化を行う（ステップＳ１０）。初期化には行動価値配列の初期化が含まれる。具体的には全ての行動価値Ｑ（ｓ，ａ）の値を０にすればよい。行動価値Ｑ（ｓ，ａ）の初期値は０以外の値でもよいし、状態ｓおよび行動カテゴリａごとに異なる値でもよい。例えば、予め強化学習により一般的なユーザＵに適した行動価値配列を求めておき、初期化の際にその行動価値配列を適用してもよい。また、行動制御装置１０は行動制御方法で用いるその他の変数を初期化する。

【0027】

Ｑ学習では報酬または罰が与えられるまでの過程をエピソードといい、学習が十分行われるまでエピソードを繰り返す。本実施形態ではステップＳ０２からステップＳ１１までの処理がエピソードであり、この処理が繰り返し行われる。エピソードの開始時に行動制御装置１０は必要に応じてエピソード開始処理を行う（ステップＳ０２）。エピソード開始処理には、例えば、コミュニケーションロボットＡＡを初期位置に戻すなどの処理が含まれる。また、一のエピソードが開始されてから終了するまでの間に、ステップＳ０３からステップＳ１１までの処理が複数回繰り返し行われることがある。

【0028】

ステップＳ０３においてユーザＵの反応を取得し、ステップＳ０５（行動選択工程）において一の行動が選択され、ステップＳ０６においてコミュニケーションロボットＡＡがその行動を実行する。説明の便宜上、これらの処理は後に詳説する。

【0029】

反応評価部１２は、ステップＳ０５（行動選択工程）において選択された行動が実行されたときのユーザＵの反応を各種のセンサ３１～３５から得られた情報に基づき評価する。学習部１５は反応評価部１２からユーザＵの反応を取得する（ユーザ反応取得工程：ステップＳ０７）。ここで、学習部１５が取得するユーザＵの反応は、例えば、否定的、中立、中程度肯定的、高程度肯定的のいずれかである。

【0030】

つぎに、学習部１５は、ユーザＵの反応が肯定的であるほど高い値となるように、実行された行動に対応する行動価値Ｑ（ｓ，ａ）を更新する（学習工程：ステップＳ０８）。ここで、行動価値Ｑと行動カテゴリとが一対一に対応する場合、「実行された行動に対応する行動価値」とは、実行された行動が属する行動カテゴリに対応する行動価値を意味する。

【0031】

例えば、行動前の状態ｓ_ｔにおいて行動カテゴリａ_ｔを実行したときの行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を以下の式（１）に従い更新する。

【数1】

ここで、ｓ_ｔは行動前の状態、ｓ_ｔ＋１は行動後の状態、ａ_ｔは実行した行動カテゴリ、ａ´は行動後の状態ｓ_ｔ＋１において取り得る全ての行動カテゴリのうち最大の行動価値を有する行動カテゴリ、ｍａｘＱ（ｓ_ｔ＋１，ａ´）は行動カテゴリａ´の行動価値、ｒ_ｔ＋１は行動後の状態ｓ_ｔ＋１に応じた報酬または罰、αは学習率、γは割引率である。

【0032】

行動前の状態ｓ_ｔはステップＳ０３において取得されたユーザＵの反応である。行動後の状態ｓ_ｔ＋１はステップＳ０７において取得されたユーザＵの反応である。また、学習率αは０超１以下の値であり、割引率γは０以上１未満の値である。

【0033】

ｒ_ｔ＋１は行動後の状態ｓ_ｔ＋１、すなわちユーザＵの反応に応じた値をとる。ｒ_ｔ＋１が正の値の場合を報酬、負の値の場合を罰という。ユーザＵの反応が肯定的である場合に報酬を与え、否定的である場合に罰を与えればよい。例えば、ユーザＵの反応が否定的である場合はｒ_ｔ＋１＝－１０、中立である場合はｒ_ｔ＋１＝０、中程度肯定的である場合はｒ_ｔ＋１＝＋５、高程度肯定的である場合はｒ_ｔ＋１＝＋１０とする。

【0034】

例えば、コミュニケーションロボットＡＡが「こんにちは」と挨拶し、それに対してユーザＵが「こんにちは」と返事をしたとする。このときのユーザＵの音声がマイク３２で取得され、音声の長さからユーザＵの反応が肯定的であると評価される。そうするとその行動が属する行動カテゴリ（挨拶）に対して報酬が与えられる。すなわち、挨拶に対応する行動価値Ｑの値が増加する。そうすると、次回以降、挨拶に属する行動が選ばれやすくなる。

【0035】

一方、コミュニケーションロボットＡＡが両手を振る身振りをし、それに対してユーザＵが無視したとする。このときのユーザＵの画像がカメラ３１で取得され、画像認識によりユーザＵの反応が否定的であると評価される。そうするとその行動が属する行動カテゴリ（身振り）に対して罰が与えられる。すなわち、身振りに対応する行動価値Ｑの値が減少する。そうすると、次回以降、身振りに属する行動が選ばれにくくなる。

【0036】

このように、ユーザＵの反応に応じて行動価値Ｑを更新することで、次回以降、ユーザＵの興味を引く行動が選択されやすくなる。

【0037】

説明の便宜上、ステップＳ０９およびステップＳ１０の処理は後に詳説する。ステップＳ１１において、行動制御装置１０は報酬または罰が与えられたか否かを判断する。例えば、行動後のユーザＵの反応が否定的または肯定的である場合には、報酬または罰が与えられる。この場合、エピソードを終了し、新たなエピソードが開始される。すなわち、行動制御装置１０の処理はステップＳ０２に戻る。一方、行動後のユーザＵの反応が中立である場合には、報酬も罰も与えられない。この場合、エピソードが継続される。すなわち、行動制御装置１０の処理はステップＳ０３に戻る。

【0038】

ステップＳ０３において、行動選択部１４は反応評価部１２からユーザＵの反応を取得する。ただし、前回の行動から時間が経過している場合、センサ３１～３５から得られる情報ではユーザＵの反応を適切に評価できない場合がある。具体的には、行動前のユーザＵの反応が中立と評価されることが多くなる。そうすると、行動価値配列全体の最適化に時間を要する。そこで、前回の行動後にステップＳ０７で得られたユーザＵの反応をそのまま今回の行動前のユーザＵの反応として用いてもよい。そうすれば、行動前のユーザＵの反応が中立に偏ることがなく、行動価値配列の最適化が早くなる。

【0039】

なお、行動価値Ｑを状態ｓごとの値とせず、行動価値配列を１×Ｎ_ａの一次元配列とする場合には、ステップＳ０３の処理を行う必要がない。

【0040】

一般的な強化学習では行動価値Ｑに基づき行動を選択する。例えば、行動価値Ｑが最大の行動を選択する。しかし、本実施形態では、行動価値Ｑに代えて低減行動価値ｑに基づき行動を選択する。ここで、低減行動価値ｑとは、対応する行動が実行された後の所定期間行動価値Ｑを低減した値である。行動選択部１４は、状態ｓ（ステップＳ０３において取得したユーザＵの反応）に対応する全ての行動価値Ｑのそれぞれについて低減行動価値ｑを求める（低減行動価値演算工程：ステップＳ０４）。

【0041】

例えば、式（２）に示すように、低減行動価値ｑは行動価値Ｑから抑制値Ｒを減じて求められる。

【数2】

【0042】

抑制値Ｒは、例えば、式（３）で表される。

【数3】

ここで、τ_ａは行動カテゴリａのカウンタである。τ_ａは行動カテゴリａに属する行動が実行されたときに０にリセットされ、いずれかの行動が実行されるたびにインクリメントされる。τ_ｓは行動価値Ｑを低減する行動回数であり、任意の値が設定される。Ｒ_ｍは抑制値Ｒの最大値である。

【0043】

式（２）および式（３）で求められる低減行動価値ｑは、行動カテゴリａに属する行動が実行された直後は行動価値Ｑから最大の抑制値Ｒ_ｍが減じられた値となる。その後いずれかの行動が実行されるたびに段階的に低減行動価値ｑが増加する。行動カテゴリａに属する行動が実行された後の行動回数がτ_ｓに達した後は、低減行動価値ｑは行動価値Ｑと等しくなる。

【0044】

なお、低減行動価値ｑは行動価値Ｑを一時的に低減した値であればよく、その求め方は式（２）および式（３）に限定されない。行動回数がτ_ｓに達するまで行動価値Ｑから一定の値を減じて低減行動価値ｑを求めてもよい。また、行動価値Ｑに抑制係数（０以上１未満の値）を乗じて低減行動価値ｑを求めてもよい。さらに、行動価値Ｑを低減する期間を行動回数により定めるのに代えて時間により定めてもよい。すなわち、行動価値Ｑを一定時間低減して低減行動価値ｑを求めてもよい。したがって、行動価値Ｑを低減する「所定期間」とは、行動回数により定められた期間のほか、時間により定められた期間なども含む概念である。

【0045】

つぎに、行動選択部１４は、状態ｓ（ステップＳ０３において取得したユーザＵの反応）に対応する全ての低減行動価値ｑに基づき一の行動を選択する（行動選択工程：ステップＳ０５）。ここで、行動は予め定められた方策に従って選択される。「方策」とは行動を選択する規則を意味する。方策は、低減行動価値ｑが高いほど、それに対応する行動が選択される確率が高くなるよう定められる。そうすれば、ユーザＵが興味を引きやすい行動を選択できる。

【0046】

行動価値Ｑ（低減行動価値ｑ）が行動カテゴリと一対一に対応する場合、行動の選択は２段階で行われる。すなわち、１段階目で一の行動カテゴリを選択し、２段階目で行動カテゴリの中から一の行動を選択する。方策は段階ごとに定められる。１段階目の方策をカテゴリ選択方策といい、２段階目の方策を行動選択方策という。

【0047】

まず、行動選択部１４は、予め定められたカテゴリ選択方策に従って、状態ｓ（ステップＳ０３において取得したユーザＵの反応）に対応する全ての低減行動価値ｑに基づき一の行動カテゴリを選択する。カテゴリ選択方策として、グリーディー法、ε－グリーディー法、ボルツマン選択などＱ学習に用いられる公知の方策を採用できる。例えば、グリーディー法による場合、行動選択部１４は低減行動価値ｑが最も高い行動カテゴリを選択する。

【0048】

また、カテゴリ選択方策としてつぎの方策を採用してもよい。まず、値が降順に並んだ確率配列を用意する。確率配列の要素数Ｍは行動カテゴリと同数またはそれよりも少ない数である。また、確率配列の全ての要素の値の和は１である。つぎに、０～１の一様乱数を生成する。乱数値が１番目の要素の値未満の場合は低減行動価値ｑが１番大きい行動カテゴリを選択する。乱数値が１番目の要素の値以上、２番目の要素以前の総和未満の場合は低減行動価値ｑが２番目に大きい行動カテゴリを選択する。乱数値が２番目の要素以前の総和以上、３番目の要素以前の総和未満の場合は低減行動価値ｑが３番目に大きい行動カテゴリを選択する。すなわち、乱数値がｍ－１番目の要素以前の総和以上、ｍ番目の要素以前の総和未満の場合は低減行動価値ｑがｍ番目に大きい行動カテゴリを選択する。乱数値がＭ－１番目の要素以前の総和以上の場合は全ての行動カテゴリの中から１つをランダムに選択する。

【0049】

例えば、行動カテゴリを５種類とした場合、確率配列として［0.80, 0.12, 0.06, 0.02］を用意する。乱数値が0.80未満の場合は低減行動価値ｑが１番大きい行動カテゴリを選択する。乱数値が0.80以上、0.92未満の場合は低減行動価値ｑが２番目に大きい行動カテゴリを選択する。乱数値が0.92以上、0.98未満の場合は低減行動価値ｑが３番目に大きい行動カテゴリを選択する。乱数値が0.98以上の場合は全ての行動カテゴリの中から１つをランダムに選択する。以上の手順で、身振り、挨拶、質問、擬態語、および冗談の５種類の行動カテゴリの中から、ユーザＵの興味を引きやすい一の行動カテゴリが選択される。

【0050】

つぎに、行動選択部１４は、予め定められた行動選択方策に従って、選択された行動カテゴリに属する複数の行動の中から一の行動を選択する。行動の選択はランダムに行ってもよいし、他の規則に従ってもよい。例えば、行動カテゴリとして挨拶が選択された場合、現在時刻に適した語句を選択してもよい。

【0051】

行動選択部１４は選択した行動の識別子を行動実行部１１に入力する。行動実行部１１は各種の行動実現機器２１～２３の動作を制御して、入力された識別子に対応する行動を実行する（ステップＳ０６）。反応評価部１２はこのときのユーザＵの反応を評価する。（ステップＳ０７）。学習部１５はユーザＵの反応に基づいて行動価値Ｑを更新する（ステップＳ０８）。このように、低減行動価値演算工程（ステップＳ０４）、行動選択工程（ステップＳ０５）、ユーザ反応取得工程（ステップＳ０７）、および学習工程（ステップＳ０８）は、この順に繰り返し行われる。

【0052】

行動選択工程（ステップＳ０５）では、行動価値Ｑそのものではなく、過去に実行された行動に対応する行動価値Ｑを一時的に低減した低減行動価値ｑに基づいて次の行動を選択する。そのため、行動価値Ｑが高い行動カテゴリが連続して選択されることを抑制できる。

【0053】

さらに、本実施形態では、個々の行動ではなく、複数の行動が属する行動カテゴリと一対一に行動価値Ｑ（低減行動価値ｑ）が定められている。そして、行動カテゴリの選択および行動の選択という２段階で一の行動を選択する。行動カテゴリの中から一の行動を選択するので、同じ行動カテゴリが連続して選択されたとしても、同じ行動が連続して選択されることを抑制できる。その結果、コミュニケーションロボットＡＡのコミュニケーションのバリエーションが多くなり、ユーザＵの興味を持続できる。

【0054】

また、行動カテゴリに対して行動価値Ｑを定めることで、個々の行動に対して行動価値Ｑを定める場合に比べて、行動価値配列の要素数を少なくできる。そのため、機械学習を効率よく行うことができ、行動価値Ｑを早期に最適化できる。

【0055】

行動制御装置１０は、行動の選択、実行、およびユーザＵの反応に基づく学習を繰り返し行うことにより、特定のユーザＵに対して行動価値Ｑを最適化する。行動価値Ｑを最適化することにより、ユーザＵが好む行動が選択されやすくなる。しかし、人間はコミュニケーションロボットＡＡの特定の行動に飽きたり、好みが変化したりすることがある。そこで、行動制御装置１０は、行動価値Ｑを初期化して、ユーザＵの好みを再学習してもよい。

【0056】

具体的には、行動制御装置１０はつぎの処理を行う。学習部１５は、ユーザ反応取得工程（ステップＳ０７）において取得したユーザＵの反応が反肯定的である場合に、それが連続する回数（以下、「反肯定的回数」という。）をカウントする。「反肯定的」とは肯定的な反応以外の反応を意味する。例えば、ユーザＵの反応を否定的、中立、中程度肯定的、高程度肯定的の４種類で特定する場合、否定的および中立が反肯定的に該当する。「反肯定的回数」は行動を基準にカウントされる。

【0057】

ステップＳ０９において、学習部１５は、反肯定的回数が上限回数に達したか否かを判断する。上限回数は予め任意の回数に設定される。反肯定的回数が上限回数に達していない場合、行動制御装置１０はステップＳ１１の処理を行う。一方、反肯定的回数が上限回数に達した場合、学習部１５は全ての行動価値Ｑを初期化する（忘却工程：ステップＳ１０）。初期化は全ての行動価値Ｑの値を０にすることにより行えばよい。

【0058】

行動価値Ｑを初期化した後は、コミュニケーションロボットＡＡが行動を実行するたびに、再び行動価値Ｑの最適化（学習）が行われる。このように、ユーザＵが特定の行動または行動カテゴリに飽きた場合に再学習することで、ユーザＵの好みの変化に対応して行動を選択できるようになる。

【0059】

〔その他の実施形態〕
行動価値Ｑは行動と一対一に対応してもよい。すなわち、個々の行動ごとに行動価値Ｑを定めてもよい。この場合、行動選択工程（ステップＳ０５）における行動の選択は１段階で行われる。このときの方策は、低減行動価値ｑが高いほど、それに対応する行動が選択される確率が高くなるよう定められる。個々の行動ごとに行動価値Ｑを定めれば、ユーザＵの細かな好みを学習することができる。

【0060】

行動価値Ｑの最適化（機械学習）を行わなくてもよい。この場合、行動制御装置１０はユーザ反応取得工程（ステップＳ０７）および学習工程（ステップＳ０８）を行う必要がない。例えば、エピソードを所定回数繰り返して学習が十分に行われた後は、学習済みの行動価値配列に基づいて行動を選択すればよい。また、予め強化学習により一般的なユーザＵに適した行動価値配列を求めておき、その学習済みの行動価値配列を記憶部１３に記憶しておいてもよい。この場合、行動制御装置１０は機械学習の機能を有しなくてもよい。

【符号の説明】

【0061】

ＡＡ コミュニケーションロボット
１０ 行動制御装置
１１ 行動実行部
１２ 反応評価部
１３ 記憶部
１４ 行動選択部
１５ 学習部
２１～２３ 行動実現機器
３１～３５ センサ

【図1】

【図2】

【図3】

【図4】