【文献】
M. M. Hoque, T. Onuki, Y. Kobayashi, Y. Kuno,"Controlling human attention through robot's gaze behaviors",2011 4th International Conference on Human System Interactions (HSI) ,IEEE,2011年 5月19日,p.195-p.202
(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1の技術を用いてロボットがコミュニケーションをとる対象者に近づこうとしても、周囲の環境により近づくことが困難である場合がある。例えば、障害物があったり、対象者との距離が離れていたりすると、ロボットが確実に対象者に近づけるとは限らない。
【0007】
また、移動しないロボットが、シグナル音を鳴らすなどのアテンションを発したとしても、例えば対象者以外の人間が周囲にいた場合、特定の相手にアテンションを伝えることは困難である。また、対象者の名前が分からなければ、対象者の名前を呼びかけることができない。
【0008】
本発明は、ロボットと人とのコミュニケーションの開始を円滑にすることができるコミュニケーション引き込みシステムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明によるコミュニケーション引き込みシステムは、対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込みシステムであって、前記対象者の位置を特定する人特定部と、特定された前記対象者の位置に向けて光を移動させる光源制御部と、対象者の位置に移動した光の照射位置を
ロボットの方向に移動させロボットに光と連動
して、ロボットの体を動かすようにまたはロボットの視線を対象者に向けるように駆動させる引き込み動作の実行を、前記ロボットに指示する引き込み制御部と、前記ロボットを前記対象者が認知したかどうか判断する人認知特定部とを備え、前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示することを特徴とする。
【0010】
本発明によるコミュニケーション引き込み方法は、対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込み方法であって、前記対象者の位置を特定し、特定された前記対象者の位置に向けて光を移動させ、対象者の位置に移動した光の照射位置を
ロボットの方向に移動させロボットに光と連動
して、ロボットの体を動かすようにまたはロボットの視線を対象者に向けるように駆動させる引き込み動作の実行を、前記ロボットに指示し、前記ロボットを前記対象者が認知したかどうか判断し、前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示することを特徴とする。
【0011】
本発明によるコミュニケーション引き込みプログラムは、コンピュータに、対象者とコミュニケーションをとるロボットにコミュニケーション引き込み処理を実行させるコミュニケーション引き込みプログラムであって、コンピュータに、前記対象者の位置を特定する人特定処理と、特定された前記対象者の位置に向けて光を移動させる光源制御処理と、対象者の位置に移動した光の照射位置を
ロボットの方向に移動させロボットに光と連動
して、ロボットの体を動かすようにまたはロボットの視線を対象者に向けるように駆動させる引き込み動作の実行を、前記ロボットに指示する引き込み制御処理と、前記ロボットを前記対象者が認知したかどうか判断する人認知特定処理と、前記ロボットを前記対象者が認知したと判断された場合、前記ロボットに前記対象者とのコミュニケーションの開始を指示する処理とを実行させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、ロボットと人とのコミュニケーションの開始を円滑にすることができる。
【発明を実施するための形態】
【0014】
実施形態1.
図1は、本発明によるコミュニケーション引き込みシステムの第1の実施形態(実施形態1)を用いたロボットの外観を示す概略図である。
図1に示すロボットは、コミュニケーションを行うことを想起させる外観を有し、投影モジュール100、頭部101、センシングモジュール102、腕103を備える。
【0015】
投影モジュール100は、光源を有し床や壁などに光を照射したり、映像を投影したりすることができる。また、投影モジュール100は、機械制御によって投影角度の調節が可能であり、特定の場所を投影することができる。
【0016】
センシングモジュール102は、コミュニケーションをとる対象者(以下、人と称することがある)や光源の場所の特定、および対象者が光源から発せられる光に気付いたかどうかの判定を行う。センシングモジュール102は、例えば、カメラまたは赤外線センサ等により実現可能である。
【0017】
頭部101および腕103は、モータやサーバ機構等により駆動可能である。頭部101は例えば、対象者へうなずく動作を行うことができる。腕103は、例えば、手招きする動作を行うことができる。
【0018】
図2は、本発明によるコミュニケーション引き込みシステムの第1の実施形態の構成を示すブロック図である。
図2に示すように、本実施形態のコミュニケーション引き込みシステムは、人特定部200、光源制御部201、引き込み制御部203および人認知特定部204を備える。
【0019】
人特定部200は、カメラの画像認識等を用いて、人の位置の検出や人の動きの検出を行い、コミュニケーションを行う対象者の位置を特定する。
【0020】
光源制御部201は、特定された人の位置に従って、投影モジュール100の光源が発する光が動く経路を決定し、その経路に沿って光が照射されるように光源を制御する(例えば、光源の出射方向を変える。)ことで光(付帯的には、光の出射位置)を移動させる。
【0021】
引き込み制御部203は、対象者にロボットの方向を認識させるように動作する。例えば、引き込み制御部203は、ロボットの頭部101を対象者の方に向けさせて、ロボットからの光であることを認知させるように動作させる。さらに、光をロボットの方向
に移動させてもよい。また、ロボットの動きと光の動きを連動させてもよい。
【0022】
人認知特定部204は、対象者がロボットを認知したかどうか判断する。例えば、カメラが撮影した画像から、対象者がロボットの方向へ顔を向けたり、ロボットの方向に移動したりしたことが確認された場合、対象者が光を認識したと判断する。コミュニケーション引き込みシステムは、対象者が光を認知したと判断された場合、ロボットに、対象者とのコミュニケーションの開始を指示する。対象者が光を認知していないと判断された場合、再度、引き込み制御部203がロボットの方向を認識させる動作が行われる。
【0023】
なお、本実施形態のコミュニケーション引き込みシステムが備える人特定部200、光源制御部201、引き込み制御部203および人認知特定部204は、プログラムに基づいて処理を実行するCPUで実現可能である。
【0024】
図3は、引き込み制御部203の構成を示すブロック図である。引き込み制御部203は、引き込み状況把握部210、引き込み動作選定部220、戦略DB(Data Base)230、引き込み動作制御部240、ロボット動作DB(Data Base)250を備える。戦略DBに記憶されるロボットの引き込み動作は、人がコミュニケーションを促すのと同様なモーションであり、対象者にロボットを認知させるために、例えば光の動き(光の照射位置の移動)に合わせて、その人を凝視したり手を振ったりする動作である。
【0025】
引き込み状況把握部210は、ロボットが何回引き込み動作を行ったか、どのような引き込み動作を行ったか、対象者がロボットを認知したかなどの状況を取得する。
【0026】
引き込み動作選定部220は、予め引き込み動作の戦略を記憶した戦略DB230を用い、引き込み状況把握部210が把握した引き込み等の状況に基づいて、ロボットが行う動作を選定する。
【0027】
引き込み動作制御部240は、引き込み動作選定部220が選択したロボットの動作をロボットにさせる制御を行う。具体的には、引き込み動作制御部240は、ロボット動作DB250から、光の動きパターンと、ロボットの機械制御のスクリプト等を取得し、そのスクリプトの内容をロボットに実行させる。
【0028】
次に、本実施形態のコミュニケーション引き込みシステムの動作を説明する。
図4は、本発明によるコミュニケーション引き込みシステムの第1の実施形態の動作を示すフローチャートである。
【0029】
始めに、人特定部200は、対象となる人の位置を把握する(ステップS001)。具体的には、人特定部200は、人の位置を特定するために、例えばステレオカメラなどにより実現されるセンシングモジュール102を利用して画像認識を行い、対象者とロボットとの距離や角度を認識する。また、センシングモジュール102として、例えば、超音波や赤外線の距離センサ、レーザレンジセンサなど、画像認識以外のセンシング手段を用いてもよい。
【0030】
人特定部200は、例えばレーザレンジセンサを利用した場合、人以外の障害物を事前にマスク処理した上で、一定間隔のセンシングによって動く物体を人と捕らえ、ロボットからの角度、距離および動く方向を知る。そして、人特定部200は、コミュニケーションを成立させたい対象者を、例えば最もロボットから近い人物に設定する。また、人特定部200は、例えば子どもを対象にする場合は、背の高さ等のセンシング状況から子どもと判断し設定する。
【0031】
対象者が設定されたら、光源制御部201は、設定された対象者の方向に光を移動させる(ステップS002)。
図1に示した投影モジュール100の高さが、手動または距離センサ等で事前に設定される。ロボットとの距離は人特定部200が検知しているため、光源制御部201は、当該距離、および投影モジュール100とセンシングモジュール102との距離に基づいて、投影モジュール100の投影角を計算する。光源制御部201は、投影モジュール100から光を投影し、計算された投影角となるように投影モジュール100を動作させ、光を移動させる。
【0032】
光源制御部201は、対象者の動きが早い場合は、その動きのスピードおよび距離から到達点を推定し、投影モジュール100の駆動速度を加味して推定した場所に向けて光を投影するように制御する。なお、投影モジュール100は、例えばレーザポインタなど照射範囲が狭い光源により実現してもよいが、広範囲に投影できるプロジェクタを用いてもよい。
【0033】
次に、引き込み制御部203は、対象者にロボットの方向を認識させ、コミュニケーションさせるように誘導するために、ロボットに対して引き込み動作を実行する指示を与える(ステップS003)。引き込み制御部203は、ステップS002の動作により対象者に光が到着するのと同時に、ロボットの機械を駆動させる。ロボットにさせる引き込み動作は、人がコミュニケーションを促すのと同様なモーションであり、例えば光の動きに合わせて、その人を凝視したり手を振ったりして対象者にロボットを認知させる動作である。また、投影モジュール100以外にLED(Light Emitting Diode)やスピーカなどの引き込み手段をロボットに搭載し、引き込み手段が光を発したり、音を出したりしてもよい。
【0034】
引き込み制御部203の動作を詳細に説明する。引き込み制御部203は、始めに、引き込みの状況を分析する。引き込み状況把握部210は、何回引き込みを行ったか、どのような引き込みを行ったか、人認知特定部204で何らかの反応が見られたかなどの状況を取得する。
【0035】
引き込み動作選定部220は、予め引き込み動作の戦略を記憶した戦略DB230を用い、引き込み状況把握部210が把握した引き込み等の状況に基づいて、ロボットが行う動作を設定する。引き込み動作選定部220は、ロボットが動作を選定する際に、コンテンツや時間帯などに応じて、引き込み動作の戦略を選定する。例えば、引き込み動作選定部220は、たくさんの人がロボットの前を通るような時間帯では、対象者を引き込めなかった場合、次の人へアプローチを実施する戦略を選定する。
【0036】
図5は、戦略DB230に記憶された引き込み動作の戦略の一例を示す説明図である。
図5に示す戦略は、引き込む回数によって、引き込む動作を変更する例である。具体的には、引き込み動作制御部240は、光の動作に関しては、引き込む回数が3回までの場合、光をゆっくりと動かし、引き込む回数が9回までの場合は光を激しく動かし、引き込む回数が10回に達したら引き込みを諦める。また、引き込み動作制御部240は、ロボットの動作に関しては、引き込む回数が3回までの場合、頭部101を動作させて対象者の方を向き、引き込む回数が9回までの場合は腕103を動作させて対象者へ手を振り、引き込む回数が10回に達したら次の対象者を見つける動作を行う。引き込み動作制御部240は、光の動作とロボットの動作を両方行ってもよいし、いずれか一方のみ行ってもよい。
【0037】
引き込み動作制御部240は、引き込み動作選定部220が選択したロボットの動作をロボットにさせる制御を行う。具体的には、動作データベース250から、光の動きパターン、およびロボットの機械制御のスクリプト等を取得し、ロボットに実行させる。
【0038】
次に、引き込み制御部203が制御する引き込み動作の他の例について説明する。例えば、投影モジュール100として、プロジェクタなど、画像投影が可能なモジュール用いる場合は、引き込み制御部203は、矢印を投影しロボットの方角を示したり、画像の色を徐々に変化させたりする。または、ロボットにスピーカを備えた場合、引き込み制御部203は、スピーカから言葉を発しその言葉を変化させてもよい。または、引き込み制御部203は、ロボットのCG(Computer Graphics)キャラクタを表示させて、映像に情報を載せてもよい。また、例えば、投影モジュール100に空中に投影が可能なシステムを用いた場合、引き込み制御部203は、ロボットの分身を空中に投影させて対象者に近づけるような表示をしてもよい。
【0039】
上記のような引き込み動作の他の例を実施するためには、
図5に示した例と同様に、「徐々に色を変える」、「言葉を変える」など選択肢を戦略DB230に予め設定しておき、ロボット動作DB250にそれらの動作を実施するためのスクリプト等を予め記憶しておく。そして、引き込み動作制御部240は、引き込み動作選定部220が選択したロボットの動作を、ロボット動作DB250に記憶されたスクリプトに基づいてロボットにさせる制御を行う。
【0040】
ステップS003における引き込み動作が行われた後、人認知特定部204は、対象者がロボットに気付いたどうか、つまりコミュニケーションの引き込みに成功したかどうかを判定する(ステップS004)。人がロボットを認知していないと判定された場合は、ステップS003の処理が再び行われる。
【0041】
ステップS004における人認知特定部204の動作を、具体的に説明する。カメラなどを利用する場合は、顔向きの判定処理や顔検出処理を行い、ロボットの方を向いているかどうかをスコア化する。人認知特定部204は、センシングモジュール102にカメラ以外の機器、例えば、レーザレンジセンサを利用する場合、ロボットとの距離が縮まった等の情報によって、ロボットの方を向いているかどうかをスコア化する。スコアが、ある閾値を超えた場合、人認知特定部204は、引き込み動作が成功したと判断する。そして、コミュニケーション引き込みシステムは、ロボットに、対象者へうなずいたり、手招きしたりなどの成功時の動作をさせ、対話や情報提供等の対象者とのコミュニケーションの開始を指示する。スコアが低い場合は、人がロボットを認知していないと判定され、ステップS003の処理が再び行われる。
【0042】
本実施形態のコミュニケーション引き込みシステムは、ロボットがコミュニケーションを行う対象者に物理的に近づくのではなく、光を利用してロボットが人に近づくことを擬似的に行うことできる。そのため、本実施形態のコミュニケーション引き込みシステムによれば、ロボットと対象者との距離が離れている場合や、障害物があって近づけない場合、またはロボットが移動手段を持たない場合においてもコミュニケーションの開始を円滑にすることができる。
【0043】
また、本実施形態のコミュニケーション引き込みシステムによれば、対象者に対して音声のみで呼びかけるという方法とは異なり、例えば、対象者が名前の知らない相手である場合、他の音源がある場合、場所が広い場合、どこから声が出ているか特定できない場合でも対象者を引き込むことができる。
【0044】
実施形態2.
本発明によるコミュニケーション引き込みシステムの他の実施形態として、操作者による遠隔通信を利用した例を説明する。以下の説明において、第1の実施形態と同様の構成および動作は、説明を省略する。
図6は、本発明によるコミュニケーション引き込みシステムの第2の実施形態(実施形態2)を用いたロボットの外観を示す概略図である。
図6に示すロボットは、
図1に示すロボットが備える構成の他に、通信モジュール105を備え、ネットワーク107を介してPC(Personal Computer)106と接続されている。
【0045】
通信モジュール105は、ネットワーク接続を可能とする通信インターフェースである。ネットワーク107は、例えば無線LANなどである。PC106は、ネットワークへの接続が可能であればよく、種類は限定されない。例えば、携帯電話やタブレットでもよい。センシングモジュール102は、例えばカメラであり、センシングモジュール102が撮影した映像は、通信モジュール105からネットワーク107を経由してパソコン106へ送信される。操作者は、パソコン106に表示されるロボットのセンシングデータを見ながらロボットの機械の遠隔操作を行うことができる。
【0046】
本実施形態においては、第1の実施形態の人特定部200、光源制御部201、引き込み制御部203および人認知特定部204が行っていた動作を、操作者が、PC106を操作することにより手動で行う。以下、本実施形態の動作の一例を
図4に示すフローチャートを用いて説明する。
【0047】
操作者が、ロボットの前を通った人とコミュニケーションをとりたい場合、対象となる人の位置を把握する(ステップS001)。具体的には、操作者がPC106の画面に表示されたカメラ映像を見て、対象者の位置を把握する。
【0048】
次に、操作者は、投影モジュール100から発する光を移動させて、対象者とコミュニケーションのきっかけを作る(ステップS002)。具体的には、操作者は、対象者の居場所、または対象者の移動を見越して移動先と想定される場所を、画面上でクリックするなどのポイント動作を行う。クリック等のポイント動作に従い、投影モジュール100が発する光が画面上のターゲットに対して移動する。この際、ロボットの向きおよびターゲットの位置に基づいて、投影モジュール100の制御角度が決められる。
【0049】
次に、引き込み動作についても、操作者がPC106を用いて光や機械を制御することで、第1の実施形態において引き込み制御部203が行う動作を手動で行う(ステップS003)。
【0050】
次に、操作者は、カメラの映像を見て、対象者がロボットの方向に振り向いたと判断したら(ステップS004のYES)、コミュニケーションを開始する。対象者がロボットの方向に振り向いていないと判断したら(ステップS004のNO)、再びステップS003の引き込み動作が行われる。
【0051】
なお、ステップS001からステップS004までの動作の全てを操作者が手動で行ってもよいが、動作の一部を第1の実施形態と同様に
図2で示した構成要素を用いて自動で行ってもよい。例えば、ステップS003の動作のみ、第1の実施形態と同様に、予め設定した戦略に基づいて引き込み制御部203が実施し、他の動作を操作者が手動で行ってもよい。
【0052】
本実施形態のコミュニケーション引き込みシステムによれば、操作者が引き込み動作等を手動で行うことができるので、ロボット操作の自由度が増す。そのため、システムによる制御では対象者の引き込み等が困難な状況でもコミュニケーションの開始を円滑にすることができる。
【0053】
また、上記の実施形態では、以下の(1)〜(3)に示すようなコミュニケーション引き込みシステムも開示されている。
【0054】
(1)対象者とコミュニケーションをとるロボットに搭載されるコミュニケーション引き込みシステムであって、対象者の位置を特定する人特定部(例えば、人特定部200)と、特定された対象者の位置に向けて光を移動させる光源制御部(例えば、光源制御部201)と、対象者にロボットの方向を認識させるための引き込み動作の実行を、ロボットに指示する引き込み制御部(例えば、引き込み制御部203)と、ロボットを対象者が認知したかどうか判断する人認知特定部(例えば、人認知特定部204)とを備え、ロボットを対象者が認知したと判断された場合、ロボットに対象者とのコミュニケーションの開始を指示することを特徴とするコミュニケーション引き込みシステム。
【0055】
(2)コミュニケーション引き込みシステムは、引き込み制御部が、引き込み動作として、音または光の出力を指示するように構成されていてもよい。
【0056】
(3)コミュニケーション引き込みシステムは、引き込み制御部が、引き込み動作として、ロボット自体の動作を指示するように構成されていてもよい。
【0057】
この出願は、2012年2月3日に出願された日本出願特願2012−22106を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0058】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0059】
本発明は、広告や情報提供システム、またはテレプレゼンスロボットに適用される。