(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御部は、前記撮像部によって撮像された画像内から複数のユーザが検出された場合に、前記ロボットと最もコミュニケーションしたいと想定されるユーザの画像を前記表示部に表示させる、
ことを特徴とする請求項1から6の何れか1項に記載のロボット。
前記ロボットと最もコミュニケーションしたいと想定されるユーザの画像は、前記撮像部によって撮像された画像内で最も中央にあるユーザの画像、最もサイズの大きいユーザの画像、前記ロボットとの距離が最も近いユーザの画像、前記ロボットと最も視線の合うユーザの画像、音声の発信元に最も近い位置又は方向にあるユーザの画像の何れかである、
ことを特徴とする請求項7に記載のロボット。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。
【0010】
図1は、本発明の実施形態に係るロボット10の外観を模式的に示した図である。ロボット10は、
図1に示すように顔100と首200と胴体300とを備えた人型である。ロボット10は、例えば、イベント会場の受付に設置され、来場者と会話して各種の案内をするために利用される。ロボット10の顔100には、2つの表示装置(表示部)101L、101Rと、カメラ(撮像部)102と、スピーカ103と、マイク104と、が設けられている。
【0011】
2つの表示装置101L、101Rは、それぞれ、LCD(Liquid Crystal Display)等で構成され、顔100の左右の目に相当する位置に設けられている。また、2つの表示装置101L、101Rは、表示面が円形であり、これにより、ユーザにはロボット10の目(左目、右目)として認識される。なお、以後の説明では、2つの表示装置101L、101Rを区別しない場合は表示装置101とも表記する。
【0012】
また後述する表示制御処理により、ロボット10に正対しているユーザがいない場合、
図2(A)に示すように表示装置101には、通常の目を模した画像が表示される。以下の説明では、このときの表示装置101の状態を「通常表示状態」とも表記する。
また、後述する表示制御処理により、ロボット10に正対しているユーザがいる場合、
図2(B)に示すように表示装置101には、このユーザの顔が表示される。以下の説明では、このときの表示装置101の状態を「ユーザ表示状態」とも表記する。
【0013】
図1に戻り、カメラ102は、2つの表示装置101L、101Rの間の顔100の眉間に相当する位置に設けられており、後述する制御部110の制御の下、所定の時間毎(例えば、1/60秒毎)に撮像を行っている。カメラ102はロボット10の目として機能する。
【0014】
スピーカ103は、顔100の口に相当する位置に設けられている。スピーカ103は、後述する制御部110の制御の下、各種の音声を出力する。スピーカ103はロボット10の口としての機能を有する。
マイク104は、顔100の顎に相当する部分に設けられ、周囲の音声を集音する。マイク104はロボット10の耳として機能する。なお、ロボット10の首200や胴体300にマイク104を設けてもよい。
【0015】
また、
図3に示すように、その他の構成として、ロボット10は、首駆動部105と、操作ボタン106と、センサ群107と、電源部108と、記憶部109と、制御部110と、を備える。
【0016】
首駆動部105は、複数のモータ等を備え、制御部110の指示に基づいて、人間の首と同様に、ロボット10の顔の向きを上下左右自在に制御する。
【0017】
操作ボタン106は、ロボット10を操作するための各種のボタンであり、例えば、電源ボタンやモード切替ボタンなどを含む。
センサ群107は、加速度センサや障害物検知センサ等であり、ロボット10の姿勢制御や、安全性の確保のために使用される。
電源部108は、ロボット10に内蔵される充電池等であり、ロボット10の各部に電力を供給する。
【0018】
記憶部109は、ハードディスクドライブやフラッシュメモリ等から構成され、制御部110によって実行されるプログラムやカメラ102が撮像した画像データや各種のデータを記憶する。
【0019】
制御部110は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などで構成される。制御部110は、RAMをワークスペースとして、記憶部109やROMに記憶されたプログラムを実行することにより、ロボット10全体を制御する。例えば、制御部110は、マイク104で集音したユーザの音声に反応してスピーカ103から所定の音声を出力させることにより、正対しているユーザとコミュニケーション(会話)する。なお、本実施形態において「コミュニケーション」とは会話を伴うものに限らないものとする。ユーザとロボット10とで見つめ合うこともコミュニケーションの一種である。
【0020】
また、制御部110は、カメラ102が撮像した画像から正対するユーザの有無を判別し、ユーザがいる場合はその画像をカメラ102に表示させる表示制御部として機能する。
【0021】
また、制御部110は、首駆動部105を制御して、ユーザと正対するように顔100の向きを調整する顔向調整部として機能する。制御部110の行うこれらの処理の詳細については後述する。
【0022】
続いて、上述したロボット10の動作について説明する。ロボット10の制御部110は、電源がONの間、継続して、
図4に示す表示制御処理を実行する。なお、制御部110は、表示制御処理とは独立して、ユーザと会話する処理等を実施しているものとする。
【0023】
まず、制御部110は、カメラ102が撮像した画像を取得する(ステップS101)。なお、以下の説明では、ステップS101で取得した画像を取得画像とも表記する。
【0024】
続いて、制御部110は、公知の手法を用いて、取得画像から所定サイズ以上の人間の顔を検出する顔検出処理を実施する(ステップS102)。例えば、制御部110は、人間の顔のテンプレートのデータを記憶部109に格納しておき、取得画像内でテンプレートに合致する部分を人間の顔として検出すればよい。
【0025】
続いて、制御部110は、顔検出処理でユーザの顔を検出できたか否かを判別する(ステップS103)。ユーザの顔を検出できなかった場合(ステップS103;No)、制御部110は、表示装置101を
図2(A)に示すような通常表示状態に制御し(ステップS104)、ステップS101に処理は戻る。
【0026】
一方、ユーザの顔を検出できた場合(ステップS103;Yes)、制御部110は、検出した顔にロボット10が正対しているか否かを判別する(ステップS105)。例えば、制御部110は、検出した顔が取得画像の中央部分にある場合に正対していると判別すればよい。
【0027】
ロボット10がユーザの顔と正対していないと判別した場合(ステップS105;No)、制御部110は、首駆動部105を制御して、ユーザの顔と正対するように顔100(カメラ102)の向きを調整し(ステップS106)、ステップS101に処理は戻る。
【0028】
一方、ロボット10がユーザの顔と正対していると判別した場合(ステップS105;Yes)、制御部110は、表示装置101の表示面のサイズと一致するように、取得画像から顔部分を円形に切り出す(トリミングする)(ステップS107)。なお、ステップS107で切り出した画像を顔画像とも表記する。
【0029】
続いて、制御部110は、切り出した顔画像を鏡像反転(左右反転)させる(ステップS108)。そして、制御部110は、
図2(B)に示すように、鏡像反転させた顔画像を左右の表示装置101L、101Rに表示させ(ステップS109)、ステップS101に処理は戻る。なお、制御部110は、ステップS109で顔画像を表示させた後、スピーカ103を制御して、この顔画像のユーザに話しかける等の処理を行ってもよい。
【0030】
このように、本実施形態によれば、ロボット10の顔100の目に位置する表示装置101に、カメラ102によって撮像されたロボット10に正対するユーザの画像が表示される。そのため、このユーザや他のユーザは、この表示からロボット10が誰を認識しているかを容易に知ることができ、ロボット10と円滑にコミュニケーションすることが可能となる。例えば、ロボット10が群衆の中の一人のユーザと会話をしようとする場合であっても、ロボット10が誰と会話しようとしているかはロボット10の目(表示装置101)を確認するだけで容易に知ることができる。
また、本実施形態によれば、正対しているユーザがロボット10の目(表示装置101)に表示されるため、カメラ102の位置と造形上の目の位置とが異なるロボット10であっても、視線方向のずれの影響を受けずに、ユーザは、自分が見つめられていることを十分に実感することができる。
【0031】
また、本実施形態によれば、カメラ102によって撮像された画像からユーザを検出できても、そのユーザがロボット10と正対していない場合は、正対するようにロボット10の顔100の向きが調整される。そのため、ユーザは正対しているロボット10と円滑にコミュニケーションすることが可能となる。
【0032】
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない部分での種々の修正は勿論可能である。
【0033】
(変形例1)
例えば、上記実施形態では、表示制御処理において、制御部110は、カメラ102で撮像したユーザの顔画像をそのまま表示装置101に表示したが、カメラ102の画角やフォーカス距離等のパラメータや表示装置101とカメラ102との間の相対位置情報等に基づいて、切り出した顔画像をロボット10の目(表示装置101)の位置から撮像されたように補正してから表示してもよい。なお、この場合、左目(表示装置101L)の位置から撮像されたように補正された顔画像と、右目(表示装置101R)の位置から撮像されたように補正された顔画像との2種類の顔画像が作成されて別々に表示されることとなる。このようにすることで、表示装置101L、101Rには、ロボット10の左右の目からユーザを見たような顔画像が表示されるため、ユーザは、ロボット10に見つめられていることをより強く実感することができる。
【0034】
(変形例2)
例えば、上記実施形態では、撮像したユーザの顔画像をそのまま表示装置101に表示したが、顔をデフォルメ処理した画像を表示させたり、減色処理した画像(例えば、モノクロ画像)を表示したりしてもよい。また、撮像したユーザが特定の人物であるか否かを判別し、特定の人物である場合には、その人物に特有の処理を施した画像を表示装置101に表示してもよい。
【0035】
この場合、特定の人物の顔を識別するための情報(例えば、その人物の顔の画像データ)と、処理の内容とを対応付けたテーブルを記憶部109に記憶させておく。そして、
図4に示す表示制御処理において、取得画像から切り出した顔画像を鏡像反転させた後(ステップS108)、
図5に処理は移り、制御部110は、公知の手法を用いて、顔画像の人物がテーブルで規定されている特定の人物と同一であるか否かを判別する(ステップS201)。同一人物で無いと判別した場合(ステップS201;No)、
図4に処理は移り、制御部110は、鏡像反転させた顔画像をそのまま表示させる(ステップS109)。一方、同一人物であると判別した場合(ステップS201;Yes)、制御部110は、テーブルを参照して所定の処理を顔画像に施す(ステップS202)。そして、
図4に処理は移り、制御部110は、処理を施した画像を表示装置101に表示させる(ステップS109)。
【0036】
図6は、このような処理が施された顔画像が表示装置101に表示されたロボット10の顔を示す図である。この例では、星マークP1を重畳する処理が施された顔画像が表示装置101に表示されている。なお、別のマークを重畳して表示させたり、通常と背景の色が異なる顔画像を表示させたり、特定のメッセージが付された顔画像を表示させたりしてもよく、種々の処理を顔画像に施してよい。また、制御部110は、特定人物を検出した場合に、その人物の顔画像に替えて、予め準備したその人物用のアイコン画像等を表示装置101に表示させてもよい。
【0037】
このようにすることで、特定の人物がロボット10と正対した場合には、その人物に特有の処理が施された顔画像が表示されるため、より親近感の高いロボット10とのコミュニケーションが実現できる。
【0038】
(変形例3)
また、上述した
図4に示す表示制御処理の顔検出処理(ステップS102)で取得画像から複数の顔を検出できる場合も考えられる。この場合、ロボット10の制御部110は、取得画像内で最も中央にある顔、最もサイズの大きい顔、ロボット10との距離が最も近い顔、ロボット10と最も視線の合う顔、マイク104で集音した音声の発信元に最も近い位置や方向にある顔等を検出してステップS103以降の処理を実施し、顔画像を表示装置101に表示させてもよい。
【0039】
このようにすることで、画像内から複数のユーザの顔が検出できた場合に最もロボット10とコミュニケーションしたいと想定されるユーザの顔が表示装置101に表示されるため、より円滑なロボット10とコミュニケーションすることが可能となる。
【0040】
(変形例4)
例えば、表示制御処理において制御部110(ユーザ切替報知部)が、表示装置101に表示中の被写体であるユーザが別のユーザに切り替わることを報知してもよい。
【0041】
この場合、
図4に示す表示制御処理で取得画像から切り出した顔画像を鏡像反転させた後(ステップS108)、
図7に処理は移り、制御部110は、この顔画像の被写体であるユーザが、現在表示している画像の被写体と異なっているか否かを判別する(ステップS301)。例えば、制御部110は、今回切り出した顔画像と、現在表示装置101に表示中の画像との類似度を公知の手法により求め、閾値以下である場合に異なっていると判別すればよい。
【0042】
そして、被写体のユーザが異なっていないと判別した場合(ステップS301;No)、
図4に処理は移り、制御部110は、鏡像反転させた顔画像をそのまま表示させる(ステップS109)。
【0043】
一方、被写体のユーザが異なっていると判別した場合(ステップS301;Yes)、制御部110は、目の瞬きを模した映像を表示装置101に表示させる(ステップS302)。そして、
図4に処理は移り、制御部110は、顔画像を表示装置101に表示させる(ステップS109)。なお、このとき表示される顔画像では、これまで表示していたユーザ(又は通常表示状態の画像)とは別のユーザが被写体となっている。
【0044】
このようにすることで、ユーザは、ロボット10の目(表示装置101)の瞬きから表示される人物が切り替わるタイミングを容易に知ることができるため、ロボット10とより円滑にコミュニケーションすることが可能となる。なお、制御部110は、瞬きの代わりに特定の音声をスピーカ103から発生させたりしてもよく、人物が切り替わるタイミングを報知する手法は種々の手法が採用可能である。
【0045】
(変形例5)
上述した実施形態では、カメラ102が撮像した画像からユーザの顔が検出できた場合に顔画像を表示したが、ユーザの視線方向も考慮に入れて画像を表示してもよい。
【0046】
例えば、表示制御処理において、制御部110は、公知の手法により取得画像を解析してユーザの視線方向を取得し、ユーザがロボット10を見ているか否かを判別する。そして、制御部110は、ユーザがロボット10を見ていない場合は顔画像を表示装置101に表示せず、ユーザがロボット10を見ている場合(アイコンタクトが成立している場合)に表示装置101に顔画像を表示させてもよい。
【0047】
若しくは、制御部110(アイコンタクト報知部)は、ユーザの視線がロボット10に切り替わってアイコンタクトが成立した際に、スピーカ103から特定の音声を出力させたり、表示装置101の表示を点滅させたり、眉毛などを備えて表情を変化することができる機構を備えたロボット10の場合は表情を変化させたりする等して、その旨を報知してもよい。
【0048】
このようにユーザの視線を考慮に入れた画像表示をすることで、ロボット10とのアイコンタクトをユーザに促す効果が期待でき、ロボット10とより円滑にコミュニケーションすることが可能となる。
【0049】
(変形例6)
また、車輪等の駆動機構を備えて移動することができるようにロボット10を構成してもよい。この場合、制御部110は、表示制御処理の顔検出処理(
図4、ステップS102)で検出した顔との距離を公知の手法により求める。そして、制御部110は、ユーザとの距離が所定距離以内(例えば、2m以内)になるように、駆動機構を制御してもよい。
【0050】
(変形例7)
また、上記実施形態では、ユーザの顔部分の画像(顔画像)を表示装置101に表示させたが、ユーザの上半身の画像や全身画像等を表示装置101に表示させてもよい。
【0051】
(変形例8)
また、上記実施形態では、左右の2つの目に相当する2つの表示装置101L、101Rを備えたロボット10を示したが、1個のみの目や3個以上の目を有するロボットにも本発明は適用可能である。また、ロボット10が行うユーザとのコミュニケーションは音声会話に限定されず、胴体等に設けたモニターにメッセージを表示してユーザとコミュニケーションするタイプのロボット等にも本発明は適用可能である。また、介護用のロボットや、ペットロボット等にも本発明は適用可能である。また、
図1に示したような人型に限らず、犬型や猫型のような動物を模したロボット等にも本発明は適用可能である。
【0052】
また、この発明のロボット10の各機能は、通常のPC(Personal Computer)等のコンピュータによっても実施することができる。具体的には、上記実施形態では、ロボット10が行う表示制御処理のプログラムが、記憶部109や制御部110のROMに予め記憶されているものとして説明した。しかし、このプログラムを、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
【0053】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【0054】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0055】
(付記1)
顔を備えたロボットであって、
撮像部と、
前記顔の目の位置に配置される表示部と、
前記撮像部によって撮像された前記ロボットに正対するユーザの画像を前記表示部に表示させる表示制御部と、
を備えることを特徴とするロボット。
【0056】
(付記2)
前記ユーザと正対するように前記顔の向きを調整する顔向調整部を備える、
ことを特徴とする付記1に記載のロボット。
【0057】
(付記3)
前記表示制御部は、前記ユーザの画像を前記表示部の位置から撮像されたように補正したうえで前記表示部に表示させる、
ことを特徴とする付記1又は2に記載のロボット。
【0058】
(付記4)
前記表示制御部は、前記ユーザとアイコンタクトが成立したときに、前記ユーザの画像を前記表示部に表示させる、
ことを特徴とする付記1から3の何れか1つに記載のロボット。
【0059】
(付記5)
前記ユーザとアイコンタクトが成立したことを知らせるアイコンタクト報知部をさらに備える、
ことを特徴とする付記1から4の何れか1つに記載のロボット。
【0060】
(付記6)
前記表示制御部は、前記撮像部が撮像したユーザが特定の人物であるか否かを判別し、特定の人物である場合は、該人物の画像に所定の処理を施した画像を前記表示部に表示させる、
ことを特徴とする付記1から5の何れか1つに記載のロボット。
【0061】
(付記7)
前記表示制御部は、前記撮像部によって撮像された画像内から複数のユーザが検出された場合に、前記ロボットと最もコミュニケーションしたいと想定されるユーザの画像を前記表示部に表示させる、
ことを特徴とする付記1から6の何れか1つに記載のロボット。
【0062】
(付記8)
前記ロボットと最もコミュニケーションしたいと想定されるユーザの画像は、前記撮像部によって撮像された画像内で最も中央にあるユーザの画像、最もサイズの大きいユーザの画像、前記ロボットとの距離が最も近いユーザの画像、前記ロボットと最も視線の合うユーザの画像、音声の発信元に最も近い位置又は方向にあるユーザの画像の何れかである、
ことを特徴とする付記7に記載のロボット。
【0063】
(付記9)
前記表示部に表示されている画像の被写体であるユーザが別のユーザに切り替わることを報知するユーザ切替報知部を備える、
ことを特徴とする付記1から8の何れか1つに記載のロボット。
【0064】
(付記10)
前記ユーザ切替報知部は、前記表示部に目の瞬きを模した映像を表示させることにより前記報知を行う、
ことを特徴とする付記9に記載のロボット。
【0065】
(付記11)
撮像部と顔の目の位置に配置される表示部とを備えたロボットを制御するコンピュータを、
前記撮像部に撮像させる撮像制御手段、
前記撮像された前記ロボットに正対するユーザの画像を前記表示部に表示させる表示制御手段、
として機能させるプログラム。
【0066】
(付記12)
前記表示制御手段は、前記ユーザの画像を前記表示部の位置から撮像されたように補正したうえで前記表示部に表示させる、
ことを特徴とする付記11に記載のプログラム。
【0067】
(付記13)
前記コンピュータを、前記ユーザとアイコンタクトが成立したことを知らせる報知手段としてさらに機能させる、
付記11又は12に記載のプログラム。
【0068】
(付記14)
前記コンピュータを、前記撮像部により撮像された画像内から複数のユーザが検出された際に、所定の条件を満たすユーザを判別する判別手段としてさらに機能させ、
前記表示制御手段は、前記所定の条件を満たすユーザの画像を表示させる、
付記11から13の何れか1つに記載のプログラム。