(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-27
(45)【発行日】2022-10-05
(54)【発明の名称】車載用ロボット
(51)【国際特許分類】
G08G 1/16 20060101AFI20220928BHJP
G06F 3/01 20060101ALI20220928BHJP
【FI】
G08G1/16 C
G08G1/16 F
G06F3/01 510
(21)【出願番号】P 2018128572
(22)【出願日】2018-07-05
【審査請求日】2021-04-27
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】奈良 憲和
(72)【発明者】
【氏名】森田 学
(72)【発明者】
【氏名】望月 俊啓
(72)【発明者】
【氏名】村上 哲郎
(72)【発明者】
【氏名】奥津 和宏
(72)【発明者】
【氏名】森田 晋史
【審査官】吉村 俊厚
(56)【参考文献】
【文献】特開2010-127779(JP,A)
【文献】特開2002-166379(JP,A)
【文献】特開2009-023613(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
車載装置が搭載される車両に搭載される車載用ロボットであって、
前記車載装置から前記車両に関する情報である車両情報を取得する通信部と、
前記車両の外部または前記車両の内部を撮影するカメラと、
前記車両情報および前記カメラによる撮影結果を用いて当該車載用ロボットの動作を決定する制御部と
、
前記カメラの撮影方向を前記車両の車室側と前記車両の外部に切り替え可能なアクチュエータとを備え、
前記制御部は、前記車両情報から前記車両が狭隘路に接近していることを認識すると、前記アクチュエータに往復運動をさせる車載用ロボット。
【請求項2】
請求項1に記載の車載用ロボットであって、
前記車両は前記車両の周辺を撮影する周辺カメラをさらに備え、
前記制御部は、前記車両情報から前記車両が狭隘路に進入したことを認識すると、前記アクチュエータを用いて前記カメラを前記車両の外部に向けて前記カメラによる撮影を開始し、前記カメラが撮影して得られた情報に前記車両の障害物が含まれると、前記周辺カメラを起動する車載用ロボット。
【請求項3】
車載装置が搭載される車両に搭載される車載用ロボットであって、
前記車載装置から前記車両に関する情報である車両情報を取得する通信部と、
前記車両の外部または前記車両の内部を撮影するカメラと、
前記車両情報および前記カメラによる撮影結果を用いて当該車載用ロボットの動作を決定する制御部とを備え、
前記制御部は、前記車両情報から前記車両が長時間走行していることを認識すると、前記車両の乗員構成に応じた呼びかけを行う車載用ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用ロボットに関する。
【背景技術】
【0002】
カーナビゲーション装置は目的地への経路誘導を行うだけでなく、車両に関する様々な情報を扱い、ユーザの利便性を向上している。特許文献1には、ナビゲーション装置と人形を連携させてユーザへ情報提供する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された発明では、ナビゲーション装置から入力された情報に基づく情報提供しか実現できず改善の余地がある。
【課題を解決するための手段】
【0005】
本発明の第1の態様による車載用ロボットは、車載装置が搭載される車両に搭載されるロボットであって、前記車載装置から前記車両に関する情報である車両情報を取得する通信部と、前記車両の外部または前記車両の内部を撮影するカメラと、前記車両情報および前記カメラによる撮影結果を用いて当該車載用ロボットの動作を決定する制御部とを備える。
【発明の効果】
【0006】
本発明によれば、車載用ロボットが車載装置から取得する情報と車載用ロボットが備えるカメラによる撮影結果を用いて動作できる。
【図面の簡単な説明】
【0007】
【
図2】ロボットシステムSの車両5における配置を示す図
【
図4】ロボ表示部12に表示される画像の例を示す図
【
図5】ロボット1およびナビゲーション装置2の機能構成図
【
図6】車両5の始動時におけるロボットシステムSの動作を示すシーケンス図
【
図7】車両5の始動後におけるロボットシステムSの動作を示すシーケンス図
【
図8】車両5の始動後におけるロボットシステムSの動作を示すシーケンス図
【
図9】車両5の走行時におけるロボットシステムSの動作を示すシーケンス図
【
図10】車両5の一時停止時におけるロボットシステムSの動作を示すシーケンス図
【
図11】車両5が狭隘路を通行する際のロボットシステムSの動作を示すシーケンス図
【
図12】車両5が長時間走行している場合のロボットシステムSの動作を示すシーケンス図
【
図13】車両5が目的地の周辺に到着した場合のロボットシステムSの動作を示すシーケンス図
【発明を実施するための形態】
【0008】
―実施の形態―
以下、
図1~
図13を参照して、本発明に係るロボットシステムの実施の形態を説明する。車両5の乗員のうち、運転席に座っている者を運転者と呼ぶ。車両5の乗員であって、運転者に限らない全員をユーザと呼ぶ。
【0009】
(ハードウエア構成)
図1はロボットシステムSのハードウエア構成図である。ロボットシステムSは車両5に搭載される。ロボットシステムSは、ロボット1と、ナビゲーション装置2と、間接照明31と、スピーカー32と、周辺カメラ33と、GPS受信機34と、マイク35とを備える。
【0010】
ロボット1は、ロボカメラ11と、ロボ表示部12と、ロボライト13と、モータ14と、ロボ演算部15と、ロボ記憶部16と、ロボ通信部17とを備える。ロボカメラ11はロボ表示部12と一体に構成されるカメラユニットであり、撮影して得られる画像はロボ演算部15がアクセス可能である。ロボカメラ11は高精細でゆがみが少ないことが望ましい。ロボ表示部12はたとえば液晶ディスプレイである。ロボ表示部12は、ロボ演算部15の動作指令に基づき、ユーザへ、特に運転者へ提供する情報を表示する。
【0011】
ロボライト13はロボ表示部12と一体に構成されるライトであり、ロボ演算部15からの動作指令により点灯、消灯、点滅、点灯色の変更などが可能である。さらにロボライト13は、ロボ演算部15の動作指令にしたがって、色を次々に変化させて虹色に光らせることもできる。モータ14は3軸モータであり、ロボ演算部15の動作指令によりロボット1をXYZの3軸周りに自在に回転できる。ロボ演算部15は、ロボット1の動作指令に関する演算を行う装置である。ロボ演算部15により実現される機能は後述する。
【0012】
ロボ演算部15は、中央演算装置であるCPU、再構成可能な論理回路、およびハードウエア回路の少なくとも1つを含んで構成される。ロボ演算部15にCPUを含む場合は、ロボ記憶部16または不図示のROMなどに格納されたプログラムを不図示のRAMに展開して実行する。ロボ記憶部16は、読み書き可能な不揮発性の記憶装置、たとえばフラッシュメモリである。ロボ通信部17は、ナビゲーション装置2やロボットシステムSを構成する他の装置との通信を行うための通信インタフェースである。ロボ通信部17はたとえばCAN(登録商標)やIEEE802.3に対応する。
【0013】
ナビゲーション装置2は、車両5を目的地に誘導するためのナビゲーション情報を運転者に提供する装置である。ナビゲーション装置2は、ナビ表示部22と、ナビ演算部25と、ナビ記憶部26と、ナビ通信部27とを備える。ナビ表示部22はたとえば液晶ディスプレイである。ナビ表示部22は、ナビ演算部25の動作指令に基づき、ユーザへ、特に運転者へ提供する情報を表示する。ナビ演算部25は、中央演算装置であるCPU、再構成可能な論理回路、およびハードウエア回路の少なくとも1つを含んで構成される。ナビ演算部25にCPUを含む場合は、ナビ記憶部26または不図示のROMなどに格納されたプログラムを不図示のRAMに展開して実行する。ナビ演算部25により実現される機能は後述する。
【0014】
ナビ記憶部26は、書き込み可能な不揮発性の記憶装置、たとえばフラッシュメモリである。ただしナビ記憶部26に読み出し専用の記憶領域が含まれてもよい。ナビ通信部27は、ロボットシステムSを構成する他の装置、および車両5の外部のサーバとの通信を行うための通信インタフェースである。ナビ通信部27はたとえば、車両5の内部の機器と通信するためのCANまたはIEEE802.3の通信モジュールと、車両5の外部のサーバと通信するための無線通信モジュールとを含む。ナビ通信部27は車両5に搭載された様々な機器と通信可能であり、たとえばイグニッションスイッチの動作状態や、車両5の速度、ステアリングホイールの角度などの情報が得られる。
【0015】
間接照明31は、車両5の内部の4か所に配される多色の光源である。間接照明31が配される4か所とは、運転席の前方下部、運転席のドア側の側面下部、助手席の前方下部、および助手席のドア側の側面下部である。間接照明31は様々な色を発光可能であり、ロボット1の動作指令により点灯、消灯、および点灯色の変更を行う。
【0016】
スピーカー32は、ナビゲーション装置2から出力される信号に基づき音声を出力する。周辺カメラ33は、車両5の4隅に配されるカメラであり、車両5の周辺を撮影する。周辺カメラ33が撮影して得られた映像は、ナビゲーション装置2に出力される。周辺カメラ33は平時は動作しておらず、ロボット1の動作指令により動作を開始する。GPS受信機34は、衛星航法システムを構成する複数の衛星から電波を受信し、その電波に含まれる信号を解析することで自車両の位置、すなわち緯度と経度を算出する。GPS受信機34は算出した緯度と経度をナビゲーション装置2に出力する。マイク35は運転者の発話が入力可能なマイクロフォンであり、運転席の付近に設けられる。マイク35は得られた音声信号をナビゲーション装置2に出力する。
【0017】
(車内の配置)
図2はロボットシステムSの車両5における配置を示す図である。ただし
図2ではロボットシステムSに含まれる一部の装置の記載を省略している。
【0018】
ロボット1は車両5のダッシュボードの上であって、車両5の幅方向で略中央に設置される。ロボット1の通常の姿勢、たとえば電源オフ時や特段の処理を行わない場合の姿勢は、車室内の後方正面を向いている。ロボット1の通常の姿勢におけるロボット1のロボ表示部12の正面の向きを
図2では矢印で示している。間接照明31は、前述のとおり、運転席の前方下部、運転席のドア側の側面下部、助手席の前方下部、および助手席のドア側の側面下部に配される。周辺カメラ33は車両5の四隅に配置され、4つの周辺カメラ33により車両5の全周が撮影可能である。
【0019】
ロボット1のモータ14の回転方向を明確にするために、便宜的にXYZ軸を定義する。X軸は車両5の前後方向に平行、Y軸は車両5の幅方向に平行、Z軸は車両5の天地方向に平行である。ロボット1をZ軸を中心に回転させることで、ロボット1のロボ表示部12を運転席に向かせることができる。以下ではZ軸を中心とする回転をヨー方向の回転とも呼ぶ。ロボット1をY軸を中心に回転させることで、ロボット1のロボ表示部12を天井や床に向けさせることができる。以下ではY軸を中心とする回転をピッチ方向の回転とも呼ぶ。ロボット1をX軸を中心に回転させることで、ロボット1のロボ表示部12が平面内で回転し、いわばロボット1が首をかしげるような動作をさせることができる。以下ではX軸を中心とする回転をロール方向の回転とも呼ぶ。
【0020】
(ロボット1の正面図)
図3はロボット1の正面図である。
図2に示したロボット1の位置に当てはめると、
図3の下部は車両5のダッシュボードであり、
図3の左右方向は車両5の幅方向である。ロボット1は円形のロボ表示部12を備え、その周囲を縁取るようにロボライト13が配される。そしてロボカメラ11は、ロボ表示部12やロボライト13と一体に構成されている。なお
図3ではロボカメラ11はロボライト13の上部に位置しているが、ロボカメラ11がロボ表示部12の領域に埋め込まれてもよい。
【0021】
(ロボ表示部12の表示例)
図4はロボ表示部12に表示される画像の例を示す図である。ロボ表示部12は液晶ディスプレイなので様々な画像や文字を表示可能である。ロボ表示部12には、たとえば
図4(a)に示すように上部に2つの丸を表示して、ロボ表示部12をロボット1の顔に見立てた表示を行うことができる。また
図4(b)では、ロボカメラ11による撮影を行っていることを示すためのカメラのアイコンを両目とともに表示している。
図4(c)では運転者への挨拶メッセージを表示している。
図4(d)では車両5の乗員構成を画像で表示している。
図4(e)ではマイクのアイコンを表示し、音声認識を受け付けていることを示している。
【0022】
(機能構成)
図5はロボット1およびナビゲーション装置2の機能構成図である。これらは、ロボ演算部15およびナビ演算部25により実現される機能である。また
図5ではロボ記憶部16に格納される情報とナビ記憶部26に格納される情報も併せて示している。ロボ記憶部16にはロボ用ユーザDB161が格納される。ロボ用ユーザDB161には、運転者の顔写真とユーザIDとが関連付けられて格納される。
【0023】
ナビ記憶部26には、ナビ用ユーザDB261と、ナビ地
図262と、POIDB263と、定型文264とが格納される。ナビ用ユーザDB261には、ユーザIDとユーザの氏名とユーザの予定表を閲覧するための情報が関連付けられて格納される。ただしユーザの氏名はニックネームでもよい。ユーザの予定表を閲覧するための情報とは、たとえばスケジュール管理用のオンラインサービスのURL、そのサービスのID、およびパスワードである。
【0024】
ナビ地
図262は、ナビゲーションに必要な地図情報である。ナビ地
図262には道路の道幅や道路区画線の有無などの情報が含まれる。POIDB263は、POI(Point Of Interest)を検索するためのデータベースである。POIには駐車場も含まれる。定型文264は、状況ごとの様々な定型文である。
【0025】
ロボット1はその機能として、ロボ主制御部151と、顔認識部152と、属性推定部153と、感情推定部154と、色算出部155と、視線検知部156と、物体認識部157とを備える。
【0026】
ロボ主制御部151は、ナビゲーション装置2から受ける様々な動作指令に応じてロボット1を制御する。ロボ主制御部151は必要に応じて顔認識部152と、属性推定部153と、感情推定部154と、色算出部155と、視線検知部156とに動作指令を出力する。
【0027】
顔認識部152は、ロボカメラ11が撮影して得られた顔(以下、「撮影された顔」と呼ぶ)と、ロボ用ユーザDB161に含まれる顔の一致を判断する。顔の一致の判断は、たとえば既知のアルゴリズムである特徴量の算出および特徴量の類似度の評価により実現できる。顔認識部152は、撮影された顔がロボ用ユーザDB161に格納されたいずれかの顔と一致すると、その顔に関連付けられたユーザIDを返す。
【0028】
属性推定部153は、撮影された顔の属性を推定する。属性とは、性別およびおおよその年齢である。また犬や猫も属性に含まれる。すなわち属性推定部153による推定結果は、子供の男の子、成人女性、犬などである。属性推定部153はたとえば、撮影された顔のパーツごと、および顔全体の特徴量を算出し、ロボ記憶部16に格納された属性別の特徴量の統計情報を用いて判断を行う。
【0029】
感情推定部154は、撮影された顔の感情を推定する。属性推定部153はたとえば、撮影された顔のパーツごと、および顔全体の特徴量を算出し、ロボ記憶部16に格納された感情別の特徴量の統計情報を用いて、最も特徴量が類似する感情を選択することで感情を推定する。
【0030】
色算出部155は、感情推定部154が推定した感情が入力され、感情色と誘導色を算出する。感情色とは、感情推定部154が推定した感情に対応する色であり、誘導色とは車両の運転の観点から誘導することが好ましい感情に対応する色である。感情色はたとえばシャイエの色彩心理学など色彩心理の研究に基づいて決定することができる。たとえば「喜」の感情には「黄」、「怒」の感情には「赤」、「哀」の感情には「青」が対応する。感情と感情色の関係は、あらかじめ関連付けられてロボ記憶部16に格納される。誘導色はたとえば感情色の補色を用いることができる。
【0031】
視線検知部156は、運転者がロボット1を注視しているか否かを判断する。視線検知部156は、ロボカメラ11が撮影して得られた画像から運転者の目の領域を抽出し、目の領域における黒目の位置を特定する。そして前述の黒目の位置から運転者が注視している方向を算出し、ロボット1と運転者の位置・姿勢関係と合致すると判断すると、運転者がロボット1を注視していると判断する。
【0032】
上記手法はあくまで一例である。たとえば顔の向きを検知する処理をさらに加えてもよい。運転者の顔がロボット1の方向を向いているか否かを検知したうえで、上述した目の領域を特定する処理に進むようにしてもよい。このようにすることで、運転者がロボット1を注視しているか否かを判断しやすくなる。
【0033】
物体認識部157は、ロボカメラ11で撮影して得られた映像に含まれる、車両5の進行の妨げとなる物体を認識する。認識すべき物体とは、車両、人間、自転車、およびバイクなどである。物体認識部157は既知の手法により物体を認識し、たとえばパターンマッチングにより物体を識別する。
【0034】
ナビ主制御部251は、車両5から収集する様々な情報に基づきロボット1に動作指令を出力する。たとえばナビ主制御部251は、車両5から収集する情報に基づき後述するいずれのシーンに該当するかを判断し、該当するシーンごとにあらかじめ定められた処理を行う。ナビ主制御部251は必要に応じて読み上げ部252、および音声認識部253に動作指令を出力する。またナビ主制御部251は、設定された目的地までの走行ルートをナビ地
図262を参照して検索する機能、および入力された条件に合致するPOIをPOIDB263を用いて検索する機能を有する。
【0035】
読み上げ部252は、ナビ主制御部251から入力されたテキスト文章をスピーカー32から出力可能な音声信号に変換する。読み上げ部252は、既知の技術を用いた音声合成機能を有し、男女いずれの声も出力可能である。音声認識部253は、マイク35に入力されたユーザの発話を認識して文字列としてナビ主制御部251に出力する。音声認識部253は既知の技術を用いており、たとえば周波数解析や隠れマルコフモデルにより実現される。
【0036】
(動作例)
以下、
図6~
図13を参照してシーンごとのロボットシステムSの動作例を説明する。以下で特に説明しない場合は、ロボット1を動作させるのはロボ主制御部151であり、ナビゲーション装置2を動作させるのはナビ主制御部251である。なお以下に説明する動作例では、ナビゲーション装置2にはあらかじめユーザにより目的地が設定されていることとする。
【0037】
(始動時)
図6は車両5の始動時におけるロボットシステムSの動作を示すシーケンス図である。
【0038】
ユーザが車両5のイグニッションスイッチをオンにすると(S301)、ロボット1およびナビゲーション装置2が起動する。ナビゲーション装置2のナビ主制御部251は、起動するとロボット1に起動時処理指令を出力する(S302)。ロボット1のロボ主制御部151は、起動時処理指令を受信すると、ロボ表示部12を運転席に向かせ、さらに挨拶の一種であるお辞儀をさせる(S303)。すなわちS303ではロボット1は、まずロボ表示部12をヨー方向に回転させて運転席を向かせ、次にロボ表示部12をピッチ方向下方向に回転させる。
【0039】
このS303は、ユーザにロボット1の存在を知らせるだけでなく、次のステップの撮影において運転者の顔を撮影しやすくする利点がある。一般に、ロボット1が動作するとユーザはロボット1に注目し、ロボット1に顔を向けるためである。なおナビゲーション装置2は、ロボット1がお辞儀する前後において、「こんにちは」などの挨拶の音声を出力してもよい。
【0040】
そしてロボット1は、運転者をロボカメラ11で撮影して顔認識部152により認識する(S304)。ロボット1は、運転者を撮影する際にロボ表示部12にカメラのマークを表示して撮影を行うことをユーザに通知する。ロボ表示部12にカメラのマークを表示する例は、たとえば
図4(b)に示すものである。次にロボット1は、運転者が登録済みであるか否か、換言すると運転者の写真がロボ用ユーザDB161に含まれており、過去にこの車両5を運転したか否かを判断する。ロボット1は登録済であったと判断すると、ナビゲーション装置2に運転者のユーザIDを通知する(S306)。なおS304を否定判断する場合の動作は後に説明する。
【0041】
ロボット1からユーザIDを受信したナビゲーション装置2は、ナビ用ユーザDB261を検索してそのユーザIDが示すユーザ名を取得し(S310)、そのユーザ名をロボット1に通知する(S311)。ユーザ名の通知を受けたロボット1は、ユーザ名をロボ表示部12に表示する(S312)。ロボ表示部12にユーザ名を表示する例は、たとえば
図4(c)に示すものである。表示部にユーザ名を表示することで、運転者に認識が行われたことを明示できる。
【0042】
上述したS311の次にナビゲーション装置2は、ロボット1から受信したユーザIDが示すユーザの予定を検索し(S313)、検索された予定を読み上げる(S314)。予定の読み上げには、読み上げ部252が利用される。なお以下では特に説明しないが、全ての音声出力には読み上げ部252が利用される。ナビゲーション装置2による予定の検索は、ナビ用ユーザDB261を参照してURL、ID、およびパスワードを特定し、ナビ通信部27を利用してアクセスすることで得られる。ナビゲーション装置2はたとえば、S313においてユーザがこれから「XX展示会」に行くことが分かった場合に「今日のXX展示会は楽しみですね」という音声を出力する。
【0043】
ロボット1はS305において否定判断をすると、S320に進んで属性推定部153を用いて撮影した運転者の性別判定を行う。そしてロボット1は判定した性別の情報をナビゲーション装置2に伝達する(S321)。ナビゲーション装置2はロボット1から性別の情報を受信すると、運転者が初回の乗車であると判断して初回乗車用の音声を出力する(S322)。この音声は、挨拶、ロボット1の自己紹介、および運転者の名前を尋ねるものである。またこの時の音声は、運転者の性別に応じたものとする。たとえば運転者を男性と推定した場合には男性の声で合成した音声を出力し、運転者を女性と推定した場合には女性の声で合成した音声を出力する。S322において出力される音声はたとえば、「はじめまして、私はミロです。あなたのお名前を教えてください。」である。
【0044】
運転者が自身の名前を発話すると、ナビゲーション装置2は音声認識部253を用いてユーザの発話を音声認識して文字に変換し、ユーザ名としてナビ用ユーザDB261に登録する(S324)。このときナビ用ユーザDB261には、新たに発行するユーザIDとともにこのユーザ名が登録される。そしてナビゲーション装置2は、ロボット1にユーザIDを通知する。ロボット1は、通知されたユーザIDとS304において撮影した画像とを関連付けてロボ用ユーザDB161に登録する。なおロボット1は、S305を肯定判断する場合はS312の実行後に、またはS305において否定判断をする場合は任意のタイミングで、顔の向きを正面、すなわち
図2に示す方向に向きなおす。
【0045】
(始動後)
図7は車両5の始動後におけるロボットシステムSの動作を示すシーケンス図である。
図7に示すシーケンス図は、始動時の動作を示す
図6の直後に開始されてもよいし、
図6に示す処理からしばらく、たとえば1分間の時間をあけて実行されてもよい。
【0046】
まずナビゲーション装置2は、ロボット1に起動後処理指令を出力する(S329)。ロボット1はこの起動後処理指令を受信すると、車室内の正面、すなわち
図2の矢印の方向を向いて撮影を行う(S330)。ただしS330は車両5の乗員全員を撮影することが目的なので、ロボカメラ11の視野角が狭い場合には、ヨー方向に首を振りながら複数枚の画像を撮影してもよい。次にロボット1は属性推定部153を用いて、S330において撮影した画像から車両5の乗員構成、すなわち車両5に乗車している人数およびその属性を認識する。なお人間以外の生き物、たとえば犬や猫も併せて認識し、乗員構成に含めてもよい。そしてロボット1は、S331における認識の結果をナビゲーション装置2に通知する(S332)。
【0047】
ナビゲーション装置2は、ロボット1から通知された乗員構成に対応する音声を出力する(S333)。なおここで受信した乗員構成は後の処理でも利用するので、目的地に到着するまでは一時的に保存する。乗員構成に対応する音声とはたとえば、人数が多い場合に「大勢でのお出かけいいですね」であり、子供が含まれる場合に「お子さんと一緒でいいですね」である。ロボット1は、S331における認識結果に基づき、人数や属性をロボ表示部12に表示する(S334)。ロボ表示部12に人数や属性を表示する例は、たとえば
図4(d)に示すものである。
図4(d)では、運転席と助手席に大人が座っており、後部座席に子供が座っていることを示している。
【0048】
(呼びかけ)
図8は車両5の始動後におけるロボットシステムSの動作を示すシーケンス図である。
図7に示すシーケンス図は、始動後の動作を示す
図7の直後に開始されてもよいし、
図6および
図7に示す処理の最中に実行されてもよい。
【0049】
まずナビゲーション装置2は、ロボット1に眼鏡処理指令を出力する(S339)。ロボット1はこの眼鏡処理指令を受信すると、
図6のS304において撮影した画像をロボ主制御部151が認識し(S340)、眼鏡をかけているか否かを判断する(S341)。ロボ主制御部151はたとえば、均一な色が広がっている領域の形状が眼鏡の形状に類似する度合いを評価することで、眼鏡をかけているか否かを判断する。
【0050】
ロボット1は、運転者が眼鏡をかけていないと判断する場合はそのまま処理を終了し、眼鏡をかけていると判断する場合はその旨をナビゲーション装置2に通知する(S342)。ナビゲーション装置2は、運転者が眼鏡をかけている旨の通知を受信すると、あらかじめ定められた、眼鏡に関する音声を出力する(S343)。眼鏡に関する音声とはたとえば、「メガネがとってもにあっているね。ミロも真似してみたよ」、である。
【0051】
ロボット1は、ロボ表示部12に眼鏡の画像を表示する(S344)。ロボ表示部12に眼鏡を表示する例はたとえば次のものである。すなわちロボ表示部12の上部に眼鏡を表示し、ロボ表示部12の全体をロボット1の顔に見立てると、ロボット1が眼鏡をかけているように表示される。
【0052】
(走行時)
図9は車両5の走行時におけるロボットシステムSの動作を示すシーケンス図である。
図9に示すシーケンス図は、走行時に常時実行されてもよいし、所定の時間間隔、たとえば30分ごとに実行されてもよいし、走行開始後に1回のみ実行されてもよい。
【0053】
ナビゲーション装置2は、車両5が走行したことを検出すると、ロボット1に走行時処理指令を出力する(S350)。走行時処理指令を受信したロボット1は、運転者を撮影し(S351)、撮影して得られた画像を処理対象とし、感情推定部154を用いて運転者の感情を推定する(S352)。次にロボット1は、推定した感情に対応する色である感情色を色算出部155を用いて算出し、間接照明31を感情色に点灯させる(S353)。
【0054】
次にロボット1は、誘導することが好ましい感情の色である誘導色を色算出部155を用いて算出し、間接照明31を誘導色に点灯させる(S354)。ただしS353からS354への遷移には所定の時間間隔をあけて、瞬時に間接照明31の色が変化することがないようにする。そしてロボット1は、ナビゲーション装置2に間接照明31の点灯が完了した旨の完了通知を出力する(S355)。
【0055】
ロボット1から完了通知を受信したナビゲーション装置2は、ナビ通信部27を用いて車両5がこれから走行する道路の道路状況を検索する。道路状況とは、混雑の程度や通行の可否などである。ナビゲーション装置2は、道路状況を音声出力してユーザに伝達する(S357)。この音声出力はたとえば、「これから向かう道路は空いています」である。次にナビゲーション装置2は、ロボット1にも道路状況を伝達する(S358)。ただしロボット1への道路状況の伝達は、たとえば0~10の数字で行い、混雑の程度が軽いほど小さい数字とし、混雑の程度が重いほど大きな数字とする。また通行が不可の場合には最も大きい10とする。
【0056】
ロボット1は、ナビゲーション装置2から道路状況が伝達されると伝達された道路状況に応じた表情をロボ表示部12に表示する(S359)。道路状況に応じた表情とは、混雑の程度が軽いほど喜んだ顔であり、混雑の程度が重くなるにつれて悲しげな表情となり、通行不可の場合には怒りの表情となる。次にロボット1は、ロボ表示部12に時刻を表示して(S360)走行時処理を終了する。ただしS359からS360への遷移には所定の時間間隔をあける。
【0057】
(一時停止時)
図10は信号待ちなどの車両5の一時停止時におけるロボットシステムSの動作を示すシーケンス図である。
図10に示すシーケンス図は、車両5が一時停止するたびに実行されてもよいし、前回の実行から所定の時間間隔以上が経過していることを条件として実行してもよいし、走行開始後に1回のみ実行されてもよい。
【0058】
ナビゲーション装置2は、GPS受信機34から位置情報を取得し、車両5が目的地以外で停止したことを検出すると、ロボット1に停止時処理指令を出力する(S370)。ロボット1は、ナビゲーション装置2から停止時処理指令を受信すると視線検知部156による運転者の視線検知を開始する(S371)。ロボット1は、運転者の視線を検知したか否かを判断し(S372)、視線を検知するまでS372に留まる。ロボット1は、運転者の視線を検知したと判断すると、ナビゲーション装置2に視線を検知した旨を通知し(S374)、ロボ表示部12を運転者の方に向ける(S375)。そしてロボット1は、ロボ表示部12に音声認識を開始した旨の表示を行うとともに音声認識を開始する。音声認識を開始した旨の表示とは、たとえば
図4(e)に示すようにマイクのアイコンの表示である。
【0059】
ロボット1から視線を検知した旨の通知を受けたナビゲーション装置2は、運転者に音声認識を開始する旨の音声出力を行う。音声認識を開始する旨の音声出力とはたとえば、「見つめられてドキッとしました。どうしたの?」である。その後、運転者が指示や質問を発話すると、音声認識部253がその発話を認識してナビ主制御部251に出力し、ナビ主制御部251が発話内容に対応する処理を行う。たとえば発話内容が「音楽が聴きたい」の場合には音楽の再生を開始し、発話内容が「目的地をYYYに変更」であればナビゲーションの目的地をYYYに変更して走行経路を再計算する。
【0060】
なお、ここではロボット1からの音声出力に応じた運転者の応答があった際に、その応答内容に応じた処理をナビゲーション装置2が実行する例を説明したが、ロボット1の処理はこれに限られない。たとえば車両5が一時停止をしたタイミングで、その都度ロボット1はロボカメラ11を用いて運転者の顔を撮影し、既知のパターンマッチングなどの技術を用いて運転者の疲れを推定してもよい。そしてロボット1は運転者が疲れていると判断すると休憩の提案を行う。この場合にロボット1は、現在の時間帯やナビ通信部27などで受信した天気の情報を加味して、時間帯や天気に適した休憩施設を検索してもよい。
【0061】
(狭隘路への接近)
図11は、車両5が狭隘路を通行する際のロボットシステムSの動作を示すシーケンス図である。
図11に示すシーケンス図は、車両5が狭隘路を通行するたびに実行される。
【0062】
ナビゲーション装置2は、地図情報および車両5の進行方向から車両5が狭隘路に接近していると判断すると、ロボット1に狭隘路接近時処理指令を出力する(S380)。本実施の形態における狭隘路とは、道路区画線がない道路、または1車線分しか道路区画線がなく、車両同士のすれ違いが容易ではない道路である。ナビゲーション装置2から狭隘路接近時処理指令を受信したロボット1は、複数回の首振りおよびロボライト13の発光を行う(S381)。S381における首振りとは、1軸または複数の軸を回転軸とする所定角度の往復運動である。この首振り動作により、ロボット1がこれから動き始めることをユーザに知らせることができる。
【0063】
ナビゲーション装置2は、狭隘路接近時処理指令を出力すると、ユーザに対して注意喚起の音声出力を行う(S382)。注意喚起の音声出力とはたとえば、「狭い道に入りますね。気を付けて運転してね。僕も気を付けて周辺をチェックするよ」である。次にナビゲーション装置2は、車両5が狭隘路に進入したか否かを判断し(S383)、狭隘路へ進入したと判断するまでS383に留まる。ナビゲーション装置2は車両5が狭隘路に進入したと判断すると、ロボット1に狭隘路進入時処理指令を出力する(S384)。
【0064】
ナビゲーション装置2から狭隘路進入時処理指令を受信したロボット1は、ロボ表示部12をヨー方向に180度回転させて車両5の進行方向を向く。そしてロボット1は、ロボカメラ11による撮影と、物体認識部157による障害物の認識とを開始する(S385)。前述のとおりロボット1のロボ表示部12にはロボカメラ11が搭載されているので、S385の処理によりロボカメラ11は車両5の前方の様子を撮影可能となる。次にロボット1は、物体認識部157が障害物を検出したか否かを判断し(S386)、障害物を検出するまでS386に留まる。ロボット1は障害物を検出したと判断すると、ナビゲーション装置2に検知した旨を通知する(S387)。
【0065】
ロボット1から検知の通知を受信したナビゲーション装置2は、周辺カメラ33を起動し(S388)、ユーザに検出とカメラ起動を知らせる音声出力を行う(S389)。検出とカメラ起動を知らせる音声出力とはたとえば、「狭い道で対向車が近づいています。カメラを起動します」である。そしてナビゲーション装置2は、周辺カメラ33が撮影して得られた映像をナビ表示部22に表示する(S390)。ユーザはナビ表示部22に映し出される周辺カメラ33の映像も参照して、狭隘路を安全に走行できる。また狭隘路に進入しても、車両や人間が検出されない場合には車載カメラは起動されないため、不必要にナビ表示部22に注視することを避けられる。
【0066】
ナビゲーション装置2は、周辺カメラ33の映像を表示しているか否かにかかわらず、狭隘路に進入した後は車両5が狭隘路を出たか否かを判断する(S391)。車両5が狭隘路を出たか否かは、地図情報と車両5の現在位置により判断可能である。ナビゲーション装置2は車両5が狭隘路を出ていないと判断する場合はS391に留まり、車両5が狭隘路を出たと判断するとロボット1に狭隘路退出時処理指令を出力する(S392)。ナビゲーション装置2から狭隘路退出時処理指令を受信したロボット1は、S385とは逆にロボ表示部12を回転させて車室内を向かせてロボカメラ11による撮影を停止する(S393)。またナビゲーション装置2は、S388を実行していた場合には周辺カメラ33を停止させる。なおナビ表示部22の表示は、周辺カメラ33の映像からたとえばもともと表示していた地図画面に遷移させるようにしてもよい。
【0067】
ナビゲーション装置2は、ロボカメラ11による撮影を終了する旨の音声出力を行う(S394)。ロボカメラ11による撮影を終了する旨の音声出力とはたとえば、「広い道に出たのでカメラを終了します」である。なおS387の後に、ロボット1はS393を実行してもよい。
【0068】
(長時間運転時)
図12は、車両5が長時間走行している場合のロボットシステムSの動作を示すシーケンス図である。ここでいう長時間の走行とは、たとえば2時間以上走行していることである。
【0069】
ナビゲーション装置2は、車両5が長時間走行していると判断すると、ロボット1に休憩誘導指令を出力する(S401)。休憩誘導指令を受信したロボット1は、ロボ表示部12を運転者に向けてロボライト13を発光させる。次にナビゲーション装置2は、従前に受信した(
図7のS332)車両5の乗員構成の情報を参照する(S403)。そしてナビゲーション装置2は、乗員構成に応じた呼びかけ文を生成し(S404)、出力する(S405)。呼びかけ文は、乗員構成のパターンごとにあらかじめ作成されている。ナビゲーション装置2は、現在の乗員構成があらかじめ定めたいずれのパターンに該当するかを判断することで、呼びかけ文を生成する。ここでいう呼びかけ文とは、たとえばユーザに対する立ち寄り施設の提案などである。
【0070】
たとえば乗員構成に犬が含まれる場合の呼びかけ文は「ワンちゃんが入れるカフェを見つけたよ。休憩にどうですか?」である。たとえば乗員構成に子供が含まれる場合の呼びかけ文は、「子供が入れるレストランを見つけたよ。休憩にどうですか?」である。たとえば乗員構成に犬および子供が含まれる場合の呼びかけ文は「ワンちゃんと子供が入れるカフェを見つけたよ。休憩にどうですか?」である。
【0071】
次にナビゲーション装置2は、乗員構成に応じたキーワードを用いてPOI検索を行う(S406)。検索用のキーワードは、乗員構成のパターンごとにあらかじめ作成されている。ナビゲーション装置2は、現在の乗員構成があらかじめ定めたいずれのパターンに該当するかを判断することで、キーワードを決定する。
【0072】
たとえば乗員構成に子供や犬が含まれない場合は、検索キーワードを「カフェ」とする。たとえば乗員構成に犬が含まれる場合は、検索キーワードを「カフェ、ペット可」とする。なお検索キーワードに含まれる句点はアンド条件であることを表している。たとえば乗員構成に子供が含まれる場合は、検索キーワードを「レストラン、子供向き」とする。たとえば乗員構成に犬と子供が含まれる場合は、検索キーワードを「カフェ、ペット可」とする。次にナビゲーション装置2は、S407における検索結果をナビ表示部22に表示する。その後、ユーザがナビ表示部22に示されたいずれかのPOIを選択すると、ナビゲーション装置2は選択されたPOIを目的地としてナビゲーションを開始する。
【0073】
(目的地周辺)
図13は、車両5が目的地の周辺に到着した場合のロボットシステムSの動作を示すシーケンス図である。ナビゲーション装置2は、ユーザにより設定された目的地と車両5の現在地の距離が、あらかじめ定められた距離以下、たとえば200メートル以下になると目的地周辺に到着したと判断する。
【0074】
ナビゲーション装置2は、まず現在地周辺の駐車場を検索する(S411)。次にナビゲーション装置2は、ロボット1にドライバ注視指令を出力する(S412)。ドライバ注視指令を受けたロボット1は、ロボ表示部12を運転者に向けてロボライト13を発光させる(S413)。次にナビゲーション装置2は、ユーザに目的地周辺に到着した旨の音声出力を行う(S414)。目的地周辺に到着した旨の音声出力とはたとえば、「そろそろ目的地なので近くの駐車場を探しました」である。次にナビゲーション装置2は、S411により検索して得られた駐車場の情報をナビ表示部22に表示する。
【0075】
その後に車両5が所定の距離を走行すると、または所定の時間が経過すると、音声出力を行い(S416)、再びロボット1にドライバ注視指令を出力する(S417)。S416における音声出力はたとえば「運転お疲れさまでした」である。なおナビゲーション装置2がユーザの予定を把握している場合には、S416においてユーザの予定を併せて通知してもよい。再びドライバ注視指令を受けたロボット1は、ロボ表示部12を運転者に向けてロボライト13を発光させる(S418)。以上が目的地の周辺に到着した場合の処理である。
【0076】
上述した実施の形態によれば、次の作用効果が得られる。
(1)ロボット1は、ナビゲーション装置2が搭載される車両5に搭載される。ナビゲーション装置2から車両5に関する情報を取得するロボ通信部17と、車両5の外部または車両5の内部を撮影するロボカメラ11と、ナビゲーション装置2から取得した情報を用いてロボット1の動作を決定するロボ主制御部151とを備える。そのためロボット1はナビゲーション装置2と連携し、ナビゲーション装置2が有する車両5に関する情報とロボカメラ11による撮影結果を用いて動作できる。
【0077】
(2)ロボ主制御部151は、ナビゲーション装置2から車両5のイグニッションスイッチがオンにされたことを認識すると、お辞儀などの挨拶を行う(
図6のS303)。そのためユーザにロボット1の存在を気づかせ、楽しませることができる。またユーザをロボット1に注目させることができる。
【0078】
(3)ロボ主制御部151は、挨拶の後にロボカメラ11を用いて運転席の方向を撮影する。ロボット1が挨拶をすることにより運転者がロボット1の方を向いていることが期待できるので、そのタイミングで撮影することにより、運転者を正面から撮影できる。運転者を正面から撮影することで、画像認識精度を向上することができる。
【0079】
(4)ロボ主制御部151は、挨拶を行う前に、当該ロボットの正面を運転席に向かせる。ロボット1に動きがあることでユーザはロボット1により注目しやすくなり、運転者を正面から撮影できる可能性が高まる。またロボカメラ11の正面で運転者を撮影できるので、ひずみの少ないレンズの中心領域で運転者を撮影できる。運転者を正面から撮影することで、画像認識精度を向上することができる。
【0080】
(5)ロボ主制御部151は、撮影により得られた情報に基づきユーザを特定し、ユーザの予定を取得して出力する。そのためユーザの利便性を向上できる。
【0081】
(6)ロボ主制御部151は、車両5のイグニッションスイッチがオンにされたことを認識すると、ロボカメラ11を用いて車両5の車室内を撮影し、撮影して得られた情報から車両5に乗車している人員の構成を推定する。そのためロボット1は、車両5に乗車している人員の構成に応じた動作ができる。
【0082】
(7)車両5には発光色を変更可能な間接照明31が備えられる。ロボ主制御部151は、車両5が走行していることを認識すると、感情推定部154により車両5の運転者の感情を推定し、推定した感情に基づいた色を色算出部155が決定し、間接照明31の発光色をその色に制御する。そのためロボット1は、間接照明31を制御して運転者の気分を運転に適したものに誘導することができる。
【0083】
(8)ロボット1は、車両5の運転者による当該ロボットへの視線を検知する視線検知部156を備える。ロボ主制御部151は、車両5が停止していることを認識した場合は、視線検知部156が視線を検出すると運転者への問いかけを行い、車両5が走行していることを認識した場合は運転者への問いかけを行わない。そのためロボット1は、運転者に対して問いかけをしても安全な場合のみ、視線検知に基づく問いかけを行うことができる。
【0084】
(9)ロボット1はロボカメラ11と、ロボカメラ11の撮影方向を車両5の車室側と車両5の外部に切り替え可能なモータ14を備える。ロボ主制御部151は、車両5が狭隘路に接近していることを認識すると、アクチュエータに往復運動をさせる(
図11のS381)。そのためロボット1は、ユーザにロボット1がこれから動作することを緩やかに知らせることができる。ロボット1が急に動作すると不安感を与える恐れがあるが、準備動作のように小さな動きをあらかじめ行うことでこのような不安を避けることができる。
【0085】
(10)車両5は車両5の周辺を撮影する周辺カメラ33を備える。ロボ主制御部151は、車両5が狭隘路に進入したことを認識すると、モータ14を用いてロボカメラ11を車両5の外部に向けてロボカメラ11による撮影を開始し、ロボカメラ11が撮影して得られた情報に車両5の障害物が含まれると、ナビゲーション装置2に通知を行い、ナビゲーション装置2が周辺カメラ33を起動する(
図11のS387、S388)。そのため必要な場合のみ周辺カメラ33を起動させることができる。
【0086】
(11)ロボ主制御部151は、車両5が長時間走行していることを認識すると、車両5の乗員構成に応じた呼びかけを行う。
【0087】
(変形例1)
顔認識部152、属性推定部153、感情推定部154、および物体認識部157の少なくとも1つは、あらかじめなされた学習により作成された推論モデルを利用した推論により実行されてもよい。換言すると、顔認識部152、属性推定部153、感情推定部154、および物体認識部157には、いわゆる人工知能を利用することができる。またこれらの処理はナビゲーション装置2が行ってもよいし、車両5の外部に存在するサーバ内で行ってもよい。
【0088】
(変形例2)
ロボ主制御部151は、周辺カメラ33を起動する条件、厳密には周辺カメラ33を起動するための検知通知(S387)を行う条件に、運転者がサイドミラーを見ていることを加えてもよい。その場合は
図11を参照して説明した処理が次のように変更される。ロボ主制御部151は、
図11のS386において肯定判断すると、ロボカメラ11の撮影方向を車室内に戻して運転者を撮影し、運転者がサイドミラーを見ているか否かを判断する。運転者がサイドミラーを見ていると判断するとS387の処理を実行し、運転者がサイドミラーを見ていないと判断するとS386を否定判断する場合と同様にS386に留まる。
【0089】
(変形例3)
ロボカメラ11は、ロボット1と分離して設けられてもよい。この場合は、ロボカメラ11の姿勢を変化させるためのモータがさらに備えられる。
【0090】
(変形例4)
読み上げ部252はロボット1に備えられてもよい。この場合は、定型文264もロボット1に備えられる。
【0091】
(変形例5)
音声認識部253はロボット1に備えられてもよい。この場合は、マイク35の出力が直接、またはナビゲーション装置2を介してロボット1に入力される。
【0092】
(変形例6)
ロボ用ユーザDB161にはユーザの顔写真の代わりに顔の特徴量が格納されてもよい。
【0093】
上述した実施の形態および変形例において、ロボット1のプログラムがロボ記憶部16に格納される場合に、ロボット1が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースとロボット1が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。
【0094】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0095】
1…ロボット
2…ナビゲーション装置
5…車両
7…ロボ通信部
11…ロボカメラ
12…ロボ表示部
13…ロボライト
14…モータ
15…ロボ演算部
16…ロボ記憶部
17…ロボ通信部
22…ナビ表示部
25…ナビ演算部
26…ナビ記憶部
27…ナビ通信部
31…間接照明
33…周辺カメラ
151…ロボ主制御部
152…顔認識部
153…属性推定部
154…感情推定部
155…色算出部
156…視線検知部
157…物体認識部
251…ナビ主制御部
252…読み上げ部
253…音声認識部