特許 7611054 情報処理装置、移動体、それらの制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-25

(45)【発行日】2025-01-09

(54)【発明の名称】情報処理装置、移動体、それらの制御方法、及びプログラム

(51)【国際特許分類】

   G08G 1/123 20060101AFI20241226BHJP

【ＦＩ】

G08G1/123 A

【請求項の数】 15

(21)【出願番号】P 2021061595

(22)【出願日】2021-03-31

(65)【公開番号】P2022157401

(43)【公開日】2022-10-14

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】コンダパッレィアニルドレッディ

(72)【発明者】

【氏名】山田 健太郎

【審査官】西堀 宏之

(56)【参考文献】

【文献】特開２０２１－０４３７６３（ＪＰ，Ａ）

【文献】特開２０２０－０３８０７１（ＪＰ，Ａ）

【文献】国際公開第２０１４／０３８０４１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を取得する第１取得手段と、
前記発話情報に含まれる、前記ユーザとの合流位置を示す目印に応じて所定領域を特定する特定手段と、
前記所定領域の周囲において撮像された撮像画像を取得する第２取得手段と、
取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域に対して前記ユーザが存在する確率分布を設定する設定手段と、
前記第２取得手段によって取得した前記撮像画像の中で検知される１以上の人について、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定された前記確率分布と前記解析した前記１以上の人の移動方向とに基づいて、前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定する推定手段と
を備えることを特徴とする情報処理装置。

【請求項2】

前記推定手段は、前記解析した前記１以上の人の移動方向のうち、前記ユーザの移動方向に一致する移動方向の人に対して、一致しない移動方向の人と比較して高い確率を付与することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記推定手段は、前記設定手段によって設定された前記確率分布と、前記１以上の人に付与された確率との合成確率に基づいて前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記推定手段は、対応する前記合成確率が最も高い人を前記１以上の人の中で前記ユーザに対応する人と推定することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記推定手段は、対応する前記合成確率が所定値以上である人を前記１以上の人の中で前記ユーザに対応する人と推定することを特徴とする請求項３に記載の情報処理装置。

【請求項6】

前記推定手段は、一人のユーザに特定できない場合において、前記ユーザによる発話情報を前記第１取得手段によってさらに取得し、取得した前記発話情報及び前記撮像画像から前記合成確率を更新して前記１以上の人の中から前記ユーザに対応する人を推定することを特徴とする請求項３乃至５の何れか１項に記載の情報処理装置。

【請求項7】

前記第１取得手段は、前記推定手段が一人のユーザに特定できない場合において、候補となるユーザの特徴を前記撮像画像から解析し、解析した特徴に基づいて前記ユーザに対して問い合わせを行い、該問い合わせの応答として前記ユーザによる発話情報を前記通信装置から取得することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記第２取得手段は、ユーザの周辺に位置する移動体によって撮像された撮像画像、及び前記移動体の周囲に位置する撮像手段によって撮像された撮像画像の少なくとも一方を取得することを特徴とする請求項３乃至７の何れか１項に記載の情報処理装置。

【請求項9】

前記第１取得手段によって取得した発話情報を言語解析した結果を表示する画面情報を前記通信装置へ提供する提供手段をさらに備えることを特徴とする請求項３乃至８の何れか１項に記載の情報処理装置。

【請求項10】

前記提供手段は、さらに、前記合成確率が所定値以上の複数の候補ユーザがいる場合において、前記第２取得手段によって取得した撮像画像の中で検知される１以上の人のうち、前記複数の候補ユーザから合流を要求する前記ユーザを選択可能に前記撮像画像又は地図上に表示する画面情報を前記通信装置へ提供し、前記推定手段は、表示された前記撮像画像又は地図を介して選択されたユーザを、合流を要求する前記ユーザとして推定することを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記推定手段は、前記推定したユーザに対応する人に従って、ユーザと移動体との合流位置をさらに推定することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。

【請求項12】

情報処理装置の制御方法であって、
第１取得手段が、ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を取得する第１取得工程と、
特定手段が、前記発話情報に含まれる、前記ユーザとの合流位置を示す目印に応じて所定領域を特定する特定工程と、
第２取得手段が、前記所定領域の周囲において撮像された撮像画像を取得する第２取得工程と、
設定手段が、取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域の分割領域に対して前記ユーザが存在する確率分布を設定する設定工程と、
推定手段が、前記第２取得工程で取得した前記撮像画像の中で検知される１以上の人について、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定された前記確率分布と前記解析した前記１以上の人の移動方向とに基づいて、前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定する推定工程と
を備えることを特徴とする情報処理装置の制御方法。

【請求項13】

コンピュータを、請求項１から１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【請求項14】

移動体であって、
ユーザの通信装置と通信を行う通信手段と、
移動体の周囲を撮像する撮像手段と、
ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を前記通信手段によって取得する第１取得手段と、
前記発話情報に含まれる、前記ユーザとの合流位置を示す目印に応じて所定領域を特定する特定手段と、
前記所定領域の周囲において撮像された撮像画像を取得する第２取得手段と、
取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域の分割領域に対して前記ユーザが存在する確率分布を設定する設定手段と、
前記第２取得手段によって取得した前記撮像画像の中で検知される１以上の人について、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定された前記確率分布と前記解析した前記１以上の人の移動方向とに基づいて、前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定する推定手段と
を備えることを特徴とする移動体。

【請求項15】

ユーザの通信装置と通信を行う通信手段と、移動体の周囲を撮像する撮像手段と、を備える移動体の制御方法であって、
第１取得手段が、ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を前記通信手段によって取得する第１取得工程と、
特定手段が、前記発話情報に含まれる、前記ユーザとの合流位置を示す目印に応じて所定領域を特定する特定工程と、
第２取得手段が、前記所定領域の周囲において撮像された撮像画像を取得する第２取得工程と、
設定手段が、取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域の分割領域に対して、前記ユーザが存在する確率分布を設定する設定工程と、
推定手段が、前記第２取得工程で取得した前記撮像画像の中で検知される１以上の人について、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定された前記確率分布と前記解析した前記１以上の人の移動方向とに基づいて、前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定する推定工程と
を含むことを特徴とする移動体の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、移動体、それらの制御方法、及びプログラムに関する。

【背景技術】

【0002】

近年、超小型モビリティ（マイクロモビリティともいわれる）と呼ばれる、乗車定員が１～２名程度である電動車両（移動体）が知られており、手軽な移動手段として普及することが期待されている。

【0003】

このような超小型モビリティをシェアリングに用いるカーシェアリングシステムが提案されている（特許文献１）。このカーシェアリングシステムでは、車両管理サーバが、カーシェアリングの対象となる車両（移動体）の利用開始時刻や貸出場所を含む利用申込メッセージをユーザの通信装置から受信する。そして、利用申込メッセージの内容と運搬車両の現在位置とに基づいて、利用開始時刻までに貸出場所に到着可能な運搬車両を特定し、特定した運搬車両にシェアリングカーを貸出場所に運搬させる。ユーザは、指定した利用開始時間に貸出場所を訪れるとシェアリングカーを利用することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－７７０３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ユーザが超小型モビリティを利用する場合に、超小型モビリティが停車する貸出場所をユーザが訪れるのではなく、超小型モビリティとユーザとがそれぞれ移動しながら動的に合流位置を調整するようなユースケースが考えられる。このようなユースケースは、混雑などにより予め指定した位置での合流が困難となった場合や、ユーザが、最初に大まかな地域や建物等を指定し、互いが近くに到着した段階で具体的な合流位置を調整する場合などに有効である。

【0006】

本発明は、上記課題に鑑みてなされ、好適にユーザを推定することにある。また、他の目的として、推定したユーザと移動体との間での合流位置を調整することにある。

【課題を解決するための手段】

【0007】

本発明によれば、情報処理装置であって、ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を取得する第１取得手段と、前記発話情報に含まれる、前記ユーザとの合流位置を示す目印に応じて所定領域を特定する特定手段と、前記所定領域の周囲において撮像された撮像画像を取得する第２取得手段と、取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域に対して前記ユーザが存在する確率分布を設定する設定手段と、前記第２取得手段によって取得した前記撮像画像の中で検知される１以上の人について、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定された前記確率分布と前記解析した前記１以上の人の移動方向とに基づいて、前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定する推定手段とを備えることを特徴とする。

【0008】

また、本発明によれば、移動体であって、ユーザの通信装置と通信を行う通信手段と、移動体の周囲を撮像する撮像手段と、ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を前記通信手段によって取得する第１取得手段と、前記発話情報に含まれる、前記ユーザとの合流位置を示す目印に応じて所定領域を特定する特定手段と、前記所定領域の周囲において撮像された撮像画像を取得する第２取得手段と、取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域の分割領域に対して前記ユーザが存在する確率分布を設定する設定手段と、前記第２取得手段によって取得した前記撮像画像の中で検知される１以上の人について、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定された前記確率分布と前記解析した前記１以上の人の移動方向とに基づいて、前記１以上の人の中から合流を要求する前記ユーザの位置を特定して前記ユーザに対応する人を推定する推定手段とを備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、好適にユーザを推定することが可能になる。また、推定したユーザと移動体との間での合流位置を調整することにある。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る情報処理システムの一例を示す図

【図2】本実施形態に係る移動体のハードウェアの構成例を示すブロック図

【図3】本実施形態に係る移動体の機能構成例を示すブロック図

【図4】本実施形態に係るサーバと通信装置の構成例を示すブロック図

【図5】本実施形態に係る、発話と画像を用いた合流位置の推定について説明するための図

【図6】本実施形態に係る、合流位置の調整処理の一連の動作を示すフローチャート

【図7】本実施形態に係る、確率分布によるユーザの推定について説明するための図

【図8】本実施形態に係る、確率分布によるユーザの推定処理の一連の動作を示すフローチャート

【図9】本実施形態に係る、発話と画像を用いたユーザの推定処理の一連の動作を示すフローチャート

【図10】本実施形態に係る、発話と画像を用いたユーザの推定について説明する図

【図11】本実施形態に係る、推定したユーザと移動体との位置関係を表示する画面例を示す図

【図12】他の実施形態に係る情報処理システムの一例を示す図

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0012】

＜情報処理システムの構成＞
図１を参照して、本実施形態に係る情報処理システム１の構成について説明する。情報処理システム１は、車両（移動体）１００と、サーバ１１０と、通信装置（通信端末）１２０とを含む。本実施形態では、ユーザ１３０の発話情報と、車両１００の周囲の撮像画像とを用いて、サーバ１１０がユーザを推定し、さらに合流位置を推定して車両１００と合流させる。ユーザは、保持している通信装置１２０上で起動される所定のアプリケーションを介してサーバ１１０とやり取りし、自身の位置等を発話により提供しながら、自身が指定する合流位置（例えば、近くの目印となる赤いポスト）へ移動する。サーバ１１０はユーザや合流位置を推定しながら、車両１００を制御して推定した合流位置へ移動させる。以下では各構成を詳細に説明していく。

【0013】

車両１００は、バッテリを搭載しており、例えば、主にモータの動力で移動する超小型モビリティである。超小型モビリティとは、一般的な自動車よりもコンパクトであり、乗車定員が１又は２名程度の超小型車両である。本実施形態では、車両１００を超小型モビリティとした例で説明するが、本発明を限定する意図はなく例えば四輪車両や鞍乗型車両であってもよい。また、本発明の車両は、乗り物に限らず、荷物を積載して人の歩行に並走する車両や、人を先導する車両であってもよい。さらに、本発明には、四輪や二輪等の車両に限らず、自立移動が可能な歩行型ロボットなども適用可能である。つまり、本発明は、これらの車両や歩行型ロボットなどの移動体に対して適用することができ、車両１００は移動体の一例である。

【0014】

車両１００は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワーク１４０に接続する。車両１００は、様々なセンサによって（車両の位置、走行状態、周囲の物体の物標などの）車両内外の状態を計測し、計測したデータをサーバ１１０に送信可能である。このように収集されて送信されるデータは、一般にフローティングデータ、プローブデータ、交通情報などとも呼ばれる。車両に関する情報は、一定の間隔でまたは特定のイベントが発生したことに応じてサーバ１１０に送信される。車両１００は、ユーザ１３０が乗車していない場合であっても自動運転により走行可能である。車両１００は、サーバ１１０から提供される制御命令などの情報を受信して、或いは、自車で計測したデータを用いて車両の動作を制御する。

【0015】

サーバ１１０は、情報処理装置の一例であり、１つ以上のサーバ装置で構成され、車両１００から送信される車両に関する情報や、通信装置１２０から送信される発話情報及び位置情報を、ネットワーク１４０を介して取得し、車両１００の走行を制御可能である。車両１００の走行制御は、後述するユーザ１３０と車両１００との合流位置の調整処理を含む。

【0016】

通信装置１２０は、例えばスマートフォンであるが、これに限らず、イヤフォン型の通信端末であってもよいし、パーソナルコンピュータ、タブレット端末、ゲーム機などであってもよい。通信装置１２０は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワーク１４０に接続する。

【0017】

ネットワーク１４０は、例えばインターネットや携帯電話網などの通信網を含み、サーバ１１０と、車両１００や通信装置１２０と間の情報を伝送する。この情報処理システム１では、離れた場所にいたユーザ１３０と車両１００が、（視覚的な目印となる）物標等を視覚で確認できる程度に近づいた場合に、発話情報と車両１００で撮像された画像情報とを用いて合流位置を調整する。なお、本実施形態では、車両１００の周囲を撮像するカメラが車両自身に設けられる例について説明するが、必ずしも車両１００にカメラ等が設けられる必要はない。例えば車両１００の周囲に既に設置されている監視カメラ等を用いて撮像した画像を利用するようにしてもよいし、それらの両方を利用するようにしてもよい。これにより、ユーザの位置を特定する際に、より最適な角度で撮像した画像を利用することができる。例えば、１つの目印に対してユーザが発話により、自身が当該目印に対してどのような位置関係にいるかを発話した際に、当該目印と予測される位置に近いカメラで撮像された画像を解析することにより、超小型モビリティとの合流を要求するユーザをより正確に特定することができる。

【0018】

ユーザ１３０と車両１００とが物標等を視覚で確認できる程度に近づく前には、まずサーバ１１０は、ユーザの現在位置或いはユーザの予測位置が含まれる大まかなエリアまで車両１００を移動させる。そして、サーバ１１０は、車両１００が大まかなエリアに到達すると、視覚的な目印に関連する場所を尋ねる音声情報（例えば「近くにお店ありますか？」や「進行方向に何が見えますか？」）などを通信装置１２０へ送信する。視覚的な目印に関連する場所は、例えば、地図情報に含まれる場所の名称を含む。ここで、視覚的な目印とは、ユーザが視認可能な物理的なオブジェクトを示すものであり、例えば建物、信号機、河川、山、銅像、看板など種々のオブジェクトが含まれるものである。サーバ１１０は、視覚的な目印に関連する場所を含むユーザによる発話情報（例えば「ｘｘコーヒーショップの建物があります」）を通信装置１２０から受け付ける。そして、サーバ１１０は、地図情報から該当する場所の位置を取得して車両１００を当該場所の周辺まで移動させる（つまり、車両とユーザが物標等を視覚で確認できる程度に近づく）。なお、地図情報から位置を特定できない場合、例えば候補位置が複数存在する場合には、追加の質問を行って候補位置を絞り込むようにすることも可能である。

【0019】

＜移動体の構成＞
次に、図２を参照して、本実施形態に係る移動体の一例としての車両１００の構成について説明する。図２（Ａ）は本実施形態に係る車両１００の側面を示し、図２（Ｂ）は車両１００の内部構成を示している。図中矢印Ｘは車両１００の前後方向を示しＦが前をＲが後を示す。矢印Ｙ、Ｚは車両１００の幅方向（左右方向）、上下方向を示す。

【0020】

車両１００は、走行ユニット１２を備え、バッテリ１３を主電源とした電動自律式車両である。バッテリ１３は例えばリチウムイオンバッテリ等の二次電池であり、バッテリ１３から供給される電力により走行ユニット１２によって車両１００は自走する。走行ユニット１２は、左右一対の前輪２０と、左右一対の後輪２１とを備えた四輪車である。走行ユニット１２は三輪車の形態等、他の形態であってもよい。車両１００は、一人用又は二人用の座席１４を備える。

【0021】

走行ユニット１２は操舵機構２２を備える。操舵機構２２はモータ２２ａを駆動源として一対の前輪２０の舵角を変化させる機構である。一対の前輪２０の舵角を変化させることで車両１００の進行方向を変更することができる。走行ユニット１２は、また、駆動機構２３を備える。駆動機構２３はモータ２３ａを駆動源として一対の後輪２１を回転させる機構である。一対の後輪２１を回転させることで車両１００を前進又は後進させることができる。

【0022】

車両１００は、車両１００の周囲の物標を検知する検知ユニット１５～１７を備える。検知ユニット１５～１７は、車両１００の周辺を監視する外界センサ群であり、本実施形態の場合、いずれも車両１００の周囲の画像を撮像する撮像装置であり、例えば、レンズなどの光学系とイメージセンサとを備える。しかし、撮像装置に代えて或いは撮像装置に加えて、レーダやライダ（Light Detection and Ranging）を採用することも可能である。

【0023】

検知ユニット１５は車両１００の前部にＹ方向に離間して二つ配置されており、主に、車両１００の前方の物標を検知する。検知ユニット１６は車両１００の左側部及び右側部にそれぞれ配置されており、主に、車両１００の側方の物標を検知する。検知ユニット１７は車両１００の後部に配置されており、主に、車両１００の後方の物標を検知する。

【0024】

＜移動体の制御構成＞
図３は、移動体である車両１００の制御系のブロック図である。ここでは本発明を実施する上で必要な構成を主に説明する。従って、以下で説明する構成に加えてさらに他の構成が含まれてもよい。車両１００は、制御ユニット（ＥＣＵ）３０を備える。制御ユニット３０は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、車両１００の機能別に複数組設けられて互いに通信可能に構成されてもよい。

【0025】

制御ユニット３０は、検知ユニット１５～１７の検知結果、操作パネル３１の入力情報、音声入力装置３３から入力された音声情報、サーバ１１０からの制御命令（例えば、撮像画像や現在位置の送信等）などを取得して、対応する処理を実行する。制御ユニット３０は、モータ２２ａ、２３ａの制御（走行ユニット１２の走行制御）、操作パネル３１の表示制御、音声による車両１００の乗員への報知、情報の出力を行う。

【0026】

音声入力装置３３は、車両１００の乗員の音声を収音する。制御ユニット３０は、入力された音声を認識して、対応する処理を実行可能である。ＧＮＳＳ(Global Navigation Satellite system)センサ３４は、ＧＮＳＳ信号を受信して車両１００の現在位置を検知する。記憶装置３５は、車両１００が走行可能な走路、建造物などのランドマーク、店舗等の情報を含む地図データ等を記憶する大容量記憶デバイスである。記憶装置３５にも、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されてよい。記憶装置３５は、制御ユニット３０によって実行される音声認識や画像認識用の機械学習モデルの各種パラメータ（例えばディープニューラルネットワークの学習済みパラメータやハイパーパラメータなど）を格納してもよい。通信ユニット３６は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワーク１４０に接続可能な通信装置である。

【0027】

＜サーバと通信装置の構成＞
次に、図４を参照して、本実施形態に係る情報処理装置の一例としてのサーバ１１０と通信装置１２０の構成例について説明する。

【0028】

（サーバの構成）
まずサーバ１１０の構成例について説明する。ここでは本発明を実施する上で必要な構成を主に説明する。従って、以下で説明する構成に加えてさらに他の構成が含まれてもよい。制御ユニット４０４は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、サーバ１１０の機能別に複数組設けられて互いに通信可能に構成されてもよい。制御ユニット４０４は、プログラムを実行することにより、サーバ１１０の各種動作や、後述する合流位置の調整処理などを実行する。制御ユニット４０４は、ＣＰＵのほか、ＧＰＵ、或いは、ニューラルネットワーク等の機械学習モデルの処理の実行に適した専用のハードウェアを更に含んでよい。

【0029】

ユーザデータ取得部４１３は、車両１００から送信される画像や位置の情報を取得する。また、ユーザデータ取得部４１３は、通信装置１２０から送信されるユーザ１３０の発話情報及び通信装置１２０の位置情報の少なくとも一方を取得する。ユーザデータ取得部４１３は、取得した画像や位置の情報を記憶部４０３に格納してもよい。ユーザデータ取得部４１３が取得した画像や発話の情報は、推論結果を得るために、推論段階の学習済みモデルに入力されるが、サーバ１１０で実行される機械学習モデルを学習させるための学習データとして用いられてもよい。

【0030】

音声情報処理部４１４は、音声情報を処理する機械学習モデルを含み、当該機械学習モデルの学習段階の処理や推論段階の処理を実行する。音声情報処理部４１４の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、発話情報に含まれる場所名、建造物などのランドマーク名、店舗名、物標の名称などを認識する。物標は、発話情報に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。ＤＮＮは、学習段階の処理を行うことにより学習済みの状態となり、新たな発話情報を学習済みのＤＮＮに入力することにより新たな発話情報に対する認識処理（推論段階の処理）を行うことができる。なお、本実施形態では、サーバ１１０が音声認識処理を実行する場合を例に説明するが、車両や通信装置において音声認識処理を実行し、認識結果をサーバ１１０に送信するようにしてもよい。

【0031】

画像情報処理部４１５は、画像情報を処理する機械学習モデルを含み、当該機械学習モデルの学習段階の処理や推論段階の処理を実行する。画像情報処理部４１５の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、画像情報に含まれる物標を認識する処理を行う。物標は、画像内に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。

【0032】

合流位置推定部４１６は、後述する、合流位置の調整処理を実行する。合流位置の調整処理については後述する。ユーザ推定部４１７は、後述するユーザの推定処理を実行する。ここで、ユーザの推定とは、車両１００との合流を要求するユーザを推定するものであり、所定領域内における１以上の人から、当該要求ユーザの位置を特定してユーザを推定する。詳細な処理については後述する。

【0033】

なお、サーバ１１０は、一般に、車両１００などと比べて豊富な計算資源を用いることができる。また、様々な車両で撮像された画像データを受信、蓄積することで、多種多用な状況における学習データを収集することができ、より多くの状況に対応した学習が可能になる。

【0034】

通信ユニット４０１は、例えば通信用回路等を含む通信装置であり、車両１００や通信装置１２０などの外部装置と通信する。通信ユニット４０１は、車両１００からの画像情報や位置情報、通信装置１２０からの発話情報及び位置情報の少なくとも一方を受信するほか、車両１００への制御命令、通信装置１２０への発話情報を送信する。電源ユニット４０２は、サーバ１１０内の各部に電力を供給する。記憶部４０３は、ハードディスクや半導体メモリなどの不揮発性メモリである。

【0035】

（通信装置の構成）
次に、通信装置１２０の構成について説明する。通信装置１２０は、ユーザ１３０が所持するスマートフォン等の携帯機器を示す。ここでは本発明を実施する上で必要な構成を主に説明する。従って、以下で説明する構成に加えてさらに他の構成が含まれてもよい。通信装置１２０は、制御ユニット５０１、記憶部５０２、外部通信機器５０３、表示操作部５０４、マイクロフォン５０７、スピーカ５０８、及び速度センサ５０９を備える。外部通信機器５０３は、ＧＰＳ５０５、及び通信ユニット５０６を含む。

【0036】

制御ユニット５０１は、ＣＰＵに代表されるプロセッサを含む。記憶部５０２にはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。なお、記憶部５０２は制御ユニット５０１の内部に組み込まれてもよい。制御ユニット５０１は、他のコンポーネント５０２、５０３、５０４、５０８、５０９とバス等の信号線で接続され、信号を送受することができ、通信装置１２０の全体を制御する。

【0037】

制御ユニット５０１は、外部通信機器５０３の通信ユニット５０６を用いてネットワーク１４０を介してサーバ１１０の通信ユニット４０１と通信を行うことができる。また、制御ユニット５０１は、ＧＰＳ５０５を介して、各種情報を取得する。ＧＰＳ５０５は、通信装置１２０の現在位置を取得する。これにより、例えば、ユーザの発話情報とともに、位置情報をサーバ１１０へ提供することができる。なお、本発明においてＧＰＳ５０５は必須の構成ではなく、本発明ではＧＰＳ５０５の位置情報が取得できない、屋内などの施設内においても利用可能なシステムを提供するものである。従って、ＧＰＳ５０５による位置情報はユーザを推定する際の補足的な情報として取り扱う。

【0038】

表示操作部５０４は、例えばタッチパネル式の液晶ディスプレイであり、各種表示を行うとともに、ユーザ操作を受け付けることができる。表示操作部５０４には、サーバ１１０からの問い合わせ内容や、車両１００との合流位置などの情報が表示される。なお、サーバ１１０から問い合わせがあった場合には、選択可能に表示されたマイクボタンを操作することによりユーザの発話を通信装置１２０のマイクロフォン５０７へ取得させることができる。マイクロフォン５０７はユーザによる発話を音声情報として取得する。マイクロフォンは、例えば操作画面に表示されたマイクボタンを押下することにより起動状態へ移行し、ユーザの発話を取得するようにしてもよい。スピーカ５０８は、サーバ１１０からの指示に従ってユーザに問い合わせを行う際に、音声によるメッセージを出力する（例えば、「何色の服を着ていますか？」など）。音声による問い合わせであれば、例えば通信装置１２０が表示画面を有していないヘッドセット等の簡易な構成であってもユーザとやり取りを行うことができる。また、ユーザが通信装置１２０を手に持っていない場合などであっても、ユーザは例えばイヤフォン等からサーバ１１０の問い合わせを聞くことができる。

【0039】

速度センサ５０９は、通信装置１２０の前後方向、左右方向、上下方向の加速度を検知する加速度センサである。速度センサ５０９から出力された加速度を示す出力値は記憶部５０２のリングバッファに格納され、最も古い記録から上書きされていく。サーバ１１０はこれらのデータを取得して、ユーザの移動方向を検出するために用いてもよい。

【0040】

＜発話と画像とを用いた合流位置推定の概要＞
図５を参照して、サーバ１１０において実行される、発話と画像とを用いた合流位置推定の概要について説明する。本処理は、上述のように、離れた場所にいたユーザ１３０と車両１００が、（視覚的な目印となる）物標等を視覚で確認できる程度に近づいた後に実行される処理である。図５は、ユーザの発話情報と、車両１００で撮像された画像情報とを用いてユーザと車両との相対的な位置関係を理解する様子を示す。

【0041】

まずＳ５０１でユーザ１３０が通信装置１２０に対して合流位置を示す発話（例えば、「ポストの前ね！」）を行う。通信装置１２０は、ユーザの発話をマイクロフォン５０７で取得し、取得した発話情報をサーバ１１０へ送信する。Ｓ５０２でサーバ１１０は、ユーザによる発話情報の音声認識を行い、Ｓ５０３でユーザの位置に関する情報を発話情報から抽出する。ここでは、ユーザの位置に関する情報として、上述したユーザが視認可能な物理的なオブジェクトを示す名称であり、建物など目印の名称を示す情報が抽出される。

【0042】

一方、Ｓ５１１で車両１００はある程度ユーザ１３０との距離が近づいているため、撮像装置である検知ユニット１５～１７により車両１００の周囲を撮像し、１以上の撮像データを画像情報としてサーバ１１０へ送信する。なお、ここでサーバ１１０へ送信される撮像データは車両１００で撮像されたデータのみとは限らず、他の車両に設けられたカメラや周辺に設置されている監視カメラで撮像されたデータが送信されてもよい。Ｓ５１２でサーバ１１０は、受信した１以上の撮像データの画像認識（画像解析）を行い、Ｓ５１３においてＳ５０３で抽出された目印名を画像の認識結果から抽出する。ここでは目印名の抽出を例にしているが、本発明をそのような制御に限定する意図はなく、例えば画像認識の結果に基づいて認識される建物等のオブジェクトであってもよい。その後Ｓ５２０でサーバ１１０はＳ５０３やＳ５１３の結果を用いてユーザと車両との位置関係を理解し、ユーザを推定して、さらに合流位置となるターゲット位置を推定する。

【0043】

＜合流位置の調整処理の一連の動作＞
次に、図６を参照して、本実施形態に係るサーバ１１０における合流位置の調整処理の一連の動作について説明する。なお、本処理は、制御ユニット４０４がプログラムを実行することにより実現される。なお、以下の説明では、説明の簡単のために制御ユニット４０４が各処理を実行するものとして説明するが、（図４にて上述した）制御ユニット４０４の各部により対応する処理が実行される。なお、ここでは、ユーザと車両とが最終的に合流するフローについて説明するが、本発明の特徴的な構成はユーザの推定に関連する構成であり、合流位置を推定する構成については必須の構成ではない。即ち、以下では、合流位置の推定に関する制御も含んだ処理手順について説明するが、ユーザの推定に関する処理手順のみを行うような制御してもよい。

【0044】

Ｓ６０１において、制御ユニット４０４は、車両１００との合流を開始するためのリクエスト（合流リクエスト）を通信装置１２０から受信する。Ｓ６０２において、制御ユニット４０４は、ユーザの位置情報を通信装置１２０から取得する。なお、ユーザの位置情報は、通信装置１２０のＧＰＳ５０５によって取得された位置情報である。Ｓ６０３において、制御ユニット４０４は、Ｓ６０２で取得したユーザの位置に基づき、合流する大まかなエリア（単に合流エリア、所定領域ともいう）を特定する。合流エリアは、例えば、ユーザ１３０（通信装置１２０）の現在位置を中心とした半径が所定距離（例えば、数百ｍ）のエリアである。

【0045】

Ｓ６０４において、制御ユニット４０４は、例えば、車両１００から定期的に送信される位置情報に基づいて、合流エリアへ向かう車両１００の移動を追跡する。なお、制御ユニット４０４は、例えば、ユーザ１３０の現在位置（或いは所定の時間後の到達地点）の周辺に位置する複数の車両の中から、当該現在位置に最も近い車両を、ユーザ１３０と合流する車両１００として選択することができる。或いは、制御ユニット４０４は、特定の車両１００を指定する情報が合流リクエストに含まれていた場合、当該車両１００を、ユーザ１３０と合流する車両１００として選択してもよい。

【0046】

Ｓ６０５において、制御ユニット４０４は、車両１００が合流エリアに到達したかを判定する。制御ユニット４０４は、例えば、車両１００と通信装置１２０との間の距離が合流エリアの半径以内である場合に、車両１００が合流エリアに到達したと判定して、処理をＳ６０６に進める。そうでない場合、サーバ１１０は処理をＳ６０５に戻して、車両１００が合流エリアに到達するのを待つ。

【0047】

Ｓ６０６において、制御ユニット４０４は、発話を用いてユーザを推定するための確率分布を設定し、撮像画像内のユーザの推定を行う。ここでのユーザの発話を用いたユーザの推定処理の詳細については後述する。続いて、Ｓ６０７において、制御ユニット４０４はＳ６０６で推定したユーザに基づいて、さらに合流位置を推定する。例えば、撮像画像内におけるユーザを推定することにより、ユーザが合流位置として「近くの赤いポスト」などと発話していた場合には、推定したユーザに近い赤いポストを探索することにより、より正確に合流位置を推定することができる。その後、Ｓ６０８において、制御ユニット４０４は、合流位置の位置情報を車両へ送信する。すなわち、制御ユニット４０４は、Ｓ６０７の処理において推定された合流位置を車両１００へ送信することで、車両１００を合流位置に移動させる。制御ユニット４０４は、合流位置を車両１００へ送信すると、その後、一連の動作を終了する。

【0048】

＜確率分布の設定＞
次に、図７を参照してユーザの発話情報及び位置情報の少なくとも一方から所定領域におけるユーザが存在する確率分布を設定してユーザを推定する例について説明する。ここでユーザの推定とは、基本的に、所定領域の周辺を撮像した撮像画像で検知される人のいずれがユーザであるかを推定することを示す。

【0049】

図７（ａ）はユーザが「ちょうど今Ｐを通り過ぎた。」と発話した場合の確率分布を示す。”Ｐ”は特定の商業施設など、目印を示すものであり、サーバ１１０は大まかなユーザの位置情報に基づいて、発話情報から抽出した”Ｐ”を地図上で検索する。大まかなユーザの位置情報とは、発話情報から抽出された特定の地域や、ユーザが所持する通信装置１２０のＧＰＳ５０５から取得した位置情報などから特定される。

【0050】

発話情報から大まかなユーザの位置情報を特定する場合、例えばユーザが「ちょうど今Ｐを通り過ぎた。」と発話する前に、更に別の目印に関する発話を行った場合、その二つの発話に基づいてＰを特定してもよい。例えばユーザが「ちょうど今Ｐを通り過ぎた。」と発話する前に、「今Ｑの前にいる。」という発話をしていた場合、“Ｑ”が所定範囲内に存在する“Ｐ”を地図上で検索する。“Ｑ”は“Ｐ”と同様、特定の商業施設など目印を示すものである。このようにすれば、ＧＰＳ５０５から取得した位置情報を利用できない場合などであっても、目印Ｐを特定することができる。地図上で”Ｐ”が検索されると、サーバ１１０は”Ｐ”を中心とした所定領域７００を複数の領域に分割し、それぞれにユーザが存在する確率を示す確率分布を設定する。

【0051】

ここで、各分割領域に対してユーザが存在する確率を設定するが、ユーザによる発話情報に従って複数のパターンが予め用意されている。基本的には目印Ｐに対するユーザの移動方向を判断して確率を設定する。ここで、ユーザの移動方向とは、種々の移動方向を含む概念であり、例えば、地図上の方位（東西南北）を示す移動方向や、ユーザが目印Ｐに対して近づいているのか、遠ざかっているのかなどの目印に対する移動方向をも含むものであり、ユーザの発話情報及び位置情報の少なくとも一方から得られる情報によって推定される。例えば、図７（ａ）では、ユーザ１３０は”目印Ｐを通り過ぎた”と発話しており、目印Ｐから遠ざかっていると判断することができる。従って、図７（ａ）に示すように、サーバ１１０は目印Ｐから人が遠ざかっている領域の確率を相対的に高く（確率”高”）設定し、その周辺の領域を次に高く（確率”中”）設定し、それら以外の領域を相対的に低く（確率”低”）設定する。なお、確率”高”の領域を決定する際には目印Ｐに対するユーザの大まかな位置情報及び発話情報の少なくとも一方からユーザの移動方向を推定し、推定した移動方向に応じて目印Ｐに対してどの領域の確率を高く設定するかを決定することができる。図７（ａ）の例では、ユーザの移動方向は北側から南側に向かう方向であると推定できているため、目印Ｐの南側に対応する領域の確率が高く設定される。
ユーザの移動方向は、発話情報、及びＧＰＳ５０５から取得した位置情報の少なくとも一方に基づいて推定を行う。発話情報からユーザの移動方向の推定を行う場合、“目印Ｐを通り過ぎた”と発話する以前の発話情報に基づいて推定を行ってよい。例えば、ユーザが“目印Ｐを通り過ぎた”と発話する以前に、目印Ｐよりも北側にある目印Ｑの近傍にいたことを示す発話を行っていた場合、ユーザの移動方向は北側から南側に向かう方向であると推定することができる。

【0052】

その後、サーバ１１０は、車両１００の検知ユニット１５～１７で撮像された撮像画像の画像認識を行い、当該所定領域に存在する１以上の人を検知する。ここでも車両１００が撮像した画像のみならず、他の撮像装置によって撮像された画像データも利用することができる。サーバ１１０は検知した人のそれぞれの移動方向を画像解析により判断して、ユーザによる発話情報及び位置情報の少なくとも一方から取得されたユーザの移動方向に一致する動作を行っているユーザに対して高い確率を設定する。図７（ａ）では検知された人を”１”、”２”、”３”で示し、さらにそれらの人の移動方向を矢印で示す。従って、ユーザによって”目印Ｐを通り過ぎた”と発話されているため、Ｐを通り過ぎている”２”の確率が最も高く設定され、その次に現在通り過ぎている”３”が高く設定され、目印”Ｐ”に近づいている”１”については最も低い確率が設定される。したがって、”２”＞”３”＞”１”の関係で、検知されたそれぞれの人に確率が設定される。さらに、サーバ１１０は、人に付与した確率と、当該人が位置する領域に設定した確率とを合成した合成確率を取得し、最も高い確率の人をユーザとして推定する。図７（ａ）の例では”２”の人物がユーザと推定される。

【0053】

図７（ｂ）はユーザが「今Ｐに近づいている。」と発話した場合の確率分布を示す。サーバ１１０は”Ｐ”について図７（ａ）で説明した場合と同様に、地図上で検索する。地図上で”Ｐ”が検索されると、サーバ１１０は”Ｐ”を中心とした所定領域７１０を複数の領域に分割し、それぞれにユーザが存在する確率を示す確率分布を設定する。

【0054】

図７（ｂ）では、ユーザ１３０は”目印Ｐに近づいている”と発話しており、目印Ｐへ近づいていると判断することができる。従って、図７（ｂ）に示すように、サーバ１１０は目印Ｐへ人が近づいている領域の確率を相対的に高く（確率”高”）設定し、その周辺の領域を次に高く（確率”中”）設定し、それら以外の領域を相対的に低く（確率”低”）設定する。なお、確率”高”の領域を決定する際には目印Ｐに対するユーザの大まかな位置情報から、目印Ｐに対してどの領域の確率を高く設定するかを決定することができる。図７（ｂ）の例では、直前のユーザの位置が大まかに目印Ｐの北側と認識できているため対応する領域の確率が高く設定される。

【0055】

その後、サーバ１１０は、車両１００の検知ユニット１５～１７で撮像された撮像画像の画像認識を行い、当該所定領域に存在する１以上の人を検知する。ここでも車両１００が撮像した画像のみならず、他の撮像装置によって撮像された画像データも利用することができる。サーバ１１０は検知した人のそれぞれの移動方向を画像解析により判断して、ユーザによる発話情報及び位置情報の少なくとも一方から取得されたユーザの移動方向に一致する動作を行っているユーザに対して高い確率を設定する。図７（ｂ）では検知された人を”１”、”２”、”３”で示し、さらにそれらの人の移動方向を矢印で示す。従って、ユーザによって”目印Ｐへ近づいている”と発話されているため、Ｐへ近づいている”１”の確率が最も高く設定され、目印”Ｐ”から離れている”２”、”３”については低い確率が設定される。したがって、”１”＞”２”＝”３”の関係で、検知されたそれぞれの人に確率が設定される。さらに、サーバ１１０は、人に付与した確率と、当該人が位置する領域に設定した確率とを合成した合成確率を取得し、最も高い確率の人をユーザとして推定する。図７（ｂ）の例では”１”の人物がユーザと推定される。

【0056】

＜発話を用いたユーザの推定処理の一連の動作＞
次に、図８を参照して、サーバ１１０における、発話を用いたユーザの推定処理（Ｓ６０６）の一連の動作について説明する。なお、本処理は、図６に示す処理と同様、制御ユニット４０４がプログラムを実行することにより実現される。

【0057】

Ｓ８０１において、制御ユニット４０４は、「視覚的な目印に関連する場所」について尋ねる音声情報を、通信装置１２０に送信する。視覚的な目印に関連する場所について尋ねる音声情報は、例えば「近くにお店ありますか？」のような音声を含む。この視覚的な目印に関連する場所について尋ねる音声情報は、予め定められ、記憶部４０３に記憶された情報であってよい。

【0058】

Ｓ８０２において、制御ユニット４０４は、ユーザの発話情報を通信装置１２０から受信して、発話内容を認識し、発話内容に含まれる目印を中心とした所定領域を特定する。このとき、ユーザの発話情報は、「ｘｘコーヒーショップの建物があります」のように、視覚的な目印に関連する場所の情報を含む。さらに、Ｓ８０３において、制御ユニット４０４は、図７を用いて上述したように、発話情報とユーザの大まかな位置に応じて、ユーザの移動方向を取得し、特定した所定領域を分割して確率分布を設定する。

【0059】

続いて、Ｓ８０４において、制御ユニット４０４は、Ｓ８０２で特定した所定領域を撮像した画像を、車両１００等から取得して解析する。具体的には、制御ユニット４０４は、取得した撮影画像を解析して、所定領域内に位置する１以上の人（候補ユーザ）を検知する。さらに、制御ユニット４０４は、検知した人それぞれについて、その向きや姿勢から移動方向（１以上の人の移動方向）を推定する。なお、制御ユニット４０４は、時系列の画像データを取得することもでき、時間的な位置の差異によって移動方向を特定してもよい。さらに、Ｓ８０５において、制御ユニット４０４は、候補ユーザの移動方向からそれぞれの検知された人に対して、車両との合流を要求しているユーザである確率を付与する。ここでの処理は、図７を用いて説明したように、制御ユニット４０４は、ユーザによる発話情報に応じてその確率を付与する。

【0060】

Ｓ８０６において、制御ユニット４０４は、発話情報、位置情報及び画像情報を用いてユーザを推定し、本処理を終了する。詳細な処理については図９を用いて後述する。なお、Ｓ８０５までの処理で既にユーザを特定することができる確率分布が設定されていれば、Ｓ８０６においては最も高い確率又は所定値以上の確率を有する人をユーザとして特定する。一方、一人のユーザに特定できない場合には図９を用いて説明するように、さらにユーザと会話を行って候補ユーザを絞り込んでいく。

【0061】

図９を参照して、Ｓ８０６の詳細な処理について説明する。なお、本処理は、図６に示す処理と同様、制御ユニット４０４がプログラムを実行することにより実現される。

【0062】

Ｓ９０１において、制御ユニット４０４は、図８のフローチャートにおいて設定された所定領域における各分割領域と、検知された１以上の人に対して付与された確率とを合成した合成確率を算出し、当該合成確率が高い候補ユーザが複数存在するか否かを判断する。例えば、合成確率の算出方法は、候補ユーザに付与された確率と、当該候補ユーザの位置に対応する分割領域に対して設定された確率を合成することにより算出される。複数存在する場合にはＳ９０２に進み、そうでない場合はＳ９０５に進む。Ｓ９０５で、制御ユニット４０４は、最も高い合成確率を有する候補ユーザをユーザと特定し、処理を終了する。

【0063】

一方、候補ユーザが複数いる場合にはユーザを特定することができないため、Ｓ９０２で制御ユニット４０４は、所定領域を撮影した画像をさらに解析して、検知された人の特徴をさらに抽出する。ここでの特徴とは、ユーザ身に着けている服の帽子、眼鏡などの特徴や、カバンなどの所持しているもの特徴などの特徴であり、例えばそれらの色や形、数などを示す。

【0064】

次に、Ｓ９０３で、制御ユニット４０４は、Ｓ９０２で抽出した特徴に従って、ユーザの特徴を尋ねる追加の音声情報（例えば、「何色の服を着ていますか？」）を通信装置１２０へ送信する。ここで、送信する音声情報は、例えば、複数の候補ユーザが存在する場合において、それぞれの候補ユーザが異なる特徴となる事項について尋ねることが望ましい。これにより、より効率的にユーザを特定することができる。例えば、それらの候補ユーザがそれぞれ着ている服の色が異なる場合には、「何色の服を着ていますか？」などの音声情報によってユーザに尋ねることが望ましい。

【0065】

その後、Ｓ９０４で制御ユニット４０４は、通信装置１２０からユーザによる発話情報を受信して、確率分布を補正する。なお、ここにおいても通信装置１２０の位置情報を合わせて受信し、確率分布の補正に利用してもよい。ここで、制御ユニットは、発話情報の内容において、補正する確率として、人に付与される確率と、分割領域に設定された確率との少なくとも一方を選択することができる。確率分布を補正すると処理をＳ９０１に戻し、制御ユニット４０４は、改めて候補ユーザがまだ複数存在するかどうかを判断する。制御ユニット４０４は、候補ユーザが一人に絞り込まれるまでＳ９０２乃至Ｓ９０４の処理を繰り返し実行する。

【0066】

＜通信装置での表示例＞
図１０は、発話と画像を用いたユーザの推定の過程を示す通信装置１２０の表示部の一例を示す。図１０に示す表示画面１０００は、サーバ１１０から提供される画面情報に従って通信装置１２０の表示操作部５０４に表示され、車両とユーザとの合流位置の調整の中で、ユーザの推定を行っている様子を示す。したがって、通信装置１２０の表示操作部５０４はＷｅｂサーバであるサーバ１１０に対してＷｅｂブラウザとして機能するものであってもよい。

【0067】

表示１００１はユーザの発話を通信装置１２０が取得して、取得した内容を文字列で表示している様子を示す。ユーザは例えばマイクボタン１００６を押下しながら通信装置１２０へ発話することにより通信装置１２０へ自身の発話を提供することができる。表示する文字列については言語解析が必要であるため、通信装置１２０で言語解析を行うのではなく、サーバ１１０から発話情報の解析結果を受信して表示することが望ましい。これにより、通信装置１２０での処理負荷を軽減することができるとともに、通信装置１２０に対して言語解析モジュールを実装する必要がなくなる。表示１００２は、図８で説明した所定領域に対する確率分布の設定の結果、図９のＳ９０１で候補ユーザが複数存在する場合に表示され、ユーザが存在するであろう該当エリアに複数の候補ユーザが存在している旨のメッセージが含まれる。

【0068】

表示１００３はサーバ１１０からユーザへの問い合わせを示し、サーバ１１０から通信装置１２０へ送信された音声情報をメッセージ（例えば、「何色の服を着ていますか？」）で表示している。この際、通信装置１２０はスピーカ５０８を介してメッセージに従った音声を出力してもよい。その後、ユーザはマイクボタン１００６を押下しながら、通信装置１２０のマイクロフォン５０７へ向けて問い合わせに対する回答を発話する。表示１００４はユーザの回答を示し、サーバ１１０で解析された発話情報をメッセージで表示している。表示１００４では、サーバ１１０が解釈したユーザの発話（例えば、「赤色の服を着ています」）が表示されている。その後、サーバ１１０が候補ユーザを一人に絞り込んで、ユーザを特定すると、表示１００５のメッセージ（「ユーザを推定しました」）が表示される。

【0069】

表示画面１０００には、さらに、マップ表示ボタン１００７が操作可能に表示されてもよい。このマップ表示ボタン１００７を操作すると、後述するマップ表示画面１１００へ遷移する。マップ表示ボタン１００７は、ユーザを推定した段階で操作可能に表示されてもよい。

【0070】

図１１は、推定したユーザと車両との位置関係を表示するマップ表示画面１１００を示す。マップ表示画面１１００は、通信装置１２０の表示操作部５０４に表示され、所定領域周辺の地図が表示される。

【0071】

地図上の表示１１０１はＳ６０６で推定したユーザを示す。また、表示１００２はユーザ１３０と合流する車両１００を示す。表示１１０３はＳ８０２でユーザによる発話情報から特定された目印の位置を示す。表示１００４はＳ６０７でユーザの発話情報から推定された合流位置を示す。このように、マップ表示画面１１００では、推定したユーザ、目印、合流位置などを所定領域の地図上に表示してそれらの位置関係を示すものである。なお、ユーザはこれらの位置関係を確認し、合流位置を再調整することができる。ボタン１１０５は発話画面へ遷移するためのボタンであり、操作されると表示画面１０００へ遷移する。ユーザはボタン１１０５を操作して表示画面１０００へ戻り、合流位置の再調整などを発話によりサーバ１１０へ要求することができる。

【0072】

なお、ここではユーザを推定した段階で表示されたマップ表示画面の例について説明するが、本発明を限定する意図はない。例えば、複数の候補ユーザが表示された段階で、マップ表示を行い、複数の候補ユーザを選択可能に所定領域を示す地図上に表示し、ユーザに対して自身を示す候補ユーザを選択させるようにしてもよい。或いは、撮像画像上で検知された複数の候補ユーザを、当該撮像画像上で選択可能とするような表示画面を提供してもよい。この場合、例えば検知された人を線など囲み、ユーザがその内部を選択することによりユーザを選択するようにしてもよい。このように、ユーザに自身を選択させることにより、より効率的にかつ正確にユーザを特定することができる。また、推定された合流位置の表示を行わなくてもよく、そもそも合流位置の推定を行わなくてもよい。この場合、例えば推定したユーザに近づくように車両１００を制御してもよいし、ユーザに改めて合流位置を指定するよう要求してもよい。また、車両１００からユーザに対して合流位置を提案してもよい。

【0073】

＜変形例＞
以下、本発明に係る変形例について説明する。上記実施形態では、合流位置の調整処理をサーバ１１０において実行する例について説明した。しかし、上述の合流位置の調整処理は、車両側で実行することもできる。この場合、情報処理システム１２００は、図１２に示すように、車両１２１０と通信装置１２０とで構成される。ユーザの発話情報は通信装置１２０から車両１２１０へ送信される。車両１２１０で撮像された画像情報は、ネットワークを介して送信されるかわりに、車両内の制御ユニットによって処理される。車両１２１０の構成は、制御ユニット３０が合流位置の調整処理を実行可能であることを除き、車両１００と同一の構成であってよい。車両１２１０の制御ユニット３０は、車両１２１０における制御装置として動作し、記憶されているプログラムを実行することにより、上述の合流位置の調整処理を実行する。図６、図８及び図９に示した一連の動作における、サーバと車両の間のやり取りは、車両の内部（例えば制御ユニット３０の内部、又は制御ユニット３０と検知ユニット１５の間）で行えばよい。その他の処理については、サーバと同様に実行することができる。

【0074】

このように、ユーザと車両とが合流するための合流位置を調整する車両の制御装置において、通信装置から、視覚的な目印を含む、合流位置に関する発話情報及び位置情報の少なくとも一方を取得する。そして、上記発話情報に含まれる視覚的な目印特定し、発話情報及び位置情報の少なくとも一方からユーザの移動方向を取得し、取得したユーザの移動方向に基づいて撮像画像内のユーザを推定する。さらに、推定したユーザに基づいて、合流位置を推定する。

【0075】

＜実施形態のまとめ＞
１．上記実施形態の情報処理装置（例えば、１１０）は、
ユーザの通信装置から該ユーザによる発話情報及び該通信装置の位置情報の少なくとも一方を取得する第１取得手段（４０１、４１３）と、
前記発話情報に含まれる目印に応じて所定領域を特定する特定手段（４１７）と、

取得した前記発話情報及び前記ユーザの通信装置から取得した位置情報の少なくとも一方から、前記ユーザの移動方向を取得し、前記取得したユーザの移動方向に基づいて、前記所定領域に対して前記ユーザが存在する確率分布を設定する設定手段（４１７、Ｓ８０１～Ｓ８０５）と、
前記設定された前記確率分布に基づいて、前記ユーザを推定する推定手段（４１７、Ｓ８０６）と、を備える。

【0076】

この実施形態によれば、好適にユーザを推定することが可能になる。

【0077】

２．上記実施形態の情報処理装置では、前記特定した所定領域の周囲において撮像された撮像画像を取得する第２取得手段（４０１）をさらに備え、前記設定手段は、前記第２取得手段によって取得した前記撮像画像の中で、１以上の人を検知する（Ｓ８０４）。

【0078】

この実施形態によれば、ユーザの発話情報に基づいて特定した所定領域周辺の撮像画像において検知される人の中からユーザを特定することができ、より正確にユーザの推定を行うことができる。

【0079】

３．上記実施形態の情報処理装置では、前記推定手段は、前記目印に対する前記１以上の人の移動方向を前記撮像画像から解析し、前記設定手段によって設定された前記確率分布と、前記解析した前記１以上の人の移動方向とに基づいて、前記ユーザを推定する（Ｓ８０５）。

【0080】

この実施形態によれば、ユーザを推定する際に、検知された人それぞれの移動方向を解析することにより、さらに正確にユーザを特定することができる。

【0081】

４．上記実施形態の情報処理装置では、前記推定手段は、前記解析した前記１以上の人の移動方向のうち、前記ユーザの移動方向に一致する移動方向の人に対して、一致しない移動方向の人と比較して高い確率を付与する（Ｓ８０５）。

【0082】

この実施形態によれば、ユーザを推定する際に、検知された人それぞれの移動方向を解析して、ユーザによる発話情報と組み合わせることにより、さらに正確にユーザを特定することができる。

【0083】

５．上記実施形態の情報処理装置では、前記推定手段は、前記設定手段によって設定された前記確率分布と、前記１以上の人に付与された確率との合成確率に基づいて前記ユーザを推定する（Ｓ９０１、Ｓ９０５）。また、前記推定手段は、対応する前記合成確率が最も高い人又は所定値以上である人を前記ユーザと推定する。

【0084】

この実施形態によれば、ユーザを推定する際に、検知された人それぞれの移動方向を解析して、ユーザによる発話情報と組み合わせることにより、さらに正確にユーザを特定することができる。

【0085】

６．上記実施形態の情報処理装置では、前記推定手段は、一人のユーザに特定できない場合において、前記ユーザによる発話情報を前記第１取得手段によってさらに取得し、取得した前記発話情報及び撮像画像から前記合成確率を更新して前記ユーザを推定する（Ｓ９０２～Ｓ９０４）。

【0086】

この実施形態によれば、ユーザへの追加の問い合わせを行うことにより、候補ユーザを絞り込むことができ、より正確にユーザを特定することができる。

【0087】

７．上記実施形態の情報処理装置では、前記第１取得手段は、ユーザの周辺に位置する移動体によって撮像された撮像画像の解析に基づいて前記ユーザに対して問い合わせを行い、該問い合わせの応答として前記ユーザによる発話情報を前記通信装置から取得する（Ｓ９０２、Ｓ９０３）。

【0088】

この実施形態によれば、画像解析に基づくユーザへの追加の問い合わせを行うことにより、候補ユーザを絞り込むことができ、より正確にユーザを特定することができる。

【0089】

８．上記実施形態の情報処理装置は、前記第２取得手段は、ユーザの周辺に位置する移動体によって撮像された撮像画像、及び前記移動体の周囲に位置する撮像手段によって撮像された撮像画像の少なくとも一方を取得する。

【0090】

この実施形態によれば、移動体に設けられた撮像手段のみならず、他の移動体の撮像手段や周囲の監視カメラの撮像画像を利用することができ、より正確にユーザの推定や合流位置を推定することができる。

【0091】

９．上記実施形態の情報処理装置は、前記第１取得手段によって取得した発話情報を言語解析した結果を表示する画面情報を前記通信装置へ提供する提供手段をさらに備える（図１０）。

【0092】

この実施形態によれば、ユーザによる発話情報をシステム側がどのように認識しているかをユーザに通知することができ、誤解した解析に基づいた推定を防ぐことができる。

【0093】

１０．上記実施形態の情報処理装置は、前記提供手段は、さらに、前記第２取得手段によって取得した撮像画像の中で検知した１以上の人のうち、複数の候補ユーザを選択可能に表示する画面情報を前記通信装置へ提供する。

【0094】

１１．上記実施形態の情報処理装置では、前記推定手段は、前記推定したユーザに従って、ユーザと車両との合流位置をさらに推定する（Ｓ６０７）。

【0095】

この実施形態によれば、好適にユーザを推定して、合流しようとするユーザと車両との間での合流位置を調整することが可能になる。

【0096】

この実施形態によれば、ユーザに複数の候補ユーザから自身を選択させることができ、より正確にユーザを特定することができる。

【符号の説明】

【0097】

１００…車両、１１０…サーバ、１２０…通信装置、４０４…制御ユニット、４１３…ユーザデータ取得部、４１４…音声情報処理部、４１５…画像情報処理部、４１６…合流位置推定部、４１７…ユーザ推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】