特許 7391882 同行移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-27

(45)【発行日】2023-12-05

(54)【発明の名称】同行移動体

(51)【国際特許分類】

   G05D 1/02 20200101AFI20231128BHJP

【ＦＩ】

G05D1/02 K

【請求項の数】 11

(21)【出願番号】P 2020567703

(86)(22)【出願日】2019-01-22

(86)【国際出願番号】 JP2019001861

(87)【国際公開番号】W WO2020152777

(87)【国際公開日】2020-07-30

【審査請求日】2021-04-14

【前置審査】

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】川合 徹

(72)【発明者】

【氏名】向井 裕貴

(72)【発明者】

【氏名】▲高▼橋 寛人

【審査官】影山 直洋

(56)【参考文献】

【文献】特開２０１４－２１１７０４（ＪＰ，Ａ）

【文献】特開２００７－２１３３６７（ＪＰ，Ａ）

【文献】特開２００４－２９９０２５（ＪＰ，Ａ）

【文献】特開２００７－２２９８１４（ＪＰ，Ａ）

【文献】特開２００６－１３４２２１（ＪＰ，Ａ）

【文献】特開２００９－２５９０２３（ＪＰ，Ａ）

【文献】特開２０１６－１０１７７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

推進部を有して、使用者に同行する同行移動体であって、
前記使用者の移動状況を認識する移動状況認識部と、
前記使用者の移動状況に基づいて、第１所定時間後の前記使用者の予測位置を算出する予測位置算出部と、
前記予測位置から指定方向に指定距離だけ離れた位置である目標同行位置に向かって、前記推進部により前記同行移動体を移動させる同行制御を実行する同行制御部と、
前記使用者による変更指示に応じて、前記使用者の前記予測位置に対する前記目標同行位置の方向と距離をそれぞれ示す前記指定方向と前記指定距離の一方又は両方を変更する同行条件変更部と、
前記使用者の挙動を認識する挙動認識部と、を備え、
前記同行条件変更部は、前記同行制御部により前記同行制御が実行されている間、前記挙動認識部により前記使用者の第１所定挙動が認識されたときに、前記第１所定挙動に対応した前記変更指示を認識し、前記挙動認識部により前記使用者の前記第１所定挙動とは異なる第２所定挙動が認識されたとき、又は音声認識部により前記使用者の所定音声が認識されたときに、前記使用者による前記変更指示の受付を禁止する同行条件変更禁止モードから、前記使用者による前記変更指示の受付を許可する同行条件変更許可モードに切り替える
同行移動体。

【請求項2】

前記同行条件変更部は、前記挙動認識部により、前記第１所定挙動として、前記使用者が腕を前記指定方向から他の方向にスイングするジェスチャーが認識されたときに、前記変更指示として、前記指定方向を前記他の方向に変更する指示を受付ける
請求項１に記載の同行移動体。

【請求項3】

前記同行条件変更部は、前記挙動認識部により、前記第１所定挙動として、前記使用者が指の本数を示すジャスチャーが認識されたときに、前記変更指示として、前記指定距離を前記指の本数に応じて変更する指示を受付ける
請求項１又は請求項２に記載の同行移動体。

【請求項4】

前記同行条件変更部は、前記挙動認識部により第２所定挙動が認識されたときに、前記変更指示の受付を禁止する同行条件変更禁止モードから、前記変更指示の受付を許可する同行条件変更許可モードに切り替える
請求項１から請求項３のうちいずれか１項に記載の同行移動体。

【請求項5】

前記同行条件変更部は、前記挙動認識部により、前記第２所定挙動として、前記使用者が視線を第２所定時間以上所定位置に向けていることが認識されたときに、前記同行条件変更禁止モードから前記同行条件変更許可モードに切り替える
請求項４に記載の同行移動体。

【請求項6】

音声認識部を備え、
前記同行条件変更部は、前記音声認識部により所定音声が認識されたときに、前記変更指示の受付を禁止する同行条件変更禁止モードから、前記変更指示の受付を許可する同行条件変更許可モードに切り替える
請求項１から請求項５のうちいずれか１項に記載の同行移動体。

【請求項7】

前記同行制御部は、前記同行条件変更部により前記指定方向と前記指定距離の一方又は両方が変更されたときに、変更された前記指定方向と前記指定距離の一方又は両方に応じた位置に前記同行移動体を移動させる変更対応移動を実行し、その後、前記使用者の移動に応じて前記同行制御により前記同行移動体を移動させる
請求項１から請求項６のうちいずれか１項に記載の同行移動体。

【請求項8】

撮影方向の変更が可能なカメラを備え、
前記同行制御部は、前記同行条件変更部により前記指定方向が変更されて、前記変更対応移動により前記同行移動体を移動させるときに、前記カメラを前記使用者に向けながら、前記同行移動体を移動させる
請求項７に記載の同行移動体。

【請求項9】

前記同行移動体の進行方向に存在する障害物を検出する障害物検出部を備え、
前記同行制御部は、前記障害物検出部により検出された障害物との接触を回避するための処理を実行する
請求項１から請求項８のうちいずれか１項に記載の同行移動体。

【請求項10】

前記同行条件変更部は、同行条件の変更要求がなされたと判断したときに、その後の前記同行移動体の動かし方を、使用者へ報知する
請求項１から請求項９のうちいずれか１項に記載の同行移動体。

【請求項11】

前記同行制御部は、前記同行条件変更部による前記指定方向と前記指定距離の一方又は両方を変更する同行条件の変更後において、前記使用者が移動して、前記使用者と前記同行移動体との距離が指定距離以上になったときに、前記同行制御を再開する
請求項１から請求項１０のうちいずれか１項に記載の同行移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、使用者に同行して移動する同行移動体に関する。

【背景技術】

【0002】

従来、使用者に同行して移動する同行移動体として、例えば、特許文献１には、スーパーマーケット等の店舗において、使用者による商品の購入を支援するために、使用者に追従して走行する機能を備えた店舗ロボットが記載されている。特許文献１に記載された店舗ロボットは、画像センサーにより使用者を撮影して、店舗ロボットからの使用者の距離を算出する。そして、店舗ロボットと使用者との距離が一定に保たれるように、移動機構により車輪を駆動制御して、店舗ロボットを使用者に追従させている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－１５５０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来の同行移動体は、使用者との距離を一定に維持して使用者に同行する。しかしながら、同行移動体との適切な距離感は、使用者毎に異なる場合がある。また、使用者の移動パターンや、同行移動体に実行させる作業の内容によって、使用者が、使用者と同行移動体との距離や、使用者に対する同行移動体の方向を変更することを希望する場合もあると考えられる。そして、使用者による同行移動体の利用を中断することのないよう、このような同行条件の変更は、同行移動体の移動状況に速やかに反映されることが望ましい。
本発明はかかる背景に鑑みてなされたものであり、使用者の指示による同行条件の変更を、移動状況に速やかに反映させることができる同行移動体を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するための構成として、推進部を有して、使用者に同行する同行移動体であって、前記使用者の移動状況を認識する移動状況認識部と、前記使用者の移動状況に基づいて、第１所定時間後の前記使用者の予測位置を算出する予測位置算出部と、前記予測位置から指定方向に指定距離だけ離れた位置である目標同行位置に向かって、前記推進部により前記同行移動体を移動させる同行制御を実行する同行制御部と、前記使用者による変更指示に応じて、前記使用者の前記予測位置に対する前記目標同行位置の方向と距離をそれぞれ示す前記指定方向と前記指定距離の一方又は両方を変更する同行条件変更部と、前記使用者の挙動を認識する挙動認識部と、を備え、前記同行条件変更部は、前記同行制御部により前記同行制御が実行されている間、前記挙動認識部により前記使用者の第１所定挙動が認識されたときに、前記第１所定挙動に対応した前記変更指示を認識し、前記挙動認識部により前記使用者の前記第１所定挙動とは異なる第２所定挙動が認識されたとき、又は音声認識部により前記使用者の所定音声が認識されたときに、前記使用者による前記変更指示の受付を禁止する同行条件変更禁止モードから、前記使用者による前記変更指示の受付を許可する同行条件変更許可モードに切り替える同行移動体が挙げられる。

【0006】

上記同行移動体において、前記使用者の挙動を認識する挙動認識部を備え、前記同行条件変更部は、前記挙動認識部により第１所定挙動が認識されたときに、前記第１所定挙動に対応した前記変更指示を認識する構成としてもよい。

【0007】

上記同行移動体において、前記同行条件変更部は、前記挙動認識部により、前記第１所定挙動として、前記使用者が腕を前記指定方向から他の方向にスイングするジェスチャーが認識されたときに、前記変更指示として、前記指定方向を前記他の方向に変更する指示を受付ける構成としてもよい。

【0008】

上記同行移動体において、前記同行条件変更部は、前記挙動認識部により、前記第１所定挙動として、前記使用者が指の本数を示すジェスチャーが認識されたときに、前記変更指示として、前記指定距離を前記指の本数に応じて変更する指示を受付ける構成としてもよい。

【0009】

上記同行移動体において、前記同行条件変更部は、前記挙動認識部により第２所定挙動が認識されたときに、前記変更指示の受付を禁止する同行条件変更禁止モードから、前記変更指示の受付を許可する同行条件変更許可モードに切り替える構成としてもよい。

【0010】

上記同行移動体において、前記同行条件変更部は、前記挙動認識部により、前記第２所定挙動として、前記使用者が視線を第２所定時間以上所定位置に向けていることが認識されたときに、前記同行条件変更禁止モードから前記同行条件変更許可モードに切り替える構成としてもよい。

【0011】

上記同行移動体において、音声認識部を備え、前記同行条件変更部は、前記音声認識部により所定音声が認識されたときに、前記変更指示の受付を禁止する同行条件変更禁止モードから、前記変更指示の受付を許可する同行条件変更許可モードに切り替える構成としてもよい。

【0012】

上記同行移動体において、前記同行制御部は、前記同行条件変更部により前記同行条件が変更されたときに、変更された前記同行条件に応じた位置に前記同行移動体を移動させる変更対応移動を実行し、その後、前記使用者の移動に応じて前記同行制御により前記同行移動体を移動させる構成としてもよい。

【0013】

上記同行移動体において、撮影方向の変更が可能なカメラを備え、前記同行制御部は、前記同行条件変更部により前記指定方向が変更されて、前記変更対応移動により前記同行移動体を移動させるときに、前記カメラを前記使用者に向けながら、前記同行移動体を移動させる構成としてもよい。

【0014】

上記同行移動体において、前記同行移動体の進行方向に存在する障害物を検出する障害物検出部を備え、前記同行制御部は、前記障害物検出部により検出された障害物との接触を回避するための処理を実行する構成としてもよい。
上記同行移動体において、前記同行条件変更部は、同行条件の変更要求がなされたと判断したときに、その後の前記同行移動体の動かし方を、使用者へ報知する構成としてもよい。
上記同行移動体において、前記同行制御部は、前記同行条件変更部による前記指定方向と前記指定距離の一方又は両方を変更する同行条件の変更後において、前記使用者が移動して、前記使用者と前記同行移動体との距離が指定距離以上になったときに、前記同行制御を再開する構成としてもよい。

【発明の効果】

【0015】

上記同行移動体によれば、同行条件変更部により、使用者による変更指示に応じて、同行移動体を使用者に同行させる際の指定方向と指定距離の一方又は両方が変更される。そして、同行制御部による同行制御により、予測位置算出部により算出された所定時間後の使用者の予測位置から、指定方向に指定距離だけ離れた目標同行位置に向かって、同行移動体が移動する。これにより、使用者の指示に応じて同行移動体の同行条件である指定方向又は指定距離が変更されたときに、変更された同行条件を同行移動体の移動状況に速やかに反映させることができる。

【図面の簡単な説明】

【0016】

【図1】図１は、実施形態の同行移動体であるショッピングカートの利用形態を示した説明図である。

【図2】図２は、ショッピングカートの構成図である。

【図3】図３は、ショッピングカートの作動フローチャートである。

【図4】図４は、初期案内画面の説明図である。

【図5】図５は、選択材料リストの作成処理のフローチャートである。

【図6】図６は、購入材料選択画面の説明図である。

【図7】図７は、選択材料リストの説明図である。

【図8】図８は、買物経路の探索処理のフローチャートである。

【図9】図９は、選択材料の陳列位置の説明図である。

【図10】図１０は、買物経路の案内処理のフローチャートである。

【図11】図１１は、購入経路の案内画面の説明図である。

【図12】図１２は、使用者が直進する状況で、ショッピングカートが使用者の前方に同行する態様の説明図である。

【図13】図１３は、購入品リストの説明図である。

【図14】図１４は、使用者が急旋回する状況で、ショッピングカートが使用者を追い越す態様の説明図である。

【図15】図１５は、使用者がその場で旋回した場合に、ショッピングカートが使用者の周囲を移動する態様の説明図である。

【図16】図１６は、同行条件の変更処理のフローチャートである。

【図17】図１７は、腕をスイングするジャスチャーにより、同行条件の指定方向を変更する態様の説明図である。

【図18】図１８は、指の本数を示すジェスチャーにより、同行条件の指定距離を変更する態様の説明図である。

【図19】図１９は、購入品のカード決済依頼処理のフローチャートである。

【発明を実施するための形態】

【0017】

［１．ショッピングカートの利用形態］
図１を参照して、本実施形態における同行移動体の利用形態について説明する。本実施形態の同行移動体はショッピングカート１であり、店舗２００において、買物客である使用者Ｕに同行して店舗２００内を自走して移動し、使用者Ｕの買物をサポートする。

【0018】

ショッピングカート１は、商品を収容するかご５、走行ユニット１０、全方位カメラ２０、ライダー（LiDAR：Light Detection and Ranging）２１、前方カメラ２２、スピーカー２３、マイク２４、タッチパネル２５、カードリーダ２６、通信ユニット２７、及び制御ユニット３０を備えている。

【0019】

ここで、全方位カメラ２０、ライダー２１、及び前方カメラ２２は、ショッピングカート１に対する使用者Ｕの方角と距離、及びショッピングカート１の前方に存在する障害物を常時観測するために設けられている。このような常時観測を行うための別構成として、例えば、以下の（ａ）～（ｃ）の構成を採用することが可能である。
（ａ）全方位カメラ２０を、動力付き首振り機構により撮影方向を変更して使用者Ｕを追尾するカメラ（首振りカメラ）で代替する。
（ｂ）（ａ）の首振りカメラを複眼カメラとして測距を可能とすることにより、ライダー２１を不要とする。
（ｃ）全方位カメラ２０を複眼カメラで構成することにより、ライダー２１を不要とする。

【0020】

走行ユニット１０は、左駆動輪１２と右駆動輪１５とを有して、ショッピングカート１を自走させる。走行ユニット１０は、本発明の推進ユニットに相当する。全方位カメラ２０は、ショッピングカート１の周囲３６０度の範囲を撮影する。ライダー２１は、ショッピングカート１の周囲３６０度の範囲を走査して、周囲の物体の位置（ショッピングカート１を基準とした物体の方向とショッピングカート１から物体までの距離）を検出する。これにより、全方位カメラ２０により使用者Ｕを認識しつつ、ライダー２１により使用者Ｕの方角と距離を常時特定することができる。

【0021】

前方カメラ２２はショッピングカート１の前方（進行方向）を撮影する。なお、前方カメラ２２の機能を、全方位カメラ２０によって代替してもよい。スピーカー２３は、使用者Ｕに対する音声ガイダンス等を出力する。マイク２４は、使用者Ｕによる音声指示等を入力する。タッチパネル２５は、液晶表示器等のフラットタイプの表示器の表面にタッチスイッチを配置して構成され、使用者Ｕによるタッチ位置を検出すると共に、種々の画面を表示する。

【0022】

カードリーダ２６は、使用者Ｕが所持する店舗２００の会員カード８１に記録された情報を読み取る。本実施形態の会員カード８１は、クレジットカードの機能を有している。通信ユニット２７は、店舗２００に備えられた店舗管理システム２１０、及び使用者Ｕが所持するスマートフォン等の通信端末８０との間で、無線による通信を行う。制御ユニット３０は、ショッピングカート１の全体的な作動を制御し、店舗２００に備えられた店舗管理システム２１０との間で、通信ユニット２７を介して通信を行うことにより、種々の情報を取得する。

【0023】

店舗管理システム２１０は、通信ネットワーク５００を介して、店舗グループサーバー４００、スマートホームサーバー４１０、料理レシピサーバー４２０、及びカード会社サーバー４３０との間で通信を行う。店舗管理システム２１０は、店舗２００で販売されている商品の価格を記録した商品ＤＢ（data base）２１１を備えている。店舗グループサーバー４００は、店舗２００を運営する小売業者が展開する各店舗の情報を記録した店舗ＤＢ（data base）４０１と、各店舗を利用する会員の情報を記録した会員ＤＢ４０２とを備えている。会員ＤＢ４０２には、各店舗の会員登録を行った使用者のプロフィールと使用者に対して発行された会員ＩＤ（identification）が記録されている。

【0024】

スマートホームサーバー４１０は、使用者Ｕの自宅３００に設置されたスマートホームユニット３１０から送信される食材在庫データＳｔｋ＿ｄａｔを受信して、在庫ＤＢ４１１に記録する。スマートホームユニット３１０は、使用者Ｕの自宅３００に置かれた冷蔵庫３０１、及び図示しない収容棚等に収容されている食材の在庫状況を、図示しないカメラによる画像認識によって認識し、食材在庫データＳｔｋ＿ｄａｔを生成する。なお、スマートホームユニット３１０と使用者Ｕが所持する通信端末８０との間で通信を行い、使用者Ｕが通信端末８０を操作して食材の在庫状況を入力することにより、通信端末８０からスマートホームユニット３１０に、食材の在庫状況を送信するようにしてもよい。

【0025】

スマートホームサーバー４１０は、使用者Ｕの自宅３００における食材の在庫を示す食材在庫データＳｔｋ＿ｄａｔを、使用者Ｕの会員ＩＤと対応付けて、在庫ＤＢ４１１に記録する。スマートホームサーバー４１０は、他の使用者についても、その使用者の自宅における食材の在庫状況を示す食材在庫データＳｔｋ＿ｄａｔを、その使用者の会員ＩＤと対応付けて、在庫ＤＢ４１１に記録する。

【0026】

スマートホームサーバー４１０は、店舗管理システム２１０から、会員ＩＤを指定した在庫状況の送信要求を受信したときに、指定された会員ＩＤに対応付けて在庫ＤＢ４１１に記録された食材在庫データＳｔｋ＿ｄａｔを、店舗管理システム２１０に送信する。料理レシピサーバー４２０は、各種料理のレシピデータを記録した料理レシピＤＢ４２１を備えており、店舗管理システム２１０から要求された料理のレシピ情報を、店舗管理システム２１０に送信する。

【0027】

カード会社サーバー４３０は、クレジットカードによる代金支払いの決済サービスの提供業者により運用され、クレジットカード会員の信用情報を、クレジットカード会員に対して発行した識別情報であるクレジットカード番号と対応させて記録した信用ＤＢ４３１を備えている。カード会社サーバー４３０は、端末装置の機能を有している。ショッピングカート１の制御ユニット３０は、使用者Ｕが、クレジットカードによる代金の支払いを選択したときに、会員カード８１のクレジットカード番号をカードリーダ２６により読み取る。

【0028】

そして、制御ユニット３０は、クレジットカード番号と支払い金額を示す決済依頼情報をカード会社サーバー４３０に送信する。カード会社サーバー４３０は、決済依頼情報に応じて、会員カード８１による購入商品の支払い処理を行う。制御ユニット３０からカード会社サーバー４３０への決済依頼情報の送信は、店舗管理システム２１０を介して行ってもよく、制御ユニット３０から店舗管理システム２１０に直接送信するようにしてもよい。

【0029】

［２．ショッピングカートの構成］
図２～図４を参照して、ショッピングカート１の構成について説明する。図２を参照して、制御ユニット３０は、タッチパネル２５、全方位カメラ２０、ライダー２１、前方カメラ２２、スピーカー２３、マイク２４、カードリーダ２６、通信ユニット２７、及び走行ユニット１０と接続されている。

【0030】

走行ユニット１０は、左駆動輪１２を駆動する左モータ１１、左モータ１１が第１規定角度回転する毎に1つのパルス信号を出力する左エンコーダ１３、右駆動輪１５を駆動する右モータ１４、右モータ１４が第２規定角度回転する毎に１つのパルス信号を出力する右エンコーダ１６、及びショッピングカート１の角速度を検出するジャイロセンサ１７を備えている。走行ユニット１０は、左駆動輪１２と右駆動輪１５の回転速度を同じにすることで、ショッピングカート１を直進させ、左駆動輪１２と右駆動輪１５の回転速度や回転方向を異ならせることによって、ショッピングカート１を旋回させる。

【0031】

制御ユニット３０は、ＣＰＵ（Central Processing Unit）４０、メモリ７０等により構成された電子回路ユニットである。メモリ７０には、ショッピングカート１の制御用プログラム７１、店舗２００のフロアレイアウトの情報を含むフロアレイアウトデータ７２、後述するショッピングカート１の同行条件の情報を含む同行条件データ７３、及び後述する購入品リストの情報を含む購入品リストデータ７４が保存されている。

【0032】

ＣＰＵ４０は、メモリ７０に保存された制御用プログラム７１を読み込んで実行することにより、ジョブ情報受付部４１、在庫情報取得部４２、候補材料認識部４３、選択材料決定部４４、経路探索部４５、案内部４６、現在位置認識部４７、及び同行条件取得部４８として機能する。さらに、ＣＰＵ４０は、挙動認識部４９、音声認識部５０、同行条件変更部５１、移動状況認識部５２、予測位置算出部５３、同行制御部５４、旋回角度認識部５５、障害物検出部５６、収容物識別部５７、価格報知部５８、及び決済依頼部５９として機能する。

【0033】

ジョブ情報受付部４１は、使用者によるタッチパネル２５の操作に応じて、店舗２００が販売する商品を用いるジョブを受付ける。本実施形態では、店舗２００は食品を販売する店舗であるため、ジョブ情報受付部４１は、料理のジョブを受付ける。例えば、店舗２００がホームセンターのように、ＤＩＹ（do-it-yourself）材料を扱う店舗であるときには、ジョブ情報受付部４１は、工作品の製作、家屋の修繕等のジョブを受付ける。

【0034】

在庫情報取得部４２は、店舗管理システム２１０を介して、スマートホームサーバー４１０から、使用者Ｕの自宅３００における食材の在庫情報を取得する。候補材料認識部４３は、ジョブ情報受付部４１により、料理のジョブが受付けられたときに、店舗管理システム２１０を介して料理レシピサーバー４２０にアクセスし、受け付けられた料理のレシピ情報を取得する。そして、候補材料認識部４３は、レシピ情報に基づいて、料理に必要な候補材料を抽出する。

【0035】

なお、ジョブ情報受付部４１が、使用者Ｕが選択した料理の情報を店舗管理システム２１０を介して料理レシピサーバー４２０に送信し、料理レシピサーバー４２０が、料理に必要な候補材料を抽出して、候補材料を示す候補材料情報をショッピングカート１に送信する構成としてもよい。この構成による場合、候補材料認識部４３は、候補材料情報から、料理に必要な候補材料を認識する。

【0036】

選択材料決定部４４は、使用者によるタッチパネル２５の操作に応じて、候補材料認識部４３により認識された候補材料の全部又は一部を、購入対象とする選択材料として決定する。経路探索部４５は、フロアレイアウトデータ７２を参照して、店舗２００における選択材料の配置場所を通る経路を探索して、最適な買物経路を決定する。なお、フロアレイアウト情報を、店舗管理システム２１０、或いは店舗グループサーバー４００から取得するようにしてもよい。案内部４６は、経路探索部４５により決定された買物経路をタッチパネル２５に表示すると共に、買物経路に沿ってショッピングカート１を移動させて、使用者Ｕに買物経路を案内する。

【0037】

現在位置認識部４７は、左エンコーダ１３から出力されるパルス信号、及び右エンコーダから出力されるパルス信号を計数して、店舗２００内の基準位置からのショッピングカート１の移動量を算出する。店舗２００内の基準位置は、例えば、ショッピングカート置き場に設定される。また、現在位置認識部４７は、ジャイロセンサ１７の検出信号により、ショッピングカート１の移動方向を認識する。そして、現在位置認識部４７は、ショッピングカート１の基準位置からの移動距離と移動方向に基づいて、店舗２００におけるショッピングカート１の現在位置を検出する。なお、全方位カメラ２０或いは前方カメラ２２による店舗２００内の撮影画像に基づいて、ショッピングカート１の現在位置の検出値を修正してもよい。

【0038】

また、店舗に所定間隔で配置されたビーコンから送信される信号をショッピングカート１で受信することにより、現在位置認識部４７がショッピングカート１の現在位置を認識する構成としてもよい。或いは、店舗に配置されたカメラによる撮影画像から、店舗管理システム２１０又は店舗グループサーバー４００がショッピングカート１の現在位置を検出して、現在位置を示す現在位置情報をショッピングカート１に送信し、この現在位置情報から、現在位置認識部４７がショッピングカート１の現在位置を認識する構成としてもよい。

【0039】

同行条件取得部４８は、メモリ７０に保存された同行条件データ７３を参照して、ショッピングカート１が使用者Ｕに同行して移動する際の同行条件の初期値を取得する。本実施形態では、同行条件として、使用者Ｕに対するショッピングカート１の方向（前方、後方、右横、左横、右斜め前、左斜め前、右斜め後、左斜め後ろ等、本発明の指定方向に相当する）と、使用者Ｕとショッピングカートとの距離（本発明の指定距離に相当する）が指定されている。以下では、同行条件により設定されている方向を指定方向と称し、同行条件により設定されている距離を指定距離と称する。なお、店舗管理システム２１０、或いは店舗グループサーバー４００から、同行条件の初期値を取得するようにしてもよい。

【0040】

挙動認識部４９は、全方位カメラ２０による使用者Ｕの撮影画像に基づいて、使用者Ｕの挙動を認識する。音声認識部５０は、マイク２４により集音された使用者Ｕの音声を認識する。同行条件変更部５１は、挙動認識部４９により同行条件の変更を指示するジェスチャー或いは使用者Ｕの視線の変化が認識されたとき、及び音声認識部５０により同行条件の変更を指示する音声が認識されたときに、認識結果に応じて同行条件（指定方向と指定距離の一方又は両方）を変更する。

【0041】

移動状況認識部５２は、全方位カメラ２０による使用者Ｕの撮影画像、及びライダー２１により検出される使用者Ｕの位置に基づいて、使用者Ｕの移動状況を認識する。予測位置算出部５３には、移動状況認識部５２により認識される使用者Ｕの移動状況に基づいて、第１所定時間後の使用者Ｕの予測位置を算出する。同行制御部５４は、予測位置算出部５３により算出された使用者Ｕの予測位置から、同行条件により設定されている指定方向に指定横行だけ離れた位置を目標同行位置として、ショッピングカート１を目標同行位置まで走行させることにより、ショッピングカート１を使用者Ｕに同行させる同行制御を実行する。

【0042】

このように、使用者Ｕの移動状況に応じた目標同行位置を設定して、ショッピングカート１を走行させることにより、使用者Ｕの移動に対するショッピングカート１の追従性を高めることができる。

【0043】

旋回角度認識部５５は、移動状況認識部５２により認識される使用者Ｕの移動状況に基づいて、使用者Ｕの旋回角度を認識する。障害物検出部５６は、前方カメラ２２による撮影画像、及びライダー２１による物体の検出位置に基づいて、ショッピングカート１の進行方向に存在する障害物を検出する。

【0044】

収容物識別部５７は、全方位カメラ２０による撮影画像に基づいて、かご５に物品（本実施形態では商品）が収容されたことを認識する。さらに、収容物識別部５７は、かご５に収容された商品の画像を解析することにより、或いは商品に付されたバーコード等の識別コードを画像から読み取ることにより、商品を識別する。価格報知部５８は、収容物識別部５７により識別された商品を示す情報（名称、識別コード等）を、店舗管理システム２１０に送信して、商品の価格を問い合わせる。この問い合わせに応じて、店舗管理システム２１０は、商品ＤＢ２１１を参照して商品の価格を取得し、商品の価格を示す価格情報を制御ユニット３０に送信する。価格報知部５８は、価格情報から商品の価格を認識して、タッチパネル２５に表示する。

【0045】

決済依頼部５９は、使用者Ｕが、例えばタッチパネル２５に表示された「決済ボタン」（図示省略）にタッチしてカード支払の指示をしたときに、使用者Ｕが所持する会員カードのクレジットカード番号を、カードリーダ２６により読み取る。そして、決済依頼部５９はクレジットカード番号と、価格報知部５８により認識された商品の価格の合計金額とを含む決済依頼情報をカード会社サーバー４３０に送信して、カード決済を依頼する。なお、ショッピングカート１に現金の挿入口を設けて、現金払いが可能な構成としてもよい。

【0046】

制御ユニット３０は、図３に示したフローチャートによる一連の処理を実行して、使用者Ｕによる店舗２００での買物を支援する。制御ユニット３０のジョブ情報受付部４１は、図３のステップ１で、使用者Ｕによるショッピングカート１の利用開始操作を認識したときに、図４に示した初期案内画面１００を、タッチパネル２５に表示する。図４を参照して、初期案内画面１００には、店舗２００の売り場配置を示すフロアレイアウト１０１、及びショッピングカート１の利用の開始及び終了を指示するＯＮ／ＯＦＦボタン１０２が表示される。

【0047】

さらに、初期案内画面１００には、料理に応じた食材検索メニューの利用を指示するための料理選択ボタン１０３、使用者Ｕがかご５に入れた商品を一覧表示する購入品リストの表示を指示するための購入品リストボタン１０４、及び特売情報の表示を指示するための特売情報ボタン１０５が表示される。

【0048】

また、ジョブ情報受付部４１は、全方位カメラ２０による撮影画像から、ショッピングカート１の後方に位置する使用者Ｕの画像部分を認識する。そして、ジョブ情報受付部４１は、使用者Ｕの画像部分から、使用者Ｕの特定情報（使用者Ｕの顔、体形、服装等の特徴を示す情報）を抽出して、メモリ７０に保存する。挙動認識部４９及び移動状況認識部５２は、メモリ７０に保存された使用者Ｕの特定情報を用いて、全方位カメラ２０の撮像画像から使用者Ｕの画像部分を特定して抽出し、使用者Ｕの挙動或いは移動状況を認識する。

【0049】

制御ユニット３０は、料理選択ボタン１０３のタッチ操作を検知したときに、ステップＳ１００に処理を進めて、「選択食材リストの作成」の処理を実行する。「選択食材リストの作成」の処理により、制御ユニット３０は、料理に使用する食材のうち、今回購入する食材をリストアップした選択食材リスト（後述する図７参照）を作成する。次のステップＳ２００で、制御ユニット３０は、「買物経路の探索」の処理を実行する。「買物経路の探索」の処理により、制御ユニット３０は、選択材料リストにリストアップされた選択食材の陳列場所までの経路である買物経路（後述する図１１参照）を探索する。

【0050】

続くステップＳ３００で、制御ユニット３０は、「買物経路の案内」の処理を実行する。「買物経路の案内」の処理により、制御ユニット３０は、買物経路に従ってショッピングカート１を走行させることにより、使用者Ｕを選択材料の陳列場所まで案内しつつ、同行制御によりショッピングカート１を使用者Ｕに同行して移動させる。次のステップＳ４００で、制御ユニット３０は、「クレジットカードによる決済依頼」の処理を実行する。「クレジットカードによる決済依頼」の処理により、制御ユニット３０は、使用者Ｕによるカード決済の操作指示に応じて、ショッピングカート１のかご５に収容された商品の代金支払いのカード決済を依頼する。

【0051】

以下、「選択材料リストの作成」、「買物経路の探索」、「買物経路の案内」、及び「クレジットカードによる決済依頼」の各処理の詳細について説明する。

【0052】

［３．選択材料リストの作成］
図５に示したフローチャートに従って、「選択材料リストの作成」の処理について説明する。ジョブ情報受付部４１は、図５のステップＳ１０１で、料理の選択画面をタッチパネル２５に表示する。そして、使用者Ｕによる料理のジョブの選択操作があったときに、ジョブ情報受付部４１は、ステップＳ１０３に処理を進める。以下では、使用者Ｕがポークカレーの料理を選択した場合について説明する。

【0053】

ステップＳ１０３で、候補材料認識部４３は、店舗管理システム２１０を介して料理レシピサーバー４２０にアクセスし、ポークカレーのレシピを取得する。そして、候補材料認識部４３は、取得したレシピを参照して、ポークカレーの料理に必要な候補材料を抽出する。次のステップＳ１０４で、在庫情報取得部４２は、店舗管理システム２１０を介して、スマートホームサーバー４１０にアクセスする。そして、在庫情報取得部４２は、在庫ＤＢ４１１に記録された使用者Ｕの自宅３００についての食材在庫データＳｔｋ＿ｄａｔを取得する。

【0054】

続くステップＳ１０５～Ｓ１０７は、選択材料決定部４４による処理である。選択材料決定部４４は、ステップＳ１０５で、候補材料認識部４３により抽出された候補材料、及び食材在庫データＳｔｋ＿ｄａｔに基づいて、図６に示した購入材料選択画面１１０を、タッチパネル２５に表示する。

【0055】

図６に示したように、購入材料選択画面１１０には、料理名１１１、候補材料リスト１１２、及び選択決定ボタン１１３が表示される。候補材料リスト１１２には、候補材料名１１２ａ、各候補材料の必要量１１２ｂ、各候補材料の自宅在庫１１２ｃ、及び各候補材料の選択チェック欄１１２ｄが表示される。使用者Ｕは、購入材料選択画面１１０を見て、自宅の在庫を考慮しつつ、候補材料の中から、今回購入する材料を選択することができる。使用者Ｕは、購入を希望する候補材料の選択チェック欄１１２ｄをタッチ操作することにより、購入する食材である選択材料を指定する。

【0056】

次のステップＳ１０６とＳ１０７のループにより、選択材料決定部４４は、ステップＳ１０７で選択決定ボタン８３がタッチ操作されるまで、ステップＳ１０６で、使用者Ｕの選択操作に応じて選択材料を追加する。そして、選択材料決定部４４は、ステップＳ１０７で選択決定ボタン１１３がタッチ操作されたときに、ステップＳ１０８に処理を進めて、図７に示した選択材料リスト１２０を作成する。

【0057】

［４．買物経路の探索］
図８に示したフローチャートに従って、「買物経路の探索」の処理について説明する。経路探索部４５は、図８のステップＳ２０１で、フロアレイアウトデータ７２に記録された店舗２００のフロアレイアウトを参照して、選択材料リスト１２０にリストアップされた選択材料の陳列位置（所在位置）を抽出する。図９に示したように、選択材料の陳列位置は、店舗２００のフロアの２次元座標により特定される。図９に示した例では、例えば、豚肉の陳列場所は（ｘａ，ｙａ）となっている。

【0058】

続くステップＳ２０２で、経路探索部４５は、現在位置認識部４７により検出されるショッピングカート１の現在位置を起点として、選択材料の陳列位置を通る経路を探索する。そして、経路探索部４５は、走行距離が最短となる経路を買物経路として決定する。なお、選択材料の種類を考慮して、買物経路を決定してもよい。例えば、選択材料に冷蔵及び冷凍が不要な第１食材と、冷蔵又は冷凍が必要な第２食材が含まれる場合に、第１食材の所在場所に先に到着し、その後に第２食材の所在場所に到着するように、買物経路を決定してもよい。

【0059】

［５．買物経路の案内］
図１０に示したフローチャートに従って、「買物経路の案内」の処理について説明する。図１０のステップＳ３０１で、案内部４６は、図１１に示した買物経路案内画面１４０を、タッチパネル２５に表示して、買物経路の案内を開始する。買物経路案内画面１４０には、店舗２００のフロアレイアウト１４１が表示され、フロアレイアウト１４１には、買物経路Ｒｓが示されている。

【0060】

買物経路Ｒｓは、ショッピングカート１の現在位置Ｐｓであるカート置場→野菜コーナーＡのじゃがいもの陳列位置であるＰ１→野菜コーナーＡの玉ねぎの陳列位置であるＰ２→精肉コーナーＦの豚肉の陳列位置であるＰ３→日配品コーナーＥのバターの陳列位置であるＰ４の順に走行する経路となっている。

【0061】

案内部４６は、フロアレイアウト１４１に買物経路Ｒｓを示すと共に、走行ユニット１０の左モータ１１及び右モータ１４の作動を制御して、ショッピングカート１を買物経路に沿って走行させることにより、使用者Ｕに買物経路を案内する。なお、買物経路の案内を終了した後、案内部４６により、使用者Ｕがレジで料金を支払う場合はレジまでの経路を案内し、使用者Ｕが後述するカード決済による支払いを終了している場合は出入口までの経路を案内するようにしてもよい。

【0062】

買物経路案内画面１４０には、フロアレイアウト１４１の他に、購入品リストボタン１４２と、特売情報ボタン１４３とが表示される。購入品リストボタン１４２が操作されたときに、価格報知部５８により、図１３に示した購入品リスト画面１６０がタッチパネル２５に表示される。特売情報ボタン１４３が操作されたときに、案内部４６は、店舗２００における特売品情報をタッチパネル２５に表示する。

【0063】

使用者Ｕが特売品情報の表示画面で特売品を選択した場合、選択材料決定部４４は、選択された特売品を選択材料リスト１２０に追加する。そして、経路探索部４５は、経路を再探索して、選択された特売品の陳列場所を通る買物経路を決定する。

【0064】

続くステップＳ３０２～Ｓ３０９のループは、ショッピングカート１を買物経路に沿って走行させて買物経路を使用者Ｕに案内する際に、ショッピングカート１を使用者Ｕに同行させる同行制御を行うための処理である。ステップＳ３０２で、同行制御部５４は、挙動認識部４９により認識される使用者Ｕの挙動に応じて、ステップＳ３０２～Ｓ３０９のループの処理によってショッピングカート１を移動させる際のサンプリング周期Ｔｓを決定する。

【0065】

続くステップＳ３０３で、同行制御部５４は、Ｔｓの経過を待ってステップＳ３０４以降の処理を実行するため、Ｔｓを変更することによって、ステップＳ３０２～Ｓ３０９のループによる処理の実行間隔を変更することができる。

【0066】

具体的には、同行制御部５４は、挙動認識部４９により以下の（１）～（３）のうちのいずれかの挙動が認識されたときに、サンプリング周期Ｔｓを初期値よりも短くする。
（１）使用者Ｕが、進行方向を第１所定角度以上変更した。
（２）使用者Ｕが、頭又は体の向きを第２所定角度以上変更した。
（３）使用者Ｕが、視線の向きを第３所定角度以上変更した。
第１所定角度～第３所定角度は、例えば９０度に設定される。第１所定角度～第３所定角度は、同じ角度に設定してもよく、異なる角度に設定してもよい。

【0067】

上記（１）～（３）の挙動が認識されたときには、使用者Ｕの進行方向が急変した、或いは使用者Ｕの進行方向が急変する可能性が高い。そこで、同行制御部５４は、サンプリング周期Ｔｓを初期値よりも短くすることにより、使用者Ｕの進行方向の急変に対するショッピングカート１の応答性を高めて、ショッピングカート１の同行が遅れることを防止している。

【0068】

続くステップＳ３０４で、同行制御部５４は、同行条件データ７３に記録された同行条件の初期値を取得する。同行条件の初期値としては、例えば指定方向が前方、指定距離が３０ｃｍに設定される。後述するように、使用者Ｕは、同行条件を随時変更することができる。

【0069】

次のステップＳ３０５で、移動状況認識部５２は、全方位カメラ２０による使用者Ｕの撮影画像、及びライダー２１による使用者Ｕの検出位置に基づいて、使用者Ｕの移動方向及び移動速度を認識する。また、ステップＳ３０６で、予測位置算出部５３は、移動状況認識部５２により認識された使用者Ｕの移動方向及び移動速度に応じて、次のＴｓ経過時の使用者Ｕの予測位置を算出する。

【0070】

続くステップＳ３０７で、同行制御部５４は、予測位置算出部５３により算出された使用者Ｕの予測位置から、指定方向に指定距離だけ離れた目標同行位置を算出する。ここで、図１２は、使用者Ｕが直進している状況で、目標同行位置を算出する例を示している。図１２では、使用者Ｕの現在位置をＰｕ１１（ｘ１，ｙ１）で示し、ショッピングカート１の現在位置をＰｃ１１で示し、Ｔｓ後の使用者Ｕの予測位置をＰｕ１２（ｘ２，ｙ２）で示している。

【0071】

Ｐｕ１１（ｘ１，ｙ１）で移動状況認識部５２により認識された使用者Ｕの移動方向がＤｒ１、移動速度がＶ１である場合、予測位置算出部５３は、以下の式（１）、式（２）により、予測位置Ｐｕ１２（ｘ２，ｙ２）を算出する。
ｘ２＝ｘ１＋Ｖ１＿ｘ × Ｔｓ ・・・・・（１）
ｙ２＝ｙ１＋Ｖ１＿ｙ × Ｔｓ ・・・・・（２）
但し、Ｖ１＿ｘ：Ｄｒ１方向の速度Ｖ１のｘ成分、Ｖ１＿ｙ：Ｄｒ１方向の速度Ｖ１のｙ成分。

【0072】

同行制御部５４は、同行制御部５４は、予測位置Ｐｕ１２（ｘ２，ｙ２）から指定方向（ここでは、使用者Ｕの前方）に、指定距離Ｌ１だけ離れた位置Ｐｃ１２を、目標同行位置として算出する。そして、ステップＳ３０８で、同行制御部５４は、Ｔｓが経過した時にショッピングカート１が目標同行位置に到達するように、ショッピングカート１を走行させる。

【0073】

障害物検出部５６は、同行制御部５４がショッピングカート１を走行させているときに、前方カメラ２２による撮影画像及びライダー２１による物体の検出位置に基づいて、ショッピングカート１の前方に存在する障害物を検出する。そして、障害物検出部５６により障害物が検出された場合、同行制御部５４は、障害物との接触を回避するための処理を行う。障害物との接触を回避するための処理としては、障害物を避けるようにショッピングカート１の進行方向を変える、ショッピングカート１を停止させて障害物の存在を使用者に報知し、使用者に進行方向の変更を促す、等の処理を行うことができる。

【0074】

ここで、案内部４６は、使用者Ｕが買物経路から所定距離以上外れたときには、買物経路に戻ることを促す画面をタッチパネル２５に表示する、或いは買物経路に戻ることを促す音声ガイダンスをスピーカー２３から出力する報知を行う。また、案内部４６が、買物経路を再検索するようにしてもよい。

【0075】

次のステップＳ３０９で、案内部４６は、現在位置認識部４７により検出されるショッピングカート１の現在位置に基づいて、ショッピングカート１が選択材料の陳列場所に到着したか否かを判断する。そして、案内部４６は、ショッピングカート１が選択材料の陳列場所に到着したときはステップＳ３１０に処理を進めて、ショッピングカート１の走行を停止する。一方、ショッピングカート１が選択材料の陳列場所に到着していないときには、案内部４６は、ステップＳ３０２に処理を進める。

【0076】

ステップＳ３１１で、収容物識別部５７は、全方位カメラ２０による撮影画像に基づいて、選択材料がかご５に収容されたことを認識したときに、ステップＳ３１２に処理を進める。なお、ステップＳ３０９で、案内部４６によりショッピングカート１が選択材料の陳列場所に到着したと判断されたとき、或いはステップＳ３１１で、収容物識別部５７により選択材料がかご５に収容されたことが認識されたときに、到着した陳列場所に陳列された選択材料又はかご５に収容された選択材料の表示を、買物経路案内画面１４０から消すようにしてもよい。

【0077】

ステップＳ３１２で、価格報知部５８は、かご５に追加して収容された商品の価格を、店舗管理システム２１０との通信によって取得して、タッチパネル２５に表示する。また、価格報知部５８は、追加してかご５に収容された商品の価格を、図１３に示した購入品リスト１６２に追加して、メモリ７０に保存された購入品リストデータ７４（図２参照）を更新する。

【0078】

図１３は、購入品リストボタン１０４（図参照）の操作に応じてタッチパネル２５に表示される購入品リスト画面１６０を示している。購入品リスト画面１６０には、購入品リスト１６２の他に、料理名及び分量１６１と、カード決済を指示するためのカード決済ボタン１６３とが表示される。価格報知部５８は、選択材料リスト１２０にリストアップされた材料以外の商品についても、収容物識別部５７によりかご５に収容されたことが認識されたときに、商品の価格を取得して購入品リスト１６２に追加して、購入品リストデータ７４を更新する。

【0079】

続くステップＳ３１３で、案内部４６は、次に向かう陳列場所があるか否かを判断する。そして、案内部４６は、次に向かう陳列場所がないときは、ステップＳ３１４に処理を進めて「買物経路の案内」の処理を終了する。一方、次に向かう陳列場所があるときには、案内部４６は、ステップＳ３２０に処理を進め、次の陳列場所への案内を開始してステップＳ３０２に処理を進める。これにより、停止状態で待機していたショッピングカート１が走行を再開する。

【0080】

［６．使用者が急旋回した場合の同行制御］
図１４、及び図１５を参照して、同行制御部５４が同行制御を実行しているときに、使用者Ｕが急旋回した場合の制御について説明する。図１４は使用者Ｕが移動しながら旋回する例を示し、図１５は使用者Ｕが移動せずにその場で旋回する例を示している。

【0081】

図１４は、ショッピングカート１を使用者Ｕの前方に同行させる同行制御が実行されている状況で、使用者Ｕが現在位置Ｐｕ２１から経路Ｒｕ２によりＰｕ２２まで旋回して移動する場合を示している。この場合、ショッピングカート１を最短の経路Ｒｃ２で走行させて使用者Ｕの前方に回り込ませると、ショッピングカート１が使用者Ｕを追い越す際に、ショッピングカート１が使用者Ｕに接触するおそれがある。

【0082】

そこで、旋回角度認識部５５は、移動状況認識部５２により認識される使用者Ｕの移動状況に基づいて、使用者Ｕの旋回角度αを認識する。そして、同行制御部５４は、使用者Ｕの旋回角度αが第４所定角度（例えば９０度）以上であるときには、使用者Ｕとショッピングカート１との距離が所定距離Ｗ以上に維持される経路Ｒｃ３により、ショッピングカート１を使用者Ｕの前方の位置Ｐｃ２３まで回り込ませる。なお、所定距離Ｗを、旋回角度αに応じて、例えば、旋回角度αが大きいほど所定距離Ｗを長く設定するようにしてもよい。

【0083】

さらに、同行制御部５４は、ショッピングカート１が使用者Ｕを追い越す位置Ｐｃ２２の付近で、ショッピングカート１が使用者Ｕと並行して移動する状態を第２所定時間維持した後に、ショッピングカート１の走行速度を漸増させる制御を行う。これにより、使用者Ｕによるショッピングカート１の接近の認識が、容易になるようにしている。また、使用者Ｕの旋回角度αが大きいほど、ショッピングカート１の移動速度を速く設定して、ショッピングカートを速やかに使用者Ｕの前方に移動させるようにしてもよい。

【0084】

また、ショッピングカート１が全方位カメラ２０ではなく、所定範囲を撮影するカメラの取付け部を回転させて撮影方向を変更する構成とした場合には、ショッピングカート１が使用者Ｕを追い越す間、カメラを使用者に向けて使用者の位置を確実に確認するようにしてもよい。

【0085】

次に、図１５は、使用者Ｕがその場で旋回して、Ｃｄ３１→Ｃｄ３２→Ｃｄ３３と向きを変えた場合を示している。この場合も、旋回角度認識部５５により認識される使用者Ｕの旋回角度が、判定角度以上となる。そのため、上述したように、同行制御部５４は、使用者Ｕとショッピングカート１との距離が所定距離以上に維持される経路Ｒｃ４により、ショッピングカート１を走行させる。図１５では、同行制御部５４が、経路Ｒｃ４を、使用者Ｕの位置Ｐｕ３１を中心とした円弧に設定した例を示している。

【0086】

なお、使用者Ｕがその場で旋回した時に、直ちにショッピングカート１の走行を開始させずに、所定時間が経過したタイミングでショッピングカート１の走行を開始させるようにしてもよい。これにより、使用者Ｕのちょっとした旋回動作に対応して、ショッピングカート１が使用者Ｕの周囲を頻繁に動き回ることを抑制することができる。

【0087】

［７．同行条件の変更］
図１６に示したフローチャートに従って、「同行条件の変更」の処理について説明する。同行条件変更部５１は、図１６に示したフローチャートによる処理を実行することによって、同行制御部５４により同行制御が実行されている間、使用者Ｕの指示に応じて同行条件の指定方向及び指定距離を変更する。

【0088】

図１６のステップＳ３３０で、同行条件変更部５１は、使用者Ｕによる同行条件の変更要求がなされたか否かを判断する。同行条件変更部５１は、以下の変更要求条件１～３のいずれかが成立したときに、同行条件の変更要求がなされたと判断して、ステップＳ３３１に処理を進める。
変更要求条件１： 挙動認識部４９が、全方位カメラ２０の撮影画像から、使用者Ｕが手の平を振る等のジェスチャー（本発明の第２所定挙動に相当する）を認識した。
変更要求条件２： 音声認識部５０が、マイク２４の集音信号から、使用者による「同行条件を変更したい」等の音声（本発明の所定音声に相当する）を認識した。
変更要求条件３： 挙動認識部４９が、全方位カメラ２０の撮影画像から、使用者Ｕが全方位カメラ２０に一定時間（本発明の第２所定時間に相当する）以上視線を向けた（本発明の第２所定挙動に相当する）ことを認識した。全方位カメラ２０の位置は、本発明の所定位置に相当する。
ここで、同行条件変更部５１が、同行条件の変更要求がなされたと判断したときに、その後のショッピングカート１の動かし方（例えばジャスチャーによる作動指示のやり方）を、タッチパネル２５への表示或いはスピーカー２３からの音声ガイダンスの出力によって報知するようにしてもよい。

【0089】

ステップＳ３３１で、同行条件変更部５１は、使用者Ｕによる同行条件の変更指示の受付を禁止する同行条件変更禁止モードから、使用者Ｕによる同行条件の変更指示の受付を許可する同行条件変更許可モードに切り替える。このように、モード切替の処理を行うことにより、使用者Ｕが無意識に行った挙動について、同行条件変更部５１が、同行条件の変更指示と誤認識することを防止することができる。

【0090】

続くステップＳ３３２～Ｓ３３４のループの処理により、ステップＳ３３２で、挙動認識部４９が全方位カメラ２０による使用者Ｕの撮影画像に基づいて、使用者Ｕによるジャスチャーの有無を繰り返し検知する。また、ステップＳ３３３で、挙動認識部４９が、全方位カメラ２０による使用者Ｕの撮影画像に基づいて、使用者Ｕの視線方向の変化を繰り返し検知する。さらに、ステップＳ３３４で、音声認識部５０が、使用者Ｕの音声を繰り返し検知する。

【0091】

挙動認識部４９は、ステップＳ３３２で、使用者Ｕのジェスチャーを検知したときにステップＳ３４０に処理を進め、ジャスチャーが「腕のスイング」であるか否かを判断する。そして、挙動認識部４９は、ジェスチャーが「腕のスイング」であったときはステップＳ３４２に処理を進め、ジェスチャーが「腕のスイング」でなかったときにはステップＳ３４１に処理を進める。ステップＳ３４２で、同行条件変更部５１は、スイング方向に応じて指定方向を変更し、ステップＳ３４１に処理を進める。「腕のスイング」のジェスチャーは、本発明の第１所定挙動に相当する。

【0092】

ここで、図１７は、使用者Ｕによる「腕のスイング」のジェスチャーにより、同行条件の指定方向を変更する例を示している。図１７のＣｄ４１は、指定方向が前方であって、使用者Ｕの前方をショッピングカート１が同行している状態で、使用者Ｕが、前方の陳列棚２０１に陳列された商品を購入するために、ショッピングカート１を右横にずらす状況を示している。Ｃｄ４１で、使用者Ｕは、右腕を前方から右横のＤｒ４の方向にスイングさせて、右横方向へのショッピングカート１の移動を指示している。

【0093】

この場合、同行条件変更部５１は、同行条件の指定方向を前方から右側方に変更する。そして、同行制御部５４は、ショッピングカート１を、現在位置Ｐｃ４１からＤｒ４の方向の位置Ｐｃ４２に向かって走行させる変更対応移動を実行する。これにより、Ｃｄ４２で示したように、ショッピングカート１が使用者Ｕの右横に移動し、使用者Ｕは、陳列棚２０１に近づいて商品を手に取ることができる。その後、使用者Ｕが移動して、使用者Ｕとショッピングカート１との距離が指定距離以上になったときに、同行制御を再開する。

【0094】

また、挙動認識部４９は、ステップＳ３４１で、使用者Ｕのジェスチャーが「指の本数指示」であるか否かを判断する。そして、挙動認識部４９は、ジェスチャーが「指の本数指示」であったときはステップＳ３４３に処理を進め、ジェスチャーが「指の本数指示」でなかったときにはステップＳ３３１に処理を進める。同行条件変更部５１は、ステップＳ３４３で、ジャスチャーにより示された指の本数に応じて、同行条件の指定距離を変更する。「指の本数指示」のジェスチャーは、本発明の第１所定挙動に相当する。

【0095】

ここで、図１８は、使用者Ｕによる「指の本数指示」のジェスチャーにより、同行条件の指定距離を変更する例を示している。同行条件変更部５１は、使用者Ｕが示した指の本数が１本→２本→３本→４本→５本と増えるに従って、指定距離をＷ１→Ｗ２→Ｗ３→Ｗ４→Ｗ５（Ｗ１＜Ｗ２＜Ｗ３＜Ｗ４＜Ｗ５）と増加させて変更する。同行条件変更部５１は、同行条件を変更した場合に、変更後の同行条件により同行条件データ７３（図２参照）を更新する。

【0096】

なお、使用者Ｕによる「あっちに行け（指を向こう側（使用者Ｕから離れる側）に振り払う動作）」や、「こっちに来い（指を手前側（使用者Ｕに近づく側）に引き寄せる動作）」のジェスチャーにより、同行条件の指定距離を変更するようにしてもよい。

【0097】

音声認識部５０は、ステップＳ３３２で、使用者Ｕの音声を検知したときにステップＳ３６０に処理を進め、音声による指定方向又は指定距離の変更を認識したか否かを判断する。そして、音声認識部５０は、音声による指定方向又は指定距離の変更を認識したときはステップＳ３６１に処理を進め、音声による指定方向又は指定距離の変更を認識しなかったときにはステップＳ３３３に処理を進める。

【0098】

ステップＳ３６１で、同行条件変更部５１は、使用者Ｕの音声による指定方向の変更指示を認識したときは、変更指示に応じて同行条件の指定方向を変更する。また、同行条件変更部５１は、使用者Ｕの音声による指定距離の変更指示を認識したときには、変更指示に応じて同行条件の指定距離を変更する。そして、同行条件変更部５１は、変更後の同行条件により同行条件データ７３（図２参照）を更新する。

【0099】

ステップＳ３４３で同行条件変更部５１により指定距離が変更された場合、ステップＳ３５０で同行条件変更部５１により指定方向が変更された場合、及びステップＳ３６１で同行条件変更部５１により指定方向又は指定距離が変更された場合にも、同行制御部５４は、変更された同行条件に応じた位置にショッピングカート１を移動させる変更対応移動を実行する。

【0100】

［８．クレジットカードによる決済依頼］
図１９に示したフローチャートに従って、「クレジットカードによる決済依頼」の処理について説明する。図１９のステップＳ４０１で、決済依頼部５９は、図１３に示した購入品リスト画面１６０のカード決済ボタン１６３が操作されたときに、ステップＳ４０２に処理を進めて、クレジットカードの読込みを促す画面を、タッチパネル２５に表示する。

【0101】

続くステップＳ４０３で、使用者Ｕによるクレジット機能付きの会員カード８１のカードリーダ２６への読込み操作があったときに、決済依頼部５９は、ステップＳ４０４に処理を進める。ステップＳ４０４で、決済依頼部５９は、カードリーダ２６によって読み込まれたクレジットカード番号を取得する。

【0102】

続くステップＳ４０５で、決済依頼部５９は、購入品リストデータ７４に記録された購入品リスト１６２（図１３参照）を参照して、合計購入金額を取得する。次のステップＳ４０６で、クレジットカード番号と合計購入金額を含む決済依頼情報を、店舗管理システム２１０を介してカード会社サーバー４３０に送信し、カード決済を依頼する。決済依頼情報を受信したカード会社サーバー４３０により、代金支払いのカード決済処理が実行される。

【0103】

［９．他の実施形態］
上記実施形態では、使用者Ｕが所持するクレジット機能付きの会員カード８１により、商品の購入代金の支払いをカード決済により行う例を示した。他の実施形態として、クレジットカードではなく、料金支払サービスの提供業者が発行した使用者Ｕに固有のＱＲコード（登録商標）等の識別コードを用いて、支払いの決済を行うようにしてもよい。この場合、使用者Ｕは、所持する通信端末８０の表示部に識別コードを表示させて、全方位カメラ２０或いは別途設けられたカメラにより読み取らせる。

【0104】

そして、決済依頼部５９は、読み取った識別コードと合計購入金額を含む決済依頼情報を、店舗管理システム２１０を介して料金支払サービスの提供業者が運用するサーバーに送信することによって、支払い決済を依頼する。

【0105】

上記実施形態では、同行移動体として、床面を走行するショッピングカート１を示したが、ドローンのように浮揚して空中を移動しながら使用者に同行する構成としてもよい。この場合は、走行ユニット１０に代えて、回転翼等の飛行用の推進部を備える構成となる。

【0106】

上記実施形態では、ショッピングカート１の制御ユニット３０は、店舗管理システム２１０の商品ＤＢ２１１にアクセスして商品の価格を取得したが、商品の価格情報を予め制御ユニット３０に保存するようにしてもよい。また、制御ユニット３０は、店舗グループサーバー４００の店舗ＤＢ４０１にアクセスして店舗のフロアレイアウトを取得したが、フロアレイアウトの情報を予め制御ユニット３０に保存してもよい。また、制御ユニット３０は、料理レシピサーバー４２０の料理レシピＤＢ４２１にアクセスして、料理のレシピを取得したが、料理レシピＤＢ４２１に記録された料理レシピのうち、選択頻度が高い料理レシピについては、制御ユニット３０に保存しておくようにしてもよい。

【0107】

上記実施形態では、ジョブ情報受付部４１が、料理のジョブ情報を受付ける例を示したが、ジョブ情報はこれに限られない。例えば、工作品の作成、家屋の修繕等のＤＩＹ（do-it-yourself）のジョブ情報であってもよい。ＤＩＹのジョブである場合は、ＤＩＹの作業で使用される候補材料として、木材、塗料、ネジ等が抽出される。

【0108】

上記実施形態では、同行移動体として、使用者Ｕによる材料の購入をサポートするショッピングカート１を示したが、購入ではなく、例えば、工作品の材料を、倉庫でピックアップする用途に使用されるカート等にも、本発明の適用が可能である。また、材料の取得を伴わずに、サービスの提供を受ける場所への経路案内を行う案内ロボット等についても、本発明の適用が可能である。

【0109】

上記実施形態では、同行移動体として、使用者による材料の取得を支援するショッピングカート１を示したが、本発明の同行移動体は、芝刈り機や除雪機等の作業機であってもよい。同行移動体が作業機である場合、使用者は、作業の内容や状況に応じて、使用者Ｕと作業機との指定距離、及び使用者に対する作業機の指定方向を変更して、効率良く作業を進めることができる。

【0110】

上記実施形態では、案内部４６は、使用者Ｕに対する候補材料を取得するための案内として、選択材料の陳列までの経路案内を行ったが、経路案内を行わずに候補材料のリストをタッチパネル２５に表示する構成としてもよい。この構成による場合、使用者Ｕは、同行するショッピングカート１のタッチパネル２５に表示される候補材料のリストを確認しながら、買い忘れがないように買物をすることができる。

【0111】

なお、図２は、本願発明の理解を容易にするために、制御ユニット３０の機能構成を、主な処理内容により区分して示した概略図であり、制御ユニット３０の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、各構成要素の処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。

【符号の説明】

【0112】

１…ショッピングカート（同行移動体）、１０…走行ユニット（推進部）、２０…全方位カメラ、２１…ライダー、２２…前方カメラ、２５…タッチパネル、２６…カードリーダ、２７…通信ユニット、３０…制御ユニット、４０…ＣＰＵ、４１…ジョブ受付部、４２…在庫情報取得部、４３…候補材料認識部、４４…選択材料決定部、４５…経路探索部、４６…案内部、４７…現在位置認識部、４８…同行条件取得部、４９…挙動認識部、５０…音声認識部、５１…同行条件変更部、５２…移動状況認識部、５３…予測位置算出部、５４…同行制御部、５５…旋回角度認識部、５６…障害物検出部、５７…収容物識別部、５８…価格報知部、５９…決済依頼部、７０…メモリ、８０…通信端末、８１…会員カード、２００…店舗、２１０…店舗管理システム、３００…（使用者の）自宅、４００…店舗グループサーバー、４１０…スマートホームサーバー、４２０…料理レシピサーバー、４３０…カード会社サーバー、５００…通信ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】