特許 7563267 物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20241001BHJP

【ＦＩ】

G05D1/43

【請求項の数】 8

(21)【出願番号】P 2021049876

(22)【出願日】2021-03-24

(65)【公開番号】P2022148261

(43)【公開日】2022-10-06

【審査請求日】2023-09-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】池田 幸一

【審査官】渡邊 捷太郎

(56)【参考文献】

【文献】特表２０１８－５３００８９（ＪＰ，Ａ）

【文献】特開２０１０－２６４５５３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３７６６５６（ＵＳ，Ａ１）

【文献】特開２０１２－０６６３７８（ＪＰ，Ａ）

【文献】米国特許第０９６９１１５１（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０２０／０３１６７８６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０１７１６５３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４３

(57)【特許請求の範囲】

【請求項1】

回収対象である複数の物品が存在する環境内を移動可能な移動体に設けられ、前記複数の物品を撮像して画像データを取得するカメラと、
前記環境内を移動して前記撮像された複数の物品を回収する物品回収ロボットと、
を備え、
前記物品回収ロボットは、
前記環境内を撮像して環境内画像データを取得する物品回収ロボットカメラと、
前記カメラの外観情報を含むカメラ認識用画像データを取得し、前記カメラ認識用画像データと前記環境内画像データとに基づいて前記カメラを検出し、検出した前記カメラの位置情報を取得するカメラ位置取得部と、
前記カメラの位置情報に基づいて前記複数の物品の位置を特定する物品位置特定部と、
前記特定された位置に移動する移動部と、
前記移動した位置において前記複数の物品を回収する回収部と、を有する
物品回収システム。

【請求項2】

前記カメラ位置取得部は、前記カメラの姿勢を示す姿勢情報を更に取得し、
前記物品位置特定部は、前記位置情報及び前記姿勢情報に基づいて前記複数の物品の位置を特定する
請求項１に記載の物品回収システム。

【請求項3】

前記画像データを表示する表示装置を更に備え、
前記表示装置は、前記環境内を前記カメラと共に移動可能である
請求項１又は２に記載の物品回収システム。

【請求項4】

前記物品回収ロボットは、
前記表示された画像データから、前記回収を行う物品の選択をユーザから受け付け、前記選択された物品を回収する
請求項３に記載の物品回収システム。

【請求項5】

前記移動体は、前記複数の物品を収容可能な回収容器を更に備え、
前記物品回収ロボットは、前記複数の物品を前記回収容器に回収する
請求項１～４のいずれか１項に記載の物品回収システム。

【請求項6】

回収対象である複数の物品が存在する環境内を撮像して環境内画像データを取得する物品回収ロボットカメラと、
前記複数の物品を撮像して画像データを取得するカメラの外観情報を含むカメラ認識用画像データを取得し、前記カメラ認識用画像データと前記環境内画像データとに基づいて前記カメラを検出し、検出した前記カメラの位置情報を取得するカメラ位置取得部と、
前記カメラの位置情報に基づいて前記撮像された複数の物品の位置を特定する物品位置特定部と、
前記特定された位置に移動する移動部と、
前記移動した位置において前記複数の物品を回収する回収部と、を備え、
前記カメラは、前記環境内を移動可能な移動体に設けられている
物品回収ロボット。

【請求項7】

物品回収ロボットカメラを用いて、回収対象である複数の物品が存在する環境内を撮像して環境内画像データを取得する環境内画像データ取得ステップと、
前記複数の物品を撮像して画像データを取得するカメラの外観情報を含むカメラ認識用画像データを取得するカメラ認識用画像データ取得ステップと、
前記カメラ認識用画像データと前記環境内画像データとに基づいて前記カメラを検出し、検出した前記カメラの位置情報を取得するカメラ位置取得ステップと、
前記カメラの位置情報に基づいて前記撮像された複数の物品の位置を特定する物品位置特定ステップと、
前記特定された位置に移動する移動ステップと、
前記移動した位置において前記複数の物品を回収する回収ステップと、を備え、
前記カメラは、前記環境内を移動可能な移動体に設けられている
物品回収方法。

【請求項8】

物品回収ロボットカメラを用いて、回収対象である複数の物品が存在する環境内を撮像して環境内画像データを取得する環境内画像データ取得処理と、
前記複数の物品を撮像して画像データを取得するカメラの外観情報を含むカメラ認識用画像データを取得するカメラ認識用画像データ取得処理と、
前記カメラ認識用画像データと前記環境内画像データとに基づいて前記カメラを検出し、検出した前記カメラの位置情報を取得するカメラ位置取得処理と、
前記カメラの位置情報に基づいて前記撮像された複数の物品の位置を特定する物品位置特定処理と、
前記特定された位置に移動する移動処理と、
前記移動した位置において前記複数の物品を回収する回収処理と、をコンピュータに実行させ、
前記カメラは、前記環境内を移動可能な移動体に設けられている
物品回収プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラムに関する。

【背景技術】

【0002】

自律移動することが可能なロボットの移動を制御する技術が知られている。関連する技術として、例えば、特許文献１には、サーバと、フロア内を巡回するロボットと、フロアの天井等の上層部に設けられ繰り返しフロア内を撮影する複数の固定カメラと、を備える移動制御システムが開示されている。
特許文献１に開示される移動制御システムでは、サーバは、複数の固定カメラによって異なる方向から略同時に撮影された複数の画像に基づき、ロボットの現在位置を推定する。サーバは、ロボットの現在位置を推定する度に、ロボットがサーバからの移動指示を待っている待機状態か否かを判定する。ロボットが待機状態である場合、サーバは、複数の画像により推定した現在位置に基づき、ロボットを現在位置と異なる第１の位置に移動させる移動指示をロボットに送信する。ロボットが待機状態でない場合、サーバは、移動指示を送信しない。
特許文献１で開示されるロボットは、サーバの移動指示に基づきフロア内を移動しながら、例えば周囲の映像を常時撮影し、万引き防止のための監視、追尾、及び声かけや、来店者に対する広告情報の提供等の動作を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６４０２２６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１で開示されるようなシステムを用いてロボットを移動させ、部屋の床面に存在する物品を回収する作業を行うとする。例えば、ボールやブロックなどのおもちゃで散らかった部屋を、ロボットを用いて片付けるような場合が想定される。このような場合、天井などの上層部に固定カメラを取り付けると、カメラと回収対象の物品との間には２～３ｍ程度の距離が存在する。そのため、床に落ちた小さなおもちゃなどを認識するためには、カメラには高い解像度が求められる。
また、固定カメラの撮影範囲には限りがあるため、１台のカメラで部屋の全範囲を撮影することが困難な場合がある。仮に１台のカメラで部屋の全範囲を撮影できたとしても、椅子やテーブルなどの家具によって、物品がカメラの死角に入るおそれがある。このような物品はカメラに認識されないため、物品の回収に漏れが発生する原因となる。

【0005】

このような問題に対応するため、天井に設置する固定カメラの台数を増やすことが考えられる。カメラの台数を増やすことで部屋の全範囲を撮影することができ、また、家具などで生じる死角を減らすことができる。しかし、上述のようにカメラには高い解像度が求められるため、１台当たりのカメラが比較的高価なものとなり、このようなカメラを複数台設置することでコストが増大する。また、ロボットは、カメラが設置されていない部屋では同様の回収処理を行うことができない。そのため、複数の部屋で回収処理を行う場合、各部屋に複数のカメラを設置する必要があり、更にコストが増大することとなる。特許文献１では、上記のような問題については考慮されていない。

【0006】

本開示はこのような課題を解決するためになされたものであり、物品の回収を効率的に行うことができる物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示にかかる物品回収システムは、
回収対象である複数の物品が存在する環境内を移動可能な移動体に設けられ、前記複数の物品を撮像して画像データを取得するカメラと、
前記環境内を移動して前記撮像された複数の物品を回収する物品回収ロボットと、
を備え、
前記物品回収ロボットは、
前記カメラを検出して前記カメラの位置情報を取得するカメラ位置取得部と、
前記カメラの位置情報に基づいて前記複数の物品の位置を特定する物品位置特定部と、
前記特定された位置に移動する移動部と、
前記移動した位置において前記複数の物品を回収する回収部と、を有するものである。
このような構成により、物品の回収を効率的に行うことができる。

【0008】

本開示にかかる物品回収ロボットは、
回収対象である複数の物品を撮像して画像データを取得するカメラを検出して前記カメラの位置情報を取得するカメラ位置取得部と、
前記カメラの位置情報に基づいて前記撮像された複数の物品の位置を特定する物品位置特定部と、
前記特定された位置に移動する移動部と、
前記移動した位置において前記複数の物品を回収する回収部と、を備え、
前記カメラは、前記複数の物品が存在する環境内を移動可能な移動体に設けられているものである。
このような構成により、物品の回収を効率的に行うことができる。

【0009】

本開示にかかる物品回収方法は、
回収対象である複数の物品を撮像して画像データを取得するカメラを検出して前記カメラの位置情報を取得するカメラ位置取得ステップと、
前記カメラの位置情報に基づいて前記撮像された複数の物品の位置を特定する物品位置特定ステップと、
前記特定された位置に移動する移動ステップと、
前記移動した位置において前記複数の物品を回収する回収ステップと、を備え、
前記カメラは、前記複数の物品が存在する環境内を移動可能な移動体に設けられているものである。
このような構成により、物品の回収を効率的に行うことができる。

【0010】

本開示にかかる物品回収プログラムは、
回収対象である複数の物品を撮像して画像データを取得するカメラを検出して前記カメラの位置情報を取得するカメラ位置取得処理と、
前記カメラの位置情報に基づいて前記撮像された複数の物品の位置を特定する物品位置特定処理と、
前記特定された位置に移動する移動処理と、
前記移動した位置において前記複数の物品を回収する回収処理と、をコンピュータに実行させ、
前記カメラは、前記複数の物品が存在する環境内を移動可能な移動体に設けられているものである。
このような構成により、物品の回収を効率的に行うことができる。

【発明の効果】

【0011】

本開示にかかる物品回収システム、物品回収ロボット、物品回収方法、及び物品回収プログラムは、物品の回収を効率的に行うことを可能とする。

【図面の簡単な説明】

【0012】

【図1】実施形態にかかる物品回収システムの概要を示す図である。

【図2】実施形態にかかる物品回収システムの構成を示すブロック図である。

【図3】実施形態にかかる操作端末における表示画面の一例を示す図である。

【図4】実施形態にかかる物品回収ロボットの外観の一例を示す図である。

【図5】実施形態にかかるユーザが行う処理を示すフローチャートである。

【図6】実施形態にかかる物品回収ロボットが行う処理を示すフローチャートである。

【図7】実施形態にかかる物品回収ロボット等のハードウエアの構成例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本開示の実施形態について説明する。
図１は、本実施形態にかかる物品回収システム１０００の概要を示す図である。同図に示されるように、物品回収システム１０００は、物品回収ロボット１００及び移動体２００を備えている。物品回収システム１０００は、回収対象である複数の物品が存在する環境内で用いることができる。以下では、回収対象である物品を回収対象物と称して説明を行う。図１では、室内の環境において、床面に落ちているボールを物品回収ロボット１００が回収する場合を本実施形態の一例として示している。

【0014】

移動体２００は、複数の回収対象物が存在する環境内を移動することができる。移動体２００は、例えば、図１に示されるような、底面に車輪を備えたワゴンを含み得る。移動体２００には、複数の回収対象物を撮像し、画像データを取得するカメラ２３０が設けられている。画像データは、移動体２００に設けられた操作端末２１０の表示部２２０に表示される。ユーザは、表示部２２０を確認することで、カメラ２３０の撮像範囲を把握できる。

【0015】

物品回収ロボット１００は、頭部などに設けられたセンサを用いて、移動体２００を検出し、移動体２００の位置情報を取得する。物品回収ロボット１００は、移動体２００の位置情報に基づいて、撮像された回収対象物の位置を特定する。物品回収ロボット１００は、特定された回収対象物の位置まで移動し、アームの先端に設けられたハンドなどを用いて回収対象物を回収する。物品回収ロボット１００は、回収された回収対象物を移動体２００の物品収容部２４０に収容する。物品回収ロボット１００は、１つの回収対象物を回収した後、続けて他の回収対象物を回収する。
このようにして、物品回収ロボット１００は、環境内を移動して複数の物品を回収する物品回収処理を行う。

【0016】

物品回収ロボット１００が物品回収処理を行う環境は、物品回収ロボット１００が自律移動を行いながら、回収対象物を回収することができる空間であればどのような環境でもよい。例えば、回収対象物が存在する環境は、住居内の部屋、公共施設内、又はオフィス内などを含み得る。環境は、屋内に限らず、屋外であってもよい。また、回収対象物は、ボールに限らず、例えば、衣類、食品、おもちゃ、文具、缶、ペットボトル、又は紙ごみなど、どのようなものであってもよい。物品回収ロボット１００は、例えば、部屋の中を自律移動し、これらの回収対象物を回収し、所定の回収容器に回収することができる。回収対象物は、床面や地面などに限らず、例えば、机や棚などの家具の上に存在していてもよい。

【0017】

図２は、物品回収システム１０００の構成を示すブロック図である。以下では、物品回収システム１０００が備える移動体２００及び物品回収ロボット１００のそれぞれの構成について説明する。

【0018】

移動体２００は、操作端末２１０、表示部２２０、カメラ２３０、物品収容部２４０、及び移動部２５０を備えている。移動体２００は、回収対象である複数の物品が存在する環境内を移動可能な移動体である。移動体２００は、図１に示されるような、カゴを備えたワゴンであってもよいし、物品を載置するための載置台を備えた台車のようなものであってもよい。ユーザは、移動体２００を手で押す又は引くなどして、移動体２００を環境内で移動させることができる。

【0019】

操作端末２１０は、環境内においてユーザが使用する通信端末である。操作端末２１０は、例えば、タブレット端末、スマートフォン、及びラップトップコンピュータなどを含み得る。操作端末２１０は、物品回収ロボット１００と有線又は無線により接続され、物品回収ロボット１００と相互にデータの送受信を行う。操作端末２１０は、例えば、Ｗｉ-Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの通信方式を用いて物品回収ロボット１００と接続されてよい。

【0020】

操作端末２１０は、外部から受信した表示情報を表示する表示装置である表示部２２０を備えている。表示部２２０は、操作端末２１０を介して、カメラ２３０又は物品回収ロボット１００などから受信した表示情報を表示する。表示情報には、カメラ２３０が撮像した回収対象物の画像データが含まれる。表示部２２０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどを含み得る。表示部２２０は、ユーザが指などで触れることで操作端末２１０の操作を行うことが可能な操作部を備えたタッチパネルであってもよい。

【0021】

表示部２２０は、環境内をカメラ２３０と共に移動可能であるとよい。このようにすることで、カメラ２３０の撮像範囲をユーザが表示部２２０で確認しながら移動体２００を移動させることができる。表示部２２０は、移動体２００に固定されていなくともよい。表示部２２０は、例えば、ユーザが所有するスマートフォンなどの表示画面であってもよい。表示部２２０は、ユーザに装着可能なウェアラブル端末などの表示画面であってもよい。

【0022】

ユーザは、操作端末２１０を用いて、物品回収ロボット１００に対して物品回収処理の開始又は終了などの指示を行うことができる。ユーザの指示は、操作端末２１０の表示部２２０に表示された操作画面を介し、文字入力やボタンの押下により行われてよい。操作端末２１０は、ユーザの音声入力を受け付けて、これらの指示を行ってもよい。

【0023】

図３は、表示部２２０に表示される操作画面の一例を示す図である。図３に示すように、表示部２２０には、カメラ２３０が撮像した回収対象物の画像データが表示される。操作端末２１０は、表示された画像データに含まれる回収対象物を、画像認識を用いて認識する。回収対象物は、例えば、操作端末２１０の記憶部（不図示）に記憶された、回収対象物を認識するための回収対象物認識用画像データを参照することで認識されてよい。回収対象物認識用画像データは、例えば、環境内で認識される可能性のある物品の形状、大きさ、又は色などを含む外観情報と、物品を識別する識別情報とを対応付けて記憶されているものであってよい。
操作端末２１０は、認識した回収対象物の位置情報を取得する。回収対象物の位置情報は、移動体２００に対する回収対象物の相対位置を示す情報であってよい。

【0024】

操作端末２１０は、図３に示されるような、物品回収処理を開始させるための「開始」ボタンを回収対象物の画像データと共に表示する。ユーザがボタンを押下すると、操作端末２１０は、物品回収ロボット１００に物品回収処理を開始させる。操作端末２１０は、処理開始の指示と共に、移動体２００に対する回収対象物の位置情報を物品回収ロボット１００に送信する。操作端末２１０は、回収対象物の形状、大きさ、又は色などを含む回収対象物の外観情報を、これらと共に送信してもよい。

【0025】

上記に限らず、操作端末２１０は、表示された画像データの中から回収を行う物品の選択をユーザから受け付けて、選択された物品のみを回収するよう物品回収ロボット１００に指示してもよい。このようにすることで、ユーザが意図しない物品の回収を避けることができる。

【0026】

また、操作端末２１０は、カメラ２３０の撮像範囲に回収対象物が含まれたことを検出した場合に、ユーザの指示を待つことなく、物品回収ロボット１００に物品回収処理を開始する指示をしてもよい。

【0027】

図２に戻り説明を続ける。カメラ２３０は、複数の回収対象物を撮像して画像データを取得する。カメラ２３０は、移動体２００に固定され、移動体２００から所定の方向に向けて撮像を行う。所定の方向は、回収対象物を撮像範囲に含むことが可能であればどのような方向でもよい。所定の方向は、例えば、部屋の床面、家具の上などを含み得る。物品回収ロボット１００のアームが到達する高さまでの領域を含む方向であってもよい。カメラ２３０は、例えば、２次元カメラである。カメラ２３０は、画像データを取得して操作端末２１０に出力する。カメラ２３０は、３次元カメラなどであってもよい。

【0028】

カメラ２３０は、例えば、移動体２００の進行方向の前方側に固定される。ユーザが移動体２００を移動させることで、カメラ２３０は、任意の方向に向けて撮像することができる。したがって、ユーザは、カメラ２３０の撮像範囲内に含めたい回収対象物の近傍まで移動体２００を移動させることで、回収対象物をカメラ２３０に撮像させることができる。このように、移動体２００にカメラ２３０を搭載することで、天井などに固定カメラを設ける場合と異なり、回収対象物をカメラ２３０に認識させやすくすることができる。

【0029】

物品収容部２４０は、複数の物品を収容可能な回収容器である。物品収容部２４０は、物品回収ロボット１００が回収した物品を収容する。物品収容部２４０は、例えば、上方が開放された箱型の容器である。これに限らず、物品収容部２４０は、上方が開放された袋状の容器であってもよい。また、物品収容部２４０は、物品を載置することが可能な載置台などであってもよい。物品収容部２４０は、移動体２００に１つ設けられてもよいし、複数設けられてもよい。物品回収ロボット１００は移動体２００の位置に応じて移動するため、移動体２００に物品収容部２４０を設けることで、物品回収ロボット１００が回収した物品を速やかに収容することができる。したがって、物品回収処理全体の所要時間を短縮することができる。
なお、上記に限らず、物品収容部２４０は、部屋の中に配置された回収箱などの容器であってもよい。また、容器の形状に限らず、所定のスペースを物品収容部２４０としてもよい。

【0030】

移動部２５０は、移動体２００を環境内で移動させるための移動装置である。移動部２５０は、例えば、移動体２００の底面に設けられた複数の車輪を含み得る。移動部２５０は、ユーザが移動体２００を押した場合に、複数の車輪を回転させることで、ユーザの所望の方向へ移動体２００を移動させる。

【0031】

続いて、物品回収ロボット１００の構成について説明する。物品回収ロボット１００は、環境内を自律移動して回収対象物を回収するロボットである。図２に示されるように、物品回収ロボット１００は、センサ１２０、回収部１３０、移動部１４０、及び制御装置１１０を備えている。
図４は、物品回収ロボット１００の外観の一例を示す図である。

【0032】

センサ１２０は、環境内を所定の方向から撮像し、撮像された物体に関する情報を取得し、取得結果を制御装置１１０に出力する。センサ１２０は、例えば、２次元カメラ又は３次元カメラを含み得る。センサ１２０は、例えば、カメラ（ＲＧＢ－Ｄカメラ、ステレオカメラ）、レーザレンジファインダ、超音波センサ、３次元距離センサなどを含み得る。図４に示されるように、センサ１２０は、物品回収ロボット１００の頭部などに設けられるが、これに限られない。センサ１２０は、物品回収ロボット１００に複数設けられてもよい。所定の方向は、例えば、センサ１２０が設けられた物品回収ロボット１００の頭部が向く方向であるが、これに限られない。

【0033】

センサ１２０は、撮像された画像に対する画像認識などを介して、移動体２００の位置情報を取得する。移動体２００の位置情報は、物品回収ロボット１００に対する移動体２００の相対位置を示す情報であってよい。移動体２００の位置情報は、物品回収ロボット１００に対する移動体２００の方向及び距離の情報を含み得る。センサ１２０は、取得された移動体２００の位置情報をカメラ位置取得部１５０に出力する。

【0034】

また、センサ１２０は、移動体２００の姿勢を示す姿勢情報を取得する。移動体２００の姿勢情報は、移動体２００がどのような姿勢でいるか、どの方向を向いているかを示す情報を含み得る。センサ１２０は、取得された移動体２００の姿勢情報をカメラ位置取得部１５０に出力する。

【0035】

上記と同様にして、センサ１２０は、床面などを撮像し、画像認識などを介して、回収対象物の位置情報及び姿勢情報を取得してもよい。センサ１２０は、取得された回収対象物の位置情報及び姿勢情報を物品位置特定部１７０に出力することができる。

【0036】

図２に戻り説明を続ける。回収部１３０は、環境内において回収対象物を回収する。回収部１３０は、例えば、図４に示されるように、物品回収ロボット１００の本体１０１に支持されたアーム１３２と、アーム１３２の先端に設けられたハンド１３１と、を備えている。アーム１３２は、例えば、多関節型アームとして構成されている。アーム１３２は、本体１０１の前面に設けられているが、これに限らず、本体１０１の側面などに設けられてもよい。アーム１３２は、回収動作制御部１８０からの制御信号に従い、モータなどを備えた駆動機構（不図示）が動作することにより、アーム１３２の位置姿勢を変化させる。アーム１３２は、伸縮することで長さが変更されるよう構成されていてもよい。

【0037】

ハンド１３１は、回収動作制御部１８０からの制御信号に従って回収対象物を把持する。ハンド１３１は、モータなどを備えた駆動機構（不図示）が動作することにより、ハンド１３１の位置姿勢を変化させる。ハンド１３１は、例えば、図４に示されるように、人間の２本の指のような一対の把持部材を備えた２本指ハンドであってもよいし、３本指ハンド、又はより多くの指を備えた多指ハンドであってもよい。これに限らず、ハンド１３１は、回収対象物を吸着させるものでもよい。回収対象物が金属等の場合、マグネットを用いたものであってもよい。これらに限らず、ハンド１３１には、回収対象物を環境から回収することができる種々のハンドエフェクタが用いられてよい。

【0038】

図２に戻り説明を続ける。移動部１４０は、物品回収ロボット１００を環境内において移動させる移動装置である。移動部１４０は、特定された回収対象物の位置に物品回収ロボット１００を移動させる。また、移動部１４０は、回収部１３０が物品を把持した状態を維持したまま物品回収ロボット１００を移動させる。

【0039】

移動部１４０は、例えば、一対の対向する２つの駆動車輪と、一対の左右方向に回動可能な２つの従動車輪と、が設けられており、制御信号に従い全方向へ移動可能な構成となっている。移動部１４０は、各駆動車輪を回転駆動することで、物品回収ロボット１００の前後進、左右旋回、加減速、停止などの任意の走行を行うことができる。移動部１４０は、例えば、モータなどにより構成された駆動機構（不図示）が回収動作制御部１８０からの制御信号に基づいて動作することで物品回収ロボット１００の移動を実現する。

【0040】

制御装置１１０は、物品回収ロボット１００の動作を制御する。制御装置１１０は、ユーザからの指示を受け付けて、指示に基づいて回収を開始する。制御装置１１０は、例えば、本体１０１に内蔵されているが、これに限らず、他の部分に設けられてもよい。制御装置１１０は、例えば、制御処理、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される制御プログラム、演算プログラム、処理データ等を記憶するＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などにより構成される記憶部等からなるマイクロコンピュータを中心にして、ハードウエア構成されている。図２に示されるように、制御装置１１０は、カメラ位置取得部１５０、物品位置特定部１７０及び回収動作制御部１８０を備えている。

【0041】

カメラ位置取得部１５０は、カメラ２３０を検出して、カメラ２３０の位置情報を取得する。本実施形態では、カメラ位置取得部１５０は、移動体２００を検出し、移動体２００の位置情報を取得することで、移動体２００に固定されたカメラ２３０の位置情報を取得する。これに限らず、カメラ位置取得部１５０は、カメラ２３０を直接検出してカメラ２３０の位置情報を取得してもよい。

【0042】

物品回収処理を行うにあたり、制御装置１１０は、移動体２００を認識するための移動体認識用画像データを予め記憶部（不図示）に登録する。移動体認識用画像データは、例えば移動体２００の外観を撮像して取得した画像データである。移動体認識用画像データは、移動体２００の複数の方向から撮像された画像データが含まれてよい。移動体認識用画像データは、移動体２００の形状、大きさ、又は色などの情報が含まれてよい。このように、移動体認識用画像データを登録することで、物品回収ロボット１００は、異なる環境においても移動体２００を検出することができる。したがって、例えば複数の部屋で物品回収処理を行う場合でも、部屋ごとに設定変更を行う必要がない。
移動体認識用画像データは、センサ１２０などを用いて移動体２００を撮像することにより制御装置１１０に登録されてもよいし、ユーザが任意のカメラを用いて取得した画像データが操作端末２１０を介して登録されてもよい。

【0043】

なお、ここでは移動体２００を認識させるために移動体２００の外観画像を移動体認識用画像データとして登録するが、これに限られない。カメラ２３０の外観情報を含む画像データを、カメラ２３０を認識させるためのカメラ認識用画像データとして制御装置１１０に登録してもよい。このようにすることで、カメラ２３０を別の移動体２００に搭載しても再度の設定を行う必要がない。

【0044】

物品回収処理の開始後、カメラ位置取得部１５０は、センサ１２０が取得した環境内の画像データを取得する。カメラ位置取得部１５０は、移動体認識用画像データを参照し、取得した画像データから移動体２００を認識する。カメラ位置取得部１５０は、認識した移動体２００の位置情報及び姿勢情報をセンサ１２０から取得する。移動体２００の位置情報は、物品回収ロボット１００に対する相対位置であってよい。カメラ２３０と移動体２００とは一体となって移動するため、カメラ位置取得部１５０は、移動体２００の位置情報及び姿勢情報に基づいて、カメラ２３０の位置情報及び姿勢情報を取得することができる。カメラ位置取得部１５０は、取得されたカメラ２３０の位置情報及び姿勢情報を、物品位置特定部１７０に出力する。

【0045】

物品位置特定部１７０は、カメラ２３０の位置情報及び姿勢情報をカメラ位置取得部１５０から取得する。物品位置特定部１７０は、取得されたカメラ２３０の位置情報及びカメラ２３０の姿勢情報に基づいて、回収対象物の位置を特定する。物品位置特定部１７０は、これらの情報から、物品回収ロボット１００に対するカメラ２３０の位置と、カメラ２３０が撮像する撮像範囲とを把握することで、表示部２２０に表示された回収対象物の位置を特定することができる。
物品位置特定部１７０は、操作端末２１０から送信された、移動体２００に対する回収対象物の位置情報に基づいて、回収対象物の位置をより詳細に特定してもよい。このようにすることで、物品回収ロボット１００は、より精度よく移動を行うことができる。

【0046】

また、物品位置特定部１７０は、操作端末２１０から送信された回収対象物の外観情報を用いて、回収対象物の位置をより詳細に特定してもよい。例えば、物品回収ロボット１００が、移動後の位置においてセンサ１２０を用いて床面を撮像し、床面の画像データを取得する。物品位置特定部１７０は、床面の画像データから回収対象物を認識し、物品回収ロボット１００に対するそれぞれの回収対象物の位置情報を取得する。物品位置特定部１７０は、ここで取得された回収対象物の位置情報と、操作端末２１０から送信された回収対象物の位置情報とを、各回収対象物の外観情報などを介して比較し、差異がある場合には、回収対象物の位置情報を補正してもよい。このようにすることで、ユーザが選択した回収対象物を誤りなく特定し、回収することができる。

【0047】

なお、物品位置特定部１７０は、例えば、カメラ２３０の位置情報のみを用いて、回収対象物のおおよその位置を特定してもよい。物品位置特定部１７０は、物品回収ロボット１００がおおよその位置に移動した後、センサ１２０を用いて、より正確な回収対象物の位置を特定してもよい。
物品位置特定部１７０は、特定した回収対象物の位置情報を回収動作制御部１８０に出力する。

【0048】

回収動作制御部１８０は、回収部１３０及び移動部１４０の動作を制御する。回収動作制御部１８０は、回収対象物の位置情報を物品位置特定部１７０から取得する。回収動作制御部１８０は、取得された回収対象物の位置情報に基づいて物品回収ロボット１００を移動させるよう、移動部１４０に制御信号を出力する。また、回収動作制御部１８０は、移動後の位置において、回収対象物を回収するよう、回収部１３０に制御信号を出力する。

【0049】

続いて、図５及び図６に示すフローチャートを用いて、本実施形態にかかる物品回収処理の説明を行う。
図５は、ユーザが行う動作を示すフローチャートである。まず、ユーザは、移動体２００（図１及び図２を参照）を所望の位置に移動させる（Ｓ１０１）。ユーザは、カメラ２３０を用いて回収対象物を含む床面などを撮像し、表示部２２０に表示された画像データを確認する（Ｓ１０２）。ユーザは、表示された物品の中から、物品回収ロボット１００に回収させる物品を選択するか否かを選択する（Ｓ１０３）。物品を選択する場合（Ｓ１０３のＹＥＳ）、ユーザは回収させる物品を選択する（Ｓ１０４）。物品の選択を行わない場合（Ｓ１０３のＮＯ）、ユーザは、物品回収ロボット１００に対し回収指示を行う（Ｓ１０５）。

【0050】

図６は、物品回収ロボット１００が行う処理を示すフローチャートである。物品回収ロボット１００は、ユーザからの指示を受けて、物品回収処理を開始する。物品回収ロボット１００は、センサ１２０を用いて移動体２００の位置情報及び姿勢情報を取得する（Ｓ２０１）。物品回収ロボット１００は、移動体２００の位置情報及び姿勢情報を用いて、カメラ２３０の位置情報及び姿勢情報を取得する。物品回収ロボット１００は、カメラ２３０の位置情報及び姿勢情報に基づいて、回収対象物の位置を特定する（Ｓ２０２）。物品回収ロボット１００は、回収対象物の位置と共に回収対象物の形状などを特定してもよい。物品回収ロボット１００は、特定された回収対象物の位置に基づいて移動して回収対象物を回収し、収容部に収容する（Ｓ２０３）。物品回収ロボット１００は、回収対象物の回収が終了したか否かを判定する（Ｓ２０４）。回収が終了していない場合（Ｓ２０４のＮＯ）、ステップＳ２０３の処理を繰り返す。回収が終了した場合（Ｓ２０４のＹＥＳ）、処理を終了する。

【0051】

以上説明したように、本実施形態にかかる物品回収システム１０００では、移動体２００に設けられたカメラ２３０を用いて環境内の回収対象物を撮像し、取得された画像データを表示部２２０に表示する。物品回収ロボット１００は、センサ１２０を用いて移動体２００との位置関係を特定し、カメラ２３０の位置を特定することができるので、回収対象物の位置を特定することができる。物品回収ロボット１００は、特定された位置に移動して回収対象物の回収を行うことができる。

【0052】

ユーザは、移動体２００と共にカメラ２３０を所望の場所へ移動させることができるので、物品回収ロボット１００に回収させたい物品を任意の場所で撮像させることができる。そのため、カメラ２３０から死角を発生させることなく、漏れなく回収対象物を回収することができる。このようにすることで、複数の固定カメラを設けることなく、１台のカメラで環境内の物品回収を行うことができる。また、カメラ２３０は、回収対象物の近くに移動できるので、天井の固定カメラなどと比較すると、低い解像度のものであってもよい。そのため、コストを抑えることができる。

【0053】

また、ユーザは、回収を望まない物品がある場合には、そのような物品を避けて撮像を行うことができる。また、仮に回収を望まない物品が撮像範囲に含まれた場合であっても、物品ごとに回収するか否かを選択できるので、誤って物品が回収されるおそれがない。また、天井のカメラの場合と比較すると撮像範囲に含まれる物品が少ないため、ユーザは、容易に物品の選択を行うことができる。

【0054】

そして、上述した物品回収処理において、物品回収ロボット１００と移動体２００とは、比較的近い距離に位置しているので、複数の回収対象物を回収するための移動距離を短縮することができる。このようにすることで、物品回収処理全体にかかる時間を短縮することができる。また、ユーザは、移動体２００を異なる環境に移動させることができるので、固定カメラの場合と異なり、追加のコストを生じさせることなく、複数の部屋で物品回収処理をロボットに行わせることができる。このように、本実施形態にかかる物品回収システム１０００によれば、物品の回収を効率的に行うことができる。

【0055】

＜ハードウエアの構成例＞
物品回収ロボット１００及び操作端末２１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、物品回収ロボット１００等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0056】

図７は、物品回収ロボット１００等を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、物品回収ロボット１００等を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。

【0057】

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、物品回収ロボット１００等の各機能が実現される。上記アプリケーションは、物品回収ロボット１００等の機能構成部を実現するためのプログラムで構成される。

【0058】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0059】

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0060】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0061】

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

【0062】

ストレージデバイス５０８は、物品回収ロボット１００等の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、物品回収ロボット１００等の各機能構成部を実現する。

【0063】

プロセッサの各々は、アルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0064】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上述の説明では、物品回収ロボット１００と移動体２００との位置関係を、物品回収ロボット１００において特定したが、これに限らず、移動体２００の操作端末２１０において特定してもよい。例えば、カメラ２３０が物品回収ロボット１００を撮像し、画像認識を用いて物品回収ロボット１００を認識することで、移動体２００に対する物品回収ロボット１００の相対位置を求めてもよい。

【0065】

また、上述の説明では、ユーザがワゴンなどの移動体２００を手で押すなどして移動させる方法を用いて説明を行ったが、これに限られない。移動体２００は、自律移動可能なロボットであってもよい。また、物品回収ロボット１００及び移動体２００は、それぞれ複数用いられてもよい。このようにすることで、ユーザの負担をより軽減することができる。

【符号の説明】

【0066】

１００ 物品回収ロボット
１０１ 本体
１１０ 制御装置
１２０ センサ
１３０ 回収部
１３１ ハンド
１３２ アーム
１４０ 移動部
１５０ カメラ位置取得部
１７０ 物品位置特定部
１８０ 回収動作制御部
２００ 移動体
２１０ 操作端末
２２０ 表示部
２３０ カメラ
２４０ 物品収容部
２５０ 移動部
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
１０００ 物品回収システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】