知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063940
(43)【公開日】2024-05-14
(54)【発明の名称】制御装置、制御方法、およびプログラム
(51)【国際特許分類】
B25J 13/08 20060101AFI20240507BHJP
【ＦＩ】
B25J13/08 Z
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022172141
(22)【出願日】2022-10-27
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】森 洋子
(72)【発明者】
【氏名】丸山 力
(72)【発明者】
【氏名】夏川 忠士
(72)【発明者】
【氏名】小川 雅嗣
(72)【発明者】
【氏名】一圓 真澄
(72)【発明者】
【氏名】渡辺 照正
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS01
3C707BS12
3C707DS01
3C707JS03
3C707KS08
3C707KS09
3C707KS30
3C707KT01
3C707LV15
3C707NS19
(57)【要約】
【課題】 まとめられた物品に関する情報がない場合に、ロボットアームを用いた、まとめられた物品に対する適切な取り扱いを行うことを可能にする技術を提供する。
【解決手段】 制御装置は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する取得手段と、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる制御手段と、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、を備える。
【選択図】 図１
【解決手段】 制御装置は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する取得手段と、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる制御手段と、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、を備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得する取得手段と、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させる制御手段と、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、
を備える制御装置。
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させる制御手段と、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、
を備える制御装置。
【請求項2】
前記決定手段は、前記センサデータに基づくまとめられた物品の数および前記作業情報に含まれる、前記作業の対象である物品の個数に応じて、前記ロボットアームに動作を実行させることを対応方法として決定する 請求項１に記載の制御装置。
【請求項3】
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数以下である場合、対応方法として、当該複数の物品を取り出す動作を前記ロボットアームに実行させることを決定する
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項4】
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数より大きい場合、前記センサデータに基づくまとめられた複数の物品の包装状態に応じて、対応方法として、前記所定単位の物品を取り出す動作を変更して前記ロボットアームに実行させることを決定する
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項5】
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数より大きい場合、前記センサデータに基づくまとめられた複数の物品の包装状態に応じて、対応方法として、当該物品をまとめている包装を外す動作および当該物品を取り出す動作を前記ロボットアームに実行させることを決定する
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項6】
前記決定手段は、複数の物品がまとめられている可能性があることを管理者に通知することを対応方法として決定する
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項7】
前記制御手段は、前記管理者から取得した、まとめられている物品に対して実行する動作をロボットアームに実行させる
請求項６に記載の制御装置。
請求項６に記載の制御装置。
【請求項8】
複数の物品がまとめられている可能性があると判定された場合、まとめられていると判定された物品に関する情報を、前記作業情報に関連付けて作業情報データベースに登録する登録手段
をさらに備える、請求項１に記載の制御装置。
をさらに備える、請求項１に記載の制御装置。
【請求項9】
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得し、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
制御方法。
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
制御方法。
【請求項10】
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得し、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
処理をコンピュータに実行させるプログラム。
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットアームを制御する技術等に関する。
【背景技術】
【0002】
様々な種類のロボットアームが、多くの用途で用いられている。一例として、物品の移動や運搬など、ロボットアームによって、物品を扱う技術がある。
【0003】
例えば、特許文献１には、物品がシート状の覆いものでまとめられているか否かを判定し、物品がまとめられている場合には、適切な把持位置を決定することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１０９２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
物品がまとめられていることは、事前に情報として持っていないことがある。また、まとめられている物品に対する作業は、複雑であることがある。
【0006】
本開示の目的の一例は、まとめられた物品に関する情報がない場合に、ロボットアームを用いた、まとめられた物品に対する適切な取り扱いを行うことを可能にする技術を提供することにある。
【課題を解決するための手段】
【0007】
本開示の一態様における制御装置は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する取得手段と、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる制御手段と、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、を備える。
【0008】
本開示の一態様における制御方法は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得し、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させ、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する。
【0009】
本開示の一態様におけるプログラムは、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得し、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させ、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する処理を、コンピュータに実行させる。
【発明の効果】
【0010】
本開示による効果の一例は、まとめられた物品に関する情報がない場合に、ロボットアームを用いた、まとめられた物品に対する適切な取り扱いを行うことを可能にすることができることである。
【図面の簡単な説明】
【0011】
【図1】制御装置が制御するロボットアームによる作業の一例を示す図である。
【図2】制御装置を含む制御システムの構成を示す図である。
【図3】制御装置の機能構成を示すブロック図である。
【図4】本開示における制御装置をコンピュータ装置とその周辺装置で実現したハードウェア構成を示す図である。
【図5】作業の情報の一例を示す図である。
【図6】物品の情報の一例を示す図である。
【図7】物品の包装状態の一例を示す図である。
【図8】物品の包装状態の一例を示す図である。
【図9】物品の包装状態の一例を示す図である。
【図10】物品の包装状態の一例を示す図である。
【図11】通知画面の一例である。
【図12】通知画面の一例である。
【図13】制御装置の動作を示すフローチャートである。
【図14】制御装置の処理の一例を示すフローチャートである。
【図15】制御装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0012】
本開示の実施形態について図面を参照して詳細に説明する。
【0013】
［実施形態］
本開示は、物品を扱うロボットアームの制御に関連する。本開示にかかる制御装置は、物品を扱うロボットアームを制御する。本開示の実施形態において、物品は、ロボットアームによる取り扱いが可能であれば、特に限定されない。物品は、例えば、流通のためにある単位で包装された物品である。より詳細な例として、物品は、ある単位で包装された薬品である。ロボットアームによって物品を扱う作業には、一般に、物品を持ち上げる動作が含まれる。ロボットアームによって物品を扱う作業の一例は、物品をある容器から別の容器に移動する作業である。以下の説明において、この作業を、容器変換と呼ぶ。ロボットアームによって物品を扱う作業は、この例に限られず、例えば、様々な場所に置かれた物品のうちから指定された物品を集めるピッキングであってもよい。
本開示は、物品を扱うロボットアームの制御に関連する。本開示にかかる制御装置は、物品を扱うロボットアームを制御する。本開示の実施形態において、物品は、ロボットアームによる取り扱いが可能であれば、特に限定されない。物品は、例えば、流通のためにある単位で包装された物品である。より詳細な例として、物品は、ある単位で包装された薬品である。ロボットアームによって物品を扱う作業には、一般に、物品を持ち上げる動作が含まれる。ロボットアームによって物品を扱う作業の一例は、物品をある容器から別の容器に移動する作業である。以下の説明において、この作業を、容器変換と呼ぶ。ロボットアームによって物品を扱う作業は、この例に限られず、例えば、様々な場所に置かれた物品のうちから指定された物品を集めるピッキングであってもよい。
【0014】
図１を参照しながら、ロボットアームが行う動作を含む一連の作業の例について説明する。図１は、ロボットアームが行う動作を含む一連の作業の例を示す模式図である。コンベア１に流された物品が詰められた段ボール箱および空のトレイが、ロボットアームＲ１が作業を行う作業机に移動される。ロボットアームＲ１が扱う物品は、カメラが撮影した画像を用いた画像認識や、バーコードリーダによって特定される。ロボットアームＲ１は、あらかじめ設定された、特定された物品に対する作業を行う。図１では、ロボットアームＲ１は、段ボール箱からトレイに物品を移動する。段ボール箱からトレイに物品が移動されると、段ボール箱とトレイは、コンベア２に流される。これらの一連の作業が、様々な物品に対して繰り返される。本開示にかかる制御装置が制御するロボットアームの作業の例は、図１の容器変換の例に限られず、本開示にかかる制御装置は、物品のピッキングなど、物品を移動する作業を行うロボットアームの制御に適用されてよい。
【0015】
実施形態において、図１の例のように物品を扱う例について詳細に説明する。
【0016】
図２は、ロボットアームＲ１、および、ロボットアームＲ１の制御に用いられるサーバ３００を含む制御システムの構成を示す図である。
【0017】
図２において、ロボットアームＲ１は、上述のような物品を扱う作業を行うことができる。ロボットアームＲ１は、例えば、物品を持ち上げる動作、物品を移動する動作、物品を離す動作を行う。ロボットアームＲ１は、これらの動作が可能であれば種類や具体的な構造は特に限定されないが、例えば、物品を持つ機能を先端に備える六軸ロボットアームである。物品を持つ機能は、例えば、物品の吸着や、物品の把持など、公知の方法により実現されればよい。ロボットアームＲ１は、物品を持つ機能として、吸着ハンドおよび把持ハンドを両方備えてもよい。また、ロボットアームＲ１は、物品を持つ機能として、吸着ハンドおよび把持ハンドを付け替えられてもよい。また、ロボットアームＲ１は、台に固定されていてもよいし、自走式のロボットに備えられてもよい。なお、制御装置１００が制御するロボットアームは、一つまたは複数であってよい。
【0018】
サーバ３００は、データベース４００（以下、ＤＢとも記載する）から、ロボットアームＲ１が行う作業情報を読み出して、制御装置１００に送信する。作業情報については後述する。データベース４００は、複数備えられてもよい。
【0019】
制御装置１００は、ロボットアームＲ１を制御する。制御装置１００は、一例として、上述したロボットアームＲ１に組み込まれ、ロボットアームＲ１の動作を制御する。制御装置１００は、例えば、後述するコンピュータにより実現される。また、制御装置１００は、サーバ３００およびデータベース４００から得られる、物品を扱う作業に関する情報、および、図示しない各種センサから得られる各種センサデータを用いて、ロボットアームの動作を制御する。図示しない各センサは、ロボットアームＲ１に含まれるものであってもよいし、ロボットアームＲ１の外に設けられて制御装置１００に通信可能に接続されるものであってもよい。
【0020】
次に、制御装置１００の機能構成について、図３を参照して説明する。
【0021】
図３は、実施形態における制御装置１００の機能構成を示すブロック図である。図１を参照すると、制御装置１００は、取得部１０１と、制御部１０２と、判定部１０３と、決定部１０４と、を備える。取得部１０１は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する。制御部１０２は、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる。判定部１０３は、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する。決定部１０４は、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する。
【0022】
制御装置１００の各構成要素の一部又は全部は、例えば図４に示すような情報処理装置１０００とプログラムとの任意の組み合わせにより実現される。情報処理装置１０００は、一例として、以下のような構成を含む。
【0023】
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３
・ＲＡＭ１００３にロードされるプログラム１００４
・プログラム１００４を格納する記憶装置１００５
・記録媒体１００６の読み書きを行うドライブ装置１００７
・通信ネットワーク１００９と接続する通信Ｉ／Ｆ１００８
・データの入出力を行う入出力Ｉ／Ｆ１０１０
・各構成要素を接続するバス１０１１
なお、Ｉ／Ｆは、Ｉｎｔｅｒｆａｃｅの略である。制御装置１００は、通信Ｉ／Ｆ１００８および通信ネットワーク１００９を介して、サーバ３００およびデータベース４００と接続される。さらに、上述した各種センサは、入出力Ｉ／Ｆ１０１０を介して、制御装置１００に接続される。センサは、例えば、カメラ、重量センサ、バーコードリーダである。センサは、ロボットアームＲ１を介して制御装置１００と通信可能に接続されてもよい。制御装置１００は、サーバ３００およびデータベース４００から得られる、物品を扱う作業に関する情報、および入出力Ｉ／Ｆ１０１０を介して入力された各種センサデータを用いて、ロボットアームの動作を制御する。
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３
・ＲＡＭ１００３にロードされるプログラム１００４
・プログラム１００４を格納する記憶装置１００５
・記録媒体１００６の読み書きを行うドライブ装置１００７
・通信ネットワーク１００９と接続する通信Ｉ／Ｆ１００８
・データの入出力を行う入出力Ｉ／Ｆ１０１０
・各構成要素を接続するバス１０１１
なお、Ｉ／Ｆは、Ｉｎｔｅｒｆａｃｅの略である。制御装置１００は、通信Ｉ／Ｆ１００８および通信ネットワーク１００９を介して、サーバ３００およびデータベース４００と接続される。さらに、上述した各種センサは、入出力Ｉ／Ｆ１０１０を介して、制御装置１００に接続される。センサは、例えば、カメラ、重量センサ、バーコードリーダである。センサは、ロボットアームＲ１を介して制御装置１００と通信可能に接続されてもよい。制御装置１００は、サーバ３００およびデータベース４００から得られる、物品を扱う作業に関する情報、および入出力Ｉ／Ｆ１０１０を介して入力された各種センサデータを用いて、ロボットアームの動作を制御する。
【0024】
各実施形態における各装置又はシステムの各構成要素は、これらの機能を実現するプログラムをＣＰＵ１００１が取得して実行することにより実現される。各装置の各構成要素の機能を実現するプログラムは、例えば、あらかじめ記憶装置１００５やＲＡＭ１００３に格納されており、必要に応じてＣＰＵ１００１が読み出す。なお、プログラム１００４は、通信ネットワークを介してＣＰＵ１００１に供給されてもよいし、あらかじめ記録媒体１００６に格納されており、ドライブ装置１００７が当該プログラムを読み出してＣＰＵ１００１に供給してもよい。なお、情報処理装置１０００の具体的な実現例は様々であり、特に限定されない。
【0025】
再び図３を参照し、制御装置１００の機能構成について説明する。
【0026】
取得部１０１は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する取得手段の一例である。取得部１０１は、制御装置１００と通信可能に接続されたサーバを介して、データベースから作業情報を取得する。取得部１０１は、例えば、制御装置１００の起動時に作業情報をサーバから取得する。また、例えば、取得部１０１は、作業情報に含まれる作業を完了した場合に、サーバから次の作業に関する作業情報を取得してもよい。
【0027】
ここで、作業情報について説明する。
【0028】
作業情報のうち、作業の情報は、例えば、作業内容を示す情報、作業対象の物品を示す情報、作業対象の物品の個数を示す情報である。作業内容を示す情報は、作業において行う動作を示す情報である。より詳細な例として、作業内容を示す情報は、例えば、作業が容器変換であることを示す情報、容器変換における移動元の容器を示す情報、および容器変換における移動先の容器を示す情報である。移動元の容器を示す情報および移動先の容器を示す情報は、それぞれ、移動元の容器の位置を示す情報および移動先の容器の位置を示す情報であってもよい。作業対象の物品を示す情報は、作業対象の物品を識別する識別情報である。物品の識別情報は、例えば、物品ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。作業対象の物品の個数を示す情報は、ひとまとまりの作業において、作業対象となる物品の個数を示す情報である。
【0029】
図５は、作業の情報の一例である。図５の例では、作業内容として容器変換を想定している。図５において、作業の情報は、作業対象物品名、作業対象物品ＩＤ、作業対象の物品の個数、作業における物品の移動元、作業における物品の移動先を含む。なお、作業の情報は、この例に限られない。
【0030】
作業情報のうち、物品の情報は、作業において扱われる物品それぞれの特徴を示す情報である。物品の情報は、物品を扱うロボットアームの制御に利用される。物品の情報に含まれる情報のうち、物品を扱うロボットアームの制御に利用される情報としては、物品の大きさ、物品の重さなど、物品の取り扱いに関する物理的な情報などが含まれるが、これらには限られない。例えば、物品の情報は、物品が危険物か否かを示す情報や、物品の壊れやすさを示す情報を含んでもよい。さらに、物品の情報は、物品を識別するための識別情報を含んでもよい。
【0031】
【0032】
取得部１０１が取得する作業情報に含まれる、作業の情報および物品の情報は、図５、図６の例のように、別個のデータであってよい。この場合、サーバは、作業の情報に含まれる物品の識別情報を用いて、作業の対象となる物品の情報を抽出し、作業の情報および物品の情報を作業情報として制御装置１００に送信してよい。また、取得部１０１が取得する作業情報に含まれる、作業の情報および物品の情報は、統合された一つのデータであってよい。
【0033】
次に、制御部１０２は、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる制御手段の一例である。所定単位の物品とは、あらかじめ想定されている、ロボットアームが１回の動作で持ち上げる数の物品である。所定単位の物品は、例えば、１つの物品、または、２つの物品であるが、ロボットアームによる取り扱いが可能な範囲で適宜定められればよい。所定単位の物品は、例えば、物品ごと、ロボットアームごとに設定されてよい。制御部１０２は、作業情報に基づいて、作業の情報に示される作業を行うための、所定単位の物品を扱う動作をロボットアームに実行させる。
【0034】
このロボットアームの制御には、公知の方法が用いられてよい。例えば、制御部１０２は、センサデータおよび作業情報のうちの作業の情報に基づいて、物品を離す位置の設定などを行う。また、例えば、制御部１０２は、センサデータおよび作業情報のうちの物品の情報に基づいて、持ち上げる物品の吸着位置または把持位置、吸着または把持の強さ、動作速度などを設定する。制御部１０２は、ロボットアームを動作させる。そして、制御部１０２は、設定された設定値を用いて、ロボットアームを動作させる。
【0035】
所定単位の物品を扱う動作を実行する際、制御部１０２は、物品の情報に含まれる一つの物品の大きさや重さに基づいて、ロボットアームを制御する。通常、物品の情報には、物品がまとめられていることに関する情報は含まれない。このため、制御部１０２は、所定単位の物品を扱う動作を実行させるが、制御部１０２は、まとめられている物品に対して所定単位の物品を扱う動作を実行した場合、適切に取り扱えないことがある。
【0036】
判定部１０３は、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段の一例である。動作が行われている場合とは、作業対象の物品を特定した時から動作が完了するまでの間である。動作が完了することは、作業情報に基づいて所定単位の物品を持ち上げる動作を行ったが、何らかの原因により物品を持ち上げることができなかった場合を含む。センサデータは、例えば、持ち上げる物品の重さ、ロボットアームの作業範囲を撮影した画像である。なお、センサデータは、これらの例に限られない。
【0037】
ここで、複数の物品がまとめられていることについて説明する。
【0038】
複数の物品がまとめられていることは、物品がいくつかの単位で包装されていることである。物品は、例えば、流通のために、販売単位で包装された物品がさらにいくつかの単位で包装されていることがある。物品の包装状態には、様々な種類がある。物品の包装状態によって、ロボットアームが物品をまとめられたまま扱うことができるか否か、ロボットアームが物品を所定単位で扱うことができるか否かが変化する。しかし、上述したように、物品の情報には、物品がまとめられていることに関する情報が含まれないことがある。このような状況に対し、本開示は、物品がまとめられていることに関する情報がない場合における、物品に対する適切な取り扱いを決定する方法を開示するものである。
【0039】
なお、詳細は後述するが、ロボットアームが物品をまとめられたまま扱うことができるか否かは、作業情報に含まれる具体的な作業の内容によっても変化する。例えば、作業情報に含まれる具体的な作業の情報において、作業対象である物品の個数が２個であり、物品が６個単位でまとめられている場合、６個にまとめられた物品から何らかの方法で２個の物品を取り出す必要がある。すなわち、この場合には、６個でまとめられている物品をまとめられたまま扱うことはできない。
【0040】
本実施形態では、物品の包装状態について、物品をまとめる包装素材、および、物品をまとめる包装に覆われた包装面の２つの側面から説明する。
【0041】
まず、物品をまとめる包装素材は、例えば、プラスチック製のフィルム、紙などがある。プラスチック製のフィルムによる包装の一例は、フィルムを加熱によって収縮させて物品を覆う、シュリンク包装である。包装素材によって厚み、伸び、破れやすさが異なる。これにより、包装素材によって、包装の外しやすさが異なる。また、包装素材によって滑りやすさなどが異なることにより、吸着のしやすさや把持のしやすさが異なる。
【0042】
次に、物品をまとめる包装に覆われた包装面は、例えば、全面の場合と、全面が覆われていない場合と、がある。以下、図７～図１０に示される物品のまとめ方の例を示す図を用いて、物品の包装状態について説明する。なお、図７～図１０において、白い部分は包装素材によって覆われている部分であり、ハッチングがなされた部分は、包装素材によって覆われていない部分である。
【0043】
図７の例では、まとめられた物品の全面が包装素材によってまとめられている。このように、全面が包装素材によってまとめられた物品に対する取扱方法は、まとめられたまま持ち上げる方法、または、包装素材の一部または全部を取り外してから、所定単位で持ち上げる方法である。図７の例は、例えば、上述したシュリンク包装などである。
【0044】
【0045】
図８の例では、まとめられた物品の側面が包装素材によって覆われ、まとめられた物品の上部および下部が包装素材によって覆われていない。この場合、まとめられた物品に対する取扱方法は、上部から所定単位の物品を抜き取って持ち上げる方法、包装素材の一部または全部を取り外してから所定単位で持ち上げる方法、または、側面から挟んでまとめられたまま持ち上げる方法である。
【0046】
図９の例では、まとめられた物品の上部、下部、側面の一部が、各面よりも幅が小さい包装素材によって覆われ、まとめられた物品の側面の他の一部は、包装素材によって覆われていない。この場合、まとめられた物品に対する取扱方法は、側面から所定単位の物品を抜き取って持ち上げる方法、包装素材の一部または全部を取り外してから所定単位で持ち上げる方法、または、まとめられたまま持ち上げる方法である。側面から所定単位の物品を抜き取って持ち上げる方法について、図９の例では、まとめられた物品のうち外側にある物品に覆われていない側面がある。これにより、図９の例では、覆われていない側面から所定単位の物品を抜き取ることが可能である。図８および図９の例は、例えば、フィルムや比較的薄い紙などによって実現される。図８および図９の例における包装素材は、例えば、札束を束ねるバンド、札帯のようなものである。
【0047】
図１０の例では、まとめられた物品の上部、下部、側面の一部が、各面と同程度の幅の包装素材によって覆われ、まとめられた物品の側面の他の一部は、包装素材によって覆われていない。この場合、まとめられた物品に対する取扱方法は、包装素材の一部または全部を取り外してから所定単位で持ち上げる方法、または、まとめられたまま持ち上げる方法である。図９の例と比較すると、図１０の例では、まとめられた物品のうち外側にある物品の側面が一部覆われている。これにより、図１０の例では、包装素材によっては、覆われていない側面から所定単位の物品を抜き取ることができない。または、図１０の例では、包装素材によっては、覆われていない側面から所定単位の物品を抜き取ると、物品が凹んでしまうことがある。したがって、図１０の例において、まとめられた物品に対する取扱方法として、側面から所定単位の物品を抜き取って持ち上げる方法を採用することは難しい。図１０の例は、例えば、缶ビールを６缶などの単位でまとめる厚紙による包装である。
【0048】
さらに、物品の包装状態において、包装のきつさ、緩さが異なることがある。包装のきつさまたは緩さによって、包装の外しやすさ、側面が覆われていない場合の抜き取りやすさなどが異なる。なお、物品の包装状態は、これらの例に限られない。例えば、物品がまとめられる個数およびまとめられた物品の並べられ方は、図７～図１０の例に限られない。また、物品の形状も、図７～図１０の例に限られない。
【0049】
判定部１０３は、得られたセンサデータに基づいて、ここまで説明した物品の包装状態を検知する。例えば、判定部１０３は、動作を行う際に作業対象の物品を撮影した画像と、包装されていない一つの物品の画像と、を比較する。比較の結果、一つの物品の画像とは表面の状態が異なる部分を、物品が包装されている部分として検知してよい。なお、判定部１０３は、例えば、物品がまとめられている場合であっても、そのうちの所定単位の物品を扱うことができる場合など、状況によっては、物品の包装状態を必ずしも検知しなくてもよい。
【0050】
次に、判定部１０３による、判定の具体的な処理の一例について説明する。
【0051】
まず、判定部１０３は、所定単位の物品を持ち上げる動作が行われている場合のセンサデータを取得する。判定部１０３は、得られたセンサデータが、所定単位の物品を持ち上げた場合のセンサデータに適合するか判定する。判定部１０３は、得られたセンサデータが、所定単位の物品を持ち上げる動作が行われた場合のセンサデータに適合しなかった場合に、物品がまとめられている可能性があることを判定してもよい。また、例えば、判定部１０３は、得られたセンサデータが、所定単位である一つの物品を持ち上げる動作が行われた場合のセンサデータに適合せず、かつ、一つの物品を持ち上げた場合のセンサデータの２倍以上である場合に、物品がまとめられている可能性があることを判定してもよい。または、判定部１０３は、得られたセンサデータが、所定単位の物品を持ち上げる動作が行われた場合のセンサデータに適合せず、かつ、一つの物品を持ち上げた場合のセンサデータの整数倍の個数の物品を持ち上げた場合のセンサデータに適合する場合に、物品がまとめられている可能性があることを判定してもよい。これらは、物品がまとめられており、ロボットアームはまとめられたままの物品に対して持ち上げる動作を行ったと考えられるためである。整数倍の個数の物品を持ち上げた場合のセンサデータに適合する場合とは、誤差範囲内で適合する場合であってよい。なお、本実施形態において、整数倍は、１倍を含まない。
【0052】
判定部１０３の処理において、判定部１０３が、得られたセンサデータが、所定単位の物品を持ち上げた場合のセンサデータに適合するか否かを判定する方法の具体的な一例について説明する。判定部１０３は、例えば、ロボットアームに備えられる、力覚センサや重量センサから得られたセンサデータが、あらかじめ記憶された、所定単位の物品を持ち上げた場合のセンサデータに適合するか判定する。センサデータは、誤差範囲内で適合するか否かが判定されればよい。所定単位の物品を持ち上げた場合のセンサデータは、所定単位の物品を実際に持ち上げた場合の実測値でもよいし、物品の情報から推測される推測値であってもよい。推測値は、例えば、物品の情報のうち、物品の重さから推測される。所定単位の物品を持ち上げた場合のセンサデータは、制御装置１００の図示しない記憶部にあらかじめ記憶されてよい。または、所定単位の物品を持ち上げた場合のセンサデータは、作業情報に含まれる物品の情報に関連付けられてもよい。
【0053】
この判定により、判定部１０３は、ロボットアームが所定単位の物品を持ち上げたか否かを判定することができる。ロボットアームが所定単位の物品を持ち上げなかった場合とは、例えば、ロボットアームが物品を何も持ち上げられなかった場合、ロボットアームが持ち上げようとした物品を落下させることを含む物品を適切に持ち上げられなかった場合、および、ロボットアームが物品をまとめられたまま持ち上げたことにより所定単位より多い物品を持ち上げた場合である。
【0054】
なお、例えば、ロボットアームに備えられる、力覚センサや重量センサから得られたセンサデータが、ロボットアームが物品を持ち上げる動作を行っているにも関わらず、物品を持ち上げていない場合のセンサデータである場合、判定部１０３は、物品がまとめられていることを判定してもよい。これは、物品がまとめられている場合、想定していない重さや大きさになるため、所定単位の物品を持ち上げる動作では持ち上げられないことがあるからである。したがって、判定部１０３は、ロボットアームが物品を持ち上げていないことを判定した場合、持ち上げられなかった物品がまとめられている可能性があることを判定してもよい。
【0055】
判定部１０３の処理において、判定部１０３が、得られたセンサデータが、一つの物品の整数倍の個数の物品を持ち上げた場合のセンサデータに適合するか否かを判定する方法の具体的な一例について説明する。判定部１０３は、例えば、ロボットアームに備えられる力覚センサや重量センサ、ロボットアームまたはロボットアームの周辺に備えられるカメラ、超音波センサ、赤外線センサなどから得られたセンサデータが、あらかじめ記憶された、一つの物品を持ち上げた場合のセンサデータの整数倍に適合するか判定する。センサデータは、誤差範囲内で適合するか否かが判定されればよい。一つの物品を持ち上げた場合のセンサデータは、上述の所定単位の物品を持ち上げた場合のセンサデータと同様に、実測値または推測値であってよく、記憶部または物品の情報に含まれれば良い。推測値は、例えば、物品の情報のうち、物品の重さまたは物品の大きさから推測される。
【0056】
得られたセンサデータが、あらかじめ記憶された、一つの物品を持ち上げた場合のセンサデータの整数倍を持ち上げた場合のセンサデータに適合する場合、判定部１０３は、物品がまとめられている可能性があることを判定する。例えば、センサデータが、ロボットアームが物品を持ち上げた画像から検出された物品の大きさである場合、物品の大きさが、一つの物品の大きさの整数倍の値に適合する場合、判定部１０３は、物品がまとめられている可能性があることを判定する。
【0057】
なお、判定部１０３が、得られたセンサデータが、一つの物品の整数倍の個数の物品を持ち上げた場合のセンサデータに適合するか否を判定する場合、判定部１０３は、物品がまとめられている数を推定することもできる。センサデータに基づく物品がまとめられている数の推定は、決定部１０４によって行われてもよい。例えば、判定部１０３は、得られたセンサデータである、上部から撮影された持ち上げる前の物品の画像に含まれるまとめられた物品の大きさに基づいて、まとめられている物品の、得られたセンサデータから推定可能な最も少ない個数を推定してもよい。ここで、最も少ない個数を推定するのは、上部から撮影された画像では、物品の下向き（画像に対する奥行方向）の大きさを撮影できないため、下に何段重なっているか推定できないからである。
【0058】
判定部１０３が、得られたセンサデータが、所定単位の物品を持ち上げた場合のセンサデータに適合するか否かを判定する場合と比較して、判定部１０３が、得られたセンサデータが、一つの物品の整数倍の個数の物品を持ち上げた場合のセンサデータに適合するか否かをさらに判定する場合は、より確実にまとめられていることを判定することができる。なぜなら、物品を持ち上げられなかった場合には、物品がまとめられて重さや大きさが想定外であること以外に、その他の要因によって持ち上げられなかった場合が含まれるからである。すなわち、判定部１０３が、物品を持ち上げられなかったことによって物品がまとめられていることを判定する場合、判定部１０３は、物品の重さまたは物品の大きさ以外の、その他の要因によって物品を持ち上げられなかった場合にも、物品がまとめられている可能性があることを判定してしまう可能性があるからである。その他の要因とは、例えば、物品それぞれの表面が想定外の素材であること、物品を持ち上げようとする位置が誤っていたことなどである。例えば、物品それぞれの表面が想定外の素材である場合、吸着機構や把持機構が滑ってしまい、物品を持ち上げられないことがある。また、例えば、物品を持ち上げようとする位置が誤っていた場合、重心の位置によって物品を持ち上げられないことがある。
【0059】
再び図３を参照して、制御装置１００の機能構成について説明する。
【0060】
決定部１０４は、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する決定手段の一例である。複数の物品がまとめられている可能性があると判定された場合、決定部１０４は、センサデータおよび作業情報に応じて、当該物品に対する対応方法を、決定した動作をロボットアームに実行させる対応方法、または、管理者に通知する対応方法に決定する。例えば、決定部１０４は、センサデータに基づいて判定部１０３により判定された判定結果に応じて、判定結果と判定結果に応じた対応方法とが関連付けられた情報を参照することにより、対応方法を決定してよい。
【0061】
決定部１０４は、決定した動作をロボットアームに実行させる対応方法に決定した場合、決定した動作によって物品を持ち上げる動作をロボットアームに実行させるよう、制御部１０２に指示を行う。
【0062】
また、複数の物品がまとめられている可能性があると判定されなかった場合、決定部１０４は、所定単位の物品を対象とする作業をロボットアームに実行させることを決定してもよい。または、複数の物品がまとめられている可能性があると判定されなかった場合、制御部１０２は、該判定結果に基づいて、作業情報に応じた作業を実行する動作をロボットアームに実行させる制御を継続してもよい。
【0063】
例えば、決定部１０４は、作業情報に含まれる、作業対象の物品の個数と、センサデータから推定された、まとめられている物品の数と、に基づいて対応方法を決定する。
【0064】
決定部１０４は、センサデータに基づいた複数の物品の数が、作業情報に含まれる作業の対象である物品の個数以下である場合、対応方法として、当該複数の物品を持ち上げる動作をロボットアームに実行させることを決定する。当該複数の物品を持ち上げる動作は、物品を持ち上げられたと判定された場合は、持ち上げる動作を変更せず、そのままの所定単位の物品を持ち上げる動作であってよい。また、当該複数の物品を持ち上げる動作は、物品を持ち上げられなかったと判定された場合は、所定単位の物品を持ち上げる場合よりも大きい物品または重い物品を持ち上げる動作であってよい。所定単位の物品を持ち上げる場合よりも大きい物品または重い物品を持ち上げる動作は、持ち上げるロボットアームの数を増やした動作、吸着機構または把持機構の数を増やした動作、吸着機構の吸着強度または把持機構の把持強度の強度を高めた動作であってよい。
【0065】
一方、決定部１０４は、センサデータに基づいた複数の物品の数が、作業情報に含まれる作業の対象である物品の個数より大きい場合、センサデータに基づいて、対応方法として、所定単位の物品を取り出す動作を変更してロボットアームに実行させることを決定する。この場合、決定部１０４は、センサデータに基づいたまとめられた複数の物品の包装状態に応じて、所定単位の物品を取り出す動作を変更してロボットアームに実行させることを決定してもよい。
【0066】
具体的には、まとめられた物品は、図９の例のように、側面から物品を取り出すことができる場合がある。このため、決定部１０４は、物品の側面を吸着または把持して横方向に抜き取ってから、所定単位の物品を持ち上げる動作を実行させる対応方法を決定してよい。横方向に物品を抜き取る動作を実行させる対応方法において、まとめられた物品の横方向にロボットアームが動作する場所がない場合がある。この場合、物品を抜き取る前に、まとめられた物品を持ち上げ、横方向に抜き取る動作が可能な場所にまとめられた物品を移動させる動作を実行させる対応方法に、決定部１０４は決定してもよい。
【0067】
または、図８の例のように、上面から物品を取り出すことができる場合がある。このため、決定部１０４は、物品の側面を吸着または把持して抜き取ることより、所定単位の物品を持ち上げる動作を実行させる対応方法を決定してよい。また、このように物品を包装されたまま抜き取る場合、他のロボットアームにより周辺の物品を押さえながら、物品を抜き取って持ち上げる動作を実行させる対応方法を、決定部１０４は決定してもよい。
【0068】
また、決定部１０４が、センサデータに基づいたまとめられた複数の物品の包装状態に応じて、対応方法を決定する場合について説明する。例えば、決定部１０４は、センサデータである画像に基づいて、包装状態のうち、物品の包装されている面または物品の包装されていない面を特定する。例えば、図９の例のような包装状態であれば、上部から撮影された画像において、物品の一部が包装素材に覆われていることが分かる。この場合、物品の包装素材に覆われていない辺から奥行方向に延びる面は包装素材に覆われていない可能性がある。そこで、決定部１０４は、物品の側面を吸着または把持して横方向に抜き取ってから、所定単位の物品を持ち上げる動作を実行させる対応方法を決定してよい。
【0069】
同様に、決定部１０４は、センサデータに基づいた複数の物品の数が、作業情報に含まれる作業の対象である物品の個数より大きい場合、センサデータに基づいたまとめられた複数の物品の包装状態に応じて、対応方法として、当該物品をまとめている包装を外す動作および当該物品を取り出す動作をロボットアームに実行させることを決定してもよい。包装を外す動作は、例えば、包装の一部をカットする動作、包装の一部を挟持して引っ張ることによって外す動作であってよい。包装の一部をカットする動作には、包装素材のカットが可能なエンドエフェクタを備えるロボットアームを用いること、または、ロボットアームのエンドエフェクタを包装素材のカットが可能なエンドエフェクタに付け替えることが含まれてよい。包装を外す動作は、まとめられた物品の少なくとも一面が包装素材によって覆われていない状態になる動作であればよい。この場合の対応方法は、包装を外した動作の後に、包装を取り外した面から、所定単位の物品を取り出させる動作を実行させる方法である。
【0070】
また、同様に、決定部１０４は、センサデータに基づいた複数の物品の数が、作業情報に含まれる作業の対象である物品の個数より大きい場合、決定部１０４は、複数の物品がまとめられている可能性があることを管理者に通知することを対応方法として決定してもよい。例えば、決定部１０４は、管理者が使用する端末に、複数の物品がまとめられている可能性があることを通知する。
【0071】
図１１は、管理者に対する通知画面例である。通知画面には、例えば、発生時間、まとめられている可能性がある物品があること、作業場所、作業対象物品などを示す情報が含まれる。また、通知画面には、対応方法を入力させるための情報が含まれてもよい。図１１の例では、作業の保留を指示するボタン、および、画像を確認するボタンが含まれる。これらは、対応方法を入力させるための情報の一例である。画像を確認するボタンは、対応方法を入力させるために、管理者に画像を確認させるためのボタンである。
【0072】
作業の保留の指示とは、具体的には、その作業対象物品を避けることであってよい。例えば、作業の保留の指示は、作業対象物品を、移動元の容器に入ったまま、ベルトコンベアに流すことであってよい。または、作業の保留の指示は、作業対象物品を、作業机の外に移動させることであってよい。
【0073】
図１２は、画像を確認するボタンが選択された場合に、管理者が利用する端末に表示される通知画面例である。通知画面には、管理者が画像を確認可能に表示される。また、通知画面には、管理者がこの画像に応じて選択する、動作を指示するボタン、および作業の保留を指示するボタンが含まれる。動作を指示するボタンが選択されると、例えばドロップダウン形式で、指示する動作が選択可能に表示されてよい。この場合、制御部１０２は、管理者から取得した、まとめられている物品に対して実行する動作をロボットアームに実行させる。
【0074】
なお、管理者に対する通知画面例および対応方法の入力方法は、これらの例に限られない。
【0075】
ここまで、決定部１０４が、作業情報に含まれる作業対象の物品の個数と、センサデータから推定された、まとめられている物品の数と、に基づいて対応方法を決定する方法について説明した。決定部１０４は、作業情報に含まれる作業対象の物品の個数と、センサデータから推定された、まとめられている物品の数の比較結果だけでなく、他の条件に応じて、対応方法を上述した各種の対応方法に決定してよい。
【0076】
例えば、決定部１０４は、まとめられた物品を持ち上げることができるか否かに応じて対応方法を決定してよい。まとめられた物品を持ち上げることができるか否かは、上述した判定部１０３によって判定される、所定単位の物品を持ち上げる動作によって持ち上げられるか否かの判定結果であってよい。また、まとめられた物品を持ち上げることができるか否かは、まとめられた物品の大きさや重さに応じて動作を変更した動作を行った場合に得られたセンサデータによって判定部１０３が判定した、持ち上げられるか否かの判定結果を含んでもよい。
【0077】
また、例えば、決定部１０４は、物品がまとめられている可能性がある場合、管理者に通知する対応方法を決定してもよい。または、決定部１０４は、物品がまとめられている包装を外すことができない場合に、管理者に通知する対応方法を決定してもよい。例えば、判定部１０３は、包装を外す動作を行った後の所定単位の物品を持ち上げる動作のセンサデータに基づいて、物品を持ち上げられなかったことを、包装を外すことができないこととして判定してよい。
【0078】
決定部１０４の決定方法の例については、フローチャートを用いて後述する。
【0079】
以上のように構成された制御装置１００の動作について、図１３のフローチャートを参照して説明する。
【0080】
図１３は、実施形態における制御装置１００の動作の概要を示すフローチャートである。
【0081】
まず、取得部１０１は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する（ステップＳ１０１）。
【0082】
次に、制御部１０２は、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる（ステップＳ１０２）。
【0083】
次に、判定部１０３は、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する（ステップＳ１０３）。
【0084】
ステップＳ１０３において、複数の物品がまとめられている可能性があることが判定された場合（ステップＳ１０３：Ｙｅｓ）、決定部１０４は、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する（ステップＳ１０４）。そして、対応方法が、管理者への通知を行う対応方法に決定された場合、決定部１０４は、管理者への通知を行う。また、対応方法が、ロボットアームを動作させる対応方法に決定された場合、決定部１０４は、決定された対応方法で、制御部１０２にロボットアームを制御させる。
【0085】
ステップＳ１０３において、複数の物品がまとめられている可能性があることが判定されなかった場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０２における所定単位の物品を持ち上げる動作に引き続き、所定単位の物品を対象とする作業をロボットアームに実行させる（ステップＳ１０５）。
【0086】
以上で、制御装置１００は、一連の動作を終了する。
【0087】
次に、図１４は、判定部１０３と決定部１０４の処理の一例を示すフローチャートである。。
【0088】
まず、判定部１０３は、物品を持ち上げる動作におけるセンサデータを取得する（ステップＳ２０１）。
【0089】
次に、判定部１０３は、センサデータに基づいて、ロボットアームが物品を持ち上げられたか否かを判定する（ステップＳ２０２）。ステップＳ２０２において、ロボットアームが物品を持ち上げられなかったと判定された場合、ステップＳ２０３に進む。ステップＳ２０２において、ロボットアームが物品を持ち上げられたと判定された場合、ステップＳ２０４に進む。
【0090】
ステップＳ２０２において、ロボットアームが物品を持ち上げられなかったと判定された場合（ステップＳ２０２：Ｎｏ）、物品を持ち上げる動作を変更した場合に、ロボットアームが物品を持ち上げられたか否かを判定する（ステップＳ２０３）。ステップＳ２０３において、ロボットアームが物品を持ち上げられなかったと判定された場合、ステップＳ２０７に進む。なお、ステップＳ２０３において、ロボットアームが物品を持ち上げられなかったと判定された場合、判定部１０３は、物品がまとめられている可能性があると判定してよい。ステップＳ２０２において、ロボットアームが物品を持ち上げられたと判定された場合、ステップＳ２０４に進む。
【0091】
ステップＳ２０３における、より具体的な処理の例について説明する。まず、決定部１０４がセンサデータおよび作業情報に応じて、持ち上げる変更した動作をロボットアームに実行させる対応方法を決定する。制御部１０２は、変更された動作で物品を持ち上げる動作をロボットアームに実行させる。判定部１０３は、変更された動作が行われた場合のセンサデータに基づいて、変更された動作によって、ロボットアームが物品を持ち上げられたか否かを判定すればよい。
【0092】
ステップＳ２０２またはステップＳ２０３において物品を持ち上げられたと判定された場合（ステップＳ２０２：ＹｅｓまたはステップＳ２０３：Ｙｅｓ）、判定部１０３は、物品を持ち上げた場合におけるセンサデータに基づいて、持ち上げられた物品の重さが一つの物品の重さの２倍以上であるか否かを判定する（ステップＳ２０４）。すなわち、判定部１０３は、まとめられている可能性があるか否かを判定する。２倍以上であるか否かは、誤差範囲、および、まとめられている場合には包装素材の重さが加わることを考慮して判定されてよい。ステップＳ２０４において、ロボットアームが持ち上げた物品の重さが、一つの物品の重さの２倍以上であると判定された場合、ステップＳ２０５に進む。一つの物品の重さの２倍以上であると判定された場合、判定部１０３は、物品がまとめられている可能性があると判定してよい。ステップＳ２０４において、ロボットアームが持ち上げた物品の重さが、一つの物品の重さの２倍以上でないと判定された場合、ステップＳ２０９に進む。なお、一つの物品の重さの２倍以上であると判定された場合、判定部１０３は、物品がまとめられている可能性がないと判定してよい。
【0093】
ステップＳ２０４において、持ち上げられた物品の重さが一つの物品の重さの２倍以上であると判定された場合（ステップＳ２０４：Ｙｅｓ）、判定部１０３は、センサデータに基づいて、まとめられた物品の個数が推定できるか否かを判定する（ステップＳ２０５）。判定部１０３は、例えば、持ち上げた物品の重さまたは画像など、まとめられた物品の個数を推定するために利用されるセンサデータが取得できているか否かによって、まとめられた物品の個数を推定できるか否かを判定してよい。ステップＳ２０５において、個数を推定できると判定された場合、ステップＳ２０６に進む。ステップＳ２０５において、個数を推定できないと判定された場合、ステップＳ２１０に進む。
【0094】
ステップＳ２０５において、まとめられた物品の個数が推定できると判定された場合（ステップＳ２０５：Ｙｅｓ）、判定部１０３は、まとめられた物品の個数が、作業情報に含まれる作業対象の物品の個数以下であるか否かを判定する（ステップＳ２０６）。ステップＳ２０６において、まとめられた物品の個数が、作業情報に含まれる作業対象の物品の個数以下であると判定された場合、ステップＳ２０９に進む。ステップＳ２０６において、まとめられた物品の個数が、作業情報に含まれる作業対象の物品の個数以下でないと判定された場合、ステップＳ２０７に進む。
【0095】
ステップＳ２０６における、より具体的な処理の一例について説明する。まず、判定部１０３は、物品を持ち上げた場合に得られたセンサデータに基づいて、まとめられた物品の個数を推定する。より具体的には、判定部１０３は、持ち上げた物品の重さ、または、持ち上げた物品の画像から検出される持ち上げた物品の大きさが、それぞれ一つの物品の情報の何倍であるかを算出する。そして、判定部１０３は、持ち上げた物品の画像から検出される持ち上げた物品の大きさが、それぞれ一つの物品の情報のｎ倍である場合、物品がｎ個でまとめられていると判定する。なお、まとめられた物品の重さおよび大きさには、まとめられた物品を包装する包装素材の重さおよび大きさが含まれることが想定される。このため、持ち上げた物品の画像から検出される持ち上げた物品の大きさが、それぞれ一つの物品の情報のｎ倍である場合、小数点以下を切り捨てて、物品がｎ個でまとめられていると推定してもよい。また、この推定においても、判定部１０３は、誤差範囲を考慮して判定すればよい。まとめられた物品の個数が推定された後、判定部１０３は、推定された個数が、作業情報に含まれる作業対象の物品の個数以下であるか否かを、推定された個数と、作業情報に含まれる作業対象の物品の個数と、を比較することにより判定すればよい。
【0096】
次に、ステップＳ２０３において、物品を持ち上げられなかった場合（ステップＳ２０３：Ｎｏ）、または、ステップＳ２０６において、まとめられた物品の個数が、作業情報に含まれる作業対象の物品の個数よりも大きいと判定された場合（ステップＳ２０６：Ｙｅｓ）、判定部１０３は、ロボットアームにより包装を外せるか否かを判定する（ステップＳ２０７）。ステップＳ２０７において、包装を外せると判定された場合、ステップＳ２０８に進む。また、ステップＳ２０７において、包装を外せないと判定された場合、ステップＳ２０９に進む。なお、包装を外すことができるか否かの判定ができない場合は、ステップＳ２０９に進めばよい。
【0097】
ステップS２０７における、より具体的な処理の一例について説明する。例えば、決定部１０４は、まず包装を外す動作を行い、そのあとに再度、所定単位の物品を持ち上げる動作を行うことを決定する。包装を外す動作は、例えば、１本のロボットアームで物品を押さえ、もう一本のロボットアームで包装素材を掴んで引っ張る動作であってよい。または、包装を外す動作は、物品に対する刃物の使用が制限されていなければ、ロボットアームによって包装素材をカットする動作であってよい。包装を外す動作を行った後の所定単位の物品を持ち上げる動作が行われている場合に得られたセンサデータに基づいて、判定部１０３は、所定単位の物品を持ち上げることができたか否かを判定する。判定部１０３は、物品を持ち上げられたと判定された場合、包装を外すことができたと判定してよい。また、判定部１０３は、物品を持ち上げられなかったと判定された場合、包装を外すことができなかったと判定してよい。
【0098】
ステップＳ２０７において、包装を外すことができると判定された場合（ステップＳ２０７：Ｙｅｓ）、決定部１０４は、物品の包装を外し、さらに、作業情報に沿って、所定単位の物品に対する動作をロボットアームに実行させることを対応方法として決定する（ステップＳ２０８）。そして、決定された対応方法で、制御部１０２がロボットアームを制御する。ここで、判定部１０３と決定部１０４による一連の処理が終了する。
【0099】
ステップＳ２０４において、持ち上げた重さが一つの物品の重さの２倍以上でないと判定された場合（ステップＳ２０４：Ｎｏ）、決定部１０４は、作業情報に基づいて、所定単位の物品に対する動作をロボットアームに実行させることを決定する（ステップＳ２０９）。そして、決定された対応方法で、制御部１０２がロボットアームを制御する。ここで、判定部１０３と決定部１０４による一連の処理が終了する。
【0100】
ステップＳ２０５において、まとめられた物品の個数が推定できない場合（ステップＳ２０５：Ｎｏ）、または、ステップＳ２０７において包装を外すことができないと判定された場合（ステップＳ２０７：Ｎｏ）、決定部１０４は、管理者に、物品がまとめられている可能性があることを通知する（ステップＳ２１０）。ステップＳ２１０において、決定部１０４は、物品がまとめられている可能性があることに加えて、対応方法の入力させるための情報を通知してもよい。決定部１０４は、管理者への通知情報を生成および送信する。
【0101】
ステップＳ２１０の管理者への通知に応じて、管理者に対応方法を入力された場合、決定部１０４は、入力された対応方法に応じた動作をロボットアームに実行させることを決定する（ステップＳ２１１）。また、制御部１０２は、入力された対応方法に沿って、ロボットアームに動作を実行させる。ここで、判定部１０３と決定部１０４による一連の処理が終了する。
【0102】
以上が、判定部１０３と決定部１０４による一連の処理の一例である。判定部１０３と決定部１０４の処理はこの例に限られない。例えば、ステップＳ２１０において、管理者への通知に、管理者に対応方法を入力させるための情報を含めずに、物品に関する作業を保留することが決定されてもよい。作業を保留した場合のロボットアームの動作は、上述のように、作業対象の物品を避けることであってよい。
【0103】
上述した本実施形態における制御装置は、取得部と、制御部と、判定部と、決定部と、を備える。取得部は、ロボットアームが行う作業の情報および作業の対象である物品の情報を含む作業情報を取得する。制御部は、作業情報に基づいて、所定単位の物品を持ち上げる動作をロボットアームに実行させる。判定部は、動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する。決定部は、複数の物品がまとめられている可能性があると判定された場合、センサデータに応じて、当該物品に対する対応方法を決定する。
【0104】
その結果、本実施形態における制御装置は、まとめられた物品に対する適切な取り扱いを行うことを可能にすることができる。
【0105】
物品がまとめられているか否かは、人間により判定され、まとめられている物品に対する対応も、人間により設定されていた。これに対し、本実施形態における制御装置は、所定単位の物品を持ち上げる動作を実行させたときのセンサデータに基づいて、まとめられている可能性を判定し、対応方法を決定する。これにより、まとめられているか否かを完全に把握できなくても、ロボットアームと制御装置によって実行可能な対応を行うことができ、まとめられている物品に対する作業の省人化を図ることができる。
【0106】
［変形例］
次に、本開示の変形例について、説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。本変形例では、まとめられている物品に関する情報を物品の情報に関連付けてＤＢに登録する例について説明する。
次に、本開示の変形例について、説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。本変形例では、まとめられている物品に関する情報を物品の情報に関連付けてＤＢに登録する例について説明する。
【0107】
図１５は、変形例における制御装置２００の機能構成を示すブロック図である。制御装置２００は、実施形態の制御装置１００の構成に加えて、登録部２０５を備える。
【0108】
登録部２０５は、複数の物品がまとめられている可能性があると判定された場合、まとめられている物品に関する情報を、作業情報に関連付けて作業情報データベースに登録する登録手段の一例である。登録部２０５は、作業情報のうち、複数の物品がまとめられている可能性があると判定された物品の、物品の情報に関連付けてまとめられている物品に関する情報を登録する。
【0109】
まとめられている物品に関する情報は、例えば、物品がまとめられている個数、まとめられている物品に対して行う動作であってよい。
【0110】
なお、まとめられている可能性があると判定されたが、持ち上げる動作の変更または包装の取り外しによって、物品を所定単位で扱う動作が行われた場合、登録部２０５は、作業において扱った物品の数に基づいて、まとめられている物品の個数を推定して登録してもよい。
【0111】
以上、各実施形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえる様々な変更をすることができる。
【0112】
また、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は、内容的に支障しない範囲で変更されてよい。
【0113】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0114】
（付記１）
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得する取得手段と、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させる制御手段と、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、
を備える制御装置。
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得する取得手段と、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させる制御手段と、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定する判定手段と、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する決定手段と、
を備える制御装置。
【0115】
（付記２）
前記決定手段は、前記センサデータに基づくまとめられた物品の数および前記作業情報に含まれる、前記作業の対象である物品の個数に応じて、前記ロボットアームに動作を実行させることを対応方法として決定する 付記１に記載の制御装置。
前記決定手段は、前記センサデータに基づくまとめられた物品の数および前記作業情報に含まれる、前記作業の対象である物品の個数に応じて、前記ロボットアームに動作を実行させることを対応方法として決定する 付記１に記載の制御装置。
【0116】
（付記３）
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数以下である場合、対応方法として、当該複数の物品を取り出す動作を前記ロボットアームに実行させることを決定する
付記２に記載の制御装置。
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数以下である場合、対応方法として、当該複数の物品を取り出す動作を前記ロボットアームに実行させることを決定する
付記２に記載の制御装置。
【0117】
（付記４）
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数より大きい場合、前記センサデータに基づくまとめられた複数の物品の包装状態に応じて、対応方法として、前記所定単位の物品を取り出す動作を変更して前記ロボットアームに実行させることを決定する
付記２または３に記載の制御装置。
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数より大きい場合、前記センサデータに基づくまとめられた複数の物品の包装状態に応じて、対応方法として、前記所定単位の物品を取り出す動作を変更して前記ロボットアームに実行させることを決定する
付記２または３に記載の制御装置。
【0118】
（付記５）
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数より大きい場合、前記センサデータに基づくまとめられた複数の物品の包装状態に応じて、対応方法として、当該物品をまとめている包装を外す動作および当該物品を取り出す動作を前記ロボットアームに実行させることを決定する
付記２乃至４のいずれかに記載の制御装置。
前記決定手段は、前記センサデータに基づく前記複数の物品の数が、前記作業情報に含まれる前記作業の対象である物品の個数より大きい場合、前記センサデータに基づくまとめられた複数の物品の包装状態に応じて、対応方法として、当該物品をまとめている包装を外す動作および当該物品を取り出す動作を前記ロボットアームに実行させることを決定する
付記２乃至４のいずれかに記載の制御装置。
【0119】
（付記６）
前記決定手段は、複数の物品がまとめられている可能性があることを管理者に通知することを対応方法として決定する
付記１乃至５のいずれかに記載の制御装置。
前記決定手段は、複数の物品がまとめられている可能性があることを管理者に通知することを対応方法として決定する
付記１乃至５のいずれかに記載の制御装置。
【0120】
（付記７）
前記制御手段は、前記管理者から取得した、まとめられている物品に対して実行する動作をロボットアームに実行させる
付記６に記載の制御装置。
前記制御手段は、前記管理者から取得した、まとめられている物品に対して実行する動作をロボットアームに実行させる
付記６に記載の制御装置。
【0121】
（付記８）
複数の物品がまとめられている可能性があると判定された場合、まとめられていると判定された物品に関する情報を、前記作業情報に関連付けて作業情報データベースに登録する登録手段
をさらに備える、付記１乃至７のいずれかに記載の制御装置。
複数の物品がまとめられている可能性があると判定された場合、まとめられていると判定された物品に関する情報を、前記作業情報に関連付けて作業情報データベースに登録する登録手段
をさらに備える、付記１乃至７のいずれかに記載の制御装置。
【0122】
（付記９）
前記登録手段は、複数の物品がまとめられている可能性があると判定された場合、前記センサデータに基づいて、前記物品がまとめられている個数を、前記作業情報に関連付けて作業情報データベースに登録する
付記８に記載の制御装置。
前記登録手段は、複数の物品がまとめられている可能性があると判定された場合、前記センサデータに基づいて、前記物品がまとめられている個数を、前記作業情報に関連付けて作業情報データベースに登録する
付記８に記載の制御装置。
【0123】
（付記１０）
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得し、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
制御方法。
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得し、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
制御方法。
【0124】
（付記１１）
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得し、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
処理をコンピュータに実行させるプログラム。
ロボットアームが行う作業の情報および前記作業の対象である物品の情報を含む作業情報を取得し、
前記作業情報に基づいて、所定単位の物品を持ち上げる動作を前記ロボットアームに実行させ、
前記動作が行われている場合に得られたセンサデータに基づいて、複数の物品がまとめられている可能性があることを判定し、
複数の物品がまとめられている可能性があると判定された場合、前記センサデータに応じて、当該物品に対する対応方法を決定する
処理をコンピュータに実行させるプログラム。
【符号の説明】
【0125】
１００ 制御装置
１０１ 取得部
１０２ 制御部
１０３ 判定部
１０４ 決定部
２００ 制御装置
２０５ 登録部
３００ サーバ
４００ データベース
１０００ 情報処理装置
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ プログラム
１００５ 記憶装置
１００６ 記録媒体
１００７ ドライブ装置
１００８ 通信Ｉ／Ｆ
１００９ 通信ネットワーク
１０１０ 入出力Ｉ／Ｆ
１０１１ バス
Ｒ１、Ｒ２ ロボットアーム
１０１ 取得部
１０２ 制御部
１０３ 判定部
１０４ 決定部
２００ 制御装置
２０５ 登録部
３００ サーバ
４００ データベース
１０００ 情報処理装置
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ プログラム
１００５ 記憶装置
１００６ 記録媒体
１００７ ドライブ装置
１００８ 通信Ｉ／Ｆ
１００９ 通信ネットワーク
１０１０ 入出力Ｉ／Ｆ
１０１１ バス
Ｒ１、Ｒ２ ロボットアーム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】