IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧

特開2024-133844ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造
<>
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図1
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図2
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図3
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図4
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図5
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図6
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図7
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図8
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図9
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図10
  • 特開-ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133844
(43)【公開日】2024-10-03
(54)【発明の名称】ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造
(51)【国際特許分類】
   B25J 13/00 20060101AFI20240926BHJP
【FI】
B25J13/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023043832
(22)【出願日】2023-03-20
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】十倉 征司
(72)【発明者】
【氏名】澤 和秀
(72)【発明者】
【氏名】小川 昭人
(72)【発明者】
【氏名】紺田 和宣
【テーマコード(参考)】
3C707
【Fターム(参考)】
3C707AS04
3C707BS12
3C707FS01
3C707FT02
3C707JS02
3C707KS31
3C707KT02
3C707KT06
3C707KV06
3C707KV15
3C707LV02
3C707LW03
3C707NS19
(57)【要約】
【課題】ピッキング動作の効率性を向上させることができるハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造を提供する。
【解決手段】実施形態のハンドリングシステムは、物体のハンドリングを行うハンドリングシステムである。ハンドリングシステムは、保持部と、記憶部と、処理部と、を持つ。保持部は、物体を保持する。記憶部は、動作設定情報と、動作履歴情報と、を記憶する。動作設定情報は、保持部が物体を保持する保持動作に付帯する第1情報と保持部を動作させるための動作設定を含む第2情報とを関連付ける。動作履歴情報は、保持部の動作記録を含む。処理部は、動作設定情報に基づいて、保持部の動作を制御し、動作の動作記録に基づいて、動作履歴情報を更新し、更新された動作履歴情報に基づいて、動作設定情報を更新するか否かを判定する。
【選択図】図2
【特許請求の範囲】
【請求項1】
物体のハンドリングを行うハンドリングシステムであって、
前記物体を保持する保持部と、
前記保持部が前記物体を保持する保持動作に付帯する第1情報と前記保持部を動作させるための動作設定を含む第2情報とを関連付ける動作設定情報と、前記保持部の動作記録を含む動作履歴情報と、を記憶する記憶部と、
処理部と、
を備え、
前記処理部は、
前記動作設定情報に基づいて、前記保持部の動作を制御し、
前記動作の動作記録に基づいて、前記動作履歴情報を更新し、
前記更新された動作履歴情報に基づいて、前記動作設定情報を更新するか否かを判定する、
ハンドリングシステム。
【請求項2】
前記処理部は、特定の第1情報について前記動作設定情報を更新すると判定した場合に、他の第1情報について前記動作設定情報を更新するか否かを判定する、
請求項1に記載のハンドリングシステム。
【請求項3】
前記処理部は、前記特定の第1情報および前記他の第1情報における前記物体の属性、前記物体の配置、前記保持部の属性、および前記保持部の配置のうち1以上に少なくとも基づいて、前記他の第1情報について前記動作設定情報を更新するか否かを判定する、
請求項2に記載のハンドリングシステム。
【請求項4】
前記処理部は、前記保持部の動作制御の結果を評価し、
前記動作履歴情報は、動作制御の評価情報を含む、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項5】
前記処理部は、前記保持部の動作制御において失敗の予兆があったか否かを判定し、
前記評価情報は、失敗の予兆があったか否かを示す情報を含む、
請求項4に記載のハンドリングシステム。
【請求項6】
前記処理部は、前記動作履歴情報における特定の評価の出現回数または出現頻度に基づいて、前記動作設定情報を更新するか否かを判定する、
請求項4に記載のハンドリングシステム。
【請求項7】
前記処理部は、ハンドリング動作を行う前記保持部を変更するように前記動作設定情報を更新するか否か、を判定する第1更新判定を行う、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項8】
前記処理部は、前記保持部の移動経路において前記保持部の速度および/または加速度が減少するように前記動作設定情報を更新するか否か、を判定する第2更新判定を行う、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項9】
前記動作履歴情報は、前記処理部がハンドリング動作のための処理をリトライしたか否かを示すリトライ情報を含み、
前記処理部は、前記リトライ情報に少なくとも基づいて、前記動作設定情報を更新するか否かを判定する、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項10】
前記処理部は、リトライの回数または頻度が閾値以上である場合に、前記動作設定情報を更新すると判定する、
請求項9に記載のハンドリングシステム。
【請求項11】
前記処理部は、前記保持部の移動経路の全部または一部において前記保持部の速度および/または加速度が増加するように前記動作設定情報を更新するか否か、を判定する第3更新判定を行う、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項12】
前記動作設定情報は、前記保持部の動作制御に関する物理量の上限値および/または下限値を指定する臨界値情報を含み、
前記処理部は、前記動作設定情報を更新すると判定した場合に、前記臨界値情報を更新する、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項13】
前記動作設定情報は、前記保持部の動作制御に関する物理量の変化パターンを指定する変化パターン情報を含み、
前記処理部は、前記動作設定情報を更新すると判定した場合に、前記変化パターン情報を更新する、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項14】
前記動作設定情報は、前記保持部の位置および/または姿勢を指定する位置姿勢情報を含み、
前記処理部は、前記動作設定情報を更新すると判定した場合に、前記位置姿勢情報を更新する、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項15】
前記動作設定は、前記保持部の動作制御におけるデフォルト設定である、
請求項1~3のいずれか一項に記載のハンドリングシステム。
【請求項16】
物体を保持する保持部を備えるハンドリングシステムを管理する情報処理装置であって、
処理部を備え、
前記処理部は、
前記保持部の動作記録を取得し、
前記取得した動作記録に基づいて、前記保持部の動作記録を含む動作履歴情報を更新し、
前記更新された動作履歴情報に基づいて、前記保持部が前記物体を保持する保持動作に付帯する第1情報と前記保持部を動作させるための動作設定を含む第2情報とを関連付ける動作設定情報を更新するか否かを判定する、
情報処理装置。
【請求項17】
物体を保持する保持部を備えるハンドリングシステムを管理する方法であって、
コンピュータが、
前記保持部の動作動作記録を取得し、
前記取得した動作記録に基づいて、前記保持部の動作記録を含む動作履歴情報を更新し、
前記更新された動作履歴情報に基づいて、前記保持部が前記物体を保持する保持動作に付帯する第1情報と前記保持部を動作させるための動作設定を含む第2情報とを関連付ける動作設定情報を更新するか否かを判定する、
方法。
【請求項18】
ハンドリングシステムのためのプログラムであって、
コンピュータに、請求項17に記載の方法を実行させる、
プログラム。
【請求項19】
物体を保持する保持部を備えるハンドリングシステムの情報を表示部に表示させる情報処理システムであって、
処理部を備え、
前記処理部は、
前記保持部の動作記録を含む動作履歴情報に関する第1視覚的要素と、前記保持部が前記物体を保持する保持動作に付帯する第1情報と前記保持部を動作させるための動作設定を含む第2情報とを関連付ける動作設定情報に関する第2視覚的要素と、を前記表示部に表示させ、
前記保持部の動作記録を取得し、
前記動作記録を取得したことに応答して、前記取得された動作記録が追加された前記動作履歴情報を、前記第1視覚的要素に表示させ、
前記取得された動作記録が前記動作履歴情報に追加されたことに応答して、前記動作設定情報を更新するか否かを前記動作履歴情報に基づいて判定した結果を、前記第2視覚的要素に表示させる、
情報処理システム。
【請求項20】
物体を保持する保持部および前記保持部を制御する制御部を備えるハンドリングシステムのためのデータ構造であって、
前記保持部が前記物体を保持する保持動作に付帯する第1情報と前記保持部を動作させるための動作設定を含む第2情報とを関連付ける動作設定情報と、
前記保持部の動作記録を含む動作履歴情報と、
を含み、
前記制御部が、前記動作設定情報に基づいて、前記保持部の動作を制御し、前記動作の動作記録に基づいて、前記動作履歴情報を更新し、前記更新された動作履歴情報に基づいて、前記動作設定情報を更新するか否かを判定する処理に用いられる、データ構造。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造に関する。
【背景技術】
【0002】
物流現場などにおいて、指定された物品のオーダに従って、1以上の物品を収納場所からピックアップし、別の領域に搬送するピッキング動作が行われる。ピッキングを行うピッキング装置が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第5623358号
【特許文献2】特許第5787642号
【特許文献3】特開平10-249767号
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、ピッキング動作の効率性を向上させることができるハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造を提供することである。
【課題を解決するための手段】
【0005】
実施形態のハンドリングシステムは、物体のハンドリングを行うハンドリングシステムである。ハンドリングシステムは、保持部と、記憶部と、処理部と、を持つ。保持部は、物体を保持する。記憶部は、動作設定情報と、動作履歴情報と、を記憶する。動作設定情報は、保持部が物体を保持する保持動作に付帯する第1情報と保持部を動作させるための動作設定を含む第2情報とを関連付ける。動作履歴情報は、保持部の動作記録を含む。処理部は、動作設定情報に基づいて、保持部の動作を制御する。処理部は、動作の動作記録に基づいて、動作履歴情報を更新する。処理部は、更新された動作履歴情報に基づいて、動作設定情報を更新するか否かを判定する。
【図面の簡単な説明】
【0006】
図1】第1実施形態に係るピッキングシステム1の全体構成を示す概略図。
図2】第1実施形態に係るピッキングシステム1の機能構成を示すブロック図。
図3】第1実施形態に係る動作履歴DB440のデータ構造を示す図。
図4】第1実施形態に係るアイテムDB442のデータ構造を示す図。
図5】第1実施形態に係るロボットDB444のデータ構造を示す図。
図6】第1実施形態に係る動作設定DB446のデータ構造を示す図。
図7】第1実施形態に係るピッキングシステム1によるピッキング動作の全体フローを示すフローチャート。
図8】第1実施形態に係る動作設定更新部466が動作設定DB446を更新する処理を示すフローチャート。
図9】第1実施形態に係る更新対象判定部464が更新対象を判定する処理を示すフローチャート。
図10】第1実施形態に係る表示部580に表示される画面例を示す図。
図11】第2実施形態に係る更新対象判定部464が更新対象を判定する処理を示すフローチャート。
【発明を実施するための形態】
【0007】
以下、実施形態のハンドリングシステム、情報処理装置、方法、プログラム、情報処理システム、およびデータ構造を、図面を参照して説明する。なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。また、図面に示すXYZ座標は、説明の便宜上定義されたものであり、発明を限定するものではない。
【0008】
本明細書において、「XXに基づく」とは「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば情報)である。
【0009】
(第1の実施形態)
図1図10を参照して、第1の実施形態に係るピッキングシステム1(「ハンドリングシステム」の一例)について説明する。
まず、図1および図2を参照して、ピッキングシステム1の全体構成について概観する。
【0010】
図1は、第1実施形態に係るピッキングシステム1の全体構成を示す概略図である。
図2は、第1実施形態に係るピッキングシステム1の機能構成を示すブロック図である。
【0011】
ピッキングシステム1は、1以上の物体をハンドリングするハンドリング動作を行うためのハンドリングシステムの一例である。以下では、1以上のアイテム60(「物体」の一例)をピッキングするためのピッキングシステム1について説明するが、本実施形態に係るハンドリングシステムは、物流用のピッキングシステムに限定されない。ハンドリングシステムは、産業用ロボットシステムやその他のシステムなどにも広く適用可能である。本明細書における「ハンドリングシステム」および「ハンドリング装置」は、物体の搬送を主目的としたシステムや装置に限定されず、製品組立や別の目的の一部として物体の搬送(移動)を伴うシステムや装置も含む。
【0012】
ピッキングシステム1は、例えば物流用のピックアップ動作、搬送動作、およびリリース動作などのピッキング動作(「ハンドリング動作」の一例)を行う。例えば、図1に示すように、ピッキングシステム1は、搬送元として指定された第1収容部C1に位置するアイテム60を、搬送先として指定された第2収容部C2に移動させる。例えば、ピッキングシステム1は、第1収容部C1などに収納された1種類以上のアイテム60を、指定された数だけ取り出して第2収容部C2に積載する作業を行う。
【0013】
第1収容部C1は、例えば、各種のコンベアや各種のパレット、またはトートやオリコンのようなコンテナである。「コンテナ」とは、アイテム60を収容可能な部材(例えば、箱状の部材)を広く意味する。ただし、第1収容部C1は、上記例に限定されない。
【0014】
第1収容部C1には、1以上のアイテム60がランダムに置かれる。第1収容部C1は、同じ種類の1以上のアイテム60を収容してもよく、2種類以上のアイテム60をそれぞれ1以上収容してもよい。アイテム60の外形形状は、5cm角のような小さなものから、30cm角のような大きなものまで様々であってよい。アイテム60は、数十gのような軽いものから数kgのような重いものまで様々である。ただし、アイテム60の大きさや重さは、上記例に限定されない。
【0015】
第2収容部C2は、例えば、トートやオリコンのようなコンテナである。ただし、第2収容部C2は、上記例に限定されない。例えば、ピッキングシステム1は、コンテナ以外の第2収容部C2にアイテム60を移動させてもよい。以下の説明では、「第1収容部C1」および「第2収容部C2」を単に「収容部C1、C2」と総称する場合がある。
【0016】
図1に示すように、ピッキングシステム1は、ピッキング装置10(「ハンドリング装置」の一例)、情報取得装置20、制御装置30、管理装置40、およびユーザ端末50を有する。制御装置30、管理装置40、およびユーザ端末50の1以上は、単独でまたは協働して情報処理システムを形成する。すなわち、制御装置30、管理装置40、およびユーザ端末50の各々は「情報処理装置」の一例であるとともに「情報処理システム」の一例でもある。これらの任意の組合せは、いずれも「情報処理システム」の一例である。ここで、本明細書における「ピッキングシステム」、「ハンドリングシステム」、「情報処理システム」などのシステムとは、1または2以上の装置または構成要素からなるものである。したがって、「ピッキングシステム」、「ハンドリングシステム」、および「情報処理システム」は、2以上の装置からなるものに限定されない。ピッキングシステムまたはハンドリングシステムは、単独のピッキング装置またはハンドリング装置(例えば、センサや制御装置などが組み込まれたピッキング装置またはハンドリング装置)で構成されてもよい。
【0017】
図2に示すように、ピッキングシステム1は、2以上のピッキング装置10(ピッキング装置A、ピッキング装置B)を有することができる。ただし、ピッキングシステム1は、ピッキング装置10を1つだけ有してもよい。
【0018】
まず、ピッキング装置10について説明する。ピッキング装置10は、例えば、ロボット装置である。図1に示すように、ピッキング装置10は、第1収容部C1に位置するアイテム60を保持し、保持したアイテム60を第2収容部C2に移動させる。ピッキング装置10は、有線または無線で制御装置30、管理装置40、およびユーザ端末50と通信可能である。本実施形態においては、ピッキング装置10は、第1ピッキングハンド12および第2ピッキングハンド14を有する。
【0019】
第1ピッキングハンド12は、挟持部120(「保持部」の一例)として機能する。第1ピッキングハンド12は、例えば、第1可動アーム122と、第1可動アーム122の先端に設けられた挟持ハンド124と、挟持ハンド124に設けられた挟持部センサ126と、を有する。
【0020】
第1可動アーム122は、挟持ハンド124を所望の位置に移動させる移動機構である。第1可動アーム122は、例えば6軸の垂直多関節ロボットアームである。第1可動アーム122は、様々な位置姿勢をとることが可能である。人間の腕や手と同様に、第1可動アーム122も、物体を保持するためのより様々な姿勢を取ることができる。第1可動アーム122は、例えば、複数のアーム部材130と、複数のアーム部材130を回動可能に連結した複数の回動部132と、を含む。
【0021】
第1可動アーム122の構成は特に限定されず、3軸の直交ロボットアームであってもよく、その他の構成により挟持ハンド124を所望の位置に移動させる機構であってもよい。例えば、第1可動アーム122は、回転翼によって挟持ハンド124を持ち上げて移動させる飛行体(例えばドローン)などであってもよい。
【0022】
挟持ハンド124は、第1収容部C1に位置するアイテム60を保持する保持機構(エンドエフェクタ)である。
【0023】
挟持ハンド124は、アイテム60を保持するための2以上の挟持爪134を有する。例えば、挟持ハンド124は、2本指でアイテム60を挟んで把持するグリッパ型ハンドである。挟持ハンド124の構成はこれに限定されず、例えば3本指や4本指でアイテム60を挟んで把持するグリッパ型ハンドであってもよい。
【0024】
なお、挟持ハンド124は、吸引装置および吸引装置に連通した吸着パッドをさらに有するハイブリッド型ハンドであってもよい。この場合、挟持ハンド124は、挟持および/または吸着によってアイテム60を保持することができ。吸着パッドは、挟持ハンド124の指先端に設けられ得る。吸着部は、挟持ハンド124の指先端に複数設けられていてもよい。あるいは、異なる方向(例えば反対方向)を向いた挟持ハンドおよび吸着ハンドを有するハイブリッド型ハンドが使用されてもよい。その他、挟持ハンド124の構成は特に限定されない。
【0025】
挟持部センサ126は、挟持部120の状態を検知する。例えば、挟持部センサ126は、挟持ハンド124(例えば、挟持爪134の内部)または挟持ハンド124の近傍に設けられたセンサである。挟持部センサ126は、例えば、挟持爪134の歪みや表面状態、挟持爪134に加わる圧力など、挟持ハンド124の物理的な状態に関する情報を取得する。挟持部センサ126は、例えば、歪みセンサ、圧力センサ、近接触センサなど1以上の物理的なセンサを含む。挟持部センサ126はさらに、アイテム60の物理的な情報を取得してもよい。
【0026】
挟持部センサ126は、有線または無線で制御装置30に接続され、検知結果を制御装置30に送信する。挟持部センサ126は、ピッキング装置10の一部として設けられてもよく、ピッキング装置10に取り付け可能な別部材として設けられてもよい。
【0027】
第2ピッキングハンド14は、吸着部140(「保持部」の一例)として機能する。第2ピッキングハンド14は、例えば、第2可動アーム142と、第2可動アーム142の先端に設けられた吸着ハンド144と、吸着ハンド144に設けられた吸着部センサ146と、を有する。第2ピッキングハンド14の第2可動アーム142は、第1ピッキングハンド12の第1可動アーム122と同様に、アーム部材150および回動部152を有する。
【0028】
吸着ハンド144は、第1収容部C1に位置するアイテム60を保持する保持機構(エンドエフェクタ)である。例えば、吸着ハンド144は、吸着によってアイテム60を保持する。吸着ハンド144は、吸引装置154と、吸引装置154に連通した吸着パッド156と、を有する。
【0029】
吸引装置154は、例えば真空ポンプである。吸引装置154は、ホースなどを介して複数の吸着パッド156の各々と連通している。吸引装置154が駆動されることで、各吸着パッド156内の圧力が大気圧よりも低くなる。これにより、吸着パッド156は、アイテム60を吸着保持できる。
【0030】
吸着パッド156は、吸着ハンド144の先端に設けられている。例えば、吸着パッド156は、吸着ハンド144の先端に複数設けられている。吸着パッド156の少なくとも1つは、第1収容部C1に位置する最小のアイテム60よりも小さい外形を持つ。第2ピッキングハンド14は、複数の吸着パッド156から選択された1つ以上の吸着パッド156のみを用いてアイテム60を吸着保持することができる。
【0031】
吸着部センサ146は、吸着ハンド144(例えば、吸着ハンド144の内部)または吸着ハンド144の近傍に設けられたセンサである。吸着部センサ146は、例えば、吸着パッド156の内部圧力、吸着パッド156の表面状態、吸引装置154の動作状態など、吸着ハンド144の物理的な状態に関する情報を取得する。吸着部センサ146は、例えば、圧力センサ、歪みセンサ、近接触センサなど1以上の物理的なセンサを含む。吸着部センサ146はさらに、アイテム60の物理的な情報を取得してもよい。
【0032】
吸着部センサ146は、有線または無線で制御装置30に接続され、検知結果を制御装置30に送信する。吸着部センサ146は、ピッキング装置10の一部として設けられてもよく、ピッキング装置10に取り付け可能な別部材として設けられてもよい。
【0033】
以下の説明では、「挟持部120」および「吸着部140」を「保持部100」と総称する。すなわち、「保持部100」は、「挟持部120」および「吸着部140」を含むものとする。なお、ここでは挟持部120および吸着部140を備えるピッキング装置10を例に取って説明したが、保持部100の構成は、上記のような1つの挟持部120と1つの吸着部140とを備えるものに限定されない。例えば、保持部100は、2以上の挟持ハンドで構成されてもよく、2以上の吸着ハンドで構成されてもよい。この場合、保持部100は、例えば、構成、構造、形状、寸法、配置などの特性のうち、少なくともいずれかにおいて異なる複数の挟持型ハンドを有する構成であってもよい。具体的には、保持部100が、爪の長さや開き幅が異なる2以上の挟持ハンドで構成されてもよい。あるいは、保持部100は、例えば、構成、構造、形状、寸法、配置などの特性のうち、少なくともいずれかにおいて異なる2以上の吸着ハンドを有する構成であってもよい。具体的には、保持部100が、吸着パッドの配置や吸着パッドの径やベローズの構造などが異なる2以上の吸着ハンドで構成されてもよい。これらのような場合でも、上記実施形態と同様のハンドリング操作を実行し、同等の効果を得ることが可能である。
【0034】
ピッキング装置10は、挟持部120および吸着部140に加えて、または、挟持部120および/もしくは吸着部140に代えて、挟持および吸着以外の保持方法によりアイテム60を保持する機構を有してもよい。例えば、ピッキング装置10は、磁力を利用してアイテム60を保持する保持部を有してもよい。あるいは、ピッキング装置10は、粉体を詰め込んだ柔軟膜と、柔軟膜内から空気を抜き出す真空ポンプとで構成された保持部であって、ジャミング現象を利用してアイテム60を保持できる保持部(例えばジャミンググリッパ)を有してもよい。ピッキング装置10は、上記のようなロボットアームの構成に限定されず、クレーン、ドローンなど任意の構成を利用可能である。
【0035】
次いで、情報取得装置20について説明する。情報取得装置20は、第1収容部C1および第2収容部C2に収容されたアイテム60に関する情報を取得する。具体的には、情報取得装置20は、第1収容部センサ22および第2収容部センサ24を含む。収容部センサ22、24は、有線または無線で制御装置30に接続され、検知結果を制御装置30に送信する。収容部センサ22、24は、必ずしも別個のセンサでなくてもよく、単独のセンサで第1収容部センサ22および第2収容部センサ24の両方の機能を果たしてもよい。
【0036】
第1収容部センサ22は、第1収容部C1の近く(例えば、第1収容部C1の直上や斜め上方)に配置されたカメラなどの光量センサまたは各種センサである。第1収容部センサ22は、例えば、第1収容部C1に位置するアイテム60に関する情報と、第1収容部C1に関する情報と、を取得する。第1収容部センサ22により取得される情報は、例えば、画像データ、距離画像データ、形状データなどである。「距離画像データ」とは、1つ以上の方向の距離情報(例えば、第1収容部C1の上方に設定された任意の基準面からの深さ情報)を持つ画像データである。「形状データ」とは、アイテム60の外形形状などを示す情報である。第1収容部センサ22により検知された情報は、制御装置30に出力される。なお、第1収容部センサ22は、ピッキング装置10の一部として設けられてもよい。
【0037】
第2収容部センサ24は、第2収容部C2の近く(例えば、第2収容部C2の直上や斜め上方)に配置されたカメラまたは各種センサである。第2収容部センサ24は、例えば、第2収容部C2の形状(内壁面や仕切りの形状を含む)に関する情報と、第2収容部C2内に置かれたアイテム60に関する情報とを検知する。第2収容部センサ24により取得される情報は、例えば、画像データ、距離画像データ、形状データなどである。第2収容部センサ24により検知された情報は、制御装置30に出力される。なお、第2収容部センサ24は、ピッキング装置10の一部として設けられてもよい。
【0038】
次いで、制御装置30について説明する。制御装置30は、ピッキング装置10を制御する。例えば、図2に示すように、制御装置30は、各種センサ22、24、126、146により検知された情報を取得し、取得した情報に基づいてピッキング装置10を制御する。制御装置30は、例えば、プロセッサ、メモリ、ストレージなどを備えた、プログラムを実行可能な情報処理装置(コンピュータ)である。制御装置30は、ピッキング装置10および各種センサ22、24、126、146に有線または無線で接続されている。
【0039】
図2に示すように、制御装置30は、その機能部として、取得部32、記憶部34、処理部36、および出力部38を含む。制御装置30は、ピッキング装置10とは別の構成として実装されてもよく、ピッキング装置10の一部として実装されてもよい。制御装置30の機能構成の一部が、ピッキング装置10に内蔵された制御部、管理装置40、ユーザ端末50など他の装置によって実現されてもよい。
【0040】
取得部32は、ユーザからの入力操作や、管理装置40またはより上位の管理システム(例えば外部システム)などの管理主体からの入力信号を受け付けて、ピッキング対象のアイテム60の一覧を含むオーダ情報、ピッキング動作のための動作設定情報などを取得する。また、取得部32は、第1収容部センサ22、第2収容部センサ24、挟持部センサ126、および吸着部センサ146から検知結果を含むセンシング情報を取得する。
【0041】
記憶部34は、メモリやストレージを含んで構成され、任意の情報を記憶する。例えば、記憶部34は、制御装置30のプロセッサに所定の命令を実行させるプログラム340の他、ピッキング対象のアイテム60に関するオーダ情報、オーダ情報から生成されたアイテム60の種類別のピッキングリスト、第1収容部C1および第2収容部C2についての情報、アイテム60についての情報、各種センサから取得された各種データ、処理部36の演算処理の結果などを記憶する。
【0042】
処理部36は、プロセッサを含んで構成され、取得部32が受け付けた入力に対して所定の演算処理を行う。処理部36は、その機能構成として、認識部360、計画部362、動作制御部364、動作判定部366、および表示制御部368を含む。
【0043】
認識部360は、各種センサからのセンシング情報に基づいて、認識処理を行う。例えば、認識部360は、第1収容部センサ22および第2収容部センサ24により取得された情報を処理することができる。具体的には、認識部360は、第1収容部センサ22により取得された2次元画像データおよび/または距離画像データに基づいて、第1収容部C1および第1収容部C1内の各アイテム60を認識することができる。より具体的には、認識部360は、第1収容部C1の位置、形状などを判定するとともに、第1収容部C1内の各アイテム60の種類、位置、姿勢、形状、特性などを判定することができる。認識部360は、上記認識処理において、後述のアイテムデータベース442に含まれるアイテム60についての情報も利用してよい。
【0044】
同様に、認識部360は、第2収容部センサ24により取得された2次元画像データおよび/または距離画像データに基づいて、第2収容部C2および第2収容部C2内の各アイテム60を認識することができる。具体的には、認識部360は、第2収容部C2の位置、形状などを判定するとともに、第2収容部C2内のアイテム60の位置、姿勢、形状、特性などを判定することができる。より具体的には、認識部360は、2次元画像データおよび/または距離画像データから、第1収容部C1または第2収容部C2内の各アイテム60の配置(平置き、縦置き、斜め置き、乱雑な配置など)を判定することができる。認識部360は、このような認識結果を、認識情報として計画部362、動作判定部366などに受け渡すことができる。
【0045】
計画部362は、取得部32が管理装置40から取得したオーダ情報および動作設定情報、認識部360による認識結果などに基づいて、ピッキング装置10の保持部100がアイテム60のピッキングを行うためのピッキング計画を生成する。ピッキング計画は、保持部100によるアイテム60のピッキング動作の計画である。ピッキング動作は、例えば、第1収容部C1内のアイテム60を保持して持ち上げるピックアップ動作と、アイテム60を保持したまま搬送する搬送動作と、第2収容部C2内にアイテム60をリリースするリリース動作と、を含む。例えば、ピッキング計画は、保持部100が第1収容部C1内のアイテム60をピックアップする位置まで移動する経路の情報、アイテム60をピックアップする際の保持部100の位置姿勢の情報、アイテム60をピックアップしてから第2収容部C2までアイテム60を搬送する経路の情報、アイテム60をリリースする際の保持部100の位置姿勢の情報などを含む。
【0046】
計画部362は、取得部32が管理装置40から取得した動作設定情報(例えば、動作ごとの保持部100の移動速度および加速度、経路の経由点パターンなど)を、保持部100の動作制御におけるデフォルト設定として適用することができる。計画部362は、認識部360による認識結果に応じて、デフォルト設定としての動作設定情報を適宜調節することができる。これにより、計画部362は、シチュエーションに応じて種々の動作制御パラメータを最適化することができる。
【0047】
計画部362は、複数の経路または位置姿勢を計算し、スコアリングによって経路または位置姿勢の優先順位を決定してもよい。例えば、計画部362は、最大スコアを有する経路または位置姿勢に基づいて、ピッキング計画を生成することができる。計画部362は、生成したピッキング計画を、動作計画情報として動作制御部364などに受け渡すことができる。
【0048】
動作制御部364は、計画部362によって生成されたピッキング計画における位置姿勢情報や経路情報に基づいて、ピッキング装置10の動作を制御する。例えば、動作制御部364は、ピッキング装置10に設けられたモータなどの動力源を駆動することにより、第1可動アーム122、挟持ハンド124、第2可動アーム142、および吸着ハンド144の動作を制御する。これにより、動作制御部364は、位置姿勢情報および経路情報に従って保持部100を移動させ、アイテム60のピッキング動作を実行させることができる。吸着部140の動作制御については、動作制御部364は、第1収容部C1内のアイテム60をピックアップする際に吸引装置154を駆動し、搬送したアイテム60を第2収容部C2内で解放する際に吸引装置154の駆動を停止することができる。動作制御部364は、動作制御情報を表示制御部368、出力部38などに受け渡すことができる。動作制御情報は、出力部38を介してピッキング装置10に伝達される。
【0049】
動作判定部366は、ピッキング処理における種々の判定を行う。例えば、動作判定部366は、計画部362によるピッキング計画の生成処理の結果を判定する。具体的には、動作判定部366は、計画部362が生成したピッキング計画が不適切な経路(例えば、保持部100が第1収容部C1と衝突する経路)を含んでいる場合に、計画部362によるピッキング計画の生成が失敗したと判定することができる。
【0050】
例えば、動作判定部366は、保持部100によるピッキング動作(すなわち、アイテム60のピックアップ動作、搬送動作、およびリリース動作)の実行結果を判定する。具体的には、動作判定部366は、保持部100の保持状態センサ(すなわち、挟持部センサ126または吸着部センサ146)のセンシング情報に基づいて、保持部100のピッキング動作を評価することができる。
【0051】
例えば、認識部360は、挟持部センサ126もしくは吸着部センサ146のセンシング情報および/または第2収容部センサ24のセンシング情報に基づいて、アイテム60が第2収容部C2内で保持部100からリリースされたことを認識することができる。この場合には、動作判定部366は、保持部100によるアイテム60のピッキング動作が成功したと判定することができる。
【0052】
例えば、認識部360は、挟持部センサ126または吸着部センサ146のセンシング情報に基づいて、保持部100のピックアップ動作から所定時間内にアイテム60が第1収容部C1内で保持部100から離脱したことを認識することができる。あるいは、認識部360は、第1収容部センサ22のセンシング情報に基づいて、保持部100のピックアップ動作から所定時間内にアイテム60が第1収容部C1内に落下したことを認識することができる。これらの場合には、動作判定部366は、保持部100によるアイテム60のピックアップ動作が失敗したと判定することができる。
【0053】
吸着部140を例に取って、より具体的に説明すると、例えば、ピックアップ動作の前後で吸着部センサ146から出力される吸着部140内部の圧力に変化が見られない場合には、動作判定部366は、吸着部140がアイテム60を吸着することができず、ピックアップ動作に失敗したと判定する。また、ピックアップ動作時に吸着部140内部の圧力が減少した後すぐにピックアップ動作前の圧力に戻った場合には、動作判定部366は、吸着部140がアイテム60を一瞬吸着したものの、すぐにアイテム60が落下してしまい、ピックアップ動作に失敗したと判定する。一方、ピックアップ動作の前後で吸着部140内部の圧力が減少し、その後も減少した圧力値が保たれた場合には、動作判定部366は、吸着部140がアイテム60を適切に吸着できており、ピックアップ動作に成功したと判定する。
【0054】
例えば、認識部360は、挟持部センサ126または吸着部センサ146のセンシング情報に基づいて、保持部100により保持されていたアイテム60が保持部100から離脱したことを認識することができる。この場合には、動作判定部366は、アイテム60の搬送中にアイテム60が保持部100から落下した(すなわち、保持部100の搬送動作が失敗した)と判定することができる。動作判定部366は、第1収容部センサ22および第2収容部センサ24のセンシング情報に基づいて、アイテム60の落下位置が第1収容部C1内、第2収容部C2内、および収容部C1、C2外のいずれであるかを判定することもできる。
【0055】
吸着部140を例に取って、より具体的に説明すると、例えば、動作判定部366は、吸着部140の搬送動作中、吸着部センサ146の出力結果を定期的に参照して、吸着部140内部の圧力を監視する。例えば、搬送動作中に、吸着部センサ146が吸着部140内部の圧力の上昇を検知した場合には、動作判定部366は、吸着部140によるアイテム60の保持状態が変化したと判定し、搬送されるアイテム60が吸着部140から離脱して落下したと推定することができる。
【0056】
例えば、動作判定部366は、以下のような指標の1以上に基づいて、アイテム60の落下を判定することができる。ただし、これら以外の指標も使用可能である。
(1)アイテム60を吸着している状態での吸引力の低下
(2)挟持部120に設けられた接触センサの検知結果
(3)挟持部120に設けられた感圧センサの検知結果
(4)保持部100に設けられた測距センサにより検知されたアイテム60までの距離
(5)画像センサにより検知される、保持部100に保持されているアイテム60の有無
(6)保持部100に設けられた重量センサの検知結果
(7)床部の重量センサの検知結果
(8)第1収容部C1または第2収容部C2の重量センサの検知結果
(9)保持部100に設けられた力センサにより検知されたアイテム60の振動
(10)床部の感圧センサの検知結果
(11)マイクにより検知された落下音
(12)画像センサにより検知される、正常領域外のアイテム60の有無(正常領域外にアイテム60がある場合、当該アイテム60が落下したと判定する)
【0057】
例えば、認識部360は、挟持部センサ126または吸着部センサ146のセンシング情報に基づいて、アイテム60が保持部100から離脱する予兆を認識することができる。例えば、挟持部センサ126が挟持爪134に対するアイテム60の変位を検知した場合または吸着部センサ146が吸着部140の内圧上昇を検知した場合において、アイテム60が保持部100から離脱していないと認識部360が認識した場合に、動作判定部366は、アイテム60が保持部100から離脱する予兆があると判定することができる。
【0058】
例えば、動作判定部366は、以下のような指標の1以上に基づいて、失敗予兆を判定することができる。ただし、これら以外の指標も使用可能である。
(1)アイテム60を吸着する際の吸引力の低下量
(2)アイテム60を挟持する際の挟持爪134間の幅の変化量
(3)アイテム60を挟持する際の挟持部センサ126(例えば感圧センサ)の検知結果の変化
(4)保持部100に保持されているアイテム60の姿勢の変化
(4-1)保持部100に設けられた測距センサにより検知されたアイテム60までの距離の変化
(4-2)画像センサにより検知された、保持部100に保持されているアイテム60の姿勢の変化
(4-3)保持状態センサ126、146により検知されたアイテム60の重心位置の変化
(5)保持状態センサ126、146により検知されたアイテム60の振動
(6)画像センサにより検知されたアイテム60の振動
【0059】
このように、動作判定部366は、各種センサ22、24、126、146からのセンシング情報および/または認識部360からの認識情報に基づいて、ピッキング動作の成否、失敗時のシチュエーション、予兆の有無などを判定することができる。例えば、動作判定部366は、ピッキング動作の結果を「成功」、「成功(失敗予兆あり)」、「失敗:ピックアップ失敗」、「失敗:落下」などに分類することができる。動作判定部366は、このような判定結果を、動作判定情報として計画部362、表示制御部368、出力部38などに受け渡すことができる。動作判定部366は、上記で列挙したような1以上の指標を、ピッキング結果を示す項目として動作判定情報に含めてもよい。
【0060】
例えば、計画部362は、ピッキング計画の生成が失敗したという判定結果に応答して、ピッキング計画の生成にリトライすることができる。また、計画部362は、ピッキング動作が失敗したという判定結果に応答して、ピッキング動作のリトライを行う動作計画を生成することができる。動作制御部364は、このようなリトライ動作計画を計画部362から受け付けたことに応答して、ピッキング動作のリトライを行うようにピッキング装置10を制御する動作制御情報を生成することができる。
【0061】
なお、動作判定部366の判定内容は上記例に限定されない。例えば、動作判定部366は、認識部360による認識処理が成功したか否かの判定など、種々の判定処理を行うことができる。動作判定部366は、認識部360が認識処理に失敗したと判定した場合、認識部360は、この判定結果に応答して、認識処理のリトライを行うことができる。
【0062】
動作判定部366は、アイテム60が落下したと判定した場合において、落下の原因をさらに判定してもよい。例えば、動作判定部366は、落下が保持部100の移動速度または加速度に起因するか否かを判定することができる。動作判定部366は、このような判定を、例えば、第1収容部C1または第2収容部C2の重量センサの検知結果、ユーザの入力などに基づいて行うことができる。
【0063】
表示制御部368は、処理部36の演算結果をユーザに提示するための表示制御情報を生成する。表示制御情報は、例えばユーザ端末50において視覚的情報を表示するために使用される。なお、ユーザ端末50以外の装置(ピッキング装置10、制御装置30、管理装置40など)がこの表示制御情報に基づいて視覚的情報を表示してもよい。例えば、表示制御部368は、動作制御部364から受け付けた動作制御情報、動作判定部366から受け付けた動作判定情報などに基づいて、これらの情報を反映した視覚的表示を出力するための表示制御情報を生成する。
【0064】
出力部38は、入出力インタフェースを含んで構成され、処理部36における演算処理の結果などを出力する。例えば、出力部38は、動作制御部364から受け付けた動作制御情報に基づいて、ピッキング装置10の制御信号やモータ駆動信号などを出力する。例えば、出力部38は、動作判定部366から受け付けた動作判定情報を、当該動作に対応する過去の動作制御情報と関連づけることによって、動作記録を生成する。出力部38は、生成された動作記録を管理装置40に出力する。例えば、出力部38は、表示制御部368から受け付けた表示制御情報をユーザ端末50に出力する。出力部38は、テキスト、画像、音声などを用いてユーザへの報知を行ってもよい。
【0065】
次いで、管理装置40について説明する。管理装置40は、ピッキング装置10の動作設定、ピッキング装置10の稼働状態、オーダ情報、アイテム60の在庫状態などを管理する。
【0066】
図2に示すように、管理装置40は、取得部42、記憶部44、処理部46、および出力部48を含む。管理装置40の機能構成の一部が、ピッキング装置10に内蔵された制御部、制御装置30、ユーザ端末50など他の装置によって実現されてもよい。
【0067】
取得部42は、ユーザからの入力操作や制御装置30からの入力信号を受け付けて、ピッキング対象のアイテム60の一覧を含むオーダ情報、保持部100の過去の動作記録を含む動作履歴情報などを取得する。動作記録は、ピッキング装置10のピッキング動作に使用された動作制御情報、当該ピッキング動作に関する各種センサ22、24、126、146のセンシング情報および動作判定部366による動作判定情報などを含むことができる。なお、取得部42は、第1収容部センサ22、第2収容部センサ24、挟持部センサ126、および吸着部センサ146からセンシング情報を直接取得してもよい。
【0068】
記憶部44は、メモリやストレージを含んで構成され、任意の情報を記憶する。例えば、記憶部44は、動作履歴データベース(DB)440、アイテムデータベース(DB)442、ロボットデータベース(DB)444、動作設定データベース(DB)446、および管理装置40のプロセッサに所定の命令を実行させるプログラム448を記憶する。記憶部44が記憶する情報はこれらに限定されず、記憶部44は、ピッキング対象のアイテム60に関するオーダ情報、オーダ情報から生成されたアイテム60の種類別のピッキングリスト、第1収容部C1および第2収容部C2についての情報、各種センサから取得された各種データ、処理部46の演算処理の結果などを記憶することができる。
【0069】
なお、動作履歴DB440、アイテムDB442、ロボットDB444、および動作設定DB446の1以上は、管理装置40に有線又は無線で接続される外部記憶装置やクラウドサーバなどに保存されていてもよい。あるいは、これらの1以上は、ピッキング装置10に内蔵された制御装置、制御装置30、またはユーザ端末50などの別の情報処理装置の記憶部に保存されていてもよい。
【0070】
図3は、第1実施形態に係る動作履歴DB440のデータ構造を示す図である。
図3に示すように、動作履歴DB440は、ピッキング動作に使用した設定パラメータや動作の成否などの動作履歴情報を保持する。図3に示す例では、動作履歴DB440の各行には、ピッキング装置10によるピッキング動作ごとの動作記録が記載されている。ここで、動作履歴DB440における「動作記録」とは、図3の動作履歴DB440の各行に記載された個々の記録を指す。「動作履歴」とは、「動作記録」の集合を指す。
【0071】
図3に示す例では、動作履歴DB440は、「ロボットID」、「アイテムID」、「保持方法」、「動作日時」、「計画リトライ数」、「実行リトライ数」、「動作結果」、および「失敗・予兆時のシチュエーション」の欄を含む。「ロボットID」欄には、当該ピッキング動作を実行したロボット(すなわち、ピッキング装置10)の識別番号が記載されている。「アイテムID」欄には、当該ピッキング動作の対象であるアイテム60の識別番号が記載されている。「保持方法」欄には、当該ピッキング動作においてピッキング装置10がアイテム60を保持した方法が記載されている。本例では、保持方法として「挟持」または「吸着」が記載されている。「動作日時」欄には、ピッキング装置10が当該ピッキング動作を実行した日時が記載されている。「計画リトライ数」欄には、当該ピッキング動作を行うために計画部362がピッキング計画の生成をリトライした回数が記載されている。「実行リトライ数」欄には、当該ピッキング動作を行うために動作制御部364がピッキング装置10の動作制御をリトライした回数が記載されている。「動作結果」欄には、動作判定部366により判定された当該ピッキング動作の動作結果が記載されている。具体的には、ピッキング動作が成功したか、失敗予兆があったか、どのような場面で失敗したか、アイテム60がどこに落下したか、などが記載されている。「失敗・予兆時のシチュエーション」欄には、動作結果が「失敗」または「失敗予兆あり」と判定されたシチュエーションが記載されている。
【0072】
例えば、図3の1行目には、ロボットID:0001に対応するピッキング装置10がアイテムID:0001に対応するアイテム60を吸着によって保持した動作記録が記載されている。このピッキング動作の結果としては、計画段階および実行段階のいずれもリトライをせずにピッキング動作が成功したものの、第1収容部C1内でピッキング装置10がアイテム60を持ち上げた際に失敗の予兆が見られたことが記載されている。図3の6行目には、ロボットID:0001に対応するピッキング装置10がアイテムID:0002に対応するアイテム60を挟持によって保持した動作記録が記載されている。このピッキング動作の結果としては、計画段階および実行段階のいずれもリトライをせずにピッキング動作が失敗し、ピッキング装置10がアイテム60を第1収容部C1から持ち上げた場面でアイテム60が第1収容部C1に落下したことが記載されている。図3の8行目には、ロボットID:0001に対応するピッキング装置10がアイテムID:0004に対応するアイテム60を挟持によって保持した動作記録が記載されている。このピッキング動作の結果としては、動作実行段階で1回リトライを行った後、ピッキング動作が成功した動作記録が記載されている。このように、動作履歴DB440には、過去のピッキング動作の動作記録が動作履歴情報として蓄積されている。動作履歴DB440の項目はこれらに限定されず、ピッキング動作に関する任意の項目が追加されてよい。
【0073】
図4は、第1実施形態に係るアイテムDB442のデータ構造を示す図である。
図4に示すように、アイテムDB442は、保持対象となる1種類以上のアイテム60の情報を保持する。図4に示す例では、アイテムDB442は、「アイテムID」、「アイテム名」、「形状」、「質量」、「大きさ」、および「表面材質」の欄を含む。「アイテムID」欄には、アイテム60ごとの識別番号が記載されている。「アイテム名」欄には、アイテム60を識別する名称が記載されている。「形状」欄には、アイテム60の形状が記載されている。「質量」欄には、アイテム60の質量が記載されている。「大きさ」欄には、アイテム60の大きさが記載されている。「表面材質」欄には、アイテム60の表面材質が記載されている。アイテムDB442の項目はこれらに限定されず、アイテム60の表面の見え方(不透明、透過、反射など)、柔軟性、重心の可動性、通気性、表面摩擦力、耐振動性など任意の項目が追加されてよい。複数のアイテム60間の類似性など、アイテム60間の関係が特定されてもよい。
【0074】
図5は、第1実施形態に係るロボットDB444のデータ構造を示す図である。
図5に示すように、ロボットDB444は、制御可能な1以上のロボットの情報を保持する。例えば、ロボットDB444は、使用可能なピッキング装置10の情報を保持する。図5に示す例では、ロボットDB444は、「ロボットID」、「ロボット名」、「保持方法」、および「ハンド」の欄を含む。「ロボットID」欄には、ロボットごとの識別番号が記載されている。「ロボット名」欄には、ピッキング装置10を識別する名称が記載されている。「保持方法」欄には、ピッキング装置10が実行可能な保持方法が記載されている。「ハンド」欄には、保持方法に対応するピッキング装置10のハンドの種類が記載されている。ロボットDB444の項目はこれらに限定されず、ロボットに関する任意の項目が追加されてよい。その他の項目の例として、挟持ハンド124の指の数、指のサイズ、指の配置、挟持ハンド124の限界開き幅、吸着パッド156の数、吸着パッド156のサイズ、吸着パッド156の配置パターン、ハンドが把持を得意とするアイテムの種類や材質など、可搬重量、把持禁止のアイテムの材質などが挙げられる。複数のロボット間の類似性など、ロボット間の関係が特定されてもよい。
【0075】
図6は、第1実施形態に係る動作設定DB446のデータ構造を示す図である。
図6に示すように、動作設定DB446は、ピッキング動作に必要な設定パラメータなどの情報を保持する。図6に示す例では、動作設定DB446は、「第1情報」として「ロボットID」、「アイテムID」、および「保持方法」の欄と、「第2情報」として「最大速度」、「最大加速度」、「最大上昇速度」、「最大加工速度」、「最大水平速度」、「最大z軸回転速度」、「加減速パターン」、「加減速区間パターン」、「経由点パターン」、および「経由姿勢パターン」の欄と、「推奨保持スコア」および「対応フラグ」の欄と、を含む。
【0076】
第1情報は、保持部100がアイテム60を保持する保持動作に付帯する情報である。ここで「保持動作に付帯する」とは、保持動作を行うロボットのロボットID、保持動作の対象となるアイテムのアイテムID、保持動作に使用される保持方法(たとえば、挟持、吸着、その他の保持方法のいずれを使用するか、複数の挟持部や吸着部がある場合にはどの挟持部または吸着部を使用するか、など)のように、ある保持動作を実行する場合に当該保持動作にくっついてくる必要な情報を意味する。第1情報は、たとえば、保持部100がアイテム60を保持するシチュエーションを定義するシチュエーション情報を含む。具体的には、第1情報は、保持動作、すなわちピッキング動作に関する情報であって、当該動作の制御内容を決定するために必要な情報(たとえば、当該動作を行う保持部100の情報、当該動作の対象となる物体であるアイテム60の情報、保持部100に対応する保持方法の情報など)を含む。図6では、「ロボットID」欄には、ピッキング動作を実行するロボットの識別番号が記載されている。「アイテムID」欄には、ピッキング対象のアイテム60の識別番号が記載されている。「保持方法」欄には、ピッキング動作においてピッキング装置10が実行する保持方法が記載されている。これらの「ピッキング動作を行うロボット」、「ピッキング対象のアイテム60」、および「使用される保持方法」の情報は、ピッキング動作を実行するシチュエーションまたは場面を表す。なお、第1情報は、上記例に限定されない。例えば、アイテム60の置き方(平置き、縦置き、斜め置き、乱雑な配置など)など、上記の第1情報の例に付帯する任意の情報が追加されてもよい。
【0077】
第2情報は、保持部を動作させるための動作設定を含む。動作設定は、第1情報によって特定される保持動作に対応して、ピッキング動作の制御内容を決定する種々の動作パラメータの設定情報を含む。具体的には、動作設定は、各シチュエーションにおける保持部100の動作制御の条件設定(たとえば、保持部100の移動動作、ピッキング動作、保持動作、解放動作などの各種動作における速度、加速度、経路、タイミング、力、圧力、電圧などの物理的条件)を定義する動作パラメータを含む。動作設定は、上記の動作パラメータによって規定されるピッキング動作の推奨度、成功率などの評価パラメータの情報をさらに含んでもよい。図6では、「最大速度」欄には、当該ピッキング動作における保持部100の移動速度の上限が記載されている。「最大加速度」欄には、当該ピッキング動作における保持部100の加速度の上限が記載されている。「最大上昇速度」欄には、当該ピッキング動作における保持部100の上昇運動の移動速度の上限が記載されている。「最大下降速度」欄には、当該ピッキング動作における保持部100の下降運動の移動速度の上限が記載されている。「最大水平速度」欄には、当該ピッキング動作における保持部100の水平運動の移動速度の上限が記載されている。「最大z軸回転速度」欄には、当該ピッキング動作における保持部100の鉛直軸(z軸)周りの回転運動の移動速度の上限が記載されている。「加減速パターン」欄には、当該ピッキング動作において保持部100が加速または減速する場合における速度の変化パターン(例えば、台形加速、S字加速など)が記載されている。「加減速区間パターン」欄には、当該ピッキング動作における、保持部100の移動経路を構成する区間ごとの保持部100の速度および加速度のパターンが記載されている。「経由点パターン」欄には、当該ピッキング動作における保持部100の移動経路を規定する経由点のパターンが記載されている。「経由姿勢パターン」欄には、当該ピッキング動作における移動経路上の保持部100の姿勢のパターンが記載されている。「推奨保持スコア」欄には、同一のロボットが同一のアイテムを保持する場合の保持方法の推奨スコアが記載されている。例えば、図6の1行目および2行目を参照すると、ロボットID:0001を有するロボットがアイテムID:0001を有するアイテム60を保持するための保持方法として、「吸着」の保持推奨スコアが100%であるのに対し、「挟持」の保持推奨スコアは0%である。したがって、このピッキング動作では保持方法として「吸着」が100%推奨される。「対応フラグ」欄には、推奨保持スコアに基づく動作設定の使用可能性がTRUEまたはFALSEとして記載されている。図6の1行目では、推奨保持スコアが100%であることに対応して、対応フラグは「TRUE」と記載されている。これは、1行目の動作設定がピッキング動作に使用可能であることを示す。図6の2行目では、推奨保持スコアが0%であることに対応して、対応フラグは「FALSE」と記載されている。これは、1行目の動作設定をピッキング動作に使用すべきでないことを示す。
【0078】
各項目の記載方法は特に限定されない。例えば、「最大上昇速度」、「最大下降速度」、「最大水平速度」などの値は、速度の絶対値で表されてもよく、「70%」のように「最大速度」に乗じる係数の値で表されてもよく、その他の任意の形式であってもよい。同様に、「最大速度」、「最大加速度」などの値も、絶対値で表されてもよく、ピッキング装置10について定められた上限速度に乗じる係数の値で表されてもよく、その他の任意の形式であってもよい。
【0079】
「最大速度」、「最大加速度」、「最大上昇速度」、「最大加工速度」、「最大水平速度」、および「最大z軸回転速度」は、ピッキング動作における保持部100の物理的パラメータの臨界値を示し、「臨界値情報」と総称される。「加減速パターン」および「加減速区間パターン」は、ピッキング動作における保持部100の物理的パラメータの変化パターンを示し、「変化パターン情報」と総称される。「経由点パターン」および「経由姿勢パターン」は、ピッキング動作における保持部100の位置または姿勢を示し、「位置姿勢情報」と総称される。
【0080】
このように、動作設定DB446では、第1情報と第2情報とが関連づけて記録される。具体的には、動作設定DB446の行ごとに異なる第1情報と、当該第1情報に対応する第2情報とが記載されている。例えば、管理装置40は、次に行うピッキング動作の第1情報をキーとして、対応する第2情報を制御装置30に出力する。制御装置30は、受け付けた第2情報に含まれる動作設定を次のピッキング動作におけるデフォルト値として使用することができる。上記のとおり、実際の動作パラメータとしては、このデフォルト値をそのまま使用してもよく、このデフォルト値を計画部362などが必要に応じて調整した値を使用してもよい。たとえば、第1情報は、ハードウェアまたは物理的構成の観点で保持動作を特定する情報を含み、第2情報は、ソフトウェアまたは動作制御の観点で保持動作を特定する情報を含むようにすることができる。
【0081】
処理部46は、取得部42が受け付けた入力に対して所定の演算処理を行う。図2に示すように、処理部46は、その機能構成として、履歴更新部460、更新判定部462、更新対象判定部464、動作設定更新部466、および表示制御部468を含む。
【0082】
履歴更新部460は、取得部42により取得された動作記録を動作履歴DB440に記録することにより、動作履歴DB440を更新する。具体的には、履歴更新部460は、動作履歴DB440に新しい行を追加し、取得された動作記録に基づいて各項目を入力する。履歴更新部460は、ピッキング動作のたびに動作履歴DB440を更新してもよく、複数回のピッキング動作の動作記録を取得した後で、これらの動作記録をまとめて動作履歴DB440に反映してもよい。
【0083】
更新判定部462は、動作履歴DB440に基づいて、動作設定DB446を更新するか否かを判定する。例えば、更新判定部462は、更新された動作履歴DB440に含まれる2以上の動作記録(例えば、直近で追加された動作記録を含む)に基づいて、動作設定DB446を更新するか否かを判定する。複数回の動作記録に基づいて判定処理を行うことにより、更新判定部462は、即時的に動作設定DB446を更新するのではなく、ピッキング装置10によるピッキング動作の傾向に基づいて動作設定を管理することができる。具体的には、更新判定部462は、動作履歴DB440における最近の動作記録で失敗や失敗予兆が多く見られた場合に、動作設定DB446の動作設定が妥当でないと判定し、動作設定DB446を更新すると判定することができる。更新判定部462は、動作設定DB446を更新すると判定した場合には、動作設定DB446をどのように更新するかについても判定する。具体的な判定処理の例については、図7図9を参照して後述する。
【0084】
更新対象判定部464は、更新判定部462が動作設定DB446を更新すると判定した場合において、動作設定DB446における更新対象を判定する。すなわち、更新対象判定部464は、更新判定部462が特定の第1情報について動作設定DB446を更新すると判定した場合に、当該特定の第1情報とは異なる他の第1情報について、動作設定DB446を更新するか否かを判定する。例えば、更新判定部462が図6の動作設定DB446の1行目を更新すると判定した場合を考える。例えば、更新判定部462は、ロボットIDが共通する2行目~10行目も1行目と同様に更新すると判定することができる。あるいは、更新判定部462は、ロボットIDおよび保持方法が共通する3行目、5行目、7行目、および9行目を1行目と同様に更新すると判定してもよい。あるいは、更新対象判定部464は、アイテムIDおよび保持方法が共通する11行目を1行目と同様に更新すると判定してもよい。
【0085】
更新対象判定部464が更新対象を判定する基準は特に限定されないが、例えば、アイテム60の属性および/または配置、保持部100の属性および/または配置などが判定基準として使用可能である。より具体的には、例えば、以下の基準の1以上が使用可能である。更新対象判定部464は、更新判定部462が更新すると判定した第1情報に対して、以下の項目のいずれかまたは特定の組合せが共通するかまたは類似範囲にある第1情報を抽出するとともに、抽出された第1情報に対応する第2情報を更新対象と判定することができる。
(1)ロボットの種類
(2)アイテム60の種類
(3)アイテム60の質量
(4)アイテム60の表面材質の種類
(5)アイテム60の置き方
(6)保持方法の種類(吸着、挟持など)
【0086】
更新対象判定部464は、アイテムDB442にアイテム60間の関係(アイテム60間の類似性など)が特定されている場合には、その情報を参照して更新対象を判定することができる。アイテム60が保持部100から落下した場合、更新対象判定部464は、落下したアイテム60の質量以上の質量を有するアイテム60をすべて更新対象と判定してもよい。
【0087】
なお、必ずしも1行目以外の項目が1行目と完全に同じように更新されなくてもよい。更新対象判定部464は、更新対象と判定した各行について、どのように更新するかを判定することができる。
【0088】
動作設定更新部466は、更新判定部462が更新すると判定した項目および更新対象判定部464が更新対象と判定した項目について、動作設定DB446を更新する。
【0089】
表示制御部468は、処理部46の演算結果をユーザに提示するための表示制御情報を生成する。表示制御情報は、例えばユーザ端末50において視覚的情報を表示するために使用される。なお、ユーザ端末50以外の装置(ピッキング装置10、制御装置30、管理装置40など)がこの表示制御情報に基づいて視覚的情報を表示してもよい。例えば、表示制御部368は、更新判定部462から取得した更新判定情報、更新対象判定部464から取得した更新対象判定情報、動作履歴DB440から取得した動作履歴情報、動作設定DB446から取得した動作設定情報などに基づいて、これらの情報を反映した視覚的表示を出力するための表示制御情報を生成する。
【0090】
出力部48は、入出力インタフェースを含んで構成され、記憶部44に保存された情報、処理部46における演算処理の結果などを出力する。例えば、出力部48は、動作設定更新部466によって更新された動作設定DB446の動作設定を制御装置30に送信する。例えば、出力部48は、表示制御部468から受け付けた表示制御情報をユーザ端末50に出力する。出力部48は、テキスト、画像、音声などを用いてユーザへの報知を行ってもよい。
【0091】
次いで、ユーザ端末50について説明する。ユーザ端末50は、ユーザがピッキング装置10、制御装置30、管理装置40などを管理・制御するための情報処理装置である。ユーザ端末50は、一般的なコンピュータ(例えばパーソナル・コンピュータ)であってもよく、スマートフォンまたはタブレットなどのモバイル機器であってもよく、ユーザに対して視覚的表示を提示する表示装置であってもよい。
【0092】
図2に示すように、ユーザ端末50は、取得部52、記憶部54、処理部56、および出力部58を含む。出力部58は、視覚的情報を表示する表示部580を有する。ユーザ端末50の機能構成の一部が、ピッキング装置10に内蔵された制御部、制御装置30、管理装置40など他の装置によって実現されてもよい。
【0093】
取得部52は、ユーザからの入力操作、制御装置30および管理装置40からの入力信号などを受け付ける。例えば、取得部52は、は、ユーザからの入力としてオーダ情報、動作設定DB446の更新判定情報または動作設定更新情報などを取得することができる。例えば、取得部52は、制御装置30および/または管理装置40から、ユーザに提示する視覚的表示を生成するための表示制御情報を取得することができる。
【0094】
記憶部54は、メモリやストレージを含んで構成され、任意の情報を記憶する。例えば、記憶部54は、ユーザ端末50のプロセッサに所定の命令を実行させるプログラムなどを記憶する。
【0095】
処理部56は、取得部52が受け付けた入力に対して所定の演算処理を行う。例えば、処理部56は、取得部52により取得された表示制御情報に基づく視覚的情報を表示するように表示部580を制御する表示制御部560を有する。
【0096】
出力部58は、入出力インタフェースを含んで構成され、取得部52が取得した情報、処理部56における演算処理の結果などを出力する。例えば、出力部58は、ユーザからの入力情報を制御装置30または管理装置40へ出力することができる。また、出力部58は、テキスト、画像、音声などを用いてユーザへの報知を行うことができる。例えば、出力部58は、制御装置30および管理装置40から受け付けた表示制御情報に基づいて、表示部580に、図10に示すような管理・制御画面をユーザに対して表示させることができる。画面例については、図10を参照して後述する。
【0097】
次いで、図7図9を参照して、ピッキングシステム1による処理の流れを説明する。
図7は、第1実施形態に係るピッキングシステム1によるピッキング動作の全体フローを示すフローチャートである。
図8は、第1実施形態に係る動作設定更新部466が動作設定DB446を更新する処理を示すフローチャートである。
図9は、第1実施形態に係る更新対象判定部464が更新対象を判定する処理を示すフローチャートである。
【0098】
まず、図7を参照して、ピッキングシステム1がオーダを受け付けてから当該オーダを完了するまでの全体的な流れを説明する。ステップS701では、取得部32が、ピッキング動作のための動作設定情報を管理装置40から取得する。ステップS702では、認識部360が、センシング情報に基づいて認識処理を行う。ステップS703では、計画部362が、動作設定情報および認識部360から取得した認識情報に基づいて、ピッキング動作の計画を生成する。ステップS704では、動作制御部364が、計画部362により生成されたピッキング計画に基づいて、ピッキング動作を実行するように保持部100の動作を制御する。ステップS705では、動作判定部366が、保持部100のピッキング動作の結果を判定する。出力部38は、ピッキング動作の条件設定および動作判定部366による動作判定結果を、動作記録として管理装置40に送信する。ステップS706では、更新判定部462が、動作履歴DB440を参照して、動作設定DB446の更新が必要か否かを判定する。更新判定部462が動作設定DB446を更新する必要があると判定した場合(ステップS706:YES)、ステップS707において、動作設定更新部466が、動作設定DB446を更新する。一方、更新判定部462が動作設定DB446を更新する必要がないと判定した場合(ステップS706:NO)、動作設定更新部466は、動作設定DB446を更新しない。次いで、ステップS708において、管理装置40が、オーダが完了したか否かを判定する。オーダが完了していないと判定された場合(ステップS708:NO)、フローはステップS701に戻り、再びピッキング動作が実行される。一方、オーダが完了したと判定された場合(ステップS708:YES)、オーダ処理が終了する。
【0099】
図8は、図7のステップS704~S707の処理を詳細に示す。
ステップS703において、計画部362がピッキング計画を生成した後、ステップS801では、動作制御部364が、計画部362からピッキング計画を含む動作計画情報を取得する。ステップS802では、動作制御部364が、ピッキング計画に従ってピッキング動作を行うように、ピッキング装置10を制御する。ステップS803では、動作判定部366が、ピッキング動作の結果を判定する。ステップS804では、制御装置30の出力部38が、動作判定情報を含む動作記録を管理装置40に送信する。ステップS805では、履歴更新部460が、制御装置30から取得された動作記録を動作履歴DB440に書き込み、動作履歴DB440を更新する。ステップS806では、更新判定部462が、更新された動作履歴DB440の動作履歴情報に基づいて、動作設定DB446の更新が必要か否かを判定する。更新判定部462が動作設定DB446を更新すると判定した場合(ステップS806:YES)、ステップS807において、更新判定部462が、更新対象の動作設定の更新値を決定する。ステップS808では、更新対象判定部464が、動作設定DB446において、上記の更新対象以外に動作設定を更新すべき対象が存在するか否かを判定する。ステップS809では、動作設定更新部466が、更新判定部462および更新対象判定部464の判定結果に基づいて、動作設定DB446を更新する。その後、フローは、図7のステップS708(オーダ完了判定)へ進む。
【0100】
一方、更新判定部462が動作設定DB446を更新しないと判定した場合(ステップS806:NO)、フローは、ステップS807~S809をスキップして図7のステップS708(オーダ完了判定)へ進む。すなわち、動作設定DB446の更新は行われず、次のピッキング動作においても以前の動作設定が利用される。
【0101】
図9は、図8のステップS806およびS807の処理をさらに詳細に示す。
ステップS805において、動作履歴DB440が更新された後、ステップS901では、更新判定部462が、第1更新判定を行う。第1更新判定では、例えば、更新判定部462が、動作履歴DB440に基づいて、次のピッキング動作を実行するためにロボットまたは保持部100を変更する必要があるか否かを判定する。例えば、更新判定部462は、次のピッキング動作についての第1情報S1をキーとして、第1情報がS1である過去の動作記録を動作履歴DB440から検索する。更新判定部462は、第1情報S1が共通するこれらの動作記録において、失敗またはそれに類する結果の出現回数または出現頻度を計算し、その計算結果を判定根拠として使用することができる。例えば、更新判定部462は、第1情報がS1である直近の所定数の動作記録において、結果が失敗であった動作記録の数または頻度を、失敗指標として計算することができる。また、更新判定部462は、第1情報がS1である直近の所定数の動作記録において、ピッキング動作制御のリトライを行った動作記録の数または頻度を、実行リトライ指標として計算することができる。
【0102】
更新判定部462は、失敗指標が所定の閾値以上である場合および/または実行リトライ指標が所定の閾値以上である場合に、次のピッキング動作を実行するためにロボットまたは保持部100を変更する必要がある(ステップS901:YES)と判定することができる。この場合、ステップS902において、更新判定部462が、現在選択されているロボットまたは保持部100の対応フラグが「FALSE」となるように、動作設定の更新値を決定する。例えば、更新判定部462は、アイテム60の第1収容部C1内への落下、第2収容部C2への落下、または収容部C1、C2外への落下の各々について、直近のb回の動作記録中a回以上落下した場合に、現在選択されているロボットまたは保持部100の対応フラグを「TRUE」から「FALSE」に変更することができる。これにより、失敗またはリトライが多く生じる場合において、現在のロボットまたは保持部100を使用不可として別のものに変更することにより、ピッキング動作の確実性が向上することが期待される。その後、フローは、図8のステップS808に進む。
【0103】
一方、失敗指標および実行リトライ指標が閾値未満である場合には、更新判定部462は、次のピッキング動作を実行するためにロボットまたは保持部100を変更する必要はない(ステップS901:NO)と判定することができる。この場合、ステップS903において、更新判定部462が、第2更新判定を行う。第2更新判定では、例えば、更新判定部462が、次のピッキング動作の成功率が低いか否かを判定する。例えば、更新判定部462は、第1更新判定と同様に、次のピッキング動作についての第1情報S1をキーとして、第1情報がS1である過去の動作記録を動作履歴DB440から検索する。更新判定部462は、第1情報S1が共通するこれらの動作記録において、失敗予兆またはそれに類する結果の出現回数または出現頻度を計算し、その計算結果を判定根拠として使用することができる。例えば、更新判定部462は、第1情報がS1である直近の所定数の動作記録において、ピッキング動作が成功したものの失敗予兆が検知された動作記録の数または頻度を、失敗予兆指標として計算することができる。また、更新判定部462は、第1情報がS1である直近の所定数の動作記録において、ピッキング計画生成のリトライを行った動作記録の数または頻度を計画リトライ指標として、ピッキング動作制御のリトライを行った動作記録の数または頻度を実行リトライ指標として、それぞれ計算することができる。
【0104】
更新判定部462は、失敗指標が所定の閾値以上である場合、失敗予兆指標が所定の閾値以上である場合、計画リトライ指標が所定の閾値以上である場合、および/または実行リトライ指標が所定の閾値以上である場合に、次のピッキング動作の成功率が低い(ステップS903:YES)と判定することができる。この場合、ステップS904において、更新判定部462が、保持部100の移動経路の全体に亘ってまたは一部において保持部100の速度および/または加速度が減少するように、動作設定の更新値を決定する。例えば、更新判定部462は、動作設定DB446に記載された速度および/または加速度の最大値が減少するように、動作設定の更新値を決定する。これにより、失敗、失敗予兆、またはリトライが多く生じる場合において、保持部100の動作をスローダウンすることにより、ピッキング動作の確実性が向上することが期待される。その後、フローは、図8のステップS808へ進む。
【0105】
ここで、ステップS904の具体的な処理内容について、例を挙げてさらに説明する。
例えば、更新判定部462は、アイテム60の第1収容部C1内への落下、第2収容部C2への落下、または収容部C1、C2外への落下の各々について、直近のb回の動作記録中a回以上落下した場合に、最大速度を例えば10%減少させることができる。あるいは、収容部C1、C2外に落下する確率が所定の閾値以上である場合に、最大速度を例えば10%減少させることができる。
【0106】
保持方法が挟持である場合には、動作判定部366は、アイテム60の搬送動作中に、移動経路を構成する所定の2つの経由点P1、P2間で、挟持爪134の開き量の変化が閾値以上であるという事象が生じたか否かを判定し、動作記録として管理装置40に送信することができる。更新判定部462は、上記事象が直近のb回の動作記録中c回以上生じたと判定した場合に、搬送中の保持状態が不安定であると判定して、最大速度を例えば数%減少させることができる。
【0107】
保持方法が吸着である場合には、動作判定部366は、アイテム60の搬送動作中に、移動経路を構成する所定の2つの経由点P1、P2間で、吸着部センサ146により検知される吸引力の変化が閾値以上であるという事象が生じたか否かを判定し、動作記録として管理装置40に送信することができる。更新判定部462は、上記事象が直近のb回の動作記録中c回以上生じたと判定した場合に、搬送中の保持状態が不安定であると判定して、最大速度を例えば数%減少させることができる。
【0108】
一方、失敗指標、失敗予兆指標、計画リトライ指標、および実行リトライ指標が所定の閾値未満である場合には、更新判定部462は、次のピッキング動作の成功率が低くない(ステップS903:NO)と判定することができる。この場合、ステップS905において、更新判定部462が、動作設定DB446の更新が不要であると判定する。その後、フローは、図7のステップS708へ進む。
【0109】
このように、更新判定部462は、過去の動作記録の集合である動作履歴情報に基づいて、動作設定DB446を更新する必要があるか否かを判定する。更新判定には、様々な指標が使用可能である。例えば、更新判定部462は、ピッキング動作の失敗に関する失敗情報、ピッキング動作の失敗予兆に関する失敗予兆情報、ピッキング動作のリトライに関するリトライ情報などに基づいて更新判定を行うことができる。
【0110】
なお、第1更新判定における動作設定の更新の仕方は、上記例に限定されない。例えば、更新判定部462は、失敗指標が所定の閾値以上である場合および/または実行リトライ指標が所定の閾値以上である場合に、現在選択されている動作設定の推奨保持スコアを所定の量または比率だけ減少させてもよい。このように、成功率が低い動作設定を優先的に使用しないように動作設定DB446を更新することによって、ピッキング動作の成功率を増加させることができる。また、更新判定部462は、上記例の代わりに、または上記例に加えて、失敗予兆指標が所定の閾値以上である場合に、次のピッキング動作を実行するためにロボットまたは保持部100を変更する必要がある(ステップS901:YES)と判定してもよい。例えば、更新判定部462は、上記例のように挟持爪134の開き量の変化または吸着部センサ146により検知される吸引力の変化に基づいて、搬送中の保持状態が不安定であると判定した場合に、現在選択されているロボットまたは保持部100の対応フラグを「TRUE」から「FALSE」に変更してもよく、現在選択されている動作設定の推奨保持スコアを所定の量または比率だけ減少させてもよい。
【0111】
次いで、図10を参照して、表示部580に表示される画面例について説明する。
図10は、第1実施形態に係る表示部580に表示される画面例を示す図である。
図10に示すように、表示制御部560は、倉庫実行システム表示部1000、ピッキングステーションモニタ部1002、出庫操作UI部1004、およびデータベースモニタ部1006をユーザに対して表示するように表示部580を制御する。
【0112】
倉庫実行システム表示部1000は、オーダの進行状態を示すオーダ処理進捗テーブル1010を表示する。オーダ処理進捗テーブル1010は、例えば管理装置40から取得したオーダ処理進捗情報に基づいて、オーダごとに担当ロボット、進捗、および経過時間を示す。
【0113】
ピッキングステーションモニタ部1002は、作業スペース内のロボットの稼働状態を示すロボットモニタ部1020と、作業スペース内の作業員の稼働状態を示す作業員モニタ部1022と、を表示する。ロボットモニタ部1020は、例えば制御装置30または管理装置40から取得した各ロボットの稼働情報に基づいて、ロボットが処理しているピッキングリストの情報、過去のピッキング動作の履歴情報などを表示する。作業員モニタ部1022は、例えば制御装置30または管理装置40から取得した各作業員の稼働情報に基づいて、作業員が処理しているピッキングリストの情報、過去のピッキング動作の履歴情報などを表示する。
【0114】
出庫操作UI部1004は、処理対象のオーダを含むファイル名を表示するオーダファイル名表示部1030、「オーダ読み込み」ボタン1032、および「送信」ボタン1034を表示する。出庫操作UI部1004は、ユーザが「オーダ読み込み」ボタン1032を操作したことに応答して、処理対象のオーダファイルをユーザに選択させる画面を表示する。オーダファイル名表示部1030は、ユーザがオーダファイルを選択したことに応答して、選択されたオーダファイル名を表示する。出庫操作UI部1004は、ユーザが「送信」ボタン1034を操作したことに応答して、選択されたオーダファイルを次の処理対象として管理装置40に送信するように処理部56に指示する。
【0115】
データベースモニタ部1006は、処理対象のピッキングリストを示すピッキングリスト表示部1040と、動作設定DB446の更新処理の進捗を示す更新進捗表示部1042と、更新判定部462による更新判定結果を示す更新判定表示部1044と、動作設定DB446の初期化を行うための「DB初期化」ボタン1046と、動作履歴DB440に基づく動作履歴情報を示す動作履歴情報テーブル1048と、アイテムDB442に基づくアイテム情報を示すアイテム情報テーブル1050と、を表示する。
【0116】
図10の例では、ピッキングリスト表示部1040は、例えば制御装置30から取得した動作判定情報に基づいて、ピッキングリストにおける直近のピッキング動作の結果を表示する。
【0117】
更新進捗表示部1042は、動作設定DB446の更新処理を「履歴受信」(すなわち、管理装置40が動作記録を制御装置30から受信すること)、「分析」(すなわち、更新判定部462が動作設定DB446を更新するか否かを判定するとともに、更新対象判定部464が更新対象を判定すること)、および「DB更新」(すなわち動作設定更新部466が、動作設定DB446を更新すること)の3段階の表示部に分けて示す。更新進捗表示部1042は、表示部の色を変えることにより、動作設定DB446の更新処理の進捗を示すことができる。
【0118】
更新判定表示部1044は、更新判定部462が動作履歴DB440に基づいて動作設定DB446を更新するか否かを判定した判定結果を表示する。図10に示す例では、更新判定表示部1044の1行目に、直近10回のリトライ回数(15回)が閾値(5回)以上であることが表示されている。ユーザは、この記載から、リトライ回数が閾値以上という条件を満たすので、更新判定部462が動作設定DB446を更新すると判定したことを理解できる。また、更新判定表示部1044の2行目には、直近10回の保持失敗数(2)が閾値(3)より小さいことが表示されている。ユーザは、この記載から、失敗回数が閾値以上という条件を満たさないので、更新判定部462が動作設定DB446を更新しないと判定したことを理解できる。
【0119】
データベースモニタ部1006は、ユーザが「DB初期化」ボタン1046を操作したことに応答して、例えば、管理装置40に動作設定DB446を初期化させるように処理部56に指示する。
【0120】
動作履歴情報テーブル1048は、過去の動作記録を含む動作履歴情報を表示する。「オーダID」欄は、オーダの識別番号を示す。「日時」欄は、ピッキング動作が実行された日時を示す。「アイテムID」欄は、保持対象のアイテム60の識別番号を示す。「計画リトライ数」欄は、当該ピッキング動作におけるピッキング計画の生成のリトライ回数を示す。「実行リトライ数」欄は、当該ピッキング動作における動作制御のリトライ回数を示す。「結果」欄は、動作判定部366により判定されたピッキング動作の結果を示す。
【0121】
アイテム情報テーブル1050は、アイテムDB442に保持された種々のアイテム60の情報を表示する。「アイテムID」欄は、アイテム60の識別番号を示す。「質量」欄は、アイテム60の質量を示す。「X」、「Y」、および「Z」欄は、アイテム60の大きさを示す。「最大水平速度」欄は、アイテム60ごとに設定された保持部100の水平移動速度の上限値を示す。例えば、最大水平速度70%は、当該アイテム60について動作設定DB446で最大速度v1と設定されている場合、当該アイテム60についての最大水平速度が0.7v1であることを意味する。
【0122】
ユーザは、表示部580が図10のような画面を表示することによって、オーダ進捗、ピッキングリストの進捗、作業現場の状態、ピッキング動作の履歴、動作設定DB446の更新状態、アイテム情報などを一度に把握できる。このようなユーザインタフェースは、ユーザが直近の動作履歴情報および動作履歴情報に基づく動作設定DB446の更新判定結果の内容を具体的に確認できる点で、特に有用である。ユーザは、図10の画面から、新規オーダの送信、動作設定DB446の初期化などを実行することもできる。
【0123】
以上のような構成によれば、保持部の動作履歴に基づいて動作設定情報を更新するか否かを判定することにより、ピッキングシステム1は、ピッキング動作の効率性を向上させることができる。特に、複数の動作記録に基づいて動作設定情報の更新判定をすることにより、更新判定部462は、個々の動作に対して都度設定を変更するのではなく、動作制御の傾向に基づいて動作設定情報を更新するか否かを判定することができる。これにより、ピッキングシステム1は、ピッキング動作の効率性を向上させることができる。
【0124】
従来のピッキングシステムにおいて、様々なアイテム60および個々のロボットの特性に応じた調整、ならびに経年劣化などの時間経過による特性変化への対応については、基本的な動作設定を適用することだけでは十分に対応できない場合がある。上記構成によれば、ピッキングシステム1は、ピッキング動作を繰り返すことにより、保持部100の移動速度などの動作設定をロボットおよびアイテム60に応じて適切に調節することができる。
【0125】
一実施形態によれば、更新判定部462は、特定の第1情報について動作設定DB446を更新すると判定した場合に、他の第1情報について動作設定DB446を更新するか否かを判定する。このような構成によれば、更新判定部462が動作設定DB446の特定の項目を更新すると判定した場合に、類似する別項目もまとめて更新することにより、ピッキングシステム1は、動作設定更新処理の効率性を向上させることができる。また、ピッキングシステム1は、動作設定DB446を統一的に管理することができる。
【0126】
一実施形態によれば、更新判定部462は、上記特定の第1情報および上記他の第1情報におけるアイテム60の属性、アイテム60の配置、保持部100の属性、および保持部100の配置のうち1以上に少なくとも基づいて、上記他の第1情報について動作設定DB446を更新するか否かを判定する。このような構成によれば、アイテム60および保持部100の属性および配置を更新対象判定の基準にすることにより、動作設定更新部466は、類似する複数の第1情報についての第2情報をまとめて更新することができる。
【0127】
一実施形態によれば、動作判定部366は、保持部100の動作制御の結果を評価する。動作履歴DB440は、過去の動作制御の評価情報を含む。このような構成によれば、動作設定更新部466は、過去の動作制御の結果に基づいて、その後の動作制御結果が改善されるように動作設定DB446を更新することができる。
【0128】
一実施形態によれば、動作判定部366は、保持部100の動作制御において失敗の予兆があったか否かを判定する。動作履歴DB440に含まれる過去の動作制御の評価情報は、失敗の予兆があったか否かを示す情報を含む。このような構成によれば、失敗予兆を更新判定の基準として使用することにより、動作設定更新部466は、保持部100が実際にピッキングに失敗する前に第2情報を更新することができる。これにより、ピッキングシステム1は、ピッキングが失敗する可能性を低減することができる。
【0129】
一実施形態によれば、更新判定部462は、動作履歴DB440における特定の評価の出現回数または出現頻度に少なくとも基づいて、動作設定DB446を更新するか否かを判定する。このような構成によれば、動作失敗に即座に応答するのではなく、一定期間における特定の評価(失敗など)の回数または頻度に基づいて動作設定DB446を更新することにより、ピッキングシステム1は、中長期的な動作制御の評価に基づく全体最適化を行うことができる。
【0130】
一実施形態によれば、更新判定部462は、ピッキング動作を行う保持部100を変更するように動作設定DB446を更新するか否か、を判定する第1更新判定を行う。このような構成によれば、失敗が多発するなど現在の保持部がピッキング動作に適していない場合に、より適切なピッキング装置10や保持手段を利用することにより、ピッキングシステム1は、ピッキング動作の成功確率を増加させることができる。
【0131】
一実施形態によれば、更新判定部462は、保持部100の移動経路の全部または一部において保持部100の速度および/または加速度が減少するように動作設定DB446を更新するか否か、を判定する第2更新判定を行う。このような構成によれば、リトライや警告が多い場合に、保持部100の動作をスローダウンすることにより、ピッキングシステム1は、ピッキング動作の成功確率を増加させることができる。
【0132】
一実施形態によれば、動作履歴DB440は、制御装置30の処理部36がピッキング動作のための処理をリトライしたか否かを示すリトライ情報を含む。更新判定部462は、リトライ情報に少なくとも基づいて、動作設定DB446を更新するか否かを判定する。このような構成によれば、リトライ情報を更新判定の基準として使用することにより、更新判定部462は、単にピッキング動作の結果(成功または失敗)に基づいて更新判定をする場合よりも、少ない動作履歴数によって更新判定をすることができる。
【0133】
一実施形態によれば、更新判定部462は、リトライの回数または頻度が閾値以上である場合に、動作設定DB446を更新すると判定する。このような構成によれば、リトライが多い場合には、保持部100の動作制御が不適切である可能性があるので、更新判定部462は、動作設定DB446を更新することにより、ピッキング動作の成功確率を増加させることができる。
【0134】
一実施形態によれば、動作設定DB446は、保持部100の動作制御に関する物理量の上限値および/または下限値を指定する臨界値情報を含む。動作設定更新部466は、動作設定DB446を更新すると判定した場合に、臨界値情報を更新する。このような構成によれば、動作設定更新部466は、動作履歴情報に応じて、物理量の臨界値を調節することにより、ピッキング動作の成功確率を増加させることができる。
【0135】
一実施形態によれば、動作設定DB446は、保持部100の動作制御に関する物理量の変化パターンを指定する変化パターン情報を含む。動作設定更新部466は、動作設定DB446を更新すると判定した場合に、変化パターン情報を更新する。このような構成によれば、動作設定更新部466は、動作履歴情報に応じて、物理量の変化パターンを変更する(例えば、物理量の変化が緩やかにまたは激しくなるように設定する)ことにより、ピッキング動作の成功確率を増加させることができる。
【0136】
一実施形態によれば、動作設定DB446は、保持部100の位置および/または姿勢を指定する位置姿勢情報を含む。動作設定更新部466は、動作設定DB446を更新すると判定した場合に、位置姿勢情報を更新する。このような構成によれば、動作設定更新部466は、動作履歴情報に応じて、アイテム60を保持するための保持部100の位置および姿勢を調節することにより、ピッキング動作の成功確率を増加させることができる。
【0137】
一実施形態によれば、動作設定DB446における動作設定は、保持部100の動作制御におけるデフォルト設定である。このような構成によれば、ピッキングシステム1は、動作制御部364が保持部100の動作を制御する際にデフォルト値として使用する基本動作設定を、動作履歴に基づいて更新することができる。
【0138】
一実施形態によれば、表示制御部368、468、560は、保持部100の動作記録を含む動作履歴DB440に関する第1視覚的要素1048と、保持部100がアイテム60を保持する保持動作に付帯する第1情報と保持部100を動作させるための動作設定を含む第2情報とを関連付ける動作設定DB446に関する第2視覚的要素1044と、を表示部580に表示させる。取得部32、42、52は、保持部100の動作記録を取得する。表示制御部368、468、560は、動作記録を取得したことに応答して、取得された動作記録が追加された動作履歴DB440を、第1視覚的要素1048に表示させる。取得された動作記録が動作履歴DB440に追加されたことに応答して、動作設定DB446を更新するか否かを動作履歴DB440に基づいて判定した結果を、第2視覚的要素1044に表示させる。このような構成によれば、ユーザは、動作履歴DB440の更新および動作履歴DB440に基づく動作設定DB446の更新判定結果の内容をリアルタイムに確認することができる。
【0139】
(第2の実施形態)
次いで、図11を参照して、第2の実施形態に係るピッキングシステム1について説明する。
図11は、第2実施形態に係る更新対象判定部464が更新対象を判定する処理を示すフローチャートである。
【0140】
第2の実施形態は、更新判定部462が第1の実施形態で説明した第1更新判定および第2更新判定と相違する「第3更新判定」を行う点で第1の実施形態と異なる。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。
【0141】
第2の実施形態における処理の流れは、第1の実施形態について図7および図8を参照して説明した流れと同様である。ただし、図8のステップS806およびS807の具体的な処理内容は、第1の実施形態の処理内容(図9参照)と相違する。図11は、第2の実施形態におけるステップS806およびS807の具体的な処理を示す。
【0142】
図11に示すフローにおいて、ステップS1101~S1104の内容は第1の実施形態と同様である。ステップS1103の第2更新判定において、更新判定部462が次のピッキング動作の成功率が低くないと判定した場合(ステップS903:NO)、ステップS1105において、更新判定部462が、第3更新判定を行う。第3更新判定では、例えば、更新判定部462が、次のピッキング動作の成功率が十分に高いか否かを判定する。例えば、更新判定部462は、第2更新判定と同様に、次のピッキング動作についての第1情報S1をキーとして、第1情報がS1である過去の動作記録を動作履歴DB440から検索する。更新判定部462は、第1情報S1が共通するこれらの動作記録において、失敗、失敗予兆、またはそれに類する結果の出現回数または出現頻度を計算し、その計算結果を判定根拠として使用することができる。例えば、更新判定部462は、第1情報がS1である直近の所定数の動作記録において、ピッキング動作が成功したものの失敗(または失敗予兆)が検知された動作記録の数または頻度を、失敗指標(または失敗予兆指標)として計算することができる。また、更新判定部462は、第1情報がS1である直近の所定数の動作記録において、ピッキング動作制御のリトライを行った動作記録の数または頻度を実行リトライ指標として計算することができる。
【0143】
更新判定部462は、失敗指標が所定の閾値以下であり、失敗予兆指標が所定の閾値以下であり、かつ実行リトライ指標が所定の閾値以下である場合に、次のピッキング動作の成功率が十分に高い(ステップS1105:YES)と判定することができる。例えば、両閾値を0に設定すれば、更新判定部462は、失敗指標、失敗予兆指標、および実行リトライ指標がいずれも0である場合に、次のピッキング動作の成功率が十分に高いと判定する。この場合、ステップS1106において、更新判定部462が、保持部100の移動経路の全部または一部において保持部100の速度および/または加速度が増加するように、動作設定の更新値を決定する。これにより、失敗、失敗予兆、またはリトライが非常に少ないまたは全く発生しない場合において、保持部100の動作をスピードアップすることができる。これにより、保持部100が過度に丁寧な動作をしている場合に動作を加速することによって、ピッキング動作の効率性が向上することが期待される。その後、フローは、図8のステップS808へ進む。
【0144】
ここで、ステップS1106の具体的な処理内容について、例を挙げてさらに説明する。
例えば、更新判定部462は、アイテム60の第1収容部C1内への落下、第2収容部C2への落下、または収容部C1、C2外への落下の各々について、直近のb回の動作記録中で落下がなかった場合に、最大速度を例えば10%増加させることができる。ただし、更新判定部462が過去に第2更新判定によって最大速度を減少させたことがある場合には、更新判定部462は、最大速度を当該判定時の速度以上の値までは増加させないようにすることが好ましい。
【0145】
保持方法が挟持である場合には、動作判定部366は、アイテム60の搬送動作中に、移動経路を構成する所定の2つの経由点P1、P2間で、挟持爪134の開き量の変化が閾値以上であるという事象が生じたか否かを判定し、動作記録として管理装置40に送信することができる。更新判定部462は、上記事象が直近のb回の動作記録中c回以上検知されなかった場合に、搬送中の保持状態が十分に安定していると判定して、最大速度を例えば10%増加させることができる。ただし、更新判定部462が過去に第2更新判定によって最大速度を減少させたことがある場合には、更新判定部462は、最大速度を当該判定時の速度以上の値までは増加させないようにすることが好ましい。
【0146】
保持方法が吸着である場合には、動作判定部366は、アイテム60の搬送動作中に、移動経路を構成する所定の2つの経由点P1、P2間で、吸着部センサ146により検知される吸引力の変化が閾値以上であるという事象が生じたか否かを判定し、動作記録として管理装置40に送信することができる。更新判定部462は、上記事象が直近のb回の動作記録中c回以上検知されなかった場合に、搬送中の保持状態が十分に安定していると判定して、最大速度を例えば10%増加させることができる。ただし、更新判定部462が過去に第2更新判定によって最大速度を減少させたことがある場合には、更新判定部462は、最大速度を当該判定時の速度以上の値までは増加させないようにすることが好ましい。
【0147】
一方、失敗指標、失敗予兆指標、および実行リトライ指標が所定の閾値を超える(例えば、0を超える値である)場合には、更新判定部462は、次のピッキング動作の成功率が十分に高くはない(ステップS1105:NO)と判定することができる。この場合、ステップS1107において、更新判定部462が、動作設定DB446の更新が不要であると判定する。その後、フローは、図7のステップS708へ進む。
【0148】
このように、更新判定部462は、第3更新判定において成功率が十分に高いと判定した場合には、ピッキング動作における保持部100の速度および/または加速度を増加させるように動作設定DB446を更新する。これにより、ピッキングシステム1は、保持部100の移動が過度に遅い場合に、保持部100の動作をスピードアップさせることによってピッキング動作の効率性を向上させることができる。その後、保持部100の移動速度が過度に大きくなった場合には、更新判定部462が、第2更新判定によって再び保持部100の動作をスローダウンさせるように動作設定DB446を更新する。これを繰り返すことにより、動作設定DB446における保持部100の速度や加速度に関する動作設定を最適化することができる。
【0149】
なお、更新判定部462は、失敗指標が所定の閾値以下であり、かつ失敗予兆指標が所定の閾値以下である場合(例えば、失敗指標および失敗予兆指標が0である場合)に、保持部100の速度および/または加速度の更新に加えて、またはその代わりに、現在選択されている動作設定の推奨保持スコアを所定の量または比率だけ増加させてもよい。このように、成功率が高い動作設定を優先的に使用するように動作設定DB446を更新することによって、ピッキング動作の成功率を増加させることができる。
【0150】
本実施形態では、更新判定部462は、保持部100の移動経路の全部または一部において保持部100の速度および/または加速度が増加するように動作設定DB446を更新するか否か、を判定する第3更新判定を行う。このような構成によれば、失敗やリトライが十分に少ない場合には、保持部100の動作が過度に遅い可能性があるので、ピッキングシステム1は、保持部100の動作をスピードアップさせることにより、ピッキング動作の効率性を向上させることができる。
【0151】
上記実施形態では、更新判定部462による動作設定DB446の更新値の決定および更新対象判定部464による更新対象の判定はルールベースで実行されているが、これらの処理を機械学習された学習済みモデルを使用して実行してもよい。動作設定DB446の更新値については、例えば、更新判定部462が動作設定DB446を更新すると判定する条件と、動作設定DB446の更新方法との関係などを学習させた学習済みモデルを使用して決定してもよい。更新対象については、例えば、更新判定部462が動作設定DB446を更新すると判定する条件と、更新対象を選択する指標との関係などを学習させた学習済みモデルを使用して決定してもよい。
【0152】
なお、各実施形態では、制御装置30、管理装置40、およびユーザ端末50における処理をCPU(中央演算処理装置)のような1以上のプロセッサを用いてメモリなどの外部記憶装置内のプログラムソフトで実現することが想定されるが、CPUを用いないハードウェア(例えば、回路部;circuitry)によって実現してもよい。また、クラウドサーバを介して処理を実行してもよい。
【0153】
各実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行可能である。汎用の計算機システムが、予め記憶したプログラムを読み込むことにより、上述した処理手順による効果と同様な効果を得ることも可能である。各実施形態に記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW、Blu-ray(登録商標)Discなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式はいずれの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させることにより、上述した処理手順と同様な動作を実現することができる。コンピュータは、ネットワークを通じてプログラムを取得又は読み込んでもよい。
【0154】
コンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークなどのMW(ミドルウェア)などが、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づいて、処理手順の一部を実行してもよい。各実施形態における記録媒体は、コンピュータや組み込みシステムから独立した媒体に限らず、LANやインターネットなどにより伝達されたプログラムをダウンロードして記憶又は一時記憶した記録媒体も含まれる。記録媒体は1つに限定されず、複数の媒体から処理が実行されてもよい。このような記録媒体は、いずれの構成であってもよい。
【0155】
各実施形態におけるコンピュータ又は組み込みシステムは、記録媒体に記憶されたプログラムに基づき、各実施形態における各処理を実行するためのものであって、パソコン、マイコンなどの1つからなる装置、複数の装置がネットワーク接続されたシステムなどのいずれの構成であってもよい。各実施形態におけるコンピュータとは、パソコンに限定されず、情報処理機器に含まれる演算処理装置、マイコンなども含み、プログラムによって各実施形態における機能を実現することが可能な機器や装置の総称である。
【0156】
以上説明した少なくともひとつの実施形態によれば、動作履歴DB440に含まれる複数の動作記録に基づいて動作設定DB446を更新するか否かを判定することにより、ピッキング動作の効率性を向上させることができる。
【0157】
上記例において説明した取得部、処理部、記憶部、出力部などの各機能部は、制御装置が備えるプロセッサ、メモリ、ストレージ、入出力インタフェース、通信インタフェース、これらを相互接続するバスなどを含むハードウェア構成の協働により実現される機能部である。
【0158】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0159】
1…ピッキングシステム(ハンドリングシステム)、10…ピッキング装置(ハンドリング装置)、100…保持部、120…挟持部、140…吸着部、20…情報取得装置、30…制御装置、360…認識部、362…計画部、364…動作制御部、366…動作判定部、368…表示制御部、40…管理装置、440…動作履歴DB、442…アイテムDB、444…ロボットDB、446…動作設定DB、448…プログラム、460…履歴更新部、462…更新判定部、464…更新対象判定部、466…動作設定更新部、468…表示制御部、50…ユーザ端末、56…処理部、560…表示制御部、58…出力部、580…表示部、60…アイテム(物体)。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11