知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184261
(43)【公開日】2022-12-13
(54)【発明の名称】容器詰手順提供装置及び容器詰手順提供方法
(51)【国際特許分類】
B65B 57/10 20060101AFI20221206BHJP
G06T 7/60 20170101ALI20221206BHJP
B65B 5/08 20060101ALI20221206BHJP
B65B 35/56 20060101ALI20221206BHJP
【ＦＩ】
B65B57/10 Z
G06T7/60 150S
B65B5/08
B65B35/56
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021091994
(22)【出願日】2021-06-01
(71)【出願人】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】細居 智樹
(72)【発明者】
【氏名】田原 鉄也
【テーマコード（参考）】
3E003
3E054
5L096
【Ｆターム（参考）】
3E003AA01
3E003AB01
3E003CB02
3E003CB06
3E003DA07
3E054GA01
3E054GB02
3E054GB03
3E054GC07
3E054GC10
3E054JA02
5L096AA09
5L096BA05
5L096CA02
5L096DA02
5L096FA64
5L096GA08
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】登録情報に物体の形状寸法を示す情報が含まれていない場合でも、物体を容器に詰める際の手順を提供可能とする。
【解決手段】物体毎に、登録情報を取得する登録情報取得部１と、物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部２と、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法に基づいて、物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部３とを備えた。
【選択図】図１
【解決手段】物体毎に、登録情報を取得する登録情報取得部１と、物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部２と、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法に基づいて、物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部３とを備えた。
【選択図】図１
【特許請求の範囲】
【請求項1】
物体毎に、登録情報を取得する登録情報取得部と、
前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部と、
前記登録情報取得部により取得された登録情報及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部と
を備えた容器詰手順提供装置。
前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部と、
前記登録情報取得部により取得された登録情報及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部と
を備えた容器詰手順提供装置。
【請求項2】
前記形状寸法推定部は、前記登録情報取得部により取得された登録情報に前記物体の形状寸法を示す情報が含まれている場合、当該物体の形状寸法の推定は行わない
ことを特徴とする請求項１記載の容器詰手順提供装置。
ことを特徴とする請求項１記載の容器詰手順提供装置。
【請求項3】
物体毎に、当該物体が映された画像から、当該物体の属性を推定する属性推定部と、
前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部と、
前記属性推定部により推定された属性及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部と
を備えた容器詰手順提供装置。
前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部と、
前記属性推定部により推定された属性及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部と
を備えた容器詰手順提供装置。
【請求項4】
登録情報取得部が、物体毎に、登録情報を取得するステップと、
形状寸法推定部が、前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定するステップと、
容器詰手順算出部が、前記登録情報取得部により取得された登録情報及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出するステップと
を有する容器詰手順提供方法。
形状寸法推定部が、前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定するステップと、
容器詰手順算出部が、前記登録情報取得部により取得された登録情報及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出するステップと
を有する容器詰手順提供方法。
【請求項5】
属性推定部が、物体毎に、当該物体が映された画像から、当該物体の属性を推定するステップと、
形状寸法推定部が、前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定するステップと、
容器詰手順算出部が、前記属性推定部により推定された属性及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出するステップと
を有する容器詰手順提供方法。
形状寸法推定部が、前記物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定するステップと、
容器詰手順算出部が、前記属性推定部により推定された属性及び前記形状寸法推定部により推定された形状寸法に基づいて、前記物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出するステップと
を有する容器詰手順提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、物体を容器に詰める際の手順を提供する容器詰手順提供装置及び容器詰手順提供方法に関する。
【背景技術】
【0002】
従来、スーパー又はコンビニエンスストア等の店舗、或いは、通信販売又は配達サービス等において、人が手作業で商品等の物体を袋等の容器に詰める作業（以下、容器詰め作業と総称）を行ってきた。一方、近年のロボット技術の進化に伴い、容器詰め作業のロボットによる自動化が望まれてきている。
【0003】
しかしながら、容器詰め作業は、物体を容器に詰める順序及び物体の容器内での位置姿勢が適切でないと、物体又は容器が損傷したり、物体が容器に収まりきらない等の問題が生じる。そのため、物体を容器に詰める適切な順序及び物体の容器内での適切な位置姿勢は、容器詰め作業を自動化するにあたって非常に重要な情報となる。
【0004】
これは、人が手作業で容器詰め作業を行った場合にも当てはまる。そのため、従来でも、端末等を用いて物体又は容器の形状寸法に関する情報を取得し、物体を容器に詰める適切な順序及び物体の容器内での適切な位置姿勢等を算出し、利用者である人に提供する技術が開示されている。
【0005】
例えば、特許文献１では、購入商品に関する登録データを入力装置から読取り、登録データの中の商品寸法を元に、商品の位置及び順序を算出している。
また、特許文献２では、上記に加え、ユーザが事前に袋の情報を登録することにより、様々な形状の袋にも対応可能としている。
また、特許文献２では、上記に加え、ユーザが事前に袋の情報を登録することにより、様々な形状の袋にも対応可能としている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００４－２１８３６号公報
【特許文献2】特願２０１６－１３９６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記に示したような従来技術では、登録情報に物体の形状寸法を示す情報が含まれていることが前提となっている。しかしながら、必ずしも全ての登録情報に物体の形状寸法を示す情報が含まれているとは限らない。一方、上記のような従来技術を適用するために、改めて登録情報に物体の形状寸法を示す情報を追加することは非現実的である。
また、野菜及び青果物のように個々に形状寸法が異なるものは、個別に登録情報を形状寸法と関連付けて登録すること自体が困難である。
このように、従来技術では、実際の現場で適用できない対象があるという課題がある。
また、野菜及び青果物のように個々に形状寸法が異なるものは、個別に登録情報を形状寸法と関連付けて登録すること自体が困難である。
このように、従来技術では、実際の現場で適用できない対象があるという課題がある。
【0008】
この発明は、上記のような課題を解決するためになされたもので、登録情報に物体の形状寸法を示す情報が含まれていない場合でも、物体を容器に詰める際の手順を提供可能な容器詰手順提供装置を提供することを目的としている。
【課題を解決するための手段】
【0009】
この発明に係る容器詰手順提供装置は、物体毎に、登録情報を取得する登録情報取得部と、物体毎に、当該物体が映された画像から、当該物体の形状寸法を推定する形状寸法推定部と、登録情報取得部により取得された登録情報及び形状寸法推定部により推定された形状寸法に基づいて、物体を容器に詰める順序及び当該物体の当該容器内での位置姿勢を算出する容器詰手順算出部とを備えたことを特徴とする。
【発明の効果】
【0010】
この発明によれば、上記のように構成したので、登録情報に物体の形状寸法を示す情報が含まれていない場合でも、物体を容器に詰める際の手順を提供可能となる。
【図面の簡単な説明】
【0011】
【図1】実施の形態１に係る容器詰手順提供装置の構成例を示す図である。
【図2】実施の形態１における形状寸法推定部の構成例を示す図である。
【図3】実施の形態１における容器詰手順算出部の構成例を示す図である。
【図4】実施の形態１に係る容器詰手順提供装置の動作例を示すフローチャートである。
【図5】実施の形態１における形状寸法推定部の動作例を示すフローチャートである。
【図6】実施の形態１における形状寸法推定部の動作例を説明する図である。
【図7】実施の形態１における形状寸法推定部の動作例を説明する図である（物体が球状である場合）。
【図8】実施の形態１における形状寸法推定部の動作例を説明する図である（物体が楕円球状である場合）。
【図9】実施の形態１における形状寸法推定部の動作例を説明する図である（物体が円錐状である場合）。
【図10】実施の形態１における形状寸法推定部の動作例を説明する図である（物体が逆円錐状である場合）。
【図11】実施の形態１における容器詰手順算出部の動作例を示すフローチャートである。
【図12】実施の形態２における形状寸法推定部の構成例を示す図である。
【図13】実施の形態３に係る容器詰手順提供装置の構成例を示す図である。
【図14】実施の形態３に係る容器詰手順提供装置の動作例を示すフローチャートである。
【図15】実施の形態４に係る容器詰手順提供装置の構成例を示す図である。
【図16】実施の形態４における物体情報推定部の構成例を示す図である。
【図17】実施の形態４に係る容器詰手順提供装置の動作例を示すフローチャートである。
【図18】実施の形態４における物体情報推定部の動作例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る容器詰手順提供装置の構成例を示す図である。
容器詰手順提供装置は、ロボットが商品等の物体１１（図６等参照）を袋等の容器に詰める際の手順を提供するための装置である。この容器詰手順提供装置は、図１に示すように、登録情報取得部１、形状寸法推定部２及び容器詰手順算出部３を備えている。
実施の形態１．
図１は実施の形態１に係る容器詰手順提供装置の構成例を示す図である。
容器詰手順提供装置は、ロボットが商品等の物体１１（図６等参照）を袋等の容器に詰める際の手順を提供するための装置である。この容器詰手順提供装置は、図１に示すように、登録情報取得部１、形状寸法推定部２及び容器詰手順算出部３を備えている。
【0013】
なお、容器詰手順提供装置は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。
【0014】
登録情報取得部１は、物体１１毎に、登録情報を取得する。登録情報には、例えば、物体１１の種類、重さ、脆さ、掴み易さ又は変形し易さ等を表す属性を示す情報が含まれる。この際、登録情報取得部１は、例えば、物体１１又は当該物体１１が収容された外箱等に印刷されたバーコード、２次元バーコード又はＩＣタグ等を入力端末等により読取ることで、当該物体１１の登録情報を取得する。
【0015】
形状寸法推定部２は、物体１１毎に、当該物体１１が映された画像から、当該物体１１の形状寸法を推定する。この形状寸法推定部２の構成例については後述する。
【0016】
容器詰手順算出部３は、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法に基づいて、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する。この容器詰手順算出部３の構成例については後述する。
【0017】
次に、形状寸法推定部２の構成例について、図２を参照しながら説明する。
形状寸法推定部２は、図２に示すように、距離画像取得部２０１、領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５を有している。
形状寸法推定部２は、図２に示すように、距離画像取得部２０１、領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５を有している。
【0018】
距離画像取得部２０１は、物体距離画像を取得する。物体距離画像は、物体１１が映された距離画像である。この際、距離画像取得部２０１は、ステージ１２上に置かれた物体１１が距離画像センサ等の撮影装置１３により撮影されることで得られた物体距離画像を少なくとも一枚取得する（図６等参照）。
【0019】
領域画像取得部２０２は、距離画像取得部２０１により取得された物体距離画像に基づいて、当該物体距離画像から物体領域画像を取得する。物体領域画像は、物体距離画像のうち、物体１１が映された領域の画像である。この際、領域画像取得部２０２は、上記物体距離画像と背景距離画像との差分画像を生成し、当該差分画像において差分値が閾値を超えた画素の領域の画像を、物体領域画像として取得する。背景距離画像は、物体１１が無い状態で、上記物体距離画像と同じ領域が映された距離画像である。
【0020】
可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、物体１１の可視領域での形状寸法（後述する可視形状寸法１１０２）を算出する。この際、可視形状算出部２０３は、上記物体距離画像及び上記物体領域画像から、物体１１の画像上で認識可能な表面の３次元座標を取得し、当該表面の形状寸法を算出する。
【0021】
不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、物体１１の不可視領域での形状寸法（後述する不可視形状寸法１１０３）を推定する。この際、不可視形状推定部２０４は、上記形状寸法及び上記背景距離画像から、物体１１の画像上で認識不可能な表面の形状を推定し、当該表面の形状寸法を推定する。
【0022】
形状合成部２０５は、可視形状算出部２０３により算出された形状寸法及び不可視形状推定部２０４により推定された形状寸法に基づいて、物体１１全体の形状寸法を算出する。この際、形状合成部２０５は、物体１１の可視形状寸法１１０２及び不可視形状寸法１１０３を境界面１１０１を合わせて合成することで、当該物体１１全体の形状寸法を算出する。
【0023】
次に、容器詰手順算出部３の構成例について、図３を参照しながら説明する。
容器詰手順算出部３は、図３に示すように、物体情報取得部３０１、位置姿勢算出部３０２、順序算出部３０３及び軌道決定部３０４を有している。
容器詰手順算出部３は、図３に示すように、物体情報取得部３０１、位置姿勢算出部３０２、順序算出部３０３及び軌道決定部３０４を有している。
【0024】
物体情報取得部３０１は、物体１１毎に、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法を取得する。
【0025】
位置姿勢算出部３０２は、容器の形状寸法並びに物体情報取得部３０１により取得された登録情報及び形状寸法に基づいて、物体１１毎に、当該容器に収容された際の位置姿勢を算出する。なお、容器の形状寸法は、事前に把握可能である。
【0026】
順序算出部３０３は、位置姿勢算出部３０２により算出された位置姿勢に基づいて、物体１１毎に、容器に詰める順序を算出する。
【0027】
軌道決定部３０４は、位置姿勢算出部３０２により算出された位置姿勢及び順序算出部３０３により算出された順序に基づいて、物体１１毎に、ロボットが容器に詰める際の軌道を決定する。
【0028】
次に、図１に示す実施の形態１に係る容器詰手順提供装置の動作例について、図４を参照しながら説明する。
図１に示す実施の形態１に係る容器詰手順提供装置の動作例では、図４に示すように、まず、容器詰手順提供装置は、容器に詰める物体１１の数（物体数）を０に設定して初期化する（ステップＳＴ４０１）。
図１に示す実施の形態１に係る容器詰手順提供装置の動作例では、図４に示すように、まず、容器詰手順提供装置は、容器に詰める物体１１の数（物体数）を０に設定して初期化する（ステップＳＴ４０１）。
【0029】
次に、登録情報取得部１は、物体１１の登録情報を取得する（ステップＳＴ４０２）。この際、登録情報取得部１は、例えば、物体１１又は当該物体１１が収容された外箱等に印刷されたバーコード、２次元バーコード又はＩＣタグ等を入力端末等により読取ることで、当該物体１１の登録情報を取得する。
【0030】
次いで、形状寸法推定部２は、物体１１が映された画像から、当該物体１１の形状寸法を推定する（ステップＳＴ４０３）。
【0031】
次いで、容器詰手順提供装置は、容器に詰める全ての物体１１に対してステップＳＴ４０２，４０３の処理を終了したかを判定する（ステップＳＴ４０４）。
このステップＳＴ４０４において、容器詰手順提供装置が処理が終了していない物体１１が存在すると判定した場合、シーケンスはステップＳＴ４０２に戻り、次の物体１１に対する処理を行う。
このステップＳＴ４０４において、容器詰手順提供装置が処理が終了していない物体１１が存在すると判定した場合、シーケンスはステップＳＴ４０２に戻り、次の物体１１に対する処理を行う。
【0032】
一方、ステップＳＴ４０４において、容器詰手順提供装置は、全ての物体１１に対して処理が終了したと判定した場合、容器に詰める物体１１の数を確定する（ステップＳＴ４０５）。
【0033】
次いで、容器詰手順算出部３は、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法に基づいて、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する（ステップＳＴ４０６）。
【0034】
次いで、容器詰手順提供装置は、容器詰手順算出部３により算出された順序及び位置姿勢を示すデータを、容器詰め作業を行うロボットに対して出力する（ステップＳＴ４０７）。その後、ロボットは、上記データに基づいて物体１１の容器詰め作業を行う。
【0035】
次に、図２に示す実施の形態１における形状寸法推定部２の動作例について、図５を参照しながら説明する。
図２に示す実施の形態１における形状寸法推定部２の動作例では、図５に示すように、まず、距離画像取得部２０１は、物体距離画像を取得する（ステップＳＴ５０１）。この際、距離画像取得部２０１は、ステージ１２上に置かれた物体１１が距離画像センサ等の撮影装置１３により撮影されることで得られた物体距離画像を少なくとも一枚取得する。
図２に示す実施の形態１における形状寸法推定部２の動作例では、図５に示すように、まず、距離画像取得部２０１は、物体距離画像を取得する（ステップＳＴ５０１）。この際、距離画像取得部２０１は、ステージ１２上に置かれた物体１１が距離画像センサ等の撮影装置１３により撮影されることで得られた物体距離画像を少なくとも一枚取得する。
【0036】
次いで、領域画像取得部２０２は、距離画像取得部２０１により取得された物体距離画像に基づいて、当該物体距離画像から物体領域画像を取得する（ステップＳＴ５０２）。この際、領域画像取得部２０２は、上記物体距離画像と背景距離画像との差分画像を生成し、当該差分画像において差分値が閾値を超えた画素の領域の画像を、物体領域画像として取得する。
【0037】
次いで、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、物体１１の可視領域での形状寸法を算出する（ステップＳＴ５０３）。この際、可視形状算出部２０３は、上記物体距離画像及び上記物体領域画像から、物体１１の画像上で認識可能な表面の３次元座標を取得し、当該表面の形状寸法を算出する。
【0038】
次いで、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、物体１１の不可視領域での形状寸法を推定する（ステップＳＴ５０４）。この際、不可視形状推定部２０４は、上記形状寸法及び上記背景距離画像から、物体１１の画像上で認識不可能な表面の形状を推定し、当該表面の形状寸法を推定する。
【0039】
より具体的には、不可視形状推定部２０４は、可視形状寸法１１０２の境界面１１０１に対し、不可視形状寸法１１０３の初期値として当該可視形状寸法１１０２と面対象となるような形状寸法を設定した後、物体１１とステージ１２との姿勢から幾何学的に安定するように不可視形状寸法１１０３を変形させることで、不可視形状寸法１１０３を推定する。
【0040】
次いで、形状合成部２０５は、可視形状算出部２０３により算出された形状寸法及び不可視形状推定部２０４により推定された形状寸法に基づいて、物体１１全体の形状寸法を算出する（ステップＳＴ５０５）。この際、形状合成部２０５は、物体１１の可視領域での形状寸法及び当該物体１１の不可視領域での形状寸法を境界面１１０１を合わせて合成することで、当該物体１１全体の形状寸法を算出する。
【0041】
以下に、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５の動作について、より具体的に説明する。
ここで、例えば図６に示すように、ステージ１２上に置かれた物体１１が撮影装置１３により撮影されると、当該物体１１のうちの境界面１１０１より上側の表面部分が映される。そのため、可視形状算出部２０３は、上記物体１１のうちの境界面１１０１より上側の表面部分の形状寸法（可視形状寸法１１０２）を算出することになる。一方、上記物体１１のうちの境界面１１０１より下側の表面部分は不可視であり、不可視形状推定部２０４はこの部分の形状寸法（不可視形状寸法１１０３）を推定することになる。なお、境界面１１０１は、形状合成部２０５において、可視形状算出部２０３による算出結果と不可視形状推定部２０４による推定結果との合成を行う際に用いられる合成平面である。
ここで、例えば図６に示すように、ステージ１２上に置かれた物体１１が撮影装置１３により撮影されると、当該物体１１のうちの境界面１１０１より上側の表面部分が映される。そのため、可視形状算出部２０３は、上記物体１１のうちの境界面１１０１より上側の表面部分の形状寸法（可視形状寸法１１０２）を算出することになる。一方、上記物体１１のうちの境界面１１０１より下側の表面部分は不可視であり、不可視形状推定部２０４はこの部分の形状寸法（不可視形状寸法１１０３）を推定することになる。なお、境界面１１０１は、形状合成部２０５において、可視形状算出部２０３による算出結果と不可視形状推定部２０４による推定結果との合成を行う際に用いられる合成平面である。
【0042】
まず、図７に示すように、形状寸法推定部２が形状寸法を推定する物体１１が、例えば球状の物体である場合を考える。
この場合、まず、図７Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。
次に、図７Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
次に、図７Ｃに示すように、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、境界面１１０１よりステージ１２側（下側）における物体１１の形状寸法（不可視形状寸法１１０３）の初期値として、境界面１１０１に対して可視形状寸法１１０２と面対称となるような形状寸法を設定する。
次に、図７Ｄに示すように、不可視形状推定部２０４は、境界面１１０１よりステージ１２側における物体１１の形状寸法（不可視形状寸法１１０３）を、ステージ１２に接地するように法線方向に伸縮させる。このようにして、不可視形状推定部２０４は、物体１１の不可視部分の形状寸法の推定を行う。
その後、形状合成部２０５は、可視形状寸法１１０２と不可視形状寸法１１０３とを境界面１１０１で合成する。
この場合、まず、図７Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。
次に、図７Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
次に、図７Ｃに示すように、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、境界面１１０１よりステージ１２側（下側）における物体１１の形状寸法（不可視形状寸法１１０３）の初期値として、境界面１１０１に対して可視形状寸法１１０２と面対称となるような形状寸法を設定する。
次に、図７Ｄに示すように、不可視形状推定部２０４は、境界面１１０１よりステージ１２側における物体１１の形状寸法（不可視形状寸法１１０３）を、ステージ１２に接地するように法線方向に伸縮させる。このようにして、不可視形状推定部２０４は、物体１１の不可視部分の形状寸法の推定を行う。
その後、形状合成部２０５は、可視形状寸法１１０２と不可視形状寸法１１０３とを境界面１１０１で合成する。
【0043】
次に、図８に示すように、形状寸法推定部２が形状寸法を推定する物体１１が、例えば楕円球状の物体である場合を考える。
この場合、まず、図８Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。
次に、図８Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
次に、図８Ｃに示すように、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、境界面１１０１よりステージ１２側（下側）における物体１１の形状寸法（不可視形状寸法１１０３）の初期値として、境界面１１０１に対して可視形状寸法１１０２と面対称となるような形状寸法を設定する。
次に、図８Ｄに示すように、不可視形状推定部２０４は、境界面１１０１よりステージ１２側における物体１１の形状寸法（不可視形状寸法１１０３）を、ステージ１２に接地するように法線方向に伸縮させる。このようにして、不可視形状推定部２０４は、物体１１の不可視部分の形状寸法の推定を行う。
その後、形状合成部２０５は、可視形状寸法１１０２と不可視形状寸法１１０３とを境界面１１０１で合成する。
この場合、まず、図８Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。
次に、図８Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
次に、図８Ｃに示すように、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、境界面１１０１よりステージ１２側（下側）における物体１１の形状寸法（不可視形状寸法１１０３）の初期値として、境界面１１０１に対して可視形状寸法１１０２と面対称となるような形状寸法を設定する。
次に、図８Ｄに示すように、不可視形状推定部２０４は、境界面１１０１よりステージ１２側における物体１１の形状寸法（不可視形状寸法１１０３）を、ステージ１２に接地するように法線方向に伸縮させる。このようにして、不可視形状推定部２０４は、物体１１の不可視部分の形状寸法の推定を行う。
その後、形状合成部２０５は、可視形状寸法１１０２と不可視形状寸法１１０３とを境界面１１０１で合成する。
【0044】
次に、図９に示すように、形状寸法推定部２が形状寸法を推定する物体１１が、例えば円錐状の物体であり、すなわち、撮影装置１３から見た物体１１の輪郭が全てステージ１２に接地している場合を考える。
この場合、まず、図９Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。図９の場合、形状寸法推定部２は、境界面１１０１の３次元位置から、撮影装置１３から見た物体１１の輪郭が全てステージ１２に接地していることを把握可能である。
次に、図９Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
そして、形状寸法推定部２は、境界面１１０１の３次元位置から、撮影装置１３から見た物体１１の輪郭が全てステージ１２に接地していることを把握できるため、この場合には、不可視形状推定部２０４による不可視形状寸法１１０３の推定は行わない。
この場合、まず、図９Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。図９の場合、形状寸法推定部２は、境界面１１０１の３次元位置から、撮影装置１３から見た物体１１の輪郭が全てステージ１２に接地していることを把握可能である。
次に、図９Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
そして、形状寸法推定部２は、境界面１１０１の３次元位置から、撮影装置１３から見た物体１１の輪郭が全てステージ１２に接地していることを把握できるため、この場合には、不可視形状推定部２０４による不可視形状寸法１１０３の推定は行わない。
【0045】
次に、図１０に示すように、形状寸法推定部２が形状寸法を推定する物体１１が、例えば逆円錐状の物体であり、すなわち、撮影装置１３からは物体１１を構成する一つの平面しか見えない場合を考える。
この場合、まず、図１０Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。
次に、図１０Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
次に、図１０Ｃに示すように、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、境界面１１０１よりステージ１２側（下側）における物体１１の形状寸法（不可視形状寸法１１０３）の初期値として、境界面１１０１に対して可視形状寸法１１０２と面対称となるような形状寸法を設定する。
次に、図１０Ｄに示すように、不可視形状推定部２０４は、境界面１１０１よりステージ１２側における物体１１の形状寸法（不可視形状寸法１１０３）を、ステージ１２に接地するように法線方向に伸縮させる。このようにして、不可視形状推定部２０４は、物体１１の不可視部分の形状寸法の推定を行う。この場合、可視形状寸法１１０２自体が平面であるため、不可視形状寸法１１０３は、その平面の法線方向に押し出されるようにして生成されることになる。この場合には、不可視形状寸法１１０３は、実際の物体１１の不可視部分の形状寸法に対して大きな形状となる。
その後、形状合成部２０５は、可視形状寸法１１０２と不可視形状寸法１１０３とを境界面１１０１で合成する。
この場合、まず、図１０Ａに示すように、可視形状算出部２０３は、距離画像取得部２０１により取得された物体距離画像及び領域画像取得部２０２により取得された物体領域画像に基づいて、撮影装置１３から見た物体１１の境界における３次元点群で構成される境界面１１０１を生成する。
次に、図１０Ｂに示すように、可視形状算出部２０３は、境界面１１０１より撮影装置１３側（上側）における物体１１の形状寸法（可視形状寸法１１０２）を画像処理技術を用いて算出する。
次に、図１０Ｃに示すように、不可視形状推定部２０４は、可視形状算出部２０３により算出された形状寸法及び領域画像取得部２０２により用いられた背景距離画像に基づいて、境界面１１０１よりステージ１２側（下側）における物体１１の形状寸法（不可視形状寸法１１０３）の初期値として、境界面１１０１に対して可視形状寸法１１０２と面対称となるような形状寸法を設定する。
次に、図１０Ｄに示すように、不可視形状推定部２０４は、境界面１１０１よりステージ１２側における物体１１の形状寸法（不可視形状寸法１１０３）を、ステージ１２に接地するように法線方向に伸縮させる。このようにして、不可視形状推定部２０４は、物体１１の不可視部分の形状寸法の推定を行う。この場合、可視形状寸法１１０２自体が平面であるため、不可視形状寸法１１０３は、その平面の法線方向に押し出されるようにして生成されることになる。この場合には、不可視形状寸法１１０３は、実際の物体１１の不可視部分の形状寸法に対して大きな形状となる。
その後、形状合成部２０５は、可視形状寸法１１０２と不可視形状寸法１１０３とを境界面１１０１で合成する。
【0046】
次に、図３に示す実施の形態１における容器詰手順算出部３の動作例について、図１１を参照しながら説明する。
図３に示す実施の形態１における容器詰手順算出部３の動作例では、図１１に示すように、まず、物体情報取得部３０１は、物体１１毎に、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法を取得する（ステップＳＴ１１０１）。
図３に示す実施の形態１における容器詰手順算出部３の動作例では、図１１に示すように、まず、物体情報取得部３０１は、物体１１毎に、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法を取得する（ステップＳＴ１１０１）。
【0047】
次いで、位置姿勢算出部３０２は、容器の形状寸法並びに物体情報取得部３０１により取得された登録情報及び形状寸法に基づいて、物体１１毎に、当該容器に収容された際の位置姿勢を算出する（ステップＳＴ１１０２）。
【0048】
この際、位置姿勢算出部３０２は、容器の形状寸法並びに物体１１毎の登録情報及び形状寸法から、物体１１の形状寸法の他、登録情報に含まれる物体１１の属性を示す情報から想定される重さ又は脆さ等を考慮し、容器内における物体１１の位置姿勢を、例えば非特許文献１に示されるｂｅｓｔ－ｆｉｔ法又は非特許文献２で示されるｂｏｔｔｏｍ－ｌｅｆｔ法のような公知技術を利用して算出する。
非特許文献１では、各物体１１の外接直方体を算出し、高さの近い物体１１から順にできる限り隅から詰め込んでいくようにして各物体１１の位置姿勢を算出している。また、非特許文献２では、複数の物体１１を詰め込む仮想の直方体を想定し、この直方体を階層的に構成することにより、各物体１１の位置姿勢を算出している。
非特許文献１では、各物体１１の外接直方体を算出し、高さの近い物体１１から順にできる限り隅から詰め込んでいくようにして各物体１１の位置姿勢を算出している。また、非特許文献２では、複数の物体１１を詰め込む仮想の直方体を想定し、この直方体を階層的に構成することにより、各物体１１の位置姿勢を算出している。
【非特許文献1】「配置問題に対する実用的アルゴリズムの設計と解析」；今堀慎治；豊田研究報告（65）,79-82,2012-05；http://www.toyotariken.jp/Toyota_report/65/K06_imahori.pdf
【非特許文献2】「３次元パッキングに対する効率的なｂｏｔｔｏｍ－ｌｅｆｔ法」；川崎大貴、田中勇真、今堀慎治、柳浦睦憲；数理解析研究所講究録第1726巻,2011年,50-61；http://www.kurims.kyoto-u.ac.jp/kyodo/kokyuroku/contents/pdf/1726-05.pdf
【0049】
次いで、順序算出部３０３は、位置姿勢算出部３０２により算出された位置姿勢に基づいて、物体１１毎に、容器に詰める順序を算出する（ステップＳＴ１１０３）。この際、順序算出部３０３は、例えば、容器の中において下に配置される物体１１から上に配置される物体１１への順序を算出する。
【0050】
次いで、軌道決定部３０４は、位置姿勢算出部３０２により算出された位置姿勢及び順序算出部３０３により算出された順序に基づいて、物体１１毎に、ロボットが容器に詰める際の軌道を決定する（ステップＳＴ１１０４）。すなわち、軌道決定部３０４は、上記順序で上記位置姿勢の通りに各物体１１を容器に詰めるために、ロボットが、各物体１１のどの位置を把持し、どのような軌道で容器に詰めるのかという軌道を決定する。
【0051】
なお上記では、容器詰手順算出部３に軌道決定部３０４が設けられた場合を示した。一方、容器詰め作業を行うロボット自身が、既に詰められた物体１１の配置を考慮して容器詰め作業の軌道を自律的に生成できるのであれば、容器詰手順算出部３に軌道決定部３０４が設けられている必要はない。
【0052】
以上のように、この実施の形態１によれば、容器詰手順提供装置は、物体１１毎に、登録情報を取得する登録情報取得部１と、物体１１毎に、当該物体１１が映された画像から、当該物体１１の形状寸法を推定する形状寸法推定部２と、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法に基づいて、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する容器詰手順算出部３とを備えた。これにより、実施の形態１に係る容器詰手順提供装置は、登録情報に物体１１の形状寸法を示す情報が含まれていない場合でも、物体１１を容器に詰める際の手順を提供可能となる。
【0053】
実施の形態２．
実施の形態２では、形状寸法推定部２の別の構成例について説明する。図１２は実施の形態２における形状寸法推定部２の構成例を示す図である。
実施の形態２では、形状寸法推定部２の別の構成例について説明する。図１２は実施の形態２における形状寸法推定部２の構成例を示す図である。
【0054】
実施の形態２における形状寸法推定部２は、図１２に示すように、濃淡画像取得部２０６、距離画像取得部２０７、領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５を有している。
図１２に示す形状寸法推定部２のうちの領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５は、図２に示す形状寸法推定部２のうちの領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５と同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
図１２に示す形状寸法推定部２のうちの領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５は、図２に示す形状寸法推定部２のうちの領域画像取得部２０２、可視形状算出部２０３、不可視形状推定部２０４及び形状合成部２０５と同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
【0055】
濃淡画像取得部２０６は、物体濃淡画像を取得する。物体濃淡画像は、物体１１が映された濃淡画像である。この際、濃淡画像取得部２０６は、ステージ１２上に置かれた物体１１が可視光画像センサ等の撮影装置１３により撮影されることで得られた物体濃淡画像を複数枚取得する。
【0056】
距離画像取得部２０７は、濃淡画像取得部２０６により取得された物体濃淡画像に基づいて、物体距離画像を取得する。この際、距離画像取得部２０７は、例えば非特許文献３に示すステレオマッチング又は非特許文献４に示す視体積交差法等の公知手法を用いて、複数の物体濃淡画像から物体距離画像を取得する。
【非特許文献3】「複数の基線長を利用したステレオマッチング」；奥富正敏，金出武雄 電子情報通信学会論文誌D,1992-search.ieice.org
【非特許文献4】「視体積交差法による３次元形状復元の高速化」；奥村幸司，小川泰広，藤吉弘亘 mprg.jp
【0057】
なお、実施の形態２における領域画像取得部２０２は、距離画像取得部２０７により取得された物体距離画像に基づいて、当該物体距離画像から物体領域画像を取得する。
【0058】
このように、実施の形態２に係る容器詰手順提供装置は、形状寸法の推定に用いる画像として濃淡画像を用いた場合でも、実施の形態１に係る容器詰手順提供装置と同様の効果を得ることができる。
【0059】
実施の形態３．
実施の形態１，２では、物体１１の登録情報を取得するとともに、物体１１が映された画像から当該物体１１の形状寸法を推定し、この登録情報及び形状寸法から、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する場合を示した。これに対し、実施の形態３では、上記登録情報に物体１１の形状寸法を示す情報が含まれていない場合にのみ形状寸法の推定処理を行い、上記登録情報に物体１１の形状寸法を示す情報が含まれている場合には当該形状寸法を用いる場合を示す。
実施の形態１，２では、物体１１の登録情報を取得するとともに、物体１１が映された画像から当該物体１１の形状寸法を推定し、この登録情報及び形状寸法から、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する場合を示した。これに対し、実施の形態３では、上記登録情報に物体１１の形状寸法を示す情報が含まれていない場合にのみ形状寸法の推定処理を行い、上記登録情報に物体１１の形状寸法を示す情報が含まれている場合には当該形状寸法を用いる場合を示す。
【0060】
図１３は実施の形態３に係る容器詰手順提供装置の構成例を示す図である。この図１３に示す実施の形態３に係る容器詰手順提供装置では、図１に示す実施の形態１に係る容器詰手順提供装置の構成例に対し、構成自体は同じだが処理の流れが異なる。
【0061】
実施の形態３における形状寸法推定部２は、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれている場合には、当該物体１１の形状寸法の推定は行わない。
一方、実施の形態３における形状寸法推定部２は、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれていない場合には、当該物体１１の形状寸法の推定を行う。この場合での形状寸法推定部２の動作は、実施の形態１，２における形状寸法推定部２の動作と同様である。
一方、実施の形態３における形状寸法推定部２は、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれていない場合には、当該物体１１の形状寸法の推定を行う。この場合での形状寸法推定部２の動作は、実施の形態１，２における形状寸法推定部２の動作と同様である。
【0062】
なお、実施の形態３における容器詰手順算出部３では、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれている場合には当該形状寸法を用い、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれていない場合には形状寸法推定部２により推定された形状寸法を用いる。
【0063】
次に、図１３に示す実施の形態３に係る容器詰手順提供装置の動作例について、図１４を参照しながら説明する。
ここで、一般に、工業製品のような形状寸法が既知な物体１１では、登録情報に物体１１の形状寸法を示す情報を含めることができる場合が多い。そのため、このような物体１１に対しては、登録情報に含まれる物体１１の形状寸法を示す情報を読取ることで、物体１１の形状寸法が取得できる。一方、青果物のような形状が未知な物体１１では、登録情報に物体１１の形状寸法を示す情報を含めることは難しい。そのため、このような物体１１に対しては、実施の形態１，２で示したような形状寸法の推定を行う必要がある。
そこで、実施の形態３に係る容器詰手順提供装置では、このような異なる種類の物体１１を何れも効率よく扱うことを目的としている。
ここで、一般に、工業製品のような形状寸法が既知な物体１１では、登録情報に物体１１の形状寸法を示す情報を含めることができる場合が多い。そのため、このような物体１１に対しては、登録情報に含まれる物体１１の形状寸法を示す情報を読取ることで、物体１１の形状寸法が取得できる。一方、青果物のような形状が未知な物体１１では、登録情報に物体１１の形状寸法を示す情報を含めることは難しい。そのため、このような物体１１に対しては、実施の形態１，２で示したような形状寸法の推定を行う必要がある。
そこで、実施の形態３に係る容器詰手順提供装置では、このような異なる種類の物体１１を何れも効率よく扱うことを目的としている。
【0064】
【0065】
次に、登録情報取得部１は、物体１１の登録情報を取得する（ステップＳＴ１４０２）。この際、登録情報取得部１は、例えば、物体１１又は当該物体１１が収容された外箱等に印刷されたバーコード、２次元バーコード又はＩＣタグ等を入力端末等により読取ることで、当該物体１１の登録情報を取得する。
【0066】
次に、容器詰手順提供装置は、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれているかを判定する（ステップＳＴ１４０３）。
このステップＳＴ１４０３において、容器詰手順提供装置が登録情報に物体１１の形状寸法を示す情報が含まれていると判定した場合、ステップＳＴ１４０４の処理はスキップされ、シーケンスはステップＳＴ１４０５に進む。
このステップＳＴ１４０３において、容器詰手順提供装置が登録情報に物体１１の形状寸法を示す情報が含まれていると判定した場合、ステップＳＴ１４０４の処理はスキップされ、シーケンスはステップＳＴ１４０５に進む。
【0067】
一方、ステップＳＴ１４０３において、容器詰手順提供装置が登録情報に物体１１の形状寸法を示す情報が含まれていないと判定した場合、形状寸法推定部２は、当該物体１１が映された画像（距離画像又は濃淡画像）から、当該物体１１の形状寸法を推定する（ステップＳＴ１４０４）。
【0068】
次いで、容器詰手順提供装置は、容器に詰める全ての物体１１に対してステップＳＴ１４０２～１４０４の処理を終了したかを判定する（ステップＳＴ１４０５）。
このステップＳＴ１４０５において、容器詰手順提供装置が処理が終了していない物体１１が存在すると判定した場合、シーケンスはステップＳＴ１４０２に戻り、次の物体１１に対する処理を行う。
このステップＳＴ１４０５において、容器詰手順提供装置が処理が終了していない物体１１が存在すると判定した場合、シーケンスはステップＳＴ１４０２に戻り、次の物体１１に対する処理を行う。
【0069】
一方、ステップＳＴ１４０５において、容器詰手順提供装置は、全ての物体１１に対して処理が終了したと判定した場合、容器に詰める物体１１の数を確定する（ステップＳＴ１４０６）。
【0070】
次いで、容器詰手順算出部３は、登録情報取得部１により取得された登録情報及び形状寸法推定部２により推定された形状寸法に基づいて、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する（ステップＳＴ１４０７）。この際、容器詰手順算出部３は、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれている場合には当該形状寸法を用い、登録情報取得部１により取得された登録情報に物体１１の形状寸法を示す情報が含まれていない場合には形状寸法推定部２により推定された形状寸法を用いる。
【0071】
次いで、容器詰手順提供装置は、容器詰手順算出部３により算出された順序及び位置姿勢を示すデータを、容器詰め作業を行うロボットに対して出力する（ステップＳＴ１４０８）。その後、ロボットは、上記データに基づいて物体１１の容器詰め作業を行う。
【0072】
このように、実施の形態３に係る容器詰手順提供装置では、登録情報に物体１１の形状寸法を示す情報が含まれている場合は、形状寸法の推定処理を省略し、登録情報に含まれる形状寸法を示す情報を容器詰手順算出部３で使用する。一方、実施の形態３に係る容器詰手順提供装置では、登録情報に物体１１の形状寸法を示す情報が含まれていない場合は、実施の形態１，２と同様に形状寸法の推定を行い、その推定結果を容器詰手順算出部３で使用する。
【0073】
これにより、実施の形態３に係る容器詰手順提供装置では、登録情報に物体１１の形状寸法を示す情報が含まれている場合には形状寸法の推定処理を実施しないため、処理時間の短縮化が可能であり、また、確度の高い形状寸法を利用して容器詰め手順を提供可能となる。
【0074】
実施の形態４．
図１５は実施の形態４に係る容器詰手順提供装置の構成例を示す図である。この図１５に示す実施の形態４に係る容器詰手順提供装置では、図１に示す実施の形態１に係る容器詰手順提供装置に対し、登録情報取得部１が属性推定部４に変更されている。図１５に示す実施の形態４に係る容器詰手順提供装置のその他の構成例は、図１に示す実施の形態１に係る容器詰手順提供装置の構成例と同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
図１５は実施の形態４に係る容器詰手順提供装置の構成例を示す図である。この図１５に示す実施の形態４に係る容器詰手順提供装置では、図１に示す実施の形態１に係る容器詰手順提供装置に対し、登録情報取得部１が属性推定部４に変更されている。図１５に示す実施の形態４に係る容器詰手順提供装置のその他の構成例は、図１に示す実施の形態１に係る容器詰手順提供装置の構成例と同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
【0075】
属性推定部４は、物体１１毎に、物体１１が映された画像から、機械学習等による物体認識技術を用いて、当該物体１１の種類、重さ、脆さ、掴み易さ又は変形し易さ等を表す属性を推定する。この属性推定部４の構成例については後述する。
【0076】
なお、実施の形態４における容器詰手順算出部３は、属性推定部４により推定された属性及び形状寸法推定部２により推定された形状寸法に基づいて、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する。
【0077】
【0078】
濃淡画像取得部４０１は、物体濃淡画像を取得する。物体濃淡画像は、物体１１が映された濃淡画像である。この際、濃淡画像取得部４０１は、ステージ１２上に置かれた物体１１が可視光画像センサ等の撮影装置１３により撮影されることで得られた物体濃淡画像を複数枚取得する。
【0079】
属性取得部４０２は、濃淡画像取得部４０１により取得された物体濃淡画像に基づいて、例えば非特許文献５の深層学習に代表される教師付き機械学習等による物体認識技術を用いて、物体１１の種類、重さ、脆さ、掴み易さ又は変形し易さ等を表す属性を取得する。
【非特許文献5】「You Only Look Once: Unified, Real-Time Object Detection」Joseph Redmon,Santosh Divvala,Ross Girshick,Ali Farhadi;The IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,pp.7
【0080】
次に、図１５に示す実施の形態４に係る容器詰手順提供装置の動作例について、図１７を参照しながら説明する。
図１５に示す実施の形態４に係る容器詰手順提供装置の動作例では、図１７に示すように、まず、容器詰手順提供装置は、容器に詰める物体１１の数を０に設定して初期化する（ステップＳＴ１７０１）。
図１５に示す実施の形態４に係る容器詰手順提供装置の動作例では、図１７に示すように、まず、容器詰手順提供装置は、容器に詰める物体１１の数を０に設定して初期化する（ステップＳＴ１７０１）。
【0081】
次いで、属性推定部４は、物体１１が映された画像から、当該物体１１の属性を推定する（ステップＳＴ１７０２）。
【0082】
次いで、形状寸法推定部２は、物体１１が映された画像から、当該物体１１の形状寸法を推定する（ステップＳＴ１７０３）。
【0083】
次いで、容器詰手順提供装置は、容器に詰める全ての物体１１に対してステップＳＴ１７０２，１７０３の処理を終了したかを判定する（ステップＳＴ１７０４）。
このステップＳＴ１７０４において、容器詰手順提供装置が処理が終了していない物体１１が存在すると判定した場合、シーケンスはステップＳＴ１７０２に戻り、次の物体１１に対する処理を行う。
このステップＳＴ１７０４において、容器詰手順提供装置が処理が終了していない物体１１が存在すると判定した場合、シーケンスはステップＳＴ１７０２に戻り、次の物体１１に対する処理を行う。
【0084】
一方、ステップＳＴ１７０４において、容器詰手順提供装置は、全ての物体１１に対して処理が終了したと判定した場合、容器に詰める物体１１の数を確定する（ステップＳＴ１７０５）。
【0085】
次いで、容器詰手順算出部３は、属性推定部４により取得された属性及び形状寸法推定部２により推定された形状寸法に基づいて、物体１１を容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する（ステップＳＴ１７０６）。
【0086】
次いで、容器詰手順提供装置は、容器詰手順算出部３により算出された順序及び位置姿勢を示すデータを、容器詰め作業を行うロボットに対して出力する（ステップＳＴ１７０７）。その後、ロボットは、上記データに基づいて物体１１の容器詰め作業を行う。
【0087】
次に、図１６に示す実施の形態４における属性推定部４の動作例について、図１８を参照しながら説明する。
図１６に示す実施の形態４における属性推定部４の動作例では、図１８に示すように、まず、濃淡画像取得部４０１は、物体濃淡画像を取得する（ステップＳＴ１８０１）。この際、濃淡画像取得部４０１は、ステージ１２上に置かれた物体１１が可視光画像センサ等の撮影装置１３により撮影されることで得られた物体濃淡画像を複数枚取得する。
図１６に示す実施の形態４における属性推定部４の動作例では、図１８に示すように、まず、濃淡画像取得部４０１は、物体濃淡画像を取得する（ステップＳＴ１８０１）。この際、濃淡画像取得部４０１は、ステージ１２上に置かれた物体１１が可視光画像センサ等の撮影装置１３により撮影されることで得られた物体濃淡画像を複数枚取得する。
【0088】
次いで、属性取得部４０２は、濃淡画像取得部４０１により取得された物体濃淡画像に基づいて、物体１１の属性を取得する（ステップＳＴ１８０２）。この際、属性取得部４０２は、物体濃淡画像から、例えば非特許文献５の深層学習に代表される教師付き機械学習による物体認識技術を用いて、物体１１の属性を取得する。
【0089】
このように、実施の形態４に係る容器詰手順提供装置は、汎用性及び普遍性の高い機械学習を用いて、物体１１が映された画像から物体１１の属性を推定し、この属性及び形状寸法推定部２により推定された形状寸法から、物体１１の容器に詰める順序及び当該物体１１の当該容器内での位置姿勢を算出する。これにより、実施の形態４に係る容器詰手順提供装置では、登録情報が使えなくなる状況（例えば、突発的な事故により登録情報が突然利用できなくなった状況）が生じた場合、又は、もともと商品登録の慣習のない青果物のような物体１１を扱うような現場であっても、短期間で対応し適用可能である。
【0090】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0091】
１ 登録情報取得部
２ 形状寸法推定部
３ 容器詰手順算出部
４ 属性推定部
１１ 物体
１２ ステージ
１３ 撮影装置
２０１，２０７ 距離画像取得部
２０２ 領域画像取得部
２０３ 可視形状算出部
２０４ 不可視形状推定部
２０５ 形状合成部
２０６ 濃淡画像取得部
３０１ 物体情報取得部
３０２ 位置姿勢算出部
３０３ 順序算出部
３０４ 軌道決定部
４０１ 濃淡画像取得部
４０２ 属性取得部
１１０１ 境界面
１１０２ 可視形状寸法
１１０３ 不可視形状寸法
２ 形状寸法推定部
３ 容器詰手順算出部
４ 属性推定部
１１ 物体
１２ ステージ
１３ 撮影装置
２０１，２０７ 距離画像取得部
２０２ 領域画像取得部
２０３ 可視形状算出部
２０４ 不可視形状推定部
２０５ 形状合成部
２０６ 濃淡画像取得部
３０１ 物体情報取得部
３０２ 位置姿勢算出部
３０３ 順序算出部
３０４ 軌道決定部
４０１ 濃淡画像取得部
４０２ 属性取得部
１１０１ 境界面
１１０２ 可視形状寸法
１１０３ 不可視形状寸法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】