知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023000842
(43)【公開日】2023-01-04
(54)【発明の名称】箱詰め支援装置、箱詰め支援方法及び箱詰め支援システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221222BHJP
G06Q 10/08 20230101ALI20221222BHJP
B65B 57/00 20060101ALI20221222BHJP
【ＦＩ】
G06T7/00 350C
G06Q10/08
B65B57/00 A
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021101892
(22)【出願日】2021-06-18
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000062
【氏名又は名称】特許業務法人第一国際特許事務所
(72)【発明者】
【氏名】クレシテリ ヴィヴィアナ
(72)【発明者】
【氏名】大島 俊
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049CC51
5L096AA06
5L096BA05
5L096CA02
5L096DA01
5L096FA19
5L096FA59
5L096FA67
5L096FA69
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することができる箱詰め支援手段を提供すること。
【解決手段】箱に詰める対象物体を示す対象物体画像と、箱を示す箱画像とを取得する画像取得部と、対象物体画像を解析し、対象物体の輪郭形状を抽出し、対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、箱画像を解析し、箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、箱における占有領域及び非占有領域を示す配置状態画像を生成する箱解析部と、輪郭形状画像と、配置状態画像とに基づいて、対象物体を箱の非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、配置構成を示す配置構成情報を出力する配置構成判定部とを含む箱詰め支援装置。
【選択図】図３
【解決手段】箱に詰める対象物体を示す対象物体画像と、箱を示す箱画像とを取得する画像取得部と、対象物体画像を解析し、対象物体の輪郭形状を抽出し、対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、箱画像を解析し、箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、箱における占有領域及び非占有領域を示す配置状態画像を生成する箱解析部と、輪郭形状画像と、配置状態画像とに基づいて、対象物体を箱の非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、配置構成を示す配置構成情報を出力する配置構成判定部とを含む箱詰め支援装置。
【選択図】図３
【特許請求の範囲】
【請求項1】
任意の形状の物体を箱に詰めるために推奨される配置構成を判定する箱詰め支援装置であって、
箱に詰める対象物体を示す対象物体画像と、前記箱を示す箱画像とを取得する画像取得部と、
前記対象物体画像を解析し、前記対象物体の輪郭形状を抽出し、前記対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、
前記箱画像を解析し、前記箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、前記箱における前記占有領域及び前記非占有領域を示す配置状態画像を生成する箱解析部と、
前記輪郭形状画像と、前記配置状態画像とに基づいて、前記対象物体を前記箱の前記非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、前記配置構成を示す配置構成情報を出力する配置構成判定部と、
を含むことを特徴とする箱詰め支援装置。
箱に詰める対象物体を示す対象物体画像と、前記箱を示す箱画像とを取得する画像取得部と、
前記対象物体画像を解析し、前記対象物体の輪郭形状を抽出し、前記対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、
前記箱画像を解析し、前記箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、前記箱における前記占有領域及び前記非占有領域を示す配置状態画像を生成する箱解析部と、
前記輪郭形状画像と、前記配置状態画像とに基づいて、前記対象物体を前記箱の前記非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、前記配置構成を示す配置構成情報を出力する配置構成判定部と、
を含むことを特徴とする箱詰め支援装置。
【請求項2】
前記配置構成判定部は、
深層強化ニューラルネットワークを含み、
前記深層強化ニューラルネットワークは、
第２の対象物体の輪郭形状を示す訓練用の輪郭形状画像と、第２の箱における占有領域及び非占有領域を示す訓練用の配置状態画像とを入力し、
前記訓練用の輪郭形状画像と、前記訓練用の配置状態画像とに基づいて、前記第２の対象物体を前記第２の箱に配置するための第２の配置構成をランダムに生成し、
前記第２の配置構成において、前記第２の対象物体が前記第２の箱における前記占有領域に重なっているか否かを判定し、
前記第２の配置構成において、前記第２の対象物体が前記第２の箱における前記占有領域に重なっていないと判定された場合、前記第２の箱の前記非占有領域において、前記第２の対象物体を配置した場合に残される最大の長方形領域の面積を報酬として前記深層強化ニューラルネットワークのネットワークパラメータを調整することで前記深層強化ニューラルネットワークの訓練を行う、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
深層強化ニューラルネットワークを含み、
前記深層強化ニューラルネットワークは、
第２の対象物体の輪郭形状を示す訓練用の輪郭形状画像と、第２の箱における占有領域及び非占有領域を示す訓練用の配置状態画像とを入力し、
前記訓練用の輪郭形状画像と、前記訓練用の配置状態画像とに基づいて、前記第２の対象物体を前記第２の箱に配置するための第２の配置構成をランダムに生成し、
前記第２の配置構成において、前記第２の対象物体が前記第２の箱における前記占有領域に重なっているか否かを判定し、
前記第２の配置構成において、前記第２の対象物体が前記第２の箱における前記占有領域に重なっていないと判定された場合、前記第２の箱の前記非占有領域において、前記第２の対象物体を配置した場合に残される最大の長方形領域の面積を報酬として前記深層強化ニューラルネットワークのネットワークパラメータを調整することで前記深層強化ニューラルネットワークの訓練を行う、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
【請求項3】
前記物体解析部及び前記箱解析部は、
物体検出用の深層ニューラルネットワーク、深度カメラ、及び画像分割用の深層ニューラルネットワークから選択される、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
物体検出用の深層ニューラルネットワーク、深度カメラ、及び画像分割用の深層ニューラルネットワークから選択される、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
【請求項4】
前記配置状態画像は、
前記非占有領域を第１の値として表現し、前記占有領域を第２の値で表現する２値行列である、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
前記非占有領域を第１の値として表現し、前記占有領域を第２の値で表現する２値行列である、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
【請求項5】
前記配置構成判定部は、
前記対象物体を前記箱の前記非占有領域において配置する場合、
複数の候補物体について、前記対象物体と共に前記箱に配置される頻度を示す配置履歴情報を用いて、前記対象物体と共に前記箱に配置される確率が所定の確率基準を満たす第３の対象物体を前記複数の候補物体から判定し、
前記対象物体について、前記第３の対象物体を前記箱の前記非占有領域に配置するのに十分な面積を残す配置構成を判定する、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
前記対象物体を前記箱の前記非占有領域において配置する場合、
複数の候補物体について、前記対象物体と共に前記箱に配置される頻度を示す配置履歴情報を用いて、前記対象物体と共に前記箱に配置される確率が所定の確率基準を満たす第３の対象物体を前記複数の候補物体から判定し、
前記対象物体について、前記第３の対象物体を前記箱の前記非占有領域に配置するのに十分な面積を残す配置構成を判定する、
ことを特徴とする、請求項１に記載の箱詰め支援装置。
【請求項6】
任意の形状の物体を箱に詰めるために推奨される配置構成を判定する箱詰め支援方法であって、
第１の箱に詰める第１の対象物体を示す第１の対象物体画像と、前記第１の箱を示す第１の箱画像とを取得する工程と、
前記第１の対象物体画像を解析し、前記第１の対象物体の輪郭形状を抽出し、前記第１の対象物体の輪郭形状を示す訓練用の輪郭形状画像を生成する工程と、
前記第１の箱画像を解析し、前記第１の箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別する工程と、
前記第１の箱における前記占有領域及び前記非占有領域を示す訓練用の配置状態画像を生成する工程と、
前記訓練用の輪郭形状画像と、前記訓練用の配置状態画像とを深層強化ニューラルネットワークに入力する工程と、
前記深層強化ニューラルネットワークを用いて、前記訓練用の輪郭形状画像と、訓練用の配置状態画像とに基づいて、前記第１の対象物体を前記第１の箱に配置するための第１の配置構成をランダムに生成する工程と、
前記第１の配置構成において、前記第１の対象物体が前記第１の箱における前記占有領域に重なっているか否かを判定する工程と、
前記第１の配置構成において、前記第１の対象物体が前記第１の箱における前記占有領域に重なっていないと判定された場合、前記第１の箱の前記非占有領域において、前記第１の対象物体を配置した場合に残される最大の長方形領域の面積を報酬として前記深層強化ニューラルネットワークのネットワークパラメータを調整することで前記深層強化ニューラルネットワークを訓練し、訓練済みの深層強化ニューラルネットワークを構築する工程と、
第２の箱に詰める第２の対象物体を示す第２の対象物体画像と、前記第２の箱を示す第２の箱画像とを取得する工程と、
前記第２の対象物体画像を解析し、前記第２の対象物体の輪郭形状を抽出し、前記第２の対象物体の輪郭形状を示す第２の輪郭形状画像を生成する工程と、
前記第２の箱画像を解析し、前記第２の箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別する工程と、
前記第２の箱における前記占有領域及び前記非占有領域を示す第２の配置状態画像を生成する工程と、
前記第２の輪郭形状画像と、前記第２の配置状態画像とに基づいて、前記第２の対象物体を前記第２の箱の前記非占有領域において配置するために推奨される位置及び角度を示す第２の配置構成を判定する工程と、
前記第２の配置構成を示す配置構成情報を出力する工程と、
を含むことを特徴とする箱詰め支援方法。
第１の箱に詰める第１の対象物体を示す第１の対象物体画像と、前記第１の箱を示す第１の箱画像とを取得する工程と、
前記第１の対象物体画像を解析し、前記第１の対象物体の輪郭形状を抽出し、前記第１の対象物体の輪郭形状を示す訓練用の輪郭形状画像を生成する工程と、
前記第１の箱画像を解析し、前記第１の箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別する工程と、
前記第１の箱における前記占有領域及び前記非占有領域を示す訓練用の配置状態画像を生成する工程と、
前記訓練用の輪郭形状画像と、前記訓練用の配置状態画像とを深層強化ニューラルネットワークに入力する工程と、
前記深層強化ニューラルネットワークを用いて、前記訓練用の輪郭形状画像と、訓練用の配置状態画像とに基づいて、前記第１の対象物体を前記第１の箱に配置するための第１の配置構成をランダムに生成する工程と、
前記第１の配置構成において、前記第１の対象物体が前記第１の箱における前記占有領域に重なっているか否かを判定する工程と、
前記第１の配置構成において、前記第１の対象物体が前記第１の箱における前記占有領域に重なっていないと判定された場合、前記第１の箱の前記非占有領域において、前記第１の対象物体を配置した場合に残される最大の長方形領域の面積を報酬として前記深層強化ニューラルネットワークのネットワークパラメータを調整することで前記深層強化ニューラルネットワークを訓練し、訓練済みの深層強化ニューラルネットワークを構築する工程と、
第２の箱に詰める第２の対象物体を示す第２の対象物体画像と、前記第２の箱を示す第２の箱画像とを取得する工程と、
前記第２の対象物体画像を解析し、前記第２の対象物体の輪郭形状を抽出し、前記第２の対象物体の輪郭形状を示す第２の輪郭形状画像を生成する工程と、
前記第２の箱画像を解析し、前記第２の箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別する工程と、
前記第２の箱における前記占有領域及び前記非占有領域を示す第２の配置状態画像を生成する工程と、
前記第２の輪郭形状画像と、前記第２の配置状態画像とに基づいて、前記第２の対象物体を前記第２の箱の前記非占有領域において配置するために推奨される位置及び角度を示す第２の配置構成を判定する工程と、
前記第２の配置構成を示す配置構成情報を出力する工程と、
を含むことを特徴とする箱詰め支援方法。
【請求項7】
任意の形状の物体を箱に詰めるために推奨される配置構成を判定する箱詰め支援システムであって、
対象物体を箱に詰めるための配置構成を生成する箱詰め支援装置と、
前記配置構成に従って箱詰め作業を実行するロボットとを含み、
前記箱詰め支援装置は、
前記箱に詰める前記対象物体を示す対象物体画像と、前記箱を示す箱画像とを取得する画像取得部と、
前記対象物体画像を解析し、前記対象物体の輪郭形状を抽出し、前記対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、
前記箱画像を解析し、前記箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、前記箱における前記占有領域及び前記非占有領域を示す配置状態画像を生成する箱解析部と、
前記輪郭形状画像と、前記配置状態画像とに基づいて、前記対象物体を前記箱の前記非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、前記配置構成を示す配置構成情報を前記ロボットに出力する配置構成判定部とを含み、
前記ロボットは、
前記配置構成情報に従って、前記対象物体を前記箱に配置する、
ことを特徴とする箱詰め支援システム。
対象物体を箱に詰めるための配置構成を生成する箱詰め支援装置と、
前記配置構成に従って箱詰め作業を実行するロボットとを含み、
前記箱詰め支援装置は、
前記箱に詰める前記対象物体を示す対象物体画像と、前記箱を示す箱画像とを取得する画像取得部と、
前記対象物体画像を解析し、前記対象物体の輪郭形状を抽出し、前記対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、
前記箱画像を解析し、前記箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、前記箱における前記占有領域及び前記非占有領域を示す配置状態画像を生成する箱解析部と、
前記輪郭形状画像と、前記配置状態画像とに基づいて、前記対象物体を前記箱の前記非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、前記配置構成を示す配置構成情報を前記ロボットに出力する配置構成判定部とを含み、
前記ロボットは、
前記配置構成情報に従って、前記対象物体を前記箱に配置する、
ことを特徴とする箱詰め支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、箱詰め支援装置、箱詰め支援方法及び箱詰め支援システムに関する。
【背景技術】
【0002】
物品等を搬送する際、搬送の利便性を向上させるべく複数の物品を段ボール箱等の容器に詰めることがある。現在、物品の箱詰め作業は、手作業により行われていることが多い。しかしながら、物品の箱詰め作業は迅速かつ丁寧に行うことが要求され、手作業により急いで箱詰めを行うことにより品物が不揃いに並べられることや、品物が搬送中に破損しやすい状態で配置されることがある。
【0003】
上記の問題が生じないよう、慎重かつ迅速に品物を箱に詰める作業を長時間続けることは、大変な労力であり、作業を行う人手を確保することも困難である。そのため、近年では、箱詰め作業をロボット等を用いて自動化する手段の需要が増えており、いくつかの提案がなされている。
例えば、非特許文献１には、次の点が開示されている。「新しいオブジェクトに一般化できるロボットアセンブリのポリシーを学習させることは可能か？このアイデアは、キットの組み立てタスクのコンテキストで検討する。従来の方法では、オブジェクトのポーズ推定に大きく依存しているため、３ＤＣＡＤモデルやタスク固有の学習データなしで新しいオブジェクトに一般化するのに苦労することがよくある。本論文では、キットの組み立てタスクを形状マッチング問題として定式化することを提案する。その目標は、視覚入力から、オブジェクト表面とそのオブジェクトの対象配置位置の間の幾何学的対応を確立する形状記述子を学習させることである。この定式化により、モデルは、組み立てのために形状と表面がどのように組み合わされるかについての幅広い理解を得ることができ、新しいオブジェクトやキットに一般化することができる。モデルの学習データを取得するために、完全なキットを分解することにより、オブジェクトと配置の対応を示すグラウンドトゥルースを取得する自己監視データ収集パイプラインを提示する。結果として得られる実際のシステムであるＦｏｒｍ２Ｆｉｔは、オブジェクトを様々なキットに組み立てるための効果的なピックアンドプレース戦略を学習する。様々な初期条件（様々なオブジェクトやキットのポーズなど）で平均９０％の成功率を達成し、複数のキット、そして完全に新しいオブジェクトとキットで８６％以上の成功率を達成する。」
例えば、非特許文献１には、次の点が開示されている。「新しいオブジェクトに一般化できるロボットアセンブリのポリシーを学習させることは可能か？このアイデアは、キットの組み立てタスクのコンテキストで検討する。従来の方法では、オブジェクトのポーズ推定に大きく依存しているため、３ＤＣＡＤモデルやタスク固有の学習データなしで新しいオブジェクトに一般化するのに苦労することがよくある。本論文では、キットの組み立てタスクを形状マッチング問題として定式化することを提案する。その目標は、視覚入力から、オブジェクト表面とそのオブジェクトの対象配置位置の間の幾何学的対応を確立する形状記述子を学習させることである。この定式化により、モデルは、組み立てのために形状と表面がどのように組み合わされるかについての幅広い理解を得ることができ、新しいオブジェクトやキットに一般化することができる。モデルの学習データを取得するために、完全なキットを分解することにより、オブジェクトと配置の対応を示すグラウンドトゥルースを取得する自己監視データ収集パイプラインを提示する。結果として得られる実際のシステムであるＦｏｒｍ２Ｆｉｔは、オブジェクトを様々なキットに組み立てるための効果的なピックアンドプレース戦略を学習する。様々な初期条件（様々なオブジェクトやキットのポーズなど）で平均９０％の成功率を達成し、複数のキット、そして完全に新しいオブジェクトとキットで８６％以上の成功率を達成する。」
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Form2Fit: Learning Shape Priors for Generalizable Assembly from Disassembly, Kevin Zakka, Andy Zeng, Johnny Lee, Shuran Song, IEEE International Conference on Robotics and Automation (ICRA) 2020.
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１には、特定の形状のオブジェクトと特定の配置位置とのマッチングを学習させることにより、特定の形状のオブジェクトを特定の配置位置に配置するための深層学習モデルが提案されている。
非特許文献１によれば、段ボール製品や家具等の組み立ての自動化を図ることができる。
非特許文献１によれば、段ボール製品や家具等の組み立ての自動化を図ることができる。
【0006】
しかしながら、上記非特許文献１に記載されている手段では、特定の形状のオブジェクトと特定の配置位置の予め学習された対応関係に基づいてオブジェクトが配置されており、様々な形状や大きさのオブジェクトを箱等のようなオープンな空間に効率よく配置することは想定されていない。このため、例えば数多くの種類の物品の箱詰めが求められる物流への適用は難しく、任意のオブジェクトの自動的な箱詰めに対応可能な手段が望まれる。
【0007】
そこで、本開示は、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することができる箱詰め支援手段を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、代表的な本開示の箱詰め支援装置の一つは、任意の形状の物体を箱に詰めるために推奨される配置構成を判定する箱詰め支援装置であって、箱に詰める対象物体を示す対象物体画像と、前記箱を示す箱画像とを取得する画像取得部と、前記対象物体画像を解析し、前記対象物体の輪郭形状を抽出し、前記対象物体の輪郭形状を示す輪郭形状画像を生成する物体解析部と、前記箱画像を解析し、前記箱において、他の物体に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、前記箱における前記占有領域及び前記非占有領域を示す配置状態画像を生成する箱解析部と、前記輪郭形状画像と、前記配置状態画像とに基づいて、前記対象物体を前記箱の前記非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、前記配置構成を示す配置構成情報を出力する配置構成判定部とを含む。
【発明の効果】
【0009】
本開示によれば、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することができる箱詰め支援手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態を説明する。実施例は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0012】
実施例において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。
【0013】
プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施例において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0014】
まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム１００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１００の主要コンポーネントは、１つ以上のプロセッサ１０２、メモリ１０４、端末インターフェース１１２、ストレージインタフェース１１３、Ｉ／Ｏ（入出力）デバイスインタフェース１１４、及びネットワークインターフェース１１５を含む。これらのコンポーネントは、メモリバス１０６、Ｉ／Ｏバス１０８、バスインターフェースユニット１０９、及びＩ／Ｏバスインターフェースユニット１１０を介して、相互的に接続されてもよい。
【0015】
コンピュータシステム１００は、プロセッサ１０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）１０２Ａ及び１０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム１００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム１００は単一のＣＰＵシステムであってもよい。各プロセッサ１０２は、メモリ１０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
【0016】
ある実施形態では、メモリ１０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ１０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ１０４は、箱詰め支援アプリケーション１５０を格納していてもよい。ある実施形態では、箱詰め支援アプリケーション１５０は、後述する機能をプロセッサ１０２上で実行する命令又は記述を含んでもよい。
【0017】
ある実施形態では、箱詰め支援アプリケーション１５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、箱詰め支援アプリケーション１５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット１０９、プロセッサ１０２、またはコンピュータシステム１００の他のハードウェアと直接通信するように提供されてもよい。
【0018】
コンピュータシステム１００は、プロセッサ１０２、メモリ１０４、表示システム１２４、及びＩ／Ｏバスインターフェースユニット１１０間の通信を行うバスインターフェースユニット１０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス１０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１１０は、Ｉ／Ｏバス１０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット１１２，１１３，１１４、及び１１５と通信してもよい。
【0019】
表示システム１２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置１２６に提供することができる。また、コンピュータシステム１００は、データを収集し、プロセッサ１０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
【0020】
例えば、コンピュータシステム１００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム１２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置１２６に接続されてもよい。
【0021】
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット１１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス１１６の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス１１６及びコンピュータシステム１００に対して入力データや指示を入力し、コンピュータシステム１００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス１１６を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
【0022】
ストレージインタフェース１１３は、１つ又は複数のディスクドライブや直接アクセスストレージ装置１１７（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置１１７は、任意の二次記憶装置として実装されてもよい。メモリ１０４の内容は、ストレージ装置１１７に記憶され、必要に応じてストレージ装置１１７から読み出されてもよい。Ｉ／Ｏデバイスインタフェース１１４は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース１１５は、コンピュータシステム１００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク１３０であってもよい。
【0023】
ある実施形態では、コンピュータシステム１００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム１００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
【0024】
次に、図２を参照して、本開示の実施形態に係る箱詰め支援システムの構成について説明する。
【0025】
図２は、本開示の実施形態に係る箱詰め支援システム２００の構成の一例を示す図である。図２に示すように、箱詰め支援システム２００は、対象物体２２０を箱２１０に配置する際の推奨される配置構成を判定する箱詰め支援装置２３０と、通信ネットワーク２４０と、ロボット２５０とを主に含む。箱詰め支援装置２３０とロボット２５０は、通信ネットワーク２４０を介して相互的に接続される。ここでの通信ネットワーク２４０は、例えばインターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ(Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ)、ＷＡＮ(Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ)等を含んでもよい。
【0026】
箱２１０は、１つ又は複数の対象物体２２０を搬送等のために収容するための箱である。ここでの箱２１０は、金属、木、合板、再生木材、ファイバ板、プラスチック又はその他の適当な材料で作られる、完全な方形または多角形の面で構成された容器である。箱２１０の大きさ、面積、体積、形状等は特定に限定されず、詰められる対象物体２２０の種類や数等に応じて適宜に選択されてもよい。一例として、箱２１０は、２３ｃｍ×３２ｃｍ×１５ｃｍの段ボール箱等であってもよい。
【0027】
対象物体２２０は、箱２１０に収容される物体である。ここでの対象物体２２０は、任意の大きさや形状を有する任意のオブジェクトであってもよい。図２では、対象物体２２０を本とした場合を一例として示しているが、実際には、対象物体２２０は、洋服、水筒、スマートフォン、ペットフード等、任意のものであってもよい。また、箱２１０に複数の対象物体２２０が配置される場合、各対象物体２２０は異なるものであってもよい。
【0028】
箱詰め支援装置２３０は、対象物体２２０を箱２１０に詰める際の推奨される配置構成を判定する装置である。
【0029】
図２に示すように、箱詰め支援装置２３０は、画像取得部２３２、物体解析部２３４、箱解析部２３６及び配置構成判定部２３８の機能部を含む。これらの機能部はそれぞれ、例えば図１に示すコンピュータシステム１００に実行される箱詰め支援アプリケーション１５０におけるソフトウェアモジュールとして実現されてもよく、専用のハードウェア装置として実現されてもよい。
【0030】
画像取得部２３２は、箱２１０に詰める対象物体２２０を示す対象物体画像と、箱２１０を示す箱画像とを取得する機能部である。ここでの画像取得部２３２は、ＲＧＢカメラや深度カメラ等での撮影装置あってもよい。また、ある実施形態では、画像取得部２３２は、例えばスマートフォン等の別の撮影装置によって撮影された対象物体画像や箱画像を当該別の撮影装置から取得してもよい。
対象物体画像は、例えば対象物体２２０の上から見た全体形状を示す俯瞰画像であってもよい。また、箱画像は、箱２１０の上から見た底面の全体を示す俯瞰画像であってもよい。
対象物体画像は、例えば対象物体２２０の上から見た全体形状を示す俯瞰画像であってもよい。また、箱画像は、箱２１０の上から見た底面の全体を示す俯瞰画像であってもよい。
【0031】
物体解析部２３４は、対象物体画像を解析し、対象物体２２０の輪郭形状を抽出し、対象物体２２０の輪郭形状を示す輪郭形状画像を生成する機能部である。物体解析部２３４は、オブジェクト検出用の深層ニューラルネットワーク、画像分割用の深層ニューラルネットワーク、深度カメラ等であってもよい。
オブジェクト検出用の深層ニューラルネットワーク、画像分割用の深層ニューラルネットワーク、又は深度カメラを物体解析部２３４として用いることにより、任意の形状や大きさの物体の輪郭形状を判定することができる。
オブジェクト検出用の深層ニューラルネットワーク、画像分割用の深層ニューラルネットワーク、又は深度カメラを物体解析部２３４として用いることにより、任意の形状や大きさの物体の輪郭形状を判定することができる。
【0032】
箱解析部２３６は、箱画像を解析し、箱２１０において、他の物体等に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、箱における占有領域及び非占有領域を示す配置状態画像を生成する機能部である。箱解析部２３６は、例えば画像分割用の深層ニューラルネットワーク、深度カメラ等であってもよい。
オブジェクト検出用の深層ニューラルネットワーク、画像分割用の深層ニューラルネットワーク、又は深度カメラを箱解析部２３６として用いることにより、任意の箱における占有領域及び非占有領域を判別することができる。
オブジェクト検出用の深層ニューラルネットワーク、画像分割用の深層ニューラルネットワーク、又は深度カメラを箱解析部２３６として用いることにより、任意の箱における占有領域及び非占有領域を判別することができる。
【0033】
配置構成判定部２３８は、物体解析部２３４によって生成された輪郭形状画像と、箱解析部２３６によって生成された配置状態画像とに基づいて、対象物体２２０を箱２１０の非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、判定した配置構成を示す配置構成情報を出力する機能部である。ここでの「推奨される配置構成」とは、対象物体２２０を箱２１０に配置した場合、箱２１０において最も多くの利用可能な面積を残しておくための配置位置及び配置角度（向き）を意味する。このように、本実施形態によれば、箱の空間利用効率を向上させ、より多くの対象物体２２０を箱２１０に配置することが可能となる。配置構成判定部２３８は、例えば深層ニューラルネットワークであってもよい。
【0034】
ロボット２５０は、配置構成判定部２３８に出力される配置構成情報に基づいて箱詰め作業を行うロボットである。例えば、ロボット２５０は、配置構成判定部２３８に出力される配置構成情報に指定される推奨される配置構成に従って、対象物体２２０を箱２１０に配置してもよい。ここでのロボット２５０は、例えば箱詰め作業に適した単腕型ロボットや双腕型ロボット等の軽作業用であることが望ましいが、本開示では特に限定されず、箱詰めが可能であれば任意の構造のロボットであってもよい。
【0035】
以上説明した箱詰め支援システム２００によれば、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することができる箱詰め支援手段を提供することができる。
【0036】
次に、図３を参照して、本開示の実施形態に係る箱詰め支援装置におけるデータの流れについて説明する。
【0037】
図３は、本開示の実施形態に係る箱詰め支援装置２３０におけるデータの流れの一例を示す図である。
【0038】
まず、画像取得部２３２は、箱に詰める対象物体を示す対象物体画像３２５と、箱を示す箱画像３１５とを取得する。上述したように、対象物体画像３２５は、例えば対象物体の上から見た全体形状を示す俯瞰画像であってもよい。これにより、後述するように、対象物体の形状や占有する面積を判定することができる。また、箱画像３１５は、箱の上から見た底面の全体を示す俯瞰画像であってもよい。これにより、箱において他の物体に既に占有されている占有領域や、物体の配置が可能な非占有領域を判定することが可能となる。
ここでは、画像取得部２３２は、対象物体及び箱を撮影するカメラであってもよい。また、ある実施形態では、画像取得部２３２は、対象物体画像３２５及び箱画像３１５を別の装置（例えばスマートフォン等）から入力してもよい。対象物体画像３２５及び箱画像３１５を取得した後、画像取得部２３２は、対象物体画像３２５を物体解析部２３４に転送し、箱画像３１５を箱解析部２３６に転送する。
ここでは、画像取得部２３２は、対象物体及び箱を撮影するカメラであってもよい。また、ある実施形態では、画像取得部２３２は、対象物体画像３２５及び箱画像３１５を別の装置（例えばスマートフォン等）から入力してもよい。対象物体画像３２５及び箱画像３１５を取得した後、画像取得部２３２は、対象物体画像３２５を物体解析部２３４に転送し、箱画像３１５を箱解析部２３６に転送する。
【0039】
箱解析部２３６は、箱画像３１５を解析し、箱において、他の物体等に占有される占有領域と、物体の配置が可能な非占有領域とを判別し、箱における占有領域及び非占有領域を示す配置状態画像を生成する。ここで、箱解析部２３６は、画像分割用の深層ニューラルネットワークを用いて箱画像３１５を解析することで箱における占有領域及び非占有領域を示す配置状態画像を生成してもよい。この配置状態画像は、例えば、非占有領域を第１の値（例えば、「０」）として表現し、占有領域を第２の値（例えば、「１」）で表現する２値行列であってもよい。
なお、この配置状態画像を生成するための画像分割用の深層ニューラルネットワークの訓練方法は特に限定されず、物体が配置されている領域及び物体が配置されていない領域を区別できれば、任意の既存の訓練方法を用いてもよい。
なお、この配置状態画像を生成するための画像分割用の深層ニューラルネットワークの訓練方法は特に限定されず、物体が配置されている領域及び物体が配置されていない領域を区別できれば、任意の既存の訓練方法を用いてもよい。
【0040】
物体解析部２３４は、対象物体画像３２５を解析し、対象物体の輪郭形状を抽出し、対象物体の輪郭形状を示す輪郭形状画像を生成する。ここで、物体解析部２３４は、オブジェクト検出用の深層ニューラルネットワークを用いて対象物体画像３２５を解析することで対象物体の輪郭形状を抽出した後、対象物体の輪郭形状を示す輪郭形状画像を生成してもよい。この輪郭形状画像は、配置状態画像と同様に、背景領域を第１の値（例えば、「０」）として表現し、対象物体に属する領域を第２の値（例えば、「１」）で表現する２値行列であってもよい。
なお、この輪郭形状画像を生成するためのオブジェクト検出用の深層ニューラルネットワークの訓練方法は特に限定されず、対象物体の形状及び占有面積を判定できれば、任意の既存の訓練方法を用いてもよい。
なお、この輪郭形状画像を生成するためのオブジェクト検出用の深層ニューラルネットワークの訓練方法は特に限定されず、対象物体の形状及び占有面積を判定できれば、任意の既存の訓練方法を用いてもよい。
【0041】
配置構成判定部２３８は、物体解析部２３４によって生成された輪郭形状画像と、箱解析部２３６によって生成された配置状態画像とに基づいて、対象物体を箱の非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定し、判定した配置構成を示す配置構成情報３４５を出力する。この配置構成情報３４５は、例えば対象物体を配置する位置の座標及び角度を含んでもよい。また、この配置構成情報３４５は、例えば所定のディスプレイに表示されてもよく、箱詰め作業を行うロボット（例えば、図２に示すロボット２５０）に転送されてもよい。
ここでは、配置構成判定部２３８は、後述するように、箱の非占有領域において、対象物体を配置した場合に所定の面積基準を満たす長方形領域（例えば、最大の内接長方形領域）が残る配置構成を判定するように訓練された深層強化ニューラルネットワークを用いてもよい。この深層強化ニューラルネットワークは、例えばいわゆるＤＱＮ（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ）であってもよい。
ここでは、配置構成判定部２３８は、後述するように、箱の非占有領域において、対象物体を配置した場合に所定の面積基準を満たす長方形領域（例えば、最大の内接長方形領域）が残る配置構成を判定するように訓練された深層強化ニューラルネットワークを用いてもよい。この深層強化ニューラルネットワークは、例えばいわゆるＤＱＮ（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ）であってもよい。
【0042】
以上説明した箱詰め支援装置２３０によれば、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することができる箱詰め支援手段を提供することができる。
【0043】
次に、図４を参照して、本開示の実施形態に係る配置状態画像及び輪郭形状画像について説明する。
【0044】
図４は、本開示の実施形態に係る配置状態画像４１０像及び輪郭形状画像４２０の一例を示す図である。上述したように、配置状態画像４１０像及び輪郭形状画像４２０は、Ｎ×Ｍの２値行列で表現してもよい。
例えば、図４に示すように、配置状態画像４１０は、物体の配置が可能な非占有領域４１２を「０」（白）のような第１の値として表現し、他の物体に占有されている占有領域４１４を「１」（黒）のような第２の値で表現してもよい。
同様に、輪郭形状画像４２０は、背景領域４２２を「０」（白）のような第１の値として表現し、対象物体に属する領域４２４を「１」（黒）のような第２の値で表現する２値行列であってもよい。
例えば、図４に示すように、配置状態画像４１０は、物体の配置が可能な非占有領域４１２を「０」（白）のような第１の値として表現し、他の物体に占有されている占有領域４１４を「１」（黒）のような第２の値で表現してもよい。
同様に、輪郭形状画像４２０は、背景領域４２２を「０」（白）のような第１の値として表現し、対象物体に属する領域４２４を「１」（黒）のような第２の値で表現する２値行列であってもよい。
【0045】
このように、配置状態画像４１０像及び輪郭形状画像４２０を２値行列として表現することで、配置構成の判定に無関係な視覚的情報を元の箱画像及び対象物体画像から省略し、ファイルサイズを抑制すると共に、配置構成判定部による衝突判定や、配置構成の判定を容易にすることができる。
【0046】
次に、図５を参照して、本開示の実施形態に係る箱詰め支援方法について説明する。
【0047】
図５は、本開示の実施形態に係る箱詰め支援方法５００の流れの一例を示す図である。図５に示す箱詰め支援方法５００は、対象物体を箱に詰める際の推奨される配置構成を生成するための処理であり、上述した箱詰め支援装置（例えば、図２及び図３に示す箱詰め支援装置２３０）の各機能部によって実行される。
なお、箱詰め支援方法５００を実行する際、使用される各ニューラルネットワーク（例えば、輪郭抽出画像や配置状態画像を生成するオブジェクト検出用のニューラルネットワーク・画像分割用のニューラルネットワーク、配置構成を判定するための深層強化ニューラルネットワーク）は、既に訓練済みである。また、配置構成を判定するための深層強化ニューラルネットワークの訓練処理は、例えば図６を参照して後述する。
なお、箱詰め支援方法５００を実行する際、使用される各ニューラルネットワーク（例えば、輪郭抽出画像や配置状態画像を生成するオブジェクト検出用のニューラルネットワーク・画像分割用のニューラルネットワーク、配置構成を判定するための深層強化ニューラルネットワーク）は、既に訓練済みである。また、配置構成を判定するための深層強化ニューラルネットワークの訓練処理は、例えば図６を参照して後述する。
【0048】
まず、ステップＳ５０２では、箱詰め支援装置の画像取得部（例えば、図２及び図３に示す画像取得部２３２）は、対象物体画像を取得する。上述したように、対象物体画像は、例えば対象物体の上から見た全体形状を示す俯瞰画像であってもよい。ここでは、画像取得部がカメラ等の撮影装置の場合、画像取得部は対象物体を撮影することで対象物体画像を取得してもよい。また、ある実施形態では、画像取得部は、別の撮影装置によって撮影された対象物体画像を当該別の撮影装置から取得してもよい。例えば、画像取得部は、対象物体画像が保存されているストレージ部（ハードディスクドライブ、クラウド型ストレージ）にアクセスし、対象物体画像を取得してもよく、対象物体画像の入力を促す通知をユーザに送信してもよい。
【0049】
次に、ステップＳ５０４では、画像取得部は、箱画像を取得する。上述したように、箱画像３１５は、箱の上から見た底面の全体を示す俯瞰画像であってもよい。ここでは、画像取得部がカメラ等の撮影装置の場合、画像取得部は箱を撮影することで対象物体画像を取得してもよい。また、ある実施形態では、画像取得部は、別の撮影装置によって撮影された箱画像を当該別の撮影装置から取得してもよい。例えば、画像取得部は、箱画像が保存されているストレージ部（ハードディスクドライブ、クラウド型ストレージ）にアクセスし、箱画像を取得してもよく、箱画像の入力を促す通知をユーザに送信してもよい。
【0050】
次に、ステップＳ５０６では、物体解析部（例えば、図２及び図３に示す物体解析部２３４）は、ステップＳ５０２で取得した対象物体画像をオブジェクト検出用の深層ニューラルネットワークや画像分割用の深層ニューラルネットワークによって解析することで、対象物体の輪郭形状を判定し、輪郭形状画像を生成する。ここでの輪郭形状画像は、例えば図４を参照して説明したように、背景領域を「０」のような第１の値として表現し、対象物体に属する領域を「１」のような第２の値で表現する２値行列であってもよい。
【0051】
次に、ステップＳ５０８では、箱解析部（例えば、図２及び図３に示す箱解析部２３６）は、ステップＳ５０４で取得した箱画像を画像分割用の深層ニューラルネットワークによって解析することで、箱における占有領域及び非占有領域を判定し、配置状態画像を生成する。ここでの配置状態画像は、例えば図４を参照して説明したように、物体の配置が可能な非占有領域を「０」のような第１の値として表現し、他の物体に占有されている占有領域４１４を「１」のような第２の値で表現する２値行列であってもよい。
【0052】
次に、ステップＳ５１０では、配置構成判定部（例えば、図２及び図３に示す配置構成判定部２３８）は、ステップＳ５０６で生成した輪郭形状画像と、ステップＳ５０８で生成した配置状態画像とに基づいて、対象物体を箱の非占有領域において配置するために推奨される位置及び角度を示す配置構成を判定する。この推奨される配置構成とは、物体を箱に配置した場合、箱において最も多くの利用可能な面積を残しておくための配置位置及び配置角度（向き）を意味する。また、この配置構成情報は、例えば対象物体を配置する位置の座標及び角度を含んでもよい。
ここで、配置構成判定部は、箱の非占有領域において、対象物体を配置した場合に所定の面積基準を満たす長方形領域が残る位置及び角度を配置構成として判定するように訓練された深層強化ニューラルネットワークを用いて配置構成を判定してもよい。
なお、この深層強化ニューラルネットワークの訓練処理については、図６～図８を参照して説明する。
ここで、配置構成判定部は、箱の非占有領域において、対象物体を配置した場合に所定の面積基準を満たす長方形領域が残る位置及び角度を配置構成として判定するように訓練された深層強化ニューラルネットワークを用いて配置構成を判定してもよい。
なお、この深層強化ニューラルネットワークの訓練処理については、図６～図８を参照して説明する。
【0053】
次に、ステップＳ５１２では、配置構成判定部は、ステップＳ５１０で判定した配置構成情報を出力する。配置構成情報は、判定した配置構成情報を例えば所定のディスプレイに表示してもよく、箱詰め作業を行うロボット（例えば、図２に示すロボット２５０）に転送してもよい。
【0054】
以上説明した箱詰め支援方法５００によれば、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することができる箱詰め支援手段を提供することができる。
【0055】
次に、図６を参照して、本開示の実施形態に係る配置構成判定部の深層強化ニューラルネットワークの訓練処理について説明する。
【0056】
図６は、本開示の実施形態に係る配置構成判定部に用いられる深層強化ニューラルネットワークの訓練処理６００の流れの一例を示す図である。図６に示す訓練処理６００は、最適な配置構成を生成するように深層強化ニューラルネットワークを訓練するための処理であり、未訓練の深層強化ニューラルネットワークに対して行われる。
【0057】
まず、ステップＳ６０２では、未訓練の深層強化ニューラルネットワークは、訓練用の輪郭形状画像及び配置状態画像を入力する。ここでの訓練用の輪郭形状画像及び配置状態画像は、上述した箱詰め支援方法５００に用いられる輪郭形状画像及び配置状態画像と実質的に同様であるが、輪郭形状画像及び配置状態画像とは異なる対象物体（例えば、第２の対象物体）や異なる箱（例えば、第２の箱）を示す。
これらの輪郭形状画像及び配置状態画像は、例えば様々な対象物体及び箱のセットを撮影することで取得した対象物体画像及び箱画像を上述した物体解析部及び箱解析部によって解析することで生成してもよい。別の実施形態では、訓練用の輪郭形状画像及び配置状態画像は、ユーザや機械学習手法によって生成されてもよい。
これらの輪郭形状画像及び配置状態画像は、例えば様々な対象物体及び箱のセットを撮影することで取得した対象物体画像及び箱画像を上述した物体解析部及び箱解析部によって解析することで生成してもよい。別の実施形態では、訓練用の輪郭形状画像及び配置状態画像は、ユーザや機械学習手法によって生成されてもよい。
【0058】
次に、ステップＳ６０４では、未訓練の深層強化ニューラルネットワークは、ステップＳ６０２で取得した訓練用の輪郭形状画像及び配置状態画像に基づいて、訓練用の輪郭形状画像に示される対象物体を、訓練用の配置状態画像に示される箱に配置するための配置構成をランダムに生成する。より具体的には、未訓練の深層強化ニューラルネットワークは、訓練用の輪郭形状画像に示される対象物体の領域を、ランダムな位置及び角度で訓練用の配置状態画像に配置する。
【0059】
次に、ステップＳ６０６では、未訓練の深層強化ニューラルネットワークは、ステップＳ６０４で生成したランダムな配置構成について、衝突判定を行う。この衝突判定とは、ステップＳ６０４で生成したランダムな配置構成において、対象物体が、箱における占有領域に配置されているか否か（すなわち、対象物体が、既に箱に配置されている別の物体に衝突しているか否か）を判定するための処理である。対象物体と箱の占有領域とが重なっている（つまり、衝突が存在する）と判定した場合、本処理はステップＳ６０４へ戻り、未訓練の深層強化ニューラルネットワークは、新たな配置構成をランダムに生成する。対象物体と箱の占有領域とが重なっていない（つまり、衝突が存在しない）と判定した場合、本処理はステップＳ６０８へ進む。なお、衝突が存在すると判定した場合、本処理はステップＳ６０２へ戻ってもよい。
なお、衝突判定の一例は、図８を参照して説明する。
なお、衝突判定の一例は、図８を参照して説明する。
【0060】
次に、ステップＳ６０４で生成したランダムな配置構成において、対象物体と箱の占有領域との間で衝突が存在しない場合、ステップＳ６０８では、未訓練の深層強化ニューラルネットワークは、深層強化ニューラルネットワークの報酬を計算し、この報酬に基づいて深層強化ニューラルネットワークのネットワークパラメータを調整する。
より具体的には、未訓練の深層強化ニューラルネットワークは、ステップＳ６０４で生成した配置構成に従って対象物体を箱に配置した場合、当該箱の非占有領域において残される最大の長方形領域の面積を計算し、計算した最大の長方形領域の面積を深層強化ニューラルネットワークの報酬として深層強化ニューラルネットワークのネットワークパラメータを調整する。ここでは、未訓練の深層強化ニューラルネットワークは、いわゆる誤差逆伝播法を用いてネットワークパラメータを調整してもよい。
より具体的には、未訓練の深層強化ニューラルネットワークは、ステップＳ６０４で生成した配置構成に従って対象物体を箱に配置した場合、当該箱の非占有領域において残される最大の長方形領域の面積を計算し、計算した最大の長方形領域の面積を深層強化ニューラルネットワークの報酬として深層強化ニューラルネットワークのネットワークパラメータを調整する。ここでは、未訓練の深層強化ニューラルネットワークは、いわゆる誤差逆伝播法を用いてネットワークパラメータを調整してもよい。
【0061】
ここでは、深層強化ニューラルネットワークは、例えばＯｐｅｎＣＶや画像分割用のニューラルネットワークを用いて箱の非占有領域を特定した後、当該非占有領域における最大の長方形領域の面積を計算してもよい。
このように、深層強化ニューラルネットワークは、箱においてより大きな長方形領域を残す配置構成を生成することで、より高い報酬を獲得するため、この訓練処理を繰り返すことで、より大きな長方形領域を残す配置構成を高精度で生成できるように学習する。その結果、箱において最も多くの利用可能な面積を残しておくための配置構成を生成することができる訓練済みの深層強化ニューラルネットワークが構築され、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することが可能となる。
なお、箱の非占有領域における最大の長方形領域を残す配置構成の一例は、図７を参照して説明する。
このように、深層強化ニューラルネットワークは、箱においてより大きな長方形領域を残す配置構成を生成することで、より高い報酬を獲得するため、この訓練処理を繰り返すことで、より大きな長方形領域を残す配置構成を高精度で生成できるように学習する。その結果、箱において最も多くの利用可能な面積を残しておくための配置構成を生成することができる訓練済みの深層強化ニューラルネットワークが構築され、様々な形状や大きさの物体を箱等のようなオープンな空間に効率良く配置することが可能となる。
なお、箱の非占有領域における最大の長方形領域を残す配置構成の一例は、図７を参照して説明する。
【0062】
次に、ステップＳ６１０では、深層強化ニューラルネットワークの配置判定精度が所定の精度基準を達成しているか否かを判定する。ここでは、テスト用の輪郭形状画像及び配置状態画像を深層強化ニューラルネットワークに入力した場合、深層強化ニューラルネットワークから出力される配置構成を評価（対象物体と箱の占有領域との間で衝突が存在しないか、非占有領域において最大の長方形領域が残されているか）することで深層強化ニューラルネットワークの配置判定精度を検証してもよい。
深層強化ニューラルネットワークの配置判定精度が所定の精度基準を達成している場合、本処理はステップＳ６１２へ進む。一方、深層強化ニューラルネットワークの配置判定精度が所定の精度基準を達成していない場合、本処理はステップＳ６０２へ戻り、ステップＳ６０２以降の処理を別の訓練用の輪郭形状画像及び配置状態画像を用いて繰り返す。
深層強化ニューラルネットワークの配置判定精度が所定の精度基準を達成している場合、本処理はステップＳ６１２へ進む。一方、深層強化ニューラルネットワークの配置判定精度が所定の精度基準を達成していない場合、本処理はステップＳ６０２へ戻り、ステップＳ６０２以降の処理を別の訓練用の輪郭形状画像及び配置状態画像を用いて繰り返す。
【0063】
次に、深層強化ニューラルネットワークの配置判定精度が所定の精度基準を達成している場合、ステップＳ６１２では、訓練処理６００は終了し、深層強化ニューラルネットワークの現在のネットワークパラメータは確定され、訓練済みの深層強化ニューラルネットワークが構築される。この訓練済みの深層強化ニューラルネットワークは、例えば図５を参照して説明した箱詰め支援方法５００において、配置構成を判定するために用いられる。
ここでの所定の精度は、例えばユーザに設定されてもよく、統計解析等によって設定されてもよい。なお、ステップＳ６１０においては、前記の判定を行わず、例えば、繰り返し回数をカウントし、あらかじめ決めた回数に到達したら、ステップＳ６１２に進んでもよい。また、それ以外の判定方法を用いてもよい。
ここでの所定の精度は、例えばユーザに設定されてもよく、統計解析等によって設定されてもよい。なお、ステップＳ６１０においては、前記の判定を行わず、例えば、繰り返し回数をカウントし、あらかじめ決めた回数に到達したら、ステップＳ６１２に進んでもよい。また、それ以外の判定方法を用いてもよい。
【0064】
以上説明した訓練処理６００によれば、箱において最も多くの利用可能な面積を残しておくための配置構成を生成することができる訓練済みの深層強化ニューラルネットワークを構築することができる。
なお、以上では、箱の非占有領域においてより大きな長方形領域を残す配置構成を生成するように深層強化ニューラルネットワークを訓練する場合を一例として説明したが、本開示はこれに限定されない。例えば複数の物体間の距離を最小化するよう配置構成を生成できるように深層強化ニューラルネットワークを訓練してもよい。
また、以上では、説明の便宜上、深層強化ニューラルネットワークを用いて衝突判定や報酬計算を行う場合を一例として説明したが、本開示はこれに限定されず、衝突判定や報酬計算は上述した配置構成判定部やその他の機能部によって行われてもよい。
なお、以上では、箱の非占有領域においてより大きな長方形領域を残す配置構成を生成するように深層強化ニューラルネットワークを訓練する場合を一例として説明したが、本開示はこれに限定されない。例えば複数の物体間の距離を最小化するよう配置構成を生成できるように深層強化ニューラルネットワークを訓練してもよい。
また、以上では、説明の便宜上、深層強化ニューラルネットワークを用いて衝突判定や報酬計算を行う場合を一例として説明したが、本開示はこれに限定されず、衝突判定や報酬計算は上述した配置構成判定部やその他の機能部によって行われてもよい。
【0065】
次に、図７を参照して、本開示の実施形態に係る、箱の非占有領域における最大の長方形領域を残す配置構成について説明する。
【0066】
上述したように、本開示の配置構成判定部２３８となる深層強化ニューラルネットワークの訓練段階において、深層強化ニューラルネットワークは、箱において最も多くの利用可能な面積を残しておくための配置構成を生成するように訓練される。図７は、本開示の実施形態に係る、箱の非占有領域における最大の長方形領域を残す配置構成の一例を示す図である。
本開示では、「最大の長方形領域」とは、対象物体を箱の非占有領域に配置した場合、残りの非占有領域において最も多くの面積を有する矩形の領域を意味する。上述したように、この最大の長方形領域の面積を深層強化ニューラルネットワークの報酬として用いることにより、当該深層強化ニューラルネットワークは、最も多くの利用可能な面積を残しておくための配置構成を生成するように訓練される。
本開示では、「最大の長方形領域」とは、対象物体を箱の非占有領域に配置した場合、残りの非占有領域において最も多くの面積を有する矩形の領域を意味する。上述したように、この最大の長方形領域の面積を深層強化ニューラルネットワークの報酬として用いることにより、当該深層強化ニューラルネットワークは、最も多くの利用可能な面積を残しておくための配置構成を生成するように訓練される。
【0067】
図７には、箱における占有領域７１２及び非占有領域７１４を示す配置状態画像７１０と、対象物体７２５の輪郭形状を示す輪郭形状画像７２０と、第１の配置構成７３０と、第２の配置構成７４０とが示される。
【0068】
図７に示すように、第１の配置構成７３０では、対象物体７２５は、箱における占有領域７１２に衝突しないように配置されているものの、配置が中途半端なため、箱の非占有領域７１４において残される最大の長方形領域７３２は面積が比較的に少ない。このため、箱の空間利用効率が低く、他の物体の配置が限定されてしまう。
従って、深層強化ニューラルネットワークが第１の配置構成７３０のような配置構成を生成した場合、報酬となる最大の長方形領域の面積が低くなる。
従って、深層強化ニューラルネットワークが第１の配置構成７３０のような配置構成を生成した場合、報酬となる最大の長方形領域の面積が低くなる。
【0069】
一方、図７に示す第２の配置構成７４０では、対象物体７２５は、箱の非占有領域７１４において残される最大の長方形領域７４２は面積が比較的に多いため、第１の配置構成７３０に比べて箱の空間利用効率が高く、他の物体が配置しやすくなる。
従って、深層強化ニューラルネットワークが第２の配置構成７４０のような配置構成を生成した場合、報酬となる最大の長方形領域の面積が高くなる。
従って、深層強化ニューラルネットワークが第２の配置構成７４０のような配置構成を生成した場合、報酬となる最大の長方形領域の面積が高くなる。
【0070】
このように、深層強化ニューラルネットワークは、箱において最も多くの利用可能な面積を残しておくための配置構成を生成するように訓練される。
【0071】
次に、図８を参照して、本開示の実施形態に係る衝突判定処理について説明する。
【0072】
図８は、本開示の実施形態に係る衝突判定処理の一例を示す図である。上述したように、本開示の配置構成判定部２３８となる深層強化ニューラルネットワークの訓練段階において、訓練用の箱画像及び訓練用の対象物体画像とに基づいて、衝突判定が行われる。この衝突判定とは、対象物体が、箱の占有領域に配置されているか否か（すなわち、対象物体が、既に箱に配置されている別の物体に衝突するか否か）を判定するための処理である。
【0073】
衝突判定の一例は、図８を参照して説明される。まず、上述したように、訓練段階において、深層強化ニューラルネットワークは、輪郭形状画像に示される対象物体の領域８１５を、ランダムな配置構成で配置状態画像８１０に配置する。対象物体の領域８１５を、ランダムな配置構成で配置状態画像８１０に配置した後、深層強化ニューラルネットワークは、対象物体の領域８１５と、箱の占有領域８２０とが重なっているか否かを判定する。
ここでは、深層強化ニューラルネットワークは、対象物体の領域８１５と、箱の占有領域８２０とに対してＬＯＧＩＣ ＡＮＤ演算等を実施することで対象物体の領域８１５と箱の占有領域８２０とが重なっているか否かを判定してもよい。ＬＯＧＩＣ ＡＮＤ演算の結果が「１」の場合、深層強化ニューラルネットワークは、ＬＯＧＩＣ ＡＮＤ演算の結果が「１」の領域を衝突領域８２５と判定する。衝突が判定された場合、深層強化ニューラルネットワークの報酬は０（または、それ以外の低い値）が与えられ、後のネットワークパラメータの調整に使用するために格納される。続いてステップＳ６０４に戻り、深層強化ニューラルネットワークは、新たな配置構成をランダムに生成し、以上の処理を繰り返す。
ここでは、深層強化ニューラルネットワークは、対象物体の領域８１５と、箱の占有領域８２０とに対してＬＯＧＩＣ ＡＮＤ演算等を実施することで対象物体の領域８１５と箱の占有領域８２０とが重なっているか否かを判定してもよい。ＬＯＧＩＣ ＡＮＤ演算の結果が「１」の場合、深層強化ニューラルネットワークは、ＬＯＧＩＣ ＡＮＤ演算の結果が「１」の領域を衝突領域８２５と判定する。衝突が判定された場合、深層強化ニューラルネットワークの報酬は０（または、それ以外の低い値）が与えられ、後のネットワークパラメータの調整に使用するために格納される。続いてステップＳ６０４に戻り、深層強化ニューラルネットワークは、新たな配置構成をランダムに生成し、以上の処理を繰り返す。
【0074】
この衝突判定処理によれば、深層強化ニューラルネットワークは、対象物体の領域８１５と箱の占有領域８２０との間で衝突が発生する配置構成を避け、所定の面積基準を満たす長方形領域が残る配置構成を生成できるように訓練される。
【0075】
次に、図９を参照して、本開示の実施形態に係る予測的配置について説明する。
【0076】
一般に、消費者向けの取引市場等では、関連性が高い複数の商品が一緒に注文されることがある。この場合、商品の搬送等を取り扱う物流センターでは、消費者に注文された複数の商品が同じ箱に詰められ搬送されることがある。一例として、「歯ブラシ」との商品は、「歯磨き粉」との関連商品と一緒に注文され、同じ箱に詰められ搬送される場合等が考えられる。
従って、本開示のある実施形態では、配置構成判定部は、特定の対象物体（第１の対象物体）を箱に配置する場合、当該対象物体と一緒に搬送される確率が高い別の対象物体（第２の対象物体）を予測し、予測した第２の対象物体を考慮した配置構成を判定してもよい。
従って、本開示のある実施形態では、配置構成判定部は、特定の対象物体（第１の対象物体）を箱に配置する場合、当該対象物体と一緒に搬送される確率が高い別の対象物体（第２の対象物体）を予測し、予測した第２の対象物体を考慮した配置構成を判定してもよい。
【0077】
図９は、本開示の実施形態に係る予測的配置の一例を示す図である。図９に示すように、配置構成判定部は、第１の対象物体９２５を箱９１０に配置する場合、第１の対象物体９２５と一緒に箱９１０に詰められる確率が高い第２の対象物体を予測してもよい。ここでは、配置構成判定部は、例えば過去に箱に配置した物体の履歴を示す配置履歴情報や、消費者向けの取引市場の売り上げ情報等を分析し、複数の候補物体（例えば、過去に第１の物体と一緒に購入されたことがある商品）のそれぞれについて、第１の対象物体９２５と一緒に箱９１０に詰められる確率を計算し、所定の確率基準を満たすもの（例えば、最も高い確率、確率が７５％以上のもの等）を第２の物体として予測してもよい。
一例として、配置構成判定部は、第１の対象物体９２５と一緒に箱９１０に詰められる確率として、候補物体９３２について４５％、候補物体９３４について３１％、候補物体９３６について７７％を計算した場合、候補物体９３４を第２の物体として予測してもよい。
一例として、配置構成判定部は、第１の対象物体９２５と一緒に箱９１０に詰められる確率として、候補物体９３２について４５％、候補物体９３４について３１％、候補物体９３６について７７％を計算した場合、候補物体９３４を第２の物体として予測してもよい。
【0078】
第２の対象物体を予測した後、配置構成判定部は、予測した第２の物体を配置するのに十分な面積が残るように、第１の対象物体９２５のための配置構成を生成してもよい。このように、特定の物体と共に箱に配置される可能性が高い他の物体を予測し、当該他の物体を考慮した配置構成を判定することにより、箱の空間利用効率を更に向上させることができる。
なお、以上では、第１の対象物体と一緒に箱に詰められる第２の物体を過去に箱に配置した物体の履歴を示す配置履歴情報や消費者向けの取引市場の売り上げ情報に基づいて計算した場合を一例として説明したが、本開示はこれに限定されず、第１の対象物体と一緒に箱に詰められる確率を示す指標であれば、任意の情報を用いてもよい。
なお、以上では、第１の対象物体と一緒に箱に詰められる第２の物体を過去に箱に配置した物体の履歴を示す配置履歴情報や消費者向けの取引市場の売り上げ情報に基づいて計算した場合を一例として説明したが、本開示はこれに限定されず、第１の対象物体と一緒に箱に詰められる確率を示す指標であれば、任意の情報を用いてもよい。
【0079】
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0080】
２１０ 箱
２２０ 対象物体
２３０ 箱詰め支援装置
２３２ 画像取得部
２３４ 物体解析部
２３６ 箱解析部
２３８ 配置構成判定部
２４０ 通信ネットワーク
２５０ ロボット
２２０ 対象物体
２３０ 箱詰め支援装置
２３２ 画像取得部
２３４ 物体解析部
２３６ 箱解析部
２３８ 配置構成判定部
２４０ 通信ネットワーク
２５０ ロボット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】