特許 6819810 物体検出システム、及び物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6819810

(24)【登録日】2021年1月6日

(45)【発行日】2021年1月27日

(54)【発明の名称】物体検出システム、及び物体検出方法

(51)【国際特許分類】

   G06M 9/00 20060101AFI20210114BHJP

   G06T 7/60 20170101ALI20210114BHJP

   G05B 19/418 20060101ALI20210114BHJP

【ＦＩ】

   G06M9/00 Z

   G06T7/60 110

   G05B19/418 Z

【請求項の数】7

【全頁数】27

(21)【出願番号】特願2020-99838(P2020-99838)

(22)【出願日】2020年6月9日

【審査請求日】2020年6月9日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】上原 千裕

(72)【発明者】

【氏名】吉田 直史

(72)【発明者】

【氏名】畠 康高

【審査官】 菅藤 政明

(56)【参考文献】

【文献】 特開２０１０−２３９５０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０２０／００５１２７２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１９／０１６４２８１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｍ ９／００− ９／０２

Ｇ０６Ｍ １１／００−１１／０４

Ｇ０６Ｔ ７／００− ７／９０

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置と、
解析装置と、
を備え、
前記解析装置は、
前記撮像装置によって生成された前記深度データを取得する深度データ取得部と、
前記深度データに基づいて前記状態において前記物体を前記所定の方向からみた場合の前記物体の面積のある深度についての合計値を前記深度毎に算出する面積算出部と、
前記面積算出部が算出した前記合計値と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する算出部と、
を備える
物体検出システム。

【請求項2】

所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置と、
解析装置と、
を備え、
前記解析装置は、
前記撮像装置によって生成された前記深度データを取得する深度データ取得部と、
前記深度データに基づいて前記画像の画素のうち前記物体に対応する画素の数を前記深度毎に計測する画素計測部と、
前記画素計測部が計測した前記画素の数と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する算出部と、
を備える
物体検出システム。

【請求項3】

前記深度データを、前記深度が基準の深度からの深度である相対深度を示す相対深度データに変換するデータ変換部をさらに備え、
前記算出部は、前記相対深度データと、前記大きさとに基づいて前記深度毎に前記物体の数を算出する
請求項１または請求項２に記載の物体検出システム。

【請求項4】

前記物体の前記所定の方向の大きさに基づいて、前記物体が１以上の段数載置された状態における段数毎の前記深度である対象深度を算出する対象深度算出部をさらに備え、
前記算出部は、前記対象深度と、前記深度データと、前記大きさとに基づいて前記深度毎に前記物体の数を算出する
請求項１から請求項３のいずれか一項に記載の物体検出システム。

【請求項5】

前記物体には、複数の種類があり、
機械学習に基づいて前記種類を判別する判別部をさらに備える、
請求項１から請求項４のいずれか一項に記載の物体検出システム。

【請求項6】

所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置によって生成された前記深度データを取得し、
前記深度データに基づいて前記状態において前記物体を前記所定の方向からみた場合の前記物体の面積のある深度についての合計値を前記深度毎に算出し、
算出した前記合計値と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する、
物体検出方法。

【請求項7】

所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置によって生成された前記深度データを取得し、
前記深度データに基づいて前記画像の画素のうち前記物体に対応する画素の数を前記深度毎に計測し、
計測した前記画素の数と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する、
物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出システム、及び物体検出方法に関する。

【背景技術】

【0002】

生産品の生産現場において、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）を利用することによって、人を介さない情報収集及び情報生成を生産の効率化に利用することが可能になってきている。生産実績、機械のデータ、あるいは作業者の動きを収集し、種々の情報と統合して、生産の効率化に利用することができる。
従来の生産実績を把握する手段として、例えば、生産ライン上に流れる生産品をセンサによって検出し、生産品の個数を計測する生産実績集計システムが知られている（特許文献１）。特許文献１に記載の生産実績集計システムでは、生産実績データの入力ミス、集計ミスなどの人的原因による誤りをなくし、正確な生産状況、生産能力の把握を目的としている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平４−２１０３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、生産現場において、作業者の手によって生産品がランダムに積み上げられる場合など、生産品が載置される位置が十分に狭い範囲に限定されていない場合がある。特許文献１に記載の生産実績集計システムでは、生産品が載置される位置が十分に狭い範囲に限定されていない場合、少数のセンサによって生産品を検出することは困難である。
生産品などの物体が載置される位置が限定されていない場合であっても物体を検出することが求められている。

【0005】

本発明は、このような状況に鑑みてなされたものであり、物体が載置される位置が限定されていない場合であっても物体を検出できる物体検出システム、及び物体検出方法を提供する。

【課題を解決するための手段】

【0006】

本発明の、物体検出システムは、所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置と、解析装置と、を備え、前記解析装置は、前記撮像装置によって生成された前記深度データを取得する深度データ取得部と、前記深度データに基づいて前記状態において前記物体を前記所定の方向からみた場合の前記物体の面積のある深度についての合計値を前記深度毎に算出する面積算出部と、前記面積算出部が算出した前記合計値と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する算出部と、を備える物体検出システムである。
また本発明の、物体検出システムは、所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置と、解析装置と、を備え、前記解析装置は、前記撮像装置によって生成された前記深度データを取得する深度データ取得部と、前記深度データに基づいて前記画像の画素のうち前記物体に対応する画素の数を前記深度毎に計測する画素計測部と、前記画素計測部が計測した前記画素の数と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する算出部と、を備える物体検出システムである。

【0007】

また、本発明の、物体検出方法は、所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置によって生成された前記深度データを取得し、前記深度データに基づいて前記状態において前記物体を前記所定の方向からみた場合の前記物体の面積のある深度についての合計値を前記深度毎に算出し、算出した前記合計値と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する、物体検出方法である。
また、本発明の、物体検出方法は、所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、前記画像に含まれる位置毎に前記所定の方向についての深度を示す３次元データである深度データを生成する撮像装置によって生成された前記深度データを取得し、前記深度データに基づいて前記画像の画素のうち前記物体に対応する画素の数を前記深度毎に計測し、計測した前記画素の数と、前記大きさとに基づいて前記深度毎に前記物体の数を算出する、物体検出方法である。

【発明の効果】

【0008】

本発明によれば、物体が載置される位置が限定されていない場合であっても物体を検出できる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１の実施形態に係る物体検出システムの構成の一例を示す図である。

【図2】本発明の第１の実施形態に係るＲＧＢ画像と深度データとの一例を示す図である。

【図3】本発明の第１の実施形態に係る結束の載置の方法の一例を示す図である。

【図4】本発明の第１の実施形態に係る段毎結束数算出処理の一例を示す図である。

【図5】本発明の第１の実施形態に係る方向補正処理による画像変換の一例を示す図である。

【図6】本発明の第１の実施形態に係る結束が載置された状態が撮像されたＲＧＢ画像の一例を示す図である。

【図7】本発明の第１の実施形態に係る画素ヒストグラムの一例を示す図である。

【図8】本発明の第１の実施形態に係る結束が載置された状態が撮像されたＲＧＢ画像の一例を示す図である。

【図9】本発明の第１の実施形態に係る画素ヒストグラムの一例を示す図である。

【図10】本発明の第１の実施形態に係る結束が載置された状態が撮像されたＲＧＢ画像の一例を示す図である。

【図11】本発明の第１の実施形態に係る画素ヒストグラムの一例を示す図である。

【図12】本発明の第１の実施形態に係る解析装置の構成の一例を示す図である。

【図13】本発明の第１の実施形態に係る段毎結束数算出処理の一例を示す図である。

【図14】本発明の第２の実施形態に係る解析装置の構成の一例を示す図である。

【図15】本発明の第２の実施形態に係る結束の判別結果の一例を示す図である。

【図16】本発明の第２の実施形態に係る段毎結束数算出処理の一例を示す図である。

【図17】本発明の第３の実施形態に係る解析装置の構成の一例を示す図である。

【図18】本発明の第３の実施形態に係る取得データの一例を示す図である。

【図19】本発明の第３の実施形態に係る更新処理の一例を示す図である。

【図20】本発明の第３の実施形態に係る更新処理を説明するための図である。

【図21】本発明の第３の実施形態に係る更新条件が満たされたことを示す線分の一例を示す図である。

【図22】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図23】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図24】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図25】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図26】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図27】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図28】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図29】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図30】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図31】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図32】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【図33】本発明の第３の実施形態に係る更新処理の具体例を示す図である。

【発明を実施するための形態】

【0010】

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る物体検出システム１の構成の一例を示す図である。図面には、説明の便宜上、三次元直交座標系であるＸＹＺ直交座標系を示してある。当該ＸＹＺ直交座標系において、Ｚ軸の向きは、鉛直上向きである。以下の説明において、Ｚ軸に平行な方向を上下方向ともいう。Ｚ軸の向きを上向きともいう。Ｚ軸の向きと逆の向きを下向きともいう。Ｚ軸の方向の正の側を上側ともいい、Ｚ軸の方向の負の側を下側ともいう。Ｙ軸に平行な方向を奥行方向ともいう。Ｙ軸の方向の正の側を手前側ともいい、Ｙ軸の方向の負の側を奥側ともいう。Ｘ軸に平行な方向を左右方向ともいう。Ｘ軸の方向の正の側を右側ともいい、Ｘ軸の方向の負の側を左側ともいう。

【0011】

物体検出システム１は、一例として、印刷工場においてパレット上に載置される結束を検出し、当該結束の数を算出するためのシステムである。結束は、パレット上に複数段に渡って積まれる。物体検出システム１では、結束の数を段毎に算出する。ここで結束とは、雑誌などが数十センチメートル程度の高さにまとめて紐などで結わえられたものである。

【0012】

物体検出システム１は、深度カメラ２と、解析装置３と、表示装置４とを備える。一例として、深度カメラ２と、解析装置３とは、印刷工場において生産ラインが設けられる建屋内に備えられる。表示装置４は、印刷工場の管理室に備えられる。

【0013】

深度カメラ２は、一例として、建屋の天井に備えられる。深度カメラ２は、結束Ｂ及びパレットＰＬを撮像する。結束Ｂは、床に載置されたパレットＰＬ上に１以上載置されている。なお、パレットＰＬ上には結束Ｂが載置されていない場合もある。床は、奥行方向及び左右方向に広がりをもつ。パレットＰＬは、板状の部材である。パレットＰＬの形状は、上側から下側にみた場合に略長方形である。

【0014】

深度カメラ２は、天井から床をみた所定の方向である撮像方向Ａ１において結束Ｂ及びパレットＰＬを撮像する。換言すれば、深度カメラ２は、上側から下側に結束Ｂ及びパレットＰＬを撮像する。このように、深度カメラ２は、所定の大きさを有する物体が１以上載置された状態を所定の撮像方向から撮像する。
なお、図１では、Ｘ軸及びＹ軸はそれぞれ、長方形であるパレットＰＬの各辺と略平行に設定される。

【0015】

深度カメラ２は、天井においてパレットＰＬの真上の位置に設置されて、パレットＰＬの真上から結束Ｂ及びパレットＰＬを撮像することが好ましい。天井におけるパレットＰＬの真上の位置とは、パレットＰＬの中心を通る直線とこの直線と天井とが交わる位置である。パレットＰＬの中心とは、パレットＰＬを上側から下側にみた場合の長方形の中心である。
なお、深度カメラ２は、上側から下側に結束Ｂ及びパレットＰＬを撮像しさえすれば、パレットＰＬの真上の位置以外の位置に設置されてもよい。その場合、深度カメラ２が設置される位置からパレットＰＬの中心に向かう方向は、鉛直方向に対して斜めとなる。
またなお、深度カメラ２は、上側から下側に結束Ｂ及びパレットＰＬを撮像できさえすれば、建屋の天井以外の位置に設置されてもよい。例えば、深度カメラ２は、ラックなどの上部に設置されてもよい。

【0016】

深度カメラ２は、２つの赤外線カメラを備える。深度カメラ２は、２つの赤外線カメラによって撮像方向Ａ１から赤外線画像を撮像する。ここで撮像方向Ａ１は、深度カメラ２から撮像対象である物体の位置に向かう所定の方向である。深度カメラ２は、撮像方向Ａ１から撮像した赤外線画像に基づいて、当該赤外線画像に含まれる位置毎に当該撮像方向Ａ１についての深度を示す３次元データである深度データＤ１を生成する。深度データＤ１では、深度カメラ２が撮像した２次元の赤外線画像の位置と、撮像方向Ａ１についての深度とが対応づけられている。
また、深度カメラ２は、２つの赤外線カメラとともに、１つのカラーカメラを備える。深度カメラ２は、赤外線画像とともに、カラーカメラによってＲＧＢ画像を撮像する。

【0017】

図２に深度カメラ２によって撮像されたＲＧＢ画像と、生成された深度データＤ１との一例を示す。図２（Ａ）は、深度カメラ２によってパレット上の結束が撮像されたＲＧＢ画像の一例である。図２（Ｂ）は、図２（Ａ）に示すＲＧＢ画像に撮像されたのと同じ物体が撮像されて生成された深度データＤ１である。

【0018】

深度カメラ２は、２つの赤外線カメラを備える。２つの赤外線カメラはそれぞれ、深度カメラ２から撮像対象をみた向きに左右２つの赤外線画像をそれぞれ撮像する。深度カメラ２は、一例として、三角測量の原理に基づいて撮像方向Ａ１についての深度を算出する。具体的には、深度カメラ２は、２つの赤外線カメラに共通の焦点距離と、２つの赤外線カメラ間の距離（基線長という）と、撮像される赤外線画像内の物体の位置の左右の２つの赤外線カメラ間の視差とに基づく演算によって、深度を算出する。この演算では、焦点距離に、基線長の視差に対する比が乗じられて深度が算出される。
なお、深度カメラ２は、撮像方向Ａ１についての深度を算出できさえすれば、深度カメラ２が撮像方向Ａ１についての深度を算出する原理は、上記の三角測量の原理以外の原理であってもよい。

【0019】

図１に戻って物体検出システム１の説明を続ける。
図１に示す例では、４つの結束Ｂが床に載置されたパレットＰＬに載置されている。結束の大きさ及び形状は、所定のサイズの略直方体である。パレットＰＬに載置される結束の大きさ及び形状は、結束それぞれについて共通である。また、結束Ｂには、結束の種類などが記載された紙面が直方体のある面に貼られる。紙面が貼られる面は結束それぞれについて共通である。以下の説明では、紙面が貼られる面を結束の上面という場合がある。

【0020】

図１に示す例では、結束Ｂの段数は１段である。作業が進行するにつれて結束Ｂが１段目に所定の数だけ載置されると、結束Ｂの上に別の結束が載置さて、２段目以降の結束が載置されてゆく。結束は、段毎に所定の数だけ載置される。結束Ｂは、いずれの段についても上面を上側にして載置される。以下の説明では、段毎に載置されている結束Ｂの数を、段毎結束数Ｎｉ（ｉ＝１、２、・・・、Ｎ：Ｎは段の数）という。

【0021】

本実施形態の載置の方法では、一例として、段毎の結束の数が共通の所定の数となるように載置が行われる。載置される結束Ｂの向きは、上面を上側にして、かつ下の段に隙間がほとんどなく、段毎に所定の数の結束が載置されさえすれば、いずれの向きでもよい。本実施形態では、一例として、段毎に１０個の結束Ｂが載置される。本実施形態では、図３に示すように、例えば、結束を上側からみたときの結束の長方形の長辺がパレットＰＬの長辺と平行となる向きにして６つの結束が載置され、当該長方形の長辺がパレットＰＬの長辺と垂直となる向きにして残りの４つの結束が載置される。

【0022】

本実施形態では、上の段に載置される結束Ｂの下には結束があり、隙間はほとんどないものとする。例えば、下の段に載置される２つの結束の間に、結束が載置できるだけの大きさの隙間を設けて、それら２つの結束の両方の上に跨るようにして上の段に結束を載置することは可能であるが、本実施形態ではそのような載置の方法は扱わない。結束Ｂの載置の方法は、上の段に載置される結束Ｂの下には隙間がほとんどないという条件が満たされれば、図３に示した載置の方法以外のいずれの方法であってもよい。

【0023】

解析装置３は、深度カメラ２から深度データＤ１を取得する。解析装置３は、取得した深度データＤ１に基づいて、パレットＰＬに載置された結束Ｂについて段毎結束数Ｎｉを算出する。解析装置３は、例えば、コンピュータである。解析装置３は、深度カメラ２と通信を行う。解析装置３は、一例として、無線ネットワークを介して深度カメラ２と無線通信を行う。この無線通信には、深度カメラ２と解析装置３との距離に応じて無線ＬＡＮなどの近距離無線通信などが好適に用いられる。なお、解析装置３と深度カメラ２とがケーブルによって接続されて、解析装置３は深度カメラ２と有線通信をおこなってもよい。

【0024】

表示装置４は、解析装置３から、算出結果Ｒ１を取得する。算出結果Ｒ１は、段毎結束数Ｎｉを示すデータである。表示装置４は、取得した算出結果Ｒ１を表示する。表示装置４は、例えば、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）である。印刷工場の管理者は、表示装置４のディスプレイに表示された算出結果Ｒ１を確認して、段毎結束数Ｎｉを確認する。表示装置４と解析装置３とは、例えば、無線ＬＡＮなどの無線通信によって通信を行う。

【0025】

次に図４を参照し、物体検出システム１による段毎結束数Ｎｉを算出する処理の概要を説明する。この処理を段毎結束数算出処理という。
図４は、本実施形態に係る段毎結束数算出処理の一例を示す図である。解析装置３は、深度カメラ２から深度データＤ１を取得する（ステップＳ１０）。解析装置３は、深度データＤ１にマスク処理を実行する（ステップＳ２０）。このマスク処理では、深度データＤ１から、結束Ｂ以外の背景の位置に対応する深度が除去される。マスク処理が実行された深度データＤ１をマスク処理後深度データＤ２という。解析装置３は、深度データに方向補正処理を実行する（ステップＳ３０）。この方向補正処理では、パレットＰＬに載置された結束Ｂが真上から撮像されていない場合に、深度データとしてマスク処理後深度データＤ２が真上から撮像した場合の深度データへと変換される。真上から撮像した場合の深度データへと変換されたマスク処理後深度データＤ２を方向補正後深度データＤ３という。

【0026】

ここで図５に、方向補正処理による画像変換の一例を示す。図５に示す例では、真上から撮像されていない場合のＲＧＢ画像ＩＭ４１が、真上から撮像した場合のＲＧＢ画像ＩＭ４２へと変換される場合の一例を示す。この変換では、ＲＧＢ画像ＩＭ４１内の位置がそれぞれ、ＲＧＢ画像ＩＭ４２内の位置へと変換されている。ステップＳ３０における深度データＤ１の補正では、深度データＤ１に含まれる２次元の位置について、ＲＧＢ画像ＩＭ４１からＲＧＢ画像ＩＭ４２への変換と同様の変換が行われる。

【0027】

解析装置３は、深度データを高さデータＨ１に変換する（ステップＳ４０）。この変換では、深度データとして方向補正後深度データＤ３が示す深度が、パレットＰＬが載置される床からの高さへと変換される。高さデータＨ１は、画像内の位置毎に示す当該高さを示す３次元データである。

【0028】

解析装置３は、各段の高さを算出する（ステップＳ５０）。各段の高さは、結束Ｂの高さに段数を乗算することによって算出される。上述したように結束Ｂの高さは、予め決まっている。
解析装置３は、画素を単位として各段の結束Ｂの面積を算出する（ステップＳ６０）。解析装置３は、結束Ｂに対応する画像内の画素の数を高さ毎に計測する。計測された高さ毎の画素の数は、各段の結束Ｂの面積を示す。本実施形態では、解析装置３は、結束Ｂに対応する画像内の画素の数を高さ毎に計測した結果を示すヒストグラムである画素ヒストグラムを生成する。
解析装置３は、段毎結束数Ｎｉを算出する（ステップＳ７０）。段毎結束数Ｎｉは、画素単位で示された各段の結束Ｂの面積を、１つの結束Ｂの画素単位で示された表面積によって除算することによって算出される。

【0029】

ここで図６から図１１を参照し、結束Ｂが載置された状態と画素ヒストグラムとの関係について説明する。
図６、図８、及び図１０は、本実施形態に係る結束Ｂが載置された状態がそれぞれ撮像されたＲＧＢ画像ＩＭ５１、ＲＧＢ画像ＩＭ５２、及びＲＧＢ画像ＩＭ５３の一例を示す図である。図７、図９、及び図１１は、ＲＧＢ画像ＩＭ５１、ＲＧＢ画像ＩＭ５２、及びＲＧＢ画像ＩＭ５３にそれぞれ対応する画素ヒストグラムＨＳ５１、画素ヒストグラムＨＳ５２、及び画素ヒストグラムＨＳ５３の一例をそれぞれ示す図である。

【0030】

ＲＧＢ画像ＩＭ５１は、１段目に３個の結束Ｂが載置されている。画素ヒストグラムＨＳ５１によれば、２３５ｍｍ付近、及び４８５ｍｍ付近について画素の頻度が、他の高さに比べて高い。２３５ｍｍ付近の頻度のピークＰＫ１１は、パレットＰＬの高さが２３５ｍｍであることに対応する。４８５ｍｍ付近の頻度のピークＰＫ１２は、１段目の高さが４８５ｍｍであることに対応する。１段目の高さは、パレットＰＬの高さである２３５ｍｍに結束Ｂの高さである２５０ｍｍを加算して得られる。

【0031】

ＲＧＢ画像ＩＭ５２は、１段目に１０個の結束Ｂが載置されている。ＲＧＢ画像ＩＭ５１では、１段目に載置された１０個の結束ＢによってパレットＰＬが見えなくなっている。画素ヒストグラムＨＳ５２によれば、４８５ｍｍ付近について画素の頻度が、他の高さに比べて高い。２８５ｍｍ付近の頻度のピークＰＫ２は、１段目の高さが４８５ｍｍであることに対応する。ここでＲＧＢ画像ＩＭ５２においてパレットＰＬが見えなくなっていることに応じて、画素ヒストグラムＨＳ５２では、パレットＰＬの高さに対応するピークはみられない。

【0032】

ＲＧＢ画像ＩＭ５３は、１段目に１０個の結束Ｂが、２段目に３個の結束Ｂがそれぞれ載置されている。２段目にされた３個の結束Ｂによって、１段目に載置された１０個の結束Ｂのうち一部が見えなくなっている。画素ヒストグラムＨＳ５３によれば、４８５ｍｍ付近、及び７３５ｍｍ付近について画素の頻度が、他の高さに比べて高い。４８５ｍｍ付近の頻度のピークＰＫ３１は、１段目の高さが４８５ｍｍであることに対応する。７３５ｍｍ付近の頻度のピークＰＫ３２は、２段目の高さが７３５ｍｍであることに対応する。
画素ヒストグラムＨＳ５３におけるピークＰＫ３１と、画素ヒストグラムＨＳ５２におけるピークＰＫ２との高さを比較すると、ＲＧＢ画像ＩＭ５３では、２段目にされた３個の結束Ｂによって、１段目に載置された１０個の結束Ｂのうち一部が見えなくなっていることに応じて、ピークＰＫ３１の高さは、ピークＰＫ２の高さに比べて低くなっている。

【0033】

［解析装置の構成］
図１２は、本実施形態に係る解析装置３の構成の一例を示す図である。解析装置３は、制御部３０と、通信部３１と、記憶部３２とを備える。

【0034】

制御部３０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などを備えており、種々の演算や情報の授受を行う。制御部３０は、深度データ取得部３００と、深度データマスク部３０１と、深度データ補正部３０２と、深度データ変換部３０３と、対象深度算出部３０４と、画素計測部３０５と、面積算出部３０６と、結束数算出部３０７と、出力部３０８とを備える。深度データ取得部３００と、深度データマスク部３０１と、深度データ補正部３０２と、深度データ変換部３０３と、対象深度算出部３０４と、画素計測部３０５と、面積算出部３０６と、結束数算出部３０７と、出力部３０８とは、それぞれ、例えばＣＰＵがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）からプログラムを読み込んで処理を実行することにより実現される。

【0035】

深度データ取得部３００は、深度カメラ２によって生成された深度データＤ１を深度カメラ２から取得する。
深度データマスク部３０１は、深度データにマスク処理を実行する。
深度データ補正部３０２は、深度データに方向補正処理を実行する。

【0036】

深度データ変換部３０３は、深度データを高さデータＨ１に変換する。高さデータＨ１は、所定の方向についての深度が基準の深度からの深度である相対深度を示す相対深度データの一例である。本実施形態では、上述したようにこの基準の深度とは、床の位置の深度である。また、深度データ変換部３０３は、データ変換部の一例である。

【0037】

対象深度算出部３０４は、結束Ｂの真上方向Ａ２の大きさに基づいて、結束Ｂが１以上の段数載置された状態における段数毎の深度である対象深度を算出する。結束Ｂの真上方向Ａ２の大きさは、結束Ｂの高さである。対象深度は、結束Ｂが複数段載置された各段の高さである。
画素計測部３０５は、深度データに基づいて撮像画像の画素のうち結束Ｂに対応する画素の数を深度毎に計測する。

【0038】

面積算出部３０６は、深度データに基づいて結束Ｂの面積のある段についての合計値を段毎に算出する。ここで結束Ｂの面積は、結束Ｂが１以上載置された状態において結束Ｂを真上方向Ａ２からみた場合の結束Ｂの面積である。真上方向Ａ２とは、鉛直下向きである。また、段毎の結束Ｂの面積とは、ある段に載置された１以上の結束Ｂの面積の合計の値である。

【0039】

結束数算出部３０７は、深度データと、結束Ｂの大きさとに基づいて段毎結束数Ｎｉを算出する。つまり、結束数算出部３０７は、深度データと、結束Ｂの大きさとに基づいて深度毎に結束Ｂの数を算出する。本実施形態では、結束数算出部３０７は、面積算出部３０６が算出した合計値を深度データとして用いて深度毎に結束Ｂの数を算出する。つまり、結束数算出部３０７は、面積算出部が算出した合計値と、結束Ｂの大きさとに基づいて深度毎に結束Ｂの数を算出する。
出力部３０８は、結束数算出部３０７が算出した算出結果Ｒ１を表示装置４に出力する。

【0040】

通信部３１は、無線ネットワークを介して、各種の情報の送信及び受信を行う。通信部は、無線ネットワークを介して通信を行うためのハードウェアである。通信部３１は、深度カメラ２、及び表示装置４と通信を行う。

【0041】

記憶部３２は、物体情報３２０を記憶する。物体情報３２０は、１個の結束Ｂの大きさを示す情報である。物体情報３２０は、１個の結束Ｂの高さ、及び１個の結束Ｂの上面の面積を示す情報である。記憶部３２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。

【0042】

［段毎結束数算出処理］
図１３は、本実施形態に係る段毎結束数算出処理の一例を示す図である。
ステップＳ１００：深度データ取得部３００は、深度カメラ２によって生成された深度データＤ１を深度カメラ２から取得する。深度データ取得部３００は、取得した深度データＤ１を深度データマスク部３０１に供給する。

【0043】

ステップＳ１１０：深度データマスク部３０１は、深度データ取得部３００から供給される深度データＤ１にマスク処理を実行する。深度データマスク部３０１は、マスク処理を実行した結果として、マスク処理後深度データＤ２を生成する。深度データマスク部３０１は、生成したマスク処理後深度データＤ２を深度データ補正部３０２に供給する。

【0044】

ステップＳ１２０：深度データ補正部３０２は、深度データマスク部３０１から供給されるマスク処理後深度データＤ２に方向補正処理を実行する。深度データ補正部３０２は、方向補正処理を実行した結果として、方向補正後深度データＤ３を生成する。深度データ補正部３０２は、生成した方向補正後深度データＤ３を深度データ変換部３０３に供給する。

【0045】

ステップＳ１３０：深度データ変換部３０３は、深度データを高さデータＨ１に変換する。深度データ変換部３０３は、処理対象の深度データとして、深度データ補正部３０２から供給される方向補正後深度データＤ３を用いる。深度データ変換部３０３は、変換して得られる高さデータＨ１を対象深度算出部３０４、及び画素計測部３０５にそれぞれ供給する。

【0046】

ステップＳ１４０：対象深度算出部３０４は、結束Ｂの真上方向Ａ２の大きさに基づいて、対象深度として、結束Ｂが複数段載置された各段の高さを算出する。対象深度算出部３０４は、算出した各段の高さを示す情報を画素計測部３０５に供給する。各段の高さを示す情報を、各段高さ情報という。

【0047】

ステップＳ１５０：画素計測部３０５は、深度データに基づいて撮像画像の画素のうち結束Ｂに対応する画素の数を深度毎に計測する。画素計測部３０５は、深度データとして、深度データ変換部３０３から供給される高さデータＨ１を用いる。画素計測部３０５は、計測した結果に基づいて、画素ヒストグラムＨＳを生成する。画素計測部３０５は、計測結果として、生成した画素ヒストグラムＨＳを面積算出部３０６に供給する。

【0048】

ステップＳ１６０：面積算出部３０６は、画素計測部３０５から供給される画素ヒストグラムＨＳに基づいて、結束Ｂを真上方向Ａ２からみた場合の結束Ｂの面積のある段についての合計値を、段の高さ毎に算出する。面積算出部３０６は、面積を算出する対象の各段の高さとして、対象深度算出部３０４から供給される各段高さ情報を用いる。面積算出部３０６は、画素ヒストグラムＨＳから各段高さ情報が示す高さに対応する画素数を、当該高さ毎に抽出する。

【0049】

例えば、面積算出部３０６は、画素ヒストグラムＨＳから各段高さ情報が示す高さの位置にあるピークを抽出する。面積算出部３０６は、例えば、画素ヒストグラムＨＳから１段目、２段目、３段目それぞれの高さの位置にある３つのピークを抽出する。面積算出部３０６は、抽出したピークに含まれる画素の数を計測する。面積算出部３０６は、計測した結果を、各段高さ情報が示す高さに対応する段に載置された結束Ｂの面積の合計値とする。この合計値は、１画素を単位として算出されている。
面積算出部３０６は、算出した段毎の結束Ｂの面積を結束数算出部３０７に供給する。

【0050】

ステップＳ１７０：結束数算出部３０７は、面積算出部３０６が算出した結束Ｂの段毎の面積の合計値と、１個の結束Ｂの上面の面積とに基づいて、段毎に結束Ｂの数を算出する。ここで結束数算出部３０７は、記憶部３２から物体情報３２０を読み出す。結束数算出部３０７は、読み出した物体情報３２０が示す１個の結束Ｂの上面の面積の値を用いる。結束数算出部３０７は、結束Ｂの段毎の面積の合計値を、１個の結束Ｂの上面の面積の値で除算することによって、段毎に結束Ｂの数を算出する。
結束数算出部３０７は、算出した段毎の結束Ｂの数を示す情報を、算出結果Ｒ１として出力部３０８に供給する。

【0051】

上述したように、結束Ｂの段毎の面積の合計値は、画素ヒストグラムＨＳから算出されている。したがって、結束数算出部３０７は、深度データとして画素計測部３０５が計測した撮像画像の画素のうち結束Ｂに対応する画素の数を用いて、深度毎に結束Ｂの数を算出する。
また、上述したように、画素ヒストグラムＨＳは、深度データとして相対深度データである高さデータＨ１が用いられて生成されている。したがって、結束数算出部３０７は、相対深度データと、結束Ｂの大きさとに基づいて深度毎に結束Ｂの数を算出する。

【0052】

また、上述したように、結束Ｂの段毎の面積の合計値は、画素ヒストグラムＨＳから各段高さ情報が示す高さの位置にあるピークが抽出されて算出されている。各段高さ情報は、対象深度として算出された、結束Ｂが複数段載置された各段の高さを示すため、結束Ｂの段毎の面積の合計値は、対象深度に基づいて算出されている。つまり、当該合計値から算出される深度毎に結束Ｂの数は、対象深度に基づいて算出された量である。したがって、結束数算出部３０７は、対象深度と、深度データと、結束Ｂの大きさとに基づいて深度毎に結束Ｂの数を算出する。

【0053】

ステップＳ１８０：出力部３０８は、結束数算出部３０７から供給される算出結果Ｒ１を表示装置４に出力する。出力部３０８は、通信部３１を介した無線通信によって算出結果Ｒ１を表示装置４に出力する。なお、出力部３０８は、物体検出システム１の外部に備えられる装置に算出結果Ｒ１を出力してもよい。その場合、物体検出システム１の構成から表示装置４が省略されてもよい。
以上で、解析装置３は、段毎結束数算出処理を終了する。

【0054】

なお、図１３に示した段毎結束数算出処理において、ステップＳ１１０に示したマスク処理が省略されてもよい。その場合、解析装置３の構成から深度データマスク部３０１が省略されてもよい。
マスク処理が省略される場合、深度データＤ１には、結束Ｂ及びパレットＰＬ以外の物体が撮像されている場合があるため、それらの不要な物体が、例えば、画素ヒストグラムＨＳにおいて不要なピークとして現れたり、段に対応する高さにおけるピークの高さを変えたりする場合がある。段毎結束数算出処理の精度を高めるためには、マスク処理が実行されることが好ましい。

【0055】

また、ステップＳ１２０に示した方向補正処理が省略されてもよい。その場合、解析装置３の構成から深度データ補正部３０２が省略されてもよい。ただし、深度カメラ２の撮像方向Ａ１が鉛直下向きである場合以外には、段毎結束数算出処理の精度を高めるためには、方向補正処理が実行されることが好ましい。

【0056】

また、ステップＳ１３０に示した深度データを高さデータに変換する処理が省略されてもよい。その場合、解析装置３の構成から深度データ変換部３０３が省略されてもよい。ただし、深度データを高さデータに変換する処理が省略される場合、例えば、画素ヒストグラムＨＳにおいて、床の高さに対応する解析に不要なピークが現れるため、段毎結束数算出処理の精度を高めるためには、深度データを高さデータに変換する処理が実行されることが好ましい。

【0057】

また、ステップＳ１４０に示した各段の高さを算出する処理が省略されてもよい。その場合、解析装置３の構成から対象深度算出部３０４が省略されてもよい。その場合、ステップＳ１６０において、面積算出部３０６は、面積を算出する対象の各段の高さを、例えば、画素ヒストグラムＨＳに含まれるピークの位置から判定する。

【0058】

また、図１３に示した段毎結束数算出処理においては、１個の結束Ｂの上面の面積が物体情報３２０に含まれて予めわかっている場合の一例について説明したが、これに限られない。１個の結束Ｂの上面の面積は、例えば、画素ヒストグラムＨＳから算出されてもよい。

【0059】

また、図１３に示した段毎結束数算出処理においては、結束Ｂの段毎の面積の合計値、及び画素ヒストグラムＨＳの頻度が１画素を単位として算出される場合の一例について説明したが、これに限られない。結束Ｂの段毎の面積の合計値、及び画素ヒストグラムＨＳの頻度は、複数の画素を単位として算出されてもよい。例えば、２×２の４つの画素を探知として、それらの値が算出されてもよい。

【0060】

また、図１３に示した段毎結束数算出処理においては、結束Ｂの段毎の面積の合計値に基づいて、段毎結束数Ｎｉが算出される場合の一例について説明したが、これに限られない。結束ＢがパレットＰＬ上に、結束Ｂを上側からみた場合の長方形の辺と、パレットＰＬを上側からみた場合の長方形の辺とを略平行して載置される場合においては、結束Ｂを上側からみた場合の長方形の辺の長さの段毎の合計値に基づいて、段毎結束数Ｎｉが算出されてもよい。
上述したように、結束Ｂの大きさ及び形状は、所定のサイズの略直方体である。例えば、解析装置３は、深度データＤ１に基づいて、長方形の各辺の長さの段毎の合計値を算出する。解析装置３は、当該合計値と、結束Ｂを上側からみた場合の長方形の辺の長さとに基づいて、合計値が、左右方向及び奥行方向について当該の長方形の辺の何倍に相当するかを算出する。解析装置３は、この算出結果に基づいて、段毎結束数Ｎｉを算出する。

【0061】

また、本実施形態では、所定の方向として、上側から下側に物体が撮像される場合の一例について説明したが、これに限られない。所定の方向として奥行方向または左右方向から物体が撮像されて、本実施形態と同様の解析が行われてもよい。
また、物体検出システム１が検出する対象は、結束以外の物体であってもよい。

【0062】

以上に説明したように、本実施形態に係る物体検出システム１は、撮像装置（本実施形態において深度カメラ２）と、解析装置３とを備える。
撮像装置（本実施形態において深度カメラ２）は、所定の大きさを有する物体（本実施形態において結束Ｂ）が１以上載置された状態を所定の方向（本実施形態において撮像方向Ａ１）から撮像した画像に基づいて、画像に含まれる位置毎に所定の方向（本実施形態において撮像方向Ａ１）についての深度を示す３次元データである深度データＤ１を生成する。
解析装置３は、深度データ取得部３００と、算出部（本実施形態において結束数算出部３０７）とを備える。深度データ取得部３００は、撮像装置（本実施形態において深度カメラ２）によって生成された深度データＤ１を取得する。算出部（本実施形態において結束数算出部３０７）は、深度データＤ１と、物体（本実施形態において結束Ｂ）の大きさ（本実施形態において１個の結束Ｂの上面の面積）とに基づいて深度（本実施形態において結束Ｂが載置されてできる段の高さ）毎に物体（本実施形態において結束Ｂ）の数（本実施形態において段毎結束数Ｎｉ）を算出する。

【0063】

この構成により、本実施形態に係る物体検出システム１は、深度データと物体の大きさとに基づいて深度毎に物体の数を算出できるため、物体が載置される位置が限定されていない場合であっても物体を検出できる。

【0064】

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、物体検出システムは、結束の数を段毎に算出する場合について説明をした。本実施形態では、物体検出システムが、結束の種類を段毎に判定する場合について説明をする。
なお、上述した第１の実施形態と同一の構成については同一の符号を付して、同一の構成及び動作についてはその説明を省略する。
本実施形態に係る物体検出システムを物体検出システム１ａという。物体検出システム１ａは、深度カメラ２と、解析装置３ａと、表示装置４とを備える。

【0065】

本実施形態では、結束Ｂには、複数の種類がある。この種類とは、例えば、結束の納品先によって区別される。この種類は、結束Ｂの上面に貼られた紙面によって示される。なお、結束Ｂの大きさ及び形状は、第１の実施形態と同様に結束Ｂ間において共通である。

【0066】

図１４は、本実施形態に係る解析装置３ａの構成の一例を示す図である。解析装置３ａは、制御部３０ａと、通信部３１と、記憶部３２ａとを備える。
制御部３０ａは、深度データ取得部３００と、深度データマスク部３０１と、深度データ補正部３０２と、深度データ変換部３０３と、対象深度算出部３０４と、画素計測部３０５と、面積算出部３０６と、結束数算出部３０７と、出力部３０８と、ＲＧＢ画像取得部３０９ａと、判別部３１０ａとを備える。本実施形態に係る解析装置３ａ（図１４）と第１の実施形態に係る解析装置３（図１２）とを比較すると、ＲＧＢ画像取得部３０９ａ、及び判別部３１０ａが異なる。

【0067】

ＲＧＢ画像取得部３０９ａは、深度カメラ２によって生成されたＲＧＢ画像Ｄ４ａを深度カメラ２から取得する。ＲＧＢ画像Ｄ４ａでは、結束Ｂは真上から撮像されていてもよいし、斜めの方向から撮像されていてもよい。
判別部３１０ａは、機械学習に基づいて結束Ｂの種類を判別する。この機械学習では、学習データ３２１ａが用いられる。学習データ３２１ａは、結束ＢのＲＧＢ画像と、結束Ｂの種類との関係が機械学習に基づいて予め学習された学習結果を示す。

【0068】

機械学習とは、例えば、深層学習である。この深層学習では、例えば、結束ＢのＲＧＢ画像の各画素値を入力とし、結束Ｂの種類の判別結果を出力とする多層のニューラルネットワークを用いて学習が実行される。入力に用いられるＲＧＢ画像において、結束Ｂは真上から撮像されていてもよいし、斜めの方向から撮像されていてもよい。学習データ３２１ａとは、学習実行後の当該ニューラルネットワークのノード間の重み、バイアスなどのパラメータの組である。
なお、機械学習として深層学習以外の手法が用いられてもよい。

【0069】

また、判別部３１０ａは、機械学習に基づいて結束ＢがパレットＰＬ上において載置される位置を示す座標を判定する。この座標は、例えば、図１に示したようなパレットＰＬを真上からみた場合に、左右方向と奥行方向にそれぞれ平行な座標軸の座標である。

【0070】

記憶部３２ａは、物体情報３２０と、学習データ３２１ａとを記憶する。
なお、学習データ３２１ａは、解析装置３ａによって学習が実行されて生成されてもよいし、物体検出システム１に含まれない外部装置によって学習が実行された結果が取得されてもよい。

【0071】

ここで図１５を参照し、解析装置３ａによる結束Ｂの判別結果について説明する。図１５は、本実施形態に係る結束Ｂの判別結果の一例を示す図である。図１５（Ａ）に示すＲＧＢ画像ＩＭ１５１には、判別対象となる結束Ｂが撮像されている。図１５（Ｂ）に示すＲＧＢ画像ＩＭ１５２では、結束Ｂの種類の判別結果に応じて、結束Ｂそれぞれに判別結果を示す枠が示されている。

【0072】

本実施形態の機械学習による判別では、深度カメラ２が撮像方向Ａ１から撮像可能な結束Ｂ（つまり、外側から見えている結束Ｂ）についてのみ種類が判別される。本実施形態の機械学習による判別では、撮像可能な結束Ｂの下に載置されており撮像不可能な結束Ｂについては、判別の対象とはしない。

【0073】

次に図１６を参照し、段毎結束数算出処理について説明する。図１６は、本実施形態に係る段毎結束数算出処理の一例を示す図である。
なお、ステップＳ２００からステップＳ２７０の各処理は、図１３におけるステップＳ１００からステップＳ１７０の各処理と同様であるため、説明を省略する。

【0074】

ステップＳ２８０：ＲＧＢ画像取得部３０９ａは、深度カメラ２によって生成されたＲＧＢ画像Ｄ４ａを深度カメラ２から取得する。ＲＧＢ画像取得部３０９ａは、取得したＲＧＢ画像Ｄ４ａを判別部３１０ａに供給する。

【0075】

ステップＳ２９０：判別部３１０ａは、機械学習に基づいて、取得したＲＧＢ画像Ｄ４ａに撮像された結束Ｂの種類、及び座標を判別する。判別部３１０ａは、ＲＧＢ画像Ｄ４ａに撮像された結束Ｂ毎に判別を行う。なお、判別部３１０ａは、結束Ｂの種類、及び座標のいずれか一方を判定してもよい。判別部３１０ａは、ＲＧＢ画像Ｄ４ａに撮像された結束Ｂと、当該結束Ｂの種類とを組みにして判別結果Ｒ２ａとして出力部３０８に供給する。

【0076】

ステップＳ３００：出力部３０８は、判別部３１０ａから供給される判別結果Ｒ２ａを、結束数算出部３０７から供給される算出結果Ｒ１とともに、表示装置４に出力する。
以上で、解析装置３ａは、段毎結束数算出処理を終了する。

【0077】

少量多品種生産、あるいは複数の配送先への仕分けなどへの対応に伴い、単に生産品の個数を計測するだけでは、生産実績データを自動で管理することは困難である。本実施形態に係る物体検出システム１ａでは、生産品である結束の種類を判別できるため、少量多品種生産、あるいは複数の配送先への仕分けなどが行われる場合であっても、生産品の生産を効率化できる。

【0078】

（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
上記第２の実施形態では、物体検出システムは、ＲＧＢ画像に基づいて外側から見えている結束Ｂについて種類を判別する場合について説明をした。本実施形態では、物体検出システムが、新たに取得した情報と、既に取得している情報とを比較して、結束の種類と位置とを段毎に検出する場合について説明をする。なお、本実施形態では、結束Ｂの載置の方法として、上の段に載置される結束Ｂの下には隙間がほとんどないという条件が満たされてなくてもよい。

【0079】

なお、上述した第１の実施形態および第２の実施形態と同一の構成については同一の符号を付して、同一の構成及び動作についてはその説明を省略する。
本実施形態に係る物体検出システムを物体検出システム１ｂという。物体検出システム１ｂは、深度カメラ２と、解析装置３ｂと、表示装置４とを備える。

【0080】

図１７は、本実施形態に係る解析装置３ｂの構成の一例を示す図である。解析装置３ｂは、制御部３０ｂと、通信部３１と、記憶部３２ｂとを備える。
制御部３０ｂは、深度データ取得部３００と、深度データマスク部３０１と、深度データ補正部３０２と、深度データ変換部３０３と、対象深度算出部３０４と、画素計測部３０５と、面積算出部３０６と、結束数算出部３０７と、出力部３０８と、ＲＧＢ画像取得部３０９ａと、判別部３１０ａと、取得データ生成部３１１ｂと、比較部３１２ｂとを備える。本実施形態に係る解析装置３ｂ（図１７）と第２の実施形態に係る解析装置３ａ（図１４）とを比較すると、取得データ生成部３１１ｂ、及び比較部３１２ｂが異なる。

【0081】

取得データ生成部３１１ｂは、判別部３１０ａの判別結果に基づいて取得データ３２３ｂを生成する。取得データ３２３ｂは、図１８に示すように、段、結束Ｂの種類、及び座標の各項目の列を有している。取得データ３２３ｂは、段毎に、結束Ｂの種類及び座標の組が格納される行と列からなる２次元の表形式のデータである。
比較部３１２ｂは、取得データ３２３ｂと、保持データ３２２ｂとを比較する。比較部３１２ｂは、比較した結果に基づいて、保持データ３２２ｂを更新する。

【0082】

記憶部３２ｂは、物体情報３２０と、学習データ３２１ａと、保持データ３２２ｂとを記憶する。なお、保持データ３２２ｂは、取得データ３２３ｂと同様の２次元の表形式のデータである。

【0083】

ここで図１９を参照し、比較部３１２ｂによる更新処理の概要を、取得データ３２３ｂ、及び保持データ３２２ｂの具体例とともに説明する。図１９は、本実施形態に係る更新処理の一例を示す図である。更新処理は、所定の時刻が到来した場合に実行される。所定の時刻とは、例えば、１分間隔の時刻である。

【0084】

ステップＳ３１０：制御部３０ｂは、判別処理を実行する。ステップＳ３１０に示す判別処理は、図１６に示した段毎結束数算出処理におけるステップＳ２００からステップＳ２９０までの処理と同様である。

【0085】

ステップＳ３２０：取得データ生成部３１１ｂは、判別部３１０ａの判別結果に基づいて取得データ３２３ｂを生成する。判別部３１０ａの判別結果とは、図１６に示したステップＳ２９０において判別される結束Ｂの種類、及び座標である。取得データ生成部３１１ｂは、生成した取得データ３２３ｂを比較部３１２ｂに供給する。

【0086】

ステップＳ３３０：比較部３１２ｂは、保持データ３２２ｂを取得する。比較部３１２ｂは、記憶部３２ｂから保持データ３２２ｂを読み出すことによって保持データ３２２ｂを取得する。

【0087】

ステップＳ３４０：比較部３１２ｂは、取得データ３２３ｂと、保持データ３２２ｂとを比較する。
ステップＳ３５０：比較部３１２ｂは、更新条件が満たされたか否かを判定する。更新条件は、以下に示す３つの更新条件を含む。比較部３１２ｂは、それら３つの更新条件がそれぞれ満たされているか否かを順番に判定する。

【0088】

１番目の更新条件は、段数、種類、及び座標がそれぞれ一致するデータが、取得データ３２３ｂと保持データ３２２ｂとの両方に含まれていることである。２番目の更新条件は、１番目の更新条件の更新条件が満たされていない場合に判定される。２番目の更新条件は、段数、及び種類がそれぞれ一致するデータが、取得データ３２３ｂと保持データ３２２ｂとの両方に含まれていることである。番目の更新条件は、２番目の更新条件が満たされていない場合に判定される。３番目の更新条件は、取得データ３２３ｂに含まれるデータのうち、保持データ３２２ｂに含まれるデータと段数が一致するデータについて、種類が「ＮＵＬＬ」であることである。「ＮＵＬＬ」は、結束Ｂの種類が判別できなかったことを示す。

【0089】

比較部３１２ｂは、更新条件が満たされたと判定した場合（ステップＳ３５０；ＹＥＳ）、ステップＳ３６０の処理を実行する。一方、比較部３１２ｂは、更新条件が満たされていないと判定した場合（ステップＳ３５０；ＮＯ）、ステップＳ３７０の処理を実行する。

【0090】

ステップＳ３６０：比較部３１２ｂは、取得データ３２３ｂに基づいて、保持データ３２２ｂを更新する。比較部３１２ｂは、更新した結果のデータを新たに保持データ３２２ｂとして記憶部３２ｂに記憶させる。

【0091】

ステップＳ３７０：比較部３１２ｂは、保持データ３２２ｂに取得データ３２３ｂを追加する。比較部３１２ｂは、追加した結果のデータを新たに保持データ３２２ｂとして記憶部３２ｂに記憶させる。
以上で、解析装置３ｂは、更新処理を終了する。

【0092】

ここで図２０から図３３を参照し、上述した更新処理の具体例について説明する。図２０は、本実施形態に係る更新処理を説明するための図である。図２０（Ａ）は、今回撮像されたパレットＰＬ及び結束Ｂの状態を示す。図２０（Ａ）では、３つの結束ＢがパレットＰＬに載置されている。結束Ｂ１は、前回の撮像時に載置されている。結束Ｂ２及び結束Ｂ３は、今回の撮像時までに新たに載置されている。

【0093】

図２０（Ｂ）は、更新前の保持データの一例である。図２０（Ｂ）に示す保持データには、結束Ｂ１が判別された結果を示すデータが格納されている。図２０（Ｃ）は、今回の撮像において取得された取得データの一例である。図２０（Ｃ）に示す取得データには、結束Ｂ１、結束Ｂ２、及び結束Ｂ３が判別された結果を示すデータがそれぞれ格納されている。図２０（Ｃ）に示す取得データのうち２行目、３行目のデータが、今回増えた結束Ｂ２、及び結束Ｂ３にそれぞれ対応する。

【0094】

図２０（Ｂ）に示す保持データと、図２０（Ｃ）に示す取得データとには、それぞれ１行目に結束Ｂ１を示すデータ（段数：１、種類：「種類Ａ」、Ｘ座標：Ｘ１、Ｙ座標：Ｙ１）が格納されている。図２０（Ｂ）に示す保持データと、図２０（Ｃ）に示す取得データとでは、上述した１番目の更新条件が満たされている。１番目の更新条件が満たされるということは、取得データに含まれるデータと同じデータが、保持データに含まれているということである。つまり、このデータは、前回の撮像時に載置されていた結束に対応する。

【0095】

取得データのうち、１番目の更新条件が満たされていないデータのうち、座標が判別されているデータは、今回撮像された結束であって座標が判別された結束に対応する。保持データには、取得データのうち、今回撮像された結束であって座標が判別された結束に対応するデータが追加されることによって更新される。
具体的には、図２０（Ｂ）に示す保持データは、図２０（Ｃ）に示す取得データのうち今回増えた結束Ｂ２、及び結束Ｂ３にそれぞれ対応する２行目、３行目のデータによって更新される。図２０（Ｄ）に示す保持データが更新後の保持データである。

【0096】

図２０（Ｂ）に示す保持データの１行目のデータと、図２０（Ｃ）に示す取得データの１行目のデータとが線分によって結ばれている。この線分は、更新条件が満たされたことを示すための凡例である。以下の説明において、保持データと取得データとにそれぞれ含まれるデータについて、更新条件が満たされたことを示すためにこのような線分を用いてそれぞれのデータを結ぶ。図２１に、更新条件が満たされたことを示す線分の一例を示す。

【0097】

図２２から図３３に、更新処理の具体例を示す。図２２から図３３では、図２０に示したのと同様に、パレットＰＬに載置された結束Ｂの状態、更新前の保持データ、取得データ、更新後の保持データとがそれぞれ示されている。図２２から図３３に示す例のうち、図２６及び図２９を例に取って説明する。図２６及び図２９以外の例についても同様にして更新条件が判定されて、保持データの更新、または保持データへの取得データの追加が行われる。

【0098】

図２６では、結束Ｂ１１が２段目に載置されている。結束Ｂ１１は、１段目に載置されている結束Ｂ３及び結束Ｂ８の上に載置されている。結束Ｂ３及び結束Ｂ８は、結束Ｂ１１に隠されて深度カメラ２の撮像方向Ａ１から撮像することができない。そのため、図２６に示した取得データでは、結束Ｂ３及び結束Ｂ８にそれぞれ対応するデータでは、種類、及び座標が判別されていない。

【0099】

取得データに含まれるデータのうち第１の更新条件が満たされていないデータは、８行目から１１行目までのデータである。８行目から１１行目までのデータのうち、種類、及び座標が判別されていないのは８行目、９行目のデータである。
保持データに含まれるデータのうち第１の更新条件が満たされていないデータと、取得データに含まれるデータのうち第１の更新条件が満たされていないデータであって種類、及び座標が判別されていないデータとにおいて、段数が一致する場合、第３の更新条件が満たされている。保持データに含まれる当該データが、取得データに含まれる当該データによって置換されることによって保持データは更新される。
また、取得データに含まれるデータのうち第１の更新条件、及び第３の更新条件をともに満たさない１０行目、及び１１行目のデータが、保持データに追加されることによって保持データは更新される。

【0100】

図２９では、２段目に載置されていた結束Ｂ１１が今回の撮像前に削除されて、前回の撮像時にはみえていなかった結束Ｂ３及び結束Ｂ８が再び見える状態となっている。取得データに含まれるデータのうち第１の更新条件が満たされていないデータは、３行目、４行目、８行目、９行目、１０行目のデータである。第１の更新条件が満たされていないデータのうち、種類が判別されているデータは、３行目、４行目のデータである。
保持データに含まれるデータのうち第１の更新条件が満たされていないデータであって種類が判別されているデータと、取得データに含まれるデータのうち第１の更新条件が満たされていないデータであって種類が判別されているデータとにおいて、段数、及び種類が一致する場合、第２の更新条件が満たされている。保持データに含まれる当該データが、取得データに含まれる当該データによって置換されることによって保持データは更新される。
図２９の例では、保持データに含まれる３行目、４行目のデータが、取得データに含まれる３行目、４行目のデータによって置換されることによって保持データは更新されている。

【0101】

本実施形態に係る物体検出システム１ｂでは、保持データと取得データとを比較する。保持データと取得データとは、換言すれば、撮像画像に基づいて判別される結束の種類と位置との時系列のデータである。本実施形態に係る物体検出システム１ｂでは、撮像画像に基づいて判別される結束の種類と位置との時系列データに基づいて、結束の種類と位置とを段毎に検出できる。

【0102】

なお、上述した実施形態における解析装置３、３ａ、３ｂの一部、例えば、深度データ取得部３００、深度データマスク部３０１、深度データ補正部３０２、深度データ変換部３０３、対象深度算出部３０４、画素計測部３０５、面積算出部３０６、結束数算出部３０７、出力部３０８、ＲＧＢ画像取得部３０９ａ、判別部３１０ａ、取得データ生成部３１１ｂ、及び比較部３１２ｂをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、解析装置３、３ａ、３ｂに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における解析装置３、３ａ、３ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。解析装置３、３ａ、３ｂの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0103】

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0104】

１、１ａ、１ｂ…物体検出システム、２…深度カメラ、３、３ａ、３ｂ…解析装置、３００…深度データ取得部、３０１…深度データマスク部、３０２…深度データ補正部、３０３…深度データ変換部、３０４…対象深度算出部、３０５…画素計測部、３０６…面積算出部、３０７…結束数算出部、３０８…出力部、３０９ａ…ＲＧＢ画像取得部、３１０ａ…判別部、３１１ｂ…取得データ生成部、３１２ｂ…比較部、Ｄ１…深度データ、Ｂ…結束、ＰＬ…パレット、Ａ１…撮像方向、Ａ２…真上方向、Ｎｉ…段毎結束数

【要約】

【課題】物体が載置される位置が限定されていない場合であっても物体を検出できる物体検出システム、及び物体検出方法を提供する。
【解決手段】物体検出システムは、所定の大きさを有する物体が１以上載置された状態を所定の方向から撮像した画像に基づいて、画像に含まれる位置毎に所定の方向についての深度を示す３次元データである深度データを生成する撮像装置と、解析装置と、を備え、解析装置は、撮像装置によって生成された深度データを取得する深度データ取得部と、深度データと、大きさとに基づいて深度毎に物体の数を算出する算出部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】