特許 6958810 葉状農作物の形状認識プログラム及び形状認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6958810

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】葉状農作物の形状認識プログラム及び形状認識装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20211021BHJP

   G01B 11/24 20060101ALI20211021BHJP

   G06T 7/66 20170101ALI20211021BHJP

   G06T 7/70 20170101ALI20211021BHJP

【ＦＩ】

   G06T7/60 150S

   G01B11/24 K

   G06T7/66

   G06T7/70 B

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2017-186895(P2017-186895)

(22)【出願日】2017年9月27日

(65)【公開番号】特開2019-61567(P2019-61567A)

(43)【公開日】2019年4月18日

【審査請求日】2020年7月14日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度、知の拠点あいち重点研究プロジェクト「次世代ロボット社会形成技術開発プロジェクト・ロボット分野」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000002059

【氏名又は名称】シンフォニアテクノロジー株式会社

(73)【特許権者】

【識別番号】304027349

【氏名又は名称】国立大学法人豊橋技術科学大学

(74)【代理人】

【識別番号】100074332

【弁理士】

【氏名又は名称】藤本 昇

(74)【代理人】

【識別番号】100114432

【弁理士】

【氏名又は名称】中谷 寛昭

(74)【代理人】

【識別番号】100138416

【弁理士】

【氏名又は名称】北田 明

(72)【発明者】

【氏名】爪 光男

(72)【発明者】

【氏名】坂田 順

(72)【発明者】

【氏名】鈴木 健介

(72)【発明者】

【氏名】三浦 純

(72)【発明者】

【氏名】増沢 広朗

(72)【発明者】

【氏名】大石 修士

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開平１０−２２２６８０（ＪＰ，Ａ）

【文献】 特開２００２−２０３２４２（ＪＰ，Ａ）

【文献】 高木 一之、村上 伸一，葉の形状認識を用いた樹木の識別に関する一検討，映像情報メディア学会技術報告，日本，映像情報メディア学会，2013年02月19日，第37巻、第8号，第129-134頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００− ７／９０

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
検査画像に映る葉状農作物の像から葉柄の領域を抽出すべく、前記葉状農作物の重心を中心として径外方向に膨らむように湾曲する曲線領域を少なくとも含む走査領域を設定する領域設定処理、前記領域設定処理で設定した前記走査領域のうち前記葉状農作物と重なる重複領域を抽出する第一の抽出処理、前記第一の抽出処理で抽出した重複領域から所定の長さ以下の短小領域をさらに抽出する第二の抽出処理、のそれぞれの処理を前記曲線領域が前記重心を中心として前記径外方向に変位するように前記走査領域を拡張しながら複数回繰り返して実行した後に、前記第二の抽出処理で抽出した複数の短小領域を結合する領域結合処理を実行して前記葉柄の領域を抽出する葉柄領域抽出手段、
前記葉状農作物の像から前記葉柄領域抽出手段で抽出した前記葉柄の領域を除くことにより前記葉状農作物の葉身の領域を抽出する葉身領域抽出手段、として機能させる葉状農作物の形状認識プログラム。

【請求項2】

前記コンピュータを、
前記葉柄領域抽出手段で抽出した前記葉柄の領域に関する情報、及び前記葉身領域抽出手段で抽出した前記葉身の領域に関する情報を用いて前記葉状農作物の向きを導出する向き導出手段、として機能させ、
前記向き導出手段は、前記葉柄領域抽出手段で抽出した前記葉柄の領域の重心と前記葉身領域抽出手段で抽出した前記葉身の領域の重心とを導出し、前記葉柄の領域の重心と前記葉身の領域の重心とを結ぶ直線の向きを前記葉状農作物の向きと判定する、請求項１に記載の葉状農作物の形状認識プログラム。

【請求項3】

葉状農作物が映る検査画像から該葉状農作物の形状を認識するための処理を実行する処理装置を備え、
前記処理装置は、
検査画像に映る前記葉状農作物の像から葉柄の領域を抽出すべく、前記葉状農作物の重心を中心として径外方向に膨らむように湾曲する曲線領域を少なくとも含む走査領域を設定する領域設定処理、前記領域設定処理で設定した前記走査領域のうち前記葉状農作物と重なる重複領域を抽出する第一の抽出処理、前記第一の抽出処理で抽出した重複領域から所定の長さ以下の短小領域をさらに抽出する第二の抽出処理、のそれぞれの処理を前記曲線領域が前記重心を中心として前記径外方向に変位するように前記走査領域を拡張しながら複数回繰り返して実行した後に、前記第二の抽出処理で抽出した複数の短小領域を結合する領域結合処理を実行して前記葉柄の領域を抽出する葉柄領域抽出手段と、
前記葉状農作物の像から前記葉柄領域抽出手段で抽出した前記葉柄の領域を除くことにより前記葉状農作物の葉身の領域を抽出する葉身領域抽出手段と、を有する葉状農作物の形状認識装置。

【請求項4】

前記葉柄領域抽出手段で抽出した前記葉柄の領域に関する情報、及び前記葉身領域抽出手段で抽出した前記葉身の領域に関する情報を用いて前記葉状農作物の向きを導出する向き導出手段を有し、
前記向き導出手段は、前記葉柄領域抽出手段で抽出した前記葉柄の領域の重心と前記葉身領域抽出手段で抽出した前記葉身の領域の重心とを導出し、前記葉柄の領域の重心と前記葉身の領域の重心とを結ぶ直線の向きを前記葉状農作物の向きと判定する、請求項３に記載の葉状農作物の形状認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、葉状農作物の形状を認識するための形状認識プログラム、及び形状認識装置に関する。

【背景技術】

【0002】

従来から、葉状農作物の選別や包装等の作業を行うシステムが提供されており、例えば特許文献１では、葉状農作物を撮像した画像データから葉状農作物のサイズを判定し、そのサイズの判定結果に基づいて前記作業を行うようにシステムを動作させるプログラムが導入されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−３３１７８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、検査画像に映る葉状農作物の向きは常に一定であるとは限らないため、葉状農作物の形状やサイズの判定結果にばらつき（誤り）が生じると、前記システムにおける選別や包装等の作業が正しく行われなくなることがある。従って、葉状農作物を取り扱ううえでは、葉状農作物の形状を正確に認識することが重要である。

【0005】

そこで、本発明は、斯かる実情に鑑み、葉状農作物の形状を正確に認識できる葉状農作物の形状認識プログラム及び形状認識装置を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の葉状農作物の形状認識プログラムは、
コンピュータを、
検査画像に映る葉状農作物の像から葉柄の領域を抽出すべく、前記葉状農作物の重心を中心として径外方向に膨らむように湾曲する曲線領域を少なくとも含む走査領域を設定する領域設定処理、前記領域設定処理で設定した前記走査領域のうち前記葉状農作物と重なる重複領域を抽出する第一の抽出処理、前記第一の抽出処理で抽出した重複領域から所定の長さ以下の短小領域をさらに抽出する第二の抽出処理、のそれぞれの処理を前記曲線領域が前記重心を中心として前記径外方向に変位するように前記走査領域を拡張しながら複数回繰り返して実行した後に、前記第二の抽出処理で抽出した複数の短小領域を結合する領域結合処理を実行して前記葉柄の領域を抽出する葉柄領域抽出手段、
前記葉状農作物の像から前記葉柄領域抽出手段で抽出した前記葉柄の領域を除くことにより前記葉状農作物の葉身の領域を抽出する葉身領域抽出手段、として機能させる。

【0007】

上記構成の形状認識プログラムによれば、検査画像に映る葉状農作物の像から葉柄の領域と葉身の領域、すなわち、葉柄の形状と葉身の形状とを別々に抽出することで、葉状農作物の形状を正確に認識できるようになる。

【0008】

また、本発明の葉状農作物の形状認識プログラムは、
前記コンピュータを、
前記葉柄領域抽出手段で抽出した前記葉柄の領域に関する情報、及び前記葉身領域抽出手段で抽出した前記葉身の領域に関する情報を用いて前記葉状農作物の向きを導出する向き導出手段、として機能させ、
前記向き導出手段は、前記葉柄領域抽出手段で抽出した前記葉柄の領域の重心と前記葉身領域抽出手段で抽出した前記葉身の領域の重心とを導出し、前記葉柄の領域の重心と前記葉身の領域の重心とを結ぶ直線の向きを前記葉状農作物の向きと判定するように構成されていてもよい。

【0009】

葉状農作物の向きは葉柄の向きや位置が深く関係しているところ、上記構成の形状認識プログラムによれば、葉柄領域抽出手段で葉柄の領域を抽出したうえで、向き導出手段が葉状農作物の向きを導出するように構成されているため、葉柄の領域に関する情報を加味したうえで葉状農作物の向きを検出することができる。

【0010】

また、葉柄の領域の重心と葉身の領域の重心とを結ぶ直線の向きを葉状農作物の向きと判定するため、葉状農作物の向きを簡単に求めることができる。

【0011】

本発明の葉状農作物の形状認識装置は、
葉状農作物が映る検査画像から該葉状農作物の形状を認識するための処理を実行する処理装置を備え、
前記処理装置は、
検査画像に映る前記葉状農作物の像から葉柄の領域を抽出すべく、前記葉状農作物の重心を中心として径外方向に膨らむように湾曲する曲線領域を少なくとも含む走査領域を設定する領域設定処理、前記領域設定処理で設定した前記走査領域のうち前記葉状農作物と重なる重複領域を抽出する第一の抽出処理、前記第一の抽出処理で抽出した重複領域から所定の長さ以下の短小領域をさらに抽出する第二の抽出処理、のそれぞれの処理を前記曲線領域が前記重心を中心として前記径外方向に変位するように前記走査領域を拡張しながら複数回繰り返して実行した後に、前記第二の抽出処理で抽出した複数の短小領域を結合する領域結合処理を実行して前記葉柄の領域を抽出する葉柄領域抽出手段と、
前記葉状農作物の像から前記葉柄領域抽出手段で抽出した前記葉柄の領域を除くことにより前記葉状農作物の葉身の領域を抽出する葉身領域抽出手段と、を有する。

【0012】

上記構成の形状認識装置によれば、検査画像に映る葉状農作物の像から葉柄の領域と葉身の領域、すなわち、葉柄の形状と葉身の形状とを別々に抽出することで、葉状農作物の形状を正確に認識できるようになる。

【0013】

また、本発明の葉状農作物の形状認識装置は、
前記葉柄領域抽出手段で抽出した前記葉柄の領域に関する情報、及び前記葉身領域抽出手段で抽出した前記葉身の領域に関する情報を用いて前記葉状農作物の向きを導出する向き導出手段を有し、
前記向き導出手段は、前記葉柄領域抽出手段で抽出した前記葉柄の領域の重心と前記葉身領域抽出手段で抽出した前記葉身の領域の重心とを導出し、前記葉柄の領域の重心と前記葉身の領域の重心とを結ぶ直線の向きを前記葉状農作物の向きと判定する、ように構成されていてもよい。

【0014】

葉状農作物の向きは葉柄の向きや位置が深く関係しているところ、上記構成の形状認識装置によれば、葉柄領域抽出手段で葉柄の領域を抽出したうえで、向き導出手段が葉状農作物の向きを導出するように構成されているため、葉柄の領域に関する情報を加味したうえで葉状農作物の向きを導出することができる。

【0015】

また、葉柄の領域の重心と、葉身の領域の重心とを結ぶ直線の向きを葉状農作物の向きと判定するため、葉状農作物の向きを簡単に求めることができる。

【発明の効果】

【0016】

以上のように、本発明の葉状農作物の形状認識プログラム及び形状認識装置によれば、葉状農作物の形状を正確に認識できるという優れた効果を奏し得る。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の一実施形態に係る形状認識装置を備えた出荷システムの平面概略図である。

【図2】図２は、同実施形態に係る形状認識装置を備えた出荷システムの側面概略図である。

【図3】図３は、同実施形態に係る形状認識装置のハードウェア構成のブロック図である。

【図4】図４は、同実施形態に係る形状認識装置のステージの平面図である。

【図5】図５は、同実施形態に係る形状認識装置の機能ブロック図である。

【図6】図６において、（ａ）は検査画像の説明図であり、（ｂ）は背景領域と葉領域を抽出した状態の検査画像の説明図である。

【図7】図７において、（ａ）は検査画像に走査領域を設定した状態の説明図であり、（ｂ）は該走査領域により検査画像から重複領域を抽出した状態の説明図である。

【図8】図８において、（ａ）は拡張した走査領域を検査画像に設定した状態の説明図であり、（ｂ）は該走査領域により検査画像から重複領域を抽出した状態の説明図である。

【図9】図９において、（ａ）はさらに拡張した走査領域を検査画像に設定した状態の説明図であり、（ｂ）は該走査領域により検査画像から重複領域を抽出した状態の説明図である。

【図10】図１０において、（ａ）は短小領域を結合した状態の説明図であり、（ｂ）は葉柄領域を抽出した状態の説明図である。

【図11】図１１は、同実施形態に係る形状認識装置による葉状農作物の向きを導出する処理の説明図である。

【図12】図１２は、同実施形態に係る形状認識装置の動作を説明するためのメインフローチャートである。

【図13】図１３は、同実施形態に係る形状認識装置の葉領域抽出手段による葉領域の抽出処理のサブフローチャートである。

【図14】図１４は、同実施形態に係る形状認識装置の葉柄領領域抽出手段による葉柄領領域の抽出処理のサブフローチャートである。

【図15】図１５は、同実施形態に係る形状認識装置の向き導出手段による大葉の向きの導出処理のサブフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態に係る葉状農作物の形状認識プログラム及び形状認識装置について、添付図面を参照しつつ説明する。

【0019】

形状認識プログラムは、コンピュータを、葉状農作物を撮像して得た検査画像に基づいて葉状農作物の形状を特定するための葉状農作物の形状認識装置として機能させるように構成されたものである。

【0020】

また、形状認識装置は、例えば、葉状農作物の検査及び出荷準備を行うための葉状農作物の出荷システムに組み込まれる。

【0021】

本実施形態では、この出荷システムに形状認識装置が組み込まれていることを一例に挙げて、形状認識装置、及び形状認識プログラムの説明を行うこととする。なお、本実施形態に係る葉状農作物とは、大葉のことであるが、平面寸法に比べて厚み寸法の小さい葉であれば他種の葉状農作物であってもよい。

【0022】

出荷システム１は、図１、及び図２に示すように、複数枚の大葉を収容する収容具２と、該収容具２から取り出した大葉の形状を認識するための形状認識装置３と、該形状認識装置３で形状を認識した大葉を搬送する搬送装置４と、該搬送装置４で搬送されている大葉を取得して出荷するための加工を行う加工装置５とを備えている。

【0023】

収容具２は、複数枚の大葉を積み上げた状態で内部に収容できるように構成されている。

【0024】

形状認識装置３は、図２、図３に示すように、撮像対象とする大葉を載置するステージ３０と、該ステージ３０に載置されている大葉を撮像する撮像装置３１と、該撮像装置３１で撮像した大葉の画像である検査画像に基づいて該大葉の形状を認識するための処理装置３２と、該処理装置３２に対して有線又は無線により接続された記憶装置３３と、を備えている。

【0025】

ステージ３０には、収容具２から取り出された大葉が一枚ずつ載置される。なお、本実施形態では、収容具２内で積み上げられている複数の大葉のうち最上部に位置する大葉を吸引搬送する吸引搬送部（以下、第一の吸引搬送部と称する）Ｐ１により収容具２からステージ３０まで運ばれている。

【0026】

なお、吸引搬送部は、大葉の表面又は裏面のうち上側を向いている一面を吸引することによって該大葉を保持し、大葉に対する吸引状態を解除すると、吸引搬送部から大葉が離れる（落ちる）ように構成されている。

【0027】

また、本実施形態に係るステージ３０は、透明な載置板部３００を有し、この載置板部３００上に収容具２から取り出された大葉が載置される（図４参照）。

【0028】

撮像装置３１は、ステージ３０の下方側、具体的には、載置板部３００の下方側に配置されている。そして、撮像装置３１は、載置板部３００上に載置された大葉を、表面又は裏面のうち下側を向いている一面側（本実施形態では表面側）から撮像するように構成されている。

【0029】

なお、撮像装置３１は、ステージ３０（載置板部３００）の上方側に配置され、載置板部３００上に載置された大葉を、表面又は裏面のうち上側を向いている一面側から撮像するように構成されていてもよい。

【0030】

形状認識装置３では、処理装置３２が形状認識プログラムを実行することにより、大葉の形状を認識するための各種手段を実行するように構成されている。

【0031】

具体的に説明すると、形状認識装置３は、処理装置３２で形状認識プログラムを実行することにより、図５に示すように、検査画像を取得する画像取得手段６０、検査画像から大葉が映る領域全体（以下、葉領域と称する）を抽出する葉領域抽出手段６１、検査画像に基づいて大葉の葉柄の領域（以下、葉柄領域と称する）を抽出する葉柄領域抽出手段６２、検査画像に基づいて大葉の葉身の領域（以下、葉身領域と称する）を抽出する葉身領域抽出手段６３、葉柄領域と葉柄領域とに基づいて大葉の向きを導出する向き導出手段６４、として機能するように構成されている。

【0032】

画像取得手段６０は、形状を認識する対象とする大葉が映る画像を取得するように構成されている。本実施形態に係る画像取得手段６０は、載置板部３００上に載置されている大葉を撮像するよう撮像装置３１を制御し、さらに、撮像装置３１によって撮像した大葉の画像を検査画像として取得するように構成されている。すなわち、画像取得手段６０は、撮像装置３１から直接的に検査画像を取得するように構成されている。

【0033】

葉領域抽出手段６１は、図６（ａ）及び図６（ｂ）に示すように、検査画像Ｔから葉領域ＲＥ１と、該葉領域ＲＥ１の外側の領域（すなわち、背景が映っている領域）ＢＥとを識別するように構成されている。本実施形態では、葉領域ＲＥ１の外側の領域ＢＥを背景領域ＢＥと称して以下の説明を行うこととする。

【0034】

より具体的に説明すると、葉領域抽出手段６１は、検査画像Ｔから背景領域ＢＥを識別する背景領域識別処理と、検査画像Ｔから葉領域ＲＥ１を識別する葉領域識別処理とを実行するように構成されている。

【0035】

葉領域抽出手段６１は、背景領域識別処理において、検査画像Ｔの各領域に対して背景であるか否かを判断する基準となる背景領域識別情報に基づいて検査画像Ｔ全体の中から背景領域ＢＥを識別するように構成されている。

【0036】

背景領域識別情報には、例えば、背景領域に含まれている色を示す情報（色情報）が設定され、葉領域抽出手段６１は、検査画像Ｔのうちの背景領域識別情報が有する色情報に該当する色を有する領域を背景領域ＢＥであると識別するように構成されていればよい。

【0037】

なお、背景領域識別情報に色情報を設定する場合は、大葉が載置されていない状態のステージ３０を撮像した画像に含まれている色に基づいて色情報を決定することが可能である。また、色情報は、単色を示す情報であってもよいし、色域の範囲を示す情報であってもよい。

【0038】

さらに、葉領域抽出手段６１は、葉領域識別処理において、検査画像Ｔの各領域に対して大葉が映っている領域であるか否かを判断する基準となる葉領域識別情報に基づいて葉領域ＲＥ１を識別するように構成されている。

【0039】

葉領域識別情報にも、例えば、色を示す情報（色情報）が設定されており、葉領域抽出手段６１は、検査画像Ｔのうち、葉領域識別情報が有する色情報に該当する色を有する領域を背景領域ＢＥであると識別するように構成されていてもよい。

【0040】

なお、葉領域識別情報に設定する色情報は、例えば、大葉を撮像した画像に基づいて設定でき、本実施形態では、撮像装置３１で大葉を撮像した検査画像Ｔに基づいて葉領域識別情報が設定されている。

【0041】

また、本実施形態に係る葉領域抽出手段６１は、背景領域識別処理で背景領域ＢＥであると識別した領域と、葉領域識別処理で葉領域ＲＥ１であると識別した領域とを別々の色で示すように構成されている。すなわち、葉領域抽出手段６１は、検査画像Ｔの葉領域ＲＥ１と背景領域ＢＥ内とを別々の色で色分けするように構成されている。

【0042】

葉柄領域抽出手段６２は、前記葉状農作物の重心を中心として径外方向に膨らむように湾曲する曲線領域を少なくとも含む走査領域を設定する領域設定処理、事前に設定されている走査領域と葉領域ＲＥ１とが重なる重複領域を抽出する第一の抽出処理、前記第一の抽出処理で抽出した重複領域から所定の長さ以下の短小領域をさらに抽出する第二の抽出処理、事前に設定されている走査領域を拡張したうえで第一の抽出処理を実行する拡張処理、前記第二の抽出処理で抽出した複数の短小領域を結合して結合領域を作成する領域結合処理、領域結合処理により結合された領域のうち、最も寸法の長い領域を選出する選出処理、を実行するように構成されている。

【0043】

本実施形態にかかる領域設定処理は、図７（ａ）に示すように、葉領域ＲＥ１の重心Ｃ１を中心とした環状（具体的には、周方向における全周に亘って曲率が一定の円環状）の走査領域ＰＥ１を設定するように構成されている。

【0044】

第一の抽出手段は、上述のように、走査領域ＰＥ１と葉領域ＲＥ１とが重なる領域を重複領域ＰＥ２として抽出するように構成されている。なお、図７（ｂ）には、一つの検査画像Ｔ上に複数の重複領域ＰＥ２が抽出されている状態を図示している。また、事前に設定されている走査領域とは、第一の抽出手段が実行される際に、既に設定されている走査領域（本実施形態では、領域設定処理で設定された走査領域、若しくは拡張処理によって拡張された走査領域）のことである。

【0045】

第二の抽出処理は、第一の抽出処理が重複領域ＰＥ２を抽出した場合に、該第一の抽出処理に続いて実行される。

【0046】

複数の重複領域ＰＥ２には、長尺な重複領域ＰＥ２や、短小な重複領域ＰＥ２が含まれているが、葉柄領域抽出手段６２は、第二の抽出処理において、短小な重複領域ＰＥ２を短小領域ＰＥ３として抽出するように構成されている。なお、短小領域ＰＥ３であるか否かを判定する基準とする長さは、適宜変更可能であるが、２ｍｍ〜５ｍｍの範囲内で設定されることが好ましい。

【0047】

拡張処理は、第二の抽出処理に続いて実行されるように構成されている。また、拡張処理は、図７（ａ）、図８（ａ）、図９（ａ）に示すように、事前に設定されている走査領域ＰＥ１の大きさを、曲線領域が葉領域ＲＥ１の重心Ｃ１を中心とする径外方向に変位するように拡張して設定し直すように構成されている。本実施形態に係る拡張処理では、走査領域ＰＥ１の幅を変えずに、走査領域ＰＥ１の直径のみが拡張される。

【0048】

領域結合処理は、第二の抽出処理により重複領域ＰＥ２が抽出されなかった場合に、該第二の抽出処理に続いて実行されるように構成されている。葉柄領域抽出手段６２は、例えば、拡張処理によって拡張された走査領域ＰＥ１全体が葉領域ＲＥ１よりも外側に位置するまで第一の抽出処理、第二の抽出処理、及び拡張処理をくり返し実行するように構成されていればよい。

【0049】

結合処理は、図１０（ａ）に示すように、第二の抽出処理によって複数回に亘って抽出された短小領域ＰＥ３を一つの画像に重ねて表示するように構成されている。本実施形態では、結合処理で一つの画像に重ねて表示されている短小領域ＰＥ３を結合領域ＰＥ４と称する。

【0050】

図１０（ａ）に示す検査画像Ｔには、複数の結合領域ＰＥ４が図示されているが、該複数の結合領域ＰＥ４には、単一の短小領域ＰＥ３で構成されている結合領域ＰＥ４と、複数の短小領域ＰＥ３が連続することで構成されている結合領域ＰＥ４とが含まれている。

【0051】

選出処理は、領域結合処理に続いて実行されるように構成されている。葉柄領域抽出手段６２は、図１０（ｂ）に示すように、選出処理において、結合領域ＰＥ４のうち、最も寸法の長い領域、すなわち、葉柄領域ＲＥ２を選出するように構成されている。

【0052】

葉身領域抽出手段６３は、葉領域ＲＥ１と葉柄領域抽出手段６２で抽出した葉柄領域ＲＥ２とに基づいて葉身領域ＲＥ３を抽出するように構成されており、本実施形態では、葉領域ＲＥ１から葉柄領域ＲＥ２に対応する領域を切り取り、残った領域を葉身領域ＲＥ３とするように構成されている。

【0053】

これにより、一つの葉領域ＲＥ１を構成する葉柄領域ＲＥ２と、葉身領域ＲＥ３とが別々に抽出される（図１１参照）。すなわち、葉柄の形状と、葉身の形状とが別々に認識される。

【0054】

向き導出手段６４は、図１１に示すように、葉柄領域ＲＥ２の重心Ｃ２を導出し、葉身領域ＲＥ３の重心Ｃ３を導出し、それぞれの重心Ｃ２、Ｃ３を結ぶ直線Ｌの向きを大葉の向きとするように構成されている。

【0055】

本実施形態に係る搬送装置４は、形状認識装置３で形状を認識した大葉を加工装置５に引き渡し可能な場所まで搬送するように構成されている。なお、形状認識装置３から搬送装置４への大葉の引き渡しも、吸引搬送部（以下、第二の吸引搬送部と称する）Ｐ２により行われる（図１参照）。

【0056】

加工装置５は、搬送装置４によって搬送されている大葉を取得して出荷するための加工を行うように構成されている。なお、搬送装置４から加工装置５への大葉の引き渡しも、吸引搬送部（以下、第三の吸引搬送部と称する）Ｐ３により行われる（図１参照）。

【0057】

本実施形態において、大葉に対する出荷するための加工とは、複数枚の大葉を重ねて一束にまとめる加工、より具体的には、複数枚の大葉を重ねた状態で葉柄の部分を結束する加工のことであるが、例えば、大葉の包装や、タグ付け等の加工も一例として挙げられる。

【0058】

本実施形態に係る出荷システム１の構成は、以上の通りである。続いて、出荷システム１における形状認識装置３による大葉の形状認識処理（すなわち、形状認識プログラムを実行した場合の形状認識装置３の動作）についての説明を行うこととする。

【0059】

出荷システム１では、収容具２から取り出した大葉の形状を形状認識装置３で認識した後、該大葉を搬送装置４により加工装置５まで搬送する。

【0060】

形状認識装置３は、図１２に示すように、画像取得手段６０により検査画像Ｔを取得する（Ｓ１）。本実施形態では、収容具２から載置板部３００上に載置された大葉を撮像装置３１で撮像した画像を検査画像Ｔとして取得する。また、本実施形態では、検査画像Ｔを取得した後に該検査画像Ｔに基づいて葉領域識別情報を設定する。

【0061】

そして、葉領域抽出手段６１が背景領域ＢＥ及び葉領域ＲＥ１を抽出する（Ｓ２）。葉領域抽出手段６１では、図１３に示すように、背景領域識別情報が選択され（Ｓ２０）、選択した背景領域識別情報の色情報に該当する色の領域を背景領域ＢＥであると識別する（Ｓ２１）。また、葉領域抽出手段６１では、葉領域識別情報の色情報に該当する領域を葉領域ＲＥ１であると識別する（Ｓ２２）。

【0062】

これにより、検査画像Ｔ内が葉領域ＲＥ１と背景領域ＢＥとに区分け（色分け）される。

【0063】

続いて、図１２に示すように、葉柄領域抽出手段６２が葉柄領域ＲＥ２を抽出する（Ｓ３）。葉柄領域抽出手段６２が葉柄領域ＲＥ２を抽出する処理では、図１４に示すように、領域設定処理で検査画像Ｔ上に走査領域ＰＥ１を設定する（Ｓ３０）。本実施形態では、領域設定処理で葉領域ＲＥ１の重心Ｃ１を中心とする円環状の走査領域ＰＥ１を設定する（図７（ａ）参照）。

【0064】

次に、第一の抽出処理を行った結果、重複領域ＰＥ２が抽出された場合（Ｓ３１でＹｅｓ）、第二の抽出処理が重複領域ＰＥ２の中から短小領域ＰＥ３をさらに抽出する（Ｓ３２）。

【0065】

そして、第二の抽出処理が実行された後、拡張処理が走査領域ＰＥ１を拡張する（Ｓ３３）。より具体的に説明すると、拡張処理は、走査領域ＰＥ１の幅を変えずに、走査領域ＰＥ１の直径のみを拡張する。

【0066】

さらに、拡張処理が実行された後は、新たな走査領域ＰＥ１を用いて第一の抽出処理、第二の抽出処理が再び実行される。

【0067】

第一の抽出処理、第二の抽出処理、拡張処理は、第一の抽出処理で重複領域ＰＥ２が抽出されている限り繰り返して実行される。そして、第一の抽出処理で重複領域ＰＥ２が抽出されなかった場合（Ｓ３１でＮｏ）は、領域結合処理において、第二の抽出処理で抽出した複数の短小領域ＰＥ３を一つの画像上に重ねて表示することで結合領域ＰＥ４とし（Ｓ３４）、続いて、選出処理において、複数の結合領域ＰＥ４の中から最も寸法の長い領域を葉柄領域ＲＥ２として抽出する（Ｓ３５）。

【0068】

これにより、葉領域ＲＥ１の中から葉柄領域ＲＥ２が抽出される。すなわち、葉柄領域ＲＥ２（葉柄の形状）と、葉身領域ＲＥ３（葉身の形状）とが別々に認識される。

【0069】

葉柄領域抽出手段６２が葉柄領域ＲＥ２を抽出した後、図１２に示すように、葉身領域抽出手段６３が葉身領域ＲＥ３を抽出する（Ｓ４）。

【0070】

葉身領域抽出手段６３は、葉領域ＲＥ１から葉柄領域ＲＥ２に対応する領域を切り取り、残った領域を葉身領域ＲＥ３とする。これにより、葉領域ＲＥ１の中から葉身領域ＲＥ３も抽出され、大葉の葉柄、及び葉身の形状が認識（特定）される。

【0071】

続いて、向き導出手段６４が大葉の向きを導出する（Ｓ５）。向き導出手段６４は、図１５に示すように、葉柄領域ＲＥ２の重心Ｃ２を導出し（Ｓ５０）、葉身領域ＲＥ３の重心Ｃ３を導出し（Ｓ５１）、それぞれの重心Ｃ２，Ｃ３を結ぶ直線の向きを大葉の向きとする（Ｓ５２）。

【0072】

以上のように、本実施形態に係る形状認識装置３によれば、検査画像Ｔに映る葉状農作物である大葉の像から葉柄領域ＲＥ２と葉身領域ＲＥ３、すなわち、葉柄の形状と葉身の形状とを別々に抽出することで、大葉の形状を正確に認識できるようになる。

【0073】

また、本実施形態では、走査領域ＰＥ１が円環状であるため、重複領域ＰＥ２に含まれている短小領域ＰＥ３を結合した結合領域ＰＥ４には、必ず葉柄領域ＲＥ２となる領域が含まれるようになっている。

【0074】

さらに、大葉の葉身の外周縁部は、先鋭に延出した複数の先鋭部が並ぶ形状となっているため、短小領域ＰＥ３には、葉柄領域ＲＥ２の一部に該当するものに加えて、葉身の先鋭部に該当するものも含まれることとなるが、本実施形態では、重複領域ＰＥ２から長尺な領域を除外する処理と、結合領域ＰＥ４のうち、最も寸法の長い領域を選出する処理とを行うことにより、葉柄領域ＲＥ２のみを高い精度で抽出することができる。

【0075】

また、本実施形態に係る形状認識装置３では、向き導出手段６４が大葉の向きを導出するように構成されているため、向き導出手段６４で導出した大葉の向きの情報を活用すれば、形状認識装置３で形状を認識した大葉に対して行われる搬送や加工等の作業の精度を高めることができる。

【0076】

本実施形態の出荷システム１は、複数枚の大葉を重ねた状態で葉柄の部分を結束する加工装置５を備えているため、形状認識装置３で形状を認識した大葉を結束する加工の精度を高めることができる。

【0077】

なお、本発明の形状認識プログラム及び形状認識装置は、上記一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更を行うことは勿論である。

【0078】

上記実施形態の出荷システム１では、形状認識装置３で形状を認識した大葉が搬送装置４に搬送するように構成されていたが、この構成に限定されない。出荷システム１は、例えば、形状認識装置３で形状を認識した大葉を、加工装置５や、その他の装置に直接搬送するように構成されていてもよい。

【0079】

上記実施形態において、形状認識プログラムは、撮像装置３１で大葉を撮像するように構成されていたが、検査画像を取得することができれば、撮像装置３１を制御するように構成されていなくてもよい。

【0080】

上記実施形態において、画像取得手段６０は、撮像装置３１から直接的に検査画像を取得するように構成されていたが、この構成に限定されない。例えば、画像取得手段６０は、撮像した検査画像を記憶装置３３に記憶させておき、記憶装置３３から必要に応じて検査画像を読み出すように構成されていてもよいし、形状認識装置３に対して有線接続されている外部の記憶装置に記憶されている検査画像や、形状認識装置３と無線通信可能な外部の記憶装置に記憶されている検査画像を読み出すように構成されていてもよい。

【0081】

上記実施形態において、特に言及しなかったが、形状認識プログラムは、形状認識装置３の記憶装置３３に記憶されていてもよいし、処理装置３２がアクセス可能であれば、形状認識装置３に有線接続された外部の記憶装置に記憶されていてもよいし、形状認識装置３と無線通信可能な外部の記憶装置に記憶されていてもよい。

【0082】

また、上記実施形態では、背景領域識別情報と葉領域識別情報も形状認識装置３の記憶装置３３に保存されていたが、処理装置３２がアクセス可能であれば、形状認識装置３に有線接続された外部の記憶装置や、形状認識装置３と無線通信可能な外部の記憶装置に記憶されていてもよい。

【0083】

上記実施形態において、領域設定処理は、円環状の走査領域ＰＥ１を設定するように構成されていたが、この構成に限定されない。例えば、領域設定処理は、楕円環状の走査領域ＰＥ１を設定するように構成されていてもよいし、曲線領域のみで構成される曲線状の走査領域ＰＥ１を設定するように構成されていてもよい。

【符号の説明】

【0084】

１…出荷システム、２…収容具、３…形状認識装置、４…搬送装置、５…加工装置、３０…ステージ、３１…撮像装置、３２…処理装置、３３…記憶装置、６０…画像取得手段、６１…葉領域抽出手段、６２…葉柄領域抽出手段、６３…葉身領域抽出手段、６４…向き導出手段、３００…載置板部、ＢＥ…背景領域、Ｃ１…重心、Ｃ２…重心、Ｃ３…重心、Ｌ…直線、ＰＥ１…走査領域、ＰＥ２…重複領域、ＰＥ３…短小領域、ＰＥ４…結合領域、ＲＥ１…葉領域、ＲＥ２…葉柄領域、ＲＥ３…葉身領域、Ｔ…検査画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】