(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025011560
(43)【公開日】2025-01-24
(54)【発明の名称】形状認識装置及びプログラム
(51)【国際特許分類】
G01B 11/25 20060101AFI20250117BHJP
【FI】
G01B11/25 H
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023113746
(22)【出願日】2023-07-11
(71)【出願人】
【識別番号】312003595
【氏名又は名称】タカハタプレシジョン株式会社
(74)【代理人】
【識別番号】100162341
【弁理士】
【氏名又は名称】瀬崎 幸典
(72)【発明者】
【氏名】村松 弘一朗
(72)【発明者】
【氏名】大関 陽太
(72)【発明者】
【氏名】土地 伸宜
(72)【発明者】
【氏名】片岡 政人
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA53
2F065BB05
2F065BB15
2F065DD06
2F065FF01
2F065FF02
2F065FF04
2F065FF07
2F065FF09
2F065GG06
2F065GG13
2F065HH06
2F065HH14
2F065JJ03
2F065JJ26
2F065LL42
2F065MM03
2F065PP22
(57)【要約】
【課題】移動する3次元物品の外形形状を非接触で自動判別する。
【解決手段】移動する物品の載置面を撮像範囲に含み載置面及び物品の表面の三次元座標値の集合である点群データを取得する取得手段と、取得手段のxy軸を載置面に沿ったxy座標系に座標変換する座標系設定手段と、取得手段により取得された点群データから物品の点群データを抽出し、点群データからxy軸に沿うxy平面で物品の輪郭となる凸多角形を仮想し、xy平面における凸多角形の面積が最小になるように外接する四角形の面積に対する凸多角形の面積の比率で物品の外形形状を判別する判別手段と、を備えた。
【選択図】
図6
【特許請求の範囲】
【請求項1】
移動する物品の載置面を撮像範囲に含み前記載置面及び前記物品の表面の三次元座標値の集合である点群データを連続して取得する取得手段と、
前記取得手段のxy軸を前記載置面に沿ったxy座標系に座標変換する座標系設定手段と、
前記取得手段により取得された前記点群データから前記物品の点群データを抽出して前記物品の外形形状を判別する判別手段と、を備えた、
ことを特徴とする形状認識装置。
【請求項2】
前記取得手段は、複数の発光素子からなるアレイ光源から回折光学素子を介して不可視光を互いに重ならない規則的なドットパターンとして投射し前記物品の表面及び前記載置面から反射する反射光を受光して前記点群データを取得する、
ことを特徴とする請求項1に記載の形状認識装置。
【請求項3】
前記判別手段は、取得した前記点群データの任意の一点の近傍点における分散を算出することでノイズを検出し、取得された前記点群データから前記ノイズを除去して前記物品の点群データを抽出する、
ことを特徴とする請求項1に記載の形状認識装置。
【請求項4】
前記判別手段は、予め登録された前記取得手段から前記載置面までの距離よりも小さい前記点群データを前記物品の点群データとして抽出する、
ことを特徴とする請求項3に記載の形状認識装置。
【請求項5】
前記判別手段は、前記取得手段により取得された前記点群データから前記載置面上で前記物品を収容するトレイを示す点群データを除去して前記物品の点群データを抽出する、
ことを特徴とする請求項4に記載の形状認識装置。
【請求項6】
前記判別手段は、前記xy軸それぞれの方向に対して前記xy軸と直交するz軸方向の前記点群データの分散を算出することで前記物品を収容するトレイを検出し、予め記憶された前記トレイの大きさから前記トレイの領域を算出し、前記載置面までの距離及び前記トレイの領域に基づいて前記物品が存在する領域の前記点群データを抽出する、
ことを特徴とする請求項5に記載の形状認識装置。
【請求項7】
前記判別手段は、抽出した前記点群データから前記xy軸に沿うxy平面で前記物品の輪郭となる凸多角形を仮想し、前記xy平面における前記凸多角形の面積が最小になるように外接する四角形の平面枠及び前記平面枠をz軸方向に引き伸ばしてz軸方向の高さで前記物品を囲う立方体枠を推定して、前記四角形の面積に対する前記凸多角形の面積の比率で前記物品の外形形状を判別する、
ことを特徴とする請求項4又は5に記載の形状認識装置。
【請求項8】
前記判別手段は、前記立方体枠内の前記点群データの前記立方体枠の底面からの高さの合計値に対する前記立方体枠の底面からの高さに前記立方体枠内の前記点群データの数を乗じて合計した高さの合計値の比率で前記物品の外形形状を判別する、
ことを特徴とする請求項7に記載の形状認識装置。
【請求項9】
前記判別手段は、前記物品を撮像することによって取得された前記物品の表面の三次元座標値の集合である前記点群データを入力データ、前記物品の外形形状を判別する外形形状判別情報を出力データとする機械学習により生成された形状判別モデルを用いて、前記物品の外形形状を判別する、
ことを特徴とする請求項4又は5に記載の形状認識装置。
【請求項10】
前記物品の少なくとも一部の外形形状を示す特定形状データを記憶する記憶手段を備え、
前記判別手段は、抽出した前記点群データに前記特定形状データが含まれるか否かに基づいて、前記物品の外形形状を判別する、
ことを特徴とする請求項4又は5に記載の形状認識装置。
【請求項11】
前記判別手段は、前記物品の外形形状から前記物品が定形か不定形かを判別する、
ことを特徴とする請求項1に記載の形状認識装置。
【請求項12】
前記取得手段は、移動する前記載置面に載置された前記物品を真上から撮像して前記点群データを取得する、
ことを特徴とする請求項1に記載の形状認識装置。
【請求項13】
コンピュータに、
移動する物品の載置面を撮像範囲に含み前記載置面及び前記物品の表面の三次元座標値の集合である点群データを連続して取得する取得ステップと、
前記取得ステップのxy軸を前記載置面に沿ったxy座標系に座標変換する座標系設定ステップと、
前記取得ステップにより取得された前記点群データから前記物品の点群データを抽出して前記物品の外形形状を判別する判別ステップと、を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、形状認識装置及びプログラムに関する。
【背景技術】
【0002】
計測対象物の形状を計測して計測対象物の位置姿勢を認識するための位置姿勢認識を行う認識システムであって、計測対象物の表面画像を撮像し、表面画像と対応する三次元点群を算出する計測ユニットと、計測対象物の三次元形状を示すモデルデータから平面部分のデータを抽出したモデル平面データを取得するモデル平面データ取得部と、計測ユニットが撮像した表面画像および計測ユニットが算出した三次元点群を含む計測データを取得する計測データ取得部と、計測データ取得部が取得した表面画像に基づいて、三次元点群の中から平面部分における三次元座標を計測平面データとして抽出する計測平面データ抽出部と、モデル平面データと計測平面データとをマッチングして計測対象物の位置姿勢を認識するマッチング部とを備えている認識システムが知られている(特許文献1)。
【0003】
部品を識別する識別装置であって、部品の表面の点群データを取得する表面形状取得部と、表面形状取得部で取得された点群データ同士の形状偏差を評価する形状偏差評価部と、形状偏差評価部で評価された形状偏差に基づき、部品が特定の部品であるか否かを判定する形状照合部と、を備えた識別装置も知られている(特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-80188号公報
【特許文献2】特開2021-174299号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、移動する3次元物品の外形形状を非接触で自動判別する。
【課題を解決するための手段】
【0006】
前記課題を解決するために、請求項1に記載の形状認識装置は、
移動する物品の載置面を撮像範囲に含み前記載置面及び前記物品の表面の三次元座標値の集合である点群データを連続して取得する取得手段と、
前記取得手段のxy軸を前記載置面に沿ったxy座標系に座標変換する座標系設定手段と、
前記取得手段により取得された前記点群データから前記物品の点群データを抽出して前記物品の外形形状を判別する判別手段と、を備えた、
ことを特徴とする。
【0007】
請求項2に記載の発明は、請求項1に記載の形状認識装置において、
前記取得手段は、複数の発光素子からなるアレイ光源から回折光学素子を介して不可視光を互いに重ならない規則的なドットパターンとして投射し前記物品の表面及び前記載置面から反射する反射光を受光して前記点群データを取得する、
ことを特徴とする。
【0008】
請求項3に記載の発明は、請求項1に記載の形状認識装置において、
前記判別手段は、取得した前記点群データの任意の一点の近傍点における分散を算出することでノイズを検出し、取得された前記点群データから前記ノイズを除去して前記物品の点群データを抽出する、
ことを特徴とする。
【0009】
請求項4に記載の発明は、請求項3に記載の形状認識装置において、
前記判別手段は、予め登録された前記取得手段から前記載置面までの距離よりも小さい前記点群データを前記物品の点群データとして抽出する、
ことを特徴とする。
【0010】
請求項5に記載の発明は、請求項4に記載の形状認識装置において、
前記判別手段は、前記取得手段により取得された前記点群データから前記載置面上で前記物品を収容するトレイを示す点群データを除去して前記物品の点群データを抽出する、
ことを特徴とする。
【0011】
請求項6に記載の発明は、請求項5に記載の形状認識装置において、
前記判別手段は、前記xy軸それぞれの方向に対して前記xy軸と直交するz軸方向の前記点群データの分散を算出することで前記物品を収容するトレイを検出し、予め記憶された前記トレイの大きさから前記トレイの領域を算出し、前記載置面までの距離及び前記トレイの領域に基づいて前記物品が存在する領域の前記点群データを抽出する、
ことを特徴とする。
【0012】
請求項7に記載の発明は、請求項4又は5に記載の形状認識装置において、
前記判別手段は、抽出した前記点群データから前記xy軸に沿うxy平面で前記物品の輪郭となる凸多角形を仮想し、前記xy平面における前記凸多角形の面積が最小になるように外接する四角形の平面枠及び前記平面枠をz軸方向に引き伸ばしてz軸方向の高さで前記物品を囲う立方体枠を推定して、前記四角形の面積に対する前記凸多角形の面積の比率で前記物品の外形形状を判別する、
ことを特徴とする。
【0013】
請求項8に記載の発明は、請求項7に記載の形状認識装置において、
前記判別手段は、前記立方体枠内の前記点群データの前記立方体枠の底面からの高さの合計値に対する前記立方体枠の底面からの高さに前記立方体枠内の前記点群データの数を乗じて合計した高さの合計値の比率で前記物品の外形形状を判別する、
ことを特徴とする請求項7に記載の形状認識装置。
【0014】
請求項9に記載の発明は、請求項4又は5に記載の形状認識装置において、
前記判別手段は、前記物品を撮像することによって取得された前記物品の表面の三次元座標値の集合である前記点群データを入力データ、前記物品の外形形状を判別する外形形状判別情報を出力データとする機械学習により生成された形状判別モデルを用いて、前記物品の外形形状を判別する、
ことを特徴とする。
【0015】
請求項10に記載の発明は、請求項4又は5に記載の形状認識装置において、
前記物品の少なくとも一部の外形形状を示す特定形状データを記憶する記憶手段を備え、
前記判別手段は、抽出した前記点群データに前記特定形状データが含まれるか否かに基づいて、前記物品の外形形状を判別する、
ことを特徴とする請求項4又は5に記載の形状認識装置。
【0016】
請求項11に記載の発明は、請求項1に記載の形状認識装置において、
前記判別手段は、前記物品の外形形状から前記物品が定形か不定形かを判別する、
ことを特徴とする。
【0017】
請求項12に記載の発明は、請求項1に記載の形状認識装置において、
前記取得手段は、移動する前記載置面に載置された前記物品を真上から撮像して前記点群データを取得する、
ことを特徴とする。
【0018】
前記課題を解決するために、請求項13に記載のプログラムは、
コンピュータに、
移動する物品の載置面を撮像範囲に含み前記載置面及び前記物品の表面の三次元座標値の集合である点群データを連続して取得する取得ステップと、
前記取得ステップのxy軸を前記載置面に沿ったxy座標系に座標変換する座標系設定ステップと、
前記取得ステップにより取得された前記点群データから前記物品の点群データを抽出して前記物品の外形形状を判別する判別ステップと、を実行させる、
ことを特徴とする。
【発明の効果】
【0019】
請求項1、13に記載の発明によれば、3次元物品の外形形状を非接触で判別することができる。
【0020】
請求項2に記載の発明によれば、3次元物品の外形を点群データとして高速で取得することができる。
【0021】
請求項3に記載の発明によれば、取得した点群データからノイズを除去することができる。
【0022】
請求項4に記載の発明によれば、取得した点群データから物品のみの点群データを抽出することができる。
【0023】
請求項5に記載の発明によれば、取得した点群データから判別対象の物品のみの点群データを抽出することができる。
【0024】
請求項6に記載の発明によれば、取得した点群データから判別対象の物品の点群データを抽出することができる。
【0025】
請求項7に記載の発明によれば、3次元物品の外形形状を非接触で判定することができる。
【0026】
請求項8に記載の発明によれば、3次元物品の外形形状を高さ方向を含めて判別することができる。
【0027】
請求項9、10に記載の発明によれば、3次元物品の外形形状を取得した点群データから直接判別することができる。
【0028】
請求項11に記載の発明によれば、物品を定形体と不定形体に仕分けすることができる。
【0029】
請求項12に記載の発明によれば、コンベア上を移動する物品の外形形状を非接触で判別することができる。
【図面の簡単な説明】
【0030】
【
図1】第1実施形態に係る形状認識装置の機能構成を示すブロック図である。
【
図2】(a)は3次元センサの構成例を示す平面模式図、(b)は断面模式図である。
【
図3】3次元センサのドットパターン照射を示す模式図である。
【
図4】3次元センサにおけるレーザドットの観測を説明する図である。
【
図6】形状認識装置における物品の外形形状の判別処理の流れを示すフローチャート図である。
【
図7】トレイデータ除去の処理を説明する概念図である。
【
図8】点群データからノイズを除去する処理を説明する概念図である
【
図9】物品が存在する領域のみの点群データから物品の外形形状を判別する処理の流れを説明する模式図である。
【
図10】物品の輪郭となる凸多角形と外接四角形の関係を示す図である。
【
図11】外接四角形に対する凸多角形の面積の比率を算出する例を示す図である。
【
図12】変形例に係る形状認識装置における物品の外形形状の判別処理の流れを示すフローチャート図である。
【
図13】物品が存在する領域のみの点群データから物品の外形形状を判別する変形例の処理の流れを説明する模式図である。
【
図14】第2実施形態に係る形状認識装置の機能構成を示すブロック図である。
【
図15】第2実施形態に係る形状認識装置における物品の外形形状の形状判別方法を説明するための図である。
【
図16】第3実施形態に係る形状認識装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0031】
次に図面を参照しながら、本発明の実施形態の具体例を説明するが、本発明は以下の実施形態に限定されるものではない。
尚、以下の図面を使用した説明において、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきであり、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
【0032】
「第1実施形態」
(1)測定装置の全体構成
図1は本実施形態に係る形状認識装置1の機能構成を示すブロック図、
図2(a)は3次元センサ10の構成例を示す平面模式図、(b)は断面模式図、
図3は3次元センサ10のドットパターン照射を示す模式図、
図4は3次元センサ10におけるレーザドットの観測を説明する図、
図5は形状認識装置1の構成例を示す模式図である。
以下、図面を参照しながら、形状認識装置1の全体構成について説明する。
【0033】
図1に示すように、形状認識装置1は、被判別物である3次元物品(以下、単に物品と記す)Gの表面の三次元座標値の集合である点群データPを連続して取得する取得手段の一例としての3次元センサ10と、3次元センサ10により取得された点群データPから物品Gの点群データPを抽出して物品Gの外形形状を判別する判別手段の一例としての形状判別部20を有する。
【0034】
3次元センサ10は、光を出射する発光素子からなるプロジェクタ11と、物品Gの表面から反射した反射光を撮像する撮像素子からなるイメージセンサモジュール12と、プロジェクタ11及びイメージセンサモジュール12の動作を制御し、点群データPを取得する制御部13と、備えている。本実施形態においては、制御部13として、例えば、ARMプロセッサを搭載したシングルボードコンピュータであるラズベリーパイ(Raspberry Pi:登録商標)や小型のコンピュータ装置などとして実装されるプログラム処理装置を用いることができるが、特に限定されない。
【0035】
プロジェクタ11は、
図2に示すように、複数の発光素子からなるアレイ光源であるVCSEL(Vertical Cavity Surface Emitting LASER)111と、VCSEL111の上側でレーザ光の配光制御を行う透過型の回折光学素子(DOE:Diffractive Optical Element)112と、から構成されている。
回折光学素子112は、VCSEL111が発光することにより生じる光を、規則的なドットパターンの配光パターンに変換し、複数のビーム状の測距光として被判別物である物品Gに互いに重ならないように照射する。
【0036】
図3においては、回折光学素子112により、プロジェクタ11から発光された光が、被判別物である物品Gに対して、規則的なドットパターンとして配光されるように広がり角θ1の測距光L1~Lnに変換される例が示されている。本実施形態においては、4000ないし5000本のレーザ光でドットパターンを照射している。
【0037】
イメージセンサモジュール12には、光電変換素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられている。
イメージセンサモジュール12は、プロジェクタ11から出射した光が物品Gで反射する反射光を撮像して点群データPとして取得して制御部13を介して形状判別部20に出力する。
【0038】
図4には測距範囲におけるイメージセンサモジュール12上における各レーザドット(P0、Pn、Pf)の観測される軌跡の例を模式的に示している。
図4に示すように、規則的なドットパターンは測距範囲において互いに重ならないように配置されている。そのために、物品Gに照射された各々のレーザドット(P0、Pn、Pf)の反射光をイメージセンサモジュール12で受光し、その位置を3次元センサ10上で検知できれば、測距範囲におけるイメージセンサモジュール12上の各レーザドット(P0、Pn、Pf)の軌跡を予め記憶したルックアップテーブル(Lookup Table:LUT)を参照することにより3次元座標値として算出することができる。
【0039】
このように構成される3次元センサ10は、物品Gにプロジェクタ11からレーザ光を発して物品Gの表面から反射する反射光をイメージセンサモジュール12で撮像して被判別物の3次元形状を3次元座標値で示す点群データPを取得する。
【0040】
形状判別部20は、プログラムの実行を通じて各種の管理機能を提供するCPU(Central Processing Unit)と、BIOS(Basic Input Output System)等を格納する記憶領域としてのROM(Read Only Memory)と、プログラムの実行領域として使用されるRAM(Random Access Memory)からなるプロセッサを有している。プログラムには、ファームウェアやオペレーティングシステム(OS)が含まれる。
形状判別部20は、プログラムの実行を通じ、3次元センサ10で取得した点群データPを用いて、外形形状の判別、表示等の処理を実行する。
【0041】
図5に示すように、本実施形態に係る形状認識装置1は、3次元センサ10、3次元センサ10が取り付けられたコンベア30及び形状判別部20を含む端末装置40、を有するように構成することができる。
【0042】
コンベア30は、載置面Fとしてのコンベア面が所定の速度で移動する搬送コンベアであり、搬送過程で物品Gの外形形状の判別及び振り分けを行う。コンベア30の搬送方向途中には、3次元センサ10が配置され、搬送される物品Gを上方から撮像できるようになっている。コンベア30は、コンベア面上に載置される物品Gを搬送方向下流へ搬送する。
【0043】
端末装置40は、3次元センサ10と有線又は無線で接続され、3次元センサ10と通信が可能になっている。端末装置40は、このような接続のための通信インタフェース等を有することができる。なお、端末装置40は、モバイルPC(Personal Computer)と称されるものであってもよく、また、設置型のPC、携帯端末(スマートフォン)等の装置であってもよい。
【0044】
(2)外形形状判別処理
図6は形状認識装置1における物品Gの外形形状の判別処理の流れを示すフローチャート図である。
形状判別部20は、最初に、ステップS101で3次元センサ10をオンにして、載置面Fに物品Gが載置されていない状態で載置面Fに対して真上からレーザ光を照射して(S101)載置面Fに沿ったxy座標系を設定する。レーザ光は数千本のレーザ光が同時に互いに重ならない規則的なドットパターンとして照射される。レーザ光は物品Gの外形形状を判別する間、常に一定間隔で照射され、載置面Fに向かって整列したドットとして照射されたレーザ光は、載置面F及び載置面F上の物品Gの表面で反射し、イメージセンサモジュール12で撮像して点群データPとして取得される。
【0045】
そして、ステップS102で3次元センサ10のz軸が載置面Fと垂直になり、3次元センサ10のxy軸が載置面Fと水平になるようにxy座標系に座標変換する(S102)。これにより、載置面Fに載置された物品Gを真上から撮像して物品Gの点群データPを取得する際の傾きを補正する。ここで、載置面Fは、一定の速度で移動するコンベア面であり、少なくとも平面状であり、真上とは、コンベアの基準面の上方の位置である。
【0046】
次に、ステップS103で点群データPに、予め登録された3次元センサ10から載置面Fまでの距離H0よりも小さい点群データPが含まれているか否かを判断する(S103)。距離H0よりも小さい点群データPが含まれていた場合(S103;Yes)に、判別のトリガーとして取得した点群データPを保存する(S104)。距離H0よりも小さい点群データPが含まれていない場合(S103;No)、点群データPを保存することはなく、継続してレーザ光を照射する(S101)。
【0047】
図7はトレイデータ除去の処理を説明する概念図である。
本実施形態に係る形状認識装置1においては、物品GがトレイTに収容されている状態で判別を行うトレイ有モードと、物品Gがトレイに収容されず直接載置面Fに載置されている状態で判別を行うトレイ無モードが予め選択可能となっている。
形状判別部20は、ステップS105でトレイ有モードが選択されているか否かを判断し(S105)、トレイ有モードが選択されている場合(S105;Yes)、ステップS104で保存した点群データPからトレイTを示す点群データPを除去し、物品Gが存在する領域のみの点群データPを抽出する(S106)。
【0048】
具体的には、
図7(a)に示すように、物品GがトレイTに収容されているトレイ有モードが選択されているか否かを判断し(S105)、トレイ有モードが選択されている場合(S105;Yes)、保存した点群データPのうち、xy軸それぞれの方向に対して、数十点ずつ抽出しxy軸と互いに直交するz軸方向の分散σ1を算出する。算出したz軸方向の分散σ1が予め定められた値よりも大きい場合、トレイTのx軸方向及びy軸方向の2側面が検出されたと推定する。そして、予め登録されているトレイTの大きさからトレイTの領域を算出する。そして、
図7(b)に示すように、保存した点群データPから、算出したトレイTの領域を示す点群データPを除去し、載置面Fまでの距離を用いて物品Gが存在する領域のみの点群データPを抽出する(S106)。
【0049】
図8は点群データPからノイズを除去する処理を説明する概念図である。
形状判別部20は、ステップS107で、トレイTを示す点群データPを除去した点群データPからノイズを除去して、物品Gの点群データPを抽出する(S107)。また、ステップS105で、トレイTは無いと判断された場合(S105;No)も、ステップS104で保存した点群データPからノイズを除去して、物品Gの点群データPを抽出する(S107)。
形状判別部20は、ステップS107において、保存した点群データPからノイズを除去して物品Gのみの点群データPを抽出する(S107)。
【0050】
図8に模式的に示すように、取得した点群データPの任意の一点Pnを中心として所定の閾値を半径とする仮想した球内から外れる点群データの近傍点における分散σ2を算出し、分散σ2が予め定められた値よりも大きい場合、ノイズと判断して点群データPから除去する。この処理を点群データの各点で繰り返し実行することで点群データPからノイズを除去して、物品Gの点群データPを抽出する(S107)。
また、取得した点群データPの任意の一点Pnから近傍点への距離の平均が点群データ全体の平均から離れている統計的外れ値を算出することでノイズを検出して、取得された点群データPからノイズとして除去してもよく、この処理を追加的に実施してもよい。
【0051】
形状判別部20は、ステップS108において、ノイズが除去され物品Gが存在する領域のみの点群データPから物品Gの外形形状を判別する。
図9には、物品Gが存在する領域のみの点群データP(
図9(a)に示す)から物品Gの外形形状を判別する処理の流れを模式的に示している。まず、形状判別部20は、
図9(b)に示すように、抽出した物品Gが存在する領域のみの点群データPからxy軸に沿うxy平面で物品Gの輪郭となる凸多角形100を設定する(S108)。そして、
図9(c)に示すように、xy平面における凸多角形100の面積が最小になるように凸多角形100に外接する外接四角形110の平面枠をz軸方向に引き伸ばしてz軸方向の高さで物品Gを囲う立方体枠120を仮想する(S109)。
【0052】
図10には、物品Gの輪郭となる凸多角形100と外接四角形110の関係、
図11には外接四角形110に対する凸多角形100の面積の比率R1を算出する例を示している。
ステップS109に続いて、
図10に模式的に示すように、凸多角形100の面積S1及び外接四角形110の面積S2を算出して外接四角形110に対する凸多角形100の面積の比率R1を算出する(S110)。そして、ステップS111で面積の比率R1が予め定められた閾値Th1よりも大きいか否か判定する(S111)。
図11(a)に示すように、ステップS111で面積の比率R1が閾値Th1よりも大きい場合(S111;Yes)、物品Gは外形形状が定形体、具体的には直方体であると判定され(S112)、
図11(b)に示すように、面積の比率R1が閾値Th1よりも小さい場合(S110;No)、物品Gは外形形状が不定形体であると判定される(S112)。本実施形態においては、閾値Th1として0.9と設定している。すなわち、物品Gの輪郭となる凸多角形100の面積が凸多角形100に外接する外接四角形110の面積の90%以上を占めている場合、物品は直方体であると推定して、直方体以外の不定形体と区別して仕分けを行う。
【0053】
「変形例」
図12は変形例に係る形状認識装置1における物品Gの外形形状の判別処理の流れを示すフローチャート図であり、
図13には、物品Gが存在する領域のみの点群データP(
図13(a)に示す)から物品Gの外形形状を判別する変形例の処理の流れを模式的に示している。
図12のフローチャート図において、物品Gを囲う立方体枠120を仮想するステップS209までの処理は上述したステップS101からステップS109の処理と同様であり説明を省略する。
【0054】
形状判別部20は、物品Gを囲う立方体枠120内の点群データPの立方体枠120の底面110Aからの高さHnの合計値H1に対する立方体枠120の底面110Aからの高さHrに立方体枠120内の点群データPの数Nを乗じて合計した高さの合計値H2の比率R2で物品Gの外形形状を判別する。
【0055】
具体的には、
図13(b)に模式的に示すように、ステップS210で立方体枠120内の点群データPの各点Pnの高さHnを合計する(S210)ことで、高さが異なる平面を有する物品Gであっても、立方体枠120で囲った物品Gの高さ方向の形状を判別するデータとする。
次に、
図13(c)に示すように、ステップS211で立方体枠120の底面110Aからの高さHrに立方体枠120内の点群データPの数Nを乗じて高さの合計値H2を算出する(S211)ことで、立方体枠120で囲った物品Gが同一の高さを有する立方体である場合の高さデータとする。
【0056】
そして、形状判別部20は、ステップ212で高さHrの合計値H2に対する高さHnの合計値H1の比率R2を算出し(S212)、比率R2が予め定められた閾値Th2よりも大きいか否か判定する(S213)。比率R2が閾値Th2よりも大きい場合(S213;Yes)、物品Gは高さが一定の外形形状を有する定形体、具体的には直方体であると判定され(S214)、比率R2が閾値Th2よりも小さい場合(S213;No)、物品Gは高さが異なる平面からなる外形形状を有する不定形体であると判定される(S215)。ここに、閾値Th2は、物品Gの仕分け基準に基づいて設定することができる。
【0057】
このような処理を経て、3次元センサ10により取得された点群データから物品Gの点群データPを抽出して物品Gの外形形状が定形か不定形か判別する。これにより、3次元物品の外形形状を非接触で自動判別することが可能となる。特に、コンベア上を移動する物品Gの外形形状を非接触で連続して自動判別し物品Gを定形体と不定形体に仕分けすることができる。
【0058】
「第2実施形態」
図14は本実施形態に係る形状認識装置1Aの機能構成を示すブロック図である。
第2実施形態について、
図14を参照しながら、第1実施形態との相違点を中心に説明するが、被判別物である3次元物品Gの表面の三次元座標値の集合である点群データを連続して取得する取得手段の一例としての3次元センサ10については第1実施形態で説明した例が適用できる。
【0059】
図14に示すように、形状認識装置1Aは、被判別物である物品Gの表面の三次元座標値の集合である点群データを連続して取得する3次元センサ10と、物品Gを撮像することによって取得された物品Gの表面の三次元座標値の集合である点群データPを入力データ、この入力データに対応する物品Gの形状判別情報を出力データとする機械学習により生成された形状判別モデルSを用いて、物品Gの外形形状を判別する形状判別部20Aを有する。
【0060】
形状判別部20Aは、データベース部21及び機械学習部22を備えている。
データベース部21は、物品Gの表面の三次元座標値の集合である点群データと共に、その点群データと対応付けられた物品Gの形状判別情報のデータセットを蓄積する。点群データに対応付けられる物品Gの形状判別情報とは、直方体形状、段差面を有する直方体形状、円形形状、平坦形状、棒状形状、及び複合形状をはじめとする物品Gの外形形状区分を識別できる情報である。本実施形態においては、物品Gの形状判別情報として、定形形状に着目し、直方体形状、段差面を有する直方体形状の区分が含まれるのが好ましい。形状認識装置1Aにおいて、コンベア面が所定の速度で移動するコンベア30上で物品Gの外形形状を判別し振り分けを行うからである。
【0061】
機械学習部22は、データベース部21に蓄積されたデータセットを用いて、物品Gの表面の三次元座標値の集合である点群データPを入力データ、入力データに対応する物品Gの形状判別情報を出力データとした、複数の学習用データを用いた機械学習によって、物品Gの外形形状を判別する形状判別モデルSを生成する。形状判別モデルSを生成するための機械学習の種類(アルゴリズム)については、実用上十分な外形形状の判別精度が得られればよく、特に限定されない。例えば、一般的に用いられるニューラルネットワーク(深層学習や畳み込みニューラルネットワーク等を含む)、決定木学習、ランダムフォレスト、サポートベクター回帰等を用いてよい。
【0062】
図15は、形状認識装置1Aにおける物品Gの外形形状の形状判別方法を説明するための図である。
まず、形状判別部20Aは、コンベア30に設置した3次元センサ10により取得された物品Gの表面の三次元座標値の集合である点群データPからノイズを除去して、物品Gのみの点群データPを抽出する。
そして、形状判別部20Aは、抽出した点群データPを入力データとして形状判別モデルSに入力し、出力データである物品Gの外形形状を判別する形状判別情報を出力する。
【0063】
形状判別モデルSから出力される物品Gの形状判別情報は、例えば、端末装置40の表示部41(ディスプレイ)に表示される。表示部41に物品Gの形状判別情報を表示することにより、コンベア30の載置面F上を移動する物品Gを定形体と不定形体に仕分けすることができる。
【0064】
このように、抽出した点群データPを入力データとして形状判別モデルSに入力し、出力データである物品Gの外形形状を判別することで、物品Gの外形形状を取得した点群データPから物品Gの外形形状を直接判別することができる。
【0065】
「第3実施形態」
図16は本実施形態に係る形状認識装置1Bの機能構成を示すブロック図である。
第3実施形態について、
図16を参照しながら、第1実施形態との相違点を中心に説明するが、被判別物である物品Gの表面の三次元座標値の集合である点群データPを連続して取得する取得手段の一例としての3次元センサ10については第1実施形態で説明した例が適用できる。
【0066】
図16に示すように、形状認識装置1Bは、被判別物である物品Gの表面の三次元座標値の集合である点群データPを連続して取得する3次元センサ10と、物品Gの少なくとも一部の外形形状を示す特定形状データを記憶する記憶部50と、抽出した点群データPに特定外形データが含まれるか否かに基づいて、物品Gの外形形状を判別する形状判別部20Bと、を有する。
【0067】
記憶部50に記憶される特定形状データとしては、直方体形状、段差面を有する形状、円形形状、平坦形状、棒状形状、及び複合形状をはじめとする物品Gの外形形状区分を示す3次元点群データである。本実施形態においては、物品Gの特定形状データとして、定形形状に着目し、直方体形状、段差面を有する直方体形状の区分が含まれるのが好ましい。
【0068】
まず、形状判別部20Bは、コンベア30に設置した3次元センサ10により取得された物品Gの表面の三次元座標値の集合である点群データPからノイズを除去して、物品Gのみの点群データPを抽出する。
【0069】
そして、形状判別部20Bは、3次元センサ10により生成された物品Gのみの点群データPに対し、記憶部50が記憶している特定形状データに基づいて、物品Gのみの点群データPが特定形状であるかを判断する。
具体的には、直方体形状であるかを判断する。上記特定形状であるかは、記憶されている特定形状データと3次元センサ10により生成された3次元座標情報値との差分が予め定められた閾値よりも小さいか否かで判断される。
【0070】
特定形状であると判断された場合、例えば、端末装置40の表示部41(ディスプレイ)に特定形状である旨が物品Gのみの点群データPとともに表示される。表示部41に物品Gの特定形状を表示することにより、コンベア30の載置面F上を移動する物品Gを定形体と不定形体に仕分けすることができる。
【0071】
このように、抽出した点群データPに特定外形データが含まれるか否かを判断することで、物品Gの外形形状を取得した点群データPから物品Gの外形形状を直接判別することができる。
【符号の説明】
【0072】
1、1A、1B・・・形状認識装置
10・・・3次元センサ
11・・・プロジェクタ、111・・・VCSEL、112・・・回折光学素子
12・・・イメージセンサモジュール
13・・・制御部
20、20A、20B・・・形状判別部
30・・・コンベア
40・・・端末装置
F・・・載置面
G・・・物品
P・・・点群データ