特開 2024-179543 画像処理装置、ピッキングシステム、及びピッキング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179543

(43)【公開日】2024-12-26

(54)【発明の名称】画像処理装置、ピッキングシステム、及びピッキング方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20241219BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023098472

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】長井 伊岐

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS10

3C707CX01

3C707CX03

3C707ES03

3C707HS27

3C707KS07

3C707KS35

3C707KS36

3C707KT03

3C707KT05

3C707KW05

(57)【要約】

【課題】複雑な形状のワークであっても、ワーク内の適切な把持候補を特定可能な画像処理装置等を提供する。
【解決手段】画像処理装置３０は、センサによりワークを撮像した撮像画像を取得する撮像画像取得部３１と、ワークの深度情報を取得する深度情報取得部３２と、取得した深度情報から、極大点を探索する極大点探索部３３と、極大点と深度情報に基づきワークの撮像画像に対し、２値化処理を行う２値化処理部３４と、２値化処理した前記ワークの撮像画像に対しワークの外接矩形処理を行う外接矩形処理部３５と、前記外接矩形処理により抽出されたワーク内の矩形に対する前記ワークを含む物体の充填率を算出する充填率算出部３６と、算出された前記充填率が閾値以上の場合に抽出された前記矩形から、把持候補点を特定する把持候補特定部３７と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

センサによりワークを撮像した撮像画像を取得する撮像画像取得部と、
前記ワークの深度情報を取得する深度情報取得部と、
取得した深度情報から、極大点を探索する極大点探索部と、
前記極大点と前記深度情報に基づき、前記ワークの前記撮像画像に対し、２値化処理を行う２値化処理部と、
前記２値化処理した前記ワークの前記撮像画像に対し前記ワークの外接矩形処理を行う外接矩形処理部と、
前記外接矩形処理により抽出された前記ワーク内の矩形に対する前記ワークを含む物体の充填率を算出する充填率算出部と、
算出された前記充填率が閾値以上の場合に抽出された前記矩形から、把持候補点を特定する把持候補特定部と、を備える、画像処理装置。

【請求項2】

前記充填率が閾値以上の場合に前記外接矩形処理により抽出された矩形から、把持候補点及び前記ワークを把持する角度を特定する把持候補特定部を備える、請求項１に記載の画像処理装置。

【請求項3】

前記外接矩形処理により抽出された矩形と、予め設定されたワークの把持できる上部面積との重なり度合いである一致度を判定する一致度判定部を更に備え、
前記把持候補特定部は、算出された前記充填率が閾値以上で、かつ、前記一致度が閾値以上の場合に、抽出された前記矩形から、把持候補点を特定する、請求項１又は２に記載の画像処理装置。

【請求項4】

容器に収容されたワークを少なくとも２つの把持部により把持するピッキングロボットと、
前記容器に含まれる前記ワークを撮像するセンサと、
前記センサと接続された、請求項１に記載の画像処理装置と、
を備える、ピッキングシステム。

【請求項5】

容器に収容されたワークを少なくとも２つの把持部により把持するピッキングロボットと、
前記容器に含まれるワークを撮像するセンサと、
前記センサと接続された、画像処理装置と、
を備える、ピッキングシステムを用いたピッキング方法であって、
前記センサにより容器に収容されたワークを撮像した撮像画像を取得し、
前記撮像画像の深度情報を取得し、
取得した前記深度情報から、極大点を探索し、
前記極大点と前記深度情報に基づきワークの撮像画像に対し、２値化処理を行い、
前記２値化処理した前記ワークの撮像画像に対し、外接矩形処理を行い、
前記外接矩形処理により抽出されたワーク内の矩形に対する前記ワークを含む物体の充填率を算出し、
算出された前記充填率が閾値以上の場合に抽出された前記矩形から、把持候補点を特定する、ピッキング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像処理装置、ピッキングシステム、及びピッキング方法に関する。

【背景技術】

【0002】

特許文献１には、容器に収容された複雑形状ワークを把持するピッキングシステムにおいて、容器に収容された複雑形状ワークを撮像し、複雑形状ワークに対して、単純化したモデルと照合することでワークの把持候補点を認識することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０７－３１９５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

容器内には、多数の複雑な形状のワークが存在する場合がある。ワークの画像を二値化による画像処理を行い、ワークの形状を抽出する際に細かな凹凸部分について区別することが難しく、精緻にワークの形状を特定することができない。

【0005】

本開示は、このような問題点を解決するためになされたものであり、複雑な形状のワークであっても、ワーク内の適切な把持候補を特定可能な画像処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様にかかる画像処理装置は、
センサによりワークを撮像した撮像画像を取得する撮像画像取得部と、
前記ワークの深度情報を取得する深度情報取得部と、
取得した深度情報から、極大点を探索する極大点探索部と、
前記極大点と前記深度情報に基づき、前記ワークの前記撮像画像に対し、２値化処理を行う２値化処理部と、
前記２値化処理した前記ワークの前記撮像画像に対し前記ワークの外接矩形処理を行う外接矩形処理部と、
前記外接矩形処理により抽出された前記ワーク内の矩形に対する前記ワークを含む物体の充填率を算出する充填率算出部と、
算出された前記充填率が閾値以上の場合に抽出された前記矩形から、把持候補点を特定する把持候補特定部と、を備える。

【0007】

本開示の一態様にかかるピッキングシステムは、
容器に収容されたワークを少なくとも２つの把持部により把持するピッキングロボットと、
前記容器に含まれる前記ワークを撮像するセンサと、
前記センサと接続された、上記した画像処理装置と、
を備える。

【0008】

本開示の一態様にかかるピッキング方法は、
容器に収容されたワークを少なくとも２つの把持部により把持するピッキングロボットと、
前記容器に含まれるワークを撮像するセンサと、
前記センサと接続された、画像処理装置と、
を備える、ピッキングシステムを用いたピッキング方法であって、
前記センサにより容器に収容されたワークを撮像した撮像画像を取得し、
前記撮像画像の深度情報を取得し、
取得した前記深度情報から、極大点を探索し、
前記極大点と前記深度情報に基づきワークの撮像画像に対し、２値化処理を行い、
前記２値化処理した前記ワークの撮像画像に対し、外接矩形処理を行い、
前記外接矩形処理により抽出されたワーク内の矩形に対する前記ワークを含む物体の充填率を算出し、
算出された前記充填率が閾値以上の場合に抽出された前記矩形から、把持候補点を特定する。

【発明の効果】

【0009】

本開示によれば、複雑な形状のワークであっても、ワーク内の適切な把持候補を特定可能な画像処理装置等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態にかかるピッキングシステムの構成を説明する概略図である。

【図2】実施形態にかかる画像処理装置の構成を説明するブロック図である。

【図3】実施形態にかかるピッキング方法を説明するフローチャートである。

【図4】実施形態にかかる画像処理における各画像を説明する図である。

【発明を実施するための形態】

【0011】

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

【0012】

以下、図１を参照して本発明の実施の形態にかかるピッキングシステムの構成について説明する。
ロボットアーム１０は、多関節ロボットとも呼ばれ、複数のリンク１３，１４と各リンクを回転可能に連結する関節部１３０，１４０、１５０と、ワークを把持するためのハンド１５と、を備える。また、ロボットアーム１０の先端には、ワークをピックするためのハンド１５が連結されている。ハンド１５は、少なくとも２つの把持部１６（爪とも呼ばれる）を有する。ハンド１５の少なくとも２つの把持部１６で、ワークの適当な部分を挟み込むことで、ロボットアーム１０は、ワークを持ち上げることができる。なお、ロボットアームの構成は、図示したものに限定されず、少なくとも２つの把持部を有する様々なロボットアームを用いることができる。

【0013】

各関節部には、各関節部の回転情報を検出するエンコーダなどの回転センサと、各関節部を駆動するサーボモータなどのアクチュエータと、各関節部の操作力を検出する力センサが設けられている。力センサは、例えば、各関節部のトルクを検出するトルクセンサである。各関節部には、減速機構などが設けられている。

【0014】

ロボットコントローラ２０は、ロボットアーム１０の動作を制御する。ロボットコントローラ２０は、例えば、各関節部の回転センサからの回転情報（回転角など）と、力センサからの操作力と、に基づいて、各関節部のアクチュエータを制御することで、ロボットアームをフィードバック制御する。また、ロボットコントローラ２０は、ハンド１５の少なくとも２つの把持部１６、１６の距離を近接させることで、ワーク３を把持することができる。ハンド１５の少なくとも２つの把持部１６、１６の間の最大距離は、任意選択的に定められている。いくつかの実施形態では、ハンド１５は、３つ以上の把持部（爪）を有する場合もある。

【0015】

ロボットアーム１０又はハンド１５の先端には、箱（容器とも呼ばれ得る）内の複数のワークの形状（三次元情報）を検出する細長い棒状のセンサ５（撮像部とも呼ばれ得る）が設けられている。センサ５には、画像処理装置（ＰＣ）３０が有線ケーブル（又は無線通信）を介して接続されている。ワークは、箱内や床などにバラ積みされている凹凸などの複雑な形状を有する部品であり得る。また、箱内には、多数のワーク（例えば、１０個以上、１００個以上など）が存在しうる。画像処理装置３０は、ワークの三次元情報（深度情報、デプスマップ）を取得し、三次元情報に基づいて、センサ５により箱４内のワークを上方から撮像したワークの撮像画像について、画像処理を行い、多数の複雑形状のワークから、適切な把持可能部分を選択する。深度情報は、センサ５から撮影対象（ワークの各点）までの距離を示す。

【0016】

ロボットコントローラ２０は、画像処理装置３０からの制御信号を受け付けて、ロボットアーム１０の動作を制御することができる。例えば、ロボットコントローラ２０は、画像処理装置３０から、把持候補点及びワークを把持する角度を受け付けて、当該把持候補点及びワークを把持する角度でワークを把持するようにロボットアームを動作させることができる。

【0017】

図２は、実施形態にかかる画像処理装置の構成を説明するブロック図である。画像処理装置３０は、センサ５と、ロボットコントローラ２０とネットワークを介して通信可能に接続されている。画像処理装置３０は、プロセッサ、メモリ、及び通信インタフェース等を有するコンピュータであり得る。プロセッサは、メモリからソフトウェア（コンピュータプログラム）を読み出して実行することで、本明細書で説明する実施形態においてフローチャートもしくはシーケンスを用いて説明された画像処理装置等の処理を行う。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、又は、これらの組み合わせなどを用いることができる。

【0018】

メモリは、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリは、プロセッサから離れて配置されたストレージを含んでもよい。この場合、プロセッサは、I/Oインタフェースを介してメモリにアクセスしてもよい。

【0019】

画像処理装置３０は、センサ５から、ワークの撮像画像を受け付けて、ワークの把持候補を特定する。具体的には、画像処理装置３０は、撮像画像取得部３１、深度情報取得部３２、極大点探索部３３、２値化処理部３４、外接矩形処理部３５、充填率算出部３６、及び把持候補特定部３７を含む。

【0020】

撮像画像取得部３１は、三次元ビジョンセンサ又はＬｉＤＡＲ（Light Detection And Ranging）、任意の他のカメラなどのセンサ５により撮像された撮像画像を、ネットワークを介して取得する。深度情報取得部３２は、三次元ビジョンセンサ又はＬｉＤＡＲ（Light Detection And Ranging）などセンサ５により、センサ５からワークの各点までの距離を示すワークの深度情報を取得する。極大点探索部３３は、取得した深度情報から、複数の局所的極大点を探索する。探索された複数の局所的極大点のうち、ノイズとなり得る箱４の中にワーク３以外のものを除外し、任意の（Ｎ番目の）極大点に着目する。２値化処理部３４は、深度情報について、凸凹の許容範囲を定め、その高さ方向における許容範囲（例えば、５ｍｍ以内、１０ｍｍ以内）に基づき、ワークの撮影画像を、２値化処理を行う。例えば、２値化処理部３４は、ワークの深度情報を、例えば、所定の高さ以上の点を１とし、所定高さ未満の点を０として２値化して、把持部により把持され得る凸部を検出する。なお、極大点の抽出や２値化処理等の詳細については、特開２０２３－４１２００号を参照されたい。

【0021】

外接矩形処理部３５は、２値化処理したワークの画像に対し外接矩形処理を行う。これにより、所定面積以上の凸部を発見することができる。充填率算出部３６は、抽出された矩形に対するワーク等を含む物体の充填率を算出する。充填率が閾値以上の場合は、ワーク（すなわち、把持する物体）であると判断でき、充填率が閾値未満の場合は、ワークではない他の物体（すなわち、把持できない物体）と判断できる。把持候補特定部３７は、矩形に対するワークの充填率が閾値以上の場合、矩形から把持候補を特定する。一方、抽出された矩形に対するワークの充填率が閾値未満の場合は、把持部により把持できないものと判断し、把持候補から除外する。当該閾値は、予め設定され、記憶部に記憶され得る。また、いくつかの実施形態では、一致度判定部は、外接矩形処理により抽出された矩形と、予め設定されたワークごとの上部面積との重なり度合い（一致度とも呼ばれる）を判定してもよい。外接矩形処理により抽出された矩形が、予め設定されたワークごとの上部面積より著しく小さく、当該一致度が低い場合、ワーク（把持する物体）ではないと判定することができる。ワークの種類ごとの上部面積は、把持可能な部分として予め設定され、記憶部に記憶され得る。把持候補特定部３７は、矩形に対するワークの充填率が閾値以上の場合、例えば、矩形の中心点（又は中心付近の任意の点）を把持点として特定することができる。また、２つの把持部の間の最大離間距離Ｄから、２つの把持部を、把持点に対して、どの方向から近接させ、ワークを把持するか（ワークを把持する角度）を特定することができる。なお、３つ以上の把持部により、ワークを把持する場合も、基準点からの角度を任意選択的に定義することができる。

【0022】

図３を参照して、実施形態にかかるピッキング方法を説明する。
センサ５で、箱４に含まれる１つ以上のワーク３を撮影する（ステップＳ０１）。ワークは、図４の左上図に示すように、凹凸を有する複雑な形状を有する。その後、センサ５及び画像処理装置３０は、ワークの深度情報を取得する（ステップＳ０２）。深度情報は、ポイントクラウド又はデプスマップであり、対象物（本例では、ワークの各点）のセンサカメラからの距離を示し得る。画像処理装置３０は、取得した深度情報から、複数の局所的極大点を探索する（ステップＳ０３）。当該複数の局所的極大点のうち、図４に示すように、Ｎ番目の極大点を抽出する（ステップＳ０４）。Ｎ番目の極大点を抽出するのは、ノイズとなり得る箱４の中にワーク３以外のものを除外するためである。Ｎ番目の極大点は、撮像画像の中のどこの点に注目するかを決定するために用いられる。画像処理装置３０は、深度情報について、凸凹の許容範囲を定め、その高さ方向における許容範囲（例えば、５ｍｍ以内、１０ｍｍ以内）に基づき、撮影画像に対して、２値化処理を行う（ステップＳ０５）。図４の右上図は２値化処理後の画像を示す。

【0023】

続いて、２値化処理したワークに対し外接矩形処理を行う（ステップＳ０６）。外接矩形処理により抽出された矩形（図３の矩形３１）に対するワークの充填率を算出する（ステップＳ０７）。矩形に対するワークの充填率が閾値以上の場合で、外接矩形処理により抽出された矩形と、予め設定されたワークごとの上部面積との重なり度合い（一致度とも呼ばれる）が閾値以上である場合には（ステップＳ０７でＹＥＳ）、ピッキングロボットの少なくとも２つの把持部１６、１６が矩形の周囲環境と干渉するか否かを判定する（ステップＳ０８）。ピッキングロボットの少なくとも２つの把持部１６、１６が矩形の周囲環境と干渉しない場合（ステップＳ０８でＹＥＳ）、例えば、矩形の中心点等（図４の３５）を把持点として決定する（ステップＳ０９）。また、２つの把持部１６，１６の最大離間距離Ｄと、把持部１６，１６を挿入可能な矩形周囲の空間と、を考慮して、ワークを把持する角度を決定することができる。図４の左下図では、矩形の周囲内の点３２及び点３３の位置に、それぞれ２つの把持部１６，１６を挿入し、これら２つの把持部１６，１６をワークの把持点３５に向けて接近させることで、ワークを把持することができる。すなわち、上記した干渉判定では、２つの把持部１６，１６を矩形の周囲の任意の位置に挿入できるか否か、かつ２つの把持部１６，１６を矩形内の把持点３５に向かって互いに近接するように移動できるか否かが判定される。

【0024】

なお、矩形に対するワークの充填率が閾値未満の場合（ステップＳ０７でＮＯ）、又は外接矩形処理により抽出された矩形と、ワークごとの設定上部面積との重なり度合いである一致度が閾値未満である場合には（ステップＳ０７でＮＯ）、別の極大点（Ｎ＋１番目の極大点）について上記ステップＳ０４、Ｓ０５、Ｓ０６など同様の処理を行う。また、ピッキングロボットが周囲環境と干渉する場合（ステップＳ０８でＮＯ）も、別の極大点について上記ステップＳ０４、Ｓ０５、Ｓ０６など同様の処理を行う。

【0025】

以上説明したように、画像処理装置３０は、把持点３５及びワークを把持する角度を決定し、ロボットコントローラ２０に送信する。ロボットコントローラ２０は、受信した把持点３５及びワークを把持する角度にしたがって、ロボットアーム１０の動作を制御し、ワークを把持することができる。

【0026】

本発明は、例えば、図３に示す処理を、プロセッサにコンピュータプログラムを実行させることにより、実現することも可能である。

【0027】

以上説明したように、実施形態にかかる画像処理装置は、複雑な形状のワークであっても、ワークの凹凸形状も含め、輪郭を正確に捉え、ワーク内の適切な把持候補を特定することができる。抽出した複雑な形状のワークに対し、単純化することで、把持候補の算出にかかる計算負荷を軽減することができる。また、実施形態にかかるピッキングシステムは、特定されたワーク内の適切な把持候補点に対して、ロボットアームを移動し、確実にワークを把持することができる。

【0028】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0029】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0030】

３ ワーク
４ 箱
５ センサ
１０ ロボットアーム
１３ リンク
１４ リンク
１５ ハンド
１６ 把持部
２０ ロボットコントローラ
３０ 画像処理装置（ＰＣ）
３１ 撮像画像取得部
３２ 深度情報取得部
３３ 極大点探索部
３４ ２値化処理部
３５ 外接矩形処理部
３６ 充填率算出部
３７ 把持候補特定部
１３０ 関節部
１４０ 関節部
１５０ 関節部

【図1】

【図2】

【図3】

【図4】