特開 2023-84246 画像処理装置及びピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023084246

(43)【公開日】2023-06-19

(54)【発明の名称】画像処理装置及びピッキングシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230612BHJP

【ＦＩ】

G06T7/00 350Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021198303

(22)【出願日】2021-12-07

(71)【出願人】

【識別番号】515086908

【氏名又は名称】株式会社トヨタプロダクションエンジニアリング

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】石田 雄貴

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA05

5L096CA04

5L096GA08

5L096GA51

5L096HA08

5L096KA04

(57)【要約】

【課題】コストを抑え、汎用性の高い画像処理装置等を提供すること。
【解決手段】本発明の一態様に係る、所定の周期で輝度が変動する光源下に載置された検出対象の検出に利用される画像処理装置は、検出対象を、光源下が第１輝度の状態で撮像した第１画像情報と、第１輝度とは異なる第２輝度の状態で撮像した第２画像情報とを取得する画像取得部と、第１画像情報と第２画像情報との互いの輝度の相違の差分画像情報を生成する生成部と、差分画像情報に基づく、検出対象の検出結果を示す検出情報を出力する出力部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の周期で輝度が変動する光源下に載置された検出対象の検出に利用される画像処理装置であって、
前記検出対象を、前記光源下が第１輝度の状態で撮像した第１画像情報と、前記第１輝度とは異なる第２輝度の状態で撮像した第２画像情報とを取得する画像取得部と、
前記第１画像情報と前記第２画像情報との互いの輝度の相違の差分画像情報を生成する生成部と、
前記差分画像情報に基づく、前記検出対象の検出結果を示す検出情報を出力する出力部と、
を備える画像処理装置。

【請求項2】

前記画像取得部は、所定の時間間隔で撮像を行う撮像装置から、前記第１画像情報及び前記第２画像情報を取得するものであって、
前記生成部は、前記撮像装置によって撮像された複数の画像のうち、最大輝度の画像に関する情報を前記第１画像情報、最小輝度の画像に関する情報を前記第２画像情報とした差分画像情報を生成する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記光源における輝度のピーク間の時間の逆数である光源周波数をｆ１、前記撮像装置における前記所定の時間間隔の逆数である撮影周波数をｆ２としたとき、
ｆ１：ｆ２＝１：０．５～１：４（ただし、１：１を除く）
を満たす、
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記第１輝度と前記第２輝度との差が所定の閾値を下回る場合、前記光源周波数及び前記撮影周波数の少なくともいずれかを変更する、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記第１輝度と前記第２輝度との差が所定の閾値を下回る場合、前記撮像装置が前記検出対象を撮像するタイミングを変更する、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項6】

請求項１～５のいずれか１項に記載の画像処理装置と、ピッキング装置とを備えるピッキングシステムであって、
前記ピッキング装置は、
前記検出対象の載置部と、
前記検出対象を前記載置部からピッキングするピッキング部と、
前記検出情報に基づいてピッキング部を制御するピッキング制御部と、
を備えることを特徴とするピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、及び、当該画像処理装置を用いたピッキングシステムに関する。

【背景技術】

【0002】

従来、多くの生産・製造現場では、作業対象物や搬送物等（ワークとも称される。以下「ワーク」と示す。）のピックアップにピッキングロボットが利用されており、近年では、バラ積みのワークをピッキングするランダムピッキングが広がりをみせている。ランダムピッキングでは、バラ積みされたワークをピックアップの前にカメラで撮像し、撮像した画像から、ワークの位置や方向をロボットに認識させる（例えば、特許文献１等）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４６８２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のように、ランダムピッキングを含むワークのピックアップには、ワークを撮像した画像が必要となる。しかしながら、ピッキングロボットが作業する作業現場においては、近接する他の工程（製造ライン）からの散乱光や反射光、外窓から差し込む太陽光等の外乱光によって、作業現場の明るさが変動し得る。この明るさの変動により、ピックアップに要する画像間の明るさも変動し、画像内のワークの認識精度が低下する。この外乱光の影響を抑えるため、明るさの変動に耐性のある撮像装置や、明るさの変動を打ち消す照明装置等を利用することも考えられる。しかしながら、高機能な装置の導入にはコストもかかり、また、外乱光は作業現場ごとに異なってくるため、ある作業現場に適用させて構築したシステムが、他の作業現場に適用できないという問題があった。

【0005】

本発明は上記問題に鑑みて成されたものであり、コストを抑え、汎用性の高い画像処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る、所定の周期で輝度が変動する光源下に載置された検出対象の検出に利用される画像処理装置は、検出対象を、光源下が第１輝度の状態で撮像した第１画像情報と、第１輝度とは異なる第２輝度の状態で撮像した第２画像情報とを取得する画像取得部と、第１画像情報と第２画像情報との互いの輝度の相違の差分画像情報を生成する生成部と、差分画像情報に基づく、検出対象の検出結果を示す検出情報を出力する出力部とを備える。

【0007】

本発明の一態様に係る画像処理装置において、画像取得部は、所定の時間間隔で撮像を行う撮像装置から、第１画像情報及び第２画像情報を取得するものであって、生成部は、撮像装置によって撮像された複数の画像のうち、最大輝度の画像に関する情報を第１画像情報、最小輝度の画像に関する情報を第２画像情報とした差分画像情報を生成してよい。

【0008】

本発明の一態様に係る画像処理装置において、光源における輝度のピーク間の時間の逆数である光源周波数をｆ１、撮像装置における所定の時間間隔の逆数である撮影周波数をｆ２としたとき、ｆ１：ｆ２＝１：０．５～１：４（ただし、１：１を除く）を満たしてよい。

【0009】

本発明の一態様に係る画像処理装置において、第１輝度と第２輝度との差が所定の閾値を下回る場合、光源周波数及び撮影周波数の少なくともいずれかを変更してよい。

【0010】

本発明の一態様に係る画像処理装置において、第１輝度と第２輝度との差が所定の閾値を下回る場合、撮像装置が検出対象を撮像するタイミングを変更してよい。

【0011】

本発明の一態様に係る画像処理装置と、ピッキング装置とを備えるピッキングシステムは、ピッキング装置が、検出対象の載置部と、検出対象を載置部からピッキングするピッキング部と、検出情報に基づいてピッキング部を制御するピッキング制御部とを備える。

【発明の効果】

【0012】

本発明の一態様に係る画像処理装置は、所定の周期で輝度が変動するフリッカーの発生する光源下に載置された検出対象の検出に利用される画像処理装置であって、検出対象を、光源下が第１輝度の状態で撮像した第１画像情報と、第１輝度とは異なる第２輝度の状態で撮像した第２画像情報とを取得する画像取得部と、第１画像情報と第２画像情報との互いの輝度の相違の差分画像情報を生成する生成部と、差分画像情報に基づく、検出対象の検出結果を示す検出情報を出力する出力部とを備えるとの特徴を有する。これにより、コストを抑え、汎用性の高い画像処理装置等を提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一態様に係るピッキングシステムの概略構成図である。

【図2】本発明の一態様に係る画像処理装置の機能図である。

【図3】（ａ）、（ｂ）は、本発明の一態様に係る画像処理装置の概要を説明する図である。

【図4】（ａ）～（ｃ）は、本発明の一態様に係る画像処理装置の概要を説明する図である。

【図5】（ａ）～（ｃ）は、本発明の一態様に係る画像処理装置の概要を説明する図である。

【発明を実施するための形態】

【0014】

以下、本発明の一実施態様に係る画像処理装置について、図面を参照しながら詳細に説明する。なお、図は例示であって、本発明の画像処理装置は、図示したものに限定されない。また、図は概略であって、図におけるピッキングシステムの各構成部の大きさの比率、数、位置関係、及び、グラフ等は厳密ではない。

【0015】

＜ピッキングシステム＞
図１は、本発明の一態様に係るピッキングシステムの概略構成図である。ピッキングシステム１００は、少なくとも、画像処理装置２００と、ピッキング装置３０とを備える。ピッキング装置３０は、ピッキングアーム（ピッキング部）３１と、載置部４０とを備え、載置部４０に載置されたワーク５０をピックアップして把持したり、別の工程へ移動させたりする。なお、図１では、ワーク５０を単体で示してあるが、ワーク５０はバラ積みされていてもよい。また、ワーク５０としては、ピッキングアーム３１でピックアップ可能な物体であればどのようなものであってもよい。さらに、載置部４０は、図１のようなベルトコンベア状に限定されず、ワーク５０がバラ積みされた箱状のものであってもよい。

【0016】

画像処理装置２００は、撮像装置２０が撮像した、検出対象であるワーク５０の画像を撮像装置２０から取得し、画像認識処理を行う。撮像装置２０は、ＣＣＤカメラ、ＲＧＢカメラ、ステレオカメラ等、既知のカメラであってよい。また、画像処理装置２００は、ピッキング装置３０と接続され、撮像装置２０が撮像した画像からワーク５０の状態（向きや形状等）を認識し、ピッキング装置３０に、ワーク５０の状態に関する情報を送信する。なお、図１では、画像処理装置２００とピッキング装置３０とを別に示してあるが、画像処理装置２００はピッキング装置３０に組み込まれていてもよい。

【0017】

ピッキングシステム１００は、例えば図１に示すように、作業現場の窓から差し込む太陽６０の太陽光や、他の工程からの反射光等を含む外乱光７０の影響を受けて、撮像装置２０が撮像する画像の明暗が変化し得る。そのため、本発明の一態様に係るピッキングシステムは、作業現場の光源１０の性質を利用した画像処理が行われる。詳細は後述するが、作業現場の光源１０は、所定の周期で輝度が変動する光源であってよい。例えば、光源１０は、従来用いられている蛍光灯、水銀灯、赤熱灯、ＬＥＤといった、フリッカーの発生する光源を用いてよい。すなわち、光源１０は、いわゆるフリッカーレスのような機能を持たない光源を用いてよい。なお、フリッカーは、受電電圧の周波数変動によるものであって、西日本では６０Ｈｚ、東日本では５０Ｈｚの周期で明暗が繰り返される現象である。

【0018】

なお、これ以降、所定の周期で輝度が変動する光源として、フリッカーの生じる光源を例に説明するが、本発明はこれに限定されるものではなく、輝度の変動スピード（すなわち、明暗のスピード）を調節可能な照明であれば、どのようなものでであってもよい。

【0019】

＜画像処理装置＞
次に、画像処理装置２００の機能構成、及び、画像処理装置２００の動作について、図２，３を用いて説明する。図２に示すように、画像処理装置２００は、画像取得部２１０、画像処理部２２０、検出結果出力部２３０を少なくとも備える。画像取得部２１０は、撮像装置２０が撮像した画像を取得する。このとき、画像取得部２１０は、検出対象であるワークを、光源１０が第１輝度の状態で撮像した第１画像情報と、光源１０が第１輝度とは異なる第２輝度の状態で撮像した第２画像情報とを取得する。

【0020】

ここで、図３を用いて、本発明の一態様に係る画像処理装置２００の動作について説明する。図３（ａ）は、図１に示すピッキングシステム１００の作業現場の、外乱光７０の影響下における輝度の変化を示すグラフである。図３（ａ）において、横軸は時間、縦軸は輝度を表し、破線１１は光源１０の輝度の時間変化、一点鎖線７１は外乱光７０の輝度の時間変化を示すグラフである。図３（ａ）における破線１１に示すように、光源１０は、所定の周期で輝度が変動するフリッカーが発生し、図３（ａ）の例では、周期Ｔ１［ｓ］（すなわち、光源周波数ｆ１＝１／Ｔ１［Ｈｚ］）で明暗を繰り返している。これに対し、一点鎖線７１に示すように、外乱光７０は、時間の経過に対する輝度の変動の程度が、光源１０と比べて緩やかである。これら光源１０と外乱光７０とが重畳し、ピッキングシステム１００の作業現場の輝度変動は、実線８１で示すグラフとなる。

【0021】

撮像装置２０は、実線８１で示す輝度変動の下でワーク５０を撮像するため、タイミングによっては、異なる輝度で画像を撮像することになる。例えば、図３（ａ）示すように、時間ｔ１で撮像した画像の輝度はＬ１（第１輝度）となり、時間ｔ０で撮像した輝度はＬ０（第２輝度）となって、異なる輝度における画像が撮像できる。

【0022】

生成部２２１は、第１画像と第２画像との互いの輝度の相違を差分した差分画像を生成する。ここで、図３（ｂ）を用いて、第１輝度及び第２輝度の下で撮像した画像から生成された差分画像の性質について説明する。

【0023】

図３（ｂ）において、第１画像２１は、図３（ａ）において相対的に高輝度である第１輝度（Ｌ１）で撮像した高輝度画像、第２画像２２は、相対的に低輝度である第２輝度（Ｌ０）で撮像した低輝度画像である。図３（ｂ）に示すように、第１画像２１、第２画像２２には、外乱光７０の影響により、ノイズ７２が生じているとする。ここで、外乱光７０の輝度の時間変動は、図３（ａ）に示すように緩やかであるため、第１画像２１及び第２画像２２との間で、ノイズ７２の変化は少ない。したがって、生成部２２１によって生成された、第１画像２１及び第２画像２２の差分画像２３は、ノイズ７２の成分を含まない画像とすることができる。

【0024】

画像処理部２２０は、差分画像２３について既知の画像認識技術を用いて、差分画像２３に含まれるワーク５０を検出する。なお、画像認識は、機械学習又はＡＩ（Artificial Intelligence）により実現されてもよい。

【0025】

検出結果出力部２３０は、画像処理部２２０による検出結果を、ピックアップ装置３０へ送信する。検出結果には、ワーク５０の位置や向きといった、ワーク５０の状態に関する情報を含んでよい。ピックアップ装置３０の図示しない制御部は、検出結果に含まれるワーク５０の状態に関する情報に基づき、ワーク５０をピッキングアーム３１へ、ピックアップするための制御信号を出力してよい。

【0026】

このように、本発明の一態様に係る画像処理装置によれば、光源の輝度の変動を利用して、外乱光の影響を取り除くことが可能となる。したがって、光源や撮像装置に高い機能性を要することがなく、低コストのピッキングシステムを実現することができる。

【0027】

なお、撮像装置２０は、所定の時間間隔で撮像を行う撮像装置であってよく、画像取得部２１０は、撮像装置２０から、複数の画像を取得してよい。例えば、図３の例では、撮像装置２０が、時間ｔ１から周期Ｔ２［ｓ］（すなわち、撮像周波数ｆ２＝１／Ｔ２［Ｈｚ］）で撮像を開始し、図中の周期変化する曲線の「〇」で示される輝度で複数の画像が撮像されたとする。この場合、生成部２２１は、撮像装置２０によって撮像された複数の画像のうち、最大輝度の画像を第１画像（図の例では、時間ｔ１、輝度Ｌ１における画像）、最小輝度の画像を第２画像（図の例では、時間ｔ０、輝度Ｌ０における画像）として、差分画像を生成してよい。

【0028】

このように、本発明の一態様に係る画像処理装置２００によれば、画像取得部２１０が取得した複数の画像のうち、輝度の差が大きい画像を選択して差分画像を生成してよい。したがって、差分画像の輝度の程度を上げて、検出対象の検出精度を高めることができる。

【0029】

なお、上述では、撮像装置２０が撮像した画像の撮像順序に関わらず差分画像が生成される例について説明した。しかしながら、ワーク５０が例えばコンベア状を動く場合など、検出対象の状態が時間の経過に伴って変化する場合も考えられる。この場合は、撮像した画像のうち、時間軸上で隣接する画像間で差分画像を生成してよい。

【0030】

図４（ｂ）に、撮像装置２０が所定の時間間隔で撮像を行い、時間軸上で隣接する画像間で差分をとった場合に得られる差分画像２３の輝度変動のグラフを示す。なお、図４（ａ）は、図３（ａ）と同一であるが、簡単のため、光源１０の輝度変動を示す破線１１は省略し、外乱光７０の輝度変動を示す一点鎖線７１と、光源１０と外乱光７０によるピッキングシステム１００が作動する場所の輝度変動を示す実線８１のみ示してある。

【0031】

図４（ａ）に示す周期Ｔ２（図の例では、Ｔ２＝Ｔ１／２）で撮像装置２０が撮像する場合、画像取得部２１０は、図中「●」で示す第１輝度で撮像された画像であって、相対的に高輝度の第１輝度画像、図中「■」で示す第２輝度で撮像された画像であって、相対的に低輝度の第２輝度画像を複数取得する。生成部２２１は、時間軸上で隣接する第１輝度画像と第２輝度画像とから、差分画像を生成してよい。この場合、図４（ｂ）に示すように、同一輝度の画像フレームＦ１１，Ｆ１２…が得られることになる。画像処理部２２０は、各画像フレームＦ１１，Ｆ１２…の画像に対して認識処理を行えばよい。

【0032】

しかしながら、図４（ｂ）の各画像フレームＦ１１，Ｆ１２…は、原画像（特に、高輝度画像）と比較して、ショットノイズや熱ノイズが強調され、Ｓ／Ｎ比（Signal to Noise ratio：信号対雑音比）が悪化する。なお、ここでのＳ／Ｎ比は、検出対象を示す信号に対するノイズの割合を指す。そのため、図４（ｃ）に示すように、画像処理部２２０は、各画像フレーム間（図の場合、３フレームＦ２１又はＦ２２間）で明度平均処理を行ってよい。これにより、ショットノイズや熱ノイズの軽減を行い、Ｓ／Ｎ比を改善することができる。なお、画像フレーム間で平均処理を行うことによって、画像フレーム数が減少するため、検出対象が移動する場合等に、検出精度が低下するおそれもある。したがって、平均化する画像フレームの数は、検出対象の移動する速度等に応じて設定すればよい。

【0033】

なお、図４の例では、撮像装置２０が撮像周期Ｔ２（＝Ｔ１／２）で撮像する場合に、第１輝度及び第２輝度の差が最大となる理想的な場合について説明した。しかしながら、例えば図５（ａ）に示すように、撮像タイミングによって、すなわち、光源１０の光源周期Ｔ１と撮像装置２０の撮像周期Ｔ２との相対的な時間ずれによっては、撮像装置２０の撮像画像間で、輝度の差が非常に小さくなる場合も考えられる。図５（ａ）の例では、撮像装置２０が撮像周期Ｔ２、時間ｔ３，ｔ４，ｔ５，ｔ６で撮像した画像の輝度が、それぞれＬ３，Ｌ４，Ｌ５，Ｌ６となって、撮像した画像フレーム間の差が小さいことがわかる。このような場合、生成部２２１が生成した差分画像の輝度が非常に小さくなり、検出対象の検出が困難となり得る。

【0034】

このため、本発明の一態様に係る画像処理装置２００によれば、光源１０における輝度のピーク間の時間の逆数である光源周波数をｆ１（＝１／Ｔ１）、撮像装置２０における所定の時間間隔（Ｔ２）の逆数である撮影周波数をｆ２（＝１／Ｔ２）としたとき、
ｆ１：ｆ２＝１：０．５～１：４（ただし、１：１を除く）・・・（式１）
を満たすように、撮像周期又は光源周期を設定すればよい。

【0035】

例えば、図５（ｂ）に、撮影周波数ｆ２′（＝１／Ｔ２′）が、光源周波数ｆ１の４倍である場合を示す。この場合、時間ｔ７，ｔ８，ｔ９，ｔ１０で撮像した画像の輝度が、それぞれＬ７，Ｌ８，Ｌ９，Ｌ１０となり、撮像した画像フレームのいくつかの間に、輝度についてある程度の差を生じさせることができる。したがって、図５（ｂ）の例の場合、輝度Ｌ８で撮像された画像を第１輝度画像、輝度Ｌ９で撮像された画像を第２画像として、差分画像を生成すればよい。

【0036】

なお、式（１）に、撮像周波数と光源周波数との好適な関係を示したが、図５（ｃ）に、撮像周波数の光源周波数に対する好適な倍率について示す。撮像周波数は、光源周波数の０．５倍、１倍であると、上述したように第１輝度画像、第２輝度画像間の輝度の差が小さくなるため好ましくない。したがって、０．５倍、１倍を除き、撮像周波数が光源周波数に対して４倍であれば、検出可能な差分画像を生成することができる。撮像周波数が光源周波数の４倍を超える場合ももちろん可能であるが、撮像装置２０に高い機能を要することになるため、コストとの兼ね合いで決定すればよい。

【0037】

なお、図５（ａ）のように、撮像周期と光源周期との関係から、撮像した画像間で輝度の差の程度が小さい場合、すなわち、第１輝度と前記第２輝度との差が所定の閾値を下回る場合、光源周波数ｆ１及び撮影周波数ｆ２の少なくともいずれかを変更してよい。例えば、図５（ａ）の状態から、撮像周波数ｆ２を大きくすることにより、図５（ｂ）の状態に遷移させることができる。なお、インバータ装置等により、光源１０の光源周波数ｆ１を変化させてもよい。

【0038】

なお、上述では、光源周波数ｆ１及び撮影周波数ｆ２のいずれかを変更する態様について説明したが、第１輝度と第２輝度との差が所定の閾値を下回る場合、撮像装置２０が検出対象を撮像するタイミングを変更してもよい。例えば、図５（ａ）の状態から、撮像装置２０の撮像をいったん停止し、撮像タイミングをずらした上で撮像を開始してもよい。

【0039】

これらの方法により、差分画像の輝度を上げて、検出精度を高めることができる。

【0040】

なお、上述した本発明の一態様に係る画像処理装置２００と、ピッキング装置３０とを備えるピッキングシステム１００は、従来用いられている光源１０のフリッカーを利用し、フリッカーの周波数に応じて、撮像装置２０の撮像周波数を設定してよい。したがって、特別な照明装置や高機能の撮像装置を必要とせず、低コストで汎用性の高いピッキングシステムを実現することが可能となる。また、撮像装置２０の撮像周波数に対して、光源１０の光源周波数を調節してもよい。この場合、ピッキングシステム１００の構築のために、新たに撮像装置２０を用意する必要がなく、コストを抑えることができる。

【0041】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【符号の説明】

【0042】

１０ 光源
２０ 撮像画像
３０ ピックアップ装置
３１ ピックアップアーム
４０ 載置部
５０ ワーク（検出対象）
６０ 太陽
７０ 外乱光
１００ ピッキングシステム
２００ 画像処理装置
２１０ 画像取得部
２２０ 画像処理部
２２１ 生成部
２３０ 検出結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】