特開 2022-176486 検出システム及び検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022176486

(43)【公開日】2022-11-30

(54)【発明の名称】検出システム及び検出方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221122BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021082951

(22)【出願日】2021-05-17

(71)【出願人】

【識別番号】000006666

【氏名又は名称】アズビル株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】田邉 志功

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096CA17

5L096FA67

5L096FA69

(57)【要約】

【課題】検出対象である物体と背景との輝度差が小さい場合でも光学系の調整作業を不要とする。
【解決手段】撮影領域を撮影することで画像を得る撮影装置１ａと、撮影領域に対して光を照射する光源２ａと、撮影装置１ａの位置及び姿勢を可変なロボットアーム３ａと、ロボットアーム３ａを制御することで、撮影装置１ａの撮影方向を撮影領域に向けながら当該撮影装置１ａの位置を多段階的に遷移させる制御装置４ａと、撮影装置１ａにより得られた画像並びに当該撮影装置１ａの位置及び姿勢に基づいて、検出対象である物体５１の位置を検出する検出装置５ａとを備えた。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影領域を撮影することで画像を得る撮影装置と、
前記撮影領域に対して光を照射する光源と、
前記撮影装置の位置及び姿勢を可変なロボットアームと、
前記ロボットアームを制御することで、前記撮影装置の撮影方向を前記撮影領域に向けながら当該撮影装置の位置を多段階的に遷移させる制御装置と、
前記撮影装置により得られた画像並びに当該撮影装置の位置及び姿勢に基づいて、検出対象である物体の位置を検出する検出装置と
を備えた検出システム。

【請求項2】

撮影領域を撮影することで画像を得る撮影装置と、
前記撮影領域に対して光を照射する光源と、
前記光源の位置及び姿勢を可変なロボットアームと、
前記ロボットアームを制御することで、前記光源の照射方向を前記撮影領域に向けながら当該光源の位置を多段階的に遷移させる制御装置と、
前記撮影装置により得られた画像並びに当該撮影装置の位置及び姿勢に基づいて、検出対象である物体の位置を検出する検出装置と
を備えた検出システム。

【請求項3】

前記検出装置は、前記撮影装置により得られた画像のうち、検出対象である物体と背景領域との輝度差が大きい画像を用いて、物体の位置を検出する
ことを特徴とする請求項１又は請求項２記載の検出システム。

【請求項4】

撮影領域を撮影することで画像を得る撮影装置と、前記撮影領域に対して光を照射する光源と、前記撮影装置の位置及び姿勢を可変なロボットアームとを備えた検出システムによる検出方法であって、
制御装置が、前記ロボットアームを制御することで、前記撮影装置の撮影方向を前記撮影領域に向けながら当該撮影装置の位置を多段階的に遷移させるステップと、
検出装置が、前記撮影装置により得られた画像並びに当該撮影装置の位置及び姿勢に基づいて、検出対象である物体の位置を検出するステップとを有する
ことを特徴とする検出方法。

【請求項5】

撮影領域を撮影することで画像を得る撮影装置と、前記撮影領域に対して光を照射する光源と、前記光源の位置及び姿勢を可変なロボットアームとを備えた検出システムによる検出方法であって、
制御装置が、前記ロボットアームを制御することで、前記光源の照射方向を前記撮影領域に向けながら当該光源の位置を多段階的に遷移させるステップと、
検出装置が、前記撮影装置により得られた画像並びに当該撮影装置の位置及び姿勢に基づいて、検出対象である物体の位置を検出するステップとを有する
ことを特徴とする検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、物体の位置を検出する検出システム及び検出方法に関する。

【背景技術】

【0002】

従来の物体の位置検出方法では、検出対象である物体に対して光源により光が照射された状態で、撮影装置により当該物体が撮影されることで得られた画像を処理することで、物体の位置検出が実施されている（例えば特許文献１参照）。なお、撮影装置の位置及び姿勢並びに光源の位置及び姿勢は固定されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９９６１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の物体の位置検出方法では、物体と背景との輝度差が小さい場合、物体の位置を精度よく検出できない。この場合、ユーザによる光学系の調整作業が必要となり、煩雑である。

【0005】

この発明は、上記のような課題を解決するためになされたもので、検出対象である物体と背景との輝度差が小さい場合でもユーザによる光学系の調整作業が不要な検出システムを提供することを目的としている。

【課題を解決するための手段】

【0006】

この発明に係る検出システムは、撮影領域を撮影することで画像を得る撮影装置と、撮影領域に対して光を照射する光源と、撮影装置の位置及び姿勢を可変なロボットアームと、ロボットアームを制御することで、撮影装置の撮影方向を撮影領域に向けながら当該撮影装置の位置を多段階的に遷移させる制御装置と、撮影装置により得られた画像並びに当該撮影装置の位置及び姿勢に基づいて、検出対象である物体の位置を検出する検出装置とを備えたことを特徴とする。

【発明の効果】

【0007】

この発明によれば、上記のように構成したので、検出対象である物体と背景との輝度差が小さい場合でもユーザによる光学系の調整作業が不要となる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る検出システムの構成例を示す図である。

【図2】実施の形態１に係る検出システムの動作例を示すフローチャートである。

【図3】実施の形態２に係る検出システムの構成例を示す図である。

【図4】実施の形態２に係る検出システムの動作例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る検出システムの構成例を示す図である。
検出システムは、検出対象である物体５１の位置を検出する。この検出システムは、図１に示すように、撮影装置１ａ、光源２ａ、ロボットアーム３ａ、制御装置４ａ及び検出装置５ａを備えている。なお図１では、検出対象である物体５１が、台５２の上に置かれた場合を示している。

【0010】

撮影装置１ａは、撮影領域を撮影することで画像を得る。上記撮影領域は、検出対象である物体５１が配置される領域を含む。撮影装置１ａにより得られた画像を示すデータは、検出装置５ａに送信される。

【0011】

光源２ａは、撮影領域に対して光を照射する。なお、実施の形態１における光源２ａは、位置及び姿勢が固定されている。

【0012】

ロボットアーム３ａは、先端（ハンド部）の位置及び姿勢を可変に構成されている。実施の形態１におけるロボットアーム３ａでは、先端に、撮影装置１ａが取付けられている。すなわち、実施の形態１におけるロボットアーム３ａは、撮影装置１ａの位置及び姿勢を可変である。

【0013】

制御装置４ａは、ロボットアーム３ａを制御する。この際、実施の形態１における制御装置４ａは、ロボットアーム３ａを制御することで、撮影装置１ａの撮影方向を撮影領域に向けながら当該撮影装置１ａの位置を多段階的に遷移させる。図１の符号１０１で示す矢印は、ロボットアーム３ａによる撮影装置１ａの軌跡を示している。

【0014】

検出装置５ａは、撮影装置１ａにより得られた画像並びに撮影装置１ａの位置及び姿勢に基づいて、検出対象である物体５１の位置を検出する。この際、検出装置５ａは、撮影装置１ａにより得られた画像のうち、検出対象である物体５１と背景領域（図１では台５２を含む背景に該当する領域）との輝度差が大きい画像を用いて、物体５１の位置を検出する。なお、各画像に対応する撮影装置１ａの位置及び姿勢を示す情報は、例えば、事前にユーザ設定を受付けることで取得してもよいし、制御装置４ａから現在のロボットアーム３ａの先端の位置及び姿勢を示す情報を随時受付けることで取得してもよい。また、検出装置５ａによる画像を用いた物体５１の位置検出の原理自体は、従来の原理と同様であり、その説明を省略する。

【0015】

なお、制御装置４ａ及び検出装置５ａは、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。

【0016】

次に、図１に示す実施の形態１に係る検出システムの動作例について、図２を参照しながら説明する。
ここで、撮影装置１ａにより得られた画像を用いて物体５１の位置を検出する場合、検出対象である物体５１の形状又は表面の状態等により、最適な光学系の条件（撮影装置１ａの位置及び姿勢並びに光源２ａの位置及び姿勢）が異なる。そのため、従来の位置検出方法では、ユーザが、最適な光学系の条件に合わせて光学系の調整作業を行う必要がある。そこで、実施の形態１に係る検出システムでは、ロボットアーム３ａの先端に撮影装置１ａを取付けて撮影装置１ａの位置及び姿勢を自動で変えながら撮影を行うことで、検出対象である物体５１の形状又は表面の状態等に応じて最適な光学系の条件に合うような画像を得る。

【0017】

図１に示す実施の形態１に係る検出システムの動作例では、図２に示すように、まず、光源２ａは、撮影領域に対する光の照射を開始する（ステップＳＴ２０１）。
また、撮影装置１ａは、撮影領域の撮影を開始し、画像の取得を開始する（ステップＳＴ２０２）。撮影装置１ａにより得られた画像を示すデータは、検出装置５ａに送信される。

【0018】

次いで、制御装置４ａは、ロボットアーム３ａを制御することで、撮影装置１ａの撮影方向を撮影領域に向けながら当該撮影装置１ａの位置を多段階的に遷移させる（ステップＳＴ２０３）。これにより、撮影装置１ａでは、制御装置４ａにより遷移された各位置及び姿勢での画像が得られる。

【0019】

なお、制御装置４ａにより遷移される撮影装置１ａの初回の位置及び姿勢、並びに、制御装置４ａにより遷移される撮影装置１ａの２回目以降の位置の調整間隔は、事前に実験等が行われることで設定されてもよいし、機械学習により常に最適な条件に更新されてもよい。

【0020】

次いで、検出装置５ａは、撮影装置１ａにより得られた画像並びに撮影装置１ａの位置及び姿勢に基づいて、撮影装置１ａにより得られた画像のうち、検出対象である物体５１と背景領域との輝度差が大きい画像を用いて、検出対象である物体５１の位置を検出する（ステップＳＴ２０４）。この際、検出装置５ａは、撮影装置１ａにより得られた画像に対して、例えばエッジ検出処理又はブロブ検出処理を行うことで、検出対象である物体５１と背景領域との輝度差が大きい画像を選択する。

【0021】

ここで、検出対象である物体５１が半田又はバリ等のような高さを有する物体であり、検出システムが物体５１に対して水平方向における位置を検出する場合を考える。また、光源２ａは、物体５１の側方から光を照射可能な位置及び姿勢に固定されているとする。
この場合、例えば図１に示すように、まず、制御装置４ａは、ロボットアーム３ａを制御することで、撮影装置１ａを物体５１に対して上方から撮影可能な位置及び姿勢とし、撮影装置１ａはこの位置及び姿勢での画像を得る。その後、制御装置４ａは、ロボットアーム３ａを制御することで、撮影装置１ａの撮影方向を物体５１に向けた状態のまま撮影装置１ａの位置を物体５１を中心として円弧上に移動させつつ、撮影装置１ａは各位置及び姿勢での画像を得る。そして、検出装置５ａは、撮影装置１ａにより得られた画像のうち、物体５１のエッジ部分の反射光が強く且つ背景領域については反射光の小さい、誤判定を抑制可能な画像を用いて、画像処理を行うことで、物体５１の位置を検出する。

【0022】

なお上記では、制御装置４ａが、ロボットアーム３ａを制御することで、撮影装置１ａを、検出対象である物体５１を中心として円弧上に移動させる場合を示した。このように、制御装置４ａが、撮影装置１ａを物体５１に対する距離が変わらないように移動させることで、物体５１の位置検出における誤差要因を低減可能となると考えられる。しかしながら、これに限らず、例えば、制御装置４ａが、ロボットアーム３ａを制御することで、撮影装置１ａを水平方向に移動させてもよい。

【0023】

以上のように、この実施の形態１によれば、検出システムは、撮影領域を撮影することで画像を得る撮影装置１ａと、撮影領域に対して光を照射する光源２ａと、撮影装置１ａの位置及び姿勢を可変なロボットアーム３ａと、ロボットアーム３ａを制御することで、撮影装置１ａの撮影方向を撮影領域に向けながら当該撮影装置１ａの位置を多段階的に遷移させる制御装置４ａと、撮影装置１ａにより得られた画像並びに当該撮影装置１ａの位置及び姿勢に基づいて、検出対象である物体５１の位置を検出する検出装置５ａとを備えた。これにより、実施の形態１に係る検出システムは、検出対象である物体５１と背景との輝度差が小さい場合でもユーザによる光学系の調整作業が不要となる。よって、この検出システムでは、光学系の調整作業といった作業工数という観点での煩わしさを低減可能となる。

【0024】

実施の形態２．
実施の形態１に係る検出システムでは、ロボットアーム３ａが撮影装置１ａの位置及び姿勢を可変である場合を示した。これに対し、実施の形態２に係る検出システムでは、ロボットアーム３ｂが光源２ｂの位置及び姿勢を可変である場合を示す。

【0025】

図３は実施の形態２に係る検出システムの構成例を示す図である。
検出システムは、検出対象である物体５１の位置を検出する。この検出システムは、図３に示すように、撮影装置１ｂ、光源２ｂ、ロボットアーム３ｂ、制御装置４ｂ及び検出装置５ｂを備えている。なお図３では、検出対象である物体５１が、台５２の上に置かれた場合を示している。

【0026】

撮影装置１ｂは、撮影領域を撮影することで画像を得る。上記撮影領域は、検出対象である物体５１が配置される領域を含む。撮影装置１ｂにより得られた画像を示すデータは、検出装置５ｂに送信される。なお、実施の形態２における撮影装置１ｂは、位置及び姿勢が固定されている。

【0027】

光源２ｂは、撮影領域に対して光を照射する。

【0028】

ロボットアーム３ｂは、先端（ハンド部）の位置及び姿勢を可変に構成されている。実施の形態２におけるロボットアーム３ｂでは、先端に、光源２ｂが取付けられている。すなわち、実施の形態２におけるロボットアーム３ｂは、光源２ｂの位置及び姿勢を可変である。

【0029】

制御装置４ｂは、ロボットアーム３ｂを制御する。この際、実施の形態２における制御装置４ｂは、ロボットアーム３ｂを制御することで、光源２ｂの照射方向を撮影領域に向けながら当該光源２ｂの位置を多段階的に遷移させる。図３の符号３０１で示す矢印は、ロボットアーム３ｂによる光源２ｂの軌跡を示している。

【0030】

検出装置５ｂは、撮影装置１ｂにより得られた画像並びに撮影装置１ｂの位置及び姿勢に基づいて、検出対象である物体５１の位置を検出する。この際、検出装置５ｂは、撮影装置１ｂにより得られた画像のうち、検出対象である物体５１と背景領域（図３では台５２を含む背景に該当する領域）との輝度差が大きい画像を用いて、物体５１の位置を検出する。なお、各画像に対応する撮影装置１ａの位置及び姿勢を示す情報は、事前に把握可能である。また、検出装置５ｂによる画像を用いた物体５１の位置検出の原理自体は、従来の原理と同様であり、その説明を省略する。

【0031】

なお、制御装置４ｂ及び検出装置５ｂは、システムＬＳＩ等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ等により実現される。

【0032】

次に、図３に示す実施の形態２に係る検出システムの動作例について、図４を参照しながら説明する。
ここで、撮影装置１ｂにより得られた画像を用いて物体５１の位置を検出する場合、検出対象である物体５１の形状又は表面の状態等により、最適な光学系の条件（撮影装置１ｂの位置及び姿勢並びに光源２ｂの位置及び姿勢）が異なる。そのため、従来の位置検出方法では、ユーザが、最適な光学系の条件に合わせて光学系の調整作業を行う必要がある。そこで、実施の形態２に係る検出システムでは、ロボットアーム３ｂの先端に光源２ｂを取付けて光源２ｂの位置及び姿勢を自動で変えながら撮影装置１ｂで撮影を行うことで、検出対象である物体５１の形状又は表面の状態等に応じて最適な光学系の条件に合うような画像を得る。

【0033】

図３に示す実施の形態２に係る検出システムの動作例では、図４に示すように、まず、光源２ｂは、撮影領域に対する光の照射を開始する（ステップＳＴ４０１）。
また、撮影装置１ｂは、撮影領域の撮影を開始し、画像の取得を開始する（ステップＳＴ４０２）。撮影装置１ｂにより得られた画像を示すデータは、検出装置５ｂに送信される。

【0034】

次いで、制御装置４ｂは、ロボットアーム３ｂを制御することで、光源２ｂの照射方向を撮影領域に向けながら当該光源２ｂの位置を多段階的に遷移させる（ステップＳＴ４０３）。これにより、撮影装置１ｂでは、制御装置４ｂにより遷移された光源２ｂからの各光の照射方向での画像が得られる。

【0035】

なお、制御装置４ｂにより遷移される光源２ｂの初回の位置及び姿勢、並びに、制御装置４ｂにより遷移される光源２ｂの２回目以降の位置の調整間隔は、事前に実験等が行われることで設定されてもよいし、機械学習により常に最適な条件に更新されてもよい。

【0036】

次いで、検出装置５ｂは、撮影装置１ｂにより得られた画像並びに撮影装置１ｂの位置及び姿勢に基づいて、撮影装置１ｂにより得られた画像のうち、検出対象である物体５１と背景領域との輝度差が大きい画像を用いて、検出対象である物体５１の位置を検出する（ステップＳＴ４０４）。この際、検出装置５ｂは、撮影装置１ｂにより得られた画像に対して、例えばエッジ検出処理又はブロブ検出処理を行うことで、検出対象である物体５１と背景領域との輝度差が大きい画像を選択する。

【0037】

ここで、検出対象である物体５１が半田又はバリ等のような高さを有する物体であり、検出システムが物体５１に対して水平方向における位置を検出する場合を考える。また、撮影装置１ｂは、物体５１の上方から撮影可能な位置及び姿勢に固定されているとする。
この場合、例えば図３に示すように、まず、制御装置４ｂは、ロボットアーム３ｂを制御することで、光源２ｂを物体５１に対して側方から光を照射可能な位置及び姿勢とし、撮影装置１ｂはこの光の照射方向での画像を得る。その後、制御装置４ｂは、ロボットアーム３ｂを制御することで、光源２ｂの照射方向を物体５１に向けた状態のまま光源２ｂの位置を物体５１を中心として円弧上に移動させつつ、撮影装置１ｂは各光の照射方向での画像を得る。そして、検出装置５ｂは、撮影装置１ｂにより得られた画像のうち、物体５１のエッジ部分の反射光が強く且つ背景領域については反射光の小さい、誤判定を抑制可能な画像を用いて、画像処理を行うことで、物体５１の位置を検出する。

【0038】

なお上記では、制御装置４ｂが、ロボットアーム３ｂを制御することで、光源２ｂを、検出対象である物体５１を中心として円弧上に移動させる場合を示した。このように、制御装置４ｂが、光源２ｂを物体５１に対する距離が変わらないように移動させることで、光量の変化を低減可能となると考えられる。しかしながら、これに限らず、例えば、制御装置４ｂが、ロボットアーム３ｂを制御することで、光源２ｂを垂直方向に移動させてもよい。

【0039】

以上のように、この実施の形態２によれば、検出システムは、撮影領域を撮影することで画像を得る撮影装置１ｂと、撮影領域に対して光を照射する光源２ｂと、光源２ｂの位置及び姿勢を可変なロボットアーム３ｂと、ロボットアーム３ｂを制御することで、光源２ｂの照射方向を撮影領域に向けながら当該光源２ｂの位置を多段階的に遷移させる制御装置４ｂと、撮影装置１ｂにより得られた画像並びに当該撮影装置１ｂの位置及び姿勢に基づいて、検出対象である物体５１の位置を検出する検出装置５ｂとを備えた。これにより、実施の形態２に係る検出システムは、検出対象である物体５１と背景との輝度差が小さい場合でもユーザによる光学系の調整作業が不要となる。よって、この検出システムでは、光学系の調整作業といった作業工数という観点での煩わしさを低減可能となる。

【0040】

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。

【符号の説明】

【0041】

１ａ，１ｂ 撮影装置
２ａ，２ｂ 光源
３ａ，３ｂ ロボットアーム
４ａ，４ｂ 制御装置
５ａ，５ｂ 検出装置
５１ 物体
５２ 台

【図1】

【図2】

【図3】

【図4】