(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-14
(45)【発行日】2022-10-24
(54)【発明の名称】線状物の３次元計測方法および装置
(51)【国際特許分類】
G01B 11/00 20060101AFI20221017BHJP
G06T 7/593 20170101ALI20221017BHJP
G06T 7/90 20170101ALI20221017BHJP
【ＦＩ】
G01B11/00 H
G06T7/593
G06T7/90 A
【請求項の数】
8
(21)【出願番号】P 2019530556
(86)(22)【出願日】2018-07-18
(86)【国際出願番号】 JP2018026797
(87)【国際公開番号】W WO2019017360
(87)【国際公開日】2019-01-24
【審査請求日】2021-06-02
(31)【優先権主張番号】P 2017141350
(32)【優先日】2017-07-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001096
【氏名又は名称】倉敷紡績株式会社
(74)【代理人】
【識別番号】100167988
【弁理士】
【氏名又は名称】河原 哲郎
(72)【発明者】
【氏名】黒澤 昭夫
(72)【発明者】
【氏名】坂本 淳一
【審査官】國田 正久
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０３７１３９１（ＵＳ，Ａ１）
【文献】特開２０１２－０１３５１４（ＪＰ，Ａ）
【文献】特開２００９－１８７４１２（ＪＰ，Ａ）
【文献】特開２００１－１７４２２７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００
Ｇ０６Ｔ ７／５９３
Ｇ０６Ｔ ７／９０
(57)【特許請求の範囲】
【請求項1】
線状物の３次元計測方法であって、
実際の計測環境において実際に前記線状物を撮像した画像の色に基づいて、前記線状物の種類毎に色との対応を記録した色テーブルを作成する工程と、
前記線状物のカラー画像であって、異なる視点から撮像された第１画像および第２画像を取得する工程と、
前記第１画像上で、前記色テーブルを参照して、特定の色の前記線状物を第１線像として抽出する第１抽出工程と、
前記第２画像上で、前記色テーブルを参照して、前記特定の色の前記線状物を第２線像として抽出する第２抽出工程と、
前記第１線像上で着目点を選択する工程と、
前記着目点に対応するエピポーラ線を前記第２画像上に求める工程と、
前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする工程と、
を有する線状物の３次元計測方法。
【請求項2】
前記色テーブルは、前記線状物の１種類に対して複数の色を記録する、
請求項１に記載の線状物の３次元計測方法。
【請求項3】
前記色テーブルは、前記線状物と同色であると判断する色の範囲を記録する、
請求項１に記載の線状物の３次元計測方法。
【請求項4】
前記色テーブルは、前記線状物に対応する色をＣＩＥＬＡＢ表色系を用いて記録する、
請求項１～３のいずれか一項に記載の線状物の３次元計測方法。
【請求項5】
前記第１抽出工程が前記第１線像の細線化操作を含み、前記第２抽出工程が前記第２線像の細線化操作を含む、
請求項１～４のいずれか一項に記載の線状物の３次元計測方法。
【請求項6】
前記線状物が互いに異なる色の線状物である、請求項１～５のいずれか一項に記載の線状物の３次元計測方法。
【請求項7】
前記線状物が互いに異なる色の被覆を有するケーブルである、請求項６に記載の線状物の３次元計測方法。
【請求項8】
ステレオカメラと記憶部と演算部とを有する線状物の３次元計測装置であって、前記ステレオカメラは、いずれもがカラーカメラである第１カメラおよび第２カメラを有し、
前記記憶部は、実際の計測環境において実際に前記線状物を撮像した画像の色に基づいて作成され、前記線状物の種類毎に色との対応を記録した色テーブルを記憶し、
前記演算部は、
前記第１カメラが撮像する第１画像上で、前記色テーブルを参照して、特定の色の線状物を第１線像として抽出し、
前記第２カメラが撮像する第２画像上で、前記色テーブルを参照して、前記特定の色の前記線状物を第２線像として抽出し、
前記第１線像上に着目点を選択し、
前記着目点に対応するエピポーラ線を前記第２画像上で求め、
前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする、
線状物の３次元計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ワイヤーやケーブル等の線状物に対して、ステレオ方式で形状を計測する３次元計測方法および装置に関する。
【背景技術】
【0002】
２台のカメラの視差を利用して３次元位置を計測する方法としてステレオ方式の３次元計測方法が従来より利用されている。これは、視点の異なる２つの画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の３次元位置を算出する方法である。このステレオ方式では、各画像上の対応点を見つけるマッチング処理が最も情報処理の負荷が重く、コストがかかるプロセスである。そのため、マッチング処理の改良を目的として、種々の方法が提案されている。
【0003】
ステレオ方式による線状物の３次元計測に関して、特許文献１には、半導体パッケージの外部リードの形状計測方法として、一方の画像における外部リード像上に計測サンプリング点を取り、他方の画像におけるエピポーラ・ライン（エピポーラ線）と外部リード像の交点を計測サンプリング点の対応点とすることが記載されている。なお、エピポーラ線とは一方の画像の視点と計測点を結ぶ直線を他方の画像上に投影した直線をいい、その計測点は必ず他方の画像上のエピポーラ線上に投影されている。また、特許文献２には、多数の線状物を２台のカメラで撮像し、２つの画像中の輝線の傾きと輝線間の距離を特徴として照合することにより、対応点を決定することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平５－０２６６４０
【文献】特開平２－３０９２０２
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載された方法では、同様の線状物が画面内に複数存在した場合、エピポーラ線との交点が複数検出され、対応点を一意に決定できないという問題があった。特許文献２に記載された方法では、複数の輝線に対して特徴の不一致度を計算する必要があり高速な処理には向かないことや、特徴が同程度の直線同士を誤認識する可能性があるという問題があった。
【0006】
本発明は上記を考慮してなされたものであり、線状物に対して、高速なマッチング処理を実現できる３次元計測方法および装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の線状物の３次元計測方法は、ステレオ方式による線状物の３次元計測方法において、線状物のカラー画像であって、互いに異なる視点から撮像された第１画像および第２画像を取得する工程と、前記第１画像上で特定の色の前記線状物を第１線像として抽出する第１抽出工程と、前記第２画像上で前記特定の色の前記線状物を第２線像として抽出する第２抽出工程と、前記第１線像上に着目点を選択する工程と、前記着目点に対応するエピポーラ線を前記第２画像上で求める工程と、前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする工程とを有する。そして、第１画像上の着目点の座標と、第２画像上の対応点の座標を基に、着目点（対応点）の３次元座標を算出することができる。
【0008】
この方法により、多数の線状物が混在する場合でも、計測しようとする線状物をまず色で抽出することで、高速なマッチング処理が可能となる。
【0009】
好ましくは、上記線状物の３次元計測方法は、前記線状物の種類毎に色との対応を記録した色テーブルを予め作成する工程をさらに有し、前記特定の色は抽出しようとする前記線状物の種類に応じて前記色テーブルを参照して決定される。これにより、計測する線状物の指定が容易になるし、抽出する色を変えながら複数の線状物を順次指定することが容易になる。
【0010】
さらに好ましくは、前記色テーブルは、実際の計測環境において、実際に前記線状物を撮像した画像の色に基づいて作成される。第１および第２画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。実際の計測条件下で線状物の画像が取り得る範囲の色を色テーブルに記録しておくことで、線状物を抽出する際の誤認識を減らすことができる。
【0011】
好ましくは、前記第１抽出工程が前記第１線像の細線化操作を含み、前記第２抽出工程が前記第２線像の細線化操作を含む。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
【0012】
好ましくは、前記線状物が互いに異なる色の線状物である。さらに好ましくは、前記線状物が互いに異なる色の被膜を有するケーブルである。本発明の３次元計測方法は、このような色分けされた線状物が多数混在する中から、特定の線状物に着目して３次元計測を行うのに適している。例えば、ワイヤーハーネスの各ケーブルをロボットハンドで順次ピッキングする場合のロボットビジョンとして好適である。また、電線等の柔軟な線状物は振動などによって形や位置が変化しやすいので、ロボット等でハンドリングするにはその変形を追跡し続ける必要があり、特に高速な処理が要求されるからである。
【0013】
本発明の線状物の３次元計測装置は、ステレオカメラと演算部とを有する線状物の３次元計測装置である。そして、前記ステレオカメラは、いずれもがカラーカメラである第１カメラおよび第２カメラを有する。そして、前記演算部は、前記第１カメラが撮像する第１画像上で特定の色の線状物を第１線像として抽出し、前記第２カメラが撮像する第２画像上で前記特定の色の前記線状物を第２線像として抽出し、前記第１線像上に着目点を選択し、前記着目点に対応するエピポーラ線を前記第２画像上で求め、前記第２画像上で前記第２線像と前記エピポーラ線との交点を求めて、前記着目点の対応点とする。
【発明の効果】
【0014】
本発明の線状物の３次元計測方法または装置によれば、多数の線状物が混在する場合でも、計測しようとする線状物をまず色で抽出する。これによりマッチング処理の負荷が軽減され、高速なマッチング処理が可能となる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態である３次元計測装置の機能ブロック図である。
【図2】本発明の一実施形態である３次元計測方法を説明するための図である。
【図3】本発明の一実施形態である３次元計測方法の工程フロー図である。
【図4】ステレオカメラで撮像された（ａ）第１画像、（ｂ）第２画像である。
【図5】本発明の一実施形態である３次元計測方法の第１抽出工程の操作フロー図である。
【図6】（ａ）第１線像が抽出された第１画像、（ｂ）第２線像が抽出された第２画像である。
【図7】（ａ）着目点が選択された第１画像、（ｂ）エピポーラ線と第２線像との交点が求められた第２画像である。
【図8】色テーブルの一例である。
【発明を実施するための形態】
【0016】
本発明の線状物の３次元計測方法および装置の一実施形態を図に基づいて説明する。なお、以下において、線状物の３次元計測方法を単に「計測方法」と、線状物の３次元計測装置を単に「計測装置」ということがある。
【0017】
図１を参照して、本実施形態の計測装置１０は、ステレオカメラ１１、演算部１５、記憶部１６、入出力部１７を備える。
【0018】
ステレオカメラ１１は、第１カメラ１２、第２カメラ１３、カメラ制御部１４からなる。第１カメラ１２は、カラーの２次元画像である第１画像を撮像するカラーカメラである。第２カメラ１３は、カラーの２次元画像である第２画像を撮像するカラーカメラであって、第１カメラに対する相対位置が固定されている。カメラ制御部１４は、第１カメラおよび第２カメラを制御し、演算部１５との通信を行う。カメラ制御部は、例えば、演算部から撮像指示を受信して第１カメラおよび第２カメラに撮像指示を送信し、第１画像および第２画像を演算部に転送する。
【0019】
演算部１５は、カメラ制御部１４との通信の他、ステレオカメラ１１から受信した第１画像および第２画像を処理して線状物の３次元位置を算出する。記憶部１６は、ステレオカメラが撮像した第１画像および第２画像、対象物の色テーブルを記憶する他、演算に必要な中間データや演算結果等を記憶する。入出力部１７は、作業者からの指令を受け付けたり、作業者に対して計測結果を表示したりする。
【0020】
図２を参照して、本実施形態の計測方法では、電線２１～２３を第１カメラ１２および第２カメラ１３で撮像する。そして、電線２１上のある点Ｐに対して、第１カメラによる第１画像３０への投影点Ｑと、第２カメラによる第２画像４０への投影点Ｒが得られれば、既知である第１カメラおよび第２カメラの位置情報を利用して、点Ｐの３次元位置を算出することができる。第１カメラおよび第２カメラの位置情報は、予め２つのカメラをキャリブレーションしておくことで取得できる。
【0021】
図２は白黒で描かれているが、計測対象である３本の電線２１～２３は色分けされており、互いに異なる色、例えば赤、青、黄などの被覆を有する。計測対象となる線状物は、線状の物体であれば特に限定されないが、好ましくは互いに異なる色の線状物であり、さらに好ましくは色分けされた電線や光ファイバー線のケーブルであり、特に好ましくはワイヤーハーネスのケーブルである。
【0022】
図３に本実施形態の計測方法のフロー図を示す。以下、各工程について説明する。
【0023】
まず、計測に先立って、色テーブルを作成する。色テーブルは、計測対象となり得る線状物の種類毎にその色を記録したテーブルである。図８に、電線の種類毎に、その色を赤緑青（ＲＧＢ）の３原色の輝度で表した色テーブルを一例として示す。色テーブルは記憶部１６に記憶される。
【0024】
計測時には、ステレオカメラ１１で電線２１～２３を撮像する。電線２１～２３は第１カメラ１２によって第１画像３０に撮像される。それと同時に、電線２１～２３は第２カメラ１３によって、第１カメラとは異なる視点から、第２画像４０に撮像される。第１画像および第２画像は演算部１５に転送され、記憶部１６に記憶される。
【0025】
演算部は、ステレオカメラ１１から第１画像３０および第２画像４０を取得する。このとき、図４（ａ）を参照して、第１画像３０には３本の電線２１～２３の像３１～３３が写っている。同様に、図４（ｂ）を参照して、第２画像４０には３本の電線２１～２３の像４１～４３が写っている。
【0026】
次に演算部は、第１画像３０上で、特定の電線２１を第１線像として抽出する。図５を参照して、この第１線像を抽出する工程（第１抽出工程）は、色による抽出操作、二値化操作、ノイズ除去操作、細線化操作を含む。
【0027】
色による抽出操作では、演算部は計測しようとする電線２１の色を色テーブルから取得して、第１画像３０上でその特定の色の線状物２１の像３１だけを第１線像３４として抽出する。具体的には、第１画像の各画素の色をその特定の色と比較して、両者が同じと判断される場合にはその画素を残し、両者が異なると判断される場合にはその画素を消去する。色が同じであるか異なるかの判断は、両者の差が所定の値以下であるか否かによって行うことができる。例えば、電線２１に対応するＲＧＢ値を色テーブルから取得して、第１画像の各画素のＲＧＢ値をそれと比較し、ＲＧＢの各値の差が所定の値以下であれば、その画素は電線２１と同じ色であると判断する。所定の値は、ＲＧＢの階調数や、異なる種類の電線間での色の違いの程度等を考慮して定めることができる。
【0028】
次に、第１画像３０を二値化する。これは適当な閾値を用いて、各画素の値を０か１に置き換える操作である。二値化操作によって以後の画像処理が容易になる。二値化操作は色による抽出操作と同時に行ってもよい。同じ色と判定した画素を１とし、異なる色と判定した画素を０とすることで２値化できる。
【0029】
次に、第１画像３０に対してノイズ除去操作を行う。上記色による抽出操作によって第１線像３４が抽出されたが、第１画像にはカメラのショットノイズなどによる孤立した画素が残っている。また、１つの画素に対するＲＧＢ用の撮像素子の位置が実際にはわずかにずれていることから、電線の像３１～３３の輪郭部など、色が急峻に変化する部分で画像の色が乱れ、やはり孤立した画素が残っている可能性がある。このような画素を除去することによって、より正確な第１線像３４が得られる。
【0030】
次に、第１線像３４を細線化する。これは第１線像の連結性を保ちながら線幅を１に細める操作である。細線化操作の方法は、線幅の中心に位置する画素を選択するなど、公知の方法を用いることができる。これにより、以後の画像処理が容易になるし、対応点等をより正確に求めることができる。
【0031】
図６（ａ）に得られた第１線像３４を示す。第１線像が抽出された第１画像３０は記憶部１６に記憶される。
【0032】
【0033】
【0034】
図７（ｂ）を参照して、次に演算部は、第２画像４０上で、第１画像３０の着目点Ｑに対応するエピポーラ線４５を求める。そして、第２線像４４とエピポーラ線４５との交点Ｒを求め、これを着目点Ｑに対応する点とする。点Ｒは電線２１の点Ｐ（図２）の第２画像への投影点である。
【0035】
以上の工程により、図２に示した電線２１の点Ｐに対して、第１画像３０への投影点Ｑと、第２画像４０への投影点Ｒが得られたので、演算部は点Ｐの３次元位置を算出する。
【0036】
次に、第１線像３４上に新しい着目点を選択して、着目点選択以降の工程を繰り返す。次の着目点としては、前の着目点に連結された隣接点を選択することができる。このようにして着目点Ｑをずらしながら、すなわち点Ｐを電線２１上で移動させながら３次元位置を求めることによって、電線２１の３次元計測を行う。
【0037】
電線２１について必要な情報が得られた時点で、上記繰り返し処理を終了する。引き続き他の電線、例えば電線２２の３次元計測を行う場合は、電線２２の色を色テーブルから取得して、第１カメラおよび第２カメラが撮像した当初の第１画像および第２画像に対して、第１抽出工程から後の工程を繰り返す。
【0038】
ここで、色テーブルについて、さらに詳しく説明する。
【0039】
図８に例示した色テーブルは、線状物の種類毎に１つのＲＧＢ値が記載されたものであったが、線状物１種類に対して複数のＲＧＢ値を記載しておき、いずれかのＲＧＢ値と同色と判定されれば、当該線状物であると判断してもよい。また、色はＲＧＢ以外の表色系で記録されていてもよい。例えば、国際照明委員会（ＣＩＥ）が策定したＣＩＥＬＡＢ表色系に基づいてＬ＊、ａ＊、ｂ＊で表現されていてもよい。ステレオカメラからの出力がＲＧＢ値であっても、表色系間の換算は容易である。
【0040】
また、上記実施形態では、画素のＲＧＢ値と色テーブルのＲＧＢ値との差が所定の値以下であれば、その画素の色とテーブルの色が同じであると判断したが、同色であると判断する色の範囲を色テーブルに記録しておいてもよい。色の範囲を記録する場合、Ｌ＊ａ＊ｂ＊の値で表現されていた方が、光量変化にロバストな閾値範囲を設定しやすく、より好ましい。例えば、Ｌ＊値の閾値範囲を広く取っておき、ａ＊値、ｂ＊値の閾値範囲を狭くすることで、線状物の明るさが一定程度変化しても、他色のケーブルと混同せず同色であるとみなすことができる。
【0041】
また、色テーブルは、好ましくは、実際の計測環境において、実際に線状物を撮像したときの画像の色に基づいて作成される。具体的には、線状物を手やロボットハンドで持つなどして、第１または第２カメラの前で様々な位置・向きに動かしながら撮像し、画像からその線状物の色情報を取得する。第１および第２画像上の線状物の色は、計測環境における照明の種類や配置、線状物の光沢度や向きなど、種々の要因によって変化する。色テーブルに、実際の計測条件下で線状物の画像が撮り得る範囲の色を記録しておくことにより、線状物を抽出する際の誤認識を減らすことができる。
【0042】
本発明は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
【0043】
例えば、本発明の計測方法は、ケーブルの他、糸、色鉛筆・ボールペン替え芯等の筆記具、その他種々の線状物に適用可能である。
【0044】
また、例えば、上記実施形態における工程や操作は、それが可能である場合には、実行する順序を入れ替えたり、省略してもよい。
【0045】
また、例えば、本発明の計測方法は、ステレオ方式における公知のマッチング方法との併用を排除するものではない。多数の線状物の中に同色の線状物が複数ある場合には、計測対象物の形状その他の特徴に着目したマッチング方法を併用するメリットがある。
【符号の説明】
【0046】
１０ 線状物の３次元計測装置
１１ ステレオカメラ
１２ 第１カメラ
１３ 第２カメラ
１４ カメラ制御部
１５ 演算部
１６ 記憶部
１７ 入出力部
２１～２３ 電線（線状物）
３０ 第１画像
３１～３３ 第１画像上の電線２１～２３の像
３４ 第１線像
４０ 第２画像
４１～４３ 第２画像上の電線２１～２３の像
４４ 第２線像
４５ エピポーラ線
Ｐ 電線２１上の点
Ｑ 点Ｐの第１画像への投影（着目点）
Ｒ 点Ｐの第２画像への投影（対応点）
１１ ステレオカメラ
１２ 第１カメラ
１３ 第２カメラ
１４ カメラ制御部
１５ 演算部
１６ 記憶部
１７ 入出力部
２１～２３ 電線（線状物）
３０ 第１画像
３１～３３ 第１画像上の電線２１～２３の像
３４ 第１線像
４０ 第２画像
４１～４３ 第２画像上の電線２１～２３の像
４４ 第２線像
４５ エピポーラ線
Ｐ 電線２１上の点
Ｑ 点Ｐの第１画像への投影（着目点）
Ｒ 点Ｐの第２画像への投影（対応点）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】