(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075067
(43)【公開日】2024-06-03
(54)【発明の名称】画像データ取得方法
(51)【国際特許分類】
G06T 7/33 20170101AFI20240527BHJP
G01B 11/245 20060101ALI20240527BHJP
【FI】
G06T7/33
G01B11/245 H
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022186219
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】596120359
【氏名又は名称】ミツテック株式会社
(74)【代理人】
【識別番号】100159499
【弁理士】
【氏名又は名称】池田 義典
(74)【代理人】
【識別番号】100120329
【弁理士】
【氏名又は名称】天野 一規
(74)【代理人】
【識別番号】100159581
【弁理士】
【氏名又は名称】藤本 勝誠
(74)【代理人】
【識別番号】100106264
【弁理士】
【氏名又は名称】石田 耕治
(74)【代理人】
【識別番号】100199808
【弁理士】
【氏名又は名称】川端 昌代
(74)【代理人】
【識別番号】100139354
【弁理士】
【氏名又は名称】松浦 昌子
(72)【発明者】
【氏名】青井 昭博
(72)【発明者】
【氏名】銭尾 和之
(72)【発明者】
【氏名】田口 雄太
(72)【発明者】
【氏名】中田 雅偉
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA53
2F065CC14
2F065DD03
2F065FF61
2F065JJ03
2F065JJ05
2F065JJ26
2F065TT02
5L096AA09
5L096EA16
5L096FA03
5L096FA12
5L096FA66
5L096FA69
5L096HA01
5L096JA11
(57)【要約】
【課題】本発明は、カメラと測定対象物との位置関係が制約され難く、かつ精度良く画像データを取得できる画像データ取得方法の提供を目的とする。
【解決手段】本発明の一態様に係る画像データ取得方法は、載置面上に載置された測定対象物の3次元画像データを取得する画像データ取得方法であって、少なくとも3個以上の角錐を、その頂点が同一平面上に位置するように上記測定対象物の周囲に配置する角錐配置工程と、上記角錐配置工程後に、1又は複数のカメラにより上記測定対象物を異なる角度から撮影した複数の画像を取得する画像取得工程と、上記画像取得工程で取得した複数の画像を合成する画像合成工程とを備え、上記画像取得工程で取得した各画像に、同一直線上にない少なくとも3個の角錐が撮影されており、上記画像合成工程で複数の画像を合成する際に、上記画像に含まれる少なくとも3個の角錐の頂点を通る仮想平面を上記複数の画像間で一致させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
載置面上に載置された測定対象物の3次元画像データを取得する画像データ取得方法であって、
少なくとも3個以上の角錐を、その頂点が同一平面上に位置するように上記測定対象物の周囲に配置する角錐配置工程と、
上記角錐配置工程後に、1又は複数のカメラにより上記測定対象物を異なる角度から撮影した複数の画像を取得する画像取得工程と、
上記画像取得工程で取得した複数の画像を合成する画像合成工程と
を備え、
上記画像取得工程で取得した各画像に、同一直線上にない少なくとも3個の角錐が撮影されており、
上記画像合成工程で複数の画像を合成する際に、上記画像に含まれる少なくとも3個の角錐の頂点を通る仮想平面を上記複数の画像間で一致させる画像データ取得方法。
【請求項2】
隣合う画像に少なくとも1つの共通する角錐が含まれている請求項1に記載の画像データ取得方法。
【請求項3】
上記角錐の側面の数が、5以上8以下である請求項1又は請求項2に記載の画像データ取得方法。
【請求項4】
上記角錐の頂点が、上記測定対象物の最高点と上記載置面との間の高さに位置している請求項1又は請求項2に記載の画像データ取得方法。
【請求項5】
上記角錐配置工程で、上記角錐が、上記載置面に対して上に凸となるように配置される請求項1又は請求項2に記載の画像データ取得方法。
【請求項6】
上記角錐配置工程で配置される上記角錐の数が、4以上である請求項1又は請求項2に記載の画像データ取得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データ取得方法に関する。
【背景技術】
【0002】
製品の設計あるいは検査において、対象物の3次元画像データを取得することが必要となる場合があり、例えば載置面上に測定対象物を載置し、カメラで撮影して画像データを取得する方法が用いられる。一方向から1枚の画像を撮影したのみでは、例えば測定対象物の裏面側など死角が生じる。このため、異なる角度から撮影した複数の画像データを合成して3次元画像データを取得する。
【0003】
複数の画像を合成する際には、画像データを重ね合わせていくことになるが、隣接する画像同士の位置合わせが必要となる。この位置合わせは、例えば測定対象物が有する模様や特定の傷などに基づいて行うこともできるが、常に模様や傷が存在するとは限らない。
【0004】
そこで、測定対象物を載置する載置面に、所定の形状に窪ませた位置決め部を1以上形成する3次元形状測定装置が提案されている(特開2021-25921号公報参照)。この3次元形状測定装置では、撮影領域に位置決め部を含めることで、形状データの合成時にこの位置決め部の形状を用いて位置合わせを行うことができる。
【0005】
さらに詳説すると、上記載置面は回転可能に構成されており、回転後の異なる位置で測定対象物の一部の立体形状データを生成し、各形状データに含まれる位置決め部の形状を用いて、各形状データ間の位置関係を決定する。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記3次元形状測定装置では、載置面に固定された窪ませた形状を用いて位置関係を決定するため、位置決めを可能とする観点から、カメラと測定対象物との位置関係は制約されることになる。このため、上記3次元形状測定装置では、測定対象物の撮影は、載置面が回転可能な範囲とされている。この場合、測定対象物によっては十分な形状データが取得できない死角が存在し得ることになる。
【0008】
また、上記3次元形状測定装置では、同じ位置決め部が回転により、カメラからの距離や角度が変わる。このため、実際には位置決め部の形状が特定し難い距離や角度となる場合があるほか、画像に空間的ひずみが生じ易く、これらは取得した画像データの形状誤差につながりやすい。
【0009】
本発明は、上述のような事情に基づいてなされたものであり、カメラと測定対象物との位置関係が制約され難く、かつ精度良く画像データを取得できる画像データ取得方法の提供を目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様に係る画像データ取得方法は、載置面上に載置された測定対象物の3次元画像データを取得する画像データ取得方法であって、少なくとも3個以上の角錐を、その頂点が同一平面上に位置するように上記測定対象物の周囲に配置する角錐配置工程と、上記角錐配置工程後に、1又は複数のカメラにより上記測定対象物を異なる角度から撮影した複数の画像を取得する画像取得工程と、上記画像取得工程で取得した複数の画像を合成する画像合成工程とを備え、上記画像取得工程で取得した各画像に、同一直線上にない少なくとも3個の角錐が撮影されており、上記画像合成工程で複数の画像を合成する際に、上記画像に含まれる少なくとも3個の角錐の頂点を通る仮想平面を上記複数の画像間で一致させる。
【発明の効果】
【0011】
本発明の画像データ取得方法は、カメラと測定対象物との位置関係が制約され難く、かつ精度良く画像データを取得できる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、本発明の一実施形態に係る画像データ取得方法を示すフロー図である。
【
図2】
図2は、
図1の画像データ取得方法で用いられる3次元計測装置の構成を示す模式的斜視図である。
【
図3】
図3は、台座を利用した角錐の配置を示す模式的斜視図である。
【
図4】
図4は、
図2の3次元計測装置において第1カメラにより撮影された第1画像である。
【
図5】
図5は、
図2の3次元計測装置において第2カメラにより撮影された第2画像である。
【
図6】
図6は、
図4の第1画像を
図5の第2画像と方向が合うように回転させた後の第1画像である。
【
図7】
図7は、
図6の第1画像及び
図5の第2画像を合成した状態を示す画像である。
【発明を実施するための形態】
【0013】
[本発明の実施形態の説明]
最初に本発明の実施態様を列記して説明する。
【0014】
本発明の一態様に係る画像データ取得方法は、載置面上に載置された測定対象物の3次元画像データを取得する画像データ取得方法であって、少なくとも3個以上の角錐を、その頂点が同一平面上に位置するように上記測定対象物の周囲に配置する角錐配置工程と、上記角錐配置工程後に、1又は複数のカメラにより上記測定対象物を異なる角度から撮影した複数の画像を取得する画像取得工程と、上記画像取得工程で取得した複数の画像を合成する画像合成工程とを備え、上記画像取得工程で取得した各画像に、同一直線上にない少なくとも3個の角錐が撮影されており、上記画像合成工程で複数の画像を合成する際に、上記画像に含まれる少なくとも3個の角錐の頂点を通る仮想平面を上記複数の画像間で一致させる。
【0015】
当該画像データ取得方法では、撮影される複数の画像のそれぞれに同一直線上にない少なくとも3個の角錐が撮影されているので、この3個の角錐の頂点を通る仮想平面が唯一に決まる。全ての角錐は、その頂点が同一平面上に位置するように配置されているので、各画像の仮想平面は同一平面を表すことになる。当該画像データ取得方法では、この原理を用いて上記仮想平面を上記複数の画像間で一致させることで、精度良く複数の画像を合成することができる。また、当該画像データ取得方法では、上記仮想平面の決定に角錐の頂点を用いている。角錐の頂点は、それ自体が撮影可能であることに加え、角錐を構成する側面の稜線が交わる点としても決定できるので、撮影誤差等を排除し易く、画像における頂点の位置を精度良く決定できる。さらに、上記角錐は、その配置位置は固定されておらず、カメラと測定対象物との位置関係に応じて配置位置を適宜最適化できるので、カメラと測定対象物との位置関係を制約しない。
【0016】
隣合う画像に少なくとも1つの共通する角錐が含まれているとよい。このように隣合う画像に少なくとも1つの共通する角錐を含めることで、画像合成工程で、仮想平面に加えて、隣合う画像間でこの共通する角錐の頂点が一致するように画像を合成することができるので、容易かつ確実に複数の画像を合成することができる。
【0017】
上記角錐の側面の数としては、5以上8以下が好ましい。このように上記角錐の側面の数を上記範囲内とすることで、角錐の頂点位置の決定精度を高めることができる。
【0018】
上記角錐の頂点が、上記測定対象物の最高点と上記載置面との間の高さに位置しているとよい。このように上記角錐の頂点を、上記測定対象物の最高点と上記載置面との間の高さに位置させることで、複数の画像の合成精度を高めることができる。
【0019】
上記角錐配置工程で、上記角錐が、上記載置面に対して上に凸となるように配置されるとよい。このように上記角錐を上記載置面に対して上に凸となるように配置することで、より確実に角錐の頂点を撮影できるので、角錐の頂点位置の決定精度を高めることができる。
【0020】
上記角錐配置工程で配置される上記角錐の数としては、4以上が好ましい。このように上記角錐の数を上記下限以上とすることで、各画像に少なくとも3個の角錐が撮影されるような配置を容易に決定することができる。
【0021】
[本発明の実施形態の詳細]
以下、本発明の一実施形態に係る画像データ取得方法について、適宜図面を参照しつつ説明する。
【0022】
図1に示す画像データ取得方法は、角錐配置工程S1と、画像取得工程S2と、画像合成工程S3とを備える。
【0023】
当該画像データ取得方法は、例えば
図2に示す3次元形状測定装置1の載置台2の上面(載置面S)に載置された測定対象物Xの3次元画像データを取得する画像データ取得方法である。具体的には、3次元形状測定装置1は、測定対象物Xを載置する載置面Sを有する載置台2と、載置面Sに載置された測定対象物Xを異なる角度から撮影する複数のカメラ3とを備える。
図2に示す3次元形状測定装置1では、カメラ3は、4台(第1カメラ31、第2カメラ32、第3カメラ33及び第4カメラ34)の固定カメラで構成されている。以降、
図2のカメラ構成を例にとり説明するが、カメラ3の数は4台に限定されるものではない。
【0024】
<角錐配置工程>
角錐配置工程S1では、
図2に示すように、少なくとも3個以上の角錐4を、その頂点4aが同一平面(仮想平面P0)上に位置するように測定対象物Xの周囲に配置する。
【0025】
角錐配置工程S1で配置される角錐4の数は、後述する画像取得工程S2で取得される各画像に少なくとも3個の角錐4が撮影できるように決定されるが、角錐4の数は、4以上が好ましい。角錐4の数が上記下限未満、すなわち3個であると、例えば測定対象物Xの中心から90度の角度をなして放射状に延びる4方向(
図1の矢印Dの示す4方向)の全てに配置することができない。この場合、配置されなかった方向から撮影する場合、測定対象物Xの死角に位置する角錐4が生じ易く、各画像に3個の角錐4を撮影することが困難となるおそれがある。
【0026】
角錐4の側面の数の下限としては、5が好ましく、6がより好ましい。一方、角錐4の側面の数の上限としては、8が好ましく、7がより好ましい。後述する画像取得工程S2で取得される各画像に写る角錐4の稜線4bの数が3以上であると、角錐4の頂点4aを、各画像に写る稜線4bの延長が交差する点として立体的に認識することができる。すなわち、角錐4の側面の数が上記下限未満であると、各画像に写る稜線4bの数を3以上することが困難となり、頂点4aの立体的な位置の認識精度が低下するおそれがある。逆に、角錐4の側面の数が上記上限を超えると、各画像で、稜線4bが密に存在し過ぎ、各画像に写る稜線4bの延長が交差する点を特定し難くなるおそれがある。
【0027】
角錐4は、各側面が合同である正多角錐とすることもできるが、各側面の形が異なる角錐としてもよい。このように各側面の形を変えることで、角錐4を写した角度を特定することが可能となる。特に1つの角錐4が複数の画像に写っている場合、各画像で特定された角度に基づいて、画像間の撮影角度の差を求めることができる。この角度差に基づいて画像を回転させることで、後述する画像合成工程S3で、複数の画像を精度よく重ね合わせることができる。あるいは、正多角錐であっても、各側面に異なる色彩やマーク等により区別可能であっても同様の効果を奏することができる。
【0028】
角錐配置工程S1で、角錐4は、載置面Sに対して上に凸となるように配置されるとよい。このように角錐4を載置面Sに対して上に凸となるように配置することで、より確実に角錐4の頂点4aを撮影できるので、角錐4の頂点位置の決定精度を高めることができる。
【0029】
角錐4の頂点4aが、測定対象物Xの最高点と載置面Sとの間の高さに位置しているとよい。このように角錐4の頂点4aを、測定対象物Xの最高点と載置面Sとの間の高さに位置させることで、測定対象物Xの表面の点で、角錐4の頂点4aから極端に遠い点を減らすことができる。このため、撮影による歪み誤差を低減することができ、複数の画像の合成精度を高めることができる。
【0030】
なお、例えば測定対象物Xの高さが高い場合は、
図3に示すように、角錐40が、角錐本体4cと、台座4dとで構成されていることが好ましい。角錐本体4cのみで角錐40の頂点4aを高い位置に配置しようとすると、角錐本体4cの底面を大きくするか、角錐本体4cの稜線4bを載置面Sに対して急角度(垂直に近い角度)とするか、いずれかの方法が必要となる。前者の場合、角錐本体4cが大きくなり過ぎ、角錐40の配置制約となるおそれがある。後者の場合、角錐本体4cの頂点4aを、各画像に写る稜線4bの延長が交差する点として立体的に認識する際の位置の誤差が大きくなるおそれがある。これに対し、角錐40を角錐本体4cと、台座4dとで構成することで、角錐40の大きさを抑えつつ、各画像での頂点4aの位置誤差の発生を抑止できる。なお、角錐本体4cの稜線4bが載置面Sとなす角度としては、30°以上60°以下が好ましい。
【0031】
<画像取得工程>
画像取得工程S2では、角錐配置工程S1後に、複数のカメラ3により測定対象物Xを異なる角度から撮影した複数の画像を取得する。
【0032】
図2の3次元形状測定装置1では、4つのカメラ3がそれぞれ1つの画像を取得するように構成されている。このとき、得られる複数(
図2では4つ)の画像を合成すると、測定対象物Xの全体像となるように撮影角度が調整されているとよい。この場合、各画像は少なくとも他の画像の1つと接点、接線もしくは重複する領域を有する。ある画像が、別の画像と接点、接線もしくは重複する領域を有する場合、これらの2つの画像を互いに「隣合う画像」と言うものとする。得られる複数の画像を合成すると、測定対象物Xの全体像となる場合、各画像は1以上の隣合う画像を必ず有する。また、得られる複数の画像を合成しても測定対象物Xの全体像となる場合にあっても、少なくとも1つの画像は隣合う画像を有していることが好ましく、各画像は1以上の隣合う画像を有することがより好ましい。
【0033】
図4及び
図5に、第1カメラ31及び第2カメラ32で撮影した画像(第1画像51及び第2画像52)の例を示す。第3カメラ33及び第4カメラ34で撮影した画像も同様であるが、ここではこの2つの画像を用いて説明を続ける。
【0034】
この画像取得工程S2で取得した各画像には、同一直線上にない少なくとも3個の角錐4が撮影されている。具体的には、第1カメラ31で撮影された第1画像51には、3つの角錐4(第1角錐41、第2角錐42及び第3角錐43)が撮影されており、第2画像52には、4つの角錐4(第3角錐43、第4角錐44、第5角錐45及び第6角錐46)が撮影されている。
【0035】
各画像に同一直線上にない少なくとも3個の角錐4が撮影されるためには、カメラ3の角度等を調整してもよいが、好ましくは、角錐配置工程S1での角錐4の数や配置を決定するとよい。
【0036】
第1画像51及び第2画像52のように隣合う画像に少なくとも1つの共通する角錐4(この場合、第3角錐43)が含まれているとよい。このように隣合う画像に少なくとも1つの共通する角錐4を含めることで、後述する画像合成工程S3で、仮想平面P0に加えて、隣合う画像間でこの共通する角錐4の頂点4aが一致するように画像を合成することができるので、容易かつ確実に複数の画像を合成することができる。
【0037】
取得した画像は、3次元の点群データとして座標位置とともに保存される。
【0038】
<画像合成工程>
画像合成工程S3では、画像取得工程S2で取得した複数の画像を合成する。具体的には、3次元の点群データとして保存されている画像間の座標位置を合わせて、全体で1つの点群データとする。
【0039】
当該画像データ取得方法では、画像合成工程S3で複数の画像を合成する際に、上記画像に含まれる少なくとも3個の角錐4の頂点4aを通る仮想平面P0を上記複数の画像間で一致させる。以下、第1カメラ31により撮影された第1画像51及び第2カメラ32により撮影された第2画像52を合成する場合を例にとり説明するが、第3カメラ33及び第4カメラ34により撮影された画像についても同様に合成される。
【0040】
まず、第1画像51及び第2画像52に写っている複数の角錐4の頂点4aをそれぞれ抽出する。頂点4aの抽出は、各角錐4の側面を抽出し、複数の稜線4bを特定する。特定した複数の稜線4bの交点を頂点4aとして定める。
【0041】
このとき、例えば第1画像51及び第2画像52に写っている第3角錐43の側面の角度から第1画像51と第2画像52とのなす角度を求めることができる。具体的には、第3角錐43の各側面がその形等により区別可能である場合は、対応する側面同士の角度を求めることで第1画像51と第2画像52とのなす角度を決定できる。第3角錐43の各側面が区別できない場合であっても、取り得る第1画像51と第2画像52とのなす角度の組み合わせは、側面の数を超えない。これらの取り得る角度から第1画像51と第2画像52とが整合し得る角度は、例えば公知のAI技術を用いて容易に決定することができる。
【0042】
第1画像51及び第2画像52は、この角度に応じて整合するように回転される。例えば
図6に示すように第2画像52を基準に第1画像51を回転させて、第2画像52と角度の整合する第1画像51aとすることができる。
【0043】
第1画像51及び第2画像52は、少なくとも3個の角錐4が撮影されているから、少なくとも3個の頂点4aが抽出される。これらの頂点4aを通る第1画像51aの第1仮想平面P1(
図6参照)及び第2画像52の第2仮想平面P2(
図5参照)を抽出する。頂点4aが3点あれば第1仮想平面P1及び第2仮想平面P2は抽出可能である。4点以上の頂点4aが撮影されている場合でも、これらの頂点4aは角錐配置工程S1で同一仮想平面P0上に位置するように配置されているから、平面は唯一に決定される。撮影の歪誤差等に起因して誤差が生じ、4個以上の頂点4aが正確には同一平面上に存在しないこともあり得るが、その場合は、一定の誤差評価関数を用いて評価関数値を最小化する等の方法により平面を決定するとよい。
【0044】
第1仮想平面P1及び第2仮想平面P2は、角錐配置工程S1で配置した全ての角錐4の頂点4aが位置する仮想平面P0の一部であるから、
図7に示すように、第1仮想平面P1及び第2仮想平面P2が同一の平面を形成するように、また第1画像51a及び第2画像52に共通に写っている第3角錐43が一致するように、第1画像51a及び第2画像52を合成し、合成画像50を得る。このようにして合成された合成画像50は、第1画像51aと第2画像52との相対位置の正確性が高い。
【0045】
同様の手順で第3カメラ33により撮影される第3画像、第4カメラ34により撮影される第4画像も第1画像51a及び第2画像52に合成すると、測定対象物Xの3次元形状を画像により特定することができる。
【0046】
<利点>
当該画像データ取得方法では、撮影される複数の画像のそれぞれに同一直線上にない少なくとも3個の角錐4が撮影されているので、この3個の角錐4の頂点4aを通る仮想平面が唯一に決まる。全ての角錐4は、その頂点4aが同一平面上に位置するように配置されているので、各画像の仮想平面は同一平面を表すことになる。当該画像データ取得方法では、この原理を用いて上記仮想平面を上記複数の画像間で一致させることで、精度良く複数の画像を合成することができる。また、当該画像データ取得方法では、上記仮想平面の決定に角錐4の頂点4aを用いている。角錐4の頂点4aは、それ自体が撮影可能であることに加え、角錐4を構成する側面の稜線4bが交わる点としても決定できるので、撮影誤差等を排除し易く、画像における頂点4aの位置を精度良く決定できる。さらに、角錐4は、その配置位置は固定されておらず、カメラ3と測定対象物Xとの位置関係に応じて配置位置を適宜最適化できるので、カメラ3と測定対象物Xとの位置関係を制約しない。
【0047】
[その他の実施形態]
本発明は上記実施形態に限定されるものではなく、上記態様の他、種々の変更、改良を施した態様で実施することができる。
【0048】
上記実施形態では、複数の固定カメラを備える場合を説明したが、カメラは可動してもよい。カメラが可動式であっても取得した各画像に、同一直線上にない少なくとも3個の角錐が撮影されていれば、当該画像データ取得方法を用いることができる。そして、カメラを可動式とすることで、測定対象物に応じて死角の少ない角度から撮影可能となる。
【0049】
カメラが可動式である場合、1台のカメラで異なる角度から撮影した複数の画像を取得することを妨げない。すなわち、カメラが可動式である場合、カメラの台数は1台であってもよい。
【0050】
また、カメラが可動式である場合、画像合成の精度の観点から、その運動は例えば円運動、XY軸の2次元運動等に限定された運動であることが好ましい。
【産業上の利用可能性】
【0051】
本発明の画像データ取得方法は、カメラと測定対象物との位置関係が制約され難く、かつ精度良く画像データを取得できる。
【符号の説明】
【0052】
1 3次元形状測定装置
2 載置台
3 カメラ
31 第1カメラ
32 第2カメラ
33 第3カメラ
34 第4カメラ
4、40 角錐
4a 頂点
4b 稜線
4c 角錐本体
4d 台座
41 第1角錐
42 第2角錐
43 第3角錐
44 第4角錐
45 第5角錐
46 第6角錐
50 合成画像
51、51a 第1画像
52 第2画像
P0 仮想平面
P1 第1仮想平面
P2 第2仮想平面
S 載置面
X 測定対象物
D 矢印