IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ファナック株式会社の特許一覧

<>
  • 特許-画像処理装置及び画像処理方法 図1
  • 特許-画像処理装置及び画像処理方法 図2
  • 特許-画像処理装置及び画像処理方法 図3
  • 特許-画像処理装置及び画像処理方法 図4
  • 特許-画像処理装置及び画像処理方法 図5
  • 特許-画像処理装置及び画像処理方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   G01B 21/20 20060101AFI20240214BHJP
   G06T 1/00 20060101ALI20240214BHJP
   G06T 7/60 20170101ALI20240214BHJP
   G01B 11/245 20060101ALN20240214BHJP
【FI】
G01B21/20 101
G01B21/20 C
G06T1/00 300
G06T7/60 180B
G01B11/245 H
【請求項の数】 6
(21)【出願番号】P 2022509978
(86)(22)【出願日】2021-03-16
(86)【国際出願番号】 JP2021010613
(87)【国際公開番号】W WO2021193236
(87)【国際公開日】2021-09-30
【審査請求日】2022-11-21
(31)【優先権主張番号】P 2020050744
(32)【優先日】2020-03-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】村田 裕介
(72)【発明者】
【氏名】滝澤 象太
【審査官】飯村 悠斗
(56)【参考文献】
【文献】特開2018-004281(JP,A)
【文献】特開2011-196860(JP,A)
【文献】特開2018-107642(JP,A)
【文献】国際公開第2009/028489(WO,A1)
【文献】特開2016-123079(JP,A)
【文献】特開2015-170907(JP,A)
【文献】国際公開第2020/013021(WO,A1)
【文献】特開2019-219248(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 21/20
G06T 1/00
G06T 7/60
G01B 11/245
(57)【特許請求の範囲】
【請求項1】
3次元センサにより取得された、物体が載せられ、基準面である前記物体の載置面の3次元データに基づいて、前記基準面を算出する基準面算出部と、
前記3次元センサにより取得された前記物体の3次元データに基づいて、前記物体の3次元データの中の各点と前記算出された基準面との間の距離を算出する距離算出部と、
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備え、
前記載置面は、前記3次元センサの光軸に対して垂直な方向から傾いており、
前記基準面算出部は、前記3次元センサにより取得された、前記物体の周囲の前記基準面の3次元データに基づいて、前記基準面を算出する、画像処理装置。
【請求項2】
前記物体は、ワークである請求項1に記載の画像処理装置。
【請求項3】
前記3次元センサを備えた請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記画像処理は、前記距離画像を、前記画素値を階調で示す画像に変換する処理を含む請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記画素値を階調で示す画像は、グレイスケール画像である請求項4に記載の画像処理装置。
【請求項6】
3次元センサにより取得された、物体が載せられ、基準面である前記物体の載置面の3次元データに基づいて、前記基準面を算出し、
前記3次元センサにより取得された前記物体の3次元データに基づいて、前記物体の3次元データの中の各点と前記算出された基準面との間の距離を算出し、
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法であって、
前記載置面は、前記3次元センサの光軸に対して垂直な方向から傾いており、
前記3次元センサにより取得された、前記物体の周囲の前記基準面の3次元データに基づいて、前記基準面を算出する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に係り、特に、3次元センサにより取得された3次元データを用いて画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
3次元センサにより取得された3次元データを用いて画像処理を行う画像処理装置としては、例えば、特許文献1及び特許文献2に記載された装置がある。
【0003】
特許文献1には、3次元物体を、2次元の画像処理で検出する装置が記載されている。具体的には、特許文献1に記載の装置は、一対の撮像手段で3次元物体を撮像し、画像を細分した各領域について視差データを算出する。そして、その装置は、視差データに基づき、撮像手段からの距離に基づいて、各領域が対応するグレイスケール値を持つグレイスケール画像を生成する。3次元物体はモデル化され、モデルとグレイスケール画像中の画像領域との類似度を表す相関値を算出する。モデルは、撮像手段が位置する方向から3次元物体を見たときの形状的特徴を有する2次元画像であるとともに、2次元画像を細分した各領域は、3次元物体の対応する部分の撮像手段からの距離を表すグレイスケール値を有している。相関値は、モデルのグレイスケール値と、グレイスケール画像中の該画像領域のグレイスケール値とに基づいて算出される。そして、装置はモデルと最も高い相関値を持つ画像領域を、グレイスケール画像において検出することにより、3次元物体を検出する。
【0004】
特許文献2には、3次元的な動きを高精度に検出できる動き検出装置が記載されている。具体的には、特許文献2の動き検出装置は、距離画像を取得する画像取得手段と、この画像取得手段で取得した距離画像を所定の大きさの小領域に分割する分割手段と、画像取得手段で連続して取得した距離画像間で、類似する小領域毎に平面方向の動きを検出する第1の検出手段と、小領域毎に奥行き情報を算出する算出手段と、この算出手段で算出された奥行き情報を基に類似する小領域間で奥行き方向の動きを検出する第2の検出手段とを具備している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2007-213353号公報
【文献】特開2000-222585号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
距離画像を3次元センサからの距離に基づいて作成し、距離画像に対して画像処理を行う場合、検出しようとする物体の面が3次元センサの光軸に対して垂直でないと、3次元センサから3次元センサの光軸に対して垂直でない面までの距離が一定にならないため、物体を検出しにくくなる。
このため、検出しようとする物体の面が3次元センサの光軸に対して垂直でない場合に物体を検出しやすくすることが望まれている。
【課題を解決するための手段】
【0007】
(1) 本開示の第1の態様の画像処理装置は、3次元センサにより取得された3次元データに基づいて、該3次元データの中の各点と、基準面との間の距離を算出する距離算出部と、
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備えた画像処理装置である。
【0008】
(2) 本開示の第2の態様の画像処理方法は、3次元センサにより取得された3次元データに基づいて、該3次元データの中の各点と、基準面との間の距離を算出し、
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法である。
【発明の効果】
【0009】
本開示の態様によれば、3次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態の画像処理装置の一構成例を示すブロック図である。
図2】画像処理装置に含まれる3次元センサがワークを載置する載置面を検出する方法を示す図である。
図3】3次元センサとワークの配置、及び距離画像を載置面からの距離が輝度となるように変換した画像を示す図である。
図4】3次元センサとワークの表面の各点との間の距離を基に計算した値を画素値として距離画像を作成する場合を説明する図である。
図5】本実施形態の画像処理部の動作を示すフローチャートである。
図6】画像処理装置に含まれる3次元センサと載置面上に載置された六角柱のワークとを示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を用いて詳細に説明する。
図1は本発明の一実施形態の画像処理装置の一構成例を示すブロック図である。
【0012】
図1に示すように、画像処理装置10は、3次元センサ101、基準面算出部102、距離算出部103、距離画像作成部104、及び画像処理部105を備えている。
図1に示すように、3次元センサ101は、ワーク20及びワーク20が置かれる載置面30を撮像し、3次元データを基準面算出部102及び距離算出部103に出力する。3次元データは、3次元点群又は距離画像を例示しているが、これに限定されない。他の任意の3次元データを適用してもよい。
【0013】
ワーク20は検出対象となる物体となる。載置面30は例えば、ワーク20が載置されるテーブルの面である。図1に示すように、載置面30及びワーク20は3次元センサ101の光軸に対して傾いて配置されている。ここでは、ワーク20は台形台を例示する。
【0014】
3次元センサ101としては、例えば、2つのカメラの画像間でマッチングを行うことで検出対象となるワーク20との間の距離を計測するステレオカメラ、プロジェクタから投影するパターンの画像とカメラの画像との間でマッチングを行うことで検出対象となるワーク20との間の距離を計測するステレオカメラを用いることができる。また、3次元センサ101は、プロジェクタからパターンを投影した条件で、2台のカメラの画像間でマッチングを行うことで検出対象となるワーク20との間の距離を計測するステレオカメラを用いることもできる。
【0015】
基準面算出部102は、3次元センサ101から出力される3次元データからワーク20を検出するための基準面を求める。基準面は、基準面算出部102が3次元センサ101により出力される3次元データに基づいて求める代わりに、設計値を使う、別の計測方法で計測するなどの方法で求めることもできる。基準面は3次元センサ101と平行でない面であり、例えば、載置面30、又は載置面30と平行な平面とする。載置面30と平行な平面には、載置面30と接するワーク20の面が含まれる。以下の説明では、基準面を載置面30とした場合について説明する。
【0016】
図2は画像処理装置に含まれる3次元センサがワーク20を載置する載置面を検出する方法を示す図である。
基準面算出部102は、3次元センサ101により出力される3次元データに基づいて、3次元センサ101の3次元センサ101の3次元座標系における、3次元センサ101と載置面30上の少なくとも3点、例えば図2に示す載置面30上の3点A,A,Aの3次元座標を求める。基準面算出部102はワーク20の周囲の載置面30を検出し、載置面30の3点A,A,Aを決定することができる。
基準面算出部102は、図2に示す載置面30上の3点A,A,Aの3次元座標値から、3次元センサ101の3次元座標系(以下、「3次元座標系」という)における載置面30の式を求めることができる。載置面30の式はaX+bY+cZ+d=0で表すことができる。以下、3次元座標系における各軸の座標を「3次元座標」という。
【0017】
距離算出部103は、3次元センサ101から出力される3次元データに基づいて求められる、ワーク20及び載置面30の表面の各点の3次元座標と、基準面算出部102から算出された載置面30の式とに基づいて、載置面30(基準面となる)とワーク20の表面の各点との間の距離を算出することができる。
具体的には、3次元センサ101に対向するワーク20の面の任意の点の3次元座標(X,Y,Z)からaX+bY+cZ+d=0で表される載置面30までの距離は、数式1(以下の数1)で示される。
【数1】
そうすることで、例えば図3に示すように、載置面30とワーク20の面20aとの間の距離は一定の距離Dとなる。
【0018】
距離画像作成部104は、算出した載置面30とワーク20の表面の各点との間の距離を基に計算した値を画素値とする距離画像を作成する。図3では、ワーク20の面20aの角の点Bの画素値をD1とした場合を示している。ここで、距離画像とは、物体の表面を計測した画像であって、撮像された画像上の各画素が、算出した載置面30とワーク20の表面の各点との間の距離を基に計算した値を画素値とする画像を意味する。
【0019】
画像処理部105は、距離画像に対して画像処理を行う。
例えば、画像処理部105は、距離画像を、載置面30とワーク20の表面の各点との間の距離を基に計算した値(画素値)が輝度となる、画素値を階調で示す画像に変換する。画素値を階調で示す画像は、例えば、単色の有彩色の画像、グレイスケール画像である。
距離画像を、画素値を階調で示す画像に変換すると、図3に示すように、載置面30からワーク20の面20aまでの距離が一定の距離Dであるため、ワーク20の面20aの輝度は面内で同じ輝度になる。図3では画素値を階調で示す画像がグレイスケール画像である場合を示している。ワーク20の面20aの輝度が面内で同じ輝度になることで、ワーク20を検出しやすくなる。なお、本実施形態では、図3に示すように、載置面30から最も距離が長い(載置面30から遠い)ワーク20の面20aの輝度が最も高くなるようにし、載置面30から距離が短くなる(載置面30に近づく)に従って輝度が低くなるようにしている。
比較のために、図4を用いて、3次元センサ101とワーク20の表面の各点との間の距離を基に計算した値を画素値として距離画像を作成する場合について説明する。図4に示すように、3次元センサ101の3次元座標系(X,Y,Z)のZ方向の、ワーク20の面20aの角の点Bと3次元センサ101との間の距離Dと、ワーク20の面20aの角の点Cと3次元センサ101との間の距離Dとでは距離が異なる。よって、ワーク20の面20aと3次元センサ101との間の距離を基に計算した値を画素値とする距離画像を作成し、グレイスケール画像に変換してもワーク20の面20aの輝度は面内で同じ輝度にならない。
さらに、画像処理部105は、変換されたグレイスケール画像等の、画素値を階調で示す画像に対して液晶表示装置等の表示装置に表示するための画像処理を行ってもよい。
【0020】
図1に示した画像処理装置10に含まれる3次元センサ101を除く機能ブロックを実現するために、画像処理装置10は、CPU(Central Processing Unit)等の演算処理装置を備えるコンピュータで構成することができる。また、画像処理装置10は、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
【0021】
そして、画像処理装置10において、演算処理装置が補助記憶装置からアプリケーションソフトウェアやOSを読み込み、読み込んだアプリケーションソフトウェアやOSを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやOSに基づいた演算処理を行なう。また、この演算結果に基づいて、画像処理装置10が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
【0022】
次に、画像処理装置10の動作について図5を用いて説明する。
ステップS11において、3次元センサ101はワーク20及びワーク20が置かれる載置面30を撮像し、3次元データを基準面算出部102及び距離算出部103に出力する。
【0023】
ステップS12において、基準面算出部102は、3次元データに基づいて、載置面30上の少なくとも3点、例えば図3に示す載置面30上の3点A,A,Aの3次元座標を求める。
そして、基準面算出部102は、3次元センサ101と図2に示す載置面30上の3点A,A,Aの3次元座標から、3次元センサ101の座標系における載置面30の式を求める。載置面30の式はaX+bY+cZ+d=0で表すことができる。
基準面算出部102は、求めた載置面30の式(aX+bY+cZ+d=0)を距離算出部103に出力する。
【0024】
ステップS13において、距離算出部103は、3次元センサ101から出力される3次元データに基づいて求められる、ワーク20及び載置面30の表面の各点の3次元座標と、基準面算出部102から算出された載置面30の式とに基づいて、載置面30(基準面となる)とワーク20の表面の各点との間の距離を算出する。
具体的には、3次元センサ101に対向するワーク20の面の任意の点の3次元座標(X,Y,Z)からaX+bY+cZ+d=0で表される載置面30までの距離は、上述した数式1(以下の数1)で示される。
【0025】
ステップS14において、距離画像作成部104は、算出した載置面30とワーク20の表面の各点との間の距離を基に計算した値を画素値とする距離画像を作成する。
【0026】
ステップS15において、画像処理部105は、距離画像に対して画像処理を行う。
例えば、上述したように、距離画像を、載置面30とワーク20の表面の各点との間の距離を基に計算した値が輝度となるグレイスケール画像に変換する。グレイスケール画像に変換すると、図3に示すように、載置面30からワーク20の面20aまでの距離が一定の距離Dであるため、ワーク20の面20aの輝度は面内で同じ輝度になる。
【0027】
以上説明した本実施形態では、センサの光軸に対してワークが傾いている場合でもワークに対して正対した距離画像を得ることができるように、基準面となるワークの載置面を指定して、指定された載置面とワークの表面の各点との距離を基に計算した値を画素値とする距離画像を作成し、さらに画像処理を行う。すると、ワークを検出しやすくなる。
【0028】
本実施形態の画像処理装置は、工作機械におけるテーブル上のワークの検出、ロボットのアームでワークを搬送する場合における、テーブル上のワークの検出等に用いることができる。
【0029】
<基準面を載置面以外の面とした例>
以上説明した実施形態では基準面を、ワークを載置する載置面又は載置面に平行な面としたが、載置面及び載置面に平行な面以外の任意の面を基準面としてもよい。本例では、基準面を載置面及び載置面に平行な面以外の任意の面とした例について説明する。以下の説明では、ワークが六角柱である場合について説明する。
【0030】
図6は、画像処理装置に含まれる3次元センサと載置面上に載置された六角柱のワークとを示す図である。
図6に示すように、基準面は載置面30に対して傾いた六角柱のワーク21の側面とされており、この基準面は3次元センサ101から撮像することができない。
そこで、基準面となる六角柱のワーク21の側面の式を求めるために、3次元センサ101と同様な構成の他の3次元センサを、六角柱のワーク21の側面を観測できるように配置する。他の3次元センサを設けることで、基準面算出部102は、他の3次元センサの座標系におけるワーク21の側面の式を求めることができる。基準面算出部102は、3次元センサ101の座標系と他の3次元センサの座標系とのキャリブレーションを予め行うことで、他の3次元センサの座標系におけるワーク21の側面の式を求め、この側面の式から3次元センサ101の座標系におけるワーク21の側面の式を求めることができる。
【0031】
距離算出部103は、載置面30の式の代わりにワーク21の側面の式を用いる点を除き既に説明した基準面を載置面とした例と同様に、3次元センサ101から出力される3次元データに基づいて算出される、ワーク21及び載置面30の表面の各点の3次元座標と、基準面算出部102から算出されたワーク21の側面の式とに基づいて、ワーク21の側面(基準面となる)とワーク21の表面の各点との間の距離を算出する。
図6に示すように、基準面からワーク21の面21aまでの距離は一定の距離Dとなる。
【0032】
距離画像作成部104は、3次元センサ101から出力される3次元データに基づいて算出した、ワーク21の側面とワーク21の表面の各点との間の距離を基に計算した値を画素値とする距離画像を作成する。画像処理部105が、例えば、距離画像をグレイスケール画像に変換すると、基準面からワーク21の面21aまでの距離が一定の距離Dであるため、ワーク21の面21aの輝度は面内で同じ輝度になる。ワーク21の面21aの輝度が面内で同じ輝度になることで、ワーク21を検出しやすくなる。
【0033】
以上本発明に係る実施形態について説明したが、本実施形態の画像処理部の各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。例えば、電子回路により実現してもよい。また、上記各構成部のそれぞれの協働により行なわれる画像処理方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0034】
プログラムは、様々なタイプの非一時的なコンピュータ読み取り可能な記録媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ読み取り可能な記録媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ読み取り可能な記録媒体の例は、磁気記録媒体(例えば、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
【0035】
上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【0036】
例えば、上述した実施形態では、物体として、工作機械における加工対象物であるワークを取り上げて説明したが、物体は、ワークに限定されず、例えば、ワーク以外の製品、商品又は、製品若しくは商品が挿入された段ボール等の包装資材であってもよい。
【0037】
また、基準面となる載置面30が予め決まっている場合には、基準面算出部102の代わりに載置面30又はワーク21の側面の式を記憶する基準面記憶部を設けてもよい。距離算出部103は3次元センサ101とワーク20との間の距離画像を3次元センサ101から受けたときに、載置面30又はワーク21の側面の式を基準面記憶部から読みだして、載置面30又はワーク21の側面からの距離を画素値とする距離画像に変換してもよい。
【0038】
また、3次元センサ101は画像処理装置10内に設けなくともよく、画像処理装置10外に設けてもよい。
さらに、ワークは台形台、六角柱に限定されず、他の形状、例えば、立方体、直方体であってもよい。
【0039】
本開示による画像処理装置及び画像処理方法は、上述した実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。
【0040】
(1) 本開示の第1の態様は、3次元センサにより取得された3次元データに基づいて、該3次元データの中の各点と、基準面との間の距離を算出する距離算出部と、
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備えた画像処理装置である。
この画像処理装置によれば、3次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。
【0041】
(2) 前記3次元データは物体の3次元データを含み、
前記基準面は、前記物体の載置面又は前記載置面と平行な面である上記(1)に記載の画像処理装置。
【0042】
(3) 前記3次元データは物体の3次元データを含み、
前記基準面は、前記物体の面である上記(1)に記載の画像処理装置。
【0043】
(4) 前記物体は、ワークである上記(2)又は上記(3)に記載の画像処理装置。
【0044】
(5) 前記3次元センサを備えた上記(1)から(4)のいずれかに記載の画像処理装置。
【0045】
(6) 前記基準面を前記3次元データに基づいて算出する基準面算出部を備えた上記(1)から(5)のいずれかに記載の画像処理装置。
【0046】
(7) 前記画像処理は、前記距離画像を、前記画素値を階調で示す画像に変換する処理を含む上記(1)から(6)のいずれかに記載の画像処理装置。
【0047】
(8) 前記画素値を階調で示す画像は、グレイスケール画像である上記(7)に記載の画像処理装置。
【0048】
(9) 本開示の第2の態様は、3次元センサにより取得された3次元データに基づいて、該3次元データの中の各点と、基準面との間の距離を算出し、
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法である。
この画像処理方法によれば、3次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。
【符号の説明】
【0049】
10 画像処理装置
20、21 ワーク
30 載置面
101 3次元センサ
102 基準面算出部
103 距離算出部
104 距離画像作成部
105 画像処理部
図1
図2
図3
図4
図5
図6