知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】３次元測定装置、及び３次元測定方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20231212BHJP
G01B 11/26 20060101ALI20231212BHJP
G01B 11/00 20060101ALI20231212BHJP
【ＦＩ】
G01B11/24 K
G01B11/26 H
G01B11/00 A
【請求項の数】
6
(21)【出願番号】P 2022504353
(86)(22)【出願日】2021-03-01
(86)【国際出願番号】 JP2021007731
(87)【国際公開番号】W WO2021177236
(87)【国際公開日】2021-09-10
【審査請求日】2022-11-21
(31)【優先権主張番号】P 2020037898
(32)【優先日】2020-03-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】太田 悠介
【審査官】續山 浩二
(56)【参考文献】
【文献】国際公開第２００９／０２８４８９（ＷＯ，Ａ１）
【文献】特開２０１５－０３８４６６（ＪＰ，Ａ）
【文献】特開２０１７－０１０３２７（ＪＰ，Ａ）
【文献】特開２０１４－２４０８００（ＪＰ，Ａ）
【文献】特開２００８－２４６６３１（ＪＰ，Ａ）
【文献】特開２０１５－０４５５８７（ＪＰ，Ａ）
【文献】特開平１１－２５２５８７（ＪＰ，Ａ）
【文献】特開平０２－１８１８８０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／２４
Ｇ０１Ｂ １１／２６
Ｇ０１Ｂ １１／００
Ｇ０１Ｃ ３／０６
Ｇ０１Ｓ １７／００
(57)【特許請求の範囲】
【請求項1】
ワークを撮像して３次元情報を取得する３次元センサと、取得された前記３次元情報に基づいて前記ワークにおける前記３次元センサに近い距離の点を高さ方向の基準となる基準位置、前記基準位置に基づいて階調画像における階調度の前記３次元センサに向かう前記高さ方向の第１マージン、及び前記基準位置に基づいて前記３次元センサから離れる前記高さ方向の第２マージンを設定して、前記階調画像の前記階調度に対応する前記第１マージンから前記第２マージンの距離範囲を設定する設定部と、
前記距離範囲に基づいて、取得された前記３次元情報を前記階調画像に変換する画像変換部と、
前記階調画像を用いて前記ワークの形状又は位置姿勢を３次元的に求める検出部と、
を備える３次元測定装置。
【請求項2】
前記検出部は、前記階調画像の前記階調度を用いてヒストグラムを生成し、生成された前記ヒストグラムに基づいて前記ワークの形状、及び／又は位置姿勢を３次元的に求める、請求項１に記載の３次元測定装置。
【請求項3】
前記ワークの形状は、前記ワークの表又は裏である、請求項１又は請求項２に記載の３次元測定装置。
【請求項4】
３次元センサでワークを撮像して３次元情報を取得し、取得された前記３次元情報に基づいて前記ワークにおける前記３次元センサに近い距離の点を高さ方向の基準となる基準位置、前記基準位置に基づいて階調画像における階調度の前記３次元センサに向かう前記高さ方向の第１マージン、及び前記基準位置に基づいて前記３次元センサから離れる前記高さ方向の第２マージンを設定して、前記階調画像の前記階調度に対応する前記第１マージンから前記第２マージンの距離範囲を設定し、
前記距離範囲に基づいて、取得された前記３次元情報を前記階調画像に変換し、
前記階調画像を用いて前記ワークの形状又は位置姿勢を３次元的に求める
３次元測定方法。
【請求項5】
前記階調画像の前記階調度を用いてヒストグラムを生成し、生成された前記ヒストグラムに基づいて前記ワークの形状、及び／又は位置姿勢を３次元的に求める、請求項４に記載の３次元測定方法。
【請求項6】
前記ワークの形状は、前記ワークの表又は裏である、請求項４又は請求項５に記載の３次元測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元測定装置、及び３次元測定方法に関する。
【背景技術】
【0002】
ステレオカメラ等の３次元センサでワークを撮像することで３次元情報を取得し、得られた３次元情報を処理することで、ワークの形状や位置姿勢を３次元的に求めることができる。しかしながら、３次元情報による物体認識は、計算量が多く、処理に時間が掛かるという問題がある。例えば、予め教示したワークの３次元形状を示すモデルを基にワークを検出する場合、３次元情報とモデルとを比較するため、２次元情報の処理の場合と比べて多大な時間が必要になる。
この点、取得した３次元情報に基づいて算出される距離値を濃淡値に変換し、得られた濃淡画像を基に検出処理を行う技術が知られている。例えば、特許文献１参照。
この点、取得した３次元情報に基づいて算出される距離値を濃淡値に変換し、得られた濃淡画像を基に検出処理を行う技術が知られている。例えば、特許文献１参照。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－０２１９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
３次元センサから取得した３次元情報に基づいて算出される距離値の濃淡画像では、ワークの高さに応じて濃淡値が変化する。例えば、濃淡画像における濃淡値は、２５６階調の場合、黒を示す濃淡値「０」、及び白を示す濃淡値「２５５」それぞれに対応する距離が３次元センサの光軸に対して垂直な平面からの距離に基づいて予め設定されており、当該距離の範囲で距離に応じて濃淡値が変化する。このため、ワークの大きさによっては、前記距離の範囲を超えてしまう場合がある。
図１０は、３次元センサを基準にした距離の範囲に収まる大きさのワークの濃淡画像、及び横軸を濃淡値とし縦軸を画素数とするヒストグラムの一例を示す図である。図１１は、３次元センサを基準にした距離の範囲に収まらない大きさのワークの濃淡画像、及び横軸を濃淡値とし縦軸を画素数とするヒストグラムの一例を示す図である。なお、図１０及び図１１では、３次元センサから距離Ｈ１の位置に白の濃淡値「２５５」が設定され、距離Ｈ２の位置に黒の濃淡値「０」が設定される。また、図１０では、Ｙ軸方向に半円形の溝を有するワークを示す。また、図１１では、図１０のワークと同様の半円形の溝を有し、図１０のワークよりＺ軸方向の高さを有するワークを示す。
図１０に示すように、ワークの高さが距離Ｈ１と距離Ｈ２との範囲に収まっていることから、ワークの形状を反映した濃淡画像が得られる。図１０の右側は、濃淡画像のうち、濃淡値「１」以下の背景部分（例えば、ワークが配置されたテーブルの領域）を除いたワークの領域における濃淡値のヒストグラムを示す。
一方、図１１に示すように、ワークの上面が距離Ｈ１より３次元センサ側にはみ出していることから、ワークの上面より広い領域が白飛びした濃淡画像が得られる。このため、得られた濃淡画像は、ワークの形状を正しく反映していない。また、図１１の右側のヒストグラムでは、白飛びにより濃淡値「２５５」の画素数が多くなっている。
このように、同じワーク面でもワークの高さによってヒストグラムが大きく変わってしまうため、予め教示したモデルのヒストグラムとそのまま比較することができず、処理が複雑になることがある。
図１０は、３次元センサを基準にした距離の範囲に収まる大きさのワークの濃淡画像、及び横軸を濃淡値とし縦軸を画素数とするヒストグラムの一例を示す図である。図１１は、３次元センサを基準にした距離の範囲に収まらない大きさのワークの濃淡画像、及び横軸を濃淡値とし縦軸を画素数とするヒストグラムの一例を示す図である。なお、図１０及び図１１では、３次元センサから距離Ｈ１の位置に白の濃淡値「２５５」が設定され、距離Ｈ２の位置に黒の濃淡値「０」が設定される。また、図１０では、Ｙ軸方向に半円形の溝を有するワークを示す。また、図１１では、図１０のワークと同様の半円形の溝を有し、図１０のワークよりＺ軸方向の高さを有するワークを示す。
図１０に示すように、ワークの高さが距離Ｈ１と距離Ｈ２との範囲に収まっていることから、ワークの形状を反映した濃淡画像が得られる。図１０の右側は、濃淡画像のうち、濃淡値「１」以下の背景部分（例えば、ワークが配置されたテーブルの領域）を除いたワークの領域における濃淡値のヒストグラムを示す。
一方、図１１に示すように、ワークの上面が距離Ｈ１より３次元センサ側にはみ出していることから、ワークの上面より広い領域が白飛びした濃淡画像が得られる。このため、得られた濃淡画像は、ワークの形状を正しく反映していない。また、図１１の右側のヒストグラムでは、白飛びにより濃淡値「２５５」の画素数が多くなっている。
このように、同じワーク面でもワークの高さによってヒストグラムが大きく変わってしまうため、予め教示したモデルのヒストグラムとそのまま比較することができず、処理が複雑になることがある。
【0005】
そこで、ワークの高さに応じて階調度を算出するための距離範囲を適切に設定することが望まれている。
【課題を解決するための手段】
【0006】
（１）本開示の３次元測定装置の一態様は、ワークを撮像して３次元情報を取得する３次元センサと、取得された前記３次元情報に基づいて前記ワークにおける高さ方向の基準となる基準位置、及び前記基準位置を基準にして階調画像における階調度の前記高さ方向のマージンを設定して、前記階調画像の前記階調度に対応する距離範囲を設定する設定部と、前記距離範囲に基づいて、取得された前記３次元情報を前記階調画像に変換する画像変換部と、前記階調画像を用いて前記ワークの形状、及び／又は位置姿勢を３次元的に求める検出部と、を備える。
【0007】
（２）本開示の３次元測定方法の一態様は、３次元センサでワークを撮像して３次元情報を取得し、取得された前記３次元情報に基づいて前記ワークにおける高さ方向の基準となる基準位置、及び前記基準位置を基準にして階調画像における階調度の前記高さ方向のマージンを設定して、前記階調画像の前記階調度に対応する距離範囲を設定し、前記距離範囲に基づいて、取得された前記３次元情報を前記階調画像に変換し、前記階調画像を用いて前記ワークの形状、及び／又は位置姿勢を３次元的に求める。
【発明の効果】
【0008】
一態様によれば、ワークの高さに応じて階調度を算出するための距離範囲を適切に設定することができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る３次元測定装置の一構成例を示すブロック図である。
【図2】基準位置と距離範囲との一例を示す図である。
【図3】ワークと、距離範囲と、濃淡値との関係の一例を示す図である。
【図4A】ワークの濃淡画像の一例を示す図である。
【図4B】ワークの濃淡画像の一例を示す図である。
【図5】濃淡画像のヒストグラムの一例を示す図である。
【図6】ワークの裏側が上面として配置された場合の濃淡画像とヒストグラムとの一例を示す図である。
【図7】３次元測定装置の測定処理について説明するフローチャートである。
【図8A】３次元センサにより撮像された６個のワークの２次元画像の一例を示す図である。
【図8B】ワークの濃淡画像の一例を示す図である。
【図9A】ワークの表側の濃淡画像のヒストグラムの一例を示す図である。
【図9B】ワークの裏側の濃淡画像のヒストグラムの一例を示す図である。
【図10】３次元センサを基準にした距離の範囲に収まる大きさのワークの濃淡画像、及び横軸を濃淡値とし縦軸を画素数とするヒストグラムの一例を示す図である。
【図11】３次元センサを基準にした距離の範囲に収まらない大きさのワークの濃淡画像、及び横軸を濃淡値とし縦軸を画素数とするヒストグラムの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を用いて詳細に説明する。ここでは、階調画像として白黒の濃淡画像を例示する。なお、本発明は、白黒の濃淡画像に限定されず、例えば赤、緑、青のいずれかの色の階調の濃淡画像にも適用可能である。
図１は、一実施形態に係る３次元測定装置の一構成例を示すブロック図である。
図１は、一実施形態に係る３次元測定装置の一構成例を示すブロック図である。
【0011】
図１に示すように、３次元測定装置１０は、３次元センサ１０１、ワーク検出部１０２、設定部１０３、画像変換部１０４、及び検出部１０５を備える。
図１に示すように、３次元センサ１０１は、ワーク２０及びワーク２０が置かれる載置面３０を撮像し、３次元センサ１０１の光軸に対して垂直な平面とワーク２０及び載置面３０の表面の各点との間の距離を画素値とする３次元情報を取得する。例えば、図１に示すように、３次元情報のワーク２０の点Ａの画素値は、３次元センサ１０１の３次元座標系（Ｘ，Ｙ，Ｚ）のＺ軸方向の、３次元センサ１０１とワーク２０の点Ａとの間の距離Ｄである。３次元座標系のＺ軸方向は３次元センサ１０１の光軸方向となる。以下の説明で距離は、３次元センサ１０１の３次元座標系（Ｘ，Ｙ，Ｚ）のＺ軸方向の距離をいうものとする。
また、３次元センサ１０１は、３次元情報とともに、ＲＧＢ画像等の２次元画像を取得してもよい。
図１に示すように、３次元センサ１０１は、ワーク２０及びワーク２０が置かれる載置面３０を撮像し、３次元センサ１０１の光軸に対して垂直な平面とワーク２０及び載置面３０の表面の各点との間の距離を画素値とする３次元情報を取得する。例えば、図１に示すように、３次元情報のワーク２０の点Ａの画素値は、３次元センサ１０１の３次元座標系（Ｘ，Ｙ，Ｚ）のＺ軸方向の、３次元センサ１０１とワーク２０の点Ａとの間の距離Ｄである。３次元座標系のＺ軸方向は３次元センサ１０１の光軸方向となる。以下の説明で距離は、３次元センサ１０１の３次元座標系（Ｘ，Ｙ，Ｚ）のＺ軸方向の距離をいうものとする。
また、３次元センサ１０１は、３次元情報とともに、ＲＧＢ画像等の２次元画像を取得してもよい。
【0012】
ワーク２０は検出対象となる物体である。載置面３０は例えば、ワーク２０が載置されるテーブルの面である。図１に示すように、ワーク２０は３次元センサ１０１の光軸上に配置されている。ここでは、ワーク２０は、Ｙ軸方向に半円形の溝を有する直方体を例示する。
【0013】
３次元センサ１０１としては、例えば、２つのカメラの画像間でマッチングを行うことで検出対象となるワーク２０との間の距離を計測するステレオカメラ、プロジェクタから投影するパターンの画像とカメラの画像との間でマッチングを行うことで検出対象なるワーク２０との間の距離を計測するステレオカメラを用いることができる。また、３次元センサ１０１は、プロジェクタからパターンを投影した条件で、２台のカメラの画像間でマッチングを行うことで検出対象となるワーク２０との間の距離を計測するステレオカメラを用いることもできる。
【0014】
ワーク検出部１０２は、例えば、３次元センサ１０１により取得された２次元画像と、３次元測定装置１０に含まれるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶部（図示しない）に予め記憶されるワーク２０の形状を示す２次元モデルと、に基づいて、パターンマッチング等を行い、ワーク２０の位置を検出する。
なお、ワーク検出部１０２は、例えば、３次元センサ１０１により取得された３次元情報と、３次元測定装置１０の記憶部（図示しない）に予め記憶されるワーク２０の形状を示す３次元情報と、に基づくパターンマッチング等により、ワーク２０の位置を検出してもよい。
なお、ワーク検出部１０２は、例えば、３次元センサ１０１により取得された３次元情報と、３次元測定装置１０の記憶部（図示しない）に予め記憶されるワーク２０の形状を示す３次元情報と、に基づくパターンマッチング等により、ワーク２０の位置を検出してもよい。
【0015】
設定部１０３は、３次元センサ１０１により取得された３次元情報と、ワーク検出部１０２により検出されたワーク２０の位置と、に基づいて、ワーク２０における高さ方向（Ｚ軸方向）の基準となる基準位置を設定するとともに、Ｚ軸方向に基準位置を含む所定の距離範囲を設定する。
具体的には、設定部１０３は、例えば、３次元情報におけるワーク２０の表面の各点のＺ軸方向の距離のうち３次元センサ１０１に最も近い距離の点をＺ軸方向の基準となる基準位置として設定する。図１の場合、ワーク２０の上面の各点が３次元センサ１０１に最も近い距離となることから、設定部１０３は、例えば、上面に含まれる点Ａを基準位置として設定する。また、設定部１０３は、図２に示すように、設定した基準位置を基準にして、後述する画像変換部１０４により３次元情報から変換される濃淡画像の白の基準となる３次元センサ１０１側のＺ軸方向にマージンＤ１と、黒の基準となる３次元センサ１０１と反対側のＺ軸方向にマージンＤ２とを設定する。換言すれば、設定部１０３は、図３に示すように、Ｚ軸方向に基準位置を含む距離（Ｄ－Ｄ１）から距離（Ｄ＋Ｄ２）の距離範囲に、「２５５」から「０」の濃淡値を設定する。
具体的には、設定部１０３は、例えば、３次元情報におけるワーク２０の表面の各点のＺ軸方向の距離のうち３次元センサ１０１に最も近い距離の点をＺ軸方向の基準となる基準位置として設定する。図１の場合、ワーク２０の上面の各点が３次元センサ１０１に最も近い距離となることから、設定部１０３は、例えば、上面に含まれる点Ａを基準位置として設定する。また、設定部１０３は、図２に示すように、設定した基準位置を基準にして、後述する画像変換部１０４により３次元情報から変換される濃淡画像の白の基準となる３次元センサ１０１側のＺ軸方向にマージンＤ１と、黒の基準となる３次元センサ１０１と反対側のＺ軸方向にマージンＤ２とを設定する。換言すれば、設定部１０３は、図３に示すように、Ｚ軸方向に基準位置を含む距離（Ｄ－Ｄ１）から距離（Ｄ＋Ｄ２）の距離範囲に、「２５５」から「０」の濃淡値を設定する。
【0016】
画像変換部１０４は、設定部１０３により設定された距離（Ｄ－Ｄ１）から距離（Ｄ＋Ｄ２）の距離範囲における濃淡値に基づいて、３次元情報におけるワーク２０の表面の各点の距離値を濃淡値とした濃淡画像に変換する。
具体的には、画像変換部１０４は、例えば、図４Ａに示すように、図３のように設定された濃淡値に基づいて、図１０と同様の形状を有するワーク２０の３次元情報を２５６階調の濃淡画像に変換する。
このように、ワーク２０が図１１と同様の形状を有する場合でも、設定部１０３は、図４Ｂに示すように、ワーク２０の高さに応じて距離（Ｄ’－Ｄ１）と距離（Ｄ’＋Ｄ２）との距離範囲で階調を適切に設定することができる。これにより、画像変換部１０４は、３次元情報を白飛びのない濃淡画像に変換することができる。
なお、Ｄ’は、３次元センサ１０１とワーク２０の点Ａ’との間のＺ軸方向の距離である。そして、図４Ｂの距離Ｄ’が図４Ａの距離Ｄと比べて短いため、図４Ｂの濃淡画像におけるワーク２０が図４Ａと比べて３次元センサ１０１により大きく撮像される。
具体的には、画像変換部１０４は、例えば、図４Ａに示すように、図３のように設定された濃淡値に基づいて、図１０と同様の形状を有するワーク２０の３次元情報を２５６階調の濃淡画像に変換する。
このように、ワーク２０が図１１と同様の形状を有する場合でも、設定部１０３は、図４Ｂに示すように、ワーク２０の高さに応じて距離（Ｄ’－Ｄ１）と距離（Ｄ’＋Ｄ２）との距離範囲で階調を適切に設定することができる。これにより、画像変換部１０４は、３次元情報を白飛びのない濃淡画像に変換することができる。
なお、Ｄ’は、３次元センサ１０１とワーク２０の点Ａ’との間のＺ軸方向の距離である。そして、図４Ｂの距離Ｄ’が図４Ａの距離Ｄと比べて短いため、図４Ｂの濃淡画像におけるワーク２０が図４Ａと比べて３次元センサ１０１により大きく撮像される。
【0017】
検出部１０５は、変換された濃淡画像に対して画像処理を行い、ワーク２０の形状、及び／又は位置姿勢を３次元的に求める。
具体的には、検出部１０５は、例えば、変換された濃淡画像のうち、ワーク２０に対応する領域の濃淡値を用いて、横軸を濃淡値とし縦軸を画素数とするヒストグラムを生成する。
図５は、図４Ａの濃淡画像のヒストグラムの一例を示す図である。なお、図５では、濃淡値「１」以下の載置面３０の背景を除いたワーク２０における濃淡値のヒストグラムを示す。
図５に示すように、ヒストグラムは、図３に示すように、ワーク２０の上面の領域Ｒ１の面積が広いため濃淡値が１６０から１６５の画素数が最も多い。また、ヒストグラムは、半円形の溝の底の部分に対応する領域Ｒ３の面積が次に広いため、濃淡値が８５から１２０の画素数が２番目に多い。一方、図３に示すように、半円形の溝の側面に対応する領域Ｒ２の面積が最も小さいため、濃淡値が１２０から１６０の画素数は最も少ない。
検出部１０５は、生成した図５のヒストグラムと、３次元測定装置１０の記憶部（図示しない）に予め記憶されたワーク２０の表側及び裏側の濃淡を示すヒストグラムのモデルとを比較し、載置面３０に配置されたワーク２０の上面が表側か裏側かを判定し、ワーク２０の向きを検出する。
具体的には、検出部１０５は、例えば、変換された濃淡画像のうち、ワーク２０に対応する領域の濃淡値を用いて、横軸を濃淡値とし縦軸を画素数とするヒストグラムを生成する。
図５は、図４Ａの濃淡画像のヒストグラムの一例を示す図である。なお、図５では、濃淡値「１」以下の載置面３０の背景を除いたワーク２０における濃淡値のヒストグラムを示す。
図５に示すように、ヒストグラムは、図３に示すように、ワーク２０の上面の領域Ｒ１の面積が広いため濃淡値が１６０から１６５の画素数が最も多い。また、ヒストグラムは、半円形の溝の底の部分に対応する領域Ｒ３の面積が次に広いため、濃淡値が８５から１２０の画素数が２番目に多い。一方、図３に示すように、半円形の溝の側面に対応する領域Ｒ２の面積が最も小さいため、濃淡値が１２０から１６０の画素数は最も少ない。
検出部１０５は、生成した図５のヒストグラムと、３次元測定装置１０の記憶部（図示しない）に予め記憶されたワーク２０の表側及び裏側の濃淡を示すヒストグラムのモデルとを比較し、載置面３０に配置されたワーク２０の上面が表側か裏側かを判定し、ワーク２０の向きを検出する。
【0018】
図６は、ワーク２０の裏側が上面として配置された場合の濃淡画像とヒストグラムとの一例を示す図である。なお、図６の左側は、ワーク２０の上面に設定された基準位置と、マージンＤ１、Ｄ２との位置関係を示す。また、図６の中央は、ワーク２０の裏側の濃淡画像を示す。また、図６の右側は、ワーク２０の裏側における横軸を濃淡値とし縦軸を画素数とするヒストグラムを示す。また、図６のヒストグラムは、図５の場合と同様に、濃淡値「１」以下の載置面３０の背景を除いたワーク２０における濃淡値を示す。
図６の中央に示すように、濃淡画像は、ワーク２０の裏側が平面のため、凹凸が少なく濃淡が一定の画像を示す。このため、図６の右側に示すように、ワーク２０の裏側のヒストグラムは、濃淡値αの画素のみが分布する。
これにより、図４Ａ（又は図４Ｂ）及び図６に示すように、ワーク２０の表側と裏側とでヒストグラムの形状が大きく異なるため、３次元測定装置１０は、ヒストグラムに基づいて、載置面３０上のワーク２０が表側か裏側かを判定することができる。
図６の中央に示すように、濃淡画像は、ワーク２０の裏側が平面のため、凹凸が少なく濃淡が一定の画像を示す。このため、図６の右側に示すように、ワーク２０の裏側のヒストグラムは、濃淡値αの画素のみが分布する。
これにより、図４Ａ（又は図４Ｂ）及び図６に示すように、ワーク２０の表側と裏側とでヒストグラムの形状が大きく異なるため、３次元測定装置１０は、ヒストグラムに基づいて、載置面３０上のワーク２０が表側か裏側かを判定することができる。
【0019】
図１に示した３次元測定装置１０に含まれる３次元センサ１０１を除く機能ブロックを実現するために、３次元測定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を備えるコンピュータで構成することができる。また、３次元測定装置１０は、アプリケーションソフトウェアやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の各種の制御用プログラムを格納したＨＤＤ等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった主記憶装置も備える。
【0020】
そして、３次元測定装置１０において、演算処理装置が補助記憶装置からアプリケーションソフトウェアやＯＳを読み込み、読み込んだアプリケーションソフトウェアやＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、３次元測定装置１０が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。すなわち、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
【0021】
【0022】
ステップＳ１１において、３次元センサ１０１は、ワーク２０及びワーク２０が置かれる載置面３０を撮像し、３次元センサ１０１とワーク２０及び載置面３０の表面の各点との間の距離を画素値とする３次元情報、及びＲＧＢ画像等の２次元画像を取得する。３次元センサ１０１は、２次元画像をワーク検出部１０２に出力し、３次元情報を設定部１０３に出力する。
【0023】
ステップＳ１２において、ワーク検出部１０２は、ステップＳ１１で取得された２次元画像と、３次元測定装置１０の記憶部（図示しない）に予め記憶されるワーク２０の２次元モデルと、に基づいて、パターンマッチング等によりワーク２０の位置を検出する。
【0024】
ステップＳ１３において、設定部１０３は、ステップＳ１１で取得された３次元情報と、ステップＳ１２で検出されたワーク２０の位置と、に基づいて、ワーク２０におけるＺ軸方向の基準となる基準位置、及びマージンＤ１、Ｄ２を設定し、濃淡画像の濃淡値に対応する距離範囲を設定する。
【0025】
ステップＳ１４において、画像変換部１０４は、ステップＳ１３で設定された距離範囲に基づいて、３次元情報を濃淡画像に変換する。
【0026】
ステップＳ１５において、検出部１０５は、ステップＳ１４で変換された濃淡画像の濃淡値を用いて、横軸を濃淡値とし縦軸を画素数とするヒストグラムを生成する。
【0027】
ステップＳ１６において、検出部１０５は、ステップＳ１５で生成されたヒストグラムと、３次元測定装置１０の記憶部（図示しない）に予め記憶されたワーク２０の表側及び裏側の濃淡値のヒストグラムのモデルとを比較し、載置面３０に配置されたワーク２０の上面が表側か裏側かを判定し、ワーク２０の向きを検出する。
【0028】
以上により、一実施形態に係る３次元測定装置１０は、３次元センサ１０１により撮像されたワーク２０の表面の各点までのＺ軸方向の距離を含む３次元情報を取得する。３次元測定装置１０は、取得された３次元情報に基づいて、ワーク２０におけるＺ軸方向の基準となる基準位置Ｄ、及びマージンＤ１、Ｄ２を設定し、濃淡画像の濃淡値に対応する距離範囲を設定する。これにより、３次元測定装置１０は、ワーク２０の高さに応じて階調度を算出するための距離範囲を適切に設定することができ、３次元情報の距離値を濃淡値とした白飛びのない濃淡画像に変換することができる。そして、３次元測定装置１０は、ワーク２０の高さが変わっても濃淡画像における濃淡値が大きく変わらないため、ヒストグラムのような濃淡値を用いて、ワーク２０が表側か裏側かを判定し、ワーク２０の向きを検出する検出処理を容易に行うことができる。
また、３次元測定装置１０は、検出結果に基づいて、例えば、表と裏でワーク２０を掴む位置（高さ）が変わるような場合において、ロボットによってワーク２０を取出す際、ワーク２０の周囲に衝突する可能性のある高さの物体が存在しないか否かを確認することができる。
また、３次元測定装置１０は、検出結果に基づいて、例えば、表と裏でワーク２０を掴む位置（高さ）が変わるような場合において、ロボットによってワーク２０を取出す際、ワーク２０の周囲に衝突する可能性のある高さの物体が存在しないか否かを確認することができる。
【0029】
以上、一実施形態について説明したが、３次元測定装置１０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
【0030】
＜変形例１＞
上述の実施形態では、３次元測定装置１０は、ワーク２０におけるＺ軸方向の基準となる基準位置とともに、マージンＤ１、Ｄ２を設定したが、これに限定されない。例えば、基準位置が３次元情報におけるワーク２０の表面の各点の距離のうち３次元センサ１０１に最も近い距離の点に設定されることから、３次元測定装置１０は、マージンＤ２のみ設定してもよい。すなわち、３次元測定装置１０は、距離Ｄから距離（Ｄ＋Ｄ２）の距離範囲に、「２５５」から「０」の濃淡値を設定してもよい。
上述の実施形態では、３次元測定装置１０は、ワーク２０におけるＺ軸方向の基準となる基準位置とともに、マージンＤ１、Ｄ２を設定したが、これに限定されない。例えば、基準位置が３次元情報におけるワーク２０の表面の各点の距離のうち３次元センサ１０１に最も近い距離の点に設定されることから、３次元測定装置１０は、マージンＤ２のみ設定してもよい。すなわち、３次元測定装置１０は、距離Ｄから距離（Ｄ＋Ｄ２）の距離範囲に、「２５５」から「０」の濃淡値を設定してもよい。
【0031】
＜変形例２＞
また例えば、上述の実施形態では、３次元測定装置１０は、ヒストグラムを用いて、ワーク２０が表側か裏側かを判定し、ワーク２０の向きを検出したが、これに限定されない。例えば、３次元測定装置１０は、濃淡画像でのワーク２０の各姿勢のモデルを予め記憶部（図示しない）に記憶し、変換された濃淡画像と、記憶された各姿勢のモデルとを形状比較（マッチング）を行い、ワーク２０の３次元位置姿勢を求めてもよい。
また例えば、上述の実施形態では、３次元測定装置１０は、ヒストグラムを用いて、ワーク２０が表側か裏側かを判定し、ワーク２０の向きを検出したが、これに限定されない。例えば、３次元測定装置１０は、濃淡画像でのワーク２０の各姿勢のモデルを予め記憶部（図示しない）に記憶し、変換された濃淡画像と、記憶された各姿勢のモデルとを形状比較（マッチング）を行い、ワーク２０の３次元位置姿勢を求めてもよい。
【0032】
図８Ａは、３次元センサ１０１により撮像された６個のワーク２０ａ（１）－２０ａ（６）の２次元画像の一例を示す図である。図８Ａでは、ワーク２０ａ（１）、２０ａ（３）、２０ａ（５）の表側が上面であり、ワーク２０ａ（２）、２０ａ（４）、２０ａ（６）の裏側が上面である。
図８Ｂは、図８Ａのワーク２０ａ（１）－２０ａ（６）の濃淡画像を示す。
３次元測定装置１０は、例えば、図８Ｂの濃淡画像のエッジを基にテープレートマッチングを行うことで、濃淡画像上でワーク２０ａ（１）－２０ａ（６）それぞれの位置姿勢（ＸＹＺＷＰＲ）を検出することができる。
図８Ｂは、図８Ａのワーク２０ａ（１）－２０ａ（６）の濃淡画像を示す。
３次元測定装置１０は、例えば、図８Ｂの濃淡画像のエッジを基にテープレートマッチングを行うことで、濃淡画像上でワーク２０ａ（１）－２０ａ（６）それぞれの位置姿勢（ＸＹＺＷＰＲ）を検出することができる。
【0033】
また、３次元測定装置１０は、上述のテンプレートマッチングを行った後に、図９Ａ及び図９Ｂに示すヒストグラムを用いてワーク２０ａ（１）－２０ａ（６）それぞれの表裏を判定することで、より正確なワーク２０の３次元位置姿勢を求めてもよい。
図９Ａは、ワーク２０ａ（１）の表側の濃淡画像のヒストグラムの一例を示す図である。図９Ｂは、ワーク２０ａ（２）の裏側の濃淡画像のヒストグラムの一例を示す図である。なお、図９Ａ及び図９Ｂのヒストグラムは、濃淡値が「１」以下（すなわち、載置面３０）の背景を除外している。また、ヒストグラムの画素数は、最も多い濃淡値の画素数を「１」として正規化している。
なお、ワーク２０ａ（３）、２０ａ（５）の表側のヒストグラムについても、図９Ａのワーク２０ａ（１）のヒストグラムと同様である。また、ワーク２０ａ（４）、２０ａ（６）の裏側のヒストグラムについても、図９Ｂのワーク２０ａ（２）のヒストグラムと同様である。
図９Ａは、ワーク２０ａ（１）の表側の濃淡画像のヒストグラムの一例を示す図である。図９Ｂは、ワーク２０ａ（２）の裏側の濃淡画像のヒストグラムの一例を示す図である。なお、図９Ａ及び図９Ｂのヒストグラムは、濃淡値が「１」以下（すなわち、載置面３０）の背景を除外している。また、ヒストグラムの画素数は、最も多い濃淡値の画素数を「１」として正規化している。
なお、ワーク２０ａ（３）、２０ａ（５）の表側のヒストグラムについても、図９Ａのワーク２０ａ（１）のヒストグラムと同様である。また、ワーク２０ａ（４）、２０ａ（６）の裏側のヒストグラムについても、図９Ｂのワーク２０ａ（２）のヒストグラムと同様である。
【0034】
ここで、濃淡画像だけでも向きを含めた姿勢の検出は可能であるが、Ｚ軸周りの回転（Ｒ方向）の変化を含めた比較処理を行う必要があるため、処理時間がかかる。一方、ヒストグラムは、図９Ａ及び図９Ｂに示すように、ワークがＲ方向に変わった場合でも、同様のヒストグラムが得られる。このため、３次元測定装置１０は、上述したように、テンプレートマッチングを行った後に、ヒストグラムを用いることで、より正確なワーク２０の３次元位置姿勢を短時間で求めることができる。
【0035】
＜変形例３＞
また例えば、上述の実施形態では、階調画像は、白黒の濃淡画像としたが、これに限定されない。例えば、階調画像は、赤、緑、青のいずれかの色の階調を用いた濃淡画像でもよい。
また例えば、上述の実施形態では、階調画像は、白黒の濃淡画像としたが、これに限定されない。例えば、階調画像は、赤、緑、青のいずれかの色の階調を用いた濃淡画像でもよい。
【0036】
なお、一実施形態における、３次元測定装置１０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0037】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
【0038】
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0039】
以上を換言すると、本開示の３次元測定装置、及び３次元測定方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0040】
（１）本開示の３次元測定装置１０は、ワーク２０を撮像して３次元情報を取得する３次元センサ１０１と、取得された３次元情報に基づいてワーク２０における高さ方向の基準となる基準位置Ｄ、及び基準位置Ｄを基準にして階調画像における階調度の高さ方向のマージンＤ１、Ｄ２を設定して、階調画像の階調度に対応する距離範囲を設定する設定部１０３と、距離範囲に基づいて、取得された３次元情報を階調画像に変換する画像変換部１０４と、階調画像を用いてワーク２０の形状、及び／又は位置姿勢を３次元的に求める検出部１０５と、を備える。
この３次元測定装置１０によれば、ワークの高さに応じて階調度を算出するための距離範囲を適切に設定することができる。
この３次元測定装置１０によれば、ワークの高さに応じて階調度を算出するための距離範囲を適切に設定することができる。
【0041】
（２） （１）に記載の３次元測定装置１０によれば、検出部１０５は、階調画像の階調度を用いてヒストグラムを生成し、生成されたヒストグラムに基づいてワーク２０の形状、及び／又は位置姿勢を３次元的に求めてもよい。
そうすることで、３次元測定装置１０は、階調画像を用いる場合と比べて、計算量を減らすことができる。
そうすることで、３次元測定装置１０は、階調画像を用いる場合と比べて、計算量を減らすことができる。
【0042】
（３） （１）又は（２）に記載の３次元測定装置１０において、ワーク２０の形状は、ワーク２０の表又は裏であってもよい。
そうすることで、３次元測定装置１０は、ロボットによってワーク２０を取出す際、ワーク２０の周囲に衝突する可能性のある高さの物体が存在しないか否かを確認することができる。
そうすることで、３次元測定装置１０は、ロボットによってワーク２０を取出す際、ワーク２０の周囲に衝突する可能性のある高さの物体が存在しないか否かを確認することができる。
【0043】
（４）本開示の３次元測定方法は、３次元センサ１０１でワーク２０を撮像して３次元情報を取得し、取得された３次元情報に基づいてワーク２０における高さ方向の基準となる基準位置Ｄ、及び基準位置Ｄを基準にして階調画像における階調度の高さ方向のマージンＤ１、Ｄ２を設定して、階調画像の階調度に対応する距離範囲を設定し、距離範囲に基づいて、取得された３次元情報を階調画像に変換し、階調画像を用いてワーク２０の形状、及び／又は位置姿勢を３次元的に求める。
この３次元測定方法によれば、（１）と同様の効果を奏することができる。
この３次元測定方法によれば、（１）と同様の効果を奏することができる。
【0044】
（５） （４）に記載の３次元測定方法によれば、階調画像の階調度を用いてヒストグラムを生成し、生成されたヒストグラムに基づいてワーク２０の形状、及び／又は位置姿勢を３次元的に求めてもよい。
そうすることで、３次元測定方法は、（２）と同様の効果を奏することができる。
そうすることで、３次元測定方法は、（２）と同様の効果を奏することができる。
【0045】
（６） （４）又は（５）に記載の３次元測定方法において、ワーク２０の形状は、ワーク２０の表又は裏であってもよい。
そうすることで、３次元測定方法は、（３）と同様の効果を奏することができる。
そうすることで、３次元測定方法は、（３）と同様の効果を奏することができる。
【符号の説明】
【0046】
１０ ３次元測定装置
２０ ワーク
３０ 載置面
１０１ 三次元センサ
１０２ ワーク検出部
１０３ 設定部
１０４ 画像変換部
１０５ 検出部
２０ ワーク
３０ 載置面
１０１ 三次元センサ
１０２ ワーク検出部
１０３ 設定部
１０４ 画像変換部
１０５ 検出部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
