ホーム > 特許ランキング > 国立大学法人長岡技術科学大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人長岡技術科学大学の特許一覧 ▶ 株式会社ダイワメカニックの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022082894
(43)【公開日】2022-06-03
(54)【発明の名称】３次元対象物の形状を測定する装置及び方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20220527BHJP
【ＦＩ】
G01B11/24 K
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2020194054
(22)【出願日】2020-11-24
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和２年６月１５日、ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ（ＴＣＳＶＴ），ｐｐ．１－１０，２０２０にて発表
(71)【出願人】
【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
(71)【出願人】
【識別番号】597103528
【氏名又は名称】株式会社ダイワメカニック
(74)【代理人】
【識別番号】110000855
【氏名又は名称】特許業務法人浅村特許事務所
(72)【発明者】
【氏名】岩橋 政宏
(72)【発明者】
【氏名】原川 良介
(72)【発明者】
【氏名】瀧本 裕也
(72)【発明者】
【氏名】細川 哲夫
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA53
2F065BB05
2F065DD04
2F065DD09
2F065FF04
2F065FF09
2F065GG23
2F065HH07
2F065JJ03
2F065JJ26
2F065MM06
2F065PP25
2F065QQ04
2F065QQ25
2F065QQ31
(57)【要約】
【課題】３次元対象物の形状を自動的に測定する装置を提供する。
【解決手段】３次元対象物の形状を計測する装置１０１は、３次元対象物に対して縞模様を投影するプロジェクタ１０２と、投影された３次元対象物の画像を撮影するカメラ１０３と、撮影された画像から３次元対象物の高さを計算するプロセッサ１０４とを備え、投影される縞模様は、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、通常縞模様とは２つの色相の位置が逆になっている反転縞模様とを含み、プロセッサ１０４は、通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、３次元対象物の高さを計算する。
【選択図】図１
【解決手段】３次元対象物の形状を計測する装置１０１は、３次元対象物に対して縞模様を投影するプロジェクタ１０２と、投影された３次元対象物の画像を撮影するカメラ１０３と、撮影された画像から３次元対象物の高さを計算するプロセッサ１０４とを備え、投影される縞模様は、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、通常縞模様とは２つの色相の位置が逆になっている反転縞模様とを含み、プロセッサ１０４は、通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、３次元対象物の高さを計算する。
【選択図】図１
【特許請求の範囲】
【請求項1】
３次元対象物の形状を計測する方法であって、
前記３次元対象物に対して縞模様を投影するステップと、
前記投影された３次元対象物の画像を撮影するステップと、
前記撮影された画像から前記３次元対象物の高さを計算するステップと
を含み、
前記投影される縞模様は、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、前記通常縞模様とは前記２つの色相の位置が逆になっている反転縞模様とを含み、
前記通常縞模様による撮影からの通常画像の色相チャネルと前記反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、前記３次元対象物の高さを計算する、方法。
前記３次元対象物に対して縞模様を投影するステップと、
前記投影された３次元対象物の画像を撮影するステップと、
前記撮影された画像から前記３次元対象物の高さを計算するステップと
を含み、
前記投影される縞模様は、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、前記通常縞模様とは前記２つの色相の位置が逆になっている反転縞模様とを含み、
前記通常縞模様による撮影からの通常画像の色相チャネルと前記反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、前記３次元対象物の高さを計算する、方法。
【請求項2】
前記通常画像の色相チャネルと前記反転画像の色相チャネルとの比較によって取得された二値画像の歪みに基づいて、前記３次元対象物の高さを計算する、請求項１に記載の方法。
【請求項3】
前記２つの色相は、前記投影された縞模様による前記３次元対象物からの鏡面反射の影響を受けないように決定されている、請求項１又は２に記載の方法。
【請求項4】
前記２つの色相は、ＨＳＶ色空間に基づく色相である、請求項１～３の何れか一項に記載の方法。
【請求項5】
前記通常画像の色相チャネル及び前記反転画像の色相チャネルを連続的な値を有する関数に変換し、前記通常画像の色相チャネルの前記関数による値と前記反転画像の色相チャネルの前記関数による値との比較に基づいて、前記３次元対象物の高さを計算する、請求項４に記載の方法。
【請求項6】
前記２つの色相に基づいて前記３次元対象物を撮影するための領域を２Ｍ個（Ｍは正の整数）の区域に分割するように、前記３次元対象物に対して縞模様を投影するステップをＭ回実行し、各投影するステップにおける前記通常縞模様による撮影からの通常画像の色相チャネルと前記反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて前記３次元対象物の高さを計算する、請求項１～５の何れか一項に記載の方法。
【請求項7】
各投影するステップにおける前記通常縞模様及び前記反転縞模様を、グレイコードに従って作成する、請求項６に記載の方法。
【請求項8】
請求項１～７の何れか一項に記載の方法を実行させるためのコンピュータプログラム。
【請求項9】
３次元対象物の形状を計測する装置であって、
前記３次元対象物に対して縞模様を投影するプロジェクタと、
前記投影された３次元対象物の画像を撮影するカメラと、
前記撮影された画像から前記３次元対象物の高さを計算するプロセッサと
を備え、
前記投影される縞模様は、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、前記通常縞模様とは前記２つの色相の位置が逆になっている反転縞模様とを含み、
前記プロセッサは、前記通常縞模様による撮影からの通常画像の色相チャネルと前記反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、前記３次元対象物の高さを計算する、装置。
前記３次元対象物に対して縞模様を投影するプロジェクタと、
前記投影された３次元対象物の画像を撮影するカメラと、
前記撮影された画像から前記３次元対象物の高さを計算するプロセッサと
を備え、
前記投影される縞模様は、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、前記通常縞模様とは前記２つの色相の位置が逆になっている反転縞模様とを含み、
前記プロセッサは、前記通常縞模様による撮影からの通常画像の色相チャネルと前記反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、前記３次元対象物の高さを計算する、装置。
【請求項10】
前記プロセッサは、前記通常画像の色相チャネルと前記反転画像の色相チャネルとの比較によって取得された二値画像の歪みに基づいて、前記３次元対象物の高さを計算する、請求項９に記載の装置。
【請求項11】
前記２つの色相は、前記投影された縞模様による前記３次元対象物からの鏡面反射の影響を受けないように決定されている、請求項９又は１０に記載の装置。
【請求項12】
前記２つの色相は、ＨＳＶ色空間に基づく色相である、請求項９～１１の何れか一項に記載の装置。
【請求項13】
前記プロセッサは、前記通常画像の色相チャネル及び前記反転画像の色相チャネルを連続的な値を有する関数に変換し、前記通常画像の色相チャネルの前記関数による値と前記反転画像の色相チャネルの前記関数による値との比較に基づいて、前記３次元対象物の高さを計算する、請求項１２に記載の装置。
【請求項14】
前記プロジェクタは、前記２つの色相に基づいて前記３次元対象物を撮影するための領域を２Ｍ個（Ｍは正の整数）の区域に分割するように、前記３次元対象物に対して縞模様をＭ回投影し、前記プロセッサは、各投影における前記通常縞模様による撮影からの通常画像の色相チャネルと前記反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、前記３次元対象物の高さを計算する、請求項９～１３の何れか一項に記載の装置。
【請求項15】
前記プロジェクタは、各投影における前記通常縞模様及び前記反転縞模様を、グレイコードに従って作成する、請求項１４に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元対象物の形状を自動的に測定する装置及び方法に関するものである。
【背景技術】
【0002】
洋食器、器物、等の製造工程は、フォークを例にすると、トリムプレス（外形抜き）、平面研磨、刃抜き・曲げプレス（成形）、端面研磨（コバ擦り・刃擦り）、洗浄の順番で行われる。最終仕上げである端面研磨工程は、ほぼ職人の手作業に依存するが、職人の高齢化及び後継者不足のために年々に人手が不足しており、その結果、大量受注に対応できず、失注する場合もあるので、早急に自動化が求められている。また、端面研磨工程は、プレスした外周を研磨するコバ擦り、フォークの刃溝を研磨する刃擦りの２工程がある。これらは共に職人による手作業で行われ、前者はフォークの外周の法線方向に砥石を一定圧力で押し付けて研磨を行い、後者は薄い回転砥石の間にフォークの溝を差し込んで研磨を行うが、これらは何れも粉塵の吸入、砥石の破損、等によって作業者にとっては危険な作業である。その結果、ロボット等を使用する端面研磨工程の自動化が求められているが、端面研磨工程の自動化の際には、フォークの形状を事前に認識しておく必要がある。
【0003】
特許文献１には、投射方向毎に色合いの異なる、広がりを持ったカラーパターンを空間に投射するカラーパターン投射装置と、そのカラーパターンが投射された物体を撮影するカラー画像撮影装置と、撮影されたカラー画像及び投射パターンの情報から３次元座標を計算する演算装置とを使用して、カラー画像中の任意の点の画像座標と、その点の画像データの色合いから計算によって復元されるプロジェクタ座標とから、アクティブステレオ法又は三角測量法に基づいて物体の３次元座標を計算して求めることによって、物体の３次元形状を計測する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００１－３３０４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１のよる物体の３次元形状を計測する方法においては、連続的に変化する多種類の色相の光を投射することから、ノイズの影響を受けやすく、また、投射される光の色相によっては物体からの鏡面反射の影響を受けて、正確に物体の３次元座標を計算することができないという問題点がある。
【0006】
従って、本発明の目的は、上記問題点を解決して、３次元対象物の形状を認識することができる、３次元対象物の形状を自動的に測定する装置及び方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の１つの観点によれば、３次元対象物の形状を計測する方法が、３次元対象物に対して縞模様を投影するステップと、投影された３次元対象物の画像を撮影するステップと、撮影された画像から３次元対象物の高さを計算するステップとを含み、投影される縞模様が、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、通常縞模様とは２つの色相の位置が逆になっている反転縞模様とを含み、通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、３次元対象物の高さを計算する。
【0008】
本発明の一具体例によれば、この方法において、通常画像の色相チャネルと反転画像の色相チャネルとの比較によって取得された二値画像の歪みに基づいて、３次元対象物の高さを計算する。
【0009】
本発明の一具体例によれば、この方法において、２つの色相が、投影された縞模様による３次元対象物からの鏡面反射の影響を受けないように決定されている。
【0010】
本発明の一具体例によれば、この方法において、２つの色相が、ＨＳＶ色空間に基づく色相である。
【0011】
本発明の一具体例によれば、この方法において、通常画像の色相チャネル及び反転画像の色相チャネルを連続的な値を有する関数に変換し、通常画像の色相チャネルの関数による値と反転画像の色相チャネルの関数による値との比較に基づいて、３次元対象物の高さを計算する。
【0012】
本発明の一具体例によれば、この方法において、２つの色相に基づいて３次元対象物を撮影するための領域を２Ｍ個（Ｍは正の整数）の区域に分割するように、３次元対象物に対して縞模様を投影するステップをＭ回実行し、各投影するステップにおける通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて３次元対象物の高さを計算する。
【0013】
本発明の一具体例によれば、この方法において、各投影するステップにおける通常縞模様及び反転縞模様を、グレイコードに従って作成する。
【0014】
本発明の一具体例によれば、この方法がコンピュータプログラムによって実行される。
【0015】
本発明の別の観点によれば、３次元対象物の形状を計測する装置が、３次元対象物に対して縞模様を投影するプロジェクタと、投影された３次元対象物の画像を撮影するカメラと、撮影された画像から３次元対象物の高さを計算するプロセッサとを備え、投影される縞模様が、干渉し合わないように波長の長さが離れている２つの色相の光からなる通常縞模様と、通常縞模様とは２つの色相の位置が逆になっている反転縞模様とを含み、プロセッサが、通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、３次元対象物の高さを計算する。
【0016】
本発明の一具体例によれば、この装置において、プロセッサが、通常画像の色相チャネルと反転画像の色相チャネルとの比較によって取得された二値画像の歪みに基づいて、３次元対象物の高さを計算する。
【0017】
本発明の一具体例によれば、この装置において、２つの色相が、投影された縞模様による３次元対象物からの鏡面反射の影響を受けないように決定されている。
【0018】
本発明の一具体例によれば、この装置において、２つの色相が、ＨＳＶ色空間に基づく色相である。
【0019】
本発明の一具体例によれば、この装置において、プロセッサが、通常画像の色相チャネル及び反転画像の色相チャネルを連続的な値を有する関数に変換し、通常画像の色相チャネルの関数による値と反転画像の色相チャネルの関数による値との比較に基づいて、３次元対象物の高さを計算する。
【0020】
本発明の一具体例によれば、この装置において、プロセッサが、２つの色相に基づいて３次元対象物を撮影するための領域を２Ｍ個（Ｍは正の整数）の区域に分割するように、３次元対象物に対して縞模様をＭ回投影し、プロセッサは、各投影における通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて、３次元対象物の高さを計算する。
【0021】
本発明の一具体例によれば、この装置において、プロジェクタが、各投影における通常縞模様及び反転縞模様を、グレイコードに従って作成する。
【発明の効果】
【0022】
本発明によれば、人間の眼で３次元対象物の形状を確認することなく、自動的に３次元対象物の形状を認識することができる。
【0023】
なお、本発明の他の目的、特徴及び利点は、添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態としての、３次元対象物の形状を計測する装置の概略図である。
【図2】２つの色相に基づく縞模様を作成する方法の概略図である。
【図3A】３次元対象物の形状における点群データ及び法線方向のデータの概略図である。
【図3B】３次元対象物の形状に沿って等間隔に削減された間引き点群データ及び間引き法線方向のデータの概略図である。
【図3C】３次元対象物の形状における曲率又は法線方向のデータの変化量に応じて削減された間引き点群データ及び間引き法線方向のデータの概略図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施例について図面を参照して説明するが、本発明はこれらの実施例に限定されるものではない。
【0026】
図１を参照して、本発明の一実施形態としての、３次元対象物の形状を計測する装置１０１について説明する。装置１０１は、ステージ１０６上に配置された３次元対象物に対して縞模様を投影するプロジェクタ１０２と、投影された３次元対象物の画像を撮影するカメラ１０３と、撮影された画像から３次元対象物の高さを計算するプロセッサ１０４とを備える。縞模様が３次元対象物にプロジェクタ１０２によって投影されると、カメラ１０３によって撮影される縞模様は、３次元対象物の高さに応じてシフトするように歪んでおり、プロセッサ１０４は、この縞模様の歪み量から３次元対象物の高さを計算することができる。プロジェクタ１０２によって投影される縞模様は、２つの色相の光からなる通常縞模様と、通常縞模様とは２つの色相の位置が逆になっている反転縞模様とを含む。２つの色相の光は、干渉し合わないように波長の長さが離れていることが好ましく、例えば、赤色の光及び青色の光からなるが、これに限定されるものではない。また、２つの色相は、投影された縞模様による３次元対象物からの鏡面反射の影響を受けないように決定されてもよい。プロセッサ１０４は、通常縞模様による撮影からの通常画像の色相チャネルと反転縞模様による撮影からの反転画像の色相チャネルとの比較に基づいて３次元対象物の高さを計算する。通常縞模様による投影に加えて反転縞模様による投影を行うことによって、通常画像における縞模様の歪み量及び反転画像における縞模様の歪み量という２つの歪み量を使用して３次元対象物の高さを計算することができ、頑健に３次元対象物の形状を計測することができる。プロセッサ１０４の動作は、コンピュータプログラムに従って実行されてもよい。コンピュータプログラムは、プロセッサ１０４に内蔵されたメモリに記憶されてもよいし、プロセッサが動作する際に、プロセッサ１０４の外にあるメモリからプロセッサ１０４に読み出されてもよい。
【0027】
図２を参照して、３次元対象物の形状を測定するための２つの色相に基づく通常縞模様及び反転縞模様を作成する方法について説明する。プロジェクタ１０２は、投影される縞模様の数に応じて計測分解能を変化させることができる。投影される縞模様の数をＭ（Ｍは正の整数）とし、プロジェクタ１０２が３次元対象物に対してＭ個の縞模様をそれぞれ投影することによって、３次元対象物を撮影するための領域が、２つの色相による２進数から２Ｍ個の区域に分割され、各区域が０～２Ｍ－１のコードワードによって区別される。バイナリコードの代わりにグレイコードに従って、通常縞模様及び反転縞模様を作成して、３次元対象物を撮影するための領域を２Ｍ個の区域に分割する。グレイコードは、情報理論において周知のコードであり、ビットエラーの低減に効果的である。グレイコードは下記の式によって画定される。
ｇ１及びｂ１は、それぞれｎビットグレイコード及びｎビットバイナリコードの最上位ビット（ＭＳＢ：Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）（１番目のビット）である。ｇｉは、ｎビットグレイコードのｉ番目のビットであり、ｂｉは、ｎビットバイナリコードのｉ番目のビットである。下記の式は、排他的論理和演算子である。
投影される縞模様の数は、グレイコードのビット数と同じである。図２は、Ｍ＝３の場合の縞模様を作成する方法の例を示す。第１に、２つの色相に基づいて３次元対象物を撮影するための領域を２Ｍ個の区域に分割するように、１０進数の０～２Ｍ－１によって表される２Ｍ個のコードワードがグレイコードに変換される。第２に、グレイコードによって表された２Ｍ個のコードワードは、第１のビット、第２のビット、第３のビットのように垂直に整列される。第３に、垂直に整列された２Ｍのコードワードが水平に結合される。第４に、ビット列が水平方向に抽出され、０ビット及び１ビットがそれぞれ２つの色相のうちの１つに変換される（例えば、０ビットが青、１ビットが赤に変換される）。２つの色相のシーケンスによって通常縞模様が作成され、通常縞模様から２つの色相の位置を交換することによって反転縞模様が作成される。
【数1】
ｇ１及びｂ１は、それぞれｎビットグレイコード及びｎビットバイナリコードの最上位ビット（ＭＳＢ：Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）（１番目のビット）である。ｇｉは、ｎビットグレイコードのｉ番目のビットであり、ｂｉは、ｎビットバイナリコードのｉ番目のビットである。下記の式は、排他的論理和演算子である。
【数2】
投影される縞模様の数は、グレイコードのビット数と同じである。図２は、Ｍ＝３の場合の縞模様を作成する方法の例を示す。第１に、２つの色相に基づいて３次元対象物を撮影するための領域を２Ｍ個の区域に分割するように、１０進数の０～２Ｍ－１によって表される２Ｍ個のコードワードがグレイコードに変換される。第２に、グレイコードによって表された２Ｍ個のコードワードは、第１のビット、第２のビット、第３のビットのように垂直に整列される。第３に、垂直に整列された２Ｍのコードワードが水平に結合される。第４に、ビット列が水平方向に抽出され、０ビット及び１ビットがそれぞれ２つの色相のうちの１つに変換される（例えば、０ビットが青、１ビットが赤に変換される）。２つの色相のシーケンスによって通常縞模様が作成され、通常縞模様から２つの色相の位置を交換することによって反転縞模様が作成される。
【0028】
プロジェクタ１０２は、作成された通常縞模様及び反転縞模様を３次元対象物に対して投影し、カメラ１０３は、通常縞模様及び反転縞模様が投影された３次元対象物の画像を撮影する。そして、プロセッサ１０４は、カメラ１０３によって撮影された通常画像及び反転画像から、３次元対象物の形状の高さｚを計算するための二値画像を下記の式によって作成する。
ＩＨ，ｎｏｒ（ｘ，ｙ）は、撮影された通常画像の座標（ｘ，ｙ）の色相チャネルであり、ＩＨ，ｒｅｖ（ｘ，ｙ）は、撮影された反転画像の座標（ｘ，ｙ）の色相チャネルであり、ｂｉｎ（ｘ，ｙ）は、座標（ｘ，ｙ）の二値画像の値である。プロセッサ１０４は、撮影された通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）と撮影された反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）とを比較し、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）より大きい場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は１に画定され、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）以下である場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は０に画定される。少なくとも３次元対象物に関連する座標（ｘ，ｙ）において、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）と反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）とを比較することによって二値画像を作成する。プロジェクタ１０２による通常縞模様及び反転縞模様の３次元対象物に対する投影はＭ回実行され、プロセッサ１０４は、各投影においてカメラ１０３によって撮影された通常縞模様による通常画像及び反転縞模様による反転画像から二値画像を作成する。このように作成されたＭ個の二値画像は、３次元対象物がステージ１０６上にない場合に撮影された通常縞模様による通常画像及び反転縞模様による反転画像から作成された二値画像より３次元対象物の高さｚに応じて歪んでおり、プロセッサ１０４は、このように作成されたＭ個の二値画像の歪みに基づいて３次元対象物の高さｚを計算する。
【数3】
ＩＨ，ｎｏｒ（ｘ，ｙ）は、撮影された通常画像の座標（ｘ，ｙ）の色相チャネルであり、ＩＨ，ｒｅｖ（ｘ，ｙ）は、撮影された反転画像の座標（ｘ，ｙ）の色相チャネルであり、ｂｉｎ（ｘ，ｙ）は、座標（ｘ，ｙ）の二値画像の値である。プロセッサ１０４は、撮影された通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）と撮影された反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）とを比較し、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）より大きい場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は１に画定され、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）以下である場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は０に画定される。少なくとも３次元対象物に関連する座標（ｘ，ｙ）において、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）と反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）とを比較することによって二値画像を作成する。プロジェクタ１０２による通常縞模様及び反転縞模様の３次元対象物に対する投影はＭ回実行され、プロセッサ１０４は、各投影においてカメラ１０３によって撮影された通常縞模様による通常画像及び反転縞模様による反転画像から二値画像を作成する。このように作成されたＭ個の二値画像は、３次元対象物がステージ１０６上にない場合に撮影された通常縞模様による通常画像及び反転縞模様による反転画像から作成された二値画像より３次元対象物の高さｚに応じて歪んでおり、プロセッサ１０４は、このように作成されたＭ個の二値画像の歪みに基づいて３次元対象物の高さｚを計算する。
【0029】
カメラ１０３によって撮影された３次元対象物のＲＧＢ色空間の画像から上記のように二値画像を作成して、３次元対象物の高さｚを計算してもよい。しかし、ＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ））色空間は、色相が輝度とは無関係であるので、３次元対象物からの鏡面反射による露光の変化に対して頑健であるので好ましい。従って、露光の変化による影響を低減するために、ＨＳＶ色空間の色相を使用してもよい。撮影された３次元対象物のＲＧＢ色空間の画像を、ＨＳＶ色空間の画像に下記の式によって変換する。
ＩＲＧＢはＲＧＢ色空間の画像であり、ＩＨＳＶは、ＨＳＶ色空間の画像である。ｆｓｐａｃｅは、ＲＧＢ色空間をＨＳＶ色空間に変換する関数である。ＩＨは画像の色相チャネルであり、ｆｃｈａｎｎｅｌは、ＨＳＶ色空間の画像から色相チャネルのみを抽出し、色相チャネルを０～１の範囲に正規化する関数である。一般的に、色相チャネルが増加すると、表される色は、赤（０）、黄（１／６）、緑（１／３）、青（２／３）、赤（１）のように周期的に変化する。しかし、赤に近い色相チャネルの場合、ＩＨは０又は１に近い値であるので、ＩＨの値は不安定になる。この問題を解決するために、ＩＨに下記の式を適用する。
ＩＨ（ｘ，ｙ）は、座標（ｘ，ｙ）での色相チャネルＩＨであり、０～１に正規化された色相チャネルＩＨは、－１～１の範囲の余弦値Ｉ’Ｈに変換される。０又は１に近い値である赤に近い色相チャネルの場合であっても、連続的になるように１に近い値に変換されて安定する。これによって、色相チャネルの情報を効果的に利用することができる。そして、プロセッサ１０４は、カメラ１０３によって撮影された通常画像及び反転画像から、上記の式を使用して、３次元対象物の形状の高さｚを計算するための二値画像を下記の式によって作成する。
Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）は、撮影された通常画像の座標（ｘ，ｙ）の色相チャネルの余弦値であり、Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）は、撮影された反転画像の座標（ｘ，ｙ）の色相チャネルの余弦値であり、ｂｉｎ（ｘ，ｙ）は、座標（ｘ，ｙ）の余弦値による二値画像の値である。プロセッサ１０４は、撮影された通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）と撮影された反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）とを比較し、通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）より大きい場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は１に画定され、通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）以下である場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は０に画定される。少なくとも３次元対象物に関連する座標（ｘ，ｙ）において、通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）と反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）とを比較することによって二値画像を作成する。このように色相チャネルの余弦値を使用することによって、３次元対象物に縞模様を投影する際に発生する鏡面反射による測定誤差を低減することができる。また、上記と同様に、プロジェクタ１０２による通常縞模様及び反転縞模様の３次元対象物に対する投影はＭ回実行され、プロセッサ１０４は、各投影においてカメラ１０３によって撮影された通常縞模様による通常画像及び反転縞模様による反転画像から二値画像を作成する。このように作成されたＭ個の二値画像は、３次元対象物がステージ１０６上にない場合に撮影された通常縞模様による通常画像及び反転縞模様による反転画像から作成された二値画像より３次元対象物の高さｚに応じて歪んでおり、プロセッサ１０４は、このように作成されたＭ個の二値画像の歪みに基づいて３次元対象物の高さｚを計算する。
【数4】
ＩＲＧＢはＲＧＢ色空間の画像であり、ＩＨＳＶは、ＨＳＶ色空間の画像である。ｆｓｐａｃｅは、ＲＧＢ色空間をＨＳＶ色空間に変換する関数である。ＩＨは画像の色相チャネルであり、ｆｃｈａｎｎｅｌは、ＨＳＶ色空間の画像から色相チャネルのみを抽出し、色相チャネルを０～１の範囲に正規化する関数である。一般的に、色相チャネルが増加すると、表される色は、赤（０）、黄（１／６）、緑（１／３）、青（２／３）、赤（１）のように周期的に変化する。しかし、赤に近い色相チャネルの場合、ＩＨは０又は１に近い値であるので、ＩＨの値は不安定になる。この問題を解決するために、ＩＨに下記の式を適用する。
【数5】
ＩＨ（ｘ，ｙ）は、座標（ｘ，ｙ）での色相チャネルＩＨであり、０～１に正規化された色相チャネルＩＨは、－１～１の範囲の余弦値Ｉ’Ｈに変換される。０又は１に近い値である赤に近い色相チャネルの場合であっても、連続的になるように１に近い値に変換されて安定する。これによって、色相チャネルの情報を効果的に利用することができる。そして、プロセッサ１０４は、カメラ１０３によって撮影された通常画像及び反転画像から、上記の式を使用して、３次元対象物の形状の高さｚを計算するための二値画像を下記の式によって作成する。
【数6】
Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）は、撮影された通常画像の座標（ｘ，ｙ）の色相チャネルの余弦値であり、Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）は、撮影された反転画像の座標（ｘ，ｙ）の色相チャネルの余弦値であり、ｂｉｎ（ｘ，ｙ）は、座標（ｘ，ｙ）の余弦値による二値画像の値である。プロセッサ１０４は、撮影された通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）と撮影された反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）とを比較し、通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）より大きい場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は１に画定され、通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）が反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）以下である場合には、座標（ｘ，ｙ）の二値画像の値ｂｉｎ（ｘ，ｙ）は０に画定される。少なくとも３次元対象物に関連する座標（ｘ，ｙ）において、通常画像の色相チャネルの余弦値Ｉ’Ｈ，ｎｏｒ（ｘ，ｙ）と反転画像の色相チャネルの余弦値Ｉ’Ｈ，ｒｅｖ（ｘ，ｙ）とを比較することによって二値画像を作成する。このように色相チャネルの余弦値を使用することによって、３次元対象物に縞模様を投影する際に発生する鏡面反射による測定誤差を低減することができる。また、上記と同様に、プロジェクタ１０２による通常縞模様及び反転縞模様の３次元対象物に対する投影はＭ回実行され、プロセッサ１０４は、各投影においてカメラ１０３によって撮影された通常縞模様による通常画像及び反転縞模様による反転画像から二値画像を作成する。このように作成されたＭ個の二値画像は、３次元対象物がステージ１０６上にない場合に撮影された通常縞模様による通常画像及び反転縞模様による反転画像から作成された二値画像より３次元対象物の高さｚに応じて歪んでおり、プロセッサ１０４は、このように作成されたＭ個の二値画像の歪みに基づいて３次元対象物の高さｚを計算する。
【0030】
なお、上記では色相チャネルＩＨは余弦値Ｉ’Ｈに変換されたが、色相チャネルＩＨは、プロセッサ１０４によって０～１の範囲で連続的な値を有する関数によって変換されてもよく、選択される２つの色相に応じて、例えば、正弦関数、三角波関数、等のような周期的な関数によって変換されてもよい。プロセッサ１０４は、通常画像の色相チャネルＩＨ，ｎｏｒ（ｘ，ｙ）の関数による値と反転画像の色相チャネルＩＨ，ｒｅｖ（ｘ，ｙ）の関数による値との比較に基づいて、３次元対象物の高さを計算してもよい。
【0031】
プロセッサ１０４は、３次元対象物の高さを下記の式の関数によって計算する。
ｚは３次元対象物の高さであり、ａ０、ａ１、及びａ２は下記の校正フェーズにおいて計算された係数であり、ｓは二値画像の歪み量である。３次元対象物の高さを計算するために、第１に、上記のように、３次元対象物に対して縞模様を投影し、二値画像を作成して、３次元対象物の３点についての縞模様の歪み量ｓ１、ｓ２、及びｓ３、並びに３次元対象物の高さｚ１、ｚ２、及びｚ３をそれぞれ測定する（標本フェーズ）。第２に、標本フェーズにおいて取得された歪み量ｓ１、ｓ２、及びｓ３、並びに３次元対象物の高さｚ１、ｚ２、及びｚ３をそれぞれ上記の式に代入して３つの方程式による連立方程式を作成し、連立方程式を解くことによって係数ａ０、ａ１、及びａ２を取得する（校正フェーズ）。取得された係数ａ０、ａ１、及びａ２を上記の式に代入し、二値画像から取得された３次元対象物の任意の座標（ｘ，ｙ）の縞模様の歪み量から、３次元対象物の任意の座標（ｘ，ｙ）における高さｚを計算する（測定フェーズ）。このようにして、プロセッサ１０４は、３次元対象物の横方向の位置ｘ、縦方向の位置ｙに対する高さｚを計算することによって、３次元対象物の形状を認識するための３次元対象物の形状の点群データを取得する。なお、上記では係数は３つであるが、それより多くてもよく、係数の数に応じて標本フェーズで測定する点の数を増やし、校正フェーズで係数の数に応じた連立方程式を解いて係数を取得してもよい。
【数7】
ｚは３次元対象物の高さであり、ａ０、ａ１、及びａ２は下記の校正フェーズにおいて計算された係数であり、ｓは二値画像の歪み量である。３次元対象物の高さを計算するために、第１に、上記のように、３次元対象物に対して縞模様を投影し、二値画像を作成して、３次元対象物の３点についての縞模様の歪み量ｓ１、ｓ２、及びｓ３、並びに３次元対象物の高さｚ１、ｚ２、及びｚ３をそれぞれ測定する（標本フェーズ）。第２に、標本フェーズにおいて取得された歪み量ｓ１、ｓ２、及びｓ３、並びに３次元対象物の高さｚ１、ｚ２、及びｚ３をそれぞれ上記の式に代入して３つの方程式による連立方程式を作成し、連立方程式を解くことによって係数ａ０、ａ１、及びａ２を取得する（校正フェーズ）。取得された係数ａ０、ａ１、及びａ２を上記の式に代入し、二値画像から取得された３次元対象物の任意の座標（ｘ，ｙ）の縞模様の歪み量から、３次元対象物の任意の座標（ｘ，ｙ）における高さｚを計算する（測定フェーズ）。このようにして、プロセッサ１０４は、３次元対象物の横方向の位置ｘ、縦方向の位置ｙに対する高さｚを計算することによって、３次元対象物の形状を認識するための３次元対象物の形状の点群データを取得する。なお、上記では係数は３つであるが、それより多くてもよく、係数の数に応じて標本フェーズで測定する点の数を増やし、校正フェーズで係数の数に応じた連立方程式を解いて係数を取得してもよい。
【0032】
プロセッサ１０４は、上記のように取得された点群データをメモリ１０５に記憶させる。また、プロセッサ１０４は、３次元対象物の形状の各点に対応する点群データをメモリ１０５から取得する。プロセッサ１０４は、図３Ａに示すように、３次元対象物２０１の形状の各点に関連付けて、点群データ２０２を３次元対象物の形状に対する法線方向のデータ２０３に変換する。プロセッサ１０４は、このように変換することによって取得された法線方向のデータ２０３をメモリ１０５に送信し、３次元対象物の形状の対応する点に関連付けて、各法線方向のデータ２０３をメモリ１０５に記憶させる。法線方向のデータ２０３は、３次元対象物２０１の表面の各点から３次元対象物２０１の表面に対する法線方向に延伸する、３次元のベクトルデータである。なお、メモリ１０５は、プロセッサ１０４に内蔵されていてもよいし、プロセッサ１０４の外にあってもよい。また、プロセッサ１０４の動作は、コンピュータプログラムに従って実行されてもよい。コンピュータプログラムは、メモリ１０５に記憶されてもよい。
【0033】
上記のように取得された点群データ２０２は、非常にデータ量が多い場合があり、メモリ１０５の多くの部分を占有し、送信する際に時間を要する。プロセッサ１０４は、３次元対象物２０１の形状における所定の距離に応じて、点群データ２０２及び法線方向のデータ２０３を削減してもよい。例えば、図３Ｂに示すように、プロセッサ１０４は、３次元対象物２０１の形状に沿って等間隔に点群データ２０２及び法線方向のデータ２０３を削減して、間引き点群データ２０４及び間引き法線方向のデータ２０５を作成してもよい。
【0034】
また、プロセッサ１０４は、３次元対象物２０１の形状の各点における曲率に応じて点群データ２０２及び法線方向のデータ２０３を削減してもよい。図３Ａに示すように、３次元対象物２０１の左側部分は、３次元対象物２０１の形状において曲率が大きい一方で、３次元対象物２０１の右側部分は、３次元対象物２０１の形状において曲率が小さい。曲率が小さい部分は、３次元対象物２０１の形状がほとんど変化せず、法線方向のデータ２０３もほとんど変化しない。例えば、図３Ｃに示すように、曲率が所定の値より小さい部分においては、法線方向のデータを削減し、更には削減された法線方向のデータに関連付けられた点群データも削減して、間引き点群データ２０４及び間引き法線方向のデータ２０５を作成してもよい。なお、この小さい部分においては、同じ間引き法線方向のデータ２０５を使用してもよい。
【0035】
また同様に、プロセッサ１０４は、３次元対象物２０１の形状における法線方向のデータ２０３の変化量に応じて、点群データ２０２及び法線方向のデータ２０３を削減してもよい。図３Ａに示すように、３次元対象物２０１の左側部分は、３次元対象物２０１の形状において法線方向のデータ２０３が大きく変化する一方で、３次元対象物２０１の右側部分は、３次元対象物２０１の形状において法線方向のデータ２０３がほとんど変化しない。例えば、図３Ｃに示すように、法線方向のデータ２０３の変化量が所定の値より小さい部分においては、法線方向のデータを削減し、更には削減された法線方向のデータに関連付けられた点群データも削減して、間引き点群データ２０４及び間引き法線方向のデータ２０５を作成してもよい。なお、この小さい部分においては、同じ間引き法線方向のデータ２０５を使用してもよい。
【0036】
プロセッサ１０４は、点群データ２０２及び法線方向のデータ２０３を削減することによって作成された間引き点群データ２０４及び間引き法線方向のデータ２０５をメモリ１０５に記憶させる。
【0037】
３次元対象物の形状を計測する装置１０１によって取得された点群データ２０２及び法線方向のデータ２０３、又は間引き点群データ２０４及び間引き法線方向のデータ２０５は、図４に示す３次元対象物２０１の形状に沿って多関節ロボットを作動させる装置３０１によって使用されてもよい。装置３０１は、３次元対象物の形状を計測する装置１０１を備える計測器３０２と、３次元対象物の形状に沿って自動的に作動する多関節ロボット３０３とを備える。３次元対象物の形状の点群データ（ｘ，ｙ，ｚ）は、３次元対象物の形状である表面を表すための３次元の位置情報であり、点群データに基づいて、多関節ロボット３０３は、３次元対象物の形状に沿って自動的に作動することができる。なお、多関節ロボット３０３は、例えば、６軸垂直多関節ロボットであってもよいが、これに限定されない。
【0038】
装置３０１は、コントローラ３０４を更に備え、コントローラ３０４は、計測器３０２によって取得された３次元対象物の形状の点群データ、及び３次元対象物の形状の対応する点に関連付けられた法線方向のデータ（ｖｘ，ｖｙ，ｖｚ）を受信する。法線方向のデータは、例えば、３次元対象物の表面の各点から３次元対象物の表面に対する法線方向に延伸する、大きさが１に規格化された３次元のベクトルデータである。コントローラ３０４は、法線方向のデータに基づいて、法線方向から多関節ロボット３０３の先端部３０５を３次元対象物に接触させるように多関節ロボット３０３を作動させる。多関節ロボット３０３の先端部３０５には、３次元対象物に対して研磨、バリ取り、及びビード取りのうちの少なくとも１つを実行することができる工具が取り付けられており、３次元対象物を特定の場所に固定して、コントローラ３０４は、法線方向から工具が取り付けられた多関節ロボット３０３の先端部３０５を固定された３次元対象物に接触させて、多関節ロボット３０３の先端部３０５に、３次元対象物に対して研磨、バリ取り、及びビード取りのうちの少なくとも１つを実行させることができる。また、多関節ロボット３０３の先端部３０５に３次元対象物を取り付け、研磨、バリ取り、及びビード取りのうちの少なくとも１つを実行することができる工具を特定の場所に固定して、コントローラ３０４は、法線方向から３次元対象物が取り付けられた多関節ロボット３０３の先端部３０５を固定された工具に接触させて、多関節ロボット３０３の先端部３０５に、３次元対象物に対して研磨、バリ取り、及びビード取りのうちの少なくとも１つを実行させてもよい。コントローラ３０４の動作は、コンピュータプログラムに従って実行されてもよい。コンピュータプログラムは、コントローラ３０４に内蔵されたメモリに記憶されてもよいし、コントローラ３０４が動作する際に、コントローラ３０４の外にあるメモリからコントローラ３０４に読み出されてもよい。
【0039】
３次元対象物としては、例えば、スプーン、フォーク、ナイフ、等のカトラリー、ピンセット、メス、トング、ペンチ、ニッパのような食卓用製品、医療用製品、台所用製品、作業用製品、等であってもよく、鋳造製品、鍛造製品、溶接製品、等であってもよい。多関節ロボット３０３の先端部３０５は、プレス機による打抜き加工後のカトラリー等の３次元対象物を法線方向から接触させて研磨することができる。また、多関節ロボット３０３の先端部３０５は、鋳造加工後のプラスチック成形品、鍛造加工後の作業工具類、自動車部品、等の３次元対象物を法線方向から接触させてバリ取りをすることができる。また、多関節ロボット３０３の先端部３０５は、溶接加工後の３次元対象物のビード取りをすることができる。
【0040】
上記記載は特定の実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の特許請求の範囲の範囲内で種々の変更及び修正をすることができることは当業者に明らかである。
【符号の説明】
【0041】
１０１ ３次元対象物の形状を計測する装置
１０２ プロジェクタ
１０３ カメラ
１０４ プロセッサ
１０５ メモリ
１０６ ステージ
２０１ ３次元対象物
２０２ 点群データ
２０３ 法線方向のデータ
２０４ 間引き点群データ
２０５ 間引き法線方向データ
３０１ 多関節ロボットを作動させる装置
３０２ 計測器
３０３ 多関節ロボット
３０４ コントローラ
３０５ 先端部
３０６ 力覚センサ
１０２ プロジェクタ
１０３ カメラ
１０４ プロセッサ
１０５ メモリ
１０６ ステージ
２０１ ３次元対象物
２０２ 点群データ
２０３ 法線方向のデータ
２０４ 間引き点群データ
２０５ 間引き法線方向データ
３０１ 多関節ロボットを作動させる装置
３０２ 計測器
３０３ 多関節ロボット
３０４ コントローラ
３０５ 先端部
３０６ 力覚センサ
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
