特開2019-219208(P2019-219208A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オムロン株式会社の特許一覧
特開2019-219208画像処理システムおよび画像処理方法
<>
  • 特開2019219208-画像処理システムおよび画像処理方法 図000003
  • 特開2019219208-画像処理システムおよび画像処理方法 図000004
  • 特開2019219208-画像処理システムおよび画像処理方法 図000005
  • 特開2019219208-画像処理システムおよび画像処理方法 図000006
  • 特開2019219208-画像処理システムおよび画像処理方法 図000007
  • 特開2019219208-画像処理システムおよび画像処理方法 図000008
  • 特開2019219208-画像処理システムおよび画像処理方法 図000009
  • 特開2019219208-画像処理システムおよび画像処理方法 図000010
  • 特開2019219208-画像処理システムおよび画像処理方法 図000011
  • 特開2019219208-画像処理システムおよび画像処理方法 図000012
  • 特開2019219208-画像処理システムおよび画像処理方法 図000013
  • 特開2019219208-画像処理システムおよび画像処理方法 図000014
  • 特開2019219208-画像処理システムおよび画像処理方法 図000015
  • 特開2019219208-画像処理システムおよび画像処理方法 図000016
  • 特開2019219208-画像処理システムおよび画像処理方法 図000017
  • 特開2019219208-画像処理システムおよび画像処理方法 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-219208(P2019-219208A)
(43)【公開日】2019年12月26日
(54)【発明の名称】画像処理システムおよび画像処理方法
(51)【国際特許分類】
   G01B 11/24 20060101AFI20191129BHJP
   G01B 11/25 20060101ALI20191129BHJP
   G06T 7/521 20170101ALI20191129BHJP
【FI】
   G01B11/24 K
   G01B11/25 H
   G06T7/521
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【全頁数】25
(21)【出願番号】特願2018-115262(P2018-115262)
(22)【出願日】2018年6月18日
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】奥濃 基晴
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA53
2F065BB05
2F065DD03
2F065FF08
2F065GG21
2F065HH07
2F065LL28
2F065LL53
2F065SS13
2F065UU05
5L096AA06
5L096CA17
5L096CA21
5L096DA01
5L096FA23
5L096FA59
5L096FA64
5L096FA66
5L096FA69
5L096GA08
5L096GA51
(57)【要約】
【課題】信頼性の高い計測結果を得ることを支援する画像処理装置を提供する。
【解決手段】画像処理システムは、対象物の撮像によって得られた撮像画像に基づいて、対象物の三次元形状を計測する計測部と、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出する信頼度算出部と、算出された指標が予め定められた基準を満たすか否かを領域毎に評価する信頼度評価部と、三次元形状の計測結果と、撮像画像において基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
対象物の撮像によって得られた第1の撮像画像に基づいて、前記対象物の三次元形状を計測する計測部と、
前記第1の撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す第1の指標を領域毎に算出する信頼度算出部と、
算出された前記第1の指標が予め定められた第1の基準を満たすか否かを前記領域毎に評価する信頼度評価部と、
前記三次元形状の計測結果と、前記第1の撮像画像において前記第1の基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部とを備える、画像処理システム。
【請求項2】
前記信頼度算出部は、前記第1の撮像画像に基づいて、前記信頼度を示す第2の指標を領域毎にさらに算出し、
前記信頼度評価部は、算出された前記第2の指標が予め定められた第2の基準を満たすか否かを前記領域毎にさらに評価し、
前記結果画像は、前記第1の撮像画像において前記第2の基準を満たさない領域をさらに示す、請求項1に記載の画像処理システム。
【請求項3】
前記表示部は、前記第1の基準を満たさない領域を第1の態様で表示し、かつ前記第2の基準を満たさない領域を第2の態様で表示する、請求項2に記載の画像処理システム。
【請求項4】
前記表示部は、前記第1の撮像画像に重畳させた状態で前記結果画像を表示する、請求項1から3のいずれか1項に記載の画像処理システム。
【請求項5】
前記表示部は、前記計測結果に重畳させた状態で前記結果画像を表示する、請求項1から3のいずれか1項に記載の画像処理システム。
【請求項6】
予め定められた空間パターンを被写体に投影する投影部と、
前記対象物を撮像する撮像部とをさらに備え、
前記撮像部は、前記対象物に前記空間パターンが投影された状態で前記対象物を撮像することより前記第1の撮像画像を生成し、
前記計測部は、前記第1の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
前記撮像部は、前記空間パターンが投影されていない状態で前記対象物をさらに撮像することにより第2の撮像画像を生成し、
前記表示部は、前記第2の撮像画像に重畳させた状態で前記結果画像を表示する、請求項1から3のいずれか1項に記載の画像処理システム。
【請求項7】
前記表示部は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第1の撮像画像のうちの一つが指定されると、指定された前記第1の撮像画像に重畳させた状態で当該第1の撮像画像によって得られた前記結果画像を表示する、請求項1から3のいずれか1項に記載の画像処理システム。
【請求項8】
前記表示部は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第1の撮像画像の各々に当該第1の撮像画像によって得られた前記結果画像を重畳した状態で複数の前記結果画像を表示する、請求項1から3のいずれか1項に記載の画像処理システム。
【請求項9】
前記複数回の撮像は、互いに異なる位置からの撮像である、請求項7または8に記載の画像処理システム。
【請求項10】
前記第1の態様と前記第2の態様とでは、色、ハッチングパターン、または点滅パターンが異なる、請求項3に記載の画像処理システム。
【請求項11】
前記投影部は、前記結果画像を前記対象物に投影する、請求項6に記載の画像処理システム。
【請求項12】
予め定められた空間パターンを被写体に投影する投影部と、
前記対象物を撮像する撮像部とをさらに備え、
前記撮像部は、前記対象物に前記空間パターンが投影された状態で前記対象物を撮像することより前記第1の撮像画像を生成し、
前記計測部は、前記第1の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
前記第1の指標は、前記計測時の光量、前記第1の撮像画像に現れるパターンの崩れ、および前記第1の撮像画像に現れるパターンのボケの三つの指標のうちの一つであり、
前記第2の指標は、前記三つの指標のうち、前記第1の指標とは異なる一つの指標である、請求項2または3に記載の画像処理システム。
【請求項13】
前記信頼度評価部は、前記第1の基準を満たさない領域と、前記第2の基準を満たさない領域とが重複している場合、当該重複している領域の周囲の領域の前記計測結果に基づいて、当該重複している領域において予め定められた事象が起こっているか否かをさらに推定し、
前記結果画像は、前記予め定められた事象が起こっていると判断された領域をさらに示す、請求項2または3に記載の画像処理システム。
【請求項14】
前記信頼度評価部は、前記第1の基準を満たさない領域と、前記第2の基準を満たさない領域とが重複している場合、前記第1の指標と前記第1の基準との差分および前記第2の指標と前記第2の基準との差分とに基づいて、前記第1の指標および前記第2の指標のうち前記信頼度を低下させている度合いの大きい方の指標を特定し、
前記表示部は、前記第1の態様と前記第2の態様とのうち、特定された前記指標に応じた態様で前記結果画像を表示する、請求項3に記載の画像処理システム。
【請求項15】
対象物を撮像するステップと、
前記撮像により得られた撮像画像に基づいて、前記対象物の三次元形状を計測するステップと、
前記撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す指標を領域毎に算出するステップと、
算出された前記指標が予め定められた基準を満たすか否かを前記領域毎に評価するステップと、
前記三次元形状の計測結果と、前記基準を満たさない領域を示す結果画像とを、同時または選択的に表示するステップとを備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システムおよび画像処理方法に関する。
【背景技術】
【0002】
従来、対象物の三次元計測を行う三次元計装置が知られている。
このような三次元計測装置として、たとえば特許文献1には、ステレオ画像間の対応位置を探索することによって静止物体(対象物)の三次元計測を行うステレオ三次元計測システムが開示されている。このステレオ三次元計測システムは、静止物体までの距離を計測し、計測して得られた計測結果を表示装置に表示させる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−275366号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
三次元計測に関し、信頼性の高い計測結果を得るためには、三次元計測についての信頼度を示す指標が基準を満たしている必要がある。
【0005】
しかしながら、特許文献1のステレオ三次元計測システムにおいては、ユーザが計測結果あるいは撮像画像を視認しても、ユーザは上記指標が基準を満たしているか否かを判断することはできない。特に、ユーザが、計測結果あるいは撮像画像を目視したところで、上記指標が基準を満たしていない領域を特定することは極めて困難である。
【0006】
本開示は、上記の問題点に鑑みなされたものであって、その目的は、信頼性の高い計測結果を得ることを支援する画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【0007】
本開示のある局面に従うと、画像処理システムは、対象物の撮像によって得られた第1の撮像画像に基づいて、対象物の三次元形状を計測する計測部と、第1の撮像画像に基づいて、三次元形状の計測についての信頼度を示す第1の指標を領域毎に算出する信頼度算出部と、算出された第1の指標が予め定められた第1の基準を満たすか否かを領域毎に評価する信頼度評価部と、三次元形状の計測結果と、第1の撮像画像において第1の基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部とを備える。
【0008】
上記の構成によれば、ユーザが表示部に表示された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。それゆえ、三次元計測システムによれば、信頼性の高い計測結果を得ることを支援することができる。
【0009】
好ましくは、信頼度算出部は、第1の撮像画像に基づいて、信頼度を示す第2の指標を領域毎にさらに算出する。信頼度評価部は、算出された第2の指標が予め定められた第2の基準を満たすか否かを領域毎にさらに評価する。結果画像は、第1の撮像画像において第2の基準を満たさない領域をさらに示す。
【0010】
上記の構成によれば、ユーザは、算出された各指標が領域毎に基準を満たしているか否かを知ることができる。
【0011】
好ましくは、表示部は、第1の基準を満たさない領域を第1の態様で表示し、かつ第2の基準を満たさない領域を第2の態様で表示する。
【0012】
上記の構成によれば、ユーザは、第1の指標について第1の基準を満たさなかった領域と、第2の指標について第2の基準を満たさない領域とを区別して視認することが可能となる。
【0013】
好ましくは、表示部は、第1の撮像画像に重畳させた状態で結果画像を表示する。
上記の構成によれば、ユーザは、対象物の撮像によって得られた撮像画像とともに結果画像を視認することが可能となる。
【0014】
好ましくは、表示部は、計測結果に重畳させた状態で結果画像を表示する。
上記の構成によれば、ユーザは、計測結果とともに結果画像を視認することが可能となる。
【0015】
好ましくは、画像処理システムは、予め定められた空間パターンを被写体に投影する投影部と、対象物を撮像する撮像部とをさらに備える。撮像部は、対象物に空間パターンが投影された状態で対象物を撮像することより第1の撮像画像を生成する。計測部は、第1の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、対象物の三次元形状を計測する。撮像部は、空間パターンが投影されていない状態で対象物をさらに撮像することにより第2の撮像画像を生成する。表示部は、第2の撮像画像に重畳させた状態で結果画像を表示する。
【0016】
上記の構成によれば、ユーザは、空間パターンが投影されていない状態の対象物の撮像画像とともに、結果画像を視認することが可能となる。
【0017】
好ましくは、表示部は、対象物の撮像が複数回行われた場合には、複数回の撮像により得られた複数の第1の撮像画像のうちの一つが指定されると、指定された第1の撮像画像に重畳させた状態で当該第1の撮像画像によって得られた結果画像を表示する。
【0018】
上記の構成によれば、画像処理システムは、複数の撮像画像が得られた場合、指定された1つの撮像画像について結果画像を表示することができる。
【0019】
好ましくは、表示部は、対象物の撮像が複数回行われた場合には、複数回の撮像により得られた複数の第1の撮像画像の各々に当該第1の撮像画像によって得られた結果画像を重畳した状態で複数の結果画像を表示する。
【0020】
上記の構成によれば、画像処理システムは、複数の撮像画像の各々に結果画像を重畳して表示する。それゆえ、ユーザは、各回の計測において算出された各指標が領域毎に各基準を満たしているか否かを、1つの画面表示で確認することができる。
【0021】
好ましくは、複数回の撮像は、互いに異なる位置からの撮像である。
上記の構成によれば、撮像位置の適否(良否)を客観的に評価可能となる。
【0022】
好ましくは、第1の態様と第2の態様とでは、色、ハッチングパターン、または点滅パターンが異なる。
【0023】
上記の構成によれば、ユーザは、表示部の表示を視認するだけで、第1の指標および第2の指標のうちの何れの指標が基準を満たしていなかったかを知ることができる。
【0024】
好ましくは、投影部は、結果画像を対象物に投影する。
上記の構成によれば、ユーザが対象物に投影された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。
【0025】
好ましくは、画像処理システムは、予め定められた空間パターンを被写体に投影する投影部と、対象物を撮像する撮像部とをさらに備える。撮像部は、対象物に空間パターンが投影された状態で対象物を撮像することより第1の撮像画像を生成する。計測部は、第1の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、対象物の三次元形状を計測する。第1の指標は、計測時の光量、第1の撮像画像に現れるパターンの崩れ、および第1の撮像画像に現れるパターンのボケの三つの指標のうちの一つである。第2の指標は、三つの指標のうち、第1の指標とは異なる一つの指標である。
【0026】
上記の構成によれば、ユーザは、計測時の光量、第1の撮像画像に現れるパターンの崩れ、および第1の撮像画像に現れるパターンのボケがそれぞれに設定された基準を満たしているか否かを判断することができる。
【0027】
好ましくは、信頼度評価部は、第1の基準を満たさない領域と、第2の基準を満たさない領域とが重複している場合、当該重複している領域の周囲の領域の計測結果に基づいて、当該重複している領域において予め定められた事象が起こっているか否かをさらに推定する。結果画像は、予め定められた事象が起こっていると判断された領域をさらに示す。
【0028】
上記の構成によれば、重複している領域において予め定められた事象が起こっている場合には、ユーザは、当該事象の発生を知ることができる。
【0029】
好ましくは、信頼度評価部は、第1の基準を満たさない領域と、第2の基準を満たさない領域とが重複している場合、第1の指標と第1の基準との差分および第2の指標と第2の基準との差分とに基づいて、第1の指標および第2の指標のうち信頼度を低下させている度合いの大きい方の指標を特定する。表示部は、第1の態様と第2の態様とのうち、特定された指標に応じた態様で結果画像を表示する。
【0030】
上記の構成によれば、ユーザは、第1の基準を満たさない領域と、第2の基準を満たさない領域とが重複している場合、当該重複している領域において信頼度を低下させている度合いの大きい要因(指標)を知ることができる。
【0031】
本開示の他の局面に従うと、画像処理方法は、対象物を撮像するステップと、撮像により得られた撮像画像に基づいて、対象物の三次元形状を計測するステップと、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出するステップと、算出された指標が予め定められた基準を満たすか否かを領域毎に評価するステップと、三次元形状の計測結果と、基準を満たさない領域を示す結果画像とを、同時または選択的に表示するステップとを備える。
【0032】
上記の方法によれば、ユーザが表示部に表示された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。それゆえ、三次元計測システムによれば、信頼性の高い計測結果を得ることを支援することができる。
【発明の効果】
【0033】
本開示によれば、信頼性の高い計測結果を得ることを支援することができる。
【図面の簡単な説明】
【0034】
図1】三次元計測システムにおける処理の概要を説明するための図である。
図2】三次元計測システムの概略構成を説明するための図である。
図3】3D計測センサの概略構成を表した図である。
図4】空間パターンの一例を表した図である。
図5】空間コード化法の計測原理を説明するための図である。
図6】空間パターンの投影時の大きさを説明するための図である。
図7】ユーザインターフェイスを生成するための処理を説明するための図である。
図8】表示例を説明するための図である。
図9】他の表示例を説明するための図である。
図10】さらに他の表示例を説明するための図である。
図11】第2の具体例の変形例を説明するための図である。
図12】三次元計測システムの機能的構成を説明するためのブロック図である。
図13】三次元計測システムにおいて実行される処理の流れを表したフロー図である。
図14】被写体の撮像が複数回行われた場合の表示例を表した図である。
図15】結果画像を被写体に投影した状態を表した図である。
図16】他の形態の三次元計測システムにおける3D計測センサの概略構成を表した図である。
【発明を実施するための形態】
【0035】
以下において、本発明の実施の形態について図面を参照しつつ説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについては詳細な説明は繰り返さない。
【0036】
§1 適用例
図1は、三次元計測システムにおける処理の概要を説明するための図である。
【0037】
図1を参照して、三次元計測システムは、撮像部と、画像処理システムとを備える。画像処理システムは、画像処理装置と、表示部とを備える。画像処理装置は、図示しない、計測部と、信頼度算出部と、信頼度評価部とを有する。
【0038】
撮像部は、状態(A)に示すように、被写体である対象物を撮像する。撮像部による撮像によって得られた撮像画像は、画像処理装置に送られる。
【0039】
画像処理装置の計測部は、対象物の撮像によって得られた撮像画像に基づいて、当該対象物の三次元形状を計測する。
【0040】
信頼度算出部は、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出する。
【0041】
信頼度評価部は、信頼度算出部によって算出された指標が予め定められた基準を満たすか否かを上記領域毎に評価する。
【0042】
表示部は、三次元形状の計測結果を表示する。また、表示部は、状態(B)に示すように、撮像画像において上記基準を満たさない領域V11,V12,V13を示す画像(以下、「結果画像」とも称する)を表示する。詳しくは、表示部は、上記計測結果と上記結果画像とを、同時または選択的に表示する。たとえば、表示部は、計測結果に結果画像を重畳させた状態で、これらの画像を表示する。
【0043】
上記の構成によれば、ユーザが表示部に表示された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。それゆえ、本例の三次元計測システムによれば、信頼性の高い計測結果を得ることを支援することができる。
【0044】
また、撮像部の設置位置を変更することにより、各設置位置において、結果画像を得ることができる。それゆえ、本例の三次元計測装置によれば、撮像部の設置位置を客観的に評価することも可能となる。
【0045】
§2 構成例
[実施の形態1]
<A.システム構成>
図2は、三次元計測システム1000の概略構成を説明するための図である。本例では、空間コード化法を用いて三次元計測を行う場合を説明する。
【0046】
図2を参照して、三次元計測システム1000は、3D(dimensions)計測センサ1と、画像処理システム50とを備える。画像処理システム50は、画像処理装置2と、ディスプレイ3と、キーボード4とを備える。画像処理装置2は、センサコントローラあるいは視覚センサとも称される。
【0047】
3D計測センサ1は、画像処理装置2と通信可能に接続されている。画像処理装置2は、ディスプレイ3に接続されている。キーボード4は、画像処理装置2に接続されている。
【0048】
3D計測センサ1は、典型的には、建物9内に設置される。3D計測センサ1は、設備等の対象物(被写体)を撮像する。なお、本例では、ワークWがコンベア上を搬送されている状態を表している。対象物の撮像により、設備とワークWとを含む撮像画像が得られる。
【0049】
詳細については後述するが、三次元計測システム1000は、空間コード化法を用いて、被写体の三次元計測を行う。
【0050】
<B.3Dセンサ>
図3は、3D計測センサ1の概略構成を表した図である。
【0051】
図3を参照して、3D計測センサ1は、投影部11と、撮像部12とを備えている。
投影部11は、光源111と、フォトマスク112と、光学系113とを有する。撮像部12は、受光素子121と、光学系122とを有する。
【0052】
光源111は、所定の波長の光をフォトマスク112の方向に向けて照射する。フォトマスク112には、所定のパターンが形成されている。フォトマスク112を通過した光は、光学系113を介して、外部に照射される。これにより、外部空間に空間パターンが投影される。
【0053】
撮像部12は、空間パターンが投影された状態の被写体を撮像する。詳しくは、光学系122を通過した光を受光素子121が受光することにより、撮像画像が得られる。
【0054】
なお、光学系113,122の各々は、1または複数のレンズを含んで構成される。
<C.空間コード化法>
三次元計測システム1000において用いられる空間コード化法について説明する。
【0055】
(c1.原理)
図4は、空間パターンの一例を表した図である。図4を参照して、空間パターンPは、フォトマスク112を光源111からの光が通過することによって生じる。
【0056】
空間パターンPは、被写体に投影される。撮像部12は、被写体に空間パターンPが投影された状態で、当該被写体を撮像する。
【0057】
図5は、空間コード化法の計測原理を説明するための図である。
図5(A)は、4種類のコードを表した図である。4種類のコードによって、0〜3の4つの数値を表現できる。
【0058】
図5(A)を参照して、各コードは、4つの大きな正方形Qa,Qb,Qc,Qdと、中心部に位置する1つの小さな正方形Qeとで構成される。正方形Qa〜Qdの各々は、コードの中心位置Rがコーナとなるように配置されている。中心位置Rは、小さな正方形Qeの中心位置でもある。
【0059】
4つの大きな正方形Qa,Qb,Qc,Qdは、「グリッド」と称される。グリッドの交点に位置する小さな正方形Qeは、「プリミティブ」と称される。後述するように、2種類のグリッドと、2種類のプリミティブとの組み合わせで、4種類のコードが表現される。
【0060】
左上の正方形Qaが黒色のとき、所定の変数pの値を0(p=0)とする。正方形Qaが白色のとき、変数pの値を1(p=1)とする。
【0061】
中心の小さな正方形Qeの色が黒色のときに、所定の変数pの値を0(p=0)とする。正方形Qeの色が白色のときに、変数pの値を1(p=1)とする。さらに、2pとpとの和(2p+p)を、コードの値とする。
【0062】
たとえば、正方形Qaが黒色、かつ正方形Qeが黒色の場合、当該コードの値は、「0」となる。正方形Qaが黒色、かつ正方形Qeが白色の場合、当該コードの値は、「1」となる。正方形Qaが白色、かつ正方形Qeが黒色の場合、当該コードの値は、「2」となる。正方形Qaが白色、かつ正方形Qeが白色の場合、当該コードの値は、「3」となる。
【0063】
このように、4種のコードにより、「0」,「1」,「2」,「3」の4つの数値を表現できる。
【0064】
図5(B)は、空間パターンP(図4参照)の一部と等価な行列を説明するための図である。図5(B)を参照して、投影された空間パターンの各コードの種類を数値で表現することにより、空間パターンと等価な行列Kを生成できる。
【0065】
図5(C)は、空間パターンと等価な行列Kの部分行列を説明するための図である。行列Kに対して、高さHwordかつ幅Wwordの部分行列を考える。なお、このような部分行列を「ワード」とも称する。
【0066】
行列Kから全てのワードが取り出される。図の例では、取り出された3つのワードを示している。各ワードは、他のワードと一部が重複する。
【0067】
本例の場合、高さおよび幅が「3」に設定されている。つまり、ワードが、3×3の行列に設定した場合を示している。このように、ワードが、3×3の行列とした場合、1つのワードで、2=512通りの並びを表現できる。
【0068】
この点に関し、詳しく説明すると、以下のとおりである。コードは、上記のように4種類ある。しかしながら、1種類のプリミティブの隣に表現されるコードは実質的には2種類である。これは、グリッドが固定されるためである。グリッドは、実質的には、プリミティブの位置だけを表現し、ワードを表現するコード情報はプリミティブの2種類となる。このため、1コードあたり、1bitの情報となる。したがって、3×3のワードの場合、2の9乗、すなわち9bitの情報となり、1つのワードで、512通りの表現が可能となる。
【0069】
空間パターンPでは、全てのワードの各々が唯一のものとなるように、コードが配置されている。ワードを3×3の行列とする場合、2通りの中から、重複しないように各ワードの並びが設定されている。
【0070】
全てのワードを取り出したときに、数値の並びが唯一のものであるワードについては、空間パターンにおける位置(ワードの位置)が特定できる。
【0071】
図6は、空間パターンPの投影時の大きさを説明するための図である。図6を参照して、被写体に空間パターンPを投影する場合、投影部11から遠いものほど、被写体には大きなコードが投影されることになる。このため、被写体に空間パターンPが投影された状態で被写体を撮像する場合、撮像部12から遠いほど、大きなコードが撮像されることになる。空間コード化法では、このような撮像により得られたコードの大きさに基づき、被写体との距離を計測することができる。
【0072】
以上のようにして、空間コード化法では、位置と距離との情報を得ることができる。
(c2.計測の信頼度の指標)
画像処理装置2は、三次元形状の計測についての信頼度を示す複数の指標の各々を、撮像画像の領域(以下、「単位領域」とも称する)毎に算出する。各領域のサイズは、典型的には、三次元計測の解像度(換言すれば、空間パターンPにおけるコードの密度)、受光素子の解像度等に基づいて予め決められている。後述する指標の種別に応じて、単位領域の大きさを異ならせてもよいし、同じとしてもよい。
【0073】
三次元計測システム1000による空間コード化法を用いた計測においては、当該計測についての信頼度として、たとえば以下の(1)〜(4)に示す複数の指標が挙げられる。
【0074】
(1)パターンのボケ
被写体(被写体の一部)が計測レンジから外れた場合に、パターンのボケが生じる。パターンのボケが生じると、三次元形状の計測についての信頼度が低下する。
【0075】
空間周波数解析を行うことにより、パターンのボケ具合を評価できる。具体的には、解析結果である周波数が高い程、ボケが小さいと評価できる。周波数が低い程、ボケが大きいと評価できる。空間周波数解析には、二次元FFT(Fast Fourier Transform)などが利用できる。
【0076】
本例では、画像処理システム50の画像処理装置2は、周波数が予め定められた閾値Taよりも低い領域については、ボケが大きいと判断する。つまり、画像処理装置2は、当該領域の計測の信頼度が低いと判断する。
【0077】
また、画像処理装置2は、周波数が閾値Taよりも高い領域については、ボケが大きくない(ボケが通常程度または小さい)と判断する。つまり、画像処理装置2は、当該領域の計測の信頼度は高いと判断する。
【0078】
なお、計測の信頼度(換言すれば、計測安定性)の高い領域は「安定状態」の領域であり、かつ当該信頼度の低い領域は「不安定状態」の領域とも言える。
【0079】
(2)計測時の光量
空間パターンPの投影時の光量が不足している場合、あるいは空間パターンPの投影時の光量が過多となっている場合には、三次元形状の計測についての信頼度が低下する。
【0080】
具体的には、画像処理装置2は、光量については、以下のような手法により基準を満たしているか否かを判断する。
【0081】
画像処理装置2は、空間パターンPの投影時において受光素子121で受光した光の輝度値と、空間パターンPを投影していない時の輝度値との差分を、受光素子121の画素毎に算出する。画像処理装置2は、差分が、予め定められた基準を満たすか否かを画素毎に評価する。
【0082】
詳しくは、画像処理装置2は、差分が閾値Tb1以下の画素の領域については、光量不足と判断する。つまり、画像処理装置2は、当該領域の計測の信頼度が低いと判断する。また、画像処理装置2は、上記差分が閾値Tb2(Tb2>Tb1)以上の画素の領域については、光量過多と判断する。この場合も、画像処理装置2は、当該領域の計測の信頼度が低いと判断する。
【0083】
なお、上記では、画素毎に光量不足および光量過多との判断をしているが、複数の連続する画素からなる領域毎に、光量が基準を満たしているか否かを判断してもよい。
【0084】
(3)パターンの崩れ
「パターン崩れ」の原因として、撮像部12の光軸に垂直な面に対する被写体(被写体の一部)傾き(0度から90度の範囲)が大きい場合と、被写体(被写体の一部)の形状が1つのワード(投影された状態での1つのワード)よりも細かい場合とが典型例として挙げられる。このような原因でパターン崩れが生じると、三次元形状の計測についての信頼度が低下する。
【0085】
(4)周囲光の影響
周囲光の影響は、パターン照明が無い場合の撮像画像の輝度値から評価できる。画像処理装置2は、輝度値が閾値Tc(たとえばダイナミックレンジの50%)を超えた領域について、計測の信頼度が低いと判断する。
【0086】
<D.ユーザインターフェイス>
(d1.概要)
図7は、ユーザインターフェイスを生成するための処理を説明するための図である。
【0087】
図7を参照して、三次元計測システム1000は、撮像部12によって、被写体に空間パターンPが投影された状態で、被写体を撮像する。その後、画像処理システム50は、ディスプレイ3に撮像画像G1を表示する。
【0088】
画像処理システム50は、被写体の撮像画像に現れるパターンを検出する。画像処理システム50は、当該検出結果に基づいて、被写体の三次元形状を計測する。画像処理システム50は、典型的には、計測が終了すると、計測結果を表す画像G2を表示する。
【0089】
画像処理システム50は、各指標を満たさなかった領域X21,Y21,Y22,Z21を示す画像E(すなわち結果画像)を、ディスプレイ3に表示させる。詳しくは、画像処理システム50は、各指標の基準を満たさなかった領域X21,Y21,Y22,Z21を示す画像Eを、基準を満たさないと判断された指標(指標の種別)に応じた態様でディスプレイ3に表示する。
【0090】
たとえば、領域X21の信頼度が基準を満たしていない判断された指標(要因)が「パターンのボケ」であるとすると、画像処理システム50は、領域X21を第1の色(たとえば、赤色)で表示する。また、領域Y21,Y22の信頼度が基準を満たしていない判断された指標(要因)が「光量不足」であるとすると、画像処理システム50は、領域Y21,Y22を第2の色(たとえば、青色)で表示する。さらに、領域Z21の信頼度が基準を満たしていない判断された指標(要因)が「パターン崩れ」であるとすると、画像処理システム50は、領域Z21を第3の色(たとえば、黄色)で表示する。
【0091】
これによれば、ユーザは、各指標について基準を満たさなかった領域を指標別に区別して視認することが可能となる。
【0092】
(d2.具体例)
以下では、信頼度が基準を満たさいと判断された領域X21,Y21,Y22,Z21の典型的な表示例について説明する。
【0093】
(1)第1の具体例
図8は、表示例を説明するための図である。図8(A)は、被写体に空間パターンPが投影された状態で当該被写体を撮像したときに得られる撮像画像G1を表した図である。
【0094】
図8(B)に示すように、画像処理システム50は、予め定められた入力(たとえばユーザ指示)を受け付けると、撮像画像G1に結果画像Eを重畳させた状態の合成画像J1をディスプレイ3に表示する。典型的には、画像処理システム50は、領域X21,Y21,Y22,Z21を表す画像を、たとえば矩形等の範囲を示す図形を用いて表示する。詳しくは、画像処理システム50は、撮像画像G1中の領域X21,Y21,Y22,Z21を、基準を満たさないと判断された指標に応じた態様で表示する。
【0095】
(2)第2の具体例
図9は、他の表示例を説明するための図である。図9(A)は、計測結果を表す画像G2を表した図である。
【0096】
図9(B)に示すように、画像処理システム50は、予め定められた入力(たとえばユーザ指示)を受け付けると、計測結果を表す画像G2に結果画像Eを重畳させた状態の合成画像J2をディスプレイ3に表示する。典型的には、画像処理システム50は、図8(B)と同様に、領域X21,Y21,Y22,Z21を表す画像を、たとえば矩形等の範囲を示す図形を用いて、基準を満たさないと判断された指標に応じた態様で表示する。
【0097】
(3)第3の具体例
図10は、さらに他の表示例を説明するための図である。
【0098】
三次元計測システム1000は、撮像部12によって、空間パターンPが投影されていない状態で被写体をさらに撮像する。図10(A)は、被写体に空間パターンPが投影されていない状態で当該被写体を撮像したときに得られる撮像画像G3を表した図である。
【0099】
図10(B)に示すように、画像処理システム50は、予め定められた入力(たとえばユーザ指示)を受け付けると、撮像画像G3に結果画像Eを重畳させた状態の合成画像J3をディスプレイ3に表示する。典型的には、画像処理システム50は、図8(B)と同様に、領域X21,Y21,Y22,Z21を表す画像を、たとえば矩形等の範囲を示す図形を用いて、基準を満たさないと判断された指標に応じた態様で表示する。
【0100】
(4)小括
このように、画像処理システム50は、対象物の撮像画像に基づいて、各々が三次元形状の計測についての信頼度を示す複数の指標を領域毎に算出する。画像処理システム50は、算出された各指標が各指標の基準を満たすか否かを領域毎に評価する。画像処理システム50は、三次元形状の計測結果(画像G2)と、撮像画像において各基準を満たさない領域を示す結果画像Eとを、ディスプレイ3に同時または選択的に表示させる。
【0101】
それゆえ、ユーザが結果画像E(典型的には、結果画像Eが重畳された合成画像J1,J2,J3)を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを直観的に知ることができる。それゆえ、三次元計測システム1000によれば、信頼性の高い計測結果を得ることを支援することができる。
【0102】
また、3D計測センサ1の設置位置を変更することにより、各設置位置において、結果画像Eを得ることができる。それゆえ、三次元計測システム1000によれば、3D計測センサ1の設置位置を客観的に評価することも可能となる。
【0103】
さらに、画像処理システム50は、基準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じた態様で表示する。それゆえ、ユーザは、信頼度が基準を満たしていないと判定された領域について、どの指標に関して基準を満たしていないのかを知ることができる。つまり、ユーザは、何が問題で信頼度が低い状態となっているのかを知ることができる。
【0104】
なお、以下では、説明の便宜上、被写体に空間パターンPが投影された状態で当該被写体を撮像したときに得られる撮像画像(たとえば撮像画像G1)を、「計測画像」とも称する。また、被写体に空間パターンPが投影されていない状態で当該被写体を撮像したときに得られる撮像画像(たとえば撮像画像G3)を、「2D画像」とも称する。
【0105】
(5)変形例
図11は、第2の具体例の変形例を説明するための図である。
【0106】
三次元計測システム1000は、三次元計測を実行することによって、3D計測センサ1と被写体との間の距離の情報を得ることができる。なお、計測結果を表す画像G2においては、当該距離の情報が、色の濃淡で表現されている。
【0107】
三次元計測システム1000は、計測結果について視点を変更する機能を有し、変更後の画像をディスプレイ3に表示できる。たとえば、図11(A)に示すように、三次元計測システム1000は、計測結果を表す画像G2のときの視点(基準となる視点)から、被写体に対して斜視の方向の視点に変更することにより、たとえば画像G4をディスプレイ3に表示する。
【0108】
図11(B)に示すように、画像処理システム50は、予め定められた入力(たとえばユーザ指示)を受け付けると、計測結果を表す画像G4に結果画像E’(単体では図示せず)を重畳させた状態の合成画像J4をディスプレイ3に表示する。典型的には、画像処理システム50は、領域X22,Y23を表す画像を、たとえば矩形等の範囲を示す図形を用いて、基準を満たさないと判断された指標に応じた態様で表示する。
【0109】
本例においては、領域X23の信頼度が基準を満たしていない判断された指標(要因)が「パターンのボケ」であるとする。また、領域Y23の信頼度が基準を満たしていない判断された指標(要因)が「光量不足」であるとする。
【0110】
この場合、画像処理システム50は、計測レンジの領域(3D計測センサ1の撮影距離方向の範囲)についても表示するために、立体図形(たとえば、錐台)を用いて領域X22を表示する。このように、画像J4のように斜視方向の画像を表示しているときには、パターンのボケ(計測レンジから外れたこと)が基準を満たさなかった場合には、図形を用いて計測レンジの情報を斜視方向の画像に組み込むことができる。
【0111】
ユーザは、このような計測レンジの情報を確認することにより、3D計測センサ1の設置位置を決定しやすくなる。
【0112】
<E.機能的構成>
図12は、三次元計測システム1000の機能的構成を説明するためのブロック図である。
【0113】
図12を参照して、三次元計測システム1000は、上述したように、3D計測センサ1と、画像処理装置2と、ディスプレイ3と、キーボード4とを備える。画像処理システム50は、画像処理装置2と、ディスプレイ3と、キーボード4とを備える。
【0114】
3D計測センサ1は、上述したように、投影部11と、撮像部12とを備える(図3参照)。
【0115】
画像処理装置2は、制御部20を有する。制御部20は、投影制御部21と、撮像制御部22と、計測部23と、信頼度算出部24と、信頼度評価部25と、表示制御部26とを備える。
【0116】
制御部20は、画像処理装置2の全体的な動作を制御する。制御部20は、キーボード4からの入力を受け付ける。制御部20は、当該入力応じた動作を実行する。たとえば、制御部20は、3D計測センサ1の動作およびディスプレイ3への出力を制御する。また、制御部20は、キーボードからの入力が計測結果を表す画像の視点の変更である場合、当該入力応じた画像表示をディスプレイ3に行う。
【0117】
制御部20における各処理は、典型的には、画像処理装置2のメモリ(図示せず)に予め記憶されたプログラムを、画像処理装置2のプロセッサ(図示せず)が実行することにより実現される。
【0118】
投影制御部21は、投影部11の動作を制御する。たとえば、投影制御部21は、光源111のオンおよびオフを制御する。
【0119】
撮像制御部22は、撮像部12の動作を制御する。たとえば、撮像制御部22は、撮像の指令を撮像部12に送り、撮像画像を撮像部12から得る。なお、撮像画像としては、三次元計測のときの撮像(3Dモードでの撮像)で得られる画像(すなわち計測画像)と、三次元計測を行わない通常の撮像(2Dモードでの撮像)のときに得られる画像(2D画像)とがある。
【0120】
撮像制御部22は、計測画像を計測部23に送る。撮像制御部22は、計測画像および2D画像を、信頼度算出部24と表示制御部26とに送る。
【0121】
計測部23は、被写体(対象物)の撮像によって得られた撮像画像に基づいて、被写体の三次元形状を計測する。詳しくは、計測部23は、被写体の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、被写体の三次元形状を計測する。計測部23は、計測結果を表示制御部26に送る。
【0122】
信頼度算出部24は、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出する。典型的には、信頼度算出部24は、複数の指標の各々を算出する。たとえば、当該指標としては、上述したように、「パターンのボケ」、「計測時の光量」、「パターンの崩れ」、「周囲光の影響」等が挙げられる。信頼度算出部24は、算出された指標を信頼度評価部25に送る。
【0123】
信頼度評価部25は、算出された各種の指標が、各々に対して予め定められた基準を満たすか否かを上記領域毎に評価する。たとえば、信頼度評価部25は、算出されたパターンのボケが、ボケに関して予め定められた基準を満たすか否かを判定する。また、信頼度評価部25は、算出された計測時の光量が、光量に関して予め定められた基準を満たすか否かを判定する。さらに、「パターンの崩れ」、「周囲光の影響」についても、所定の基準を満たすか否かを判断する。なお、信頼度評価部25は、各基準(具体的には閾値)を予め記憶している。
【0124】
さらに、信頼度評価部25は、各指標に関し、基準を満たさなかった領域を示す領域特定情報を表示制御部26に通知する。具体的には、信頼度評価部25は、パターンのボケが基準を満たさなかった領域と、光量が基準を満たさなかった領域と、パターンの崩れが基準を満たさなかった領域と、周囲光の影響が基準を満たさなかった領域とを、指標毎に識別可能な状態で、表示制御部26に通知する。
【0125】
表示制御部26は、計測部23から計測結果を受信する。表示制御部26は、撮像制御部22から計測画像と2D画像とを受信する。表示制御部26は、信頼度評価部25から指標別の領域特定情報を受信する。
【0126】
表示制御部26は、計測結果、計測画像、および2D画像のうち、指定された画像をディスプレイ3に表示する。なお、当該指定は、典型的には、キーボード等の入力装置を用いたユーザ操作によってなされる。
【0127】
さらに、表示制御部26は、上記基準を満たさない領域を示す結果画像をディスプレイに3に表示する。結果画像には、指標毎に識別可能な態様で、基準を満たさなかった領域が示されている。
【0128】
たとえば、表示制御部26は、結果画像として、「パターンのボケ」の基準を満たさない領域を赤色で表示する。表示制御部26は、「計測時の光量」の基準を満たさない領域を青色で表示する。表示制御部26は、「パターンの崩れ」の基準を満たさない領域を黄色で表示する。表示制御部26は、「周囲光の影響」の基準を満たさない領域を緑色で表示する。
【0129】
表示制御部26は、少なくとも、計測結果と結果画像とを同時または選択的に表示する。
【0130】
表示制御部26は、ある局面においては、撮像画像(詳しくは、計測画像)に重畳させた状態で結果画像をディスプレイ3に表示する(図8(B)参照)。表示制御部26は、別の局面においては、計測結果に重畳させた状態で結果画像をディスプレイ3に表示する(図9(B)参照)。表示制御部26は、さらに別の局面においては、2D画像に重畳させた状態で結果画像をディスプレイ3に表示する(図10(B)参照)。三次元計測システム1000においては、結果画像を何れの画像を重畳させて表示するかについては、表示画面の切替操作をユーザが行うことにより、ユーザが決定可能となっている。
【0131】
<F.制御構造>
図13は、三次元計測システム1000において実行される処理の流れを表したフロー図である。
【0132】
図13を参照して、ステップS1において、三次元計測システム1000は、3D計測センサ1によって、空間パターンPを被写体上に投影する。ステップS2において、三次元計測システム1000は、3D計測センサ1によって、空間パターンPが投影された状態の被写体を撮像する。
【0133】
ステップS3において、三次元計測システム1000の画像処理装置2は、被写体の撮像画像に現れるパターンに基づいて、被写体の三次元形状を計測する。ステップS4において、画像処理装置2は、撮像画像に基づいて、各指標(パターンのボケ、計測時の光量、パターンの崩れ等)を領域毎に算出する。
【0134】
ステップS5において、画像処理装置2は、指標毎に、指標別に設定された基準を満たすか否かを評価する。ステップS6において、画像処理装置2は、全ての指標について基準を満たしているか否かを判断する。画像処理装置2は、全ての指標について基準を満たしていると判断した場合(ステップS6においてNO)、一連の処理を終了する。この場合、たとえば、画像処理装置2は、計測結果をディスプレイ3に表示する。
【0135】
画像処理装置2は、少なくとも1つの指標について基準を満たしていないと判断された場合(ステップS6においてYES)、ステップS7において、基準を満たさない領域を指標に応じた態様(たとえば、赤色、青色、黄色)でディスプレイ3に表示する。
【0136】
<G.変形例>
(g1.指標に応じた表示態様)
上記においては、三次元計測システム1000が、基準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じた色(たとえば、赤色、青色、黄色)で表示する例を挙げたが、これに限定されるものではない。
【0137】
三次元計測システム1000は、準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じたハッチングパターンで表示してもよい。あるいは、三次元計測システム1000は、基準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じた点滅パターンで表示してもよい。
【0138】
三次元形状が計測できなかった領域の表示態様を、ユーザが選択可能なように、三次元計測システム1000を構成してもよい。
【0139】
(g2.複数回の撮像を実行した場合)
被写体に空間パターンPが投影された状態で、被写体を複数回撮像した場合の表示例について説明する。なお、以下の各例においても、三次元計測システム1000が、結果画像(たとえば図7の結果画像E)を、基準を満たさないと判断された指標(指標の種別)に応じた態様でディスプレイに表示させる。
【0140】
(1)第1の例
三次元計測システム1000は、複数回の撮像により得られた複数の撮像画像(すなわち複数の計測画像)のうちの一つが指定されると、指定された撮像画像に重畳させた状態で当該撮像画像によって得られた結果画像を表示する。なお、当該指定は、たとえば、キーボード4、図示しないマウス等の入力装置を用いて行われる。
【0141】
このような構成の場合、三次元計測システム1000は、複数の撮像画像が得られた場合であっても、指定された1つの撮像画像に結果画像を重畳させることができる。この場合にも、ユーザがディスプレイ3に表示部に表示された結果画像を視認することにより、ユーザは、算出された各指標が領域毎に各基準を満たしているか否かを知ることができる。
【0142】
また、上記複数回の撮像は、互いに異なる位置からの撮像であってもよい。つまり、上記複数の撮像画像は、3D計測センサ1の設置位置の移動と撮像とを繰り返すことにより得られたものであってもよい。この場合には、ユーザは、指定する撮像画像を適宜変更することにより、3D計測センサ1の各設置位置の適否を評価可能となる。
【0143】
なお、このような構成の場合にも、計測結果を表す画像または2D画像に結果画像を重畳させて表示してもよい。
【0144】
(2)第2の例
三次元計測システム1000は、被写体の撮像が複数回行われた場合には、複数回の撮像により得られた複数の撮像画像(すなわち複数の計測画像)の各々に当該撮像画像によって得られた結果画像を重畳した状態で複数の結果画像を表示する。
【0145】
図14は、被写体の撮像が複数回行われた場合の表示例を表した図である。図14を参照して、三次元計測システム1000は、各撮像画像(No.1〜No.4の各計測画像)に、当該撮像画像によって得られた結果画像を重畳させた状態で、複数の結果画像を表示する。
【0146】
このように、三次元計測システム1000は、複数の撮像画像の各々に結果画像を重畳して表示する。それゆえ、ユーザは、各回の計測において算出された各指標が領域毎に各基準を満たしているか否かを、1つの画面で確認することができる。
【0147】
また、上記複数回の撮像は、互いに異なる位置からの撮像であってもよい。つまり、上記複数の撮像画像は、3D計測センサ1の設置位置の移動と撮像とを繰り返すことにより得られたものであってもよい。この場合には、ユーザは、撮像画像を指定することなく、3D計測センサ1の各設置位置の適否を評価可能となる。
【0148】
(3)第3の例
三次元計測システム1000は、図8(B)の画像と、図9(B)の画像と、図10(B)の画像とを、1つの画面内に同時に表示してもよい。
【0149】
(g3.推定または特定処理)
ある領域において、複数の指標のうちの少なくとも2つが当該指標に対応付けられた基準を満たさなかった場合の処理例について説明する。このような場合として、たとえば、パターンのボケが基準よりも大きい領域と、計測時の光量が基準よりも少ない領域とが重複(領域同士の一部または全部が重複)している場合が挙げられる。なお、以下では、このような領域を、説明の便宜上、「重複領域」とも称する。
【0150】
(1)第1の例
信頼度評価部25は、重複領域の周囲の領域の計測結果に基づいて、当該重複領域において予め定められた事象が起こっているか否かをさらに推定する。表示制御部26は、上記予め定められた事象が起こっていると判断された領域を結果画像に含めてディスプレイ3に表示する。また、当該領域を、上述した指標に応じた色(赤、青、黄等)とはさらに異なる色で表示することが好ましい。
【0151】
上記予め定められた事象の例として、多重反射が挙げられる。ワークWに光が2回反射すると、パターンのボケの現象と、光量過多(ハレーション)といった現象とが生じる。パターンのボケと光量との両指標で評価すれば、それぞれの指標において基準を満たしていないとの評価がなされる。しかしながら、本質的な原因は、ボケでも光量過多でもなく、多重反射である。
【0152】
このため、信頼度評価部25は、重複領域の周辺の領域の計測結果が異常な飛び値を示したりあるいは無かったりした場合、または傾斜が強い計測結果がある場合には、多重反射が起こっていると評価する。
【0153】
このように、画像処理装置2は、重複領域の周囲の情報から、予め定められた事象が起こっているか否かを判定する。また、画像処理装置2が重複領域をディスプレイ3に表示させることにより、ユーザは、当該事象の発生を知ることができる。
【0154】
(2)第2の例
信頼度評価部25は、重複領域が存在する場合、当該重複領域において基準を満たしていなかった複数の指標の各々について、基準との差分を算出する。たとえば、重複領域で、パターンのボケが基準よりも大きく、かつ計測時の光量が基準よりも低かったとする。この場合、信頼度評価部25は、パターンのボケと当該ボケの基準との差分と、計測時の光量と当該光量の基準との差分を算出する。
【0155】
信頼度評価部25は、これらの複数の差分に基づいて、基準を満たさなかった複数の指標のうち、信頼度を低下させている度合いの大きい指標を特定する。
【0156】
表示制御部26は、特定された指標に応じた態様で結果画像を表示する。信頼度評価部25によってパターンのボケの方が光量よりも信頼度を低下させていると判断された場合、表示制御部26は、ディスプレイ3に、重複領域をボケに対応付けられた態様(たとえば、赤色)で表示する。
[実施の形態2]
本実施の形態に係る三次元計測システムについて説明する。以下では、実施の形態1と異なる点に着目して説明する。
【0157】
実施の形態1では、計測結果を表す画像に、各指標に関して基準を満たさない領域を示す結果画像を重畳させた状態で、これらの画像を表示させる構成を説明した。本実施の形態では、投影部11によって当該結果画像を被写体に投影する構成について説明する。
【0158】
図15は、結果画像を被写体に投影した状態を表した図である。なお、図15においては、建物9の室内の設備7等の記載は図示していない。
【0159】
このように、基準を満たさなかった領域X21,Y21,Y22,Z21を示す結果画像を、被写体に直接投影することにより、ユーザは、リアリティをもって当該領域の存在および位置を把握することができる。また、基準を満たさないと判断された指標(指標の種別)に応じた態様で領域X21,Y21,Y22,Z21が被写体に投影されることにより、ユーザは、信頼度が基準を満たしていないと判定された領域X21,Y21,Y22,Z21について、どの指標に関して基準を満たしていないのかを知ることができる。
【0160】
図16は、本実施の形態の三次元計測システム1000における3D計測センサ1Aの概略構成を表した図である。
【0161】
図16を参照して、3D計測センサ1Aは、投影部11Aと、撮像部12とを備えている。
【0162】
投影部11Aは、光源111と、液晶パネル114と、光学系113とを有する。投影部11Aは、フォトマスク112の代わりに液晶パネル114を備える点において、実施の形態1の投影部11とは異なる。
【0163】
光源111は、所定の波長の光を液晶パネル114の方向に向けて照射する。液晶パネル114は、画像処理装置2からの指示に基づき駆動する。
【0164】
ある局面では、液晶パネル114は、空間パターンPを表示する。これにより、投影部11Aは、空間パターンを被写体に投影することができる。
【0165】
また、別の局面では、液晶パネル114は、結果画像を表示することにより、これにより投影部11Aは、結果画像を被写体に投影することができる。
【0166】
このように、液晶パネル114に表示させる画像を切り替えることにより、空間パターンPの投影と、結果画像の投影とが可能となる。
【0167】
なお、上記の各実施の形態においては、空間コード化法を用いて三次元計測を行う場合を説明したが、空間コード化法の代わりに、位相シフト法、ステレオ法、またはパターン照明法を用いてもよい。
【0168】
<付記>
〔構成1〕
対象物の撮像によって得られた第1の撮像画像に基づいて、前記対象物の三次元形状を計測する計測部(23)と、
前記第1の撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す第1の指標を領域毎に算出する信頼度算出部(24)と、
算出された前記第1の指標が予め定められた第1の基準を満たすか否かを前記領域毎に評価する信頼度評価部(25)と、
前記三次元形状の計測結果と、前記第1の撮像画像において前記第1の基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部(3)とを備える、画像処理システム(50)。
【0169】
〔構成2〕
前記信頼度算出部(24)は、前記第1の撮像画像に基づいて、前記信頼度を示す第2の指標を領域毎にさらに算出し、
前記信頼度評価部(25)は、算出された前記第2の指標が予め定められた第2の基準を満たすか否かを前記領域毎にさらに評価し、
前記結果画像は、前記第1の撮像画像において前記第2の基準を満たさない領域をさらに示す、構成1に記載の画像処理システム(50)。
【0170】
〔構成3〕
前記表示部(3)は、前記第1の基準を満たさない領域を第1の態様で表示し、かつ前記第2の基準を満たさない領域を第2の態様で表示する、構成2に記載の画像処理システム(50)。
【0171】
〔構成4〕
前記表示部(3)は、前記第1の撮像画像に重畳させた状態で前記結果画像を表示する、構成1から3のいずれか1項に記載の画像処理システム(50)。
【0172】
〔構成5〕
前記表示部(3)は、前記計測結果に重畳させた状態で前記結果画像を表示する、構成1から3のいずれか1項に記載の画像処理システム(50)。
【0173】
〔構成6〕
予め定められた空間パターンを被写体に投影する投影部(11)と、
前記対象物を撮像する撮像部(12)とをさらに備え、
前記撮像部(12)は、前記対象物に前記空間パターンが投影された状態で前記対象物を撮像することより前記第1の撮像画像を生成し、
前記計測部(23)は、前記第1の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
前記撮像部(12)は、前記空間パターンが投影されていない状態で前記対象物をさらに撮像することにより第2の撮像画像を生成し、
前記表示部(3)は、前記第2の撮像画像に重畳させた状態で前記結果画像を表示する、構成1から3のいずれか1項に記載の画像処理システム(50)。
【0174】
〔構成7〕
前記表示部(3)は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第1の撮像画像のうちの一つが指定されると、指定された前記第1の撮像画像に重畳させた状態で当該第1の撮像画像によって得られた前記結果画像を表示する、構成1から3のいずれか1項に記載の画像処理システム(50)。
【0175】
〔構成8〕
前記表示部(3)は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第1の撮像画像の各々に当該第1の撮像画像によって得られた前記結果画像を重畳した状態で複数の前記結果画像を表示する、構成1から3のいずれか1項に記載の画像処理システム(50)。
【0176】
〔構成9〕
前記複数回の撮像は、互いに異なる位置からの撮像である、構成7または8に記載の画像処理システム(50)。
【0177】
〔構成10〕
前記第1の態様と前記第2の態様とでは、色、ハッチングパターン、または点滅パターンが異なる、構成3に記載の画像処理システム(50)。
【0178】
〔構成11〕
前記投影部(11)は、前記結果画像を前記対象物に投影する、構成6に記載の画像処理システム(50)。
【0179】
〔構成12〕
予め定められた空間パターンを被写体に投影する投影部(11)と、
前記対象物を撮像する撮像部(12)とをさらに備え、
前記撮像部(12)は、前記対象物に前記空間パターン(P)が投影された状態で前記対象物を撮像することより前記第1の撮像画像を生成し、
前記計測部(23)は、前記第1の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
前記第1の指標は、前記計測時の光量、前記第1の撮像画像に現れるパターンの崩れ、および前記第1の撮像画像に現れるパターンのボケの三つの指標のうちの一つであり、
前記第2の指標は、前記三つの指標のうち、前記第1の指標とは異なる一つの指標である、構成2または3に記載の画像処理システム(50)。
【0180】
〔構成13〕
前記信頼度評価部(25)は、前記第1の基準を満たさない領域と、前記第2の基準を満たさない領域とが重複している場合、当該重複している領域の周囲の領域の前記計測結果に基づいて、当該重複している領域において予め定められた事象が起こっているか否かをさらに推定し、
前記結果画像は、前記予め定められた事象が起こっていると判断された領域をさらに示す、構成2または3に記載の画像処理システム(50)。
【0181】
〔構成14〕
前記信頼度評価部(25)は、前記第1の基準を満たさない領域と、前記第2の基準を満たさない領域とが重複している場合、前記第1の指標と前記第1の基準との差分および前記第2の指標と前記第2の基準との差分とに基づいて、前記第1の指標および前記第2の指標のうち前記信頼度を低下させている度合いの大きい方の指標を特定し、
前記表示部(3)は、前記第1の態様と前記第2の態様とのうち、特定された前記指標に応じた態様で前記結果画像を表示する、構成3に記載の画像処理システム(50)。
【0182】
〔構成15〕
対象物を撮像するステップと、
前記撮像により得られた撮像画像に基づいて、前記対象物の三次元形状を計測するステップと、
前記撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す指標を領域毎に算出するステップと、
算出された前記指標が予め定められた基準を満たすか否かを前記領域毎に評価するステップと、
前記三次元形状の計測結果と、前記基準を満たさない領域を示す結果画像とを、同時または選択的に表示するステップとを備える、画像処理方法。
【0183】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0184】
1,1A 計測センサ、2 画像処理装置、3 ディスプレイ、4 キーボード、9 建物、11,11A 投影部、12 撮像部、20 制御部、21 投影制御部、22 撮像制御部、23 計測部、24 信頼度算出部、25 信頼度評価部、26 表示制御部、50 画像処理システム、111 光源、112 フォトマスク、113,122 光学系、114 液晶パネル、121 受光素子、1000 三次元計測システム、E 結果画像、G1,G3 撮像画像、J1,J2,J3,J4 合成画像、K 行列、P 空間パターン、Qa,Qb,Qc,Qd,Qe 正方形、R 中心位置、V11,V12,V13,X21,X22,X23,Y21,Y22,Y23,Z21 領域。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16