特許 7410271 撮像回数を調整する距離画像撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】撮像回数を調整する距離画像撮像システム

(51)【国際特許分類】

   G01S 17/894 20200101AFI20231226BHJP

   G01C 3/06 20060101ALI20231226BHJP

   G06T 7/55 20170101ALI20231226BHJP

   H04N 7/18 20060101ALI20231226BHJP

【ＦＩ】

G01S17/894

G01C3/06 110B

G01C3/06 120Q

G01C3/06 140

G06T7/55

H04N7/18 K

【請求項の数】 13

(21)【出願番号】P 2022507183

(86)(22)【出願日】2021-03-08

(86)【国際出願番号】 JP2021009022

(87)【国際公開番号】W WO2021182405

(87)【国際公開日】2021-09-16

【審査請求日】2022-11-21

(31)【優先権主張番号】P 2020043475

(32)【優先日】2020-03-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】中村 稔

(72)【発明者】

【氏名】藁科 文和

(72)【発明者】

【氏名】高橋 祐輝

【審査官】東 治企

(56)【参考文献】

【文献】特開２００１－３１７９３５（ＪＰ，Ａ）

【文献】特開２０１０－０９１３７７（ＪＰ，Ａ）

【文献】特開２００８－２４１４３５（ＪＰ，Ａ）

【文献】特開２０１３－１０１０４５（ＪＰ，Ａ）

【文献】特開２０２０－１４６７７３（ＪＰ，Ａ）

【文献】国際公開第２０１５／１６６７１２（ＷＯ，Ａ１）

【文献】特開２００６－３４９５０６（ＪＰ，Ａ）

【文献】特開２００７－１５５３５６（ＪＰ，Ａ）

【文献】国際公開第２０１６／２０８２１４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－７／５１

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｃ ３／００－３／３２

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

対象物に対して同じ撮像位置及び同じ撮像姿勢で前記対象物を複数回撮像して複数の第一距離画像と前記複数の第一距離画像にそれぞれ対応する複数の光強度画像とを取得する画像取得部と、前記複数の前記第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、
光強度と測距バラツキとの間の関係式に基づいて前記光強度画像から前記第二距離画像における測距誤差を推定し、推定した前記測距誤差が予め定めた目標誤差以下になる、前記第一距離画像の撮像回数を、撮像回数と前記第二距離画像における測距誤差との関係式に基づいて決定する撮像回数決定部を備える、距離画像撮像システム。

【請求項2】

前記撮像回数決定部は、前記撮像回数をＮ、前記第二距離画像における測距誤差をσ _１ ／Ｎ ^０．５ 、及び前記目標誤差をσ _ＴＧ としたときに、
Ｎ＝（σ _１ ／σ _ＴＧ ） ^２
なる式に基づいて前記撮像回数を決定する、請求項１に記載の距離画像撮像システム。

【請求項3】

前記撮像回数決定部は、前記光強度画像の画素の単位で又は前記光強度画像内の画素領域の単位で前記測距誤差を推定する、請求項１に記載の距離画像撮像システム。

【請求項4】

対象物に対して同じ撮像位置及び同じ撮像姿勢で前記対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、前記複数の前記第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、
前記第二距離画像における測距誤差を推定し、推定した前記測距誤差が予め定めた目標誤差以下になる、前記第一距離画像の撮像回数を決定する撮像回数決定部を備え、
前記撮像回数決定部は、前記第一距離画像が撮像される毎に、前記第二距離画像における測距誤差として距離の分散を逐次計算し、前記分散と前記撮像回数との間の関係に基づいて前記第一距離画像の取得終了を判定する、距離画像撮像システム。

【請求項5】

前記撮像回数決定部は、前記複数の前記第一距離画像の間で対応する画素の単位で又は前記複数の前記第一距離画像の間で対応する画素領域の単位で前記分散を逐次計算する、請求項４に記載の距離画像撮像システム。

【請求項6】

合成対象の画像領域を指定する画像領域指定部をさらに備え、前記撮像回数決定部は前記画像領域指定部によって指定された前記画像領域における前記測距誤差を推定する、請求項１から５のいずれか一項に記載の距離画像撮像システム。

【請求項7】

前記対象物の少なくとも一部を写した画像領域を特定する対象物特定部をさらに備え、前記画像領域指定部は前記対象物特定部によって特定された前記画像領域を前記合成対象の画像領域として指定する、請求項６に記載の距離画像撮像システム。

【請求項8】

前記第二距離画像における前記測距誤差の信頼度を指定する信頼度指定部をさらに備える、請求項１から６のいずれか一項に記載の距離画像撮像システム。

【請求項9】

前記画像取得部がロボット先端部又は固定点に設置された、請求項１から８のいずれか一項に記載の距離画像撮像システム。

【請求項10】

前記画像取得部がＴＯＦセンサである、請求項１から９のいずれか一項に記載の距離画像撮像システム。

【請求項11】

ロボットと、前記ロボットを制御するロボット制御装置と、前記画像合成部及び前記撮像回数決定部を備えた上位コンピュータ装置と、をさらに備え、前記ロボット制御装置が前記第二距離画像の要求指令を前記上位コンピュータ装置に対して行う、請求項１から１０のいずれか一項に記載の距離画像撮像システム。

【請求項12】

ロボットと、前記ロボットを制御するロボット制御装置と、をさらに備え、前記画像合成部及び前記撮像回数決定部は前記ロボット制御装置に組込まれる、請求項１から１０のいずれか一項に記載の距離画像撮像システム。

【請求項13】

前記ロボット制御装置は前記第二距離画像に基づいて前記ロボットの動作を補正する、請求項１１又は１２に記載の距離画像撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は距離画像撮像システムに関し、特に撮像回数を調整する距離画像撮像システムに関する。

【背景技術】

【0002】

物体までの距離を測定する測距センサとして、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）センサが公知である。ＴＯＦセンサは、所定周期で強度変調した参照光を対象空間に照射し、参照光と対象空間からの反射光との間の位相差に基づき対象空間の測距値を出力する位相差方式（いわゆる間接法）を採用するものが多い。この位相差は反射光の受光量から求められる。

【0003】

斯かるＴＯＦセンサに代表される測距センサの測距値にはバラツキがある。ＴＯＦセンサの場合、測距バラツキの主因はショットノイズであるが、測距バラツキは概ね正規分布的にばらつくことが分かっている。バラツキ低減のためには、ＴＯＦセンサのインテグレーションタイムや発光量の増大が有効であるが、この解決策は測距センサの受光素子の受光量の制約や発熱の制約等、測距センサの仕様として限界がある。

【0004】

距離画像から物体の位置や姿勢の検出を行う場合、その検出精度を維持するためには距離画像の誤差が規定値以下であることが望まれる。バラツキを低減する別の解決策としては、複数の距離画像の間で対応する画素毎に距離を平均化する平均化処理や、ＩＩＲ（infinite impulse response）フィルタ等の時間フィルタ、メディアンフィルタやガウシアンフィルタ等の空間フィルタの適用も考えられる。

【0005】

図８は従来の距離画像の平均化処理を示している。図の左下側には、測距センサから見て一定の高さの面を撮像した距離画像を斜視した様子が示されている。また図の左上側には、この距離画像の面領域における各画素の測距値の平均値μと測距値のバラツキσとが示されている。このような距離画像をＮ枚取得して平均化処理を行うと、図の右上側に示すように各画素の測距値のバラツキσがσ／Ｎ^0.5まで低減し、図の右下側に示すように概ね平らな面を撮像した合成距離画像が生成される。このような距離画像の合成処理に関する技術としては、後述の文献が公知である。

【0006】

特許文献１には、露出を段階的に変更しながら撮像した複数の距離画像について、同一の画素位置に対応する各画素の距離情報の重み付き平均値を夫々算出し、算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求め、重み付き平均値の算出では、その画素の受光レベル情報に応じて距離情報の精度に対応するように算出される重み付き係数を用いることが記載されている。

【0007】

特許文献２には、異なる撮像条件で取得した複数の距離画像間において、距離画像内の各画素に対応付けられた受光強度に基づいて、より大きい受光強度を示す画素を抽出し、抽出した画素を複数の距離画像の合成距離画像に用いることが記載されている。

【0008】

特許文献３には、所定の単位領域毎に撮像感度の異なる複数の画像データを取得し、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成する面内ＨＤＲ（high dynamic range）処理を実行し、対象物の特徴量がより多く現れる方向がＨＤＲ処理方向となるように制御を行うことが記載されている。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１２－２２５８０７号公報

【文献】特開２０１７－１８１４８８号公報

【文献】特開２０１９－５７２４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

前述の平均化処理等に使用される距離画像の撮像回数は、予め定めた固定数であることが一般的である。しかしながら、固定数の距離画像の合成処理では、対象物の変化に起因した測距バラツキを低減するのが困難になり、測距精度が安定しなくなってしまう。

【0011】

図９は対象物の変化に起因したバラツキ増大の一例を示している。図の左側に示すように、測距センサ１０が予め定めた枚数の距離画像を出力し、対象物Ｗについて測距バラツキの少ない合成距離画像を取得できたとする。しかしながら、図の中央に示すように測距センサ１０から対象物Ｗまでの距離が遠くなると、測距センサ１０の受光量が低減して測距バラツキが増大してしまう。同様に、図の右側に示すように対象物Ｗの反射率が低くなると（例えば暗色の対象物Ｗに変わると）、反射光量が低減して測距バラツキが増大してしまう。従って、固定数の合成距離画像では、バラツキ低減の保証が難しい。

【0012】

逆にその為、固定数にマージンを持たせて撮像回数を増やしておくことも考えられる。しかしながら、大抵の場合、画像取得や画像合成に無駄な時間を費やすことになる。従って、対象物の状況に応じて距離画像の撮像回数を可変にすべきである。

【0013】

そこで、対象物が変化しても安定した測距精度と無駄時間の削減を実現した距離画像合成技術が求められている。

【課題を解決するための手段】

【0014】

本開示の一態様は、対象物に対して同じ撮像位置及び同じ撮像姿勢で対象物を複数回撮像して複数の第一距離画像と複数の第一距離画像にそれぞれ対応する複数の光強度画像とを取得する画像取得部と、複数の第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、光強度と測距バラツキとの間の関係式に基づいて光強度画像から第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を、撮像回数と前記第二距離画像における測距誤差との関係式に基づいて決定する撮像回数決定部を備える、距離画像撮像システムを提供する。
本開示の他の態様は、対象物に対して同じ撮像位置及び同じ撮像姿勢で対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、複数の第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を決定する撮像回数決定部を備え、撮像回数決定部は、第一距離画像が撮像される毎に、第二距離画像における測距誤差として距離の分散を逐次計算し、分散と前像回数との間の関係に基づいて第一距離画像の取得終了を判定する、距離画像撮像システムを提供する。

【発明の効果】

【0015】

本開示の一態様によれば、撮像回数が自動的に調整されるため、対象物が変化しても安定した測距精度と無駄時間の削減を実現した画像合成技術を提供できる。

【図面の簡単な説明】

【0016】

【図1】一実施形態における距離画像撮像システムの構成を示すブロック図である。

【図2】関数方式による撮像回数決定手法を説明するためのグラフである。

【図3】関数方式による撮像回数決定処理の流れを示すフローチャートである。

【図4】逐次方式による撮像回数決定手法を説明するためのグラフである。

【図5】逐次方式による撮像回数決定処理の流れを示すフローチャートである。

【図6】撮像回数決定手法の変形例を説明するためのグラフである。

【図7】距離画像撮像システムの構成の変形例を示すブロック図である。

【図8】従来の距離画像の平均化処理の効果を示す概念図である。

【図9】対象物の変化に起因したバラツキ増大の一例を示す概念図である。

【発明を実施するための形態】

【0017】

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。なお、本書において用語「距離画像」とは、測距センサから対象空間までの測距値を画素毎に格納した画像のことをいい、用語「光強度画像」とは、対象空間で反射した反射光の光強度値を画素毎に格納した画像のことをいう。

【0018】

図１は本実施形態における距離画像撮像システム１の構成を示している。距離画像撮像システム１は、対象物Ｗを含む対象空間の距離画像を出力する画像取得部１０と、測距センサ１０を制御する上位コンピュータ装置２０と、を備えている。画像取得部１０は、ＴＯＦカメラ、レーザスキャナ等のＴＯＦセンサでよいが、ステレオカメラ等の他の測距センサでもよい。上位コンピュータ装置２０は、有線又は無線を介して画像取得部１０に通信可能に接続する。上位コンピュータ装置２０は、ＣＰＵ（central processing unit）、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等のプロセッサを備えている。なお、上位コンピュータ装置２０の構成要素は全て、測距センサの一部の機能として実装されてもよい。

【0019】

画像取得部１０は、対象物Ｗに対して同じ撮像位置及び同じ撮像姿勢で対象物Ｗを複数回撮像して複数の第一距離画像を取得する。画像取得部１０は、第一距離画像に加えて、同じ撮像位置及び同じ撮像姿勢で対象物Ｗを撮像して光強度画像を取得する機能を兼ね備えているとよい。

【0020】

上位コンピュータ装置２０は、画像取得部１０で取得した複数の第一距離画像を合成して第二距離画像を生成する画像合成部２１を備えている。画像合成部２１は、複数の第一距離画像を対応する画素毎に平均化して第二距離画像を生成するが、複数の第一距離画像に対してＩＩＲフィルタ等の時間フィルタ、メディアンフィルタ、ガウシアンフィルタ等の空間フィルタ、又はこれらを組み合わせたフィルタ処理を行って第二距離画像を生成してもよい。このような合成距離画像によって測距バラツキが低減する。

【0021】

上位コンピュータ装置２０は、合成対象の画像領域を指定する画像領域指定部２４をさらに備えているとよい。合成対象の画像領域は、例えば対象物Ｗの特定の領域（例えば対象物Ｗの吸着面や対象物Ｗに対して所定の作業（スポット溶接、シーリング、ねじ締結等）を施す面等）でよい。合成対象の画像領域は、ユーザが手動で指定してもよいが、上位コンピュータ装置２０が自動で指定してもよい。手動指定の場合には、例えば取得した距離画像上又は光強度画像上でユーザが画像領域を指定するための入力ツール等を備えているとよい。合成対象の画像領域を制限することにより、距離画像の合成処理を高速化できる。

【0022】

上位コンピュータ装置２０は、距離画像又は光強度画像の中から対象物Ｗの少なくとも一部を写した画像領域を自動的に特定する対象物特定部２５をさらに備えていてもよい。対象物Ｗの特定手法としては、パターンマッチング等のマッチング処理、画像の特徴量を解析するブロブ解析、類似領域を分類するクラスタリング等の公知の手法を利用できる。特定された画像領域は、画像領域指定部２４によって合成対象の画像領域として指定される。

【0023】

距離画像撮像システム１は、例えばロボットシステムに適用可能である。距離画像撮像システム１は、ロボット４０と、ロボット４０を制御するロボット制御装置３０と、をさらに備え、ロボット制御装置３０は、上位コンピュータ装置２０に対して第二距離画像の要求指令を行い、上位コンピュータ装置２０から取得した第二距離画像（即ち、対象物Ｗの位置及び姿勢の少なくとも一方。以下同じ。）に基づいてロボット４０の動作を補正することができる。

【0024】

複数台のロボット４０と複数台のロボット制御装置３０を備えるロボットシステムでは、上位コンピュータ装置２０が一対多でロボット制御装置３０と通信可能に接続するとよい。このようなサーバ構成によれば、上位コンピュータ装置２０側では負荷の大きい画像処理を担い、ロボット制御装置３０側ではロボット４０の制御処理に性能を集中させることが可能になる。

【0025】

ロボット４０は、多関節ロボットであるが、パラレルリンク型ロボット等の他の産業用ロボットでもよい。ロボット４０は、対象物Ｗに対して作業を行うツール４１をさらに備えているとよい。ツール４１は、対象物Ｗを把持するハンドであるが、対象物Ｗに対して所定の作業（スポット溶接、シーリング、ねじ締結等）を行う他のツールでもよい。対象物Ｗは、搬送装置５０によって搬送されてロボット４０の作業領域内に到来するが、パレット（図示せず）等にバラ積みされたシステム構成であってもよい。搬送装置５０は、コンベヤであるが、無人搬送車（ＡＧＶ）等の他の搬送装置でもよい。

【0026】

画像取得部１０は、ロボット４０の先端部に設置されるが、ロボット４０とは別の固定点に設置されてもよい。ロボット制御装置３０は、教示装置（図示せず）で予め生成された動作プログラムに従ってロボット４０及びツール４１の動作を制御する動作制御部３１を備えている。対象物Ｗがロボット４０の作業領域内に到来すると、動作制御部３１は、搬送装置５０を一時停止させて第二距離画像の要求指令を上位コンピュータ装置２０に対して行うが、ロボット４０の先端部を対象物Ｗの動作に追従させながら第二距離画像の要求指令を上位コンピュータ装置２０に対して行ってもよい。

【0027】

搬送装置５０を一時停止させる場合、画像取得部１０は、静止している対象物Ｗに対して同じ撮像位置及び同じ撮像姿勢で複数の第一距離画像を取得することになる。一方で、ロボット４０が対象物Ｗの動作に追従している場合、画像取得部１０は、移動している対象物Ｗに対して同じ撮像位置及び同じ撮像姿勢で複数の第一距離画像を取得することになる。動作制御部３１は、上位コンピュータ装置２０から取得した第二距離画像に基づいてロボット４０及びツール４１の少なくとも一方の動作を補正する。

【0028】

上位コンピュータ装置２０は、第一距離画像の撮像回数を決定する撮像回数決定部２２を備えることを特徴としている。撮像回数決定部２２は、第二距離画像の要求指令を受けると、撮像指令を画像取得部１０に対して行い、複数の第一距離画像を取得する。撮像回数決定部２２は、第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を決定する。なお、撮像回数決定部２２は、撮像回数の代わりに、画像合成部２１が画像取得部１０から取得する第一距離画像の取得枚数を決定してもよいし、又は画像合成部２１が時間フィルタを適用して第二距離画像を生成する場合には時間フィルタの時定数を決定してもよい。撮像回数決定手法としては、関数方式、逐次方式といった二つの手法があり、以下ではこれら二つの撮像回数決定手法について順に説明する。

【0029】

図２は関数方式による撮像回数決定手法を説明するためのグラフを示している。一般にＴＯＦセンサでは、距離画像と同時に光強度画像を取得でき、光強度画像における光強度値ｓと距離画像における測距バラツキσとの間にはグラフで示すような一定の相関がある。このグラフは次式で近似される。ここで、ｆは参照光の発光周波数であり、Ａ及びｋは測距センサ１０の構成部品の仕様の相違や個体特性バラツキを含む定数である。次式のＡ及びｋは、予め実験的に取得しておくか又は出荷時のキャリブレーションデータとして取得しておくことができる。

【0030】

【数1】

【0031】

従って関数方式では、１回目の撮像で取得した光強度画像から光強度値ｓ₁を取得し、取得した光強度値ｓ₁を例えば式１に代入することにより、第一距離画像における測距誤差σ₁を推定できる。或いは、このような近似式を用いず、予め実験的又は出荷時のキャリブレーション時に取得しておいた光強度値ｓと測距バラツキσの関係を複数記憶したデータテーブルに対して線形補間や多項式補間等を行って第一距離画像における測距誤差σ₁を求めてもよい。さらに、第一距離画像における測距誤差σ₁は概ね正規分布的なバラツキを持つため、Ｎ回撮像した第一距離画像を対応する画素毎に距離を平均化する平均化処理を行った第二距離画像の測距バラツキは、統計学の中心極限定理により１／Ｎ^0.5の低減度で低減することが知られている。即ち、この測距バラツキσ₁／Ｎ^0.5を第二距離画像における測距誤差と考えれば、第二距離画像の測距誤差σ₁／Ｎ^0.5を推定できることになる。そして、推定した第二距離画像における測距誤差σ₁／Ｎ^0.5が予め定めた目標誤差σ_TG以下になる、第一距離画像の撮像回数Ｎを決定する。つまり、複数の第一距離画像を平均化処理して第二距離画像を生成する場合には、次式に基づいて撮像回数Ｎを決定することが可能である。なお、例示した平均化処理以外の合成処理を適用する場合の第二距離画像の測距誤差については夫々異なる低減度を適用することになる。

【0032】

【数2】

【0033】

図１を再び参照すると、関数方式で撮像回数を決定する場合、撮像回数決定部２２は、画像取得部１０から取得した光強度画像に基づいて第一距離画像の撮像回数を決定することになる。つまり撮像回数決定部２２は、光強度画像における光強度値ｓと距離画像における測距バラツキσとの間の関係（式１）に基づいて光強度画像から第二距離画像における測距誤差σ₁／Ｎ^0.5を推定し、推定した第二距離画像における測距誤差σ₁／Ｎ^0.5が目標誤差σ_TG以下になる撮像回数Ｎを決定する。

【0034】

また撮像回数決定に際して、撮像回数決定部２２は、光強度画像の画素の単位で第二距離画像における測距誤差を推定してもよいし、又は光強度画像内の画素領域の単位で第二距離画像における測距誤差を推定してもよい。つまり撮像回数決定部２２は、例えば対象物Ｗの特定の画素の光強度値に基づいて第二距離画像における測距誤差を推定してもよいし、又は対象物Ｗの特定の画素領域（例えば３×３の画素領域）の光強度値の平均値又は最低値に基づいて第二距離画像における測距誤差を推定してもよい。

【0035】

さらに撮像回数決定に際して、光強度画像は、少なくとも１枚取得すればよいが、複数枚取得してもよい。複数枚取得する場合、撮像回数決定部２２は、複数の光強度画像の間で対応する画素の光強度値の平均値又は最低値に基づいて第二距離画像における測距誤差を推定してもよいし、又は複数の光強度画像の間で対応する画素領域（例えば３×３の画素領域）の光強度値の平均値又は最低値に基づいて第二距離画像における測距誤差を推定してもよい。このようにより多くの画素の光強度値を使用することにより、第二距離画像における測距誤差を（ひいては第一距離画像の撮像回数を）より精度の良い推定又はより確度高く目標誤差以下となる推定が可能になる。

【0036】

加えて撮像回数決定に際して、目標誤差σ_TGは、予め定めた固定値でもよいが、ユーザによって指定された指定値でもよい。指定値の場合、距離画像撮像システム１は、目標誤差σ_TGを指定する目標誤差指定部２３をさらに備えていてもよい。例えばユーザインタフェース上でユーザが目標誤差σ_TGを指定するための数値入力欄等を備えているとよい。目標誤差σ_TGを指定できることにより、ユーザの要望に応じた目標誤差で第二距離画像を生成することが可能になる。

【0037】

図３は関数方式による撮像回数決定処理の流れを示している。先ずステップＳ１０では、１回目の撮像（ｎ＝１）で第一距離画像とこれに対応する光強度画像を取得する。なお、複数回（ｎ＝２、３等）の撮像を行って複数の第一距離画像とこれらに対応する複数の光強度画像を取得してもよい。ステップＳ１１では、取得した画像に基づき、必要に応じて合成対象の画像領域を手動で指定するか、又は対象物Ｗの少なくとも一部を写した画像領域を自動で特定する。

【0038】

ステップＳ１２では、光強度画像（の画像領域）に基づいて第二距離画像における測距誤差を推定する。推定には、光強度画像（の画像領域）における光強度値ｓと第一距離画像における測距バラツキσとの間の関係を表す近似式１や、光強度値ｓと測距バラツキσのデータテーブルの線形補間や多項式補間等を用いる。このとき、光強度画像（の画像領域）の画素の単位で又は光強度画像（の画像領域）内の画素領域の単位で第二距離画像における測距誤差を推定してもよいし、又は複数の光強度画像（の画像領域）の間で対応する画素の単位で又は複数の光強度画像（の画像領域）の間で対応する画素領域の単位で第二距離画像における測距誤差を推定してもよい。

【0039】

ステップＳ１３では、推定した第一距離画像の測距誤差σ₁と、例えば複数の第一距離画像を平均化処理して生成される第二距離画像の測距誤差の低減度１／Ｎ^0.5と、に基づき、第二距離画像の測距誤差σ₁／Ｎ^0.5を推定し、推定した第二距離画像における測距誤差σ₁／Ｎ^0.5が目標誤差σ_TG以下になる撮像回数Ｎを決定する。なお、平均化処理以外のフィルタ処理を適用する場合は、夫々異なる低減度を適用して撮像回数Ｎを決定することになる。

【0040】

ステップＳ１４では、現在の撮像回数ｎが決定した撮像回数Ｎに達したか否かの判定を行う。ステップＳ１４において現在の撮像回数ｎが決定した撮像回数Ｎに達していない場合には（ステップＳ１４のＮＯ）、ステップＳ１５に進み、第一距離画像をさらに取得し（ｎ＝ｎ＋１）、ステップＳ１６で第一距離画像（の画像領域）を合成して（平均化処理等を行って）第二距離画像を生成する処理を繰り返す。ステップＳ１４において現在の撮像回数ｎが決定した撮像回数Ｎに達した場合には（ステップＳ１４のＹＥＳ）、第一距離画像の合成処理が終了し、この時の第二距離画像が最終的な第二距離画像となる。

【0041】

次に逐次方式による撮像回数決定手法について説明する。第一距離画像における測距バラツキは概ね正規分布的なバラツキを持ち、推定される第一距離画像における測距誤差をその標準偏差σで表すとした場合、この第一距離画像をｎ回撮像し対応する画素毎に距離を平均化する平均化処理を行った第二距離画像の測距誤差はσ_n／ｎ^0.5に低減する。このように低減した第二距離画像における測距誤差σ_n／ｎ^0.5が目標誤差σ_TG以下と考えると次式が得られる。

【0042】

【数3】

【0043】

この式をさらに変形すると次式が得られる。

【0044】

【数4】

【0045】

σ_n ²は統計学上分散と呼ばれる値であり、ｘ₁～ｘ_nまでｎ個のデータの平均をμ_nとすると、その分散σ_n ²は次式の通りである。

【0046】

【数5】

【0047】

ここで平均μ_n、分散σ_n ²は夫々、次式の通りデータの逐次計算によって求めることができる。

【0048】

【数6】

【0049】

【数7】

【0050】

従って、撮像によって測距値が得られる毎に、平均μ_n、分散σ_n ²の逐次計算を行い、分散σ_n ²と撮像回数ｎとの間の関係を表す判定式４で判定することによって、平均μ_n（即ち第二距離画像）の測距誤差σ_n／ｎ^0.5が目標誤差σ_TG以下かを推定できることになり、撮像回数ｎが自動的に決定されることになる。なお、適用する合成方法が異なり、撮像回数ｎに対する測距誤差の低減度が異なる場合には、低減度の比率を判定式４の右辺に乗じて判定を行うとよい。

【0051】

図４はこの逐次方式による撮像回数決定手法を説明するためのグラフを示している。ここでは第二距離画像の合成方法が第一距離画像の対応する画素毎に距離を平均化する平均化処理とする。図４では、グラフの横軸が撮像回数（特定画素の測距値の個数）を示し、グラフの縦軸が距離（ｃｍ）を示している。図４には、実際には１００ｃｍの距離にある対象物Ｗを１００回撮像（即ち、測距値を１００個取得）した例（黒点）が示されている。逐次方式では、第一距離画像を撮像する度に、測距値の逐次平均（破線）と逐次分散（一点鎖線）を計算していくことになる。

【0052】

図４には、目標誤差σ_TGが１．５ｃｍのときの判定式４の右辺値σ_n ²／１．５²（太線）の逐次計算値も示されている。符号Ａは、現在の撮像回数ｎ（実線）がσ_n ²／１．５²（太線）を超えた時点を示しており、判定式４の条件を満たしたことを示す。つまり第一距離画像の撮像回数ｎが３３回目のときに、ようやく第二距離画像における測距誤差σ_n ²が所定の信頼度で（後述するが、この例では６８．３％の信頼度で）目標誤差１．５ｃｍ以下になることを示している。なお、このとき平均値Ａｖｅは１０１．５６ｃｍであり、この値が第二距離画像における測距値となる。

【0053】

また撮像回数決定に際して、撮像回数決定部２２は、複数の第一距離画像の間で対応する画素の単位で測距値の分散σ_n ²を逐次計算するが、測距センサ１０から見て一定の高さの面を持つ対象物Ｗの画像領域のみを合成する場合には、複数の第一距離画像の間で対応する画素領域（例えば３×３の画素領域）の単位で分散σ_n ²を逐次計算してもよい。このようにより多くの画素の測距値を使用することにより、撮像回数をさらに低減でき、無駄時間の削減を実現できることになる。

【0054】

さらに撮像回数決定に際して、目標誤差σ_TGは、予め定めた固定値でもよいが、ユーザによって指定された指定値でもよい。例えば目標誤差σ_TGが１ｃｍで指定されたときの判定式３の右辺値σ_n ²／１²は、逐次分散σ_n ²そのものになるため、図４のグラフには現在の撮像回数ｎ（実線）が逐次分散σ_n ²（破線）を超えた時点Ｂも示されている。つまり第一距離画像の撮像回数ｎが９２回目のときに、ようやく第二距離画像における測距誤差σ_n ²が所定の信頼度で目標誤差１ｃｍ以下になることを示している。なお、このとき平均値Ａｖｅは１００．６１ｃｍであり、この値が第二距離画像の測距値となる。

【0055】

図５は逐次方式による撮像回数決定処理の流れを示している。先ずステップＳ２０では、１回目の撮像（ｎ＝１）で第一距離画像を取得する。ステップＳ２１では、取得した画像に基づき、必要に応じて合成対象の画像領域を手動で指定するか、又は対象物Ｗの少なくとも一部を写した画像領域を自動で特定する。

【0056】

ステップＳ２２では、第一距離画像をさらに取得し（ｎ＝ｎ＋１）、ステップＳ２３で複数の第一距離画像（の画像領域）を合成して（平均化処理等を行って）第二距離画像を生成する。なお、ステップＳ２３における第一距離画像の合成処理が、対応する画素毎に距離を平均化する平均化処理でない場合には、合成処理は撮像回数ｎを決定した後（即ち、ステップＳ２５の後）に行ってもよい。

【0057】

ステップＳ２４では、第二距離画像における測距誤差の推定に必要な距離の分散σ_n ²を逐次計算する。このとき、複数の第一距離画像（の画像領域）の間で対応する画素の単位で又は複数の第一距離画像（の画像領域）内で対応する画素領域の単位で分散σ_n ²を計算してもよい。

【0058】

ステップＳ２５では、逐次計算した分散σ_n ²と撮像回数ｎとの間の関係を表す判定式４を満たす撮像回数ｎであるかを判定する。換言すれば、第一距離画像の取得終了を判定することにより、第一距離画像の撮像回数ｎが自動的に決定されることになる。

【0059】

ステップＳ２５において撮像回数ｎが判定式４を満たさない場合には（ステップＳ２５のＮＯ）、ステップＳ２２に戻り、第一距離画像をさらに取得する。

【0060】

ステップＳ２５において撮像回数ｎが判定式４を満たす場合には（ステップＳ２５のＹＥＳ）、第一距離画像の取得を終了し、この時の第二距離画像が最終的な第二距離画像となる。

【0061】

なお、測距値の本来のバラツキに反し、最初の数個の測距値が偶発的に同程度の値であった場合には、逐次計算した分散σ_n ²が小さくなり、第二距離画像の誤差が所望の値以下になっていないにも拘わらず、判定式４を満たしてしまう可能性がある。この可能性を排除するため、ステップＳ２５の判定前にｎ≧Ｋ（Ｋは、最低撮像回数）の判定ステップを設けてもよい。

【0062】

また、ステップＳ２２～ステップＳ２５までのループは、第一距離画像の全領域又はステップＳ２１で指定された画像領域の全画素で判定式４が成立するまで続けてもよいし、又は画素故障等に配慮して画像領域内の画素数に対して予め定めた割合の画素で判定式４が成立したらループを抜けるようにしてもよく、また最大撮像回数を指定し最大撮像回数を超えた場合にはループを抜けるようにしてもよい。従って、距離画像撮像システム１は最低撮像回数指定部や、判定式４の成立割合を指定する成立割合指定部や、最大撮像回数指定部を備えていてもよい。例えばユーザインタフェース上でユーザがこれらを指定するための数値入力欄等を備えているとよい。

【0063】

次に第二距離画像における測距誤差の信頼度を指定する変形例について説明する。一般に値のバラツキが正規分布的である場合、サンプル数を大きくすることで高い精度で平均値を推定できるが、真の平均値に対して誤差は残存する。そのため、統計学では、信頼区間と、許容誤差ε、サンプル数ｎ、及び偏差σとの間の関係を定義している。図６は標準正規分布Ｎ（０，１）において信頼区間９５％との関係を示すグラフであるが、－１．９６σ～＋１．９６σの範囲に９５％の面積（＝確率）が分布することを示している。従って母集団の偏差σが既知で、信頼区間を９５％とした場合、許容誤差εとサンプル数ｎとの間には次式の関係がある。

【0064】

【数8】

【0065】

従って、目標誤差σ_TGを９５％の信頼度で達成するための撮像回数Ｎは、関数方式の場合、推定した第一距離画像における測距誤差σ₁から次式で求めることが可能である。

【0066】

【数9】

【0067】

同様に逐次方式では、目標誤差σ_TGを９５％の信頼度で達成する撮像回数ｎであるか否かは、次式で判定すればよいことになる。

【0068】

【数10】

【0069】

このように９５％信頼区間の場合、信頼係数は１．９６であるが、９０％信頼区間の場合には信頼係数が１．６５になり、９９％信頼区間の場合には信頼係数が２．５８になる。さらに信頼係数を１とした場合の信頼区間は６８．３％になる。従って、前述してきた関数方式や逐次方式で決定される撮像回数は、推定した測距誤差が６８．３％の信頼度で目標誤差σ_TG以下となる撮像回数であることに留意されたい。

【0070】

このように目標誤差に対して信頼度を付加した指定が行えることで、許容誤差に対してより直感的な指定が可能になり、ユーザの要望に応じた信頼度で第二距離画像を生成することが可能になる。図１を再び参照すると、距離画像撮像システム１は、このような信頼度ｃｄを指定する信頼度指定部２６をさらに備えていてもよい。信頼度ｃｄは、信頼区間ｃｉでもよいし、又は信頼係数ｃｃでもよい。例えばユーザインタフェース上でユーザが信頼度ｃｄを指定するための数値入力欄等を備えているとよい。

【0071】

図７は距離画像撮像システム１の構成の変形例を示している。距離画像撮像システム１は、前述の距離画像撮像システムとは異なり、上位コンピュータ装置２０を備えていない。つまり上位コンピュータ装置２０に実装されていた構成要素は全て、ロボット制御装置３０に組込まれている。この場合、ロボット制御装置３０が撮像指令を画像取得部１０に対して行うことになる。一台のロボット４０と一台のロボット制御装置３０を備えるロボットシステムでは、このようなスタンドアロン構成が好適である。なお、上位コンピュータ装置２０に実装されていた構成は全て、測距センサの一部の機能として実装されてもよい。

【0072】

なお、前述のプロセッサで実行されるプログラムや前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよい。

【0073】

以上の実施形態によれば、撮像回数が自動的に調整されるため、対象物Ｗが変化しても安定した測距精度と無駄時間の削減を実現した画像合成技術を提供できる。

【0074】

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

【符号の説明】

【0075】

１ 距離画像撮像システム
１０ 画像取得部（測距センサ）
２０ 上位コンピュータ装置
２１ 画像合成部
２２ 撮像回数決定部
２３ 目標誤差指定部
２４ 画像領域指定部
２５ 対象物特定部
２６ 信頼度指定部
３０ ロボット制御装置
３１ 動作制御部
４０ ロボット
４１ ツール
５０ 搬送装置
Ｗ 対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】