(58)【調査した分野】(Int.Cl.,DB名)
前記投射部と、前記第1の撮像部及び第2の撮像部が据え付け部に一体的に形成され、前記据え付け部は、前記カバーと対向する同一面上を構成する据え付け面を有することを特徴とする請求項1から10の何れか1項に記載の3次元情報検出装置。
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特に人型や動物型の民生用ロボットにアクティブ型の3次元情報検出装置を使用する場合、投射部、第1の撮像部、第2の撮像部を備えた光学系をロボット外部に露出した状態で設置すると外観が悪くなるばかりでなく、外観の演出度や設計の自由度が制限される。
【0009】
本発明は、このような事情に鑑みてなされたもので、外観の制約に縛られないデザイン性の高いロボットに搭載可能な3次元情報検出装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
ロボットの外観デザインに自由度を持たせるため、光学系をロボット内部(例えばロボットの頭部)に埋め込み、光学系を光透過性のカバーで覆うことが考えられる。しかしながら、光学系をカバーで覆うと、カバーを通して被測定物体に投射した投射光の一部がカバーによって反射され、その反射光によって三角測量を正確に行うことができず、被測定物体の3次元情報の検出精度が低下してしまう。そこで、本発明者は光学系を光透過性のカバーで覆うことで、デザイン性を高めるとともに、反射光が3次元情報の検出精度の低下に影響を及ぼさない構造を創出するに至った。
【0011】
本発明の3次元情報検出装置の一態様は、被測定物体に画像パターンの投射光を投射する投射部と、被測定物体に映る画像パターンをそれぞれ撮像する第1の撮像部及び第2の撮像部と、投射部、第1の撮像部及び第2の撮像部を覆う光透過性のカバーと、第1の撮像部及び第2の撮像部に撮像された画像パターンを示すステレオ画像に基づいて被測定物体の3次元情報を算出する算出部と、を備え、投射部、第1の撮像部、及び第2の撮像部の据え付け部の少なくとも据え付け面の一部は光吸収部材で形成され、カバーを通して被測定物体に投射された画像パターンの投射光のうちカバーで正反射した反射光が直接入射する領域外に第1の撮像部及び第2の撮像部が配置されている。換言すれば、反射光が、第1の撮像部及び第2の撮像部に直接入射しないように光学系の配置関係と、カバーの形状とが設定されている。
【0012】
本発明において、カバーで反射した反射光が据え付け面の第1の撮像部及び第2の撮像部以外の領域に入射することが好ましく、据え付け面の第1の撮像部及び第2の撮像部以外の領域であって、光吸収部材で形成された領域に入射することがより好ましい。
【0013】
本発明において、投射光が不可視光であることが好ましく、不可視光は近赤外光であることが特に好ましい。
【0014】
本発明において、据え付け面は投射光の投射波長における反射率が50%以下の光吸収部材で形成されていることが好ましい。据え付け面のより好ましい反射率は30%以下であり、特に好ましくは10%以下である。ここで、反射率とは正反射率と拡散反射率とを合わせた全反射率を意味し、以下同様である。
【0015】
本発明において、カバーの少なくとも投射光が照射される部分の一部の反射面は投射光の投射波長における反射率が8%以下であることが好ましい。カバーの反射面のより好ましい反射率は5%以下であり、特に好ましくは3%以下である。
【0016】
本発明において、カバーと第1の撮像部及び第2の撮像部との間に、反射光に多く含まれる偏光成分を除く直線偏光素子を設けることが好ましい。
【0017】
本発明において、カバーの少なくとも一部は曲面形状であることが好ましい。
【0018】
本発明において、投射部は第1の撮像部と第2の撮像部との間に配置され、且つ光透過性カバーの中心から外れていることが好ましい。
【0019】
カバーは不可視光の透過率が可視光の透過率よりも大きいことが好ましい。
【発明の効果】
【0020】
本発明の3次元情報検出装置によれば、投射部、第1の撮像部、第2の撮像部を備えた光学系が外部に露出しないように光透過性のカバーで覆っても被測定物体の3次元情報の検出精度が低下しないようにできる。
【発明を実施するための形態】
【0022】
以下、添付図面にしたがって本発明の3次元情報検出装置を実施するための形態について説明する。
【0023】
本発明は以下の好ましい実施の形態により説明される。本発明の範囲を逸脱すること無く、多くの手法により変更を行うことができ、本実施の形態以外の他の実施の形態を利用することができる。したがって、本発明の範囲内における全ての変更が特許請求の範囲に含まれる。
【0024】
図1は、本発明の実施の形態のアクティブ型の3次元情報検出装置10の基本構成を示す概念図である。
【0025】
図1に示すように、本実施の形態の3次元情報検出装置10の基本構成は、主として、被測定物体12に画像パターン14の投射光Lを投射する投射部16と、被測定物体12に映る画像パターン14をそれぞれ撮像する第1の撮像部18及び第2の撮像部20と、投射部16、第1の撮像部18及び第2の撮像部20を覆う光透過性のカバー22と、第1の撮像部18及び第2の撮像部20に撮像された画像パターン14を示すステレオ画像に基づいて被測定物体12の3次元情報を算出する算出部24と、で構成される。
【0026】
なお、本実施の形態では、投射部16、第1の撮像部18、第2の撮像部20の全体を総称として3次元情報検出装置10の光学系26と言うことにする。
【0027】
ここで、投射部16、第1の撮像部18及び第2の撮像部20を覆う光透過性のカバー22とは、被測定物体12に向いた光学系26の少なくとも正面全体を覆うカバー22であって、投射部16、第1の撮像部18、第2の撮像部20の個々の部材を個々に覆うためのカバーは含まない。
【0028】
図2は、本発明の実施の形態の3次元情報検出装置10の光学系26を、人型のロボット28の頭部30に埋め込み、光学系26をカバー22で覆うことによって投射や撮像のための光学窓をロボット28の顔表面に形成した図である。
【0029】
なお、本実施の形態では、本発明の3次元情報検出装置10を人型のロボット28に組み込んだ例で説明するが、本発明はこれに限定されず、光学系26をカバー22で覆うようにしたアクティブ型の3次元情報検出装置10の全てに適用できる。
【0030】
図2に示すように、人型のロボット28は、主として、頭部30と、胴体部32と、両手部34A,34Bと、両足部36A,36Bと、両足部36A,36Bの下端に設けられた歩行のための歩行部38A,38Bとで構成される。歩行部38A,38Bとしては例えば自走式の車輪等を用いることができる。
【0031】
また、胴体部32には、ロボット28を制御する制御装置40(
図1参照)と電源装置42(
図1参照)が内蔵される。上記した3次元情報を算出する算出部24は、
図1に示すように制御装置40の一部として組み込んでもよく、別装置として設けてもよい。
【0032】
ロボット28の頭部30は、人の頭部形状に似せた略球体状に形成され、頭部30正面の顔44の上部両側に人の目46A,46Bをイメージさせる意匠が形成され、頭部30内部に3次元情報検出装置10の光学系26が埋め込まれる。
【0033】
図3は、ロボット28の頭部30正面の図である。また、
図4は頭部30を、埋め込まれた光学系26の位置で横方向に切断した場合の断面を上から見た断面図である。
【0034】
図3及び
図4に示すように、頭部30正面の顔44の中央下部から頭部30内部へ水平に凹状の埋め込み空間48が形成される。
【0035】
そして、埋め込み空間48の入口開口(顔表面の開口)には、少なくとも一部が曲面形状をした光透過性のカバー22が設けられる。このカバー22はロボット28の顔44の下部に人の口22Aをイメージさせる意匠ともなる。
【0036】
本実施の形態では、埋め込み空間48の形状として楕円柱形としたが、円柱形、四角柱形等の他の形状でもよい。また、本実施の形態では、カバー22の形状として楕円形板が円弧状に曲がった円弧曲面としたが、これに限定されず、少なくとも一部が曲面形状であればよい。
【0037】
また、埋め込み空間48の底面(入口開口の反対面)に光学系26を据え付ける直方体状の据え付け部50が固定される。
【0038】
直方体状の据え付け部50の据え付け面50Aには、第1の撮像部18と第2の撮像部20とが、カバー22の縦中心線Mを中心として頭部30の幅方向に左右対称に配置され、2台の撮像部18,20により被測定物体12までの距離情報を含む3次元情報が得られる。即ち、2台の撮像部18,20は被測定物体12の立体情報を得るためのステレオカメラを構成している。第1の撮像部18及び第2の撮像部20としては、CCD(Charge-Coupled Device)カメラ、CMOS(Complemental Metal Oxide Semiconductor)カメラ等の電子カメラを使用することができる。
【0039】
また、投射部16は、第1の撮像部18と第2の撮像部20との間に配置され、投射部16から被測定物体12に画像パターンが投射される。画像パターン14としては、例えば
図1に示すように、予め各ドットの位置関係が定まっているランダムドットパターンが好ましい。しかし、これに限らず立体情報の取得が可能な画像パターンであれば任意の画像パターンを使用することができる。
図1では、ランダムドットパターンの形成として投射部16の正面にドットスクリーン52を配置して図示したが、投射部16としてランダムドットパターンプロジェクタを好適に使用することができる。
【0040】
上記の如く構成された3次元情報検出装置10により被測定物体12の3次元情報を検出するには、投射部16からカバー22を通して被測定物体12に画像パターン14(例えばランダムドットパターン)を投射する。そして、被測定物体12に映る画像パターン14を第1の撮像部18と第2の撮像部20との2台の撮像部で撮像し、画像パターン14のパターン像を含むステレオ画像を取得する。
【0041】
この場合、投射部16は第1の撮像部18と第2の撮像部20との間に配置され、且つ
図3に示すようにカバー22の縦中心線Mから外れていることが好ましい。また、第1の撮像部18及び第2の撮像部20は、投射部16に対して左右非対称に配置されていることが好ましい。これにより、被測定物体12の3次元検出がやり易くなるだけでなく、据え付け部50の背面側に形成される光学系関係の回路形成が容易になる。
【0042】
そして、算出部24において、第1の撮像部18及び第2の撮像部20に撮像されたステレオ画像(各パターン像)の対応点ごとに三角測量の原理に基づいて深度(距離)を算出し、これにより被測定物体12の3次元情報を取得する。なお、算出部24で被測定物体12の3次元情報を算出する方法は、ステレオ画像の視差等を利用する公知の方法によって算出することができるが、本実施の形態では発明の趣旨ではないので詳しい説明は省略する。
【0043】
これにより、本実施の形態の3次元情報検出装置10によって、被測定物体12の立体形状等の3次元情報を検出(認識)することができる。
【0044】
一般に、3次元情報検出装置の光学系をカバーで覆うと、カバーを通して被測定物体に投射した投射光のうち、カバーの内側で反射した反射光によって三角測量を正確に行うことができない。即ち、光学系をカバーで覆うと、アクティブ型の3次元情報検出装置が有する本来の高検出な特徴を生かせなくなるという問題がある。
【0045】
本発明者は、アクティブ型の3次元情報検出装置において、投射部、第1の撮像部及び第2の撮像部を備えた光学系をカバーで覆った場合、投射部から投射した投射光の全光量のうち、カバーの内側で正反射する反射光(以下「カバー反射光」という)の光量は通常10%以下と少ないが、カバー反射光が第1の撮像部及び第2の撮像部に直接入射すると、被測定物体の三角測量を正確に行えなくなるとの知見を得た。
【0046】
三角測量を正確に行えなくなる理由は、第1の撮像部及び第2の撮像部に入射した光が被測定物体で反射した反射光(以下、「ワーク反射光」という)なのか、カバーで反射したカバー反射光なのかを判別できないためである。
【0047】
そこで、本発明の実施の形態の3次元情報検出装置10では、上記の基本構成に次の2つの構成を加えることによって問題を解決するようにした。
【0048】
(第1の構成)
カバー22通して被測定物体12に投射された画像パターン14の投射光Lのうちカバー22で正反射したカバー反射光が、第1の撮像部18及び第2の撮像部20に直接入射しないように、投射部16、第1の撮像部18、第2の撮像部20及びカバー22の配置関係と、カバー22の形状とを設定するようにした。
【0049】
図5は、第1の構成を満足しない場合であり、
図6は第1の構成を満足する場合である。なお、
図5及び
図6ではカバー反射光Rのみを示し、ワーク反射光は図示していない。
【0050】
ここで、「直接入射」とは、カバー22で反射したカバー反射光Rが、直接に第1の撮像部18又は第2の撮像部20に入射することを言い、カバー22で反射した後で更にカバー22以外の部材で反射(例えば
図5及び
図6の点線で示す)を繰り返して最終的に第1の撮像部18又は第2の撮像部20に入射する間接入射は含まないことを意味する。
【0051】
図5の場合には、投射光Lのうちカバー22で正反射して光学系26の据え付け面50Aに直接入射するカバー反射光Rの直接入射最大領域Wの領域内に第1の撮像部18及び第2の撮像部20が配置されている場合である。この場合には、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射する。
【0052】
一方、
図6の場合には、投射光Lのうちカバー22で正反射して光学系26の据え付け面50Aに直接入射するカバー反射光Rの直接入射最大領域Wの領域外に第1の撮像部18及び第2の撮像部20が配置されている場合である。この場合には、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射することはない。
【0053】
なお、
図6では、カバー反射光Rの直接入射最大領域Wの領域外に第1の撮像部18及び第2の撮像部20が配置されるように、投射部16に対する第1の撮像部18及び第2の撮像部20の離間距離を
図5よりも大きくして配置した構造例である(以下「構造例1」という)。
【0054】
しかし、カバー反射光Rの直接入射最大領域Wの領域外に第1の撮像部及び第2の撮像部が配置されるように設定するには、上記の構造例1以外に、カバー22の形状を設定したり(以下「構造例2」という)、カバー22と光学系26との離間距離を設定したり(以下「構造例3」という)することで対応することもでき、構造例1から構造例3を組み合わせることが特に好ましい。
【0055】
また、上記の3つの構造例は相互に関係するが、構造例1の投射部・撮像部距離は、1mm以上、より好ましくは5mm以上、特に好ましくは10mm以上であることが好ましい。構造例1において、投射部16に対する第1の撮像部18及び第2の撮像部20の離間距離が1mm未満と近すぎると、他の構造例2及び3を組み合わせても、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射しないように設定することが難しくなる。
【0056】
(第2の構成)
投射部16、第1の撮像部18、及び第2の撮像部20の据え付け部50の少なくとも据え付け面50Aの一部は光吸収部材54で形成するようにした。据え付け面50Aの全面を光吸収部材54で形成することがより好ましい。
【0057】
図7は、光吸収部材54として、据え付け面50Aの全体に黒色有機塗料をコーティングした場合であり、スクリーン印刷等により据え付け面50Aにコーティングすることができる。また
、本実施の形態における光吸収部材54としては、黒色有機塗料に限らず例えば酸化チタン、酸化アルミニウム、又はこれらの複合膜のように金属酸化物の薄膜等、その他公知のものを使用することができる。
【0058】
この第2の構成により、カバー反射光Rのうち、据え付け面50Aに入射したカバー反射光Rは光吸収部材54によって吸収されるので、据え付け面50Aで再度反射して第1の撮像部18及び第2の撮像部20に間接入射する間接入射光を減らすことができる。
【0059】
光吸収部材54で形成した据え付け面50Aの反射率は、投射光Lの投射波長における反射率が50%以下であることが好ましい。据え付け面50Aのより好ましい反射率は30%以下であり、特に好ましくは10%以下である。
【0060】
上記2つの構成によって、投射部16、撮像部18,20からなる光学系26が外部に露出しないように光透過性のカバー22で覆っても三角測量を正確に行うことができるので、被測定物体12の3次元情報の検出を高精度に行うことができる。
【0061】
また、光学系26をカバー22で覆っても三角測量を一層正確に行うことができ、高い精度で3次元情報を検出するためには、上記の第1の構成及び第2の構成に加えて以下に説明する(1)〜(5)の構成を加えることが好ましい。
【0062】
(1)カバー22で反射したカバー反射光Rの全量のうちの80%以上が据え付け面50Aに入射するようにすることが好ましい。90%以上がより好ましく、95%以上が更に好ましい。
【0063】
即ち、カバー反射光Rが、第1の撮像部18及び第2の撮像部20に直接入射しないための上記第1の構成に加えて、カバー反射光Rの全量のうちの90%以上が据え付け面50Aに入射するように、上記の構造例1から構造例3の少なくとも1つを実施する。
【0064】
ここで言う据え付け面50Aとは、第1の撮像部18及び第2の撮像部20を除いた撮像部周囲の据え付け面を指すことは言うまでもない。
【0065】
上記第1の構成によって、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射しなくても、第1の撮像部18及び第2の撮像部20に間接入射する光が多いと三角測量の正確性が低下し易い。
【0066】
したがって、カバー反射光Rの全量のうちの90%以上が光吸収部材54で形成された据え付け面50Aに入射するようにすれば、カバー反射光Rの多くは据え付け面50Aで吸収される。これにより、第1の撮像部18及び第2の撮像部20に間接入射するカバー反射光Rの光量を顕著に減らすことができるので、三角測量を一層正確に行うことができる。
【0067】
この場合、カバー反射光Rの全量のうちの95%以上が光吸収部材54で形成された据え付け面50Aに入射することがより好ましく、98%以上が特に好ましい。
【0068】
(2)投射光Lが不可視光であることが好ましく、不可視光としては近赤外光(波長780nm〜2000nm)であることが特に好ましい。
【0069】
近赤外光は可視光に比べて波長が長いため、散乱しにくい性質を有するので、カバー22で正反射したカバー反射光Rが、第1の撮像部18及び第2の撮像部20に直接入射しないように、構造例1から構造例3の設定を行い易くなる。
【0070】
不可視光を使用する場合、カバー22は不可視光の透過率が可視光の透過率よりも大きいことが好ましい。例えば、カバー22に不可視光が透過し易く、可視光が透過しにくいフィルタ(図示せず)を設けることができる。これにより、3次元情報検出装置10を人型のロボット28に適用する場合に、カバー22での不可視光の反射を減少させることができるだけでなく、ロボット28の外からカバー22内部の光学系26が見えにくくなるので、意匠的に好ましい。
【0071】
また、近赤外光の散乱しにくい性質を利用して、煙や薄い布などを透過して向こう側の被測定物体を撮影することができる。更に、目に見えないという特性もあるため、夜間に被測定物体12を近赤外光で照らしても被測定物体12に気付かれることなく撮像することができる。
【0072】
(3)カバー22の少なくとも投射光Lが照射される部分の一部の反射面は、投射光Lの投射波長における反射率が8%以下であることが好ましい。カバーのより好ましい反射率は5%以下であり、特に好ましくは3%以下である。
【0073】
図8は、投射部16から投射された投射光Lがカバー22で正反射する状態を拡大した図である。
【0074】
図8に示すように、カバー22の反射は、カバー22の表面(入射側の空気との界面)と裏面(射出側の空気と界面)の両面で反射される。即ち、カバー22は表面と裏面との2つの反射面(又は反射界面)を有する。
【0075】
したがって、投射光Lの投射波長におけるカバー22の反射率は表面と裏面の両面での反射率の合計になる。また、反射率とは正反射率と拡散反射率とを合わせた全反射率を意味することは上述の通りである。
【0076】
例えば、投射光Lとして近赤外光を使用し、カバー22をポリカーボネートで形成した場合、表面と裏面とでの反射率はそれぞれ約5%であり、カバー22の反射率は合計で約10%になる。
【0077】
カバー22の反射率を小さくするには、カバー22の表面及び裏面の少なくとも一方面に、例えばDLC膜(Diamond like Carbon)、フッ化マグネシウム膜等の公知の反射防止膜を設けることにより達成できる。
【0078】
これにより、カバー22でのカバー反射光Rを顕著に減らすことができるので、三角測量を一層正確に行うことができる。
【0079】
(4)
図9に示すように、カバー22と第1の撮像部18及び第2の撮像部20との間に、カバー反射光Rに多く含まれる偏光成分を除去する直線偏光素子56,56を設けることが好ましい。
【0080】
投射光Lがカバー22の表面(入射側の空気との界面)と裏面(射出側の空気と界面)の両面で反射されるときには、その光をS波成分とP波成分とに分けることができ、通常、カバー反射光RにはS波成分とP波成分の一方が他方よりも多く含まれる。
【0081】
したがって、カバー22と第1の撮像部18及び第2の撮像部20との間に、カバー反射光Rに多く含まれる偏光成分を除去する直線偏光素子56,56を設ければ、カバー反射光Rを顕著に減少することができるので、三角測量を一層正確に行うことができる。
【0082】
(5)本実施の形態におけるカバー22は平面形状であることも含むが、少なくとも一部は曲面形状であることがより好ましい。換言すると、投射部16とカバー22との少なくとも一部が平行でなく、第1の撮像部18及び第2の撮像部20とカバー22との少なくとも一部が平行でないことが好ましい。
【0083】
カバー22が平面形状であるよりも曲面形状の方が、カバー22で正反射したカバー反射光Rが拡がり易く、第1の撮像部18及び第2の撮像部20に直接入射し
難くなるので、本発明が一層有効になる。
【0084】
例えば、カバー22における投射光Lの反射領域のカバー形状が投射部16に対して平行な平面形状ではなく、曲面形状である場合に本発明が一層有効になる。また、カバー22における第1の撮像部18及び第2の撮像部20の撮像領域のカバー形状が第1の撮像部18及び第2の撮像部20に対して平行な平面形状ではなく、曲面形状である場合に本発明が一層有効になる。
【0085】
また、カバー22を曲面形状にすることにより、3次元情報検出装置10の光学系をロボット28の頭部30に埋め込んだときに、ロボット28の顔44の曲面に合わせて光学窓を形成することができ、外観の演出度を一層高めることができる。
【0086】
また、カバー22と光学系26との離間距離は、1mm以上であることが好ましく、5mm以上が更に好ましく、10mm以上が特に好ましい。カバー22と光学系26との離間距離が大きいほどカバー反射光Rの直接入射最大領域Wが大きくなり、カバー反射光Rが第1の撮像部18及び第2の撮像部20に直接入射し難くなるので、本発明が一層有効になる。
【0087】
また、光吸収部材54がコーティングされたフィルムは、据え付け面50Aの前方に取り付けられてもよい。据え付け面50Aとカバー22の間に光吸収部材54を設けることで、投射光Lがカバー22の内側で繰り返し反射することを防ぎ、反射光が計測精度に及ぼす悪影響を抑えることができる。