特開 2024-134193 カメラ装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134193

(43)【公開日】2024-10-03

(54)【発明の名称】カメラ装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240926BHJP

   H04N 23/56 20230101ALI20240926BHJP

   G01C 3/06 20060101ALI20240926BHJP

   G01B 11/02 20060101ALI20240926BHJP

【ＦＩ】

H04N23/60

H04N23/56

H04N23/60 500

G01C3/06 110B

G01B11/02 H

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023044379

(22)【出願日】2023-03-20

(71)【出願人】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】篠原 利章

【テーマコード（参考）】

2F065

2F112

5C122

【Ｆターム（参考）】

2F065AA02

2F065AA06

2F065AA23

2F065FF04

2F065FF08

2F065HH07

2F065JJ03

2F065JJ26

2F065PP25

2F065QQ31

2F112AC03

2F112AC06

2F112BA01

2F112CA04

2F112CA12

2F112FA35

5C122DA13

5C122DA27

5C122EA01

5C122FA17

5C122FA18

5C122FH11

5C122FH18

5C122FK37

5C122FK38

5C122FK39

5C122FK40

5C122GG05

5C122GG12

5C122GG26

5C122HA13

5C122HA35

5C122HA85

5C122HA86

5C122HB01

5C122HB02

5C122HB05

(57)【要約】

【課題】対象物までの距離を高精度に演算することが可能なカメラ装置を提供する。
【解決手段】カメラ装置は、対象物に構造化光を照射する構造化照明と、対象物を含む撮像領域を撮像する第１撮像部と、第１撮像部と異なる位置から撮像領域を撮像する第２撮像部と、構造化照明、第１撮像部、及び第２撮像部を制御する制御部とを備える。制御部は、第１構造化光を構造化照明に照射させた状態で、第１撮像部及び第２撮像部それぞれに、撮像領域の第１画像を撮像させる第１撮像処理と、第１構造化光とは空間的分布が異なる第２構造化光を構造化照明に照射させた状態で、第１撮像部及び第２撮像部それぞれに、撮像領域の第２画像を撮像させる第２撮像処理と、第１画像及び第２画像を用いて対象物までの距離情報を演算する演算処理とを実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

対象物に構造化光を照射する構造化照明と、
前記対象物を含む撮像領域を撮像する第１撮像部と、
前記第１撮像部と異なる位置から前記撮像領域を撮像する第２撮像部と、
前記構造化照明、前記第１撮像部、及び前記第２撮像部を制御する制御部とを備え、
前記制御部は、
第１構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部それぞれに、前記撮像領域の第１画像を撮像させる第１撮像処理と、
前記第１構造化光とは空間的分布が異なる第２構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部それぞれに、前記撮像領域の第２画像を撮像させる第２撮像処理と、
前記第１画像及び前記第２画像を用いて前記対象物までの距離情報を演算する演算処理とを実行する、カメラ装置。

【請求項2】

前記制御部は、
前記第１撮像処理において、第１波長の前記第１構造化光を前記構造化照明に照射させ、
前記第２撮像処理において、前記第１波長と異なる第２波長の前記第２構造化光を前記構造化照明に照射させる、請求項１に記載のカメラ装置。

【請求項3】

前記構造化照明は、
前記第１構造化光を照射する第１照明部と、
前記第２構造化光を照射する第２照明部とを備える、請求項２に記載のカメラ装置。

【請求項4】

前記構造化照明は、
白色の構造化光を照射する照明部と、
前記照明部から照射された構造化光の波長を変更する波長変更部とを備える、請求項２に記載のカメラ装置。

【請求項5】

前記波長変更部は、プリズムまたは液体レンズを含む、請求項４に記載のカメラ装置。

【請求項6】

前記構造化照明は、前記制御部から印加される電圧に応じて、構造化光の波長を切り替える発光素子を備える、請求項２に記載のカメラ装置。

【請求項7】

前記制御部は、
前記第１撮像処理において、第１偏光角の前記第１構造化光を前記構造化照明に照射させ、
前記第２撮像処理において、前記第１偏光角と異なる第２偏光角の前記第２構造化光を前記構造化照明に照射させる、請求項１に記載のカメラ装置。

【請求項8】

前記構造化照明から照射される構造化光の光路上に配置されて、前記第１偏光角の光又は前記第２偏光角の光の一方を選択的に透過し、前記第１偏光角の光又は前記第２偏光角の光の他方を遮断する第１状態と、前記第１偏光角の光又は前記第２偏光角の光の他方を選択的に透過し、前記第１偏光角の光又は前記第２偏光角の光の一方を遮断する第２状態とに切り替え可能な第１偏光部と、
前記第１撮像部及び前記第２撮像部に入射する光の光路上に配置されて、前記第１状態と前記第２状態とに切り替え可能な第２偏光部とを備える、請求項７に記載のカメラ装置。

【請求項9】

前記制御部は、
所定の空間的分布に設定した構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部に前記撮像領域を撮像させる撮像処理と、
前記撮像処理で撮像した一対の画像内において、前記対象物の同一位置と判定できる画素数を算出する算出処理と、
前記撮像処理で照射した構造化光の空間的分布と、前記算出処理で算出した画素数とを対応付けて表示装置に表示する表示処理とを、構造化光の空間的分布を変更しながら繰り返し実行し、
前記表示装置に表示させた複数の空間的分布のうちから選択された空間的分布を、前記第１構造化光及び前記第２構造化光の空間的分布として設定する設定処理を実行する、請求項１に記載のカメラ装置。

【請求項10】

前記制御部は、画像内の前記対象物の領域を特定するＡＩ処理部を備える、請求項９に記載のカメラ装置。

【請求項11】

前記制御部は、
前記第１撮像処理を実行する度に、前記第１構造化光の空間的分布を変化させ、
前記第１撮像処理で撮像した一対の画像内において、前記対象物の同一位置と判定できる画素数を算出する算出処理と、
前記第１撮像処理で照射した構造化光の空間的分布と、前記算出処理で算出した画素数とを対応付けて表示装置に表示する表示処理とを、前記第１撮像処理を実行する度に実行し、
前記表示装置に表示させた複数の空間的分布のうちから選択された空間的分布を、次回の前記第１撮像処理で照射する前記第１構造化光の空間的分布として更新する更新処理を実行する、請求項１に記載のカメラ装置。

【請求項12】

前記制御部は、
今回の前記演算処理で演算した前記距離情報、及び今回の前記第１撮像処理または前回の前記第２撮像処理で撮像した画像に基づいて、前記対象物の大きさを特定する特定処理と、
前記特定処理で特定した前記対象物の大きさに応じて、構造化光に含まれる照射図形の密度を変更する変更処理とを実行し、
次回の前記第１撮像処理及び前記第２撮像処理において、前記変更処理で変更した密度の前記照射図形を含む構造化光を前記構造化照明に照射させる、請求項１に記載のカメラ装置。

【請求項13】

第１構造化光を対象物に照射した状態で、互いに異なる２つの視点から前記対象物を含む撮像領域を撮像する第１撮像ステップと、
前記第１構造化光とは空間的分布が異なる第２構造化光を前記対象物に照射した状態で、前記２つの視点から前記撮像領域を撮像する第２撮像ステップと、
前記第１撮像ステップ及び前記第２撮像ステップで撮像した画像を用いて、前記対象物までの距離情報を演算する演算ステップとを含む、画像処理方法。

【請求項14】

対象物に構造化光を照射する構造化照明と、
前記対象物を含む撮像領域を撮像する第１撮像部と、
前記第１撮像部と異なる位置から前記撮像領域を撮像する第２撮像部とを備えるカメラ装置のプログラムであって、
第１構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部それぞれに、前記撮像領域の第１画像を撮像させる第１撮像処理と、
前記第１構造化光とは空間的分布が異なる第２構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部それぞれに、前記撮像領域の第２画像を撮像させる第２撮像処理と、
前記第１画像及び前記第２画像を用いて前記対象物までの距離情報を演算する演算処理と、前記カメラ装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、第１の波長を含む第１の光を照射する第１の照明装置と、第１の波長とは異なる第２の波長を含む第２の光を照射する第２の照明装置と、対象物を撮像する撮像装置とを有する画像処理装置を開示している。撮像装置は、第１の照明装置から第１の光を対象物に照射しかつ第２の照明装置から第２の光を対象物に照射した状態で対象物を撮像する。画像処理装置は、第１の波長を透過させる第１の光学フィルタを介して撮像された画素から成る濃淡画像を生成し、第２の波長を透過させる第２の光学フィルタを介して撮像された画素を含む距離画像を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９３８６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の撮像装置は、複雑な背景が写り込む環境でも、部品の良否判定等の画像検査を安定的かつ高速に実行できる。その一方で、特許文献１に記載の撮像装置では、背景のテクスチャが乏しい場合に、対象物までの距離を正確に認識するのが難しいという課題がある。

【0005】

本発明は、上記した実情に鑑みてなされたものであり、その目的は、対象物までの距離を高精度に演算することが可能なカメラ装置を提供することにある。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、本発明に係るカメラ装置は、対象物に構造化光を照射する構造化照明と、前記対象物を含む撮像領域を撮像する第１撮像部と、前記第１撮像部と異なる位置から前記撮像領域を撮像する第２撮像部と、前記構造化照明、前記第１撮像部、及び前記第２撮像部を制御する制御部とを備え、前記制御部は、第１構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部それぞれに、前記撮像領域の第１画像を撮像させる第１撮像処理と、前記第１構造化光とは空間的分布が異なる第２構造化光を前記構造化照明に照射させた状態で、前記第１撮像部及び前記第２撮像部それぞれに、前記撮像領域の第２画像を撮像させる第２撮像処理と、前記第１画像及び前記第２画像を用いて前記対象物までの距離情報を演算する演算処理とを実行する。

【発明の効果】

【0007】

本発明によれば、対象物までの距離を高精度に演算することが可能なカメラ装置を得ることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】ロボット制御システムのブロック図である。

【図2】第１実施形態に係るカメラ装置のハードウェア構成図である。

【図3】深度マップ生成処理１のフローチャートである。

【図4】深度マップの生成イメージを示す図である。

【図5】波長設定処理のフローチャートである。

【図6】波長設定処理における波長選択画面の画面例である。

【図7】第１実施形態の変形例１に係るカメラ装置のハードウェア構成図である。

【図8】第１実施形態の変形例２に係るカメラ装置のハードウェア構成図である。

【図9】深度マップ生成処理２のフローチャートである。

【図10】深度マップ生成処理２における波長選択画面の画面例である。

【図11】深度マップ生成処理３のフローチャートである。

【図12】深度マップ生成処理３のイメージ図である。

【図13】第４実施形態に係るカメラ装置のハードウェア構成図である。

【図14】深度マップ生成処理４のフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら発明の実施形態を説明するが、本実施形態は、汎用性の高いカメラ装置を実現することで、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ）の「９．産業と技術革新の基盤をつくろう」に貢献する。

【0010】

［ロボット制御システム１の概略］
図１は、ロボット制御システム１のブロック図である。図１に示すように、ロボット制御システム１（システム）は、カメラ装置１０と、ロボットビジョンコントローラ２とを少なくとも含む。また、ロボット制御システム１は、ユーザとの間の入出力インタフェースとして機能するユーザ端末３をさらに含んでもよい。さらに、ロボット制御システム１は、制御対象のロボット４（作業機械）をさらに含んでもよい。カメラ装置１０とロボットビジョンコントローラ２との間、カメラ装置１０とユーザ端末３との間、ロボットビジョンコントローラ２とロボット４との間は、それぞれデータ或いは信号の入出力が互いに可能となるように接続されている。

【0011】

ロボット制御システム１は、例えば工場等の生産施設内に配置されている。ロボット制御システム１は、例えば、生産施設内に配備されているベルトコンベア上を移送されるワークの規定位置に部品を実装するロボット４を制御する。ロボット４は、例えば、ロボットビジョンコントローラ２の制御に従ってロボット４の動作を制御するロボットコントローラ５と、部品が載置されたトレイとワークとの間を移動するロボットアーム６と、ロボットアーム６の先端に取り付けられて部品を把持するエンドエフェクタ７とを備える。

【0012】

なお、本実施の形態に係るロボット制御システム１のユースケースは上述した部品搭載に限定されず、ワークへのラベル貼付、ワークへのビス打ち、部品組立、部品加工、溶接、塗装、ボンディング等に使用されてもよい。また、ロボット制御システム１は、物流ラインの作業工程（段ボール搬送、物の仕分けなど）、食品工場の作業工程（惣菜盛り付けなど）、収穫ロボットの作業工程（摘果など）、医療用や実験用ロボットの作業工程（培養、合成など）に適用することもできる。なお、本実施の形態に係るロボット４は、人と協働して作業を実行する人協働ロボットとして用いられてもよい。

【0013】

カメラ装置１０は、互いに異なる２つ視点から撮像した視差画像を生成する装置である。カメラ装置１０は、例えば、ロボットアーム６の先端、または、天井から吊り下げられる等してロボットアーム６を撮像可能な位置に取り付けられる。また、カメラ装置１０は、ロボットアーム６の進行方向に位置する対象物を撮像して、視差画像を生成する。さらにカメラ装置１０は、生成した視差画像に基づいて、ロボットアーム６の進行方向に位置する対象物までの距離を示す距離情報を演算して、深度マップを生成する。そして、カメラ装置１０は、生成した深度マップをロボットビジョンコントローラ２に出力する。なお、「対象物」とは、カメラ装置１０の撮像範囲に存在するあらゆる物体（例えば、壁、床、天井、目標物、障害物、周辺物、人など）を指す。また、対象物とは、単一の物体を指すのではなく、カメラ装置１０の撮像範囲に存在する複数の物体の総称である。

【0014】

深度マップとは、例えば、カメラ装置１０が撮像した画像内の各対象物までの距離を示す二次元配列である。より詳細には、深度マップは、カメラ装置１０が撮像した画像の各画素について、カメラ装置１０からの距離を示す距離情報の集合体である。すなわち、距離情報とは、カメラ装置１０が撮像した画像に含まれる画素毎に、カメラ装置１０からカメラ装置１０が撮像した画像内の対象物までの距離を示した情報に相当する。より詳細には、距離情報は、イメージセンサ１１２、１２２を結ぶ線分上の点（典型的には、中点）から対象物までの距離を示す。カメラ装置１０が撮像した視差画像に基づいて各画素の距離情報を演算し、演算した距離情報を二次元配列にマッピングすることによって、深度マップが生成される。深度マップを生成する方法は既に周知なので、詳細な説明は省略する。但し、演算した距離情報を深度マップの形式に編集して出力する必要はない。

【0015】

ロボットビジョンコントローラ２は、カメラ装置１０から取得した深度マップに基づいて、位置推定及び障害物特定を実行する。位置推定とは、深度マップに基づいて、周囲の環境内におけるロボットアーム６の位置を推定する処理である。障害物特定とは、ロボットアーム６の移動の障害となる可能性のある障害物を特定する処理である。そして、ロボットビジョンコントローラ２は、位置推定及び障害物特定の結果を、ロボットコントローラ５に送信する。ロボットコントローラ５は、ロボットビジョンコントローラ２から取得して位置推定及び障害物特定の結果に基づいて、障害物を避けてロボットアーム６を目標位置に到達させる。

【0016】

ユーザ端末３は、ユーザに情報を出力（表示）する表示装置（例えば、ディスプレイ）と、ユーザの操作（指示）を受け付ける操作装置（例えば、キーボード、ポインティングデバイス、タッチパネル）とを備える。ユーザ端末３は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末などで実現される。

【0017】

［第１実施形態］
［カメラ装置１０のハードウェア構成］
図２は、第１実施形態に係るカメラ装置１０のハードウェア構成図である。図２に示すように、カメラ装置１０は、撮像部１１、１２と、構造化照明１３と、照明制御部１４と、ＳｏＣ１５とを主に備える。

【0018】

撮像部１１（第１撮像部）は、光学レンズ１１１と、イメージセンサ１１２とを一体化したカメラユニットである。光学レンズ１１１は、カメラ装置１０の外部の光を集光して、イメージセンサ１１２に入射させる。イメージセンサ１１２は、光学レンズ１１１が集光した光を光電変換して、画像データをメモリ１５１に出力する。イメージセンサ１１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。

【0019】

撮像部１２（第２撮像部）は、光学レンズ１２１と、イメージセンサ１２２とを備える。撮像部１２の構成は、撮像部１１と共通するので、再度の説明は省略する。撮像部１１、１２は、カメラ装置１０の筐体の表面に露出されている。また、撮像部１１、１２は、カメラ装置１０の同一表面において、所定の間隔を隔てて配置されている。すなわち、撮像部１１、１２は、互いに異なる位置から対象物を含む撮像領域を撮像する。撮像部１１、１２それぞれの撮像領域は、少なくとも一部が互いに重なり合っている。本明細書において、「撮像領域」と表記するときは、撮像部１１、１２の撮像領域の互いに重なり合う領域を指すものとする。

【0020】

構造化照明１３は、構造化光を照射するプロジェクタである。構造化照明１３は、構造化光とは、予め定められた照射図形（例えば、円形や多角形のドットパターン、ストライプパターン）の濃淡を持つ光を指す。なお、ドットの配置、密度、大きさ、ストライプの間隔、太さ等は、必ずしも一様である必要はない。そして、構造化照明１３は、撮像部１１、１２の撮像領域（画角）内に構造化光を照射する。また、そして、構造化照明１３が出力する光の波長領域は、イメージセンサ１１２、１２２の感度領域に重なる。

【0021】

第１実施形態に係る構造化照明１３は、第１構造化光を照射する第１照明部１３１と、第２構造化光を照射する第２照明部１３２とを備える。第１構造化光及び第２構造化光は、空間的分布が異なる構造化光である。空間的分布とは、光の波形の空間的な分布または形状（例えば、照射する光のパターンの形状、光の波長、偏光角、振幅、位相など）の総称である。なお、本開示においては、時系列で照射する光のパターンの形状が変化することも、空間的分布が異なる構造化光の一例である。そして、第１実施形態では、空間的成分の一例である「光の波長」が異なる第１構造化光及び第２構造化光を照射する例を説明する。

【0022】

照明制御部１４は、ＳｏＣ１５の制御に従って、構造化照明１３に構造化光を照射させる。より詳細には、照明制御部１４は、第１構造化光及び第２構造化光の波長を設定する。また、照明制御部１４は、第１照明部１３１及び第２照明部１３２の点灯及び消灯のタイミングを制御する。なお、照明制御部１４の処理は、ＳｏＣ１５（より詳細には、ＣＰＵ１５２）によって実現されてもよい。照明制御部１４及びＳｏＣ１５は、制御部の一例である。

【0023】

ＳｏＣ（Ｓｙｓｔｅｍ－Ｏｎ－ａ－Ｃｈｉｐ）１５は、集積回路により構成される１つのチップ上に各種の電子部品が集積された集積回路製品である。ＳｏＣ１５は、メモリ１５１と、ＣＰＵ１５２と、ＩＳＰ１５３と、ＡＩ処理部１５４と、外部インタフェース１５５とを含む。図２では、インタフェースを便宜的に「Ｉ／Ｆ」と図示している。

【0024】

メモリ１５１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを少なくとも含む。メモリ１５１は、カメラ装置１０の動作の実行に必要なプログラム及び制御用データ、更には、カメラ装置１０の各部の動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、カメラ装置１０の各部の動作時に使用されるワークメモリである。ＲＯＭは、例えば、カメラ装置１０の各部を制御するためのプログラム及び制御用データを予め記憶して保持する。

【0025】

ＣＰＵ１５２は、カメラ装置１０の全体的な動作を制御するプロセッサである。ＣＰＵ１５２は、カメラ装置１０の各部の動作を統括するための制御処理、カメラ装置１０の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＣＰＵ１５２は、メモリ１５１に記憶されたプログラム及び制御用データに従って動作する。ＣＰＵ１５２は、動作時にメモリ１５１を使用し、ＣＰＵ１５２が生成又は取得したデータをメモリ１５１に転送して一時的に保存する。

【0026】

ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２３は、カメラ装置１０内で行われる各種の画像処理を実行するプロセッサである。ＩＳＰ１５３は、メモリ１５１から画像データを読み出し、読み出した画像データを用いて各種の画像処理を行う。ＩＳＰ１５３は、動作時にメモリ１５１を使用し、ＩＳＰ１５３が生成又は取得したデータもしくは情報をメモリ１５１に転送して一時的に保存する。

【0027】

ＡＩ処理部１５４は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びメモリを用いて構成されている。なお、ＡＩ処理部１５４は、ＧＰＵに代えて、またはＧＰＵに加えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を備えていてもよい。

【0028】

外部インタフェース１５５は、ロボットビジョンコントローラ２及びユーザ端末３との間で各種データの送受信を行うためのインタフェースである。すなわち、外部インタフェース１５５は、ＣＰＵ１５２から取得したデータをロボットビジョンコントローラ２またはユーザ端末３に送信し、ロボットビジョンコントローラ２またはユーザ端末３から取得したデータをＣＰＵ１５２に送信する。

【0029】

［深度マップ生成処理１］
図３及び図４を参照して、第１実施形態に係るカメラ装置１０が実行する深度マップ生成処理１を説明する。図３は、深度マップ生成処理１のフローチャートである。図４は、深度マップの生成イメージを示す図である。以下、撮像部１１で撮像した画像を「左画像」と表記し、撮像部１２で撮像した画像を「右画像」と表記する。また、第１照明部１３１が照射する第１構造化光の波長を「第１波長（Ｗ１）」と表記し、第２照明部１３２が照射する第２構造化光の波長を「第２波長（Ｗ２）」と表記する。すなわち、Ｗ１≠Ｗ２である。Ｗ１、Ｗ２は、メモリ１５１に予め記憶されているものとする。

【0030】

まず、照明制御部１４は、時刻ｔ１において、第１照明部１３１に第１波長Ｗ１の第１構造化光を照射させる（Ｓ１１）。また、ＣＰＵ１５２は、第１照明部１３１に第１構造化光を照射させた状態で、撮像部１１、１２それぞれに撮像領域の第１画像を撮像させる（Ｓ１２）。これにより、撮像部１１によって第１左画像が生成され、撮像部１２によって第１右画像が生成される。第１左画像及び第１右画像は、第１構造化光が照射された対象物を撮像した画像である。また、第１左画像及び第１右画像は、視差を有する画像である。さらに、第１左画像及び第１右画像は、同時（時刻ｔ１）に撮像された画像である。ステップＳ１１、Ｓ１２の処理は、第１撮像処理（第１撮像ステップ）の一例である。

【0031】

次に、照明制御部１４は、第１照明部１３１を消灯して、微小時間Δｔａ待機する（Ｓ１３）。そして、照明制御部１４は、微小時間Δｔａ待機した後の時刻ｔ２において、第２照明部１３２に第２波長Ｗ２の第２構造化光を照射させる（Ｓ１４）。また、ＣＰＵ１５２は、第２照明部１３２に第２構造化光を照射させた状態で、撮像部１１、１２それぞれに撮像領域の第２画像を撮像させる（Ｓ１５）。これにより、撮像部１１によって第２左画像が生成され、撮像部１２によって第２右画像が生成される。第２左画像及び第２右画像は、第２構造化光が照射された対象物を撮像した画像である。また、第２左画像及び第２右画像は、視差を有する画像である。さらに、第２左画像及び第２右画像は、同時（時刻ｔ２）に撮像された画像である。ステップＳ１３、Ｓ１４の処理は、第２撮像処理（第２撮像ステップ）の一例である。

【0032】

次に、照明制御部１４は、第２照明部１３２を消灯する。また、ＩＳＰ１５３は、第１左画像及び第２左画像を合成して合成左画像を生成し、第１右画像及び第２右画像を合成して合成右画像を生成する（Ｓ１６）。一例として、ＩＳＰ１５３は、第１左画像及び第２左画像の対応する画素の画素値を単純加算することによって、合成左画像を生成してもよい。他の例として、ＩＳＰ１５３は、第１左画像及び第２左画像の対応する画素の画素値を重み付け加算することによって、合成左画像を生成してもよい。第１左画像及び第２左画像の重み係数は、予め定められているものとする。第１右画像及び第２右画像を合成する方法も同様である。

【0033】

次に、ＩＳＰ１５３は、ステップＳ１６で生成した合成左画像及び合成右画像を用いて各画素の距離情報を演算し、深度マップを生成する（Ｓ１７）。深度マップを生成する処理は既に周知なので、詳細な説明は省略する。そして、ＣＰＵ１５２は、ＩＳＰ１５３が生成した深度マップを、外部インタフェース１５５を通じてロボットビジョンコントローラ２に送信する。ステップＳ１７の処理は、演算処理（演算ステップ）の一例である。

【0034】

次に、ＣＰＵ１５２は、微小時間Δｔｂ待機して（Ｓ１８）、ステップＳ１１以降の処理を再び実行する。微小時間Δｔａ、Δｔｂは、同一でもよいし、異なっていてもよい。そして、カメラ装置１０は、予め定められたフレームレートで、ステップＳ１１～Ｓ１８の処理を繰り返し実行する。例えば、フレームレートを６０ｆｐｓとすれば、１／６０ｓｅｃ間隔でステップＳ１１～Ｓ１８の処理が繰り返される。

【0035】

［波長設定処理］
図５及び図６を参照して、深度マップ生成処理１で使用する第１波長Ｗ１及び第２波長Ｗ２を設定する処理を説明する。図５は、波長設定処理のフローチャートである。図６は、波長設定処理における波長選択画面の画面例である。波長設定処理は、構造化光の波長を変更して対象物ＷＫを撮像し、対象物ＷＫ内で同一位置と判定できる画素数の多い波長を、第１波長Ｗ１及び第２波長に設定する処理である。カメラ装置１０は、例えば、深度マップ生成処理１を実行する前のキャリブレーションとして、図５に示す波長設定処理を実行する。そのため、波長設定処理は、深度マップ生成処理１の実行環境と近い環境（例えば、同じ設備、同じ照明環境）で実行されるのが望ましい。

【0036】

まず、ＣＰＵ１５２は、変数ｉを初期化（ｉ＝１）する。変数ｉは、波長の候補を特定するための変数である（Ｓ２１）。次に、ＣＰＵ１５２は、波長Ｗ（ｉ）を設定する（Ｓ２２）。図６の例では、波長Ｗ（ｉ）＝４００ｎｍとする。次に、ＣＰＵ１５２は、波長Ｗ（ｉ）の構造化光を構造化照明１３に照射させた状態で、対象物ＷＫを含む撮像領域を撮像部１１、１２に撮像させる（Ｓ２３）。これにより、視差を有する左画像及び右画像（すなわち、視差画像）が生成される。ステップＳ２３の処理は、撮像処理（撮像ステップ）の一例である。

【0037】

次に、ＡＩ処理部１５４は、ステップＳ２３で撮像された左画像及び右画像内において、対象物ＷＫが映っている領域（以下、「検知領域」と表記する。）を特定する（Ｓ２４）。ＡＩ処理部１５４は、例えば、予め記憶していた対象物ＷＫの画像と、左画像及び右画像とをパターンマッチングすることによって、検知領域を特定すればよい。ステップＳ２３の処理は既に周知なので、詳細な説明は省略する。

【0038】

次に、ＩＳＰ１５３は、左画像及び右画像それぞれの検知領域内において、同一位置と判定できる画素数（以下、「視差数Ｎ」と表記する。）を算出する（Ｓ２５）。一対の視差画像内で同一位置を判定する処理は、距離情報を演算する際に実行される処理である。但し、検知領域のうちの影になっている部分や白飛びしている部分は、同一位置であると判定ができない可能性がある。ステップＳ２５の処理は、算出処理（算出ステップ）の一例である。

【0039】

次に、ＣＰＵ１５２は、ステップＳ２２で設定した波長Ｗ（ｉ）＝４００ｎｍと、ステップＳ２３で撮像した画像（左画像または右画像）と、ステップＳ２５で算出した視差数Ｎとを、メモリ１５１に記憶させると共にユーザ端末３に表示させる（Ｓ２６）。これにより、図６に示すように、ユーザ端末３のディスプレイに表示される波長選択画面において、左上の領域Ａ１が追加される。なお、視差数Ｎは、同一位置と判定した画素の絶対値として表示されてもよいし、検知領域の画素数を１００とした場合の百分率で表示されてもよい。ステップＳ２６の処理は、表示処理（表示ステップ）の一例である。

【0040】

次に、ＣＰＵ１５２は、ユーザ端末３のユーザによって第１波長Ｗ１及び第２波長Ｗ２が選択されるまで（Ｓ２７：Ｎｏ）、変数ｉに１を加算して（Ｓ２８）、ステップＳ２２～Ｓ２６の処理を再び実行する。すなわち、ＣＰＵ１５２は、構造化光の波長を所定の変動幅ΔＷ１ずつ変更しながら、ステップＳ２２～Ｓ２６の処理を繰り返し実行する。例えば、波長Ｗ（１）＝４００ｎｍ、波長Ｗ（２）＝４５０ｎｍ、波長Ｗ（３）＝５００ｎｍ、波長Ｗ（４）＝５５０ｎｍとして、ステップＳ２２～Ｓ２６の処理が４回繰り返されると、波長選択画面は図６のようになる。この場合、変動幅ΔＷ１＝５０ｎｍである。

【0041】

波長選択画面は、変数ｉ＝１、２、３、４に対応する波長Ｗ（ｉ）、視差数Ｎ、及び画像のセットが表示される領域Ａ１、Ａ２、Ａ３、Ａ４と、［設定］ボタンと、［次候補］ボタンとを含む。また、領域Ａ１～Ａ４それぞれは、チェックボックスを含む。視差数Ｎは、波長Ｗ（ｉ）毎に異なる。すなわち、一対の視差画像内において、同一位置を判定しやすい（視差数が多い）波長と、同一位置を判定しにくい（視差数が少ない）波長とは、カメラ装置１０が設置された環境によって変化する。

【0042】

そして、ＣＰＵ１５２は、［次候補］ボタンが押下された場合に（Ｓ２７：Ｎｏ）、ステップＳ２８以降の処理を再び実行する。一方、ＣＰＵ１５２は、領域Ａ１～Ａ４のチェックボックスのうちの２つを選択して［設定］ボタンが押下された場合に（Ｓ２７：Ｙｅｓ）、選択されたチェックボックスに対応する２つの波長を、第１波長Ｗ１及び第２波長Ｗ２として設定して、メモリ１５１に記憶させる（Ｓ２９）。ステップＳ２９の処理は、設定処理（設定ステップ）の一例である。

【0043】

図６の例では、第１波長Ｗ１＝４００ｎｍ、第２波長Ｗ２＝５５０ｎｍとなる。一例として、ユーザ端末３のユーザは、最も視差数の多い波長（５５０ｎｍ）と、２番目に視差数の多い波長（４００ｎｍ）とを選択すればよい。他の例として、ユーザは、２番目に多い視差数と３番目に多い視差数とが近接している場合に、最も視差数の多い波長から離れた波長を選択してもよい。さらに、選択された波長の視差数は、図３のステップＳ１６で画像を合成する際の重み係数として用いられてもよい。図６の例では、第１画像の重み係数が７０／１６０となり、第２画像の重み係数が９０／１６０となる。

【0044】

［第１実施形態の作用効果］
第１実施形態によれば、複数の波長Ｗ１、Ｗ２の構造化光それぞれを照射した状態で視差画像を撮像するので、白色の構造化光のみを用いて視差画像を撮像する場合と比較して、対象物までの距離を高精度に演算することができる。なお、深度マップ生成処理１における構造化光の波長の数は、２つに限定されず、３つ以上でもよい。

【0045】

また、第１実施形態によれば、深度マップ生成処理１に先立って波長設定処理を実行することによって、深度マップ生成処理１の実行環境に合わせた波長Ｗ１、Ｗ２を設定することができる。これにより、対象物までの距離をさらに高精度に演算することができる。なお、波長設定処理では、波長Ｗ１、Ｗ２をユーザに選択させることに代えて、最も視差数の多い波長と、２番目に視差数の多い波長とを、ＣＰＵ１５２が自動的に波長Ｗ１、Ｗ２に設定してもよい。

【0046】

なお、第１実施形態では、第１波長Ｗ１の第２構造化光を第１照明部１３１から照射し、第２波長Ｗ２の第２構造化光を第２照明部１３２から照射する例を説明したが、構造化照明１３の具体的な構造は、図２の例に限定されない。

【0047】

［第１実施形態の変形例］
図７及び図８を参照して、第１構造化光及び第２構造化光を照射可能な構造化照明１３Ａ、１３Ｂを説明する。図７は、第１実施形態の変形例１に係るカメラ装置１０Ａのハードウェア構成図である。図８は、第１実施形態の変形例２に係るカメラ装置１０Ｂのハードウェア構成図である。なお、図２との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0048】

図７に示すように、変形例１に係る構造化照明１３Ａは、照明部１３３と、波長変更部１３４とを備える。照明部１３３は、白色（すなわち、複数の波長の光が混在した）構造化光を照射（出力）する。波長変更部１３４は、照明部１３３から照射される構造化光の光路上に配置されて、通過させる構造化光の波長を変更する。

【0049】

一例として、波長変更部１３４は、構造化光の光路上に配置されるプリズムと、プリズムを回転させる回転駆動部とを備える。そして、波長変更部１３４は、照明制御部１４の制御部に従って、第１波長Ｗ１の第１構造化光のみを通過させる第１角度と、第２波長Ｗ２の第２構造化光のみを通過させる第２角度とに、プリズムを回転させるものでもよい。

【0050】

他の例として、波長変更部１３４は、構造化光の光路上に配置される液体レンズと、液体レンズに電圧を印加する電圧制御部とを備える。そして、波長変更部１３４は、照明制御部１４の制御部に従って液体レンズに印加する電圧を変更することによって、第１波長Ｗ１の第１構造化光のみを通過させる第１状態と、第２波長Ｗ２の第２構造化光のみを通過させる第２状態とに、液体レンズの屈折率を変化させるものでもよい。

【0051】

図８に示すように、変形例２に係る構造化照明１３Ｂは、照明制御部１４から印加される電圧に応じて、構造化光の波長を切り替える発光素子を備えていてもよい。発光素子としては、例えば、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）等を採用することができる。また、発光素子は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）技術で作製されてもよい。

【0052】

［第２実施形態］
［深度マップ生成処理２］
図９及び図１０を参照して、第２実施形態に係る深度マップ生成処理２を説明する。図９は、深度マップ生成処理２のフローチャートである。図１０は、深度マップ生成処理２における波長選択画面の画面例である。深度マップ生成処理２は、深度マップを繰り返し生成する過程で、第１波長Ｗ１及び第２波長Ｗ３を微調整する処理である。以下、第１実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。第２実施形態に係るカメラ装置１０の構成は、第１実施形態と共通する。また、図９のステップＳ１１～Ｓ１８の処理は、第１実施形態と共通する。

【0053】

ＡＩ処理部１５４は、ステップＳ１１～Ｓ１８の処理を実行した後に、ステップＳ１２で撮像された第１左画像及び第１右画像内の検知領域と、ステップＳ１５で撮像された第２左画像及び第２右画像内の検知領域とを特定する（Ｓ３１）。検知領域を特定する処理は、図５のステップＳ２４と共通する。

【0054】

次に、ＩＳＰ１５３は、第１左画像及び第１右画像それぞれの検知領域内で視差数Ｎ１を算出し、第２左画像及び第２右画像それぞれの検知領域内で視差数Ｎ２を算出する（Ｓ３２）。視差数Ｎ１、Ｎ２を算出する処理は、図５のステップＳ２５と共通する。ステップＳ３２の処理は、算出処理（算出ステップ）の一例である。

【0055】

次に、ＣＰＵ１５２は、ステップＳ１１で照射した第１構造化光の第１波長Ｗ１＝４００ｎｍと、ステップＳ１２で撮像した第１画像（第１左画像または第１右画像）と、ステップＳ３２で算出した視差数Ｎ１とを、メモリ１５１に記憶させると共にユーザ端末３に表示させる（Ｓ３３）。これにより、図１０に示すように、ユーザ端末３のディスプレイに表示される波長選択画面において、左上の領域Ｂ１が追加される。

【0056】

同様に、ＣＰＵ１５２は、ステップＳ１４で照射した第２構造化光の第２波長Ｗ２＝５５０ｎｍと、ステップＳ１５で撮像した第２画像（第２左画像または第２右画像）と、ステップＳ３２で算出した視差数Ｎ２とを、メモリ１５１に記憶させると共にユーザ端末３に表示させる（Ｓ３３）。これにより、図１０に示すように、ユーザ端末３のディスプレイに表示される波長選択画面において、右上の領域Ｃ１が追加される。ステップＳ３３の処理は、表示処理（表示ステップ）の一例である。

【0057】

次に、ＣＰＵ１５２は、ユーザ端末３のユーザによって第１波長Ｗ１及び第２波長Ｗ２が更新されるまで（Ｓ３４：Ｎｏ）、第１波長Ｗ１及び第２波長Ｗ２を微小波長ΔＷ２ずらして（Ｓ３５）、ステップＳ１１～Ｓ１８、Ｓ３１～Ｓ３３の処理を再び実行する。なお、微小波長ΔＷ２は、図５のステップＳ２２における変動幅ΔＷ１より小さいものとする。１回目の処理で第１波長Ｗ１＝４００ｎｍ及び第２波長Ｗ２＝５５０ｎｍとし、２回目の処理で第１波長Ｗ１＝４１０ｎｍ及び第２波長Ｗ２＝５６０ｎｍとし、３回目の処理で第１波長Ｗ１＝３９０ｎｍ及び第２波長Ｗ２＝５４０ｎｍとした場合、波長選択画面は図１０のようになる。この場合、微小波長ΔＷ２＝±１０ｎｍである。

【0058】

波長選択画面は、各回の処理（Ｓ１１～Ｓ１８、Ｓ３１～Ｓ３３）に対応する第１波長Ｗ１、視差数Ｎ１、及び第１画像のセットが表示される領域Ｂ１、Ｂ２、Ｂ３と、各回の処理（Ｓ１１～Ｓ１８、Ｓ３１～Ｓ３３）に対応する第２波長Ｗ２、視差数Ｎ２、及び第２画像のセットが表示される領域Ｃ１、Ｃ２、Ｃ３と、［更新］ボタンと、［次候補］ボタンとを含む。また、領域Ｂ１～Ｂ３、Ｃ１～Ｃ３それぞれは、チェックボックスを含む。

【0059】

そして、ＣＰＵ１５２は、［次候補］ボタンが押下された場合に（Ｓ３４：Ｎｏ）、ステップＳ３５以降の処理を実行する。一方、ＣＰＵ１５２は、領域Ｂ１～Ｂ３のチェックボックスのうちの１つと、領域Ｃ１～Ｃ３のチェックボックスのうちの１つとを選択して、［更新］ボタンが押下された場合に（Ｓ３４：Ｙｅｓ）、選択されたチェックボックスに対応する２つの波長を、第１波長Ｗ１及び第２波長Ｗ２として更新して、メモリ１５１に記憶させる（Ｓ３６）。ステップＳ３６の処理は、更新処理（更新ステップ）の一例である。

【0060】

図１０の例では、第１波長Ｗ１＝３９０ｎｍ、第２波長Ｗ２＝５５０ｎｍに更新される。そして、ＣＰＵ１５２は、［更新］ボタンが押下された後、ステップＳ３１～Ｓ３５の処理を実行せずに、更新後の第１波長Ｗ１及び第２波長Ｗ２を用いてステップＳ１１～Ｓ１８の処理（すなわち、深度マップ生成処理１）を継続してもよい。なお、図９及び図１０では、第１波長Ｗ１及び第２波長Ｗ２を同時に更新する例を説明したが、第１波長Ｗ１及び第２波長Ｗ２を個別に更新してもよい。

【0061】

［第２実施形態の作用効果］
第２実施形態によれば、深度マップ生成処理２の過程（換言すれば、ロボットアーム６を目標位置に向かって移動させる過程）において、第１波長Ｗ１及び第２波長Ｗ２が更新（微調整）される。これにより、深度マップ生成処理２の実行環境の変化（例えば、照明のＯＮ／ＯＦＦ）に追従して、第１波長Ｗ１及び第２波長Ｗ２を最適化することができる。その結果、対象物までの距離をさらに高精度に演算することができる。なお、波長設定処理と同様に、波長Ｗ１、Ｗ２をユーザに選択させることに代えて、ＣＰＵ１５２が自動的に最も視差数Ｎ１の多い波長を第１波長Ｗ１とし、最も視差数Ｎ２が多い波長を第２波長Ｗ２としてもよい。

【0062】

［第３実施形態］
［深度マップ生成処理３］
図１１及び図１２を参照して、第３実施形態に係る深度マップ生成処理３を説明する。図１１は、深度マップ生成処理３のフローチャートである。図１２は、深度マップ生成処理３のイメージ図である。深度マップ生成処理３は、深度マップを繰り返し生成する過程で、構造化光に含まれる照射図形の密度を調整（変更）する処理である。以下、第１実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。第３実施形態に係るカメラ装置１０の構成は、第１実施形態と共通する。また、図１１のステップＳ１１～Ｓ１８の処理は、第１実施形態と共通する。

【0063】

ＩＳＰ１５３は、今回のステップＳ１７で生成された深度マップ（距離情報）と、今回のステップＳ１２で生成された第１画像またはステップＳ１５で生成された第２画像とに基づいて、対象物ＷＫの大きさを特定する（Ｓ４１）。より詳細には、ＩＳＰ１５３は、図１２に示すように、画像に移っている対象物ＷＫのｘ方向（左右方向）の長さＬｘと、ｙ方向（上下方向）の長さＬｙとを特定する。ｘ方向及びｙ方向は、互いに直交する方向であればよい。ステップＳ４１の処理は、特定処理（特定ステップ）の一例である。

【0064】

次に、ＣＰＵ１５２は、ステップＳ４１で特定した長さＬｘ、Ｌｙの小さい方（図１２の例では、Ｌｘ）が予め定められた閾値Ｌｔｈ以上か否かを判定する（Ｓ４２）。そして、ＣＰＵ１５２は、対象物ＷＫの大きさ（Ｌｘ）が閾値Ｌｔｈ未満の場合に（Ｓ４２：Ｎｏ）、照射図形の密度を高くする（Ｓ４３）。一方、ＣＰＵ１５２は、対象物ＷＫの大きさ（Ｌｘ）が閾値Ｌｔｈ以上の場合に（Ｓ４２：Ｙｅｓ）、照射図形の密度を低くする（Ｓ４４）。ステップＳ４２～Ｓ４４の処理は、変更処理（変更ステップ）の一例である。

【0065】

そして、ＣＰＵ１５２は、次回のステップＳ１１、Ｓ１４において、密度を変更した照射図形を含む構造化光を対象物に向けて照射する。すなわち、ＩＳＰ１５３は、今回のステップＳ１７で演算した距離情報、及び今回のステップＳ１２、Ｓ１５で撮像した画像に基づいて、対象物ＷＫの大きさを特定する（Ｓ４１）。また、ＣＰＵ１５２は、特定した対象物ＷＫの大きさに応じて、照射図形の密度を変更する（Ｓ４２～Ｓ４４）、さらに、ＣＰＵ１５２は、次回のステップＳ１１、Ｓ１４において、変更した密度の照射図形を含む構造化光を構造化照明１３に照射させる。

【0066】

これにより、ステップＳ１１～Ｓ１８、Ｓ４１～Ｓ４４の処理を繰り返す過程において、初期の段階（すなわち、カメラ装置１０から対象物ＷＫまでの距離が遠いとき）では照射図形の密度が高くなり（Ｓ４２：Ｎｏ→Ｓ４３）、途中（すなわち、カメラ装置１０から対象物ＷＫまでの距離が近くなると）から照射図形の密度が低くなる（Ｓ４２：Ｙｅｓ→Ｓ４４）。なお、照射図形がストライプパターンのときの「密度」とは、図１２に示すように、ストライプの幅や間隔を指す。また、照射図形がドットパターンのときの「密度」とは、単位面積当たりのドットの数を指す。

【0067】

［第３実施形態の作用効果］
第３実施形態によれば、対象物ＷＫの大きさに応じて照射図形の密度を変更するので、対象物ＷＫに照射図形が適切に投影される。より詳細には、対象物ＷＫが遠い場合に照射図形の密度を高くすることによって、隣り合う照射図形の間に対象物ＷＫが位置して、照射図形が投影されなくなるのを防止できる。一方、対象物ＷＫが近い場合に照射図形の密度を低くすることによって、輪郭線が入り組んだ部分で輪郭線と照射図形との区別がつかなくなるのを防止できる。その結果、対象物までの距離をさらに高精度に演算することができる。なお、照射図形の密度のバリエーションは、図１１及び図１２のように２段階に限定されず、３段階以上でもよい。

【0068】

［第４実施形態］
図１３及び図１４を参照して、第４実施形態に係るカメラ装置１０Ｃ及び深度マップ生成処理４を説明する。図１３は、第４実施形態に係るカメラ装置１０Ｃのハードウェア構成図である。図１４は、深度マップ生成処理４のフローチャートである。以下、第１実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0069】

［カメラ装置１０Ｃのハードウェア構成図］
図１３に示すように、第４実施形態に係るカメラ装置１０Ｃは、照明側偏光部１６（第１偏光部）と、カメラ側偏光部１７（第２偏光部）とを備える。また、第４実施形態に係る構造化照明１３は、白色（すなわち、複数の波長が混在した）構造化光を対象物ＷＫに照射する。一方、カメラ装置１０Ｃのその他の構成は、第１実施形態と共通する。

【0070】

照明側偏光部１６は、構造化照明１３から照射される構造化光の光路上に配置されている。また、照明側偏光部１６は、構造化照明１３から照射される構造化光のうち、特定の偏光角の光（例えば、第１偏光角の光）を選択的に透過し、その他の偏光角の光（例えば、第２偏光角の光）を遮断する第１状態を取ることができる。また、照明側偏光部１６は、構造化照明１３から照射される構造化光のうち、特定の偏光角の光（例えば、第２偏光角の光）を選択的に透過し、その他の偏光角の光（例えば、第１偏光角の光）を遮断する第２状態を取ることができる。さらに、照明側偏光部１６は、照明制御部１４の制御に従って、透過する偏光角を切替可能、つまり、第１状態と第２状態とを切替可能に構成されている。例えば、照明側偏光部１６は、偏光角を電気的に、かつフレーム単位で変更可能な光学フィルタに相当する。

【0071】

カメラ側偏光部１７は、撮像部１１、１２に入射する光の光路上に配置されている。また、カメラ側偏光部１７は、撮像部１１、１２に入射する光のうち、特定の偏光角の光（例えば、第１偏光角の光）を選択的に透過し、その他の偏光角の光（例えば、第２偏光角の光）を遮断する第１状態をとることができる。また、カメラ側偏光部１７は、撮像部１１、１２に入射する光のうち、特定の偏光角の光（例えば、第２偏光角の光）を選択的に透過し、その他の偏光角の光（例えば、第１偏光角の光）を遮断する第２状態を取ることができる。さらに、カメラ側偏光部１７は、ＣＰＵ１５２の制御に従って、透過する偏光角を切替可能、つまり、第１状態と第２状態とを切り替え可能に構成されている。例えば、カメラ側偏光部１７は、光入射面の単位画素領域が４つ又は１６つであるイメージセンサにおいて単位画素領域の画素それぞれに設けられかつ偏光角が異なるフィルタや、偏光角を電気的にかつフレーム単位で変更可能な光学フィルタに相当する。

【0072】

照明側偏光部１６及びカメラ側偏光部１７は、例えば、周知の偏光フィルタと、偏光フィルタを回転させる回転駆動部とで構成される。また、照明側偏光部１６及びカメラ側偏光部１７は、透過する偏光角を互いに同期して切り替えられるように構成されているのが望ましい。

【0073】

［深度マップ生成処理４］
深度マップ生成処理４では、深度マップ生成処理１のステップＳ１１、Ｓ１４に代えて、ステップＳ５１、Ｓ５４が実行される。一方、深度マップ生成処理４のステップＳ１２、Ｓ１３、Ｓ１５～Ｓ１８の処理は、深度マップ生成処理１と共通する。

【0074】

ＣＰＵ１５２は、ステップＳ５１において、照明側偏光部１６及びカメラ側偏光部１７が透過する偏光角を、第１偏光角θ１に設定する。これにより、構造化照明１３を点灯すると、第１偏光角θ１の第１構造化光のみが対象物ＷＫに照射される。そして、ＣＰＵ１５２は、第１偏光角θ１の第１構造化光を構造化照明１３に照射させた状態で（Ｓ５１）、撮像領域の第１画像を撮像部１１、１２に撮像させる（Ｓ１２）。

【0075】

また、ＣＰＵ１５２は、ステップＳ５４において、照明側偏光部１６及びカメラ側偏光部１７が透過する偏光角を、第１偏光角θ１と異なる第２偏光角θ２に設定する。これにより、構造化照明１３を点灯すると、第２偏光角θ２の第２構造化光のみが対象物ＷＫに照射される。そして、ＣＰＵ１５２は、第２偏光角θ２の第２構造化光を構造化照明１３に照射させた状態で（Ｓ５２）、撮像領域の第２画像像を撮像部１１、１２に撮像させる（Ｓ１５）。

【0076】

［第４実施形態の作用効果］
第４実施形態によれば、複数の偏光角θ１、θ２の構造化光それぞれを照射した状態で視差画像を撮像するので、例えば対象物ＷＫが透明のビニールで覆われている場合などでも、対象物を適切に撮像できる。また、構造化照明１３から照射される構造化光の光路上と、撮像部１１、１２に入射する光の光路上との両方に偏光部１６、１７を配置することによって、不要な光がイメージセンサ１１２、１２２に到達するのを阻止することができる。その結果、対象物までの距離をさらに高精度に演算することができる。

【0077】

なお、ＣＰＵ１５２は、例えば、深度マップ生成処理４に先立って、「波長」を「偏光角」と読み替えて図５に示す波長設定処理（すなわち、偏光角設定処理）を実行することによって、第１偏光角θ１及び第２偏光角θ２を設定することができる。これにより、深度マップ生成処理４の実行環境に合わせた偏光角θ１、θ２を設定することができる。

【0078】

また、ＣＰＵ１５２は、例えば、深度マップ生成処理４において、「波長」を「偏光角」と読み替えて図９のステップＳ３１～Ｓ３６の処理を実行することによって、第１偏光角θ１及び第２偏光角θ２を更新（微調整）することができる。これにより、深度マップ生成処理４の実行環境の変化（例えば、照明のＯＮ／ＯＦＦ）に追従して、偏光角θ１、θ２を最適化することができる。

【0079】

［その他の実施形態］
なお、第１～第４実施形態は、本発明の趣旨を逸脱しない範囲において、任意の組み合わせで組み合わせることができる。

【0080】

また、ＳｏＣ１５及びロボットビジョンコントローラ２の役割分担は、前述の例に限定されない。すなわち、ＳｏＣ１５の処理の一部または全部は、ロボットビジョンコントローラ２によって実行されてもよい。また、ロボットビジョンコントローラ２の処理の一部または全部は、ＳｏＣ１５によって実行されてもよい。

【0081】

さらに、プログラムによって実現される各手段の一部または全部は、集積回路等のハードウェアで実現することもできる。さらに、プログラムは、コンピュータによって読み出し可能な非一過性の記録媒体に記録されて提供されてもよい。記録媒体とは、例えば、ハードディスク、ＳＤカード、ＤＶＤの他、インターネット上のサーバ等を指す。

【0082】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0083】

本開示は、対象物までの距離を高精度に演算することが可能なカメラ装置として有用である。

【符号の説明】

【0084】

１ ロボット制御システム
２ ロボットビジョンコントローラ
３ ユーザ端末
４ ロボット
５ ロボットコントローラ
６ ロボットアーム
７ エンドエフェクタ
１０，１０Ａ，１０Ｂ，１０Ｃ カメラ装置
１１，１２ 撮像部
１３，１３Ａ，１３Ｂ 構造化照明
１４ 照明制御部
１６ 照明側偏光部
１７ カメラ側偏光部
１１１，１２１ 光学レンズ
１１２，１２２ イメージセンサ
１３１ 第１照明部
１３２ 第２照明部
１３３ 照明部
１３４ 波長変更部
１５１ メモリ
１５２ ＣＰＵ
１５４ ＡＩ処理部
１５５ 外部インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】