特開 2024-122298 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122298

(43)【公開日】2024-09-09

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240902BHJP

   H04N 23/56 20230101ALI20240902BHJP

   H04N 23/45 20230101ALI20240902BHJP

   H04N 23/90 20230101ALI20240902BHJP

   H04N 23/73 20230101ALI20240902BHJP

   G01B 11/25 20060101ALI20240902BHJP

   G01B 11/245 20060101ALI20240902BHJP

【ＦＩ】

H04N23/60 500

H04N23/56

H04N23/45

H04N23/90

H04N23/73

G01B11/25 H

G01B11/245 H

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023029762

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】内海 信之介

(72)【発明者】

【氏名】畑瀬 雄一

(72)【発明者】

【氏名】河野 治彦

【テーマコード（参考）】

2F065

5C122

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB15

2F065CC11

2F065DD02

2F065FF01

2F065FF05

2F065FF07

2F065FF09

2F065GG22

2F065GG23

2F065HH07

2F065JJ03

2F065JJ05

2F065JJ26

2F065MM06

2F065PP22

5C122DA16

5C122EA54

5C122FA18

5C122FB17

5C122FH11

5C122FH18

5C122GG01

5C122GG03

5C122GG04

5C122HA82

5C122HA88

5C122HB01

5C122HB02

(57)【要約】

【課題】精度よく距離情報を得ると共に、小型化及び簡素化を実現した画像処理装置を提供する。
【解決手段】画像処理装置は、対象物に構造化光を投影する構造化照明と、対象物を含む撮像領域を撮像する第１撮像ユニットと、第１撮像ユニットと異なる位置から撮像領域を撮像する第２撮像ユニットと、構造化照明、第１撮像ユニット、及び第２撮像ユニットを制御する画像処理モジュールとを備える。画像処理モジュールは、構造化照明を点灯し、かつ第１露光時間で、第１撮像ユニット及び第２撮像ユニットそれぞれに、撮像領域の第１画像を撮像させる第１撮像処理と、構造化照明を消灯し、かつ前記第１露光時間より長い第２露光時間で、第１撮像ユニット及び第２撮像ユニットそれぞれに、撮像領域の第２画像を撮像させる第２撮像処理と、第１画像及び第２画像を用いて対象物までの距離情報を演算する演算処理とを実行する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

対象物に構造化光を投影する構造化照明と、
前記対象物を含む撮像領域を撮像する第１撮像ユニットと、
前記第１撮像ユニットと異なる位置から前記撮像領域を撮像する第２撮像ユニットと、
前記構造化照明、前記第１撮像ユニット、及び前記第２撮像ユニットを制御する画像処理モジュールとを備え、
前記画像処理モジュールは、
前記構造化照明を点灯し、かつ第１露光時間で、前記第１撮像ユニット及び前記第２撮像ユニットそれぞれに、前記撮像領域の第１画像を撮像させる第１撮像処理と、
前記構造化照明を消灯し、かつ前記第１露光時間より長い第２露光時間で、前記第１撮像ユニット及び前記第２撮像ユニットそれぞれに、前記撮像領域の第２画像を撮像させる第２撮像処理と、
前記第１画像及び前記第２画像を用いて前記対象物までの距離情報を演算する演算処理とを実行する、画像処理装置。

【請求項2】

前記第１撮像ユニット及び前記第２撮像ユニットと異なる位置から前記撮像領域を撮像する第３撮像ユニットを備え、
前記第１撮像ユニット及び前記第２撮像ユニットの間の第１基線長は、前記第１撮像ユニット及び前記第３撮像ユニットの間の第２基線長とは異なる、請求項１に記載の画像処理装置。

【請求項3】

前記第１撮像ユニット、前記第２撮像ユニット、及び前記第３撮像ユニットは、同一直線上に配置されている、請求項２に記載の画像処理装置。

【請求項4】

前記画像処理モジュールは、
前記第１撮像処理において、前記第１撮像ユニット、前記第２撮像ユニット、及び前記第３撮像ユニットそれぞれに、前記第１露光時間で前記第１画像を撮像させ、
前記第２撮像処理において、前記第１撮像ユニット、前記第２撮像ユニット、及び前記第３撮像ユニットそれぞれに、前記第２露光時間で前記第２画像を撮像させる、請求項２に記載の画像処理装置。

【請求項5】

前記画像処理モジュールは、
前記構造化照明を点灯し、かつ前記第１露光時間で、前記第１撮像ユニット前記第３撮像ユニットそれぞれに、前記撮像領域の第３画像を撮像させる第３撮像処理と、
前記構造化照明を消灯し、かつ前記第２露光時間より長い第３露光時間で、前記第１撮像ユニット及び前記第３撮像ユニットそれぞれに、前記撮像領域の第４画像を撮像させる第４撮像処理をさらに実行し、
前記演算処理において、前記第１画像、前記第２画像、前記第３画像、及び前記第４画像を用いて前記距離情報を演算する、請求項２に記載の画像処理装置。

【請求項6】

前記構造化光は、可視波長であり、
前記第１撮像ユニット及び前記第２撮像ユニットそれぞれは、可視波長の光を受光して画像を生成するイメージセンサを備える、請求項１に記載の画像処理装置。

【請求項7】

前記第１撮像ユニット及び前記第２撮像ユニットそれぞれは、
可視光を受光するセル及び赤外光を受光するセルを有するイメージセンサと、
前記イメージセンサに入射する光のうち、特定波長領域の光を遮断し、前記特定波長領域とは異なる波長の光を透過する光学フィルタと、
前記イメージセンサに入射する光の光路上に、前記光学フィルタを進退可能に配置するフィルタ駆動部とを備える、請求項１に記載の画像処理装置。

【請求項8】

前記構造化光は、赤外波長であり、
前記特定波長領域は、可視波長領域であり、
前記画像処理モジュールは、
前記第１撮像処理において、前記光学フィルタを前記イメージセンサに入射する光の光路上に配置し、
前記第２撮像処理において、前記光学フィルタを前記イメージセンサに入射する光の光路から外れた位置に配置する、請求項７に記載の画像処理装置。

【請求項9】

前記構造化光は、赤外波長であり、
前記特定波長領域は、赤外波長領域であり、
前記画像処理モジュールは、
前記第１撮像処理において、前記光学フィルタを前記イメージセンサに入射する光の光路から外れた位置に配置し、
前記第２撮像処理において、前記光学フィルタを前記イメージセンサに入射する光の光路上に配置する、請求項７に記載の画像処理装置。

【請求項10】

前記光学フィルタは、
周方向の一部分が前記特定波長領域の光を遮断し、かつ前記特定波長領域から外れた光を透過し、
周方向の他の部分が前記特定波長領域の光を透過し、かつ前記特定波長領域から外れた光を遮断する、円盤形状であって、
前記画像処理モジュールは、繰り返し実行する前記第１撮像処理及び前記第２撮像処理と同期させて、前記イメージセンサに入射する光の光路上に前記周方向の一部分または前記周方向の他の部分が配置されるように、前記光学フィルタを回転させる、
請求項７に記載の画像処理装置。

【請求項11】

前記画像処理装置には、構造化光の投影範囲に可視光を照射する照明装置が接続され、
前記画像処理モジュールは、
前記第１撮像処理において、前記照明装置を消灯させ、
前記第２撮像処理において、前記照明装置を点灯させる、請求項１に記載の画像処理装置。

【請求項12】

前記構造化照明、前記第１撮像ユニット、及び前記第２撮像ユニットを収容する第１筐体を備え、
前記画像処理モジュールは、
前記構造化照明、前記第１撮像ユニット、及び前記第２撮像ユニットを制御するプロセッサモジュールと、
前記プロセッサモジュールを収容すると共に、ケーブルによって前記第１筐体に接続された第２筐体とを備える、請求項１に記載の画像処理装置。

【請求項13】

前記画像処理モジュールは、
前記第１撮像ユニットによって撮像された前記第１画像及び前記第２画像を合成し、且つ前記第２撮像ユニットによって撮像された前記第１画像及び前記第２画像を合成して、一対の合成画像を生成する生成処理を実行し、
前記演算処理において、一対の前記合成画像を用いて前記距離情報を演算する、請求項１に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

近年、工場のオートメーション化の促進や自動車の自動運転技術の進展に伴い、自己位置推定と周囲環境把握技術における物体検知の精度向上が求められている。このような課題を解決することを目的として、特許文献１には、構造化照明を用いてステレオ測距を行い、距離情報を出力するビジュアルポジショニングシステムが開示されている。

【0003】

特許文献１に記載のビジュアルポジショニングシステムは、投光照明に同期する第１カメラで撮像した画像と、構造化照明に同期する第２カメラで撮像した画像とに基づいて距離情報を出力する。そして、第１カメラ及び第２カメラとしては、単眼またはステレオカメラを採用することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２０／０１４７０６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載のビジュアルポジショニングシステムでは、投光照明下に適した撮像条件の第１カメラと、構造化照明下に適した撮像条件の第２カメラとを別々に用意する必要があるので、装置の小型化や簡素化が難しいという課題がある。

【0006】

本発明は、上記した実情に鑑みてなされたものであり、その目的は、精度よく距離情報を得ると共に、小型化及び簡素化を実現した画像処理装置を提供することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明に係る画像処理装置は、対象物に構造化光を投影する構造化照明と、前記対象物を含む撮像領域を撮像する第１撮像ユニットと、前記第１撮像ユニットと異なる位置から前記撮像領域を撮像する第２撮像ユニットと、前記構造化照明、前記第１撮像ユニット、及び前記第２撮像ユニットを制御する画像処理モジュールとを備え、前記画像処理モジュールは、前記構造化照明を点灯し、かつ第１露光時間で、前記第１撮像ユニット及び前記第２撮像ユニットそれぞれに、前記撮像領域の第１画像を撮像させる第１撮像処理と、前記構造化照明を消灯し、かつ前記第１露光時間より長い第２露光時間で、前記第１撮像ユニット及び前記第２撮像ユニットそれぞれに、前記撮像領域の第２画像を撮像させる第２撮像処理と、前記第１画像及び前記第２画像を用いて前記対象物までの距離情報を演算する演算処理とを実行する。

【発明の効果】

【0008】

本発明によれば、精度よく距離情報を得ると共に、小型化及び簡素化を実現することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る画像処理装置の外観斜視図である。

【図2】第１実施形態に係る画像処理装置のハードウェア構成である。

【図3】深度マップ生成処理１のフローチャートである。

【図4】深度マップ生成処理１における撮像ユニット及び構造化照明１４の動作タイミングを示す図である。

【図5】第１画像及び第２画像から生成される合成画像のイメージ図である。

【図6】深度マップ生成処理２のフローチャートである。

【図7】深度マップ生成処理２における撮像ユニット及び構造化照明の動作タイミングを示す図である。

【図8】第２実施形態に係る画像処理装置のハードウェア構成である。

【図9】イメージセンサのセルの例を示す図である。

【図10】イメージセンサ及び光学フィルタの位置関係を示す図である。

【図11】深度マップ生成処理３のフローチャートである。

【図12】深度マップ生成処理３における撮像ユニット、光学フィルタ、及び構造化照明の動作タイミングを示す図である。

【図13】光路上に対して光学フィルタを進退させる構成の他の例を示す図である。

【図14】第３実施形態に係る画像処理装置のハードウェア構成である。

【図15】深度マップ生成処理４のフローチャートである。

【図16】深度マップ生成処理４における撮像ユニット、構造化照明、及び照明装置の動作タイミングを示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら発明の実施形態を説明するが、本実施形態は、汎用性の高い画像処理装置を実現することで、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ）の「９．産業と技術革新の基盤をつくろう」に貢献する。

【0011】

［第１実施形態］
［第１実施形態に係る画像処理装置１００の全体構成］
図１は、第１実施形態に係る画像処理装置１００の外観斜視図である。図２は、第１実施形態に係る画像処理装置１００のハードウェア構成である。図１に示すように、画像処理装置１００は、撮像装置１と、画像処理モジュール２とを含む。撮像装置１及び画像処理モジュール２は、別体として構成されている。より詳細には、撮像装置１の構成部品は、第１筐体１０に収容されている。一方、画像処理モジュール２の構成部品は、第２筐体２０に収容されている。そして、第１筐体１０及び第２筐体２０は、電気信号を伝送するケーブル３によって接続されている。

【0012】

撮像装置１は、異なる視点から撮像した視差画像を生成する装置である。撮像装置１は、例えば、ロボットアーム（図示省略）の先端に取り付けられる。また、撮像装置１は、ロボットアームの進行方向に位置する対象物を撮像して、視差画像を生成する。そして、撮像装置１は、生成した視差画像をケーブル３を通じて画像処理モジュール２に送信する。

【0013】

画像処理モジュール２は、例えば、ロボットアームの移動を制御するロボットアーム制御装置に接続される。画像処理モジュール２は、ケーブル３を通じて撮像装置１から取得した視差画像に基づいて、ロボットアームの進行方向に位置する対象物までの距離を示す距離情報を演算する。そして、画像処理モジュール２は、演算した距離情報をロボットアーム制御装置に出力する。なお、「対象物」とは、撮像装置１の撮像範囲に存在するあらゆる物体（例えば、壁、床、天井、目標物、障害物、周辺物、人など）を指す。また、対象物とは、単一の物体を指すのではなく、撮像装置１の撮像範囲に存在する複数の物体の総称である。

【0014】

ロボットアーム制御装置は、画像処理モジュール２から取得した距離情報に基づいて、障害物を避けてロボットアームを目標位置に到達させる。より詳細には、ロボットアーム制御装置は、画像処理モジュール２から取得した距離情報に基づいて、位置推定及び障害物特定を実行する。位置推定とは、後述する深度マップに基づいて、周囲の環境内におけるロボットアームの位置を推定する処理であり、背景も含めて全体が鮮明な画像が必要となる。障害物特定とは、ロボットアームの移動の障害となる可能性のある障害物を特定する処理であり、構造化光が鮮明に映っている画像が必要となる。

【0015】

但し、画像処理装置１００は、ロボットアームに搭載されることに限定されず、フロア内を自動走行する搬送ロボット等、視差画像に基づいて画像内の対象物との距離を計測し、計測した結果を利用して動作する装置に搭載されてもよい。また、画像処理装置１００は、撮像装置１及び画像処理モジュール２に別体として構成されることに限定されず、単一の筐体に纏めて収容されていてもよい。

【0016】

図２に示すように、撮像装置１は、第１撮像ユニット１１、第２撮像ユニット１２、第３撮像ユニット１３（以下、単に「撮像ユニット１１、１２、１３」と表記する。）と、構造化照明１４と、インタフェースモジュール１５とを備える。撮像装置１は、画像処理モジュール２でステレオ測距を実行するために、撮像ユニット１１～１３のうちの２つを１組として視差画像を撮像する装置である。また、撮像装置１は、構造化照明１４を点灯させた状態または消灯させた状態で、撮像ユニット１１～１３に画像を撮像させる。

【0017】

図１に示すように、撮像ユニット１１～１３及び構造化照明１４は、第１筐体１０の表面（同一面）に露出している。また、撮像ユニット１１～１３及び構造化照明１４は、左右方向に離間して配置されている。さらに、撮像ユニット１１～１３及び構造化照明１４は、左右方向に延びる直線Ｌ上（すなわち、同一直線上）に配置されている。第１実施形態に係る構造化照明１４は、隣り合う撮像ユニット１１、１２の間に配置されている。また、撮像ユニット１１は、第１筐体１０の表面において撮像ユニット１２を挟んで撮像ユニット１３とは反対側に配置されている。

【0018】

撮像ユニット１１、１２の間の基線長Ｌ１（光軸間の距離）は、撮像ユニット１１、１３の間の基線長Ｌ２と異なる。より詳細には、第２基線長Ｌ２は、第１基線長Ｌ１より長く設定されている。基線長Ｌ１、Ｌ２は、ステレオ測距を実行する対象との距離に応じて設定される。第１実施形態では、撮像装置１からの距離が０．３ｍ～６ｍまでの対象物を測距するために基線長Ｌ１を６０ｍｍとし、撮像装置１からの距離が１ｍ～１０ｍまでの対象物を測距するために基線長Ｌ２を１００ｍｍとしている。但し、具体的な数値は前述の例に限定されない。

【0019】

撮像ユニット１１は、光学レンズ１１ａと、イメージセンサ１１ｂとを一体化したカメラユニットである。光学レンズ１１ａは、撮像装置１の外部の光を集光して、イメージセンサ１１ｂに入射させる。イメージセンサ１１ｂは、光学レンズが集光した光を光電変換して、画像データを出力する。イメージセンサ１１ｂは、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。撮像ユニット１２、１３についても同様である。

【0020】

構造化照明１４は、構造化光を投影するプロジェクタである。構造化照明１４は、例えば、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）等のレーザ光によって、構造化光を実現する。構造化光とは、予め定められたパターン（例えば、円形や多角形のドットパターン、ストライプパターン）の濃淡を持つ光を指す。なお、ドットの配置、密度、大きさ、ストライプの間隔、太さ等は、必ずしも一様である必要はない。

【0021】

構造化照明１４は、撮像ユニット１１、１２、１３の撮像領域（画角）内に構造化光を投影する。換言すれば、撮像ユニット１１、１２、１３は、互いに異なる位置から構造化光が投影された対象物を撮像する。すなわち、撮像ユニット１１、１２、１３それぞれの撮像領域は、少なくとも一部が互いに重なり合っている。本明細書において、「撮像領域」と表記するときは、撮像ユニット１１、１２（または、撮像ユニット１１、１３）の撮像領域の互いに重なり合う領域を指すものとする。そして、構造化照明１４が出力する光の波長領域は、イメージセンサ１１ｂ、１２ｂ、１３ｂの感度領域に重なる。一例として、構造化照明１４が可視波長（例えば、４００ｎｍ以上、７８０ｎｍ未満）の光を出力する場合、イメージセンサ１１ｂ、１２ｂ、１３ｂも可視波長の光を受光（光電変換）して画像データを生成する。他の例として、構造化照明１４が赤外波長（例えば、７８０ｎｍ以上、９４０ｎｍ未満）の光を出力する場合、イメージセンサ１１ｂ、１２ｂ、１３ｂも赤外波長の光を受光（光電変換）して画像データを生成する。

【0022】

インタフェースモジュール１５には、撮像ユニット１１、１２、１３及び構造化照明１４が接続される。また、インタフェースモジュール１５は、ケーブル３の一端が接続される端子を有する。すなわち、インタフェースモジュール１５は、撮像ユニット１１、１２、１３及び構造化照明１４を、画像処理モジュール２に接続する。そして、インタフェースモジュール１５は、撮像ユニット１１、１２、１３に撮像を指示する撮像信号、構造化照明１４の点灯及び消灯を指示する構造化信号を、画像処理モジュール２から受信して撮像ユニット１１、１２、１３及び構造化照明１４に伝送する。また、インタフェースモジュール１５は、撮像ユニット１１、１２、１３が生成した画像データを、画像処理モジュール２に伝送する。

【0023】

画像処理モジュール２は、撮像信号及び構造化信号を撮像装置１に送信することによって、撮像装置１による画像データの生成を制御する。また、画像処理モジュール２は、撮像装置１から取得した画像データを用いて距離情報を演算する。さらに、画像処理モジュール２は、演算した距離情報をロボットアーム制御装置に出力する。図２に示すように、画像処理モジュール２は、インタフェースモジュール２１と、プロセッサモジュール２２とを備える。

【0024】

インタフェースモジュール２１には、プロセッサモジュール２２が接続される。また、インタフェースモジュール２１は、ケーブル３の他端が接続される端子を有する。さらに、インタフェースモジュール２１は、ロボットアーム制御装置に接続される。すなわち、インタフェースモジュール２１は、プロセッサモジュール２２を、撮像装置１及びロボットアーム制御装置に接続する。そして、インタフェースモジュール２１は、プロセッサモジュール２２から取得した撮像信号及び構造化信号を撮像装置１に伝送し、撮像装置１から取得した画像データをプロセッサモジュール２２に伝送し、プロセッサモジュール２２が演算した距離情報をロボットアーム制御装置に伝送する。

【0025】

インタフェースモジュール１５、２１は、例えば、ＳｅｒＤｅｓ（ＳＥＲｉａｌｉｚｅｒ／ＤＥＳｅｒｉａｌｉｚｅｒ）である。より詳細には、インタフェースモジュール１５は、撮像ユニット１１、１２、１３から出力された画像データ（パラレル信号）をシリアル信号に変換して、ケーブル３に出力する。また、インタフェースモジュール２１は、ケーブル３から取得したシリアル信号をパラレル信号に変換して、プロセッサモジュール２２に出力する。

【0026】

プロセッサモジュール２２は、撮像装置１の動作を制御すると共に、撮像装置１が撮像した視差画像から距離情報を演算して、深度マップを生成する。プロセッサモジュールは、例えば、１つのチップ上に各種の電子部品が集積された集積回路製品（ＳｏＣ）である。プロセッサモジュール２２は、例えば、プログラムを記憶するメモリと、メモリに記憶されたプログラムを実行することによって、後述する処理を実現するＣＰＵとを備える。

【0027】

深度マップとは、例えば、撮像装置１が撮像した画像内の各対象物までの距離を示す二次元配列である。より詳細には、深度マップは、撮像装置１が撮像した画像の各画素について、撮像装置１からの距離を示す距離情報の集合体である。つまり、本実施例において、距離情報とは、撮像装置１が撮像した画像に含まれる画素毎に、撮像装置１から撮像装置１が撮像した画像内の対象物までの距離を示した情報に相当する。より詳細には、距離情報は、イメージセンサ１１ｂ、１２ｂ（または、イメージセンサ１１ｂ、１３ｂ）を結ぶ線分上の点（典型的には、中点）から対象物までの距離を示す。撮像装置１が撮像した視差画像に基づいて各画素の距離情報を演算し、演算した距離情報を二次元配列にマッピングすることによって、深度マップが生成される。深度マップを生成する方法は既に周知なので、詳細な説明は省略する。但し、プロセッサモジュール２２は、演算した距離情報を深度マップの形式に編集して出力する必要はない。

【0028】

［深度マップ生成処理１］
図３～図５を参照して、第１実施形態に係る画像処理装置１００が実行する深度マップ生成処理１を説明する。図３は、深度マップ生成処理１のフローチャートである。図４は、深度マップ生成処理１における撮像ユニット１１、１２、１３及び構造化照明１４の動作タイミングを示す図である。図５は、第１画像及び第２画像から生成される合成画像のイメージ図である。

【0029】

まず、画像処理モジュール２は、構造化照明１４を点灯させた状態で、撮像ユニット１１、１２、１３それぞれに、第１露光時間Ａで第１画像を撮像させる（Ｓ１１）。これにより、ステップＳ１１では、互いに視差を有する３つの第１画像が生成される。第１画像は、例えば図５の上図に示すように、構造化光（ドットパターン）が投影された被写体を撮像した画像である。第１画像内の構造化光は、撮像装置１からの距離が近い対象物ほど鮮明になり、撮像装置１からの距離が遠くなるほど不鮮明になる。ステップＳ１１の処理は、第１撮像処理の一例である。

【0030】

次に、画像処理モジュール２は、ステップＳ１１が終了した後に、構造化照明１４を消灯させた状態で、撮像ユニット１１、１２、１３それぞれに、第２露光時間Ｂで第２画像を撮像させる（Ｓ１２）。これにより、ステップＳ１２では、互いに視差を有する３つの第２画像が生成される。第２画像は、例えば図５の中図に示すように、自然光の下で（すなわち、構造化光が投影されていない）被写体を撮像した画像である。ステップＳ１２の処理は、第２撮像処理の一例である。

【0031】

なお、第２露光時間Ｂ（例えば、１０ｍｓｅｃ）は、第１露光時間Ａ（例えば、１ｍｓｅｃ）より長く設定される。第１露光時間Ａを短くすることにより、構造化光を投影した被写体を撮像する際に、外光の影響を抑えることができる。また、第２露光時間Ｂを長くすることにより、撮像装置１からの距離が遠い被写体までを鮮明に撮像することができる。但し、露光時間Ａ、Ｂの具体的な数値は、前述の例に限定されない。

【0032】

次に、画像処理モジュール２は、ステップＳ１１で撮像された第１画像と、ステップＳ１２で撮像された第２画像とを合成して、合成画像を生成する（Ｓ１３）。より詳細には、画像処理モジュール２は、撮像ユニット１１によって撮像された第１画像及び第２画像を合成し、撮像ユニット１２によって撮像された第１画像及び第２画像を合成し、撮像ユニット１３によって撮像された第１画像及び第２画像を合成して、３つの合成画像を生成する。ステップＳ１３の処理は、生成処理の一例である。

【0033】

画像処理モジュール２は、例えば、周知のハイダナミックレンジ合成によって、第１画像及び第２画像を生成する。これにより、第１画像と第２画像とを比較して、コントラストの差が大きい（換言すれば、空間周波数が高い）領域同士が合成されて、合成画像が生成される。これにより、例えば図５の下図において、撮像装置１から近く構造化光が強く投影されることで空間周波数が高くなる領域（例えば、人に相当する像領域）や、構造化光を投影しないと空間周波数が低くなる領域（例えば、無地の床、壁、天井、机の天板に相当する領域）は第１画像が採用される。また、撮像装置１から遠方にあり構造化光を投影しなくても鮮明に撮影すれば空間周波数が高くなる領域（例えば、文字や図柄が表されたホワイトボードやポスターに相当する領域、床、壁、天井のつなぎ目や机のエッジに相当する領域）は第２画像が採用される。

【0034】

次に、画像処理モジュール２は、ステップＳ１３で生成した３つの合成画像を用いて各画素の距離情報を演算し、深度マップを生成する（Ｓ１４）。より詳細には、画像処理モジュール２は、撮像ユニット１１、１２を用いて生成した一対の合成画像（視差画像）に基づいて、近距離用の深度マップを生成する。また、画像処理モジュール２は、撮像ユニット１１、１３を用いて生成した一対の合成画像（視差画像）に基づいて、長距離用の深度マップを生成する。ステップＳ１４の処理は、演算処理の一例である。そして、画像処理モジュール２は、生成した深度マップをロボットアーム制御装置に出力する。

【0035】

画像処理モジュール２は、予め定められたフレームレートで、ステップＳ１１～Ｓ１４の処理を繰り返し実行する。例えば、フレームレートを６０ｆｐｓとすれば、１／６０ｓｅｃ間隔でステップＳ１１～Ｓ１４の処理が繰り返される。

【0036】

［深度マップ生成処理２］
図６は、深度マップ生成処理２のフローチャートである。図７は、深度マップ生成処理２における撮像ユニット１１、１２、１３及び構造化照明１４の動作タイミングを示す図である。なお、深度マップ生成処理１との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0037】

まず、画像処理モジュール２は、構造化照明１４を点灯させた状態で、撮像ユニット１１、１２それぞれに、第１露光時間Ａで第１画像を撮像させる（Ｓ２１）。これにより、ステップＳ２１では、互いに視差を有する２つの第１画像が生成される。ステップＳ２１の処理は、第１撮像処理の一例である。

【0038】

次に、画像処理モジュール２は、ステップＳ２１が終了した後に、構造化照明１４を消灯させた状態で、撮像ユニット１１、１２それぞれに、第２露光時間Ｂで第２画像を撮像させる（Ｓ２２）。これにより、ステップＳ２２では、互いに視差を有する２つの第２画像が生成される。ステップＳ２２の処理は、第２撮像処理の一例である。

【0039】

次に、画像処理モジュール２は、ステップＳ２２が終了した後に、構造化照明１４を点灯させた状態で、撮像ユニット１１、１３それぞれに、第１露光時間Ａで第３画像を撮像させる（Ｓ２３）。これにより、ステップＳ２３では、互いに視差を有する２つの第３画像が生成される。第３画像は、第１画像と同様に、構造化光が投影された被写体を撮像した画像である。ステップＳ２３の処理は、第３撮像処理の一例である。

【0040】

次に、画像処理モジュール２は、ステップＳ２３が終了した後に、構造化照明１４を消灯させた状態で、撮像ユニット１１、１３それぞれに、第３露光時間Ｃで第４画像を撮像させる（Ｓ２４）。これにより、ステップＳ２４では、互いに視差を有する２つの第４画像が生成される。第４画像は、第２画像と同様に、自然光の下で（すなわち、構造化光が投影されていない）被写体を撮像した画像である。ステップＳ２４の処理は、第４撮像処理の一例である。

【0041】

すなわち、ステップＳ２１～Ｓ２４は、異なるタイミングで実行される。また、第３露光時間Ｃ（例えば、１４ｍｓｅｃ）は、第２露光時間Ｂ（例えば、１０ｍｓｅｃ）より長く設定される。これより、長距離用の深度マップを生成するための第４画像が、短距離用の深度マップを生成するための第２画像と比較して、距離が遠い被写体が鮮明になる。但し、第３露光時間Ｃの具体的な数値は、前述の例に限定されない。また、前述の例では、ステップＳ２１、Ｓ２３の第１露光時間Ａを同一に設定されているが、ステップＳ２３の露光時間をステップＳ２１より長く設定してもよい。

【0042】

なお、ステップＳ２１～Ｓ２４の実行順序は、図６の例に限定されない。他の例として、画像処理モジュール２は、ステップＳ２１、Ｓ２３、Ｓ２２、Ｓ２４の順に撮像処理を実行してもよい。また、ステップＳ２１、Ｓ２３の処理は同時に実行されてもよい。すなわち、画像処理モジュール２は、図３のステップＳ１１、図６のステップＳ２２、Ｓ２４の順に撮像処理を実行してもよい。

【0043】

次に、画像処理モジュール２は、第１画像及び第２画像を合成して合成画像を生成し、第３画像及び第４画像を合成して合成画像を生成する（Ｓ２５）。より詳細には、画像処理モジュール２は、ステップＳ２１、Ｓ２２で撮像ユニット１１によって撮像された第１画像及び第２画像を合成し、ステップＳ２１、Ｓ２２で撮像ユニット１２によって撮像された第１画像及び第２画像を合成し、ステップＳ２３、Ｓ２４で撮像ユニット１１によって撮像された第３画像及び第４画像を合成し、ステップＳ２３、Ｓ２４で撮像ユニット１３によって撮像された第３画像及び第４画像を合成して、４つの合成画像を生成する。ステップＳ２５の処理は、生成処理の一例である。

【0044】

次に、画像処理モジュール２は、ステップＳ２５で生成した４つの合成画像を用いて各画素の距離情報を演算し、深度マップを生成する（Ｓ２６）。より詳細には、画像処理モジュール２は、第１画像及び第２画像を合成した一対の合成画像（視差画像）に基づいて、近距離用の深度マップを生成する。また、画像処理モジュール２は、第３画像及び第４画像を合成した一対の合成画像（視差画像）に基づいて、長距離用の深度マップを生成する。ステップＳ２６の処理は、演算処理の一例である。そして、画像処理モジュール２は、生成した深度マップをロボットアーム制御装置に出力する。

【0045】

［第１実施形態の作用効果］
第１実施形態によれば、第１撮像処理及び第２撮像処理において、構造化照明１４の点灯及び消灯と、露光時間Ａ、Ｂとを切り替える。これにより、構造化光の下での第１画像と、自然光の下での第２画像とを、同一の撮像ユニット１１～１３で撮像することができるので、撮像装置１の小型化及び簡素化を実現できる。

【0046】

また、第１露光時間Ａを短くすることにより、構造化光を投影した被写体を撮像する際に、外光の影響を抑えることができる。さらに、第２露光時間Ｂを長くすることにより、撮像装置１からの距離が遠い被写体までを鮮明に撮像することができる。これにより、距離画像の演算精度を向上させることができる。

【0047】

また、第１実施形態によれば、撮像ユニット１１、１２の間の基線長Ｌ１と、撮像ユニット１１、１３の間の基線長Ｌ２とを異ならせることによって、近距離用の深度マップと、長距離用の深度マップとを適切に生成することができる。

【0048】

ここで、深度マップ生成処理１によれば、撮像ユニット１１～１３に同じタイミングで撮像させるので、深度マップ生成処理２と比較してフレームレートを高くすることができる。一方、深度マップ生成処理２によれば、近距離用の第２画像を撮像する際の第２露光時間Ｂ（Ｓ２２）と、長距離用の第４画像を撮像する際の第３露光時間Ｃ（Ｓ２４）とを、測距対象の距離に応じて調整することができる。

【0049】

また、第１実施形態によれば、撮像ユニット１１～１３及び構造化照明１４を直線Ｌに配置することによって、直線Ｌと直交する方向の撮像装置１のサイズを小型化することができる。さらに、撮像装置１及び画像処理モジュール２を別体とすることによって、撮像装置１がさらに小型化されるので、ロボットアームの軽量化を実現できる。

【0050】

なお、深度マップ生成処理１、２において、撮像ユニット１１～１３のうちの１つの動作を省略してもよい。また、第１実施形態に係る画像処理装置１００において、撮像ユニット１１～１３のうちの１つを省略してもよい。すなわち、画像処理装置１００は、少なくとも２つの撮像ユニットを備えていればよい。

【0051】

［第２実施形態］
［第２実施形態に係る画像処理装置１００の全体構成］
図８～図１３を参照して、第２実施形態に係る画像処理装置１００を説明する。図８は、第２実施形態に係る画像処理装置１００のハードウェア構成である。図９は、イメージセンサ１１ｂのセルの例を示す図である。図１０は、イメージセンサ１１ｂ、１２ｂ及び光学フィルタ１１ｃ、１２ｃの位置関係を示す（より詳細には、イメージセンサ１１ｂ、１２ｂの背面側から光軸方向に見た）図である。なお、第１実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0052】

図８に示すように、第２実施形態に係る画像処理装置１００は、撮像ユニット１３が省略されている点で、第１実施形態と相違する。また、第２実施形態に係る撮像ユニット１１、１２は、光学フィルタ１１ｃ、１２ｃと、フィルタ駆動部１１ｄ、１２ｄとを備える点で、第１実施形態と相違する。

【0053】

第２実施形態に係るイメージセンサ１１ｂは、図９に示す画素１６を格子状に配列して構成されている。画素１６は、青色光を受光するセルＢと、緑色光を受光するセルＧと、赤色光を受光するセルＲと、赤外光を受光するセルＩＲとを含み、各セルが格子状（本実施形態では、６×６）に配列されている。すなわち、第２実施形態に係るイメージセンサ１１ｂは、可視光及び赤外光の両方を光電変換して画像データを生成することができる。イメージセンサ１２ｂについても同様である。

【0054】

光学フィルタ１１ｃは、イメージセンサ１１ｂに入射する光の光路（以下、単に「光路」と表記する。）上に配置されている。一例として、光学フィルタ１１ｃは、光学レンズ１１ａ及びイメージセンサ１１ｂの間の光路上に配置されていてもよい。他の例として、光学フィルタ１１ｃは、光学レンズ１１ａを挟んでイメージセンサ１１ｂと反対側の光路上に配置されていてもよい。

【0055】

図１０に示すように、第２実施形態に係る光学フィルタ１１ｃは、円盤形状の外形を呈する。そして、光学フィルタ１１ｃは、第１部分１１ｅと、第２部分１１ｆとを有する。第１部分１１ｅは、円盤形状の周方向の一部分に相当する扇型の部分である。そして、第１部分１１ｅは、特定波長領域の光を遮断し、特定波長領域とは異なる波長の光を透過する。第２部分１１ｆは、円盤形状の周方向の他の部分に相当する扇型の部分である。そして、第２部分１１ｆは、特定波長領域の光を透過し、特定波長領域とは異なる波長の光を遮断する。

【0056】

フィルタ駆動部１１ｄは、画像処理モジュール２の制御に従って、光学フィルタ１１ｃを回転させる駆動力を発生させるモータである。フィルタ駆動部１１ｄは、光学フィルタ１１ｃを回転させることによって、第１部分１１ｅを光路上に配置した状態（図１０の状態Ａ）と、第２部分１１ｆを光路上に配置した状態（図１０の状態Ｂ）とを切り替える。

【0057】

例えば、構造化照明１４が赤外波長の構造化光を投影し、特定波長領域を可視波長領域とした場合、第１撮像ステップ（Ｓ３１）において、第１部分１１ｅが光路上に配置する（換言すれば、第２部分１１ｆが光路上から外れた位置に配置する）。一方、第２撮像ステップ（Ｓ３２）において、第２部分１１ｆが光路上に配置する（換言すれば、第１部分１１ｅが光路上から外れた位置に配置する）。

【0058】

すなわち、光学フィルタ１１ｃは、ステップＳ３１の実行中に第１部分１１ｅが光路上に配置され、ステップＳ３２の実行中に第２部分１１ｆが光路上に配置されるように、第１部分１１ｅ及び第２部分１１ｆの中心角が設定される。そして、フィルタ駆動部１１ｄは、１ｆｐｓ（例えば、１／６０ｓｅｃ）で１回転する速度で、光学フィルタ１１ｃを回転させる。光学フィルタ１２ｃ及びフィルタ駆動部１２ｄの構成は、前述した光学フィルタ１１ｃ及びフィルタ駆動部１１ｄと共通する。

【0059】

第２実施形態に係る画像処理モジュール２（プロセッサモジュール２２）は、光学フィルタ１１ｃ、１２ｃの駆動（回転）を指示する回転信号を撮像装置１（フィルタ駆動部１１ｄ、１２ｄ）に出力する。より詳細には、画像処理モジュール２は、繰り返し実行する図１１のステップＳ３１、Ｓ３２に同期させて、光路上に第１部分１１ｅまたは第２部分１１ｆが配置されるように、フィルタ駆動部１１ｄ、１２ｄを制御して光学フィルタ１１ｃ、１２ｃを回転させる。

【0060】

［深度マップ生成処理３］
図１１は、深度マップ生成処理３のフローチャートである。図１２は、深度マップ生成処理３における撮像ユニット１１、１２、光学フィルタ１１ｃ、１２ｃ、及び構造化照明１４の動作タイミングを示す図である。なお、深度マップ生成処理１、２との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0061】

まず、画像処理モジュール２は、構造化照明１４を点灯させ且つ光学フィルタ１１ｃ、１２ｃの第１部分１１ｅ、１２ｅを光路上に配置した状態で、撮像ユニット１１、１２それぞれに、第１露光時間Ａで第１画像を撮像させる（Ｓ３１）。なお、光学フィルタ１１ｃ、１２ｃの第１部分１１ｅ、１２ｅは、ステップＳ３１の開始以前に光路上に進入し、ステップＳ３１の終了以降に光路上から退出すればよく、ステップＳ３１の開始及び終了と同時でなくてもよい。換言すると、光学フィルタ１１ｃ、１２ｃの第１部分１１ｅ、１２ｅは、第１画像を撮像するタイミングにおいて光路上に配置されていればよい。ステップＳ３１の処理は、第１撮像処理の一例である。

【0062】

次に、画像処理モジュール２は、ステップＳ３１が終了した後に、構造化照明１４を消灯させ且つ光学フィルタ１１ｃ、１２ｃの第２部分１１ｆ、１２ｆを光路上に配置した状態で、撮像ユニット１１、１２それぞれに、第２露光時間Ｂで第２画像を撮像させる（Ｓ３２）。なお、光学フィルタ１１ｃ、１２ｃの第２部分１１ｆ、１２ｆは、ステップＳ３２の開始以前に光路上に進入し、ステップＳ３２の終了以降に光路上から退出すればよく、ステップＳ３２の開始及び終了と同時でなくてもよい。換言すると、光学フィルタ１１ｃ、１２ｃの第２部分１１ｆ、１２ｆは、第２画像を撮像するタイミングにおいて光路上に配置されていればよい。ステップＳ３２の処理は、第２撮像処理の一例である。

【0063】

次に、画像処理モジュール２は、第１画像及び第２画像を合成して合成画像を生成して、合成画像を生成する（Ｓ３３）。より詳細には、画像処理モジュール２は、撮像ユニット１１によって撮像された第１画像及び第２画像を合成し、撮像ユニット１２によって撮像された第１画像及び第２画像を合成して、２つの合成画像を生成する。ステップＳ３３の処理は、生成処理の一例である。

【0064】

次に、画像処理モジュール２は、ステップＳ３３で生成した一対の合成画像（視差画像）を用いて各画素の距離情報を演算し、深度マップを生成する（Ｓ３４）。ステップＳ３４の処理は、演算処理の一例である。そして、画像処理モジュール２は、生成した深度マップをロボットアーム制御装置に出力する。

【0065】

［第２実施形態の作用効果］
第２実施形態によれば、可視光及び赤外光の両方に感度を有するイメージセンサ１１ｂ、１２ｂを採用すると共に、光学フィルタ１１ｃ、１２ｃを用いてイメージセンサ１１ｂ、１２ｂに到達する光の波長を切り替えることによって、第１画像及び第２画像を鮮明に撮像することができる。特に、赤外波長の構造化光の下で第１画像を撮像することによって、外光の影響を低減することができる。

【0066】

また、第２実施形態によれば、第１撮像処理及び第２撮像処理に同期させて、円盤形状の光学フィルタ１１ｃ、１２ｃを一方向に回転させるので、シンプルな構成でイメージセンサ１１ｂ、１２ｂに到達する光の波長を切り替えることができる。

【0067】

なお、第１部分１１ｅ、１２ｅ及び第２部分１１ｆ、１２ｆが遮断及び透過する波長の組み合わせは、前述の例に限定されない。他の例として、構造化照明１４が赤外波長の構造化光を投影し、特定波長領域を赤外波長領域とした場合、第１撮像ステップ（Ｓ３１）において、第２部分１１ｆが光路上に進入する（換言すれば、第１部分１１ｅが光路上から退出する）。一方、第２撮像ステップ（Ｓ３２）において、第１部分１１ｅが光路上に進入する（換言すれば、第２部分１１ｆが光路上から退出する）。

【0068】

また、光学フィルタ１１ｃの具体的な構成は、図１０の例に限定されない。他の例として、光学フィルタ１１ｃは、特定波長領域の光を遮断し、特定波長領域から外れた光を透過する第１部分１１ｅと、全ての波長領域の光を透過する第２部分１１ｆとで構成されていてもよい。さらに他の例として、光学フィルタ１１ｃは、第１部分１１ｅに相当する扇型の外形を呈していてもよい。光学フィルタ１２ｃについても同様である。

【0069】

さらに、イメージセンサ１１ｂに入射する光の光路に対して、光学フィルタ１１ｃ、１２ｃを進退させる具体的な構成は、図１０の例に限定されない。図１３は、光路上に対して光学フィルタ１１ｃ、１２ｃを進退させる構成の他の例を示す図である。

【0070】

図１３に示す光学フィルタ１１ｃは、特定波長領域の光を遮断し、前記特定波長領域から外れた光を透過する。なお、光学フィルタ１１ｃの外形は、矩形、円形など、任意の形状を採用できる。そして、フィルタ駆動部１１ｄは、光路に直交する方向に光学フィルタ１１ｃをスライドさせることによって、光路上に対して光学フィルタ１１ｃを進退させてもよい。光学フィルタ１２ｃについても同様である。

【0071】

［第３実施形態］
［第３実施形態に係る画像処理装置１００の全体構成］
図１４～図１６を参照して、第３実施形態に係る画像処理装置１００を説明する。図１４は、第３実施形態に係る画像処理装置１００のハードウェア構成である。なお、第１及び第２実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0072】

図１４に示すように、第３実施形態に係る画像処理装置１００は、撮像ユニット１３が省略されている点で、第１実施形態と相違する。また、第３実施形態に係る画像処理装置１００は、照明装置３０に接続されている点で、第１実施形態と相違する。

【0073】

照明装置３０は、構造化照明１４による構造化光の投影範囲（換言すれば、撮像ユニット１１、１２の撮像領域）に可視光を照射する。照明装置３０が照射するのは、投影パターンを含まない単純光である。また、照明装置３０が照射するのは、拡散しながら進行する拡散光である。照明装置３０は、所謂「フラッシュ装置」である。また、第３実施形態に係る画像処理モジュール２（プロセッサモジュール２２）は、照明装置３０の点灯及び消灯を指示する照明信号を出力する。

【0074】

［深度マップ生成処理４］
図１５は、深度マップ生成処理４のフローチャートである。図１６は、深度マップ生成処理４における撮像ユニット１１、１２、構造化照明１４、及び照明装置３０の動作タイミングを示す図である。なお、深度マップ生成処理１、２、３との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0075】

まず、画像処理モジュール２は、構造化照明１４を点灯させ且つ照明装置３０を消灯させた状態で、撮像ユニット１１、１２それぞれに、第１露光時間Ａで第１画像を撮像させる（Ｓ４１）。ステップＳ４１の処理は、第１撮像処理の一例である。

【0076】

次に、画像処理モジュール２は、ステップＳ４１が終了した後に、構造化照明１４を消灯させ且つ照明装置３０を点灯させた状態で、撮像ユニット１１、１２それぞれに、第２露光時間Ｂで第２画像を撮像させる（Ｓ４２）。ステップＳ４２の処理は、第２撮像処理の一例である。

【0077】

次に、画像処理モジュール２は、第１画像及び第２画像を合成して、合成画像を生成する（Ｓ４３）。より詳細には、画像処理モジュール２は、撮像ユニット１１によって撮像された第１画像及び第２画像を合成し、撮像ユニット１２によって撮像された第１画像及び第２画像を合成して、２つの合成画像を生成する。ステップＳ４３の処理は、生成処理の一例である。

【0078】

次に、画像処理モジュール２は、ステップＳ４３で生成した一対の合成画像（視差画像）を用いて各画素の距離情報を演算し、深度マップを生成する（Ｓ４４）。ステップＳ４４の処理は、演算処理の一例である。そして、画像処理モジュール２は、生成した深度マップをロボットアーム制御装置に出力する。

【0079】

［第３実施形態の作用効果］
第３実施形態によれば、第１画像を撮像する際には照明装置３０を消灯して周囲を暗くし、第２画像を撮像する際には照明装置３０を点灯して周囲を明るくする。これにより、外光の影響を抑えた第１画像と、鮮明な第２画像とを得ることができる。

【0080】

［その他の実施形態］
第１～第３実施形態は、任意の組み合わせで組み合わせることができる。すなわち、第２実施形態に係る光学フィルタ１１ｃ、１２ｃ及びフィルタ駆動部１１ｄ、１２ｄを、第１実施形態及び第３実施形態に適用してもよい。また、第３実施形態に係る照明装置３０を、第１実施形態及び第２実施形態に適用してもよい。

【0081】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0082】

本開示は、カメラで撮像した画像からの距離情報の演算精度を向上させると共に、小型化及び簡素化を実現した画像処理装置として有用である。

【符号の説明】

【0083】

１ 撮像装置
２ 画像処理モジュール
３ ケーブル
１０ ：第１筐体
１１ ：第１撮像ユニット
１１ａ，１２ａ，１３ａ 光学レンズ
１１ｂ，１２ｂ，１３ｂ イメージセンサ
１１ｃ，１２ｃ 光学フィルタ
１１ｄ，１２ｄ ：フィルタ駆動部
１１ｅ 第１部分
１１ｆ 第２部分
１２ 第２撮像ユニット
１３ 第３撮像ユニット
１４ 構造化照明
１５，２１ インタフェースモジュール
１６ 画素
２０ 第２筐体
２１ インタフェースモジュール
２２ プロセッサモジュール
３０ 照明装置
１００ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】