特許 5946208 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5946208

(24)【登録日】2016年6月10日

(45)【発行日】2016年7月5日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20160621BHJP

【ＦＩ】

   G01B11/25 H

【請求項の数】3

【全頁数】8

(21)【出願番号】特願2012-75887(P2012-75887)

(22)【出願日】2012年3月29日

(65)【公開番号】特開2013-205295(P2013-205295A)

(43)【公開日】2013年10月7日

【審査請求日】2015年3月5日

(73)【特許権者】

【識別番号】501039190

【氏名又は名称】株式会社ノア

(74)【代理人】

【識別番号】100107272

【弁理士】

【氏名又は名称】田村 敬二郎

(74)【代理人】

【識別番号】100109140

【弁理士】

【氏名又は名称】小林 研一

(72)【発明者】

【氏名】長枝 浩

(72)【発明者】

【氏名】川崎 洋

【審査官】 岸 智史

(56)【参考文献】

【文献】 特開２００９−０２５１８９（ＪＰ，Ａ）

【文献】 特表２０１１−５０４２３０（ＪＰ，Ａ）

【文献】 特開２００９−０７４８６７（ＪＰ，Ａ）

【文献】 特開平１１−２１１４４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

物体に照射されたパターン像を読み取ることで、前記物体の形状を求める画像処理装置において、
それぞれ異なる波長を有し、光軸を異ならせて配置された複数の点状光源と、
前記点状光源から出力される複数の光線を略平行光に変換または集光する第一のレンズと、
前記第一のレンズを通過した光線に応じて形成されるパターン像を、前記物体上に結像させるための結像レンズと、を有し、
異なる波長の光線に応じて前記物体にパターン像をずらせて形成することで、前記パターン像を区別して読み取り可能となっていることを特徴とする画像処理装置。

【請求項2】

前記複数の点状光源は、照射点が略同一平面内に配置されていることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記複数の点状光源は、それぞれ赤、緑、青の3色の波長を有する3つの光源であることを特徴とする請求項１又は２に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、特に、物体にパターン像を投影して３次元形状を復元することができる画像処理装置に関するものである。本発明の画像処理装置は、医療分野、服飾分野、警備分野等、種々の分野に用いることができる。

【背景技術】

【0002】

例えば顔などを計測するためには、計測の高速性、高密度の点群の獲得、正確性、などが重要となる。このため、アクティブ３次元計測手法、特にパターンコード化法を高速化することで、短時間で形状取得を行なうというアプローチが近年盛んに研究されている（特許文献１参照）。例えば、人の顔の３次元データを取得する

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−３００２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

パターンコード化法では、プロジェクタでパターン像を物体に投影し、これを撮影することで３次元形状の形成を行なう。このために、投影パターン像の特徴点と撮影された物体の姿勢との対応関係が必要である。多くのパターンコード化方式では、プロジェクタの画素の位置情報を複数のパターンに時間的にコード化することでこれを行なっている。

【0005】

ところで、３次元物体に投影するパターン像としては、所定のピッチで形成された複数のスリットを通過することで形成される縞模様（スリット像）などがある。しかるに、物体の形状を精度良く再現するためには、物体に投影するパターン像をよりシャープ（細線）にして、より高密度な情報を得ることが考えられるが、シャープなパターン像は結像時の焦点深度が浅くなり、凹凸のある３次元形状に投影した際に、パターン像のボケにより高密度な情報が得られなくなる恐れがある。又、シャープなパターン像を撮影するためには、高解像度の光学系や撮像素子が必要になって、コスト増を招くという問題がある。

【0006】

本発明は、上述の問題に鑑みてなされたものであり、コストを増大することなく、物体に投影するパターン像から多量の情報を得て、３次元形状を高精度に再現できる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

請求項１に記載の画像処理装置は、物体に照射されたパターン像を読み取ることで、前記物体の形状を求める画像処理装置において、
それぞれ異なる波長を有し、光軸を異ならせて配置された複数の点状光源と、
前記点状光源から出力される複数の光線を略平行光に変換または集光する第一のレンズと、
前記第一のレンズを通過した光線に応じて形成されるパターン像を、前記物体上に結像させるための結像レンズと、を有し、
異なる波長の光線に応じて前記物体にパターン像をずらせて形成することで、前記パターン像を区別して読み取り可能となっていることを特徴とする。

【0008】

本発明は、異なる複数の点状光源間で物理的に光軸がずれることを利用して、前記物体上の異なる位置にパターン像を形成するものである。しかしながら、ずれて形成されるパターン像が同一色である場合、これを読み取る撮像手段に高解像度が必要になって、コスト高を招く。これに対し本発明によれば、異なる波長の光線に応じて前記物体に形成されたパターン像を、区別して読み取り可能となっているので、撮像手段による一度の撮影で、単一波長の光線により形成される像のみを撮影する場合に比較すると光源の数に比例した情報量を得ることができ、これにより３次元形状をより高精度に再現できる。複数の光源の波長の光は、互いに波長が異なっていれば可視光でも赤外光でもよい。「区別して読み取る」とは、前記複数の光源の一つから出力された光線により形成されたパターン像を変換することによって得られたデータと、前記複数の光源のうち前期とは別の光源から出力された光線により形成されたパターン像を変換することによって得られたデータとを識別できることをいう。

【0009】

パターン像は、パターン像形成手段により、複数の点状光源から出射された光線に基づいて形成されると好ましい。かかる場合、「パターン形成手段」とは、光線透過後のビームプロファイルに所定のパターンを与える手段であり、光線透過阻止領域と光線透過領域を組み合わせてパターンを形成するスリットや格子等の素子や、マイクロレンズアレイなどの集光素子によるパターン形成素子も該当する。さらに、光源自体がパターン構造を有しているようなパターン像形成手段も該当する。

【0010】

点状光源とは、光源からの出力ビームサイズが、点状光源から出力される光線を略平行光に変換または集光する第一のレンズの焦点距離ｆと比較して、小さい光源のことを指す。レーザダイオード、LED、光ファイバから出力される光源などが含まれる。

【0011】

点状光源から出力される光線を略平行光に変換または集光するレンズは、単体レンズまたは複数のレンズから構成される複レンズで構成される。

【0012】

平行光とは、前記複数の光源のうち、一つから出力された光線によりコリメート状態とされた光線をいう。

【0013】

請求項２に記載の画像処理装置は、請求項１に記載の発明において、前記複数の点状光源は、照射点が略同一平面内に配置されていることを特徴とする。

【0014】

複数の点状光源をほぼ同一平面に配置することにより、前期3次元物体にほぼ同様のフォーカス状態でパターン像を照射することができる。ただし、ここで使用するレンズ等の光学素子の波長依存性による効果を考慮した最適化を行うことにより多少同一平面配置からずれることは、許容範囲とする。

【0015】

請求項３に記載の画像処理装置は、請求項１又は２に記載の発明において、前記複数の点状光源は、それぞれ赤、緑、青の3色の波長を有する3つの光源であることを特徴とする。

【0016】

市販されている撮像素子は一般的に青色、赤色、緑色を識別できるので、複数の波長を、これらの帯域とすることで、汎用の撮像素子を用いて安価に画像処理装置を形成できる。

【発明の効果】

【0017】

本発明によれば、コストを増大することなく、３次元物体に投影するパターン像から多量の情報を得て、３次元形状を高精度に再現できる画像処理装置を提供することができる。

【図面の簡単な説明】

【0018】

【図1】（ａ）は画像処理装置１０の構成の一例を示す図であり、（ｂ）は画像処理手段１６の構成を示す図である。

【図2】、プロジェクタ１２の概略構成を示す図である。

【図3】パターン像の例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態にかかる画像処理装置について説明する。図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（ａ）は画像処理装置１０の構成の一例を示す図であり、図１（ｂ）は画像処理手段１６の構成を示す図である。

【0020】

図１（ａ）を参照して、画像処理装置１０は、投影手段としてのプロジェクタ１２と、撮影手段としてのカメラ１４と、例えばパーソナルコンピュータから構成される画像処理手段１６とから主要に構成されている。

【0021】

図２は、プロジェクタ１２の概略構成を示す図である。プロジェクタ１２は、３次元物体である物体１８に対してパターン像を投影する機能を有し、青色の光線を出射する第１の光源ＬＤ１，緑色の光線を出射する第２の光源ＬＤ２，赤色の光線を出射する第３の光源ＬＤ３，コリメートレンズＣＯＬ、パターン像形成手段であるスリット板ＳＬ、結像レンズＬＳを有する。ここでは、光源ＬＤ１〜ＬＤ３は、出射点が同一線上に等間隔で配置され光軸を平行としているが、例えば正３角形の頂点上に出射点を設けるようにしても良い。

【0022】

第１の光源ＬＤ１から発散放射された青色光線は、コリメートレンズＣＯＬで平行光とされ、複数の柱部を有するスリット板ＳＬを通過することで、縞模様のパターン像を与えられ、結像レンズＬＳにより、特定の柱部ＰＬｘの像は線画像として物体１８の点Ｐ１に結像する。第２の光源ＬＤ２から発散放射された緑色光線は、コリメートレンズＣＯＬで平行光とされ、スリット板ＳＬを通過することで、縞模様のパターン像を与えられ、結像レンズＬＳにより、同じ柱部ＰＬｘの像は線画像として物体１８の点Ｐ１と異なる点Ｐ２に結像する。第３の光源ＬＤ３から発散放射された赤色光線は、コリメートレンズＣＯＬで平行光とされ、スリット板ＳＬを通過することで、縞模様のパターン像を与えられ、結像レンズＬＳにより、同じ柱部ＰＬｘの像は線画像として物体１８の点Ｐ１、Ｐ２とは異なる点Ｐ３に結像する。

【0023】

図３（ａ）は、例えば第１の光源ＬＤ１から発散放射された青色光線を用いて形成されるパターン像の例である。ここで、パターン像の線間距離をΔとする。図３（ｂ）は、３つの光源ＬＤ１〜ＬＤ３から発散放射された光線を用いて形成されるパターン像の例である。ここでは、理解しやすいように、緑色光線を用いて形成されるパターン像を点線で示し、赤色光線を用いて形成されるパターン像を一点鎖線で示す。

【0024】

上述したように、３つの光源ＬＤ１〜ＬＤ３は物理的に光軸がずれているので、それぞれから出射される光線により形成されるパターン像は、物体１８の対物距離を調整することで、それぞれがずれて照射することができる（図３のＰＬｘ）。結像レンズＬＳから物体１８までの距離を調整することで、相互のズレ量を（Δ／３）にできるから、青色光線を用いて形成されるパターン像の間に、緑色光線を用いて形成されるパターン像と、赤色光線を用いて形成されるパターン像が等間隔で配置されることとなる。また、点状光源を利用していることから、最適焦点の位置（対物距離）から乖離しても大幅にボケを生じることなく物体１８へのパターン照射が可能となる。よって、カメラ１４が、青色、緑色、赤色を識別できる撮像素子を用いていれば、高解像度のレンズを用いなくても、３つのパターン像を同時に読み取ることが出来、これにより図３（ａ）に示す単一の光線を出射する場合に比べ、３倍の情報量を得ることができるから、高精度に物体１８の形状を再現できる。

【0025】

尚、スリットＳＬの代わりに格子板やマイクロレンズアレイを用いても良い。又、異なる２波長の光源を用いても、本発明の効果は得られる。

【0026】

カメラ１４は、プロジェクタ１２で光を投影することで物体から反射された光を撮影する手段であり、例えば青色、緑色、赤色からなるカラーフィルタを備えたＣＣＤイメージセンサ等の固体撮像装置が候補として挙げられるが、対象とする波長を分離、遮断するフィルタを備えたカメラであれば候補となり得る。カメラ１４により２次元画像が撮影され、この２次元画像に基づくデータが画像処理手段１６により画像処理されることで、物体１８の３次元形状が復元される。ここで、カメラ１４とプロジェクタ１２との相対的な位置関係は、事前に校正するか、あるいはオンラインで校正するか、または自校正することなどにより、既知であると仮定する。

【0027】

図１（ｂ）を参照して、２次元画像から３次元形状を復元する画像処理手段１６の構成を説明する。

【0028】

本実施の形態の画像処理手段１６は、画像処理部３０と、制御部２０と、入力部２２と、記憶部２４と、表示部２６と、操作部２８とを主要に具備する。画像処理手段１６の全体的な概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理手段１６としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理手段１６を構成する各部位は、バスを経由して相互に電気的に接続される。

【0029】

画像処理部３０は、主たる画像処理の機能を果たす部位であり、交点獲得部３２と、第１解算出部３４と、第２解算出部３６と、３次元形状復元部３８とを含む。

【0030】

交点獲得部３２（第１計算部）は、カメラ１４により撮影された２次元画像から、縦パターンを観測したパターンと、横パターンを検出したパターンとの交点を獲得する部位である。

【0031】

第１解算出部３４（第２計算部）は、前記両パターンが交点を共有する制約条件や、パターンを含む平面が所定の線を通ることによる制約条件や、カメラ１４とプロジェクタ１２との位置関係から得られる条件等を基に、自由度を含む第１解を算出する部位である。

【0032】

第２解算出部３６（第３計算部）は、第１算出部により算出された第１解の自由度を解消して第２解を算出する部位である。

【0033】

３次元形状復元部３８は、算出された第２解を基に、撮影された物体の３次元形状を復元する部位である。

【0034】

制御部２０は、画像処理手段１６全体（画像処理部３０、入力部２２、記憶部２４、表示部２６）の動作を制御している部位である。

【0035】

入力部２２は、外部から画像処理手段１６に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。

【0036】

記憶部２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部２４には、処理前の２次元画像、当該２次元画像から復元された３次元形状が記憶される。

【0037】

更に、記憶部２４には、下記する画像処理方法を実行するためのプログラムが格納される。このプログラムは、使用者が操作部２８を操作することにより呼び出されて、上記した各部位の機能を実行させる。具体的には、入力された２次元画像のデータから、３次元形状のデータを復元するように、プログラムは各部位を動作させる。

【0038】

表示部２６は、例えば液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。

【0039】

操作部２８は、例えば、キーボードやマウスであり、使用者がこの操作部２８を操作することにより、画像処理手段１６は２次元画像から３次元形状を復元する。尚、２次元画像から３次元形状を復元する数学的手法については、特開２００９−３００２７７号公報等に記載があるため省略する。

【0040】

本発明によれば、カメラ１４による一度の撮影で、スリット板ＳＬを通過した３色の光線により形成されるパターン像を用いて大量の情報を得ることができ、これにより３次元形状をより高精度に再現できる。

【符号の説明】

【0041】

１０ 画像処理装置
１２ プロジェクタ
１４ カメラ
１６ 画像処理手段
１８ 物体
２０ 制御部
２２ 入力部
２４ 記憶部
２６ 表示部
２８ 操作部
３０ 画像処理部
３２ 交点獲得部
３４ 第１解算出部
３６ 第２解算出部
３８ ３次元形状復元部
ＣＯＬ コリメートレンズ
ＬＤ１ 第１の光源
ＬＤ２ 第２の光源
ＬＤ３ 第３の光源
ＬＳ 結像レンズ
ＳＬ スリット板

【図1】

【図2】

【図3】