特許 7393542 複眼カメラ装置および複眼システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】複眼カメラ装置および複眼システム

(51)【国際特許分類】

   G03B 35/00 20210101AFI20231129BHJP

   G02B 3/00 20060101ALI20231129BHJP

   G03B 15/00 20210101ALI20231129BHJP

   G03B 7/091 20210101ALI20231129BHJP

   G03B 19/07 20210101ALI20231129BHJP

   H04N 23/55 20230101ALI20231129BHJP

   G01C 3/06 20060101ALI20231129BHJP

【ＦＩ】

G03B35/00 Z

G02B3/00 A

G03B15/00 Q

G03B15/00 B

G03B7/091

G03B19/07

H04N23/55

G01C3/06 110V

G01C3/06 140

【請求項の数】 17

(21)【出願番号】P 2022528046

(86)(22)【出願日】2020-01-13

(65)【公表番号】

(43)【公表日】2023-01-26

(86)【国際出願番号】 CN2020071734

(87)【国際公開番号】W WO2021103297

(87)【国際公開日】2021-06-03

【審査請求日】2022-05-13

(31)【優先権主張番号】201911173889.2

(32)【優先日】2019-11-26

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】515291465

【氏名又は名称】中国科学院上海微系統与信息技術研究所

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】張 暁林

(72)【発明者】

【氏名】徐 越

(72)【発明者】

【氏名】谷 宇章

(72)【発明者】

【氏名】郭 愛克

【審査官】越河 勉

(56)【参考文献】

【文献】国際公開第２０１６／００９７０７（ＷＯ，Ａ１）

【文献】特開２０１８－０４５４６４（ＪＰ，Ａ）

【文献】特開平１０－１０７９７５（ＪＰ，Ａ）

【文献】特開２０１１－１０９６３０（ＪＰ，Ａ）

【文献】欧州特許出願公開第０３１１０１３０（ＥＰ，Ａ１）

【文献】中国特許出願公開第１０７６１３１７７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ ３５／００－３７／０６

Ｇ０２Ｂ ３／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １９／０７

Ｈ０４Ｎ ２３／５５

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

複眼カメラ装置であって、
小眼列およびプロセッサを含み、
前記小眼列は、光学的に互いに干渉せず、かつ一列に配置される複数の小眼を含み、各前記小眼は、いずれも、光学素子と、前記光学素子の焦点面の近くに設置される２以上の感光性ユニットとを含み、前記光学素子は、被写対象に向き合い、かつ視野内に入射される光束を受け取るために使用され、
各前記小眼列は、少なくとも一つの小眼列視覚面に対応し、前記小眼列視覚面は、前記小眼列中の各小眼の光学中心と、各小眼の２以上の感光性ユニットの中心とを通過し、
各前記感光性ユニットは、少なくとも一つの前記小眼列視覚面と交差し、各前記感光性ユニットの視線は、前記感光性ユニットの中心と、所在小眼の光学中心を通過し、
同じ小眼列の視覚面内に位置する各小眼の感光性ユニットは、いずれも視線が当該小眼列の視覚面内にあり、
同じ小眼列の視覚面内に位置する各小眼の感光性ユニットのうち、少なくとも一つの感光性ユニットの視線は、前記小眼列の視野内で他の感光性ユニットの視線と交差し、
前記プロセッサは、前記小眼中の感光性ユニットが受信した情報に基づいて画像を生成し、前記画像を処理して被写対象に関する情報を取得するように構成され、
前記プロセッサは、
各前記小眼中の前記感光性ユニットの情報を取得した後、視線が互いに交差しない前記感光性ユニットの情報の全部または一部を処理して画像を形成して、少なくとも一つの単一の複眼画像を得るように構成される単一の複眼画像イメージングユニットと、
同じ前記小眼列の視覚面に属し、かつ前記感光性ユニットの視線の少なくとも一部が互いに交差する二つ以上の前記単一の複眼画像をマッチングして、マッチング複眼画像のセットを得るように構成され、前記マッチング複眼画像中の各前記単一の複眼画像は、いずれも、視線交点にある被写対象の情報に従って単一の複眼画像に形成されるピクセルポイントを含むマッチング複眼画像ユニットと、
前記マッチング複眼画像中の視線交点にある被写対象の情報に基づいて生成されたピクセルポイントの間の視差情報を取得するように構成される視差計算ユニットと、
前記小眼列の情報および前記視差情報に基づいて、視線交点に位置する被写対象の情報を取得するように構成される位置分析ユニットと、を含み、
同じ前記小眼列は、少なくとも一つのサブ小眼列を含み、各前記サブ小眼列は、複数の順次的に隣接する小眼を含み、前記サブ小眼列中の小眼の光学中心の接続線は、円弧線セグメントであり、
前記複眼カメラ装置は、二つ以上の前記小眼列を含み、複数の前記小眼列が順に隣接して小眼アレイを形成し、各前記小眼アレイにおける光学素子がハニカム形状の曲面または球曲面に配置され、前記小眼アレイにおける互いに交差しない二つの前記小眼列の小眼列の視覚面において、少なくとも一部の小眼列の視覚面が視線内で交差し、各前記小眼は、一つまたは二つ以上の前記小眼列に属することを特徴とする、複眼カメラ装置。

【請求項2】

前記小眼列において、各小眼は、一つの前記感光性ユニットを含み、各前記感光性ユニットの視線は、前記小眼列の視野内で互いに交差しないことを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項3】

前記マッチング複眼画像中の単一の複眼画像は、いずれも、同じ時刻または同じ期間に取得された各前記小眼中の前記感光性ユニットの情報に基づいて取得されることを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項4】

前記位置分析ユニットは、先後の複数の時刻または同じ期間の前記被写対象の情報を通じて、視野内の前記被写対象の運動情報を取得するように構成されることを特徴とする
請求項３に記載の複眼カメラ装置。

【請求項5】

前記複眼カメラ装置は、
前記単一の複眼画像、前記マッチング複眼画像および前記被写対象の情報を記憶するように構成される記憶ユニットと、および
前記単一の複眼画像を出力して表示するか、または、前記位置分析ユニットで取得された被写対象の情報に基づいて、前記被写対象のテクスチャ色、立体ポーズおよび形状中の少なくとも一種を出力して表示するように構成される表示ユニットとをさらに含むことを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項6】

同じ前記小眼列は、複数のサブ小眼列を含み、隣接する二つの前記サブ小眼列の間には所定の間隔があることを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項7】

隣接する二つの前記サブ小眼列の間には、前記サブ小眼列と同じ前記小眼列に属さない小眼が設置されることを特徴とする
請求項６に記載の複眼カメラ装置。

【請求項8】

各前記感光性ユニットの視線は、前記感光性ユニットの感光性領域に関連する拡散角を有し、前記拡散角は、同じ前記小眼列視覚面中の隣接する二つの前記感光性ユニットの視線間の夾角以下であることを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項9】

前記サブ小眼列の各前記小眼の光学中心の接続線が円弧線セグメントである場合、前記拡散角は、前記円弧線セグメント中の隣接する二つの前記小眼の軸線の間の夾角以下でもあることを特徴とする
請求項８に記載の複眼カメラ装置。

【請求項10】

前記小眼列において、各前記小眼中の前記光学素子は、すべてマイクロレンズであり、各前記マイクロレンズの直径は、同じであるかすべて同じではなく、焦点距離は、同じであるかすべて同じでないことを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項11】

前記小眼列において、前記小眼列視覚面に垂直な各前記小眼のマイクロレンズの断面は、円形、楕円形または多角形であることを特徴とする
請求項１０に記載の複眼カメラ装置。

【請求項12】

同じ前記小眼列において、各前記小眼中の前記感光性ユニットの数は、同じであることを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項13】

前記感光性ユニットによって受信される情報は、視線に対応する入射光束の強度情報および色情報を含むことを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項14】

前記小眼列中の各前記小眼は、同じ半導体基板に統合され、各前記小眼の間は、媒体によって隔離されることを特徴とする
請求項１に記載の複眼カメラ装置。

【請求項15】

複眼システムであって、
設定された間隔で配置された複数の請求項１に記載の複眼カメラ装置を含むことを特徴とする、前記複眼システム。

【請求項16】

複数の前記複眼カメラ装置は、中心線に対して対称されることを特徴とする
請求項１５に記載の複眼システム。

【請求項17】

前記複眼システムは、前記複眼カメラ装置中の小眼列のポーズを制御するための制御装置をさらに含み、前記制御装置は、各前記複眼カメラ装置のプロセッサに接続されることを特徴とする
請求項１５に記載の複眼システム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年１１月２６日に出願された出願番号２０１９１１１７３８８９．２の中国発明特許出願の優先権を主張し、その内容は、参照により本出願に組み込まれる。
本発明は、光学イメージングの分野に関し、特に、複眼カメラ装置および複眼システムに関する。

【背景技術】

【0002】

動物界において、複眼とは、主に昆虫や甲殻類などの節足動物に現れる複数の単眼で構成される視覚器官を指し、複眼昆虫を例として、その複眼の各単眼には、それぞれレンズ（マイクロレンズと同様）およびレンズの設置に対応する光受容細胞があり、これらの光受容細胞は、感光情報を昆虫の脳神経系に伝達することにより、それ自体と観察対象との間の位置および距離を効果的に計算し、つまり、複眼類の昆虫の迅速な判断および応答に役立つステレオビジョンを実現する。

【0003】

人工複眼技術は、動物のユニークな複眼構造に触発されて開発された技術である。従来の光学系と比較して、人工複眼は、小さい体積、軽い重量、大きい視野、および高い感度等の利点を有するため、幅広い応用が期待される。人工複眼技術に関する研究は、レーダーシステム、ミサイル誘導装置、マイクロ航空機、船舶の捜索および追跡システム、暗視装置、マイクロ複眼カメラ、ロボット等の分野を含む。例えば、人工複眼技術は、インテリジェントロボットの視覚システムに利用されることができ、システムは、人工複眼検出器で収集した外部情報を処理することで、標的の識別、追跡、速度測定等を実現することができる。

【0004】

しかし、現在開示された人工複眼は、通常、複数のカメラまたはカメラアレイを使用し、異なるカメラを使用して対称画像を取得し、アルゴリズムを介してステレオマッチングを実行して、ステレオビジョンを取得する。これは、動物の複眼の原理とは異なり、本当の意味での複眼とは言えず、体積が大きいだけでなく、多くの計算コストも必要になる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、バイオニック構造設計を採用し、正確な３次元空間情報を取得し、より優れたステレオビジョン機能を実現することを目的とする複眼カメラ装置を提供する。本発明は、前記複眼カメラ装置を含む複眼システムをさらに提供する。

【課題を解決するための手段】

【0006】

一態様において、本発明によって提供される複眼カメラ装置は、小眼列およびプロセッサを含み、前記小眼列において、前記小眼列は、光学的に互いに干渉せず、かつ一列に配置される複数の小眼を含み、各前記小眼は、いるれも、光学素子と、前記光学素子の焦点面の近くに設置される少なくとも一つの感光性ユニットとを含み、前記光学素子は、被写対象に向き合い、かつ視野内に入射される光束を受け取るために使用され、ここで、各前記小眼列は、少なくとも一つの小眼列視覚面に対応し、前記小眼列視覚面は、前記小眼列中の各小眼の光学中心と、各小眼の少なくとも一つの感光性ユニットの中心の近くとを通過し、各前記感光性ユニットは、少なくとも一つの前記小眼列視覚面と交差し、各前記感光性ユニットの視線は、前記感光性ユニットの中心と、所在小眼の光学中心を通過し、前記プロセッサは、前記小眼中の感光性ユニットが受信した情報に基づいて画像を生成し、前記画像を処理して被写対象に関する情報を取得するように構成される。

【0007】

選択的に、前記小眼列において、各小眼は、一つの前記感光性ユニットを含み、各前記感光性ユニットの視線は、前記小眼列の視野内で互いに交差しない。

【0008】

選択的に、前記小眼列において、各小眼は、一つまたは二つ以上の前記感光性ユニットを含み、少なくとも一つの前記感光性ユニットの視線は、前記小眼列の視野内で他の前記感光性ユニットの視線と交差する。

【0009】

選択的に、前記複眼カメラ装置は、二つ以上の前記小眼列を含み、異なる前記小眼列の小眼列の視覚面の間に夾角が形成され、各前記小眼は、一つまたは二つ以上の前記小眼列に属する。

【0010】

選択的に、複数の前記小眼列で順次的に隣接して小眼アレイが構成され、前記小眼アレイ中の各前記小眼の光学素子は、ハニカム形曲面内または２次元平面内に配置される。
選択的に、前記プロセッサは、単一の複眼画像イメージングユニットを含み、前記単一の複眼画像イメージングユニットは、各前記小眼中の前記感光性ユニットの情報を取得した後、視線が互いに交差しない前記感光性ユニットの情報の全部または一部を処理して画像を形成して、少なくとも一つの単一の複眼画像を得るように構成される。

【0011】

選択的に、前記プロセッサは、マッチング複眼画像ユニット、視差計算ユニットおよび位置分析ユニットをさらに含み、前記マッチング複眼画像ユニットは、同じ前記小眼列の視覚面に属し、かつ前記感光性ユニットの視線の少なくとも一部を互いに交差する二つ以上の前記単一の複眼画像をマッチングして、マッチング複眼画像のセットを得るように構成され、前記マッチング複眼画像中の各前記単一の複眼画像は、いずれも、視線交点にある被写対象の情報に従って単一の複眼画像に形成されるピクセルポイントを含み、前記視差計算ユニットは、前記マッチング複眼画像中の視線交点にある被写対象の情報に基づいて生成されたピクセルポイントの間の視差情報を取得するように構成され、前記位置分析ユニットは、前記小眼列の情報および前記視差情報に基づいて、視線交点に位置する被写対象の情報を取得するように構成される。

【0012】

選択的に、前記マッチング複眼画像中の単一の複眼画像は、いずれも同じ時刻または同じ期間に取得された各前記小眼中の前記感光性ユニットの情報に基づいて取得される。
選択的に、前記位置分析ユニットは、複数の時刻または同じ期間に前記被写対象の情報を通じて、視野内の前記被写対象の運動情報を取得するように構成される。

【0013】

選択的に、前記複眼カメラ装置は、記憶ユニットおよび表示ユニットをさらに含み、前記記憶ユニットは、前記単一の複眼画像、前記マッチング複眼画像および前記被写対象の情報を記憶するように構成され、前記表示ユニットは、前記単一の複眼画像を出力して表示するように構成されるか、または、前記表示ユニットは、前記位置分析ユニットで取得された被写対象の情報に基づいて、前記被写対象のテクスチャ色、立体ポーズおよび形状中の少なくとも一種を出力して表示するように構成される。

【0014】

選択的に、同じ前記小眼列は、少なくとも一つのサブ小眼列を含み、各前記サブ小眼列は、複数の順次的に隣接される小眼を含み、隣接する二つの前記サブ小眼列の間には所定の間隔がある。

【0015】

選択的に、隣接する二つの前記サブ小眼列の間には、前記サブ小眼列と同じ前記小眼列に属さない小眼が設置される。

【0016】

選択的に、各前記サブ小眼列中の小眼の光学中心の接続線は、直線セグメントまたは円弧線セグメントである。

【0017】

選択的に、各前記感光性ユニットの視線は、前記感光性ユニットの感光性領域に関連する拡散角を有し、前記拡散角は、同じ前記小眼列視覚面中の隣接する二つの前記感光性ユニットの視線間の夾角以下である。

【0018】

選択的に、前記サブ小眼列の各前記小眼の光学中心の接続線が円弧線セグメントである場合、前記拡散角は、前記円弧線セグメント中の隣接する二つの前記小眼の軸線の間の夾角以下でもある。

【0019】

選択的に、前記小眼列において、各前記小眼中の前記光学素子は、すべてマイクロレンズであり、各前記マイクロレンズの直径は、同じであるかすべて同じではなく、焦点距離は、同じであるかすべて同じでなく。

【0020】

選択的に、前記小眼列において、前記小眼列視覚面に垂直な各前記小眼のマイクロレンズの断面は、円形、楕円形または多角形である。

【0021】

選択的に、同じ前記小眼列において、各前記小眼中の前記感光性ユニットの数は、同じである。

【0022】

選択的に、前記感光性ユニットによって受信される情報は、視線に対応する入射光束の強度情報および色情報を含む。

【0023】

選択的に、前記小眼列中の各前記小眼は、同じ半導体基板に統合され、各前記小眼の間は、媒体によって隔離される。

【0024】

一態様において、本発明は、複眼システムをさらに提供し、前記複眼システムは、設定された間隔で配置された複数の上記の複眼カメラ装置を含む。

【0025】

選択的に、複数の前記複眼カメラ装置は、中心線に対して対称される。

【0026】

選択的に、前記複眼システムは、前記小眼列のポーズを制御するための制御装置をさらに含み、前記制御装置は、各前記複眼カメラ装置のプロセッサに接続される。

【発明の効果】

【0027】

本発明によって提供される複眼カメラ装置は、少なくとも一つの小眼列およびプロセッサを含み、前記小眼列は、光学的に互いに干渉せず、かつ一列に配置される複数の小眼を含み、各前記小眼は、光学素子と、前記光学素子の焦点面の近くに設置される少なくとも二つの感光性ユニットを含む。前記複眼カメラ装置は、複眼動物の複眼機能に似て、具体的には、小眼列中の各小眼は、動物の複眼中の単眼の機能を有することができ、各前記小眼列は、少なくとも一つの小眼列視覚面に対応し、前記小眼列視覚面は、前記小眼列中の各小眼の光学中心と、各小眼の少なくとも一つの感光性ユニットの中心の近くとを通過し、各前記感光性ユニットは、少なくとも一つの前記小眼列視覚面と交差し、各前記感光性ユニットの視線は、前記感光性ユニットの中心と、所在小眼の光学中心を通過し、同じ小眼列視覚面の異なる感光性ユニットの視線は、交差するか、または交差しないことができ、対応的に、感光性ユニットを介して視野内の画像を高解像度で取得することができ、本発明によって提供される複眼カメラ装置は、動物の複眼に非常に近いバイオニック設計を有し、正確な３次元空間情報の所得に有利し、より優れたステレオビジョンを実現する。
本発明によって提供される複眼システムは、設定された間隔で配置された複数の上記の複眼カメラ装置を含み、上記の複眼カメラ装置を利用して、異なる方向から２次元平面または３次元検出を実行することができ、正確な２次元および３次元空間情報の所得に有利し、より優れたステレオビジョンを実現し、ロボット視覚、航空機等の分野で使用することができ、幅広い応用がある。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施例の複眼カメラ装置の構造模式図である。

【図2(a)】本発明の一実施例における小眼列のイメージング模式図である。

【図2(b)】図２（ａ）の小眼のイメージング模式図である。

【図2(c)】図２（ａ）の感光性ユニットに対応する光学円錐およびピクセルの表面感知光束の模式図である。

【図3】本発明の一実施例における小眼列の模式図である。

【図4】本発明の一実施例における小眼列の模式図である。

【図5】本発明の一実施例における小眼列の模式図である。

【図6】本発明の一実施例における小眼列の模式図である。

【図7】本発明の一実施例における小眼列の模式図である。

【図8】本発明の一実施例の複眼カメラ装置において六角形に配置される小眼の模式図である。

【図9】本発明の一実施例における複眼カメラ装置の可視範囲の模式図である。

【図10】本発明の一実施例における複眼カメラ装置の可視範囲の模式図である。

【図11】本発明の一実施例における複眼カメラ装置の可視範囲の模式図である。

【図12】本発明の一実施例における小眼列の光学円錐およびピクセルの表面感知光束の模式図である。

【図13】本発明の一実施例における小眼アレイの平面模式図である。

【図14】本発明の一実施例の複眼カメラ装置の距離測定の模式図である。

【図15】本発明の一実施例の複眼カメラ装置の距離測定の模式図である。

【発明を実施するための形態】

【0029】

現在、人工複眼技術については多くの研究と成果があるが、複眼昆虫のように、複眼でステレオビジョン情報を直接取得する人工複眼技術はまだ登場せず、主な理由は、動物の複眼に近い高バイオニック複眼構造の欠如、および高バイオニック複眼構造に基づくステレオビジョン機能を実現するためのコンピュータ―技術の開発である。明らかに、高バイオニック複眼構造によるステレオビジョン機能の実現は、人工複眼の発展にとって非常に重要であり、関連技術を使用した複眼カメラ装置は、正確な３次元空間情報を取得するのに役たち、通常の複数のカメラで画像を個別に撮影して処理する方法に比べて、より優れたステレオビジョン機能を実現することができる。

【0030】

上記の目的に基づいて、本発明は、複眼カメラ装置および複眼システムを提案する。ここで、本発明によって提案される複眼カメラ装置は、小眼列およびプロセッサを含み、前記小眼アレイは、光学的に互いに干渉せず、かつ一列に配置される複数の小眼を含み、各前記小眼は、いずれも、光学素子と、前記光学素子の焦点面の近くに設置される少なくとも一つの感光性ユニットとを含み、前記光学素子は、被写対象に向き合い、かつ視野内に入射される光束を受け取るために使用され、ここで、各前記小眼列は、少なくとも一つの小眼列視覚面に対応し、前記小眼列視覚面は、前記小眼列中の各小眼の光学中心と、各小眼の少なくとも一つの感光性ユニットの中心の近くとを通過し、各前記感光性ユニットは、少なくとも一つの前記小眼列視覚面と交差し、各前記感光性ユニットの視線は、前記感光性ユニットの中心と、所在小眼の光学中心を通過し、前記プロセッサは、前記小眼中の感光性ユニットが受信した情報に基づいて画像を生成し、前記画像を処理して被写対象に関する情報を取得するように構成される。本発明によって提案される複眼システムは、前記複眼カメラ装置を含む。

【0031】

本発明によって提案される複眼カメラ装置は、バイオニックの意味で見ると、複眼動物の複眼に類似し、複眼システムは、複眼動物の視覚システムに類似する。前記複眼カメラ装置において、小眼列中の小眼は、必要に応じて十分な数に設定されることができ、個々での「列」を「行」に置き換えることもできる。小眼列中の各小眼の光学素子は、光線受け取るために使用されるため、小眼列の同じ側に配置して、摂像時に被写対象に向き合うようにする。感光性ユニットの視線方向に沿って、入射光線は、光学素子を通過し、かつ対応する感光性ユニットに到達して、感知された画像情報に変換される。複眼カメラ装置によって「見られた」被写対象の場合、それは、空間中の任意の物体または生物であり、被写対象は、特定のテクスチャ色、立体ポーズおよび形状を有する空間ポイントの組み合わせと見なすことができる。撮影時に、小眼列中の小眼に光を入射し、小眼中の感光性ユニットを介して、測定された光の強度、色等に応じて、関連する視線上の被写対象の画像を生成することができる。複眼カメラ装置は、動物の複眼に非常に近いバイオニック設計を有し、正確な２次元または３次元空間情報を取得に有利し、好ましいステレオビジョンの実現に有利する。

【0032】

以下、添付の図面および複数の具体的な実施例を参照して、本発明の複眼カメラ装置および複眼システムをさらに詳細に説明する。本発明の利点および特徴は、以下の説明に基づいてより明らかになるであろう。各実施例は、製造および応用の実施例の単なる例示的な具体的実施形態であり、本発明を製造および応用する範囲に対する制限を構成しないことを理解されたい。また、複数の実施例は、それぞれ本発明の意味をより明確に説明するためにのみ説明されるが、各実施例における技術的特徴は、当該実施例の固有の特徴に属さず、各実施例のすべての特徴は、一般的な実施例の特徴として使用されることもできる。いくつかの実施形態において、以下の複数の実施例における技術的特徴は、新しい実施例を形成するために互いに関連し、互いに触発されることもできる。

【0033】

実施例１
本実施例は、本発明の複眼カメラ装置の主な構造および機能を紹介する。
図１は、本発明の一実施例の複眼カメラ装置の構造模式図である。図１を参照すると、一実施例において、複眼カメラ装置は、上記の小眼列およびプロセッサを含む。
具体的に、前記複眼カメラ装置は、一つまたは二つ以上の前記小眼列を含み得、複数の小眼列は、小眼アレイを形成することができ、異なる前記小眼列の小眼列の視覚面の間に夾角が形成され、各前記小眼は、一つまたは二つ以上の前記小眼列に属する。同じ前記小眼列の場合、各小眼は、一つまたは二つ以上（二つを含む）の感光性ユニットを含み得、各感光性ユニットの視線は、同一平面上にあるため、交差する線または交差しない線の二つの線として形成することができる。ここで、交差するかどうかとは、小眼列の正面、即ち、光学素子および感光性ユニットの入射光を受け取る側の視線が、一つの点、即ち、小眼列の視野内で交差するかどうかを指す。

【0034】

前記プロセッサは、前記小眼中の感光性ユニットの受信情報に基づいて画像を生成し、前記画像を処理して、被写対象に関する情報を取得するように構成される。さらに、感光性ユニットの情報を処理し、かつ被写対象に関する情報を取得するために、前記プロセッサは、任意の選択で、単一の複眼画像イメージングユニット、マッチング複眼画像ユニット、視差計算ユニットおよび位置分析ユニット等のコンポーネントまたはモジュールを含む。具体的な機能は、次のとおりである。

【0035】

前記単一の複眼画像イメージングユニットは、前記小眼列中の各前記小眼の前記感光性ユニットからの情報を取得した後、視線が互いに交差しない前記感光性ユニットの情報の全部または一部を処理して画像を形成して、少なくとも一つの単一の複眼画像を得るように構成される。前記単一の複眼画像は、分離された感光性ユニットに基づいて異なる視線方向の被写対象情報のみを取得するため、ステレオビジョン効果を有さないが、フォーカスの問題がなく、通常の２Ｄカメラと比較して、特別なレンズフォーカスを設定する必要がないため、解像度がより良い平面視覚を実現することができる。

【0036】

本実施例の複眼カメラ装置において、小眼列は、複数の小眼で構成される構造であるため、各感光性ユニットの視線が交差する場合（ここでは、同じ小眼の感光性ユニットの視線が光学中心で交差する場合を除いて、小眼列の視野内の交差を指す）、交点の被写対象と感光性ユニットとの距離が異なるため、視線が交差する二つの感光性ユニットの場合、それによって取得される交点の画像に視差が発生し、当該視差は、視線と交差する二つの感光性ユニットが配置される二つの単一の複眼画像を処理することによって取得されることができ、視差を計算する任意の選択な方法は、例えば、ブロックマッチング（ｂｌｏｃｋｍａｔｃｈｉｎｇ）法、深さニューラルネットワーク学習法、および特徴マッチング法等があり、さらに、両眼視覚センサーの視差について公表された計算方法を採用することができる。

【0037】

本実施例において、視線が交差する感光性ユニットの情報を用いて交点の位置を取得することにより、複眼カメラ装置でステレオビジョンを生成するようにする。

【0038】

具体的に、前記プロセッサは、単一の複眼画像イメージングユニットに加えて、マッチング複眼画像ユニット、視差計算ユニットおよび位置分析ユニットをさらに含む。前記マッチング複眼画像ユニットは、同じ前記小眼列の視覚面に属し、感光性ユニットの少なくとも一部の視線が互いに交差する前記単一の複眼画像とマッチングして、マッチング複眼画像のセットを取得するように構成され、前記マッチング複眼画像中の各前記単一の複眼画像は、いずれも、視線の交点にある被写対象の情報に対応して、画像に形成されたピクセルポイントを含む。前記視差計算ユニットは、前記マッチング複眼画像中で視線の交点にある被写対象の情報に対応して生成されたピクセルポイントの間の視差情報を取得するように構成される。前記位置分析ユニットは、前記小眼列の情報および前記視差情報に基づいて、視線交点に位置する被写対象の情報を取得するように構成される。

【0039】

さらに、図１を参照すると、前記複眼カメラ装置は、記憶ユニットおよび表示ユニットをさらに含み得、前記記憶ユニットは、前記単一の複眼画像、前記マッチング複眼画像および前記被写対象の情報を記憶されるように構成される。前記記憶ユニットは、ランダムアクセスメモリ（ＲＡＭ）、ランダム読み取り専用メモリ（ＲＯＭ）、ハードディスク、磁気ディスク、光ディスク、中央処理装置（ＣＰＵ）のレジスタ等の媒体を使用して記憶するする。

【0040】

前記表示ユニットは、前記単一の複眼画像を出力して表示するか、または、前記位置分析ユニットで取得された被写対象の情報に基づいて、前記被写対象のテクスチャ色、立体ポーズおよび形状中の少なくとも一種を出力して表示するように構成される。前記表示ユニットは、ディスプレイを含み得、前記ディスプレイは、フラット画像ディスプレイまたは３次元画像ディスプレイであり得る。

【0041】

上記のプロセッサの各コンポーネント（単一の複眼画像イメージングユニット、マッチング複眼画像ユニット、視差計算ユニット以及位置分析ユニット等）は、一つのモジュールに組み合わせることができ、または装置のいずれか一つを複数のモジュールに分割することができ、または、これらの装置の一つまたは複数の機能の少なくとも一部は、他の装置の機能の少なくとも一部と組み合わされ、一つのモジュールに実装されることができる。本発明の実施例によれば、単一の複眼画像イメージングユニット、マッチング複眼画像ユニット、視差計算ユニットおよび位置分析ユニットのうちの少なくとも一つは、少なくとも部分的にハードウェア回路として実装されることができ、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）、チップ上のシステム、基板上のシステム、パッケージ上のシステム、特定用途向け収集回路（ＡＳＩＣ）または回路を統合またはパッケージングする任意の他の合理的な方法等でハードウェアまたはファームウェアで実装されることができ、またはソフトウェア、ハードウェアおよびファムウェアの三つの適切な組み合わせによって実装されることができる。または、信号処理ユニット、画像処理ユニット、位置分析ユニット、記憶ユニットおよび出力ユニットのうちの少なくとも一つは、コンピュータ―プログラムモジュールとして少なくとも部分的に実装されることができ、当該プログラムがコンピュータ―で実行されると、対応するモジュールの機能を実行することができる。前記複眼カメラ装置は、集積回路製造プロセスを使用して製造することができ、一実施例において、前記複眼カメラ装置は、チップレベルの装置である。前記複眼カメラ装置の各小眼列中の小眼は、同じ半導体基板上に統合されることができ、前記半導体基板は、例えば、シリコン（Ｓｉ）基板、ゲルマニウム（Ｇｅ）基板等の半導体基板であり得るか、アルミナなどの材料で作られたセラミック基板、石英またはガラス基板などであり得る。隣接する小眼間の内部光線干渉を回避するために、各小眼の間は、媒体によって隔離され、前記媒体は、好ましくは遮光材料である。
上記の説明から、本発明の実施例の複眼カメラ装置を使用することにより、平面視覚（または２Ｄ視覚）およびステレオビジョン（または３Ｄ視覚）を実現することができる。

【0042】

実施例２
本実施例は、主に、本発明の複眼カメラ装置の小眼列を紹介する。

【0043】

図２（ａ）は、本発明の一実施例における小眼列のイメージング模式図である。図２（ｂ）は、図２（ａ）の小眼のイメージング模式図である。図２（ｃ）は、図２（ａ）の感光性ユニットに対応する光学円錐およびピクセルの表面感知光束の模式図である。

【0044】

図２（ａ）および図２（ｂ）を参照すると、入射光束Ｌ１、Ｌ２およびＬ３は、小眼列１００に入射され、各小眼中の感光性ユニットの視線方向に沿って各小眼１０に投射される。平行光束は、小眼１０の光学中心Ｃ（より具体的には、小眼中の光学素子の光学中心）を通って入射された後、焦点面１０ａの焦点において、即ち、任意の一つの焦点は、当該点と焦点面１０ａ上の光学中心Ｃとを連結する方向上の平行光束の収束点に対応する。小眼１０中の光学素子の具体的構造の選択によれば、その焦点面１０ａは、平面であり得るか、特定の曲率を有することができる。図２（ａ）に示されるように、各小眼１０の焦点面１０ａ上の三つの点が示され、この三つの点を光学中心Ｃと連結することによって決定される直線は、光入射方向に対応する光束の光軸である。図２（ｂ）に示されるように、図２（ａ）の単一の小眼１０の焦点面１０ａ上の三つの点は、異なる方向への入射光線に対応する。図２（ｃ）を参照すると、小眼１０の光学素子の焦点面１０ａの近くに感光性素子を設置することによって、入射光束の強度（または明るさ、色）に関する情報を得ることができ、感光性素子中のピクセルの感光面１１ａを対応する光学素子の焦点面１０ａ上に設置することによって、前記感光面１１ａと対応する光学素子の光学中心Ｃとによって形成された椎体が光学中心Ｃを通過する反対方向に延長する椎体とを光学円錐（図１（ｃ）では点線で表す）と呼ばれ、光学円錐は、感光面の範囲内のすべての点に対応する光学中心の光軸によって形成される椎体を表す。感光面１１ａの範囲で感光性素子が受け取る入射光束は、対応する光学円錐芽光学素子の光透過領域の範囲に厚くされたメサ形状の光束であり、当該メサ形状の光束は、感光面に対応するピクセルの表面感知光束（図１（ｃ）で長い水平線と短い水平線で表される）と呼ばれることができる。

【0045】

本発明の複眼カメラ装置は、上記の光学原理を利用し、一実施例において、複眼カメラ装置は、複数の小眼を含み、各小眼は、少なくとも二つの他の小眼とともに列（または行）に配置され、かつ小眼列と呼ばれる。各小眼は、いずれも、光学素子と、前記光学素子の焦点面の近くに配置された少なくとも一つの感光性ユニットとを含み、前記光学素子は、被写対象に向き合い、かつ入射される光束を受け取るために使用される。各小眼は光学的に互いに干渉しないため、各小眼に入る光線は、当該小眼の焦点面でのみ感光することができる。

【0046】

入射光束は、小眼列中の小眼１０の光学素子に入射された後焦点面に収束され、小眼アレイ１００の各小眼１０は、光学素子と、および光学素子の焦点面の片側に設置された感光性素子とを含み、前記感光性素子は、一つまたは二つ以上の感光性ユニット（または感光ピクセルと呼ばれる）を含み得る。図２（ａ）を参照すると、各小眼の焦点面１０ａ上の三つの収束点にそれぞれ三つの感光性ユニットが設置されることができ、感光性ユニットの中心と光学中心Ｃによって決定された光軸は、当該感光性ユニットの視線である。同じ小眼中に複数の感光性ユニットが設置された場合、異なる方向の入射光束は、前記光学素子によって収束された後、焦点面の近くに設置された異なる感光性ユニットによって感知されることができるため、入射光束の方向は、感光性ユニットの位置に関連する。同じ小眼中の異なる感光性ユニットの位置は、異なる光束入射方向に対応して設置され、異なる感光性ユニットによって、異なる感光性ユニットに入射する光束が検出され、感光性ユニットによって検出された信号に従って、その視線方向上の光線情報を取得することができる。いくつかの状況下で（図２（ａ）に示されるように）、感光性ユニットの視線は、小眼列１００の視野内の他の小眼中のいくつかの感光性ユニットの視線と交差するので、交差する視線を有する感光性ユニットによって生成された画像は視差を有し、当該視差は、計算により取得されることができる。

【0047】

各前記小眼列は、少なくとも一つの小眼列視覚面（図２（ａ）に示されるように、紙に平行な平面）に対応され、前記小眼列視覚面は、前記小眼列中の各小眼の光学中心と、各小眼の少なくとも一つの感光性ユニットの中心の近くとを通過し、各前記感光性ユニットは、少なくとも一つの前記小眼列視覚面と交差し、当該感光性ユニットの視線は、対応する前記小眼列の視覚面にある。同じ小眼内の異なる感光性ユニットの場合、それは、同じ小眼列の視覚面に属されることができるか、異なる小眼列の視覚面に属されることができる。同じ小眼列の視覚面内に属する各小眼の感光性ユニットは、すべて当該小眼列の視覚面内に視線を有する。

【0048】

前記複眼カメラ装置は、一つまたは複数の上記の小眼列を含み得、二つ以上の小眼列は、特定の配置に従って小眼アレイを形成することができる。異なる小眼列の場合、それらは、共通の小眼列視覚面が有さず、即ち、それぞれの小眼列視覚面の間に夾角が形成される（ここで、０より大きい角度）。しかし、小眼列中の小眼の場合、その光学中心および感光性ユニットを通過する小眼列視覚面の分布に従って、各前記小眼は、一つまたは二つ以上の前記小眼列に属することができる。

【0049】

小眼列中の各小眼の場合、通常、図２に示されるようなコンパクトな配置の形で設定されることもでき、即ち、複数の小眼が順次的に隣接して配列されるが、これらに限定されず、ここで、各小眼の間に、別の間隔を設定することもできる。また、間隔された位置で、別の小眼列の小眼を設置することができる。さらに、同じ小眼列の場合、少なくとも一つのサブ小眼列を含むこともでき、各前記サブ小眼列は、複数の順次的に隣接される小眼を含み、隣接する前記サブ小眼列の間で設定された距離が維持される。同じサブ小眼列の場合、各小眼の光学中心間の接続線は、直線セグメントであり得るか、円弧線セグメントであり得、好ましい解決策において、視覚を拡大するために、各小眼の光学中心間の接続線は円弧線セグメントであり得る。

【0050】

図３は、本発明の一実施例における小眼列の模式図である。図３を参照すると、一実施例において、小眼列中の各小眼は、いずれも、一つの前記感光性ユニットを含み、各前記感光性ユニットの視線は、前記小眼列の視野内で互いに交差しない。各小眼列の感光性ユニットの情報を取得した後、各感光性ユニットの情報に従って単一の複眼画像を取得することができる。当該単一の複眼画像は、小眼列の視野内にある被写対象の２次元画像であり、つまり、当該構造の小眼列は、２Ｄカメラ等の２Ｄ視覚等に使用されることができ、ステレオビジョン効果はせず、通常の２Ｄカメラと比較して、レンズを含む通常のカメラの効果が得られる。当該構造は、小さいレンズがあるため、特別なレンズを必要となくて、より便利である。さらに、当該タイプのカメラにはフォーカスの問題がないため、つまり、遠くにある物体ははっきりと見えず、距離が増加するにつれて、遠くにある物体の解像度は低下する。別の実施例において、図３に示されるように、複数の小眼列は、球面に配置され、各感光性ユニットで同じ時刻または同じ期間に撮影した画像情報を使用することで、対応する単一の複眼画像を得ることができ、２Ｄカメラとしても使用できる。

【0051】

図４は、本発明の一実施例における小眼列の模式図である。図５は、本発明の一実施例における小眼列の模式図である。図４および図５を参照すると、いくつかの実施例において、小眼列中の各小眼は、いずれも、一つの前記感光性ユニットを含むが、小眼の間の相互位置および感光性ユニットの位置を設計することにより、図３と比較して、図４および図５の各前記感光性ユニットの視線は、前記小眼列の視野内で交差している。従って、二つ以上の単一の複眼画像に従ってマッチング複眼画像のセットを形成することができ、ステレオビジョン効果を実現することができる。図４および図５において、小眼列中の各小眼の光学中心の接続線は、直線セグメントである。小眼列の距離が増加しても、視野深さ上の小眼列の測定可能な範囲制度は基本的に変化しない。

【0052】

図６は、本発明の一実施例における小眼列の模式図である。図６を参照すると、一実施例において、小眼列は、二つのサブ小眼列を含み、各前記サブ小眼列は、複数の順次的に隣接される小眼を含み、各サブ小眼列において、各小眼は、感光性ユニットのみを含み、感光性ユニットの視線が互いに交差しない。隣接する二つの前記サブ小眼列の間で一定の距離が維持される。当該実施例において、小眼列中の感光性ユニットの視線は、少なくとも部分的に交差しているため、この二つのサブ小眼列またはそれ以上のサブ小眼列によって構成される小眼列を使用して、ステレオビジョンを実現することもできる。

【0053】

図７は、本発明の一実施例における小眼列の模式図である。図７を参照すると、一実施例において、小眼列は、二つのサブ小眼列を含み、各前記サブ小眼列は、複数の順次的に隣接される小眼を含み、各小眼には複数の感光性ユニットが設置され、当該小眼列の場合、各サブ小眼列中の感光性ユニットの視線が視野内で交差し、また、異なるサブ小眼列中の感光性ユニットの視線も、視野内で交差し、図６に示される小眼列と比較して、図７で二つのサブ小眼列の視線の交差によって部分的に生成されるステレオビジョンの精度が高くなり、各サブ小眼列によって計算されたステレオビジョンは、二つのサブ小眼列の組み合わせによって再測定され、単一のサブ小眼列のエラー率が低いだけでなく、精度が大幅に向上する。

【0054】

上記の図３～図７は、一つの小眼列視覚面上の小眼列の配置のみを示すが、各実施例において、各小眼列の位置に複数の小眼列を設置することもでき、即ち、各小眼の光学中心を平面または平面に配置することができ、上記の２次元視覚およびステレオビジョンを実現することができることに留意されたい。各小眼列は、複眼カメラ装置の複眼として使用することができ、または、各サブ小眼列は、複眼カメラ装置の複眼として使用して、２次元および／またはステレオビジョンを実現することができる。

【0055】

さらに、各感光性ユニットのサイズを考慮すると、検出できるのは、感光性ユニットの感光性領域に対応するピクセルの表面感知光束の画像信号であり、実施例において、各前記感光性ユニットによって検出された入射光束は、前記感光性ユニットの感光性領域に関連する拡散角を有する。各感光性ユニットによって検出された入射光束と隣接する感光性ユニットによって検出された入射光束を明確に区別するようにするために、複眼カメラ装置の解像度を向上させ、前記拡散角は、同じ前記小眼列視覚面中で互いに隣接する二つの前記感光性ユニットの視線の夾角以下であることが好ましい。円弧線セグメント形状を含むサブ小眼列の場合、前記拡散角は、前記円弧線セグメント中の隣接する二つの前記小眼の軸線の間の夾角以下でもある。ここでの小眼の軸線とは、小眼の光学素子の入射面に垂直で、かつ光学中心を通る直線を指す。

【0056】

上記の説明によれば、本発明の実施例の小眼列中の小眼の配置および感光性ユニットの数は、必要に応じて設定されることができ、感光性ユニットの視線が交差するかどうかに応じて、前記小眼列を含む複眼カメラ装置は、２次元平面およびステレオビジョンを提供する。

【0057】

実施例３
本実施例は、主に本発明の実施例の複眼カメラ装置の具体的な構造を紹介する。

【0058】

本発明の複眼カメラ装置の小眼列において、各小眼中の光学素子は、マイクロレンズであり得、ここでのマイクロレンズは、凸レンズであり、その焦点面は、被写対象の反対側に位置し、以下に説明する小眼は、光学素子としてマイクロレンズを使用して説明される。しかし、本発明はこれらに限定されず、別の実施例において、少なくとも一つの小眼の光学素子は、複数の光学コンポーネント（例えば、一つまたは複数のレンズ、フィルターおよび／または細孔）を含む複合イメージング対物レンズであり得る。バイオニック意味から理解すると、小眼中の光学素子の機能は、複眼動物の単眼中のレンズの機能と類似する。上記の小眼中の同じ光学素子に対応する感光性ユニットは、光学素子の焦点面上に設置されたピクセルと見なすことができ、同じ光学素子に対応する少なくとも二つの感光性ユニットによって構成されるアレイは、ピクセルアレイと呼ばれることができる。バイオニック意味から理解すると、複数の感光性ユニットは、動物の複眼中の各単眼の光受容細胞と同様な機能を実行するために使用される。

【0059】

前記ピクセルアレイにおいて、各感光性ユニットは、フォトダイオードおよび駆動回路として使用される複数のＭＯＳトランジスタを含み得、前記フォトダイオードは、入射された光信号を電気信号に変換することができ、感光性ユニットの電気信号を取得するために、各小眼は、入射光束に関して感光性ユニットによって生成された画像信号をプロセッサに送信するために、各感光性ユニットに電気的に接続された周辺回路をさらに含み得る。ここで、感光性ユニットを光学素子の焦点面の近くに設置し、目的は、光学素子の焦点面上に配置された各感光性ユニットの感光面（例えば、フォトダイオード中のＰＮ接合層）を作成して、対応する視線上の光線情報を検出することである。感光性ユニットによって形成されたピクセルアレイの構造は、上記の機能を実現できる限り、開示された技術に従って実施することができる。実施例１と組み合わせると、小眼列を設置することにより、各小眼中の異なる位置にある感光性ユニットにより、異なる方向の入射光束の強度情報を検出できることが分かる。より好ましくは、小眼中の感光性ユニットまたは感光性ユニットで構成されるピクセルアレイの機能および構造を最適化することにより、例えば、光学素子と感光性ユニットとの間に光フィルター層を追加することにより、各小眼中の感光性ユニットを介して受け取る入射光束の色情報を取得することもでき、被写対象の情報をより包括的に取得するのに役立つ。

【0060】

通常のカメラまたはディスプレイのピクセルと同じように小眼の形状を設置することができる。例えば、各小眼の入射面の形状を四角形に設置して、かつ水平・垂直に配置することができ、各小眼の入射面の形状をハニカムのような六角形（六角形）等に設置することもでき、選択的に、複数の小眼列によって形成された小眼アレイの場合、各前記小眼の光学素子は、ハニカム形状の曲面または２次元平面に配置することができる。業界では、四角形の小眼の水平・垂直配列は、製造および計算が容易であり、視野を拡大するという観点から、またはバイオニック応用に近いという観点から、六角形の小眼を使用してハニカムを配置する方が有利である。図８は、本発明の一実施例の複眼カメラ装置において六角形に配置される小眼の模式図であり、図８を参照すると、一実施例において、各小眼２０の平面形状は、三角形であり、六つの小眼排列は、六角形の構造である。コンパクトな配置のために、ハニカム形状の構造の小眼アレイの場合、光学素子の光透過面を六角形に設置することができ、四角形に配置された小眼アレイの場合、光学素子の光透過面を四角形に設置することができる。図２～図７に示される実施例は、小眼が円筒形であることを例として説明し、ここに示される各小眼の光学素子は、円形のマイクロレンズである。しかし、本発明はこれらに限定されず、別の実施例において、小眼アレイ中の各小眼の光学コンポーネントの構造は、同じであっても異なっていてもよい。実装可能な小眼列中の光学コンポーネントは、完全に同じではないこともでき、具体的には、複眼カメラ装置の全体的な構造要件に従って、同じ構造または二つ以上の異なる構造の光学素子を選択して、小眼列および小眼アレイを形成するように配置することができ、例えば、一実施例において、小眼アレイは、曲面構造であり、ここで、ほとんどの領域は、第１の構造の小眼を使用し、第１の構造の小眼は、いずれも、同じ形状およびサイズのマイクロレンズの感光性ユニットを含み、いくつかの特別な位置では、第２の構造の小眼を使用し、第２の構造の小眼は、第１の構造の小眼とは異なる形状およびサイズのマイクロレンズまたは他の種類の光学素子を含み、また、第２の構造の小眼は、一定の規則に従って、小眼アレイの範囲内に散在し、分布することができる。同じ小眼列において、小眼の光学素子に対応して設置された感光性素子の構造は、同じであっても異なっていてもよい。例えば、一実施例において、同じ小眼列中の小眼の一部は、第１のタイプの感光性素子を使用し、第１のタイプの感光性素子は、同じ数および配置方法（感光面のサイズ、間隔等を含む）を有する感光性ユニットを含み、小眼の他の一部は、第２のタイプの感光性素子を使用し、第２のタイプの感光性素子の感光性ユニットの数および／または配置方法は、第１のタイプの感光性素子とは異なる。さらに、マイクロレンズが小眼の光学素子として使用される例において、各マイクロレンズの直径は、すべて同じである場合とそうでない場合があり、それらの焦点距離は、すべて同じである場合とそうでない場合がある。各小眼の構造は、必要に応じて設定することができる。一般に、マイクロレンズの直径が大きいほど、感光能力は強くなるが、感光性ユニットの数が変わらない場合、マイクロレンズの直径が小さいほど、感光性素子は、光入射方向の変化により敏感になり、即ち、視覚の解像度が高くなる。

【0061】

小眼列において、各小眼の配置方法は、複数あり、感光能力に影響を与えることなく複眼カメラ装置の体積を減らし、視覚の解像度を向上させるために、小眼列、特に各サブ小眼列中の各小眼の入射面が互いに近接することが好ましい。一例として、各サブ小眼列において、隣接する二つの小眼のマイクロレンズが隣接して配置され、入射面が配置される面内に、各小眼のマイクロレンズがコンパクトに配置される。各前記小眼のマイクロレンズが入射面に平行する断面は、円形、楕円形または多角形（例えば、四角形、五角形、六角形、七角形、八角形）等であり得る。

【0062】

実施例の複眼カメラ装置の場合、小眼アレイ中の各小眼に対応して設置された感光性ユニットの総数は、同じであっても異なっていてもよく、具体的に、小眼アレイ中の各小眼中の感光性ユニットは、対応することができ、即ち、すべての前記小眼は、いずれも、同じ方向の視線を検出する位置に対応する感光性ユニットが設置され、同じ視線方向に対応する感光性ユニットの場合、その視線は、交差せず、それぞれ取得された情報は、単一の複眼画像を生成することができる。小眼視野で視線が交差する感光性ユニットの場合、それぞれ取得した情報は、それぞれ異なる単一の複眼画像に反映され、また、それらはすべて視線の交点にある被写対象の情報を含むことにより、同じ前記小眼列の視覚面に属し、感光性ユニットの少なくとも一部の視線が互いに交差する前記単一の複眼画像をマッチングして、マッチング複眼画像のセットを得ることができ、前記マッチング複眼画像中の各前記単一の複眼画像は、視線の交点にある被写対象の情報に対応して生成されたピクセルポイントを含む。従って、本実施例において、同じ小眼中の感光性ユニットの視線が小眼の視野内で他の小眼の視線と交差して複数の交点を生成する場合、各交点は、少なくとも二つの単一の複眼画像で構成されるマッチング複眼画像のセットに対応し、同じ小眼に関連するマッチング複眼画像のセットは、当該小眼中の各感光性ユニットによって形成された単一の複眼画像を関する。

【0063】

実施例４
本実施例は、主に、本発明の実施例の複眼カメラ装置に関する視野角および距離測定精度を紹介する。

【0064】

図３に示される視線交差のない小眼列の場合、その視野および視野角は、両端の小眼および感光性ユニットの位置によって决定される。視線交差が存在する小眼列（例えば、図２（ａ）、図４、図５、図６、図７）の場合、複数の単一の複眼画像を取得することができ、それに応じてマッチング複眼画像のセットを取得することができ、視線交点での被写対象の位置を決定するために、マッチング複眼画像に従って視差を計算することにより取得する必要があり、ここで、視線が交差する小眼列については、他の小眼の視線と交差することができる小眼列の最も外側の小眼の最も外側の視線の位置および方向を取得することにより、複眼カメラ装置の立体可視範囲を取得することができる。

【0065】

図９は、本発明の一実施例における複眼カメラ装置の可視範囲の模式図である。図９を参照すると、本発明の一例として、小眼列２００の小眼列の視覚面から見ると、各小眼２０は、焦点面状に配置された二つの感光性ユニット２１を有し、この二つの感光性ユニット２１の中心と対応する小眼２０の光学中心Ｆとの間の接続線によって決定された二つの視線方向は、それが属する小眼列２００によって取得することができる光束の二つの入射方向であり、即ち、この二つの視線方向に対応して決定された光束のみが、すべての小眼２０中の感光性ユニット２１によって取得することができ、小眼列２００中のすべての小眼２０の光軸の交点は、この二つの方向の光束によって距離を測定することができる空間ポイントであり、小眼列２００の法線方向の距離を測定することができる空間ポイントの間隔は、空間深さ方向上の当該小眼列の距離測定精度Ｄ１である。ここで、距離測定精度は、同じ感光性ユニット２１によって解像することができる隣接する二つの空間ポイントの間の上記の法線方向上の距離精度を反映する。図４、図５および図９に示される実施例における距離測定精度Ｄ１は、空間深さ方向の変化に伴って基本的に変化しないままである。

【0066】

小眼列２００の可視範囲に応じて、小眼列２００の視野角（ＦＯＶ）を取得することができる。小眼列２００中の感光性ユニット２１の中心と対応する小眼の光学中心Ｃとの接続線が測定可能な視線方向を決定するため、小眼列２００の視野角は、各小眼２０中の感光性ユニットによって形成されたピクセルアレイの幅に関連する。本明細書の小眼列の視野角は、立体可視範囲が法線方向に対して外側にずれている角度を反映し、立体視野角とも呼ばれる。図９に示される実施例において、２本の太い線によって限定された可視範囲は、複眼カメラ装置の視野である。立体可視範囲は、直線セグメントの小眼列から外向きにずれないため、図９に示される小眼列の視野角は、０未満である。

【0067】

小眼中の感光性ユニットの数が増加すると、視野角が変化する。図１０は、本発明の一実施例における複眼カメラ装置の可視範囲の模式図である。図１０を参照すると、一例として、当該小眼列３００において、各小眼３０は、いずれも、焦点面に配置された四つの感光性ユニット３１を有し、この四つの感光性ユニット３１の中心と対応する小眼の光学中心Ｆとの接続線によって決定される視線方向は、当該小眼列３００によって測定することができる四つの視線方向であり、当該実施例において、他の小眼の視線と交差することができる最も外側の小眼の最も外側の視線によって決定された立体視野角は、０（例えば、図１０の２本の条太い線によって限定された範囲）より大きく、図９に示される実施例と比較して、小眼列２００の視野角は、拡大される。しかし、図１０の視野の周辺領域の距離測定精度Ｄ２´は、視野の中心領域の距離測定精度Ｄ２よりも著しく小さい。従って、２次元平面内でより良い距離測定精度を維持する必要がある場合、直線セグメントに配置された小眼列の視野は、比較的に狭く、言い換えると、本発明の実施例の小眼列を使用して複眼カメラ装置を製造すると、ある方向の小眼列の長さが足りない場合、距離測定範囲が狭くなりすぎないように、好ましくは、小眼を円弧線セグメントに設置するように配置することを考慮する。以下の実施例でさらに説明する。

【0068】

図１１は、本発明の一実施例における複眼カメラ装置の可視範囲の模式図である。図１１を参照すると、一例として、小眼列４００の各小眼４０は、円弧線セグメントとして配置される（光学中心の接続線は、円弧線である）。各小眼４０は、焦点面状に配置された二つの感光性ユニットを有し、この二つの感光性ユニットと対応する小眼４０の光学中心との接続線によって決定された光軸方向は、小眼列４００の測定可能な視線方向である。図１０は、他の小眼視線と交差することができる最も外側の小眼の最も外側の視線に従って決定された小眼列４００の立体可視範囲をさらに示す（例えば、図１１の２本の太い線によって限定された範囲）。明らかに、円弧線セグメント構造の小眼列４００の視野角は、同じ数の感光性ユニットを有する図８に示される直線セグメント構造の小眼列２００の視野角よりも大きい。さらに、図１１示されるように、円弧線セグメント構造の小眼列４００の場合、小眼列４００から法線方向に近い方向から遠い方向に向かって、小眼列の距離測定精度Ｄ３は、徐々に低下する。

【0069】

本実施例において、小眼列の距離測定精度が高いほど、複眼カメラ装置の解像度は高くなる。また、最大解像度は、主に隣接する小眼間の間隔と最も外側の感光性ユニットの位置に関連するため、必要に応じて小眼間隔と感光性ユニットとの位置を調整することにより、複眼カメラ装置の解像度を向上させる。

【0070】

本発明の小眼列中の複数の小眼の配置方法および間隔は、視野角、距離測定精度等の要件に従って設置することができる。好ましい解決策において、小眼中の感光性ユニットの数を増加することによって、または各小眼を円弧線セグメントとして配置することによって、視野角を増加することができ、また、効果や技術的な難しさの観点から、感光性ユニットの数を増加するよりも、円弧線セグメント（または球面）の小眼配列を使用するのがより好ましい。視野角が広いほど、複眼カメラ装置は、「見る」ことが遠くなり、被写対象が遠くなるほど、画像が小さくなる。直線セグメント構造の小眼列および２次元平面の小眼アレイの場合、その空間解像度は、基本的に距離の変化によって変化しないが、視覚範囲は、柱状空間として具現化された小眼列の２次元面積によって制限される。従って、本発明の実施例の小眼列を使用して複眼カメラ装置を製造する場合、図１１に示されるように、円弧線セグメント（または球面）に配置された小眼を使用することが好ましく、一方で、視野はより広く、もう一方で、物体が遠いほど、画像は小さくなり、より優れたバイオニック効果を有する。

【0071】

実施例５
本実施例は、主に、小眼列によって生成された視差を紹介する。

【0072】

前述の実施例における複眼カメラ装置の説明によれば、本発明の複眼カメラ装置の小眼列を使用することにより、プロセッサは、それぞれ単一の複眼画像イメージングユニットおよびマッチング複眼画像ユニットを介して、単一の複眼画像および少なくとも二つの単一の複眼画像を含むマッチング複眼画像のセットを取得することができることが分かる。前記マッチング複眼画像中の各単一の複眼画像には視差が存在する。

【0073】

図１２は、本発明の一実施例における小眼列の光学円錐およびピクセルの表面感知光束の模式図である。図１２の左半分は、光学円錐の分布状況を示し、右半分は、ピクセルの表面感知光束の分布状況を示す。図１２に示されるような小眼列において、各小眼は、感光面内に設置された二つの感光性ユニットを有し、また、各小眼中の一つの対応する位置にある感光性ユニットの視線は、小眼列の視野内で交差せず、各小眼中の別の対応する位置に対応する感光性ユニットの視線は、小眼列の視野内でも交差しないため、各小眼に対応するこの二つの感光性ユニットの信号に従って、二つの単一の複眼画像を取得することができる。同じ対応する位置にない感光性ユニットの場合、それらの視線は、小眼列の視野内で交差するため、この二つの単一の複眼画像の同じ交点を反映するピクセルポイントは視差を有し、マッチング複眼画像のセットを形成する。

【0074】

一例として、小眼Ａの画像を基準画像として、第１の検出領域Ｓ１は、小眼Ａ内部の二つの感光性ユニット（またはピクセル）によって同時に検出できる領域であるため、視差は０であり、第２の検出領域Ｓ２は、小眼Ａの左側の感光性ユニットおよび小眼Ｂの右側の感光性ユニットが同時に検出できる領域であるため、視差は１であり（ここで、小眼を単位として例示し、別の実施例において、感光性ユニットを単位として使用することもできる）、同じ方法に従って、第３の検出領域Ｓ３は、小眼Ａの左側の感光性ユニットおよび小眼Ｃの右側の感光性ユニットが同時に検出できる領域であるため、対応する視差が２であり、第４の検出領域Ｓ４は、小眼Ａの左側の感光性ユニットおよび小眼Ｄの右側の感光性ユニットが同時に検出できる領域であるため、対応する視差が３であることを得ることができ、類推により、各小眼に入射された後、異なる検出領域のピクセルの表面感知光束によって生成された視差を取得することができる。小眼の配置方法、小眼の間隔、感光性ユニットのサイズおよび間隔等の小眼列の構造データを取得した後、上記のマッチング複眼画像を計算して視差を得、３次元空間における被写対象または空間ポイントの特定の位置は、さらなる計算および導出によって取得することができることが分かる。

【0075】

被写対象の３次元空間情報を複数回連続して取得した後、さらに３次元空間における被写対象の運動情報を取得することができる。被写対象の３次元空間情報および運動情報は、立体座標系を介して表現および出力することができ、また、ＶＲ、ＡＲ、ＭＲ等の３次元立体技術を通じて実証することができる。

【0076】

実施例６
図１３は、本発明の一実施例における小眼アレイの平面模式図である。図１３を参照すると、一実施例において、複数の小眼列は、水平・垂直に２次元平面にきれいに配置され、各小眼は、それに対応して、水平・垂直に配置されたいくつかの感光性ユニットが設置される。図１３において、各小眼の光学中心の位置は、対応する感光性ユニットから構成されたピクセルアレイの中心位置と同じである。

【0077】

各小眼の光学素子は、例えば、マイクロレンズであり、マイクロレンズアレイは、小眼アレイであり、Ｘ×Ｙで表され、ＸおよびＹは、療法とも１より大きい整数であり、図１３に示されるように、一実施例において、Ｘ＝８、Ｙ＝７であり、さらに、各小眼中の感光性ユニットで構成されたピクセルアレイは、Ｉ×Ｊで表され、ＩおよびＪは、療法とも１より大きい整数であり、一実施例において、Ｉ＝３、Ｊ＝３である。即ち、図１３に示されるのは、８×７の小眼アレイであり、各小眼は、３×３個のピクセルを含む。本実施例において、空間ポイントの位置（または深さ）を取得するプロセッサは、次のプロセスを含むことができる。

【0078】

まず、前記小眼のすべての感光性ユニットによって生成された画像信号を取得した後、各小眼からの、かつ互いに交差しない視線の感光性ユニットの画像信号を一つの単一の複眼画像に処理して、少なくとも二つの単一の複眼画像を取得する。前記小眼の感光性ユニットの画像信号は、好ましくは、同じ時刻または同じ期間に取得された信号であり、被写対象の位置を複数の時刻または同じ期間で追跡することで、動的被写対象を捉えることができ、従って、動的撮影能力を実現する。

【0079】

上記のＸ×Ｙの小眼アレイの場合、Ｘ×ＹサイズのＩ×Ｊ枚単一の複眼画像を取得することができる。即ち、図１３の例において、９枚の単一の複眼画像を取得することができ、各単一の複眼画像は、合計８×７個のピクセルポイントを有し、各単一の複眼画像のサイズは、８×７であると考えられ、ここで、ピクセルポイントとは、感光性ユニットによって生成された画像信号が対応する単一の複眼画像に具現化された画像を指す。図１３に示される小眼の具体的な数は、例示のためのものであり、本発明の他の実施例において、複眼カメラ装置を構築するために使用される小眼の数および小眼中の感光性ユニットの数は、図１３に示される数とは異なるその他の数であってもよく、例えば、一実施例において、小眼の数は、各小眼に対応するピクセルアレイ中の感光性ユニットの数よりもはるかに大きくてもよいことに留意されたい。

【0080】

図１３を参照すると、隣接する二つのマイクロレンズの間隔、即ち、隣接する二つの小眼間の間隔は、ｌであり、各小眼中の隣接する二つの感光性ユニット間の間隔は、ｈであり、各マイクロレンズの光学中心と感光性ユニットの感光面との間の距離は、ｆである（図１４）。図１３に示される小眼アレイにおいて、小眼アレイが配置された平面の座標系は、小眼アレイ座標系Σ_ＸＹであり、その原点Ｏは、左下隅の小眼の中心に設置され、小眼アレイ座標系Σ_ＸＹの座標に従って、各小眼の位置を決定することができ、小眼アレイ座標系Σ_ＸＹ中の単位はｌであり、さらに、各小眼中の感光性ユニットが配置された座標系はピクセルアレイ座標系Σ_ＩＪであり、その原点Ｏ´は、各小眼の中心感光性ユニットの中心に設置されるため、ピクセルアレイ座標系Σ_ＩＪの座標に従って、小眼中の各感光性ユニットの位置を決定することができ、ピクセルアレイ座標系Σ_ＩＪ中の単位は、ｈである。図１３に示されるような感光性ユニットＥは、ピクセルアレイ座標系Σ_ＩＪの小眼アレイ座標系Σ_ＸＹ中の座標が（５、２）であるマイクロレンズの原点に対応する。

【0081】

図１４は、本発明の一実施例の複眼カメラ装置の距離測定の模式図である。図１４は、図１３の小眼アレイ座標系Σ_ＸＹに基づいて深さ座標軸Ｚを加えたものと見なすことができるため、３次元空間に位置する被写対象を示すことができる（ここで、空間ポイントＲで表される）。以下、図１３の座標系を複眼座標系Σ_ＸＹＺと呼び、複眼座標系Σ_ＸＹＺ中の原点を図１２の左下隅の小眼の光学中心に設定する。一例として、小眼アレイのアレイ面は、２次元平面であり、各小眼の構造は、同じであり、各小眼が配置されたアレイで対応する小眼の位置を直接表すことができ、小眼アレイの平面は、ピクセルアレイの平面に平行になうように設定することができ、各小眼の光学中心と小眼ピクセルアレイの中心の接続線は、ピクセルアレイの平面に垂直する。図１４の上記の設定は、説明の便宜のためだけのものであり、本発明の複眼カメラ装置を限定するものではないことに留意されたい。本発明の別の実施例において、各小眼のピクセルアレイも、一定の曲率を有することができ、各小眼の光学中心と対応するピクセルアレイ中心との接続線は、小眼アレイの平面に垂直しないこともできる。

【0082】

図１４を参照すると、小眼アレイ中の二つの小眼では、療法とも空間ポイントＲの画像信号が検出される。複眼座標系における空間ポイントＲの座標は、（ｘ、ｙ、ｚ）である。具体的に、複眼座標系Σ_ＸＹＺ中の第１の个小眼の光学中心Ａ（説明の便宜上、当該小眼は小眼Ａと呼ばれる）の座標は、（ｘ_ｃ、ｙ_ｃ）であり、小眼Ａの場合、ピクセルアレイ座標系Σ_ＩＪ中の空間ポイントＲの画像信号を生成する感光性ユニットｃの座標は、（ｉ、ｊ）であり、感光性ユニットｃの光束強度（または明るさ）は、Ｕ_ｉ、ｊ（ｘ、ｙ）として表され、同じ時刻ｔにおいて、感光性ユニットｃの視線と交差しない各小眼内の感光性ユニットの情報は、小眼の位置の順序で配置されて、一つの単一の複眼画像を形成し、時刻ｔでの第１の複眼画像Ｕ_ｉ、ｊと呼ばれる。同様に、空間ポイントＲの画像信号を検出する他の小眼の場合、複眼座標系Σ_ＸＹＺ中の光学中心Ｂ（説明の便宜上、当該小眼は小眼Ｂと呼ばれる）の座標は、（ｘ_Ｂ、ｙ_Ｂ、ｆ）であり、小眼Ｂの場合、ピクセルアレイ座標系Σ_ＩＪ中の空間ポイントＲの画像信号を生成する感光性ユニットｄの座標は、（ｍ、ｎ）であり、感光性ユニットｃおよび感光性ユニットｄの視線は、視野内で交差し、療法とも同じ空間ポイントＲの画像情報が検出される。同じ時刻ｔにおいて、感光性ユニットｄの視線と交差しない各小眼内の感光性ユニットの情報は、小眼の位置の順序で配置されて、一つの単一の複眼画像を形成し、時刻ｔでの第２の複眼画像Ｕ_ｍ、ｎと呼ばれる。

【0083】

図１４を参照すると、四つの点ｃＡＢｄが同じ小眼列の視覚面上にある場合、視線ｃＡと視線ｄＢは、空間内の空間ポイントＲで交差することができる。空間ポイントＲは、小眼Ａ中の感光性ユニットｃを介して画像信号を生成し、ピクセルポイントｃとして示される第１の複眼画像Ｕ_ｉ、ｊ中のピクセルポイントとして具現化され、空間ポイントＲは、小眼Ｂ中の感光性ユニットｄを介して画像信号を生成し、ピクセルポイントｄとして示される第２の複眼画像Ｕ_ｍ、ｎ中のピクセルポイントとして具現化される。第１の複眼画像Ｕ_ｉ、ｊ中のピクセルポイントｃの座標を（ｘｃ、ｙｃ）として、第２の複眼画像Ｕ_ｍ、ｎ中のピクセルポイントｄの座標を（ｘｄ、ｙｄ）として設定し、ピクセルポイントｃおよびｄは、両方とも空間ポイントＲの情報を反映するため、それは、対応するピクセルポイントのセットであり、ピクセルポイントｃおよびｄは、二つの単一の複眼画像における実空間上の同じ空間ポイントＲのマッピングを表し、この二つの単一の複眼画像は、マッチング複眼画像のセットを形成することができる。

【0084】

単一の複眼画像から同じ空間ポイントマッピングに属し、対応する関係を有するピクセルポイント（例えば、上記のピクセルポイントｃおよびｄ）を取得する方法については、例えば、ｓｉｆｔアルゴリズム、ｓｕｒｆアルゴリズム、グローバルステレオマッチングアルゴリズムまたはローカルステレオマッチングアルゴリズム等、当技術分野で開示されたステレオマッチングアルゴリズムを使用することによって取得することができ、ローカルステレオマッチングアルゴリズムを例として、ウィンドウベースの方法またはサポート領域ベースの方法とも呼ばれ、ローカルステレオマッチングアルゴリズムは、参照画像中の各ピクセルに対して適切なサイズ、形状および重みのウィンドウを計算し、次にこのウィンドウ内の視差値が重み付けされ、平均化される。理想的なサポートウィンドウは、テクスチャの弱い領域を完全にカバーし、ウィンドウ内で深く専属させることができる。グローバルステレオマッチングアルゴリズムと同様に、コスト関数を最適化することによって最適な視差を計算する。具体的なプロセスは、当技術分野で開示された技術を参照することができ、ここでは繰り返さない。

【0085】

以下、空間ポイントＲの空間深さ情報（即ち、Ｚ方向の座標）を取得するプロセスを説明する。

【0086】

図１４を参照すると、各レンズのピクセル位置（ｉ、ｊ）で構成された第１の複眼画像Ｕ_ｉ、ｊと、各レンズのピクセル位置（ｍ、ｎ）で構成された第２の複眼画像Ｕ_ｍ、ｎの第１の複眼画像Ｕ_ｉ、ｊ中のピクセルポイント（ｘ、ｙ）によって生成された視差は、ｅ_{（ｉ、ｊ）（ｍ、ｎ）}（ｘ、ｙ）として表される。具体的に、第１の複眼画像Ｕ_ｉ、ｊを基準画像とする場合、Ｘ軸方向のピクセルポイントｄとピクセルポイントｃとの距離は、Ｘ方向のピクセルポイントｄの視差であり、ここではｅ（ｉ、ｊ）（ｍ、ｎ）（ｘ）として表され、Ｙ軸方向のピクセルポイントｄとピクセルポイントｃとの距離は、Ｙ方向のピクセルポイントｄの視差であり、ここではｅ_{（ｉ、ｊ）（ｍ、ｎ）}（ｙ）として表され、ピクセルポイントｄとピクセルポイントｃとの直線距離、即ち、ピクセルポイントｄの視差は、ｅ_{（ｉ、ｊ）（ｍ、ｎ）}（ｘ、ｙ）として表されることができる。

【0087】

マイクロレンズの焦点距離が十分に小さい場合、ＡＢ＝ｃｄと見なすことができ、従って、ｅ_{（ｉ、ｊ）（ｍ、ｎ）}（ｘ、ｙ）は、二つの小眼の光学中心ＡとＢとの間の距離、即ち、ＡＢの長さを表すことができる。二つの小眼の位置に応じて、Ｘ方向のピクセルポイントｄの視差ｅ_{（ｉ、ｊ）（ｍ、ｎ）}（ｘ）とＸ方向の対応する二つの小眼の距離との関係、およびＹ方向のピクセルポイントｄの視差ｅ_{（ｉ、ｊ）（ｍ、ｎ）}（ｙ）とＹ方向の対応する二つの小眼の距離との関係を得ることができる。しかし、上記の視差と、小眼Ａと小眼Ｂとの間の距離との間の関係は、本発明の一例に過ぎない。別の実施例において、より正確な計算プロセスを通して、二つの小眼における対応する感光性ユニットの視差と小眼距離との間の関係を取得することができ、例えば、別の実施例において、計算によって

【数1】

（ｃｄは、感光性ユニットｃと感光性ユニットｄとの間の距離である）が得られる。一言で言えば、第１の複眼画像Ｕ_ｉ、ｊおよび第２の複眼画像Ｕ_ｍ、ｎを処理することにより、二つの小眼が同じ空間ポイントＲを検出する時の視差を得ることができる。
本実施例において、基準画像に基づくピクセルポイントｄの視差は、以下の関係式（１）を満たす。

【数2】

【0088】

直線ＡＲと小眼Ａのピクセルアレイが配置された平面との間の夾角αは、以下の関係式（２）を満たす。

【数3】

【0089】

直線ＢＲと小眼Ｂのピクセルアレイが配置された平面との間の夾角βは、以下の関係式（３）を満たす。

【数4】

【0090】

上記の関係に基づいて、Ｒの空間深さ、即ち、複眼座標系Σ_ＸＹＺ中のＲの座標ｚを得ることができる。

【数5】

を得る。

【0091】

従って、ｚは、以下の関係式（４）を満たす。

【数6】

【0092】

従って、ｘおよびｙは、それぞれ以下の関係式（５）および（６）を満たす。

【数7】

【0093】

空間ポイントＲの座標（ｘ、ｙ、ｚ）は、小眼の構造および視差に関連し、小眼アレイ座標系における二つの小眼の座標情報、ピクセルアレイ座標系における空間ポイント画像情報の二つの感光性ユニットの対応する座標情報、および二つの画像上の対応するピクセルポイントの視差によって取得することができる。被写対象が複数の空間ポイントの組み合わせである場合、視野内の各空間ポイントの深さを取得することによって、被写対象の立体情報を取得することができることが分かる。

【0094】

図６および図７に示されるように、設定された距離で分離されたサブ小眼列中の非交差視線によって決定された空間交点については、視差を計算する時は、二つのサブ小眼列間の設定距離も考慮する必要があり、空間ポイントの座標も、当該設定距離に関連する。

【0095】

上記の実施例において、小眼アレイおよびピクセルアレイは、計算のために２次元平面として使用される。しかし、小眼アレイ中の各小眼の空間上の分布が平面でない場合（例えば、図１１に示される球面）、各小眼の相対位置が固定され、即ち、各小眼の相対位置データは、既知または測定可能であり、小眼によって取得された画像信号を処理することによって単一の複眼画像を得ることもでき、二つ以上の単一の複眼画像を介してマッチング複眼画像を得ることができ、マッチング複眼画像に対して視覚処理を実行することにより、マッチング複眼画像中の対応するピクセルポイントの視差情報のセットを得られ、さらに、小眼アレイの構造情報、小眼中のピクセルアレイの構造情報、視線情報および視差情報を介して、被写対象の３次元空間情報を得ることができ、従って、ステレオビジョンが実現されることを理解することができる。

【0096】

実施例７
小眼の空間上の分布が平面ではないが、任意の固定形状であり、かつ特定の装置（例えば、ヘッド）に固定される場合、当該装置の座標系における各小眼の座標は、固定される。本実施例は、主に、任意のポーズの二つの小眼を介して、空間ポイントの３次元空間情報を取得するプロセスを紹介する。

【0097】

図１５は、本発明の一実施例の複眼カメラ装置の距離測定の模式図である。図１５を参照すると、任意のポーズの二つの小眼ＰおよびＱは、空間ポイントＲによって放出された光束を検出することができ、それにより、対応する画像信号を取得することができる。ここで、小眼Ｐの光学中心座標を（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）として設定し、小眼Ｐの中心光軸（マイクロレンズの光学中心を通り、かつ入射面に垂直する直線）の方向は、オイラー角（α_ｐ、β_ｐ、γ_ｐ）で表され、（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ、α_ｐ、β_ｐ、γ_ｐ）で小眼Ｐのポーズパラメーターを表すことができる。類似的に、小眼Ｑの光学中心座標を（ｘ_ｑ、ｙ_ｑ、ｚ_ｑ）として設定し、小眼Ｑの中心光軸の方向は、オイラー角（α_ｑ、β_ｑ、γ_ｑ）で表され、（ｘ_ｑ、ｙ_ｑ、ｚ_ｑ、α_ｑ、β_ｑ、γ_ｑ）で小眼Ｑのポーズパラメーターを表すことができる。視線が交差しない小眼Ｐおよび小眼Ｑの二つのグループの感光性ユニットの検出信号に従って、二つの単一の複眼画像を生成することができ、ここで、第１の複眼画像Ｕ_ｉ、ｊのＵ_ｉ、ｊ（ｘ_ｐ、ｙ_ｐ）ピクセルポイントは、小眼Ｐ上の実空間における空間ポイントＲのイメージングに対応し、第２の複眼画像Ｕ_ｍ、ｎのＵ_ｍ、ｎ（ｘ_ｑ、ｙ_ｑ）ピクセルポイントは、小眼Ｑ上の空間ポイントＲのイメージングに対応するため、第１の複眼画像Ｕ_ｉ、ｊおよび第２の複眼画像Ｕ_ｍ、ｎは、マッチング複眼画像のセットであり、従って、Ｒの座標（ｘ、ｙ、ｚ）は、（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ、ａ_ｐ、β_ｐ、γ_ｐ）、（ｘ_ｑ、ｙ_ｑ、ｚ_ｑ、α_ｑ、β_ｑ、γ_ｑ）および（ｉ、ｊ）、（ｍ、ｎ）によって計算されることができる。具体的な説明は、次のとおりである。

【0098】

３次元空間において、ベクトルｐで小眼Ｐの光学中心の座標を表し、ベクトルｐは、小眼Ｐの座標に関連し、ｐ＝ＯＰ＝（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）として表され、Ｏは、小眼座標系の原点である。小眼Ｐにおいて、ピクセルアレイ（原点はｏで示される）中の空間ポイントＲに対応する感光性ユニットの座標は、（ｉ、ｊ）であり、３次元空間に対応する座標は、（ｘ_ｉ、ｙ_ｉ、ｚ_ｉ）であり、小眼Ｐ中の対応する感光性ユニット（ｉ、ｊ）から得られた光線方向がｄ_１＝ＯＰ－ｏｉ＝（ｘ_ｐ－ｘ_ｉ、ｙ_ｐ－ｙ_ｉ、ｚ_ｐ－ｚ_ｉ）である場合、光線ＰＲのパラメーター方程式は、ｐ＋ｋ_１ｄ_１として表されることができ、ここで、ｋ_１は、係数である。

【0099】

同様に、小眼Ｑの光学中心の座標は、ベクトルｑで表されることができ、ベクトルｑは、小眼Ｑの座標に関連し、ｑ＝ＯＱ＝（ｘ_ｑ、ｙ_ｑ、ｚ_ｑ）として表されることができ、ピクセルアレイ（原点はｏで示される）中の空間ポイントから放出された光束に対応する小眼Ｑ中の感光性ユニットの座標は、（ｍ、ｎ）であり、３次元空間に対応する座標は、（ｘ_ｍ、ｙ_ｍ、ｚ_ｍ）であり、小眼Ｑ中の対応する感光性ユニット（ｍ、ｎ）から得られた光線方向は、ｄ_２＝（ｘ_ｑ－ｘ_ｍ、ｙ_ｑ－ｙ_ｍ、ｚ_ｑ－ｚ_ｍ）である。光線ＱＲのパラメーター方程式は、ｑ＋ｋ_２ｄ_２として表されることができ、ここで、ｋ_２は、係数である。

【0100】

光線ＰＲと光線ＱＲとは空間ポイントＲで交差するため、ｋ_２＝ｋを設定できる場合、光線ＱＲは空間ポイントＲを取ると、空間ポイントＲの矢量は、Ｒ＝ｑ＋ｋｄ_２である。この場合、

【数8】

、即ち、（ｑ＋ｋｄ_２－ｐ）×ｄ_１＝０であり、従って、

【数9】

の空間ポイントＲの座標が

【数10】

である理想的な状況を得ることができ、実際のアプリケーションではエラーが存在する可能性があることを考慮すると、ベクトル除算は計算に不便であり、

【数11】

に置き換えることができる。従って、空間ポイントＲの座標は、

【数12】

である。

【0101】

前述の実施例における複眼カメラ装置の説明と組み合わせると、具体的には、プロセッサは、信号処理ユニット、画像処理ユニットおよび位置分析ユニットを介して、前記小眼によって生成されたすべての画像信号を取得した後、少なくとも一つの単一の複眼画像を形成することにより、より高い視覚的明瞭度を有する２次元視覚を実現することができ、また、視線が交差する任意の二つの単一の複眼画像の場合、そのうちの対応するピクセルポイントの視差情報を取得するためのマッチング複眼画像として使用することができ、例えば、小眼の距離情報、感光性ユニットに関連する視線の情報および前記視差情報等の小眼アレイの構造情報を計算することによって被写対象の３次元空間情報を得ることができることが分かる。前記複眼カメラ装置は、上記のバイオニック構造で設計された小眼アレイおよびプロセッサを介して３次元立体画像収集機能を有し、被写対象の位置を検出し、被写対象の立体画像を取得するために使用されることができ、正確な３次元空間情報を取得し、より優れたステレオビジョンを実現するのに役立つことが分かる。

【0102】

実施例８
本実施例は、主に、複眼システムを紹介する。前記複眼システムは、間隔を置いて配置された複数の前記複眼カメラ装置を含む。バイオニックの観点から、ここでの複眼システムの機能は、複眼動物の複眼のセット（例えば、トンボの二つの複眼）の機能と類似する。

【0103】

上記の複眼システムにおける複数の複眼カメラ装置は、設計要件に従って、それぞれ機能本体の異なる位置に設定されることができ、異なる方向から３次元立体測定を行うか、または、複数の複眼カメラ装置は、中心点または中心線に関して対称的に分布されることもできる。バイオニックの観点から、多くの複眼動物は、中心線に沿って対称的な二つの複眼を介して動作するため（人間の目は複眼ではないが、中心線に沿って対称でもある）、本実施例の複眼システムは、インテリジェントロボットの視覚システム設計に適用されることができるが、これらに限定されず、別の実施例において、上記の複眼システムは、レーダーシステム、ミサイル誘導装置、マイクロ航空機、船舶の捜索および追跡システム、暗視装置、マイクロ複眼カメラ等にも適用されることができ、具体的な３次元検出のニーズに応じて、同時に使用される二つ以上の複眼カメラ装置、特に小眼アレイは、中心線を円周として左から右または上下に対称にすることも、中央部分（または中心点）に対して対称にすることも、非対称に分布することもできる。

【0104】

上記の複眼システムは、複眼カメラ装置に加えて、前記複眼カメラ装置における小眼列のポーズを制御するための制御装置をさらに含むことができる。ここでの小眼列のポーズとは、主に小眼列の撮影方向を指す。コントローラは、コンピュータ―のＣＰＵで実現されることができる。制御装置は、各複眼カメラ装置のプロセッサに接続され、小眼列のポーズに加えて、制御装置は、例えば、動作するように小眼アレイの対応する部分のプロセッサを制御する等、各プロセッサが被写対象の２次元および／または３次元の空間情報を取得するプロセスを制御することができ、制御装置は、例えば、二つの複眼カメラ装置間の測定誤差を排除するために、各プロセッサによって出力された被写対象の３次元空間情報に対して統合された分析および処理を実行することができ、最終的に、被写対象のより正確な３次元空間情報を取得する。バイオニックの観点から、制御装置の機能は、複眼動物の脳の機能と類似し、複眼システムの操作において指揮的な役割を果たす。

【0105】

各複眼カメラ装置は、視野範囲内の被写対象の２次元および／または３次元空間情報を取得することができるため、構築された複眼システムは、より広い視野を有し、より優れたステレオビジョン機能を実現するのに有利する。

【0106】

上記の説明は、本発明の好ましい実施例の説明にすぎず、本発明の権利の範囲を限定するものではなく、当業者は、発明の精神および範囲から逸脱することなく、上記に開示された方法および技術的内容を使用することによって、本発明の技術的解決策に可能な変更および修正を加えることができ、従って、本発明の技術的解決策の内容から逸脱することなく、本発明の技術的本質に従って、上記の実施例に対して行われた任意の単純な修正、同等の変更および修飾は、すべて本発明の技術的解決策の保護範囲に属される。

【符号の説明】

【0107】

１００、２００、３００、４００小眼アレイ
１０、２０、３０、４０小眼
２１、３１感光性ユニット
１０ａ焦点面

【図1】

【図2(a)】

【図2(b)】

【図2(c)】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】