(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】カメラモジュール
(51)【国際特許分類】
H04N 23/951 20230101AFI20231024BHJP
G02B 7/02 20210101ALI20231024BHJP
G03B 5/06 20210101ALI20231024BHJP
G03B 15/00 20210101ALI20231024BHJP
H04N 23/55 20230101ALI20231024BHJP
H04N 23/57 20230101ALI20231024BHJP
H04N 23/58 20230101ALI20231024BHJP
【FI】
H04N23/951
G02B7/02 Z
G03B5/06
G03B15/00 H
H04N23/55
H04N23/57
H04N23/58
(21)【出願番号】P 2020526989
(86)(22)【出願日】2018-11-19
(86)【国際出願番号】 KR2018014216
(87)【国際公開番号】W WO2019098793
(87)【国際公開日】2019-05-23
【審査請求日】2021-11-09
(31)【優先権主張番号】10-2017-0153850
(32)【優先日】2017-11-17
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0005893
(32)【優先日】2018-01-17
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】517099982
【氏名又は名称】エルジー イノテック カンパニー リミテッド
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】ソ ウン スン
(72)【発明者】
【氏名】イ セ キュ
(72)【発明者】
【氏名】イ チャン ヒュク
【審査官】吉川 康男
(56)【参考文献】
【文献】国際公開第2017/149092(WO,A2)
【文献】米国特許出願公開第2016/0212332(US,A1)
【文献】仏国特許出願公開第03041458(FR,A1)
【文献】特開2011-035737(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/951
G02B 7/02
G03B 5/06
G03B 15/00
H04N 23/55
H04N 23/57
H04N 23/58
(57)【特許請求の範囲】
【請求項1】
複数のイメージフレームを出力するイメージセンサーと、
前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を形成するレンズアセンブリーと、
前記レンズアセンブリーの前記光の経路又は前記レンズアセンブリーに対する前記イメージセンサーの相対的位置の少なくとも一つを調節する制御信号を生成する制御部と、
前記複数のイメージフレームを合成して合成イメージを生成するイメージ合成部と、を含み、
前記合成イメージは、前記複数のイメージフレームより高い解像度を有し、
前記複数のイメージフレームは、
前記レンズアセンブリーによって互いに異なる光の経路に変更されて生成されたそれぞれのイメージフレームであ
り、又は、
前記レンズアセンブリーに対する前記イメージセンサーの相対的位置が変更されて生成されたそれぞれのイメージフレームであ
り、
前記レンズアセンブリーは、
前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を調節する可変レンズと、
第1レンズ部及び第2レンズ部と、
前記第1レンズ部及び前記第2レンズ部を収容するレンズバレルと、
前記レンズバレルを支持するホルダーと、を含み、
前記可変レンズは、前記レンズバレルの外部、前記レンズバレルの内部において前記第1レンズ部の上部、前記第1レンズ部と前記第2レンズ部との間、及び前記レンズバレルの内部において前記第2レンズ部の下部に配置される、カメラモジュール。
【請求項2】
前記イメージセンサーは、前記複数のイメージフレームの中で一つのイメージフレームを生成した後、前記可変レンズによって前記光の経路が調節されたことを示すフィードバック信号を受信して前記複数のイメージフレームの中で他の一つのイメージフレームを生成する、請求項
1に記載のカメラモジュール。
【請求項3】
前記レンズアセンブリーの上部開口を露出させるカバーを含む、請求項
1に記載のカメラモジュール。
【請求項4】
前記レンズアセンブリーは、前記レンズバレルの下部に付着されたIRガラスを含み、
前記ホルダーは、前記IRガラスが付着される空間を含む、請求項
1~3のいずれか一項に記載のカメラモジュール。
【請求項5】
前記レンズバレルは、前記ホルダーに挿入される、請求項
1に記載のカメラモジュール。
【請求項6】
前記互いに異なる光の経路は、前記可変レンズによって変更される、請求項2~
5のいずれか一項に記載のカメラモジュール。
【請求項7】
前記可変レンズは、前記制御信号に応じて互いに異なる性質の2種の液体が成す界面が変形される液体レンズを含む、請求項2~
6のいずれか一項に記載のカメラモジュール。
【請求項8】
前記可変レンズは、
少なくとも一つのレンズと、
前記少なくとも一つのレンズを前記制御信号に応じて垂直方向又は水平方向の少なくとも一方向に移動させる又はティルティングさせるアクチュエータと、を含む、請求項2~
7のいずれか一項に記載のカメラモジュール。
【請求項9】
前記制御部の制御の下で、光軸の方向、前記光軸に平行な方向又は前記光軸に垂直な方向の少なくとも1方向に移動する又はティルティングするアクチュエータと、
前記アクチュエータ上に配置された基板と、を含み、
前記イメージセンサーは、
前記基板上に配置され、
前記アクチュエータが移動する方向と同じ方向に前記基板とともに移動可能である、請求項1~
8のいずれか一項に記載のカメラモジュール。
【請求項10】
前記イメージセンサーを取り囲む環状の平面形状を有する基板と、
前記イメージセンサーと前記基板との間に配置されるアクチュエータと、
前記イメージセンサーの外側角部と前記基板の内側角部との間に配置された弾性部材と、を含み、
前記イメージセンサーは、前記アクチュエータが移動する方向と同じ方向に移動可能であり、
前記イメージセンサーは、前記基板の内周面から所定距離離隔して配置された、請求項1~
8のいずれか一項に記載のカメラモジュール。
【請求項11】
前記イメージセンサーは、第1領域及び第2領域を含み、
前記制御部は、外部から入射して前記可変レンズを通過する光の経路を前記イメージセンサーの第1領域から前記第2領域に変更させるように前記可変レンズを調整する信号を出力する、請求項2~
8のいずれか一項に記載のカメラモジュール。
【請求項12】
前記イメージセンサーは、第3領域及び第4領域をさらに含み、
前記制御部は、
前記第2領域から前記第3領域に光の経路を変更させるように前記可変レンズを調整する信号を出力し、
前記第3領域から前記第4領域に光の経路を変更させるように前記可変レンズを調整する信号を出力する、請求項
11に記載のカメラモジュール。
【請求項13】
前記イメージ合成部は、
前記イメージセンサーから伝達された第1~第4イメージフレームを用いて第1超解像度イメージフレームを合成し、
次に前記イメージセンサーから出力される第5イメージフレーム及び前記第2~第4イメージフレームを用いて第2超解像度イメージフレームを合成する、請求項1~
12のいずれか一項に記載のカメラモジュール。
【請求項14】
前記複数のイメージフレームは、第1イメージフレーム及び第2イメージフレームを含み、
前記第2イメージフレームは、前記第1イメージフレームを基準に第1間隔で移動したイメージフレームである、請求項1~
13のいずれか一項に記載のカメラモジュール。
【請求項15】
前記制御部は、前記複数のイメージフレームのいずれか一つのイメージフレームの生成完了信号を受信した後、前記制御信号を前記可変レンズに伝送して前記光の経路を調節する、請求項2~
8、請求項
11及び請求項
12のいずれか一項に記載のカメラモジュール。
【請求項16】
前記制御信号は、
前記レンズアセンブリーの画角を第1方向に変更させる信号、
前記レンズアセンブリーの画角を第2方向に変更させる信号、
前記レンズアセンブリーの画角を第3方向に変更させる信号、及び、
前記レンズアセンブリーの画角を第4方向に変更させる信号を含む、請求項1~
15のいずれか一項に記載のカメラモジュール。
【請求項17】
前記可変レンズは、前記制御信号に応じて下部プレートの角度が変更される可変プリズムである、請求項2~
6、請求項
8、請求項
11、請求項
12及び請求項
15のいずれか一項に記載のカメラモジュール。
【請求項18】
光の経路を調節する液体レンズを含むレンズアセンブリーと、
前記レンズアセンブリーを用いて複数のイメージをセンシングするイメージセンサーと、
前記液体レンズを制御する制御部と、
前記複数のイメージを合成して合成イメージを生成する合成部と、を含み、
前記複数のイメージは、前記液体レンズによって前記光の経路が互いに異なるように変更されて生成されたイメージを含
み、
前記レンズアセンブリーは、
前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を調節する可変レンズと、
第1レンズ部及び第2レンズ部と、
前記第1レンズ部及び前記第2レンズ部を収容するレンズバレルと、
前記レンズバレルを支持するホルダーと、を含み、
前記可変レンズは、前記レンズバレルの外部、前記レンズバレルの内部において前記第1レンズ部の上部、前記第1レンズ部と前記第2レンズ部との間、及び前記レンズバレルの内部において前記第2レンズ部の下部に配置される、カメラモジュール。
【請求項19】
複数のイメージをセンシングするイメージセンサーと、
前記イメージセンサーに入射する光の経路を形成するレンズアセンブリーと、
前記光の経路と前記イメージセンサーの位置の少なくとも一つを調節する制御部と、
前記複数のイメージを合成して合成イメージを生成するイメージ合成部と、を含み、
前記複数のイメージは、前記レンズアセンブリーによって互いに異なる光の経路に生成されたイメージ又は前記イメージセンサーの異なる位置で生成されたイメージを含
み、
前記レンズアセンブリーは、
前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を調節する可変レンズと、
第1レンズ部及び第2レンズ部と、
前記第1レンズ部及び前記第2レンズ部を収容するレンズバレルと、
前記レンズバレルを支持するホルダーと、を含み、
前記可変レンズは、前記レンズバレルの外部、前記レンズバレルの内部において前記第1レンズ部の上部、前記第1レンズ部と前記第2レンズ部との間、及び前記レンズバレルの内部において前記第2レンズ部の下部に配置される、カメラモジュール。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカメラモジュールに関するものである。より具体的に、本発明は超解像度(super resolution)イメージを生成することができるカメラモジュール及び光学機器に関するものである。
【背景技術】
【0002】
携帯用装置の使用者は、高解像度を有しながらも大きさが小さくて多様な撮影機能(光学ズーム機能(zoom-in/zoom-out)、オートフォーカシング(Auto-Focusing、AF)機能、手ぶれ補正又はオプティカルイメージスタビライゼーション(Optical Image Stabilizer、OIS)機能など)を有する光学機器を望んでいる。このような撮影機能は複数のレンズを組み合わせて直接レンズを動かす方法によって具現化することができるが、レンズの数を増加させる場合、光学機器の大きさが大きくなることがある。
【0003】
オートフォーカスと手ぶれ補正の機能は、レンズホルダーに固定されて光軸が整列された複数のレンズモジュールが、光軸方向又は光軸の直角方向に移動するかチルティング(Tilting)することによってなされ、レンズモジュールを駆動させるために別途のレンズ駆動装置を使う。しかし、レンズ駆動装置は電力消費が高く、これを保護するために、カメラモジュールとは別にカバーガラスを付け加えなければならないから、全体の厚さが厚くなる。
【0004】
また、高品質イメージに対する需要者の要求が高くなるにつれて、高解像度イメージを撮影することができるイメージセンサーが要求されている。しかし、このために、イメージセンサーに含まれるピクセルの数が増加するしかない。これはイメージセンサーのサイズを増加させることになり、消費電力を浪費する結果をもたらすことができる。
【0005】
すなわち、既存のカメラモジュールは複数のアレイのデータをそのまま使うので、イメージセンサーの物理的分解能に対応する解像度を有する限界がある。また、超解像度のイメージを生成するためには、多数のカメラを使わなければならない制約に従う。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明はピクセル数を増加させずに超解像度イメージを生成することができるカメラモジュールを提供するためのものである。
【0007】
本発明で達成しようとする技術的課題は以上で言及した技術的課題に制限されず、言及しなかった他の技術的課題は下記の記載から実施例が属する技術分野で通常の知識を有する者に明らかに理解可能であろう。
【課題を解決するための手段】
【0008】
一実施例によるカメラモジュールは、複数のイメージフレームを出力するイメージセンサーと、前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を調節する可変レンズを含むレンズアセンブリーと、前記可変レンズを制御するための制御信号を生成する制御部と、前記複数のイメージフレームを合成して合成イメージを生成するイメージ合成部とを含み、前記合成イメージは前記複数のイメージフレームより高い解像度を有し、前記複数のイメージフレームは前記可変レンズによって互いに異なる光の経路に変更されて生成されたそれぞれのイメージフレームであるか、又は前記レンズアセンブリーに対する前記イメージセンサーの相対位置が変更されて生成されたそれぞれのイメージフレームであってもよい。
【0009】
他の実施例によるカメラモジュールは、複数のイメージフレームを出力するイメージセンサーと、前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を調節する可変レンズを含むレンズアセンブリーと、前記可変レンズを制御するための制御信号を生成する制御部と、前記複数のイメージフレームを合成して合成イメージを生成するイメージ合成部とを含み、前記合成イメージは前記複数のイメージフレームより高い解像度を有し、前記複数のイメージフレームは前記可変レンズによって互いに異なる光の経路に変更されて生成されたそれぞれのイメージフレームであってもよい。
【0010】
例えば、前記複数のイメージフレームは、第1イメージフレーム及び第2イメージフレームを含み、前記第2イメージフレームは前記第1イメージフレームを基準に第1間隔だけ移動したイメージフレームであってもよい。
【0011】
例えば、前記イメージセンサーは、前記複数のイメージフレームの中で一つのイメージフレームを生成した後、前記可変レンズによって前記光の経路が調節されたことを示すフィードバック信号を受信し、前記複数のイメージフレームの中で他の一つのイメージフレームを生成することができる。
【0012】
例えば、前記制御部は、前記複数のイメージフレームの中で一つのイメージフレームの生成完了信号を受信した後、前記制御信号を前記可変レンズに伝送して前記光の経路を調節することができる。
【0013】
例えば、前記イメージセンサーは、第1領域及び第2領域を含み、前記制御部は、外部から入射して前記可変レンズを通過する光の経路を前記イメージセンサーの前記第1領域から前記第2領域に変更させるように前記可変レンズを調整する信号を出力することができる。
【0014】
例えば、前記可変レンズは、前記制御信号に応じて互いに異なる性質の2種の液体が成す界面が変形される液体レンズを含むことができる。
【0015】
例えば、前記可変レンズは、前記制御信号に応じて下部プレートの角度が変更される可変プリズムであってもよい。
【0016】
例えば、前記可変レンズは、少なくとも一つのレンズと、前記少なくとも一つのレンズを前記制御信号に応じて垂直方向又は水平方向の少なくとも一方向に移動させるかティルティングさせるアクチュエータとを含むことができる。
【0017】
例えば、前記イメージセンサーは、第1領域及び第2領域を含み、前記制御部は、外部から入射して前記可変レンズを通過する光の経路を前記イメージセンサーの第1領域から前記第2領域に変更させるように前記可変レンズを調整する信号を出力することができる。
【0018】
例えば、前記イメージセンサーは、第3領域及び第4領域をさらに含み、前記制御部は、前記第2領域から前記第3領域に光の経路を変更させるように前記可変レンズを調整する信号を出力し、前記第3領域から前記第4領域に光の経路を変更させるように前記可変レンズを調整する信号を出力することができる。
【0019】
例えば、前記制御信号は、前記レンズアセンブリーの画角(FOV)を第1方向に変更させる信号、前記レンズアセンブリーの画角を第2方向に変更させる信号、前記レンズアセンブリーの画角を第3方向に変更させる信号、及び前記レンズアセンブリーの画角を第4方向に変更させる信号を含むことができる。
【0020】
さらに他の実施例によるカメラモジュールは、複数のイメージフレームを出力するイメージセンサーを含むイメージセンシング部と、前記イメージセンサー上に配置され、外部から前記イメージセンサーに入射する光の経路を形成するレンズアセンブリーと、前記レンズアセンブリーに対する前記イメージセンサーの相対位置を調節する制御信号を生成する制御部と、前記複数のイメージフレームを合成して合成イメージを生成するイメージ合成部とを含み、前記合成イメージは前記複数のイメージフレームより高い解像度を有し、前記複数のイメージフレームは、前記レンズアセンブリーに対する前記イメージセンサーの相対位置が変更されて生成されたそれぞれのイメージフレームであってもよい。
【0021】
例えば、前記複数のイメージフレームは、第1イメージフレーム及び第2イメージフレームを含み、前記第2イメージフレームは、前記第1イメージフレームを基準に第1間隔だけ移動したイメージフレームであってもよい。
【0022】
例えば、前記イメージセンシング部は、前記イメージセンサーを前記制御信号に応じて光軸方向又は光軸方向に垂直な方向の少なくとも一方向に移動させるかティルティングさせるアクチュエータをさらに含むことができる。
【0023】
例えば、前記イメージセンサーは、第1領域及び第2領域を含み、前記制御部は、外部から入射して前記レンズアセンブリーを通過する光を受光する領域が前記イメージセンサーの第1領域から前記第2領域に変更されるように前記アクチュエータを調整する信号を出力することができる。
【0024】
例えば、前記イメージセンサーは、第3領域及び第4領域をさらに含み、前記制御部は、外部から入射して前記レンズアセンブリーを通過する光を受光する領域が前記第2領域から前記第3領域に変更されるように前記アクチュエータを調整する信号を出力し、外部から入射して前記レンズアセンブリーを通過する光を受光する領域が前記第3領域から前記第4領域に変更されるように前記アクチュエータを調整する信号を出力することができる。
【0025】
例えば、前記イメージ合成部は、前記イメージセンサーから伝達された第1~第4イメージフレームを用いて第1超解像度イメージフレームを合成し、次に前記イメージセンサーから出力される第5イメージフレーム及び前記第2~第4イメージフレームを用いて第2超解像度イメージフレームを合成することができる。
【0026】
さらに他の実施例によるカメラモジュールは、光の経路を調節する液体レンズを含むレンズアセンブリーと、前記レンズアセンブリーを用いて複数のイメージをセンシングするイメージセンサーと、前記液体レンズを制御する制御部と、前記複数のイメージを合成して合成イメージを生成する合成部とを含み、前記複数のイメージは、前記液体レンズによって前記光の経路が互いに異なるように変更されて生成されたイメージを含むことができる。
【0027】
さらに他の実施例によるカメラモジュールは、複数のイメージをセンシングするイメージセンサーと、前記イメージセンサーに入射する光の経路を形成するレンズアセンブリーと、前記光の経路と前記イメージセンサーの位置の少なくとも一つを調節する制御部と、前記複数のイメージを合成して合成イメージを生成するイメージ合成部とを含み、前記複数のイメージは、前記レンズアセンブリーによって互いに異なる光の経路に生成されたイメージ又は前記イメージセンサーの異なる位置で生成されたイメージを含むことができる。
【0028】
さらに他の実施例による光学機器は、前記カメラモジュールと、映像を出力するディスプレイ部と、前記カメラモジュールに電源を供給するバッテリーと、前記カメラモジュール、前記ディスプレイ部及び前記バッテリーを実装するハウジングとを含むことができる。
【0029】
さらに他の実施例によるイメージ生成方法は、第1イメージフレームを出力する段階と、前記第1イメージフレームから第1方向に第1距離だけ移動した第2イメージフレームを生成する段階と、前記第2イメージフレームから第2方向に前記第1距離だけ移動した第3イメージフレームを生成する段階と、前記第3イメージフレームから第3方向に前記第1距離だけ移動した第4イメージフレームを生成する段階と、前記第1イメージフレーム~第4イメージフレームを合成して合成イメージを生成する段階とを含み、前記合成イメージは前記複数のイメージフレームより高い解像度を有することができる。
【0030】
前記本発明の様態は本発明の好適な実施例による一部に過ぎず、本発明の技術的特徴が反映された多様な実施例が当該技術分野の通常的な知識を有する者によって以下で詳述する本発明の詳細な説明から導出されて理解可能である。
【発明の効果】
【0031】
本発明による装置の効果について説明すれば次のようである。
【0032】
本発明の一実施例によるカメラモジュールによれば、超解像度イメージを得るために要求される高い演算量が必要であるが、ピクセル数を増加させないながらも多数のカメラを使わずに、光の経路を変更させる可変レンズ又はレンズアセンブリーに対する相対位置が変わるイメージセンサーを用いてハードウェア的に解決することができる。すなわち、ピクセル距離(PD)の半分(0.5PD)だけシフトした多数のアレイデータを用いるので、イメージセンサーの物理的分解能より高い超解像度を有するイメージを得ることができる。
【0033】
また、順次入力される現在フレームに対して連続的に合成フレームを生成することにより、フレームレートの低下を防止することができる。
【0034】
本発明で得られる効果は以上で言及した効果に制限されず、言及しなかった他の効果は以下の記載から本発明が属する分野で通常の知識を有する者に明らかに理解可能であろう。
【図面の簡単な説明】
【0035】
【
図1】一実施例によるカメラモジュールを示すブロック図である。
【
図2a】
図1に示すカメラモジュールの実施例を示す図である。
【
図2b】
図1に示すカメラモジュールの実施例を示す図である。
【
図3】可変レンズのFOVの角度を変更させる動作の一実施例を説明するための図である。
【
図4】
図2aに示すカメラモジュールに含まれた可変レンズの一実施例を示す図である。
【
図5】
図2aに示すカメラモジュールに含まれた可変レンズの他の実施例を示す図である。
【
図6】
図5に示す実施例による可変レンズをより詳細に説明するための図である。
【
図8】他の実施例によるカメラモジュールを示すブロック図である。
【
図9】
図8に示すイメージセンシング部の一実施例による断面図である。
【
図10】
図8に示すイメージセンシング部の他の実施例による平面図である。
【
図11】
図8に示すイメージセンシング部のさらに他の実施例の平面図である。
【
図12a】
図8に示すイメージセンシング部のさらに他の実施例の斜視図である。
【
図12b】
図8に示すイメージセンシング部のさらに他の実施例の斜視図である。
【
図13】一実施例によるカメラモジュールの動作方法を説明するための図である。
【
図14】
図13で説明するカメラモジュールの動作方法をより詳細に説明するための図である。
【
図15】一実施例によるカメラモジュールの動作方法のタイミング図である。
【
図16】一実施例によるカメラモジュールのフレーム合成方法の一例を示す図である。
【発明を実施するための形態】
【0036】
以下、添付図面に基づいて実施例を詳細に説明する。実施例は多様な変更を加えることができ、さまざまな形態を有することができるが、特定の実施例を図面に例示し本文に詳細に説明しようとする。しかし、これは実施例を特定の開示形態に限定しようとするものではなく、実施例の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものに理解されなければならない。
【0037】
“第1”、“第2”などの用語は多様な構成要素を説明するのに使えるが、前記構成要素は前記用語によって限定されてはいけない。前記用語は一構成要素を他の構成要素から区別する目的のみで使われる。また、実施例の構成及び作用を考慮して特別に定義された用語は実施例を説明するためのものであり、実施例の範囲を限定するものではない。
【0038】
実施例の説明において、各要素(element)の“上又は下(on or under)”に形成されるものとして記載される場合、上又は下(on or under)は二つの要素(element)が互いに直接(directly)接触するかあるいは一つ以上の他の要素(element)が前記二つの要素(element)の間に配置されて(indirectly)形成されるものを全て含む。また“上又は下(on or under)”と表現される場合、1個の要素(element)を基準に上方だけでなく下方の意味も含むことができる。
【0039】
また、以下に使われる“上/上部/上の”及び“下/下部/下の”などの関係的な用語は、そのような実体又は要素間のある物理的又は論理的関係又は手順を必ず要求するか内包せず、ある1個の実体又は要素を他の実体又は要素と区別するために用いることもできる。
【0040】
実施例によるカメラモジュール10、20を直交座標系を用いて説明するが、他の座標系を用いて説明することもできる。直交座標系によれば、x軸、y軸、z軸は互いに直交するが、実施例はこれに限られない。すなわち、x軸、y軸、z軸は互いに交差してもよい。
【0041】
以下、一実施例によるカメラモジュール10を添付図面に基づいて説明する。
【0042】
図1は一実施例によるカメラモジュール10を示すブロック図である。
【0043】
図1を参照すると、カメラモジュール10は、レンズアセンブリー100A、イメージセンサー200A、イメージ合成部300及び制御部400Aを含むことができる。
【0044】
レンズアセンブリー100Aは、カメラモジュール10の外部から入射する光を通過させ、イメージセンサー200Aに光信号を伝達することができる。レンズアセンブリー100Aは、可変レンズ110を含むことができる。実施例によって、レンズアセンブリー100Aは可変レンズ110の他に少なくとも一つのレンズをさらに含むことができる。レンズアセンブリー100Aに含まれたレンズは単一光学系を形成し、イメージセンサー200Aの光軸を中心に整列されることができる。
【0045】
可変レンズ110は、制御部400Aの制御によってレンズアセンブリー100Aの光の経路を変更させることができる。可変レンズ110はイメージセンサー200Aに入射する光の経路を変更させることができ、例えば光信号の焦点距離とFOV(Field of View)の角度又はFOVの方向などを変更させることができる。
【0046】
一実施例によれば、可変レンズ110は液体レンズ(liquid lens)又は可変プリズムからなることができる。もしくは、可変レンズ110は液体レンズを含まず、少なくとも一つの固体レンズのみ含むことができる。この場合、可変プリズムのような光学素子の素材は流動性がなくて屈折率が1以上かつ3以下であり得る。また、可変レンズ110の内側の物質が2種以上の素材から具現化されることができ、各素材の境界面が変更されて光学電力を変更させることができる。
【0047】
他の実施例によれば、可変レンズ110は、少なくとも一つのレンズ及び少なくとも一つのレンズと結合されたアクチュエータからなることができる。ここで、少なくとも一つのレンズは液体レンズであっても、固体レンズであってもよく、液体レンズと固体レンズの両者を含むこともできる。アクチュエータは、制御部400Aの制御によって少なくとも一つのレンズの物理的変位を制御することができる。すなわち、アクチュエータは少なくとも一つのレンズとイメージセンサー200Aとの間の距離を調節するか、少なくとも一つのレンズとイメージセンサー200Aとの間の角度を調節することができる。もしくは、アクチュエータは少なくとも一つのレンズをイメージセンサー200Aのピクセルアレイが成す平面のx軸及びy軸方向に移動(shift)させることができる。また、アクチュエータはイメージセンサー200Aのピクセルアレイに入射する光の経路を変更させることができる。例えば、可変レンズ110に含まれる少なくとも一つのレンズに液体レンズが含まれない場合、すなわち、可変レンズ110に含まれる少なくとも一つのレンズがいずれも固体レンズの場合、アクチュエータは少なくとも一つのレンズを制御部400Aから出力される制御信号(すなわち、
図1に示す第1信号)に応じて垂直方向又は水平方向の少なくとも一方向に移動させるかティルティングさせることができる。
【0048】
イメージセンサー200Aは、レンズアセンブリー100Aを通過した光信号を受信し、光信号に対応する電気信号に変換するピクセルアレイ、ピクセルアレイに含まれた複数のピクセルを駆動する駆動回路、及び各ピクセルのアナログピクセル信号をリード(read)するリードアウト回路を含むことができる。リードアウト回路は、アナログピクセル信号を基準信号と比較し、アナログ-デジタル変換によってデジタルピクセル信号(又は映像信号)を生成することができる。ここで、ピクセルアレイに含まれた各ピクセルのデジタルピクセル信号は映像信号を構成し、映像信号はフレーム単位で伝送されるので、イメージフレームに定義されることができる。すなわち、イメージセンサーは複数のイメージフレームを出力することができる。
【0049】
イメージ合成部300は、イメージセンサー200Aから映像信号を受信し、映像信号を処理(例えば、補間、フレーム合成など)するイメージプロセッサであり得る。特に、イメージ合成部300は、複数のフレームの映像信号(低解像度)を用いて単一フレームの映像信号(高解像度)に合成することができる。複数のイメージフレームは可変レンズ110によって互いに異なる光の経路に変更されて生成されたそれぞれのイメージフレームであり得る。イメージ合成部300は後処理器と呼ぶことができる。複数のイメージフレームは、第1イメージフレーム及び第2イメージフレームを含むことができ、第2イメージフレームは、第1イメージフレームを基準に第1間隔だけ移動したイメージフレームであり得る。
【0050】
制御部400Aは、可変レンズ110とイメージセンサー200Aを制御し、可変レンズ110の制御状態と同期化してイメージセンサー200Aが映像信号を生成するようにする。このために、制御部400Aは、可変レンズ110と第1信号を送受信し、イメージセンサー200Aと第2信号を送受信することができる。
【0051】
第1信号は制御部400Aによって生成され、可変レンズ110の光の経路制御のためのレンズ制御信号を含むか、可変レンズ110の焦点距離又はFOVの角度の制御のためのレンズ制御信号を含むことができる。特に、レンズ制御信号は可変レンズ110を透過する光の経路を決定することができる。また、レンズ制御信号は可変レンズ110のFOVの角度の変更方向と変更角度を決定することができる。実施例によって、第1信号は可変レンズ110によって生成され、レンズ制御信号に応じて可変レンズ110の制御が完了したことを示す応答信号を含むことができる。制御部400Aは可変レンズドライバーと呼ぶことができる。
【0052】
第2信号はイメージセンサー200Aによって生成され、レンズ制御信号を可変レンズ110に伝送することを指示する同期信号を含むことができる。実施例によって、第2信号はイメージセンサー200Aによって生成され、可変レンズ110の光の経路制御のための制御信号の基礎となる制御情報を含むことができる。実施例によって、第2信号は制御部400Aによって生成され、レンズ制御信号に応じて可変レンズ110の制御が完了したことを示す応答信号を受信したことを示すフィードバック信号を含むことができる。
【0053】
また、第2信号はイメージセンサー200Aを駆動させる駆動信号を含むことができる。
【0054】
ここで、第1信号と第2信号に含まれる信号は例示的なものであり、必要によって省略されるか他の信号が付加されることができる。
【0055】
図2aは
図1に示すカメラモジュール10の一実施例10Aを示す図である。
【0056】
図2aを参照すると、カメラモジュール10Aは、レンズアセンブリー、イメージセンサー200A及び基板250を含むことができる。ここで、レンズアセンブリーは、ホルダー130A、レンズバレル140A、第1レンズ部150A、第2レンズ部160A及びIR(赤外線)を透過させるか遮断させるIRガラス170を含むことができ、これらの少なくとも一構成は省略されるか互いに上下の配置の関係が変更されることもできる。また、レンズアセンブリーは、制御部400Aの制御によって光の経路を変更させることができる可変レンズ110をさらに含むことができる。
【0057】
ホルダー130Aはレンズバレル140Aと結合してレンズバレル140Aを支持し、イメージセンサー200Aが付着された基板250に結合することができる。また、ホルダー130Aは、レンズバレル140Aの下部にIRガラス170が付着されることができる空間を備えることができる。ホルダー130Aは螺旋形構造を有し、同様に螺旋形構造を有するレンズバレル140Aと回転可能に結合することができる。しかし、これは例示的なものであり、ホルダー130Aとレンズバレル140Aは接着剤(例えば、エポキシ(epoxy)などの接着用樹脂)を介して結合するか、ホルダー130Aとレンズバレル140Aが一体型に形成されることもできる。
【0058】
レンズバレル140Aはホルダー130Aと結合し、内部に第1レンズ部150A、第2レンズ部160A及び可変レンズ110を収容することができる空間を備えることができる。レンズバレル140Aは第1レンズ部150A、第2レンズ部160A及び可変レンズ110と回転可能に結合することができるが、これは例示的なものであり、接着剤を用いる方式などの他の方式で結合することができる。
【0059】
第1レンズ部150Aは第2レンズ部
160Aの前方に配置されることができる。第1レンズ部150Aは少なくとも一つのレンズからなることができ、又は2個以上の複数のレンズが中心軸を基準に整列されて光学系を形成することもできる。ここで、中心軸はカメラモジュール10:10Aの光学系の光軸(Optical axis)と同一であり得る。第1レンズ部150Aは、
図2aに示すように、1個のレンズからなることができるが、必ずしもこれに限定されない。
【0060】
第2レンズ部160Aは第1レンズ部150Aの後方に配置されることができる。カメラモジュール10、10Aの外部から第1レンズ部150Aに入射する光は第1レンズ部150Aを通過して第2レンズ部160Aに入射することができる。第2レンズ部160Aは少なくとも一つのレンズからなることができ、又は2個以上の複数のレンズが中心軸を基準に整列されて光学系を形成することもできる。ここで、中心軸はカメラモジュール10、10Aの光学系の光軸と同一であり得る。第2レンズ部160Aは、
図2aに示すように、1個のレンズからなることができるが、必ずしもこれに限定されない。
【0061】
第1レンズ部150A及び第2レンズ部160Aを、液体レンズと区別するために、‘第1固体レンズ部’及び‘第2固体レンズ部’とそれぞれ呼ぶこともできる。
【0062】
前述したように、レンズアセンブリーは可変レンズ110をさらに含むことができ、可変レンズ110の位置は第1位置P1~第4位置P4のいずれか一つであり得る。しかし、これは例示的なものであり、第1レンズ部150A、第2レンズ部160A、IRガラス170の有無及び相対的な位置によって可変レンズ110は他の所に位置することもできる。ただし、可変レンズ110はレンズアセンブリーに入射する光が通過する領域である光の経路上に位置して焦点距離又はFOVの角度を変更させることができる。
【0063】
第1位置P1はレンズバレル140Aの外部に相当する位置であり、第2位置P2はレンズバレル140Aの内部において第1レンズ部150Aの上部に相当する位置である。第3位置P3はレンズバレル140Aの内部において第1レンズ部150Aと第2レンズ部160Aとの間に相当する位置であり、第4位置P4はレンズバレル140Aの内部において第2レンズ部160Aの下部に相当する位置である。
【0064】
IRガラス170は第2レンズ部160Aを通過した光に対して特定の波長の範囲の光をフィルタリングすることができる。IRガラス170はホルダー130Aの内部の溝に装着及び固定されることができる。
【0065】
イメージセンサー200Aは基板250に装着されることができ、レンズアセンブリーを通過した光を映像信号に変換する機能を果たすことができる。
【0066】
基板250はホルダー130Aの下部に配置され、イメージ合成部300及び制御部400Aとともに各構成間の電気信号を伝達するための配線を含むことができる。また、基板250にはカメラモジュール10の外部の電源又はその他の装置(例えば、アプリケーションプロセッサ(application processor))と電気的に連結するためのコネクター(図示せず)が連結されることができる。
【0067】
基板250はRFPCB(Rigid Flexible Printed Circuit Board)からなり、カメラモジュール10、10Aが装着される空間が要求することによってベンディング(bending)されることができるが、実施例はこれに限定されない。
【0068】
図2bは
図1に示すカメラモジュール10の他の実施例10Bを示す図である。
【0069】
図2bに示すカメラモジュール10Bの構成要素の中で、
図2aに示すカメラモジュール10Aの構成要素と同じ部分に対しては同じ参照符号を使い、重複説明を省略し、違う部分についてのみ次のように説明する。よって、
図2aに示すカメラモジュール10Aの説明は
図2bの各構成要素に対しても適用することができる。
【0070】
カメラモジュール10Bは、レンズアセンブリー、イメージセンサー200A及び基板250を含むことができ、これらの少なくとも一構成は省略されるか、互いに上下の配置の関係が変更されることもできる。
図2bに示すイメージセンサー200A及び基板250は
図2bに示すイメージセンサー200A及び基板250にそれぞれ相当するので、これについての説明を省略する。また、カメラモジュール10Bは、カバー186をさらに含むことができる。カバー186は、レンズアセンブリーの上部開口を露出させながらカメラモジュール10Bの構成要素を包囲して取り囲むように配置されてカメラモジュール10Bの各構成要素を保護することができる。
【0071】
レンズアセンブリーは、可変レンズ110、ホルダー130B、レンズバレル140B、第1レンズ部150B、第2レンズ部160B及びIRガラス170を含むことができる。これらの少なくとも一構成は省略されるか互いに上下の配置の関係が変更されることもできる。
【0072】
図2bに示す可変レンズ110、ホルダー130B、レンズバレル140B、第1レンズ部150B、第2レンズ部160B及びIRガラス170は
図2aに示す可変レンズ110、ホルダー130A、レンズバレル140A、第1レンズ部150A、第2レンズ部160A及びIRガラス170とそれぞれ同じ機能を果たす。しかし、IRガラス170を除き、
図2bに示す可変レンズ110、ホルダー130B、レンズバレル140B、第1レンズ部150B及び第2レンズ部160Bは
図2aに示す可変レンズ110、ホルダー130A、レンズバレル140A、第1レンズ部150A及び第2レンズ部160Aと次のように他の構成を有することができる。
【0073】
図2aに示すレンズバレル140Aはホルダー130Aに挿入される構造を有する反面、
図2bに示すレンズバレル140Bはホルダー130Bの上部から離隔して配置されることができる。
【0074】
ホルダー130Bは連結部192~198とアクチュエータ182、184を介してレンズバレル140Bと結合してレンズバレル140Bを支持することができる。また、
図2aに示すホルダー130Aのように、
図2bに示すホルダー130Bは、レンズバレル140Bの下部にIRガラス170が付着することができる空間を備えることができる。
【0075】
レンズバレル140Bは内部に、第1レンズ部150B、第2レンズ部160B及び可変レンズ110に含まれることができるレンズを収容することができる空間を備えることができる。レンズバレル140Bは、第1レンズ部150B、第2レンズ部160B及び可変レンズ110のレンズと回転可能に結合することができるが、これは例示的なものであり、接着剤を用いた方式などの他の方式で結合することができる。
【0076】
また、
図2aに示す第1レンズ部150Aは単一レンズのみ有する反面、
図2bに示す第1レンズ部150Bは2個のレンズを有する。これと同様に、
図2aに示す第2レンズ部160Aは単一レンズのみ有する反面、
図2bに示す第2レンズ部160Bは2個のレンズを有する。しかし、実施例はこれに限られず、第1及び第2レンズ部150B、160Bのそれぞれに含まれるレンズの個数は、
図2aに示すように、一つであってもよく、3個以上であってもよい。
【0077】
図2bに示す可変レンズ110は、アクチュエータ182、184、接着部188及び連結部192、194、196、198を含むことができる。また、可変レンズ110は少なくとも一つのレンズを含むことができ、少なくとも一つのレンズは液体レンズのみ含むか、固体レンズのみ含むか、液体レンズと固体レンズの両者を含むことができる。
【0078】
図2bで、可変レンズ110に含まれるアクチュエータ182、184の個数が2個であるものとして例示されているが、他の実施例によれば、アクチュエータ182、184の個数は1個であってもよい。すなわち、
図2bに示すアクチュエータ182、184は一体に具現化されることもできる。また、アクチュエータ182、184の個数は3個以上であってもよい。このように、実施例はアクチュエータ182、184の特定の個数に限られない。
【0079】
アクチュエータ182、184は、レンズアセンブリーに含まれた少なくとも一つのレンズを制御部400Aから出力される制御信号、すなわち、第1信号に応答して垂直方向又は水平方向の少なくとも一方向に移動させるかティルティングさせることができる。このために、アクチュエータ182、184はレンズバレル140Bの外側壁の周りに配置されることができる。
【0080】
アクチュエータ182、184は、制御部400Aの制御によってレンズ150B、160Bの物理的変位を制御することができる。すなわち、アクチュエータ182、184は少なくとも一つのレンズ150B、160Bとイメージセンサー200Aとの間の距離を調節するか、少なくとも一つのレンズ150B、160Bとイメージセンサー200Aとの間の角度を調節することができる。もしくは、アクチュエータ182、184は少なくとも一つのレンズをイメージセンサー200Aのピクセルアレイが成す平面のx軸及びy軸方向に移動(shift)させることができる。また、アクチュエータ182、184はイメージセンサー200Aのピクセルアレイに入射する光の経路を変更させることができる。例えば、可変レンズ110に含まれる少なくとも一つのレンズに液体レンズが含まれない場合、すなわち、可変レンズ110に含まれる少なくとも一つのレンズがいずれも固体レンズの場合、アクチュエータ182、184は、第1及び第2レンズ部150B、160Bと可変レンズ110に含まれることができる少なくとも一つのレンズを制御部400Aから出力される制御信号(すなわち、
図1に示す第1信号)に応じて垂直方向又は水平方向の少なくとも一方向に移動させることができる。
【0081】
前述したように、アクチュエータ182、184がレンズアセンブリーに含まれた少なくとも一つのレンズを垂直方向にも移動させることができ、水平方向にも移動させることができ、ティルティングさせることができるなら、アクチュエータ182、184によって光の経路が変更されることができる。アクチュエータ182、184はレンズを精密に移動させることができ、制御部400Aから電圧又は電流の形態として出力される駆動信号に応答して駆動することができる。ここで、駆動信号は第1信号に含まれることができる。
【0082】
例えば、レンズバレル140Bはアクチュエータ182、184によって1mm以下の距離だけ移動することができ、光軸又は光軸の垂直方向に移動するかティルティングすることができ、ティルティング角度は1°以下であり得る。
【0083】
また、前述した動作を具現化するために、アクチュエータ182、184は、圧電素子(piezoelectric element)、ボイスコイルモーター(VCM:Voice Coil Motor)、又は微小電気機械システム(MEMS:microelectromechanical systems)であり得るが、実施例はアクチュエータ182、184の特定の形態に限られない。
【0084】
アクチュエータ182、184がレンズアセンブリーに含まれた少なくとも一つのレンズを水平方向に移動させるために、アクチュエータ182、184はレンズバレル140Bの側部に配置され、レンズバレル140B全体を水平方向(例えば、x軸方向又はy軸方向の少なくとも一方向)に移動させることができる。このために、アクチュエータ182、184とレンズバレル140Bとの間に連結部192、196が介在されて配置されることができる。連結部192、196はアクチュエータ182、184とレンズバレル140Bを連結する役割を果たす。場合によって、アクチュエータ182、184がレンズバレル140Bに直接連結される場合、連結部192、196は省略されることができる。
【0085】
また、アクチュエータ182、184がレンズアセンブリーに含まれた少なくとも一つのレンズを垂直方向に移動させるために、アクチュエータ182、184はホルダー130Bの上部に配置されてレンズバレル140B全体を垂直方向(例えば、z軸方向)に移動させることができる。このために、アクチュエータ182、184とホルダー130Bとの間に連結部194、198が介在されて配置されることができる。連結部194、198はアクチュエータ182、184とホルダー130Bを連結する役割を果たす。場合によって、アクチュエータ182、184がホルダー130Bに直接連結される場合、連結部194、198は省略されることができる。
【0086】
アクチュエータはVCM(Voice Coil Motor)の形態に具現化されることもできる。この場合、レンズバレルの周辺に配置されるコイルを含み、バレル及びコイルから離隔してハウジング又はヨークに配置されるマグネットと相互作用してレンズバレルの位置を調節することができる。この場合、弾性部材などの一端がバレルを支持し、他端がハウジング又はヨークと結合して配置されることができる。
【0087】
また、可変レンズ110は接着部188をさらに含むことができる。接着部188はカバー186とアクチュエータ182、184を結合させる役割を果たす。カバー186は固定される反面、アクチュエータ182、184は水平方向又は垂直方向の少なくとも一方向に移動するかティルティングすることができる。このために、接着部188はアクチュエータ182、184が動けるようにする物質からなることもでき、場合によって接着部188は省略されることもできる。仮に、接着部188が省略される場合、カバー186とアクチュエータ182、184は互いに離隔して配置されることができる。
【0088】
図3は可変レンズによる光の経路の変更を示すもので、可変レンズのFOVの角度を変更させる動作の一実施例を説明するための図である。
【0089】
図3を参照すると、レンズアセンブリー100Aは特定のFOV(Field of View)を有することができる。FOVはイメージセンサー200Aがレンズアセンブリー100Aを介してキャプチャーすることができる入射光の範囲を意味し、FOVの角度に定義されることができる。通常的なレンズアセンブリーのFOVの角度は60度~14
0度の範囲を有することができる。レンズアセンブリー100Aを上から(すなわち、光軸に垂直な方向に)見るときのx軸とy軸を仮定すれば、FOVの角度は第1FOV角度(Fx)及び第2FOV角度(Fy)を含むことができる。第1FOV角度(Fx)はx軸に沿って決定されるFOVの角度を意味し、第2FOV角度(Fy)はy軸に沿って決定されるFOVの角度を意味する。
【0090】
イメージセンサー200Aのピクセルアレイに含まれた複数のピクセルはN×M(ここで、N、Mはそれぞれ1以上の整数)のマトリックス状に配列されることができる。すなわち、N個のピクセルがx軸に沿って配置され、M個のピクセルがy軸に沿って配置されることができる。第1FOV角度(Fx)及び第2FOV角度(Fy)にあたるFOVを通して入射する光信号はN×Mのピクセルアレイに入射する。
【0091】
レンズアセンブリー100Aを通過する光の経路又はレンズアセンブリー100AのFOVは第1信号に含まれたレンズ制御信号に応じて変更されることができる。レンズ制御信号は第1FOV角度(Fx)及び第2FOV角度(Fy)をそれぞれ変更させることができ、レンズ制御信号による第1FOV角度(Fx)及び第2FOV角度(Fy)の変化は第1角度変化量(θx)及び第2角度変化量(θy)によって決定される。
【0092】
第1角度変化量(θx)及び第2角度変化量(θy)はそれぞれ次の数式1及び数式2によって定義されることができる。
【0093】
【0094】
【0095】
ここで、aは0.1より大きくて0.5よりは小さく、bは1より大きくて2よりは小さい値を有することができるが、実施例の範囲はこれに限定されない。
【0096】
ここで、θxとθyはイメージセンサー200Aが生成するイメージの変化角度であり、実際の可変レンズ110の変化角度はこれより大きいか小さいことができる。可変レンズ110が透過型の場合、θxとθyのそれぞれは2より小さい値を有するのが一般的であり、可変レンズ110が反射型の場合、θxとθyのそれぞれは1より大きいことが一般的であるが、レンズアセンブリー100Aの光学系の構成によってその値は非常に異なることができる。
【0097】
図4は
図2aに示すカメラモジュール10Aに含まれた可変レンズの一実施例を示す図である。
【0098】
図4を参照すると、可変レンズ40は
図1に示す可変レンズ110の一実施例であり、可変レンズ40は、上下に配置されたプレートの間に流動体41を含む構造を有することができる。流動体41は屈折率1~2の流動性素材からなり、流動体41に駆動電圧を印加すれば、流動体41が特定方向に集中して、下部プレートのイメージセンサーに対する角度が変更されることができる。また、流動体41に印加される駆動電圧が増加するほど(又は駆動電圧の偏差が増加するほど)イメージセンサー200Aに対する下部プレートの角度が増加することができる。このような特性を用いて、レンズ制御信号に応じて第1FOV角度(Fx)及び第2FOV角度(Fy)の変化が発生するように可変レンズ40に印加される駆動電圧が予め決定されることができる。
【0099】
可変レンズ40は可変プリズムであり得るが、本発明の範囲はこれに限定されない。
【0100】
図5は
図2aに示すカメラモジュール10Aに含まれた可変レンズ110の他の実施例50を示す図である。
【0101】
図5を参照すると、可変レンズ50は
図1に示す可変レンズ110の他の実施例であり、可変レンズ50は上下に配置されたプレートの間に性質の異なる2種の液体51を含む構造を有することができる。2種の液体51は屈折率1~2の流動性素材からなり、2種の液体51に駆動電圧を印加すれば、2種の液体51が成す界面が変形されて界面のFOVの角度が変更されることができる。また、2種の液体51に印加される駆動電圧が増加するほど(又は駆動電圧の偏差が増加するほど)界面のFOVの角度変化が増加することができる。このような特性を用いて、レンズ制御信号に応じて第1FOV角度(Fx)及び第2FOV角度(Fy)の変化が発生するように可変レンズ50に印加される駆動電圧が予め決定されることができる。
【0102】
図6は
図5に示す実施例による可変レンズをより詳細に説明するための図である。
【0103】
具体的に、
図6の(a)は液体レンズ28を説明し、
図6の(b)は液体レンズ28の等価回路を説明する。ここで、液体レンズ28は
図5の可変レンズ50を意味することができる。
【0104】
まず、
図6(a)を参照すると、駆動電圧に対応して界面が調整される液体レンズ28は同じ角距離に4個の異なる方向に配置されて第1電極を構成する複数の電極セクターL1、L2、L3、L4及び第2電極を構成する電極セクターを介して駆動電圧の印加を受けることができる。第1電極を構成する複数の電極セクターL1、L2、L3、L4及び第2電極を構成する電極セクターを介して駆動電圧が印加されれば、レンズ領域310に配置された伝導性液体と非伝導性液体との間の境界面が変形されることができる。伝導性液体と非伝導性液体との間の境界面の変形の程度及び形態は制御回路(
図1の制御部400A)によって制御されることができる。
【0105】
また、
図6(b)を参照すると、液体レンズ28の一側は互いに異なる電極セクターL1、L2、L3、L4から電圧の印加を受け、他側は第2電極の電極セクターC0と連結されて電圧の印加を受ける複数のキャパシター30として説明することができる。
【0106】
本明細書では個別電極が4個であるものを例として説明するが、本発明の範囲はこれに限定されない。
【0107】
図7は一実施例による液体レンズ700を示す図である。
【0108】
図7を参照すると、液体レンズ700は
図6に示す液体レンズ28の断面の一実施例に相当することができる。
【0109】
液体レンズ700は、伝導性液体72、非伝導性液体73、プレート、電極部及び絶縁層76を含むことができる。プレートは、第1プレート74を含むことができ、追加として第2プレート77と第3プレート71をさらに含むことができる。電極部は、第1電極75-1及び第2電極75-2を含むことができる。
【0110】
第2プレート77と第3プレート71は透明な素材からなることができる。第2プレート77及び第3プレート71のいずれか一つは液体レンズ700においてレンズアセンブリー100Aを通過する光を先に受けるように配置されることができる。第3プレート71は第1電極75-1の下部に配置されることができ、第2プレート77は第2電極75-2の上部に配置されることができる。
【0111】
伝導性液体72と非伝導性液体73は前記第1プレート74の開口領域によって決定されるキャビティ(cavity)内に充填されることができる。すなわち、キャビティには異なる性質の伝導性液体72と非伝導性液体73が充填されることができ、異なる性質の伝導性液体72と非伝導性液体73との間には界面IFが形成されることができる。
【0112】
伝導性液体72と非伝導性液体73が成す界面IFの屈曲、傾斜度などが変わるにつれて液体レンズ700の焦点距離又は形状が調整されることができる。前記界面IFを介して光信号が通過することができる領域が
図6で説明したレンズ領域310に対応することができる。
【0113】
ここで、伝導性液体72は、エチレングリコール(ethylene glycol)及び臭化ナトリウム(NaBr)の少なくとも1種を含むことができ、またエチレングリコール(ethyleneglycol)と臭化ナトリウム(NaBr)が混合されて形成されることができ、非伝導性液体73はフェニル(phenyl)系のシリコンオイルを含むことができる。
【0114】
第1プレート74は、第3プレート71と第2プレート77との間に位置し、既定の傾斜面(例えば、約59度~61度の角度を有する傾斜面)を有する開口領域を含むことができる。すなわち、第1プレート74は内部に傾斜面を含むことができ、このような傾斜面によって定義されるキャビティ内に伝導性液体72と非伝導性液体73が配置されることができる。第1プレート74は液体レンズ700内に異なる性質の2種の液体72、73を閉じこめるハウジング構造物であり、第3プレート71及び第2プレート77は光信号が通過する領域を含んでいるので、透明度の高いガラス(glass)のような素材から形成されることができ、工程の便宜上(同じ素材の中間層を使って接合する場合、キャビティを満たした液体が流れ出ることを防止することが容易である)第1プレート74もガラスのような素材から形成されることができる。他の実施例によって、第1プレート74は、光信号の透過が容易でないように、不純物を含むこともできる。
【0115】
第1電極75-1と第2電極75-2は、伝導性液体72と非伝導性液体73が成す界面IFを制御するための制御回路(
図1の制御部400A)から受信される駆動電圧を印加する機能を果たすことができる。第1電極75-1は第1プレート74の傾斜面に配置されることができ、第2電極75-2は第1プレート74の上部に配置されることができる。
【0116】
図6で説明したように、第3プレート71及び第2プレート77に隣接した第1プレート74の両側には個別電極L1、L2、L3、L4と共通電極C0を形成するための電極及び/又は電極パターンが含まれることができる。第2電極75-2は伝導性液体72に接触するように配置される共通電極であり得るし、第1電極75-1は絶縁層76を挟んで伝導性液体72に近くに配置される個別電極であり得る。
【0117】
ここで、第1電極75-1と第2電極75-2はクロム(Cr)を含むことができる。クロミウム(chromium)又はクロム(Chrom)は銀色の光沢がある堅い遷移金属であり、壊れやすくてめったに変色せず、融点が高いことが特徴である。しかし、クロミウムを含む合金は腐食に強くて堅いから、他の金属との合金形態として使われることができる。特に、クロム(Cr)は腐食及び変色が少ないため、キャビティを満たす伝導性液体にも強い特徴がある。
【0118】
個別電極と共通電極間の電圧差によって界面IFがキャビティの傾斜面と接する地点が変わることができ、これを用いて駆動電圧を向き合う個別電極の間に非対称的に制御することにより、予め決まったFOVの角度の変更方向及び変更角度にFOVを変更させることができる。
【0119】
絶縁層76は第1電極75-1を伝導性液体72及び非伝導性液体73と物理的に絶縁させるための構成である。例えば、絶縁層76はパリレンC(parylene C)を含むことができ、コーティング、蒸着、メッキなどの方法で具現化されることができる。
【0120】
絶縁層76は伝導性液体72及び非伝導性液体73と接触することができる傾斜面を初めとして第1プレート74の上部及び非伝導性液体73の下部までに延びて配置されることができる。図示のものとは違い、絶縁層76は第1電極75-1の上部に配置されることができる。第1電極75-1と第2電極75-2が隣接して配置される第1プレート74の上部で、絶縁層76は、第1電極75-1が伝導性液体72と接触しないように、第1電極75-1を取り囲む形態に配置されることができ、
図7のように少なくとも一部が第2電極75-2と接触するように配置されることができるが、本発明の範囲はこれに限定されない。
【0121】
第2プレート77は透明な素材のガラスから形成されることができ、第3プレート71及び開口領域とともにキャビティを構成し、伝導性液体72と非伝導性液体73が充填されることができるようにする。
【0122】
以下、他の実施例によるカメラモジュール20を添付図面に基づいて説明する。
【0123】
図8は他の実施例によるカメラモジュール20を示すブロック図である。
【0124】
図8を参照すると、カメラモジュール20は、レンズアセンブリー100B、イメージセンシング部200B、イメージ合成部300及び制御部400Bを含むことができる。ここで、イメージ合成部300は
図1に示すイメージ合成部300と同じ役割を果たすので、同じ参照符号を使い、重複説明を省略する。
【0125】
レンズアセンブリー100Bはイメージセンシング部200B上に配置され、カメラモジュール20の外部から入射する光を通過させ、イメージセンシング部200Bに含まれたイメージセンサー230に光信号を伝達することができる。すなわち、レンズアセンブリー100Bはイメージセンシング部200Bに入射する光の経路を形成することができる。
【0126】
レンズアセンブリー100Bは
図2a又は
図2bに示すような構成を有することができる。ここで、レンズアセンブリー100Bは可変レンズ110を含むこともでき、可変レンズ110を含まないこともできる。
【0127】
仮に、レンズアセンブリー100Bが可変レンズ110を含まない場合、
図2a又は
図2bに示すカメラモジュール10A、10Bにおいて可変レンズ110が除かれた構成がレンズアセンブリー100Bの構成であり得るので、これについての重複説明を省略する。
【0128】
イメージセンシング部200Bは、イメージセンサー230及びアクチュエータ240を含むことができる。イメージセンシング部200Bは制御部400Bの制御の下でレンズアセンブリー100Bに対するイメージセンサー230の相対位置を調節することができる。このために、アクチュエータ240はイメージセンサー230の物理的変位を調節することができる。
【0129】
図1に示す一実施例によるカメラモジュール10の場合、可変レンズ110を用いて外部からイメージセンサー200Aに入射する光の経路を調節する。
【0130】
図8に示す他の実施例によるカメラモジュール20の場合、レンズアセンブリー(すなわち、レンズ)に対するイメージセンサー230の相対位置を調節することにより、イメージセンサー230に入射する光の経路を調節する効果を得ることができる。
【0131】
図8に示すレンズアセンブリー100Bが
図1に示すレンズアセンブリー100Aのように可変レンズ110を含む場合、カメラモジュール20において、外部からイメージセンサー230に入射する光の経路を可変レンズ110によって1次的に調節し、アクチュエータ240によって2次的に調節することができる。
【0132】
また、レンズアセンブリー100Bが可変レンズ110を含む場合、制御部400Bは、制御部400Aと同様に、レンズアセンブリー100B及びイメージセンサー230を制御することができる。この場合、
図8に示す第3信号は第1信号を含み、第4信号は第2信号を含むことができる。しかし、レンズアセンブリー100Bが可変レンズ110を含まない場合、第3信号を省略することができる。
【0133】
前述したように、制御部400Bはイメージセンシング部200Bのアクチュエータ240を制御してレンズアセンブリー100Bに対するイメージセンサー230の相対位置を調節することができる。このために、制御部400Bはイメージセンシング部200Bと第4信号を送受信することができる。すなわち、第4信号に応答して、アクチュエータ240はイメージセンサー230を光軸方向(又は、光軸に平行な方向、例えば、z軸方向)又は光軸方向に垂直な水平方向の少なくとも一方向に移動させるかティルティングさせることができる。このために、アクチュエータ240は、圧電素子(piezoelectric element)、ボイスコイルモーター(VCM)、又は微小電気機械システム(MEMS)であり得るが、実施例はアクチュエータ240の特定の形態に限られない。
【0134】
また、光軸方向(又は、光軸に平行な方向、例えば、z軸方向)又は光軸方向に垂直な水平方向の少なくとも一方向に、アクチュエータ240はイメージセンサー230自体を移動させることもでき、
図2a又は
図2bに示すように、イメージセンサー230が配置された基板250を移動させることもでき、イメージセンサー230のパッケージを移動させることもでき、イメージセンサー230のピクセルアレイを移動させることができるが、実施例はこれに限られない。
【0135】
以下、
図8に示すイメージセンシング部(200Bの多様な実施例200B1~200B4)を添付図面に基づいて説明するが、実施例はこれに限られない。例えば、実施例によるカメラモジュール20の構成は
図2a又は
図2bに示すカメラモジュール10A、10Bにおいて、基板250とイメージセンサー200Aの代わりに、
図9~
図12bに示す基板250A、250Bとイメージセンシング部200B1~200B4を含み、
図2a及び
図2bに示す可変レンズ110を省略した構成であり得る。
【0136】
図9は
図8に示すイメージセンシング部200Bの一実施例200B1の断面図を示す。
【0137】
図9を参照すると、イメージセンシング部200B1は、アクチュエータ240A、基板250A及びイメージセンサー230Aを含むことができる。ここで、イメージセンサー230A及びアクチュエータ240Aは
図8に示すイメージセンサー230及びアクチュエータ240のそれぞれの一実施例に相当する。
【0138】
基板250Aはアクチュエータ240A上に配置され、イメージセンサー230Aは基板250A上に配置されることができる。すなわち、
図2a又は
図2bに示す基板250の下に、
図9に示すように、アクチュエータ240Aが配置されることができる。このような構成において、制御部400Bは、アクチュエータ240Aを光軸方向(又は、光軸に平行な方向、例えば、z軸方向)又は光軸方向に垂直な水平方向の少なくとも一方向に移動させるかティルティングさせることができる。アクチュエータ240Aが動く方向と同じ方向に基板250Aとイメージセンサー230Aが一緒に移動することができる。例えば、アクチュエータ240Aが矢印方向AR1、AR2に動くとき、これと同じ方向に基板250Aとイメージセンサー230Aが一緒に動くことができる。
【0139】
図10は
図8に示すイメージセンシング部200Bの他の実施例200B2の平面図を示す。
【0140】
図10を参照すると、イメージセンシング部200B2は、アクチュエータ240B、基板250B、弾性部材262~268及びイメージセンサー230Bを含むことができる。ここで、イメージセンサー230B及びアクチュエータ240Bは
図8に示すイメージセンサー230及びアクチュエータ240のそれぞれの他の実施例に相当する。
【0141】
基板250B及びイメージセンサー230Bは
図2a又は
図2bに示す基板250及びイメージセンサー200Aとそれぞれ同じ役割を果たす。基板250Bはイメージセンサー230Bを囲む枠形の平面形状を有する。イメージセンサー230Bは枠形の基板250Bの内部に配置され、基板250Bの内周面から所定距離だけ離隔して配置されることができる。
【0142】
弾性部材262~268がイメージセンサー230Bの外側角部と基板250Bの内側角部との間にそれぞれ配置され、アクチュエータ240Bによって物理的変位が変更されたイメージセンサー230Bの位置を復元させることができる。アクチュエータ240Bはイメージセンサー230Bと基板250Bとの間に配置されることができ、MEMSであり得る。
【0143】
アクチュエータ240Bが水平方向又は垂直方向のいずれか一方向に移動するかティルティングするとき、イメージセンサー230Bもアクチュエータ240Bが移動する方向と同じ方向に移動することができる。
【0144】
図11は
図8に示すイメージセンシング部200Bのさらに他の実施例200B3の平面図を示す。
【0145】
図11を参照すると、イメージセンシング部200B3は、アクチュエータ(AR1~AR4)242~248及びイメージセンサー230Cを含むことができる。ここで、イメージセンサー230C及びアクチュエータ242~248は
図8に示すイメージセンサー230及びアクチュエータ240のそれぞれのさらに他の実施例に相当する。
【0146】
アクチュエータ(AC1、AC2、AC3、AC4)242~248はイメージセンサー230Cの4辺と対向して配置され、矢印方向AR3~AR6にイメージセンサー230Cに圧力を付与することにより、イメージセンサー230Cを水平方向に移動させることができる。すなわち、アクチュエータ(AC1)242はイメージセンサー230Cの4辺の中で第1辺に矢印方向AR3に圧力を付与することにより、イメージセンサー230Cを+x軸方向に移動させることができる。アクチュエータ(AC2)244はイメージセンサー230Cの4辺の中で第2辺に矢印方向AR4に圧力を付与することにより、イメージセンサー230Cを-x軸方向に移動させることができる。アクチュエータ(AC3)246はイメージセンサー230Cの4辺の中で第3辺に矢印方向AR5に圧力を付与することにより、イメージセンサー230Cを+y軸方向に移動させることができる。アクチュエータ(AC4)248はイメージセンサー230Cの4辺の中で第4辺に矢印方向AR6に圧力を付与することにより、イメージセンサー230Cを-y軸方向に移動させることができる。
【0147】
図11の場合、イメージセンサー230Cが四角形の平面形状を有するから、イメージセンシング部200B3は4個のアクチュエータ(AC1、AC2、AC3、AC4)242~248を含むが、実施例はこれに限られない。すなわち、イメージセンサー230Cの平面形状によって、アクチュエータ242~248の個数は4個より多くてもよく、少なくともよい。
【0148】
また、
図11にはたとえ示されていないが、イメージセンサー230Cの上部と下部にもアクチュエータがそれぞれさらに配置され、イメージセンサー230Cの上部と下部に圧力を付与することにより、イメージセンサー230Cを垂直方向に移動させることもできる。
【0149】
前述したように、イメージセンサー230Cに圧力を付与するアクチュエータは圧電素子から具現化されることができ、制御部400Bは複数の圧電素子の中で該当圧電素子を駆動させる第4信号を発生することができる。
【0150】
図12a及び
図12b
図8に示すイメージセンシング部200Bのさらに他の実施例200B4の斜視図を示す。
【0151】
図12bを参照すると、イメージセンシング部200B4は、イメージセンサー230D及びアクチュエータ240Cを含むことができる。ここで、イメージセンサー230D及びアクチュエータ240Cは
図8に示すイメージセンサー230及びアクチュエータ240のそれぞれのさらに他の実施例に相当する。
【0152】
イメージセンサー230Dは
図12aに示すMEMS形態のアクチュエータ240C上に配置されることができる。
【0153】
アクチュエータ240Cが制御部400Bの制御の下で水平方向又は垂直方向の少なくとも一方向に移動するかティルティングするとき、イメージセンサー230Dもアクチュエータ240Cが移動する方向と同じ方向に移動することができる。
【0154】
前述したアクチュエータ240A、240B、242~248、240Cによってイメージセンサー230A、230B、230C、230Dが移動する距離は1mm以下であり得るし、ティルティング角度は1°以下であり得る。
【0155】
一方、
図8に示すイメージ合成部300は、イメージセンサー230から映像信号を受信し、映像信号を処理(例えば、補間、フレーム合成など)するイメージプロセッサであり得る。特に、イメージ合成部300は、複数のフレームの映像信号(低解像度)を用いて単一フレームの映像信号(高解像度)に合成することができる。複数のイメージフレームは、レンズアセンブリー100Bに対するイメージセンサー230の相対位置が変更されて生成されたそれぞれのイメージフレームであり得る。イメージ合成部300は後処理器と呼ぶことができる。複数のイメージフレームは、第1イメージフレームと第2イメージフレームを含むことができ、第2イメージフレームは、第1イメージフレームを基準に第1間隔だけ移動したイメージフレームであり得る。
【0156】
以下、前述したカメラモジュール10、20の実施例による動作方法を添付図面に基づいて説明する。
【0157】
図13は一実施例によるカメラモジュール10、20の動作方法を説明するための図である。
図14は
図13で説明するカメラモジュール10、20の動作方法をより詳細に説明するための図である。
【0158】
図13を参照すると、イメージセンサー200Aに入射する光の経路を変更させるかレンズアセンブリーに対するイメージセンサー230の相対位置を変更させることによって超解像度(super resolution)イメージを得ることができる方法の模式図が示されている。
【0159】
イメージセンサー200A、230のピクセルアレイは、N×Mのマトリックス状に配置された複数のピクセルを含むことができる。以下の説明では、説明の便宜上、
図13のようにピクセルアレイが2×2のマトリックス状に配置された複数のピクセルA1~A4を含むと仮定する。
【0160】
各ピクセルA1~A4は、レンズアセンブリー100A、100Bを介して伝達される光信号に応じて各ピクセル場面PS1~PS4に対するイメージ情報(すなわち、光信号に対応するアナログピクセル信号)を生成することができる。
【0161】
x軸方向(又はy軸方向)に隣接したピクセル間の距離(例えば、ピクセル中心間の距離)を1PD(ピクセル距離)とするとき、その半分は0.5PDに相当する。ここで、第1~第4ピクセル移動A~Dを定義する。
【0162】
第1ピクセル移動Aは各ピクセルA1~A4を+x軸方向に沿って右側に0.5PDだけ移動させることを意味し、第1ピクセル移動Aが完了した後のピクセルはB1~B4である。
【0163】
第2ピクセル移動Bは各ピクセルB1~B4を+y軸方向に沿って下側に0.5PDだけ移動させることを意味し、第2ピクセル移動Bが完了した後のピクセルはC1~C4である。
【0164】
第3ピクセル移動Cは各ピクセルC1~C4を-x軸方向に沿って左側に0.5PDだけ移動させることを意味し、第3ピクセル移動Cが完了した後のピクセルはD1~D4である。
【0165】
第4ピクセル移動Dは各ピクセルD1~D4を-y軸方向に沿って上側に0.5PDだけ移動させることを意味し、第4ピクセル移動Dが完了した後のピクセルはA1~A4である。
【0166】
ここで、ピクセル移動はピクセルアレイのピクセルの物理的位置を移動させるものではなく、二つのピクセル(例えば、A1とA2)間の仮想のピクセル(例えば、B1)がピクセル場面を獲得することができるように可変レンズ110又はアクチュエータ240の少なくとも一つを調整することにより、透過する光の経路又はレンズアセンブリーに対するイメージセンサー230の相対位置を調整する動作を意味する。
【0167】
図14を参照すると、各ピクセルA1~A4はピクセル場面S1を獲得し、イメージセンサー200A、230は各ピクセルA1~A4のピクセル信号から第1フレームF1を生成することができる。
【0168】
第1ピクセル移動Aのために、レンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ右側に変更させるようにするレンズ制御信号に応じて、可変レンズ110はレンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ右側に変更させることによって第1ピクセル移動Aを遂行することができる。もしくは、第1ピクセル移動Aのために、レンズアセンブリー100Bに対するイメージセンサー230の相対位置を第1角度変化量(θx)だけ右側に移動させるようにする第4信号に応じて、アクチュエータ240はイメージセンサー230の相対位置を第1角度変化量(θx)だけ右側に変更させることによって第1ピクセル移動Aを遂行することができる。その後、各ピクセルB1~B4はピクセル場面S2を獲得し、イメージセンサー200A、230は各ピクセルB1~B4のピクセル信号から第2フレームF2を生成することができる。
【0169】
第2ピクセル移動Bのために、レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ下側に変更させるようにするレンズ制御信号に応じて、可変レンズ110はレンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ下側に変更させることによって第2ピクセル移動Bを遂行することができる。もしくは、第2ピクセル移動Bのために、レンズアセンブリー100Bに対するイメージセンサー230の相対位置を第2角度変化量(θy)だけ下側に変更させるようにする第4信号に応じて、アクチュエータ240はイメージセンサー230の相対位置を第2角度変化量(θy)だけ下側に変更させることによって第2ピクセル移動Bを遂行することができる。その後、各ピクセルC1~C4はピクセル場面S3を獲得し、イメージセンサー200A、230は各ピクセルC1~C4のピクセル信号から第3フレームF3を生成することができる。
【0170】
第3ピクセル移動Cのために、レンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ左側に変更させるようにするレンズ制御信号に応じて、可変レンズ110はレンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ左側に変更させることによって第3ピクセル移動Cを遂行することができる。もしくは、第3ピクセル移動Cのために、レンズアセンブリー100Bに対するイメージセンサー230の相対位置を第1角度変化量(θx)だけ左側に変更させるようにする第4信号に応じて、アクチュエータ240はイメージセンサー230の相対位置を第1角度変化量(θx)だけ左側に変更させることによって第3ピクセル移動Cを遂行することができる。その後、各ピクセルD1~D4はピクセル場面S4を獲得し、イメージセンサー200A、230は各ピクセルD1~D4のピクセル信号から第4フレームF4を生成することができる。
【0171】
第4ピクセル移動Dのために、レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ上側に変更させるようにするレンズ制御信号に応じて、可変レンズ110はレンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ上側に変更させることによって第4ピクセル移動Dを遂行することができる。もしくは、第4ピクセル移動Dのために、レンズアセンブリー100Bに対するイメージセンサー230の相対位置を第2角度変化量(θy)だけ上側に変更させるようにする第4信号に応じて、アクチュエータ240はイメージセンサー230の相対位置を第2角度変化量(θy)だけ上側に変更させることによって第4ピクセル移動Dを遂行することができる。その後、各ピクセルA1~A4はピクセル場面S1を獲得し、イメージセンサー200A、230は各ピクセルA1~A4のピクセル信号から第5フレームF5を生成することができる。その後にもピクセル移動及び移動したピクセルによるフレーム生成動作を繰り返し遂行することができる。
【0172】
ここで、第1角度変化量(θx)と第2角度変化量(θy)のそれぞれは0.5PDだけピクセル移動ができるように光の経路変更の程度又はイメージセンサー230の相対位置の変更の程度に対応する情報が保存されていることができ、第1FOV角度(Fx)及び第2FOV角度(Fy)に基づいて予め計算されて保存(例えば、イメージセンサー200A、230又はイメージ合成部300又は制御部400A、400Bによって)されることができる。
【0173】
イメージセンサー200Aは第1領域と第2領域を含み、制御部400Aは、外部から入射して可変レンズ110を通過する光の経路をイメージセンサー200Aの第1領域から第2領域に変更させるように可変レンズ110を調整する第1信号を出力することができる。もしくは、イメージセンサー230は第1領域と第2領域を含み、制御部400Bは、外部から入射してレンズアセンブリー100Bを通過する光を受光する領域がイメージセンサー230の第1領域から第2領域に変更されるようにアクチュエータ240を調整する第4信号を出力することができる。
【0174】
また、イメージセンサー200Aは第3領域と第4領域をさらに含み、制御部400Aは、イメージセンサー200Aの第2領域から第3領域に光の経路を変更させるように可変レンズ110を調整する第1信号を出力し、第3領域から第4領域に光の経路を変更させるように可変レンズ110を調整する第1信号を出力することができる。もしくは、イメージセンサー230は第3領域と第4領域をさらに含み、制御部400Bは、外部から入射してレンズアセンブリー100Bを通過する光を受光する領域がイメージセンサー230の第2領域から第3領域に変更されるようにアクチュエータ240を調整する第4信号を出力し、第3領域から第4領域に受光領域が変更されるようにアクチュエータ240を調整する第4信号を出力することができる。
【0175】
第1信号は、レンズアセンブリー100Aの画角(FOV)を第1方向に変更させる信号、レンズアセンブリー100Aの画角を第2方向に変更させる信号、レンズアセンブリー100Aの画角を第3方向に変更させる信号、及びレンズアセンブリー100Aの画角を第4方向に変更させる信号を含むことができる。もしくは、第4信号は、イメージセンサー230の画角(FOV)を第1方向に変更させる信号、イメージセンサー230の画角を第2方向に変更させる信号、イメージセンサー230の画角を第3方向に変更させる信号、及びイメージセンサー230の画角を第4方向に変更させる信号を含むことができる。
【0176】
イメージ合成部300は、イメージセンサー200Aから映像信号を受信し、映像信号を処理(例えば、補間、フレーム合成など)するイメージプロセッサであり得る。特に、イメージ合成部300は、複数のフレームの映像信号(低解像度)を用いて単一フレームの映像信号(高解像度)に合成することができる。複数のイメージフレームは、可変レンズ110によって異なる光の経路に変更されて生成されたそれぞれのイメージフレームであり得る。イメージ合成部300は後処理器と呼ぶことができる。複数のイメージフレームは、第1イメージフレームと第2イメージフレームを含むことができ、第2イメージフレームは第1イメージフレームを基準に第1間隔だけ移動したイメージフレームであり得る。
【0177】
イメージ合成部300は、第1~第4フレームを合成することにより、N×Mのピクセルアレイではなくて2N×2Mのピクセルアレイが獲得したイメージを生成することができる。イメージ合成部300が第1~第4フレームを合成する方法は、第1~第4フレームを各ピクセルの位置によって単純併合(例えば、第1行の場合、A1のピクセル信号、B1のピクセル信号、A2のピクセル信号、B2のピクセル信号を配列して単一フレームに生成)する方法、又は隣接したピクセルの場合、ピクセル場面がオーバーラップすることを用いていずれか一ピクセル(例えば、C1)のピクセル信号を隣接したピクセル(例えば、A1、B1、A2、D1、D2、A3、B3、A4)のピクセル信号を用いて補正する方法などを用いることができるが、実施例の範囲はこれに限定されず、多様な超解像度イメージ生成方法を用いることができる。イメージ合成部300は後処理器と呼ぶことができ、後処理器は、イメージセンサー200A、230から伝達された第1~第4イメージフレームを用いて第1超解像度イメージフレームを合成し、その後、イメージセンサー200A、230から出力される第5イメージフレーム及び第2~第4イメージフレームを用いて第2超解像度イメージフレームを合成することができる。
【0178】
図13及び
図14に示すカメラモジュール10、20の動作方法によれば、ピクセル移動によって獲得した複数のフレームを合成することによって4倍の解像度を有するイメージを生成することができる。
【0179】
図15は一実施例によるカメラモジュール10、20の動作方法のタイミング図である。
【0180】
図15を参照すると、レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ上側に変更させるようにするレンズ制御信号に応じて、可変レンズ110はレンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ上側に変更させる第4ピクセル移動Dを遂行することができる。実施例によって、制御部400Aが、第1信号に応じて可変レンズ110による第4ピクセル移動Dが完了したことを示すフィードバック信号をイメージセンサー200Aに伝達することができる。この際、制御部400Aは、第4ピクセル移動Dが完了したことを可変レンズ110からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー200Aの各ピクセルA1~A4はピクセル場面S1を獲得し、イメージセンサー200Aは各ピクセルA1~A4のピクセル信号から第1フレームF1を生成することができる。
【0181】
もしくは、イメージセンサー230を第2角度変化量(θy)だけ上側に変更させるようにする第4信号に応じて、アクチュエータ240はイメージセンサー230を第2角度変化量(θy)だけ上側に変更させる第4ピクセル移動Dを遂行することができる。実施例によって、制御部400Bが、第4信号に応じてアクチュエータ240による第4ピクセル移動Dが完了したことを示すフィードバック信号をイメージセンサー230に伝達することができる。この際、制御部400Bは、第4ピクセル移動Dが完了したことをアクチュエータ240からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー230の各ピクセルA1~A4はピクセル場面S1を獲得し、イメージセンサー230は各ピクセルA1~A4のピクセル信号から第1フレームF1を生成することができる。
【0182】
レンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ右側に変更させるようにする第1信号に応じて、可変レンズ110は、レンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ右側に変更させる第1ピクセル移動Aを遂行することができる。実施例によって、制御部400Aが、第1信号に応じて可変レンズ110による第1ピクセル移動Aが完了したことを示すフィードバック信号をイメージセンサー200Aに伝達することができる。この際、制御部400Aは、第1ピクセル移動Aが完了したことを可変レンズ110からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー200Aの各ピクセルB1~B4はピクセル場面S2を獲得し、イメージセンサー200Aは各ピクセルB1~B4のピクセル信号から第2フレームF2を生成することができる。
【0183】
もしくは、イメージセンサー230を第1角度変化量(θx)だけ右側に変更させるようにする第4信号に応じて、アクチュエータ240は、イメージセンサー230を第1角度変化量(θx)だけ右側に変更させる第1ピクセル移動Aを遂行することができる。実施例によって、制御部400Bが、第4信号に応じてアクチュエータ240による第1ピクセル移動Aが完了したことを示すフィードバック信号をイメージセンサー230に伝達することができる。この際、制御部400Bは、第1ピクセル移動Aが完了したことをアクチュエータ240からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー230の各ピクセルB1~B4はピクセル場面S2を獲得し、イメージセンサー230は各ピクセルB1~B4のピクセル信号から第2フレームF2を生成することができる。
【0184】
レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ下側に変更させるようにするレンズ制御信号に応じて、可変レンズ110は、レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ下側に変更させる第2ピクセル移動Bを遂行することができる。実施例によって、制御部400Aが、レンズ制御信号に応じて可変レンズ110による第2ピクセル移動Bが完了したことを示すフィードバック信号をイメージセンサー200Aに伝達することができる。この際、制御部400Aは、第2ピクセル移動Bが完了したことを可変レンズ110からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー200Aの各ピクセルC1~C4はピクセル場面S3を獲得し、イメージセンサー200Aは各ピクセルC1~C4のピクセル信号から第3フレームF3を生成することができる。
【0185】
もしくは、イメージセンサー230を第2角度変化量(θy)だけ下側に変更させるようにする第4信号に応じて、アクチュエータ240は、イメージセンサー230を第2角度変化量(θy)だけ下側に変更させる第2ピクセル移動Bを遂行することができる。実施例によって、制御部400Bが、第4信号に応じてアクチュエータ240による第2ピクセル移動Bが完了したことを示すフィードバック信号をイメージセンサー230に伝達することができる。この際、制御部400Bは、第2ピクセル移動Bが完了したことをアクチュエータ240からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー230の各ピクセルC1~C4はピクセル場面S3を獲得し、イメージセンサー230は各ピクセルC1~C4のピクセル信号から第3フレームF3を生成することができる。
【0186】
レンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ左側に変更させるようにするレンズ制御信号に応じて、可変レンズ110は、レンズアセンブリー100Aの光の経路又はFOVを第1角度変化量(θx)だけ左側に変更させる第3ピクセル移動Cを遂行することができる。実施例によって、制御部400Aが、レンズ制御信号に応じて可変レンズ110による第3ピクセル移動Cが完了したことを示すフィードバック信号をイメージセンサー200Aに伝達することができる。この際、制御部400Aは、第3ピクセル移動Cが完了したことを可変レンズ110からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー200Aの各ピクセルD1~D4はピクセル場面S4を獲得し、イメージセンサー200Aは各ピクセルD1~D4のピクセル信号から第4フレームF4を生成することができる。
【0187】
もしくは、イメージセンサー230を第1角度変化量(θx)だけ左側に変更させるようにする第4信号に応じて、アクチュエータ240は、イメージセンサー230を第1角度変化量(θx)だけ左側に変更させる第3ピクセル移動Cを遂行することができる。実施例によって、制御部400Bが、第4信号に応じてアクチュエータ240による第3ピクセル移動Cが完了したことを示すフィードバック信号をイメージセンサー230に伝達することができる。この際、制御部400Bは、第3ピクセル移動Cが完了したことをアクチュエータ240からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー230の各ピクセルD1~D4はピクセル場面S4を獲得し、イメージセンサー230は各ピクセルD1~D4のピクセル信号から第4フレームF4を生成することができる。
【0188】
その後、レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ上側に変更させるようにするレンズ制御信号に応じて、可変レンズ110は、レンズアセンブリー100Aの光の経路又はFOVを第2角度変化量(θy)だけ上側に変更させる第4ピクセル移動Dを遂行することができる。実施例によって、制御部400Aが、レンズ制御信号に応じて可変レンズ110による第4ピクセル移動Dが完了したことを示すフィードバック信号をイメージセンサー200Aに伝達することができる。この際、制御部400Aは、第4ピクセル移動Dが完了したことを可変レンズ110からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー200Aの各ピクセルA1~A4はピクセル場面S1を獲得し、イメージセンサー200Aは各ピクセルA1~A4のピクセル信号から第5フレームF5を生成することができる。その後にもピクセル移動及び移動したピクセルによるフレーム生成動作を繰り返し遂行することができる。
【0189】
もしくは、イメージセンサー230を第2角度変化量(θy)だけ上側に変更させるようにする第4信号に応じて、アクチュエータ240は、イメージセンサー230を第2角度変化量(θy)だけ上側に変更させる第4ピクセル移動Dを遂行することができる。実施例によって、制御部400Bが、第4信号に応じてアクチュエータ240による第4ピクセル移動Dが完了したことを示すフィードバック信号をイメージセンサー230に伝達することができる。この際、制御部400Bは、第4ピクセル移動Dが完了したことをアクチュエータ240からの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー230の各ピクセルA1~A4はピクセル場面S1を獲得し、イメージセンサー230は各ピクセルA1~A4のピクセル信号から第5フレームF5を生成することができる。その後にもピクセル移動及び移動したピクセルによるフレーム生成動作を繰り返し遂行することができる。
【0190】
特に、
図15において、制御部400Aのレンズ制御信号の伝送は、イメージセンサー200Aによるイメージフレームの生成が完了してレンズ制御信号を可変レンズ110に伝送することを指示する同期信号をイメージセンサー200Aが伝送する場合に遂行することができる。すなわち、ピクセル移動、フレーム生成、以後のピクセル移動の順次動作は第1信号と第2信号の送受信によって同期化することによって進むことができる。
【0191】
図16は一実施例によるカメラモジュール10、20のフレーム合成方法の一例を示す図である。
【0192】
図16を参照すると、イメージセンサー200A、230が順次的はピクセル移動A~Dによって第1~第7フレームF1~F7を順次生成すると仮定する。
【0193】
イメージ合成部300はフレームを順次受け、超解像度SRイメージ合成によって超解像度イメージである合成フレームを生成することができる。
【0194】
ここで、
図16に示すように、イメージ合成部300は、第1~第4フレームF1~F4を受けて第1合成フレームF1’を生成することができる。その後、イメージ合成部300は、第2~第5フレームF2~F5を受けて第2合成フレームF2’を生成することができる。その後、イメージ合成部300は、第3~第6フレームF3~F6を受けて第3合成フレームF3’を生成することができる。その後、イメージ合成部300は、第4~第7フレームF4~F7を受け、超解像度イメージ生成アルゴリズムによって第4合成フレームF4’を生成することができる。
【0195】
ここで、イメージ合成部300は、イメージセンサー200A、230から第1~第7フレームF1~F7を順次受信し、合成フレームの生成のために、現在入力されるフレームの直前の3個のフレームを保存することができる。実施例によって、フレームを保存するバッファーは少なくとも3個のフレームを保存することができる保存容量を有することができる。
【0196】
仮に、第1~第4フレームを用いて合成フレームを生成し、次に第5~第8フレームを用いて合成フレームを生成すれば、元のフレームレート(frame rate)に比べて1/4に減る。しかし、実施例による方式のように順次入力される現在フレーム及び現在フレーム直前の3個のフレームを用いて連続的に合成フレームを生成することによってフレームレートの低下を防止することができる。
【0197】
本明細書では4回のピクセル移動によって4倍の解像度を有する超解像度イメージを生成する方式について説明したが、本発明の範囲はこれに限定されず、他の方式のピクセル移動によってより高い解像度を有する超解像度イメージを生成することができる。
【0198】
さらに他の実施例によるカメラモジュールは、光の経路を調節する液体レンズを含むレンズアセンブリーと、前記レンズアセンブリーを用いて複数のイメージをセンシングするイメージセンサーと、前記液体レンズを制御する制御部と、前記複数のイメージを合成して合成イメージを生成する合成部とを含み、前記複数のイメージは、前記液体レンズによって前記光の経路が異なるように変更されて生成されたイメージを含むことができる。
【0199】
さらに他の実施例によるカメラモジュールは、複数のイメージをセンシングするイメージセンサーと、イメージセンサーに入射する光の経路を形成するレンズアセンブリーと、光の経路とイメージセンサーの位置の少なくとも一つを調節する制御部と、複数のイメージを合成して合成イメージを生成するイメージ合成部とを含み、複数のイメージは、レンズアセンブリーによって互いに異なる光の経路に生成されたイメージ、又はイメージセンサーの異なる位置で生成されたイメージを含むことができる。
【0200】
以下、前述したカメラモジュール10、20で行われる超解像度イメージ生成方法を添付図面に基づいて説明する。
【0201】
超解像度イメージ生成方法は、第1イメージフレームを出力する段階と、第1イメージフレームから第1方向に第1距離だけ移動した第2イメージフレームを生成する段階と、第2イメージフレームから第2方向に第1距離だけ移動した第3イメージフレームを生成する段階と、第3イメージフレームから第3方向に第1距離だけ移動した第4イメージフレームを生成する段階と、第1イメージフレーム~第4イメージフレームを合成して合成イメージを生成する段階とを含むことができる。このような方法によって生成された合成イメージは複数のイメージフレームより高い解像度を有することができる。
【0202】
実施例によるカメラモジュール10、20によれば、超解像度イメージを得るために要求される高い演算量を、FOVの角度を変更させる可変レンズ110又はアクチュエータ240を用いてハードウェア的に解決することができる。
【0203】
また、順次入力される現在フレームに対して連続的に合成フレームを生成することにより、フレームレートの低下を防止することができる。
【0204】
前述したカメラモジュール10は、ハウジングに実装される液体レンズ及び液体レンズの前面又は後面に配置されることができる少なくとも一つの固体レンズを含むレンズアセンブリーと、レンズアセンブリーを介して伝達される光信号を電気信号に変換するイメージセンサーと、液体レンズに駆動電圧を供給するための制御回路とを含むことができる。ここで、前述したカメラモジュール20のレンズアセンブリーは液体レンズを含まず、固体レンズのみ含むことができる。
【0205】
前述した内容はToF(time of flight)を用いた距離又は深さ測定装置にも適用することができる。特に、ToFセンサーの場合、一般的に一般のイメージセンサーより解像度が低い。したがって、ToFセンサーを用いて顔認識、物体認識、深さ抽出、輪郭認識などを具現化するために前記で詳述した超解像度イメージ具現化方法を用いれば著しく向上した効果を得ることができる。
【0206】
実施例に関連して前述したようにいくつかのみ記述したが、その他にも多様な形態の実施が可能である。前述した実施例の技術的内容は互いに両立することができない技術ではない限り、多様な形態に組み合わせることができ、これにより新しい実施形態に具現化することもできる。
【0207】
例えば、前述した液体レンズ又は個体レンズのいずれか一つを含むカメラモジュール10、20を含む光学機器(Optical Device、Optical Instrument)を具現化することができる。ここで、光学機器は、光信号を加工するか分析することができる装置を含むことができる。光学機器の例としては、カメラ/ビデオ装置、望遠鏡装置、顕微鏡装置、干渉計装置、光度計装置、偏光計装置、分光計装置、反射計装置、オートコリメータ装置、レンズメーター装置などがあり得、液体レンズを含むことができる光学機器に本発明の実施例を適用することができる。また、光学機器は、スマートフォン、ノートブック型パソコン、タブレット型コンピュータなどの携帯用装置に具現化されることができる。このような光学機器は、カメラモジュール、映像を出力するディスプレイ部、及びカメラモジュールとディスプレイ部を実装する本体ハウジングを含むことができる。光学機器は、本体ハウジングに他の機器と通信することができる通信モジュールが実装されることができ、データを記憶することができるメモリ部をさらに含むことができる。
【0208】
本発明は本発明の精神及び必須の特徴から逸脱しない範囲で他の特定の形態に具体化することができることは当業者に明らかである。したがって、前記詳細な説明は全ての面で制限的に解釈されてはいけなくて例示的なものとして考慮されなければならない。本発明の範囲は添付の請求項の合理的解釈によって決定されなければならず、本発明の等価的範囲内の全ての変更は本発明の範囲に含まれる。
【0209】
発明の実施のための形態
【0210】
発明の実施のための形態は前述した“発明を実施するための形態”で充分に説明された。
【産業上の利用可能性】
【0211】
実施例によるカメラモジュールは、カメラ/ビデオ装置、望遠鏡装置、顕微鏡装置、干渉計装置、光度計装置、偏光計装置、分光計装置、反射計装置、オートコリメータ装置、レンズメーター装置などに適用可能である。