(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162907
(43)【公開日】2023-11-09
(54)【発明の名称】アクチュエータドライバおよびこれを用いたカメラモジュール、電子機器、アクチュエータの駆動方法
(51)【国際特許分類】
G03B 5/06 20210101AFI20231101BHJP
G03B 5/00 20210101ALI20231101BHJP
H04N 23/50 20230101ALI20231101BHJP
H04N 23/58 20230101ALI20231101BHJP
G03B 5/08 20210101ALN20231101BHJP
【FI】
G03B5/06
G03B5/00 J
H04N5/225 100
H04N5/225 900
G03B5/08
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2022073617
(22)【出願日】2022-04-27
(71)【出願人】
【識別番号】000116024
【氏名又は名称】ローム株式会社
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100133215
【弁理士】
【氏名又は名称】真家 大樹
(72)【発明者】
【氏名】前出 淳
【テーマコード(参考)】
2K005
5C122
【Fターム(参考)】
2K005BA52
2K005CA02
2K005CA14
2K005CA40
2K005CA53
5C122DA03
5C122EA55
5C122EA66
5C122HA82
(57)【要約】
【課題】撮影中に、エフェクト処理をかけることが可能なアクチュエータドライバおよびカメラモジュールを提供する。
【解決手段】アクチュエータドライバ200は、手ブレ補正機構の可動部を位置決めするアクチュエータを駆動する。位置指令生成部212は、カメラの視野が、動画エフェクトにもとづく所定方向に沿って往復するように、位置指令X
REF,Y
REF生成する。制御部210は、位置指令X
REF,Y
REFに応じた駆動信号をアクチュエータに供給する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
手ブレ補正機構の可動部を位置決めするアクチュエータを駆動するアクチュエータドライバであって、
動画エフェクトの指令に応答して、カメラの視野が所定方向に沿って往復するように、所定波形を有する位置指令を生成する位置指令生成部と、
前記位置指令に応じた駆動信号を前記アクチュエータに供給する制御部と、
を備える、アクチュエータドライバ。
【請求項2】
前記所定方向は、前記カメラの視野における垂直方向である、請求項1に記載のアクチュエータドライバ。
【請求項3】
前記所定方向は、重力方向である、請求項1に記載のアクチュエータドライバ。
【請求項4】
前記所定方向は、前記カメラの視野における水平方向である、請求項1に記載のアクチュエータドライバ。
【請求項5】
前記所定方向は、重力方向と垂直な方向である、請求項1に記載のアクチュエータドライバ。
【請求項6】
前記制御部は、
前記可動部の位置を示すフィードバック信号が、前記位置指令にもとづく目標値に近づくように制御信号を生成するサーボコントローラと、
前記制御信号に応じた前記駆動信号を、前記アクチュエータに供給する駆動部と、
を含む、請求項1から5のいずれかに記載のアクチュエータドライバ。
【請求項7】
前記所定波形は、三角波にもとづく、請求項1から5のいずれかに記載のアクチュエータドライバ。
【請求項8】
前記所定波形は、三角関数にもとづく、請求項1から5のいずれかに記載のアクチュエータドライバ。
【請求項9】
手ブレ補正機構の可動部を位置決めするアクチュエータを駆動するアクチュエータドライバであって、
複数の波形を生成可能であり、入力データに応じたひとつの波形を有する位置指令を出力する位置指令生成部と、
前記位置指令に応じた駆動信号を前記アクチュエータに供給する制御部と、
を備える、アクチュエータドライバ。
【請求項10】
前記複数の波形のひとつは、カメラの視野を、当該視野における垂直方向に往復させるものである、請求項9に記載のアクチュエータドライバ。
【請求項11】
前記複数の波形のひとつは、カメラの視野を、重力方向に往復させるものである、請求項9に記載のアクチュエータドライバ。
【請求項12】
前記複数の波形のひとつは、カメラの視野を、当該カメラの視野における水平方向に往復させるものである、請求項9に記載のアクチュエータドライバ。
【請求項13】
前記複数の波形のひとつは、カメラの視野を、重力方向と垂直方向に往復させるものである、請求項9に記載のアクチュエータドライバ。
【請求項14】
前記制御部は、
前記可動部の位置を示すフィードバック信号が、前記位置指令にもとづく目標値に近づくように、制御信号を生成するサーボコントローラと、
前記制御信号に応じた前記駆動信号を、前記アクチュエータに供給する駆動部と、
を含む、請求項9から13のいずれかに記載のアクチュエータドライバ。
【請求項15】
前記複数の波形のひとつは、三角波である、請求項9から13のいずれかに記載のアクチュエータドライバ。
【請求項16】
前記複数の波形のひとつは、三角関数である、請求項9から13のいずれかに記載のアクチュエータドライバ。
【請求項17】
ひとつの半導体基板に一体集積化される、請求項1から5、9から13のいずれかに記載のアクチュエータドライバ。
【請求項18】
イメージセンサと、
前記イメージセンサへの入射光路上に設けられた手ブレ補正機構と、
前記手ブレ補正機構の可動部を位置決めするアクチュエータと、
請求項1から5、9から13のいずれかに記載のアクチュエータドライバと、
を備える、カメラモジュール。
【請求項19】
請求項18に記載のカメラモジュールを備える、電子機器。
【請求項20】
手ブレ補正機構の可動部を位置決めするアクチュエータの駆動方法であって、
動画エフェクトの指令に応答して、カメラの視野が所定方向に沿って往復するように、位置指令を生成するステップと、
前記位置指令に応じた駆動信号を、前記アクチュエータに供給するステップと、
を備える、駆動方法。
【請求項21】
手ブレ補正機構の可動部を位置決めするアクチュエータの駆動方法であって、
入力データに応じて、複数の所定波形のうちのひとつを選択し、選択した所定波形を有する位置指令を生成するステップと、
前記位置指令に応じた駆動信号を、前記アクチュエータに供給するステップと、
を備える、駆動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、アクチュエータドライバおよびこれを用いたカメラモジュールに関する。
【背景技術】
【0002】
近年、スマートフォンなどの電子機器に搭載されるカメラモジュールに、光学手ぶれ補正(OIS:Optical Image Stabilizer)の採用が進められている。光学手ぶれ補正付きのカメラモジュールは、イメージセンサ、イメージセンサの撮像面と平行なXY平面内で移動可能なレンズ(手ブレ補正用レンズと称する)、レンズを位置決めするアクチュエータ、アクチュエータを制御するアクチュエータドライバを備える。ジャイロセンサなどのブレ検出手段によってブレが検出されると、アクチュエータドライバは、ブレが相殺されるようにアクチュエータを駆動し、レンズをシフトさせる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
カメラで撮影した動画に、何らかのエフェクト処理をかけたい場合、撮影後に、動画編集ソフトウェアを利用する必要がある。もし、動画撮影中にエフェクト処理をリアルタイムでかけることができれば、撮影後の編集作業を省略あるいは簡素化できる。また、撮影後の編集では、動画が長い場合に、エフェクトを付与すべきシーンを探す作業が必要となるが、動画撮影中にリアルタイムにエフェクト処理をかける場合、そのような作業は不要となる。
【0005】
本開示は係る状況においてなされたものであり、その例示的な目的のひとつは、撮影中に、エフェクト処理をかけることが可能なアクチュエータドライバおよびカメラモジュールの提供にある。
【課題を解決するための手段】
【0006】
本開示のある態様のアクチュエータドライバは、手ブレ補正機構の可動部を位置決めするアクチュエータを駆動する。アクチュエータドライバは、動画エフェクトの指令に応答して、カメラの視野が、所定方向に沿って往復するように、所定波形を有する位置指令を生成する位置指令生成部と、位置指令に応じた駆動信号をアクチュエータに供給する制御部と、を備える。
【0007】
本開示の別の態様もまた、手ブレ補正機構の可動部を位置決めするアクチュエータを駆動する。アクチュエータドライバは、複数の波形を生成可能であり、入力データに応じたひとつの波形を有する位置指令を出力する位置指令生成部と、位置指令に応じた駆動信号をアクチュエータに供給する制御部と、を備える。
【0008】
本開示のさらに別の態様は、手ブレ補正機構の可動部を位置決めするアクチュエータの駆動方法である。駆動方法は、カメラの視野が所定方向に沿って往復するように、所定波形を有する位置指令を生成するステップと、位置指令に応じた駆動信号を、アクチュエータに供給するステップと、を備える。
【0009】
本発明のさらに別の態様もまた、手ブレ補正機構の可動部を位置決めするアクチュエータの駆動方法である。駆動方法は、入力データに応じて、複数の所定波形のうちのひとつを選択し、選択した所定波形を有する位置指令を生成するステップと、位置指令に応じた駆動信号を、アクチュエータに供給するステップと、を備える。
【0010】
なお、以上の構成要素を任意に組み合わせたもの、構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明あるいは本開示の態様として有効である。さらに、この項目(課題を解決するための手段)の記載は、本発明の欠くべからざるすべての特徴を説明するものではなく、したがって、記載されるこれらの特徴のサブコンビネーションも、本発明たり得る。
【発明の効果】
【0011】
本開示によれば、撮影中に、エフェクト処理をかけることができる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、手振れ補正機能を備えるカメラモジュールのブロック図である。
【
図2】
図2は、アクチュエータドライバのブロック図である。
【
図3】
図3は、第1エフェクトを説明する図である。
【
図4】
図4は、第1エフェクトに対応する画像フレームを示す図である。
【
図5】
図5は、第1エフェクトに対応する位置指令を説明する図である。
【
図6】
図6は、第2エフェクトを説明する図である。
【
図7】
図7は、第2エフェクトに対応する画像フレームを示す図である。
【
図8】
図8は、第2エフェクトに対応する位置指令を説明する図である。
【
図9】
図9は、エフェクトに利用な波形の別の例を説明する図である。
【
図11】
図11は、第3エフェクトに対応する位置指令を説明する図である。
【発明を実施するための形態】
【0013】
(実施形態の概要)
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、1つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。この概要は、考えられるすべての実施形態の包括的な概要ではなく、すべての実施形態の重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態(実施例や変形例)または複数の実施形態(実施例や変形例)を指すものとして用いる場合がある。
【0014】
一実施形態に係るアクチュエータドライバは、手ブレ補正機構の可動部を位置決めするアクチュエータを駆動する。アクチュエータドライバは、動画エフェクトの指令に応答して、カメラの視野が所定方向に沿って往復するように、所定波形を有する位置指令を生成する位置指令生成部と、位置指令に応じた駆動信号をアクチュエータに供給する制御部と、を備える。
【0015】
この構成によれば、手ブレ補正機構を利用して、撮影中にカメラの視野を往復運動させることにより、撮影者や被写体の意思、感情、情景を想起させる動画エフェクトをかけることができる。
【0016】
一実施形態において、所定方向は、カメラの視野における垂直方向であってもよい。この場合、動画において、視野が上下方向に往復するため、頷き運動を表現できる。言い換えれば、撮影者の同意や賛同と言った心的状態を、表現することができる。また、1軸のアクチュエータのみを駆動すればよいため、制御が簡素化できる。
【0017】
一実施形態において、所定方向は、重力方向であってもよい。この場合も、動画において、視野が上下方向に往復するため、頷き運動を表現できる。
【0018】
一実施形態において、所定方向は、カメラの視野における水平方向であってもよい。この場合、動画において、視野が左右方向に往復するため、横方向の首振り運動を表現できる。言い換えれば、撮影者の否定、否同意と言った心的状態を、表現することができる。また、1軸のアクチュエータのみを駆動すればよいため、制御が簡素化できる。
【0019】
一実施形態において、所定方向は、重力方向と垂直な方向であってもよい。この場合、動画において、視野が左右方向に往復するため、横方向の首振り運動を表現できる。
【0020】
一実施形態において、所定方向は、カメラの視野における斜め方向であってもよい。これは水平方向と垂直方向の2軸について、同じ位相で往復運動を行うことで実現できる。
【0021】
一実施形態において所定方向は、円周方向であってもよい。これは水平方向と垂直方向の2軸について、位相差90°で、三角関数を利用した往復運動を行うことで実現できる。
【0022】
一実施形態において、制御部は、可動部の位置を示すフィードバック信号が、位置指令にもとづく目標値に近づくように、制御信号を生成するサーボコントローラと、制御信号に応じた駆動信号をアクチュエータに供給する駆動部と、を含んでもよい。
【0023】
一実施形態において、所定波形は、三角波にもとづいてもよい。
【0024】
一実施形態において、所定波形は、三角関数にもとづいてもよい。
【0025】
一実施形態に係るアクチュエータドライバは、手ブレ補正機構の可動部を位置決めするアクチュエータを駆動する。アクチュエータドライバは、複数の波形を生成可能であり、入力データに応じたひとつの波形を有する位置指令を出力する位置指令生成部と、位置指令に応じた駆動信号を制御部と、を備える。
【0026】
一実施形態において、複数の波形のひとつは、カメラの視野を、当該視野における垂直方向に往復させるものであってもよい。
【0027】
一実施形態において、複数の波形のひとつは、カメラの視野を、重力方向に往復させるものであってもよい。
【0028】
一実施形態において、複数の波形のひとつは、カメラの視野を、当該カメラの視野における水平方向に往復させるものであってもよい。
【0029】
一実施形態において、複数の波形のひとつは、カメラの視野を、重力方向と垂直方向に往復させるものであってもよい。
【0030】
一実施形態において、コントローラは、可動部の位置を示すフィードバック信号が、位置指令にもとづく目標値に近づくように、制御信号を生成するサーボコントローラであってもよい。
【0031】
一実施形態において、複数の波形のひとつは、三角波であってもよい。
【0032】
一実施形態において、複数の波形のひとつは、三角関数であってもよい。
【0033】
一実施形態において、アクチュエータドライバは、ひとつの半導体基板に一体集積化されてもよい。
【0034】
一実施形態に係るカメラモジュールは、イメージセンサと、イメージセンサへの入射光路上に設けられた手ブレ補正機構と、手ブレ補正機構の可動部を位置決めするアクチュエータと、アクチュエータドライバと、を備えてもよい。
【0035】
(実施形態)
以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示および発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示および発明の本質的なものであるとは限らない。
【0036】
本明細書において、「部材Aが、部材Bと接続された状態」とは、部材Aと部材Bが物理的に直接的に接続される場合のほか、部材Aと部材Bが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
【0037】
同様に、「部材Cが、部材Aと部材Bの間に設けられた状態」とは、部材Aと部材C、あるいは部材Bと部材Cが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
【0038】
図1は、手振れ補正機能を備えるカメラモジュールのブロック図である。カメラモジュール100は、イメージセンサ102、手ブレ補正レンズ104、第1アクチュエータ106_1、第2アクチュエータ106_2、アクチュエータドライバ200、位置検出素子110_1,110_2、ブレ検出手段112、CPU(Central Processing Unit)114を備える。カメラモジュール100はその他、オートフォーカス用のレンズ、アクチュエータなどを備えるが、
図1では省略している。
【0039】
理解の容易化のため、手ブレ補正レンズ104の光軸方向をZ軸にとるものとする。また、カメラモジュール100が、
図1の姿勢にあるときの、左右方向をX軸、上下方向をY軸にとるものとする。X軸を第1軸、Y軸を第2軸とも表記する。
【0040】
手ブレ補正レンズ104は、イメージセンサ102に入射する光の光路上に配置される。イメージセンサ102は、CMOSセンサやCCDであり、手ブレ補正レンズ104を透過した像を撮影する。
【0041】
手ブレ補正レンズ104は、イメージセンサ102の撮像面と平行な面内(XY平面)において、X方向およびY方向に移動可能な状態で支持されている。第1アクチュエータ106_1は、手ブレ補正レンズ104を含む可動部105を第1軸(X軸)方向に位置決めし、第2アクチュエータ106_2は、可動部105を第2軸(Y軸)方向に位置決めする。第1アクチュエータ106_1および第2アクチュエータ106_2は、リニアアクチュエータであり、たとえばボイスコイルモータが用いられる。手ブレ補正レンズ104を含む可動部105は、第1軸方向、第2軸方向それぞれについて、可動範囲が機械的に制約されている。可動範囲の端部を、メカ端と称する。第1軸方向について、正方向と負方向それぞれに、メカ端が存在し、第2軸方向についても正方向と負方向それぞれに、メカ端が存在する。
【0042】
ブレ検出手段112は、カメラモジュール100のブレを検出し、ブレを示すブレ検出信号S1を生成する。ブレ検出手段112はたとえばジャイロセンサであり、カメラモジュール100のX軸周りの角速度ωX、Y軸周りの角速度ωY、Z軸周りの角速度ωZを検出する。手ブレ補正レンズ104のX軸方向の位置が制御することにより、Y軸周りの回転(ブレ)を補正することができ、手ブレ補正レンズ104のY軸方向の位置が制御することにより、X軸周りの回転(ブレ)を補正することができる。ブレ検出信号S1は、少なくとも2軸の角速度ωX,ωYを含む。
【0043】
アクチュエータドライバ200は、ブレ検出手段112が検出したブレ検出信号S1にもとづいて、ブレが相殺されるように、手ブレ補正レンズ104の変位の目標値を示すターゲットコード(位置指令)を生成する。アクチュエータドライバ200は、内部で生成したターゲットコードにもとづいて、第1アクチュエータ106_1および第2アクチュエータ106_2それぞれに対する駆動信号S2_1,S2_2を生成する。アクチュエータ106_i(i=1,2)は、対応する駆動信号S2_iに応じて手ブレ補正レンズ104を位置決めする。
【0044】
手振れ補正では、手ブレ補正レンズ104を正確に位置決めする必要があるため、フィードバック制御(クローズドループ制御)が採用される。位置検出素子110_1,110_2はそれぞれ、手ブレ補正レンズ104の第1軸方向の位置(変位量)PXおよび第2軸方向の位置(変位量)PYを示す位置検出信号S3_1,S3_2を生成する。位置検出素子110はたとえばホールセンサなどを用いることができる。
【0045】
アクチュエータドライバ200は、手ブレが補正されるように、第1アクチュエータ106_1および第2アクチュエータ106_2を駆動する。具体的には第1モードにおいて、アクチュエータドライバ200は、第1位置検出信号S3_1の示す手ブレ補正レンズ104の位置PXが、ターゲットコードが示す目標位置PX(REF)と一致するように、駆動信号S2_1をフィードバック制御する。同様に、アクチュエータドライバ200は、第2位置検出信号S3_2の示す手ブレ補正レンズ104の位置PYが、ターゲットコードが示す目標位置PY(REF)と一致するように、駆動信号S2_2をフィードバック制御する。
【0046】
以上がカメラモジュール100全体の基本構成である。ここで説明した手ブレ補正に加えて、アクチュエータドライバ200は、動画撮影中に、手ブレ補正機構を利用した動画エフェクトを付与する機能を有する。
【0047】
具体的には、アクチュエータドライバ200は、CPU114あるいはその他のプロセッサ(上位コントローラという)から、エフェクト付与の指示を受けると、手ブレ補正機構を利用して、カメラの視野を、所定方向に沿って往復させ、または円周方向に移動させる。所定方向は、垂直方向であってもよいし、水平方向であってもよいし、斜め方向であってもよい。また円周方向の運動も、広義の往復運動に含まれる。
【0048】
以上がカメラモジュール100の全体の構成である。続いて、アクチュエータドライバ200について説明する。
【0049】
図2は、アクチュエータドライバ200のブロック図である。アクチュエータドライバ200は、制御部210および位置指令生成部212を含む。ジャイロセンサ112Aは、
図1のブレ検出手段112であり、カメラモジュール100の角速度を検出する。上位コントローラ116は、
図1のCPU114あるいは別のコントローラである。
【0050】
アクチュエータドライバ200は、2つのモードで動作する。第1モードは、通常の手ブレ補正を行うモードである。第2モードは、手ブレ補正機構を利用したエフェクト処理をかけるモードである。なお、第2モードにおいて、通常の手ブレ補正動作は行ってもよいし、行わなくてもよい。
【0051】
位置指令生成部212は、第1モードにおいて、ジャイロセンサ112Aが生成するブレ検出信号S1を受け、X軸およびY軸それぞれについて、ブレを相殺することができる手ブレ補正レンズ104の位置を示す位置指令XREF,YREFを生成する。たとえば位置指令生成部212は、X軸周りの角速度ωXを積分して所定のゲインを乗算することにより、位置指令XREFを生成する。同様に、位置指令生成部212は、Y軸周りの角速度ωYを積分して所定のゲインを乗算することにより、位置指令YREFを生成する。
【0052】
位置指令生成部212には、上位コントローラ116から、動画エフェクトの指令である入力データS5が入力される。位置指令生成部212は、入力データS5に応答して第2モードとなる。位置指令生成部212は、第2モードにおいて、カメラの視野が所定方向に沿って往復するように、位置指令XREF,YREFを生成する。入力データS5は、視野の移動方向を示すデータを含むことができる。
【0053】
制御部210は、第1サーボコントローラ230_1、第2サーボコントローラ230_2、第1位置検出部240_1、第2位置検出部240_2、第1駆動部220_1、第2駆動部220_2を備える。
【0054】
位置検出素子110_1が生成する位置検出信号S3_1は、第1位置検出部240_1に入力される。第1位置検出部240_1は、位置検出信号S3_1にもとづいて、アクチュエータ106_1の可動子の位置を示すフィードバック信号XFBを生成する。
【0055】
同様に、位置検出素子110_2が生成する位置検出信号S3_2は、第2位置検出部240_2に入力される。第2位置検出部240_2は、位置検出信号S3_2にもとづいて、アクチュエータ106_2の可動子の位置を示すフィードバック信号YFBを生成する。フィードバック信号XFB,YFBはそれぞれ、可動部105のX方向、Y方向の位置(X座標,Y座標)を示す。
【0056】
第1サーボコントローラ230_1は、フィードバック信号XFBと位置指令XREFの誤差がゼロに近づくように、制御信号S4_1を生成する。第1駆動部220_1は、制御信号S4_1に応じた駆動信号S2_1を生成する。制御信号S4_1はたとえば電流指令であり、第1駆動部220_1は、制御信号S4_1に応じた電流量の駆動電流を、第1アクチュエータ106_1に供給する。あるいは制御信号S4_1は電圧指令であり、第1駆動部220_1は、制御信号S4_1に応じた電圧レベルの駆動電圧を、第1アクチュエータ106_1に供給する。サーボコントローラ230は、フィードバック信号XFBと位置指令XREFの誤差を生成する誤差検出器と、誤差を入力とするPI(比例・積分)補償器と、を含む。補償器の種類は特に限定されず、P制御やPID(比例・積分・微分)制御を利用してもよい。
【0057】
同様に、第2サーボコントローラ230_2は、位置検出素子110_2が生成する位置検出信号S3_2を、可動部105のY座標を示すフィードバック信号YFBとして受ける。第2サーボコントローラ230_2は、フィードバック信号YFBと位置指令YREFの誤差がゼロに近づくように、制御信号S4_2を生成する。第2駆動部220_2は、制御信号S4_2に応じた駆動信号S2_2を生成する。
【0058】
図2において、アクチュエータ106_1に対応するアクチュエータドライバ200の構成(220_1,230_1,240_1)と、アクチュエータ106_2に対応するアクチュエータドライバ200の構成(220_2,230_2,240_2)は同様である。
【0059】
以上がアクチュエータドライバ200の構成である。続いてアクチュエータドライバ200の第2モードで実現可能ないくつかのエフェクトを説明する。
【0060】
(第1エフェクト)
図3は、第1エフェクトを説明する図である。
図3には、カメラモジュール100および被写体2を横から見た様子が示される。D1,D2は、カメラの視線位置を示しており、FOV1,FOV2は、視線位置D1,D2に対応する視野を表す。
【0061】
第1エフェクトでは、カメラの視野が、下方向に往復するように、アクチュエータドライバ200が動作する。エフェクト開始時の時刻t0に、視線位置はD1であり、時刻t1に、視線位置D2まで移動し、エフェクト終了時の時刻t2に、視線位置D1に戻る。その結果、視野は、時刻t0にFOV1であり、t0~t1の間、FOV1からFOV2に向かって移動し、t1~t2の間に、FOV2からFOV1に向かって戻る。
【0062】
図4は、第1エフェクトに対応する画像フレームを示す図である。画像フレーム内の被写体2の位置は、t
0~t
1の間、上方向に移動し、t
1~t
2の間、元の位置に向かって下方向に移動する。
【0063】
図5は、第1エフェクトに対応する位置指令を説明する図である。時刻t
0に、第1エフェクトのトリガとなる入力データS5が発生する。これに応答して、位置指令生成部212は、垂直方向の位置指令Y
REFを、所定の波形にしたがって変化させる。X方向の位置指令X
REFは変化しない。この例では、波形は三角波であるが、後述するように、他の波形を利用してもよい。
【0064】
第1エフェクトによれば、あたかも撮影者が頷いているかのように、動画中の被写体2の位置を変化させることができる。これにより、同意や賛同、相づちといった感情や意思を表現できる。こうした感情や意思の程度は、視線移動の振幅によって制御できる。
【0065】
(第2エフェクト)
図6は、第2エフェクトを説明する図である。
図6には、被写体2と、カメラモジュール100の視野FOVが示される。第2エフェクトでは、カメラの視野FOVが、左右方向に往復するように、アクチュエータドライバ200が動作する。時刻t
0において、視野FOV1で撮影されており、t
0~t
1の間、FOV1からFOV2に向かって視野が右方向に移動し、t
1~t
2の間、FOV2からFOV1に向かって左方向に視野が移動し、t
2~t
3の間、FOV1からFOV3に向かって左方向に視野が移動し、t
3~t
4の間、FOV3からFOV1に向かって右方向に視野が移動する。
【0066】
図7は、第2エフェクトに対応する画像フレームを示す図である。画像フレーム内の被写体2の位置は、t
0~t
1の間、左に向かって移動し、t
1~t
3の間、右方向に向かって移動する。t
3~t
4の間、被写体2の位置は元の位置に向かって左方向に移動する。
【0067】
図8は、第2エフェクトに対応する位置指令を説明する図である。時刻t
0に、第2エフェクトのトリガとなる入力データS5が発生する。これに応答して、位置指令生成部212は、水平方向の位置指令X
REFを、所定の波形にしたがって変化させる。Y方向の位置指令X
REFは変化しない。
【0068】
第2エフェクトによれば、あたかも撮影者が、首を横に振っているかのように、動画中の被写体2の位置を変化させることができる。これにより、否定や拒否といった感情や意思を表現できる。こうした感情や意思の程度は、視線移動の振幅によって制御できる。
【0069】
図9は、エフェクトに利用な波形の別の例を説明する図である。P
REFは、X
REFまたはY
REFを示す。波形WAV1は、ガウス関数にもとづいている。波形WAV2は、三角関数(sin,cos)にもとづいている。波形WAV3は、台形波にもとづいている。波形WAV4は、のこぎり波にもとづいている。周期の個数は増減が可能であり、また波形の極性も適宜反転させることができる。
【0070】
(第3エフェクト)
図10は、第3エフェクトを説明する図である。第3エフェクトでは、視野FOVが円運動する。
【0071】
図11は、第3エフェクトに対応する位置指令を説明する図である。2軸の位置指令X
REFとY
REFが、位相差90°の三角関数で規定される。具体的には、X
REFはsin関数であり、Y
REFはcos関数である。
【0072】
第3エフェクトによれば、水平方向と垂直方向の2軸について、位相差90°で、三角関数を利用した往復運動を行うことで、視線を円に沿って移動することができる。X方向のY方向の振幅が異なる場合、楕円運動とすることができる。
【0073】
(第5エフェクト)
第5エフェクトでは、往復運動の角度を規定するパラメータφが導入され、XREF=sinφ・PREFであり、YREF=cosφ・PREFとされる。これにより、パラメータφに応じた任意の方向に、往復運動を行うことができる。
【0074】
(第5エフェクト)
図12は、第5エフェクトを説明する図である。これまでの例では、視野FOVがロールしていないことを前提としていたが、実際には、カメラが傾いて視野FOVがロールし、画像の垂直方向と、重力方向gが一致しない可能性がある。第5エフェクトでは、カメラの視野が重力方向に往復するように、アクチュエータドライバ200が動作する。
【0075】
カメラの垂直軸と、重力方向gのなす角をθとする。重力方向の視野の目標移動量をΔVとするとき、視野FOVを、カメラの水平方向にΔX=ΔV×sinθ、カメラの垂直方向にΔY=ΔV×cosθ、動かせばよい。
【0076】
複数のエフェクトをサポートする場合、位置指令生成部212は、複数のエフェクトに対応する複数の波形を生成可能に構成される。そして位置指令生成部212には、エフェクトを指定する入力データS5が入力される。位置指令生成部212は、入力データS5に応じたひとつの波形を有する位置指令値XREF,YREFを生成する。
【0077】
これにより、カメラの姿勢がロールしている場合であっても、重力方向に往復する動きを実現できるため、第1エフェクトと同様の効果を得ることができる。
【0078】
(第6エフェクト)
図13は、第6エフェクトを説明する図である。第6エフェクトでは、カメラの視野が、重力と垂直方向に往復するように、アクチュエータドライバ200が動作する。重力と垂直な方向の視野の目標移動量をΔHとするとき、視野FOVを、カメラの水平方向にΔX=ΔH×cosθ、カメラの垂直方向にΔY=ΔH×sinθ、動かせばよい。
【0079】
これにより、カメラの姿勢がロールしている場合であっても、横方向に往復する動きを実現できるため、第2エフェクトと同様の効果を得ることができる。
【0080】
第5エフェクトおよび6は、第5エフェクトにおけるパラメータφを、重力方向θにもとづいて決定したものと理解できる。
【0081】
図14は、位置指令生成部212の構成例を示す図である。位置指令生成部212は、波形発生器250、重力検出部252、ゲイン回路254,256を含む。波形発生器250は、入力データS5に応答して、指示されたエフェクトに対応する波形WAVを有する位置指令値P
REFを生成する。重力検出部252は、加速度センサからの情報にもとづいて、重力方向θを検出する。
【0082】
ゲイン回路254は、位置指令値PREFに、ゲインαを乗算し、X方向の位置指令値XREFを生成する。ゲイン回路256は、位置指令値PREFに、ゲインβを乗算し、Y方向の位置指令値YREFを生成する。
【0083】
たとえば、α=0,β≠0とすれば、第1エフェクトを実現できる。また、α≠0,β=0とすれば、第2エフェクトを実現できる。
【0084】
またα=sinφ、β=cosφとすれば、第5エフェクトを実現できる。
【0085】
第5エフェクトの場合、α=sinθ、β=cosθとすればよい。第6エフェクトの場合、α=cosθ、β=sinθとすればよい。
【0086】
(変形例)
上述した実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なことが当業者に理解される。以下、こうした変形例について説明する。
【0087】
(変形例1)
実施形態では、手ブレ補正レンズ104による手ブレ補正機構を有するカメラモジュール100について説明したが、手ブレ補正機構はレンズシフトによるものに限定されない。たとえばペリスコープレンズを備えるカメラモジュールの場合、プリズムの制御によって手ブレ補正を実現してもよい。あるいは、センサシフト方式のカメラモジュールの場合、イメージセンサを位置決めすればよい。
【0088】
(変形例2)
手ブレ補正機構を利用したエフェクトを付与する際に、エフェクトに対応する効果音を、同時に録音してもよい。視覚的なエフェクトと効果音の組み合わせによって、さまざまな心理的な状態を表現できるようになる。
【0089】
(変形例3)
実施形態では、クローズドループ型の手ブレ補正機構を説明したが、オープンループ型の手ブレ補正機構にも本開示は適用できる。
【0090】
本開示に係る実施形態について、具体的な用語を用いて説明したが、この説明は、理解を助けるための例示に過ぎず、本開示あるいは請求の範囲を限定するものではない。本発明の範囲は、請求の範囲によって規定されるものであり、したがって、ここでは説明しない実施形態、実施例、変形例も、本発明の範囲に含まれる。
【符号の説明】
【0091】
100 カメラモジュール
102 イメージセンサ
104 手ブレ補正レンズ
105 可動部
106 アクチュエータ
110 位置検出素子
112 ブレ検出手段
112A ジャイロセンサ
114 CPU
116 上位コントローラ
200 アクチュエータドライバ
210 制御部
212 位置指令生成部
230_1 第1サーボコントローラ
230_2 第2サーボコントローラ
220 駆動部
220_1 第1駆動部
220_2 第2駆動部
230 サーボコントローラ
240 位置検出部
250 波形発生器
252 重力検出部
254,256 ゲイン回路