特開 2024-72585 半導体装置、補正支援方法、及び、半導体システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072585

(43)【公開日】2024-05-28

(54)【発明の名称】半導体装置、補正支援方法、及び、半導体システム

(51)【国際特許分類】

   G03B 5/00 20210101AFI20240521BHJP

   G02B 7/28 20210101ALI20240521BHJP

   H04N 23/68 20230101ALI20240521BHJP

   H04N 23/55 20230101ALI20240521BHJP

   H04N 23/60 20230101ALI20240521BHJP

【ＦＩ】

G03B5/00 K

G02B7/28 N

H04N23/68

H04N23/55

H04N23/60 500

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022183502

(22)【出願日】2022-11-16

(71)【出願人】

【識別番号】302062931

【氏名又は名称】ルネサスエレクトロニクス株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】長村 有恒

(72)【発明者】

【氏名】坂田 雅志

【テーマコード（参考）】

2H151

2K005

5C122

【Ｆターム（参考）】

2H151CE30

2H151EB00

2K005CA11

2K005CA13

2K005CA14

2K005CA22

2K005CA23

2K005CA27

2K005CA38

2K005CA57

5C122EA41

5C122FH04

5C122HA75

5C122HA82

5C122HB01

(57)【要約】

【課題】電子的手振れ補正による補正精度を改善すること。
【解決手段】半導体装置（４０）は、撮像装置（２０）と、撮像装置（２０）により撮影された画像データ（ｄ３）を用いて撮影におけるブレを電子的に補正するための電子的補正部（３０）と、動き検出センサ（１０）と、記憶部（４２）とを備える端末（１）に搭載され、動き検出センサ（１０）から取得した検出データ（ｄ１）に対して所定の演算処理を行う演算部（４１１）と、演算処理の結果を電子的補正部（３０）による補正のための補正用情報（４２１）として記憶部（４２）に格納する格納部（４１２）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置と、当該撮像装置により撮影された画像データを用いて撮影におけるブレを電子的に補正するための電子的補正部と、動き検出センサと、記憶部とを備える端末に搭載され、
前記動き検出センサから取得した検出データに対して所定の演算処理を行う演算部と、
前記演算処理の結果を前記電子的補正部による補正のための補正用情報として前記記憶部に格納する格納部と、
を備える半導体装置。

【請求項2】

前記演算部は、
前記検出データに基づいて前記ブレが光学的に補正し切れなかった情報を示す未補正情報を算出する処理を、前記演算処理として行い、
前記格納部は、前記未補正情報を前記補正用情報に含めて前記記憶部に格納する
請求項１に記載の半導体装置。

【請求項3】

前記演算部は、
前記検出データから変換された前記撮像装置のレンズの位置情報と、当該位置情報に基づき前記レンズの位置が光学的に補正された光学的補正後情報との差分を、前記未補正情報として算出する
請求項２に記載の半導体装置。

【請求項4】

前記演算部は、
前記動き検出センサにより検出された角速度データ及び加速度データを、前記検出データとして取得し、
前記角速度データから第１の角度データへ変換し、
前記加速度データから変換された第２の角度データと、前記撮像装置のオートフォーカス結果に基づく距離データとに基づき、第３の角度データへ変換し、
前記第１の角度データと前記第３の角度データとに基づき、前記レンズの位置情報を算出する
請求項３に記載の半導体装置。

【請求項5】

前記演算部は、
前記撮像装置と前記動き検出センサとの少なくともいずれかの状態に起因した調整を前記検出データに対して行うことにより、前記演算処理を行う
請求項１に記載の半導体装置。

【請求項6】

前記演算部は、
前記ブレに対する光学的な補正処理と並列して前記演算処理を行う
請求項１に記載の半導体装置。

【請求項7】

撮像装置と、当該撮像装置により撮影された画像データを用いて撮影におけるブレを電子的に補正するための電子的補正部と、動き検出センサと、記憶部とを備える端末に搭載された半導体装置が、
前記動き検出センサから取得した検出データに対して所定の演算処理を行い、
前記演算処理の結果を前記電子的補正部による補正用情報として前記記憶部に格納する
補正支援方法。

【請求項8】

撮像装置と、
前記撮像装置により撮影された画像データを用いて撮影におけるブレを電子的に補正するための電子的補正部と、
動き検出センサと、
記憶部と、
前記動き検出センサから取得した検出データを用いて前記ブレを光学的に補正するための光学的補正部と、
を備え、
前記光学的補正部は、
前記検出データに対して所定の演算処理を行う演算部と、
前記演算処理の結果を前記電子的補正部による補正用情報として前記記憶部に格納する格納部と、
を備える半導体システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、半導体装置、補正支援方法、及び、半導体システムに関する。

【背景技術】

【0002】

携帯型端末に搭載されたカメラモジュールの撮影時の手振れ補正方式として、光学式手振れ補正（Optical image stabilizer（ＯＩＳ））や電子的手振れ補正（Electrical image stabilizer（ＥＩＳ））がある。

【0003】

特許文献１には、光学式手振れ補正に関する技術が開示されている。特許文献１にかかるカメラモジュールは、光学式手振れ補正量と、カメラモジュールの傾きでの傾き補正量等を用いて補正レンズが光軸に垂直な面内でシフトするように補正レンズの位置を制御するものである。

【0004】

また、電子的手振れ補正では、カメラにより撮影された画像データを用いて電子的に画像データが補正される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１０６０５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、電子的手振れ補正による補正精度の改善が求められていた。

【0007】

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0008】

一実施の形態によれば、撮像装置の動きが検出された検出データに対する所定の演算処理の結果を、電子的な手振れ補正のための補正用情報として提供する。

【発明の効果】

【0009】

前記一実施の形態によれば、電子的手振れ補正による補正精度を向上することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態１にかかる半導体装置を搭載した端末の全体構成を示すブロック図である。

【図2】図２は、本実施形態１にかかる補正支援方法の流れを示すシーケンス図である。

【図3】図３は、本実施形態２にかかる半導体装置を搭載した端末の構成を示すブロック図である。

【図4】図４は、本実施形態２にかかる制御部（光学的補正部）の内部構成と周辺構成との関係を説明するためのブロック図である。

【図5】図５は、本実施形態２にかかる光学的補正部における補正支援処理の流れを示すフローチャートである。

【図6】図６は、本実施形態２にかかる未補正情報の概念を説明するための図である。

【図7】図７は、本実施形態３にかかる半導体装置を搭載した端末の構成を示すブロック図である。

【図8】図８は、本実施形態３にかかる演算部のうち変換部の内部構成と周辺構成との関係を説明するためのブロック図である。

【発明を実施するための形態】

【0011】

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0012】

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0013】

＜実施形態１＞
図１は、本実施形態１にかかる半導体装置４０を搭載した端末１の全体構成を示すブロック図である。端末１は、撮像装置２０を備えた携帯型の情報処理端末であり、半導体システムと呼ぶこともできる。端末１は、例えば、スマートフォン、デジタルカメラ機等である。端末１は、動き検出センサ１０、撮像装置２０、電子的補正部３０、並びに、制御部４１及び記憶部４２を含む半導体装置４０を備える。

【0014】

動き検出センサ１０は、撮像装置２０の振動、回転、傾き等の動きを検出し、振動や回転における角速度や傾きに伴う加速度等を測定して、角速度や加速度等の少なくとも一部を検出データｄ１として半導体装置４０へ出力する。動き検出センサ１０は、慣性センサとも呼ばれ、振動検出センサであるジャイロセンサや傾き検出センサである加速度センサ等を含んでも良い。

【0015】

撮像装置２０は、光学系、カメラモジュールとも呼ばれる。撮像装置２０は、撮影した画像データｄ３を電子的補正部３０へ出力する。

【0016】

電子的補正部３０は、撮像装置２０により撮影された画像データｄ３を用いて撮影におけるブレ（手振れ、blur）を電子的に補正する。本実施形態にかかる電子的補正部３０は、半導体装置４０内の記憶部４２から、後述する補正用情報４２１を取得して、補正用情報４２１を用いて画像データｄ３の電子的補正を行う。尚、電子的補正部３０は、半導体装置や情報処理装置の中の制御装置、メモリ、電子的補正用のプログラムで実現される。つまり、電子的補正部３０は、制御装置が電子的補正用のプログラムをメモリへ読み込み、制御装置がプログラムを実行することで、機能が実現される。

【0017】

半導体装置４０は、制御部４１と記憶部４２を少なくとも備える。尚、半導体装置４０は、他の一般的な構成も備えるが図示及び説明を省略する。記憶部４２は、メモリ等の記憶素子で実現される。記憶部４２は、補正用情報４２１及びプログラム４２２を記憶する。補正用情報４２１は、撮像装置２０による撮影時に生じた手振れについて、電子的補正部３０による電子的な補正のために用いられる情報である。プログラム４２２は、本実施形態にかかる補正支援方法の処理が実装されたコンピュータプログラムである。

【0018】

制御部４１は、ＣＰＵ等の制御装置である。制御部４１は、プログラム４２２を実行することにより、演算部４１１及び格納部４１２等の機能を実現する。演算部４１１は、動き検出センサ１０から取得した検出データｄ１に対して所定の演算処理を行う。所定の演算処理とは、例えば、検出データｄ１に対する積分演算、つまり、角速度データから角度データへの変換処理、他の検出データとの差分の算出等である。但し、所定の演算処理はこれらに限定されない。格納部４１２は、演算部４１１による演算処理の結果を、電子的補正部３０による補正のための補正用情報４２１として記憶部４２に格納する。

【0019】

図２は、本実施形態１にかかる補正支援方法の流れを示すシーケンス図である。前提として、端末１を携帯するユーザは、撮像装置２０を用いて撮影を行う。これに応じて、電子的補正部３０は、撮像装置２０により撮影された画像データｄ３を取得する（Ｓ１０）。また、動き検出センサ１０は、撮像装置２０の動きを検出し、検出データｄ１として半導体装置４０へ出力する。これに応じて、半導体装置４０の制御部４１は、動き検出センサ１０から検出データｄ１を取得する（Ｓ１１）。尚、電子的補正部３０は、所定のタイミングで半導体装置４０に対して補正用情報の演算指示を出力してもよい。

【0020】

次に、制御部４１の演算部４１１は、検出データｄ１に対する所定の演算処理を行い（Ｓ１２）、演算処理結果ｄ４を格納部４１２へ出力する。そして、格納部４１２は、演算処理結果ｄ４を補正用情報４２１として記憶部４２に格納する（Ｓ１３）。つまり、演算処理結果ｄ４は、補正用情報４２１として記憶部４２に保存される。

【0021】

その後、電子的補正部３０は、記憶部４２に対して補正用情報４２１の読出し要求を送信する（Ｓ１４）。これに応じて、電子的補正部３０は、記憶部４２から補正用情報４２１を読み出す（Ｓ１５）。尚、電子的補正部３０は、ステップＳ１４の読出し要求の送信をせずに、直接、記憶部４２から補正用情報４２１を読み出してもよい。そして、電子的補正部３０は、画像データｄ３と補正用情報４２１を用いて、撮影におけるブレを電子的に補正する（Ｓ１６）。

【0022】

このように、本実施形態では、撮像装置２０の動きが検出された検出データｄ１に対する所定の演算処理の結果を、電子的な手振れ補正のための補正用情報として提供する。そのため、電子的手振れ補正が単独では取得できないデータを用いて補正を行うことができるため、電子的手振れ補正による補正精度を向上することができる。

【0023】

＜実施形態２＞
ここで、本実施形態に関わる関連技術について補足する。カメラモジュールの撮影時の手振れ補正方式には、上述したように、光学式手振れ補正（ＯＩＳ）と電子的手振れ補正（ＥＩＳ）とがある。ＯＩＳは、動き検出センサから取得したデータから手振れが発生している方向や大きさなどの情報を取得し、その情報から手振れを補正するために必要となるレンズを移動させる目標位置情報の計算を行い、撮像装置内のレンズの位置センサ等から検出したレンズ位置を前記目標位置情報と一致するようにレンズ位置を制御することにより、手振れを補正する技術である。尚、レンズ位置は、レンズの位置センサ以外の手段によって検出される場合もある。また、近年ではレンズを移動させて補正を行う方式以外にもカメラモジュール本体を移動させる方式や、カメライメージセンサを移動させることにより、手振れ補正を実施する方式等様々な方式が存在する。本開示にかかる技術はこれらの全ての方式に適応可能である。ＥＩＳは、撮像装置の撮影可能領域よりも、有効画素領域を狭くして撮影を行わせ、先に撮影した画像領域と、後に撮影した画像領域とを比較し、撮影可能領域内での移動量を算出する。そして、ＥＩＳは、算出した移動量に併せて撮像装置の有効画素領域を調整することで、電子的に補正を行う技術である。しかしながら、ＥＩＳでは、有効画素領域がイメージセンサの一部分しか使用されないため、イメージセンサの能力を十分に活用できていなかった。

【0024】

ＯＩＳとＥＩＳとは当初、独立して動作する技術であったが、補正精度を向上させるために、ＯＩＳとＥＩＳを連携させることが求められている。例えば、ＯＩＳ側で取得や演算されたデータを、メモリを介してＥＩＳ側へ提供することが考えられる。ＯＩＳ側から提供されるデータとしては、例えば、ＯＩＳで取得される検出データそのもの（例えば、ジャイロセンサのジャイロＲＡＷデータ）、検出データから変換されたレンズ目標位置情報、または、撮像装置で検出されたレンズ位置情報等が考えられる。しかしながら、これらの提供データは、そのままではＥＩＳの補正に利用できず、ＥＩＳ側で加工、つまり何らかの演算処理が必要となる。また、ＥＩＳ側の補正精度を向上させるためには、提供データの種類を増やすことになる。例えば、ＯＩＳ側のメモリに、検出データ、レンズ目標位置情報、レンズ位置情報等の全てを格納することになる。これによって、ＥＩＳ側は、当該メモリを介して提供データを取得可能となる。但し、転送量が多くなり、通信負荷が増大し得る。また、ＯＩＳからＥＩＳへのデータ転送は、画像撮影中にリアルタイムに行う必要があり、転送量が大量になると、他の処理への影響が生じ得る。そのため、ＯＩＳ側からＥＩＳ側へのデータ転送量を抑制しつつ、連携することにより、ＥＩＳの補正精度を向上させる技術が求められている。以上のことから、以下ではこれらの課題の少なくとも一つを解決するための本実施形態について説明する。

【0025】

図３は、本実施形態２にかかる半導体装置４０ａを搭載した端末１ａの構成を示すブロック図である。端末１ａは、上述した端末１の変形例であり、半導体システムの一例である。端末１ａは、ジャイロセンサ１０ａ、撮像装置２０、半導体装置３０ａ及び４０ａを少なくとも備える。

【0026】

ジャイロセンサ１０ａは、上述した動き検出センサ１０の一例である。ジャイロセンサ１０ａは、撮像装置２０の回転角速度を測定し、角速度データｄ１１として半導体装置４０ａへ出力する。尚、端末１ａは、図示しない構成として、ジャイロセンサ１０ａ以外の動き検出センサ、例えば、加速度センサをさらに備えていても良い。

【0027】

撮像装置２０は、実施形態１と同様に、撮影した画像データｄ３を半導体装置３０ａへ出力する。撮像装置２０は、具体的な構成として、アクチュエータ２１、レンズ２２及びレンズ位置検出センサ２３を備える。尚、レンズ位置検出センサ２３は、アクチュエータ２１内に設けられていても良いが、説明の便宜上、別構成として記載している。アクチュエータ２１は、半導体装置４０ａから受け付けたレンズ制御信号ｄ２１に応じて、レンズ２２の位置を制御する。尚、レンズ制御信号ｄ２１は、アクチュエータ２１を駆動するための電圧又は電流を指すものとしてもよい。例えば、アクチュエータ２１は、電圧の変化に応じてレンズ２２をシフトさせてもよい。レンズ位置検出センサ２３は、アクチュエータ２１により制御されたレンズ２２の位置を検出し、レンズ位置検出データｄ２２を半導体装置４０ａへ出力する。尚、撮像装置２０は、レンズ位置検出センサ２３を備えなくても良い。例えば、撮像装置２０は、独立したレンズ位置検出センサ２３を用いずに、アクチュエータ２１内のレンズ駆動ワイヤに流れる電流値を測定することで、仮想的にレンズ位置を計算して、レンズ位置検出データｄ２２として半導体装置４０ａへ出力してもよい。具体的には、撮像装置２０は、レンズ駆動ワイヤとしての形状記憶合金に対して電流を流すことで、形状記憶合金の伸び縮みによってレンズの位置を制御してもよい。

【0028】

半導体装置３０ａは、ＥＩＳの機能を実現する構成の一例である。半導体装置３０ａは、記憶部３１及び制御部（電子的補正部）３２を少なくとも備える。尚、半導体装置３０ａは、他の一般的な構成も備えるが図示及び説明を省略する。記憶部３１は、メモリ等の記憶素子で実現される。記憶部３１は、画像データ３１１及びプログラム３１２を記憶する。画像データ３１１は、撮像装置２０により撮影された画像データｄ３が記憶部３１に保存されたものである。プログラム３１２は、本実施形態にかかるＥＩＳの処理が実装されたコンピュータプログラムである。すなわち、プログラム３１２は、通常のＥＩＳの処理に加えて、補正用情報４２１ａを用いた電子的補正の処理が実装されている。制御部３２は、ＣＰＵ等の制御装置である。制御部３２は、プログラム３１２を実行することにより、本実施形態にかかるＥＩＳの処理を実現する。

【0029】

半導体装置４０ａは、上述した半導体装置４０の変形例であり、ＯＩＳの機能を実現する構成の一例である。そのため、本実施形態にかかる半導体装置４０ａは、通常のＯＩＳの処理と共に、上述した実施形態１にかかる補正支援処理も行う。半導体装置４０ａは、制御部（光学的補正部）４１ａと記憶部４２を少なくとも備える。記憶部４２は、補正用情報４２１ａ及びプログラム４２２ａを記憶する。補正用情報４２１ａは、後述する未補正情報ｄ４３を少なくとも含む。そのため、補正用情報４２１ａは、未補正情報ｄ４３そのものであってもよい。プログラム４２２ａは、本実施形態にかかる補正支援方法の処理が実装されたコンピュータプログラムである。

【0030】

制御部４１ａは、プログラム４２２ａを実行することにより、演算部４１１ａ及び格納部４１２ａ等の機能を実現する。演算部４１１ａは、ジャイロセンサ１０ａから取得した角速度データｄ１１と、レンズ位置検出センサ２３から取得したレンズ位置検出データｄ２２とに対して所定の演算処理を行う。演算部４１１ａは、演算処理結果として、レンズ制御信号ｄ２１と未補正情報ｄ４３を導出する。所定の演算処理は、既存のＯＩＳの処理を含んでも良い。演算部４１１ａは、レンズ制御信号ｄ２１をアクチュエータ２１へ出力する。また、演算部４１１ａは、未補正情報ｄ４３を補正用情報４２１ａに含めて格納部４１２ａへ出力する。格納部４１２ａは、少なくとも未補正情報ｄ４３を補正用情報４２１ａとして記憶部４２へ格納する。尚、格納部４１２ａは、未補正情報ｄ４３以外の演算処理結果、又は、検出データ等を補正用情報４２１ａに含めても良い。また、制御部４１ａの内部構成及び詳細な処理は、後述する。

【0031】

図４は、本実施形態２にかかる制御部（光学的補正部）４１ａの内部構成と周辺構成との関係を説明するためのブロック図である。制御部４１ａは、演算部４１１ａ及び格納部４１２ａに加えて、モータドライバ４１３、ＡＤＣ４１４及びＨａｌｌ Ａｍｐ４１５を備える。演算部４１１ａは、変換部（第１調整部）５１、サーボ制御部５３及び（第２調整部５２を含む）補正エラー算出部５４を備える。尚、モータドライバ４１３、ＡＤＣ４１４、Ｈａｌｌ Ａｍｐ４１５、及び、サーボ制御部５３は、公知のものを用いても良い。変換部５１は、ジャイロセンサ１０ａから取得した角速度データｄ１１を１回積分して角度に変換し、角度からレンズ目標位置情報ｄ４１へ変換し、レンズ目標位置情報ｄ４１をサーボ制御部５３及び補正エラー算出部５４へ出力する。ここで、変換部５１は、角速度データｄ１１からレンズ目標位置情報ｄ４１への変換時に、スケールの調整、オフセットの調整、極性の調整の少なくとも一部を行っても良い。例えば、変換部５１は、レンズ目標位置情報ｄ４１と後述するレンズ位置情報ｄ４２とのスケールを合わせるための調整を行う。また、変換部５１は、ジャイロセンサ１０ａの個体値に基づく調整値としてオフセットを用いてレンズ目標位置情報ｄ４１を調整する。また、ジャイロセンサ１０ａの取り付け向きと撮像装置２０の取り付け向きにより極性変更が必要な場合には、変換部５１は、変換時に極性の変更を行う。

【0032】

サーボ制御部５３は、加減算部５３１とＰＩＤ（Proportional Integral Differential）５３２を備える。加減算部５３１は、レンズ目標位置情報ｄ４１と、（第２調整部５２による調整後の）レンズ位置情報ｄ４２との位置情報の差分等を算出し、ＰＩＤ５３２へ出力する。ＰＩＤ５３２は、加減算部５３１の出力結果に対して比例、積分、微分等の処理を行い、レンズ２２の位置の補正量を算出し、モータドライバ４１３へ出力する。サーボ制御部５３は、レンズ目標位置情報ｄ４１とレンズ位置情報ｄ４２との差分を０に近づけるように、いわゆるサーボ制御を行う。

【0033】

モータドライバ４１３は、ＰＩＤ５３２の出力結果から、レンズ２２の位置を移動させるためのレンズ制御信号ｄ２１へ変換し、レンズ制御信号ｄ２１をアクチュエータ２１へ出力する。尚、「レンズ制御信号ｄ２１への変更及び出力」とは、モータドライバ４１３がアクチュエータ２１を駆動するための電圧（又は電流）を制御することを指すものとする。例えば、モータドライバ４１３は、アクチュエータ２１を大きく動かす場合、電圧を上げて、反対方向に動かす場合、電圧を反対方向に制御する。また、モータドライバ４１３は、サーボ制御部５３からの出力（デジタル）信号からアナログ信号（電圧や電流）に変換して、レンズ２２をアナログ的に制御するものといえる。

【0034】

Ｈａｌｌ Ａｍｐ４１５は、レンズ位置検出センサ２３により検出されたレンズ位置検出データｄ２２を取得し、増幅してＡＤＣ４１４へ出力する。ＡＤＣ４１４は、レンズ位置検出データｄ２２をアナログ信号からデジタル信号に変換し、レンズ位置情報ｄ４２として第２調整部５２へ出力する。尚、ＡＤＣ４１４は、第２調整部５２を介さずに直接、加減算部５３１へレンズ位置情報ｄ４２を出力してもよい。

【0035】

補正エラー算出部５４に含まれる第２調整部５２は、ＡＤＣ４１４から出力されたレンズ位置情報ｄ４２に対してスケールの調整、オフセットの調整、極性の調整の少なくとも一部を行い、調整後のレンズ位置情報ｄ４２を加減算部５３１へ出力する。また、第２調整部５２は、撮像装置２０のハードウェアに起因する非線形の補正を行っても良い。尚、レンズ位置情報ｄ４２は、第２調整部５２により調整等がされなくてもよい。

【0036】

補正エラー算出部５４は、レンズ目標位置情報ｄ４１とレンズ位置情報ｄ４２との座標の差分を算出する。尚、補正エラー算出部５４は、第２調整部５２により調整後のレンズ位置情報ｄ４２を用いて差分を算出するか、第２調整部５２による調整等が行われていないレンズ位置情報ｄ４２を用いて差分を算出してもよい。例えば、補正エラー算出部５４は、一定時間内の複数のタイムスタンプごとの座標の差分を算出し、差分の集合を未補正情報ｄ４３とする。そして、補正エラー算出部５４は、未補正情報ｄ４３を格納部４１２ａへ出力する。ここで、未補正情報ｄ４３は、レンズ制御信号ｄ２１に基づく光学的補正により、手振れが補正し切れなかった情報を示す。言い換えると、未補正情報ｄ４３は、ＯＩＳによる補正が不十分であった量（補正エラー）といえる。つまり、ＥＩＳは、未補正情報を用いてＯＩＳで未補正の部分を対象に電子的補正を行うことができ、ＥＩＳの補正精度を向上できる。そして、制御部（電子的補正部）３２は、未補正情報ｄ４３を電子的補正の参考としてそのまま用いることができる。また、補正エラー算出部５４は、検出データに基づいて、ブレが光学的に補正し切れなかった情報を示す未補正情報ｄ４３を算出する処理を、演算処理として行うものといえる。つまり、ＯＩＳ側からの提供データがＯＩＳ側で加工済みであるため、ＥＩＳ側では補正用の加工処理を必要とせず、提供データを補正用情報として電子的補正に用いることができる。そのため、ＥＩＳ側の処理負荷を抑制しつつ、補正精度を向上できる。尚、補正エラー算出部５４は、上述したような一定時間内の差分の集合をまとめて算出及び出力することに限定されない。例えば、補正エラー算出部５４は、１つのタイムスタンプに対応する位置情報の差分をリアルタイムに算出及び出力するか、位置情報の差分をリアルタイムに算出し、複数の差分の集合をまとめて出力してもよい。

【0037】

格納部４１２ａは、未補正情報ｄ４３（４２３ａ）を補正用情報４２１ａに含めて記憶部４２に格納する。尚、上述した通り、格納部４１２ａは、リアルタイムに算出された差分を未補正情報ｄ４３として、逐次、記憶部４２に格納してもよい。尚、制御部４１ａのうち補正エラー算出部５４及び格納部４１２ａ以外の構成は、既存のＯＩＳ機能の構成を用いて実現しても良い。

【0038】

続いて、本実施形態２にかかる補正支援方法の処理の流れを説明する。尚、上述した図２と同様の処理については適宜説明を省略する。前提として、端末１ａを携帯するユーザは、撮像装置２０を用いて撮影を行う。これに応じて、半導体装置３０ａは、撮像装置２０により撮影された画像データｄ３を取得し、記憶部３１に画像データ３１１として保存する。また、半導体装置３０ａは、半導体装置４０ａに対して補正用情報の演算指示を出力してもよい。

【0039】

次に、ジャイロセンサ１０ａは、撮像装置２０の動きを検出し、角速度データｄ１１として半導体装置４０ａへ出力する。また、レンズ位置検出センサ２３は、レンズ２２の位置を検出し、レンズ位置検出データｄ２２として半導体装置４０ａへ出力する。これらに応じて、半導体装置４０ａは、補正支援処理を開始する。

【0040】

図５は、本実施形態２にかかる制御部（光学的補正部）４１ａにおける補正支援処理の流れを示すフローチャートである。まず、変換部５１は、ジャイロセンサ１０ａから角速度データｄ１１を取得する（Ｓ２１）。次に、変換部５１は、上述したように、角速度データｄ１１からレンズ目標位置情報ｄ４１へ変換（及び調整）を行う（Ｓ２２）。

【0041】

また、Ｈａｌｌ Ａｍｐ４１５は、レンズ位置検出センサ２３からレンズ位置検出データｄ２２を取得する（Ｓ２３）。そして、Ｈａｌｌ Ａｍｐ４１５、ＡＤＣ４１４及び第２調整部５２は、上述したように、レンズ位置検出データｄ２２からレンズ位置情報ｄ４２へ変換（及び調整）を行う（Ｓ２４）。尚、図５では説明の便宜上、ステップＳ２１及びＳ２２の処理とステップＳ２３及びＳ２４の処理とを並列に記載している。但し、実行環境によってはステップＳ２３及びＳ２４の処理速度がステップＳ２１及びＳ２２の処理と比べて高速である場合がある。その場合、Ｓ２３及びＳ２４の処理は、Ｓ２１及びＳ２２の処理の１回あたりに複数回、実行される場合があるものとする。

【0042】

ステップＳ２２及びＳ２４の後、サーボ制御部５３及びモータドライバ４１３は、上述したように、レンズ目標位置情報ｄ４１とレンズ位置情報ｄ４２からレンズ制御信号ｄ２１を生成し（Ｓ２５）、レンズ制御信号ｄ２１を撮像装置２０へ出力する（Ｓ２６）。尚、図５では説明の便宜上、ステップＳ２５及びＳ２６の処理と後述するステップＳ２７及びＳ２８の処理とを並列に記載している。但し、実行環境によってはステップＳ２５及びＳ２６の処理速度がステップＳ２７及びＳ２８（やＳ２３及びＳ２４）の処理と比べて高速である場合がある。その場合、Ｓ２５及びＳ２６の処理は、Ｓ２７及びＳ２８（やＳ２３及びＳ２４）の処理の１回あたりに複数回、実行される場合があるものとする。

【0043】

また、ステップＳ２２及びＳ２４の後、補正エラー算出部５４は、レンズ目標位置情報ｄ４１とレンズ位置情報ｄ４２との差分から、未補正情報ｄ４３を算出する（Ｓ２７）。尚、補正エラー算出部５４は、１つのタイムスタンプに対応するレンズ目標位置情報ｄ４１とレンズ位置情報ｄ４２との差分を、逐次算出し、未補正情報ｄ４３としてもよい。図６は、本実施形態２にかかる未補正情報の概念を説明するための図である。すなわち、補正エラー算出部５４は、時系列に沿ったレンズ目標位置の座標の集合と、時系列に沿ったレンズ位置の座標の集合との差分を算出する。具体的には、例えば、補正エラー算出部５４は、レンズ目標位置情報ｄ４１とレンズ位置情報ｄ４２とで、対応するタイムスタンプの座標同士を比較して座標の差分を算出する。ここで、レンズ位置情報ｄ４２におけるレンズの可動範囲ｒ２は、ＯＩＳで補正できる範囲であり、例えば１度から３度程度である。そのため、レンズ位置情報ｄ４２の波形には、レンズの可動範囲ｒ２を超える波形が現れない。よって、補正エラー算出部５４は、レンズ目標位置情報ｄ４１のうち、レンズの可動範囲ｒ２を超える座標の集合を差分として算出できる。そして、補正エラー算出部５４は、算出される差分の座標の集合を未補正情報ｄ４３とする。尚、未補正情報ｄ４３は、補正エラー情報とも呼ぶことができる。

【0044】

ステップＳ２７の後、格納部４１２ａは、未補正情報ｄ４３を補正用情報４２１ａに含めて記憶部４２に格納する（Ｓ２８）。尚、ステップＳ２７においてタイムスタンプごとに逐次、未補正情報ｄ４３が算出される場合、格納部４１２ａは、同様に、逐次、未補正情報ｄ４３を補正用情報４２１ａに含めて記憶部４２に格納するとよい。または、格納部４１２ａは、一定時間（規定回数）分の未補正情報ｄ４３の集合をまとめて記憶部４２に格納してもよい。この後、制御部（電子的補正部）３２は、上述したように、記憶部４２から補正用情報４２１ａに含まれる未補正情報４２３ａを取得し、画像データｄ３に対して未補正情報４２３ａを用いて電子的補正を行う。制御部（電子的補正部）３２は、格納部４１２ａによる記憶部４２への補正用情報４２１ａの格納タイミングと同期して、又は、非同期に、記憶部４２から補正用情報４２１ａを取得するとよい。つまり、ＯＩＳにおける補正用情報４２１ａの更新頻度と、ＥＩＳにおける補正用情報４２１ａの取得頻度（データ転送頻度）とは、一致しても、一致しなくても良い。例えば、格納部４１２ａは、記憶部４２に対して、１ｋＨｚの周波数で補正用情報４２１ａを更新し、制御部（電子的補正部）３２は、１ｋＨｚの周波数で記憶部４２から補正用情報４２１ａを取得してもよい。または、格納部４１２ａは、記憶部４２に対して、１ｋＨｚの周波数で補正用情報４２１ａを更新し、制御部（電子的補正部）３２は、５００ｋＨｚの周波数で記憶部４２から補正用情報４２１ａを取得してもよい。

【0045】

ステップＳ２６及びＳ２８の後、ステップＳ２１及びＳ２３へ戻り、半導体装置４０ａは、補正支援処理を続ける。半導体装置４０ａは、半導体装置３０ａから補正用情報の演算停止指示を受け付けた場合に、補正支援処理を終了してもよい。

【0046】

尚、半導体装置４０ａと３０ａの間のデータ通信は、ＩＩＣ（Inter-Integrated Circuit）等のデジタルインタフェースを介して行われても良い。また、半導体装置４０ａは、半導体装置３０ａからの演算指示によらず、定期的や所定のタイミングで補正支援処理を開始、実行、終了してもよい。または、半導体装置４０ａは、撮像装置２０のレンズ位置検出センサ２３等から同期信号を受け付け、演算処理及び記憶部４２への補正用情報の格納処理を行っても良い。または、半導体装置４０ａは、半導体装置３０ａから、記憶部４２への補正用情報の格納指示を受け付け、演算処理及び記憶部４２への補正用情報の格納処理を行っても良い。

【0047】

また、上述したように、第１調整部（５１）及び第２調整部５２を含む演算部４１１ａは、撮像装置と動き検出センサとの少なくともいずれかの状態に起因した調整を、検出データに対して行うことにより、演算処理を行う。これにより、ＥＩＳ側は、スケール、オフセット、極性等の違いを考慮せずに、電子的補正を行うことができ、ＥＩＳ側の処理負荷を軽減し、補正速度も向上できる。

【0048】

また、本実施形態にかかる演算部４１１ａは、ブレに対する光学的な補正処理と並列して演算処理を行う。そのため、電子的補正の待ち時間を減らし、効率的、効果的に光学的補正と電子的補正を連携させることができる。

【0049】

尚、演算部４１１ａが行う所定の演算処理は、撮像装置２０における光学式手振れ補正の技術の一部である。そのため、光学式手振れ補正の技術を活用することにより電子的手振れ補正による補正精度を向上することができる。

【0050】

＜実施形態３＞
本実施形態３は、上述した実施形態２の変形例である。図７は、本実施形態３にかかる半導体装置４０ｂを搭載した端末１ｂの構成を示すブロック図である。端末１ｂは、上述した端末１ａの変形例であり、半導体システムの一例である。端末１ｂは、動き検出センサ１０、撮像装置２０、半導体装置３０ａ及び４０ｂを少なくとも備える。動き検出センサ１０は、上述したジャイロセンサ１０ａに加え、加速度センサ１０ｂを備える。加速度センサ１０ｂは、撮像装置２０の傾きを検出し、加速度を測定し、加速度データｄ１２として半導体装置４０ｂへ出力する。

【0051】

また、撮像装置２０は、オートフォーカス位置ｄ１３を半導体装置４０ｂへ出力する。尚、半導体装置４０ｂは、撮像装置２０以外の構成からオートフォーカス位置ｄ１３を取得してもよい。その他、撮像装置２０及び半導体装置３０ａは、上述した実施形態２と同様である。

【0052】

半導体装置４０ｂは、上述した半導体装置４０ａの変形例であり、ＯＩＳの機能を実現する構成の一例である。半導体装置４０ｂは、制御部（光学的補正部）４１ｂと記憶部４２を少なくとも備える。記憶部４２は、補正用情報４２１ａ及びプログラム４２２ｂを記憶する。プログラム４２２ｂは、本実施形態にかかる補正支援方法の処理が実装されたコンピュータプログラムである。

【0053】

制御部４１ｂは、プログラム４２２ｂを実行することにより、演算部４１１ｂ及び格納部４１２ａ等の機能を実現する。演算部４１１ｂは、角速度データｄ１１、加速度データｄ１２、オートフォーカス位置ｄ１３及びレンズ位置検出データｄ２２に対して所定の演算処理を行う。演算部４１１ｂは、レンズ位置情報ｄ４２の算出の仕方が、上述した演算部４１１ａと異なる。すなわち、演算部４１１ｂは、動き検出センサ１０により検出された角速度データｄ１１及び加速度データｄ１２を、検出データとして取得する。そして、演算部４１１ｂは、角速度データｄ１１から第１の角度データｄ４４へ変換する。また、演算部４１１ｂは、加速度データｄ１２から変換された第２の角度データｄ４５と、撮像装置２０のオートフォーカス結果に基づく距離データ（オートフォーカス位置ｄ１３）とに基づき、第３の角度データｄ４６へ変換する。そして、演算部４１１ｂは、第１の角度データｄ４４と第３の角度データｄ４６とに基づき、レンズ２２の位置情報（レンズ目標位置情報ｄ４１）を算出する。

【0054】

図８は、本実施形態３にかかる演算部４１１ｂのうち変換部５１ｂの内部構成と周辺構成との関係を説明するためのブロック図である。変換部５１ｂは、積分演算部５１１、５１２及び５１３と、Ｇａｉｎ５１４と、加算部５１５とを備える。演算部４１１ｂのうち変換部５１ｂ以外の構成は、上述した演算部４１１ａと同様である。

【0055】

積分演算部５１１は、ジャイロセンサ１０ａから角速度データｄ１１を取得し、積分演算を行って第１の角度データｄ４４を加算部５１５へ出力する。積分演算部５１２は、加速度センサ１０ｂから加速度データｄ１２を取得し、積分演算を行って積分演算部５１３へ出力する。積分演算部５１３は、積分演算部５１２の積分演算結果に対して積分演算を行って第２の角度データｄ４５をＧａｉｎ５１４へ出力する。Ｇａｉｎ５１４は、オートフォーカス位置ｄ１３に基づき第２の角度データｄ４５を増幅し、第３の角度データｄ４６を加算部５１５へ出力する。加算部５１５は、第１の角度データｄ４４と第３の角度データｄ４６を加算し、レンズ目標位置情報ｄ４１としてサーボ制御部５３及び補正エラー算出部５４へ出力する。以降の処理は、上述した実施形態２と同様である。

【0056】

このように、本実施形態３によっても上述した実施形態２と同様の効果を奏する。さらに、本実施形態３では、レンズ目標位置情報の算出のために、角速度データに加えて、加速度データとオートフォーカス位置を用いるため、ＥＩＳにおける補正精度をより向上させることができる。

【0057】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

【符号の説明】

【0058】

１ 端末（半導体システム）
１ａ 端末（半導体システム）
１ｂ 端末（半導体システム）
１０ 動き検出センサ
１０ａ ジャイロセンサ
１０ｂ 加速度センサ
２０ 撮像装置
２１ アクチュエータ
２２ レンズ
２３ レンズ位置検出センサ
３０ 電子的補正部
３０ａ 半導体装置
３１ 記憶部
３１１ 画像データ
３１２ プログラム
３２ 制御部（電子的補正部）
４０ 半導体装置
４０ａ 半導体装置
４０ｂ 半導体装置
４１ 制御部
４１ａ 制御部（光学的補正部）
４１ｂ 制御部（光学的補正部）
４１１ 演算部
４１１ａ 演算部
４１１ｂ 演算部
４１２ 格納部
４１２ａ 格納部
４１３ モータドライバ
４１４ ＡＤＣ
４１５ Ｈａｌｌ Ａｍｐ
４２ 記憶部
４２１ 補正用情報
４２１ａ 補正用情報
４２２ プログラム
４２２ａ プログラム
４２２ｂ プログラム
４２３ａ 未補正情報
５１ 変換部（第１調整部）
５２ 第２調整部
５３ サーボ制御部
５３１ 加減算部
５３２ ＰＩＤ
５４ 補正エラー算出部
５１ｂ 変換部
５１１ 積分演算部
５１２ 積分演算部
５１３ 積分演算部
５１４ Ｇａｉｎ
５１５ 加算部
ｄ１ 検出データ
ｄ１１ 角速度データ
ｄ１２ 加速度データ
ｄ１３ オートフォーカス位置
ｄ２１ レンズ制御信号
ｄ２２ レンズ位置検出データ
ｄ３ 画像データ
ｄ４ 演算処理結果
ｄ４１ レンズ目標位置情報
ｄ４２ レンズ位置情報
ｄ４３ 未補正情報
ｄ４４ 第１の角度データ
ｄ４５ 第２の角度データ
ｄ４６ 第３の角度データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】