(58)【調査した分野】(Int.Cl.,DB名)
前記情報取得手段により取得された情報と、前記取得制御手段により取得された判定結果とを対応づけて記憶手段に記憶させる記憶制御手段を更に備えることを特徴とする請求項1に記載の情報処理装置。
前記判定手段は、前記加速度検出手段によって検出された各方向の加速度の変化により前記重力加速度の方向が判定不能になった場合に、前記各方向の加速度が安定していないと判定することを特徴とする請求項1又は2に記載の情報処理装置。
前記判定手段は、前記加速度検出手段によって検出された各方向の加速度の変化が所定の範囲を超えた場合に、前記各方向の加速度が安定していないと判定することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【発明を実施するための形態】
【0009】
(第1の実施の形態)
以下、本発明の第1の実施の形態に係る情報処理装置としての撮像装置について説明する。本発明の第1の実施の形態に係る撮像装置100は、
図1に示すように、制御部102、メモリ104、操作部106、加速度センサ110、レンズ光学系111、撮像素子112、アナログ/デジタル(A/D:Analogue/digital)変換部113、画像処理部114、オートフォーカス(AF:Auto Focus)制御部115、レンズ駆動部116、表示部120を含んで構成される。撮像装置100は、例えば利用者の頭部に装着され、当該利用者の前方を撮像する。
【0010】
制御部102は、CPU(Central Processing Unit)を備え、メモリ104に格納されているプログラムに従ってソフトウェア処理を実行し、撮像装置100が具備する機能である、撮像制御部122、画像取得部124及び姿勢判定部126等を実現する。
【0011】
制御部102内の撮像制御部122は、利用者による操作部106の操作等に応じて撮像を制御し、AF制御部115に対して、合焦制御やズーム制御等の撮像制御の指示を行う。画像取得部124は、画像処理部114から入力される画像データであるフレームを取得する。姿勢判定部126は、加速度センサ110からの撮像装置100に生じる加速度に基づいて、撮像装置100の撮像時の方向を判定する。制御部102による撮像時の処理については後述する。
【0012】
メモリ104は、不揮発性メモリと揮発性メモリとにより構成される。不揮発性メモリは、撮像装置100における制御等に用いられる各種情報(プログラム等)や、後述する撮像時方向の判定結果等を記憶する。一方、揮発性メモリは、例えば、ワークエリアとなる。
【0013】
操作部106は、ユーザの操作内容を入力するために用いられるインタフェースである。操作部106は、例えばユーザが操作するキーを備える。
【0014】
加速度センサ110は、撮像装置100の移動に伴って生じる加速度を逐次検出する。例えば、加速度センサ110は、3次元空間におけるX軸、Y軸、Z軸の各方向の加速度を検出している。加速度センサ110は、検出した加速度のデータを制御部102へ出力する。加速度のデータはメモリ104に記憶される。なお、この3次元空間におけるX軸が示す方向は、撮像装置100におけるレンズ光学系111の光軸方向に直交した、水平方向(又は左右方向)を示す。また、Y軸が示す方向は、撮像装置100におけるレンズ光学系111の光軸方向に直交した垂直方向(又は上下方向)を示す。更に、Z軸が示す方向は、撮像装置100におけるレンズ光学系111の光軸方向(または前後方向)を示す。
【0015】
AF制御部115は、制御部102内の撮像制御部122や画像処理部114による合焦制御やズーム制御等の撮像制御の指示に応じて、レンズ駆動部116を制御する。レンズ駆動部116は、レンズ光学系111を移動させるためのモータを内蔵する。レンズ駆動部116は、AF制御部115の制御に応じて、合焦制御やズーム制御等のためにレンズ光学系111を移動させる。
【0016】
レンズ光学系111は、ズームレンズ等により構成される。レンズ光学系111は、レンズ駆動部116の制御により移動する。レンズ光学系111の移動によって撮像する際の画角や光学像が制御される。
【0017】
撮像素子112は、受光面に規則的に二次元配列された複数の受光素子やサンプルホールド回路等により構成される。受光素子は、例えば、フォトダイオード、ベイヤー配列のカラーフィルタ、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像デバイスである。撮像素子112は、レンズ光学系111を介して入光された光学像を撮像(受光)し、アナログの画像信号をA/D変換部113へ出力する。
【0018】
A/D変換部113は、撮像素子112からのアナログ画像信号をデジタルデータに変換して出力する。
【0019】
画像処理部114は、カラープロセス回路、JPEG(Joint Photographic Experts Group)回路、デジタルビデオエンコーダ等を含んで構成される。画像処理部114は、A/D変換部113からのデジタルデータを入力して、画像データであるフレームを生成する。画像処理部114は、生成したフレームを制御部102内の画像取得部124へ出力する。また、画像処理部114は、生成したフレームを解析して合焦制御が必要か否かを判定し、必要な場合には、AF制御部115に対して合焦制御の指示を行う。
【0020】
表示部120は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electro-Luminescence)ディスプレイ等によって構成され、フレームに対応する画像を表示する。
【0021】
次に、撮像装置100による撮像処理の詳細を説明する。
図2は、撮像処理の動作を示すフローチャートである。
【0022】
撮像装置100の電源がオンになり起動すると(ステップS100)。制御部102内の姿勢判定部126は、メモリ104内の不揮発性メモリに予め記憶されている撮像時方向の判定結果を読み出して、撮像時方向判定結果の初期値として設定する(ステップS101)。ここでメモリ104に記憶されている撮像時方向の判定結果は、過去の撮像時方向の判定処理(後述するステップS102の処理)において判定された撮像装置100の撮像時方向のうち、保持することが決定された最新の撮像時方向である。
【0023】
次に、姿勢判定部126は、撮像時方向の判定処理を行う(ステップS102)。
図3は、撮像装置100における撮像時方向判定処理の動作を示すフローチャートである。
【0024】
姿勢判定部126は、加速度センサ110から逐次入力される加速度が安定しているか否かを判定する(ステップS201)。
【0025】
図4及び
図5は、撮像装置100に生じる加速度の遷移の一例を示す図である。上述したように、加速度センサ110は、3次元空間におけるX軸、Y軸、Z軸の各方向の加速度を検出している。
図4では、X軸方向及びZ軸方向の加速度は0[G]付近で変化が小さく、Y軸方向の加速度は1[G]付近で変化が小さくなっており、安定している。Y軸方向の加速度は1[G]付近であるのはY軸方向に重力加速度が生じているためである。一方、
図5では、X軸、Y軸、Z軸の何れの方向も加速度が大きく変化しており、安定しておらず、重力加速度の方向も判別不能である。ステップS201において、姿勢判定部126は、所定時間(例えば100[ms])内における加速度の変化が所定範囲内である場合には、加速度が安定していると判定し、所定範囲を超える場合には、加速度が安定していないと判定する。
【0026】
加速度が安定していない場合(ステップS201;NO)、姿勢判定部126は、撮像時方向が不定である(判定NG)と判定し(ステップS202)、メモリ104内の不揮発性メモリに記憶されている撮像時方向の判定結果を更新しない(ステップS203)。
【0027】
一方、加速度が安定している場合(ステップS201;YES)、次に、姿勢判定部126は、加速度に基づいて、撮像装置100の撮像時方向、具体的には、レンズ光学系111が向いている方向を判定する(ステップS204)。
【0028】
具体的には、姿勢判定部126は、加速度センサ110からの加速度の変化に基づいて重力加速度の方向を判別する。次に、姿勢判定部126は、当該重力加速度の方向を垂直方向、当該重力加速度の方向と直交する方向を水平方向と判別する。更に、姿勢判定部126は、レンズ光学系111についての垂直方向(Y軸方向)の向きを当該垂直方向の加速度に基づいて求めるとともに、水平方向(X軸方向)の向きを当該水平方向の加速度に基づいて求める。この際、姿勢判定部126は、レンズ光学系111が向いている方向が、垂直方向の向き及び水平方向の向きのそれぞれについて、4方向(0°(正立)、90 °(右90°回転)、180°(180°回転)、270°(左90°回転))の何れであるかを判別し、撮像時方向を求める。
【0029】
次に、姿勢判定部126は、ステップS204により判定した撮像時方向の判定結果が前回の撮像時方向と同一の結果であるか否かを判定する(ステップS205)。具体的には、姿勢判定部126は、撮像時方向判定結果の初期値とステップS204により判定した撮像時方向判定結果とを比較して、同一であるか否かを判定する。
【0030】
ステップS204により判定した撮像時方向の判定結果が前回の撮像時方向と同一の結果である場合(ステップS205;YES)、姿勢判定部126は、同一の結果がn回(例えば、20[ms]周期で5回)以上継続しているか否かを判定する(ステップS206)。例えば、メモリ104内には、ステップS204により判定した撮像時方向の判定結果が前回の撮像時方向と同一の結果となる毎に1増加するカウンタが設けられている。姿勢判定部126は、ステップS205において、ステップS204により判定した撮像時方向の判定結果が前回の撮像時方向と同一の結果であると判定する毎にカウンタを1増加させ、同一の結果でないと判定した場合にはカウンタをリセットする。更に、姿勢判定部126は、ステップS206において、カウンタの値がn以上であるか否かを判定する。
【0031】
同一の結果がn回以上継続している場合(ステップS206;YES)、姿勢判定部126は、撮像時方向が確定している(判定OK)と判定し(ステップS207)、メモリ104内の不揮発性メモリに記憶されている撮像時方向の判定結果を、ステップS204において判定した撮像時方向の判定結果に更新する(つまり、今回の判定結果として適用する)(ステップS208)。
【0032】
一方、同一の結果がn回以上継続していない場合(ステップS206;NO)、姿勢判定部126は、撮像時方向を判定中である(判定NG)と判定し(ステップS209)、メモリ104内の不揮発性メモリに記憶されている撮像時方向の判定結果を更新しない(ステップS210)。
【0033】
また、ステップS204により判定した撮像時方向の判定結果が前回の撮像時方向と同一の結果でない場合(ステップS205;NO)、姿勢判定部126は、撮像時方向判定結果の初期値を、ステップS204により判定した撮像時方向の判定結果に更新する(ステップS211)。
【0034】
次に、姿勢判定部126は、撮像時方向を判定中である(判定NG)と判定し(ステップS212)、メモリ104内の不揮発性メモリに記憶されている撮像時方向の判定結果を更新しない(ステップS213)。
【0035】
再び、
図2に戻って説明する。ステップS102における撮像時方向判定処理の後、制御部102内の撮像制御部122は、利用者によって操作部106が操作されて撮像の要求が行われたか否かを判定する(ステップS103)。
【0036】
撮像の要求が行われていない場合(ステップS103;NO)、ステップS102における撮像時方向判定処理が繰り返される。一方、撮像の要求が行われた場合(ステップS103;YES)、画像取得部124は、撮像装置100の姿勢判別のためにメモリ104内の不揮発性メモリに記憶されている撮像時方向の判定結果を取得し、この撮像時方向を採用する(ステップS104)。更に、画像取得部124は、取得した撮像時方向の判定結果を用いて撮像処理を行う(ステップS105)。具体的には、画像取得部124は、取得した撮像時方向の判定結果とフレームとを対応付けてメモリ104に記憶しておく。フレームの再生時には対応付けられた撮像時方向の判定結果を用いてフレームのブレ補正等が行われる。
【0037】
その後、制御部102は、利用者による操作部106の操作により、撮像装置100の電源のオフが要求されたか否かを判定する(ステップS106)。電源のオフが要求された場合には(ステップS106;YES)、撮像装置100の電源がオフになり(ステップS107)、一連の動作が終了する。一方、電源のオフが要求されていない場合には(ステップS106;NO)、ステップS102における撮像時方向判定処理が繰り返される。
【0038】
以上説明したように、第1の実施の形態に係る撮像装置100では、撮像装置100に生じる加速度が安定し、且つ、加速度に基づく撮像時方向の判定結果が同一の結果で継続する場合には、撮像時方向の判定結果が最新のものに更新されて、再生時にフレームのブレ補正等に用いられる。一方、撮像装置100に生じる加速度が安定しない場合や、加速度に基づく撮像時時方向の判定結果が同一の結果で継続しない場合には、撮像時方向の判定結果が更新されず、過去の撮像時方向の判定結果が保持されて、再生時にフレームのブレ補正等に用いられる。
【0039】
これにより、撮像装置100の姿勢が安定しない間に周期的に撮像が行われる場合においても、過去の撮像時方向の判定結果を用いて再生時にフレームのブレ補正等を行うことができる。
【0040】
(第2の実施の形態)
上記第1の実施の形態では、撮像時に撮像時方向の判定結果をフレームと対応付けてメモリ104に記憶しておくようにしたが、再生時に撮像時方向の判定結果を行うようにしても良い。
【0041】
図6は、この場合の再生処理の動作を示すフローチャートである。当該再生処理は、上記第1の実施の形態の撮像装置100が行うものとするが、第2の実施の形態において機能する回路部は、制御部102、メモリ104、操作部106、表示部120、画像取得部124、及び、姿勢判定部126である。なお、メモリ104の不揮発性メモリには、撮像装置100における制御等に用いられる各種情報(プログラム等)、撮像時方向の判定結果の他、記録された静止画ファイル及び動画ファイルが記録されており、また動画ファイルには、記録時に加速度センサ110で計測され撮影時方向判定処理が適用される前の当該撮像装置100の撮像時方向が、記録経過時間とともに記録されているものとする。
【0042】
撮像装置100の電源がオンになり操作部106が所定操作を検出すると、再生モードに移行し、制御部102は、メモリ104に記録されている再生対象となる動画ファイルの読み出しを行う(ステップS300)。次いで、制御部102は、この動画ファイルのメタデータとして記録されている撮像時方向データの読み出しを行う(ステップS301)。
【0043】
そして、制御部102は、操作部106からの再生開始指示を検出するまで待機する(ステップS302)。制御部102は、再生指示を検出しない場合(ステップS303;NO)、ステップS302で待機を継続するが、再生指示を検出すると(ステップS303;YES)、この時点で撮影時方向判定処理を実行する(ステップS304)。
【0044】
この撮影時方向判定処理は、上記第1の実施の形態のステップS102及び
図3と同様に行われる。但し、上記第1の実施例では姿勢判定部126は、加速度センサ110から逐次入力される加速度が安定しているか否かを判定したが、第2の実施の形態においては、姿勢判定部126は、再生対象の動画ファイルに記録されている加速度情報に基づいて、撮像時の撮像装置100が安定した状態で動画を記録したか否かを判定するものとする。
【0045】
また、第2の実施の形態においても
図3のフローチャートを適用するが、このフローチャートにおいて、姿勢判定部126は、加速度センサ110から逐次入力され、動画とともに記録されたX軸、Y軸、Z軸の加速度からなる加速度情報を判定処理に用いることで、再生処理の過程において撮像時方向の判定処理を行うものとする。
【0046】
そして、ステップS304における撮像時方向判定処理が終了すると、制御部102は、再生対象フレームに判定結果を反映させて動画再生処理をする(ステップS305)。その後、制御部102は、再生処理が終了したか否かを判定する(ステップS306)。再生処理の終了を検出した場合には(ステップS306;YES)、本処理を終了する。一方、再生処理の終了が要求されていない場合には(ステップS306;NO)、ステップS305における再生処理が継続される。
【0047】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0048】
(付記1)
複数の情報取得時の、夫々の情報取得装置の姿勢に関する情報を取得する姿勢情報取得手段と、
前記姿勢情報取得手段によって取得された前記姿勢に関する情報の内容に応じて、当該情報取得時の姿勢に関する情報として、当該情報取得時以外に取得された情報を適用するよう制御する制御手段と、
を備えることを特徴とする情報処理装置。
【0049】
(付記2)
前記姿勢に関する情報は時間的に連続して取得されたものであり、
前記姿勢に関する情報の内容には、時間的に連続して取得された前記姿勢に関する情報の変化が含まれ、
前記制御手段は、前記姿勢に関する情報の変化が所定の条件を満たすか否かに応じて、当該情報取得時以外に取得された情報を適用するよう制御することを特徴とする付記1に記載の情報処理装置。
【0050】
(付記3)
前記所定の条件とは、前記姿勢に関する情報の変化の度合いが所定の範囲内であることを特徴とする付記2に記載の情報処理装置。
【0051】
(付記4)
前記情報取得装置が安定している時の前記姿勢に関する情報を保持する保持手段を更に備え、
前記制御手段は、前記姿勢に関する情報の変化が所定の条件を満たさないと判断したとき、当該情報取得時以外に取得された情報として、前記保持手段に保持された姿勢に関する情報を適用するよう制御することを特徴とする付記2に記載の情報処理装置。
【0052】
(付記5)
前記複数の情報を取得する取得手段を更に備えるとともに、前記姿勢情報取得手段は、当該取得手段による複数の情報の取得時の、夫々の当該情報取得装置の姿勢に関する情報を検出する検出手段を含むことを特徴とする付記4に記載の情報処理装置。
【0053】
(付記6)
前記取得手段は、撮像手段を含むことを特徴とする付記5に記載の情報処理装置。
【0054】
(付記7)
前記撮像手段は、所定の周期で撮像を行うことを特徴とする付記6に記載の情報処理装置。
【0055】
(付記8)
前記保持手段は、前記撮像手段により所定の周期で撮像された画像に対応づけて前記姿勢に関する情報を保持することを特徴とする付記7に記載の情報処理装置。
【0056】
(付記9)
複数の情報取得時の、夫々の情報取得装置の姿勢に関する情報を取得する姿勢情報取得ステップと、
前記姿勢情報取得ステップにて取得された前記姿勢に関する情報の内容に応じて、当該情報取得時の姿勢に関する情報として、当該情報取得時以外に取得された情報を適用するよう制御する制御ステップと、
を含むことを特徴とする情報処理方法。
【0057】
(付記10)
前記姿勢に関する情報は時間的に連続して取得されたものであり、
前記姿勢に関する情報の内容には、時間的に連続して取得された前記姿勢に関する情報の変化が含まれ、
前記制御ステップは、前記姿勢に関する情報の変化が所定の条件を満たすか否かに応じて、当該情報取得時以外に取得された情報を適用するよう制御することを特徴とする付記9に記載の情報処理方法。
【0058】
(付記11)
前記所定の条件とは、前記姿勢に関する情報の変化の度合いが所定の範囲内であることを特徴とする付記10に記載の情報処理方法。
【0059】
(付記12)
前記情報取得装置が安定している時の前記姿勢に関する情報を保持する保持ステップを更に含み、
前記制御ステップは、前記姿勢に関する情報の変化が所定の条件を満たさないと判断したとき、当該情報取得時以外に取得された情報として、前記保持ステップにて保持された姿勢に関する情報を適用するよう制御することを特徴とする付記10に記載の情報処理方法。
【0060】
(付記13)
前記複数の情報を取得する取得ステップを更に含むとともに、前記姿勢情報取得ステップは、当該取得ステップにおける複数の情報の取得時の、夫々の当該情報取得装置の姿勢に関する情報を検出する検出ステップを含むことを特徴とする付記12に記載の情報処理方法。
【0061】
(付記14)
コンピュータを、
複数の情報取得時の、夫々の情報取得装置の姿勢に関する情報を取得する姿勢情報取得手段、
前記姿勢情報取得手段によって取得された前記姿勢に関する情報の内容に応じて、当該情報取得時の姿勢に関する情報として、当該情報取得時以外に取得された情報を適用するよう制御する制御手段、
として機能させることを特徴とするプログラム。
【0062】
(付記15)
前記姿勢に関する情報は時間的に連続して取得されたものであり、
前記姿勢に関する情報の内容には、時間的に連続して取得された前記姿勢に関する情報の変化が含まれ、
前記制御手段は、前記姿勢に関する情報の変化が所定の条件を満たすか否かに応じて、当該情報取得時以外に取得された情報を適用するよう制御することを特徴とする付記14に記載のプログラム。
【0063】
(付記16)
前記所定の条件とは、前記姿勢に関する情報の変化の度合いが所定の範囲内であることを特徴とする付記15に記載のプログラム。
【0064】
(付記17)
前記情報取得装置が安定している時の前記姿勢に関する情報を保持する保持手段として更に機能し、
前記制御手段は、前記姿勢に関する情報の変化が所定の条件を満たさないと判断したとき、当該情報取得時以外に取得された情報として、前記保持手段に保持された姿勢に関する情報を適用するよう制御することを特徴とする付記15に記載のプログラム。
【0065】
(付記18)
前記複数の情報を取得する取得手段として更に機能させるとともに、前記姿勢情報取得手段は、当該取得手段による複数の情報の取得時の、夫々の当該情報取得装置の姿勢に関する情報を検出する検出手段として更に機能することを特徴とする付記17に記載のプログラム。