(58)【調査した分野】(Int.Cl.,DB名)
前記複数の特定区間のうち1以上を推定するための被写体の向きと、前記録画開始点と前記録画終了点とにおける前記被写体の向きとを用いて、当該特定区間の開始タイミングまたは終了タイミングとを推定する特定区間推定部をさらに備える
ことを特徴とする請求項1に記載の画像処理装置。
【発明を実施するための形態】
【0013】
<発明に至った経緯>
上述したようなデジタルミラーは、例えば、服飾店で使用されることがある。このとき、後姿の表示は、例えば、試着において特に有用である。
【0014】
しかしながら、特許文献2の技術では、被写体が適切な後姿の再生速度を見つけ出す必要がある。すなわち、再生速度が不適切な場合に、確認に適した再生速度を見つけ出すまで、被写体は繰り返し再生をやり直す必要がある。
【0015】
そこで、発明者らは、予めデジタルミラーに再生時間を設定し、撮像画像を再生時間に合わせて再生することで、再生速度を適応的に調整するという着想を得た。このようにすることで、確認に適した所定の再生時間に合わせて表示される後姿を、被写体が確認することができる。したがって、例えば、店員等が、後姿を確認しやすい再生時間を予め設定しておけば、被写体が再生速度の調整を行なわずとも、デジタルミラーの前において回転動作を行うだけで、適切な速度で再生される自身の後姿を確認することが可能となる。また、店員等が再生速度を設定する際に、被写体毎に、および回転動作毎に回転動作の所要時間が異なることを考慮に含める必要がなく、適切な再生時間さえ既知であれば、適切な速度で後姿の表示が可能となる。
【0016】
<実施の形態>
以下本発明の実施の形態について、図面を参照しながら説明する。
【0017】
(実施の形態1)
図1は、本実施の形態に係る画像処理装置100のブロック図である。
【0018】
図1の画像処理装置100は、被写体が画像処理装置100の前で1回転すると、被写体が背面を画像処理装置100に向けている半回転分の動作を動画として保存し、その後に被写体が画像処理装置100に再生指示を行うと、保存した半回転分の動作全てを再生する。このような画像処理装置100は、カメラ101と、回転検出部102と、動画保存部103と、再生モード決定部104と、回転時間測定部105と、再生時間設定部106と、再生速度決定部107と、動画再生部108と、画像出力部109と、モニタ110から構成される。
【0019】
なお、説明の簡素化のために、被写体であると同時に後姿の確認を行う人物を「ユーザ」と呼び、後述する再生時間など画像処理装置100を使用するための設定を行い、ユーザに画像処理装置100を使用させる人物を「管理者」と呼ぶ。例えば、画像処理装置100を設置しているアパレル店舗では、店員が管理者であり、試着を行う客がユーザである。
【0020】
図2は、画像処理装置100の外観を示した図である。
図2に示すように、カメラ101と、モニタ110とはいずれもユーザを向くよう、同じ向きに近接配置されている。画像処理装置100は、例えば、カメラ101と、動画保存部103と、再生時間設定部106と、モニタ110と、CPU(不図示)と記憶部(不図示)とから構成される。記憶部は、例えばEEPROMなどの不揮発性メモリにより実現され、CPUは記憶部に記憶されるプログラムを読み出して実行することにより、回転検出部102、再生モード決定部104、回転時間測定部105、再生速度決定部107、動画再生部108、画像出力部109の各機能を有し動作する。
【0021】
<各ブロックの説明>
カメラ101は、撮像光学系(不図示)、撮像素子(不図示)、A/D変換回路(不図示)などで構成される。撮像光学系は、フォーカス制御を行うフォーカスレンズ、シャッタおよび絞りによる露出制御部などで構成される。ズーム動作を行うズームレンズを備えても良い。撮像素子は、CCDセンサまたはCMOSセンサで構成される光電変換素子であり、撮像光学系により形成された被写体像を撮像して映像信号を出力する。A/D変換回路は、撮像素子より出力されたアナログ信号である映像信号を、デジタル信号に変換する変換器である。A/D変換回路から出力されるデジタルデータが、カメラ101の出力である撮像画像および撮像動画となる。
【0022】
モニタ110は、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機ELなどで構成される表示デバイスである。モニタ110は、画像出力部109から出力される表示画像を表示する。
【0023】
回転検出部102は、カメラ101の撮像画像から顔領域を検出する顔検出を行い、さらに検出された顔に対して顔向き検出を行う。さらに、回転検出部102は、顔向き検出の結果から、撮像画像内のユーザが1回転したときの動作を検出し、回転動作の期間中に、録画開始点と、録画終了点とを出力する。顔の向きの検出は、例えば、特開2011−234269号公報に開示されているような、目鼻の陰影と顔の外形との時間変化を検出する既知技術を用いて、行うことができる。
【0024】
顔の向きについて、
図3を用いて説明する。
図3は、ユーザと画像処理装置100とを真上から見た図である。以下、顔の向きについて、ユーザが画像処理装置100に対して正面を向いた状態を0°とし、ユーザが0°の状態と比較して右回り(時計回り)に何度回転しているかで被写体の向きを示す。すなわち、ユーザが真右を向いた状態(画像処理装置100に顔の左半分を向けている状態)が90°、ユーザが真後ろを向いた状態(画像処理装置100に後頭部を向けている状態)が180°、ユーザが真左を向いた状態(画像処理装置100に顔の右半分を向けている状態)が270°となる。
【0025】
ここで、本実施の形態に係る画像処理装置100は、上述したように、ユーザが背面を画像処理装置100に向けている半回転分の動作を動画として保存する。したがって、回転検出部102は、顔の向きが90°から270°の範囲である期間の始点と終点を、それぞれ録画開始点、録画終了点とする。このようにする理由は、前面を向いている半回転分(顔の向きが0°から90°までの範囲、および270°から右回りで0°までの範囲)については、画像処理装置100が鏡として動作しているだけでユーザが視認することができるからである。
【0026】
回転動作を検出し、録画開始点および録画終了点を検出する方法について、ユーザが右回りで1回転する場合について説明する。まず、回転検出部102はユーザの顔の向きの検出を行い、0°を検出する。次に、回転検出部102は、90°を検出すると、録画開始点として検出する。次に、回転検出部102は、270°を検出すると、録画終了点として検出する。さらに、被写体が正面を向くと、回転検出部102は再び0°を検出する。このとき、録画の対象となる、録画開始点から録画終了点までの区間は、ユーザが行った1回転のうち、背面を向いている半回転分(90°〜270°)である。
【0027】
なお、ユーザが左回りに1回転した場合は、顔の向きの検出順序は、0°(正面)→270°(真左)→90°(真右)→0°(正面)となる。そのため、回転検出部102は、270°を検出すると録画開始点として検出し、90°を検出すると録画終了点として検出する。よって、録画開始点から録画終了点までの区間は、背面を向いている半回転分(270°〜90°)である。
【0028】
動画保存部103は、カメラ101から撮像動画を受け付け、回転検出部102から、録画開始点、および録画終了点を受け付ける。そして、動画保存部103は、録画開始点をトリガとして、カメラ101から入力されたカメラ撮像動画を保存する処理を開始し、録画終了点をトリガとして、カメラ撮像動画の保存を終了する。動画保存部103は、例えばハードディスクドライブ、SSD(Solid State Disk)などで実現される。
【0029】
再生モード決定部104は、回転検出部102から、録画開始点および録画終了点、および再生開始情報を受け付け、モニタ110に表示すべき画像を示す動作モードを以下の方法で決定し、動作モードが遷移した際に、遷移後のモードを実現するための指示を動画再生部108と画像出力部109とに送る。動作モードは、後述するように、鏡モードと後姿再生モードの2種類である。ここで、再生開始情報とは、画像処理装置100が後姿の再生を開始するための指示である。本実施の形態では、録画終了点の後に再びユーザが0°であることを回転検出部102が検出し、再生開始情報を再生モード決定部104に出力する。
【0030】
再生モード決定部104による動作モードの決定方法について説明する。再生モード決定部104は、再生開始情報を得るまでは、画像処理装置100の動作モードを鏡モードに決定する。この鏡モードにおいては、画像処理装置100は、カメラ101が出力する撮像画像をリアルタイムでモニタ110に表示する。一方、再生モード決定部104は、録画開始点、録画終了点の順に得た後に再生開始情報が得られると、画像処理装置100の動作モードを後姿再生モードに決定する。この後姿再生モードにおいては、画像処理装置100は、動画保存部103に保存されている動画を再生し、モニタ110に表示する。再生モード決定部104は、後姿再生モードに決定してから再生時間設定部106に設定された再生時間だけ経過すると、動作モードを鏡モードに決定する。
【0031】
回転時間測定部105は、録画開始点と、録画終了点とを回転検出部102から得て、録画開始点から録画終了点までの時間を計測する。すなわち、録画開始点を得ると計測を開始し、録画終了点を得ると計測を終了し、計測された時間を再生時間設定部106に出力する。ここで、上述したように、画像処理装置100は保存した半回転分の動作全てを再生する。つまり、本実施の形態に係る特定区間は、録画開始点から録画終了点までの全区間である。したがって、回転時間測定部105が計測する時間は、特定区間の録画時間と一致する。
【0032】
再生時間設定部106は、動画保存部103に保存されている動画の特定区間を再生表示する再生時間を保持している。再生時間は、画像処理装置100の管理者によって事前に設定された、後姿の再生時間として適切な時間であり、例えば10秒、15秒、17.5秒など、固定長の時間である。再生時間設定部106は、例えば、再生時間を保持するためのEEPROMなどの不揮発性メモリと、再生時間を設定するためのタッチパネル等のヒューマンインタフェースとからなる。
【0033】
再生速度決定部107は、再生時間設定部106が保持している再生時間と、回転時間測定部105が計測した特定区間の録画時間とから、動画保存部103に保存されている動画の再生速度を算出する。再生時間設定部106が保持している再生時間をTp、回転速度計測部105が計測した特定区間の録画時間をTrとすると、再生速度比Rは、
【0035】
から算出される。なお、再生速度比Rとは、録画時間と再生時間とが一致する基準速度(録画速度)に対する再生速度の比であり、再生速度比Rに従った再生を「R倍速再生」と呼ぶ。したがって、Tp=Trである場合には、再生時間と録画時間とが一致するため、再生速度は元の速度(等速)であるR=1.0となる。また、R<1.0である場合はスロー再生となり、R>1.0である場合には早送り再生となる。
【0036】
動画再生部108は、再生モード決定部104から後姿再生モードへの遷移指示を受け取ると、再生速度決定部107が算出した再生速度比Rに従って、動画保存部103に保存されている動画を再生し、画像出力部109に出力する。ここで、スロー再生及び早送り再生について説明する。動画再生部108は、スロー再生を行う場合、動画を構成する各フレームを2度以上出力することにより、フレームの数を1/R倍とする。例えば、R=0.5である場合には、動画再生部108は、動画を構成する各フレームを2度ずつ出力する。一方、動画再生部108は、早送り再生を行う場合、フレームを間引いて出力することにより、フレームの数を1/R倍とする。例えば、R=2.0である場合には、動画再生部108は、動画を構成する各フレームを1つおきに出力する。
【0037】
画像出力部109は、再生モード決定部104から再生モードの遷移指示を受け取って、モニタ110に出力する画像を切り替える。再生モードが鏡モードの場合は、カメラ101から入力される撮像画像をそのまま出力し、再生モードが後姿再生モードの場合は、動画再生部108が再生している動画を表示画像として出力する。
【0038】
<動作>
図4は、画像処理装置100の動作を示すフローチャートである。
図4を用いて、画像処理装置100の動作について、順に説明する。
【0039】
まず、再生時間設定部106に、後姿の再生時間Tpが設定される(S11)。これは、例えば、画像処理装置100の管理者が、後姿を確認できるために適した再生時間Tpを設定することにより行われる。管理者が設定する再生時間Tpは、例えば、10秒である。
【0040】
次に画像処理装置100は、鏡モードで動作する(S12)。すなわち、再生モード決定部104は動作モードを鏡モードに決定し、画像出力部109はカメラ101の撮像動画をそのままモニタ110に出力する。これにより、モニタ110にはカメラ101の撮像画像がリアルタイムで表示される。
【0041】
次に、画像処理装置100は、顔検出により、人物が存在するかどうかを判定する(S13)。人物が検出されない場合(S13でNo)、画像処理装置100は、後述する管理者終了指示が入力されたかどうかを判定する(S19)。画像処理装置100は、管理者終了指示を検出しない場合(S19でNo)、再度、顔検出により、人物が存在するかどうかを判定する(S13)。
【0042】
一方、画像処理装置100は、顔検出により、人物が検出された場合(S13でYes)、次の動作を行う。すなわち、撮像動画を記録する旨の画面をモニタ110に表示し、検出された人物であるユーザに対し、撮影動画を記録することの許可を求める(S14)。これは、プライバシーの観点から、ユーザの許可を得ずに撮像動画を記録することは好ましくないからである。具体的には、画像処理装置100は、撮影動画の記録を許可する場合には特定のジェスチャをするよう要求する旨の画面をS14で表示する。次に、画像処理装置100は、ユーザの許可が得られたかどうかを検出する(S15)。具体的には、ユーザが上述した特定のジェスチャが行われたかどうかの検出を行う。画像処理装置100は、ユーザの許可が得られなかった場合(S15でNo)、S13で人物が検出できなかった場合と同様、画像処理装置100は、管理者終了指示が入力されたかどうかを判定する(S19)。画像処理装置100は、管理者終了指示を検出しない場合(S19でNo)、再度、顔検出により、人物が存在するかどうかを判定する(S13)。S15におけるユーザの許可が得られなかった場合とは、例えば、所定時間内に撮像動画の記録を許可するジェスチャを検出できなかった場合、ユーザが画像処理装置100の前から立ち去り検出されなくなった場合、または、撮像動画の記録を拒否するジェスチャを検出した場合である。なお、ユーザが撮像動画の記録を拒否した場合に再度、S13で人物が存在するかどうかを判定する場合、画像処理装置100はS13で、当該ユーザが立ち去り検出されなくなるまで、人物が検出されないと判定する、としてもよい。このようにすることで、撮像動画の記録を拒否したユーザは、画像処理装置100を単なる鏡として使用することができる。また、当該ユーザが撮像動画の記録に同意して後姿を確認したい場合には、画像処理装置100の前から立ち去った後に改めて画像処理装置100の前に移動すればよい。
【0043】
画像処理装置100は、ユーザの撮像動画の記録許可が得られた場合(S15でYes)、回転検出部102により、ユーザの回転動作の検出を行う(S16)。ユーザが回転動作を行わず、画像処理装置100を向いたままの場合(S16でNo)、顔向きが0°付近を維持したままとなるので、回転動作は検出されない。そのため、再生モード決定部104は動作モードを切り替えず、鏡モードを維持する。画像処理装置100は、後述するユーザ終了指示があるか否かを検出し(S18)、検出しなかった場合は(S18でNo)、S16に戻り回転動作検出を繰り返す。
【0044】
一方、ユーザが回転動作を行う場合(S16でYes)、画像処理装置100は回転動作の録画開始点から録画終了点までの撮像動画を保存して、特定区間を遅延再生することで、後姿再生動作を行う(S17)。
【0045】
S17の後姿再生動作について、
図5、
図6を用いて説明する。
図5は、ユーザが右回りで回転動作を行った場合の時間と顔の向きの関係である。
図6は、S17の詳細を示したシーケンス図である。
【0046】
図5(a)は、動画保存時の顔の向きを示した図である。回転検出部102は、顔向き0°、90°、270°、再び0°を順次検出する。回転検出部102は、時刻Taに90°を検出すると(S101)、録画開始点の通知を出力する(S102)。回転検出部102は、時刻Tbに270°を検出すると(S105)、録画終了点の通知を出力する(S106)。さらに、回転検出部102は、時刻Teに再び顔向き0°を検出すると(S121)、再生開始情報を出力する(S122)。
【0047】
動画保存部103は、回転検出部102からS102の録画開始点の通知を受け付けるとカメラ101の撮像動画を保存する処理を開始し(S103)、回転検出部102からS106の録画終了点の通知を受け付けると動画保存処理を終了する(S107)。この処理により、動画保存部103には時刻Taから時刻Tbまでの時間にカメラ101が撮像した動画が保存される。
【0048】
回転時間測定部105は、回転検出部102からS102の録画開始点の通知を受け付けると時間の計測を開始し(S104)、回転検出部102からS106の録画終了点の通知を受け付けると時間の計測を終了する(S108)。回転時間測定部105は、計測時間を再生速度決定部107に出力する(S110)。この処理により、再生速度決定部107は、特定区間の録画時間として、時刻Taから時刻Tbまでの時間Trを受け取る。
【0049】
再生速度決定部107は、回転時間測定部105から取得した特定区間の録画時間Trと、再生時間設定部106から取得した再生時間Tpから、上述の式1を用いて再生速度比Rを算出し(S111)、動画再生部108に出力する(S112)。例えば、録画時間Trが8秒であり、再生時間Tpが10秒であれば、Rは0.8となる。
【0050】
再生モード決定部104は、回転検出部102から、録画開始点と録画終了点とを取得し、さらに、回転検出部102からS122の再生開始情報を取得すると、画像処理装置100の動作モードを後姿再生モードに切り替えるよう決定し(S123)、動画再生部108と画像出力部109とに、動作モードが後姿再生モードに遷移したことを通知する(S124)。
【0051】
S124の通知を受けた動画再生部108は、動画保存部103から回転動作を撮像した動画を読み出し(S125)、再生速度決定部107が指定した再生速度比Rに従って当該動画を再生する(S126)。同様に、S124の通知を受けた画像出力部109は、カメラ101からの撮像動画のリアルタイム出力を中断し、動画再生部108が出力する動画をモニタ110に出力する(S127)。
【0052】
以上の動作により、ユーザが1回転後に再び正面を向くと、モニタ110には、保存された回転動作時の後姿が予め設定された再生時間Tpをかけて再生される。例えば、再生時間Tpを10秒とすると、録画時間Trが8秒であれば0.8倍速で、録画時間Trが13秒であれば1.3倍速で、いずれの場合も回転動作時の後姿が予め設定された再生時間10秒をかけてモニタ110に表示される。
図5(b)に、再生時の顔の向きを示す。
【0053】
なお、ユーザが左回りに回転動作を行った場合は、回転検出部102は、顔向き0°、270°、90°、再び0°を順次検出する。したがって、回転検出部102は、顔向き270°を録画開始点として、顔向き90°を録画終了点として検出すればよく、それ以外は同様の動作で、回転動作時の後姿の再生を行うことができる。
【0054】
再生が完了すると(S131)、再生モード決定部104は、画像処理装置100の動作モードを鏡モードに切り替えるよう決定し(S132)、画像出力部109に鏡モードへの遷移を通知する(S133)。画像出力部109はカメラ101の撮像動画をそのままモニタ110に出力する(S134)。ここで、再生モード決定部104はS131の通知を受けず、各ブロックの説明の項目で述べたように、S124から再生時間Tpだけ経過してからS132の動作を行っている。これは、S126の所要時間がTpであるため、S124から再生時間Tpだけ経過したタイミングとS131のタイミングは同一となるからである。
【0055】
S17終了後の動作を、
図4を再度参照しながら説明する。画像処理装置100は、ユーザ終了指示があるかどうかを検知する(S18)。ユーザ終了指示が検知されない場合(S18でNo)、S16に戻り、回転動作を検出すると、繰り返し再生を行う。なお、画像保存部103が動画を保存しているときにS17により新たに動画を保存する場合、画像保存部103は、保存している動画を別途使用することがなければ、保存されている動画を破棄してから新たな動画を保存してもよいし、新たな動画で古い動画を上書きしてもよい。
【0056】
画像処理装置100は、ユーザ終了指示を検知すると(S18でYes)、終了処理を実行する(S20)。ここで、ユーザ終了指示とは、例えば、ユーザが画像処理装置100の前から離れることである。
【0057】
また、画像処理装置100は、人物が検出されない場合(S13でNo)、またはユーザの許可が得られなかった場合(S15でNo)において、管理者終了指示を検知した場合(S19でYes)にも終了処理を実行する(S20)。ここで、管理者終了指示とは、例えば、画像処理装置100の管理者によるジェスチャである。
【0058】
以下、S20における終了処理の詳細について示す。画像処理装置100は、動画保存部103に保存されている動画を消去する。動画の消去は、例えば、動画が保存されている領域全てを特定のデータ(”0”など)で上書きすることにより実施される。画像処理装置100は、動画を消去した旨のメッセージをモニタ110に表示する。このようにすることで、画像処理装置100は、保存データの破棄を明示的にユーザに提示し、プライバシーの観点で画像処理装置100に対する使用の安心感を与えることができる。
【0059】
なお、再生モード決定部104が録画終了点を取得後に再生開始情報を取得することなく録画開始点を取得した場合、画像処理装置100は動画保存部103に保存されている動画を破棄し、S17の処理をS101からやり直す。この場合、動画保存部103は、新たな動画の保存前に明示的に古い動画の破棄動作を行ってもよいし、新たな動画を上書きする形で古い動画を破棄してもよい。
【0060】
また、再生モード決定部104が録画終了点を取得後に再生開始情報を取得することなく所定時間が経過した場合、画像処理装置100は、ユーザ終了指示があったと見なしてS20の終了処理を行う。
【0061】
<まとめ>
かかる構成によれば、人物が画像処理装置の前で1回転して後姿の撮像動画を保存して、遅延再生することで後姿を確認するときに、後姿の再生速度が適切に調整することが可能となり、後姿の確認に対する利便性が高まる。
【0062】
(実施の形態2)
図7は、実施の形態2の画像処理装置200のブロック図である。
図7において、
図1と同じ構成要素については同じ符号を用い、説明を省略する。
【0063】
本実施の形態に係る画像処理装置200は、動画保存部103に保存される回転動作を撮像した動画において、予め設定した顔向きの範囲のみを特定区間として再生することに特徴がある。
【0064】
画像処理装置200は、カメラ101、回転検出部202、動画保存部103、再生モード決定部104、回転時間測定部205、再生時間設定部106、再生速度決定部107、向き設定部211、特定区間推定部212、動画再生部208、画像出力部109、およびモニタ110を備える。
【0065】
<各ブロックの説明>
回転検出部202は、回転検出部102の動作に加えて、後述する特定区間の推定のため、録画開始点および録画終了点における、ユーザの顔向きを特定区間推定部212に出力する。
【0066】
回転時間測定部205は、計測した時間の出力先が特定区間推定部212であること以外は、回転時間測定部105と同じ動作を行う。
【0067】
向き設定部211は、回転動作を撮像した動画において、特定区間を指定するためのユーザの顔向きを画像処理装置200の管理者から取得して特定区間推定部212に設定する。ここで、特定区間とは、回転動作を撮像した動画のうち、後姿再生の対象とする部分のことである。本実施の形態において、特定区間は、後姿再生の対象とする部分を顔向きの範囲として管理者が設定する。例えば、管理者は、特定区間を、顔向き150°から210°の範囲であると決定し、向き設定部211に、始点の150°と終点の210°とを設定する。向き設定部211は、例えば、後姿再生の対象とする区間の始点と終点とのユーザの顔向きを保持するためのEEPROMなどの不揮発性メモリと、再生開始点と再生終了点それぞれにおけるユーザの顔向きを設定するためのタッチパネル等のヒューマンインタフェースとからなる。
【0068】
特定区間推定部212は、回転検出部202から録画開始点と録画終了点とのそれぞれにおけるタイミング情報およびユーザの顔向きを取得し、向き設定部211から後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを取得し、回転時間測定部205から録画開始点から録画終了点までの時間を取得する。さらに、特定区間推定部211は、特定区間の開始点(以下、再生開始点と呼ぶ)と特定区間の終了点(以下、再生終了点と呼ぶ)とを推定して、再生開始点と再生終了点とのタイミング情報を動画再生部208に、特定区間の録画時間を再生速度決定部107に出力する。
【0069】
図8を用いて、再生開始点と再生終了点、および録画時間を推定する方法について説明する。特定区間推定部212は、回転動作におけるユーザの回転速度を一定であると仮定し、後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きから、再生開始点と再生終了点とを推定する。ここで、録画開始点、録画終了点、後姿再生の対象とする区間の始点と終点との時刻をそれぞれTa、Tx、Ty、Tbとする。また、時刻Ta、Tx、Ty、Tbにおけるユーザの顔の向きを、それぞれ、Aa、Ax、Ay、Ab(単位は全てdegree)とする。また、録画開始点Taから録画終了点Tbまでの計測時間をTcとすると、録画開始点と再生開始点との間の時間Tx−Taは、
【0071】
におけるTsとして算出される。なお、録画開始点と再生終了点との間の時間Ty−Taは、(式2)のAxの値の代わりにAyの値を用いれば、同様にTsとして算出できる。例えば、録画開始点におけるユーザの顔向きAaが90°、録画終了点におけるユーザの顔向きAbが270°である場合に、後姿再生の対象とする区間の始点のユーザの顔向きAxが150°である場合には、録画開始点Taから、Tc×(150−90)/(270−90)=Tc×1/3だけ進んだ時刻を再生開始点Txとして推定する。同様に、後姿再生の対象とする区間の終点のユーザの顔向きが210°である場合には、録画開始点Taから、Tc×(210−90)/(270−90)=Tc×2/3だけ進んだ時刻を再生終了点Tyとして推定する。
【0072】
また、録画開始点Taから録画終了点Tbまでの時間に対する、特定区間の時間(=Ty−Tx)の割合を示す時間比情報Rpは、
【0074】
で表される。例えば、録画開始点Taにおけるユーザの顔向きAaが90°、録画終了点Tbにおけるユーザの顔向きAbが270°であり、再生開始点を示すユーザの顔向きAxが150°、再生終了点を示すユーザの顔向きAyが210°である場合には、Rp=(210−150)/(270−90)=1/3である。すなわち、特定区間推定部212は、回転時間測定部205より取得した計測時間TcにRpを乗じた値Tc/3を特定区間の録画時間Trとして、再生速度決定部107に出力する。
【0075】
動画再生部208は、上述したように特定区間推定部212より、再生開始点と再生終了点とのタイミング情報を取得する。再生モード決定部104が再生モードへの遷移を指示すると、動画再生部208は動画保存部103より回転動作の動画を取得し、当該動画のうち、再生開始点から再生終了点までの特定区間を再生する。
【0076】
<動作>
図9は、画像処理装置200の動作を示すフローチャートである。
図9を用いて、画像処理装置200の動作について、順に説明する。なお、
図4と同じ動作については同じステップ番号を用い、詳細な説明を省略する。
【0077】
まず、再生時間設定部106に、後姿の再生時間が設定される(S11)。
【0078】
次に、向き設定部211に、後姿再生の対象とする区間の始点と終点との顔向きが設定される(S31)。以下、後姿再生の対象とする区間の始点と終点との顔向きが、それぞれ150°、210°の場合について説明する。
【0079】
画像処理装置200は、顔検出により、人物が存在するかどうかを判定する(S12)。以降の動作については、後姿再生動作(S32)を除いて画像処理装置100の動作と同様であるので説明を省略し、S32の後姿再生動作について説明する。
【0080】
図10は、S32の詳細を示したシーケンス図である。なお、
図6と同じ動作については同じステップ番号を用い、詳細な説明を省略する。
【0081】
ユーザの回転向きが右回りの場合について説明する。回転検出部102は、顔向き0°、90°、270°、再び0°を順次検出する。回転検出部102は、時刻Taに90°を検出すると(S101)、録画開始点を出力し(S102)、同時に録画開始点のタイミングと顔向き90°とを特定区間推定部212に出力する(S201)。同様に、回転検出部102は、時刻Tbに270°を検出すると(S105)、録画終了点を出力し(S106)、録画終了点のタイミングと顔向き270°とを特定区間推定部212に出力する(S202)。さらに、回転検出部102は、時刻Teに再び顔向き0°を検出すると(S121)、再生開始情報を出力する(S122)。
【0082】
動画保存部103は、回転検出部102から録画開始点を受け付けると動画保存を開始し(S103)、録画終了点を受け付けると動画保存を終了する(S107)。
【0083】
回転時間測定部205は、回転検出部102からS102の録画開始点を受け付けると時間計測を開始し(S104)、回転検出部102からS106の録画終了点を受け付けると時間計測を終了する(S108)。回転時間測定部205は測定した時間を特定区間推定部212に通知する(S204)。
【0084】
特定区間推定部212は、録画開始点における顔向き、録画終了点における顔向き、および向き設定部211より取得した後姿再生の対象とする区間の始点と終点との顔向きを用いて、再生開始点および再生終了点、および回転時間測定部205の計測時間に対する特定区間の録画時間の比を推定する(S203)。上述のように、計測時間がTcである場合に、再生開始点は録画開始点からTc×1/3の時刻、再生終了点は録画開始点からTc×2/3の時刻、特定区間の録画時間はTc×1/3である。特定区間推定部212は、回転時間測定部205から計測時間Tcを取得して再生開始点および再生終了点のタイミング、および特定区間の録画時間を算出する(S205)。特定区間推定部212は特定区間の録画時間Tr=Tc×1/3を再生速度決定部107に出力し(S206)、再生開始点および再生終了点を示すタイミング情報を動画再生部208に出力する(S207)。
【0085】
再生速度決定部107、再生モード決定部104の動作は
図6と同様であるため説明は省略する。
【0086】
動画再生部208は、特定区間推定部212から取得した特定区間の情報を基に、動画保存部103から回転動作を撮像した動画のうち、特定区間に該当する部分を読み出し(S208)、再生速度決定部107が指定した再生速度比Rに従って、当該動画の特定区間を再生する(S209)。以降の動作は、
図6と同様であるため説明は省略する。
【0087】
<まとめ>
かかる構成によれば、動画保存部が保存した後姿の動画のうち、顔向きによって指定した特定区間のみを再生することが可能となるので、後姿のうち、特に確認を行いたい向きを表示することが可能となる。
【0088】
(変形例1)
図11は、変形例1に係る画像処理装置300のブロック図である。
図11において、
図1、
図7と同じ構成要素については同じ符号を用い、説明を省略する。
【0089】
本変形例に係る画像処理装置300は、動画保存部103に保存される回転動作を撮像した動画を複数の特定区間に分け、複数のモニタを用いて、それぞれの特定区間を同時に再生することに特徴がある。
【0090】
画像処理装置300は、カメラ101、回転検出部202、動画保存部103、再生モード決定部104、回転時間測定部205、再生時間設定部106、再生速度決定部307、向き設定部311、特定区間推定部312、動画再生部308、画像出力部309、およびモニタA111、モニタB112、モニタC113を備える。
【0091】
<各ブロックの説明>
モニタA111、モニタB112、モニタC113は、それぞれLCD、PDP、有機ELなどで構成される表示デバイスである。モニタA111、モニタB112、モニタC113は、それぞれ画像出力部309から出力される表示画像を表示する。また、モニタA111、モニタB112、モニタC113は、同じ大きさのモニタであり、高さを合わせて左からモニタA111、モニタB112、モニタC113の順に並べられている。
【0092】
向き設定部311は、回転動作を撮像した動画において、モニタごとの後姿再生の対象とする区間を指定するためのユーザの顔向きを取得して特定区間推定部312に設定する。すなわち、モニタA111、モニタB112、モニタC113それぞれに対して、後姿再生の対象とする区間の始点と終点とにおけるユーザの顔向きを設定する。例えば、画像処理装置300の管理者は、後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを、モニタA111に対しては90°と150°、モニタB112に対しては150°と210°、モニタC113に対しては210°と270°を設定する。
【0093】
特定区間推定部312は、回転検出部202から録画開始点と録画終了点とのそれぞれにおけるタイミング情報およびユーザの顔向きを取得し、向き設定部311から各モニタに対応する、後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを取得し、回転時間測定部205から録画開始点から録画終了点までの録画時間を取得する。特定区間推定部312は、モニタA111、モニタB112、モニタC113それぞれに対して、再生開始点と再生終了点とを推定して、再生開始点と再生終了点とのタイミング情報を動画再生部308に、特定区間の録画時間を再生速度決定部307に出力する。
【0094】
再生速度決定部307は、モニタA111、モニタB112、モニタC113それぞれにおける特定区間の録画時間を特定区間推定部312から取得し、モニタA111、モニタB112、モニタC113それぞれにおける再生速度比を算出して動画再生部308に出力する。
【0095】
動画再生部308は、上述したように特定区間推定部312より、モニタA111、モニタB112、モニタC113それぞれにおける再生開始点と再生終了点を取得する。再生モード決定部104が再生モードへの遷移を指示すると、動画再生部308は動画保存部103より回転動作の動画を取得し、モニタA111、モニタB112、モニタC113それぞれの特定区間をそれぞれの再生速度比に従って再生する。
【0096】
画像出力部309は、動画再生部308が再生する特定区間の動画それぞれを、対応するモニタそれぞれ、すなわちモニタA111、モニタB112、モニタC113に出力する。また、鏡モードの場合は、カメラ101から入力される撮像画像を、左1/3、中央1/3、右1/3に分割し、それぞれモニタA111、モニタB112、モニタC113に出力して表示する。
【0097】
<動作>
画像処理装置300の動作は、向き設定部311に設定される後姿再生の対象とする区間の始点と終点とのそれぞれにおける顔向き、特定区間推定部312が推定する再生開始点、再生終了点、および特定区間の録画時間、再生速度決定部307が生成する再生速度、動画再生部308が再生する動画の特定区間、のそれぞれが、モニタA111、モニタB112、モニタC113それぞれに対応して3つずつ存在する以外、画像処理装置200の動作と同一であるため詳細な説明を省略する。
【0098】
例えば、上述のように後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを、モニタA111に対しては90°と150°、モニタB112に対しては150°と210°、モニタC113に対しては210°と270°を設定した場合、
図12に示すように、三面鏡のような動作となる。
【0099】
このようにすることで、後姿の異なる角度から見た姿を同時に見ることができ、より利便性を高めることが可能となる。
【0100】
<本実施の形態に係るその他の変形例>
(1)各実施の形態および各変形例では、画像処理装置100、200、または300がユーザの回転動作を検出する方法として、顔の向きのみを用いる場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置100は、ユーザの回転動作を検出する方法として、被写体であるユーザの人体の姿勢を検出してもよい。この場合、カメラ101に加えて、超音波やミリ波などを用いた距離検出手段を用いたり、あるいはカメラ101に代えてステレオカメラを用いたりすることで、例えば、特表2009−536731号公報に開示されているような、デプスマップを生成し、デプスマップより体の輪郭を検出して各部位を検出し、姿勢を検出する既知技術を用いることができる。このようにすることで、ユーザがマスクをして鼻および口が隠れているなど、顔向き検出が困難な場合であってもユーザの向きを検出することができる。なお、向き設定部211または311、特定区間推定部212または312は、特定区間を示すための情報として、顔の向きに代えて体の向きを用いてよい。このようにすることで、例えば、ユーザがカメラ101に背面を向けており被写体の顔の向きが検出できない場合でも、ユーザの向きを取得することが可能となる。
【0101】
あるいは、画像処理装置100、200、または300は、顔の向きが検出できる場合には顔の向きを用いてユーザの回転動作を検出し、顔の向きが検出されない場合には体の向きを用いてユーザの回転動作を検出する、としてもよい。このようにすることで、被写体の顔の向きが検出できない場合でも、ユーザの向きを取得でき、かつ、顔の向きが検出できる場合には、デプスマップが不要な顔向き検出を用いて処理を単純化させることが可能となる。
【0102】
(2)各実施の形態および各変形例では、ユーザの回転動作の向きが右回りである場合に、回転検出部102は、90°を検出すると録画開始点を出力し、270°を検出すると録画終了点を出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。録画開始点、録画終了点として検出する顔の向きは、例えば、それぞれ80°、280°など、右側と左側の任意の向きの組み合わせであってもよい。あるいは、ユーザの1回転の全域を録画対象としてもよく、録画開始点、録画終了点として検出する顔の向きは、いずれも0°であってもよい。
【0103】
また、回転検出部102は、顔の向きが90°で、かつ、顔の向きが前面から背面に遷移する時刻を録画開始点として検出する、としてもよい。例えば、顔の向きが80°、90°、100°あるいは検出不可(背面)、と遷移する場合は90°を録画開始点として検出するが、顔の向きが80°、90°、80°、と遷移する場合は録画開始点を検出しない、としてもよい。このようにすることで、回転動作でないユーザの動きを、回転動作と誤認識することを回避することができる。同様に、回転検出部102は、顔の向きが270°で、かつ、顔の向きが背面から前面に遷移する時刻を録画終了点として検出する、としてもよい。
【0104】
(3)各実施の形態および各変形例では、被写体がユーザである場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、モニタを見る人物と被写体とは異なる人物であってもよいし、被写体は動物、無機物等であってもよい。このようにすることで、容易に背面を確認できない被写体に対し、1回の回転動作で撮像した動画を適切な速度で再生することにより、確実に背面を確認することが可能となる。
【0105】
(4)実施の形態2の変形例1において、再生速度決定部307は全てのモニタに対して同一の再生時間を用いる場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、再生時間設定部106はモニタごとに再生時間を設定し、回転速度決定部307はモニタごとに異なる再生時間を用いて再生速度を算出するものとしてもよい。
【0106】
(5)各実施の形態および各変形例では、再生モード決定部104が、後姿再生モードに遷移してから再生時間だけ経過すると、鏡モードと判定する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、再生モード決定部104は再生時間設定部106から再生時間を取得せず、再生モードに遷移した後、動画再生部108から動画の再生終了情報を得て鏡モードと判定する、としてもよい。このようにすることで、再生モード決定部104は、特定区間の再生が完了したことを確認してから、鏡モードへの遷移を指示することができる。
【0107】
あるいは、再生モード決定部104は、動画再生の終了後すぐに鏡モードと判定せず、画像保存部(不図示)が保存している後姿の静止画像、もしくは動画保存部103が保持している動画の特定フレームをモニタ110に所定時間表示するよう指示した後、鏡モードと判定してもよい。ここで、動画の特定フレームとは、例えば、録画開始点と録画終了点とのちょうど中間点の時刻に撮像されたフレームである。このようにすることで、ユーザは後姿の動画が再生された後も後姿を確認することが可能となる。
【0108】
(6)実施の形態2および変形例1では、向き設定部211または311に、後姿再生の対象とする区間の始点と終点とのそれぞれにおける顔の向きを取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、向き設定部211が後姿再生の対象とする区間の始点の顔の向きを取得していない場合に、特定区間推定部212は、録画開始点を再生開始点とする、としてもよい。同様に、向き設定部211が後姿再生の対象とする区間の終点の再生終了点における顔の向きを取得していない場合に、特定区間推定部212は、録画終了点を再生終了点とする、としてもよい。
【0109】
(7)実施の形態2および変形例1では、向き設定部211または311に、後姿再生の対象とする区間の始点と終点との顔の向きを取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、向き設定部211は、再生開始点および再生終了点それぞれを、録画開始点からの時間、あるいは録画開始点から録画終了点までの計測時間に対する録画開始点からの時間の割合で取得してもよい。
【0110】
(8)実施の形態2および変形例1では、特定区間推定部212または312は、特定区間の録画時間を、回転時間計測部105の計測時間と、計測時間に対する特定区間の録画時間の割合を示す時間比情報Rpを用いて算出する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、特定区間推定部212は、再生開始点のタイミング情報と、再生終了点のタイミング情報とから、特定区間の録画時間を算出するものとしてもよい。このようにすることで、例えば、再生開始点および再生終了点が、録画開始点からの時間で示されている場合にも本実施の形態が可能となる。
【0111】
(9)変形例1では、画像出力部309が3つのモニタに接続される場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、モニタの数は3に限られず、2以上の任意の数であってよい。また、モニタの幅は同一でなくてもよく、鏡モード時においてはモニタの幅に合わせて画像出力部309が画像を分割してもよい。例えば、モニタB112の幅がモニタA111、モニタC113の幅の2倍である場合、モニタA111にカメラ101の画像のうち左端から1/4の領域、モニタC113にカメラ101の画像のうち右端から1/4の領域、モニタB112にカメラ101の画像のうち他のモニタに表示されない残りの領域を表示するとしてもよい。
【0112】
あるいは、鏡モードの動作では、画像出力部309は1つのモニタにカメラ101の画像をそのまま出力し、他のモニタには何も出力しない、あるいはメニュー等を表示するとしてもよい。この場合、モニタのサイズは同一でなくてもよいし、モニタ同士が左右に接する位置関係でなくてもよい。
【0113】
または、画像出力部309は単一のモニタ110と接続されていてもよい。この場合、画像出力部309は、鏡モードにおいては画像出力部109と同様にカメラ101の画像をそのまま出力し、再生モードにおいては、モニタ110の領域を分割して、動画再生部308が出力する複数の特定区間の再生画像を各領域に出力することにより、本変形例の実施が可能となる。
【0114】
(10)実施の形態2の変形例1では、向き設定部311が、モニタA111、モニタB112、モニタC113のそれぞれに対して、再生開始点および再生終了点それぞれにおける顔の向きを取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、向き設定部311は、モニタA111の後姿再生の対象とする区間の終点かつモニタB112の後姿再生の対象とする区間の始点、モニタB112の後姿再生の対象とする区間の終点かつモニタC113の後姿再生の対象とする区間の始点、の2か所における顔の向きを取得し、特定区間推定部212は、録画開始点をモニタA111の再生開始点、録画終了点をモニタC113の再生終了点としてもよい。このようにすることで、動画を重複なしにn個の特定区間(nは2以上の整数)に分割する場合に、(n−1)個の分割点の情報のみを用いて、3面鏡を構成する鏡の数をn個に増やしたような動作を行うことが可能となる。
【0115】
(11)実施の形態2の変形例1では、動画保存部103に保存された動画を複数の特定区間に分割し、それぞれの特定区間を同時に再生する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、複数の特定区間それぞれに異なる再生時間を設定し、複数の特定区間を連続して1つのモニタで再生するとしてもよい。このとき、再生時間設定部106は特定区間ごとに再生時間を設定し、再生速度決定部307は特定区間ごとに再生速度を決定し、動画再生部308がそれぞれの特定区間を対応する再生速度に従って連続再生すればよい。例えば、上記(10)のように、向き設定部311に、第1の区間と第2の区間の境界の顔向きとして150°、第2の区間と第3の区間の境界の顔向きとして210°を設定し、再生時間設定部106に、第1の区間、第2の区間、第3の区間の再生時間をそれぞれ1秒、8秒、1秒と設定する。このようにすることで、90°〜150°の区間を1秒かけて再生し、次に150°〜210°の区間を8秒かけて再生し、210°〜270°の区間を1秒かけて再生することができる。この例によれば、特定区間全域を10秒かけて見やすい速度で再生しながら、さらに注目したい150°〜210°の区間を8秒かけて低速度で確認することが可能となる。
【0116】
あるいは、向き設定部311に、第1の区間を90°〜180°、第2の区間を180°〜180°、第3の区間を180°〜270°と設定し、第1の区間、第2の区間、第3の区間の再生時間をそれぞれ4秒、2秒、4秒と設定してもよい。このようにすることにより、特に注目したい180°で2秒間、静止画を表示することが可能となる。
【0117】
(12)各実施の形態および各変形例では、回転検出部102は、録画終了点を検出した後、再度0°を検出すると再生開始情報を出力し、再生モード決定部104は録画開始点、録画終了点の順に受け付けた後、再生開始情報を受け付けると動作モードを後姿再生モードに決定する場合について説明したが、本発明は必ずしもこの場合に限定されない。再生モード決定部104は、例えば、録画開始点、録画終了点の順に受け付けた後、計測時間の1/2倍だけ待機した後に後姿再生モードに遷移するものとしてもよい。あるいは、再生モード決定部104は、例えば、録画開始点、録画終了点の順に受け付けた後、ユーザが画像処理装置100を注視するジェスチャを行うと後姿再生モードに移行する、としてもよい。
【0118】
(13)各実施の形態および各変形例では、動画保存部103は、録画開始点と録画終了点をトリガとして、回転動作に係るカメラ撮像動画の保存を開始および終了する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、動画保存部103は、S16の間ずっと動画を保存するものとしてもよい。この場合、例えば、回転検出部102が、動画保存部103に録画開始点と録画終了点とを出力せず、再生モード決定部104に録画開始点のタイミング情報と録画終了点のタイミング情報とを出力し、再生モード決定部104は、録画開始点から録画終了点までを特定区間とすることにより、実施の形態1の実施が可能である。また、回転検出部102が、動画保存部103に録画開始点と録画終了点とを出力せず、特定区間推定部212に録画開始点のタイミング情報と録画終了点のタイミング情報とを出力し、特定区間推定部212は、録画開始点と録画終了点とを用いて特定区間を決定することにより、実施の形態2または変形例1の実施が可能である。
【0119】
(14)各実施の形態および各変形例では、カメラ101は、
図2のように、モニタ110の左側に配置されているものとしたが、本発明は必ずしもこの場合に限定されない。例えば、カメラ101はモニタ110の上部あるいは下部であってもよい。
【0120】
また、カメラ101とモニタ110は同じ向きに近接配置されているものとしたが、例えば、画像処理装置100、200、300はカメラ101の代わりに、カメラと接続され撮像画像を取得する画像取得部を有していてもよい。この場合、画像取得部と接続されるカメラはユーザを撮像できる任意の場所であってよい。
【0121】
また、画像処理装置100、200、300はモニタ110を備えず、画像出力部109は外部のモニタやプロジェクタ等に接続されるものとしてもよい。
【0122】
(15)各実施の形態および各変形例では、動画再生部108、208、308がスロー再生する場合に、動画を構成する同一のフレームを連続で2回以上出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、動画再生部108、208、308は、連続する2つのフレームから補間画像を作成し、補間画像を含めたフレームを連続して出力することで、スロー再生を行ってもよい。
【0123】
(16)各実施の形態および各変形例では、S15においてジェスチャによりユーザから撮影動画の記録の許可または拒否を受け付ける場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置100は、ユーザからの応答を受け付ける入力部を有し、当該入力部から撮影動画の記録の許可または拒否を受け付けてもよい。入力部は、例えば、タッチパネルで構成されるモニタ110のタッチパッドとして構成されていてもよい。
【0124】
(17)各実施の形態および各変形例では、S14で撮影許可をユーザに要求し、S15でユーザが撮影を許可した場合にのみS16を実行する場合について説明したが、本発明は必ずしもこの場合に限定されない。画像処理装置100は、ユーザの撮影許可を別途得ている場合には、S14、S15を実行することなく、S13で人物が検出されるとS16を実行するものとしてもよい。ユーザの撮影許可は、例えば、画像処理装置100の管理者が口頭でユーザから得てもよいし、あるいは、画像処理装置100の管理者が、撮影を許可するユーザのみに画像処理装置100を使用させるとしてもよい。このようにすることで、ユーザが画像処理装置100に撮影を許可する旨の操作を行う必要がなく、ユーザはより簡易な操作で画像処理装置100を利用することが可能となる。
【0125】
(18)各実施の形態および各変形例では、S18の処理の終了の検出において、ユーザが画像処理装置100、200、または300の前から離れて、人物が検出されなくなったことをトリガとする場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置100は、ユーザのジェスチャを検出して処理の終了のトリガとしてもよいし、または、タッチパネルで構成されたモニタ110に対するタッチ操作を処理の終了のトリガとしてもよい。
【0126】
(19)各実施の形態および各変形例では、鏡モードの動作において画像出力部109がカメラ101の撮像画像をそのままモニタ110に出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像出力部109は、カメラ101の撮像動画に左右反転処理を行ってモニタ110に出力してもよい。このようにすることで、モニタ110を鏡面と見なした場合と同じ画像をモニタ110に表示することができ、ユーザに、違和感を与えることなく画像処理装置100、200、または300を鏡として使用させることが可能となる。
【0127】
また、同様に、再生モードにおいて、動画再生部108が再生する動画の左右を反転させる処理を画像出力部109が行ってもよい。
【0128】
あるいは、画像の左右反転処理は、カメラ101またはモニタ110が行うものとしてもよい。
【0129】
(20)各実施の形態および各変形例では、鏡モードの動作において画像出力部109がカメラ101の撮像画像をそのままモニタ110に出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置100は、鏡モードで動作している間、特許第4598842号に開示されているような、仮想試着などの機能を提供してもよい。
【0130】
(21)各実施の形態および各変形例では、S11で管理者が再生時間を設定するものとしたが、本発明は必ずしもこの場合に限定されない。例えば、再生時間設定部106は一度設定された再生時間をS20の終了処理後も保持し、再生時間設定部106が再生時間を保持している場合にS11を省くものとしてもよい。同様に、例えば、向き設定部211は、一度設定された顔向きを保持し、向き設定部211が顔向きを保持している場合にS31を省くものとしてもよい。もしくは、再生時間設定部106、向き設定部211は、例えばハードウェアスイッチで実現され、管理者は再生時間、顔向き等を予め設定し、画像処理装置はS11、S31を実施しないとしてもよい。あるいは、再生時間設定部106、向き設定部211は、例えば、予め再生時間、または顔向きを記録したROMで構成されてもよい。このようにすることで、管理者が再生時間等を設定する手間を省くことができる。
【0131】
また、再生時間はユーザが後姿再生時に設定、あるいは複数の再生時間候補から選択するとしてもよい。このようにすることで、例えば、服によって適切な再生時間が異なるような場合に、管理者が設定変更することなく適切な速度で後姿を確認することが可能となる。
【0132】
(22)各実施の形態および各変形例に係る画像処理装置は、その構成要素の全部又は一部を、1チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。例えば、カメラとモニタとを除く画像処理装置を1チップで実現してもよいし、回転検出部のみを1チップで実現し、再生モード決定部等を別のチップで実現してもよい。
【0133】
集積回路で実現する場合、典型的には、LSI(Large Scale Integration)として実現される。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0134】
また、集積回路化の手法はLSIに限るものではなく、専用回路、又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0135】
さらには、半導体技術の進歩、又は派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
【0136】
また、各実施の形態および各変形例に係る画像処理装置は、記憶媒体に書き込まれたプログラムと、プログラムを読み込んで実行するコンピュータとで実現されてもよい。記憶媒体は、メモリカード、CD−ROMなどいかなる記録媒体であってもよい。また、本発明に係る画像処理装置は、ネットワークを経由してダウンロードされるプログラムと、プログラムをネットワークからダウンロードして実行するコンピュータとで実現されてもよい。このプログラムは、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、前記録画開始点以降の第1のタイミングから、前記録画終了点以前の第2のタイミングまでの特定区間について、録画時間を算出する時間算出ステップと、前記特定区間の再生に必要な時間が、前記録画時間に依存しない予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生ステップとからなる録画再生処理を実行させるプログラムである。
【0137】
(23)各実施の形態および各変形例の説明は本発明の例示に過ぎず、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。
【0138】
<補足>
以下に、実施の形態に係る画像処理装置、画像処理方法およびプログラムの構成および効果について説明する。
【0139】
(a)実施の形態に係る画像処理装置は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出部と、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存部と、前記録画開始点以降の第1のタイミングから、前記録画終了点以前の第2のタイミングまでの特定区間について、録画時間を算出する時間算出部と、前記録画時間と、前記録画時間に依存しない予め定められた再生時間とを用いて、前記動画の再生速度を決定する再生速度決定部と、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生部とを備え、前記再生速度決定部は、前記再生時間と、前記動画再生部が前記特定区間を再生する時間とが同一となるように、前記再生速度を決定することを特徴とする。
【0140】
また、実施の形態に係る画像処理方法は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、前記録画開始点以降の第1のタイミングから、前記録画終了点以前の第2のタイミングまでの特定区間について、録画時間を算出する時間算出ステップと、前記特定区間の再生に必要な時間が、前記録画時間に依存しない予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生ステップとを含むことを特徴とする。
【0141】
また、実施の形態に係る画像処理プログラムは、再生速度を調整して撮像した動画を再生する録画再生処理を実行するための画像処理プログラムであって、前記録画再生処理は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、前記録画開始点以降の第1のタイミングから、前記録画終了点以前の第2のタイミングまでの特定区間について、録画時間を算出する時間算出ステップと、前記特定区間の再生に必要な時間が、前記録画時間に依存しない予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生ステップとを含むことを特徴とする。
【0142】
これら上記の構成によれば、確認に適した再生時間に合わせて再生を行うことで、回転する被写体の背面を適切な速度で表示することが可能となる。
【0143】
(b)また、実施の形態に係る上記(a)の画像処理装置は、前記再生速度決定部は、前記再生時間に対する前記録画時間の比を、前記動画の録画速度に対する再生速度の比とする、としてもよい。
【0144】
このようにすることで、被写体の背面を確認に適した一定の再生速度で表示することが可能となる。
【0145】
(c)また、実施の形態に係る上記(a)の画像処理装置は、前記回転検出部は、前記被写体の向きが右または左である時刻であって、当該時刻直前の前記被写体の向きが前面で当該時刻直後の前記被写体の向きが背面である時刻に録画開始点を出力し、前記被写体の向きが前記録画開始点における前記被写体の向きとは逆方向である時刻であって、当該時刻直前の前記被写体の向きが背面で当該時刻直後の前記被写体の向きが前面である時刻に録画終了点を出力する、としてもよい。
【0146】
このようにすることで、被写体の回転以外の動きを回転動作と誤認識することを防ぐことができるとともに、遅延再生しなくても確認可能な被写体の前面を動画として保存せず、被写体の背面のみを再生対象とすることが可能となる。
【0147】
(d)また、実施の形態に係る上記(a)の画像処理装置は、前記特定区間は、前記録画開始点から前記録画終了点までの全区間であり、前記時間算出部は、前記録画開始点から前記録画終了点までの時間を前記録画時間として計測する、としてもよい。
【0148】
このようにすることで、録画時間を直接計測することが可能となり、より簡易な構成で本発明の実施が可能となる。
【0149】
(e)また、実施の形態に係る上記(a)の画像処理装置は、特定区間を推定するための被写体の向きと、前記録画開始点と前記録画終了点とにおける前記被写体の向きとを用いて、前記第1のタイミングまたは前記第2のタイミングを推定する特定区間推定部をさらに備える、としてもよい。
【0150】
このようにすることで、直感的に、かつ、被写体の回転動作の所要時間に依存しない形式で、特定区間を推定するための被写体の向きを指定することが可能となる。
【0151】
(f)また、実施の形態に係る上記(a)の画像処理装置は、前記回転検出部は、前記被写体を撮像した動画から前記被写体の顔の向きを検出し、検出された顔の向きを用いて前記録画開始点と前記録画終了点とを検出する、としてもよい。
【0152】
このようにすることで、被写体が前面を向いている場合に、簡易な方法で被写体の向きを検出することが可能となる。
【0153】
(g)また、実施の形態に係る上記(a)の画像処理装置は、前記回転検出部は、前記被写体を撮像した動画から前記被写体である人体の向きを検出し、検出された人体の向きを用いて前記録画開始点と前記録画終了点とを検出する、としてもよい。
【0154】
このようにすることで、被写体が撮像手段に背面を向けている場合にも、被写体の向きを検出することが可能となる。
【0155】
(h)また、実施の形態に係る上記(a)の画像処理装置は、前記再生速度決定部は、複数の特定区間のそれぞれに対して再生速度を決定し、前記動画再生部は、前記複数の特定区間を、前記再生速度決定部が決定したそれぞれの再生速度に従って同時に再生する、としてもよい。
【0156】
このようにすることで、被写体の異なる角度から撮像した背面を同時に表示することができ、より利便性を高めることが可能となる。
【0157】
(j)また、実施の形態に係る上記(a)の画像処理装置は、前記再生時間の設定を受け付ける再生時間設定部をさらに備える、としてもよい。
【0158】
このようにすることで、適切な再生速度が被写体または確認したい事項によって異なる場合において、被写体または確認したい事項ごとに適切な再生速度で再生することが可能となる