(58)【調査した分野】(Int.Cl.,DB名)
前記所定の規則は、前記複数の動く被写体を重ね合わせる方向を定めた画像ずらし方向と、前記複数の動く被写体を前記画像ずらし方向に移動させる際の移動量を定めた画像間隔と、を含む請求項1の電子機器。
前記制御部は、前記複数の撮影データから背景画像を抽出し、前記抽出した背景画像と、前記複数の動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成する請求項1又は2の電子機器。
前記制御部は、複数の前記抽出した背景画像を重ね合わせた画像と、前記動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成する請求項3の電子機器。
前記所定の規則は、前記複数の動く被写体を重ね合わせる方向を定めた画像ずらし方向と、前記複数の動く被写体を前記画像ずらし方向に移動させる際の移動量を定めた画像間隔と、を含む請求項7の電子機器の制御方法。
【発明を実施するための形態】
【0015】
初めに、
図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
【0016】
上述のように、静止画を単に3D表示しただけでは、動く被写体の立体感を強調した3D表示することができない。そのため、動く被写体の立体感を強調した画像を3D表示する電子機器が、望まれる。
【0017】
そこで、一例として
図1に示す電子機器を提供する。
図1に示す電子機器は、被写体を連続して撮影可能なカメラ部と、画像を立体的に表示可能な3Dパネルと、カメラ部が連続撮影した複数の撮影データのそれぞれについて、動く被写体を抽出し、複数の動く被写体を所定の規則に基づいて重ね合わせることで、合成画像を生成し、合成画像を3Dパネルに表示させる制御部と、を備えている。
【0018】
制御部では、カメラ部を介して取得した複数の撮影データから、動いている被写体を抽出する。さらに、制御部は、この抽出した被写体を所定の規則に基づいて重ね合わせる。より具体的には、動く被写体を一定の方向、一定の移動量でずらしつつ、重ね合わせる。その結果、重ね合わせた画像には被写体の軌跡が形成され、被写体をより強調して3D表示することができる。
【0019】
さらに、ユーザが、所定の規則を任意に変更可能とすることで、動く被写体を3D表示する際の効果を変更することができる。即ち、動く被写体を重ね合わせる際に、被写体同士の間隔を広げれば(移動量を大きくすれば)、被写体が飛び出してくるように感じられ、3D効果を高めることができる。その結果、動く被写体の立体感を強調した画像を3D表示する電子機器が提供できる。
【0020】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
【0021】
[第1の実施形態]
本発明の第1の実施形態について、図面を用いてより詳細に説明する。
【0022】
図2は、本実施形態に係る電子機器1の全体構成の一例を示す平面図である。
【0023】
電子機器1は、3Dパネル10と、タッチパネル20と、レンズ30を備えている。なお、レンズ30は、3Dパネル10及びタッチパネル20と対向する側に配置されているため、
図2では図示していない。
【0024】
3Dパネル10には、ユーザが電子機器1を操作する際に必要な情報を表示する。3Dパネル10は、2D画像の表示に加えて、静止画を3D画像として表示可能なパネルである。なお、電子機器1は、3Dパネル10に代えて、液晶シャッター等を備えた専用の眼鏡を使用して3D画像をユーザが認識する構成であっても良い。
【0025】
タッチパネル20は、平板状のセンサによりユーザの操作を検出するデバイスである。タッチパネルの方式には、静電容量方式を初めとして各種存在するが、その方式は問わない。例えば、ユーザの指等の物体が近接したことを検出する近接検出型のタッチパネルを用いることも可能である。
【0026】
ユーザが電子機器1を使用して画像の撮影を行う際には、レンズ30を介して画像が電子機器1に取り込まれる。
【0027】
次に、電子機器1の内部構成について説明する。
【0028】
図3は、本実施形態に係る電子機器1の構成の一例を示す図である。
【0029】
図3に示す電子機器1は、3Dパネル10と、タッチパネル20と、レンズ30と、操作部101と、表示部102と、カメラ部103と、制御部104と、メモリ105と、記憶部106から構成されている。なお、
図3には、簡単のため、本実施形態に係る電子機器1に関係するモジュールのみを記載する。3Dパネル10、タッチパネル20、レンズ30は上述のとおりであるので、さらなる説明を省略する。
【0030】
操作部101は、タッチパネル20と接続されており、タッチパネル20の設定・駆動を行うドライバとしての役割を担う。操作部101は、ユーザがタッチパネル20に触れた位置を検出し、その座標情報を制御部104に出力する。
【0031】
表示部102は、3Dパネル10と接続されており、3Dパネル10の設定・駆動を行うドライバとしての役割を担う。表示部102では、制御部104から送信されてくる画面表示情報から3Dパネル10を駆動するための信号を生成し、3Dパネル10に送信する。
【0032】
カメラ部103は、カメラ部103は、CCD(Charge Coupled Device)センサ等の撮像素子と、レンズ30を前後に移動するアクチュエータと、を含む。カメラ部103は、制御部104からの指示に従い、画像データを取得する。
【0033】
制御部104は、操作部101が検出したユーザ操作に基づいて動作モードの切り替えや、各アプリケーションに対する動作指示、ユーザが電子機器1を操作する際に必要な情報の生成及び表示などを実現する。なお、制御部104は、CPU(Central Processing Unit)上で動作するプログラムによって実現し得る。
【0034】
メモリ105は、制御部104の動作の際に必要となる情報を一時的に記憶する。
【0035】
記憶部106は、電子機器1の各機能を実現する際に必要となる各種の設定情報を記憶する。
【0036】
次に、電子機器1の動作について説明する。
【0037】
図4は、本実施形態に係る電子機器1の動作の一例を示すフローチャートである。
【0038】
ステップS01では、制御部104が、カメラ部103に対して起動を指示する。さらに、制御部104が、表示部102に対して、カメラ部103から得られる画像データを表示する指示を行う。
【0039】
図5は、カメラ部103から得られる画像データの一例を示す図である。
【0040】
ステップS02では、制御部104が、タッチパネル20を介して入力された操作(特定のキーやアイコンの押下等)に基づき、表示部102に対して設定メニューの表示を指示する。
図6は、設定メニューの一例を示す図である。
【0041】
ステップS03では、制御部104が、タッチパネル20を介して3D軌跡連続撮影モードが選択されたか否かを判断する。制御部104が、3D軌跡連続撮影モードが選択されたと判断すれば、ステップS04に遷移する。制御部104が、3D軌跡連続撮影モードが選択されていないと判断すれば、ステップS03の判断を継続する。
【0042】
ステップS04では、制御部104が、表示部102に対して3D軌跡連続撮影モードの設定UI(User Interface)の表示を指示する。
【0043】
図7は、3D軌跡連続撮影モードの設定UIの一例を示す図である。
図7に示す3D軌跡連続撮影モードの設定UIには3つの設定メニューが存在する。撮影合成枚数に関する設定メニューは、軌跡を表現するための連写の撮影枚数を設定する。
【0044】
ずらし方向に関する設定メニューは、軌跡を表現するために、動く被写体をどの方向にずらして重ね合わせるかを設定する。
図7に示す設定では、撮影時間が古いものを右上に配置し、撮影時間が新しいものを左下に向けて重ね合わせる設定となっている。なお、ずらし方向に関する設定メニューを変更することで、ユーザが感じる3D感覚(3D効果)に変化を与えることができる。例えば、右上から左下に向けて、動く被写体を重ねる場合と、左上から右下に向けて、動く被写体を重ねる場合では、3D効果に違いが現れる。ユーザは好みに応じて、ずらし方向に関する設定メニューの設定を変更する。
【0045】
図8は、動く被写体の配置の一例を示す図である。このように、撮影時間が古いものを右上に配置し、撮影時間が新しいものを左下に向けて重ね合わせる設定とすると、
図8に示すように被写体が配置されることになる。
【0046】
被写体レイヤー幅に関する設定メニューは、動く被写体をどの程度の間隔で配置するかを決定する。若しくは、被写体レイヤー幅に関する設定は、動く被写体をずらし方向に対してどの程度の移動量をもって配置するかを定めるものと捉えることができる。移動量が大きいと、よりユーザ側に近づいて配置されることになる(動く被写体を拡大して配置する)。被写体レイヤー幅に関する設定メニューの選択肢としては、「広い」、「中間」、「狭い」のようなものが考えられる。この被写体レイヤー幅によって、ユーザが感じる3D効果を変更することができる。
【0047】
図9は、被写体レイヤー幅を「狭い」に設定した場合のフレーム構成の一例を示す図である。
図10は、被写体レイヤー幅を「広い」に設定した場合のフレーム構成の一例を示す図である。
図9及び
図10のいずれにおいても、動く被写体の前後に背景が配置されている。
【0048】
ここで、被写体レイヤー幅を「狭い」に設定すると、各被写体同士の間隔が狭まる。制御部104は、各被写体を配置するレイヤー間の間隔を狭くした状態で、各被写体と前後の背景を合成する。その結果、ユーザが、合成された画像から感じる3D感覚(3D効果)は弱いものとなる。被写体同士の間隔が狭くなり、被写体の飛び出し感は弱くなる。
【0049】
一方、
図10のように、被写体レイヤー幅を「広い」に設定すると、各被写体同士の間隔が広がる。その結果、ユーザが、合成された画像から感じる3D感覚(3D効果)は強くなる。被写体同士の間隔が広くなり、被写体の飛び出し感は強くなるためである。なお、被写体レイヤー幅を「広い」、「中間」、「狭い」のいずれに設定した場合であっても、動く被写体は、時系列に沿って奥行きを持って配置される。従って、このような画像を観察したユーザは、動く被写体が奥行き方向にずれて重なっているように認識する。その結果、ユーザは、動く被写体を奥行き方向に配置しない場合と比較して、3Dパネル10を介して観察する画像の3D効果が強まっていると認識する。
【0050】
ステップS05では、制御部104が、3D軌跡連続撮影モードの設定UIにおいて、設定変更がなされたか否かを判断する。制御部104が、3D軌跡連続撮影モードの設定変更がなされたと判断した場合には、ステップS06に遷移する。制御部104が、3D軌跡連続撮影モードの設定変更がなされていないと判断した場合には、ステップS07に遷移する。
【0051】
ステップS06では、制御部104が、表示部102に対して3D軌跡連続撮影モードの設定UIの更新を指示する。その後、制御部104は、ステップS04に遷移する。
【0052】
ステップS07では、制御部104が、タッチパネル20を介して3D軌跡連続撮影の開始が指示されたか否かを判断する。より具体的には、制御部104が、
図7の灰色の領域がユーザにより押下されたか否かを判断する。制御部104が、3D軌跡連続撮影の開始が指示されたと判断した場合には、ステップS08に遷移する。制御部104が、3D軌跡連続撮影の開始が指示されていないと判断した場合には、ステップS05に遷移する。
【0053】
ステップS08では、制御部104が、表示部102に対して、カメラ部103(レンズ30)を介して得られる画像の表示を指示する。
【0054】
ステップS09では、制御部104が、ユーザがシャッター釦等を押すことによって、3D軌跡連続撮影についての撮影開始が指示されたか否かを判断する。制御部104が、3D軌跡連続撮影についての撮影開始が指示されたと判断した場合には、ステップS10に遷移する。制御部104が、3D軌跡連続撮影についての撮影開始が指示されていないと判断した場合には、ステップS09の処理を継続する(ユーザからの指示を待つ)。
【0055】
ステップS10では、制御部104が、カメラ部103に対して連続撮影処理の指示を行う。
【0056】
ステップS11では、制御部104が、カメラ部103から得られる撮影データをメモリ105に一時保存する。
【0057】
ステップS12では、制御部104が、メモリ105に記憶された撮影データから動く被写体を抽出する。動く被写体の抽出には、複数の撮影データ間の差分を抽出し、輝度情報等が変化している領域を動く被写体とすることが考えられる。しかし、このような抽出方法に限定する趣旨ではない。
【0058】
ステップS13では、制御部104が、3D軌跡連続撮影モードの設定UIにおける設定(ずらし方向、被写体レイヤー幅)に基づいて、抽出した動く被写体を重ね合わせる。
【0059】
ステップS14では、制御部104が、動く被写体についての重ね合わせ処理が、3D軌跡連続撮影モードの設定UIで設定された撮影合成枚数に達したか否かを判断する。制御部104が、撮影合成枚数に達したと判断した場合には、ステップS15に遷移する。制御部104が、撮影合成枚数に達していないと判断した場合には、ステップS13に遷移し、重ね合わせの処理を継続する。
【0060】
ステップS15では、制御部104が、メモリ105に記憶された撮影データから背景部分(動く被写体を除く領域)を抽出する。
【0061】
ステップS16では、制御部104が、抽出した背景を重ね合わせることで、1枚の背景を作成する。
【0062】
ステップS17では、制御部104が、ステップS15で抽出した背景を重ね合わせたか否かを判断する。制御部104が、抽出した背景を重ね合わせたと判断した場合には、ステップS18に遷移する。制御部104が、抽出した背景を重ね合わせていないと判断した場合には、ステップS16に遷移し、重ね合わせの処理を継続する。
【0063】
ステップS18では、制御部104が、動く被写体と背景を合成して1枚の画像とする。
図11は、動く被写体と背景を合成した画像の一例である。
【0064】
以上のように、本実施形態に係る電子機器1は、被写体を連続撮影する。その後、撮影データから動く被写体を抽出し、抽出した被写体を撮影した時系列、かつ、配置するレイヤーをずらしながら重ね合わせる。この複数の動く被写体を重ね合わせた画像と背景を合成することで、1枚の画像を生成する。その結果、単に1枚の静止画を3D表示した場合とは異なり、ユーザが感じる3D効果を高めることできる。
【0065】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0066】
(付記1)被写体を連続して撮影可能なカメラ部と、画像を立体的に表示可能な3Dパネルと、前記カメラ部が連続撮影した複数の撮影データのそれぞれについて、動く被写体を抽出し、前記複数の動く被写体を所定の規則に基づいて重ね合わせることで、合成画像を生成し、前記合成画像を前記3Dパネルに表示させる制御部と、を備える電子機器。
【0067】
(付記2)前記所定の規則は、前記複数の動く被写体を重ね合わせる方向を定めた画像ずらし方向と、前記複数の動く被写体を前記画像ずらし方向に移動させる際の移動量を定めた画像間隔と、を含む電子機器。
【0068】
(付記3)前記制御部は、前記複数の撮影データから背景画像を抽出し、前記抽出した背景画像と、前記複数の動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成する電子機器。
【0069】
(付記4)前記制御部は、複数の前記抽出した背景画像を重ね合わせた画像と、前記動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成する電子機器。
【0070】
(付記5)前記複数の動く被写体を重ね合わせる回数は、ユーザが設定可能である電子機器。
【0071】
(付記6)前記画像ずらし方向及び前記画像間隔は、ユーザが設定可能である電子機器。
【0072】
(付記7)被写体を連続して撮影可能なカメラ部と、画像を立体的に表示可能な3Dパネルと、を備える電子機器の制御方法であって、前記カメラ部が連続撮影した複数の撮影データのそれぞれについて、動く被写体を抽出する第1の工程と、前記複数の動く被写体を所定の規則に基づいて重ね合わせることで、合成画像を生成する第2の工程と、前記合成画像を前記3Dパネルに表示させる第3の工程と、を含む電子機器の制御方法。
【0073】
(付記8)前記所定の規則は、前記複数の動く被写体を重ね合わせる方向を定めた画像ずらし方向と、前記複数の動く被写体を前記画像ずらし方向に移動させる際の移動量を定めた画像間隔と、を含む電子機器の制御方法。
【0074】
(付記9)前記第1の工程は、前記複数の撮影データから背景画像を抽出する工程を含み、前記第2の工程は、前記抽出した背景画像と、前記複数の動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成する工程を含む電子機器の制御方法。
【0075】
(付記10)前記第2の工程は、複数の前記抽出した背景画像を重ね合わせた画像と、前記動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成する工程を含む電子機器の制御方法。
【0076】
(付記11)被写体を連続して撮影可能なカメラ部と、画像を立体的に表示可能な3Dパネルと、を備える電子機器を制御するコンピュータに実行させるプログラムであって、前記カメラ部が連続撮影した複数の撮影データのそれぞれについて、動く被写体を抽出する第1の処理と、前記複数の動く被写体を所定の規則に基づいて重ね合わせることで、合成画像を生成する第2の処理と、前記合成画像を前記3Dパネルに表示させる第3の処理と、を実行するプログラム。
【0077】
(付記12)前記所定の規則は、前記複数の動く被写体を重ね合わせる方向を定めた画像ずらし方向と、前記複数の動く被写体を前記画像ずらし方向に移動させる際の移動量を定めた画像間隔と、を含むプログラム。
【0078】
(付記13)前記第1の処理は、前記複数の撮影データから背景画像を抽出する処理を実行し、前記第2の処理は、前記抽出した背景画像と、前記複数の動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成するプログラム。
【0079】
(付記14)前記第2の処理は、複数の前記抽出した背景画像を重ね合わせた画像と、前記動く被写体を重ね合わせた画像と、を重ね合わせることで前記合成画像を生成するプログラム。
【0080】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。