特許 7537907 携帯端末、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】携帯端末、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240814BHJP

   G03B 7/091 20210101ALI20240814BHJP

   G03B 15/00 20210101ALI20240814BHJP

   H04N 23/45 20230101ALI20240814BHJP

   H04N 23/60 20230101ALI20240814BHJP

【ＦＩ】

H04N23/63

G03B7/091

G03B15/00 Q

H04N23/45

H04N23/60 500

【請求項の数】 7

(21)【出願番号】P 2020078418

(22)【出願日】2020-04-27

(65)【公開番号】P2021175105

(43)【公開日】2021-11-01

【審査請求日】2023-02-24

(73)【特許権者】

【識別番号】524066085

【氏名又は名称】ＦＣＮＴ合同会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】石川 正久

(72)【発明者】

【氏名】吉村 潤

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１４－１３１２８１（ＪＰ，Ａ）

【文献】特開２０１５－１０６８４９（ＪＰ，Ａ）

【文献】特開２０１８－０８５５６２（ＪＰ，Ａ）

【文献】特開２０１６－００９８９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

板状の筐体と、
前記筐体の第１面に設けられる表示部及び第１カメラと、
前記筐体の前記第１面の背面に設けられる第２カメラと、
前記第１カメラ及び前記第２カメラを制御するプロセッサと、を備え、
前記プロセッサは、
前記第１カメラが撮影した動画像中における人物に追尾し、追尾した前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成し、
前記第２カメラが撮影した動画像中における被写体のうち、最も大きい主被写体を認識し、
前記第２カメラが撮影した動画像の前記主被写体と重畳しない領域に前記切り出し動画像を挿入した合成動画像を前記表示部に表示させ、
前記切り出し動画像は、
前記主被写体と重畳しない領域の大きさが閾値以上である場合には前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔を含む上半身の範囲とした画像であり、
前記主被写体と重畳しない領域の大きさが閾値未満である場合には、前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔の範囲とした画像である、
携帯端末。

【請求項2】

板状の筐体と、
前記筐体の第１面に設けられる表示部及び第１カメラと、
前記筐体の前記第１面の背面に設けられる第２カメラと、
前記第１カメラ及び前記第２カメラを制御するプロセッサと、を備え、
前記プロセッサは、
前記第１カメラが撮影した動画像中における人物に追尾し、追尾した前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成し、
前記第２カメラが撮影した動画像中における被写体のうち、前記動画像の最も中央に位置する主被写体を認識し、
前記第２カメラが撮影した動画像の前記主被写体と重畳しない領域に前記切り出し動画像を挿入した合成動画像を前記表示部に表示させ、
前記切り出し動画像は、
前記主被写体と重畳しない領域の大きさが閾値以上である場合には前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔を含む上半身の範囲とした画像であり、
前記主被写体と重畳しない領域の大きさが閾値未満である場合には、前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔の範囲とした画像である、
携帯端末。

【請求項3】

前記プロセッサは、
前記第２カメラが撮影した動画像中の前記切り出し動画像を挿入する領域の大きさに応じて、前記第１カメラが撮影した動画像から切り出す範囲を変動させる、
請求項１または２に記載の携帯端末。

【請求項4】

板状の筐体と、前記筐体の第１面に設けられる表示部及び第１カメラと、前記筐体の前記第１面の背面に設けられる第２カメラと、を備える情報処理装置が、
前記第１カメラが撮影した動画像中における人物に追尾し、追尾した前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成し、
前記第２カメラが撮影した動画像中における被写体のうち、最も大きい主被写体を認識し、
前記第２カメラが撮影した動画像の前記主被写体と重畳しない領域に前記切り出し動画像を挿入した合成動画像を前記表示部に表示し、
前記切り出し動画像は、
前記主被写体と重畳しない領域の大きさが閾値以上である場合には前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔を含む上半身の範囲とした画像であり、
前記主被写体と重畳しない領域の大きさが閾値未満である場合には、前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔の範囲とした画像である、
情報処理方法。

【請求項5】

板状の筐体と、前記筐体の第１面に設けられる表示部及び第１カメラと、前記筐体の前記第１面の背面に設けられる第２カメラと、を備える情報処理装置が、
前記第１カメラが撮影した動画像中における人物に追尾し、追尾した前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成し、
前記第２カメラが撮影した動画像中における被写体のうち、前記動画像の最も中央に位置する主被写体を認識し、
前記第２カメラが撮影した動画像の前記主被写体と重畳しない領域に前記切り出し動画像を挿入した合成動画像を前記表示部に表示し、
前記切り出し動画像は、
前記主被写体と重畳しない領域の大きさが閾値以上である場合には前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔を含む上半身の範囲とした画像であり、
前記主被写体と重畳しない領域の大きさが閾値未満である場合には、前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔の範囲とした画像である、
情報処理方法。

【請求項6】

板状の筐体と、前記筐体の第１面に設けられる表示部及び第１カメラと、前記筐体の前記第１面の背面に設けられる第２カメラと、を備える情報処理装置に、
前記第１カメラが撮影した動画像中における人物に追尾させ、追尾させた前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成させ、
前記第２カメラが撮影した動画像中における被写体のうち、最も大きい主被写体を認識し、
前記第２カメラが撮影した動画像の前記主被写体と重畳しない領域に前記切り出し動画像を挿入した合成動画像を前記表示部に表示させ、
前記切り出し動画像は、
前記主被写体と重畳しない領域の大きさが閾値以上である場合には前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔を含む上半身の範囲とした画像であり、
前記主被写体と重畳しない領域の大きさが閾値未満である場合には、前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔の範囲とした画像である、
情報処理プログラム。

【請求項7】

板状の筐体と、前記筐体の第１面に設けられる表示部及び第１カメラと、前記筐体の前記第１面の背面に設けられる第２カメラと、を備える情報処理装置に、
前記第１カメラが撮影した動画像中における人物に追尾させ、追尾させた前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成させ、
前記第２カメラが撮影した動画像中における被写体のうち、前記動画像の最も中央に位置する主被写体を認識し、
前記第２カメラが撮影した動画像の前記主被写体と重畳しない領域に前記切り出し動画像を挿入した合成動画像を前記表示部に表示させ、
前記切り出し動画像は、
前記主被写体と重畳しない領域の大きさが閾値以上である場合には前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔を含む上半身の範囲とした画像であり、
前記主被写体と重畳しない領域の大きさが閾値未満である場合には、前記第１カメラが撮影した動画像から切り出す範囲を前記人物の顔の範囲とした画像である、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

近年、携帯端末等で撮影した動画を動画公開サイトに公開することが行われている。このような動画公開サイトでは、撮影者を撮影した撮影者動画を被写体動画に挿入した合成動画が人気を得ている。このような合成動画に関連する技術として、例えば、特許文献１－３を挙げることができる。

【0003】

特許文献１には、第１カメラ部で撮影した撮影者側の画像データにおいて認識した撮影者の顔領域を、第２カメラ部で撮影した被撮影者側の撮像データに合成する携帯電話機が記載されている。特許文献２には、被撮影者の撮像に撮影者の撮像を合成した合成画像において、撮影者の撮像が被撮影者の顔と重なる場合に、撮影者の撮像の合成位置を移動する撮像装置が記載されている。特許文献３には、撮影者を撮影した画像のトリミング範囲を、撮影者の顔領域のみとしたり撮影者の上半身も含めるようにしたりと変更することで、合成画像における撮影者の様子を見やすくする撮像装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－０９４７４１号公報

【文献】特開２０１５－１０３９１８号公報

【文献】特開２０１４－２１２３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

インカメラで撮影者を撮影した動画像から所定領域を切り出した切り出し動画像をアウトカメラで撮影した動画像に合成した合成動画像を生成する場合について検討する。このような場合、アウトカメラでの撮影対象の動きに追従してアウトカメラの撮影方向を変えると、アウトカメラと同一の筐体に設けられたインカメラの撮影方向も変わることになる。その結果、インカメラが撮影する動画像中における撮影者の位置が所定領域からずれてしまうことがある。所定領域から撮影者がずれてしまうと、アウトカメラに合成される動画像には撮影者の顔の一部しか表示されないようなことが生じ得る。

【0006】

開示の技術の１つの側面は、インカメラで撮影した撮影者の動画像をアウトカメラで撮影する動画像に合成した合成動画像において、撮影者の顔の一部しか表示されない事象を抑制できる携帯端末、情報処理方法及び情報処理プログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

開示の技術の１つの側面は、次のような携帯端末によって例示される。本携帯端末は、板状の筐体と、前記筐体の第１面に設けられる表示部及び第１カメラと、前記筐体の前記第１面の背面に設けられる第２カメラと、前記第１カメラ及び前記第２カメラを制御するプロセッサと、を備え、前記プロセッサは、前記第１カメラが撮影した動画像中における人物に追尾し、追尾した前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成し、前記切り出し動画像を前記第２カメラが撮影した動画像に挿入した合成動画像を前記表示部に表示させる。

【発明の効果】

【0008】

開示の技術は、インカメラで撮影した撮影者の動画像をアウトカメラで撮影する動画像に合成した合成動画像において、撮影者の顔の一部しか表示されない事象抑制することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係るスマートフォンの外観の一例を示す図である。

【図2】図２は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。

【図4】図４は、実施形態における切り出し動画像の生成を模式的に示す図である。

【図5】図５は、実施形態において、インカメラ動画像中でユーザの位置が移動した場合における切り出し動画像の生成を模式的に示す図である。

【図6】図６は、実施形態における合成動画像の生成を模式的に示す図である。

【図7】図７は、実施形態に係るスマートフォンの処理フローの一例を示す図である。

【図8】図８は、比較例において、インカメラ動画像中に設定した所定領域外にユーザが移動した場合を例示する図である。

【図9】図９は、比較例における合成動画像の生成を模式的に示す図である。

【図10】図１０は、第１変形例において、アウトカメラ動画像中の主要な被写体の認識を例示する図である。

【発明を実施するための形態】

【0010】

＜実施形態＞
以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。実施形態に係る携帯端末は、例えば、以下の構成を備える。
本実施形態に係る携帯端末は、
板状の筐体と、
前記筐体の第１面に設けられる表示部及び第１カメラと、
前記筐体の前記第１面の背面に設けられる第２カメラと、
前記第１カメラ及び前記第２カメラを制御するプロセッサと、を備え、
前記プロセッサは、
前記第１カメラが撮影した動画像中における人物に追尾し、追尾した前記人物を含む領域を前記第１カメラが撮影した動画像から切り出した切り出し動画像を生成し、
前記切り出し動画像を前記第２カメラが撮影した動画像に挿入した合成動画像を前記表示部に表示させる。

【0011】

本実施形態に係る携帯端末は、例えば、可搬型の情報処理装置である。携帯端末としては、例えば、スマートフォン、タブレット型パーソナルコンピュータ、フィーチャーフォン等を挙げることができる。

【0012】

第１カメラ及び第２カメラは、少なくとも動画像の撮影が可能なカメラである。第１カメラ及び第２カメラは、静止画像の撮影も可能であってもよい。第１カメラ及び第２カメラは、例えば、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）イメージセンサやＣｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）イメージセンサを有するデジタルカメラである。

【0013】

プロセッサは、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。表示部としては、プロセッサで処理されるデータを表示するディスプレイを挙げ
ることができる。ディスプレイとしては、例えば、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ（ＰＤＰ）、Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）パネル、有機ＥＬパネルを挙げることができる。

【0014】

本携帯端末では、第１カメラで撮影した動画像から切り出した切り出し動画像を生成する際に、第１カメラが撮影した動画像中の人物の追尾を行う。そして、追尾した人物を含む領域を第１カメラが撮影した動画像から切り出しすことで、切り出し動画像を生成する。このような特徴を備えることで、本携帯端末は、第１カメラが撮影する動画像中で人物が移動しても、移動した人物を第１カメラが撮影した動画像から切り出すことができる。そのため、本携帯端末は、第１カメラで撮影した撮影者の動画像をアウトカメラで撮影する動画像に合成した合成動画像において、第１カメラが撮影した人物の顔の一部しか表示されない事象を抑制することができる。

【0015】

本携帯端末は、さらに、次の特徴を備えてもよい。前記プロセッサは、前記第２カメラが撮影した動画像中における主被写体を認識し、前記主被写体と重畳しない領域に、前記切り出し動画像を挿入する。主被写体は、例えば、第２カメラでの撮影対象となる被写体である。携帯端末は、例えば、第２カメラが撮影する動画像に物体認識を実行し、最も大きい物体を主被写体と判定してもよい。また、携帯端末は、第２カメラが撮影する動画像において中央付近に配置される物体を主被写体と判定してもよい。このような特徴を備えることで、本携帯端末は、切り出し動画像と主被写体とが重畳することを抑制することができる。換言すれば、本携帯端末は、主被写体の少なくとも一部が切り出し動画像によって隠されてしまうことを抑制することができる。

【0016】

本携帯端末は、さらに、次の特徴を備えてもよい。前記プロセッサは、前記第２カメラが撮影した動画像中の前記切り出し動画像を挿入する領域の大きさに応じて、前記第１カメラが撮影した動画像から切り出す範囲を変動させる。本携帯端末は、このような特徴を備えることで、切り出し動画像を挿入する領域の大きさが小さい場合には第１カメラで撮影した人物の顔を含む切り出し動画像を生成し、また、切り出し動画像を挿入する領域の大きさが大きい場合には第１カメラで撮影した人物の顔以外の部分も含む切り出し動画像を生成することができる。

【0017】

以上説明した実施形態に係る技術は、情報処理方法及び情報処理プログラムの側面から把握することも可能である。

【0018】

以下、図面を参照して上記携帯端末をスマートフォンに適用した実施形態についてさらに説明する。図１は、実施形態に係るスマートフォンの外観の一例を示す図である。図１は、スマートフォン１００の一方から見た外観（前面側の外観とする）と、他方から見た外観（背面側の外観とする）の外観を例示する。図１では、矢印によって、スマートフォン１００の前面側と背面側が入れ替えて配置され、例示される。スマートフォン１００は、板状の筐体１１０を有する。したがって、図１には描かれていないが、筐体１１０の前面と背面との間の距離（厚み）は、前面または背面の外形寸法と比較して短い。図１で紙面に向かって上側が筐体１１０の上側であり、紙面に向かって下側が筐体１１０の下側であると仮定する。以下、本明細書において、筐体１１０の上下方向をＹ方向、Ｙ方向と直交する筐体１１０の幅方向をＸ方向とも称する。

【0019】

スマートフォン１００は、可搬型の情報処理装置である。筐体１１０の前面にはスピーカー１１１、マイクロフォン１１２、ディスプレイ１１３及びインカメラ１１４が設けられる。筐体１１０の背面にはアウトカメラ１２１が設けられる。インカメラ１１４は、例えば、スマートフォン１００を操作するユーザの動画像を撮影する。アウトカメラ１２１
は、例えば、ユーザがアウトカメラ１２１を向けた被写体の動画像を撮影する。インカメラ１１４は、「第１カメラ」の一例である。アウトカメラ１２１は、「第２カメラ」の一例である。

【0020】

図２は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。スマートフォン１００は、ＣＰＵ１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、スピーカー１１１、マイクロフォン１１２、ディスプレイ１１３、インカメラ１１４及びアウトカメラ１２１を備える。ＣＰＵ１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、スピーカー１１１、マイクロフォン１１２、ディスプレイ１１３、インカメラ１１４及びアウトカメラ１２１は、接続バスによって相互に接続される。

【0021】

ＣＰＵ１０１は、マイクロプロセッサユニット（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０１がマルチコア構成を有していてもよい。ＣＰＵ１０１が実行する処理のうち少なくとも一部は、ＣＰＵ１０１以外のプロセッサ、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われてもよい。また、ＣＰＵ１０１が実行する処理のうち少なくとも一部は、集積回路（ＩＣ）、その他のデジタル回路によって実行されてもよい。また、ＣＰＵ１０１の少なくとも一部にアナログ回路が含まれてもよい。集積回路は、Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（ＬＳＩ）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）を含む。ＣＰＵ１０１は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラユニット（ＭＣＵ）、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。スマートフォン１００では、ＣＰＵ１０１が補助記憶部１０３に記憶されたプログラムを主記憶部１０２の作業領域に展開し、プログラムの実行を通じて周辺装置の制御を行う。これにより、スマートフォン１００は、所定の目的に合致した処理を実行することができる。主記憶部１０２および補助記憶部１０３は、スマートフォン１００が読み取り可能な記録媒体である。

【0022】

主記憶部１０２は、ＣＰＵ１０１から直接アクセスされる記憶部として例示される。主記憶部１０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）およびＲｅａｄ
Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。

【0023】

補助記憶部１０３は、各種のプログラムおよび各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１０３は外部記憶装置とも呼ばれる。補助記憶部１０３には、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ、ＯＳ）、各種プログラム、各種テーブル等が格納される。ＯＳは、通信部１０４を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、コンピュータネットワーク等で接続された、他の情報処理装置および外部記憶装置が含まれる。なお、補助記憶部１０３は、例えば、ネットワーク上のコンピュータ群であるクラウドシステムの一部であってもよい。

【0024】

補助記憶部１０３は、例えば、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）等である。

【0025】

通信部１０４は、例えば、情報処理装置を通信可能に接続するコンピュータネットワークとのインターフェースである。通信部１０４は、コンピュータネットワークを介して外部の装置と通信を行う。

【0026】

スピーカー１１１は、音を出力する音源である。スピーカー１１１は、スマートフォン１００を用いた通話において、通話相手の音声等の音を出力する。マイクロフォン１１２は、通話や動画の音声取得に用いられるマイクロフォンである。

【0027】

ディスプレイ１１３は、ＣＰＵ１０１で処理されるデータや主記憶部１０２に記憶されるデータを表示する。ディスプレイ１１３は、例えば、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ（ＰＤＰ）、Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）パネル、有機ＥＬパネルである。ディスプレイ１１３には、例えば、ユーザの指等によるタッチ操作を検知するタッチパネルが重畳して設けられてもよい。スマートフォン１００は、ディスプレイ１１３にタッチパネルが重畳して設けられることで、直感的な操作環境をユーザに提供することができる。

【0028】

インカメラ１１４及びアウトカメラ１２１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを有するデジタルカメラである。インカメラ１１４及びアウトカメラ１２１は、静止画像及び動画像を撮影可能である。

【0029】

＜スマートフォン１００の処理ブロック＞
図３は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１００は、追尾部１１、切り出し部１２及び合成部１３を備える。スマートフォン１００は、主記憶部１０２に実行可能に展開されたコンピュータプログラムをＣＰＵ１０１が実行することで、上記スマートフォン１００の、追尾部１１、切り出し部１２及び合成部１３等の各部としての処理を実行する。

【0030】

追尾部１１は、インカメラ１１４が撮影する動画像中の人物を追尾する。本実施形態では、インカメラ１１４が撮影する動画像にはアウトカメラ１２１での撮影を実行するユーザが映ることになる。そのため、追尾部１１は、インカメラ１１４が撮影する動画像中の当該ユーザを追尾する。追尾部１１による追尾は、例えば、インカメラ１１４が撮影した動画像に対する人物認識によって行われる。追尾部１１は、例えば、Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ（ＯｐｅｎＣＶ、参考ＵＲＬ ｈｔｔｐｓ：／／ｏｐｅｎｃｖ．ｏｒｇ／）やＴｅｎｓｏｒＦｌｏｗ（参考ＵＲＬ ｈｔｔｐｓ：／／ｗｗｗ．ｔｅｎｓｏｒｆｌｏｗ．ｏｒｇ／）を用いて人物認識を行うことができる。

【0031】

切り出し部１２は、インカメラ１１４が撮影した動画像から追尾部１１によって追尾された人物を含む領域を切り出した切り出し動画像を生成する。図４は、実施形態における切り出し動画像の生成を模式的に示す図である。図４では、インカメラ１１４が撮影したインカメラ動画像Ｍ１が例示される。切り出し部１２は、インカメラ動画像Ｍ１において追尾部１１が追尾しているユーザＰ１の周囲を囲む矩形枠Ｒ１を設定する。切り出し部１２は、インカメラ動画像Ｍ１から矩形枠Ｒ１で囲んだ領域を切り出した切り出し動画像Ｍ２を生成する。なお、図４では、ユーザＰ１の周囲を囲む枠として矩形枠Ｒ１が例示されているが、ユーザＰ１の周囲を囲む枠は矩形以外の形状（例えば、円や楕円、多角形等）であってもよい。

【0032】

アウトカメラ１２１で撮影する被写体が移動すると、ユーザは当該被写体の移動に追従するように、アウトカメラ１２１の撮影方向を変更する。アウトカメラ１２１とインカメ
ラ１１４とは、同一の筐体１１０に設けられていることから、アウトカメラ１２１の撮影方向が変更されると、インカメラ１１４の撮影方向も変更されることになる。インカメラ１１４の撮影方向が変更されると、インカメラ１１４によって撮影されるインカメラ動画像Ｍ１中のユーザＰ１の位置も移動することになる。

【0033】

図５は、実施形態において、インカメラ動画像中でユーザの位置が移動した場合における切り出し動画像の生成を模式的に示す図である。図５は、インカメラ１１４によって撮影されたインカメラ動画像Ｍ１中における、移動前のユーザＰ１の位置を点線で例示し、移動後のユーザＰ１の位置を実線で例示する。実施形態に係るスマートフォン１００では、インカメラ動画像Ｍ１中のユーザＰ１を追尾部１１が追尾する。そして、切り出し部１２は、追尾部１１が追尾したユーザＰ１を矩形枠Ｒ１で囲んだ領域を切り出して切り出し動画像Ｍ２を生成する。そのため、切り出し部１２は、インカメラ動画像Ｍ１中におけるユーザＰ１の位置が移動しても、移動後のユーザＰ１を含めるように切り出し動画像Ｍ２を生成することができる。

【0034】

図３に戻り、合成部１３は、アウトカメラ１２１が撮影したアウトカメラ動画像と切り出し部１２が切り出した切り出し動画像Ｍ２とを合成した合成動画像を生成する。合成動画像は、例えば、アウトカメラ動画像の挿入領域に切り出し動画像Ｍ２が挿入されることで生成される。合成部１３は、挿入領域の大きさに合わせて、切り出し動画像Ｍ２の合成動画像中における大きさを拡大または縮小してもよい。挿入領域の位置及び範囲を示す情報は、例えば、予め補助記憶部１０３に記憶される。

【0035】

図６は、実施形態における合成動画像の生成を模式的に示す図である。図６において、アウトカメラ動画像Ｍ３は、アウトカメラ１２１によって撮影された動画像の一例である。アウトカメラ動画像Ｍ３において、矩形枠Ｒ２は、挿入領域を模式的に示す。また、切り出し動画像Ｍ２は、インカメラ１１４によって撮影された動画像から切り出し部１２が切り出した動画像の一例である。合成部１３は、アウトカメラ動画像Ｍ３の矩形枠Ｒ２の領域に切り出し動画像Ｍ２を挿入した合成動画像Ｍ４を生成する。合成部１３は、生成した合成動画像Ｍ４を、例えば、ディスプレイ１１３に出力してもよい。また、合成部１３は、合成動画像Ｍ４を、例えば、補助記憶部１０３に記憶させてもよい。

【0036】

＜スマートフォン１００の処理フロー＞
図７は、実施形態に係るスマートフォンの処理フローの一例を示す図である。図７に例示される処理フローが実行される前に、アウトカメラ１２１及びインカメラ１１４は起動されているものとする。以下、図７を参照して、スマートフォン１００の処理フローについて説明する。

【0037】

Ｔ１では、追尾部１１は、インカメラ１１４によって撮影されたインカメラ動画像Ｍ１を取得する。Ｔ２では、追尾部１１は、Ｔ１で取得したインカメラ動画像Ｍ１に対して人物認識を行い、認識した人物の追尾を行う。ここでは、追尾部１１は、インカメラ１１４によって撮影されたスマートフォン１００のユーザを認識し、認識したユーザの追尾を行う。

【0038】

Ｔ３では、切り出し部１２は、Ｔ２で追尾部によって追尾された人物の領域を特定し、特定した領域を矩形枠Ｒ１で囲む（図４参照）。Ｔ４では、切り出し部１２は、Ｔ３で矩形枠Ｒ１で囲んだ領域を切り出した切り出し動画像Ｍ２を生成する（図４参照）。

【0039】

Ｔ５では、合成部１３は、アウトカメラ１２１によって撮影されたアウトカメラ動画像Ｍ３を取得する。Ｔ６では、合成部１３は、アウトカメラ動画像Ｍ３の挿入領域Ｒ２と切り出し動画像Ｍ２の大きさとが異なる場合には、挿入領域Ｒ２の大きさに合わせるように
、切り出し動画像Ｍ２の大きさを拡大または縮小する。ここでは、仮に、切り出し動画像Ｍ２を縮小したものとする。Ｔ７では、合成部１３は、Ｔ６で縮小した切り出し動画像Ｍ２をアウトカメラ動画像Ｍ３の挿入領域Ｒ２に挿入して、合成動画像Ｍ４を生成する（図６参照）。合成部１３は、例えば、合成動画像Ｍ４をディスプレイ１１３に出力させる。また、合成部１３は、例えば、合成動画像Ｍ４を補助記憶部１０３に記憶させる。

【0040】

＜比較例＞
ここで、比較例について説明する。比較例に係るスマートフォンは、実施形態に係るスマートフォン１００と同一のハードウェア構成を備える。比較例に係るスマートフォンでは、実施形態に係るスマートフォン１００とは異なり、インカメラ動画像に対する人物認識や追尾は行われない。比較例に係るスマートフォンは、インカメラ動画像中に設定した所定領域を切り出して切り出し動画像を生成する。このような比較例においても、所定領域内にユーザが収まっていれば、インカメラ動画像からユーザを含む切り出し動画像を生成することができる。しかしながら、上述のように、アウトカメラ１２１の撮影方向が変更されると、インカメラ１１４の撮影方向も変更されることになる。インカメラ１１４の撮影方向が変更されると、インカメラ動画像中に設定された所定領域からユーザが外れてしまう虞がある。

【0041】

図８は、比較例において、インカメラ動画像中に設定した所定領域外にユーザが移動した場合を例示する図である。図８では、インカメラ動画像Ｍ１ａ中における、移動前のユーザＰ１の位置を点線で例示し、移動後のユーザＰ１の位置を実線で例示する。比較例に係るスマートフォンでは、インカメラ動画像Ｍ１ａにおいてユーザＰ１が移動しても、所定領域Ｈ１の位置はユーザＰ１の移動に追従しない。そのため、比較例に係るスマートフォンでは、図８に例示するように、切り出し動画像Ｍ２ａにはユーザＰ１の顔の一部しか含まれなくなる可能性がある。

【0042】

図９は、比較例における合成動画像の生成を模式的に示す図である。比較例に係るスマートフォンは、アウトカメラ動画像Ｍ３の矩形枠Ｒ２の領域に切り出し動画像Ｍ２ａを挿入した合成動画像Ｍ４ａを生成する。上記の通り、切り出し動画像Ｍ２ａにはユーザの顔の一部しか含まれていないため、合成動画像Ｍ４ａにおいてもユーザの顔の一部しか表示されていない。

【0043】

＜実施形態の作用効果＞
実施形態に係るスマートフォン１００では、インカメラ動画像Ｍ１中のユーザＰ１を追尾部１１が追尾し、切り出し部１２が追尾部１１による追尾に追従してユーザＰ１の周囲に矩形枠Ｒ１を設定する。そのため、インカメラ動画像Ｍ１中においてユーザＰ１の位置が移動しても、ユーザＰ１の顔を含む切り出し動画像Ｍ２を生成することができる。

【0044】

また、スマートフォン１００は、インカメラ動画像Ｍ１からユーザＰ１を切り出した切り出し動画像Ｍ２をアウトカメラ動画像Ｍ３に挿入することにより、インカメラ動画像Ｍ１全体をアウトカメラ動画像Ｍ３に挿入する場合よりも、合成動画像においてユーザＰ１を大きく表示することができる。そのため、スマートフォン１００は、ユーザＰ１の表情が分かりやすい合成動画像を生成することができる。

【0045】

＜第１変形例＞
実施形態に係るスマートフォン１００は、例えば、アウトカメラ動画像Ｍ３における主要な被写体を認識し、認識した主要な被写体と重畳しない位置に、切り出し動画像Ｍ２を挿入してもよい。図１０は、第１変形例において、アウトカメラ動画像中の主要な被写体の認識を例示する図である。スマートフォン１００は、アウトカメラ動画像Ｍ３ａに対して物体認識を行う。スマートフォン１００は、例えば、物体認識によって認識したアウト
カメラ動画像Ｍ３ａ中の物体のうち、最も大きい物体Ｓ１を主要な被写体と判定してもよい。また、スマートフォン１００は、アウトカメラ動画像Ｍ３ａにおいて中央付近に配置される物体Ｓ２を主要な被写体と判定してもよい。スマートフォン１００が主要な被写体として判定する基準は、適宜設定されればよい。ここでは、物体Ｓ２が主要な被写体と認識されたものとする。

【0046】

スマートフォン１００は、主要な被写体と認識した物体Ｓ２の周囲を囲む矩形枠Ｒ３を設定する。スマートフォン１００は、矩形枠Ｒ３で囲まれた領域以外の領域に、切り出し動画像を挿入する挿入領域を設定すればよい。すなわち、スマートフォン１００は、矩形枠Ｒ３と重畳しないように、切り出し動画像の挿入領域を設定すればよい。なお、アウトカメラ動画像Ｍ３ａ中の主要な被写体は複数であってもよい。スマートフォン１００は、例えば、図１０に例示される物体Ｓ１、Ｓ２、Ｓ３及びＳ４を主要な被写体と認識してもよい。主要な被写体は、「主被写体」の一例である。

【0047】

なお、インカメラ動画像Ｍ１から切り出し動画像Ｍ２として切り出す範囲は、アウトカメラ動画像Ｍ３に切り出し動画像Ｍ２を挿入する挿入領域の大小に応じて、変更してもよい。切り出し部１２は、例えば、挿入領域が大きい場合には、インカメラ動画像Ｍ１からユーザＰ１の顔を含む上半身を切り出した切り出し動画像Ｍ２を生成してもよい。また、切り出し部１２は、例えば、挿入領域が小さい場合には、インカメラ動画像Ｍ１からユーザＰ１の顔を切り出した切り出し動画像Ｍ２を生成してもよい。ここで、挿入領域の大小は、例えば、切り出し動画像Ｍ２中におけるユーザＰ１の表情が動画像の閲覧者に把握しやすいように設定した閾値を基に判定されればよい。

【0048】

以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。

【0049】

<<コンピュータが読み取り可能な記録媒体>>
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させる情報処理プログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0050】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅｃｏｒｄａｂｌｅ（ＣＤ－Ｒ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲｅＷｒｉｔｅｒａｂｌｅ（ＣＤ－ＲＷ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、ブルーレイディスク（ＢＤ）、Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ（ＤＡＴ）、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

【符号の説明】

【0051】

１００：スマートフォン
１０１：ＣＰＵ
１０２：主記憶部
１０３：補助記憶部
１０４：通信部
１１０：筐体
１１１：スピーカー
１１２：マイクロフォン
１１３：ディスプレイ
１１４：インカメラ
１２１：アウトカメラ
１１：追尾部
１２：切り出し部
１３：合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】