(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-13
(45)【発行日】2022-10-21
(54)【発明の名称】電子機器、制御プログラム、制御装置、および制御方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20221014BHJP
G03B 5/00 20210101ALI20221014BHJP
G03B 17/18 20210101ALI20221014BHJP
G06F 3/0484 20220101ALI20221014BHJP
H04N 5/225 20060101ALI20221014BHJP
【FI】
H04N5/232 945
G03B5/00 D
G03B17/18 Z
G06F3/0484
H04N5/225 800
(21)【出願番号】P 2019020627
(22)【出願日】2019-02-07
【審査請求日】2021-09-22
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】石井 康史
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2010-206643(JP,A)
【文献】特開2011-023819(JP,A)
【文献】特開平07-135590(JP,A)
【文献】特開2013-013050(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
H04N 5/225
G03B 5/00
G03B 17/18
G06F 3/0484
(57)【特許請求の範囲】
【請求項1】
電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、
前記第1カメラの撮影画像を表示する表示装置と、
制御装置と、を備え、
前記制御装置は、
前記第2カメラの撮像範囲を、前記第2カメラの最大撮像範囲に基づき設定される第2座標系で示す第2範囲情報として取得する座標取得処理と、
前記第1カメラの撮像範囲に基づき設定される第1座標系において、前記第2範囲情報に対応する第1範囲情報を取得する座標変換処理と、
前記第1範囲情報に基づく範囲を、前記第1カメラの撮影画像に重ねて前記表示装置に表示させる撮像範囲表示処理と、を実行
し、
前記座標取得処理は、前記第2範囲情報に基づく範囲の少なくとも一部が前記第2座標系外の座標を含む範囲となる場合、前記第2範囲情報が前記第2座標系内に含まれるように、前記第2カメラの撮像範囲における中心の位置を補正する、電子機器。
【請求項2】
前記撮像範囲表示処理は、前記第2カメラの撮像範囲の位置および/またはズームによって前記第2カメラの撮像範囲の大きさを変更しても、前記第1カメラの撮影画像の表示サイズは維持する、請求項1に記載の電子機器。
【請求項3】
前記座標変換処理は、前記第1カメラの画角と前記第2カメラの画角との違いに関する情報に基づき、前記第1範囲情報を取得する、請求項1または2に記載の電子機器。
【請求項4】
前記座標変換処理は、前記第1カメラの光軸と前記第2カメラの光軸とのずれに関する情報に基づき、前記第1範囲情報を取得する、請求項1~3の何れか1項に記載の電子機器。
【請求項5】
前記撮像範囲表示処理は、前記第1範囲情報に基づく範囲を枠として表示させる、請求項1~4の何れか1項に記載の電子機器。
【請求項6】
前記第1カメラは動画撮影を行い、前記第2カメラは静止画撮影を行う、請求項1~5の何れか1項に記載の電子機器。
【請求項7】
請求項1に記載の電子機器における制御装置としてコンピュータを機能させるための制御プログラム。
【請求項8】
電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、
前記第1カメラの撮影画像を表示する表示装置と、を備える前記電子機器を制御する制御装置であって、
前記第2カメラの撮像範囲を、前記第2カメラの最大撮像範囲に基づき設定される第2座標系で示す第2範囲情報として取得する座標取得部と、
前記第1カメラの撮像範囲に基づき設定される第1座標系において、前記第2範囲情報に対応する第1範囲情報を取得する座標変換部と、
前記第1範囲情報に基づく範囲を、前記第1カメラの撮影画像に重ねて前記表示装置に表示させる撮像範囲表示部と、を含
み、
前記座標取得部は、前記第2範囲情報に基づく範囲の少なくとも一部が前記第2座標系外の座標を含む範囲となる場合、前記第2範囲情報が前記第2座標系内に含まれるように、前記第2カメラの撮像範囲における中心の位置を補正する、制御装置。
【請求項9】
電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、
前記第1カメラの撮影画像を表示する表示装置と、を備える前記電子機器を制御するための制御方法であって、
前記第2カメラの撮像範囲を、前記第2カメラの最大撮像範囲に基づき設定される第2座標系で示す第2範囲情報として取得する座標取得工程と、
前記第1カメラの撮像範囲に基づき設定される第1座標系において、前記第2範囲情報に対応する第1範囲情報を取得する座標変換工程と、
前記第1範囲情報に基づく範囲を、前記第1カメラの撮影画像に重ねて前記表示装置に表示させる撮像範囲表示工程と、を含
み、
前記座標取得工程では、前記第2範囲情報に基づく範囲の少なくとも一部が前記第2座標系外の座標を含む範囲となる場合、前記第2範囲情報が前記第2座標系内に含まれるように、前記第2カメラの撮像範囲における中心の位置を補正する、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、制御プログラム、制御装置、および制御方法に関する。
【背景技術】
【0002】
スマートフォン等の携帯型の電子機器において、2つのカメラを搭載し、それぞれのカメラは独立して動作する仕組みが提案されている。例えば特許文献1には、動画用撮像素子および静止画用撮像素子を備え、動画用撮像素子が動画撮影しながら、動画用撮像素子とは独立して静止画用撮像素子が静止画撮影を行う撮影装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の撮影装置によれば、表示部には動画用カメラの撮影画像のみが表示され、ユーザは静止画用カメラの撮像範囲を認識できない問題点がある。当該問題点は、静止画カメラの撮像範囲を、動画用カメラの撮像範囲とは独立して電子ズームさせた場合により顕著となる。
【0005】
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、2つのカメラを備え、一方のカメラの撮影画像上に、他方のカメラの正確な撮像範囲を表示できる電子機器を実現することにある。
【課題を解決するための手段】
【0006】
前記の課題を解決するために、本発明の一態様に係る電子機器は、電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、前記第1カメラの撮影画像を表示する表示装置と、制御装置と、を備え、前記制御装置は、前記第2カメラの撮像範囲を、前記第2カメラの最大撮像範囲に基づき設定される第2座標系で示す第2範囲情報として取得する座標取得処理と、前記第1カメラの撮像範囲に基づき設定される第1座標系において、前記第2範囲情報に対応する第1範囲情報を取得する座標変換処理と、前記第1範囲情報に基づく範囲を、前記第1カメラの撮影画像に重ねて前記表示装置に表示させる撮像範囲表示処理と、を実行する。
【0007】
前記の課題を解決するために、本発明の一態様に係る制御装置は、電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、前記第1カメラの撮影画像を表示する表示装置と、を備える前記電子機器を制御する制御装置であって、前記第2カメラの撮像範囲を、前記第2カメラの最大撮像範囲に基づき設定される第2座標系で示す第2範囲情報として取得する座標取得部と、前記第1カメラの撮像範囲に基づき設定される第1座標系において、前記第2範囲情報に対応する第1範囲情報を取得する座標変換部と、前記第1範囲情報に基づく範囲を、前記第1カメラの撮影画像に重ねて前記表示装置に表示させる撮像範囲表示部と、を含む。
【0008】
前記の課題を解決するために、本発明の一態様に係る制御方法は、電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、前記第1カメラの撮影画像を表示する表示装置と、を備える前記電子機器を制御するための制御方法であって、前記第2カメラの撮像範囲を、前記第2カメラの最大撮像範囲に基づき設定される第2座標系で示す第2範囲情報として取得する座標取得工程と、前記第1カメラの撮像範囲に基づき設定される第1座標系において、前記第2範囲情報に対応する第1範囲情報を取得する座標変換工程と、前記第1範囲情報に基づく範囲を、前記第1カメラの撮影画像に重ねて前記表示装置に表示させる撮像範囲表示工程と、を含む。
【発明の効果】
【0009】
本発明の一態様によれば、第1カメラおよび第2カメラを備え、第1カメラの撮影画像上に、第2カメラの正確な撮像範囲を表示する電子機器を実現できる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態1に係るスマートフォンの機能構成を示すブロック図である。
【
図2】本発明の実施形態1に係るスマートフォンであって、(a)は表面を示す模式図であり、(b)は裏面を示す模式図である。
【
図3】本発明の実施形態1に係るカメラの撮像範囲を座標変換した座標系であって、(a)は第1カメラの撮像範囲に基づく座標系を示す図であり、(b)は第2カメラの撮像範囲に基づく座標系を示す図である。
【
図4】本発明の実施形態1に係る第2カメラの撮像範囲が表示装置に表示された状態を示す模式図である。
【
図5】本発明の実施形態1に係る制御装置による制御方法の一例を示すフローチャートである。
【
図6】(a)および(b)は、本発明の実施形態2に係る第2カメラの撮像範囲が表示装置に表示された状態を示す模式図であり、(c)は、前記第2カメラの撮像範囲の位置を変更する態様を示す模式図である。
【
図7】本発明の実施形態2に係るカメラの撮像範囲を座標変換した座標系であって、(a)は第1カメラの撮像範囲に基づく座標系を示す図であり、(b)は第2カメラの撮像範囲に基づく座標系を示す図である。
【
図8】本発明の実施形態2に係る制御装置による制御方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
〔実施形態1〕
<概要>
本発明の一実施形態について、
図1~
図5を参照して以下に説明する。
図1は、本実施形態に係るスマートフォン(電子機器)1の機能構成を示すブロック図である。また、
図2は、本実施形態に係るスマートフォン1であって、
図2の(a)は表面6を示す模式図であり、
図2の(b)は裏面7を示す模式図である。
図1および
図2に示すように、スマートフォン1は、表示装置2、タッチパネル3、第1カメラ4、第2カメラ5、制御装置10、およびメモリ50を備える。なお、本実施形態に係る電子機器は、スマートフォン1に限られず、複数のカメラを備えたいかなる電子機器であってもよい。
【0012】
表示装置2とタッチパネル3とは、スマートフォン1の表面6に重畳的に備えられる。ここで、表面6は、スマートフォン1における表示装置2が備えられる面を示す。また、裏面7は、スマートフォン1における表面6とは反対側の面を示す。
【0013】
第1カメラ4および第2カメラ5は、スマートフォン1の裏面7に備えられている。このように、表示装置2と、第1カメラ4および第2カメラ5とが異なる面に備えられる構成によれば、ユーザは、表示装置2に表示される第1カメラ4または第2カメラ5の撮影画像を確認しながら、被写体を撮影することができる。
【0014】
なお、第1カメラ4および第2カメラ5はスマートフォン1の表面6に備えられていてもよいが、第1カメラ4および第2カメラ5はスマートフォン1の同一面に備えられる。また、第1カメラ4および第2カメラ5は、スマートフォン1に対して同じ側を撮影するように撮影方向が設定されていればよく、例えば別の面に備えられるなど、同一面に備えられない場合も本発明に含まれる。
【0015】
第1カメラ4および第2カメラ5は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を受光素子として備えるカメラである。第1カメラ4および第2カメラ5はそれぞれ、動画撮影および静止画撮影を行うカメラであってもよく、動画撮影または静止画撮影のいずれか一方のみ行うカメラであってもよい。本実施形態においては、第1カメラ4は動画撮影を行い、第2カメラ5は静止画撮影を行うことが好ましい。このような構成によれば、ユーザは、第1カメラ4による動画撮影を行いながら、第2カメラ5による静止画撮影を行うことができる。また、第1カメラ4および第2カメラ5はそれぞれ、2次元画像を撮影するカメラであってもよく、ステレオカメラ等のような3次元画像を撮影するカメラであってもよい。
【0016】
<制御装置10>
制御装置10は、例えばCPU(Central Processing Unit)であり、スマートフォン1の各部を統括して制御する。制御装置10は、座標取得部11、座標変換部12、撮像範囲表示部13、表示制御部14、タッチパネル制御部15、第1カメラ制御部16、および第2カメラ制御部17を含む。
【0017】
図3は、本実施形態に係るカメラの撮像範囲を座標変換した座標系であって、
図3の(a)は第1カメラの撮像範囲に基づく座標系を示す図であり、
図3の(b)は第2カメラの撮像範囲に基づく座標系を示す図である。
図3を参照して、座標取得部11および座標変換部12が実行する処理を以下に説明する。
【0018】
(座標取得部11)
座標取得部11は、第1カメラ4の撮像範囲および第2カメラ5の撮像範囲R(
図4を参照)を座標情報として取得する。
図3の(a)に示すように、座標取得部11は、第1カメラ4の撮像範囲に基づき、当該撮像範囲の中心を原点(0,0)とする第1座標系20を設定する。なお、第1座標系20の基準となる第1カメラ4の撮像範囲は、第1カメラ4の最大撮像範囲でもよく、第1カメラ4の現在の電子ズーム倍率に基づく第1カメラ4の撮像範囲でもよい。
【0019】
また、
図3の(b)に示すように、座標取得部11は、第2カメラ5の最大撮像範囲に基づき、当該最大撮像範囲の中心を原点(0,0)とする第2座標系30を設定する。座標取得部11は、第1座標系20における任意の点の座標を(xa,ya)とし、第2座標系30における所定の点の座標を(xb,yb)としたとき、xa、xb、ya、およびybの値がいずれも-1以上1以下となるように、第1座標系20および第2座標系30における所定の点の座標を取得する。
【0020】
そして、座標取得部11は、現在の第2カメラ5の撮像範囲Rについて、中心位置である原点(0,0)、撮像範囲Rの左上の座標B1(xb1,yb1)、および撮像範囲Rの右下の座標B2(xb2,yb2)を含む情報を、第2範囲情報31として取得する座標取得処理を実行する。なお、撮像範囲Rの上下左右は、便宜上
図3の(a)および(b)に向かっての上下左右として説明しているが、これに限られない。撮像範囲Rの上下左右は、被写体に対してスマートフォン1を構える向きによって変化してもよい。
【0021】
ここで、撮像範囲Rは、第2カメラ5の電子ズーム倍率によって算出できる。すなわち、第2カメラ5の電子ズーム倍率をα倍としたとき、撮像範囲Rの大きさは、第2カメラ5の最大撮像範囲に対して(1/α)倍となる。したがって、座標取得部11は、座標B1におけるxb1およびyb1の値は-(1/α)として、座標B2におけるxb2およびyb2の値は(1/α)として、それぞれ取得する。
【0022】
(座標変換部12)
座標変換部12は、座標取得部11が取得した第2範囲情報31を、第1座標系20における座標に変換して、当該座標の情報を第1範囲情報21として取得する座標変換処理を実行する。すなわち、座標変換部12は、第2範囲情報31に含まれる、第2座標系30の原点、座標B1および座標B2をそれぞれ、第1座標系20の座標D(dx,dy)、座標A1(xa1,ya1)および座標A2(xa2,ya2)に変換する。すなわち、座標変換部12は、座標D、座標A1および座標A2の情報を、第1範囲情報21として取得する。
【0023】
ここで、座標変換部12は、座標Dを、第1カメラ4および第2カメラ5の光軸のずれに関する情報に基づき取得する。言い換えれば、座標変換部12は、第1カメラ4の光軸と第2カメラ5の光軸とのずれに関する情報に基づき、第1範囲情報21を取得する。当該光軸のずれに関する情報とは、例えば、第2カメラ5の原点の位置に対応する、第1座標系20上の座標Dの位置情報であってもよい。
【0024】
また、座標変換部12は、座標A1および座標A2を、第1カメラ4および第2カメラ5の画角の違いに関する情報に基づき取得する。言い換えれば、座標変換部12は、第1カメラ4の画角と第2カメラ5の画角との違いに関する情報に基づき、第1範囲情報21を取得する。当該画角の違いに関する情報とは、例えば、第1カメラ4および第2カメラ5の最大撮像範囲の、スマートフォン1の長手方向および短手方向それぞれにおける長さの比率等に関する情報であってもよい。
【0025】
座標変換部12による、座標A1および座標A2の取得方法の一例を、以下に説明する。まず、第1カメラ4および第2カメラ5の最大撮像範囲の、前記長手方向における長さの比率をa:bとする。また、一般的に、カメラの撮像範囲における長辺および短辺の長さの比率は同じであることが多いため、ここでは第1カメラ4および第2カメラ5の最大撮像範囲の、前記短手方向における長さの比率も、前記長手方向の長さの比率と同じくa:bとする。また、座標Dは上述の通り(dx,dy)である。
【0026】
以上の条件において、座標変換部12は、第1範囲情報における座標A1および座標A2におけるxa1、ya1、xa2、およびya2の値を、それぞれ以下の計算式により取得する。
【0027】
xa1=dx-(1/α)×(b/a)、
ya1=dy-(1/α)×(b/a)、
xa2=dx+(1/α)×(b/a)、
ya2=dy+(1/α)×(b/a)。
【0028】
なお、前記光軸のずれに関する情報および画角の違いに関する情報は、例えば、スマートフォン1の工場出荷時等に、後述するメモリ50に記憶されてもよい。また、前記光軸のずれに関する情報について、第1カメラ4および第2カメラ5の光軸のずれが無視できる程度である場合、座標Dは第1座標系20の原点としてもよい。
【0029】
また、前記画角の違いに関する情報について、前記長手方向の長さの比率と、前記短手方向の長さの比率とは、異なる比率であってもよい。また、第1カメラ4の最大撮像範囲は、第2カメラ5の最大撮像範囲と同じか、または第2カメラ5の最大撮像範囲よりも大きい場合を例にとって説明しているが、これに限られない。
【0030】
また、第1座標系20が第1カメラ4の最大撮像範囲ではなく、第1カメラ4の現在の電子ズーム倍率に基づく第1カメラ4の撮像範囲に基づいて設定されている場合、座標変換部12は、座標A1および座標A2を取得するにあたって、当該電子ズーム倍率を補正要素としてさらに加えてもよい。
【0031】
(撮像範囲表示部13)
撮像範囲表示部13は、第1範囲情報21に基づいて、第2カメラ5の撮像範囲Rを、表示装置2に表示されている第1カメラ4の撮影画像P(
図4を参照)に重ねて、表示装置2に表示させる。言い換えれば、撮像範囲表示部13は、第1範囲情報21に基づく範囲(すなわち、撮像範囲R)を、第1カメラ4の撮影画像Pに重ねて表示装置2に表示させる、撮像範囲表示処理を実行する。
【0032】
図4は、第2カメラ5の撮像範囲Rが表示装置2に表示された状態を示す模式図である。
図4に示すように、表示装置2には、例えば、第1カメラ4の撮影画像P、撮像範囲R、シャッタボタンS、およびズーム操作バーZが表示される。撮像範囲Rは、表示装置2に表示される第1カメラ4の撮影画像P上に重なるように表示される。
【0033】
ここで、撮像範囲表示部13は、ユーザによるタッチパネル3への入力等により、第2カメラ5の電子ズーム倍率を変更して、撮像範囲Rの大きさを変更してもよい。このとき、第2カメラ制御部17は、例えば、表示装置2に表示されているズーム操作バーZを指標とした、ユーザによるタッチパネル3へのタッチ操作(タップ操作およびスワイプ操作等が含まれてもよい)に応じて、第2カメラ5の電子ズーム倍率を変更する。
【0034】
当該電子ズーム倍率の変更情報は座標取得部11に取得され、座標取得部11および座標変換部12によって新たな電子ズーム倍率に対応した第1範囲情報21が生成される。そして、撮像範囲表示部13は、電子ズーム倍率の変更に応じて生成された第1範囲情報21に基づき、表示装置2に表示される撮像範囲Rの大きさを変更する。
【0035】
なお、ユーザによる電子ズーム操作は、タッチパネル3への入力によるものに限られず、例えば、スマートフォン1に備えられるボタンによる入力によるものであってもよいし、スマートフォン1が備える通信機能を介する入力によるものであってもよい。
【0036】
このとき、撮像範囲表示部13は、撮像範囲Rの大きさを変更しても、第1カメラ4の撮影画像Pの表示サイズは維持する(変更しない)。したがって、ユーザは、第1カメラ4の撮影画像Pに影響を与えることなく第2カメラの電子ズーム倍率を変更できる。また、ユーザは、現在の電子ズーム倍率に応じた撮像範囲Rを認識できる。
【0037】
このような構成によれば、ユーザは、第1カメラ4の撮影画像Pを見ながら、撮像範囲Rを容易に認識できる。また、表示装置2に表示される撮像範囲Rは、第1カメラ4と第2カメラ5との光軸および画角の違いに関する情報等により補正される。そのため、撮像範囲表示部13によって表示装置2に表示される撮像範囲Rは、第1カメラ4の撮影画像P上の正確な位置に表示される。したがって、ユーザは、第1カメラ4の撮影画像P上における、正確な撮像範囲Rを認識できる。
【0038】
なお、撮像範囲表示部13は、撮像範囲R(第1範囲情報21に基づく範囲)を枠として表示装置2に表示させてもよい。また、撮像範囲表示部13が撮像範囲Rを表示装置2に表示させる態様は、例えば、半透明に塗りつぶされた矩形として表示装置2に表示させてもよく、その他、ユーザが撮影画像Pおよび撮像範囲Rの両方を認識できる限りであれば、いかなる態様であってもよい。
【0039】
また、
図4に示すズーム操作バーZは、表示装置2の長手方向の一端に沿うように、当該長手方向に延伸して表示され、表示装置2に向かって左側に向かうほど低倍率(Wide)、右側に向かうほど高倍率(Tele)となる例であるが、ズーム操作バーZの態様はこの限りではない。ズーム操作バーZは、表示装置2のいかなる位置に、いかなる方向に延伸して設けられるものであってもよい。また、ズーム操作バーZのいずれの端部が低倍率側であってもよい。
【0040】
また、表示装置2に表示される電子ズーム倍率の変更手段はズーム操作バーZに限られず、例えば、電子ズーム倍率を複数の選択肢の中から選択するものであってもよく、または電子ズーム倍率を直接数字により指定するものであってもよい。
【0041】
(スマートフォン1が備える各装置の制御部)
表示制御部14は、表示装置2に表示される画像を制御する。すなわち、撮像範囲表示部13により表示される第2カメラ5の撮像範囲Rは、表示制御部14を介して表示装置2に表示される。
【0042】
タッチパネル制御部15は、表示制御部14と連動してタッチパネル3へのタッチ操作を認識する。具体的には、タッチパネル制御部15は、表示装置2に表示されている画像と、タッチパネル3へのタッチ操作があった位置とを取得して、いかなるタッチ操作によりいかなる命令が入力されたかを認識する。
【0043】
第1カメラ制御部16および第2カメラ制御部17はそれぞれ、第1カメラ4および第2カメラ5の動作を制御する。例えば、タッチパネル3に入力された第2カメラ5の電子ズーム倍率の変更命令は、第2カメラ制御部17によって取得され、第2カメラ制御部17は第2カメラ5の電子ズーム倍率を変更する。
【0044】
(メモリ50)
メモリ50は、スマートフォン1に搭載される各種プログラム、第1カメラ4および第2カメラ5の光軸ずれおよび画角等に関する情報、ユーザからの入力情報等を記憶する。例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、またはROM(Read Only Memory)である。また、メモリ50は、前記プログラム等を展開するRAM(Random Access Memory)などをさらに備えていてもよい。
【0045】
<制御装置10による制御方法の一例>
図5は、本実施形態に係る制御装置10による制御方法の一例を示すフローチャートである。
図5を参照して、制御装置10によるスマートフォン1の制御方法の一例について以下に説明する。
【0046】
まず、第1カメラ制御部16および第2カメラ制御部17はそれぞれ、第1カメラ4および第2カメラ5を起動する(S1)。次に、表示制御部14は、表示装置2に第1カメラ4の撮影画像Pを表示する(S2)。
【0047】
次に、座標取得部11は、第2カメラ5の電子ズーム倍率を取得する(S3)。当該電子ズーム倍率の初期値は、等倍であってもよく、スマートフォン1に予め記憶された倍率であってもよい。前記予め記憶された倍率とは、例えば、スマートフォン1の工場出荷時に設定された倍率であってもよく、ユーザによって設定された倍率であってもよく、前回第2カメラ5によって撮影が行われた時の、第2カメラ5の電子ズーム倍率であってもよい。
【0048】
次に、座標取得部11は、メモリ50から座標変換用データを読み出す(S3)。前記座標変換用データとは、例えば、第1カメラ4および第2カメラ5の光軸ずれおよび画角の違い等に関する情報であってもよい。
【0049】
次に、座標取得部11は、第1カメラ4の撮像範囲に基づき設定される第1座標系20および第2カメラ5の最大撮像範囲に基づき設定される第2座標系30を設定する。そして、座標取得部11は、第2座標系30上における第2カメラ5の電子ズームの中心となる座標(ズーム中心座標)を取得する(S5)。当該ズーム中心座標は、本実施形態においては第2座標系30の原点である。
【0050】
次に、第2カメラ制御部17は、第2カメラ5の電子ズームを実行する(S6)。当該電子ズームは、ステップS3において取得された電子ズーム倍率に基づいて実行される。
【0051】
次に、座標取得部11および座標変換部12は、電子ズームされた第2カメラの撮像範囲Rを第1座標系20上の座標に変換する(S7)。具体的には、まず座標取得部11は、電子ズームされた撮像範囲Rを、第2座標系30で示す第2範囲情報31として取得する(座標取得工程)。また、座標変換部12は、第1座標系20において、第2範囲情報31に対応する第1範囲情報21を取得する(座標変換工程)。なお、第2範囲情報31および第1範囲情報21の詳しい取得方法は既に説明したため、ここでは省略する。
【0052】
次に、撮像範囲表示部13は、表示装置2に表示されている第1カメラ4の撮影画像P上に、電子ズームされた撮像範囲Rを示す枠を表示する(S8、撮像範囲表示工程)。
【0053】
以上に示すように、制御装置10による本実施形態に係る制御方法によれば、スマートフォン1は、表示装置2に第1カメラ4の撮影画像Pを表示しながら、電子ズームされた撮像範囲Rを、ユーザに容易に認識させることができる。
【0054】
なお、制御装置10は、ユーザによって第2カメラ5の電子ズーム倍率が変更された場合には、ステップS3に処理を戻して再度一連の処理を実行してもよい。このような構成によれば、ユーザによる第2カメラ5の電子ズーム倍率の変更と連動して、表示装置2に表示される、撮像範囲Rを示す枠の大きさを変更できる。したがって、ユーザは、第1カメラ4による撮影中は常に、最新の撮像範囲Rを認識できる。
【0055】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0056】
<概要>
本実施形態に係るスマートフォン1は、座標取得部11が取得する第2カメラ5の撮像範囲Rの中心を、第2座標系30の原点以外の位置に設定可能である点において、実施形態1に係るスマートフォン1と異なる。
【0057】
図6の(a)および(b)は、本実施形態に係る第2カメラ5の撮像範囲Rが表示装置2に表示された状態を示す模式図であり、
図6の(c)は、第2カメラ5の撮像範囲Rの位置を変更する態様を示す模式図である。
【0058】
一例として、
図6の(a)に示すように、撮像範囲表示部13によって、撮像範囲Rを示す枠が、表示装置2に表示されている第1カメラ4の撮影画像Pに重ねて表示装置2に表示される。
図6の(b)に示すように、ユーザは、表示装置2に表示されるズーム操作バーZを、タッチパネル3を介して操作することで、撮像範囲Rの電子ズーム倍率を変更してもよい。
【0059】
ここでスマートフォン1は、例えば、撮像範囲Rの位置を、ユーザ操作に応じた任意の位置に移動させてもよい。具体的には、
図6の(c)に示すように、ユーザは、タッチパネル3に対して、撮像範囲Rを示す枠のドラッグ操作を行うことで、撮像範囲Rの位置を、被写体Ob1を中心とする位置から、別の被写体Ob2を中心とする位置に変更してもよい。また、スマートフォン1は、一度ユーザが撮像範囲Rの位置を変更したら、当該変更後における撮像範囲Rの中心位置を基準として、撮像範囲Rの電子ズームを行ってもよい。
【0060】
このような構成によれば、ユーザは、第1カメラ4の撮影画像P中の任意の被写体を中心として、第2カメラ5によって撮影することができる。すなわち、ユーザは、第1カメラ4と第2カメラ5とで、異なる被写体をそれぞれの撮像範囲の中心に位置させて撮影することができる。
【0061】
<制御装置10>
図7は、本実施形態に係るカメラの撮像範囲を座標変換した座標系であって、
図7の(a)は第1カメラ4の撮像範囲に基づく座標系を示す図であり、
図7の(b)は第2カメラ5の撮像範囲Rに基づく座標系を示す図である。
図7を参照して、本実施形態において座標取得部11および座標変換部12が行う処理を以下に説明する。
【0062】
図7の(a)および(b)に示すように、座標取得部11は、第1カメラ4の撮像範囲および第2カメラ5の最大撮像範囲に基づいて、それぞれ第1座標系20および第2座標系30を設定する。ここで、本実施形態においては、第2カメラ5の撮像範囲Rの中心に対応する第2座標系30上の座標が、原点(0,0)以外の位置であってもよい。
【0063】
座標取得部11はまず、第1座標系20における、ユーザが指定した撮像範囲Rの中心位置の座標A0を取得する。ここで、第1座標系20上における、座標D(dx,dy)から現在の撮像範囲Rの中心位置までの距離を、撮像範囲Rの移動量(xam,yam)と定義する。そうすると、座標取得部11は、撮像範囲Rの中心位置の座標A0(xa0,ya0)におけるxa0およびya0の値を、それぞれxa0=dx+xam、ya0=dy+yamとして取得する。なお座標D(dx,dy)は、実施形態1において説明した通り、第1カメラ4および第2カメラ5の光軸のずれに関する情報に基づいて決定されてもよい。
【0064】
また、第1カメラ4の最大撮像範囲と第2カメラ5の最大撮像範囲との比率がa:bである場合、座標取得部11は、第2座標系30上における撮像範囲Rの移動量(xbm,ybm)におけるxbmおよびybmの値を、それぞれxbm=xam×(a/b)、ybm=yam×(a/b)として取得する。なお、前記aおよび前記bの値は、実施形態1において説明した通り、第1カメラ4と第2カメラ5との画角の違いに関する情報により決定されてもよい。
【0065】
次に、座標取得部11は、撮像範囲Rの中心位置の座標A0に対応する、第2座標系30上における座標B0(xb0,yb0)のxb0およびyb0の値について、撮像範囲Rの移動前の座標が原点(0,0)であることから、それぞれxb0=0+xbm=xam×(a/b)、yb0=0+ybm=yam×(a/b)として取得する。
【0066】
次に、撮像範囲Rの中心位置に対応する第2座標系30上において、座標取得部11は、第2カメラ5の電子ズーム倍率に応じた第2範囲情報31を取得する。第2カメラ5の電子ズーム倍率をα倍とすると、撮像範囲Rは、第2カメラ5の最大撮像範囲に対して(1/α)倍となる。したがって、座標取得部11は、第2座標系30上において、座標B1におけるxb1およびyb1、並びに座標B2におけるxb2およびyb2を、それぞれ以下の計算式により取得する。
【0067】
xb1=xb0-(1/α)=xam×(a/b)-(1/α)、
yb1=yb0-(1/α)=yam×(a/b)-(1/α)、
xb2=xb0+(1/α)=xam×(a/b)+(1/α)、
yb2=yb0+(1/α)=yam×(a/b)+(1/α)。
【0068】
以上により、座標取得部11は、現在の第2カメラ5の撮像範囲Rについて、座標B0(xb0,yb0)、座標B1(xb1,yb1)および座標B2(xb2,yb2)を含む情報を第2範囲情報31として取得する、座標取得処理を実行する。
【0069】
座標変換部12は、座標取得部11が取得した第2範囲情報31を、第1座標系20における座標に変換して、当該座標の情報を第1範囲情報21として取得する、座標変換処理を実行する。すなわち、座標変換部12は、第2範囲情報31に含まれる、座標B0、座標B1および座標B2をそれぞれ、第1座標系20の座標A0(xa0,ya0)、座標A1(xa1,ya1)および座標A2(xa2,ya2)に変換する。
【0070】
なお、座標A0(xa0,ya0)におけるxa0およびya0の値は、上述の通り、座標取得部11によってxa0=dx+xam、ya0=dy+yamとして取得されていることから、座標変換部12はこれらの値をそのまま取得する。
【0071】
また、上述の通り、第1カメラ4の最大撮像範囲と第2カメラ5の最大撮像範囲との比率はa:bであり、第2カメラ5の電子ズーム倍率はα倍であることから、座標変換部12は、座標A1および座標A2におけるxa1、ya1、xa2およびya2の値を、それぞれ以下の計算式により取得する。
【0072】
xa1=xa0-(1/α)×(b/a)=dx+xam-(1/α)×(b/a)、
ya1=ya0-(1/α)×(b/a)=dy+yam-(1/α)×(b/a)、
xa2=xa0+(1/α)×(b/a)=dx+xam+(1/α)×(b/a)、
ya2=ya0+(1/α)×(b/a)=dy+yam+(1/α)×(b/a)。
【0073】
以降は、実施形態1と同様に、撮像範囲表示部13は座標変換部12が取得した第1範囲情報21に基づいて、第2カメラ5の撮像範囲Rを、表示装置2に表示する。なお、撮像範囲表示部13は、ユーザによって撮像範囲Rの位置が変更されても、第1カメラ4の撮影画像Pの表示位置および表示サイズは維持する(変更しない)。したがって、ユーザは、第1カメラ4の撮影画像Pに影響を与えることなく、撮像範囲Rの位置を変更できる。
【0074】
<制御装置10による制御方法の一例>
図8は、本実施形態に係る制御装置10による制御方法の一例を示すフローチャートである。
図8を参照して、制御装置10によるスマートフォン1の制御方法の一例について以下に説明する。
【0075】
まず、第1カメラ制御部16および第2カメラ制御部17はそれぞれ、第1カメラ4および第2カメラ5を起動する(S11)。次に、表示制御部14は、表示装置2に第1カメラ4の撮影画像Pを表示する(S12)。
【0076】
次に、座標取得部11は、第1カメラ4の撮像範囲に基づき設定される第1座標系20および第2カメラ5の最大撮像範囲に基づき設定される第2座標系30を設定する。そして、座標取得部11は、第2カメラ5の撮像範囲Rの中心位置を、第1座標系20上の座標A0として取得する(S13)。ここで、座標取得部11は、メモリ50から座標変換用データを読み出す(S14)。前記座標変換用データとは、例えば、第1カメラ4および第2カメラ5の光軸ずれおよび画角の違い等に関する情報であってもよい。
【0077】
次に、座標取得部11は、座標A0の情報に基づき、第2座標系30上における第2カメラ5の電子ズームの中心となる座標B0(ズーム中心座標)を取得する(S15)。座標B0は、本実施形態においては第2座標系30上における原点以外の位置であってもよい。
【0078】
次に、座標取得部11は、座標B0が第2カメラ5の最大撮像範囲内に存在するか否かを判定する(S16)。ここで、座標B0が第2カメラ5の最大撮像範囲内に存在しない場合(S16でNO)、座標取得部11は、表示装置2にエラーメッセージを表示する(S17)。なぜならば、この場合、座標A0に対応する位置は第2カメラ5の最大撮像範囲外であるため、第2カメラ5によって座標A0に対応する位置を中心として撮影することは不可能なためである。
【0079】
一方、座標B0が第2カメラ5の最大撮像範囲内に存在する場合(S16でYES)、座標取得部11は、第2カメラ5の電子ズーム倍率を取得する(S18)。当該電子ズーム倍率の初期値は、等倍であってもよく、スマートフォン1に予め記憶された倍率であってもよい。前記予め記憶された倍率とは、例えば、スマートフォン1の工場出荷時に設定された倍率であってもよく、ユーザによって設定された倍率であってもよく、前回第2カメラ5によって撮影が行われた時の、第2カメラ5の電子ズーム倍率であってもよい。
【0080】
次に、座標取得部11は、第2座標系30上での、電子ズームされた第2カメラ5の撮像範囲Rを取得する(S19)。そして、座標取得部11は、第2座標系30上での撮像範囲Rは第2カメラ5の最大撮像範囲内に収まるか否かを判定する(S20)。すなわち、第2座標系30上での撮像範囲Rは、座標B0を中心とした場合に、第2カメラ5の最大撮像範囲内に収まらない場合(S20でNO)が考えられる。この場合、座標取得部11は、座標B0(ズーム中心座標)の位置を、撮像範囲Rの全体が第2カメラ5の最大撮像範囲内に収まるように補正する(S21)。
【0081】
言い換えれば、座標取得部11は、第2範囲情報31の少なくとも一部が第2座標系30外の座標を含む範囲となる場合、第2範囲情報31が第2座標系30内に含まれるように、第2カメラ5の撮像範囲Rの中心の位置を補正する。
【0082】
一方、第2座標系30上において、撮像範囲Rが第2カメラ5の最大撮像範囲内に収まる場合(S20でYES)、第2カメラ制御部17は、第2カメラ5の電子ズームを実行する(S22)。当該電子ズームは、ステップS18において取得された電子ズーム倍率により実行される。
【0083】
次に、座標取得部11および座標変換部12は、電子ズームされた第2カメラの撮像範囲Rを第1座標系20上の座標に変換する(S23)。具体的には、まず座標取得部11は、電子ズームされた撮像範囲Rを、第2座標系30で示す第2範囲情報31として取得する(座標取得工程)。また、座標変換部12は、第1座標系20において、第2範囲情報31に対応する第1範囲情報21を取得する(座標変換工程)。なお、第2範囲情報31および第1範囲情報21の詳しい取得方法は既に説明したため、ここでは省略する。
【0084】
次に、撮像範囲表示部13は、表示装置2に表示されている第1カメラ4の撮影画像P上に、電子ズームされた撮像範囲Rを示す枠を表示する(S24、撮像範囲表示工程)。
【0085】
以上に示すように、制御装置10による本実施形態に係る制御方法によれば、スマートフォン1は、表示装置2に第1カメラ4の撮影画像Pを表示しながら、電子ズームされた撮像範囲Rを、ユーザに容易に認識させることができる。
【0086】
なお、制御装置10は、ユーザによって第2カメラ5の電子ズーム倍率または撮像範囲Rの位置が変更された場合には、ステップS13に処理を戻して、再度一連の処理を実行してもよい。このような構成によれば、ユーザによる第2カメラ5の電子ズーム倍率または撮像範囲Rの位置の変更と連動して、表示装置2に表示される、撮像範囲Rを示す枠の大きさおよび位置を変更できる。したがって、ユーザは、第1カメラ4による撮影中は常に、最新の撮像範囲Rを認識できる。
【0087】
〔ソフトウェアによる実現例〕
制御装置10の制御ブロック(特に座標取得部11、座標変換部12、および撮像範囲表示部13)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0088】
後者の場合、制御装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0089】
〔まとめ〕
本発明の態様1に係る電子機器(スマートフォン1)は、電子機器(スマートフォン1)に対して同じ側を撮影するように撮影方向が設定された第1カメラ4および第2カメラ5と、前記第1カメラ4の撮影画像Pを表示する表示装置2と、制御装置10と、を備え、前記制御装置10は、前記第2カメラ5の撮像範囲Rを、前記第2カメラ5の最大撮像範囲に基づき設定される第2座標系30で示す第2範囲情報31として取得する座標取得処理と、前記第1カメラ4の撮像範囲に基づき設定される第1座標系20において、前記第2範囲情報31に対応する第1範囲情報21を取得する座標変換処理と、前記第1範囲情報21に基づく範囲を、前記第1カメラ4の撮影画像Pに重ねて前記表示装置2に表示させる撮像範囲表示処理と、を実行する。
【0090】
このような構成によれば、制御装置は、表示装置に第1カメラの撮影画像を表示しながら、当該撮影画像に重ねて第2カメラの撮像範囲を表示装置に表示できる。そのため、ユーザは、第1カメラによる撮影を行いながら、第2カメラの撮像範囲を正確に認識できる。
【0091】
本発明の態様2に係る電子機器(スマートフォン1)は、前記態様1において、前記撮像範囲表示処理は、前記第2カメラ5の撮像範囲Rの位置および/またはズームによって前記第2カメラ5の撮像範囲Rの大きさを変更しても、前記第1カメラ4の撮影画像Pの表示サイズは維持してもよい。
【0092】
このような構成によれば、制御装置は、表示装置に表示される第1カメラの撮影画像の表示サイズに影響を与えず、表示装置に表示される第2カメラの撮像範囲の大きさのみ変更できる。そのため、ユーザは、第1カメラによる撮影とは独立して、第2カメラの撮像範囲を変更でき、また変更された第2カメラの撮像範囲を正確に認識できる。
【0093】
本発明の態様3に係る電子機器(スマートフォン1)は、前記態様1または2において、前記座標変換処理は、前記第1カメラ4の画角と前記第2カメラ5の画角との違いに関する情報に基づき、前記第1範囲情報21を取得してもよい。このような構成によれば、制御装置は、第1カメラの撮影画像上における、正確な第2カメラの撮像範囲を表示装置に表示させることができる。
【0094】
本発明の態様4に係る電子機器(スマートフォン1)は、前記態様1~3において、前記座標変換処理は、前記第1カメラ4の光軸と前記第2カメラ5の光軸とのずれに関する情報に基づき、前記第1範囲情報21を取得してもよい。このような構成によれば、制御装置は、第1カメラの撮影画像上における、正確な第2カメラの撮像範囲を表示装置に表示させることができる。
【0095】
本発明の態様5に係る電子機器(スマートフォン1)は、前記態様1~4において、前記撮像範囲表示処理は、前記第1範囲情報21に基づく範囲を枠として表示させてもよい。このような構成によれば、制御装置は、ユーザが認識しやすい方法により、表示装置に、第2カメラの撮像範囲を第1カメラの撮影画像に重ねて表示させることができる。
【0096】
本発明の態様6に係る電子機器(スマートフォン1)は、前記態様1~5において、前記第1カメラ4は動画撮影を行い、前記第2カメラ5は静止画撮影を行ってもよい。このような構成によれば、ユーザは、第1カメラにより動画撮影を行いながら、任意のタイミングにより、動画撮影の範囲内における任意の範囲を第2カメラによって静止画撮影することができる。
【0097】
本発明の態様7に係る電子機器(スマートフォン1)は、前記態様1~6において、前記座標取得処理は、前記第2範囲情報31に基づく範囲の少なくとも一部が前記第2座標系30外の座標を含む範囲となる場合、前記第2範囲情報31が前記第2座標系30内に含まれるように、前記第2カメラ5の撮像範囲Rの中心の位置を補正してもよい。
【0098】
このような構成によれば、制御装置は、第2カメラの撮像範囲として、第1カメラの撮像範囲内には含まれているが、第2カメラの最大撮像範囲内には含まれない範囲が指定された場合に、第2カメラの撮像範囲の中心の位置を補正する。そのため、第2カメラにより撮影可能な範囲のみ撮像範囲として指定され、第2カメラによりユーザが意図しない範囲を撮影されることを抑制できる。
【0099】
本発明の態様8に係る制御プログラムは、前記態様1に記載の電子機器(スマートフォン1)における制御装置としてコンピュータを機能させる。このような構成によれば、態様1と同様の効果を奏する。
【0100】
本発明の態様9に係る制御装置は、電子機器(スマートフォン1)に対して同じ側を撮影するように撮影方向が設定された第1カメラ4および第2カメラ5と、前記第1カメラ4の撮影画像Pを表示する表示装置2と、を備える前記電子機器(スマートフォン1)を制御する制御装置であって、前記第2カメラ5の撮像範囲Rを、前記第2カメラ5の最大撮像範囲に基づき設定される第2座標系30で示す第2範囲情報31として取得する座標取得部11と、前記第1カメラ4の撮像範囲に基づき設定される第1座標系20において、前記第2範囲情報31に対応する第1範囲情報21を取得する座標変換部12と、前記第1範囲情報21に基づく範囲を、前記第1カメラ4の撮影画像Pに重ねて前記表示装置2に表示させる撮像範囲表示部13と、を含む。
【0101】
このような構成によれば、態様1と同様の効果を奏する。
【0102】
本発明の態様10に係る制御方法は、電子機器に対して同じ側を撮影するように撮影方向が設定された第1カメラおよび第2カメラと、前記第1カメラの撮影画像Pを表示する表示装置2と、を備える前記電子機器(スマートフォン1)を制御するための制御方法であって、前記第2カメラ5の撮像範囲Rを、前記第2カメラ5の最大撮像範囲に基づき設定される第2座標系30で示す第2範囲情報31として取得する座標取得工程と、前記第1カメラ4の撮像範囲に基づき設定される第1座標系20において、前記第2範囲情報31に対応する第1範囲情報21を取得する座標変換工程と、前記第1範囲情報21に基づく範囲を、前記第1カメラ4の撮影画像Pに重ねて前記表示装置2に表示させる撮像範囲表示工程と、を含む。
【0103】
このような構成によれば、態様1と同様の効果を奏する。
【0104】
〔付記事項〕
本発明の各態様に係る制御装置10は、コンピュータによって実現してもよく、この場合には、コンピュータを制御装置10が備える各部(ソフトウェア要素)として動作させることにより制御装置10をコンピュータにて実現させるスマートフォン1の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0105】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0106】
1 スマートフォン(電子機器)
2 表示装置
3 タッチパネル
4 第1カメラ
5 第2カメラ
6 表面
7 裏面
10 制御装置
11 座標取得部
12 座標変換部
13 撮像範囲表示部
14 表示制御部
15 タッチパネル制御部
16 第1カメラ制御部
17 第2カメラ制御部
20 第1座標系
21 第1範囲情報
30 第2座標系
31 第2範囲情報
50 メモリ