(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について説明する。
図1は、本発明に係る表示装置1を示す図であって、同図(a)はユニット型の撮像装置101が装着された状態における背面側の外観斜視図、同図(b)は正面側の外観斜視図である。
【0012】
本実施形態の表示装置1は、具体的には携帯情報端末として一般に普及しているスマートフォンにより実現されたものであり、表示装置1は薄板状の本体2を有しており、
図1(a)に示したように本体2の背面側にはカメラ部3が設けられ、
図1(b)に示したように本体2の表面側には、タッチパネルを含むモニター4と通話用のスピーカー5とが設けられている。
【0013】
撮像装置101は、表示装置1に着脱自在であり、
図1(a)に示したように、例えば専用又は汎用のアタッチメント(不図示)を用いて表示装置1の本体2の略中央部に前記カメラ部3から離れて装着されている。撮像装置101は、主として撮影レンズ102と、後述する撮像素子と、電源スイッチやシャッターボタン等の複数の操作スイッチからなる操作部103とから構成される。
【0014】
一方、
図2は、表示装置1と撮像装置101の電気的構成の要部を示すブロック図である。
【0015】
まず、表示装置1の電気的構成について説明する。図に示したように表示装置1は、制御部11と、撮像部12、表示部13、記憶部14、無線通信部15、入力部16、電源部17の各部を有している。
【0016】
制御部11は、図示しないCPU(Central Processing Unit)、及びその周辺回路等や、プログラムが格納されたROM(Read Only Memory)、作業用のRAM(Random Access memory)等から構成される。制御部11は、上記ROMに記憶されているプログラム、及び記憶部14に記憶されている各種のアプリケーションプログラムに従い表示装置1の各部を制御するとともに、後述する各種の処理を実行する。
【0017】
撮像部12は、前記カメラ部3に設けられた撮影レンズを介して被写体を撮像するCCD(Charge Coupled Device)やCMOS(Complementary Meta1 0xide Semiconductor)等の撮像素子、及びその駆動回路、AFE(Analog Front End)等から構成される。撮像部12は、表示装置1にカメラモードが設定されている間、上記撮像素子から出力される撮像信号を増幅するとともにデジタル信号へ変換し、制御部11へ供給する。
【0018】
そして、表示装置1がカメラとして機能としているときには、撮像部12から制御部11に供給された撮像信号は、制御部11において複数段の信号処理を施された後、前記モニター4とその駆動回路からなる表示部13へ供給され、前記モニター4においてスルー画像として表示される。また、撮影時には、撮像部12から供給された撮像信号に基づき制御部11によって記録用の画像データが制御部11によって生成され、JPEG(Joint Photographic Expert Group)方式等により圧縮された後、記憶部14に記憶される。
【0019】
記憶部14は、フラッシュメモリ等の内蔵の半導体メモリであり、制御部11が表示装置1の各部の制御に使用する基本的な制御プログラムや、表示装置1において各種の機能を実現するための前述したアプリケーションプログラム、制御部11において圧縮された画像データ、つまり撮影画像のデータ等を記憶する。上記アプリケーションプログラムには、表示装置1の操作による前記撮像装置101での撮影を可能とする所定のアプリケーションプログラム(以下、リモコンアプリという)が含まれる。
【0020】
無線通信部15は、前記撮像装置101と近距離無線通信を行うための通信回路等により構成され、後述するように撮像装置101から画像データを受信したり、撮像装置101に操作信号を送信したりする。なお、本実施形態において無線通信部15により行われる近距離無線通信はBluetooth(登録商標)によるものである。
【0021】
入力部16は、電源スイッチや、前記モニター4に付加されているタッチパネルとから構成される。
【0022】
電源部17は、電源電池(例えばニッケル水素電池等の充電池)、及びDC/DCコンバータ等で構成され、表示装置1の各部に対して各々が必要とする電力を供給する。
【0023】
なお、表示装置1には、電話通信を行うため、マイクを含むとともに、マイクから入力した音声を変調して送信する音声入力回路、送信回路、及び受信した音声信号を受信して復号再生する受信回路、前記スピーカー5を含む再生回路等を有するが、これら周知の回路については、図示及び説明を省略する。
【0024】
次に、撮像装置101の電気的構成について説明する。
図2に示したように撮像装置101は、制御部111と、撮像部112、記憶部113、無線通信部114、入力部115、電源部116の各部を有している。
【0025】
制御部111は、図示しないCPU、及びその周辺回路等や、プログラムが格納されたROM、作業用のRAM等から構成される。制御部111は、上記ROMに記憶されているプログラムに従い撮像装置101の各部を制御するとともに、後述する各種の処理を実行する。
【0026】
撮像部112は、前記撮影レンズ102を介して被写体を撮像するCCDやCMOS等の撮像素子、及びその駆動回路、AFE等から構成される。撮像部112は、電源がオンされている間、上記撮像素子から出力される撮像信号を増幅するとともにデジタル信号へ変換し、制御部111へ供給する。
【0027】
制御部111は、撮像部112か供給された撮像信号に複数段の信号処理を施して画像データを生成し、撮影待機状態にある間には、無線通信部114を介して前記表示装置1に供給する。また、制御部111は、撮影時には、記録用の画像データを生成するともに、それをJPEG方式等により圧縮し、静止画ファイルとして記憶部14に記憶する。
【0028】
記憶部113は、フラッシュメモリ等の内蔵の半導体メモリや、撮像装置101に着脱自在なカード型のメモリ等により構成される。
【0029】
無線通信部114は、前記表示装置1と近距離無線通信を行うための通信回路等により構成され、制御部111により生成された画像データを前記表示装置1に送信したり、表示装置から送信される操作信号を受信したりする。
【0030】
入力部115は、前記操作部103における電源スイッチ等の複数の操作スイッチにより構成される。
【0031】
電源部116は、電源電池(例えばニッケル水素電池等の充電池)、及びDC/DCコンバータ等で構成され、撮像装置101の各部に対して各々が必要とする電力を供給する。
【0032】
そして、本実施形態の前記表示装置1においては、ユーザーが前記タッチパネル等の操作により前述したリモコンアプリを起動することにより、表示装置1からの操作によって撮像装置101を用いた撮影が可能となる。
【0033】
以下、リモコンアプリが起動されたときの表示装置1の動作について説明する。なお、ここでは表示装置1と撮像装置101とがBluetooth(登録商標)におけるペアリングを行われている状態であるとともに、撮像装置101を用いた撮影が静止画撮影であることを前提とする。
【0034】
図3及び
図4は、リモコンアプリが起動されたとき、表示装置1の制御部11が実行する処理の内容を示したフローチャートである。
【0035】
図3に示したように制御部11は、リモコンアプリの起動とともに処理を開始し、直ちに
図4に示した初期設定処理を実行する(ステップS1)。なお、以下の処理説明においては、撮像装置101をリモートカメラと呼び、表示装置1が有するカメラ部3を自機カメラと呼ぶこととする。
【0036】
図4に示したように、初期設定処理において制御部11は、リモートカメラ(撮像装置101)へキャプチャ画像の送信を要求するとともに、自機カメラによってキャプチャ画像を取得する(ステップS101)。より具体的には、リモートカメラへ被写体の撮像、及び取得したキャプチャ画像の送信を要求する要求信号を送信し、それと並行して撮像部12に被写体を撮像させてキャプチャ画像を取得し、それを前記作業用のRAMに記憶する。
【0037】
そして、制御部11は、前記要求に応じてリモートカメラから送られたキャプチャ画像を受信し、それをリモートカメラによる撮影範囲を示す撮影範囲情報として前記作業用のRAMに記憶する(ステップS102)。
【0038】
図5は、上記の処理によって略同一タイミングで撮像されたリモートカメラのキャプチャ画像(以下、第1のキャプチャ画像という)G1と、自機カメラのキャプチャ画像(以下、第2のキャプチャ画像という)G2との関係を示した図である。なお、本実施形態においては、図に示したように自機カメラの画角がリモートカメラの画角よりも広いことを前提としている。
【0039】
引き続き、制御部11は、前記第1のキャプチャ画像G1に基準領域Aを設定する(ステップS103)。係る基準領域Aは、第1のキャプチャ画像G1の中心Oの周辺領域であって、予め決められた縦方向及び横方向の画素サイズを有する領域である。
【0040】
次に、制御部11は、自機カメラで取得した第2のキャプチャ画像G2について、公知の画像処理技術を用いて上記の基準領域Aに対応する
図5に示したような特定領域Bを探索する(ステップS104)。係る特定領域Bの探索に際して制御部11は、例えば基準領域Aの部分画像のサイズを変化させながら、第2のキャプチャ画像G2に対象領域を順に設定し、部分画像と対象領域とにおける被写体の輪郭や色等を比較し、両者が一致したときの対象領域を上記特定領域Bとする。
【0041】
次に、制御部11は、特定領域Bの探索に成功した場合、つまり
図5に例示したように第2のキャプチャ画像G2に特定領域Bが存在する場合であって、
図1(a)に示したように撮像装置101が装着されていると判断できるときには(ステップS105:YES)、第2のキャプチャ画像G2における特定領域Bの中心Oの座標位置を取得する(ステップS106)。
【0042】
さらに、制御部11は、取得した特定領域Bの中心Oの座標位置と、特定領域Bを探索したときの基準領域Aのサイズ(又は縮小倍率)とに基づき表示対象領域Cを設定し、画像内における表示対象領域Cの位置及び大きさを示す領域情報を記憶する(ステップS107)。つまり制御部11は、第2のキャプチャ画像G2の全領域内において第1のキャプチャ画像G1、すなわちリモートカメラの撮影範囲に相当する領域を表示対象領域Cとして設定し、その領域情報を記憶する。領域情報は、例えば表示対象領域Cの四隅の座標位置等である。なお、
図5は、表示対象領域Cの中心Pと第2のキャプチャ画像G2の中心Qとの間にズレが生じることを便宜的に示した図である。
【0043】
しかる後、制御部11は、代替表示機能を有効にするとともに(ステップS108)、初期設定処理を終了して
図3の処理に戻る。ここで、代替表示機能は、撮像装置101が装着されている状態での撮影を想定して設けられている機能である。より具体的には、後述するようにリモートカメラで取得される画像に代えて自機カメラで取得した画像をスルー画像として前記モニター4にライブビュー表示する機能である。
【0044】
また、制御部11は、述した場合とは異なり、第2のキャプチャ画像G2において前述した特定領域の探索に失敗した場合、つまり撮像装置101が装着されていないと判断できるときには(ステップS105:NO)、直ちに前記代替表示機能を無効にするとともに(ステップS109)、初期設定処理を終了して
図3の処理に戻る。
【0045】
引き続き、制御部11は、初期設定処理で代替表示機能を有効としたときには(ステップS2:YES)、先ずリモートカメラ(撮像装置101)に対し、通信モードの省電力モードへの移行を指示する(ステップS3)。ここで省電力モードとは、表示装置1との間の通信確認を一定の時間間隔をおいてのみ行うモード(アイドルモード、Sniffモードとも言う)であり、係る処理に際して制御部11は、リモートカメラに通信モードの省電力モードへの切り換えを指示する指示信号を送信する。
【0046】
しかる後、制御部11は、自機カメラにおける撮像動作を開始するとともに(ステップS4)、撮像した画像から前述した領域情報により示される領域の部分画像G3を切り出して前記モニター4へ表示する処理を開始する(ステップS5)。すなわち制御部11は、
図6に示したようにフレーム毎に取得した画像G21の表示対象領域Cのみの画像データを前記表示部13へ供給し、撮像した画像から部分画像G3を切り出し、それをスルー画像として前記モニター4に逐次全画面表示するライブビュー表示を開始する。
【0047】
一方、上記とは異なり、初期設定処理において代替表示機能を無効としたとき(ステップS2:NO)、制御部11は、リモートカメラに対し所定のフレームレートでの撮像、及びスルー画像の送信開始を要求する(ステップS6)。
【0048】
しかる後、制御部11は、リモートカメラ(撮像装置101)から送られるフレーム毎のスルー画像の受信、及びそのスルー画像の前記モニター4への表示を開始する(ステップS7)。つまりリモートカメラからスルー画像を逐次受信し、それを前記モニター4へ表示するライブビュー表示を開始する。
【0049】
以後、上記のいずれかのライブビュー表示を行っている間、つまり撮影待機状態において制御部11は、ユーザーによる前記タッチパネル等からの撮影指示の有無を確認し、撮影指示があれば(ステップS8:YES)、リモートカメラに対し撮影を指示する指示信号を送信する(ステップS9)。これによりリモートカメラにおいて静止画撮影が行われる。
【0050】
また、制御部11は、ユーザーからリモコンアプリの終了指示があるまで前述したライブビュー表示を継続し(ステップS10:NO)、その間に、ユーザーによる撮影指示がある毎に(ステップS8:YES)、リモートカメラへ撮影を指示する指示信号を送信し、リモートカメラに静止画撮影を行わせる。
【0051】
その後、制御部11は、ライブビュー表示を行っている間にユーザーからリモコンアプリの終了指示があれば(ステップS10:YES)、その時点で処理を終了する。
【0052】
以上説明したように本実施形態の表示装置1においては、本体2に装着された撮像装置101を用いて撮影を行う際、撮像部12により撮像した画像の一部をスルー画像としてモニター4へ表示するライブビュー表示、すなわち代替表示機能によるライブビュー表示を行う。
【0053】
そのため、撮影待機状態にある間、撮像装置101に所定のフレームレートでの被写体の撮像、及び撮像した画像の送信を行わせずとも、ユーザーに、一般的なデジタルカメラと同様に構図を確認しながら撮影を行わせることができる。したがって、撮影待機状態での撮像装置101の消費電力を削減することができ、撮影時おける撮像装置101の電力消費を抑えつつ、ライブビュー表示を実現する、つまり撮像装置101の撮像範囲を再現することができる。
【0054】
また、撮像装置101が装着されていないと判断できた場合には、従来と同様、撮像装置101により撮像されたスルー画像をモニター4へ表示する。したがって、撮像装置101が表示装置1から離れている状態であっても、ユーザーに構図確認を行わせることができる。
【0055】
また、撮像装置101が装着されていると判断できた場合にのみ、つまり撮像装置101が装着されていることを条件として代替表示機能によるライブビュー表示を行う。したがって、撮像装置101が装着されているときには、撮像装置101により撮像されたスルー画像、つまり正規のスルー画像をモニター4へ表示することができる。
【0056】
さらに、撮像装置101が装着されていないと判断した場合には、撮像装置101に自動的に所定のフレームレートでの撮像動作を開始させることから、ユーザーに撮像装置101を直接操作するといった煩雑な作業を行わせることなく、代替表示機能によるライブビュー表示を実施することができる。
【0057】
また、撮像部12により撮像した第2のキャプチャ画像G2において、撮像装置101により撮像された第1のキャプチャ画像G1の基準領域Aに対応する特定領域Bが探索できた否かによって、撮像装置101が装着されているか否かを判断(確認)し、自動的に代替表示機能を有効または無効とする。したがって、ユーザーに煩雑な操作を行わせることなく、常に適切な方法によってライブビュー表示を行うことができる。
【0058】
なお、本発明の実施に際しては、本実施形態とは異なり、例えば表示装置1に撮像装置101が装着された際にそれを機械的又は電気的に検出するスイッチを設け、係るスイッチによって撮像装置101の装着の有無を確認するようにしてもよい。さらに、本発明の実施に際しては、ユーザーが必要に応じて代替表示機能を有効又は無効に設定できる構成としても構わない。
【0059】
また、本実施形態においては、代替表示機能によるライブビュー表示に際して撮像した画像から部分画像G3を切り出す表示対象領域Cを、前記第2のキャプチャ画像G2と略同一のタイミングで撮像された第1のキャプチャ画像G1に基づき特定する。したがって、撮像装置101が汎用のアタッチメントを用いて表示装置1の本体2に装着された場合等であっても、表示対象領域Cを正確に設定することができる。
【0060】
つまり装着時における撮像装置101の撮影光軸と表示装置1におけるカメラ部3の撮影光軸とのズレ量やズレ方向、更には光軸方向の違いが未知の場合であっても、表示対象領域Cを正確に設定することができる。同時に、撮像装置101の撮影レンズ102がズーム機能を有する構成であっても、表示対象領域Cを正確に設定することができる。
【0061】
また、前記表示対象領域Cの設定に際しては、第2のキャプチャ画像G2において、第1のキャプチャ画像G1の一部である予め決められた基準領域(A)に相当する特定領域(B)を探索することによって、前記表示対象領域Cとすべき領域を特定する。したがって、例えば第2のキャプチャ画像G2において、第1のキャプチャ画像G1の全領域に該当する領域を探索して前記表示対象領域Cとすべき領域を特定する場合に比べ、前記表示対象領域Cの設定処理を高速で行うことができる。
【0062】
ここで、本実施形態においては、撮像装置101の撮影範囲を示す撮影範囲情報として、撮像装置101により撮像された第1のキャプチャ画像G1を用いる場合について説明した。しかし、前記撮影範囲情報は前記表示対象領域Cの設定を可能とする情報であればよい。したがって、前記撮影範囲情報は、例えば撮像装置101が専用のアタッチメントを用いて表示装置1の本体2に装着される特定のものであれば、装着状態における撮像装置101の撮影光軸と表示装置1におけるカメラ部3の撮影光軸とのズレ量やズレ方向、光軸方向の違い等であっても構わない。
【0063】
また、本実施形態においては、主として撮像装置101の画角と表示装置1におけるカメラ部3の画角が固定されている場合について説明したが、本発明は、代替表示機能によるライブビュー表示に先立ち、撮像装置101の画角よりも広い画角をカメラ部3に設定可能な構成であれば適用可能である。
【0064】
また、本実施形態においては、前述した表示対象領域Cの設定を目的として撮像装置101に撮像動作を行わせ、撮像装置101から前記撮影範囲情報となる第1のキャプチャ画像G1を取得する構成とした。しかし、これに限らず撮影範囲情報として使用する画像は、撮像装置101が所定のフレームレートで撮像を行っている間に取得され、かつ表示装置1に逐次送信されるスルー画像であっても構わない。
【0065】
その場合には、例えばリモコンアプリが起動された直後には、表示装置1において撮像装置101に所定のフレームレートで撮像を行い、撮像したスルー画像を逐次送信をする動作を行わせる。そして、表示装置1には、スルー画像の受信間隔に基づいて、撮像装置101の撮像動作と同期した撮像動作を行わせてキャプチャ画像を取得させ、当該キャプチャ画像と同時期に撮像装置101において撮像された何れかのスルー画像を前記撮影範囲情報として使用させればよい。
【0066】
また、ここでは、主として撮像装置101を用いた撮影が静止画撮影である場合について説明したが、本発明は、静止画撮影に限らず動画撮影を行う間にも適用することができる。また、本発明の表示装置をスマートフォンによって実現する場合について説明したが、これに限らず、本発明は、撮像手段、及び当該撮像手段によって撮像したスルー画像を表示する表示手段を備えたものであれば、任意の電子機器において実現することができる。
【0067】
以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
撮像手段と、
表示手段と、
外部の撮像装置による撮影範囲を示す撮影範囲情報を取得する取得手段と、
前記撮像手段により撮像された画像に、前記取得手段により取得された撮影範囲情報に示される撮影範囲に相当する領域を設定する設定手段と、
前記設定手段により設定された領域に対応する画像を前記表示手段に表示させる第1の表示制御手段と、
を備えることを特徴とする表示装置。
[請求項2]
前記外部の撮像装置と通信を行う通信手段を更に備え、
前記取得手段は、前記通信手段を介して前記外部の撮像装置から前記撮影範囲情報を取得することを特徴とする請求項1記載の表示装置。
[請求項3]
前記通信手段は、前記外部の撮像装置から、前記外部の撮像装置が撮像する画像を逐次受信し、
前記第1の表示制御手段は、前記通信手段により逐次受信された画像を前記表示手段に表示させる
ことを特徴とする請求項2記載の表示装置。
[請求項4]
前記外部の撮像装置は装置本体に着脱自在に構成されていることを特徴とする請求項1乃至3の何れかに記載の表示装置。
[請求項5]
装置本体に前記外部の撮像装置が装着されているか否かを確認する確認手段を更に備え、
前記第1の表示制御手段は、前記確認手段により装置本体に前記外部の撮像装置が装着されていることが確認されたことを条件として、前記設定手段により設定された領域に対応する画像を前記表示手段に表示させることを特徴とする請求項4記載の表示装置。
[請求項6]
前記確認手段により装置本体に前記外部の撮像装置が装着されていないことが確認されたことに応答し、前記通信手段を介して前記外部の撮像装置に一定時間毎の撮像動作、及び当該撮像動作により撮像した画像の送信の開始を要求する要求手段を更に備えることを特徴とする請求項5記載の表示装置。
[請求項7]
前記確認手段は、前記取得手段により取得された撮影範囲情報に示される撮影範囲が前記撮像手段により撮像される画像の撮影範囲に含まれる場合に、前記外部の撮像装置が装着されていると判断することを特徴とする請求項5又は6記載の表示装置。
[請求項8]
前記取得手段は、前記通信手段を介して前記外部の撮像装置に撮像動作及び当該撮像動作により撮像した画像の送信を要求するとともに、当該要求に応答して前記外部の撮像装置から送信された画像を前記撮影範囲情報として取得することを特徴とする請求項2乃至7の何れか記載の表示装置。
[請求項9]
前記設定手段は、前記取得手段により前記撮影範囲情報として取得された第1の画像に相当する領域を、前記撮像手段により前記第1の画像と同一又は略同一のタイミングで撮像された第2の画像の内容から特定し、特定した領域を前記設定された領域として設定することを特徴とする請求項2乃至8の何れか記載の表示装置。
[請求項10]
前記設定手段は、前記第2の画像において前記第1の画像の予め決められた基準領域に相当する特定領域を探索することによって、前記第1の画像に相当する領域を前記第2の画像において特定し、特定した領域を前記設定された領域として設定することを特徴とする請求項9記載の表示装置。
[請求項11]
前記取得手段により前記撮影範囲情報として取得された第1の画像と、当該第1の画像と同一又は略同一のタイミングで撮像された第2の画像とを前記表示手段に区別可能に表示させるよう制御する第2の表示制御手段と、
前記第2の表示制御手段による表示の後、外部操作に応じて前記第1の画像の表示位置及びサイズを調整する調整手段と、
を更に備え、
前記設定手段は、前記第1の画像に相当する領域を、前記調整手段による前記第1の画像の調整結果に基づき前記第2の画像において特定し、特定した領域を前記設定された領域として設定する
ことを特徴とする請求項9記載の表示装置。
[請求項12]
外部の撮像装置による撮影範囲を示す撮影範囲情報を取得する取得ステップと、
撮像部で撮像された画像に、前記取得ステップにて取得された撮影範囲情報に示される撮影範囲に相当する領域を設定する設定ステップと、
前記設定ステップにて設定された領域における画像を表示部に表示させる表示制御ステップと、
を含むことを特徴とする画像表示方法。
[請求項13]
撮像手段と表示手段とを備えた表示装置が有するコンピュータを、
外部の撮像装置による撮影範囲を示す撮影範囲情報を取得する取得手段、
前記撮像手段により撮像された画像に、前記取得手段により取得された撮影範囲情報に示される撮影範囲に相当する領域を設定する設定手段、
前記設定手段により設定された領域に対応する画像を前記表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。