特許第6235876号(P6235876)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ザクティの特許一覧

<>
  • 特許6235876-撮像装置及び画像転送方法 図000002
  • 特許6235876-撮像装置及び画像転送方法 図000003
  • 特許6235876-撮像装置及び画像転送方法 図000004
  • 特許6235876-撮像装置及び画像転送方法 図000005
  • 特許6235876-撮像装置及び画像転送方法 図000006
  • 特許6235876-撮像装置及び画像転送方法 図000007
  • 特許6235876-撮像装置及び画像転送方法 図000008
  • 特許6235876-撮像装置及び画像転送方法 図000009
  • 特許6235876-撮像装置及び画像転送方法 図000010
  • 特許6235876-撮像装置及び画像転送方法 図000011
  • 特許6235876-撮像装置及び画像転送方法 図000012
  • 特許6235876-撮像装置及び画像転送方法 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6235876
(24)【登録日】2017年11月2日
(45)【発行日】2017年11月22日
(54)【発明の名称】撮像装置及び画像転送方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20171113BHJP
   G03B 7/00 20140101ALI20171113BHJP
   H04N 101/00 20060101ALN20171113BHJP
【FI】
   H04N5/232 300
   G03B7/00
   H04N5/232 090
   H04N101:00
【請求項の数】5
【全頁数】20
(21)【出願番号】特願2013-234829(P2013-234829)
(22)【出願日】2013年11月13日
(65)【公開番号】特開2015-95799(P2015-95799A)
(43)【公開日】2015年5月18日
【審査請求日】2016年10月27日
(73)【特許権者】
【識別番号】313003417
【氏名又は名称】株式会社ザクティ
(74)【代理人】
【識別番号】100085501
【弁理士】
【氏名又は名称】佐野 静夫
(74)【代理人】
【識別番号】100124132
【弁理士】
【氏名又は名称】渋谷 和俊
(74)【代理人】
【識別番号】100128842
【弁理士】
【氏名又は名称】井上 温
(74)【代理人】
【識別番号】100129562
【弁理士】
【氏名又は名称】山本 昌則
(72)【発明者】
【氏名】岡本 正義
(72)【発明者】
【氏名】廣野 英雄
【審査官】 藤原 敬利
(56)【参考文献】
【文献】 特開2006−279278(JP,A)
【文献】 国際公開第2006/085500(WO,A1)
【文献】 特開2006−345095(JP,A)
【文献】 特開2008−118446(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
G03B 7/00
H04N 101/00
(57)【特許請求の範囲】
【請求項1】
被写体の画像信号を出力する撮像部と、
前記撮像部の出力信号に基づく画像データを生成する画像処理部と、
撮影指示に応答した特定の対象画像についての対象画像データ、及び、該対象画像データ以外の非対象画像についての第1解像度の非対象画像データを、無線接続された外部装置に送信する通信処理部と、を備え、
前記画像処理部は、前記第1解像度よりも高い第2解像度の対象画像データを生成可能であり、
前記通信処理部は、前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく送信が完了する第1プロトコルを用い、前記第2解像度の対象画像データを送信する際には、前記外部装置での受信成功を確保する第2プロトコルを用い
さらに、前記画像処理部は、前記第2解像度よりも低い第3解像度の対象画像データを生成可能であり、
前記通信処理部は、前記対象画像データを送信する際、前記外部装置から所定の要求を受けている場合には、前記第2プロトコルを用いて前記第2解像度の対象画像データを送信し、前記要求を受けていない場合には、前記第3解像度の対象画像データを前記第2プロトコルと異なる第3プロトコルにて送信し、
また、前記第3プロトコルでは、前記外部装置による受信の成否に関係なく、前記第3解像度の対象画像データが複数回繰り返し前記通信処理部から前記外部装置に送信される
ことを特徴とする撮像装置。
【請求項2】
前記通信処理部から送信すべきデータの再送処理が、前記第1プロトコルでは含まれず、前記第2プロトコルでは含まれる
ことを特徴とする請求項1記載の撮像装置。
【請求項3】
前記画像処理部による前記撮像部の出力信号に対する画像処理には、前記撮像部の出力信号から所定周期にて順次ライブビュー画像の画像データを生成するライブビュー用処理と、前記撮影指示に含まれる単写指示に応答して前記撮像部の出力信号から1枚の静止画像の画像データを生成する単写用処理と、が含まれ、
前記非対象画像は前記ライブビュー画像を含み、前記対象画像は前記1枚の静止画像を含む
ことを特徴とする請求項1〜2の何れかに記載の撮像装置。
【請求項4】
前記画像処理には、前記撮影指示に含まれる連写指示に応答して複数枚の静止画像の画像データを生成する連写用処理が含まれ、
前記複数枚の静止画像の内、最後に取得された静止画像は前記対象画像に含まれ、それ以外の静止画像は前記非対象画像に含まれる
ことを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記通信処理部は、前記第1プロトコルを用いて前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく所定時間内に送信を完了させる一方、前記第2プロトコルを用いて前記第2解像度の対象画像データを送信する際には、前記所定時間を超えても前記外部装置での受信成功を確保する
ことを特徴とする請求項1〜4の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び画像転送方法に関する。
【背景技術】
【0002】
近年、カメラとスマートフォンなどと称される端末装置をWi−Fi(登録商標)にて無線接続し、端末装置からWi−Fi経由でカメラに撮影指示を出すシステムが提案されている。当該システムでは、カメラで取得されるライブビュー画像(スルー画像)が定期的に端末装置に送信され、ユーザは端末装置の画面に表示されたライブビュー画像を見ながらシャッタチャンスを待って、所望のタイミングで端末装置に撮影指示を入力する。入力された撮影指示はカメラに送られ、カメラにて撮影指示に応答した対象画像が撮影及び取得される。その後、カメラから対象画像の画像データが端末装置に送信され、端末装置上で対象画像が一定時間表示されることで、ユーザはどのような画像が撮影されたのかを確認できる。つまり、カメラ単体においてカメラの表示画面にライブビュー画像及び撮影指示に対応する対象画像が表示されるのと同様、ライブビュー画像及び対象画像が端末装置に表示されるようになっている。
【0003】
端末装置に送信される画像(特にライブビュー画像)については、画像の概ねの内容が確認できれば良く、また、通信での処理時間の観点から、カメラの表示画面に表示されるのと同程度のサイズ(例えばVGAサイズ相当)の画像が送られるのが一般的である。加えてリアルタイム性を重視し、再送信無しの垂れ流し転送方式であるUDP(User Datagram Protocol)が採用されることが多い。たとえ電波環境が悪いことに起因して、1つの画像の一部が欠落し、端末装置側で1つの画像を形成できずに当該画像自体が破棄されることになったとしても、同じ画像を何度も送るのではなく、再送による遅延が積み重なっていくよりは、次の画像を送った方がリアルタイム性の観点から望ましいからである。
【0004】
但し、撮影指示に応答して取得される特定の対象画像については、どんな画像が撮影されたのかを目視でしっかりと確認したいという要望がある(つまり、データ欠落により、対象画像が端末装置の画面上で見られなくなるという自体は好ましくない)。そこで、対象画像については、固定又はユーザ指定の時間の間に、複数回、同じ画像をUDPにて送る方式も提案されている。これにより、端末装置側の受信において、何回目かの送信における画像が欠落することはあったとしても、全回数分の画像が欠落することは殆ど無いため、端末装置側で対象画像を高い確度で確認できるようになる。また、端末装置側の処理としても、UDPで送られてくる画像を表示するだけの処理で済むため、実現が容易である。
【0005】
尚、カメラで取得した画像データを外部装置に無線にて送信する際、無線通信の受信感度などに応じて、通信速度を変更する技術も提案されている(例えば下記特許文献1参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−282097号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
端末装置が、比較的大きなサイズの表示画面(即ち、高精細な画像を表示可能な表示画面)を持っていることもある。このような場合、端末装置の表示画面上で、カメラの撮影画像を高解像度で確認したいという要望もある。ライブビュー画像などでは、画像更新を比較的速く行う必要があるため、通信時間の観点から、送信画像の画像サイズ(換言すれば解像度)をあまり大きくすることは得策とは言えない。但し、撮影指示に対応する特定の対象画像については、多少時間がかかっても良いから上記要望に応えるべく高精細な画像データを送る、ということも考えられる。しかし、同じ画像を複数回UDPで送ることを前提にして、高解像度の画像(サイズの大きな画像データ)を複数回送ると送信時間が相当に長くなり、実用性が低くなる。電波環境が良い場合には、1回の送信で受信が成功するかもしれないのに、複数回送信を前提にすると非効率である(無駄に時間がかかる)。
【0008】
そこで本発明は、望ましい解像度の画像データを効率的に外部装置に送信可能な撮像装置及び画像転送方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る撮像装置は、被写体の画像信号を出力する撮像部と、前記撮像部の出力信号に基づく画像データを生成する画像処理部と、撮影指示に応答した特定の対象画像についての対象画像データ、及び、該対象画像データ以外の非対象画像についての第1解像度の非対象画像データを、無線接続された外部装置に送信する通信処理部と、を備え、前記画像処理部は、前記第1解像度よりも高い第2解像度の対象画像データを生成可能であり、前記通信処理部は、前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく送信が完了する第1プロトコルを用い、前記第2解像度の対象画像データを送信する際には、前記外部装置での受信成功を確保する第2プロトコルを用いることを特徴とする。
上記撮像装置の機能に対応する画像転送方法を形成しても良く、該画像転送方法をコンピュータに実現させるプログラムを形成しても良い。
【0010】
ライブビュー画像など、リアルタイム性が重視される画像については、当該画像を非対象画像と取り扱って第1プロトコルを用いる。一方、撮影指示に応答して取得される特定の画像については、当該画像を対象画像と取り扱って第2プロトコルを用いる。これにより、撮影指示に応答した特定の対象画像、即ち、比較的詳細な目視確認が要望される画像を、高解像度の画像データ(第2解像度の対象画像データ)として確実に外部装置に送ることができ、上記要望を満たすことができる。この際、第2解像度の対象画像データをUDPにて複数回送ることを前提とする方式と比べて、効率的な送信が可能である。即ち、複数回送信を前提とする方式では、電波環境の良し悪しに関係なく、送信時間が相当に長くなるのに対し、本発明に係る撮像装置では、電波環境が良い場合には再送無しの短時間で送信が完了し、電波環境が悪い場合でも受信不良となったデータを部分的に再送すればよいため上記方式よりも無駄が少ない。
【発明の効果】
【0011】
本発明によれば、望ましい解像度の画像データを効率的に外部装置に送信可能な撮像装置及び画像転送方法を提供することが可能である。
【図面の簡単な説明】
【0012】
図1】本発明の実施形態に係る画像データ転送システムの全体構成図、デジタルカメラ及び端末装置の概略ブロック図である。
図2】UDPパケットの構造を示す図である。
図3】TCPパケットの構造を示す図である。
図4】カメラ及び端末装置間の無線接続の確立手順を説明するための図である。
図5】ライブビュー画像転送処理を説明するための図である。
図6】本発明の第1実施例に係り、単写指示の入力タイミング近辺における信号のやり取りを示す図である。
図7】本発明の第1実施例に係り、連写指示の入力タイミング近辺における信号のやり取りを示す図である。
図8】本発明の第2実施例に係り、連写指示の入力タイミング近辺における信号のやり取りを示す図である。
図9】本発明の第2実施例に係るカメラの動作フローチャートである。
図10】本発明の第2実施例に係る単写タスクのフローチャートである。
図11】本発明の第2実施例に係る連写タスクのフローチャートである。
図12】本発明の第3実施例に係るACK情報付きUDPパケットの構造を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【0014】
図1(a)は、本発明の実施形態に係る画像データ転送システムの全体構成図である。画像データ転送システムは、電子機器1及び2にて構成される。第1の電子機器1は、撮影機能を備えた任意の電子機器であり、第2の電子機器2は、表示画面2Sを備えた任意の電子機器である。但し、電子機器1及び2は互いに無線接続が可能であるとする。以下では、電子機器1がデジタルカメラ(撮像装置)であって、電子機器2が、携帯型の端末装置(例えば所謂スマートフォン)であるとする。
【0015】
図1(b)は、デジタルカメラ1の内部ブロック図であり、デジタルカメラ1は、符号10〜22によって参照される各部位を備える。
【0016】
撮像素子11は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る固体撮像素子であり、光学系10を介して入射した被写体の光学像に応じた画像信号を生成及び出力する。撮像素子11の出力信号に基づく画像を撮影画像と呼ぶ。
【0017】
信号処理部12は、集積回路等から成り、撮像素子11の出力信号に対して所定の信号処理(換言すれば画像処理;AD変換、ノイズ低減処理、デモザイキング処理等)を施すことで撮影画像の画像データを生成する。CPU(Central Processing Unit)13は、操作部19に入力された各種指示及び操作に従いつつ、カメラ1内の各部位の動作を統括的に制御する。ROM(Read Only Memory)14は、半導体メモリ等から成り、CPU13で実行されるべき各種のプログラム及び様々なデータを不揮発的に記録する。RAM(Random Access Memory)15は、半導体メモリ等から成り、カメラ1にて取り扱われる任意のデータを一時的に記録する。記録媒体16は、半導体メモリや磁気ディスク等にて形成された不揮発性の記録媒体であり、CPU13の制御の下、画像データを含む任意のデータを記録する。撮影画像又は任意の映像が、CPU13の制御の下、ビデオエンコーダ17を介して表示画面18に供給されて該表示画面18上で表示される。表示画面18は、例えば液晶ディスプレイパネルである。操作部(操作入力部)19は、表示画面18に付随するタッチパネル及び/又は機械式操作部材から成り、ユーザからの各種の操作及び指示の入力を受け付ける。操作部19への入力内容はシステムコントローラ20を通じてCPU13に伝達される。
【0018】
通信モジュール21は、所定の通信規格に従って、端末装置2を含む任意の電子機器と無線接続し、無線接続された電子機器との間で任意のデータを、アンテナ22を用い無線にて送信及び受信できる。上記通信規格は任意であるが、本実施形態では、カメラ1及び端末装置2間の無線通信がWi−Fi(登録商標)の規格に従うものとする。
【0019】
図1(c)に、端末装置2の部分的なブロック図を示す。端末装置2は、液晶ディスプレイパネル等から成る表示画面2S(以下では、カメラ1の表示画面18との区別を明確にするべく、端末画面2Sとも呼ぶ)に加えて、符号31〜36によって参照される各部位を備える。端末CPU31は、端末操作部32に入力された各種指示及び操作に従いつつ、端末装置2の動作を統括的に制御する。端末操作部(端末側操作入力部)32は、端末画面2Sに付随するタッチパネル及び/又は機械式操作部材から成り、ユーザからの各種の操作及び指示の入力を受け付ける。通信モジュール33は、所定の通信規格に従って、カメラ1を含む任意の電子機器と無線接続し、無線接続された電子機器との間で任意のデータを、アンテナ34を用い無線にて送信及び受信できる。端末ROM35は、半導体メモリ等から成り、端末CPU31で実行されるべき各種のプログラム及び様々なデータを不揮発的に記録する。端末RAM36は、半導体メモリ等から成り、端末装置2にて取り扱われる任意のデータを一時的に記録する。
【0020】
カメラ1及び端末装置2間において、通信プロトコルの一種であるUDP(User Datagram Protocol)又はTCP(Transmission Control Protocol)を用いて通信が可能である。UDPでは、UDPパケットの送受信により所望のデータが送受信される。TCPでは、TCPパケットの送受信により所望のデータが送受信される。UDPの内容及びUDPパケットの構造は、IETF(Internet Engineering Task Force)が策定した仕様を記したRFC(Request for Comments)の内、RFC768で規定されている。TCPの内容及びTCPパケットの構造は、RFCの内、RFC793で規定されている。以下では、特に述べていなくとも、カメラ1による信号(データ)の送信は端末装置2への送信であると解され、端末装置2による信号(データ)の送信はカメラ1への送信であると解される。
【0021】
図2にUDPパケットの構造を示す。UDPパケットは、UDPヘッダとUDPデータ部から成る。UDPヘッダに格納される情報には、UDPパケットの送信元のポート番号を示す送信元ポート番号(Source Port)、UDPパケットを受信すべきポート番号(UDPパケットを受信する機器のポート番号)を示す宛先ポート番号(Destination Port)、UDPパケット全体のデータ長、及び、誤り検出用のチェックサムが含まれる。UDPデータ部には、所定の最大データ長(UDP768において65507バイト)までの任意のデータが格納される。
【0022】
図3にTCPパケットの構造を示す。TCPパケットは、TCPヘッダとTCPデータ部から成る。TCPヘッダに格納される情報には、TCPパケットの送信元のポート番号を示す送信元ポート番号(Source Port)、TCPパケットを受信すべきポート番号(TCPパケットを受信する機器のポート番号)を示す宛先ポート番号(Destination Port)、シーケンス番号(Sequence Number)、確認応答番号(Acknowledgement Number)、ACK情報、誤り検出用のチェックサムが含まれる。TCPデータ部には、所定の最大データ長(UDP793において1460バイト)までの任意のデータが格納される。
【0023】
カメラ1が端末装置2に対して任意の注目画像データを送信する場合を考えて、カメラ1によるUDPを用いたデータ送信処理(以下、UDP送信処理と呼ぶ)と、カメラ1によるTCPを用いたデータ送信処理(以下、TCP送信処理と呼ぶ)を説明する。UDP送信処理、TCP送信処理による送信を、夫々、UDP送信、TCP送信とも言う。UDP送信処理及びTCP送信処理の何れにおいても、CPU13は、注目画像データを必要数のデータに分割する。但し、注目画像データのデータサイズによっては、当該分割は不要である。今、分割によって第1〜第nパケットデータが得られた場合を考える(nは2以上の整数)。第1〜第nパケットデータの夫々は、注目画像データの一部である。
【0024】
UDP送信処理において、CPU13は、第iパケットデータを格納した第iUDPパケットを生成し、第1〜第nUDPパケットを、通信モジュール21及びアンテナ22を用いて、順次、端末装置2に送信する。端末装置2は、受信した第1〜第nUDPパケットから注目画像データを復元できる。iは整数である。UDPにおいては、確認応答、再送、タイムアウトといった概念が無い。従って、端末装置2にて第1〜第nパケットデータを含む第1〜第nUDPパケットの受信が成功したか否かに関係なく、第1〜第nUDPパケットの順次送信を終えた時点でUDP送信処理が完了する。但し、UDP送信処理において、送信回数を複数回に設定することもでき、この場合、第1〜第nUDPパケットの順次送信が複数回繰り返される。
【0025】
TCP送信処理において、CPU13は、第iパケットデータを格納した第iTCPパケットを生成し、第1〜第nTCPパケットを、通信モジュール21及びアンテナ22を用いて、順次、端末装置2に送信する。この際、CPU13は、第iTCPパケットのシーケンス番号に、夫々、番号“i”を格納する。
【0026】
端末装置2にて、第1〜第iTCPパケットまでの受信を成功した場合、端末装置2は、(i+1)の確認応答番号と“1”のACK情報を格納した応答TCPパケットをカメラ1に返信する。応答TCPパケットにおける確認応答番号は、どこまでのTCPパケットを受信できたのかを示すものであり、受信が完了した最後のTCPパケットのシーケンス番号に1を加えた値を持つ。“1”のACK情報は、確認応答番号が有効であることを指し示す。ACK情報が“0”であるとき、確認応答番号は無効である。この応答TCPパケットを受信したカメラ1(CPU13)は、応答TCPパケット内の(i+1)の確認応答番号及びACK情報に基づき、端末装置2にて第1〜第iTCPパケットまでの受信が成功したことを認識する。
【0027】
仮に、第(i+1)TCPパケットの送信後、所定時間が経過しても、(i+2)の確認応答番号を含んだ応答TCPパケットが受信されない場合、CPU13は、第(i+1)TCPパケット以降のTCPパケットが端末装置2にて受信できていないと判断して、第(i+1)〜第nTCPパケットを端末装置2に再送する(再び送信する)。このように、TCP送信処理では、(n+1)の確認応答番号を含んだ応答TCPパケットが受信されるまで必要なTCPパケットが再送されるので、無線接続遮断などの特殊要因が発生しない限り、端末装置2による第1〜第nパケットデータの受信成功が確保される。端末装置2は、受信した第1〜第nTCPパケットから注目画像データを復元できる。
【0028】
第1〜第nUDPパケット又は第1〜第nTCPパケットを受信した端末装置2は、注目画像データが表す画像を端末画面2Sに表示できる他、注目画像データを端末装置2内の記録媒体(図1(c)の端末RAM36又はそれ以外の図示されない記録媒体)に記録したり、インターネット網を介しサーバ機器(不図示)にアップロードしたりすることができる。
【0029】
図4を参照し、カメラ1及び端末装置2間の無線接続の確立手順などを説明する。以下では、端末装置2において、特定のカメラアプリケーションプログラム(以下、カメラアプリCAと呼ぶ)が起動しているものとする。カメラアプリCAは、必要に応じて他のプログラム(例えば通信アプリケーションプログラム)と協働しつつ通信モジュール33及びアンテナ34を用いて、任意の信号及びデータの送受信を行う。カメラアプリCAを含む、端末装置2(具体的には端末CPU31)上で動作する各種プログラムを、端末ROM35又は端末RAM36に格納しておくことができる。
【0030】
カメラアプリCAにより、端末装置2は、まず、端末装置2との無線接続を求める接続要求信号310をカメラ1に送信する。接続要求信号310を受信したカメラ1は、端末装置2との無線接続を許可する応答信号315を端末装置2に送信する。
【0031】
接続要求信号310及び応答信号315は、HTTP(Hypertext Transfer Protocol)を用いTCPの形式で送受信される。接続要求信号310における送信元ポート番号及び宛先ポート番号は夫々“XX”及び“80”である。ポート番号“XX”は、カメラアプリCAが定めた、端末装置2におけるTCP用のポート番号であり、任意の番号を持つ。ポート番号“80”は、カメラ1におけるTCP用の固定ポート番号である。応答信号315ではカメラ1が送信側になるので、応答信号315における送信元ポート番号及び宛先ポート番号は夫々“80”及び“XX”である。また、接続要求信号310にはデータ“YY”が付加されている。“YY”は、カメラアプリCAが定めた、端末装置2におけるUDP用のポート番号であり、任意の番号を持つ。応答信号315が端末装置2にて受信されることでカメラ1及び端末装置2間の無線接続が完了する(換言すれば無線接続が確立される)。
【0032】
CPU13は、接続要求信号310の受信後の任意のタイミングで任意のポート番号“ZZ”を生成し、応答信号315の送信後の任意のタイミングでUDPによる画像データ信号320を端末装置2に送信できる。ポート番号“ZZ”は、カメラ1におけるUDP用のポート番号である。従って、画像データ信号320を形成するUDPパケットの送信元ポート番号及び宛先ポート番号は夫々“ZZ”及び“YY”である。画像データ信号320を形成するUDPパケットには、カメラ1にて生成された画像データが付加されている。応答信号315の受信後、宛先ポート番号が“YY”となっているUDPパケットが端末装置2にて受信されたとき、カメラアプリCAは、受信したUDPパケット内の画像データがカメラ1からの画像データ(例えば上記注目画像データ)であると判断する。
【0033】
尚、UDPにて端末装置2からカメラ1に対し任意の信号を送ることも可能であり、この場合、端末装置2からの信号を形成するUDPパケットの送信元ポート番号及び宛先ポート番号を夫々“YY”及び“ZZ”にすればよい。無線接続の確立後、TCPにて信号及びデータを送受信する際も同様である。以下では、上記の方法を介して、カメラ1及び端末装置2間の無線接続が確立済みであるとする。
【0034】
ところで、カメラ1では、所定のフレームレートで、順次、撮像素子11の出力信号から撮影画像の画像データを生成する画像処理(以下、ライブビュー用処理と呼ぶ)を行うことができる。ライブビュー用処理にて得られる撮影画像をライブビュー画像と呼ぶと共に、ライブビュー画像の画像データをライブビュー画像データと呼ぶ。ライブビュー用処理は、信号処理回路12にて、又は、信号処理回路12及びCPU13にて形成される画像処理部により実現される(後述の単写用処理及び連写用処理についても同様)。但し、以下では、各種の画像処理の実行主体がCPU13であるかのような表現も用いる。CPU13は、順次得られるライブビュー画像を動画像として表示画面18に表示することができる他、ライブビュー画像転送処理を行うこともできる。ライブビュー画像転送処理では、順次得られるライブビュー画像データが、通信モジュール21及びアンテナ22を用いて、所定の転送レートで端末装置2に転送(即ち送信)される。ライブビュー画像をスルー画像と読み替えても良い。本実施形態では、ユーザが端末装置2の操作を通じてカメラ1の動作状態を制御し、カメラ1の撮影画像を端末画面2S上で確認することを想定する。
【0035】
図5を参照し、ライブビュー画像転送処理について説明する。カメラ1及び端末装置2間の無線接続が確立すると、自動的に又は端末操作部32に入力された所定操作に従って、端末装置2(カメラアプリCA)は、カメラ1に対し、ライブビュー画像転送処理の開始を要求するライブビュー開始要求信号350を送信する。信号350を受信したカメラ1は、信号350の要求を許可する応答信号355を端末装置2に返信すると共に、ライブビュー画像転送処理を開始する。具体的には、ライブビュー画像転送処理において、CPU13は、所定の転送レート(例えば30フレーム/秒)と同じフレームレートで撮像素子11の出力からライブビュー画像データを生成し、上記転送レートにてライブビュー画像データを次々とUDP送信する。
【0036】
ライブビュー画像転送処理で生成及び送信されるライブビュー画像の解像度は、低解像度である。低解像度は、後述の高解像度よりも低い所定の解像度であり、ここでは例として、(640×480)画素に相当するものとする。即ち、各ライブビュー画像は、(640×480)画素の画像サイズを持つ。尚、或る画像の生成、取得、送信、受信等と、当該画像の画像データの生成、取得、送信、受信等とは同義である。従って例えば、ライブビュー画像の生成及び送信とは、ライブビュー画像データの生成及び送信を意味する。端末装置2では、カメラアプリCAにより、順次受信されるライブビュー画像が順次端末画面2Sに更新表示される(即ち、時系列に並ぶライブビュー画像が動画像形式で端末画面2Sに表示される)。端末画面2Sを見ることで、ユーザは、カメラ1の被写体の状態や撮影画角を確認できる。
【0037】
上述の構成及び動作を基本とする画像データ転送システムの、更なる具体的な構成又は動作を、以下の複数の実施例の中で説明する。矛盾無き限り、以下に述べる複数の実施例の内、任意の2以上の実施例を互いに組み合わせることもできる。
【0038】
<<第1実施例>>
画像データ転送システムの第1実施例を説明する。ユーザは、1枚の静止画像をカメラ1にて取得及び記録させることを指示する単写指示又はm枚の静止画像をカメラ1にて連続的に取得及び記録させることを指示する連写指示を、端末操作部32に与えることができる。mは、2以上の整数である。
【0039】
図6は、単写指示の入力タイミング近辺における信号のやり取りを表している。ライブビュー画像転送処理の開始後、単写指示が端末操作部32に入力されると、カメラアプリCAの機能により、端末装置2から単写コマンドが送信される。単写コマンドの受信に応答して、カメラ1は、撮像素子11を用い1枚の静止画像(以下、単写画像と呼ぶ)を撮影する。この際、単写コマンドの受信に応答して、カメラ1は、ライブビュー画像転送処理を中断し、一方で、撮像素子11の出力信号から1枚の単写画像の画像データを生成する画像処理(以下、単写用処理と呼ぶ)を実行する。以下、単写画像の画像データを単写画像データとも呼ぶ。
【0040】
単写用処理において、CPU13は、高解像度の単写画像データを生成することができる。高解像度は、上述の低解像度よりも高い所定の解像度であり、例えば、300万画素程度に相当する。従って、高解像度の画像(例えば単写画像)の画像サイズは、低解像度の画像(例えばライブビュー画像)の画像サイズよりも大きい。CPU13は、高解像度の単写画像データを端末装置2にTCP送信し、当該単写画像データが端末装置2にて受信されたことがCPU13にて確認されると、ライブビュー画像転送処理を再開する。端末装置2では、カメラアプリCAにより、受信した高解像度の単写画像が表示画面2Sに一定時間表示され、その後、再開したライブビュー画像転送処理によるライブビュー画像が表示画面2Sに順次更新表示される。
【0041】
図7は、連写指示の入力タイミング近辺における信号のやり取りを表している。連写指示は、連写開始指示と連写終了指示から成る。ライブビュー画像転送処理の開始後、連写開始指示が端末操作部32に入力されると、カメラアプリCAの機能により、端末装置2から連写開始コマンドが送信される。連写開始コマンドを受信すると、カメラ1は、撮像素子11を用いm枚の静止画像(以下、第1〜第m連写画像と呼ぶ)を連続的に撮影する。この際、連写開始コマンドの受信に応答して、カメラ1は、ライブビュー画像転送処理を中断し、一方で、撮像素子11の出力信号から第1〜第m連写画像の画像データを生成する画像処理(以下、連写用処理と呼ぶ)を実行する。以下、第i連写画像の画像データを第i連写画像データと呼ぶ。第i連写画像の次に第(i+1)連写画像が取得されるものとする。
【0042】
連写開始指示の後、連写終了指示が端末操作部32に入力されると、カメラアプリCAの機能により、端末装置2から連写終了コマンドが送信される。例えば、表示画面2S上に表示された連写ボタン(不図示)を押し始める操作が連写開始指示に相当し、該連写ボタンの押下をやめる操作が連写終了指示に相当する。連写用処理において、CPU13は、連写終了コマンドが受信されるまで、所定のフレームレートで撮像素子11から連続的に連写画像を取得し、連写終了コマンドの受信時に得られている最後の連写画像を第m連写画像とする。或いは、連写終了コマンドの受信後に撮影した1枚の連写画像を第m連写画像として取り扱っても良い。このように、mの値は、連写終了コマンドの受信タイミングに依存して変化する(即ち、連写指示の中で動的に定められる)。
【0043】
CPU13は、連写終了コマンドが受信されるまでには、順次得られた各連写画像(即ち、第1〜第(m−1)連写画像の何れか)について低解像度の画像データを生成し、得られた低解像度の連写画像データを端末装置2にUDP送信する。即ち、低解像度の第i連写画像データを生成して端末装置2にUDP送信する単位処理を、連写終了コマンドが受信されるまで繰り返し実行する。端末装置2では、カメラアプリCAにより、該単位処理の繰り返しで順次受信された第i連写画像データ(第i連写画像)が表示画面2Sに順次更新表示される。CPU13は、連写終了コマンドの受信後、高解像度の第m連写画像データを生成して端末装置2にTCP送信する。
【0044】
当該高解像度の第m連写画像データが端末装置2にて受信されたことがCPU13にて確認されると、ライブビュー画像転送処理を再開する。端末装置2では、カメラアプリCAにより、受信した高解像度の第m連写画像データが表示画面2Sに一定時間表示され、その後、再開したライブビュー画像転送処理によるライブビュー画像が表示画面2Sに順次更新表示される。尚、連写開始指示の入力前にmの値を予め定めておくようにしても良い。この場合、連写終了指示及び連写終了コマンドは不要であり、連写終了コマンドの受信を待つことなく、連写枚数がmに達した時点で、CPU13は高解像度の第m連写画像データの生成及びTCP送信を行えば良い。
【0045】
上述の如く、本実施例では、ライブビュー画像など、リアルタイム性が重視される画像についてはUDPを用いる一方、撮影指示に応答して取得される特定の画像(単写画像、第m連写画像)についてはTCPを用いる。これにより、撮影指示に応答した特定の画像、即ち、比較的詳細な目視確認が要望される特定の画像を、高解像度の画像データとして確実に端末装置2に送ることができ、当該特定の画像については高精細な画像での目視確認が可能なる。この際、高解像度の画像データをUDPにて複数回送ることを前提とする方式と比べて、効率的な送信が可能である。即ち、複数回送信を前提とする方式では、電波環境の良し悪しに関係なく、送信時間が相当に長くなるのに対し、第1実施例のカメラ1では、電波環境が良い場合には再送無しの短時間で送信が完了し、電波環境が悪い場合でも受信不良となったパケットのみ再送すればよいため上記方式よりも無駄が少ない。
【0046】
<<第2実施例>>
画像データ転送システムの第2実施例を説明する。第2実施例及び後述の第3実施例は第1実施例を基礎とする実施例であり、第2及び第3実施例において特に述べない事項に関しては、特に記述無き限り且つ矛盾の無い限り、第1実施例の記載が第2及び第3実施例にも適用される。
【0047】
第1実施例において、端末装置2に対し、高解像度の画像データが送信される単写画像及び第m連写画像を、便宜上、対象画像と呼び、低解像度の画像データが送信されるライブビュー画像及び第1〜第(m−1)連写画像を、便宜上、非対象画像と呼ぶ。第1実施例では、対象画像について、常に高解像度の画像データを送信しているが、所定の高精細送信要求があった場合に限って、高解像度の画像データの送信を行うようにしても良い。
【0048】
これを具体的に説明する。カメラアプリCAにより、端末装置2は、任意のタイミングにおいてカメラ1に対し、高解像度の対象画像データの送信を要求する所定の高精細送信要求信号を送信することができる。高精細送信要求信号を受信した場合、カメラ1は、対象画像データを送信するときに、第1実施例と同様、高解像度の対象画像データをTCP送信する。一方、高精細送信要求信号を受信していない場合において対象画像データを送信するとき、カメラ1は、低解像度の対象画像データを所定のK回だけ繰り返しUDP送信する。Kは2以上の任意の整数であるが、以下ではK=5であるとする。
【0049】
低解像度の対象画像データの繰り返し送信の実行前に高精細送信要求信号を受信している場合、カメラ(CPU13)は、低解像度の対象画像データを1回もUDP送信することなく、高解像度の対象画像データをTCP送信する。低解像度の対象画像データの繰り返し送信の実行中に高精細送信要求信号を受信した場合、カメラ(CPU13)は、当該繰り返し送信を中止した上で、高解像度の対象画像データをTCP送信する。
【0050】
図8は、連写指示の入力タイミング近辺における、第2実施例の信号のやり取りを表している。連写終了コマンドがカメラ1にて受信されるまでの動作は、第1実施例(図7)と同じである。
【0051】
図8では、連写終了コマンドより前に高精細送信要求信号がカメラ1に送信されていないことを想定する。従って、連写終了コマンドがカメラ1にて受信されると、まず、CPU13は、低解像度の第m連写画像データを、所定の転送レート(例えば5フレーム/秒)で、繰り返し端末装置2にUDP送信する。低解像度の第m連写画像データの繰り返し送信回数がK回未満であるときに、高精細送信要求信号がカメラ1にて受信されると、CPU13は、当該繰り返し送信を中止し、高解像度の第m連写画像データを端末装置2にTCP送信する。TCPでは、データの受信成功が確保されるため、TCPでの送信は1回で足る。
【0052】
高解像度の第m連写画像データが端末装置2にて受信されたことがCPU13にて確認されると、ライブビュー画像転送処理を再開する。端末装置2では、カメラアプリCAにより、受信した高解像度の第m連写画像データが表示画面2Sに一定時間表示され、その後、再開したライブビュー画像転送処理によるライブビュー画像が表示画面2Sに順次更新表示される。
【0053】
図8の状況とは異なるが、カメラ1にて高精細送信要求信号が受信されない場合、低解像度の第m連写画像データがK回繰り返しカメラ1からUDP送信される。従って、端末装置2では、低解像度の第m連写画像データがK回繰り返し受信されることが期待される。しかし、UDPは再送を伴わない通信プロトコルであるため、各回において、第m連写画像データの全パケットデータが端末装置2にて正常受信されるか否かが不明である。但し、同じ画像データを複数回繰り返し送信することで、或る程度のデータ受信不良があったとしても、K回分の受信データから第m連写画像データ全体を正しく得られる可能性が高い。即ち、高精細送信要求信号を送信しない場合、端末装置2は、カメラ1がK回繰り返し送信した低解像度の第m連写画像データの受信結果から低解像度の第m連写画像データを取得し(当該取得は成功するとは限らない)、低解像度の第m連写画像データを表示画面2Sに一定時間表示する。図8は、対象画像が第m連写画像である場合を示しているが、対象画像が単写画像である場合も同様である。
【0054】
図9に、カメラ1の動作フローチャートを示す。カメラ1及び端末装置2間の無線接続が完了してカメラ1にてライブビュー開始要求信号を受けた後、ステップS1において、ライブビュー画像転送処理が開始される(即ち、低解像度のライブビュー画像データの周期的な生成及び送信が開始される)。ユーザは端末操作部32に所定操作を入力することでカメラ1の撮影条件を指定することができる。カメラアプリCAは、端末操作部32への入力操作に応じ、カメラ1の撮影条件を指定する撮影条件設定指示信号をカメラ1に送信できる。ステップS1に続くステップS2にて、カメラ1が撮影条件設定指示信号を受信している場合、CPU13は、受信した撮影条件設定指示信号に応じ、ステップS3にてカメラ1の撮影条件を設定してからステップS4に進むが、当該受信が無い場合、ステップS2から直接ステップS4に進む。設定される撮影条件は、オートフォーカスの条件やフラッシュの発光条件など、様々な撮影条件を含む。カメラ1の操作部19を通じて撮影条件が設定されても良い。ステップS4及びS5において、CPU13は、単写指示又は連写指示が入力されたかを確認する。単写指示及び連写指示が無い場合にはステップS2に戻る。単写指示が入力された場合(即ち、単写コマンドがカメラ1にて受信された場合)には単写タスクを実行する。連写指示が入力された場合(即ち、連写開始コマンドがカメラ1にて受信された場合)には連写タスクを実行する。単写タスク又は連写タスクの実行中にはライブビュー画像転送処理が中断され、単写タスク又は連写タスクの終了後、ステップS1に戻ってライブビュー画像転送処理が再開される。
【0055】
図10を参照し、単写タスクについて説明する。図10は、ステップS11〜S19の処理から成る単写タスクのフローチャートである。単写タスクでは、まず、ステップS11において単写画像の撮影が行われ、撮像素子11から単写画像の画像信号が取得される。信号処理回路12において、単写画像の画像信号がRAW信号形式からYUV信号形式に変換される。続くステップS12において、信号処理回路12によりJPEG(Joint Photographic Experts Group)形式の単写画像データが生成され、更にステップS13にて記録タスクが起動する。記録タスクはCPU13により実行される。ステップS13で起動する記録タスクでは、JPEG形式の単写画像データが記録媒体16に記録される(記録サイズは任意である)。
【0056】
その後、CPU13は、ステップS14にて変数jに1を代入してから、ステップS15にて高精細送信要求信号を端末装置2から既に受信しているか否かを確認する。高精細送信要求信号を既に受信している場合にはステップ16へ移行するが、その受信が無い場合にはステップS17に移行する。
【0057】
ステップS16において、CPU13(信号処理回路12)は、高解像度の単写画像データを生成し、通信モジュール21等を用いて高解像度の単写画像データを端末装置2にTCP送信する。送信対象の高解像度の単写画像データは、例えば、YUV信号形式で表現された単写画像に対し所定の解像度変換及びJPEG変換を行うことで得られる(低解像度の単写画像データを送信する場合も同様)。ステップS16ではTCPが用いられるので、高解像度の単写画像データを伝送するための全TCPパケットが端末装置2にて受信できたことが確認されるまで、必要に応じ、TCPパケットの再送が行われる。ステップS16のTCPによる送信が完了すると、単写タスクが終了する。
【0058】
ステップS17において、CPU13(信号処理回路12)は、低解像度の単写画像データを生成し、通信モジュール21等を用いて低解像度の単写画像データを端末装置2にUDP送信する。その後、CPU13は、ステップS18にて変数jが5であるか否かを確認し、j=5でない場合にはステップS19にて変数jに1を加算してからステップS15に戻る。j=5である場合には、単写タスクが終了する。カメラ1にて高精細送信要求信号が受信されていないときにおける、ステップS17のUDP送信は、所定の間隔(例えば200ミリ秒)をおいて繰り返し実行される。UDPによる繰り返し送信は、高精細送信要求信号の受信によって中断されうる(ステップS15)。
【0059】
図11を参照し、連写タスクについて説明する。図11は、ステップS31〜S37及びS41〜S46の処理から成る連写タスクのフローチャートである。連写タスクでは、まず、ステップS31にて変数iに1が代入された上でステップS32において第i連写画像の撮影が行われ、撮像素子11から第i連写画像の画像信号が取得される。信号処理回路12において、連写画像の画像信号がRAW信号形式からYUV信号形式に変換される。続くステップS33において、信号処理回路12によりJPEG(Joint Photographic Experts Group)形式の連写画像データが生成され、更にステップS34にて記録タスクが起動する。記録タスクはCPU13により実行される。ステップS34で起動する記録タスクでは、JPEG形式の第i連写画像データが記録媒体16に記録される(記録サイズは任意である)。
【0060】
記録タスクの実行と平行して、ステップS35にて、CPU13(信号処理回路12)は、低解像度の第i連写画像データを生成し、通信モジュール21等を用いて低解像度の第i連写画像データを端末装置2にUDP送信する。送信対象の低解像度の第i連写画像データは、例えば、YUV信号形式で表現された第i連写画像データに対し所定の解像度変換及びJPEG変換を行うことで得られる(高解像度の第i連写画像データを送信する場合も同様)。続くステップS36において、CPU13は、カメラ1にて連写終了コマンドが受信されたか否かを確認し、その受信があった場合にはステップS41に進むが、その受信が未だ無い場合にはステップS37にて変数iに1を加算してからステップS32に戻る。ステップS35の繰り返し実行周期は、例えば200ミリ秒である。ステップS36からステップS41に移行するときの変数iの値は連写枚数(即ち、mの値)に一致する。
【0061】
ステップS41にて変数jに1が代入される。続くステップS42において、CPU13は、カメラ1にて高精細送信要求信号が受信されたか否かを確認し、その受信があった場合にはステップS43に進むが、その受信が未だ無い場合にはステップS44に進む。ステップS43において、CPU13(信号処理回路12)は、高解像度の第m連写画像データを生成し、通信モジュール21等を用いて高解像度の第m連写画像データを端末装置2にTCP送信する。ステップS43ではTCPが用いられるので、高解像度の第m連写画像データを伝送するための全TCPパケットが端末装置2にて受信できたことが確認されるまで、必要に応じ、TCPパケットの再送が行われる。ステップS43のTCPによる送信が完了すると、連写タスクが終了する。
【0062】
ステップS44において、CPU13(信号処理回路12)は、低解像度の第m連写画像データを生成し、通信モジュール21等を用いて低解像度の第m連写画像データを端末装置2にUDP送信する(但し、最後のステップS35の生成データを流用しても良い)。その後、CPU13は、ステップS45にて変数jが5であるか否かを確認し、j=5でない場合にはステップS46にて変数jに1を加算してからステップS42に戻る。j=5である場合には、連写タスクが終了する。カメラ1にて高精細送信要求信号が受信されていないときにおける、ステップS44のUDP送信は、所定の間隔(例えば200ミリ秒)をおいて繰り返し実行される。UDPによる繰り返し送信は、高精細送信要求信号の受信によって中断されうる(ステップS42)。
【0063】
第2実施例によれば、端末装置2側の要望の有無に応じて、高解像度データのTCP送信又は低解像度データの複数回UDP送信を行うことができる。端末画面2Sが比較的大きな場合などにおいて高精細送信要求を行えば、第1実施例と同様の作用及び効果が奏される。一方で、端末装置2及びカメラアプリCAがUDP送受信だけに対応している場合でも、低解像度にはなるが、問題なく対象画像を端末画面2Sに表示することができる。端末装置2及びカメラアプリCAがUDPにしか対応していない場合において、対象画像データについては常にTCP送信を行うといった仕様を採用すると、端末装置2側で対象画像を表示できないことになるが、第2実施例の方法を用いることで、そのような問題は無くなる。つまり、様々な端末装置又はカメラアプリに対して高い互換性を持たせることができる。
【0064】
尚、第1実施例では、図10の単写タスクにおいて、ステップS13の処理の後、常にステップS16の処理を行えば良く、図11の連写タスクにおいて、連写終了コマンドの受信後、常にステップS43の処理を行えば良い。
【0065】
<<第3実施例>>
画像データ転送システムの第3実施例を説明する。カメラ1について、以下のように考えることができる。カメラ1は、撮像部の出力信号に基づく画像データを生成する画像処理部と、撮影指示に応答した特定の対象画像についての対象画像データ、及び、該対象画像データ以外の非対象画像についての第1解像度の非対象画像データを、無線接続された外部装置に送信する通信処理部と、を備える。そして、前記画像処理部は、前記第1解像度よりも高い第2解像度の対象画像データを生成可能であり、前記通信処理部は、前記非対象画像データを送信する際には、前記外部装置での受信の成否に関係なく送信が完了する(例えば所定時間TREF内に送信が完了する)第1プロトコルを用い、前記第2解像度の対象画像データを送信する際には、前記外部装置での受信成功を確保する(例えば前記所定時間TREFを超えても受信成功を確保する)第2プロトコルを用いる。
【0066】
上述したように、画像処理部は、信号処理回路12にて、又は、信号処理回路12及びCPU13にて形成される。通信処理部は、CPU13、通信モジュール21及びアンテナ22にて実現されるが、送信の制御自体はCPU13が行う。端末装置2は外部装置の例である。外部装置は任意の電子機器(携帯電話機、タブレット、パーソナルコンピュータ、ゲーム機器など)であって良い。カメラ1は任意の電子機器に搭載されていても良い。上述の説明では、第1解像度を低解像度と称し、第2解像度を高解像度と称している。カメラ1の撮像部は、少なくとも撮像素子11を含み、光学系10も含まれうる。撮像素子11の出力信号を増幅する増幅器なども、撮像部の構成要素に含まれうる。
【0067】
単写指示及び連写指示の夫々は、撮影指示の一種である。連写指示は、所謂ブラケット撮影指示であっても良い。この場合、第1〜第m連写画像は、互いに異なる撮影条件(例えば露出条件)で撮影される。上述の説明では、撮影指示が端末装置2に入力され、入力撮影指示に基づくコマンドがカメラ1に送られているが(即ち、撮影指示が端末装置2を介してカメラ1に入力されているが)、カメラ1の操作部19に直接撮影指示が入力されても良い。或いは、カメラ1及び外部装置以外の任意の機器(例えば、カメラ1のリモコン;不図示)に対して撮影指示が入力され、入力撮影指示に基づくコマンドが該機器からカメラ1に送られても良い(即ち、撮影指示が当該機器を介してカメラ1に入力されても良い)。
【0068】
単写画像及び第m連写画像は対象画像の例であり、ライブビュー画像及び第1〜第(m−1)連写画像は非対象画像の例である。但し、単写画像及び第m連写画像以外の画像(例えば第1連写画像)を対象画像として取り扱っても良い。
【0069】
第1実施例等における第1及び第2プロトコルは、夫々、UDP及びTCPである。第1実施例等のUDPでは、通信処理部から送信すべきデータの再送処理が含まれず、TCPでは、該再送処理が含まれている。
【0070】
第1プロトコルでは、一定時間TREF内に送信が完了することを重視する。結果、データ欠落などがあって外部機器にて画像表示更新ができない状態も発生し得る。第1実施例等における第1プロトコルでは、非対象画像データがUDPにて1回だけ送信されているが、一定時間TREF内に送信が完了するのであれば、第1プロトコルは自由である。例えば、一定時間TREF内に送信が完了する限り、第1プロトコルは、UDP以外の通信プロトコルでも良いし、ACK制御(再送)の無いUDPで複数回送信するプロトコルでも良いし、ACK制御(再送)のある通信プロトコルでも良い。ACK制御(再送)のある通信プロトコルを第1プロトコルとして採用する場合、再送の回数に上限を設けて、再送を行ったとしても時間TREF内に必ず送信が完了するようにする。
【0071】
第2プロトコルでは、時間TREFを超えても確実なるデータ転送を保証する。端末装置2の電源オフや何らかの通信異常でデータ転送が不可になることもありえるが、ここでは、そのような状況を無視する。但し、そのような状況が起こりうることを考慮し、第2プロトコルでの送信開始から時間TLIMが経過しても送信が完了しない場合(即ち外部装置でデータ受信が完了しない場合)には、送信が中断されても良い(即ち新たな再送を行わないようにしても良い)。時間TLIMは時間TREFより十分に長い。所定時間TREFを超えても外部装置(端末装置2)での受信成功を確保する通信プロトコルである限り、第2プロトコルはTCP以外の任意の通信プロトコルであって良い。例えば、第2プロトコルにおいて、UDPを用いつつもUDPデータ部にアプリケーションレベルでのACK情報を持たせてACK制御及び再送処理を行っても良い。
【0072】
第2プロトコルの例としての、再送処理を実行可能なACK制御付きUDPを説明する。第1又は第2実施例にてTCPを用いて送信していたデータを、ACK制御付きUDPを用いて送信してもよい。即ち例えば、図10のステップS16又は図11のステップS43の送信を、ACK制御付きUDPにて行っても良い。
【0073】
図12に、ACK制御付きUDPで用いられるUDPパケットである、ACK情報付きのUDPパケット400の構造を示す。ACK情報付きのUDPパケット400は、図2のUDPパケットと同じく、UDPヘッダとUDPデータ部から成り、それらのパケット間でUDPヘッダは同じである。但し、UDPパケット400のUDPデータ部420には、シーケンス番号(Sequence Number)、確認応答番号(Acknowledgement Number)及びACK情報が含まれる。カメラ1が送信側であるときには、更に画像データがUDPデータ部420に含まれる。
【0074】
ACK制御付きUDPを用いてカメラ1が端末装置2に対して任意の注目画像データ(例えば高解像度の対象画像データ)を送信する動作を説明する。注目画像データが分割されることで第1〜第nパケットデータが得られた場合を考える。この場合、CPU13は、第iパケットデータを格納した第iUDPパケット400を生成し、第1〜第nUDPパケット400を、通信モジュール21等を用いて、順次、端末装置2に送信する。この際、CPU13は、第iUDPパケット400のシーケンス番号に、夫々、番号“i”を格納する。
【0075】
端末装置2にて、第iUDPパケット400の受信を成功した場合、端末装置2は、カメラアプリCAの機能により、(i+1)の確認応答番号と“1”のACK情報を格納した応答UDPパケット400をカメラ1に返信する。応答UDPパケット400において、(i+1)の確認応答番号は、“i”のシーケンス番号を含んだUDPパケット400の受信が成功したことを意味し、“1”のACK情報は確認応答番号が有効であることを指し示す。ACK情報が“0”であるとき、確認応答番号は無効である。
【0076】
(i+1)の確認応答番号及び“1”のACK情報を含んだ応答UDPパケット400を受信したカメラ1(CPU13)は、端末装置2にて第iUDPパケット400の受信が成功したことを認識する。仮に、カメラ1から第iUDPパケット400を送信した後、所定時間が経過しても、(i+1)の確認応答番号を含んだ応答UDPパケット400が受信されない場合、CPU13は、第iUDPパケット400が端末装置2にて受信できていないと判断して、第iUDPパケット400を端末装置2に再送する(再び送信する)。このように、ACK制御付きUDPでは、1つのUDPパケットに対して1つの応答UDPパケットを返信するようにして、必要に応じてUDPパケットの再送を行う。結果、TCPと同様、無線接続遮断などの特殊要因が発生しない限り、端末装置2による第1〜第nパケットデータの受信成功が確保される。端末装置2は、受信した第1〜第nUDPパケット400から注目画像データを復元できる。
【0077】
また、前記画像処理部は、前記第2解像度よりも低い第3解像度の対象画像データを生成可能である。そして例えば、前記通信処理部は、前記対象画像データを送信する際、前記外部装置から所定の要求(上記の例において、高精細送信要求)を受けている場合には、前記第2プロトコルを用いて前記第2解像度の対象画像データを送信し、前記要求を受けていない場合には、前記第3解像度の対象画像データを前記第2プロトコルと異なる第3プロトコルにて送信する。第2実施例において、第3解像度は“低解像度”と称され、第1解像度と同じである。但し、第3解像度と第1解像度は互いに異なっていても良い。
【0078】
第2実施例に、第3プロトコルの一種が示されている。第2実施例で述べた第3プロトコルでは、低解像度の対象画像データ(単写画像データ又は第m連写画像データ)が複数回UDP送信される、即ち、外部装置(端末装置2)による受信の成否に関係なく、低解像度の対象画像データが複数回繰り返し通信処理部から外部装置に送信される。但し、第3プロトコルは第2プロトコルと異なる任意のプロトコルでありうる。例えば、第2プロトコルがTCP送信である場合、第3プロトコルは、低解像度の対象画像データを1回だけUDPにて送信するプロトコルであっても良い。
【0079】
また、カメラ1の記録媒体16に記録される連写画像の内、一部の連写画像の画像データのみが端末装置2に転送されても良い。即ち例えば、100ミリ秒の周期で第1〜第9連写画像を撮影した場合、第1〜第9連写画像の画像データを全て記録媒体16に記録する一方で、第1、第3、第5、第7及び第9連写画像の画像データのみを端末装置2に送信するようにしても良い。この場合、例えば、第1、第3、第5及び第7連写画像が非対象画像として機能し、第9連写画像が対象画像として機能する。
【0080】
第1〜第3解像度は、カメラ1にて予め定められた解像度であっても良いし、端末装置2からの信号にて指定されても良い。例えば、ライブビュー開始要求信号350(図5参照)に、第1〜第3解像度の全部又は一部を指定する解像度指定信号が付加されていても良く、カメラ1は、この解像度指定信号に従って第1〜第3解像度の全部又は一部を定めて良い。或いは例えば、高精細送信要求信号に第2解像度を指定する解像度指定信号が付加されていても良く、カメラ1は、この解像度指定信号に従って第2解像度を定めて良い。
【0081】
カメラ1を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。カメラ1にて実現される機能の全部又は一部である任意の特定の機能(例えば画像処理部及び通信処理部の機能)をプログラムとして記述して、該プログラムをカメラ1に搭載可能なメモリ(ROM14又はRAM15)に保存しておいても良い。そして、該プログラムをプログラム実行装置(CPU13)上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体はカメラ1と異なる機器(サーバ機器等)に搭載又は接続されても良い。
【0082】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【0083】
1 デジタルカメラ
2 端末装置
12 信号処理回路
13 CPU
21 通信モジュール
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12