(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-02
(45)【発行日】2022-12-12
(54)【発明の名称】通信端末、通信端末の制御方法および通信システム
(51)【国際特許分類】
H04L 67/06 20220101AFI20221205BHJP
H04L 67/56 20220101ALI20221205BHJP
G06F 3/01 20060101ALI20221205BHJP
H04M 1/00 20060101ALI20221205BHJP
【FI】
H04L67/06
H04L67/56
G06F3/01 510
H04M1/00 R
(21)【出願番号】P 2019130283
(22)【出願日】2019-07-12
【審査請求日】2022-06-24
【早期審査対象出願】
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】三谷 滋之
【審査官】羽岡 さやか
(56)【参考文献】
【文献】特開2003-219327(JP,A)
【文献】特開2015-088788(JP,A)
【文献】特開2005-293339(JP,A)
【文献】特開2003-051869(JP,A)
【文献】特開2001-274936(JP,A)
【文献】特開2003-050703(JP,A)
【文献】特開平11-355706(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/06
H04L 67/56
G06F 3/01
H04M 1/00
(57)【特許請求の範囲】
【請求項1】
撮像装置から撮影画像を取得してサーバーに転送する通信端末であって、
前記撮像装置と通信する第1の通信手段と、
前記サーバーと通信する第2の通信手段と、
前記第1の通信手段を用いて前記撮像装置と通信して、前記撮像装置が管理する撮影画像を表示する表示手段と、
前記表示手段に表示された撮影画像について端末音声メモを生成するために音声入力を受け付ける音声入力手段と、
生成された端末音声メモを撮影画像と関連付けて記憶する記憶手段と、
前記第2の通信手段が、前記第1の通信手段を用いて前記撮像装置から取得した撮影画像と前記撮影画像に関連付けられた前記端末音声メモとを、前記サーバーに転送するように制御する制御手段と、
を備え
、
転送対象である同一の撮影画像について、前記撮像装置で生成されたカメラ音声メモと前記端末音声メモの両方が存在する場合、前記制御手段は、前記端末音声メモを前記サーバーに転送するか、前記カメラ音声メモを前記サーバーに転送するかを、所定の条件に従って決定することを特徴とする通信端末。
【請求項2】
転送対象である同一の撮影画像について、前記撮像装置で生成されたカメラ音声メモと端末音声メモの両方が存在する場合、
前記制御手段は
さらに、
前記端末音声メモと前記カメラ音声メモの両方を前記サーバーに転送するか否かを、所定の条件に従って決定する、ことを特徴とする請求項1に記載の通信端末。
【請求項3】
前記制御手段は、前記第2の通信手段が、音声メモの更新日時に応じて、端末音声メモとカメラ音声メモを前記サーバーに転送するように制御する、ことを特徴とする請求項2に記載の通信端末。
【請求項4】
前記表示手段は、前記所定の条件を設定するための設定画面を表示する、ことを特徴とする請求項2に記載の通信端末。
【請求項5】
前記撮像装置でカメラ音声メモが新たに生成されたことを検出すると、
前記制御手段は、前記第1の通信手段と第2の通信手段を制御して、前記撮像装置から撮影画像と生成されたカメラ音声メモを取得して前記サーバーに転送する処理を開始する、ことを特徴とする請求項1に記載の通信端末。
【請求項6】
前記通信端末で端末音声メモが新たに生成されたことを検出すると、
前記制御手段は、前記第1の通信手段と第2の通信手段を制御して、前記撮像装置から撮影画像を取得して生成された端末音声メモとともに前記サーバーに転送する処理を開始する、ことを特徴とする請求項1に記載の通信端末。
【請求項7】
転送履歴を管理する管理手段を備え、
前記管理手段により、新たに生成された端末音声メモ又はカメラ音声メモが関連付けられた撮影画像が転送済みと管理されている場合、前記制御手段は、生成された端末音声メモ又はカメラ音声メモのみを前記サーバーに転送する、ことを特徴とする請求項5または請求項6に記載の通信端末。
【請求項8】
新たに生成された端末音声メモ又はカメラ音声メモが関連付けられた撮影画像について、前記管理手段により以前に生成された端末音声メモ又はカメラ音声メモが転送済みと管理されている場合、新たに生成された端末音声メモ又はカメラ音声メモのファイル名を転送済みの音声メモのファイル名を異ならせる、ことを特徴とする請求項5または請求項6に記載の通信端末。
【請求項9】
新たに生成された端末音声メモが関連付けられた撮影画像について、前記撮像装置で生成されたカメラ音声メモが存在する場合、端末音声メモとカメラ音声メモを合成して合成音声メモを生成する合成手段を備える、ことを特徴とする請求項2から請求項8の何れか1項に記載の通信端末。
【請求項10】
前記撮像装置から撮影画像を取得して前記サーバーに転送する処理を実行するためのアプリケーションを終了する場合、前記制御手段は、前記第1の通信手段と第2の通信手段を制御して、未転送の端末音声メモとカメラ音声メモを前記サーバーに転送する、ことを特徴とする請求項2から請求項9の何れか1項に記載の通信端末。
【請求項11】
前記表示手段は、前記第1の通信手段を用いて取得した前記撮像装置が管理する撮影画像をサムネイル表示し、端末音声メモを生成する撮影画像をユーザが選択可能にする、ことを特徴とする請求項1から請求項10の何れか1項に記載の通信端末。
【請求項12】
前記表示手段は、前記サムネイル表示において音声メモが存在することを示すアイコンを表示する、ことを特徴とする請求項11に記載の通信端末。
【請求項13】
前記表示手段は、端末音声メモとカメラ音声メモを区別してアイコンを表示する、ことを特徴とする請求項12に記載の通信端末。
【請求項14】
撮像装置から撮影画像を取得してサーバーに転送する通信端末の制御方法であって、
前記撮像装置と通信して前記撮像装置が管理する撮影画像を表示する表示する工程と、
音声入力を受け付けて表示された撮影画像について端末音声メモを生成する工程と、
生成された端末音声メモを撮影画像と関連付けて記憶する工程と、
前記撮像装置から取得した撮影画像と前記撮影画像に関連付けられた端末音声メモとを前記サーバーに転送する工程と、
を備え
、
転送対象である同一の撮影画像について、前記撮像装置で生成されたカメラ音声メモと前記端末音声メモの両方が存在する場合、前記端末音声メモを前記サーバーに転送するか、前記カメラ音声メモを前記サーバーに転送するかを、所定の条件に従って決定することを特徴とする通信端末の制御方法。
【請求項15】
撮像装置と、前記撮像装置から撮影画像を取得してサーバーに転送する通信端末と、を備える通信システムであって、
前記撮像装置は、
撮像手段と、
前記撮像手段により得られた撮影画像を管理する管理手段と、を有し、
前記通信端末は、
前記撮像装置と通信する第1の通信手段と、
前記サーバーと通信する第2の通信手段と、
前記第1の通信手段を用いて前記撮像装置と通信して、前記撮像装置が管理する撮影画像を表示する表示手段と、
前記表示手段に表示された撮影画像について端末音声メモを生成するために音声入力を受け付ける音声入力手段と、
生成された端末音声メモを撮影画像と関連付けて記憶する記憶手段と、
前記第2の通信手段が、前記第1の通信手段を用いた前記撮像装置から取得した撮影画像と前記撮影画像に関連付けられた端末音声メモとを、前記サーバーに転送するように制御する制御手段と、を有
し、
転送対象である同一の撮影画像について、前記撮像装置で生成されたカメラ音声メモと前記端末音声メモの両方が存在する場合、前記制御手段は、前記端末音声メモを前記サーバーに転送するか、前記カメラ音声メモを前記サーバーに転送するかを、所定の条件に従って決定する
ことを特徴とする通信システム。
【請求項16】
コンピュータを請求項1乃至13のいずれか1項に記載の通信端末の各手段として機能させるための、コンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮像装置で撮影された画像を、撮像装置に接続されたスマートフォン等の通信端末を経由してインターネット上のサーバーに転送する技術に関する。
【背景技術】
【0002】
デジタル画像撮影技術や通信技術の発展に伴い、報道機関や通信社などのマスメディアは、取材先で撮影した大量の画像を、通信技術を用いて迅速に編集拠点に伝送し、編集・加工を行って媒体として発行できる体制が求められている。そのため、マスメディアは、高度な通信機能を備えた撮像装置や、高速かつ広範囲なエリアで利用することができる通信技術を必要としている。
【0003】
近年のデジタルカメラは無線通信機能を搭載しているが、近距離無線の通信機能であるため、遠隔地である取材先から編集拠点に画像などの取材データを伝送するには、パーソナルコンピュータやアクセスポイント等のインターネット接続するための機材や通信環境が必要となる。従って、従来のデジタルカメラでは取材地域が限定されていた。
【0004】
そこで、スマートフォン等のモバイル通信端末を用いて公衆無線通信を利用することで、全国各地から取材データを編集拠点に迅速に伝送することが検討されている。今後、第5世代の通信技術(5G通信技術)が普及し、高速大容量のデータを低遅延で伝送する通信環境が整備されることが想定されており、モバイル通信端末を活用することによって、より迅速に編集拠点に伝送できるようになる可能性がある。
【0005】
また、デジタルカメラで静止画や動画を撮影する際に、撮影者が音声データを音声メモとして画像データに関連付けて記録することで撮影情報の整理に活用する技術がある。特許文献1は、デジタルカメラの音声メモ入力機能を用いて、撮影者が撮影画像に音声メモを記録する技術を開示している。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に開示された技術では、音声メモ入力機能を備えた撮像装置ででないと、音声メモを記録することができず、同機能を備える限られた撮像装置でしか、その機能を享受することができなかった。
【0008】
本発明は、音声メモ入力機能が無い撮像装置であっても、撮像装置に接続された通信端末で音声メモを記録でき、通信端末を経由して撮像装置内の画像をサーバーに伝送する際に、通信端末に記録された関連する音声メモも伝送することが可能となる。
【課題を解決するための手段】
【0009】
本発明の1実施態様は、撮像装置から撮影画像を取得してサーバーに転送する通信端末であって、前記撮像装置と通信する第1の通信手段と、前記サーバーと通信する第2の通信手段と、前記第1の通信手段を用いて前記撮像装置と通信して、前記撮像装置が管理する撮影画像を表示する表示手段と、前記表示手段に表示された撮影画像について端末音声メモを生成するために音声入力を受け付ける音声入力手段と、生成された端末音声メモを撮影画像と関連付けて記憶する記憶手段と、前記第2の通信手段が、前記第1の通信手段を用いて前記撮像装置から取得した撮影画像と前記撮影画像に関連付けられた前記端末音声メモとを、前記サーバーに転送するように制御する制御手段と、を備え、転送対象である同一の撮影画像について、前記撮像装置で生成されたカメラ音声メモと前記端末音声メモの両方が存在する場合、前記制御手段は、前記端末音声メモを前記サーバーに転送するか、前記カメラ音声メモを前記サーバーに転送するかを、所定の条件に従って決定する。
【発明の効果】
【0010】
本発明によれば、撮影画像を撮像装置に接続した通信端末を介してサーバーに伝送する際に、撮像装置の音声入力機能の有無によらず、転送対象の撮影画像に関連する音声メモもサーバーに伝送することができ、撮影後の画像整理などを効果的に行うことが可能となる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施形態における通信機器及び撮像装置を含むシステムの構成例を説明するための図である。
【
図2】本発明の実施形態における通信機器のハードウェア構成例を示すブロック図である。
【
図3】本発明の実施形態における撮像装置の構成例を示すブロック図である。
【
図4】本発明の第1の実施形態における画像転送アプリケーションの操作画面の一例を示すブロック図である。
【
図5】本発明の第1の実施形態における画像転送アプリケーションの操作画面の確認画面の一例を示すブロック図である。
【
図6】本発明の第1の実施形態における画像転送アプリケーションの設定画面の一例を示すブロック図である。
【
図7】本発明の第1の実施形態における画像転送アプリケーションの処理の流れの一例を示すフロー図である。
【
図8】本発明の第2の実施形態における画像転送アプリケーションの設定画面の一例を示すブロック図である。
【
図9】本発明の第2の実施形態におけるカメラ音声更新時に送信を開始する処理の流れの一例を示すフロー図である。
【
図10】本発明の第2の実施形態における端末音声更新時に送信を開始する処理の流れの一例を示すフロー図である。
【
図11】本発明の第3の実施形態における画像転送アプリケーションの転送管理テーブルの概念を示すブロック図である。
【
図12】本発明の第3の実施形態における画像転送アプリケーションの処理の流れの一例を示すフロー図である。
【
図13】本発明の第4の実施形態における画像転送アプリケーションの設定画面の一例を示すブロック図である。
【
図14】本発明の第4の実施形態における画像転送アプリケーションの処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【0012】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【0013】
(第1の実施形態)
(システムの構成)
図1は本発明のシステム構成を説明するための模式図である。
【0014】
図1において、101はモバイル端末としての通信機器であり、スマートフォンやコンピュータに代表されるような通信機能を備えた情報処理装置である。102はデジタルカメラなどの撮像装置である。103はサーバーであり、インターネットなどの通信網を経た接続先に設置される画像蓄積装置である。
図1において、通信機器101と撮像装置102は、有線ケーブルまたはWi-Fiなどの接続手段104を経て有線通信または無線通信で接続されていて、撮像装置102で生成された静止画や静止画に付随して記録された音声ファイルを通信機器101に転送することが可能である。つまり、通信機器101と撮像装置102は通信接続されることで通信システムとして機能する。また、通信機器101とサーバー103は、モバイルネットワークなどの通信手段105を通して接続されていて、通信機器101に一時保存された情報をサーバー103に転送することが可能である。
【0015】
(通信機器の構成)
図2は、本実施形態に係る通信機器101のハードウェア構成例を示すブロック図である。
【0016】
図2において、200は通信機器101の筺体である。201はLCD(Liquid Crystal Display)やEL(Electro Luminescent)ディスプレイ等などの表示装置であり、通信機器101の操作画面や状態表示画面を表示するとともに、タッチパネルで構成されていて指やスタイラスペンなどの接触等によるユーザの入力位置を検知することでポインティングデバイスとしても活用される。表示装置201上に表示されるキーボード状の画像情報で文字キーの位置を関知することによってソフトウェアキーボードを提供することも可能となっている。
【0017】
202はVRAM(Video RAM)であり、表示装置201の表示画面に表示するための画像が描画される。このVRAM202に生成された画像は、所定の規定に従って表示装置201に転送され、これにより表示装置201に画像が表示される。
【0018】
203は通信機器101に付属する光学的画像情報入力装置としての内蔵カメラであり、静止画及び動画等の画像情報やタッチセンサーなどによる指紋認証情報などの入力を受け付ける。
【0019】
204はCentral Processing Unit(CPU)であり、Read Only Memory(ROM)205、ストレージ207に格納された制御プログラムに基づいて、バス212を介して接続された各デバイスを制御する。
【0020】
205はROM(Read Only Memory)であり、各種の制御プログラムやデータを保持する。
【0021】
206はRAM(Random Access Memory)であり、CPU204のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。本実施形態のシステムにおいては、システムの制御を行う各種プログラムがロードされる。
【0022】
207は本発明の情報処理装置において電子情報を記録保存するためのデータストレージであり、ハードディスクドライブ (HDD)、フラッシュメモリで構成されるソリッドステートドライブ(SSD)や、ハードディスクとフラッシュメモリを併用したハイブリッドドライブ、メモリカード及び同カード読み取り装置などが相当する。後述するUSBインターフェイス208を通して接続される大容量の外付けハードディスクドライブHDDもこれに含まれる。
【0023】
208はUSB(Universal Serial Bus)インターフェイスであり、USBメモリやCD(Compact Disc)ドライブ、DVD(Digital Versatile Disc)ドライブなどの外部デバイスと接続することにより情報処理装置の機能を拡張することを可能とする。
【0024】
209は通信インターフェイスであり、有線通信あるいは無線通信などにより他の情報処理装置やプリンタ、インターネット上のサーバシステム装置などと通信を介するための取り次ぎを行う。通信インターフェイス209を使用した無線通信手段には、BLT(Bluetooth(登録商標) Low Energy)やNFC(Near Field Communication)などの簡易的な低消費電力の通信機能も含まれる。無線通信機能付き撮像装置102との通信も通信フェース209により実施される。
【0025】
210は携帯電話通信のためのインターフェイスモジュールであり、3G又はLTE等の携帯電話規格による通信処理を可能としている。携帯電話インターフェイス210には同通信処理のための電波の入出力のために必要となるアンテナ装置も含んでいる。
【0026】
211はGPS(Global Positioning System)用モジュールであるGPSインターフェイスであり、同モジュールに供えられたアンテナ機能により複数のGPS衛星からの電波を捕捉してCPU204で既定の計算処理をさせることにより、本通信機器が存在する位置情報を特定することが可能となる。
【0027】
また、図示しないが、通信機器101は音声入力を受け付ける音声入力手段としてのマイクを有しており、マイクを通じて入力された音声データを記憶することができる。
【0028】
本実施形態において、CPU204で処理される制御プログラムの提供は、ROM205、RAM206又はデータストレージ207から行うことができ、USBインターフェイス208やネットワークインターフェイス209、携帯電話インターフェイス210を介することによって、他の情報処理装置等からも行うこともできる。
【0029】
(撮像装置の構成)
図3(a)は、本実施形態の撮像装置102の構成例を示すブロック図である。
【0030】
制御部301は、入力された信号や、動作するアプリケーションに従って撮像装置102の各構成ユニットを制御する。なお、制御部301が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
【0031】
撮像部302は、例えば、光学レンズユニットと絞り・ズーム・フォーカスなど制御する光学系と、光学レンズユニットを経て導入された光(映像)を電気的な映像信号に変換するための撮像素子などで構成される。撮像素子としては、一般的には、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)が利用される。撮像部302は、制御部301に制御されることにより、撮像部302に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理などを行って、デジタルデータとして画像データを出力する。本実施形態の撮像装置102では、画像データは、DCF(Design Rule for Camera File system)の規格に従って、記録媒体310に記録される。
【0032】
不揮発性メモリ303は、電気的に消去・記録可能な不揮発性のメモリであり、制御部301で実行されるアプリケーションプログラム等が格納される。
【0033】
作業用メモリ304は、撮像部302で撮像された画像データを一時的に保持するバッファメモリや、表示部306の画像表示用メモリ、制御部301の作業領域等として使用される。
【0034】
操作部305は、ユーザが撮像装置102に対する指示をユーザから受け付けるために用いられる。操作部305は、例えば、ユーザが撮像装置102の電源のON/OFFを指示するための電源ボタンや、撮影を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタンなどを含む。さらに、後述の通信部311を介して外部機器との通信を開始するための専用の接続ボタンなどの操作部材を含む。また、後述する表示部306を形成するタッチパネルも操作部305に含まれる。
【0035】
なお、レリーズスイッチは、SW1およびSW2を有する。レリーズスイッチが、いわゆる半押し状態となることにより、SW1がONとなる。これにより、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備を行うための指示を受け付ける。また、レリーズスイッチが、いわゆる全押し状態となることにより、SW2がONとなる。これにより、撮影を行うための指示を受け付ける。
【0036】
表示部306は、撮影の際のビューファインダー画像の表示、撮影した画像データの表示、ユーザと対話的な操作のための文字表示などを行う。なお、表示部306は必ずしも撮像装置102が内蔵する必要はない。撮像装置102は内部又は外部の表示部306と接続することができ、表示部306の表示を制御する表示制御機能を少なくとも有していればよい。
【0037】
記録媒体310は、撮像部302から出力された画像データを記録することができる。記録媒体310は、撮像装置102に着脱可能なよう構成してもよいし、撮像装置102に内蔵されていてもよい。すなわち、撮像装置102は少なくとも記録媒体310にアクセスする手段を有していればよい。
【0038】
通信部311は、外部装置と接続するためのインターフェイスである。本実施形態の撮像装置102は、通信部311を介して、外部装置とデータのやりとりを行うことができる。例えば、撮像部302で生成した画像データを、通信部311を介して外部装置に送信することができる。また、撮像部302による撮像を、通信部311を介して外部装置からリモートコントロールすることができる。なお、本実施形態では、通信部311は外部装置とIEEE802.11の規格に従った、いわゆる無線LANで通信するためのインターフェイスを含む。また、通信部311は外部装置とUSB(Universal Serial Bus)ケーブルによるUSBインターフェイスも含む。制御部301は、通信部311を制御することで外部装置との無線通信を実現する。
【0039】
音声入力部307は、記録媒体310に記録された画像データに対して付加する音声情報を入力するための装置であり、音声入力部307により音声情報から変換された音声データ情報は画像データに関連付けられた音声メモ(カメラ音声メモ)として音声ファイル形式で記録媒体310に記録される。
【0040】
なお、本実施形態における撮像装置102の通信部311は、インフラストラクチャモードにおけるアクセスポイントとして動作するAP(アクセスポイント)モードと、インフラストラクチャモードにおけるクライアントとして動作するCL(クライアント)モードとを有している。そして、通信部311をCLモードで動作させることにより、本実施形態における撮像装置102は、インフラストラクチャモードにおけるCL(クライアント)機器として動作することが可能である。撮像装置102がCL機器として動作する場合、周辺のAP(アクセスポイント)機器に接続することで、AP機器が形成するネットワークに参加することが可能である。また、通信部311をAPモードで動作させることにより、本実施形態における撮像装置102は、APの一種ではあるが、より機能が限定された簡易的なAP(以下、簡易AP)として動作することも可能である。撮像装置102が簡易APとして動作すると、撮像装置102は自身でネットワークを形成する。撮像装置102の周辺の装置は、撮像装置102をAP機器と認識し、撮像装置102が形成したネットワークに参加することが可能となる。上記のように撮像装置102を動作させるためのプログラムは不揮発性メモリ303に保持されているものとする。
【0041】
なお、本実施形態における撮像装置102はAPの一種であるものの、CL機器から受信したデータをインターネットプロバイダなどに転送するゲートウェイ機能は有していない簡易APである。したがって、自機が形成したネットワークに参加している他の装置からデータを受信しても、それをインターネットなどのネットワークに転送することはしない。
【0042】
次に、撮像装置102の外観について説明する。
図3(b)、
図3(c)は撮像装置102の外観の一例を示す図である。レリーズスイッチ305aや再生ボタン305b、方向キー305c、タッチパネル305d、録音ボタン305eは、前述の操作部305に含まれる操作部材である。また、表示部306には、撮像部302による撮像の結果得られた画像が表示される。また、本実施形態の撮像装置102は、カメラ筺体の側面にUSBケーブル接続端子311を有する。USBケーブルを通信機器101のUSB/IF208と接続することで、通信機器101と撮像装置102をUSB規格により高速データ通信を使用することができるようになる。
【0043】
(画像転送アプリケーションの画面表示)
次に、
図4により、本実施形態における通信機器101で実行され撮像装置102が記憶する画像データをサーバー103に転送するための画像転送アプリケーションの態様について説明する。
【0044】
図4は、画像転送アプリケーションの操作画面の表示状態と機能を示す模式図である。
図4において、401は画像選択画面であり、撮像装置102の記録媒体310に保存されている画像ファイルから取得したサムネイル402~406を一覧表示している。各サムネイルは、画面201のサムネイルの表示場所をタップすることで選択状態と非選択状態に表示を切り替えることが可能である。サムネイルの選択状態と非選択状態は表示態様から区別することができ、選択状態にあるサムネイルは後述する録音や転送の対象となる。
図4では403、406が選択状態、404、405、406は非選択状態となっている。例えば、サムネイル画像の枠線の色や太さなどを異ならせることで。ユーザは選択状態と非選択状態を区別することができる。
【0045】
画像404はカメラ音声メモが付随している画像ファイルのサムネイル表示例であり、撮像装置102の録音ボタン305eを押すことで画像404に関連付けられた音声メモが記録媒体310に保存されていることをアイコン表示(カメラ音声メモアイコン407)によって示されている。
【0046】
画像405には端末音声メモが付随している画像ファイルのサムネイル表示の例であり、通信機器101上で録音されて画像405に関連付けられた音声メモ(端末音声メモ)が記録媒体310に保存されていることをアイコン表示(端末音声メモアイコン408)によって示されている。
【0047】
なお、画像406にはカメラ音声メモアイコン407と端末音声メモアイコン408がともに表示されていて、両方の音声メモが付随していることが示されている。本実施形態では、音声メモの種別に応じて異なるアイコンを表示することで、画像ファイルに付随する音声メモの種別をユーザが識別できるようにしているが、他の表示方法で識別できるようにしてもよい。
【0048】
図4において、画面401の戻るボタン409をタップすると、画面401に表示される全ての画像の選択状態は破棄され、画像転送アプリケーションは終了する。画面401で画像を選択した状態で録音ボタン410をタップすると、一定時間の録音が開始され、音声メモが生成されてストレージ207に保存される。生成された音声メモは、画面401で選択状態となっている画像に関連付けられて記録され、サムネイルには端末音声メモアイコン408が表示される。なお、既に端末音声メモアイコン408が表示されている画像に対しては、表示上の変化はない。
【0049】
そして、画面401で画像を選択した状態で転送ボタン411をタップすると、通信機器101は、画面409で選択状態にある全ての画像について元画像の画像ファイルを撮像装置102から取り込み、転送先として設定されているサーバー103に転送する。また、転送対象である画像にカメラ音声メモが関連付けられているときは、通信機器101は、カメラ音声メモも撮像装置102から取り込んでサーバー103に転送する。さらにまた、転送対象の画像に端末音声メモが関連付けられているときは、通信機器101は、ストレージ207に保存されている端末音声メモもサーバー103に転送する。なお、ここで撮像装置102から取得する元画像はサムネイル表示された画像よりも高画質な画像である。
【0050】
なお、画面401の設定ボタン412をタップすると、画像転送アプリケーションの動作の設定を指示するための設定パネルが開かれる。
【0051】
図5は、カメラ音声メモと端末音声メモの両方が関連付けられている画像406をサーバー103に転送するときに表示される確認画面の例である。画像406が選択されている状態で転送ボタン411をタップすると、確認パネル501が前面に重ねて表示される。確認パネル501には選択ボタン502~505が配置されていて、夫々の選択ボタンが転送対象となる音声メモに対応している。即ち、選択ボタン502がタップされるとカメラ音声メモだけが転送対象となり、選択ボタン503がタップされると端末音声メモだけが転送対象となり、選択ボタン504がタップされるとカメラ音声メモと端末音声メモの両方が転送対象となり、選択ボタン505がタップされると何れの音声メモも転送対象にならない。確認パネル501により、ユーザは、用途に合わせて転送する音声メモを選択することが可能である。
【0052】
図4及び
図5に示した画像転送アプリケーションの操作画面は一例であり、他の表示方法を使用してもよい。なお、画像転送アプリケーションの画像転送機能、音声メモの録音機能をついて説明したが、本アプリケーションは他の機能を有していてもよい。画像転送アプリケーションは、撮像装置102において画像に登録されているIPTC(International Press Telecommunications Council)情報を通信機器101上で表示できるようにしてもよく、通信機器101でIPTC(International Press Telecommunications Council)情報を編集して撮像装置102の画像に登録できるようにしてもよい。
【0053】
(設定パネル)
転送対象の画像について端末音声メモとカメラ音声メモがともに存在していて音声メモが重複する場合、上述したように、確認パネル501を用いてユーザが選択可能にしてもよいが、予め設定しておくことも可能である。
【0054】
図6は、本実施形態における画像転送アプリケーションの設定画面における音声メモの設定部の一例を示す模式図である。例えば、
図4において画面401の設定ボタン412をタップすることにより設定パネル601が表示される。設定項目として音声メモ以外にも多様な項目が考えられるが、ここでは音声メモについて説明し、他の設定項目の説明を割愛する。
【0055】
設定パネル601にはラジオボタンによる項目602~605が表示されている。項目602~605は背反となっていて、何れか一つが選択されると、他の項目は解除される。つまり、同時に複数の項目が有効にならないように制御される。
【0056】
項目602が選択されると、画像の転送時に両方の音声メモが転送対象となる。また、項目603が選択されると、カメラ音声メモのみが転送対象となり、項目604が選択されると、端末音声メモのみが転送対象となる。そして、項目605が選択されると、音声メモは転送されない。
【0057】
なお、項目内容を調整すれば、画像に対して何れか1つの音声メモしか存在しない場合にも、同様の制御を適用することは可能である。また、設定パネル601は一例であり、画像転送アプリケーションの画面表示方法や選択肢の内容はこれに限られない。
【0058】
(転送処理のフロー)
次に、本実施形態における画像転送アプリケーションの画像及び音声メモの転送処理の流れについて、
図7のフロー図を用いて説明する。
【0059】
図7において、ステップS701で転送ボタン411の押下により画像の転送指示を受けたときに、操作画面上で選択状態になっている画像403及び406の元画像を撮像装置102から受信して、ステップS702で受信した画像をサーバー103へ転送する。
【0060】
ステップS703で送信した画像にカメラ音声メモが付随しているか否かを確認し、ステップ704及びステップS711で端末音声メモが付随しているか否かを確認する。
【0061】
ステップS704で送信対象の同一の画像にカメラ音声メモと端末音声メモの両方が付随している場合は、ステップS705で音声メモ重複時の転送設定を確認する。例えば、
図6の転送設定パネル601で設定した状態から確認する。そして、ステップS706で設定パネル601の確認の結果としてチェックボックス602がチェックされていて両方の音声メモの設定が指示されている場合は、ステップS707で端末音声メモをサーバー103へ転送後、ステップS708でカメラ音声メモを撮像装置102から受信して、ステップS709でカメラ音声メモをサーバー103に転送する。
【0062】
ステップS706で転送設定パネル601に両方の音声メモの転送が指定されていない場合、ステップS710でチェックボックス603のカメラ音声の送信が指示されていればカメラ音声優先と判断して、ステップS708で撮像装置102からカメラ音声メモを受信してステップS709でサーバー103へカメラ音声メモを転送する。ステップS710でチェックボックス604の端末音声の送信が指示されていれば端末音声優先と判断して、ステップS712で端末音声メモをサーバー103へ転送する。
【0063】
ステップS704でカメラ音声メモあり且つ端末音声メモなしと判断されたときは、ステップS708でカメラ音声メモを撮像装置102から受信して、ステップS709でカメラ音声メモをサーバー103へ転送する。ステップS711でカメラ音声メモなし且つ端末音声メモありと判断されたときは、ステップS712で端末音声メモをサーバー103へ転送する。なお、ステップS711でカメラ音声メモも端末音声メモもなしと判断されたときはそのまま終了する。
【0064】
図7に示すフローに従うことにより、本実施形態における画像転送アプリケーションでは、転送対象の画像に対する音声メモの付加状況とユーザの設定状態に応じ、条件に従って、音声メモの転送を制御することができる。なお、画像と音声メモの転送の順序や判断のタイミングなどは、
図7の例に限られることはなく、設計上の都合により適切に変更できる。
【0065】
以降、本発明の別の実施形態について図面を参照しながら説明する。各々の実施形態において、システムの構成(
図1)、通信機器の構成(
図2)、撮像装置の構成(
図3)は、第1の実施形態と同じなので説明は割愛する。
【0066】
(第2の実施形態)
本発明の第2の実施形態として、画像にカメラ音声メモまたは端末音声メモを新たに生成して追加する操作を実行した際に、その操作を契機として、画像の転送を開始する処理を説明する。
【0067】
図8は、本実施形態における通信機器101で動作する画像転送アプリケーションの、音声メモの転送設定パネルの構成を示す模式図である。
【0068】
図8において、設定パネル801にはラジオボタンによる項目802~805が表示されている。夫々のラジオボタンの機能は
図6におけるラジオボタンの項目602~605と同等である。チェックボタン806は、チェックのオンとオフを切り替えることが可能であり、チェックボタン806のチェックがオンのときには、撮像装置102または通信機器101にて音声メモが生成されて追加されるなどして状態が変更されたときに、画像の転送が開始されるように設定される。
【0069】
次に、本実施形態における画像及び音声メモの転送処理の流れについて、
図9のフロー図により説明する。
【0070】
図9は撮像装置102でカメラ音声メモが追加されたときの転送処理を説明するフロー図である。
【0071】
図9において、ステップS901で撮像装置102にて音声メモが追加されると、ステップS902で音声メモが追加された旨の通知が撮像装置102から通信機器101へ送られる。こうして通信機器101は、音声メモの追加を検出することができる。ステップS903で、通信機器101上で画像転送アプリケーションが動作していない場合はそのまま処理を終わるが、画像転送アプリケーションが動作していて画像を転送可能な状態にある場合は、ステップS904で転送設定パネル801の状態を確認する。
【0072】
そして、ステップS905でチェックボックス806がオフの状態の場合には、何もせずにそのまま処理を終える。一方、ステップS905でチェックボックス806がオンの状態になっていて音声メモの追加で更新開始の設定が為されていた場合には、ステップS906で音声メモが追加された画像の元画像を撮像装置102から取得する。その後、ステップS907で取得した画像をサーバー103へ転送し、更にステップS908で追加された音声メモを撮像装置102から取得して、ステップS911で音声メモをサーバー103に転送する。
【0073】
図10は通信機器101で端末音声メモが追加されたときの転送処理を説明するフロー図である。
【0074】
図10において、ステップS1001で通信機器101にて音声メモが追加されたことを検出すると、ステップS1002で、通信機器101上で画像転送アプリケーションが動作していない場合はそのまま処理を終わるが、画像転送アプリケーションが動作していて画像を転送可能な状態にある場合は、ステップS1003で転送設定パネル801の状態を確認する。
【0075】
そして、ステップS1004でチェックボックス806がオフの状態の場合には、何もせずにそのまま処理を終える。一方、ステップS1004でチェックボックス806がオンの状態になっていて音声メモ追加で更新開始の設定が為されていた場合には、ステップS1005で音声メモが追加された撮影画像の元画像を撮像装置102から取得する。その後、ステップS1006で取得した画像をサーバー103へ転送し、更にステップS1007で追加された音声メモをサーバー103に転送する。
【0076】
本実施形態では、音声メモが新たに生成されて追加されたことを契機として画像の転送を開始したが、音声メモの内容変更、画像のレーティング値の付与または変更、画像のトリミング編集などを契機としてもよい。また、撮像装置102及び通信機器101で共通の操作を行った時に、その操作を契機として画像の転送処理を開始させることも可能である。
【0077】
(第3の実施形態)
次に本発明の第3の実施形態として、ユーザから画像及び音声メモの送信を指示されたときに、既に送信したデータの再転送を防ぐことで必要最小限の通信量と通信時間で転送処理を実施するための処理について説明する。
【0078】
(転送管理テーブルの構成)
図11は通信機器101上で動作する画像転送アプリケーションにおいて画像の転送状況を管理する転送管理テーブルの模式図である。転送管理テーブルは、通信機器101と撮像装置102が最初に接続されたときに、撮像装置102の記録媒体310に記録されている画像のリストにより生成され、画像転送アプリケーションが動作するときにRAM206上に展開されて撮像装置102の撮影や画像削除などの操作に応じて随時更新されるものとする。
【0079】
図11において、1101が画像管理テーブルであり、撮像装置102の記録媒体310内に記録されている全画像の画像数1102と各画像の情報ブロック1103により構成される。
【0080】
1104は個々の画像の情報ブロックの内部構成であり、画像に関する情報として画像ファイル名1105、画像転送日時1106、画像転送フラグ1107を保持している。画像ファイル名1105は画像のファイル名の文字列、画像転送日時1106は最後にその画像が転送された日時情報、画像転送フラグ1107はその画像が転送されたか否かを示すビットフラグである。
【0081】
また、画像情報ブロック1104には、その画像に関連づけられて撮像装置102の記録媒体310に記録されているカメラ音声メモに関する情報として、カメラ音声ファイル名1108、カメラ音声ファイル転送日時1109、カメラ音声転送フラグ1110を保持している。カメラ音声ファイル名1108は画像に付随する音声メモのファイル名の文字列、カメラ音声転送日時1109はそのカメラ音声メモが転送された日時情報、カメラ音声転送フラグ1110はそのカメラ音声メモが転送されたか否かを示すビットフラグである。
【0082】
また、画像情報ブロック1104には、その画像に関連づけられて通信機器101のストレージ206に記録されている端末音声メモに関する情報として、端末音声ファイル名1111、端末音声ファイル転送日時1112、端末音声転送フラグ1113を保持している。端末音声ファイル名1111は画像に付随する音声メモのファイル名の文字列、端末音声転送日時1112はその端末音声メモが転送された日時情報、端末音声転送フラグ1113はその端末音声メモが転送されたか否かを示すビットフラグである。
【0083】
転送管理テーブルの記録を参照することで、撮像装置102の画像がサーバーに転送されたか否かを判断することができるので、画像転送アプリケーションのサムネイル表示において、未転送画像をフィルタリングして表示させることができる。フィルタリングして表示することで、未転送画像を一括選択して転送対象に指定することが容易となる。
【0084】
(処理の流れ)
次に、本実施形態において転送管理テーブルを用いて既に転送した画像または音声メモの再転送を防いで必要なファイルをサーバー103へ転送するための処理の流れを、
図12のフロー図を用いて説明する。
【0085】
図12において、ステップS1201で転送が指定された画像に関しての転送管理テーブル1101の画像情報ブロック1104を参照して、その転送履歴を確認する。
【0086】
ステップS1202で、画像転送フラグ1107の状態を参照して、その画像が未転送か否かを判断する。ただし、画像転送フラグ1107が転送済み状態であっても、画像転送日時1106と画像の更新日時を比較して転送日時1106の方が古い場合には、画像は転送後に更新されているものと見なして未転送扱いとなる。
【0087】
画像が未転送と見なされた場合は、ステップS1203で画像を撮像装置102から取り込んで、ステップS1204でサーバー103へ転送する。
【0088】
ステップS1202で画像が転送済みと判断された場合、ステップS1204で画像のサーバー103への転送が完了した後に、ステップS1205でカメラ音声メモがあるか否かを画像情報ブロック1104のカメラ音声ファイル名1108の有無により判断する。
【0089】
ステップS1205でカメラ音声メモが存在する場合は、ステップS1206で転送設定パネル601の設定状態と、カメラ音声転送フラグ1110及びカメラ音声転送日時1109により、カメラ音声メモが転送対象で且つ未転送かを判断する。カメラ音声転送フラグ1110は転送済みか否かがビット状態で記録されているが、同フラグが転送済み状態であってもカメラ音声転送日時1109とファイルの更新日時を比較して転送日時1109の方が古い場合には、カメラ音声メモは転送後に更新されているものと見なして未転送扱いとなる。カメラ音声メモが未転送と見なされた場合はステップS1207でカメラ音声メモを撮像装置102から取り込んで、ステップS1208でサーバー103へ転送する。
【0090】
ステップS1205でカメラ音声メモが無かった場合、またはステップS1206でカメラ音声メモが転送対象ではないか転送済みと判断された場合は、カメラ音声メモを転送することなく、ステップS1209に進む。
【0091】
ステップS1209で端末音声メモがあるか否かを画像情報ブロック1104の端末音声ファイル名1111の有無により判断する。端末音声メモが存在する場合はステップS1210で、転送設定パネル601の設定状態と、端末音声転送フラグ1113及び端末音声転送日時1112により、端末音声メモが転送対象で且つ未転送かを判断する。端末音声転送フラグ1113は転送済みか否かがビット状態で記録されているが、同フラグが転送済み状態であっても端末音声転送日時1112とファイルの更新日時を比較して転送日時1112の方が古い場合には、端末音声メモは転送後に更新されているものと見なして未転送扱いとなる。
【0092】
端末音声が未転送と見なされた場合はステップS1211で端末音声ファイルをサーバー103へ転送する。
【0093】
画像、カメラ音声メモ、端末音声メモの何れかの転送が実施されたら、ステップS1212で、転送管理テーブル1101の画像転送日時1106、画像転送フラグ1107、カメラ音声転送日時1109、カメラ音声転送フラグ1110、端末音声転送日時1112、端末音声転送フラグ1113の各項目を転送内容に従って更新する。
【0094】
以上により、本実施形態では既に転送したファイルの状態を記録しておくだけでなく、転送日時と更新日時の新旧を比較することによって、適切に必要なファイル情報をサーバー103へ登録することが可能になる。
【0095】
また、本実施形態で説明した未転送画像及び未転送音声メモの転送フローを画像転送アプリケーションの終了時に用いれば、未転送の画像や音声を破棄することなく確実にサーバー103へ転送することが可能になる。
【0096】
(再転送時のファイル名重複の防止)
なお、本実施形態では、一度サーバー103へ転送した画像や音声メモでも、前回の転送時から更新されている場合には再送の必要ありと判断して再転送を行っている。サーバー103の設定等に依っては前回の転送ファイルに上書きされる可能性がある。この問題に対応するためには、画像又は音声メモを再転送する際にファイル名を変更してサーバー103へ転送するといった方法を取ることができる。
【0097】
図12におけるステップS1202で画像が転送済みにも関わらず再転送が必要と判断された場合には、画像ファイル名1105の文字列とは別のファイル名を生成してサーバー103に転送後の保存用ファイル名として指定することができる。この時に生成した新しいファイル名を転送管理テーブル1101の画像ファイル名領域105に追加して保持することで、前回の転送以前に送付していた画像ファイルがサーバー103上で上書きされることを防ぐことができる。画像ファイル名領域1105は任意の文字列長が入力されることが期待されているが、複数のファイル名が追加して格納できるように文字列のリスト形式のデータ構成であることが望ましい。
【0098】
ここでは、更新された画像の再転送によって、サーバー103上で画像ファイルのファイル名が上書きされることを回避するための方法について説明したが、音声メモについても同様の方法を取ることが可能である。即ち、カメラ音声メモに関しては、ステップS1206で再転送が必要と判断された場合に、カメラ音声ファイル名1108に保存されている文字列とは別のファイル名を生成してサーバー103に転送後の保存用のファイル名に指定して、カメラ音声ファイル名1108に新たな保存用ファイル名を追加する。また、端末音声メモに関しては、ステップS1209で再転送が必要と判断された場合に、端末音声ファイル名1111に保存されている文字列とは別のファイル名を生成してサーバー103に転送後の保存用のファイル名として指定して、端末音声ファイル名1111に新たな保存用ファイル名を追加する。
【0099】
このような転送後のサーバー上でのファイル名重複の回避策は、本実施形態以外の実施形態でも同様の情報管理により実施することは可能である。
【0100】
(第4の実施形態)
次に本発明の第4の実施形態として、カメラ音声メモと端末音声メモが重複している際には送信時に二つの音声ファイルを結合して転送する方法について説明する。
【0101】
(設定パネル)
図13は本実施形態における画像転送アプリケーションの設定画面における音声メモの設定部の一例を示す模式図であり、前述の実施形態における
図6の設定パネルと同等の機能を備えている。
【0102】
設定パネル1401にはラジオボタンに依る選択項目1402~1405が表示されている。各選択項目は背反となっていて、どれか一つが選択されると他の項目の選択は解除されて、同時には一つの項目しか有効とされないように制御されている。
【0103】
項目1402が指定されていると、画像の転送時に、端末音声メモとカメラ音声メモが存在して音声メモが重複しているときは、両方の音声ファイルを合成して生成した合成音声メモを転送の対象とする。項目1403が指定されていると、カメラ音声メモのみが転送の対象となり、項目1404が指定されていると、端末音声メモのみが転送の対象となる。項目1405が指定されていると、音声メモは転送されない。
【0104】
なお、
図13とは異なる形態の設定パネルが用いられた場合でも、音声ファイルの転送時において音声メモが重複していると特別な処理を指定できれば、同等の効果を得ることができる。
【0105】
(転送処理のフロー)
次に本実施形態における画像転送アプリケーションの画像及び音声メモの転送処理の流れについて、
図14のフロー図を用いて説明する。
【0106】
図14において、ステップS1401で転送ボタン411の押下により画像の転送指示を受けたときに、操作画面上で選択状態になっている画像403及び406の元画像データを撮像装置102から受信して、ステップS1402で受信した画像をサーバー103へ転送する。
【0107】
ステップS1403で送信した画像にカメラ音声メモが付随しているか否かを確認し、ステップ1404及びステップS1413で端末音声メモが付随しているかを確認する。
【0108】
ステップS1404で送信画像にカメラ音声メモと端末音声メモが付随しているときは、ステップS1405で音声メモ重複時の転送設定を
図13の転送設定パネル1301で設定した状態から確認する。ステップS1406で設定パネル601の確認の結果としてチェックボックス1302がチェックされていて両方の音声ファイルの結合が指示されているときは、ステップS1407でカメラ音声メモを撮像装置102から取り込んで、ステップS1408で取り込んだカメラ音声メモと通信機器101内に保存されている端末音声メモの音声ファイルを結合する。そして、ステップS1409で結合して生成された新音声ファイルをサーバー103へ転送して一連の処理を終了する。
【0109】
ステップS1406で転送設定パネル1301に音声ファイルの結合が指定されておらず、ステップS1410でチェックボックス1303のカメラ音声が優先指示されているとき、及びステップS1404で送信画像にカメラ音声は存在していて端末音声メモが存在しないと判断されたときは、ステップS1411で撮像装置102からカメラ音声メモを受信してステップS1412でサーバー103へカメラ音声メモを転送する。ステップS1410でチェックボックス1304の端末音声メモが優先指示されているとき、及びステップ1413で画像にカメラ音声が存在せずに端末音声メモが存在すると判断されたときは、ステップS1414で端末音声メモの音声ファイルをサーバー103に転送する。
【0110】
ステップS1413で転送画像にカメラ音声メモも端末音声メモも存在しないと判断された場合は、何もせずにそのまま処理を終了する。
【0111】
以上に示したフローの例により、本実施形態における画像転送アプリケーションでは、転送する画像の音声メモの付加状況とユーザの設定状態に応じて音声メモファイルの転送を制御することができるが、画像ファイルと音声ファイルの転送の順序や判断のタイミングなどは
図14の例に限られることはなく、設計上の都合により適切に変更できる。
【0112】
(その他の実施形態)
なお、前述した実施形態では、通信機器101としてスマートフォンを例に説明したが、任意のアプリケーションがインストール可能な機器であれば、特に限定されない。例えば、通信機器101として、携帯電話、タブレット、パーソナルコンピュータ(PC)等であっても同様に適用できる。また、必ずしも通信機能がなくてもよく、広く情報処理装置によって実施可能である。
【0113】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0114】
101 通信機器
102 撮像装置
103 サーバー