特開 2017-228927 画像音声記録再生装置とその記録再生機能を実現するプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-228927(P2017-228927A)

(43)【公開日】2017年12月28日

(54)【発明の名称】画像音声記録再生装置とその記録再生機能を実現するプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20171201BHJP

【ＦＩ】

   H04N5/91 R

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2016-123604(P2016-123604)

(22)【出願日】2016年6月22日

(71)【出願人】

【識別番号】516186669

【氏名又は名称】有限会社フリップ

(74)【代理人】

【識別番号】100080090

【弁理士】

【氏名又は名称】岩堀 邦男

(72)【発明者】

【氏名】岩田 正恵

【テーマコード（参考）】

5C053

【Ｆターム（参考）】

5C053FA07

5C053JA01

(57)【要約】

【課題】
本発明は、音声データを１つのＪＰＥＧ互換ファイルに確実に組み込むことができる画像音声記録再生装置とその記録再生機能を実現するプログラムを提供することを目的とする。
【解決手段】
本発明の目的は、ＪＰＥＧ互換の静止画ファイルのヘッダ内部のアプリケーションセグメント末尾後と量子化テーブルの開始前の間に音声領域を確保して前記音声データを記録するプログラムにして、音声領域先頭マーカＯＴＯＰと、音声開始マーカＯＴＯＰ￥０￥０と、音声チャンネル開始マーカＯＴＯＰＣＨ１ＳＴＡＲＴ￥０￥０と、前記音声データである音声データ列と、音声チャンネル末尾マーカＯＴＯＰＣＨ１ＥＮＤ￥０￥０と、音声末尾マーカＯＴＯＰＥＮＤ￥０￥０の順序で記録されることを特徴とする画像音声記録機能を実現するプログラムとしたことによって達成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータによってＪＰＥＧ互換の静止画像ファイルに音声データを組み込んで記録する画像音声記録機能を実現するプログラムであって、前記静止画ファイルのヘッダ内部のアプリケーションセグメント末尾後と量子化テーブルの開始前の間に音声領域を確保して前記音声データを記録するプログラム、若しくは、前記静止画ファイルの画像データ記録領域末尾に続いて前記音声領域を確保して前記音声データを記録するプログラムにして、前記音声領域には、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、前記音声データである音声データ列と、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカの順序で記録されることを特徴とする画像音声記録機能を実現するプログラム。

【請求項2】

請求項１に記載の画像音声記録機能を実現するプログラムをインストールしたコンピュータにおいて、前記音声データ列として、複数のチャンネル音声データ列を有していることを特徴とする画像音声記録機能を実現するプログラム。

【請求項3】

請求項１又は請求項２に記載の画像音声記録機能を実現するプログラムをインストールしたコンピュータにおいて、前記コンピュータはカメラとマイクとコマンド入力手段とメモリ及を有しており、前記コマンド入力手段はタッチパネル若しくはキーボード若しくはマウス若しくはジョイスティックで構成されており、前記メモリ内には所定の容量であるエンドレス記録領域が設けられていて、前記コンピュータが前記マイクから入力された音声データを記録するにあたっては、前記エンドレス記録領域の上位アドレスから下位アドレスまで前記音声データを順次記録して、更に逐次入力される音声データに対して、前記上位アドレスから前記下位アドレスまで順次上書き記録を繰り返すエンドレス記録を継続する構成にして、前記コマンド入力手段によって、前記コンピュータが静止画撮影モードに設定されたときから前記エンドレス記録が開始され、前記カメラが備えるシャッタが押されてから所定の時間経過後に前記エンドレス記録を終了することを特徴とする画像音声記録機能を実現するプログラム。

【請求項4】

請求項３に記載の画像音声記録機能を実現するプログラムをインストールしたコンピュータにおいて、前記音声領域には、音声開始マーカと音声チャンネル開始マーカの間に、メタデータ開始マーカとメタデータ末尾マーカで挟んだメタデータ列が書き込まれ、若しくは、音声チャンネル末尾マーカと音声末尾マーカの間に、メタデータ開始マーカとメタデータ末尾マーカで挟んだメタデータ列が書き込まれ、前記メタデータ列には、前記音声データの記録長さが録音時間として含まれ、前記音声データの開始から前記シャッタが押されるまでの時間がシャッタ押しタイミングとして含まれることを特徴とする画像音声記録機能を実現するプログラム。

【請求項5】

コンピュータによってＪＰＥＧ互換の音声付静止画ファイルに対する画像音声再生機能を実現するプログラムであって、ＪＰＥＧ互換の音声付静止画ファイル内に、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカが記録されているときは、前記音声チャンネル開始マーカと、前記音声チャンネル末尾マーカの間のデータを、音声データ列として音声再生すると共に、前記ＪＰＥＧ互換の音声付静止画ファイルに格納の静止画を再生することを特徴とする画像音声再生機能を実現するプログラム。

【請求項6】

請求項５に記載の画像音声再生機能を実現するプログラムをインストールしたコンピュータにおいて、ＪＰＥＧ互換の音声付静止画ファイル内に、メタデータ開始マーカと、メタデータ末尾マーカで挟んだメタデータ列が書き込まれていた場合であって、前記メタデータ列には、音声データの記録長さが録音時間として含まれ、前記音声データの開始からシャッタが押されるまでの時間がシャッタ押しタイミングとして含まれている場合には、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている音声をスピーカで発声し、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている静止画を表示するに際しては、該静止画をディスプレイに表示し、前記シャッタ押しタイミング経過時に、再生された画像の輝度を一時的に変化させたり、シャッタ擬音を鳴らしたり、若しくは、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている音声をスピーカで発声すると共に、前記静止画のデフォーカス画像、モノクロ画像、低コントラスト画像若しくは低解像度画像といった加工画像を前記ディスプレイに表示し、前記シャッタ押しタイミング経過後に、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている静止画を前記ディスプレイに表示したりすることを特徴とする画像音声再生機能を実現するプログラム。

【請求項7】

ＪＰＥＧ互換の静止画像ファイルに音声データを組み込んで記録する画像音声記録装置であって、前記静止画ファイルのヘッダ内部のアプリケーションセグメント末尾後と量子化テーブルの開始前の間に音声領域を確保して前記音声データを記録する装置、若しくは、前記静止画ファイルの画像データ記録直後に前記音声領域を確保して前記音声データを記録する装置にして、前記音声領域には、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、前記音声データである音声データ列と、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカの順序で記録されることを特徴とする画像音声記録装置。

【請求項8】

請求項７に記載の画像音声記録装置において、前記画像音声記録装置はカメラとマイクとコマンド入力手段とメモリ及びＣＰＵを有しており、前記コマンド入力手段はシャッタ、タッチパネル若しくはキーボード若しくはマウス若しくはジョイスティックで構成されており、前記ＣＰＵは前記メモリに記憶されたプログラムに従って演算を実行することにより、前記カメラと前記マイクと前記コマンド入力手段及び前記メモリを制御する構成にして、前記メモリ内には所定の容量であるエンドレス記録領域が設けられていて、前記ＣＰＵが前記マイクから入力された音声データを記録するにあたっては、前記エンドレス記録領域の上位アドレスから下位アドレスまで前記音声データを順次記録して、更に逐次入力される前記音声データに対して、前記上位アドレスから前記下位アドレスまで順次上書き記録を繰り返すエンドレス記録を継続する構成にして、前記コマンド入力手段によって、前記画像音声記録装置が静止画撮影モードに設定されたときから前記エンドレス記録が開始され、前記カメラが備えるシャッタが押されてから所定の時間後に前記エンドレス記録を終了することを特徴とする画像音声記録装置。

【請求項9】

請求項７又は請求項８に記載の画像音声記録装置において、ネットワーク通信手段を備えて、前記音声データが組み込まれたＪＰＥＧ互換ファイルを、前記ネットワークを通じて送信する構成を有することを特徴とする画像音声記録装置。

【請求項10】

ＪＰＥＧ互換の静止画ファイルを再生する画像音声再生装置であって、ＪＰＥＧ互換の音声付静止画ファイル内に、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカが記録されているときは、前記音声チャンネル開始マーカと、前記音声チャンネル末尾マーカの間のデータを、音声データ列として音声再生すると共に、前記ＪＰＥＧ互換の音声付静止画ファイルに格納の静止画を再生することを特徴とする画像音声再生装置。

【請求項11】

請求項１０に記載の画像音声再生装置において、ネットワーク通信手段を備えて、前記音声データが組み込まれたＪＰＥＧ互換ファイルを、前記ネットワークを通じて受信する構成を有することを特徴とする画像音声再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像音声記録再生装置とその記録再生機能を実現するプログラムに関する。

【背景技術】

【0002】

ネットワークを介して情報を送受信する携帯端末には撮影機能を備えることが当たり前の状況となっている。そして、撮影された静止画（写真）や動画（ムービ）を、ネットワークを介して共有することも極めて日常的なこととなっている。静止画に係る電子情報はＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式が広く普及している。

【0003】

静止画に音声を加える動きもあって、例えば特許文献１には、静止画撮影モードに設定したときから音声のデジタル録音を開始する機能を有するカメラ付き携帯端末機が記載されている。これは所定の録音記憶容量にエンドレスで記録を継続し、写真撮影のシャッタが押されたタイミングから所定の秒数後にその録音を終了するものである。このようにすると、シャッタ押しタイミングの前後数秒の音声が写真と共に記録できることとなる。

【0004】

しかし、これらの記録されたデジタルデータはＪＰＥＧ等の静止画に関するデータと音声に関するデジタルデータを別々に記録されることとなる。そうすると、他の端末と画像や音を共有する場合又は再生する場合に、画像データと音声データといった２つのファイルを別個に扱わなければならないという煩わしさが生じる。

【0005】

画像データのファイルと音声データのファイルの２つを同時に管理する煩わしさを回避するために、特許文献２には、静止画データファイルとして一般的なＪＰＥＧファイルのヘッダに音声データを格納する画像音声記録装置が記載されている。同画像音声記録装置に係るファイル構成は、音声データを６４Ｋバイトずつに分割し、これらブロック分割された音声データを、ＪＰＥＧヘッダのアプリケーションセグメントＡＰＰ０〜ＡＰＰ１５に１ブロックずつ組み込んで行くものである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−３２８１２６号公報

【特許文献2】特開２００２−５７９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献２の記載によれば、音声データは６４Ｋバイト以下に分割され、ＪＰＥＧファイルのヘッダの中の、１又は２以上のアプリケーションセグメントに組み込まれる。同ＪＰＥＧファイルに所望の数のアプリケーションセグメントの空きが無ければ、２以上のＪＰＥＧファイルに亘って音声データが記録されることとなる。すなわち、同文献に記載の技術では、音声データが１つのＪＰＥＧファイルに保存される保証が無いという課題がある。

【0008】

１つのＪＰＥＧファイルに係る写真の音声が、同ＪＰＥＧファイルに収まる保証がないということは、ネットワークを通じて写真をやり取りする際に不自由であるという課題がある。１０秒程度の音声データのサイズは概ね１００Ｋバイト余りであって、６４Ｋバイトを超えている。つまり、１０秒程度の音声を伴う静止画であっても、１つのファイルに静止画と音声データを収納できないことが生じ得るのである。

【0009】

そこで、本発明が解決しようとする課題、すなわち本発明の目的は、音声データを１つのＪＰＥＧ互換ファイルに確実に組み込むことができる画像音声記録再生装置とその記録再生機能を実現するプログラムを提供することにある。

【課題を解決するための手段】

【0010】

そこで、請求項１の発明を、コンピュータによってＪＰＥＧ互換の静止画像ファイルに音声データを組み込んで記録する画像音声記録機能を実現するプログラムであって、前記静止画ファイルのヘッダ内部のアプリケーションセグメント末尾後と量子化テーブルの開始前の間に音声領域を確保して前記音声データを記録するプログラム、若しくは、前記静止画ファイルの画像データ記録領域末尾に続いて前記音声領域を確保して前記音声データを記録するプログラムにして、前記音声領域には、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、前記音声データである音声データ列と、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカの順序で記録されることを特徴とする画像音声記録機能を実現するプログラムとしたことにより、上記課題を解決した。

【0011】

また、請求項２の発明を、請求項１に記載の画像音声記録機能を実現するプログラムをインストールしたコンピュータにおいて、前記音声データ列として、複数のチャンネル音声データ列を有していることを特徴とする画像音声記録機能を実現するプログラムとしたことにより、上記課題を解決した。

【0012】

請求項３の発明を、請求項１又は請求項２に記載の画像音声記録機能を実現するプログラムをインストールしたコンピュータにおいて、前記コンピュータはカメラとマイクとコマンド入力手段とメモリ及を有しており、前記コマンド入力手段はタッチパネル若しくはキーボード若しくはマウス若しくはジョイスティックで構成されており、前記メモリ内には所定の容量であるエンドレス記録領域が設けられていて、前記コンピュータが前記マイクから入力された音声データを記録するにあたっては、前記エンドレス記録領域の上位アドレスから下位アドレスまで前記音声データを順次記録して、更に逐次入力される音声データに対して、前記上位アドレスから前記下位アドレスまで順次上書き記録を繰り返すエンドレス記録を継続する構成にして、前記コマンド入力手段によって、前記コンピュータが静止画撮影モードに設定されたときから前記エンドレス記録が開始され、前記カメラが備えるシャッタが押されてから所定の時間経過後に前記エンドレス記録を終了することを特徴とする画像音声記録機能を実現するプログラムとしたことにより、上記課題を解決した。

【0013】

請求項４の発明を、請求項３に記載の画像音声記録機能を実現するプログラムをインストールしたコンピュータにおいて、前記音声領域には、音声開始マーカと音声チャンネル開始マーカの間に、メタデータ開始マーカとメタデータ末尾マーカで挟んだメタデータ列が書き込まれ、若しくは、音声チャンネル末尾マーカと音声末尾マーカの間に、メタデータ開始マーカとメタデータ末尾マーカで挟んだメタデータ列が書き込まれ、前記メタデータ列には、前記音声データの記録長さが録音時間として含まれ、前記音声データの開始から前記シャッタが押されるまでの時間がシャッタ押しタイミングとして含まれることを特徴とする画像音声記録機能を実現するプログラムとしたことにより、上記課題を解決した。

【0014】

請求項５の発明を、コンピュータによってＪＰＥＧ互換の音声付静止画ファイルに対する画像音声再生機能を実現するプログラムであって、ＪＰＥＧ互換の音声付静止画ファイル内に、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカが記録されているときは、前記音声チャンネル開始マーカと、前記音声チャンネル末尾マーカの間のデータを、音声データ列として音声再生すると共に、前記ＪＰＥＧ互換の音声付静止画ファイルに格納の静止画を再生することを特徴とする画像音声再生機能を実現するプログラムとしたことにより、上記課題を解決した。

【0015】

請求項６の発明を、請求項５に記載の画像音声再生機能を実現するプログラムをインストールしたコンピュータにおいて、ＪＰＥＧ互換の音声付静止画ファイル内に、メタデータ開始マーカと、メタデータ末尾マーカで挟んだメタデータ列が書き込まれていた場合であって、前記メタデータ列には、音声データの記録長さが録音時間として含まれ、前記音声データの開始からシャッタが押されるまでの時間がシャッタ押しタイミングとして含まれている場合には、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている音声をスピーカで発声し、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている静止画を表示するに際しては、該静止画をディスプレイに表示し、前記シャッタ押しタイミング経過時に、再生された画像の輝度を一時的に変化させたり、シャッタ擬音を鳴らしたり、若しくは、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている音声をスピーカで発声すると共に、前記静止画のデフォーカス画像、モノクロ画像、低コントラスト画像若しくは低解像度画像といった加工画像を前記ディスプレイに表示し、前記シャッタ押しタイミング経過後に、前記ＪＰＥＧ互換の音声付静止画ファイルに組み込まれている静止画を前記ディスプレイに表示したりすることを特徴とする画像音声再生機能を実現するプログラムとしたことにより、上記課題を解決した。

【0016】

そこで、請求項７の発明を、ＪＰＥＧ互換の静止画像ファイルに音声データを組み込んで記録する画像音声記録装置であって、前記静止画ファイルのヘッダ内部のアプリケーションセグメント末尾後と量子化テーブルの開始前の間に音声領域を確保して前記音声データを記録する装置、若しくは、前記静止画ファイルの画像データ記録直後に前記音声領域を確保して前記音声データを記録する装置にして、前記音声領域には、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、前記音声データである音声データ列と、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカの順序で記録されることを特徴とする画像音声記録装置としたことにより、上記課題を解決した。

【0017】

請求項８の発明を、請求項７に記載の画像音声記録装置において、前記画像音声記録装置はカメラとマイクとコマンド入力手段とメモリ及びＣＰＵを有しており、前記コマンド入力手段はシャッタ、タッチパネル若しくはキーボード若しくはマウス若しくはジョイスティックで構成されており、前記ＣＰＵは前記メモリに記憶されたプログラムに従って演算を実行することにより、前記カメラと前記マイクと前記コマンド入力手段及び前記メモリを制御する構成にして、前記メモリ内には所定の容量であるエンドレス記録領域が設けられていて、前記ＣＰＵが前記マイクから入力された音声データを記録するにあたっては、前記エンドレス記録領域の上位アドレスから下位アドレスまで前記音声データを順次記録して、更に逐次入力される前記音声データに対して、前記上位アドレスから前記下位アドレスまで順次上書き記録を繰り返すエンドレス記録を継続する構成にして、前記コマンド入力手段によって、前記画像音声記録装置が静止画撮影モードに設定されたときから前記エンドレス記録が開始され、前記カメラが備えるシャッタが押されてから所定の時間後に前記エンドレス記録を終了することを特徴とする画像音声記録装置としたことにより、上記課題を解決した。

【0018】

請求項９の発明を、請求項７又は請求項８に記載の画像音声記録装置において、ネットワーク通信手段を備えて、前記音声データが組み込まれたＪＰＥＧ互換ファイルを、前記ネットワークを通じて送信する構成を有することを特徴とする画像音声記録装置としたことにより、上記課題を解決した。

【0019】

請求項１０の発明を、ＪＰＥＧ互換の静止画ファイルを再生する画像音声再生装置であって、ＪＰＥＧ互換の音声付静止画ファイル内に、音声領域先頭を示す音声領域先頭マーカと、音声データ開始を示す音声開始マーカと、音声チャンネル開始を示す音声チャンネル開始マーカと、音声チャンネル末尾を示す音声チャンネル末尾マーカと、音声データ末尾を示す音声末尾マーカが記録されているときは、前記音声チャンネル開始マーカと、前記音声チャンネル末尾マーカの間のデータを、音声データ列として音声再生すると共に、前記ＪＰＥＧ互換の音声付静止画ファイルに格納の静止画を再生することを特徴とする画像音声再生装置としたことにより、上記課題を解決した。

【0020】

請求項１１の発明を、請求項１０に記載の画像音声再生装置において、ネットワーク通信手段を備えて、前記音声データが組み込まれたＪＰＥＧ互換ファイルを、前記ネットワークを通じて受信する構成を有することを特徴とする画像音声再生装置としたことにより、上記課題を解決した。

【発明の効果】

【0021】

請求項１に係る発明は、容量制限のない領域に音声データを組み込んでいるので、音声データを確実に１つのＪＰＥＧ互換ファイルに組み込むことができるという効果がある。請求項２に係る発明は、１のＪＰＥＧ互換ファイルに２以上のチャンネルの音声データを組み込むことができる効果がある。請求項３に係る発明は、１のＪＰＥＧ互換ファイルに、撮影時に取得した音声データが組み込めるという効果がある。

【0022】

請求項４に係る発明は、ＪＰＥＧ互換ファイルの圧縮画像を記録すると共に、同ファイルに係る静止画の撮影に際してのシャッタ押しタイミングを記録することができるという効果がある。請求項５に係る発明は、音声を組み込んだＪＰＥＧ互換ファイルから静止画と音声を再生することができるという効果がある。請求項６に係る発明は、静止画と音声を再生するに当たり、シャッタが押されたタイミングを視覚的若しくは聴覚的に再現することができるという効果がある。

【0023】

請求項７に係る発明は、容量制限のない領域に音声データを組み込んでいるので、音声データを確実に１つのＪＰＥＧ互換ファイルに確実に組み込むことができるという効果がある。請求項８に係る発明は、１のＪＰＥＧ互換ファイルに、撮影時に取得した音声データが組み込めるという効果がある。請求項９に係る発明は、音声データを組み込んだ１のＪＰＥＧ互換ファイルをネットワーク通信によって送信することができるという効果がある。

【0024】

請求項１０に係る発明は、音声を組み込んだＪＰＥＧ互換ファイルから静止画と音声を再生することができるという効果がある。請求項１１に係る発明は、ネットワーク通信によって受信した音声付ＪＰＥＧ互換ファイルから、静止画と音声を再生することができるという効果がある。

【図面の簡単な説明】

【0025】

【図1】（Ａ）は本発明に係る画像音声記録機能又は画像音声再生機能を実現するプログラムをインストールしたコンピュータが、静止画と音声データをＪＰＥＧ互換ファイルとして記録し、又は再生するときに用いるＪＰＥＧ互換ファイルの構成を示す図、（Ｂ）は同ファイル構成が含む音声領域データの構成を示す図である。

【図2】は本発明に係る画像音声記録機能又は画像音声再生機能を実現するプログラムをインストールしたコンピュータが、静止画と音声データをＪＰＥＧ互換ファイルとして記録し、又は再生するときに用いるＪＰＥＧ互換ファイルの中の音声領域データを示す図であって、（Ａ）は音声開始マーカと音声チャンネル開始マーカの間にメタデータを含む場合の図、（Ｂ）は音声チャンネル末尾マーカと音声末尾マーカの間にメタデータを含む場合の図である。

【図3】は本発明に係る画像音声記録機能又は画像音声再生機能を実現するプログラムをインストールしたコンピュータが、静止画と音声データをＪＰＥＧ互換ファイルとして記録し、又は再生するときに用いるＪＰＥＧ互換ファイルの中の音声領域データを示す図であって、メタデータと２以上のチャンネル音声データを含む場合の図である。

【図4】は本発明の第１実施形態の画像音声記録再生機能を実現する装置の例を示す図である。

【図5】は本発明に係るＪＰＥＧ互換ファイルに、音声データの開始からシャッタを押すまでのミリ秒数が含まれる場合の、同ファイルに組み込まれている音声の発声タイミングと、同ファイルに組み込まれている画面の表示例を示す図であって、（Ａ）はデフォーカス画像が表示されている画面がシャッタ押しタイミングと共に本来の静止画（原画）が表示される例、（Ｂ）は低解像度画像（モザイク画像ともいう）が表示されている画面がシャッタ押しタイミングと共に本来の静止画（原画）が表示される例、（Ｃ）は始めから本来の静止画（原画）が表示されていて、シャッタ押しタイミング時だけ一瞬高輝度静止画が表示される例を示す図である。

【図6】は本発明の第２実施形態に係る、画像音声記録機能を実現するプログラムの処理フローを示す図である。

【図7】はは本発明の第３実施形態に係る、画像音声再生機能を実現するプログラムの処理フローを示す図である。

【発明を実施するための形態】

【0026】

［ＪＰＥＧ互換ファイルの構成］
図１（Ａ）は本発明に係る画像音声記録再生機能を実現するプログラムをインストールしたコンピュータが、静止画と音声データをＪＰＥＧ互換ファイルとして記録し、又は再生するときに用いるＪＰＥＧ互換ファイルの構成を示す図である。一般的なＪＰＥＧファイルは、ＮＯ４とＮＯ９の行は存在せず、アプリケーションセグメントに続いて、量子化テーブルが存在し、画像データの末尾を表すＥＯＩマーカまでである。

【0027】

本発明の画像音声記録再生機能を実現するプログラムでは、ＮＯ４の行若しくはＮＯ９の行に音声関連データを記録する。一般的なＪＰＥＧ再生装置は、ＮＯ４の行若しくはＮＯ９の行に音声関連データを無視するため、ここに音声データが組み込まれていたとしても、該ＪＰＥＧファイルに格納されている静止画を再生することができる。

【0028】

図１（Ｂ）は、前記ＮＯ４の行若しくはＮＯ９の行に組み込むことができる音声関連データの構成を示している。ＮＯ４の位置はアプリケーションセグメント末尾の次に位置するものであり、ＮＯ９の位置は、画像データ記録領域末尾の次に位置するものである。音声関連データの構成をマーカ名で示すと、ＯＴＯＰ、ＯＴＯＰ￥０￥０、ＯＴＯＰＣＨ１ＳＴＡＲＴ￥０￥０、ＯＴＯＰＣＨ１ＥＮＤ￥０￥０、ＯＴＯＰＥＮＤ￥０￥０の順に記録されている。

【0029】

これらは、動作コンピュータのメモリ上では、「ＯＴＯＰ」は１６進表示で、例えば、ＦＦ０２なる値が記録されている。その他のマーカ名は対応するアスキーコードで記録されている。例えば、「ＯＴＯＰ￥０￥０」は、「４ｆ５４４ｆ５０５Ｃ３０５Ｃ３０」と記録されている。先の説明では、音声領域先頭マーカ「ＯＴＯＰ」をＦＦ０２としたが、これは単なる取り決めであって、画像音声記録装置と画像音声再生装置で整合が取れていればよい。整合さえ取れていれば、音声領域先頭マーカ「ＯＴＯＰ」として、ＦＦ０２〜ＦＦＢＦの数値を用いることができる。

【0030】

各マーカの意味を説明する。ＯＴＯＰは音声領域先頭を表す。ＯＴＯＰ￥０￥０は音声開始を表す。ＯＴＯＰＣＨ１ＳＴＡＲＴ￥０￥０は音声チャンネル１の開始を表す。ＯＴＯＰＣＨ１ＥＮＤ￥０￥０は音声チャンネル１の末尾を表す。ＯＴＯＰＥＮＤ￥０￥０音声データ末尾を表す。そして、同メモリ上において、マーカ「ＯＴＯＰＣＨ１ＳＴＡＲＴ￥０￥０」とマーカ「ＯＴＯＰＣＨ１ＥＮＤ￥０￥０」の間には、チャンネル１音声に相当する音声データ列が挿入されている。

【0031】

音声領域データには、該音声データに関連するメタデータを含めてもよい。図２に、メタデータを含む場合の音声領域データの例を示す。メタデータは音声開始マーカと音声チャンネル開始マーカの間に組み込むことができる。あるいは、音声チャンネル末尾マーカと音声末尾マーカの間にメタデータを組み込んでもよい。

【0032】

図２（Ａ）は、音声開始マーカと音声チャンネル開始マーカの間にメタデータを組み込んだ場合の図である。ＮＯ２：ＯＴＯＰ￥０￥０と、ＮＯ６：ＯＴＯＰＣＨ１ＳＴＡＲＴ￥０￥０の間にメタデータが挿入されている。該メタデータの前後は、マーカ「ＯＴＯＰＭＥＴＡＳＴＡＲＴ￥０￥０」とマーカ「ＯＴＯＰＭＥＴＡＥＮＤ￥０￥０」に挟まれている。マーカ名ＯＴＯＰＭＥＴＡＳＴＡＲＴ￥０￥０はメタデータ開始を表す。マーカ名ＯＴＯＰＭＥＴＡＥＮＤ￥０￥０はメタデータ末尾を表す。

【0033】

メタデータとして、例えば音声データの録音時間や、同ファイルに含まれるＪＰＥＧ仕様の静止画を撮影する際に押したシャッタ押しタイミングを記録してもよい。このシャッタ押しタイミングは、音声データの開始からシャッタを押すまでのミリ秒数でもよい。図２（Ｂ）は、音声チャンネル末尾マーカであるＮＯ８：ＯＴＯＰＣＨ１ＥＮＤ￥０￥０と、音声末尾マーカであるＮＯ９：ＯＴＯＰＥＮＤ￥０￥０の間にメタデータを組み込んだ場合の図である。この場所にメタデータを組み込んでもよい。「前記音声データの開始」に該当する音声データとは、上書きされずに残った音声データの最も古い音声データである。

【0034】

また、音声領域データには、複数の音声を含めてもよい。例えば２マイクによるステレオ録音の場合は２音声が含まれることになる。２音声を含む場合には、第１音声をチャンネル１音声と称し、第２音声をチャンネル２音声と称することができる。一般化して、自然数ｎとしたときに、ｎ個の音声を含む場合には、第ｎ音声をチャンネルｎ音声と称することができる。

【0035】

図３は、メタデータとチャンネル２音声を含む場合の音声領域データの例を示している。図３において、ＮＯ９：ＯＴＯＰＣＨ１ＥＮＤ￥０￥０と、ＮＯ１２：ＯＴＯＰＥＮＤ￥０￥０の間にチャンネル２音声に相当する音声データ列が挿入されている。該音声データ列の前後は、マーカ「ＯＴＯＰＣＨ２ＳＴＡＲＴ￥０￥０」とマーカ「ＯＴＯＰＣＨ２ＥＮＤ￥０￥０」に挟まれている。マーカ名ＯＴＯＰＣＨ２ＳＴＡＲＴ￥０￥０はチャンネル２音声の開始を表す。マーカ名ＯＴＯＰＣＨ２ＥＮＤ￥０￥０はチャンネル２音声の末尾を表す。

【0036】

［第１実施形態に係る装置］
図４に、本発明の第１実施形態として、画像音声記録再生機能を実現する装置の例を示す。この装置は汎用コンピュータで実現されるものであってもよいし、携帯端末で実現されるものであってもよい。以後、ＣＰＵと、メモリと、コマンド入力手段を有する携帯端末も単にコンピュータと称することがあるとする。同装置は各機能部を制御するＣＰＵ１と、各種の機能部例えば、メモリ２と、コマンド入力手段３と、カメラ５及びマイク４を有している。

【0037】

ＣＰＵ１がこれらの機能部を適切に制御することによって、少なくとも、画像音声記録機能を実現することができる。更に、ディスプレイ６とスピーカ７Ａ・７Ｂが追加された機器をＣＰＵ１が適切に制御することによって、画像音声記録再生機能を実現することができる。また、画像音声生成機能のみを実現する場合は、カメラ５とマイク４は必ずしも必要ではない。

【0038】

ＣＰＵ１は制御信号群１１を通じて、各機能部を制御する。すなわち、メモリ２と、コマンド入力手段３と、マイク４と、カメラ５と、ディスプレイ６及びスピーカ７Ａ・７Ｂを制御する。メモリ２はプログラム領域２１とワーク領域２２の２つの領域を有しており、ＣＰＵ１の動作手順を規定するプログラムはプログラム領域２１に記録されている。

【0039】

ＣＰＵ１はメモリ２の内容を読み込むことができて、少なくともワーク領域２２については、記録することもできる。コマンド入力手段３は同画像音声記録再生装置又は画像音声記録装置若しくは画像音声再生装置に対してユーザがコマンドすなわち、操作命令を入力する機器で、例えば、タッチパネル、キーボード、ジョイスティック若しくはマウスで実現される。

【0040】

マイク４は音声を収集してＡ／Ｄ変換をして、デジタルデータをワーク領域メモリ２２に書き込むものである。この動作を以後、録音動作とも称する。マイク４は、ＣＰＵ１に制御されて録音動作を開始し、終了するようにしてもよい。あるいは、後述のシャッタ５１の出力信号であるシャッタ信号５１１から所定時間の経過後に録音動作を終了するようにしてもよい。カメラ５は、シャッタ５１の出力信号であるシャッタ信号５１１により被写体の画像をＡ／Ｄ変換してデジタルデータとしてワーク領域メモリ２２に書き込む。この動作を以後撮影動作とも称する。

【0041】

［第１実施形態に係る装置の画像音声記録動作］
次に第１実施形態に係る装置の画像音声記録動作を説明する。同装置のユーザは、コマンド入力手段３を操作して、同装置を画像音声記録モードに切り替える。その情報はＣＰＵ１に伝わる。するとＣＰＵ１はマイク４を制御して、録音動作を開始させる。これは以下に説明するエンドレス録音である。

【0042】

ワーク領域メモリ２２内には所定の容量であるエンドレス記録領域が設けられている。同エンドレス記録領域にはアクセスするためのアドレスが設定されている。録音動作で生じたデジタルデータはこのアドレスの上位から下位まで順に記録されていく。そして、最下位アドレスまでデータが書き込まれた後は、再び最上位アドレスから上書き記録されていく。

【0043】

例えば、前記エンドレス記録領域に１５秒分の録音領域が設けられているとすると、１５秒以内の音声であれば、全てが記録される。１５秒を超える録音の場合は、最新の１５秒分が記録され、それ以前の分は上書きによって失われる。以上の録音方式をエンドレス録音と称することとする。

【0044】

ユーザが同装置を画像音声記録モードにすることで、上記エンドレス録音が継続中である。このとき、ユーザがシャッタ５１を押すと、カメラ５が静止画を取得してデジタルデータとしてワーク領域メモリ２２に記録される。ユーザがシャッタ５１を押したことは、シャッタ信号５１１によってカメラ５に伝わる。このシャッタ信号５１１はマイク４にも入力されていて、該シャッタ信号５１１の受信から既設定されている時間Ｔ秒後に前記エンドレス録音が終了される。

【0045】

例えば、Ｔ＝１０であると、シャッタ５１が押されてから、１０秒後にエンドレス録音が終了されることとなる。エンドレス録音の全体が１５秒であるとすると、シャッタ５１が押される５秒前から、該シャッタ５１が押された後１０秒間の音声が前記エンドレス記録領域に記録されたことになる。

【0046】

以上の説明では、シャッタ信号５１１がマイク４に入力されていたが、該シャッタ信号５１１はＣＰＵ１に導入されていてもよい。この場合、ＣＰＵ１が、シャッタ５１の押されたタイミングを検出し、それからＴ秒後にＣＰＵ１がマイク４を制御して前記エンドレス録音を終了させることになる。この場合でも、シャッタ５１が押される５秒前から、該シャッタ５１が押された後１０秒間の音声が前記エンドレス記録領域に記録されることになる。

【0047】

更にＣＰＵ１は、ワーク領域メモリ２２に記録された画像データをＪＰＥＧ仕様として、図１（Ａ）に示すデータの中、ＮＯ１〜ＮＯ３、及びＮＯ５〜ＮＯ８のデータに変換する。また、ワーク領域メモリ２２内の前記エンドレス記録領域の音声データは、図１（Ｂ）のＮＯ１〜ＮＯ６のデータに変換する。特に、ＮＯ４の音声データ列については、ＭＰ３やＷＡＶ等、その他の周知な音声データ仕様で変換すればよい。このようにして、ＣＰＵ１により、ワーク領域メモリ２２に記録された画像データと音声データがＪＰＥＧ互換ファイルに変換される。

【0048】

前記ＪＰＥＧ互換ファイルには、図２で説明したように、メタデータを含めることができる。図２において、ＮＯ３〜ＮＯ５がメタデータに係る内容であって、ＮＯ４にメタデータ情報が組み込まれる。メタデータとして、前記音声データ列が採る音声データ形式、例えば、ＭＰ３やＷＡＶ等、その他の周知な音声データ仕様のいずれかを表す情報を組み込んでもよい。

【0049】

その他、音声データの録音時間や、同ファイルに含まれるＪＰＥＧ仕様の静止画を撮影する際に押したシャッタ押しタイミングを記録してもよい。このシャッタ押しタイミングは、音声データの開始からシャッタを押すまでのミリ秒数でもよい。以上が、第１実施形態に係る装置の画像音声記録動作である。

【0050】

［第１実施形態に係る装置の画像音声再生動作］
次に第１実施形態に係る装置の画像音声再生動作を説明する。同装置のユーザは、コマンド入力手段３を操作して、同装置を画像音声再生モードに切り替える。その上で、前記ユーザは、再生すべきＪＰＥＧ互換ファイルを選択する。再生すべきＪＰＥＧ互換ファイルは、同装置で作成したファイルでもよいし、例えば、通信機能部８を介して、他の装置から受信したものでもよい。図４には図示されていないが、その他ＵＳＢインタフェースその他のインタフェースを用いて他の機器から受信したものでもよい。

【0051】

ＣＰＵ１は、選択されたＪＰＥＧ互換ファイルをワーク領域メモリ２２に展開して再生動作を開始する。再生に際してＣＰＵ１は、図１（Ａ）の左欄に記載の、ＮＯ１〜ＮＯ３、ＮＯ５〜ＮＯ８のマーカ値及びこれに係る量子化テーブルと、ハフマンテーブル及び画像データ列を参照して、通常のＪＰＥＧファイルとしての画像再生動作を進める。このＪＰＥＧファイルとして再生された画像は、原画像と称することもある。

【0052】

本発明の画像音声記録装置は、後記する画像と音声の同期再生に際して表示する加工画像を作成することもできる。加工画像は、例えば、デフォーカス画像、低コントラスト画像、モノクロ画像若しくは高輝度画像である。これらは、前記通常のＪＰＥＧファイルとしての画像再生動作において、メモリ２のワーク領域２２に展開される画像データの画像処理を加えて加工されるものである。

【0053】

例えば、モノクロ画像は、カラー画像の中の輝度信号Ｙのみで画像を形成してモノクロ画像とすることができる。または、ワーク領域２２にＲＧＢ形式でカラー画像が保存されている場合には、各画素におけるＲとＧ及びＢの値を加重平均して輝度信号としてもよい。例えば、Ｇ値の重みを多くして、Ｙ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ等の式で輝度値Ｙを算出することができる。輝度値Ｙで画像を作れば、明暗情報のみのモノクロ画像になる。

【0054】

また、輝度値Ｙのみを強くしたカラー画像は高輝度画像になる。あるいは、ＲＧＢの値をそれぞれ２．０倍などの倍数をかけて、例えば８ビット上限である２５５を超える場合には２５５にクリッピングするなどして高輝度画像とすることもできる。デフォーカス画像はＪＰＥＧファイルとして再生された原画像に対して、２次元のガウス関数を畳み込み積分して作成することができる。前記ガウス関数の広がりが大きいほどデフォーカスの強い、つまりボケた画像となる。

【0055】

低解像度画像は例えば、次のように得ることができる。例えば、１２８０×９６０画素からなる原画像を４０×３０個のブロックに分割する。そうすると、各ブロックには３２×３２画素が含まれることとなるが、この３２×３２画素の平均値で、そのブロックに含まれる全画素（３２×３２個）の値を置き換えた画像を作る。これが低解像度画像になっている。また、低コントラスト画像はある範囲の輝度値を１つの輝度値に置き換えて輝度の微妙な変化を失わせた画像として加工する。

【0056】

ＣＰＵ１は、図１（Ａ）左欄に記載の、ＮＯ４又はＮＯ９の位置に、マーカ名ＯＴＯＰ（マーカ値はＦＦ０２）を検出すると、同マーカの位置から、マーカ名ＯＴＯＰＥＮＤ￥０￥０までのデータを、音声領域データと見なして、音声データの再生動作も進める。ＣＰＵ１は、ＪＰＥＧ互換ファイル内にマーカ名ＯＴＯＰＭＥＴＡＳＴＡＲＴ￥０￥０と、マーカ名ＯＴＯＰＭＥＴＡＥＮＤ￥０￥０を検出すると、その間のデータをメタデータ情報と認識する。

【0057】

ＣＰＵ１は、図１（Ｂ）の左欄に記載のＮＯ３とＮＯ５若しくは、図２（Ａ）（Ｂ）の左欄に記載のＮＯ６とＮＯ８のように、マーカ名ＯＴＯＰＣＨ１ＳＴＡＲＴ￥０￥０と、マーカ名ＯＴＯＰＣＨ１ＥＮＤ￥０￥０を検出すると、その間のデータを音声データ列と見なして音声再生をし、スピーカ７Ａ・７Ｂを発声、つまり、鳴らす。

【0058】

音声データ形式は、ＭＰ３やＷＡＶを始めとして、公知である音声ファイル形式を用いることができる。ただし、前記音声データ列に該音声形式を示すマークが付されていて、ＣＰＵ１が利用できるプログラムライブラリに該音声形式の再生ソフトが含まれている必要がある。

【0059】

前記ＪＰＥＧ互換ファイルのマーカ名ＯＴＯＰとマーカ名ＯＴＯＰＥＮＤ￥０￥０の間に、複数の音声データが含まれることがある。例えば、録音時にｎ（自然数）個のマイクによって音声が収録された場合である。このような場合には、前記ＪＰＥＧ互換ファイル内には、ｎ個の音声データ列が、マーカ名ＯＴＯＰＣＨ（Ｚ）ＳＴＡＲＴ￥０￥０と、マーカ名ＯＴＯＰＣＨ（Ｚ）ＥＮＤ￥０￥０に挟まれて存在している。ここで、（Ｚ）は１、２、…、ｎなる数値が入る。ＣＰＵ１は、これらのマーカ名によって、ｎ個の音声データ列を検出し、スピーカ７Ａ・７Ｂが仕様上可能であれば、この音声を発声する。

【0060】

［画像と音声の同期再生］
本発明の画像音声記録再生装置は、画像と音声を同期して再生することもできる。以下、画像と音声の同期再生の例を説明する。前記ＪＰＥＧ互換ファイルに含まれる静止画と音声は同時に再生してもよい。また、前記ＪＰＥＧ互換ファイルのメタデータとして、音声データの開始からシャッタを押すまでのミリ秒数が記録されている場合には、音声再生に関連して、静止画の再生方法に変化を持たせることができる。この例を幾つか図５で説明する。

【0061】

説明の前提として、前記エンドレス録音において、上書きされずに記録されている音声で最も古い音声データが再生開始時の音声であるとする。そして、音声データの再生開始時からシャッタを押すまでのミリ秒数をＴ０、シャッタ押から録音終了までのミリ秒数をＴとする。したがって、エンドレス録音において、記録可能な録音時間はＴ０＋Ｔ（＝ＴＡ）ミリ秒ということになる。音声再生開始時を基準として時系列で説明する。該音声は再生開始後、Ｔ０＋Ｔ（＝ＴＡ）ミリ秒後に再生が終了する。これは、Ｔ０＋Ｔミリ秒間の音声を繰り返し再生することも可能である。

【0062】

図５（Ａ）に示すのは静止画の表示の仕方の一例である。前記ＪＰＥＧ互換ファイルに組み込まれていた静止画からデフォーカス画像（ピンボケ画像）を作成して、音声の再生と共にこれをディスプレイ６に表示する。そして、Ｔ０ミリ秒経過後に前記前記ＪＰＥＧ互換ファイルに組み込まれていた本来の静止画を表示する表示方法である。このデフォーカス画像から本来の静止画への表示切り替えと同時にシャッタ音の擬音を発生させてもよい。本来の静止画とはＪＰＥＧ画像として再生した原画である。

【0063】

または、図５（Ｂ）に示すように、本来の静止画から低解像度画像を作成して、音声の再生と共にこれを表示する。そして、Ｔ０ミリ秒経過後に本来の静止画を表示する表示方法である。その他、音声再生と同時に低コントラスト画像若しくはモノクロ画像を表示しておいて、Ｔ０ミリ秒経過後に本来の静止画をディスプレイ６に表示してもよい。

【0064】

または、図５（Ｃ）に示すように、音声の再生と共に本来の静止画を表示し、Ｔ０ミリ秒経過時に一瞬だけ高輝度加工した高輝度画像をディスプレイ６に表示させてもよい。加工画像としては、その他、原画を回転させたり、縮小したり、拡大してその一部を表示させたり、その他様々な周知な画像処理によって得られる画像をＴ０ミリ秒経過前に表示してもよい。

【0065】

ここまで、音声データの再生開始時を基準に説明してきた。ところが、同画像音声記録装置のＣＰＵ１が実際に把握できるのはシャッタ５１が押された時間である。押された時間はシャッタ信号５１１の到達によって知ることができる。また、シャッタ押しからエンドレス録音終了までのミリ秒Ｔと、エンドレス録音の全ミリ秒数ＴＡは予め設定されている。したがって、実際にはＴ０はＴＡ−Ｔによって算出される。そして、ＣＰＵ１は、シャッタ５１が押された時間を基準として、これからＴ０ミリ秒だけ遡ることで、前記音声データの再生開始時を把握することとなる。以上が、第１実施形態に係る装置の画像音声再生動作である。

【0066】

［第２実施形態］
本発明の第２実施形態として、コンピュータ若しくは第１実施形態のＣＰＵ１で画像音声記録機能を実現するプログラムの例を、図６を参照しながら示す。コンピュータやＣＰＵ１が起動時に行うセルフチェック動作、その他、これらの機器が通常行う動作は、説明上省略し、画像音声記録機能に係る処理フローのみを説明する。スタート後にＣＰＵ１が最初に行うのは、コンピュータ若しくはＣＰＵ１を搭載した画像音声記録装置が撮影モードに設定されているか否かをチェックする（ｓｔｐ１）。そこで、撮影モードに設置されていれば、条件分岐ｓｔｐ１は‘真’となり、ｓｔｐ２へ進む。一方、‘偽’の場合は、再びｓｔｐ１に戻る。あるいは、図示はされていないが、画像音声記録に係る以外の動作をする。

【0067】

ｓｔｐ２において、エンドレス録音を開始する。これは所定の記録容量の中で、上書き記録を繰り返す記録動作である。この間、ＣＰＵ１は、シャッタ信号の有無をチェックする（ｓｔｐ３）。そして、シャッタ信号がある場合は‘真’として、ｓｔｐ４に進み、無い場合は‘偽’としてｓｔｐ３のチェックを継続する。勿論この間は、エンドレス録音は継続中である。ｓｔｐ４では静止画像を記録する。これはカメラでデジタル写真を撮影して、ワーク領域メモリ２２に記録することを意味する。

【0068】

次いで、前記シャッタ信号があったときから時間Ｔが経過したか否かをチェックする（ｓｔｐ５）。これは、前記エンドレス録音を開始してから、時間Ｔ０＋Ｔが経過したか否かをチェックしてもよい。経過していない場合は‘偽’としてｓｔｐ５のチェックを継続し、経過している場合は前記エンドレス録音を終了する（ｓｔｐ６）。尚、図６の処理フローにおいて、丸Ａは単にフローの接続を示している。以上、ｓｔｐ２からｓｔｐ６までで、撮影と録音を完了する。この時点で、音声データと静止画データはメモリ上に記録されている。

【0069】

次いで、ｓｔｐ７〜ｓｔｐ１１で、ＪＰＥＧ互換ファイルを作成する。まず、前記メモリに記録されている静止画データをＪＰＥＧ仕様のデータに変換して前記ＪＰＥＧ互換ファイルに組み込む（ｓｔｐ７）。これは、図１（Ａ）において、左欄に記載のＮＯ１〜ＮＯ３と、ＮＯ５〜ＮＯ８のデータを整えることにあたる。次に音声領域先頭マーカＯＴＯＰと音声開始マーカＯＴＯＰ￥０￥０を、図１（Ａ）の左欄ＮＯ４またはＮＯ９に組み込む（ｓｔｐ８）。

【0070】

次いで、メタデータを組み込む（ｓｔｐ９）。次いで必要なチャンネル数分だけ音声データを組み込む（図２と図３参照）（ｓｔｐ１０）。最後に音声末尾マーカＯＴＯＰＥＮＤ￥０￥０を書き込んで、前記ＪＰＥＧ互換ファイルの作成は完了する（ｓｔｐ１１）。このようにして、前記メモリ上に前記ＪＰＥＧ互換ファイルが得られる。以上、図６を参照して、画像音声記録機能を実現するプログラムの処理フローを説明した。ここでは、撮影モードの入りながらも撮影しなかったなどの、ユーザが取りがちな行動に対処する細かな処理ルーチンは周知なルーチンであるから、その説明を省いた。

【0071】

［第３実施形態］
本発明の第３実施形態として、コンピュータ若しくは第１実施形態のＣＰＵ１で画像音声再生機能を実現するプログラムの例を、図７を参照しながら示す。コンピュータやＣＰＵ１が起動時に行うセルフチェック動作、その他、これらの機器が通常行う動作は、説明上省略し、画像音声再生機能に係る処理フローのみを説明する。スタート後にＣＰＵ１が最初に行うのは、ユーザが再生すべきＪＰＥＧファイル若しくはＪＰＥＧ互換ファイルを選択しているか否かのチェックである（ｓｔｅ１）。ファイルが選択されていれば‘真’としてｓｔｅ２へ進み、選択されていなければ‘偽’として、選択されるまで待機する。

【0072】

ｓｔｅ２では、ＪＰＥＧ仕様の圧縮画像を復号して、メモリ内に展開する。先に説明したように、シャッタ押しタイミングに表示画像を変化させる場合には、このときに、デフォーカス画像、低解像度画像、高輝度画像、低コントラスト画像その他の加工画像を作成して前記メモリ内に保持しておくことができる。あるいは、ここで作成しなくても、「シャッタ押しタイミング」に係るメタデータが記録されていることを確認してからこれらの加工画像を作成してもよい。この場合は、後記のｓｔｅ１３で作成することとなる。

【0073】

次いで、音声領域開始マーカであるＯＴＯＰマークを検出する（ｓｔｅ３）。検出できない場合は、ユーザが選択したファイルは音声を含まない従来のＪＰＥＧファイルであるから、単に、復号静止画をディスプレイ等に画像表示する（ｓｔｅ９）。画像表示後は、ユーザが画像の再生の指示があるまで待機し、終了指示があれば、‘真’として表示を終了する（ｓｔｅ１０）。ｓｔｅ３にてＯＴＯＰマークが検出されれば、‘真’としてｓｔｅ４に進んで、メタデータを検出する。メタデータが検出できなければ‘偽’としてｓｔｅ６へ進む。

【0074】

ｓｔｅ４で、ＯＴＯＰＭＥＴＡＳＴＡＲＴ￥０￥０とＯＴＯＰＭＥＴＡＥＮＤ￥０￥０及びその間のメタデータが検出されれば‘真’としてメタデータを読込む（ｓｔｅ５）。次いで、音声開始マーカＯＴＯＰ￥０￥０を読込む（ｓｔｅ６）。更に、ｓｔｅ７で音声チャンネル開始マーカが検出できたなら‘真’としてチャンネル音声データを読込む（ｓｔｅ８）。ｓｔｅ７とｓｔｅ８でチャンネル音声データを全て読込み、ｓｔｅ７で、もはや音声チャンネル開始マーカを検出することができない場合は‘偽’としてｓｔｅ１１に進む。ｓｔｅ１１で音声末尾マーカＯＴＯＰＥＮＤ￥０￥０を読込んで、音声データの取得が完了する。ここで、丸Ｂは処理フローの接続を示すものである。

【0075】

次にｓｔｅ５で読込んだメタデータに「シャッタ押しタイミング」が記録されているか否かをチェックする（ｓｔｅ１２）。記録されていない場合は、偽として、ｓｔｅ１９で音声を再生しスピーカで発声を開始してからＪＰＥＧとして格納されていた画像を再生する（ｓｔｅ１７）。一方、「シャッタ押しタイミング」が記録されている場合は、真として、加工画像を作成する（ｓｔｅ１３）。そして、如何ファイルに格納されていた音声を再生してスピーカへの発声を開始し（ｓｔｅ１４）、加工画像をディスプレイに表示する（ｓｔｅ１５）。

【0076】

そして、音声を発声してから経過した時間を計数し、シャッタ押しタイミングが経過したか否かをチェックする（ｓｔｅ１６）。経過していなければ、偽としてｓｔｅ１６に留まり、加工画像表示の状態を維持する。一方経過していれば、ＪＰＥＧとして格納されていた画像を再生する（ｓｔｅ１７）。このようにすると、図５でも説明したように、音声の発声と共に、例えばデフォーカス画像がディスプレイに表示され、シャッタ押しのタイミングと共に本来の静止画が前記ディスプレイに表示されることとなる。

【0077】

シャッタ押しタイミング時にのみ高輝度画像を表示する場合は、先のｓｔｅ１５で本来の静止画を表示し、ｓｔｅ１７において所定のミリ秒数だけ高輝度画像を表示し、その後本来の静止画を前記ディスプレイに表示すればよい。これで、シャッタ押しタイミング時のみ光る画像を表示することができる。最後に、ユーザによる画像と音声の再生終了指示があれば‘真’として、画像表示と音声発声を終了する（ｓｔｅ１８）。以上が、画像音声再生機能を実現するプログラムの例である。ここでは、選択したファイルが壊れていたときの対処処理など周知な処理の説明は省いた。

【0078】

以上説明した本発明の第１実施形態に係る画像音声記録機能を実現する装置と、第２実施形態に係るプログラムをインストールしたコンピュータやその他の携帯電子機器は、音声データを、確実に１つのＪＰＥＧ互換ファイルに組み込むことができるという効果がある。それは、音声データを、静止画ファイルのヘッダ内部のアプリケーションセグメント末尾後と量子化テーブルの開始前の間といった、容量制限のない領域に音声領域を確保して前記音声データを記録するから実現できることである。或いは、前記静止画ファイルの画像データ記録領域に続句領域といった、容量制限のない領域に音声領域を確保して前記音声データを記録するから実現できることである。

【0079】

また、本発明の第１実施形態に係る同装置と、第２実施形態に係るプログラムをインストールしたコンピュータやその他の携帯電子機器のメモリ内に、エンドレス録音領域を設けて、静止画撮影用のシャッタを押す前からエンドレス録音を開始する。そして、前記シャッタ押しタイミングから所定時間経過後に前記エンドレス録音を終了するので、撮影した静止画と同期して音声を記録することができる。更に、音声データ開始からシャッタを押すまでのミリ秒数Ｔ０をメタデータとして記録することもできる。

【0080】

以上説明した本発明の第１実施形態に係る画像音声再生機能を実現する装置と、第３実施形態に係るプログラムをインストールしたコンピュータやその他の携帯電子機器であって、ディスプレイとスピーカを備えた機器は、音声が組み込まれた、１つのＪＰＥＧ互換ファイルから静止画と音声データの双方を同時に再生してディスプレイに表示し、スピーカで発声することができる。

【0081】

また、ＪＰＥＧ互換ファイルに、メタデータとして、音声データ開始からシャッタを押すまでのミリ秒数Ｔ０が記録されている場合には、音声と静止画を発声及び表示するに際して、前記シャッタの押されたタイミングでシャッタ擬音を発声したり、同タイミングの前後で同静止画の表示の仕方を変化させたりすることができる。

【0082】

また第１実施形態に係る装置のように、前記ＪＰＥＧ互換ファイルの記録と再生ができる装置の場合は、同装置で記録作成した前記ＪＰＥＧ互換ファイルの音声と静止画を再生して確認することができる。この際、１ファイルを開くだけで、静止画表示と音声の発声をさせることができる効果がある。マイク４と、カメラ５と、ディスプレイ６及びスピーカ７Ａ・７Ｂを備えたコンピュータに第２実施形態に係るプログラム（記録機能）と、第３実施形態に係るプログラム（再生機能）をインストールしても同様の効果が得られる。

【0083】

第１実施形態に係る装置及び、第２実施形態に係る画像音声記録機能を実現するプログラムをインストールしたコンピュータにマイク４とカメラ５と通信機能部８を備えれば、音声を組み込んだ前記ＪＰＥＧ互換ファイルをネットワーク通信によって、他の端末に送ることができる。或いは、第１実施形態に係る装置及び、第３実施形態に係る画像音声記再生機能を実現するプログラムをインストールしたコンピュータにディスプレイ６とスピーカ７Ａ・７Ｂと通信機能部８を備えれば、他の端末からネットワーク通信によって送信された前記ＪＰＥＧ互換ファイルの画像と音声を再生することができる。このようにネットワーク通信を介して他の端末同士で、ファイルをやり取りする場合、前記ＪＰＥＧ互換ファイルは、１つのファイルで画像と音声を扱うことができるので便利である。

【0084】

第３実施形態に係る画像音声記再生機能を実現するプログラムをインストールしたコンピュータに通信機能部を備えた端末を有する業者が、注文主からネットワーク通信を介して音声付ＪＰＥＧ互換ファイルを受信し、併せて注文を受けた場合には、前記業者は、前記音声付ＪＰＥＧ互換ファイルの音声を発生するように構成したメモリとスピーカを備えたカードに、前記音声付ＪＰＥＧ互換ファイルの静止画を印刷してグリーティングカードとし、前記注文主に発送する事業をすることができる。このように静止画と音声データをネットワーク通信するに際してもファイルが１つであるということは便利である。

【符号の説明】

【0085】

１…ＣＰＵ、１１…制御信号群、２…メモリ、２１…プログラム領域メモリ、
２２…ワーク領域メモリ、３…コマンド入力手段、４…マイク、５…カメラ、
５１…シャッタ、５１１…シャッタ信号、６…ディスプレイ、７Ａ、７Ｂ…スピーカ、
８…通信機能部、Ｔ０…音声データの開始からシャッタを押すまでのミリ秒数、
Ｔ…シャッタ押しからエンドレス録音終了までのミリ秒数、
ＴＡ…エンドレス録音の全ミリ秒数。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】