特許 5962200 撮像装置、撮像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5962200

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】撮像装置、撮像処理方法

(51)【国際特許分類】

   H04N 21/2387 20110101AFI20160721BHJP

   H04N 21/2743 20110101ALI20160721BHJP

   H04N 5/225 20060101ALI20160721BHJP

【ＦＩ】

   H04N21/2387

   H04N21/2743

   H04N5/225 F

【請求項の数】17

【全頁数】26

(21)【出願番号】特願2012-115604(P2012-115604)

(22)【出願日】2012年5月21日

(65)【公開番号】特開2013-243531(P2013-243531A)

(43)【公開日】2013年12月5日

【審査請求日】2015年4月23日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】奈良 和也

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００６−１１５１８４（ＪＰ，Ａ）

【文献】 特開２００６−０７４２４２（ＪＰ，Ａ）

【文献】 特開２００２−２７１６６７（ＪＰ，Ａ）

【文献】 特開平１０−２９４９３８（ＪＰ，Ａ）

【文献】 特開平１０−２８５５６４（ＪＰ，Ａ）

【文献】 特開２０００−１８４２６１（ＪＰ，Ａ）

【文献】 特開２００４−０８８７２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ ７／１４−７／１５

Ｈ０４Ｎ ５／７６−５／９５６

Ｈ０４Ｎ ５／３８−５／４６

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｍ １１／００−１１／１０

(57)【特許請求の範囲】

【請求項1】

動画撮影手段を備えた撮像装置であって、
前記動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、
前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、
前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、
を備え、
静止画撮影手段を更に備え、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、前記静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記配信中の動画像の所定表示領域内に前記静止画撮影手段により撮影された静止画像を合成した画像を、前記配信手段に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置。

【請求項2】

動画撮影手段を備えた撮像装置であって、
前記動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、
前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、
前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、
を備え、
静止画撮影手段を更に備え、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、前記静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記配信中の動画像と前記静止画撮影手段により撮影された静止画像を、前記配信手段に交互に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置。

【請求項3】

動画撮影手段を備えた撮像装置であって、
前記動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、
前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、
前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、
を備え、
静止画撮影手段を更に備え、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、前記静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記静止画撮影手段により撮影された静止画像を、前記配信手段に所定時間配信させる配信制御を行い、
前記配信制御手段による静止画像の配信中に配信されなかった未配信の動画像を一時的に記憶する追っかけ配信用の一時記憶手段を更に備え、
前記配信制御手段は、前記静止画像を所定時間配信させた後、前記追っかけ配信用の一時記憶手段に記憶されている未配信の動画像を基に、前記配信手段に追っかけ配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置。

【請求項4】

前記追っかけ配信用の一時記憶手段は、前記静止画像の配信中に配信されなかった未配信の動画像を間引いて記憶し、
前記配信制御手段は、前記追っかけ配信用の一時記憶手段に間引いて記憶されている未配信の動画像を順次読み出すことによって、前記配信手段に追っかけ配信させる、
ようにしたことを特徴とする請求項３記載の撮像装置。

【請求項5】

前記所定時間は、前記静止画撮影手段による撮影を指示する撮影操作子の操作開始から解除までの時間である、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。

【請求項6】

動画撮影手段を備えた撮像装置であって、
前記動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、
前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、
前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、
を備え、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、配信中の動画像よりもスローモーションな配信を指示するスローモーション配信操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段によりスローモーション配信操作が行われたと判別された場合に、前記動画撮影手段により撮影されている動画像から配信用のスローモーション画像をリアルタイムに生成し、前記配信手段に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置。

【請求項7】

前記動画撮影手段は、前記通信ネットワークの通信速度を超える速度で高速撮影が可能であり、
前記配信手段は、前記動画撮影手段により高速撮影が行われた高速度撮影動画像を前記通信ネットワークの通信速度で配信可能となるフレームレートまで間引いて配信し、
前記配信手段による間引き配信中に前記判別手段によりスローモーション配信操作が行われたと判別された場合に、それ以降の前記高速度撮影動画像を一時記憶するスローモーション配信用の一時記憶手段を更に備え、
前記配信制御手段は、前記スローモーション配信用の一時記憶手段に記憶されている高速度撮影動画像を、前記配信手段に所定時間順次読み出して配信させることによってスローモーション配信させる配信制御を行う、
ようにしたことを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記配信制御手段によるスローモーション配信中に配信されなかった未配信の動画像を一時記憶する追っかけ配信用の一時記憶手段を更に備え、
前記配信制御手段は、前記スローモーション配信を所定時間させた後、前記追っかけ配信用の一時記憶手段に記憶されている未配信の動画像を基に、前記配信手段に追っかけ配信させる配信制御を行う、
ようにしたことを特徴とする請求項６あるいは請求項７に記載の撮像装置。

【請求項9】

前記追っかけ配信用の一時記憶手段は、前記スローモーション配信中に配信されなかった未配信の動画像を前記配信手段による間引きよりも間引いて記憶し、
前記配信制御手段は、前記追っかけ配信用の一時記憶手段に間引いて記憶されている未配信の動画像を順次読み出すことによって、前記配信手段に追っかけ配信させる、
ようにしたことを特徴とする請求項８に記載の撮像装置。

【請求項10】

前記判別手段は、前記動画撮影手段が高速撮影を行っているか否かを更に判別し、高速撮影を行っていると判別した場合に、前記スローモーション配信操作が行われたか否かを判別する、
ようにしたことを特徴とする請求項７〜請求項９のいずれかに記載の撮像装置。

【請求項11】

前記所定時間は、前記スローモーション配信用の一時記憶手段に高速度撮影動画像を記憶可能なフレーム数に応じて決められる時間である、
ことを特徴とする請求項８に記載の撮像装置。

【請求項12】

前記所定時間は、前記スローモーション配信の停止を指示する操作が行われるまでの時間である、
ことを特徴とする請求項６〜請求項１０のいずれかに記載の撮像装置。

【請求項13】

前記配信手段は、前記動画撮影手段により撮影されている動画像から配信用の通常動画像をリアルタイムに生成して、このリアルタイムに生成される配信用の通常動画像を、前記通信ネットワークを介してリアルタイムにストリーミング配信し、
前記配信制御手段は、前記所定操作が行われたと判別された場合に、前記リアルタイムに生成されている配信用の通常動画像に代えて前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介してストリーミング配信させる、
ようにしたことを特徴とする請求項１〜請求項１０のいずれかに記載の撮像装置。

【請求項14】

動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信する処理と、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別する処理と、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行う処理と、
を含み、
前記動画像のストリーミング配信中における所定の操作として、静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
静止画撮影操作が行われたと判別された際に、前記配信中の動画像の所定表示領域内に前記静止画撮影手段により撮影された静止画像を合成した画像を、所定時間配信する、
ことを特徴とする撮像処理方法。

【請求項15】

動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信する処理と、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別する処理と、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行う処理と、
を含み、
前記動画像のストリーミング配信中における所定の操作として、静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
静止画撮影操作が行われたと判別された際に、前記配信中の動画像と前記静止画撮影手段により撮影された静止画像を、交互に所定時間配信する、
ことを特徴とする撮像処理方法。

【請求項16】

動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信する処理と、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別する処理と、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行う処理と、
を含み、
前記動画像のストリーミング配信中における所定の操作として、静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
静止画撮影操作が行われたと判別された際に、前記静止画撮影手段により撮影された静止画像を、所定時間配信し、
前記静止画像を所定時間配信させた後、当該静止画像の配信中に配信されなかった未配信の動画像を一時的に記憶する追っかけ配信用の一時記憶手段に記憶されている未配信の動画像を基に、追っかけ配信する、
ことを特徴とする撮像処理方法。

【請求項17】

動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信する処理と、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別する処理と、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行う処理と、
を含み、
前記動画像のストリーミング配信中における所定の操作として、配信中の動画像よりもスローモーションな配信を指示するスローモーション配信操作が行われたか否かを判別し、
スローモーション配信操作が行われたと判別された場合に、前記動画撮影手段により撮影されている動画像から配信用のスローモーション画像をリアルタイムに生成し、所定時間配信する、
ことを特徴とする撮像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画撮影手段を備えた撮像装置、撮像処理方法に関する。

【背景技術】

【0002】

一般に、動画撮影機能が備えられているデジタルコンパクトカメラやビデオカメラなどの撮像装置を利用した映像配信システムとしては、例えば、特許文献１のように、撮像装置により撮影されている動画像を、通信ネットワークを介して管理サーバに送信すると、この管理サーバは受信した動画像を再生用端末に送信することにより端末側では動画像をリアルタイムにストリーミング再生することを可能とした技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−３２２２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１の技術にあっては、動画像のリアルタイムなストリーミング配信を可能とした技術であるが、例えば、バラエティに富んだ動画像を視聴可能とするには高価で重装備な機材が必要となるために個人によるストリーミング配信での再生映像では、撮影画像をそのまま再現したものとなってしまい、変化に乏しい再生映像しか視認することができず、コミュニケーション手段としては不十分なものとなっていた。

【0005】

本発明の課題は、撮影されている動画像をリアルタイムにストリーミング配信する場合に、既存の撮影機能を活用するだけでバラエティに富んだ画像を配信できるようにすることである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために本発明の撮像装置は、
動画撮影手段を備えた撮像装置であって、
前記動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、
前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、
前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、
を備え、
静止画撮影手段を更に備え、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、前記静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記配信中の動画像の所定表示領域内に前記静止画撮影手段により撮影された静止画像を合成した画像を、前記配信手段に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。

【0007】

上述した課題を解決するために本発明の撮像処理方法は、
動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信する処理と、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別する処理と、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行う処理と、
を含み、
前記動画像のストリーミング配信中における所定の操作として、静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
静止画撮影操作が行われたと判別された際に、前記配信中の動画像の所定表示領域内に前記静止画撮影手段により撮影された静止画像を合成した画像を、所定時間配信する、
ことを特徴とする撮像処理方法である。

【発明の効果】

【0010】

本発明によれば、撮影されている動画像をリアルタイムにストリーミング配信する場合に、既存の機能を活用するだけでバラエティに富んだ画像を配信することができると共に、個人によるストリーミング配信の普及にも貢献することができる。

【図面の簡単な説明】

【0011】

【図1】撮像装置１が利用可能な通信ネットワークシステム（撮像処理システム）を示したブロック図。

【図2】撮像装置１の基本的な構成要素を示したブロック図。

【図3】ワークメモリ１３ｂに一時的に記憶される各種のフラグを説明するための図。

【図4】動画像と静止画像とを合成して配信された場合にその受信側端末での表示例を示した図。

【図5】動画像のストリーミング配信処理を示したフローチャート。

【図6】図５の動作に続くフローチャート。

【図7】図５の動作に続くフローチャート。

【図8】動画像のストリーミング配信中での静止画像配信を説明するための図。

【図9】動画像のストリーミング配信中での動画像・静止画像交互配信を説明するための図。

【図10】動画像のストリーミング配信中での動画像・静止画像合成配信を説明するための図。

【図11】動画像のストリーミング配信中での静止画像配信及び追っかけ配信を説明するための図。

【図12】高速度撮影動画像の間引きストリーミング配信中での静止画像配信を説明するための図。

【図13】高速度撮影動画像の間引きストリーミング配信中でのスローモーション配信を説明するための図。

【図14】高速度撮影動画像の間引きストリーミング配信中でのスローモーション配信及び追っかけ配信を説明するための図。

【発明を実施するための形態】

【0012】

以下、図１〜図１４を参照して本発明の実施形態を説明する。
図１は、撮像装置が利用可能な通信ネットワークシステム（撮像処理システム）を示したブロック図である。
撮像処理システムは、撮像装置１によって撮影された動画像を、広域通信網（公衆通信網）を介してリアルタイムにストリーミング配信する通信ネットワークシステムである。この撮像装置１は、静止画像のほかに動画像の撮影も可能なデジタルコンパクトカメラで、撮像機能、計時機能、集音機能などの基本的な機能のほか、動画撮影中においても静止画像を撮影可能としたスチルインムービー機能、高速度での動画撮影を可能とした高速動画撮影機能を備え、更に、携帯端末装置２との間でデータ（動画像、静止画像、音声など）の送受信を行う近距離通信機能、撮影された動画像や静止画像、集音された音声を、近距離通信を介してストリーミング配信するストリーミング配信機能を備えている。

【0013】

撮像装置１との間で近距離通信を介してデータの送受信を可能とした携帯端末装置２は、例えば、スマートフォンと呼ばれる多機能型携帯電話機であり、その基本機能として通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、近距離通信機能などを備え、最寄りの基地局（図示省略）を介して無線通信網（移動体通信網）３に接続されると、この無線通信網３を介して他の携帯端末装置４との間で通話可能な状態となる。また、携帯端末装置２は、無線通信網３を介してインターネット５に接続されると、Ｗｅｂサイトをアクセスして閲覧可能な状態となる。

【0014】

また、携帯端末装置２は、無線通信網３、インターネット５を介して動画共有サービスを提供する業者側の管理装置（管理サーバ）６に接続可能であり、撮像装置１によって撮影された動画像を、近距離通信を介して受信取得すると、通信ネットワーク（無線通信網３、インターネット５）を介して管理サーバ６にリアルタイムにストリーミング配信するようにしている。管理サーバ６は、動画共有サービスを提供する業者側のサーバ装置で、会員ユーザ（視聴者や視認者）同士のチャット機能や動画投稿機能などを有し、携帯端末装置２からの受信した動画像を、視聴者や視認者側のＰＣ（パーソナルコンピュータ）７、テレビ受信機８、他の携帯端末装置４などの受信端末（視聴者や視認者側の端末装置）に対してリアルタイムにストリーミング配信するようにしている。このように撮像処理システムは、動画像を撮影する撮像装置１と、撮像装置１によって撮影された動画像を通信ネットワークを介して受信する管理サーバ６と、この管理サーバ６から動画像を通信ネットワークを介して受信する受信側の端末装置４、７、８を備えた構成となっている。

【0015】

図２は、撮像装置１の基本的な構成要素を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５〜図７に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、この撮像装置が動作するために必要となる各種の情報（例えば、フラグ、ソフトタイマ計測値など）を一時的に記憶するワークメモリ１３ｂなどのほか、後述するが、追っかけ配信用バッファ１３ｃ、スローモーション配信用バッファ１３ｄを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

【0016】

操作部１４は、図示省略したが、押しボタン式のキーとして、撮影可能な状態とする撮影モード、撮影済み画像を再生する再生モードなどを切り替えるモード変更キーを備えているほか、撮影開始を指示するレリーズボタン、露出やシャッタスピードなどの撮影条件の設定操作などを行うための各種のキー（図示省略）を備え、制御部１１は、この操作部１４から操作キーに対応して出力される入力操作信号に応じて、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。

【0017】

撮像部１５は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ（ズームレンズ）、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部１５は、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部１６にフルカラー表示される。また、本実施形態においては、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。また、撮像部１５は、通常、秒３０コマ（３０ｆｐｓ）で動画撮影を行うようにしているが、高速度撮影が指示された際には、例えば、フレームレートが秒２４０コマ（２４０ｆｐｓ）、秒１２０コマ（１２０ｆｐｓ）のような高速度撮影が可能となっている。

【0018】

表示部１６は、例えば、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスライブあるいは有機ＥＬ（Electro Luminescence）ディスライブで、撮影画像（ライブビュー画像）を表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。集音部１７は、撮像部１５による動画像撮影時に周囲音を録音するもので、制御部１１は、撮影された動画像と集音された音声を対応付けて記憶部１３内の可搬型メモリ（例えば、ＳＤカード）に記憶させる。なお、以下、画像配信のみ説明し、音声配信についてはその説明を省略するものとする。近距離無線通信部１８は、高速大容量の通信が可能なもので、例えば、非接触型ＩＣカードあるいは無線ＬＡＮ（Local Area Network）モジュールを使用し、ストリーミング配信時には、動画像、静止画像、音声などを携帯端末装置２に対して配信する構成となっている。

【0019】

図３は、ワークメモリ１３ｂに一時的に記憶される各種のフラグを説明するための図である。
ワークメモリ１３ｂには、動画像のストリーミング配信処理用の静止画配信フラグＦ１及び追っかけ再生フラグＦ２が記憶されている。静止画配信フラグＦ１は、撮像部１５によって撮影された動画像がリアルタイムにストリーミング配信されている場合に、その配信中の動画像に代えて静止画像をどのようにして配信するかの配信方法を指定するためのフラグであ。本実施形態においては、静止画像の配信方法として予め用意されている３種類の配信方法のうち、そのいずれかをユーザ操作により任意に選択指定すると、静止画配信フラグＦ１は、その指定された配信方法を示す値となる。

【0020】

制御部１１は、撮影されている動画像から配信用の通常動画像をリアルタイムに生成して、このリアルタイムに生成される配信用の通常動画像を、通信ネットワークを介してリアルタイムにストリーミング配信している配信中において、所定操作が行われた場合に、リアルタイムに生成されている配信用の通常動画像に代えて、所定の操作に対応した画像を、通信ネットワークを介してストリーミング配信するようにしている。すなわち、制御部１１は、動画像のストリーミング配信中において、所定の操作が行われたか否かを判別し、所定の操作が行われた際には、その所定の操作に対応した画像を、配信中の動画像に代えて所定時間（例えば、２〜３秒間）配信させ、その後、動画像のストリーミング配信を再開することにより通常状態に戻すようにしている。ここで、上述の所定の操作が静止画撮影を指示する操作であれば、この静止画撮影操作が行われた際に静止画配信フラグＦ１を参照することによって配信方法を決定し、この配信方法で静止画像を所定時間配信するようにしている。

【0021】

このように本実施形態においては、動画像のストリーミング配信中に静止画撮影操作が行われた際に、配信中の動画像に代えて所定時間、静止画像を配信する動作（リアルタイム・ストップモーション）を行うようにしている。ここで、静止画像を配信する所定時間は、静止画像の配信を開始してからの経過時間（設定時間）であり、例えば、２〜３秒間に限らず、３秒、４秒、５秒などであってもよい。本実施形態においては、操作部１４のキー操作により任意の時間を上述の所定時間として設定可能としているほか、レリーズボタンの押下操作（撮影開始操作）からその押下が解除されるまでの時間も所定時間としているが、この押下時間と設定時間のいずれか一方（短い方）を所定時間としている。

【0022】

図示の例において、静止画配信フラグＦ１の“０”は、同じ静止画像のみを続けて配信する配信方法を指定し、“１”は、静止画像と動画像とを交互に配信する配信方法を指定し、“２”は、動画像と静止画像とを合成して配信する配信方法を指定するフラグである。図４は、静止画配信フラグＦ１の値が“２”の場合、つまり、動画像と静止画像とを合成して配信した場合に、その合成画像を受信した受信側端末での表示例を示した図で、動画像表示領域の一部に静止画像表示領域を重ね合せた状態で合成画像が表示される。

【0023】

追っかけ再生フラグＦ２は、ストリーミング配信中の動画像に代えて所定の操作に対応した画像を所定時間配信することによって配信されなかった未配信の動画像を、通常のストリーミング配信の再開に先立って、その所定時間経過後に追っかけ配信（後追い配信：高速間引き配信）させるか否かを示すフラグである。ここで、追っかけ再生フラグＦ２の“０”は、追っかけ配信を実行しないことを指定し、“１”は、追っかけ配信を実行することを指定するフラグである。このような追っかけ配信を実現可能とするために本実施形態においては、未配信の動画像を追っかけ配信用バッファ１３ｃに一時記憶させるようにしている。

【0024】

一方、本実施形態においては、フレームレートが秒２４０コマ（２４０ｆｐｓ）、秒１２０コマ（１２０ｆｐｓ）のような高速度撮影時では通信ネットワークのスループットを大きく超えてしまうためにコマ（画像）を間引いてストリーミング配信（間引き配信）を行うようにしている。例えば、フレームレートが秒１２０コマ（１２０ｆｐｓ）の高速度撮影の場合には、８．３３ｍｓ毎に画像が生成されるが、ストリーミング配信よりも画像が生成される方が４倍速いために１／４の画像間引き（４フレーム当たり１回の配信）を行うことによりフレームレートを３０ｆｐｓとすることにより３３．３３ｍｓでストリーミング配信するようにしている。このような高速度撮影動画像の間引きストリーミング配信中に所定の操作が行われた際に、その所定の操作がスローモーション再生配信を指示する操作であれば、撮像部１５によって撮影された高速度撮影動画像をスローモーション画像として、配信中の動画像に代えて所定時間配信するようにしている。

【0025】

すなわち、例えば、秒１２０コマ（１２０ｆｐｓ）により高速度撮影された動画像を、通信ネットワークの通信速度で配信可能となるフレームレート（例えば、３０ｆｐｓ）まで間引いてストリーミング配信（高速度撮影動画像の間引きストリーミング配信）を行っている場合に、所定の操作としてスローモーション再生操作が行われると、スローモーション用配信バッファ１３ｄに高速度撮影動画像を順次記憶すると共に、このスローモーション用配信バッファ１３ｄ内の高速度撮影動画像を、間引きストリーミング配信中の動画像に代えて所定時間配信するようにしている。

【0026】

このように本実施形態においては、高速度撮影のストリーミング配信中にスローモーション再生操作が行われた際に、ストリーミング配信（間引き配信）に代えて、所定時間、間引きのないストリーミング配信として高速度撮影動画像を配信する動作（リアルタイム・スローモーション）を行うようにしている。ここで、スローモーション配信が行われる所定時間は、スローモーション配信用バッファ１３ｄに高速度撮影動画像を記憶可能なフレーム数に応じて決められる時間あるいはスローモーション配信の停止を指示する操作が行われるまでの時間である。このようなスローモーション再生配信の後には高速度撮影動画像の間引きストリーミング配信を再開することにより通常状態に戻すようにしている。また、スローモーション配信時にも上述の追っかけ配信を可能とするためにスローモーション配信されなかった未配信の動画像を追っかけ配信用バッファ１３ｃに一時記憶させるようにしている。

【0027】

次に、本実施形態における撮像装置の動作概念を図５〜図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５〜図７は、撮像装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５〜図７のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

【0028】

図５〜図７は、動画像のストリーミング配信がユーザ操作により指定された際に実行開始されるストリーミング配信処理を示したフローチャートである。以下、図８〜図１４を参照して、ストリーミング配信処理を具体的に説明するものとする。なお、図８〜図１２は、動画像のストリーミング配信の動作としてのリアルタイム・ストップモーションを説明するための図、また、図１３及び図１４は、動画像のストリーミング配信の動作としてのリアルタイム・スローモーションを説明するための図である。

【0029】

先ず、撮像装置１の制御部１１は、携帯端末装置２、通信ネットワーク（公衆通信網の無線通信網３、インターネット５）を介して管理サーバ６にリアルタイムにストリーミング配信する画像を記憶部１３内の可搬型メモリ（例えば、ＳＤカード）に順次記録保存させる動作を開始する（図５のステップＳ１）。次に、動画像のストリーミング配信用として、高速度撮影が予めユーザ操作により指定されているかを調べ（ステップＳ２）、高速度撮影が指示されていなければ（ステップＳ２でＮＯ）、図６のフローに移る。この場合、撮像部１５では、通常、３０ｆｐｓで動画撮影を行っているので、３３．３３ｍｓ間隔で撮影された動画像をリアルタイムにストリーミング配信（通常配信）する処理を開始する（ステップＳ１４）。

【0030】

このように動画像のストリーミング配信中において、所定の操作（静止画撮影操作）が行われたか否かを調べたり（ステップＳ１５）、その他の操作が行われたか否かを調べたりする（ステップＳ１６）。いま、その他の操作が行われたときには（ステップＳ１６でＹＥＳ）、その操作に応じた処理を行う（ステップＳ１７）。例えば、ストリーミング配信の一時停止を指示する操作が行われたときには、ストリーミング配信一時停止処理を行った後、上述したステップＳ１５に移るが、ストリーミング配信の終了を指示する操作が行われたときには、ストリーミング配信を終了させるために図５〜図７のフローから抜ける（図示省略）。

【0031】

また、ストリーミング配信中において所定の操作（静止画撮影操作）が行われたときには（ステップＳ１５でＹＥＳ）、静止画撮影操作時に撮像部１５によって撮影されたフレーム画像を静止画像として取得する静止画取得処理を行う（ステップＳ１８）。そして、静止画配信フラグＦ１を参照して、この静止画像の配信方法を決定（ステップＳ１９）した後、配信中の動画像に代えて所定の操作（静止画撮影操作）に対応した画像として、静止画撮影操作時に取得した静止画像を静止画配信フラグＦ１の値で示される配信方法に従って配信する静止画配信処理を開始すると共に、静止画像の配信を開始してからの経過時間を計測するタイマ（図示省略）の動作を開始する（ステップＳ２０）。

【0032】

そして、追っかけ再生フラグＦ２の値は“１”であるかを調べるが（ステップＳ２１）、いま、追っかけ再生フラグＦ２の値が“０”であれば（ステップＳ２１でＮＯ）、上述のタイマがタイムアウトになったか、つまり、静止画像の配信を開始してから所定時間を経過したかを調べたり（ステップＳ２３）、静止画配信の停止を指示する操作（例えば、レリーズボタンの解除操作）が行われたかを調べたりする（ステップＳ２４）。以下、タイムアウトになるまで（ステップＳ２３でＹＥＳ）あるいは静止画配信停止操作が行われるまで（ステップＳ２４でＹＥＳ）、上述のステップＳ２３に戻り、静止画配信処理を継続させる。

【0033】

ここで、タイムアウトになって所定時間が経過したとき（ステップＳ２３でＹＥＳ）あるいは静止画配信停止操作が行われたときには（ステップＳ２４でＹＥＳ）、追っかけ再生フラグＦ２の値が“０”であるかを調べるが（ステップＳ２５）、いま、その値は“０”であるから（ステップＳ２５でＮＯ）、静止画配信を停止して動画像のストリーミング配信を再開することにより通常状態に戻す（ステップＳ２７）。その後、上述した図５のステップＳ２に移る。

【0034】

図８〜図１０は、ストリーミング配信の動作（リアルタイム・ストップモーション）において、静止画像の配信方法を説明するための図である。図１１は、ストリーミング配信の動作（リアルタイム・ストップモーション）において、追っかけ再生を説明するための図である。なお、図中、上段側の撮影動画像とは、撮像部１５によって３３．３３ｍｓの間隔で撮影された動画像を示し、また、下段側のストリーミング画像とは、３３．３３ｍｓの間隔でストリーミング配信される画像を示している。なお、図中、四角形内の数値は、一連の動画像を特定するために付されたフレーム番号であり、図示の場合は、フレーム番号「１０」から「３５」までを例示している。

【0035】

更に、図８は、静止画配信フラグＦ１の値が“０”の場合の配信方法を説明するための図で、静止画配信フラグＦ１の値が“０”の場合において、動画像のストリーミング配信中に所定の操作（静止画撮影操作）が行われると、この静止画撮影操作時に撮影されたフレーム画像（静止画像）を、配信中の動画像に代えて所定時間配信する。図示の例では、撮影動画像のフレーム番号が「１２」のタイミングで静止画撮影操作が行われた場合で、図中、ａは、静止画撮影操作時に撮影された画像（フレーム番号「１２」の画像）を示している（以下、同様）。そして、図示の例では、この画像（静止画像）をフレーム番号「１２」〜「１９」の間、その動画像に代えて３３．３３ｍｓの間隔で配信し、その後、この静止画配信から動画像のストリーミング配信に戻した場合を例示している。

【0036】

図９は、静止画配信フラグＦ１の値が“１”の場合の配信方法を説明するための図で、静止画配信フラグＦ１の値が“１”の場合において、動画像のストリーミング配信中に所定の操作（静止画撮影操作）が行われると、配信中の動画像に代えて、この静止画撮影操作時に撮影されたフレーム画像（静止画像）と動画像とを交互に所定時間配信する。図示の場合は、撮影動画像のフレーム番号が「１２」のタイミングで静止画撮影操作が行われた場合で、静止画撮影操作時に撮影された画像（静止画像）と動画像とを３３．３３ｍｓの間隔でフレーム番号「１２」〜「１９」の間、「ａ」、「１３」、「ａ」、「１５」、「ａ」、「１７」、「ａ」、「１９」のように交互に配信し、その後、この動画像・静止画像交互配信から動画像のストリーミング配信に戻した場合を例示している。

【0037】

図１０は、静止画配信フラグＦ１の値が“２”の場合の配信方法を説明するための図で、静止画配信フラグＦ１の値が“２”の場合において、動画像のストリーミング配信中に所定の操作（静止画撮影操作）が行われると、配信中の動画像に代えて、この静止画撮影操作時に撮影されたフレーム画像（静止画像）を動画像に合成した画像を生成し、この合成画像を所定時間配信する。図示の場合は、撮影動画像のフレーム番号が「１２」のタイミングで静止画撮影操作が行われた場合で、この静止画撮影操作時に撮影された画像（静止画像）と動画像とを合成した画像を３３．３３ｍｓの間隔で順次生成し、フレーム番号が「１２」〜「１９」の間、各合成画像「１２＋ａ」、「１３＋ａ」、…、「１８＋ａ」、「１９＋ａ」を配信し、その後、この動画像・静止画像合成配信から動画像のストリーミング配信に戻した場合を例示している。

【0038】

一方、上述のように静止画配信処理（図６のステップＳ２０）を開始した場合に、追っかけ再生フラグＦ２の値が“１”であれば（ステップＳ２１でＹＥＳ）、撮影動画像を間引いて、追っかけ配信用バッファ１３ｃに順次記憶させる書き込み動作を開始するが（ステップＳ２２）、その値が“０”であれば（ステップＳ２１でＮＯ）、追っかけ配信用バッファ１３ｃへの書き込みをスキップする。図１１は、図８と同様、静止画配信フラグＦ１の値が“０”の場合で、図示のように撮影動画像のフレーム番号が「１２」のタイミングで静止画撮影操作が行われると、制御部１１は、静止画撮影操作時に撮影された画像（静止画像）を、配信中の撮影動画像に代えて３３．３３ｍｓの間隔で配信する動作を開始する。この場合、追っかけ再生フラグＦ２の値が“１”であるから撮影動画像を間引いて（図示の例では１／２に間引いて）、追っかけ配信用バッファ１３ｃに順次記憶させる書き込み動作を開始する。図示の場合、追っかけ配信用バッファ１３ｃには静止画撮影操作時を起点として、１／２に間引きしたフレーム番号「１２」、「１４」、「１６」、「１８」、…の各画像が順次記憶された場合を例示している。

【0039】

また、追っかけ再生フラグＦ２の値が“１”であれば（ステップＳ２５でＹＥＳ）、静止画配信に代えて、追っかけ配信用バッファ１３ｃ内の動画像を順次読み出しながら追っかけ再生配信（高速間引き配信）する処理に移る（ステップＳ２６）。図１１の場合には、フレーム番号が「１９」のタイミングで静止画配信が終了し、「２０」のタイミングで追っかけ再生配信を開始した場合で、追っかけ配信用バッファ１３ｃ内の各画像は、３３．３３ｍｓの間隔で順次読み出されて追っかけ再生配信される。

【0040】

その結果、追っかけ配信用バッファ１３ｃ内の一番目の画像（フレーム番号「１２」の画像）は、撮影動画像のフレーム番号「２０」のタイミングで読み出されて配信され、二番目の画像（フレーム番号「１４」の画像）は、「２１」のタイミングで読み出されて配信され、三番目の画像（フレーム番号「１６」の画像）は、「２２」のタイミングで読み出されて配信され、四番目の画像（フレーム番号「１８」の画像）は、「２３」のタイミングで読み出されて配信され、以下、同様。なお、追っかけ配信用バッファ１３ｃには撮影動画像を間引いて順次記憶されているので、その間引き量に応じて高速な追っかけが可能となる。

【0041】

この追っかけ配信用バッファ１３ｃへの書き込み動作と追っかけ再生配信は、撮影動画像に追いつくまで継続される。すなわち、図１１の例において撮影動画像に追いつくのは、フレーム番号「２８」の場合であるから、追っかけ配信用バッファ１３ｃにはフレーム番号「１２」、「１４」、…、「２６」の各画像が順次記憶され、その「２６」の画像が配信されるまで上述の書き込み動作及び追っかけ再生配信が継続される。これによって撮影動画像に追いつくと、その時点で追っかけ再生配信処理が終了する。そして、ステップＳ２７に移り、動画像のストリーミング配信を再開することにより通常状態に戻す。その後、上述した図５のステップＳ２に移る。

【0042】

他方、動画像の高速度撮影が指示されている場合には（図５のステップＳ２でＹＥＳ）、撮像部１５ではフレームレート（１２０ｆｐｓ）で高速度撮影が行われているので、８．３３ｍｓ毎に画像が撮影されるが、ストリーミング配信よりも画像が生成される間隔の方が４倍速いために１／４の画像間引きでストリーミング配信（間引き配信）を行う（ステップＳ３）。このように高速度撮影のストリーミング配信（間引き配信）中において、所定の操作として静止画撮影操作が行われたか否かを調べたり（ステップＳ４）、他の所定の操作としてスローモーション再生を指示する操作が行われたか否かを調べたり（図７のステップＳ２８）、その他の操作が行われたか否かを調べたりするが（ステップＳ２９）、いま、その他の操作が行われたときには（ステップＳ２９でＹＥＳ）、その操作に応じた処理を行う（ステップＳ３０）。例えば、ストリーミング配信の一時停止を指示する操作が行われたときには、ストリーミング配信一時停止処理を行った後、上述した図５のステップＳ４に移るが、ストリーミング配信の終了を指示する操作が行われたときには、ストリーミング配信を終了させるために図５〜図７のフローから抜ける（図示省略）。

【0043】

また、高速度撮影のストリーミング配信中において所定の操作（静止画撮影操作）が行われたときには（図５のステップＳ４でＹＥＳ）、静止画撮影操作時に撮像部１５によって撮影された画像を静止画像として取得する（ステップＳ５）。そして、静止画配信フラグＦ１を参照して、この静止画像の配信方法を決定（ステップＳ６）した後、配信中の動画像に代えて所定の操作（静止画撮影操作）に対応した画像として静止画撮影操作時に取得した画像（静止画像）を、静止画配信フラグＦ１の値で示される配信方法に従って配信する静止画配信処理を開始すると共に、静止画像の配信を開始してからの経過時間を計測するタイマの動作を開始する（ステップＳ７）。

【0044】

図１２〜図１４は、高速度撮影が指示されている場合の動作を示した図である。なお、図中、上段側の高速度撮影動画像とは、撮像部１５によって８．３３ｍｓの間隔で撮影された動画像を示し、また、中段側の間引きストリーミング画像（１）とは、高速度撮影動画像を１／４に間引きした画像を示し、この１／４間引きによって各画像は３３．３３ｍｓの間隔となる。下段側の間引きストリーミング画像（２）とは、実際に配信される画像を示し、各画像は３３．３３ｍｓの間隔で配信される。なお、図中、四角形内の数値は、一連の動画像を特定するために付されたフレーム番号であり、図示の例では、フレーム番号「１０」から「５９」までを示している。

【0045】

更に、図１２は、ストリーミング配信の動作（リアルタイム・ストップモーション）において、図８と同様に、静止画撮影操作が行われた場合に静止画配信フラグＦ１の値が“０”の場合で、高速度撮影の間引きストリーミング配信中に静止画撮影操作が行われると、その静止画撮影操作時に撮影された画像（静止画像）を、配信中の動画像に代えて所定時間配信する。図示の例は、フレーム番号が「１８」のタイミングで静止画撮影操作が行われた場合で、この静止画像をフレーム番号「１８」〜「５０」の間、３３．３３ｍｓの間隔で配信し、その後、この静止画配信から高速度撮影の間引きストリーミング配信に戻した場合を例示している。

【0046】

次に、追っかけ再生フラグＦ２の値は“１”であるかを調べ（ステップＳ８）、その値が１”であれば（ステップＳ８でＹＥＳ）、間引きストリーミング画像（１）を１／２に間引いて追っかけ配信用バッファ１３ｃに順次記憶させる書き込み動作を開始するが（ステップＳ９）、“０”であれば（ステップＳ８でＮＯ）、追っかけ配信用バッファ１３ｃへの書き込みをスキップする。そして、上述のタイマがタイムアウトになったか、つまり、静止画像の配信を開始してから所定時間を経過したかを調べたり（ステップＳ１０）、静止画配信の停止を指示する操作が行われたかを調べたりする（ステップＳ１１）。

【0047】

以下、タイムアウトになるまで（ステップＳ１０でＹＥＳ）あるいは静止画配信停止操作が行われるまで（ステップＳ１１でＹＥＳ）、静止画配信処理を継続させるが、タイムアウトになったとき（ステップＳ１０でＹＥＳ）あるいは静止画配信停止操作が行われたときには（ステップＳ１１でＹＥＳ）、追っかけ再生フラグＦ２の値が“０”であるかを調べ（ステップＳ１２）、その値が“０”であれば（ステップＳ１２でＮＯ）、図７のステップＳ３９に移り、静止画配信を停止してストリーミング配信（間引き配信）を再開することにより通常状態に戻す。その後、上述した図５のステップＳ２に移る。

【0048】

また、追っかけ再生フラグＦ２の値が“１”であれば（ステップＳ１２でＹＥＳ）、静止画配信に代えて、追っかけ配信用バッファ１３ｃ内の動画像を順次読み出しながら３３．３３ｍｓの間隔でストリーミング配信する追っかけ再生配信処理に移る（ステップＳ１３）。この場合、追っかけ配信用バッファ１３ｃへの書き込み動作及び追っかけ再生配信は、高速度撮影動画像に追いつくまで継続される。そして、追っかけ再生が高速度撮影動画像に追いつくことにより追っかけ再生配信が終了すると、高速度撮影のストリーミング配信（間引き配信）を再開することにより通常状態に戻す（図７のステップＳ３９）。

【0049】

また、高速度撮影の間引きストリーミング配信中に所定の操作としてスローモーション再生操作が行われたときには（図７のステップＳ２８でＹＥＳ）、高速度撮影動画像をスローモーション配信用バッファ１３ｄに順次記憶させる書き込み動作を開始すると共に（ステップＳ３１）、間引き配信に代えて、スローモーション配信用バッファ１３ｄから動画像を順次読み出して３３．３３ｍｓの間隔でスローモーション配信（ストリーミング配信）する動作を開始する（ステップＳ３２）。

【0050】

図１３は、高速度撮影のストリーミング配信の動作（リアルタイム・スローモーション）において、フレーム番号が「１８」のタイミングでスローモーション再生操作が行われた場合である。図示の場合、スローモーション配信用バッファ１３ｄには、８．３３ｍｓの間隔で撮影された高速度撮影動画像としてフレーム番号が「１９」、「２０」、「２１」、「２２」の各画像が順次記憶され、また、このスローモーション配信用バッファ１３ｄから順次読み出された「１９」、「２０」、「２１」、「２２」の各画像が３３．３３ｍｓの間隔でスローモーション配信されることを例示している。

【0051】

その結果、スローモーション配信用バッファ１３ｄ内の一番目の画像（フレーム番号「１９」の画像）は、高速度撮影動画像のフレーム番号「２２」のタイミングで読み出されて配信され、二番目の画像（フレーム番号「２０」の画像）は、「２６」のタイミングで読み出されて配信され、三番目の画像（フレーム番号「２１」の画像）は、「３０」のタイミングで読み出されて配信され、四番目の画像（フレーム番号「２２」の画像）は、「３４」のタイミングで読み出されて配信される。

【0052】

そして、追っかけ再生フラグＦ２の値は“１”であるかを調べるが（ステップＳ３３）、図１３は、追っかけ再生が指定されていない場合であり、その値は“０”であるから（ステップＳ３３でＮＯ）、以下、スローモーション配信用バッファ１３ｄに残容量（空き容量）があるかを調べたり（ステップＳ３５）、スローモーション再生の停止を指示する操作が行われたかを調べたりし（ステップＳ３６）、スローモーション配信用バッファ１３ｄに残容量が無くなるまで（ステップＳ３５でＮＯ）あるいはスローモーション再生停止操作が行われるまで（ステップＳ３６でＹＥＳ）、スローモーション再生を継続させる。

【0053】

いま、スローモーション配信用バッファ１３ｄに残容量が無くなったとき（ステップＳ３５でＮＯ）あるいはスローモーション再生停止操作が行われたときには（ステップＳ３６でＹＥＳ）、追っかけ再生フラグＦ２の値が“０”であるかを調べ（ステップＳ３７）、その値が“０”であれば（ステップＳ３７でＮＯ）、スローモーション再生配信を停止して高速度撮影のストリーミング配信（間引き配信）を再開することにより通常状態に戻す（ステップＳ３９）。その後、図５のステップＳ４に移る。図１３の場合、スローモーション配信は、高速度撮影動画像のフレーム番号が「１９」〜「３４」の間で行われた後、高速度撮影のストリーミング配信（間引き配信）に戻った場合を例示している。

【0054】

一方、追っかけ再生フラグＦ２の値が“１”であれば（ステップＳ３３でＹＥＳ）、間引きストリーミング画像（１）を間引いて（例えば、１／２に間引いて）、追っかけ配信用バッファ１３ｃに順次記憶させる書き込み動作を開始する（ステップＳ３４）。その後、
ステップＳ３７で追っかけ再生フラグＦ２の値が“１”であることが検出されてステップＳ３８に移り、スローモーション再生配信に代えて、追っかけ配信用バッファ１３ｃ内の動画像を順次読み出しながら３３．３３ｍｓの間隔でストリーミング配信する追っかけ再生配信（高速間引き配信）に移る。この場合、追っかけ配信用バッファ１３ｃへの書き込み動作及び追っかけ再生配信は、高速度撮影動画像に追いつくまで継続される。

【0055】

図１４は、図１３と同様、高速度撮影のストリーミング配信の動作（リアルタイム・スローモーション）においてフレーム番号が「１８」のタイミングでスローモーション再生操作が行われた場合を示し、更に、追っかけ再生フラグＦ２の値が“１の場合”である。図示の場合、追っかけ配信用バッファ１３ｃにはスローモーション再生操作時を起点として、間引きストリーミング画像（１）を更に１／２に間引きしたフレーム番号「２６」、「３４」、「４２」の各画像が順次記憶された場合を例示している。

【0056】

このようにスローモーション再生配信に代えて追っかけ配信が行われると、追っかけ配信用バッファ１３ｃ内の各画像は、３３．３３ｍｓの間隔で順次読み出されて追っかけ再生配信される。その結果、追っかけ配信用バッファ１３ｃ内の一番目の画像（フレーム番号「２６」の画像）は、高速度撮影動画像のフレーム番号「３８」のタイミングで読み出されて配信され、二番目の画像（フレーム番号「３４」の画像）は、「４２」のタイミングで読み出されて配信され、三番目の画像（フレーム番号「４２」の画像）は、「４６」のタイミングで読み出されて配信される。この場合、図１４の例では、フレーム番号「５０」の時点で追いつくので、この時点で追っかけ再生配信処理を終了し、ステップＳ３９に移り、高速度撮影のストリーミング配信（間引き配信）を再開することにより通常状態に戻す。その後、図５のステップＳ４に移る。

【0057】

他方、上述のような画像の配信中には配信された動画像と所定の操作に対応した画像とを記憶部１３内の可搬型メモリ（例えば、ＳＤカード）に順次記録保存させる動作は、配信開始から配信終了までの間（図５〜図７のフローを実行している間）、継続される結果、この記憶部１３内の可搬型メモリには、配信開始から配信終了までに配信された全ての画像がそのまま記録保存される。

【0058】

以上のように、本実施形態において撮像装置１は、その撮像部１５により撮影されている動画像を、携帯端末装置２、通信ネットワーク（無線通信網３、インターネット５）を介してリアルタイムにストリーミング配信している状態において、そのストリーミング配信中に所定の操作が行われた場合に、所定の操作に対応した画像を所定時間配信するようにしたので、撮影されている動画像をリアルタイムにストリーミング配信する場合に、既存の機能を活用するだけでバラエティに富んだ画像を配信することができ、個人によるストリーミング配信の普及にも貢献することができるなど、実用性に富んだものとなる。

【0059】

ストリーミング配信中に所定の操作が行われた場合に、配信中の動画像に代えてその所定の操作に対応した画像を所定時間配信するようにしたので、視認者（視聴者）にあっては、配信中の動画像と置き換えられた画像を時間限定で見ることができる。

【0060】

所定の操作として静止画像の撮影操作が行われた場合に、その撮影された静止画像を配信中の動画像に代えて所定時間配信するようにしたので、動画像のストリーミング配信中に静止画撮影操作を行うだけで動画像から静止画像の配信に代えることができる。

【0061】

静止画像の撮影操作が行われた場合に、配信中の動画像の所定表示領域内に静止画像を合成した合成画像を配信中の動画像に代えて所定時間配信するようにしたので、視認者（視聴者）にあっては、静止画像と動画像の両方を同時に見ることが可能となる。

【0062】

静止画像の撮影操作が行われた場合に、配信中の動画像と静止画像を交互に所定時間配信するようにしたので、視認者（視聴者）にあっては、静止画像と動画像の両方を同時に見ることが可能となる。

【0063】

静止画像配信中に配信されなかった未配信の動画像を追っかけ配信用バッファ１３ｃに一時記憶させると共に、静止画像の配信後、追っかけ配信用バッファ１３ｃに記憶されている未配信の動画像を基に追っかけ配信するようにしたので、視認者（視聴者）にあっては、静止画像の配信を割り込ませても、その割り込み期間内の動画像を見ることができる。

【0064】

追っかけ配信用バッファ１３ｃは、静止画像の配信中に配信されなかった未配信の動画像を間引いて記憶するようにしたので、間引きに応じた高速な追っかけ配信が可能となる。

【0065】

操作部１４のキー操作により任意の時間を上述の所定時間として設定可能としたので、単一静止画像を連続して配信する静止画像配信、動画像内に静止画像を合成して配信する合成画像配信、静止画像と動画像とを交互に配信する交互配信を行う場合の時間をユーザの意向に応じて任意に制御することができる。

【0066】

レリーズボタンの押下操作（撮影開始操作）からその押下が解除されるまでの時間も所定時間とするようにしたので、レリーズボタンの押下操作で上述の所定時間を変更することが可能となる。

【0067】

配信中の動画像よりもスローモーションな配信を指示するスローモーション配信操作が行われた場合に、スローモーション画像を配信中の動画像に代えて所定時間配信するようにしたので、動画像のストリーミング配信中にスローモーション配信操作を行うだけでスローモーション画像の配信に代えることができる。

【0068】

通信ネットワークの通信速度を超える速度で高速撮影が可能な撮像部１５により高速度撮影された動画像を、通信ネットワークの通信速度で配信可能となるフレームレートまで間引いてストリーミング配信を行っている場合に、所定の操作としてスローモーション再生操作が行われると、スローモーション用配信バッファ１３ｄに高速度撮影動画像を順次記憶すると共に、このスローモーション用配信バッファ１３ｄ内の高速度撮影動画像を、間引き配信中の動画像に代えて所定時間配信するようにしたので、間引いて配信している動画像に代えて間引きの無い高速度撮影動画像の配信によりスローモーション配信が可能となる。

【0069】

スローモーション配信中に配信されなかった未配信の動画像を追っかけ配信用バッファ１３ｃに記憶させると共に、スローモーション配信後、追っかけ配信用バッファ１３ｃに記憶されている未配信の動画像を基に追っかけ配信するようにしたので、視認者（視聴者）にあっては、スローモーション配信を割り込ませても、その割り込み期間内の動画像を見ることができる。

【0070】

追っかけ配信用バッファ１３ｃは、スローモーション配信中に配信されなかった未配信の動画像を通常の間引き配信時のよりも更に間引いて記憶するようにしたので、間引き応じた高速な追っかけ配信が可能となる。

【0071】

撮像部１５で高速度撮影を行っている場合に、スローモーション配信操作が行われたか否かを判別するようにしたので、高速度撮影を行っている場合のみスローモーション配信を可能とすることができる。

【0072】

スローモーション配信が行われる所定時間は、スローモーション配信用バッファ１３ｄに高速度撮影動画像を記憶可能なフレーム数に応じて決められる時間であるから、スローモーション配信する時間をその時々で任意に変更することができる。

【0073】

スローモーション配信が行われる所定時間は、スローモーション配信の停止を指示する操作が行われるまでの時間であるので、スローモーション配信する時間をその時々で任意に変更することができる。

【0074】

撮像部１５により撮影された画像を記憶部１３に順次記憶するようにしたので、配信中の動画像をそのまま記録保存することが可能となる。

【0075】

ストリーミング配信される動画像と所定の操作に対応した画像とを記憶部１３に順次記憶するようにしたので、動画像のストリーミング配信中に静止画像の配信やスローモーション配信に切り換えられたとしても、その切り換えられた画像も記録保存することが可能となる。

【0076】

なお、上述した実施形態においては、撮像部１５で高速度撮影を行っている場合にスローモーション配信操作に応じてスローモーション配信を行うようにしたが、スローモーション配信は、高速度撮影時に限らず、例えば、３３．３３ｍｓ間隔で撮影を行っている撮影時でも同様に適用可能である。この場合、図６のフローチャートにおいて、静止画撮影操作の有無を判別するステップＳ１５でＮＯと判別された位置に、スローモーション配信操作の有無を判別するステップを挿入すると共に、このステップでスローモーション配信操作が行われたと判別された際にスローモーション配信処理を行うステップを挿入するようにすればよい。このスローモーション配信処理は、図７のステップＳ３１〜ステップＳ３９と基本的には同様の処理であるが、この場合、通常配信に代えてスローモーション配信用バッファ１３ｄの内容を配信する際には、例えば、通常配信の１．５倍や２倍の間隔で配信するようにすればよい。

【0077】

また、上述した実施形態においては、追っかけ配信用に撮影動画像を間引いて追っかけ配信用バッファ１３ｃに記憶させたが、間引かずに記憶し、追っかけ配信を行う際に間引いて配信してもよい。

【0078】

また、上述した実施形態においては、動画像のストリーミング配信中の動画像に代えて、この静止画撮影操作時に撮影されたフレーム画像を静止画像として配信するようにしたが、動画撮影手段とは別個独立の静止画撮影手段を設け、この静止画撮影手段により撮影された静止画像を配信中の動画像に代えて割り込み配信するようにしてもよい。

【0079】

上述した実施形態においては、配信中の動画像に代えて所定の操作に対応した画像として、撮影された静止画像やスローモーション用の高速度撮影動画像としたが、予め用意されている撮影済みの画像を所定の操作に対応して読み出して割り込み配信するようにしてもよい。

【0080】

上述した実施形態においては、撮影された静止画像を配信中の動画像に代えて所定時間配信する場合に、単一静止画像の連続して配信する静止画像配信、動画像内に静止画像を合成して配信する合成画像配信、静止画像と動画像とを交互に配信する交互配信を行うようにしたが、複数種の静止画像（例えば、静止画像Ａ、静止画像Ｂ）を交互に配信するようにしてもよい。また、複数種の静止画像を合成して配信するようにしてもよい。

【0081】

上述した実施形態においては、撮像装置１と携帯端末装置２との間で近距離通信を行うことにより携帯端末装置２を介して通信ネットワーク（無線通信網３、インターネット５）に接続するようにしたが、無線通信網３に接続可能な無線通信機能を撮像装置１に内蔵するようにしてもよい。

【0082】

上述した実施形態においては、デジタルコンパクトカメラに適用した場合を示したが、デジタル一眼レフカメラであってもよく、また、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤー・電子ゲームなどであってもよい。

【0083】

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

【0084】

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
動画撮影手段を備えた撮像装置であって、
前記動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、
前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、
前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配設手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、
を備えるようにしたことを特徴とする撮像装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記配信手段は、前記動画撮影手段により撮影されている動画像から配信用の通常動画像をリアルタイムに生成して、このリアルタイムに生成される配信用の通常動画像を、前記通信ネットワークを介してリアルタイムにストリーミング配信し、
前記配信制御手段は、前記所定操作が行われたと判別された場合に、前記リアルタイムに生成されている配信用の通常動画像に代えて前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介してストリーミング配信させる、
ようにしたことを特徴とする撮像装置。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の撮像装置において、
静止画撮影手段を更に備え、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、前記静止画撮影手段による撮影を指示する静止画撮影操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記静止画撮影手段により撮影された静止画像を、前記配信手段に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項４）
請求項４に記載の発明は、請求項３に記載の撮像装置において、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記配信中の動画像の所定表示領域内に前記静止画撮影手段により撮影された静止画像を合成した画像を、前記配信手段に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項５）
請求項４に記載の発明は、請求項３に記載の撮像装置において、
前記配信制御手段は、前記判別手段により静止画撮影操作が行われたと判別された際に、前記配信中の動画像と前記静止画撮影手段により撮影された静止画像を、前記配信手段に交互に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項６）
請求項５に記載の発明は、請求項３〜請求項５のいずれかに記載の撮像装置において、
前記配信制御手段による静止画像の配信中に配信されなかった未配信の動画像を一時的に記憶する追っかけ配信用の一時記憶手段を更に備え、
前記配信制御手段は、前記静止画像を所定時間配信させた後、前記追っかけ配信用の一時記憶手段に記憶されている未配信の動画像を基に、前記配信手段に追っかけ配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項７）
請求項７に記載の発明は、請求項６に記載の撮像装置において、
前記追っかけ配信用の一時記憶手段は、前記静止画像の配信中に配信されなかった未配信の動画像を間引いて記憶し、
前記配信制御手段は、前記追っかけ配信用の一時記憶手段に間引いて記憶されている未配信の動画像を順次読み出すことによって、前記配信手段に追っかけ配信させる、
ようにしたことを特徴とする撮像装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の撮像装置において、
前記所定時間を任意に設定する設定手段を更に備える、
ようにしたことを特徴とする撮像装置である。
（請求項９）
請求項９に記載の発明は、請求項３〜請求項７のいずれかに記載の撮像装置において、
前記所定時間は、前記静止画撮影手段による撮影を指示する撮影操作子の操作開始から解除までの時間である、
ようにしたことを特徴とする撮像装置である。
（請求項１０）
請求項９に記載の発明は、請求項１あるいは請求項２に記載の撮像装置において、
前記判別手段は、前記配信手段による動画像のストリーミング配信中における所定の操作として、配信中の動画像よりもスローモーションな配信を指示するスローモーション配信操作が行われたか否かを判別し、
前記配信制御手段は、前記判別手段によりスローモーション配信操作が行われたと判別された場合に、前記動画撮影手段により撮影されている動画像から配用のスローモーション画像をリアルタイムに生成し、前記配信手段に所定時間配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項１１）
請求項１１に記載の発明は、請求項９に記載の撮像装置において、
前記動画撮影手段は、前記通信ネットワークの通信速度を超える速度で高速撮影が可能であり、
前記配信手段は、前記動画撮影手段により高速撮影が行われた高速度撮影動画像を前記通信ネットワークの通信速度で配信可能となるフレームレートまで間引いて配信し、
前記配信手段による間引き配信中に前記判別手段によりスローモーション配信操作が行われたと判別された場合に、それ以降の前記高速度撮影動画像を一時記憶するスローモーション配信用の一時記憶手段を更に備え、
前記配信制御手段は、前記スローモーション配信用の一時記憶手段に記憶されている高速度撮影動画像を、前記配信手段に所定時間順次読み出して配信させることによってスローモーション配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１０あるいは請求項１１に記載の撮像装置において、
前記配信制御手段によるスローモーション配信中に配信されなかった未配信の動画像を一時記憶する追っかけ配信用の一時記憶手段を更に備え、
前記配信制御手段は、前記スローモーション撮影画像を所定時間配信させた後、前記追っかけ配信用の一時記憶手段に記憶されている未配信の動画像を基に、前記配信手段に追っかけ配信させる配信制御を行う、
ようにしたことを特徴とする撮像装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１２に記載の撮像装置において、
前記追っかけ配信用の一時記憶手段は、前記スローモーション配信中に配信されなかった未配信の動画像を前記配信手段による間引きよりも間引いて記憶し、
前記配信制御手段は、前記追っかけ配信用の一時記憶手段に間引いて記憶されている未配信の動画像を順次読み出すことによって、前記配信手段に追っかけ配信させる、
ようにしたことを特徴とする撮像装置である。
（請求項１４）
請求項１４に記載の発明は、請求項１１〜請求項１３のいずれかに記載の撮像装置において、
前記判別手段は、前記高速度撮影を行っているか否かを更に判別し、前記高速度撮影を行っていると判別した場合に、前記スローモーション配信操作が行われたか否かを判別する、
ようにしたことを特徴とする撮像装置である。
（請求項１５）
請求項１５に記載の発明は、請求項１１に記載の撮像装置において、
前記所定時間は、前記スローモーション配信用の一時記憶手段に前記高速度撮影動画像を記憶可能なフレーム数に応じて決められる時間である、
ことを特徴とする撮像装置である。
（請求項１６）
請求項１６に記載の発明は、請求項１０〜請求項１４のいずれかに記載の撮像装置において、
前記所定時間は、前記スローモーション配信の停止を指示する操作が行われるまでの時間である、
ことを特徴とする撮像装置である。
（請求項１７）
請求項１７に記載の発明は、請求項１に記載の撮像装置において、
前記動画撮影手段により撮影された画像を順次記憶する記憶手段を更に備える、
ようにしたことを特徴とする撮像装置である。
（請求項１８）
請求項１８に記載の発明は、請求項１７に記載の撮像装置において、
前記記憶手段は、前記配信手段により配信された動画像と前記所定の操作に対応した画像とを順次記憶する、
ようにしたことを特徴とする撮像装置である。
（請求項１９）
請求項１８に記載の発明は、
動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信するステップと、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別するステップと、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行うステップと、
を含むことを特徴とする撮像処理方法である。
（請求項２０）
請求項２０に記載の発明は、
コンピュータに対して、
動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムでストリーミング配信する機能と、
前記動画像のストリーミング配信中に所定の操作が行われたか否かを判別する機能と、
前記所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記通信ネットワークを介して所定時間配信させる配信制御を行う機能と、
を実現させるためのプログラムである。
（請求項２１）
請求項２１に記載の発明は、
動画像を撮影する撮像装置と、前記撮像装置によって撮影された動画像を通信ネットワークを介して受信する管理装置と、前記管理装置から前記動画像を通信ネットワークを介して受信する受信側の端末装置と、を備えた撮像処理システムであって、
前記撮像装置は、動画撮影手段により撮影されている動画像を、通信ネットワークを介してリアルタイムにストリーミング配信する配信手段と、前記配信手段による動画像のストリーミング配信中に所定の操作が行われたか否かを判別する判別手段と、前記判別手段により所定の操作が行われたと判別された場合に、前記所定の操作に対応した画像を、前記配信手段に前記通信ネットワークを介して所定時間配信させる配信制御を行う配信制御手段と、を備え、
前記管理装置は、前記撮像装置からリアルタイムにストリーミング配信される動画像、前記所定の操作に対応した画像を受信してリアルタイムに前記端末装置にストリーミング配信する、
ようにしたことを特徴とする撮像処理システムである。

【符号の説明】

【0085】

１ 撮像装置
２ 携帯端末装置
３ 無線通信網
４ 他の携帯端末装置
５ インターネット
６ 管理サーバ
７ ＰＣ
８ テレビ受信機
１１ 制御部
１３ 記憶部
１３ａ プログラムメモリ
１３ｃ 追っかけ配信用バッファ
１３ｄ スローモーション配信用バッファ
１４ 操作部
１５ 撮像部
１６ 表示部
１８ 近距離無線通信部
Ｆ１ 静止画配信フラグ
Ｆ２ 追っかけ再生フラグ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】