特許第6102147号(P6102147)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6102147
(24)【登録日】2017年3月10日
(45)【発行日】2017年3月29日
(54)【発明の名称】システム及び撮像装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20170316BHJP
   H04N 5/225 20060101ALI20170316BHJP
   H04N 7/173 20110101ALI20170316BHJP
【FI】
   H04N7/18 D
   H04N5/225 F
   H04N7/173 610Z
   H04N7/173 630
【請求項の数】4
【全頁数】37
(21)【出願番号】特願2012-212065(P2012-212065)
(22)【出願日】2012年9月26日
(65)【公開番号】特開2014-68183(P2014-68183A)
(43)【公開日】2014年4月17日
【審査請求日】2015年3月31日
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】谷山 紘史
【審査官】 高野 美帆子
(56)【参考文献】
【文献】 特開2010−233145(JP,A)
【文献】 特開2011−082867(JP,A)
【文献】 特開2012−169919(JP,A)
【文献】 特開2011−172052(JP,A)
【文献】 特開2003−333571(JP,A)
【文献】 特開2008−182680(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/222−5/257
H04N 7/173
(57)【特許請求の範囲】
【請求項1】
撮像対象を撮像して撮像データを生成する撮像部と、
前記撮像データを構成する各画像単位の重要度を示すスコアを、前記撮像データから認識された人物の顔画像に基づいて算出するスコア算出部と、
通信端末との間のネットワークにおける通信速度を算出する通信速度算出部と、
前記算出された通信速度に基づき、前記撮像データから所定量の画像単位を削減する削減度合を導出する削減度合導出部と、
前記導出された削減度合に基づき、前記撮像データから、前記算出されたスコアが示す重要度の低い画像単位を優先的に削減する撮像データ削減部と、
前記削減された撮像データを前記通信端末に送信する撮像データ送信部と、を備え、
前記スコア算出部は、前記撮像データから認識された所定の人物の顔画像の大きさが変化している場合、所定の人物の顔画像の大きさが変化してない場合より高い値となるようにスコアを算出することを特徴とする撮像装置。
【請求項2】
撮像対象を撮像して撮像データを生成する撮像部と、
前記撮像データを構成する各画像単位の重要度を示すスコアを、前記撮像データから認識された人物の顔画像に基づいて算出するスコア算出部と、
通信端末との間のネットワークにおける通信速度を算出する通信速度算出部と、
前記算出された通信速度に基づき、前記撮像データから所定量の画像単位を削減する削減度合を導出する削減度合導出部と、
前記導出された削減度合に基づき、前記撮像データから、前記算出されたスコアが示す重要度の低い画像単位を優先的に削減する撮像データ削減部と、
前記削減された撮像データを前記通信端末に送信する撮像データ送信部と、を備え、
前記スコア算出部は、前記撮像データから認識された所定の人物の顔の数が変化している場合、所定の人物の顔の数が変化してない場合より高い値となるようにスコアを算出することを特徴とする撮像装置。
【請求項3】
前記撮像装置から送信された前記削減された撮像データを受信する撮像データ受信部と、前記撮像データ受信部が受信した撮像データを再生して画像を表示する撮像データ表示部と、を備える通信端末と、
請求項1または2に記載の撮像装置と、
を備えることを特徴とするシステム。
【請求項4】
前記通信端末は、さらに、
前記撮像データ表示部によって表示される画像を観察する観察者による前記通信端末の使用状況を検出し、検出した使用状況に基づき前記観察者が画像を観察している尤度を示す観察スコアを算出する観察スコア算出部と、
前記観察スコア算出部が算出した観察スコアに基づき、前記観察者が画像を観察している尤度が高くなると小さくなるように、前記削減度合を調整する削減度合調整情報を生成する削減度合調整情報生成部と、
前記生成された削減度合調整情報を前記撮像装置に送信する削減度合調整情報送信部と、を有し、
前記撮像装置は、さらに前記通信端末から送信された削減度合調整情報を受信する削減度合調整情報受信部を有し、
前記削減度合導出部は、前記受信された削減度合調整情報に基づき、前記削減度合を調整する、
請求項3に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、システム及び撮像装置に関し、特に、撮像装置が生成した撮像データを通信端末に送信し、通信端末が撮像装置から受信した撮像データに基づいて画像を表示する技術に関する。
【背景技術】
【0002】
撮像した動画像を、ネットワークを介して配信するライブストリーミングカメラがある。ライブストリーミングカメラは、それ自身がストリーミングサーバとして動作する。これによって、ユーザは、ライブストリーミングカメラが撮像している動画像を、ネットワーク経由で、パーソナルコンピュータ(以下、「パソコン」とも呼ぶ)又はスマートフォン等によって観察することができる。
【0003】
特許文献1には、前述のように、撮像データが、ネットワークを経由して撮像装置から画像処理装置へ伝送される画像伝送システムが開示されている。この画像伝送システムは、ネットワークの遅延時間を検出し、検出した遅延時間に基づいて決定した伝送量削減率に応じて撮像データの伝送量を制御する。これによって、ネットワークの負荷状況が変化しても、撮像画像のリアルタイム表示を行うことが可能となっている。
【0004】
しかし特許文献1に開示の技術は、単純に伝送量削減率に応じて伝送する撮像データを削減するようにしているだけである。そのため撮像対象である被写体の状況が把握される上で重要なフレームが間引かれてしまい、ユーザが、被写体の状況を把握する上で重要なフレームが欠落し、被写体の状況を正しく把握することが困難となってしまう可能性があると推察される。例えば被写体となる人物が撮像場所にいないときのフレームは間引かれず、その人物が撮像場所にいるときのフレームが多く間引かれてしまった場合には、その人がどのような動作をしたのかを把握することができなくなってしまうだろう。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−311791号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は上述した問題に対してなされたものであって、撮像データが転送され、その画像が表示される場合において、画像の表示遅延を低減しつつ、重要な画像単位を適切に送信することで、ユーザがより正しく状況を把握することができるシステム及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様にかかるシステムは、撮像装置及び通信端末を備えたシステムであって、前記撮像装置は、撮像対象を撮像して撮像データを生成する撮像部と、前記撮像データを構成する各画像単位の重要度を示すスコアを算出するスコア算出部と、前記通信端末との間のネットワークにおける通信速度を算出する通信速度算出部と、前記算出された通信速度に基づき、前記撮像データから所定量の画像単位を削減する削減度合を導出する削減度合導出部と、前記導出された削減度合に基づき、前記撮像データから、前記算出されたスコアが示す重要度の低い画像単位を優先的に削減する撮像データ削減部と、前記削減された撮像データを前記通信端末に送信する撮像データ送信部と、を有し、前記通信端末は、前記撮像装置から送信された前記削減された撮像データを受信する撮像データ受信部と、前記撮像データ受信部が受信した撮像データを再生して画像を表示する撮像データ表示部と、を有する、ことを特徴とするものである。
本発明の第2の態様にかかる撮像装置は、撮像対象を撮像して撮像データを生成する撮像部と、前記撮像データを構成する各画像単位の重要度を示すスコアを算出するスコア算出部と、前記通信端末との間のネットワークにおける通信速度を算出する通信速度算出部と、前記算出された通信速度に基づき、前記撮像データから所定量の画像単位を削減する削減度合を導出する削減度合導出部と、前記導出された削減度合に基づき、前記撮像データから、前記算出されたスコアが示す重要度の低い画像単位を優先的に削減する撮像データ削減部と、前記削減された撮像データを前記通信端末に送信する撮像データ送信部と、を備える、ことを特徴とするものである。
【発明の効果】
【0008】
上述した本発明の各態様によれば、撮像データが転送され、その画像が表示される場合において、画像の表示遅延を低減しつつ、重要な画像単位を適切に送信することで、ユーザがより正しく状況を把握することができる。
【図面の簡単な説明】
【0009】
図1】実施の形態1にかかる撮像データ配信システムの構成図である。
図2】実施の形態1にかかる撮像装置の構成を示すブロック図である。
図3】実施の形態1にかかる通信端末の構成を示すブロック図である。
図4】実施の形態1にかかる撮像装置のCPUの機能ブロックを示すブロック図である。
図5】実施の形態1にかかる撮像装置の削減度合導出処理を示すフローチャートである。
図6】実施の形態1にかかる削減度合として間引き率を導出する場合における削減度合導出処理を示すフローチャートである。
図7A】実施の形態1にかかる送信バッファの状態の一例を示す図である。
図7B】実施の形態1にかかる送信バッファの状態の一例を示す図である。
図7C】実施の形態1にかかる送信バッファの状態の一例を示す図である。
図8】実施の形態1にかかる削減度合としてスコア閾値を導出する場合における削減度合導出処理を示すフローチャートである。
図9】実施の形態1にかかる撮像装置の撮像データ削減処理を示すフローチャートである。
図10】間引き対象判断時間当たりに生成されるフレームのスコアの一例を示す図である。
図11】送信遅延のない場合におけるフレームの流れを示すタイムチャートである。
図12】送信遅延のある場合におけるフレームの流れを示すタイムチャートである。
図13】フレームを間引いた場合におけるフレームの流れを示すタイムチャートである。
図14】送信バッファのフレーム数の変化の一例を示す図である。
図15】間引き率及びスコア閾値を利用する方法(送信優先)における間引き対象判断処理を示すフローチャートである。
図16】間引き率及びスコア閾値を利用する方法(間引き優先)における間引き対象判断処理を示すフローチャートである。
図17】実施の形態1にかかる通信端末の撮像データ表示処理を示すフローチャートである。
図18】実施の形態2にかかる通信端末の構成を示すブロック図である。
図19】実施の形態2にかかる撮像装置のCPUの機能ブロックを示すブロック図である。
図20】実施の形態2にかかる通信端末のCPUの機能ブロックを示すブロック図である。
図21】実施の形態2にかかる通信端末の削減度合調整処理を示すフローチャートである。
図22】実施の形態2にかかる撮像装置の削減度合調整情報受信処理を示すフローチャートである。
図23】実施の形態2にかかる撮像装置の削減度合導出処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
<<発明の実施の形態1>>
<撮像データ配信システム1の構成>
以下に図面を参照しながら、本発明に係る撮像データ配信システム及びその構成機器の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお本明細書及び図面において、実質的に同一の機能・構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。まず図1を用いて撮像データ配信システム1の構成を説明する。
【0011】
撮像データ配信システム1は、撮像装置10及び通信端末20を有する。撮像装置10及び通信端末20は、無線又は有線のネットワークを介して、撮像データをはじめとした各種情報を相互に送受信する。まず以下に各機器間のネットワーク通信について説明する。
【0012】
撮像装置10と通信端末20とは、インターネットにおける通信規格に基づく有線通信又は無線通信を介して、相互にデータを送受信する。この無線通信として例えばWi−Fi(登録商標)が考えられる。また通信規格として例えば3G、3.5G、及び、4G(LTE)といった携帯電話向けの無線通信規格を利用してもよい。この場合、撮像装置10と通信端末20との間で、携帯電話基地局及び携帯電話網と、インターネットとを接続するゲートウェイ等を介して各種データが送受信されることになる。次に撮像データ配信システム1を構成する撮像装置10及び通信端末20の各機器の概要について順に説明する。
【0013】
撮像データ配信システム1が有する撮像装置10は、例えばウェブストリーミングカメラ(ウェブカメラ又はインターネットカメラ等とも呼ばれる)といった通信機能及び動画像撮像機能を備えた電子機器である。撮像装置10は、動画像を撮像して、撮像に係る撮像データを通信端末20に対して配信することができる。
【0014】
具体的には、撮像装置10は、フレームやピクチャと呼ばれる画像単位毎のデータから構成される撮像データ(以下、この画像単位毎のデータを単に「フレーム」と総称する。)を生成し、通信端末20に送信する。ここで撮像装置10は、通信端末20との間のネットワークにおける通信速度を算出し、算出した通信速度に基づいて撮像データの送信遅延を低減することができるように、撮像データのデータ量を削減する度合を削減度合として導出する。導出される削減度合が大きい程、撮像データから削減されるフレームの枚数が多くなり、導出される削減度合が小さい程、撮像データから削減されるフレームの枚数は少なくなる。
【0015】
そして撮像装置10は、導出した削減度合に基づいて、生成した撮像データから所定のフレームを間引く処理を行い、間引かれずに残ったフレーム群を、送信対象となる撮像データとして通信端末20に送信する。これによって通信端末20が、撮像装置10から送信された撮像データに係る動画像を表示する場合に、撮像装置10から通信端末20への撮像データの送信遅延が低減され、通信端末20における動画像の表示遅延が低減される。
【0016】
また撮像装置10は、前述した撮像データから所定のフレームを間引く処理を実施する際に、各フレームの重要度を示すスコアを算出し、算出したスコアが低いフレームを優先的に間引き対象とする。そして通信端末20は、スコアが低いフレームが間引かれた、スコアの高いフレームからなる撮像データを受信し、その受信された撮像データに係る動画像を表示する。これによって、通信端末20のユーザは、撮像装置10が撮像している被写体の状況を、正しく把握することが可能となる。以下、フレームの重要度が高くなるに従って、算出されるスコアはより高くなるものとして説明する。
【0017】
撮像データ配信システム1が有する通信端末20は、例えば携帯電話、PHS(Personal Handyphone System)、タブレットPC(Personal Computer)、ノートPC、又はデスクトップPCといった各種通信機能及び画像表示機能を備えた情報処理装置である。ここで携帯電話には、いわゆるスマートフォンが含まれる。通信端末20は、撮像装置10から配信された撮像データに係る動画像を表示する。
【0018】
具体的には、通信端末20は、撮像装置10から送信された撮像データを受信し、受信した撮像データを構成する各フレームに係る画像を順次表示することで、撮像装置10によって撮像された動画像を表示する。これによって、通信端末20に表示される動画像の観察者は、表示された動画像によって撮像場所の状況を観察することができる。
【0019】
<撮像装置10の構成>
続いて撮像データ配信システム1が有する撮像装置10の構成について説明する。図2は撮像装置10の構成を概略的に示したブロック図である。なお、説明及び理解の容易のため、本発明と関係のない処理を司るブロックを省略する等、この図2の記載は簡略化されている。
【0020】
撮像装置10は、CPU(Central Processing Unit)100、撮像部101、A/D変換部102、メモリ103、送信バッファ104、通信部105、バス120を有する。撮像装置10が有するこれらの各構成について以下に順に説明する。
【0021】
CPU100は、各種プログラムが格納されたROM(Read Only Memory)、及びワークエリアとしてのRAM(Random Access Memory)等を含む半導体集積回路により構成される。CPU100は、撮像装置10が行う各種処理を統括的に制御する。CPU100が、各種プログラムを実行することで、この統括的な制御が実現される。すなわちCPU100は、前述の通信速度の算出、削減度合の導出、撮像データを構成する各フレームのスコアの算出、削減度合及びスコアに基づく撮像データの削減、並びに、削減後に残った撮像データの送信等の処理について、各処理に応じたプログラムを実施することで統括制御を実施する。
【0022】
撮像部101は、レンズ110及び撮像素子111を有する。撮像素子111は、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等である。撮像部101は、レンズ110を通過した光を撮像素子111によって光電変換することにより撮像対象の動画像を示すアナログ画像信号をアナログ形式の撮像データとして生成し、A/D変換部102に出力する。
【0023】
A/D変換部102は、撮像部101から出力されたアナログ画像信号をA/D変換してデジタル画像データを生成する。A/D変換部102は、生成したデジタル画像データをデジタル形式の撮像データとしてメモリ103に格納する。
【0024】
メモリ103は、各種デジタル画像データの一時記憶領域として使用されるとともに、CPU100の演算作業領域及びCPU100に実行されるプログラムの格納領域としても使用される。メモリ103は、1つ以上の任意の記憶装置によって構成される。ここで記憶装置は、揮発性記憶装置又は不揮発性記憶装置である。揮発性記憶装置は、例えばSRAM(Static Random Access Memory)やDRAM(Dynamic Random Access Memory)等である。不揮発性記憶装置は、例えばフラッシュメモリである。
【0025】
送信バッファ104は、CPU100の指示に応じて、通信端末20に送信する各種情報を格納する。この各種情報には、前述の撮像データが含まれる。送信バッファ104は、FIFO(First In First Out)方式で格納されるキューとして機能する。すなわち送信バッファ104に格納された撮像データは、最先に格納されたフレームから順に通信部105によって取り出されて、通信端末20に送信される。送信バッファ104は、1つ以上の任意の揮発性記憶装置によって構成される。
【0026】
通信部105は、送信バッファ104に格納された各種情報を取得し、通信端末20に送信する。また通信部105は、通信端末20から送信された各種情報を受信してCPU100をはじめとした各部に出力する。なお通信部105は、通信端末20から受信した各種情報を受信バッファを介してCPU100等に出力するようにしてもよい。通信部105は前述した無線又は有線のネットワークを利用してこれらの各種情報の送受信を行う。
【0027】
バス120は、CPU100、A/D変換部102、メモリ103、送信バッファ104、及び通信部105を相互に接続する。CPU100、A/D変換部102、メモリ103、送信バッファ104、及び通信部105は、相互にバス120を介して各種情報を受け渡す。
【0028】
<通信端末20の構成>
続いて撮像データ配信システム1が有する通信端末20の構成について説明する。図3は通信端末20の構成を概略的に示すブロック図である。なお、説明及び理解の容易のため、本発明と関係のない処理を司るブロックを省略する等、この図3の記載は簡略化されている。
【0029】
通信端末20は、CPU200、メモリ201、VRAM(Video RAM)202、D/A変換部203、モニタ204、通信部205、及びバス220を有する。通信端末20が有するこれらの構成について以下に順に説明する。
【0030】
CPU200は、各種プログラムが格納されたROM、及びワークエリアとしてのRAM等を含む半導体集積回路により構成される。CPU200は、通信端末20が行う各種処理を統括的に制御する。CPU200が、各種プログラムを実行することで、この統括的な制御が実現される。すなわちCPU200は、前述の撮像データの受信及び撮像データの表示等の処理について、各処理に応じたプログラムを実施することで統括制御を実施する。
【0031】
メモリ201は、各種デジタル画像データの一時記憶領域として使用されるとともに、CPU200の演算作業領域及びCPU200に実行されるプログラムの格納領域としても使用される。メモリ201は、1つ以上の任意の記憶装置によって構成される。ここで記憶装置は、揮発性記憶装置又は不揮発性記憶装置である。
【0032】
VRAM202は、モニタ204に表示される画像のデジタル画像データの一時記憶領域として使用される。VRAM204には、デジタル形式の撮像データ、各種メニュー画像データ、及び各種アプリケーションに係るGUI(Graphic User Interface)画像等の各種デジタル画像データが格納される。
【0033】
D/A変換部203は、VRAM202に格納されたデジタル画像データを取得し、取得したデジタル画像データをD/A変換してアナログ画像信号を生成する。D/A変換部203は、生成したアナログ画像信号をモニタ204に出力する。
【0034】
モニタ204は、D/A変換部203から出力されたアナログ画像信号に基づいて、そのアナログ画像信号が示す画像を表示する。モニタ204には、例えば液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイ等を採用することができる。
【0035】
通信部205は、CPU200をはじめとした各部から出力された各種情報を撮像装置10に送信する。また通信部205は、撮像装置10から送信された各種情報を受信してCPU200等に出力する。なお通信部205は、CPU200等から出力された各種情報を送信バッファを介して取得するようにしてもよく、撮像装置10から受信した各種情報を受信バッファを介してCPU200等に出力するようにしてもよい。通信部205は前述した無線又は有線のネットワークを利用してこれらの各種情報の送受信を行う。
【0036】
バス220は、CPU200、メモリ201、VRAM202、D/A変換部203、通信部205を相互に接続する。CPU200、メモリ201、VRAM202、D/A変換部203、通信部205は、相互にバス220を介して各種情報を受け渡す。
【0037】
<撮像装置10のCPU100の機能>
続いて撮像装置10のCPU100の機能の詳細について説明する。図4は撮像装置10のCPU100の機能ブロックを示すブロック図である。
【0038】
CPU100は、通信速度算出部1000、削減度合導出部1001、スコア算出部1002、撮像データ削減部1003としても機能する。CPU100が有するこれらの機能ブロックについて以下に順に説明する。
【0039】
通信速度算出部1000は、撮像装置10と通信端末20との間のネットワークの通信速度を算出する。通信速度算出部1000は、送信バッファ104に格納された撮像データ(以下、「送信撮像データ」とも呼ぶ)の送信状況に基づいて通信速度を算出する。
【0040】
削減度合導出部1001は、通信速度算出部1000が算出した通信速度に基づいて、撮像部101によって生成された撮像データ(以下、「生成撮像データ」とも呼ぶ)のデータ量を削減する度合を削減度合として算出する。なお削減度合が大きくなるに従って、生成撮像データから削減されるフレームの枚数が多くなり、削減度合が小さくなるに従って、生成撮像データから削減されるフレームの枚数は少なくなる。
【0041】
スコア算出部1002は、撮像部101によって生成された生成撮像データを構成する各フレームのスコアを算出する。
【0042】
撮像データ削減部1003は、削減度合導出部1001が算出した削減度合に基づいて、スコア算出部1002が算出したスコアが低いフレームから優先的に通信端末20への送信対象から間引く。撮像データ削減部1003は、間引かれずに残ったフレーム群を、通信端末20に送信する送信撮像データとして送信バッファ104に格納する。これによって、送信バッファ104に格納された送信撮像データが、通信部105によって通信端末20に送信される。
【0043】
<撮像装置10の削減度合導出処理の概要>
続いて撮像装置10の削減度合導出処理について説明する。図5は、撮像装置10の削減度合導出処理を示すフローチャートである。
【0044】
通信速度算出部1000は、通信端末20に対する送信撮像データの送信状況に基づいて、撮像装置10と通信端末20との間のネットワークの通信速度を算出する(S1)。削減度合導出部1001は、通信速度算出部1000が算出した通信速度に基づいて、その通信速度で送信撮像データの送信遅延が発生しないように生成撮像データの削減度合を導出する(S2)。
【0045】
なお上記削減度合導出処理は、任意のタイミングで実行するようにしてよい。例えば、通信部105による生成撮像データの送信開始から送信終了までの間の期間において、予め任意に定めた一定時間間隔で実行するようにしてよい。
【0046】
<撮像装置10の削減度合導出処理の詳細>
ここで削減度合として、以下の(1)及び(2)の少なくとも1つを利用することができる。
(1)間引き率
(2)スコア閾値
【0047】
削減度合を間引き率を利用して導出する場合、撮像データ削減部1003は、スコアの低いフレームから順に間引きの対象として特定し、生成撮像データが所定の間引き率に達するまで、この特定を行う。
【0048】
スコア閾値は、間引き対象としてもよいスコアの低いフレームと、間引き対象とすべきでないスコアの高いフレームとを判別するために、間引き対象としてもよい低いスコアの範囲と、間引き対象とすべきでない高いスコアの範囲との境界を規定する閾値である。すなわち削減度合としてスコア閾値を利用する場合、撮像データ削減部1003は、スコア閾値未満のスコアとなるフレームを間引き対象として決定する。
【0049】
(1)及び(2)のいずれを削減度合として利用する場合もスコアの低いフレームが優先的に間引かれる。(1)及び(2)のそれぞれを利用する場合におけるフレーム導出方法について以下に順に説明する。
【0050】
(1)間引き率
削減度合を間引き率を利用して導出する場合における削減度合導出方法について説明する。図6は、削減度合を間引き率を利用して導出する場合における削減度合導出処理を示すフローチャートである。以下、ステップS11、S12は前述のステップS1に対応し、ステップS13は前述のステップS2に対応する。
【0051】
通信速度算出部1000は、通信端末20に送信される送信撮像データのうち、所定の通信速度導出時間当たりに生成される数のフレーム群を、通信速度のチェック対象として決定する(S11)。ここで通信速度導出時間を1秒間とし、撮像装置10が、その通信速度導出時間(1秒間)当たりに15フレームからなる生成撮像データを生成したとして説明を続ける。この場合、通信速度算出部1000は、図7Aに示すように、通信端末20に連続して送信される任意の15個のフレームを通信速度のチェック対象として決定する。
【0052】
なお図7Aでは、理解を容易にするために、送信バッファ104に格納されている送信撮像データから、通信速度のチェック対象とする15個のフレームの全てを選択する場合について例示しているが、通信端末20に連続して送信される15個のフレームであれば、選択対象とするフレームは、同時に送信バッファ104に格納される場合に限られない。送信バッファ104に格納されているフレーム及びその後に送信バッファ104に格納されるフレームから、通信速度のチェック対象とする合計15個のフレームを選択するようにしてもよい。
【0053】
通信速度算出部1000は、最初のチェック対象のフレームの送信開始時から、通信速度導出時間経過後までに送信が完了したチェック対象のフレームの数を算出する(S12)。具体的には、通信速度算出部1000は、送信バッファ104に残っているフレームを参照することで、最初に送信されるチェック対象のフレームの送信開始時から、通信速度導出時間(1秒間)の経過後までに通信端末20への送信が完了したチェック対象のフレームの数を算出する。すなわち通信速度算出部1000は、通信速度導出時間当たりに送信されるフレーム数(送信撮像データ量)を通信速度として算出する。
【0054】
例えばCPU100が送信撮像データを送信バッファ104に格納する際に送信撮像データに対してその送信撮像データを構成する各フレームを一意に特定することができる情報を付加して格納する。そして通信速度算出部1000がその情報に基づいて送信撮像データを構成する各フレームを一意に特定して、チェック対象とした各フレームが送信されたか否かを判断可能し、通信端末20への送信が完了したチェック対象のフレームの数を算出可能とすればよい。
【0055】
図6に戻り、削減度合導出部1001は、通信速度算出部1000が算出した、通信速度導出時間当たりに送信が完了したチェック対象のフレーム数に基づいて間引き率を導出する(S13)。具体的には、通信速度導出時間(1秒間)当たりに生成される数(15個)のフレームが、通信速度導出時間(1秒間)のうちに全て送信されていない場合には、送信遅延が発生していることになる。またこの場合には、以降も順次、送信バッファ104に送信撮像データが蓄積されていき、バッファオーバーフローを引き起こすおそれもある。そのため削減度合導出部1001は、送信遅延が発生しないようにするために、通信速度導出時間(1秒間)当たりに生成されるフレーム数(15個)に対して、通信速度導出時間(1秒間)当たりに送信が完了したチェック対象のフレーム数のフレームのみが送信対象となるように間引き率を決定する。
【0056】
例えば図7Bに示すように、15個のチェック対象のフレームのうち、通信速度導出時間経過後に8個のフレームの送信が完了していた場合には、削減度合導出部1001は、通信速度導出時間(1秒間)当たりに生成されるフレーム数(15個)に対して間引くフレーム数を7個として間引き率を導出する。すなわち削減度合導出部1001は、通信速度導出時間(1秒間)当たりに生成されるフレーム数(15個)に対する間引き率として、通信速度導出時間当たりに生成される生成撮像データのフレーム数(15個)から、通信速度算出において送信が完了していたフレーム数(8個)を減算した数(7個)を導出する。これによれば、ネットワークの通信速度が1秒間に8個のフレームのみを送信可能な状態であることに合わせて、1秒間に生成される15個のフレームのうち8個のフレームのみを送信撮像データとして残すことができるため、送信遅延を発生させることがない。
【0057】
また例えば図7Cに示すように、15個のチェック対象のフレームのうち、全ての送信が完了していた場合には、削減度合導出部1001は、1秒間に生成されるフレーム数(15個)に対して間引くフレーム数を0個として間引き率を導出する。すなわち削減度合導出部1001は、通信速度導出時間当たりに生成されるフレーム数(15個)に対して1つのフレームも間引かない間引き率を導出する。この場合は、ネットワークの通信速度が1秒間の間に、1秒間に生成される15個のフレームの全てを送信撮像データとして送信可能な状態となっているため、生成撮像データからフレームを間引かなくても送信遅延が発生することはないからである。
【0058】
なお上記説明では、通信速度導出時間当たりに生成されるフレーム数に対して、通信速度導出時間当たりに実際に送信できなかったフレーム数の割合を間引き率として導出するようにしているが、これに限られない。例えば通信速度導出時間当たりに生成されるフレーム数から、通信速度導出時間当たりに実際に送信できなかったフレーム数よりも少ない数のフレームを間引くように間引き率を導出してもよい。このようにしても送信撮像データの送信遅延を低減することができるからである。しかしこの場合には、徐々に送信遅延量が大きくなっていくことになる。つまり送信バッファ104における送信撮像データを構成するフレームの蓄積量が徐々に大きくなっていき、最終的にバッファオーバーフローを引き起こしてしまうおそれがある。そのため好ましくは、前述の通り通信速度導出時間当たりに生成されるフレーム数から、通信速度導出時間当たりに実際に送信できなかったフレーム数のフレームを間引くように間引き率を導出するとよい。これによれば、ネットワークの通信速度に対して送信遅延を発生させることがないからである。
【0059】
また通信速度導出時間当たりに生成されるフレーム数から、通信速度導出時間当たりに実際に送信できなかったフレーム数よりも大きい数のフレームを間引くように間引き率を導出してもよい。このようにしても送信撮像データの送信遅延を発生させることがないからである。しかしこの場合には、送信バッファ104における送信撮像データを構成するフレームの蓄積量が徐々に小さくなっていき、最終的にバッファアンダーフローを引き起こしてしまうおそれがある。そのため好ましくは、前述の通り通信速度導出時間当たりに生成されるフレーム数から、通信速度導出時間当たりに実際に送信できなかったフレーム数のフレームを間引くように間引き率を導出するとよい。これによれば、ネットワークの通信速度に対して送信が過剰となることがないからである。
【0060】
(2)スコア閾値
続いて、削減度合をスコア閾値を利用して導出する場合における削減度合導出方法について説明する。図8は、削減度合をスコア閾値を利用して導出する場合における削減度合導出処理を示すフローチャートである。ステップS21はステップS1に対応し、ステップS22〜S25はステップS2に対応する。
【0061】
通信速度算出部1000は、送信バッファ104に格納されている送信撮像データを構成するフレーム数を算出する(S21)。
【0062】
この削減度合導出方法では、所定の基準数に対して送信バッファ104に格納されているフレーム数が一致し続ける場合には、ある時間当たりに生成されるフレーム数と、その時間当たりに通信端末20に送信撮像データとして送信されるフレーム数が一致しており、送信遅延及び過剰送信が発生しない適切な通信速度で送信撮像データが送信されていると判断する。よって送信バッファ104に格納されているフレーム数が基準数以上であると算出された場合には、送信遅延が発生して送信バッファ104のフレーム数が増加しており、送信バッファ104に格納されているフレーム数が基準数以下であると算出された場合には、過剰送信が発生して送信バッファ104のフレーム数が減少していると判断する。すなわち通信速度算出部1000は、所定の基準数に対する送信バッファ104のフレーム数として、生成撮像データの生成速度と一致する適切な通信速度に対する相対的な通信速度を算出する。つまり送信バッファ104のフレーム数が基準数以上である場合、ネットワークの通信速度が適切な通信速度に対して相対的に遅くなっており、送信バッファ104のフレーム数が基準数未満である場合、ネットワークの通信速度が適切な通信速度に対して相対的に速くなっていると分かる。なお、この基準数として、送信バッファ104の容量に応じて、少しのフレーム数の増減ではバッファアンダーフロー又はバッファオーバーフローが発生しない程度の適度なフレーム数を設定するとよい。
【0063】
通信速度算出部1000によって送信バッファ104に格納されているフレーム数が基準数以上であると算出された場合(S22:基準数以上)、削減度合導出部1001は、スコア閾値を増加させる(S23)。ここで送信バッファ104に格納されているフレーム数が基準数以上である場合には、生成撮像データの生成速度に対して送信遅延が発生しており、送信バッファ104に格納されるフレーム数が増加してきていることになる。そのため削減度合導出部1001は、スコア閾値を増加させて間引き対象となるフレーム数を増加させる。これによれば、通信端末20への送信対象となるフレーム数を減少させて、送信遅延を抑制することができる。またバッファオーバーフローの発生も抑制することができる。
【0064】
通信速度算出部1000は、送信バッファ104に格納されているフレーム数が基準数未満であると算出された場合(S22:基準数未満)、削減度合導出部1001は、スコア閾値を減少させる(S24)。ここで送信バッファ104に格納されているフレーム数が基準数未満である場合には、生成撮像データの生成速度に対して送信遅延は発生していないが、過剰送信が発生しており、送信バッファ104に格納されるフレーム数が減少してきていることになる。そのため削減度合導出部1001は、スコア閾値を減少させて間引き対象となるフレーム数を減少させる。これによれば、通信端末20への送信対象となるフレーム数を増加させて、過剰送信を抑制することができる。またバッファアンダーフローの発生も抑制することができる。
【0065】
通信速度算出部1000は、送信バッファ104に格納されているフレーム数が基準数と一致すると算出された場合(S22:一致)、削減度合導出部1001は、スコア閾値を変更しない(S25)。送信バッファ104に格納されているフレーム数が基準数と一致する場合には、生成撮像データの生成速度に対して送信遅延も過剰送信も発生していないからである。
【0066】
なお前述の説明では、適切な通信速度で送信撮像データが送信されている場合における送信バッファ104のフレーム数として、1つの数のみを示す基準数を用いる例について説明したが、適切と判断する送信バッファ104のフレーム数には一定の幅をもたせるようにしてもよい。例えば、送信バッファ104のフレーム数が50個以上の場合はスコア閾値を増加させるようにし、送信バッファ104のフレーム数が5個未満の場合はスコア閾値を減少させるようにし、送信バッファ104のフレーム数が50個未満かつ5個以上の場合にはスコア閾値を変更しないようにしてもよい。すなわち第1の基準数と、それよりも小さい第2の基準数とを予め定めておき、送信バッファ104のフレーム数が第1の基準数以上の場合にはスコア閾値を増加させるようにし(S23)、送信バッファ104のフレーム数が第2の基準数未満の場合にはスコア閾値を減少させるようにし(S24)、送信バッファ104のフレーム数が第1の基準数未満かつ第2の基準数以上の場合には、スコア閾値を変更しない(S25)ようにしてもよい。
【0067】
<撮像装置10による撮像データ削減処理の概要>
続いて撮像装置10による撮像データ削減処理について説明する。図9は、撮像装置10の撮像データ削減処理を示すフローチャートである。
【0068】
撮像部101は、任意の被写体や風景を撮像し、撮像対象の動画像を示すアナログ画像信号をアナログ形式の生成撮像データとして生成し、A/D変換部102に出力する(S31)。A/D変換部102は、撮像部101から出力されたアナログ画像信号をA/D変換してデジタル形式の生成撮像データを生成する(S32)。メモリ103は、生成されたデジタル形式の生成撮像データを格納する。
【0069】
スコア算出部1002は、メモリ103に格納された生成撮像データにおける各フレームのスコアを算出する(S33)。スコア算出部1002は、生成撮像データにおける各フレームから算出したスコアを、そのフレームと対応付けてメモリ103に格納する。
【0070】
ステップS31〜S33は、所定の間引き対象判断時間当たりに生成されるフレーム数の生成撮像データについてスコアが算出されるまで繰り替えされる(S34:No)。
【0071】
間引き対象判断時間当たりに生成される数のフレームのスコアが算出された場合(S34:Yes)、撮像データ削減部1003は、削減度合導出部1001によって算出された削減度合と、スコア算出部1002によって算出されたスコアとに基づいて、間引き対象判断時間当たりに生成されたフレームから間引き対象とするフレームを判断する(S35)。撮像データ削減部1003は、間引き対象として判断したフレームを間引く(S36)。このとき撮像データ削減部1003は、メモリ103からの間引き対象として判断したフレームを削除する等の処理を行う。
【0072】
撮像データ削減部1003は、間引かれずに残ったフレーム群を送信バッファ104に送信撮像データとして格納する。例えば撮像データ削減部1003は、削除されずにメモリ103に残っているフレームを取得し、送信撮像データとして送信バッファ104に格納する。通信部105は、送信バッファ104に格納された送信撮像データを通信端末20に送信する(S37)。以上に説明したようにして、撮像データ削減部1003は、順次、間引き対象判断時間単位で間引き対象のフレームを判断し、間引いていく。
【0073】
<撮像装置10による撮像データ削減処理の詳細(スコア算出処理)>
続いて撮像装置10のスコア算出処理について説明する。撮像装置10のスコア算出部1002は、前述のステップS33において、以下の(1)〜(5)のスコア算出基準の少なくとも1つに基づいて、生成撮像データを構成する各フレームのスコアを算出する。(1)〜(5)のスコア算出基準のそれぞれについて以下に順に説明する。
(1)顔の大きさ
(2)顔の数
(3)顔の大きさの変化
(4)顔の数の変化
(5)移動ベクトル
【0074】
(1)顔の大きさ
スコア算出部1002は、撮像画像中における、被写体である人物の顔画像の大きさ(面積)が大きい場合に、小さい場合に比べて高いスコアを算出する。換言すると、スコア算出部1002は、撮像画像中における、被写体である人物の顔画像の大きさ(面積)が小さい場合に、大きい場合に比べて低いスコアを算出する。
【0075】
ここで、画像全体の面積に占める顔画像の面積が大きい場合、面積が小さい場合に比べて、撮像装置10に対してより近い位置に被写体となる人が存在することになる。このように被写体となる人が近い場合には、その画像の重要性が高いことが多い。そこで、このスコア算出基準では、スコア算出部1002は、あるフレームに係る画像中において人の顔の大きさが大きい場合には、小さい場合に比べて高いスコアを算出し、そのフレームが間引きされにくくなるようにする。
【0076】
ここでスコアは、人の顔の大きさが大きい場合ほど、より高い値となるように算出されるのであれば、どのように算出されてもよい。例えばスコア算出部1002は、顔検出によって検出された人の顔に対応する領域の縦の長さ又は横の長さに所定の係数を乗じた値をスコアとして算出するようにしてよい。
【0077】
なお人の顔の大きさが大きくなるに従って、より高い値となるようにスコアを算出するようにしているが、顔の大きさに代えて又はそれに加えて、顔の表情を認識し、認識した表情の種類に応じてスコアを高くするようにしてもよい。例えば笑い顔の場合は、他の表情と比較してスコアをより高く算出する等してよい。
【0078】
(2)顔の数
スコア算出部1002は、撮像画像中における、被写体である人物の顔画像の数が多い場合に、少ない場合に比べて高いスコアを算出する。換言すると、スコア算出部1002は、撮像画像中における、被写体である人物の顔画像の数が少ない場合に、多い場合に比べて低いスコアを算出する。
【0079】
ここで人の顔の数が多い場合、被写体となっている人が多く存在することになる。このように被写体となる人が多い場合には、その画像の重要性が高いことが多い。そこで、このスコア算出基準では、スコア算出部1002は、あるフレームに係る画像中において顔検出された人の顔の数が多い場合には、少ない場合に比べて高いスコアを算出し、そのフレームが間引きされにくくなるようにする。
【0080】
ここでスコアは、人の顔の数が多い場合ほど、より高い値となるように算出されるのであれば、どのように算出されてもよい。例えばスコア算出部1002は、顔検出によって取得した人の顔の数に所定の係数を乗じた値をスコアとして算出するようにしてよい。
【0081】
(3)顔の大きさの変化
スコア算出部1002は、撮像画像中における、被写体である所定の人物の顔画像の大きさが変化している場合に、変化しない場合と比べて高いスコアを算出する。換言すれば、スコア算出部1002は、撮像画像中における、被写体である所定の人物の顔画像の大きさが変化しない場合に、変化した場合と比べて低いスコアを算出する。
【0082】
一般的にある場所の状況を観察する場合、その場所の状況が変化する過渡的な状態を捉えることが重要となってくる。そこで、このスコア算出基準では、スコア算出部1002は、フレーム間で人の顔の大きさが変化している場合には、変化していない場合に比べて高いスコアを算出し、それらのフレームが間引きされにくくするようにする。
【0083】
ここでスコアは、人の顔の大きさが変化している場合に、変化しない場合に比べて高い値となるように算出されるのであれば、どのように算出されてもよい。例えばスコア算出部1002は、顔認識によって取得した人の顔の大きさが変化している場合には第1の所定値をスコアとして算出し、人の顔の大きさに変化が変化していない場合には第1の所定値よりも低い第2の所定値をスコアとして算出するようにしてよい。
【0084】
なお顔の大きさの変化が微量である場合は、ほとんど状況が変化しておらず、あまり重要ではない。そのためスコア算出部1002は、例えば顔の大きさの変化率が所定の変化率閾値よりも大きい場合に、顔の大きさが変化していると判断するようにしてよい。
【0085】
また顔の大きさの変化の比較対象とするフレームは、スコア算出対象とするフレームの前後に生成されたフレームのいずれを利用するようにしてもよい。しかし好ましくは、スコア算出対象とするフレームの直近に生成されたフレーム(1つ前又は1つ後のフレーム)を比較対象とするとよい。撮像したタイミングがあまりにかけ離れたフレームを比較対象として利用してしまうと、直近のフレームが示す画像とは顔の大きさが変化している場合であっても、比較対象としたフレームが示す画像とでは顔の大きさの変化がなく、本来大きく算出すべきスコアが低く算出されてしまう可能性があるからである。
【0086】
(4)顔の数の変化
スコア算出部1002は、撮像画像中における、被写体である所定の人物の顔の数が変化している場合に、変化しない場合と比べて高いスコアを算出する。換言すれば、スコア算出部1002は、撮像画像中における、被写体である所定の人物の顔の数が変化しない場合に、変化した場合と比べて低いスコアを算出する。
【0087】
前述したように一般的にある場所の状況を観察する場合、その場所の状況が変化する過渡的な状態を捉えることが重要となってくる。そこで、このスコア算出基準では、スコア算出部1002は、フレーム間で撮像されている人の顔の数が変化している場合には、変化していない場合と比べて高いスコアを算出し、それらのフレームが間引きされにくくするようにする。
【0088】
ここでスコアは、人の顔の数が変化している場合に、変化しない場合に比べて高い値となるように算出されるのであれば、どのように算出するようにしてもよい。例えばスコア算出部1002は、顔認識によって取得した人の顔の数が変化している場合には第1の所定値をスコアとして算出し、人の顔の数に変化が変化していない場合には第1の所定値よりも低い第2の所定値をスコアとして算出するようにしてよい。
【0089】
また顔の数の変化の比較対象とするフレームは、スコア算出対象とするフレームの前後に生成されたフレームのいずれを利用するようにしてもよい。しかし好ましくは、スコア算出対象とするフレームの直近に生成されたフレーム(1つ前又は1つ後のフレーム)を比較対象とするとよい。撮像したタイミングがあまりにかけ離れたフレームを比較対象として利用してしまうと、直近のフレームが示す画像とは顔の数が変化している場合であっても、比較対象としたフレームが示す画像とでは顔の数の変化がなく、本来大きく算出すべきスコアが低く算出されてしまう可能性があるからである。
【0090】
なお前述の(1)〜(4)のスコア算出処理における人の顔の認識は、既知の一般的な顔検出技術をのうち任意の技術を利用して行えばよい。
【0091】
(5)移動ベクトル
このスコア算出基準では、スコア算出部1002は、フレーム間で所定の被写体の移動ベクトルが検出された場合、それらのフレームのスコアを高く算出する。言い換えると、スコア算出部1002は、フレーム間において被写体の移動ベクトルがない場合、それらのフレームのスコアを低く算出する。なお人、動物、及び車等の移動物体のうち、任意の移動物体を移動ベクトルの検出対象の被写体として定めるようにしてよい。
【0092】
前述したように一般的にある場所の状況を観察する場合、その場所の状況が変化する過渡的な状態を捉えることが重要となってくる。そこで、このスコア算出基準では、スコア算出部1002は、フレーム間で被写体の移動ベクトルがある場合には、移動ベクトルがない場合に比べて高いスコアを算出し、それらのフレーム又はそれらの間のフレームが間引きされにくくするようにする。
【0093】
ここでスコアは、移動ベクトルがある場合に、ない場合に比べて高い値となるように算出されるのであれば、どのように算出されてもよい。例えばスコア算出部1002は、移動ベクトルがある場合には第1の所定値をスコアとして算出し、移動ベクトルがない場合には第1の所定値よりも低い第2の所定値をスコアとして算出するようにしてよい。
【0094】
なお移動ベクトルの大きさが微小である場合は、ほとんど状況が変化しておらず、あまり重要ではない。そのためスコア算出部1002は、例えば移動ベクトルの大きさが所定の移動ベクトル閾値よりも大きい場合に、移動ベクトルがあると判断するようにしてよい。また移動ベクトルが大きくなるに従って、より高くなるようにスコアを算出するようにしてもよい。
【0095】
また移動ベクトルの算出に利用するフレームは、スコア算出対象とするフレームの前後に生成されたフレームのいずれを利用するようにしてもよい。しかし好ましくは、スコア算出対象とするフレームの直近に生成された所定数のフレーム(例えば前後所定数の範囲内から選択した所定数のフレーム)を利用するとよい。スコア算出対象のフレームと撮像したタイミングがあまりにかけ離れたフレームを利用してしまうと、直近のフレームが示す画像では移動ベクトルが大きさをもって算出される程の変化がある場合であっても、算出に利用としたフレームが示す画像では移動ベクトルが大きさをもって算出されず、本来大きく算出すべきスコアが低く算出されてしまう可能性があるからである。
【0096】
ここで前述の生成撮像データとして、CPU100が撮像部101によって生成された撮像データに基づいてMPEG(Moving Picture Experts Group)形式の撮像データを生成してメモリ103に格納するようにしてもよい。すなわち、CPU100は、撮像部101によって生成された生成撮像データを構成する各フレームに基づいてMPEGにおけるIフレーム、Pフレーム、又はBフレームを生成し、それらのフレーム群を生成撮像データとしてメモリ103に格納するようにしてもよい。この場合、スコア算出対象のフレームがPフレーム又はBフレームである場合には、そのスコア算出対象のフレームに動きベクトルを示す情報が含まれている。したがって、この場合には、スコア算出対象のフレームのみに基づいて、動きベクトルを検出し、スコアを算出するようにしてよい。
【0097】
なお前述の(1)〜(5)のスコア算出方法の2つ以上を組み合わせてスコアを算出する場合には、それぞれのスコア算出方法で算出したスコアを加算する又はそれぞれのスコア算出基準で算出したスコアの平均値をスコアとする等して、総合的な数値をスコアとして算出するようにすればよい。
【0098】
<撮像装置10による撮像データ削減処理の詳細(間引き対象判断処理)>
続いて撮像装置10の間引き対象判断処理について説明する。撮像装置10の撮像データ削減部1003は、前述のステップS35において、以下の(1)〜(4)のいずれかの間引き対象判断方法に基づいて間引き対象とするフレームを判断する。(1)〜(4)の間引き対象判断方法のそれぞれについて以下に順に説明する。
(1)削減度合として間引き率を利用する方法
(2)削減度合としてスコア閾値を利用する方法
(3)削減度合として間引き率及びスコア閾値を利用する方法(送信優先)
(4)削減度合として間引き率及びスコア閾値を利用する方法(間引き優先)
【0099】
以下、前述と同様に所定の通信速度導出時間を1秒間とし、撮像装置10がその通信送度導出期間(1秒間)当たりに15フレーム分のデータを生成するものとして、(1)〜(4)の間引き対象判断方法のそれぞれについて説明する。
【0100】
(1)削減度合として間引き率を利用する方法
この間引き対象判断方法では、撮像データ削減部1003は、所定の間引き対象判断時間当たりに生成されたフレームの中から、削減度合導出部1001によって導出された間引き率に達するまで、スコアの低いフレームから順に間引き対象として判断する。以下、間引き対象判断時間が、通信速度導出時間と同じ1秒間であるものとして説明する。
【0101】
ここで1秒間に生成された15個のフレームのそれぞれのスコアが、図10に示すように算出されたものとして説明する。図10では、フレームを生成順に「フレーム1」、「フレーム2」、・・・、「フレーム14」、「フレーム15」として示している。また、それぞれのフレームのスコアは生成順に「120」、「120」、「120」、「110」、「80」、「80」、「60」、「50」、「50」、「70」、「50」、「80」、「100」、「100」、「100」と算出されたものとして説明する。
【0102】
ここで撮像装置10と通信端末20の間のネットワークの通信速度が1秒間に15個のフレームを送信することができる通信速度である場合には、図11に示すように送信遅延なく、1秒間に生成される15個のフレームが送信撮像データとして送信される。しかし撮像装置10と通信端末20の間のネットワークの通信速度が低下しており、1秒間に15個のフレームのうち、例えば12個のフレームしか送信することができない通信速度となってしまっている場合には、図12に示すように送信遅延が発生してしまう。すなわち図12に示すように、図11では15個のフレームの送信が完了していたタイミング(図11及び図12の300の時点)の後に、13個目〜15個目の3個のフレームが送信されることになる。
【0103】
このような通信速度となっている場合、前述の間引き率の導出によれば、削減度合導出部1001は、通信速度導出時間(1秒間)当たりに生成される15個のフレームに対して間引くフレーム数を3個として間引き率を導出することができる。すなわち間引き率は、15分の3となる。そして、この間引き対象判断方法では、撮像データ削減部1003は、その間引き率に基づいて間引き対象判断時間(1秒間)に生成された15個のフレームのうち、スコアの低い順に3個のフレームを間引き対象として判断する。すなわち撮像データ削減部1003は、スコアの低い順に3個のフレームを間引き、間引かれずに残った12個のフレームを送信撮像データとして送信バッファ104に格納して、通信端末20に送信する。
【0104】
この場合、図10に示す例では、スコアが「50」と低くなっている「フレーム8」、「フレーム9」、及び「フレーム11」の3つのフレームが間引かれることになる。これによれば、図13に示すように送信遅延なく送信撮像データを送信することが可能となる。すなわち図13に示すように、図12において15個のフレームの送信が完了していたタイミング(図12及び図13の300の時点)までには、送信対象とした12個のフレームが送信撮像データとしてほぼ送信完了することになる。
【0105】
また、その後に、ネットワークの通信速度が回復して、通信速度導出時間(1秒間)の間に、通信速度導出時間(1秒間)に生成される数のフレーム(15個)の全てを送信することができる通信速度に戻った場合には、前述の間引き率の導出によれば、削減度合導出部1001は、通信送度導出期間当たりに生成される15個のフレームに対して間引くフレーム数を0個として間引き率を導出することになる。すなわち間引き率は、15分の0となる。つまり、一度大きくされた間引き率は、再び元の小さな間引き率に戻されることになる。これによれば、再び、図11に示すように、ネットワークの通信速度に合わせて、間引き対象判断時間(1秒間)に生成される15個のフレームの全てを送信撮像データとして通信端末20に送信することが可能となる。
【0106】
このように、一度通信速度が遅くなって間引き率を大きく変更した後に、通信速度が回復した場合にも、その通信速度に合わせて再び間引き率を小さく変更して元に戻すことも可能である。また同様にして、通信速度が速くなって間引き率を小さく変更した後に、通信速度が低下した場合にも、その通信速度に合わせて再び間引き率を大きく変更して元に戻すことも当然に可能である。
【0107】
なお、ここでは、理解を容易にするために、通信速度導出時間と間引き対象判断時間が同じ時間(1秒間)である場合について説明したが、異なる時間を定めるようにしてもよい。例えば通信速度導出時間を1秒間とし、間引き対象判断時間を2秒間とすることもできる。例えば通信速度導出時間(1秒間)の間に、通信速度導出時間(1秒間)に生成されるフレーム(15個)のうち、送信することができなかったフレーム数が3個であった場合、間引き率は15分の3と導出される。この場合、間引き対象判断時間(2秒間)に生成される30個のフレームのうちから、間引き率の15分の3に該当する6個のフレームがスコアの低い順に間引き対象として決定されることになる。
【0108】
ここで、例えば間引き対象判断時間を1秒間とした場合には、15個のフレームのそれぞれから、間引き率の15分の3に該当する3個のフレームがスコアの低い順に間引き対象として決定されることになる。この場合、一方の15個のフレームに、他方の15個のフレームのいずれよりも低いスコアのフレームが6個含まれている場合であっても、それぞれから3個ずつ間引き対象のフレームが決定されてしまう。そのため、それらの全てとなる30個のフレームで見た場合には、スコアの低い順に間引き対象のフレームが決定されることにはならない。それに対して、間引き対象判断時間を2秒間とした場合には、30個のフレームからスコアの低い順に間引き対象のフレームが決定されるため、前述の場合であってもスコアの低い順に間引き対象のフレームが決定されることになる。しかしながら、間引き対象判断時間を長くすると、フレームを送信撮像データとして通信端末20に送信せずにメモリ103に蓄積しておく時間が長くなることになるため、通信端末20で送信撮像データの表示遅延が生じることになる。すなわち、間引き対象判断時間は、システムに対する要請に応じて任意の時間を予め定めるようにすればよい。
【0109】
以上に説明したように、この間引き対象判断方法によれば、通信速度導出時間当たりに生成されるフレームのうち、通信速度導出時間当たりに送信することができなかったフレーム数を、通信速度導出時間当たりに生成されるフレーム数に対する間引き率とし、その間引き率で間引き対象判断時間当たりに生成されるフレーム数から送信対象から間引くようにしている。これによれば、通信速度に見合った適切な数のフレームを送信対象とすることができるため、送信遅延を抑制することが可能となる。
【0110】
ここでスコアが同一のフレームが複数存在する場合には、スコアの低い順にフレームを間引き対象として選択していったときに、間引き対象とするフレーム数が、間引き率によって間引き対象とされるフレーム数を超えてしまう場合がある。この場合、同一のスコアのフレームであっても、間引き率によって間引き対象とされるフレーム数となるように、そのフレームのうちのいくつかを間引き対象として選択するようにすればよい。ここで、この場合に、そのスコアが同一のフレームが連続して生成されたフレームである場合には、一定間隔毎(例えば1つとばし)に間引き対象として選択するようにしてもよい。これによれば、局所的に連続したフレームが抜け落ちてしまうことを防止して、観察者がより正確に撮像場所の状況を把握することが可能となる。
【0111】
(2)削減度合としてスコア閾値を利用する方法
この間引き対象判断方法では、撮像データ削減部1003は、削減度合導出部1001によって導出されたスコア閾値よりも低いスコアのフレームを間引き対象として判断する。
【0112】
ここで削減度合としてスコア閾値を利用する場合、前述のように、スコア閾値は、送信バッファ104に格納されているフレーム数が基準数以上である場合に増加するように変更され、送信バッファ104に格納されているフレーム数が基準数未満である場合には減少するように変更される。
【0113】
したがってスコア閾値に基づいて前述のようにフレームを間引くことで、例えば図14に示すように送信バッファ104に格納されるフレーム数を、基準数付近に保つことができる。すなわち適切にフレームを間引いて、ネットワークの通信速度に見合った数のフレームを送信対象として、送信遅延を発生させることなく送信撮像データを通信端末20に送信することが可能となる。
【0114】
具体的には、図14に示すように、ネットワークの通信速度が低下することで、送信撮像データの送信遅延が発生し、送信バッファ104に格納されるフレーム数が基準数よりも増加している場合には、スコア閾値が増加するように変更される(図14の301の時点)。この場合、スコア閾値の増加によって間引き対象となるフレーム数が増加するため、送信対象の送信撮像データは遅延することなく送信され、送信バッファ104に格納されるフレーム数の増加量を低減することができる。
【0115】
またこの時点で、送信バッファ104に格納されるフレーム数が増加しない程度にフレームが間引かれるスコア閾値となっている場合であっても、送信バッファ104に格納されるフレーム数が基準数以上である場合には、さらにスコア閾値が増加される(図15の302の時点)。この場合、スコア閾値の増加によって間引き対象となるフレーム数がさらに増加するため、送信バッファ104に格納されるフレーム数の増加量をさらに低減することができる。これによって、ある時間当たりに間引かれずに送信対象となるフレーム数が、その時間当たりに送信可能なフレーム数よりも少なくなれば、図14に示すように、送信バッファ104に格納されるフレーム数を基準数に向かって減少させていくことができる。すなわちバッファオーバーフローの発生を回避することができる。
【0116】
例えば図10に示すフレームを例に挙げて説明すると、スコア閾値が「45」から「55」に引き上げられたときには、間引き対象とするフレーム数が0個から3個に増加するため、送信バッファ104に格納されるフレーム数の増加を低減することが可能となる。
【0117】
また、これによって図14に示すように送信バッファ104のフレーム数が基準数よりも減少していく場合がある。しかし前述のように、送信バッファ104に格納されるフレーム数が基準数未満である場合には、スコア閾値が減少するように変更される(図15の303の時点)。この場合、スコア閾値の減少によって間引き対象となるフレーム数が減少するため、送信バッファ104に格納されるフレーム数の減少量を低減することができる。
【0118】
例えば図10に示す生成撮像データを例に挙げて説明すると、スコア閾値が「55」から「45」に引き下げられたときには、間引き対象とするフレーム数が3個から0個に低下するため、送信バッファ104に格納されるフレーム数の減少を低減することが可能となる。
【0119】
これによって、ある時間当たりに間引かれずに送信対象となるフレーム数が、その時間当たりに送信可能なフレーム数よりも多くなれば、図14に示すように、送信バッファ104に格納されるフレーム数を基準数に向かって増加させていくことができる。すなわちバッファアンダーフローの発生を回避することができる。
【0120】
このように、一度通信速度が遅くなってスコア閾値を高く変更したときに、通信速度に対してスコア閾値を高くなりすぎてしまい、通信速度に対して送信対象となるフレーム数が少なくなってしまった場合には、再びスコア閾値を低く変更して元に戻し、送信対象とするフレーム数を元に戻すことも可能である。また同様にして、スコア閾値を低く変更したときに、通信速度に対して送信対象となるフレーム数が多くなってしまった場合には、再びスコア閾値を高く変更して、送信対象とするフレーム数を元に戻すことも当然に可能である。
【0121】
なお、この間引き対象判断方法では、フレームのスコアが算出されていれば、フレームを間引き対象とするか否かを判断可能である。そのためステップS34を実行して間引き対象判断時間当たりのフレームのスコアの算出を待つことなく、フレームのスコアが算出された時点で、ステップS35としてそのフレームを間引き対象とするか否か判断するようにしてよい。
【0122】
以上に説明したように、この間引き対象判断方法によれば、送信バッファ104に格納されるフレーム数を基準数に保つようにフレームを間引くようにしている。これによれば、通信速度に見合った適切な数のフレームを送信対象とすることになるため、送信遅延を抑制することが可能となる。
【0123】
(3)削減度合として間引き率及びスコア閾値を利用する方法(送信優先)
この間引き対象判断方法では、間引き率とスコア閾値の削減度合のうち、間引き対象となるフレームがより少なくなる削減度合に基づいて間引き対象となるフレームを決定する。言い換えると、間引き率とスコア閾値の削減度合のうち、通信端末20に送信撮像データとして送信されるフレーム数がより多くなる削減度合に基づいて間引き対象として判断された生成撮像データを間引き対象とする。
【0124】
この間引き対象判断方法における間引き対象判断処理について説明する。図15は、削減度合として間引き率及びスコア閾値を利用する方法(送信優先)における間引き対象判断処理を示すフローチャートである。
【0125】
撮像データ削減部1003は、間引き対象判断時間当たりに生成された生成撮像データのフレームそれぞれについて、削減度合導出部1001によって導出されたスコア閾値よりも低いスコアのフレームを間引き対象として判断する(S41)。撮像データ削減部1003は、スコア閾値に基づいて間引き対象として判断されたフレーム数が、間引き率によって間引き対象とされるフレーム数よりも多いか否かを判断する(S42)。
【0126】
スコア閾値に基づいて間引き対象として判断されたフレーム数が、間引き率によって間引き対象とされるフレーム数よりも多いと判断した場合(S42:Yes)、撮像データ削減部1003は、間引き率に基づいて間引き対象とするフレームを判断し直す(S43)。すなわち撮像データ削減部1003は、スコア閾値に基づいて間引き対象と判断されたフレームは、間引き対象として扱わないようにし、間引き対象判断時間当たりに生成されたフレームにおいて、スコアの低い順に間引き率に達するまでのフレームを間引き対象として判断する。
【0127】
スコア閾値に基づいて間引き対象として判断されたフレーム数が、間引き率によって間引き対象とされるフレーム数よりも多くない判断した場合(S42:No)、撮像データ削減部1003は、スコア閾値に基づいて間引き対象として判断したフレームを、そのまま間引き対象のフレームとして維持する。
【0128】
これによれば、間引き率とスコア閾値の削減度合のうち、通信端末20に送信撮像データとして送信されるフレームがより多くなる削減度合に基づいてフレームの間引きを行うことができるため、観察者によるより正確な状況把握を重視しつつ、送信遅延を低減することを可能とすることができる。
【0129】
(4)削減度合として間引き率及びスコア閾値を利用する方法(間引き優先)
この間引き対象判断方法では、間引き率とスコア閾値の削減度合のうち、間引き対象となるフレームがより多くなる削減度合に基づいて間引き対象となるフレームを決定する。言い換えると、間引き率とスコア閾値の削減度合のうち、通信端末20に送信撮像データとして送信されるフレームがより少なくなる削減度合に基づいて間引き対象として判断されたフレームを間引き対象とする。
【0130】
この間引き対象判断方法における間引き対象判断処理について説明する。図16は、削減度合として間引き率及びスコア閾値を利用する方法(間引き優先)における間引き対象判断処理を示すフローチャートである。
【0131】
撮像データ削減部1003は、間引き対象判断時間当たりに生成された生成撮像データのフレームのそれぞれについて、削減度合導出部1001によって導出されたスコア閾値よりも低いスコアのフレームを間引き対象として判断する(S51)。撮像データ削減部1003は、スコア閾値に基づいて間引き対象として判断されたフレーム数が、間引き率によって間引き対象とされるフレーム数よりも少ないか否かを判断する(S52)。
【0132】
スコア閾値に基づいて間引き対象として判断されたフレーム数が、間引き率によって間引き対象とされるフレーム数よりも少ないと判断した場合(S52:Yes)、撮像データ削減部1003は、間引き率に基づいて間引き対象とするフレームを判断し直す(S53)。すなわち撮像データ削減部1003は、スコア閾値に基づいて間引き対象と判断されたフレームは、間引き対象として扱わないようにし、間引き対象判断時間当たりに生成されたフレームにおいて、スコアの低い順に間引き率に達するまでのフレームを間引き対象として判断する。
【0133】
スコア閾値に基づいて間引き対象として判断されたフレーム数が、間引き率によって間引き対象とされるフレーム数よりも少なくない判断した場合(S52:No)、撮像データ削減部1003は、スコア閾値に基づいて間引き対象として判断したフレームを、そのまま間引き対象のフレームとして維持する。
【0134】
これによれば、間引き率とスコア閾値の削減度合のうち、通信端末20に送信撮像データとして送信されるフレームがより少なくなる削減度合に基づいてフレームの間引きを行うことができるため、送信遅延を低減することを重視しつつ、観察者によるより正確な状況把握を可能とすることができる。
【0135】
なお(3)及び(4)の間引き対象判断方法を実施する場合には、間引き率とスコア閾値の削減度合のうち、いずれか一方の削減度合は予め定めた値とし、他方の削減度合を通信速度に基づいて随時算出していくようにしてもよい。
【0136】
<通信端末20の撮像データ表示処理>
続いて通信端末20の撮像データ表示処理について説明する。図17は、通信端末20の撮像データ表示処理を示すフローチャートである。
【0137】
通信部205は、撮像装置10から送信された送信撮像データを受信し、CPU200に出力する(S61)。CPU200は、通信部205から出力された送信撮像データをVRAM202に格納する(S62)。D/A変換部203は、VRAM202に格納されたデジタル形式の送信撮像データとなるデジタル画像データを取得し、取得したデジタル画像データをD/A変換してアナログ形式の送信撮像データとなるアナログ画像信号を生成する(S63)。D/A変換部203は、生成したアナログ画像信号をモニタ204に出力し、アナログ画像信号が示す動画像をモニタ204に表示する(S64)。
【0138】
以上に説明したように本実施の形態1では、撮像データを構成する各画像単位の重要度を示すスコアを算出し、算出したスコアが示す重要度の低い画像単位を優先的に、撮像装置10と通信端末20との間のネットワークにおける通信速度に基づき導出された削減度合に従って、送信対象から削減するようにしている。
【0139】
これによれば、撮像装置10と通信端末20との間のネットワークにおける通信速度に応じて撮像装置10から通信端末20に送信撮像データとして送信する画像単位数を削減することができるため、送信撮像データの送信遅延を低減して、通信端末20において送信撮像データに基づいて表示する画像の表示遅延を低減することができる。またスコアに基づき重要度の低い画像単位を優先的に送信対象から削減するようにしているため、通信端末20で表示される画像を観察する観察者が、より正確に撮像場所の状況を把握することが可能となる。
【0140】
<<発明の実施の形態2>>
<撮像データ配信システム1の構成>
本発明の実施の形態2として撮像データ配信システム1及びその構成機器について説明する。なお、本実施の形態2における撮像データ配信システム1の構成は、通信端末20に代えて通信端末30を有すること以外は、前述の図1に示す撮像データ配信システム1の構成と同様である。
【0141】
本実施の形態2に係るシステムでは、さらに通信端末30の使用状況に基づいて、観察者が通信端末30に表示されている動画像を観察している尤度を示す観察スコアが算出される。そして、算出された観察スコアに基づいて撮像装置10における生成撮像データの削減度合を調整する削減度合調整情報が生成され、撮像装置10に送信される。削減度合調整情報は、観察スコアが高くなるに従って、撮像装置10が導出する削減度合が小さくなるように、削減度合を調整する情報である。言い換えると、削減度合調整情報は、観察スコアが低くなるに従って、撮像装置1が導出する削減度合が大きくなるように、削減度合を調整する情報である。
【0142】
つまり本実施の形態2では、撮像装置10は、通信端末30との間のネットワークの通信速度に加えて、さらに通信端末20からの削減度合調整情報に基づいて、上述した削減度合が導出される。これによれば、観察者が画像を観察しているときには間引かれる生成撮像データのフレーム数を低減させて、観察者が画像を観察していないときには間引かれる生成撮像データのフレーム数を増加させることができる。よって、観察者が観察しているときには、送信撮像データのフレーム数を多くすることができるため、観察者が観察対象となる被写体の動きをより明確に把握することが可能となる。そのため、観察者が、より正確に撮像場所の状況を把握することが可能となる。
【0143】
<撮像装置10の構成>
本実施の形態2における撮像装置10の構成は、前述の図2に示す撮像装置10の構成と同様であるため、その説明を省略する。
【0144】
<通信端末20の構成>
続いて撮像データ配信システム1が有する通信端末30の構成について説明する。図18は通信端末30の構成を示すブロック図である。
【0145】
本実施の形態2に係る通信端末30は、実施の形態1に係る通信端末20と比較して、さらに撮像部206、A/D変換部207、操作部208、及び姿勢センサ209を有する。
【0146】
撮像部206は、レンズ210及び撮像素子211を有する。撮像素子211は、例えばCCD又はCMOS等である。撮像部206は、レンズ210を通過した光を撮像素子211によって光電変換することにより撮像対象の動画像を示すアナログ画像信号を生成し、A/D変換部207に出力する。ここで撮像部206は、インカメラとして機能し、モニタ204に表示される動画像を観察する観察者を撮像対象として撮像するように配設される。撮像部206は、通信端末20においてモニタ204と同一面に設けられている。
【0147】
A/D変換部207は、撮像部206から出力されたアナログ画像信号をA/D変換してデジタル画像データを生成する。A/D変換部207は、生成したデジタル画像データを端末撮像データとしてメモリ201に格納する。
【0148】
操作部208は、図示されない操作ボタン、十字キー、又はモニタ204上に重畳されたタッチパネル等から構成され、ユーザの操作入力を受けつける。操作部208はユーザの操作入力を受けると、その入力内容を示す入力情報を生成してCPU200に出力する。
【0149】
姿勢センサ209は、通信端末20の姿勢を検出して、検出した姿勢を示す姿勢情報を生成し、CPU200に出力する。姿勢センサ209は、例えばジャイロセンサ及び加速度センサ等から構成される。
【0150】
<撮像装置10のCPU200の機能>
続いて撮像装置10のCPU100の機能の詳細について説明する。図19は撮像装置10のCPU100の機能ブロックを示すブロック図である。
【0151】
本実施の形態2に係るCPU100は、実施の形態1に係る削減度合導出部1001に代わり、削減度合導出部1004として機能する。本実施の形態2にかかる削減度合導出部1004は、実施の形態1に係る削減度合導出部1001と比較して、さらに通信端末30から受信した削減度合調整情報に基づいて生成撮像データの削減度合を算出する。
【0152】
本実施の形態2では削減度合導出部1004は、通信速度算出部1000が算出した通信速度と、通信端末30から受信した削減度合調整情報とに基づいて、通信端末30に送信撮像データとして送信するための生成撮像データの削減度合を算出する。
【0153】
<通信端末30のCPU200の機能>
続いて通信端末30のCPU200の機能の詳細について説明する。図20は通信端末30のCPU200の機能ブロックを示すブロック図である。
【0154】
本実施の形態2にかかるCPU200は、実施の形態1にかかるCPU200と比較して、さらに観察スコア算出部2000及び削減度合調整情報生成部2001としても機能する。CPU200が有するこれらの機能ブロックについて以下に順に説明する。
【0155】
観察スコア算出部2000は、観察者による通信端末30の使用状況に基づいて、観察者が通信端末30に表示されている動画像を観察している尤度を示す観察スコアを算出する。
【0156】
削減度合調整情報生成部2001は、観察スコア算出部2000によって算出された観察スコアに基づいて、撮像装置10における生成撮像データの削減度合を調整する削減度合調整情報を生成する。
【0157】
<通信端末30の削減度合調整処理の概要>
続いて通信端末30の削減度合調整処理について説明する。図21は、通信端末30の削減度合調整処理を示すフローチャートである。
【0158】
観察スコア算出部2000は、観察者による通信端末30の使用状況を検出する(S71)。観察スコア算出部2000は、検出した通信端末30の使用状況に基づいて、通信端末30において観察者が通信端末30に表示されている動画像を観察している尤度を示す観察スコアを算出する(S72)。
【0159】
削減度合調整情報生成部2001は、観察スコア算出部2003によって算出された観察スコアに基づいて、撮像装置10における生成撮像データの削減度合を調整する削減度合調整情報を生成する(S73)。具体的には、削減度合調整情報生成部2001は、観察スコアが高くなるに従って、削減度合をより小さくなるように調整し、観察スコアが低くなるに従って、削減度合をより大きくなるように調整する削減度合調整情報を生成する。削減度合調整情報生成部2001は、生成した削減度合調整情報を通信部205に出力する。通信部205は、削減度合調整情報生成部2001から出力された削減度合調整情報を撮像装置10に送信する(S74)。
【0160】
なお上記削減度合調整処理は、任意のタイミングで実行するようにしてよい。例えば、予め任意に定めた一定時間間隔で実行するようにしてよい。
【0161】
<通信端末30の削減度合調整処理の詳細(観察スコア算出処理)>
続いて通信端末30の観察スコア算出処理について詳細に説明する。通信端末30の観察スコア算出部2000は、前述のステップS71、S72において、以下の(1)〜(4)の通信端末30の使用状況の少なくとも1つに基づいて観察スコアを算出する。(1)〜(4)の通信端末30の使用状況のそれぞれについて以下に順に説明する。
(1)インカメラによる視線
(2)撮像データの表示サイズ
(3)通信端末30の姿勢
(4)他のアプリケーションプログラム使用
【0162】
(1)インカメラによる視線
通信端末30の使用状況として観察者からの視線を検出する観察スコア算出方法について説明する。この観察スコア算出方法では、観察スコア算出部2000は、観察者による通信端末30の使用状況として、インカメラ(撮像部206)によって人からのモニタ204に対する視線の有無を検出する。具体的には、A/D変換部207によってメモリ201に格納された端末撮像データにおける、あるフレームに係る画像に基づいて人からの視線を検出し、検出した視線がモニタ204に向けられているか否かを判定する。なお視線検出は、既知の一般的な視線検出技術をのうち任意の技術を利用して行えばよい。
【0163】
観察スコア算出部2000は、人からの視線がモニタ204に向けられていると判定した場合、観察スコアを高く算出する。言い換えると、観察スコア算出部2000は、人からの視線がモニタ204に向けられていないと判定した場合、観察スコアを低く算出する。
【0164】
ここで人からの視線がモニタ204に向けられている場合、観察者が動画像を観察している可能性が高いと考えられる。そこで、この観察スコア算出方法では、人からの視線がモニタ204に向けられている場合、視線がモニタ204に向けられていない場合と比べて観察スコアを高く算出し、フレームが間引きされにくくなるようにする。
【0165】
ここで観察スコアは、人からの視線がモニタ204に向けられている場合に、高い値となるように算出されるのであれば、どのように算出されてもよい。例えば観察スコア算出部2000は、人からの視線がモニタ204に向けられている場合には第1の所定値をスコアとして算出し、人からの視線がモニタ204に向けられていない場合には第1の所定値よりも低い第2の所定値を観察スコアとして算出するようにしてよい。
【0166】
なお人からの視線がモニタ204に向けられている場合に、観察スコアを高く算出するようにしているが、同様にして、顔検出によって人の顔を検出した場合に、人の顔が検出されなかった場合と比較して観察スコアを高く算出するようにしてもよい。この場合であっても、観察者が動画像を観察している可能性が高いと考えられるからである。
【0167】
(2)撮像データの表示サイズ
通信端末30の使用状況として送信撮像データの表示サイズを検出する観察スコア算出方法について説明する。この観察スコア算出方法では、観察スコア算出部2003は、観察者による通信端末30の使用状況として、撮像装置10から受信した送信撮像データに基づいてモニタ204に表示している動画像の表示サイズを検出する。ここで動画像の表示サイズとして、例えば通信端末30がマルチウィンドウシステムで表示を行う情報処理装置である場合には、送信撮像データに基づいた動画像を表示しているウィンドウのサイズを利用してよい。
【0168】
観察スコア算出部2000は、動画像の表示サイズが大きくなるに従って、より高くなるように観察スコアを算出する。言い換えると、観察スコア算出部2000は、動画像の表示サイズが小さくなるに従って、より低くなるように観察スコアを算出する。また観察スコア算出部2000は、送信撮像データによる動画像が最小化又は非表示とされている場合には、最も低くなるように観察スコアを算出するようにしてもよい。
【0169】
ここで撮像装置10から受信した送信撮像データに基づいて表示している動画像の表示サイズが大きくされている場合、観察者が動画像を観察している可能性が高いと考えられる。そこで、この観察スコア算出方法では、動画像の表示サイズが大きくされている場合、それよりも動画像の表示サイズが小さくされている場合と比較して観察スコアを高く算出し、フレームが間引きされにくくなるようにする。
【0170】
ここで観察スコアは、動画像の表示サイズが大きくなるに従って、より高い値となるように算出されるのであれば、どのように算出するようにしてもよい。例えばスコア算出部1002は、動画像の表示サイズに所定の係数を乗じた値を観察スコアとして算出するようにしてよい。
【0171】
なお動画像の表示サイズは、例えば動画像の表示サイズを示す表示サイズ情報がメモリ201に格納されるようにし、観察スコア算出部2000がメモリ201に格納された表示サイズ情報を参照することで認識可能とすればよい。またCPU200は、メモリ201に格納された表示サイズ情報が示す表示サイズに応じたサイズとなるように、撮像装置10から受信した送信撮像データをサイズ変換してVRAM202に格納することで、その動画像の表示サイズを調整するようにすればよい。
【0172】
また動画像の表示サイズは、前述の通り観察者からの操作に応じて変更可能である。具体的には、操作部208は、観察者から動画像の表示サイズの変更を指示する入力を受けた場合、その入力を示す入力情報を生成し、CPU200に出力する。CPU200は、操作部208からの動画像の表示サイズの変更を指示する入力を示す入力情報の出力に応じて、その入力情報で指示されるように動画像の表示サイズを変更する。すなわちCPU200は、メモリ201に格納される表示サイズ情報を、変更後の表示サイズを示すように更新する。
【0173】
(3)通信端末30の姿勢
通信端末30の使用状況として通信端末30の姿勢を検出する観察スコア算出方法について説明する。この観察スコア算出方法では、観察スコア算出部2000は、観察者による通信端末30の使用状況として、通信端末30の姿勢を検出する。具体的には、観察スコア算出部2000は、姿勢センサ209から出力される姿勢情報が示す姿勢(角度)を、通信端末30の姿勢として検出する。
【0174】
そして観察スコア算出部2000は、通信端末30の姿勢が垂直に立てられた姿勢(モニタ204の表示面が垂直となるように立てられた姿勢)に近づくに従って、より高くなるように観察スコアを算出する。言い換えると、観察スコア算出部2000は、通信端末30の姿勢が水平に置かれた姿勢(モニタ204の表示面が水平となるように寝かせられた姿勢)に近づくに従って、より低くなるように観察スコアを算出する。
【0175】
通信端末30の姿勢が垂直に立てられた姿勢に近い場合、観察者が通信端末30によって動画像を観察している可能性が高いと考えられる。そこで、この観察スコア算出方法では、通信端末30の姿勢が垂直に立てられた姿勢に近い場合、それよりも通信端末30の姿勢が水平に置かれた姿勢に近い場合と比較して観察スコアを高く算出し、フレームが間引きされにくくなるようにする。すなわち、この観察スコア算出方法は、好ましくは、通信端末30がスマートフォン又はタブレット端末等の観察者によって把持されて利用される携帯通信端末である場合に実施するとよい。
【0176】
ここで観察スコアは、通信端末30の姿勢が垂直に立てられた姿勢に近くなるに従って、より大きくなるように算出されるのであれば、どのように算出するようにしてもよい。例えば観察スコア算出部2000は、姿勢情報が示す角度に基づいて、モニタ204の表示面が水平となる姿勢として規定した所定角度を基準とした通信端末30の角度を、通信端末30が垂直に立てられた姿勢として規定した所定角度を上限として算出し、算出した角度に所定の係数を乗じた値を観察スコアとして算出するようにしてよい。
【0177】
(4)他のアプリケーションプログラム使用
通信端末30の使用状況として他のアプリケーションプログラムの使用を検出する観察スコア算出方法について説明する。
【0178】
この観察スコア算出方法では、観察スコア算出部2000は、観察者による通信端末30の使用状況として、他のアプリケーションプログラムが使用されているか否かを検出する。送信撮像データに基づく動画像とは別に、他の画像をモニタ204に表示するようにCPU200を機能させる任意のアプリケーションプログラムを検出対象として予め定めるようにしてよい。例えばメーラ、ウェブブラウザ、及びテキストエディタ等のアプリケーションプログラムのうち任意の1つ以上のアプリケーションプログラムを検出対象として予め定めるようにしてよい。そして観察スコア算出部2000は、CPU200によって検出対象として定められたアプリケーションプログラムが実行されている場合に、そのアプリケーションプログラムが使用されているものとして検出する。
【0179】
観察スコア算出部2000は、検出対象のアプリケーションプログラムが使用されていない場合、観察スコアを高く算出する。言い換えると、観察スコア算出部2000は、検出対象のアプリケーションプログラムが使用されている場合、観察スコアを低く算出する。
【0180】
ここで他の画像を表示する他のアプリケーションプログラムが使用されていない場合、観察者が通信端末20によって動画像を観察している可能性が高いと考えられる。そこで、この観察スコア算出方法では、検出対象として定めた、他の画像を表示する他のアプリケーションプログラムが使用されていない場合、他のアプリケーションプログラムが使用されている場合と比較して観察スコアを高く算出し、フレームが間引きされにくくなるようにする。
【0181】
ここで観察スコアは、他のアプリケーションプログラムが使用されていない場合に、より高い値となるように算出されるのであれば、どのように算出されてもよい。例えば観察スコア算出部2000は、他のアプリケーションプログラムが使用されていない場合には第1の所定値をスコアとして算出し、他のアプリケーションプログラムが使用されている場合には第1の所定値よりも低い第2の所定値を観察スコアとして算出するようにしてよい。
【0182】
なお前述の(1)〜(4)の観察スコア算出方法の2つ以上を組み合わせて観察スコアを算出する場合には、それぞれの観察スコア算出方法で算出した観察スコアを加算する又はそれぞれの観察スコア算出方法で算出した観察スコアの平均値を観察スコアとする等して、総合的な数値を観察スコアとして算出するようにすればよい。
【0183】
<通信端末30の削減度合調整処理の詳細(削減度合調整情報生成処理)>
続いて通信端末30の削減度合調整情報生成処理について説明する。通信端末20の削減度合調整情報生成部2001は、前述のステップS73において、削減度合調整情報を生成するが、削減度合調整情報は、観察スコアが高くなるに従って、より小さくなるように削減度合を調整し、観察スコアが低くなるに従って、より大きくなるように削減度合を調整する情報であれば、どのような形式の情報でもよい。例えば以下の(1)〜(3)のいずれかを示す情報としてもよい。
(1)削減度合の増減
(2)削減度合の増減量
(3)削減度合の増減倍率
【0184】
(1)削減度合の増減
この場合、削減度合調整情報は、削減度合を増加するように調整するか減少するように調整するか否かを示す情報となる。例えば削減度合を増加するように調整することを示す増加調整指示値と、削減度合を減少するように調整することを示す減少調整指示値を予め定義付けておき、削減度合調整情報生成部2001は、どちらかの値を示す情報を削減度合調整情報として生成する。例えば削減度合調整情報生成部2001は、観察スコアが所定の閾値(以下、この閾値を「観察スコア閾値」という。)以上である場合、減少調整指示値を示す削減度合調整情報を生成し、観察スコアが所定の観察スコア閾値未満である場合、増加調整指示値を示す削減度合調整情報を生成するようにする。
【0185】
なお撮像装置10において削減度合として間引き率及びスコア閾値の両方が導出される場合には、間引き率及びスコア閾値のそれぞれについての増加調整指示値又は減少調整指示値を含めた削減度合調整情報を生成するようにすればよい。また間引き率及びスコア閾値のいずれか一方のみを調整するように削減度合調整情報を生成してもよい。
【0186】
(2)削減度合の増減量
この場合、削減度合調整情報は、削減度合の増加量又は減少量を示す情報となる。削減度合調整情報生成部2001は、観察スコアが所定の観察スコア閾値以上である場合、所定の減少量を示す削減度合調整情報を生成し、観察スコアが所定の観察スコア閾値未満である場合、所定の増加量を示す削減度合調整情報を生成するようにする。また削減度合調整情報生成部2001は、観察スコアが観察スコア閾値より高くなるに従って、より大きい減少量を示す削減度合調整情報を生成し、観察スコアが観察スコア閾値より低くなるに従って、より大きい増加量を示す削減度合調整情報を生成するようにしてもよい。削減度合として間引き率を調整する場合には、間引き対象判断時間当たりに間引くフレーム数を増加又は減少させる数を示す削減度合調整情報を生成する。また削減度合としてスコア閾値を調整する場合には、スコア閾値を増加又は減少させる値を示す削減度合調整情報を生成する。
【0187】
なお撮像装置10において削減度合として間引き率及びスコア閾値の両方が導出される場合には、間引き率及びスコア閾値のそれぞれについての増加量又は減少量を含めた削減度合調整情報を生成するようにすればよい。また間引き率及びスコア閾値のいずれか一方のみを調整するように削減度合調整情報を生成してもよい。
【0188】
(3)削減度合の増減倍率
この場合、削減度合調整情報は、削減度合の増加倍率又は減少倍率を示す情報となる。削減度合調整情報生成部2001は、観察スコアが所定の観察スコア閾値以上である場合、所定の減少倍率を示す削減度合調整情報を生成し、観察スコアが所定の観察スコア閾値未満である場合、所定の増加倍率を示す削減度合調整情報を生成するようにする。また削減度合調整情報生成部2001は、観察スコアが観察スコア閾値より高くなるに従って、より大きい減少倍率を示す削減度合調整情報し、観察スコアが観察スコア閾値より低くなるに従って、より大きい増加倍率を示す削減度合調整情報を生成するようにしてもよい。削減度合として間引き率を調整する場合には、間引き対象判断時間当たりに間引くフレーム数を増加又は減少させる倍率を示す削減度合調整情報を生成する。また削減度合としてスコア閾値を調整する場合には、スコア閾値を増加又は減少させる倍率を示す削減度合調整情報を生成する。
【0189】
なお撮像装置10において削減度合として間引き率及びスコア閾値の両方が導出される場合には、間引き率及びスコア閾値のそれぞれについての増加倍率又は減少倍率を含めた削減度合調整情報を生成するようにすればよい。また間引き率及びスコア閾値のいずれか一方のみを調整するように削減度合調整情報を生成してもよい。
【0190】
<撮像装置10の削減度合調整情報受信処理>
続いて撮像装置10の削減度合調整情報受信処理について説明する。図22は、撮像装置10の削減度合調整情報受信処理を示すフローチャートである。
【0191】
通信部105は、通信端末30から送信された削減度合調整情報を受信し、CPU100に出力する(S81)。CPU100は、受信した削減度合調整情報をメモリ201に格納する(S82)。
【0192】
<撮像装置10の削減度合導出処理>
続いて撮像装置10の削減度合導出処理について説明する。図23は、撮像装置10の削減度合導出処理を示すフローチャートである。以下、図5を参照して説明した実施の形態1にかかる削減度合導出処理と同様の処理については、同一の符号を付し、その説明を省略する。
【0193】
本実施の形態2にかかる削減度合導出処理では、ネットワークの通信速度の算出(S1)後、削減度合導出部1004は、メモリ201に格納された削減度合調整情報を取得する(S3)。そして削減度合導出部1004は、通信速度算出部1000が算出した通信速度と、メモリ201から取得した削減度合調整情報とに基づいて、その通信速度で送信撮像データの送信遅延が発生しないように生成撮像データの削減度合を導出する(S4)。
【0194】
ステップS4では、削減度合導出部1004は、削減度合調整情報が削減度合をより高く調整する情報として生成されている場合には、削減度合をより高くするように調整し、削減度合調整情報が削減度合をより小さく調整する情報として生成されている場合には、削減度合をより大きくするように調整する情報として生成されている場合には、削減度合をより大きくするように調整する。
【0195】
具体的には、削減度合導出部1004は、通信速度に基づいて削減度合を導出し(S13、S22又はS23)、その通信速度に基づいて導出した削減度合を削減度合調整情報に従って調整する。
【0196】
例えば削減度合調整情報が(1)削減度合の増減を示す場合には、削減度合導出部1004は、前述の通り、削減度合調整情報が増加調整指示値を示す場合、通信速度に基づいて導出した削減度合を所定量増加させ、削減度合調整情報が減少調整指示値を示す場合、通信速度に基づいて導出した削減度合を所定量減少させる。
【0197】
また削減度合調整情報が(2)削減度合の増加量又は減少量を示す場合には、削減度合導出部1004は、前述の通り、通信速度に基づいて導出した削減度合を、削減度合調整情報が示す増加量又は減少量で増加又は減少させる。
【0198】
また削減度合調整情報が(3)削減度合の増加倍率又は減少倍率を示す場合には、削減度合導出部1004は、前述の通り、通信速度に基づいて導出した削減度合に、削減度合調整情報が示す増加倍率又は減少を乗じることで増加又は減少させる。
【0199】
なお以上の説明では、削減度合調整情報の形式として、(1)削減度合の増減、(2)削減度合の増減量、及び(3)削減度合の増減倍率を利用する場合について例示したが、これに限られない。例えば削減度合調整情報生成部2001は、削減度合調整情報として、観察スコア算出部2000によって算出された観察スコアを示す情報を生成するようにしてもよい。そして削減度合導出部1004は、削減度合調整情報が示す観察スコアに基づいて、前述と同様に、(1)削減度合の増減、(2)削減度合の増減量、及び(3)削減度合の増減倍率等を算出し、削減度合を調整するようにしてもよい。
【0200】
以上に説明したように本実施の形態2では、通信端末20は、観察者による通信端末20の使用状況に基づき、観察者が画像を観察している尤度を示す観察スコアを算出し、算出した観察スコアに基づき観察者が画像を観察している尤度が高くと小さくなるように削減度合を調整する削減度合調整情報を生成し、撮像装置10に送信するようにしている。そして撮像装置10は、通信端末20から送信された削減度合調整情報に基づき、削減度合を調整する。
【0201】
これによれば、観察者が画像を観察しているときには間引かれるフレーム数を低減させて、観察者が画像を観察していないときには間引かれるフレーム数を増加させることができる。そのため、観察者が観察しているときには、動画像のフレーム数を多くすることができるため、より正確に撮像場所の状況を把握することが可能となる。その一方で、観察者が観察していないときに間引く生成撮像データのフレーム数を増加させているため、観察者が観察しているときに間引く生成撮像データのフレーム数を低減すること等で発生し得る送信遅延を、観察者の観察に影響を与えることなく低減することが可能となる。
【0202】
<<発明の他の実施の形態>>
前述の実施の形態1、2では、撮像装置10において、撮像装置10と通信端末20又は30との間のネットワークの通信速度を算出するようにしているが、これに限られない。例えば通信端末20又は30において、撮像装置10と通信端末20又は30との間のネットワークの通信速度を算出し、撮像装置10に通知するようにしてもよい。
【0203】
具体的には、通信端末20又は30のCPU200を通信速度算出部として機能するようにする。通信端末20又は30のCPU200を通信速度算出部は、通信速度導出期間当たりに受信した送信撮像データにおけるフレーム数を通信速度として算出し、算出した通信速度を通知する通信速度通知情報を生成して、通信部205を介して撮像装置10に送信するようにする。撮像装置10のCPU100は、通信端末20又は30から送信された通信速度通知情報を、通信部105を介して受信し、メモリ103に格納する。そして削減度合導出部1001又は1004は、削減度合の導出時に、メモリ103に格納された通信速度通知情報において通信速度として示される、通信速度導出期間当たりに受信したフレーム数を、通信速度導出期間当たりに送信が完了したチェック対象の送信撮像データのフレーム数として間引き率を導出するようにすればよい。
【0204】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0205】
前述の実施の形態では、フレームの重要度が高くなるに従って、そのフレームのスコアがより高く算出される場合について例示したが、これに限られない。スコアとして、これ以外の任意に予め定めた規則にしたがって重要度を示すようにしてよい。例えばフレームの重要度が高くなるに従って、そのフレームのスコアがより低く算出されるようにしてもよい。なおこの場合は、前述の実施の形態において、間引き率に従ってスコアの低い順にフレームを間引く、又は、スコア閾値より高いスコアのフレームを間引き対象とするようにすればよい。
【0206】
また前述の実施の形態では、観察者が観察している尤度が高くなるに従って、観察スコアがより高く算出される場合について例示したが、これに限られない。観察スコアとして、これ以外の任意に予め定めた規則にしたがって観察者が観察している尤度を示すようにしてよい。例えば観察者が観察している尤度が高くなるに従って、その観察スコアがより低く算出されるようにしてもよい。なおこの場合は、前述の実施の形態において、観察スコアが低くなるに従って、より小さくなるように削減度合を調整するようにすればよい。例えば観察スコアが観察スコア閾値未満である場合に、削減度合を小さくするように調整し、観察スコアが観察スコア閾値以上である場合に、削減度合を大きくするように調整すればよい。
【0207】
前述の実施の形態では、送信撮像データがFIFO(先入れ先出し)方式で、送信バッファ104に格納され、かつ送信バッファ104から取り出されて送信される場合について例示したが、これに限られない。通信部205が、送信バッファ104への格納順序とは異なる順序で送信撮像データを構成する各フレームを通信端末20又は30に送信するようにしてもよい。この場合、例えばCPU100が送信撮像データにおけるフレームの順序を一意に特定できる情報を各フレームに付加することで、CPU200がその情報に基づいて正しいフレームの順序で送信撮像データを表示する等すればよい。
【0208】
本発明の実施の形態にかかる撮像装置10及び通信端末20、30は、前述の通り、実施の形態の機能を実現するプログラムを、コンピュータ(撮像装置10又は通信端末20、30)が有するCPUが実行することによって、構成することが可能である。
【0209】
また、このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【0210】
1 撮像データ配信システム
10 撮像装置
20、30 通信端末
100、200 CPU
101、206 撮像部
102、207 A/D変換部
103、201 メモリ
104 送信バッファ
105、205 通信部
110、210 レンズ
111、211 撮像素子
120、220 バス
140 撮像データ
202 VRAM
203 D/A変換部
204 モニタ
208 操作部
209 姿勢センサ
1000 通信速度算出部
1001、1004 削減度合導出部
1002 スコア算出部
1003 撮像データ削減部
2000 観察スコア算出部
2001 削減度合調整情報生成部
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23