(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184517
(43)【公開日】2022-12-13
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、記憶媒体、および撮像システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20221206BHJP
【FI】
H04N7/18 A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021092420
(22)【出願日】2021-06-01
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】横溝 剛
【テーマコード(参考)】
5C054
【Fターム(参考)】
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054EG00
5C054EJ07
5C054FD07
5C054GB01
(57)【要約】 (修正有)
【課題】表示部に表示する画像を予め指定された領域の画像に切り替える際に、高解像度の画像を素早く表示させる情報処理装置、処理方法、プログラム、記憶媒体及び撮像システムを提供する。
【解決手段】撮像画像を複数の所定の領域に分割したタイル画像であって、フレーム内符号化とフレーム間符号化を切り替えて行う符号化処理がされたタイル画像を、複数の解像度で保存するサーバと、通信可能な情報処理装置を有するシステムにおいて、情報処理装置であるクライアントは、撮像画像上において、指定される指定領域を予め指定する指定部1107と、複数の解像度のうちより高解像度の、指定領域を含むタイル画像の送信をサーバに要求する要求部1106と、タイル画像から指定領域を切り出して、表示部に表示させる表示制御部1105と、を備える。要求部は、指定領域の指定が行われたときに、指定された指定領域を含むタイル画像の送信をサーバに要求する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
撮像画像を複数の所定の領域に分割したタイル画像であって、フレーム内符号化とフレーム間符号化を切り替えて行う符号化処理がされた前記タイル画像を、複数の解像度で保存するサーバと、通信可能な情報処理装置であって、
前記撮像画像上において、指定される指定領域を予め指定する指定部と、
前記複数の解像度のうち、より高解像度の前記指定領域を含む前記タイル画像の送信を前記サーバに要求する要求部と、
前記タイル画像から前記指定領域を切り出して、表示部に表示させる表示制御部と、を備え、
前記要求部は、前記指定領域の指定が行われたときに、前記指定された指定領域を含む前記タイル画像の送信を前記サーバに要求することを特徴とする情報処理装置。
【請求項2】
前記指定部は、前記撮像画像上において、前記指定領域を解除し、
前記要求部は、前記指定領域が解除されたときに、前記解除された前記指定領域を含む前記タイル画像の送信停止を前記サーバに要求することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記要求部は、前記指定領域が解除されたときに、解除された前記指定領域が含まれるタイル画像が、解除された前記指定領域とは異なる指定領域を含む場合は、前記解除された前記指定領域が含まれるタイル画像の送信の停止を前記サーバに要求しないことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記表示部に表示させる前記指定領域を変更するための変更操作画面を表示可能であって、
前記要求部は、前記表示部に前記変更操作画面が表示されたときに、前記指定領域を含む前記タイル画像の送信を前記サーバに要求し、前記変更操作画面の表示が終了したときに、前記指定領域を含む前記タイル画像の送信停止、または前記変更操作画面により選択された前記指定領域を含む前記タイル画像以外の送信停止を前記サーバに要求することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
前記表示制御部は、前記表示部に表示させる前記指定領域の順序を予め指定して巡回させるプリセット巡回を実行するための実行操作画面を表示可能であって、前記プリセット巡回の実行操作された場合に、予め指定された前記順序で前記指定領域を前記表示部に表示させて前記プリセット巡回を実行し、
前記要求部は、前記実行操作画面が表示されたときに、前記プリセット巡回に含まれる指定領域を含む前記タイル画像の送信を前記サーバに要求し、前記プリセット巡回を停止する操作が行われたときに、前記プリセット巡回に含まれる指定領域を含む前記タイル画像の送信停止を前記サーバに要求することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
【請求項6】
前記要求部は、前記プリセット巡回の実行中に、前記プリセット巡回において指定された順序および時間に基づいて、前記指定領域を含む前記タイル画像の送信または送信停止を前記サーバに要求することを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記要求部は、前記表示部に最後に表示されてから所定の期間が経過した前記指定領域を含む前記タイル画像の送信停止を前記サーバに要求することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
【請求項8】
前記要求部は、指定されてから所定の期間が経過した前記指定領域を含む前記タイル画像の送信停止を前記サーバに要求することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
【請求項9】
前記要求部は、前記指定領域の全体が含まれるタイル画像のうち、最も解像度が高い前記タイル画像の送信を前記サーバに要求することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
【請求項10】
撮像画像を複数の所定の領域に分割したタイル画像であって、フレーム内符号化とフレーム間符号化を切り替えて行う符号化処理がされた前記タイル画像を、複数の解像度で保存するサーバと、通信可能な情報処理装置の制御方法であって、
前記撮像画像上において、指定される指定領域を予め指定する指定工程と、
前記複数の解像度のうちより高解像度の、前記指定領域を含む前記タイル画像の送信を前記サーバに要求する要求工程と、
前記タイル画像から前記指定領域を切り出して、表示部に表示させる表示工程と、を有し、
前記要求工程において、前記指定領域の指定が行われたときに、前記指定された指定領域を含む前記タイル画像の送信を前記サーバに要求することを特徴とする制御方法。
【請求項11】
撮像画像を複数の所定の領域に分割したタイル画像であって、フレーム内符号化とフレーム間符号化を切り替えて行う符号化処理がされた前記タイル画像を、複数の解像度で保存するサーバと、通信可能な情報処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像画像上において、指定される指定領域を予め指定する指定工程と、
前記複数の解像度のうちより高解像度の、前記指定領域を含む前記タイル画像の送信を前記サーバに要求する要求工程と、
前記タイル画像から前記指定領域を切り出して、表示部に表示させる表示工程と、を有し、
前記要求工程において、前記指定領域の指定が行われたときに、前記指定された指定領域を含む前記タイル画像の送信を前記サーバに要求することを特徴とするプログラム。
【請求項12】
請求項11に記載のプログラムを記憶した、コンピュータで読み取り可能な記憶媒体。
【請求項13】
撮像画像を複数の所定の領域に分割したタイル画像を生成し、前記タイル画像をフレーム内符号化とフレーム間符号化を切り替えて符号化処理する撮像装置と、処理された前記タイル画像を複数の解像度で保存するサーバと、前記サーバと通信可能な情報処理装置と、を含む撮像システムであって、
前記情報処理装置は、
前記撮像画像上において、指定される指定領域を予め指定する指定部と、
前記複数の解像度のうちより高解像度の、前記指定領域を含む前記タイル画像の送信を前記サーバに要求する要求部と、
前記タイル画像から前記指定領域を切り出して、表示部に表示させる表示制御部と、を備え、
前記要求部は、前記指定領域の指定が行われたときに、前記指定された指定領域を含む前記タイル画像の送信を前記サーバに要求することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラム、記憶媒体、および撮像システムに関するものである。
【背景技術】
【0002】
インターネットに代表されるようなネットワーク技術の進歩により、カメラなど撮像装置から提供される映像を遠隔にてユーザが視聴する機会が増大している。ある領域を撮影しているカメラの画像中からユーザが注視する注視領域を指定して、その注視領域をクライアント装置側でデジタル切り出しを行い拡大/縮小等を行い表示する事により、ユーザが自由に注視領域を視聴するサービスが知られている。しかしながら、クライアント装置側で注視領域を切り出し、拡大して表示すると映像の有効解像度が下がり、映像が劣化したように見える。この課題を克服するために例えば、撮像映像(撮像画像)の全体映像(全体画像)と、高解像度の撮像映像を複数の所定の領域(タイル)に分割した各タイル映像群を録画サーバに送信する。そして、ユーザが指定した注視領域に最も近いタイル映像(タイル画像)をクライアント装置に送信することによって高いスケーラビリティと帯域幅管理を行う技術が知られている。
【0003】
例えば、特許文献1では、監視カメラは撮像時に同一の映像信号から高解像度と低解像度の映像データを生成し、前記両映像データを記録装置に記録する。録画配信時には、全体俯瞰時は低解像度の映像データを配信し、ユーザが切り出し映像を要求した際には、配信する映像データを高解像度の映像データから切り出した映像に切り替える技術が開示されている。
【0004】
また、切り出し映像の位置をパン、チルト方向に移動させるデジタルPT移動の技術も一般に知られている。例えば、高解像度の映像のタイルから切り出した映像をデジタルPT移動した場合、別の高解像度映像のタイルに切り替える必要が出てくる場合がある。
【0005】
また、あらかじめ切り出し映像の位置をあらかじめ登録するプリセット機能が知られている。さらに、プリセット位置が複数存在する場合、一定時間おきに順番にプリセット位置を巡回する機能も知られており、プリセット巡回機能と呼ばれている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、撮像装置からの出力は、高圧縮率を担保するため、H.264などフレーム内圧縮とフレーム間圧縮を組み合わせた圧縮方法を使用することが多い。そのため、映像を切り替える際にフレーム内圧縮フレームまで映像を切り替える事ができず、切り替え先の映像のフレーム内圧縮フレームまでユーザを待たせることになる。特に、プリセット機能などによってデジタルPT移動を実行すると、頻繁に映像を切り替えることになるため、フレーム内圧縮フレームまでの待ち時間が増加しうる。さらに、プリセット巡回機能によって、短い停止時間で複数のプリセット位置間を移動する場合、フレーム内圧縮フレームを受信する前にプリセット位置を移動しなければならず、すぐにプリセット移動後の映像を表示できなくなることがある。
【0008】
そこで、本発明は、表示部に表示する画像を予め指定された領域の画像に切り替える際に、高解像度の画像を素早く表示させることを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明は、撮像画像を複数の所定の領域に分割したタイル画像であって、フレーム内符号化とフレーム間符号化を切り替えて行う符号化処理がされた前記タイル画像を、複数の解像度で保存するサーバと、通信可能な情報処理装置であって、前記撮像画像上において、指定される指定領域を予め指定する指定部と、前記複数の解像度のうちより高解像度の、前記指定領域を含む前記タイル画像の送信を前記サーバに要求する要求部と、前記タイル画像から前記指定領域を切り出して、表示部に表示させる表示制御部と、を備え、前記要求部は、前記指定領域の指定が行われたときに、前記指定された指定領域を含む前記タイル画像の送信を前記サーバに要求することを特徴とする。
【発明の効果】
【0010】
本発明によれば、表示部に表示する画像を予め指定された領域の画像に切り替える際に、高解像度の画像を素早く表示させることができる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態に係る撮像システムを説明する図である。
【
図2】撮像装置が生成する映像のタイル分割の一例を示す図である。
【
図3】本実施形態に係る撮像装置と録画サーバ、クライアントである映像表示装置のシステム構成図である。
【
図4】録画サーバに保存されるタイル映像群の一例を示す図である。
【
図5】全体映像表示からデジタルPT移動後の切り出し領域の映像表示までのクライアントの動作の一例を示すフローチャートである。
【
図6】実施例1に係るプリセット登録された領域の表示処理を示すフローチャートである。
【
図7】ユーザがプリセット登録をするときにクライアントから録画サーバへ送信するプリセット情報の一例を示す図である。
【
図8】実施例2に係るプリセット登録された領域の表示処理を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0013】
[実施形態]
まず、
図1、
図2、
図3、
図4を用いて、高いスケーラビリティと帯域幅管理を行う撮像システムにおけるデジタルPT移動時の課題を説明する。
【0014】
図1は、本実施形態に係る撮像システム100を説明する図である。
図1(A)は、高いスケーラビリティと帯域幅管理を行う撮像システム100の構成の一例を示す概念図である。
図1(B)は、撮像装置102が録画サーバ103へ送信するタイル映像群の一例である。
図2は、撮像装置102が生成する映像のタイル分割の一例を示す図である。
【0015】
撮像システム100は、撮像装置102と、録画サーバ103とを含み、撮影シーン101をユーザが操作するクライアント104やクライアント105に配信するシステムである。ここでクライアントは撮像システム100の外側に配置しているが、撮像システム100の内部に組み込んでもよい。また、クライアントは説明の便宜上ここでは二つとしているが、一つまたは二つ以上であってもよい。
【0016】
撮像装置102は、撮影シーン101を撮像し、複数の解像度の映像(画像)を生成した後、録画サーバ103へ送信する。撮像装置102で生成された画像は、例えば、解像度の低い画像106と、解像度が画像106のよりも高い中程度の画像107と、解像度が画像107よりも高い画像108となる。ここで、最も解像度の低い画像106を層1の画像とし、解像度が中程度の画像107を層2として、撮像する解像度が大きくなるほど、層の番号を増やすものとする。層2の画像を、例えば、4つの領域(タイル)に分割し、分割した画像(タイル画像またはタイル映像)毎に映像を作成する。同様に、層3の画像を例えば16個の領域に分割し、分割した画像毎に映像を作成する。そして、H.264等のフレーム内圧縮(フレーム内符号化)とフレーム間圧縮(フレーム間符号化(フレーム間予測符号化とも言われる)がある圧縮機で各映像を圧縮して録画サーバ103に送信する。ここで、最大層数を3、層iにおける分割数をniとすると、n2=4、n3=16としたが、これは説明を簡単にするためであり、最大層数と各層における分割数はいくつでも構わない。また、ここで、撮像装置102が生成する映像を、映像が属する層数iと映像のタイルの番号をjとした場合にAijと表すとする。ここでタイル番号とは、例えば、
図2に示すように左上を開始点の1として、右隣のタイルを次の番号とする。右隣のタイルがない場合は、折り返して下隣のタイルを次の番号とするような方法で番号をつければよい。すると、録画サーバ103は、合計Σiniの映像を受信して録画する。
【0017】
図3は、本実施形態に係る撮像装置102と録画サーバ103、クライアントである映像表示装置(情報処理装置)のシステム構成図である。なお、本図における各ブロックは、撮像装置102、録画サーバ103、クライアント104および105の夫々に内蔵された制御部としての不図示のコンピュータ(CPU)によって実現される。コンピュータがメモリに記憶されたコンピュータプログラムを実行することによって実現される。
図3において、102は撮像装置、103は録画サーバ、104、105はクライアント、1200はネットワークである。また、1001は撮像部、1002は画像処理部、1003はシステム制御部、1005はレンズ駆動部、1006はレンズ制御部、1007は通信部である。また、1301は録画サーバのシステム制御部、1302は記録部、1303は通信部である。撮像装置102、録画サーバ103、クライアント104および105はネットワーク1200を介して相互に通信可能な状態に接続されている。
【0018】
図3を参照して、撮像装置102の各部構成と機能について説明する。撮像部1001は、撮像素子を含み、被写体の撮像及び電気信号への変換を行う。
【0019】
画像処理部1002は、撮像部1001において撮像、光電変換された信号の所定の画像処理、複数の解像度の映像データの生成、タイル分割、圧縮符号化処理を行う。
【0020】
レンズ駆動部1005は、レンズ制御部1006の制御に基づいて、撮像装置102のレンズ(光学素子)を駆動し、例えば、ズームの調整を行う。
【0021】
システム制御部1003は、カメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、録画サーバ103からレンズのズーム値変更コマンドを受信すると、システム制御部1003は、レンズ制御部1006にズーム値変更を指示することで、レンズ駆動部1005を通してレンズのズーム駆動を行う。
【0022】
通信部1007は、ネットワーク1200を介して複数のタイル映像(タイル画像)を録画サーバ103に配信する。また、通信部1007は、録画サーバ103もしくはクライアント104、105から送信される各種コマンドを受信し、システム制御部1003へ伝達する。
【0023】
次に、
図3を参照して、録画サーバ103の各部構成と機能について説明する。システム制御部1301は、通信部1303を通じて撮像装置102から複数の解像度のタイル映像を受信すると、記録部1302に対してデータの保存を指示する。
【0024】
記録部1302は、システム制御部1301からデータ保存を指示されると、撮像装置から受信した映像データを録画映像データとして保持(記憶)する。また、システム制御部1301から録画映像の取り出し(出力)命令があった場合に、記録部1302はシステム制御部1301に対して録画映像を送信する。
【0025】
また、システム制御部1301は、通信部1303を通じてクライアント104、105からタイル映像の送信指示を受信すると、記録部1302に対して指定されたタイル映像の取り出しを指示する。そして、システム制御部1301は、取得したタイル映像を、通信部1303を通じてクライアント104、105に送信する。
【0026】
続いて、
図3を参照して、クライアント104、105の各部構成と機能について説明する。
【0027】
クライアント104、105は、情報処理装置であって、典型的にはパーソナルコンピュータなどの汎用コンピュータが用いられるが、スマートフォンといった携帯端末でも構わない。
【0028】
通信部1101は、録画サーバ103から配信された各種データを受信する。各種データには、主にカメラの設定値を表すデータや映像データが含まれる。
【0029】
表示部1102は、液晶表示装置などが使用され、録画サーバ103から取得した画像の表示や、カメラ制御を行うためのグラフィックユーザインターフェース(以下、GUIと称する)を表示する。
【0030】
システム制御部1103は、クライアント104、105の各部を制御し、表示制御部1105と、要求部1106と、指定部1107とを含みうる。表示制御部1105は、通信部1101を介して受信した録画サーバ103からの映像データを表示部1102に表示させる。また、表示制御部1105は、GUI等の操作画面を表示部1102に表示可能である。指定部1107は、ユーザからの指示によって、注視領域を指定および解除する。ここで、注視領域とは、ユーザによって指定される領域であり、指定領域ともいえる。要求部1106は、録画サーバ103に適切なタイル映像の送信および送信停止を要求する。また、システム制御部1103は、ユーザのGUI操作に応じてカメラ制御コマンドを生成し、通信部1101を介して録画サーバ103もしくは撮像装置102へ送信する。
【0031】
入力部1104は、キーボード、マウスなどのポインティング・デバイスなどが使用され、ユーザは、入力部1104を介してGUIを操作する。なお、携帯端末の場合、入力部1104には、タッチパネルや各種キーボタンなどが使用されうる。
【0032】
このようにクライアント104、105は、ネットワーク1200を介して、録画サーバ103のタイル映像の取得や撮像装置102のカメラ制御を行うことができる。
【0033】
次に、
図3、
図4、
図5を用いて、プリセット移動などによるデジタルPT移動する際に、録画サーバ103からクライアント104に送信されるタイル映像について説明する。
【0034】
図4は、録画サーバ103に保存されるタイル映像群の一例を示す図である。ここでは、
図1(B)と同じ形式で、層1から層3のタイル映像群が保持されているものとする。
【0035】
図5は、全体映像表示からデジタルPT移動後の切り出し領域の映像表示までのクライアント104の動作の一例を示すフローチャートである。本図における各工程(ステップ)は、クライアント104に内蔵されたCPUによって実行されうる。
【0036】
まず、クライアント104のシステム制御部1103は、録画サーバ103に対して全体映像である画像106(映像A11)の取得要求を送信する。録画サーバ103のシステム制御部1301は、通信部1303を介して映像取得要求を受信すると、記録部1302から層1の全体映像である画像106を取得し、クライアント104に送信する。通信部1101を介して画像106を受信すると、クライアント104のシステム制御部1103は、表示部1102に全体映像を表示させる(S5001)。
【0037】
続いて、例えばユーザが画像106のエリア301を注視領域に指定(設定)すると(S5002)、システム制御部1103は、エリア301の領域が各層の1つのタイルに収まるかどうかを判定する。システム制御部1103は、指定された注視領域(ここでは、エリア301)の全体が収まるタイル映像のうち、より解像度が高いタイル映像を通信部1101を介して録画サーバ103に要求する。好ましくは、指定された注視領域の全体が収まるタイル映像のうち、システム制御部1103は、最も解像度が高いタイル映像を、録画サーバ103に要求する。言い換えると、システム制御部1103は、1つのタイルに収まる最大の層のタイル映像を、通信部1101を介して録画サーバ103に要求する。
【0038】
録画サーバ103のシステム制御部1301は、通信部1303を介してクライアント104から映像取得要求を受信すると、記録部1302からタイル映像A37を取得し、クライアント104に送信する。そして、通信部1101を介してタイル映像A37を受信すると、システム制御部1103は、タイル映像A37からエリア301を切り出し、表示部1102に表示させる(S5003)。
【0039】
次に、ユーザがプリセット移動などによってデジタルPT移動を指示すると(S5004)、クライアントのシステム制御部1103は、注視領域がタイル映像A37に収まっている間は、タイル映像A37から切り出した映像を表示部1102に表示させる。なお、プリセット移動の詳細については後述する。しかし、デジタルPT移動によって、エリア302のように注視領域を切り出すために隣のタイル映像も必要になった段階で、システム制御部1103は、通信部1101を介して録画サーバ103にタイル映像A37およびタイル映像A38を要求する。録画サーバ103のシステム制御部1301は、通信部1303を介して映像取得要求を受信すると、記録部1302からタイル映像A37およびタイル映像A38をクライアント104に送信しようとする。しかし、送信するタイミングのタイル映像A38がフレーム間圧縮映像の場合、クライアント104で表示することができない。このため、システム制御部1301は、タイル映像A37のみ記録部1302から取得し、通信部1303を介してクライアント104に送信する。ここで、システム制御部1301は、タイル映像A37のみ送信していることをクライアント104に通知してもよい。そして、タイル映像A38がフレーム内圧縮映像になったタイミングで、システム制御部1301は通信部1303を介してクライアント104にタイル映像A38を送信する。
【0040】
通信部1101を介してタイル映像A37のみを受信すると、システム制御部1103は、タイル映像A37からエリア302に最も近い領域を切り出し、表示部1102に表示させる。その後、通信部1101を介してタイル映像A37およびタイル映像A38を受信すると、システム制御部1103は、タイル映像A37およびタイル映像A38からエリア302を切り出し、表示部1102に表示させる(S5005)。
【0041】
以上のように、プリセット移動などによるデジタルPT移動によってユーザが注視領域を移動させると、表示部1102に表示するタイル映像を頻繁に切り替える必要がある。しかしながら、フレーム内圧縮映像になるタイミングまでユーザの指定した領域を表示することができないという課題がある。
【0042】
以下の実施例では、プリセット登録時に登録する注視領域を含むタイル映像を要求することで、プリセット移動時に注視領域を表示するまでの時間を短縮する。
【0043】
(実施例1)
以下に、実施例1の形態を、添付の図面を参照して説明する。以下、
図3、
図4、
図6、および
図7を参照して、実施例1のフローについて説明する。
図6は、実施例1に係プリセット登録された領域の表示処理を示すフローチャートである。本図における各工程(ステップ)は、クライアント104に内蔵されたCPUによって実行されうる。本フローチャートでは、ユーザが予め指定する注視領域に関する情報(プリセット情報)を登録、削除するとき、および登録した注視領域を呼び出したとき、すなわちプリセット移動させたときのクライアント104の動作を示したフローチャートである。なお、本明細書において、ユーザが予め注視領域を指定することをプリセットといい、プリセット情報を登録することをプリセット登録という。また、表示部1102に表示させる画像をプリセットされた注視領域の画像に変更(移動)すること、および表示部1102に現在表示されているプリセットされた注視領域とは異なるプリセットされた注視領域の画像に変更することをプリセット移動という。
図7は、ユーザがプリセット登録をするときにクライアント104から録画サーバ103へ送信するプリセット情報の一例を示す図である。
【0044】
図6(A)は、ユーザがプリセット登録するときのフローチャートである。まず、S6001で、ユーザが入力部1104を操作し、プリセット登録したい撮像画像上における位置(領域)を指定して、表示部1102に表示させる。例えば、ユーザがエリア301をプリセット登録したい領域として指定した場合、システム制御部1103は、エリア301の領域が各層の1つのタイルに収まるかどうかを判定する。システム制御部1103は、1つのタイルに収まる最大の層のタイル(ここではタイル映像A37)の送信を、通信部1101を介して録画サーバ103に要求する。録画サーバ103のシステム制御部1301は、通信部1303を介して映像取得要求を受信すると、記録部1302からタイル映像A37を取得し、クライアント104に送信する。通信部1101を介してタイル映像A37を受信すると、システム制御部1103は、タイル映像A37からエリア301を切り出し、表示部1102に表示させる。そして、ユーザが入力部1104を介して、現在表示しているエリア301をプリセット登録する設定を入力すると、システム制御部1103は、
図7に示したプリセット情報700を通信部1101を介して録画サーバ103に通知する。ここでは、プリセット番号701として1番、エリア301のX座標702として3342、Y座標703として2897、エリア301が含まれるタイル映像704としてA37を送信する。すなわち、プリセット情報には、プリセット番号、プリセット登録された注視領域の位置座標、プリセット登録された注視領域が含まれるタイル映像の番号等が含まれる。つづいて、録画サーバ103が通信部1303を介してプリセット情報700を受信すると、システム制御部1301は、記録部1302にこの情報を保存する。このように、録画サーバ103でプリセット情報を保持(記憶)することで、複数のクライアントでプリセット情報を共有することが可能となる。
【0045】
次に、システム制御部1103は、S6001で登録したプリセット情報700の座標702、703の位置を含むタイル映像A37を、すでに録画サーバ103に要求しているかどうか確認する(S6002)。
【0046】
S6002において、すでに録画サーバ103にタイル映像A37を要求している場合、フローを終了する。
【0047】
S6002において、まだ録画サーバ103にタイル映像A37を要求していない場合、システム制御部1103は、通信部1101を介して録画サーバ103にタイル映像A37を要求する。通信部1303を介して録画サーバ103がタイル映像A37の要求を受信すると、システム制御部1301は、記録部1302からタイル映像A37を取得し、クライアント104に送信する。そして、システム制御部1301は、クライアント104からタイル映像A37の送信停止を要求されるまで、タイル映像A37を送信し続ける(S6003)。
【0048】
録画サーバ103から送信されたタイル映像A37を通信部1101を介して受信すると、システム制御部1103は、タイル映像A37のデータをシステム制御部1103内部に保持しておく(S6004)。
【0049】
次に、
図6(B)で、ユーザがプリセット登録された注視領域を削除(解除)するときのフローチャートを説明する。まず、S6101で、ユーザが入力部1104を操作し、削除したいプリセット情報を選択する。例えば、ユーザがプリセット番号1を削除した場合、システム制御部1103は、プリセット番号1を削除する要求を、通信部1101を介して録画サーバ103に送信する。録画サーバ103のシステム制御部1301は、通信部1303を介してプリセット番号1の削除を受信すると、記録部1302に保存したプリセット情報から、プリセット番号1を削除する。
【0050】
次に、システム制御部1103は、S6101で削除したプリセット番号1(削除対象のプリセット情報)の位置座標を含むタイル映像A37を、他のプリセットで使用しているかどうか確認する(S6102)。
【0051】
S6102において、プリセット情報1のタイル映像A37が、他のプリセットにおいて使用されている場合(Yes)、フローを終了する。
【0052】
S6102において、プリセット情報1のタイル映像A37が、他のプリセットにおいて使用されていない場合(No)、システム制御部1103は、通信部1101を介して録画サーバ103にプリセット用のタイル映像A37の送信停止を要求する。通信部1303を介して録画サーバ103がタイル映像A37の送信停止要求を受信すると、システム制御部1301は、タイル映像A37の送信を停止する(S6103)。
【0053】
次に、
図6(C)で、ユーザがプリセット移動させたときのフローチャートを説明する。まず、S6101で、ユーザが入力部1104を操作し、移動先とするプリセット情報を選択する。例えば、ユーザがプリセット情報1を移動先として選択したとする。この場合、システム制御部1103は、すでにシステム制御部1103内部に保持しているプリセット情報1の位置座標に対応するタイル映像A37からエリア301を切り出し、表示部1102に表示させる(S6202)。
【0054】
以上のように、プリセット登録がされている場合において、現在表示している領域のタイル映像だけでなく、プリセット登録されている領域の高解像度タイル映像も受信しておく。これにより、プリセット移動時に途切れることなく、高解像度の画像を表示することができる。
【0055】
(実施例2)
実施例1では、現在表示している注視領域のタイル映像だけでなく、プリセット登録されている全ての注視領域のタイル映像も受信しておくことで、プリセット移動時に途切れることなく表示できるようにした。しかし、プリセット登録されている注視領域の高解像度タイル映像全てを常に受信する場合、帯域の消費が増大しうる。そこで、本実施例では、操作状態に応じて高解像度タイル映像の送信を停止する方法について説明する。
【0056】
以下に、実施例2の形態を、添付の図面を参照して説明する。以下、
図3、
図4、
図8を参照して、実施例2によるフローについて説明する。
図8は、実施例2に係るプリセット登録された領域の表示処理を示すフローチャートである。
図8(A)は、ユーザがプリセット移動操作画面(変更操作画面)を表示させたときのクライアント104の動作を示すフローチャートである。
図8(B)は、ユーザがプリセット移動操作画面を終了したときのクライアント104の動作を示すフローチャートである。
【0057】
図8(A)におけるフローを説明する。S8001で、ユーザが入力部1104を操作し、プリセット移動の移動先を選択する操作画面を表示させる操作を行う。すると、システム制御部1103は、プリセット移動操作画面を表示部1102に表示させる。
【0058】
そして、S8002において、システム制御部1103は、登録されている全てのプリセット情報に含まれるタイル映像の送信を、通信部1101を介して録画サーバ103に要求する。録画サーバ103が、通信部1303を介して、登録されているプリセット情報に含まれるタイル映像全ての送信の要求を受信すると、システム制御部1301は、記録部1302から要求された全てのタイル映像を取得し、クライアント104に送信する。そして、クライアント104から登録されているプリセット情報に含まれるタイル映像の送信停止を要求されるまで、システム制御部1301はタイル映像を送信し続ける。
【0059】
続いて、
図8(B)におけるフローを説明する。S8101で、ユーザが入力部1104を操作し、プリセット移動を選択する操作画面を終了し、別の画面を表示させる操作をおこなう。すると、システム制御部1103は、プリセット移動操作画面終了し、表示部1102にプリセット移動操作画面とは異なる画面を表示させる。
【0060】
そして、S8102において、システム制御部1103は、通信部1101を介して録画サーバ103に登録されているプリセット情報に含まれるタイル映像の送信停止を要求する。録画サーバ103が、通信部1303を介して、登録されているプリセット情報に含まれるタイル映像の送信停止要求を受信すると、システム制御部1301は、該タイル映像の送信を停止する。
【0061】
なお、このとき、プリセット移動により選択された注視領域を引き続き表示部1102に表示させ続ける場合がある。このような場合には、システム制御部1103は、登録されているプリセット情報に含まれるタイル映像のうち、プリセット移動により選択された注視領域を含むタイル映像以外の送信停止を要求する。
【0062】
以上のように、プリセット移動を選択する画面を表示している期間に限り、プリセット用の高解像度タイル映像を送信するようにする。これにより、プリセット移動を実施しない間は消費する帯域低減しつつ、プリセット移動時に途切れることなく、高解像度の画像を表示することができる。
【0063】
なお、本実施例では、登録されている全てのプリセット情報に含まれるタイル映像を送信する期間を、プリセット移動を選択する操作画面を表示している期間に限定することで不要な帯域を消費しないようにしたが、別の方法で実現してもよい。例えば、クライアント104および録画サーバ103がプリセット巡回を実施可能な場合、
図8(A)のS8001で、ユーザがプリセット移動操作画面を表示させたタイミングのかわりに、プリセット巡回の実行操作画面を表示させたタイミングとしてもよい。なお、ここで、プリセット巡回とは、撮像画像上の予め指定された領域の映像を、予め決められた時間だけ、予め指定された順序で、表示部1102に表示させることである。
【0064】
このとき、S8002では、登録されたプリセット情報に含まれるタイル映像全ての送信を録画サーバ103に要求するのではなく、プリセット巡回に含まれるプリセット情報のタイル映像を要求すればよい。そして、
図8(B)のS8101では、ユーザがプリセット移動操作画面を終了したタイミングのかわりに、プリセット巡回を停止したタイミングとしてもよい。このとき、S8102では、プリセット巡回に含まれるプリセット情報のタイル映像の送信停止を要求すればよい。
【0065】
また、プリセット巡回では、表示部1102に表示させる注視領域の順序と、時間が予め決まっている。このため、例えば、プリセット巡回の実行中に、指定された順序および時間に基づいて、タイル映像の送信または送信停止を要求するようにしてもよい。具体的には、例えば、プリセット情報1、プリセット情報2、プリセット情報3の順序で、巡回するようにプリセット巡回が設定されているとする。この場合、例えば、プリセット巡回の実行操作画面を表示させたタイミングで、プリセット情報1とプリセット情報2に含まれるタイル画像の送信を録画サーバ103に要求する。そして、プリセット巡回の実行中は、プリセット情報1の注視領域からプリセット情報2の注視領域へ移動するタイミングで、システム制御部1103は、プリセット情報1のタイル映像の送信停止の要求を録画サーバ103に送信する。そして、プリセット情報2の次の順序となるプリセット情報3のタイル映像の送信を録画サーバ103に要求する。これにより、さらに消費する帯域を低減することが可能となる。
【0066】
また、本実施例では、登録されているプリセット情報に含まれるタイル映像を全て送信するように要求したが、例えば、プリセット移動を実行した日から所定の期間が経過したプリセット情報のタイル映像の送信停止を要求してもよい。言い換えると、システム制御部1103は、表示部1102最後に表示された時から所定の期間が経過したプリセット情報に含まれるタイル映像の送信停止を録画サーバ103に要求しても良い。
【0067】
さらに、システム制御部1103は、登録されてから所定の期間が経過したプリセット情報に含まれるタイル映像の送信停止を録画サーバ103に要求してもよい。
【0068】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0069】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である
【符号の説明】
【0070】
100 撮像システム
102 撮像装置
103 録画サーバ
104,105 クライアント
1105 表示制御部
1106 要求部
1107 指定部