(58)【調査した分野】(Int.Cl.,DB名)
前記残領域特定部が特定した前記残領域から前記配置領域決定部が決定した前記配置領域を除いた空き領域が前記表示画面に対して占める割合が、予め定められた特定割合以上であるか否かを判定する判定部を更に備え、
前記表示制御部は、前記判定部が前記特定割合以上であると判定した場合には、前記空き領域に、前記複数の分割領域の画像の種別を示す種別表示画像と、予め定められた時間を示す時間軸に対してイベントが発生した時期を示すイベント発生表画像とを表示させ、前記判定部が前記特定割合未満であると判定した場合には、前記空き領域に、前記種別表示画像を表示させずに前記イベント発生表画像を表示させる、請求項1又は請求項2に記載の情報端末装置。
前記表示制御部は、前記イベント発生表画像が示すイベントと、当該イベントに関係する分割領域との対応関係を示す対応表示画像を表示させる、請求項3に記載の情報端末装置。
前記表示制御部は、ユーザーによる前記操作部の拡大操作に基づいて前記1つの分割領域を拡大させて画像を表示させた場合に、前記1つの分割領域を拡大させたことを示す拡大操作マークを前記イベント発生表画像における前記拡大操作の時期に相当する箇所に表示させる、請求項3又は請求項4に記載の情報端末装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では、主画面と3つの副画面とからなる4画面表示の携帯端末に対して、ユーザーが主画面の拡大操作をすると、主画面が表示画面全体にまで拡大されて表示されるので、主画面の監視画像は見易くなるものの、3つの副画面が消去されてしまう。このため、副画面の監視画像をユーザーが目視できないという問題がある。もし仮に、主画面の拡大に上限を定めて、3つの副画面を残すようにしたとしても、主画面の拡大に伴って3つの副画面が縮小されることに変わりはないため、副画面の監視画像が縮小によって見難くなることは否めない。
【0006】
本発明は、上記の事情に鑑みなされたものであり、表示画面の複数の分割領域のうち1つの分割領域を拡大することに伴って他の分割領域が縮小される場合であっても、縮小される他の分割領域の画像表示が見難くなることを抑制することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一局面にかかる情報端末装置は、表示画面を複数に分割した複数の分割領域ごとに画像を表示する表示部と、
前記表示画面における前記複数の分割領域のうちの1つの分割領域を拡大させる拡大操作をユーザーから受け付ける操作部と、
ユーザーによる前記操作部の拡大操作により拡大された前記1つの分割領域を除く前記表示画面における残領域を特定する残領域特定部と、
前記残領域特定部が特定した前記残領域に、前記拡大された1つの分割領域以外の他の分割領域を全て配置するための配置領域を決定する配置領域決定部と、
前記配置領域決定部が決定した配置領域に前記他の分割領域をそれぞれ縮小させて配置する縮小配置部と、
前記拡大された1つの分割領域に当該1つの分割領域の画像を拡大させて表示させるとともに、前記縮小配置部により縮小させて配置された前記他の分割領域において当該他の分割領域の特定部分の画像を当該他の分割領域内で拡大させて表示させる表示制御部と、を備えるものである。
【0008】
また、本発明の別の一局面にかかる情報処理システムは、ネットワークを介して配信される複数の画像を表示可能な情報端末装置と、アプリケーションサーバーとが通信可能な情報処理システムであって、
前記情報端末装置は、前記複数の画像の配信元へ当該複数の画像を要求する要求部と、
前記要求部に要求した前記複数の画像を、表示画面を複数に分割した複数の分割領域ごとに表示する表示部と、
前記表示画面における前記複数の分割領域のうちの1つの分割領域を拡大させる拡大操作をユーザーから受け付ける操作部と、
ユーザーによる前記操作部の拡大操作により拡大された前記1つの分割領域を除く前記表示画面における残領域を特定する残領域特定部と、
前記残領域特定部が特定した前記残領域に、前記拡大された1つの分割領域以外の他の分割領域を全て配置するための配置領域を決定する配置領域決定部と、
前記配置領域決定部が決定した配置領域に前記他の分割領域をそれぞれ縮小させて配置する縮小配置部と、
ユーザーによる前記操作部の拡大操作により拡大された前記1つの分割領域と前記縮小配置部により前記配置領域に縮小させて配置された前記他の分割領域とに関する通知を前記アプリケーションサーバーに出力する通知部と、
前記アプリケーションサーバーの送信部によって送信される画面情報を取得する取得部と、
前記取得部が取得した前記画面情報を用いて、前記拡大された1つの分割領域に当該1つの分割領域の画像を拡大させて表示させるとともに、前記縮小配置部により縮小させて配置された前記他の分割領域において当該他の分割領域の特定部分の画像を当該他の分割領域内で拡大させて表示させる表示制御部と、を備え、
前記アプリケーションサーバーは、前記通知部からの通知に従って、前記情報端末装置における前記表示画面での前記拡大された1つの分割領域と前記縮小された他の分割領域との画面情報を送信する前記送信部を備えるものである。
【0009】
また、本発明の別の一局面にかかる表示制御プログラムは、コンピューターを、
ユーザーによる操作部の拡大操作により表示画面の複数の分割領域のうちの一つの分割領域を拡大させた前記1つの分割領域を除く前記表示画面における残領域を特定する残領域特定部と、
前記残領域特定部が特定した前記残領域に、前記拡大された1つの分割領域以外の他の分割領域を全て配置するための配置領域を決定する配置領域決定部と、
前記配置領域決定部が決定した配置領域に前記他の分割領域をそれぞれ縮小させて配置する縮小配置部と、
前記拡大された1つの分割領域に当該1つの分割領域の画像を拡大させて表示させるとともに、前記縮小配置部により縮小させて配置された前記他の分割領域において当該他の分割領域の特定部分の画像を当該他の分割領域内で拡大させて表示させる表示制御部として機能させるものである。
【発明の効果】
【0010】
本発明によれば、表示画面の複数の分割領域のうち1つの分割領域を拡大することに伴って他の分割領域が縮小される場合であっても、縮小される他の分割領域の画像表示が見難くなることを抑制することができる。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態にかかる情報端末装置及び情報処理システムについて図面を参照して詳細に説明する。
【0013】
図1は、本発明の情報端末装置及び情報処理システムの構成を示すブロック図である。本実施形態の情報処理システム100は、配信装置30の複数の監視カメラ31〜34で撮影された各監視画像を、タブレット型コンピューターなどの情報端末装置10のWebブラウザで閲覧することが可能な情報処理システムである。
【0014】
情報処理システム100は、情報端末装置10と、配信装置30と、アプリケーションサーバー40と、ネットワーク50とを備える。情報端末装置10、配信装置30及びアプリケーションサーバー40が、ネットワーク50を介してそれぞれ通信可能に接続されている。
【0015】
配信装置30は、複数(本実施形態では4台)の監視カメラ31〜34と、情報端末装置10及びアプリケーションサーバー40と通信可能なルータ35と、を備える。ルータ35は、監視カメラ31〜34と接続されている。なお、監視カメラ31〜34は、静止画像や動画像(これらをまとめて画像という。)を撮影する装置であり、動画像のことを映像ともいう。また、一つの監視カメラで複数の画像を提供してもよい。
【0016】
アプリケーションサーバー40は、ルータ35に接続される4台の監視カメラ31〜34のIPアドレスを管理し、情報端末装置10からこれらの監視カメラ31〜34が撮影している各画像に対する閲覧要求がなされた場合、画像をブラウザに表示可能な画面情報を提供するWEBアプリケーションサーバーである。
【0017】
情報端末装置10は、例えばタブレット型コンピューターである携帯端末装置であって、表示部12と、タッチパネル13と、通信部14と、記憶部15と、制御ユニット20とを備える。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。情報端末装置10は、アプリケーションサーバー40のサービスの提供を受けるためブラウザがインストールされている。なお、情報端末装置10は、スマートフォンなどの携帯端末装置、デスクトップ型のパーソナル・コンピューターなどであってもよい。
【0018】
表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(OLED:Organic Light-Emitting Diode)などから構成される。
【0019】
タッチパネル13は、所謂抵抗膜方式や静電容量方式等のタッチパネルである。タッチパネル13は、表示部12の画面に配置され、表示部12の画面に対する指などの接触をその接触位置と共に検知する。タッチパネル13は、指などの接触を検知すると、その接触位置の座標を示す検知信号を制御ユニット20の制御部21などに出力する。従って、タッチパネル13は、表示部12の画面に対するユーザー操作が入力される操作部としての役割を果たす。
【0020】
また、情報端末装置10は、ユーザー操作が入力される操作部として、上記のタッチパネル13に加えてハードキーを備えてもよい。
【0021】
通信部14は、不図示の無線LANチップなどの通信モジュールを備える通信インターフェイスである。通信部14は、配信装置30とアプリケーションサーバー40との通信機能を有する。
【0022】
記憶部15は、大容量のSSD(Solid State Drive)、HDD(Hard Disk Drive)などからなり、各種のデータやプログラムを記憶している。
【0023】
制御ユニット20は、プロセッサー、RAM(Random Access Memory)、及びROM(Read Only Memory)などから構成される。プロセッサーは、CPU(Central Processing Unit)、MPU、又はASIC等である。この制御ユニット20は、上記のROM又は記憶部15に記憶された制御プログラムが上記プロセッサーで実行されることにより、制御部21、通信制御部22、残領域特定部23、配置領域決定部24、縮小配置部25、表示制御部26、画像判断部27及び判定部28として機能する。なお、制御ユニット20の上記の各構成要素は、前述の制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
【0024】
制御部21は、情報端末装置10の全体的な動作制御を司る。また、制御部21は、表示部12、タッチパネル13、通信部14、および記憶部15などと接続されており、上記各構成要素の動作制御や、各構成要素との間での信号またはデータの送受信を行う。制御部21は、特に、表示部12の表示動作を制御する。通信制御部22は、通信部14の通信動作を制御する機能を有する。
【0025】
表示制御部26は、後述する
図4に示すように、表示部12の表示画面を、例えば4画面表示とするように制御する。具体的には、表示制御部26は、表示部12の表示画面を左上、右上、左下及び右下の4つに等分割した4つの分割領域D1〜D4に、4台の監視カメラ31〜34で撮影された各監視画像がそれぞれ表示されるように制御する。また、表示制御部26は、
図4に示すように各分割領域D1〜D4の左上隅部に「C1」〜「C4」と表示させ、それぞれ監視カメラ31〜34が撮影した画像であることを示している。
図4では、監視カメラ31〜34の各監視画像を円形、三角形、五角形、星形で示している。本実施形態では、後述する
図5に示すように、拡大操作された分割領域D1の画像に含まれる対象者(例えば円形で図示)が監視すべき対象者として特定され、他の分割領域D2〜D4にそれぞれ示す三角形、五角形、星形は、監視対象から除外されるとする。
【0026】
また、制御部21は、タッチパネル13から出力される検知信号に基づき、ユーザーにより入力されたユーザー操作を特定する。そして、制御部21は、特定したユーザー操作に応じた制御を行う。
【0027】
上記ユーザー操作には、例えば、タッチ操作、ドラッグ操作、スワイプ操作などがある。例えば、ユーザーがタッチパネル13に指を接触させて直ちに離すと、タッチパネル13は、接触を検知した位置を示す検知信号を制御部21に出力する。制御部21は、該検知信号を入力すると、この検知信号に基づきユーザー操作がタッチ操作であることを検出する。このタッチ操作は、例えば表示部12の画面上のソフトキーに対して行われる。
【0028】
また、ユーザーがタッチパネル13に指を接触させた状態を維持(つまり長押し)した後にそのままゆっくりと指を移動させると、タッチパネル13は、最初に接触を検出した初期位置が予め定められた時間(例えば0.5秒)維持されて当該初期位置から最後に接触を検出した最終位置までの各移動位置を示す検知信号を制御部21に出力する。制御部21は、該検知信号を入力すると、この検知信号に基づきユーザー操作がドラッグ操作であること、及びドラッグ操作の操作方向及び最終位置を検出する。本実施形態では、ドラッグ操作は、例えば、表示部12の画面上の1つの分割領域を拡大させるときに該1つの分割領域の角部に対して行われる拡大操作が含まれる。具体的には、
図5に示すように、表示部12の表示画面における例えば拡大操作前の1つの分割領域D1の右下角部の位置(つまり初期位置P1)にユーザーの指を接触させた状態が前記予め定められた時間以上維持された後にそのままゆっくりと指を最終位置P2に移動させることで、タッチパネル13は、初期位置P1が前記予め定められた時間維持されて当該初期位置P1から最終位置P2までの各移動位置を示す検知信号を制御部21に出力する。制御部21は、該検知信号を入力すると、この検知信号に基づきユーザー操作がドラッグ操作(拡大操作)であること、及びドラッグ操作の操作方向及び最終位置P2を検出する。なお、本実施形態では、ドラッグ操作(拡大操作)は、分割領域D1のアスペクト比を維持する拡大操作としているが(分割領域D2〜D4の何れか一つを拡大させる場合についても同様)、アスペクト比を維持しない拡大操作としてもよい。
【0029】
また、ユーザーがタッチパネル13に指を接触させた状態で直ちに指を移動させると、タッチパネル13は、最初に接触を検出した初期位置から最後に接触を検出した最終位置までの各移動位置を示す検知信号を制御部21に出力する。制御部21は、該検知信号を入力すると、この検知信号に基づきユーザー操作がスワイプ操作であること、及びスワイプ操作の操作方向を検出する。このスワイプ操作は、例えば、表示部12の画面上のアイコンを移動させるときに該アイコンに対して行われる。
【0030】
残領域特定部23は、
図5に示すように、ユーザーによるタッチパネル13の拡大操作(ドラッグ操作)により拡大された1つの分割領域D1を除く表示部12の表示画面における残領域A1を特定する。上記ドラッグ操作(拡大操作)により、分割領域D1の右下角部が最終位置P2に移動されたことが、制御部21にて検出され、残領域特定部23は、右下角部が最終位置P2に移動した拡大された分割領域D1を除く、表示部12の表示画面における残領域A1を特定する。
【0031】
配置領域決定部24は、
図6に示すように、残領域特定部23が特定した残領域A1に、拡大された1つの分割領域D1以外の他の分割領域D2〜D4を全て配置するための配置領域A3を決定する。例えば、配置領域決定部24は、表示画面における、右下角部が最終位置P2に移動した拡大された分割領域D1の右側領域部分を、配置領域A3として決定する。
【0032】
縮小配置部25は、
図6に示すように、配置領域決定部24が決定した配置領域A3に他の分割領域D2〜D4をそれぞれ縮小させて配置する。なお、本実施形態では、縮小配置部25は、アスペクト比が維持されるように分割領域D2〜D4を縮小させているが(分割領域D1を含めて縮小させる場合についても同様)、アスペクト比が維持されない縮小としてもよい。
【0033】
画像判断部27は、他の分割領域(
図6の分割領域D2〜D4)に表示される画像を画像認識処理(例えば、既知の顔認識処理、人物認識処理など)を実行することにより、当該画像中に対象者又は対象物が含まれるか否かを判断する。本実施形態では、画像判断部27は、
図5に示すように拡大操作された分割領域D1に表示される画像を画像認識し、当該分割領域D1の画像に含まれる対象者(例えば円形で図示)を監視すべき対象者として特定する。具体的には、画像判断部27は、既知の顔認証処理を実行することにより、拡大された分割領域D1に表示される画像情報に基づいて当該対象者の顔認証情報(例えば、対象者の画像の中から顔領域が決定され、この顔領域における目・鼻・口などの顔の特徴点を示す情報等)を抽出する。そして、画像判断部27は、前記抽出した当該対象者の顔認証情報を、照合元登録データとして記憶部15に記憶させる。次に、画像判断部27は、他の分割領域(
図6の分割領域D2〜D4)に表示される画像中に、監視すべき対象者(例えば円形で図示)が含まれるか否かを、分割領域D2〜D4ごとに判断する。具体的には、画像判断部27は、既知の顔認証処理を実行することにより、分割領域D2〜D4ごとの画像情報に基づいて抽出した対象者の顔認証情報が、記憶部15の照合元登録データと一致するかどうかを判断し、一致した場合には分割領域D2〜D4の画像中に監視すべき対象者が含まれると判断する。なお、
図6の分割領域D2〜D4の画像には、監視すべき対象者(例えば円形で図示)が含まれることを図示している。
【0034】
また、表示制御部26は、
図7に示すように、拡大された1つの分割領域D1に当該1つの分割領域D1の画像を拡大させて表示させるとともに、縮小配置部25により縮小させて配置された他の分割領域D2〜D4に監視すべき対象者(例えば円形で図示)が表示された場合(すなわち、画像判断部27が他の分割領域D2〜D4の画像中に対象者を含むと判断した場合)には、監視すべき対象者(例えば円形で図示)を含む特定部分SEの画像を当該他の分割領域D2〜D4内で拡大させて表示させる。
【0035】
より具体的に言えば、表示制御部26は、縮小配置部25により縮小させて配置された他の分割領域D2の画像中に対象者を含むと画像判断部27が判断した場合、
図6に示すように、他の分割領域D2の画像の一部分である特定部分SEの画像(つまり、対象者の画像)を、
図7に示すように当該分割領域D2内で拡大させて表示させる。また、他の分割領域D3、D4の画像中に対象者を含むとそれぞれ判断した場合に、他の分割領域D3、D4の特定部分SE(つまり、対象者)がそれぞれ拡大されて表示される。このようにすることで、分割領域D2〜D4が縮小されたにもかかわらず、分割領域D2〜D4の特定部分SE(つまり、対象者)が拡大されて表示されるので、分割領域D2〜D4の特定部分SEを見易く表示することができる。
【0036】
なお、表示制御部26は、画像判断部27が他の分割領域D2〜D4の画像中に対象者を含むと判断した場合に、画像判断部27が顔認識した対象者の顔を含む部分(例えば、対象者の顔を含む矩形状領域部分)を特定部分SEとして他の分割領域D2〜D4内で拡大して表示させるようにしてもよい。この場合には、分割領域D2〜D4が縮小されたにもかかわらず、分割領域D2〜D4の特定部分SE(つまり、対象者の特徴部分である顔)が拡大されて表示されるので、分割領域D2〜D4の特定部分SEをさらに見易く表示することができる。
【0037】
本実施形態では、監視対象は、
図5に示すように監視すべき対象者(例えば円形で図示)としているが、例えば予め定められた対象物(例えば消火器)を監視対象としてもよい。この場合には、画像判断部27は、例えば既知のパターンマッチング画像処理を実行することにより、分割領域D1〜D4の画像中に当該対象物(例えば消火器)を含むか否かを判断することができる。画像判断部27が他の分割領域D2〜D4の画像中に当該対象物(例えば消火器)を含むと判断すると、表示制御部26は、画像判断部27が認識した対象物(例えば消火器)を含む部分(例えば消火器全体又は一部を含む矩形状領域部分)を特定部分SEとして他の分割領域D2〜D4内で拡大して表示させる。このようにすることで、分割領域D2〜D4が縮小されたにもかかわらず、分割領域D2〜D4の特定部分SE(つまり、対象物)が拡大されて表示されるので、分割領域D2〜D4の特定部分SE(つまり、対象物)を見易く表示することができる。
【0038】
判定部28は、残領域特定部23が特定した残領域A1(
図5参照)から配置領域決定部23が決定した配置領域A3を除いた空き領域A2(
図6参照)が、表示画面に対して占める割合が予め定められた特定割合(例えば10%)以上であるか否かを判定する。表示制御部26は、判定部28が特定割合(例えば10%)以上であると判定した場合には、
図7に示すように、空き領域A2に、複数の分割領域の画像の種別(例えば撮影場所を示す情報)を示す種別表示画像MIと、横方向に延びる撮影時間軸に対してイベントEVが発生した時期を示すイベント発生表画像ETIとを表示させる。
【0039】
種別表示画像MIは、
図7に示すように、分割領域D1〜D4の画像がそれぞれ、1階正門前の監視カメラ31(カメラC1)、2階東廊下の監視カメラ32(カメラC2)、2階西廊下の監視カメラ33(カメラC3)、2階北廊下の監視カメラ34(カメラC4)で撮影されたものであるといった撮影場所を示す画像である。
【0040】
イベント発生表画像ETIは、例えば監視すべき対象者(例えば円形で図示)の出現などのイベントEVが、撮影時間のいずれの時刻に発生したのかを示す画像である。本実施形態のイベント発生表画像ETIは、撮影時間軸を有し、この撮影時間軸の左端が当日の午前零時を、撮影時間軸の右端が同日の現在をそれぞれ示す。具体的には、表示制御部26は、画像判断部27が分割領域D1〜D4の画像中に監視すべき対象者を含むと判断した場合に、イベント発生表画像ETIにおける当該判断した時点に相当する箇所にイベントEVを表示させる。ユーザーは、
図7に示すように、表示部12の空き領域A2に表示されるイベント発生表画像ETIの各イベントEVを見ることで、イベントEVがあったことを把握することができる。
【0041】
また、イベント発生表画像ETIには、1つの分割領域を拡大させる拡大操作があった場合に、当該1つの分割領域を拡大させたことを示す拡大操作マークEXが、その拡大操作の時期に相当する箇所に表示される。ユーザーは、
図7に示すように、表示部12の空き領域A2に表示されるイベント発生表画像ETIの拡大操作マークEXを見ることで、拡大操作があったことを把握することができる。
【0042】
一方、表示制御部26は、判定部28が特定割合(例えば10%)未満であると判定した場合には、
図8に示すように、空き領域A2に、種別表示画像MIを表示させずにイベント発生表画像ETIを表示させる。このようにすることで、分割領域の拡大操作に起因する表示部12の表示画面における空き領域A2の大きさに応じて、適切な表示を行うことができる。
【0043】
表示制御部26は、イベント発生表画像ETIが示すイベントEVと、当該イベントEVに関係する分割領域との対応関係を示す対応表示画像を表示させる。この対応表示画像は、
図7に示すように、イベント発生表画像ETIのイベントEVの上位置に表示された「C1」〜「C4」のことである。例えば、
図7に示すイベント発生表画像ETIの左端のイベントEVの上位置に表示された対応表示画像である「C1」は、監視カメラ31(カメラC1)で撮影された画像に関するイベント、つまり分割領域D1のイベントであることを示す。表示制御部26は、ユーザーによるタッチパネル13の拡大操作に基づいて1つの分割領域D1を拡大させて画像を表示させた場合に、この分割領域D1を拡大させたことを示す拡大操作マークEXをイベント発生表画像ETIにおける拡大操作の時期に相当する箇所に表示させる。
【0044】
本実施形態では、過去の時点(
図7では現在よりも3つ前の時点)で分割領域D1に監視すべき対象者(例えば円形で図示)が表示され、ユーザーがそのときに拡大操作を行ったため、イベント発生表画像ETIにおける当該過去の時点に相当する箇所に拡大操作マークEXが表示されている。また、監視すべき対象者(例えば円形で図示)が、時間経過とともに監視カメラ32(カメラC2)、監視カメラ33(カメラC3)、監視カメラ34(カメラC4)の順に出現したために、監視すべき対象者(例えば円形で図示)の出現を示すイベントEVがイベント発生表画像ETIにそれぞれ表示されている。なお、
図7では、イベント発生表画像ETIにおける左端から2番目のイベント(例えば、拡大操作)の時期に相当する箇所に、拡大操作マークEXが表示されている。このため、ユーザーは、この時期にも拡大操作があったことが分かる。
【0045】
次に、本実施形態の情報処理システム100における画像表示処理、すなわち、情報端末装置10において各監視画像をWebブラウザで閲覧するための処理を、
図2に示すフローチャートなどを参照して説明する。
【0046】
まず、情報端末装置10の制御部21は、ユーザーによる起動操作に基づいて、ブラウザを起動し(S101)、ブラウザにアプリケーションサーバー40のURL(Uniform Resource Locator)を指定し、この指定したURLに対してアクセス要求を行う(S102)。アプリケーションサーバー40は、アクセス要求を受け付け(S103)、ログイン画面を表示するための画面情報を送信する(S104)。
【0047】
情報端末装置10の通信部14は、ログイン画面を表示するための画面情報を受信する(S105)。情報端末装置10の制御部21は、ID情報及びパスワードからなる認証情報を送信する(S106)。アプリケーションサーバー40は、認証情報を受信し(S107)、この受信した認証情報を用いて認証処理を行い(S108)、メニュー画面(操作メニュー)を表示するための画面情報を送信する(S109)。
【0048】
情報端末装置10の通信部14は、メニュー画面を表示するための画面情報を受信する(S110)。そして、情報端末装置10の表示制御部26は、表示部12にメニュー画面を表示させる。このメニュー画面には、配信装置30からの監視画像の表示を選択する操作項目などが表示されている。
【0049】
情報端末装置10の制御部21は、表示部12のメニュー画面において、配信装置30からの監視画像の表示を選択する操作項目が選択されると、アプリケーションサーバー40に対して、4台の監視カメラ31〜34で撮影された各監視画像を表示するための表示要求を行う(S111)。
【0050】
アプリケーションサーバー40は、表示要求を受け付け(S112)、フレームを特定する(S113)。初期設定(デフォルト)では、複数画面表示と表示する設定となっているため、複数画面表示のフレームが特定される。より具体的には、複数の画像を表示するための複数のフレーム情報と、それぞれのフレーム領域内に表示する監視カメラのIPアドレスとが対応づけられた分割画面(分割領域)を表示する画面情報を特定する。なお、本実施の形態におけるフレームは、表示部12の表示画面を左上、右上、左下及び右下の4つに等分割した4つの分割領域を持っているものである(これを4画面フレームと称する)。これらは、HTML形式等の構造化言語により表現されるものである。
【0051】
アプリケーションサーバー40は、4画面フレームを表示するための画面情報を送信する(S114)。情報端末装置10の通信部14は、4画面フレームを表示するための画面情報を受信する(S115)。
【0052】
情報端末装置10の制御部21は、4台の監視カメラ31〜34に対して画像を要求する(S116)。具体的には、4画面フレームを表示するための画面情報に含まれる各フレームに対応する4台の監視カメラ31〜34のIPアドレスを用いて、4台の監視カメラ31〜34に対してそれぞれ画像の配信を要求する。
【0053】
配信装置30は、4台の監視カメラ31〜34が撮影した監視画像の配信要求を受け付ける(S117)。配信装置30は、4台の監視カメラ31〜34による各監視画像を情報端末装置10に配信する(S118)。情報端末装置10の通信部14は、4台の監視カメラ31〜34からの各監視画像を受信する(S119)。
【0054】
情報端末装置10の表示制御部26は、4台の監視カメラ31〜34から受信した監視画像をそれぞれ対応するフレームに当てはめたブラウザ上の画像を表示画面に表示する(S120)。すなわち、表示部12には、
図4に示すように、4台の監視カメラ31〜34から受信した各監視画像を表示する4分割画面が表示される。
【0055】
情報端末装置10の制御部21は、1つの分割領域を拡大させる拡大操作(ドラッグ操作)がされたか否かを判定する(S121)。制御部21は、拡大操作(ドラッグ操作)がされた場合(S121「Yes」)、拡大操作に伴う表示変更処理を行う(S122)。
【0056】
次に、本実施形態の情報処理システム100における表示変更処理、すなわち、4つの分割領域のうち1つの分割領域を拡大することに伴って他の分割領域を縮小させた各監視画像を情報端末装置10においてWebブラウザで閲覧するための処理を、
図3に示すフローチャートなどを参照して説明する。
【0057】
図3に示すように、情報端末装置10の制御部21は、拡大操作(ドラッグ操作)通知をアプリケーションサーバー40に行う(S201)。
【0058】
具体的には、残領域特定部23は、ユーザーによるタッチパネル13の拡大操作(ドラッグ操作)により拡大された1つの分割領域(
図5の分割領域D1)を除く表示部12の表示画面における残領域A1を特定する。そして、配置領域決定部24は、残領域特定部23が特定した上記残領域A1に、拡大された1つの分割領域(
図6の分割領域D1)以外の他の分割領域(
図6の分割領域D2〜D4)を全て配置するための配置領域A3を決定する。そして、縮小配置部25は、配置領域決定部24が決定した配置領域A3に他の分割領域(
図6の分割領域D2〜D4)をそれぞれ縮小させて配置する。このようにして決められた変更後のレイアウトを示す拡大操作通知がアプリケーションサーバー40に出力される。
【0059】
アプリケーションサーバー40は、拡大操作(ドラッグ操作)通知を受信し(S202)、イベント発生表画像ETIの撮影時間軸における当該拡大操作の受信の時期に相当する箇所に拡大操作マークEXを追加するというイベント発生表画像ETIの更新処理を実行し(S202A)、拡大操作された変更後画面フレームを表示するための画面情報を送信する(S203)。情報端末装置10の通信部14は、拡大操作された変更後画面フレームを表示するための画面情報を受信する(S204)。
【0060】
情報端末装置10の制御部21は、配信装置30に対して画像を要求する。具体的には、変更後の1画面フレームを表示するための画面情報に含まれる各フレームに対応する4台の監視カメラ31〜34のIPアドレスを用いて、4台の監視カメラ31〜34に対して画像の配信を要求する(S205)。
【0061】
4台の監視カメラ31〜34は、画像の配信要求を受け付け(S206)、画像を配信する(S207)。情報端末装置10の通信部14は、4台の監視カメラ31〜34からの画像を受信する(S208)。
【0062】
情報端末装置10の表示制御部26は、4台の監視カメラ31〜34から受信した画像を拡大操作された変更後画面フレームに当てはめ、拡大された1つの分割領域(
図7の分割領域D1)に当該1つの分割領域の画像(つまり、監視すべき対象者(例えば円形で図示)の画像)を拡大させて表示させるとともに、縮小配置部25により縮小させて配置された他の分割領域(
図7の分割領域D2〜D4)の画像中に監視すべき対象者(例えば円形で図示)を含むと画像判断部27が判断した場合に、監視すべき対象者(例えば円形で図示)を含む特定部分SEの画像を拡大させて表示させたブラウザ上の変更後画像を表示画面に表示する(S209)。
【0063】
図7に示すように、表示部12の表示画面において拡大された1つの分割領域D1には、監視カメラ31の監視画像(つまり、監視すべき対象者(例えば円形で図示)を含む画像)が拡大されて表示され、表示部12の表示画面において縮小された他の分割領域D2〜D4には、画像判断部27が他の分割領域D2〜D4の画像中に対象者を含むと判断する毎に、監視カメラ32〜34の各監視画像の特定部分SEの画像(つまり、監視すべき対象者(例えば円形で図示)の画像)が拡大されて表示される。
【0064】
情報端末装置10の判定部28は、残領域特定部23が特定した残領域A1から配置領域決定部23が決定した配置領域A3を除いた空き領域A2が、表示画面に対して占める割合が特定割合(例えば10%)以上であるか否かを判定する(S210)。判定部28が特定割合(例えば10%)以上であると判定した場合(S210「Yes」)には、情報端末装置10の制御部21は、アプリケーションサーバー40に対して種別表示画像MIとイベント発生表画像ETIとの表示要求を行う(S211)。アプリケーションサーバー40は、種別表示画像MIとイベント発生表画像ETIとの表示要求を受信し(S212)、種別表示画像MIとイベント発生表画像ETIと対応表示画像とを情報端末装置10に送信する(S213)。情報端末装置10の通信部14は、種別表示画像MIとイベント発生表画像ETIと対応表示画像とを受信する(S214)。情報端末装置10の表示制御部26は、
図7に示すように、表示部12の表示画面における空き領域A2に、4つの分割領域の画像に関する種別表示画像MIと、イベントEVの発生タイミングを示すイベント発生表画像ETIと対応表示画像とを表示させ(S215)、本処理を終了する。
【0065】
すなわち、表示制御部26は、判定部28が特定割合(例えば10%)以上であると判定した場合(S210「Yes」)には、
図7に示すように、空き領域A2に、複数の分割領域の画像に関する種別表示画像MIと、イベントEVの発生タイミングを示すイベント発生表画像ETIとを表示させる。
【0066】
判定部28が、表示画面に対して空き領域A2の占める割合が特定割合(例えば10%)未満であると判定した場合(S210「No」)、情報端末装置10の制御部21は、アプリケーションサーバー40に対してイベント発生表画像ETIのみの表示要求を行う(S217)。アプリケーションサーバー40は、イベント発生表画像ETIの表示要求を受信し(S218)、イベント発生表画像ETIと対応表示画像とを情報端末装置10に送信する(S219)。情報端末装置10の通信部14は、イベント発生表画像ETIと対応表示画像とを受信する(S220)。情報端末装置10の表示制御部26は、
図8に示すように、表示部12の表示画面における空き領域A2に、イベントEVの発生タイミングを示すイベント発生表画像ETIと対応表示画像とを表示させ(S221)、本処理を終了する。
【0067】
すなわち、表示制御部26は、判定部28が特定割合(例えば10%)未満であると判定した場合(S210「No」)には、
図8に示すように、空き領域A2に、種別表示画像MIを表示させずにイベント発生表画像ETIを表示させる。
【0068】
図2に戻って、拡大操作に伴う表示変更処理(S122)の後、情報端末装置10の制御部21は、監視カメラの閲覧の表示終了を受けたか否かを判定する(S123)。制御部21は、表示終了ではないと判定した場合(S123「No」)には、S121に戻り、表示終了と判定した場合(S123「Yes」)、本処理を終了する。
【0069】
このように本実施形態では、表示部12の表示画面を4つに分割した分割領域D1〜D4に4台の監視カメラ31〜34の各監視画像がそれぞれ表示される場合に、タッチパネル13に対して表示画面の分割領域D1の拡大操作が行われると、表示制御部26は、
図7に示すように、拡大された分割領域D1に当該1つの分割領域の画像(監視カメラ31の監視画像)を拡大させて表示させるとともに、縮小配置部25により縮小させて配置された他の分割領域D2〜D4に当該他の分割領域の特定部分SEの画像(監視カメラ32〜34における特定部分SEの監視画像)を拡大させて表示させる。従って、表示画面の複数(4つ)の分割領域D1〜D4のうち1つの分割領域D1を拡大することに伴って他の分割領域D2〜D4が縮小される場合であっても、縮小される他の分割領域D2〜D4の画像表示が見難くなることを抑制することができる。
【0070】
アプリケーションサーバー40から、4画面フレーム又は変更後画面フレームを表示するための画面情報、種別表示画像MI、イベント発生表画像ETI及び対応表示画像を受信しているが、情報端末装置10が、上記画面情報を決定するとともに、種別表示画像MI、イベント発生表画像ETI及び対応表示画像を所有又は配信装置30から取得することにより、アプリケーションサーバー40に対してはログイン及び認証のみを行う構成としてもよい。このようにすることで、情報端末装置10のみで
図4〜
図8に示す一連の画面表示を行うことができる。
【0071】
<変形例>
上記実施形態では、情報端末装置10側において、イベントEVの検知を行っている。すなわち、画像判断部27が分割領域D2〜D4の画像中に監視すべき対象者を含むと判断し、表示制御部26は、イベント発生表画像ETIにおける当該判断した時点に相当する箇所にイベントEVを表示させている。これに対して、
図9に示す変形例のように、アプリケーションサーバー40側において、イベントEVの検知を行うようにしてもよい。
【0072】
変形例では、アプリケーションサーバー40は、
図9に示すイベント検知処理を実行する。前提として、アプリケーションサーバー40は、
図3にS202で示すように、拡大操作通知(上記実施形態と同様に、分割領域D1の拡大操作通知とする)を受信しているとする。
【0073】
アプリケーションサーバー40は、4台の監視カメラ31〜34に対して画像要求を行う(S301)。配信装置30は、アプリケーションサーバー40からの画像要求を受け付ける(S302)。配信装置30は、4台の監視カメラ31〜34による各監視画像をアプリケーションサーバー40に配信する(S303)。
【0074】
アプリケーションサーバー40は、4台の監視カメラ31〜34からの各監視画像を受信する(S304)。アプリケーションサーバー40は、受信した4台の監視カメラ31〜34からの各監視画像について画像認識処理を行う(S305)。具体的には、アプリケーションサーバー40が備える画像判断部が、監視カメラ31の拡大された監視画像について画像認識処理を行い、当該拡大された監視画像の画像に含まれる対象者を監視すべき対象者として特定する。次に、アプリケーションサーバー40が備える画像判断部が、他の監視カメラ32〜34からの各監視画像について監視すべき対象者が含まれるか否かを、監視カメラ32〜34ごとに判断する。すなわち、アプリケーションサーバー40は、他の監視カメラ32〜34からの各監視画像について監視すべき対象者が含まれるイベントEVのイベント検知を行う(S306)。
【0075】
アプリケーションサーバー40は、イベント検知有りと判断した場合(S306「Yes」)には、イベント検知されたイベントEVを追記したイベント発生表画像ETIを作成する(S307)。ここで作成されたイベント発生表画像ETIは、前述した
図3に示すS213およびS219において情報端末装置10に送信される。ユーザーは、
図7又は
図8に示すように、表示部12の表示画面における空き領域A2に表示されるイベント発生表画像ETIの各イベントEVを見ることで、イベントEVがあったことを把握することができる。このS307の後、又はイベント検知無しと判断した場合(S306「No」)には、アプリケーションサーバー40は、画像配信終了であるか否かを判定し(S308)、画像配信終了でない場合(S308「No」)には、S305に戻る。一方、画像配信終了である場合(S308「Yes」)には、本処理を終了する。
【0076】
なお、上記イベントEVとしては、上記監視すべき対象者(例えば円形で図示)の出現以外に、物体又は物品などの対象物の登場・退場、持ち去り、置き去り等を含めるようにしてもよい。例えば、対象物の持ち去り検知は、監視画像から対象物の画像が無くなったことを画像認識することで検知できる。対象物の置き去り検知は、監視画像に対象物の画像が出現したことを画像認識することで検知できる。更に、上記イベントEVとしては、対象者の入室・退室などの検知、対象者の動き検知状態の変化(例えば、監視カメラで撮影された監視画像に対する顔認識処理などを行うことで対象者を自動追尾して挙動不審な動きを検知するなど)、情報処理システム100の起動・停止、録画の開始・停止、外部センサーの検出変化(例えば、複合機が対象物である場合にエラーが発生していない状態においてトナーカバーの開状態が検知されるなど)などを含めるようにしてもよい。
【0077】
上記イベントEVについては、情報端末装置10又はアプリケーションサーバー40が監視画像についての画像認識処理を実行するのではなく、配信装置30が監視画像についての画像認識処理を実行することによって当該イベントを検知し、画像配信とイベント情報とを関連付けた情報とを配信装置30からアプリケーションサーバー40に配信し、アプリケーションサーバー40が、受信したイベント情報に基づいて画像配信におけるイベント発生を把握するようにしてもよい。
【0078】
上記実施形態及び変形例では、監視カメラ31〜34が撮影した監視画像を例に挙げて説明しているが、このような監視画像に限らず、監視目的以外の画像、例えば、スポーツやドキュメンタリーなどのテレビ画像などとしてもよい。
【0079】
なお、上記実施形態で説明した情報端末装置10による表示方法は、プログラムとして提供することができる。このプログラムは、コンピューターにより読み取り可能な非一時的な記録媒体、例えば、ハードディスク、CD−ROM、DVD−ROM、半導体メモリーなどに記録される。この場合、当該プログラムを記録したコンピューターにより読み取り可能な非一時的な記録媒体が、本発明の一実施形態となる。