(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-31
(45)【発行日】2024-06-10
(54)【発明の名称】画像再生装置、画像再生システム、画像再生方法及びプログラム
(51)【国際特許分類】
H04N 5/93 20060101AFI20240603BHJP
H04N 21/433 20110101ALI20240603BHJP
H04N 21/4402 20110101ALI20240603BHJP
【FI】
H04N5/93
H04N21/433
H04N21/4402
(21)【出願番号】P 2020016000
(22)【出願日】2020-02-03
【審査請求日】2023-01-30
(73)【特許権者】
【識別番号】503362463
【氏名又は名称】アドソル日進株式会社
(74)【代理人】
【識別番号】100095407
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100174067
【氏名又は名称】湯浅 夏樹
(74)【代理人】
【識別番号】100148149
【氏名又は名称】渡邉 幸男
(74)【代理人】
【識別番号】100132883
【氏名又は名称】森川 泰司
(72)【発明者】
【氏名】高橋 直之
(72)【発明者】
【氏名】冨田 知宏
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2018-137608(JP,A)
【文献】国際公開第2011/114610(WO,A1)
【文献】特開2017-033184(JP,A)
【文献】特開2016-171382(JP,A)
【文献】特開2018-142834(JP,A)
【文献】特開2019-174164(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/91-5/956
H04N 21/00-21/858
H04N 5/76-5/775
H04N 7/14-7/173
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した
前記位置情報及び
前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え
、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
画像再生装置。
【請求項2】
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
を備え、
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出手段は、前記位置情報取得手段が取得した
前記位置情報及び
前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、
前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され
前記表示対象が撮影された画像を抽出する、
画像再生装置。
【請求項3】
1つ又は複数の全方位カメラと、表示対象の位置を測位する測位装置と、画像再生装置と、を備える画像再生システムであって、
前記画像再生装置は、
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した
前記位置情報及び
前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え
、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
画像再生システム。
【請求項4】
1つ又は複数の全方位カメラと、表示対象の位置を測位する測位装置と、画像再生装置と、を備える画像再生システムであって、
前記画像再生装置は、
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
を備え、
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、
画像再生システム。
【請求項5】
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップと、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、
前記表示対象の識別子を取得する識別子取得ステップと、
前記位置情報取得ステップで取得した
前記位置情報及び
前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップと、
を備え
、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
画像再生方法。
【請求項6】
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップと、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、
前記表示対象の識別子を取得する識別子取得ステップと、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、
を備え、
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、
画像再生方法。
【請求項7】
コンピュータに、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した
前記位置情報及び
前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステッ
プ、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、
及び、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップ、
を実行させるための
プログラムであって、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
プログラム。
【請求項8】
コンピュータに、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、及び、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、
を実行させるためのプログラムであって、
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像再生装置、画像再生システム、画像再生方法及びプログラムに関する。
【背景技術】
【0002】
従来から、魚眼レンズを搭載したビデオカメラや複数個のビデオカメラを用いて、撮影地点を中心とした360度の映像を撮影することができる全方位カメラが提案されている。例えば、特許文献1には、全方位カメラで撮影した全方位映像の配信時におけるパケットロスを的確に補完することができる映像配信システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されているような従来の映像配信システムでは、映像を再生する際は、全方位映像の中からユーザの所望する部分を抽出してディスプレイに表示する。これにより、全方位カメラで撮影した全方位画像の中から、ユーザが見たい方向の画像を表示することができる。しかし、逆に言えば、全方位画像の中のどの撮影方向の画像を表示するかについて、いちいちユーザが指定する必要があった。
【0005】
本発明は、上述のような事情に鑑みてなされたものであり、録画された画像の中から表示すべき画像を自動的に抽出することができる画像再生装置、画像再生システム、画像再生方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、本発明の第1の観点に係る画像再生装置は、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。
【0007】
また、上記の目的を達成するため、本発明の第2の観点に係る画像再生装置は、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
を備え、
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。
【0008】
また、上記の目的を達成するため、本発明の第3の観点に係る画像再生システムは、
1つ又は複数の全方位カメラと、表示対象の位置を測位する測位装置と、画像再生装置と、を備える画像再生システムであって、
前記画像再生装置は、
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。
【0009】
また、上記の目的を達成するため、本発明の第4の観点に係る画像再生システムは、
1つ又は複数の全方位カメラと、表示対象の位置を測位する測位装置と、画像再生装置と、を備える画像再生システムであって、
前記画像再生装置は、
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
を備え、
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。
【0010】
また、上記の目的を達成するため、本発明の第5の観点に係る画像再生方法は、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップと、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、
前記表示対象の識別子を取得する識別子取得ステップと、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップと、
を備え、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。
【0011】
また、上記の目的を達成するため、本発明の第6の観点に係る画像再生方法は、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップと、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、
前記表示対象の識別子を取得する識別子取得ステップと、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、
を備え、
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。
【0012】
また、上記の目的を達成するため、本発明の第7の観点に係るプログラムは、
コンピュータに、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、及び、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップ、
を実行させるためのプログラムであって、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。
【0013】
また、上記の目的を達成するため、本発明の第8の観点に係るプログラムは、
コンピュータに、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、及び、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、
を実行させるためのプログラムであって、
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。
【発明の効果】
【0015】
本発明によれば、録画された画像の中から表示すべき画像を自動的に抽出することができる。
【図面の簡単な説明】
【0016】
【
図1】実施の形態1に係る画像再生システムの概略図である。
【
図2】実施の形態1に係る全方位カメラ及びビーコン受信機が屋内に設置された状況の一例を水平方向から見た図である。
【
図3】実施の形態1に係る全方位カメラ及びビーコン受信機が屋内に設置された状況の一例を垂直方向から見た図である。
【
図4】実施の形態1に係る受信情報の一例を示す図である。
【
図5】水平方向から見た時の電波の到来角度に基づいてビーコン送信機の位置を算出する方法を説明する図である。
【
図6】垂直方向から見た時の電波の到来角度に基づいてビーコン送信機の位置を算出する方法を説明する図である。
【
図7】画像再生装置のハードウェア構成の一例を示すブロック図である。
【
図8】画像再生装置の機能構成の一例を示すブロック図である。
【
図9】全方位カメラで撮影される画像の一例を説明する図である。
【
図10】画像抽出部で抽出される画像の一例を説明する図である。
【
図11】真上から撮影された領域の一例を説明する図である。
【
図12】複数の領域の画像を複数の子画面で表示する例を説明する図である。
【
図13】画像再生処理の流れを示すフローチャートである。
【
図14】実施の形態2に係る画像再生システムの概略図である。
【
図15】実施の形態2に係る画像抽出処理の流れを示すフローチャートである。
【
図17】実施の形態3に係る画像抽出処理の流れを示す1つ目のフローチャートである。
【
図18】実施の形態3に係る画像抽出処理の流れを示す2つ目のフローチャートである。
【
図19】全方位カメラの優先度の算出方法を説明する図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。
【0018】
(実施の形態1)
本発明の実施の形態1に係る画像再生システム1は、全方位カメラで撮影して録画された画像から、特定の人(作業員等)が映っている画像を抽出して再生するシステムである。画像再生システム1は、
図1に示すように、画像再生装置100、全方位カメラ200、録画装置300、ビーコン送信機400、ビーコン受信機500、測位装置600を含む。
【0019】
全方位カメラ200と録画装置300との間、録画装置300と画像再生装置100との間、ビーコン受信機500と測位装置600との間、測位装置600と画像再生装置100との間、はそれぞれネットワークNWを介して通信可能に接続されている。ネットワークNWは、有線または無線を問わない。ネットワークNWは、例えば、有線LAN(Local Area Network)、3G(3rd. Generation)/LTE(Long Term Evolution)回線のような携帯電話通信網、無線LAN(Wi-Fi)/IEEE802.15.4などの近距離無線、LPWA(Low Power Wide Area)無線、VPN(Virtual Private Network)、インターネット等の任意の通信網である。
【0020】
また、ビーコン受信機500は、ビーコン送信機400から送信された無線信号を受信する装置である。なお、ビーコン送信機400、ビーコン受信機500のそれぞれの台数は任意であり、画像再生システム1は、複数のビーコン送信機400、複数のビーコン受信機500を含んで構成される。画像再生システム1を構成する各装置について、以下に説明する。
【0021】
全方位カメラ200は、撮影地点を中心とした全方位(360度)の画像を撮影することができる魚眼レンズを用いた魚眼カメラである。全方位カメラ200は、
図2及び
図3に示すように、屋内の天井等に設置される。ここで、
図2は屋内を水平方向(横)から見た図で、
図3は屋内を垂直方向(上)から見た図である。全方位カメラ200は、撮影した画像データ(動画像データ)を、ネットワークNWを介して録画装置300に送信する。なお、本実施の形態1では、全方位カメラ200として魚眼カメラを用いるが、全方位カメラ200は魚眼カメラに限らない。例えば、複数の通常のカメラ(例えば視野角45度のカメラ8台)を円状に並べて全方位を撮影することによって1つの全方位カメラ200を実現してもよい。
【0022】
録画装置300は、HDD(Hard Disk Drive)等による記憶部を備え、全方位カメラ200により撮影された全方位の画像データを録画データとして時刻情報とともに当該記憶部に保存する装置である。録画装置300が保存する録画データには時刻情報が含まれているため、再生時には時刻を指定することにより、任意の時刻から画像を再生可能な録画データになっている。
【0023】
ビーコン送信機400は、BLE(Bluetooth(登録商標) Low Energy)の無線信号を定期的に(例えば、1秒間隔で)送信するビーコンタグ装置である。この無線信号には、当該ビーコン送信機400を一意に識別するための識別子(ID(Identification))の情報(識別情報)として、送信機IDが含まれている。そして、ビーコン送信機400は、この無線信号を定期的に送信する。ここでは、ビーコン送信機400が無線信号を送信する時間間隔を基準時間単位(例えば1秒)と呼ぶことにする。
【0024】
本実施の形態では、画像再生装置100の画像再生における表示対象は、作業員Wであり、作業員Wには(例えば、ビーコン送信機400が装着されたヘルメットを着用すること等により)ビーコン送信機400が装着されているものとする。つまり、ビーコン送信機400が送信する無線信号に含まれる識別子(送信機ID)は、作業員Wの識別子(作業員ID)としても用いられる。なお、送信機IDと作業員IDとの対応テーブルを用いることにより、送信機IDと作業員IDとを別のIDにすることも可能である。
【0025】
また、本実施の形態において、ビーコン送信機400が定期的に発信する無線信号は、BLEの規格に準拠するビーコン信号(以下、単に「BLEビーコン」とも称する)であるものとする。ただし、ビーコン送信機400が発信する無線信号は、自己の存在を知らせるために送信される信号であれば任意であり、BLEビーコン以外の信号であってもよい。
【0026】
ビーコン受信機500は、ビーコン送信機400が送信するBLEビーコンを受信する装置である。ビーコン受信機500は、アレイアンテナ等を用いることで、ビーコン送信機400から発信されたBLEビーコンを受信した際の電波の到来角度(AOA(Angle Of Arrival))を計測することができる。そして、ビーコン受信機500は、計測した到来角度等を後述する受信情報として、測位装置600に送信する。
【0027】
ビーコン受信機500は、
図2及び
図3に示すように、屋内の天井や壁等に複数設置される。なお、ビーコン受信機500は、電波を遮る板等の障害物の影響をなるべく受けない場所に設置されることが望ましい。また、画像再生システム1の管理者は、予め、各ビーコン受信機500の設置位置等の情報を測位装置600が把握できるようにしておく。本実施の形態では、この各ビーコン受信機500の設置位置の情報(設置された高さや水平面における位置)は、測位装置600の記憶部に記憶させておくものとする。
【0028】
ビーコン受信機500は、BLEビーコンを受信する毎に、受信したBLEビーコンの到来角度等を示す受信情報を生成し、ネットワークNWを介して測位装置600に送信する。受信情報は、例えば、
図4に示すように、ビーコン受信機500の識別情報(受信機ID)、BLEビーコンの発信元であるビーコン送信機400の識別情報(送信機ID)、BLEビーコンの受信時刻(時刻情報)及びBLEビーコンが到来した角度(到来角度)を含む。
【0029】
ここで、到来角度は、例えば
図5に示すように、電波の到来角度を水平方向から見た時の、基準線(例えば、垂線)に対する角度θ
Aと、
図6に示すように、電波の到来角度を垂直方向から見た時の、基準線(例えば、北の方向)に対する角度φ
Aとを含む。測位装置600は、これら到来角度の情報に基づいてビーコン送信機400の位置を算出することができる。なお、この算出方法は測位方式の一例であり、測位装置600は、他の方法でビーコン送信機400の位置を測位してもよい。また、測位装置600は、ビーコン送信機400の3次元の位置を測位してもよいし、高さ方向を無視した(例えば一定の高さh(例えば1.5m)とした)2次元の位置を測位してもよい。
【0030】
測位装置600は、RAM(Random Access Memory)等による記憶部を備え、各ビーコン送信機400の位置を取得して、ビーコン送信機400の識別子毎の位置情報の履歴(位置情報ログ)を当該記憶部に保存する装置である。例えば、測位装置600は、屋内に設置された複数のビーコン受信機500のそれぞれから受信情報を受信する。そして、測位装置600は、予め把握しているビーコン受信機500の位置の情報と、受信情報に含まれる到来角度の情報とから、ビーコン送信機400の位置を算出する。そして、測位装置600は、算出したビーコン送信機400の位置を時刻情報とともに記憶部に保存する。
【0031】
ビーコン送信機400は、上述した基準時間単位(例えば1秒)毎にBLEビーコンを送信し、ビーコン受信機500はBLEビーコンを受信する度に受信情報を測位装置600に送信するので、測位装置600は、ビーコン送信機400の位置を、基準時間単位毎に算出することができる。したがって、位置情報ログには、ビーコン送信機400の位置が、基準時間単位のサンプリング時間で保存されていく。
【0032】
ここで、ビーコン送信機400の3次元の位置を算出する具体的な方法について説明する。測位装置600は、
図5に示すように、ビーコン受信機500Aからの受信情報に含まれる到来角度θ
Aと、ビーコン受信機500Bからの受信情報に含まれる到来角度θ
Bと、から、ビーコン受信機500A及びビーコン受信機500Bとビーコン送信機400との間の高度差を算出することできるので、予め把握しているビーコン受信機500A及びビーコン受信機500Bの高さの情報を用いることにより、ビーコン送信機400の高さの情報を算出することができる。
【0033】
また、測位装置600は、
図6に示すように、ビーコン受信機500Aからの受信情報に含まれる到来角度φ
Aと、ビーコン受信機500Bからの受信情報に含まれる到来角度φ
Bと、から、ビーコン受信機500A及びビーコン受信機500Bとビーコン送信機400との間の水平面における位置関係を算出することできるので、予め把握しているビーコン受信機500A及びビーコン受信機500Bの位置の情報を用いることにより、ビーコン送信機400の位置を算出することができる。
【0034】
なお、この測位方式による3次元測位では上記のようにビーコン受信機500が2台以上必要であるが、ビーコン送信機400が床上の一定の高さhを移動することを前提とすれば、1台のビーコン受信機500だけでも、ビーコン送信機400の位置を測位できる。これは、例えば、高さhの平面と、ビーコン受信機500から到来角度の方向に延ばした直線との交点に基づいて、ビーコン送信機400の位置を算出すればよい。
【0035】
測位装置600は、ビーコン受信機500から受信した受信情報等に基づきビーコン送信機400の位置を算出したら、その位置の情報を、算出に用いた受信情報に含まれるビーコン送信機400の識別情報(送信機ID)及び時刻情報とともに位置情報ログとして、記憶部に保存する。そして、測位装置600は画像再生装置100から位置情報ログの送信リクエストを受信すると、位置情報ログを画像再生装置100に送信する。上述したように、位置情報ログに含まれるビーコン送信機400の識別情報(送信機ID)は、表示対象となる作業員Wの識別子(作業員ID)の情報でもある。したがって、位置情報ログを参照することにより、画像再生装置100は、表示対象の識別子毎の位置情報を時刻情報とともに取得することができる。
【0036】
画像再生装置100は、録画装置300が保存している録画データと、測位装置600が保存している位置情報ログとを用いて、ユーザが表示させたい作業員W(表示対象)が映っている画像を抽出して再生する。この仕組みについて、以下に詳細に説明する。
【0037】
まず、
図7を参照しながら、画像再生装置100のハードウェア構成を説明する。画像再生装置100は、
図7に示すように、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM103、HDD104、ディスプレイ105、入力装置106、通信I/F107を備える。これらの各部は、バスラインBLを介して相互に電気的に接続されている。
【0038】
CPU101は、ROM102やHDD104からプログラムやデータをRAM103上に読み出して処理を実行することにより、画像再生装置100の制御や機能を実現する演算装置である。
【0039】
ROM102は、CPU101が実行する各種プログラムやプログラム実行の際に使用される各種データ等を記憶する不揮発性メモリである。
【0040】
RAM103は、ROM102やHDD104から読み出されたプログラムやデータを一時的に保持する揮発性メモリであり、CPU101の作業領域として使用される。
【0041】
HDD104は、記憶内容が書き換え可能な大容量かつ不揮発性の記憶装置である。HDD104は、例えば、後述する画像再生処理に用いられるプログラムやデータを記憶する。なお、HDD104に替えて、またはHDD104と共に、SSD(Solid State Drive)等の書き換え可能な大容量の不揮発性の記憶装置を備えてもよい。
【0042】
ディスプレイ105は、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイ等の表示装置であり、CPU101の制御に従って、各種画像を表示する。
【0043】
入力装置106は、キーボード、マウス、操作ボタン等であり、画像再生システム1の管理者等のユーザの操作、各種データの入力等を受け付ける。入力装置106は、例えば、管理者による画像再生装置100への指示等の入力を受け付ける。なお、入力装置106は、ディスプレイ105の表示画面とこれに重ねて設けられたタッチセンサとからなるタッチパネルにより構成されてもよい。
【0044】
通信I/F107は、画像再生システム1を構成する各装置と通信するためのインタフェースである。通信I/F107により、CPU101の制御に従って、画像再生装置100は、ネットワークNWを介して全方位カメラ200から録画データを取得し、測位装置600から位置情報ログを取得する。
【0045】
次に、
図8を参照しながら、画像再生装置100の機能構成について説明する。画像再生装置100は、
図8に示すように、制御部110、記憶部120、表示部131、入力部132、通信部133を備える。
【0046】
制御部110は、CPU101、ROM102、RAM103等により構成され、画像再生装置100の構成部位の各々を制御する。制御部110は、記憶部120に記憶された制御プログラムを実行することにより、例えば、画像取得部111、位置情報取得部112、識別子取得部113、画像抽出部114、画像再生部115として機能する。これらについては後述する。
【0047】
記憶部120は、ROM102、RAM103、HDD104等により構成され、制御部110が実行する各種プログラム、制御部110がプログラム実行の際に用いる各種データ、制御部110がプログラム実行により生成した各種データ等を記憶する。なお、画像再生装置100は、録画装置300及び測位装置600の機能を兼ね備えることもできる。画像再生装置100が録画装置300の機能を兼ね備える場合は、記憶部120には、録画データも保存される。また、画像再生装置100が測位装置600の機能を兼ね備える場合は、記憶部120には、位置情報ログも保存される。
【0048】
表示部131は、ディスプレイ105等により構成される。例えば、制御部110から録画装置300に録画された録画データの再生が指示されると、表示部131に当該録画データが表示(再生)される。
【0049】
入力部132は、入力装置106等により構成され、画像再生システム1の管理者等のユーザからの入力を受け付ける。
【0050】
通信部133は、通信I/F107等により構成され、他の装置(録画装置300、測位装置600等)とのデータ通信を行う。
【0051】
次に、制御部110が、記憶部120に記憶された制御プログラムを実行することにより実現される、画像取得部111、位置情報取得部112、識別子取得部113、画像抽出部114、画像再生部115について、説明する。
【0052】
画像取得部111は、録画装置300が送信する画像(全方位カメラ200により撮影された録画データ)を、通信部133を介して取得する。上述したように録画データには撮影された時刻の情報が含まれているので、画像取得部111は、時刻を指定して録画装置300に画像をリクエストすることにより、指定した時刻の画像を取得することができる。画像取得部111は、画像取得手段として機能する。
【0053】
位置情報取得部112は、測位装置600が送信する位置情報ログを、通信部133を介して取得する。上述したように、位置情報ログには、識別子(送信機ID=作業員ID)毎の位置情報が時刻情報とともに記録されているので、位置情報取得部112は、識別子毎の位置情報を時刻情報とともに取得することができる。位置情報取得部112は、位置情報取得手段として機能する。
【0054】
識別子取得部113は、表示対象の識別子を、入力部132を介して取得する。具体的には、ユーザが、作業の様子等を確認するために表示させたい作業員Wの識別子(作業員ID)を、入力部132(キーボード等)から入力することにより、識別子取得部113は、表示対象の識別子を取得する。また、例えば、作業員Wの氏名と識別子(作業員ID)との対応テーブルを記憶部120に記憶させておき、ユーザから作業員Wの氏名が入力されると、識別子取得部113は、当該対応テーブルに基づいて作業員Wの識別子を取得するようにしてもよい。識別子取得部113は、識別子取得手段として機能する。
【0055】
画像抽出部114は、位置情報取得部112が取得した位置情報及び時刻情報と識別子取得部113が取得した識別子とに基づいて、画像取得部111が取得した画像(録画データ)から、表示対象が撮影された画像を抽出する。この処理の詳細は後述する。画像抽出部114は、画像抽出手段として機能する。
【0056】
画像再生部115は、画像抽出部114が抽出した画像を、表示部131に表示することによって、再生する。画像再生部115は、画像再生手段として機能する。
【0057】
ここで、画像取得部111が取得する画像と、画像抽出部114が抽出する画像について補足説明する。全方位カメラ200は魚眼カメラなので、撮影された画像は例えば
図9に示すように、本来直線であるもの(
図9では、床と壁の境界や、壁と壁の境界)が楕円状に曲がって見えるような歪んだ画像として記録される。そして、画像取得部111は、このような歪んだ画像を取得することになる。画像再生装置100は、通常のカメラで撮影されたような、歪んでいない画像を表示することが望ましいので、画像抽出部114は、例えば
図10に示すように、全方位画像を45度ずつ領域R1から領域R8まで8分割して、各分割領域を通常の(歪んでいない)画像として抽出する。
【0058】
そして、画像抽出部114は、作業員Wの位置情報を取得することにより、作業員Wが映っている部分の画像(
図10では、領域R3の画像)を、通常の(歪んでいない)画像として抽出することができる。なお、
図10に示すように全方位画像を分割しただけでは全方位カメラの真下部分の画像が見づらくなるので、作業員Wが全方位カメラの真下部分にいる場合等においては、画像抽出部114は、
図11に示すように全方位カメラの真下の部分(領域R9)を通常の(歪んでいない)画像として抽出してもよい。
【0059】
また、
図10のように領域を固定してしまうと、作業員Wが複数の領域にまたがってしまう状況も起こりうるため、全方位カメラ200から見た作業員Wの方向の角度θを、全方位カメラ200の設置位置の情報と作業員Wの位置情報とに基づいて求め、角度θの方向を中心とした領域の画像を抽出することにより、作業員Wを追従していくようにしてもよい。
【0060】
領域を固定すると、表示対象(作業員W)が複数の領域にまたがってしまう可能性がある点はデメリットと言える。しかし、領域を固定すると、
図12に示すように、表示部131に複数の子画面を設定し、各領域の画像を各子画面にそれぞれ表示することにより、作業員Wが屋内のどこにいるかを把握しやすくなる点はメリットと言える。したがって、画像抽出部114は、
図12のように領域を固定して画像を抽出する「領域固定モード」と、表示対象(作業員W)を追従して画像を抽出する「追従モード」と、を備えるようにしてもよい。
【0061】
次に、画像再生装置100の制御部110が実行する画像再生処理について、
図13を参照して説明する。画像再生処理は、画像再生システム1の管理者等から、画像再生処理の開始を指示されると処理が開始される。
【0062】
まず、制御部110は、初期化処理を行う(ステップS101)。初期化処理では、各種変数の初期化等を行う。また、通常の変数の初期化以外に、ここでは、作業員Wを真上から撮影した画像を用いるか否かの設定と、作業員Wを真上から撮影した画像を用いる場合にはその条件(全方位カメラの設置位置と作業員Wの位置とを平面(例えば床)に投影した時の該平面上の距離が真上画像閾値ri(例えば1m)以下の場合に用いる等)の設定を行ってもよい。
【0063】
次に、識別子取得部113は、入力部132を介して、作業員Wの識別子を取得する(ステップS102)。ステップS102は、識別子取得ステップとも呼ばれる。識別子取得部113がどのようにして識別子を取得するかは任意であるが、例えば、予め記憶部120に、作業員Wの氏名と識別子との対応テーブルを記憶させておいてもよい。これにより、入力部132から作業員Wの氏名が入力されると、識別子取得部113は該対応テーブルを参照することにより、作業員Wの氏名に対応する識別子を取得できるようになる。
【0064】
次に、制御部110は、入力部132を介して、再生開始日時及び再生終了日時を取得する(ステップS103)。例えば、制御部110は、表示部131にカレンダーを表示し、ユーザにカレンダー上の日付をクリックしてもらうことにより、(再生開始日時はクリックされた日付の午前0時で、再生終了日時はクリックされた日付の午後12時にする等して)再生開始日時及び再生終了日時を取得してもよい。このステップS103は、録画装置300が録画した全ての時間帯において画像を再生させる場合には、スキップしてもよい。このステップをスキップする場合は、再生開始日時は録画装置300に録画が開始された日時となり、再生終了日時は録画装置300の録画が終了した日時となる。
【0065】
次に、位置情報取得部112は、測位装置600に位置情報ログの送信リクエストを送信し、測位装置600から位置情報ログを取得する(ステップS104)。ステップS104は、位置情報取得ステップとも呼ばれる。
【0066】
そして、制御部110は、ステップS104で取得した位置情報ログに、ステップS102で取得した識別子の位置情報が含まれているか否かを判定する(ステップS105)。位置情報ログに当該識別子の位置情報が含まれていないなら(ステップS105;No)、当該識別子の作業員Wが撮影されている画像の再生はできないということになるので、制御部110は、表示部131に「再生不可」等のメッセージを表示して(ステップS106)、画像再生処理を終了する。
【0067】
位置情報ログに当該識別子の位置情報が含まれているなら(ステップS105;Yes)、制御部110は、再生開始日時を時刻tに設定する(ステップS107)。時刻tとは、録画装置300に保存されている録画データの再生ポイントを指示するための変数である。
【0068】
次に、画像取得部111は、録画装置300から時刻tの時点における画像を取得する(ステップS108)。ステップS108は、画像取得ステップとも呼ばれる。
【0069】
そして、画像抽出部114は、ステップS104で取得した位置情報ログから、ステップS102で取得した識別子(作業員W)の時刻tの時点における位置情報を取得し、ステップS108で取得した画像から、作業員Wが存在している領域の画像を抽出する(ステップS109)。ステップS109は、画像抽出ステップとも呼ばれる。
【0070】
例えば、時刻tにおいて、作業員Wが
図10に示すような位置に存在するなら、ステップS109では、画像抽出部114は、領域R3の画像を抽出する。なお、作業員Wは、必ずしも
図10に示す1つの領域(例えば領域R3)のみに映っているとは限らない。そこで、画像抽出部114は、上述した「領域固定モード」においては、例えば、作業員Wが映っている複数の領域のうちの1つを選択し、選択した領域の画像を抽出してもよいし、作業員Wが映っている複数の領域の2つ以上(例えば全て)の画像を抽出してもよい。
【0071】
また、画像抽出部114は、上述した「追従モード」においては、時刻tの時点における作業員Wの位置情報を、全方位カメラ200の設置位置を原点とした極座標(原点からの距離r,原点を中心とした角度θ)に変換し、θを中心とする領域の画像を抽出してもよい。その際、画像抽出部114は、抽出する画像をrに基づいて(rが大きいほど)拡大させてもよい。このようにすれば、画像抽出部114は、常に作業員Wが中央付近に存在する領域の画像を抽出することができる。
【0072】
また、ステップS101で、例えば、全方位カメラと作業員Wとの距離が真上画像閾値ri以下の場合に作業員Wを真上から撮影した画像を用いるというような条件が設定されていた場合は、全方位カメラ200と作業員Wとの距離が真上画像閾値ri以下なら、画像抽出部114は、
図11に示す領域R9の画像を抽出してもよい。
【0073】
そして、画像再生部115は、ステップS109で画像抽出部114が抽出した画像を再生する(ステップS110)。ステップS110は、画像再生ステップとも呼ばれる。
【0074】
そして、画像再生部115は、再生ポイントを示す時刻tをt+1に更新する(ステップS111)。なお、時刻tをt+1に更新することによって、実際の時刻をどの程度進めるかは任意であるが、ここでは時刻tをt+1に更新することによって上述した基準時間単位(位置情報のサンプリング時間)だけ時間を進めることとする。そして、ステップS108からステップS110までの処理は、この基準時間単位でまとめて行われる。
【0075】
次に、制御部110は、時刻tが、再生終了日時より前であるか否かを判定する(ステップS112)。制御部110は、時刻tが再生終了日時より前なら(ステップS112;Yes)、ステップS108に戻る。そして、制御部110は、時刻tが再生終了日時以後であるなら(ステップS112;No)、画像再生処理を終了する。
【0076】
以上の画像再生処理により、画像再生装置100は、録画された画像の中から表示すべき画像(作業員Wが映っている画像)を自動的に抽出することができ、ユーザは、ステップS102で指定した作業員Wが映っている画像を容易に確認することができるようになる。
【0077】
なお、画像再生処理(
図13)において、画像の取得(ステップS108)と画像の抽出(ステップS109)とは、処理の順番を逆にする(画像の抽出方法を決定してから取得する)ことも可能である。処理の順番を逆にする場合、まず、画像抽出部114は、ステップS104で取得した位置情報ログから、ステップS102で取得した識別子(作業員W)の時刻tの時点における位置情報を取得することにより、全方位画像の抽出方法(どの部分を切り出すか)を決定する。次に、画像取得部111は、録画装置300から、時刻tの時点における画像について、画像抽出部114が決定した抽出方法にて抽出した(切り出した)画像を取得する。このようにしても、作業員Wが存在している領域の画像を抽出して取得することができる。
【0078】
(実施の形態2)
実施の形態1では、全方位カメラ200が1つだったが、より広範囲を録画するために、全方位カメラ200を複数備えてもよい。全方位カメラ200を複数備える、実施の形態2に係る画像再生システム2について、説明する。
【0079】
実施の形態2に係る画像再生システム2の構成は、
図14に示すように、全方位カメラ200を複数備えていること以外は、実施の形態1に係る画像再生システム1の構成と同じであるので、各構成要素の説明は省略する。
【0080】
画像再生システム2は全方位カメラ200を複数備えるので、画像再生処理において、複数の全方位カメラ200のうちのどの全方位カメラ200で撮影した画像を表示すれば良いかが問題となる。実施の形態2では、画像抽出部114は、複数の全方位カメラ200の中から、ユーザが表示させたいと考える作業員Wに最も近い位置に存在する全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラにより撮影され作業員Wが撮影された画像を抽出する。
【0081】
ただし、作業員Wに最も近い全方位カメラ200から作業員Wを撮影すると、作業員Wを上から撮影することになり、作業員Wの作業内容を確認しづらくなってしまう場合が考えられる。したがって、実施の形態2に係る画像再生システム2では、作業員Wを上から撮影する全方位カメラ200を用いるモード(真上カメラ有効)と、作業員Wを上から撮影することになってしまう全方位カメラ200以外の全方位カメラ200の中で、作業員Wに最も近い全方位カメラ200を用いるモード(真上カメラ無効)の2つのモードが用意されている。
【0082】
実施の形態2に係る画像再生装置100の制御部110が実行する画像再生処理は、ステップS109の処理を除けば、
図13を参照して説明した実施の形態1に係る画像再生処理と同じである。ここでは、実施の形態2に係る画像再生処理のステップS109の詳細の処理を画像抽出処理と呼ぶこととして、この画像抽出処理について、
図15を参照して説明する。ただし、ステップS108では、画像取得部111は、全ての全方位カメラ200のそれぞれで撮影された、時刻tの画像を全て取得しているものとする。
【0083】
なお、実施の形態2に係る画像再生装置100は、予め記憶部120に、各全方位カメラ200の設置位置の情報が記憶されているものとする。また、実施の形態2に係る画像再生処理においては、ステップS101で、作業員Wの真上に全方位カメラ200が存在するとみなす距離(真上カメラ閾値ra(例えば1m))の設定と、作業員Wの真上の全方位カメラ200を用いるか否か(真上カメラの有効/無効)の設定が行われているものとする。真上カメラ閾値ra及び真上カメラの有効/無効は、ステップS102での識別子の取得と同様に、ユーザに入力部132から入力してもらうことによって、設定されるようにしてもよい。
【0084】
まず、画像抽出部114は、真上カメラが有効(真上の全方位カメラ200を用いる)か否かを判定する(ステップS201)。これは、上述したようにステップS101で設定されている。
【0085】
真上カメラが有効でない(真上の全方位カメラ200を用いない)なら(ステップS201;No)、画像抽出部114は、位置情報ログから得られる時刻tの時点における作業員Wの位置情報と、各全方位カメラ200の設置位置の情報と、から、作業員Wとの距離が真上カメラ閾値raよりも離れている全方位カメラ200の中で最も作業員Wに近い全方位カメラ200を、時刻tの全方位カメラ200tとする(ステップS202)。
【0086】
一方、真上カメラが有効なら(ステップS201;Yes)、画像抽出部114は、位置情報ログから得られる時刻tの時点における作業員Wの位置情報と、各全方位カメラ200の設置位置の情報と、から、全方位カメラ200の中で最も作業員Wに近い全方位カメラ200を、時刻tの全方位カメラ200tとする(ステップS203)。
【0087】
次に、画像抽出部114は、時刻tの時点における作業員Wの位置情報を、時刻tの全方位カメラ200tの設置位置を原点とした極座標(原点からの距離r,原点を中心とした角度θ)に変換する(ステップS204)。
【0088】
そして、画像抽出部114は、ステップS204で取得した極座標に基づいて、時刻tの全方位カメラ200tの画像から、作業員Wが映っている領域の画像を抽出する(ステップS205)。例えば、画像抽出部114は、ステップS204で取得した極座標の角度θの値を用いて、時刻tの全方位カメラ200tの画像から、θを中心とする領域の画像を抽出する。また、ステップS204で取得した極座標の距離rの値も用いて、rの値に応じて拡大率を変化させて画像を抽出してもよい。
【0089】
画像抽出部114は、ステップS205で作業員Wが映っている領域の画像を抽出したら、画像抽出処理を終了し、画像再生処理(
図13)のステップS110から処理を続ける。
【0090】
以上の画像抽出処理により、実施の形態2に係る画像再生装置100は、複数設置された全方位カメラ200の中で、作業員Wとの距離が最も適切と考えられる全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラ200で撮影された画像の中から、表示すべき画像(作業員Wが映っている画像)を自動的に抽出することができる。
【0091】
(実施の形態3)
実施の形態2では、作業員Wがどちらの方向を向いているかは考慮せずに、作業員Wと全方位カメラ200との距離に基づいて、全方位カメラ200を選択したが、ユーザは作業員Wの正面から撮影した画像を確認したい場合もあると考えられる。そこで、できるだけ作業員Wを正面から捉える全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラ200が撮影した画像を用いる実施の形態3に係る画像再生システム3について、説明する。
【0092】
実施の形態3に係る画像再生システム3の構成は、
図14に示すように、実施の形態2に係る画像再生システム2の構成と同じであるので、各構成要素の説明は省略する。
【0093】
実施の形態3では、画像抽出部114は、複数の全方位カメラ200の中から、ユーザが表示させたいと考える作業員Wの正面に存在する全方位カメラ200を選択し、選択した全方位カメラにより撮影され作業員Wが撮影された画像を抽出する。作業員Wの正面に存在する全方位カメラ200が複数存在する場合には、各全方位カメラ200について後述する優先度を算出し、優先度の最も高い全方位カメラ200を選択する。
【0094】
ここで、時刻tの時点における作業員Wの正面の求め方について
図16を参照して説明する。ここでは、作業員Wが歩いている等、前方に移動している場合を想定する。
図16に示すように、作業員Wが、時刻t-1の時点ではP1の位置にいて、時刻tの時点ではP2に移動しているとする。ここで、各位置は作業員Wを真上から見た平面上での位置である。また、時刻t-1と時刻tの実際の時間差は上述した基準時間単位(例えば1秒)である。時刻tでの作業員Wの位置P2を原点として、時刻t-1での作業員Wの位置P1を極座標で表した場合の角度θをθ
1とする。この時、原点から見てθ
1の反対方向(つまり、θ
1+πの方向)に、左右それぞれ角度α(例えば30度)だけ幅を持たせた範囲を、作業員Wの正面とみなす範囲FRとする。
【0095】
実施の形態3に係る画像再生装置100の制御部110が実行する画像再生処理は、ステップS109の処理(画像抽出処理)を除けば、実施の形態2に係る画像再生処理と同じである。そこで、実施の形態3に係る画像再生処理のステップS109の詳細の処理(画像抽出処理)について、
図17及び
図18を参照して説明する。ただし、ステップS108では、画像取得部111は、全ての全方位カメラ200のそれぞれで撮影された、時刻tの画像を全て取得しているものとする。
【0096】
なお、実施の形態3に係る画像再生装置100は、実施の形態2に係る画像再生装置100と同様に予め記憶部120に、各全方位カメラ200の設置位置の情報が記憶されているものとする。また、実施の形態3に係る画像再生処理においては、実施の形態2に係る画像再生処理と同様に、ステップS101で、作業員Wの真上に全方位カメラ200が存在するとみなす距離(真上カメラ閾値ra)の設定と、作業員Wの真上の全方位カメラ200を用いるか否か(真上カメラの有効/無効)の設定が行われているものとする。また、ステップS101では、作業員Wが移動しているか否かを判定するための閾値(移動閾値rv)の設定も行われる。
【0097】
まず、画像抽出部114は、位置情報ログに、時刻t-1の時点における位置情報が存在するか否かを判定する(ステップS301)。時刻t-1の時点における位置情報が存在しないなら(ステップS301;No)、ステップS201に進む。時刻t-1の時点における位置情報が存在しないなら、正面とみなす範囲を算出することができないので、実施の形態2と同様に作業員Wとの距離に基づいて全方位カメラ200を選択することになる。ステップS201以降の処理は、実施の形態2の画像抽出処理と同じ処理になるので、説明を省略する。
【0098】
時刻t-1の時点における位置情報が存在するなら(ステップS301;Yes)、画像抽出部114は、作業員Wの時刻t-1の時点における位置と時刻tの時点における位置との距離が移動閾値rv(例えば1m)以上であるか否かを判定する(ステップS302)。作業員Wの時刻t-1の時点における位置と時刻tの時点における位置との距離が移動閾値rv未満なら(ステップS302;No)、画像抽出部114は、時刻t-1の全方位カメラ200が存在するか否かを判定する(ステップS303)。時刻t-1の全方位カメラ200とは、前回、時刻tの全方位カメラ200tとして用いた全方位カメラ200である。
【0099】
時刻t-1の全方位カメラ200が存在するなら(ステップS303;Yes)、画像抽出部114は時刻t-1の全方位カメラ200を時刻tの全方位カメラ200tとし(ステップS304)、ステップS204に進む。一方、時刻t-1の全方位カメラ200が存在しないなら(ステップS303;No)、ステップS201に進む。
【0100】
作業員Wがほとんど動かずに作業している場合は、ステップS302での判定がNoとなるが、このような場合は、作業員Wが直近で移動した方向に基づいて設定された、過去の時点における全方位カメラ200tを用いるようにするために、ステップS303及びステップS304の処理が行われる。
【0101】
一方、ステップS302で、作業員Wの時刻t-1の時点における位置と時刻tの時点における位置との距離が移動閾値rv以上なら(ステップS302;Yes)、画像抽出部114は、作業員Wの時刻t-1の時点における位置P1と時刻tの時点における位置P2とから、
図16を参照して説明したようにして、正面とみなす範囲FRを算出する(ステップS305)。
【0102】
そして、画像抽出部114は、正面とみなす範囲FRに含まれる全ての全方位カメラ200のリスト(候補カメラリスト)を作成する(ステップS306)。次に、画像抽出部114は、真上カメラが有効(真上の全方位カメラ200を用いる)か否かを判定する(ステップS307)。真上カメラが有効でないなら(ステップS307;No)、画像抽出部114は、ステップS306で作成した候補カメラリストの中で、作業員Wとの距離がra以下の全方位カメラ200を、候補カメラリストから削除する(ステップS308)。一方、真上カメラが有効なら(ステップS307;Yes)、ステップS309に進む。
【0103】
そして、画像抽出部114は、候補カメラリストが空(候補カメラリストに全方位カメラ200が全く含まれていない)か否かを判定する(ステップS309)。候補カメラリストが空なら(ステップS309;Yes)、ステップS201に進む。候補カメラリストが空でないなら(ステップS309;No)、画像抽出部114は、候補カメラリストに含まれている全方位カメラ200の中で、後述する優先度が最も高い全方位カメラ200を、時刻tの全方位カメラ200tとし(ステップS310)、ステップS204に進む。
【0104】
ここで、候補カメラリストに含まれている全方位カメラ200の優先度について、
図19を参照して説明する。基本的な考え方としては、できるだけ作業員Wの真正面で、できるだけ作業員Wとの距離が近い全方位カメラ200の優先度が高くなるように優先度を設定する。
【0105】
図19に示すように、全方位カメラ200の位置が、作業員Wの位置を原点とする極座標表現で、距離r
c、角度θ
cであったとする。この時、この全方位カメラ200の優先度PRは以下の式(1)で表される。なお、このPRの値が大きければ、当該全方位カメラ200の優先度が高いことを示す。
PR=cos(θ
c-(θ
1+π))/r
c …(1)
【0106】
なお、式(1)は、優先度を算出する数式の一例に過ぎず、上述の基本的な考え方に基づいて優先度が算出されるならば、どのように算出しても構わない。
【0107】
上述の画像抽出処理により、実施の形態3に係る画像再生装置100は、複数設置された全方位カメラ200の中で、できるだけ作業員Wを正面から撮影できる全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラ200で撮影された画像の中から、表示すべき画像(作業員Wが映っている画像)を自動的に抽出することができる。
【0108】
(実施の形態4)
上述の実施の形態では、測位装置600は、各作業員Wの位置を常に位置情報ログに記録していた。しかし、作業員Wのうち、通常の作業エリアと異なる位置にいる作業員Wの様子を重点的に確認したい場合も考えられる。そこで、作業員Wが(作業外のエリアにいる等)通常の存在位置と異なる位置に存在している場合にのみ、位置情報ログが記録される実施の形態4に係る画像再生システム4について、説明する。
【0109】
実施の形態4に係る画像再生システム4の構成は、上述の実施の形態(
図1に示す実施の形態1や、
図14に示す実施の形態2,3)の構成と基本的には同じであるが、測位装置600の処理内容が少し異なるので、この点について説明する。
【0110】
実施の形態4に係る測位装置600は、各作業員Wの通常の作業エリアの情報を通常位置情報として予め記憶部に保存している。この通常位置情報は、各作業員Wの所定の時間帯毎の通常の存在位置である。ここで、所定の時間帯としては、1時間単位で細かく各作業員Wの通常の存在位置が定められていてもよいし、1日単位、1週間単位等、ある程度まとまった時間帯毎に各作業員Wの通常の存在位置が定められていてもよい。
【0111】
測位装置600は、この通常位置情報を参照することにより、各作業員Wが通常の作業エリアにいるか否かを判定することができる。そして、測位装置600は、作業員Wが所持するビーコン送信機400の位置を算出したら、通常位置情報を参照して、作業員Wが通常の作業エリアにいるか否かを判定し、作業員Wが通常の作業エリアにいない場合だけ、その位置の情報を、ビーコン送信機400の識別情報(送信機ID)及び時刻情報とともに位置情報ログとして、記憶部に保存する。
【0112】
以上の点以外は、実施の形態4に係る画像再生システム4は、上述の実施の形態と同様であるので、説明を省略する。なお、測位装置600の動作を変更せずに、画像再生装置100において、通常位置情報を記憶部120に保存しておき、位置情報取得部112において、作業員Wの位置が通常の存在位置でない位置情報ログのみを取得する(通常の存在位置の位置情報ログは読み捨てる)ようにしてもよい。この場合、記憶部120は、作業員Wの通常の存在位置を記憶する通常位置記憶手段としても機能する。
【0113】
実施の形態4に係る画像再生システム4では、作業員Wが通常の作業エリアを離れている場合に作業員Wが映っている画像を再生することができる。作業員Wが通常の作業エリアを離れているということは、何らかの問題が発生している可能性が高い。したがって、実施の形態4に係る画像再生システム4では、ユーザは、問題が発生した場合の作業状況をより効率的に確認することができる。
【0114】
(変形例)
上述の実施の形態では、画像再生処理のステップS102で、ユーザは任意の作業員Wの識別子を入力できるが、ここで入力できる作業員Wの識別子を制限してもよい。例えば、画像再生装置100は、実施の形態4と同様にして、各作業員Wの通常の作業エリアを通常位置情報として予め記憶部120に保存しておく。そして、ステップS102では、位置情報ログ及び通常位置情報に基づいて、通常の作業エリアから逸脱している作業員Wをリストにして表示部131に表示し、ユーザがそのリストの中からいずれかを選択することによって、識別子取得部113が作業員Wの識別子を取得するようにしてもよい。
【0115】
同様に、画像再生処理のステップS103で入力できる再生日時の制限を行ってもよい。例えば、画像再生装置100は、実施の形態4と同様にして、各作業員Wの通常の作業エリアを通常位置情報として予め記憶部120に保存しておく。そして、ステップS102及びステップS103では、位置情報ログ及び通常位置情報に基づいて、通常の作業エリアから逸脱している作業員W及びその逸脱している日時(逸脱を開始した日時及び通常の作業エリアに復帰した日時)をリストにして表示部131に表示し、ユーザがそのリストの中からいずれかを選択することによって、識別子取得部113は作業員Wの識別子を取得し、制御部110は逸脱を開始した日時を再生開始日時として取得し、通常の作業エリアに復帰した日時を再生終了日時として取得するようにしてもよい。
【0116】
(その他の変形例)
本発明は、上述した実施の形態及び変形例に限定されるわけではなく、その他の種々の変更が可能である。例えば、全方位カメラ200と画像再生装置100とをネットワークNWで接続して、画像再生装置100に録画装置300の機能を包含させてもよい。また、ビーコン受信機500と画像再生装置100とをネットワークNWで接続して、画像再生装置100にビーコン受信機500の機能を包含させてもよい。
【0117】
また、上述の実施の形態では、画像抽出部114が、表示すべき画像(作業員Wが映っている画像)を自動的に抽出するが、ユーザはそれ以外の画像を確認したい場合もありうる。そこで、例えば、
図12に示すように、画像抽出部114が表示すべき画像として抽出した画像を表示部131の中央に大きく表示するとともに、他の方向の画像も子画面として表示させておき、ユーザからの指示(例えば選択したい画像が映っている子画面部分をユーザがタッチしたりクリックしたりする)により、中央に大きく表示する画像を切り替えられるようにしてもよい。
【0118】
また、上述の実施の形態や変形例では、表示対象(作業員W)がビーコン送信機400を所持し、ビーコン送信機400からの情報を受信したビーコン受信機500が受信情報を測位装置600に送信することにより、測位装置600は各作業員Wの位置を測位した。しかし、作業員Wの位置を測位する方法はこの方法に限定されない。例えば、GPS(Global Positioning System)により、各表示対象の位置を測位するようにしてもよい。
【0119】
また、上記の実施の形態において、画像再生装置100の動作を規定する各種処理(画像再生処理、画像抽出処理等)を実行させるための制御プログラムは、記憶部120に記憶されているものとして説明した。しかしながら、本発明は、これに限定されず、上記の各種処理を実行させるための制御プログラムを、通常のPC(Personal Computer)等のコンピュータに実装することにより、通常のPCを上記の実施の形態に係る画像再生装置100に相当する装置として機能させてもよい。
【0120】
このようなプログラムの提供方法は任意であり、例えば、コンピュータが読取可能な記録媒体(フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)、メモリカード、USB(Universal Serial Bus)メモリ等)に格納して配布してもよいし、インターネットをはじめとするネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。
【0121】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。
【符号の説明】
【0122】
100…画像再生装置、101…CPU、102…ROM、103…RAM、104…HDD、105…ディスプレイ、106…入力装置、107…通信I/F、110…制御部、111…画像取得部、112…位置情報取得部、113…識別子取得部、114…画像抽出部、115…画像再生部、120…記憶部、131…表示部、132…入力部、133…通信部、200,200t…全方位カメラ、300…録画装置、400…ビーコン送信機、500,500A,500B…ビーコン受信機、600…測位装置、BL…バスライン、FR…正面とみなす範囲、NW…ネットワーク、P1,P2…位置、R1,R2,R3,R4,R5,R6,R7,R8,R9…領域、W…作業員