(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】情報処理装置、学習装置、領域設定方法、および学習方法
(51)【国際特許分類】
G06T 7/73 20170101AFI20240312BHJP
B66C 13/00 20060101ALI20240312BHJP
B66C 15/00 20060101ALI20240312BHJP
B66C 23/88 20060101ALI20240312BHJP
【ＦＩ】
G06T7/73
B66C13/00 D
B66C15/00 E
B66C23/88 D
【請求項の数】
7
(21)【出願番号】P 2020105425
(22)【出願日】2020-06-18
(65)【公開番号】P2021197083
(43)【公開日】2021-12-27
【審査請求日】2022-12-27
(73)【特許権者】
【識別番号】000005119
【氏名又は名称】日立造船株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】三木 裕介
(72)【発明者】
【氏名】和田 貴裕
(72)【発明者】
【氏名】八坂 祥太
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１８－０８００５４（ＪＰ，Ａ）
【文献】特許第６５５１６３９（ＪＰ，Ｂ１）
【文献】特開２００８－３１２００４（ＪＰ，Ａ）
【文献】国際公開第２０１９／１６３８７５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７３
Ｂ６６Ｃ １３／００
Ｂ６６Ｃ １５／００
Ｂ６６Ｃ ２３／８８
(57)【特許請求の範囲】
【請求項1】
クレーンのブームの傾斜角度を特定する傾斜角度特定部と、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記領域の上記撮影画像におけるピクセル数を当該領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、傾斜角度に応じた縮尺を特定する縮尺特定部と、を備え、
上記領域設定部は、上記縮尺特定部が特定した縮尺を適用して上記領域を設定する、情報処理装置。
【請求項2】
クレーンのブームの傾斜角度を特定する傾斜角度特定部と、
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記領域内の検出対象を検出する対象検出部と、
上記領域内に検出対象が検出された場合に警報を行う警報部と、を備え、
上記領域設定部は、上記撮影画像から検出された上記クレーンのフックの位置を基準として上記領域を設定し、
上記領域内に検出対象が侵入した回数をカウントする侵入回数カウント部を備え、
上記侵入回数カウント部は、時系列で撮影された複数の上記撮影画像の１つにおける上記領域内に検出対象が検出された場合、当該撮影画像の直前に撮影された所定数の撮影画像で当該領域内に当該検出対象が検出されていないことを条件として、侵入回数を１回増加させる、情報処理装置。
【請求項3】
クレーンのブームの傾斜角度を特定する傾斜角度特定部と、
上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、
上記領域内の検出対象を検出する対象検出部と、
上記領域内に検出対象が検出された場合に警報を行う警報部と、を備え、
上記領域設定部は、上記撮影画像から検出された上記クレーンのフックの位置を基準として上記領域を設定し、
上記クレーンのフックの下方側を側方から撮影する第２の撮影装置で撮影された側方画像の画像領域中に第２の領域を設定する側方画像領域設定部と、
上記第２の領域内の検出対象を検出する側方画像対象検出部と、を備え、
上記側方画像領域設定部は、上記側方画像の画像領域の中で、上記フックが検出された位置の下方であって、上記傾斜角度特定部が特定した傾斜角度から求めた、上記第２の撮影装置から上記フックまでの水平方向の距離に対応する位置に上記第２の領域を設定する、情報処理装置。
【請求項4】
クレーンのブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像の撮影時における上記ブームの傾斜角度を特定する傾斜角度特定部と、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記撮影画像中に、実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定部と、
上記学習対象領域の画像を所定サイズに調整した調整画像を用いて、上記学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習部と、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記学習対象領域の上記撮影画像におけるピクセル数を当該学習対象領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を特定する縮尺特定部と、を備え、
上記学習対象領域設定部は、上記縮尺特定部が特定した縮尺を適用して上記学習対象領域を設定する、
学習装置。
【請求項5】
上記検出モデルの機械学習に用いる教師データを生成する教師データ生成部を備え、
上記撮影装置で当該撮影装置の下方側を撮影した撮影画像から機械学習用の教師データを生成する場合に、
上記傾斜角度特定部は、上記ブームの傾斜角度の時系列の測定結果から、上記撮影画像の撮影時刻における上記ブームの傾斜角度を特定し、
上記教師データ生成部は、上記傾斜角度特定部が特定した傾斜角度と、上記撮影画像と、上記撮影画像において上記所定の検出対象が写る位置および範囲を示す検出対象情報とを対応付けて上記教師データを生成する、請求項４に記載の学習装置。
【請求項6】
情報処理装置により実行される領域設定方法であって、クレーンのブームの傾斜角度を特定する傾斜角度特定ステップと、
上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定ステップと、を含むと共に、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記領域の上記撮影画像におけるピクセル数を当該領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を特定する縮尺特定ステップをさらに含み、
上記領域設定ステップでは、上記縮尺特定ステップで特定された縮尺を適用して上記領域を設定する、領域設定方法。
【請求項7】
学習装置により実行される学習方法であって、クレーンのブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像の撮影時における上記ブームの傾斜角度を特定する傾斜角度特定ステップと、
上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記撮影画像中に、実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定ステップと、
上記学習対象領域の画像を所定サイズに調整した調整画像を用いて、上記学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習ステップと、を含むと共に、
上記ブームをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された、傾斜角度と上記学習対象領域の上記撮影画像におけるピクセル数を当該学習対象領域の実寸法で除した値である縮尺との相関を示す相関情報を用いて、傾斜角度に応じた縮尺を特定する縮尺特定ステップをさらに含み、
上記学習対象領域設定ステップでは、上記縮尺特定ステップで特定された縮尺を適用して上記学習対象領域を設定する、学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、クレーンの周囲を撮影した画像中に実寸法で所定のサイズとなる領域を設定する情報処理装置等に関する。
【背景技術】
【0002】
クレーンを使用して作業を行う工事等では、吊荷の落下事故などから地上の作業員の安全を確保するために、クレーンオペレータが目視で確認等を行っている。しかし、作業員がクレーンオペレータの死角に入ることもあり、また、クレーンオペレータが見落とすことも想定される。このため、目視確認のみに頼った安全管理には改善の余地がある。
【0003】
ここで、クレーンの作業の安全管理のための従来技術として、例えば下記の特許文献１の技術が挙げられる。特許文献１には、クレーンのブームの先端部に取り付けたカメラで撮影した画像上に、作業員の安全性判定のための範囲を設定し、その範囲内における人員の有無を検出する作業支援装置が開示されている。
【0004】
また、特許文献１には、実寸法で所定のサイズとなるように上記範囲を設定するために、上記範囲を設定する基準面からカメラまでの高さに応じて、監視画像における上記範囲の大きさを調整することも記載されている。具体的には、特許文献１には、カメラに写る三角コーンやバリケード等のサイズが既知の物体の像を、監視画像内の背景部分の尺度を示す指標として利用することにより、上記範囲の大きさを調整することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－８００５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来技術では、画像に写り込んだ既知の寸法の物体を基準として、設定する範囲のサイズを調整しているため、調整を行う前提として、既知の寸法の物体が画像に写り込んでいることを要する。このため、クレーンの本体やブームが動いて、既知の寸法の物体が撮影範囲外となってしまうと範囲のサイズを調整することができなくなる。
【0007】
本発明の一態様は、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる情報処理装置等を実現することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、クレーンのブームの傾斜角度を特定する傾斜角度特定部と、上記傾斜角度特定部が特定した傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部と、を備える。
【0009】
また、上記の課題を解決するために、本発明の一態様に係る領域設定方法は、情報処理装置により実行される領域設定方法であって、クレーンのブームの傾斜角度を特定する傾斜角度特定ステップと、上記傾斜角度特定ステップで特定された傾斜角度に応じた縮尺を適用して、上記ブームに取り付けられた撮影装置で当該撮影装置の下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定ステップと、を含む。
【発明の効果】
【0010】
本発明の一態様によれば、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。
【図2】本発明の実施形態に係る学習装置の要部構成の一例を示すブロック図である。
【図3】上記情報処理装置と上記学習装置を含むクレーンシステムの構成例を示す図である。
【図4】危険領域の設定例を示す図である。
【図5】検出モデルの生成に用いる教師データの生成方法の例を示す図である。
【図6】教師データ生成処理の例を示すフローチャートである。
【図7】検出モデルの学習処理の例を示すフローチャートである。
【図8】危険領域の監視処理の例を示すフローチャートである。
【図9】上記監視処理により警報を行った例を示す図である。
【図10】高度判定部の判定結果に応じた領域設定の例を示す図である。
【図11】側方画像における危険領域の設定方法を説明する図である。
【発明を実施するための形態】
【0012】
〔実施形態１〕
（システム構成）
本発明の一実施形態に係るクレーンシステム１００の構成を図３に基づいて説明する。図３は、クレーンシステム１００の構成例を示す図である。クレーンシステム１００には、図示のように、クレーンＣＲ、情報処理装置１、学習装置３、撮影装置５、および傾斜計７が含まれている。
（システム構成）
本発明の一実施形態に係るクレーンシステム１００の構成を図３に基づいて説明する。図３は、クレーンシステム１００の構成例を示す図である。クレーンシステム１００には、図示のように、クレーンＣＲ、情報処理装置１、学習装置３、撮影装置５、および傾斜計７が含まれている。
【0013】
クレーンＣＲは、重量物を吊り上げて移動させる機械である。クレーンＣＲには、台車部ＣＲ１、基部ＣＲ２、ブームＣＲ３、ケーブルＣＲ４、フックＣＲ５、およびクレーン室ＣＲ６が含まれている。
【0014】
台車部ＣＲ１は、レールに沿って図３の奥行き方向に移動可能に構成されている。また、台車部ＣＲ１は、基部ＣＲ２を載置している。これにより、クレーンＣＲの全体がレールに沿って図３の奥行き方向に移動可能となっている。なお、クレーンＣＲは、移動式のものに限られず、固定式のものであってもよい。
【0015】
基部ＣＲ２は、ブームＣＲ３等を支持する構造体である。基部ＣＲ２と台車部ＣＲ１は、台車部ＣＲ１上で基部ＣＲ２が回動できるように接続されている。これにより、クレーンＣＲは、その周囲３６０度に位置する荷を運搬することが可能になっている。なお、回動範囲は３６０度未満であってもよい。また、クレーンＣＲは、水平面内の回動ができないものであってもよい。
【0016】
ブームＣＲ３は、ジブとも呼ばれる長尺の構造体である。クレーンＣＲは、ブームＣＲ３を備えているのでジブクレーンである。ブームＣＲ３の一端は基部ＣＲ２に回動可能に接続されている。図３に破線で示すように、ブームＣＲ３は基部ＣＲ２との接続部を支点として回動し、その傾斜角度が変更できるように構成されている。また、ブームＣＲ３の他端には図示しない滑車が設けられており、この滑車からケーブルＣＲ４が下垂する構成となっている。
【0017】
ケーブルＣＲ４は、荷を吊り上げるための索であり、その先端に荷を引っ掛けるためのフックＣＲ５が取り付けられている。荷をクレーンＣＲで移動させる際には、その荷をフックＣＲ５に玉掛けして吊り上げる。
【0018】
クレーン室ＣＲ６は、クレーンＣＲを操作するための各種装置を収容した空間となっており、クレーンＣＲのオペレータ（以下、単にオペレータと呼ぶ）はクレーン室ＣＲ６からクレーンＣＲの操作を行う。例えば、オペレータは、ブームＣＲ３の傾斜角度の調整、ケーブルＣＲ４の巻き上げ／巻き下ろしによるフックＣＲ５（吊荷）の昇降、基部ＣＲ２およびその上部の構造体の回動などの操作を行うことができる。
【0019】
また、クレーンＣＲのブームＣＲ３には、当該ブームＣＲ３の傾斜角度を計測する傾斜計７が取り付けられている。そして、ブームＣＲ３の先端部付近には、撮影装置５が取り付けられている。
【0020】
撮影装置５は、クレーンＣＲの吊荷の下方の実寸法で所定サイズの領域（以下、危険領域と呼ぶ）への人の立ち入りを監視するためのものであり、鉛直下方を向くように取り付けられている。これにより、撮影装置５の鉛直下方側に位置するフックＣＲ５と、フックＣＲ５の下方の危険領域が撮影装置５により撮影される。
【0021】
ここで、ブームＣＲ３の傾斜角度を変えた場合、撮影装置５で撮影された撮影画像に写る各種対象（例えば作業者）のサイズも変わり、撮影画像に占める危険領域の割合も変わる。具体的には、ブームＣＲの傾斜角度を大きくするほど、撮影装置５から危険領域までの距離は遠くなるので、撮影画像に写る各種対象のサイズは小さくなり、撮影画像に占める危険領域の割合も小さくなる。一方、ブームＣＲの傾斜角度を小さくするほど、撮影装置５から危険領域までの距離は近くなるので、撮影画像に写る各種対象のサイズは大きくなり、撮影画像に占める危険領域の割合も大きくなる。
【0022】
このため、ブームＣＲ３の傾斜角度を考慮することなく、撮影装置５で撮影された撮影画像から人の検出を行った場合、検出精度が低くなってしまうおそれがある。そこで、情報処理装置１は、傾斜計７で計測された傾斜角度に応じた縮尺を適用して、上記撮影画像中に実寸法で所定のサイズとなる危険領域を設定し、その危険領域内の各種対象を検出する。
【0023】
撮影装置５が撮影した撮影画像は例えば携帯型の記録媒体に記憶させてもよく、この場合、情報処理装置１は記録媒体から撮影画像を読み出せばよい。ただし、情報処理装置１は、危険領域に人が立ち入った場合に、そのことを迅速に検出する必要があるから、情報処理装置１は、記録媒体経由ではなく、撮影装置５から撮影画像を直接受信することが好ましい。傾斜計７の計測結果も同様である。
【0024】
なお、情報処理装置１は、クレーンＣＲが設置された現場に設置してもよいし、例えば遠隔のコントロールセンター等に設置してもよい。学習装置３も同様である。遠隔地に接地する場合、情報処理装置１は、撮影画像や傾斜計７の計測結果を、ネットワークを介した通信により取得すればよい。
【0025】
また、情報処理装置１が行う処理の一部を他のコンピュータ・システムで行う構成としてもよい。例えば、各種対象の検出には後述する検出モデルを用いた演算を行うが、この演算を他のコンピュータ・システムで行う構成としてもよい。この場合、情報処理装置１は、演算に必要な情報を、ネットワークを介した通信により他のコンピュータ・システムに送信する。そして、情報処理装置１は、上記他のコンピュータ・システムから送信される演算結果を受信する。
【0026】
学習装置３は、撮影装置５が撮影した撮影画像から所定の検出対象を検出するための検出モデルの機械学習を行う。検出モデルは教師ありの機械学習により生成されるものであってもよい。例えば、学習装置３は、畳み込みニューラルネットワーク等の検出モデルを生成してもよい。また、検出モデルは教師なし学習により生成されるものであってもよい。
【0027】
学習装置３が機械学習により生成した検出モデルは情報処理装置１による各種対象の検出に用いられる。学習装置３の設置場所は情報処理装置１と同じであってもよいし、異なっていてもよい。また、学習装置３の機能を情報処理装置１に持たせてもよく、この場合、クレーンシステム１００の構成要素から学習装置３が省略される。
【0028】
（情報処理装置の構成）
図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、プロセッサ１０、メモリ１１、および大容量記憶装置１２を備えている。情報処理装置１は、一例として、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ１０は、大容量記憶装置１２に記憶されている情報処理プログラムをメモリ１１にロードして実行することにより、後述する画像取得部１０１から側方画像対象検出部１１２までの各部として機能する。
図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、プロセッサ１０、メモリ１１、および大容量記憶装置１２を備えている。情報処理装置１は、一例として、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ１０は、大容量記憶装置１２に記憶されている情報処理プログラムをメモリ１１にロードして実行することにより、後述する画像取得部１０１から側方画像対象検出部１１２までの各部として機能する。
【0029】
また、情報処理装置１は、外部の機器とのインターフェース（ＩＦ）として、撮影装置ＩＦ１３、傾斜計ＩＦ１４、表示装置ＩＦ１５、音出力装置ＩＦ１６、およびネットワークＩＦ１７を備えている。これらのインターフェースは任意のものを適用可能であり、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等を適用してもよい。
【0030】
撮影装置ＩＦ１３は、撮影装置５から上述の撮影画像を取得するためのインターフェースである。また、傾斜計ＩＦ１４は、傾斜計７から傾斜角度の計測値を取得するためのインターフェースである。なお、上記撮影画像および上記計測値は何れもアナログデータである。アナログデータをデジタルデータに変換する処理は、情報処理装置１への入力前に行ってもよいし、情報処理装置１が行ってもよい。また、撮影画像および傾斜角度の計測値は、情報処理装置１の外部の記憶装置等を介して取得する構成としてもよい。
【0031】
表示装置ＩＦ１５は、情報処理装置１が図示しない表示装置に画像を表示させる際に使用するインターフェースである。例えば、情報処理装置１は、表示装置ＩＦ１５を介して、撮影装置５が撮影した撮影画像や、傾斜計７の計測値等を表示装置に表示させることもできる。
【0032】
音出力装置ＩＦ１６は、情報処理装置１が図示しない音出力装置に音声を出力させる際に使用するインターフェースである。音出力装置は例えばスピーカである。情報処理装置１は、例えば危険領域への人の立ち入りを検出したときに、音出力装置ＩＦ１６を介して、音出力装置に警告メッセージや警告音を出力させることもできる。
【0033】
ネットワークＩＦ１７は、情報処理装置１が例えばインターネット等のネットワーク上の各種機器と通信するためのインターフェースである。なお、情報処理装置１は、上述したインターフェース以外にも例えば外付けの記憶装置（例えばハードディスク）にアクセスするためのインターフェース等を備えていてもよい。
【0034】
プロセッサ１０は、上述のように画像取得部１０１から側方画像対象検出部１１２までの各部として機能する。以下、画像取得部１０１から警報部１０９までの各部について説明する。なお、側方画像取得部１１０から側方画像対象検出部１１２までの各部については実施形態２で説明する。
【0035】
画像取得部１０１は、クレーンＣＲのブームＣＲ３に取り付けられた撮影装置５で下方側を撮影した撮影画像を取得する。撮影画像の取得方法は特に限定されず、例えば、画像取得部１０１は、撮影装置ＩＦ１３を介して撮影装置５から撮影画像を取得してもよい。
【0036】
傾斜角度特定部１０２は、クレーンＣＲのブームＣＲ３の傾斜角度を特定する。傾斜角度の特定方法は特に限定されず、例えば、傾斜角度特定部１０２は、傾斜計ＩＦ１４を介して傾斜計７の計測値を取得してもよい。
【0037】
縮尺特定部１０３は、傾斜角度特定部１０２が特定した傾斜角度に応じた縮尺を特定する。具体的には、縮尺特定部１０３は、ブームＣＲをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて縮尺を特定する。相関情報は、傾斜角度と縮尺との相関を示す情報である。なお、相関情報とそれを用いた縮尺の特定についての詳細は後述する。
【0038】
高度判定部１０４は、危険領域に対応する位置の高度を判定する。高度の判定が行われた場合、領域設定部１０５は、高度判定部が判定した高度と、傾斜角度特定部１０２が特定した傾斜角度とに応じた縮尺を適用して、撮影画像中に危険領域を設定する。これらの処理の詳細は図１０に基づいて後述する。
【0039】
領域設定部１０５は、傾斜角度特定部１０２が特定した傾斜角度に応じた縮尺を適用して、撮影装置５で下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域（危険領域）を設定する。なお、縮尺は上述のように縮尺特定部１０３が特定する。領域設定方法の詳細は後述する。
【0040】
入力データ生成部１０６は、対象検出部１０７が対称の検出に用いる検出モデルに入力する入力データを生成する。より詳細には、入力データ生成部１０６は、領域設定部１０５が設定した危険領域を上記撮影画像から切り出して所定サイズに調整し、調整画像を生成する。この調整画像が検出モデルへの入力データとなる。詳細は後述するが、この検出モデルは学習装置３によって生成される。
【0041】
対象検出部１０７は、撮影画像に写る所定の検出対象を検出する。本実施形態では、当該対象が人とフックである例、すなわち対象検出部１０７が、撮影画像に写る危険領域内において、人とフックＣＲ５を検出する例を説明する。これらの検出は、上述した検出モデルの出力値に基づいて行われる。
【0042】
なお、検出対象はこれらの例に限られない。例えば、対象検出部１０７は、人の代わりに人の装着している物品（ヘルメット等）を検出してもよいし、フックＣＲ５の代わりに吊荷等を検出してもよい。また、対象検出部１０７は、複数の対象を検出する場合、当該複数の対象を検出可能な１つの検出モデルの出力値から各対象を検出してもよいし、対象ごとに用意された検出モデルの出力値から各対象を検出してもよい。
【0043】
侵入回数カウント部１０８は、領域設定部１０５が設定した領域すなわち危険領域に対象検出部１０７の検出対象（典型的には人）が侵入した回数をカウントする。侵入回数のカウント方法の詳細は後述する。
【0044】
警報部１０９は、危険領域内に対象検出部１０７の検出対象（典型的には人）が検出された場合に警報を行う。警報は、検出対象が検出されたことを所定の対象者に認識させることができるものであればよく、音、画像、およびそれらの組み合わせ等、任意の方法で行うものであってよい。警報の対象者は、クレーンＣＲの周囲で作業する作業員であってもよい。ただし、作業員は、例えば吊荷をフックＣＲ５に玉掛けする際などに危険領域に立ち入るが、このような立ち入り時には警報は不要である。そこで、警報の対象者は、例えば、工事現場の監視員や監督者、情報処理装置１のオペレータ等としてもよい。これらの場合、警報の対象者が必要と判断したときに、警報部１０９または他の手段により作業員への警報を行えばよい。
【0045】
以上のように、情報処理装置１は、クレーンＣＲのブームＣＲ３の傾斜角度を特定する傾斜角度特定部１０２を備えている。また、情報処理装置１は、傾斜角度特定部１０２が特定した傾斜角度に応じた縮尺を適用して、ブームＣＲ３に取り付けられた撮影装置５で撮影した撮影画像中に、実寸法で所定のサイズとなる領域を設定する領域設定部１０５を備えている。
【0046】
上記の構成によれば、ブームＣＲ３の傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して領域を設定するので、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。そして、対象検出部１０７は、設定された領域（危険領域）から所定の検出対象を検出するので、撮影画像全体から検出を行う場合と比べて、少ない演算量で高精度な検出を行うことが可能になる。
【0047】
（学習装置の構成）
図２は、学習装置３の要部構成の一例を示すブロック図である。図示のように、学習装置３は、プロセッサ３０、メモリ３１、および大容量記憶装置３２を備えている。学習装置３は、情報処理装置１と同様に、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ３０は、大容量記憶装置３２に記憶されている学習プログラムをメモリ３１にロードして実行することにより、後述する画像取得部３０１から学習部３１０までの各部として機能する。
図２は、学習装置３の要部構成の一例を示すブロック図である。図示のように、学習装置３は、プロセッサ３０、メモリ３１、および大容量記憶装置３２を備えている。学習装置３は、情報処理装置１と同様に、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ３０は、大容量記憶装置３２に記憶されている学習プログラムをメモリ３１にロードして実行することにより、後述する画像取得部３０１から学習部３１０までの各部として機能する。
【0048】
また、学習装置３は、外部の機器とのインターフェース（ＩＦ）として、撮影装置ＩＦ３３、傾斜計ＩＦ３４、表示装置ＩＦ３５、入力装置ＩＦ３６、およびネットワークＩＦ３７を備えている。入力装置ＩＦ３６は、キーボードやマウスなどの入力装置からの入力信号を受け付けるためのインターフェースである。入力装置ＩＦ３６は、例えばＵＳＢ等のインターフェースであってもよい。学習装置３が備えるインターフェースのうち、図１の情報処理装置１が備えるものと同名のインターフェースは機能も同様であるから説明を繰り返さない。
【0049】
画像取得部３０１は、クレーンＣＲのブームＣＲ３に取り付けられた撮影装置５で下方側を撮影した撮影画像を取得する。撮影画像の取得方法は特に限定されず、例えば、画像取得部３０１は、撮影装置ＩＦ３３を介して撮影装置５から上述の撮影画像を取得してもよい。また、例えば、画像取得部３０１は、情報処理装置１の大容量記憶装置１２に保存されている撮影画像を情報処理装置１と通信することにより取得してもよい。さらに、例えば、撮影画像が情報処理装置１の外部の記憶装置に記憶されている場合には、画像取得部３０１はその記憶装置にアクセスして撮影画像を取得してもよい。
【0050】
撮影時刻特定部３０２は、画像取得部３０１が取得した撮影画像の撮影時刻を特定する。撮影時刻の特定方法の詳細は後述する。
【0051】
傾斜角度特定部３０３は、クレーンＣＲのブームＣＲ３の傾斜角度を特定する。具体的には、傾斜角度特定部３０３は、ブームＣＲ３の傾斜角度の時系列の測定結果から、撮影画像の撮影時刻におけるブームＣＲ３の傾斜角度を特定する。なお、傾斜角度の特定方法の詳細は後述する。
【0052】
検出対象情報生成部３０４は、撮影画像において、検出モデルの検出対象が写る位置および範囲を示す検出対象情報を生成する。検出対象が写る位置および範囲は、学習装置３のユーザが設定してもよい。この場合、検出対象情報生成部３０４は、入力装置ＩＦ３６を介してユーザの設定を取得し、取得した設定内容を示す検出対象情報を生成すればよい。
【0053】
教師データ生成部３０５は、撮影装置５で撮影する撮影画像から所定の検出対象を検出するための検出モデルの機械学習に用いる教師データを生成する。詳細は後述するが、この教師データでは、撮影画像に対して、傾斜角度特定部３０３が特定した傾斜角度と、検出対象情報生成部３０４が生成した検出対象情報とが対応付けられている。
【0054】
縮尺特定部３０６は、傾斜角度特定部３０３が特定した傾斜角度に応じた縮尺を特定する。具体的には、縮尺特定部３０６は、ブームＣＲをそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて縮尺を特定する。縮尺特定部３０６が用いる相関情報は、情報処理装置１の縮尺特定部１０３が用いる相関情報と同じ情報である。
【0055】
学習対象領域設定部３０７は、傾斜角度特定部３０３が特定した傾斜角度に応じた縮尺を適用して、ブームＣＲ３に取り付けられた撮影装置５で下方側を撮影した撮影画像中に、実寸法で所定のサイズとなる領域（学習対象領域）を設定する。なお、縮尺は上述のように縮尺特定部３０６が特定する。
【0056】
学習対象領域を実寸法でどの程度のサイズの領域とするかは任意である。また、学習対象領域は、危険領域と同じ位置およびサイズの領域としてもよいし、位置およびサイズの少なくとも何れかが危険領域とは異なる領域としてもよい。後者の場合、学習対象領域を危険領域よりも広く設定してもよい。
【0057】
入力データ生成部３０８は、学習部３１０が検出モデルの機械学習時に当該検出モデルに入力する入力データを生成する。なお、検出モデルは、情報処理装置１の対象検出部１０７が対象の検出に用いるモデルである。具体的には、入力データ生成部３０８は、学習対象領域設定部３０７が設定した学習対象領域を上記撮影画像から切り出して所定サイズに調整し、調整画像を生成する。この調整画像が機械学習時における検出モデルへの入力データとなる。
【0058】
回転画像生成部３０９は、入力データ生成部３０８が生成した調整画像を回転させて回転画像を生成する。回転画像生成部３０９が生成する回転画像は、上記調整画像と共に上記生成モデルの生成に用いられる。
【0059】
学習部３１０は、機械学習により上記検出モデルを生成する。検出モデルの生成には、上述のとおり、入力データ生成部３０８が生成する入力データ（具体的には調整画像）が用いられると共に、回転画像生成部３０９が生成する回転画像も用いられる。機械学習の詳細については後述する。
【0060】
以上のように、学習装置３は、クレーンＣＲのブームＣＲ３の傾斜角度を特定する傾斜角度特定部３０３を備えている。また、学習装置３は、傾斜角度特定部３０３が特定した傾斜角度に応じた縮尺を適用して、ブームＣＲ３に取り付けられた撮影装置５で撮影した撮影画像中に、実寸法で所定のサイズとなる領域（学習対象領域）を設定する学習対象領域設定部３０７を備えている。
【0061】
上記の構成によれば、ブームＣＲ３の傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して領域を設定するので、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる領域を設定することができる。そして、学習部３１０は、撮影画像の画像領域のうち、設定された上記領域（学習対象領域）のみを学習の対象とするので、撮影画像全体を学習対象とする場合と比べて、少ない演算量で高精度な検出が可能な検出モデルを生成することが可能になる。
【0062】
また、学習装置３は、以上のように、ブームＣＲ３に取り付けられた撮影装置５で下方側を撮影した撮影画像の撮影時におけるブームＣＲ３の傾斜角度を特定する傾斜角度特定部３０３を備えている。また、学習装置３は、傾斜角度特定部３０３が特定した傾斜角度に応じた縮尺を適用して、撮影画像中に実寸法で所定のサイズとなる学習対象領域を設定する学習対象領域設定部３０７を備えている。さらに、学習装置３は、学習対象領域の画像を所定サイズに調整した調整画像を用いて、学習対象領域に写る所定の検出対象を検出するための検出モデルの機械学習を行う学習部３１０を備える。
【0063】
上記の構成によれば、ブームの傾斜角度を特定し、その傾斜角度に応じた縮尺を適用して、実寸法で所定のサイズとなる学習対象領域を設定する。すなわち、上記の構成によれば、撮影画像に既知の寸法の対象物が写り込んでいなくとも、実寸法で所定のサイズとなる学習対象領域を設定することができる。
【0064】
また、上記の構成によれば、学習対象領域の画像を所定サイズに調整した調整画像を用いて機械学習を行う。これにより、ブームＣＲ３の傾斜角度に応じて撮影画像における学習対象領域の範囲が変わり、学習対象領域に写る検出対象のサイズが変わっても、常に実寸法で所定のサイズとなる学習対象領域を学習対象とすることができる。また、設定された学習対象領域に対応する実寸法のサイズは常に所定サイズであるから、学習対象領域に写る検出対象のサイズも略一定の範囲に収まる。よって、このような調整画像を用いない場合と比べて効率的な学習を行うことができる。
【0065】
また、学習装置３は、以上のように、ブームＣＲ３の傾斜角度の時系列の測定結果から、画像取得部３０１が取得した撮影画像の撮影時刻におけるブームＣＲ３の傾斜角度を特定する傾斜角度特定部３０３を備えている。さらに、学習装置３は、傾斜角度特定部３０３が特定した傾斜角度と、画像取得部３０１が取得した撮影画像と、検出対象情報生成部３０４が生成した検出対象情報とを対応付けて教師データを生成する教師データ生成部３０５を備えている。この教師データは、上述の検出モデルの機械学習に用いられる教師データである。
【0066】
つまり、学習装置３は、ブームＣＲ３に取り付けられた撮影装置５で下方側を撮影した撮影画像から機械学習用の教師データを生成する教師データ生成装置としての機能も有している。無論、学習装置３とは別体の教師データ生成装置に傾斜角度特定部３０３および教師データ生成部３０５等を実装してもよい。
【0067】
上記の構成によれば、ブームＣＲ３の傾斜角度の時系列の測定結果から、撮影画像の撮影時刻におけるブームＣＲ３の傾斜角度を特定し、特定した傾斜角度と撮影画像と検出対象情報とを対応付けて教師データを生成する。この教師データには、ブームＣＲ３の傾斜角度が含まれているので、この傾斜角度に応じた縮尺を適用することにより、当該教師データに含まれる撮影画像中に実寸法で所定のサイズとなる学習対象領域を設定することができる。したがって、学習部３１０は、上記のようにして生成される教師データを用いることにより、効率的な学習を行うことができる。
【0068】
（アンカーボックスについて）
検出モデルを用いた物体検出では、アンカーボックスを用いることが好ましい。アンカーボックスを用いることにより、例えばスライディングウィンドウ等による物体検出と比べて処理を簡略化し、効率的に検出を行うことができる。
検出モデルを用いた物体検出では、アンカーボックスを用いることが好ましい。アンカーボックスを用いることにより、例えばスライディングウィンドウ等による物体検出と比べて処理を簡略化し、効率的に検出を行うことができる。
【0069】
アンカーボックスを用いた物体検出を行う検出モデルを生成する場合、使用するアンカーボックスの高さと幅を事前に定義しておく。アンカーボックスは、複数定義することができる。ただし、使用するアンカーボックスの数が増える程、学習においても学習済みの検出モデルによる物体検出においても演算量が増えてしまう。
【0070】
この点、学習部３１０は、撮影画像全体を学習対象とするのではなく、学習対象領域設定部３０７が設定した学習対象領域のみを学習対象としているので、アンカーボックスの数を抑えつつ、十分な検出精度の検出モデルを生成可能である。同様に、情報処理装置１の対象検出部１０７は、撮影画像全体を検出対象とするのではなく、領域設定部１０５が設定した領域（危険領域）を検出対象としているので、アンカーボックスの数を抑えつつ、十分な精度での検出を実現可能である。
【0071】
（危険領域の設定例）
図４は、危険領域の設定例を示す図である。より詳細には、図４には、ブームＣＲ３の傾斜角度が急峻なときの危険領域の設定例を示すとともに、ブームＣＲ３の傾斜角度を緩やかにしたときの危険領域の設定例を示している。なお、図４では急峻な傾斜角度のブームＣＲ３を破線で示している。
図４は、危険領域の設定例を示す図である。より詳細には、図４には、ブームＣＲ３の傾斜角度が急峻なときの危険領域の設定例を示すとともに、ブームＣＲ３の傾斜角度を緩やかにしたときの危険領域の設定例を示している。なお、図４では急峻な傾斜角度のブームＣＲ３を破線で示している。
【0072】
図４では、フックＣＲ５の直下の位置を中心とする実寸法で一辺の長さがａの正方形の領域を危険領域に設定する例を説明する。ブームＣＲの傾斜角度によらず、危険領域のサイズは不変であるが、ブームＣＲの傾斜角度によって撮影装置５の撮影範囲は変化する。
【0073】
図４の例では、ブームＣＲの傾斜角度が急峻であるときには、撮影装置５の撮影範囲ＡＲ１の幅はＡ１である。この状態で撮影した画像が撮影画像ＩＭＧ１である。一方、ブームＣＲの傾斜角度を緩やかにすると、撮影装置５がより低い位置になり、撮影範囲ＡＲ２の幅はＡ２になる（Ａ１＞Ａ２）。この状態で撮影した画像が撮影画像ＩＭＧ２である。撮影画像ＩＭＧ１とＩＭＧ２は、何れも同じ撮影設定で撮影されたものであり、画像サイズおよび解像度が同一である。これらの撮影画像の幅は何れもＢ（ピクセル）である。
【0074】
領域設定部１０５は、このようにして撮影された各撮影画像について、実寸法で一辺の長さがａとなる危険領域を設定する。図４の例では、撮影画像ＩＭＧ１については一辺の長さがｂ１（ピクセル）である危険領域が設定されており、撮影画像ＩＭＧ２については一辺の長さがｂ２（ピクセル）である危険領域が設定されている。
【0075】
図４から看取できるように、ｂ１＜ｂ２である。これは、ブームＣＲ３の傾斜角度の違いに起因する、撮影装置５から危険領域までの距離の違いを反映したものである。つまり、撮影画像ＩＭＧ１およびＩＭＧ２では、ブームＣＲ３の傾斜角度が大きいほど撮影装置５から危険領域までの距離が遠くなり、撮影画像に写る危険領域のサイズは小さくなることを反映したサイズの危険領域が設定されている。
【0076】
撮影画像ＩＭＧ１およびＩＭＧ２における危険領域のサイズは、縮尺特定部１０３が特定した縮尺に基づいて決定される。上述のように、縮尺は、ブームＣＲ３をそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出される。
【0077】
例えば、ブームＣＲ３の傾斜角度を最大にして、撮影装置５の直下に所定の長さの基準物を配置し、それを撮影する。なお、基準物は長さが既知のものであればよく、例えば地表面に描いた線分などであってもよい。そして、撮影された画像（基準画像）に写る基準物の長さ（例えばピクセル数）を計測する。これにより、ブームＣＲ３の傾斜角度が最大であるときの実寸法と基準画像上におけるサイズとの対応関係を特定することができる。
【0078】
同様に、ブームＣＲ３の傾斜角度を最小にして、撮影装置５の直下に所定の長さの基準物を配置し、それを撮影する。そして、撮影された画像（基準画像）に写る基準物の長さ（例えばピクセル数）を計測する。これにより、ブームＣＲ３の傾斜角度が最小であるときの実寸法と基準画像上におけるサイズとの対応関係を特定することができる。
【0079】
そして、ブームＣＲ３の傾斜角度が最大であるときの実寸法と基準画像上のサイズとの対応関係と、ブームＣＲ３の傾斜角度が最小であるときの実寸法と基準画像上のサイズとの対応関係から、他の傾斜角度のときの対応関係も導出される。つまり、ブームＣＲ３の傾斜角度から縮尺を算出する関数を導出することができる。この関数を相関情報として大容量記憶装置１２等に格納しておけば、縮尺特定部１０３はこの関数を用いて縮尺を特定することができる。
【0080】
このような関数を相関情報として大容量記憶装置１２等に格納しておけば、縮尺特定部１０３はこの関数を用いて縮尺を特定することができる。そして、領域設定部１０５は、このようにして特定された縮尺を用いることにより、撮影画像ＩＭＧ１およびＩＭＧ２のそれぞれについて、実寸法で所定サイズとなる危険領域を設定することができる。
【0081】
例えば、図４の例において、ブームＣＲ３の傾斜角度が急峻であるときの縮尺（撮影画像におけるピクセル数／実寸法）がＸ１と特定され、ブームＣＲ３の傾斜角度が緩やかであるときの縮尺がＸ２と特定されたとする。この場合、領域設定部１０５は、危険領域の実寸法幅であるａに縮尺Ｘ１を乗じて、ＩＭＧ１における危険領域の幅ｂ１を算出する（ａ×Ｘ１＝ｂ１）。また、領域設定部１０５は、危険領域の実寸法幅であるａに縮尺Ｘ２を乗じて、ＩＭＧ２における危険領域の幅ｂ２を算出する（ａ×Ｘ２＝ｂ２）。
【0082】
以上のように、縮尺特定部１０３は、ブームＣＲ３をそれぞれ異なる傾斜角度として寸法が既知の基準物を撮影した基準画像のそれぞれにおける当該基準物のサイズを用いて導出された相関情報を用いて傾斜角度に応じた縮尺を特定してもよい。そして、領域設定部１０５は、縮尺特定部１０３が特定した縮尺を適用して危険領域を設定してもよい。この構成によれば、寸法が既知の基準物を実際に撮影した基準画像を用いて導出された相関情報を用いるので、適切な縮尺を特定することが可能になる。
【0083】
以上のようにして撮影画像ＩＭＧ１において危険領域を設定した後、その危険領域からの人の検出が行われる。上述のように、人の検出には検出モデルを用いるので、入力データ生成部１０６はこの検出モデルへの入力データを生成する。
【0084】
具体的には、図４に示すように、入力データ生成部１０６は、撮影画像ＩＭＧ１から領域設定部１０５が設定した危険領域を切り出して画像ＩＭＧ１ａを生成する。そして、生成した画像ＩＭＧ１ａを所定のサイズ（図４の例では一辺の長さがＣピクセルの正方形）に調整して調整画像ＩＭＧ１ｂを生成する。この調整画像ＩＭＧ１ｂが検出モデルへの入力データとなる。
【0085】
なお、入力データ生成部１０６は、領域設定部１０５が設定した危険領域よりも広い領域を切り出してもよい。これにより、危険領域に近付いた作業員を検出することが可能になり、また、フックＣＲ５が揺れる等によって危険領域を設定する撮影画像ＩＭＧ２中の基準位置がずれた場合にも、実際の危険領域をカバーした範囲で人の検出を行うことができる。
【0086】
撮影画像ＩＭＧ２からの入力データの生成方法も同様である。すなわち、入力データ生成部１０６は、撮影画像ＩＭＧ２から領域設定部１０５が設定した危険領域を切り出して画像ＩＭＧ２ａを生成する。そして、生成した画像ＩＭＧ２ａを所定のサイズ（図４の例では一辺の長さがＣピクセルの正方形）に調整して調整画像ＩＭＧ２ｂを生成する。この調整画像ＩＭＧ２ｂが検出モデルへの入力データとなる。
【0087】
また、学習装置３において行われる調整画像の生成も上記と同様である。すなわち、学習装置３においては、入力データ生成部３０８が、撮影画像から学習対象領域設定部３０７が設定した学習対象領域を切り出し、切り出した画像を所定のサイズに調整して調整画像を生成する。この調整画像のサイズは、入力データ生成部１０６が生成する調整画像と同じサイズである。
【0088】
（教師データの生成）
図５は、検出モデルの生成に用いる教師データの生成方法の例を示す図である。図示のように、ここでは傾斜情報が常時記録されているとする。傾斜情報は、傾斜計７の計測結果すなわち傾斜角度と、その計測が行われた時刻を示す時刻情報とが対応付けられた情報である。
図５は、検出モデルの生成に用いる教師データの生成方法の例を示す図である。図示のように、ここでは傾斜情報が常時記録されているとする。傾斜情報は、傾斜計７の計測結果すなわち傾斜角度と、その計測が行われた時刻を示す時刻情報とが対応付けられた情報である。
【0089】
また、撮影装置５により動画像が撮影されて動画像ファイルが記録されているとする。なお、動画像の撮影は断続的に行われ、各撮影で得られた動画像が個別の動画像ファイルとして記録されている。例えば、クレーンＣＲを用いて作業が行われたある一日において、作業時間中継続して撮影を行い、その一日の動画像ファイルとして記録してもよい。
【0090】
また、各動画像ファイルのファイル名にはその動画像ファイルの撮影開始時刻を示す情報を含めておいてもよい。これにより、撮影開始時刻を簡単に記録しておくことができる。例えば、年月日を示す情報（ＹＹＹＹＭＭＤＤ）と時分秒を示す情報（ＨＨＭＭＳＳ）とを組み合わせたファイル名としてもよい。
【0091】
画像取得部３０１は、上述の動画像ファイルから、当該動画像ファイルを構成するフレーム画像を取得する。この際、画像取得部３０１は、取得したフレーム画像のファイル名に画像番号を付与しておく。例えば、画像取得部３０１は、動画像ファイルを構成する最初のフレーム画像の画像番号を０とし、２番目以降のフレーム画像について画像番号をインクリメントさせながら付与してもよい。
【0092】
撮影時刻特定部３０２は、動画像ファイルのファイル名に含まれる、動画像の撮影開始時刻に基づいて、画像取得部３０１が取得したフレーム画像の撮影時刻を特定する。例えば、上記動画像ファイルのフレームレートが１秒間に２９．９７フレームである場合には、１００フレーム目のフレーム画像の撮影時刻は（１００×１／２９．９７）秒と特定される。
【0093】
傾斜角度特定部３０３は、上述の傾斜情報を参照して、撮影時刻特定部３０２が特定した撮影時刻におけるブームＣＲ３の傾斜角度を特定する。これにより、フレーム画像と傾斜角度とが対応付けられる。傾斜角度特定部３０３は、特定した傾斜角度をフレーム画像の画像番号と同じ番号の角度ファイルに保存することにより、この対応付けの結果を記録してもよい。
【0094】
なお、撮影時刻特定部３０２が特定した撮影時刻と一致する時刻情報が対応付けられた傾斜角度が存在しなければ、最も近い時刻情報が対応付けられた傾斜角度を特定すればよい。
【0095】
以上の処理により、フレーム画像が画像番号を付された状態で保存されると共に、傾斜角度も同様に番号を付された状態で保存される。なお、対応付けられたフレーム画像と傾斜角度には同じ番号が付与されている。
【0096】
このように、画像取得部３０１が撮影装置５で撮影した動画像ファイルを構成するフレーム画像を取得する場合、撮影時刻特定部３０２は、動画像ファイルのファイル名に含まれる、動画像の撮影開始時刻に基づいてその撮影時刻を特定してもよい。そして、傾斜角度特定部３０３は、撮影時刻特定部３０２が特定した撮影時刻におけるブームＣＲ３の傾斜角度を特定してもよい。この構成によれば、予め動画像ファイルのファイル名に動画像の開始時刻を含めておくだけで、その動画像ファイルを構成するフレーム画像から、傾斜角度を含む教師データを自動で生成することが可能になる。
【0097】
次に、縮尺の特定と学習対象領域の設定とが行われる。具体的には、まず、画像取得部３０１が取得したフレーム画像について、縮尺特定部３０６が、傾斜角度特定部３０３が特定した傾斜角度に応じた縮尺を特定する。縮尺の特定には、図４の説明時に述べたように、傾斜角度から縮尺を算出する関数を相関情報として用いればよい。
【0098】
次に、学習対象領域設定部３０７が、画像取得部３０１が取得した上記フレーム画像に学習対象領域を設定する。学習対象領域の実寸法のサイズは危険領域と同じまたは同程度としてもよいし、危険領域よりも広く設定してもよい。学習対象領域は、例えばフレーム画像における中心位置に設定すればよい。そして、入力データ生成部３０８が、上記フレーム画像から上記学習対象領域を切り出して所定サイズに調整し、調整画像を生成する。これらの処理を各フレーム画像について行うことにより、各フレーム画像に対応する調整画像が生成される。
【0099】
この後、各調整画像について、検出対象情報生成部３０４が、検出対象の位置および範囲を示す検出対象情報を保存する。例えば、検出対象情報生成部３０４は、表示装置ＩＦ３５を介して調整画像を表示装置に表示させ、入力装置ＩＦ３６を介して検出対象の位置および範囲の入力を受け付けてもよい。例えば、人の検出モデルを生成する場合、学習装置３のユーザは、調整画像に写る人を囲む矩形を入力すればよい。この場合、検出対象情報生成部３０４は、入力された矩形の位置（例えば代表座標）、幅、および高さを検出対象情報として保存すればよい。
【0100】
また、回転画像生成部３０９は、調整画像を回転させて回転画像を生成する。また、回転画像生成部３０９は、回転画像を生成した場合、その回転角度に応じて上述の検出対象情報も修正する。
【0101】
これにより、学習部３１０は、調整画像に加えて回転画像も用いて機械学習を行うことになる。この構成によれば、調整画像を回転させて生成した回転画像についても機械学習に用いるので、機械学習する画像のバリエーションを増やし、この機械学習によって生成される検出モデルの検出精度を高めることができる。
【0102】
例えば、回転画像生成部３０９は、調整画像をランダムな回転角度で回転させることにより回転画像を生成してもよい。また、回転画像生成部３０９は、１つの調整画像から回転角度が異なる複数の回転画像を生成してもよい。
【0103】
【0104】
Ｓ１では、画像取得部３０１が撮影画像を取得し、Ｓ２では撮影時刻特定部３０２がその撮影時刻を特定する。例えば、図５の例のように、画像取得部３０１が動画像ファイルのフレーム画像をＳ１で取得した場合には、Ｓ２では撮影時刻特定部３０２がそのフレーム番号と動画像ファイルの撮影開始時刻とから撮影時刻を特定する。
【0105】
Ｓ３（傾斜角度特定ステップ）では、傾斜角度特定部３０３が、Ｓ２で特定された時刻におけるブームＣＲ３の傾斜角度を特定する。例えば、図５の例のように、時刻情報を含む傾斜情報が記録されている場合、傾斜角度特定部３０３はＳ２で特定された時刻と一致するか、またはその時刻に最も近い時刻を示す時刻情報が対応付けられた傾斜角度を特定する。
【0106】
Ｓ４（教師データ生成ステップ）では、教師データ生成部３０５がＳ１で取得された撮影画像とＳ３で取得された傾斜情報とを対応付けて教師データとし、これを保存する。そして、Ｓ５（教師データ生成ステップ）では、教師データ生成部３０５は、Ｓ４で保存した教師データに、検出対象情報生成部３０４が生成した検出対象情報をさらに対応付けて保存し、これにより教師データ生成処理は終了する。
【0107】
【0108】
Ｓ１１では、入力データ生成部３０８が、教師データを取得する。この教師データは、図６に示す教師データ生成処理により生成されて、大容量記憶装置３２などに保存されたものであり、撮影画像、傾斜角度、および検出対象情報を含む。
【0109】
Ｓ１２（傾斜角度特定ステップ）では、傾斜角度特定部３０３が、Ｓ１１で取得された教師データに含まれる傾斜角度を、当該教師データに含まれる撮影画像の撮影時におけるブームＣＲ３の傾斜角度であると特定する。なお、教師データに傾斜角度を示す情報が含まれていなければ、傾斜角度特定部３０３は上述した図６のＳ３と同様の処理により傾斜角度を特定する。
【0110】
Ｓ１３では、縮尺特定部３０６が、Ｓ１２で特定された傾斜角度から、Ｓ１１で取得された教師データに含まれる撮影画像の縮尺を特定する。傾斜角度から縮尺を特定する方法は上述した通りであるから、ここでは説明を繰り返さない。
【0111】
Ｓ１４（学習対象領域設定ステップ）では、学習対象領域設定部３０７が、Ｓ１１で取得された教師データに含まれる撮影画像に学習対象領域を設定する。より詳細には、学習対象領域設定部３０７は、設定すべき学習対象領域の実寸法に、Ｓ１３で特定された縮尺を乗じて、撮影画像中における学習対象領域のサイズを特定する。そして、学習対象領域設定部３０７は、撮影画像における所定位置（例えば中央部）に、特定した上記サイズの学習対象領域を設定する。
【0112】
Ｓ１５では、入力データ生成部３０８が、教師データに含まれる撮影画像から学習対象領域を切り出し、サイズ調整して調整画像を生成する。また、入力データ生成部３０８は、上記のサイズ調整に伴う検出対象情報の修正も行う。例えば、サイズ調整により学習対象領域のサイズが１／２になった場合には、検出対象情報に含まれる検出対象の幅および高さも１／２にする。また、入力データ生成部３０８は、検出対象情報に含まれる検出対象の位置についても、学習対象領域を切り出した位置に応じて修正する。
【0113】
なお、入力データ生成部３０８は、学習対象領域の切り出しの際に、切り出す領域の位置、サイズ、または形状等を変えて複数パターンの画像を切り出してもよい。この場合、例えば学習対象領域設定部３０７が設定した学習対象領域を基準として切り出し範囲を設定しておいてもよい。そして、入力データ生成部３０８は、例えば乱数を用いて、切り出す領域の位置、幅、高さなどを切り出し範囲内で決定してもよい。
【0114】
また、入力データ生成部３０８は、撮影画像から切り出した１つの画像から、形状やサイズが異なる複数の調整画像を生成してもよい。この場合、入力データ生成部３０８は、予め設定された調整画像の上限幅～下限幅の範囲内で例えば乱数を用いて調整画像の幅を決定してもよい。同様に、入力データ生成部３０８は、予め設定された調整画像の上限高さ～下限高さの範囲内で例えば乱数を用いて調整画像の高さを決定してもよい。
【0115】
この他にも、入力データ生成部３０８は、例えば、解像度がそれぞれ異なる複数の調整画像を生成してもよい。この場合、解像度は、所定の上限～下限の範囲内において、例えば乱数を用いて決定してもよい。これらの各構成によれば、教師データのバリエーションを増やして、学習精度を向上させることができる。
【0116】
Ｓ１６では、回転画像生成部３０９が、Ｓ１５で生成された調整画像を回転させて回転画像を生成する。また、回転画像生成部３０９は、回転前の調整画像の検出対象情報を、回転画像の生成時の回転角度に応じた内容に修正して、回転画像の検出対象情報とする。
【0117】
Ｓ１７（学習ステップ）では、学習部３１０が、Ｓ１５で生成された調整画像と、Ｓ１６で生成された回転画像とを用いて機械学習を実行して検出モデルを生成し、これにより学習処理は終了する。
【0118】
（監視処理の流れ）
情報処理装置１による危険領域の監視処理の流れを図８に基づいて説明する。図８は、情報処理装置１による危険領域の監視処理の例を示すフローチャートである。この監視処理には、情報処理装置１による領域設定方法が含まれている。
情報処理装置１による危険領域の監視処理の流れを図８に基づいて説明する。図８は、情報処理装置１による危険領域の監視処理の例を示すフローチャートである。この監視処理には、情報処理装置１による領域設定方法が含まれている。
【0119】
Ｓ２１では、画像取得部１０１が、撮影装置５が撮影した撮影画像を取得する。また、Ｓ２２（傾斜角度特定ステップ）では、傾斜角度特定部１０２が、傾斜計７で計測されたブームＣＲ３の傾斜角度を特定する。
【0120】
Ｓ２３では、縮尺特定部１０３が、Ｓ２１で取得された撮影画像について、Ｓ２２で特定された傾斜角度に応じた縮尺を特定する。傾斜角度から縮尺を特定する方法は上述した通りであるから、ここでは説明を繰り返さない。
【0121】
Ｓ２４では、対象検出部１０７が、Ｓ２１で取得された撮影画像からフックＣＲ５を検出する。フックＣＲ５の検出には、学習装置３が機械学習により生成した検出モデルを用いればよい。また、この検出モデルはフックＣＲ５のみを検出するものであってもよいし、フックＣＲ５と人を検出するものであってもよい。なお、Ｓ２４の処理は、Ｓ２２～Ｓ２３の処理よりも先に行ってもよいし、それらの処理と並行して行ってもよい。
【0122】
Ｓ２５（領域設定ステップ）では、領域設定部１０５が、Ｓ２３で特定された縮尺を適用して、Ｓ２１で取得された撮影画像中に、実寸法で所定のサイズとなる危険領域を設定する。なお、Ｓ２５では、Ｓ２４で検出されたフックＣＲ５の位置を基準として危険領域が設定される。Ｓ２５では、例えば、領域設定部１０５は、フックＣＲ５の位置を中心とする、一辺が実寸法で５メートルの正方形の危険領域を設定してもよい。
【0123】
Ｓ２６では、入力データ生成部１０６が、Ｓ２１で取得された撮影画像から、Ｓ２５で特定された危険領域を切り出し、サイズ調整して調整画像を生成する。そして、Ｓ２７では、対象検出部１０７が、人の検出モデルにＳ２６で生成された調整画像を入力する。
【0124】
Ｓ２８では、対象検出部１０７は、学習済みモデルすなわち学習装置３が生成した人の検出モデルの出力値に基づいて、危険領域から人が検出されたか否かを判定する。例えば、対象検出部１０７は、人の検出モデルの出力値が閾値以上であれば人が検出されたと判定し、閾値未満であれば人が検出されていないと判定すればよい。Ｓ２８で人が検出されたと判定した場合（Ｓ２８でＹＥＳ）にはＳ２８の処理に進み、検出されていないと判定した場合（Ｓ２８でＮＯ）にはＳ２１の処理に戻る。
【0125】
Ｓ２９では、対象検出部１０７は、Ｓ２８で人を検出したと判定した撮影画像の直前に撮影された所定数の撮影画像において、危険領域内に人が検出されていないか判定する。ここで検出されていないと判定した場合（Ｓ２９でＹＥＳ）にはＳ３０の処理に進み、検出されていると判定した場合（Ｓ２９でＮＯ）にはＳ２１の処理に戻る。
【0126】
Ｓ３０では、警報部１０９が警報を行う。また、Ｓ３１では、侵入回数カウント部１０８が、危険領域への人の侵入回数を１加算する。この後、処理はＳ２１に戻る。なお、Ｓ３０およびＳ３１の処理は並行して行ってもよいし、Ｓ３１の処理を先に行ってもよい。
【0127】
以上のように、情報処理装置１は、危険領域内の検出対象（上記の例では人）を検出する対象検出部１０７と、危険領域内に検出対象が検出された場合に警報を行う警報部１０９と、を備えている。そして、領域設定部１０５は、撮影画像から検出されたフックＣＲ５の位置を基準として危険領域を設定する。
【0128】
情報処理装置１を用いてクレーンＣＲの吊荷の落下事故を未然に防ぐための監視・警報を行う場合、必要性が高い領域を重点的に監視することが好ましい。そこで、上記の構成によれば、撮影画像から検出されたフックＣＲ５の位置を基準として危険領域を設定する。これにより、フックＣＲ５が揺れてその位置が変わった場合や、撮影装置５の撮影方向がずれてしまった場合等にも、警報を適切に行うことができる。また、上記の構成によれば、検出対象を検出する範囲を危険領域内に限定できるから、撮影画像全体の中から検出対象を検出する場合と比べて、効率よくかつ正確に検出対象を検出することが可能になる。
【0129】
また、以上のように、情報処理装置１は、危険領域内に検出対象（上記の例では人）が侵入した回数をカウントする侵入回数カウント部を備えている。そして、侵入回数カウント部１０８は、時系列で撮影された複数の撮影画像の１つにおける危険領域内に検出対象が検出された場合、当該撮影画像の直前に撮影された所定数の撮影画像で当該危険領域内にその検出対象が検出されていないことを条件として、侵入回数を１回増加させる。詳細は図９に基づいて説明するが、この構成によれば危険領域への侵入回数を正しくカウントすることができる。
【0130】
なお、Ｓ３０では、吊荷がないかあるいは落下事故の危険性の低い軽量の吊荷の場合には警報を行わないようにしてもよい。吊荷の有無や吊荷の重量の検出方法は特に限定されない。例えば、クレーンＣＲに吊荷の重さを測定する荷重計（ロードセル）が設置されている場合、この荷重計の計測値を情報処理装置１に入力してもよい。そして、警報部１０９は、入力された計測値が閾値（例えば１ｔ）以上である場合にのみ警報を行ってもよい。
【0131】
（警報の例）
図９は、図８の処理により警報を行った例を示す図である。この例では、同図に円で示す危険領域を検出対象である人が通過している。この例のように危険領域の形状は円形であってもよい。無論、危険領域の形状は任意に設定すればよく、例えば、矩形としてもよいし、多角形としてもよいし、楕円としてもよい。
図９は、図８の処理により警報を行った例を示す図である。この例では、同図に円で示す危険領域を検出対象である人が通過している。この例のように危険領域の形状は円形であってもよい。無論、危険領域の形状は任意に設定すればよく、例えば、矩形としてもよいし、多角形としてもよいし、楕円としてもよい。
【0132】
図９の例において、人は位置Ｐ１からＰ９まで移動しており、各位置にてこの人が撮影されている。ただし、全ての位置で撮影された撮影画像からこの人の検出に成功した訳ではなく、同図に破線の枠囲みで示す位置のみで検出に成功したとする。また、図８のＳ２９における「所定数」が３であるとする。
【0133】
この場合、人の位置がＰ３となったときに、図８のＳ２８で人が検出された（ＹＥＳ）と判定される。そして、位置Ｐ１～Ｐ２では人が検出されたと判定されていないため、続くＳ２９でもＹＥＳと判定される。その結果、人の位置がＰ３となったときにＳ３０の処理が行われて警報が開始されると共に、Ｓ３１の処理により危険領域への侵入回数が１加算される。
【0134】
次に、人の位置がＰ５となったときにも、Ｓ２８で人が検出された（ＹＥＳ）と判定されるが、２つ前の撮影画像（人が位置Ｐ３に居るときの撮影画像）から人が検出されているため、Ｓ２９ではＮＯと判定される。その結果、侵入回数は加算されないことになる。
【0135】
同様に、人の位置がＰ８となったときにも、Ｓ２８で人が検出された（ＹＥＳ）と判定されるが、３つ前の撮影画像（人が位置Ｐ５に居るときの撮影画像）から人が検出されているため、Ｓ２９ではＮＯと判定される。その結果、ここでも侵入回数は加算されないことになる。このように、図８の処理によれば、危険領域への侵入回数を正しくカウントすることができる。
【0136】
なお、警報の終了条件は特に限定されない。例えば、危険領域よりも一回り広い領域から人を検出する構成とし、危険領域の外で人が検出されたときに警報を終了してもよい。これにより、人の位置が図９のＰ９となったタイミングで警報を終了することができる。この他にも、例えば、所定回数続けてＳ２８の判定結果がＮＯであった場合に警報を終了してもよいし、警報開始後、所定時間が経過した時に警報を終了してもよい。
【0137】
また、侵入回数カウント部１０８は、カウントした侵入回数を集計して出力する機能をさらに備えていてもよい。同様に、警報部１０９は、警報回数を集計して出力する機能をさらに備えていてもよい。
【0138】
これらの構成によれば、危険領域への侵入回数や警報回数を、クレーンＣＲを用いた作業の監督者や作業者等に認識させて、監督者に事故防止のための対策を促したり、危険領域に対する作業者の意識を高めたりすることができる。出力態様は特に限定されず、例えば所定期間毎の侵入回数や警告回数をグラフ化して出力してもよい。
【0139】
（高度判定部の判定結果に応じた領域設定）
図１０は、高度判定部１０４の判定結果に応じた領域設定の例を示す図である。図１０の例では、クレーンＣＲが設置されている平面である上段面から一段下がった平面である下段面もクレーンＣＲの作業領域となっている。
図１０は、高度判定部１０４の判定結果に応じた領域設定の例を示す図である。図１０の例では、クレーンＣＲが設置されている平面である上段面から一段下がった平面である下段面もクレーンＣＲの作業領域となっている。
【0140】
この場合、ブームＣＲ３の傾斜角度が同じであっても、フックＣＲ５の真下が上段面であるか下段面であるかによって、撮影装置５から危険領域を設定する位置までの距離が変わる。このため、図１０に示すように、ブームＣＲ３の傾斜角度が同じであっても、フックＣＲ５の真下が下段面であるときの撮影範囲ＡＲ４は、フックＣＲ５の真下が上段面であるときの撮影範囲ＡＲ３よりも広くなる。そして、撮影装置５の撮影設定を変更しなければ、撮影範囲がＡＲ４のときの撮影画像に写る危険領域ａｒ４は、撮影範囲がＡＲ３のときの撮影画像に写る危険領域ａｒ３よりも小さくなる。
【0141】
そこで、危険領域を設定する位置の高さとブームＣＲ３の傾斜角度とに応じた縮尺を求めるための相関情報を予め作成しておく。相関情報は、例えば、危険領域を設定する位置の高さおよびブームＣＲ３の傾斜角度と、縮尺との対応関係を示す関数である。
【0142】
これにより、縮尺特定部１０３は、高度判定部１０４が判定した高度と、傾斜角度特定部１０２が特定した傾斜角度とに応じた縮尺を特定することができる。そして、領域設定部１０５は、高度と傾斜角度とに応じた上記縮尺を適用して危険領域を設定する。この構成によれば、クレーンＣＲの作業現場に高低差があっても、実寸法で所定のサイズとなる危険領域を常に適切に設定することが可能になる。
【0143】
なお、高度の判定方法は特に限定されない。例えば、図１０の例のように、ブームＣＲ３の向きに応じてフックＣＲ５の真下が上段面か下段面の何れかとなる場合、高度判定部１０４は、ブームＣＲ３の向きから高度を判定してもよい。また、例えば、撮影装置５から地表面までの距離を計測する距離計を設けておけば、高度判定部１０４は、距離計の計測値を取得することにより高度を判定することができる。
【0144】
また、検出モデルの機械学習の際に高さを考慮してもよい。この場合、図６の教師データ生成処理において、撮影画像を撮影したときの、撮影装置５から危険領域を設定する位置までの距離を示す高さ情報を、当該撮影画像と共に保存しておく。なお、高さ情報は自動で生成してもよいし、ユーザが入力してもよい。これにより、図７の学習処理におけるＳ１３では上記高さ情報に応じた縮尺を特定することができる。
【0145】
〔実施形態２〕
本発明の他の実施形態について以下説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について以下説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0146】
本実施形態では、クレーンＣＲのフックＣＲ５の下方側を側方から撮影した画像（以下、側方画像と呼ぶ）に危険領域（第２の領域）を設定すると共に、設定した危険領域に立ち入った検出対象（以下の例では人）を検出する例を説明する。詳細は以下説明するが、これらの処理は、図１に示した側方画像取得部１１０～側方画像対象検出部１１２により実行される。
【0147】
図１１は、側方画像における危険領域の設定方法を説明する図である。図１１に示すクレーンＣＲには、そのブームＣＲ３の先端部に撮影装置５が取り付けられていると共に、基部ＣＲ２にも撮影装置（第２の撮影装置）９が取り付けられている。撮影装置９は、側方画像を撮影できるように斜め下方に向けて取り付けられている。撮影装置９は、クレーンＣＲが回動してもフックＣＲ５の下方を撮影し続けられるように、クレーンＣＲと共に回動することが好ましい。
【0148】
撮影装置５の撮影画像を用いた監視では、実施形態１と同様にしてフックＣＲ５の下方に危険領域を設定する。図１１の例ではフックＣＲ５の真下の位置を中心とした円形の危険領域ａｒ５が設定されている。
【0149】
ここで、図１１の例では、フックＣＲ５に荷が取り付けられている。吊荷の真下に人が居る場合、その人の全体または一部が撮影装置５の死角に入るため、情報処理装置１による検出が困難となる。無論、死角に入る前の段階で検出できれば問題はないが、大型の製品や建造物の製造現場などでは、地面付近に開口部などが設けられている場合があり、そのような開口部が撮影装置５の死角に入る可能性もある。このような場合、開口部から出てきた人を検出することは困難である。
【0150】
このため、本実施形態の情報処理装置１は、側方画像に危険領域を設定すると共に、設定した危険領域に立ち入った人を検出する。これにより、撮影装置５の死角を補って、安全管理をより万全にすることができる。
【0151】
図１１には、撮影装置９で撮影した側方画像ＩＭＧ３についても示している。側方画像ＩＭＧ３には、フックＣＲ５と吊荷が写っており、危険領域ａｒ６が設定されている。この側方画像ＩＭＧ３の画像領域に、左右方向をｘ方向、上下方向をｙ方向とする座標軸を設定すると、危険領域ａｒ６の中心位置の座標は（ｘ１，ｙ１）と表される。以下説明するように、危険領域ａｒ６を設定する際には、まず座標（ｘ１，ｙ１）を求め、この座標を基準として、危険領域ａｒ６を設定する。
【0152】
具体的には、まず、側方画像取得部１１０が、撮影装置９で撮影された側方画像を取得する。そして、側方画像領域設定部１１１が、側方画像取得部１１０が取得した側方画像の画像領域中に危険領域ａｒ６を設定する。
【0153】
より詳細には、側方画像領域設定部１１１は、側方画像の画像領域の中で、フックＣＲ５が検出された位置のｘ座標を特定する。このｘ座標の値が上記中心位置の座標のｘ１である。なお、フックＣＲ５の検出方法は任意であり、例えば機械学習により生成した検出モデルなどを用いて検出してもよい。
【0154】
次に、側方画像領域設定部１１１は、上記中心位置座標のｙ１を算出する。中心位置座標のｙ１を算出するにあたり、まず、側方画像領域設定部１１１は、傾斜角度特定部１０２が特定した傾斜角度から、撮影装置９からフックＣＲ５までの水平方向の距離ｄ２を算出する。例えば、図１１のように、ブームＣＲ３の傾斜角度をθ、ブームＣＲ３の長さをＬとすれば、ｄ２＝Ｌ・ｃｏｓθと算出される。
【0155】
次に、側方画像領域設定部１１１は、側方画像ＩＭＧ３において、撮影装置９からの水平方向の距離がｄ２＝Ｌ・ｃｏｓθの地点が写る位置を特定する。この位置は、撮影装置９から水平方向に所定距離だけ離れた地点が、側方画像ＩＭＧ３の何れの位置に写るかを示す関数で表せばよい。
【0156】
例えば、図１１の側方画像ＩＭＧ３には、撮影装置９からの距離がｄ１～ｄ４の地点が写る位置をそれぞれ破線で示している。このように、撮影装置９から水平方向に所定距離だけ離れた地点が、側方画像ＩＭＧ３の何れの位置に写るかは一意に定まるため、撮影装置９からの水平方向の距離がｄ２＝Ｌ・ｃｏｓθの地点が写る位置を示す関数を特定することができる。
【0157】
図１１の例では、側方画像領域設定部１１１は、ｄ２の破線を示す関数を特定すればよい。そして、側方画像領域設定部１１１は、この関数にｘ１を代入することにより算出した値をｙ１とする。
【0158】
以上の処理により、危険領域ａｒ６の中心位置座標（ｘ１，ｙ１）が求まるので、側方画像領域設定部１１１は、この座標を基準として危険領域ａｒ６を設定する。例えば、図１１の例では、側方画像領域設定部１１１は、座標（ｘ１，ｙ１）を中心とする破線ｄ１とｄ３で挟まれた危険領域ａｒ６を設定している。
【0159】
そして、危険領域ａｒ６が設定された後、側方画像対象検出部１１２が、その危険領域ａｒ６内の人を検出する。検出方法は、撮影装置５の撮影画像からの人の検出の際と同様の方法を適用することができる。
【0160】
例えば、入力データ生成部１０６が、側方画像から危険領域ａｒ６の部分を切り出し、サイズ調整して調整画像を生成してもよい。そして、側方画像対象検出部１１２が、人の検出モデルに上記調整画像を入力し、その出力値に基づいて人を検出したか否かを判定してもよい。なお、側方画像からの人の検出モデルは、側方画像を教師データとした機械学習で予め生成しておけばよい。
【0161】
以上のように、本実施形態の情報処理装置１は、側方画像の画像領域中に危険領域を設定する側方画像領域設定部１１１と、設定された上記危険領域内の検出対象（典型的には人）を検出する側方画像対象検出部１１２と、を備えている。そして、側方画像領域設定部１１１は、側方画像の画像領域の中で、フックＣＲ５が検出された位置の下方であって、傾斜角度特定部１０２が特定した傾斜角度から求めた、撮影装置９からフックＣＲ５までの水平方向の距離に対応する位置に危険領域を設定する。
【0162】
この構成によれば、フックＣＲ５の下方側を側方から撮影する撮影装置９で撮影された側方画像の画像領域中に危険領域を設定して、その危険領域内の検出対象を検出する。これにより、撮影装置５で撮影した撮影画像からはフックＣＲ５や吊荷の死角となって状況を把握できないような位置に検出対象が侵入した場合であっても、側方画像からその検出対象を検出することができる。
【0163】
また、上記の構成によれば、側方画像の画像領域の中で、フックＣＲ５が検出された位置の下方であって、傾斜角度特定部１０２が特定した傾斜角度から求めた、撮影装置９からフックＣＲ５までの水平方向の距離に対応する位置に危険領域を設定する。これにより、側方画像の画像領域のうち、撮影装置５の死角となる位置に対応する領域に危険領域を設定することができる。
【0164】
なお、フックＣＲ５が高い位置にある場合、側方画像にフックＣＲ５が写らないことも想定される。このような場合、撮影装置５の撮影画像からフックＣＲ５を検出し、その撮影画像中におけるフックＣＲ５の位置から、側方画像におけるｘ１の値を求めてもよい。この場合、撮影装置５の撮影画像におけるフックＣＲ５の位置と、ｘ１の値との対応関係を予め定式化しておけばよい。
【0165】
〔変形例〕
情報処理装置１および学習装置３の制御ブロック（特に、図１に示す画像取得部１０１～側方画像対象検出部１１２、および図２に示す画像取得部３０１～学習部３１０）は、上述したようにソフトウェアによって実現してもよい。また、これらの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現することもできる。
情報処理装置１および学習装置３の制御ブロック（特に、図１に示す画像取得部１０１～側方画像対象検出部１１２、および図２に示す画像取得部３０１～学習部３１０）は、上述したようにソフトウェアによって実現してもよい。また、これらの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現することもできる。
【0166】
情報処理装置１の機能をソフトウェアによって実現する場合、情報処理装置１の各制御ブロックとしてコンピュータを機能させるための情報処理プログラムを用いればよい。この情報処理プログラムをコンピュータに実行させることにより、当該コンピュータを情報処理装置として機能させることができる。
【0167】
同様に、学習装置３の機能をソフトウェアによって実現する場合、学習装置３の各制御ブロックとしてコンピュータを機能させるための学習プログラムを用いればよい。この学習プログラムをコンピュータに実行させることにより、当該コンピュータを学習装置として機能させることができる。
【0168】
また、学習装置３の制御ブロックのうち、傾斜角度特定部３０３と教師データ生成部３０５としてコンピュータを機能させるための教師データ生成プログラムを用いてもよい。この教師データ生成プログラムをコンピュータに実行させることにより、当該コンピュータを教師データ生成装置として機能させることができる。
【0169】
ソフトウェアによる実装で使用するプロセッサ（プロセッサ１０、３０）としては、例えばＣＰＵ（Central Processing Unit）を適用することができる。また、プロセッサと共に使用するメモリ（メモリ１１、３１）は、「一時的でない有形の媒体」であればよい。例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを上記メモリとして用いることができる。また、情報処理装置１および学習装置３は、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して情報処理装置１および学習装置３に供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0170】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0171】
１ 情報処理装置
１０２ 傾斜角度特定部
１０３ 縮尺特定部
１０４ 高度判定部
１０５ 領域設定部
１０７ 対象検出部
１０８ 侵入回数カウント部
１０９ 警報部
１１１ 側方画像領域設定部
１１２ 側方画像対象検出部
３ 学習装置（情報処理装置、学習装置、教師データ生成装置）
３０１ 画像取得部
３０２ 撮影時刻特定部
３０３ 傾斜角度特定部
３０７ 学習対象領域設定部（領域設定部）
３０９ 回転画像生成部
３０５ 教師データ生成部
３１０ 学習部
１０２ 傾斜角度特定部
１０３ 縮尺特定部
１０４ 高度判定部
１０５ 領域設定部
１０７ 対象検出部
１０８ 侵入回数カウント部
１０９ 警報部
１１１ 側方画像領域設定部
１１２ 側方画像対象検出部
３ 学習装置（情報処理装置、学習装置、教師データ生成装置）
３０１ 画像取得部
３０２ 撮影時刻特定部
３０３ 傾斜角度特定部
３０７ 学習対象領域設定部（領域設定部）
３０９ 回転画像生成部
３０５ 教師データ生成部
３１０ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】