特許 6979863 クレーンシステム及び画像合成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6979863

(24)【登録日】2021年11月18日

(45)【発行日】2021年12月15日

(54)【発明の名称】クレーンシステム及び画像合成装置

(51)【国際特許分類】

   B66C 13/00 20060101AFI20211202BHJP

   B66C 23/08 20060101ALI20211202BHJP

【ＦＩ】

   B66C13/00 D

   B66C23/08

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2017-226938(P2017-226938)

(22)【出願日】2017年11月27日

(65)【公開番号】特開2019-94199(P2019-94199A)

(43)【公開日】2019年6月20日

【審査請求日】2020年4月13日

(73)【特許権者】

【識別番号】503002732

【氏名又は名称】住友重機械搬送システム株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100162640

【弁理士】

【氏名又は名称】柳 康樹

(72)【発明者】

【氏名】庄福 勝美

【審査官】 須山 直紀

(56)【参考文献】

【文献】 特開２００５−２３９３５７（ＪＰ，Ａ）

【文献】 特開２０１２−０３０９４８（ＪＰ，Ａ）

【文献】 特開２００３−２４４６８３（ＪＰ，Ａ）

【文献】 特開昭６１−０３３４９０（ＪＰ，Ａ）

【文献】 特開２０１３−１５９４８１（ＪＰ，Ａ）

【文献】 特開２０１４−１９８６３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｃ １３／００

Ｂ６６Ｃ ２３／０８

(57)【特許請求の範囲】

【請求項1】

ヤードに配置された複数のクレーン装置と、
複数の前記クレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、
複数の前記カメラのそれぞれにより取得された複数の前記撮像画像を合成して、前記ヤードを上から見た合成画像を取得する画像合成装置と、を備え、
前記画像合成装置は、複数の前記クレーン装置のうちの第１のクレーン装置に設けられた第１のカメラで取得された第１の撮像画像と、前記第１のクレーン装置とは異なる第２のクレーン装置に設けられた第２のカメラで取得された第２の撮像画像とを合成する、クレーンシステム。

【請求項2】

前記画像合成装置は、前記ヤードの地図画像を予め記憶しており、それぞれの前記クレーン装置から受信した当該クレーン装置の現在の位置座標と前記ヤードの前記地図画像における位置座標とが一致するように、前記ヤードの前記地図画像上に前記合成画像を重畳させた重畳画像を取得する、請求項１に記載のクレーンシステム。

【請求項3】

ヤードに配置された複数のクレーン装置と、
複数の前記クレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、
複数の前記カメラのそれぞれにより取得された複数の前記撮像画像を合成して、前記ヤードを上から見た合成画像を取得する画像合成装置と、を備え、
複数の前記クレーン装置のそれぞれは、旋回可能であり、
前記画像合成装置は、複数の前記クレーン装置のそれぞれが旋回する場合、当該クレーン装置に設けられた前記カメラにより取得された前記撮像画像において、当該クレーン装置の周辺の領域が表示される角度が一定となるように、当該撮像画像を回転させる、クレーンシステム。

【請求項4】

複数の前記クレーン装置のそれぞれは、旋回可能であり、
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置に対して旋回可能であり、
複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置が旋回する場合、当該クレーン装置の周辺の領域が撮像される角度が一定となるように、当該クレーン装置の旋回方向とは逆方向に当該クレーン装置の旋回角度と同角度だけ当該クレーン装置に対して旋回する、請求項１又は２に記載のクレーンシステム。

【請求項5】

前記画像合成装置は、複数の前記カメラのそれぞれにより取得された複数の前記撮像画像において互いに重複する領域が撮像されている場合、一の前記撮像画像を除く他の前記撮像画像において、当該重複する領域を前記合成画像から除外する、請求項１〜４のいずれか一項に記載のクレーンシステム。

【請求項6】

複数の前記クレーン装置のそれぞれは、マストを有し、
複数の前記カメラのそれぞれは、複数の前記クレーン装置のそれぞれの前記マストのマストトップに設けられている、請求項１〜５のいずれか一項に記載のクレーンシステム。

【請求項7】

複数の前記カメラのそれぞれは、当該カメラが設けられている前記クレーン装置の鉛直方向における下方の領域を撮像する、請求項１〜６のいずれか一項に記載のクレーンシステム。

【請求項8】

ヤードに配置された複数のクレーン装置のそれぞれに設けられた複数のカメラのそれぞれにより当該クレーン装置の周辺の領域を撮像して取得された複数の撮像画像を合成して、前記ヤードを上から見た合成画像を取得し、
複数の前記クレーン装置のうちの第１のクレーン装置に設けられた第１のカメラで取得された第１の撮像画像と、前記第１のクレーン装置とは異なる第２のクレーン装置に設けられた第２のカメラで取得された第２の撮像画像とを合成する、画像合成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、クレーンシステム及び画像合成装置に関する。

【背景技術】

【0002】

例えば特許文献１には、レール上を走行する走行体と、走行体上に設置される塔体と、塔体上に設置される旋回体と、旋回体に取り付けられるジブと、を備えるジブクレーンが開示されている。このジブクレーンでは、走行体にカメラが設けられており、当該カメラにより運転室からの死角を撮像することで、ジブクレーンの動作時における安全性の向上が図られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１９８６３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したようなジブクレーンでは、カメラは、運転室からの死角を撮像することを目的とするものであり、例えば走行体が障害物と干渉する可能性のある特定の領域をピンポイントで撮像するように配置される必要がある。ところで、ジブクレーンを始めとしたクレーンにおいては、カメラをより多様な態様で用いることで利便性を向上させることが望まれている。

【0005】

そこで、本発明は、カメラを有効活用して利便性を向上させることができるクレーンシステム及び画像合成装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係るクレーンシステムは、ヤードに配置された複数のクレーン装置と、複数のクレーン装置のそれぞれに設けられ、当該クレーン装置の周辺の領域を撮像して撮像画像を取得可能な複数のカメラと、複数のカメラのそれぞれにより取得された複数の撮像画像を合成して、ヤードを上から見た合成画像を取得する画像合成装置と、を備える。

【0007】

このクレーンシステムによれば、複数のカメラのそれぞれにより取得された複数の撮像画像が合成され、ヤードを上から見た合成画像が取得される。このため、複数の撮像画像に撮像されている領域の相互の位置関係が合成画像により容易に把握され、且つ、ヤード上での人、車両、荷等の現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、このシステムは、カメラを有効活用して利便性を向上させることができる。

【0008】

本発明に係るクレーンシステムでは、画像合成装置は、ヤードの地図画像上に合成画像を重畳させた重畳画像を取得してもよい。これによれば、合成画像上の各領域が地図画像上のいずれの領域であるかが認識されやすくなる。

【0009】

本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、旋回可能であり、画像合成装置は、複数のクレーン装置のそれぞれが旋回する場合、当該クレーン装置に設けられたカメラにより取得された撮像画像において、当該クレーン装置の周辺の領域が表示される角度が一定となるように、当該撮像画像を回転させてもよい。これによれば、クレーン装置が旋回する場合であっても、撮像画像においてクレーン装置の周辺の領域が表示される角度が変わらないため、合成画像の視認性が向上する。また、画像合成装置による演算処理により撮像画像の角度が一定とされるため、別途の機械的な構成を追加する必要がなく、構造の複雑化が抑制される。

【0010】

本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、旋回可能であり、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置に対して旋回可能であり、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置が旋回する場合、当該クレーン装置の周辺の領域が撮像される角度が一定となるように、当該クレーン装置の旋回方向とは逆方向に当該クレーン装置の旋回角度と同角度だけ当該クレーン装置に対して旋回してもよい。これによれば、クレーン装置が旋回する場合であっても、カメラが旋回せず、撮像画像においてクレーン装置の周辺の領域が表示される角度が変わらないため、合成画像の視認性が向上する。また、機械的な構成により撮像画像の角度が一定とされるため、画像合成装置による演算処理の演算量の増大が抑制される。

【0011】

本発明に係るクレーンシステムでは、画像合成装置は、複数のカメラのそれぞれにより取得された複数の撮像画像において互いに重複する領域が撮像されている場合、一の撮像画像を除く他の撮像画像において、当該重複する領域を合成画像から除外してもよい。これによれば、合成画像において、複数のカメラのそれぞれにより取得された複数の撮像画像において互いに重複する領域が重複して表示されないため、合成画像の視認性が向上する。

【0012】

本発明に係るクレーンシステムでは、複数のクレーン装置のそれぞれは、マストを有し、複数のカメラのそれぞれは、複数のクレーン装置のそれぞれのマストのマストトップに設けられていてもよい。これによれば、クレーン装置において特に高い位置にカメラが設けられるため、クレーン装置の周辺の領域を広範囲にわたって撮像することが可能になる。

【0013】

本発明に係るクレーンシステムでは、複数のカメラのそれぞれは、当該カメラが設けられているクレーン装置の鉛直方向における下方の領域を撮像してもよい。これによれば、クレーン装置が旋回しても同一の領域を撮影することができるため、合成画像の視認性が向上する。また、クレーン装置の側方の領域を撮像する場合と比較して、周囲の建屋等によりカメラの撮像方向が遮られにくいため、クレーン装置の周辺の領域を広範囲にわたって撮像することが可能になる。

【0014】

本発明に係る画像合成装置は、ヤードに配置された複数のクレーン装置のそれぞれに設けられた複数のカメラのそれぞれにより当該クレーン装置の周辺の領域を撮像して取得された複数の撮像画像を合成して、ヤードを上から見た合成画像を取得する。

【0015】

この画像合成装置によれば、複数のカメラのそれぞれにより取得された複数の撮像画像が合成され、ヤードを上から見た合成画像が取得される。このため、複数の撮像画像に撮像されている領域の相互の位置関係が合成画像により容易に把握され、且つ、ヤード上での人、車両、荷等の現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、この装置は、カメラを有効活用して利便性を向上させることができる。

【発明の効果】

【0016】

本発明によれば、カメラを有効活用して利便性を向上させることが可能になる。

【図面の簡単な説明】

【0017】

【図1】図１は、本実施形態に係るクレーンシステムを示すブロック図である。

【図2】図２は、クレーンシステムを概略的に示す平面図である。

【図3】図３は、クレーン装置を示す側面図である。

【図4】図４は、クレーン装置の走行体を示す正面図である。

【図5】図５は、重畳画像の一例を示す図である。

【図6】図６は、クレーンシステムによる処理の一例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して、例示的な実施形態について説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0019】

図１は、本実施形態に係るクレーンシステム１を示すブロック図である。図２は、クレーンシステム１を概略的に示す平面図である。図３は、クレーン装置１０を示す側面図である。図４は、クレーン装置１０の走行体１１を示す正面図である。図１〜図４に示されるクレーンシステム１は、例えば造船所等の工場Ｐ内のクレーン装置１０を利用して、当該工場Ｐ内を広範囲にわたって可視化するシステムである。

【0020】

クレーンシステム１は、複数のクレーン装置１０、複数のクレーン装置１０のそれぞれに設けられた複数のカメラ２０、複数のクレーン装置１０のそれぞれに設けられた複数の位置情報センサ２１、及び画像合成装置３０を備えている。本実施形態では、各クレーン装置１０はジブクレーンである。なお、各クレーン装置１０は、工場Ｐ内の他の建屋等Ｈよりも背高なクレーンであればよく、ジブクレーンに限定されない。位置情報センサ２１は、クレーン装置１０の現在の位置座標及び旋回角度を検出可能なセンサであればよく、複数のセンサを含んでいてもよい。

【0021】

各クレーン装置１０は、工場Ｐ内のヤードＹに配置されて荷の昇降等を行う走行クレーンである。各クレーン装置１０は、走行体１１、塔体１２、旋回体１３、ジブ１４、及びマスト１５を有している。ヤードＹには各クレーン装置１０が走行するためのレールＲが敷設されている。ここでは、レールＲは直線状に延在しており、ヤードＹには複数のレールＲが所定間隔で互いに平行に敷設されている。

【0022】

各クレーン装置１０は、現在の位置座標を公知の手段により取得する。例えば、各クレーン装置１０は、当該クレーン装置１０が走行するレールＲ上での位置を位置情報センサ２１により取得することで、現在の位置座標を取得する。各クレーン装置１０は、取得した現在の位置座標を画像合成装置３０に無線又は有線送信する。なお、ヤードＹは、屋外ヤードであることが好適であるが、屋内ヤードであってもよい。ヤードＹ上には、建屋等Ｈ、及び、人、車両、荷等の追跡対象Ｔが存在している。

【0023】

各クレーン装置１０は、旋回可能である。すなわち、各クレーン装置１０は、ヤードＹに対して旋回可能である。ここで、「クレーン装置１０がヤードＹに対して旋回可能」とは、クレーン装置１０が、ヤードＹに垂直なクレーン装置１０の軸線（鉛直軸線Ｌ１）回りに旋回可能であることを意味している。より詳細には、「クレーン装置１０がヤードＹに対して旋回可能」とは、クレーン装置１０を構成する全ての部分がヤードＹに対して旋回可能でなくてもよく、荷の昇降が行われる方向を変えることができるようにクレーン装置１０を構成する部分のうち少なくとも一部が残部に対して旋回可能であればよい。本実施形態では、クレーン装置１０を構成する部分のうち、旋回体１３、ジブ１４、及びマスト１５のみがヤードＹに対して旋回可能であり、走行体１１及び塔体１２はヤードＹに対して旋回しない。

【0024】

各クレーン装置１０は、現在の旋回角度を公知の手段により取得する。例えば、各クレーン装置１０は、当該クレーン装置１０の現在の旋回角度を位置情報センサ２１により取得する。各クレーン装置１０は、取得した現在の旋回角度を画像合成装置３０に無線又は有線送信する。

【0025】

走行体１１は、一対の脚部１１ａ，１１ｂ、及び、一対の脚部１１ａ，１１ｂをそれらの上部で接続する桁部１１ｃを含んでいる。一対の脚部１１ａ，１１ｂの下部には、レールＲ上を駆動される車輪が設けられている。走行体１１は、車輪がレールＲ上を駆動されることで、レールＲに沿って走行する。これにより、クレーン装置１０がレールＲに沿って走行可能とされている。塔体１２は、走行体１１の桁部１１ｃ上に立設された柱状の構造体である。

【0026】

旋回体１３は、塔体１２の上端に設けられ、塔体１２に対して鉛直軸線Ｌ１回りに旋回可能である。旋回体１３は、その上部に運転室１３ａを含んでいる。ジブ１４は、旋回体１３の一端部１３ｂに設けられている。ジブ１４は、旋回体１３の一端部１３ｂ側を基端部１４ａとして延在している。マスト１５は、旋回体１３上に立設されている。旋回体１３の他端部１３ｃ、マスト１５の上端部であるマストトップ１５ａ、及びジブ１４の先端部１４ｂは、ワイヤーロープＷにより互いに連結されている。ワイヤーロープＷが巻取り及び巻戻しされることにより、ジブ１４は、その基端部１４ａを支点として起伏動作を行う。

【0027】

また、各クレーン装置１０は、画像受信部１０ａ、位置情報取得部１０ｂ、及び送信部１０ｃを有している。画像受信部１０ａは、各カメラ２０により取得された撮像画像Ａ（詳しくは後述）を当該カメラ２０から受信する。位置情報取得部１０ｂは、クレーン装置１０の現在の位置座標及び旋回角度を位置情報センサ２１から取得する。送信部１０ｃは、画像受信部１０ａが受信した撮像画像Ａ、並びに、位置情報取得部１０ｂが取得したクレーン装置１０の現在の位置座標及び旋回角度を画像合成装置３０に送信する。なお、各クレーン装置１０は、画像受信部１０ａを有していなくてもよく、この場合、各カメラ２０により取得された撮像画像Ａは、当該カメラ２０から画像合成装置３０に直接送信されてもよい。また、各クレーン装置１０は、位置情報取得部１０ｂを有していなくてもよく、この場合、各位置情報センサ２１により取得されたクレーン装置１０の現在の位置座標及び旋回角度は、当該位置情報センサ２１から画像合成装置３０に直接送信されてもよい。各クレーン装置１０は、画像受信部１０ａ及び位置情報取得部１０ｂの両方を有していない場合、送信部１０ｃも有していなくてもよい。

【0028】

各カメラ２０は、クレーン装置１０の周辺の領域を撮像して撮像画像Ａを取得可能な撮像機器である（図５参照）。各カメラ２０は、各クレーン装置１０のマストトップ１５ａに設けられている。より具体的には、各カメラ２０は、撮像画像Ａを取得する撮像部２０ａ、及び、撮像部２０ａを支持する支持部２０ｂを有している。支持部２０ｂは、各クレーン装置１０のマストトップ１５ａの上端から上方に向かって長尺状に延びる透明部材である。撮像部２０ａは、支持部２０ｂの上部に設けられている。各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０の鉛直軸線Ｌ１方向（鉛直方向）における下方の領域Ｅを撮像する。より詳細には、各カメラ２０は、鉛直軸線Ｌ１方向における下方を光軸Ｘとした所定の画角Ｖで、当該カメラ２０が設けられているクレーン装置１０の下方の領域Ｅを撮像して撮像画像Ａを取得する。各カメラ２０は、円形状の領域Ｅの撮像画像Ａを取得する。透明部材である支持部２０ｂが各カメラ２０をマストトップ１５ａの上端よりも上方に支持していることにより、マスト１５及び支持部２０ｂに遮られて撮像画像Ａが大きく欠けてしまうことが避けられる。撮像画像Ａには、領域Ｅに位置する追跡対象Ｔが映っている。各カメラ２０は、取得した撮像画像Ａをクレーン装置１０に送信する。

【0029】

図５は、重畳画像Ｃの一例を示す図である。図２及び図５に示されるように、画像合成装置３０は、各カメラ２０により取得された複数の撮像画像Ａを合成して、ヤードＹを上から見た合成画像Ｂを取得する装置である。図５の重畳画像Ｃでは、ヤードＹの地図画像Ｍ上に合成画像Ｂが重畳表示されており、合成画像Ｂには追跡対象Ｔが映っている。

【0030】

画像合成装置３０は、受信部３０ａ、画像処理部３０ｂ、及び表示部３０ｃを有している。受信部３０ａは、各クレーン装置１０の送信部１０ｃにより送信された撮像画像Ａ、並びに、当該クレーン装置１０の現在の位置座標及び旋回角度を受信する。画像処理部３０ｂは、演算処理を実行することにより、受信部３０ａが受信した撮像画像Ａに対して後述する各種の処理を行う。表示部３０ｃは、例えばディスプレイであり、画像処理部３０ｂにより処理が実行された画像をリアルタイムで表示する。

【0031】

画像処理部３０ｂは、各クレーン装置１０がヤードＹに対して旋回する場合（すなわち、本実施形態では、旋回体１３、ジブ１４、及びマスト１５がヤードＹに対して旋回する場合）、当該クレーン装置１０のマスト１５に設けられたカメラ２０により取得された撮像画像Ａにおいて、当該クレーン装置１０の周辺の領域Ｅが表示される角度が一定となるように、当該撮像画像Ａを回転させる。より具体的な一例として、例えばクレーン装置１０がヤードＹに対して鉛直軸線Ｌ１回りに９０度旋回する場合、カメラ２０により取得される撮像画像Ａも９０度回転した角度で表示される。そこで、画像処理部３０ｂは、撮像画像Ａを−９０度回転させることで、撮像画像Ａにおいて当該クレーン装置１０の周辺の領域Ｅが表示される角度を一定とさせる。

【0032】

また、画像処理部３０ｂは、各カメラ２０により取得された複数の撮像画像Ａにおいて互いに重複する領域Ｅａが撮像されている場合、一の撮像画像Ａを除く他の撮像画像Ａにおいて、当該領域Ｅａを合成画像Ｂから除外する（すなわち、合成画像Ｂの合成に用いない。）。例えば、画像処理部３０ｂは、各カメラ２０により取得された複数の撮像画像Ａにおいて互いに重複する領域Ｅａが撮像されている場合、各カメラ２０に対して予め設定された優先順位に基づいて、より優先順位の高いカメラ２０により取得された一の撮像画像Ａでは当該領域Ｅａを合成画像Ｂから除外せず、より優先順位の低いカメラ２０により取得された他の撮像画像Ａでは当該領域Ｅａを合成画像Ｂから除外する。

【0033】

また、画像処理部３０ｂは、工場Ｐ内のヤードＹの地図画像Ｍを予め記憶している。画像処理部３０ｂは、ヤードＹの地図画像Ｍ上に合成画像Ｂを重畳させた重畳画像Ｃを取得する。より具体的には、画像処理部３０ｂは、各クレーン装置１０から受信した当該クレーン装置１０の現在の位置座標とヤードＹの地図画像Ｍにおける位置座標とが一致するように、ヤードＹの地図画像Ｍ上に合成画像Ｂ（撮像画像Ａ）を重畳表示する（プロットする）ことで、重畳画像Ｃを取得する。画像処理部３０ｂは、表示部３０ｃにより、重畳画像Ｃを表示する。

【0034】

続いて、クレーンシステム１による処理について説明する。図６は、クレーンシステム１による処理の一例を示すブロック図である。ここでは、各カメラ２０が、当該カメラ２０が設けられているクレーン装置１０の鉛直軸線Ｌ１方向における下方を中心とした円形状の領域Ｅの撮像画像Ａを取得する場合を例示して説明する。

【0035】

図６に示されるように、ステップＳ１０において、クレーンシステム１の画像合成装置３０は、各カメラ２０によって取得された撮像画像Ａを取得する。続いて、ステップＳ１２において、画像合成装置３０は、各クレーン装置１０の位置情報取得部１０ｂによって取得された各クレーン装置１０の現在の位置座標（及び旋回角度）を取得する。続いて、ステップＳ１４において、画像合成装置３０は、各クレーン装置１０の現在の位置座標に基づいて各クレーン装置１０間の距離を演算（取得）する。

【0036】

続いて、ステップＳ１６において、画像合成装置３０は、各クレーン装置１０間の距離が予め設定された重畳距離よりも小さくなるようなクレーン装置１０の組が存在するか否かを判定する。「重畳距離」とは、各クレーン装置１０間の距離が当該重畳距離よりも小さい場合に、各クレーン装置１０のカメラ２０により取得された撮像画像Ａにおいて互いに重複する領域Ｅａが生じる距離であり、少なくとも撮像画像Ａの直径に基づいて設定される。各クレーン装置１０間の距離が重畳距離よりも小さいクレーン装置１０の組が存在すると判定された場合（ステップＳ１６：ＹＥＳ）、クレーンシステム１はステップＳ１８の処理に移行する。一方、各クレーン装置１０間の距離が重畳距離よりも小さいクレーン装置１０の組が存在すると判定されなかった場合（ステップＳ１６：ＮＯ）、クレーンシステム１はステップＳ２２の処理に移行する。

【0037】

続いて、ステップＳ１８において、画像合成装置３０は、各クレーン装置１０間の距離及び撮像画像Ａの直径に基づいて、撮像画像Ａにおいて互いに重複する領域Ｅａ（すなわち、重畳領域）の位置及び寸法を演算（取得）する。続いて、ステップＳ２０において、画像合成装置３０は、一の撮像画像Ａ（すなわち、優先画像）を除く他の撮像画像Ａから、重畳領域の画像を削除する。

【0038】

続いて、ステップＳ２２において、画像合成装置３０は、複数の撮像画像Ａを合成して合成画像Ｂを取得し、取得した合成画像ＢをヤードＹの地図画像Ｍ上に重畳させることで重畳画像Ｃを取得する。画像合成装置３０は、取得した重畳画像Ｃを表示部３０ｃにより表示する。クレーンシステム１は、重畳画像Ｃを表示部３０ｃにより表示すると、図６に示される今回の処理を終了し、再びステップＳ１０から処理を繰り返す。

【0039】

以上説明したように、本実施形態に係るクレーンシステム１によれば、各カメラ２０により取得された複数の撮像画像Ａが合成され、ヤードＹを上から見た合成画像Ｂが取得される。このため、複数の撮像画像Ａに撮像されている領域Ｅの相互の位置関係が合成画像Ｂにより容易に把握され、且つ、ヤードＹ上での人、車両、荷等の追跡対象Ｔの現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードＹにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、クレーンシステム１は、カメラ２０を有効活用して利便性を向上させることができる。

【0040】

また、クレーンシステム１では、画像合成装置３０は、ヤードＹの地図画像Ｍ上に合成画像Ｂを重畳させた重畳画像Ｃを取得する。これにより、合成画像Ｂ上の各領域Ｅが地図画像Ｍ上のいずれの領域であるかが認識されやすくなる。

【0041】

また、クレーンシステム１では、各クレーン装置１０は、旋回可能であり、画像合成装置３０は、各クレーン装置１０が旋回する場合、当該クレーン装置１０に設けられたカメラ２０により取得された撮像画像Ａにおいて、当該クレーン装置１０の周辺の領域Ｅが表示される角度が一定となるように、当該撮像画像Ａを回転させる。これにより、クレーン装置１０が旋回する場合であっても、撮像画像Ａにおいてクレーン装置１０の周辺の領域Ｅが表示される角度が変わらないため、合成画像Ｂの視認性が向上する。また、画像合成装置３０による演算処理により撮像画像の角度が一定とされるため、別途の機械的な構成を追加する必要がなく、構造の複雑化が抑制される。

【0042】

また、クレーンシステム１では、画像合成装置３０は、各カメラ２０により取得された複数の撮像画像Ａにおいて互いに重複する領域Ｅａが撮像されている場合、一の撮像画像Ａを除く他の撮像画像Ａにおいて、当該領域Ｅａを合成画像Ｂから除外する。これにより、合成画像Ｂにおいて、各カメラ２０により取得された複数の撮像画像Ａにおいて互いに重複する領域Ｅａが重複して表示されないため、合成画像Ｂの視認性が向上する。

【0043】

また、クレーンシステム１では、各クレーン装置１０は、マスト１５を有し、各カメラ２０は、各クレーン装置１０のマスト１５のマストトップ１５ａに設けられている。これにより、クレーン装置１０において特に高い位置にカメラ２０が設けられるため、クレーン装置１０の周辺の領域Ｅを広範囲にわたって撮像することが可能になる。

【0044】

また、クレーンシステム１では、各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０の鉛直軸線Ｌ１方向における下方の領域Ｅを撮像する。これにより、クレーン装置１０が旋回しても同一の領域Ｅを撮影することができるため、合成画像Ｂの視認性が向上する。また、クレーン装置１０の側方の領域を撮像する場合と比較して、周囲の建屋等Ｈによりカメラ２０の撮像方向が遮られにくいため、クレーン装置１０の周辺の領域Ｅを広範囲にわたって撮像することが可能になる。

【0045】

本実施形態に係るクレーンシステム１では、各クレーン装置１０が、ヤードＹに対して旋回可能であり、画像合成装置３０が、撮像画像Ａにおいて当該クレーン装置１０の周辺の領域Ｅが表示される角度が一定となるように当該撮像画像Ａを回転させる構成が採用されている。この場合において、各カメラ２０が、当該カメラ２０が設けられているクレーン装置１０の鉛直軸線Ｌ１方向における下方の領域Ｅを撮像することで奏される作用及び効果について更に説明する。すなわち、各カメラ２０が、当該カメラ２０が設けられているクレーン装置１０の鉛直軸線Ｌ１方向における下方を中心とした円形状の領域Ｅの撮像画像Ａを取得することから、各クレーン装置１０がヤードＹに対して旋回した場合であっても、取得される円形状の撮像画像Ａはその中心点回りに回転することになるため、当該撮像画像Ａに映る領域が移動しない。したがって、画像合成装置３０が、当該撮像画像Ａを回転させた撮像画像Ａを合成して合成画像Ｂを取得するための演算処理の演算量の増大が抑制される。

【0046】

また、本実施形態に係る画像合成装置３０によれば、各カメラ２０により取得された複数の撮像画像Ａが合成され、ヤードＹを上から見た合成画像Ｂが取得される。このため、複数の撮像画像Ａに撮像されている領域Ｅの相互の位置関係が合成画像Ｂにより容易に把握され、且つ、ヤードＹ上での人、車両、荷等の追跡対象Ｔの現在位置及び移動状況が広範囲にわたって可視化される。これにより、例えばヤードＹにおける作業の改善項目の抽出等を簡便に行うことが可能となる。よって、画像合成装置３０は、カメラ２０を有効活用して利便性を向上させることができる。

【0047】

上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0048】

例えば、各クレーン装置１０は、ヤードＹに対して旋回可能であり、各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０（より具体的には、クレーン装置１０のマスト１５）に対して鉛直軸線Ｌ１回りに旋回可能であり、各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０がヤードＹに対して旋回する場合、当該クレーン装置１０の周辺の領域Ｅが撮像される角度が一定となるように、当該クレーン装置１０の旋回方向とは逆方向に当該クレーン装置１０の旋回角度と同角度だけ当該クレーン装置１０に対して旋回してもよい。例えば、各カメラ２０は、クレーン装置１０のマスト１５に対して旋回するための旋回機構を有していてもよい。各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０の旋回体１３から当該クレーン装置１０のヤードＹに対する旋回方向及び旋回角度を取得してもよく、取得したクレーン装置１０の旋回方向及び旋回角度に基づいて、当該カメラ２０のクレーン装置１０に対する旋回方向及び旋回角度を決定してもよい。より具体的な一例として、例えばクレーン装置１０がヤードＹに対して鉛直軸線Ｌ１回りに９０度旋回する場合、カメラ２０もヤードＹに対して鉛直軸線Ｌ１回りに９０度旋回した状態となる。そこで、カメラ２０は、クレーン装置１０に対して鉛直軸線Ｌ１回りに−９０度旋回することで、撮像画像Ａにおいて当該クレーン装置１０の周辺の領域Ｅが撮像される角度を一定とする。

【0049】

これによれば、クレーン装置１０がヤードＹに対し旋回する場合であっても、カメラ２０がヤードＹに対し旋回せず、撮像画像Ａにおいてクレーン装置１０の周辺の領域Ｅが表示される角度が変わらないため、合成画像Ｂの視認性が向上する。また、機械的な構成により撮像画像Ａの角度が一定とされるため、画像合成装置３０による演算処理の演算量の増大が抑制される。

【0050】

また、各クレーン装置１０は、旋回しなくてもよい。すなわち、各クレーン装置１０は、ヤードＹに対して旋回しなくてもよい。また、各クレーン装置１０は、レールＲに沿って走行しなくてもよい。

【0051】

また、各クレーン装置１０は、ヤードＹのより広範囲が合成画像Ｂに含まれるようなヤードＹ上の位置を基準位置として、例えば当該クレーン装置１０によるクレーン作業の休止時には、当該クレーン装置１０の基準位置に移動してもよい。例えば、各クレーン装置１０の基準位置は、等間隔のマトリクス状になるように予め設定されていてもよい。

【0052】

また、画像合成装置３０は、合成画像Ｂを取得すればよく、ヤードＹの地図画像Ｍ上に合成画像Ｂを重畳させた重畳画像Ｃを取得しなくてもよい。

【0053】

また、各クレーン装置１０は、マスト１５を有していない種類のクレーンであってもよい。各カメラ２０は、必ずしもマストトップ１５ａに設けられていなくてもよく、工場Ｐ内の他の建屋等Ｈよりも高い位置に設けられていればよい。

【0054】

また、各カメラ２０は、当該カメラ２０が設けられている位置の高さに基づいて、当該カメラ２０の画角が設定されてもよい。例えば、各カメラ２０は、当該カメラ２０が設けられている位置の高さが低いほど、当該カメラ２０の画角が大きくなるように設定されてもよい（換言すると、各カメラ２０は、当該カメラ２０が設けられている位置の高さが高いほど、当該カメラ２０の画角が小さくなるように設定されてもよい）。この場合、複数の（好ましくは、全ての）カメラ２０により取得される撮像画像Ａにおいて撮像される領域の面積が同一（又は、略同一）となるように、各カメラ２０の画角が設定されていてもよい。これにより、画像合成装置３０は、複数の撮像画像Ａを合成して合成画像Ｂを取得するための演算処理を実行しやすくなる。

【0055】

また、各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０の鉛直軸線Ｌ１方向における下方の領域Ｅ（すなわち、鉛直軸線Ｌ１方向における下方を光軸Ｘとした所定の画角Ｖに含まれる領域）を撮像しなくてもよい。つまり、各カメラ２０は、当該カメラ２０が設けられているクレーン装置１０の側方の領域（すなわち、鉛直軸線Ｌ１方向と交差する方向を光軸とした所定の画角に含まれる領域）を撮像してもよい。

【0056】

また、カメラ２０は、背高の建屋等Ｈの上層階又は屋上にも設けられていてもよい。各カメラ２０は、円形状の領域Ｅの撮像画像Ａを取得しなくてもよく、例えば矩形状の領域の撮像画像を取得してもよい。

【0057】

また、画像合成装置３０は、表示部３０ｃに代えて、又は、表示部３０ｃに加えて、画像処理部３０ｂにより取得された重畳画像Ｃを記憶する記憶部を有していてもよい。この場合、画像処理部３０ｂにより取得された重畳画像Ｃは、記憶部に記憶され、所望のタイミングで記憶部から読み出されて表示部３０ｃ又は外部の表示機器に表示されることが可能となる。

【0058】

また、各クレーン装置１０が配置されるヤードＹが屋内ヤードである場合には、各クレーン装置１０は天井クレーンであってもよい。また、この場合には、各カメラ２０は、各クレーン装置１０に限らず、建屋の壁等に設けられていてもよい。

【符号の説明】

【0059】

１…クレーンシステム、１０…クレーン装置、１５…マスト、１５ａ…マストトップ、２０…カメラ、３０…画像合成装置、Ａ…撮像画像、Ｂ…合成画像、Ｃ…重畳画像、Ｍ…地図画像、Ｙ…ヤード。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】