ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-88235クレーンシステム、吊荷位置検出方法及び吊荷位置検出プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088235
(43)【公開日】2024-07-02
(54)【発明の名称】クレーンシステム、吊荷位置検出方法及び吊荷位置検出プログラム
(51)【国際特許分類】
B66C 13/46 20060101AFI20240625BHJP
B66C 13/00 20060101ALI20240625BHJP
【ＦＩ】
B66C13/46
B66C13/00 D
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022203308
(22)【出願日】2022-12-20
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】中森 啓太
(72)【発明者】
【氏名】呉 春男
(72)【発明者】
【氏名】山本 泰広
【テーマコード（参考）】
3F204
【Ｆターム（参考）】
3F204AA04
3F204BA02
3F204DB04
3F204DC08
3F204DE10
(57)【要約】
【課題】クレーンの吊荷の位置を好適に検出する。
【解決手段】クレーン１は、吊っている吊荷Ｈ及びその周囲を表示する表示部３４と、ユーザ操作に基づいて、表示部３４の表示内容に対して吊荷Ｈの位置に関する情報を入力する入力部３３と、入力部３３により入力された情報に基づいて、吊荷Ｈの位置を特定する制御部３８と、を備えている。こうして、ユーザにより吊荷Ｈの位置に関する情報が補助的に入力されることにより、吊荷Ｈの位置を好適に検出することができる。
【選択図】図３
【解決手段】クレーン１は、吊っている吊荷Ｈ及びその周囲を表示する表示部３４と、ユーザ操作に基づいて、表示部３４の表示内容に対して吊荷Ｈの位置に関する情報を入力する入力部３３と、入力部３３により入力された情報に基づいて、吊荷Ｈの位置を特定する制御部３８と、を備えている。こうして、ユーザにより吊荷Ｈの位置に関する情報が補助的に入力されることにより、吊荷Ｈの位置を好適に検出することができる。
【選択図】図３
【特許請求の範囲】
【請求項1】
クレーンの吊荷及びその周囲を表示する表示部と、
ユーザ操作に基づいて、前記表示部の表示内容に対して前記吊荷の位置に関する情報を入力する入力部と、
前記入力部により入力された情報に基づいて、前記吊荷の位置を特定する特定部と、
を備えるクレーンシステム。
ユーザ操作に基づいて、前記表示部の表示内容に対して前記吊荷の位置に関する情報を入力する入力部と、
前記入力部により入力された情報に基づいて、前記吊荷の位置を特定する特定部と、
を備えるクレーンシステム。
【請求項2】
前記入力部により入力される情報は、前記吊荷の大きさに関する情報を含む、
請求項１に記載のクレーンシステム。
請求項１に記載のクレーンシステム。
【請求項3】
前記入力部は、前記表示部に表示された前記吊荷を囲むユーザ操作により、前記吊荷の大きさに関する情報を入力可能である、
請求項２に記載のクレーンシステム。
請求項２に記載のクレーンシステム。
【請求項4】
前記表示部は、前記吊荷の候補を少なくとも１つ表示し、
前記入力部は、前記候補のうちの１つを選択するユーザ操作により、前記吊荷の位置に関する情報を入力可能である、
請求項１に記載のクレーンシステム。
前記入力部は、前記候補のうちの１つを選択するユーザ操作により、前記吊荷の位置に関する情報を入力可能である、
請求項１に記載のクレーンシステム。
【請求項5】
前記入力部により入力された情報に基づいて、前記吊荷の候補を少なくとも１つ表示する第２表示部と、
前記第２表示部の表示内容に対し、前記候補のうちの１つを選択するユーザ操作により、前記吊荷の位置に関する情報を入力する第２入力部と、
を備え、
前記特定部は、前記第２入力部により入力された情報に基づいて、前記吊荷の位置を特定する、
請求項１に記載のクレーンシステム。
前記第２表示部の表示内容に対し、前記候補のうちの１つを選択するユーザ操作により、前記吊荷の位置に関する情報を入力する第２入力部と、
を備え、
前記特定部は、前記第２入力部により入力された情報に基づいて、前記吊荷の位置を特定する、
請求項１に記載のクレーンシステム。
【請求項6】
前記表示部は、前記入力部の少なくとも一部を兼ねるタッチパネルである、
請求項１に記載のクレーンシステム。
請求項１に記載のクレーンシステム。
【請求項7】
クレーンシステムの制御部が、
クレーンの吊荷及びその周囲を表示する表示工程と、
ユーザ操作に基づいて、前記表示工程の表示内容に対して前記吊荷の位置に関する情報を入力する入力工程と、
前記入力工程で入力された情報に基づいて、前記吊荷の位置を特定する特定工程と、
を実行する、
吊荷位置検出方法。
クレーンの吊荷及びその周囲を表示する表示工程と、
ユーザ操作に基づいて、前記表示工程の表示内容に対して前記吊荷の位置に関する情報を入力する入力工程と、
前記入力工程で入力された情報に基づいて、前記吊荷の位置を特定する特定工程と、
を実行する、
吊荷位置検出方法。
【請求項8】
表示部及び入力部を備えるコンピュータを、
クレーンの吊荷及びその周囲を前記表示部に表示させる表示制御手段、
前記入力部へのユーザ操作に基づいて、前記表示部の表示内容に対して前記吊荷の位置に関する情報を入力する入力制御手段、
前記入力部により入力された情報に基づいて、前記吊荷の位置を特定する特定手段、
として機能させる、
吊荷位置検出プログラム。
クレーンの吊荷及びその周囲を前記表示部に表示させる表示制御手段、
前記入力部へのユーザ操作に基づいて、前記表示部の表示内容に対して前記吊荷の位置に関する情報を入力する入力制御手段、
前記入力部により入力された情報に基づいて、前記吊荷の位置を特定する特定手段、
として機能させる、
吊荷位置検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、クレーンシステム、吊荷位置検出方法及び吊荷位置検出プログラムに関する。
【背景技術】
【0002】
従来、クレーンに吊られている吊荷の位置を検出し、この位置情報をクレーン本体の制御等に用いる技術が知られている（例えば、特許文献１参照）。吊荷の位置の検出には、検出ターゲットとしてのマーカを吊荷又はフックに取り付ける手法が一般的である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－７１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、マーカを用いる手法は、周囲の環境などに対応した汎用的なマーカ自体の作成が困難であるなどして、誤検出の可能性が高い。
【0005】
本発明は、クレーンの吊荷の位置をより好適に検出することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、クレーンシステムであって、
クレーンの吊荷及びその周囲を表示する表示部と、
ユーザ操作に基づいて、前記表示部の表示内容に対して前記吊荷の位置に関する情報を入力する入力部と、
前記入力部により入力された情報に基づいて、前記吊荷の位置を特定する特定部と、
を備える。
クレーンの吊荷及びその周囲を表示する表示部と、
ユーザ操作に基づいて、前記表示部の表示内容に対して前記吊荷の位置に関する情報を入力する入力部と、
前記入力部により入力された情報に基づいて、前記吊荷の位置を特定する特定部と、
を備える。
【発明の効果】
【0007】
本発明によれば、クレーンの吊荷の位置を好適に検出することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るクレーンの側面図である。
【図2】実施形態に係るクレーンの概略の機能構成を示すブロック図である。
【図3】操作支援処理の流れを示すフローチャートである。
【図4】操作支援処理における表示部の表示例を示す図である。
【図5】操作支援処理の変形例１における表示部の表示例を示す図である。
【図6】操作支援処理の変形例１における表示部の表示例を示す図である。
【図7】操作支援処理の変形例２における表示部の表示例を示す図である。
【図8】実施形態の変形例に係るクレーンの概略の機能構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本発明の各実施形態について図面を参照して詳細に説明する。
【0010】
図１は、本実施形態に係るクレーン１の側面図である。
この図に示すように、クレーン１は、いわゆる移動式のクローラクレーンである。具体的に、クレーン１は、自走可能なクローラ式の下部走行体２と、下部走行体２上に旋回可能に搭載された上部旋回体３とを含む。
この図に示すように、クレーン１は、いわゆる移動式のクローラクレーンである。具体的に、クレーン１は、自走可能なクローラ式の下部走行体２と、下部走行体２上に旋回可能に搭載された上部旋回体３とを含む。
【0011】
上部旋回体３の前側には、ブーム４が起伏可能に取り付けられている。上部旋回体３の後部には、ブーム４及び吊荷Ｈとの重量バランスをとるカウンタウエイト５が取付けられている。
上部旋回体３の右側前部には、オペレータが着座してクレーン１の操縦を行うキャビン６が配置されている。
上部旋回体３の右側前部には、オペレータが着座してクレーン１の操縦を行うキャビン６が配置されている。
【0012】
ブーム４の起伏動作は、図示しない起伏ウインチによるワイヤーロープ４１の巻き取り又は巻き出しにより行われる。
ブーム４の先端（上端）には巻上ロープ４２の一端がフック４３に接続されており、当該フック４３がブーム４の先端から吊下されている。巻上ロープ４２の他端は上部旋回体３上の図示しない巻上ウインチに巻回されており、巻上ウインチの駆動によってフック４３が昇降する。
ブーム４の先端（上端）には巻上ロープ４２の一端がフック４３に接続されており、当該フック４３がブーム４の先端から吊下されている。巻上ロープ４２の他端は上部旋回体３上の図示しない巻上ウインチに巻回されており、巻上ウインチの駆動によってフック４３が昇降する。
【0013】
図２は、クレーン１の概略の機能構成を示すブロック図である。
この図に示すように、クレーン１は、上記構成のほか、駆動部３１、運転操作部３２、入力部３３、表示部３４、通信部３５、撮像カメラ３６、記憶部３７、制御部３８を備える。
この図に示すように、クレーン１は、上記構成のほか、駆動部３１、運転操作部３２、入力部３３、表示部３４、通信部３５、撮像カメラ３６、記憶部３７、制御部３８を備える。
【0014】
駆動部３１は、クレーン１の各部を動作させる駆動源であり、上述した起伏ウインチや巻上ウインチのほか、各種モータやアクチュエータ等を含む。
運転操作部３２は、オペレータが上部旋回体３の旋回やブーム４の起伏等の各種運転を行うための操作手段である。運転操作部３２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部３８に出力する。
入力部３３は、オペレータがクレーン１に対して運転操作以外の操作入力を行うものである。入力部３３は、オペレータが操作して各種情報等を入力可能であり、その操作内容に応じた入力信号を制御部３８に出力する。入力部３３は、本発明に係る入力部及び第２入力部に相当する。
運転操作部３２は、オペレータが上部旋回体３の旋回やブーム４の起伏等の各種運転を行うための操作手段である。運転操作部３２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部３８に出力する。
入力部３３は、オペレータがクレーン１に対して運転操作以外の操作入力を行うものである。入力部３３は、オペレータが操作して各種情報等を入力可能であり、その操作内容に応じた入力信号を制御部３８に出力する。入力部３３は、本発明に係る入力部及び第２入力部に相当する。
【0015】
表示部３４は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイであり、制御部３８から入力される表示信号に基づいて各種情報を表示する。表示部３４は、キャビン６内に配置され、オペレータに対して各種情報を提示する。なお、本実施形態の表示部３４は、特に限定はされないが、入力部３３の少なくとも一部を兼ねるタッチパネルとなっている（図４等参照）。表示部３４は、本発明に係る表示部及び第２表示部に相当する。
通信部３５は、例えば外部の情報端末（例えば図８の制御端末５０）等との間で各種情報を送受信可能な通信デバイスである。
通信部３５は、例えば外部の情報端末（例えば図８の制御端末５０）等との間で各種情報を送受信可能な通信デバイスである。
【0016】
撮像カメラ３６は、ブームトップ（ブーム４の先端（上端））に下方向きに設置された撮像手段である（図１参照）。撮像カメラ３６は、クレーン１（フック４３）に吊られている吊荷Ｈ及びその周囲を上方から撮影し、取得した画像情報を制御部３８に出力する。
【0017】
記憶部３７は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部３８の作業領域としても機能する。本実施形態の記憶部３７は、後述の操作支援処理（図３参照）を実行するための操作支援プログラム３７０を予め記憶している。
制御部３８は、例えばＣＰＵ（Central Processing Unit）等により構成され、クレーン１各部の動作を制御する。制御部３８は、ＥＣＵ（Electronic Control Unit）の機能を含み、上部旋回体３に配置される。具体的に、制御部３８は、オペレータの操作入力等に基づいて駆動部３１を動作させたり、記憶部３７に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
制御部３８は、例えばＣＰＵ（Central Processing Unit）等により構成され、クレーン１各部の動作を制御する。制御部３８は、ＥＣＵ（Electronic Control Unit）の機能を含み、上部旋回体３に配置される。具体的に、制御部３８は、オペレータの操作入力等に基づいて駆動部３１を動作させたり、記憶部３７に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0018】
［操作支援処理］
続いて、オペレータの運転操作を支援する操作支援処理について説明する。
図３は、操作支援処理の流れを示すフローチャートであり、図４は、操作支援処理における表示部３４の表示例を示す図である。なお、図４では、表示部３４が入力部３３の一部を兼ねるタッチパネルであり、オペレータ（ユーザ）がタッチペンＴで入力操作を行う場合を例示する。
続いて、オペレータの運転操作を支援する操作支援処理について説明する。
図３は、操作支援処理の流れを示すフローチャートであり、図４は、操作支援処理における表示部３４の表示例を示す図である。なお、図４では、表示部３４が入力部３３の一部を兼ねるタッチパネルであり、オペレータ（ユーザ）がタッチペンＴで入力操作を行う場合を例示する。
【0019】
操作支援処理は、吊荷Ｈの位置を捕捉（トラッキング）してクレーン１の制御に用いることによってオペレータの操作を支援する処理である。この操作支援処理は、例えばオペレータの実行操作により制御部３８が操作支援プログラム３７０を読み出して展開することで実行される。
【0020】
図３に示すように、操作支援処理が実行されると、まず制御部３８は、フック４３で吊荷Ｈを持ち上げて、吊り下げられた状態とする（ステップＳ１）。
【0021】
吊荷Ｈが持ち上げられると、制御部３８は、フック４３に吊られている吊荷Ｈ及びその周囲をブームトップの撮像カメラ３６で撮影し、その画像（映像）Ｇを表示部３４に表示させる（ステップＳ２）。
なお、撮影やその画像表示は吊荷Ｈの吊下以前に開始していてもよい。また、撮影される吊荷Ｈの『周囲』の範囲は特に限定されない。取得される画像Ｇは、実質的に吊荷Ｈが含まれるもの（例えば、少なくとも吊荷Ｈの主要部を含むもの）であればよい。
なお、撮影やその画像表示は吊荷Ｈの吊下以前に開始していてもよい。また、撮影される吊荷Ｈの『周囲』の範囲は特に限定されない。取得される画像Ｇは、実質的に吊荷Ｈが含まれるもの（例えば、少なくとも吊荷Ｈの主要部を含むもの）であればよい。
【0022】
次に、制御部３８は、オペレータ（ユーザ）の操作に基づいて、吊荷Ｈの位置に関する情報として、吊荷Ｈを含む吊荷範囲Ｄを入力する（ステップＳ３）。
このステップでは、例えば図４（ａ）に示すように、オペレータは、入力部３３を兼ねるタッチパネルである表示部３４に表示された画像Ｇのうち、吊荷Ｈを含む吊荷範囲Ｄを指定する。この場合、吊荷範囲Ｄには、吊荷Ｈの位置の情報だけでなく、吊荷Ｈの形状及び大きさに関する情報が含まれる。
本実施形態では、吊荷範囲Ｄとして、後述のステップＳ４で画像処理を行う処理範囲Ｄ１が指定される。図４（ａ）の例では、吊荷Ｈの周囲を囲う円形の処理範囲Ｄ１がタッチペンＴで指定される。
このステップでは、例えば図４（ａ）に示すように、オペレータは、入力部３３を兼ねるタッチパネルである表示部３４に表示された画像Ｇのうち、吊荷Ｈを含む吊荷範囲Ｄを指定する。この場合、吊荷範囲Ｄには、吊荷Ｈの位置の情報だけでなく、吊荷Ｈの形状及び大きさに関する情報が含まれる。
本実施形態では、吊荷範囲Ｄとして、後述のステップＳ４で画像処理を行う処理範囲Ｄ１が指定される。図４（ａ）の例では、吊荷Ｈの周囲を囲う円形の処理範囲Ｄ１がタッチペンＴで指定される。
【0023】
次に、制御部３８は、ステップＳ３で入力された吊荷Ｈの位置に関する吊荷範囲Ｄに基づいて、吊荷Ｈの位置を特定する（ステップＳ４）。
本実施形態では、ステップＳ３で指定された吊荷範囲Ｄ（処理範囲Ｄ１）と、これに対応する画像情報とに基づいて、処理範囲Ｄ１に含まれる吊荷Ｈの位置が特定（算出）される。具体的に、制御部３８は、処理範囲Ｄ１内の画像部分を画像処理（エッジ処理等）することにより、吊荷Ｈの特徴量（色や形状等）を抽出して吊荷Ｈを特定する。これにより、画像Ｇ内での吊荷Ｈの位置（形状及び大きさ含む）が求められる。撮像カメラ３６の位置や画角等は既知であるため、その画像Ｇ内での吊荷Ｈの位置から、クレーン１における吊荷Ｈの相対位置が得られる。
ここでは、制御部３８は、例えば図４（ｂ）に示すように、処理範囲Ｄ１内を反転表示させるとともに、抽出した吊荷Ｈのエッジを強調表示（図では太線表示）させる。そして、制御部３８は、抽出した吊荷Ｈが適切かの確認をオペレータに促すメッセージＭ１と、その回答のためのタッチボタンＢ１とを表示させ、オペレータの了承が得られた場合に吊荷Ｈの位置を設定する。オペレータの了承が得られなかった場合は、再び画像処理を実行したり、処理を停止してエラーを出力したりする。
なお、制御部３８は、一度算出した特徴量を用いて吊荷Ｈの位置をトラッキングし続け、吊荷Ｈの位置情報を算出（出力）し続けてもよい。
本実施形態では、ステップＳ３で指定された吊荷範囲Ｄ（処理範囲Ｄ１）と、これに対応する画像情報とに基づいて、処理範囲Ｄ１に含まれる吊荷Ｈの位置が特定（算出）される。具体的に、制御部３８は、処理範囲Ｄ１内の画像部分を画像処理（エッジ処理等）することにより、吊荷Ｈの特徴量（色や形状等）を抽出して吊荷Ｈを特定する。これにより、画像Ｇ内での吊荷Ｈの位置（形状及び大きさ含む）が求められる。撮像カメラ３６の位置や画角等は既知であるため、その画像Ｇ内での吊荷Ｈの位置から、クレーン１における吊荷Ｈの相対位置が得られる。
ここでは、制御部３８は、例えば図４（ｂ）に示すように、処理範囲Ｄ１内を反転表示させるとともに、抽出した吊荷Ｈのエッジを強調表示（図では太線表示）させる。そして、制御部３８は、抽出した吊荷Ｈが適切かの確認をオペレータに促すメッセージＭ１と、その回答のためのタッチボタンＢ１とを表示させ、オペレータの了承が得られた場合に吊荷Ｈの位置を設定する。オペレータの了承が得られなかった場合は、再び画像処理を実行したり、処理を停止してエラーを出力したりする。
なお、制御部３８は、一度算出した特徴量を用いて吊荷Ｈの位置をトラッキングし続け、吊荷Ｈの位置情報を算出（出力）し続けてもよい。
【0024】
次に、制御部３８は、ステップＳ４で求めた吊荷Ｈの位置情報に基づいて、クレーン１の動作を制御する（ステップＳ５）。
なお、吊荷Ｈの位置情報を用いた制御の内容は特に限定されず、吊荷Ｈを始点から終点まで移動させる操作を適正に行う場合（例えば吊荷Ｈの振れを許容範囲に抑えつつより早く終点まで移動させる操作や、障害物を避けて移動させる操作等）に広く適用できる。また、制御の内容によっては、吊荷Ｈの位置情報は、吊荷Ｈの形状及び大きさの情報を含んでもよいし、１点の座標の情報（例えば吊荷Ｈの画像Ｇ上（平面視）での重心位置の座標）のみであってもよい。
なお、吊荷Ｈの位置情報を用いた制御の内容は特に限定されず、吊荷Ｈを始点から終点まで移動させる操作を適正に行う場合（例えば吊荷Ｈの振れを許容範囲に抑えつつより早く終点まで移動させる操作や、障害物を避けて移動させる操作等）に広く適用できる。また、制御の内容によっては、吊荷Ｈの位置情報は、吊荷Ｈの形状及び大きさの情報を含んでもよいし、１点の座標の情報（例えば吊荷Ｈの画像Ｇ上（平面視）での重心位置の座標）のみであってもよい。
【0025】
次に、制御部３８は、操作支援処理を終了させるか否かを判定し（ステップＳ６）、終了させないと判定した場合には（ステップＳ６；Ｎｏ）、上述のステップＳ２へ処理を移行する。
そして、例えば所定位置への吊荷Ｈの移動完了等により、操作支援処理を終了させると判定した場合には（ステップＳ６；Ｙｅｓ）、制御部３８は、操作支援処理を終了させる。
そして、例えば所定位置への吊荷Ｈの移動完了等により、操作支援処理を終了させると判定した場合には（ステップＳ６；Ｙｅｓ）、制御部３８は、操作支援処理を終了させる。
【0026】
［本実施形態の技術的効果］
以上のように、本実施形態によれば、ユーザ操作に基づいて、吊荷Ｈ及びその周囲が表示された表示部３４の表示内容に対して吊荷Ｈの位置に関する情報（吊荷範囲Ｄ）が入力され、この情報に基づいて吊荷Ｈの位置が特定される。
すなわち、オペレータにより吊荷Ｈの位置に関する情報が補助的に入力されるため、マーカを用いずにセンシングのみで吊荷Ｈの位置を検出する場合に比べ、吊荷Ｈの誤検出を抑制できる。換言すれば、吊荷Ｈ又はフック４３に取り付けるマーカを用いることなく、吊荷Ｈの位置検出のロバスト性を向上させることができる。したがって、吊荷Ｈの位置を好適に検出することができる。
以上のように、本実施形態によれば、ユーザ操作に基づいて、吊荷Ｈ及びその周囲が表示された表示部３４の表示内容に対して吊荷Ｈの位置に関する情報（吊荷範囲Ｄ）が入力され、この情報に基づいて吊荷Ｈの位置が特定される。
すなわち、オペレータにより吊荷Ｈの位置に関する情報が補助的に入力されるため、マーカを用いずにセンシングのみで吊荷Ｈの位置を検出する場合に比べ、吊荷Ｈの誤検出を抑制できる。換言すれば、吊荷Ｈ又はフック４３に取り付けるマーカを用いることなく、吊荷Ｈの位置検出のロバスト性を向上させることができる。したがって、吊荷Ｈの位置を好適に検出することができる。
【0027】
［変形例１］
上記実施形態では、操作支援処理のステップＳ３において、吊荷Ｈの位置に関する吊荷範囲Ｄとして、画像処理を行う処理範囲Ｄ１が指定されることとした。そして、続くステップＳ４において、処理範囲Ｄ１を画像処理して吊荷Ｈの位置を特定した。
しかし、ステップＳ３において、オペレータは、吊荷Ｈの位置に関する吊荷範囲Ｄとして、画像処理を行う処理範囲Ｄ１に代えて、吊荷Ｈの位置（形状及び大きさ含む）を直接示す位置範囲Ｄ２を指定（入力）してもよい。
具体的には、例えば図５（ａ）に示すように、オペレータは、対角の頂点２点の指定による矩形領域として、吊荷Ｈの形状に対応する位置範囲Ｄ２を設定してもよい。この場合、図５（ｂ）に示すように、画像Ｇ上の吊荷Ｈが斜めに傾斜している場合には、例えば表示部３４（画像Ｇ）の上下左右に沿った四辺を有する位置範囲Ｄ２を、吊荷Ｈに対応するようにオペレータが回転させてもよい。
また、図６に示すように、対角の２点でなく、３点以上の頂点を指定することで、当該頂点を結ぶ多角形（図の例では四角形）の位置範囲Ｄ２を設定してもよい。なお、図５及び図６における丸数字は、タッチ操作の順番の一例である。
上記実施形態では、操作支援処理のステップＳ３において、吊荷Ｈの位置に関する吊荷範囲Ｄとして、画像処理を行う処理範囲Ｄ１が指定されることとした。そして、続くステップＳ４において、処理範囲Ｄ１を画像処理して吊荷Ｈの位置を特定した。
しかし、ステップＳ３において、オペレータは、吊荷Ｈの位置に関する吊荷範囲Ｄとして、画像処理を行う処理範囲Ｄ１に代えて、吊荷Ｈの位置（形状及び大きさ含む）を直接示す位置範囲Ｄ２を指定（入力）してもよい。
具体的には、例えば図５（ａ）に示すように、オペレータは、対角の頂点２点の指定による矩形領域として、吊荷Ｈの形状に対応する位置範囲Ｄ２を設定してもよい。この場合、図５（ｂ）に示すように、画像Ｇ上の吊荷Ｈが斜めに傾斜している場合には、例えば表示部３４（画像Ｇ）の上下左右に沿った四辺を有する位置範囲Ｄ２を、吊荷Ｈに対応するようにオペレータが回転させてもよい。
また、図６に示すように、対角の２点でなく、３点以上の頂点を指定することで、当該頂点を結ぶ多角形（図の例では四角形）の位置範囲Ｄ２を設定してもよい。なお、図５及び図６における丸数字は、タッチ操作の順番の一例である。
【0028】
この場合、続くステップＳ４では、ステップＳ３で入力された位置範囲Ｄ２と、これに対応する画像情報とに基づいて、当該位置範囲Ｄ２の位置が吊荷Ｈの位置として特定（算出）される。
ここで算出される吊荷Ｈの位置情報は、上記実施形態と同様に、吊荷Ｈの形状及び大きさの情報を含んでもよいし、１点の座標の情報（例えば吊荷Ｈの画像Ｇ上（平面視）での重心位置の座標）のみであってもよい。
ここで算出される吊荷Ｈの位置情報は、上記実施形態と同様に、吊荷Ｈの形状及び大きさの情報を含んでもよいし、１点の座標の情報（例えば吊荷Ｈの画像Ｇ上（平面視）での重心位置の座標）のみであってもよい。
【0029】
［変形例２］
上記実施形態では、操作支援処理のステップＳ３において、画像処理を行う処理範囲Ｄ１が指定され、続くステップＳ４において、この処理範囲Ｄ１を画像処理して吊荷Ｈの位置を特定することとした。
しかし、画像処理する範囲が指定されなくてもよい。具体的には、例えば図７（ａ）に示すように、吊荷Ｈ以外に、画像処理では吊荷Ｈと混同（誤検出）し得る物体Ｃ１、Ｃ２が表示部３４に表示されていた場合、この画像Ｇ全体をエッジ処理等の画像処理することで、図７（ｂ）に示すように、吊荷Ｈ、物体Ｃ１、Ｃ２が吊荷Ｈの候補として抽出される。このとき、制御部３８は、画像処理した全画面範囲を反転表示させるとともに、抽出した吊荷Ｈの候補のエッジを強調表示（図では太線表示）させる。そして、制御部３８は、抽出した候補のうちのいずれが吊荷Ｈかの確認をオペレータに促すメッセージＭ２と、その回答（選択）のためのタッチボタンＢ２とを表示させ、オペレータに選択された候補の位置を吊荷Ｈの位置として特定（算出）する。
なお、この場合には、オペレータによる吊荷Ｈの選択（タッチボタンＢ２の操作）が、本発明に係る「ユーザ操作に基づいて、吊荷Ｈの位置に関する情報を入力する」ことに相当する。また、選択された候補の位置を吊荷Ｈの位置として画像情報から算出することが、本発明に係る「入力された情報に基づいて、吊荷の位置を特定する」ことに相当する。
また、オペレータの操作により入力された情報に基づいて吊荷Ｈの候補を少なくとも１つ表示した後に、この表示内容に対して当該候補のうちの１つを選択するオペレータの操作によって、吊荷Ｈの位置に関する情報を入力してもよい。具体的には、例えばオペレータが吊荷Ｈと物体Ｃ１を囲う等の入力操作を行った場合に、この囲われた範囲が画像処理されて吊荷Ｈ及び物体Ｃ１が吊荷Ｈの候補として抽出され、表示される。そして、表示された吊荷Ｈの候補のうちオペレータに選択されたものの位置が吊荷Ｈの位置として特定（算出）される。このように、オペレータが候補範囲を指定する操作を行うことにより、画像Ｇ全体等の広い範囲を処理する場合と比べ、より少ない物体の認識で足りるため、認識精度が向上する。また、仮に候補を誤検出又は検出漏れした場合でも、その後にオペレータの選択操作があるため、吊荷Ｈの特定を誤るおそれが少ない。
上記実施形態では、操作支援処理のステップＳ３において、画像処理を行う処理範囲Ｄ１が指定され、続くステップＳ４において、この処理範囲Ｄ１を画像処理して吊荷Ｈの位置を特定することとした。
しかし、画像処理する範囲が指定されなくてもよい。具体的には、例えば図７（ａ）に示すように、吊荷Ｈ以外に、画像処理では吊荷Ｈと混同（誤検出）し得る物体Ｃ１、Ｃ２が表示部３４に表示されていた場合、この画像Ｇ全体をエッジ処理等の画像処理することで、図７（ｂ）に示すように、吊荷Ｈ、物体Ｃ１、Ｃ２が吊荷Ｈの候補として抽出される。このとき、制御部３８は、画像処理した全画面範囲を反転表示させるとともに、抽出した吊荷Ｈの候補のエッジを強調表示（図では太線表示）させる。そして、制御部３８は、抽出した候補のうちのいずれが吊荷Ｈかの確認をオペレータに促すメッセージＭ２と、その回答（選択）のためのタッチボタンＢ２とを表示させ、オペレータに選択された候補の位置を吊荷Ｈの位置として特定（算出）する。
なお、この場合には、オペレータによる吊荷Ｈの選択（タッチボタンＢ２の操作）が、本発明に係る「ユーザ操作に基づいて、吊荷Ｈの位置に関する情報を入力する」ことに相当する。また、選択された候補の位置を吊荷Ｈの位置として画像情報から算出することが、本発明に係る「入力された情報に基づいて、吊荷の位置を特定する」ことに相当する。
また、オペレータの操作により入力された情報に基づいて吊荷Ｈの候補を少なくとも１つ表示した後に、この表示内容に対して当該候補のうちの１つを選択するオペレータの操作によって、吊荷Ｈの位置に関する情報を入力してもよい。具体的には、例えばオペレータが吊荷Ｈと物体Ｃ１を囲う等の入力操作を行った場合に、この囲われた範囲が画像処理されて吊荷Ｈ及び物体Ｃ１が吊荷Ｈの候補として抽出され、表示される。そして、表示された吊荷Ｈの候補のうちオペレータに選択されたものの位置が吊荷Ｈの位置として特定（算出）される。このように、オペレータが候補範囲を指定する操作を行うことにより、画像Ｇ全体等の広い範囲を処理する場合と比べ、より少ない物体の認識で足りるため、認識精度が向上する。また、仮に候補を誤検出又は検出漏れした場合でも、その後にオペレータの選択操作があるため、吊荷Ｈの特定を誤るおそれが少ない。
【0030】
［その他］
以上、本発明の実施形態及びいくつかの変形例について説明した。しかし、本発明は上記の実施形態及びその変形例に限られない。
例えば、上記実施形態及びその変形例では、吊荷Ｈの位置に関する吊荷範囲Ｄ（処理範囲Ｄ１、位置範囲Ｄ２）の入力手法として、吊荷Ｈの周囲を囲う操作（図４）や、矩形領域の頂点を指定する操作（図５、図６）を例示した。しかし、吊荷範囲Ｄの入力手法は、これらの操作に特に限定されず、例えば位置や形状、大きさを数値等で入力してもよい。
以上、本発明の実施形態及びいくつかの変形例について説明した。しかし、本発明は上記の実施形態及びその変形例に限られない。
例えば、上記実施形態及びその変形例では、吊荷Ｈの位置に関する吊荷範囲Ｄ（処理範囲Ｄ１、位置範囲Ｄ２）の入力手法として、吊荷Ｈの周囲を囲う操作（図４）や、矩形領域の頂点を指定する操作（図５、図６）を例示した。しかし、吊荷範囲Ｄの入力手法は、これらの操作に特に限定されず、例えば位置や形状、大きさを数値等で入力してもよい。
【0031】
また、上記実施形態では、本発明に係るクレーンシステムが搭載されたクレーンについて説明した。しかし、本発明に係るクレーンシステムは、少なくとも表示部と入力部を備えるものであればよい。
例えば、図８に示すように、本発明に係るクレーンシステムは、クレーン１（本体）と通信可能な制御端末（情報端末）５０であってもよい。この場合、制御端末５０は、上記実施形態におけるクレーン１の入力部３３、表示部３４、通信部３５、記憶部３７及び制御部３８に対応する入力部５３、表示部５４、通信部５５、記憶部５７及び制御部５８を備える。またこの場合、操作支援処理の主な実行主体は、クレーン１の制御部３８でも、制御端末５０の制御部５８でもよいし、これらが協働してもよい。
例えば、図８に示すように、本発明に係るクレーンシステムは、クレーン１（本体）と通信可能な制御端末（情報端末）５０であってもよい。この場合、制御端末５０は、上記実施形態におけるクレーン１の入力部３３、表示部３４、通信部３５、記憶部３７及び制御部３８に対応する入力部５３、表示部５４、通信部５５、記憶部５７及び制御部５８を備える。またこの場合、操作支援処理の主な実行主体は、クレーン１の制御部３８でも、制御端末５０の制御部５８でもよいし、これらが協働してもよい。
【0032】
また、吊荷Ｈ及びその周囲を撮影する撮像カメラ３６は、ブームトップに配置されたものでなくともよく、例えばキャビン６に設置されたもの等でもよい。
また、上記実施形態では、撮像カメラ３６による吊荷Ｈ及びその周囲の画像Ｇが表示部３４に表示されることとした。しかし、表示部３４に表示される吊荷Ｈ及びその周囲の情報は、カメラ画像でなくてもよい。
また、上記実施形態では、撮像カメラ３６による吊荷Ｈ及びその周囲の画像Ｇが表示部３４に表示されることとした。しかし、表示部３４に表示される吊荷Ｈ及びその周囲の情報は、カメラ画像でなくてもよい。
【0033】
また、上記実施形態では、吊荷Ｈ又はフック４３に取り付けるマーカと、これをターゲットとするセンサを用いないこととした。よって、吊荷Ｈ又はフック４３にマーカを取付るという煩雑な作業が生じない。また、マーカが衝撃などで外れる恐れもない。しかし、これらマーカ及びセンサを用いて、吊荷Ｈの検出精度をさらに向上させてもよい。
【0034】
また、上記実施形態では、上部旋回体に対して起伏可能な１つのブームを有するクレーンを示したが、本発明に係るクレーンは、吊荷を吊る作業機械を広く含む。例えば、本発明に係るクレーンは、ホイールクレーン、トラッククレーン、ジブクレーン、タワークレーンなどの各種のクレーンは勿論、バケットで吊荷を吊るショベル等も含む。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0035】
１ クレーン
４ ブーム
３３ 入力部
３４ 表示部
３６ 撮像カメラ
３７ 記憶部
３７０ 操作支援プログラム（吊荷位置検出プログラム）
３８ 制御部（特定部）
４３ フック
５０ 制御端末
Ｄ 吊荷範囲（吊荷の位置に関する情報）
Ｄ１ 処理範囲
Ｄ２ 位置範囲
Ｇ 画像
Ｈ 吊荷
Ｂ１、Ｂ２ タッチボタン
Ｍ１、Ｍ２ メッセージ
Ｃ１、Ｃ２ 物体
Ｔ タッチペン
４ ブーム
３３ 入力部
３４ 表示部
３６ 撮像カメラ
３７ 記憶部
３７０ 操作支援プログラム（吊荷位置検出プログラム）
３８ 制御部（特定部）
４３ フック
５０ 制御端末
Ｄ 吊荷範囲（吊荷の位置に関する情報）
Ｄ１ 処理範囲
Ｄ２ 位置範囲
Ｇ 画像
Ｈ 吊荷
Ｂ１、Ｂ２ タッチボタン
Ｍ１、Ｍ２ メッセージ
Ｃ１、Ｃ２ 物体
Ｔ タッチペン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】