(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024042338
(43)【公開日】2024-03-28
(54)【発明の名称】制御装置、制御方法、およびプログラム
(51)【国際特許分類】
B66C 13/40 20060101AFI20240321BHJP
B66C 13/00 20060101ALI20240321BHJP
【FI】
B66C13/40 D
B66C13/00 D
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022146992
(22)【出願日】2022-09-15
(71)【出願人】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】原田 稔
(57)【要約】
【課題】 遠隔操作を行うオペレータの誤操作を防ぐと共に利便性を向上させる。
【解決手段】 制御装置500は、オペレータ用カメラ700で撮影された撮影画像であるオペレータ画像5000に対する画像認識により、オペレータOPが操作装置600の方向を向いていることが認識された場合に、当該操作装置600による天井クレーン100の遠隔操作を許可すると共に、当該操作装置600と異なる操作装置600による天井クレーン100の遠隔操作を不許可にする。
【選択図】
図8
【特許請求の範囲】
【請求項1】
機器を遠隔操作するためにオペレータによって操作される複数の操作装置と、
前記複数の操作装置の前にいるオペレータを撮影可能な位置に設置された少なくとも1つのオペレータ用カメラと、
前記機器と、
の通信を行い、前記遠隔操作のための制御を行う制御装置であって、
前記オペレータ用カメラで撮影された撮影画像を含む画像を取得する画像取得手段と、
前記オペレータ用カメラで撮影された撮影画像に対する画像認識を行う画像認識手段と、
前記画像認識手段による画像認識により、前記オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする遠隔操作制御手段と、を備える、制御装置。
【請求項2】
前記遠隔操作制御手段は、前記画像認識手段による画像認識により、前記複数の操作装置のうちいずれか一つの操作装置の方向を向いているオペレータが予め登録されたオペレータであることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする、請求項1に記載の制御装置。
【請求項3】
前記遠隔操作制御手段は、前記画像認識手段による画像認識により、オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された後、当該オペレータが当該操作装置の方向を向いていないことが認識された場合、当該操作装置による前記機器の遠隔操作を不許可にする、請求項1または2に記載の制御装置。
【請求項4】
前記制御装置は、前記機器を撮影可能な位置に設置された少なくとも1つの機器用カメラとの通信をさらに行い、
前記画像取得手段は、前記機器用カメラで撮影された前記機器の撮影画像をさらに取得し、
前記遠隔操作制御手段は、前記機器の撮影画像を表示装置に表示させ、
前記画像取得手段は、前記遠隔操作が許可されている前記機器のみの撮影画像を取得する、請求項1または2に記載の制御装置。
【請求項5】
前記機器は、複数あり、
1つの前記操作装置で遠隔操作することが可能な前記機器は、1つであり、
前記複数の操作装置において遠隔操作することが可能な前記機器は、相互に異なる、請求項1または2に記載の制御装置。
【請求項6】
前記機器は、天井クレーンである、請求項1または2に記載の制御装置。
【請求項7】
機器を遠隔操作するためにオペレータによって操作される複数の操作装置と、
前記複数の操作装置の前にいるオペレータを撮影可能な位置に設置された少なくとも1つのオペレータ用カメラと、
前記機器と、
の通信を行い、前記遠隔操作のための制御を行う制御方法であって、
前記オペレータ用カメラで撮影された撮影画像を含む画像を取得する画像取得工程と、
前記オペレータ用カメラで撮影された撮影画像に対する画像認識を行う画像認識工程と、
前記画像認識工程による画像認識により、前記オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする遠隔操作制御工程と、を備える、制御方法。
【請求項8】
請求項1または2に記載の制御装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、制御方法、およびプログラムに関し、特に、機器を遠隔操作するために用いて好適なものである。
【背景技術】
【0002】
情報通信技術の発達により、各種の技術分野で機器の遠隔操作が行われている。特許文献1には、複数台の天井クレーンを集中管理室に設けた遠隔操作装置で遠隔操作することが記載されている。また、特許文献1に記載の技術では、タッチパネル型ディスプレイ操作盤と、各天井クレーンの作業状態を撮影するビデオカメラの画像を表示するカメラモニタと、を設ける。オペレータは、タッチパネル型ディスプレイ操作盤の表示情報と、カメラモニタの画像と、を見たうえで、遠隔操作装置の操作レバーやタッチパネル型ディスプレイ操作盤を操作することにより天井クレーンを遠隔操作する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、集中管理室に設けられる遠隔操作装置は1つである。したがって、遠隔操作を行うオペレータが意図していない機器を誤って操作してしまう虞がある。また、遠隔操作を行うオペレータの利便性も低下する虞がある。例えば、特許文献1に記載の技術では、1つの遠隔操作装置で全ての機器(特許文献1に記載の技術では天井クレーン)を操作することになる。したがって、当該機器によって遠隔操作の内容が異なる場合、遠隔操作に対する高度な知識がオペレータに求められる。また、オペレータの操作ミスを誘発し易くなる。また、1つの遠隔操作装置に、遠隔操作の対象となる機器のそれぞれに特化したユーザインターフェースを設ける必要が生じる場合もある。このような場合、1つの遠隔操作装置の構成が複雑になり、前述した遠隔操作に対する高度な知識がオペレータに求められることと、オペレータの操作ミスを誘発し易くなることと、が助長される。
【0005】
本発明は、以上のような問題点に鑑みてなされたものであり、遠隔操作を行うオペレータの誤操作を防ぐと共に利便性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の制御装置は、機器を遠隔操作するためにオペレータによって操作される複数の操作装置と、前記複数の操作装置の前にいるオペレータを撮影可能な位置に設置された少なくとも1つのオペレータ用カメラと、前記機器と、の通信を行い、前記遠隔操作のための制御を行う制御装置であって、前記オペレータ用カメラで撮影された撮影画像を含む画像を取得する画像取得手段と、前記オペレータ用カメラで撮影された撮影画像に対する画像認識を行う画像認識手段と、前記画像認識手段による画像認識により、前記オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする遠隔操作制御手段と、を備える。
【0007】
本発明の制御方法は、機器を遠隔操作するためにオペレータによって操作される複数の操作装置と、前記複数の操作装置の前にいるオペレータを撮影可能な位置に設置された少なくとも1つのオペレータ用カメラと、前記機器と、の通信を行い、前記遠隔操作のための制御を行う制御方法であって、前記オペレータ用カメラで撮影された撮影画像を含む画像を取得する画像取得工程と、前記オペレータ用カメラで撮影された撮影画像に対する画像認識を行う画像認識工程と、前記画像認識工程による画像認識により、前記オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする遠隔操作制御工程と、を備える。
【0008】
本発明のプログラムは、前記制御装置の各手段としてコンピュータを機能させる。
【発明の効果】
【0009】
本発明によれば、オペレータの撮影画像に対する画像認識により、オペレータが操作装置の方向を向いていることが認識された場合に、当該操作装置による機器の遠隔操作を許可すると共に、当該操作装置と異なる操作装置による機器の遠隔操作を不許可にする。したがって、オペレータに対し特別な操作を行わせることなく、遠隔操作を行う操作装置による機器の遠隔装置の許可および不許可を制御することができる。よって、遠隔操作を行うオペレータの誤操作を防ぐと共に利便性を向上させることができる。
【図面の簡単な説明】
【0010】
【
図1】天井クレーン設備が設置される工場のレイアウトの一例を示す図である。
【
図2A】天井クレーンの構成の一例を示す図である。
【
図3】遠隔操作システムの構成の一例を示す図である。
【
図4】管理室においてオペレータが操作する様子の一例を示す図である。
【
図7A】初期状態の管理画面の一例を示す図である。
【
図7B】作業指示情報と天井クレーンの割り当ての結果とに基づいて更新された管理画面の一例を示す図である。
【
図7C】操作装置による遠隔操作が許可されることにより更新された管理画面の一例を示す図である。
【
図7D】遠隔操作が終了することにより更新された管理画面の一例を示す図である。
【
図8】制御装置の機能的な構成の一例を示す図である。
【
図9A】遠隔操作システムにおける処理の第1の具体例を説明する図である。
【
図9B】遠隔操作システムにおける処理の第2の具体例を説明する図である。
【
図9C】遠隔操作システムにおける処理の第3の具体例を説明する図である。
【
図13】制御方法の一例を説明するフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本発明の一実施形態を説明する。
なお、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの(例えば、設計時に定められる公差の範囲内で異なるもの)も含むものとする。また、各図において、説明および表記の都合上、構成の一部または全部を省略化または簡略化して示す。また、各図に示すx-y-z座標は、各図における向きの関係を示すためのものである。白丸(〇)の中に黒丸(●)を付した記号は、紙面の奥側から手前側に向かう方向(紙面の手前側が正の方向)であることを示す。白丸(〇)の中にクロスマーク(×)を付した記号は、紙面の手前側から奥側に向かう方向(紙面の奥側が正の方向)であることを示す。また、x-y-z座標の原点の位置は、各図に示す位置に限定されない。
【0012】
[天井クレーン設備]
本実施形態では、遠隔操作を行う機器が天井クレーンである場合を例示する。そこで、まず、天井クレーン設備の一例を説明する。
図1は、天井クレーン設備が設置される工場X、Yのレイアウトの一例を示す図である。
図1は、天井クレーン設備が設置される工場X、Yを上方から見た図である。なお、遠隔操作を行う機器は、天井クレーンに限定されない。遠隔操作を行う機器は、例えば、産業用ロボットであっても良い。
【0013】
本実施形態では、コイル状の鋼板を天井クレーンにより搬送する場合を例示する。なお、以下の説明では、コイル状の鋼板を、必要に応じてコイルと称する。
図1に示す例では、工場X、Yにはそれぞれ、コイルを運搬するトラックが停留するトラックピット300(300a~300c)がある。また、
図1には、工場Xにおいて天井クレーン設備により搬送されるコイルの搬送元の位置410(410a~410b)および搬送先の位置420(420a~420b)を示す。同様に、
図1には、工場Yにおいて天井クレーン設備により搬送されるコイルの搬送元の位置410(410c~410d)および搬送先の位置420(420c~420d)を示す。
【0014】
また、
図1に示すようにコイルの搬送元の位置410aのx-y-z座標は(ax,ay,az)であり、当該コイルの搬送先の位置420aのx-y-z座標は(bx,by,bz)であるものとする。同様に、コイルの搬送元の位置410b、410c、410dのx-y-z座標はそれぞれ(cx,cy,cz)、(ex,ey,ez)、(gx,gy,gz)であり、当該コイルの搬送先の位置420b、420c、420dのx-y-z座標はそれぞれ(dx,dy,dz)、(fx,fy,fz)、(hx,hy,hz)であるものとする。
【0015】
図1に示す例では、工場Xに設置された天井クレーン設備は、天井クレーン100(100a~100b)と、走行レール200(200a~200b)と、を備える。同様に工場Yに設置された天井クレーン設備も、天井クレーン100(100c)と、走行レール200(200c~200d)と、を備える。本実施形態では説明を簡単にするために、天井クレーン100(100a~100c)は同じ構成であるものとする。また、走行レール200(200a~200d)も同じ構成であるものとする。
【0016】
図2Aは、天井クレーン100aの構成の一例を示す図である。
図2Aでは、天井クレーン100aを例に挙げて天井クレーン100の構成の一例を示す。前述したように本実施形態では、天井クレーン100a~100cが同じ構成である場合を例示する。
【0017】
天井クレーン100は、走行方向への走行と、横行方向への横行と、を行って、搬送元の位置410に置いてあるコイルを、搬送先の位置420まで搬送する。具体的には、天井クレーム100は、後述する吊上具130をコイルの搬送元の位置410まで移動させ、その位置でコイルMを吊り上げ、その後、吊上具130を搬送先の位置420まで搬送して、コイルMを当該搬送先の位置420に下ろす。
図1および
図2A等、各図では、y軸方向が天井クレーン100の走行方向であり、x軸方向が天井クレーン100の横行方向であり、z軸方向が高さ方向である場合を例示する(
図1に両矢印線で示す走行方向および横行方向と、
図2Aに両矢印線で示す横行方向と、を参照)。
【0018】
図1および
図2Aにおいて、天井クレーン100(100a~100c)は、それぞれ、クレーン本体110(110a~110c)と、トロリ120(120a~120c)と、吊上具130と、クレーン用カメラ140(140a~140d)と、クレーン用コンピュータ150(150a~150c)と、を備える。なお、前述したように
図1は、天井クレーン設備を上方から見た図である。
図2Aに示すように、吊上具130はトロリ120の下方に配置される。したがって、
図1では、吊上具130は、トロリ120に隠れている状態になる。
【0019】
図1および
図2Aにおいて、クレーン本体110(110a~110c)は、例えば、ガーダ111(111a~111c)と、サドル112(112a~112f)と、を備える。なお、
図2Aでは、クレーン本体110aに備わるガーダ111(111a)およびサドル112(112a~112b)を例示する。ガーダ111(111a~111c)には、トロリ120(120a~120c)が設置される。トロリ120(120a~120c)は、ガーダ111(111a~111c)上で横行方向(x軸方向)に横行する。
【0020】
例えば、ガーダ111(111a~111c)が、横行方向(x軸方向)に延設された不図示の横行レールを備える場合、トロリ120(120a~120c)は、横行レールに沿って横行方向に横行する。なお、
図1および
図2Aでは、トロリ120(120a~120c)がクレーン本体110(110a~110c)の上に設置される場合を例示する。しかしながら、トロリ120(120a~120c)は、クレーン本体110(110a~110c)の下に設置されても良い。
【0021】
サドル112(112a、112c、112e)は、ガーダ111の横行方向の一方側(x軸の負の方向側)の端部に取り付けられ、
図2Aに示すように車輪113(113a)を備える。サドル112(112b、112d、112f)は、ガーダ111の横行方向の他方側(x軸の正の方向側)の端部に取り付けられ、
図2Aに示すように車輪113(113b)を備える。なお、
図2Aでは、クレーン本体110bに備わる車輪113a、113bを例示するが、その他のクレーン本体110a、110cも車輪113を備える。
【0022】
走行レール200(200a~200c)は、天井クレーン100(100a~100c)の走行方向(y軸方向)に沿って延設される。
天井クレーン100(100a~100b、100c)の車輪113(113a)は、それぞれ、走行レール200(200a、200c)の上に置かれる。天井クレーン100(100a~100b、100c)の車輪113(113b)は、それぞれ、走行レール200(200b、200d)の上に置かれる。本実施形態では、車輪113(113a~113b)が走行レール200(200a~200d)上を走行することにより、天井クレーン100(100a~100c)が走行方向に走行する場合を例示する。
【0023】
トロリ120(120a~120c)は、例えば、不図示の横行装置と通信可能に接続されており、当該横行装置からの指示に基づいて、クレーン本体110(110a~110c)上で横行方向(x軸方向)に横行する。不図示の横行装置は、クレーン本体110に設置されていても、クレーン本体110の外部に設置されていても良い。トロリ120(120a~120c)は、例えば、天井クレーン100(100a~100c)に1個ずつ設置される。
【0024】
また、
図2Aに示すように、トロリ120(120a~120c)から下方(z軸の負の方向)に向けて吊上具130が設置される。吊上具130は、搬送物(本実施形態ではコイル)を吊り上げるためのものである。吊上具130は、例えば、索条131と、保持具132と、を備える。索条131の一端は、不図示の駆動装置に取り付けられる。不図示の駆動装置の動作に従って、索条131の巻き上げおよび巻き下げ(吊上具130のz軸方向への移動)が行われる。不図示の駆動装置は、クレーン本体110に設置されていても、クレーン本体110の外部に設置されていても良い。
【0025】
図2Bは、吊上具130の構成の一例を示す図である。
図2BにおいてコイルMは、コイル止め210(210a~210d)により移動しない状態で置かれている。なお、コイル止め210c~210dは、後述する
図6のクレーン画像6003に示すように、コイル止め210a~210bの反対側にある(
図2Aのコイル止め210cも参照)。前述したように索条131の一端は、不図示の駆動装置に取り付けられる。
図2Bに示すように索条131の他端には保持具132が取り付けられる。保持具132は、胴部133と、脚部134(134a~134b)と、爪部135(135a~135b)と、を備える。
【0026】
索条131の他端は胴部133の上端に取り付けられる。脚部134(134a~134b)は、互いの間隔が調整可能となるように胴部133の下端に取り付けられる。脚部134a~134bの間隔は、例えば、不図示の駆動装置の動作に伴って変更される。
【0027】
脚部134(134a、134b)の下端には、それぞれ爪部135(135a、135b)が取り付けられる。
図2Bでは、脚部134aの下端に取り付けられる爪部135aは、脚部134aの面のうち脚部134bと間隔を有して対向する面に取り付けられ、爪部135aが、脚部134aの当該面から脚部134bの方向に向かって延設されている場合を例示する。同様に、脚部134bの下端に取り付けられる爪部135bは、脚部134bの面のうち脚部134aと間隔を有して対向する面に取り付けられ、爪部135bが、脚部134bの当該面から脚部134aの方向に向かって延設されている場合を例示する。
【0028】
脚部134a~134bの間隔が変更されることに伴い、爪部135a~135bの間隔も変更される。爪部135(135a~135b)がコイルMの中空領域MH内に配置された状態で索条131が巻き上げられることにより、コイルMは吊り上げられる。
また、胴部133は、不図示の駆動装置の動作に伴って索条131を回転軸として回転する(
図2Bにおいて索条131を囲むようにして示す両矢印線を参照)。胴部133の回転に伴い、脚部134(134a~134b)、および爪部135(135a~135b)も回転する。
【0029】
なお、索条131は、搬送物(本実施形態ではコイル)の搬送に耐えられる強度を有していればどのようなものであっても良い。例えば、索条131は、ワイヤーロープであってもチェーンであっても良い。また、保持具132は、搬送物(本実施形態ではコイル)を保持することができればどのようなものであっても良い。例えば、保持具132は、搬送物を挟んで保持するものであっても、搬送物に取り付けられたワイヤーロープ等を引っ掛けることにより搬送物を保持するもの(いわゆるフック)であっても良い。
【0030】
クレーン用カメラ140(140a~140d)は、天井クレーン100の一部または全部の領域の画像を撮影する。本実施形態ではクレーン用カメラ140(140a~140d)が撮影する画像が動画像である場合を例示する。また、後述するように本実施形態では、天井クレーン100(100a~100c)は、オペレータによって遠隔操作される。クレーン用カメラ140(140a~140d)により撮影された天井クレーン100の撮影画像は、オペレータが天井クレーン100(100a~100c)を遠隔操作する際に参照される。したがって、クレーン用カメラ140(140a~140d)は、天井クレーン100(100a~100c)を遠隔操作するのに資する領域を撮影することができる位置に設置されるのが好ましい。
【0031】
図2Aでは、クレーン用カメラ140aが、保持具132を真上から撮影することができるように、トロリ120(120a~120c)の下端に設置される場合を例示する。また、
図2Aでは、クレーン用カメラ140bが、保持具132を俯瞰した状態で撮影することができるようにガーダ111(111a~111c)の横行方向の一端部(x軸の負の方向側の端部)に設置される場合を例示する。また、
図2Aでは、クレーン用カメラ140cが、保持具132によりコイルMが地切りされる様子を撮影することができるようにガーダ111(111a~111c)の横行方向の他端部(x軸の正の方向側の端部)に設置される場合を例示する。また、
図2Aおよび
図2Bでは、クレーン用カメラ140dが、爪部135(135a~135b)がコイルMの中空領域MHに挿入される様子を撮影することができるように保持具132の脚部134bに設置される場合を例示する。
【0032】
なお、クレーン用カメラ140(140a~140d)は、パン、チルト、およびズームのそれぞれの動作を行うことが可能であっても良い。また、クレーン用カメラ140(140a~140d)の設置位置および撮影範囲は、前述した設置位置および撮影範囲に限定されない。クレーン用カメラ140(140a~140d)の設置位置および撮影範囲は、天井クレーン100(100a~100c)を遠隔操作するのに資するように適宜決められる。以下の説明では、クレーン用カメラ140(140a~140d)により撮影された画像を、必要に応じてクレーン画像と称する。
【0033】
クレーン用コンピュータ150(150a、150b、150c)はそれぞれ、天井クレーン100(100a、100b、100c)に設置されており、外部装置と通信を行う。クレーン用コンピュータ150(150a~150c)は、自身が設置されている天井クレーン100(100a~100c)の動作指示および管理等を行うためのコンピュータである。
【0034】
例えば、クレーン用コンピュータ150(150a~150c)は、自身が設置されている天井クレーン100(100a~100c)に備わる吊上具130の現在位置(x-y-z座標)を不図示の位置検知センサから取得して後述する制御装置500に送信する。当該位置検知センサは、天井クレーン100(100a~100c)に備わる吊上具130の位置を検知することができれば、どのようなセンサであっても良い。例えば、当該位置検知センサは、GPS(Global Positioning System)センサ等の公知の技術で実現される。
【0035】
また、クレーン用コンピュータ150(150a~150c)はそれぞれ、後述する制御装置500から、自身が設置されている天井クレーン100(100a~100c)の動作指示情報を受信し、当該動作指示情報に従った動作を行うように天井クレーン100(100a~100c)の各部を動作させる。また、クレーン用コンピュータ150(150a~150c)は、クレーン用カメラ140(140a~140d)からクレーン画像を取得して後述する制御装置500に送信する。本実施形態では、クレーン用コンピュータ150(150a~150c)が、後述する制御装置500からの指示に応じてクレーン画像を取得して後述する制御装置500に送信する場合を例示する。
【0036】
なお、天井クレーン100(100a~100c)は、公知の技術で実現され、
図1および
図2A~
図2Cに示す構成のものに限定されない。また、本実施形態では、説明を簡単にするために、天井クレーン100a~100cが同じ構成である場合を例示する。しかしながら、天井クレーン100a~100cは、同じ構成である必要はない。例えば、天井クレーン100およびトロリ120の少なくとも一方の構成(例えば、大きさ、種類)は異なっていても良い。また、本実施形態では、工場Xに設置される天井クレーン100の数が2個であり、工場Yに設置される天井クレーン100の数が1個である場合を例示した。しかしながら、天井クレーンの数は1個以上であれば、これらの数に限定されない。
【0037】
[遠隔操作システム]
<概要>
図3は、遠隔操作システムの構成の一例を示す図である。
図3では、管理室CR内に、制御装置500、操作装置600(600a~600c)、オペレータ用カメラ700(700a~700c)、カメラモニタ800(800a~800c)、および管理用モニタ900(900a~900c)が設置されている場合を例示する。また、管理室CRおよび工場X~Yの外部に上位コンピュータ1000および管理者コンピュータ1100が設置されている場合を例示する。上位コンピュータ1000は、工場X~Yにおける操業を統括管理するためのコンピュータである。管理者コンピュータ1100は、工場X~Yの管理者が所有するコンピュータである。
【0038】
前述したように制御装置500は、工場X、Yに設置されている天井クレーン100a~100b、100cのクレーン用コンピュータ150a~150b、150cと通信する。制御装置500とクレーン用コンピュータ150(150a~150c)との通信は、有線で行われても無線で行われても良い。
【0039】
また、制御装置500は、操作装置600(600a~600c)、オペレータ用カメラ700(700a~700c)、カメラモニタ800(800a~800c)、管理用モニタ900(900a~900c)、上位コンピュータ1000、および管理者コンピュータ1100と通信する。制御装置500と、操作装置600(600a~600c)、オペレータ用カメラ700(700a~700c)、カメラモニタ800(800a~800c)、管理用モニタ900(900a~900c)、上位コンピュータ1000、および管理者コンピュータ1100と、の通信は有線で行われても無線で行われても良い。
【0040】
<管理室CR>
図4は、管理室CRにおいてオペレータOPが操作する様子の一例を示す図である。
図4(a)は、管理室CRを上方から見た様子を示す図である。
図4(b)は、オペレータOPを側方から見た様子を示す図である。なお、
図4(b)では、表記が複雑になるため、
図4(a)に示す構成のうち、説明に必要な部分のみを示す。
【0041】
前述したように管理室CR内には、操作装置600(600a~600c)、オペレータ用カメラ700(700a~700c)、カメラモニタ800(800a~800c)、および管理用モニタ900(900a~900c)が設置されている。
操作装置600(600a~600c)は、天井クレーン100(100a~100c)を遠隔操作するためにオペレータOPにより操作される装置である。本実施形態では、操作装置600(600a~600c)の操作に従って天井クレーン100(100a~100c)が遠隔操作され、
図1~
図2Bを参照しながら説明したようにして動作する場合を例示する。
【0042】
例えば、天井クレーン100(100a~100c)の走行方向(y軸方向)への移動と、天井クレーン100(100a~100c)の横行方向(x軸方向)への移動と、トロリ120の横行方向(x軸方向)への移動と、吊上具130の動作と、が、操作装置600(600a~600c)の操作に従って行われる。吊上具130の動作には、例えば、索条131の巻き上げおよび巻き下げと、脚部134(134a~134b)および爪部135(135a~135b)の間隔の変更と、胴部133、脚部134(134a~134b)および爪部135(135a~135b)の回転と、が含まれる。
【0043】
操作装置600(600a~600c)は、これらの天井クレーン100(100a~100c)の動作を指示するためのユーザインターフェースを備え、ユーザインターフェースの操作の内容に応じて、天井クレーン100の動作の内容を示す動作指示情報を生成して制御装置500に送信する。操作装置600(600a~600c)は、ユーザインターフェースとして、例えば、レバー、ボタン、およびスイッチのうち少なくとも1つを備える。また、操作装置600(600a~600c)は、ユーザインターフェースとして、これらに代えてまたは加えてGUI(Graphical User Interface)を備えていても良い。
【0044】
本実施形態では、1つの操作装置600で遠隔操作することが可能な天井クレーン100が1つであり、且つ、それぞれの操作装置600において遠隔操作することが可能な天井クレーン100が相互に異なる場合を例示する。具体的には、操作装置600aのみが天井クレーン100aを遠隔操作することができる操作装置であり、操作装置600bのみが天井クレーン100bを遠隔操作することができる装置であり、操作装置600cのみが天井クレーン100cを遠隔操作することができる装置である場合を例示する。
図4では、オペレータOPが操作装置600aを操作している様子を示すので、天井クレーン100aが遠隔操作されていることになる。本実施形態では、このように複数の操作装置600と、複数の天井クレーン100と、が一対一で対応付けられている場合を例示する。しかしながら、必ずしもこのようにする必要はない。例えば、1つの操作装置600により複数の天井クレーン100の遠隔操作が可能になるようにしても良い。このようにする場合、例えば、操作装置600は、当該操作装置600による遠隔操作が可能な天井クレーン100をオペレータOPが選択するためのユーザインターフェースを備えていても良い。このようにする場合、制御装置500は、当該ユーザインターフェースの操作に基づいて当該操作装置600により遠隔操作される天井クレーン100を判定する。
【0045】
オペレータ用カメラ700(700a~700c)は、オペレータ用撮影装置の一例であり、操作装置600(600a~600c)の前にいるオペレータOPを撮影可能な位置に設置される。
図4Aおよび
図4Bに示すように本実施形態では、椅子1200に座って操作装置600(600a~600c)の前にいるオペレータOPの顔が位置する領域として想定される領域を含む領域を撮影可能な位置に、オペレータ用カメラ700(700a~700c)が設置される場合を例示する。このように本実施形態では、オペレータ用カメラ700(700a~700c)は、椅子1200に座って操作装置600(600a~600c)の前にいるオペレータOPの顔を含む領域を撮影することが可能である。また、本実施形態では、各オペレータ用カメラ700(700a~700c)の撮影範囲は、オペレータOPがどの操作装置600(600a~600c)を操作している場合でも、椅子1200に座っているオペレータOPが向いている方向を制御装置500が認識できるように設定されている。
【0046】
なお、本実施形態では、オペレータ用カメラ700(700a~700c)が撮影する画像が動画像である場合を例示するが、オペレータ用カメラ700(700a~700c)が撮影する画像は静止画像であっても良い。また、
図4(b)に示す例では、椅子1200はキャスター付きの回転椅子であり、椅子1200の脚部1210を回転軸として回転すると共に、キャスター1220により位置が調整される。オペレータOPは、座った状態で椅子1200を回転させることにより、椅子に座った状態のまま各操作装置600(600a~600c)と向き合うことができる(
図4(b)の脚部1210を囲むように付している両矢印線を参照)。なお、
図4に示す例では、一人のオペレータOPが各操作装置600(600a~600c)と向き合い易いように管理室CRのレイアウトおよび椅子1200を配置しているが、管理室CRのレイアウトおよび椅子1200を配置は、
図4に例示するものに限定されない。例えば、それぞれの操作装置600(600a~600c)の前に椅子をそれぞれ配置しても良い。また、オペレータOPに起立した状態で操作装置600(600a~600c)を操作させるように操作装置600を設置しても良い。
【0047】
本実施形態では、操作装置600(600a~600c)のそれぞれに対して1つのオペレータ用カメラ700(700a~700c)が設置される場合を例示する。具体的には、オペレータ用カメラ700aは、操作装置600aの前にいるオペレータOPを撮影可能な位置に設置される。オペレータ用カメラ700bは、操作装置600bの前にいるオペレータOPを撮影可能な位置に設置される。オペレータ用カメラ700cは、操作装置600cの前にいるオペレータOPを撮影可能な位置に設置される。以下の説明では、オペレータ用カメラ700(700a~700c)により撮影された画像を、必要に応じてオペレータ画像と称する。
【0048】
なお、必ずしも、操作装置600(600a~600c)のそれぞれに対して1つのオペレータ用カメラ700(700a~700c)を設置する必要はない。例えば、オペレータ用カメラ700は、パン、チルト、およびズームのそれぞれの動作を行うことが可能である場合、1つのオペレータ用カメラ700により、複数の操作装置600の前にいるオペレータOPを撮影することが可能である。このようにする場合、オペレータ用カメラ700は、撮影時のパン角、チルト角、ズーム倍率の情報を制御装置500に送信しても良い。このようにする場合、制御装置500は、例えば、撮影時のパン角、チルト角、ズーム倍率の情報に基づいて、オペレータ用カメラ700の撮影領域を特定する。
【0049】
図5は、オペレータ画像5000の一例を示す図である。
図5に示すように本実施形態では、オペレータ画像5000にはオペレータOPの顔の画像が含まれ得る。このように本実施形態では、オペレータOPの顔の画像が含まれ得るオペレータ画像5000を用いる場合を例示する。しかしながら、オペレータOPが操作装置600の方向を向いていることを判定することができるオペレータOPの撮影画像であれば、必ずしも、オペレータOPの顔の画像が含まれ得るオペレータ画像5000を用いる必要はない。例えば、オペレータOPの顔に代えて、工場X~Yの制服(作業着)において、オペレータOPの胸元の位置に表示されているマーク、または、オペレータの胸元に取り付けられる名札を用いても良い。また、オペレータ画像5000からオペレータOPの視線が向けられている方向を判定し、その判定した視線の方向に基づいてオペレータOPが操作装置600の方向を向いていることを判定しても良い。
【0050】
カメラモニタ800(800a~800c)は、クレーン用カメラ140(140a~140d)により撮影されたクレーン画像を含むクレーン画面を表示するコンピュータディスプレイである。カメラモニタ800(800a~800c)は、操作装置600(600a~600c)を操作するオペレータOPが視認可能な位置に設置される。本実施形態では、操作装置600(600a~600c)のそれぞれに対して1つのカメラモニタ800(800a~800c)が設置される場合を例示する。具体的には、カメラモニタ800aは、天井クレーン100aを遠隔操作するための操作装置600aを操作するオペレータOPが視認可能な位置に設置される。カメラモニタ800bは、天井クレーン100bを遠隔操作するための操作装置600bを操作するオペレータOPが視認可能な位置に設置される。カメラモニタ800cは、天井クレーン100cを遠隔操作するための操作装置600cを操作するオペレータOPが視認可能な位置に設置される。
【0051】
図6は、クレーン画面6000の一例を示す図である。前述したように本実施形態では、1つの天井クレーン100に4つのクレーン用カメラ140(140a~140d)が設置される場合を例示する。
図6では、クレーン画面6000を4分割した領域に、4つのクレーン用カメラ140(140a~140d)により撮影されたクレーン画像6001~6004が表示される場合を例示する。
【0052】
本実施形態では、カメラモニタ800aには、操作装置600aにより遠隔操作される天井クレーン100aに設置されたクレーン用カメラ140(140a~140dにより撮影されたクレーン画像6001~6004が表示される。また、カメラモニタ800bには、操作装置600bにより遠隔操作される天井クレーン100bに設置されたクレーン用カメラ140(140a~140dにより撮影されたクレーン画像6001~6004が表示される。また、カメラモニタ800cには、操作装置600cにより遠隔操作される天井クレーン100cに設置されたクレーン用カメラ140(140a~140dにより撮影されたクレーン画像6001~6004が表示される。
【0053】
なお、クレーン画面6000に表示されるクレーン画像6001は、クレーン用カメラ140aにより撮影されたクレーン画像(保持具132を真上から見下ろした様子を撮影したクレーン画像)である。また、クレーン画面6000に表示されるクレーン画像6002は、クレーン用カメラ140bにより撮影されたクレーン画像(保持具132を俯瞰した様子を撮影したクレーン画像)である。また、クレーン画面6000に表示されるクレーン画像6003は、クレーン用カメラ140cにより撮影されたクレーン画像(保持具132によりコイルMが地切りされる様子を撮影したクレーン画像)である。また、クレーン画面6000に表示されるクレーン画像6004は、クレーン用カメラ140dにより撮影されたクレーン画像(爪部135bがコイルMの中空領域MHに挿入される様子を撮影したクレーン画像)である。なお、
図6では、クレーン画像6001~6004に各部の符号を付している。
【0054】
管理用モニタ900(900a~900c)は、管理画面を表示するコンピュータディスプレイである。管理用モニタ900(900a~900c)は、操作装置600(600a~600c)を操作するオペレータOPが視認可能な位置に設置される。本実施形態では、操作装置600(600a~600c)のそれぞれに対して1つの管理用モニタ900(900a~900c)が設置される場合を例示する。具体的には、管理用モニタ900aは、天井クレーン100aを遠隔操作するための操作装置600aを操作するオペレータOPが視認可能な位置に設置される。管理用モニタ900bは、天井クレーン100bを遠隔操作するための操作装置600bを操作するオペレータOPが視認可能な位置に設置される。管理用モニタ900cは、天井クレーン100cを遠隔操作するための操作装置600cを操作するオペレータOPが視認可能な位置に設置される。
【0055】
管理用モニタ900(900a~900c)に表示される管理画面は、天井クレーン100により行われる作業の内容を示す情報が表示される。
図7Aは、管理画面7000の一例を示す図である。本実施形態では、管理用モニタ900(900a~900c)に同じ内容の管理画面7000が同時に表示される場合を例示する。
【0056】
図7Aにおいて「作業No」の欄には、天井クレーン100(100a~100c)により行われる作業の識別番号が表示される。本実施形態では、搬送元の位置410から搬送先の位置420にコイルMを搬送し、コイルMを搬送先の位置420に荷下ろしすることを含む作業が、天井クレーン100により行われる作業である。以下の説明では、天井クレーン100(100a~100c)により行われる作業を、必要に応じて作業と称する。
【0057】
「工場」の欄には、作業対象のコイルMが存在する工場の識別情報(
図1に示す例では「X」または「Y」)が表示される。「From」の欄には、コイルの搬送元の位置410(410a~410d)のx-y-z座標が表示される。「To」の欄には、コイルの搬送先の位置420(420a~420d)のx-y-z座標が表示される。「割当」の欄には、作業で使用されるクレーン100(100a~100c)の識別情報が表示される。以下の説明では、クレーン100a、100b、100cの識別情報を必要に応じて、それぞれ、クレーンA、B、Cと称する。「作業完了」の欄には、後述する
図7Cに示すように、作業(遠隔操作)が終了した場合にオペレータOPによって押下されるOP作業完了ボタン7010が表示される。なお、
図7Aでは、管理画面7000の初期状態を示し、いずれの欄にも情報が表示されていない状態を示す。管理画面7000の変遷の一例については
図7B~
図7Dを参照しながら後述する。
【0058】
<制御装置500>
図8は、制御装置500の機能的な構成の一例を示す図である。制御装置500のハードウェアは、例えば、プロセッサ、主記憶装置、補助記憶装置、および各種のインターフェースを備える情報処理装置、またはASIC(Application Specific Integrated Circuit)等の専用のハードウェアにより実現される。
本実施形態の制御装置500は、画像取得部501と、画像認識部502と、遠隔操作制御部503と、記憶部504と、を備える。
【0059】
画像取得部501は、オペレータ用カメラ700(700a~700c)で撮影されたオペレータ画像5000を、オペレータ用カメラ700(700a~700c)から取得する。オペレータ画像5000には、当該オペレータ画像5000を撮影したオペレータ用カメラ700(700a~700c)に対応する天井クレーン100(100a~100c)の識別情報が付加されているものとする。オペレータ用カメラ700(700a~700c)に対応する天井クレーン100(100a~100c)とは、当該オペレータ用カメラ700(700a~700c)で撮影されるオペレータOPが操作する操作装置600(600a~600c)によって遠隔操作される天井クレーン100(100a~100c)である。本実施形態では、オペレータ用カメラ700a、700b、700cに対応する天井クレーン100は、それぞれ、天井クレーン100a(クレーンA)、100b(クレーンB)、100c(クレーンC)である。
本実施形態では、画像取得部501が、オペレータ用カメラ700(700a~700c)で撮影したオペレータ画像5000を撮影順に順次取得する場合を例示する。
【0060】
また、画像取得部501は、クレーン用カメラ140(140a~140d)で撮影されたクレーン画像6001~6004を、クレーン用コンピュータ150(150a~150c)から取得する。クレーン画像6001~6004には、当該クレーン画像6001~6004を撮影したクレーン用カメラ140(140a~140d)が設置されている天井クレーン100(100a~100c)の識別情報が付加されているものとする。
【0061】
本実施形態では、画像取得部501が、後述する遠隔操作制御部503によってクレーン用コンピュータ150に対するクレーン画像6001~6004の取得の要求がなされた場合に、当該クレーン画像6001~6004を取得する場合を例示する。
【0062】
画像認識部502は、画像取得部501により取得されたオペレータ画像5000に対する画像認識を行う。
【0063】
遠隔操作制御部503は、上位コンピュータ1000から、どのような作業を行うことが必要であるのかを示す作業指示情報を受信する。また、遠隔操作制御部503は、画像認識部502による画像認識により、オペレータOPが操作装置600の方向を向いていることが認識された場合に、当該操作装置600による天井クレーン100の遠隔操作を許可する。また、遠隔操作制御部503は、複数の操作装置600のうち、天井クレーン100の遠隔操作をすることを許可した操作装置600と異なる操作装置600に対しては、天井クレーン100の遠隔操作を不許可にする(所謂インターロックを行う)。
【0064】
例えば、画像認識部502による画像認識により、オペレータOPが操作装置600aの方向を向いていることが認識された場合、遠隔操作制御部503は、当該操作装置600aによる天井クレーン100aの遠隔操作を許可する。また、遠隔操作制御部503は、当該操作装置600aと異なる操作装置600b~600cによる天井クレーン100b~100cの遠隔操作を不許可にする。この場合、作業指示情報に基づく天井クレーン100aに対する遠隔操作が、操作装置600aの操作に基づいて行われる。
【0065】
また、遠隔操作制御部503は、画像認識部502による画像認識により、人物が認識されたが、当該人物が操作装置600を用いて天井クレーン100を遠隔操作する資格を有しているオペレータOPではないことが認識された場合、警告を行うと共に、管理者コンピュータ1100にそのことを示す情報を送信する。警告は、管理室CRに設置された不図示の警報装置から警報音を発することによって行われても、管理用モニタ900(900a~900c)に警告表示を行うことによって行われても、その他の方法で行われても良い。また、遠隔操作制御部503は、例えば、画像認識部502による画像認識により、人物が認識されたが、当該人物が操作装置600を用いて天井クレーン100を遠隔操作する資格を有しているオペレータOPではないことが認識された場合、そのことを示す電子メールを管理者コンピュータ1100に送信しても良い。
記憶部504には、制御装置500で処理を行うために必要な各種の情報が記憶される。
【0066】
図9A~
図9Cは、本実施形態の遠隔操作システムにおける処理の具体例を説明する図である。
図9A~
図9C等を参照しながら、制御装置500が有する機能の具体例を説明する。
図9A~
図9Cでは、上から下に向けて時間が経過することを示す。すなわち、
図9A~
図9Cではタイミングt1が最も早い時刻である。また、
図9A、
図9B、
図9Cでは、それぞれ、タイミングt8、t5、t8が最も遅い時刻である。また、
図9A~
図9Cでは、オペレータを「OP」、クレーンを「Cr」と表記している。なお、
図9A~
図9Cでは、説明および表記の都合上、1つのタイミングが単一の時刻ではなく時間範囲(連続する複数の時刻)を示すことがあるものとする。
【0067】
まず、
図9Aを参照しながら、本実施形態の遠隔操作システムにおける基本となる処理の具体例を説明する。
まず、
図9Aのタイミングt1において、遠隔操作制御部503は、上位コンピュータ1000から作業指示情報を受信する(「制御装置」の欄の「作業指示受信」を参照)。
図10は、作業指示テーブル10000の一例を示す図である。作業指示テーブル10000は、記憶部504に予め記憶されている。
図10(a)は、作業指示情報を受信した段階における作業指示テーブル10000の一例を示す図である。作業指示テーブル10000の「作業No」、「工場」、「From」、「To」、および「割当」の内容は、
図7Aを参照しながら説明したものである。すなわち、「作業No」は、作業の識別番号である。「工場」は、作業対象のコイルMが存在する工場の識別情報(XまたはY)である。「From」は、コイルの搬送元の位置410のx-y-z座標である。「To」は、コイルの搬送先の位置420のx-y-z座標である。「割当」は、遠隔操作されるクレーン100(100a~100c)の識別情報(クレーンA、B、またはC)である。
【0068】
作業指示情報には、「作業No」、「工場」、「From」、および「To」の情報が含まれ、「割当」の情報は含まれない。このため、
図10(a)において「割当」の欄は空欄である。
図9Aにおいて、タイミングt1(作業指示情報を受信した段階)では、オペレータ用カメラ700(700a~700c)およびクレーン用カメラ140(140a~140c)は「OFF」(撮影していない状態)であるものとする。なお、オペレータ用カメラ700(700a~700c)およびクレーン用カメラ140(140a~140c)は常時「ON」していても(撮影している状態でも)良い。また、オペレータ用カメラ700(700a~700c)は、オペレータ用カメラ700(700a~700c)の撮影範囲として想定される領域に移動物体が存在することが不図示のセンサにより検知された場合に「ON」し、検知されなくなると「OFF」しても良い。
【0069】
また、管理画面7000は作業指示情報を受信した段階で既に「ON」(表示されている状態)であるものとする。このときに表示されている管理画面7000は、例えば、
図7Aに示した管理画面7000(初期状態)である。なお、管理画面7000は、例えば、次のタイミングt2(管理画面の更新の段階)で「ON」(表示)されても良い。
【0070】
次に、
図9Aのタイミングt2において、遠隔操作制御部503は、クレーン用コンピュータ150(150a~150c)に対し、天井クレーン100(100a~100c)に備わる吊上具130の現在位置を要求する。クレーン用コンピュータ150(150a~150c)は、この要求に応じて、天井クレーン100(100a~100c)に備わる吊上具130の現在位置を制御装置500に送信する(「クレーンA」~「クレーンC」の「Cr」の欄の「現在地送信」を参照)。なお、天井クレーン100に備わる吊上具130の現在位置は、所定の周期で繰り返し送信されているものとする。ただし、天井クレーン100に備わる吊上具130の現在位置は、例えば、天井クレーン100に備わる吊上具130の位置が変更された場合に送信されても良い。
【0071】
そして、遠隔操作制御部503は、作業指示情報に含まれる「作業No」のそれぞれの作業に対し天井クレーン100(100a~100c)を割り当てる(「制御装置」の欄の「クレーン割当」を参照)。例えば、遠隔操作制御部503は、天井クレーン100(100a~100c)に備わる吊上具130の現在位置と、作業指示情報に含まれる「From」の情報(コイルの搬送元の位置410のx-y-z座標)と、に基づいて、作業指示情報に含まれる「作業No」のそれぞれの作業に対し天井クレーン100(100a~100c)を割り当てる。このようにする場合、遠隔操作制御部503は、例えば、各「作業No」の「From」の情報(コイルの搬送元の位置410のx-y-z座標)に最も近い位置にある吊上具130を備える天井クレーン100を当該「作業No」の作業を行う天井クレーン100として割り当てる。
【0072】
図10に示す例では、「作業No」が「1011」、「1021」、「3011」、「3012」の作業に対して、それぞれ「クレーンA(天井クレーン100a)」、「クレーンB(天井クレーン100b)」、「クレーンC(天井クレーン100c)」、「クレーンC(天井クレーン100c)」が割り当てられる。この場合、遠隔操作制御部503は、
図10(a)に示す作業指示テーブル10000の「割当」の欄に、以上のようにして割り当てた天井クレーン100の情報を格納し、作業指示テーブル10000を
図10(b)に示すように更新する。なお、
図1に示す工場Yのように、1つの工場Y内に設置された天井クレーン100cが1つである場合、当該天井クレーン100cが、当該工場Yにおける作業に対して割り当てられる天井クレーン100として無条件で割り当てられる。このように、天井クレーン100の割り当ては、必ずしも、天井クレーン100に備わる吊上具130の現在位置と、作業指示情報に含まれる「From」の情報と、に基づいて行われる必要はない。
【0073】
また、タイミングt2において、遠隔操作制御部503は、作業指示情報と、天井クレーン100の割り当ての結果と、に基づいて、管理用モニタ900(900a~900c)に表示されている管理画面7000を更新する(「制御装置」の欄の「管理画面更新」および「クレーンA」~「クレーンC」の「管理画面」の欄の「更新」を参照)。
図7Bは、作業指示情報と、天井クレーン100の割り当ての結果と、に基づいて更新された管理画面7000の一例を示す図である。
図7Bに示すように管理画面7000には、更新後の作業指示テーブル10000の内容(
図10(b)に示す作業指示テーブル10000の「作業No」、「工場」、「From」、「To」、および「割当」の情報)が表示される。
【0074】
次に、
図9Aのタイミングt3において、遠隔操作制御部503は、オペレータ用カメラ700(700a~700c)を「ON」する(「制御装置」の欄の「OP用カメラ起動」、「クレーンA」~「クレーンC」の「OP用カメラ」の欄の「ON」を参照)。なお、オペレータ用カメラ700(700a~700c)が起動すると、オペレータ用カメラ700(700a~700c)で撮影されたオペレータ画像5000は制御装置500に送信されるものとする。また、前述したようにオペレータ用カメラ700は、遠隔操作制御部503の制御により「ON」および「OFF」せずに、常時「ON」しても、不図示のセンサの移動物体の検知結果に基づいて「ON」および「OFF」しても良い。
【0075】
次に、
図9Aのタイミングt4において、画像認識部502は、オペレータ画像5000に基づいて、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いているか否かを判定する。(「オペレータ」の欄の「Aの操作装置の方向を向く」および「制御装置」の欄の「画像認識,オペレータの向きチェック」を参照)。
【0076】
このように本実施形態では、画像認識部502は、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いているか否かを判定する。
【0077】
画像認識部502は、まず、オペレータ画像5000に基づいて、例えば公知の顔認証を行うことにより、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いているか否かを判定する人物の顔がオペレータ画像5000において撮影されているか否かを判定する。例えば、画像認識部502は、オペレータ画像5000から、顔の位置およびパーツを認識し、認識した結果から、当該オペレータ画像5000において撮影されている顔がオペレータ用カメラ700の方向を向いているか否かを判定することにより、オペレータOPが、操作装置600の方向を向いているか否かを判定しても良い。また、画像認識部502は、オペレータ画像5000からオペレータOPの視線が向けられている方向を判定し、その判定した視線の方向に基づいてオペレータOPが操作装置600の方向を向いていることを判定しても良い。
【0078】
図9Aでは、天井クレーン100a(クレーンA)を遠隔操作するための操作装置600aの方向を向いている場合を例示する(「オペレータ」の欄の「Aの操作装置の方向を向く」を参照)。オペレータOPが天井クレーン100を遠隔操作するための操作装置600の方向を向いているか否かは、タイミングt4以降においても継続して(例えば所定の時間間隔で)行われるものとする。
【0079】
ここで、天井クレーン100を遠隔操作するための操作装置600の方向を向いているオペレータOPが、操作装置600を用いて天井クレーン100を遠隔操作する資格を有しているか否かを判定しても良い。以下の説明では、操作装置600を用いて天井クレーン100を遠隔操作する資格を有しているオペレータOPを、必要に応じて有資格者と称する。
【0080】
図11は、有資格者テーブル11000の一例を示す図である。有資格者テーブル11000は、記憶部504に予め記憶されている。有資格者テーブル11000には、有資格者についての情報である有資格者情報が記憶される。「No」の欄には、有資格者情報の識別番号が格納される。「名称」の欄には、有資格者の識別情報が格納される。有資格者の識別情報は、例えば、氏名である。「写真」の欄には、有資格者の顔写真の画像データI1~I3が格納される。なお、「写真」の欄には、有資格者の顔写真の画像データI1~I3の記憶先の情報が格納されていても良い。「対象クレーン」の欄には、有資格者が遠隔操作できるクレーンの識別情報(名称)が格納される。
【0081】
例えば、画像認識部502は、有資格者テーブル11000の情報を用いて、オペレータ画像5000において有資格者が撮影されているか否かを判定する。このようにする場合、例えば、画像認識部502は、有資格者テーブル11000の「写真」の欄に記憶されている有資格者の顔写真の画像データI1~I3と、を照合する。画像認識部502は、この照合の結果に基づいて、オペレータ画像5000において、有資格者の顔写真の画像データI1~I3のいずれかに対応する顔が撮影されているか否かを判定する。この判定の結果、オペレータ画像5000において、有資格者の顔写真の画像データI1~I3のいずれにも対応する顔が撮影されていない場合、画像認識部502は、オペレータ画像5000において有資格者は撮影されていないと判定する。
【0082】
一方、オペレータ画像5000において、有資格者の顔写真の画像データI1~I3のいずれかに対応する顔が撮影されている場合、画像認識部502は、有資格者テーブル11000において当該画像データが格納されているレコードの対象クレーンの欄の情報を読み出す。画像認識部502は、有資格者テーブル11000から読み出した対象クレーンの欄の情報の中に、オペレータ画像5000に付加されている天井クレーン100の識別情報と一致する情報があるか否かを判定する。この判定の結果、有資格者テーブル11000から読み出した対象クレーンの欄の情報の中に、オペレータ画像5000に付加されている天井クレーン100の識別情報と一致する情報がある場合、画像認識部502は、オペレータ画像5000において撮影されているオペレータOPは、有資格者であると判定し、そうでない場合、オペレータ画像5000において有資格者は撮影されていないと判定する。
【0083】
なお、本実施形態のように、各オペレータOPが遠隔操作することができる天井クレーン100を設定する(
図10に示す例では対象クレーンの欄の情報を設定する)のが好ましい。しかしながら、必ずしも、各オペレータOPが遠隔操作できる天井クレーン100を設定する必要はない。例えば、天井クレーン100の数が1つである場合や、全ての天井クレーン100を操作できるオペレータOPしか管理室CRに入室することができない場合には、各オペレータOPが遠隔操作できる天井クレーン100を設定する必要はない。
【0084】
次に、
図9Aのタイミングt5において、遠隔操作制御部503は、天井クレーン100を遠隔操作するための操作装置600の方向を向いていると判定したオペレータOPが向いている操作装置600による遠隔操作のみを許可し、その他の操作装置600による遠隔操作を不許可にする。オペレータOPが向いている操作装置600は、例えば、オペレータOPを撮影したオペレータ用カメラ700の当該撮影時の撮影範囲に基づいて特定される。
【0085】
図9Aに示す例では、遠隔操作制御部503は、操作装置600aによる遠隔操作を許可し、その他の操作装置600b~600cによる遠隔操作を不許可にする(「制御装置」の欄の「Aの操作装置許可,他の操作装置不許可」、「クレーンA」の「操作装置」の欄の「ON」、「クレーンB」の「操作装置」の欄の「OFF」、および「クレーンC」の「操作装置」の欄の「OFF」を参照)。
【0086】
以下に、操作装置600による遠隔操作の許可および不許可を制御する方法の一例を説明する。
遠隔操作制御部503は、操作装置600による遠隔操作を許可する場合、当該操作装置600から受信した動作指示情報を受け付けて、当該操作装置600で遠隔操作される天井クレーン100に設置されているクレーン用コンピュータ150に動作指示情報を送信する。一方、操作装置600による遠隔操作を不許可にする場合、遠隔操作制御部503は、当該操作装置600から受信した動作指示情報を受け付けず、当該操作装置600で遠隔操作される天井クレーン100に設置されているクレーン用コンピュータ150に動作指示情報を送信しない。
【0087】
操作装置600による遠隔操作を許可および不許可を制御する方法は、このような方法に限定されない。例えば、遠隔操作制御部503は、操作を不許可にする操作装置600の電源をOFFすることを指示する情報を当該操作装置600に送信して当該操作装置600の電源を強制的にOFFすることにより、当該操作装置600による遠隔操作を不許可にしても良い。また、遠隔操作制御部503は、操作を不許可にする操作装置600の操作を無効にすることを指示する情報を当該操作装置600に送信して当該操作装置600の操作を無効化する(すなわち、操作があっても信号を発生させないようにする)ことにより、当該操作装置600による遠隔操作を不許可にしても良い。このようにして操作装置600による遠隔操作を不許可にする場合、遠隔操作制御部503は、遠隔操作を許可する操作装置600に対しては何も処理をしないことが当該操作装置600による遠隔操作を許可することに対応する。
【0088】
なお、
図9Aにおいて、「操作装置」の欄の「-」は、オペレータOPによる操作装置600に対する操作が行われる前であることに対応する。タイミングt1~t4においては、操作装置600を用いた天井クレーン100(100a~100c)に対する遠隔操作を行うことはできない。
【0089】
また、タイミングt5において、遠隔操作制御部503は、以上のようにして操作装置600による遠隔操作を許可および不許可にすると共に、操作装置600による遠隔操作が許可された天井クレーン100に設置されているクレーン用カメラ140(140a~140d)で撮影されたクレーン画像6001~6004(クレーン画面6000)の送信を、当該天井クレーン100に設置されているクレーン用コンピュータ150に指示する。当該クレーン用コンピュータ150は、当該指示に基づいてクレーン画像6001~6004を制御装置500に送信する。遠隔操作制御部503は、このようにしてクレーン用コンピュータ150から送信されたクレーン画像6001~6004を、当該操作装置600に対して設置されているカメラモニタ800に表示させる。
【0090】
図9Aに示す例では、遠隔操作制御部503は、クレーン画像6001~6004の送信を開始することをクレーン用コンピュータ150aに指示する。これにより、クレーン用コンピュータ150aは、クレーン画像6001~6004の送信を開始する(「クレーンA」の「Cr」の欄の「Cr画像送信」を参照)。このとき、遠隔操作制御部503は、天井クレーン100b~100cに設置されたクレーン用カメラ140(140a~140c)で撮影されたクレーン画像6001~6004の送信を開始することをクレーン用コンピュータ150b~150cには指示しない。したがって、画像取得部501は、クレーン用コンピュータ150aからクレーン画像6001~6004を取得するが、クレーン用コンピュータ150b~150cからはクレーン画像6001~6004を取得しない。
【0091】
遠隔操作制御部503は、クレーン用コンピュータ150aから送信されたクレーン画像6001~6004を取得し、取得したクレーン画像6001~6004(クレーン画面6000)をカメラモニタ800aに表示させる(「制御装置」の欄の「AのCr画面表示」、「クレーンA」の「Cr画面」の欄の「ON」を参照)。このように本実施形態では、遠隔操作制御部503からの送信の指示がなければ、クレーン画像6001~6004がクレーン用コンピュータ150(150a~150c)から送信されない場合を例示する。
【0092】
また、タイミングt5において、遠隔操作制御部503は、管理用モニタ900(900a~900c)に表示されている管理画面7000において、遠隔操作を行うことが許可された操作装置600により遠隔操作された天井クレーン100を用いて行われる作業に対応する「作業完了」の欄にOP作業完了ボタン(GUI)を表示する(「制御装置」の欄の「管理画面更新」および「クレーンA」~「クレーンC」の「管理画面」の欄の「更新」を参照)。
図7Cは、操作装置600による遠隔操作が許可されることにより更新された管理画面7000の一例を示す図である。
図9Aに示す例では、
図7Cに示すように、「作業No」が「1011」のレコードの「作業完了」の欄にOP作業完了ボタン7010が表示される。
【0093】
なお、遠隔操作を行うことが許可された操作装置600により遠隔操作された天井クレーン100を用いて行われる作業が複数ある場合、当該複数の作業のそれぞれに対応する「作業完了」の欄にOP作業完了ボタン(GUI)を表示しても良い。また、遠隔操作制御部503は、遠隔操作を行うことが許可された操作装置600により遠隔操作された天井クレーン100を用いて行われる作業のいずれか1つを選択し、選択した作業に対応する「作業完了」の欄にOP作業完了ボタン(GUI)を表示しても良い。例えば、遠隔操作制御部503は、遠隔操作を行うことが許可された操作装置600により遠隔操作された天井クレーン100を用いて行われる作業のうち、搬送元の位置410(管理画面7000の「To」の欄の情報)が当該天井クレーン100に備わる吊上具130の現在位置に最も近い作業に対応する「作業完了」の欄にOP作業完了ボタン(GUI)を表示させても良い。
【0094】
次に、
図9Aのタイミングt6において、遠隔操作制御部503は、作業実績テーブルに作業開始ログを記憶する(「制御装置」の欄の「作業指示ログ」を参照)。
図12は、作業実績テーブル12000の一例を示す図である。作業実績テーブル12000は、記憶部504に予め記憶されている。
図12(a)は、操作装置600に対する操作が許可された段階で作成される作業実績テーブル12000の一例を示す図である。本実施形態では、遠隔操作制御部503は、操作装置600による遠隔操作を許可した時刻を「作業開始時刻」とする。
図9Aに示す例では、天井クレーン100a(クレーンA)を遠隔操作するための操作装置600aに対する操作が許可されている。したがって、
図12(a)に示すように、「作業No」が「1011」の作業の「作業開始時刻」の欄に、操作装置600aによる遠隔操作を許可した時刻が格納される。
【0095】
次に、
図9Aのタイミングt7において、遠隔操作制御部503は、遠隔操作を許可した操作装置600aの操作に基づく天井クレーン100a(クレーンA)に対する動作指示情報を当該操作装置600から受信する。そして、遠隔操作制御部503は、当該動作指示情報を天井クレーン100aに設置されたクレーン用コンピュータ150aに送信する(「オペレータ」の欄の「Aの操作装置を操作」および「制御装置」の欄の「Aの動作指示」を参照)。そして、天井クレーン100aは、当該動作指示情報に基づいて動作する(「クレーンA」の「Cr」の欄の「動作」を参照)。このとき、操作装置600a以外の操作装置600b~600cによる遠隔操作は不許可になっているので、操作装置600b~600cを用いて天井クレーン100b~100cを遠隔操作することはできない。
【0096】
また、タイミングt7において、天井クレーン100aに設置されたクレーン用コンピュータ150aは、天井クレーン100aに備わる吊上具130の現在位置を制御装置500に送信する(「クレーンA」の「Cr」の欄の「現在地送信」を参照)。なお、ここでは、説明の都合上、タイミングt7において、「クレーンA」の「Cr」の欄に「現在地送信」を示すが、前述したように天井クレーン100に備わる吊上具130の現在位置は、所定の周期で繰り返し送信されており、その他のタイミングにおいても送信されている。
そして、遠隔操作制御部503は、天井クレーン100aに備わる吊上具130の現在位置と、作業指示情報に含まれる「From」および「to」の情報(コイルの搬送元の位置410のx-y-z座標、コイルの搬送先の位置420のx-y-z座標)と、に基づいて、作業実績テーブル12000に作業中ログを作成して、作業実績テーブル12000を更新する(「制御装置」の欄の「作業中ログ」を参照)。
【0097】
例えば、遠隔操作制御部503は、天井クレーン100aに備わる吊上具130の現在位置が、「作業No=1011」の「From」の情報(コイルの搬送元の位置410のx-y-z座標(=(ax,ay,az))であると判定すると、天井クレーン100aに備わる吊上具130が搬送元の位置410(荷受位置)に到着したと判定する。そして、
図12(b)に示すように、遠隔操作制御部503は、作業実績テーブル12000において、「作業No」が「1011」のレコードの「荷受位置到着時刻」の欄に、天井クレーン100aに備わる吊上具130が搬送元の位置410(荷受位置)に到着したと判定した時刻を格納する。
【0098】
その後、遠隔操作制御部503は、天井クレーン100aに備わる吊上具130の現在位置が、「作業No=1011」の「From」の情報(=(ax,ay,az))と異なる位置になったと判定すると、作業実績テーブル12000において、「作業No」が「1011」のレコードの「移動開始時刻」の欄に、当該判定した時刻を格納する。
【0099】
その後、遠隔操作制御部503は、天井クレーン100aに備わる吊上具130の現在位置が、「作業No=1011」の「To」の情報(=(bx,by,bz))であると判定すると、作業実績テーブル12000において、「作業No」が「1011」のレコードの「荷下位置到着時刻」の欄に、当該判定した時刻を格納する。
【0100】
図9Aでは、タイミングt7において、「作業No」が「1011」の遠隔操作が全て行われた場合を例示する。具体的に、タイミングt7において、搬送元の位置410a(=(ax,ay,az))から搬送先の位置420a(=(bx,by,bz))までコイルMが搬送されてコイルMが搬送先の位置420aに荷下ろしされる。
【0101】
次に、
図9Aのタイミングt8において、オペレータOPは、管理画面7000に表示されているOP作業完了ボタン7010を押下する(
図7Cおよび「オペレータ」の欄の「Aの操作停止入力」を参照)。遠隔操作制御部503は、OP作業完了ボタン7010の押下を検知すると、操作装置600aによる遠隔操作が終了したと判定し、操作装置600aによる遠隔操作を不許可にする(「制御装置」の欄の「Aの操作装置不許可」および「クレーンA」の「操作装置」の欄の「OFF」を参照)。
【0102】
また、タイミングt8において、遠隔操作制御部503は、OP作業完了ボタン7010の押下を検知すると、作業実績テーブル12000に作業中終了ログを作成して、作業実績テーブル12000を更新する(「制御装置」の欄の「作業終了ログ」を参照)。
図12(c)に示すように、遠隔操作制御部503は、作業実績テーブル12000において、「作業No」が「1011」のレコードの「作業完了時刻」の欄に、OP作業完了ボタン7010の押下を検知した時刻を格納する。なお、
図12(c)において、「作業No」が「1011」のレコードの「移動開始時刻」および「荷下位置到着時刻」は、タイミングt7において作業中ログとして既に格納されている。
【0103】
また、タイミングt8において、遠隔操作制御部503は、クレーン画像6001~6004の送信を停止することをクレーン用コンピュータ150aに指示する。これにより、クレーン用コンピュータ150aは、クレーン画像6001~6004の送信を停止する。したがって、画像取得部501は、クレーン画像6001~6004を取得しなくなる。そして、遠隔操作制御部503は、操作装置600aで遠隔操作される天井クレーン100aに設置されたクレーン画像6001~6004を表示するカメラモニタ800aにクレーン画像6001~6004を表示させることを終了する(「制御装置」の欄の「AのCr画面非表示」、「クレーンA」の「Cr画面」の欄の「OFF」を参照)。
【0104】
また、タイミングt8において、遠隔操作制御部503は、管理用モニタ900(900a~900c)に表示されている管理画面7000において、オペレータOPによって押下されたOP作業完了ボタン7010のレコード(行)を削除する(「制御装置」の欄の「管理画面更新」および「クレーンA」~「クレーンC」の「管理画面」の欄の「更新」を参照)。
図7Dは、遠隔操作が終了することにより更新された管理画面7000の一例を示す図である。ここでは、
図7Dに示すように、
図7B~
図7Cで表示されていた「作業No」が「1011」のレコードが削除される。
【0105】
また、タイミングt8において、遠隔操作制御部503は、オペレータ用カメラ700(700a~700c)を「OFF」する(「制御装置」の欄の「カメラOFF」および「クレーンA」~「クレーンC」の「OP用カメラ」の欄の「OFF」を参照)。なお、前述したようにオペレータ用カメラ700は、遠隔操作制御部503の制御により「ON」および「OFF」せずに、常時「ON」しても、不図示のセンサの移動物体の検知結果に基づいて「ON」および「OFF」しても良い。
【0106】
次に、
図9Bを参照しながら、タイミングt4において、オペレータOPが天井クレーン100を遠隔操作するための操作装置600の方向を向いていないことが画像認識部502によって認識された場合の本実施形態の遠隔操作システムにおける処理の具体例を説明する。
【0107】
図9Bにおいて、タイミングt1~t4における処理は
図9Aを参照しながら説明した処理と同じである。ただし、タイミングt4において、オペレータOPが天井クレーン100a~100cを遠隔操作するための操作装置600a~600cの方向を向いていないと判定されたものとする(「オペレータ」の欄の「A~Cの操作装置以外の方向を向く」を参照)。なお、タイミングt4において、オペレータOPが天井クレーン100aを遠隔操作するための操作装置600aの方向を向いていないが、天井クレーン100a以外の天井クレーン100bまたは100cを遠隔操作するための操作装置600bまたは600cの方向を向いている場合、以下の
図9Bに示すタイミングt5の処理は実行されずに、
図9Aに示すタイミングt4~t8における処理と同様の処理が、当該天井クレーン100bまたは100cおよび当該操作装置600bまたは600cに対する処理として実行される。
【0108】
この場合、
図9Bのタイミングt5において、遠隔操作制御部503は、天井クレーン100b~100c(クレーンB~C)を遠隔操作するための操作装置600b~600cだけでなく、天井クレーン100a(クレーンA)を遠隔操作するための操作装置600aによる遠隔操作も不許可にする(「制御装置」の欄の「A~C操作装置不許可」、「クレーンA」~「クレーンC」の「操作装置」の欄の「OFF」を参照)。
【0109】
また、タイミングt5において、遠隔操作制御部503は、クレーン画像6001~6004の送信を停止することをクレーン用コンピュータ150aに指示する。これにより、クレーン用コンピュータ150b~150cだけでなくクレーン用コンピュータ150aも、クレーン画像6001~6004の送信を停止する。したがって、画像取得部501は、クレーン画像6001~6004を取得しなくなる。そして、遠隔操作制御部503は、操作装置600aで遠隔操作される天井クレーン100aに設置されたクレーン画像6001~6004を表示するカメラモニタ800aにクレーン画像6001~6004を表示させることを終了する(「制御装置」の欄の「Cr画面非表示」および「クレーンA」の「Cr画面」の欄の「OFF」を参照)。
【0110】
また、タイミングt5において、遠隔操作制御部503は、画像認識部502による画像認識により、オペレータOPが天井クレーン100を遠隔操作するための操作装置600の方向を向いていないと判定された場合、警告を行うと共に、管理者コンピュータ1100にそのことを示す情報を送信する(「制御装置」の欄の「警告」を参照)。なお、前述したようにオペレータ画像5000において有資格者が撮影されているか否かを判定する場合、タイミングt5において、オペレータOPが天井クレーン100を遠隔操作するための操作装置600の方向を向いているが、当該オペレータOPが有資格者でないことが認識された場合に、警告を行うと共に、管理者コンピュータ1100にそのことを示す情報を送信しても良い。
【0111】
また、タイミングt5において、遠隔操作制御部503は、オペレータ用カメラ700(700a~700c)を「OFF」する(「制御装置」の欄の「カメラOFF」および「クレーンA」~「クレーンC」の「OP用カメラ」の欄の「OFF」を参照)。なお、前述したようにオペレータ用カメラ700は、遠隔操作制御部503の制御により「ON」および「OFF」せずに、常時「ON」しても、不図示のセンサの移動物体の検知結果に基づいて「ON」および「OFF」しても良い。
【0112】
次に、
図9Cを参照しながら、タイミングt7の途中において、「作業No」が「1011」の作業が全て行われる前に、タイミングt4で天井クレーン100を遠隔操作するための操作装置600の方向を向いていると判定されたオペレータOPが、当該操作装置600以外の方向を向いた場合の本実施形態の遠隔操作システムにおける処理の具体例を説明する。
【0113】
図9Cにおいて、タイミングt1~t8における処理は
図9Aを参照しながら説明した処理と同じである。ただし、タイミングt7において、「作業No」が「1011」の作業が全て行われる前に、オペレータOPが操作装置600a以外の方向を向き、操作装置600aを操作するオペレータOPが画像認識部502により認識されなくなったものとする(「オペレータ」の欄の「Aの操作装置以外の方向を向く」を参照)。
【0114】
この場合、
図9Cのタイミングt8において、遠隔操作制御部503は、天井クレーン100a(クレーンA)を遠隔操作するための操作装置600aによる遠隔操作を不許可にする(「制御装置」の欄の「Aの操作装置不許可」および「クレーンA」の「操作装置」の欄の「OFF」を参照)。
【0115】
また、タイミングt8において、遠隔操作制御部503は、作業実績テーブル12000に作業中断ログを作成して、作業実績テーブル12000を更新する(「制御装置」の欄の「作業中断ログ」を参照)。例えば、天井クレーン100aに備わる吊上具130が搬送元の位置410(荷受位置)に到着した段階で、操作装置600aを操作するオペレータOPが画像認識部502により認識されなくなった場合、遠隔操作制御部503は、
図12(b)に示す作業実績テーブル12000において、「作業No」が「1011」のレコードの「移動開始時刻」の欄に「中断中」であることを示す情報を格納する。
【0116】
また、タイミングt8において、遠隔操作制御部503は、クレーン画像6001~6004の送信を停止することをクレーン用コンピュータ150aに指示する。これにより、クレーン用コンピュータ150aは、クレーン画像6001~6004の送信を停止する。したがって、画像取得部501は、クレーン画像6001~6004を取得しなくなる。そして、遠隔操作制御部503は、操作装置600aで遠隔操作される天井クレーン100aに設置されたクレーン画像6001~6004を表示するカメラモニタ800aにクレーン画像6001~6004を表示させることを終了する(「制御装置」の欄の「AのCr画面非表示」および「クレーンA」の「Cr画面」の欄の「OFF」を参照)。
【0117】
また、タイミングt8において、遠隔操作制御部503は、管理用モニタ900(900a~900c)に表示されている管理画面7000において、タイミングt5で表示したOP作業完了ボタン7010を非表示する(「制御装置」の欄の「管理画面更新」および「クレーンA」~「クレーンC」の「管理画面」の欄の「更新」を参照)。
図9Cに示す例では、管理画面7000は、
図7Cに示す状態から
図7Bに示す状態になる。
【0118】
また、タイミングt8において、遠隔操作制御部503は、オペレータ用カメラ700(700a~700c)を「OFF」する(「制御装置」の欄の「カメラOFF」および「クレーンA」~「クレーンC」の「OP用カメラ」の欄の「OFF」を参照)。なお、前述したようにオペレータ用カメラ700は、遠隔操作制御部503の制御により「ON」および「OFF」せずに、常時「ON」しても、不図示のセンサの移動物体の検知結果に基づいて「ON」および「OFF」しても良い。
【0119】
なお、タイミングt8において、オペレータOPが天井クレーン100aを遠隔操作するための操作装置600aの方向を向いていないが、天井クレーン100a以外の天井クレーン100bまたは100cを遠隔操作するための操作装置600bまたは600cの方向を向いている場合、
図9Cに示すタイミングt8の処理が実行された後に、
図9Aに示すタイミングt4~t8における処理と同様の処理が、当該天井クレーン100bまたは100cおよび当該操作装置600bまたは600cに対する処理として実行される。
【0120】
<フローチャート>
次に、
図13のフローチャートを参照しながら、制御装置500を用いて実行される制御方法の一例を説明する。なお、
図13では、説明を簡単にするため、管理画面7000、作業指示テーブル10000、作業実績テーブル12000の更新についての説明を必要に応じて省略する。
ステップS1301において、遠隔操作制御部503は、上位コンピュータ1000から作業指示情報を受信して作業指示テーブル10000に記憶する(
図10(a)を参照)。
【0121】
次に、ステップS1302において、遠隔操作制御部503は、天井クレーン100(100a~100c)に備わる吊上具130の現在位置と、作業指示情報に含まれる「From」の情報(コイルの搬送元の位置410のx-y-z座標)と、に基づいて、作業指示情報に含まれる「作業No」のそれぞれの作業に対し天井クレーン100(100a~100c)を割り当てて作業指示テーブル10000を更新する(
図10(b)を参照)。
【0122】
次に、ステップS1303において、遠隔操作制御部503は、オペレータ用カメラ700(700a~700c)の起動を指示する。そして、画像取得部501は、オペレータ用カメラ700(700a~700c)で撮影されたオペレータ画像5000を取得する。
【0123】
次に、ステップS1304において、画像認識部502は、オペレータ画像5000に対する画像認識を行う。そして、ステップS1305において、画像認識部502は、画像認識の結果に基づいて、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いているか否かを判定する。
【0124】
この判定の結果、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いていない場合(ステップS1305でNOの場合)、後述するステップS1317の処理が行われる。一方、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いている場合(ステップS1305でYESの場合)、ステップS1306の処理が行われる。なお、ステップS1305では、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いていると判定された後、そのオペレータOPが有資格者であるか否か(そのオペレータOPがその操作装置600を用いて遠隔操作する資格を有しているか否か)をさらに判定しても良い。その場合、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いており、かつ、そのオペレータOPが有資格者である場合、ステップS1306の処理が行われ、そうでない場合に、後述するステップS1317の処理が行われる。
【0125】
ステップS1306において、遠隔操作制御部503は、オペレータOPが向いている操作装置600による遠隔操作のみを許可し、その他の操作装置600による遠隔操作を不許可にする。
【0126】
次に、ステップS1307において、画像取得部501は、操作装置600による遠隔操作が許可された天井クレーン100に設置されているクレーン用カメラ140(140a~140d)で撮影されたクレーン画像6001~6004を、クレーン用コンピュータ150から取得する。遠隔操作制御部503は、画像取得部501により取得されたクレーン画像6001~6004を、遠隔操作を許可した操作装置600に対して設置されているカメラモニタ800に表示させる。
【0127】
次に、ステップS1308において、遠隔操作制御部503は、管理画面7000において、ステップS1307で遠隔操作を行うことが許可された操作装置600により遠隔操作された天井クレーン100を用いて行われる作業に対応する「作業完了」の欄にOP作業完了ボタン7010を表示させる(
図7Cを参照)。
【0128】
次に、ステップS1309において、遠隔操作制御部503は、遠隔操作を許可した操作装置600の操作に基づく天井クレーン100に対する動作指示情報を当該操作装置600から受信し、当該動作指示情報を当該天井クレーン100に設置されたクレーン用コンピュータ150に送信する。
【0129】
次に、ステップS1310において、遠隔操作制御部503は、ステップS1308で表示させたOP作業完了ボタン7010がオペレータOPによって押下されたか否かを判定する。この判定の結果、OP作業完了ボタン7010が押下された場合(ステップS1310でYESの場合)、ステップS1311~S1313の処理は省略され、後述するステップS1314の処理が行われる。
【0130】
一方、OP作業完了ボタン7010が押下されていない場合(ステップS1310でNOの場合)、ステップS1311の処理が行われる。ステップS1311において、画像取得部501は、ステップS1303で取得したオペレータ画像5000の取得元のオペレータ用カメラ700(700a~700c)で撮影されたオペレータ画像5000を取得する。
【0131】
次に、ステップS1312において、画像認識部502は、ステップS1311で取得されたオペレータ画像5000に対する画像認識を行う。そして、ステップS1313において、画像認識部502は、画像認識の結果に基づいて、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いているか否かを判定する。この判定の結果、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いている場合(ステップS1313でYESの場合)、前述したステップS1309の処理が再び行われる。なお、ステップS1313では、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いていると判定された後、そのオペレータOPが有資格者であるか否か(そのオペレータOPがその操作装置600を用いて遠隔操作する資格を有しているか否か)をさらに判定しても良い。その場合、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いており、かつ、そのオペレータOPが有資格者である場合に、ステップS1309の処理が再び行われる。
【0132】
一方、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いていない場合(ステップS1313でNOの場合)、ステップS1314の処理が行われる。ステップS1314において、遠隔操作制御部503は、ステップS1307で遠隔操作を許可した操作装置600による遠隔操作を不許可にする。
【0133】
次に、ステップS1315において、遠隔操作制御部503は、操作装置600による遠隔操作が不許可にされた天井クレーン100に設置されているクレーン用カメラ140(140a~140d)で撮影されたクレーン画像6001~6004の取得の停止を指示し、当該操作装置600に対して設置されているカメラモニタ800にクレーン画像6001~6004を表示させることを停止する。
【0134】
次に、ステップS1316において、遠隔操作制御部503は、ステップS1301で取得した作業指示情報に含まれる全ての作業(全ての「作業No」についての作業)が終了したか否かを判定する。この判定の結果、全ての作業が終了していない場合(ステップS1316でNOの場合)、前述したステップS1303の処理が再び行われる。一方、全ての作業が終了した場合(ステップS1316でYESの場合)、
図13のフローチャートによる処理は終了する。
【0135】
前述したようにステップS1305の判定の結果、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いていない場合(ステップS1305でNOの場合)、ステップS1317の処理が行われる。ステップS1317において、遠隔操作制御部503は、警告を行うと共に、天井クレーン100を遠隔操作するための操作装置600の方向をオペレータOPが向いていないことを示す情報を管理者コンピュータ1100に送信する。そして、前述したステップS1316の処理が再び行われる。
【0136】
<まとめ>
以上のように本実施形態では、制御装置500は、オペレータ用カメラ700で撮影された撮影画像であるオペレータ画像5000に対する画像認識により、オペレータOPが複数の操作装置600a~600cのうちいずれか一つの操作装置600の方向を向いていることが認識された場合に、当該オペレータOPが向いている方向にある操作装置600による天井クレーン100の遠隔操作を許可すると共に、複数の操作装置600a~600cのうち当該オペレータOPが向いている方向にある操作装置600と異なる操作装置600による天井クレーン100の遠隔操作を不許可にする。したがって、オペレータOPが意図していない天井クレーン100を誤って操作してしまうことを防げると共に、オペレータOPに対し特別な操作を行わせることなく、遠隔操作を行う操作装置600による天井クレーン100の遠隔操作の許可および不許可を制御することができる。
【0137】
また、本実施形態では、制御装置500は、オペレータ用カメラ700で撮影されたオペレータ画像5000に対する画像認識により、複数の操作装置600a~600cのうちいずれか一つの操作装置600の方向を向いているオペレータOPが、予め登録されたオペレータOPであることが認識された場合に、当該オペレータOPが向いている方向にある操作装置600による天井クレーン100の遠隔操作を許可すると共に、複数の操作装置600a~600cのうち当該オペレータOPが向いている方向にある操作装置600と異なる操作装置600による天井クレーン100の遠隔操作を不許可にする。したがって、特定のオペレータOPを対象にして、天井クレーン100の遠隔操作の許可および不許可を制御することができる。
【0138】
また、本実施形態では、制御装置500は、オペレータ用カメラ700で撮影されたオペレータ画像5000に対する画像認識により、オペレータOPが複数の操作装置600a~600cのうちいずれか一つの操作装置600の方向を向いていることを認識した後、当該オペレータOPが当該操作装置600の方向を向いていないことを認識した場合、当該操作装置600による天井クレーン100の遠隔操作を不許可にする。したがって、操作装置600の遠隔操作を許可する期間をオペレータOPが当該操作装置600を向いている期間に合わせることができる。よって、オペレータOPが向いている方向にある操作装置600が変更された場合、その変更に合わせて遠隔操作の対象となる操作装置600を変更することができる。
【0139】
また、本実施形態では、制御装置500は、遠隔操作が許可されている天井クレーン100のみの撮影画像(クレーン画像6001~6004)を取得する。したがって、クレーン画像6001~6004の通信が頻繁に行われることによる通信トラフィックの増加を抑制することができる。また、複数の天井クレーン100に対するクレーン画像6001~6004のうち、遠隔操作を行う天井クレーン100に対するクレーン画像6001~6004のみがカメラモニタ800に表示される。したがって、オペレータOPは、クレーン画像6001~6004を見ることにより、遠隔操作の対象の天井クレーン100を容易に判断することができる。
【0140】
また、本実施形態では、天井クレーン100は、複数あり、1つの操作装置600で遠隔操作することが可能な天井クレーン100は、1つであり、複数の操作装置600において遠隔操作することが可能な天井クレーン100は、相互に異なる。このように操作装置600と天井クレーン100とを一対一で対応させることで、操作装置600は、当該操作装置600に対応する天井クレーン100の遠隔操作に必要なユーザインターフェースを備えていれば良くなる。したがって、オペレータOPによる操作ミスを抑制することができると共に、操作に対する高い習熟度を有していないオペレータOPであっても容易に且つ確実に天井クレーン100の遠隔操作を行うことができる。
【0141】
なお、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0142】
また、以上説明した本実施形態の開示は、例えば、次のようになる。
(開示1)
機器を遠隔操作するためにオペレータによって操作される複数の操作装置と、
前記複数の操作装置の前にいるオペレータを撮影可能な位置に設置された少なくとも1つのオペレータ用カメラと、
前記機器と、
の通信を行い、前記遠隔操作のための制御を行う制御装置であって、
前記オペレータ用カメラで撮影された撮影画像を含む画像を取得する画像取得手段と、
前記オペレータ用カメラで撮影された撮影画像に対する画像認識を行う画像認識手段と、
前記画像認識手段による画像認識により、前記オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする遠隔操作制御手段と、を備える、制御装置。
(開示2)
前記遠隔操作制御手段は、前記画像認識手段による画像認識により、前記複数の操作装置のうちいずれか一つの操作装置の方向を向いているオペレータが予め登録されたオペレータであることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする、開示1に記載の制御装置。
(開示3)
前記遠隔操作制御手段は、前記画像認識手段による画像認識により、オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された後、当該オペレータが当該操作装置の方向を向いていないことが認識された場合、当該操作装置による前記機器の遠隔操作を不許可にする、開示1または2に記載の制御装置。
(開示4)
前記制御装置は、前記機器を撮影可能な位置に設置された少なくとも1つの機器用カメラとの通信をさらに行い、
前記画像取得手段は、前記機器用カメラで撮影された前記機器の撮影画像をさらに取得し、
前記遠隔操作制御手段は、前記機器の撮影画像を表示装置に表示させ、
前記画像取得手段は、前記遠隔操作が許可されている前記機器のみの撮影画像を取得する、開示1~3のいずれか1つに記載の制御装置。
(開示5)
前記機器は、複数あり、
1つの前記操作装置で遠隔操作することが可能な前記機器は、1つであり、
前記複数の操作装置において遠隔操作することが可能な前記機器は、相互に異なる、開示1~4のいずれか1つに記載の制御装置。
(開示6)
前記機器は、天井クレーンである、開示1~5のいずれか1つに記載の制御装置。
(開示7)
機器を遠隔操作するためにオペレータによって操作される複数の操作装置と、
前記複数の操作装置の前にいるオペレータを撮影可能な位置に設置された少なくとも1つのオペレータ用カメラと、
前記機器と、
の通信を行い、前記遠隔操作のための制御を行う制御方法であって、
前記オペレータ用カメラで撮影された撮影画像を含む画像を取得する画像取得工程と、
前記オペレータ用カメラで撮影された撮影画像に対する画像認識を行う画像認識工程と、
前記画像認識工程による画像認識により、前記オペレータが前記複数の操作装置のうちいずれか一つの操作装置の方向を向いていることが認識された場合に、当該オペレータが向いている方向にある操作装置による前記機器の遠隔操作を許可すると共に、前記複数の操作装置のうち当該オペレータが向いている方向にある操作装置と異なる操作装置による前記機器の遠隔操作を不許可にする遠隔操作制御工程と、を備える、制御方法。
(開示8)
開示1~6のいずれか1つに記載の制御装置の各手段としてコンピュータを機能させるためのプログラム。
【符号の説明】
【0143】
100 天井クレーン
110 クレーン本体
111 ガーダ
112 サドル
113 車輪
120 トロリ
130 吊上具
131 索条
132 保持具
133 胴部
134 脚部
135 爪部
140 クレーン用カメラ
150 クレーン用コンピュータ
200 走行レール
210 コイル止め
300 トラックピット
410 コイルの搬送元の位置
420 コイルの搬送先の位置
500 制御装置
501 画像取得部
502 画像認識部
503 遠隔操作制御部
504 記憶部
600 操作装置
700 オペレータ用カメラ
800 カメラモニタ
900 管理用モニタ
1000 上位コンピュータ
1100 管理者コンピュータ
1200 椅子
1210 脚部
1220 キャスター
5000 オペレータ画像
6000 クレーン画面
6001~6004 クレーン画像
7000 管理画面
7010 OP作業完了ボタン
10000 作業指示テーブル
11000 有資格者テーブル
12000 作業実績テーブル
M コイル
MH コイルの中空領域
CR 管理室
X~Y 工場