(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-31
(45)【発行日】2025-04-08
(54)【発明の名称】自動撮影システム、自動撮影方法、プログラム、及びプログラムが記憶されたコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
H04N 23/60 20230101AFI20250401BHJP
G03B 15/00 20210101ALI20250401BHJP
【FI】
H04N23/60 100
G03B15/00 T
G03B15/00 Q
G03B15/00 P
G03B15/00 R
(21)【出願番号】P 2024541148
(86)(22)【出願日】2024-04-11
(86)【国際出願番号】 JP2024014713
【審査請求日】2024-07-09
(31)【優先権主張番号】P 2023124654
(32)【優先日】2023-07-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001258
【氏名又は名称】JFEスチール株式会社
(74)【代理人】
【識別番号】100103850
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【氏名又は名称】宮坂 徹
(74)【代理人】
【識別番号】100066980
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】長屋 皓紀
(72)【発明者】
【氏名】石垣 雄亮
(72)【発明者】
【氏名】西名 慶晃
【審査官】門田 宏
(56)【参考文献】
【文献】特開2020-176909(JP,A)
【文献】特開2021-086285(JP,A)
【文献】特開2021-076711(JP,A)
【文献】国際公開第2022/260133(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
G03B 15/00
G01N 21/85
G01N 21/88
(57)【特許請求の範囲】
【請求項1】
運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影システムであって、
前記スクラップを撮影する撮影装置と、
前記スクラップの移動速度を検出する移動速度検出手段と、
前記移動速度検出手段によって検出された前記スクラップの移動速度が所定値以下であるか否かを判定し、前記スクラップの移動速度が所定値以下であると判定された場合に、前記撮影装置に前記スクラップを撮影させるように制御する制御装置と、
を備え、
前記撮影装置が、所定の速度で首振りが可能なPTZカメラであり、
前記移動速度検出手段が、撮影対象を複数回撮影する可視カメラと、該可視カメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出するスクラップ検出部と、該スクラップ検出部で検出した各画像中のスクラップの位置を特定する位置特定部と、該位置特定部で特定された各画像中のスクラップの位置の変化に基づいて、前記スクラップの移動速度を検出する速度検出部とを備えていることを特徴とす
る自動撮影システム。
【請求項2】
運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影システムであって、
前記スクラップを撮影する撮影装置と、
前記スクラップの移動速度を検出する移動速度検出手段と、
前記移動速度検出手段によって検出された前記スクラップの移動速度が所定値以下であるか否かを判定し、前記スクラップの移動速度が所定値以下であると判定された場合に、前記撮影装置に前記スクラップを撮影させるように制御する制御装置と、
を備え、
前記撮影装置が、所定の速度で首振りが可能なPTZカメラであり、
前記移動速度検出手段が、前記撮影装置を兼用する所定の速度で首振りが可能なPTZカメラであって、首振りしつつ撮影対象を複数回撮影するPTZカメラと、該PTZカメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出するスクラップ検出部と、該スクラップ検出部で検出した各画像中のスクラップの位置を特定する位置特定部と、該位置特定部で特定された各画像中のスクラップの位置及び前記PTZカメラの首振り速度に基づいて、前記スクラップの移動速度を検出する速度検出部とを備えていることを特徴とす
る自動撮影システム。
【請求項3】
前記制御装置は、前記移動速度検出手段の前記位置特定部で特定された各画像中のスクラップの位置に基づいて前記撮影装置としての前記PTZカメラの撮影条件を演算して決定する撮影条件演算部と、該撮影条件演算部で決定された前記PTZカメラの撮影条件にて前記PTZカメラが前記スクラップを追尾するように制御する撮影条件制御部とを備えていることを特徴とする請求項
1又は2に記載の自動撮影システム。
【請求項4】
運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影方法であって、
移動速度検出手段によってスクラップの移動速度を検出する移動速度検出ステップと、
該移動速度検出ステップによって検出された前記スクラップの移動速度が所定値以下であるか否かを制御装置が判定する判定ステップと、
該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、制御装置が撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、
を含
み、
前記移動速度検出ステップでは、可視カメラによって撮影対象を複数回撮影し、スクラップ検出部において、前記可視カメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出し、位置特定部において、前記スクラップ検出部で検出した各画像中のスクラップの位置を特定し、速度検出部において、前記位置特定部で特定された各画像中のスクラップの位置の変化に基づいて、前記スクラップの移動速度を検出することを特徴とする自動撮影方法。
【請求項5】
制御装置に、
移動速度検出
ステップによって検出されたスクラップの移動速度が所定値以下であるか否かを判定する判定ステップと、
該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、
を実行させるためのプログラム
であり、
前記移動速度検出ステップでは、可視カメラによって撮影対象を複数回撮影し、スクラップ検出部において、前記可視カメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出し、位置特定部において、前記スクラップ検出部で検出した各画像中のスクラップの位置を特定し、速度検出部において、前記位置特定部で特定された各画像中のスクラップの位置の変化に基づいて、前記スクラップの移動速度を検出することを特徴とするプログラム。
【請求項6】
制御装置に、
移動速度検出
ステップによって検出されたスクラップの移動速度が所定値以下であるか否かを判定する判定ステップと、
該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、
を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記録媒体
であり、
前記移動速度検出ステップでは、可視カメラによって撮影対象を複数回撮影し、スクラップ検出部において、前記可視カメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出し、位置特定部において、前記スクラップ検出部で検出した各画像中のスクラップの位置を特定し、速度検出部において、前記位置特定部で特定された各画像中のスクラップの位置の変化に基づいて、前記スクラップの移動速度を検出することを特徴とするプログラムが記憶されたコンピュータ読み取り可能な記録媒体。
【請求項7】
運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影方法であって、
移動速度検出手段によってスクラップの移動速度を検出する移動速度検出ステップと、
該移動速度検出ステップによって検出された前記スクラップの移動速度が所定値以下であるか否かを制御装置が判定する判定ステップと、
該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、制御装置が撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、
を含み、
前記移動速度検出ステップでは、前記撮影装置を兼用する所定の速度で首振りが可能なPTZカメラによって首振りしつつ撮影対象を複数回撮影し、スクラップ検出部において、前記PTZカメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出し、位置特定部において、前記スクラップ検出部で検出した各画像中のスクラップの位置を特定し、速度検出部において、前記位置特定部で特定された各画像中のスクラップの位置及び前記PTZカメラの首振り速度に基づいて、前記スクラップの移動速度を検出することを特徴とする自動撮影方法。
【請求項8】
制御装置に、
移動速度検出ステップによって検出されたスクラップの移動速度が所定値以下であるか否かを判定する判定ステップと、
該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、
を実行させるためのプログラムであり、
前記移動速度検出ステップでは、前記撮影装置を兼用する所定の速度で首振りが可能なPTZカメラによって首振りしつつ撮影対象を複数回撮影し、スクラップ検出部において、前記PTZカメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出し、位置特定部において、前記スクラップ検出部で検出した各画像中のスクラップの位置を特定し、速度検出部において、前記位置特定部で特定された各画像中のスクラップの位置及び前記PTZカメラの首振り速度に基づいて、前記スクラップの移動速度を検出することを特徴とするプログラム。
【請求項9】
制御装置に、
移動速度検出ステップによって検出されたスクラップの移動速度が所定値以下であるか否かを判定する判定ステップと、
該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、
を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記録媒体であり、
前記移動速度検出ステップでは、前記撮影装置を兼用する所定の速度で首振りが可能なPTZカメラによって首振りしつつ撮影対象を複数回撮影し、スクラップ検出部において、前記PTZカメラが撮影した複数の画像を画像処理して各画像中のスクラップを検出し、位置特定部において、前記スクラップ検出部で検出した各画像中のスクラップの位置を特定し、速度検出部において、前記位置特定部で特定された各画像中のスクラップの位置及び前記PTZカメラの首振り速度に基づいて、前記スクラップの移動速度を検出することを特徴とするプログラムが記憶されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影システム、自動撮影方法、プログラム、及びプログラムが記憶されたコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
一般的に、製鉄所等において、スクラップの受け入れ時には、スクラップの等級の判定や禁忌物(除去すべき対象物)の検知等を行っている。また、溶鉱炉にスクラップを溶かす時には、スクラップの化学成分をその都度分析してスクラップ配合を調整している。
【0003】
ここで、鉄スクラップに含まれる禁忌物の有無を自動判定する場合であっても、禁忌物を見逃すことなく正確に判定可能な監視システムとして、従来、例えば、特許文献1に示すものが知られている。
特許文献1に示す監視システムは、鉄スクラップに対して別視点又は別タイミングで複数回撮影する撮影部と、撮影部の撮影により得られた複数の画像を所定の学習モデルに入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する禁忌物特定部と、禁忌物特定部により特定された確率が所定の閾値を超えたときに、禁忌物の種類、および、位置をそれぞれ出力する出力部とを備えている。ここで、鉄スクラップは運搬装置によって動き続けており、撮影部を構成する単一又は複数のカメラは運搬中の鉄スクラップを撮影対象としている。
【0004】
また、吊り具により鉄スクラップが持ち上げられる毎に静止画像を生成するスクラップ画像撮影システムとして、従来、例えば、特許文献2に示すものが知られている。
特許文献2に示すスクラップ画像撮影システムは、吊り具により鉄スクラップを持ち上げ、搬送するクレーンと、吊り具が所定の高さに到達した場合に、吊り具を含む範囲を撮影して静止画像を生成するカメラとを備えている。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第2022/260133号
【文献】特開2021-76711号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、これら従来の特許文献1に示す監視システム及び特許文献2に示すスクラップ画像撮影システムにあっては、以下の課題があった。
即ち、特許文献1に示す監視システムの場合、運搬中の鉄スクラップ、すなわち所定の速度で移動中のスクラップを撮影しているので、適切なタイミングで撮影ができないおそれがある。特に、スクラップがカメラの首振り速度以上の速度で移動している場合には、スクラップの撮影画像がぶれたり、カメラの撮影が追い付かなかったりする等の課題がある。
これに対し、特許文献2に示すスクラップ画像撮影システムの場合、吊り具が所定の高さに到達した場合に、吊り具を含む範囲を撮影しているので、適切なタイミングで撮影ができ、スクラップの撮影画像がぶれたりするおそれは少ない。しかし、吊り具が所定の高さに到達した場合のスクラップの画像しか撮影することができず、任意の位置でスクラップの画像を撮影することができなかった。
【0007】
従って、本発明はこの従来の課題を解決するためになされたものであり、その目的は、画像がぶれるおそれがなく質の高いスクラップの画像撮影を、スクラップの運搬途中の任意の位置で行うことができる、自動撮影システム、自動撮影方法、プログラム、及びプログラムが記憶されたコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の一態様に係る自動撮影システムは、運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影システムであって、前記スクラップを撮影する撮影装置と、前記スクラップの移動速度を検出する移動速度検出手段と、前記移動速度検出手段によって検出された前記スクラップの移動速度が所定値以下であるか否かを判定し、前記スクラップの移動速度が所定値以下であると判定された場合に、前記撮影装置に前記スクラップを撮影させるように制御する制御装置と、を備えることを要旨とする。
【0009】
また、本発明の別の態様に係る自動撮影方法は、運搬手段によって運搬されて移動するスクラップを自動で撮影する自動撮影方法であって、移動速度検出手段によってスクラップの移動速度を検出する移動速度検出ステップと、該移動速度検出ステップによって検出された前記スクラップの移動速度が所定値以下であるか否かを制御装置が判定する判定ステップと、該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、制御装置が撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、を含むことを要旨とする。
【0010】
また、本発明の別の態様に係るプログラムは、制御装置に、移動速度検出手段によって検出されたスクラップの移動速度が所定値以下であるか否かを判定する判定ステップと、該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、を実行させるためのプログラムである。
【0011】
また、本発明の別の態様に係るプログラムが記憶されたコンピュータ読み取り可能な記録媒体は、制御装置に、移動速度検出手段によって検出されたスクラップの移動速度が所定値以下であるか否かを判定する判定ステップと、該判定ステップによって前記スクラップの移動速度が所定値以下であると判定された場合に、撮影装置にスクラップを撮影させるように制御する撮影制御ステップと、を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0012】
本発明に係る自動撮影システム、自動撮影方法、プログラム、及びプログラムが記憶されたコンピュータ読み取り可能な記録媒体によれば、画像がぶれるおそれがなく質の高いスクラップの画像を、スクラップの運搬途中の任意の位置で撮影することができる。
【図面の簡単な説明】
【0013】
【
図1】本発明の第1実施形態に係る自動撮影システムの全体構成図である。
【
図2】
図1に示す自動撮影システムの機能ブロック図である。
【
図3】
図1に示す自動撮影システムにおける処理の流れを説明するためのフローチャートである。
【
図4】制御装置のハードウェア構成の一例を説明するための図である。
【
図5】本発明の第2実施形態に係る自動撮影システムの全体構成図である。
【
図6】
図5に示す自動撮影システムの機能ブロック図である。
【
図7】
図5に示す自動撮影システムにおける処理の流れを説明するためのフローチャートである。
【
図8】スクラップのスクラップ置き場への受入時の撮影例を示すもので、ダンプカーから積み下ろされる最中のスクラップを撮影する例を示す図である。
【
図9】スクラップのスクラップ置き場への受入時の撮影例を示すもので、セミトレーラーで運ばれたスクラップをリフティングマグネットで吊り上げる場合に、リフティングマグネットで吊り上げられたスクラップ、及びセミトレーラーに残ったスクラップを撮影する例を示す図である。
【
図10】スクラップのスクラップ置き場での保管時の撮影例を示すもので、スクラップ置き場に保管されたスクラップの山を撮影する例を示す図である。
【
図11】スクラップのスクラップ置き場からの払出時の撮影例を示すもので、スクラップの山からバスケットを介してスクラップを炉に投入する場合に、スクラップの山、リフティングマグネットで吊り上げたスクラップ、バスケットに投入したスクラップ、及び炉に投入するスクラップを撮影する例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を図面を参照して説明する。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記の実施形態に特定するものではない。
また、図面は模式的なものである。そのため、厚みと平面寸法との関係、比率等は現実のものとは異なることに留意すべきであり、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0015】
(第1実施形態)
図1には、本発明の第1実施形態に係る自動撮影システムの全体構成が示されている。
図1に示す自動撮影システム1は、運搬手段としてのダンプカー50によって運搬されて移動するスクラップSを自動で撮影するものである。
自動撮影システム1は、スクラップSを撮影する撮影装置としてのPTZ(Panoramac・Tilt・Zoom)カメラ30と、スクラップSの移動速度を検出する移動速度検出手段10と、制御装置20と、撮影画像出力装置40とを備えている。
【0016】
先ず、PTZカメラ30は、PTZ機能を有するもので、遠隔操作で水平方向及び垂直方向に所定の速度で首振りが可能となっているとともに、拡大・縮小のズーム機能を有してスクラップSを撮像する。PTZカメラ30は、制御装置20の後述する撮影条件演算部24(
図2参照)で決定されたPTZカメラ30の撮影条件にてスクラップSを追尾するように撮影条件制御部25(
図2参照)により制御される。そして、PTZカメラ30は、制御装置20の後述する判定部27によってスクラップSの移動速度が所定値以下であると判定された場合に、撮影タイミング制御部28によってスクラップSを撮影するように制御され、撮影条件演算部24(
図2参照)で決定されたPTZカメラ30の撮影方向やズーム倍率等の撮影条件にてスクラップSを撮影する。本実施形態においては、PTZカメラ30は、
図1に示すように、ダンプカー50によって運搬されたスクラップSの移動速度がダンプカー50が停止することによって0m/sとなった時の、ダンプアップしてスクラップ置き場に積み下ろされたスクラップSがある撮影領域Bを撮影する。
【0017】
移動速度検出手段10は、スクラップSの移動速度を検出するもので、
図1及び
図2に示すように、撮影対象としてのスクラップ置き場の全体Aを複数回撮影する固定された可視カメラ11と、制御装置20の後述する画像取得部21と、スクラップ検出部22と、位置特定部23と、速度検出部26とで構成されている。
【0018】
可視カメラ11は、スクラップ置き場の全体Aが写るように図示しない固定部材に固定されており、スクラップ置き場にスクラップSが存在するか否かに関わらず、スクラップ置き場の全体Aを複数回撮影する。可視カメラ11による画像の撮影方法は、特に限定されず、静止画を断続的もしくは連続的に撮影する方法でもよく、動画を撮影して静止画として切り出す方法でもよい。
図1に示すように、運搬手段としてのダンプカー50によってスクラップSが運搬され、スクラップ置き場にてダンプカー50は停止し、ダンプアップしてスクラップSをスクラップ置き場に積み下ろす。この場合、可視カメラ11によってスクラップ置き場の全体Aを複数回撮影することで、ダンプカー50によって運搬されて移動するスクラップSの複数の画像を得ることができる。得られたこのスクラップSの複数の画像に基づいて、制御装置20の画像取得部21、スクラップ検出部22、位置特定部23、及び速度検出部26によってスクラップSの移動速度を検出する。制御装置20の画像取得部21、スクラップ検出部22、位置特定部23、及び速度検出部26の詳細な構成及び機能は後述する。
【0019】
制御装置20は、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定し、スクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する機能を有する。また、制御装置20は、移動速度検出手段10の位置特定部23で特定された各画像中のスクラップSの位置に基づいて撮影装置としてのPTZカメラ30の撮影条件を演算して決定し、決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御する機能も有する。また、制御装置20は、PTZカメラ30で撮像された撮影画像を撮影画像出力装置40に出力する機能をも有する。
【0020】
制御装置20は、
図2に示すように、移動速度検出手段10を構成する画像取得部21、スクラップ検出部22、位置特定部23、及び速度検出部26を備えている。また、制御装置20は、判定部27及び撮影タイミング制御部28を備えている。また、制御装置20は、撮影条件演算部24、撮影条件制御部25、及び撮影画像取得部29を備えている。
制御装置20のハードウェア構成について
図4を参照して説明すると、制御装置20は、CPU202を備えた演算処理装置201で構成されている。CPU202には、内部バス203を介してRAM、ROM等の内部記憶装置204、外部記憶装置205、キーボード、マウス等の入力装置206、及び撮影画像出力装置40(
図2参照)に撮影画像のデータを出力する出力装置207が接続されている。
【0021】
制御装置20の外部記憶装置205は、ハードディスクドライブやソリッドステートドライブ等の読み出しが可能なディスクドライブと、記録媒体からのデータを読み出すCD、DVD、BD等のドライブ装置を含んで構成されている。この外部記憶装置205に、制御装置20に画像取得部21による画像取得機能、スクラップ検出部22によるスクラップ検出機能、位置特定部23による位置特定機能、速度検出部26による速度検出機能、判定部27による判定機能、撮影タイミング制御部28による撮影タイミング制御機能、撮影条件演算部24による撮影条件演算機能、撮影条件制御部25による撮影条件制御機能、及び撮影画像取得部29による撮影画像取得機能(後述するステップS2~S11)を実行させるためのプログラムを記憶した記録媒体208をセットし、読み出したプログラムをディスクドライブにインストールする。このプログラムのインストールは、記録媒体208を使用する場合に限らず、ネットワークを介して当該プログラムをダウンロードするようにしてもよい。
【0022】
制御装置20のCPU202は、インストールされたプログラムの命令に従って、画像取得機能、スクラップ検出機能、位置特定機能、速度検出機能、判定機能、撮影タイミング制御機能、撮影条件演算機能、撮影条件制御機能、及び撮影画像取得機能(後述するステップS2~S11)を実行し、撮影画像出力装置40に撮影画像のデータを出力する。
ここで、制御装置20(移動速度検出手段10)の画像取得部21は、可視カメラ11によって複数回撮影されたスクラップ置き場の全体Aの複数の画像を取得する。
【0023】
また、制御装置20(移動速度検出手段10)のスクラップ検出部22は、可視カメラ11が撮影したスクラップ置き場の全体Aの複数の画像、つまり画像取得部21で取得した複数の画像を画像処理して各画像中のスクラップSを検出する。具体的に述べると、スクラップ検出部22は、図示しないモデル生成部で生成されたスクラップ検出モデルに、画像取得部21で取得した複数の画像を入力して各画像中にスクラップSが検出されるか否かを判定する。スクラップ検出モデルは、スクラップ置き場の全体AにおいてスクラップSが移動する状態の画像データを学習データとして機械学習させてなるモデルである。
【0024】
また、制御装置20(移動速度検出手段10)の位置特定部23は、スクラップ検出部22で検出した各画像中のスクラップSの位置(座標)を特定する。つまり、スクラップ検出部22によって各画像中にスクラップSが検出されていると判定された場合に、各画像中のスクラップSの位置(座標)を特定する。なお、位置特定部23は、画像中のスクラップSではなくスクラップSを運搬するダンプカー50の位置(座標)を特定しても良い。この場合、位置特定部23は、ダンプカー50の位置からダンプカー50上のスクラップSの位置(座標)を推定する。
【0025】
また、制御装置20の撮影条件演算部24は、位置特定部23で特定された各画像中のスクラップSの位置に基づいてPTZカメラ30の撮影方向やズーム倍率等の撮影条件を演算して決定する。
また、制御装置20の撮影条件制御部25は、撮影条件演算部24で決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御する。
【0026】
一方、制御装置20(移動速度検出手段10)の速度検出部26は、移動速度検出手段10の位置特定部23で特定された各画像中のスクラップSの位置の変化に基づいて、スクラップSの移動速度を検出する。具体的に述べると、このスクラップSの移動速度は、スクラップSの絶対速度であっても、PTZカメラ30に対するスクラップSの相対速度であってもよい。スクラップSの移動速度がスクラップSの絶対速度の場合、位置特定部23で特定された複数画像における各画像中のスクラップの位置の変化を、可視カメラ11での複数回の撮影間隔(時間)で除算した値がスクラップSの移動速度とされる。一方、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度である場合、位置特定部23で特定された複数画像における各画像中のスクラップの位置の変化を、可視カメラ11での複数回の撮影間隔(時間)で除算した値からPTZカメラ30の首振り速度を減算した値がスクラップSの移動速度とされる。
【0027】
また、制御装置20の判定部27は、移動速度検出手段10の速度検出部26によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する。ここで、「所定値」は、カメラの性能等によって適宜設定されるが、例えば、スクラップSの移動速度がスクラップSの絶対速度の場合、10m/sであることが好ましく、5m/sであることがより好ましく、0m/s、すなわちスクラップSが停止している状態であることが特に好ましい。
図1に示すように、スクラップ置き場にてダンプカー50が停止した場合、スクラップSが停止しているとされて、判定部27は、スクラップSの移動速度が所定値以下と判定する。また、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度である場合、「所定値」は2m/sであることが好ましく、1m/sであることがより好ましく、0m/s、すなわちスクラップSの移動速度とPTZカメラ30の首振り速度とが同じ速度であることが特に好ましい。
【0028】
また、制御装置20の撮影タイミング制御部28は、判定部27によってスクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する。
そして、PTZカメラ30は、前述したように、撮影条件制御部25によってスクラップSを追尾するように制御されているが、判定部27によってスクラップSの移動速度が所定値以下であると判定された場合に、撮影タイミング制御部28によってスクラップSを撮影するように制御され、撮影条件演算部24で決定されたPTZカメラ30の撮影方向やズーム倍率等の撮影条件にてスクラップSを撮影する。
【0029】
そして、制御装置20の撮影画像取得部29は、PTZカメラ30で撮影されたスクラップSの撮影画像を取得し、撮影画像出力装置40に対しその取得したスクラップSの撮影画像のデータを出力する。
また、撮影画像出力装置40は、撮影画像取得部29から出力されたスクラップSの撮影画像のデータに基づき、スクラップSの撮影画像を出力する。撮影画像出力装置40をディスプレイで構成した場合、撮影画像出力装置40は、スクラップSの撮影画像を表示する。撮影画像出力装置40は、ディスプレイで構成されてスクラップSの撮影画像を表示する場合のみならず、プリンタで構成されてスクラップSの撮影画像を印刷したり、あるいはネットワーク経由で他の機器にスクラップSの撮影画像を送信するようにしてもよい。
【0030】
撮影画像出力装置40から出力されたスクラップSの撮影画像は、図示しないスクラップ画像利用装置に入力されて、スクラップ画像利用装置において、スクラップSの等級判定、禁忌物の検知、およびスクラップSの化学成分推定のうちの少なくともいずれかが行われる。
なお、撮影画像出力装置40をこのスクラップ画像利用装置に接続しておき、撮影画像出力装置40からスクラップSの撮影画像を自動でスクラップ画像利用装置に入力し、スクラップ画像利用装置において、スクラップSの等級判定、禁忌物の検知、およびスクラップSの化学成分推定のうちの少なくともいずれかを自動で行うようにしてもよい。
【0031】
ここで、スクラップSの等級判定に際しては、スクラップ画像利用装置において、等級判定できるように予めスクラップSの画像を学習させた等級判定モデルに、撮影画像出力装置40からのスクラップSの撮影画像を入力することでスクラップSの等級判定を行う。
また、禁忌物の検知に際しては、スクラップ画像利用装置において、禁忌物の検知ができるように予めスクラップSの画像を学習させた禁忌物検知モデルに、撮影画像出力装置40からのスクラップSの撮影画像を入力することで禁忌物の検知を行う。
【0032】
更に、スクラップSの化学成分推定に際しては、スクラップ画像利用装置において、スクラップSの種類が判別できるように予めスクラップSの画像を学習させた種類判別モデルに、撮影画像出力装置40からのスクラップSの撮影画像を入力することで撮影画像に写っているスクラップSの種類を判別する。そして、スクラップ画像利用装置が、そのスクラップSの種類毎の割合、および予め分かっている種類毎の成分から撮影画像中のスクラップSの化学成分を推定する。これにより、スクラップSを溶鉱炉に溶かす前にスクラップSの成分を推定することができ、より狙い通りの成分割合の金属製品を効率的に製造することが可能となる。
【0033】
次に、自動撮影システム1における処理の流れについて
図3を参照して説明する。
図3は、
図1に示す自動撮影システムにおける処理の流れを説明するためのフローチャートである。
先ず、ステップS1において、移動速度検出手段10の可視カメラ11は、撮影対象としてのスクラップ置き場の全体Aを複数回撮影する(固定撮影ステップ)。
次いで、ステップS2において、制御装置20(移動速度検出手段10)の画像取得部21は、ステップS1によって複数回撮影されたスクラップ置き場の全体Aの複数の画像を取得する(画像取得ステップ)。
【0034】
次いで、ステップS3において、制御装置20(移動速度検出手段10)のスクラップ検出部22は、ステップS2で取得したスクラップ置き場の全体Aの複数の画像の各画像中にスクラップSが検出されるか否かを判定する(スクラップ検出ステップ)。
そして、ステップS3における判定結果がYESの場合、ステップS4に移行し、当該判定結果がNOの場合、ステップS1に戻る。
ステップS4において、制御装置20(移動速度検出手段10)の位置特定部23は、ステップS3で検出した各画像中のスクラップSの位置(座標)を特定する(位置特定ステップ)。
ステップS4が終了したら、ステップS5とステップS7とが同時に実施される。
【0035】
ステップS5において、制御装置20の撮影条件演算部24は、ステップS4で特定された各画像中のスクラップSの位置に基づいてPTZカメラ30の撮影方向やズーム倍率等の撮影条件を演算して決定する(撮影条件演算ステップ)。
次いで、ステップS6において、制御装置20の撮影条件制御部25は、ステップS5で決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御し(撮影条件制御ステップ)、後述するステップS8(判定ステップ)に移行する。
【0036】
一方、ステップS7において、制御装置20(移動速度検出手段10)の速度検出部26は、ステップS4で特定された各画像中のスクラップSの位置の変化に基づいて、スクラップSの移動速度を検出する(速度検出ステップ)。具体的に述べると、このスクラップSの移動速度は、スクラップSの絶対速度であっても、PTZカメラ30に対するスクラップSの相対速度であってもよい。スクラップSの移動速度がスクラップSの絶対速度の場合、ステップS4で特定された複数画像における各画像中のスクラップSの位置の変化を、可視カメラ11での複数回の撮影間隔(時間)で除算した値がスクラップSの移動速度とされる。一方、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度である場合、ステップS4で特定された複数画像における各画像中のスクラップSの位置の変化を、可視カメラ11での複数回の撮影間隔(時間)で除算した値からPTZカメラ30の首振り速度を減算した値がスクラップSの移動速度とされる。
【0037】
ステップS1(固定撮影ステップ)、ステップS2(画像取得ステップ)、ステップS3(スクラップ検出ステップ)、ステップS4(位置特定ステップ)及びステップS7(速度検出ステップ)により、移動速度検出ステップが構成される。
次いで、ステップS8において、制御装置20の判定部27は、ステップS7によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する(判定ステップ)。ここで、「所定値」は、カメラの性能等によって適宜設定されるが、例えば、スクラップSの移動速度がスクラップSの絶対速度の場合、10m/sであることが好ましく、5m/sであることがより好ましく、0m/s、すなわちスクラップSが停止している状態であることが特に好ましい。また、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度である場合、「所定値」は2m/sであることが好ましく、1m/sであることがより好ましく、0m/s、すなわちスクラップSの移動速度とPTZカメラ30の首振り速度とが同じ速度であることが特に好ましい。
【0038】
そして、ステップS8における判定結果がYESの場合(スクラップSの移動速度が所定値以下である場合)、ステップS9に移行し、当該判定結果がNOの場合、ステップS1に戻る。
ステップS9において、制御装置20の撮影タイミング制御部28は、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する(撮影制御ステップ)。
次いで、ステップS10において、PTZカメラ30は、ステップS5で決定されたPTZカメラ30の撮影方向やズーム倍率等の撮影条件にてスクラップSを撮影する(スクラップ撮影ステップ)。
次いで、ステップS11において、制御装置20の撮影画像取得部29は、ステップS10で撮影されたスクラップSの撮影画像を取得し、撮影画像出力装置40に対しその取得したスクラップSの撮影画像のデータを出力する(撮影画像取得ステップ)。
【0039】
最後に、ステップS12において、撮影画像出力装置40は、ステップS11で出力されたスクラップSの撮影画像のデータに基づき、スクラップSの撮影画像を出力する。
このように、第1実施形態に係る自動撮影システム1によれば、スクラップSを撮影する撮影装置としてのPTZカメラ30と、スクラップSの移動速度を検出する移動速度検出手段10と、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定し、スクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する制御装置20とを備えている。
【0040】
これにより、スクラップSの移動速度が所定値以下になった際に撮影装置としてのPTZカメラ30がスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。そして、質の高いスクラップSの画像を用いることで、スクラップSの等級判定、禁忌物の検知、及びスクラップSの化学成分の推定を正確に実施することが可能となる。
【0041】
また、第1実施形態に係る自動撮影システム1によれば、撮影装置が、所定の速度で首振りが可能なPTZカメラ30である。これにより、PTZカメラ30が首振りしつつ移動するスクラップSを追従し、移動するスクラップSを的確に撮影することができる。
また、第1実施形態に係る自動撮影システム1によれば、移動速度検出手段10が、撮影対象を複数回撮影する固定された可視カメラ11と、可視カメラ11が撮影した複数の画像を画像処理して各画像中のスクラップSを検出するスクラップ検出部22と、スクラップ検出部22で検出した各画像中のスクラップSの位置を特定する位置特定部23と、位置特定部23で特定された各画像中のスクラップSの位置の変化に基づいて、スクラップSの移動速度を検出する速度検出部26とを備えている。
これにより、移動速度検出手段10を構成する可視カメラ11とスクラップSを撮影する撮影装置としてのPTZカメラ30の2台のカメラを使い分けることで、スクラップSの位置及びスクラップSの移動速度を精度よく検出することができる。
【0042】
また、第1実施形態に係る自動撮影システム1によれば、制御装置20は、移動速度検出手段10の位置特定部23で特定された各画像中のスクラップSの位置に基づいて撮影装置としてのPTZカメラ30の撮影条件を演算して決定する撮影条件演算部24と、撮影条件演算部24で決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御する撮影条件制御部25とを備えている。
これにより、PTZカメラ30がスクラップSの位置に応じて適切にスクラップSを追尾するように制御することができる。
【0043】
また、第1実施形態に係る自動撮影方法によれば、移動速度検出手段10によってスクラップSの移動速度を検出する移動速度検出ステップ(ステップS1、ステップS2、ステップS3、ステップS4及びステップS7)と、移動速度検出ステップによって検出されたスクラップSの移動速度が所定値以下であるか否かを制御装置20が判定する判定ステップ(ステップS8)と、判定ステップによってスクラップSの移動速度が所定値以下であると判定された場合に、制御装置20が撮影装置としてのPTZカメラ30にスクラップを撮影させるように制御する撮影制御ステップ(ステップS9)と、を含む。
これにより、スクラップSの移動速度が所定値以下になった際に撮影装置としてのPTZカメラ30がスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。そして、質の高いスクラップSの画像を用いることで、スクラップSの等級判定、禁忌物の検知、及びスクラップSの化学成分の推定を正確に実施することが可能となる。
【0044】
また、第1実施形態に係るプログラムによれば、制御装置20に、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する判定ステップ(ステップS8)と、判定ステップによってスクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する撮影制御ステップ(ステップS9)と、を実行させるためのプログラムである。
これにより、スクラップSの移動速度が所定値以下になった際にスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。
【0045】
また、第1実施形態に係るプログラムが記憶されたコンピュータ読み取り可能な記録媒体208によれば、制御装置20に、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する判定ステップ(ステップS8)と、判定ステップによってスクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する撮影制御ステップ(ステップS9)と、を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記録媒体208である。
これにより、スクラップSの移動速度が所定値以下になった際にスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。
【0046】
(第2実施形態)
次に、本発明の第2実施形態に係る自動撮影システム、自動撮影方法、プログラム、及びプログラムが記憶されたコンピュータ読み取り可能な記録媒体について、
図5乃至
図7を参照して説明する。
図5は、本発明の第2実施形態に係る自動撮影システムの全体構成図である。
図6は、
図5に示す自動撮影システムの機能ブロック図である。
図7は、
図5に示す自動撮影システムにおける処理の流れを説明するためのフローチャートである。
図5に示す自動撮影システム1は、運搬手段としてのリフティングマグネット51によって運搬されて移動するスクラップSを自動で撮影するものである。
自動撮影システム1は、
図1に示す第1実施形態に係る自動撮影システム1と同様に、スクラップSを撮影する撮影装置としてのPTZカメラ30と、スクラップSの移動速度を検出する移動速度検出手段10と、制御装置20と、撮影画像出力装置40とを備えている。
【0047】
ここで、PTZカメラ30は、PTZ機能を有するもので、遠隔操作で水平方向及び垂直方向に所定の速度で首振りが可能となっているとともに、拡大・縮小のズーム機能を有してスクラップSを撮像する。PTZカメラ30は、制御装置20の後述する撮影条件演算部24(
図6参照)で決定されたPTZカメラ30の撮影条件にてスクラップSを追尾するように撮影条件制御部25(
図6参照)により制御される。そして、PTZカメラ30は、制御装置20の後述する判定部27によってスクラップSの移動速度が所定値以下であると判定された場合に、撮影タイミング制御部28によってスクラップSを撮影させるように制御され、撮影条件演算部24(
図6参照)で決定されたPTZカメラ30の撮影方向やズーム倍率等の撮影条件にてスクラップSを撮影する。本実施形態においては、PTZカメラ30は、
図5に示すように、リフティングマグネット51によって運搬されたスクラップSの移動速度がリフティングマグネット51が停止することによって0m/sとなった時のリフティングマグネット51により吊り下げられているスクラップSのある撮影領域Cを撮影する。
【0048】
移動速度検出手段10は、スクラップSの移動速度を検出するものであるが、第1実施形態に係る自動撮影システム1における移動速度検出手段10と異なり、
図5及び
図6に示すように、撮影装置を兼用する所定の速度で首振りが可能なPTZカメラ30であって、首振りしつつ撮影対象としての移動するスクラップSを複数回撮影するPTZカメラ30と、制御装置20の後述する画像取得部21と、スクラップ検出部22と、位置特定部23と、速度検出部26とで構成されている。
【0049】
PTZカメラ30は、前述したリフティングマグネット51が停止して吊り下げられているスクラップSのある撮影領域Cを撮影する前に、リフティングマグネット51によって運搬されて移動するスクラップSを首振りしつつ複数回撮影する。PTZカメラ30によって移動するスクラップSを首振りしつつ複数回撮影することで、移動するスクラップSの複数の画像を得ることができる。得られたこのスクラップSの複数の画像に基づいて、制御装置20の画像取得部21、スクラップ検出部22、位置特定部23、及び速度検出部26によってスクラップSの移動速度を検出する。制御装置20の画像取得部21、スクラップ検出部22、位置特定部23、及び速度検出部26の詳細な構成及び機能は後述する。
このように、撮影装置としてのPTZカメラ30が移動速度検出手段10を構成するカメラを兼用することで、1台のカメラによってスクラップSの位置、スクラップSの移動速度の検出、及びスクラップSの撮影を行うことができることになる。
【0050】
制御装置20は、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定し、スクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する機能を有する。また、制御装置20は、移動速度検出手段10の位置特定部23で特定された各画像中のスクラップSの位置に基づいて撮影装置としてのPTZカメラ30の撮影条件を演算して決定し、決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御する機能も有する。また、制御装置20は、PTZカメラ30で撮像された撮影画像を撮影画像出力装置40に出力する機能をも有する。
【0051】
制御装置20は、
図6に示すように、移動速度検出手段10を構成する画像取得部21、スクラップ検出部22、位置特定部23、及び速度検出部26を備えている。また、制御装置20は、判定部27及び撮影タイミング制御部28を備えている。また、制御装置20は、撮影条件演算部24、撮影条件制御部25、及び撮影画像取得部29を備えている。
【0052】
制御装置20のハードウェア構成については
図4に示したものと同様であり、その説明を省略する。なお、制御装置20の外部記憶装置205に、制御装置20に画像取得部21による画像取得機能、スクラップ検出部22によるスクラップ検出機能、位置特定部23による位置特定機能、速度検出部26による速度検出機能、判定部27による判定機能、撮影タイミング制御部28による撮影タイミング制御機能、撮影条件演算部24による撮影条件演算機能、撮影条件制御部25による撮影条件制御機能、及び撮影画像取得部29による撮影画像取得機能(後述するステップS22~S31)を実行させるためのプログラムを記憶した記録媒体208をセットし、読み出したプログラムをディスクドライブにインストールする。このプログラムのインストールは、記録媒体208を使用する場合に限らず、ネットワークを介して当該プログラムをダウンロードするようにしてもよい。
制御装置20(移動速度検出手段10)の画像取得部21は、移動速度検出手段10のPTZカメラ30によって複数回撮影された移動するスクラップSの複数の画像を取得する。
【0053】
また、制御装置20(移動速度検出手段10)のスクラップ検出部22は、PTZカメラ30によって複数回撮影された移動するスクラップSの複数の画像、つまり画像取得部21で取得した複数の画像を画像処理して各画像中のスクラップSを検出する。具体的に述べると、スクラップ検出部22は、図示しないモデル生成部で生成されたスクラップ検出モデルに、画像取得部21で取得した複数の画像を入力して各画像中にスクラップSが検出されるか否かを判定する。
【0054】
また、制御装置20(移動速度検出手段10)の位置特定部23は、スクラップ検出部22で検出した各画像中のスクラップSの位置(座標)を特定する。つまり、スクラップ検出部22によって各画像中にスクラップSが検出されていると判定された場合に、各画像中のスクラップSの位置(座標)を特定する。なお、位置特定部23は、画像中のスクラップSではなくスクラップSを運搬するリフティングマグネット51の位置(座標)を特定しても良い。この場合、位置特定部23は、リフティングマグネット51の位置からリフティングマグネット51の下部にあるスクラップSの位置(座標)を推定する。
【0055】
また、制御装置20の撮影条件演算部24は、位置特定部23で特定された各画像中のスクラップSの位置に基づいて撮影装置としてのPTZカメラ30の撮影方向やズーム倍率等の撮影条件を演算して決定する。
また、制御装置20の撮影条件制御部25は、撮影条件演算部24で決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御する。
【0056】
一方、制御装置20(移動速度検出手段10)の速度検出部26は、位置特定部23で特定された各画像中のスクラップSの位置及びPTZカメラ30の首振り速度に基づいて、スクラップSの移動速度を検出する。具体的に述べると、スクラップSの移動速度は、スクラップSの絶対速度であっても、PTZカメラ30に対するスクラップSの相対速度であってもよい。スクラップSの移動速度がスクラップSの絶対速度の場合について説明する。スクラップ検出部22において、PTZカメラ30によって複数回撮影された移動するスクラップSの複数の画像中のスクラップSを検出し、位置特定部23が、スクラップ検出部22で検出した各画像中のスクラップSの位置(座標)を特定しているので、PTZカメラ30はスクラップSを追尾できているとして、速度検出部26は、このときのPTZカメラ30の首振り速度を算出する。そして、この算出したPTZカメラ30の首振り速度がスクラップSの移動速度(絶対速度)となる。また、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度の場合、位置特定部23で特定された各画像中のスクラップSの位置の変化から、PTZカメラ30の首振り速度とスクラップSの移動速度との差を推定し、この推定した速度の差がスクラップSの移動速度(相対速度)となる。
【0057】
また、制御装置20の判定部27は、移動速度検出手段10の速度検出部26によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する。ここで、「所定値」は、カメラの性能等によって適宜設定されるが、例えば、スクラップSの移動速度がスクラップSの絶対速度の場合、10m/sであることが好ましく、5m/sであることがより好ましく、0m/s、すなわちスクラップSが停止している状態であることが特に好ましい。また、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度である場合、「所定値」は2m/sであることが好ましく、1m/sであることがより好ましく、0m/s、すなわちスクラップSの移動速度とPTZカメラ30の首振り速度とが同じ速度であることが特に好ましい。
【0058】
また、制御装置20の撮影タイミング制御部28は、判定部27によってスクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する。
そして、PTZカメラ30は、前述したように、撮影条件制御部25によってスクラップSを追尾するように制御されているが、判定部27によってスクラップSの移動速度が所定値以下であると判定された場合に、撮影タイミング制御部28によってスクラップSを撮影するように制御され、撮影条件演算部24で決定されたPTZカメラ30の撮影方向やズーム倍率等の撮影条件にてスクラップSを撮影する。
そして、制御装置20の撮影画像取得部29は、PTZカメラ30で撮影されたスクラップSの撮影画像を取得し、撮影画像出力装置40に対しその取得したスクラップSの撮影画像のデータを出力する。
【0059】
また、撮影画像出力装置40は、撮影画像取得部29から出力されたスクラップSの撮影画像のデータに基づき、スクラップSの撮影画像を出力する。
撮影画像出力装置40から出力されたスクラップSの撮影画像は、第1実施形態と同様に、図示しないスクラップ画像利用装置に入力されて、スクラップ画像利用装置において、スクラップSの等級判定、禁忌物の検知、およびスクラップSの化学成分推定のうちの少なくともいずれかが行われる。
なお、第1実施形態と同様に、撮影画像出力装置40をこのスクラップ画像利用装置に接続しておき、撮影画像出力装置40からスクラップSの撮影画像を自動でスクラップ画像利用装置に入力し、スクラップ画像利用装置において、スクラップSの等級判定、禁忌物の検知、およびスクラップSの化学成分推定のうちの少なくともいずれかを自動で行うようにしてもよい。
【0060】
次に、第2実施形態に係る自動撮影システム1における処理の流れについて
図7を参照して説明する。
図7は、
図5に示す自動撮影システムにおける処理の流れを説明するためのフローチャートである。
先ず、ステップS21において、移動速度検出手段10のPTZカメラ30は、リフティングマグネット51によって運搬されて移動する撮影対象としてのスクラップSを首振りしつつ複数回撮影する(首振り撮影ステップ)。
次いで、ステップS22において、制御装置20(移動速度検出手段10)の画像取得部21は、ステップS21によって複数回撮影された移動するスクラップSの複数の画像を取得する(画像取得ステップ)。
【0061】
次いで、ステップS23において、制御装置20(移動速度検出手段10)のスクラップ検出部22は、ステップS22で取得した移動するスクラップSの複数の画像の各画像中にスクラップSが検出されるか否かを判定する(スクラップ検出ステップ)。
そして、ステップS23における判定結果がYESの場合、ステップS24に移行し、当該判定結果がNOの場合、ステップS21に戻る。
ステップS24において、制御装置20(移動速度検出手段10)の位置特定部23は、ステップS23で検出した各画像中のスクラップSの位置(座標)を特定する(位置特定ステップ)。
ステップS24が終了したら、ステップS25とステップS27とが同時に実施される。
【0062】
ステップS25において、制御装置20の撮影条件演算部24は、ステップS24で特定された各画像中のスクラップSの位置に基づいてPTZカメラ30の撮影方向やズーム倍率等の撮影条件を演算して決定する(撮影条件演算ステップ)。
次いで、ステップS26において、制御装置20の撮影条件制御部25は、ステップS25で決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御し(撮影条件制御ステップ)、後述するステップS28(判定ステップ)に移行する。
【0063】
一方、ステップS27において、制御装置20(移動速度検出手段10)の速度検出部26は、ステップS24で特定された各画像中のスクラップSの位置及びPTZカメラ30の首振り速度に基づいて、スクラップSの移動速度を検出する(速度検出ステップ)。具体的に述べると、スクラップSの移動速度がスクラップSの絶対速度の場合、スクラップ検出部22において、PTZカメラ30によって複数回撮影された移動するスクラップSの複数の画像中のスクラップSを検出し、位置特定部23が、スクラップ検出部22で検出した各画像中のスクラップSの位置(座標)を特定しているので、PTZカメラ30はスクラップSを追尾できているとして、速度検出部26は、このときのPTZカメラ30の首振り速度を算出する。そして、この算出したPTZカメラ30の首振り速度がスクラップSの移動速度(絶対速度)となる。また、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度の場合、位置特定部23で特定された各画像中のスクラップSの位置の変化から、PTZカメラ30の首振り速度とスクラップSの移動速度との差を推定し、この推定した速度の差がスクラップSの移動速度(相対速度)となる。
【0064】
ステップS21(首振り撮影ステップ)、ステップS22(画像取得ステップ)、ステップS23(スクラップ検出ステップ)、ステップS24(位置特定ステップ)及びステップS27(速度検出ステップ)により、移動速度検出ステップが構成される。
次いで、ステップS28において、制御装置20の判定部27は、ステップ2S7によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する(判定ステップ)。ここで、「所定値」は、カメラの性能等によって適宜設定されるが、スクラップSの移動速度がスクラップSの絶対速度の場合、10m/sであることが好ましく、5m/sであることがより好ましく、0m/s、すなわちスクラップSが停止している状態であることが特に好ましい。また、スクラップSの移動速度がPTZカメラ30に対するスクラップSの相対速度である場合、「所定値」は2m/sであることが好ましく、1m/sであることがより好ましく、0m/s、すなわちスクラップSの移動速度とPTZカメラ30の首振り速度とが同じ速度であることが特に好ましい。
【0065】
そして、ステップS28における判定結果がYESの場合(スクラップSの移動速度が所定値以下である場合)、ステップS29に移行し、当該判定結果がNOの場合、ステップS21に戻る。
ステップS29において、制御装置20の撮影タイミング制御部28は、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する(撮影制御ステップ)。
次いで、ステップS30において、PTZカメラ30は、ステップS25で決定されたPTZカメラ30の撮影方向やズーム倍率等の撮影条件にてスクラップSを撮影する(スクラップ撮影ステップ)。
次いで、ステップS31において、制御装置20の撮影画像取得部29は、ステップS10で撮影されたスクラップSの撮影画像を取得し、撮影画像出力装置40に対しその取得したスクラップSの撮影画像のデータを出力する(撮影画像取得ステップ)。
最後に、ステップS32において、撮影画像出力装置40は、ステップS31で出力されたスクラップSの撮影画像のデータに基づき、スクラップSの撮影画像を出力する。
【0066】
このように、第2実施形態に係る自動撮影システム1によれば、スクラップSを撮影する撮影装置としてのPTZカメラ30と、スクラップSの移動速度を検出する移動速度検出手段10と、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定し、スクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する制御装置20とを備えている。
これにより、スクラップSの移動速度が所定値以下になった際に撮影装置としてのPTZカメラ30がスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。そして、質の高いスクラップSの画像を用いることで、スクラップSの等級判定、禁忌物の検知、及びスクラップSの化学成分の推定を正確に実施することが可能となる。
【0067】
また、第2実施形態に係る自動撮影システム1によれば、撮影装置が、所定の速度で首振りが可能なPTZカメラ30である。これにより、PTZカメラ30が首振りしつつ移動するスクラップSを追従し、移動するスクラップSを的確に撮影することができる。
また、第2実施形態に係る自動撮影システム1によれば、移動速度検出手段10が、撮影装置を兼用する所定の速度で首振りが可能なPTZカメラ30であって、首振りしつつ撮影対象を複数回撮影するPTZカメラ30と、PTZカメラ30が撮影した複数の画像を画像処理して各画像中のスクラップSを検出するスクラップ検出部22と、スクラップ検出部22で検出した各画像中のスクラップSの位置を特定する位置特定部23と、位置特定部23で特定された各画像中のスクラップSの位置及びPTZカメラ30の首振り速度に基づいて、スクラップSの移動速度を検出する速度検出部26とを備えている。
これにより、撮影装置としてのPTZカメラ30が移動速度検出手段10を構成するカメラを兼用することで、1台のカメラによってスクラップSの位置、スクラップSの移動速度の検出、及びスクラップSの撮影を行うことができる。
【0068】
また、第2実施形態に係る自動撮影システム1によれば、制御装置20は、移動速度検出手段10の位置特定部23で特定された各画像中のスクラップSの位置に基づいて撮影装置としてのPTZカメラ30の撮影条件を演算して決定する撮影条件演算部24と、撮影条件演算部24で決定されたPTZカメラ30の撮影条件にてPTZカメラ30がスクラップSを追尾するように制御する撮影条件制御部25とを備えている。
これにより、PTZカメラ30がスクラップSの位置に応じて適切にスクラップSを追尾するように制御することができる。
【0069】
また、第2実施形態に係る自動撮影方法によれば、移動速度検出手段10によってスクラップSの移動速度を検出する移動速度検出ステップ(ステップS21、ステップS22、ステップS23、ステップS24及びステップS27)と、移動速度検出ステップによって検出されたスクラップSの移動速度が所定値以下であるか否かを制御装置20が判定する判定ステップ(ステップS28)と、判定ステップによってスクラップSの移動速度が所定値以下であると判定された場合に、制御装置20が撮影装置としてのPTZカメラ30にスクラップを撮影させるように制御する撮影制御ステップ(ステップS29)と、を含む。
これにより、スクラップSの移動速度が所定値以下になった際に撮影装置としてのPTZカメラ30がスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。そして、質の高いスクラップSの画像を用いることで、スクラップSの等級判定、禁忌物の検知、及びスクラップSの化学成分の推定を正確に実施することが可能となる。
【0070】
また、第2実施形態に係るプログラムによれば、制御装置20に、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する判定ステップ(ステップS28)と、判定ステップによってスクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する撮影制御ステップ(ステップS29)と、を実行させるためのプログラムである。
これにより、スクラップSの移動速度が所定値以下になった際にスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。
【0071】
また、第2実施形態に係るプログラムが記憶されたコンピュータ読み取り可能な記録媒体208によれば、制御装置20に、移動速度検出手段10によって検出されたスクラップSの移動速度が所定値以下であるか否かを判定する判定ステップ(ステップS28)と、判定ステップによってスクラップSの移動速度が所定値以下であると判定された場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御する撮影制御ステップ(ステップS29)と、を実行させるためのプログラムが記憶されたコンピュータ読み取り可能な記録媒体208である。
これにより、スクラップSの移動速度が所定値以下になった際にスクラップSの画像を撮影することで、画像がぶれるおそれがなく質の高いスクラップSの画像を、スクラップSの運搬途中の任意の位置で撮影することができる。
【0072】
(スクラップの撮影例)
図1に示す第1実施形態に係る自動撮影システム1では、ダンプアップしてスクラップ置き場に積み下ろされたスクラップSを撮影対象としている。また、
図5に示す第2実施形態に係る自動撮影システム1では、リフティングマグネット51が停止した時のリフティングマグネット51により吊り下げられているスクラップSを撮影対象としている。
しかし、本発明におけるスクラップSの撮影はこれに限らず、スクラップSのスクラップ置き場への受入時、スクラップSのスクラップ置き場での保管時、及びスクラップSのスクラップ置き場からの払出時における任意のタイミングで実施することが可能である。
例えば、スクラップSのスクラップ置き場への受入時に撮影する場合には、
図8に示すように、ダンプカー50から積み下ろされる最中のスクラップSを撮影したり、ダンプカー50から積み下ろされる前のスクラップSを撮影したり、ダンプカー50から積み下ろされた後のスクラップSを撮影してもよい。
【0073】
また、スクラップSのスクラップ置き場への受入時に撮影する場合には、
図9に示すように、セミトレーラー52で運ばれたスクラップSをリフティングマグネット51で吊り上げる場合に、リフティングマグネット51で吊り上げられたスクラップSを撮影したり、セミトレーラー52に残ったスクラップSを撮影してもよい。
また、スクラップSのスクラップ置き場での保管時に撮影する場合には、
図10に示すように、スクラップ置き場に保管されたスクラップSの山を撮影してもよい。
また、スクラップSのスクラップ置き場からの払出時に撮影する場合には、
図11に示すように、スクラップSの山からバスケット53を介してスクラップSを炉に投入する場合に、スクラップSの山、リフティングマグネット51で吊り上げたスクラップS、バスケット53に投入したスクラップS、及びバスケット53から炉に投入するスクラップSを撮影してもよい。
【0074】
以上、本発明の実施形態について説明してきたが、本発明はこれに限定されずに種々の変更、改良を行うことができる。
例えば、移動速度検出手段10として、第1実施形態に係る自動撮影システム1では可視(固定)カメラ11を用い、第2実施形態に係る自動撮影システム1ではPTZカメラ30を用いているが、移動速度検出手段10は、運搬手段に設けられてスクラップSの移動速度を検出する速度センサであってもよい。具体的には、運搬手段としてのダンプカー50やリフティングマグネット51に速度センサを取り付け、この速度センサによってダンプカー50やリフティングマグネット51の速度を検出する。そして、ダンプカー50やリフティングマグネット51の速度をスクラップSの移動速度と推定してその移動速度が所定値以下の場合に、撮影装置としてのPTZカメラ30にスクラップSを撮影させるように制御すればよい。
【0075】
また、自動撮影システム1の外部に設けられたスピード測定器等の別の速度検出手段によってスクラップSまたは運搬手段の速度を検出するようにしてもよい。
また、第1実施形態に係る自動撮影システム1の構成と第2実施形態に係る自動撮影システム1の構成とを組み合わせてもよい。具体的には、例えば、第1実施形態において可視(固定)カメラ11が撮影した画像に基づいてスクラップSの位置及びスクラップSの移動速度を検出していたが、可視(固定)カメラ11の画像からスクラップSの位置のみを検出し、PTZカメラ30の首振り速度に基づいてスクラップSの移動速度を検出するようにしてもよい。
【符号の説明】
【0076】
1 自動撮影システム
10 移動速度検出手段
11 可視(固定)カメラ
20 制御装置
21 画像取得部
22 スクラップ検出部
23 位置特定部
24 撮影条件演算部
25 撮影条件制御部
26 速度検出部
27 判定部
28 撮影タイミング制御部
29 撮影画像取得部
30 PTZカメラ(撮影装置)
40 撮影画像出力装置
50 ダンプカー(運搬手段)
51 リフティングマグネット(運搬手段)
201 演算処理装置
202 CPU
203 内部バス
204 内部記憶装置
205 外部記憶装置
206 入力装置
207 出力装置
208 記録媒体
S スクラップ
【要約】
画像がぶれるおそれがなく質の高いスクラップの画像撮影を、スクラップの運搬途中の任意の位置で行うことができる、自動撮影システム、自動撮影方法、プログラム、及びプログラムが記憶されたコンピュータ読み取り可能な記録媒体を提供する。自動撮影システム(1)は、運搬手段(50)によって運搬されて移動するスクラップ(S)を自動で撮影する。自動撮影システム(1)は、スクラップ(S)を撮影する撮影装置(30)と、スクラップ(S)の移動速度を検出する移動速度検出手段(10)と、移動速度検出手段(10)によって検出されたスクラップ(S)の移動速度が所定値以下であるか否かを判定し、スクラップ(S)の移動速度が所定値以下であると判定された場合に、撮影装置(30)にスクラップ(S)を撮影させるように制御する制御装置(20)とを備えている。