特開 2023-20316 画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023020316

(43)【公開日】2023-02-09

(54)【発明の名称】画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20230202BHJP

   C21C 7/00 20060101ALI20230202BHJP

   G06T 7/12 20170101ALI20230202BHJP

   G06T 7/70 20170101ALI20230202BHJP

【ＦＩ】

G01B11/00 H

C21C7/00 R

G06T7/12

G06T7/70 A

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021125611

(22)【出願日】2021-07-30

(71)【出願人】

【識別番号】518402727

【氏名又は名称】シーアイエスディーアイ エンジニアリング カンパニー リミテッド

【氏名又は名称原語表記】ＣＩＳＤＩ ＥＮＧＩＮＥＥＲＩＮＧ ＣＯ．， ＬＴＤ

【住所又は居所原語表記】ＹＡＮ Ｂｏ Ｎｏ．１， Ｓｈｕａｎｇｇａｎｇ Ｒｏａｄ， Ｙｕｚｈｏｎｇ Ｄｉｓｔｒｉｃｔ Ｃｈｏｎｇｑｉｎｇ ４０００１３ （ＣＮ）

(71)【出願人】

【識別番号】519323539

【氏名又は名称】シーアイエスディーアイ リサーチ アンド ディベロップメント カンパニー リミテッド

【氏名又は名称原語表記】ＣＩＳＤＩ ＲＥＳＥＡＲＣＨ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】ＹＡＮ， Ｂｏ Ｎｏ．１１－１， Ｈｕｉｊｉｎ Ｒｏａｄ， Ｎｅｗ Ｎｏｒｔｈ Ｚｏｎｅ Ｃｈｏｎｇｑｉｎｇ ４０１１２２ （ＣＮ）

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】▲ゴン▼貴波

(72)【発明者】

【氏名】劉向東

(72)【発明者】

【氏名】▲ライ▼俊霖

(72)【発明者】

【氏名】劉貴林

(72)【発明者】

【氏名】劉景亞

【テーマコード（参考）】

2F065

4K013

5L096

【Ｆターム（参考）】

2F065AA03

2F065AA21

2F065AA51

2F065BB05

2F065DD03

2F065FF04

2F065JJ03

2F065JJ26

2F065MM06

2F065PP25

2F065QQ31

4K013FA01

4K013FA02

5L096BA05

5L096CA02

5L096FA06

5L096FA37

5L096FA64

5L096FA66

5L096FA69

5L096GA51

(57)【要約】      （修正有）

【課題】画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムを提供する。
【解決手段】溶鋼面画像を取得するステップと、取得した対象画像に基づいて溶鋼面における鉄鋼スラグの内側輪郭及び外側輪郭情報を取得するステップと、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含み、取鍋の溶鋼面上の鉄鋼スラグの分布状況を画像で検出し、予め設定されたガン入れ領域内の全ての鉄鋼スラグのスリット幅を算出し、予め設定されたストラテジでガン入れ条件を満たすガン入れ位置を選択し、測温サンプリングを行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法であって、
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含む、
ことを特徴とする画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項2】

前記対象画像の関心領域を取得し、さらに前記対象画像の関心領域の階調ヒストグラムを取得し、予め設定された階調閾値に基づいて前記鉄鋼スラグのスリット輪郭情報を取得する、
ことを特徴とする請求項１に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項3】

前記階調閾値は、低テール値と高テール値とを含み、
領域内の階調値が前記低テール値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の階調値が前記高テール値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の階調値が低テール値と高テール値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する、
ことを特徴とする請求項２に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項4】

前記混合領域動的閾値を２値化処理し、２値化画像を取得し、前記２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する、
ことを特徴とする請求項３に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項5】

前記鉄鋼スラグのスリット領域のエッジ探しを行い、前記鉄鋼スラグのスリット領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅とする、
ことを特徴とする請求項４に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項6】

予め設定された測温サンプリングのためのガン入れ位置、ガン入れ位置の周囲の関心領域、及びガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、最近点ストラテジ及び／又は最適点ストラテジを含む予め設定されたガン入れストラテジに従って測温サンプリングを行い、ここで、
最近点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の周辺の近傍領域内でガン入れを満たす最小領域をガン入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をガン入れ位置として選択するステップを含む、
ことを特徴とする請求項１に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項7】

前記予め設定されたガン入れストラテジは、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてガン入れ位置を決定し、測温サンプリングを行うステップをさらに含む、
ことを特徴とする請求項６に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。

【請求項8】

画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムであって、
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む、
ことを特徴とする画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システム。

【請求項9】

画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備える画像取得防護モジュールをさらに含む、
ことを特徴とする請求項８に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システム。

【請求項10】

取付けモジュールと、ガン入れ位置の検出が失敗した場合に警告を発するための警告モジュールをさらに含み、前記取付けモジュールは、取付けブラケットと測温サンプリングロボットアームとを含み、前記画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定される、
ことを特徴とする請求項９に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、冶金分野に関し、特に、画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムに関する。

【背景技術】

【0002】

冶金分野において、製鋼の自動化レベルを高め、機器全体の操作の安全性と信頼性を高めることができ、溶鋼の品質の確保、製鋼の労働生産率の向上に重要な役割を果たす。製鋼工程のプロセス操作の根拠として、製鋼出鋼後の溶鋼の測温及びサンプリングが必要であり、従来技術ではロボットアームによる測温サンプリングが一般的に採用されている。

【0003】

しかし、取鍋精錬炉の測温サンプリングの実際の応用において、ロボットアームは、通常固定経路を使用して作業を完了するが、製鋼作業プロセスの流れにおいて、溶鋼面には通常鉄鋼スラグが存在するため、ロボットアームが固定経路を使用して測温サンプリングすると、ガン先端が鉄鋼スラグに衝突してガン先端を破損する可能性があり、測温サンプリングの要求を満たすことができないため、従来技術では、鉄鋼スラグのスリット幅に対してガン入れの位置を調整する検出方法がなく、以上のように、ガン入れ点領域内の鉄鋼スラグの分布状況を検出し、ガン入れに適合する鉄鋼スラグのスリット領域を正確に位置決めする新たな検出方法が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上記の従来技術の欠点に鑑み、画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムを提供して、上記の技術的課題を解決する。

【課題を解決するための手段】

【0005】

本発明にて提供される画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含む。

【0006】

好ましくは、前記対象画像の関心領域を取得し、さらに前記対象画像の関心領域の階調ヒストグラムを取得し、予め設定された階調閾値に基づいて前記鉄鋼スラグのスリット輪郭情報を取得する。

【0007】

好ましくは、前記階調閾値は、低テール値と高テール値とを含み、
領域内の階調値が前記低テール値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の階調値が前記高テール値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の階調値が低テール値と高テール値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する。

【0008】

好ましくは、前記混合領域動的閾値を２値化処理し、２値化画像を取得し、前記２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。

【0009】

好ましくは、前記鉄鋼スラグのスリット領域のエッジ探しを行い、前記鉄鋼スラグのスリット領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅とする。

【0010】

好ましくは、予め設定された測温サンプリングのためのガン入れ位置、ガン入れ位置の周囲の関心領域、及びガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、最近点ストラテジ及び／又は最適点ストラテジを含む予め設定されたガン入れストラテジに従って測温サンプリングを行い、ここで、
最近点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の周辺の近傍領域内でガン入れを満たす最小領域をガン入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をガン入れ位置として選択するステップを含む。

【0011】

好ましくは、前記予め設定されたガン入れストラテジは、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてガン入れ位置を決定し、測温サンプリングを行うステップをさらに含む。

【0012】

本発明にてさらに提供される画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する、画像処理モジュールと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。

【0013】

好ましくは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備える画像取得防護モジュールをさらに含む。

【0014】

好ましくは、取付けモジュールと、ガン入れ位置の検出が失敗した場合に警告を発するための警告モジュールをさらに含み、前記取付けモジュールは、取付けブラケットと測温サンプリングロボットアームとを含み、前記画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定される。

【発明の効果】

【0015】

本発明の有益な効果は、本発明における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムは、取鍋の溶鋼面上の鉄鋼スラグの分布状況を画像で検出し、予め設定されたガン入れ領域内の全ての鉄鋼スラグのスリット幅を算出し、予め設定されたストラテジでガン入れ条件を満たすガン入れ位置を選択し、測温サンプリングを行うことで、ロボットアームの測温サンプリング作業のインテリジェント化のレベルを向上させる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法のフローチャートの概略図である。

【図2】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの構造の概略図である。

【図3】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの対象検出画像と関心領域の概略図である。

【図4】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの関心領域の階調ヒストグラムである。

【図5】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの関心領域の２値画像の内外側の輪郭図である。

【図6】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの測定対象の点と内外側の輪郭図との距離の最小値の概略図である。

【図7】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの最近点ストラテジに従って算出したガン入れ点の概略図である。

【図8】本発明の実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムの最適点ストラテジに従って算出したガン入れ点の概略図である。

【発明を実施するための形態】

【0017】

以下、特定の具体的な例を通じて本発明の実施形態を説明し、当業者は、本明細書に開示された内容から本発明の他の利点及び効果を容易に理解することができる。本発明は、また、他の異なる具体的な実施形態を通じて実施又は適用することができ、本明細書の様々な詳細も、本発明の精神から逸脱することなく、異なる視点及び適用に基づいて修正又は変更することができる。なお、競合がない場合、以下の実施例及び実施例における特徴を互いに組み合わせることができる。

【0018】

なお、以下の実施例で提供される図は、本発明の基本的な考え方を概略的に示すだけであり、図は、実際の実装時のコンポーネントの数、形状、サイズに応じて描画されることなく、本発明に関連するコンポーネントのみを示す。実際の実装中に、各コンポーネントのタイプ、数量、及び比率は、自由に変更され、また、コンポーネントのレイアウトタイプもより複雑になる場合がある。

【0019】

以下の説明では、本発明の実施例のより完全な解釈を提供するために、多数の詳細が検討されるが、これらの具体的な詳細なしに本発明の実施例が実施され得ることは当業者に明らかであり、他の実施例では、本発明の実施例を不明瞭にしないように、周知の構造及び機器が詳細な形ではなくブロック図の形で示される。

【0020】

図１に示すように、本実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含む。

【0021】

本実施例では、画像中の測温サンプリングガン入れ位置、ガン入れ位置周辺の関心領域及びガン入れの最小領域を予め設定し、ガン入れの最小領域をガン入れ条件とし、本実施例におけるガン入れ条件は、ガン先端が溶鋼面に挿入された時に、ガン先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことを指し、好ましくは、本実施例における最小領域の大きさはデフォルト値で１０Ｘ１０ｃｍである。

【0022】

好ましくは、本実施例では、ロボットアームを６軸ロボットアームとし、画像取得システムを６軸ロボットアームの先端フランジに取付け、ロボットアームを取鍋検出位置まで教示して動作の初期経路を記録し、取鍋検出位置までロボットアームを移動させたときに新しい取鍋の溶鋼面の画像を検出対象画像として取得するようにしてもよい。

【0023】

本実施例では、溶鋼面画像の関心領域に対して動的閾値の２値化演算を行い、さらに２値化画像に対して連通域検出を行い、検出結果に対して領域に基づく形態学的処理を行うことで、鉄鋼スラグのスリット内側輪郭と外側輪郭を取得し、鉄鋼スラグのスリット内側輪郭と外側輪郭との間の距離が、鉄鋼スラグのスリット幅である。最近点ストラテジを採用するとは、ガン入れ位置の周辺領域内のある点がガン入れを満たす最小領域を算出することである。このストラテジは、溶鋼面が僅かに変化する状態で、以下のガン入れ条件を満たすことを可能にし、最適点ストラテジを採用するとは、ガン入れ位置の周辺の関心領域で最も鉄鋼スラグのスリット幅の広い領域をガン入れ位置として算出することであり、溶鋼面が動的に変化しても、当該領域の鉄鋼スラグのスリット幅は、依然としてガン入れ条件を満たす。

【0024】

本実施例では、溶鋼面画像の関心領域に対して階調ヒストグラム分析を行い、階調ヒストグラム統計の低テール部と高テール部に制限し、領域内の階調値がいずれも低テール部値より低い場合、領域内がいずれも鉄鋼スラグであるとみなして当該領域内を鉄鋼スラグ領域と判定し、領域内の階調値がいずれも高テール部値より高い場合、領域内がいずれも溶鋼であるとみなして当該領域内を溶鋼領域と判定する。領域内の階調値が低テール値と高テール値との間にある場合、鉄鋼スラグと溶鋼ともあるが、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定し、階調ヒストグラムにより当該領域動的閾値を２値化演算し、２値化画像を取得する。２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。また、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域である。鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅と定義する。

【0025】

本実施例では、ガン入れストラテジは予め定められ、最近点ストラテジ又は最適点ストラテジの１つを選択して測温サンプリングを行ってもよく、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてガン入れ位置を決定し、測温サンプリングを行うことを含んでもよい。最近点ストラテジを用いてガン入れの位置の周辺の近傍領域にある全ての鉄鋼スラグのスリット幅を探すと、ガン入れの最小領域条件を満たす位置を算出し、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いて関心領域内の全ての条件を満たす鉄鋼スラグのスリット領域の位置及び当該位置に対応する鉄鋼スラグのスリット幅を探し、その値が最大となる位置がガン入れの最適点となる。

【0026】

応じて、本実施例にてさらに提供される画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。

【0027】

本実施例では、画像取得モジュールは、工業用カメラ、工業用レンズ、フィルターなどの画像取得部材を含んでもよく、画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定され、対象画像を取得する。画像処理モジュールは技術的に制御装置を用いて、取得した対象画像に基づいて、溶鋼面における鉄鋼スラグのスリット輪郭情報を取得し、輪郭情報は鉄鋼スラグのスリットの内側輪郭と外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する。測温サンプリングモジュールはアクチュエータとして、測温サンプリングのフロントエンド動作を行う。

【0028】

本実施例では、画像取得防護モジュール、取付けモジュール及び警告モジュールをさらに含み、ここで、画像取得防護モジュールは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備え、冷却ユニットは、空冷方式で画像取得モジュールの動作環境温度を下げることができ、取付けモジュールは、取付けブラケットと、測温サンプリングロボットアームとを含み、警告モジュールは、音響光学警告灯などの警告作用を有するデバイスを用いて、ガン入れの位置の検出が失敗した場合に警告を発することができる。

【0029】

本実施例では、画像取得モジュールと画像処理モジュールとの間のデータ伝送のための通信モジュールをさらに含み、通信モジュールは、例えばＴＣＰ／ＩＰネットワークプロトコルを通じて有線通信モジュールを用いて通信することができ、好ましくは、通信モジュールは、測温サンプリングロボットの末端に取り付けることができ、ロボットが検出位置に移動した後、画像取得モジュールが取得した画像を画像処理モジュールに伝送して検出し、検出結果をロボットに送信する。

【0030】

本実施例では、システム制御フローは、以下のステップを含み、
Ｓ１１では、システムが測温サンプリング命令を受信した後、測温サンプリング検出位置にロボットアームを動かすように制御し、
Ｓ１２では、ロボットアームが検出位置に動かされると、信号が画像処理モジュールにフィードバックされ、画像処理モジュールが画像取得モジュールをトリガーして、取鍋の溶鋼面画像を対象画像として取得し、
Ｓ１３では、画像処理モジュールに最近点及び／又は最適点のストラテジを予め設定し、それぞれ２つのストラテジの異なる優先順位を設定し、優先順位に従って高から低へ測温サンプリングモジュールで実行する。

【0031】

本実施例では、ガン入れ位置周辺の関心領域と、画像中の測温サンプリングのためのガン入れ位置と、ガン入れの最小領域を予め設定し、図３に示すように、ガン入れの最小領域をガン入れ条件とし、ガン入れ条件は、ガン先端が溶鋼面に挿入された時に、ガン先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことである。

【0032】

本実施例では、溶鋼面画像の関心領域に対して階調ヒストグラム分析を行い、階調ヒストグラム統計の低テール部と高テール部に制限し、領域内の階調値がいずれも低テール部値１より低い場合、領域内がいずれも鉄鋼スラグであるとみなし、領域内の階調値がいずれも高テール部値３より高い場合、領域内がいずれも溶鋼であるとみなす。領域内の階調値が低テール値と高テール値との間にある場合、溶鋼面において鉄鋼スラグと溶鋼ともあり、階調ヒストグラムにより当該領域動的閾値を２値化演算し、動的閾値２を用いて２値化画像を取得する。本実施例では、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域であり、図４に示される。

【0033】

本実施例では、鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、図５に示すように、ピクチャーの白黒の色彩に限定され、実用上、例えば、赤い輪郭を鉄鋼スラグの外側輪郭とし、青い輪郭を鉄鋼スラグの内側輪郭とし、内側輪郭と外側輪郭との間の距離、すなわち鉄鋼スラグのスリット幅を定義するなど、異なる色彩で区別することができる。

【0034】

具体的には、まず鉄鋼スラグのスリットの点を探すことが必要であり、探し方法は以下のとおりであり、
図６に示すように、Ａ点は測定対象点、６１は関心領域、６２は外側輪郭、６３及び６４は内側輪郭である。ガン入れ位置の周辺の関心領域において、測定対象点Ａを選択し、測定対象点Ａと外側輪郭（６２）及び内側輪郭（６３及び６４）との関係を判断することで、測定対象点Ａが鉄鋼スラグのスロット内にあるか否かを決定する。判断基準は、測定対象点Ａが外側輪郭（６２）の内側にあり、内側輪郭（６３及び６４）の外側にある場合、測定対象点Ａは鉄鋼スラグのスリット内の点であることである。外側輪郭（６２）と内側輪郭（６３及び６４）からの、鉄鋼スラグのスリット内の測定対象点Ａの最小距離が、測定対象点の鉄鋼スラグのスリット幅として算出される。

【0035】

本実施例では、図７に示すように、ガン入れ位置の周辺の近傍領域内の全ての鉄鋼スラグのスリット幅を最近点ストラテジで探し、ガン入れ最小領域条件を満たす位置を算出し、丸印は予め設定されたガン入れ位置とし、ガン入れ位置の周辺の近傍領域の大きさは予め設定される。ガン入れ位置の周辺の近傍領域内の各鉄鋼スラグのスリット内に属する点と内外側輪郭との最小距離を算出し、各点の距離を比較して全ての距離の最大値を求め、当該最大値がクロスマークで示すように最小のガン入れ領域よりも大きい場合は、予め設定されたガン入れ領域の周辺の近傍領域内に最近点ストラテジを満たすガン入れ点があることを示す。

【0036】

本実施例では、最適ストラテジでガン入れ位置の関心領域内の全ての鉄鋼スラグのスリット幅を探し、ガン入れの最小領域条件を満たす位置を算出する方法は、最近点ストラテジと同じであるが、最近点ストラテジではガン入れ位置の周辺の近傍領域点のみを測定対象点として、最適点ストラテジではガン入れ位置の関心領域内の全ての点を測定対象点とすることが唯一の違いであり、算出結果が図８に示される。図中のクロスマークは、最適点ストラテジ算出によるガン入れ点位置である。

【0037】

２つのストラテジに基づいてインテリジェントに検出した後、ガン入れ点位置を算出し、座標をロボットアームに送信し、計算に失敗したら警告を発する。

【0038】

その後、ロボットアームは新しいガン入れ点に動かし、測温サンプリング作業を行う。

【0039】

上記の実施例は、本発明の原理及び効果を例示的に説明するだけであり、本発明を限定するために用いられるものではない。当業者であれば、本発明の精神及び範囲から逸脱することなく、上記の実施例を修正又は変更することができる。したがって、本発明に開示された精神及び技術的アイデアから逸脱することなく、当業者によって行われた全ての同等の修正又は変更は、依然として本発明の特許請求の範囲によってカバーされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-11-30

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、冶金分野に関し、特に、画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステムに関する。

【背景技術】

【0002】

冶金分野において、製鋼の自動化レベルを高め、機器全体の操作の安全性と信頼性を高めることができ、溶鋼の品質の確保、製鋼の労働生産率の向上に重要な役割を果たす。製鋼工程のプロセス操作の根拠として、製鋼出鋼後の溶鋼の測温及びサンプリングが必要であり、従来技術ではロボットアームによる測温サンプリングが一般的に採用されている。

【0003】

しかし、取鍋精錬炉の測温サンプリングの実際の応用において、ロボットアームは、通常固定経路を使用して作業を完了するが、製鋼作業プロセスの流れにおいて、溶鋼面には通常鉄鋼スラグが存在するため、ロボットアームが固定経路を使用して測温サンプリングすると、マニピュレータ先端が鉄鋼スラグに衝突してマニピュレータ先端を破損する可能性があり、測温サンプリングの要求を満たすことができないため、従来技術では、鉄鋼スラグのスリット幅に対してマニピュレータ入れの位置を調整する検出方法がなく、以上のように、マニピュレータ入れ点領域内の鉄鋼スラグの分布状況を検出し、マニピュレータ入れに適合する鉄鋼スラグのスリット領域を正確に位置決めする新たな検出方法が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上記の従来技術の欠点に鑑み、画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステムを提供して、上記の技術的課題を解決する。

【課題を解決するための手段】

【0005】

本発明にて提供される画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うステップと、を含む。

【0006】

好ましくは、前記対象画像の関心領域を取得し、さらに前記対象画像の関心領域の灰度画像ピクセル強度ヒストグラムを取得し、予め設定された灰度画像ピクセル強度閾値に基づいて前記鉄鋼スラグのスリット輪郭情報を取得する。

【0007】

好ましくは、前記灰度画像ピクセル強度閾値は、低ピクセル強度閾値と高ピクセル強度閾値とを含み、
領域内の灰度画像ピクセル強度値が前記低ピクセル強度閾値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の灰度画像ピクセル強度値が前記高ピクセル強度閾値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する。

【0008】

好ましくは、前記混合領域動的閾値を２値化処理し、２値化画像を取得し、前記２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。

【0009】

好ましくは、前記鉄鋼スラグのスリット領域のエッジ探しを行い、前記鉄鋼スラグのスリット領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅とする。

【0010】

好ましくは、予め設定された測温サンプリングのためのマニピュレータ入れ位置、マニピュレータ入れ位置の周囲の関心領域、及びマニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、最近点ストラテジ及び／又は最適点ストラテジを含む予め設定されたマニピュレータ入れストラテジに従って測温サンプリングを行い、ここで、
最近点ストラテジは、予め設定された測温サンプリングのためのマニピュレータ入れ位置の周辺の近傍領域内でマニピュレータ入れを満たす最小領域をマニピュレータ入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのマニピュレータ入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をマニピュレータ入れ位置として選択するステップを含む。

【0011】

好ましくは、前記予め設定されたマニピュレータ入れストラテジは、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてマニピュレータ入れ位置を決定し、測温サンプリングを行うステップをさらに含む。

【0012】

本発明にてさらに提供される画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する、画像処理モジュールと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。

【0013】

好ましくは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備える画像取得防護モジュールをさらに含む。

【0014】

好ましくは、取付けモジュールと、マニピュレータ入れ位置の検出が失敗した場合に警告を発するための警告モジュールをさらに含み、前記取付けモジュールは、取付けブラケットと測温サンプリングロボットアームとを含み、前記画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定される。

【発明の効果】

【0015】

本発明の有益な効果は、本発明における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステムは、取鍋の溶鋼面上の鉄鋼スラグの分布状況を画像で検出し、予め設定されたマニピュレータ入れ領域内の全ての鉄鋼スラグのスリット幅を算出し、予め設定されたストラテジでマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択し、測温サンプリングを行うことで、ロボットアームの測温サンプリング作業のインテリジェント化のレベルを向上させる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法のフローチャートの概略図である。

【図2】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの構造の概略図である。

【図3】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの対象検出画像と関心領域の概略図である。

【図4】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの関心領域の灰度画像ピクセル強度ヒストグラムである。

【図5】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの関心領域の２値画像の内外側の輪郭図である。

【図6】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの測定対象の点と内外側の輪郭図との距離の最小値の概略図である。

【図7】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの最近点ストラテジに従って算出したマニピュレータ入れ点の概略図である。

【図8】本発明の実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムの最適点ストラテジに従って算出したマニピュレータ入れ点の概略図である。

【発明を実施するための形態】

【0017】

以下、特定の具体的な例を通じて本発明の実施形態を説明し、当業者は、本明細書に開示された内容から本発明の他の利点及び効果を容易に理解することができる。本発明は、また、他の異なる具体的な実施形態を通じて実施又は適用することができ、本明細書の様々な詳細も、本発明の精神から逸脱することなく、異なる視点及び適用に基づいて修正又は変更することができる。なお、競合がない場合、以下の実施例及び実施例における特徴を互いに組み合わせることができる。

【0018】

なお、以下の実施例で提供される図は、本発明の基本的な考え方を概略的に示すだけであり、図は、実際の実装時のコンポーネントの数、形状、サイズに応じて描画されることなく、本発明に関連するコンポーネントのみを示す。実際の実装中に、各コンポーネントのタイプ、数量、及び比率は、自由に変更され、また、コンポーネントのレイアウトタイプもより複雑になる場合がある。

【0019】

以下の説明では、本発明の実施例のより完全な解釈を提供するために、多数の詳細が検討されるが、これらの具体的な詳細なしに本発明の実施例が実施され得ることは当業者に明らかであり、他の実施例では、本発明の実施例を不明瞭にしないように、周知の構造及び機器が詳細な形ではなくブロック図の形で示される。

【0020】

図１に示すように、本実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、
ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うステップと、を含む。

【0021】

本実施例では、画像中の測温サンプリングマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域及びマニピュレータ入れの最小領域を予め設定し、マニピュレータ入れの最小領域をマニピュレータ入れ条件とし、本実施例におけるマニピュレータ入れ条件は、マニピュレータ先端が溶鋼面に挿入された時に、マニピュレータ先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことを指し、好ましくは、本実施例における最小領域の大きさはデフォルト値で１０Ｘ１０ｃｍである。

【0022】

好ましくは、本実施例では、ロボットアームを６軸ロボットアームとし、画像取得システムを６軸ロボットアームの先端フランジに取付け、ロボットアームを取鍋検出位置まで教示して動作の初期経路を記録し、取鍋検出位置までロボットアームを移動させたときに新しい取鍋の溶鋼面の画像を検出対象画像として取得するようにしてもよい。

【0023】

本実施例では、溶鋼面画像の関心領域に対して動的閾値の２値化演算を行い、さらに２値化画像に対して連通域検出を行い、検出結果に対して領域に基づく形態学的処理を行うことで、鉄鋼スラグのスリット内側輪郭と外側輪郭を取得し、鉄鋼スラグのスリット内側輪郭と外側輪郭との間の距離が、鉄鋼スラグのスリット幅である。最近点ストラテジを採用するとは、マニピュレータ入れ位置の周辺領域内のある点がマニピュレータ入れを満たす最小領域を算出することである。このストラテジは、溶鋼面が僅かに変化する状態で、以下のマニピュレータ入れ条件を満たすことを可能にし、最適点ストラテジを採用するとは、マニピュレータ入れ位置の周辺の関心領域で最も鉄鋼スラグのスリット幅の広い領域をマニピュレータ入れ位置として算出することであり、溶鋼面が動的に変化しても、当該領域の鉄鋼スラグのスリット幅は、依然としてマニピュレータ入れ条件を満たす。

【0024】

本実施例では、溶鋼面画像の関心領域に対して灰度画像ピクセル強度ヒストグラム分析を行い、灰度画像ピクセル強度ヒストグラム統計の低ピクセル強度閾部と高ピクセル強度閾部に制限し、領域内の灰度画像ピクセル強度値がいずれも低ピクセル強度閾部値より低い場合、領域内がいずれも鉄鋼スラグであるとみなして当該領域内を鉄鋼スラグ領域と判定し、領域内の灰度画像ピクセル強度値がいずれも高ピクセル強度閾部値より高い場合、領域内がいずれも溶鋼であるとみなして当該領域内を溶鋼領域と判定する。領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、鉄鋼スラグと溶鋼ともあるが、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定し、灰度画像ピクセル強度ヒストグラムにより当該領域動的閾値を２値化演算し、２値化画像を取得する。２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。また、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域である。鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅と定義する。

【0025】

本実施例では、マニピュレータ入れストラテジは予め定められ、最近点ストラテジ又は最適点ストラテジの１つを選択して測温サンプリングを行ってもよく、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてマニピュレータ入れ位置を決定し、測温サンプリングを行うことを含んでもよい。最近点ストラテジを用いてマニピュレータ入れの位置の周辺の近傍領域にある全ての鉄鋼スラグのスリット幅を探すと、マニピュレータ入れの最小領域条件を満たす位置を算出し、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いて関心領域内の全ての条件を満たす鉄鋼スラグのスリット領域の位置及び当該位置に対応する鉄鋼スラグのスリット幅を探し、その値が最大となる位置がマニピュレータ入れの最適点となる。

【0026】

応じて、本実施例にてさらに提供される画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。

【0027】

本実施例では、画像取得モジュールは、工業用カメラ、工業用レンズ、フィルターなどの画像取得部材を含んでもよく、画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定され、対象画像を取得する。画像処理モジュールは技術的に制御装置を用いて、取得した対象画像に基づいて、溶鋼面における鉄鋼スラグのスリット輪郭情報を取得し、輪郭情報は鉄鋼スラグのスリットの内側輪郭と外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する。測温サンプリングモジュールはアクチュエータとして、測温サンプリングのフロントエンド動作を行う。

【0028】

本実施例では、画像取得防護モジュール、取付けモジュール及び警告モジュールをさらに含み、ここで、画像取得防護モジュールは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備え、冷却ユニットは、空冷方式で画像取得モジュールの動作環境温度を下げることができ、取付けモジュールは、取付けブラケットと、測温サンプリングロボットアームとを含み、警告モジュールは、音響光学警告灯などの警告作用を有するデバイスを用いて、マニピュレータ入れの位置の検出が失敗した場合に警告を発することができる。

【0029】

本実施例では、画像取得モジュールと画像処理モジュールとの間のデータ伝送のための通信モジュールをさらに含み、通信モジュールは、例えばＴＣＰ／ＩＰネットワークプロトコルを通じて有線通信モジュールを用いて通信することができ、好ましくは、通信モジュールは、測温サンプリングロボットの末端に取り付けることができ、ロボットが検出位置に移動した後、画像取得モジュールが取得した画像を画像処理モジュールに伝送して検出し、検出結果をロボットに送信する。

【0030】

本実施例では、システム制御フローは、以下のステップを含み、
Ｓ１１では、システムが測温サンプリング命令を受信した後、測温サンプリング検出位置にロボットアームを動かすように制御し、
Ｓ１２では、ロボットアームが検出位置に動かされると、信号が画像処理モジュールにフィードバックされ、画像処理モジュールが画像取得モジュールをトリガーして、取鍋の溶鋼面画像を対象画像として取得し、
Ｓ１３では、画像処理モジュールに最近点及び／又は最適点のストラテジを予め設定し、それぞれ２つのストラテジの異なる優先順位を設定し、優先順位に従って高から低へ測温サンプリングモジュールで実行する。

【0031】

本実施例では、マニピュレータ入れ位置周辺の関心領域と、画像中の測温サンプリングのためのマニピュレータ入れ位置と、マニピュレータ入れの最小領域を予め設定し、図３に示すように、マニピュレータ入れの最小領域をマニピュレータ入れ条件とし、マニピュレータ入れ条件は、マニピュレータ先端が溶鋼面に挿入された時に、マニピュレータ先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことである。

【0032】

本実施例では、溶鋼面画像の関心領域に対して灰度画像ピクセル強度ヒストグラム分析を行い、灰度画像ピクセル強度ヒストグラム統計の低ピクセル強度閾部と高ピクセル強度閾部に制限し、領域内の灰度画像ピクセル強度値がいずれも低ピクセル強度閾部値１より低い場合、領域内がいずれも鉄鋼スラグであるとみなし、領域内の灰度画像ピクセル強度値がいずれも高ピクセル強度閾部値３より高い場合、領域内がいずれも溶鋼であるとみなす。領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、溶鋼面において鉄鋼スラグと溶鋼ともあり、灰度画像ピクセル強度ヒストグラムにより当該領域動的閾値を２値化演算し、動的閾値２を用いて２値化画像を取得する。本実施例では、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域であり、図４に示される。

【0033】

本実施例では、鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、図５に示すように、ピクチャーの白黒の色彩に限定され、実用上、例えば、赤い輪郭を鉄鋼スラグの外側輪郭とし、青い輪郭を鉄鋼スラグの内側輪郭とし、内側輪郭と外側輪郭との間の距離、すなわち鉄鋼スラグのスリット幅を定義するなど、異なる色彩で区別することができる。

【0034】

具体的には、まず鉄鋼スラグのスリットの点を探すことが必要であり、探し方法は以下のとおりであり、
図６に示すように、Ａ点は測定対象点、６１は関心領域、６２は外側輪郭、６３及び６４は内側輪郭である。マニピュレータ入れ位置の周辺の関心領域において、測定対象点Ａを選択し、測定対象点Ａと外側輪郭（６２）及び内側輪郭（６３及び６４）との関係を判断することで、測定対象点Ａが鉄鋼スラグのスロット内にあるか否かを決定する。判断基準は、測定対象点Ａが外側輪郭（６２）の内側にあり、内側輪郭（６３及び６４）の外側にある場合、測定対象点Ａは鉄鋼スラグのスリット内の点であることである。外側輪郭（６２）と内側輪郭（６３及び６４）からの、鉄鋼スラグのスリット内の測定対象点Ａの最小距離が、測定対象点の鉄鋼スラグのスリット幅として算出される。

【0035】

本実施例では、図７に示すように、マニピュレータ入れ位置の周辺の近傍領域内の全ての鉄鋼スラグのスリット幅を最近点ストラテジで探し、マニピュレータ入れ最小領域条件を満たす位置を算出し、丸印は予め設定されたマニピュレータ入れ位置とし、マニピュレータ入れ位置の周辺の近傍領域の大きさは予め設定される。マニピュレータ入れ位置の周辺の近傍領域内の各鉄鋼スラグのスリット内に属する点と内外側輪郭との最小距離を算出し、各点の距離を比較して全ての距離の最大値を求め、当該最大値がクロスマークで示すように最小のマニピュレータ入れ領域よりも大きい場合は、予め設定されたマニピュレータ入れ領域の周辺の近傍領域内に最近点ストラテジを満たすマニピュレータ入れ点があることを示す。

【0036】

本実施例では、最適ストラテジでマニピュレータ入れ位置の関心領域内の全ての鉄鋼スラグのスリット幅を探し、マニピュレータ入れの最小領域条件を満たす位置を算出する方法は、最近点ストラテジと同じであるが、最近点ストラテジではマニピュレータ入れ位置の周辺の近傍領域点のみを測定対象点として、最適点ストラテジではマニピュレータ入れ位置の関心領域内の全ての点を測定対象点とすることが唯一の違いであり、算出結果が図８に示される。図中のクロスマークは、最適点ストラテジ算出によるマニピュレータ入れ点位置である。

【0037】

２つのストラテジに基づいてインテリジェントに検出した後、マニピュレータ入れ点位置を算出し、座標をロボットアームに送信し、計算に失敗したら警告を発する。

【0038】

その後、ロボットアームは新しいマニピュレータ入れ点に動かし、測温サンプリング作業を行う。

【0039】

上記の実施例は、本発明の原理及び効果を例示的に説明するだけであり、本発明を限定するために用いられるものではない。当業者であれば、本発明の精神及び範囲から逸脱することなく、上記の実施例を修正又は変更することができる。したがって、本発明に開示された精神及び技術的アイデアから逸脱することなく、当業者によって行われた全ての同等の修正又は変更は、依然として本発明の特許請求の範囲によってカバーされるべきである。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法であって、
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うステップと、を含む、
ことを特徴とする画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項2】

前記対象画像の関心領域を取得し、さらに前記対象画像の関心領域の灰度画像ピクセル強度ヒストグラムを取得し、予め設定された灰度画像ピクセル強度閾値に基づいて前記鉄鋼スラグのスリット輪郭情報を取得する、
ことを特徴とする請求項１に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項3】

前記灰度画像ピクセル強度閾値は、低ピクセル強度閾値と高ピクセル強度閾値とを含み、
領域内の灰度画像ピクセル強度値が前記低ピクセル強度閾値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の灰度画像ピクセル強度値が前記高ピクセル強度閾値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する、
ことを特徴とする請求項２に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項4】

前記混合領域動的閾値を２値化処理し、２値化画像を取得し、前記２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する、
ことを特徴とする請求項３に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項5】

前記鉄鋼スラグのスリット領域のエッジ探しを行い、前記鉄鋼スラグのスリット領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅とする、
ことを特徴とする請求項４に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項6】

予め設定された測温サンプリングのためのマニピュレータ入れ位置、マニピュレータ入れ位置の周囲の関心領域、及びマニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、最近点ストラテジ及び／又は最適点ストラテジを含む予め設定されたマニピュレータ入れストラテジに従って測温サンプリングを行い、ここで、
最近点ストラテジは、予め設定された測温サンプリングのためのマニピュレータ入れ位置の周辺の近傍領域内でマニピュレータ入れを満たす最小領域をマニピュレータ入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのマニピュレータ入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をマニピュレータ入れ位置として選択するステップを含む、
ことを特徴とする請求項１に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項7】

前記予め設定されたマニピュレータ入れストラテジは、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてマニピュレータ入れ位置を決定し、測温サンプリングを行うステップをさらに含む、
ことを特徴とする請求項６に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法。

【請求項8】

画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムであって、
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む、
ことを特徴とする画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システム。

【請求項9】

画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備える画像取得防護モジュールをさらに含む、
ことを特徴とする請求項８に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システム。

【請求項10】

取付けモジュールと、マニピュレータ入れ位置の検出が失敗した場合に警告を発するための警告モジュールをさらに含み、前記取付けモジュールは、取付けブラケットと測温サンプリングロボットアームとを含み、前記画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定される、
ことを特徴とする請求項９に記載の画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システム。