特開 2024-82912 監視システム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082912

(43)【公開日】2024-06-20

(54)【発明の名称】監視システム及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240613BHJP

   G06T 7/00 20170101ALI20240613BHJP

   G01V 8/10 20060101ALI20240613BHJP

【ＦＩ】

H04N7/18 K

G06T7/00 610

G01V8/10 S

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022197114

(22)【出願日】2022-12-09

(71)【出願人】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(71)【出願人】

【識別番号】591063202

【氏名又は名称】産業振興株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】平野 弘二

(72)【発明者】

【氏名】立溝 信之

(72)【発明者】

【氏名】河村 圭造

(72)【発明者】

【氏名】池田 健児

(72)【発明者】

【氏名】神田 和俊

【テーマコード（参考）】

2G105

5C054

5L096

【Ｆターム（参考）】

2G105AA01

2G105BB17

2G105EE06

2G105HH05

5C054CA04

5C054CC02

5C054EA05

5C054EA07

5C054FC12

5C054FC14

5C054FE09

5C054FE13

5C054FE16

5C054FE28

5C054GB02

5C054GB04

5C054HA01

5C054HA05

5L096BA02

5L096CA04

5L096DA02

5L096GA08

5L096KA04

(57)【要約】

【課題】撮影された鉄スクラップの画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることを可能にすること。
【解決手段】監視システムは、運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に鉄スクラップを撮影する撮影部と、撮影により得られた画像と推定モデルとを用いて、鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、禁忌物特定部において禁忌物が含まれると特定された場合に、特定された禁忌物を示す情報を出力する出力部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に前記鉄スクラップを撮影する撮影部と、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、
前記禁忌物特定部において禁忌物が含まれると特定された場合に、特定された前記禁忌物を示す情報を出力する出力部と、
を備える、監視システム。

【請求項2】

前記撮影部は、
前記第１の場所から前記第２の場所までの前記鉄スクラップの運搬中、
前記第２の場所で前記鉄スクラップの荷下ろし中、
前記第２の場所に前記鉄スクラップが荷下ろしされた直後、
前記第１の場所で前記鉄スクラップの荷上げ中、及び、
前記第１の場所から前記鉄スクラップを荷上げした直後、のうち少なくともいずれかの期間に撮影する、請求項１に記載の監視システム。

【請求項3】

前記第１の場所には、鉄スクラップヤード内の所定位置に停車したトラックの荷台上が含まれ、
前記第２の場所には、鉄スクラップ積載場が含まれる、請求項１または２に記載の監視システム。

【請求項4】

前記第１の場所には、鉄スクラップ積載場が含まれ、
前記第２の場所には、鉄スクラップヤード内の所定位置に停車したトラックの荷台上が含まれる、請求項１または２に記載の監視システム。

【請求項5】

前記撮影部の撮影により得られた画像から未検出の禁忌物が含まれている可能性のある領域を限定する抽出を行う領域抽出部をさらに備え、
前記領域抽出部は、前記撮影部で異なるタイミングに撮影された２枚の画像間の差分を取ることで前記領域を限定する、請求項１または２に記載の監視システム。

【請求項6】

前記領域抽出部は、前記２枚の画像の撮影タイミングを、前記運搬装置の動作状態により決定する、請求項５に記載の監視システム。

【請求項7】

運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に前記鉄スクラップを撮影する撮影ステップと、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、特定された前記禁忌物を示す情報を出力する出力ステップと、
を含む、監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鉄スクラップの監視システム及び監視方法に関する。

【背景技術】

【0002】

近年、地球温暖化問題を背景としてＣＯ２排出量を削減する必要性から、鉄鋼業においては現在主要な製法である高炉法に代わり、電炉法が注目されている。電炉法の主原料は鉄スクラップであるが、銅などのトランプエレメントが混入すると自動車向け鋼板などの高級鋼製造時に割れ等の不良品を発生させる要因になる。またガスボンベなどの密閉物が混入していると電炉内で爆発を引き起こす危険性がある。そのため、鉄スクラップからトランプエレメント含有物や密閉物などを除去する技術が重要である。

【0003】

例えば、特許文献１には、破砕後の鉄スクラップ群をカラーテレビカメラで撮影し、彩度値と色相角値をもとに銅を含有した破砕片を自動識別する技術が開示されている。しかしながら、特許文献１に記載の技術は、検知可能な対象物が銅に限定されている。加えて、モーターのように銅線が内包され外から見えない対象物は検知できない。

【0004】

特許文献２には、トラックの荷台に積載されたスクラップ群をカメラで撮影し、人工知能により撮影データに禁忌物（除去すべき対象物）が映っているか否かを判断し、禁忌物が映っているならば作業者にその旨を知らせ除去させる方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平７－２５３４００号公報

【特許文献2】特開２０２０－１７６９０９号公報

【非特許文献】

【0006】

【非特許文献1】Joseph Redmon、他３名、“You Only Look Once: Unified, Real-Time Object Detection”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1506.02640〉

【非特許文献2】Olaf Ronneberger、他２名、“U-Net：Convolutional Networks for Biomedical Image Segmentation”［令和３年５月１８日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉

【非特許文献3】Samet Akcay、他２名、“GANomaly：Semi-Supervised Anomaly Detection via Adversarial Training”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1805.06725〉

【非特許文献4】Paul Bergmann、他３名、“Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders”、[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1807.02011〉

【非特許文献5】Paolo Napoletano、他２名、“Anomaly Detection in Nanofibrous Materials by CNN-Based Self-Similarity”、[令和３年５月１８日検索]、インターネット〈https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5795842/〉

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献２に記載の技術は、トラックの荷台上にある鉄スクラップ群が静止した状態での撮影を前提としている。そのため、鉄スクラップ群を撮影するカメラの画角内に、撮影の邪魔となるリフトマグネットが映っていないタイミングで、静止した状態の鉄スクラップ群を撮影する。リフトマグネットがカメラの画角から外れていることの確認は、位置センサ、作業者、もしくは人工知能により行う。この確認ステップを経て、カメラによる撮影、人工知能による禁忌物有無の判定処理、判定結果の作業者への表示が行われる。

【0008】

このような特許文献２の方法では荷台上のスクラップ群の表面から少し奥に入った物体などは画像に映りにくく、たとえ映ったとしても認識し難いため、禁忌物を見逃す場合がある。そのため、禁忌物の有無の判定処理の精度が低下してしまうおそれがあった。

【0009】

本発明は、上記事情に鑑みてなされたものである。すなわち、撮影されたスクラップ群の画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることが可能となる技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明のある観点によれば、運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に鉄スクラップを撮影する撮影部と、撮影により得られた画像と推定モデルとを用いて、鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、禁忌物特定部において禁忌物が含まれると特定された場合に、特定された禁忌物を示す情報を出力する出力部と、を備える監視システムが提供される。

【0011】

また、本発明の別の観点によれば、運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に鉄スクラップを撮影する撮影ステップと、撮影により得られた画像と推定モデルとを用いて、鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、特定された禁忌物を示す情報を出力する出力ステップと、を含む、監視方法が提供される。

【発明の効果】

【0012】

本発明によれば、第１の場所（トラックの荷台等）に静止した状態で置かれた鉄スクラップ群が、第２の場所（鉄スクラップ積載場等）へ移される際（例えば、リフトマグネットによる運搬中、荷上げもしくは荷下ろし中、床やスクラップの山の上等に荷下ろしされた直後、等）に、鉄スクラップ群を撮影する。そのため、第１の場所でしか撮影できない方法と比べて禁忌物を見逃しにくく、撮影されたスクラップ群の画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることが可能となる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に係る監視システムの適用例を示す図である。

【図2】リフトマグネットの拡大図である。

【図3】撮影装置が４つのカメラにより構成されている例を示す図である。

【図4】禁忌物検出装置の機能構成例を示すブロック図である。

【図5】禁忌物検出対象領域を抽出するための方法を示す図である。

【図6】禁忌物検出対象領域を抽出するための別の方法を示す図である。

【図7】禁忌物特定結果の出力例を示す図である。

【図8】学習済モデルの生成に用いられる学習データの一例を示す図である。

【図9】本実施形態に係る学習済モデル生成処理を説明するためのフローチャートである。

【図10】本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。

【図11】運搬中の鉄スクラップを追従した撮影を行う場合の構成例を示す図である。

【図12A】禁忌物検出対象領域を示した図である。

【図12B】禁忌物検出対象領域を矩形で示した図である。

【図13】本実施形態及び変形例における禁忌物検出装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0015】

［１．概要］
まず、図１を参照して、本発明の一実施形態の概要を説明する。図１は、本実施形態に係る監視システム１の適用例を示す図である。図１に示すように、監視システム１は、鉄スクラップを監視するシステムであって、例えば、鉄スクラップヤードで用いられる。処理の対象となる鉄スクラップには、主に鉄が多く含まれるものの、鉄以外の物質（例えば銅などの鉄以外の金属）を多く含む物体も含まれる。これらの物質が禁忌物の具体例となる。工場、市中などで発生した鉄スクラップは、トラック２によって鉄スクラップヤードに搬入されると、リフトマグネットなどの運搬装置１０を用いて鉄スクラップ積載場３まで運搬された後、鉄スクラップ積載場３に荷下ろしされる。

【0016】

監視システム１において監視の対象となる鉄スクラップは、例えば市中スクラップであってもよいし、自家発生スクラップであってもよい。市中スクラップは、製鉄施設以外の場所で発生した鉄スクラップである。市中スクラップの具体例として、橋、ビル、自動車等の物が解体されることによって生じる鉄スクラップがある。市中スクラップには、例えば自動車工場や船工場等の生産工場において生じる鉄スクラップが含まれてもよい。市中スクラップは、所定の回収者によってトラック２等の移動体を用いて回収され、監視システム１が設置された鉄スクラップヤードに搬入される。同様に、自家発生スクラップも、トラック２等の移動体を用いて回収され、監視システム１が設置された鉄スクラップヤードに搬入される。

【0017】

通常、トラック２の荷台からの鉄スクラップの搬出は、運搬装置１０を用いて複数回に分けて行われる。例えば、運搬装置１０は、リフトマグネット１１を用いて荷台中の鉄スクラップの一部を持ち上げ、鉄スクラップ積載場３まで運搬し、鉄スクラップ積載場３に荷下ろしした後、荷台中の残りの鉄スクラップを搬出するために、荷物の無い状態でリフトマグネット１１を鉄スクラップ積載場３からトラック２の位置まで戻す。このような一連の動作を複数回繰り返す。以降、この一連の動作を１サイクルと呼ぶ。

【0018】

トラック２によって搬入されたばかりの鉄スクラップには、製鉄メーカーによって受け入れ禁止となっている禁忌物が混入している可能性がある。このため、鉄の製造等に再利用する前に搬入された鉄スクラップを検品し、禁忌物が混ざっていれば当該鉄スクラップから除去する必要がある。ここで、禁忌物には、銅などの非鉄成分を含むモーター、溶鋼に投入すると爆発の恐れがあるガスボンベなどが含まれる。

【0019】

そこで、本実施形態に係る監視システム１は、第１の場所（図１に示す例ではトラック２の荷台）に静止した状態で置かれた鉄スクラップ群（以下、単に「鉄スクラップ４」とも言う）が、第２の場所（図１に示す例では鉄スクラップ積載場３）へ移される際に、鉄スクラップ４を撮影し、撮影された画像を用いて検品を行う。第１の場所としてはトラック２の荷台以外にも、船や貨車の荷台などがありうる。また第２の場所としては鉄スクラップ積載場３以外にも、ギロチン等スクラップ加工装置の入側置場、ベルトコンベア等の運搬装置、スクラップの仮置き場などがありうる。

【0020】

具体的には、本実施形態に係る監視システム１は、（１）リフトマグネット１１によってトラック２の荷台から鉄スクラップ４を持ち上げて鉄スクラップ積載場３までの運搬中（持ち上げ中を含む）、（２）鉄スクラップ積載場３で鉄スクラップ４の荷上げもしくは荷下ろし中、及び（３）鉄スクラップ積載場３の床やスクラップの山の上等に鉄スクラップ４が荷下ろしされた直後、のうち少なくともいずれかの期間に鉄スクラップ４を撮影して検品を行う。なお、機械学習や深層学習などの学習処理の技術を用いて、鉄スクラップ中に含まれる禁忌物を検出できる学習済モデルをあらかじめ作成しておく。学習済モデルは、禁忌物の有無に関する値を出力する。学習済モデルは、禁忌物の種類、禁忌物の位置、検出された物が禁忌物である確率を出力してもよい。このような学習済モデルに、上記（１）、（２）、及び（３）のうち少なくともいずれかの期間に新たに撮影された画像を逐次入力して、その都度、禁忌物を検出する。禁忌物が検出された場合には、オペレータにその旨を通知して、禁忌物の除去を促す。

【0021】

例えば、特許文献２の方法ではトラック２の荷台上でしか撮影できないため、荷台上のスクラップ群の表面から少し奥に入った物体などは画像に映りにくく、禁忌物を見逃す場合があった。一方、本実施形態に係る監視システム１は、上述したとおり、トラック２の荷台に置かれた鉄スクラップ４が、運搬装置１０によって鉄スクラップ積載場３まで移される際（上記（１）、（２）、及び（３）のうち少なくともいずれかの期間）に鉄スクラップ４を撮影するため、禁忌物が荷台上では鉄スクラップ４の中に埋もれてカメラに映らない位置（例えば、鉄スクラップ４の表面から少し奥）に入っていたとしても、禁忌物を発見できる確率を上げることができる。

【0022】

なお、以上の説明では、トラック２の荷台から鉄スクラップ積載場３へ鉄スクラップ４が移される（搬出される）際に禁忌物が含まれないかを監視する場合について述べたが、本実施形態はかかる例に限られない。例えば、逆に、第１の場所を鉄スクラップ積載場３とし、第２の場所をトラック２の荷台として、鉄スクラップ積載場３からトラック２の荷台へ鉄スクラップ４を移す（搬入、積載）場合にも適用できる。この場合、鉄スクラップ４は、リフトマグネット１１により、鉄スクラップ積載場３から荷上げされ、トラック２の荷台まで運搬された後、トラック２の荷台に荷下ろし（搬入）される。本実施形態に係る監視システム１は、この場合、鉄スクラップ積載場３から荷上げ中の鉄スクラップ４（及び／または、荷上げされた直後）、運搬装置１０により運搬中の鉄スクラップ４、及びトラック２の荷台に荷下ろし中（及び／または、荷下ろしされた直後）の鉄スクラップ４、のうち少なくともいずれかを撮影する。トラック１台の荷台に搬入される鉄スクラップ４を、少しずつ、複数回に分けて運搬するのはトラック２の荷台から鉄スクラップ積載場３へ鉄スクラップ４を搬出する場合と同様である。

【0023】

以上のように、本実施形態では、鉄スクラップ積載場３からトラック２の荷台へ鉄スクラップ４を移す場合にも適用可能であるが、以下の説明では、特に断らない限り、トラック２の荷台から鉄スクラップ積載場３へ鉄スクラップ３が移される際に、鉄スクラップ４を撮影する場合に限定して記述する。

【0024】

以下、本実施形態に係る監視システム１について詳細に説明する。

【0025】

［２．監視システム１全体の構成］
図１に示すとおり、本実施形態に係る監視システム１は、運搬装置１０と、撮影装置２０a、２０ｂと、禁忌物検出装置３０と、を備える。

【0026】

（運搬装置１０）
運搬装置１０は、鉄スクラップヤード内の所定位置に停車したトラック２の荷台から荷台中の鉄スクラップの一部を持ち上げ、鉄スクラップ積載場３まで運搬し、鉄スクラップ積載場３に荷下ろす動作を、トラック２の荷台から鉄スクラップが無くなるまで繰り返す。図１に示す例では、運搬装置１０は、リフトマグネット１１と、クレーン１２と、クレーンレール１３と、運搬制御部１４と、操作部１５と、を備え、磁力によって鉄スクラップ４を吊り上げて運搬可能である。ただし、本発明はかかる例に限定されず、運搬装置１０は、例えばベルトコンベア、アーム、重機のような機械装置であってもよく、鉄スクラップ４をトラック２の荷台から鉄スクラップ積載場３まで運搬できるのであればどのような形態でもよい。

【0027】

リフトマグネット１１は、筐体内部に磁力を発生する装置を備え、その磁力の強弱を制御することにより、磁性を有する鉄スクラップ４の吸着と吸着解除を行う。クレーン１２は、リフトマグネット１１をワイヤー等により吊下げ可能な構造を有しており、リフトマグネット１１を昇降させる。クレーンレール１３は、図１の紙面奥行方向と左右方向にクレーン１２を移動させることが可能なレールを有している。そのため、クレーン１２は、クレーンレール１３に沿って移動し、鉄スクラップヤードの特定の範囲内であれば位置を自由に変更できる。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１の磁力の強弱と、クレーン１２の昇降及び位置とを制御する。操作部１５は、オペレータによる操作を受け付ける操作機構（例えば、操作パネル）を有しており、オペレータの操作に基づきリフトマグネット１１とクレーン１２を制御するための指示（信号）を運搬制御部１４に送信する。

【0028】

（撮影装置２０）
撮影装置（撮影部）２０は、運搬装置１０により運搬中（トラック２の荷台からの持ち上げ中を含む）の鉄スクラップ４を撮影する第１カメラ２０aと、鉄スクラップ積載場３へ荷下ろし中もしくは荷下ろしされた直後の鉄スクラップ４を撮影する第２カメラ２０ｂと、から構成される。第１カメラ２０a及び第２カメラ２０ｂは、１サイクルあたり少なくとも１回以上、鉄スクラップ４がカメラの視野に入っているタイミングで鉄スクラップ４の撮影を行う。１回の撮影により１枚の静止画が作成される。撮影方法は、１回の撮影に限らず、例えば、連続的に撮影することで動画を作成してもよいし、１サイクルあたり２回以上、異なるタイミングで複数の静止画を作成してもよい。このように作成された静止画または動画は禁忌物検出装置３０に出力される。

【0029】

第１カメラ２０a及び第２カメラ２０ｂは、いずれか一方を省略することができる。運搬装置１０により運搬中の鉄スクラップ４、または鉄スクラップ積載場３へ荷下ろし中（及び／または、荷下ろされた直後）の鉄スクラップ４、のうちいずれかを撮影するだけで、禁忌物が荷台上のスクラップ群の表面から少し奥に入った場合に起こる禁忌物の見逃しを防ぐ効果が得られるためである。

【0030】

ただし、第１カメラ２０aと第２カメラ２０ｂとを両方備え、運搬装置１０により運搬中の鉄スクラップ４、及び鉄スクラップ積載場３へ荷下ろし中（及び／または、荷下ろされた直後）の鉄スクラップ４、の両方を撮影することがより好ましい。ここで、図２に、リフトマグネット１１の拡大図を示す。図２に示すように、鉄スクラップ４は、リフトマグネット面１１ｓの中心１１ｃに集中して付着する。したがって、リフトマグネット面１１ｓの中心１１ｃかつリフトマグネット面１１ｓに近い側に付着した鉄スクラップ４は、運搬中は、共にリフトマグネット１１に付着して運搬される他の鉄スクラップ４に覆われるため見えにくくなる。一方で、リフトマグネット面１１ｓの中心かつリフトマグネット面１１ｓに近い側に付着した鉄スクラップ４は、鉄スクラップ積載場３へ荷下ろしされる際には一番上に露出するため、見えやすくなる。

【0031】

このように禁忌物検出においては、運搬装置１０により運搬中の鉄スクラップ４を視野にとらえる第１カメラ２０aと、鉄スクラップ積載場３へ荷下ろし中（及び／または、荷下ろされた直後）の鉄スクラップ４を視野にとらえる第２カメラ２０ｂとが、お互いに補完し、禁忌物の検出確率を高める効果を奏する。なお、上記の説明では、運搬装置１０としてリフトマグネット１１を例として説明したが、鉄スクラップ４を把持可能な他の運搬装置１０でも同様の補完効果が得られる。

【0032】

図３は、撮影装置２０が４つのカメラにより構成されている例を示す図である。図３の上図は、鉄スクラップヤードを側面から見た図であり、図３の下図は鉄スクラップヤードを上から見た図である。図３に示す通り、撮影装置２０は、リフトマグネット１１の下方から鉄スクラップ４を別視点で撮影可能な位置に設けられた第１カメラ２０ｃ、第２カメラ２０ｄと、鉄スクラップ積載場３へ荷下ろし中の鉄スクラップ４を撮影可能な第３カメラ２０ｅと、トラック２の荷台の上方に設けられた第４カメラ２０ｆと、により構成されてもよい。撮影装置２０が４つのカメラにより構成される場合であっても、それぞれのカメラが静止画または動画を作成する点は、撮影装置２０が２つのカメラにより構成されている場合と同様である。

【0033】

（禁忌物検出装置３０）
図１に戻り、禁忌物検出装置３０は、撮影装置２０から得られた画像（静止画、動画を含む）に含まれている禁忌物を学習済モデルによって検出し、その検出結果をオペレータに通知する。

【0034】

以上のような構成により、本実施形態に係る監視システム１は、（１）リフトマグネット１１によって第１の場所から鉄スクラップ４を持ち上げて第２の場所までの運搬中（持ち上げ中を含む）、（２）第２の場所で鉄スクラップ４の荷上げもしくは荷下ろし中、（３）第２の場所の床やスクラップの山の上等に鉄スクラップ４が荷下ろしされた直後、（４）第１の場所で鉄スクラップ４の荷上げ中、及び（５）第１の場所から鉄スクラップ４を荷上げした直後、のうち少なくともいずれかの期間に鉄スクラップ４を撮影し、撮影して得られた画像（静止画、動画を含む）を用いて、鉄スクラップ４に含まれる禁忌物を検出し、検出された場合には除去を行う。なお、本願において、荷上げまたは荷下ろしした直後とは、あるサイクルにおいて荷上げまたは荷下ろしに伴って時々刻々動いている鉄スクラップ４の動作が終わり、次のサイクルで次の荷上げまたは荷下ろしが行われるまでの期間を言う。

【0035】

［３．禁忌物検出装置３０の機能構成］
次に、禁忌物検出装置３０の機能構成について説明する。図４は、禁忌物検出装置３０の一機能構成例を示すブロック図である。

【0036】

図４に示すように、禁忌物検出装置３０は、検出制御部３１と、出力部３２と、モデル生成部３３と、モデル出力部３４と、データ記憶部３５と、を備えている。

【0037】

［検出制御部３１］
検出制御部３１は、撮影装置２０を制御して、画像（静止画、動画を含む）を取得する。検出制御部３１は、取得した画像（静止画、動画を含む）を学習済モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の有無に関する値を取得（特定）する。例えば、禁忌物の種類、位置、及び禁忌物である確率を逐次取得（特定）してもよい。そして、検出制御部３１は、取得した禁忌物の有無に関する値（情報）を出力部３２に送信する。また、検出制御部３１は、取得した禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、及び禁忌物である確率を、それぞれ出力部３２に送信してもよい。

【0038】

学習済モデルは、例えば、ニューラルネットワーク等のディープラーニング（深層学習）によって生成された学習済モデルである。ディープラーニングの手法としては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの多層のニューラルネットワークを適用することができるが、これに限定されるものではない。

【0039】

検出制御部３１は、上記機能を実現するために、より具体的には、画像取得部３１０と、領域抽出部３１１、禁忌物特定部３１２と、判定部３１３と、を有する。

【0040】

（画像取得部３１０）
画像取得部３１０は、撮影装置２０を制御して、画像（静止画、動画を含む）を取得する。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、領域抽出部３１１または禁忌物特定部３１２へ出力する。撮影装置２０より取得した画像が適切なサイズとなっている場合は、このサイズ変換処理は省略することができる。なお、画像取得部３１０は、撮影装置２０より取得した画像をデータ記憶部３５に保存してもよい。

【0041】

（領域抽出部３１１）
領域抽出部３１１は、撮影装置２０の撮影により得られた画像（所定サイズに変換された画像）から、それまでに未検出の禁忌物が含まれている可能性のある領域（以後、禁忌物検知対象領域ともいう。）を限定する抽出を行う。禁忌物検知対象領域は、具体的には、運搬装置１０で運搬中の鉄スクラップ４が存在する領域や、鉄スクラップ積載場３へ荷下ろされて形成された鉄スクラップ４の山の表面付近の領域のことである。

【0042】

まず、この禁忌物検知対象領域を抽出する理由について説明する。スクラップヤードでは運搬装置１０は比較的広い範囲を動き回り、また鉄スクラップ４が積載される場所も比較的広がりを持つ場合が多い。従って、撮影装置２０（各カメラ）の視野を広くせざるを得ず、結果として、撮影装置２０で取得された画像中おいて鉄スクラップ４や鉄スクラップ４に混入した禁忌物が存在する領域は相対的に小さくなる。このような小さい領域にしか存在しない禁忌物であっても精度よく検出するためには、撮影装置２０の視野全体の画像サイズを大きく（解像度を高く）しておく必要がある。画像サイズが大きくなると、後述する禁忌物特定部３１２で学習済モデルを用いて禁忌物を検出処理する際に、計算量が大きくなる。計算量が大きくなると、高価な計算機が必要になったり、複数の静止画の中から禁忌物を逐次検出するような場合には単位時間あたりの検出処理枚数が低下してしまったりするという問題がある。そこで、撮影装置２０の視野の中で、その時点で注目すべき（禁忌物の検出処理をなすべき）領域を限定することが望ましい。

【0043】

次に、禁忌物検知対象領域を抽出する方法について説明する。この領域抽出は、撮影装置２０で異なるタイミングに撮影された２枚の画像間の差分を取ることで行うことができる。図５に、（ａ）運搬装置１０により運搬中の鉄スクラップ４、（ｂ）鉄スクラップ積載場３へ荷下ろし中（もしくは荷下ろされた直後）の鉄スクラップ４、（ｃ）鉄スクラップ積載場３から荷上げ中（もしくは荷上げされた直後）の鉄スクラップ４、それぞれについて画像間の差分の計算例を示す。

【0044】

（ａ）は図１の第１カメラ２０ａで撮影した画像、（ｂ）及び（ｃ）は図１の第２カメラ２０ｂで撮影した画像である。監視システム全体におけるそれぞれのカメラの視野を、図１では長方形の点線枠で示している。図５（ａ）～（ｃ）のいずれも、左側には、時刻ｔ＝Ｔの画像（実線領域と灰色で塗りつぶされた領域）に、時刻ｔ＝Ｔ－ΔＴにおける運搬装置１０（リフトマグネット１１とクレーン１２）及び搬送中の鉄スクラップ４の輪郭を点線で重畳させて示している。右側は、時刻ｔ＝Ｔの画像と時刻ｔ＝Ｔ－ΔＴの画像で各画素間の輝度を引き算した結果、所定の閾値以上の差分が残った領域を黒の塗りつぶしにより示している。なお、ΔＴとしては、所定の時間（例えば、１秒）を設定すればよい。また画像間の差分を取る方法や差分が残った領域の定義方法（例えば、上記閾値の設定の仕方）は、ここで述べた方法に限られない。

【0045】

また、禁忌物検知対象領域を抽出する別の実施形態として、領域抽出部３１１は、２枚の画像間の差分を取る際に、２枚の画像の撮影タイミングを運搬装置１０（具体的にはクレーン１２）の動作状態（例えば位置）により決定してもよい。これは、ΔＴを運搬装置１０の動作状態により決定すると言い換えることもできる。以下、図６を用いながら具体的に説明する。図６では上述の図５と同じ（ａ）～（ｃ）の各ケースに対して、左から順に、撮影タイミング周辺の運搬装置１０の動きを示すタイムチャート、差分処理で引く側の基準画像（取得時刻ｔ＝Ｔｂ）、差分処理で引かれる側の画像（取得時刻ｔ＝Ｔａ）、両画像の差分処理後に残差が残った領域（黒の塗りつぶし領域）、を示している。（ａ）と（ｂ）では、荷台から鉄スクラップ積載場３への鉄スクラップ４の搬出が複数回（複数サイクル）繰り返されている。（ｃ）では、鉄スクラップ積載場３から荷台への鉄スクラップ４の搬入が複数回（複数サイクル）繰り返されている。

【0046】

まず、鉄スクラップ４の運搬中に禁忌物検出対象領域を抽出する場合について述べる（図６（ａ））。基準画像の取得時刻（ｔ＝Ｔｂ）は、例えば、運搬装置１０が荷台から鉄スクラップ４を持上げているときの時刻に決められる。具体的には、リフトマグネット１１が第１カメラ２０ａの視野に入っていなかった時刻を基準画像の取得時刻（ｔ＝Ｔｂ）として決定できる。すなわち、図６（ａ）にＴｂとして示す時間幅の中のある時刻を基準画像の取得時刻（ｔ＝Ｔｂ）として決定できる。Ｔｂの時間幅の始まりは、鉄スクラップ積載場３にＮ回目の荷下ろしを終え荷台に戻る過程で第１カメラ２０ａの視野からリフトマグネット１１が消える瞬間とすればよい。Ｔｂの時間幅の終わりは、荷台から（Ｎ＋１）回目の持上げを終え鉄スクラップ積載場３へ向かって動くリフトマグネット１１が第１カメラ２０ａの視野に入る瞬間とすればよい。

【0047】

また、基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）は、例えば、運搬装置１０が鉄スクラップ４を運搬している最中の時刻に決められる。具体的には、リフトマグネット１１が第１カメラ２０ａの視野の中央に到達した時刻を、基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）として決定できる。図６（ａ）の一番右側には、ｔ＝ＴａとＴｂの両画像間で各画素間の輝度を引き算した結果、所定の閾値以上の差分が残った領域（破線内の黒塗り部分）を示している。

【0048】

次に、鉄スクラップ４を鉄スクラップ積載場３へ荷下ろし中（もしくは荷下ろされた直後）に禁忌物検出対象領域を抽出する場合について述べる（図６（ｂ））。基準画像の取得時刻（ｔ＝Ｔｂ）は、例えば、前回（図６では（Ｎ＋１）回目）運搬装置１０が荷台から鉄スクラップ４を持上げるために動作していたときの時刻に決められる。具体的には、リフトマグネット１１が第２カメラ２０ｂの視野に入っていなかった時刻を基準画像の取得時刻（ｔ＝Ｔｂ）として決定できる。すなわち、図６（ｂ）にＴｂとして示す時間幅の中のある時刻を基準画像の取得時刻（ｔ＝Ｔｂ）として決定できる。Ｔｂの時間幅の始まりは、鉄スクラップ積載場３にＮ回目の荷下ろしを終え荷台に戻る過程で第２カメラ２０ｂの視野からリフトマグネット１１が消える瞬間とすればよい。Ｔｂの時間幅の終わりは、荷台から（Ｎ＋１）回目の持上げを終え鉄スクラップ積載場３へ向かって動くリフトマグネット１１が第２カメラ２０ｂの視野に入る瞬間とすればよい。

【0049】

また、基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）は、例えば、今回（図６では（Ｎ＋２）回目）運搬装置１０が荷台から鉄スクラップ４を持上げるために動作していたときの時刻に決められる。具体的には、リフトマグネット１１が第２カメラ２０ｂの視野に入っていない時刻を基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）として決定できる。すなわち、図６（ｂ）にＴａとして示す時間幅の中のある時刻を基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）として決定できる。Ｔａの時間幅の始まりは、鉄スクラップ積載場３に（Ｎ＋１）回目の荷下ろしを終え荷台に戻る過程で第２カメラ２０ｂの視野からリフトマグネット１１が消える瞬間とすればよい。Ｔａの時間幅の終わりは、荷台から（Ｎ＋２）回目の持上げを終え鉄スクラップ積載場３へ向かって動くリフトマグネット１１が第２カメラ２０ｂの視野に入る瞬間とすればよい。図６（ｂ）の一番右側には、両画像で各画素間の輝度を引き算した結果、所定の閾値以上の差分が残った領域（黒塗り部分）を示している。

【0050】

最後に、鉄スクラップ４を鉄スクラップ積載場３から荷上げ中に禁忌物検出対象領域を抽出する場合について述べる（図６（ｃ））。基準画像の取得時刻（ｔ＝Ｔｂ）は、例えば、前回（図６ではＮ回目）運搬装置１０がトラック２の荷台へ鉄スクラップ４を荷下ろしするために動作していたときの時刻に決められる。具体的には、リフトマグネット１１が第２カメラ２０ｂの視野に入っていなかった時刻を基準画像の取得時刻（ｔ＝Ｔｂ）として決定できる。すなわち、図６（ｃ）にＴｂとして示す時間幅の中のある時刻を基準画像の取得時刻（ｔ＝Ｔｂ）として決定できる。Ｔｂの時間幅の始まりは、鉄スクラップ積載場３でＮ回目の荷上げを終え荷台へ向かって鉄スクラップ４を運搬する過程で第２カメラ２０ｂの視野からリフトマグネット１１が消える瞬間とすればよい。Ｔｂの時間幅の終わりは、荷台でＮ回目の荷下ろしを終え鉄スクラップ積載場３に戻る過程でリフトマグネット１１が第２カメラ２０ｂの視野に入る瞬間とすればよい。

【0051】

また、基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）は、例えば、今回（図６では（Ｎ＋１）回目）運搬装置１０がトラック２の荷台へ鉄スクラップ４を荷下ろしするために動作する時刻に決められる。具体的には、リフトマグネット１１が第２カメラ２０ｂの視野に入っていない時刻を基準画像から差し引く画像の取得時刻（ｔ＝Ｔａ）として決定できる。すなわち、図６（ｃ）にＴａとして示す時間幅の中のある時刻を基準画像の取得時刻（ｔ＝Ｔａ）として決定できる。Ｔａの時間幅の始まりは、鉄スクラップ積載場３で（Ｎ＋１）回目の荷上げを終え荷台へ向かって鉄スクラップ４を運搬する過程で第２カメラ２０ｂの視野からリフトマグネット１１が消える瞬間とすればよい。Ｔａの時間幅の終わりは、荷台で（Ｎ＋１）回目の荷下ろしを終え鉄スクラップ積載場３に戻る過程でリフトマグネット１１が第２カメラ２０ｂの視野に入る瞬間とすればよい。図６（ｃ）の一番右側には、両画像で各画素間の輝度を引き算した結果、所定の閾値以上の差分が残った領域（黒塗り部分）を示している。

【0052】

（ａ）～（ｃ）のいずれの場合においても、上述したＴａやＴｂのタイミングで撮影した画像の取得が必要になる。このタイミング合わせについては、上述の例では、リフトマグネット１１が第１カメラ２０ａまたは第２カメラ２０ｂの視野に入るかどうかがポイントとなる。そこで、例えば、リフトマグネット１１の位置情報を、クレーン運転中の座標情報をもとに計算することで、ＴａやＴｂの設定に活用することができる。また、例えば図６（ｂ）や（ｃ）において、リフトマグネット１１の磁力をＯＦＦまたはＯＮするタイミングも、リフトマグネット１１の操作情報から取得することができるため、これらの操作情報をＴａやＴｂの設定に活用することができる。また別の手法として、例えば、リフトマグネット１１を検知する学習済モデルやパターンマッチング等の画像処理技術を用いれば、リフトマグネット１１が撮影装置２０の視野に出入りしたタイミングを特定できる。

【0053】

なお、禁忌物検知対象領域を抽出する実施形態として、図６（ａ）～（ｃ）を用いながら、２枚の画像間の差分を取る際に、２枚の画像の撮影タイミング（ｔ＝Ｔａやｔ＝Ｔｂ）を、運搬装置１０の動作状態（例えば位置）により決定する方法の一例について述べてきたが、運搬装置の動作状態から２枚の画像の撮影タイミングを選択する方法はかかる例に限定されるものではない。

【0054】

以上のようにして禁忌物検知対象領域を求めた後、領域抽出部３１１は、元画像から禁忌物検知対象領域に対応する部分（図５や図６の一番右の列の黒塗り部分）を切取り（抽出し）、その抽出画像を禁忌物特定部３１２に出力する。ここで元画像とは、図５の例であれば時刻ｔ＝Ｔの画像、図６の例であれば時刻ｔ＝Ｔａの画像である。禁忌物検知対象領域の形状が複雑な場合、抽出画像の形状も複雑になり、禁忌物特定部３１２で行われる学習済モデルを用いた禁忌物検出処理がやりにくくなる場合もある。このため、領域抽出部３１１は、禁忌物検知対象領域の外接長方形を、新たに禁忌物検知対象領域と定義し、それをもとに画像を抽出し、禁忌物特定部３１２に出力してもよい。このように抽出された禁忌物検知対象領域の一例を、図５（ａ）の禁忌物検知対象領域（図５（ａ）の一番右）に、灰色の破線で示す。

【0055】

なお、画像間で各画素間の輝度の差分を取り、所定の閾値以上の差分が残った領域を抽出すると、細かなノイズが残ることもあるが、膨張／収縮処理など公知のノイズ除去するための画像処理手法を適用してノイズを除去してもよい。

【0056】

また、抽出画像のうち運搬装置（搬送器具）１０の部分には禁忌物が含まれる可能性はない。そこで、領域抽出部３１１は、別の画像処理（予め取得された運搬装置１０の画像パターンとのマッチング等）により運搬装置１０の部分を特定し、この部分を除いた上で禁忌物特定部３１２に出力してもよい。このように抽出された禁忌物検知対象領域の一例を、図６（ａ）の禁忌物検知対象領域（図６（ａ）の一番右）に、灰色の破線で示す。

【0057】

なお、領域抽出部３１１で禁忌物検知対象領域の抽出に供される画像は、画像間の差分を適切に計算できる範囲内で、元画像や元画像と差分を取る画像を低解像度化してもよい。

【0058】

また、領域抽出部３１１は、機械学習や深層学習などの技術を用いて元画像から禁忌物検知対象領域に対応する部分を抽出してもよいし、画像中の所定の位置、所定のサイズの領域を鉄スクラップの存在領域として設定してもよい。また、領域抽出部３１１を設けず、画像取得部３１０で取得された画像をそのまま禁忌物特定部３１２に出力してもよい。

【0059】

（禁忌物特定部３１２）
図４に戻り、禁忌物特定部３１２は、画像取得部３１０により取得された画像（所定サイズに変換された画像、もしくは領域抽出部３１１により抽出された領域の画像）を、学習済モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の有無に関する値を出力（特定）する。例えば、禁忌物特定部３１２は、禁忌物の種類、位置、及び禁忌物である確率をそれぞれ出力（特定）してもよい。また、禁忌物を検出した時に禁忌物の位置を特定することで、オペレータが当該画像内における禁忌物の場所を目視で即座に確認することが出来る。これにより、オペレータは画像上で禁忌物の位置を短時間で判別でき、監視方法、監視システムの精度をより高めることが出来る。

【0060】

（判定部３１３）
判定部３１３は、禁忌物特定部３１２により特定された禁忌物である確率が所定の閾値を超えているか否かを判定する。そして、判定部３１３は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、及び禁忌物である確率を、それぞれ出力部３２に送信する。

【0061】

［出力部３２］
出力部３２は、検出制御部３１（判定部１３２）から送信された情報を出力する。すなわち、出力部３２は、禁忌物特定部３１２により特定された禁忌物である確率が所定の閾値を超えたときに、特定された禁忌物を示す情報として、その禁忌物の種類及び位置をそれぞれ出力する。出力部３２は、図７（ｉ）に示すような禁忌物が検出されたタイミングの画像を出力してもよい。また、図７（ｉ）や（ｉｉｉ）に示すように、検出された禁忌物の位置を矩形やマーキングで重畳させて出力してもよい。また、出力部３２は、図７（ｉｉ）に示すように、学習済モデルにより特定された禁忌物である種類や確率を合わせて出力してもよい。

【0062】

このような出力部３２は、文字列、画像等を表示するディスプレイであってもよいし、音声を出力するスピーカであってもよい。なお、出力部３２は、禁忌物検出装置３０と一体的に設けられてもよいし、禁忌物検出装置３０とは離れた位置に独立して設けてもよい。これにより、出力部３２の出力を受けたオペレータは、鉄スクラップ４に禁忌物が混入しているおそれがあることを容易かつ正確に知ることができ、適宜、禁忌物を鉄スクラップ４から除去できる。

【0063】

なお、本実施形態において、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、特定された禁忌物を示す情報として、その禁忌物の種類、位置、及び禁忌物である確率などを出力する場合について説明したが、本発明はかかる例に限定されない。検出制御部３１による禁忌物検出処理にかかる画像が静止画で、例えば１サイクルあたり１回というように禁忌物検出処理頻度が小さい場合は、禁忌物である確率の大小に依らず、禁忌物検出処理を行う全ての画像について禁忌物検出結果を出力し、オペレータに通知してもよい。一方で、検出制御部３１による禁忌物検出処理にかかる画像が動画であり、禁忌物検出処理が連続して行われる場合に、その全ての処理結果を出力する際には、その頻度が高いため、運搬装置１０（クレーン等）を動かしながら荷台からの搬出操作にあたるオペレータの注意をそらさないような工夫が求められる。

【0064】

なお、本実施形態において、出力部３２のディスプレイ等には、運搬装置１０により運搬中の鉄スクラップ４が映し出されており、運搬中の鉄スクラップ４に対して禁忌物の位置、確率、種類をさらに表示させてもよい。そのため、オペレータはどのような種類の禁忌物がどの位置に存在しているのか、容易かつ正確に把握することができる。

【0065】

ここで、禁忌物の位置を表示するとは、例えば禁忌物が存在する領域を枠で囲むこととしてもよい。また、禁忌物の種類を表示するとは、例えば、予め設定された禁忌物の種類ごとに枠の色や形状等を変更したり、テキストで禁忌物の種類を表示したりしてもよい。また、禁忌物の確率を表示するとは、例えば、枠で囲まれた領域に禁忌物が存在する確率を数値でディスプレイに表示することとしてもよい。なお、運搬中の鉄スクラップ４をディスプレイに表示させるため、撮影装置２０が取得した鉄スクラップ４の画像を随時ディスプレイに表示させることとしてもよい。なお、本実施形態において、禁忌物の位置及び種類に加えて、禁忌物の確率を出力してもよいし、禁忌物の位置及び種類のみを出力することとしてもよい。また、撮影装置２０が取得した元の画像だけを出力することとしてもよい。

【0066】

禁忌物の種類の設定の仕方としては、例えば、モーター、ガスボンベ、というように禁忌物が利用される際の機能に応じた設定とすることができるが、かかる例に限定されるものではない。例えば、モーター、ガスボンベ、その他の禁忌物を全てまとめて１種類として扱ってもよい。この場合、禁忌物の種類としては１つになる（例えば「禁忌物」との１種類）。モーター、ガスボンベなど種類を細分化する場合と比較して、得られる情報は少なくなるが、除去すべき禁忌物が存在するとの最低限出力すべき情報は出力することができる。また、禁忌物の種類の設定の仕方は組合せも考えられる。例えば、禁忌物特定部３１２における学習済モデルの出力では、モーター、ガスボンベなど種類を細分化しておくが、出力部３２における出力では、全ての禁忌物を１種類にまとめた形で出力することもできる。全ての禁忌物を１種類にまとめる場合はもちろん、学習済モデルの出力を１クラス（例えば「禁忌物」との１種類）にすることができる。

【0067】

［モデル生成部３３］
モデル生成部３３は、撮影装置２０で撮影された鉄スクラップ４の画像から禁忌物の種類、位置、及び禁忌物である確率を特定する単数あるいは複数の学習モデルを生成する。

【0068】

モデル生成部３３は、撮影装置２０により撮影された過去の鉄スクラップ４の画像と、その画像に含まれていた禁忌物の種類及び位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により、画像中の禁忌物の種類、位置、及び禁忌物である確率を特定するモデルを生成する。

【0069】

図８は、学習モデルの生成に用いられる学習データ（教師データ）の一例を示す図である。モデル生成部３３は、撮影装置２０により撮影された過去の鉄スクラップ４の画像（図８の上図に示す元画像）と、その元画像中において禁忌物が存在している正解の領域を特定し得るラベルデータ（図８の中図、下図に示す画像）とを、学習データのセットとして用いる。例えば、図８の中図に示すように、予め、元画像に対して人が禁忌物の存在している領域を判定して、禁忌物全体にラベル付け（マーキング）した画像を学習データのセットとして用いる。なお、学習時には人がつけた正解のラベルデータに対して禁忌物である確率が所定の基準値以上（例えば、１００％）となるように最適化の目的関数を設定して学習する。

【0070】

なお、ここで用いるラベルデータとしては、元画像データ（図８の上図）中における禁忌物の位置をマーキングしたマーキング画像データ（図８の中図）であってもよい。このとき、マーキングした禁忌物の種類を表す情報として、あらかじめ禁忌物ごとに振り分けた輝度値を用いることができる。例えば、０～２５５段階の輝度値で表されるグレースケール画像をマーキング画像として用いる場合、モーターを輝度５０、ガスボンベを輝度１００でマーキングするなどして、禁忌物の種類を各画素の輝度値で区別できるようにしてもよい。もちろん、禁忌物の位置を表す情報としては、禁忌物として振り分けた輝度値を有する画素の座標を用いればよい。

【0071】

また、ラベルデータとして、図８の下図のように画像中の禁忌物の周囲を囲うように作成した矩形情報などを含むテキストデータとしてもよい。例えば、このテキストデータには、禁忌物の位置として矩形の座標データを用い、禁忌物の種類としてその矩形内の禁忌物を識別可能な情報を用いればよい。

【0072】

上記で用いる元画像データには、例えば、ｊｐｇ、ｂｍｐ、ｐｎｇ等の形式が用いられ、テキストデータには、ｔｘｔ、ｊｓｏｎ、ｘｍｌなどの形式が用いられる。

【0073】

なお、図４に示すように、モデル生成部３３は、後述するデータ記憶部３５から、学習データを取得する。モデル生成部３３によるモデル生成処理の詳細については後述する。

【0074】

［モデル出力部３４］
モデル出力部３４は、モデル生成部３３により生成された学習モデルを出力する。例えば、モデル出力部３４は、モデル生成部３３により生成された学習モデルを、禁忌物特定部３１２において禁忌物の種類、位置、及び禁忌物である確率を特定するときに用いることが可能なように、禁忌物特定部３１２へ出力する。

【0075】

［データ記憶部３５］
データ記憶部３５は、モデル生成部３３が学習モデルを生成する際に用いる学習データを記憶する記憶装置である。データ記憶部３５は、撮影装置２０により撮影して得られた全ての画像または動画を記憶しておいてもよいし、学習データとして用いる予定の画像または動画のみを記憶しておいてもよい。

【0076】

以上、本実施形態に係る監視システム１の構成について説明した。なお、図１、図３、図４に示す監視システム１の各装置の構成は一例であり、複数の装置の機能を１つの装置が備えてもよく、１つの装置に含まれる複数の機能を異なる装置で実施するように構成することも可能である。例えば、モデル生成部３３、モデル出力部３４、データ記憶部３５などの機能は、それぞれ別の情報処理装置（クラウドサーバ等）に実施させてもよい。

【0077】

［４．学習済モデル生成処理］
以下、本実施形態に係る監視システム１の動作について説明する。最初に、監視システム１において実施される学習済モデル生成処理について説明する。図９は、本実施形態に係る学習済モデル生成処理を説明するためのフローチャートである。

【0078】

モデル生成部３３は、監視システム１を用いて鉄の製造等に再利用する鉄スクラップの中に存在する禁忌物の検出を実施する前に、あらかじめユーザからの指示に基づき学習済モデル生成処理を開始する。もしくは、モデル生成部３３は、定期的に学習済モデル生成処理を実行してもよい。

【0079】

（Ｓ１１０：学習データ取得）
本実施形態の学習モデルの学習条件は、モデル条件、データセット条件及び学習設定条件を含む。モデル条件は、ニューラルネットワークの構造に関する条件である。データセット条件は、学習中にニューラルネットワークに入力する学習データの選択条件、それらのデータの前処理や画像の拡張方法の条件等を含む。学習設定条件は、重みやバイアスといったニューラルネットワークのパラメータの初期化条件や最適化方法の条件、損失関数の条件等を含む。ここで、損失関数の条件には正則化関数の条件も含まれる。

【0080】

図９に示すように、学習済モデル生成処理を開始すると、まず、モデル生成部３３は、撮影装置２０により撮影された画像から鉄スクラップ中に含まれている禁忌物を検出することが可能な学習済モデルの生成に必要な学習データを、データ記憶部３５から取得する（Ｓ１１０）。例えば、モデル生成部３３は、撮影装置２０により撮影された過去の鉄スクラップ４の元画像と、その元画像中に含まれていた禁忌物の種類及び位置を表す情報とが関連付けられた複数のデータを、学習データとして取得する。

【0081】

ここで、禁忌物の位置及び種類を表す情報としては、禁忌物全体にラベル付け（マーキング）したマーキング画像（図８の中図）であってもよいし、禁忌物を含む矩形領域にラベル付け（矩形生成）した矩形生成画像（図８の下図）であってもよい。なお、ステップＳ１１０において取得する学習データは、禁忌物特定部３１２で禁忌物の検出に用いる画像と同一の撮影装置２０により撮影された画像であることが望ましいが、異なる撮影装置２０により撮影された画像であってもよい。また、学習データに用いる画像としては、鉄スクラップ４に紛れている実際の禁忌物を撮影して得た画像が望ましいが、インターネットなどで取得可能な禁忌物の画像（モーターのカタログ画像など）であってもよい。

【0082】

（Ｓ１２０：モデル生成）
次いで、モデル生成部３３は、ステップＳ１１０により取得した学習データを用いて、機械学習によって、禁忌物を検出可能な学習済モデルを生成する（Ｓ１２０）。

【0083】

モデル生成部３３で生成される学習済モデルの形式は、特に限定されるものではないが、例えば、禁忌物が含まれている画像（図８の上図の元画像）と、その画像中において禁忌物が存在している正解の領域を特定し得るデータ（図８の中図、下図に示す画像）とが関連付けられた複数のデータを学習データとして、画像中の禁忌物の特徴を学習し、検出時に禁忌物の種類、位置、及び禁忌物である確率を算出するモデルを用いることができる。

【0084】

この形式の学習済モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれている画像（図８の上図の元画像）を学習モデル（学習途中の学習モデル）に入力し、その学習モデルが出力する禁忌物の位置（領域）が、禁忌物が存在している正解の位置（図８の中図、下図に示す画像の禁忌物の位置）に近づくように、また禁忌物の種類とその禁忌物である確率が所定の基準値以上（例えば、１００％）となるように、学習モデルを最適化する。これにより学習済モデルが生成される。この形式の学習済モデルを禁忌物の検出に用いる場合、禁忌物の種類、禁忌物の位置（領域）を示す座標データ、確信度を示す確率の値が学習済モデルから出力される（例えば非特許文献１）。

【0085】

モデル生成部３３は、機械学習により学習済モデルを生成すると、その学習済モデルをモデル出力部３４へ出力する。

【0086】

（Ｓ１３０：モデル出力）
モデル出力部３４は、ステップＳ１２０にて生成された学習済モデルを、禁忌物特定部３１２へ出力する（Ｓ１３０）。

【0087】

その後、モデル出力部３４は、学習済モデル生成処理を終了する。禁忌物検出装置３０は、上記のような学習済モデル生成処理を実行することにより、鉄スクラップに含まれる禁忌物を高い精度で検出判定できる学習済モデルを生成できる。

【0088】

なお、上記の実施形態では、禁忌物検出装置３０が学習済モデル生成処理を実行するものとして説明しているが、本発明はかかる例に限定されない。禁忌物検出装置３０とは別の独立した装置が、モデル生成部３３、モデル出力部３４、及びデータ記憶部３５の一部または全てを有し、学習済モデル生成処理を実行してもよい。この場合、禁忌物検出装置３０は、学習済モデルをその別の独立した装置から取得し、後述する禁忌物検出処理を実行すればよい。

【0089】

［５．禁忌物検出処理］
次に、監視システム１において実施される禁忌物検出処理について説明する。図１０は、本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。

【0090】

検出制御部３１は、鉄スクラップヤード内の所定位置にトラック２が停車した後、ユーザからの指示に基づき禁忌物検出処理を開始する。

【0091】

（Ｓ２１０：画像取得）
図１０に示すように、禁忌物検出処理を開始すると、まず、画像取得部３１０は、撮影装置２０を制御して、画像（静止画、動画を含む）を取得する（Ｓ２１０）。なお、鉄スクラップ４の撮影は、（１）リフトマグネット１１によって第１の場所（トラック２の荷台）から鉄スクラップ４を持ち上げて第２の場所（鉄スクラップ積載場３）までの運搬中（持ち上げ中を含む）、（２）第２の場所で鉄スクラップ４の荷上げもしくは荷下ろし中、（３）第２の場所の床やスクラップの山の上等に鉄スクラップ４が荷下ろしされた直後、（４）第１の場所で鉄スクラップ４の荷上げ中、及び（５）第１の場所から鉄スクラップ４を荷上げした直後、の少なくともいずれかの期間に行われる。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、逐次、領域抽出部３１１へ出力する。撮影装置２０より取得した画像が適切なサイズとなっている場合は、このサイズ変換処理は省略することができる。

【0092】

（Ｓ２２０：領域抽出）
ここで、ステップＳ２１０で取得した画像は、鉄スクラップ４を含む検品作業現場全体が視野に入るような広い範囲が映る画像であることが多い。そこで、領域抽出部３１１は、それまでに未検出の禁忌物が含まれている可能性のある領域（禁忌物検知対象領域）を限定する抽出を行う（Ｓ２２０）。禁忌物検知対象領域は、具体的には、運搬装置１０で運搬中の鉄スクラップ４が存在する領域や、鉄スクラップ積載場３へ荷下ろされ、鉄スクラップ４の山の表面付近の領域である。例えば、領域抽出部３１１は、上述した手法により禁忌物検知対象領域を特定し、撮影装置２０から取得した画像のうち、特定した禁忌物検知対象領域のみを抽出してから、禁忌物特定部３１２へ出力する。ここで、禁忌物検知対象領域は、ピクセル毎に定められた領域としてもよいし、単純な矩形により定められた領域としてもよい。なお、ステップＳ２２０の処理は省略可能であり、その場合は、画像取得部３１０が、取得した画像を直接禁忌物特定部３１２へ出力すればよい。

【0093】

（Ｓ２３０：禁忌物特定）
次いで、禁忌物特定部３１２は、領域抽出部３１１から出力された複数の画像を、上述した学習済モデル生成処理でモデル生成部３３が生成した学習済モデルに入力して、禁忌物の種類、位置、及び禁忌物である確率をそれぞれ特定する（Ｓ２３０）。このとき、禁忌物特定部３１２は、画像から１つでも禁忌物を特定できた場合には（Ｓ２３０：ＹＥＳ）、学習済モデルから出力された禁忌物の種類、位置、及び禁忌物である確率を判定部３１３に出力して、処理をステップＳ２４０に進める。一方で、禁忌物特定部３１２は、画像から１つも禁忌物を特定できなかった場合には（Ｓ２３０：ＮＯ）、処理をステップＳ２７０に進める。

【0094】

（Ｓ２４０：判定）
判定部３１３は、禁忌物特定部３１２より禁忌物の種類、位置、禁忌物である確率などの情報を受け取ると、禁忌物である確率が所定の閾値（例：８０％）を超えているか否か判定する（Ｓ２４０）。このとき、判定部３１３は、禁忌物である確率が所定の閾値を超えている場合には（Ｓ２４０：ＹＥＳ）、その禁忌物の種類、位置、及び禁忌物である確率を、それぞれ出力部３２に送信して、処理をステップＳ２５０に進める。一方で、判定部３１３は、禁忌物である確率が所定の閾値以下である場合には（Ｓ２４０：ＮＯ）、処理をステップＳ２７０に進める。

【0095】

（Ｓ２５０：判定結果出力）
出力部３２は、判定部３１３から出力された出力結果を受け取ると、オペレータ（検品作業者）に対し、その出力結果を出力する（Ｓ２５０）。このように、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、及び禁忌物である確率をそれぞれ出力しているため、必要なときに限って禁忌物の除去をオペレータに促している。また、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、及び位置をそれぞれ出力するものとし、禁忌物である確率を出力しなくてもよい。また、ステップＳ２５０では、出力部３２は、禁忌物の検出の際に学習済モデルに入力された画像（図７（ｉ））だけを出力してもよい。また、その画像に禁忌物の位置を重畳する形で、図７（ｉｉ）に示すマーキング画像や図７（ｉｉｉ）に示す矩形生成画像を出力してもよい。

【0096】

なお、本実施形態において、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、及び禁忌物である確率などを出力する場合について説明したが、本発明はかかる例に限定されない。禁忌物検出処理にかかる画像が静止画で、例えば１サイクルあたり１回というように禁忌物検出処理頻度が小さい場合は、禁忌物である確率の大小に依らず、禁忌物検出処理を行う全ての画像について禁忌物検出結果を出力し、オペレータに通知してもよい。一方で、禁忌物検出処理にかかる画像が動画であり、禁忌物検出処理が連続して行われる場合に、その全ての処理結果を出力する際には、その頻度が高いため、運搬装置１０（クレーン等）を動かしながら荷台からの搬出操作にあたるオペレータの注意をそらさないような工夫が求められる。

【0097】

（Ｓ２６０：禁忌物除去）
出力部３２の出力を受けたオペレータは、鉄スクラップ４に禁忌物が混入しているおそれがあることを知ると、鉄スクラップ４に含まれている禁忌物の除去を行う（Ｓ２６０）。これにより、未検品の鉄スクラップ４から禁忌物が除去された検品済の鉄スクラップ４が生成される。ここでの除去の作業は、一度地面に禁忌物を含む鉄スクラップ群を広げ、人手、重機、ロボットなどを用いて除去される。除去後、オペレータの操作に従って、除去作業の終了を検出制御部３１へ通知し、検出制御部３１は、処理をステップＳ２７０に進める。

【0098】

（Ｓ２７０：運搬作業）
処理がステップＳ２７０に進むと、例えば、出力部３２は、オペレータに運搬作業の開始、継続、もしくは再開を促す通知を行う。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１とクレーン１２を制御して、鉄スクラップ４の運搬を開始、継続、もしくは再開する。禁忌物を特定できなかった場合（Ｓ２３０：ＮＯ）や、特定できたとしても禁忌物である確率が所定の閾値を超えなかった場合（Ｓ２４０：ＮＯ）は、オペレータへ何の通知も表示もなすことなく、運搬作業を継続することが可能である。この場合は禁忌物特定ステップを終えた鉄スクラップ４がそのまま（禁忌物が除去されずに）検品済の鉄スクラップ４となる。

【0099】

（Ｓ２８０：終了判定）
上記のステップＳ２１０からＳ２７０までのステップは、トラック２の荷台から、鉄スクラップ４がなくなるまで繰り返される（Ｓ２８０：ＹＥＳ）。

【0100】

トラック２の荷台から鉄スクラップ４がなくなると（Ｓ２８０：ＮＯ）、検出制御部３１は、禁忌物検出処理を終了する。

【0101】

以上で述べた、本実施形態に係る禁忌物検出処理フローによると、（１）リフトマグネット１１によってトラック２の荷台から鉄スクラップ４を持ち上げて鉄スクラップ積載場３までの運搬中（持ち上げ中を含む）、（２）鉄スクラップ積載場３で鉄スクラップ４の荷上げもしくは荷下ろし中、（３）鉄スクラップ積載場３の床やスクラップの山の上等に鉄スクラップ４が荷下ろしされた直後、（４）鉄スクラップ積載場３で鉄スクラップ４の荷上げ中、及び（５）鉄スクラップ積載場３から鉄スクラップ４を荷上げした直後、の少なくともいずれかの期間に鉄スクラップ４を撮影するため、トラック２の荷台上では禁忌物がスクラップ群の表面から少し奥に入っていた場合であっても、禁忌物を発見できる確率を上げることができる。

【0102】

［６．変形例］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0103】

［６－１．撮影装置及び撮影される画像の変形例］
例えば、上記実施形態では、撮影装置２０の撮影方向と撮影倍率は固定として撮影しているが、本発明はかかる例に限定されない。例えば、撮影装置２０は、運搬装置１０により運搬中の鉄スクラップ４の位置及び運搬装置１０の操作に関する少なくともいずれかの情報に基づいて撮影方向（アングル）及び撮影倍率（ズーム倍率）を逐次調整して、運搬中の鉄スクラップ４を追従した撮影を行えるようにしてもよい。特に、撮影倍率を調整した場合には、画角中に占める鉄スクラップ４の存在領域の割合を高くできるため、画像から禁忌物検出対象領域を抽出するステップを省略でき、従って処理時間を短縮することができる。

【0104】

図１１は、運搬中の鉄スクラップ４を追従した撮影を行う場合の構成例を示す図である。例えば、図１１に示すように、リフトマグネット１１に現在位置を特定可能なセンサ（ＧＰＳなど）１１ａが取り付けられる。そして、禁忌物検出装置３０の検出制御部３１は、センサ１１ａの最新の情報（リフトマグネット１１の現在位置）を用いて、鉄スクラップ４の位置を特定する。これに応じて、撮影装置２０は、撮影方向（アングル）及び撮影倍率（ズーム）を逐次調整してもよい。

【0105】

また、検出制御部３１は、リフトマグネット１１とクレーン１２を制御するために操作部１５に入力された指示情報及びリフトマグネット１１の特徴を学習させた学習済モデルから得られる画像中のリフトマグネット１１の位置情報などを取得し、これらの情報のうちいずれかまたは複数の組み合わせを利用することにしてもよい。

【0106】

［６－２．禁忌物検出対象領域の抽出に関わる変形例］
禁忌物検出対象領域の抽出として、公知の物体検出モデル（例えば、非特許文献２）を使用して、リフトマグネット１１と鉄スクラップ４の領域を特定し、抽出された禁忌物検出対象領域の画像を上述の学習済モデルに入力してもよい。また、リフトマグネット１１等の座標をオペレータの操作情報から取得し、予めどの座標であれば画像中のどこの位置にリフトマグネット１１や鉄スクラップ４が存在するかの対応付け情報を準備しておき、その対応付け情報に基づき、禁忌物検出対象領域を抽出してもよい。また、時系列的に連続する複数の画像の情報から禁忌物検出対象領域を検出してもよい。

【0107】

図１２Ａは、禁忌物検出対象領域を示した図である。図１２Ａに示すように、禁忌物検出対象領域は、ピクセル毎に定められた領域とすることができる。なお領域抽出部３１１で禁忌物検出対象領域を抽出する学習済モデルに入力される画像は、禁忌物特定部３１２で用いる学習済モデルに入力される画像と比べて低解像度でよく、従って処理時間も短くなる。よって、領域抽出部３１１が無い場合と比較した際に、領域抽出部３１１を追加することで全体の処理時間が長くなることはない。

【0108】

また、図１２Ｂは、禁忌物検出対象領域を矩形で示した図である。図１２Ｂに示すように、領域抽出部３１１は、禁忌物検出対象領域を矩形で表現した矩形情報（例えば、矩形の位置を示す座標データ）を出力する学習済モデルを用いて、禁忌物検出対象領域を特定し、禁忌物特定部３１２に出力してもよい。このとき、領域抽出部３１１から禁忌物特定部３１２へは、元画像と禁忌物検出対象領域に対応する矩形情報をセットとして出力してもよいし、矩形情報をもとに禁忌物検出対象領域を元画像から切り取った画像のみ出力してもよい。

【0109】

［６－３．学習済モデルの変形例］
上記では、図８の中段及び下段に示すような学習データを用いて学習済モデルを生成する場合について説明した。したがって、学習済モデルは、図８の中段または下段に示すように禁忌物の種類や位置情報を出力する。図８中段のように画素単位で禁忌物の有無や種類を出力するモデルはセグメンテーションモデルと呼ばれる（例えば、非特許文献２）。また、図８下段のように、ある禁忌物が存在する場合にその位置を矩形で出力するモデルは物体検出モデルと呼ばれる（例えば、非特許文献１）。しかし、本発明に係る学習済モデルの種類はこれらに限定されず、例えば以下に示すようなモデルであってもよい。

【0110】

［６－３－１．異常検知モデル］
例えば、学習済モデルは、非特許文献３～５のように、正常時の画像（以下、「正常画像」ともいう。）を学習し正常からのズレを異常として検知する異常検知モデルであってもよい。この場合、学習データの収集では、禁忌物の映っていない正常画像と禁忌物が映っている異常時の画像（以下、「異常画像」ともいう。）とを振り分けるだけでよく、矩形やマーキングのような禁忌物の種類及び位置を示すラベルデータを画像に関連付ける必要はない。異常検知モデルの出力は各画像の異常度や異常と判定された画像中の部位となる。異常度の算出には、例えばリカレントニューラルネットワーク（ＲＮＮ）等のような、画像の時系列性をも考慮するアルゴリズムを用いてもよい。例えば、過去の判定結果等を現在の入力に加えることで、現在判定したい画像の出力精度を向上させることができる。異常検知モデルを用いた場合には、一定の異常度を上回った際の画像が、オペレータ（作業者）へ出力される。当該画像と合わせて、異常度も出力してもよい。例えば、異常度の値が０．０～１．０の範囲に入るように規格化し、その異常度を禁忌物である確率と見做してもよい。

【0111】

［６－３－２．２クラス分類モデル（正常、異常での分類）］
また、学習済モデルは、画像を、禁忌物の映っていない正常画像と禁忌物が映っている異常画像との２クラスに分類する２クラス分類モデルであってもよい。上記異常検知モデルと異なり、禁忌物の映っていない正常画像を用いて正常のスクラップを正常として分類するようにモデルを生成するだけでなく、禁忌物が映っている異常画像を明示的に異常として分類するようにモデルを生成することで、画像を正常画像と異常画像との２クラスに分類する。当該２クラス分類モデルの出力には、画像の時系列性をも考慮するアルゴリズムを用いてもよい。オペレータ（作業者）へは、異常画像に分類された画像が出力される。当該画像と合わせて、正常画像である確率や異常画像である確率のうち少なくともいずれか一方を出力してもよい。

【0112】

［６－３－３．多クラス分類モデル（異物を含む画像を禁忌物の種類で分類）］
あるいは、学習済モデルは、画像を、禁忌物の種類で分類する多クラス分類モデルであってもよい。多クラス分類モデルは、画像内の位置情報まで出力はしない点が、セグメンテーションモデルや物体検出モデルとは異なる。

【0113】

禁忌物の種類がＮ個ある場合、多クラス分類モデルは、禁忌物が全くない状況に対応する１クラスを加えた、（Ｎ＋１）クラスへ画像を分類する。多クラス分類モデルは、（Ｎ＋１）クラスの画像を用意し、ニューラルネットワークによる学習を行うことにより生成し得る。多クラス分類モデルの出力には、画像の時系列性をも考慮するアルゴリズムを用いてもよい。オペレータ（作業者）へは、Ｎ個の禁忌物に対応するクラスである確率（確信度）のうち少なくともいずれか１つが所定の値を上回った際の画像が出力される。当該画像と合わせて、所定の値を超えた確信度を出力してもよい。

【0114】

［６－４．判定部の変形例］
判定部３１３の変形例として、例えば、第１カメラ（２０ａ、２０ｃ）、第２カメラ（２０ｂ、２０ｄ）、第３カメラ２０ｅ、第４カメラ２０ｆごとに得られる画像を別個に扱ってもよい。例えば、単一のカメラが連続的に異なるタイミングで複数回撮影を実施し学習済モデルを用いて処理することで、それぞれのカメラ、タイミングに対し禁忌物の種類、位置、及び禁忌物である確率が出力されてもよい。

【0115】

ここで、現在時刻での禁忌物である確率は、現在時刻での禁忌物である確率、及び現在時刻より過去の複数タイミングでの禁忌物である確率の関数として算出した後、この算出値を禁忌物か否かを判断するための所定の閾値と比較してもよい。例えば、現在時刻からの隔たりが所定の時間範囲に入る複数タイミングでの禁忌物である複数の確率の平均（後方移動平均）、あるいは最大値や最小値などを、現在時刻での禁忌物である確率として算出してもよい。後方移動平均を取ると過検知を抑制することができる。すなわち、あるタイミングで禁忌物以外の物体に対し学習済モデルがたまたま禁忌物である確率が高いと誤って判断を下した場合であっても、過去の複数タイミングで禁忌物である確率が低いと正しく出力していたならば後方移動平均値は低く抑えられることができる。これにより、禁忌物をより正確に特定することが可能となる。

【0116】

また、判定部３１３の別の変形例として、例えば、第１カメラ（２０ａ、２０ｃ）、第２カメラ（２０ｂ、２０ｄ）、第３カメラ２０ｅ、第４カメラ２０ｆごとに得られる画像を組み合わせて扱ってもよい。例えば、現在時刻での禁忌物である確率は、現在時刻に得られた複数のカメラ画像を学習済モデルに同時に入力して得られた結果の値とし、この値を禁忌物か否かを判断するための所定の閾値と比較してもよい。また、現在時刻に得られた複数のカメラ画像を、それぞれ別個に学習済モデルに入力し、その結果得られたそれぞれの禁忌物である確率を合計して、この合計値を禁忌物か否かを判断するための所定の閾値と比較してもよい。

【0117】

このように複数カメラの画像を組み合わせて扱えば、未検知を抑制できる。すなわち、鉄スクラップ４の搬送過程においては、あるカメラの画像には禁忌物の一部しか映らず、それとは別のカメラの画像でも禁忌物の一部しか映らない状況が起こりえる。このような場合に、カメラ毎に算出した禁忌物である確率それぞれの値から禁忌物の有無を判断しても、それぞれの禁忌物である確率は低くなり、禁忌物か否かを判断するための所定の閾値を超えずに未検知となる。一方で、上述のように、各カメラに対する当該禁忌物である確率を組み合わせれば、所定の閾値を上回り、禁忌物を検知可能となる。

【0118】

なお、禁忌物である確率の組み合わせ方については、単純な和を取るのみではなく、各カメラに重み係数を与え、重み付き和を取ってもよい。各カメラ画像から得られる禁忌物である確率は、カメラと鉄スクラップ４との距離等に影響を受け、各カメラ間で信頼度に差が生じるが、この補正を狙うものである。一例として、この信頼度の差をカメラと鉄スクラップとの距離等で指標化し、それらを係数にした重み付き和を取ってもよい。

【0119】

また、禁忌物である確率の算出については、それぞれ上述した、時間方向の複数タイミングにおける確率の処理と、複数カメラに対する確率の処理とを組み合わせてもよい。例えば上述した２つ以上のカメラに禁忌物の一部ずつが映るという現象は、あるカメラに禁忌物の一部が映った後で、別のカメラに禁忌物の一部が映るという時差が生じることがある。この場合、各々の１タイミングで複数カメラに対する禁忌物である確率を組み合わせる（例えば和算）だけでは、全てのタイミングにおいて禁忌物か否かを判断するための所定の閾値を超えずに未検知となってしまう。一方、時間方向の複数タイミングにおける確率の処理まで組み合わせれば、たとえ上述の時差があったとしてもその影響を吸収し、検知することができる。

【0120】

また、上記実施形態では、禁忌物の判定に学習済モデルを用いたが、必ずしも機械学習や深層学習の学習済モデルを使用しなくともよい。例えば、統計処理を行うことによって得られる推定モデルを用いて禁忌物の判定を行ってもよい。例えば、禁忌物を示すパターンを用いたパターンマッチング等の画像処理を行うことによって禁忌物の判定を行ってもよい。この場合、使用されるパターンが推定モデルの一具体例となる。このような推定モデルの一つの具体例が、上述した学習済モデルである。

【0121】

［７．ハードウェア構成］
図１３は、上記実施形態及び変形例における禁忌物検出装置３０のハードウェア構成の一例を示すブロック図である。

【0122】

禁忌物検出装置３０は、１または複数のハードウェアプロセッサ（図１３ではＣＰＵ９０１）と、ＲＯＭ９０３、ＲＡＭ９０５等の１または複数のメモリとを含む。また、禁忌物検出装置３０は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。

【0123】

ＣＰＵ９０１は、演算処理装置及び制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、禁忌物検出装置３０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。

【0124】

バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。

【0125】

入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、禁忌物検出装置３０の操作に対応したＰＤＡ等の外部機器９２７であってもよい。禁忌物検出装置３０のユーザは、入力装置９２１を操作し、禁忌物検出装置３０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0126】

出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、禁忌物検出装置３０により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して禁忌物検出装置３０による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。

【0127】

ストレージ装置９１３は、禁忌物検出装置３０の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。

【0128】

ドライブ９１５は、記録媒体用リーダライタであり、禁忌物検出装置３０に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。

【0129】

接続ポート９１７は、機器を禁忌物検出装置３０に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。

【0130】

通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。

【0131】

以上、禁忌物検出装置３０のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。禁忌物検出装置３０のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。また、本実施形態は、上記のコンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体を備えてもよい。このような禁忌物検出装置３０は、例えば複数の情報処理装置を用いて構築されてもよいし、単体の情報処理装置を用いて構築されてもよい。複数の情報処理装置が用いられる場合には、各情報処理装置がネットワークを経由して通信を行うことによって離れた位置に設置されていてもよい。また、禁忌物検出装置３０は、鉄スクラップヤードから離れた場所に設置された情報処理装置を用いて構成されてもよい。この場合、撮影装置２０と禁忌物検出装置３０とはネットワークを介して通信可能に接続されてもよい。

【0132】

［８．実施例］
上記実施形態に係る手法の効果を検証すべく、図３、図４に示した監視システム１を用いて、禁忌物を検出するための学習済モデルを生成し、鉄スクラップ中の禁忌物の検出、除去を実施して、その検出率を算出した。本実施例では、禁忌物として最も混入頻度が高いモーターに限定した。モーターを６２３個用意し、そのうち５２３個をモデル学習用、１００個をスクラップヤードでの禁忌物検出性能の検証用として振り分けた。

【0133】

まず、５２３個の学習用のモーターについて、モーター１個に対して角度、背景などを変えて２回撮影し合計１０４６枚の学習用画像を取得した。このときの撮影環境として、モーターを地面に置いて撮影したほか、鉄スクラップ４に意図的に混ぜるなどし、実際の検品時に近い画像を取得した。撮影機材は、禁忌物検出時に用いる監視システム１の撮影装置２０と同じ撮影機材を用いて撮影した。この合計１０４６枚の画像に対し、図８の下図に示すような画像中の禁忌物の位置、種類及びその確率を示す情報を含むテキストデータ（ラベルデータ）を作成し、元画像とラベルデータを学習用データセットとした。

【0134】

学習済モデルには、深層学習モデルとして周知のＹＯＬＯｖ３（非特許文献１）を用いた。このモデルは、図７（ｉｉ）に示すような、画像とその画像中の禁忌物の周囲を囲うように作成した矩形の情報を学習することで、未知の画像を入力したときにその画像中に含まれる禁忌物の位置を示す矩形の情報を出力するモデルである。つまり本実施例では、モーターが含まれる画像を、すでにモーターを学習済みのモデルに入力することで、画像中の禁忌物の種類（モーター）、その位置を示す矩形の情報、モーターである確率を出力させた。

【0135】

図３に示すように、本実施例では、４台のカメラを用いており、荷台表面に１台、運搬中に２台、スクラップ積載場３での荷下ろし過程に１台、のカメラがそれぞれ設けられている。本実験では、モデルの学習では使用していないテスト用のモーター１００個を、正常な鉄スクラップ中に意図的に混ぜた上で、トラック２の荷台からスクラップ積載場３へ荷下ろしを行い、荷台表面、運搬中、スクラップ積載場３での荷下ろし過程のそれぞれで検出できたモーターの個数を調査した。尚、１００個のモーターは１０個ずつ、１０グループに分け、トラック２の荷台にほぼ満載した正常な鉄スクラップ中に１グループ（１０個）ずつ混ぜる実験を１０回繰り返し、検出できたモーターの個数を１０回分積算した。

【0136】

表１に、運搬中及びスクラップ積載場３での荷下ろし過程のそれぞれの監視により検出できたモーターの個数を示す。運搬中については２台の検出結果を合わせる形で示している。１００個のモーターそれぞれについて、運搬中を監視する少なくとも一方のカメラが検出できたか否か、スクラップ積載場３での荷下ろし過程を監視するカメラが検出できたか否か、の計４通りのいずれかの結果が得られるので、それら４通りのそれぞれに該当する個数の積算値を示している。

【0137】

【表1】

【0138】

表１によると、運搬中の検出個数は７４個、スクラップ積載場での荷下ろし過程では６８個であり、ほぼ７割の検出率であり、それぞれの単独の場所でも一定の検出性能が得られていることが分かる。

【0139】

注目すべきは、いずれかの場所のみで検出できた個数が３４個（＝１４＋２０）あり、２つの場所での検出が相補的に働くことが分かる。結果として、２つの場所の検出結果を合わせることで検知できた個数は８８個となり、ほぼ９割の検出率になる。上述した通り、運搬装置１０により運搬中の鉄スクラップ４を視野にとらえる第１カメラ２０ｃ、２０ｄと、鉄スクラップ積載場３へ荷下ろし中の鉄スクラップ４を視野にとらえる第３カメラ２０ｅとが、お互いに補完し、禁忌物の検出確率を高める効果が実証された。

【0140】

運搬中、スクラップ積載場３での荷下ろし過程のいずれでも検出できなかった残り１２個については、うち６個が荷台を監視するカメラで検出できることが分かり、３か所（荷台、運搬中、スクラップ積載場での荷下ろし過程）の全てで監視することがさらに効果的であることが分かった。

【符号の説明】

【0141】

１ 監視システム
２ トラック
３ 鉄スクラップ積載場
４ 鉄スクラップ
５ 鉄スクラップ
１０ 運搬装置
１１ リフトマグネット
１２ クレーン
１３ クレーンレール
１４ 運搬制御部
１５ 操作部
２０ 撮影装置
２０ａ～２０ｆ カメラ
３０ 禁忌物検出装置
３１ 検出制御部
３２ 出力部
３３ モデル生成部
３４ モデル出力部
３５ データ記憶部
３１０ 画像取得部
３１１ 領域抽出部
３１２ 禁忌物特定部
３１３ 判定部
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ バス
９０９ 入力Ｉ／Ｆ
９１１ 出力Ｉ／Ｆ
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】