特開 2024-87501 監視システム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024087501

(43)【公開日】2024-07-01

(54)【発明の名称】監視システム及び監視方法

(51)【国際特許分類】

   B07C 5/342 20060101AFI20240624BHJP

   G06T 7/00 20170101ALN20240624BHJP

【ＦＩ】

B07C5/342

G06T7/00 610

G06T7/00 350B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022202349

(22)【出願日】2022-12-19

(71)【出願人】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】立溝 信之

(72)【発明者】

【氏名】平野 弘二

【テーマコード（参考）】

3F079

5L096

【Ｆターム（参考）】

3F079AB00

3F079CB01

3F079CB30

3F079DA18

5L096BA02

5L096CA05

5L096DA02

5L096GA30

5L096GA34

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】鉄スクラップから禁忌物を検出する禁忌物検出モデルの生成に用いる既知データ（学習データ）を効率的に収集し、禁忌物検出モデルによる禁忌物の検出精度を維持する。
【解決手段】監視システムは、鉄スクラップを撮影する１または複数の撮影装置と、鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、撮影装置により撮影された画像を入力して、禁忌物を検出する禁忌物検出装置と、検品作業中または鉄スクラップの運搬中に入力された、禁忌物検出装置による禁忌物の検出結果に対する作業者判断を、画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する作業者端末とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

鉄スクラップを撮影する１または複数の撮影装置と、
鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、前記撮影装置により撮影された画像を入力して、前記禁忌物を検出する禁忌物検出装置と、
検品作業中または鉄スクラップの運搬中に入力された、前記禁忌物検出装置による禁忌物の検出結果に対する作業者判断を、前記画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する作業者端末と、
を備える、監視システム。

【請求項2】

アノテーション端末をさらに備え、
前記アノテーション端末は、前記アノテーション候補画像に対するラベルデータを前記アノテーション候補画像と関連付けて前記データ記憶部に記録するアノテーションを実施する、請求項１に記載の監視システム。

【請求項3】

前記アノテーション端末は、
前記アノテーション候補画像に関連付けられた前記作業者判断に基づいて、前記アノテーションを実施する優先順位を決定し、
前記優先順位の高い順に、前記アノテーションを実施する、請求項２に記載の監視システム。

【請求項4】

前記禁忌物検出装置は、前記アノテーションの実施により生成された追加学習データを用いて前記禁忌物検出モデルを更新する、請求項２に記載の監視システム。

【請求項5】

前記作業者端末は、運搬装置の運転室に設置されている、請求項１～４のいずれか１項に記載の監視システム。

【請求項6】

１または複数の撮影装置により鉄スクラップを撮影する撮影ステップと、
鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、前記撮影装置により撮影された画像を入力して、前記禁忌物を検出する禁忌物検出ステップと、
検品作業中または鉄スクラップの運搬中に入力された、前記禁忌物の検出結果に対する作業者判断を、前記画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する判断記録ステップと、
を含む、鉄スクラップの監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鉄スクラップを監視する監視システム及び監視方法に関する。

【背景技術】

【0002】

近年、地球温暖化問題を背景としてＣＯ_２排出量を削減する必要性から、鉄鋼業においては現在主要な製法である高炉法に代わり、電炉法が注目されている。電炉法の主原料は鉄スクラップであるが、銅などのトランプエレメントが混入すると自動車向け鋼板などの高級鋼製造時に割れ等の不良品を発生させる要因になる。またガスボンベなどの密閉物が混入していると電炉内で爆発を引き起こす危険性がある。そのため、鉄スクラップからトランプエレメント含有物や密閉物などを除去する技術が重要である。

【0003】

従来、市中の解体現場等から集められた鉄スクラップ中の禁忌物（除去すべき対象物）を、撮影装置により鉄スクラップを撮影した画像から、画像認識技術を用いて自動的に検知することが行われている（例えば、特許文献１）。画像認識技術は、例えば、機械学習等の技術によって、過去に収集された複数枚の撮影画像とそれらの撮影画像に含まれていた禁忌物を示すラベルとからなる既知データを教師データとして用いて、禁忌物の特徴を機械学習することによって生成される禁忌物検出モデル（いわゆる学習済モデル）を用いることで実現可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１６３０７８号公報

【非特許文献】

【0005】

【非特許文献1】Joseph Redmon、他３名、“You Only Look Once: Unified, Real-Time Object Detection”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1506.02640〉

【非特許文献2】Olaf Ronneberger、他２名、“U-Net：Convolutional Networks for Biomedical Image Segmentation”［令和３年５月１８日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉

【非特許文献3】Samet Akcay、他２名、“GANomaly：Semi-Supervised Anomaly Detection via Adversarial Training”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1805.06725〉

【非特許文献4】Paul Bergmann、他３名、“Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders”、[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1807.02011〉

【非特許文献5】Paolo Napoletano、他２名、“Anomaly Detection in Nanofibrous Materials by CNN-Based Self-Similarity”、[令和３年５月１８日検索]、インターネット〈https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5795842/〉

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、鉄スクラップにおいては、禁忌物検出モデルを生成した時点で想定していない特徴を有するものが新たに検出対象の禁忌物となる場合もある。例えば、単純に学習時点で用意したデータが実際のすべての禁忌物の特徴を網羅できるほどに十分でなかった場合がある。あるいは、新製品が開発されたり、製品の規格が変化したりすることで、時代とともに禁忌物の形状が変化することもある。また、古い建物を解体した鉄スクラップには、禁忌物検出モデルを生成した際には認識していなかった古い禁忌物が含まれることもあり得る。さらに、禁忌物リストが更新されたり、禁忌物検出モデルを生成した際に検出対象の禁忌物を考慮していなかったりすることもある。このような場合、当該禁忌物検出モデルでは新たに検出対象となった禁忌物を検出できない可能性もあり、禁忌物の見逃しの原因となり得る。

【0007】

新たに検出対象となった禁忌物の検出を高めるには、継続的に機械学習に追加すべき画像の選定及びアノテーション（画像に対してラベルを付与して学習データを作成する作業）を実施し、短周期で禁忌物検出モデルを再学習させる必要がある。しかし、禁忌物の発生頻度は１日数回と非常に低く、撮影装置により得られたすべての画像から禁忌物が写っている画像を選定するには多大な時間と労力がかかる。

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、鉄スクラップから禁忌物を検出する禁忌物検出モデルの生成に用いる既知データ（いわゆる学習データ）を効率的に収集し、禁忌物検出モデルによる禁忌物の検出精度を維持することが可能な、監視システム及び監視方法を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある観点によれば、鉄スクラップを撮影する１または複数の撮影装置と、鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、撮影装置により撮影された画像を入力して、禁忌物を検出する禁忌物検出装置と、検品作業中または鉄スクラップの運搬中に入力された、禁忌物検出装置による禁忌物の検出結果に対する作業者判断を、画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する作業者端末とを備える、監視システムが提供される。

【0010】

監視システムは、アノテーション端末をさらに備えてもよい。アノテーション端末は、アノテーション候補画像に対するラベルデータをアノテーション候補画像と関連付けてデータ記憶部に記録するアノテーションを実施する。

【0011】

アノテーション端末は、アノテーション候補画像に関連付けられた作業者判断に基づいて、アノテーションを実施する優先順位を決定し、優先順位の高い順に、アノテーションを実施してもよい。

【0012】

禁忌物検出装置は、アノテーションの実施により生成された追加学習データを用いて禁忌物検出モデルを更新してもよい。

【0013】

作業者端末は、運搬装置の運転室に設置されていてもよい。

【0014】

また、上記課題を解決するために、本発明の別の観点によれば、１または複数の撮影装置により鉄スクラップを撮影する撮影ステップと、鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、撮影装置により撮影された画像を入力して、禁忌物を検出する禁忌物検出ステップと、検品作業中または鉄スクラップの運搬中に入力された、禁忌物の検出結果に対する作業者判断を、画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する判断記録ステップと、を含む、鉄スクラップの監視方法が提供される。

【発明の効果】

【0015】

以上説明したように本発明によれば、検品作業中または鉄スクラップを運搬する運搬装置の操作中に入力された作業者判断を関連付けて、画像をアノテーション候補画像としてデータ記憶部に記録することで、禁忌物検出モデルの生成に用いる既知データ（いわゆる学習データ）を効率的に収集し、禁忌物検出モデルによる禁忌物の検出精度を維持することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る監視システムの適用例を示す図である。

【図2】禁忌物の検出結果に対する作業者判断の入力を説明する説明図である。

【図3】アノテーション作業を説明する説明図である。

【図4】同実施形態に係る監視システムの一構成例を示すブロック図である。

【図5】禁忌物検出モデルの生成に用いられる学習データの一例を示す図である。

【図6】同実施形態に係るモデル生成処理の一例を示すフローチャートである。

【図7】同実施形態に係る禁忌物検出処理の一例を示すフローチャートである。

【図8】同実施形態に係る禁忌物検出処理ステップの一具体例を示すフローチャートである。

【図9】禁忌物検出装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0018】

［１．概要］
まず、図１に基づいて、本発明の一実施形態の概要を説明する。図１は、本実施形態に係る監視システム１の適用例を示す図である。図１に示すように、監視システム１は、鉄スクラップを監視するシステムであって、例えば、鉄スクラップヤードで用いられる。工場、市中などで発生した鉄スクラップは、トラック２によって鉄スクラップヤードに搬入されると、リフトマグネットやトングなどの運搬装置１０を用いて鉄スクラップ積載場３まで運搬（荷下ろし）される。

【0019】

トラック２によって搬入されたばかりの鉄スクラップには、製鉄メーカーによって受け入れ禁止となっている禁忌物が混入している可能性がある。このため、鉄の製造等に再利用する前に搬入された鉄スクラップを検品し、禁忌物が混ざっていれば当該鉄スクラップから除去する必要がある。ここで、禁忌物には、銅などの非鉄成分を含むモータ、溶鋼に投入すると爆発の恐れがあるガスボンベなどが含まれる。鉄スクラップの検品は、鉄スクラップがトラック２の荷台に置かれた状態で行われてもよく、運搬装置１０による運搬中に行われてもよい。なお、以下では、検品前の鉄スクラップを未検品鉄スクラップ４、検品後の鉄スクラップを検品済み鉄スクラップ５と称する場合がある。

【0020】

本実施形態に係る監視システム１は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影装置（例えば、図１のカメラ２０ａ、２０ｂ、２０ｃ）によって撮影し、禁忌物検出装置３０により画像処理によって検品を行う。

【0021】

禁忌物検出装置３０は、深層学習等の技術を用いて予め作成された、鉄スクラップ中に含まれる禁忌物を検出する禁忌物検出モデルを用いて、禁忌物を検出する。禁忌物検出モデルは、禁忌物の種類、位置に加えて、禁忌物である確率も出力する。なお、禁忌物の種類は、「モータ」、「配電盤」、というように複数の種類に分類して出力してもよく、単に「禁忌物」との１種類を出力するようにしてもよい。禁忌物検出装置３０は、未検品鉄スクラップ４を撮影して新たに取得した画像が禁忌物検出モデルに入力されると、画像から禁忌物が検出され、かつ、当該禁忌物である確率が所定の閾値を超えた場合に、運搬装置１０のオペレータにその旨を通知して、禁忌物の除去を促す。

【0022】

本実施形態に係る監視システム１では、別視点または別タイミングで複数回撮影して得られた画像（例えば、別タイミングで連続的に撮影する場合は１秒に３０枚程度）を上記禁忌物検出モデルに逐次入力して、その都度、禁忌物を検出する。

【0023】

また、本実施形態に係る監視システム１では、禁忌物検出モデルによる禁忌物の検出精度を維持するため、運搬装置１０のオペレータに対して禁忌物検出装置３０による禁忌物の検出結果を通知するための作業者端末４０を備える。オペレータは、作業者端末４０を用いて、検品作業者として、禁忌物検出装置３０による禁忌物の検出結果に対する判断（作業者判断）を、付加情報として記録する。これにより、検品作業終了後に、アノテーション作業者がアノテーションを行う際に、アノテーション候補画像を容易に抽出することができ、禁忌物検出モデルの生成に用いる既知データ（いわゆる学習データ）を効率的に収集することができる。

【0024】

なお、運搬装置１０のオペレータ、未検品鉄スクラップ４を検品する検品作業者、及び、アノテーションを実施するアノテーション作業者は、同一人物であってもよく、異なる人物であってもよい。例えば、オペレータが、運転室にて運搬装置１０の操作と、検品作業者として検品作業とを実施した後、アノテーション作業者としてアノテーションを実施してもよい。また、例えば、オペレータが運転室にて運搬装置１０を操作し、オペレータとは異なる検品作業者が運転室以外の場所（例えば、事務室等）にて禁忌物検出装置３０の禁忌物の検出結果に対する作業者判断を入力し、検品作業者がアノテーション作業者としてアノテーションを実施してもよい。このとき、アノテーション作業者は、検品作業者と異なる人物であってもよい。

【0025】

また、作業者判断は、検品作業中または鉄スクラップの運搬中に入力し得る。ここで、検品作業中の作業者判断の入力には、検品作業を一時中断して作業者判断を入力する場合も含まれる。同様に、鉄スクラップの運搬中の作業者判断の入力には、鉄スクラップの運搬を一時中断して作業者判断を入力する場合も含まれる。

【0026】

具体的には、オペレータは、運搬装置１０の運転室において、運搬装置１０の操作と、検品作業者として未検品鉄スクラップ４の検品を行う。運転室には作業者端末４０が設置されている。作業者端末４０は、例えば、タブレット端末やパーソナルコンピュータ等の情報処理装置である。作業者端末４０は、撮影装置（例えば、図１のカメラ２０ａ、２０ｂ、２０ｃ）にて撮影された未検品鉄スクラップ４の画像を提示する。また、作業者端末４０は、禁忌物検出装置３０により禁忌物が検出された場合に、アラームを出力し、オペレータに対して禁忌物が検出された旨を通知する。なお、作業者端末４０への画像の提示方法としては、撮影された画像をリアルタイムに出力してもよいし、禁忌物検出装置３０により禁忌物が検出されたタイミングにのみ画像を出力してもよい。以下では特に断らない限り、撮影された画像をリアルタイムに出力する場合を説明する。

【0027】

オペレータは、運転室での作業中に、作業者端末４０を用いて、禁忌物検出装置３０による禁忌物の検出結果が正しいか否かを、禁忌物の検出結果に対する作業者判断として入力する。例えば、図２に示すように、作業者端末４０の出力部４３には、撮影装置（例えば、図１のカメラ２０ａ、２０ｂ、２０ｃ）にて撮影された未検品鉄スクラップ４の画像４１０と、例えばオペレータが作業者判断を入力するためのボタン４２０とが表示されている。ボタン４２０は、正解ボタン４２１、誤検知ボタン４２２、及び、未検知ボタン４２３がある。なお、ボタン４２０は、作業者端末４０に対して情報を入力する物理的なボタン（図４の作業者端末入力部４２に相当）として設けてもよい。

【0028】

オペレータは、禁忌物検出装置３０が禁忌物を検知してアラームを発したときに、正しく禁忌物が検出されている場合（正解の場合）、正解ボタン４２１を押下して、禁忌物検出モデルが正しく禁忌物を検出できているとの作業者判断を入力する。

【0029】

また、禁忌物検出装置３０が禁忌物を検知してアラームを発したが、実際には禁忌物が存在しなかった場合（不正解の誤検知の場合）、オペレータは、誤検知ボタン４２２を押下して、禁忌物検出モデルが誤って禁忌物を検出したとの作業者判断を入力する。なお、誤検知には、禁忌物ではない物体を禁忌物と検知した不正解と、禁忌物の種類を誤った種類間違いとがある。これらを区別して作業者判断を負荷するために、誤検知ボタン４２２を、不正解ボタンと種類間違いボタンとの２つに分けてもよい。

【0030】

さらに、実際には禁忌物が存在するにもかかわらず、禁忌物検出装置３０が禁忌物を検知しなかった場合（未検知の場合）、オペレータは、未検知ボタン４２３を押下して、禁忌物検出モデルが禁忌物を検出できていないとの作業者判断を入力する。

【0031】

作業者端末４０は、これらのオペレータの作業者判断と、当該判断時に作業者端末４０に表示されている画像４１０とを関連付けて、データ記憶部（図４のデータ記憶部３３）に記録する。作業者端末４０は、データ記憶部に記録する情報として、禁忌物検出モデルが禁忌物を検知したときに出力した画像中の禁忌物の位置や種類を示すラベルデータを、当該画像と関連付けて、データ記憶部に記録してもよい。

【0032】

なお、作業者判断が未検知の場合に、禁忌物検出装置３０により禁忌物が検出されたタイミングにのみ作業者端末４０へ画像を出力する場合には、作業者端末４０には未検知のタイミングでの画像は表示されないことになる。この場合には、リアルタイムの動画を別途記憶部（図示せず。）に記録しておき、当該動画から未検知ボタン４２３が入力されたタイミングの画像を抽出して、データ記憶部に記録する。

【0033】

作業者判断が付加された画像４１０は、アノテーション候補画像として、アノテーションを行う際にアノテーション作業者に提示される。画像４１０に作業者判断を付加しておくことで、撮影装置により撮影された膨大な画像から、アノテーションを行う画像を容易に抽出することができる。

【0034】

例えば、１台のカメラが画像を５枚／秒で取得するとき、１日の操業が８時間であれば１４４０００枚の画像が取得されることになる。従来、禁忌物検出モデルの作成者は、１日の操業で取得された画像を目で見て、アノテーション候補画像を抽出していた。このため、目視によりアノテーション候補画像かどうかの確認を画像１枚に対して平均１秒で実施したとしても、すべての画像に対してアノテーション候補画像かどうかを確認するには４０時間が必要であった。本実施形態に係る監視システム１を用いれば、未検知、誤検知、正解に関する画像（アノテーション候補画像）を自動で抽出することができるので、検品作業終了後のアノテーション候補画像を抽出するための作業時間をなくすことができる。

【0035】

アノテーションは、アノテーション作業者が、事務室に設置されたアノテーション端末５０を用いて行ってもよい。アノテーション端末５０は、例えば、タブレット端末やパーソナルコンピュータ等の情報処理装置である。

【0036】

例えば、禁忌物を正しく検知した正解時の画像のアノテーションでは、図３に示すように、アノテーション作業者が、ラベリングツール等を用いて、アノテーション端末５０に表示されたアノテーション候補画像５１０において禁忌物が表示されている禁忌物表示領域を指定すると、禁忌物表示領域を示すラベルデータ５２０が得られる。このアノテーション候補画像５１０とラベルデータ５２０とのデータセットが、既知データ（いわゆる学習データ）または追加の既知データ（いわゆる追加学習データ）として、データ記憶部に記録される。

【0037】

また、禁忌物が検出されなかった未検知時の画像のアノテーションでは、アノテーション作業者が禁忌物の領域及び種類を指定して得られたラベルデータ５２０が、アノテーション候補画像５１０と関連付けられ、既知データ（いわゆる学習データ）または追加の既知データ（いわゆる追加学習データ）として、データ記憶部に記録される。

【0038】

さらに、禁忌物の種類を誤った種類間違い時のアノテーションでは、アノテーション作業者が禁忌物の領域と正しい禁忌物の種類を指定して得られたラベルデータ５２０が、アノテーション候補画像５１０と関連付けられ、既知データ（いわゆる学習データ）または追加の既知データ（いわゆる追加学習データ）として、データ記憶部に記録される。また、禁忌物ではない物体を禁忌物と検知した不正解時のアノテーションでは、アノテーション作業者は、禁忌物表示領域を示すラベルデータを何も付けずに、アノテーションを完了させる。

【0039】

なお、上記説明では、アノテーション作業者が各画像に対しゼロからアノテーションを実施しラベルデータを作成することを前提としている。一方、アノテーション候補画像抽出時に、禁忌物検出モデルが検知時に出力した画像中の禁忌物の位置や種類を示すラベルデータを当該画像に関連付けてデータ記憶部に記録する場合には、そのラベルデータを読み出し、ラベルデータを上書き修正することによりアノテーションをしてもよい。この場合、例えばオペレータの判断が正解時の画像のアノテーションにおいては、禁忌物検出モデルが出力したラベルの種類は合っているわけであるから、アノテーション作業者は、読み出したラベルデータを初期値として、ラベルデータの位置や大きさの微調整のみ行えばよい。このように、アノテーション候補画像にラベルデータが関連付けられている場合には、当該ラベルデータを活用して、画像から禁忌物の位置を探し出す作業や、種類を指定して外接長方形やマーキングデータを新規作成する作業を省力化することができる。

【0040】

禁忌物検出装置３０は、アノテーションにより得られた既知データ（いわゆる学習データ）または追加の既知データ（いわゆる追加学習データ）を用いて、所定のタイミングで禁忌物検出モデルを生成（すなわち、学習）または更新（すなわち、再学習またはモデルの入れ替え）する。これにより、これまでの禁忌物検出モデルでは検出しにくい禁忌物も検出できるようになり、禁忌物検出モデルによる禁忌物の検出精度を維持することができる。また、禁忌物検出モデルで誤検知されていた禁忌物を、禁忌物検出モデルの更新後には誤検知しないようにすることができ、禁忌物検出モデルの精度を高めることもできる。

【0041】

なお、本実施形態に係る禁忌物検出モデルは、深層学習により生成された深層学習モデルとして説明するが、本発明の禁忌物検出モデルの種類は係る例に限定されない。例えば、禁忌物検出モデルは、深層学習ではない一般的な機械学習、各種統計手法等により生成されたものでもよい。例えば、禁忌物検出モデルは、パターンマッチングにより画像中の禁忌物を検知する画像処理アルゴリズムや、禁忌物の特徴から画像中の禁忌物を検知するカスケード分類器として機能する画像処理アルゴリズム、画像の特徴点から画像中の禁忌物を検知する画像処理アルゴリズム等であってもよい。

【0042】

以下、本実施形態に係る監視システム１について詳細に説明する。なお、以下の説明においては、運搬装置１０のオペレータ、未検品鉄スクラップ４を検品する検品作業者、及び、アノテーションを実施するアノテーション作業者は、同一人物として説明する。

【0043】

［２．監視システム構成］
図１及び図４に基づいて、本実施形態に係る監視システム１の一構成例を説明する。図４は、本実施形態に係る監視システム１の一構成例を示すブロック図である。図１及び図４に示すように、監視システム１は、運搬装置１０と、撮影装置２０と、禁忌物検出装置３０と、作業者端末４０とを備える。また、監視システム１は、アノテーション端末５０を備えていてもよい。

【0044】

［２－１．運搬装置］
運搬装置１０は、鉄スクラップヤード内の所定位置に停車したトラック２の荷台から、鉄スクラップ積載場３まで、未検品鉄スクラップ４を運搬する。図１に示すように、運搬装置１０は、例えば、リフトマグネット１１と、クレーン１２と、クレーンレール１３と、運搬制御部１４と、操作部１５と、を備え、磁力によって未検品鉄スクラップ４を吊り上げて運搬する。なお、本発明は係る例に限定されず、運搬装置１０は、未検品鉄スクラップ４をトラック２の荷台から鉄スクラップ積載場３まで運搬可能であればどのような形態でもよい。運搬装置１０は、例えばベルトコンベア、アーム、重機のような機械装置であってもよい。

【0045】

リフトマグネット１１は、筐体内部に磁力を発生する装置を備え、その磁力の強弱を制御することにより、磁性を有する未検品鉄スクラップ４の吸着と吸着解除を行う。クレーン１２は、リフトマグネット１１をワイヤー等により吊下げ可能な構造を有しており、リフトマグネット１１を昇降させる。クレーンレール１３は、図１の紙面奥行方向と左右方向にクレーン１２を移動させることが可能なレールである。クレーン１２は、クレーンレール１３に沿って移動し、鉄スクラップヤードの特定の範囲内においてその位置を自由に変更できる。

【0046】

運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１の磁力の強弱と、クレーン１２の昇降および位置とを制御する。操作部１５は、オペレータによる操作を受け付ける操作機構（例えば、操作パネル）であり、運転室に設けられている。操作部１５は、オペレータの操作に基づきリフトマグネット１１とクレーン１２を制御するための指示（信号）を運搬制御部１４に送信する。

【0047】

［２－２．撮影装置］
撮影装置２０は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影する。撮影装置２０は、例えば図１に示すように、複数のカメラ２０ａ、２０ｂ、２０ｃにより構成され、それぞれのカメラ２０ａ、２０ｂ、２０ｃが別視点で複数回撮影することで、複数の静止画を作成してもよい。あるいは、撮影装置２０は、単一のカメラにより構成され、連続的に異なるタイミングで複数回撮影することで動画を作成してもよい。撮影装置２０で作成された動画または複数の静止画は、禁忌物検出装置３０に出力される。

【0048】

［２－３．禁忌物検出装置］
禁忌物検出装置３０は、撮影装置２０から得られた画像（静止画、動画を含む）に含まれている禁忌物を検出し、その検出結果をオペレータに通知する。禁忌物検出装置３０は、例えば図４に示すように、検出制御部３１と、データ記憶部３３と、モデル生成部３４と、モデル出力部３５と、を備える。

【0049】

（検出制御部３１）
検出制御部３１は、撮影装置２０により取得した複数の画像を禁忌物検出モデル（例えば、機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率を逐次特定する。検出制御部３１は、特定された禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率のうち少なくともいずれかを、作業者端末４０に送信する。検出制御部３１は、図４に示すように、画像取得部３１０と、領域抽出部３１１、禁忌物特定部３１２と、判定部３１３とを、有する。

【0050】

画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点または別タイミングで複数回撮影させ、複数の画像（動画、又は複数の静止画）を取得する。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定のサイズに変換し、領域抽出部３１１または禁忌物特定部３１２へ出力する。

【0051】

領域抽出部３１１は、画像取得部３１０により所定のサイズに変換された複数の画像において、禁忌物が含まれている可能性のある領域（以下、「鉄スクラップの存在領域」ともいう。）を抽出する。例えば、領域抽出部３１１は、人工知能等の技術を用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。なお、領域抽出部３１１は、人工知能等の技術を用いずに、画像中の所定の位置、所定のサイズの領域を鉄スクラップの存在領域として設定してもよい。領域抽出部３１１は、処理の高速化のために鉄スクラップの存在領域を抽出するが、領域抽出部３１１による領域抽出処理は必ずしも実施する必要はない。このため、領域抽出部３１１は、必要に応じて禁忌物検出装置３０に設ければよい。

【0052】

禁忌物特定部３１２は、画像取得部３１０により所定のサイズに変換された複数の画像、または、領域抽出部３１１により抽出された領域の画像を、禁忌物検出モデル（例えば、機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率を逐次特定する。

【0053】

禁忌物検出モデルとしては、例えば、非特許文献１と非特許文献２に示すような画像中の物体の種類、位置及びその物体である確率を出力する機械学習モデルであってもよい。また、禁忌物の形状パターンを人が予め設定して検出するパターンマッチング等の画像処理技術を用いて、禁忌物検出モデルを生成してもよい。非特許文献１～５では、毎回の判定の際、禁忌物検出モデルへ入力される画像の数は１枚であるが、時系列的に連続する複数の画像を入力し、それらを総合的に判断して、物体の種類、位置およびその物体である確率を出力させてもよい。以下の説明では、禁忌物検出モデルへ入力される画像の数は１枚として説明する。

【0054】

判定部３１３は、禁忌物特定部３１２により特定された禁忌物である確率が所定の閾値を超えているか否かを判定する。そして、判定部３１３は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率のうち少なくともいずれかを、作業者端末４０に送信する。さらに、判定部３１３は、禁忌物の検出に用いた画像、または、鉄スクラップの存在領域を示した検出結果の画像を、作業者端末４０に出力する。判定部３１３は、作業者端末４０に対して、禁忌物の種類、位置、および禁忌物である確率は出力せず、禁忌物の検出に用いた画像、または、鉄スクラップの存在領域を示した検出結果の画像のみを出力してもよい。

【0055】

（データ記憶部３３）
データ記憶部３３は、後述するモデル生成部３４が禁忌物検出モデルを生成する際に用いる既知データ（いわゆる学習データ）または追加の既知データ（いわゆる追加学習データ）を記憶する記憶装置である。データ記憶部３３は、撮影装置２０により撮影して得られたすべての画像を記憶してもよい。すべての画像を記憶する場合には、学習データまたは追加学習データとして用いる画像の保存先と当該画像に関連付けられた作業者判断とのリストを、テキストデータとしてデータ記憶部３３に記録してもよい。あるいは、データ記憶部３３は、学習データまたは追加学習データとして用いる予定の画像のみを記憶してもよい。

【0056】

また、データ記憶部３３は、判定部３１３が作業者端末４０に出力した画像に対して、作業者判断が付与されたアノテーション候補画像を記憶する。アノテーション候補画像は、上述のようなアノテーションが行われた後、禁忌物検出モデルを生成（すなわち、学習）または更新（すなわち、再学習またはモデルの入れ替え）する際に用いる学習データまたは追加学習データとして用いられる。データ記憶部３３は、アノテーション候補画像を、例えばアノテーション端末５０に出力し、アノテーション端末５０を用いてアノテーション作業者がアノテーションを行い生成されたアノテーション候補画像とラベルデータとのデータセットを、学習データまたは追加学習データとして記録する。

【0057】

なお、アノテーション候補画像と、学習データまたは追加学習データとの記録先は、必ずしも同一（例えば、データ記憶部３３）である必要はなく、現場に設置されたハードディスクやクラウド上のストレージサービス等を利用して異なる記憶部に記録してもよい。例えば、オペレータによる作業者判断は運転室に設置されたコンピュータのハードディスクに記録し、オペレータによるアノテーションの結果物であるアノテーション候補画像とラベルデータとのデータセットはクラウド上のストレージに記録してもよい。

【0058】

（モデル生成部３４）
モデル生成部３４は、撮影装置２０で撮影された未検品鉄スクラップ４の画像から禁忌物の種類、位置、および禁忌物である確率を特定する禁忌物検出モデルを生成する。具体的には、モデル生成部３４は、データ記憶部３３に記録されているアノテーション候補画像と、その画像に含まれていた禁忌物の種類及び位置を表す情報（ラベルデータ）とが関連付けられた複数のデータを既知データ（いわゆる学習データ）として、例えば機械学習により、画像中の禁忌物の種類、位置、及び禁忌物である確率を特定するモデルを生成する。

【0059】

学習データとして用いるアノテーション候補画像中において、禁忌物が存在している正解の領域を特定し得るラベルデータは、例えば元画像に対して人が禁忌物の存在している領域を判定して、禁忌物全体をマーキングした領域を表す情報であってもよい。このとき、マーキングした禁忌物の種類を表す情報として、予め禁忌物ごとに振り分けた輝度値を用いてもよい。

【0060】

図５は、禁忌物検出モデルの生成に用いられる学習データの一例を示す図である。モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の画像（図５の上図に示す元画像）と、その元画像中において禁忌物が存在している正解の領域を特定し得るラベルデータ（図５の中図、下図に示す画像）とを、学習データのセットとして用いる。例えば、図５の中図に示すように、予め、元画像に対して人が禁忌物の存在している領域を判定して、禁忌物全体にラベル付け（マーキング）した画像を学習データのセットとして用いる。なお、学習時には人がつけた正解のラベルデータに対して禁忌物である確率が所定の基準値以上（例えば、１００％）となるように最適化の目的関数を設定して学習する。

【0061】

なお、ここで用いるラベルデータとしては、元画像データ（図５の上図）中における禁忌物の位置をマーキングしたマーキング画像データ（図５の中図）であってもよい。このとき、マーキングした禁忌物の種類を表す情報として、あらかじめ禁忌物ごとに振り分けた輝度値を用いることができる。例えば、０～２５５段階の輝度値で表されるグレースケール画像をマーキング画像として用いる場合、モータを輝度５０、ガスボンベを輝度１００でマーキングするなどして、禁忌物の種類を各画素の輝度値で区別できるようにしてもよい。もちろん、禁忌物の位置を表す情報としては、禁忌物として振り分けた輝度値を有する画素の座標を用いればよい。

【0062】

また、ラベルデータは、図５の下図のように画像中の禁忌物の周囲を囲う矩形情報等を含む、テキストデータであってもよい。例えば、テキストデータであるラベルデータでは、禁忌物の位置を矩形の座標データで表し、禁忌物の種類としてその矩形内の禁忌物を識別可能な情報で表せばよい。

【0063】

モデル生成部３４は、例えば、禁忌物が含まれている画像と、当該画像中において禁忌物が存在している領域を特定し得るラベルデータとが関連付けられた複数のデータを学習データまたは追加学習データとして、画像中の禁忌物の特徴を学習し、禁忌物検出モデルを生成してもよい。この場合、モデル生成部３４は、データ記憶部３３から取得した禁忌物が含まれている画像を禁忌物検出モデルに入力し、禁忌物検出モデルが出力する禁忌物の位置（領域）が、禁忌物が存在している正解の位置に近づくように、また禁忌物の種類とその禁忌物である確率が所定の基準値以上（例えば、１００％）となるように、禁忌物検出モデルを最適化する。かかる禁忌物検出モデルを禁忌物の検出に用いる場合、禁忌物の種類、禁忌物の位置（領域）を示す座標データ、確信度を示す確率の値が禁忌物検出モデルから出力される（例えば非特許文献１）。

【0064】

さらに、モデル生成部３４は、所定のタイミングで、アノテーションを行い生成されたアノテーション候補画像とラベルデータとのデータセットを追加学習データとして用いて既存の禁忌物検出モデルを更新（すなわち、再学習またはモデルの入れ替え）してもよい。これにより、これまでの禁忌物検出モデルでは検出しにくい禁忌物も検出できるようになり、禁忌物検出モデルによる禁忌物の検出精度を維持することができる。また、禁忌物検出モデルで誤検知されていた禁忌物を、禁忌物検出モデルの更新後には誤検知しないようにすることができ、禁忌物検出モデルの精度を高めることもできる。

【0065】

モデル生成部３４は、生成した禁忌物検出モデルをモデル出力部３５へ出力する。

【0066】

（モデル出力部３５）
モデル出力部３５は、モデル生成部３４により生成された禁忌物検出モデルを出力する。例えば、モデル出力部３５は、モデル生成部３４により生成された禁忌物検出モデルを、禁忌物特定部３１２へ出力する。禁忌物特定部３１２は、入力された禁忌物検出モデルを用いて、未検品鉄スクラップ４の画像から、禁忌物の検出を行い、禁忌物の種類、位置、及び禁忌物である確率を特定する。

【0067】

［２－４．作業者端末］
作業者端末４０は、運搬装置１０のオペレータに対して禁忌物検出装置３０による禁忌物の検出結果を通知するための情報処理装置である。作業者端末４０は、運搬装置１０の運転室に設置されている。オペレータは、運転室から未検品鉄スクラップ４を目視しながら、運搬装置１０を操作するとともに、検品作業者として、作業者端末４０から出力される禁忌物検出装置３０による禁忌物の検出結果を参考にしつつ未検品鉄スクラップ４の検品を行う。作業者端末４０は、作業者端末インタフェース部４１と、作業者端末入力部４２と、作業者端末出力部４３とを備える。

【0068】

作業者端末インタフェース部４１は、外部の装置とデータの送受信を行う。例えば、作業者端末インタフェース部４１は、禁忌物検出装置３０から、禁忌物の検出結果（すなわち、未検品鉄スクラップ４の画像中に検出された、禁忌物の種類、位置、及び禁忌物である確率）を受信する。作業者端末インタフェース部４１は、受信した禁忌物の検出結果を、作業者端末出力部４３へ出力する。また、作業者端末インタフェース部４１は、禁忌物検出装置３０に対して、禁忌物の検出結果に対する作業者判断を付与して、禁忌物検出装置３０に送信し、データ記憶部３３に記録させる。

【0069】

作業者端末入力部４２は、運搬装置１０のオペレータが検品作業者として情報を入力するための操作手段であり、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等である。例えば、図２に示したように、作業者端末４０がタブレット端末である場合には、作業者端末入力部４２はタッチパネルであり、正解ボタン４２１、誤検知ボタン４２２、及び、未検知ボタン４２３等が実現される。オペレータは、タッチパネルを操作することにより情報を入力し得る。例えば、オペレータは、作業者端末入力部４２から、禁忌物検出装置３０による禁忌物の検出結果に対する作業者判断を入力し得る。なお、正解ボタン４２１、誤検知ボタン４２２、及び、未検知ボタン４２３は、物理的なボタンとして構成されてもよい。さらに、ボタンを用いずとも、「正解！」「誤検知！」「未検知！」等のオペレータの発声をマイクで収集し、その音声を自動で解析して正解、誤検知または未検知のいずれであるかを識別した結果を、作業者判断の入力としてもよい。

【0070】

作業者端末出力部４３は、オペレータに対して情報を出力するための出力手段であり、例えば、文字列、画像等を表示するディスプレイ装置やランプ等の表示装置、音声を出力するスピーカ及びヘッドホン等の音声出力装置等である。なお、作業者端末出力部４３は、タブレット端末等のように作業者端末４０の本体と一体的に設けられてもよく、作業者端末４０の本体に接続された装置として設けられてもよい。

【0071】

作業者端末出力部４３は、禁忌物検出装置３０から受信した禁忌物の検出結果を表示し、オペレータに提示する。例えば、作業者端末出力部４３は、禁忌物検出装置３０による禁忌物検出処理にて禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率のうち少なくともいずれかを出力する。このとき、作業者端末出力部４３は、禁忌物の検出に用いた画像、または、鉄スクラップの存在領域を示した検出結果の画像をあわせて出力してもよい。作業者端末出力部４３は、禁忌物検出装置３０により禁忌物が検出された旨の通知を受けると、アラームを出力する。作業者端末出力部４３の出力を受けた検品作業者としてのオペレータは、未検品鉄スクラップ４に禁忌物が混入しているおそれがあることを容易かつ正確に知ることができ、適宜、禁忌物を未検品鉄スクラップ４から除去できる。

【0072】

［２－５．アノテーション端末］
アノテーション端末５０は、アノテーション作業者がアノテーションを行うために使用する情報処理装置である。アノテーションは、通常、検品作業者による運転室での検品作業後に行われる。このため、アノテーション端末５０は、例えば事務室等の、運転室とは異なる場所に設置されていてもよい。アノテーション端末５０は、アノテーション端末インタフェース部５１と、アノテーション端末入力部５２と、アノテーション端末出力部５３と、ラベリング処理部５４とを備える。

【0073】

アノテーション端末インタフェース部５１は、外部の装置とデータの送受信を行う。例えば、アノテーション端末インタフェース部５１は、禁忌物検出装置３０のデータ記憶部３３から、アノテーション候補画像を取得する。アノテーション端末インタフェース部５１は、取得したアノテーション候補画像を、アノテーション端末出力部５３へ出力する。なお、上述したように、禁忌物検出モデルがアノテーション候補画像に対して出力したラベルデータをアノテーション作業に活用する場合は、アノテーション端末インタフェース部５１は、そのラベルデータも取得し、アノテーション候補画像に当該ラベルデータに対応した禁忌物の位置や種類を表す情報をあわせて出力してもよい。

【0074】

データ記憶部３３に複数のアノテーション候補画像が記録されている場合には、アノテーション端末インタフェース部５１は、アノテーション候補画像のリストを受信してもよい。このとき、アノテーション端末インタフェース部５１は、アノテーションを実施するアノテーション作業者がアノテーション候補画像のリストから選択したアノテーション候補画像のみを、データ記憶部３３から取得してもよい。また、アノテーション端末インタフェース部５１は、禁忌物検出装置３０に対して、アノテーションを実施したアノテーション候補画像とラベルデータとを送信し、追加学習データとしてデータ記憶部３３に記録させる。

【0075】

アノテーション端末入力部５２は、アノテーションを実施するアノテーション作業者が情報を入力するための操作手段であり、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等である。アノテーション作業者は、例えば、アノテーション端末入力部５２を用いて、アノテーション候補画像において禁忌物が表示されている禁忌物表示領域を指定する。アノテーション端末入力部５２により指定された禁忌物表示領域は、アノテーション端末出力部５３及びラベリング処理部５４へ出力される。また、アノテーション作業者は、アノテーション端末入力部５２を用いて、アノテーション候補画像のリストからアノテーションを実施する画像を指定することもできる。

【0076】

アノテーション端末出力部５３は、アノテーション作業者に対して情報を出力するための出力手段であり、例えば、ディスプレイ装置やランプ等の表示装置、スピーカ及びヘッドホン等の音声出力装置等である。アノテーション端末出力部５３は、禁忌物検出装置３０からアノテーション候補画像が取得されると、アノテーション候補画像を表示する。アノテーション候補画像のリストを受信した場合には、アノテーション端末出力部５３は、アノテーション候補画像のリストを表示する。また、アノテーション端末出力部５３は、表示中のアノテーション候補画像に対して指定された禁忌物表示領域を、当該アノテーション候補画像に重ねて表示してもよい。

【0077】

ラベリング処理部５４は、禁忌物の位置を表す情報を生成する。ラベリング処理部５４は、禁忌物の位置を表す情報として、例えばアノテーション候補画像における禁忌物表示領域を示すテキストデータであるラベルデータを生成する。あるいは、ラベリング処理部５４は、禁忌物の位置を表す情報として、ラベルデータの代わりに、禁忌物全体にラベル付け（マーキング）したマーキング画像や、禁忌物の輪郭上の複数の点を指定したマーキング情報（例えば後述する図５中段参照）等を生成してもよい。また、ラベリング処理部５４は、禁忌物の位置を表す情報として、画像中の禁忌物を含む矩形領域を示す矩形情報（例えば後述する図５下段参照）であってもよい。ラベリング処理部５４は、生成した禁忌物の位置を表す情報をアノテーション候補画像に関連付けて、アノテーション端末インタフェース部５１を介して禁忌物検出装置３０に出力し、データ記憶部３３に記録する。

【0078】

以上、本実施形態に係る監視システム１の構成について説明した。なお、図１および図４に示す監視システム１の各装置の構成は一例であり、複数の装置の機能を１つの装置が備えてもよく、１つの装置に含まれる複数の機能を異なる装置で実施するように構成することも可能である。例えば、作業者端末４０が、アノテーション端末５０の機能を備えて、運搬装置１０のオペレータが運転室にて検品作業と並行してアノテーションを実施できるようにしてもよい。

【0079】

［３．監視システムの動作］
以下、本実施形態に係る監視システム１の動作について説明する。

【0080】

［３－１．モデル生成処理］
まず、監視システム１において実施されるモデル生成処理について説明する。図６は、本実施形態に係るモデル生成処理を示すフローチャートである。

【0081】

モデル生成部３４は、監視システム１を用いて鉄の製造等に再利用する鉄スクラップの検品を実施する前に、予め、例えば検品作業者からの指示に基づき、モデル生成処理を開始する。モデル生成部３４は、定期的にモデル生成処理を実行してもよい。

【0082】

（Ｓ１１０：既知データ取得）
禁忌物検出モデルを生成するための生成条件（例えば、禁忌物検出モデルの学習条件）は、モデル条件、データセット条件及び設定条件を含む。モデル条件は、モデルの構造を決める条件であり、例えばニューラルネットワークの構造に関する条件である。データセット条件は、モデルの生成中にモデルに入力する既知データの選択条件（例えばモデルの学習中にニューラルネットワークに入力する学習データの選択条件）、それらデータの前処理や画像の拡張方法の条件等を含む。

【0083】

設定条件は、重みやバイアスといったニューラルネットワークのパラメータの初期化条件や最適化方法の条件、損失関数の条件等を含む。ここで、損失関数の条件には正則化関数の条件も含まれる。初めて禁忌物検出モデルを生成する際、設定条件の初期値（例えば、重みやバイアスといったニューラルネットワークのパラメータの初期値）は、乱数を用いて設定してもよい。一方で、既に禁忌物検出モデルが存在し、上述した方法によりアノテーションが完了した画像を追加の既知データとして禁忌物検出モデルを更新する際には、既存の禁忌物検出モデルの重みやバイアスを初期値として禁忌物検出モデルを更新すればよい。

【0084】

図６に示すように、モデル生成処理を開始すると、まず、モデル生成部３４は、撮影装置２０により撮影された画像から鉄スクラップ中に含まれている禁忌物を検出することが可能な禁忌物検出モデルの生成に必要な既知データ（いわゆる学習データ）を、データ記憶部３３から取得する（Ｓ１１０）。例えば、モデル生成部３４は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の元画像と、その元画像中に含まれていた禁忌物の種類および位置を表す情報とが関連付けられた複数のデータを、学習データとして取得する。

【0085】

ここで、禁忌物の位置を表す情報としては、禁忌物全体にラベル付け（マーキング）したマーキング画像（図５中段）や禁忌物の輪郭上の複数の点を指定したマーキング情報であってもよい。ここで、禁忌物の輪郭上の複数の点を指定したマーキング情報とは、例えば図５中段に示す画像内の黒く塗りつぶした領域を囲む閉じた多角形（ポリゴン）の情報であり、当該領域の輪郭を示す白線に対応する情報である。例えば、ポリゴンの各頂点の座標を示したテキストデータをマーキング情報とすることができる。

【0086】

また、禁忌物の位置を表す情報は、図５下段に示すように、画像中の禁忌物を含む矩形領域を示す矩形情報であってもよい。このとき、矩形情報は、図５下段に示すような画像であってもよく、矩形の位置、縦横の長さを規定したテキストデータであってもよい。

【0087】

禁忌物の種類を表す情報としては、禁忌物の種類毎に異なる数値（インデックス）を与えておくことで、上述の禁忌物の位置を表す情報に、当該禁忌物の種類に対応するインデックスを属性として付与することができる。なお、禁忌物の種類を表す情報は、必ずしもインデックスを用いる必要はなく、例えば禁忌物の位置を画像として保持する場合には、禁忌物の種類を、塗りつぶし、ポリゴンあるいは矩形領域の辺等の色や輝度の違いによって区別することもできる。

【0088】

なお、ステップＳ１１０において取得する学習データは、禁忌物特定部３１２で禁忌物の検出に用いる画像と同一の撮影装置２０により撮影された画像であることが望ましいが、異なる撮影装置２０により撮影された画像であってもよい。

【0089】

また、学習データに用いる画像としては、未検品鉄スクラップ４に紛れている実際の禁忌物を撮影して得た画像が望ましいが、インターネット等で取得可能な禁忌物の画像（モータのカタログ画像、等）であってもよい。禁忌物検出モデルの学習には大量の画像を用いることが望ましいが、例えば監視システム１を導入した当初は、実際の未検品鉄スクラップや禁忌物の画像の収集が十分にできていない。このような段階では、インターネット等で取得可能な禁忌物の画像を活用することで、禁忌物検出モデルの更新に用いる追加の既知データの数を補うことができる。一方で、上述したアノテーション候補画像の抽出及びアノテーション作業が進んだ結果、実際の未検品鉄スクラップや禁忌物についてアノテーションされたデータが十分に溜まった後は、これらを追加の既知データとして主として用い、禁忌物検出モデルを更新することが望ましい。

【0090】

（Ｓ１２０：モデル生成）
次いで、モデル生成部３４は、ステップＳ１１０により取得した既知データ（いわゆる学習データ）を用いて、例えば機械学習によって、禁忌物を検出可能な禁忌物検出モデルを生成する（Ｓ１２０）。モデル生成部３４は、例えば、禁忌物が含まれている画像と、当該画像中において禁忌物が存在している領域を特定し得るラベルデータとが関連付けられた複数のデータを学習データとして、画像中の禁忌物の特徴を学習し、禁忌物検出モデルを生成してもよい。モデル生成部３４は、禁忌物検出モデルを生成すると、生成した禁忌物検出モデルをモデル出力部３５へ出力する。

【0091】

（Ｓ１３０：モデル出力）
モデル出力部３５は、ステップＳ１２０にて生成された禁忌物検出モデルを、禁忌物特定部３１２へ出力する（Ｓ１３０）。その後、モデル出力部３５は、モデル生成処理を終了する。

【0092】

禁忌物検出装置３０は、モデル生成処理を複数回実行することにより、禁忌物検出モデルが、それまで未学習であった禁忌物の特徴を学習して検知できるようになったり、検知してはいけない正常な物体を検知しなくなったりする等、禁忌物検出モデルの精度を高めていくことができる。

【0093】

なお、上記の実施形態では、禁忌物検出装置３０がモデル生成処理を実行するものとして説明しているが、本発明はかかる例に限定されない。例えば、禁忌物検出装置３０とは別の独立した装置が、データ記憶部３３、モデル生成部３４及びモデル出力部３５の一部または全てを有し、モデル生成処理を実行してもよい。この場合、禁忌物検出装置３０は、学習済みの禁忌物検出モデルをその別の独立した装置から取得し、後述する禁忌物検出処理を実行すればよい。

【0094】

［３－２．禁忌物検出処理］
次に、監視システム１において実施される禁忌物検出処理について説明する。図７は、本実施形態に係る禁忌物検出処理を示すフローチャートである。検出制御部３１は、鉄スクラップヤード内の所定位置にトラック２が停車した後、例えば検品作業者であるオペレータからの指示に基づき禁忌物検出処理を開始する。

【0095】

（Ｓ２０１、Ｓ２０３：画像の取得と保存）
図７に示すように、禁忌物検出処理を開始すると、まず、画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点または別タイミングで複数回撮影させ、複数の画像（動画、又は複数の静止画）を取得する（Ｓ２０１）。なお、未検品鉄スクラップ４の撮影は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４に対して行ってもよく、運搬装置１０により運搬中の未検品鉄スクラップ４に対して行ってもよい。画像取得部３１０は、撮影装置２０より取得した画像をデータ記憶部３３に記録する（Ｓ２０３）。また、画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、逐次、領域抽出部３１１へ出力する。

【0096】

（Ｓ２０５：禁忌物検出処理）
次いで、領域抽出部３１１、禁忌物特定部３１２及び判定部３１３は、撮影装置２０より取得した画像から禁忌物を検出する禁忌物検出処理を行う（Ｓ２０５）。図８に基づき、禁忌物検出処理ステップの一具体例を説明する。図８は、本実施形態に係る禁忌物検出処理ステップの一具体例を示すフローチャートである。

【0097】

まず、領域抽出部３１１は、禁忌物が含まれている可能性のある領域（鉄スクラップの存在領域）を、ステップＳ２０１で取得した画像から抽出する（Ｓ３０１）。ステップＳ２０１で取得した画像は、未検品鉄スクラップ４を含む検品作業現場全体が画角に入る画像である。そこで、例えば、領域抽出部３１１は、深層学習モデル等を用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。ここで、鉄スクラップの存在領域は、ピクセル毎に定められた領域としてもよく、単純な矩形により定められた領域としてもよい。なお、ステップＳ３０１の処理は省略可能であり、その場合は、画像取得部３１０が、取得した画像を直接禁忌物特定部３１２へ出力すればよい。

【0098】

次いで、禁忌物特定部３１２は、領域抽出部３１１から出力された複数の画像を、上述のモデル生成処理にて生成された禁忌物検出モデルに入力して、禁忌物の種類、位置、及び禁忌物である確率をそれぞれ特定する（Ｓ３０３）。このとき、禁忌物特定部３１２は、画像から１つでも禁忌物を特定できた場合には（Ｓ３０３：ＹＥＳ）、禁忌物検出モデルから出力された禁忌物の種類、位置、及び禁忌物である確率を判定部３１３に出力する。一方、禁忌物特定部３１２は、画像から１つも禁忌物を特定できなかった場合には（Ｓ３０３：ＮＯ）、図８に示す処理を終了し、図７のステップＳ２０７に進む。

【0099】

判定部３１３は、禁忌物特定部３１２より禁忌物の種類、位置、禁忌物である確率等の情報を受け取ると、禁忌物である確率が所定の閾値（例：８０％）を超えているか否か判定する（Ｓ３０５）。このとき、判定部３１３は、禁忌物である確率が所定の閾値を超えている場合には（Ｓ３０５：ＹＥＳ）、禁忌物の種類、位置、及び禁忌物である確率をそれぞれ作業者端末４０に送信して、処理をステップＳ３０７に進める。一方、禁忌物である確率が所定の閾値以下である場合には（Ｓ３０５：ＮＯ）、判定部３１３は、図８に示す処理を終了し、図７のステップＳ２０７に進む。

【0100】

作業者端末４０は、判定部３１３から出力された出力結果を受け取ると、検品作業者であるオペレータに対し、その出力結果を出力する（Ｓ３０７）。作業者端末出力部４３は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、及び禁忌物である確率をそれぞれ出力する。これにより、禁忌物の除去が必要な場合にのみ、検品作業者であるオペレータに対して禁忌物の除去を促す。

【0101】

なお、本実施形態では、作業者端末４０は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、及び禁忌物である確率をそれぞれ出力する場合について説明したが、本発明はかかる例に限定されない。作業者端末４０は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類及び位置を出力すればよく、禁忌物である確率については必ずしも出力しなくともよい。また、作業者端末４０は、禁忌物の検出の際に禁忌物検出モデルに入力された画像、さらには、禁忌物検出モデルから出力されたラベル付きの画像を併せて出力してもよい。

【0102】

（Ｓ２０７～Ｓ２２１：禁忌物検出結果への作業者判断付与と禁忌物除去）
図７の説明に戻り、ステップＳ２０５にて禁忌物検出装置３０による禁忌物の検出処理が行われると、その結果は、作業者端末４０を介してオペレータに通知される。そして、オペレータは、作業者端末４０を用いて、禁忌物検出装置３０による禁忌物の検出結果に対する作業者判断を、付加情報として記録する。

【0103】

まず、禁忌物検出装置３０により禁忌物が検出された場合（Ｓ２０７：ＹＥＳ）に、正しく禁忌物が検出されている場合（正解の場合）には（Ｓ２０９：ＹＥＳ）、検品作業者であるオペレータは、禁忌物検出モデルが正しく禁忌物を検出できているとの作業者判断を入力する（Ｓ２１１）。例えば図２に示したように、オペレータは、作業者端末４０の出力部４３に表示されたボタン４２０のうち、正解ボタン４２１を押下して、禁忌物検出モデルが正しく禁忌物を検出できているとの作業者判断を入力する。作業者端末４０は、入力された作業者判断を、当該判断時に作業者端末４０に表示されている画像に関連付けてアノテーション候補画像とし、データ記憶部３３に記録する。この際、現状の禁忌物検出モデルの検知結果（ラベルデータ）をあわせて保存してもよい。

【0104】

そして、検品作業者であるオペレータは、未検品鉄スクラップ４に含まれている禁忌物の除去を行う（Ｓ２１３）。例えば、一度地面に禁忌物を含む鉄スクラップ群を広げ、人手、重機、ロボット等を用いて、禁忌物を除去する。禁忌物が除去された後、オペレータの操作に従って、当該作業の終了が検出制御部３１へ通知される。その後、検出制御部３１は、処理をステップＳ２２３に進める。

【0105】

ステップＳ２０７に戻り、禁忌物検出装置３０により禁忌物が検出されたが（Ｓ２０７：ＹＥＳ）、実際には禁忌物が存在しなかった場合（誤検知の場合）（Ｓ２０９：ＮＯ）、検品作業者であるオペレータは、禁忌物検出モデルが誤って禁忌物を検出したとの作業者判断を入力する（Ｓ２１５）。例えば図２に示したように、オペレータは、作業者端末４０の出力部４３に表示されたボタン４２０のうち、誤検知ボタン４２２を押下して、禁忌物検出モデルが誤って禁忌物を検出したとの作業者判断を入力する。作業者端末４０は、入力された作業者判断を、当該判断時に作業者端末４０に表示されている画像に関連付けてアノテーション候補画像とし、データ記憶部３３に記録する。

【0106】

一方、禁忌物検出装置３０により禁忌物が検出されなかったが（Ｓ２０７：ＮＯ）、実際には禁忌物が存在している場合（未検知の場合）（Ｓ２１７：ＹＥＳ）、検品作業者であるオペレータは、禁忌物検出モデルが禁忌物を検出できていないとの作業者判断を入力する（Ｓ２１９）。例えば図２に示したように、オペレータは、未検知ボタン４２３を押下して、禁忌物検出モデルが禁忌物を検出できていないとの作業者判断を入力する。作業者端末４０は、入力された作業者判断を、当該判断時に作業者端末４０に表示されている画像に関連付けてアノテーション候補画像とし、データ記憶部３３に記録する。この際、作業者端末４０は、データ記憶部に記録する情報として、禁忌物検出モデルが禁忌物を検知したときに出力した画像中の禁忌物の位置や種類を示すラベルデータを、当該画像と関連付けて、データ記憶部３３に記録してもよい。

【0107】

なお、作業者判断が未検知の場合に、禁忌物検出装置３０により禁忌物が検出されたタイミングにのみ作業者端末４０へ画像を出力する場合には、作業者端末４０には未検知のタイミングでの画像は表示されないことになる。この場合には、リアルタイムの動画を別途記憶部（図示せず。）に記録しておき、当該動画から未検知ボタン４２３が入力されたタイミングの画像を抽出して、データ記憶部３３に記録すればよい。

【0108】

なお、未検知の場合、未検知ボタン４２３を押下したときから遡って所定数の過去の画像も同時に未検知の場合のアノテーション候補画像として記録するようにしてよい。これにより、禁忌物検出モデルの検出精度の向上に有用なデータを多く取得することができる。

【0109】

そして、検品作業者であるオペレータは、ステップＳ２１３と同様に、未検品鉄スクラップ４に含まれている禁忌物の除去を行う（Ｓ２２１）。禁忌物が除去された後、オペレータの操作に従って、当該作業の終了が検出制御部３１へ通知される。その後、検出制御部３１は、処理をステップＳ２２３に進める。

【0110】

なお、禁忌物検出装置３０により禁忌物は検出されず（Ｓ２０７：ＮＯ）、実際にも禁忌物は存在していない場合（Ｓ２１７：ＮＯ）は、禁忌物検出モデルが正しく禁忌物を判断できているといえる。このような画像に対してアノテーションは行われないため、作業者判断は付与する必要はない。

【0111】

（Ｓ２２３：運搬作業）
ステップＳ２１３またはＳ２２１にて鉄スクラップから禁忌物が除去された後、または、鉄スクラップ中に禁忌物は存在せず除去作業が不要であることが確認された後（Ｓ２０９及びＳ２１７の「ＮＯ」の場合）、鉄スクラップを運搬する。例えば、運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１とクレーン１２を制御して、未検品鉄スクラップ４を運搬する。

【0112】

（Ｓ２２５：終了判定）
ステップＳ２０１～Ｓ２２３の処理は、トラック２の荷台から、未検品鉄スクラップ４がなくなるまで繰り返される（Ｓ２２５：ＹＥＳ）。トラック２の荷台から未検品鉄スクラップ４がなくなると（Ｓ２２５：ＮＯ）、検出制御部３１は、禁忌物検出処理を終了する。

【0113】

禁忌物検出装置３０は、禁忌物検出処理を実行することにより、運搬中の鉄スクラップの検品を単一または複数のカメラを用いて逐次実施することができ、オペレータは未検品鉄スクラップ４から除去すべき禁忌物を除去することができる。また、本実施形態に係る禁忌物検出処理では、検品作業中にアノテーション候補画像となる画像に作業者判断を付与することで、アノテーション実施時におけるアノテーション候補画像の抽出を容易にすることができる。

【0114】

［３－３．アノテーションと禁忌物検出モデルの更新］
図７に示した禁忌物検出処理では、禁忌物の検品作業時に、検品作業者であるオペレータが禁忌物検出装置３０による禁忌物の検出結果に対して正誤の判断を行い、当該作業者判断を、アノテーション候補画像の付加情報として記録する。これにより、検品作業終了後に、アノテーション作業者がアノテーションを行う際に、アノテーション候補画像を容易に抽出することができ、禁忌物検出モデルの更新に用いる追加の既知データ（いわゆる追加学習データ）を効率的に収集することができる。

【0115】

作業者判断が付与されたアノテーション候補画像には、以下の３種類がある。
（１）正解例：禁忌物検出モデルが鉄スクラップ中の禁忌物を正しく検出したときの画像
（２）誤検知例：禁忌物検出モデルが誤って鉄スクラップに禁忌物が存在すると検出した、あるいは禁忌物の種類を誤って検出したときの画像
（３）未検知例：禁忌物検出モデルが鉄スクラップ中に禁忌物があることを検出すべきであったが検出しなかったときの画像

【0116】

正解例のアノテーション候補画像は、正しく禁忌物を検出できていることから、禁忌物検出モデルの検出精度向上のための追加の既知データ（いわゆる追加学習データ）としての有用性はそれほど高くない。一方、誤検知例のアノテーション候補画像は、禁忌物検出モデルが、禁忌物の種類を誤ったり、鉄スクラップ中の禁忌物は存在しない箇所に禁忌物があると判断を誤ったりしたときの画像である。このような画像は、禁忌物検出モデルの検出精度を向上させるための重要な追加学習データとなり、特に過検知を抑制するために有用である。さらに、未検知例のアノテーション候補画像は、過去に収集した学習データに含まれていなかったが除去すべき禁忌物である可能性が高く、最も重要な追加学習データとなる。そのため、画像に対してアノテーションを実施する優先順位を設けて、禁忌物検出モデルの更新に用いる追加学習データを選択するようにしてもよい。

【0117】

なお、アノテーションは、データ記憶部３３に記録されているアノテーション候補画像に対して行われるが、アノテーション作業者がすべてのアノテーション候補画像についてアノテーションを実施するには時間的制約があり難しいこともある。その意味でも、アノテーション候補画像に付与された作業者判断に基づき、アノテーションを実施する優先順位を決定し、当該優先順位の高い順にアノテーションを実施してもよい。すなわち、アノテーションが実施された追加学習データを優先的に用いて、禁忌物検出モデルを更新してもよい。

【0118】

アノテーションを実施するアノテーション候補画像の優先順位は、未検知例、誤検知例、正解例の順とするのがよい。未検知例のアノテーション候補画像には、禁忌物検出モデルがこれまで禁忌物として認識していなかった物体が写っている可能性が高く、禁忌物検出モデルの検出精度の向上に最も寄与する。また、誤検知例のアノテーション候補画像を用いて禁忌物検出モデルを更新することで、過検知を抑制することができる。

【0119】

アノテーション作業時、アノテーション作業者がアノテーションを行うために使用する情報処理装置（例えばアノテーション端末５０）は、データ記憶部３３からアノテーション候補画像を取得する。このとき、アノテーション端末５０は、データ記憶部３３に複数のアノテーション候補画像が記録されている場合には、アノテーション候補画像のリストを受信してもよい。リストには、例えば、アノテーション候補画像それぞれについての、画像を特定するための情報（例えば、画像ＩＤ等）、画像の撮影日時、画像を撮影した撮影装置を特定するための情報（例えば、撮影装置名あるいは識別ＩＤ等）、作業者判断、等が含まれる。このとき、アノテーション端末５０は、各アノテーション候補画像に関する情報を、作業者判断に基づくアノテーションを実施する優先順位の順に、リストに表示してもよい。これにより、アノテーション作業者は、優先順位の高い順に、アノテーション候補画像のアノテーションを行うことができる。

【0120】

なお、正解例のアノテーション候補画像については、禁忌物検出モデルの検出精度の向上には大きく寄与しないと考えられるが、例えば、現在の禁忌物検出モデルが検出しにくい禁忌物を正しく検出したときの画像は、アノテーションを実施する優先順位を、未検知例または誤検知例と同程度に高めてもよい。

【0121】

例えば、現在の禁忌物検出モデルが、ある禁忌物（禁忌物Ｖ）に関しては多数の学習データが得られているため検出精度はよいが、別の禁忌物（禁忌物Ｗ）に関しては十分な数の学習データが得られておらず検出精度が低いものであるとする。このような禁忌物検出モデルによって禁忌物Ｗを検出した際に、オペレータが正解と判断した場合には学習データの数を増加させることができるため、アノテーションを実施する優先順位を高めるのが望ましい。また、禁忌物検出モデルが禁忌物Ｗを検出した際に、オペレータが誤検知と判断した場合には、その正解例を追加学習データに含めれば禁忌物検出モデルの誤検知を改善することができる。このように、禁忌物Ｗのような、現在の禁忌物検出モデルが検出しにくい禁忌物を検出したときの画像については、アノテーションを実施する優先順位を高めることで、禁忌物検出モデルの検出精度を向上させることができる。

【0122】

ここで、禁忌物検出モデルの精度として、禁忌物それぞれの検知率を考える。検知率は、正解例の学習データを用いて生成された禁忌物検出モデルに、禁忌物が写っている新たなデータ（画像）を入力した場合に、当該禁忌物を正しく検出できた割合である。検知率が高いほど禁忌物の検出精度は高く、禁忌物検出モデルが検出しにくい禁忌物の検知率は低くなる。検知率の低い禁忌物を検知した場合、誤検知である可能性もあるが、正しく検出できている場合にはその正解例で禁忌物検出モデルを更新することで、当該禁忌物の検出精度を高めることができる。

【0123】

また、複数の撮影装置を用いて異なる角度から同じ領域を撮影している場合、正解例のアノテーション候補画像のうち、禁忌物が検出された画像が取得されることの少ない撮影装置２０の画像である場合には、アノテーションを実施する優先順位を、未検知例または誤検知例と同程度に高めてもよい。このような正解例のアノテーション候補画像を追加学習データとすることで、特定視野における禁忌物の検出精度を改善させることができる。

【0124】

あるいは、視野が重複する複数の撮影装置２０によって同一タイミングで取得された画像のうち、いずれか１つが撮影した画像のみが正解例のアノテーション候補画像である場合、当該正解例のアノテーション候補画像に対してアノテーションを実施する優先順位を、未検知例または誤検知例と同程度に高めてもよい。例えば図１に示したように、複数の撮影装置２０は、異なる高さや角度で設置されており、重複した視野を有するものもある。このとき、各撮影装置２０により撮影されている画像中に同一の禁忌物が写っているにも関わらず、一部の撮影装置２０のみ当該禁忌物を検出することもあり得る。このような禁忌物は、禁忌物検出モデルが認識しにくい角度があると考えられることから、このような正解例のアノテーション候補画像に対してアノテーションを実施する優先順位を高め、追加学習データとして用いることで、当該禁忌物の検出精度を高めることが期待できる。

【0125】

また、例えば、禁忌物検出モデルがモータの禁忌物を検知した場合に、禁忌物がモータであることは正解であるが、過去に検出されたことのないモータであった場合には、当該アノテーション候補画像については、アノテーションを実施する優先順位を高め、積極的に追加の既知データとして用いるようにしてもよい。このような追加の既知データを用いて禁忌物検出モデルを更新することで、特定の禁忌物に関して様々な特徴を判別できるようになる。なお、過去に検出されたことのない物体の判定には、例えば、画像間の類似度に基づく類似画像検索技術等の既存の画像処理技術を用いればよい。

【0126】

アノテーションは、例えばＹＯＬＯ（You Look Only Onse）形式、Ｐａｓｃａｌ ＶＯＣ形式等の、既存のラベリングツールを用いて行えばよい。例えば図３に示したように、まず、アノテーションを実施するアノテーション候補画像５１０がアノテーション端末５０に入力されると、ラベリング処理部５４は、アノテーション候補画像５１０に対してラベリングツールを用いて、禁忌物が表示されている禁忌物表示領域を指定する。禁忌物表示領域の指定は、禁忌物を矩形の枠で囲うことにより行ってもよく、他の領域と異なる色で塗りつぶすことにより行ってもよい。また、枠の色や塗りつぶしの色を、禁忌物の種類に応じて変更してもよい。

【0127】

そして、ラベリング処理部５４は、禁忌物の位置を表す情報として、禁忌物表示領域を示すラベルデータ５２０を生成し、アノテーション候補画像５１０と関連付けて、学習データまたは追加学習データとしてデータ記憶部３３に記録する。ラベルデータ５２０には、禁忌物の種類（クラス）、アノテーション候補画像中における禁忌物表示領域の位置（Ｘ座標、Ｙ座標）及びサイズを表す情報（領域の幅及び高さ）が含まれる。

【0128】

なお、ラベリング処理部５４は、禁忌物の位置を表す情報として、ラベルデータの代わりに、禁忌物全体にラベル付け（マーキング）したマーキング画像や、禁忌物の輪郭上の複数の点を指定したマーキング情報（例えば図５中段参照）等を生成してもよい。また、ラベリング処理部５４は、禁忌物の位置を表す情報として、画像中の禁忌物を含む矩形領域を示す矩形情報（例えば図５下段参照）であってもよい。ラベリング処理部５４は、生成した禁忌物の位置を表す情報をアノテーション候補画像５１０に関連付けて、データ記憶部３３に記録する。

【0129】

このようなアノテーションは、例えば検品作業者であるオペレータが、運転室での検品作業後に、事務室に設置されたアノテーション端末５０を用いて行ってもよい。あるいは、作業者端末４０が、アノテーション端末５０の機能を備えて、オペレータが運転室にて検品作業と並行してアノテーションを実施できるようにしてもよい。

【0130】

なお、運転室での検品作業中において、アノテーションを実施できる時間はごく僅かである。このため、検品作業と並行してアノテーションを実施する場合には、例えば正解例については禁忌物検出装置３０の検出結果をそのまま用いてアノテーションを完了させ、未検知例については禁忌物の領域及び種類を指定してアノテーションを完了させるようにしてもよい。また、誤検知例については、禁忌物の種類を誤った種類間違いと、禁忌物ではない物体を禁忌物と検知した不正解とがある。種類間違いについては正しい禁忌物の種類を指定し、不正解については禁忌物表示領域を示すラベルデータを何も付けずに、アノテーションを完了させるようにしてもよい。

【0131】

禁忌物検出装置３０は、所定のタイミングで、データ記憶部３３に記録されている学習データを用いて禁忌物検出モデルを生成する。モデル生成部３４は、既にデータ記憶部３３に記録されている学習データに、アノテーション候補画像に対してアノテーションを実施して追加されたデータセットを加えて、禁忌物検出モデルを更新してもよい。あるいは、モデル生成部３４は、現在の禁忌物検出モデルを、アノテーション候補画像に対してアノテーションを実施して追加されたデータセットによって追加学習することにより、禁忌物検出モデルを更新してもよい。このように、新たなデータを用いて、定期的に禁忌物検出モデルを更新することで、これまでの禁忌物検出モデルでは検出しにくい禁忌物も検出できるようになり、禁忌物検出モデルによる禁忌物の検出精度を維持することができる。また、禁忌物検出モデルで誤検知されていた禁忌物を、禁忌物検出モデルの更新後には誤検知しないようにすることができ、禁忌物検出モデルの精度を高めることもできる。

【0132】

［４．変形例］
上記では、図５の中段及び下段に示すような既知データを用いて禁忌物検出モデルを生成する場合について説明した。したがって、禁忌物検出モデルは、図５の中段または下段に示すように禁忌物の種類や位置情報を出力する。図５中段のように画素単位で禁忌物の有無や種類を出力するモデルはセグメンテーションモデルと呼ばれる（例えば、非特許文献１）。また、図５下段のように、ある禁忌物が存在する場合にその位置を矩形で出力するモデルは物体検知モデルと呼ばれる（例えば、非特許文献２）。しかし、本発明に係る禁忌物検出モデルの種類はこれらに限定されず、例えば以下に示すようなモデルであってもよい。

【0133】

［４－１．異常検知モデル］
例えば、禁忌物検出モデルは、非特許文献３～５のように、正常時の画像（以下、「正常画像」ともいう。）を学習し正常からのズレを異常として検知する異常検知モデルであってもよい。この場合、既知データの収集では、禁忌物の映っていない正常画像と禁忌物が映っている異常時の画像（以下、「異常画像」ともいう。）とを振り分けるだけでよく、矩形やマーキングのような禁忌物の種類及び位置を示すラベルデータを画像に関連付ける必要はない。異常検知モデルの出力は各画像の異常度となる。異常度の算出には、例えばリカレントニューラルネットワーク（ＲＮＮ）等のような、画像の時系列性をも考慮するアルゴリズムを用いてもよい。例えば、過去の判定結果等を現在の入力に加えることで、現在判定したい画像の出力精度を向上させることができる。異常検知モデルを用いた場合、作業者端末４０には、一定の異常度を上回った際の画像が出力される。当該画像と合わせて、異常度も出力してもよい。

【0134】

あるいは、禁忌物を含まない正常の鉄スクラップを撮影したときの画像を学習データとして、禁忌物検出モデルを生成してもよい。例えば、非特許文献２～４のように、禁忌物を含まない正常な鉄スクラップの画像を複数枚用いて、正常な鉄スクラップを表現するための特徴を禁忌物検出モデルに学習させる。このように正常な鉄スクラップを学習させて生成された禁忌物検出モデルに、禁忌物が含まれている画像が入力されると、異常として異常部位と異常度が出力される。かかる禁忌物検出モデルでは、禁忌物である確率として、異常度をベースとした値を出力する。例えば、異常度の値が０．０～１．０の範囲に入るように規格化し、その異常度を禁忌物である確率と見做してもよい。

【0135】

画像に関連付けられる作業者判断は、上述の説明と同様に、正解、誤検知、未検知、とすればよい。なお、異常検知モデルを禁忌物検出モデルとして用いる場合には、禁忌物の種類は特定できないため、不正解の誤検知は、禁忌物ではない物体を禁忌物と検知した不正解の場合が該当する。

【0136】

異常検知モデルを禁忌物検出モデルとして用いる場合、作業者判断が確定した時点で画像へのラベル付け（アノテーション）作業は完了する。また、追加の既知データとしては、禁忌物が存在しないのにも関わらず異常と誤判定した画像や、禁忌物がないことを正しく判定した正解の画像を追加していくだけでよい。

【0137】

［４－２．２クラス分類モデル（正常、異常での分類）］
また、禁忌物検出モデルは、画像を、禁忌物の映っていない正常画像と禁忌物が映っている異常画像との２クラスに分類する２クラス分類モデルであってもよい。上記異常検知モデルと異なり、禁忌物の映っていない正常画像を用いて正常のスクラップを正常として分類するようにモデルを生成するだけでなく、禁忌物映っている異常画像を明示的に異常として分類するようにモデルを生成することで、画像を正常画像と異常画像との２クラスに分類する。当該２クラス分類モデルの出力には、画像の時系列性をも考慮するアルゴリズムを用いてもよい。作業者端末４０には、異常画像に分類された画像が出力される。当該画像と合わせて、正常画像である確率や異常画像である確率のうち少なくともいずれか一方を出力してもよい。

【0138】

画像に関連付けられる作業者判断は、上述の説明と同様に、正解、誤検知、未検知、とすればよい。なお、２クラス分類モデルを禁忌物検出モデルとして用いる場合には、禁忌物の種類は特定できないため、不正解の誤検知は、禁忌物ではない物体を禁忌物と検知した不正解の場合が該当する。

【0139】

２クラス分類モデルを禁忌物検出モデルとして用いる場合には、作業者判断が確定した時点で画像へのラベル付け（アノテーション）作業は完了する。また、禁忌物が存在しないのにも関わらず異常と誤判定したものを正常クラスへの追加の既知データとし、禁忌物が存在するにも関わらず正常と誤判定したものを異常クラスへの追加の既知データとすればよい。なお、禁忌物が実際に存在し、確かに禁忌物が存在すると出力できた正解画像については、優先度は落ちるが、異常クラスへの追加の既知データとしてもよい。

【0140】

［４－３．多クラス分類モデル（異物を含む画像を禁忌物の種類で分類）］
あるいは、禁忌物検出モデルは、画像を、禁忌物の種類で分類する多クラス分類モデルであってもよい。多クラス分類モデルは、画像内の位置情報まで出力はしない点が、セグメンテーションモデルや物体検知モデルとは異なる。

【0141】

禁忌物の種類がＮ個ある場合、多クラス分類モデルは、禁忌物が全くない状況に対応する１クラスを加えた、（Ｎ＋１）クラスへ画像を分類する。多クラス分類モデルは、（Ｎ＋１）クラスの画像を用意し、ニューラルネットワークによる学習を行うことにより生成し得る。多クラス分類モデルの出力には、画像の時系列性をも考慮するアルゴリズムを用いてもよい。作業者端末４０には、Ｎ個の禁忌物に対応するクラスである確率（確信度）のうち少なくともいずれか１つが所定の値を上回った際の画像が出力される。当該画像と合わせて、所定の値を超えた確信度を出力してもよい。

【0142】

画像に関連付けられる作業者判断は、上述の説明と同様に、正解、誤検知、未検知、とすればよい。多クラス分類モデルでは、不正解の誤検知として、禁忌物ではない物体を禁忌物と検知した不正解と、禁忌物の種類を誤った種類間違いとを区別することができる。また、アノテーション作業では、各アノテーション候補画像に対し正しいクラスを設定する。アノテーション作業後のデータは追加の既知データに供することができる。

【0143】

正解、誤検知、未検知の作業者判断を関連付けた各画像に対するアノテーション作業の実施及び追加の既知データとして用いる際の優先順の考え方は、上述したセグメンテーションモデルや物体検知モデルの場合と同様とすればよい。

【0144】

［５．ハードウェア構成］
図９に基づいて、本実施形態に係る禁忌物検出装置３０、作業者端末４０及びアノテーション端末５０のハードウェア構成について説明する。図９は、本実施形態に係る禁忌物検出装置３０、作業者端末４０またはアノテーション端末５０として機能する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0145】

情報処理装置９００は、ＣＰＵ（Central Processing Unit）９０１等の１または複数のハードウェアプロセッサ、ＲＡＭ（Random Access Memory）９０５、ＲＯＭ（Read Only Memory）９０３等の１または複数のメモリを具備し、メモリに格納される１または複数のプログラムが１または複数のハードウェアプロセッサにより実行されることで各種の演算を実行する。また、情報処理装置９００は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。

【0146】

例えば、ＣＰＵ９０１は、演算処理装置及び制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バス、ＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）などの外部バスに接続されている。

【0147】

なお、演算処理装置及び制御装置は、ＣＰＵ９０１以外に、ＰＬＣ（Programmable Logic Controller）によって実現してもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用のハードウェアによって実現してもよい。

【0148】

入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、情報処理装置９００の操作に対応したＰＤＡ等の外部機器９２７であってもよい。情報処理装置９００のユーザは、入力装置９２１を操作し、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0149】

出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、情報処理装置９００により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して情報処理装置９００による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。

【0150】

ストレージ装置９１３は、情報処理装置９００の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、ＳＳＤ（Solid State Drive）等の半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。

【0151】

ドライブ９１５は、記録媒体用リーダライタであり、情報処理装置９００に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。

【0152】

接続ポート９１７は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ｅＳＡＴＡ（external Serial Advanced Technology Attachment）、ＳＡＳ（Serial Attached SCSI（Small Computer System Interface））ポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。例えば接続ポート９１７を介して、アラーム情報を通知するための回転灯等のアラーム通知装置を接続してもよい。また、外部機器９２７として、ＮＡＳ（Network Attached Storage）を接続し、記憶装置として用いてもよい。

【0153】

通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。例えば、通信装置９１９を介して、情報処理装置９００を操作するためのコンピュータを接続することもできる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。

【0154】

以上、情報処理装置９００のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。情報処理装置９００のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。

【0155】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0156】

１ 監視システム
２ トラック
３ 鉄スクラップ積載場
４ 未検品鉄スクラップ
５ 鉄スクラップ
１０ 運搬装置
１１ リフトマグネット
１２ クレーン
１３ クレーンレール
１４ 運搬制御部
１５ 操作部
２０ 撮影装置
２０ａ、２０ｂ、２０ｃ カメラ
３０ 禁忌物検出装置
３１ 検出制御部
３３ データ記憶部
３４ モデル生成部
３５ モデル出力部
４０ 作業者端末
４１ 作業者端末インタフェース部
４２ 作業者端末入力部
４３ 作業者端末出力部
５０ アノテーション端末
５１ アノテーション端末インタフェース部
５２ アノテーション端末入力部
５３ アノテーション端末出力部
５４ ラベリング処理部
３１０ 画像取得部
３１１ 領域抽出部
３１２ 禁忌物特定部
３１３ 判定部
４１０ 画像
４２０ ボタン
４２１ 正解ボタン
４２２ 誤検知ボタン
４２３ 未検知ボタン
５１０ アノテーション候補画像
５２０ ラベルデータ
９００ 情報処理装置
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ バス
９０９ 入力Ｉ／Ｆ
９１１ 出力Ｉ／Ｆ
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】